抗日战争胜利后，张开基调任晋绥野战军独立第二旅三十六团团长。1946年6月，他率部参加晋北战役，运用工兵爆破技术攻城获得成功，一举攻克朔县县城，继又连克宁武、平社、原平、忻州等县城，成为此次战役中战果最大的一支英雄团队，因此，受到贺龙的多次表彰。不久，他升任副旅长，率部参加汾(阳)争(义)战役，与敌激战12小时，歼敌2000余人，接着又在西盘梁击费四倍于己的敌人，解放了文水县城。1947年4月，在攻占太原西部重镇古交的战斗中，张开基亲自侦察敌人布防情况,制定作战计划，共击毙和俘虏敌团长以下600余人，创造了对敌远距离突破的成功战例，晋绥军区广泛开展学习。同年8月，他率部西渡黄河，参加陕北保卫战。在同敌战斗中所向披靡，战绩辉煌，彭总致信嘉奖:“第二旅全体指战员们:祝贺你们攻克延川的胜利。你们勇敢果断、灵活机动的战斗作风，值得全军学习。

1949年2月，张开基升任一野三军七师师长，奉令进军关中，在开展歼灭胡宗南部大会战的扶眉战役中，他率部为三军前卫部队，首战攻克扶风等地后，他九次负伤致残仍同战士冒着烈日徒步行军115公里，并在21小时内连续五次作战取得胜利。8月，张开基奉令奉部进军兰州，在连克陇县、通渭、古浪等地后，详细侦察敌情，化装摸入兰州城内取得并掌握一手资料,随即制定周密的作战计划，在兄弟部队的配合下，仅十余小时即攻克大西北重镇兰州。26 中午，张开基按战前誓言，恭请西北野战军司令员彭总入城。司令部高度评价张开基及七师指战员。他征尘未洗，又跨战马，率部进军河西走廊，1949年底， 到达张披地区。七师兼作张掖军分区部队，张开基兼任军分区司令员。

1950年6月，张开基进入南京军事学院高级班学习。1952 年毕业即被任命为西北军区炮兵副司令，并兼任军械部部长、炮校校长。他以伤残的身躯，艰苦创业，刻苦钻研军事理论。在任职期间，为西北炮兵的正规化、现代化作出了巨大贡献，还为全军输送了大批训练有素的人才。军委曾多次转发西北炮兵建设的经验。1955 年他被授予少将军衔，荣获三级八一勋章、二级独立自由勋章、一级解放勋章。1956年1月，张开基调任陕西省军区副司令员，1966 年离职休养。1988 年被授予一级红星功勋荣背章。

1986年5月，万源保卫战战史陈列馆揭馆，张开基虽已73岁高龄，且疾病缠身，仍怀着赤子之心，回到离别多年的家乡，看望父老乡亲，参加揭馆典礼，当他看到家乡的巨变时，感奋难巳。1990年7月2日，他因病医治无效在西安逝世。