1934年8月，林遵学习期满回国，先后在“宁海”舰、“海容”舰当枪炮员、航海官，不到半年，被调到福州马尾海校当队长。不久，林遵又调任“自强舰”副长。

1937年3月，时任“自强”舰副长的林遵被召到海军部，他将以海军上尉武官的身份，作为中国政府特使、海军部长陈绍宽的随员，参加“赴英祝贺英皇乔治六世加冕典礼特使团”赴英。5月下旬，林遵在伦敦又接新令：去德国接收订购的6艘潜艇和1艘潜艇母舰，并负责管理在那里学习潜艇技术的10名学生。

1937年七七事变后，德、日加紧勾结，一拖再拖交船时间，以至于毁约。接艇无望，国内又烽火遍燃，林遵等人忍无可忍，再三请求回国参战。

1939年5月，林遵愤而回国，参加抗日战争，任国民党海军“永绥”军舰代理副舰长。

1940年，国民海军实行分段封锁布雷，林遵任第五游击布雷大队少校大队长，在长江中游的贵池县一带活动。1月20日，林遵指挥部队在两河口江面布下15具漂雷，炸沉日军一艘大型运输船和一艘汽艇，受到上级嘉奖。11月，林遵又率领队员27人在贵池、西河口、黄石矶冒险布雷，击沉敌舰1艘、汽船4艘、大火轮1艘。为此，林遵先后获甲种乙等陆海空军奖章、甲种二等光华奖章和陆海军甲种一等奖。林遵和他的布雷大队屡屡给日军沉重的打击。日军贴出布告，宣称捉到姓林的队长将给以重奖。

1941年9月，为配合第二次长沙会战，切断日军长江水道补给线，林遵亲率30余名布雷官兵，冒险深入敌后贵池地区。因日军沿江搜缴民船，一时找不到船只布设水雷。林遵便带头跳入江中，将水雷且推且泅，奋力布放到中流。当他们泅水返回时，被日军包围在江边一块狭小地域内，形势危急。在敌人狙击下，布雷队伤亡3人，余者急泅返秋浦河南岸，随即又被冲散。林遵和几名队员潜入茂密的玉米地才躲过了搜捕。10月5日，林遵等人由营救部队接应、当地群众掩护乘隙脱险归队。才脱虎口，林遵便又率领部下投入到紧张的布雷战斗中，在贵池、铜陵、大通江面重新布设水雷，炸沉了5艘日军舰船。据统计，仅林遵所在的第二布雷游击总队在5年多时间里，转战于湖口至江阴的游击区，共布放水雷1370具，炸沉日军大小军舰、运输舰等114艘，另有汽车20余辆，毙伤敌5000余人。海军开展的机动灵活的布雷游击战，使日军在占领宜昌数年间不能溯江而上进犯四川。林遵因功擢升海军上校。

1942年2月，林遵通过同学林祥光介绍，到重庆国防部研究院学习军事科学。

1944年，林遵毕业，被分配在军事委员会参谋总长办公室任海军参谋。

1945年8月，抗战胜利，林遵受命为国民党政府驻美国大使馆海军上校副武官，同时被临时调任国民党海军驻美国舰队指挥官，负责率领在古巴的关塔那摩基地进行战术科目训练的八艘军舰的一千名中国海军官兵回国。这8艘军舰是：各1400吨左右的护航驱逐舰“太康”和“太平”号；各约800吨的猎潜艇“永春”、“永兴”号；扫雷舰“永顺”、“永宁”、“永定”、“永胜”号；还有1艘1400吨的“峨眉”号运输舰。由中国的海军军官指挥一支舰队横渡太平洋，在旧中国海军史上还是第一次。

1946年5月，林遵率队顺利回国后，这支舰队就被解体了。国民党海军总司令桂永清电令：“峨眉号”驶往青岛，另有八舰直接到南京，接受打内战的任务。抗战胜利后，侵占西沙、南沙群岛的日军撤到海南榆林港向中国军队投降。南沙群岛和西沙群岛先后被法国、日本侵占了几十年，日本投降后，根据《波茨坦公告》和1945年9月2日日本签署的《日本投降书》的有关条款，由中国政府派遣海军舰队与行政长官前往接收。依据《开罗宣言》和《波茨坦公告》，国民党政府在收复台湾后，决定收复南海诸岛主权，派舰队到西沙、南沙群岛勘界立碑，并留兵驻守。同时由国民党政府国防部、内务部、海军总司令部、联勤总部等部门派员，随舰队前往接收。国民党海军总司令部第二署海事处负责筹办进驻西沙、南沙群岛事宜，最终确定由驱逐舰“太平”号、坦克登陆舰“中业”号和“中建”号、扫雷舰“永兴”号组成“前进”舰队，执行此项任务。经海军总司令桂永清提名，曾任国民党政府驻美国大使馆海军武官的林遵担任舰队指挥官。

1946年7月，林遵任国民党海军进驻西沙群岛、南沙群岛舰队指挥官。

1946年10月上旬，负责收复南沙诸岛主权的“前进”舰队在上海高昌庙海军基地成立。摆在舰队指挥官林遵、舰队副指挥官姚汝钰上校、参谋长彭兆荃上校面前的主要有四大难题。一是缺少航海资料，时任“太平”舰少校副舰长的何炳材回忆：“当时西沙群岛的航海资料和航法可在航路指南查到，但南沙群岛的航海资料和航法，不论中外航路指南均无阐述，只说这是‘危险地带’。”更危险的是，南沙海区没有灯塔或任何航标，海面上常有二战时遗留的漂雷出现。二是航行海域气候恶劣，西沙、南沙海域春季风力一般在4、5级，夏、秋季多雨多台风，而冬季多强风，风力可达7级以上。三是气象预报不准，当时，在抗战期间遭到严重破坏的南海气象站尚未恢复，无法给舰队提供及时可靠的气象预报。四是航行途中缺少避风锚地，虽说西沙群岛的锚地尚可，但南沙群岛底质多为碎石、沙子和珊瑚，容易走锚。在此情况下，前往南海需要冒相当大的风险，舰队中不少官兵顾虑重重。林遵坚持认为：收复南海主权关系到中国在国际上的声誉，唯有克服困难，争取在限期内完成任务。经研究，林遵决定将舰队兵分两路，由他亲率“太平”舰和“中业”舰两舰进驻南沙群岛的最大岛屿——长岛，舰队副总指挥姚汝钰率“中建”舰和“兴业”舰两舰进驻西沙群岛的最大岛屿——林岛。舰队除携带长途航行所需的通讯设备、生活补给和南海地理、气象资料外，还准备了派驻岛上的卫戍兵力及其生活必需品，包括一个连官兵居住的活动房屋，以及计划在岛上繁殖的猪、牛、羊等牲畜和蔬菜种子等。为防止途中意外事件发生，林遵特意下令各舰备足枪炮弹药，增设高射机枪，并在吴淞口海面进行了一次演习。10月26日，舰队在上海集中，29日由吴淞口起航，经舟山群岛、珠江口直驶虎门。

1946年11月8日，舰队由虎门驶进海南岛的榆林港。林遵一面命令各舰补充淡水食物，一面寻觅当地熟悉海情的渔民了解西沙、南沙群岛的详细情况。10日，随着林遵的一声令下，舰队起锚出海。不料，刚驶出港口10多海里，海面上突然狂风大作，小山似的巨浪把舰艇一会儿抛上浪头，一会儿又狠狠地摔进低谷。惊涛骇浪中，“中业”和“中建”两舰横摇至30度，大有倾覆之险。雪上加霜的是，舰队旗舰——排水量1430吨的太平舰发动机出现故障，难以远航。出于安全考虑，林遵下令舰队返航，等待天气转好。几天后，大海恢复了平静，碧空万里如洗，舰队再次起航。当地人有个形象的比喻：南海就像泼辣妇人的脸，说翻就翻，毫不留情。果然，老天爷似乎有意要考验前进舰队官兵的意志，狂风骤起。顿时海面上巨浪汹涌，波涛翻滚。舰队与狂风恶浪整整搏斗了一天，行进近百海里。这时，黑压压云层笼罩在无边无际的大海上，富有航海经验的林遵敏锐地意识到，这很可能是台风的前兆，如果继续前行，可能舰毁人亡。于是果断下令返航，至次日凌晨安全返回榆林港。两次无功而返并没有动摇林遵收复南海主权的决心。为稳妥起见，林遵命令姚汝钰率“永兴”和“中建”两舰于11月23日趁风浪稍减之机，先行出航，于次日凌晨抵达林岛。官兵们登岛后，发现原有建筑尽被破坏，即搭建营房，构筑工事，修建炮位，竖起收复西沙群岛纪念碑。碑正面刻有“海军收复西沙群岛纪念碑”，落款为“中华民国三十五年十一月二十四日 张君然立”，背面刻有“卫我南疆”4个字。同时将岛名按所乘军舰名改为永兴岛，另一个大岛屿命名为中建岛，以示纪念。随后，“永兴”和“中建”两舰又完成了西沙群岛地图测绘工作。至此，收复西沙群岛的任务初告成功。两年后，参与首次登岛行动的国民党海军总司令部海事处上尉参谋张君然再次奉命登上永兴岛，担任西沙管理处少校主任，重立“南海屏障”碑。如今，此碑仍立于永兴岛上，向后人无声地诉说着历史的沧桑。时光荏苒，40多年后，1991年4月，中国人民解放军海军在永兴岛西沙军港立起一座20余米高的大理石碑。朝海方向为一幅巨大的《中国南海诸岛图》，朝岛方向刻有“中国南海诸岛工程纪念碑”，上书：“南海诸岛沧桑千年，炎黄子孙创业今朝，今于永兴岛立碑铭志，以昭千秋。”

1946年12月9日，天朗气清，风平浪静，正是出海远航的最佳时机，林遵第三次下达了出航指令，目标直指长岛。是日晨8时，舰队满载国人的期待，缓缓驶离榆林港。这次航行格外顺利。12日11时左右，“中业”和“太平”两舰先后在长岛西南岸外下锚。上岛后，林遵、李敦谦及政府接收代表举行了隆重的进驻仪式，并拍照留念，宣布将长岛按所乘军舰名改称太平岛，南沙群岛第二大自然岛被命名为中业岛。官兵们发现岛上西南部有座日军修建的纪念石碑，上方绘着太阳旗，下方刻有“大日本帝国”。林遵立即下令将侵略者宣扬战功的石碑毁掉，在原址上筑起一块高约1米的水泥石碑。正面刻有“太平岛”3个字，背面刻有“中华民国三十五年十二月十二日重立”，左右两面分刻“太平舰到此”和“中业舰到此”。值得一提的是，西北大学地理系教授郑资约受国民党政府委托，随舰队参加了这次行动，负责南海岛屿国界的划分，整理南海水域的岛礁、石群及沙滩名称工作。根据实地测绘结果，郑资约绘制完成了“国民政府内政部绘制南海诸岛位置图、西沙群岛图、中沙群岛图、南沙群岛图、太平岛图、永兴岛图、石岛图及南海诸岛新改名及旧名称对照表”，后编入《南海诸岛地理志略》一书，由上海商务书局正式出版。书中在中国南海地图上画出一条“U”形段线，以标明中国南海疆界。15日，林遵率舰队官兵和政府代表，与驻岛官兵依依话别后，离开太平岛，先后巡视了南沙群岛北部的南钥岛、中业岛、双子岛等岛屿，然后返航驶回榆林港。就这样，南海主权收复与进驻任务宣告顺利完成。曾被法国殖民者和日本侵略者先后侵占的南海诸岛，再次回到了祖国的怀抱。值得一提的是，当时国际社会包括南海周边国家，对中国拥有南海诸岛主权都不持异议。中国军队甚至是坐着美国的军舰收复南海一些岛礁的。按照一般常理，林遵应该受到重用，但事实并非如此。抗日战争结束后，国民党把海军总司令部撤消，成立了“海军指挥部”，由陈诚兼任主任，逼海军元老陈绍宽下台。不久，又恢复“海军总司令部”， 由蒋介石的亲信、号称“十三太保”之一的桂永清当上了海军总司令。林遵是陈绍宽的部下，属被排挤的“马尾系”，只给他安排了个有职无权的海军点验委员会副主任。

1948年2月，林遵突然被任命为国民党海军海防第二舰队少将司令，驻防长江地区。林遵知道这是让他率队配合国民党陆军抵御中国人民解放军南下。此时，第二舰队只有3艘护航驱逐舰，3艘炮舰及2个炮艇队，都是些破旧的小舰只。其中，“ 永绥”舰还是清朝慈禧太后的座舰。这明明是桂永清为了保存实力，舍不得把较好的主要舰艇部署在长江，准备随时逃往台湾，而要第二舰队在长江一线阻挡人民解放军，打内战、当炮灰。林遵对何去何从感到进退两难。林遵正在郁闷之际，同乡兼地下工作者吴石来访。吴石对林遵推心置腹，两人秉烛夜谈一直到天亮。吴石为林遵认真分析当前局势，并提出上、中、下三策供其考虑。下策是替蒋介石卖命，图个加官进爵、荣华富贵；中策是学晚清海军提督萨镇冰，保持中立，告老还乡；上策则是率领舰队起义干革命。听了吴石的“三策之论”，林遵心中渐渐明朗。渡江战役前夕，毛泽东同志早就想到时任国民党海军海防第二舰队司令的林遵是突破长江天堑的一个重要人物。如果在解放军渡江前夕能争取林遵起义，既可瓦解国民党长江防线中的水上“钢铁堡垒”，加速渡江战役的胜利进程，又可为组建新中国的人民海军创造条件。为此，毛泽东特地致电中共上海地下党组织负责人吴克坚选派得力干部去与林遵接洽。为了策动舰队起义，党中央通知上海地下党，设法通过郭寿生（林遵曾经的海军同乡同学）同林遵取得联系。从1948年开始，到1949年4月23日起义为止，中共地下党组织和第三野战军策划第二舰队起义，执行策反任务的林亨元、郭寿生、孙克骥等人，曾先后近10次冒着生命危险，来到国民党海军海防第二舰队驻地镇江，会见林遵。林遵会见中共策反人员都是以游览金山寺为掩护，边游览，边密谈。随着游览次数的增加，谈的内容也逐渐深入而具体。为使起义顺利进行，林遵做了精心的准备。首先在一些中级军官中物色了阙晓钟、欧阳晋、戴熙愉、王熙华等人做助手。这些人有的是林遵的军校同学，有的在抗战时期曾共御外侮，有的则参加了收复西沙、南沙群岛的远航，彼此间交谊很深，都赞同林遵的选择，并协助林遵做其他军官的工作。随后，林遵重新制定了《海军实力部署方案》，以集中力量、重点防守为借口，将所属舰艇相对集中在几个港口。这样既便于舰队一起举事起义，同时只要解放军避开这几个港口，就可顺利渡江。

1949年2月25日，国民党海军重庆号巡洋舰在邓兆祥（1955年少将）舰长率领下于上海吴淞口起义。林遵得到鼓舞和推动，即派亲信参谋欧阳晋去找郭寿生，进一步商量起义的具体事项。中共中央社会部通知第三野战军速与联系。第三野战军政治部副主任钟期光、第十兵团政委韦国清、原苏北兵团副政委吉洛（姬鹏飞），在淮安召见时任第三十一旅政治委员孙克骥（1955年少将），对执行这一任务作了明确交待。孙克骥也是福建人，同乡关系好做工作。在抗日战争以前，孙克骥在白区工作过，有白区工作经验，也有部队工作经验，在军事、政治上都能拿得起来。4月20日，国民党政府拒绝在《国内和平协定》上签字，接着桂永清命令林遵的第二舰队全部集中南京江面，并要林遵23日拂晓前到海军总司令部报到，接受新任务。林遵犹豫不决，考虑再三，还是去好。他不计个人安危说：“万一我回不来，就由戴参谋长代理我指挥，起义的计划不能改变！”当晚，林遵率领第二舰队各舰艇到南京笆斗山江面锚泊待命，自己登岸到总司令部去。桂永清见林遵来很高兴，拉着手就说：“总部决定，凡停在南京江面的舰艇，全部都交给你指挥，驶往上海。路遥知马力，国难见忠臣，这是党国和蒋总裁对你的信任和重视。”林遵故意面有难色说：“此事关系重大，我恐难承担，恭请总座坐镇指挥，我当全力效命。”桂永清鼓励他好好干，即使最后只剩下一艘军舰，也要为你请功，呈请任命你为海军副总司令，并颁授青天白日勋章。林遵装作勉为其难的样子，只得回到舰队。林遵既回，立即发信号，通知各舰舰长和炮艇艇长马上到旗舰开紧急会议，传达总部的命令后又说：“我不能盲目听命而置大家于不顾，我当听取大家意见，再作最后决定。”很快，分成了两派，有人主张起义，有人反对。林遵见时机成熟，胸有成竹说：“现在以无记名投票形式决定是否起义？”结果参加投票的16人中8人赞成起义，2票反对，5票弃权。于是，林遵郑重宣布：“第二舰队决定全体起义！”又通过给毛主席的致敬电。4月23日，林遵率国民党海军海防第二舰队舰艇25艘、官兵1271人，于南京笆斗山江面起义，参加中国人民解放军（国民党海军海防第二舰队起义（1949年4月23日））。这是解放战争中最大的一起国民党海军集群起义，参加起义的计有“永绥”、“楚同”、“惠安”、“江犀”、“吉安”、“美盛”、“联光”、“安东”、“太原”等军舰和16艘炮艇。。当天，第三野战军前委根据中央指示，在江苏泰州白马庙决定中国人民解放军华东军区海军成立，这一日也被定为中国人民解放军海军建军节。中国人民解放军第35军联络部部长张普生拉着林遵的手高兴地说：“我代表中国共产党和第三野战军首长欢迎你们，并祝贺你们起义成功。”国民党获悉，马上派6架飞机，对着舰艇狂轰滥炸。林遵指挥各舰反击。当晚，中国人民解放军第33军通知各舰舍舰保人，让起义官兵全部离舰上岸，安全转移。4月30日，由林遵领衔以及参加起义的舰（艇）长向毛泽东主席、朱德总司令发出致敬电。5月18日，毛泽东主席、朱德总司令发出题为《中国爱国人民建设自己的海军和海防的伟大意志，不是任何反动残余所能阻止的》致林遵等人的复电，鼓励他们“团结一致学习人民解放军的建军思想和工作制度，并继续学习海军技术，为中国人民海军的光明前途而奋斗。”复电中，毛主席称赞这次起义是“在南京江面上的壮举”。5月，林遵任中国人民解放军华东军区海军第一副司令员（司令员兼政委张爱萍），林遵所率的起义舰艇和官兵成为建设人民海军的重要力量。

1949年9月27日，林遵作为中国人民政治协商会议第一届全国委员会特邀代表在一届政协全体会议上发言。

1951年1月，林遵调任中国人民解放军军事学院海军教授会主任，后任海军系副主任。

1955年9月，林遵被中央军委授予少将军衔，荣获一级解放勋章。

1957年，林遵任中国人民解放军海军学院副院长，并由刘伯承元帅推荐，参加《辞海》军事条目的编审工作，为培养合格海军人才作出重大贡献。

1972年4月，林遵因患鼻咽癌，先后在南京、上海、青岛等地治疗休养，1974年病愈。

1975年5月，林遵任东海舰队副司令员（司令员马龙）。无论在哪个位置上，他都努力发挥着“老海军”的优势，为培养海军高级指挥军官，为中国海军的正规化、现代化建设全力倾注着自己的心血。但是在特殊时代，有着特殊背景的林遵的入党问题一次次被耽搁下来。病中的林遵一直为自己多次申请入党未获批准而心力焦灼，他对前来探望他的海军首长不断重复着自己的愿望。

1977年6月20日，在中国共产党诞辰56周年前夕，林遵将军在病榻上忍受着鼻咽癌术后化疗的疼痛折磨，再一次提笔给海军领导和党委写信，他为中国共产党领导下五十六年来的成就感到欣慰与鼓舞。老将军激动的写到，在中国共产党的英明领导下，“在本世纪末，把我国建设成为‘四个现代化’的社会主义强国的前景正呈现在眼前，建成强大的中国人民解放军海军的前景正呈现在眼前，解放台湾，统一祖国的前景也呈现在眼前”，他希望通过海军党委转达向党中央最崇高的致意和对党56岁生日最热烈的祝贺。林遵在信中写到“我一九四九年参加革命后，受到党的关怀、信任、重视和培养，政治思想水平逐步得到提高，世界观逐步得到改造。我深信马列主义、毛泽东思想是真理；中国共产党是伟大的、光荣的、正确的党，只有社会主义才能救中国。我的起义是党指引的，我能获得新生，能够有今天，我的一切都是党给的。我曾数次写信给海军首长和海军党委，提出入党要求。1975年10月，党终于同意了我的申请，允许我填写入党志愿书，但迄今尚未批下。我再次请求海军党委将我的入党问题提上日程，使我在有生之年能够更好的为党、为人民、为人民海军贡献出自己的力量”。时任海军政治委员的苏振华很快对林遵的信作出“建议提交常委讨论决定”的批示。8月16日，海军党委正式批复东海舰队党委“海军党委常委一致同意林遵同志入党，其党龄从1977年8月12日算起”。此后，林遵任东海舰队党委委员。

林遵还是第一、二、三届国防委员会委员，中国人民政治协商会议第一届全国委员会委员，第一、二、三、四、五届全国人民代表大会代表。

1979年7月16日，林遵因鼻咽癌复发，在上海逝世，享年74岁。遵照林遵生前的遗言：“我一生爱海军，爱海洋，又是东海舰队的副司令，坦骨东海，正是死得其所。”骨灰撒在东海里。林遵逝世后被批准为烈士。

起义初期，林遵不愿意与华东海军合作，工作很难开展。张爱萍于是决定亲赴南京面见林遵。张爱萍到南京后的当天下午，便去拜会了林遵，首先称赞他率部起义的壮举，代表华东海军向他表示欢迎，接着向他介绍了筹建华东海军的情况和打算。面对热情洋溢的张爱萍，林遵只是礼节性地应付着。张爱萍没有理会他的不恭，仍然态度非常诚恳、谦虚地向他请教建立人民海军的事情。可林遵淡淡地说：“建海军不是一件容易的事，你们陆军只要会放枪就行，不需要多少文化。可是海军就不同了，没有文化是不可能当海军的，一般士兵都要求初高中以上文化，军官则要求更高学历。按照解放军的目前水平，恐怕连军舰都开不动。”张爱萍没有因此而生气，和颜悦色地与他协商：“能否派出两名舰长到上海接收军舰。”林遵却对这位海军司令员说：“你少管我二舰队的事，二舰队的官兵是不能随便调动的。”张爱萍见林遵这种态度，感觉再谈下去也不会有什么结果，便起身告辞，临走时仍然诚恳地请林遵对建设人民海军多给予指导。通过会见林遵一事，张爱萍感觉“把两个跛子（即陆军的政治上强，但不懂技术；原海军人员懂技术，但政治上差）绑在一起”并非易事。他在思考如何让国民党海军起义将领心悦诚服，真心实意地为海军建设献策出力。他认为最起码要尊敬人家，不能歧视。首先要解决称谓问题，大家在一起工作，朝夕相处，如果对国民党起义人员仍旧用“国民党”或“旧海军人员”来称呼，很容易在思想上造成距离，感情上产生隔阂。现在我们的目标是一致的，要建设强大的人民海军，改变近百年来有海无防的惨痛历史，实现我们的强国梦、强军梦，所以更应该精诚团结，施展自己的本领。张爱萍要求不再用“国民党”或“旧”的字样，一律称之为“原海军同志”，这样有利于团结，有利于增进友谊，有利于调动积极性。

如何做通林遵的思想工作一直是张爱萍的一个心结，这时，他想到了在南京的第二野战军司令员刘伯承。刘伯承是著名军事家，德高望重，即使在国民党的军队中也有很大的影响力，南京解放后任中共南京市委书记兼市长、南京市军事管制委员会主任。张爱萍向刘伯承汇报此事后，刘伯承爽快地答应了。于是，张爱萍让时任华东军区海军政治部办公厅主任的孙克骥约请林遵。孙克骥曾经做林遵的工作，对他比较熟悉，并且把在上海的原国民党海军办公厅少将主任、中共地下党员金声也请来一起见刘伯承。交谈中，刘伯承对林遵率部起义表示赞赏和欢迎，也谈了组建人民海军的重要，请他和金声等海军专家为海军建设多做贡献。林遵态度依旧，明确表示：陆军不能接管海军，解放军的文化水平不足以建设海军。刘伯承见林遵不买账，便循循善诱做他的思想工作，说：“人对任何新知识都有一个从不会到会的过程，解放军战士的文化低是事实，但是可以通过学习提高嘛！正是因为他们不懂，才请你们来教他们，有你们这些老师和专家，还愁学不会吗？”听了这番话，林遵只是沉默不语。但是刘伯承却明察秋毫，看清了他的心思。待林遵、金声离开后，刘伯承对张爱萍说，看来林遵想当解放军的海军司令。张爱萍爽快地说，那就请他当嘛！刘伯承说，那样就不是人民海军了。随后，张爱萍给党中央打了一份报告，请求任命林遵为海军第一副司令员。

如何让编入海军的解放军官兵尽快掌握舰船技术，一方面是让新海军老老实实地向原海军学习，另一方面也得让原海军真心实意地教授新海军。带着这个问题，张爱萍第三次去请教林遵。当时，林遵的态度依然冷漠而坚定：“没有好办法。”张爱萍并未灰心，仍然耐心地探寻：“有没有个途径，让新海军尽快地掌握些简单的基本的海军知识？”林遵摇头说：“没有。”接着，他严肃而又认真地说道：“科学技术嘛，就是要扎扎实实一点一点地学习的，没有速成法。要培养一个舰上的水兵，首先其本人要具备初中以上文化，经过一年半的专科训练，才能上舰工作；至于海军军官，要有高中以上的文化，并且要懂英语，还要经过专科学习，然后再实习、见习，需要4至5年的时间，方能独立工作；对各专业部门长和舰长的要求则更高了，不经过再次入学深造，那是不允许也不可能担当此任的。”张爱萍觉得他说的当然不无道理，但如照此宏论，我们的计划就会统统“泡汤”。当时的解放军内不要说高中生，就连初中生也是凤毛麟角。1949年5月27日，上海宣告解放。第二天，张爱萍即带领海军机关进驻上海市武昌路9号原国民党海军补给总站。他专程去拜会了金声，得到了一些真实情况。原来，国民党海军在撤离上海时，其内部不少正直的爱国之士毅然脱离所部隐蔽身份留了下来。这批人大多分散在上海各个角落，或躲到了外地，在青岛、福州、广州等几个海军基地都有这种情况。还有一批国民党海军的元老，他们正统观念强技术精湛、经验丰富，只是年事已高，大都在福州休息。了解到这一情况后，张爱萍立即召开了临时党委会，决定从国民党海军旧部人员中招贤纳士。1949年6月12日，华东海军发布了两则通告：一则是《中国人民解放军华东区海军司令部、政治部通告（人字第一号）》，另一则为《中国人民解放军华东区司令部登记国民党海军人员办事处通告（登字第一号）》。张爱萍还在金声的陪同下，亲自登门拜访原国民党海军司令部办公室副主任徐时辅，消除他的顾虑，令徐时辅非常感动。不久，在张爱萍的启发下，徐时辅茅塞顿开，借鉴1945年美国培训国民党海军的速成训练法，制订出了新海军训练方案。这个方案通俗易懂，简便易行，得到张爱萍的赞赏。徐时辅被任命为司令部训练处副处长。1949年8月15日，华东区海军学校成立，徐时辅兼职教育科长，首批学员只用了2个月就学会了军舰操作技术。这令林遵大开眼界，连连称赞，观念开始有了转变。

为进一步调动林遵等国民党海军起义将领的积极性，张爱萍向陈毅建议：请毛泽东主席等中央领导接见国民党海军起义将领。1949年8月28日下午4时，毛泽东在中南海怀仁堂接见了张爱萍、林遵、金声、曾国晟等人。当张爱萍向毛泽东介绍林遵时，毛泽东紧紧地握着林遵的手高兴地说：“你是林则徐的侄孙，久闻大名啊！你的先人林则徐是抗英英雄、民族英雄，全国敬仰啊！你毅然脱离国民党军队率部起义，同样是英雄壮举，可钦可佩可喜可贺呀！”张爱萍向毛泽东简要汇报了海军筹建情况，并介绍了国民党海军起义人员在其中所做的贡献。毛泽东听了很高兴，说：“我们建设的海军是人民的海军，人民海军是中国共产党领导的人民解放军的组成部分，必须继承和发扬解放军优良传统，团结奋斗，保卫我们的海防。你们原海军人员懂得科学知识，有技术。新海军要向你们学习，人民解放军的同志有优良政治工作制度和战斗作风，你们也要向新海军学习。新老同志要团结，相互学习，共同为建设人民海军而奋斗。”之后，毛泽东还与他们合影留念。毛泽东的接见，令林遵等人十分激动，他们全神贯注地聆听着毛泽东的谈话，当听到毛泽东对他们的称赞和鼓励时更是心潮澎湃，深受鼓舞和启迪。他们一致表示，一定为人民海军的建设竭尽全力。两个小时的接见谈话，在林遵的心中打下了深深的烙印，使他受益终生。1950年4月23日，在南京长江草鞋峡江面举行了华东军区海军一周年生日庆典暨舰艇命名典礼。张爱萍建议以革命圣地的地名命名人民海军的第一批舰艇，陈毅和粟裕批准了这个意见。当时获得命名的战舰有51艘、登陆舰艇52艘、辅助船31艘。林遵主持典礼仪式。时任华东军区暨第三野战军副司令的粟裕和军委海军副政委兼政治部主任刘道生分别作了热情洋溢的讲话。张爱萍率领全体海军指战员在毛泽东主席、朱德总司令的像前庄严宣誓：“我们是中国人民的海上武装，在中国共产党领导下成长起来。今天，蒙受中央人民政府颁给我们庄严的旗帜、光荣的称号，我们感到无限光荣和责任的重大……我们保卫这光荣的旗帜和称号，永远像保卫祖国的尊严一样。”

1955年被授予少将军衔，荣获一级解放勋章。

林遵同志不幸逝世，是我海军建设事业的一大损失。一九四九年四月，中国人民解放军发起渡江战役，进军江南，解放全中国。林遵同志当时任原国民党海军海防第二舰队司令，他坚决响应伟大领袖毛主席和朱总司令的号召，在敬爱的周恩来同志亲切关怀下，毅然率部在南京江面起义，加速了渡江战役的胜利，对中国人民的解放事业作出了贡献。毛主席称赞这次起义为“在南京江面上的壮举”，“是值得全国人民热烈欢迎的行动”。毛主席、周总理、朱委员长生前都亲切地接见过林遵同志。三十年来，林遵同志努力学习马克思列宁主义、毛泽东思想，认真改造世界观。他积极参加人民海军建设，特别是在院校建设、培养干部的工作中作出了成绩，为建设人民海军，保卫我国海防作出了贡献。他一贯积极努力工作，生活艰苦朴素，作风正派，严于律已，团结同志，联系群众。在党的长期教育下，他参加了中国共产党，成为无产阶级先锋队的一员。近年来虽在病中，犹十分关心我国四个现代化建设和海军建设。林遵同志十分关心祖国的统一，对在台湾的故旧十分怀念，病中仍时时盼望台湾早日回到祖国的怀抱，并为此做了不少工作。