明潘廷章《硖川图志》载：“殳山又作芟山，西山之西北六里，高二十余丈，周七里……”《桐邑志》曰：“殳山，因殳仙而得名。殳仙名基，得导引术入千金乡，相传宋时人，登此山数年，趺坐而化……”考其地，据《石泾小志》载：“汉代为由拳县西南境，三国（吴）后改属嘉兴，五代（后晋）时又改属崇德，明代宣德五年（1430年）后划归桐乡。至1950年，殳山又划归海宁。

殳山为元末明初著名文学家贝琼（号清江，1314-1378年）的故里。山麓原有其故宅遗址，《重修浙江通志稿》及《嘉兴府志》等均有记载。山上原有贝琼读书台、殳仙石、铜（一作桐）棺冢、洗药池、炼丹台、藏兵坞、小赤壁，一滴泉、公主墓诸胜迹，今已湮没无闻。现辟为公墓。