在明朝时，有姓姚的人家在此摆渡。故名姚家渡。