1957年2月，上海分局党委从上海铁路分局和分局公安机关抽调人员，成立上海铁路运输分院。

1957年9月，根据高检院运字第209号文的通知，上海铁路运输分院撤销。

1979年8月，经中央政法委决定，铁道部负责筹建铁路运输法院和检察院。

1980年7月，经上海铁路分局决定，成立上海铁路运输检察院筹备组。

1982年5月，根据高检、高法、公安部和铁道部相关规定正式办案，更名为上海铁路运输检察院。

2012年7月，上海铁路运输检察院纳入国家司法管理体系，实行属地管理，由上海市人民检察院派出，接受上海市人民检察院全面领导和上海铁路运输检察分院业务指导。