En 1873, comenzó la construcción y el rellenado de grandes muros de contención entre Fort Point Channel y este lugar, lo que fue parte de un enorme proyecto de creación de terrenos ganados al mar en las llanuras de marea conocidas como South Boston Flats. En poco tiempo, un gran patio ferroviario cubrió las antiguas llanuras de marea y marismas. Para facilitar el manejo de carga, las vías se extendieron hasta Pier 4, construido en la década de 1880, y hasta los dos muelles que hoy forman Fan Pier. Una serie de compañías ferroviarias, la última de las cuales fue la New Haven, fueron propietarias tanto de los terrenos como de los muelles.

El carbón era una fuente de energía regional vital en ese momento. En 1900, por ejemplo, se transportaron cuatro millones de toneladas por la costa hasta Boston. Parte del carbón se descargó aquí para luego ser transportado en un tren de carga. Otras mercancías que llegaban a Pier 4 incluían lana importada, que se almacenaba en esta zona, cuero de animales destinado a fábricas de zapatos y algodón para hilanderías.

La New Haven declaró quiebra en 1935; se reorganizó y luego volvió a quebrar en 1961. En los años siguientes, se quitaron las vías ferroviarias y se establecieron estacionamientos. Alrededor de 2010, un auge de la construcción sin precedentes comenzó a transformar una vez más lo que antes fuera llanura de marea.