Główny budynek ekspozycyjny o zabytkowym charakterze jest przykładem typowej XIX wiecznej architektury fabrycznej. Powstał w II połowie XIX wieku jako Fabryka Wyrobów Metalowych Emila Kelcha. W okresie międzywojennym działała tu Wytwórnia Wyrobów Metalowych Towarzystwa Akcyjnego „Arkona”. W czasie II wojny światowej w budynku mieścił się przejściowy obóz dla polskich wysiedleńców. W późniejszym okresie został on przekształcony w fabrykę sprzętu optycznego na potrzeby wojskowe. Po wojnie ulokowano tu fabrykę gazomierzy i sprzętu gospodarstwa domowego.
W 1980 roku miasto Tczew przekazało cały obiekt Narodowemu Muzeum Morskiemu w Gdańsku, które rozpoczęło jego adaptację na potrzeby nowopowstającego Muzeum Wisły. Do dnia dzisiejszego jest to największe muzeum rzeki w Polsce.
Oficjalne otwarcie placówki odbyło się 13 kwietnia 1984 roku, udostępniono wtedy zwiedzającym pierwszą stałą wystawę pt. „Dzieje żeglugi wiślanej”, a 8 października 1984 roku otwarto drugą ekspozycję pt. „Łodzie ludowe dorzecza Wisły”.
W latach 2004-2007 budynek przeszedł gruntowną modernizację sfinansowaną z funduszy unijnych, dotacji Ministerstwa Gospodarki oraz wkładu Gminy Tczew. Obecnie w obiekcie mieści się Muzeum Wisły i Centrum Wystawienniczo-Regionalne Dolnej Wisły, podległe miastu Tczew. Budynek został przystosowany dla osób niepełnosprawnych.