Tento středověký vodní hrad, který v polovině 13. století založil Sudomír z rodu Tvrdišovců, měl střežit zemskou hranici a důležitý přechod přes řeku Moravu do Uher. Byl vystaven četným nájezdům, jeho historie je velmi zajímavá. Když roku 1422 Zikmund Lucemburský neúspěšně dobýval Uherský Ostroh, nocoval na hradě ve Veselí (dochovaly se tři listiny). Jeho manželka Barbora Cejská na něj na hradě ve Veselí čekala.
Stavebními úpravami a rozšiřováním se postupně původní hrad měnil na zámek.
Když v březnu roku 1423 král Zikmund Lucemburský obléhal Uherský Ostroh, pobýval na veselském hradě, neboť zde vydal tři písemnosti. Na hradě dlela také jeho manželka, královna Barbora, která zde na něj čekala po návratech z Ostrohu.