Nella parte storica del paese è tuttora visibile il Castello, da cui il paese ha preso il nome, perfettamente conservato ed interamente abitato. Vi si accede dal lato sud-occidentale attraverso una rampa in muratura posta in corrispondenza dell'antico ponte levatoio, passando sotto un curioso edificio con finestre bifore e trifore. Il complesso fortificato, osservabile interamente nonostante il degrado di alcune parti e le ristrutturazioni subìte in altre, si presenta a pianta rettangolare con torrioni rettangolari, con fossato perimetrale, basi scarpate, mura merlate (ora tamponate e mascherate da finestre inserite negli spazi intermerlari) e finestre centinate. L'edificio fu probabilmente eretto a cavallo tra i secoli XIII e XIV quale avamposto contro i tentativi di conquista della Lomellina da parte dei marchesi del Monferrato.