Fra ca. 1396-1400 lod roskildebispen Peder Jensen Lodehat borgen Gjorslev opføre.
Den mægtige biskop var tillige rigets kansler og dronning Margrete I’s ven og rådgiver. I 1397
var han arkitekten bag Kalmarunionen, hvor de tre nordiske lande samledes under Dronning
Margretes ledelse.

Lodehats borg består af det 30 meter høje tårn og de fire fløje i korsbygningen. Den lavere nordre sidefløj blev bygget i 1638, mens den sydlige sidefløj blev bygget i 1843. Korsbygningen er opført af kridtsten fra Stevns Klint samt munkesten og er omgivet af en voldgrav. Slottet tjener både som bolig for ejeren og som udlejningsboliger og godskontorer.

Avlsgården er bygget i forskellige århundreder. Midtergaden "Bredgade" er omkranset af bygninger, opført af Frederik IV, da Gjorslev var ryttergods. Disse bygninger samt slot og voldsted, er fredede, hvilket vil sige, at ejeren har vedligeholdelsespligt, og at intet må ændres. De øvrige bygninger er moderniserede i overensstemmelse med tidens krav.

Gjorslev var i kirkens eje indtil reformationen i 1536, hvor kronen overtog næsten alt kirkegods. Herefter skiftede godset til privat eje, indtil det købtes af dronningen i 1679. I 1743 købte Chr. Lintrup – senere adlet Lindencrone -  Gjorslev, og fra 1793 til 1925 var slægten Scavenius ejere. I 1925 købtes godset af kammerherre Adolph Tesdorpf fra Falster, og i 1930 blev det overtaget af sønnen, kammerherre Edward Tesdorpf. Den nuværende ejer, Peter Henrik Tesdorpf, overtog Gjorslev i 1970.