Skygningen eller Skolebygningen er en gammel, smuk og fredet bygning. Den blev oprindeligt opført som ladebygning i 1743, men blev ombygget til undervisning i starten af 1800-tallet og har senere fået endnu en etage, hvor man i dag finder to elevgårde kaldet Øst og Vest.
Lassengården er opkaldt efter Anders Lassen (1920-1945), der var kommandosoldat i Special Boat Service, som hørte under British Navy. Anders Lassen havde ganske kort tid sin skolegang på Herlufsholm.
Bodilgården er skolens nyeste elevgård og indrettet med mindre enheder i seks fløje
Vuen blev opført i 1969 med støtte fra Herlufsholmfonden og var tidligere elevgård for skolens yngste elever, hvilket gav den kaldenavnet ”vuggestuen”.