Xerxes werd opgericht in 1904 door onder anderen leden van de familie Van Koetsveld. Het speelde aanvankelijk aan de Zanddijk. Vanaf 1906 in de Boschpolder. Vanaf 1908 had de club haar speelveld aan de Pelgrimsstraat,vanaf ca. 1911 aan de Hudsonstraat en vanaf 1921 nog westelijker, aan het Groene Wegje.

In 1931 bereikte Xerxes de 1e klasse, de hoogste afdeling van het Nederlandse voetbal. Uiteraard was er grote vreugde, maar ook een probleem. Het veld en de inrichting aan het Groene Wegje voldeden niet aan de eisen van de eerste klasse. De thuiswedstrijden in het seizoen 1931-1932 moesten op het VOC-terrein worden afgewerkt. Maar in augustus 1932 kon het ‘westelijke’ Xerxes verhuizen, dit keer uit eigen vrij wil, naar een eigen stadion aan de Wilgenplas in Schiebroek.

In ieder geval tot in het begin van de jaren ’20 van de 20e eeuw werd bij Xerxes, net zoals bij veel andere verenigingen naast voetbal ook aan atletiek gedaan.