A klubot Daniel Danskin és egy pár munkás a Woolwich Arsenal Armament Factory-ból (egy fegyvergyár) alapította 1886-ban. A csapat neve volt Dial Square, nem sokkal késobb Royal Arsenal, 1891-ben, amikor profivá vált Woolwich Arsenal, The Arsenal, majd végül Arsenal. Elso pályájuk Plumstedben, Dél-Londonban volt. Eloször átköltöztek a Manor Fieldre, majd 1913-ban az észak-londoni Highburybe, ahol azóta már metrómegállót is neveztek el a csapatról.

1886. december 11-én a legelso meccsüket 6-0-ra megnyerték az Eastern Wanderers ellen. 1893-ban csatlakoztak a második osztályba, azelott csak barátságos meccseket, illetve kupameccseket játszottak. 1904-ben feljutottak, de a 10-es években a túl nagy adósság miatt visszaléptették a Division 1-ból, és ekkor a klub majdnem fúzionált a Fulhammel. Az elso vonalnak 1919 óta megszakítás nélkül tagjai, ami angol rekord (ekkor csak azért jutottak fel, mert a bajnokságot 22 csapatosra bovítették).

25-ben a legendás menedzser, Herbert Chapman vette át az irányítást, aki máig is használatban lévő taktikai elemeket vezetett be a futballba. A 30-as években 5 bajnokságot is nyert a csapat, bár Chapman 34-ben meghalt. Tom Whittaker, Bertie Mee, Terry Neil, George Graham és Arséne Wenger alatt is nyert a csapat bajnokságot vagy kupát. Grahamnek azért kellett mennie, mert állítólag "félretett" pénzt egy igazoláskor. Ot Bruch Rioch követte 95-ben, de annak ellenére, hogy a 3. helyen végeztek, és leigazolta Dennis Bergkampot, váratlanul menesztették. Wengert pár nappal a 96/97-es szezon kezdete előtt nevezték ki. Szintén a 3. helyre vezette az ágyúsokat, a következő évben, viszont a klub második dupláját (bajnokság és F.A. kupa-elsőség) érte el. Wenger az egyetlen külföldi (nem brit) edző, akinek sikerült dupláznia. Továbbá létrehozott egy együttmuködést a francia St. Etienne csapatával.