Urodzony w 1868 roku Connolly był jednym z 12 dzieci ubogich irlandzkich imigrantów, mieszkających w Bostonie. Rozwijał swoje sportowe umiejętności na ulicach i na pustych terenach, gdzie wraz z innymi młodymi mężczyznami biegał, skakał i grał w piłkę. Nie skończył szkoły średniej, ale jako samouk zdobył stypendium Harvarda na studiowanie filologii klasycznej.

Pragnął wziąć udział w pierwszych nowożytnych igrzyskach olimpijskich, lecz nie otrzymał zgody dziekana. Mimo to zdecydował się popłynąć do Europy. Nie miał wystarczająco pieniędzy na bilet na statek, lecz proboszcz jego parafii pomógł mu zebrać brakującą sumę wśród parafian.

W czasie długiej morskiej podróży schudł pięć kilogramów. Po drodze w Neapolu został okradziony. Dogonił jednak złodzieja i odzyskał portfel.

Connolly planował spędzić pierwsze 12 dni na treningach w Atenach jednak nie wziął pod uwagę, że w Grecji obowiązywał kalendarz juliański, co spowodowało, że do zawodów mógł się faktycznie przygotowywać tylko jeden dzień. O właściwej dacie dowiedział się przy śniadaniu, trzy godziny przed startem. W nocy spał jedynie trzy godziny.

Było to 6 kwietnia 1896 roku, w dniu inauguracji igrzysk. Trójskok, w którym miał wystąpić Connolly był pierwszą dyscypliną rozgrywaną podczas zawodów. Amerykanin startował jako ostatni. Skoczył 13,71 metra, o metr dalej niż dotychczas prowadzący rywal. „To cud” – krzyczeli widzowie.

Tym samym Connolly stał się pierwszym mistrzem olimpijskim od czwartego wieku naszej ery, gdy armeński książę Barastades triumfował w boksie. Gdy wrócił do Bostonu, dziekan z Harvardu, chcąc zadośćuczynić podjętej wcześniej dość pochopnie decyzji, zaproponował Connolly’emu tytuł doktora honoris causa. Tym razem to Connolly odmówił. Cztery lata później Connolly zdobył srebrny medal w trójskoku na igrzyskach w Paryżu, poprawiając swój wynik z Aten (13,91 m). Kolejne, w amerykańskim Saint-Louis, obserwował już jako dziennikarz.

Connolly wstąpił do Rycerzy Kolumba i zarabiał na życie pisaniem. W czasie wojny hiszpańsko-amerykańskiej w 1898 roku walczył na Kubie, pisząc jednocześnie relacje dla „The Boston Globe”. W 1904 roku ożenił się i miał dwie córki. W czasie I wojny światowej był reporterem wojennym w Europie. Pisał też o irlandzkiej walce o niepodległość.

Był pisarzem-marynistą, Napisał 25 powieści i 200 opowiadań. Jego twórczość cenili: Joseph Conrad, T.S. Eliot i Theodore Roosevelt. Zmarł w 1957 roku w wieku 88 lat w Brookline, w stanie Massachusetts.