Раввин Герцог родился в Ломже (Российская империя, ныне — Польше) в семье рава Йоэля Герцога. С детства начали проявляться выдающиеся способности Ицхака. В 1899 году его отец получил приглашение на должность раввина Лидса в Англии и вся семья туда переехала. В 1908 году сам рав Ицхак Айзик получил смиху. Параллельно с занятиями Торой учился в лондонском и парижском университете и изучал математику, классические и семитские языки, и также философию. В 1914 году получил докторат за исследование тхелета (голубой нити в циците). В 1916 году получил назначение на должность главного раввина Северной Ирландии в Белфасте, в 1919 году стал раввином Ирландии в Дублине, а в 1925 году — раввином независимой Ирландии. Раввин смог получит широкой признание у всех евреев Ирландии и к нему с большим почтением относились также неевреи. Своими усилиями он смог отменить запрет на еврейский ритуальный забой скота, который пытались устаносить в Ирландии.

В 1936 году был избран на должность главного раввина Палестины. В 1937 году прибыл в Хайфу и вскоре приступил к исполнению своих обязанностей после коронации в синагоги Хурба в Иерусалиме. Резко выступал против политики «Белой Книги» британский властей и как знак протеста порвал экземпляр книги возле синагоги Йешурун. В 1939 году принял участие в «круглом столе» в Лондоне. В 1940 году встал во главе совета по иешивам Эрец Исраэль. В 1941 году выехал в Европу с целью спасти как можно больше евреев от уничтожения нацистами. В рамках этой поездки рав Герцог посетил Англию, США и Южную Африку. Раву Герцогу удалось договориться с советским правительством о разрешии на проезд учеников иешив через советскую территорию по дороге в Японию и в Эрец-Исраэль. Во время визита в США рав Герцог встретился с американским президентом Рузвельтом, от которого требовал помочь евреям Европы и начать бомбить лагеря уничтожения. В 1942 году его пытались отговорить возвращаться в Палестину, которую могли в это время занять немецкие

войска и уничтожить местных евреев, однако рав Герцог развеял страхи, утверждая, что разрушения страны не будет, как обещано пророками. В 1943 году рав Герцог выехал в Турцию в попытки повлиять на освобождение евреев, которые оказались на оккупированных территориях. В 1946 году рав Герцог заново выехал в Европу с целью помочь евреям пережившим катастрофу репатриироваться в Палестину, а также спасти детей, которых укрывали в монастырях, ради чего он встретился с папой Пием XII. Рав Герцог был очень сильно разочарован отношением папы римского к спасению евреев, однако от своих попыток вернуть детей не отчаялся.

В 1948 году за признания роли рава Герцога в помощи евреям и создании Государства Израиль его имя ещё при жизни было дано киббуца Масуот Ицхак в Гуш Эционе. В том же году стал первым ашкеназским раввином государства Израиль и сочинил известную молитву за здравие государства, которую говорят во многих синагогах по сей день.