В 324 году первый христианский византийский император Константин захватил город и построил в нем первую церковь Гроба Господня. Основную часть населения тогда составляли грекоязычные христиане, а так же язычники; евреям по-прежнему жить в Иерусалиме запрещалось. Положение изменилось только при византийском императоре Юлиане-вероотступнике, который намеревался вернуть город евреям и заново отстроить Храм. Однако планы эти были нарушены внезапной смертью императора в 363 году. Византийское владычество закончилось в 614 году, когда город был захвачен персами, разрушившими все христианские святыни.
В 638 году страна и город подчиняются арабскому владычеству, халиф Омар ибн-Хоттаб строит в Иерусалиме ряд мусульманских сооружений. В начале 8 века халиф Абед эль-Малик строит на Храмовой горе Наскальный Купол и мечеть Аль-Акса, посвященную вознесению на небо пророка Магомета. Город остается в руках мусульман вплоть до прихода в 1099 году крестоносцев, сделавших Иерусалим столицей своего королевства. Аюбский султан Салладин в 1187 году изгоняет рыцарей и город вновь становится мусульманским на много столетий.
В период мамелюкского владычества Иерусалим был превращен в важнейший мусульманский центр. В городе проживало тогда всего лишь несколько десятков еврейских семей. С начала 16 века до 1917 года Иерусалим является частью Оттоманской империи, турецкий султан Сулейман Великолепный строит новые городские стены, которые сохранились до сегодняшнего дня. В этот период еврейское население города значительно растет. В 1809 году в городе жило менее 9 тысяч человек.
В 1831 году Иерусалим захвачен Мухаммедом Али из Египта, который посадил здесь своего управляющего Ибрагима Пехали. Тогда и закладывается основа появления Нового города. В 1859 году на деньги еврейского банкира-благотворителя Мозеса Монтефиори построен первый район Иерусалима вне стен Старого Города, называемый Мишкенот Шаананим. Вскоре строится еще целый ряд новых еврейских кварталов — и вскоре население нового города превышает население Старого, которое составляло тогда около 15 тысяч человек.
В 1898 году по приказу турков в крепостной стене Старого города у Яффских ворот пробит проезд для машины кайзера Вильгельма II, посетившего Иерусалим и получившего здесь практически за бесценок ряд земель, на которых были построены церкви и больницы. В результате Первой Мировой Войны в 1917 году в Иерусалим входят британские войска под командованием генерала Алленби. В 1925 году лорд Бальфур торжественно открывает Еврейский Университет на горе Скопус, а Иерусалим вновь становится важнейшим центром, где евреи живут рядом с арабами и христианами.