Кавказская епархия была учреждена по указу Николая Первого. Она должна была действовать с 1 января 1843 года. Николай подчеркнул, что епископ будет именоваться епископом Кавказским и Черноморским. Русское население Кавказа и Черномории тогда отпадало от Православия – в старообрядчество разных толков, сектантство и даже мусульманство. Открытие епархии произошло в разгар Кавказской войны с Шамилём. Ясно было, что главе такой епархии достанется нелёгкий крест. «Служение…поистине крестоносное…должно быть в духе апостольском».
Епископ Иеремия прибыл в Ставрополь, который являлся центром Кавказской епархии, 10 апреля 1843 года. Это была Великая Суббота. Своё служение на Кавказе Владыка начал со службы Пасхальной. Он привёз с собой 100 антиминсов, ризы, походные иконостасы, походные Престолы и Жертвенники.
В линейном Кавказском казачьем войске из 130 тыс. человек 20 с половиной тысяч были староверы. А кроме них ещё – духоборы, молокане, беглые крепостные, просто бродяги. Нередко случалось, что раскольнические станицы сопротивлялись царской армии, переходили на сторону Шамиля, даже отъезжали в Турцию. Казаки-гребенцы, сражавшиеся на стороне царя, прекрасно понимали, что Самодержавие не пойдёт против них, ибо России нужны были успехи в войне. Они открыто этим спекулировали. Православные приходы были в жалком состоянии, церкви разрушены.
Епископ Иеремия понимал, что без нового, хорошо образованного священства эти беды не избыть. Потому, кроме строительства новых церквей, Владыко все силы своей души вкладывал в создание духовных училищ и семинарий. В день Иоанна Златоуста была открыта Кавказская (ныне Ставропольская) духовная семинария. Владыка отдал в семинарию свою библиотеку, сам проводил уроки. Епископ Иеремия строго придерживался правила: в новые приходы посылались только грамотные священники, прошедшие полный курс обучения. Им же была учреждена казённая стипендия для детей бедного священства. При чём деньги в это Владыка вкладывал свои. Владыка строил храмы, обихаживал православные кладбища, строил на кладбищах часовни.
Своей деятельностью Владыка вызвал негодование у староверов. Ведь позиция Владыки была однозначна: старообрядчество должно уйти в прошлое. Понимая, что в армии каждый солдат на счету, казаки пригрозили правительству и армейскому начальству, что покинут армию в самый разгар боевых действий. Казачий атаман Николаев с возмущением обратился к царю… Так Владыка попал в немилость. Чтобы успокоить казаков, решено было разделить Кавказскую епархию и оставить за Владыкой лишь небольшую её часть. У Владыки отобрали линейные станицы. Кавказская епархия стала совсем мала. Линейные станицы отошли к Тифлисской епархии: по принципу – до Бога высоко, а до начальства далеко. Тифлис об ту пору, из-за тех же боевых действий, был абсолютно недоступен. И это было гарантией того, что духовное начальство, если им даже окажется такой же ревнитель благочестия, каковым был Иеремия, просто не доберётся до своей паствы. Это был очень грубый политический шаг, свидетельствующий о теплохладности Правительства и Синода к Вере. Гребенские казаки торжествовали победу. А епископ Иеремия глубоко скорбел. Он был надломлен и душою, и телом. Не только православные, но и единоверческие церкви приходили в запустение, ибо старообрядцы покинули и их. С горечью Владыка Иеремия писал Кавказскому наместнику, графу Воронцову, что не может приехать по его приглашению в Кисловодск, ибо ему придётся ехать «по чужой земле».
В 1848 году в новый город Ейск прибыл генерал Заводовский. Он привёз с собою жителям Ейска подарок от Владыки Иеремии – чудотворную икону святителя Николая
В 1849 году Владыка Иеремия был переведён в Полтаву. Он оставил после себя «цветущий оазис православия на Кавказе».
«Преосвященный Иеремия есть пастырь достойный всякой похвалы. При строгом образе жизни он соединяет в себе истинную кротость, любовь к ближнему, глубокую набожность и пламенное усердие к вере…Примером дел своих, равно как всегдашним расположением к добру и благотворению, он приобрёл себе общую привязанность и уважение».
Справка. Епископ Иеремия – в миру Иродион Иоаннович Соловьёв. Родился 10 апреля 1799 года в селе Георгиевское Орловской губернии. Сын причётника Иоанна Яковлевича и Марии. В 1860 году принял схиму с именем Иоанн в память родителя. Скончался в 1884 году, 85-ти лет от роду. Погребён в Благовещенском мужском монастыре в земле Нижегородской.