Родился в семье отставного офицера в селе Лутовиново Бирюченского уезда Воронежской губернии (ныне Волоконовский район Белгородской области). Уже в четыре года мальчик с увлечением читал как русские, так и французские детские книги по истории из большой библиотеки отца.
После переезда семьи в Петербург Иван учился в Ларинской гимназии, а затем на историко-филологическом факультете Петербургского университета. За дипломную работу «Римско-Византийское государство в VI веке» Иван Гревс получил золотую медаль. Перед ним открылась перспектива преподавать в университете.
Современниками наш земляк был признан одним из основоположников экскурсионного дела в России. Иван Гревс был убеждён, что непосредственное, живое соприкосновение с памятниками истории и культуры, уважение к своему прошлому и любовь к отечеству воспитывают личность.
Другое дело его жизни в этот период – краеведение. Работая в Центральном бюро краеведения, он пишет статьи, участвует в конференциях, вдохновляет и специалистов, и просто неравнодушных людей на изучение своей малой родины. Ему принадлежат проникновенные слова: «В старину спасали душу в монастырях, а теперь поддерживают живую душу краеведением». Профессору Гревсу было суждено пережить и расцвет, и разгром краеведческого движения в сталинские годы.
В наши дни Гревсовские дипломы вручают в Петербурге за просветительство в области краеведения.
Иван Гревс писал как фундаментальные труды, так и научно-популярные книги. Им также написан ряд статей для знаменитого энциклопедического словаря Брокгауза и Ефрона, пользующегося известностью и в наши дни.