Иван Павлович очень любил свое подмосковное имение Рождествено (ныне в Истрииском районе). В нем он построил храм во имя Рождества Христова, где был погребен вместе с супругой. В 2001 г. этот храм, переживший почти 80-летнее забвение, осквернение и поругание обрел вторую жизнь. Тогда же были перезахоронены останки храмоздателей, обнаруженные при реставрационных работах в храме. Соседкой по имению Кутайсовых была княгиня Е.Н. Мещерская, владелица села Аносино, имевшая юную дочь Анастасию, которую соседи считали достойной невестой младшего сына Кутайсовых, последний раз навестившего родителей в Рождествено перед отъездом на свою последнюю кампанию. Но судьбе было угодно распорядиться иначе...

Уйдя далеко от власти, Иван Павлович пополнил ряды отставной московской знати, собиравшейся на зиму в первопрестольную. Об одной из таких встреч с Кутайсовым в 1824 году вспоминал балетмейстер А.П. Глушковский, учивший танцевать крепостную балетную труппу из 18 рязанских девушек, которую камергер Г.П. Ржевский продал Московскому театру: "Во время танцевального класса нередко приезжали к Григорию Павловичу его знакомые посмотреть рязанских танцовщиц. Однажды... приехал граф Иван Павлович Кутайсов с генералом от кавалерии Андреем Семеновичем Кологривовым (находился также в отставке. - А.С.) и генерал-майором Федором Ивановичем Мосоловым (состоял по кавалерии без должности и жил в Москве. - А.С.). Войдя в мой класс, граф сказал: "Продолжайте, продолжайте ваши танцы, мы вам никак не помешаем". На это я ответил: "Извините, ваше сиятельство, они устали, позвольте им отдохнуть". Граф продолжал: "Я думаю, и вы не меньше их, не угодно ли вам с нами сесть?" Потом спросил, у кого я учился танцевать; я ответил, что у Дидло.