Добровольный возврат маткапитала

Вкратце: есть земельный участок, хотели строить дом с привлечением мат.капитала. Первую часть получили в сентябре 21-го года, но строить по ряду причин передумали. Хотим деньги перенаправить на ипотеку, участок также продать. Дом не строили! В ПФ в отделе по мат.капиталу разводят руками, мол не наши проблемы, идите к Нотариусу. Нотариус говорит писать заявление в ПФ о возврате средств и желании использовать мат.капитал по другому назначению. С ответом (возможно с отказом) идти в суд . Может кто сталкивался с подобной практикой? Помогите советом, пожалуйста! Как долго это все может продлиться, какие есть нюансы и важные моменты?