Оставались еще записки Анны — тот труд, ради которого она пожертвовала последними месяцами своей жизни. Князь Гагарин полагал, что записки останутся у него (хотя он решительно не знал, что с ними делать), однако молодой князь Четвертинский решительно заявил, что он считает себя соавтором записок, а потому имеет полное право забрать их себе. При этом он сообщил Гагарину, что намерен со временем издать воспоминания его покойной жены. Он, князь Четвертинский, уверен, что эта книга будет встречена с большим интересом как в России, так и в Европе. Гагарин не возражал.

Ничто не удерживало князя Бориса на Сардинии, и он вскоре покинул остров и вернулся в Польшу. По каким-то причинам (они остались историкам неизвестными) он так и не издал воспоминания Анны. А в 1830 году, во время польского восстания против русского господства, поместье Четвертинских было занято войсками восставших. Они не простили князьям Четвертинским того, что они остались на стороне русских, и сожгли все поместье. В огне погиб дом, со всем, что в нем находилось. Предположительно, тогда же погибли и воспоминания Анны Гагариной — последнее, что от нее осталось.