A família Carletti ascendeu à principal classe de Montepulciano em 1699, graças ao messer Francesco Xaverio. O filho de Francesco Xaverio, Mariotto Carletti, foi condecorado com o título pessoal de Conde palatino pelo Pontífice Clemente XII, com ato de 11 de dezembro de 1733 e obteve a sua inscrição e aquela da sua família no Livro de Ouro dos nobres de Montepulciano com decreto de 18 de janeiro de 1762.
A arma do brasão nobre é azul com uma faixa de ouro acompanhada na parte superior por uma estrela com seis raios de ouro e uma meia lua na ponta em prata. A residência fica em Montepulciano.
Mas o personagem mais famoso da família Carletti foi o Conde Francesco Saverio que, no final do século XVIII, negociou e assinou com o Diretório Francês um pacto de neutralidade e amizade entre o Grão-ducado da Toscana e a França. Amante da vida e do status social, sempre à procura de amizades importantes como aquela que manteve com a Condessa d’Albany ou distribuidor de favores como com o amigo Vittorio Alfieri. Ficou muito famoso e ... a queda súbita, a fuga e a perda de grande parte dos bens por ter ousado demasiadamente na complexa política europeia do final do século XVII. Uma história que, por muitos motivos, é quase uma parábola, mas real, das várias estórias humanas... e muito italianas!
No final da segunda metade do século XIX, mais precisamente no dia 10 de setembro de 1888, o edifício passa à família Nerazzini, após o casamento entre Cesare Nerazzini e Egle. Aqui viveu a última parte da sua vida Cesare Nerazzini, incrível médico e diplomata que, quase um século após Carletti, negociou para a Itália com o Negus após a sangrenta e dramática batalha de Ádua, na quais os etíopes venceram os italianos.
Por um lado, Nerazzini representa uma outra versão do caráter italiano. Estudioso, amante de viagens, encontros e descobrimentos de mares e terras longínquas que o tornam certamente o maior conhecedor italiano, naquela época, da cultura africana e o fazem concluir a sua carreira como cônsul da Itália em Shangai. Um personagem muito complexo: certamente amante do homem, pois era médico (de fato, promove a primeira tentativa de criar um tipo de sistema sanitário nas áreas de interesse italiano), ao mesmo tempo vive todas as contradições e os horrores do período colonialista, mesmo sendo um dos poucos, à época, a possuir maior conhecimento para olhar em volta e avaliar os acontecimentos.
Nos anos 30 do século XX, o edifício foi desmembrado e o andar principal tornou-se um escritório: primeiramente do Consórcio de Recuperação de Terras do Val di Chiana (uma das recuperações mais complexas do território italiano, com uma história e testemunho fascinantes que vão dos etruscos, passando por projetos de Leonardo da Vinci, até as grandes obras do século XVIII e XIX) e, sucessivamente, tornou-se a sede histórica do Partido Comunista Italiano de Montepulciano.
Em 2008, iniciaram-se os trabalhos de manutenção e restauração do andar principal e foram descobertos, em todos os ambientes que se tornarão os quartos, afrescos atribuíveis a Pozzo (que trabalhou em Montepulciano e na vizinhança) e aos seus colaboradores, que por várias décadas ficaram escondidos por pesados tetos falsos e os quais até mesmo tinham sido esquecidos. Foram restaurados o salão do século XVIII, um dos poucos exemplos dessas dimensões (10 m x 8 m x 6,2 m de altura) completamente pintado e afrescado e todos os ambientes com processos e materiais que respeitam a história e a tradição local.