Por volta de 1700, Charles Townshend vivia em Norfolk, Inglaterra, junto de sua esposa, Lady Dorothy Townshend. Reza a lenda, que um pouco antes do casamento, Dorothy teria traído seu futuro marido com Lord Wharton.
Charles, que não era bobo, descobriu que sua futura esposa havia lhe passado para trás, mas mesmo assim casou-se com ela. Porém o casamento não ocorreu por ele ter perdoado Dorothy, mas sim porque Charles queria se vingar dela. Desse modo viveram durante alguns anos juntos, até que em 1726, Lady Townshend morreu suspostamente de varíola, contudo a lenda diz que o enterro foi apenas uma armação e a mulher na verdade estava viva e trancafiada em um cômodo afastado da mansão. Dizem que após o falso funeral, Dorothy ficou presa naquele quarto aonde todos os dias seu marido vinha lhe espancar por causa de sua traição.
Casa onde supostamente Dorothy ficou presa durante anos
Durante muitos anos ela viveu naquele lugar, sofrendo com as dores e com a fome. Além de ter que conviver com a saudade de seu filho, que fora tirado dela por seu cruel marido.
A data da verdadeira morte de Lady Dorothy Townshend não está registrada em lugar algum, porém em setembro de 1936 a mais famosa foto de fantasma da história foi tirada e a esposa mal tratada ressurgiu na história:
Essa foto, tirada por Captain Provand e Indre Shira, é uma das mais intrigantes imagens de fantasmas, pois diversos estudos jamais encontraram uma falha ou algo que a desacreditasse, tornando essa foto a imagem de assombração mais verossímil de todos os tempos.
A casa onde a foto foi tirada ainda existe e conta-se que é possível ver a "Dama Marrom" vagando por lá de vez enquando, procurando por seu filho.