Рейнхэм Холл, родовое имение маркизов Таунсхендов, расположен в нескольких милях к юго-западу от Фэйкнхэма в Норфолке. Таунсхенды стали маркизами в 1786 году, и поколения маркизов гостеприимно принимали в Рейнхэм Холле королевскую семью.

В возрасте 26 лет Дороти вышла замуж за героя своей детской любви лорда Чарлза Таунсхенда, который годом ранее, в 1711 году, пережил смерть своей первой жены. Согласно легенде, Дороти была любовницей лорда Вартона, и когда после свадьбы Таунсенд узнал об этом, он запер жену в ее комнатах. Обстоятельства ее смерти неизвестны. Предания говорят разное: то ли она умерла из-за разбитого сердца, то ли расшиблась, упав с лестницы, то ли ее погубила оспа.

Портрет, считающийся изображением леди Дороти, висел в доме до момента его продажи в 1904 году. Женщина на нем одета в коричневую парчу с желтой отделкой с круглым слоеным жестким воротником вокруг шеи. Ее большие глаза сияют. Ходили слухи, что портрет выглядел нормально только в дневном свете, а при свечах лицо становилось злым и похожим на безглазый череп.

Века донесли до нас бесчисленные истории о встречах с "коричневой леди". Одна из самых знаменитых произошла в начале XIX века, когда Георг IV, бывший тогда регентом, нанес визит в Холл и ночевал в Государственной опочивальне. Проснувшись в середине ночи, он увидел стоящую рядом с кроватью женщину в коричневых одеждах, с всклокоченными волосами и со смертельно бледным лицом. Он так испугался, что громогласно поклялся не остаться "ни часа в этом проклятом доме".

На Рождество в 1835 года "коричневую леди" видел полковник Лофтус, один из многих людей, гостивших в Холле. Лофтус видел призрак две ночи подряд. В первый раз привидение стояло около комнаты леди Таунсхенд. Преследуемое Лофтусом, оно сбежало вниз в коридор и исчезло. Следующей ночью он встретил "коричневую леди" на лестнице; она несла лампу. По его описанию, это была величавая леди, одетая в роскошную парчу, с плотно облегающим чепцом на волосах, и при этом с пустыми темными глазницами. Лофтус сделал зарисовку, которую на следующее утро показал гостям за завтраком.

Вскоре после этого в Холл был приглашен романист капитан Фредерик Марриэт. Он придерживался непопулярной теории, по которой призрак был каким-то образом связан с контрабандистами и браконьерами, которыми тогда изобиловала эта местность. Однажды ночью он и два племянника лорда Чарлза Таунсхенда лицом к лицу столкнулись с "коричневой леди" в коридоре. Она несла зажженную лампу и, как сказал Марриэт, "дьявольски" ухмыльнулась ему. При нем был пистолет, он поднял его и выстрелил в упор. Призрак исчез. Впоследствии Марриэт клялся, что пуля прошла прямо насквозь. Пулю нашли в двери, находившейся прямо за тем местом, где стоял призрак.

После этого эпизода о "коричневой леди" не было слышно до 1920 года, когда с ней столкнулись маркиз Таунсхенд, бывший тогда ребенком, и один из его друзей.

В 1936 году леди Таунсхенд пригласила фотографа, Индру Шайра, чтобы сфотографировать внутреннее убранство Рейнхэм Холла. Шайра и его помощник г-н Прованд делали фотографии при вспышке магния; они снимали лестницу, когда Шайра увидел расплывчатый силуэт на ступенях. Он напоминал фигуру женщины, одетой в белое. Призрак начал спускаться по ступеням. Шайра взволнованно приказал Прованду снимать. Прованд не мог видеть привидения, но повернул камеру в направлении, указанном Шайрой. Прованд не поверил, что Шайра видел призрака, и побился об заклад в пять фунтов, что фотография не выявит белый силуэт. Однако он проиграл — "коричневая леди" появилась на фотографии в виде силуэта, облачение которого напоминало свадебное платье и вуаль. Эти фотография, опубликованная в журнале "Сельская жизнь" 1 декабря 1936 года, произвела сенсацию. Ее исследовали эксперты, однако они так и не смогли найти никаких признаков мошенничества.

Говорят, что "коричневая леди" появляется также в Хаугхтон Холле, в доме брата леди Дороти, построенном на месте старого родового гнезда, где Уолполы жили примерно 600 лет. Рассказывают, что несколько самых счастливых лет своей жизни леди Таунсхенд провела в Хаугхтоне. Согласно легенде, ее призрак явился принцу-регенту, когда тот спал в Государственной опочивальне. После этого он перебрался в другие, хотя и более скромные покои.

По преданию, Коричневая Леди Райнхэма является призраком леди Дороти Таунсенд (Таунсхенд), которая была замужем за Чарльзом Таунсендом, человеком известным своими крутым нравом. Когда Чарльз узнал об измене жены, он приказал поселить ее в родовом поместье в Райнхам Холл, расположенном в Норфолке, Англия. Он не позволял ей покидать помещение, и даже видеть своих детей. И она оставалась там до конца своей жизни.

В течение следующих двух столетий призрак леди Таунсенд неоднократно видели ходящим по Райнхэм Холлу.