Археологические свидетельства о древнем населении местности, где сегодня находится город Торроэлья-де-Монгри, говорят об эпохе палеолита (пещера Кау-де-Дук (cat. Cau de Duc), где проживали охотники-собиратели), и неолита (пещеры Кау-де-лес-Дентс (cat. Cau de les Dents), Кау-делс-Оссос (cat. Cau dels Ossos), Кау-дель-Тоссаль-Грос (cat. Cau del Tossal Gros), Кау-д’эн-Кальвет (cat. Caud’en Calvet), городище Фонольера (cat. La Fonollera), Пуч-Маскаро (cat. Puig Mascaró), где обитали земледельцы зерновых культур). Также здесь были найдены населенные пункты римской эпохи (Камп-де-ла-Грута (cat. Camp de la Gruta), Торре-Гран (cat. Torre Gran), Санта-Мария-дель-Мар (cat. Santa Maria del Mar), Санта-Мария-дель-Палау (cat. Santa Maria del Palau), виноградник Шарлан (cat. Vinya d’en Xarlan)).
Самый ранний документ, в котором упоминается Торроэлья – «Тorrocella», датируется 888 годом; в нем также фигурируют Улья («Olianus») и Белькайре. Похоже, что вся территория к югу от Монтгри была заселена в римскую эпоху, и здесь было немало вилл с I в. до н. э. по VII век н. э. (например, вилла в Камп-де-ла-Грута). Существует гипотеза, не подтвержденная археологами или документами, но не лишенная логики, что город Торроэлья вырос на месте одной из таких вилл.
В эпоху Средневековья город занимал небольшую территорию вокруг церкви Св. Генезия Арльского (cat. Sant Genís) («освященную землю» (cat. Sellera)), где сегодня стоит здание «Палау Ло-Мирадор» (cat. Palau Lo Mirador), принадлежащее семье Роберт (cat. Robert) (указом испанского короля Альфонсо XIII (cat. Alfons XIII) они стали графами Торроэльскими); раньше это был маленький храм, который сгорел в конце XIII века и практически исчез в ходе последующих перестроек. В результате обмена в 1272 году город перешел от графа Далмау VI де Рокаберти (cat. Comte Dalmau VI de Rocabertí) королю Арагона Пере II (cat. Pere II).
В Средние Века население города постепенно увеличивалось, о чем свидетельствует разрешение Генерального Бальи Каталонии (cat. Batlle General de Catalunya) от 1332 года об открытии второй городской пекарни. Торроэлья играла не последнюю роль в унификации каталонских графств, показателем чего является строительство замка Монтгри: замок появился в качестве угрожающего напоминания арагонского монарха мятежному графству Ампурьяс (cat. Comtat d’Empúries); но пока шло строительство, графство утратило свое значение и уже не представляло опасности для короля, так что крепость осталась недостроенной.
Существуют косвенные доказательства, что другие населенные пункты добровольно или принудительно принимали участие в поддержании в боевой готовности городских стен Торроэльи (Гуальта (cat. Gualta), Фотнанильес (cat. Fontanilles), судебные тяжбы 1361-1371 годов, разбирательство 1413 года).
В 1364 году король Арагона Педро IV Церемонный (cat. Pere el Cerimoniós) продал баронство и город Торроэлью графу Ампурьяса, но уже в 1373 году город вернулся в королевский домен, и в том же году началось строительство моста через Тер.
В эти года внимание арагонского монарха сосредоточилось на Торроэлье, потому что Хуан I (cat. Joan I) выбрал это место в качестве своей охотничьей резиденции. Сельера (cat. Sellera), «Освященная земля», как назывался старый город, начала расширяться в сторону юга, новые районы имели регулярную форму квадратов и окружались городской стеной, в которой было 4 ворот: Св. Екатерины (cat. Portal de Santa Caterina) (на севере), Морские (cat. Portal del Mar) (западные), Тера, или Св. Иосифа (cat. Portal del Ter, o de Sant Josep) (южные) и Улья (cat. Portald’Ullà) (на востоке).
Из всех них сохранились только Ворота Св. Екатерины, расположенные в нижней части квадратной башни. Кроме ворот, к полотну стены примыкало шесть круглых башен (среди них Башня Ведьм (cat. Torre de les Bruixes) в северо-западной части города) и четыре квадратных (среди них уже упомянутая башня Ворот Св. Екатерины в северной части стены). В этой конфигурации город просуществовал до начала XVIII века, но в XIX веке были проделаны новые ворота, а позднее снесены некоторые участки стены, согласно проектам по модернизации, предложенным Жоаном Перикотом (cat. J. Pericôt). В 1396 году был заложен монастырь августинцев.
В 1599 году, уже в Новое Время, Университат (cat. Universitat) (то есть собрание глав семей) города Торроэлья являлся собственником горного хребта Мунтанья-Гран (cat. Muntanya Gran), который он выкупил у испанского короля Филиппа II (cat. FelipII), который после военных кампаний остро нуждался в наличных средствах. Община поделила новоприобретенные земли на участки, чтобы сдавать их в аренду земледельцам, прежде всего под виноградники. С другой стороны, чуть позднее, в 1609 году, была освящена новая церковь в честь Св. Генезия (cat. Sant Genís), что совпало по времени с изгнанием морисков из Испании. Несколькими годами ранее был основан монастырь Св. Марии Благодатной в Ампурьясе (cat. Santa Maria de Gràcia d’Empúries).
Битва при Торроэлье (cat. La batalla de Torroella) произошла 27 мая 1694 года в ходе Войны Аугсбургской лиги (cat. Guerra de Nou Anys), когда французские войска под водительством герцога де Ноая (cat. Duc de Noailles) отбросили испанские терции, перешли Тер и несколько дней спустя взяли город Паламос (cat. Palamós). По окончании сменявших друг друга военных конфликтов с Францией (Война Жнецов (cat. Guerra dels Segadors), Война Аугсбургской лиги, Война за Испанское наследство (cat. Guerra de Successió Espanyola)), в XVIII веке городок начинает поднимать голову и активно осваивать земли равнин вдоль течения Тера. Были осушены лагуны Белькайре (cat. Estany de Bellcaire) (1721-1743), русло Тера повернуто к югу (начало XIX века), что привело к образованию его нынешнего устья, удаленного от Эстартита.
В то же время XIX век означал закат земледелия на землях массива Монтгри из-за поразившей виноградники филоксеры, затронувшей Торроэлью в 1880-1881 годы, а также в связи с ростом конкуренции со стороны итальянских производителей оливкового масла.
Населенный пункт Эстартит, который с административной точки зрения относится к муниципалитету Торроэлья, несколько лет назад решил выделиться в отдельный городок, с чем Торроэлья не согласилась. Топоним «Эстартит» возможно,происходит от слияния слов «EsTerPetit» (Малый Тер); рядом с Эстартитом до сих пор сохранилось старое речное русло, вода из которого впадает в море недалеко от пляжа Гриэльс (cat. platja dels Griells).
