История замка Лош тесно связана с историей Франции. Начиная с Х века на вершине скалистого утеса возвышалась деревянная башня, служившая защитой для прилегающего к ней селения и связанная с ним подземными переходами, проложенными в скалах. Владение первоначально принадлежало Фульку Рыжему, графу Анжуйскому, а при его преемнике Фульке Нерре (Черном) была возведена первая каменная крепость, имевшая в плане квадрат.