Désigné sous le nom de son fondateur : Nicolas Le Valois d'Escoville, et aussi pendant longtemps sous le nom d'hôtel du Grand Cheval jusqu'au XIXe siècle, l'Hôtel, siège de l'Académie a été construit par la famille Le Valois. Celle-ci était une ancienne famille lexovienne qui joua un rôle important à Lisieux puis à Caen.
Nicolas Le Valois, né du mariage de Jean le Valois avec Charlotte La Bigne, naquit en 1495 et donna la notoriété à cette famille.
Nicolas Le Valois eut 4 ou 5 fils, selon les auteurs, entre autres :
- Louis ,Vicomte de Caen, tige de la lignée des Seigneurs de Fontaine-Etoupefour.
- François, tige des Seigneurs d'Escoville.
- Jean, Seigneur de Mesnil Guillaume; ce Jean était Gentilhomme de la Chambre du Roi et fut le dernier des Le Valois qui ait possédé l'Hôtel d'Escoville qu'il vendit dès 1603 à un riche commerçant de Rouen, Guillaume Moisant.
La maison LeValois devait d'ailleurs s'éteindre rapidement.
Nous parlons de Nicolas Le Valois, car sa personnalité de travailleur acharné qui employait ses loisirs à des études philosophiques, et à des recherches mystérieuses d'alchimie, explique certainement les décorations sculptées qu'il a inspirées.
Nicolas Le Valois d'Escoville ne devait pas jouir longtemps de cette splendide demeure :
" Le vendredy, jour et feste des Rois 1541, Nicolas Le Valois, seigneur d'Escoville, Fontaine, Mesnil-Guillaume et Manneville, le plus opulent de la ville lors, ainsy qu'il se devoit asseoir à table, à la salle du Pavillon de ce beau et superbe logis, près le carrefour Saint-Pierre, qu'il avait faict bastir l'an précédent, en mangeant une huistre à l'écalle, luy aagé d'environ quarante-sept ans, tomba mort subitement d'une apoplexie qui le suffoqua".
(M. de Bras) C'était le 6 janvier 1541.
Le quartier Saint-Pierre, situé aux abords du château, renfermait les habitations des familles les plus opulentes de la ville, … nombreuses, et cet endroit (qui était donc au cœur de la ville). Ceci explique en grande partie les origines et la destinée de l'Hôtel d'Escoville où siégeront les services de l'Hôtel de Ville, l'Académie et plus tard la juridiction consulaire, la Bourse de Commerce. La demeure était vaste et somptueuse et elle était bien située dans un quartier central.