En 1517, racontent les anciens historiens de la ville, François Ier, charmé de la réception qui lui avait été faite par les Amiénois, résolut de passer désormais une partie de l’année au milieu d’eux. En conséquence, il fit construire, sur l’emplacement de l’hôtel des Trois-Cailloux, l’édifice dont nous parlons.
C’était, dit le docteur Goze, un château en pierre et brique très richement décoré à l’intérieur et entouré d’un mur crénelé flanqué de tourelles et plongeant dans un fossé que traversait un pont-levis. Après la bataille de Pavie, le logis fut abandonné par son royal hôte et devint l’habitation des gouverneurs de la province. Mais jusqu’au milieu du dix-septième siècle, époque où il tomba en ruine, il servit de logis à tous les grands personnages dont Amiens reçut la visite. Marie de Lorraine, veuve de Jacques V, y séjourna lorsqu’elle vint en France implorer le secours du roi Henri II ; Antoine de Bourbon, père de Henri IV, le prince de Condé, le duc de Nevers, le duc de Longueville l’habitèrent en 1551, 1505, 1587 et 1588.
Pour la famille de ce dernier, le château se transforma en prison pendant les troubles de la Ligue, depuis la Noël de 1588 jusqu’au 2 janvier 1593. Là passèrent ensemble, en 1625, Marie de Médicis, Anne d’Autriche et Henriette de France, nouvellement mariée à Charles Ier d’Angleterre. Là habitèrent encore Louis XIII et Louis XIV, le premier en 1640, lorsqu’il pressait les opérations du siège d’Arras, le second en 1647, donnant par sa présence un grand éclat aux cérémonies de la Fête-Dieu.
Dans ce qu’il resta du logis morcelé, la salle des concerts dits d’Apollon s’établit en 1748 ; sous la Révolution, elle devint le siège d’un club et disparut en 1798.