À partir de 1316, les vicomtes de Melun s'allient aux comtes de Tancarville. De nouveaux aménagements puis plusieurs campagnes de construction font évoluer la vieille enceinte vers le château fort que nous connaissons aujourd'hui.
Une porte fortifiée, avec pont levis à flèches, vient renforcer l'enceinte du XIIIème siècle. Un corps de logis est construit dans la cour. Son mur arrière plonge dans le fossé initial, se substituant à l'ancienne courtine. D'autres travaux (milieu du XIVème siècle et 1371-1387) permettent l'extension de l'enceinte et le renforcement des défenses.
De nouvelles courtines et trois grosses tours sont édifiées au sud. L'ancienne courtine, au nord, est surélevée et renforcée. Le nouveau donjon, tour maîtresse du dispositif, possède une tour escalier (porte et herse en place) et une tour latrines. Le sixième niveau correspond au chemin de ronde, ceinturé d'un parapet sur mâchicoulis. La tour des gardes (avec chemin de ronde ceinturé d'un parapet) et la tour des archives (avec tour latrines) sont un peu moins hautes. Selon la volonté des comtes de Tancarville, Blandy est devenu un lieu de défense mais aussi de résidence au seuil de la guerre de Cent Ans.