De retour au fortin dans la nuit, Jim a la mauvaise surprise de le trouver occupé par Long John Silver et ses hommes : le docteur Livesey, pour des raisons stratégiques, a choisi d’abandonner le fortin et de remettre aux pirates la précieuse carte au trésor. Jim est immédiatement fait prisonnier.
Parmi les pirates, la confiance envers Silver s’effrite : certains lui reprochent son attitude ambiguë et son étrange clémence envers Jim. Ils lui remettent à leur tour un « point noir », le sommant de justifier sa conduite, mais Silver parvient à retourner la situation en sa faveur grâce à son habileté à manier les mots.
Le lendemain, le docteur Livesey vient soigner les pirates malades et révèle à Silver que l’abandon du fortin et de la carte faisait partie d’un plan : elles n’ont plus grande valeur, puisque Ben Gunn a déjà découvert et déplacé le trésor bien avant leur arrivée.
Silver, Jim et le reste des pirates partent ensemble à la recherche du fameux magot, guidés par la carte de Flint. Arrivés à l’emplacement indiqué, ils ne trouvent qu’un grand trou vide : le trésor n’y est plus depuis longtemps.
Furieux d’avoir été menés en bateau, les pirates se retournent contre Silver, qui, prudemment, s’était rapproché de Jim. Au même instant, des coups de feu éclatent depuis les fourrés : le docteur Livesey, Ben Gunn et le marin loyal Gray interviennent et mettent en fuite les derniers mutins.
Le groupe découvre alors le véritable trésor, cette fois bel et bien réel, dans la grotte où Ben Gunn l’avait secrètement entreposé après l’avoir découvert. Chargé de son fabuleux butin, le petit groupe regagne l’Hispaniola et met le cap sur l’Angleterre, abandonnant sur l’île trois pirates qui refusent de les suivre. Lors d’une escale, Long John Silver profite d’un moment d’inattention pour s’enfuir avec une partie de l’or. De retour chez lui, Jim referme le récit de cette aventure qui l’a fait grandir, avouant qu’il entend encore, parfois en rêve, le bruit des vagues se briser sur l’île au trésor.
