Tom gaat samen met Mirjam en Snuf een week logeren bij hun oom Hans en hun neef Jaap. Vlakbij het huis van Oom Hans is een spookkasteel. Hier blijkt ook een legende aan vast te zitten, de legende van Zwarte Bertram, ook wel de vloek van de jaloezie genoemd. In het kasteel heeft zich een bende smokkelaars gevestigd. Rechercheur Barninkhof is op zoek naar deze bende, die voortdurend toeslaat. Als Tom iemand in het spookslot ziet, lijkt niemand hem te geloven. Om het te bewijzen besluit Tom samen met Snuf op onderzoek uit te gaan. Hierdoor komt Tom in aanraking met de gevaarlijke bende smokkelaars in het spookslot. Daar komt nog bij dat zijn neef Jaap wel erg veel belangstelling heeft voor Mirjam. De jaloezie drijft een wig tussen de twee jongens: ze krijgen er zelfs ruzie door.