Условие плавания: Fa = Fтяж, p g V = m g.

из него можно заключить, что стальной гвоздь тонет ввиду малого объема, но достаточно большой массы, а судно держится на воде за счет своего огромного объема

У стального судна есть борта - вот в чём фишка. Судно на самом деле пытается тонуть, но в какой-то момент в процессе погружения внезапно обнаруживается, что оно за счёт бортов уже вытеснило массу воды, равную его собственной массе, а при этом воды в трюм ещё не поймало. Получается уравновешивание веса судна весом вытесненной им воды, и - фокус: стальное судно плавает.
   
У гвоздя нет бортов, поэтому ему придётся утонуть.