Iniziò così un calvario che portò il sodalizio latisanese a stazionare nei bassifondi della classifica di Prima Divisione per alcune annate, vale a dire nel 1955-56,1956-57 e 1957-58 (basti pensare che nella stagione 1956-57 la prima vittoria arrise ai locali a primavera inoltrata, praticamente a fine campionato).