En serbe, le nom de Novi Sad signifie « le nouveau sillon ».
Comme la ville est située à un carrefour de peuples et de cultures, elle est connue sous différents noms dans différentes langues. Aujourd'hui, le nom officiel de Novi Sad, tel qu'il est utilisé par les autorités locales est celui de Град Нови Сад en serbe cyrillique. En hongrois, elle porte le nom de Újvidék, en slovaque celui de Nový Sad. En rusyn, elle s'appelle Город Нови Сад, en allemand Neusatz (an der Donau), en latin Neoplantae et en bulgare du Banat Mlada Loza
Pendant la Seconde Guerre mondiale, environ 5 000 habitants de la ville furent tués et d'autres furent déplacés.
Lors du massacre de Novi Sad, qui eut lieu du 21 au 23 janvier 1942, la police hongroise tua 1 246 personnes, parmi lesquelles on comptait 809 Juifs, 375 Serbes, 18 Hongrois, 15 Russes et 2 Ruthènes
En 1971, un monument en l'honneur des victimes du massacre a été érigé sur la rive du fleuve; il est considéré comme un site mémoriel de grande importance de la République de Serbie
