Gelnica byla založena ve 12. století, kdy došlo k velikým přesunům a do Gelnice přišlo nemalé množství horníků z Bavorska. Mezi městské památky se pyšně řadí gotický kostel ze století 14. století, který byl vícekrát přestavěn, barokní radnice pocházející z poloviny 18. století a zříceniny gotického hradu z 13. století.
Další zajímavostí pro turisty je dřevěný most z roku 1831 a městské domy s typickými mansardovými střechami. Gelnica je považována za jedno z nejdůležitějších hornických měst v bývalém Uhersku, díky bohatým nalezištím zlata, stříbra a rud.