Kalmar'da ilk yerleşimler antik çağlara dayanmaktadır. Yapılan kazılarda Kalmar'ın bulunduğu bölgede Taş Devri döneminden kalma mezarlara rastlanmıştır. Ancak kent ile ilgili en eski resmi kaynaklar 11. yüzyıla dayanmaktadır. Bu da bölgeyi İskandinavya'nın en eski kenti yapmaktadır. 12. yüzyılda kentte ilk kale inşa edildi. Aynı kale 13. yüzyılda daha da geliştirildi. Kentin Baltık Denizi'nin en güvenilir ve en stratejik bölgesinde yer alması zamanla bölge nüfusunu arttırdı.
Kalmar, 1602'de psikoposluk bölgesi oldu. 1611-1613 arası dönemde Danimarka ordusunun Kalmar Kalesi'ni kuşatmasıyla Kalmar Savaşı çıktı. 1611 yılı bu nedenle Kalmar tarihinin en karanlık yılı olarak bilinmektedir. 1670'lerde son kez kuşatılan Kalmar Kalesi böylece hiçbir zaman İsveç topraklarından çıkmamıştır. Kent günümüzde İsveç'in önemli bir sanayi ve ticaret merkezidir. 30.000'den fazla nüfusa sahip olan kentte, üniversite mevcuttur.