Bangunan Lapas Lumajang merupakan peninggalan Hindia Belanda, dahulu Lapas ini dikenal dengan nama penjara (De Gevangenis te Loemadjang). Namun pada tahun 1974 nama penjara diganti menjadi Lapas, dan kemudian pada tahun 1984 nama Lapas berganti menjadi Rumah Tahanan (Rutan). Lalu akhirnya, berdasarkan Surat Keputusan Menteri Kehakiman namanya dirubah kembali menjadi Lapas Klas IIB hingga sampai sekarang.