Secara administratif, Banda Neira terbagi dalam 6 desa, yakni Dwiwarna, Kampung Baru, Merdeka, Nusantara, Rajawali, dan Tanah Rata.
Banda Neira pernah menjadi pusat perdagangan pala dan fuli (bunga pala) dunia, karena Kep. Banda adalah satu-satunya sumber rempah-rempah yang bernilai tinggi itu hingga pertengahan abad ke-19.
Kota modernnya didirikan oleh anggota VOC, yang membantai penduduk Banda untuk mendapatkan palanya pada tahun 1621 dan membawa yang tersisa ke Batavia (kini Jakarta) untuk dijadikan budak.