Le testimonianze storiche relative a Chalki sono scarse. L’isola attraversa i secoli all’ombra di Rodi e la sua storia può essere delineata nei suoi tratti essenziali solo in relazione a quella di Rodi e dell’intera area dell’Egeo sud-orientale.
Chalki, che può essere considerata uno degli “ultimi fari della tradizione”, avrebbe probabilmente preso il nome dalle miniere di lavorazione del rame presenti in età antica.
L’isola è abitata fin dall’epoca preistorica. Secondo la mitologia, i Titani furono i suoi primi abitanti. I Pelasgi vissero sull’isola per molti anni, lasciando numerose testimonianze edilizie. A essi subentrarono i Cari, i Dori e, successivamente, i Fenici. La regina di Chalki, Aretanassa, visse sull’isola e in seguito fu esiliata a Karpathos, dove si tolse la vita quando apprese della morte del marito. Resti di tre templi dedicati al dio Apollo sono tuttora visibili nella località Pefkia. In epoca storica Chalki risulta a tratti sottomessa a Kamiros, mentre compare come “alleata” degli Ateniesi nei registri tributari annuali della Lega delio-attica, il che indica la sua dipendenza amministrativa dalla Atene democratica in quel periodo. Più tardi sembra tornare nuovamente sotto l’influenza di Kamiros e segue, nei secoli successivi, le fasi di ascesa e declino di Rodi.
Nel VII secolo l’isola fu conquistata dagli Arabi fino all’825, quando fu liberata. Veneziani e Genovesi arrivarono nel 1204 e restaurarono l’antica acropoli, costruendo contemporaneamente una fortezza sull’isolotto di Alimia. Nel XIV secolo i Cavalieri di Rodi concessero Chalki in feudo alla famiglia Assanti di Ischia;
in quel periodo costruirono anche il castello sui resti dell’antica acropoli. Tra gli stemmi conservati figura quello del Gran Maestro Pierre d’Aubusson (1476–1530), che fece restaurare la fortezza dopo una devastante incursione veneziana. Il castello fungeva da rifugio per la popolazione durante le incursioni. Nel 1523 Chalki fu conquistata dai Turchi.
L’isola partecipa alla Rivoluzione greca del 1821, la guerra d’indipendenza che segnò l’inizio della liberazione della Grecia dal dominio ottomano. Dalla metà del XIX secolo, sotto la dominazione ottomana, Chalki raggiunge l’apice della propria prosperità: insieme a Symi, Kalymnos, Kastellorizo e Kasos sviluppa il commercio e la pesca delle spugne. Vengono fondate scuole e il livello di istruzione della popolazione cresce rapidamente.
Negli ultimi anni del dominio ottomano e durante il dominio italiano, i tradizionali privilegi vennero aboliti; il commercio e la spongicoltura entrarono in crisi e prese inizio un forte flusso emigratorio. Nel 1912 l’isola venne occupata dagli Italiani e, come tutto il Dodecaneso, passò sotto il dominio italiano, inizialmente militare e poi civile dal 1923 in poi.
Durante la Seconda guerra mondiale, Chalki si guadagnò grande prestigio grazie al coraggio e al sacrificio di suoi valorosi figli, tra cui il sottotenente Alexandros Diakos e il capitano Diogenis Fanourakis.