Historische Quellen über Chalki sind spärlich. Die Insel durchquert die Jahrhunderte im Schatten von Rhodos, und ihre Geschichte lässt sich nur in ihren Grundzügen nachzeichnen – stets im Zusammenhang mit der Geschichte von Rhodos und dem weiteren südostägäischen Raum.
Chalki, die oft als einer der „letzten Leuchttürme der Tradition“ bezeichnet wird, erhielt seinen Namen vermutlich von den Kupferverarbeitungsstätten, die in der Antike auf der Insel existierten. Chalki ist seit prähistorischen Zeiten bewohnt. Der Mythologie zufolge waren die Titanen die ersten Bewohner. Die Pelasger lebten über viele Jahre hinweg auf der Insel und hinterließen zahlreiche Bauwerke. Ihnen folgten die Karer, die Dorier und später die Phönizier.
Die Königin Arethanassa von Chalki lebte auf der Insel, wurde jedoch später nach Karpathos verbannt, wo sie sich das Leben nahm, als sie vom Tod ihres Ehemanns erfuhr. Überreste von drei Tempeln zu Ehren des Gottes Apollon sind noch heute in der Gegend von Pefkia erhalten.
In historischen Zeiten war Chalki zeitweise der Stadt Kamiros tributpflichtig. Außerdem erscheint die Insel als „Verbündete“ Athens in den jährlichen Steuerlisten des Attisch-Delischen Seebunds – ein Hinweis darauf, dass sie in dieser Periode administrativ der „Athenischen Demokratie“ unterstand. Später scheint Chalki erneut von Kamiros abhängig gewesen zu sein und folgte daraufhin dem Aufstieg und Niedergang von Rhodos.
Im 7. Jahrhundert wurde die Insel von den Arabern erobert und blieb bis 825 unter deren Herrschaft. 1204 gelangten Venezianer und Genuesen nach Chalki, reparierten die antike Akropolis und errichteten eine Festung auf der Insel Alimia. Im 14. Jahrhundert übergaben die Ritter von Rhodos Chalki als Lehen an die Familie Assanti aus Ischia. In dieser Zeit errichteten sie auch ihre Burg über den Ruinen der antiken Akropolis. Unter den erhaltenen Wappen befindet sich auch das des Großmeisters Pierre d’Aubusson (1476–1530), der die Festung nach einem verheerenden venezianischen Angriff restaurieren ließ. In Zeiten von Überfällen suchte die Bevölkerung im Kastell Zuflucht. 1523 wurde Chalki von den Osmanen erobert.
Die Insel nahm aktiv an der Griechischen Revolution von 1821 teil. Ab der Mitte des 19. Jahrhunderts erreichte Chalki unter osmanischer Herrschaft den Höhepunkt seines Wohlstands. Zusammen mit Symi, Kalymnos, Kastellorizo und Kasos entwickelte die Insel Handel und Schwammtaucherei. Schulen wurden gegründet, und das Bildungsniveau der Bevölkerung stieg deutlich.
In den letzten Jahren der osmanischen Herrschaft und während der italienischen Besetzung wurden die traditionellen Privilegien aufgehoben; Handel und das Schwammtauchen verloren an Bedeutung, und die Abwanderung verstärkte sich. Ab 1912, wie im gesamten Dodekanes, geriet Chalki unter italienische Herrschaft – zunächst militärisch, ab 1923 dann auch administrativ.
Während des Zweiten Weltkriegs zeichnete sich Chalki durch den Mut und die Opferbereitschaft tapferer Bewohner aus, darunter Leutnant Alexandros Diakos und Hauptmann Diogenis Fanourakis.