Les témoignages historiques sur Chalki sont rares. L’île a traversé les siècles dans l’ombre de Rhodes et son histoire ne peut être retracée dans ses grandes lignes qu’en relation avec celle de Rhodes et du sud-est de la mer Égée.
Considérée comme l’un des « derniers bastions de la tradition », l’île de Chalki aurait tiré son nom des mines de cuivre en activité dans l’Antiquité. Elle est habitée depuis la préhistoire et, selon la mythologie, les Titans furent ses premiers habitants. Les Pélasges y vécurent longtemps, laissant derrière eux de nombreuses constructions. Ils furent remplacés par les Cariens, les Doriens et plus tard par les Phéniciens. Aretanassa, la reine de Chalki, vécut ici avant d’être exilée à Karpathos où elle se suicida lorsqu’elle apprit la mort de son mari. Des vestiges de trois temples dédiés à Apollon sont toujours visibles à Pefkia. Dans l’Antiquité, Chalki est parfois considérée comme vassale de Kamiros. L’île est également répertoriée comme « allié » des Athéniens dans les « listes fiscales annuelles de la Ligue de Délos », ce qui signifie qu’elle était sous la tutelle administrative de la « Démocratie athénienne ». Plus tard, à nouveau, sans doute, dépendante de Kamiros, elle suit la montée et le déclin de Rhodes au fil des siècles.
Au VIIe siècle de notre ère, l’île est envahie par les Arabes, domination qui dure jusqu’en 825. Les Vénitiens et les Génois y arrivent en 1204. Ils réparent l’ancienne acropole, tout en construisant une forteresse sur l’îlot d’Alimia. Au XIVe siècle, les Chevaliers de Rhodes cèdent Chalki comme fief à la famille Assanti d’Ischia. Ils construisent alors leur château sur les ruines de l’ancienne acropole. Parmi les armoiries préservées, il y a celle du Grand Maître Pierre d’Aubusson (1476–1530), qui a restauré la forteresse après une incursion dévastatrice des Vénitiens. La population s’y réfugiait en cas d’attaque. En 1523, Chalki est conquise par les Turcs.
L’île prend part à la Guerre d’indépendance de 1821. À partir du milieu du XIXe siècle, quoique toujours sous domination ottomane, Chalki atteint son apogée. Avec les îles de Symi, Kalymnos, Kastelorizo et Kassos, Chalki développe le commerce et la pêche à l’éponge ; en même temps, le niveau d’instruction de la population progresse considérablement grâce aux écoles créées.
Conquise par les Italiens en 1912, comme tout l’archipel du Dodécanèse, l’île de Chalki passe sous administration italienne, d’abord militaire, puis civile à partir de 1923.
Au cours des dernières années de la domination ottomane et pendant la domination italienne, les privilèges traditionnels étant abolis, le commerce et la pêche à l’éponge sont affectés. Ainsi commence l’hémorragie de l’exode rural.
Pendant la Deuxième Guerre mondiale, Chalki s’illustre par les combats et le sang versé de ses valeureux fils, dont le lieutenant Alexandros Diakos et le capitaine Diogenis Fanourakis.