Los testimonios históricos sobre Jalki son escasos. La isla ha pasado los siglos a la sombra de Rodas y su historia solo puede esbozarse en sus aspectos fundamentales solo en relación con la historia de Rodas y la región más amplia del sureste del Egeo.
Jalki, que puede considerarse uno de los «últimos faros de la tradición», probablemente recibió su nombre de las minas de elaboración de cobre que existían en la antigüedad. Jalki ha estado habitada desde la época prehistórica. Según la mitología, los Titanes fueron sus primeros habitantes. Los Pelasgos vivieron en la isla durante muchos años, dejando tras de sí numerosas construcciones. Les sucedieron los carios, los dorios y, más tarde, los fenicios. La reina de Jalki, Aretánassa, vivió en Jalki y luego fue exiliada a la isla de Kárpathos, donde se suicidó cuando se enteró de la muerte de su marido. Todavía se conservan los restos de tres templos en honor al dios Apolo en la localidad de Pefkiá. En los tiempos históricos, Jalki aparece a veces como vasalla de la ciudad de Kámiros, mientras que en los «catálogos fiscales» anuales de la Alianza del Delos se la menciona como «aliada» de los atenienses, lo que significa que en aquel periodo se encontraba bajo la dependencia administrativa de la «Democracia Ateniense». Más tarde, parece volver a depender de Kámiros. Y sigue el auge y la decadencia de Rodas en los siglos siguientes.
En el siglo VII, los árabes conquistan la isla hasta el año 825, cuando se libera. Los venecianos y genoveses llegan en 1204 y reparan la antigua acrópolis, construyendo al mismo tiempo una fortaleza en la isla de Alimiá. En el siglo XIV, los Caballeros de Rodas cedieron Jalki como feudo a la familia Assanti de Isquia. Entonces construyeron su Castillo sobre las ruinas de la antigua acrópolis. Entre los escudos se conserva el del Gran Maestre Pierre d’Aubusson (1476-1530), quien restauró la fortaleza tras la devastadora incursión que sufrió Jalki por los venecianos. La población se refugiaba en el castillo en caso de invasión. En 1523 los turcos conquistan Jalki.
La isla participa en la revolución de 1821. A partir de mediados del siglo XIX, Jalki bajo la ocupación otomana alcanza su apogeo. Junto con Symi, Kalymnos, Kastellorizo y Kasos, desarrollan el comercio y la pesca de esponjas. Se fundan escuelas y el nivel educativo de la población experimenta un aumento vertiginoso.
En los últimos años de la dominación turca y durante la dominación italiana, se suprimen los privilegios tradicionales, se ve afectado el comercio y la pesca de esponjas y comienza la hemorragia de la emigración. En 1912, al igual que todas las islas del Dodecaneso, pasa a estar bajo el dominio italiano, inicialmente militar y, a partir de 1923, político.
Durante la Segunda Guerra Mundial, Jalki se glorificó gracias a las luchas y los sacrificios de sus dignos hijos, como el teniente Aléxandros Diakos y el capitán Diogenis Fanourakis.