Jeho kniha Potulky životom (Ikar, Bratislava 2006) obsahuje úžasné množstvo faktov, ktoré presahujú individuálne osudy autora a majú svedeckú hodnotu o dobe, fotografickom umení i rôznych krajinách sveta, kam ho profesia zaviedla.
A bolo toho toľko, že vlastne azda aj Kállayovo cestovateľstvo ho prinútilo pustiť sa do vlastného životopisu. Bolo by neodpustiteľným hriechom, ak by táto suma zážitkov bola ostala iba v autorovej pamäti. A z nej Kállay aj vychádza. Nerobil si zápisky, spísal iba to, čo si zapamätal a čo sa v nijakom prípade nedá zabudnúť. Začína, pochopiteľne, svojím detstvom, ktoré bolo harmonické, bez materiálnych ťažkostí, veď vyrastal v rodine vysokého štátneho úradníka, ktorý sa stal neskôr županom.
Keďže šlo o roky 1939 - 1945, rodina, pochádzajúca okrem toho z vyšších spoločenských vrstiev, bola po vojne tŕňom v oku najmä komunistickej moci. Napriek tomu, že župan podporoval protifašistický odboj, Kállayovcov násilne vysťahovali, otec i Karolov brat boli uväznení, rodina sa ocitla v krajnej núdzi.
Životopisec opisuje túto smutnú etapu stroho, no nie bez dojatia, lebo rodina mu bola všetkým a bol by rád zopakoval tento "model" i vo svojom manželstve. To sa mu neskôr aj podarilo, ibaže hlava rodiny musela byť celé mesiace na cestách. Tu sa začína vlastný kállayovský príbeh.
Od mladosti priťahovaný fotografovaním nadviazal prvé pracovné kontakty s obrázkovým slovenským časopisom Domov a svet, no ešte predtým získal na celoslovenskej výstave v Bratislave roku 1942 zlatú medailu za snímku Asfaltéri. Potom prišla práca pre časopis Móda, fotografovanie do publikácie o premonštrátskom kláštore v Jasove, príprava ďalších obrazových kníh, ktorých bude okolo dvadsať, a naraz, ako prietrž, nasledovali cesty do sveta. Ich dôvodom bola spolupráca s časopismi Saison, Jardin des Modes, ale najmä Kállayovo meno - stal sa pojmom a zárukou kvality. Napriek konkurencii bezkonkurenčný.
Kállay predstavuje túto mnohoročnú sériu zájazdov a výjazdov do celého sveta ako vzájomne poprepájané náhody, ktorých zákonitosť spočívala v jeho neuveriteľnej energii a túžbe poznávať neznáme prostredia: bolo v tom aj veľa odvahy k dobrodružstvu, hraničiacemu často až s ohrozením života (cesty do ázijských sovietskych republík). Kállay nič nepredstiera: ak sa bál, napísal to, ak bol unavený na smrť, napísal to tiež, a ak pracoval najmä pre peniaze, priznáva sa k tomu takisto.
V jeho cestopisných zápiskoch prevláda úžasná spontaneita a nehraná skromnosť, pričom si nikde nezabudol všimnúť i humorné stránky svojich zážitkov. Dozvieme sa veľa podrobností o tom, aký krátky úsek preňho znamenala cesta od myšlienky k jej realizácii; keď si napríklad povedal, že pripraví knihu o New Yorku, Taliansku či Tokiu, bolo to rozhodnutie skôr bleskové než dlhodobé.
Kállayove potulky životom ukazujú umelca cieľavedomého, invenčného a náramne skúseného, ktorý sa vie podeliť najmä s tým dobrým a zaujímavým, s čím sa stretol. Nijaký turistický sprievodca, skôr dôverný kamarát, ktorý rozpráva o sebe a o svojich. O tom, čo sa nedalo pri fotografovaní fotografovať.