Zámok postavil Villiam Smith Kelly
pre manželku Agnes. Tak ako J.A.Russell ( čajovníkove plantáže BOH ) Smith prišiel
do britskej Malajzie za vidinou bohatstva. Usadil sa v meste Ipoh, v blízskosti
ktorého sa práve nachádzame. Po pár rokoch práce a nadväzovania kontaktov sa mu
naskytla veľká príležitosť, keď od britskej koloniálnej vlady dostal objednávku
vybudovať cesty v sultánstve Perak. Zákazka bola natoľko lukratívna, že za
zárobok si kúpil rozsiahle pozemky, na ktorých založil kaučukové plantáže. Neskôr
k svojim aktivitám pridal aj obchodovanie so železnou rudou, ktorej obrovské
zasoby sa našli práve v Peraku. Po rokoch sa z neho stal jeden z najbohatších
mužov Malajzie. Pre svoju manželku Agnes, ktorú nesmierne miloval, chcel postaviť
krásny zámok. Kedže Smith bol fascinovaný indickou kultúrou, rozhodol sa pre
architektúru palácov južnej Indie. Stavba sa začala v roku 1910. Najatých bolo
40 robotníkov zo Srí Lanky, z Indie bol privezený kvalitný mramor. Zámok mal mať
prvý výťah v Malajzii. Ten sa však stal Kellymu osudným. Pri ceste do Lisabonu,
kam ho išiel vyzdvihnúť, ťažko ochorel a zomrel. Zronená manželka predala plantáže,
zobrala deti a odišla do rodného Škótska.
Do Malajzie sa už nikdy nevrátila. Zámok nebol nikdy dokončený. Chátral a po
rokoch ho zarástla bujná vegetácia. Po takmer sto rokoch sa oň začali zaujímať pamiatkári a priviedli ho do
pôvodného stavu.