Konon pada zaman dahulu kala ada seorang prajurit perang Pangeran Diponegoro bernama ki Candra Mangku Negara yang lari dikejar oleh VOC. Sesampai di sebuah tempat karena merasa capek berhentilah Ki Candra dan istri untuk beristirahat dan beliau menancapkan tongkat yang dibawa saat menghindari kejaran VOC, melihat kesejukan dan keindahan alam memikat hati, istri Ki Candra meminta kepada suaminya untuk menetap di daerah tersebut.

Rumah kecil beratapkan ijuk berpagar bambu dan berada diatas bukit Ki Candra membangun pondok untuk berteduh disekelilingnya tumbuh rumput ilalang dan pohon aren, disampingnya juga mengalir sungai kecil yang sangat jernih airnya. Pada suatu ketika terjadi keanehan dimana sungai kecil sebelah pondok mengalir ikan yang sangat banyak bahkan tidak terlihat airnya, semua yang mengalir adalah ikan yang berwarna warni dengan berbagai jenis. Fenomena seperti itu hanya terjadi sekejap mata sampai Ki Candra tercengang melihat kejadian itu, timbul keinginan dari Ki Candra untuk menamai sungai tersebut dengan nama Kalilunjar yang berarti "sungai mengalir ikan".

Selama bermukim di sana Ki Candra hidup tenang dan dikaruniai beberapa anak cucu dan buyut serta pengelana ikut serta membuat pondok didaerah tersebut sehingga daerah tersebut menjadi sebuah perdukuhan dengan Ki Candra sebagi Kepala Dukuhnya, kejadian aneh juga terjadi terjadi bahwa tongkat yang ditancapkan oleh Ki Candra tumbuh dan menjadi sebuah pohon yang rindang apabila dilihat dari kejauhan terlihat seperti sebuah alat musik gamelan yang bernama Gong sehingga tempat tersebut sering dinamai Genggong dalam bahasa jawa "wit gede kaya gong" (Pohon Besar Yang Menyerupai Gong).

Seiring berjalannya waktu genggong berubah menjadi perdukuhan yang ramai dan padat sehingga ada keinginan untuk melebarkan kedaerah lain. Dengan bertambahnya usia dan merasa kurang mampu untuk memimpin perdukuhan, maka Ki Candra memerintahkan Ki Pantjadiwirdja untuk membawa beberapa warga untuk pindah ke daerah yang lebih luas di bawah bukit genggong disebuah areal persawahan untuk membuat permukiman sekaligus untuk memboyong pemerintahan perdukuhan dari Genggong. daerah tersebut diberi nama Purwasari yang sekarang menjadi pusat pemerintahan Desa Kalilunjar.

Dengan berpindahnya pusat perdukuhan dari bukit Genggong menuju Purwasari, maka jumlah penduduk yang masih tinggal di Genggong menjadi sedikit dan setelah Ki Candra beserta istri meninggal dunia, maka jumlah penduduk di Genggong selalu berjumlah ganjil sampai dengan hari ini, maka perdukuhan genggong juga sering disebut dengan nama dukuh ganjil.