Podľa živej ľudovej tradície vznik obce je úzko spojený s ikonou Bohorodičky. Pred mnohými stáročiami, kedy hranice tejto maličkej obce, ako aj súčasný intravilán – prevládali storočné duby a ďalekosiahle husté krovie, na tzv. svahu „Girószka“ – tam, kde sa uchyľuje poľná cesta smerom na Košarovce – stál kedysi obrovský dub. Cez leto pod mohutným listnatým stromom, na mäkkej zelenej pažiti našiel príjemný odpočinok každý unavený cestujúci. Jedného dňa, na tomto často využitom mieste, sa odpočívajúcim cestujúcim zjavil obraz Presvätej Bohorodičky. Obraz zjavenia je viditeľný aj na najstaršej obecnej pečati obce. Zvesť o neobyčajnom zjave bleskurýchlo preletela okolie a všade vzbudila záujem. Zvlášť potom, čo krátko po zjavení z kmeňa bukového stromu začal vyvierať prameň. Svieža voda prameňa neslúži len na uhasenie smädu cestujúcim, ale má liečivú silu. Po krátkom čase dostal prameň názov „Zázračný prameň“ a návštevnosť sa zo dňa na deň zvyšovala.
V tomto čase sa usadil v blízkosti prameňa jed en tichý rehoľník. Žiaľ, tu žijúci ľudia si nevedeli a nevedia spomenúť na jeho meno. Mních hneď po svojom príchode namaľoval obraz Panny Márie s Ježiškom. Obraz zavesil na buk a pod ním kázal po okolí roztrúseným ľuďom. Vykĺčovaním vytvoril malé gazdovstvo. Pomocníci anonymného mnícha sa volali Barna a Boháč. Obidvaja mali rodinu a oni založili obec Rafajovce. Dôkazom pravdivosti tohto faktu je, že aj v 19. storočí sa tieto 2 rodiny považovali za panovníkov obce. Mních s pomocou okolitých ľudí postavil drevený kostol. Hlavnou relikviou kostola bol už spomínaný obraz Panny Márie s Ježiškom. Po dlhom čase drevený kostol zhorel, ale obraz Panny Márie sa zázračným spôsobom zachránil a zostal nepoškodený. Veriaci zostali bez kostola a zachránený obraz znovu zavesili na buk pri zázračnom prameni, ku ktorému sa chodievali modliť. Ďalšou dôležitou skutočnosťou, ktorú nemožno prehliadnuť je fakt, že táto ikona slzila. Bolo to v roku 1705. Ak to zoberieme podľa poradia rokov, rafajovská ikona bola v poradí štvrtá, ktorá v Prešovskej eparchii slzila. O tom, že drevený kostol bol postavený v roku 1536 svedčí aj malý zvon, na ktorom je vyrytý nasledovný nápis: „Ez a harang rafajóczi. Az Urnak 1536. esztendejében“. – Tento zvon je rafajovský. Pochádza z roku Pána 1536. “ (Ungváry, Ede: Rafajócz község vázlatos története. In: Adalékok Zemplén-vármegye történetéhez. – Sátoraljaújhely: Zemplén Könyvnyomtató Intézete, 1900. – 335-338 s. / XVI.-XIX. század.) Napoly legenda a napoly pravda sa v dnešných časoch dočkáva svojho historického overovania, avšak jedno je isté, že história Rafajoviec nie je mysliteľná bez histórie ikony rafajovskej Bohorodičky. To, že v tomto období v našom chotári pôsobil akýsi mních potvrdzuje aj skutočnosť, že v obci stál už spomínaný baziliánsky monastyr zasvätený Zoslaniu Svätého Ducha.