Yahya Efendi Dergahını yaptırdığı zaman o civarda Ortaköy Rumlarından başka kimseler yoktu. Bir gün bir Rum Çoban, davar güderken koyunlarından iki tanesi dergâhın bahçesine girmiş. Koyunlarını çıkarmak maksadıyla dergahın bahçesine giren çoban, bir dervişin:

- Ne arıyordun? sorusuyla irkilerek:

-Koyunlarımı arıyordum, demiş.

Çobanı gören Yahya Efendi, Rum Çobanı dergaha içeri aldırmış, o na:

-Gel bakalım gel… Koyunlarını mı istersin, kendini mi? Yoksa ikisini birden mi, ne dersin? diyerek, çobanı rahat bir yere oturtarak:

-Yağ, bal ve ekmek getirin demesiyle, hemen anında sofra kuyrulmuş, isteneler gelmiş, sofra kurulunca Yahya *Efendi, Rum Çobana:

-Hayde bakalım, bismillâh buyur, işte sana tereyağı, mumlu bal ve taze nan, ister ise yağa ban, ister isen bala ban, demiş.

Bu *tatlı ortamdan sonra, çoban koyunlarına değil de kendine talib olmuş, o gün, orada, o vesileyle Müslüman olduğu için adı Balaban kalmış.