Есть основания полагать, что монастырь был заложен в 1330 году на средства татарского мурзы Чета, влиятельного вельможи Золотой Орды, который направлялся через эти края по пути в Москву на службу к великому князю Ивану Калите. На подходе к Костроме, в том месте, где сейчас стоит монастырь, Чет облюбовал дубовую рощу для отдыха. Во время отдыха ему было видение Божией Матери с апостолом Филиппом и священномучеником Ипатием, после чего он был исцелен от какого-то недуга. В благодарность Богу усердием татарского мурзы на этом месте вскоре была основана обитель.