Oko crkve sv. Duje, koja je bila izgrađena do g. 1386. u Kraju, naselili su se prognanici iz Bosne zajedno sa svojim fratrima. Zahvaljujući oporuci od g. 1392., oko zadužbinske crkve obitelji Grisogono izgrađen je gotički samostan (g. 1394.) koji je u funkciji od druge polovice 15. st. Samostan je tijekom 17. st. obnovljen u baroknom stilu, kada je dograđen zvonik iza svetišta crkve. Pokrajinski kapitul o ujedinjenju dalmatinske, dubrovačke i bosanske vikarije održan je u samostanu 21. kolovoza 1464. Mlečani nisu dopustili boravak franjevcima na svojem teritoriju te je samostan pripao Provinciji sv. Jeronima (oko g. 1580.). Zadarske plemićke obitelji i bogatiji građani tijekom minulih stoljeća pomagali su fratre i samostan.
Današnje dimenzije redovničkih zgrada zauzimaju površinu od 38 x 35,5 m sa središnjim renesansnim klaustrom iz 16. st. U samostanu je 15 soba, a u vrtu maslinik sa 150 stabala i vinograd. Klaustar je izveden sa šest lukova na istočnoj i zapadnoj strani, a pet na sjevernoj i južnoj. U sredini se nalazi bunar (gusterna) za vodu. Unutar hodnika u klaustru su grobnice i slika Bogorodice iz 15. st., a u blagovaonici slika posljednje večere. Samostanski muzej posjeduje vrijedne i rijetke predmete iz povijesti Pašmana, knjige, rukopise, umjetnine, crkvene predmete i ruha te arheološke nalaze.
Franjevci su zaslužni za izgradnju pristaništa, škole i čitaonice (g. 1907.), za unaprjeđenje gospodarstva, svilarstva, vinogradarstva i maslinarstva na otoku te promicanje kulture i evangelizacije crkvenih pokreta i molitvenih zajednica pastoralnim radom tijekom ljeta. U novije vrijeme sanirani su dijelovi i preuređen je južni dio i gusterna samostana. Od 1986. do 1989. popločen je klaustar bračkim kamenom, uređena knjižnica, asfaltiran prilazni put i srednje krilo samostana. Za blagdan sv. Dujma 7. svibnja 2017. otvorena je riznica u dvorani nekadašnje biblioteke, koja je preseljena na I. kat. Nedjeljne su mise u 9 sati u samostanskoj crkvi.
