Kraj gradskih zidina, ispod samostana i crkve sv. Antuna opata nekada se nalazilo nekoliko srednjovjekovnih crkava kojih su ostatci jedva vidljivi u raslinju uređenoga gradskoga perivoja. U središtu parka postavljen je kip sv. Marina, legendarnoga svetca koji je osnovao državicu San Marino. Neki arheolozi smatraju da se na istom mjestu u 16. st. nalazila ljevaonica zvona i oruđa Ivana Krstitelja Rabljanina. On se odselio u Dubrovnik i tamo se proslavio svojim umijećem lijevanja.
U parku je na sjevernoj strani kraj hotela obnovljena srednjovjekovna romanička crkvica sv. Katarine iz 12. ili 13. st. Ona se donedavna gotovo urušila, a služila je za skladište. Prema izgledu tlocrta kod kojega je apsida prilično duboka i široka smatra se da su njezini temelji još iz vremena ranoga kršćanstva. Crkvica je jednobrodna četvrtastoga tlocrta sa sniženom polukružnom apsidom na istočnoj strani, izmijenjenoga pročelja i bočnoga ulaza s južne strane. Na pročelju s romaničkim polukružnim lukom portala ističe se visoka preslica sa zvonom i okulusom iznad ulaza. U unutrašnjosti je otvoreno drveno krovište koje je izvana prekriveno kanalicama, a krov apside kamenim pločama. Kapela je građena nepravilno klesanim kamenom s jednim prozorčićem na njezinoj sjevernoj strani u sredini lađe. Kod obnove zadržana je jednostavnost unutarnjega uređenja. Postavljen je kameni stol svetišta na jednu nogu, udubljenje za kustodiju, ostavljene su prazne plohe zidova, pod je od kamena na kojem se nalazi stilizacija križa s ucrtanim likovima svetaca.
Iznad parka s kapelom sv. Katarine u Gornjoj ulici, između katedrale i njezina zvonika, bile su kapele sv. Ivana (15. st.) i sv. Roka (17. st.). Na zvonik katedrale oslanjala se ranogotička crkvica sv. Vida, od koje su očuvani dijelovi zabata i jednoga zida s fragmentom portala. Kapela sv. Ivana prije rušenja služila je za mrtvačnicu, a na mjestu kapele sv. Roka izgrađen je stambeni prostor.
