Στην καρδιά του ιστορικού κέντρου της Αθήνας, ακριβώς δίπλα στον σύγχρονο μητροπολιτικό ναό, στην Πλατεία Μητροπόλεως, στέκει ο κομψός, μικρός ναός της Παναγίας Γοργοεπηκόου, γνωστός και ως ιερός ναός του Αγίου Ελευθερίου ή Μικρή Μητρόπολη.
Είναι κτισμένος επάνω σε αρχαίο ιερό αφιερωμένο στη θεά Ειλείθυια, που κατά την αρχαιότητα ήταν προστάτιδα των επιτόκων, όπως και ο άγιος Ελευθέριος στον χριστιανισμό. Χρονολογείται στα τέλη του 12ου αιώνα και η κατασκευή του μιμείται στοιχεία αρχαίου ιερού, ενώ στους τοίχους του έχει χρησιμοποιηθεί άφθονο αρχαίο οικοδομικό υλικό. Τα στοιχεία αυτά συνδέουν το μνημείο με τον λόγιο και φιλάρχαιο μητροπολίτη Αθηνών Μιχαήλ Ακομινάτο τον Χωνιάτη (1180-1204), ο οποίος διακρινόταν για την κλασική του παιδεία.
Είναι πιθανό ότι ο ναός αρχικά αποτελούσε το καθολικό μικρής μονής, που στα μέσα του 17ου αιώνα έγινε μετόχι της Μονής Καισαριανής. Στην περίοδο της Τουρκοκρατίας (1456-1833) εντασσόταν στο μητροπολιτικό μέγαρο των Αθηνών και χρησίμευε ως παρεκκλήσιο του μητροπολίτη. Το 1834 χρησίμευσε για την αποθήκευση αρχαιοτήτων και λίγο αργότερα, το 1839, αντικαταστάθηκαν οι αρχικοί του κίονες που είχαν καταστραφεί από πυρκαγιά με κτιστούς πεσσούς και κατεδαφίστηκε το κωδωνοστάσιο που βρισκόταν στη δυτική του πλευρά. Το 1841 μετατράπηκε σε δημόσια βιβλιοθήκη και τα έτη 1862-1863 υπέστη νέες επεμβάσεις, κατά τις οποίες δυστυχώς αφαιρέθηκαν από το εσωτερικό οι μεταβυζαντινές τοιχογραφίες.
Αρχιτεκτονικά ο ναός ανήκει στον τύπο του ημισύνθετου σταυροειδούς εγγεγραμμένου με τρούλο. Στα ανατολικά έχει μια αψίδα, εξωτερικά τρίπλευρη, και στα δυτικά τριμερή νάρθηκα.
Ο τρούλος ακολουθεί τον γνωστό τύπο του οκτάπλευρου «αθηναϊκού», με μαρμάρινους κιονίσκους στις γωνίες και μονόλοβα παράθυρα, όμως δεν είναι κτισμένος σύμφωνα με το πλινθοπερίκλειστο σύστημα, αλλά με ισοϋψή ορθογώνια μάρμαρα.
Ιδιαίτερο ενδιαφέρον παρουσιάζει η τοιχοποιία του. Οι τοίχοι «πατούν» επάνω σε κρηπίδα στις τρεις πλευρές, με εξαίρεση την ανατολική, και είναι κατασκευασμένοι από μαρμάρινους ακόσμητους δόμους. Από το μέσο, περίπου, και πάνω επενδύονται με ενενήντα, συνολικά, αρχαία και βυζαντινά ανάγλυφα. Τα αρχαία γλυπτά έχουν εκχριστιανιστεί με τη χάραξη σταυρών και μερικά έχουν τοποθετηθεί με τρόπο τέτοιο που μιμούνται ζωφόρο αρχαίου ναού. Ανάμεσά τους ξεχωρίζουν τα γλυπτά πάνω από τη νότια είσοδο του ναού με τα σύμβολα της λατρείας της Δήμητρας στην Ελευσίνα, που ίσως προέρχονται από το πρόπυλο του Ελευσινίου της Αθήνας. Επίσης, σημαντικά είναι τα γλυπτά που σχηματίζουν ζωφόρο στη δυτική πλευρά και φέρουν παραστάσεις αρχαίου ημερολογίου. Τα χριστιανικά γλυπτά με απεικονίσεις αντωπών ή αλληλοσπαρασσόμενων ζώων, ανατολίζουσας τέχνης, προέρχονται πιθανώς από βυζαντινά κοσμικά κτήρια.