La sua edificazione è legata alle vicende di san Nicola Pellegrino, risalenti all'era della dominazione normanna. Fu edificata utilizzando la pietra di Trani, un materiale da costruzione tipico della zona: si parla di un tufo calcareo, estratto dalle cave cittadine, caratterizzato da un colore roseo chiarissimo, quasi bianco. La chiesa si distingue per il suo vistoso transetto e per l'uso dell'arco a sesto acuto nel passaggio situato sotto il campanile, fenomeno non molto diffuso nell'architettura romanica.
Nonostante i continui mutamenti intervenuti nel corso dei secoli, conserva in parte il suo carattere originale la parte inferiore della chiesa, che costituisce una parte essenziale dell'insieme. Suddivisa in due unità (Cripta di San Nicola, che conserva le reliquie del santo e Cripta di Santa Maria, che risale alla costruzione precedente), la parte inferiore ricalca la pianta dell'edificio e si distingue per l'eleganza dei capitelli romanici. Tramite una scaletta è possibile accedere all'ipogeo di San Leucio, scavato sotto il livello del mare e ornato di affreschi ormai in cattivo stato di conservazione.
Della pavimentazione musiva, ispirata a quella del mosaico di Otranto opera di Pantaleone nella cattedrale di Otranto, rimangono solo alcuni brandelli nella zona del presbiterio, in cui, oltre a elementi decorativi, è possibile riconoscere l'allegoria dell'"Ascesa in volo di Alessandro Magno" e l'episodio del Peccato originale di Adamo ed Eva, rappresentati ai lati dell'Albero della conoscenza del Bene e del Male.