Er ist dem Kami Tenjin gewidmet und wurde im Jahr 942 bzw. 947 erbaut, um den zornigen Geist des verstorbenen Gelehrten und Dichters Sugawara no Michizane zu beruhigen, den man aufgrund politischer Intrigen seiner Gegner im Fujiwara-Clan ins Exil geschickt hatte. Zunächst war der Schrein ihm als Person gewidmet, bevor er im Jahr 986 unter dem Namen Tenjin vergöttlicht wurde. Gegenwärtig gilt Kitano Tenman-gū als Hauptschrein der vielen Tenmangu-Schreine überall in Japan.
Auf der gesamten Fläche des Schreins wurden über 2.000 Umebäume angepflanzt, da diese Sugawaras Lieblingsbäume waren. Der Schrein ist besonders beliebt bei Schülern und Studenten, die hier für Erfolg in Prüfungen beten. Am 25. jedes Monats (Geburts- und Todestag von Michizane) richtet der Schrein einen örtlichen Flohmarkt aus.
959 wurde der Schrein durch Fujiwara no Morosuke wesentlich vergrößert. 987 wurde das erste Kitano-Matsuri ausgerichtet, ein Fest, das auch gegenwärtig noch gefeiert wird.
Im Jahr 1004 statte Kaiser Ichijō dem Schrein seinen ersten kaiserlichen Besuch ab, später wurde der Schrein dann mit anderen großen Schreinen wie dem Kamo-Schrein und dem Iwashimizu-Schrein in die Liste der Nijūnisha, der "Zweiundzwanzig Schreine", welche als die bedeutendsten der Heian-Zeit galten.
Am 6. November werden Tee-Becher im Schrein geweiht, um dem Tag im Jahr 1587 zu gedenken, als Hideyoshi Toyotomi diese Zeremonie zum ersten mal durchführte. Zu dieser Gelegenheit passiert eine Prozession von etwa 150 Menschen von den Büros der Präfekturalverwaltung zum Schrein, angeführt von sechs Repräsentanten von sechs bedeutenden Regionen der japanischen Teeproduktion.
Die drei Hauptgebäudes Schreins aus dem Jahr 1607 sind im Baustil gongen-zukuri (権現造) gehalten und haben eine "H"-Form. Sie wurden von Hideyori Toyotomi errichtet.
Im Schrein befinden sich mehrere Bildrollen (e-maki-mono) aus dem 13. bis 17. Jahrhundert, die die Geschichte des Schreins wiedergeben und von einigen der berühmtesten Künstlern Japans gemalt worden.
