柏遼茲創作《幻想交響曲》的靈感源自對女伶史密遜（Harriet Smithson）的單戀。柏遼茲暗戀的女伶史密遜，系出生於愛爾蘭的英國人，受過良好繼續教育的劇院經理之女。原本史密遜打算到倫敦發展舞臺事業，但是她濃厚的愛爾蘭口音，卻成為一大障礙。1827年（柏遼茲23歲），史密遜正巧有機會到法國演出《哈姆雷特》裏頭的奧菲裏亞，當晚觀眾席裏法國藝文界知名人士都到齊了，雨果、巴爾扎克、柏遼茲等人都是座上賓。劇畢，柏遼茲對史密遜的表現大為感動，他在回想錄裏記載：
"我想起了莎士比亞與充滿靈感的女伶，所有巴黎的人都為狂熱的奧菲裏亞瘋狂，她光輝燦爛的榮耀與我的窮苦潦倒相比是那樣巨大，我非振作不可，我下定決心要把自己這個對她而言陌生的名字，經過努力奮鬥變得響亮光彩！"
Hector Berlioz
其時默默無聞的柏遼茲，為追求史密遜，嘗試舉行個人作品演奏會，可這位史密遜小姐對音樂的興致似乎並不高。但是柏遼茲並不死心，全身心地在鴉片和沉思中為她創作出《幻想交響曲》，誰想當1830年（柏遼茲27歲）《幻想交響曲》首演時，史密遜竟已回到英國，根本沒機會聽到這首曲子。
(Charles Kemble and Harriet Smithson as Romeo and Juliet at theOdéon Theatre in Paris ,1827)
同年柏遼茲贏得羅馬作曲大獎，當時就擱淺了對史密遜的苦澀單戀，開始了卡蜜兒莫克（Camille Mork）的戀情。年底兩人訂婚。柏遼茲卻在此時收到卡蜜兒母親的來信，聲稱已決意將女兒嫁給知名制琴師Ignar Pleyel的長子。
接到此消息的柏遼茲當即跑到女裝店買一套女裝偽裝自己，同時買了一把手槍以及自殺用分量的鴉片，準備連夜趕回巴黎殺死卡蜜兒母女以及她的未婚夫一共三人。途中柏遼茲頭腦逐漸清醒，告訴自己“那種女人有什麼希罕！”避免了一場悲劇...
在《幻想交響曲》之後，柏遼茲還寫了該故事的傳記續篇與音樂續篇，其中傳記續篇《回到生活》敘述藝術家雷利奧（Lelio，作品14b）通過音樂的治療力量，從狂亂中回到現實生活。而音樂續篇獨白劇《雷利奧》就以藝術家雷利奧為名的，是部結合歌手與演員口白的管弦創新之作。
柏遼茲 <羅密歐與朱麗葉 >
柏遼茲與史密遜的緣份畢竟未盡，1832年《幻想交響曲》再度演出，史密遜終於有機會一聞，當晚曲目還特別安排有柏遼茲的另外兩首作品《羅密歐與茱麗葉》、《雷裏奧》。《雷裏奧》中有段朗誦歌詞：
"喔！我願見一見她的麗姿，看看茱麗葉的身影，奧菲裏亞的身影。為了這種願望，我的心田高鳴著，我只願意幹飲由愛之喜與悲交融之杯！若是能夠在仲秋之夜，於野生的石楠樹叢上，被抱在她的胸膛中，一邊受北風搖曳，然後進入最後的安眠，該有多好！"
當晚的音樂會還由柏遼茲親自擔任定音鼓的敲擊工作，由此可看出史密遜在他心目中的地位。 不過時過境遷，當年的名伶此時已然過氣而且債臺高築，而當年的無名小卒柏遼茲，如今風華正茂，兩人正好境遇倒轉。柏遼茲於1833年10月與史密遜結婚，七年之後兩人結束婚姻，並育有一子路易。離婚之後的柏遼茲又與歌劇演唱家瑪麗雷綺奧結婚，但兩人依然沒有白頭偕老。柏遼茲的一生都處於泊岸與離崗的愛情旅行中。
