周礼制度天子周围当环绕四星，前朝以皇后与三夫人为四星，共同辅佐天子，齐掌后宫诸项事务，被称为四星制度。四星制度源于周朝周天子有三平妻曰夫人列后下，根据周礼，后宫年过五十，就不得侍寝，惟四星除外。
《吕氏春秋》中道：“王者一后三夫人。妃即夫人，与后参职，配王兼众事。王者亲耕，故后妃亲桑也。”《史记天官书第五》讲：“中宫天极星，其一明者，太一常居也；旁三星三公，或曰子属。後句四星，末大星正妃，馀三星後宫之属也。环之匡卫十二星，籓臣。皆曰紫宫。”
因此《旧唐书后妃传》开头曰：“三代宫禁之职，《周官》最详。自周已降，彤史沿革，各载本书，此不备述。唐因隋制，皇后之下，有贵妃、淑妃、德妃、贤妃各一人，为夫人，正一品；昭仪、昭容、昭媛、修仪、修容、修媛、充仪、充容、充媛各一人，为九嫔，正二品；婕妤九人，正三品；美人九人，正四品；才人九人，正五品；宝林二十七人，正六品；御女二十七人，正七品；采女二十七人，正八品；其余六尚诸司，分典乘舆服御。龙朔二年，官名改易，内职皆更旧号。咸亨二年复旧。开元中，玄宗以皇后之下立四妃，法帝喾也。而后妃四星，一为正后；今既立正后，复有四妃，非典法也。乃于皇后之下立惠妃、丽妃、华妃等三位，以代三夫人，为正一品；又置芳仪六人，为正二品；美人四人，为正三品；才人七人，为正四品；尚宫、尚仪、尚服各二人，为正五品；自六品至九品，即诸司诸典职员品第而序之，后亦参用前号。”这段史料提到，唐朝初期是以四夫人为四星，增设贤妃一人，违反周礼原来制定的皇后与三夫人为四星的制度，不知何故。
而《旧唐书列传第二十六》中提到太宗十四子：文德皇后生高宗大帝（唐高宗李治）、恒山王承乾（李承乾）、濮王泰（李泰），杨妃生吴王恪（李恪）、蜀王愔（李愔），阴妃生庶人祐（李祐），燕妃生越王贞（李贞）、江王嚣（李嚣），韦妃生纪王慎（李慎），杨妃生赵王福（李福），杨氏生曹王明（李明），王氏生蒋王恽（李恽），后宫生楚王宽（李宽）、代王简（李简）。
《新唐书列传第五》提到太宗十四子：文德皇后生承乾，又生第四子泰、高宗皇帝，后宫生宽，杨妃生恪，又生第六子愔，阴妃生祐，王氏生恽，燕妃生贞，又生第十一子嚣，韦妃生慎，后宫生简，杨妃生福，杨氏生明。
以上两段史料都提到杨妃与生子，其中妃并非泛指妃嫔，汉制最初“妃”有亚后之名。这里是唐朝后宫四夫人的专属称号，只有四夫人方可称为某妃，四夫人都有资格直升递补皇后位，而唐朝的淑妃递补为皇后的成例尤为明显，颇令人生疑。其他品级都有相应的专属称谓比如某昭仪，某才人等。但是杨妃究竟是四夫人中的哪个封号，则无史料进一步证明。目前有明确封号的四夫人分别是韦贵妃（墓志言贞观元年封）、杨贵妃（赵王李福生母）、燕贤妃（墓志言贞观十七年后封德妃）、郑贤妃（晋升时间不明，有人推测是递补燕妃）、徐贤妃（徐惠，高宗追封，但在昭陵陪葬单中依旧称为才人）。除此之外没有明确封号的四夫人剩下了杨妃、阴妃二人。另外由于存在妃嫔如未生育可能被史书遗忘的情况，至于贞观年间是否还有其它的四夫人，我们不得而知。
复杂的晋封结果和史料的模棱两可产生了诸多关于杨妃封号的争议。其中观点之一认为杨妃是四夫人中的淑妃，持有这种说法的人占相当一部分，因为这样四夫人的封号似乎没有矛盾了，分别是韦贵妃、杨淑妃、阴德妃、燕贤妃。但实际上这个看法也存在一些问题，比如无法解释杨贵妃如何越级晋升或与其他嫔妃冲突，可以用七人做四个位子排列组合；还有许多人认为杨妃早丧，因此封号为追封，所以可能是任何一个，这样与晋封的实际情况不存在任何矛盾，所有的问题都解决了。杨贵妃原是四夫人之一后追封为贵妃也顺理成章，但是史料只字未写李恪等人的孝悌是硬伤之一。比如大刘良娣早丧就提到其子燕王每至母亲忌日便哭泣等孝悌举动，在举孝廉制度还有余威的隋唐时期孝悌是个人人品的集中表现，因为孝名有人都可以直接推荐做官，而在李恪与李愔列传均未提到其孝悌则令人疑惑。也有人认为，如唐睿宗时崔贵妃和豆卢贵妃例，豆卢贵妃因出内未住宫内，崔氏可能是追封。
还有极少数人认为杨妃和杨贵妃是一人，这些人认为史料一般在同一章存在的相同品级妃嫔都以“大小”区分。比如隋朝的大刘良娣（早丧）和小刘良娣，唐朝李渊后宫的大杨嫔和小杨嫔等；而太宗后妃奇特的是只以杨妃统称之，而史学界一般认为在史书的同一篇记载内称呼一致的大多是同一人，这样的说法目前需要更有力的证据。它最大的问题是同时存在两个贵妃与现在所知的后宫制度资料若有冲突，而如果是死后追封那就要证明杨贵妃去世早于儿子李福，这样在儿子的墓志上才会写上其母最后的封号。但李福的墓志上没有明确写孝悌，孝悌作为一个皇子的重要方面不出现在墓志上比较蹊跷。所以有专家认为杨贵妃是死在李福之后。因此我们只能确定的是杨妃是唐太宗的四夫人，品阶正一品，其余不详。
史载杨妃为唐太宗生育两子，第三子吴王李恪，第六子蜀王李愔，女儿不详。吴王李恪生于武德二年，由于其有文武才，故深得太宗喜爱，常称其类己。在历代政治漩涡的中心，皇帝称赞皇子类己往往耐人寻味，昔日赵王刘如意被称类己，后为吕后所害；汉武帝太子刘据因一句不类己，徒生困扰，如此种种不胜枚举。太宗对李恪的喜爱史料有佐，非不实的夸大：李恪第三子李玮《大唐故朗陵郡王墓志铭并序》中提到“昔吴王帝之爱子，朝望攸归，虽魏武怜才，方之多愧，汉皇许善，对我何阶。然优宠特殊，各萌斯构。谗人发于左戚，妖迭兆于中台。桂折小山，兰枯长圾。”又有李恪曾孙《故相国兵部尚书梁国公李岘传》中道“曾祖曰吴王，太宗爱子也。”
李恪以年幼不之官，留住宫内。贞观二年封蜀王，益州大都督，五年转秦州都督，七年转齐州都督之官一年，八年复转益州大都督，太宗以亲王遥领都督就始于贞观八年蜀王李恪。贞观十年改封吴王，十一年在封地因狩猎过度被御史弹劾罢黜安州都督一职，贞观十二年复官赴任太宗临行诫之曰：“吾以君临兆庶，表正万邦。汝地居茂亲，寄惟籓屏，勉思桥梓之道，善侔间、平之德。以义制事，以礼制心，三风十愆，不可不慎。如此则克固盘石，永保维城。外为君臣之忠，内有父子之孝，宜自励志，以勖日新。汝方违膝下，凄恋何已，欲遗汝珍玩，恐益骄奢。故诫此一言，以为庭训。”此书是唐太宗传世难得的一篇只针对一位皇子的个人书信，全文收录于全唐文曰《诫吴王恪书》，表达了一位慈父爱子的拳拳之心。期间为了规范李恪的言行，唐太宗选择了鲠直的权万纪为吴王府长史，史书记载吴王畏其直，对权万纪非常尊重，而太宗也对权万纪能左右吴王而对其啧啧称奇并赞赏有加。
贞观十七年经过激烈的皇储争夺，太子李承乾以谋反被废，魏王李泰获罪，太宗最后在众臣劝谏中选择了第九子李治为太子。不久，太宗以李治仁弱又欲改立吴王恪为太子，遭到后族国舅长孙无忌的激烈反对，太宗无奈作罢。长孙无忌此后与李恪交恶，深所嫉忌，离间父子。永徽年，李治继位为皇帝，史称唐高宗。李恪则为司空（墓志写司徒），位列三公。某年某月某日吴王恪镇宋州慧眼识人，对有干才的史苌说：“逆贼未殄，君有济物才，若垂顾黎元有望矣。”于是史苌深深领会并赞同应召做了判官一职，将治下管理的井井有条。永徽二年迁太子太师，永徽四年二月初二会房遗爱事以谋反罪被赐死于长安，时年三十四岁。一时间海内冤之，天下绝望。永徽年间这一皇室清洗案受到牵连的不仅有吴王恪、还有战功赫赫的江夏王李道宗等人。而皇室勋贵荆王李元景、高阳公主夫妇、巴陵公主夫妇等均被赐死，房玄龄家族几乎被清洗殆尽。李恪四子，仁、玮、琨、璄并流岭表。其第四女信安县主尚未成年，也被贬到祖父的献陵守墓近四十年。在其子李玮的墓志上悲怆表达了这一冤案给这个家族带来的灭顶之灾：“汉皇许善，对我何阶。然优宠特殊，各萌斯构。谗人发于左戚，妖迭兆于中台。桂折小山，兰枯长圾。王衔破家之痛，深覆巢之祸。号诉不达于天门，投俾遂居于海裔……”对于这一海内冤案，《旧唐书》在诸子传中最后说道：“太宗诸子，吴王恪、濮王泰最贤。皆以才高辩悟，为长孙无忌忌嫉，离间父子，遽为豺狼，而无忌破家，非阴祸之报欤？武后斫丧王室，潜移龟鼎，越王贞父子痛愤，义不图全。毁室之悲，《鸱鸮》之诗，伤矣！比齐祐之妄作，岂同年而语哉！赞曰：子弟作籓，磐石维城。骄侈取败，身无令名。冲、撰愤发，视死如生。承乾、齐祐，愚弟庸兄。”
显庆五年，追李恪为郁林王，为立庙，以河间王孝恭孙荣为郁林县侯以嗣。神龙初，赠司空，备礼改葬。
第六子蜀王李愔，贞观五年（631年），封梁王，十年（636年），改封蜀王、益州都督。贞观十一年仍不之官，时太宗幸洛阳曾封夏州都督。后常在任所无故殴伤官员，畋猎过度，数为非法。太宗屡教不改，甚至骂他不如禽兽铁石并削封邑及国官之半，先贬为岐州刺史（今陕西宝鸡附近），后贬为虢州刺史（今河南灵宝）。联想唐太宗曾对担任过虢州刺史的颉利说：“虢州地近山区，麋鹿野兽很多，可以游猎。”一事不禁令人发笑。。二十三年，加实封满千户。唐高宗对他也很是头疼，曾对荆王等人说：“……蜀王畋猎无度，侵扰黎庶，县令、典军，无罪被罚。阿谀即喜，忤意便嗔，如此居官，何以共理百姓？历观古来诸王，若能动遵礼度，则庆流子孙；违越条章，则诛不旋踵。愔为法司所劾，朕实耻之。”随后，贬为黄州刺史（进湖北黄冈）。永徽四年（653年），李愔因恪母弟株连被废为庶人，后改为涪陵王。乾封二年（667年）死于流配地巴州。咸亨初，复其爵土，赠益州大都督，陪葬昭陵，谥曰悼。封子璠为嗣蜀王，永昌年配流归诚州而死。神龙初，以吴王恪孙朗陵王玮子榆为嗣蜀王。龙生九子，各不相同，一兄一弟性格行为处事如此不同，令人诧异。
杨妃至此在史料中销声匿迹，死后安葬地亦不详。杨妃作为一个出生于皇宫，长于皇宫，又嫁入皇宫的亡国帝女，其父为亡国之君备受争议，其子李恪在唐书中被史臣赞为“太宗诸子，吴王恪、濮王泰最贤。”李恪因被知人善任的唐太宗赞为英果“类己”而被提为立储人选，威胁了特定集团的利益，成为政治斗争的牺牲品。”吴王以英杰亲贤，酒（久）为权臣所疾（忌）”（李恪第四女《大唐故信安县主元府君墓铭》）。她的荣辱和其一生关联的父亲隋炀帝、夫君唐太宗、儿子吴王李恪、蜀王李愔密不可分。虽然她保证了先天和后天的荣华，也亲历了隋朝的倾覆和唐朝崛起的历史进程，无论她一生随波逐流还是波谲云诡，但她初为帝女后为皇妃的经历将留给后人无限的遐想，也随着她儿子吴王与蜀王的命运悲剧而更加令人叹惋。多年之后，唐高宗皇后武则天称帝，改国号为周，唐三代后女主武王的预言成为现实，李家子孙几乎被诛灭殆尽，唯李恪一族长盛不衰，与唐朝享国同寿，也算是历史的宽慰。