تنتسب هذه المدرسة لمؤسسها ابن عصفور الاشبيلي وهذا يعني أن بناءها تم في القرن الثالث عشر خلال فترة أبي عبد الله محمد المستنصر الذي تولى الحكم عن والده أبو زكريا مؤسس الدولة الحفصية سنة 1249 م والذي كانت تربطه بشيخه النحوي ابن عصفور صلة وطيدة كدأب كل الحفصيين الذين عملوا على التقرب من العلماء والصالحين وبناء المساجد والمدارس الدينية توطيدا لحكمهم ونيلا لرضا الرعية .
ضمن هذا السياق التاريخي والسياسي شيدت "العصفورية" اذن لكنها لا تنتمي الى المدارس السلطانية المعروفة كالشمّاعية التي بناها أبو زكريا والتوفيقيّة المنتسبة لزوجته عطف أو العنقيّة التي أمرت ببنائها ابنته فاطمة وجدير بالذكر أن هذه المدرسة ليست الوحيدة التي بنيت من قبل الوجهاء المرتبطين بالبلاط الحفصي فمعها تم بناء المدرسة المرجانية من قبل الشيخ أبو محمد عبد الله المرجاني وهو من أصحاب أبي الحسن الشاذلي ، والمدرسة المغربية من طرف أبي عبد الله محمد المغربي ومدرسة أبي محمد ابن تفراجين الوزير القوي في عهد أبي إسحاق إبراهيم بن أبي بكر.
وفضلا عما تقدم فانه لا يمكن فصل هذه المدرسة عن ذلك الارتباط التاريخي بين الموحدين والحفصيين في شمال إفريقيا والاندلس في الجهة المقابلة من المتوسط الأمر الذي يوضحه الباجي بن مامي في دراسته حول الحضور الأندلسي بمدينة تونس حيث يقول "ونتيجة لهذه العلاقة الوطيدة أتى الأندلسيون في كرّات متتالية إلى مدينة تونس بداية من النصف الأول للقرن السابع الهجري / الثالث عشر الميلادي ويبدو أن الدفعات الأولى لهؤلاء المهاجرين قدمت ابتداء من سقوط بلنسية في أيدي الإسبان سنة 636 هـ / 1238 م أو ربما قبل ذلك ببضع سنوات...ثم قدم عدد هام آخر عند سقوط إشبيلية أيضا في أيدي المسيحيين سنة 649 هـ / 1248 م ...وكانت لأهل إشبيلية خصوصا من بين الأندلسيين صلة بالأمير زكرياء بن عبد الواحد بن أبي حفص وبنيه منذ ولايته غربي الأندلس".
لا اختلاف في كون علي بن مؤمن بن محمد بن علي بن أحمد بن محمد بن أحمد ابن عمر بن عبد الله ابن منظور ابن عصفور الحضرمي الإشبيلي أبو الحسن والمعروف بابن عصفور الاشبيلي هو واحد من أبرع النحويين واللغويين في زمانه وكيف لا يكون وقد درس عند عن أبي الحسن الدباج وأبي علي الشلوبين.
عاش ابن عصفور متنقلا بين الاندلس والمغرب الاقصى والجزائر وتونس التي استقر بها بطلب من المستنصر وقد توفي بها في ظروف اختلف المؤرخون في تحديد تفاصيلها فمحمد محفوظ في كتاب (تراجم المؤلفين التونسيين) يذكر رواية أولى عن تقي الدين بن تيمية تفيد بأنه رجم بالنارنج في مجلس الشراب الى أن مات لكنه يستبعدها وينقل عن بعض الرواة من التونسيين كالشيخ القلشاني وغيره "أنه دخل على السلطان محمد المستنصر الحفصي وهو جالس برياض أبي فهر في أريانة في القبة التي على الجابية الكبيرة فقال السلطان على جهة الفخر ...قد أصبح ملكنا الغداة عظيما ...فقال بن عصفور بنا وبأمثالنا ...فوجد منها السلطان وأسرّها ولما قام بن عصفور ليخرج أوعز الى بعض خواصه أن يقذفه بثيابه في الجابية ...وأوصاهم بأن لا يتركوه يصعد مظهرين اللعب معه فكلما أراد الصعود ردّوه وبعد صعوده أصابه برد وحمى وبقي ثلاثة أيام ومات".
تبدو هذه الرواية الاقرب الى التصديق خصوصا وأن ابن الخوجة في (معالم التوحيد) يؤكد أنه غرق في الجابية ولم يذكر شيئا عن إخراجه لكن يستبعد أن يكون المستنصر قد قتل شيخه وصاحب ابيه أبي زكريا وان كان كل شيء واردا من لدن الملوك.
تحاذي المدرسة العصفورية المكتبة الخلدونية الكائنة في آخر زنقة العطارين أو ما يعرف تاريخيا بدرب ابن عبد السلام ، وتواجهها تقريبا ميضاة السلطان التي بناها السلطان الحفصي أبو عمر عثمان سنة 1450 م أما في أول الزنقة فتوجد المدرسة الحمزية ويمكن تمييز "العصفورية" من خلال النقيشة التي تعلو بابها والتي تتضمن أبياتا شعرية تقدم بعض المعلومات عن هذه المؤسسة التعليمية القديمة.
ما يثير الاستغراب أيضا أننا لم نعثر على ما يفيد بترتيبها كمعلم أثري رغم أنها أقدم بكثير من المدرسة المجاورة "الحمزية" التي ثبتت على واجهتها لوحة زجاجية تشير الى أن المعلم مصنف كمعلم أثري وقد يكون ذلك راجعا الى كون العصفورية لا تنتمي الى فئة المدارس الفخمة كالباشية والسليمانية وبئر الأحجار والمرادية وتلوح كبيت عادي فهي غير فسيحة وخالية من الزخارف والمواد الثمينة لكن هذا لا يبرر عدم تثمينها فللمدرسة قيمة تاريخية ورمزية قبل أي شيء.
يعتقد البعض أن هذه المدرسة كانت بيت الامام ابن عبد السلام لكن الارجح أن بيته كان المدرسة الخلدونية وعلى أية حال فان هذا الفضاء المسمى بالمدرسة العصفورية قد درّس به بن عصفور نفسه ثم درّس به لاحقا عدد من الشيوخ منهم الشيخ صالح الشريف والشيخ اسماعيل الصفايحي والمفتي ابراهيم المرغني والشيخ بلحسن النجار.
"العصفورية" وظفت أيضا لأغراض متعددة خلال فترات تاريخية متباعدة حيث أصبحت سنة 1894 م مؤسّسة لإعداد مدرّسي اللغة العربيّة وسميت "المدرسةُ التأديبيّة" وكانت الغاية من احداثها تخريجَ مؤدّبين يتولون التدريس بالكتاتيب ثم أغلقت هذه المدرسة بعد الاستقلال عقب توحيد الدراسة والتخلي عن التعليم الزيتوني وفي بداية الألفين تم ترميمها وأصبحت مقرا لبعض الجمعيات الثقافية.