跳到主要内容
系列: 证据说话
孩子们在夏天的午后在波士顿玫瑰肯尼迪林荫道上的喷泉中降温
报告

马萨诸塞州的宪章帽阻碍了弱势学生

执行摘要

今年11月,马萨诸塞州选民将前往民意测验,以决定是否扩大该州’的特许学校配额。投票倡议将允许每年开放超过当前限制的12份新的经批准的章程。

投票提案对马萨诸塞州的学生有好处吗?为了解决这个问题,我们需要知道特许学校的表现是否比地区上限目前限制额外特许学校席位的传统公立学校要好。

对马萨诸塞州特许学校的表现有严格而相关的深入研究。这项研究利用随机作业和学生水平的纵向数据来检验马萨诸塞州特许学校的效果。

这项研究表明,马萨诸塞州市区的特许学校对教育成果产生了巨大的积极影响。对于处境不利的学生,英语学习者,特殊教育学生以及参加考试成绩低的学生,这种影响尤其大。

与之形成鲜明对比的是,我们发现在马萨诸塞州的郊区和农村地区,租船合同的影响不是积极的。我们的彩票估计表明,这些特许学校的学生做的甚至比传统公立学校的同学差或更低。值得注意的是,目前的租船限额并不限制这些地区的租船扩张。因此,投票倡议不会影响这些宪章的扩大速度。

目前,马萨诸塞州的特许上限限制了特许学校正尽其所能的市区的扩张。取消上限将使更多的学生受益于特许学校,这些学校正在提高考试成绩,大学准备和大学出勤率。


今年11月,马萨诸塞州选民将前往民意测验,以决定是否扩大该州’的特许学校配额。 “上限上限”公投引起了极大的争议,支持者和反对者拉拢社区,投放广告并轰动社交媒体。

就像许多政策辩论一样,全民公投的来龙去脉引起了很大的反响,但是却没有很多亮点。

对马萨诸塞州特许学校的表现有严格而相关的深入研究。实际上,很难想到证据更加明确的教育政策。

在对政策进行辩论时,我们经常不得不依靠不适合该任务的研究。它的方法论常常过于薄弱,无法为政策奠定坚实的基础。或者,研究的人口,设计和设置与所讨论的政策有很大不同,以致于无法轻易推断出研究结果。

这不是其中一次。我们有 究竟 我们需要进行的研究是判断是否应允许特许学校在马萨诸塞州扩展。这项研究利用随机作业和学生水平的纵向数据来检验马萨诸塞州特许学校的效果。

预览结果:马萨诸塞州城市地区的特许学校对教育成果产生了巨大的积极影响,远胜于特许学生否则会参加的传统公立学校。对于处境不利的学生,英语学习者,特殊教育学生以及考试成绩偏低的学生,这种影响尤其巨大并且是积极的。相比之下,城市地区以外的影响(当前上限不限制租船合同的扩大)为零到负。这种结果模式与国家一级的研究相符,该研究在城市地区和处境不利的学生中发现了积极的影响。[一世]

目前,马萨诸塞州的特许上限限制了特许学校正尽其所能的市区的扩张。取消上限将使更多的学生受益于特许学校,这些学校正在提高考试成绩,大学准备和大学出勤率。

马萨诸塞州特许学校的选票问题

在我们对该研究进行详细讨论之前,让我们总结一下投票提案及其对州特许法的影响。

现行法律对全州特许学校的数量以及可以流向特许的每个地区的资金份额设置了上限。马萨诸塞州目前拥有78所特许学校。

自2010年以来,“智能限额”已优先考虑具有良好记录的特许供应商的申请,这些申请寻求在绩效低下的地区进行扩展。[ii] 即使在当前智能限额允许的额外扩展范围内,租赁限额也限制了许多城市地区的扩展,包括波士顿,斯普林菲尔德,马尔登和劳伦斯。成千上万的学生在这些地区的特许学校的等待名单上。[iii] 该州的低收入,移民,西班牙裔和黑人学生都集中在这些城市。

投票倡议将提高上限,允许每年开放超过当前限制的12份新的经批准的章程。[iv] 新的和不断扩大的宪章将必须通过当前的申请和审查程序,这是该国最严格的程序之一。[v] 国家监督的健全性的一个指标:自1997年以来,该州认为无效或管理不善的17所特许学校已经关闭。

该州的教育委员会将审查所有试图超过当前上限的申请,就像所有宪章申请一样。相比之下,在俄亥俄州(总统候选人唐纳德·特朗普最近访问过该州的特许学校),该州有69个授权者,包括学区,高等教育机构和非营利组织。[vi] 每个授权者都有自己的批准,更新和撤销标准。

与马萨诸塞州相比,俄亥俄州的安排使该州难以为特许学校设定一致的高标准。我们怀疑马萨诸塞州健全的问责制支撑了其租赁部门的强劲表现。

评估特许学校的影响

允许在绩效低下的地区扩大特许学校的投票提案对马萨诸塞州的学生有好处吗?为了解决这个问题,我们需要知道特许学校的表现是否比地区上限目前限制额外特许学校席位的传统公立学校要好。

简而言之,答案是“是”。在马萨诸塞州的城市低收入地区,在传统的公立学校里,特许学生比孩子们学习的更多。

我们基于严格,经过同行评审的研究发表此声明。自2007年以来,当我们俩都是哈佛大学的研究人员时,我们与哈佛大学和麻省理工学院的研究人员进行了合作,其中包括约书亚·安格里斯特(Joshua Angrist),托马斯·凯恩(Thomas Kane),帕拉格·帕塔克(Parag Pathak)和克里斯·沃尔特斯(Chris Walters)教授(他们现在在伯克利)。与州教育局合作,该州提供了本研究所需的学生水平的纵向数据,我们评估了特许学校对学生成绩,高中毕业,大学准备和大学出勤的影响。

衡量任何学校的有效性都具有挑战性。父母选择住在孩子的学校,要么住在某个学区,要么将他们送到私立或特许学校。结果,一些学校到处都是父母的孩子,他们的父母积极性高和/或财力雄厚。这是选择偏见,这是评估学校有效性的主要挑战。

如果宪章的申请人多于席位,则必须运行彩票。而且由于马萨诸塞州的许多特许学校都有很长的等待名单,因此该州每年都有很多彩票。

特许学校的彩票是“自然实验”,每个实验都是他们自己的随机试验。随机化是社会科学研究的金标准,可以进行“逐个比较”。在申请时,赢得和失去录取彩票的人之间没有(平均)差异。如果我们观察到抽奖后学生成绩的差异,我们可以确信这是由于特许学校的出勤率。[vii]

马萨诸塞州特许学校的证据

那么我们从研究中学到了什么?

波士顿的特许学校(宪章入学率几乎达到上限)使学生的学习成绩大大提高。[viii] 教育研究人员经常以标准差表示考试分数差异,从而可以在不同的考试,总体和环境之间进行比较。根据最新的估计,在波士顿特许中学的一年中,数学考试成绩提高了25%,达到标准偏差。语言艺术的年增长率约为标准偏差的15%。[ix] 高中时考试成绩的提高更大。

可以从下面的两个图表中看出初中和高中的这些差异,结果按学生的子类别分类。大于零的值表示特许学校学生的得分高于传统的公立学校学生。阴影条表示统计学上显着的积极作用。

ccf_20160915_dynarskis_evidence_speaks_1

ccf_20160915_dynarskis_evidence_speaks_2

这些影响有多大?波士顿的宪章产生的考试分数收益是有史以来最大规模的教育干预收益中的一部分。例如,它们比起步对四岁孩子的认知结果的影响要大(约占标准偏差的20%)。[X] 波士顿租船合同中一年的影响大于田纳西州STAR实验的累积影响,该实验将儿童置于小班学习四年(标准差的17%)。[xi]

另一个数量级的衡量标准:全国(和波士顿)的黑人和白人之间的考试成绩差距大约是标准差的四分之三。因此,在波士顿宪章中任职一年可以消除大约三分之一的种族成就差距。

一个令人担忧的问题是,特许学校只是“在考试”。为了保持开放性,特许学校需要证明它们是有效的,并且在MCAS(马萨诸塞州综合评估系统,全州范围的测试)上的表现是该评估的重要组成部分。如果特许学校只是在指导学生如何在MCAS上取得成功所需的技能,那么它们可能对真正的持久学习几乎没有影响。

但是我们发现,波士顿宪章对MCAS的影响超出了测试范围,[xii] 而且没有证据表明它们“夸大”了MCAS分数。[xiii] 下图显示了这些影响,比较了获得特殊成果的特许与非特许学生的百分比。 [xiv] 例如,彩票研究显示,波士顿宪章大幅提高了SAT分数。可选测试中没有通过差异选择来解释这一点,因为特许学生与传统公立学校的同龄人参加SAT的可能性相同。

波士顿宪章参加高级分班考试的可能性翻倍。他们大大提高了AP考试的通过率,有10%的特许学生通过了AP微积分测试,而波士顿其他公立学校的学生只有1%。

波士顿特许学校的学生与传统公立学校的学生毕业的可能性差不多,尽管他们更有可能(以14个百分点)花费五年而不是四年。波士顿的特许学生进入高中时的分数远低于州平均水平,甚至远低于以AP课程为标准的富裕郊区的典型分数。因此,有些学生在高中需要5年才能成功完成AP课程(这是某些波士顿宪章所要求的),这不足为奇。

波士顿的特许学生比传统公立学校的学生更容易上四年制大学。如前所述,这可能至少部分是由于他们更好的学术准备。差异很大:59%的学生就读四年制大学,而未参加宪章的人则只有41%。

ccf_20160915_dynarskis_evidence_speaks_3

提醒:所有这些结果均基于随机获得或失去入读特许学校的申请人的比较。因此,估计数不受租船学生与传统公立学校之间人口统计学差异的影响。

某些人可能会担心,特许学生的父母动机异常强烈,这表明他们愿意申请特许。但是按照这个指标, 所有 我们彩票研究中的孩子中有父母是有动力的。但是,没有赢得入学许可的学生(因此更有可能去传统的公立学校)的表现要远胜于获得胜利的学生。

同样要注意的是,波士顿公立学校有超过三分之一的学生申请特许,因此,任何“脱脂奶油”的现象都非常深。随着波士顿宪章的扩大,该市的申请人与非申请人之间的差异已大大缩小,并且现在很小。[xv]

除波士顿以外,马萨诸塞州其他市区的宪章也提高了考试成绩。[xvi] 与波士顿宪章相比,这些学校大多数都是年轻的,我们还没有评估它们对诸如大学出勤率等长期结果的影响。

总体而言,我们发现,城市宪章对最需要帮助的学生产生了最大的推动作用。对于以最低分数进入章程的学生,分数影响最大。城市宪章对低收入和非白人学生特别有效。特殊教育学生和英语学习者的分数增长与未参加这些特殊课程的学生一样大。[xvii]

与之形成鲜明对比的是,我们发现在马萨诸塞州的郊区和农村地区,租船的影响是 正。我们的彩票估计表明,这些特许学校的学生做的甚至比传统公立学校的同学差或更低。

这些非城市地区的许多学生都可以进入一流的学校,因此,租船合同’比传统的公立学校产生更好的结果。实际上,优秀的学校吸引了那些拥有财力转移到牛顿,韦尔斯利和韦斯顿等高性能,富裕地区的家庭。低收入家庭可以’买不起这些地区的房屋。他们的选择是当地的特许学校。

重要的是,包租帽 不限制 郊区的租船似乎对零影响至负面影响。 现行法律 允许特许学校在这些地区扩展。如果取消上限,将在城市范围内扩大选择范围,在这些地区,宪章已经非常成功,而弱势学生最需要上更好的学校。

没有人(包括社会科学家!)可以预测未来。无法保证新的特许学校将与现有的特许学校一样成功。我们在这里总结的研究以及该州在仔细审核学校方面的往绩,强烈表明,如果允许马萨诸塞州市区发展特许学校,将继续改善学习,特别是在处境不利的儿童中。

选民的决定

我们在这里总结的研究与一些选民的决定无关。有些人原则上反对特许学校,因为他们更喜欢传统公立学校的治理和结构。那是他们的特权。

当我们发现这些令人沮丧,理智上不诚实的时候 首选项 与...混淆 证据 关于特许学校的有效性。的 证据 对马萨诸塞州城市地区的弱势学生来说,特许学校的表现要好于传统的公立学校。

选民们可以自由地决定,马萨诸塞州特许学校为处境不利的学生所提供的已证明的好处,会被原则上反对特许的行为所抵消。明确选民的选择是我们研究人员的工作。


[一世] 参见,例如格里森,菲利普,梅利莎·克拉克,克里斯蒂娜·克拉克·塔特尔,艾米丽·杜瓦耶和玛莎·西尔弗伯格。 2010。 特许学校影响评估:最终报告。 NCEE 2010-4029。 华盛顿特区:美国教育部,教育科学研究所国家教育评估与区域援助中心。

[ii] 马萨诸塞州的一般法, 关于成就差距的法案,2010年。

[iii] 马萨诸塞州中小学教育系。 马萨诸塞州宪章学校候补名单2015-2016年更新报告(2016财年)。有关特定于位置的候补清单编号,请参见附件电子表格。

[iv] //ballotpedia.org/Massachusetts_Authorization_of_Additional_Charter_Schools_and_Charter_School_Expansion,_Question_2_(2016)

[v] 全国特许学校授权者协会: 马萨诸塞州.

[vi] 全国特许学校授权者协会: 俄亥俄.

[vii] 彩票分析使用两阶段最小二乘(2SLS)进行。赢得彩票被用作参加特许学校的工具。整个过程中,当我们提到“特许学校出勤率的影响”时,我们指的是2SLS对特许出勤率影响的估计,并赢得了用于标记出勤率的彩票。

[viii] Abdulkadiroglu,Atila,Joshua D.Angrist,Susan M.Dynarski,Thomas J.Kane和Parag A.Pathak。 2011。 “公立学校的问责制和灵活性:来自波士顿宪章和飞行员的证据。” 经济学季刊 126(2):669–748。

[ix]Cohodes,Sarah R.,Elizabeth M.Setren,Christopher R.Walters,Joshua D.Angrist和Parag A.Pathak。 2013。 “宪章学校的需求和有效性:波士顿最新情况。” 波士顿基金会。

[X] 彪马(Puma),迈克(Mike),史蒂芬·贝尔(Stephen Bell),罗娜·库克(Ronna Cook),卡米拉·海德(Camilla Heid),潘·布罗恩(Pam Broene),弗兰克·詹金斯(Frank Jenkins),安德鲁·马什本(Andrew Mashburn)和杰森·唐纳(Jason Downer)。 2012。 领先影响力研究最终报告的三年级后续行动,OPRE报告编号2012-45华盛顿特区:美国卫生与公共服务部儿童与家庭管理局计划,研究与评估办公室。

[xi] Dynarski,Susan,Hyman,Joshua。和Schanzenbach,黛安。 W.2013。 “关于童年投资对中学后教育和学位完成的影响的实验证据。” 政策分析与管理杂志 32:692–717。

[xii] Angrist,Joshua D.,Sarah R.Cohodes,Susan M.Dynarski,Parag A.Pathak和Christopher R.Walters。 2016。 “站立和交付:波士顿特许高中对大学的准备,入学和选择的影响。” 劳动经济学杂志 34(2).

[xiii] 考拉,​​莎拉。 2016。 “对学生的教学:尽管有不正当的激励措施,但特许学校的有效性。” 教育财政与政策 11(1):1-42。

[xiv] 在图表中,针对特许学生的百分比是2SLS估算的出勤率影响加上相关的非租赁均值。对于非宪章制学生的百分比是获得每个结果的比例,对于样本中未就读特许学校的学生而言。

[xv] Cohodes,Sarah R.,Elizabeth M.Setren,Christopher R.Walters,Joshua D.Angrist和Parag A.Pathak。 2013。 “宪章学校的需求和有效性:波士顿最新情况。” 波士顿基金会。

伊丽莎白·塞特伦。 2015年。 “波士顿特许学校的特殊教育和英语学习者:影响和分类。” 学校效能与不平等研究所(SEII)讨论文件2015.05。

[xvi] Angrist,Joshua D.,Parag A.Pathak和Christopher R.Walters。 2013。 “解释特许学校的有效性。” 美国经济杂志:应用经济学 5(4):1-27。

[xvii] 伊丽莎白·塞特伦。 2015年。“波士顿特许学校的特殊教育和英语学习者:影响和分类。” 学校效能与不平等研究所(SEII)讨论文件2015.05。

获取布鲁金斯的每日更新