Theory-first review version

反馈来源如何塑造二语写作中的语篇资源摄取

这版先把口径说死:数据已经看了小作文和大作文,但角色不同。小作文/应用文是当前主线证据;大作文/读后续写是边界检验和复核证据;正式 RQ 不写成“大小作文比较”,而是让任务差异服务反馈摄取主线。

75

小作文/应用文学生数。主线 LMM 审计表只看这一部分。

69

大作文/读后续写学生数。用于共同指标方向和任务边界复核。

不合并

不把两类作文粗暴合成一个总表;需要合并时必须显式建模 Task。

2+1

建议 2 个正式 RQ,加 1 个边界检验问题放 Results/补充分析。

Scope First

先把实验和数据口径讲清楚

当前报告不是“只看小作文”,也不是“大小作文混看”。准确口径是:小作文/应用文负责承载论文主论证,大作文/读后续写负责回答这个论证在另一种写作任务中是否被推翻、削弱或改变。

口径结论必须先说

报告已经同时检查两类作文,但两类数据不承担同一种论证功能。

简要数据小作文 n=75;大作文 n=69;共同指标边界表覆盖 10 个重叠 Coh-Metrix 指标。

写给老师时建议直接放在报告开头,避免读者以为后文数据只来自一个任务。

模型结论论文口径

正式问题仍然是反馈来源是否改变前后测变化轨迹;Task 只在边界检验里显式出现。

简要数据主线模型:Score ~ Time * Group + (1 | ID);任务边界模型另测 Time × Group × Task。

这能解释为什么 RQ 不写成“大小作文是否不同”,但 Results 可以有任务边界小节。

主线表

28_storyline_lmm_audit.csv 只来自小作文/应用文。凡是讲情境模型、语义相似度、教师面批主线时,要标清“小作文证据”。

边界表

34_task_alignment_overlap_metrics.csv 同时看小作文和大作文的共同指标。凡是讲“两个任务是否一致/是否被任务调节”,才引用这张表。

质控表

35_outlier_sensitivity_lmm.csv 同时含大小作文异常残差敏感性分析。它只证明结论稳不稳,不生成正式 RQ。

写法

每个论证只放一条最短数据:任务 + 指标 + 方向/变化值 + p 值。完整表格留在 Evidence 或 Appendix。

小作文 / 应用文

75 名学生,前后测 Coh-Metrix 整理表。当前主线证据主要来自这里,因为情境模型和因果/语义衔接指标的 Time × Group 证据更清楚。

DataAnalyze/data/01_practical_writing_小作文_应用文/03_analysis_ready_整理表/practical_data.csv

大作文 / 读后续写

69 名学生,前后测 Coh-Metrix 整理表。它用于检查“教师下降、无反馈上升”的因果连接资源方向是否被推翻;目前没有推翻,但部分指标受题材影响。

DataAnalyze/data/02_continuation_writing_大作文_读后续写/03_analysis_ready_整理表/continuation_data.csv

Problem Chain

按写作包重建问题链

重要性

AI 写作反馈进入高中英语写作教学,但“反馈有用吗”这个问题太泛。更有论文价值的问题是:不同反馈来源是否改变学生实际摄取的写作资源层级。

缺口

前人反馈研究常关注纠错、分数、修改数量或局部语言表现;现有数据可以把问题推进到语篇层面,观察连接词、指称重叠、语义相似度和情境模型指标如何变化。

当前研究动作

使用前后测设计比较 AI反馈、教师面批和无反馈三组学生的 Coh-Metrix 语篇资源变化。主模型是 Time × Group,而不是任务之间的无限比较。

贡献落点

把 AI反馈放入二语写作反馈参与和摄取框架中,说明不同反馈来源可能引导不同层级的语篇资源变化,而不是简单判断 AI 或教师哪个“更好”。

Theoretical Frame

建议理论框架:反馈参与与语篇资源摄取

最合适的理论框架不是“跨任务泛化”,而是 feedback engagement / uptake:反馈只有被学习者注意、理解、加工并转化到修改中,才会在文本资源上留下痕迹。AI反馈和教师面批的差异,可以被解释为不同反馈来源提供了不同的互动性、解释性、可信度和脚手架。

Noticing / Intake

反馈先改变学习者注意到什么问题。没有注意与理解,就不会形成 intake;所以 Time 的意义是看反馈后资源是否真的进入文本。

Schmidt, 1990. DOI: 10.1093/applin/11.2.129;Ellis, 2009. DOI: 10.1093/elt/ccn023

Feedback engagement

反馈效果取决于学习者的认知、行为和情感参与,而不是反馈信息本身自动生效。教师面批的价值可以从互动解释和脚手架进入。

Hyland & Hyland, 2006. DOI: 10.1017/S0261444806003399;Han & Hyland, 2015. DOI: 10.1016/j.jslw.2015.08.002

Automated feedback uptake

自动反馈可获得、即时,但学习者是否采纳还受可操作性、信任和自身目标影响;这为 AI反馈与教师面批的资源层级差异提供理论入口。

Zhang & Hyland, 2018. DOI: 10.1016/j.asw.2018.02.004;Ranalli, 2021. DOI: 10.1016/j.jslw.2021.100816

为什么不把“任务差异”放成理论中心

题材当然会影响 Coh-Metrix 指标,但如果论文中心写成 Task,文章会滑向“应用文和读后续写怎么不同”这个无穷比较。当前更好的理论入口是反馈来源如何通过 engagement/uptake 改变资源摄取;Task 只检查这个解释在哪些写作题材上更稳。

Storyline

多给几条故事线,但先分主推与备选

反馈来源没有简单带来“更多连接词”,而是把学习者推向不同层级的语篇资源摄取:教师面批更像高层语义/因果组织重组,无反馈更像表层连接补偿,AI反馈目前更像局部语言层面的辅助线索。

简要数据小作文主线表中,SMCAUSvp Time×Group p=0.006;教师组变化 Δ=-10.552,p=0.031。

这条线有 A(反馈来源)、B(语篇资源摄取)、理论机制(feedback engagement / uptake)和教学意义;大小作文差异只用来限定这条线。

教师面批:从显性因果连接到高层语篇组织

教师面批可以讲成主线的正面机制:面对面解释和追问可能让学生不只是添加连接词,而是重新安排因果、事件和语义关系。

简要数据小作文:SMCAUSv Time×Group p=0.017;教师组 Δ=-6.947, p=0.063。

用法:主推,放 RQ1/RQ2 的 Results 开头。需要配 1-2 组学生文本例证解释“下降/重组”的质量意义。

无反馈:自我修改更容易走向表层连接补偿

无反馈组的变化可以作为反衬:学生自己修改时会增加显性衔接标记,但这不必然等于更高层级连贯提升。

简要数据小作文:CNCAdd 无反馈组 Δ=+9.957, p=0.025;该指标 Time×Group p=0.263,所以只能写组内线索。

用法:作为教师面批主线的对照,不单独升级成主结论。

AI反馈:先写成局部语言摄取线索,不急着做正式 RQ

AI反馈不是没有故事,但当前数据更适合写成局部语言/词汇层面的摄取线索,而不是高层语篇组织主结论。

简要数据小作文:DRINF AI组 Δ=-7.587, p=0.008;计划对比 p=0.047,但 Time×Group p=0.072。

用法:放 Discussion 或机制解释;除非补做 AI 建议-学生修改的人工编码,否则不建议写成 RQ3。

大小作文边界:因果连接方向没有被读后续写推翻

如果老师关心是否只看小作文,可以用这条线回答:大作文已经看了,至少在因果连接资源上没有推翻教师下降、无反馈上升的方向。

简要数据共同指标:CNCCaus 小作文教师 Δ=-8.661、大作文教师 Δ=-7.107;Task调节 p=0.824。

用法:Results 末尾的边界检验,不放正式 RQ 标题。

任务会改变表层连接的表现方式

大作文不是简单复制小作文。添加连接词在两类作文中的组别方向不同,说明题材会改变表层衔接资源的使用策略。

简要数据共同指标:CNCAdd 小作文无反馈 Δ=+9.957,大作文教师 Δ=+11.133;Task调节 p=0.035。

用法:解释为什么不把大小作文合并成一个粗模型,也提醒 Discussion 不要过度泛化。

指称衔接:方向相近,但证据只够辅助

指称重叠可作为语篇资源的辅助指标:两类作文中教师组都偏正向,但统计证据不够支撑主故事。

简要数据共同指标:CRFAO1 小作文教师 Δ=+0.063,大作文教师 Δ=+0.043;共享 Time×Group p=0.062。

用法:放证据链表格或补充分析;不要用它承担主结论。

Metric Glossary

进入故事线的指标先解释

SMCAUSvp / SMCAUSv / SMCAUSwn
情境模型中的因果/语义连贯指标

用于观察文本中事件、动作、因果关系等更高层级语义结构是否发生变化。它们比单纯数连接词更接近语篇组织层面。

CNCCaus
因果连接词出现率

because / so / therefore 一类显性因果连接资源的密度。下降不自动等于更好,需要结合文本例证判断是否是更选择性使用。

CNCAdd
添加/并列连接词出现率

and / also / moreover 一类添加连接资源。它能反映表层衔接标记增加,但不能直接证明高质量连贯。

LSASSp
句际语义相似度

用于观察句子之间概念上是否更接近。它可辅助解释语义整合,但不宜单独撑起主结论。

DRNEG / WRDPOLc
局部语言与词汇信息指标

用于辅助解释 AI反馈可能引发的局部表达变化。它们不等于语篇连贯本身,所以不放主 RQ。

Research Questions

建议正式 RQ:2 个问题,加 1 个边界检验

RQ1

不同反馈来源是否会导致学习者语篇衔接资源的前后测变化不同?

英文候选:How do AI-assisted feedback, teacher face-to-face feedback, and no feedback differentially affect EFL learners' pre-to-post changes in discourse cohesion resources?

主答题口径:小作文/应用文。对应模型:Score ~ Time * Group + (1 | ID)。回答“反馈来源是否改变变化轨迹”。

RQ2

反馈相关变化主要体现为表层连接标记增加,还是更高层级的语义/因果衔接资源重组?

英文候选:Are feedback-related changes mainly reflected in surface connective use or in higher-level semantic and causal cohesion resources?

主答题口径:小作文/应用文。对应故事线:教师面批的高层语篇组织、无反馈的表层连接增加、AI反馈的局部语言摄取。这个 RQ 是理论化的,不是指标清单。

BC

边界检验:这些反馈相关变化在读后续写任务中是否被推翻或被任务调节?

英文候选:To what extent are these feedback-related patterns replicated, weakened, or task-moderated in continuation writing?

这不是正式 RQ,而是 Results 末尾或补充分析小节。它明确告诉老师:大作文已经看了,但它的功能是边界检验,不是把论文改成任务比较。

不建议放进正式 RQ 的内容

不要把“异常残差/二次建模”“两个任务是否完全一致”写成正式 RQ。前者是方法质控,后者是边界检验。它们服务主问题,不是论文主问题。

Evidence Chain

数据如何支撑故事:一个论证配一条短数据

论证 1主推

教师面批更可能引导高层因果/语义组织重组。

简要数据小作文:SMCAUSvp Time×Group p=0.006;教师组 Δ=-10.552, p=0.031。

主线证据。写正文时再补学生文本例证。

论证 2配角

无反馈修改更容易表现为表层连接标记增加。

简要数据小作文:CNCAdd 无反馈组 Δ=+9.957, p=0.025。

反衬证据。因为交互不强,不能夸大为主效应。

论证 3边界

读后续写已经纳入检查,因果连接方向没有推翻小作文主线。

简要数据共同指标:CNCCaus 教师组小作文 Δ=-8.661、大作文 Δ=-7.107;Task调节 p=0.824。

边界证据。用来回答“是否大小作文都看了”。

论证 4边界

表层添加连接词受任务影响,不能把大小作文合成一个笼统结论。

简要数据共同指标:CNCAdd Task调节 p=0.035;小作文最强为无反馈 Δ=+9.957,大作文最强为教师 Δ=+11.133。

限制证据。它支持“Task 是边界”,不支持“Task 是论文主问题”。

完整证据表

指标故事角色Time×Group p最强组内变化组变化值组内 p计划对比 p
SMCAUSvp教师面批与高层因果/情境模型变化0.006Teacher-10.5520.0310.005
SMCAUSv教师面批与高层因果/情境模型变化0.017Teacher-6.9470.0630.011
SMCAUSwn教师面批与高层因果/情境模型变化0.021No_Feedback+0.0430.0220.006
CNCCaus显性因果连接资源下降/重组0.095Teacher-8.6610.0460.045
LSASSp语义整合辅助证据0.106Teacher+0.0440.0300.041
CNCAdd无反馈表层连接增加0.263No_Feedback+9.9570.0250.146
DRNEGAI/局部语言摄取辅助线索<.001No_Feedback-4.9880.001<.001
WRDPOLcAI/局部语言摄取辅助线索<.001Teacher-0.357<.001<.001
读后续写数据如何使用

读后续写已经看了,但不建议写成“跨任务比较”中心。它更适合写成边界证据:CNCCaus 在方向上仍呈现教师下降、无反馈上升,说明主线没有被推翻;CNCAdd 明确受任务影响,说明表层连接资源不能跨任务粗暴合并。这就是“大小作文都看,但分工不同”。

指标小作文无反馈小作文教师小作文AI大作文无反馈大作文教师大作文AITask调节 p方向判断
CNCCaus+3.667-8.661+1.247+5.782-7.107-1.7930.824partly_aligned
CNCAdd+9.957+1.818+0.913-3.486+11.133-3.4220.035task_moderated
CRFAO1+0.039+0.063-0.027+0.033+0.043-0.0840.865aligned
LSASSp+0.022+0.044-0.015-0.010+0.002+0.0050.112mixed

Method Appendix

统计和质控只放这里

二次建模可以保留,但它不是研究问题。建议在 Method/Data analysis 或补充材料中写成敏感性分析:先用完整 LMM 标记 |standardized residual| > 2.5 的观测,再用同一模型重拟合。

任务指标剔除观测数完整模型 p二次模型 p
小作文/应用文CNCCaus20.0950.025
大作文/读后续写CNCCaus30.1590.424
大作文/读后续写CNCAdd20.0350.021

可复核路径

DataAnalyze/script/build_theory_storyline_rq_report.py

DataAnalyze/script/outlier_sensitivity_lmm.R

DataAnalyze/output/tables/28_storyline_lmm_audit.csv

报告边界

当前是给老师讨论主线和 RQ 的报告,不是最终 Results。最终写作还需要回到学生原文补文本例证,尤其解释 CNCCaus 下降的质量意义。