Teacher Review Version · Cross-task Rebuild
反馈来源如何影响二语写作中的语篇衔接资源摄取
补齐读后续写数据后,报告不再按旧版候选故事集继续堆材料。当前建议把论文主线重构为:在应用文和读后续写两个写作任务中,不同反馈来源并不稳定提升“整体连贯”,而是改变学生对语篇衔接资源的使用方式;其中共同证据最集中在因果连接资源,任务敏感证据放入附录或讨论。
Scope Before Story
先把口径说清楚
这篇论文现在不讲“所有题材”
目前数据只覆盖两类写作任务:小作文/应用文与大作文/读后续写。正式表述应写成 two writing task contexts 或“两类写作任务”,不要扩展成“各种题材/所有体裁”。
主线只抽共同指向
大小作文方向一致、模型不显示明显任务调节的指标可以进入主线;不一致或只在单一任务成立的结果,统一降级为附录、边界条件或后续研究。
| 任务口径 | 数据表 | 样本/分组 | 本报告中的角色 |
|---|---|---|---|
| 小作文 / 应用文 / practical writing | practical_data.csv | 75 人;AI、教师、无反馈各 25 | 主证据之一;与读后续写共同核对方向。 |
| 大作文 / 读后续写 / continuation writing | continuation_data.csv | 69 人;AI、教师、无反馈各 23 | 补齐后的共同验证任务;决定旧故事线是否还能泛化。 |
| 共同指标 | 29-34 号输出表 | 只比较两表同时拥有 pre/post 的 Coh-Metrix 指标 | 用来判断“共同主线”与“任务敏感边界”。 |
统计模型口径
每个任务单独模型:Score ~ Time * Group + (1 | ID)。共同指标合并模型先估计共享反馈效应:Score ~ Time * Task + Group * Task + Time:Group + (1 | ID),再用 Score ~ Time * Group * Task + (1 | ID) 检查任务是否调节反馈效应。
说明:两个整理表目前使用不同 Participant 编号与不同样本量,合并模型按任务内学生 ID 处理;如果后续能确认同一学生跨任务映射,可以再升级为跨任务重复测量模型。
SLA Frame
建议采用的理论框架:反馈参与带来的语篇资源摄取
AI 反馈不是一个完全孤立的新现象。更稳的理论写法是:它是一种新的反馈来源,改变学习者注意、参与和摄取反馈的方式;这些变化最后体现为写作中语篇衔接资源的重组,而不是简单的分数提升。
教师面批、AI 反馈、无反馈提供不同 affordances。
学习者是否注意到并理解反馈指向的问题。
认知、行为、情感参与决定反馈是否被加工。
连接词、指称重叠、语义重叠等资源的使用方式变化。
应用文与读后续写对资源的需求不同,部分效应会受任务调节。
用来解释为什么反馈必须先被注意和理解,才可能转化为 intake。适合作为“反馈不是自动生效”的 SLA 基础。
DOI: 10.1093/applin/11.2.129把反馈研究和学习者对反馈的反应联系起来,可作为 WCF/CF 的总框架。
DOI: 10.1017/S0272263109990544支持“反馈效果取决于认知、行为、情感参与,而不是只取决于教师有没有给反馈”。
DOI: 10.1016/j.jslw.2015.08.002直接连接教师反馈与自动化反馈,适合引出 AI/自动反馈作为新反馈来源的研究缺口。
DOI: 10.1016/j.asw.2018.02.004说明自动反馈可能带来不同程度的认知参与,也可能出现依赖或浅层接受。
DOI: 10.1016/j.asw.2020.100450强调低水平学习者对反馈的理解和参与可能不充分,能帮助解释高中 EFL 场景下的结果。
DOI: 10.1016/j.asw.2018.03.001Metric Glossary
先解释指标,再看结果
这版报告不要求老师理解 108 个 Coh-Metrix 指标。只解释进入主线或附录判断的几个关键指标,并明确它们不能单独证明“写得更好”。Coh-Metrix 的 incidence 类指标通常按每千词出现率理解,重叠/LSA 指标多在 0-1 范围内。
因果连接词出现率。
通俗说,就是 because / so / therefore 这类显性因果关系标记的密度。它能说明学生有没有更多使用“显性因果标记”,但不能直接说明因果关系写得更深或更自然。
相邻句之间名词/代词论元重叠。
通俗说,就是前一句提到的人、物或概念,下一句是否继续被提到。它反映局部指称衔接,帮助判断文本有没有沿着同一对象继续展开。
逻辑连接词出现率。
通俗说,是表示逻辑关系的连接标记密度。它在两类任务中方向一致,但模型证据不强,所以只能辅助说明,不宜作为主结论。
添加/并列连接词出现率。
通俗说,是 and / also / moreover 一类“再加一点”的连接资源。它在大小作文中受任务调节明显,适合放在附录/讨论里说明任务边界。
文本内句子之间的整体语义相似度。
通俗说,是句子之间概念上有多像。旧版报告把它作为教师面批优势之一,但补齐大作文后没有跨任务复现,不能再放主线。
指标定义参考:Coh-Metrix 3.0 指标文档;Coh-Metrix 作为文本多层级分析工具的理论背景见 McNamara 等相关 Cambridge 书籍章节。
Core Evidence
共同主线证据:因果衔接资源的重组
建议写成的核心发现
在应用文和读后续写两个任务中,教师面批组的 CNCCaus 前后测变化都为下降,无反馈组都为上升;合并 LMM 的共享 Time × Group 效应为 0.022,任务调节为 0.824。这说明可写的不是“教师让整体 coherence 变好”,而是“教师反馈可能促成学生减少对显性因果连接标记的依赖或进行更选择性的因果关系组织”。
CNCCaus 两类任务中的前后测变化
| 任务 | 组别 | 前测均值 | 后测均值 | 变化 |
|---|---|---|---|---|
| 小作文 / 应用文 | 无反馈组 | 28.609 | 32.277 | +3.667 |
| 小作文 / 应用文 | 教师面批组 | 33.813 | 25.152 | -8.661 |
| 小作文 / 应用文 | AI反馈组 | 33.767 | 35.014 | +1.247 |
| 大作文 / 读后续写 | 无反馈组 | 24.756 | 30.538 | +5.782 |
| 大作文 / 读后续写 | 教师面批组 | 31.102 | 23.996 | -7.107 |
| 大作文 / 读后续写 | AI反馈组 | 28.952 | 27.159 | -1.793 |
模型证据怎么读
小作文单独 LMM:Time × Group p=0.095;教师变化 - 无反馈变化 = -12.328,p=0.045。
大作文单独 LMM:Time × Group p=0.159;无反馈变化 - 教师变化 = +12.889,p=0.064。
合并共同模型:共享 Time × Group p=0.022,Task 调节 p=0.824。
解释口径:单个任务里 CNCCaus 是方向性/计划对比证据;合并共同模型显示两类任务共同指向更清楚。不要把下降直接等同于质量提升,需要后续文本例证或人工评分说明“少用”是不是“更精准使用”。
辅助证据:CRFAO1
三组方向在两类任务完全一致:教师与无反馈上升,AI 下降;共享 Time × Group p=0.062,Task 调节 p=0.865。
这是趋势级辅助证据,可以支持“局部指称衔接也发生资源重组”,但不单独撑主结论。
描述性辅助:CNCLogic
无反馈组和教师组在两类任务中方向为上升,AI 组为下降;但共享模型 p=0.481,统计强度不足。
可作为“方向图”或附录描述,不写成核心发现。
边界条件:CNCAdd
添加连接词在两类任务中的优势组不同;Task 调节 p=0.035。
这不是失败结果,而是理论边界:并非所有连接资源都有跨任务共同效应。
Research Questions
建议重新聚焦的研究问题
论文不建议再按旧版候选故事集组织。更稳的结构是两个正式 RQ 加一个讨论性机制解释:前两个由 LMM 回答,第三个用理论、AI 反馈材料和文本例证解释。
不同反馈来源是否会改变二语写作中的语篇衔接资源使用?
英文候选:How do AI-assisted feedback, teacher face-to-face feedback, and no feedback differentially affect EFL learners' uptake of discourse cohesion resources across two writing tasks?
模型:每个共同指标分别使用 Score ~ Time * Group + (1 | ID),重点报告 CNCCaus,CRFAO1 作为辅助。
哪些反馈效应具有跨任务共同性,哪些受到任务调节?
英文候选:Which feedback-related changes are task-general, and which are task-sensitive between practical writing and continuation writing?
模型:共同指标合并模型检验 shared Time × Group 与 Time × Group × Task。CNCCaus 是共同主证据,CNCAdd 是任务调节边界。
机制解释放在讨论:为什么 AI 与教师反馈可能产生不同摄取?
英文候选:How can learner engagement and feedback uptake explain the observed reorganization of cohesion resources?
这不建议作为正式第三个定量 RQ,因为当前过程证据和人工编码还不够完整。它适合放 Discussion,用 WCF engagement、noticing、automated feedback literature 来解释。
Manuscript Spine
这条线可以怎么写成论文
可投稿的贡献表述
本文把 AI 辅助反馈放入二语写作反馈参与框架中,考察它与教师面批、无反馈相比,是否会改变学生对语篇衔接资源的摄取。贡献不在于证明 AI 或教师“谁更好”,而在于把反馈研究从语法准确性推进到语篇资源层面,并指出反馈效应存在跨任务共同性与任务敏感边界。
现实教学意义
教师面批的价值可能不只是纠错,而是通过解释、追问和协商帮助学生更选择性地组织因果关系;AI 反馈的价值在于可获得性和即时性,但需要教师设计任务和反思环节,防止学生浅层接受建议。
建议论文结构
Introduction:AI 写作反馈进入 EFL 教学,但现有研究常停留在满意度、修改行为或局部语言准确性;需要检验其是否影响语篇层面的资源摄取。
Literature Review:Noticing → WCF engagement → automated/AI feedback engagement → discourse cohesion resources;最后提出两类任务共同验证的研究缺口。
Methods:应用文 N=75、读后续写 N=69;三组反馈来源;Coh-Metrix 指标;统一 LMM 口径。
Results:先报告 CNCCaus 共同主证据,再报告 CRFAO1 辅助趋势,最后报告 CNCAdd/LSASSp 作为任务边界和降级证据。
Discussion:用反馈参与和摄取解释为什么教师面批与 AI 反馈不是简单强弱关系;强调任务要求决定哪些资源会被摄取。
Appendix Decisions
哪些结果进附录,哪些留主线
| 指标 | 类别 | 小作文无反馈 | 小作文教师 | 小作文AI | 大作文无反馈 | 大作文教师 | 大作文AI | 共享 p | 任务调节 p | 处理建议 |
|---|---|---|---|---|---|---|---|---|---|---|
| CNCCaus | Connectives | +3.667 | -8.661 | +1.247 | +5.782 | -7.107 | -1.793 | 0.022 | 0.824 | 部分一致 |
| CRFAO1 | Referential cohesion | +0.039 | +0.063 | -0.027 | +0.033 | +0.043 | -0.084 | 0.062 | 0.865 | 方向一致 |
| CNCLogic | Connectives | +2.998 | +2.107 | -1.989 | +3.280 | +4.648 | -1.528 | 0.481 | 0.966 | 方向一致 |
| CNCAdd | Connectives | +9.957 | +1.818 | +0.913 | -3.486 | +11.133 | -3.422 | 0.247 | 0.035 | 任务调节 |
| LSASSp | Semantic overlap (LSA) | +0.022 | +0.044 | -0.015 | -0.010 | +0.002 | +0.005 | 0.182 | 0.112 | 混合/不进主线 |
| CNCAll | Connectives | +15.136 | -1.760 | +2.514 | -1.344 | +8.572 | -2.619 | 0.554 | 0.123 | 混合/不进主线 |
| CNCTemp | Connectives | +2.247 | +2.574 | +1.403 | -1.350 | +0.897 | -5.611 | 0.447 | 0.663 | 混合/不进主线 |
| CRFCWO1 | Referential cohesion | +0.010 | +0.010 | -0.002 | +0.006 | -0.002 | -0.033 | 0.075 | 0.519 | 部分一致 |
| LSAGN | Semantic overlap (LSA) | +0.006 | -0.002 | -0.004 | +0.007 | +0.016 | +0.021 | 0.987 | 0.511 | 混合/不进主线 |
| LSASS1 | Semantic overlap (LSA) | +0.024 | +0.019 | -0.002 | -0.005 | +0.000 | -0.014 | 0.337 | 0.824 | 部分一致 |
LSASSp 不再作为主线
旧版“教师提升深层语义相似度”的故事主要来自小作文;大作文中教师组几乎不变。这个结果可以保留在附录里,说明旧故事线被新数据修正。
小作文教师变化 +0.044;大作文教师变化 +0.002。
AI 反馈过程材料的角色
AI 反馈 Word 文档和建议分类仍有价值,但在这篇论文里应作为解释性证据,而不是定量主证据。它可以帮助 Discussion 写“AI 反馈为什么可能停留在可见、可操作、局部化的建议”。
如果后续人工编码 AI/教师反馈内容,可把机制解释升级为正式 RQ。
Audit Trail
老师要复核时看哪些文件
下面列的是这版报告的直接证据链。发包给老师时,保留这些相对路径即可定位数据和脚本。
| 材料 | 路径 | 用途 |
|---|---|---|
| 小作文整理表 | DataAnalyze/data/01_practical_writing_小作文_应用文/03_analysis_ready_整理表/practical_data.csv | 75 人,AI/教师/无反馈各 25;含前后测重叠 Coh-Metrix 指标。 |
| 大作文整理表 | DataAnalyze/data/02_continuation_writing_大作文_读后续写/03_analysis_ready_整理表/continuation_data.csv | 69 人,AI/教师/无反馈各 23;含读后续写前后测 Coh-Metrix 指标。 |
| 共同指标 LMM 脚本 | DataAnalyze/script/compare_task_lmm_alignment.R | 生成 29-34 号表;核心模型口径在脚本开头写明。 |
| 共同方向表 | DataAnalyze/output/tables/34_task_alignment_overlap_metrics.csv | 每个共同指标在大小作文、三组中的前后测变化方向。 |
| 合并模型表 | DataAnalyze/output/tables/33_task_combined_lmm_overlap_metrics.csv | shared Time × Group 与 Time × Group × Task 的 LMM 检验。 |
| 当前网页生成脚本 | DataAnalyze/script/build_cross_task_report.py | 生成本页,用于老师审核与 Cloudflare Pages 部署。 |
当前版本的审稿提醒
这版报告按课题组偏好的未校正 p 值进行故事线初筛;最终投稿前仍建议补充人工文本例证、描述性图表和模型稳健性说明。当前结论最适合写成“候选主线”,不是最终结果章。
最需要和老师确认的是:CNCCaus 下降在文本质量上应解释为“更选择性的因果关系组织”,还是仅仅是“少用了因果连接词”。这个解释需要回到学生原文做质性例证。