メモ

デザイン:実験群と統制群を、プレ−ポストテストで比較する
方法1 プレテストで両群をt検定→差が無し。ポストテストで両群をt検定→差があり。めでたい!
方法2 二要因の分散分析(二元配置の分散分析)
SPSSとAmosによる心理・調査データ解析(小倉, 2004)p. 80に、分かりやすい解説あり。しかし、これはSPSS Advanced Modelsが必要。ただし、「Dr. SPSSII」なら、二元配置もできるとのこと。98000円なので、SPSS+advacedにするなら、こちらの方がお得だけど・・・still, it's unbelievably expensive!

Ferris. 2004. The “Grammar Correction” Debate in L2 Writing: Where are we, and where do we go from here? (and what do we do in the meantime…?). Journal of Second Language Writing. 13. 49-62.

タイトルどおり、L2ライティングの文法的CFに関する現状、今後の展望、示唆などをまとめた論文。結局、CFのefficacyに関する結論をだすには現状はまだまだincompleteでinconsistentなので、今後も実証研究を重ねなくてはならいないんだけど、どういう研究をすればいいかっていう示唆がてんこ盛り。

・Truscott(1996. Language Learning)のスタンスは、L2ライティングにおいて、文法的FBは学習者のライティングを向上させるにあたりineffectiveというもの。Ferris(1999 JSLW)は、この点に関してはまだ研究が未熟すぎて結論を出せない状況にあるし、Truscottは文法的FBがpositiveな結果を生み出したとするいくつかの研究を見落としていると反論。まぁとにかく、なんといっても、リサーチ不足だね、っていう結論に達した。

◆現状:既存のL2ライティングFBに関するリサーチを徹底研究してみると、3つの点が浮き出てくる。?big question「エラーFBはL2学習者のライティングを助けるか?」に関するresearch baseが適切ではない(inadequate), ?既存の研究はデザインがinconsistentなため、比較可能ではない、?既存の研究は、written error correctionのpositive effect をpredict(proveとまではいかないけど)している。
?に関して:CFを受けた学習者と受けなかった学習者の比較をした研究が非常に少ない(ethical dilemmaのせいで、教師はなんらかのFBを与えざるを得ない)。このcorrection/non correctionの比較をしている研究は6つのみで、そのうち一定期間にわたる効果を検証したのは2つだけ。6つのうち3つはerror correctionのhelpfulnessに関してin favor ofの結果を報告(Ashwell, 2000; Fathman and Whalley, 1990; Ferris & Roberts, 2001)、1つはpositiveなevidenceがあるけれどもnegativeに解釈しているもの(Kepner, 1991)、1つは情報不足でinconclusive、1つはerror correctionには利点がないとするTruscottの主張を支持するもの(Polio et al, 1998)。(表にまとめてある、p51)
?に関して。それぞれの研究のセッティングが違いすぎる。Truscottは、「異なる様々なセッティングの中で、同じ結論がでれば、それは『どんな状況でも同じ結論が出る』という意味で、結論をより強固なものにする(ここでいう『結論』とは、CFの効果がない、ということ)」と言っているが、Ferrisはこの論理はこの場合、的外れだと主張している。「同じ結論」はでていないし、研究はそれぞれreplicationをしているわけではない。研究のデザインがsubstantialに異なっている(p53、Table 2によく引用される4つの研究の相違点を列挙)。相違点=ライティングの種類、書き直しの有無、CFをした人、CFの種類、特定のerrorにフォーカスされていたかいないか、統制郡の有無、pretestの有無、posttestの違い。でもって、findingsもそれぞれ異なっている。
?に関して。Focus on Formに関する近年のSLA研究は、以下のことを示している。すなわち、化石化を防ぎlinguistic competenceを発達し続けるためにも、大人のL2学習者はerrorをsalientにしてもらう必要が特にある。L2ライティングのエラー修正の研究は、以下の3点でpositive evidenceがある。1.修正有無の学習者のaccuracyを比較した研究。2.時間の経過における学習者のaccuracyの発達をみた研究。3.学習者のエラー修正に対する考え方を調べた研究。(その後、これに反論する人への反論が続く)
現状のサマリーはp.55(1)-(3)。要するに、(1)control郡が無い・longitudinalで無い、という2点で研究が不足。(2)既存の研究の多くはhaphazardで比較できない。(3)にもかからわらず、以下のpredictionを述べることはできるんじゃないか。すなわち、a. 大人の学習者はerrorへのexplicit instruction とFBが無いと、化石化してしまい進歩しないんじゃないか。 b. FBを受けた学習者は受けてない学習者に比べて書き直しの段階で指摘されたエラーを修正する傾向にあり、このuptakeは長期にわたるlinguistic competenceの発達に必要なステップなのではないか、c. 学習者はおおむねエラー修正にattend toし、appreciateするので、このことが「より修正しより良いものを書こう」という動機付けの増加につながるのではないか。修正がなければ、anxietyやresentment、ひいてはdemotivation、lower self-confidenceにつながってしまうのではないか。

◆今後の示唆 where do we go from here?
統制郡の有無と、長期であるかないか、という点が今のところ問題点として多くあげられているので、まずはここをクリアにすべき。たとえば・・・
・同じinstructorに指導される二つのintact classで、一つは学習者のgrammar problemsに関してsummary end notesだけ(no in-text correction)を与え、もう一つはerrorの箇所でFBを与える。前者が統制郡ということになるが、FBは一応受け取っているので、ethicalジレンマは解決される。
・ボランティア学習者によるfinely tuned case study
比較可能な研究にするという点では、以下のことに注意する必要がある。p.57 表3
a. 学習者とコンテクストを報告する、b. どのエラーが検証されているのか。エラーとは何かの定義から始めること、c. consistent treatment/feedback schemesをprovideすること、d. エラーがどの様にカウントされたか、分析されたかを、システマチックに説明すること。
◆結論 what do we do in the meantime?
教室で学習者のライティングを見る、教師への実践的な提案(p.59の一番下(1)〜)。
とにかく、further research is necessary.

Sheen, Younghee. 2007. The effect of focused written corrective feedback and language aptitude on ESL learners’ acquisition of articles. RELC 41, 255-283.
ライティングのwritten FBに関して、direct-only correction, direct-metalinguisitc correction, 統制群の三郡において冠詞の獲得という観点から検証。さらに、個人差である「language analysisをするaptitudeの要素」も検証に加えた。
まずは先行研究。オーラルFBに比べてwritten FBの状況が混沌としているのは、方法論上の問題が多くあるからだと著者は指摘する。方法論上の問題methodological issuesとは・・・。1.統制群を用いた実験が少ない。教師は「これはライティングのクラスだから」と思うと、何らかのFBを与えなくてはいけないと感じ、形式のCF(corrective feedback)でなければ中身のCFなどを与えたりして、本当の統制群がたてられない場合が多い。2.CFの効果の「測り方」が研究によって異なる。Truscottの言うように、revisionがimproveしたからと言って、学習が起こったとは断言できないだろう。
次に、異なったタイプのCFの先行研究。1. Robb et al 1986.FBの種類によって差はなし。2. Ferris 2002 は、indirect error correctionの方がdirect error correctionよりもmore beneficialと結論づけてる。なぜなら、indirect(正解を与えずに間違えだけを指摘)correctionが学習者にhypothetical testingを行わせることになり、deeper internal processingをinduceするからと。3. Chandler 2003.は、direct correcting の方がsuperior としている。indirectだとhypothesisのconfirmationまでに時間がかかるから。学習者もdirect correctingの方を好む。他の研究も考慮すると、indirectよりはdirect feedbackの方が良いようであり、これはoral feedbackの研究結果(=暗示的よりも明示的なFBの方が学習をより促進する)とも一致しているようだ。 しかしながら、これらの研究は「学習者の個人差」をきちんと考慮していないので、本研究では「個人差」(の中でも適性aptitude)にも焦点をあててみる。
aptitudeの定義がありp.259、その中でも、本研究ではlanguage analytic abilityを考慮する。
RQ1:focused written corrective feedbackが中級英語学習者の「冠詞」の習得に効果があるか。RQ2:metalinguisitc feedbackの有無は、学習者の冠詞の習得に影響を及ぼすか。RQ3:学習者のlanguage analytic abilityはどの程度CFの効果をmediate するのか。
研究方法:ESL環境の6クラスの被験者91人。Intermediate。direct-only correction group(n=31), direct-metalinguisitic group(n=32), 統制群(n=28)。story を読んで、そのstoryをrewriteするタスク。rewriteする前に教師はもう一度storyを読み、被験者はnote takingすることができる。研究では、冠詞の扱いのみにフォーカスしたが、それをmaskするためにCFは他の項目も混ぜた。
CFは、二種類。direct only=errorを指し示し、その上に正しい形を書いた。direct metalinguistic correction = エラーに番号がわりふられ、紙面の一番下に番号ごとのmetalinguisticなinformationとcorrect formが与えられた。これを2セッション。
testは、3種類。a. speeded dictation test. b. a narrative writing test, c. an error correction test.
aとcに関しては、pre, post, delayed postで同じテストが使われた(問題の順序はランダムに変えたが)。bに関しては、preとpostのみ同じで、delayed postは違うnarrativeだった(preliminary studyで学習者が同じnarrativeを何度も書くことに対してnegative reactionを示したから)。pilot studyで、この二つの異なったnarrativeがcomparableであることはテスト済み(t検定で有意差無し)。testはtreatmentでCFを行ったnarrativeとは異なるnarrativeを用いているので、これはnew pieces of writing へのCFの効果を検証することができるといえる。writing testはMuranoi, 2000 ( Language Learning, 50, 617-673)の学習者はlanguage analytic testも受けた。
結果
Speeded dictation testに関しては、Posttest2において、direct metalinguisticg群と統制群に有意差あり(p<0.05)。writing testに関しても、direct-meta群のみが上昇パターンをとっており、posttest2において、direct-meta群と残りの二群の間に有意差があり(p<0.01)。error correctionテストにおいては、post test1ではdirect correction, direct-meta群のいずれも統制群より有意に伸びていた。post test2では、direct correction群が統制群を有意に上回っており、direct-meta群はdirect群、統制群のいずれをも有意に上回っていた。時間を考慮にいれて、時間をdependent valuable 、CF treatmentをindependent valuableとして、ANOVAを行った結果、3群のパフォーマンスは有意に異なった。timeとCFの相互作用も有意だった。事後検定によると、posttest1と2において、direct-meta群が、direct correct群・統制群のいずれよりも有意に上昇。analytic testとのスコアの関連をみると、相関は有意だった。まとめると、direct meta > direct correct > 統制群
ディスカッション
written CFは、英語の冠詞を学習するのにpositiveなeffectがあった。特に、direct-matalinguisitc FBが効果的だった。これは、correctionを与えた群が、awarenessという観点においては、noticingのレベルにとどまったのに対して、direct-meta郡はunderstandingを伴ったawarenessのレベルにまで達したことによるのではないか(Schmidt 1995, 2001)。このようなunderstandingから生ずるawarenessは、later learningもfacilitateするとSchmidtは言っている。また、high language analytic abilityを持った学習者の方が、より両方タイプのFBからbenefitを享受したようである。
感想
デザインもよく、先行研究も徹底していて、統計方法も分かり易く説明されており、非常にためになる論文。再度読むべし。

Bitchener, Young, Cameron. 2005.
The effect of different types of corrective feedback on ESL student writing.
Journal of Second Language Writing. 14. 191-205.

FBタイプ
1.direct, explicit FB + student-teacher 5 min conference(19人)
2.direct, explicit FB only(17人)
3.no corrective FB(17人)
エラータイプ=前置詞、過去時制、定冠詞(この3つが最頻出のエラーだったためp197)
被験者=移民(ESL)53人。12週間のトリートメントのあと、new pieces of writingをみる。3の統制群にも、構成や質に関するコメントはあった。
被験者内要因=linguistic error at three levels(前置詞、過去時制、定冠詞)と時間(week2, 4, 8, 12)
被験者間要因=FB at three levels(上述の1,2,3)
この二つに関して、被験者はいずれも、quantitative valuable(=accuracy performance)に関して調べられた。accuracy performanceは、Target linguistic formを正確に使用できている割合で導き出された(例:定冠詞のobligatory occasionが10あった場合、3回正確に使用できていれば、30パーセント、とする)。分析には、2way, repeated measure ANOVA が使われた。
結果: 前置詞に関しては、FBタイプグループごとの平均値に有意差はなかった。しかし、FBタイプと時間の相互作用をみてみると、4つの時間(week2,4,8,12)に有意差があった。特に、group1(direct, explicit FB+カンファレンス)のweek8と12の間の変化が、他のグループと異なってaccuracyが伸びていた。過去形に関しては、FBタイプごとに見てみると、group1がgroup2よりも有意に高い平均値だった。しかし、時間との相互作用をみてみると、変化はなかった。つまり、時間はどのFBタイプが有効かに関わっていない。定冠詞に関しては、group1がgroup3よりも有意に高い平均をだしていた。時間との交互作用は無し。
ディスカッション:3つのタイプのエラーを融合して考えると、FBのタイプはaccuracyに有意な影響を与えなかった。一方、過去時制と定冠詞に関しては、explicit written FB +カンファレンスというFBタイプが、accuracyの有意な向上につながった。前置詞に関してはこの限りではなかったが、これは前置詞のもつ性格によるものと思われる(前置詞は、simpleなルールを覚えればいいというものではなく、前置詞の使用はかなり複雑idiosyncraticなので)。また、学習者のimprovementのパターンはlinearなものではなく、これは学習者がL2を獲得していくのにup & downがという言語習得の発達段階を考えれば納得のいくものである。

Chandler. 2003.
The efficacy of various kinds of error feedback for improvement in the accuracy and fluency of L2 student writing.
Journal of Second Language Writing. 12. 267-296

Study1
RQ(a):教師による文法的CFを受けて、それを修正するように要求された学習者は、その後のライティングにおいて、その様なerrorsは少なくなるのか
RQ(b):教師に寄って下線を引かれたが、それを修正しなかった学生は、その後のライティングにおいてerrorsが少なくなるのか
RQ(c):上の二群の間に、文法的正確性の違いがlater in the semestersに現れるか
被験者:アメリカの音大のESLの学生。実験群15人、統制群16人。TOEFL550くらい。high-intermideiate.
デザイン:1週間に2回(50分)の授業を14週間。この間に、5ページのautobiographyを5回書く。(1st draft → 5th draftとなり、最終的に25枚の自分のautobiographyになる)
実験群=各回ごとに書き直しをさせる。教師により下線を引かれたエラーを全て修正して次のエッセイの提出日までに再提出。
統制群=5回の1st draftが全てかけたところで、下線部の修正
(この統制群の措置のrational=学生はやはり、教師からのCFが欲しいと主張しており、実験終了後にそれを与えることで、統制群の学生にも実験群の学生と同じ機会を与えることになると考えられる)
従属変数=1st&5th のerror率の変化。100語におけるerror率=[error総数÷総語数]×100
 fluency (書くのにかかった時間を100語当たりで計算)
エラーに関してはAzarのGuide for Correcting Compositionの14項目に、研究者の独自の項目を加え、計23のエラー項目を列挙した。著者は、同一の教師がレイティングをすることが精度をあげると考え、レイティングは一人で行った(intrarater correlation は.92)。
結果:1st draftに関して、実験群と統制群の間に有意差はなかった。1stと5thの比較をしてみると、統制群には有意差はなかった。実験群では、100語あたりのエラー率は、7.8から5.1に下がっており、これは有意な減少であった(p=.001)。実験群と統制群のimprovementの差異も有意であった。(有意に実験群のほうがimproveしていた)。1stと5thにおける顕著な違いは、実験群の方が学習者のerror率のvarietyが非常に低くなっていたことである(SDが減った)。fluency(100語書くのにかかった時間)に関しては、両群とも1st と5thの間に有意差があり(5thの方が上昇)、グループ間には有意差はなかった。
結論:errorを修正するように指導された郡の方が、正確性は有意に上昇した。そして、それはfluencyを犠牲にしたものではなかった(fluencyは上がった)。

Study2:教師はどの様なerror feedbackをするべきか?
被験者:ESLの学習者。それぞれのエッセイを提出後、修正。36人を4群に分けた。(その後、全部を提出した学生などのみをピックアップしたので、結局被験者は20人。)
(a) correction 間違いを指摘して、正解を書く (b) underlining with description 間違い部分に下線を引き、wrong wordなど、誤っているポイントのみを指摘 (c) description of type only  誤っている行の横にwrong formなど、間違いのタイプのみを指摘 (d) underlining 誤っているところに下線のみ。
測ったものは、(a) 100語のerror率、(b)最初と最後の課題のholistic rating (c)それぞれの課題の作成にかかった時間 (d)それぞれのFBに対する学習者の反応−修正をするのにかかった時間と4つのタイプの修正を最後に比べて (e)教師が修正をするのにかかった時間。
結果:全体としては、全ての学習者のライティングは、セメスターの最初と最後を比べると、有意にimproveしていた。正確性は上がり(error率が下がり)、100語書くのにかかる時間は減った。しかし、holistic ratingに関しては、有意差はなかった(ライティングの質の変化はslowだと言われているので、これは驚くべきことではない)。
タイプごとのフィードバックの有用性を見てみると、新しいライティングを書く際にどれだけimproveしているかという点においては、(a) correction (d) underliningが、more accurate writingとなっていた。
学習者がどのようなFBを好むかに関しては、簡単に修正できるという点ではcorrectionが好まれたが、学習という点からはunderlining with descriptionが支持された。
教師がFBするのにかかった時間としては、underlineがもっとも短時間で、その次はcorrection。あとは残りの二つが同点だった。
結論:教師からのFBの方法としてはcorrectionが最もよかった(Underlineとの有意差はないものの)。これは、この方法が一番確実に、自分のエラーを修正できるからという理由によるものだと思われる。学習者が自分が書いた後にすぐに誤りを指摘され修正されると、学習者は修正されたformをよりよinternalizeすることができるのだろう。学習者も、これを最も好むようであった。また、学習者にとっては、underlining with descriptionもためになるFBとあると考えられる。Underliningは、自分で修正することが可能なくらいadvancedな学習者にとっては、有用だといえるだろう。

Leki, Ilona, 1991. The Preferences of ESL Students for Error Correction in College-level Writing Class.
Foreign Language Annals, 24, 203-218

学習者は教師のどの様なCFがためになると思っているのか、など、学習者が持つ教師のCFへのattitudeを質問紙調査した。
 (質問紙は七段階の順序尺度の質問などから成っているのだけれど、分析が・・・。統計的処理がされておらず、論じられていて、参考程度かなぁ〜。古い論文って、こういうのが多いよね・・・)
 学習者の多くは、エラーに対してCFを望んでいた。学習者は、CFをきちんとみていると報告した。学習者は、構成や中身についてのコメントだけでは、不十分と感じている。
  教師はこの様な学習者心理を理解したうえで、すべてのエラーを修正しない理由などを説明して学習者の理解を得て、自ら効果的だと思われるフィードバックをするのがよいのではないか。

2009.3.22
Shin, Sang-Keun. 2008. ‘Fire our proofreader!’ Grammar correction in the writing classroom. ELTJ. 62/4 p.358-365

Leki(1991)と同じく、学習者が教師のwritten CFについてどう思っているのか調べた。
韓国人の5人の学生が、stimulus recall法によって彼らがcontent courseのために書いたアカデミックレポートのcomposition processを報告し、grammar correctionに関する見解についてのインタビュー調査も受けた(どんなタイプのFBがいいか)。
まずは、ライティング指導において教師が「当然のこと」と思っている4つのprincipleに関して、その妥当性を検証した。
princple1: Editing should be a clean-up activity. プロセスライティングにおいて、editingは最終段階にすべきタスク(最後の仕上げ)だと考えられている。しかし、学生から出た意見としては、それを覆すようなものもあった。彼らは、テキストをeditしながらmeaning(中身)を作り上げている。ideaを表現するのに十分なlanguageを持ち合わせていないので、そうせざるを得ないというのが実情のようだ。つまり、言語操作が不十分なせいで、ライターにとってはeditingはclear-up activityではなくなっているといえる。process-oriented pedagogyの負の遺産
principle 2: composing is a process of discovering meaning.
Principle 3: L2 writers’ compositing difficulties are largely the result of difficulties with composing than linguistic skills. イマイチ興味のないことなので割愛
principle 4: Teacher’s comments should not be directive.
最近はindirect CFにした方がいい、中身に注目を、という流れが強いが、今回の調査によると学習者はdirectなCFを望んでいるようだ。contentに対してはindirectなCFでもいいんだけど、formに関しては、indirectだと、どうやってそのCFを活かせばいいのかがわからない。WC(word choice) や(unclear)などというコメントに対処できない。
結論:corrective feedbackはやはり必要なんじゃない?

Ellis, Sheen, Murakami, Takashima. 2008.
The effect of focused and unfocused written corrective feedback in and English as a foreign language context.
System 36. 353-371

定冠詞と不定冠詞について、Written Corrective feedbackの効用を調べた。
被験者=日本人大学生49人。focused CF群(18人)、 unfocused CF群(18人)、 control group群(13人)。pre-test, immediate post-test, delayed post-testを実施。内容は、picture storyを使用したnarrative writingのテストとerror correction test(pre/post)、最後に質問紙調査も行った。treatmentとしては、focused CFとunfocused CF群は3つのwritten narrativeに関して、feedbackを受けた。focused CF群は冠詞に関するFB のみにフォーカスしたFB、unfocused CF群は冠詞だけでなく、その他のlinguistic errorsも指摘したFBを受けた。コントロール群は“Good!”などのgeneralなコメントだけを受けた。
スコアリング:以下の方法でobligatory occasion analysisが行われた。まず、aとtheがobligatoryに必要なoccasionを全てidentifyして、それぞれのoccasionに関して、適切な冠詞が用いられているかをチェック。冠詞が使われるべきなのに使われていなかったり、aとtheが間違えて使用されていたら、それをnon-supplianceとみなす。必要なときに正しく使われていたらcorrectとする。
accuracy score = total number of correctly supplied article ÷ total number of obligatory occasion
つまり、1が最高。

結果:writing testに関して。pre-testとpost test1を比較すると、三郡とも有意にimproveした。pre-testとpost test1に関しては、グループ間のスコアに有意差はないものの、post test2(delayed)のスコアをグループ間で比較すると、実験群2群の方が有意に高かった。focused群とunfocused群の間には有意差はなかった。   error correction testに関して。post testにおいては、実験群が二群ともに統制群より有意に点数が高かった。実験群二群の間に有意差はなかった。
ディスカッション:統制群がpre, post1, post2のテストにおいて有意な変化を見せなかったのに対し、実験群はいずれも伸長を見せた。実験群に参加した被験者は、「冠詞の正しい使い方を学ぶ」ことを意識していない(事後質問紙調査でわかった)にもかかわらず、この様なgainがあった。また、post testは単なるpre-testのrevisionではなく、全く新しいwritingだったということは、Truscottの1996や1999の主張「CFはrevisionを助けはするが、acquisitionには影響を及ぼさない」と相反する。実験群の中では、冠詞のみのCFにフォーカスしたfocused群とそうでないunfocused群 に有意差はなかった。しかしながら、長い目でみるとfocused群の方が習得度合いが高いといえる結果がdelayed post testから見て取れる。どれくらいフォーカスするかってところは、大事な問題。
 結論:CFは有効であり、Truscottの「ライティングにおけるCFは無駄」という指摘と相反する結果が生まれた。ただし、これはあくまでも冠詞の使用法に限ったことであるので、今後さらに様々な文法項目が検討される必要がある。経験則的に習得しやすい文法事項を習得するのにおいては、CFは有効と言えるかもしれないが、more complex grammatical featuresに関しては、Truscottは正しいのかもしれない。著者の考えとしては、やはりあれこれとCFをするよりは、ポイントを絞ったフォーカスCFが効果的であるのではないか。