「良い英文」とはどのような特徴を持つのでしょうか。高度な語彙や複雑な文構造を含む英文ほど、教科書で教えられる「型」に沿った英文ほど高い評価が得られるのでしょうか。それとも、こうした形式面の複雑性^*1は、文章全体の評価を弁別する特性とはいえないのでしょうか。これらの問いにこたえるべく、神戸大学大学教育推進機構国際コミュニケーションセンター?国際文化学研究科の保田幸子教授は、高校生英語学習者が執筆した議論型エッセイ（argumentative essay）のスコアに寄与する要因は何かを調査しました。議論型エッセイはそのスコアによって上位層?中位層?下位層の3グループに分けられ、言語形式に基づく複雑性（form-based complexity）と意味的複雑性^*2（meaning-based complexity）の両方に焦点を当て、多角的分析を行いました。分析の結果、議論型エッセイのスコアに最も寄与する要因は、語彙的複雑性^*3や統語的複雑性^*4やテクストの型^*5といった形式面の複雑さではなく、議論そのものの質を反映する意味の複雑さであることが分かりました。この結果は、重文や複文といった複雑な文構造や型に頼らずとも深い議論が可能であることを示唆しており、「難易度の高い文法項目は構造が複雑なものであり、構造が複雑な英文が書けるようになればエッセイで高得点が得られる」という伝統的な通説を見直す必要性を示唆しています。

この研究成果は、6月13日に国際学術雑誌『Assessing Writing 62』に掲載されました。

ポイント

• 高校生英語学習者が執筆する英語エッセイにおいて言語形式の複雑さ（語彙的複雑性、統語的複雑性）が意味の複雑さ（議論の論理性と適切性）につながっているかを検証した世界初の実証研究である。
• 英語エッセイを評価する伝統的な採点基準では「構造が複雑な英文が書けるようになれば書き手は熟達した文章を書く能力を有する」という考え方が前提となっていたが、文章全体の質に寄与する要因は言語形式の複雑さではなく、意味の複雑さであることが分かった。
• 高度で複雑な文法項目を含む英語エッセイは、必ずしも、読み手にとっての「良い文章」にはつながらない可能性がある。
• より良い書き手を育てるために学校教育現場で何をどのように指導すべきか、波及効果の大きい大規模テストではどのような能力を測るべきか、改めて検証する必要がある。

研究の背景

学校英語教育で学ぶ文法は、一般に、学習が容易と思われるものから難しいと思われるものへという配列になっています。例えば、単文（主部＋述部を１つだけ持ち、節を含まない文）は、重文（単文が等位接続詞によって対等な関係で結ばれる文）や複文（主部＋述部を含む節が２つ以上あり、主節と従属節から成る文）より易しいと考えられるため、ほとんどの教科書では単文が最初に導入され、その次に重文、その次に複文という順序で指導が行われます。「易しい項目」から「難しい項目」へという配列は、大規模テスト（high-stakes tests）の採点方法にも反映されています。例えば、GTECのライティングテストの評価基準では、難しい文法項目を用いて複雑な文章が書けるかどうかが良い文章の決め手の１つとなっています。同様に、IELTSのライティングテストでも、従属節を伴うような複雑で長い文章を適切に書いているかどうかが評価の基準の１つとなっています。こうした評価基準の背景には、「難易度の高い文法項目は構造が複雑なものである」、「構造が複雑な英文が書けるようになれば書き手は熟達した文章を書く能力を有する」という前提があると考えてよいでしょう。

しかし、先に導入される文法項目が言語形式上の複雑性が低いからといって、習得が容易であるとは限りません。三単現の-sや現在完了形、冠詞、because節は中学校で学ぶ項目ですが、日本人英語学習者はなかなか正しく使えるようにならないことがこれまでの第二言語習得研究の結果から明らかになっています。また、言語形式上の複雑性が高いからといって、それが高度で洗練された英文や深い議論につながっているかというと、一概にそうとも言えない可能性があります。英文全体の論理構造についても、教科書で教えられるエッセイの「型」が本当に良い英文につながっているのかどうか検証の余地があります。ある事項が論理的かどうか（形式論理）と、読み手を納得させることができるかどうか（レトリック）は別次元の問題であるからです。実際の言語使用状況では、誰が?どのようなジャンルの文章を?どのような目的で?どのような読み手に向けて書いているのかによって、好まれる複雑さの度合いは異なります。何が易しくて何が難しい文法項目なのか、複雑で高度な文とはどのような文を指すのか、果たして複雑で高度で論理的な文は読み手にとっての「良い文章」につながっているのかという問いについては、容易に答えを出すことはできません。

このような背景から、まず第一歩として、「良い英文とはどのような特徴を持つ文章なのか？」「高度で複雑な文法を使えば高得点が得られるのか？」という問いについて明らかにすべく、高校生が産出した英語エッセイをデータソースとして調査することにしました。

研究の内容

【研究参加者】

国内の公立高校で英語を外国語として学ぶ高校１年生 102人

【データ】

研究参加者は、与えられたトピックについて自分の意見を述べる議論型エッセイ（argumentative essay）を授業時間の30分を用いて執筆しました。辞書やインターネットの使用は認めず、全ての研究参加者は議論型エッセイを教室内で手書きで執筆しました。その後、同意が得られた生徒のエッセイをワードに入力し、分析のためにデータ化しました。

【手続き】

独立変数（議論型エッセイのスコア）：「良い英文」と評価される文章の特徴を明らかにするため、まず、GTECのライティングテストの採点基準に基づき、102人分の議論型エッセイを採点しました。評価の客観性を担保するため、議論型エッセイの採点は、本研究の目的を知らされていないライティング評価の専門家2名が担当しました。その点数に基づき、102人分の議論型エッセイを上位層 (n = 35)、中位層 (n = 35)、下位層 (n = 32)の3グループに分類しました。

従属変数（語彙的複雑性と統語的複雑性と意味的複雑性）：議論型エッセイのスコアに影響を与えうる要因を特定するため、語彙的複雑性（どのくらい多様な語彙を使っているか、どのくらい内容語を使っているか）と統語的複雑性（どのくらい複雑な文を書いているか）、意味的複雑性（どのくらい首尾一貫した議論をしているか）を調査しました。

相関分析：語彙的複雑性と統語的複雑性がどのくらい意味的複雑性と関係があるのかを調べるため、相関分析を行いました。

多変量分析：議論型エッセイの総合スコアに影響を与えうる様々な特徴の中で、どの特徴が評価を弁別するのか（上位層?中位層?下位層を分ける決め手となるのか）を調べるため、多変量分析を行いました。

重回帰分析：議論型エッセイの総合スコアに最も寄与する特徴は何かを明らかにするため、総合スコアを独立変数、語彙的複雑性と統語的複雑性と意味的複雑性を従属変数として重回帰分析を行いました。

【結果】

上位層と下位層を弁別する特徴は、語彙の多様性と複合名詞句と意味の複雑性の3つで説明できることが分かりました。すなわち、高得点を得た議論型エッセイほど、多くの異なり語を用い、To不定詞や関係詞や前置詞句の修飾よって名詞句の中に意味を凝縮させる文を書き、首尾一貫した深い議論を産出しているということです。相関分析の結果からは、これらの文法項目を用いた複合名詞句が意味の複雑性と高い相関を示すことが明らかになりました。

一方で、大規模テストの評価基準でしばしば用いられている「従属節を伴うような複雑で長い文章」は、高得点を得た議論型エッセイでは減少する傾向があり、従属節の多用はむしろ下位層の議論型エッセイの特徴であることが明らかになりました。例えば、下位層の議論型エッセイでは、自身の意見を述べる際にifやwhenやbecauseを多用する傾向があることが分かりました。表１は、上位層と下位層の統語的特徴の違いをまとめています。

また、重回帰分析の結果から、議論型エッセイの総合スコアに最も寄与する要因は、語彙的複雑性や統語的複雑性といった形式面の複雑さではなく、議論の論理性や適切性を反映する意味の複雑さであることが分かりました。この結果は、重文や複文といった複雑な文構造に頼らずとも単文でも深い議論が可能であることを示唆しています。

今後の展開

英語ライティング試験に関するガイドブックの中で「高得点を取るためには、単文よりも複雑な構文で英文を作成する力が求められます」といった説明を見かけることがあります。文を複雑にする項目としては、S+V+that 節、 接続詞 when節、接続詞because節、接続詞if節、関係詞節、It is …that等が文の複雑化要素の候補として知られています。しかし、本研究の結果は、こうした項目の多くは上位層になるにつれてむしろ減少し、従属節よりは複合名詞句を用い、名詞句の中に多くの情報を凝縮させ意味的密度 (semantic density)を高める傾向があること、そしてそれが議論そのものの質の向上につながることが分かりました。教師や生徒の中で「より複雑な構造を持つ英文とは何か」「より高度な英文とは何か」について、もし特定の思い込みがあるのだとすれば、それは改善の余地があるかもしれません。重要なことは、「読み手は誰か」を想定した上で「伝える意味」に意識を向け、首尾一貫した文章を書く中でこれらの項目をどう使うのかということです。単文であっても説得的で深い議論を展開することはできるでしょう。どのような文構造で書くのが好ましいのかは、誰に向けてどんな状況で何を書いているのかによって変動します。ここから英語ライティング指導に目を向ければ、 大規模テストの採点基準を普遍的で固定的なガイドラインとみなすのではなく、読み手や状況やジャンルを踏まえた上で「伝える意味」を意識して、最適な言語形式を選択するという指導があっても良いかもしれません。また、大規模テストの採点基準が教師の指導法や学習者の学習方法に及ぼす影響（波及効果）を考えると、評価項目が測りたい能力をきちんと測っているかという妥当性に関して、改めて検証する必要があるでしょう。

昨今、生成AIの性能が劇的に向上し、英文の修正や添削においても AIが活用されるようになっています。しかし、ChatGPT等の生成系AIは、与えられたプロンプトに対して「最もありそうな語」や「多くの人が書きそうな文」をビッグデータに基づく確率計算によって生成しており、独自性や新規性が求められるアカデミックライティングにおいては不適切である場合もあります。生成系AIの支援を受けられる時代になったとしても、読み手に向けてどのような表現を用いてどのような文構造で書くかを「選択」するのは、まぎれもなく書き手の責任です。本研究の結果は、「書き手の育成」という観点から教育的にも重要な知見と考えられます。

用語解説

謝辞

この研究はJSPS科学研究費補助金 (JP24K04031JSPS)の支援を受けました。

論文情報

タイトル

Does “more complexity” equal “better writing”? Investigating the relationship between form-based complexity and meaning-based complexity in EFL learners' argumentative writing

DOI

10.1016/j.asw.2024.100867

著者

Sachiko Yasuda

掲載誌

Assessing Writing