JP3879787B2

JP3879787B2 - 文書評価方法および文書評価装置

Info

Publication number: JP3879787B2
Application number: JP21327097A
Authority: JP
Inventors: 英清立花
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 1997-08-07
Filing date: 1997-08-07
Publication date: 2007-02-14
Anticipated expiration: 2017-08-07
Also published as: JPH1153350A

Description

【０００１】
【発明の属する技術分野】
本発明は、紙や電子表示装置などの上に作成された白黒またはカラー文書の品質を評価するための文書評価方法およびその方法を実現した文書評価装置に関するものである。
【０００２】
【従来の技術】
文書は、伝え手が情報あるいは意図、意志を相手に伝えるための媒介手段として用いられ、伝え手の情報あるいは意図、意志がどれだけ正確に受け手に伝わったかということが、文書の品質を評価する一つの尺度となる。このような観点における文書の品質評価は、これまで、その文書を見た人がその文書からどのくらい伝え手の情報あるいは意図、意志が読み取れるかという定性的な感覚による、いわゆる官能評価によるものであった。例えば、「よく理解できた」、「理解できた」、「あまり理解できなかった」、・・・といった理解の程度を表現する言葉でレベル付けし、その結果を数値情報に変換するという手法を用いていた。
【０００３】
このような文書の理解の程度を官能評価で行なう手法では、評価者の主観が大きく影響し、その結果、同一人物の評価においても評価のばらつきが大きいという問題がある。また、理解度の程度を表現する言葉、すなわちカテゴリーとしては５〜７段階程度であり、その結果としてカテゴリー間の格差が大きく、データとしての信頼性が低くなるという問題もあった。さらには、信頼性をあげるためには被験者の数をかなり多くしなければならず、評価の工数上の問題もあった。
【０００４】
【発明が解決しようとする課題】
本発明は、上述した事情に鑑みてなされたもので、伝え手が情報あるいは意図、意志を相手に伝えるための媒介手段としての文書の品質評価において、評価者の主観をできるだけ排除し、理解度の程度を定量的に精度よく評価でき、さらには少ない評価者による評価を可能にした文書評価方法および文書評価装置を提供することを目的とするものである。
【０００５】
【課題を解決するための手段】
被験者は、評価対象となる文書から伝え手の情報または意志、意図を理解するために、文書上に視線を移動する。被験者は順次文書上で視線を移動しながら伝え手からの情報または意志、意図を理解しようとする。この時、被験者が理解困難な用語や記述の仕方、論理の展開に当たるとその位置で視線の移動が停止、または文書の上流に戻って改めて伝え手の意図、意志を理解しようとする。このような被験者の視線の移動状況（軌跡）によって、文書中に被験者にとって理解困難な用語や記述の仕方、論理の展開がどのくらい含まれているかがわかる。本発明では、これを利用して文書の品質を示す評価値とする。
【０００６】
本発明は、被験者の文書上の視線位置を検出し、その視線位置と時間情報から視線の軌跡を算出し、その視線の軌跡から文書の品質を評価するための評価値を算出する。具体的な評価値としては、例えば視線が文書の上流に逆行した頻度の総数や、視線の軌跡の長さ、軌跡の重複部分の長さ、視線の移動が停止している時間の累計等を用いることができる。
【０００７】
このようにして算出された評価値は、視線の移動という動作を客観的に解析して得られた値であるので、被験者の主観は排除され、被験者の理解の程度を定量的に精度よく評価することができる。また、精度のよい評価値が得られることから、少ない被験者による評価を可能にしている。
【０００８】
【発明の実施の形態】
図１は、本発明の文書評価装置の実施の一形態を示す概略構成ブロック図である。図中、１は評価開始指示部、２は視線検出部、３は視線座標演算部、４は視線情報格納部、５は評価値演算部、６はホストコンピュータ、７は入力装置、８は表示装置、９は被評価文書、１０は被験者である。
【０００９】
評価開始指示部１は、文書評価装置による文書評価の準備ができたことをホストコンピュータ６が被験者１０に伝え、評価を開始させるためのものである。評価開始指示部１は、被験者１０用のディスプレイや、スピーカーを備え、評価の開始指示は、例えばディスプレイの画面に表示されるメッセージにより、あるいはスピーカーからの音声の指示メッセージにより、またはその両者を併用して行なわれる。または、この評価開始指示部１を用いず、実験者が直接口頭により被験者１０に指示することもある。指示メッセージとしては、例えば「被評価文書ををよく見て、その内容をよく理解してください。」という内容でよい。
【００１０】
視線位置検出部は、この例では視線検出部２と視線座標演算部３から構成されている。視線検出部２は、評価開始指示部１による指示によって被験者１０が被評価文書９上で注目している位置を検出する。この視線検出部２としては、例えば被験者１０の眼部に装着されて、被験者１０の瞳孔の動きを検出するものである。視線座標演算部３は、視線検出部２からの検出データを受けて、被験者１０の瞳孔の動きを解析し、被評価文書９に対応した視線座標データを出力するものである。この視線座標データの出力は、ホストコンピュータ６からの指示によって一定時間間隔ごとに行なわれる。
【００１１】
視線情報格納部４は、一定時間間隔ごとに視線座標演算部３から出力された視線の視線座標データを時間情報とともに記憶する。この視線情報格納部４は、独立の格納部の構成としてもよいし、あるいは他の記憶手段の一部、例えばそのホストコンピュータ６の記憶手段の一部で構成してもよい。また、ディスクや半導体メモリを用いた外部記憶装置であってもよい。
【００１２】
評価値演算部５では、視線情報格納部４に格納された時間情報とそれに対応する視線座標データを用いて、文書の品質を表わす評価値を算出する。評価値の算出方法については後述する。
【００１３】
ホストコンピュータ６は、装置全体を制御する。ホストコンピュータ６には、そのオペレーティングのための入力装置７と、表示装置８とが接続されている。また、図示しない外部記憶装置や、通信手段などが接続される場合もある。
【００１４】
被評価文書９は、例えば紙やＯＨＰシートなど各種の画像支持体上に形成されたものでもよいし、例えばディスプレイなどの電子的な画像表示体上に形成された文書であってもよい。
【００１５】
なお、図１では視線座標演算部３および評価値演算部５をホストコンピュータ６とは別に図示しているが、ホストコンピュータ６によって視線座標演算部３および評価値演算部５で行なう演算を実行するように構成してもよい。また視線情報格納部４は、上述のようにホストコンピュータ６に接続されている図示しない記憶装置を用いてもよい。さらに評価開始指示部１は表示装置８を用いてもよい。
【００１６】
図２は、本発明の文書評価装置の実施の一形態における全体動作の一例を示すフローチャートである。ホストコンピュータ６は、まずＳ２１において、被験者１０に画質評価の開始を指示する。Ｓ２２において、被験者１０はこの指示を受けて、被評価画像９上で文書評価を実施するするために視線位置を移動させながら注視することになる。そしてこの時、視線検出部２は、被験者１０が被評価文書９上で注目している位置を検出し、視線座標演算部３は、一定時間ごとにホストコンピュータ６に被験者１０の視線座標データを出力する。Ｓ２３において、ホストコンピュータ６に出力された視線座標データは、時間情報とともに視線情報格納部４に格納される。
【００１７】
例えば、文書の開始点が原点よりｘ＝３０ｍｍ、ｙ＝４０ｍｍの位置にあるとすると、被験者１０が評価を開始しようと視線を被評価文書９上に置くと、視線検出部２は被験者１０の瞳孔位置を検出し、視線座標演算部３はその検出データを受けて座標を演算し、例えば、ｘ＝３０、ｙ＝４０という視線座標データを出力する。視線情報格納部４には、時間情報が付加されて格納される。
【００１８】
Ｓ２４では、被験者１０が文書の評価を終了したか否かを判断し、その判断結果に基づき、未了の場合はＳ２２に戻り、それ以降を継続する。時間とともに被験者の視線は移動するが、この繰り返しの処理によって、視線座標演算部３はホストコンピュータ６からの指示により一定時間間隔ごとに被験者１０の視線座標データを出力し、時間情報とともに視線情報格納部４に格納される。このＳ２４における文書評価終了の判断は、例えば、あらかじめ文書の終了点の座標情報をホストコンピュータ６に記憶させておき、その情報と視線座標演算部３からの視線座標データとを比較して判断を行なえばよい。あるいは、被験者１０が評価終了の合図を出し、それによってホストコンピュータ６に評価終了を知らせることもできる。
【００１９】
Ｓ２４で評価を終了したと判断したときには、Ｓ２５に進み、評価値演算部５において文書の評価値の算出が行なわれる。算出された評価値は、例えばホストコンピュータ６に接続されている表示装置８に表示されるなど、種々の出力形態で実験者に伝えられる。また、評価値は図示しない記憶手段に記憶され、以後の処理に供されることもある。
【００２０】
以下、文書の品質を表わす評価値について説明する。図３は、被験者の視線の移動の一例を示す模式図である。図３（Ａ）に示すような被評価文書９について、その最初の部分（図中のａの部分）を図３（Ｂ）に示している。図３（Ｂ）では各行を矩形によって略記している。また、視線の移動を矢印で示している。
【００２１】
まず、被評価文書９が被験者１０に提示される。被験者１０は、評価の開始とともに視線を被評価文書９上に置き、まず文書の先頭に視線を合わせる。そして、被評価文書９から伝え手の情報または意志、意図を理解するために文書上の視線を移動する。被験者は順次文書上で視線を移動しながら伝え手からの情報または意志・意図を理解しようとする。このとき、被験者１０の視線は、時間とともに行の右端へ向けて移動し、行の右端まで来ると、次の行の左端へと視線が移動する。何も問題がなければ、このような視線の移動が繰り返されることになる。
【００２２】
被験者１０にとって理解困難な用語、記述の仕方、論理の展開などがあると、視線の移動が停止し、または視線が文書の上流に戻って改めて伝え手の意図、意志を理解しようとする。例えば図３（Ｂ）に示す例では、図中の「？」の位置で視線の移動が停止し、また、破線の矢印のように文書の上流に視線が戻っている。
【００２３】
このように、被験者が理解困難な用語、記述の仕方、論理の展開などに当たると文書の上流に戻ってあらためて伝え手の意図、意志を理解しようとする動作を行なう。これに着目し、このような動作の発生頻度を数値化することによって、文書の品質を表わす評価値とすることができる。このような視線の動作は、視線座標データのｘ座標およびｙ座標がともに負の増加、または、ｙ座標はほとんど変化しないでｘ座標が負の変化をした場合として検出できる。このような変化を示した箇所を、被験者が文書理解に困難を示した箇所として計数し、その計数値を文書の品質評価値とすることができる。言うまでもなく評価値が小さいほど、文書は被験者１０にとって理解しやすく品質がよいことになる。
【００２４】
図４は、視線情報格納部に格納された時間情報および視線座標データの具体例の説明図である。上述のように、一定時間間隔ごとに視線座標演算部３から出力された視線座標データと時間情報は、例えば図４に示すように、時間情報、ｘ座標情報、ｙ座標情報の組として、表の形で視線情報格納部４に記憶される。この例では、２秒後、４秒後にｙ座標が増大する方向に変化しており視線が次の行に移動したことが分かる。６秒後にはｙ座標が減少する方向に変化しており、視線が文書の上流に移動したことが分かる。このような箇所を計数すれば、定量的に文書の品質を表わす評価値を得ることができる。なお、図４に示した例では視線座標データの採取間隔を０．１秒ごととしているが、さらにその間隔を小さくすることによって、測定の精度を向上させることができる。
【００２５】
文書の品質を表わす他の評価値としては、評価を開始してから終了するまでの被験者の視線の総移動量を用いることができる。すなわち、ｎ番めの視線のｘ座標、およびｙ座標をそれぞれｘ_n、ｙ_nとしたときに、
【数１】

で、表わされる距離Ｌによって、文書の品質を表わす評価値として代表させることができる。上述のように、被験者が理解困難な用語、記述の仕方、論理の展開などに当たると文書の上流に戻ってあらためて伝え手の意図、意志を理解しようとする動作を行なうので、このような動作を被験者１０が行なうほど、算出される距離Ｌは長くなる。そのため、この距離Ｌが小さいほど文書は被験者にとって理解しやすく品質が良いことになる。
【００２６】
被験者が理解困難な用語、記述の仕方、論理の展開などに当たり、文書の上流に戻ってあらためて伝え手の意図・意志を理解しようとする動作を行なうと、被験者は同一個所を重複して視線を移動させることになる。文書の品質を表わすさらに他の評価値として、視線の軌跡の重複している部分の総距離Ｌ_ORを用いることができる。距離Ｌ_ORは、
【数２】

によって算出することができる。ここで、ｘ_mは軌跡が重複しているｍ番目のｘ座標、ｙ_mは同じくｍ番目のｙ座標である。言うまでもなく、この場合も、距離Ｌ_ORが小さいほど文書は被験者にとって理解しやすく品質が良いことになる。
【００２７】
さらに、被験者が理解困難な用語、記述の仕方、論理の展開などに当たると、視線をその場に固定したまま思考の過程に入る。この行動は、視線の軌跡上では、ｘ座標、ｙ座標ともに大きな変化がなくなる。すなわち、被験者にとっての文書の理解し易さを表わすさらに別の評価値として、ｘ座標、ｙ座標ともに変化がなくなった状態の継続時間Ｔ_constを求め、これを評価値とすることができる。この場合も、継続時間Ｔ_constの値が小さいほど品質の良い文書となる。
【００２８】
これらの評価値の他にも、例えば視線の移動する速度を測定するなど、視線の軌跡から得られる種々の値を評価値とすることができる。また、これらの評価値は、単独で用いるほか、適宜組み合わせて用い、さらなる評価値を求めるように構成してもよい。なお、これらの評価値は、複数の被験者から得られた値を例えば統計処理することによって、より客観的な評価値を得ることもできる。
【００２９】
【発明の効果】
以上の説明から明らかなように、本発明によれば、従来、被験者の感覚をもとにした官能評価によって実施されていた文書の品質、特に相手に対する理解し易さの評価を、読み手の理解プロセスにおける挙動から客観的に定量的な評価値としてとらえることができるので、評価の精度とその信頼性を大幅に改善することができる。さらに、精度よく信頼できる評価値が得られることから、少ない被験者による評価が可能となり、文書の品質の評価に要する工数を削減し、コストを低減することができるという効果がある。
【図面の簡単な説明】
【図１】本発明の文書評価装置の実施の一形態を示す概略構成ブロック図である。
【図２】本発明の文書評価装置の実施の一形態における全体動作の一例を示すフローチャートである。
【図３】被験者の視線の移動の一例を示す模式図である。
【図４】視線情報格納部に格納された時間情報および視線座標データの具体例の説明図である。
【符号の説明】
１…評価開始指示部、２…視線検出部、３…視線座標演算部、４…視線情報格納部、５…評価値演算部、６…ホストコンピュータ、７…入力装置、８…表示装置、９…被評価文書、１０…被験者。

Claims

文書の品質を評価する文書評価方法において、被験者の前記文書上の視線位置を検出する視線位置検出工程と、該視線位置検出工程で検出された視線位置を時間情報とともに格納手段に格納する格納工程と、該格納手段に格納された視線位置と時間情報から視線の軌跡を算出し該軌跡から文書の品質を評価するための評価値を算出する評価値算出工程を有し、前記評価値算出工程では、視線が文書の上流に逆行した頻度の総数を用いて前記評価値を算出することを特徴とする文書評価方法。
文書の品質を評価する文書評価方法において、被験者の前記文書上の視線位置を検出する視線位置検出工程と、該視線位置検出工程で検出された視線位置を時間情報とともに格納手段に格納する格納工程と、該格納手段に格納された視線位置と時間情報から視線の軌跡を算出し該軌跡から文書の品質を評価するための評価値を算出する評価値算出工程を有し、前記評価値算出工程では、軌跡の重複部分の長さを用いて前記評価値を算出することを特徴とする文書評価方法。
前記評価値算出工程では、前記評価値は、視線の軌跡の長さを用いて前記評価値を算出することを特徴とする請求項１に記載の文書評価方法。
前記評価値算出工程では、視線の移動が停止している時間の累計を用いて前記評価値を算出することを特徴とする請求項１に記載の文書評価方法。
文書の品質を評価する文書評価装置において、被験者の前記文書上の視線位置を検出して視線位置データとして出力する視線位置検出手段と、該視線位置検出手段から出力された視線位置データを時間情報とともに格納する視線情報格納手段と、該視線情報格納手段に格納された視線位置データと時間情報から視線の軌跡を算出し該軌跡から文書の品質を評価するための評価値を算出する評価値演算手段を有し、前記評価値演算手段は、視線が文書の上流に逆行した頻度の総数を用いて前記評価値を算出することを特徴とする文書評価装置。
文書の品質を評価する文書評価装置において、被験者の前記文書上の視線位置を検出して視線位置データとして出力する視線位置検出手段と、該視線位置検出手段から出力された視線位置データを時間情報とともに格納する視線情報格納手段と、該視線情報格納手段に格納された視線位置データと時間情報から視線の軌跡を算出し該軌跡から文書の品質を評価するための評価値を算出する評価値演算手段を有し、前記評価値演算手段は、軌跡の重複部分の長さを用いて前記評価値を算出することを特徴とする文書評価装置。