WO2006123633A1

WO2006123633A1 - システム、方法及びコンピュータ・プログラム

Info

Publication number: WO2006123633A1
Application number: PCT/JP2006/309703
Authority: WO
Inventors: Toshimichi Arima
Original assignee: International Business Machines Corporation
Priority date: 2005-05-17
Filing date: 2006-05-16
Publication date: 2006-11-23
Also published as: US7792391B2; JP4608541B2; CN101176106B; JPWO2006123633A1; TW200710745A; CA2614001C; TWI405135B; CN101176106A; CA2614001A1; US20070122064A1

Description

明細書

システム、方法及びコンピュータ 'プログラム

技術分野

[0001] 本発明は、イメージスキャナーや OCR (Optical Character Recognition)のユーザインタフエースを提供するシステム、表示方法及びこれを用いたプログラムに関する。特に、イメージスキャナーや OCRで認識した文字やキャラクタ一等をオペレータが目視検査する際に用いるシステム、表示方法及びこれを用いたコンピュータ 'プログラムに関する。

背景技術

[0002] 近年、図形、文字、キャラクタ一等を光学式に読み取りイメージィ匕し、基準となる図形、文字、キャラクタ一等のパターンと比較することにより、特定の図形、文字、キャラクターとして認識する OCR装置及び OCR機能を有するコンピュータが普及してきた。この OCRの普及により、人間がデータエントリシートに記入した文字やキャラクターを電子化することができ、データ処理作業の迅速化が図られてきた。

[0003] 一方、 OCR装置にぉ、ては、種々の図形、文字、キャラクタ一等を大量に扱うことが要求されているので、誤認識が発生する場合がある。そのため、オペレータにより、 O CR装置の認識結果を目視検査し、誤認識された認識結果を修正する必要がある。しかし、この修正作業においては、認識結果の全てをチェックすることが要求されるため、作業効率を上げることが要求される一方、作業効率を上げようとすると、オペレータの負担が大きくなつてしまうという問題がある。

[0004] 下記の特許文献 1には、図 14に示すように、 OCRによって認識した同一認識結果の文字イメージを一度に表示し照合することで作業効率の向上を図る検査方法が開示されている。図 14に示すとおり、エリア 1には、 OCRによって「2」と認識された文字ィメージが纏めて表示されており、またエリア 2には、 OCRによって「3」と認識された文字イメージが纏めて表示されている。オペレータは、このエリア 1又はエリア 2に表示されている文字イメージを横方向に視線移動させながら目視検査し、その中から誤認識された文字イメージ (即ち異物)を見つけ出し、誤認識結果を修正する作業を行う。この技術においては、特定の文字イメージを纏めて目視検査することができるので、誤認識結果を発見する作業効率が向上する。

[0005] しかしながら、この特許文献 1に開示されている技術では、オペレータは、横方向に視線移動させながら目視検査を行う必要があり、視線移動による文字イメージの見落としゃ、検査行の飛び越し等の危険性があった。また、オペレータの視線移動が多く、作業負担が大きいという問題が残されていた。

[0006] また、下記の特許文献 2には、図 15に示すように、 OCRによって認識した文字ィメージをイメージ確認部に順次連続的に表示する検査方法が開示されて！ヽる。特許文献 2に開示された方法によると、同じ認識結果の文字イメージを図 15における右下にある「イメージ確認部」に順次表示し、表示し終わったものをその左側の一覧表示部に（矢印で示す方向に)流して!/、く。

[0007] オペレータは、イメージ確認部を注視して、誤認識結果を発見すると、ストップの操作を行う。オペレータが誤認識結果を発見した後ストップ操作が完了するまでの間に、誤認識結果が一覧表示部に流れていってしまうが、当該誤認識結果が一覧表示部に表示されているので、それを見つけてマーキングあるいは修正を行うことができる。

[0008] この特許文献 2の検査方法によると、オペレータは、イメージ確認部のエリアに視線を固定することができ、特許文献 1の方法と比較して、オペレータの眼の負担を軽減することができる。し力しながら、作業効率を上げるためにイメージ確認部の桁数を増やすと、オペレータが誤認識結果を見落としやすくなるので、文字イメージの流れのスピードを上げることができない。また、数字などの外形の変形の多い文字の場合、瞬間的な判断が困難なため、検査速度が著しきく低下し、またオペレータの負担も大きくなつてしまう。また、オペレータは、イメージ確認部を注視していなければならず、瞬きをすることができず、必ずしもオペレータの負担が軽減されて、るとは言えな力つた特許文献 1：米国特許第 5,455,875号公報

特許文献 2：特開 2004— 38348号公報

発明の開示

発明が解決しょうとする課題 [0009] 上述のとおり、従来では、大量の同一認識結果の中から、誤認識結果 (異物）を発見する作業において、オペレータの視線移動が大きいという問題や、作業負担が大きいという問題があった

[0010] そこで、本発明は、上述の問題を鑑みてなされたものであり、大量の同一認識結果の中から、誤認識結果 (異物)を発見する作業において、オペレータの負荷を軽減することを実現しながら、誤認識結果の見落としを低減し、且つ作業効率を高める表示方法及びシステムを提供すること目的とする。

課題を解決するための手段

[0011] 本発明によると、表示部と該表示部を制御する制御部とを備え、前記表示部に複数の単位画像を順次表示するシステムにおいて、前記表示部は、前記制御部によって制御される第 1の表示領域及び第 2の表示領域を有し、前記制御部は、前記第 1の表示領域における前記単位画像の表示形式と前記第 2の表示領域における前記単位画像の表示形式とが異なるように制御するシステムが提供される。

[0012] また、前記制御部は、単位時間あたりの前記複数の単位画像の移動距離を調整する手段を含むようにしてもよい。

[0013] また、前記制御部は、前記第 1の表示領域においては、前記単位画像を一定時間静止させて表示し、前記第 2の表示領域においては、前記単位画像を所定のスクロール方向に移動させながら表示するようにしてもょ、。

[0014] また、前記制御部は、前記表示部に複数の単位画像を所定のスクロール方向へスクロールさせるとともに、前記表示部は、前記第 1の表示領域に対して前記所定のスクロール方向の上流側及び Z又は下流側に、前記第 2の表示領域を有するようにしてちょい。

[0015] また、前記制御部は、前記第 2の表示領域における前記単位画像のサイズを、前記第 1の表示領域における前記単位画像のサイズよりも大きく表示させるようにしてもよい。

[0016] また、前記制御部は、前記第 2の表示領域において、前記第 1の表示領域においてよりも前記単位画像を拡大して表示させるようにしてもょヽ。

[0017] また、前記制御部は、前記第 2の表示領域において、前記第 1の表示領域から離れるに従って、前記単位画像の拡大率を大きくして表示させるようにしてもょ、。

[0018] また、前記第 2の表示領域に表示される前記所定のスクロール方向の前記単位画像の数は、前記第 1の表示領域に表示される前記所定のスクロール方向の前記単位画像の数よりも多、ようにしてもょ、。

[0019] また、前記第 2の表示領域に表示される前記所定のスクロール方向と直交する方向の前記単位画像の数は、前記第 1の表示領域に表示される前記所定のスクロール方向と直交する方向の前記単位画像の数と同一であるようにしてもよい。

[0020] また、前記単位画像は、キャラクター画像を含むようにしてもよ!ヽ。

[0021] また、前記制御部は、前記単位画像中の前記キャラクター画像以外の部分の色を、前記第 1の表示領域と前記第 2の表示領域とで異ならせるようにしてよい。

[0022] また、前記単位画像中の前記キャラクター画像以外の部分の色は、黄色又は青であるようにしてちょい。

[0023] また、前記キャラクター画像が含まれる前記単位画像のデータを記憶する記憶部を備え、前記制御部は、前記単位画像のデータに基づいて、前記第 1の表示領域及び前記第 2の表示領域に前記単位画像を表示するようにしてもょヽ。

[0024] また、キャラクターを光学的に読み取って得たキャラクター画像に基づいて、前記単位画像が含むキャラクターの種類を判断する OCR部を備え、前記記憶部は、前記 O CR部で特定のキャラクターを含むと判断された前記単位画像を複数記憶し、前記制御部は、前記特定のキャラクターを含むと判断された前記単位画像を複数まとめて前記第 1の表示領域及び前記第 2の表示領域に表示するようにしてもよい。

[0025] また、前記キャラクタ一は記録媒体上の手書きキャラクターであるようにしてもよい。

[0026] また、ユーザーの操作により、前記単位画像に含まれる前記キャラクターの種類を変更する編集部を備えるようにしてもょヽ。

[0027] また、本発明によると、第 1の表示領域及び第 2の表示領域を備えるシステムに複数の単位画像を順次表示する方法にぉヽて、前記複数の単位画像を前記システムの第 1の表示領域及び第 2の表示領域に、それぞれ表示形式を異ならせて表示するステツプを含む方法が提供される。

[0028] また、前記単位画像は、キャラクター画像を含み、前記キャラクター画像を含む前記単位画像のデータを記憶するステップと、前記単位画像のデータに基づいて、前記第 1の表示領域及び前記第 2の表示領域に前記単位画像を表示するステップと、を有するようにしてちょい。

[0029] また、キャラクターを光学的に読み取ってキャラクター画像を得るステップと、前記キャラクタ一画像に基づヽて、前記単位画像が含むキャラクターの種類を判断するステップと、前記特定のキャラクターを含むと判断された複数の前記単位画像を前記第 1 の表示領域及び前記第 2の表示領域に表示するステップとを有するようにしてもょヽ

[0030] また、本発明によると、第 1の表示領域及び第 2の表示領域を備えるコンピュータ'システムに複数の単位画像を順次表示させるコンピュータ 'プログラムであって、前記コンピュータ ·システムに、前記複数の単位画像を前記コンピュータの第 1の表示領域及び第 2の表示領域にそれぞれ表示形式を異ならせて表示させるステップを実行させるコンピュータ ·プログラムが提供される。

発明の効果

[0031] 本発明によると、第 1の表示領域及び第 2の表示領域を含む複数の表示領域を有しており、第 1の表示領域をオペレータ（ユーザー）が注視しているとき、オペレータは第 2の表示領域を周辺視することで、検査結果の先読み'後追い（又は再確認）が可能となる。また、第 1の表示領域における検査速度に追従できなくなった場合においても、第 2の表示領域における周辺視を用いて後追いで検査することが可能となる。よって、先読み '後追い (再確認)検査ができることは、オペレータに作業の余裕をもたらすことができる。また、本発明によると、オペレータの視線移動を極力少なくすることができ、眼の負担を軽減することができる。

発明を実施するための最良の形態

[0032] 以下、本発明のシステム、表示方法及びそれを用いたプログラムの実施形態につ!、て説明する。

[0033] 図 1を参照する。図 1は、本実施形態に係るシステムを実現するコンピュータ装置のハードウェア構成の例を模式的に示した図である。図 1に示すコンピュータ装置は、演算手段である CPU (Central ProcessingUnit:中央処理装置） 101と、 MZB ( マザ一ボード）チップセット 102及び CPUバスを介して CPU101に接続されたメインメモリ 103と、同じく MZBチップセット 102及び AGP (Accelerated Graphics Po rt)を介して CPU101に接続されたビデオカード 104と、ビデオカード 104にて生成されたグラフィックデータを表示する表示装置 111と PCI (Peripheral Component Interconnect)バスを介して M/Bチップセット 102に接続されたハードディスク 10 5、ネットワークインターフェイス 106及び図示しないイメージスキャナ一にて読み取られた (スキャニングされた)イメージデータを伝送するスキャナインターフェイス 107と、さらにこの PCIバスからブリッジ回路 108及び ISA (Industry Standard Architec ture)バスなどの低速なバスを介して MZBチップセット 102に接続されたフロッピー (登録商標）ディスクドライブ 109及びキーボード Zマウス 110とを有している。表示装置 111としては、例えば液晶ディスプレイ (LCD)や CRTディスプレイを用いることができる。

[0034] なお、図 1は本実施形態を実現するコンピュータ装置の一例に過ぎず、本実施形態に係るシステムを実施することのできる構成であれば、適宜設計変更可能である。例えば、ビデオカード 104を設ける代わりに、ビデオメモリのみを搭載し、 CPU101にてビデオデータを処理する構成としても良いし、音声による入出力を行うためのサウンド機構を設けたり、 ATA(AT Attachment)などのインターフェイスを介して CD— R OM (Compact Disc Read Only Memory)や DVD— ROM (Digital Versat ile Disc Read Only Memory)のドライブを設けたりしても良い。

[0035] また、図 1に示したハードウェア構成例においては、スキャナインターフェイス 107が、外部に接続されたスキャナ一力のイメージデータを受信する力スキャナインターフヱイス 107にスキャナー機能を具備する OCR装置を接続する構成も可能で、その場合は OCR装置からイメージデータとともに文字認識結果などの情報も受信する。スキャナーや OCR装置は、紙等の記録媒体上の文字等のキャラクター（印刷されたもの及び手書きされたものを含む）を読み取り、イメージデータを作成する。

[0036] 図 2は、本実施形態に係るシステムの機能を説明するブロック図である。本実施形態に係るシステムは、イメージスキャナーの認識結果を目視検査するための画面を表示する表示部 210と、表示部 210の複数の表示領域において、文字イメージデータや基準画像等のスクロール表示を制御し、また単位画像に含まれる文字イメージデータの種類を変更する編集部としての役割を果たす文字イメージデータ表示制御部 22 0と、スキャニングされたイメージデータを格納する文書イメージデータ格納部 230と、文書イメージデータ格納部 230から文字イメージデータを読み込み、当該文字ィメージデータと複数の基準データとを比較し、最も近、基準データによって当該文字ィメージデータを特定の文字と認識する文字イメージデータ認識部 240と、特定の文字として認識された文字イメージデータの認識結果毎に文字イメージデータをグループ化して格納する文字イメージデータ格納部 250と、オペレータの操作に基づ、て (操作を検出して)各種機能を呼び出す操作受付部 260と、操作受付部 260にて受け付けられたオペレータの操作に応じて文字イメージデータの認識結果を修正する認識結果修正部 270とを備える。なお、文書イメージデータ格納部 230と文字イメージデータ認識部 240とを併せて OCR部としてもょ、。

[0037] なお、本実施形態にぉ、ては、文字を代表例として用いた例にっ、て説明して、る力本発明のシステム及び表示方法は、文字に限定されるわけではなぐ例えば、文字 (ひらがなや片仮名、漢字を含む。）、数字、符号を含む全てのキャラクターや、その他図形についても、イメージデータの対象とすることができる。

[0038] 次に、図 3を参照する。図 3には、本実施形態のシステム及び表示方法における表示部 210の表示例が示されている。表示部 210には、第 1の表示領域 211、第 2の表示領域 212a及び 212bが表示される。第 1の表示領域 211は、通常、オペレータが注視する領域（「注視領域」とも言う。）である。 2つの第 2の表示領域のうち、第 2の表示領域 212aは、表示部 210の下部から第 1の表示領域 211へ向かってスクロールしていく単位画像 213が表示される領域であり、「検査待ち領域」とも言う。また、もう一方の第 2の表示領域 212bは、第 1の表示領域 211から表示部 210の上部へスクロールしていく単位画像 213が表示される領域であり、「検査済み領域」とも言う。なお、表示部 210において、白抜きの矢印で示した方向は、単位画像のスクロール方向である。本実施形態においては、第 2の表示領域 212a及び 212bは、それぞれ、第 1の表示領域 211に対する単位画像 213のスクロール方向の上流側、下流側に儲けられている。なお、本実施形態においては、単位画像は表示部 210の下部力も上部へ向かってスクロールするようにしている力これに限定されるわけではなぐ上部から下部へ向力つてスクロールするようにしてもょ、し、後述の実施例で説明するように、横方向にスクロールするようにしてもょ、。

[0039] 単位画像 213は、文字データ認識部 240によって特定の文字として認識され、認識結果毎にグループィ匕して文字イメージデータ格納部 250に格納されている複数の文字イメージデータをそれぞれ表示した画像である。図 3においては、基準データ「8」と同一であると認識された複数の文字イメージデータが単位画像として表示されている。これら横方向に並んだ 4つの単位画像 213を纏めて「単位画像セット 213a」と言う。本実施形態においては、 4つの単位画像 213が横方向に並んだ例について説明しているが、これに限定されるわけではなぐ 1以上であり好ましくは 4以下の単位画像を適宜並べることができる。例えば、 1つの単位画像 213のみがスクロールする画面例を図 5に示す。なお、 1つの単位画像 213のみがスクロールする場合においても、図 5に示すように、第 1の表示領域 211には、基準画像 214を設けてもよい。

[0040] 再度図 3を参照する。第 1の表示領域 211の 4つの単位画像を挟むように配置され表示された基準画像 214は、本実施形態においては、基準データ「8」を表示した画像である。この基準画像は、図 3のように表示されるようにしてもよいし、表示されないようにしてもよい。また、単位画像としてどのような文字イメージデータを選択するかは、オペレータが決定するようにしてもよいし、システムが自動的に決定するようにしてもよい。

[0041] 本発明のシステムにおいては、複数の単位画像が並んだ単位画像セット 213aが、第 2の表示領域 212a、第 1の表示領域 211、第 2の表示領域 212bの順に滑らかに移動する。なお、この「滑らかに」移動するとは、オペレータが見ても単位画像が移動しているように見え、単位画像が切り替わっているように見えない程度のことを言う。この「滑らかに」の度合いは、画面のサイズ、画素数等によって変化する。また、「滑らかさ」の調整は、単位時間あたりの単位画像の移動距離を調整することによって行う。この「滑らかさ」の調整は、文字イメージデータ表示制御部 220が行うことになる。

[0042] また、本発明のシステムにおいては、第 1の表示領域 211と第 2の表示領域 212a及び 212bとにおいて、それぞれ、単位画像 213の表示形式が異なっている。具体的には、図 3に示すとおり、第 2の表示領域 212a及び 212bにおいては、第 1の表示領域 211から遠ざかるに従い、単位画像 213の大きさが大きくなつている。言い換えると、第 2の表示領域 212aにおいては、単位画像 213が表示部 210の下部力第 1の表示領域 211へ向力つてスクロールして行くに従い、単位画像 213の大きさが小さくなつて行き（単位画像 213の拡大率力 S小さくなつて行き）、また、第 2の表示領域 212b においては、単位画像 213が第 1の表示領域 211から表示部 210の上部へ向かってスクロールして行くに従い、単位画像 213の大きさが大きくなつていく（単位画像 213 の拡大率が大きくなつて行く）。なお、単位画像 213が拡大 ·縮小するに従い、その単位画像 213の文字イメージも拡大'縮小することになる。この単位画像の拡大率の調整は、文字イメージデータ表示制御部 220が行うことになる。なお、第 2の表示領域 2 12a及び 212bにおける単位画像 213の縦横各々の拡大比率を変えてもよい。なお、本実施形態においては、単位画像が 1ピクセル移動する毎に、その拡大率を変化させている力それに限定されるわけではない。

[0043] 本発明のシステムにおいては、オペレータは、第 1の表示領域 211に視線を向けることで第 1の表示領域 211における単位画像 213を目視検査し、さらに第 2の表示領域 212a及び 212bにおける単位画像 213を周辺視を用いて目視検査することを可能としている。一般に、オペレータの周辺視力は、中心視力よりも低いが、本発明においては、周辺視を用いて目視検査する第 2の領域 212a及び 212bにおいて、単位画像 213の大きさを大きくすることで、周辺視を用いた目視検査による検査補助が可能となる。また、本発明のシステムにおいては、周辺視を用いて目視検査する第 2の表示領域 212a及び 212bが、第 1の表示領域 211に対して一次元方向（二方向、即ち本実施形態においては上下）のみに広がっている。このことは、第 1の表示領域 211に対して二次元方向（四方向、即ち上下左右）に情報があるものと比べてオペレータの意識の発散を抑えることができる。

[0044] ここで、本発明のシステムを用いたオペレータの目視検査手順にっ、て説明する。

[0045] まず、例えば、表示部 210に表示される操作ボタン群（図示せず)のうち、目視検査を開始するためのボタンに対してクリックまたは選択等の操作が行われると、この操作は、操作受付部 260によって文字イメージデータ表示制御部 220に通知される。 [0046] 本発明のシステムを用いる際は、通常、オペレータは、第 1の表示領域 211を注視し、表示されてヽる単位画像 213中に文字イメージデータの誤認識結果が含まれて!/ヽるかどうかをチェックする。第 2の表示領域 212aにおいては、表示部 210の下部から第 1の表示領域 211に向かって単位画像セット 213aが滑らかにスクロールして行く。オペレータは、周辺視を用いて視認される第 2の表示領域 212aにおける単位画像セット 213aを意識し、誤認識結果が含まれていること (異物混入)を検知する。

[0047] 次に、文字イメージデータ表示制御部 220によって単位画像セット 213aが第 2の表示領域 212aから第 1の表示領域 211ヘスクロール移動し、一定期間第 1の表示領域 211で静止した後、第 2の表示領域 212bヘスクロール移動する。オペレータは、第 1 の表示領域 211を注視（中心視)し、詳細な目視検査を行い、表示されている単位画像 213中に文字イメージデータの誤認識結果が含まれて、るかどうかをチェックする

[0048] 次に、単位画像セット 213aが第 1の表示領域 211から第 2の表示領域 212bヘスクロール移動する。第 1の表示領域 211からスクロール移動する単位画像セット 213aは、表示部 210の上部に向力つて滑らかに移動し、表示部 210の上部で消えるようになつている。オペレータは、周辺視を用いて視認される第 2の表示領域 212bにおける単位画像セット 213aを意識し、誤認識結果の無!ヽことを再確認する。

[0049] なお、オペレータは、誤認識結果を発見した場合、スクロール停止操作を行、、正しい認識結果を入力するカゝ、又は誤認識結果を含む単位画像 213にマウス等でマーキング (例えば、単位画像 213の背景色を変化させる、単位画像 213中の文字ィメージデータの色を変化させる等)を行う。このマーキングされた誤認識結果を集めて、上記特許文献 1に開示された方法を用いて修正作業を行っても良、。

[0050] 上述の動作が繰り返され、新たな文字イメージデータの単位画像 213が次々と目視検査の対象としてスクロールされて行く。

[0051] 以上説明したとおり、オペレータは、（1)中心視を用いた第 1の表示領域 211における詳細な目視検査を主として行い、（2)周辺視を用いた第 2の表示領域 212aにおける目視検査、及び、（3)周辺視を用いた第 2の表示領域 212aにおける 212bにおける目視検査を従として行うことになる。これら主と従の関係にある目視検査（1)〜（3) を同時に行うことにより、オペレータは、殆ど視線移動を行う必要がないので、ォペレータの負担を極力少なくすることができ、且つ検査漏れを著しく減少させることができる。

[0052] なお、本発明のシステムを用いると、オペレータは、次のような柔軟な目視検査を行うことが可能となる。

(パターン 1)オペレータ力検査スピードに対して余裕のある時は、先回りして上記（ 1)の検査に重きを置き、周辺視を用いた目視検査を有効に利用することが可能である。（パターン 2)オペレータが、上記（2)の検査において、詳細な検査を行う必要があると判断した場合は、上記（1)の検査及び（3)の検査は意識外に置いて、目視検查を行うようにしてもよい。

(パターン 3)オペレータが、上記（2)の検査を十分に行うことができな、と判断した場合は、上記 (3)の検査に意識を集中して周辺視を用いた目視検査を有効に利用することができる。なお、上記（3)の検査に意識を集中しても、完全な目視検査を完了することができないと判断した場合は、キー操作等を行うことにより、単位画像 213のスクロールのスピードを落としたり、スクロールを停止したり、スクロールを逆戻りさせたりすることがでさる。

[0053] また、本発明のシステムにおいては、オペレータの習熟度により、単位画像 213のスクロール速度を変化させることができる。

[0054] ここで、図 4を参照する。図 4は、本発明のシステムの動作を示したフローチャートである。まず、イメージスキャナーによって文書イメージデータを読み込み、文字ィメージデータを基準データと比較し、文字イメージデータを特定の文字と認識する (ステツプ Sl)。これらの動作は、文書イメージデータ格納部 230、文字イメージデータ認識部 240及び文字イメージデータ格納部 250によって行われる。ユーザーが検査対象とする文字イメージデータを選択する (ステップ S2)。例えば、図 3においては、オペレータは「8」を選択している。次に、選択された文字イメージデータの単位画像 213 を文字イメージデータ表示制御部 220によって第 2の表示領域 212a、第 1の表示領域 211及び第 2の表示領域 212bに連続的に表示し、スクロールする (ステップ S 3)。ここで、ユーザーによって停止操作が行われたかどうかを判断し (ステップ S4)、停止操作が行われていない場合は、ステップ S9に進み、停止操作が行われた場合は、単位画像 213のスクロールを停止する（ステップ S5)。次に、ユーザーによる誤認識結果の修正処理が行われる（ステップ S6)。修正処理が行われた後、ユーザーのスクロール開始操作 (ステップ S7)によって、開ステップ S3に戻る。ステップ S9においては、ユーザーによって終了操作が行われたかどうかを判断し、終了操作が行われた場合は、目視検査が終了する (ステップ S8)。終了操作が行われない場合は、選択された文字イメージデータの全ての単位画像の表示が完了したかどうかを判断し、完了している場合は、目視検査が終了する (ステップ S8)、完了していない場合は、ステツプ S3に戻る。このフローを全ての基準データについて行うことにより、検査漏れのなヽ目視検査を達成することができる。

[0055] 上述のとおり、本発明のシステムにおいては、「注視エリア」に視線を置き、周辺視を有効に使うことにより、オペレータの視線移動を極力少なくすることができ、オペレータの負担を軽減しつつ、検査漏れを著しく低減することができる。

[0056] ここで、図 6を参照する。図 6には、本実施形態に係る本発明のシステムにおける表示部 210の表示例が示されている。本実施形態においては、第 2の表示領域 212a 及び 212bにおける単位画像 213の大きさは、第 1の表示領域 211の中心からの距離 (第 1の表示領域 212における単位画像の中心からの距離)と第 1の表示領域 212 における単位画像の幅とに相関関係を有している。具体的に説明すると、本実施形態においては、第 2の表示領域 212a及び 212bにおける単位画像 213 (図 6においては、第 2の表示領域 212bの最上部左側の単位画像 213を用いて説明している。 ) の中心力も第 1の表示領域 212における単位画像の中心の距離を D、第 1の表示領域 211における単位画像 213の幅を Wとすると、第 2の表示領域における単位画像 2 13の高さ h、幅 wは、以下の（数式 1)〜(数式 3)を満たす。なお、第 2の表示領域 21 2a及び 212bにおける全ての単位画像 213が以下の（数式 1)〜（数式 3)を満たすことになる。

[0057] [数 1] h = (1 + a D) x H + c (数式 1 )

w = (1 + b x D) x W + d • (数式 2) w = (1 + b x D ) x W + d • (数式 3)

[0058] 但し、 a、 b、 c、 dは、それぞれ、調整用パラメータであり、任意に設定すればよい。なお、第 2の表示領域における当該特定の単位画像 213の幅 wは、（数式 2)又は (数式 3)を満たすようにすればよい。なお、（数式 1)における Dは、視野中心 (第 1の表示領域の中心)から単位画像セットまでの視角としてもよい。なお、本発明のシステム及び方法においては、単位画像の大きさを決定する数式は、これら (数式 1)〜(数式 3)に限定されるわけではない。

[0059] 本実施形態のように、第 2の表示領域における単位画像 213の高さ h及び幅 wが、（数式 1)〜 (数式 3)を満たすようにすることにより、第 2の表示領域 212a及び 212bにおいては、第 1の表示領域 211から離れるに従い、その拡大率が増大することになるので、周辺視による目視検査をより有効に行うことができる。

[0060] なお、本実施形態においては、 4つの単位画像 213が横方向に並んだ例について説明しているが、これに限定されるわけではなぐ 1以上であり好ましくは 4以下の単位画像を適宜並べることができる。また、本実施形態では、単位画像 213が、縦方向にスクロールする例について説明した力単位画像 213が横方向にスクロールするようにしてもょヽのは言うまでもな、。

[0061] ここで、図 7を参照する。図 7には、本実施形態に係る本発明のシステムにおける表示部 210の表示例が示されている。図 7に示す例においては、本発明のシステム及び方法において、上述の（数式 1)における wを単位画像セットの中の各横走査線毎の幅とし、 Dを第一の表示領域の上下方向の中心線から単位画像セットの中の各横走査線毎までの距離とすることで、（数式 1)を満たすことにより、視野中心からの角度が大きくなるにつれて、横方向の拡大率を横走査線毎に大きくさせることができる。

[0062] なお、図 3においては、第 1の表示領域 212と第 2の表示領域 212a及び 212bとは、隣接しているようにした力これに限定されるわけではなぐ第 1の表示領域 212の一部と第 2の表示領域 212aの一部及び第 2の表示領域 212bの一部とが、それぞれ、重なっているようにしてもよいし、また、第 1の表示領域 212と第 2の表示領域 212aとの境界、及び第 1の表示領域 212と第 2の表示領域 212bとの境界が、それぞれ、連続しているようにしてもよい。

[0063] また、第 1の表示領域 211と、第 2の表示領域 212a及び 212bとにおける単位画像 2 13の文字イメージデータの背景色を変化させることは有効である。これは、オペレータにとって周辺視し易い色 (例えば、黄色又は青色）が存在するからである。例えば、第 1の表示領域 211における単位画像 213の文字イメージデータの背景色を白とし、第 2の表示領域 212a及び 212bと〖こおける単位画像 213の文字イメージデータの背景色を黄色又は青色とすることにより、オペレータは、第 2の表示領域 212a及び 2 12bにおける周辺視が容易となり、周辺視による目視検査の精度が向上する。

[0064] 以上詳細に述べたとおり、本発明によると、第 1の表示領域をオペレータが注視しているとき、オペレータは第 2の表示領域を周辺視することで、検査結果の先読み'後追い（又は再確認）が可能となる。また、第 1の表示領域における検査速度に追従できなくなった場合においても、第 2の表示領域における周辺視を用いて後追いで検查することが可能となる。よって、先読み '後追い（再確認)検査ができることは、オペレータに作業の余裕をもたらすことができる。また、本発明によると、オペレータの視線移動を極力少なくすることができ、眼の負担を軽減することができる。

実施例 1

[0065] 本実施例においては、本発明のシステム及び表示方法において、第 1の表示領域及び第 2の表示領域の表示方法の別の例について説明する。なお、その他の構成要素については、上述の実施形態で説明したものと同様であるので、ここでは改めて説明はしない。

[0066] 図 8を参照する。図 8には、本実施例に係る本発明のシステム及び表示方法の表示部 210の表示例が示されている。本実施例においても、上述の実施形態と同様、表示部 210には、第 1の表示領域 211、第 2の表示領域 212a及び 212bが表示される。本実施においては、 2つの第 2の表示領域のうち、第 2の表示領域 212aは、表示部 210の上部から第 1の表示領域 211へ向かってスクロールしていく単位画像 213 が表示される領域である。また、もう一方の第 2の表示領域 212bは、第 1の表示領域 211から表示部 210の下部へスクロールしていく単位画像 213が表示される領域である。

[0067] 本実施例においては、単位画像 213は、表示部の上部から下部へ向かってスクロールしている力スクロール方向を逆にしても構わない。また、本実施例に係るシステムにおいては、第 1の表示領域 211と第 2の表示領域 212a及び 212bとにおいて、それぞれ、単位画像 213の表示形式が異なっている。具体的には、図 8に示すとおり、第 2の表示領域 212aにおいては、第 1の表示領域 211から遠ざかるに従い、単位画像 213の大きさが大きくなつている。言い換えると、第 2の表示領域 212aにおいては、単位画像 213が表示部 210の下部力も第 1の表示領域 211へ向かってスクロールして行くに従い、単位画像 213の大きさが小さくなつて行く（単位画像 213の拡大率力、さくなつて行く）。また、第 2の表示領域 212bにおいては、単位画像 213が第 1 の表示領域 211から表示部 210の下部へ向かってスクロールして行っても、単位画像 213の大きさは変化しないようになっている。本実施例においては、 4つの単位画像 213が横方向に並んだ例について説明している力これに限定されるわけではなく、 1以上であり好ましくは 4以下の単位画像を適宜並べることができる。

[0068] なお、図 8においては、第 1の表示領域 212の一部と第 2の表示領域 212aの一部及び第 2の表示領域 212bの一部と力それぞれ、重なっているようにしたが、これに限定されるわけではなぐ第 1の表示領域 212と第 2の表示領域 212a及び 212bとは、隣接しているようにしてもよいし、また、第 1の表示領域 212と第 2の表示領域 212aとの境界、及び第 1の表示領域 212と第 2の表示領域 212bとの境界が、それぞれ、連続しているようにしてもよい。

[0069] このように、本実施例のシステムにおいては、第 2の表示領域 212aにおける単位画像 213の大きさ力第 1の表示領域 211における単位画像 213よりも大きぐォペレータは、周辺視を用いて視認される第 2の表示領域 212aにおける単位画像セット 21 3aを意識することができ、第 1の領域 211における詳細な目視検査の前に、誤認識結果が含まれて、ること (異物混入)を検知することができる。

[0070] 本実施例においても、上述の実施形態と同様、第 1の表示領域 211と、第 2の表示領域 212a及び 212bとにおける単位画像 213の文字イメージデータの背景色を変化させることは有効である。例えば、第 1の表示領域 211における単位画像 213の文字ィメージデータの背景色を白とし、第 2の表示領域 212a及び 212bとにおける単位画像 213の文字イメージデータの背景色を黄色又は青色とすることにより、オペレータは、第 2の表示領域 212aにおける周辺視が容易となり、周辺視による目視検査の精度が向上する。

[0071] 以上述べたとおり、本実施例に係る本発明によると、第 1の表示領域をオペレータが注視しているとき、オペレータは第 2の表示領域を周辺視することで、検査結果の先読みが可能となる。よって、先読み検査ができることは、オペレータに作業の余裕をもたらすことができる。また、本発明によると、オペレータの視線移動を極力少なくすることができ、眼の負担を軽減することができる。

[0072] なお、本実施例のシステム及び方法においても、上述の実施形態並びに図 6及び図 7で説明した (数式 1)〜 (数式 3)を満たすように単位画像の処理を行えばよ!ヽ。実施例 2

[0073] 本実施例においては、本発明のシステム及び表示方法において、第 1の表示領域及び第 2の表示領域の表示方法の別の例について説明する。なお、その他の構成要素については、上述の実施形態で説明したものと同様であるので、ここでは改めて説明はしない。

[0074] 図 9を参照する。図 9には、本実施例に係る本発明のシステム及び表示方法の表示部 210の表示例が示されている。本実施例においても、上述の実施形態と同様、表示部 210には、第 1の表示領域 211、第 2の表示領域 212a及び 212bが表示される。本実施例は、上述の実施形態と異なり、単位画像 213が横方向にスクロールするようになつている。なお、本実施例においては、 4つの単位画像 213が縦方向に並んだ例について説明している力これに限定されるわけではなぐ 1以上であり好ましくは 4 以下の単位画像を適宜並べることができる。

[0075] なお、本実施例においては、単位画像 213は、表示部の右部から左部へ向かってスクロールしている力スクロール方向を逆にしても構わない。また、本実施例に係るシステムにおいては、第 1の表示領域 211と第 2の表示領域 212a及び 212bとにおいて、それぞれ、単位画像 213の表示形式が異なっている。具体的には、図 9に示すとおり、第 2の表示領域 212a及び 212bにおいては、第 1の表示領域 211から遠ざかるに従い、単位画像 213の大きさが大きくなつている。言い換えると、第 2の表示領域 2 12aにおいては、単位画像 213が表示部 210の右部から第 1の表示領域 211へ向かつてスクロールして行くに従い、単位画像 213の大きさが小さくなつて行き（単位画像 213の拡大率が小さくなつて行き）、また、第 2の表示領域 212bにおいては、単位画像 213が第 1の表示領域 211から表示部 210の左部へ向かってスクロールして行くに従い、単位画像 213の大きさが大きくなつていく（単位画像 213の拡大率が大きくなって行く)。

[0076] 本発明のシステムにおいては、オペレータは、第 1の表示領域 211に視線を向けることで第 1の表示領域 211における単位画像 213を目視検査し、さらに第 2の表示領域 212a及び 212bにおける単位画像 213を周辺視を用いて目視検査することを可能としている。

[0077] なお、図 9においては、第 1の表示領域 212と第 2の表示領域 212a及び 212bとは、隣接しているようにした力これに限定されるわけではなぐ第 1の表示領域 212の一部と第 2の表示領域 212aの一部及び第 2の表示領域 212bの一部とが、それぞれ、重なっているようにしてもよいし、また、第 1の表示領域 212と第 2の表示領域 212aとの境界、及び第 1の表示領域 212と第 2の表示領域 212bとの境界が、それぞれ、連続しているようにしてもよい。

[0078] このように、本実施例のシステムにおいては、第 2の表示領域 212a及び 212bにおける単位画像 213の大きさ力第 1の表示領域 211における単位画像 213よりも大きく、オペレータは、周辺視を用いて視認される第 2の表示領域 212a及び 212bにおける単位画像セット 213aを意識することができ、第 1の領域 211における詳細な目視検查の前及び後に、誤認識結果が含まれてヽること (異物混入)を検知することができる。

[0079] 本実施例においても、上述の実施形態と同様、第 1の表示領域 211と、第 2の表示領域 212a及び 212bとにおける単位画像 213の文字イメージデータの背景色を変化させることは有効である。例えば、第 1の表示領域 211における単位画像 213の文字ィメージデータの背景色を白とし、第 2の表示領域 212a及び 212bとにおける単位画像 213の文字イメージデータの背景色を黄色又は青色とすることにより、オペレータは、第 2の表示領域 212a及び 212bにおける周辺視が容易となり、周辺視による目視検査の精度が向上する。

[0080] 以上詳細に述べたとおり、本実施例に係る本発明によると、第 1の表示領域をォペレータが注視しているとき、オペレータは第 2の表示領域を周辺視することで、検査結果の先読み '後追い（又は再確認）が可能となる。また、第 1の表示領域における検查速度に追従できなくなった場合においても、第 2の表示領域における周辺視を用いて後追いで検査することが可能となる。よって、先読み'後追い（再確認)検査ができることは、オペレータに作業の余裕をもたらすことができる。また、本発明によると、オペレータの視線移動を極力少なくすることができ、眼の負担を軽減することができる。

[0081] また、図 10に示すように、第 2の表示領域 212aにおける単位画像 213の表示方法と、第 2の表示領域 212bにおける単位画像 213の表示方法とを異ならせてもよい。図 10に示した例では、第 2の表示領域 212aにおいては、単位画像 213が表示部 210 の右部から第 1の表示領域 211へ向力つてスクロールして行くに従い、単位画像 213 の大きさが小さくなつて行く（単位画像 213の拡大率が小さくなつて行く)。また、第 2 の表示領域 212bにおいては、単位画像 213が第 1の表示領域 211から表示部 210 の左部へ向力つてスクロールして行っても、単位画像 213の大きさは変化しないようになっている。図 10に示す例においても、第 1の表示領域をオペレータが注視しているとき、オペレータは第 2の表示領域 212aを周辺視することで、検査結果の先読みが可能となる。よって、先読み検査ができることは、オペレータに作業の余裕をもたらすことができる。また、本発明によると、オペレータの視線移動を極力少なくすることができ、眼の負担を軽減することができる。

[0082] なお、本実施例のような単位画像が横方向へスクロールする場合においても、上述の実施形態並びに図 6及び図 7を用いて説明した (数式 1)〜(数式 3)を満たすように単位画像の処理を行ってもよい。この場合、上述の図 6及び図 7を 90度回転した状態で、（数式 1)〜(数式 3)を満たす条件を用いればよい。なお、本実施例においても、単位画像の大きさを決定する数式は、（数式 1)〜(数式 3)に限定されるわけではない。

実施例 3

[0083] 本発明のシステム及び表示方法において、第 2の表示領域の各所における単位画像の拡大率は、画像視野の中心からの角度 (視角）毎の視力減衰の程度に相関させて決定されることが好ましい。従って、第 2の表示領域内のそれぞれの単位画像の拡大率をその位置の視角に応じて違えたり、同一単位画像セット内の単位画像の位置を視角が同一となるように、単位画像セットを湾曲させたり、あるいは単位画像それぞれに変形を加えることも本発明の思想の範囲に含まれる。

[0084] また、上記単位画像の拡大率や変形については、単位画像をさらに細分ィ匕された小領域における拡大率や変形と考えても良い。

[0085] 図 11を参照する。図 11には、本実施例に係る本発明の表示システムにおける表示部 210の表示例が示されている。本実施例においては、上述の実施形態において説明した方法を用 V、て第 2の表示領域 212a及び 212bにおける単位画像 213の形状を (数式 1)〜(数式 3)満たすように変形した上で、更に、第 1の表示領域 211の中心点からの距離を基準として変形を加えるものである。こうすることによって、第 2の表示領域 212a及び 212bにおける単位画像 213の形状は、図 11に示すように扇形となる。

[0086] このような処理を行うことにより、第 2の表示領域 212a及び 212b〖こおいては、単位画像 213は扇型状となり、且つ第 1の表示領域 211から離れるに従い、その拡大率が増大することになるので、周辺視による目視検査をより有効に行うことができる。

[0087] 次に、図 12を参照する。図 12には、本実施例に係る本発明の表示システムにおける表示部 210の別の表示例が示されている。本実施例においては、上述の実施形態において説明した方法を用いて第 2の表示領域 212a及び 212bにおける単位画像 2 13の形状を (数式 1)〜(数式 3)満たすように変形した上で、更に、第 1の表示領域 2 11を目視するオペレータの眼 301a及び 301bそれぞれの中心点からの距離を基準として変形を加えるものである。こうすることによって、第 2の表示領域 212a及び 212 bにおける単位画像 213の形状は、扇形又は台形となる。 [0088] このような処理を行うことにより、第 2の表示領域 212a及び 212b〖こおいては、単位画像 213は扇型状又は台形状となり、且つ第 1の表示領域 211から離れるに従い、その拡大率が増大することになるので、周辺視による目視検査をより有効に行うことができる。

[0089] なお、本実施例においては、 4つの単位画像 213が横方向に並んだ例について説明しているが、これに限定されるわけではなぐ 1以上であり好ましくは 4以下の単位画像を適宜並べることができる。また、本実施例では、単位画像 213が、縦方向にスクロールする例について説明した力単位画像 213が横方向にスクロールするようにしてもょ、のは言うまでもな、。

産業上の利用可能性

[0090] 本発明のシステム及び表示方法は、第 1の表示領域及び第 2の表示領域を含む複数の表示領域を有しており、第 1の表示領域をオペレータが注視しているとき、オペレータは第 2の表示領域を周辺視することで、検査結果の先読み '後追い（又は再確認)が可能となる。また、第 1の表示領域における検査速度に追従できなくなった場合にお、ても、第 2の表示領域における周辺視を用いて後追、で検査することが可能となる。よって、先読み'後追い（再確認)検査ができることは、オペレータに作業の余裕をもたらすことができる。また、本発明によると、オペレータの視線移動を極力少なくすることができ、眼の負担を軽減することができる。

[0091] よって、本発明は、図 13に示すようなデータエントリシートを OCR処理した場合の多量なイメージデータの認識結果の目視検査など、コンピュータによる処理の後、人手による目視検査が必要な検査システムにお、て有効である。

図面の簡単な説明

[0092] [図 1]本発明の一実施形態に係るシステムを実現するコンピュータ装置のハードゥエァ構成例を模式的に示した図である。

[図 2]本発明の一実施形態に係るシステムの機能を説明するブロック図である。

[図 3]本発明の一実施形態のシステム及び表示方法における表示部 210の表示例である。

[図 4]本発明の一実施形態に係るシステムの動作を示したフローチャートである。 [図 5]本発明の一実施形態のシステム及び表示方法における表示部 210の表示例である。

[図 6]本発明の一実施形態のシステム及び表示方法における表示部 210の表示例である。

[図 7]本発明の一実施形態のシステム及び表示方法における表示部 210の表示例である。

[図 8]本発明の一実施形態のシステム及び表示方法における表示部 210の表示例である。

[図 9]本発明の一実施形態のシステム及び表示方法における表示部 210の表示例である。

[図 10]本発明の一実施形態のシステム及び表示方法における表示部 210の表示例である。

[図 11]本発明の一実施形態の表示システム及び表示方法における表示部 210の表示例である。

[図 12]本発明の一実施形態の表示システム及び表示方法における表示部 210の表示例である。

[図 13]本発明の一実施形態の表示システム及び表示方法の適用例である。

[図 14]従来の目視検査の方法を示す図である。

[図 15]従来の目視検査の方法を示す図である。

符号の説明

101 CPU

102 MZBチップセット

103 インメモリ

104 ビデオカード

111 表示装置

105 ハードディスク

106 ネットワークインターフェイス

107 キヤナインターフェイス 108 ブリッジ回路

110 キーボード /マウス

109 フロッピー（登録商標）ディスクドライブ

220 メージデータ表示制御部

230 文書イメージデータ格納部

240 文字イメージデータ認識部

250 文字イメージデータ格納部

260 操作受付部

270 認識結果修正部

211 第 1の表示領域

212a, 212b 第 2の表示領域

213 単位画像

213a 単位画像セット

Claims

請求の範囲

[1] 表示部と該表示部を制御する制御部とを備え、前記表示部に複数の単位画像を順次表示するシステムにおいて、前記表示部は、前記制御部によって制御される第 1 の表示領域及び第 2の表示領域を有し、

前記制御部は、前記第 1の表示領域における前記単位画像の表示形式と前記第 2 の表示領域における前記単位画像の表示形式とが異なるように制御するシステム。

[2] 前記制御部は、単位時間あたりの前記複数の単位画像の移動距離を調整する手段を含む請求項 1に記載のシステム。

[3] 前記制御部は、

前記第 1の表示領域にお！ヽては、前記単位画像を一定時間静止させて表示し、前記第 2の表示領域においては、前記単位画像を所定のスクロール方向に移動させながら表示する請求項 1に記載のシステム。

[4] 前記制御部は、前記表示部に複数の単位画像を所定のスクロール方向ヘスクロールさせるとともに、

前記表示部は、前記第 1の表示領域に対して前記所定のスクロール方向の上流側及び Z又は下流側に、前記第 2の表示領域を有する請求項 1に記載のシステム。

[5] 前記制御部は、前記第 2の表示領域における前記単位画像のサイズを、前記第 1の表示領域における前記単位画像のサイズよりも大きく表示させる請求項 1に記載のシステム。

[6] 前記制御部は、前記第 2の表示領域において、前記第 1の表示領域においてよりも前記単位画像を拡大して表示させる請求項 1に記載のシステム。

[7] 前記制御部は、前記第 2の表示領域において、前記第 1の表示領域から離れるに従つて、前記単位画像の拡大率を大きくして表示させる請求項 4に記載のシステム。

[8] 前記第 2の表示領域に表示される前記所定のスクロール方向の前記単位画像の数は、前記第 1の表示領域に表示される前記所定のスクロール方向の前記単位画像の数よりも多!、請求項 4に記載のシステム。

[9] 前記第 2の表示領域に表示される前記所定のスクロール方向と直交する方向の前記単位画像の数は、前記第 1の表示領域に表示される前記所定のスクロール方向と直交する方向の前記単位画像の数と同一である請求項 4に記載のシステム。

[10] 前記単位画像は、キャラクター画像を含む請求項 1に記載のシステム。

[11] 前記制御部は、前記単位画像中の前記キャラクター画像以外の部分の色を、前記第 1の表示領域と前記第 2の表示領域とで異ならせる請求項 10に記載のシステム。

[12] 前記単位画像中の前記キャラクター画像以外の部分の色は、黄色又は青である請求項 11に記載のシステム。

[13] 前記キャラクター画像が含まれる前記単位画像のデータを記憶する記憶部を備え、前記制御部は、前記単位画像のデータに基づいて、前記第 1の表示領域及び前記第 2の表示領域に前記単位画像を表示する請求項 10に記載のシステム。

[14] キャラクターを光学的に読み取って得たキャラクター画像に基づいて、前記単位画像が含むキャラクターの種類を判断する OCR部を備え、

前記記憶部は、前記 OCR部で特定のキャラクターを含むと判断された前記単位画像を複数記憶し、

前記制御部は、前記特定のキャラクターを含むと判断された前記単位画像を複数まとめて前記第 1の表示領域及び前記第 2の表示領域に表示する請求項 4に記載のシステム。

[15] 前記キャラクタ一は記録媒体上の手書きキャラクターである請求項 14に記載のシステム。

[16] ユーザーの操作により、前記単位画像に含まれる前記キャラクターの種類を変更する編集部を備える請求項 14に記載のシステム。

[17] 第 1の表示領域及び第 2の表示領域を備えるシステムに複数の単位画像を順次表示する方法において、

前記複数の単位画像を前記システムの第 1の表示領域及び第 2の表示領域に、それぞれ表示形式を異ならせて表示するステップを含む方法。

[18] 前記単位画像は、キャラクター画像を含み、

前記キャラクター画像を含む前記単位画像のデータを記憶するステップと、前記単位画像のデータに基づいて、前記第 1の表示領域及び前記第 2の表示領域に前記単位画像を表示するステップと、を有する請求項 17に記載の方法。

[19] キャラクターを光学的に読み取ってキャラクター画像を得るステップと、

前記キャラクター画像に基づ、て、前記単位画像が含むキャラクターの種類を判断するステップと、

前記特定のキャラクターを含むと判断された複数の前記単位画像を前記第 1の表示領域及び前記第 2の表示領域に表示するステップと

を有する請求項 17に記載の方法。

[20] 第 1の表示領域及び第 2の表示領域を備えるコンピュータ 'システムに複数の単位画像を順次表示させるコンピュータ ·プログラムであって、

前記コンピュータ 'システムに、前記複数の単位画像を前記コンピュータの第 1の表示領域及び第 2の表示領域にそれぞれ表示形式を異ならせて表示させるステップを実行させるコンピュータ 'プログラム。