JP4019063B2 - 光学端末装置、画像処理方法およびシステム - Google Patents

Description

本発明はイメージスキャナ等の画像入力手段を持つ端末および携帯端末、またこれを用いた光学的文字認識装置およびそのシステムに関するものである。
より具体的には、書類上の任意の領域の文字またはコードを端末あるいは携帯端末によって光学的イメージとしてぶれなく確実に取込みを行い、その取込んだイメージに対して文字認識を行ってコンピュータのアプリケーションソフトに文字コードデータとしてデータ入力する、あるいは遠隔地にある装置で文字認識を行ってデータを装置の所望の制御部に入力する、またそのデータを利用することを可能とした光学的文字認識装置および画像処理方法およびシステムに関する。

従来のパーソナルコンピュータとフラット・ベッドあるいはシート・フィード・スキャナ（以下スキャナと称す）とを用いた印刷書類（以下、単に書類と称す）の文字認識装置では、印刷文字の認識作業において以下のような操作を必要とする。
（操作１）・・・書類スキャン 先ず、スキャナへ書類をセットし、書類全体をスキャンする。
（操作２）・・・文字認識スキャナから送られてきた書類全体のイメージは、パーソナルコンピュータのディスプレイ上に展開され、文字認識ソフトで表示される。文字認識ソフト上で“文字認識させたい範囲”（以下、“意図する領域”と称す）をマウスで指定してから、文字認識ソフトを操作して、“意図する領域”のイメージデータをテキストデータ（文字コードデータ）に変換し、再度ディスプレイ上に表示する。
（操作３）・・・修正 文字認識ソフトの認識結果は、文字認識ソフトに表示された書類のイメージと認識結果であるテキストデータとを突き合わせて、キーボードを用いて修正をする。
（操作４）・・・アプリケーションへのコピーまたはペーストを行い、次に、この修正されたテキストデータを、マウスを用いてコピーし、ワープロや表計算機能をもつアプリケーションソフトにペーストする。
（反復操作）・・・認識させたい書類が複数ある場合は、前記操作１から操作４を繰り返す。書類内に“意図する領域”が複数箇所ある場合は、操作２から操作４までを繰り返す。

フラット・ベッドあるいはシート・フィード・スキャナではガイドレールがありスキャン時のぶれが原因でイメージ画像に歪が生ずるといった不具合が発生しないような対策が取られている。

フラット・ベッドあるいはシート・フィード・スキャナ以外には、必要な部分のイメージだけを取込み文字認識するハンディタイプのスキャナがある。このようなハンディスキャナではスキャン部の受光部面積が文字認識を実施したい領域の大きさとが異なるため、一度に全部をスキャンできない場合が多く、スキャナ自体を横方向の決められた方向に数回動かして“意図する領域゛全体の取込みを行う必要がある。さらに、アジア言語にみられる縦書き文字の場合は、縦方向スキャンを行うために、ユーザは走行方向に制限のあるハンディスキャナ自体を持ち替える必要があった。また、ハンディスキャナには、手ぶれによりイメージに歪が生じ、イメージがうまく修得されず文字認識率が低下するという問題点があった。

特許文献１には書類上の“意図する領域”をイメージスキャナでスキャンすることにより得られたイメージデータを、パーソナルコンピュータ内の文字認識ソフトによりテキストデータに変換し、アプリケーションソフトに直接入力すること、また、“意図する領域”の入力開始位置の指定と確認はイメージスキャナの手元のＬＣＤにより行うことを可能にするハンディスキャナおよびこれを用いた光学的文字認識装置が開示されている。ここでは手ぶれ対策また画像をつなぐ手法については述べられていない。

また、蛇行防止のためにガイドローラを用いているハンディスキャナがある。このような機械的に対策したものでは手ぶれ対策は完全でなく問題が残ることに加え、ガイドローラの強度的な問題があり、また使用中に壊れるといった信頼性上の問題がある。

また特許文献２にはハンディタイプの文字認識装置が開示されているが、専用の紙を用いることで歪の補正を行い手ぶれを解決している。この場合、その特殊専用紙にプリントされたもののみが対象であり一般の印刷書類は取り扱えない。

また、特許文献３には、移動量を検出して図形の歪を修正する発光素子と受光素子の対を図形取得用のラインセンサーとは別に複数設け、回転角の補正を行う技術が開示されている。この場合には部品点数が多いので高価になるとともに、機械的に設置するので初期設定等の調整が必要となる。

また特許文献４には隣り合った画像をパターンマッチングする方法が開示されているが、左右に位置する画像に対するものである。このため７−２０ポイントの文字しかスキャンできず上下左右にまたがる大きな文字あるいはまとまった文章ブロックに対応するような大きなイメージは処理することができなかった。

国際公開ＷＯ００／２６８５１ 国際公開ＷＯ００／７３９８１ 特開平９−２８２０８４ ＵＳＰ６,５６３,９５１

ハンディスキャナの場合、一般書類上の“意図する領域”をスキャンする際に、いわゆる手ぶれが原因で取込んだイメージ画像の歪み文字認識がうまく行かないという問題が発生する。また、通常の書類に存在する文字のない白地部分を処理し完全なイメージ画像の取り込みをどのようして実現するかという問題がある。これらの問題に対して、特殊な専用紙を必要とせず、機械的強度、また構造に起因する信頼性上の問題がなく、また複数の部品を配置して使用する場合に必要となる調整作業を不要とし、手ぶれの問題を解決して完全なイメージ画像の取り込みを確実に実施する安価な光学端末装置を提供することを課題とする。

本発明では、所望の領域をスキャンする際のいわゆる手ぶれによる画像の歪みを解消し、白地の部分を含め書類のイメージデータを忠実に取込むことによって、文字認識を確実に実行できるようにするとともに、取込んだイメージデータに対する文字認識を端末あるいは携帯端末以外の装置において実行し、その認識結果を光学端末装置が接続されているパーソナルコンピュータあるいは遠隔地にある装置にインストールされているアプリケーションソフトの所望の部分にあるいは装置の所望の制御部に入力することを可能とした光学端末装置および画像処理方法およびシステムを提供することを目的とする。

そこで、上記課題を解決するため、本発明によるフリーハンド・スキャナは、書類上の文字情報の中から文字認識を行う領域を任意に指定できるように前記書類上を移動可能であり、書類上の文字情報を光学的にスキャニングし高速電子シャッタによって複数の静止イメージを連続して取込むイメージセンサと、スキャン中に取込んだ複数の静止イメージとその各々の位置座標を計算する画像処理回路と、前記イメージセンサによりスキャニングした静止イメージ情報を外部に出力する出力部と、外部に出力されたイメージ技術の文字認識結果を入力する入力部とを有し、画像処理部はスキャン中に取込んだ複数のイメージとその各々のイメージの中から選ばれた小イメージ（小静止画）から位置座標情報を計算しこの情報に基づいて全体のイメージ画像（大静止画）を再現することを特徴としている。

本発明の光学的文字認識装置およびシステムによれば、所望の領域をスキャンする際のいわゆる手ぶれによる画像の歪みを解消し、忠実にイメージデータを再現することによって、文字認識を確実に実行できるようにするとともに、取込んだイメージデータに対する文字認識を端末あるいは携帯端末以外の装置において実行し、その認識結果をパーソナルコンピュータあるいは遠隔地にある装置にインストールされているアプリケーションソフトの所望の部分にあるいは装置の所望の制御部に入力することができる。

本発明の利点を以下に列挙する。
１．本発明の手ぶれ防止機能を持つフリーハンド・スキャナによれば、ひとつのイメージセンサで位置座標処理用の小イメージ部を設定して位置座標検知可能な感度にて電子的にデータの処理を行い、また同時にイメージ画像の取得を行うので、特殊な専用紙を必要とせず、また機械的な強度また機械的な構造に起因する信頼性の問題がなく、あるいは配置に起因する調整作業を不要とし、書類上をスキャンする際のいわゆる手ぶれによる画像の歪みを解消し、歪のないイメージ画像の取り込みを確実に実施することができる安価な光学端末装置を提供できる。

２．本発明の手ぶれ防止機能を持つフリーハンド・スキャナによれば、スキャン画像は手ぶれが無く、かつ文字認識に適した解像度で取込まれた静止画で構成されており、また各静止画の位置アドレスは常に計算されているため、スキャンして取込まれた各静止画の高速つなぎ合わせが可能となり、容易に元のイメージデータが再現できる。また横方向スキャンに加えて、左右上下の全方位スキャンが可能である。従って使用者は手元で筆でなぞるのと同じように、上下左右にまた書類上で必要個所のみスキャンし、上下左右にまたがる大きな文字あるいはまとまった文章ブロックに対応するような大きなイメージ、また縦書き横書きの方向に関係なく容易かつ確実に必要なイメージを取り込みその文字認識を実行できる。特に、関心のある個所がとびとびの場合でも、目的の個所だけの文字認識が行える。

３．文字認識を行うソフトウェアをアプリケーションソフトウェアの背後で動作させることで、認識した文字の文字コードデータをこのアプリケーションソフトウェアに直接データ入力することができる。したがって、本発明を用いれば、書類を見ながらキーボード等で文字データの入力を行うのと同じ感覚で、書類内の所望の文字やコードを文字データ化することができるので、使用者の文字入力の作業を大幅に軽減することが可能となる。

４．取込んだイメージデータに対する文字認識を端末あるいは携帯端末以外の装置において実行し、その認識結果をパーソナルコンピュータあるいは遠隔地にある装置にインストールされているアプリケーションソフトの所望の部分にあるいは装置の所望の制御部に入力することを可能とした光学的文字認識装置およびシステムが提供できる。

以下、添付図面を参照しながら、本発明の実施形態について説明する。図１は、本発明による光学的文字認識装置の実施の画像処理の流れ図である。図２は、光学的文字認識装置のシステム構成図である。図３は、イメージセンサ部の撮影方法を説明するための図である。図４は、イメージセンサ部の撮影タイミング図である。図５は、本イメージセンサを用いたマウススキャナのシステム構成図である。図６は、マウススキャナの構造図である。図７は、マウススキャナを組み込んだ携帯電話の構造図である。図８は、スキャナカメラ付携帯電話が役立つ各種インターネットサービスを説明するための図である。

なお、本実施の形態の説明中の用語「書類」は、本、雑誌、新聞またはパンフレット、名刺等の文字や文章が記述された印刷原稿を意味する。また、用語「文字認識」は、「かな」、「片仮名」、「漢字」、「英数字」等の一般的な文字の認識を意味するだけではなく、例えばバーコード等のような符号であっても、コンピュータで認識してキャラクタデータに変換可能なイメージデータであれば範疇に含むものとする。

（１）本発明の実施の形態である画像処理フロー
図１を参照しながら、本発明の実施の形態であるフリーハンド・スキャナによるスキャニングの際のイメージデータ処理を説明する。まず、本フリーハンド・スキャナによって、書類上の情報のスキャンを開始する（Ｓ１０１）。２次元のイメージセンサと高速電子シャッタによって複数の静止イメージがメモリに取得され（Ｓ１０３）、また取込んだ複数のイメージに対して２次元のイメージセンサのキャプチャー領域のうちあらかじめ決められた２ヶ所の位置座標計算用の小領域のイメージデータがメモリに取込まれ画像処理手段に送られる。

画像処理手段では位置座標計算用の小領域のイメージデータを基に各々のイメージの位置座標が計算処理され、各イメージは一時保存される（Ｓ１０５）。各イメージは、一定量貯まると、位置座標データとともに、スキャンが終了するまで出力部からパーソナルコンピュータへ送信される（Ｓ１０７〜１０９）。各静止イメージデータは、その位置座標データに基づいて、画像の相対的な位置決め並びに画像の回転の補正を行い、且つ重なり合っている部分を除きながらつなぎ合わせて全体のイメージデータが形成される（Ｓ１１１）。このように座標データを用いることによって上下左右の関係が保たれた元のイメージを忠実に再現することができ、いわゆる手ぶれが防止でき完全なイメージデータが取得できる。

その後、画像のみ利用の場合は、ユーザ利用の任意のアプリケーション上のカーソル位置へ選択した画像データを自動的に（または直接）入力し（Ｓ１１９）、作業終了となる（Ｓ１２１）。

文字を利用する場合は、認識ソフトによる全体静止画像データの文字データへの自動変換を行い（Ｓ１１３）、認識した文字データを一時的に保管する（Ｓ１１５）。つづいて、認識結果（文字情報）の手元表示と関心のある文字の選択確定を行い（Ｓ１１７）、ユーザ利用の任意のアプリケーション上のカーソル位置へ選択した文字データを自動的に（または直接）入力し（Ｓ１１９）、作業終了となる（Ｓ１２１）。

（２）本発明の実施の形態であるフリーハンド・スキャナのハードウェア構成
図２を参照しながら、本発明の実施の形態であるフリーハンド・スキャナ（イメージスキャナ）２００のハードウェア構成を説明する。
イメージスキャナ２００は、書類上の文字情報を光学的にスキャニングして静止イメージ情報として取り込むためのストロボ発光用ＬＥＤ２０２、位置座標計算用の小領域を取り込む際に紙面に平行な光を照射する発光用ＬＥＤ２０１、およびイメージセンサ２０３、ストロボライト発生器２０５、Ａ／Ｄコンバータ２０７、ＵＳＢコントローラ２０９、画像位置計算部２１１、LCD表示部２１３、ＵＳＢインタフェース２１５、メモリ（デジタル画像データ記憶部）２１７とを具備している。

ＵＳＢインタフェース２１５は、イメージセンサ２０３によりスキャニングしたイメージ情報をパーソナルコンピュータ２２０に出力する出力部と、この出力部によりパーソナルコンピュータ２２０に出力されたイメージ情報の文字認識結果をパーソナルコンピュータ２２０から再入力する入力部とを有している。
LCD表示部２１３は該入力部で入力した文字認識結果を表示し、イメージスキャナ２００はLCD表示部２１３で表示した文字認識結果の確定の有無を行う操作部（図示せず）を有する。

イメージスキャナ２００は、書類上の文字情報の中から文字認識を行う領域を任意に指定できるように書類上を移動可能である。また、指定した領域の文字認識結果をLCD表示部に表示することによりスキャニングした書類上の文字情報の変換結果を手元で確認できるとともに、図示しない操作部により、変換結果の確定が行われるとその旨をパーソナルコンピュータ（パソコン２２０）に通知する。
パーソナルコンピュータ２２０は、少なくとも１つのアプリケーションソフトウェア２２３と、イメージスキャナ２００の出力部より出力されたイメージ情報の文字認識を行う文字認識ソフトウェア２３１とが搭載されている。そして、イメージセンサ２００によりスキャニングしたイメージ情報が入力されると、文字認識ソフトウェア２３１によって実行された文字認識結果をイメージスキャナ２００に送信する。
イメージスキャナ２００より変換結果の確定の通知を入力すると、アプリケーション・ソフトウェア上のポインティングデバイスのカーソルで指定された位置に確定された文字データが入力される。

（３）本発明の実施の形態であるデータ入力方法
本発明によるデータ入力方法、すなわちパーソナルコンピュータで動作するワープロソフトや表計算ソフトまたはデータベースソフト等のアプリケーションソフトにおけるデータ入力方法の処理シーケンスを以下に説明する。

書類上の文字情報の中から文字認識を行う領域を任意に指定できるように書類上を移動可能なイメージスキャナ２００によりスキャニングすると、スキャニングしたイメージデータがパーソナルコンピュータ２２０に送信される。
パーソナルコンピュータ２２０がこのイメージデータを受信すると、データ入力を行うアプリケーションソフト２２３の背後で動作している文字認識ソフト２３１により、イメージデータの文字認識を行って該当する文字コードデータをイメージスキャナ２００に送信する。イメージスキャナ２００が文字コードデータを受信すると、この文字をＬＣＤ表示部２１３に表示し、この表示された文字コードデータの確定操作が行われると、パーソナルコンピュータ２２０に文字コードデータの確定を通知する。
パーソナルコンピュータ２２０が文字コードデータの確定の通知を受信すると、アプリケーションソフト２２３にこの文字コードデータが入力される。

（４）本発明の実施の形態の撮影方法
図３を参照しながら、本発明の実施の形態である図２のイメージスキャナ２００のイメージセンサ部２０３の撮影方法について説明する。ここでは、このイメージセンサ２０３は、毎秒３０フレームの撮影が可能で、ランダムアクセス可能な画素数が３0万画素（570x570画素）のCMOSイメージセンサとして説明するが、これに限られるものではない。 このイメージセンサ２０３の撮影フレームサイズは１０mm×１０mmとし、このサイズを大静止画として処理する。また、このフレーム（大静止画）内の小静止画のサイズを２mm×２mmとする。

大静止画の位置座標を決定するための小静止画は、たとえば、図３に示すように、大静止画の対角の位置の２か所が選ばれる。すなわち大静止画（３０万画素（570×570画素））内の対角線上の左下のA部分近傍の位置に矩形領域部分2mm角（（2×57）×（2×57）画素）と、またスキャン作業中に起きる回転角度を算出するため、その対角にあたる右上のB部分近傍の位置に矩形領域部分2mm角（（2×57）×（2×57）画素）が選ばれる。
フレーム撮影前後で、各小静止画の総画素数の50％から30%以上の重なり合いが必要である。一例として、この１０ｍｍ角のフレームの９０％重なるように、１フレーム毎のスキャナ移動距離を１ｍｍとした場合、毎秒３０フレームの撮影が可能なこのCMOSイメージセンサ２０３を用いたスキャナのスキャン速度は毎秒３３ｍｍとなる。

（５）本発明の実施の形態であるタイミングチャート
図４は、本発明の実施の形態であるイメージセンサ２０３の撮影タイミングを模式的に表したものである。スキャナ回路は図２に、全体システムの画像処理の流れは図１に示したものを使用する。図２に示すにイメージスキャナ２００のLED２０１は位置確認用であり、ＬＥＤ２０２は文字認識用である。ＬＥＤ２０１は撮影対象の書類紙面に限りなく平行な光を照射し、ＬＥＤ２０２は撮影対象の書類紙面にほぼ垂直な光を照射する。

撮影フレームの位置決めは本スキャナの基本機能であるが、位置決めに最適な露光方法、解像度が文字認識の場合と異なるため、図４に示すように本システムでは、位置計算用フレーム撮影を文字認識用フレームの前に行い、両方を一対として、連続撮影を行う。
図４のフレーム１では、ＬＥＤ ２０１により位置計算用静止画の撮影を行ない、位置の計算は次ぎのフレーム２の撮影期間に行なう。 なお、フレーム２ではＬＥＤ２０２により露光を行い、文字やコード認識用静止画を撮影する。
位置計算用フレームの撮影に際しては、ＬＥＤ２０１により撮影対象の書類紙面に限りなく平行に、光を照射すると、紙面の凹凸などによる陰影が現れ、紙面に文字などの印刷模様がない白下地の場合でも、撮影フレームの位置決めが可能となる。

（６）具体的実施例の説明
（６−１）実施例１
まず、文字やコード認識を実施する場合について説明する。
文字やコード認識のためのフレーム撮影は、位置決めの場合と異なり、図３のＬＥＤ２０２により、読取対象の書類紙面に略垂直な光を照射して文字やコードを撮影する。
撮影時間中に対象とする画像（文字やコード）の解像度以上に、画像が動くと正確な静止画が得られない。手ぶれの無い静止画撮影のためには、スキャン速度と解像度の関係から、フレーム撮影（露光）に許される時間が決まる。一例として、高解像度を必要とする、かな漢字認識に必要な解像度は１mm当り１６画素ということが経験的に知られており、この場合撮影中に許される移動量を１ドット（0.0625mm）の１０％（０.1ドット）とすると、許される露光時間は、0.0625mm×０．１÷スキャン速度（ｍｍ/sec）となる。 スキャン速度が毎秒１００mmの場合、許容露光時間は６２．５マイクロ秒となる。

スキャン速度は、撮影フレーム（大静止画）速度およびフレーム間の重なり具合に大きく依存する。ここで、スキャン速度；Ｓ (mm／sec)、撮影フレーム数；Ｆ（枚／sec）、撮影フレーム間の重なり度；Ａ（％）、撮影フレームの寸法；Ｂ（mm／枚）、撮影フレーム間のズレ；Ｃ（mm／枚）とすると、Ｃ＝Ｂ×（１−Ａ）であり、図４の場合、文字認識用フレームの数は半減するので、スキャン速度Ｓ＝Ｃ×Ｆ×０．５となる。

認識に必要な解像度は、文字やコードの種類により異なるため、スキャン速度に影響する解像度は可変であることが望ましい。かな漢字の認識に必要な解像度は、１mm当り１６画素であり、英数字の認識に必要な解像度は、１mm当り８画素である。１例として、市販の３０万画素ＣＭＯＳセンサを使用する場合、撮影面積を１０ｍｍ角とすると、このセンサの解像度は１mm当り５７画素となるので、文字の読み取りには、ＷＯＩ技術を用いて、読込む画素を間引き、対象とする文字やコード認識に適した解像度に変えることが望ましい。かな漢字の場合、認識に必要とする解像度はこのセンサの解像度の約３分の１であるので、このセンサの画素数を３分の１に減らすと、毎秒３０フレームの撮影速度は、３倍の毎秒９０フレームになる。この結果、撮影フレーム間の重なりを９０％とした場合の最大スキャン速度は毎秒１５ｍｍから４５ｍｍと高速化できる。

また、英数字の認識に必要とする解像度は、さらにこのセンサの画素数の約６分の１以下となるので、フレームレートは毎秒150フレーム（撮影間隔6.7msec）となり、撮影フレーム（静止画）間の重なりを９０％とした場合の最大スキャン速度は毎秒７５ｍｍとさらに高速化ができる。

位置座標を検出するための紙面の撮影に対するセンサの解像度は書類の紙質に依存するので紙質にあった解像度で行うとよい。すなわち上述した文字認識に必要なセンサの解像度とは違った解像度で行う。また、紙面に限りなく平行に光を照射すると、紙面の凹凸は比較的解像度が低くても認識できるので画像の取込みを高速にできる位置座標の計算も短時間にできる。このような状況に対応するため解像度の設定を変えることができるようにしている。

次に文字認識の際の動作手順を図５を用いて説明する。
スキャン・ボタンを押し、スキャンを開始する。
1-1. まずＬＥＤ光源２０１のパルス発光により、フレーム１データ全体（大静止画）が撮影されCMOSイメージセンサー２０３の各画素に電荷が蓄積される。電荷蓄積に要する時間は対象画面の明度にもよるが約６０usecである。

1-2. 次に撮影された大静止画の各画素信号は、A/D変換器２０７によりデジタルデータに変換される。文字認識の場合、最低２値データでもよいが、良好なパターン認識率を得るには多値化するほうが良い。次に２か所の小静止画が撮影されその画像データについてアドレスがスキャンされ、画素データはＤＳＰ（Digital Signal Processor）メモリ２１１ｂへ転送される。ＤＳＰメモリ２１１ｂの読み取り速度を60nsecとするとデータ取込みは0.3ｍsec（＝60ns×8bit×36×36画素×0.5）で完了する。尚、ここではＤＳＰを用いて説明するが、ロジック回路を用いて実行しても良い。

1-3. ＤＳＰメモリ２１１ｂへ転送された小静止画データはＤＳＰ２１１によって処理され、大静止画の重心座標値への換算に用いられる。この座標値計算はフレーム撮影後、次のフレーム撮影までの間（３３ｍｓ）に行われる。座標値（回転角度）の計算は、前後のフレームの小静止画のパターン照合により行われる。パターン照合は、相関係数を求めると計算時間がかかるので、画素数が少ない場合は短い計算時間ですむ残差法（着目画素とそれを取囲む画素のパターンの差を求める）により行う。

1-4. ＤＳＰ２１１により計算された大静止画の重心座標位置（含回転角度）と、大静止画の画素データは、メモリ２１７に一旦格納される。この後引き続き次のフレーム撮影が行われる。
1-5. その後、大静止画データが一定量まとまれば、USB（Universal Serial Bus）を用いてＰＣ２２０へ連続的して転送される。その際、各静止画には位置座標（重心位置座標値、回転角度）データが添付される。
1-6. 上記処理が繰り返された後、スキャン・ボタンを離すことにより、スキャンは終了する。

また、スキャン中には撮影される画像を表示部にリアルタイムに表示しどのような画像が撮影されているかを、あるいは現在のスキャン位置の確認をするようにすることもできる。
以上の動作後に、ＰＣ２２０における処理が開始される。

2-1. 図４において、位置計算は、フレーム１、フレーム３、‥‥と奇数フレームで行い、文字認識は、フレーム２、フレーム４、‥‥と偶数数フレームで行う。文字認識フレーム２、‥‥の重心位置座標は、前後の位置フレーム、例えば、フレーム１及びフレーム３の重心位置座標の平均値とすればよい。またフレーム１及びフレーム３の相対的移動量は対応する小静止画の重なり具合をパターン認識によって照合し求める。画像データ合成部２２７は、スキャナ２００から転送された各静止画をその位置座標情報に基づいて、画像の相対的な位置決め並びに画像の回転を補正し、且つ重なり合っている部分を除きながらつなぎ合わせ、メモリ（図示せず）内に記録する。これによって上下左右の関係が保たれた元のイメージを忠実に再現することができる。但し、スキャナ２００側にメモリおよびＤＳＰに計算余力がある場合、静止画のつなぎ合わせ作業はスキャナ２００側で行う。
2-2. その後、ＢＭＰデータ変換部２２９がPC用画像フォーマット（BMP）への変換を行う。
以上の処理の後に、文字認識処理２３１が実施される。文字認識ソフトは、ユーザが利用するPC用アプリケーションの背後で動作する形に作られている。

3-1. 繋ぎ合わせが完了した静止画は、文字認識ソフト（文字／コード認識部２３１）に転送される。
3-2. 文字／コード認識部２３１での文字認識結果は、ＰＣ２００内のテキストファイル記憶部２３３に送られ一時保管される。一時保管メモリ２３３に入った文字認識結果はテキスト入出力取得部２２５及びＵＳＢインタフェース２２１を介してスキャナ２００に転送される。その後、当該文字認識結果がスキャナ２００側のＬＣＤ表示部２１３に表示され、ユーザはスキャナの手元で希望するものかどうかの確認と選択が行える。
3-3. ユーザの希望する文字認識結果は、スキャナ２００より確定指示することにより、アプリケーションのカーソル位置に直接自動入力される。

（６−１−１）光学的文字認識装置について
図５を参照しながら、本発明によるイメージスキャナおよびこれを用いた光学的文字認識装置を詳細に説明する。
図５には、本発明によるイメージスキャナをパーソナルコンピュータに対してポインティングデバイスとしての機能を持つマウススキャナとしたときの光学的文字認識装置の実施の形態を示すシステム構成図が示されている。図５において、パーソナルコンピュータ１０は、高速双方向通信バスであるユニバーサルシリアルバス（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ，以下ＵＳＢと称す）に対応した、例えばマイクロソフトのオペレーションシステムであるＷｉｎｄｏｗｓ（登録商標）ＸＰ等が動作する一般的なコンピュータである。

パーソナルコンピュータ１０は、ワープロソフト、表計算ソフトまたはデータベースソフト等のアプリケーションソフトが動作するとともに、文字認識ソフトがアプリケーションソフトの背後（バックグラウンド）で動作する。
すなわち、本実施の形態において、パーソナルコンピュータ１０で文字認識ソフトが動作している状態でも、使用者にはアプリケーションソフトしか動作していないように見え、文字認識ソフトで認識された文字コードデータは恰もキーボードから入力されたのと同様にアプリケーションソフトに入力される。

図５には示していないが、パーソナルコンピュータ１０は、本体にＣＲＴディスプレイまたはＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等の表示部およびキーボードが接続されている。さらに、パーソナルコンピュータ１０の本体にはＵＳＢのコネクタが搭載され、ＵＳＢケーブル５０を介してマウススキャナ２０に接続されている。このように、パーソナルコンピュータ１０とマウススキャナ２０とをＵＳＢにより接続することで、この間での高速双方向通信が可能になるとともに、マウススキャナ２０に対してパーソナルコンピュータ１０より電源を供給することが可能となる。

マウススキャナ２０は、パーソナルコンピュータ１０のポインティングデバイスとして機能するマウスと、書類を光学的にスキャンしてそのイメージデータを出力するスキャナとが一体化された装置である。マウススキャナ２０は、底面に書類を光学的にスキャンするイメージセンサ回路２２を備えており、書類上の所望の位置に移動することが可能である。したがって、マウススキャナ２０を文字認識を行いたい書類上の“意図する領域”に移動することで、必要な個所の文字等をスキャニングすることができる。

ＵＳＢインタフェース回路２４は、マウススキャナ２０がスキャニングした書類上の“意図する領域”のイメージデータを、ＵＳＢケーブル５０を介してパーソナルコンピュータ１０に送信する。
パーソナルコンピュータ１０のＵＳＢドライバ１２は、イメージデータを受信すると文字認識ソフトで文字認識を行い、その文字認識結果である文字コードをＵＳＢケーブル５０を介してマウススキャナ２０に送信する。
マウススキャナ２０のＵＳＢインタフェース回路２４は、文字コードを受信すると、該当する文字をＬＣＤ表示部２６に表示する。

このように、スキャニングした領域の文字認識結果はＬＣＤ表示部２６にほぼリアルタイムで表示されるので、認識結果の良否をスキャニングと同時に確認することが可能となる。したがって、文字認識を行う“意図する領域”の位置決め（開始箇所や終了箇所）を含め、スキャニング時点で“意図する領域”の位置の変更やイメージデータを取り込む際の設定（２値化のしきい値等）の変更を行うことができる。

すなわち、本実施の形態ではパーソナルコンピュータ１０の性能向上による文字認識の高速化とＵＳＢのデータ転送速度の高速性を利用して、“意図する領域”を指定する際、表示された認識文字は、スキャナ２０を僅かに動かして文字認識の開始箇所と終了箇所の位置決め等をＬＣＤ表示部２６で確認できるので、“意図する領域”が取込めていなければこの時点でやり直すことが可能である。
また、パーソナルコンピュータ１０が、音声合成を行うアプリケーションを搭載していれば、文字認識結果を音声出力することで使用者はＬＣＤ表示部２６を確認すること無く認識結果を知ることができる。

なお、“意図する領域”が取込めていることが確認でき、認識結果を確定する確定処理がマウススキャナ２０で行なわれると、パーソナルコンピュータ１０上で動作しているワープロソフトや表計算ソフト等のアプリケーションソフトのカーソルの位置に、この認識結果が直接入力される。
このとき、本実施の形態ではアプリケーションソフトウェア上に入力された誤認識箇所の修正をやりやすくするため、アプリケーションソフトウェアに送った文字認識結果の元のイメージデータをパーソナルコンピュータ１０上に表示する。
したがって、例えば認識結果の中に“誤認識箇所”があっても、このイメージデータを参照しながらアプリケーションソフト上でキーボード等により容易にその箇所の修正を行うことが可能である。

図５において、マウススキャナ２０は、マウスおよびイメージセンサ回路２２、ＵＳＢインタフェース回路２４、ＬＣＤ表示部２６、および画像位置計算回路２８により構成されている。なお、本実施の形態において、マウススキャナ２０はスキャニングしたイメージデータを蓄積することも出来るが、通常はＰＣ１０と接続してスキャニングしたイメージデータを蓄積することもなく、リアルタイムでパーソナルコンピュータ１０にポインティング情報を高速出力している。
マウスおよびイメージセンサ回路２２は、パーソナルコンピュータ１０のポインティングデバイスとして機能するマウスと、書類の画像をイメージデータとして認識するイメージセンサとを含んだ回路である。マウスおよびイメージセンサ回路２２はまた、スキャナの位置信号をマウスの位置信号として利用する位置センサ回路を備えている。さらにマウスおよびイメージセンサ回路２２はＵＳＢインタフェース回路２４と制御信号（Ｃｏｎｔｒｏｌ）の送受信を行う。

ＵＳＢインタフェース回路２４は、マウスおよびイメージセンサ回路２２およびＬＣＤ表示部２６と画像位置計算回路２８とのインタフェースをとる回路である。すなわち、画像位置検出計算回路２８により検出した位置情報をマウス信号としてリアルタイムにＵＳＢインタフェース回路２４に通知するとともに、スキャニングの開始、終了、確定等の命令を受けると、マウスおよびイメージセンサ回路２２にこれを通知する。
また、ＵＳＢインタフェース回路２４は、ＵＳＢマイクロコントローラ２８を介して、ＬＣＤ表示部２６に文字表示を行う制御データを受信すると、ＬＣＤ表示部２６にこの制御データ（ＦＦＣ）を出力する。この制御データによりＬＣＤ表示部２６には該当する文字が表示される。

ＵＳＢインターフェース回路２４は、マウススキャナ２０の全体を制御する制御部とＵＳＢによりデータの送受信を行うためのＵＳＢコントローラとを備えた制御回路である。ＵＳＢマイクロコントローラは、ＵＳＢケーブル５０を介してパーソナルコンピュータ１０のＵＳＢドライバ１２に接続され、イメージセンサにより取り込んだイメージデータをパーソナルコンピュータ１０に送信する。
また、ＵＳＢマイクロコントローラは、パーソナルコンピュータ１０より文字コードデータを受信すると、ＬＣＤ表示部２６の文字表示を行うための制御データをＵＳＢインタフェース回路２４に出力する。

マウスおよびイメージセンサ回路２２内のイメージセンサにより位置座標用として取り込まれたフレームイメージの小静止画の部分が画像位置計算回路２８に送られ、その各々のイメージデータの位置座標が計算される。
その後、マウスおよびイメージセンサ回路２２で取込んだ複数の文字認識用イメージとその各々の位置座標は、ＵＳＢインタフェース回路２４により、ＰＣ１０に送信され、ＰＣ１０内の画像合成部１４０で、その位置座標をもとに撮影された複数のイメージは高速補正され、全体のイメージデータが形成される。この結果、従来問題であったハンディスキャナの蛇行や手ぶれなどが原因で文字が正しく認識されないという問題が解決される。

パーソナルコンピュータ１０は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）レベルで制御されるカーネル層（Ｋｅｒｎｅｌ Ｌａｙｅｒ）のＵＳＢドライバ１２と、アプリケーションレベルで制御されるユーザ層（Ｕｓｅｒ Ｌａｙｅｒ）のユーザインタフェースとにより構成されている。
画像合成部１４０は、ＵＳＢドライバ１２を介してマウススキャナ２０より受信したイメージデータを取り込む。ＢＭＰフォーマット変換部１４２は、このデータをリアルタイムで例えばビットマップ（ＢＭＰ）フォーマットの画像データに変換する。

文字認識処理部１４４は、当該画像データに対して日本語文字認識処理を行う。
テキストファイル記録部１４６は、この文字コードデータをファイルに一時保存する。テキスト入出力部１４８は、当該一時保存された文字コードデータをほぼリアルタイムでＬＣＤデータとして、ＵＳＢドライバ１２を介してマウススキャナ２０に送信する。
この結果、マウススキャナ２０でスキャニングしたイメージデータは、パーソナルコンピュータ１０によりリアルタイムで文字・コードデータに変換され、スキャニングした変換結果はスキャニングと同時にＬＣＤ表示部２６に表示される。

（６−１−２）マウススキャナの構造について
図６は、マウススキャナ２０の上面図および側面図である。図６に示すように、マウススキャナ２０は、内部にイメージセンサ、レンズ３０を備え、マウススキャナ２０の全体を制御する制御回路３６が配設されている。図６におけるイメージセンサ、レンズ３０は、図５おけるマウスおよびイメージセンサ回路２２に、図６における制御回路３６は、図５におけるインタフェース回路２４およびＵＳＢマイクロコントローラ２８にそれぞれ相当する。なお、図６のイメージセンサ、レンズ３０は、「光源」、「非球面レンズ」と「イメージセンサ」を一体化したイメージセンサ・モジュールである。

このモジュールは操作性を考慮して、スキャン個所が常に見やすいUSBケーブルの付け根に設置してある。マウススキャナ２０はまた、上面にＬＣＤ表示部２６が配置されるとともに、さらに２つ乃至３つのマウスボタン４４が上面に配設されている。
同図の左ボタンはスキャニングをスタートするスタートボタン４０として、右ボタンはＬＣＤ表示部２６に表示された文字を確定する確定ボタン４２として、それぞれ配設されている。
なお、特に記載はしなかったが、スキャニングの日本語／外国語／各種コードの選択、文字／画像入力の選択等の調整は、パーソナルコンピュータ１０で行うか、マウススキャナ２０にこれらの調整を行う操作ボタンを設けるか、または両方できるようにしてもよい。
小静止画並びに大静止画に対する解像度の設定についても、同様にマウスボタンによって、あるいはパーソナルコンピュータのいずれからもできるようにするとよい。

（６−２）実施例２
次に単に画像イメージをとる場合について説明する。大静止画の大きさは、10mm角であるので小静止画の大きさ（2mm角）は、大静止画の20%の大きさである。画像を照合するためには、小静止画は作業中常にその総画素数の50％から30%以上の重なり合いが必要となる。この小静止画（2mm角）の重なりをとるため、大静止画は例えば1mm間隔で撮影される。
スキャン速度を３０mm／秒とすると、静止画は１mm(３３msec)間隔で撮影され、各小静止画は２mm角であるので小静止画の一辺１１４画素（1mm当り５７画素）の半分は連続した次の静止画とは約５０％が常に重なり合う。またその重なり合い部分の総画素数は約6,500画素（114×114(画素)×0.5）となりこれが照合すべき画素サイズとなる。

画素数が多い場合、パターン照合に要する計算時間が長くなり、作業に悪影響を及ぼすことが予想されるので、画像を取る場合も、文字認識のレベルまで解像度は下げて利用する。動作手順としては、スキャン開始前に画像取り込みの設定を行うことにより、図１の画像利用のフローを実施する。イメージは、縦または横方向のいずれかの方向に決められて配置される文字の場合と異なり、左右上下にランダムにスキャンしてイメージを取り込むことになる。

（６−３）実施例３
実施例１〜２ではランダムアクセス可能なCMOSセンサを用いた場合を説明したが、ここではランダムアクセスが可能でないイメージセンサCCDを用いたイメージスキャナの実施例について説明する。
本実施例のイメージセンサは、一般に市販されているインターライン型全画素読出し方式CCDであり、メカニカルシャッタ無しに、電子シャッタによる一度の露光で全画素のデータを独立に読み出せる特長を有しているとする。

このCCDは正方画素（縦方向と横方向の画素ピッチ一致）で構成されており、縦と横の解像度が一致するため、画像処理演算を容易にする。
一例として、３３万画素（６５９×４９４）品では、単位画素寸法が水平・垂直ともに７．４０ミクロン、イメージ対角長６．０ｍｍ（１／３型）、読出し周波数２４．５４MHｚ（４１ns）、フレームレート毎秒６０．０である。
このセンサの撮影サイズは１０ｍｍ×１０ｍｍとし、このサイズを大静止画とし、小静止画のサイズは０．５ｍｍ×１０ｍｍとする。本センサのフレームレートは、毎秒６０フレームであるから、各フレームの全画素読み出しは、１６．６ｍｓとなる。

図３に示す光学系で、このセンサを用いて撮影された大静止画の位置関係を計算するための小静止画を求めるが、ランダムアクセス可能なCMOSで用いたWOIはCCDでは使えない。
このため位置座標を求めるための小静止画については連続したアドレスに対するものを使用する。一辺の領域すなわち最初のアドレス番地から順に読み出し例えば０．５mmに相当する領域まで読んでそのデータをメモリに転送し、それとは反対の一辺すなわち最終のアドレス番地から順に読み出し０．５mmに相当する領域まで読んでそのデータをメモリに転送し、これらのデータを使用して位置座標を計算する。
大静止画については全画素の読出しの際には、画素を飛ばしてメモリに収納する。本センサの解像度を５７画素／ｍｍ（＝６５９×４９４画素／ｍｍ２）として撮影範囲の全画素数の１/３（２２０×１６５画素）を読んで高速処理する。

次に文字認識の際の動作手順を説明する。
スキャン・ボタンを押し、スキャンを開始する。
1-1. まずLED光源２０２のパルス発光により、大静止画データ全体が撮影される。次に撮影された大静止画の各画素信号は、AD変換器２０７によりデジタルデータに変換される。
1-2. 次にLED光源２０１のパルス発光により、2か所の小静止画の画素データが読み込まれ、DSPメモリ２１１ｂへ転送される。前述のように最初のアドレス番地から順に読み出し例えば０．５mmに相当する領域まで読んでそのデータをメモリに転送し、その後、最終のアドレス番地から順に読み出し０．５mmに相当する領域まで読んでそのデータをDSPメモリ２１１bに転送される。
1-3. DSPメモリ２１１ｂへ転送されたデータはDSP２１１によって処理され、大静止画のA、B点の座標値換算に用いられ、各小静止画の重心位置座標値計算は文字認識用フレーム撮影期間中に行われる。
1-4. 次に大静止画のCCDアドレスがスキャンされて大静止画全体が読み込みこまれてデジタル画像メモリ２１７へ転送される。このとき、読み込みを実施するCCDアドレスは間引き、解像度を低くして読み込みが行なわれる。
1-5. その後、全体の大静止画データが一定量まとまれば、位置座標（重心位置座標値、回転角度）データの添付と共に、USBを用いてPC２２０へ連続的して転送される。
1-6. 上記処理が繰り返され、スキャン・ボタンを離すことによりスキャンは終了する。
以下、PC２２０での処理は実施例２の場合と同じであるので省略する。

小静止画の読み込み開始のCCDアドレスを最初と最後のアドレスとしたが、アドレス番地を指定しCCDの端部から距離のある途中の矩形部分を指定しても良い。また実施例１と同様に必要に応じてスキャンするアドレスを間引いて読み込みをする、すなわち解像度を低く設定してもよい。

（６−４）実施例４
図７は本発明の実施の形態である光学端末装置の構造図である。本実施例では、携帯電話の一部としてマウススキャナを組み込み、携帯パソコンのマウススキャナとして利用したり、また、携帯電話の処理能力に余裕がある場合には、携帯電話内で文字認識処理を行ったり、さらに、図８に示すように携帯電話の無線公衆回線を介してサーバと接続し、このサーバに光学端末装置にて取得したイメージデータを送信する携帯電話である。

図７は、マウススキャナ２０を組み込んだ携帯電話の上面図および側面図である。図７に示すように、マウススキャナ２０は、内部にイメージセンサ、レンズ３０を備え、マウススキャナ２０の全体を制御する制御回路３６が配設されている。図７におけるイメージセンサ、レンズ３０は、図５におけるマウスおよびイメージセンサ回路２２に、図６における制御回路３６は、図５におけるインタフェース回路２４および画像位置計算回路２８にそれぞれ相当する。

なお、図７のイメージセンサ、レンズ３０は、「光源」、「非球面レンズ」と「イメージセンサ」を一体化したイメージセンサ・モジュールである。このモジュールの取り付けは、意図する文字コードのスキャン個所が見やすい位置に設置してある。マウスボタンの取り付けも操作性を考慮した位置に取り付けてある。マウススキャナ２０はまた、携帯電話にＬＣＤ表示部２６が配置されるとともに、マウスボタン４４が配設されている。
なお、特に記載はしなかったが、スキャニングの日本語／外国語／各種コードの選択、文字／画像入力の選択等の調整は、パーソナルコンピュータ１０で行うか、マウススキャナ２０にこれらの調整を行う操作ボタンを設けるか、または両方できるようにしてもよい。

イメージセンサ・レンズ３０は、携帯電話のカメラと兼用することも可能であり、マウススキャナを組み込んだ携帯電話は、マウススキャナとして、USBコネクタ５０を携帯パソコンのUSBコネクタにつないで使うことができる。
さらに携帯パソコンが身近に無い場合は、取り込んだ画像情報を携帯電話の外部メモリに一時保管しておいたり、携帯電話の無線機能を用いて、取り込んだ画像情報をサーバに送り込むことができる。また携帯電話に使われているマイクロコンピュータの能力に余裕がある場合は、パーソナルコンピュータに送り込んで処理する文字認識ソフトウェアを携帯電話に取り込んで処理することも可能である。

（６−５）実施例５
図８は、本発明の実施の形態であるスキャナカメラ付携帯電話を活用することのできる各種インターネットサービスシステムの全体図である。
本実施例では、本発明の実施の形態である光学端末装置を携帯電話の一部として組み込み、携帯電話の一般公衆無線インターネット回線８００を介し、前記光学端末装置にて取得したイメージデータを携帯電話８０９ａ〜８０９ｃから各種サーバ８０１〜８０７に送る。サーバ８０１〜８０７に送られたイメージデータはサーバ内のソフトウェアにて処理される。

例えば、サーバ８０１は、旅行者向け外国語文書の国際翻訳サービスを提供するサーバである。日本に来た日本語文書が読めない外国人旅行者向けに旅行者の母国語への翻訳を行うサービスで、誰もが、いつでも、どこでも利用できる便利さが生まれる。
サーバ８０３は、カタログや新聞・雑誌に掲載された広告に記載のネットアドレスや商品コードを読み込み、通信販売・商品販売会社に直接アクセスするサービスを提供するサーバである。インフラとして普及した携帯電話が利用できる効果は大変大きい。
サーバ８０５で提供される自治体や国の各種サービスは、公報や諸通知など、さまざまな形で個人に通達されるが、電子政府・電子自治体サービスを受ける際には各サービスのアドレスを携帯電話に代表されるIT機器に入力しなければならない。このアドレス入力が容易になることは電子政府・電子自治体の利用効率に多大な効果がある。

サーバ８０７は、情報家電へのアクセスを容易化するサーバである。情報家電の進展と共に、外出先から携帯電話８０９ａ〜８０９ｃを用いてインターネットを経由し、情報家電に指示する機会が増大した。本発明によれば、携帯電話８０９ａ〜８０９ｃへの情報家電アドレス入力の労力を軽減することができる。一例として、テレビ番組のGコード入力の容易化が期待できる。
以上、本発明の実施形態について示したが、本発明は前述したものだけに限定されるものではなく、その範囲を逸脱しない限り、変更及び修正されたものにも適用できることは言う迄もない。

本発明による光学的文字認識装置の実施の画像処理の流れ図。 光学的文字認識装置のシステム構成図。 イメージセンサ部の撮影方法を説明するための図。 イメージセンサ部の撮影タイミング図。 本イメージセンサを用いたマウススキャナのシステム構成図。 マウススキャナの構造図。 マウススキャナを組み込んだ携帯電話の構造図。 スキャナカメラ付携帯電話が役立つ各種インターネットサービスを説明するための図。

符号の説明

１２ ＵＳＢドライバ
２２ マウス及びイメージセンサ回路
２４ ＵＳＢインターフェース回路
２６ ＬＣＤ表示部
２８ 画像位置計算回路
１４０ イメージ合成部
１４２ ＢＭＰフォーマット変換部
１４４ 文字認識処理部
１４６ テキストファイル保存部
１４８ テキスト入出力部

Claims (7)

1. 書類上の意図する領域をイメージの撮影時には書類の紙面に略垂直に上方から光を照射する第一の発光素子と、
   小イメージ領域の撮影時には書類の面とほぼ平行に光を照射する第二の発光素子と、
   前記第一の発光素子により光学的に移動スキャニングして複数の大イメージ情報を取り込む第一のエリアと、前記第二の発光素子により光学的に移動スキャニングして、前記複数の大イメージ情報に対してあらかじめ決められた少なくとも２ヶ所から選ばれた小イメージ情報を取り込む第二のエリアとを有するイメージセンサーとからなるイメージキャプチャー部と、
   前記イメージキャプチャー部の前記イメージセンサーの第二のエリアで取込んだ前記小イメージ情報の照合により相対的な位置座標を計算する画像処理部と、
   前記画像処理部で計算して得られた前記小イメージ領域の位置情報とそれに対応する前記大イメージ情報を外部に出力する出力部とを有することを特徴とする光学端末装置。
2. 位置座標を計算する前記小イメージ領域に対する解像度は前記大イメージ情報に対する解像度とは異ならせていることを特徴とする請求項１に記載の光学端末装置。
3. 前記光学端末装置はさらに表示部と外部のコンピュータから入力する入力部とを備えており、
   前記大イメージ情報は前記出力部より前記コンピュータに出力され、前記大イメージ情報が前記位置情報データに基づいて形成された全体のイメージデータから前記コンピュータにて文字認識を実施し、その結果を前記入力部から入力し前記表示部にて表示することを特徴とする請求項１乃至２のいずれかに記載の光学端末装置。
4. 前記表示部は、イメージのスキャン中に前記大イメージ情報を表示することを特徴とする請求項１乃至３のいずれかに記載の光学端末装置。
5. 前記光学端末装置は、高速双方向通信バス等の有線手段によって、あるいは、光又は電波等の無線手段によって前記コンピュータと接続されポインティングデバイスとして使用することを特徴とする請求項１乃至４のいずれかに記載の光学端末装置。
6. 前記光学端末装置が携帯電話の一部として組み込まれ携帯電話の無線公衆回線を介してサーバと接続され、前記光学端末装置にて取得した前記大イメージ情報並びに前記小イメージの位置情報を前記サーバに送信することを特徴とする請求項１乃至５のいずれかに記載の携帯電話。
7. 光学端末を用いて、書類上の意図する領域を移動スキャンし、取込んだイメージ情報を画像処理して合成する方法であって、
   書類上の意図する領域のイメージ撮影時には第一の発光素子により書類の紙面に略垂直に上方から光を照射するステップと、
   小イメージ領域の撮影時には第二の発光素子により書類の面とほぼ平行に光を照射するステップと、
   前記第一の発光素子により光学的に移動スキャニングしてイメージキャプチャー部のイメージセンサーの第一のエリアに複数の大イメージ情報を取り込み、前記第二の発光素子により光学的に移動スキャニングして前記複数の大イメージ情報に対してあらかじめ決められた少なくとも２ヶ所から選ばれた小イメージ情報を前記イメージセンサーの第二のエリアに取り込むステップと、
   前記キャプチャー部の前記イメージセンサーの第二のエリアで取り込んだ前記小イメージ情報の照合により相対的な位置座標を計算する画像処理ステップと、
   前記画像処理部で計算して得られた前記小イメージ領域の位置情報とそれに対応する前記大イメージ情報を外部に出力するステップとを有することを特徴とする光学端末装置の画像処理方法。

Images