JP3382071B2 - 文字コード取得装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、たとえばパーソナ
ルコンピュータなどに適用して好適な文字コード取得装
置に係り、特に表示画面上に表示された文字画像に対応
した文字コードを表示状況に応じた最適な方法により取
得する文字コード取得装置に関する。

【０００２】

【従来の技術】近年、コンピュータの普及は目覚ましい
ものがあり、これに伴って種々のデータ取得方法が利用
されている。そして、その中の一つに、表示画面上に表
示された文字画像（イメージ）からその文字コードを取
得する方法が存在する。

【０００３】従来、この文字画像からその文字コードを
取得する方法としては、次の２つの方法が採用されてき
た。一つは、文字画像をテキストリーダを用いて文字認
識することにより文字コードに変換する方法であり、も
う一つは、文字画像を表示しているアプリケーションプ
ログラム自身から直接文字コードを取得する方法であ
る。

【０００４】しかしながら、画面上に表示されている文
字画像からその文字コードを簡単に取得しようとする場
合、これらの方法には以下の欠点があった。まず前者の
方法では、テキストリーダで処理させる画像ファイルを
別途準備するために、画像切り取りを行なう別のソフト
ウエアを利用する必要があった。また、認識を実行する
ためには、テキストリーダを直接操作する必要があり、
複数のアプリケーションプログラムを組み合わせた煩雑
な操作が必要であった。また後者の方法では、内部に文
字コードを保持しているアプリケーションプログラムで
あって、かつこの文字コードの送受信をサポートしてい
るアプリケーションプログラムでなければ操作が行なえ
ない。したがって、たとえばイメージ表示用のツールな
どでは、このような機能を用いることはできなかった。

【０００５】このように、従来においては、画面上に表
示された文字画像の文字コードを簡単な操作を行なうの
みでテキストリーダによって認識させるようなシステム
は存在しなかった。また、アプリケーションプログラム
の種類に依存せずに統一的な操作で処理することのでき
る装置が存在しなかったため、アプリケーションプログ
ラムごとに操作方法を切替える必要があった。

【０００６】また、従来の文字コード取得装置では、検
索システムと連動したものは存在しなかった。このた
め、取得した文字コードに対して関連する情報を入手し
ようとした場合、検索を行なうための別のアプリケーシ
ョンプログラムを利用しなければならず、手軽に検索機
能を利用することができなかった。また、当然ながらこ
の検索結果を認識結果の向上に活用するなどといったシ
ステムは存在しなかった。

【０００７】また、近年の計算機の高速化とネットワー
クの大容量化により、大規模なネットワークに接続され
た豊富な計算機資源を活用した分散処理が今後発展して
いくと予想される。このような環境では、たとえば精度
の異なる画像データを並列に処理してもそれぞれにかか
る時間は従来通りであり、またそれぞれの認識処理をさ
らに並列処理アルゴリズムで処理することも可能であ
る。

【０００８】にもかかわらず、従来の文字認識では、あ
るデータを分割して同時に処理するような並列処理は考
えられているが、同一対象について異なる精度の画像デ
ータを並列に処理するということは考えられていなかっ
た。

【０００９】また、従来の文字コード取得装置には、複
数のアプリケーションプログラムとの通信機能をもつシ
ステムは存在しなかった。このため、たとえば文字認識
部を異なる計算機で動作させて，大量のイメージデータ
によるネットワークトラフィックを減少させるといっ
た、処理の分業を実現する仕組みをもつシステムは存在
しなかった。

【００１０】また、従来のテキストリーダでは、画面上
での処理指定方法において、読み取りエリアの指定をす
る際に、入力画像に対する画像処理や認識処理の結果得
られる単語の位置情報などを矩形表示して、これをポイ
ンティングデバイスなどで指示することによって確定す
る方法がすでに考えられている。

【００１１】しかしながら、この方法では、多数の行が
存在するときに、１つ１つ指示していかなければならな
いため、非常に不便であった。また、この方法は、指示
された部分を認識し、その認識結果やそれに関連する情
報を表示する機能しかもっていないために、応用範囲が
非常に狭いものであった。

【００１２】また、表示中のテキストの指示方法とし
て、複数のテキストを一度の操作で指示する指示方法が
知られている。この方法では、開始位置をまず指示し、
次に終了位置を指示する。そして、その間の文字を反転
表示して、現在どの文字が選択されようとしているのか
をオペレータに示し、マウスをクリックするなどの確定
処理により取り出すべきテキストの範囲を決定するもの
である。

【００１３】しかしながら、この方法は、文字列が順番
に整列している場合のみ可能な方法であり、一般の文書
画像から抽出すべき文字列を確定するには向いていない
ものであった。

【００１４】

【発明が解決しようとする課題】このように従来の方法
では、画面上に表示された文字画像を簡単な操作で認識
処理するようなシステムは存在しなかった。また、アプ
リケーションプログラムの種類に依存せずに統一的な操
作で処理することのできる装置は存在しなかった。

【００１５】本発明は、このような実情に鑑みなされた
ものであり、画像切り取り機能とＯＣＲ（Optical Char
acter Reader）機能とを一体化することにより、画面上
に表示された文字画像に対応した文字コードを簡単な操
作で取得することのできる文字コード取得装置を提供す
ることを目的とする。

【００１６】さらに、同装置において画面上の範囲指定
を行なう際に、アプリケーションプログラムと通信を行
ない、アプリケーションプログラムの種類に応じた適切
な処理を自動的に判断し実行することによって、操作の
統一性を図るとともに操作性の一層の向上をはかること
を目的とする。

【００１７】また、本発明は、範囲指定された文字画像
に対応した文字コードに関連する情報を検索することに
より、利用者の発想支援を実現する文字コード取得装置
を提供することを目的とする。

【００１８】またこの関連テキストに基づいて文字認識
結果の修正を行なうことで、より正確な文字認識結果を
得ることを可能とする文字コード取得装置を提供するこ
とを目的とする。さらに、検索する文書データベースに
利用者の有する文書を格納しておくことにより、利用者
の使用する語句の傾向に応じた認識結果を得ることを可
能とする文字コード取得装置を提供すること目的とす
る。

【００１９】また、従来の文字認識では、同一対象につ
いて異なる精度の画像データを処理するといったことは
考えられていなかった。

【００２０】本発明は、複数の精度の文字画像を分散環
境で並列処理することにより、ユーザは処理結果をより
速く得られ、かつ信頼性の高い処理結果を得ることので
きる文字コード取得装置を提供することを目的とする。

【００２１】また、本発明は、複数のアプリケーション
との通信により、たとえば文字認識部が異なる計算機で
動作していた場合に、大量の文字画像データをネットワ
ークにより通信することを極力さけることにより，文字
コード取得のための応答時間の大幅な短縮が図れる文字
コード取得装置を提供することを目的とする。

【００２２】

【課題を解決するための手段】本発明は、表示画面上の
任意の領域を範囲指定する範囲指定手段と、この範囲指
定された領域内で描画されている画像データをビデオメ
モリから切り取る画像切り取り手段と、この切り出され
た画像データに対し文字認識を行なう文字認識手段とを
具備していることを特徴とする。

【００２３】また、本発明は、前記範囲指定された領域
に対応したアプリケーションプログラムとの通信が可能
か否かを判定し、可能であるときに、前記アプリケーシ
ョンプログラムから文字コードの取得方法を得ることに
よりその取得方法を決定する取得方法決定手段をさらに
具備したことを特徴とする。

【００２４】また、本発明は、前記取得方法決定手段
が、前記アプリケーションプログラムとの通信が不可能
であるときに、前記画像切り取り手段および前記文字認
識手段により前記範囲指定された領域内の文字画像に対
応した文字コードを取得するようにその取得方法を決定
することを特徴とする。

【００２５】また、本発明は、前記取得方法決定手段
が、前記指定された領域への表示が前記アプリケーショ
ンプログラムの内部に保持された文字コードに基づいて
行なわれているときに、前記範囲指定された領域内の文
字画像に対応した文字コードを前記アプリケーションが
内部に保持する文字コードから取得する方法を取得方法
として決定することを特徴とする。

【００２６】また、本発明は、前記取得方法決定手段
は、前記指定された領域への表示が前記アプリケーショ
ンの内部に保持された高品質の画像データに基づいて行
なわれているときに、前記範囲指定された領域内の文字
画像に対応した文字コードを前記アプリケーションプロ
グラムが内部に保持する高品質の画像データから取得す
る方法を取得方法として決定することを特徴とする。

【００２７】また、本発明は、前記文字認識手段の認識
結果に基づいて情報検索を行なう情報検索手段と、この
検索結果を表示する検索結果表示手段とをさらに具備し
たことを特徴とする。

【００２８】また、本発明は、前記情報検索手段により
検索されたテキストに基づいて、前記文字認識手段の認
識結果に含まれる語の校正を行なう校正手段をさらに具
備したことを特徴とする。

【００２９】また、本発明は、前記文字認識手段が、前
記ビデオメモリから切り取られた画像データと、前記ア
プリケーションプログラムが内部に保持する高品質の画
像データとの双方に対し文字認識を行なうことを特徴と
する。

【００３０】また、本発明は、複数の計算機それぞれ
に、前記アプリケーションプログラムとの通信を行なう
通信手段を設け、この複数の計算機によって構成される
分散システム上で動作することを特徴とする。

【００３１】また、本発明は、前記範囲指定手段が、前
記表示画面上から読み取り対象となる文字領域を抽出し
て所定の形態で表示画面上に一覧表示する一覧表示手段
と、この一覧表示された文字領域の中から所望の文字領
域を指示することにより読み取り対象とする領域を確定
する確定手段とを具備したことを特徴とする。

【００３２】また、本発明は、前記範囲指定手段が、前
記表示画面上から読み取り対象となる文字領域を抽出し
て所定の形態で表示画面上に一覧表示する一覧表示手段
と、この一覧表示された文字領域に対し前記表示画面上
でその文字領域の取得開始位置と取得終了位置とを指示
する文字領域指示手段と、この指示された取得開始位置
および取得終了位置と前記抽出された文字領域それぞれ
の位置関係とに基づいて読み取り対象とする領域を確定
する確定手段とを具備することを特徴とする。

【００３３】本発明によれば、たとえばマウスなどのポ
インティングデバイスを用いて範囲指定をするといっ
た、範囲指定手段による表示画面上の任意の領域の範囲
選択が行なわれると、画像切り出し手段が、この範囲選
択された領域内で描画されている画像データ（ビットマ
ップデータ）をビデオメモリから切り取って、この切り
取られた画像データを文字認識手段が文字認識すること
により文字コードを取得する。

【００３４】これによりユーザは、いずれのアプリケー
ションプログラムが表示する文字画像であるのか、この
文字画像は文字コードに基づいて展開されているものな
のかどうか、などといったことを一切考慮する必要がな
く、かつ統一的な操作で表示画面上の所望の領域内の文
字画像に対応する文字コードを取得することができるこ
ととなる。

【００３５】また、本発明によれば、取得方法決定手段
が、この範囲指定された領域に対応するアプリケーショ
ンプログラム（表示出力する画像データが、その範囲選
択された領域で表示されているアプリケーションプログ
ラム）との通信が可能であるかどうかを判定し、その判
定結果にしたがって、その範囲指定された領域内の文字
画像に対応した文字コードの取得方法を決定する。

【００３６】すなわち、たとえばそのアプリケーション
プログラムとの通信が可能であった場合であって、その
アプリケーションプログラムが内部に保持した文字コー
ドに基づいて文字画像の表示を行なっている場合には、
その内部に保持した文字コードを利用することにより文
字画像に対応した文字コードの取得を行なう。また、そ
のアプリケーションプログラムが内部に保持した画像デ
ータ（イメージデータ）に基づいて文字画像の表示を行
なっている場合であっても、たとえばこのイメージデー
タが高品質である場合には、この高品質の画像データを
利用することにより文字画像に対応した文字コードの取
得を行なう。

【００３７】一方、アプリケーションプログラムとの通
信が不可能であった場合には、前述したように、ビデオ
メモリに保持された画像データを利用した文字コードの
取得を行なう。

【００３８】これにより、範囲指定された領域での表示
状況に応じて、最適な文字コード取得方法が自動的に決
定されることになり、かつユーザはこれらをまったく意
識することなく統一的な操作で信頼性の高い文字コード
を取得することができることとなる。

【００３９】また、本発明によれば、情報検索手段が、
この取得された文字コードに基づいて情報の検索を行な
い、検索結果表示手段がその検索結果を表示する。さら
に、構成手段は、この検索結果に基づいて、認識結果で
ある文字コードの構成を行なう。

【００４０】これより、たとえば誤認識を発生させやす
い文字や、認識候補を複数もつような形態の文字に対す
る修正作業などが、関連文書などに基づいて行なえるよ
うになるため、その効率を飛躍的に向上させることがで
きることとなり、また、以降の認識率を向上させるとい
ったことが可能となる。

【００４１】また、本発明によれば、たとえば通信可能
なアプリケーションプログラムが内部に高品質な画像デ
ータを保持しているような場合に、文字認識手段が、こ
の高品質の画像データと、ビデオメモリに保持された画
像データとの双方に対して文字認識を行なう。この作業
は、たとえば文字認識手段を複数設けて並列に行なうな
ど、いずれの手順を採用しても構わない。

【００４２】この複数の異なる精度の画像データを処理
することにより、たとえば、まずビデオメモリに保持さ
れた画像データの認識結果を確認させ、その状況によっ
て高品質な画像データの認識終了を待機するかどうかを
ユーザに決定させるなどといった、処理時間の短縮と認
識精度の向上とを両立させたシステムを構築することが
できることとなる。

【００４３】また、本発明によれば、複数の計算機によ
り構成される分散システム上で動作するために、たとえ
ば大量のイメージデータによるネットワークトラフィッ
クを減少させるといったことが実現される。

【００４４】また、本発明によれば、一覧表示手段が、
表示画面上から読み取り対象となる文字領域を抽出して
所定の形態で表示画面上に一覧表示する。また、文字領
域指示手段が、この表示画面上においてその文字領域の
取得開始位置と取得終了位置とを指示する。そして、確
定手段が、この指示された取得開始位置および取得終了
位置と、抽出された文字領域それぞれの位置関係とに基
づいて読み取り対象とする領域を確定する。

【００４５】これにより、ユーザは、一表示画面上に独
立して存在する複数の領域に表示された文字画像に対す
る文字コードを取得したい場合に、複数回の指示操作を
繰返す必要がなくなり、その操作性は飛躍的に向上す
る。

【００４６】

【発明の実施の形態】以下図面を参照して本発明の実施
形態を説明する。

【００４７】（第１実施形態）図１は本発明の第１実施
形態の文字コード取得装置の構成を示す機能ブロック図
である。

【００４８】図１に示すように、同実施形態の文字コー
ド取得装置は、制御部１、入力部２、範囲指定部３、画
像切り取り部４、文字認識部５、文字コード出力部６、
画面表示部７およびディスプレイ８から構成される。

【００４９】制御部１は、同装置内の各部の状態および
動作を管理し制御するところであり、入力部２から送ら
れてくるユーザの指示とその時点での同装置内の状態と
から各部の動作を制御する。入力部２は、ユーザによる
指示操作が入力される部分である。この入力デバイスと
して、同実施形態では、マウスおよびキーボードを用い
るが、これ以外にもタブレットやトラックボールなどと
いった他のポインティングデバイスを適用することも可
能である。

【００５０】また、範囲指定部３は、画面上に表示され
た画像内において、文字コードを取得したい所望の文字
画像領域の範囲をユーザが指定する範囲指定処理を行な
うところである。範囲指定部３は、制御部１から送られ
てくる範囲指定に関する指示にしたがって、指定範囲の
表示および指定範囲の確定処理を行なう。画像切り取り
部４は、範囲指定部３により指定された範囲部分の画像
データをビデオメモリから切り取ってくるところであ
る。

【００５１】また、文字認識部５は、画像切り取り部４
により切り出された画像データに対応する文字コードを
抽出するために文字認識処理を行なうところである。文
字コード出力部６は、文字認識部５により抽出された文
字コードを共有メモリやプリンタなどに出力するところ
である。画面表示部７は、範囲指定部３から送られる範
囲指定の表示の指示にしたがって、ディスプレイ８への
表示を行なう。なお、同実施形態では、ディスプレイ８
としてＣＲＴを用いるが、それ以外にも液晶表示装置や
大型スクリーンなどといった他の出力デバイスを適用す
ることも可能である。

【００５２】ここで、図２を参照して同実施形態の動作
手順を説明する。

【００５３】まず、ユーザは入力部２を介して文字コー
ド取得の開始を指示する（ステップＡ１）。この指示
は、たとえば同装置がアイコンによってユーザからの指
示を受け取っている場合には、このアイコンをマウスの
左ボタンでクリックすることにより行なわれる（図３参
照）。その他、この開始の指示は、開始用の専用のボタ
ンを押すなど、他の方法で行なうことも可能である。

【００５４】この指示操作は、入力部２から制御部１に
伝達され、制御部１により開始の指示であると解釈され
る。さらに制御部１は、範囲指定部３に制御を移すとと
もに、入力部２より送られるユーザの操作を範囲指定部
３に伝える働きをする。これにより、以下範囲指定部３
による範囲指定処理が実行される。このとき、たとえば
マウスの形状を十字型に変えるなどといったことを行な
うことにより、同装置が範囲選択の状態にあることをユ
ーザーが容易に知ることができるとともに、誤操作を防
止することができる。

【００５５】続いて画面上に表示された画像から、文字
コードとして取得したい領域をマウスなどのポインティ
ングデバイスを用いて範囲選択する（ステップＡ２）。
この範囲選択の方法としては、矩形領域による選択（図
４参照）、ポリゴンによる選択（図５参照）など複数の
選択方法を用意する。

【００５６】たとえば、マウスによる矩形選択を行なう
場合には、図６に示す手順にしたがって操作する。

【００５７】まず、希望範囲の左上地点でマウスの左ボ
タンをクリックする（ステップＢ１〜ステップＢ３）。
続いて左ボタンを押したまま、マウスをドラッグする。
この際、最初に左ボタンをクリックした地点と現在のマ
ウスの位置とを対角線とする矩形領域が反転表示される
（ステップＢ８〜ステップＢ９）。この反転表示された
矩形領域が文字コードとして取得する範囲となる。マウ
スをドラッグし続けると、マウスの移動に応じて矩形領
域もリアルタイムで再表示される。ユーザはこの矩形領
域を目で確認しながら、希望する範囲が矩形で選択され
るようにマウスを操作し、選択されたところでマウスの
左ボタンから手を離す（ステップＢ４〜ステップＢ
６）。

【００５８】左ボタンから手を離すことで範囲選択処理
は終了し、同装置はユーザに対して範囲を確定しても良
いかどうかの確認メッセージを出して、ユーザからの応
答を待つ（ステップＢ１０〜ステップＢ１１）。

【００５９】また、ポリゴンによる選択を行なう場合
は、まずマウスの左ボタンをクリックしてポリゴンの始
点を指示する。引続きマウスの左ボタンをクリックする
ことで第２点、第３点と指示して行き、最後にマウスの
中ボタンをクリックすると直前の指定点と第一点との間
が結ばれ、ポリゴン領域が選択される。

【００６０】この操作の場合は、たとえば途中でマウス
の右ボタンをクリックすることで途中の指定点をキャン
セルし、１回前の状態に戻すといった範囲選択の際の修
正動作を行なうことができる。

【００６１】このポリゴンによる選択の際も先の矩形に
よる選択の場合と同様に領域選択の後、同装置は、ユー
ザに対して選択された範囲を確定しても良いかどうかの
確認メッセージを出してユーザからの応答を待つ。この
様子を図７に示す。ここでは、図７に示すように、「は
い」、「いいえ」および「終了」の３つの選択肢が設定
されており、「はい」を選択すると選択された領域が確
定される。また、「いいえ」を選択すると選択された領
域が取り消されて、範囲選択前の状態に戻る。したがっ
て、このときユーザは再び左ボタンクリックからの操作
を繰り返すことになる。また、「終了」を選択すると一
連の文字コード取得操作そのものを中止にする。この場
合、再び文字コードの取得を行なう際には、図３で示し
た範囲選択の開始操作から始めることになる。なお、同
装置からの確認メッセージを省略し、範囲選択が終了し
た後、直ちに選択された範囲を確定することも可能であ
る。この場合には、範囲を誤って指定した場合であって
も、その後の処理が始まってしまい、範囲の修正ができ
ないといった欠点はあるが、逆に即座に処理を行なうこ
とが可能になる。

【００６２】ユーザにより文字コード化したい部分の範
囲が確定されると、一連の範囲指定処理の終了が制御部
１に通知される。制御部１では、指定された範囲を画面
切り取り部４に送り、画面上の指定範囲に展開している
ビットマップイメージの取り出しを指示する（ステップ
Ａ３）。

【００６３】この画面上からのビットマップイメージの
取り出し方法として、たとえばマイクロソフト社製造販
売のＷｉｎｄｏｗｓ３．１の場合、ＡＰＩ関数であるCr
eateCompatibleBitmap() 関数を用いて指定範囲のビッ
トマップを獲得することができる。他のウインドウシス
テムにおいても、同様の関数を利用することで容易に実
現することができる。

【００６４】画面切り取り部４により画面上のビットマ
ップイメージが獲得されると、画面切り取り部４の処理
の終了が制御部１に通知される。そして、制御部１は、
文字認識部５に対して取り出されたビットマップイメー
ジに対する文字認識処理の実行を指示する（ステップＡ
４）。

【００６５】文字認識部５では、与えられたイメージデ
ータに含まれる文字コードの認識処理が実行される。そ
の概略手順は、まず当該イメージのレイアウト解析が行
なわれ、文書を構成する行の抽出が行なわれる。続いて
抽出されたそれぞれの行に対して、文字の切り出しが行
なわれ、その後にそれぞれの文字に対して文字認識が実
行される。

【００６６】文字認識部５により文字コードが求まる
と、処理の終了が制御部１に伝えられる。制御部１で
は、続いて文字コード出力部６に、文字コードの共有メ
モリやプリンタなどといった外部デバイスへの出力を指
示する（ステップＡ５）（図８参照）。

【００６７】文字コード出力部６は、文字コードの出力
を終えると、その旨を制御部１に伝える。そして、制御
部１は一連の処理を終了させる。

【００６８】同実施形態の文字コード取得装置によれ
ば、画面上に表示された文字画像からの文字コード取得
にあたり、ユーザは画面上で範囲を指定するだけでその
目的を達成できることとなる。

【００６９】近年のコンピュータ技術の著しい発展によ
り、高解像度のディスプレイ上でのウインドウ環境がす
でに一般的になり、画像などのマルチメディアデータを
扱う機会が多くなってきた。今後、コンピュータの高機
能化が進むにつれ、このような機会は確実に増えてく
る。このような状況下にあって、たとえば他のウインド
ウ上に表示された文書画像を文書作成中に利用したいと
いった要求が今後高まっていくことは容易に想像するこ
とができる。

【００７０】このような場合、従来では、画面上に表示
された文書画像から文字コードを取り出すために、所望
の画像を切り出してＯＣＲで利用できるイメージ形式の
データに変換する画像切り出し用のアプリケーションプ
ログラムと、このデータから文字コードを取り出すＯＣ
Ｒアプリケーションプログラムとの最低２つのアプリケ
ーションプログラムを組み合わせて利用する必要があっ
た（図９（ａ））。たとえば、画面切り出しのアプリケ
ーションツールで希望の範囲を切り出し、この結果をク
リップボード上に出力して、その後にＯＣＲソフトを立
ち上げてクリップボード上のデータに対する文字認識を
実行し、その結果を再びクリップボードに出力する、な
どといった手順が必要であった。

【００７１】一方、同実施形態の文字コード取得装置に
よれば、画面切り出し機能と、ＯＣＲ機能（文字認識機
能）とが１つのアプリケーションとして組み合わされて
いるために、画面切り出しを行なうと、直ちにそのイメ
ージに対する文字認識が実行され、簡単に文字コードを
取得することができるため（図９の（ｂ））、処理手順
の簡略化によりユーザにとって使いやすい環境を提供で
きることに加え、処理時間の短縮といった大きな効果を
奏することができる。

【００７２】（第２実施形態）次に、本発明の第２実施
形態を説明する。

【００７３】図１０は本発明の第２実施形態の文字コー
ド取得装置の構成を示す機能ブロック図である。

【００７４】図１０に示すように、同実施形態の文字コ
ード取得装置は、第１実施形態の文字コード取得装置の
構成に、取得方法決定部２２、ウインドウ情報管理部
９、ウインドウ情報記憶部１０、アプリケーション通信
部１１、および文字コード取得部２３を加えた構成とな
っている。

【００７５】取得方法決定部２２は、文字コードの取得
範囲に含まれる画像を表示するアプリケーション１２か
ら、その文字コードを取得する方法を知得して決定する
ところである。範囲指定部３においてユーザが指定した
文字コードの取得範囲をウィンドウ情報管理部９に送
り、文字コードを取得する対象となるウィンドウと、そ
のウィンドウ内における文字コードの取得範囲と、その
ウィンドウを表示するアプリケーション１２の識別デー
タを通知してもらい、アプリケーション１２との通信が
可能であるかどうかをアプリケーション通信部１１を介
して判定し、アプリケーション１２からの文字コードの
取得方法を決定する。

【００７６】ウィンドウ情報管理部９は、取得方法決定
部２２から送られてくる文字コードの取得範囲と、この
取得範囲が送られた時点でウィンドウ情報記憶部１０に
格納されてる画面上のウィンドウに関する情報とから、
文字コードを取得する対象となるウィンドウ、このウィ
ンドウ内における文字コードの取得範囲、およびこのウ
ィンドウを表示するアプリケーション１２を決定すると
ころである。ウィンドウ情報記憶部１０は、画面上のウ
ィンドウに関する情報を格納しているところである。

【００７７】また、アプリケーション通信部１１は、ア
プリケーション１２との通信を行なうところであり、ア
プリケーション１２と通信が可能であるかどうかを調べ
ることと、アプリケーション１２が画面上に表示してい
る画像のうち、文字コードの取得範囲に含まれる領域に
対応するイメージや文字コードをアプリケーション１２
から受けとる処理を行なう。なお、アプリケーション１
２は、文字コードを取得する範囲に含まれる画像を画面
上に表示しているアプリケーションプログラムである。

【００７８】また、文字コード取得部１３は、文字コー
ドを取得する対象となるアプリケーション１２から文字
コード情報を取得する部分である。取得方法決定部２２
から入力される、文字コードを取得する対象となるウィ
ンドウと、このウィンドウ内における文字コードの取得
範囲と、このウィンドウを表示するアプリケーション１
２と、このアプリケーション１２からの文字コードの取
得方法とに基づき、アプリケーション１２が通信可能で
ある場合には、アプリケーション通信部１１を介して通
信を行ない、その取得範囲に対応するデータを取得す
る。アプリケーション１２と通信ができない場合、また
は取得範囲に対応するデータが得られなかった場合に
は、画像切り取り部４および文字認識部５により取得範
囲に対応する文字コードを取得する。

【００７９】一方、アプリケーション１２から受け取っ
たデータがイメージである場合には、文字認識部５によ
り文字コードに変換して文字コードを取得する。

【００８０】なお、同実施形態例では、アプリケーショ
ン１２が文字コードの取得範囲に対応するデータを通信
によって出力することができるアプリケーション（以
下、通信対応アプリケーションと称す）である場合、通
信によってこのデータを取得しているが、この通信対応
アプリケーションの構成を図１１に示す。

【００８１】通信部１２１は、文字コード取得装置のア
プリケーション通信部１１との通信を行なうところであ
る。この通信部１２１は、アプリケーション通信部１１
から送られてくる指定範囲に対応するデータの取得要求
を転送情報決定部１２２へ転送する処理と、転送情報決
定部１２２で決定された要求指定範囲に対応するデータ
をアプリケーション通信部１１へ返送する処理を行な
う。

【００８２】また、転送情報決定部１２２は、通信部１
２１から送られる指定範囲に対応するデータの取得要求
に応じ、レイアウト情報記憶部１２３の表示位置情報
と、データ記憶部１２４のデータとに基づいて、要求さ
れた範囲に含まれるデータを決定し、通信部１２１に返
送するところである。

【００８３】レイアウト情報記憶部１２３は、データ記
憶部１２４の各データが画面上のどのウィンドウのどの
位置に表示されているかというデータの表示位置に関す
る情報を格納するところである。データ記憶部１２４
は、通信対応アプリケーション１２が画面上に表示して
いる画像に対応する、通信対応アプリケーション１２内
部でデータを格納するところである。

【００８４】ここで、図１２を参照して同実施形態の動
作手順を説明する。

【００８５】まず、ユーザは入力部２を介して文字コー
ド取得の開始を指示する（ステップＣ１）。

【００８６】この操作は、制御部１により開始の指示で
あると解釈され、制御部１は、範囲指定部３に範囲指定
処理の開始を指示する。

【００８７】次にユーザは、画面上に表示された文字画
像から文字コードとして取得したい範囲を、マウスなど
のポインティングデバイスを使って指定する（ステップ
Ｃ２）。この範囲指定の方法としては、第１実施形態と
同様に、矩形領域による選択（図４参照）、ポリゴンに
よる選択（図５参照）などが用意されるが、これ以外の
方法でも範囲を指定することは可能である。

【００８８】ユーザによる領域指定が終了すると、範囲
指定部３はユーザに対して範囲を確定するために確認を
求め（図７参照）、ユーザが承認した際に文字コードを
取得する範囲を確定する。なお、同実施形態では、ユー
ザに対して指定範囲の確認を行なっているが、指定範囲
の確認を省略しても範囲指定処理は実行可能である。

【００８９】この範囲指定のためのユーザによる一連の
操作は、制御部１において範囲指定のための指示である
と解釈され、制御部１から範囲指定部３に範囲指定に関
する指示として送られ、範囲指定処理が進められる。

【００９０】ユーザによる文字コードの取得範囲の指定
が終了すると、範囲指定部３は、制御部１に範囲指定処
理の終了を通知する。制御部１は、この通知を受け取る
と、取得方法決定部２２に対してユーザが指定した範囲
に含まれる文字コードの取得方法の決定処理の開始を指
示する（ステップＣ３）。

【００９１】図１３は取得方法決定部の動作手順を示す
フローチャートである。

【００９２】取得方法決定部２２は、制御部１から処理
開始の指示を受け取ると、範囲指定部３からユーザが指
定した文字コードの取得範囲を入力し（ステップＤ
１）、この取得範囲をウィンドウ情報管理部９に送っ
て、ウィンドウ情報管理部９に対して、文字コードを取
得する対象となるウィンドウと、このウィンドウ内にお
けるテキスト情報の取得範囲と、このウィンドウを表示
するアプリケーション１２とを問い合わせる（ステップ
Ｄ２）。

【００９３】ウィンドウ情報管理部９は、取得方法決定
部２２からユーザが指定した文字コードの取得範囲を受
け取ると、ウィンドウ情報記憶部１０から画面上のウィ
ンドウに関する情報を取得し、文字コードを取得する対
象となるウィンドウと、このウィンドウ内における文字
コードの取得範囲と、このウィンドウを表示するアプリ
ケーション１２とを決定し、取得方法決定部２２に通知
する。

【００９４】ウィンドウ情報記憶部１０は、画面上に表
示されているウィンドウに関する位置、大きさ、重な
り、および表示しているアプリケーションなどの最新の
情報を格納しており、一般的にはオペレーティングシス
テム内に含まれる。

【００９５】ユーザが指定した文字コードを取得する範
囲と、画面上のウィンドウに関する情報とから、文字コ
ードを取得する対象となるウィンドウを決定する方法に
は、種々の方法を用いることができる。たとえば、範囲
指定の開始点を含むウィンドウに決定する方法、ユーザ
が指定した範囲と最も大きな面積を共有するウィンドウ
に決定する方法などである。

【００９６】ウィンドウ情報管理部９から問い合わせの
結果が返されると、取得方法決定部２２は、次のような
処理によって最終的な文字コードを取得するようにその
方法を決定する（ステップＤ３〜ステップＤ８）。

【００９７】（１）文字コードを取得する対象となるウ
ィンドウが存在する場合。

【００９８】このウィンドウを表示するアプリケーショ
ン１２が、指定した範囲に対応するデータを取得するた
めの通信を行なうことが可能であるかどうかを、アプリ
ケーション通信部１１を介して判定する。

【００９９】（ａ）アプリケーション１２が通信を行な
うことが可能である場合。

【０１００】文字コードを取得するためのアプリケーシ
ョン１２との通信を行なうことに決定する。

【０１０１】（ｂ）アプリケーション１２が通信を行な
うことが不可能である場合。

【０１０２】文字コードを取得するためのアプリケーシ
ョン１２との通信を行なわないことに決定する。

【０１０３】（２）文字コードを取得する対象となるウ
ィンドウが存在しなかった場合。

【０１０４】文字コードを取得するためのウィンドウを
表示するアプリケーション１２との通信を行なわないこ
とに決定する。

【０１０５】文字コードを取得する方法が決定される
と、取得方法決定部２２は、制御部１に処理の終了を通
知する。この通知を受け取った制御部１は、文字コード
取得部２３に対して、文字コードを取得する対象となる
アプリケーション１２から、文字コードの取得範囲に含
まれる領域の文字コードを取得する処理の開始を指示す
る（ステップＣ４）。

【０１０６】文字コード取得部２３は、制御部１から処
理開始の指示を受け取ると、取得方法決定部２２から、
文字コードを取得する対象となるウィンドウと、このウ
ィンドウ内における文字コードの取得範囲と、このウィ
ンドウを表示するアプリケーション１２と、このアプリ
ケーション１２からの文字コードの取得方法とを入力
し、これら４つの入力パラメータに基づいて、次のよう
な処理を行なう（図１４参照）。

【０１０７】（１）アプリケーション１２と通信を行な
わない場合。

【０１０８】画面切り取り部４を使って、画面上の文字
コードの取得範囲のイメージを取得し、この取得したイ
メージに対して文字認識部５による文字認識処理を行な
い、この文字認識処理の結果得られた文字コードを最終
的に取得した文字コードとする。

【０１０９】例としては、ウィンドウの背景（オペレー
ティングシステムによって、バックグラウンド、ルート
ウィンドウ、デスクトップなどと称される）に表示され
ている画像を取得して、文字認識処理を行ない、文字コ
ードを得る場合などが相当する。

【０１１０】（２）アプリケーション１２との通信を行
ない、かつ指定された範囲に対応するデータが存在しな
い場合。

【０１１１】画面切り取り部４を使って、画面上の文字
コードの取得範囲のイメージを取得し、この取得したイ
メージに対して文字認識部５による文字認識処理を行な
い、この文字認識処理の結果得られた文字コードを最終
的に取得した文字コードとする。

【０１１２】例としては、オペレーティングシステムや
共有ライブラリなど、アプリケーション１２以外が保持
するコードが描画されている画像を取得して、文字認識
処理を行ない、文字コードを得る場合などが相当する。

【０１１３】（３）アプリケーション１２との通信を行
ない、かつ指定された範囲に対応するデータがプレーン
テキストであった場合。

【０１１４】この取得したプレーンテキストを最終的に
取得した文字コードとする。

【０１１５】例としては、キャラクタ端末ウィンドウ上
に表示されている文字画像に対応する文字コードをアプ
リケーションから直接取得する場合などが相当する。

【０１１６】（４）アプリケーション１２との通信を行
ない、かつ指定された範囲に対応するデータが構造化さ
れたテキストであった場合 この取得した構造化されたテキストを最終的に取得した
文字コードとする。

【０１１７】例としては、たとえばＴｅＸ、Ｐｏｓｔｓ
ｃｒｉｐｔ、およびＨＴＭＬなどの構造化文書記述言語
で記述された文書をプレビューアで表示させた文字画像
のうち、指定した範囲の文字画像に対応する文字コード
をプレビューアから直接取得する場合などが相当する。

【０１１８】（５）アプリケーション１２との通信を行
ない、かつ指定された範囲に対応するデータが画面上に
表示されているイメージよりも高品質なイメージであっ
た場合。

【０１１９】指定した範囲に対応するデータを、画面上
に表示されているイメージよりも高品質なイメージとし
て取得して、この取得したイメージに対して文字認識処
理を行なう。そして、この文字認識処理の結果得られた
文字コードを最終的に取得した文字コードとする。

【０１２０】例としては、アプリケーション１２が内部
に持つ高解像度のイメージを画面上のウィンドウ内に縮
小表示させている文字画像のうち、指定した範囲の文字
画像に対応する高解像度のイメージをアプリケーション
１２から直接取得して文字認識処理を行ない、文字コー
ドを得る場合などが相当する。

【０１２１】（６）アプリケーション１２との通信を行
ない、かつ指定された範囲に対応するデータが画面上に
表示されているイメージと全く同じイメージであった場
合。

【０１２２】指定した範囲に対応するデータを、画面上
に表示されている指定した範囲に含まれるイメージと同
じイメージとして取得して、この取得したイメージに対
して文字認識処理を行なって、この文字認識処理の結果
得られたテキストを最終的に取得した文字コードとす
る。

【０１２３】例としては、アプリケーション１２が内部
に持つ文字画像のイメージを等倍で画面上のウィンドウ
内に表示しており、ユーザが指定した範囲のテキスト画
像に対応するイメージをアプリケーション１２から直接
取得して文字認識処理を行ない、文字コードを得る場合
などが相当する。

【０１２４】複合文書のように、ユーザが指定した範囲
に対応するデータが複数種類存在するような場合には、
それぞれの種類のデータに対応する範囲ごとにこれら
（１）〜（６）のいずれかの処理を適用する。

【０１２５】最終的に取得すべき文字コードを得ると、
文字コード取得部２３は、制御部１に処理の終了を通知
する。この通知を受け取った制御部１は、文字コード出
力部６に対して、取得した文字コードの出力処理の開始
を指示する（ステップＣ５）。

【０１２６】文字コード出力部６は、制御部１から処理
開始の指示を受け取ると、文字コード取得部２３から取
得された文字コードを入力して、この文字コードを外部
へと出力する。出力先は、たとえば共有メモリ、ファイ
ル、および他のアプリケーションなどである。

【０１２７】このように、同実施形態の文字コード取得
装置によれば、画面上に表示された画像の内、指定され
た範囲に対応するアプリケーションから、この指定され
た範囲に対応するデータを直接取得することが可能であ
るため、たとえば取得したデータが文字コードである場
合には、文字認識誤りのない文字コードを得ることが可
能となり、取得したデータがイメージであった場合に
は、文字認識処理に適した高品質なイメージデータを得
ることも可能である。そのため、画面上に表示されてい
る低品質なイメージに対して文字認識処理を行ってテキ
スト情報を取得するのと比較して、高精度な文字コード
が取得することができることになる。

【０１２８】さらに、異なるアプリケーションがもつ文
字コードを統一した操作で取得することができるため、
ユーザに対して優れた操作性を提供することが可能とな
る。

【０１２９】（第３実施形態）次に、本発明の第３実施
形態を説明する。

【０１３０】図１５は本発明の第３実施形態に係る文字
コード取得装置の概略構成を示す図である。

【０１３１】図１５に示すように、同実施形態の文字コ
ード取得装置は、第１または第２実施形態に示した文字
コード取得装置１５と、親アプリケーション１３との通
信を行なう通信部１４１とを有して構成されている。

【０１３２】この通信部１４１は、たとえば前述のＷｉ
ｎｄｏｗｓ３．１の場合にはＤＤＥによって他のアプリ
ケーションからの操作要求を受け取り制御部１に伝え
る。またその逆に、他のアプリケーションに対して返答
やデータ転送などを実行する働きをする。

【０１３３】図１６を参照して同実施形態の動作原理を
説明する。

【０１３４】まず親アプリケーション１３より文字コー
ド取得の指示が通信部１４１に送られる。

【０１３５】通信部１４１では、親アプリケーション１
３に対して承諾の通知を返すとともに、第１または第２
実施形態に示した文字コード取得装置１５を起動して、
範囲指定処理から文字コードの出力までの処理を実行さ
せる。

【０１３６】その後、出力をたとえば共有メモリに出力
した後、制御は通信部１４１に戻りって、通信部１４１
は処理終了を親アプリケーション１３に通知する。

【０１３７】親アプリケーション１３は、処理終了の通
知を受け取ると、その後はアプリケーション毎に適した
処理を行なう。たとえば、ユーザに処理終了を通知し
て、ユーザ自身の手により所望の領域への文字コードの
取り込み処理が実行される。

【０１３８】また、取得した文字コードの親アプリケー
ション１３への渡し方として、第１または第２実施形態
に示した文字コード取得装置１５の通信部１４１を介し
て直接親アプリケーション１３に転送することも可能で
ある。たとえば、小さな領域を処理するなどといった瞬
時に文字コード取得が終了する場合などには有効な方法
である。

【０１３９】図１７に同実施形態を適用したシステム構
成例を示す。

【０１４０】図１７に示したシステムによれば、画面上
に表示されている文書画像からの文字コードの取り込み
が、エディタ上で制御することが可能になり、ユーザか
らみればエディタ自体に文字コード取得装置１４の機能
があるものとして利用することができる。

【０１４１】また、図１８に同実施形態をデータフォー
マットの異なる複数のアプリケーションのファイルを閲
覧する機能をもったマルチビューアに組み入れた際のシ
ステム構成例を示す。

【０１４２】マルチビューア２４は、たとえば複数のワ
ープロソフトのそれぞれのアプリ固有のデータファイル
から直接文書を表示させたり、表計算ソフトのデータか
らワークシート画面を表示させたりする機能をもったソ
フトであって、フリーソフトやシェアウエアなどで優秀
な物が多数使われている。これに同実施形態を組み入れ
ると、あらゆるアプリケーションのデータファイルか
ら、内部にある文字コードを閲覧しつつ簡単に取り出す
ことが可能になる。

【０１４３】このように、同実施形態によれば、既存ア
プリケーション上から簡単に制御することができること
により、そのアプリケーションがあたかも文字コード取
得機能をもったかのように利用することができる効果を
奏する。また、このことにより、既存アプリケーション
の利用効率をさらに高め、生産性の向上に多大なる効果
を与えることができる。

【０１４４】（第４実施形態）次に、本発明の第４実施
形態を説明する。

【０１４５】図１９は本発明の第４実施形態の文字コー
ド取得装置の構成を示す機能ブロック図である。

【０１４６】図１９に示すように、同実施形態の文字コ
ード取得装置は、第１実施形態の文字コード取得装置の
構成に、情報検索部１６および検索結果表示部１８を加
えた構成となっている。

【０１４７】情報検索部１６は、取得された文字コード
であるテキストを入力としてそのテキストに関連するテ
キストを文書データベース１７から検索する。また、検
索結果表示部１８は、検索されたテキストを表示する。
なお、文書データベース１７は、同装置からアクセス可
能であればよいので、同装置内に含まれていなくてもよ
いものである。

【０１４８】ここで、図２０を参照して同実施形態の動
作手順を説明する。なお、同実施形態の動作手順と第１
実施形態で示した動作手順との違いは、情報検索処理の
実行とその検索テキストの出力とを行なう点にある。

【０１４９】すなわち、情報検索部１６は、文字認識結
果に基づいて関連テキストの検索を行ない（ステップＦ
５）、検索結果表示部１８が、文字認識結果を表示する
とともに、この検索テキストを表示する（ステップＦ
７）。

【０１５０】情報検索部１６における処理自体は、すで
に実施されている技術を流用すればよく、たとえば文書
データベース１７中のテキストすべてに関して形態素解
析を行なうことで個々のテキストで使用されている単語
を抽出するとともに、文字認識結果についても形態素解
析を行ない単語を抽出する。そして、この抽出された単
語に基づいて、文献（Advanced Information-Retrieval
Models,Automatic Text Processing, G.Salton, Addis
on-Wesley Publishing Company）などで述べられている
ベクトル空間法を適用することでテキスト間の類似度を
求める。類似度があらかじめ定めた閾値を越えたテキス
トをその類似度の順で検索結果表示部１８に送る。

【０１５１】検索結果表示部１８は、検索されたテキス
トを表示する。この検索テキストの表示例を図２１に示
す。各テキストの１行目のリストと最も関連度の高かっ
たテキストが表示されている。

【０１５２】このように、同実施形態の文字コード取得
装置によれば、文字コードの取得とともに関連文書など
の検索を即座に行なわせることができ、その操作性は飛
躍的に向上する。さらに、この関連文書によりユーザの
発想支援を実現することができることとなる。

【０１５３】（第５実施形態）次に、本発明の第５実施
形態を説明する。

【０１５４】図２２は本発明の第５実施形態の文字コー
ド取得装置の構成を示す機能ブロック図である。

【０１５５】図２２に示すように、同実施形態の文字コ
ード取得装置は、第１実施形態の文字コード取得装置の
構成に、情報検索部１６および校正処理部１９を加えた
構成となっている。

【０１５６】情報検索部１６の処理については、第４実
施形態で示したものと同じであるので説明を省略する。

【０１５７】ここで、図２３を参照して同実施形態の動
作手順を説明する。なお、同実施形態の動作手順と第１
実施形態で示した動作手順との違いは、情報検索処理の
実行と校正処理とを行なう点にある。

【０１５８】すなわち、情報検索部１６は、文字認識結
果に基づいて関連テキストの検索を行ない（ステップＧ
５）、校正処理部１９が、校正処理を実行する（ステッ
プＧ７）。

【０１５９】文字認識処理は１００％の認識を行なうこ
とは不可能であるので、認識結果は、図２４に示すよう
な曖昧性を含んでいる。したがって、予め定めた数の候
補数までの認識結果を出力するとすると、このようにな
る（２候補まで出力した場合）。図２４の例では、たと
えば「新」という文字に対して「親」という第２候補が
存在することを示している。また、「フィーリング」の
部分は本来ならば「フィルタリング」と認識すべきであ
ったが、第１候補としては「フィーリング」が得られた
ことを示している。

【０１６０】ここで、図２５に校正処理の手順を示す。

【０１６１】まず、その認識結果の検索された関連テキ
ストに含まれる単語の頻度を算出する（ステップＨ
１）。次に、文字認識結果をスキャンして、文字の組合
せにしたがってすべての文字列候補を生成した後（ステ
ップＨ２）、頻度の高い単語を含む組合せを優先して出
力する（ステップＨ３）。

【０１６２】たとえば、検索されたテキスト中の単語ｉ
の頻度をｎ（ｉ）としたときに、生成した文字列に含ま
れる単語に関するｎ（ｉ）の総和を優先度とすることが
できる。

【０１６３】また、動的プログラミングなどの手法を使
ってすべての文字列を生成せずに、前方の文字から文字
列候補の絞り込みを行うことで等価な結果を得ることも
できる。

【０１６４】このように、同実施形態の文字コード取得
装置によれば、認識結果に対する校正作業の効率を飛躍
的に向上させることができることになる。

【０１６５】（第６実施形態）次に、本発明の第６実施
形態を説明する。

【０１６６】同実施形態の文字コード取得装置は、第２
実施形態に示した構成のうち、文字認識部５が２つ以上
の別々のデータに対する処理を同時に実行できるように
構成されたものである。その方法としては、文字認識部
５内において文字認識のサブルーチンをマルチスレッド
で実行させてもいいし、文字認識部５を文字認識のサー
ビスを行なう別のプロセスサーバで構成してもよい。

【０１６７】図２６に同実施形態での文字コード取得部
の動作手順を示す。なお、文字コード取得部２３以外の
動作手順は第２実施形態で示したものと同じであり、図
３で示したような開始時のモードの指定や専用のボタン
などによって、文字認識の動作が切り替えられ、同実施
形態の動作手順になる。

【０１６８】同実施形態では、アプリケーション１２と
通信して画面イメージよりも高品質なイメージを取得で
きる場合に、次のような処理を行う。

【０１６９】（１）高品質なイメージだけを文字認識す
る場合。

【０１７０】第２実施形態と同じ処理を行なう （２）高品質なイメージと画面イメージを同時に文字認
識する場合。

【０１７１】画像切り取り部４に画面イメージの取得を
指示し、得られた画面イメージと高品質なイメージの両
方を文字認識部５に平行して処理させる。画面イメージ
の文字認識結果が先に終了した場合には、たとえば図２
７に示すような画面で認識結果をユーザに提示し、結果
が十分であれば高品質イメージの文字認識処理を中断さ
せ、画面イメージの認識結果を制御部に通知してテキス
ト情報取得部の動作を終了する。

【０１７２】一方、得られた結果が十分でない場合には
高品質なイメージの処理結果を制御部１に通知して文字
コード取得部の動作を終了する。先に得られた認識結果
が高品質なイメージの認識結果である場合には、画面イ
メージの文字認識処理を中断させ、高品質なイメージの
認識結果を制御部１に通知して文字コード取得部２３の
動作を終了する。

【０１７３】また、処理結果をユーザに示す前に、認識
結果の類似度などを使って自動的に結果の信頼性を確認
し、信頼性が低い場合には最初からユーザに確認せずに
画面イメージの結果を無効にしてしまっても良い。

【０１７４】また、次のような方法も考えられる。

【０１７５】すなわち、（２）において、高品質なイメ
ージの処理は、文字列と文字枠の切り出し処理までで中
断し、ある特定の文字領域に対する処理命令を受けて文
字認識を行なうようにする。画面イメージ側の処理は通
常通りに行う。画面イメージの処理は一文字づつ文字認
識を行なった後で、その文字の認識結果の信頼性が認識
結果の類似度などにより低いと判断されると高品質なイ
メージを処理しているモジュールに文字領域の位置を指
定して文字認識処理を指示する。画面イメージを処理し
ているモジュールは次の文字の認識処理に移行し、その
結果を画面イメージを処理しているモジュールに返す。
画面イメージを処理しているモジュールは処理結果を順
番通りに組み立てて処理結果をテキスト情報取得部に返
す。

【０１７６】このように、同実施形態の文字コード取得
装置によれば、作業時間の短縮と認識精度とを両立させ
ることができることとなる。

【０１７７】（第７実施形態）次に本発明の第７実施形
態を説明する。

【０１７８】図２８は本発明の第７実施形態の文字コー
ド取得装置の構成を示す機能ブロック図である。また、
図２９は同実施形態のシステム構成を示す図である。

【０１７９】同実施形態の文字コード取得装置は、第２
実施形態で示した文字コード取得装置を分散システムに
適用させたものであり、図２８に示すように、文字認識
部５、アプリケーション通信部（２）１１ｂ、およびア
プリケーション（２）１２ｂを計算機（２）２１で動作
させ、その他の処理部を計算機（１）２０で動作させる
ている。図２９の計算機（１）２０と計算機（２）２１
とはネットワークによって接続されている。そして、文
字コード取得部２３と文字認識部５、および取得方法決
定部２２ならびに文字コード取得部２３とアプリケーシ
ョン通信部（２）１１ｂとはこのネットワークを介して
通信を行なう。

【０１８０】このアプリケーション通信部（１）１１ａ
とアプリケーション（１）１２ａとは図１０に示したア
プリケーション通信部１１とアプリケーション１２とに
相当する。また、アプリケーション通信部（２）１１ｂ
とアプリケーション（２）１２ｂとは、アプリケーショ
ン通信部（１）１１ａとアプリケーション（１）１２ａ
と同じ働きを文字認識部５に対して行なう。同実施形態
では、アプリケーション（１）１２ａとアプリケーショ
ン（２）１２ｂとが同じデータを保持している場合を想
定している。たとえば、パーソナルコンピュータ上で動
作するソフトウエアで処理されるデータであって、複製
データを複数のパーソナルコンピュータ上ＰＣ上で保持
されるような場合である。

【０１８１】同実施形態では、取得方法決定部２２、文
字コード取得部２３、および文字認識部５以外は、第２
実施形態で示した動作と同様の動作を行なう。一方、取
得方法決定部２２は、アプリケーション（１）１２ａと
通信が可能であるかどうかを確認する際に、アプリケー
ション（１）１２ａおよびアプリケーション（２）１２
ｂのいずれかと通信が可能であれば、アプリケーション
との通信によって文字コードを取得するように決定する
ところが異なる。また、文字コード取得部２３の動作手
順は図３０に示したようになる。なお、アプリケーショ
ン（１）１２ａおよびアプリケーション（２）１２ｂの
いずれと通信を行なうかの決定は、第２実施形態で示し
た動作手順と同様に行なう。ここでは、アプリケーショ
ンから文字コードを取得する場合に、アプリケーション
（１）１２ａおよびアプリケーション（２）１２ｂのい
ずれを選択するか（ステップＪ２、ステップＪ３）につ
いて説明する。

【０１８２】まず、アプリケーション（１）１２ａまた
はアプリケーション（２）１２ｂのいずれかとだけ通信
が可能であった場合には、通信が可能である方のアプリ
ケーションを選択する．両方と通信が可能であったなら
ば、文字コードを直接アプリケーションから取得できる
場合には，アプリケーション（１）１２ａを選択し、イ
メージを取得できる場合には、アプリケーション（２）
１２ｂを選択する．第２実施形態と同様に、文字コード
とイメージとの両方を取得できる場合には、文字コード
の取得を優先する。また、イメージを取得する場合に
は、文字認識部５により文字コードに変換する。アプリ
ケーション（２）１２ｂからイメージを取得する場合に
は、文字コード取得部２３が、文字認識部５に対し、ア
プリケーション（２）１２ｂからアプリケーション通信
部（２）１１ｂを介して直接イメージを取得して文字認
識を行なった後、その認識結果を渡すように指示する。

【０１８３】アプリケーション（１）１１ａまたは画像
切り取り部４からイメージを取得する場合には、文字コ
ード取得部２３が、そのイメージをネットワークを介し
て文字認識部５に渡し、文字認識結果の文字コードを返
してもらう．同実施形態の文字コード取得装置によれ
ば、文字認識部５が異なる計算機上で動作していた場合
に、大量のイメージをネットワークにより通信すること
を極力さけることにより，文字コード取得のための応答
時間を大幅に向上できるようになる．このことは，計算
機（１）２０と計算機（２）２１とがシリアル回線のよ
うに低速な通信回線で接続されているような場合に特に
有効となる． （第８実施形態）次に、本発明の第８実施形態を説明す
る。

【０１８４】図３１は同実施形態において読取対象とな
る画像の一例を示した図である。また、図３２はこの画
像に対して文字列抽出したものである。各文字列は図３
２に示したように矩形で表現され、これが表示画面上に
たとえばウインドウの中に表示されている。表現は矩形
だけでなく、矩形の中を特定の色で塗りつぶしたもの
や、特定のテクスチャーで塗りつぶしたものであっても
よく、また形状もどのようなものであっても良い。また
原画像そのもの、または原画像と矩形とを重ね合わせて
表示しても良い。その際、原画像の色を薄くしておくと
効果的である。矩形表示と原画像の表示スケールが異な
るときは、表示画像を縮小したり拡大すればよい。

【０１８５】このような矩形表現は、原画像に対して画
像処理や認識処理を行なうことによって得られる。この
ような手法は、文書画像処理分野で知られている方式を
使うことによって得ることができる。たとえば、行抽出
の方式の代表的なものとしては、原画像中の黒画素を左
右に延長し、離れている黒画素のうち近いもの同志を接
続して、その上で連結領域を見つける手段を含む方式が
挙げられる。

【０１８６】文字認識まで行なって、認識結果の文字列
をそれ単独か、または矩形とともに表示するようにして
も良い。

【０１８７】このようにして表示されている画面に対し
必要部分を指示することにより、取り出すべき部分を確
定する。指示の方法は、認識対象画像から読み取り対象
文字と見なされる部分をまとめた複数の部分領域を抽出
して表示し、取得開始位置と終了位置とを指示すること
により、この開始および終了位置情報、および抽出され
た部分領域の位置情報に基づいて読取り対象領域を確定
する 以下、図面を参照して具体的に説明する。まず、マウス
などのポインテイングデバイスを用いて指示開始位置を
指示する。図３２の３８は３２の矩形内を指示している
例である。この後、指示位置を移動させる。この移動経
路を４２で示す。

【０１８８】まず、最初の指示で矩形３２の内部をたと
えば黒で塗りつぶし、オペレータにその矩形が選択され
ていることを知らせる。次に、指示位置が３９の位置に
移動したときに、３３の矩形を黒にする。さらに同様
に、４０に進んだときに、３４の矩形を黒にする。次
に、指示が再び４１に戻ることにより、３４の選択はキ
ャンセルされ、３４の矩形をもとに戻す。そして最後
に、選択の確定を意味する何らかの指示、たとえば、マ
ウスのボタンをクリックするなどして選択を確定する。

【０１８９】この場合、３２と３３とに対応する矩形が
選択され、これに対応する認識結果が取り出されて格納
される。開始位置は３８、終了位置は４１である。対応
する矩形は３２から３４であるが、矩形３３は、ポイン
テイングデバイスが３９の位置を通過することによって
選択されているのではなく、ここでは開始位置と現在位
置と矩形の前後関係から黒く塗る選択候補矩形を選び、
また最終的には読取対象領域を確定している。

【０１９０】図３３に別の例を示す。

【０１９１】この例では、指示は４３からはじまり、矩
形３２および矩形３３を経て、４６に至る経路をたどる
ものとする。このように矩形３４から矩形３３に戻らな
ければ図３２で説明したような矩形３３のキャンセルは
行なわない。現在位置はあくまでも、４５であり、これ
はいずれの矩形上にも無い点なので、その時点での終了
位置は３４と見なされるからである。また、終了位置は
４６であるので、かりに経路が矩形３５を通過しなくて
も矩形の前後関係から矩形３５が読み取り対象として選
ばれる。この例では３２、３３、３４、３５および３６
が選ばれることになる。

【０１９２】一般には、各行の認識結果の最後には改行
が付加される。これに対して各行の認識結果の最後に改
行を付加しないで認識結果を取り出すか、格納するか、
または、別のアプリケーションソフトに送るように構成
しても良い。このように、認識結果の格納の仕方や格納
フォーマットをユーザがモード選択することもできる。
認識モードがあるときなどは、それもモード選択可能に
できる。

【０１９３】このモード選択に対して、どのモードで行
なっているかによって矩形が情報取得候補として選択さ
れた時に内部を黒くするとして説明したが、この変化方
法を変えるようにしても良い。

【０１９４】たとえば、改行付加モードでは黒でなくピ
ンクで塗るとか、矩形の右側のみ黒でなくピンクにする
とか、あるいは黒く塗る領域を右側にはみ出すように変
化させるなどの方法が可能である。

【０１９５】改行付加の場合、段落があったときには改
行を付加しないようにする。段落は画像処理や文字認識
の結果として得られる事は従来の文書画像処理技術で公
知である。

【０１９６】矩形は行単位でなくても良く、たとえば行
を縦方向に接続したブロック単位でも良い。また文字単
位でも行なえる（図３４参照）。

【０１９７】別の指示手段としては、ポインテイングデ
バイスにより図３２の３８、３９、４０および４１の各
点を指示するように構成することも可能である。また、
各矩形の上をなぞるようにポインテイングデバイスを動
かして指示することも可能である。このとき、図３２で
示した例のように、４０の点から４１の点に戻ったとき
は矩形３４をキャンセルするようにしても良い。また、
４４の位置で一度何らかの確定のアクション、たとえば
４４の位置でマウスのボタンをクリックするようにし、
引き続き、そのあとの指定を経路が上向きに変わっても
４４をキャンセルしないように構成できる。

【０１９８】また、このような確定手段に加えて、デリ
ート機能を付加しても良い。すなわち、前述した確定手
段と同様な方法でデリートすべき矩形を決定し、決定し
たものは画面から消すかまたは色を薄くするなどして表
示し、残されたものについて認識するように設定しても
良い。これらは、複数の異なる領域指定手段と組み合わ
せて用いても良い。

【０１９９】また、画面表示された、シーケンシャルな
つながりを持つテキストデータに対して、ポインテイン
グデバイスにより指示して、必要なテキストデータを表
示画面中から取り出す方式は良く知られた公知の技術で
ある。この技術を前述した方式と組み合わせることによ
り、さらにより良いマンマシンインターフェースが可能
となる。

【０２００】また、これまでに説明した文字認識に関し
て、認識結果を得る領域を指定する為に表示される画面
上でポインテイングデバイスを操作するときは前述の例
で説明したような動作を行ない、ポインテイングデバイ
ス操作するときは、もしこれがシーケンシャルなつなが
りを持つときには従来から知られている動作によりテキ
ストデータを得るようにする。

【０２０１】一方、テキストデータが、シーケンシャル
なつながりを持たないケースでは、これらのテキストデ
ータは、文字フォントに変換されて２次元的に画面中に
配置されて表示されている。このような場合に、表示画
面中の単語、行、ブロックなどの位置情報をテキストデ
ータに付随しているフォーマット情報から抽出し、これ
に基づいて前述した文字認識のケースと同様に、ポイン
テイングデバイスにより指示して必要な文字コードを表
示画面中から取り出す動作を行なう。

【０２０２】なお、これらの複数の文字コード取得方法
を組み合わせた指示方式に対して、これらの操作そのも
のは、オペレータにとって同一、または同一と見なせる
方式に設定する。すなわち、同一の操作に対して、それ
ぞれの方式が操作の対象となっている表示画面に応じて
動作するように装置を構成する。

【０２０３】たとえば、開始位置の設定、終了位置の指
定は、指示対象がテキストを表示した画面であっても、
また指示対象が認識対象となる原画像の部分領域を矩形
で表したものを表示した画面であっても同一である。つ
まり、オペレータはどちらに対しても同一の操作を行な
う。これに対して、テキスト表示に関しては開始位置と
終了位置の情報により前述した方法で対象文字列を抜き
出し、一方、文字認識対象のものに対しては、この開始
位置および終了位置の情報と、部分領域の位置関係の情
報とから前述した手段で対象領域を確定し、その部分を
文字認識して文字列を抽出する。このような手段により
オペレータは多くの操作方法を覚えなくてもよくなるの
で、文字コード取得についての操作が非常に容易とな
る。

【０２０４】

【発明の効果】以上詳述したように本発明によれば、画
像切り取り機能とＯＣＲとを一体化することにより、従
来のように画面上に表示された文字画像を文字コードに
変換する際に、複数の処理系プログラムなどを使い分け
る必要がなくなり、所望の範囲をマウスなどで指定する
だけの簡単かつ統一的な操作で処理することが可能にな
る。また、このような文字画像を表示しているアプリケ
ーションとの通信手段を具備することにより、アプリケ
ーションの種類に応じた最適な処理方法を自動判別する
ことができることとなる。

【０２０５】さらに既存アプリケーションからの操作要
求を受け付ける通信手段を具備することにより、あたか
もそのアプリケーションが本発明の機能を持ったかのよ
うに振舞わせることが可能になり、そのアプリケーショ
ンの機能を大幅に向上することができる。また、検索機
能をも一体化させることによって、ユーザの作業効率の
向上、認識率の向上、およびユーザの発想支援などが図
られることとなる。

【図面の簡単な説明】

【図１】本発明の第１実施形態の文字コード取得装置の
構成を示す機能ブロック図。

【図２】第１実施形態の文字コード取得装置の動作手順
を示すフローチャート。

【図３】第１実施形態の文字コード取得開始の指示を示
す図。

【図４】第１実施形態の矩形領域による選択を示す図。

【図５】第１実施形態のポリゴンによる選択を示す図。

【図６】第１実施形態のマウスによる矩形選択を行なう
際の動作手順を示すフローチャート。

【図７】第１実施形態の選択範囲確定の確認を示す図。

【図８】第１実施形態の文字コードの外部デバイスへの
出力を示す図。

【図９】文書画像から文字コードを取得する際の動作の
比較を示す図。

【図１０】本発明の第２実施形態の文字コード取得装置
の構成を示す機能ブロック図。

【図１１】第２実施形態の通信対応アプリケーションの
構成を示す図。

【図１２】第２実施形態の文字コード取得装置の動作手
順を示すフローチャート。

【図１３】第２実施形態の取得方法決定部の動作手順を
示すフローチャート。

【図１４】第２実施形態の文字コード取得部の動作手順
を示すフローチャート。

【図１５】本発明の第３実施形態に係るエディタの概略
構成を示す図。

【図１６】第３実施形態のエディタの動作原理を示す概
念図。

【図１７】第３実施形態のエディタを適用したシステム
構成例を示す図。

【図１８】第３実施形態のデータフォーマットの異なる
複数のアプリケーションのファイルを閲覧する機能をも
ったマルチビューアに組み入れた際のシステム構成例を
示す図。

【図１９】本発明の第４実施形態の文字コード取得装置
の構成を示す機能ブロック図。

【図２０】第４実施形態の文字コード取得装置の動作手
順を示すフローチャート。

【図２１】第４実施形態の検索テキストの表示例を示す
図。

【図２２】本発明の第５実施形態の文字コード取得装置
の構成を示す機能ブロック図。

【図２３】第５実施形態の文字コード取得装置の動作手
順を示すフローチャート。

【図２４】第５実施形態の認識結果の曖昧性を示す図。

【図２５】第５実施形態の構成処理の手順を示すフロー
チャート。

【図２６】第６実施形態の文字コード取得部の動作手順
を示すフローチャート。

【図２７】第６実施形態の認識結果に対する操作指示の
入力を促す画面を示す図。

【図２８】本発明の第７実施形態の文字コード取得装置
の構成を示す機能ブロック図。

【図２９】第７実施形態のシステム構成を示す図。

【図３０】第７実施形態の文字コード取得部の動作手順
を示す図。

【図３１】第７実施形態の読取対象となる画像の一例を
示した図。

【図３２】第７実施形態の読取対象となる画像に対し文
字列抽出を行なった結果および指示位置の移動経路を示
す図。

【図３３】第７実施形態の読取対象となる画像に対し文
字列抽出を行なった結果および指示位置の移動経路を示
す図。

【図３４】第７実施形態の矩形表示単位を文字単位とし
た場合の表示イメージを示す図。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 黒沢 由明 神奈川県川崎市幸区小向東芝町１番地 株式会社東芝研究開発センター内 (72)発明者 杉山 博史 神奈川県川崎市幸区小向東芝町１番地 株式会社東芝研究開発センター内 (72)発明者 住田 一男 神奈川県川崎市幸区小向東芝町１番地 株式会社東芝研究開発センター内 (72)発明者 真鍋 俊彦 神奈川県川崎市幸区小向東芝町１番地 株式会社東芝研究開発センター内 (56)参考文献 特開 平７−28801（ＪＰ，Ａ) 特開 平６−150051（ＪＰ，Ａ) 特開 平１−243194（ＪＰ，Ａ) 特表 平３−504545（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06K 9/00 - 9/82

Claims (9)

(57)【特許請求の範囲】
1. 【請求項１】 表示画面上の任意の領域を範囲指定する
   範囲指定手段と、範囲指定された前記領域内の文字コードを取得するため
   の少なくとも第１又は第２の取得方法を、前記範囲指定
   された領域に対応したアプリケーションプログラムとの
   間の通信の可否に基づいて決定する取得方法決定手段
   と、 前記取得方法決定手段により決定された第１の取得方法
   に従い、前記アプリケーションプログラムとの通信によ
   り得られたテキストデータに基づいて前記文字コードを
   取得し、又は前記取得方法決定手段により決定された第
   ２の取得方法に従い、前記 範囲指定された領域内で描画
   されている画像データをビデオメモリから切り取る画像
   切り取り手段と、前記 切り出された画像データに対し文字認識を行なう文
   字認識手段とを具備していることを特徴とする文字コー
   ド取得装置。
2. 【請求項２】 前記取得方法決定手段は、前記指定され
   た領域への表示が前記アプリケーションプログラムの内
   部に保持された文字コードに基づいて行なわれていると
   きに、前記範囲指定された領域内の文字画像に対応した
   文字コードを前記アプリケーションプログラムが内部に
   保持する文字コードから取得する方法を前記第１の取得
   方法として決定することを特徴とする請求項１記載の文
   字コード取得装置。
3. 【請求項３】 前記取得方法決定手段は、前記指定され
   た領域への表示が前記アプリケーションプログラムの内
   部に保持された高品質の画像データに基づいて行なわれ
   ているときに、前記範囲指定された領域内の文字画像に
   対応した文字コードを前記アプリケーションプログラム
   が内部に保持する高品質の画像データから取得する方法
   を前記第１の取得方法として決定することを特徴とする
   請求項１記載の文字コード取得装置。
4. 【請求項４】 前記文字認識手段の認識結果に基づいて
   情報検索を行なう情報検索手段と、この検索結果を表示
   する検索結果表示手段とをさらに具備したことを特徴と
   する請求項１記載の文字コード取得装置。
5. 【請求項５】 前記情報検索手段により検索されたテキ
   ストに基づいて、前記文字認識手段の認識結果に含まれ
   る語の校正を行なう校正手段をさらに具備したことを特
   徴とする請求項４記載の文字コード取得装置。
6. 【請求項６】 前記文字認識手段は、前記ビデオメモリ
   から切り取られた画像データと、前記アプリケーション
   プログラムが内部に保持する高品質の画像データとの双
   方に対し文字認識を行なうことを特徴とする請求項１記
   載の文字コード取得装置。
7. 【請求項７】 複数の計算機それぞれに、前記アプリケ
   ーションプログラムとの通信を行なう通信手段を設け、
   この複数の計算機によって構成される分散システム上で
   動作することを特徴とする請求項１記載の文字コード取
   得装置。
8. 【請求項８】 前記範囲指定手段は、前記表示画面上か
   ら読み取り対象となる文字領域を抽出して所定の形態で
   表示画面上に一覧表示する一覧表示手段と、この一覧表
   示された文字領域の中から所望の文字領域を指示するこ
   とにより読み取り対象とする領域を確定する確定手段と
   を具備したことを特徴とする請求項１記載の文字コード
   取得装置。
9. 【請求項９】 前記範囲指定手段は、前記表示画面上か
   ら読み取り対象となる文字領域を抽出して所定の形態で
   表示画面上に一覧表示する一覧表示手段と、この一覧表
   示された文字領域に対し前記表示画面上でその文字領域
   の取得開始位置と取得終了位置とを指示する文字領域指
   示手段と、この指示された取得開始位置および取得終了
   位置と前記抽出された文字領域それぞれの位置関係とに
   基づいて読み取り対象とする領域を確定する確定手段と
   を具備することを特徴とする請求項１記載の文字コード
   取得装置。