JPH07220025A

JPH07220025A - 画像処理装置

Info

Publication number: JPH07220025A
Application number: JP6009806A
Authority: JP
Inventors: Masashi Hori; 正志堀
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1994-01-31
Filing date: 1994-01-31
Publication date: 1995-08-18

Abstract

(57)【要約】【目的】カメラによる入力画像からの文字認識を容易
にする。【構成】被写体原稿を複数の領域で分割撮影する。拡
張カード１４には、分割画像を合成する画像合成機能ソ
フトウエアと、文字画像を文字コードに変換する文字認
識機能ソフトウエアを持たせてある。メモリ・バス制御
回路４８は画像間の動きを検出機能を具備する。分割撮
影した複数の画像を画像合成し、文字認識する。又は、
分割撮影した画像を文字認識し、画像間の動きを参照し
て、異なる画像の文字認識結果を文章合成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像処理装置に関す
る。

【０００２】

【従来の技術】文字認識では、従来、イメージ・スキャ
ナなどの画像入力手段により印刷文字を先ず、画像デー
タ化し、その後、コンピュータ上の文字認識ソフトウエ
アにより文字画像を文字コードに変換する。画像入力手
段としては、イメージ・スキャナの他に、ディジタル電
子カメラがある。ディジタル電子カメラは、印刷面が平
面的でない場合や、イメージ・スキャナで読み取れない
ような大きなものを画像入力する場合に適している。

【０００３】

【発明が解決しようとする課題】文字認識のための画像
入力手段としてディジタル電子カメラを使用する場合、
当然のことながら、撮影画像における文字の大きさが文
字認識可能な程度に大きくなければならない。文字認識
可能な大きさに文字を撮影するために被写体原稿を複数
回に分けて撮影する場合、複数の画像を取り込んだ後に
各画像を文字認識した後、各文字認識結果をワードプロ
セッサにより本来の順序に文章編集することになり、煩
雑な操作と多大な時間がかかるという欠点がある。

【０００４】本発明は、このような不都合を解消する画
像処理装置を提示することを目的とする。

【０００５】本発明は又、操作性を向上させた画像処理
装置を提供することを目的とする。

【０００６】本発明は更に、文字認識の精度を向上させ
た画像処理装置を提供することを目的とする。

【０００７】

【課題を解決するための手段】第１の発明に係る画像処
理装置は、被写体像を連続的に電気信号に変換する変換
手段と、当該変換手段の変換面における画像の動きを検
出する動き検出手段と、当該動き検出手段により検出さ
れた動きに従い、当該変換手段による複数の画像を合成
する合成手段と、当該合成手段により合成された合成画
像中の文字画像を文字コードに変換する文字認識手段と
を有することを特徴とする。

【０００８】第２の発明に係る画像処理装置は、被写体
像を連続的に電気信号に変換する変換手段と、当該変換
手段の変換面における画像の動きを検出する動き検出手
段と、当該変換手段により変換された各画像に含まれる
文字画像を文字情報に変換する文字情報変換手段と、当
該動き検出手段により検出された動きに従い、当該文字
情報変換手段により認識された文字を合成する文字デー
タ合成手段とを有することを特徴とする。

【０００９】第３の発明に係る画像処理装置は、変倍機
能を持ち、光学像を連続的に電気信号に変換する変換手
段と、当該光学像内の文字領域を検出する文字領域検出
手段と、当該文字領域検出手段の検出結果を基に当該変
倍機能を動作させる制御手段とを有することを特徴とす
る。

【００１０】

【作用】撮像装置に文字認識機能を付加することによ
り、任意の大きさの原稿への対応が可能になる。また、
撮影時に被写体原稿の文字の大きさを検出し、文字認識
が可能か否かを判別して、適宜に、認識可能な大きさに
拡大撮影するので、認識率を高めることができる。更
に、撮影画像の動きにともなう複数画像間の位置関係を
随時検出し、検出結果をもとに複数画像又はその認識結
果を画像合成又は文章合成するので、煩雑な操作をしな
くて済む。

【００１１】

【実施例】以下、図面を参照して、本発明の実施例を詳
細に説明する。

【００１２】図１は、本発明の一実施例の概略構成ブロ
ック図を示す。図１において、１０はディジタル電子カ
メラの本体、１２はその記録媒体（ＰＣＭＣＩＡ規格の
メモリ・カード又はハードディスク装置など）、１４は
文字認識機能を具備する拡張カードである。拡張カード
１４はホストコンピュータ１６とも接続又は通信でき
る。

【００１３】カメラ本体１０において、２０は撮影レン
ズ、２２は絞り機能とシャッター機能を兼ねる絞り兼用
シャッタ、２４はストロボ、２６は機構部及び操作部を
制御するＣＰＵ、２８は機構部を駆動する駆動回路であ
る。３０は撮影レンズ２０による被写体の光学像を電気
信号に変換する撮像素子、３２は撮像素子３０を動作さ
せるために必要なタイミング信号を発生するタイミング
信号発生回路、３４はタイミング信号発生回路３２から
のタイミング信号に従い撮像素子３０を駆動する撮像素
子駆動回路、３６は撮像素子３０の出力からノイズを除
去するＣＤＳ回路及びＡ／Ｄ変換前に非線形増幅する非
線形増幅回路を備える前置処理回路、３８は前置処理回
路３６のアナログ出力をディジタル信号に変換するＡ／
Ｄ変換器である。４０はバッファ・メモリ、４２は各信
号処理部を制御する信号処理系制御用ＣＰＵ、４４は操
作補助のための情報やカメラの状態を表示する操作表示
装置、４６はカメラ本体１０を外部から制御するための
操作装置である。４８はバッファ・メモリ４０の書き込
み及び読み出しを制御すると共に、画像データ及び音声
データの転送を制御するメモリ・バス制御回路であり、
本実施例では、連続撮影時に、動きベクトルも検出する
機能を具備する。

【００１４】５０は本体１０に記録媒体１２を接続する
インターフェース、５２は拡張カード１４を接続する拡
張インターフェースである。

【００１５】５４はマイク等の音声入力回路、５６は音
声入力回路５４のアナログ出力をディジタル化して信号
処理制御用ＣＰＵ４２に印加するＡ／Ｄ変換器、５８は
信号処理制御用ＣＰＵ４２からのディジタル音声信号を
アナログ化するＤ／Ａ変換器、６０は、音声入力回路５
４の出力、Ｄ／Ａ変換器５８の出力又は拡張インターフ
ェース５２からの音声信号を選択して、音声出力装置６
２に印加するスイッチである。音声出力装置６２は一般
的にはスピーカであるが、音声出力端子であってもよ
い。６４はバッファ・メモリ３８に記憶される画像デー
タをアナログ映像信号に変換するＤ／Ａ変換器、６６
は、前置処理回路３６の映像信号出力、Ｄ／Ａ変換器６
４の映像信号出力又は拡張カード５２からの映像信号を
選択して、映像出力装置６８に印加するスイッチであ
る。映像出力装置６８は一般的には映像表示装置である
が、映像出力端子であってもよい。

【００１６】図２は、拡張カード１４の内部の概略構成
ブロック図を示す。７０は拡張バス・インターフェース
（Ｉ／Ｆ）、７２は撮像信号処理回路、７４は間引き処
理回路、７６はバッファ・メモリ、７８はバス・コント
ローラ、８０は外部Ｉ／Ｆコントローラである。８２は
動画圧縮伸長回路、８４はビデオ・エンコーダ、８６は
バッファ・メモリ７６からの画像データをアナログ信号
に変換するＤ／Ａ変換器、８８はカメラ本体１０からの
アナログ音声信号をディジタル化するＡ／Ｄ変換器、９
０はカメラ本体１０に出力すべき音声データをアナログ
信号に変換するＤ／Ａ変換器である。９２は高速演算が
可能なＲＩＳＣ型ＣＰＵ、９４はＲＩＳＣ型ＣＰＵ９２
の動作プログラムを記憶するプログラムＲＡＭ、９６は
ＲＩＳＣ型ＣＰＵ９２のＢＩＯＳを記憶するフラッシユ
ＲＯＭである。

【００１７】先ず、ディジタル電子カメラとしての本来
の動作を簡単に説明する。撮影者が操作装置４６で所定
の操作をすることにより撮影可能状態になり、機構部・
操作部制御用ＣＰＵ２６が駆動回路２８を介してレンズ
系を撮影者の意図に応じた状態に制御する。この際、撮
影条件などが操作表示装置４４に表示され、撮影者にカ
メラの状況を伝える。不図示の測光回路が被写体の明る
さを測定し、この測定値に従い絞り兼用シャッタ２２の
絞り値及びシヤッタ速度を機構部・操作部制御用ＣＰＵ
２６が算出し、その算出値に従い駆動回路２８が絞り兼
用シヤッター２２を駆動する。また、測光結果によって
は、撮影補助光としてストロボ２４を発光させる。

【００１８】撮像素子３０は、撮影レンズ２０及び絞り
兼用シヤッタ２２による被写体の光学像を電気信号に変
換する。撮像素子３０としてインターレース読み出し型
ＣＣＤイメージ・センサを用いた場合、絞り兼用シャッ
タ２２を設けることにより、転送中に光が入射して信号
電荷に悪影響を与えるのを防止できる。駆動回路３４は
タイミング信号発生回路３２の出力を増幅し、撮像素子
３０を駆動する。なお、タイミング信号発生回路３２
は、信号処理制御用ＣＰＵ４２により制御されている。

【００１９】このようにして駆動された撮像素子３０の
出力は、前置処理回路３６に入力される。前置処理回路
３６は、撮像素子３０の出力に含まれる低域ノイズをＣ
ＤＳ処理により除去すると共に、Ａ／Ｄ変換器３８のダ
イナミック・レンジを有効活用できるように非線形処理
する。前置処理回路３６の出力はＡ／Ｄ変換器３８によ
りディジタル信号に変換され、メモリ・バス制御回路４
８に印加される。

【００２０】メモリ・バス制御回路４８は、信号処理用
ＣＰＵ４２の制御下で、Ａ／Ｄ変換器３８の出力をバッ
ファ・メモリ４０に一旦蓄積した後、撮像素子３０の色
フィルター構成等によって決まる所定の順序で読み出
す。読み出された撮影画像データはインターフェース５
０を介して記録媒体１２に印加され、記録される。

【００２１】次に、本実施例の特徴的な動作を説明す
る。本実施例では、文字認識機能ソフトウエアと画像合
成機能ソフトウエアをホストコンピュータ１６から外部
インターフェースコントローラ８０を介して拡張カード
１４のプログラムＲＡＭ９４に書き込む。高速演算可能
なプロセッサーとしてＲＩＳＣ型ＣＰＵを用いている
が、もちろんＣＩＳＣ型ＣＰＵなど他のプロセッサを用
いてもよい。

【００２２】図３及び図４は全体として、本実施例にお
ける信号処理制御用ＣＰＵ４２及びＣＰＵ４２により制
御される機構部・操作部制御用ＣＰＵ２６の動作フロー
チャートを示す。図３及び図４を参照して、本実施例の
動作を説明する。

【００２３】撮影者の撮影開始の操作により、撮影が開
始し（Ｓ１）、先ず、レンズ系をワイド端に移動すると
ともに（Ｓ２）、被写体像の文書領域を抽出する（Ｓ
３）。文書領域の抽出の結果、文書領域が撮像面の全面
にわたって存在するか否かを判別し（Ｓ４）、文字領域
が撮像面の一部にとどまる場合（Ｓ４）、レンズ系を制
御して文字領域の水平方向又は垂直方向のいずれか一方
が撮像面いっぱいになるまでズーミングする（Ｓ１０〜
Ｓ１３，Ｓ６〜Ｓ８）。具体的には、先ず長手方向で文
字領域が一杯になるように拡大して（Ｓ１０）、認識可
能な大きさか否かを判断する（Ｓ１１）。認識可能なら
ば、撮影画像を記憶する（Ｓ１４）。ここで記憶した撮
影画像は、例えば、図５に示すように、原稿に対して撮
像面Ａのような関係であって、被写体文書全体を含むも
のになっている。

【００２４】Ｓ１１で認識不可能な場合、レンズ系を制
御して、短手方向で文字列が撮像面いっぱいになるよう
にズーミングする（Ｓ１２）。その結果の撮影画像の文
字の大きさが認識可能か否かを判別する（Ｓ１３）。判
別の結果、認識が可能であれば（Ｓ１３）、画像を記憶
する（Ｓ９）。ここで記憶される画像は、例えば、図５
に示すように、原稿に対して撮像面Ｂのような関係にな
っている。

【００２５】また、抽出した文書領域が撮像面全面にわ
たっている場合（Ｓ４）、文字の大きさから文字認識が
可能か否かを判断し（Ｓ５）、認識可能ならば撮影画像
を記憶する（Ｓ３９）。ここで記憶される画像は、例え
ば、図５に示すように、原稿の一部のみを含む撮像面Ｃ
のようなものになっている。

【００２６】Ｓ９で記憶された画像は、被写体原稿の一
部のみを含むものであるので、残りの文書の撮影を禁止
する操作がなされているか否かを調べる（Ｓ１５）。撮
影禁止の操作がなされていなければ（Ｓ９）、撮影を続
行し、撮影画像の動きベクトルによりカメラが動いた方
向と移動量を検出し（Ｓ１６）、前過程において記憶し
た画像に対して現時点で撮影している画像の位置関係を
求める。求めた位置関係から現撮影画像のうち前過程で
既に記憶されている箇所をファインダー又はモニタに撮
影画像とともに重複箇所が解る様に表示する（Ｓ１
７）。

【００２７】重複箇所の検出方法としては、例えば次の
ようにする。即ち、図６に示すように、動き検出用に撮
影画像内を領域分割した上で、分割領域の内の複数個の
注目画素点（ａ，ｂ，ｃ，ｄ）と撮像面の画角を決める
境界線までの位置情報を予め記憶しておく。図７に示す
ように複数画像（第１の撮影画像と第２の撮影画像）間
における注目画素点の移動量及び移動方向（例えば、ａ
からａ’、及びｂからｂ’）を算出して複数画像間にお
ける画角境界線の位置関係を求め、画像間の画角境界線
により囲まれた部分（図７では斜線部分）を重複箇所と
する。

【００２８】続いて、前過程で記憶した画像と新たに撮
影した画像とを位置関係及び重複箇所をつなげるように
画像合成して、その合成画像を記憶又は記録し（Ｓ１
８）、文書の残りがなくなるまで、Ｓ１６〜Ｓ８を繰り
返す（Ｓ１５）。

【００２９】文字認識に必要な文字画像を取り込んだら
（Ｓ１３又はＳ１５）、Ｓ１４又はＳ１８で記憶された
画像の文字認識を実行する（Ｓ１９）。文字認識結果
は、使用者の指示に従い、記録媒体１２に記録される
か、又は外部インターフェースにより外部に出力され
る。

【００３０】なお、文字の大きさが認識可能なまでに大
きくならない内に、レンズ系がテレ端に到達した場合
（Ｓ６）、認識不可能を警告して、使用者に被写体への
接近を促す（Ｓ２１）。

【００３１】被写体の文字認識を終了する操作があれば
（Ｓ２２）、終了する。

【００３２】本実施例では、撮影画像を随時に画像合成
するので、合成のための画像間の位置情報量が比較的少
なくなり、画像間の位置管理が容易になるという効果が
ある。

【００３３】図８及び図９は、本実施例の第２の動作フ
ローチャートを示す。

【００３４】撮影者の撮影開始の操作により、撮影が開
始し（Ｓ３１）、先ず、レンズ系をワイド端に移動する
とともに（Ｓ３２）、被写体像の文書領域を抽出する
（Ｓ３３）。文書領域の抽出の結果、文書領域が撮像面
の全面にわたって存在するか否かを判別し（Ｓ３４）、
文字領域が撮像面の一部にとどまる場合（Ｓ３４）、レ
ンズ系を制御して文字領域の水平方向又は垂直方向のい
ずれか一方が撮像面いっぱいになるまでズーミングする
（Ｓ４２〜Ｓ４７，Ｓ３７〜Ｓ４０）。具体的には、先
ず長手方向で文字領域が一杯になるように拡大して（Ｓ
４２）、その状態で文字認識を実行し（Ｓ４３）、文字
認識が可能か否かを判別し（Ｓ４４）、認識可能ならば
認識結果を記憶する（Ｓ４８）。ここで記憶した認識結
果は、例えば、図５において原稿に対して撮像面Ａのよ
うな関係であって、被写体文書全体の認識結果になって
いる。

【００３５】Ｓ４４で認識不可能な場合、レンズ系を制
御して、短手方向で文字列が撮像面いっぱいになるよう
にズーミングする（Ｓ４５）。その状態で文字認識を実
行し（Ｓ４６）、文字認識可能か否かを判別する（Ｓ４
７）。認識が可能であれば認識結果を記憶する（Ｓ４
１）。ここで記憶される認識結果は、例えば、図５に示
すように、原稿に対する撮像面Ｂを文字認識したものに
なっている。

【００３６】また、抽出した文書領域が撮像面全面にわ
たっている場合（Ｓ３４）、そのままで文字認識を実行
し（Ｓ３５）、文字認識が可能か否かを判断する（Ｓ３
６）。認識可能ならば認識結果を記憶する（Ｓ４１）。
ここで記憶される認識結果は、例えば、図５に撮像面Ｃ
として示すように、原稿の一部のみの認識結果になって
いる。

【００３７】Ｓ４１で記憶された認識結果は、被写体原
稿の一部のみからなるものであるので、残りの部分の撮
影を禁止する操作がなされているか否かを調べる（Ｓ４
９）。撮影禁止の操作がなされていなければ（Ｓ４
９）、撮影を続行し、撮影画像の動きベクトルによりカ
メラが動いた方向と移動量を検出し（Ｓ５０）、直前に
文字認識した画像に対して現時点で撮影している画像の
位置関係を求める。求めた位置関係から現撮影画像のう
ち前過程で既に文字認識されている部分との重複箇所が
明確に分かるように、撮影画像をファインダー又はモニ
タに表示する（Ｓ５１）。

【００３８】現時点で撮影されている画像の文字認識を
実行し（Ｓ５２）、前過程で記憶した認識結果と新たに
得た認識結果との間で重複している箇所があるならば、
新たに得た認識結果から重複箇所を削除する（Ｓ５
３）。例えば、図１０の（Ａ）に示すように、第１の撮
影から第２の撮影へと移動があり、図６及び図７で説明
したように複数画像間の境界線により囲まれる部分を求
める。第１の撮影の認識結果と第２の撮影の認識結果が
それぞれ図１０（Ｂ）に示すように得られたとすると、
重複箇所の情報をそれぞれの認識結果に付加する。新し
い認識結果から重複文字を削除し、残った認識文字が無
ければ、Ｓ４９に戻り（Ｓ５４）、残った認識文字があ
れば（Ｓ５４）、前過程で得られた認識結果に残りの認
識文字を合成する。この合成の時に、重複箇所の情報を
利用し、文章として正しくつながるように合成する。例
えば、図１０（Ｂ）に対して、合成結果は、図１０
（Ｃ）に示すようになる。

【００３９】被写体原稿の全部の文字認識が終了したら
（Ｓ４８又はＳ４９）、認識結果は、使用者の指示に従
い、記録媒体１２に記録されるか、又は外部インターフ
ェースにより外部に出力される。

【００４０】なお、図３の場合と同様に、文字の大きさ
が認識可能なまでに大きくならない内に、レンズ系がテ
レ端に到達した場合（Ｓ３７）、認識不可能を警告し
て、使用者に被写体への接近を促す（Ｓ５７）。

【００４１】被写体の文字認識を終了する操作があれば
（Ｓ５８）、終了する。

【００４２】図８及び図９に示す動作では、取り込んだ
文字画像を随時に文字認識するので、実質的にデータを
高圧縮していることになり、システム内のデータ記憶容
量が少なくて済む。換言すると、大量のデータを扱える
という利点がある。

【００４３】図４におけるＳ９〜Ｓ１８及び、図９にお
けるＳ４１〜Ｓ５５における、撮影画像と記憶画像又は
文字認識結果の変化を、図１１〜図１６を参照して、説
明する。図１１は原稿であり、図１２は１回目の撮影に
よる文字領域（Ａ）とその記憶画像又は認識結果
（Ｂ）、図１３は２回目の撮影による文字領域（Ａ）と
その記憶画像又は認識結果（Ｂ）、図１４は３回目の撮
影による文字領域（Ａ）とその記憶画像又は認識結果
（Ｂ）、図１５は４回目の撮影による文字領域（Ａ）と
その記憶画像又は認識結果（Ｂ）、図１６は採集的な記
憶画像又は認識結果を示す。

【００４４】図１１に示す原稿に対して、１回目の撮影
で入力された文字領域部分が、図１２（Ａ）に示すよう
になっているとき、記憶される撮影画像又は認識結果
は、文字認識誤りが無いとして、図１２（Ｂ）に示すよ
うに、図１２（Ａ）と同じである。２回目の撮影では１
回目の撮影より一部重複して右側を撮影しており、ファ
インダ又はモニタには、図１３（Ａ）に示すように重複
箇所が少し暗転して（又は着色されて）表示される。こ
の第２の撮影により、記憶画像又は認識結果は図１３
（Ｂ）のようになる。図１３（Ｂ）では、分かりやすい
ように、前の撮影（第１の撮影）による画像（又は認識
結果）部分を点線で囲んである。点線で囲んだ部分に続
いて、第２の撮影で得た新規画像（又は新規な文字認識
結果）を合成する。

【００４５】同様に、３回目の撮影により、ファインダ
又はモニタには、図１４（Ａ）に示すような画像が表示
され、合成画像又は認識結果は、図１４（Ｂ）に示すよ
うになる。４回目の撮影により、ファインダ又はモニタ
には、図１５（Ａ）に示すような画像が表示され、合成
画像又は認識結果は、図１５（Ｂ）に示すようになる。
図１４（Ｂ）及び図１５（Ｂ）でも、直前までの合成画
像又は認識結果を点線で囲んで示してある。

【００４６】最終的な合成画像又は認識結果は図１６に
示すようになり、図１１に示す原稿と同じになる。

【００４７】図１７及び図１８は全体として、本実施例
の第３の動作フローチャートを示す。

【００４８】撮影者の撮影開始の操作により、撮影が開
始し（Ｓ６１）、先ず、レンズ系をワイド端に移動する
（Ｓ６２）。被写体像から文書領域を抽出し（Ｓ６
３）、縦書きか横書きかを判別する（Ｓ６４）。通常の
文書は、行間隔を開けて書かれるものであり、行方向は
撮像面に対して大旨水平方向又は垂直方向に合致する。
縦書き横書きの判別方法としては、例えば、水平方向又
は垂直方向で、信号成分の変化する度合いの少ない方向
を行方向とすればよい。続いて、撮影画像上での文字の
大きさから、文字認識可能な大きさになる撮影画角、画
角割り及びその撮影順をファインダ又はモニタ画面に表
示する（Ｓ６５）。例えば、図１９に示す原稿に対し
て、図２０に示すように、撮影画角、画角割り及びその
撮影順を表示する。

【００４９】Ｓ６５で設定した画角及び撮影範囲になる
ようにレンズ系をテレ側に制御し（Ｓ６６）、テレ端に
到達する前に、認識可能な大きさになれば（Ｓ６７）、
撮影文字行を正しく撮像面の水平又は垂直に並行になる
ように、図２１に点線で示すように、ファインダ又はモ
ニタに１又は２以上の基準線を表示する。基準線を縦に
引くか又は横に引くかは、Ｓ６４で縦書き・横書き検出
した結果に従う。また、複数の基準線を引く場合、その
基準線の間隔は行間隔に合わせて設定されるが、その基
準線間隔も、Ｓ６４での検出結果により設定される。こ
れにより、撮影画像内で文字行が水平又は垂直になるよ
うに文書領域を撮影できる。

【００５０】複数画像の位置情報を記憶するメモリのア
ドレス（二次元座標）をリセットし（Ｓ７１）、第一の
撮影画像を記憶し（Ｓ７２）、その画像のアドレス（二
次元座標位置）を記憶する（Ｓ７３）。

【００５１】残りの文書（又は領域）を継続して撮影し
ない様な指示がなされているか否かを判別し（Ｓ７
４）、撮影中止の指示がなければ、撮影を続行する。即
ち、前過程で記憶した画像と現在の撮影画から、現在の
撮影画の移動量と移動方向を検出する（Ｓ７５）。検出
された移動量及び移動方向が、新規な画像を取り込むこ
とになると判断される閾値である所定量に達しているか
を判別し（Ｓ７６）、移動量が所定量に達していなけれ
ば、Ｓ７４，Ｓ７５，Ｓ７６をループし、移動量が所定
値に達するまで待ち状態となる。移動量が所定値以上あ
るときは（Ｓ７６）、新規な画像が取り込まれているこ
とになり、移動量と移動方向の検出結果から現撮影画像
と記憶画像との重畳部分を表示し（Ｓ７７）、重畳部分
の量（例えば、文字列などの列数や行数あるいは文字
数）が所定値以上あるか否かを判別し（Ｓ７８）、重な
る部分が少ないときは、適切な位置関係で画像を合成で
きないおそれがあるので、移動し過ぎを警告し（Ｓ７
９）、Ｓ７４に戻る。所定量の重なりがあるとき（Ｓ７
８）、移動量・移動方向から直前に撮影した画像に対す
る位置情報を画像アドレスとしてカウントし（Ｓ８
０）、そのアドレスに画像を記憶し（Ｓ８１）、その画
像アドレスを記憶する（Ｓ８２）。

【００５２】残り文書の撮影中止の指示があると（Ｓ７
４）、撮影動作を停止する。前過程までに記憶した画像
が複数有るかいなかを判別し（Ｓ８３）、複数画像が存
在するときは、それらの画像を、それぞれの画像アドレ
スに従って合成する（Ｓ８４）。画像の重複部分は、一
定の基準に従い、例えば先に説明したようにして削除す
る。合成画像又は単一画像に対し文字認識を実行し（Ｓ
８５）、認識結果を記録媒体に記録する（Ｓ８６）。

【００５３】前過程で撮影した原稿とは別の原稿を撮影
する場合、Ｓ６２に進んで、上記プロセスを繰り返し
（Ｓ８７）、そうでない場合には、終了する。

【００５４】図１７及び図１８に示す動作では、原稿を
分割撮影する必要性とその画角、撮影回数及び撮影順序
を表示するので、使用者は、被写体である原稿の撮影範
囲及び撮影順などを視覚的にかつ容易に把握できるとい
う効果がある。また、文書の縦書き・横書き判別を行
い、その判別結果に合わせて基準線を表示することによ
り、使用者は文章行が水平又は垂直になるように被写体
原稿を撮影でき、高い文字認識率を達成しやすくなる。
複数画像問の移動量が所定量以下である時は画像を取り
込まないので、画像又は認識結果データの記憶容量が少
なくて済む。画像間の重複量を所定量以上に保つ様にす
ることにより、合成のための情報が多くなり、より正確
に画像合成できる。画像間の移動量及び重複量を文字を
単位とすることにより、人間の判断基準に合致した合成
処理となり、使用感が向上する。

【００５５】

【発明の効果】以上の説明から容易に理解できるよう
に、本出願に係る発明によれば、文字認識の操作性を向
上し、認識精度を高めることができる。更には、被写体
原稿から任意の距離にあって、任意の大きさの被写体原
稿の文字認識が可能になる。また、使用者は被写体原稿
を取り込むにあたって目視によって文字を追うかの様な
自然な動かし方で画像を取り込み、画像入力のためのス
キャニングの仕方に気遣う必要がなくなり、使い勝手が
良くなる。

【図面の簡単な説明】

【図１】本発明の一実施例の概略構成ブロック図であ
る。

【図２】図１の拡張カード１４の内部の概略構成ブロ
ック図である。

【図３】本実施例の第１の動作フローチャートの一部
である。

【図４】本実施例の第１の動作フローチャートの一部
である。

【図５】原稿と撮影範囲（又は撮像面の画像）との関
係の説明図である。

【図６】画角内の注目画素点の説明図である。

【図７】２回の撮影における移動量及び移動方向の説
明図である。

【図８】本実施例の第２の動作フローチャートの一部
である。

【図９】本実施例の第２の動作フローチャートの一部
である。

【図１０】図８及び図９に示す動作における文字認識
結果の合成プロセスの説明図である。

【図１１】被写体原稿の一例である。

【図１２】図１１に示す原稿に対する、１回目の撮影
による撮影画像と合成画像又は認識結果である。

【図１３】図１１に示す原稿に対する、２回目の撮影
による撮影画像と合成画像又は合成認識結果である。

【図１４】図１１に示す原稿に対する、３回目の撮影
による撮影画像と合成画像又は合成認識結果である。

【図１５】図１１に示す原稿に対する、４回目の撮影
による撮影画像と合成画像又は合成認識結果である。

【図１６】図１１に示す原稿に対する、最終的な合成
画像又は合成認識結果である。

【図１７】本実施例の第３の動作フローチャートの一
部である。

【図１８】本実施例の第３の動作フローチャートの一
部である。

【図１９】被写体原稿の一例である。

【図２０】Ｓ６５での画角目安表示例である。

【図２１】Ｓ７０での基準線表示例である。

【符号の説明】

１０：ディジタル電子カメラ本体１２：記録媒体１
４：拡張カード１６：ホストコンピュータ２０：撮
影レンズ２２：絞り兼用シャッタ２４：ストロボ
２６：機構部・操作部制御ＣＰＵ２８：機構部駆動回
路３０：撮像素子３２：タイミング信号発生回路
３４：撮像素子駆動回路３６：前置処理回路３８：
Ａ／Ｄ変換器４０：バッファ・メモリ４２：信号処
理系制御用ＣＰＵ４４：操作表示装置４６：操作装
置４８：メモリ・バス制御回路５０：インターフェー
ス５２：拡張インターフェース５４：音声入力回路
５６：Ａ／Ｄ変換器５８：Ｄ／Ａ変換器６０：スイ
ッチ６２：音声出力装置６４：Ｄ／Ａ変換器６
６：スイッチ６８：映像出力装置７０：拡張バス・
インターフェース７２：撮像信号処理回路７４：間
引き処理回路７６：バッファ・メモリ７８：バス・
コントローラ８０：外部Ｉ／Ｆコントローラ８２：
動画圧縮伸長回路８４：ビデオ・エンコーダ８６：
Ｄ／Ａ変換器８８：Ａ／Ｄ変換器９０：Ｄ／Ａ変換器
９２：ＲＩＳＣ型ＣＰＵ９４：プログラムＲＡＭ
９６：フラッシユＲＯＭ

Claims

【特許請求の範囲】

【請求項１】被写体像を連続的に電気信号に変換する
変換手段と、当該変換手段の変換面における画像の動き
を検出する動き検出手段と、当該動き検出手段により検
出された動きに従い、当該変換手段による複数の画像を
合成する合成手段と、当該合成手段により合成された合
成画像中の文字画像を文字コードに変換する文字認識手
段とを有することを特徴とする画像処理装置。
【請求項２】更に、上記動き検出手段の検出結果に従
い上記撮像手段による複数の撮影画像間の重複部分を検
出する重複検出手段と、重複部分とそれ以外の部分とを
識別できるように撮影画像を表示する表示手段とを設け
た請求項１に記載の画像処理装置。
【請求項３】更に、上記動き検出手段の検出結果を所
定値を比較する比較手段を有し、上記画像合成手段が、
当該所定値以上の動きのある撮影画像を画像合成の対象
とする請求項１に記載の画像処理装置。
【請求項４】更に、新たな撮影画像から重複量を算出
する重複量算出手段を具備し、上記画像合成手段が、当
該重複量が所定値以上のとき、当該新たな撮影画像を画
像合成する請求項１に記載の画像処理装置。
【請求項５】更に、撮影画像から文字間隔を検出する
文字間隔検出手段を有し、上記重複検出手段は、合成す
べき画像の重複量を文字単位で検出する請求項２に記載
の画像処理装置。
【請求項６】上記動き検出手段が、動き検出の基準点
と撮影画角との位置関係に従って、撮影画像間の基準点
の移動量及び移動方向から複数の画角の位置関係を求
め、上記画像合成手段が、画角間の位置関係から複数画
像の重複部分を検出し、重複部分を除去して画像合成す
る請求項１に記載の画像処理装置。
【請求項７】被写体像を連続的に電気信号に変換する
変換手段と、当該変換手段の変換面における画像の動き
を検出する動き検出手段と、当該変換手段により変換さ
れた各画像に含まれる文字画像を文字情報に変換する文
字情報変換手段と、当該動き検出手段により検出された
動きに従い、当該文字情報変換手段により認識された文
字を合成する文字データ合成手段とを有することを特徴
とする画像処理装置。
【請求項８】更に、上記動き検出手段の検出結果に従
い上記撮像手段による複数の撮影画像間の重複部分を検
出する重複検出手段と、重複部分とそれ以外の部分とを
識別できるように撮影画像を表示する表示手段とを設け
た請求項７に記載の画像処理装置。
【請求項９】上記文字データ合成手段が、上記文字認
識手段による複数の撮影画像の文字コード・データから
同一文字認識部分を検出する共通部検出手段を有し、当
該共通部検出手段の検出結果を基に複数の撮影画像の文
字コード・データを文章合成する請求項７に記載の画像
処理装置。
【請求項１０】更に、上記動き検出手段の検出結果を
所定値を比較する比較手段を有し、上記文字データ合成
手段が、当該所定値以上の動きのある撮影画像の文字認
識結果を合成対象とする請求項７に記載の画像処理装
置。
【請求項１１】更に、撮影画像から文字間隔を検出す
る文字間隔検出手段を有し、上記重複検出手段は、合成
すべき画像の重複量を文字単位で検出する請求項８に記
載の画像処理装置。
【請求項１２】上記動き検出手段が、動き検出の基準
点と撮影画角との位置関係に従って、撮影画像間の基準
点の移動量及び移動方向から複数の画角の位置関係を求
め、上記文字データ合成手段が、画角間の位置関係から
複数画像の認識結果の重複部分を検出し、重複部分を除
去して文字コードを文章合成する請求項８に記載の画像
処理装置。
【請求項１３】変倍機能を持ち、光学像を連続的に電
気信号に変換する変換手段と、当該光学像内の文字領域
を検出する文字領域検出手段と、当該文字領域検出手段
の検出結果を基に当該変倍機能を動作させる制御手段と
を有することを特徴とする画像処理装置。
【請求項１４】更に、撮影画像上の文字の大きさを検
出する文字サイズ検出手段と、文字の大きさから文字認
識が可能か否かを判別する判別手段とを有し、文字認識
が不可能な文字の大きさのとき、認識可能な大きさに上
記変倍機能を制御する請求項１３に記載の画像処理装
置。
【請求項１５】最大限に拡大してなお文字認識不可の
とき所定の警告を出力する請求項１４に記載の画像処理
装置。
【請求項１６】更に、撮影画像上の文字の大きさを検
出する文字サイズ検出手段と、文字の大きさから文字認
識が可能か否かを判別する判別手段と、文字認識が可能
な文字サイズとなる拡大率を算出する拡大率算出手段と
を有する請求項１３に記載の画像処理装置。
【請求項１７】更に、撮影画像上の文字の大きさを検
出する文字サイズ検出手段と、文字の大きさから文字認
識が可能か否かを判別する判別手段と、文字認識が可能
な文字サイズとなる拡大率を算出する拡大率算出手段と
を有し、撮影画像に対する拡大時の撮影画角を１以上の
撮影画像とともに表示する請求項１３に記載の画像処理
装置。
【請求項１８】更に、撮影画像上の文字の大きさを検
出する文字サイズ検出手段と、文字の大きさから文字認
識が可能か否かを判別する判別手段と、文字認識が可能
な文字サイズとなる拡大率を算出する拡大率算出手段と
を有し、拡大撮影時の撮影画角による分割撮影領域を撮
影画像とともに表示する請求項１３に記載の画像処理装
置。
【請求項１９】更に、撮影画像から文字間隔を検出す
る文字間隔検出手段と、文字間隔から被写体原稿の縦書
き横書きを判別する縦横判別手段とを有し、文字の行方
向により垂直及び水平の何れか一方に沿った基準線を撮
影画像とともに表示する請求項１３に記載の画像処理装
置。