JP4104605B2 - 画像処理装置 - Google Patents

Description

本発明は、カメラと表示画面とを備え、カメラで撮影した画像を表示画面に表示する画像処理装置に関する。

近年、デジタルカメラの普及に伴って、日常生活においても画像を取り込む機会が多くなってきている。また、携帯電話機やＰＤＡ（Personal Digital Assistant）などの携帯端末においても、高性能のカメラ機能が搭載されたものも多くなってきており、中には読み込んだ画像に対して文字認識などの高度な処理を行うものもある。

さて、例えばカメラ機能が搭載された携帯電話機などにおいて、カメラで被写体を撮影してその画像を取り込む際に、通常付属の液晶ディスプレイに代表される表示画面に画像が収まるように画角や撮影距離の調整を行ってシャッターを押す。すると、表示画面に表示された画像領域のすべてが保存されることとなる。通常、その領域は長方形の形状に設定されているのが一般的である。

しかし、ユーザ側の使い方は、さまざまであり、時として画像の取り込みが必要な領域が表示画面に表示された領域、つまり長方形の領域と一致しない場合がある。
この場合、ユーザは、撮影した画像データを一旦、メモリなどに保存した後、煩わしい画像編集作業を行うことで、画像データから必要な領域を切り出さなくてはならない。

また、一時的ではあるが、不要な画像データについてもメモリに取り込むことになるため、画像サイズも大きくなり、デジタルカメラや携帯電話機のメモリを無駄に使用することになる。

一方、スキャナを接続した文字認識装置などにおいて、文書などの画像をスキャナで取り込んで文字認識を行う場合、文字認識すべき領域を指定する方法としては、文書の一部あるいは全部を画像データとして取り込んだ上でレイアウト解析などの処理を行い、その結果を文字や行を囲んで表示し、ユーザに認識領域を指定させることが考えられる。

しかしながら、この場合、ユーザは複数の文字や行から目的の領域を指定しなければならない。さらにはレイアウト解析の結果によっては正しく領域を抽出できない恐れもある。また、一度の撮像では画面に収まり切らないような長さの文字行を文字認識したい場合、複数回の撮像と認識を繰り返す必要がある。

また、新聞などのように段組が複雑な文書の場合、画像として取り込みたい領域を指定する方法として、ＰＤＡのような携帯端末では、タッチパネル等のインターフェースが装備されており、ユーザはそれにより領域指定が可能となるものの、携帯電話機やデジタルカメラなどにおいては、コストの面からタッチパネル等の装置は搭載できないため、領域指定が困難である。

タッチパネルを用いずに領域指定を行う先行技術として、例えば文字認識するために画像上の位置を指定するための位置指定装置と、指定された位置を含む部分画像に含まれる文字を認識するための文字認識装置と、文字認識結果に基づいてデータベースを検索するためのデータベース検索装置と、検索されたデータベースの情報を画像とともに表示装置上に表示する制御を行なう情報表示制御装置とを備えた画像処理装置の技術が公開されている（例えば特許文献１参照）。

この画像処理装置の場合、タッチパネル自体は、用いないものの、位置指定装置を文字認識装置に接続しており、タッチパネルと同様に位置指定のための何らかの装置を接続する必要があり、コスト高になる。
特開２００２−２２２１９６号公報

上述したように、従来の技術では、カメラから入力された表示画面の画像について、タッチパネルや位置指定装置等のインターフェース装置を装備しない限り、ユーザは、その画像のうちの所望の領域を容易に指定することはできなかった。
また、一回の撮影で表示画面に収まりきらないような大きなサイズの画像を取り込む際も、被写体に対して複数回の撮影操作（カメラで撮影した画像をユーザが保存操作を行うこと）を繰り返す必要があり、ユーザにとって煩わしい作業であった。

本発明はこのような課題を解決するためになされたもので、タッチパネルや位置指定装置等のインターフェース装置を用いることなく、カメラで撮影した画像のうちの所望の領域を画像データとして容易に取り込むことができる画像処理装置を提供することを目的としている。

上記した目的を達成するために、本発明の画像処理装置は、カメラと表示画面とを搭載した画像処理装置本体を移動させながら前記カメラで被写体を撮影して得た画像を前記表示画面に表示する画像処理装置において、前記カメラで撮影された被写体の画像と、表示画面内の画像の移動軌跡の情報とを記憶可能な領域を有するメモリと、前記画像の領域または位置を指定するためのポインタを前記表示画面の所定位置に表示するポインタ表示手段と、前記カメラで被写体を撮影する際の前記携帯端末本体の動きに伴って前記被写体の画像が前記ポインタの位置から移動した移動軌跡の情報を前記メモリに記憶する移動軌跡記憶手段と、前記移動軌跡の情報を前記メモリから読み出し前記画像に移動軌跡を重畳させたときに、前記移動軌跡により前記画像の任意の領域が囲まれた場合、領域指定終了条件を満たしたものと判定する判定手段と、前記判定手段により領域指定終了条件を満たしたものと判定された場合、前記カメラで撮影された被写体の画像の一部を切り出し前記メモリに記憶する画像処理手段とを具備することを特徴とする。

本発明では、カメラで被写体を撮影する際に、ユーザは、携帯端末本体を手で持って領域を描くように移動させることで所望の領域を指定する。この動きに伴って被写体の画像が移動した移動軌跡の情報がメモリに記憶される。
携帯端末本体内では、ＣＰＵが、メモリに記憶された移動軌跡の情報に基づいてカメラで撮影される被写体の画像を保存するか否かを判定するので、タッチパネルや位置指定装置等のインターフェース装置を用いることなく撮影した画像の領域を指定できる。

以上説明したように本発明によれば、タッチパネルや位置指定装置等のインターフェース装置を用いることなくカメラで撮影した画像のうちの所望の領域を画像データとして取り込むことができる。

以下、本発明の実施の形態を図面を参照して詳細に説明する。
図１は本発明に係る第１の実施形態の携帯電話機の構成を示す図、図２は図１の携帯電話機のカメラ部の読み取り範囲、つまり撮影範囲を示す図である。

図１に示すように、この携帯電話機は、キー操作部１１、メモリ１２、アンテナ１３、通話部１４、カメラ部１５、無線通信部１６、表示部１７、ＣＰＵ１８などを携帯電話機本体１０に備えている。

キー操作部１１は、テンキー、電源ボタン、通話ボタン、方向キー（→、←、↓、↑など）、機能キーなどが設けられており、ユーザのキー操作またはボタン操作に応じた指示を受け付ける。

メモリ１２には、システム領域１２ａ、プログラムライブラリ１２ｂ、第１バッファ１２ｃ、第２バッファ１２ｄ、画像保存領域１２ｅ、移動軌跡記憶領域１２ｆ、ポインタ記憶領域１２ｇなどの記憶領域が設けられている。
システム領域１２ａには、この携帯電話機の機能を統括制御するプログラム（ファームウェアなど）と設定情報などが記憶されている。電源ボタンの押下によりこのシステム領域１２ａのプログラムがＣＰＵによって実行される。

プログラムライブラリ１２ｂは、この携帯電話機で実行可能なプログラムが記憶される領域であり、例えばパケット通信によりインターネットのＷｅｂサイトなどから取得、または予め記憶されていたＪＡＶＡ（登録商標）アプリケーションソフトウェア、ＢＲＥＷアプリケーションソフトウェアなどが記憶される。なお、この実施形態では、これらのソフトウェアは製品出荷時点でメモリ１２に予め記憶されているものとし、ソフトウェアが使用可能になるまでの過程の説明は省略する。ＪＡＶＡ、ＢＲＥＷなどは登録商標である。

第１バッファ１２ｃは、カメラ部１５で撮影された画像データが逐次に保持される領域である。第２バッファ１２ｄは、第１バッファ１２ｃに保持されている画像データを加工（画像の切り出し処理や連結処理など）するため作業領域である。

画像保存領域１２ｅには、第１バッファ１２ｃおよび第２バッファ１２ｄなどに保持されている画像データのうち最終的に保存が確定した画像データ（一部の領域が切り出された画像データや画像連結後の大きな画像データなど）が保存される。
ポインタ記憶領域１２ｇには、表示部１７の表示画面に表示されるポインタとして、例えばポイント指示用の十字形状のものと、任意の幅で画像の対象部分をなぞるためのラインマーカの形状のものとが記憶されている。ラインマーカの形状のポインタの幅や形状は設定画面からの指定によって変更可能である。

移動軌跡記憶領域１２ｆには、表示画面に表示されたポインタが表示画像上を移動したときの移動軌跡の情報が順次記憶される。移動軌跡記憶領域１２ｆには、始めに取り込んだ画像データがビットマップ形式などに展開（マッピング）して保存されており、移動軌跡の情報（位置座漂）が入力されると、画像データの該当座漂の位置にドットが打たれる。移動軌跡の情報の持ち方は、ポインタの形状に応じて異なる。例えばポインタが十字形状のものの場合、移動軌跡記憶領域１２ｆには、十字形状の交点の位置にドットが打たれる。またポインタがラインマーカの形状のものの場合、移動軌跡記憶領域１２ｆには、ラインマーカの外形の幅でドットが打たれる。

無線通信部１６は、アンテナ１３を通じて携帯電話網の無線基地局との無線通信を行う。無線通信には、音声通信（通話）やパケット通信（データ通信）などが含まれる。通話部１４は、スピーカおよびマイクと音声回路部などを有している。通話部１４は、利用者が携帯電話としての通話を行うためのものである。

カメラ部１５は、例えばＣＣＤ素子やＣＭＯＳセンサなどの撮像素子とその駆動回路、レンズなどの光学系などからなるものであり、被写体Ｒ１を撮影して画像データを得る。カメラ部１５は、表示部１７の反対側の面に配置されている。被写体Ｒ１としては、名刺、名簿、レポート用紙、伝票などの帳票の他、風景なども含まれる。

表示部１７は、カメラ部１５によって撮像された画像を表示する装置であり、例えばＬＣＤやＥＬなどの薄型ディスプレイなどである。表示部１７は、携帯電話機本体１０のカメラ部１５とは反対側の面（キー操作部１１と同じ面）に配置されており、カメラ部１５で撮影された画像を表示部１７に映し、それをユーザが見ながらキー操作を行うことが可能である。表示部１７は、例えばＱＶＧＡ（２４０×３２０ドット）サイズなどの長方形の表示画面（表示エリア）を備えている。なお、本発明は上述した表示画面のサイズに限定されるものではなく、さまざまなサイズ、ドット数のものが利用可能である。

ＣＰＵ１８は、上記各部を制御する。例えばＣＰＵ１８は、カメラ部１５で撮影された被写体Ｒ１の画像に、画像の位置を指定するためのポインタＰを重ねて表示画面に表示するポインタ表示手段として機能する。また、ＣＰＵ１８は、カメラ部１５で被写体Ｒ１を撮影する際の携帯電話機本体１０の動きに伴ってポインタＰが被写体Ｒ１の画像上を移動した移動軌跡の情報をメモリ１２の移動軌跡記憶領域１２ｆに記憶する移動軌跡記憶手段として機能する。

ＣＰＵ１８は、メモリ１２の移動軌跡記憶領域１２ｆに記憶された移動軌跡の情報に基づいてカメラ部１５で撮影される被写体Ｒ１の画像をメモリ１２の画像保存領域１２ｅに保存するか否かを判定する判定手段として機能する。例えば移動軌跡保存領域１２ｆに記憶された移動軌跡の情報により領域がクローズされた場合、ＣＰＵ１８は、カメラ部１５で撮影された被写体Ｒ１の画像を画像保存領域１２ｅに保存すると判定する。

ＣＰＵ１８は、メモリ１２のポインタ記憶領域１２ｇに記憶されているポインタの中から、利用者が用途に応じていずれか１つを選択して利用するための設定画面（ユーザインターフェース画面）を表示し、この画面で選択されたポインタをポインタ記憶領域１２ｇから読み出して表示すると共に、選択されたポインタの形状に応じた領域指定のための制御を行う。

ＣＰＵ１８は、ポインタの形状に応じて、メモリ１２に記憶された移動軌跡の情報を用いてメモリ１２の画像保存領域１２ｅへの画像の保存の可否を判定する。例えばポインタの形状が十字形状の場合、ドットデータのつながりで、あるエリア（終端された領域）が形成された場合に、そのエリア内の画像を保存すると判定する。また、ポインタの形状がラインマーカの形状の場合、書き始めから書き終わりまでのある幅のラインの中に含まれる画像を保存すると判定する。

ＣＰＵ１８は、ポインタの移動軌跡が所定の範囲を超えた場合、その旨を表示部１７の画面に表示するなどして報知する報知手段して機能する。所定の範囲とは、表示画面の中央部にポインタが表示されるものとすると、ポインタの左右方向への移動に対しては、表示画面の横方向の表示ドット数の半分の値とする。具体的には、表示画面の横方向の画素数が２４０ドットとすると、その半分の値の１２０ドットをポインタの移動限界値とする。
報知の一例としては、ポインタが画像上を画面の左右の距離の半分以上の距離だけ移動した場合に、ＣＰＵ１８は、はみ出し注意を促すアイコン（！マークなど）を表示画面に点滅表示する。

ＣＰＵ１８は、画像を保存すると判定した場合、メモリ１２の第１バッファ１２ｃまたは第２バッファ１２ｄなどに保持されていた複数の画像を連結処理する画像連結手段として機能する。ＣＰＵ１８は、連結した画像をメモリ１２の画像保存領域１２ｅに保存する。

ＣＰＵ１８は、同一の領域に対し複数の画像が存在する場合、複数の画像から高精細な画像を生成する超解像手段として機能する。超解像の技術は、重なりを持つ複数の低解像度の画像から高解像度の画像を生成する手法の１つであり、例えば反復計算により、複数の低解像度の画像から高解像度の画像を生成するIterative Back Projectionという手法が用いられる。

ＣＰＵ１８は、画像を保存すると判定した場合、被写体Ｒ１の画像のうち未読込領域が存在するか否かを判定し、この判定結果に基づきメモリ１２に保持されていた複数の画像を連結処理し、未読込領域がなくなった場合に、最終の画像データとしてメモリ１２に保存する。

ＣＰＵ１８は、連結した画像の中に未読込領域が存在するか否か判定し、未読込領域があると判定した場合、画像を再度撮影するか否かを促す一方、未読込領域がなくなったと判定した時点でその旨を報知する。具体的には、未読込領域が存在する場合はアイコンを表示し、未読込領域がなくなったと判定した時点でアイコンを消去する。ＣＰＵ１８は、読込済領域に新たな画像を連結したことで、未撮影領域が無くなった時点でアイコンを消去しその旨を報知する。

ＣＰＵ１８は、未読込領域があると判定した場合、未読込領域４５と読込済領域４４とを区別して表示画面２２に表示する（図２２参照）。
ＣＰＵ１８は、未読込領域４５があったために再度読み込んだ新たな画像を連結したことで、未読込領域と読込済領域とが変化した場合、それぞれの領域に対応させて未読込領域と未読込済領域とのアイコン表示を更新する。

続いて、第１の実施形態の携帯電話機の動作を説明する。
携帯電話機で撮影する被写体Ｒ１が、例えば図２に示すような名刺２１の場合について説明する。

被写体Ｒ１が名刺２１の場合、携帯電話機本体１０のカメラ部１５で撮影する撮影範囲２０内に名刺２１の画像が含まれる。撮影範囲２０と表示部１７の表示画面が同じサイズであるものとする。

表示部１７の表示画面に表示される名刺２１の画像は、カメラ部１５によりリアルタイムに撮影された画像であり、携帯電話機本体１０（カメラ部１５）または被写体である名刺２１のどちからを動かすことによって表示される画像も変化する。

この携帯電話機のカメラ機能を使い、表示部１７の表示画面に表示される名刺２１の画像より所望の領域を指定する際には、カメラ機能に属する画像読み取り機能などを選択する。

すると、ＣＰＵ１８は、カメラ部１５から入力される画像と同時に、図３に示すように、表示部１７の表示画面２２に領域または位置を指定するためのポインタＰを表示する。ポインタＰは、表示画面２２のほぼ中央に表示される。表示画面２２に対するポインタＰの位置は動かない。

ここで、ユーザが、キー操作部１１にポインタ変更のための操作を行い、表示画面に表示されたポインタの種類変更画面より、ポインタの種類を変更することで、領域を指定する方法を変えることができる。領域指定方法およびポインタの種類については後述する。

ユーザが、携帯電話機本体１０を持ってカメラ部１５の撮影範囲を移動させるに従って、ＣＰＵ１８は、撮影された画像上を移動するポインタＰの位置情報、つまり移動軌跡の情報をメモリ１２の移動軌跡記憶領域１２ｆに記憶する。

カメラ部１５を移動させると、表示画面２２では、表示される画像が移動し、それに伴ってポインタＰが指定する被写体の位置も移動する。

ＣＰＵ１８は、そのポインタＰの移動した画像上の位置座標を、ある一定の時間間隔で移動軌跡記憶領域１２ｆに記憶することにより、ポインタＰの移動軌跡としてとらえる。
ポインタＰの移動軌跡としてとらえる方法、つまりポインタＰがどれだけ移動したかを検知する方法としては、一例として、ある時点でカメラ部１５より入力された画像に対してＣＰＵ１８がエッジ検出処理を行うことでエッジ画像を生成し、生成したエッジ画像からエッジ部を求め、メモリの第１バッファ１２ｃに一時的に記憶（保持）する。

次に、ＣＰＵ１８は、一定時間後に撮影（入力）された画像に対しても同様にエッジ検出処理を行い、エッジ部を求める。
そして、ＣＰＵ１８は、今回求めた画像のエッジ部と、第１バッファ１２ｃに保持しておいた前の画像から得られたエッジ部とのパターンマッチング処理を行うことで、画像全体のｘ方向とｙ方向の移動量を求める。
ポインタＰが表示画面２２上の中央に常にあるものとすると、ポインタＰの移動量は（ｘ，ｙ）となり、これが移動軌跡の情報として移動軌跡記憶領域に記憶される。

もし、２枚の画像間でカメラ部１５と被写体との距離が変化した場合、つまりｚ方向（光軸方向）の変化があった場合、ＣＰＵ１８は、エッジ画像から特徴量を求め、その特徴量を比較して、画像サイズを規格化することにより、移動量を正しく求める。
特徴量としては、例えば名刺２１のように撮像対象が文字列を含んだ帳票であった場合、文字列の高さを当てはめることができる。

ＣＰＵ１８は、移動軌跡記憶領域１２ｆに一定の時間間隔で順次記憶される移動軌跡の情報（位置情報のつながり）を利用して、カメラ部１５で撮影された画像を保存するかどうか動作を行うかどうかの動作判定を行う。

つまり、ユーザは、携帯電話機本体１０を手で持って動かしながら、カメラ部１５で撮影された表示画面２２内で画像を移動させながら画面中央のポインタＰで領域指定を行うが、その領域指定が終了したか否かの判定をＣＰＵ１８が予め設定されたポインタＰ毎の判定条件に基づいて行う。

ＣＰＵ１８は、メモリ１２に順次記憶されるポインタＰの移動軌跡の情報と判定条件を基に、例えばポインタＰが十字形状の場合、ポインタＰの移動軌跡が閉曲線を描いた場合という判定条件で領域指定が終了したものと判定する。
例えばポインタＰがラインマーカの形状の場合、ＣＰＵ１８は、ポインタＰが移動を開始してからある一定時間止まった場合などを判定条件として領域指定が終了したものと判定する。

ＣＰＵ１８は、判定条件に基づいて領域指定が終了したものと判定すると、入力された画像のうちポインタＰによって指定された領域を静止画としてメモリ１２の画像保存領域１２ｅに記憶する。

より具体的な処理の内容を説明する。被写体が、例えば図２に示した名刺２１の場合、名刺２１には、会社名の欄、氏名の欄、住所・電話番号の欄があり、このうち氏名の欄についてのみ、領域選択して画像を取り込むものとする。

この場合、図３における表示画面２２の状態、つまりポインタＰが名刺２１の画像２１ａの名前の欄の下部にある状態から、まず、ユーザは、携帯電話機本体１０を動かして、表示画面２２に表示されている名刺２１の画像２１ａの中で取り込みたい領域の開始点へポインタＰを合わせる。
そして、ユーザは、キー操作部１１の機能キーなどを操作して、取り込み開始を指示すると、ＣＰＵ１８は、第１および第２のバッファ１２ｃ，１２ｄ、移動軌跡記憶領域１２ｆなどを初期化して、カメラ部１５により撮影された画像を第１バッファ１２ｃに一次保持すると共に、ポインタＰの移動軌跡の記憶を開始する（図４のステップＳ１０１）。

そして、ＣＰＵ１８は、第１バッファ１２ｃに保持した新たな画像データと、移動軌跡記憶領域１２ｆに保存されているマッピングされた画像データ（比較元の画像データ）にてエッジ検出処理を行う（ステップＳ１０２）。
この際、ＣＰＵ１８は、第１バッファ１２ｃに保持した画像データに対して、前にメモリ１２の移動軌跡記憶領域１２ｆに記憶されている画像データ（比較元の画像データ）が存在するか否かを判定する（ステップＳ１０３）。

今回始めて取り込んだ画像データに対しては、比較元の前の画像データは存在しないため、ＣＰＵ１８は、前の画像データ無しと判定して（ステップＳ１０３のＮｏ）、現在の第１バッファ１２ｃに保持した画像データを比較元の画像データ（移動軌跡を求めるためのビットマップデータ）としてメモリ１２の移動軌跡記憶領域１２ｆに保存し（ステップＳ１０４）、その後、再び画像を取り込む（ステップＳ１０１〜Ｓ１０３）。

次の時点のステップＳ１０３の判定処理では、メモリ１２の移動軌跡記憶領域１２ｆには既に比較元の画像データが存在するので、ＣＰＵ１８は、新たに第１バッファ１２ｃに取り込んだ画像データのエッジ画像と移動軌跡記憶領域１２ｆの画像データとのパターンマッチング処理を行い（ステップＳ１０５）、パターンマッチング処理が成功したか否かを判定する（ステップＳ１０６）。

この判定の結果、パターンマッチング処理が成功しなかった場合（ステップＳ１０６のＮｏ）、ＣＰＵ１８は、表示画面２２上に領域指定失敗の旨を示す警告（！などのマーク）を点滅表示した後（ステップＳ１０７）、画像の再読込みを行うかどうかのメッセージを表示画面２２に表示して、ユーザに指示操作を促し（ステップＳ１０８）、キー操作部１１にて再読込みを行うことが指示された場合（ステップＳ１０８のＹｅｓ）、ステップＳ１０１の処理の戻り、今までのステップＳ１０１〜Ｓ１０６までの処理を繰り返す。

また、パターンマッチング処理が成功した場合（ステップＳ１０６のＹｅｓ）、ＣＰＵ１８は、パターンマッチング処理で求めた画像同士の差分からポインタＰの移動量を算出し（ステップＳ１０９）、その移動量で示される画像上の位置情報を移動軌跡の情報としてメモリ１２の移動軌跡記憶領域１２ｆに記憶する（ステップＳ１１０）。

次に、ＣＰＵ１８は、領域指定終了条件（判定条件）を満たしているか否かの判定を行う（ステップＳ１１１）。
領域指定終了条件の一例としては、この十字形状のポインタＰの場合、例えば移動軌跡記憶領域１２ｆに記憶されているポインタＰの移動軌跡が閉曲線となった場合などとする。
ここで、ＣＰＵ１８が、領域指定終了条件を満たしていないと判定した場合（ステップＳ１１１のＮｏ）、ＣＰＵ１８は、表示画面２２に表示しているポインタＰの移動軌跡表示の更新を行い（ステップＳ１１２）上記ステップの処理を繰り返す。

ポインタ移動軌跡の表示例としては、例えば図５に示すように、ＣＰＵ１８は、移動軌跡記憶領域１２ｆに記憶されているポインタＰの移動軌跡のデータを読み出して、それを表示画面２２の撮影画像に重畳させて表示する。この例は、カメラ部１５で撮影しながらの移動によって表示画面２２内の画像上を移動したポインタＰの移動軌跡を破線などで表したものである。破線の他に、撮影画像と異なる色の実線を表示すようにしても良い。

ユーザによる携帯電話機本体１０の移動が進み、図６に示すように、文字列画像がポインタＰの移動軌跡２５によって囲まれて移動軌跡２５が閉曲線となった場合、ＣＰＵ１８は、領域指定終了条件（判定条件）を満たしたものと判定する（ステップＳ１１１のＹｅｓ）。

このような状態になった場合（ステップＳ１１１のＹｅｓ）、ＣＰＵ１８は、そのとき撮影された画像データを第２バッファ１２ｄへ保持する処理とポインタＰの移動軌跡２５で囲まれた領域の切り出し処理を実行する（ステップＳ１１３）。

画像を保持するタイミングとしては、領域指定終了条件（判定条件）を満たした瞬間としても良く、またユーザがキー操作部１１の機能キーなどのボタンを押して指示しても良い。
領域の切り出し処理では、ＣＰＵ１８は、第２バッファ１２ｄを作業領域として、静止画として保持した画像データから、領域指定された領域以外を消去することにより、指定された領域のみの画像データを生成し、それを最終的な画像データとして画像保存領域１２ｅへ保存する。

図７は画像保存処理および領域切り出し処理が終了した結果として、切り出された領域２７のみが表示画面２２に表示されている様子を示している。

以上、説明した第１の実施形態では、表示画面２２内に指定されるべき領域がすべて表示されている場合に適用される。したがって、カメラ部１５を移動させることにより、指定可能な範囲を越える恐れがある。

そこで、このような場合に対応してＣＰＵ１８が処理を行う例について、図８のフローチャートを参照して説明する。この図８のフローチャートにおいて、ステップＳ２０１〜ステップＳ２１０までの処理は、図４のフローチャートの処理と同様であるためそれ部分についての説明は省略する。

ステップＳ２１０にてポインタ移動軌跡をメモリ１２の移動軌跡記憶領域１２ｆに記憶した後、ＣＰＵ１８は、今までの移動軌跡の総計ｘ方向、ｙ方向それぞれについて計算し、その計算結果、移動軌跡が所定の移動限界範囲を超えているか否かを判定する（ステップＳ２１１）。

ＣＰＵ１８は、移動軌跡が所定の移動限界範囲を超えていると判定した場合（ステップＳ２１１のＮｏ）、ステップＳ２０５の処理により警告を表示した後（ステップＳ２０７）、画像の再読込みを行うかどうかのメッセージを表示画面２２に表示して、ユーザに指示操作を促し（ステップＳ２０８）、キー操作部１１にて再読込みを行うことが指示された場合（ステップＳ２０８のＹｅｓ）、ステップＳ２０１の処理の戻り、今までのステップＳ２０１〜Ｓ２０６までの処理を繰り返す。

また、ＣＰＵ１８は、移動軌跡が所定の移動限界範囲を超えていないと判定した場合（ステップＳ２１１のＹｅｓ）、領域指定終了条件（判定条件）を満たしているか否かの判定処理に進む（ステップＳ２１２）。

ステップＳ２１２以降、ここでも、図４のフローチャートで説明した処理と同じ処理を行うためその説明についても省略する。
以上、一連の処理により、指定可能な範囲を超える場合の対応が可能となる。
なお、Ｓ２１２の判定処理において、移動軌跡が所定の移動限界範囲を超えているか否かを判定する上で、移動限界範囲の値を表示画面の半分の値よりも少し小さく設定しておき、移動軌跡が表示画面からはみ出す直前にユーザに対し警告を表示し、それ以上、ユーザに携帯電話機本体１０（カメラ部１５）を移動させなくするようにしてもよい。

次に、図９〜１３を参照して領域を指定する他の実施形態について説明する。図９はラインマーカの形状のホインタＰ１が表示された表示画面を示す図である。
ユーザによるポインタの選択操作により、上記十字形上のポインタＰに変わり、図９に示すように、ラインマーカの形状のホインタＰ１が表示画面２２に表示されたものとする。ポインタＰ１は、例えば半透明色で内部に色付けされた丸や四角などの図形か、白抜きの閉じた図形で一定の幅があるもの（○や□の形状）であり、図形の幅を利用して領域を指定する。この例では、○の形状が設定されたものとして説明する。
この場合、上記ポインタＰのように移動軌跡を破線で表示し所望の領域を破線をクローズさせる（文字の周囲を囲む）ことで領域を指定するのではなく、ポインタＰ１にて所望の領域をなぞることでポインタＰ１の移動軌跡が一定の幅で長く表示されるので、この幅の中に含まれる領域が指定される。

機能キーなどの操作で、カメラ部１５による被写体Ｒ１である名刺２１の撮影動作を開始させると、カメラ部１５から入力された名刺２１の画像２１ａが表示画面２２に表示される。
ここで、ユーザは、まず、携帯電話機本体１０を移動させて、図１０に示すように、ポインタＰ１を、表示画面２２の画像２１ａの中で取り込みたい領域の開始点に合わせ、領域指定開始を意味するボタン、例えば機能キーなどを押したまま、右方向に携帯電話機本体１０を移動させて表示画面２２上の画像を移動させる。

すると、ＣＰＵ１８は、機能キーがオンしている間、ポインタＰ１の移動軌跡を幅の長さの単位でメモリ１２の移動軌跡記憶領域１２ｆに記憶すると共に、その表示を更新し、この結果、図１１に示すように、移動軌跡の画像２８が横に伸びた形で表示される。つまりポインタＰ１が移動した移動軌跡の領域が一方向の動きで作られる。このときの動作が十字形状のポインタＰの場合とは異なる。

そして、図１２に示すように、所望の画像領域がポインタＰ１の移動軌跡内に収まった時点で、ユーザが、携帯電話機本体１０の移動を止めて機能キーの押下をやめると、ＣＰＵ１８は、機能キーがオン状態からオフ状態へ切り替わったことを検出し、このタイミングをトリガにして領域指定終了条件を満たしたものと判定する。
なお、機能キーを操作せずに、例えばポインタＰ１が一定時間静止した状態を検出して領域指定終了条件を満たしたもの判定してもよい。領域指定終了条件を満足したものと判定した後の動作（図４のステップＳ１１２以降の処理）は、先に説明した十字形状のポインタＰの場合と同様である。

そして、領域切り出し処理および画像データ保存処理が終了した結果（Ｓ１１３）、図１３に示すように、表示画面２２に、切り出された領域２９のみが表示される。

以上の処理の結果、携帯電話機本体１０にタッチパネルなどのインターフェース装置を設けることなく、ユーザは、画面に表示された画像の中から、取り込みたい領域を簡単に指定し、所望の領域を保存することができるようになる。

この第１の実施形態では、表示画面内に取り込みたい画像の領域が常に表示されている場合について説明した。

このようにこの第１の実施形態の携帯電話機によれば、ユーザは画面に表示されている取り込みたい画像に重なって表示されるポインタを参照し、そのポインタを読み取りたい領域を囲んだり、あるいはその領域をなぞったりすることで、読取領域の指定が容易になり、さらに画面に収まりきらないサイズの画像を取り込む際も一回の操作で可能となる。また、動画で取り込む場合、同一の領域に対して複数の画像が存在し、その画像を利用することで、通常に撮影する画像より高精度な画像を生成することができる。
すなわち、この第１の実施形態の携帯電話機では、タッチパネルや位置指定装置等のインターフェースを利用せずに、画像表示と同時に読取位置を指定するためのポインタを表示し、カメラ部１５の動きとともに撮影された画像上を移動するポインタの動きを検知しつつ記憶し、最終的にポインタが示す領域を画像データとして取り込むことができる。

［第２の実施形態］
図１４は本発明の携帯電話機にて読み取る被写体Ｒ１が例えば名簿３１などのように、表示画面から所望の読み込み対象領域がはみ出すような帳票の場合の例を示す図である。
なお、ハードウェア構成としては、図１に示した本発明の第１の実施形態の画像処理装置と同じであるためその説明は省略する。

携帯電話機にて読み取る被写体Ｒ１が、図１４に示すように、例えば名簿３１などのように、表示部１７の画面から所望の読み込み対象領域がはみ出すような帳票の場合、上記の例のような第１バッファ１２ｃでの前の画像データの保持だけでは、領域を特定できない。

そこで、この例の場合、図１５に示すように、ＣＰＵ１５は、カメラ部１５から入力された画像を所定時間間隔で画像保存領域１２ｅに逐次保存する（Ｓ２１４）。なお、上記第１の実施形態と同様の動作を行うステップには同様の符号を付し、その説明は省略する。
その後、領域指定終了条件が満たされて（Ｓ２１２）、ユーザが指定した所望の領域が確定すると、ＣＰＵ１８は、画像保存領域１２ｅに保存されている複数枚の静止画を連結して一枚の画像を生成し、生成した画像から該当指定領域を切り出して、最終の画像データとして画像保存領域１２ｅに保存する（Ｓ２１５）。

画像の連結処理を実現する方法としては、例えば既に説明したエッジ検出処理とパターンマッチング処理を組み合わせることで実現する。また、一部が重なる領域を複数回撮像していることを利用して、超解像技術による高精細画像を生成しても良い。

ここで、表示画面２２の変移を説明する。被写体Ｒ１が、例えば図１４に示した名簿３１の場合、名簿３１には、氏名の欄、住所の欄などがあり、このうちある人の住所のみの領域を選択してその画像を取り込むものとする。この例では、表示画面２２に住所の領域がすべて収まっていない。

この場合、ユーザは、表示画面２２のポインタＰを、名簿３１の画像３１ａの中の所望の領域の指定開始点（○○○太郎の住所の左端など）に合わせて、キー操作部１１の機能キーなどを押しながら携帯電話機本体１０を動かすと、移動に伴い、図１６に示すように、表示画面２２上に、範囲指定用の移動軌跡の線３２が延びて表示される。

そのまま、ポインタＰを移動させて、図１７に示すように、範囲指定用の移動軌跡の線３２で所望の住所の領域が囲まれると、ＣＰＵ１８は、画像保存領域１２ｅに逐次保存していた複数の画像データを第２のバッファ１２ｄに展開して、画像同士の重なりを検出して、複数の画像を連結処理して一枚の画像データを生成し、さらに生成した画像から領域指定された領域以外の部分を消去することにより該当指定領域を切り出して（該当指定領域を残し）、図１８に示すように、その領域部分の画像データ３３を表示画面２２に表示すると共に、画像保存領域１２ｅに保存する。
複数の画像を連結処理するタイミングとしては、上記のように移動軌跡の線３２で領域が囲まれて領域指定終了条件を満たした瞬間の他、ユーザが所定のボタンを押すことによって行っても良い。またこの際に上記同様に超解像処理を行うことで画像を高精細化しても良い。

このようにこの第２の実施形態の携帯電話機によれば、名簿３１などのように、表示画面２２内にすべての画像が表示されていない場合であっても、カメラ部１５で撮影された画像データをメモリ１２に逐次保存しておくことで、複数枚の画像同士の重なり具合から複数枚の画像データを連結することで一枚の画像を生成し、生成した一枚の画素データから指定領域の画像を切り出すことができる。
また、このような構成の携帯電話機本体１０においては、より広範囲な領域の画像を取り込む際、撮影が完了した領域を検知し、取り込みが完了した領域とそうでない未撮影領域とを区別して表示画面２２に表示することで、ユーザはどの領域が撮影されていないかを一目で知ることができる。

［第３の実施形態］
この第３の実施形態は、被写体Ｒ１が、例えば図１９に示すようなレポート用紙４２のようにサイズの大きな帳票であり、カメラ部１５の撮影範囲２０がその一部分でしかないようなケースで、レポート用紙４２の全面の画像を携帯電話機本体１０のメモリ１２に取り込む場合の例である。また、この例では、ポインタを表示せずに、移動軌跡を撮影範囲２０そのものの外形で記憶するものとする。

この場合、ユーザは、カメラ部１５をレポート用紙４２の面の方向へ向けて、キー操作部１１の機能キーなどを操作して取り込み開始を指示し、図２１に示すように、撮影範囲２０を撮影する状態から、携帯電話機本体１０を矢印４３の方向へ移動させると、ＣＰＵ１８は、カメラ部１５により撮影された画像の取り込みを開始する（図２０のステップＳ２０１）、
すると、ＣＰＵ１８は、カメラ部１５により撮影された画像データのエッジ検出処理を行って（ステップＳ２０２）、画像保存領域１２eに画像データを保存する（ステップＳ２１４）。

そして、ＣＰＵ１８は、画像保存領域１２eに保存した画像データと、既に画像保存領域１２eに保存されている画像データ（比較元の画像データ）とを比較、つまりパターンマッチング処理を行う（ステップＳ２０５）。

画像保存領域１２eに比較元の画像データが存在せずに、パターンマッチング処理が成功しなかった場合（ステップＳ２０６のＮｏ）、ＣＰＵ１８は、表示画面２２上にパターンマッチング失敗の旨を示す警告（！などのマーク）を点滅表示した後（ステップＳ２０７）、画像の再読込みを行うかどうかのメッセージを表示画面２２に表示して、ユーザに指示操作を促し（ステップＳ２０８）、キー操作部１１にて再読込みを行うことが指示された場合（ステップＳ２０８のＹｅｓ）、ステップＳ２０１の処理の戻り、今までのステップＳ２０１〜Ｓ２０６までの処理を繰り返す。

また、既に画像保存領域１２eに比較元の画像データが存在し、パターンマッチングに成功した場合（ステップＳ２０６のＹｅｓ）、比較元の画像データからの移動量を算出し（ステップＳ２０９）、その移動量で示される画像上の位置情報を移動軌跡の情報としてメモリ１２の移動軌跡記憶領域１２ｆに記憶する（ステップＳ２１０）。

次に、ＣＰＵ１８は、領域指定終了条件（判定条件）を満たしているか否かの判定を行う（ステップＳ２１１）。
領域指定終了条件の一例としては、読み込み開始時にメモリ１２に保存した画像データと直近に読み込んだ画像データとの整合性をチェックし、重なる部分が多い場合、元の位置まで戻ってきたものと判定し、領域指定終了条件を満たしたものとする。

ここで、ＣＰＵ１８が、領域指定終了条件を満たしていないと判定した場合（ステップＳ２１２のＮｏ）、ステップＳ２０１の処理へ戻り、ＣＰＵ１８は、画像の取り込み処理を継続する。
また、ＣＰＵ１８は、領域指定終了条件を満たしたと判定した場合（ステップＳ２１１のＹｅｓ）、画像保存領域１２ｅに保存しておいた複数の画像データを第２バッファ１２ｄへ読み出して連結処理することで、連結された画像（以下連結画像という）を生成する（ステップＳ２１５）。
この例の場合、領域指定終了条件を満たしたとしても、連結画像として、帳票全体の画像が得られているとは限らない。

そこで、ＣＰＵ１８は、連結画像の全領域が、取得した画像データで埋まっているか否かを判定する（ステップＳ２２０）。ここでは、例えば連結画像の中に、白ドットで埋められた所定の広さの領域が存在するかどうかで判定する。
白ドットの所定の広さの領域が存在する場合、ＣＰＵ１８は、全領域が埋まっていないものと判定して（ステップＳ２２０のＮｏ）、移動軌跡記憶領域１２ｆの移動軌跡の情報と上記連結画像とを基に現在の画像読み込み状況を示すアイコンを生成し（ステップＳ２２１）、それを表示画面２２内の右上の隅などに表示する（ステップＳ２２２）。
この時点では、第２バッファ１２ｄに、図２１に示すように、連結画像として読込済領域４４（撮影済領域）が得られ、その読込済領域４４のほぼ中央部が未読込領域４５（未撮影領域）となる。

そして、ＣＰＵ１８は、画像の再読込みを行うかどうかのメッセージを表示画面２２に表示して、ユーザに指示操作を促し（ステップＳ２０８）、キー操作部１１にて再読込みを行うことが指示された場合（ステップＳ２０８のＹｅｓ）、ステップＳ２０１の処理の戻り、今までのステップＳ２０１〜Ｓ２２０までの処理を繰り返す。

また、白ドットの所定の広さの領域が存在しない場合、ＣＰＵ１８は、全領域が埋まっているものと判定して（ステップＳ２２０のＹｅｓ）、連結処理して得られた連結画像データをメモリ１２の画像保存領域１２ｅに保存する（ステップＳ２２３）。

現在の画像読み込み状況を示すアイコンの生成例としては、ＣＰＵ１８は、移動軌跡記憶領域１２ｆに記憶されている移動軌跡の情報（位置データ）を読み出して、それを連結画像に重ねて、移動軌跡の線を含む連結画像を生成し、その画像を縮小処理してアイコン化し、図２２に示すように、表示画面２２の右上の所定位置にアイコン４６を表示する。
ＣＰＵ１８は、連結画像のアイコン化を行う際に、読込済領域４４と未読込領域４５とが区別できるように表示する。

キー操作部１１にて再読込み指示が行われて、画像の再読込みを行った結果、第２バッファ１２ｄに保持されている、図２１に示した連結画像４４の他に、連結画像４４のほぼ中央部の画像が得られると、ＣＰＵ１８は、互いの画像データ（読込済領域４４の画像と新たな画像）を結合し、一枚の静止画を生成する。この際、新たな画像として、未読込領域４５よりも広い領域が得られた場合、読込済領域４４の画像と新たな画像との双方で重なり合った領域に対して、超解像処理、つまり高精細化処理を行っても良い。

再読込みを行った結果、読込済領域４４が増加し未読込領域４５が減少した場合、ＣＰＵ１８は、それに対応したアイコン４６を再生成し、アイコン４６の空白部を減少させることにより、ユーザにどの領域が取り込まれていないかを明示する。

また、再読込みを行った結果、全ての領域が埋まった場合、ＣＰＵ１８は、表示していたアイコン４６を消去することで、ユーザに読取完了を通知（報知）する。

このようにこの第３の実施形態の携帯電話機によれば、撮影範囲２０に対して、より広範囲な領域の画像を取り込む際、カメラ部１５から得られた複数の画像を保存しておき、領域指定終了条件を満たしたときに、複数の画像を連結した連結画像を生成して読込済領域４４とし、それを縮小処理して対応するアイコン４６を表示画面２２に表示することで、読込済領域４４とそうでない領域（未読込領域４５）とを区別して表示でき、ユーザは、どの領域が撮影されていないかを一目で知ることができる。
また、未読込領域４５に対して再度画像の読込みを行い、既に読込みが完了している連結画像と連結することで、表示画面２２に入りきらないような大きなサイズの画像データを得ることができる。

なお、本発明は上記実施形態のみに限定されるものではない。
上記実施形態では、カメラ付きの携帯電話機の例を説明したが、この他、カメラ付きのＰＤＡや、コンピュータにネットワークカメラやＷｅｂカメラなどを接続し、これらのカメラをユーザが手で持って操作するような構成でも良い。
上記実施形態では、本発明の機能を実現するソフトウェアは、予めメモリ１２に記憶されていたが、所定のＷｅｂサイトより携帯電話網を通じてダウンロードされるもの、またはメモリカードなどの記憶媒体を介して携帯電話機本体１０にインストールされるものでも良い。

本発明に係る１つの実施形態の携帯電話機の構成を示す図。 図１の携帯電話機のカメラ部の撮影範囲と名刺のサイズを示す図。 携帯電話機の表示画面の一例を示す図。 携帯電話機の動作を示すフローチャート。 携帯電話機の表示画面で領域を指定する様子を示す図である。 領域の指定が終了した様子を示す図。 指定された領域を表示した様子を示す図。 携帯電話機の動作を示すフローチャート。 他のポインタの表示例を示す図。 ポインタを開始点に合わせた様子を示す図。 ポインタでなぞって領域を指定している様子を示す図。 ポインタでなぞって領域の指定が終了した様子を示す図。 指定された領域を表示した様子を示す図。 撮影範囲と名簿のサイズを示す図。 携帯電話機の動作を示すフローチャート。 携帯電話機の表示画面で領域を指定する様子を示す図である。 領域の指定が終了した様子を示す図。 指定された領域を表示した様子を示す図。 撮影範囲とレポート用紙のサイズを示す図。 携帯電話機の動作を示すフローチャート。 撮影範囲の単位で領域を指定する様子を示す図。 未読込領域がある連結画像をアイコン化して表示画面に表示した例を示す図。

符号の説明

Ｒ１…被写体、４ｅ…画像保存領域、１０…携帯電話機本体、１１ キー操作部
１２…メモリ、１２ａ…システム領域、１２ｂ…プログラムライブラリ、１２ｃ…第１バッファ、１２ｄ…第２バッファ、１２e…画像保存領域、１２ｇ…ポインタ記憶領域、１２ｆ…移動軌跡記憶領域、１３…アンテナ、１４…通話部、１５…カメラ部、１６…無線通信部、１７…表示部、２０…撮影範囲、２２…表示画面。

Claims (12)

1. カメラと表示画面とを搭載した画像処理装置本体を移動させながら前記カメラで被写体を撮影して得た画像を前記表示画面に表示する画像処理装置において、
   前記カメラで撮影された被写体の画像と、表示画面内の画像の移動軌跡の情報とを記憶可能な領域を有するメモリと、
   前記画像の領域または位置を指定するためのポインタを前記表示画面の所定位置に表示するポインタ表示手段と、
   前記カメラで被写体を撮影する際の前記携帯端末本体の動きに伴って前記被写体の画像が前記ポインタの位置から移動した移動軌跡の情報を前記メモリに記憶する移動軌跡記憶手段と、
   前記移動軌跡の情報を前記メモリから読み出し前記画像に移動軌跡を重畳させたときに、前記移動軌跡により前記画像の任意の領域が囲まれた場合、領域指定終了条件を満たしたものと判定する判定手段と、
   前記判定手段により領域指定終了条件を満たしたものと判定された場合、前記カメラで撮影された被写体の画像の一部を切り出し前記メモリに記憶する画像処理手段と
   を具備することを特徴とする画像処理装置。
2. 前記画像処理手段は、
   前記カメラで撮影された被写体の画像から前記移動軌跡で囲まれた領域を切り出すことを特徴とする請求項１記載の画像処理装置。
3. 前記ポインタ表示手段が表示画面に表示するポインタとして、ポイント指示用の十字形状のものと任意の幅で画像の対象部分をなぞるためのラインマーカの形状のものとを少なくとも備え、用途に応じていずれかを選択するためのユーザインターフェースを具備したことを特徴とする請求項１または２いずれか記載の画像処理装置。
4. 前記移動軌跡記憶手段は、
   形状の異なる複数のポインタと前記ポインタの形状に応じた移動軌跡の情報とを前記メモリに記憶し、
   前記判定手段は、
   選択使用された前記ポインタ毎に異なる条件で領域指定の終了を判定することを特徴とする請求項１乃至３いずれか１記載の画像処理装置。
5. 前記判定手段は、
   前記ポインタの移動軌跡が所定の範囲を超えた場合、その旨を報知する報知手段を具備したことを特徴とする請求項２乃至４いずれか１記載の画像処理装置。
6. 前記判定手段により領域指定終了条件を満たしたものと判定された場合、前記メモリに保持されていた複数の画像を連結処理する画像連結手段と、
   前記画像連結手段により連結された画像を前記メモリに保存する手段と
   を具備することを特徴とする請求項１乃至５いずれか１記載の画像処理装置。
7. 前記画像連結手段は、
   同一の領域に対し複数の画像が存在する場合、複数の画像から高精細な画像を生成する超解像手段を具備することを特徴とする請求項６記載の画像処理装置。
8. 前記判定手段により領域指定終了条件を満たしたものと判定された場合、被写体の画像のうち未撮影領域が存在するか否かを判定する領域判定手段と、
   前記判定手段および前記領域判定手段の判定結果に基づき前記メモリに保持されていた複数の画像を連結処理する画像連結手段と
   を具備することを特徴とする請求項１または２いずれか画像処理装置。
9. 前記画像連結手段により連結された画像の中に未撮影領域が存在するか否か判定する未撮影領域有無判定手段と、
   前記未撮影領域有無判定手段により未撮影領域があると判定された場合、画像を再度撮影するか否かを促す一方、前記未撮影領域有無判定手段により未撮影領域がなくなったと判定された時点でその旨を報知する手段と
   を具備したことを特徴とする請求項８記載の画像処理装置。
10. 前記未撮影領域有無判定手段による判定の結果、未撮影領域があると判定された場合、未撮影領域と撮影済み領域とを区別して前記表示画面に表示する領域表示手段を具備することを特徴とする請求項８記載の画像処理装置。
11. 前記画像連結手段により新たな画像が連結されたことで、未撮影領域と撮影済み領域が変化した場合、それぞれの領域に対応させて未撮影領域と撮影済み領域の表示を更新する手段を具備したことを特徴とする請求項１０記載の画像処理装置。
12. 前記画像連結手段により新たな画像が連結されたことで、未撮影領域が無くなった時点で報知する手段を具備したことを特徴とする請求項１０または請求項１１いずれか記載の画像処理装置。

Images