JP4251643B2 - 画像撮像装置、および、プログラム - Google Patents

Description

本発明は、画像撮像装置、および、プログラムに関し、特に、撮像機能を有する移動体通信端末等による情報取得に好適な画像撮像装置、および、プログラムに関する。

デジタル撮像技術の進展に伴い、撮像装置の小型化・高性能化が進み、近時では、移動体通信端末などにも撮像機能が備えられている。このような撮像機能は、通常の写真撮影を可能にすることはもとより、２次元コードなどのコードシンボルを認識して情報を取得する用途などにも利用されている（例えば、特許文献１）。

特に、通信機能を有する移動体通信端末では、例えば、インターネット上のウェブサイトへアクセスするためのアドレス情報であるＵＲＬ（Uniform Resource Locator）を示す２次元コードを撮影することで、当該ＵＲＬが示すウェブサイトにアクセスできるため、ユーザがＵＲＬを入力する必要がなく便利である。

しかしながら、このようなコードシンボルの認識などでは、通常の写真撮影とは異なる処理が必要となる。このため、従来の移動体通信端末などにおいては、通常の写真撮影とは異なる動作モードを用意し、ユーザが撮影毎にモードを切り換える必要があった。このような操作は、ユーザにとって煩雑なものであり、モード切換のためにシャッタチャンスを逃してしまうなどの不都合もあった。また、ユーザがモード選択を誤ったり、モード切換を忘れたりする場合もある。例えば、通常の写真撮影をおこなうときに、コードシンボル認識モードになっていると、撮影中に認識動作が実行され、撮影が中断されるなどの不都合が生じる。

また、２次元コードなどのコードシンボル以外にも、例えば、種々の広告媒体や書面などに示されている文字情報などを認識して利用することができれば、ユーザの利便性がより向上することが期待される。よって、撮像機能を有する移動体通信端末などで、種々の情報を簡単、かつ、効率的に取得できる手法の確立が望まれている。
特開２００４−６２２９０号公報

本発明は、上記実状に鑑みてなされたものであり、撮像により種々の情報を効率的に取得できる画像撮像装置等を提供することを目的とする。

上記目的を達成するため、本発明の第１の観点にかかる画像撮像装置は、
画像撮像モードにおいて撮像された画像を表示すると共に、その撮像された撮像画像を記録する機能を有する画像撮像装置であって、
前記画像撮像モードで撮像された画像の記録を行うためのシャッタ操作の有無を検出するシャッタ検出手段と、
前記シャッタ検出手段によりシャッタ操作が検出された際は、その時に撮像された撮像画像を記録する撮像画像記録手段と、
前記シャッタ操作により撮像された撮像画像を解析し、その撮像画像内に特定処理の実行が可能な特定のオブジェクトが撮像されているか否かを当該特定のオブジェクトについての特徴情報に基づいて検出するオブジェクト検出手段と、
当該オブジェクト検出手段が前記撮像画像内に前記特定のオブジェクトが撮像されていると検出した際に、当該オブジェクトを検出したことを通知し、当該オブジェクトの抽出を所望するか否かをユーザに問い合わせる問い合わせ手段と、
当該問い合わせ手段に対して、ユーザが前記特定のオブジェクトの抽出の実行を指示した場合、前記オブジェクト検出手段が検出した前記特定のオブジェクトを認識し、認識した情報に基づく処理を実行すると共に、当該撮像画像の記録を削除する処理実行手段と、
前記オブジェクト検出手段が前記撮像画像内に前記特定のオブジェクトを検出しない場合、当該撮像画像の記録を維持して、新たなシャッタ操作による撮像動作に復帰させる復帰手段と、
を備えたことを特徴とする。

上記画像撮像装置において、
前記復帰手段は、前記問い合わせ手段に対して、ユーザが前記オブジェクトの抽出の実行を指示しない場合に、当該撮像画像の記録を維持して、新たなシャッタ操作による撮像動作に復帰させることが望ましい。
上記画像撮像装置において、
前記オブジェクト検出手段は、前記撮像画像記録手段が撮像した画像の階調分布特性に基づいて、その撮像画像内に前記特定のオブジェクトが撮像されているか否かを検出することが望ましい。

上記画像撮像装置において、
前記オブジェクト検出手段は、前記撮像画像記録手段による撮像動作と並行して、オブジェクトの検出をおこなうことが望ましい。

上記画像撮像装置は、
前記オブジェクト検出手段が検出したオブジェクトの種類がコードシンボルであるか文字列であるかを判別するオブジェクト判別手段をさらに備えていることが望ましく、この場合、
前記情報取得手段は、
前記オブジェクト判別手段が、前記画像に示されているオブジェクトがコードシンボルであると判別した場合、当該コードシンボルをデコードして情報を取得することが望ましい。

上記画像撮像装置において、
前記オブジェクト判別手段は、
前記画像に示されているオブジェクトが文字列である場合、当該文字列の特性を判別する文字列特性判別手段をさらに備えていることが望ましく、この場合、
前記処理実行手段は、前記文字列特性判別手段が判別した文字列特性に応じた認識動作を実行することが望ましい。

上記画像撮像装置において、
前記文字列特性判別手段は、
前記文字列が所定のアドレス情報であるか否かを判別し、
所定のアドレス情報である場合には、前記特徴情報に基づいて、当該アドレス情報が完全であるか否かを判別し、
前記処理実行手段は、
前記文字列特性判別手段により、前記アドレス情報が完全でないと判別された場合、前記撮像画像記録手段が記録した複数の画像データから、前記アドレス情報を取得することが望ましい。

上記画像撮像装置において、
前記文字列特性判別手段は、
前記文字列が所定のアドレス情報ではないと判別した場合、前記特徴情報に基づいて、当該文字列の言語を判別し、
前記処理実行手段は、
前記文字列特性判別手段が判別した言語に応じた動作を実行することが望ましい。

上記画像撮像装置において、
前記処理実行手段は、取得した複数の情報の重複部分を検出し、検出した重複部分に基づいて、該複数の情報を調整する文字列調整手段をさらに備えていることが望ましい。

上記画像撮像装置において、
前記文字列調整手段は、前記処理実行手段が複数の画像データから所定のアドレス情報を取得した場合、各画像データで認識された文字列の重複部分を検出し、検出した重複部分と、前記特徴情報と、に基づいて各文字列を結合することで、一のアドレス情報となるよう調整することが望ましい。

上記画像撮像装置において、
前記文字列調整手段は、前記処理実行手段が取得した情報が、所定のアドレス情報以外の文字列である場合、取得済みの文字列情報と、新たに取得した文字列情報との重複部分があるか否かを判別し、重複部分がある場合には、当該重複部分に基づいて、前記取得済みの文字列情報と、前記新たに取得した文字列情報とを結合することで、一の情報となるよう調整することが望ましい。

上記目的を達成するため、本発明の第２の観点にかかるプログラムは、
コンピュータに、
画像撮像モードにおいて撮像された画像を表示する機能と、
前記画像撮像モードで撮像された画像の記録を行うためのシャッタ操作の有無を検出する機能と、
シャッタ操作が検出された際は、その時に撮像された撮像画像を記録する機能と、
前記シャッタ操作により撮像された撮像画像を解析し、その撮像画像内に特定処理の実行が可能な特定のオブジェクトが撮像されているか否かを当該特定のオブジェクトについての特徴情報に基づいて検出する機能と、
前記撮像画像内に前記特定のオブジェクトが撮像されていると検出した際に、当該オブジェクトを検出したことを通知し、当該オブジェクトの抽出を所望するか否かをユーザに問い合わせる機能と、
当該問い合わせに対して、ユーザが前記オブジェクトの抽出の実行を指示した場合、前記検出したオブジェクトを認識し、認識した情報に基づく処理を実行すると共に、当該撮像画像の記録を削除する機能と、
前記撮像画像内に前記特定のオブジェクトを検出しない場合、当該撮像画像の記録を維持して、新たなシャッタ操作による撮像動作に復帰させる機能と、
を実現させることを特徴とする。

本発明によれば、撮像機能を有する装置での撮像画像から自動的にオブジェクトの検出やオブジェクトの種類を判別するので、ユーザによる煩雑な操作を必要とせずに、種々の情報を簡単、かつ、効率的に取得することができる。

以下、本発明にかかる実施形態を、図面を参照して説明する。ここでは、本発明にかかる画像撮像装置を移動体通信端末によって実現する場合を例に以下説明する。

本発明の実施形態にかかる移動体通信端末１００は、例えば、携帯電話やＰＨＳ（Personal Handyphone System）などといった移動体通信用の端末装置（電話機）であり、基本機能である音声通話機能の他に、少なくとも、撮像機能を備えているものとする。以下、図面を参照して、本実施形態にかかる移動体通信端末１００の構成を説明する。

図１は、本実施形態にかかる移動体通信端末１００の外観を示す模式図である。移動体通信端末１００の外観上の構成には、図１に示すような、アンテナ１２１、操作部１３１、音声入力部１３２、レンズ部１３４、音声出力部１４１、表示部１４２、などが含まれる。このような移動体通信端末１００の内部構成を、図２を参照して説明する。

図２は、移動体通信端末１００の内部構成を示すブロック図である。図示するように、本実施形態にかかる移動体通信端末１００は、制御部１１０、通信制御部１２０、入力制御部１３０、出力制御部１４０、記憶部１５０、画像処理部１６０、などから構成される。

制御部１１０は、例えば、ＣＰＵ（Central Processing Unit：中央演算処理装置）などから構成され、移動体通信端末１００の各部を制御する。

通信制御部１２０は、データ通信部１２２、受信部１２３、および、送信部１２４などを含み、移動体通信端末１００の通信動作を実現するための構成である。ここで、移動体通信端末１００によりおこなわれるデータ通信および音声通話で送受信される情報は、アンテナ１２１を介して入出力される。

データ通信部１２２は、所定の通信ネットワーク（例えば、インターネットなど）を介して他の装置とのデータ通信をおこなう。本実施形態かかる移動体通信端末１００では、例えば、電子メールの送受信やウェブサイトへのアクセスをおこなう。

受信部１２３と送信部１２４は、所定の送受信回路などから構成され、他の電話機から音声信号を受信するとともに、ユーザの発話音声を送信することで、移動体通信網等を介した他の電話機との音声通話を実現する。

入力制御部１３０は、操作部１３１、音声入力部１３２、画像入力部１３３などを含み、これらを制御することで、種々の入力を受け付け、制御部１１０に入力する。

操作部１３１は、例えば、カーソルキーや、数字や文字を入力するための英数字キー、機能などを指定するためのボタンなどから構成され、ユーザによって操作されることで、種々の選択指示や文字入力などに用いられる。また、操作部１３１を構成するボタンが、移動体通信端末１００の撮像機能を利用する際のシャッタボタンなどとして機能する。

音声入力部１３２は、例えば、マイクロフォンなどから構成され、音声通話時のユーザの発話音声や動画撮影時の外部音声などを集音し、電気信号に変換して入力する。

画像入力部１３３は、イメージセンサ（例えば、ＣＣＤ（Charge Coupled Device：電荷結合素子）やＣＭＯＳ（Complementally Metal Oxide Semiconductor：相補型金属酸化物半導体）などを用いたイメージセンサ）、ＡＤ変換器（アナログ−デジタル変換器）、などから構成された撮像装置であり、外光を集光して結像するレンズ部１３４からの入射光を光電変換することで画像データを生成する。より詳細には、レンズ部１３４からの入射光をイメージセンサが電荷に変換して蓄積し、この電気信号をＡＤ変換器によりデジタル信号に変換することで、デジタルデータで構成される画像データが生成される。なお、画像入力部１３３は、イメージセンサが蓄積する電荷量や蓄積した電荷の転送などを制御することで、いわゆる電子シャッタ機能を実現しているものとする。このような画像入力部１３３により、移動体通信端末１００の撮像機能が実現され、撮像による画像データの取得がおこなわれる。

入力制御部１３０は、操作部１３１、音声入力部１３２、画像入力部１３３からの信号を制御部１１０に入力する。制御部１１０は、入力制御部１３０からの入力信号を、出力制御部１４０や記憶部１５０などに送出する。

出力制御部１４０は、音声出力部１４１や表示部１４２などを含み、これらを制御することで種々の情報を出力する。ここで、出力制御部１４０は、制御部１１０から送られた信号に基づいた出力をおこなう。

音声出力部１４１は、例えば、スピーカなどから構成され、音声通話における着話音声の他、着信音、撮影時のシャッタ音、ガイダンス音声、アラーム音、などの音声を出力する。

表示部１４２は、例えば、液晶表示装置（ＬＣＤ：Liquid Crystal Display）などから構成され、種々の画像表示をおこなう。表示部１４２は、移動体通信端末１００の機能選択画面などを表示出力する他、画像入力部１３３による撮像画像などを表示出力する。また、移動体通信端末１００の撮像機能を利用する際には、画像入力部１３３から入力される画像信号に基づく画像表示をおこなうことで、いわゆるビューファインダとして機能する。

記憶部１５０は、例えば、所定の半導体記憶装置（例えば、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、フラッシュメモリ、着脱式のメモリカード、など）から構成され、種々の情報を記憶する。本実施形態では、記憶部１５０に複数の記憶領域が用意される。記憶部１５０に用意される記憶領域の例を図３に示す。

図示するように、記憶部１５０には、プログラム格納領域１５１、機能データ格納領域１５２、画像データ格納領域１５３、特徴情報格納領域１５４、言語情報格納領域１５５、取得情報格納領域１５６、などの記憶領域が用意される。

プログラム格納領域１５１には、制御部１１０が実行するプログラムが格納される。制御部１１０は、プログラム格納領域１５１に格納されているプログラムを実行することで、移動体通信端末１００の制御および後述する各処理を実行する。また、必要に応じて画像処理部１６０がプログラム格納領域１５１に格納されているプログラムを実行する。

機能データ格納領域１５２は、移動体通信端末１００の各機能に必要なデータが格納される。例えば、各種画面を構成する画像データや、送受信した電子メールやアドレス帳を示すデータ、ＵＲＬリストを構成するデータ、などが格納される。

画像データ格納領域１５３には、画像入力部１３３が生成した撮像画像の画像データが格納される。画像データ格納領域１５３に記録される情報の例を図４（ａ）に示す。図示するように、画像データ格納領域１５３には、撮像動作毎に割り当てられる一意の識別情報（撮像ＩＤ）を主キーとしたレコードが作成されている。各レコードには、当該撮像により生成された画像データが記録されるとともに、連続撮像対象であるか否かを示すフラグ（連続識別フラグ）、連続撮像対象である場合に、検出対象となるオブジェクトの種類を示す情報（検出対象）、連続撮像対象である場合に、いずれの撮像画像に付随するかを示す情報（元画像）、などが記録される。連続識別フラグは、例えば、数値により示されるものとし、本実施形態では、「０」が連続撮像対象外であることを示し、「１」が連続撮像対象であることを示すこととする。

特徴情報格納領域１５４には、画像処理部１６０による撮像画像に対する画像処理によっておこなわれる解析に用いられるデータが格納される。本実施形態では、画像処理部１６０が撮像画像の特性を検出することで、当該画像中に所定のオブジェクト（例えば、２次元コードなどのコードシンボル、ウェブサイトへのアクセスや電子メールの送信に用いられるアドレス情報（ＵＲＬ（Uniform Resource Locator）や電子メールアドレス）、アドレス情報以外の一般文字情報、など）が示されているか否かを検出するものとする。よって、特徴情報格納領域１５４には、検出対象となっているオブジェクトを識別するための特徴情報が格納される。

特徴情報格納領域１５４に記録される情報の例を図４（ｂ）に示す。図示するように、特徴情報格納領域１５４には、検出対象毎に予め規定された特徴情報が記録される。例えば、２次元コードなどのコードシンボルについての特徴情報としては、各コードシンボルに設定されている固有の特徴（例えば、切り出しシンボルやＬ型ガイドセルなど）を示す情報が記録される。この場合、コードシンボルに固有の形状を示すデータなどが特徴情報として記録されるものとする。

また、アドレス情報についての特徴情報として、各アドレス情報に固有の特徴的な文字列を示すテキストデータなどが記録される。例えば、ＵＲＬの場合、ＵＲＬの先頭に用いられる文字列や記号（例えば、「http:」や「https:」などといったプロトコル名を示す文字列と記号との組み合わせ、など）、および、ＵＲＬの終端に用いられる文字列や記号（例えば、「.co.jp/」や「.com/」などといったトップレベルドメインを示す文字列と記号との組み合わせや、「.htm」や「.asp」などといったウェブページのファイル形式やサービス種別を示す文字列と記号との組み合わせ、など）が特徴情報として記録される。また、電子メールアドレスの場合では、メールアカウントとドメイン名との区切りに用いられている記号（「@」）や、電子メールアドレスの終端に用いられる文字列や記号（例えば、「.co.jp」などのトップレベルドメイン）などが特徴情報として記録される。

一般文字情報の特徴情報としては、例えば、複数の言語の種類を識別するための特徴情報が記録される。この場合、例えば、各言語で用いられる文字や単語が言語毎に記録される。

言語情報格納領域１５５には、撮像画像から検出された一般文字情報を認識するためのデータが記録される。ここでは、一般文字が検出された場合、検出された文字の言語に対応する辞書データや辞書プログラムなどが格納される。

取得情報格納領域１５６には、後述する各処理によって、撮像画像から検出されたオブジェクトから取得された情報が格納される。例えば、２次元コードが撮像画像から検出された場合、当該２次元コードをデコードして得られた情報（例えば、ＵＲＬなど）が取得情報格納領域１５６に格納される。また、撮像画像から文字が検出された場合には、文字認識処理によりテキストデータに変換された文字情報が格納される。

取得情報格納領域１５６に記録される情報の例を図４（ｃ）に示す。図示するように、取得情報格納領域１５６には、撮像画像から抽出したオブジェクトからテキストデータへの変換動作毎に一意に割り当てられた識別情報（変換ＩＤ）を主キーとしたレコードが作成されている。各レコードには、当該変換動作により変換されたテキストデータが格納されるとともに、格納日時を示す情報や撮像画像からの取得時のオブジェクト種類を示す情報、などが記録される。

画像処理部１６０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）などといった専用回路等によって構成され、制御部１１０などとの協働により、画像入力部１３３で生成された撮像画像に所定の画像処理をおこなうことで、撮像画像中にコードシンボルや文字列が含まれているか解析し、含まれている場合には、文字認識処理などをおこなうことで、テキストデータとして抽出する。このような処理をおこなう画像処理部１６０は、図５に示すような機能構成を有する。

図示するように、画像処理部１６０は、オブジェクト検出部１６１、オブジェクト判別部１６２、コード認識部１６３、文字認識部１６４、文字列特性判別部１６５、および、文字列調整部１６６として機能する。

オブジェクト検出部１６１は、画像入力部１３３が生成した撮像画像に画像処理をおこなうことで、撮像画像の特性を検出し、検出した画像特性に基づいて、当該画像中にオブジェクトが示されているか否かを判別して検出する。オブジェクト検出部１６１は、例えば、撮像画像におけるヒストグラム分布を取得し、このヒストグラム分布に現れる特徴（画像特性）に基づいて、撮像画像中にオブジェクトが示されているか否かを判別する。

オブジェクト判別部１６２は、オブジェクト検出部１６１が検出したオブジェクトの種類を判別する。オブジェクト判別部１６２は、例えば、撮像画像のヒストグラム分布に現れる特徴に基づいて、検出されたオブジェクトがコードシンボルであるか文字であるかを判別する。また、検出されたオブジェクトの形状を認識し、認識した形状と、特徴情報格納領域１５４に格納されている特徴情報とを照合することにより、検出されたオブジェクトの種類を特定する。例えば、２次元コードが検出された場合には、切り出しように設定されている特徴部分の形状に基づいて、２次元コードの種類を判別する。また、検出された文字の形状が、例えば、ＵＲＬに特有に用いられる文字や記号を示している場合には、検出された文字の種類がＵＲＬであると判別する。

なお、オブジェクト判別部１６２は、撮像画像に対し、例えば、２値化処理をおこなうことにより、画像中の最暗部と最明部のみが示されるよう画像処理をおこなう。そして、一方の画素値を示している画素部分（例えば、最暗部（黒色部分）の画素部分）を、オブジェクトを示している領域として認識する。オブジェクト判別部１６２はまた、認識した領域の形状と、特徴情報格納領域１５４に格納されている特徴情報が示す形状とを照合することで、撮像されたオブジェクトの種類を判別する。

コード認識部１６３は、２次元コードなどのコードシンボルを認識し、コード化されている情報を取得する。例えば、ウェブサイトにアクセスするためのＵＲＬがコード化されている場合、コードシンボルをデコードして当該ＵＲＬを示すテキストデータとして取得する。本実施形態では、オブジェクト判別部１６２により、撮像画像中のオブジェクトがコードシンボルを示していると判別された場合、当該コードシンボルを認識してデコードする。ここで、コード認識部１６３によるコードシンボルの認識は、対象とするコードシンボルに対応した既知のデコード手法を用いておこなわれるものとする。

文字認識部１６４は、オブジェクト判別部１６２により、検出されたオブジェクトが文字（アドレス情報または一般文字情報）を示していると判別された場合に、当該オブジェクトが示している文字を認識し、対応するテキストデータに変換する。ここで、文字認識部１６４による文字認識は、既知の文字認識手法を用いておこなわれるものとする。

文字列特性判別部１６５は、文字認識部１６４により文字認識された文字列（記号を含む）の特性を判別する。本実施形態では、一の撮像画像から抽出された文字列の完全性の判別、および、複数の撮像画像から抽出された文字列の連続性の判別をおこなう。本実施形態にかかる文字列特性判別部１６５は、例えば、ＵＲＬを撮影した場合に、対象とするＵＲＬの全体が取得されたか否かの判別（完全性の判別）をおこなう他、例えば、一連の文書などを複数の撮像画像に分割して撮像した場合に、各撮像画像から抽出された文字列の重複部分を識別することなどにより、これらの文字列間の連続性などを識別して、関連のある文字列であるか否かを判別する。

文字列調整部１６６は、文字列特性判別部１６５により、複数の撮像画像から抽出された文字列間に関連性があると判別された場合に、これらの文字列の重複部分を削除して結合させ、ひとまとまりの文字情報となるよう調整する。

このような機能を有する画像処理部１６０は、ＡＳＩＣなどの専用回路から構成することで、予めプログラムされたハードウェア処理で実現可能であることはもとより、例えば、制御部１１０とは異なる論理回路（ＣＰＵなど）から構成し、プログラムを随時実行するソフトウェア処理により実現されてもよい。この場合、上記画像処理部１６０の各機能構成の動作を実現するためのプログラムをプログラム格納領域１５１に格納し、画像処理部１６０を構成する論理回路がこれを実行することで、上記各機能構成が実現される。また、このようなプログラムを制御部１１０が実行することにより、制御部１１０が画像処理部１６０として機能するように構成してもよい。

以上示した移動体通信端末１００の各構成は、移動体通信端末１００によって本発明を実現するために必要な構成であり、その他の構成についての詳細な説明は省略する。すなわち、移動体通信端末１００は、上記各構成以外にも、移動体通信端末としての基本的な機能や、付加的な機能を実現するための構成を必要に応じて備えているものとする。

以上のような構成の移動体通信端末１００を用いて撮影する場合の動作を以下説明する。ここでは、移動体通信端末１００のユーザが、移動体通信端末１００の撮像機能により任意の撮影をおこなった場合に移動体通信端末１００にて実行される「撮像処理」を、図６に示すフローチャートを参照して説明する。なお、本実施形態では、通話などの通信を主機能とする移動体通信端末を本発明にかかる画像撮像装置としている。よって、移動体通信端末１００では、少なくとも、ユーザが通常の通信をおこなうモードと、撮影（撮像）をおこなうモード（撮像モード）とが用意されているものとし、撮像モードが選択されたことを契機に、以下に説明する「撮像処理」が開始されるものとする。撮像モードが選択されることによって、画像入力部１３３が動作状態となるとともに、操作部１３１の所定のボタン等が撮影動作に必要なインタフェース（例えば、シャッタボタンなど）として機能する。

撮像モードが選択され、画像入力部１３３が動作状態になると、レンズ部１３４からの入射光が随時光電変換され、表示部１４２に随時表示される。すなわち、画像入力部１３３の電子シャッタ機能により、光電変換された電気信号が連続的に表示部１４２に送出されることで、表示部１４２がビューファインダとして機能する。ユーザは、ビューファインダをみながら構図などを決定し、任意の撮影タイミングで操作部１３１を操作することで、移動体通信端末１００にシャッタ動作を指示する。

ユーザによるボタン操作により、シャッタ動作を指示する信号が操作部１３１から制御部１１０に入力されると（ステップＳ１０１：Ｙｅｓ）、画像入力部１３３は、シャッタ動作（電子シャッタ機能の実行など）をおこなって、当該指示タイミングにおける画像データを生成する。制御部１１０は、画像入力部１３３が生成した画像データを、撮像画像として、記憶部１５０の画像データ格納領域１５３に格納する（ステップＳ１０２）。

撮像画像が画像データ格納領域１５３に格納されると、当該撮像画像を対象として、オブジェクトの検出や判別をおこなうための「オブジェクト検出処理」が画像処理部１６０により実行される（ステップＳ２００）。

このオブジェクト検出処理は、撮像動作のバックグラウンドで実行されるものとする。すなわち、撮像モードが選択されている間は、撮像動作と並行してオブジェクト検出処理が実行される（ステップＳ１０３：Ｎｏ、ステップＳ１０１）。また、撮像モードの終了が選択された場合（ステップＳ１０３：Ｙｅｓ）に、オブジェクト検出処理が終了していなければ、オブジェクト検出処理が終了するまで撮像モードが維持される（ステップＳ１０４：Ｎｏ）。一方、撮像モードの終了が選択された時点でオブジェクト検出処理が終了していれば、撮像処理を終了する（ステップＳ１０３：Ｙｅｓ、Ｓ１０４：Ｙｅｓ）。

ここで、図７に示すフローチャートを参照して、オブジェクト検出処理の詳細を説明する。

オブジェクト検出処理が開始されると、画像処理部１６０のオブジェクト検出部１６１が、直前に撮像され、記憶部１５０の画像データ格納領域１５３に格納された画像データのヒストグラム分布を求め、このヒストグラム分布に基づいて、撮像画像に所定のオブジェクトが示されているか否かの検出をおこなう（ステップＳ２０１）。ここでのヒストグラムは、例えば、明るさの階調（輝度階調）毎の画素数を示すものとする。例えば、ＲＧＢのそれぞれを８ビットで階調表示する場合、ＲＧＢ輝度の階調範囲は０〜２５５となる。ここでは、階調値「０」が最も暗い「黒」を示し、階調値「２５５」が最も明るい「白」を示しているものとする。

ここで、本実施形態では、検出対象とするオブジェクトとして、２次元コード（コードシンボル）、ＵＲＬ（アドレス情報）、文章（一般文字）を対象とする。「２次元コード」は、移動体通信端末などで読み取られることを目的として、例えば、物品（商品のパッケージやカードなど。以下同じ）や紙面（雑誌、書籍、新聞、など。以下同じ）、ポスターなどに示されているものを想定する。「ＵＲＬ」は、ウェブサイトを通知することを目的として、物品や紙面、ポスターや看板などに示されているものを想定する。「文書」は、紙面に印字されている記事などの文字を想定する。

このようなオブジェクトは、認識されやすくするため、通常、白地に黒色で示されている。よって、このようなオブジェクトを、その認識を目的として撮像した場合、最も暗い部分（黒色部分）と最も明るい部分（白色部分）に画素が偏る傾向となる。すなわち、図８（ａ）に示すようなヒストグラム分布となる。一方、風景やスナップその他一般的な撮影により得られる撮像画像（以下、「一般画像」とする）では、通常、最暗部と最明部との中間部分にも多くの画素が分布することになる。この場合は、図８（ｂ）に示すようなヒストグラム分布となる。

つまり、オブジェクトを撮像対象とした画像と一般画像との間には、全く異なる顕著な特徴がヒストグラム分布に現れることになる。よって、撮像画像のヒストグラム分布を分析することにより、オブジェクトを撮像対象とした画像であるか、一般画像であるかを判別することができる。すなわち、撮像画像からオブジェクトの有無を検出することができる。

よって、オブジェクト検出部１６１は、まず、このようなヒストグラム分析により、オブジェクトが撮像対象であるか否かを判別する。すなわち、階調範囲の中間領域に画素分布がない場合はオブジェクトを撮像対象とした画像であると判別し、ある場合には一般画像であると判別する（ステップＳ２０２）。

撮像画像が一般画像である場合（ステップＳ２０２：Ｎｏ）、オブジェクト検出処理を終了し、図６に示す撮像処理のフローに戻る。すなわち、撮像された画像が画像データ格納領域１５３に格納された後に撮像動作が継続される。

オブジェクトが撮像対象であると判別した場合（ステップＳ２０２：Ｙｅｓ）、画像処理部１６０は、その旨を制御部１１０に通知する。

制御部１１０は、画像処理部１６０からの通知に応じて、割り込み処理をおこない、撮像画像からオブジェクトが検出された旨、および、当該オブジェクトの抽出を所望するか否かをユーザに問い合わせる画面（以下、「検出通知画面」とする）を生成して表示部１４２に表示する（ステップＳ２０３）。上述したように、このオブジェクト検出処理は、撮像動作のバックグラウンドでおこなわれているので、フォアグラウンドの撮像動作に割り込みをかけて検出通知画面の表示をおこなう。この場合、表示部１４２では、図９に示すように、撮像モード時のビューファインダ画面上に、検出通知画面が表示される。

ユーザは、表示部１４２に表示された検出通知画面に従って、オブジェクト検出の要否を入力する。すなわち、例えば、要否を示す回答のそれぞれに割り当てられている操作部１３１のボタンを選択的に操作することにより入力をおこなう。ここで、ユーザがオブジェクトの抽出を意図して撮像した場合には、オブジェクト抽出の実行を指示する操作をおこなう。一方、例えば、撮像した画像に偶然オブジェクトが写り込んでいた場合や、撮像画像のヒストグラム分布がオブジェクトを撮像対象とした場合と偶然近似していた場合など、オブジェクトの撮影をユーザが意図していなかった場合には、オブジェクト抽出を実行しない旨を指示する操作をおこなう。

制御部１１０は、ユーザによる操作部１３１の操作に基づいて、ユーザがオブジェクト抽出の実行を指示したか否かを判別する（ステップＳ２０４）。ユーザがオブジェクト抽出の実行を指示していない場合（ステップＳ２０４：Ｎｏ）は、オブジェクト検出処理を終了する。この場合、検出通知画面の表示を終了し、撮像モードにおける撮像動作に戻る。

一方、ユーザがオブジェクト抽出の実行を指示した場合（ステップＳ２０４：Ｙｅｓ）、制御部１１０は、画像処理部１６０に、オブジェクト検出処理の継続を指示する。

画像処理部１６０のオブジェクト判別部１６２は、制御部１１０からの指示に応じて、ヒストグラム分布をさらに分析することにより、撮像されたオブジェクトの種類を判別する。上述したように、本実施形態では、「２次元コード」、「ＵＲＬ」、「文章」を検出対象オブジェクトとしているが、２次元コードと文字（ＵＲＬおよび文章）とでは、撮像画像においてオブジェクトを示す領域の割合がそれぞれ異なり、この違いがヒストグラム分布に現れる。

つまり、２次元コードを移動体通信端末１００で認識させることを目的に撮影する場合、適切に認識させるために、通常、接写で撮影することになる。この場合、図１０（ａ）に示すように、撮像画像の中で、２次元コードを示す領域の割合が高くなる。よって、図１０（ｂ）に示すように、このような画像のヒストグラム分布では、最明部（白色部分）の画素量に対して、最暗部（黒色部分）の画素量が比較的多くなる。

一方、ＵＲＬや文章などの文字を撮影する場合、認識可能な範囲でなるべく多くの文字を写し込むには、接写ではなく、撮影対象からある程度距離をおいて撮影することになる。この結果、図１１（ａ）に示すように、撮像画像中には、対象とする文字の周囲部分も多く写り込むことになる。この場合、図１１（ｂ）に示すようなヒストグラム分布となり、最明部の画素量に対する最暗部の画素量が比較的少なくなる。

すなわち、撮像されたオブジェクトが２次元コードであるか文字かによって、最暗部の画素量と最明部の画素量との比率（以下、「明暗比率」とする）が異なってくる。よって、このような特性に基づいて、２次元コードと文字とを峻別するための閾値を明暗比率に設定し、撮像画像における明暗比率と閾値とを比較することで、検出されたオブジェクトが２次元コードであるか文字であるかを判別することができる。ここで、本実施形態では、明暗比率を「最暗部の画素数／最明部の画素数」で表すものとする。この場合、最暗部の画素数が最明部の画素数より多いと、明暗比率は１以上となる。よって、本実施形態では、明暗比率における閾値の例として、数値「１」を用いることとする。

つまり、オブジェクト判別部１６２は、撮像画像における明暗比率を算出し（ステップＳ２０５）、算出結果が１以上であれば、撮像されているオブジェクトが２次元コードであると判別し、明暗比率が１未満であれば、撮像されているオブジェクトが文字であると判別する（ステップＳ２０６）。

撮像画像から算出された明暗比率が１以上であり、２次元コードが示されていると判別されると（ステップＳ２０６：Ｙｅｓ）、オブジェクト判別部１６２は、撮像画像中から２次元コードが示されている部分を切り出し（ステップＳ２０７）、切り出した２次元コードの形状に基づいて、当該２次元コードの種類を判別する（ステップＳ２０８）。

ここでは、オブジェクト判別部１６２が、撮像画像に対し２値化処理をおこない、各画素の階調値が０か２５５となるよう変換する。上述したように、オブジェクトは、白地に黒色で示されているので、２値化処理後の画像中で階調値が０となっている画素が、オブジェクトを示していることになる。よって、オブジェクト判別部１６２は、階調値が０の画素のみを抽出することで、オブジェクトを示す部分を撮像画像から切り出す。そして、切り出したオブジェクト画像の形状と、特徴情報格納領域１５４に格納されている２次元コードの特徴情報が示す形状とを照合することで、撮像された２次元コードの種類を判別する。

２次元コードの種類が判別されると、コード認識部１６３により、判別された２次元コードの種類に応じたデコード動作が実行される。ここでは、オブジェクト判別部１６２により切り出されたオブジェクト画像が示す２次元コードのコード部分を解析することにより、当該２次元コードによってコード化されている情報を認識する（ステップＳ２０９）。例えば、ＵＲＬがコード化されている場合には、当該ＵＲＬを示すテキストデータが取得される。

２次元コードが認識されると、コード認識部１６３は、デコードにより取得した情報を、記憶部１５０の取得情報格納領域１５６に格納して（ステップＳ２１０）、処理を終了する。この場合、図６に示す撮像処理のフローに戻る。

一方、検出されたオブジェクトが文字である場合（ステップＳ２０６：Ｎｏ）、オブジェクト判別部１６２および文字認識部１６４により、検出された文字の種類を判別し、種類に応じた動作をおこなうための「文字認識処理」が実行される（ステップＳ３００）。この文字認識処理の詳細を、図１２に示すフローチャートを参照して説明する。

処理が開始されると、オブジェクト判別部１６２が、上記オブジェクト検出処理のステップＳ２０７と同様の処理により、検出されたオブジェクトを示す部分の切り出しをおこなう（ステップＳ３０１）。

次に、文字認識部１６４により、ステップＳ３０１で切り出されたオブジェクトが示す文字を認識し、対応するテキストデータに変換する（ステップＳ３０２）。変換されたテキストデータは、記憶部１５０の取得情報格納領域１５６に格納される。

撮像されたオブジェクトが文字認識されて、テキストデータに変換されると、オブジェクト判別部１６２は、変換されたテキストデータが示す文字と、特徴情報格納領域１５４に格納されているＵＲＬの特徴情報とを照合することにより、撮像画像に示されている文字がＵＲＬを示しているか否かを判別する（ステップＳ３０３）。ここでは、ＵＲＬの特徴情報のうち、ＵＲＬの先頭を示す文字列が、変換されたテキストデータに示されているか否かを判別する。

変換されたテキストにＵＲＬの先頭文字列が含まれていない場合、オブジェクト判別部１６２は、撮像されたオブジェクトがＵＲＬ以外の文字（この場合、一般文字による文章）であると判別する（ステップＳ３０３：Ｎｏ）。この場合、文章を認識し、認識結果に応じた動作をおこなうための「文章認識処理」が実行される（ステップＳ５００）。この文章認識処理の詳細は後述する。

一方、ＵＲＬの先頭文字列が含まれている場合、オブジェクト判別部１６２は、撮像されたオブジェクトがＵＲＬを示していると判別する（ステップＳ３０３：Ｙｅｓ）。この場合、文字列特性判別部１６５が、当該撮像画像に示されているＵＲＬの完全性を判別する。ここでは、ＵＲＬの特徴情報が示す文字列のうち、ＵＲＬの終端を示す文字列が、変換されたテキストデータに示されているか否かを判別することにより、当該撮像画像中に、一のＵＲＬの全体が含まれているか否か、すなわち、当該ＵＲＬが完全であるか否かを判別する（ステップＳ３０４）。つまり、同一の撮像画像から、ＵＲＬの先頭文字列と終端文字列の両方が認識された場合、ＵＲＬ全体が一の画像中に収まっていることになる。

当該撮像画像中からＵＲＬ全体が検出されない場合（ステップＳ３０４：Ｎｏ）、撮像画像からＵＲＬ全体を取得するための「連続撮像処理」が実行される（ステップＳ４００）。連続撮像処理の詳細は後述する。

一方、検出されたＵＲＬが完全である場合（ステップＳ３０４：Ｙｅｓ）、文字列特性判別部１６５は、制御部１１０に、その旨を通知するとともに、文字認識部１６４によって変換された、当該ＵＲＬを示すテキストデータを送出する。

文字列特性判別部１６５からの通知に応じて、制御部１１０は、撮像画像から抽出され、テキストデータとして認識されたＵＲＬを用いた処理をおこなう（ステップＳ３０５）。ここでは、例えば、認識されたＵＲＬをハイパーリンク形式で表示部１４２に表示し、ユーザが、表示されているＵＲＬを指定する操作をおこなった場合に、当該ＵＲＬが示すウェブサイトにアクセスするための処理を実行する。また、例えば、記憶部１５０の機能データ格納領域１５２に構成されているＵＲＬリストへの追加などをおこなう。

認識されたＵＲＬを用いた処理が終了すると、制御部１１０は、取得情報格納領域１５６に格納されている当該ＵＲＬ情報、および、画像データ格納領域１５３に格納されている当該撮像画像の画像データを削除して（ステップＳ３０６）、処理を終了する。すなわち、図７に示すオブジェクト検出処理のフローに戻る。

ここで、ステップＳ３０４で、当該撮像画像からＵＲＬ全体が検出されない場合に実行される連続撮像処理の詳細を図１３に示すフローチャートを参照して説明する。

上記文字認識処理のステップＳ３０４で、一の撮像画像からＵＲＬ全体が検出されなかった場合、文字列特性判別部１６５は、その旨を制御部１１０に通知するとともに、ステップＳ３０２で変換されたテキストデータを制御部１１０に送出する。

制御部１１０は、文字列特性判別部１６５からの通知に応じて、変換されたテキストデータと、撮像画像中に撮像対象オブジェクトが完全に含まれていない旨を示すメッセージを示すとともに、連続して当該オブジェクトをさらに撮影するか否かを問い合わせる画面（以下、「連続撮影確認画面」とする）を表示部１４２に表示する（ステップＳ４０１）。この場合、制御部１１０は、フォアグラウンドでおこなわれている撮像動作に対する割り込み処理により、図１４に示すように、表示部１４２のビューファインダ画面上に連続撮影確認画面を表示する。

ユーザは、表示部１４２に表示されている連続撮影確認画面により、現時点で認識されているＵＲＬを確認し、取得対象としているＵＲＬの未取得部分の撮影が必要な場合には、操作部１３１を操作し、連続撮影をおこなう旨の指示を入力する。一方、未取得部分の撮影は不要である場合には、連続撮影をおこなわない旨の指示を入力する。

制御部１１０は、操作部１３１からの入力信号に基づいて、連続撮影の実行が指示されたか否かを判別する（ステップＳ４０２）。

連続撮影をおこなわないとする指示である場合（ステップＳ４０２：Ｎｏ）、処理を終了し、図１２に示す文字認識処理のフローに戻る。この場合、制御部１１０は、例えば、認識した不完全なＵＲＬ情報を用いた処理をおこなうか否かをユーザに問い合わせ、ユーザの指示に応じた処理をおこなってもよい。例えば、当該不完全なＵＲＬ情報のユーザによる修正やＵＲＬリストへの追加、あるいは、ＵＲＬ情報の消去などをおこなう。

一方、連続撮影の実行が指示された場合（ステップＳ４０２：Ｙｅｓ）、制御部１１０は、記憶部１５０の画像データ格納領域１５３にアクセスし、現在オブジェクトの検出をおこなっている撮像画像（以下、「元画像」とする）の撮像ＩＤを取得した後に撮像動作に戻り（ステップＳ４０３）、次の撮像、すなわち、シャッタ動作指示を待機する（ステップＳ４０４）。

ユーザによる操作部１３１の操作により、次の撮像がおこなわれると、制御部１１０は、画像データ格納領域１５３（図４（ａ）参照）に新たなレコードを作成し、撮像された画像の画像データを格納するとともに、当該レコードの「連続識別フラグ」に「１」を記録する。これにより、当該撮像画像が、対象オブジェクトを完全に取得するための連続撮像対象であることが示される。さらに、「検出対象」に「ＵＲＬ」を記録するとともに、当該撮像前に取得した元画像の撮像ＩＤを「元画像」に記録する。すなわち、連続撮像された画像データの格納時には、連続撮像に関する情報が併せて記録される（ステップＳ４０５）。

連続撮像された画像データが格納されると、制御部１１０は、当該画像に対するオブジェクト抽出処理の実行を画像処理部１６０に指示する。制御部１１０からの指示に応じて、画像処理部１６０の文字認識部１６４により、撮像画像に含まれている文字部分（ＵＲＬ）の抽出・認識がおこなわれる（ステップＳ４０６）。ここでは、文字認識により、対応するテキストデータに変換され、記憶部１５０の取得情報格納領域１５６に格納される。なお、検出対象がＵＲＬであることが既に認識されているので、オブジェクトの検出動作やオブジェクトの種類を判別する動作は省略される。

連続撮像画像からＵＲＬを示すテキストデータが抽出されると、文字列調整部１６６により、元画像から抽出されたテキストデータと、連続撮像画像から抽出されたテキストデータとの間の調整および結合がおこなわれる。ここでは、２つのテキストデータ間で、重複している文字列を検出し、一方のテキストデータから当該重複部分を削除して結合させる（ステップＳ４０７）。

このとき、文字列調整部１６６は、特徴情報格納領域１５４にＵＲＬの特徴情報として記録される文法情報を参照して文字列の調整をおこなう。すなわち、ＵＲＬを構成する文字列は、文章とは異なり、必ずしも意味をなす文字列であるとは限らないため、同じ文字が連続する場合もある。したがって、単純に文字の重複部分のみに基づいて結合させると、不正確な結果となる場合もある。ここで、ＵＲＬの文法情報として、「.」（ドット）や「/」（スラッシュ）が区切り記号として用いられていることが示されているので、文字列調整部１６６は、対象とする双方のテキストデータに含まれている区切り記号の位置を基準に重複部分の検出をおこなうことで、正確な結合をおこなうことができる。

文字列調整部１６６は、このようにして結合した文字列を取得情報格納領域１５６に格納する。

文字列調整部１６６により、元画像から抽出されたテキストデータと、連続撮像画像から抽出されたテキストデータとの結合がおこなわれると、文字列特性判別部１６５により、結合されたテキストデータの完全性が判別される（ステップＳ４０８）。ここでは、特徴情報格納領域１５４に格納されているＵＲＬの特徴情報のうち、ＵＲＬの終端を示す文字列を参照し、当該文字列が結合後のテキストデータに含まれているか否かを判別することで、ＵＲＬ全体を表しているか否かを判別する。

結合後のＵＲＬが依然完全ではない場合（ステップＳ４０８：Ｎｏ）、ステップＳ４０１に戻り、さらなる連続撮像をおこなう。

一方、結合後のＵＲＬが完全である場合（ステップＳ４０８：Ｙｅｓ）、文字列特性判別部１６５は、制御部１１０に、その旨を通知するとともに、文字列調整部１６６によって結合された、当該ＵＲＬを示すテキストデータを送出する。

制御部１１０は、文字列特性判別部１６５からの通知に応じて、制御部１１０は、抽出されたＵＲＬを用いた処理をおこなう（ステップＳ４０９）。ここでは、例えば、抽出されたＵＲＬをハイパーリンク形式で表示部１４２に表示し、ユーザが、表示されているＵＲＬを指定する操作をおこなった場合に、当該ＵＲＬが示すウェブサイトにアクセスするための処理を実行する。また、例えば、記憶部１５０の機能データ格納領域１５２に構成されているＵＲＬリストへの追加などをおこなう。

抽出されたＵＲＬを用いた処理が終了すると、制御部１１０は、取得情報格納領域１５６に格納されている当該ＵＲＬ情報、および、画像データ格納領域１５３に格納されている当該撮像画像の画像データを削除して（ステップＳ４１０）、処理を終了する。すなわち、図１２に示す文字認識処理のフローに戻る。

次に、上記文字認識処理のステップＳ３０３で、検出されたオブジェクトが文章であると判別された場合に実行される「文章認識処理」の詳細を図１５に示すフローチャートを参照して説明する。

処理が開始されると、画像処理部１６０の文字列特性判別部１６５により、検出された文字の種類が判別される（ステップＳ５０１）。ここでは、変換されたテキストデータが示す文字と、特徴情報格納領域１５４に格納されている一般文字情報の特徴情報とを照合することにより、抽出された文字で構成されている文章の言語などを判別する。

検出された文章の言語が判別されると、文字列特性判別部１６５は、その旨を文字列調整部１６６に通知する。文字列調整部１６６は、文字列特性判別部１６５からの通知に応じて、記憶部１５０の取得情報格納領域１５６にアクセスし、取得済みの情報（テキストデータ）のうち、オブジェクト種類が同一のものがあるか否かを判別する。

ここでは、種類が「文章」であると判別されたオブジェクトを処理対象としているので、文字列調整部１６６は、取得情報格納領域１５６に記録されている取得済みデータのうち、オブジェクト種類が「文章」となっているデータがあるか否かを判別する（ステップＳ５０２）。

同一オブジェクト種類のテキストデータがある場合（ステップＳ５０２：Ｙｅｓ）、文字列調整部１６６は、該当するレコードに記録されている格納日時情報に基づいて、直近に取得された文章データ（すなわち、撮像画像から取得された文章を示すテキストデータ。以下、「直近文章データ」とする。）を特定して取得する（ステップＳ５０３）。そして、文字列調整部１６６は、取得した直近文章データと、今回取得したテキストデータとの間の連続性（関連性）を判別する（ステップＳ５０４）。

ここでは、文字列調整部１６６が、直近文章データと今回取得したテキストデータとの間に重複部分があるか否かを判別することで、両者の連続性（関連性）を判別する。文字列調整部１６６は、例えば、対象としている文章の行単位で重複があるか否かを判別する。

直近文章データと今回取得したテキストデータとの間に重複部分が検出され、両者の間に連続性（関連性）があると判別された場合（ステップＳ５０４：Ｙｅｓ）、文字列調整部１６６は、今回取得したテキストデータから当該重複部分を削除し、残りのテキストデータを直近文章データに結合して、取得情報格納領域１５６に格納する（ステップＳ５０５）。

これにより、例えば、取得対象とする文章の全範囲が１回の撮像では写しきれず、複数回に分けて所望する範囲を撮影した場合に、撮像毎に取得されたテキストデータを結合してひとまとまりのデータ（例えば、同一ファイル）として記録することができる。

データの結合がおこなわれると、制御部１１０は、取得情報格納領域１５６から当該データを取得し、表示部１４２に表示する（ステップＳ５０６）。また、制御部１１０は、記憶部１５０の言語情報格納領域１５５にアクセスし、ステップＳ５０１で判別された言語に対応する辞書プログラムを起動し、認識された文章に対する辞書機能を実行する（ステップＳ５０７）。ここでは、例えば、表示されている文章中でユーザが指定した単語の意味などを辞書データに基づいて出力する。

一方、ステップＳ５０２で、オブジェクト種類が同一のデータがないと判別された場合（ステップＳ５０２：Ｎｏ）、もしくは、ステップＳ５０４で、直近文章データとの連続性（関連性）がないと判別された場合（ステップＳ５０４：Ｎｏ）は、ステップＳ５０６で、取得したテキストデータを表示部１４２に表示し、辞書機能を実行する（ステップＳ５０７）。

すなわち、直近に取得した文章との連続性（関連性）がない場合、取得されたテキストデータは、取得済みのデータとは独立して取得情報格納領域１５６に格納されることになる。

ユーザは、表示部１４２に表示されている文章を参照する他、必要に応じて辞書機能を利用する。また、操作部１３１の所定のキーを操作することによって、次の動作もしくは文章表示の終了を指示する。

制御部１１０は、ユーザによる操作部１３１の操作に基づいて、文章表示の終了が指示されたか否かを判別する（ステップＳ５０８）。文章表示の終了が指示されるまでは、取得された文章の表示と辞書機能の実行が継続される（ステップＳ５０８：Ｎｏ）。

一方、文章表示の終了が指示された場合には（ステップＳ５０８：Ｙｅｓ）、文章認識処理を終了し、図１２に示す文字認識処理のフローに戻る。

上記の各処理で示した動作により、ユーザが移動体通信端末１００を用いて撮影をおこなった場合に、撮像画像中にオブジェクトが示されているか否かを移動体通信端末１００が自動的に判別する。よって、従来は、コードシンボルや文字の認識を目的とした撮影であるか、通常の撮影であるか、などを撮影毎にユーザが指定していたが、上記実施形態の移動体通信端末１００によれば、ユーザがこのような指定をおこなう必要がない。

また、このようなオブジェクトの検出動作は、撮像動作のバックグラウンドでおこなわれているので、検出結果を待つことなく撮影を続行することができる。つまり、オブジェクト認識を目的としない通常撮影の場合でもオブジェクト検出処理が実行されるが、撮像動作のバックグラウンドでおこなわれているので、検出処理が終了するまで次の撮影が中断されてしまうことがない。よって、ユーザは、撮影目的がオブジェクト認識であるか通常撮影であるかにかかわらず、任意のタイミングでシャッタ操作するのみでよい。

そして、移動体通信端末１００でオブジェクトを検出した場合には、その旨がユーザに通知される。よって、ユーザがオブジェクト認識を目的とした撮影をおこなった場合はこの通知を待って認識処理にかかる指示をおこなえばよい。一方、通常撮影をおこなっている時に、意図しないオブジェクト検出がされた場合には、通知に対して、認識処理をおこなわない旨の指示をおこなうだけで撮影を続行することができる。

また、オブジェクト認識を目的とした撮影の際にも、検出されたオブジェクトの種類を移動体通信端末１００が自動的に判別するので、対象とするオブジェクトの種類をユーザが予め指定する必要もない。

さらに、ＵＲＬなどといった、利用するためには完全性が求められる情報が検出された場合には、撮像画像から取得された当該情報の完全性を移動体通信端末１００が自動的に判別し、完全性がない場合には、複数の撮像画像から正確に情報を取得することができる。

また、複数の撮像動作によって文章などを撮影した場合、複数の撮像画像から認識された文章間の連続性（関連性）を移動体通信端末１００が自動的に判別し、関連のある文章であれば、結合して１つのデータ（ファイル）として扱うことができる。よって、ユーザは、取得した文章データの編集などをおこなう必要がなく、所望する範囲を撮影するだけで自動的にデータが分類される。

以上説明したように、本願発明を上記実施形態の如く適用することで、ユーザが煩雑な操作をすることなく、撮像による情報取得を効率的におこなうことができる。

上記実施形態は一例であり、本発明の適用範囲はこれに限られない。すなわち、種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。

上記実施形態では、撮像動作のバックグラウンドでオブジェクト検出処理をおこなうことで、撮影の中断等を生じさせずにオブジェクトの検出を可能としたが、例えば、装置の処理能力が低く、撮像動作とオブジェクト検出処理を同時に実行できないような場合には、撮像動作中にオブジェクト検出処理を実行し、オブジェクト検出処理が終了した時点で撮像動作に復帰するようにしてもよい。このような場合であっても、上述したオブジェクト検出処理では、まず、一般画像か否かの判別をおこない、一般画像であればすぐに処理を終了する。また、一般画像か否かの判別は、輝度階調のヒストグラム分布に基づいておこなうため、処理が簡易である。したがって、オブジェクトの認識を目的としない撮影をおこなっている場合は、オブジェクト処理による撮影中断時間が短く、ユーザの撮影動作を妨げることがない。

また、上記実施形態では、認識対象として、２次元コード、ＵＲＬ、文章を例示したが、認識対象はこれに限られず任意である。例えば、１次元バーコード、電子メールアドレス、などを対象としてもよい。

また、上記実施形態では、撮像機能を有する移動体通信端末に本発明を適用した場合を示したが、本発明を適用可能な装置はこれに限られない。すなわち、コードシンボルや文字を撮像して画像処理をおこなえる装置であればよく、例えば、デジタルスチルカメラやデジタルビデオカメラ、あるいは、撮像機能を有するパーソナルコンピュータやＰＤＡ（Personal Data Assistance：携帯情報端末）などの装置に本発明を適用してもよい。

また、本発明を実現するための装置は、専用装置によって構成可能であることはもとより、プログラムの適用により、既存の装置を本発明にかかる画像撮像装置として機能させることもできる。すなわち、撮像機能を有する装置において、動作プログラムの更新や追加が可能である場合、上述した各処理を実現するためのプログラムを適用し、当該装置の制御部（ＣＰＵなど）が、適用したプログラムを実行することで、上述の各処理が実現され、本発明にかかる画像撮像装置として機能する。

このようなプログラムの提供方法は任意であり、例えば、インターネットなどの通信媒体を介して提供可能である他、所定の記録媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤ、メモリカード、など）にプログラムを格納して配布してもよい。

本発明の実施形態にかかる移動体通信端末の外観を模式的に示す図であり、（ａ）は移動体通信端末の正面を示し、（ｂ）は移動体通信端末の背面を示す。 図１に示す移動体通信端末の内部構成を示すブロック図である。 図２に示す記憶部に構成される記憶領域の例を示す図である。 図３に示す記憶領域に格納される情報の例を示す図であり、（ａ）は画像データ格納領域に格納される情報の例を示し、（ｂ）は特徴情報格納領域に格納される情報の例を示し、（ｃ）は取得情報格納領域に格納される情報の例を示す。 図２に示す画像処理部により実現される機能構成を示すブロック図である。 本発明の実施形態にかかる「撮像処理」を説明するためのフローチャートである。 図６に示す撮像処理において実行される「オブジェクト検出処理」を説明するためのフローチャートである。 図７に示すオブジェクト検出処理におけるオブジェクト検出方法を説明するための図であり、（ａ）はオブジェクトを撮像した場合のヒストグラム分布の例を示し、（ｂ）は一般画像のヒストグラム分布の例を示す。 図７に示すオブジェクト検出処理で出力される「検出通知画面」の表示例を示す図である。 図７に示すオブジェクト検出処理における、オブジェクト判別の方法を説明するための図であり、（ａ）は２次元コードを撮影した場合の撮像画像の例を示し、（ｂ）はこの場合のヒストグラム分布の例を示す。 図７に示すオブジェクト検出処理における、オブジェクト判別の方法を説明するための図であり、（ａ）は文字列を撮影した場合の撮像画像の例を示し、（ｂ）はこの場合のヒストグラム分布の例を示す。 図７に示すオブジェクト検出処理で実行される「文字認識処理」を説明するためのフローチャートである。 図１２に示す文字認識処理で実行される「連続撮像処理」を説明するためのフローチャートである。 図１３に示す連続撮像処理で出力される「連続撮影確認画面」の表示例を示す図である。 図１２に示す文字認識処理で実行される「文章認識処理」を説明するためのフローチャートである。

符号の説明

１００…移動体通信端末、１１０…制御部、１２０…通信制御部、１３０…入力制御部、１３３…画像入力部、１４０…出力制御部、１５０…記憶部、１５１…プログラム格納領域、１５２…機能データ格納領域、１５３…画像データ格納領域、１５４…特徴情報格納領域、１５５…言語情報格納領域、１５６…取得情報格納領域、１６０…画像処理部、１６１…オブジェクト検出部、１６２…オブジェクト判別部、１６３…コード認識部、１６４…文字認識部、１６５…文字列特性判別部、１６６…文字列調整部

Claims (12)

1. 画像撮像モードにおいて撮像された画像を表示すると共に、その撮像された撮像画像を記録する機能を有する画像撮像装置であって、
   前記画像撮像モードで撮像された画像の記録を行うためのシャッタ操作の有無を検出するシャッタ検出手段と、
   前記シャッタ検出手段によりシャッタ操作が検出された際は、その時に撮像された撮像画像を記録する撮像画像記録手段と、
   前記シャッタ操作により撮像された撮像画像を解析し、その撮像画像内に特定処理の実行が可能な特定のオブジェクトが撮像されているか否かを当該特定のオブジェクトについての特徴情報に基づいて検出するオブジェクト検出手段と、
   当該オブジェクト検出手段が前記撮像画像内に前記特定のオブジェクトが撮像されていると検出した際に、当該オブジェクトを検出したことを通知し、当該オブジェクトの抽出を所望するか否かをユーザに問い合わせる問い合わせ手段と、
   当該問い合わせ手段に対して、ユーザが前記特定のオブジェクトの抽出の実行を指示した場合、前記オブジェクト検出手段が検出した前記特定のオブジェクトを認識し、認識した情報に基づく処理を実行すると共に、当該撮像画像の記録を削除する処理実行手段と、
   前記オブジェクト検出手段が前記撮像画像内に前記特定のオブジェクトを検出しない場合、当該撮像画像の記録を維持して、新たなシャッタ操作による撮像動作に復帰させる復帰手段と、
   を備えたことを特徴とする画像撮像装置。
2. 前記復帰手段は、前記問い合わせ手段に対して、ユーザが前記オブジェクトの抽出の実行を指示しない場合に、当該撮像画像の記録を維持して、新たなシャッタ操作による撮像動作に復帰させる、
   ことを特徴とする請求項１に記載の画像撮像装置。
3. 前記オブジェクト検出手段は、前記撮像画像記録手段が撮像した画像の階調分布特性に基づいて、その撮像画像内に前記特定のオブジェクトが撮像されているか否かを検出する、
   ことを特徴とする請求項１に記載の画像撮像装置。
4. 前記オブジェクト検出手段は、前記撮像画像記録手段による撮像動作と並行して、オブジェクトの検出をおこなう、
   ことを特徴とする請求項１に記載の画像撮像装置。
5. 前記オブジェクト検出手段が検出したオブジェクトの種類がコードシンボルであるか文字列であるかを判別するオブジェクト判別手段をさらに備え、
   前記処理実行手段は、
   前記オブジェクト判別手段が、前記画像に示されているオブジェクトがコードシンボルであると判別した場合、当該コードシンボルをデコードして情報を取得する、
   ことを特徴とする請求項４に記載の画像撮像装置。
6. 前記オブジェクト判別手段は、
   前記画像に示されているオブジェクトが文字列である場合、当該文字列の特性を判別する文字列特性判別手段をさらに備え、
   前記処理実行手段は、前記文字列特性判別手段が判別した文字列特性に応じた認識動作を実行する、
   ことを特徴とする請求項５に記載の画像撮像装置。
7. 前記文字列特性判別手段は、
   前記文字列が所定のアドレス情報であるか否かを判別し、
   所定のアドレス情報である場合には、前記特徴情報に基づいて、当該アドレス情報が完全であるか否かを判別し、
   前記処理実行手段は、
   前記文字列特性判別手段により、前記アドレス情報が完全でないと判別された場合、前記撮像画像記録手段が記録した複数の画像データから、前記アドレス情報を取得する、
   ことを特徴とする請求項６に記載の画像撮像装置。
8. 前記文字列特性判別手段は、
   前記文字列が所定のアドレス情報ではないと判別した場合、前記特徴情報に基づいて、当該文字列の言語を判別し、
   前記処理実行手段は、
   前記文字列特性判別手段が判別した言語に応じた動作を実行する、
   ことを特徴とする請求項６または７に記載の画像撮像装置。
9. 前記処理実行手段は、取得した複数の情報の重複部分を検出し、検出した重複部分に基づいて、該複数の情報を調整する文字列調整手段をさらに備える、
   ことを特徴とする請求項１乃至８のいずれか１項に記載の画像撮像装置。
10. 前記文字列調整手段は、前記処理実行手段が複数の画像データから所定のアドレス情報を取得した場合、各画像データで認識された文字列の重複部分を検出し、検出した重複部分と、前記特徴情報と、に基づいて各文字列を結合することで、一のアドレス情報となるよう調整する、
    ことを特徴とする請求項９に記載の画像撮像装置。
11. 前記文字列調整手段は、前記処理実行手段が取得した情報が、所定のアドレス情報以外の文字列である場合、取得済みの文字列情報と、新たに取得した文字列情報との重複部分があるか否かを判別し、重複部分がある場合には、当該重複部分に基づいて、前記取得済みの文字列情報と、前記新たに取得した文字列情報とを結合することで、一の情報となるよう調整する、
    ことを特徴とする請求項９または１０に記載の画像撮像装置。
12. コンピュータに、
    画像撮像モードにおいて撮像された画像を表示する機能と、
    前記画像撮像モードで撮像された画像の記録を行うためのシャッタ操作の有無を検出する機能と、
    シャッタ操作が検出された際は、その時に撮像された撮像画像を記録する機能と、
    前記シャッタ操作により撮像された撮像画像を解析し、その撮像画像内に特定処理の実行が可能な特定のオブジェクトが撮像されているか否かを当該特定のオブジェクトについての特徴情報に基づいて検出する機能と、
    前記撮像画像内に前記特定のオブジェクトが撮像されていると検出した際に、当該オブジェクトを検出したことを通知し、当該オブジェクトの抽出を所望するか否かをユーザに問い合わせる機能と、
    当該問い合わせに対して、ユーザが前記オブジェクトの抽出の実行を指示した場合、前記検出したオブジェクトを認識し、認識した情報に基づく処理を実行すると共に、当該撮像画像の記録を削除する機能と、
    前記撮像画像内に前記特定のオブジェクトを検出しない場合、当該撮像画像の記録を維持して、新たなシャッタ操作による撮像動作に復帰させる機能と、
    を実現させることを特徴とするプログラム。
    

Images