JP5263966B2 - 端末装置およびプログラム - Google Patents

Description

本発明は、画像に含まれるオブジェクトの中から、あるオブジェクトを容易に識別させる端末装置およびプログラムに関する。

画像に含まれる文字（文字列）や人物の顔などのオブジェクトを認識し、その中からユーザが指定したオブジェクトを検索して該当オブジェクトを識別表示する技術が知られている。この種の技術として、例えば特許文献１には、スキャナで取り込んだ画像から各文字のコードとその位置情報とを認識してメモリに記憶しておき、入力された検索語に一致する文字列の位置情報をメモリから検索して該当する文字列を画像中で反転表示する技術が開示されている。

特開平８−１８００６８号公報

ところで、上記特許文献１に開示の技術では、検索したいオブジェクト（識別表示させたいオブジェクト）をユーザが事前に入力しなければならず煩雑である。例えばオブジュクトが文字情報の場合には、検索すべき文字情報をユーザ自ら入力する必要がある。また、検索したいオブジュクトをユーザが入力できない場合には、該当するオブジェクトを検索することが出来ない。すなわち、オブジェクトが文字情報の場合、ユーザが検索したい文字情報が新聞の紙面にありそうな文字情報だと分かっていても、失念してしまったり曖昧に記憶していたりする文字情報であると、ユーザは検索したい文字情報を入力することが出来ず、結果的に識別表示させることが出来ない。これは新聞の紙面に限らず、特定の文書内に含まれる文字情報などで頻繁に起こり得る状況である。

さらに、上記特許文献１に開示の技術では、画像の撮影（入力）、画像の記録、記録した画像の表示および検索しようとするオブジェクトの入力といった多くの操作が必要になり、それら操作が煩雑さを招致する。例えば新聞や雑誌の紙面の中に、ある特定の文字情報が存在しているか否かや、存在しているとすればどの辺りに存在するのかをユーザが知りたい場合、対象となる紙面を全て含む画像を撮影（入力）して記録し、この記録した画像を画面表示させ、検索したい文字情報を入力するという多くの操作が要求される。つまり、以上の内容を換言すれば、従来では、画像に含まれるオブジェクトの中から、あるオブジェクトを容易に識別させることが出来ない、という問題がある。

本発明は、このような事情に鑑みてなされたもので、画像に含まれるオブジェクトの中から、あるオブジェクトを容易に識別させることができる端末装置およびプログラムを提供することを目的としている。

上記目的を達成するため、請求項１記載の発明では、画像を取得する画像取得手段と、前記画像取得手段により取得された画像の少なくとも一部を画面に表示する画像表示手段と、前記画像取得手段により取得された画像に含まれるオブジェクトを特定する特定手段と、前記特定手段により特定されたオブジェクトを候補情報として抽出する抽出手段と、前記抽出手段により抽出された候補情報のいずれかを指定する指定手段と、前記画像表示手段により画像の少なくとも一部が画面に表示されている時に、前記指定手段により指定された候補情報に該当するオブジェクトの表示位置を当該画面上で識別表示する識別表示手段と、前記画像表示手段により画像の少なくとも一部が画面に表示されている時に、前記指定手段により指定された候補情報に該当するオブジェクトが表示されているか否かを判別する判別手段と、前記判別手段により該当するオブジェクトが表示されていないと判別された場合、その該当するオブジェクトの位置を示す位置情報を表示する位置情報表示手段とを具備することを特徴とする。

上記請求項１に従属する請求項２に記載の発明では、画像を撮像する撮像手段を更に備え、前記画像取得手段は、前記撮像手段により撮像された画像を取得することを特徴とする。

上記請求項１に従属する請求項３に記載の発明では、前記画像取得手段により取得された画像の少なくとも一部と、前記指定手段により指定された候補情報とを同時に画面表示する同時表示手段を更に備えることを特徴とする。

上記請求項１に従属する請求項４に記載の発明では、前記画像表示手段により画像の少なくとも一部が画面に表示されている時に、前記指定手段により指定された候補情報に該当するオブジェクトが表示されているか否かを判別する判別手段と、前記判別手段により該当するオブジェクトが表示されていると判別された場合、その旨を報知する報知手段とを更に備えることを特徴とする。

上記請求項１に従属する請求項５に記載の発明では、前記特定手段は、前記画像取得手段により取得された画像に含まれるオブジェクトとして人物を特定することを特徴とする。

上記請求項１に従属する請求項６に記載の発明では、前記指定手段により指定された候補情報に該当するオブジェクトを、記憶手段に記憶されている情報と対応付けて記憶する記憶制御手段を更に備えることを特徴とする。

上記請求項１に従属する請求項７に記載の発明では、前記特定手段は、前記画像取得手段により取得された画像に含まれるオブジェクトとして文字情報を特定することを特徴とする。

上記請求項１に従属する請求項８に記載の発明では、前記指定手段により指定された候補情報に該当するオブジェクトを、文字入力手段によって入力される文字情報として設定する設定手段を更に備えることを特徴とする。

請求項９に記載の発明では、撮像手段により撮像された画像の少なくとも一部を画面に表示する画像表示手段と、前記画像表示手段による画像の表示を所定のタイミングで更新する画像更新手段と、撮像手段により撮像された画像に含まれる第１の文字情報を特定する特定手段と、第２の文字情報を指定する指定手段と、前記特定手段により特定された第１の文字情報の中に、前記指定手段により指定された第２の文字情報に一致する該当文字情報が存在するか否かを判別する判別手段と、前記判別手段により該当文字情報が存在すると判別された場合に、その該当文字情報の表示位置を表示画面上で識別表示する識別表示手段と、前記画像更新手段が画像の表示を更新した時に、前記識別表示手段による識別表示を更新する識別表示更新手段と、前記画像表示手段が撮像手段により撮像された画像の少なくとも一部を画面に表示している状態で、前記指定手段により指定された第２の文字情報に一致する該当文字情報が画面に表示されているか否かを判別する表示判別手段と、前記表示判別手段により該当文字情報が画面に表示されていないと判別された場合に、その該当文字情報の位置を示す位置情報を表示する位置情報表示手段とを具備することを特徴とする。

上記請求項９に従属する請求項１０に記載の発明では、撮像手段により撮像された画像の少なくとも一部と、前記指定手段により指定された第２の文字情報とを同時に画面表示する同時表示手段を更に備えることを特徴とする。

上記請求項９に従属する請求項１１に記載の発明では、前記画像表示手段が、撮像手段により撮像された画像の少なくとも一部を画面に表示している状態で、前記指定手段により指定された第２の文字情報を変更する文字情報変更手段を更に備えることを特徴とする。

上記請求項９に従属する請求項１２に記載の発明では、前記画像更新手段が画像の表示を更新した時に、前記位置情報表示手段により表示される位置情報の表示を更新する位置情報更新手段を更に備えることを特徴とする。

上記請求項９に従属する請求項１３に記載の発明では、前記画像表示手段が撮像手段により撮像された画像の少なくとも一部を画面に表示している状態で、前記指定手段により指定された第２の文字情報に一致する該当文字情報が画面に表示されているか否かを判別する表示判別手段と、前記表示判別手段により該当文字情報が画面に表示されていると判別された場合、その旨を報知する報知手段とを更に備えることを特徴とする。

請求項１４に記載の発明では、コンピュータに、画像を取得する画像取得ステップと、前記画像取得ステップで取得された画像の少なくとも一部を画面に表示する画像表示ステップと、前記画像取得手段で取得された画像に含まれるオブジェクトを特定する特定ステップと、前記特定ステップで特定されたオブジェクトを候補情報として抽出する抽出ステップと、前記抽出師にて抽出された候補情報のいずれかを指定する指定ステップと、前記画像表示ステップで画像の少なくとも一部が画面に表示されている時に、前記指定ステップにて指定された候補情報に該当するオブジェクトの表示位置を当該画面上で識別表示する識別表示ステップと、前記画像表示ステップで画像の少なくとも一部が画面に表示されている時に、前記指定ステップにて指定された候補情報に該当するオブジェクトが表示されているか否かを判別する判別ステップと、前記判別ステップにて該当するオブジェクトが表示されていないと判別された場合、その該当するオブジェクトの位置を示す位置情報を表示する位置情報表示ステップとを実行させることを特徴とする。

請求項１５に記載の発明では、コンピュータに、撮像ステップで撮像された画像の少なくとも一部を画面に表示する画像表示ステップと、前記画像表示ステップによる画像の表示を所定のタイミングで更新する画像更新ステップと、撮像ステップで撮像された画像に含まれる第１の文字情報を特定する特定ステップと、第２の文字情報を指定する指定ステップと、前記特定ステップで特定された第１の文字情報の中に、前記指定ステップで指定された第２の文字情報に一致する該当文字情報が存在するか否かを判別する判別ステップと、前記判別ステップにて該当文字情報が存在すると判別された場合に、その該当文字情報の表示位置を表示画面上で識別表示する識別表示ステップと、前記画像更新ステップが画像の表示を更新した時に、前記識別表示ステップによる識別表示を更新する識別表示更新ステップと、前記画像表示ステップが撮像ステップで撮像された画像の少なくとも一部を画面に表示している状態で、前記指定ステップにて指定された第２の文字情報に一致する該当文字情報が画面に表示されているか否かを判別する表示判別ステップと、前記表示判別ステップにて該当文字情報が画面に表示されていないと判別された場合に、その該当文字情報の位置を示す位置情報を表示する位置情報表示ステップとを実行させることを特徴とする。

本発明では、画像に含まれるオブジェクトの中から、あるオブジェクトを容易に識別させることができる。

実施の一形態による携帯電話１０が有する機能の概要を説明する為のシステム構成図である。 携帯電話１０の電気的構成を示すブロック図である。 記憶部１０１の制御情報記憶部１０１ｃに記憶される制御情報の一例を示す図である。 撮像部１０４の撮影範囲と表示部１０５に画面表示される表示範囲との対応関係を説明するための図である。 表示部１０５に設けられる画面フィールドＩＭＦおよび入力フィールドＩＮＦの一例を示す図である。 メインルーチンの動作を示すフローチャートである。 機能起動処理の動作を示すフローチャートである。 撮影機能処理の動作を示すフローチャートである。 リアルタイム文字検索処理の動作を示すフローチャートである。 リアルタイム文字検索処理の動作を示すフローチャートである。 記録画像文字検索処理の動作を示すフローチャートである。 記録画像文字検索処理の動作を示すフローチャートである。 リアルタイム人物検索処理の動作を示すフローチャートである。 記録画像人物検索処理の動作を示すフローチャートである。 文字特定処理の動作を示すフローチャートである。 人物特定処理の動作を示すフローチャートである。 文字識別表示更新処理の動作を示すフローチャートである。 人物識別表示更新処理の動作を示すフローチャートである。 文字識別表示処理の動作を示すフローチャートである。 人物識別表示処理の動作を示すフローチャートである。 動作の一例を示す図である。 動作の一例を示す図である。 動作の一例を示す図である。 動作の一例を示す図である。

以下、図面を参照して本発明の実施の形態について説明する。
Ａ．構成
（１）システム構成
図１は、実施の一形態による携帯電話１０が備える機能の概要を説明する為のシステム構成図である。携帯電話１０は、移動無線通信機能およびメール送受信機能を備える。移動無線通信機能を用いて通話する場合、携帯電話１０は、位置登録している基地局ＢＳを介して発信側の交換機ＳＷに発呼する。発信側の交換機ＳＷは、発呼に応じて、無線通信網ＲＮ中に設けられる加入者登録サーバ（不図示）から問い合せた着番号（加入者番号）および位置登録情報に基づき着信側の交換機ＳＷを呼出す。着信側の交換機ＳＷは、着信側の基地局ＢＳを介して着信側の携帯電話１０（不図示）を呼出し、これに応じて着信側が着呼応答すると、発信側の交換機ＳＷと着信側の交換機ＳＷとのリンクが確立して通話可能になる。

メール送受信機能を用いて携帯電話１０から送信されるメールは、基地局ＢＳ、交換機ＳＷおよび無線通信網ＲＮ中に設けられるゲートウェイサーバ（不図示）を経てインターネットＩＴＮ上のメールサーバ（不図示）に伝送される。メールサーバは、上述とは逆の経路を辿って宛先のメールアドレスを有する携帯電話１０にメールを送るようになっている。また、携帯電話１０は、移動無線通信機能を用い、基地局ＢＳ、交換機ＳＷおよび無線通信網ＲＮを経由してインターネットＩＴＮ上の情報配信装置２０にアクセスして画像データ（静止画像／動画像）をダウンロードして取得する。

（２）携帯電話１０の電気的構成
図２は、携帯電話１０の電気的構成を示すブロック図である。この図において、制御部１００は、ＣＰＵおよび入出力回路などから構成され、後述する操作部１０６から供給される各種の操作イベントに応じて、携帯電話１０の各部の動作を制御する。本発明の要旨に係わる制御部１００の特徴的な処理動作については追って詳述する。

記憶部１０１は、ＲＯＭおよびＲＡＭから構成され、後述の各記憶部１０１ａ〜１０１ｅを有する。プログラム記憶部１０１ａには、制御部１００により実行される各種プログラムデータや、所定のプログラムにより参照される制御データの他、例えば待受画面などの各種表示画面を形成する画面データが記憶される。なお、プログラム記憶部１０１ａに記憶される各種プログラムとは、追って詳述するメインルーチン、機能起動処理、撮影機能処理、リアルタイム文字検索処理、記録画像文字検索処理、リアルタイム人物検索処理、記録画像人物検索処理、文字特定処理、人物特定処理、文字識別表示更新処理、人物識別表示更新処理、文字識別表示処理および人物識別表示処理を含む。

各種情報一時記憶部１０１ｂは、ワークエリアおよび画像データエリアを備える。各種情報一時記憶部１０１ｂのワークエリアには、携帯電話１０の動作に必要な各種レジスタ・フラグデータや表示部１０５の表示画面を形成するための画面情報などが記憶される。一方、画像データエリアには、撮像部１０４により撮影され、記録指示された画像（静止画データ／動画データ）や、インターネットＩＴＮ上の画像配信装置２０からダウンロードした画像（静止画データ／動画データ）が保存される。

制御情報記憶部１０１ｃには、図３に図示するように、２つの項目（「表示位置を変更する」又は「位置表示する」）の内、ユーザ操作に応じて設定される設定フラグで指定される項目の制御情報が記憶される。この項目とは、該当するオブジェクトが画像中に存在するが画面表示されていない場合に、どのような制御を行うかを指定する。例えば、「表示位置を変更する」の設定フラグが「１」にセットされた場合、制御情報は、画像中に存在する該当オブジェクトの表示位置を変更させることを意味する。また、「位置表示する」設定フラグが「１」にセットされた場合、制御情報は、画像中に存在する該当オブジェクトの位置を表示させることを意味する。

辞書データベース記憶部１０１ｄには、仮名漢字変換用の辞書データ、すなわち文字入力される「読み」に対応付けられた「変換候補（単語）」を表す辞書データが記憶管理される。アドレス帳記憶部１０１ｅには、登録番号毎に対応付けられた個人の属性を表す情報であって、例えば「名前」、「電話番号」、「メールアドレス」および「画像」等から構成されるアドレス帳データが記憶される。

無線通信送受信部１０２は、データ通信時には制御部１００の制御の下に、アンテナＡＮＴ１を介して基地局ＢＳとデータ授受を行い、音声通話時にはアンテナＡＮＴ１を介して受信復調した音声データを制御部１００に出力する一方、制御部１００から供給される音声データを変調して得た送信信号を高周波増幅してアンテナＡＮＴ１から送出する。音声信号処理部１０３は、スピーカＳＰおよびマイクＭＩＣを備え、制御部１００から供給される音声データを音声信号にＤ／Ａ変換してスピーカＳＰから発音させたり、マイクＭＩＣから出力される音声信号を音声データにＡ／Ｄ変換して制御部１００に供給する。

撮像部１０４は、被写体の明るさに応じて制御部１００が指定する撮影パラメータ（ＩＳＯ感度およびシャッター速度）に従って撮影した画像を出力する。撮像部１０４の撮影範囲は、図４に図示する一例のように、新聞紙面を文字判読可能な距離から撮影した場合、撮影範囲（一度に撮影できる範囲）の中に表示範囲が収まる。表示範囲はズーム操作により可変となり、撮影範囲を全て表示範囲に設定することも可能になっている。

表示部１０５は、カラー液晶パネルおよび表示ドライバから構成され、制御部１００の制御の下に、待受画面など各種の操作画面の他、撮像部１０４により撮影された画像や無線通信部１０２を介してインターネットＩＴＮ上の画像配信装置２０から取得した画像を画面表示する。また、表示部１０５の表示画面は、図５に図示するように、画像を表示する領域となる画像フィールドＩＭＦと、主に文字入力領域として使われる入力フィールドＩＮＦとを備える。

操作部１０６には、パワーオンオフする電源スイッチ、通話開始／終了時に操作されるオフフック／オンフックスイッチ、ダイヤルスイッチと兼用の文字入力スイッチ、シャッタボタン等の各種操作キーやボタンを有し、それらキーやボタンの操作に応じたイベントを発生して制御部１００に出力する。ＲＴＣ１０７は、時刻計時やタイマ割り込みに用いるリアルタイムクロックを発生して制御部１００に供給する。報知部１０８は、制御部１００から供給される報知信号に応じて報知動作（サウンドスピーカ１０８ａの鳴音、ＬＥＤ１０８ｂの発光および振動モータ１０８ｃの駆動）を行う。電池部１０９は、携帯電話１０の各部を駆動する駆動電圧を発生する。

Ｂ．動作
次に、図６〜図２４を参照して上記構成による携帯電話１０の動作を説明する。以下では、制御部１００が実行するメインルーチン、機能起動処理、撮影機能処理、リアルタイム文字検索処理、記録画像文字検索処理、リアルタイム人物検索処理、記録画像人物検索処理、文字特定処理、人物特定処理、文字識別表示更新処理、人物識別表示更新処理、文字識別表示処理および人物識別表示処理の各動作について述べる。

（１）メインルーチンの動作
図６は、制御部１００が実行するメインルーチンの動作を示すフローチャートである。制御部１００は、ステップＳＡ１において電源オン操作が為されるまで待機し、ユーザが電源オン操作を行うと、判断結果は「ＹＥＳ」になり、ステップＳＡ２に進む。ステップＳＡ２では、電源オンに応じて携帯電話１０の各部をイニシャライズした後、無線通信網ＲＮに位置登録を行って待ち受け状態に入る待受処理を実行する。なお、待ち受け状態になると、表示部１０５には待受画面（図示略）が画面表示される。

続いて、ステップＳＡ３〜ＳＡ７では、それぞれ「設定操作」、「機能起動操作」、「着信検知」、「電源オフ操作」および「その他の操作」の各イベントの有無を判断する。これらイベントが発生しなければ、ステップＳＡ３〜ＳＡ７の各判断結果はいずれも「ＮＯ」になり、上記ステップＳＡ２の待ち受け状態で待機する。そして、この待ち受け状態において上記イベントのいずれかが発生すると、その発生したイベントに対応した処理を実行する。以下、イベント別に分けて動作説明を進める。

＜設定操作された場合＞
設定操作イベントが発生すると、上記ステップＳＡ３の判断結果が「ＹＥＳ」となり、ステップＳＡ８に進み、ユーザにより行われた設定操作に応じた設定処理を実行する。具体的には、上述した制御情報記憶部１０１ｃにおける設定フラグ操作により制御情報（項目）を指定したり、ダウンロードした画像を記録するなどの処理を実行した後、上記ステップＳＡ２の待ち受け状態に復帰する。

＜機能起動操作された場合＞
機能起動操作イベントが発生すると、上記ステップＳＡ４の判断結果が「ＹＥＳ」となり、ステップＳＡ９に進み、機能起動処理（後述する）を実行した後、上記ステップＳＡ２の待ち受け状態に復帰する。

＜着信検知した場合＞
着信検知イベントが発生すると、上記ステップＳＡ５の判断結果が「ＹＥＳ」になり、ステップＳＡ１０に進む。ステップＳＡ１０では、着信報知を行うと共に、この着信報知中にオフフック操作されると発呼側と回線接続して通話を開始させ、通話中にオンフック操作されると回線切断する通話処理を実行した後、上記ステップＳＡ２の待ち受け状態に復帰する。

＜電源オフ操作された場合＞
電源オフ操作イベントが発生すると、上記ステップＳＡ６の判断結果が「ＹＥＳ」になり、ステップＳＡ１１に進み、電源オフ処理を実行した後、本処理を完了させる。

＜その他の操作の場合＞
その他の操作（例えば発信操作やメール受信操作など）が行われると、上記ステップＳＡ７の判断結果が「ＹＥＳ」となり、ステップＳＡ１２に進み、操作に対応した処理を実行した後、上記ステップＳＡ２の待ち受け状態に復帰する。

（２）機能起動処理の動作
次に、図７を参照して機能起動処理の動作について説明する。上述したメインルーチンのステップＳＡ９（図６参照）を介して本処理が実行されると、制御部１００は図７に図示するステップＳＢ１〜ＳＢ４において、機能起動操作により起動指示された機能が「撮影機能」、「リアルタイム文字検索機能」、「記録画像文字検索機能」、「リアルタイム人物検索機能」および「記録画像人物検索機能」のいずれであるかを判断する。以下、これら各機能が起動された場合に分けて動作説明を進める。

＜撮影機能が起動された場合＞
この場合、ステップＳＢ１の判断結果が「ＹＥＳ」となり、ステップＳＢ５を介して撮影処理を実行してから待ち受け状態に復帰する。撮影処理（図８参照）では、後述するように、所定時間経過毎（一定周期毎）に撮像部１０４から撮像出力される画像を表示部１０５に画面表示して表示更新し、その過程で「記録操作（シャッタボタン操作）」された場合には撮像部１０４から撮像出力される画像を各種情報一時記憶部１０１ｂの画像データエリア（不図示）に記録し、「終了操作」された場合には本処理を終了し、「その他の操作」がなされた場合には、その他の処理を実行する。

＜リアルタイム文字検索機能が起動された場合＞
この場合、ステップＳＢ２の判断結果が「ＹＥＳ」となり、ステップＳＢ６を介してリアルタイム文字検索処理を実行した後、待ち受け状態に復帰する。リアルタイム文字検索処理（図９〜図１０参照）では、後述するように、所定時間経過毎に撮影される画像に対して画像認識を施して当該画像に含まれる文字を特定し、特定した各文字の画像中の位置および表示位置を記憶すると共に、その記憶された各文字を組み合わせて有意な文字列（単語）を辞書データベースから検索し、該当する文字列（単語）を候補として抽出して一時記憶しておく。

そして、この一時記憶された候補（単語）の中から「識別表示」された検索文字列、「位置表示」された検索文字列または「入力」された検索文字列を検索して候補（単語）に一致する検索文字列が存在すると、その該当する検索文字列が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されているか否かを判断し、表示されている場合には、識別表示（既に識別表示されている時は表示更新）すると共に、該当する検索文字列の検出を音・光・振動で報知する。

＜記録画像文字検索機能が起動された場合＞
この場合、ステップＳＢ３の判断結果が「ＹＥＳ」となり、ステップＳＢ７を介して記録画像文字検索処理を実行した後、待ち受け状態に復帰する。記録画像文字検索処理（図１１〜図１２参照）では、後述するように、各種情報記憶部１０１ｂの画像データエリア（不図示）に記録された画像の中から文字検索すべく選択した画像に対して画像認識を施して当該画像に含まれる文字を特定し、特定した各文字の画像中の位置および表示位置を記憶すると共に、その記憶された各文字を組み合わせて有意な文字列（単語）を辞書データベースから検索し、該当する文字列（単語）を候補として抽出して一時記憶しておく。

そして、この一時記憶された候補（単語）の中から「識別表示」された検索文字列、「位置表示」された検索文字列または「入力」された検索文字列を検索して候補（単語）に一致する検索文字列が存在すると、その該当する検索文字列が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されているか否かを判断し、表示されている場合には、識別表示（既に識別表示されている時は表示更新）すると共に、該当する検索文字列の検出を音・光・振動で報知する。

＜リアルタイム人物検索機能が起動された場合＞
この場合、ステップＳＢ４の判断結果が「ＹＥＳ」となり、ステップＳＢ８を介してリアルタイム人物検索処理を実行した後、待ち受け状態に復帰する。リアルタイム人物検索処理（図１３参照）では、後述するように、所定時間経過毎に撮影される画像に対して顔認識を施して当該画像に写る人物（顔が写っている人物像）を特定し、特定された人物の画像中での位置および表示部１０５の表示画面上の表示位置を各種情報一時記憶部１０１ｂに一時記憶すると共に、特定された人物（顔が写っている人物像）を候補として抽出して一時記憶しておく。

そして、この一時記憶された候補（人物像）の中から「識別表示」された人物、「位置表示」された人物または「選択された候補（人物像）」を検索し、該当する人物が画像中に存在すると、その該当人物が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されているか否かを判断し、表示されている場合には、識別表示（既に識別表示されている時は表示更新）すると共に、該当人物の検出を音・光・振動で報知する。

＜記録画像人物検索機能が起動された場合＞
この場合、ステップＳＢ４の判断結果が「ＮＯ」となり、ステップＳＢ９を介して記録画像人物検索処理を実行した後、待ち受け状態に復帰する。記録画像人物検索処理（図１４参照）では、後述するように、各種情報記憶部１０１ｂの画像データエリア（不図示）に記録された画像の中から人物検索すべく選択した画像に対して顔認識を施して当該画像に写る人物（顔が写っている人物像）を特定し、特定された人物の画像中での位置および表示部１０５の表示画面上の表示位置を各種情報一時記憶部１０１ｂに一時記憶すると共に、特定された人物（顔が写っている人物像）を候補として抽出して各種情報一時記憶部１０１ｂに一時記憶する。

そして、この一時記憶された人物像をサムネイル表示し、その中から検索したい候補（人物像）を指定すると、指定された候補（人物像）に一致する人物が画像中に存在ずれば、その該当する人物が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されているか否かを判断し、表示されている場合には、識別表示すると共に、該当人物の検出を音・光・振動で報知する。

（３）撮影機能処理の動作
次に、図８を参照して撮影機能処理の動作について説明する。上述した機能起動処理のステップＳＢ１（図７参照）を介して本処理が実行されると、制御部１００は図８に図示するステップＳＣ１に進む。ステップＳＣ１では、被写体に応じた撮影パラメータ（ＩＳＯ感度およびホワイトバランス等）に基づき撮像部１０４が撮像出力する画像を各種情報一時記憶部１０１ｂのワークエリアに取り込み、続くステップＳＣ２では、その取り込んだ画像を表示部１０５に画面表示する。また、ステップＳＣ２では、既に画像が画面表示されている場合には、新たに取り込まれた画像を画面表示して表示更新する。

次いで、ステップＳＣ３では、撮影開始から所定時間（例えば０．５秒）が経過したかどうかを判断する。所定時間経過した場合には、判断結果が「ＹＥＳ」となり、上記ステップＳＣ１に処理を戻して新たに撮像して取り込んだ画像の表示を更新する。これに対し、所定時間経過していない場合には、上記ステップＳＣ３の判断結果は「ＮＯ」となり、ステップＳＣ４に進む。

ステップＳＣ４〜ＳＣ６では、撮影中に「記録操作」、「終了操作」および「その他の操作」の有無を判断する。そして、「記録操作（シャッタボタン操作）」がなされた場合には、ステップＳＣ４の判断結果が「ＹＥＳ」になり、ステップＳＣ７に進み、各種情報一時記憶部１０１ｂのワークエリアに取り込まれている画像を、各種情報記憶部１０１ｂの画像データエリアに記録保存した後、上記ステップＳＣ３に処理を戻す。

「終了操作」がなされた場合には、ステップＳＣ５の判断結果が「ＹＥＳ」となり、本処理を終える。「その他の操作」がなされた場合、例えば撮影パラメータの変更などを指示する操作が行われると、ステップＳＣ６の判断結果が「ＹＥＳ」となり、ステップＳＣ８に進み、その操作に従って撮影パラメータの設定変更を行う等の「その他の処理」を実行した後、上記ステップＳＣ３に処理を戻す。

このように、撮影機能処理では、一定周期毎（所定時間経過毎）に撮像部１０４から撮像出力される画像を表示部１０５に画面表示して表示更新し、この過程で「記録操作」された場合には、撮像した画像を各種情報記憶部１０１ｂの画像データエリアに記録し、「終了操作」された場合には本処理を終了し、「その他の操作」がなされた場合には、その他の処理を実行するようになっている。

（４）リアルタイム文字検索処理の動作
次に、図９を参照してリアルタイム文字検索処理の動作について説明する。前述した機能起動処理のステップＳＢ６（図７参照）を介して本処理が実行されると、制御部１００は図９に図示するステップＳＤ１に進み、被写体に応じた撮影パラメータ（ＩＳＯ感度およびホワイトバランス等）に基づき撮像部１０４が撮像出力する画像を各種情報一時記憶部１０１ｂのワークエリアに取り込み、続くステップＳＤ２では、その取り込んだ画像を表示部１０５に画面表示する。また、ステップＳＤ２では、既に画像が画面表示されている場合には、新たに取り込まれた画像を画面表示して表示更新する。

次いで、ステップＳＤ３では、文字特定処理を実行する。文字特定処理（図１５参照）では、後述するように、上記ステップＳＤ１にて撮影された画像に画像認識を施して当該画像に含まれる文字を特定し、特定した各文字の画像中の位置および表示位置を記憶すると共に、その記憶された各文字を組み合わせて有意な文字列（単語）を辞書データベースから検索し、該当する文字列（単語）を候補として抽出して一時記憶する。

そして、ステップＳＤ４を介して文字識別表示更新処理を実行する。文字識別表示更新処理（図１７参照）では、後述するように、上記ステップＳＤ３の文字特定処理において画像から抽出して一時記憶された候補（単語）の中から「識別表示」された検索文字列、「位置表示」された検索文字列または「入力」された検索文字列を検索し、候補（単語）に一致する検索文字列が存在すると、その該当する検索文字列が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されているか否かを判断し、表示されている場合には、識別表示（既に識別表示されている時は表示更新）すると共に、該当する検索文字列の検出を音・光・振動で報知する。

一方、該当する検索文字列が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されていない場合、制御情報記憶部１０１ｃに記憶される制御情報の「表示位置を変更する」の設定フラグが「１」であると、該当する検索文字列が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されるように表示位置を変更すると共に、該当する検索文字列を識別表示／更新した後、該当する検索文字列の検出を音・光・振動で報知する。

次いで、ステップＳＤ５では、撮影開始から所定時間（例えば０．５秒）が経過したかどうかを判断する。所定時間経過すると、判断結果は「ＹＥＳ」となり、上記ステップＳＤ１に処理を戻し、新たに撮像された画像を取り込む。これに対し、所定時間経過していなければ、上記ステップＳＤ５の判断結果は「ＮＯ」となり、ステップＳＤ６に進む。

そして、ステップＳＤ６〜ＳＤ７、図１０に図示するステップＳＤ８〜ＳＤ１０では、「文字入力／変更操作」、「候補表示操作」、「入力候補設定操作」、「終了操作」および「その他の操作」のいずれかの操作が行われたかどうかを判断する。これら操作がいずれも行われなければ、各判断結果はそれぞれ「ＮＯ」となり、ステップＳＤ５に処理を戻す。

これに対し、「文字入力／変更操作」がなされた場合には、ステップＳＤ６の判断結果が「ＹＥＳ」となり、ステップＳＤ１１に進み、文字入力／変更操作に応じて入力フィールドＩＮＦに検索文字列を入力したり、入力フィールドＩＮＦに入力済みの検索文字列を変更する。そして、ステップＳＤ１２を介して文字識別表示処理（図１９参照）を実行した後、前述のステップＳＤ５に処理を戻す。

文字識別表示処理では、後述するように、上記ステップＳＤ１１において、入力フィールドＩＮＦに入力／変更された検索文字列を、文字特定処理（図１５参照）により画像から抽出して一時記憶された候補（単語）の中から検索し、該当する検索文字列が存在すると、その検索文字列が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されているか否かを判断し、表示されていれば、識別表示すると共に、該当する検索文字列の検出を音・光・振動で報知する。

一方、該当する検索文字列が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されていない場合、制御情報記憶部１０１ｃに記憶される制御情報の「表示位置を変更する」の設定フラグが「１」であると、該当する検索文字列が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されるように表示位置を変更すると共に、該当する検索文字列を識別表示／更新した後、該当する検索文字列の検出を音・光・振動で報知する。

「候補表示操作」がなされた場合には、ステップＳＤ７の判断結果が「ＹＥＳ」となり、ステップＳＤ１３に進み、上記ステップＳＤ３の文字特定処理において画像から抽出して一時記憶された候補（単語）の一覧を、図２３に図示する一例のようにリスト表示する。そして、ステップＳＤ１４に進み、リスト表示された候補一覧の中から所望の候補を選択する候補指定操作がなされると、ステップＳＤ１５に進み、候補指定操作により選択された候補を検索文字列として入力フィールドＩＮＦに入力したり、既に入力済みの検索文字列を選択された候補の検索文字列に変更したりする。そして、この後、ステップＳＤ１２に進み、更新された候補（検索文字列）に基づいて文字識別表示処理（図１９参照）を実行した後、前述のステップＳＤ５に処理を戻す。

「入力候補設定操作」がなされた場合には、図１０に図示するステップＳＤ８の判断結果が「ＹＥＳ」となり、ステップＳＤ１６に進み、上述のステップＳＤ４の文字識別表示更新処理（図１７参照）において識別表示された検索文字列を、次回以降の文字入力に利用する為、ユーザ入力される「読み」と対応付けた候補（単語）として辞書データベースに登録した後、前述のステップＳＤ５に処理を戻す。

「終了操作」がなされた場合には、ステップＳＤ９の判断結果が「ＹＥＳ」となり、本処理を終える。「その他の操作」がなされた場合には、ステップＳＤ１０の判断結果が「ＹＥＳ」となり、ステップＳＤ１７に進み、その他の処理を実行して前述のステップＳＤ５に処理を戻す。その他の処理とは、例えば表示されている画像のズームアップ／ズームダウン操作など画像の表示位置が変更される操作が行われた場合であれば、上述のステップＳＤ３を介して実行される文字特定処理（図１５参照）において一時記憶した文字の表示位置を更新したり、上述のステップＳＤ４を介して実行される文字識別表示更新処理（図１７参照）においてなされる識別表示や位置表示の更新を行う。

以上のように、リアルタイム文字検索処理では、所定時間経過毎に撮影される画像に対して画像認識を施して当該画像に含まれる文字を特定し、特定した各文字の画像中の位置および表示位置を記憶すると共に、その記憶された各文字を組み合わせて有意な文字列（単語）を辞書データベースから検索し、該当する文字列（単語）を候補として抽出して一時記憶しておき、この一時記憶された候補（単語）の中から「識別表示」された検索文字列、「位置表示」された検索文字列または「入力」された検索文字列を検索して候補（単語）に一致する検索文字列が存在すると、その該当する検索文字列が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されているか否かを判断し、表示されている場合には、識別表示（既に識別表示されている時は表示更新）すると共に、該当する検索文字列の検出を音・光・振動で報知する。

（５）記録画像文字検索処理の動作
次に、図１１を参照して記録画像文字検索処理の動作について説明する。前述した機能起動処理のステップＳＢ７（図７参照）を介して本処理が実行されると、制御部１００は図１１に図示するステップＳＥ１に進む。ステップＳＥ１において、各種情報記憶部１０１ｂの画像データエリアに記録された画像の中から文字検索の対象となる画像を選択する画像選択操作がなされると、ステップＳＥ２に進み、その選択された画像を読み出して表示部１０５に画面表示する。

続いて、ステップＳＥ３では、上記ステップＳＥ１で選択された画像に対して画像認識を施して当該画像に含まれる文字を特定し、特定した各文字の画像中の位置および表示位置を記憶すると共に、その記憶された各文字を組み合わせて有意な文字列（単語）を辞書データベースから検索し、該当する文字列（単語）を候補として抽出して一時記憶する文字特定処理（図１５参照）を実行する。

そして、ステップＳＥ４〜ＳＥ５、図１２に図示するステップＳＥ６〜ＳＥ８では、「文字入力／変更操作」、「候補表示操作」、「入力候補設定操作」、「終了操作」および「その他の操作」のいずれかの操作が行われたかどうかを判断する。これら操作が行われなければ、各判断結果は「ＮＯ」になり、ステップＳＥ４に処理を戻す。

これに対し、「文字入力／変更操作」がなされた場合には、ステップＳＥ４の判断結果が「ＹＥＳ」となり、ステップＳＥ９に進み、文字入力／変更操作に応じて入力フィールドＩＮＦに検索文字列を入力したり、入力フィールドＩＮＦに入力済みの検索文字列を変更する。そして、ステップＳＤ１２を介して文字識別表示処理（図１９参照）を実行した後、前述のステップＳＤ５に処理を戻す。

文字識別表示処理では、上記ステップＳＥ９において、入力フィールドＩＮＦに入力／変更された検索文字列を、文字特定処理（図１５参照）により画像から抽出して一時記憶された候補（単語）の中から検索し、該当する検索文字列が存在すると、その検索文字列が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されているか否かを判断し、表示されていれば、識別表示すると共に、該当する検索文字列の検出を音・光・振動で報知する。

一方、該当する検索文字列が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されていない場合、制御情報記憶部１０１ｃに記憶される制御情報の「表示位置を変更する」の設定フラグが「１」であると、該当する検索文字列が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されるように表示位置を変更すると共に、該当する検索文字列を識別表示／更新した後、該当する検索文字列の検出を音・光・振動で報知する。

「候補表示操作」がなされた場合には、ステップＳＥ５の判断結果が「ＹＥＳ」となり、ステップＳＥ１１に進み、上記ステップＳＥ３の文字特定処理において画像から抽出して一時記憶された候補（単語）の一覧を、図２３に図示する一例のようにリスト表示する。そして、ステップＳＥ１２に進み、リスト表示された候補一覧の中から所望の候補を選択する候補指定操作がなされると、ステップＳＥ１３に進み、候補指定操作により選択された候補を検索文字列として入力フィールドＩＮＦに入力したり、既に入力済みの検索文字列を選択された候補の検索文字列に変更したりする。この後、上述したステップＳＥ１０に進み、更新された候補（検索文字列）に基づいて文字識別表示処理（図１９参照）を実行した後、ステップＳＥ４に処理を戻す。

「入力候補設定操作」がなされた場合には、図１２に図示するステップＳＥ６の判断結果が「ＹＥＳ」となり、ステップＳＥ１４に進み、上述のステップＳＥ１０（文字識別表示処理）で識別表示された検索文字列を、次回以降の文字入力に利用する為、ユーザ入力される「読み」と対応付けた候補（単語）として辞書データベースに登録した後、前述のステップＳＥ４に処理を戻す。

「終了操作」がなされた場合には、ステップＳＥ７の判断結果が「ＹＥＳ」となり、本処理を終える。「その他の操作」がなされた場合には、ステップＳＥ８の判断結果が「ＹＥＳ」となり、ステップＳＥ１５に進み、その他の処理を実行して前述のステップＳＥ４に処理を戻す。その他の処理とは、例えば表示されている画像のズームアップ／ズームダウン操作など画像の表示位置が変更される操作が行われた場合であれば、ステップＳＥ３（文字特定処理）において一時記憶した文字の表示位置を更新したり、ステップＳＥ１０（文字識別表示処理）においてなされる識別表示や位置表示の更新を行う。

以上のように、記録画像文字検索処理では、各種情報記憶部１０１ｂの画像データエリアに記録された画像の中から文字検索すべく選択した画像に対して画像認識を施して当該画像に含まれる文字を特定し、特定した各文字の画像中の位置および表示位置を記憶すると共に、その記憶された各文字を組み合わせて有意な文字列（単語）を辞書データベースから検索し、該当する文字列（単語）を候補として抽出して一時記憶する。

そして、この一時記憶された候補（単語）の中から「識別表示」された検索文字列、「位置表示」された検索文字列または「入力」された検索文字列を検索して候補（単語）に一致する検索文字列が存在すると、その該当する検索文字列が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されているか否かを判断し、表示されている場合には、識別表示（既に識別表示されている時は表示更新）すると共に、該当する検索文字列の検出を音・光・振動で報知する。

（６）リアルタイム人物検索処理の動作
次に、図１３を参照してリアルタイム人物検索処理の動作について説明する。前述した機能起動処理のステップＳＢ８（図７参照）を介して本処理が実行されると、制御部１００は図１３に図示するステップＳＦ１に進み、被写体に応じた撮影パラメータ（ＩＳＯ感度およびホワイトバランス等）に基づき撮像部１０４が撮像出力する画像を各種情報一時記憶部１０１ｂのワークエリアに取り込み、続くステップＳＦ２では、その取り込んだ画像を表示部１０５に画面表示する。また、ステップＳＦ２では、既に画像が画面表示されている場合には、新たに取り込まれた画像を画面表示して表示更新する。

次いで、ステップＳＦ３では、人物特定処理を実行する。人物特定処理（図１６参照）では、後述するように、撮影された画像に顔認識を施して当該画像に写る人物（顔が写っている人物像）を特定し、特定された人物の画像中での位置および表示部１０５の表示画面上の表示位置を各種情報一時記憶部１０１ｂに一時記憶すると共に、特定された全ての人物（顔が写っている人物像）を候補として抽出して各種情報一時記憶部１０１ｂに一時記憶する。

そして、ステップＳＦ４を介して人物識別表示更新処理を実行する。人物識別表示更新処理（図１８参照）では、後述するように、上記ステップＳＦ３の人物特定処理により画像から抽出して一時記憶された候補（人物像）の中から「識別表示」された人物、「位置表示」された人物または「選択された候補（人物像）」を検索し、候補（人物像）に一致する人物が画像中に存在すると、その該当する人物が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されているか否かを判断し、表示されている場合には、識別表示（既に識別表示されている時は表示更新）すると共に、該当人物の検出を音・光・振動で報知する。

一方、該当する人物が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されていない場合、制御情報記憶部１０１ｃに記憶される制御情報の「表示位置を変更する」の設定フラグが「１」であると、該当する人物が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されるように表示位置を変更すると共に、該当する人物を識別表示／更新した後、該当人物の検出を音・光・振動で報知する。

次いで、ステップＳＦ５では、撮影開始から所定時間（例えば０．５秒）が経過したかどうかを判断する。所定時間経過すると、判断結果は「ＹＥＳ」となり、上記ステップＳＦ１に処理を戻し、新たに撮像された画像を取り込む。これに対し、所定時間経過していなければ、上記ステップＳＦ５の判断結果は「ＮＯ」となり、ステップＳＦ６に進む。そして、ステップＳＦ６〜ＳＦ９では、「候補指定操作」、「アドレス帳登録操作」、「終了操作」および「その他の操作」のいずれかの操作が行われたかどうかを判断する。これら操作が行われなければ、各判断結果はいずれも「ＮＯ」になり、ステップＳＦ５に処理を戻す。

これに対し、「候補指定操作」がなされた場合には、ステップＳＦ６の判断結果が「ＹＥＳ」となり、ステップＳＦ１０に進み、人物特定処理（図１６参照）により画像から抽出して一時記憶された候補（人物像）を、図２４に図示する一例のように、入力フィールドＩＮＦにサムネイル表示する。なお、サムネイル表示される候補（人物像）は、図示されていない左右キー操作に応じて候補（人物像）の表示位置を左右方向へ移動させて候補を一覧させるようになっている。そして、サムネイル表示される候補（人物像）の中から検索したい候補（人物像）を指定すると、ステップＳＦ１１に進み、人物識別表示処理を実行した後、前述のステップＳＦ５に処理を戻す。

人物識別表示処理（図２０参照）では、後述するように、指定された候補（人物像）に一致する人物が画像中に存在すると、その該当する人物が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されているか否かを判断し、表示されている場合には、識別表示すると共に、該当する人物の検出を音・光・振動で報知する。

一方、該当する人物が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されていない場合、制御情報記憶部１０１ｃに記憶される制御情報の「表示位置を変更する」の設定フラグが「１」であると、該当する人物が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されるように表示位置を変更すると共に、該当する人物を識別表示した後、該当人物の検出を音・光・振動で報知する。

「アドレス帳登録操作」がなされた場合には、ステップＳＦ７の判断結果が「ＹＥＳ」となり、ステップＳＦ１２に進み、該当する人物の画像を所定の範囲で切り出し、ユーザによって選択されたアドレス帳データ（「名前」、「電話番号」、「メールアドレス」等）に「画像」として対応付けてアドレス帳記憶部１０１ｅに登録した後、前述のステップＳＦ５に処理を戻す。

「終了操作」がなされた場合には、ステップＳＦ８の判断結果が「ＹＥＳ」となり、本処理を終える。「その他の操作」がなされた場合には、ステップＳＦ９の判断結果が「ＹＥＳ」となり、ステップＳＦ１３に進み、その他の処理を実行して前述のステップＳＦ５に処理を戻す。その他の処理とは、例えば表示されている画像のズームアップ／ズームダウン操作など画像の表示位置が変更される操作が行われた場合であれば、上述のステップＳＦ３を介して実行される人物特定処理において一時記憶した人物（人物像）の表示位置を更新したり、上述のステップＳＦ４を介して実行される人物識別表示更新処理においてなされる識別表示や位置表示の更新を行う。

以上のように、リアルタイム人物検索処理では、所定時間経過毎に撮影される画像に対して顔認識を施して当該画像に写る人物（顔が写っている人物像）を特定し、特定された人物の画像中での位置および表示部１０５の表示画面上の表示位置を各種情報一時記憶部１０１ｂに一時記憶すると共に、特定された全ての人物（顔が写っている人物像）を候補として抽出して一時記憶する。

そして、この一時記憶された候補（人物像）の中から「識別表示」された人物、「位置表示」された人物または「選択された候補（人物像）」を検索し、該当する人物が画像中に存在すると、その該当人物が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されているか否かを判断し、表示されている場合には、識別表示（既に識別表示されている時は表示更新）すると共に、該当人物の検出を音・光・振動で報知する。

（７）記録画像人物検索処理の動作
次に、図１４を参照して記録画像人物検索処理の動作について説明する。前述した機能起動処理のステップＳＢ９（図７参照）を介して本処理が実行されると、制御部１００は図１４に図示するステップＳＧ１に進む。ステップＳＧ１において、各種情報記憶部１０１ｂの画像データエリアに記録された画像の中から人物検索する画像を選択する画像選択操作がなされると、ステップＳＧ２に進み、その選択された画像を読み出して表示部１０５に画面表示する。

続いて、ステップＳＧ３では、上記ステップＳＧ１で選択された画像に対して顔認識を施して当該画像に写る人物（顔が写っている人物像）を特定し、特定された人物の画像中での位置および表示部１０５の表示画面上の表示位置を各種情報一時記憶部１０１ｂに一時記憶すると共に、特定された全ての人物（顔が写っている人物像）を候補として抽出して各種情報一時記憶部１０１ｂに一時記憶する人物特定処理（図１６参照）を実行する。

そして、ステップＳＧ４〜ＳＧ７では、「候補指定操作」、「アドレス帳登録操作」、「終了操作」および「その他の操作」のいずれかの操作が行われたかどうかを判断する。これら操作が行われなければ、各判断結果はいずれも「ＮＯ」になり、ステップＳＧ４に処理を戻す。

これに対し、「候補指定操作」がなされた場合には、ステップＳＧ４の判断結果が「ＹＥＳ」となり、ステップＳＧ８に進み、上記ステップＳＧ３の人物特定処理において画像から抽出して一時記憶された候補（人物像）を入力フィールドＩＮＦにサムネイル表示する。なお、サムネイル表示される候補（人物像）は、図示されていない左右キー操作に応じて候補（人物像）の表示位置を左右方向へ移動させて候補を一覧させるようになっている。そして、サムネイル表示される候補（人物像）の中から検索したい候補（人物像）を指定すると、ステップＳＧ９を介して人物識別表示処理を実行した後、前述のステップＳＦ５に処理を戻す。

人物識別表示処理（図２０参照）では、後述するように、指定された候補（人物像）に一致する人物が画像中に存在すると、その該当する人物が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されているか否かを判断し、表示されている場合には、識別表示すると共に、該当する人物の検出を音・光・振動で報知する。

一方、該当する人物が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されていない場合、制御情報記憶部１０１ｃに記憶される制御情報の「表示位置を変更する」の設定フラグが「１」であると、該当する人物が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されるように表示位置を変更すると共に、該当する人物を識別表示した後、該当人物の検出を音・光・振動で報知する。

「アドレス帳登録操作」がなされた場合には、ステップＳＧ５の判断結果が「ＹＥＳ」となり、ステップＳＧ１０に進み、該当する人物の画像を所定の範囲で切り出し、ユーザによって選択されたアドレス帳データに「画像」として対応付けてアドレス帳記憶部１０１ｅに登録した後、前述のステップＳＧ４に処理を戻す。

「終了操作」がなされた場合には、ステップＳＧ６の判断結果が「ＹＥＳ」となり、本処理を終える。「その他の操作」がなされた場合には、ステップＳＧ７の判断結果が「ＹＥＳ」となり、ステップＳＧ１１に進み、その他の処理を実行して前述のステップＳＧ４に処理を戻す。その他の処理とは、例えば表示されている画像のズームアップ／ズームダウン操作など画像の表示位置が変更される操作が行われた場合であれば、上述のステップＳＦ３を介して実行される人物特定処理において一時記憶した人物（人物像）の表示位置を更新したり、上述のステップＳＧ９の人物識別表示処理においてなされる識別表示や位置表示の更新を行う。

以上のように、記録画像人物検索処理では、各種情報記憶部１０１ｂの画像データエリアに記録された画像の中から人物検索すべく選択した画像に対して顔認識を施して当該画像に写る人物（顔が写っている人物像）を特定し、特定された人物の画像中での位置および表示部１０５の表示画面上の表示位置を各種情報一時記憶部１０１ｂに一時記憶すると共に、特定された人物（顔が写っている人物像）を候補として抽出して各種情報一時記憶部１０１ｂに一時記憶する。

そして、この一時記憶された人物像をサムネイル表示し、その中から検索したい候補（人物像）を指定すると、指定された候補（人物像）に一致する人物が画像中に存在ずれば、その該当する人物が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されているか否かを判断し、表示されている場合には、識別表示すると共に、該当人物の検出を音・光・振動で報知する。

（８）文字特定処理の動作
次に、図１５を参照して文字特定処理の動作について説明する。前述したリアルタイム文字検索処理のステップＳＤ３（図９参照）もしくは前述した記録画像文字検索処理のステップＳＥ３（図１１参照）のいずれかを介して本処理が実行されると、制御部１００は図１５に図示するステップＳＨ１に進み、撮影した画像に周知の画像認識を施し、当該画像に含まれる文字を特定する。続いて、ステップＳＨ２では、上記ステップＳＨ１にて特定された文字、その文字の画像中での位置および表示部１０５の表示画面上の表示位置を各種情報一時記憶部１０１ｂに一時記憶する。なお、画像中で特定した文字が表示範囲を外れている場合には、表示位置を空欄（ヌルデータ）として扱う。

次いで、ステップＳＨ３〜ＳＨ４では、辞書データベース記憶部１０１ｄに記憶される辞書データベースを参照して上記ステップＳＨ２において一時記憶された各文字を組み合わせて有意な文字列（単語）を検索し、該当する文字列（単語）を候補として抽出する。そして、ステップＳＨ５では、抽出された各候補を各種情報一時記憶部１０１ｂに一時記憶する。

このように、文字列特定処理では、撮影された画像に対して画像認識を施して当該画像に含まれる文字を特定し、特定した各文字の画像中の位置および表示位置を記憶すると共に、その記憶された各文字を組み合わせて有意な文字列（単語）を辞書データベースから検索し、該当する文字列（単語）を候補として抽出して一時記憶する。

（９）人物特定処理の動作
次に、図１６を参照して人物特定処理の動作について説明する。前述したリアルタイム人物検索処理のステップＳＦ３（図１３参照）もしくは前述した記録画像人物検索処理のステップＳＧ３（図１４参照）のいずれかを介して本処理が実行されると、制御部１００は図１６に図示するステップＳＪ１に進み、撮影した画像に周知の顔認識を施し、その認識結果に基づいて当該画像に写っている人物（顔が写っている人物像）を特定する。

続いて、ステップＳＪ２では、上記ステップＳＪ１にて特定された人物、その特定された人物の画像中での位置および表示部１０５の表示画面上の表示位置を各種情報一時記憶部１０１ｂに一時記憶する。なお、画像中で特定した人物が表示範囲を外れている場合には、表示位置を空欄（ヌルデータ）として扱う。そして、ステップＳＪ３〜ＳＪ４では、上記ステップＳＪ１にて画像から特定された全ての人物（顔が写っている人物像）を候補として抽出し、それらを各種情報一時記憶部１０１ｂに一時記憶する。

このように、人物特定処理では、撮影された画像に顔認識を施して当該画像に写る人物（顔が写っている人物像）を特定し、特定された人物の画像中での位置および表示部１０５の表示画面上の表示位置を各種情報一時記憶部１０１ｂに一時記憶すると共に、特定された全ての人物（顔が写っている人物像）を候補として抽出して各種情報一時記憶部１０１ｂに一時記憶する。

（１０）文字識別表示更新処理の動作
次に、図１７を参照して文字識別表示更新処理の動作について説明する。前述したリアルタイム文字検索処理のステップＳＤ４（図９参照）を介して本処理が実行されると、制御部１００は図１７に図示するステップＳＫ１に進む。ステップＳＫ１〜ＳＫ３では、「識別表示」された状態、「位置表示」された状態、「文字入力」された状態のいずれであるかを判別する。

なお、識別表示された状態とは、図２２に図示する一例のように、入力フィールドＩＮＦに検索文字列として「外国為替」と入力した時に、その入力した検索文字例が撮影された画像に存在し、かつ画像フィールドＩＭＦの表示範囲内に存在する場合に、検索文字列「外国為替」を枠線で囲って表示する態様を指す。この表示態様は、これに限定されず該当する検索文字列を太字で表示する等、フォントを異ならせる他、反転表示や表示色変更などによって他の文字と区別できる態様であれば構わない。

また、位置表示された状態とは、図２１に図示する一例のように、入力フィールドＩＮＦに検索文字列として「外国為替」と入力した時に、その入力した検索文字例が撮影された画像に存在するが、画像フィールドＩＭＦの表示範囲外である場合に、検索文字列「外国為替」の表示位置（方向・距離）を矢印マークで指し示す表示態様を指す。矢印マークで指し示す態様の場合、矢印の太さや長さで表示範囲内からの離間距離を表現したり、数値でその離間距離を示す形態でもよい。また、検索文字列に該当する文字列が撮影された画像に複数存在し、かつそれらが表示範囲外に存在する場合には、該当する各文字列の表示位置（方向）を指し示す矢印をそれぞれ表示するようにしても構わない。

さて、入力フィールドＩＮＦに検索文字列が入力されていない状態では、上記ステップＳＫ３の判断結果は「ＮＯ」になり、本処理を終えるが、検索文字列が入力済みの場合には、上記ステップＳＫ３の判断結果は「ＹＥＳ」となり、ステップＳＫ４に進む。また、後述する文字識別表示処理（図１９参照）によって検索文字列が「識別表示」された状態もしくは「位置表示」された状態であると、上記ステップＳＫ１もしくは上記ステップＳＫ２の判断結果が「ＹＥＳ」になり、ステップＳＫ４に進む。

ステップＳＫ４では、文字特定処理（図１５参照）により画像から抽出して一時記憶された候補（単語）に一致する検索文字列を探し出す文字検索を実行する。この文字検索では、完全一致、部分一致、曖昧検索などの任意の検索手法を用いる。次いで、ステップＳＫ５では、候補（単語）に一致する検索文字列が存在するかどうかを判断する。該当する検索文字列が存在しなければ、判断結果は「ＮＯ」となり、本処理を終える。

一方、候補（単語）に一致する検索文字列が存在すれば、上記ステップＳＫ５の判断結果は「ＹＥＳ」となり、ステップＳＫ６に進む。ステップＳＫ６では、該当する検索文字列が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されているか否かを判断する。この判断には、文字特定処理（図１５参照）において記憶した文字の表示位置を参照する。表示されていれば、判断結果は「ＹＥＳ」となり、ステップＳＫ７に進む。

ステップＳＫ７では、該当する検索文字列を、図２２に図示した一例のように識別表示する。なお、既に識別表示されている場合には、識別表示を更新する。この後、ステップＳＫ８に進み、報知部１０８のサウンドスピーカ１０８ａ、ＬＥＤ１０８ｂおよび振動モータ１０８ｃを駆動して、該当する検索文字列が検出されたことを音・光・振動で報知して本処理を終える。

これに対し、該当する検索文字列が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されていなければ、上記ステップＳＫ６の判断結果が「ＮＯ」になり、ステップＳＫ９に進む。ステップＳＫ９では、制御情報記憶部１０１ｃに記憶される制御情報が「表示位置を変更する」であるかどうか、すなわち「表示位置を変更する」の設定フラグが「１」であるか否かを判断する。

「表示位置を変更する」の設定フラグが「０」の場合、つまり「位置表示する」の設定フラグが「１」であると、上記ステップＳＫ９の判断結果は「ＮＯ」になり、ステップＳＫ１０に進み、図２１に図示した一例のように、該当する検索文字列の表示位置（方向・距離）を矢印マークで表示して本処理を終える。既に位置表示されている場合には、その位置表示を更新して本処理を終える。

一方、「表示位置を変更する」の設定フラグが「１」ならば、上記ステップＳＫ９の判断結果は「ＹＥＳ」となり、ステップＳＫ１１に進み、該当する検索文字列が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されるように表示位置を変更した後、上述したステップＳＫ７に進み、図２２に図示した一例のように、該当する検索文字列を識別表示／更新し、続くステップＳＫ８では該当する検索文字列が検出されたことを音・光・振動で報知して本処理を終える。

このように、文字識別表示更新処理では、文字特定処理（図１５参照）により画像から抽出して一時記憶された候補（単語）の中から「識別表示」された検索文字列、「位置表示」された検索文字列または「入力」された検索文字列を検索し、候補（単語）に一致する検索文字列が存在すると、その該当する検索文字列が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されているか否かを判断し、表示されている場合には、識別表示（既に識別表示されている時は表示更新）すると共に、該当する検索文字列の検出を音・光・振動で報知する。

一方、該当する検索文字列が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されていない場合、制御情報記憶部１０１ｃに記憶される制御情報の「表示位置を変更する」の設定フラグが「１」であると、該当する検索文字列が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されるように表示位置を変更すると共に、該当する検索文字列を識別表示／更新した後、該当する検索文字列の検出を音・光・振動で報知する。

（１１）人物識別表示更新処理の動作
次に、図１８を参照して人物識別表示更新処理の動作について説明する。前述したリアルタイム人物検索処理のステップＳＦ４（図１３参照）を介して本処理が実行されると、制御部１００は図１８に図示するステップＳＬ１に進む。ステップＳＬ１〜ＳＬ３では、「識別表示」された状態、「位置表示」された状態、「候補が選択」された状態のいずれであるかを判別する。

なお、識別表示された状態とは、図２４に図示する一例のように、入力フィールドＩＮＦにおいて選択した候補（人物像）が、撮影された画像に存在し、かつ画像フィールドＩＭＦの表示範囲内に存在する場合に、該当する人物の画像領域を枠線で囲って表示する態様を指す。この表示態様は、これに限定されず、例えば該当する人物の画像領域の輝度や明度などを周期的に変化させる等、他の人物と区別できる態様であれば構わない。

さて、入力フィールドＩＮＦにおいて、「候補が選択」されていない状態では、上記ステップＳＬ３の判断結果は「ＮＯ」になり、本処理を終えるが、例えば図２４に図示する一例のように、入力フィールドＩＮＦに表示される複数の候補（人物像）の内、背景がグレー表示され、現在選択状態となっている候補（人物像）が存在すると、上記ステップＳＬ３の判断結果は「ＹＥＳ」となり、ステップＳＬ４に進む。また、後述する人物識別表示処理（図２０参照）によって候補（人物像）が「識別表示」された状態もしくは「位置表示」された状態であると、上記ステップＳＬ１もしくは上記ステップＳＬ２の判断結果が「ＹＥＳ」になり、ステップＳＬ４に進む。

ステップＳＬ４では、人物特定処理（図１６参照）により画像から抽出して一時記憶された候補（人物像）に一致する人物を探し出す人物検索を実行する。この人物検索では、完全一致、部分一致、曖昧検索などの任意の検索手法を用いる。次いで、ステップＳＬ５では、候補（人物像）に一致する人物が存在するかどうかを判断する。該当する人物が存在しなければ、判断結果は「ＮＯ」となり、本処理を終える。

一方、候補（人物像）に一致する人物が存在すれば、上記ステップＳＬ５の判断結果は「ＹＥＳ」となり、ステップＳＬ６に進む。ステップＳＬ６では、該当する人物が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されているか否かを判断する。この判断には、人物特定処理（図１６参照）において記憶した表示位置を参照する。表示されていれば、判断結果は「ＹＥＳ」となり、ステップＳＬ７に進む。

ステップＳＬ７では、該当する人物を、図２４に図示した一例のように識別表示する。なお、既に識別表示されている場合には、識別表示を更新する。この後、ステップＳＬ８に進み、報知部１０８のサウンドスピーカ１０８ａ、ＬＥＤ１０８ｂおよび振動モータ１０８ｃを駆動して、該当する人物が検出されたことを音・光・振動で報知して本処理を終える。

これに対し、該当する人物が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されていなければ、上記ステップＳＬ６の判断結果は「ＮＯ」になり、ステップＳＬ９に進む。ステップＳＬ９では、制御情報記憶部１０１ｃに記憶される制御情報が「表示位置を変更する」であるかどうか、すなわち「表示位置を変更する」の設定フラグが「１」であるか否かを判断する。

「表示位置を変更する」の設定フラグが「０」の場合、つまり「位置表示する」の設定フラグが「１」であると、上記ステップＳＬ９の判断結果は「ＮＯ」になり、ステップＳＬ１０に進み、該当する人物の表示位置（方向・距離）を矢印マークで表示して本処理を終える。既に位置表示されている場合には、その位置表示を更新して本処理を終える。

一方、「表示位置を変更する」の設定フラグが「１」ならば、上記ステップＳＬ９の判断結果は「ＹＥＳ」となり、ステップＳＬ１１に進み、該当する人物が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されるように表示位置を変更した後、上述したステップＳＬ７に進み、該当する人物を識別表示／更新し、続くステップＳＬ８では該当する人物が検出されたことを音・光・振動で報知して本処理を終える。

このように、人物識別表示更新処理では、人物特定処理（図１６参照）により画像から抽出して一時記憶された候補（人物像）の中から「識別表示」された人物、「位置表示」された人物または「選択された候補（人物像）」を検索し、候補（人物像）に一致する人物が画像中に存在すると、その該当する人物が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されているか否かを判断し、表示されている場合には、識別表示（既に識別表示されている時は表示更新）すると共に、該当人物の検出を音・光・振動で報知する。

一方、該当する人物が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されていない場合、制御情報記憶部１０１ｃに記憶される制御情報の「表示位置を変更する」の設定フラグが「１」であると、該当する人物が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されるように表示位置を変更すると共に、該当する人物を識別表示／更新した後、該当人物の検出を音・光・振動で報知する。

（１２）文字識別表示処理の動作
次に、図１９を参照して文字識別表示処理の動作について説明する。前述したリアルタイム文字検索処理のステップＳＤ１２（図９参照）もしくは前述した記録画像文字検索処理のステップＳＥ１０（図１１参照）のいずれかを介して本処理が実行されると、制御部１００は図１９に図示するステップＳＭ１に進む。ステップＳＭ１では、前述したリアルタイム文字検索処理のステップＳＤ１１（又は前述した記録画像文字検索処理のステップＳＥ９）において入力フィールドＩＮＦに入力／変更された検索文字列を、文字特定処理（図１５参照）により画像から抽出して一時記憶された候補（単語）の中から検索する。

続いて、ステップＳＭ２では、候補（単語）に一致する検索文字列が存在するかどうかを判断する。該当する検索文字列が存在しなければ、判断結果は「ＮＯ」となり、本処理を終えるが、候補（単語）に一致する検索文字列が存在すると、判断結果が「ＹＥＳ」となり、ステップＳＭ３に進む。ステップＳＭ３では、該当する検索文字列が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されているか否かを判断する。この判断には、文字特定処理（図１５参照）において記憶した文字の表示位置を参照する。表示されていれば、判断結果は「ＹＥＳ」となり、ステップＳＭ４に進み、該当する検索文字列を、図２２に図示した一例のように識別表示する。そして、ステップＳＭ５では、報知部１０８のサウンドスピーカ１０８ａ、ＬＥＤ１０８ｂおよび振動モータ１０８ｃを駆動して、該当する検索文字列が検出されたことを音・光・振動で報知して本処理を終える。

一方、該当する検索文字列が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されていない場合、つまり表示範囲外に存在する場合には、上記ステップＳＭ３の判断結果が「ＮＯ」になり、ステップＳＭ６に進む。ステップＳＭ６では、制御情報記憶部１０１ｃに記憶される制御情報が「表示位置を変更する」であるかどうか、すなわち「表示位置を変更する」の設定フラグが「１」であるか否かを判断する。

「表示位置を変更する」の設定フラグが「０」の場合、つまり「位置表示する」の設定フラグが「１」ならば、上記ステップＳＭ６の判断結果は「ＮＯ」になり、ステップＳＭ７に進み、図２１に図示した一例のように、該当する検索文字列の表示位置（方向・距離）を矢印マークで表示して本処理を終える。

これに対し、「表示位置を変更する」の設定フラグが「１」であると、上記ステップＳＭ６の判断結果は「ＹＥＳ」となり、ステップＳＭ８に進み、該当する検索文字列が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されるように表示位置を変更した後、上述したステップＳＭ４に進み、図２２に図示した一例のように、該当する検索文字列を識別表示し、続くステップＳＭ５において該当する検索文字列が検出されたことを音・光・振動で報知して本処理を終える。

このように、文字識別表示処理では、入力フィールドＩＮＦに入力／変更された検索文字列を、文字特定処理（図１５参照）により画像から抽出して一時記憶された候補（単語）の中から検索し、該当する検索文字列が存在すると、その検索文字列が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されているか否かを判断し、表示されていれば、識別表示すると共に、該当する検索文字列の検出を音・光・振動で報知する。

一方、該当する検索文字列が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されていない場合、制御情報記憶部１０１ｃに記憶される制御情報の「表示位置を変更する」の設定フラグが「１」であると、該当する検索文字列が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されるように表示位置を変更すると共に、該当する検索文字列を識別表示／更新した後、該当する検索文字列の検出を音・光・振動で報知する。

（１３）人物識別表示処理の動作
次に、図２０を参照して人物識別表示処理の動作について説明する。前述したリアルタイム人物検索処理のステップＳＦ１１（図１３参照）もしくは前述した記録画像人物検索処理のステップＳＧ９（図１４参照）のいずれかを介して本処理が実行されると、制御部１００は図２０に図示するステップＳＮ１に進む。

ステップＳＮ１では、前述したリアルタイム人物検索処理のステップＳＦ１０（又は前述した記録画像人物検索処理のステップＳＧ８）において指定した候補（人物像）を、人物特定処理（図１６参照）により画像から抽出して一時記憶された人物（人物像）の中から探し出す人物検索を実行する。この人物検索では、完全一致、部分一致、曖昧検索などの任意の検索手法を用いる。次いで、ステップＳＮ２では、候補（人物像）に一致する人物が存在するかどうかを判断する。該当する人物が存在しなければ、判断結果は「ＮＯ」となり、本処理を終える。

一方、候補（人物像）に一致する人物が存在すれば、上記ステップＳＮ２の判断結果は「ＹＥＳ」となり、ステップＳＮ３に進む。ステップＳＮ３では、該当する人物が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されているか否かを判断する。この判断には、人物特定処理（図１６参照）において記憶した表示位置を参照する。表示されていれば、判断結果は「ＹＥＳ」となり、ステップＳＮ４に進む。ステップＳＮ４では、該当する人物を、図２４に図示した一例のように識別表示する。この後、ステップＳＮ５に進み、報知部１０８のサウンドスピーカ１０８ａ、ＬＥＤ１０８ｂおよび振動モータ１０８ｃを駆動して、該当する人物が検出されたことを音・光・振動で報知して本処理を終える。

これに対し、該当する人物が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されていなければ、上記ステップＳＮ３の判断結果は「ＮＯ」になり、ステップＳＮ６に進む。ステップＳＮ６では、制御情報記憶部１０１ｃに記憶される制御情報が「表示位置を変更する」であるかどうか、すなわち「表示位置を変更する」の設定フラグが「１」であるか否かを判断する。

「表示位置を変更する」の設定フラグが「０」の場合、つまり「位置表示する」の設定フラグが「１」であると、上記ステップＳＮ６の判断結果は「ＮＯ」になり、ステップＳＮ７に進み、該当する人物の表示位置（方向・距離）を矢印マークで表示して本処理を終える。既に位置表示されている場合には、その位置表示を更新して本処理を終える。

一方、「表示位置を変更する」の設定フラグが「１」ならば、上記ステップＳＮ６の判断結果は「ＹＥＳ」となり、ステップＳＮ８に進み、該当する人物が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されるように表示位置を変更した後、上述したステップＳＮ４に進み、該当する人物を識別表示し、続くステップＳＮ５では該当する人物が検出されたことを音・光・振動で報知して本処理を終える。

このように、人物識別表示処理では、指定された候補（人物像）に一致する人物が画像中に存在すると、その該当する人物が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されているか否かを判断し、表示されている場合には、識別表示すると共に、該当する人物の検出を音・光・振動で報知する。

一方、該当する人物が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されていない場合、制御情報記憶部１０１ｃに記憶される制御情報の「表示位置を変更する」の設定フラグが「１」であると、該当する人物が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されるように表示位置を変更すると共に、該当する人物を識別表示した後、該当する人物の検出を音・光・振動で報知する。

以上説明したように、本実施形態では、撮影（又は記録）された画像に対して画像認識を施して当該画像に含まれる文字を特定し、特定した各文字の画像中の位置および表示位置を記憶すると共に、その記憶された各文字を組み合わせて有意な文字列（単語）を辞書データベースから検索し、該当する文字列（単語）を候補として抽出して一時記憶しておき、この一時記憶された候補（単語）の中から「識別表示」された検索文字列、「位置表示」された検索文字列または「入力」された検索文字列を検索して候補（単語）に一致する検索文字列が存在すると、その該当する検索文字列が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されているか否かを判断し、表示されている場合には、識別表示（既に識別表示されている時は表示更新）すると共に、該当する検索文字列の検出を音・光・振動で報知するので、画像に含まれる文字の中から、所望の文字列を容易に識別し得る。したがって、画像に含まれるオブジェクトの中から、あるオブジェクトを容易に識別させることができる。

また、撮影（又は記録）された画像に対して顔認識を施して当該画像に写る人物（顔が写っている人物像）を特定し、特定された人物の画像中での位置および表示部１０５の表示画面上の表示位置を各種情報一時記憶部１０１ｂに一時記憶すると共に、特定された人物（顔が写っている人物像）を候補として抽出して一時記憶しておき、この一時記憶された候補（人物像）の中から「識別表示」された人物、「位置表示」された人物または「選択された候補（人物像）」を検索し、該当する人物が画像中に存在すると、その該当人物が表示部１０５の表示画面（画像フィールドＩＭＦ）に表示されているか否かを判断し、表示されている場合には、識別表示（既に識別表示されている時は表示更新）すると共に、該当人物の検出を音・光・振動で報知するので、画像に含まれる人物（顔が写っている人物像）の中から、ある人物を容易に識別し得る。したがって、画像に含まれるオブジェクトの中から、あるオブジェクトを容易に識別させることができる。

また、上述した実施形態において得られる、より具体的な他の効果は、下記（ａ）〜（ｐ）項に記載の通りである。
（ａ）識別したいオブジェクトをユーザが新たに入力することなく、画像に含まれるオブジェクトの中から、あるオブジェクトを容易にユーザに識別させることができる。たとえば、オブジェクトが文字情報の場合、ユーザが識別したい文字情報が、新聞の紙面にありそうな文字情報だと分かっていても、失念してしまったり曖昧に記憶したりしている文字情報の場合であっても、ユーザが文字情報を入力する必要がないので、その文字情報を識別表示させることができる。
（ｂ）識別したいオブジェクトをユーザが新たに入力することなく、撮像される画像に含まれるオブジェクトの中から、あるオブジェクトを容易にユーザに識別させることができる。
（ｃ）ユーザは識別したいオブジェクトを確認しながら、画像を確認することができる。
（ｄ）識別したいオブジェクトが画像に含まれているが、表示されていない場合に、現在の表示からどの位置（方向や距離）に存在するかを容易にユーザは確認することができる。
（ｅ）識別したいオブジェクトが画像に含まれているが、表示されていない場合でも、画像の表示位置を変更することによって、そのオブジェクトを容易にユーザに識別させることができる。
（ｆ）識別したいオブジェクトが表示されていることを、容易にユーザは確認することができる。
（ｇ）識別したい人物をユーザが新たに入力することなく、画像に含まれる人物の中から、ある人物を容易にユーザに識別させることができる。たとえば、集合写真のように多数の人物が含まれている画像の場合に、ユーザは、ある特定の人物がこの集合写真の中に存在するか、存在しているとすればどのあたりに存在するかを、逐一自らの目で探していくのは煩雑であり、とりわけ人数が多い場合には煩雑さが増すが、上述の実施形態では画像に含まれる人物を候補情報として抽出する為、ユーザはその抽出された候補情報の中から識別したい人物を指定するだけで簡単に識別することができる。
（ｈ）識別した人物を、アドレス帳、スケジュール、メールなど、記憶されている任意の情報と対応付けて記憶させることができる。
（ｉ）識別したい文字情報をユーザが新たに入力することなく、画像に含まれる文字情報の中から、ある文字情報を容易にユーザに識別させることができる。
（ｊ）識別した文字情報を、文字入力で利用することができる。
（ｋ）画像を記録する操作や記録した画像を表示させる操作をすることなく、指定された文字情報を容易にユーザに識別させることができる。たとえば、新聞の紙面の中に、ある特定の文字情報が存在しているか否か、存在しているとすればどのあたりに存在するかをユーザが知りたい場合、対象となる紙面を全て含むような画像として撮影したあと、その画像を記録する操作、記録した画像を表示させる操作をすることなく、その特定の文字情報を識別表示させることができる。また撮影される画像の範囲を動かしても、正しく識別表示される。
（ｌ）ユーザは識別したい文字情報を確認しながら、画像を確認することができる。
（ｍ）ユーザは識別したい文字情報を容易に変更することができる。
（ｎ）識別したい文字情報が画像に含まれているが、表示されていない場合に、現在の表示からどの位置（方向や距離）に存在するかを容易にユーザは確認することができる。
（ｏ）また撮影される画像の範囲を動かしても、現在の表示からの位置を正しく確認することができる。
（ｐ）識別したい文字情報が画像に含まれているが、表示されていない場合でも、画像の表示位置を変更することによって、その文字情報を容易にユーザに識別させることができる。
（ｑ）識別したいオブジェクトが表示されていることを、容易にユーザは確認することができる。たとえば、新聞の紙面の中に、ある特定の文字情報が存在しているか否か、存在しているとすればどのあたりに存在するかをユーザが知ろうとして、撮像される範囲を動かしている場合、その動きに合せて表示部を常時確認しているのは難しい。しかし、上述した実施形態では、音、振動、光などによって識別したい文字情報が表示されていることをユーザは確認することができるので、表示部を常時確認する必要は無い。

なお、上述した実施形態において、リアルタイム文字検索処理（又はリアルタイム人物検索処理）では、新たな画像が撮影される毎（所定時間経過毎）に文字特定処理（又は人物特定処理）を実行して文字特定（又は人物特定）するようにしたが、これに替えて、所定時間経過毎に毎回、文字特定（又は人物特定）するのではなく、前回撮影した画像と現在撮影された画像との差分変化が少ない場合には、特定した文字（又は人物）の表示位置の更新のみ行うようにして処理の簡略化を図るようにしても構わない。

なお、上述の実施形態は、携帯電話１０を想定しているが、本発明の要旨は、これに限らず、パーソナルコンピュータ、ＰＤＡ、デジタルカメラ、音楽プレイヤーなど、画像を撮像して表示する機能を有する装置全般に適用可能であることは言うまでもない。

本実施形態では、折り畳み開閉タイプの携帯電話１０を一例としたが、これに限らず、ストレートタイプ、スライドタイプ、スピントップタイプなど任意の筐体構造であっても構わない。また、記憶部１０１は、携帯電話１０の内部に設けられるメモリに限定されず、メモリカードや外付けハードディスクなど、任意の外部記憶装置でも良い。さらに、表示部１０５は、携帯電話１０に備えられたものに限らず、外部モニタなど任意の外部表示装置を用いる形態であっても構わない。

記憶する画像は、静止画や動画など任意の種別の画像で良く、撮像部で撮像した画像、放送受信部で受信した画像、ダウンロードした画像、データ通信で受信した画像に限らず、任意の方法で取得した画像に適用可能となる。また、本実施形態では、画像から特定するオブジェクトの一例として文字や人物を挙げたが、これに限定されず、置物、動物、生物など任意のオブジェクトで良いことは言うまでもない。

さらに、本実施形態では、顔認識により人物を特定する例を挙げたが、これに替えて、例えば上半身や全身など任意の範囲に含まれる形状から人物特定するようにしても良い。加えて、本実施形態では、特定したオブジェクトをアドレス帳データに対応付けて記憶するようにしたが、これに限らず、スケジュールデータやメールデータに対応付ける態様としても構わない。

１０ 携帯電話
１００ 制御部
１０１ 記憶部
１０１ａ プログラム記憶部
１０１ｂ 各種情報一時記憶部
１０１ｃ 制御情報記憶部
１０１ｄ 辞書データベース記憶部
１０１ｅ アドレス帳記憶部
１０２ 無線通信部
１０３ 音声信号処理部
１０４ 撮像部
１０５ 表示部
１０６ 操作部
１０７ ＲＴＣ
１０８ 報知部
１０８ａ サウンドスピーカ
１０８ｂ ＬＥＤ
１０８ｃ 振動モータ
１０９ 電池部

Claims (15)

1. 画像を取得する画像取得手段と、
   前記画像取得手段により取得された画像の少なくとも一部を画面に表示する画像表示手段と、
   前記画像取得手段により取得された画像に含まれるオブジェクトを特定する特定手段と、
   前記特定手段により特定されたオブジェクトを候補情報として抽出する抽出手段と、
   前記抽出手段により抽出された候補情報のいずれかを指定する指定手段と、
   前記画像表示手段により画像の少なくとも一部が画面に表示されている時に、前記指定手段により指定された候補情報に該当するオブジェクトの表示位置を当該画面上で識別表示する識別表示手段と、
   前記画像表示手段により画像の少なくとも一部が画面に表示されている時に、前記指定手段により指定された候補情報に該当するオブジェクトが表示されているか否かを判別する判別手段と、
   前記判別手段により該当するオブジェクトが表示されていないと判別された場合、その該当するオブジェクトの位置を示す位置情報を表示する位置情報表示手段と
   を具備することを特徴とする端末装置。
2. 画像を撮像する撮像手段を更に備え、
   前記画像取得手段は、前記撮像手段により撮像された画像を取得することを特徴とする請求項１記載の端末装置。
3. 前記画像取得手段により取得された画像の少なくとも一部と、前記指定手段により指定された候補情報とを同時に画面表示する同時表示手段を更に備えることを特徴とする請求項１記載の端末装置。
4. 前記画像表示手段により画像の少なくとも一部が画面に表示されている時に、前記指定手段により指定された候補情報に該当するオブジェクトが表示されているか否かを判別する判別手段と、
   前記判別手段により該当するオブジェクトが表示されていると判別された場合、その旨を報知する報知手段と
   を更に備えることを特徴とする請求項１記載の端末装置。
5. 前記特定手段は、前記画像取得手段により取得された画像に含まれるオブジェクトとして人物を特定することを特徴とする請求項１記載の端末装置。
6. 前記指定手段により指定された候補情報に該当するオブジェクトを、記憶手段に記憶されている情報と対応付けて記憶する記憶制御手段を更に備えることを特徴とする請求項１記載の端末装置。
7. 前記特定手段は、前記画像取得手段により取得された画像に含まれるオブジェクトとして文字情報を特定することを特徴とする請求項１記載の端末装置。
8. 前記指定手段により指定された候補情報に該当するオブジェクトを、文字入力手段によって入力される文字情報として設定する設定手段を更に備えることを特徴とする請求項１記載の端末装置。
9. 撮像手段により撮像された画像の少なくとも一部を画面に表示する画像表示手段と、
   前記画像表示手段による画像の表示を所定のタイミングで更新する画像更新手段と、
   撮像手段により撮像された画像に含まれる第１の文字情報を特定する特定手段と、
   第２の文字情報を指定する指定手段と、
   前記特定手段により特定された第１の文字情報の中に、前記指定手段により指定された第２の文字情報に一致する該当文字情報が存在するか否かを判別する判別手段と、
   前記判別手段により該当文字情報が存在すると判別された場合に、その該当文字情報の表示位置を表示画面上で識別表示する識別表示手段と、
   前記画像更新手段が画像の表示を更新した時に、前記識別表示手段による識別表示を更新する識別表示更新手段と、
   前記画像表示手段が撮像手段により撮像された画像の少なくとも一部を画面に表示している状態で、前記指定手段により指定された第２の文字情報に一致する該当文字情報が画面に表示されているか否かを判別する表示判別手段と、
   前記表示判別手段により該当文字情報が画面に表示されていないと判別された場合に、その該当文字情報の位置を示す位置情報を表示する位置情報表示手段と
   を具備することを特徴とする端末装置。
10. 撮像手段により撮像された画像の少なくとも一部と、前記指定手段により指定された第２の文字情報とを同時に画面表示する同時表示手段を更に備えることを特徴とする請求項９記載の端末装置。
11. 前記画像表示手段が、撮像手段により撮像された画像の少なくとも一部を画面に表示している状態で、前記指定手段により指定された第２の文字情報を変更する文字情報変更手段を更に備えることを特徴とする請求項９記載の端末装置。
12. 前記画像更新手段が画像の表示を更新した時に、前記位置情報表示手段により表示される位置情報の表示を更新する位置情報更新手段を更に備えることを特徴とする請求項９記載の端末装置。
13. 前記画像表示手段が撮像手段により撮像された画像の少なくとも一部を画面に表示している状態で、前記指定手段により指定された第２の文字情報に一致する該当文字情報が画面に表示されているか否かを判別する表示判別手段と、
    前記表示判別手段により該当文字情報が画面に表示されていると判別された場合、その旨を報知する報知手段と
    を更に備えることを特徴とする請求項９記載の端末装置。
14. コンピュータに、
    画像を取得する画像取得ステップと、
    前記画像取得ステップで取得された画像の少なくとも一部を画面に表示する画像表示ステップと、
    前記画像取得手段で取得された画像に含まれるオブジェクトを特定する特定ステップと、
    前記特定ステップで特定されたオブジェクトを候補情報として抽出する抽出ステップと、
    前記抽出師にて抽出された候補情報のいずれかを指定する指定ステップと、
    前記画像表示ステップで画像の少なくとも一部が画面に表示されている時に、前記指定ステップにて指定された候補情報に該当するオブジェクトの表示位置を当該画面上で識別表示する識別表示ステップと、
    前記画像表示ステップで画像の少なくとも一部が画面に表示されている時に、前記指定ステップにて指定された候補情報に該当するオブジェクトが表示されているか否かを判別する判別ステップと、
    前記判別ステップにて該当するオブジェクトが表示されていないと判別された場合、その該当するオブジェクトの位置を示す位置情報を表示する位置情報表示ステップと
    を実行させることを特徴とするプログラム。
15. コンピュータに、
    撮像ステップで撮像された画像の少なくとも一部を画面に表示する画像表示ステップと、
    前記画像表示ステップによる画像の表示を所定のタイミングで更新する画像更新ステップと、
    撮像ステップで撮像された画像に含まれる第１の文字情報を特定する特定ステップと、
    第２の文字情報を指定する指定ステップと、
    前記特定ステップで特定された第１の文字情報の中に、前記指定ステップで指定された第２の文字情報に一致する該当文字情報が存在するか否かを判別する判別ステップと、
    前記判別ステップにて該当文字情報が存在すると判別された場合に、その該当文字情報の表示位置を表示画面上で識別表示する識別表示ステップと、
    前記画像更新ステップが画像の表示を更新した時に、前記識別表示ステップによる識別表示を更新する識別表示更新ステップと、
    前記画像表示ステップが撮像ステップで撮像された画像の少なくとも一部を画面に表示している状態で、前記指定ステップにて指定された第２の文字情報に一致する該当文字情報が画面に表示されているか否かを判別する表示判別ステップと、
    前記表示判別ステップにて該当文字情報が画面に表示されていないと判別された場合に、その該当文字情報の位置を示す位置情報を表示する位置情報表示ステップと
    を実行させることを特徴とするプログラム。

Images