JP4403937B2 - カメラ装置、情報処理装置、被写体識別方法 - Google Patents

Description

本発明は、撮影画像をもとに図鑑データベースに登録された被写体についての情報を検索して出力するカメラ装置、情報処理装置、及び被写体識別方法に関する。

従来、野外で見つけた植物や昆虫などは、図鑑を利用して名称や関連する情報を得る必要があった。これに対して近年では、図鑑を用いるのではなく、デジタルカメラ等を用いて入力された画像を解析して対象物を識別し、対象物の識別結果に基づいて図鑑辞書を検索するシステムが考えられている（例えば特許文献１）。

特許文献１に記載されたシステムでは、デジタルカメラで撮影した動植物などの画像を携帯電話から図鑑サーバに携帯電話網を介して送信することで、図鑑サーバにおいて画像の特徴を表すパラメータを抽出し、この特徴パラメータと標準パターンとの照合を行なうことで、例えばどの草花の画像に該当するか識別することができる。また、パターン辞書に登録したジャンル別、地域別、季節別の標準パターンと照合することで、対象範囲を狭めて識別処理を迅速にできるようにしている。

一方、画像の認識により目的とする情報を検索する場合、現在の画像認識技術では正確な情報が検索できず、情報の絞り込みが適切にできないという問題があり、これに対して被写体の画像から所定の特徴を抽出し、場所に関する情報、時間に関する情報、抽出された特徴の情報とに基づいて、検索対象の情報の表示を行なう装置も考えられている（特許文献２）。
特開２００３−４４４９７号公報 特開２００３−２８８３６３号公報

このように従来では、被写体の画像をもとに情報を検索する技術が考えられているが、何れの場合も対象物を確実に識別可能な特徴部分が撮影されていなければ、特許文献１に記載されているようにジャンル別、地域別、季節別に分類して識別したり、あるいは特許文献２に記載されているように場所に関する情報、時間に関する情報とを考慮したとしても、被写体を正確に識別することができなくなってしまう。また、被写体とする複数の候補が得られた場合には、ユーザが何れかを選択するしかなかった。

本発明の課題は、被写体を撮影して得られた画像をもとに効果的に候補を絞り込んで被写体を識別することが可能なカメラ装置、被写体識別方法を提供することにある。

請求項１記載の発明は、複数の対象物のそれぞれについて複数の部位についての特徴を表す情報を記憶する特徴記憶手段と、前記特徴記憶手段に情報が記憶された複数の対象物についての詳細情報を記憶する詳細情報記憶手段と、被写体を撮影して画像を入力する撮影手段と、前記撮影手段によって入力された画像から被写体の各部位の特徴を抽出する第１抽出手段と、前記第１抽出手段により抽出された各部位の特徴をもとに前記特徴記憶手段に記憶された情報を検索し、前記画像中の被写体に対応する対象物の候補を取得する検索手段と、前記検索手段によって複数の対象物が候補として取得された場合に、候補を絞り込むための部位を特定する部位特定手段と、前記部位特定手段によって特定された部位を指示する指示手段と、前記指示手段による指示に応じて前記撮影手段により画像が入力された場合に、同画像から部位の特徴を抽出する第２抽出手段と、前記第２抽出手段によって抽出された部位の特徴をもとに前記特徴記憶手段に記憶された情報を検索し、前記検索手段によって取得された複数の対象物の候補から特定の対象物を決定する対象物決定手段と、前記対象物決定手段によって決定された対象物についての詳細情報を前記詳細情報記憶手段から取得して提示する提示手段とを具備したことを特徴とする。

請求項２記載の発明は、請求項１記載の発明において、前記特徴記憶手段に情報が記憶された複数の対象物についての詳細情報を記憶する詳細情報記憶手段と、前記対象物決定手段によって決定された対象物についての詳細情報を前記詳細情報記憶手段から取得して提示する提示手段とを具備したことを特徴とする。

請求項３記載の発明は、請求項１記載の発明において、前記対象物決定手段によって１つの対象物の候補に決定できない場合に、前記指示手段は、候補を絞り込むための部位を特定し、前記部位特定手段は、特定された部位を指示することを特徴とする。

請求項４記載の発明は、請求項１記載の発明において、前記検索手段によって複数の対象物が候補として取得された場合に、前記複数の対象物の候補を一覧表示する一覧表示手段と、前記一覧表示手段によって一覧表示された対象物の候補の何れかを選択する指示を入力する入力手段とを具備し、前記提示手段は、前記入力手段により入力された指示に対応する対象物についての詳細情報を提示することを特徴とする。

請求項５記載の発明は、請求項１記載の発明において前記第２抽出手段によって抽出された部位の特徴が、前記第１抽出手段によって抽出された部位の特徴と整合性があるかを判別する整合性判別手段を有し、前記整合性判別手段により整合性がないと判別された場合に、前記対象物決定手段により特定の対象物を決定しないことを特徴とする。

請求項６記載の発明は、請求項１記載の発明において、前記特徴記憶手段では、複数の対象物についての情報が前記対象物の種類毎に分類されており、前記特徴記憶手段において分類されている前記対象物の種類の指定を入力する種類指定入力手段を具備し、前記検索手段は、前記種類指定入力手段により入力された種類に該当する前記特徴記憶手段に記憶された情報を検索して対象物の候補を取得し、前記部位特定手段は、前記検索手段によって複数の対象物が候補として取得された場合に、前記種類指定入力手段により入力された種類に対応する部位を特定することを特徴とする。

請求項７記載の発明は、請求項１記載の発明において、前記撮影手段によって入力された画像から部位と同部位に対する特徴を抽出する部位特徴抽出手段と、前記部位特徴抽出手段によって抽出された部位と特徴とを前記特徴記憶手段に追加する追加手段とを具備し、前記部位特定手段は、前記追加手段により追加された部位を含めて候補を絞り込むための部位を特定することを特徴とする。

請求項８記載の発明は、請求項１記載の発明において、前記特徴記憶手段に記憶された情報には、前記対象物の動きの特徴を表す情報を含み、前記指示手段は、前記検索手段によって複数の対象物が候補として取得された場合に、前記対象物の動きの特徴を指示し、前記第２抽出手段は、前記撮影手段により入力された動画像から被写体の動きの特徴を抽出し、前記対象物決定手段は、前記第２抽出手段により抽出された動きの特徴をもとに、前記特徴記憶手段に記憶された前記対象物の動きの特徴を表す情報を検索することを特徴とする。

請求項９記載の発明は、請求項１記載の発明において、被写体に関連する音を入力する音入力手段を具備し、前記特徴記憶手段に記憶された情報には、前記対象物の音の特徴を表す情報を含み、前記指示手段は、前記検索手段によって複数の対象物が候補として取得された場合に、前記対象物の音の特徴を指示し、前記第２抽出手段は、前記音入力により入力された音から被写体の特徴を抽出し、前記対象物決定手段は、前記第２抽出手段により抽出された音の特徴をもとに、前記特徴記憶手段に記憶された前記対象物の音の特徴を表す情報を検索することを特徴とする。

請求項１０記載の発明は、複数の対象物のそれぞれについて複数の部位についての特徴を表す情報を記憶する特徴記憶手段と、前記特徴記憶手段に情報が記憶された複数の対象物についての詳細情報を記憶する詳細情報記憶手段と、通信回線を通じて他の情報機器から画像を受信する画像受信手段と、前記画像受信手段によって受信された画像から被写体の各部位の特徴を抽出する第１抽出手段と、前記第１抽出手段により抽出された各部位の特徴をもとに前記特徴記憶手段に記憶された情報を検索し、前記画像中の被写体に対応する対象物の候補を取得する検索手段と、前記検索手段によって複数の対象物が候補として取得された場合に、候補を絞り込むための部位を特定する部位特定手段と、前記部位特定手段によって特定された部位を前記通信回線を通じて前記情報機器に送信する部位送信手段と、前記部位送信手段による送信に応じて、前記画像受信手段により前記情報機器から画像が入力された場合に、同画像から部位の特徴を抽出する第２抽出手段と、前記第２抽出手段によって抽出された部位の特徴をもとに前記特徴記憶手段に記憶された情報を検索し、前記検索手段によって取得された複数の対象物の候補から特定の対象物を決定する対象物決定手段と、前記対象物決定手段によって決定された対象物についての詳細情報を前記詳細情報記憶手段から取得して前記情報機器に送信する詳細情報送信手段とを具備したことを特徴とする。

請求項１２記載の発明は、被写体を撮影して画像を入力する第１撮影ステップと、前記第１撮影ステップによって入力された画像から被写体の各部位の特徴を抽出する第１抽出ステップと、前記第１抽出ステップにより抽出された各部位の特徴をもとに、複数の対象物のそれぞれについて複数の部位についての特徴を表す情報を記憶する特徴記憶手段に記憶された情報を検索し、前記画像中の被写体に対応する対象物の候補を取得する検索ステップと、前記検索ステップによって複数の対象物が候補として取得された場合に、候補を絞り込むための部位を特定する部位特定ステップと、前記部位特定ステップによって特定された部位を指示する指示ステップと、前記指示ステップによる指示に応じて、被写体を撮影して画像を入力する第２撮影ステップと、前記第２撮影ステップにより画像が入力された場合に、同画像から前記指示ステップによって指示した部位の特徴を抽出する第２抽出ステップと、前記第２抽出ステップによって抽出された部位の特徴をもとに、前記検索ステップによって取得された複数の対象物の候補から特定の対象物を決定する対象物決定ステップと、前記対象物決定ステップによって決定された対象物についての詳細情報を、前記特徴記憶手段に情報が記憶された複数の対象物についての詳細情報を記憶する詳細情報記憶手段から取得して提示する提示ステップとを具備したことを特徴とする。

請求項１記載の発明によれば、入力された画像から被写体の各部位の特徴を抽出し、この抽出された各部位の特徴をもとに被写体に対応する対象物の候補を取得し、複数の対象物が候補として取得された場合には、候補を絞り込むための部位を特定して指示するので、はじめに撮影した画像だけでは被写体を特定できない場合でも、被写体のどの部位を撮影した画像を撮影すれば候補を絞り込むことができるかユーザに指示して、画像の再度の撮影を促すことができ、効果的に撮影画像を利用して被写体が何であるかを識別することができる。

請求項２記載の発明によれば、請求項１の発明の効果に加えて、撮影画像を利用して被写体が何であるかが識別された場合に、この被写体についての詳細情報をユーザに提示することができる。

請求項３記載の発明によれば、請求項１の発明の効果に加えて、入力された画像に対して１つの対象物の候補に決定できない場合に、候補を絞り込むための部位を特定して指示することにより、１つの対象物が特定されるまで、繰り返して候補を絞り込むための部位を撮影した画像の入力をユーザに促すことができる。

請求項４記載の発明によれば、請求項１の発明の効果に加えて、複数の対象物が候補として取得された場合に、複数の対象物の候補を一覧表示して、この一覧表示された対象物の候補の何れをユーザが指示して詳細情報を提示させることができるので、画像から抽出される部位の特徴を利用した検索により候補を絞り込むだけでなく、被写体に対する知識がユーザにある場合には候補中から直接的に選択することで、より簡単に素早く被写体を特定することができる。

請求項５記載の発明によれば、請求項１の発明の効果に加えて、後に撮影された画像から抽出された部位の特徴が、先に撮影された画像から抽出された部位の特徴と整合性があるかを判別し、整合性がないと判別された場合、すなわち被写体から抽出される部位の特徴が一致せず矛盾が生じている場合には、入力された画像が別の被写体を撮影することにより入力された画像とみなして、候補の絞り込みを中止させることができる。

請求項６記載の発明によれば、請求項１の発明の効果に加えて、複数の対象物についての情報が対象物の種類毎に分類されており、この分類されている対象物の種類の指定を入力して、この指定された種類に該当する情報を対象として、画像から抽出された部位の特徴について検索することで、対象物の種類毎に決められる部位の特徴をもとに被写体の候補をより確実に求めることができる。

請求項７記載の発明によれば、請求項１の発明の効果に加えて、入力された画像から部位と同部位に対する特徴を抽出し、この抽出された部位と特徴とを追加して記憶させることができるので、追加された部位を含めて候補を絞り込むための部位を特定することで、より確実な候補の絞り込みが可能となる。

請求項８記載の発明によれば、請求項１の発明の効果に加えて、被写体の部位の特徴だけでなく、被写体の動きの特徴をもとに候補の絞り込みが可能となるので、複数の候補が得られた場合に被写体の動きが分かる動画像を撮影させることで、被写体の絞り込みを確実にすることができる。

請求項９記載の発明によれば、請求項１の発明の効果に加えて、被写体の部位の特徴だけでなく、被写体に関連する音の特徴をもとに候補の絞り込みが可能となるので、複数の候補が得られた場合に被写体に関連する音を入力させることで、被写体の絞り込みを確実にすることができる。

請求項１０記載の発明によれば、通信回線を通じて他の情報機器から画像から被写体の各部位の特徴を抽出し、この抽出された各部位の特徴をもとに被写体に対応する対象物の候補を取得し、複数の対象物が候補として取得された場合には、候補を絞り込むための部位を特定して通信回線を通じて情報機器に送信するので、はじめに受信した画像だけでは被写体を特定できない場合でも、被写体のどの部位を撮影した画像を撮影すれば候補を絞り込むことができるか他の情報機器を使用するユーザに指示して、画像の再度の撮影を促すことができ、例えば被写体を逃すことなく素早く被写体についての追加撮影を行ない、効果的に撮影画像を利用して被写体が何であるかを識別することができる。

請求項１１記載の発明によれば、請求項１１の発明の効果に加えて、撮影画像を利用して被写体が何であるかが識別された場合に、この被写体についての詳細情報を情報機器に送信してユーザに提示することができる。

請求項１２記載の発明によれば、入力された画像から被写体の各部位の特徴を抽出し、この抽出された各部位の特徴をもとに被写体に対応する対象物の候補を取得し、複数の対象物が候補として取得された場合には、候補を絞り込むための部位を特定して指示するので、はじめに撮影した画像だけでは被写体を特定できない場合でも、被写体のどの部位を撮影した画像を撮影すれば候補を絞り込むことができるかユーザに指示して、画像の再度の撮影を促すことができ、例えば被写体を逃すことなく素早く被写体についての追加撮影を行ない、効果的に撮影画像を利用して被写体が何であるかを識別することができる。

以下、図面を参照して本発明の実施の形態について説明する。
図１は、本発明の実施の形態における図鑑機能付きカメラ装置１の構成を示すブロック図である。図鑑機能付きカメラ装置１は、デジタルカメラとしての機能の他に、撮影画像をもとに図鑑データベース（ＤＢ）に蓄積された情報を検索するための図鑑機能が搭載されている。

図１に示す図鑑機能付きカメラ装置１において、基本モードである撮影モードにおいては、所定のビデオレート、１／３０［秒］毎にモータ（Ｍ）１０の駆動により絞り位置や通常撮影に応じたレンズ位置が移動される、撮影レンズ１１を構成するレンズ光学系の撮影光軸後方に配置された撮像素子であるＣＣＤ（Charge Coupled Device）１２が、タイミング発生器（ＴＧ）１３、垂直ドライバ１４によって走査駆動され、一定周期毎に結像した光像に対応する光電変換出力を１画面分出力する。

この光電変換出力は、アナログ値の信号の状態でＲＧＢの各原色成分毎に適宜ゲイン調整された後に、サンプルホールド（Ｓ／Ｈ）回路１５でサンプルホールドされ、Ａ／Ｄ変換器１６でデジタルデータに変換され、さらにカラープロセス回路１７で画素補間処理及びγ補正処理を含むカラープロセス処理が行なわれて、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒが生成され、ＤＭＡ（Direct Memory Access）コントローラ１８に出力される。

ＤＭＡコントローラ１８は、カラープロセス回路１７の出力する輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、同じくカラープロセス回路１７からの複合同期信号、メモリ書込みイネーブル信号、及びクロック信号を用いて一度ＤＭＡコントローラ１８内部のバッファに書込み、ＤＲＡＭインタフェース（Ｉ／Ｆ）２０を介してバッファメモリとして使用されるＤＲＡＭ２１にＤＭＡ転送を行なう。

制御部２５は、ＣＰＵと、該ＣＰＵで実行される動作プログラムやデータ等を固定的に記憶したＲＯＭ、及びワークメモリとして使用されるＲＡＭ等により構成され、この図鑑機能付きカメラ装置１全体の制御動作を司る。

制御部２５は、輝度及び色差信号のＤＲＡＭ２１へのＤＭＡ転送終了後に、この輝度及び色差信号をＤＲＡＭインタフェース２０を介してＤＲＡＭ２１より読出し、ＶＲＡＭコントローラ２６を介してＶＲＡＭ２７に書込む。

デジタルビデオエンコーダ２８は、輝度及び色差信号をＶＲＡＭコントローラ２６を介してＶＲＡＭ２７より定期的に読出し、これらのデータを元にビデオ信号を発生して表示部２９に出力する。

表示部２９は、撮影モード時にはモニタ表示部（電子ファインダ）として機能し、デジタルビデオエンコーダ２８からのビデオ信号に基づいた表示を行なうことで、その時点でＶＲＡＭコントローラ２６から取込んでいる画像情報に基づく画像（スルー画像）をリアルタイムに表示することになる。

表示部２９にスルー画像がリアルタイムに表示されている表示状態で、静止画像を撮影するタイミングでキー入力部３６のシャッタキーが操作されると、トリガ信号を発生する。

制御部２５は、このトリガ信号に応じてその時点でＣＣＤ１２の駆動を停止した後、自動露出処理を実行して適正な露出値を得て、レンズ光学系の絞りとＣＣＤ１２の露光時間を制御してあらためて撮像を実行させる。

こうして新たに得られた１フレーム分の画像データがＤＲＡＭ２１にＤＭＡ転送されて書込まれた後、制御部２５がＤＲＡＭ２１に書込まれている１フレーム分の画像データを読出して画像処理部３０に書込む。画像処理部３０は、画像データに対して、例えば偽色信号抑制、高輝度着色防止、低彩度圧縮などの画像処理を施し、またＪＰＥＧ（Joint Photographic Experts Group）により画像データを符号化する。

符号化された画像データは、図鑑機能付きカメラ装置１の記録媒体として着脱自在に装着されているメモリカード３２、あるいはメモリカード３２が装着されていない場合は固定的に内蔵されている内蔵メモリ３３に書き込まれる。

そして、１フレーム分のメモリカード３２または内蔵メモリ３３への画像データの書込み終了に伴なって、制御部２５は、ＣＣＤ１２からＤＲＡＭ２１を経由したスルー画像を表示部２９においてモニタ表示させる駆動を再開する。

また、制御部２５には、データ解析部３４、図鑑データベース（ＤＢ）３５、キー入力部３６、音声処理部４０、ストロボ駆動部４１が接続される。

データ解析部３４は、制御部２５の制御のもとで、画像処理部３０により画像処理が施されてメモリカード３２あるいは内蔵メモリ３３に記憶された画像データ（動画像データを含む）あるいは音データを解析して、図鑑ＤＢ３５に記録された情報を検索するための被写体の特徴を検索キーとして抽出する。データ解析部３４は、被写体の種類（例えば、植物、昆虫、動物、建築物、人、自動者…など）に応じて決められた特徴を抽出する。例えば、静止画像データに対しては、画像中の被写体の各部位の特徴を検索キーとして抽出する。例えば被写体が植物である場合には、「花弁」「茎」「葉」などの部位について、その特徴（「花弁の枚数」については例えば「５枚」など）を検索キーとして抽出する。また、例えば動画像データについては被写体の動きの特徴などを抽出し、音データについては特徴的な音部分をそれぞれ検索キーとして抽出する。

図鑑ＤＢ３５は、複数の対象物のそれぞれについて複数の部位についての特徴を表す情報（外観特徴情報）と、この情報が記憶された複数の対象物のそれぞれについての詳細情報（対象物に関する一般的に図鑑に掲載されている各種の情報）を示すデータが記録されている（詳細については図２参照）。図鑑ＤＢ３５では、複数の対象物についての情報が対象物の種類毎、例えば「植物」「昆虫」「動物」「建築物」「人」「車」…に分類されており、検索対象として入力された画像に撮影されている被写体に応じた種類の情報が検索対象として利用される。さらに、図鑑ＤＢ３５には、対象物の動きの特徴を表す情報、また対象物の音の特徴を表す情報などを含む。さらに、図鑑ＤＢ３５は、予め記憶されている情報だけでなく、制御部２５の制御により各情報を追加記録することができる。

キー入力部３６は、電源キー、シャッタキー、モードスイッチ、メニューキー、及び十字キー等から構成され、それらのキー操作に伴なう信号は直接制御部２５へ送出される。

音声処理部４０は、ＰＣＭ音源等の音源回路を備え、音声の録音時にはマイクロホン部（ＭＩＣ）４２より入力された音声信号をデジタル化し、所定のデータファイル形式、例えばＭＰ３（MPEG-1 Audio Layer-3）規格に従ってデータ圧縮して音声データファイルを作成してメモリカード３２または内蔵メモリ３３へ送出する一方、音声の再生時にはメモリカード３２または内蔵メモリ３３から送られてきた音声データファイルの圧縮を解いてアナログ化し、スピーカ部（ＳＰ）４３を駆動して、拡声放音させる。

さらに音声処理部４０は、制御部２５からの制御に基づいて、各種動作音、例えばシャッタキーの操作に伴う擬似的なシャッタ音、他のキーの操作に伴うビープ音等も発生してスピーカ部４３より拡声放音させる。

ストロボ駆動部４１は、静止画像撮影時に図示しないストロボ用の大容量コンデンサを充電した上で、制御部２５からの制御に基づいてストロボ発光部４５を閃光駆動する。

静止画像ではなく動画像の撮影時においては、例えばシャッタキーが操作され続けている間、ＪＰＥＧ回路３６でデータ圧縮された静止画データファイルのメモリカード３２または内蔵メモリ３３への記録を時間的に連続して実行し、該シャッタキーの操作が終わるか、または所定の制限時間、例えば３０秒が経過した時点でそれら一連の静止画データファイルを一括してモーションＪＰＥＧのデータファイル（ＡＶＩファイル）として設定し直す。

この時、音声付きの動画像の撮影が指定されている場合には、前述した如くマイクロホン部４２からの入力により得た音声データファイルも関連付けて記録させる。

また、基本モードである再生モード時には、制御部２５がメモリカード３２または内蔵メモリ３３に記録されている画像データを選択的に読出し、ＪＰＥＧ回路３６で撮影モード時にデータ圧縮した手順と全く逆の手順で圧縮されている画像データを伸長し、伸長した画像データをＤＲＡＭインタフェース２０を介してＤＲＡＭ２１に保持させた上で、このＤＲＡＭ２１の保持内容をＶＲＡＭコントローラ２６を介してＶＲＡＭ２７に記憶させ、このＶＲＡＭ２７より定期的に画像データを読出してビデオ信号を発生し、表示部２９で再生出力させる。

選択した画像データが静止画像ではなく動画像であった場合、動画像ファイルを構成する個々の静止画データの再生を時間的に連続して実行し、すべての静止画データの再生を終了した時点で、次に再生の指示がなされるまで先頭に位置する静止画データのみを用いて再生表示する。

図２は、図鑑ＤＢ３５に登録されている情報の一例を示す図である。

本実施形態における図鑑ＤＢ３５には、対象物の種類毎、例えば植物、昆虫、動物、建築物、人…などについて、それぞれに含まれる複数の対象物についての詳細情報と外観特徴情報を示すデータとが対応づけて記憶されている。例えば、対象物の種類「植物」には、複数の植物「植物１」「植物２」「植物３」…（名称のデータを示す）のそれぞれと対応づけて各情報が記憶されている。詳細情報は、一般に図鑑に掲載されている情報であり、検索結果とする対象物に対応するデータが読み出されて出力される。外観特徴情報は、対象物に対して決められた複数の部位「花弁」「茎」「葉」などについて、その特徴（「花弁の枚数」については例えば「５枚」など）を示すデータが記録されている。

図２では省略しているが、外観特徴情報は、対象物の種類毎に決められているものとする。また、外観特徴情報の他に、対象物に対する動きの特徴の情報、及び音に関する特徴の情報を示すデータが記録されているものとする。

図３は、図鑑機能付きカメラ装置１における図鑑検索機能を実行するための機能構成を示すブロック図である。
図３に示すように、本実施形態では、画像撮影部５０、第１特徴抽出部５１、特徴検索部５２、検索候補記憶部５３、識別部位特定部５４、特定部位指示部５５、第２特徴抽出部５６、対象物決定部５７、対象物提示部５８、特徴追加部５９、一覧表示部６０、及び入力部６１の機能が設けられる。

画像撮影部５０は、ユーザ操作に応じて、図鑑ＤＢ３５に記録されている詳細情報を閲覧しようとする被写体を撮影した画像を入力する。第１特徴抽出部５１は、画像撮影部５０によって入力された画像から、被写体の種類毎、例えば植物、動物などに応じて決められた被写体の各部位の特徴を抽出する。

特徴検索部５２は、第１特徴抽出部５１により抽出された各部位の特徴をもとに、図鑑ＤＢ３５の外観特徴情報記憶部３５ｂに記憶された部位についての特徴を表す情報を検索することで、画像中の被写体に対応する対象物の候補を取得して検索候補記憶部５３に記憶させる。

識別部位特定部５４は、特徴検索部５２によって複数の対象物が候補として取得され、検索候補記憶部５３に記憶されている場合に、候補を絞り込むための部位、例えば入力された画像からは特徴が判別することができなかった部位を特定する。

特定部位指示部５５は、識別部位特定部５４によって特定された部位を通知するための表示を行なうなどしてユーザに対して指示する。第２特徴抽出部５６は、特定部位指示部５５による指示に応じて画像撮影部５０により画像が入力された場合に、すなわち特徴が判別されていなかった部位が撮影されている画像から部位の特徴を抽出する。

対象物決定部５７は、第２特徴抽出部５６によって抽出された部位の特徴をもとに図鑑ＤＢ３５の外観特徴情報記憶部３５ｂに記憶された情報を検索し、特徴検索部５２によって取得された複数の対象物の候補から特定の対象物を決定する。

なお、第２特徴抽出部５６によって抽出された部位の特徴が、第１特徴抽出部５１によって抽出された部位の特徴と整合性があるか、例えば同一の部位について第１特徴抽出部５１によって抽出された特徴と第２特徴抽出部５６によって抽出された特徴と一致しないものがあるかを判別する（整合性判別手段）。そして、整合性がないと判別された場合に、画像撮影部５０により入力された画像に対して、新たな被写体を撮影した画像であるとして第２特徴抽出部５１により抽出された特徴をもとに、特徴検索部５２により図鑑ＤＢ３５の検索を実行する。

対象物提示部５８は、対象物決定部５７によって決定された対象物についての詳細情報を図鑑ＤＢ３５の詳細情報記憶部３５ａから取得して提示する。

また、特徴追加部５９は、入力された画像から第１特徴抽出部５１により抽出された部位と同部位に対する特徴とを図鑑ＤＢ３５の外観特徴情報記憶部３５ｂに追加することができる。また、一覧表示部６０は、特徴検索部５２によって複数の対象物が候補として取得された場合に、検索候補記憶部５３に記憶された複数の対象物の候補を一覧表示し、入力部６１は、一覧表示部６０により一覧表示された対象物の候補の何れかを選択する指示をユーザ操作に応じて入力し、該当する対象物に対応する詳細情報を対象物提示部５８によって表示させることができる。

次に、本実施形態における図鑑機能付きカメラ装置１の動作について、図４に示すフローチャート、図５乃至図８に示す具体例を参照しながら説明する。

図鑑機能付きカメラ装置１（画像撮影部５０）は、撮影モードにおいて、ユーザによりシャッタキー（キー入力部３６）が操作されることにより、光学系を通じて入力される画像の撮影を実行する（ステップＡ１）。入力された画像に対しては、画像処理部３０により画像処理が施されてメモリカード３２あるいは内蔵メモリ３３に記憶すると共に（ステップＡ２）、表示部２９において撮影画像を表示する（ステップＡ３）。

ここで、ユーザは、図鑑機能を利用して画像中の被写体についての詳細情報を取得したい場合には、キー入力部３６の所定のキーに対する操作により図鑑検索処理の実行を指定する。

制御部２５は、キー入力部３６を通じて図鑑検索処理の実行が指示されると（ステップＡ４、Ｙｅｓ）、図鑑検索処理を開始する。まず、制御部２５は、撮影対象とした対象物（被写体）の種類の指定をユーザによって入力させる。例えば、図鑑ＤＢ３５に記録されている対象物の種類「植物」「昆虫」「動物」…などを一覧表示して、その中から選択させる。

制御部２５は、対象物の種類の指定が入力されると（ステップＡ５）、図鑑ＤＢ３５において検索対象とする対象物を指定された種類に限定し（ステップＡ６）、データ解析部３４に対して、この限定された対象物の種類を通知してデータ解析（特徴抽出）の実行を指示する（ステップＡ６）。

データ解析部３４（第１特徴抽出部５１）は、入力された画像から、解析図鑑ＤＢ３５に記憶されている限定された対象物の外観特徴情報に該当する部位を所定の画像処理によって判別し、この部位についての特徴を抽出して、図鑑ＤＢ３５に記憶された情報を検索するための検索キーとする（ステップＡ７）。

ここでは、例えば図５に示すような「植物」を被写体とする画像が入力されたものとする。図５に示す入力画像には、花弁と葉の部分が撮影されている。データ解析部３４（第１特徴抽出部５１）では、対象物「植物」の外観特徴情報に応じて、複数の部位についての特徴、すなわち「花弁の枚数」「花弁の色」「花弁の形状」「茎の色」「茎の形状」「葉の色」「葉の形状」の特徴が抽出される。

ただし、図５に示す入力画像では、対象物の全体ではなく、一部のみが撮影された画像であるため、外観特徴情報に対応する全ての部位の特徴について抽出することができない。

図６の調査対象の項目には、図５に示す入力画像から抽出された部位の特徴を示している。入力画像では、花弁と葉の一部が撮影されていたため、「花弁の枚数」が「５」、「花弁の色」が「紫」、「花弁の形状」が「五角形」、「葉の色」が「緑」として、それぞれ部位の特徴（検索キー）が抽出されている。また、「茎の色」「茎の形状」「葉の形状」については、入力画像から抽出することができず状態不明となっている。

次に、制御部２５（特徴検索部５２）は、入力画像から抽出された複数の部位の特徴（検索キー）を用いて、図鑑ＤＢ３５の対象物「植物」について登録されている外観特徴情報記憶部３５ｂを検索する。すなわち、入力画像から抽出された部位の特徴と図鑑ＤＢ３５とを照らし合わせて、入力画像の被写体に対応する対象物（個々の植物）を求める（ステップＡ８）。

この時点で入力画像から得た検索キーが的確であり、唯一の候補が取得された場合には（ステップＡ９、Ｙｅｓ）、その候補の対象物が被写体に対応するものとして検索を完了する。制御部２５は、外観特徴情報をもとに検索された対象物に対応する詳細情報を図鑑ＤＢ３５の詳細情報記憶部３５ａから取得し（ステップＡ１０）、入力画像と共に表示部２９において表示させる。また、制御部２５は、詳細情報を入力画像のデータに詳細情報を示すタグ情報などを添付することで関連づけ、メモリカード３２あるいは内蔵メモリ３３に記憶する（ステップＡ１１）。

一方、図５に示す入力画像のように、対象物の一部のみが撮影されているために、入力画像から抽出された部位の特徴（検索キー）だけで図鑑ＤＢ３５を検索しても対象物を特定できない場合がある。

図５に示す入力画像については、「花弁の枚数」「花弁の色」「花弁の形状」「葉の色」についての検索キーが抽出されている。この検索キーを用いて図鑑ＤＢ３５に登録されている、例えば図６に示す植物「Ａ」〜植物「Ｅ」の対象物の外観特徴情報を検索したものとする。

この場合、「茎の色」「茎の形状」「葉の形状」については検索キーとして成立していないので比較対照とはならない。従って、検索キーとしている「花弁の枚数」「花弁の色」「花弁の形状」「葉の色」の特徴が一致する植物「Ａ」「Ｃ」が候補として取得され記憶される（検索候補記憶部５３）。

こうして、図鑑ＤＢ３５に対する検索によって複数の候補が得られた場合には（ステップＡ９、Ｎｏ）、制御部２５（一覧表示部６０）は、取得された複数の候補（対象物）の名称データを図鑑ＤＢ３５から取得し、表示部２９において表示させる（ステップＡ１２）。

こうして、入力画像だけでは被写体を特定できない場合、候補として検索された対象物の名称を表示部２９に表示し、さらに絞り込みを行なうがどうかの選択をユーザに要求する。

ここで、ユーザが絞り込みを要求せず、キー入力部３６に対する所定の操作によって、一覧表示された候補の何れかを選択する指示が入力された場合（入力部６１）（ステップＡ１３、Ｎｏ）、制御部２５は、この選択された候補の対象物に確定し（ステップＡ１４）、同対象物に対応する詳細情報を図鑑ＤＢ３５の詳細情報記憶部３５ａから取得し（ステップＡ１０）、入力画像と共に表示部２９において表示させる。また、制御部２５は、詳細情報を入力画像のデータに詳細情報を示すタグ情報などを添付することで関連づけ、メモリカード３２あるいは内蔵メモリ３３に記憶する（ステップＡ１１）。

一方、ユーザによるキー入力部３６に対する操作によって、さらに絞り込みを要求された場合には（ステップＡ１３、Ｙｅｓ）、制御部２５（識別部位特定部５４）は、現在、取得されている複数の候補から、候補を絞り込むための部位、すなわち図鑑ＤＢ３５を検索するために必要な検索キーを特定する（ステップＡ１５）。例えば、候補を絞り込むための部位としては、前回の入力画像に対する特徴抽出において状態不明となっていた部位がある。また、全ての状態不明となっていた部位とするだけでなく、複数の候補から何れかを特定することができる部位があれば、この部位のみを対象としても良い。

図６では、「茎の色」「茎の形状」「葉の形状」が検索キーとして成立していないが、既に候補が植物「Ａ」「Ｃ」に絞られており、この２つを識別可能な検索キー（部位の特徴）が「葉の形状」であると特定することができる。

従って、制御部２５（特定部位指示部５５）は、候補の絞り込みに必要に検索キー（部位の特徴）が「葉の形状」であることを表示部２９において表示し、ユーザに対して部位「葉」が認証できる画像を撮影するように促す（ステップＡ１６）。

ユーザが部位の指示を受けて、再度、撮影操作を行なうと、図鑑機能付きカメラ装置１（画像撮影部５０）は、前述と同様にして画像を入力し、通常通り画像処理を施して記憶すると共に表示部２９において表示させる（ステップＡ１７，Ａ１８）。

ここで、データ解析部３４（第２特徴抽出部５６）は、前回、入力された画像と同様にして、解析図鑑ＤＢ３５に記憶されている限定された対象物の外観特徴情報に該当する部位を所定の画像処理によって判別し、この部位についての特徴を抽出して、図鑑ＤＢ３５に記憶された情報を検索するための検索キーとする。

制御部２５（整合性判別手段）は、前回の入力画像から抽出された検索キー（部位の特徴）と、今回の入力画像から抽出された検索キーとに整合性があるかを判別する（ステップＡ１９）。すなわち、同一の部位について異なる特徴を示すといった矛盾が生じていないかを判別する。例えば、図５に示す入力画像からは「花弁の形状」として「五角形」が抽出されているが、今回の入力画像から抽出された「花弁の形状」が「円形」であった場合には、整合性がないものとして判別する。

この結果、前回の入力画像の検索キーと整合性がないと判別された場合、新たな被写体を撮影した画像が入力されたものとして、ステップＡ３の処理に戻る。すなわち、制御部２５は、入力画像を表示部２９において表示し、ここで図鑑検索処理の実行が指示された場合には、前述と同様にして、検索キーを抽出して図鑑ＤＢ３５に対する情報の検索を実行する。

一方、前回の入力画像から取得された検索キーと矛盾のないことが確認された場合（ステップＡ１９、Ｎｏ）、制御部２５（対象物決定部５７）は、前回の入力画像から取得された検索キーに今回の入力画像から抽出された検索キーを追加し（ステップＡ２０）、この追加された検索キーを含め、再度、図鑑ＤＢ３５との照合を実行する（ステップＡ８）。

例えば、図７に示すように、ユーザに対して指示した「葉の形状」が認証できる画像が入力されたものとする。この場合、入力画像が解析され、「葉の形状」の他、「葉の色」と一部写っている花の状態から「花弁の色」の特徴が検索キーとして抽出される。

「葉の色」と「花弁の色」の特徴は、図６に示す前回の入力画像の解析結果から得られていた部位の特徴と一致しているため（「紫」「五角形」）、前回の検索キーと矛盾がないことが確認される。

この結果、制御部２５（対象物決定部５７）は、追加された「葉の形状」の特徴「ハート型」によって、候補として記憶されていた植物「Ａ」「Ｃ」のうち、植物「Ａ」が被写体に対応する対象物であると決定することができる（ステップＡ９、Ｙｅｓ）。

制御部２５（対象物提示部５８）は、候補中から決定された対象物に対応する詳細情報を図鑑ＤＢ３５の詳細情報記憶部３５ａから取得し（ステップＡ１０）、入力画像と共に表示部２９において表示させる。また、制御部２５は、詳細情報を入力画像のデータに詳細情報を示すタグ情報などを添付することで関連づけ、メモリカード３２あるいは内蔵メモリ３３に記憶する（ステップＡ１１）。

なお、ユーザに部位を提示した後に、再度、入力された画像によっても対象物を１つに決定できなかった場合には（ステップＡ９）、前述と同様にして、候補を絞り込むための部位を特定し、ユーザに提示して、再度、画像撮影を促す。

こうして、１つの候補に絞り込むことができるまで、前述した処理を繰り返して実行する。

このようにして、はじめに撮影した画像だけでは被写体を特定できない場合でも、被写体のどの部位を撮影した画像を撮影すれば候補を絞り込むことができるかユーザに指示して、画像の再度の撮影を促すことができる。従って、被写体を撮影して得られた画像をもとに、効果的に候補を絞り込んで被写体を識別し、被写体に関する詳細情報をユーザに提示することができる。また、入力画像に対して被写体を特定できなかった場合には、直ちに、候補の絞り込みに必要な部位を提示するので、例えば移動する被写体であっても、これを逃すことなく素早く追加撮影を行ない、効果的に撮影画像を利用して被写体が何であるかを識別することができる。

なお、前述した説明では、対象物として植物の例を用いているが、同様にして図鑑ＤＢ３５に記録された例えば昆虫、動物、建築物、人、車などについても、それぞれの対象物に応じて決められた部位の特徴をもとに、図鑑ＤＢ３５を検索することで対象物を絞り込み、さらには対象物を決定することができる。例えば、図鑑機能付きカメラ装置１を用いて盗難車の特定をする場合、見つけた車が盗難車であるか否かを確認するために、盗難車の特徴とする部位を含む画像を撮影することで、この画像から抽出された車の部位の特徴について図鑑ＤＢ３５が検索され、盗難車に該当するか否かを簡単に判別することができる。

また、前述した説明では、図鑑ＤＢ３５に予め記録されているデータをもとに対象物の識別を実行しているが、図鑑ＤＢ３５に対して新規のデータを登録できる機能を搭載しても良い。

例えば、制御部２５は、撮影により得られた画像について画像処理部３０による処理を施し、データ解析部３４により、この画像中から被写体の特徴を表す部位と、その特徴に関する情報を抽出し（部位特徴抽出手段）、これらの情報を対象物と対応づけて図鑑ＤＢ３５に追加記憶させる（追加手段）。

例えば、花が咲いた植物の画像が撮影された場合、特徴を表す部位として前述した外観特徴情報で用いた「花弁」「葉」「茎」の部分を画像中から抽出する。一般に、「花弁」「葉」「茎」は、それぞれ異なる形状、色を有していることから、これらの違いをもとに所定の画像処理を実行することでそれぞれの部位を抽出する。そして、それぞれの部位についての特徴、例えば「葉」の部位については「葉の色」「葉の形状」を識別する。「葉の形状」については、「ハート型」「短冊状」など、予め用意された複数のパターンとの照合を行なうことで、何れに該当するか判別できる。

なお、撮影された画像から部位と特徴についての自動抽出ができない場合には、例えば撮影画像に対してユーザが部位の指定を入力できる機能を設けておくことで、ユーザからの入力を利用して部位を簡単に特定できるようにすることもできる。例えば、「花弁」あるいは「葉」に該当する部分を囲むように範囲指定をユーザに入力させることで、データ解析部３４は、この範囲指定された画像内から「花弁」あるいは「葉」に該当する部分を抽出する。そして、部位の色や形状などの特徴についても、ユーザが文字入力によって入力したり、予め用意された選択肢から指定できるようにする。制御部２５は、データ解析部３４による解析結果をもとに、撮影された画像から被写体の特徴を表す部位と、その特徴に関する情報を決定し、図鑑ＤＢ３５に新規に追加登録する。

これにより、予め図鑑ＤＢ３５に登録された情報だけでは候補として抽出できなかった対象物、例えば「花弁」の色が通常の色と異なっていたり、「葉」の形状が撮影方向の違いにより正しく画像中で表れていなかったりしたために、対象物の候補として抽出できなかった対象物についても正しく候補として指示することができる。

さらに、対象物を識別するための部位と特徴をユーザが新たに作成して追加できるようにしても良い。例えば、ある対象物について、図鑑ＤＢ３５には予め記憶されていないが、ユーザが対象物を識別するために参照している部位がある場合には、この部位とその特徴を追加登録しておく。部位と特徴の図鑑ＤＢ３５への追加については前述と同様にして行なうことができる。

こうして、新規の部位と特徴を追加登録しておくことで、図鑑ＤＢ３５に予め用意された情報からでは画像中の被写体が識別できなかったとしても、ユーザが追加登録した部位をユーザに指示して、この部位を含む被写体について再度の撮影実行させることで、被写体の識別を確実にすることができる。

また、前述した実施形態では、撮影された静止画像をもとに図鑑ＤＢ３５を検索して外観特徴を判別しているが、動画像を撮影して、この動画像をもとにして特徴を検索するようにしても良い。この場合、前述した静止画像に対する外観特徴の他に、対象物の動きの特徴などについての情報を図鑑ＤＢ３５に記録しておくことで、この情報を検索キーとして図鑑ＤＢ３５を検索して対象物を判別するようにしても良い。これにより、動きに特徴がある例えば昆虫や動物などについて外観の情報だけでは候補の絞り込みができなかった場合に、被写体に対する動きのある動画像の撮影をユーザに指示することもできる。こうして撮影された動画像から動きの特徴を抽出して図鑑ＤＢ３５を検索することで、被写体の動きをもとにして対象物を特定することができる。

同様にして、対象物に関連する音をマイクロホン部４２を通じて入力して、この音から対象物の音の特徴を抽出し、この音の特徴をもとにして図鑑ＤＢ３５を検索するようにしても良い。例えば、対象物に関連する音としては、動物の鳴き声、自動車のエンジン音、人の音声などがある。この場合、図鑑ＤＢ３５には対象物ごとの音の特徴についての情報を記録し、特徴的な音部分を検索キーとして検索できるようにする。この場合においても、対象物の候補の絞り込みのために、被写体に関する音の入力をユーザに指示することができる。

また、前述した説明では、デジタルカメラ単体として構成された図鑑機能付きカメラ装置１を用いて説明しているが、画像撮影機能が搭載された他の電子機器において実現することも可能である。例えば、カメラ機能が搭載された携帯電話機やＰＤＡ（personal digital assistant）やパーソナルコンピュータなどの情報機器、その他、撮影画像をもとに各種検査を行なうための検査機器に適用することも可能である。

また、図鑑機能付きカメラ装置１において撮影画像中の被写体を識別するための検索処理を実行するのではなく、通信回線（公衆回線、インターネットなど）を通じて接続される他の情報処理装置、すなわち図鑑データベース検索機能付きサーバ装置において、前述した撮影画像に対する処理を実行するようにしても良い。この場合、画像撮影機能付きの情報機器（画像撮影の機能を有するデジタルカメラ、ＰＤＡ、パーソナルコンピュータ、携帯電話機など）は、撮影画像のデータをサーバ装置に送信して、画像中に撮影されている被写体についての問い合せ要求を送信することで、サーバ装置において図鑑ＤＢに対する検索処理を実行させる。サーバ装置は、情報機器からの画像だけでは被写体を特定できなかった場合には、通信回線を通じて検索候補と共に、候補を絞り込むために必要な部位についての情報を送信することにより、ユーザに対して再度の画像撮影と画像データの送信を促すことができる。

さらに、上記実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組み合わせにより種々の発明が抽出され得る。例えば、実施の形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題の少なくとも１つが解決でき、発明の効果の欄で述べられている効果の少なくとも１つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

本発明の実施の形態における図鑑機能付きカメラ装置１の構成を示すブロック図。 本実施形態における図鑑ＤＢ３５に登録されている情報の一例を示す図。 本実施形態における図鑑機能付きカメラ装置１における図鑑検索機能を実行するための機能構成を示すブロック図。 本実施形態における図鑑機能付きカメラ装置１の動作について説明するためのフローチャート。 本実施形態における入力画像の一例を示す図。 本実施形態における入力画像に対する処理状況を説明するための図。 本実施形態における入力画像の一例を示す図。 本実施形態における入力画像に対する処理状況を説明するための図。

符号の説明

１…図鑑機能付きカメラ装置、１１…撮影レンズ、１０…モータ（Ｍ）、１２…ＣＣＤ、１３…タイミング発生器（ＴＧ）、１４…垂直ドライバ、１５…サンプルホールド回路（Ｓ／Ｈ）、１６…Ａ／Ｄ変換器、１７…カラープロセス回路、１８…ＤＭＡコントローラ、２０…ＤＲＡＭインタフェース（Ｉ／Ｆ）、２１…ＤＲＡＭ、２５…制御部、２６…ＶＲＡＭコントローラ、２７…ＶＲＡＭ、２８…デジタルビデオエンコーダ、２９…表示部、３０…画像処理部、３２…メモリカード、３３…内蔵メモリ、３４…データ解析部、３５…図鑑データベース（ＤＢ）、３６…キー入力部、４０…音声処理部、４１…ストロボ駆動部、４２…マイクロホン部（ＭＩＣ）、４３…スピーカ部（ＳＰ）、４５…ストロボ発光部、５０…画像撮影部、５１…第１特徴抽出部、５２…特徴検索部、５３…検索候補記憶部、５４…識別部位特定部、５５…特定部位指示部、５６…第２特徴抽出部、５７…対象物決定部、５８…対象物提示部、５９…特徴追加部、６０…一覧表示部、６１…入力部。

Claims (12)

1. 複数の対象物のそれぞれについて複数の部位についての特徴を表す情報を記憶する特徴記憶手段と、
   被写体を撮影して画像を入力する撮影手段と、
   前記撮影手段によって入力された画像から被写体の各部位の特徴を抽出する第１抽出手段と、
   前記第１抽出手段により抽出された各部位の特徴をもとに前記特徴記憶手段に記憶された情報を検索し、前記画像中の被写体に対応する対象物の候補を取得する検索手段と、
   前記検索手段によって複数の対象物が候補として取得された場合に、候補を絞り込むための部位を特定する部位特定手段と、
   前記部位特定手段によって特定された部位を指示する指示手段と、
   前記指示手段による指示に応じて前記撮影手段により画像が入力された場合に、同画像から部位の特徴を抽出する第２抽出手段と、
   前記第２抽出手段によって抽出された部位の特徴をもとに前記特徴記憶手段に記憶された情報を検索し、前記検索手段によって取得された複数の対象物の候補から特定の対象物を決定する対象物決定手段と、
   を具備したことを特徴とするカメラ装置。
2. 前記特徴記憶手段に情報が記憶された複数の対象物についての詳細情報を記憶する詳細情報記憶手段と、
   前記対象物決定手段によって決定された対象物についての詳細情報を前記詳細情報記憶手段から取得して提示する提示手段と
   を具備したことを特徴とする請求項１記載のカメラ装置。
3. 前記対象物決定手段によって１つの対象物の候補に決定できない場合に、前記部位特定手段は、候補を絞り込むための部位を特定し、前記指示手段は、特定された部位を指示することを特徴とする請求項１記載のカメラ装置。
4. 前記検索手段によって複数の対象物が候補として取得された場合に、前記複数の対象物の候補を一覧表示する一覧表示手段と、
   前記一覧表示手段によって一覧表示された対象物の候補の何れかを選択する指示を入力する入力手段と
   を具備し、
   前記提示手段は、前記入力手段により入力された指示に対応する対象物についての詳細情報を提示することを特徴とする請求項１記載のカメラ装置。
5. 前記第２抽出手段によって抽出された部位の特徴が、前記第１抽出手段によって抽出された部位の特徴と整合性があるかを判別する整合性判別手段を有し、
   前記整合性判別手段により整合性がないと判別された場合に、前記対象物決定手段により特定の対象物を決定しないことを特徴とする請求項１記載のカメラ装置。
6. 前記特徴記憶手段では、複数の対象物についての情報が前記対象物の種類毎に分類されており、
   前記特徴記憶手段において分類されている前記対象物の種類の指定を入力する種類指定入力手段を具備し、
   前記検索手段は、前記種類指定入力手段により入力された種類に該当する前記特徴記憶手段に記憶された情報を検索して対象物の候補を取得し、
   前記部位特定手段は、前記検索手段によって複数の対象物が候補として取得された場合に、前記種類指定入力手段により入力された種類に対応する部位を特定することを特徴とする請求項１記載のカメラ装置。
7. 前記撮影手段によって入力された画像から部位と同部位に対する特徴を抽出する部位特徴抽出手段と、
   前記部位特徴抽出手段によって抽出された部位と特徴とを前記特徴記憶手段に追加する追加手段とを具備し、
   前記部位特定手段は、前記追加手段により追加された部位を含めて候補を絞り込むための部位を特定することを特徴とする請求項１記載のカメラ装置。
8. 前記特徴記憶手段に記憶された情報には、前記対象物の動きの特徴を表す情報を含み、
   前記指示手段は、前記検索手段によって複数の対象物が候補として取得された場合に、前記対象物の動きの特徴を指示し、
   前記第２抽出手段は、前記撮影手段により入力された動画像から被写体の動きの特徴を抽出し、
   前記対象物決定手段は、前記第２抽出手段により抽出された動きの特徴をもとに、前記特徴記憶手段に記憶された前記対象物の動きの特徴を表す情報を検索することを特徴とする請求項１記載のカメラ装置。
9. 被写体に関連する音を入力する音入力手段を具備し、
   前記特徴記憶手段に記憶された情報には、前記対象物の音の特徴を表す情報を含み、
   前記指示手段は、前記検索手段によって複数の対象物が候補として取得された場合に、前記対象物の音の特徴を指示し、
   前記第２抽出手段は、前記音入力により入力された音から被写体の特徴を抽出し、
   前記対象物決定手段は、前記第２抽出手段により抽出された音の特徴をもとに、前記特徴記憶手段に記憶された前記対象物の音の特徴を表す情報を検索することを特徴とする請求項１記載のカメラ装置。
10. 複数の対象物のそれぞれについて複数の部位についての特徴を表す情報を記憶する特徴記憶手段と、
    通信回線を通じて他の情報機器から画像を受信する画像受信手段と、
    前記画像受信手段によって受信された画像から被写体の各部位の特徴を抽出する第１抽出手段と、
    前記第１抽出手段により抽出された各部位の特徴をもとに前記特徴記憶手段に記憶された情報を検索し、前記画像中の被写体に対応する対象物の候補を取得する検索手段と、
    前記検索手段によって複数の対象物が候補として取得された場合に、候補を絞り込むための部位を特定する部位特定手段と、
    前記部位特定手段によって特定された部位を前記通信回線を通じて前記情報機器に送信する部位送信手段と、
    前記部位送信手段による送信に応じて、前記画像受信手段により前記情報機器から画像が入力された場合に、同画像から部位の特徴を抽出する第２抽出手段と、
    前記第２抽出手段によって抽出された部位の特徴をもとに前記特徴記憶手段に記憶された情報を検索し、前記検索手段によって取得された複数の対象物の候補から特定の対象物を決定する対象物決定手段と、
    前記対象物決定手段によって決定された対象物を前記情報機器に通知する対象物通知手段と
    を具備したことを特徴とする情報処理装置。
11. 前記特徴記憶手段に情報が記憶された複数の対象物についての詳細情報を記憶する詳細情報記憶手段と、
    前記対象物決定手段によって決定された対象物についての詳細情報を前記詳細情報記憶手段から取得して前記情報機器に送信する詳細情報送信手段と
    を具備したことを特徴とする請求項１０記載の情報処理装置。
12. 被写体を撮影して画像を入力する第１撮影ステップと、
    前記第１撮影ステップによって入力された画像から被写体の各部位の特徴を抽出する第１抽出ステップと、
    前記第１抽出ステップにより抽出された各部位の特徴をもとに、複数の対象物のそれぞれについて複数の部位についての特徴を表す情報を記憶する特徴記憶手段に記憶された情報を検索し、前記画像中の被写体に対応する対象物の候補を取得する検索ステップと、
    前記検索ステップによって複数の対象物が候補として取得された場合に、候補を絞り込むための部位を特定する部位特定ステップと、
    前記部位特定ステップによって特定された部位を指示する指示ステップと、
    前記指示ステップによる指示に応じて、被写体を撮影して画像を入力する第２撮影ステップと、
    前記第２撮影ステップにより画像が入力された場合に、同画像から前記指示ステップによって指示した部位の特徴を抽出する第２抽出ステップと、
    前記第２抽出ステップによって抽出された部位の特徴をもとに、前記検索ステップによって取得された複数の対象物の候補から特定の対象物を決定する対象物決定ステップと、
    前記対象物決定ステップによって決定された対象物についての詳細情報を、前記特徴記憶手段に情報が記憶された複数の対象物についての詳細情報を記憶する詳細情報記憶手段から取得して提示する提示ステップとを具備したことを特徴とする被写体識別方法。

Images