JP5153478B2

JP5153478B2 - 画像処理装置及び画像処理方法

Info

Publication number: JP5153478B2
Application number: JP2008167893A
Authority: JP
Inventors: 崇大矢
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-06-26
Filing date: 2008-06-26
Publication date: 2013-02-27
Anticipated expiration: 2028-06-26
Also published as: US20090324007A1; US8363886B2; JP2010011076A

Description

本発明は、デジタルカメラ等により取得された画像データの処理に好適な画像処理装置及び画像処理方法等に関する。

映像中の被写体及び事象を解析し、メタデータを自動的に生成する技術が知られている。このような自動生成技術においては、ある映像から抽出されたメタデータを、抽出元の映像に対して付与するのが一般的である。例えばデジタルカメラの場合、撮影した１枚の静止画像から抽出したメタデータを当該画像のヘッダ部に記録する方式が一般的である。

特許文献１には、撮影画像中の人物を外部データベースと連動して認識し、画像にメタデータを付与するカメラが開示されている。また、特許文献２には、録画映像から文字情報を抽出してメタデータとして付与するカメラが開示されている。また、特許文献３には、撮影画像中に、予め登録された被写体人物が存在する場合には、関連情報を画像に重畳して表示する電子カメラが開示されている。

特開２００４−０６２８６８号公報特開２００５−０３９３５４号公報特開２００６−１６５８２２号公報

しかしながら、これらの従来の技術により付与されたメタデータのみでは、その後の活用が十分とはいえない。例えば、撮影画像の閲覧時に利用可能なメタデータが不足することもある。

本発明は、撮影された画像のデータに、より広範囲のメタデータを付与することができる画像処理装置及び画像処理方法等を提供することを目的とする。

本願発明者は、前記課題を解決すべく鋭意検討を重ねた結果、以下に示す発明の諸態様に想到した。

本発明に係る画像処理装置は、撮像手段における撮影確認用の画像のデータを取得する撮影確認用画像データ取得手段と、前記撮像手段において撮影された撮影画像のデータを取得する撮影画像データ取得手段と、前記撮影確認用の画像のデータ及び前記撮影画像のデータの解析を行う画像解析手段と、前記画像解析手段による解析の結果に基づいてメタデータを作成するメタデータ作成手段と、前記撮影画像のデータに前記メタデータを付与するメタデータ付与手段と、を有することを特徴とする。

本発明に係る画像処理方法は、撮像手段における撮影確認用の画像のデータを取得する撮影確認用画像データ取得ステップと、前記撮像手段において撮影された撮影画像のデータを取得する撮影画像データ取得ステップと、前記撮影確認用の画像のデータ及び前記撮影画像のデータの解析を行う画像解析ステップと、前記画像解析ステップにおける解析の結果に基づいてメタデータを作成するメタデータ作成ステップと、前記撮像手段において撮影された画像のデータに前記メタデータを付与するメタデータ付与ステップと、を有することを特徴とする。

本発明によれば、画像の撮影の前後の状況及び周囲の状況等を当該画像のデータにメタデータとして付与することができる。つまり、当該画像に含まれていないものに基づくメタデータをも付与することができる。例えば、撮影地点の周囲の看板にある文字情報、撮影前後にその場に同席した人物の情報等をメタデータとして付与することができる。このため、より広範囲のメタデータを付与することが可能となる。

以下、本発明の実施形態について添付の図面を参照して具体的に説明する。

（第１の実施形態）
先ず、第１の実施形態について説明する。第１の実施形態では、カメラが画像処理装置として機能する。図１は、本発明の第１の実施形態に係るカメラを示す図である。

第１の実施形態に係るカメラ（撮像装置）１００には、撮像系１０１、画像処理部１０２、撮影制御部１０３、ＣＰＵ１０５、ＲＯＭ１０６、ＲＡＭ１０７、及び位置姿勢検出部１０８が設けられている。つまり、撮像系１０１が画像処理装置に内蔵されている。ＲＯＭ１０６には、ＣＰＵ１０５が実行するプログラムが格納されている。このプログラムには、例えば、後述の静止画像データにメタデータを付与するためのプログラムが含まれている。また、カメラ１００には、外部記憶インタフェース（Ｉ／Ｆ）１１１が設けられており、この外部記憶Ｉ／Ｆ１１１に、メモリカード等の外部メモリ（記録媒体）１１２が装着される。また、カメラ１００には、操作デバイスインタフェース（Ｉ／Ｆ）１１３が設けられており、この操作デバイスＩ／Ｆ１１３に、ボタン及びスイッチ等の操作デバイス１１４が接続されている。操作デバイス１１４は、例えばユーザがカメラ１００の動作を制御する際に用いられる。また、カメラ１００には、表示デバイスインタフェース（Ｉ／Ｆ）１１５が設けられており、この表示デバイスＩ／Ｆ１１５に、液晶表示装置又は有機ＥＬ表示装置等の表示デバイス１１６が接続されている。更に、カメラ１００には、外部機器との通信を行う通信インタフェース（Ｉ／Ｆ）１１７が設けられている。通信Ｉ／Ｆ１１７としては、例えば、ＵＳＢ（Universal Serial Bus）インタフェース及びＬＡＮ（Local Area Network）インタフェースが挙げられるが、他のものが用いられてもよい。つまり、通信方式は特に限定されない。

また、このカメラ１００には、動作モードとして、静止画撮影モード、動画撮影モード、再生モード、ＰＣ制御モード等の複数の動作モードが設定されている。これらの動作モードの選択は、例えばユーザにより操作デバイス１１４を介して行われる。

撮像系１０１には、図示しないが、光学系及び撮像素子が設けられており、撮影制御部（焦点制御手段）１０３がこれらのフォーカス、ズーム、絞り、シャッタースピード及び感度等の制御を行う。そして、撮像系１０１から入力された被写体画像の画像データに対して、画像処理部１０２が、雑音除去処理、現像処理、符号化処理等を施す。このような画像処理後の画像データは、ＣＰＵ１０５の指示に基づいて、適宜、ファインダ画像データ又は静止画像データとして、ＲＡＭ１０７、外部メモリ１１２又はビデオメモリ（図示せず）等に保存される。なお、ファインダ画像データは撮影確認用の小画像（撮影確認用画像）のデータであるのに対し、静止画像データはレリーズ要求によって撮影された画像のデータである。ファインダ画像データの解像度は、例えばＱＶＧＡ（３２０×２００画素）程度である。

次に、上述の画像データにメタデータを付与するためのプログラムに基づくカメラ１００の動作について説明する。図２は、カメラ１００の動作（メタデータ付与の際の処理）を示すフローチャートである。

先ず、ＣＰＵ１０５は、ステップＳ５０１において、動作モードが静止画撮影モードに設定されているか否かの判別を行う。そして、静止画撮影モードに設定されていれば、ステップＳ５０２において、ＣＰＵ１０５は、撮影確認用画像データ取得手段として、ファインダ画像データを取得する。そして、ＣＰＵ１０５は、ファインダ画像データをＲＡＭ１０７又はビデオメモリに保存し、また、表示デバイス１１６に表示する。

次いで、ＣＰＵ１０５は、ステップＳ５０３において、取得したファインダ画像データが解析可能なものであるか否かの判別を行う。これは、手ぶれ又はぼけ等により画像の特徴量の抽出が不可能な場合があるからである。そして、解析可能なものであれば、ステップＳ５０４において、ＣＰＵ１０５は、画像解析手段として、ファインダ画像データの解析を行い、ファインダ画像の特徴量を抽出し、ＲＡＭ１０７に格納する。ここでの格納方式は、例えば構造体表現等のプログラム言語で表現される任意の形式である。画像の特徴量としては、例えば、図３に示すように、ファインダ画像３００内の人物検出３０１の特徴量、顔検出３０２の特徴量及び文字検出３０３の特徴量等が挙げられる。また、顔認識の特徴量、人物認識の特徴量、被写体物体の特徴量、シーンの特徴量等も挙げられる。

ステップＳ５０４の後、及びステップＳ５０３において解析不可能と判別した場合、ステップＳ５０５において、ＣＰＵ１０５は、メタデータが作成可能な状態か否かの判別を行う。本実施形態では、ＣＰＵ１０５は、静止画像が撮影された場合に、メタデータが作成可能な状態と判別し、ステップＳ５０７に進み、一方、静止画像が撮影されていない場合には、作成不可能な状態と判別し、ステップＳ５０２に戻る。ステップＳ５０２〜Ｓ５０５の処理は、例えば１フレーム毎に行われる。

なお、静止画像の撮影はカメラ１００の操作デバイス１１４に含まれるレリーズボタンの押下により行われる。ＣＰＵ１０５は、この操作をレリーズイベントとして検出し、このイベントを検出した場合には、ステップＳ５０９において、静止画像の撮影処理を行う。続いて、ステップＳ５１０において、ＣＰＵ１０５は、ステップＳ５０４における処理と同様にして、静止画像の特徴量を抽出し、ＲＡＭ１０７に格納する。このとき、静止画像は画像サイズが大きいため、適宜、これに適した処理を適用することが好ましい。

そして、上述のように、ＣＰＵ１０５は、静止画像が撮影された場合に、メタデータが作成可能な状態と判別し、静止画像が撮影されていない場合には、作成不可能な状態と判別するのである。

ステップＳ５０７において、ＣＰＵ１０５は、メタデータ作成手段として、ステップＳ５０４において抽出した特徴量に基づいてメタデータを作成し、ＲＡＭ１０７に格納する。つまり、メタデータとしては、例えば、顔検出情報、顔認識情報、人物認識情報、被写体物体情報、文字情報、及びシーン情報等が挙げられる。このとき、ステップＳ５１０において抽出した特徴量に基づくメタデータを併せて作成してもよい。なお、メタデータの種類は、これらに限定されない。

次いで、ステップＳ５０８において、ＣＰＵ１０５は、メタデータ付与手段として、ステップＳ５０７で作成したメタデータをステップＳ５０９〜Ｓ５１０を介して取得した静止画像データに付与し、この静止画像データを、例えば外部メモリ１１２に保存する。その後、ＣＰＵ１０５は、一連の処理でＲＡＭ１０７に格納したメタデータ等の情報を消去し、ステップＳ５０１に戻る。

ここで、メタデータの記述例について説明する。図４は、ＸＭＬ形式のメタデータの記述例を示す図である。図４に示す例には、静止画像の撮影の直前のファインダ画像データから作成されたメタデータの一覧が記述されている。

例えば、人物認識情報として＜ｐｅｒｓｏｎ＞タブを用いて、相対検出時刻、人物ＩＤ（人物弁別情報）、人物名、顔検出領域、顔サムネイル画像（人物顔画像情報）が記述されている。更に、人物の属性を示す人物属性情報が記述されてもよい。相対検出時刻とは、メタデータを抽出したファインダ画像データの撮影時刻を、静止画像の撮影時刻からの相対時間で表現した時刻である。人物ＩＤ及び人物名を求めるためには、一般的な顔画像の弁別処理により、予め登録した顔画像データベースとの照合を行えばよい。顔検出位置は静止画座標表現であるが、これはファインダ画像と撮影された静止画像との間でのずれが所定の範囲内（同一を含む）の視線方向であった場合に意味をもつ。ずれが所定の範囲内にあるか否かは、位置姿勢検出部１０８及び画像処理部１０２を用いて判断することができる。そして、ずれが所定の範囲内にある場合には、ＣＰＵ１０５は、ファインダ画像における座標情報を、撮影された静止画像の座標情報に変換してメタデータを作成する。また、顔サムネイル情報は顔画像をサムネイル画像として添付するものであり、＜ｆａｃｅ＿ｉｍａｇｅ＞タグとして表現される。サムネイル画像は対応するファインダ画像から切り出されて添付される。このようなサムネイル画像の例としては、顔に限定されることはなく、後述する文字情報が検出された場合、当該文字情報を含む物体領域を切り出して添付することも可能である。文字情報を含む物体の例としては、シール、ナンバープレート、看板やネオンサイン等が挙げられる。

他のメタデータとして、シーン情報が＜ｓｃｅｎｅ＞タグにより記述されるものがある。シーンの例としては、屋内、屋外、風景、海、山、及び街等の背景及び場所、春、夏、秋、及び冬等の季節、並びに入学式、卒業式、運動会、遠足、及び結婚式等のイベント情報がある。これらの情報の抽出には、公知の技術を採用すればよい。

更に他のメタデータとして、文字情報が＜ｔｅｘｔ＞タブによって記述されるものがある。ここでも顔情報と同様に、相対検出時刻が記述されている。文字情報は画像中に存在する文字を文字認識処理により抽出したものである。また、顔領域及び文字領域等の画像そのものをメタデータとして付与することも可能である。

なお、静止画像から作成するメタデータも同様な方法によって表現することができる。但し、静止画像から作成するメタデータの相対検出時刻は０になる。メタデータの表現形式としては、

また、メタデータの記述形式としては、上述のＸＭＬ形式の他に、画像のヘッダに添付するための形式がある。例えばＪＰＥＧ画像のヘッダに記述するＥｘｉｆ２．１が該当する。この場合、Ｅｘｉｆのフォーマットに基づいて記述を行うこととなる。また、ステップＳ５０８では、メタデータが静止画像データの画像ヘッダに付与される。

このような本実施形態によれば、図５に示すような処理が行われ、静止画像の撮影前のファインダ画像データから作成されたメタデータが付与された静止画像データが得られる。図５は、カメラ１００において取得する画像を時間軸上に並べて示す図である。上述のように、本実施形態では、静止画像２１０の撮影前であっても、静止画撮影モードに設定されていれば、ＣＰＵ１０５は、ステップＳ５０２〜Ｓ５０５の処理により、１フレーム毎にファインダ画像データｆ₁、・・・、ｆ_mを順次取得する。この間、新たなファインダ画像データを取得する度に、ＣＰＵ１０５は、その前に取得しているファインダ画像データを上書き消去する。また、ＣＰＵ１０５は、上書き消去の前に特徴量の抽出を行っている（ステップＳ５０４）。なお、ファインダ画像及び静止画像の撮影範囲は互いに同一であるが、上述のように、ファインダ画像は静止画像と比較して解像度が低い。また、ファインダ画像及び静止画像の取得を同時に行うことはできない。但し、このようなファインダ画像であっても、ＱＶＧＡ（３２０×２００画素）程度の解像度があれば、手ぶれ及びぼけ等の事情がなければ、画像解析によって顔の検出及び弁別等が可能である。また、撮影された文字の認識も可能である。

そして、静止画像２１０の撮影が行われると、ステップＳ５０５〜Ｓ５０８の処理により、ＣＰＵ１０５が静止画像２１０のデータに、ファインダ画像データｆ₁〜ｆ_mから抽出して作成したメタデータを付与する。このとき、ＣＰＵ１０５は、静止画像２１０から抽出された特徴量（ステップＳ５１０）からもメタデータを作成し、これをファインダ画像データｆ₁〜ｆ_mから作成したメタデータとマージして、静止画像２１０のデータのヘッダに付与する。この際、ＣＰＵ１０５は、基本情報として、撮影日時、撮影パラメータ、位置姿勢検出部１０８から得た画像の向き情報等も同時に付与する。そして、ＣＰＵ１０５は、このデータを、例えば外部メモリ１１２に保存する。なお、ＪＰＥＧ画像のヘッダにメタデータを付与するフォーマットは例えばＥｘｉｆ２．１に定義されているが、本発明ではメタデータのフォーマットは特定のものに限定されない。

このようにして静止画像データに付与されたメタデータは、例えば、画像ブラウザにおいて、表示及び検索等に利用される。例えばネットワーク家電向けの標準規格である、ＤＬＮＡ（Digital Living Network Alliance）で利用される通信規格の一つにＵＰｎＰ（Universal Plug and Play）のＣＤＳ（Content Directory Service）がある。ＣＤＳ機能をカメラが持つことによって、ブラウザはネットワーク経由で様々な検索を行うことが可能である。また、撮影の際にこの機能を利用することによって、被写体以外に撮影静止画像に添付したい周囲の状況及び被写体情報をメタデータとして意図的に作成することができる。

このように、本実施形態によれば、静止画像の撮影前のファインダ画像データからメタデータを作成して静止画像データに付与しているので、静止画像に対して関連性の高いメタデータを得ることができる。つまり、撮影された静止画像に含まれていないものに基づくメタデータをも付与することができる。例えば、撮影地点の周囲の看板にある文字情報、撮影前後にその場に同席した人物の情報等をメタデータとして付与することができる。このため、より広範囲のメタデータを付与することが可能となる。この結果、その静止画像の閲覧の際に、多様な表示及び検索等を行うことも可能となり、閲覧の際の利便性を向上させることができる。

また、ステップＳ５０３において、手ぶれ又はぼけ等のために解析可能なものでないと判別したファインダ画像データについては特徴量の抽出を省略することとしているため、ＣＰＵ１０５の負荷を低減して、処理を効率化することができる。なお、ぼけの有無は撮影制御部１０３が制御を行うＡＦ処理の状態から判別できる。また、手ぶれの有無は、振動検出手段として撮像系１０１の振動を検出する位置姿勢検出部１０８の検出結果から判別できる。更に、位置姿勢検出部１０８からは、位置情報を検出することも可能である。従って、ファインダ表示中も常に位置検出を行い、静止画像における撮影地点と一定以上離れた地点で撮影されたファインダ画像データから抽出した特徴量については、メタデータの作成に用いないようにしてもよい。また、当該特徴量からメタデータを作成しても、当該メタデータを静止画像データに付与しないようにしてもよい。このような処理を行うことにより、ファインダ画像が不良な場合には画像解析処理を省略して、効率的にメタデータを作成することができる。

また、複数のファインダ画像データの特徴量を用いてメタデータを作成した場合、同一又は類似のメタデータが作成される可能性が高い。従って、メタデータの作成に一定の基準を設けて、メタデータの情報量（例えば個数）を制限することが好ましい。例えば、文字情報等の同一性の検証が容易である特徴量については、同一のメタデータを消去してもよい。また、顔検出及び顔弁別等については、信頼度を導出し、信頼度が所定の基準値よりも高い特徴量を用いて作成したメタデータを除いて削除するようにしてもよい。信頼度は顔らしさを表すものであり、多くの顔検出処理において取得可能なパラメータである。また、単純に静止画像の撮影画像との時間間隔の短いファインダ画像データの特徴量を用いて作成したメタデータを除いて削除するようにしてもよい。これらの場合、ＣＰＵ１０５が、制限設定手段としてメタデータの情報量に制限を設定し、導出手段として文字情報、人物情報等の信頼度を抽出し、信頼度が高いものから順に制限を限度にしてメタデータを付与することとなる。このような処理を行うことにより、重複したメタデータを排除し、信頼度の高いもののみを採用して、効率的にメタデータを作成することができる。

（第２の実施形態）
次に、第２の実施形態について説明する。第２の実施形態では、静止画像の撮像前のファインダ画像データから作成したメタデータのみならず、静止画像の撮像後のファインダ画像データからもメタデータを作成し、これらを静止画像データに付与する。他の構成は第１の実施形態と同様である。以下、第１の実施形態と相違する点を中心にして説明する。

第２の実施形態では、ＣＰＵ１０５は、静止画像の撮影の前後に取得されたファインダ画像データからメタデータを作成する。このとき、ＣＰＵ１０５は、メタデータを作成する対象とするファインダ画像データを、次のような３つの規則のいずれかに従って特定する。これは、ある静止画像の撮影後のファインダ画像データは、その次に撮影される静止画像の撮影前のファインダ画像データにも該当するため、判断基準を設けておくことにより、どちらの静止画像にメタデータを付与することになるのか明確にするためである。

第１の判断基準は、２回の静止画像の撮影の間に取得されたファインダ画像から作成したメタデータを、両静止画像のメタデータとして採用し得るとするものである。つまり、これらのメタデータは、２つの静止画像データに付与される。

第２の判断基準は、静止画像の撮影時刻の前後の所定の時間内（例えばΔｔ秒間内）に取得されたファインダ画像から作成したメタデータを、当該静止画像のメタデータとして採用するというものである。

第３の判断基準では、先の静止画像の撮影時刻をｔ１、後の静止画像の撮影時刻をｔ２とし、更に、これらの間の時刻ｔ１＋Δｔｍを決めておく。そして、時刻ｔ１から時刻ｔ１＋Δｔｍまでに取得したファインダ画像から作成したメタデータを、先の静止画像のメタデータとして採用する。また、時刻ｔ１＋Δｔｍから時刻ｔ２＋Δｔｍまでに取得したファインダ画像から作成したメタデータを、後の静止画像のメタデータとして採用する。

そして、第１の実施形態と同様に、図２に示すフローチャートに沿った処理と同様の処理を行う。但し、ステップＳ５０７では、第１の実施形態では、静止画像の撮影が行われたか否かという観点で判別しているのに対し、上述の３種類の判断基準のいずれか一つを用いて、メタデータの作成が可能な状態となっているか否かという観点で判別を行う。

このような規則に則った処理の結果、図６に示すように、静止画像２１０のデータに、その撮影前のファインダ画像データｆ₁〜ｆ_mから作成した第１のメタデータのみならず、撮影後のファインダ画像データｆ_m+1〜ｆ_nから作成した第２のメタデータも付与されることとなる。

このような第２の実施形態によれば、静止画像の撮影前だけでなく、撮影後であっても、ユーザがメタデータとして付与したい対象にカメラを向けることによりメタデータを追加することができる。これにより、メタデータ付与作業における利便性をより一層向上することができる。

（第３の実施形態）
次に、第３の実施形態について説明する。第３の実施形態に係るカメラシステムでは、カメラの本体ではなく、カメラに接続されたカメラアダプタによりカメラを制御し、カメラアダプタがメタデータの付与処理を行う。つまり、第３の実施形態では、カメラアダプタが画像処理装置として機能する。図７は、本発明の第３の実施形態におけるカメラアダプタを示す図である。

第３の実施形態におけるカメラアダプタ２００には、カメラ１００と同様に、ＣＰＵ１０５、ＲＯＭ１０６、ＲＡＭ１０７、位置姿勢検出部１０８、外部記憶Ｉ／Ｆ１１１、操作デバイスＩ／Ｆ１１３及び表示デバイスＩ／Ｆ１１５が設けられている。また、通信Ｉ／Ｆ１１７も設けられている。なお、ＲＯＭ１０６には、ＣＰＵ１０５が実行するプログラムがされており、このプログラムには、例えば、静止画像データにメタデータを付与するためのプログラムが含まれている。カメラアダプタ２００は、例えばネットワーク通信機能を有する小型のコンピュータであり、主としてＵＳＢ等のシリアル接続を用いて外部のカメラ（撮像装置）１５０に接続される。カメラアダプタ２００に接続されたカメラ１５０は、例えばＰＣ連携モードで動作する。

なお、カメラ１５０には、図示しないが、カメラ１００と同様に、撮像系、画像処理部、撮影制御部、ＲＯＭ、ＲＡＭ及びＣＰＵ等が設けられている。

このように構成されたカメラシステムでは、カメラ１５０の制御はカメラアダプタ２００により行われる。つまり、主としてカメラアダプタ２００内のＣＰＵ１０５がＲＯＭ１０６に格納されたプログラムを実行することにより、カメラ１５０の動作が制御される。例えば、静止画撮影モードの開始・終了、カメラアダプタ２００への画像データの転送等の要求がカメラアダプタ２００からカメラ１５０に対してなされる。

次に、このようなカメラシステムの動作について説明する。図８は、第３の実施形態におけるカメラ１５０及びカメラアダプタ２００の動作を示すシーケンス図である。

先ず、ステップＳ７０１において、カメラ１５０が起動し、ステップＳ７０２において、カメラアダプタが起動する。

次いで、ステップＳ７０３において、カメラ１５０の動作モードが、外部からの制御が可能なモード、例えばＰＣ連携モードに設定される。

その後、ステップＳ７１０において、カメラアダプタ２００からカメラ１５０に対して通信要求を行う。ステップＳ７１１において、カメラ１５０がこれを承認すると、ステップＳ７１２において、通信が確立する。

続いて、ステップＳ７１３において、カメラアダプタ２００はカメラ１５０に対して撮影モード開始の要求を行う。すると、カメラ１５０は、ステップＳ７１４において、撮影モードを開始する。

次いで、カメラアダプタ２００は、ステップＳ７２０において、ファインダ画像の要求を行う。これに対し、カメラ１５０は、ファインダ画像データを取得し、ステップＳ７２１において、ファインダ画像データをカメラアダプタ２００に送信する。

その後、カメラアダプタ２００は、ステップＳ７２２において、ファインダ画像データから、メタデータ作成のための画像の特徴量の抽出を行い、ステップＳ７２３において、画像の特徴量をＲＡＭ１０７等に保存する。

続いて、カメラアダプタ２００は、ステップＳ７２４において、メタデータの作成可否の判別を行う。この判別では、第１及び第２の実施形態におけるステップＳ５０５の判別と同様に、どのタイミングでメタデータの作成、及び、静止画像データへの付与処理が可能か判別するためである。そして、作成不可と判別した場合は、ステップＳ７２０に戻って処理を続ける。一方、作成可能と判別した場合は、ステップＳ７２５において、カメラアダプタ２００は、メタデータの作成及び静止画像データへの付与を行う。そして、ステップＳ７２０に戻って処理を続ける。

本実施形態では、このような一連の処理をカメラアダプタ２００が行うので、カメラ１５０自体に高度な処理機能がない場合、例えば第１及び第２の実施形態のようなプログラムが備えられていない場合でも、有用なメタデータを作成して付与することができる。

また、静止画像の撮影は、ステップＳ７３０で画像撮影イベントが発生した場合に行われる。即ち、画像撮影要求イベントが発生すると、カメラアダプタ２００は、ステップＳ７３１において、カメラ１５０に対して画像撮影を要求する。これに対し、カメラ１５０は、ステップＳ７３２において、静止画像の撮影を行い、ステップＳ７３３において、当該静止画像の画像データをカメラアダプタ２００に送信する。

その後、カメラアダプタ２００は、ステップＳ７３４において、静止画像データに対して画像解析処理を行い、メタデータとして必要な情報を保存し、ステップＳ７２０に戻って処理を続ける。なお、図８のシーケンス図において終了処理は省略している。

第３の実施形態では、カメラ１５０とカメラアダプタ２００とが分離しているため、カメラアダプタ２００が所定の機能を備えていれば、カメラ１５０が高度な画像処理機能及び画像解析機能等を備えていない場合でも、有用なメタデータを付与することができる。また、複数のカメラ１５０に対して、同一のカメラアダプタ２００を用いることも可能である。更に、カメラアダプタ２００として可搬性のあるものを用いれば、持ち運びも容易である。

なお、本発明は静止画像の撮影に限定されることはなく、動画撮影が可能なデジタルカメラ及びデジタルビデオカメラ等の撮像装置に適用することも可能である。これらの場合、録画開始モードに設定する録画待機（録画停止）の状態となり、ファインダ画像が有効になる。そして、録画開始ボタンが押下されると、録画が開始される。このような動画撮影が可能な撮像装置に本発明を適用する際には、録画待機状態におけるファインダ画像を用いて上述の実施形態と同様の処理を行えばよい。この結果、ファインダ画像から作成したメタデータをその後に撮影した動画像に付与することが可能となる。

また、本発明の実施形態は、例えばコンピュータがプログラムを実行することによって実現することができる。また、プログラムをコンピュータに供給するための手段、例えばかかるプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体又はかかるプログラムを伝送するインターネット等の伝送媒体も本発明の実施形態として適用することができる。また、上記のプログラムも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体及びプログラムプロダクトは、本発明の範疇に含まれる。

本発明の第１の実施形態に係るカメラを示す図である。カメラ１００の動作（メタデータ付与の際の処理）を示すフローチャートである。画像の特徴量の例を示す図である。ＸＭＬ形式のメタデータの記述例を示す図である。第１の実施形態でカメラ１００において取得する画像を時間軸上に並べて示す図である。第２の実施形態でカメラ１００において取得する画像を時間軸上に並べて示す図である。本発明の第３の実施形態におけるカメラアダプタを示す図である。第３の実施形態におけるカメラ１５０及びカメラアダプタ２００の動作を示すシーケンス図である。

符号の説明

１００：カメラ
１０１：撮像系
１０２：画像処理部
１０３：撮影制御部
１０５：ＣＰＵ
１０６：ＲＯＭ
１０７：ＲＡＭ
１０８：位置姿勢検出部
１１１：外部記憶インタフェース（Ｉ／Ｆ）
１１２：外部メモリ（記録媒体）
１１３：操作デバイスインタフェース（Ｉ／Ｆ）
１１４：操作デバイス
１１５：表示デバイスインタフェース（Ｉ／Ｆ）
１１６：小型ディスプレイ
１１７：通信インタフェース（Ｉ／Ｆ）
１５０：カメラ
２００：カメラアダプタ

Claims

撮像手段における撮影確認用の画像のデータを取得する撮影確認用画像データ取得手段と、
前記撮像手段において撮影された撮影画像のデータを取得する撮影画像データ取得手段と、
前記撮影確認用の画像のデータ及び前記撮影画像のデータの解析を行う画像解析手段と、
前記画像解析手段による解析の結果に基づいてメタデータを作成するメタデータ作成手段と、
前記撮影画像のデータに前記メタデータを付与するメタデータ付与手段と、
を有することを特徴とする画像処理装置。
前記撮像手段を内蔵していることを特徴とする請求項１に記載の画像処理装置。
前記撮像手段を備えた撮像装置と通信する通信手段を有することを特徴とする請求項１に記載の画像処理装置。
前記メタデータ作成手段は、前記撮像手段における撮影の少なくとも前又は後の時刻において前記撮影確認用画像データ取得手段により取得されたデータについての前記画像解析手段による解析の結果に基づいて、前記メタデータを作成することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
前記メタデータ作成手段は、前記撮像手段における撮影の時刻から所定の時間内に前記撮影確認用画像データ取得手段により取得されたデータについての前記画像解析手段による解析の結果に基づいて、前記メタデータを作成することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
前記撮像手段の振動を検出する振動検出手段を有し、
前記画像解析手段は、前記振動検出手段が前記撮像手段の振動を検出した場合には、前記解析を省略することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
前記メタデータ付与手段は、
前記メタデータの情報量に制限を設ける制限設定手段と、
前記画像解析手段による解析の結果の信頼度を導出する導出手段と、
を有し、
前記信頼度が高いものから順に、前記制限を限度に前記メタデータの付与を行うことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
前記メタデータ作成手段は、前記メタデータとして、前記画像に含まれる背景に関するデータを作成することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
前記メタデータ作成手段は、前記メタデータとして、前記画像に含まれる文字に関するデータを作成することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
前記メタデータ作成手段は、前記メタデータとして、前記画像に含まれる人物に関するデータを作成することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
前記メタデータ作成手段は、前記人物に関するデータとして、人物弁別情報、人物顔画像情報及び人物属性情報を含む群から選択された少なくとも１つの情報を作成することを特徴とする請求項１０に記載の画像処理装置。
前記メタデータ作成手段は、前記撮影確認用画像データ取得手段が前記画像のデータを取得した時と前記撮像手段における撮影の時との間での前記撮像手段の位置及び姿勢のずれが所定の範囲内にある場合、前記撮影確認用の画像における座標情報を、前記撮像手段において撮影された画像における座標情報に変換して、前記メタデータを作成することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
撮像手段における撮影確認用の画像のデータを取得する撮影確認用画像データ取得ステップと、
前記撮像手段において撮影された撮影画像のデータを取得する撮影画像データ取得ステップと、
前記撮影確認用の画像のデータ及び前記撮影画像のデータの解析を行う画像解析ステップと、
前記画像解析ステップにおける解析の結果に基づいてメタデータを作成するメタデータ作成ステップと、
前記撮像手段において撮影された画像のデータに前記メタデータを付与するメタデータ付与ステップと、
を有することを特徴とする画像処理方法。
コンピュータに、
撮像手段における撮影確認用の画像のデータを取得する撮影確認用画像データ取得ステップと、
前記撮像手段において撮影された撮影画像のデータを取得する撮影画像データ取得ステップと、
前記撮影確認用の画像のデータ及び前記撮影画像のデータの解析を行う画像解析ステップと、
前記画像解析ステップにおける解析の結果に基づいてメタデータを作成するメタデータ作成ステップと、
前記撮像手段において撮影された画像のデータに前記メタデータを付与するメタデータ付与ステップと、
を実行させることを特徴とするプログラム。