JPWO2006016461A1 - 撮像装置 - Google Patents

Abstract

複数のキーワードと、キーワードごとに、そのキーワードに対応する被写体を検出する検出方法とを予め記憶する記憶部と、被写界を繰り返し撮像して、複数フレームの画像から構成される動画像を生成する撮像部と、撮像部による撮像と並行して、撮像により得られた動画像のうち、複数フレームの画像に対して、キーワードごとの検出方法に基づいて被写体の検出を行う検出部と、検出部による検出結果に応じて、検出された被写体に対応するキーワードと、そのキーワードに対応する被写体が被写界に存在した時間を示す情報とを含む画像情報を作成する画像情報作成部と、撮像部により生成された動画像と、画像情報作成部により作成された画像情報とを関連づけて記録する画像記録部とを備えることで、動画撮影の際に、迅速かつ手軽にメタデータを作成可能な撮像装置を提供する。

Description

本発明は、複数の画像から構成された動画撮影機能を有する撮像装置に関する。

近年、記録媒体の記録容量が増大し、一般家庭においてもディジタル化された動画像を扱う環境が整ってきている。動画像の中から所望のシーンを探すために、動画像を構成する画像ごとにキーワードを付与し、このキーワードを基に所望のシーンを検索して表示する技術が知られている（例えば、特許文献１，特許文献２参照）。
特許文献１に記載の発明では、ユーザ操作に基づいて、動画像の各シーンに少なくとも１つのキーワードを生成して付与し、動画像とともに記憶装置に記憶する動画像処理装置が開示されている。

また、特許文献２に記載の発明では、ユーザ操作に基づいて、ある被写体が存在する画像を１枚指定すると、動画像中の同一の被写体が現れている部分区間を探し出して共通のキーワードおよび関連情報を自動的に付与する技術が開示されている。
特開平６−３０９３８１号公報 特開平５−２０４９９０号公報

しかしながら、特許文献１に開示された動画処理装置においては、ユーザは、動画像を再生させた上で、画像１枚ずつに対して逐一キーワードを入力しなければならない。したがって、特に長時間にわたる動画像の場合には、キーワードの入力に多大の時間を要するという問題があった。
また、特許文献２に開示された技術においては、ユーザは、被写体が存在する画像を１枚指定すれば良いが、この１枚の画像は、一連の動画像の中の１枚である。したがって、ユーザは、この１枚の画像を指定するために、動画像を再生させた上で、所望の部分が再生されるまで待たなければならないという問題があった。また、指定する画像は１枚であっても、複数種類のキーワードを付与するためには、各キーワードごとに被写体が存在する画像を１枚指定しなければならないので、付与するキーワードの種類数に比例して、さらに多大な時間を要する。

さらに、撮像装置にこれらの動画像処理装置を適用する場合には、撮像により生成された動画像を再生させ、前述したキーワードの指定などを行うことになる。したがって、このような動作を行っている間は、撮影を行うことができない。さらに、撮像装置が備える表示装置（液晶モニタなど）は、サイズが小さく、細部にわたる画像の確認が困難である場合もある。

本発明は、動画撮影の際に、迅速かつ手軽にメタデータを作成可能な撮像装置を提供することを目的とする。

本発明の撮像装置は、複数のキーワードと、前記キーワードごとに、そのキーワードに対応する被写体を検出する検出方法とを予め記憶する記憶部と、被写界を繰り返し撮像して、複数フレームの画像から構成される動画像を生成する撮像部と、前記撮像部による撮像と並行して、撮像により得られた前記動画像のうち、複数フレームの画像に対して、前記キーワードごとの前記検出方法に基づいて前記被写体の検出を行う検出部と、前記検出部による検出結果に応じて、検出された前記被写体に対応する前記キーワードと、そのキーワードに対応する前記被写体が前記被写界に存在した時間を示す情報とを含む画像情報を作成する画像情報作成部と、前記撮像部により生成された前記動画像と、前記画像情報作成部により作成された前記画像情報とを関連づけて記録する画像記録部とを備える。

なお、好ましくは、前記画像情報作成部は、前記時間を示す情報として、前記検出部により検出された前記被写体ごとに、その被写体が前記被写界に存在した時間の開始時刻と終了時刻とを含む情報を作成するようにしても良い。
また、好ましくは、前記画像情報作成部は、前記画像情報として、前記検出部により前記被写体の検出を行った前記複数フレームの画像のそれぞれについて、そのフレームの画像において前記検出部により検出された前記被写体に対応する前記キーワードを含む情報を作成するようにしても良い。

また、好ましくは、前記撮像部は、撮像により得られた画像を一時記録する一時記録部を備え、前記検出部は、前記一時記録部に対する画像の書き込みに並行して、前記被写体の検出、および前記画像情報の生成を行うようにしても良い。
また、好ましくは、前記記憶部に予め記憶された前記複数のキーワードのうち、前記検出部による検出の対象となる前記キーワードを指定するキーワード指定部を備え、前記検出部は、前記キーワード指定部により指定された前記キーワードについてのみ、前記キーワードごとの前記検出方法に基づいて前記被写体の検出を行うようにしても良い。

また、好ましくは、予め定められた複数種類の撮影シーンごとに撮影条件を対応付けて記録する撮影シーン記録部と、前記複数種類の撮影シーンのうち、１つの撮影シーンを選択する選択部とをさらに備え、前記撮像部は、前記選択部により選択された前記１つの撮影シーンに対応付けられた前記撮影条件にしたがって前記動画像を生成し、前記キーワード指定部は、前記選択部により選択された前記１つの撮影シーンに基づいて、前記検出部による検出の対象となる前記キーワードを指定するようにしても良い。

また、好ましくは、前記画像情報作成部により作成された前記画像情報に基づいて、前記キーワード指定部により指定された前記キーワードごとの動画像を生成するキーワード別動画像生成部を備え、前記画像記録部は、前記撮像部により生成された前記動画像に加えて、前記キーワード別動画像生成部により生成された前記キーワードごとの動画像を記録するようにしても良い。

また、好ましくは、前記記録部は、前記撮像部により生成された前記複数フレームの画像のうち、前記キーワード指定部により指定された前記キーワードに対応する前記被写体が前記検出部により検出されたフレームの画像を除いた動画像と、前記画像情報とを関連づけて記録するようにしても良い。
また、好ましくは、前記記憶部に、前記キーワードと、そのキーワードに対応する前記被写体を検出する検出方法とを新規登録する登録モードを有し、前記登録モードにおいて、新規登録するキーワードを入力するキーワード入力部と、前記キーワード入力部により入力された前記キーワードに対応する被写体を、前記撮像部により得られた画像に基づいて指定する指定部と、前記指定部により指定された前記被写体の特徴量を抽出し、その特徴量に基づいて前記被写体を検出する検出方法を設定する設定部と、前記キーワード入力部により入力された前記キーワードと、前記設定部により設定された前記検出方法とを前記記憶部に記憶させる制御部とを備えるようにしても良い。

本発明によれば、動画撮影の際に、迅速かつ手軽にメタデータを作成可能な撮像装置を提供することができる。

電子カメラ１の機能ブロック図である。 画像認識に関するフローチャートである。 メタデータの作成に関するフローチャートである。 メタデータの例について説明する図である。 メタデータの例について説明する図である。 メタデータの例について説明する図である。 メタデータの例について説明する図である。

＜第１実施形態＞
以下、図面に基づいて、本発明の第１実施形態について詳細に説明する。
なお、第１実施形態では、本発明の撮像装置の一例として、動画撮影機能を有する電子カメラを例に挙げて説明を行う。
図１は電子カメラ１の機能ブロック図である。

電子カメラ１は、図１に示すようにズームレンズである撮影光学系２、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの光電変換素子である撮像素子３、Ａ／Ｄ変換部（回路）４、画像判定部（回路）５、一時記録部（回路）６、画像処理部（回路）７、圧縮部（回路）８、画像記録部９、ＡＥ・ＡＦ判定部（回路）１０、ＡＥ・ＡＦユニット１１、画像認識部（回路）１２、メタデータ作成部（回路）１３を備えるとともに、各部を制御する制御部１４を備える。

制御部１４は、ユーザにより動画像の撮影が指示されると撮影光学系２を介して被写体像を撮像素子３に結像する。撮像素子３は、撮像面上に結像された被写体像を光電変換して、アナログデータを出力する。Ａ／Ｄ変換部４は、撮像素子３より出力されるアナログデータをディジタルデータに変換して、画像判定部５に出力するとともに、一時記録部６に一時記録する。画像判定部５は、入力された画像データの明るさ情報やコントラスト情報などに基づき、露出状態や焦点調節状態を判定する。一時記録部６は、バッファメモリであり、Ａ／Ｄ変換部により入力されたデータを後述する画像処理部７、画像認識部１２および制御部１４に出力する。画像処理部７は、γ処理や、後述する画像処理を行い、圧縮部８に画像処理後の画像データを出力する。圧縮部８は、画像処理後の画像データに対して所定の圧縮処理を行い、画像記録部９は圧縮後の画像データを記録する。なお、ＡＥ・ＡＦ判定部１０は、画像判定部５において判定された露出状態や焦点調節状態に基づいて、露出制御値や焦点調節制御値を決定し、ＡＥ・ＡＦユニット１１に供給するとともに、必要に応じて、被写体までの距離情報や撮影画面内の輝度情報などを画像認識部１２に出力する。ＡＥ・ＡＦユニット１１は、露出制御値や焦点調節制御値に基づいて、撮影光学系２や撮像素子３を制御する。

また、画像認識部１２は、画像処理部７における画像処理の条件を決定して、画像処理部７に供給する。画像処理部７は、画像認識部１２の出力（例えば、撮影画面中の「青空」の領域を特定する条件（例えば、青空と見なせる色相範囲、輝度範囲、撮影画面内の青色領域の位置等））に基づいて、特定被写体（例えば「青空」）の領域を特定し、特定された領域について、より適切な色となるように（例えば、青空らしい色となるように）、必要に応じて画像処理（色変換）を施す。

また、画像認識部１２は、複数のキーワードごとに、そのキーワードに対応する被写体を検出する検出方法を、予め記憶しており、必要に応じて、前述したＡＥ・ＡＦ判定部１０から取得した被写体までの距離情報や撮影画面内の輝度情報などを加味して、画像データの特徴量に基づいた画像認識を行う。また、メタデータ作成部１３は、画像認識部１２が記憶しているものと同様の複数のキーワードを予め記憶している。そして、画像認識部１２による認識結果に応じて、本発明の特徴であるメタデータの作成を行い、作成したメタデータを画像記録部９に供給する。

また、電子カメラ１は、各部を制御する制御部１４を備える。制御部１４は、内部の不図示のメモリに各動作プログラムを予め記録し、この動作プログラムにしたがって各部を制御する。また、制御部１４は、後述する表示部１５に対する画像データの出力を行うとともに、後述する操作部材１６の状態を検知する。なお、図１においては、本発明の特徴部分についてのみ、制御部１４と各部の接続を示す矢印を図示した。

また、電子カメラ１は、撮影中の画像の表示や後述するユーザ操作時のメニュー表示などを表示する表示部１５、ユーザ操作を受け付けるボタンなどの操作部材１６を備える。
なお、電子カメラ１は、動画像撮影機能を有する撮像装置であり、ユーザ操作に応じて、複数の画像から構成される動画像を生成する。
以上説明した構成の電子カメラ１において、本発明の特徴である動画像撮影時の動作について説明する。

ユーザにより操作部１６を介して動画像の撮影が指示されると制御部１４はこれを検知し、撮影光学系２、撮像素子３を制御して動画像の撮影を開始する。動画像の撮影は、所定の時間間隔で繰り返し撮像を行うことにより実現する。そして、制御部１４は、撮像と並行して、撮像により得られた画像に対して、画像認識部１２において画像認識を行う。具体的には、制御部１４は、画像認識部１２を介して、Ａ／Ｄ変換部４から一時記録部６への画像の書き込みと並行して、１フレーム前（またはさらに前）の画像に対する画像認識を行う。さらに、画像認識結果に応じて、メタデータ作成部１３において、メタデータの作成を行う。

まず、画像認識について、図２のフローチャートを用いて説明する。なお、ここでは、画像認識部１２は、複数のキーワードとして「人」および「青空」を記憶し、キーワードに対応する被写体を検出する検出方法（具体的には、「顔部分」および「青空部分」を認識する方法）をそれぞれ記憶していて、かつ、メタデータ作成部１３は、複数のキーワードとして「人」および「青空」を記憶している例を説明する。

ステップＳ１において、制御部１４は、画像認識部１２を介して、顔部分を認識したか否かを判定する。なお、画像認識部１２は、前述した画像処理部７における画像処理の条件の決定の際に得た情報に基づいて顔部分の認識を行う。
画像認識部１２は、顔部分を認識するために、肌色として認識できる色相範囲を設定して、認識を行う。この際、同じ肌色として認識される領域でも、顔、手、足であることが考えられる。したがって、顔部分を認識する場合には、肌色領域の輪郭や隣接領域に髪の毛の色が存在する領域を顔部分と判断するなどの手法によって、手や足の肌色領域を除外することができる。また、この際ＡＥ・ＡＦ判定部１０から入力される撮影距離情報をもとに、顔と見なせる肌色領域の大きさの下限値や上限値を設定するようにしても良い。

顔部分を認識した場合、ステップＳ２において、制御部１４は、画像認識部１２を介して、「人」を被写体として認識し、認識した被写体に対応するキーワード（「人」）をメタデータ作成部１３に出力する。
ステップＳ１において、顔部分を認識しなかった場合、もしくは、認識した被写体に対応するキーワード（「人」）をメタデータ作成部１３に出力すると、ステップＳ３において制御部１４は、画像認識部１２を介して、青空部分を認識したか否かを判定する。なお、画像認識部１２は、前述した画像処理部７における画像処理の条件の決定の際に得た情報に基づいて青色部分の認識を行う。

さらに、画像認識部１２は、青色部分を認識し、その青色部分が画像上部に存在するか否かを判定する。
画像認識部１２は、予め定められた色相範囲に基づいて認識した青色部分に対して、画像の垂直方向における微分処理を行い、画像の水平方向にエッジが存在する場合には、このエッジより上方の領域を青空の領域と判定する。このような処理を行うことで、青空と海とを被写体とする画像に対しても、水平線を抽出することが可能であり、結果として青空の領域を正確に把握することができる。そして、画像認識部１２は、青空の領域を示す情報を画像処理条件として画像処理部７に出力する。

青空部分を認識した場合、ステップＳ４において、制御部１４は、画像認識部１２を介して、「青空」を被写体として認識し、認識した被写体に対応するキーワード（「青空」）をメタデータ作成部１３に出力する。そして、制御部１４は、画像認識部１２を介した画像認識処理を終了する。
次に、メタデータの作成について、図３のフローチャートを用いて説明する。なお、メタデータとは、「データに関するデータ」のことであり、被写体に対応するキーワードと、そのキーワードに対応する被写体が被写界に存在した時間を示す情報とを含む画像情報である。

まず、ステップＳ１０において、制御部１４は、メタデータ作成部１３を介して、画像認識部１２から出力されたキーワードがあるか否かを判定する。そして、キーワードがある場合、ステップＳ１１において、制御部１４は、メタデータ作成部１３を介して、そのキーワードに対応する被写体が、時間的に１つ前の画像でも認識された被写体であるか否かを判定する。キーワードに対応する被写体が、１つ前の画像でも認識された被写体でない場合（１つ前の画像では認識されず、今回の画像で認識された被写体である場合）、ステップＳ１２において、制御部１４は、メタデータ作成部１３を介して、被写体に対応するキーワードを読み出し、キーワードのデータに、開始時刻を示す情報を付与する。なお、制御部１４は、ステップＳ１１およびステップＳ１２の処理を、画像認識部１２において認識されたすべての被写体に対して行う。

そして、ステップＳ１３において、制御部１４は、メタデータ作成部１３を介して、消失した被写体があるか否かを判定する。すなわち、時間的に１つ前の画像では認識され、今回の画像では認識されなかった被写体が存在する場合、ステップＳ１４において、制御部１４は、メタデータ作成部１３を介して、消失した被写体に対応するキーワードのデータに、終了時刻を示す情報を付与する。なお、メタデータ作成部１３は、消失した被写体があるか否かの判定を、１つ前の画像について画像認識部１２が認識したすべての被写体に対して行う。そして、制御部１４は、作成したメタデータをメタデータ作成部１３から画像記録部９に出力して、メタデータの作成処理を終了する。

図４を用いて作成されるメタデータの例について説明する。図４では、画像認識部１２は、複数のキーワードとして「人」、「Ｘ人（人数）」および「ボール」を記憶し、キーワードに対応する被写体をする検出方法（具体的には、「顔部分」、「顔部分の数」、「円形部分」を認識する方法）をそれぞれ記憶していて、かつ、メタデータ作成部１３は、キーワードとして「人」、「Ｘ人（人数）」および「ボール」を記憶している場合の例を示す。

横軸は撮影時刻を示し、各画像と、その画像において認識された被写体に対応するキーワードを示す。
時間Ｔ０より撮影を開始し、時間Ｔ１において被写界内に１人現れたとする。ここで、画像認識部１２は「顔部分」を「１つ」認識し、メタデータ作成部１３は、「人」というキーワードと「１人」というキーワードを作成し、開始時刻をＴ１とする。

時間Ｔ２になったときにもう１人被写界内に現れ、同時にボールが現れたとする。ここで画像認識部１２は、「顔部分」を「２つ」と「円形部分」とを認識し、メタデータ作成部１３は、「人」、「２人」、「ボール」というキーワードを作成するとともに、「２人」および「ボール」については開始時刻をＴ２とし、「１人」というキーワードについては終了時刻をＴ２とする。

時間Ｔ３となったときにさらにもう１人被写界内に現れたとする。ここで画像認識部１２は、「顔部分」を「３つ」と「円形部分」とを認識し、メタデータ作成部１３は、「人」、「３人」、「ボール」というキーワードを作成するとともに、「３人」については開始時刻をＴ３とし、「２人」というキーワードについては終了時刻をＴ３とする。
時間Ｔ４となったときに１人が被写界内から消えたとする。ここで画像認識部１２は、「顔部分」を「２つ」と「円形部分」とを認識し、メタデータ作成部１３は、「人」、「２人」、「ボール」というキーワードを作成するとともに、「２人」については開始時刻をＴ４とし、「３人」というキーワードについては終了時刻をＴ４とする。

時間Ｔ５となったときにボールと２人が被写界内から消えたとする。ここで画像認識部１２は、「顔部分」を「１つ」認識し、メタデータ作成部１３は、「人」、「１人」というキーワードを作成するとともに、「１人」については開始時刻をＴ５とし、「２人」および「ボール」というキーワードについては終了時刻をＴ５とする。その後時間Ｔ６で撮影を終了したとする。

以上説明した処理により、メタデータ作成部１３は、図５に示すように、検出された被写体ごとに、その被写体が被写界に存在した時間の開始時刻と終了時刻とを含むメタデータを作成する。
上記したようにメタデータ作成部１３を介してメタデータの作成を終了すると、制御部１４は、メタデータ作成部１３から供給されたメタデータを圧縮部８から供給された画像と関連づけて、画像記録部９に記録する。

このように、電子カメラ１は、動画像の撮像と並行して、図２のフローチャートを用いて説明した画像認識および図３のフローチャートを用いて説明したメタデータの作成を行う。
以上説明したように、第１実施形態によれば、複数のキーワードと、キーワードごとに、そのキーワードに対応する被写体を検出する検出方法とを予め記憶しておき、動画像を生成する際に、撮像動作、および一時記録部６への書き込み動作と並行して、撮像により得られた動画像のうち、複数フレームの画像に対して、被写体の検出を行い、検出結果に応じて、キーワードと、そのキーワードに対応する被写体が被写界に存在した時間を示す情報とを含む画像情報を作成して動画像と関連づけて記録する。したがって、撮影後の動画像の再生およびユーザ操作に基づく指定などを必要としないで、動画撮影の際に、迅速かつ手軽にメタデータを作成することができる。すなわち、動画像の撮影終了と略同時にメタデータの作成が終了するので、動画像の再生の手間や、キーワード付与のための画像の転送などの手間をなくすことができる。

また、第１実施形態によれば、時間を示す情報として、検出された被写体ごとに、その被写体が被写界に存在した時間の開始時刻と終了時刻とを含む情報を作成する。したがって、あるキーワードに対応する被写体が被写界に存在した時間を分かり易く示すことができる。
また、第１実施形態によれば、撮像により得られた画像の一時記録部６に対する書き込みに並行して、被写体の検出を行う。したがって、処理時間の短縮が期待できる。

＜第２実施形態＞
以下、図面に基づいて、本発明の第２実施形態について詳細に説明する。
なお、第２実施形態では、本発明の撮像装置の一例として、第１実施形態と同様に、動画撮影機能を有する電子カメラを例に挙げて説明を行う。以下では、第１実施形態と異なる部分についてのみ説明を行う。

第２実施形態の電子カメラは、第１実施形態の電子カメラ１と同様の構成を有する。以下では、第１実施形態と同様の符号を用いて説明する。
第２実施形態では、画像認識部１２は、複数のキーワードとして「人物Ａ」、「人物Ｂ」、「人物Ｃ」および「ボール」を記憶し、キーワードに対応する被写体を検出する検出方法をそれぞれ記憶していて、かつ、メタデータ作成部１３は、複数のキーワードとして「人物Ａ」、「人物Ｂ」、「人物Ｃ」および「ボール」を記憶している例を説明する。なお、検出方法としては、「人物Ａ」については、顔輪郭が丸型、かつ、短径／長径＝０．８であり、髪色が肌色（スキンヘッド）で、目間隔／短径＝０．６という特徴量を記憶する。また、「人物Ｂ」については、顔輪郭がベース型、かつ、短径／長径＝０．５であり、髪色が茶色で、目間隔／短径＝０．５という特徴量を記憶する。また、「人物Ｃ」については、顔輪郭が楕円、かつ、短径／長径＝０．６であり、髪色が黒色で、目間隔／短径＝０．５という特徴量を記憶する。また、「ボール」については、輪郭が円形であり、色が白と黒とを同時に含むという特徴量を記憶する。

そして、制御部１４は、図２で示したフローチャートと同様の処理を行って、「人物Ａ」、「人物Ｂ」、「人物Ｃ」および「ボール」を認識する。そして、図３で示したフローチャートの処理に代えて、各フレームの画像ごとにメタデータを作成する。例えば、図６に示すように、フレーム番号１〜７の画像についてメタデータを作成する場合、図７に示すように、フレームごとに、そのフレームの画像が撮影された時刻と、その画像において「人物Ａ」、「人物Ｂ」、「人物Ｃ」および「ボール」を認識した際の認識結果を示す情報（図６および図７では「○」および「×」）を含むメタデータを作成する。

そして、制御部１４は、圧縮部８から画像記録部９への画像の記録と独立に、メタデータ作成部１３から画像記録部９へのメタデータの記録を行う。メタデータの作成には、画像認識部１２による画像認識に時間を要するため、画像処理部７による画像処理および圧縮部８による圧縮処理に要する時間よりも時間を要する場合がある。そこで、制御部１４は、メタデータ作成部１３によるメタデータの作成終了を待たずに、圧縮部８から画像記録部９への画像の記録を開始し、メタデータの作成が終了すると、既に記録した（または記録中の）画像に関連づけてメタデータの記録を行う。なお、メタデータの作成および記録が終了した際には、表示部１５などを用いて、メタデータの作成および記録が終了したことをユーザに報知するようにすると良い。

以上説明したように、第２実施形態によれば、画像情報として、被写体の検出を行った複数フレームの画像のそれぞれについて、そのフレームの画像において検出された被写体に対応するキーワードを含む情報を作成する。したがって、あるキーワードに対応する被写体が被写界に存在した時間を分かり易く示すことができる。
なお、第１実施形態および第２実施形態では、動画像の圧縮形式について特に説明しなかったが、動画像はＭＰＥＧ、モーションＪＰＥＧ、ＪＰＥＧ２０００など、どのような形式で圧縮されるものであっても良い。勿論、高画質化のために非圧縮で記録するものであっても構わない。また、本発明の特徴である被写体の検出および画像情報の作成は、動画像を構成するすべての画像に対して行わなくても良い。例えば、ＭＰＥＧにおいて、基準画像であるＩピクチャのみに対して被写体の検出および画像情報の作成を行うようにしても良いし、適当な時間間隔で間引いて被写体の検出および画像情報の作成を行うようにしても良い。

また、第１実施形態および第２実施形態では、画像と画像情報とを関連づけて記録することを説明したが、画像と画像情報とが関連づけ付けられていれば、別ファイルとして記録しても同じファイルとして記録しても良い。すなわち、タグ情報、ヘッダ情報など、どのような形式であっても良い。
また、第１実施形態および第２実施形態で説明した被写体の検出方法以外に、他の要素を加えたり組み合わせたりするようにしても良い。例えば、被写体が人物の場合に、特徴量として肌の色の色度値、目の間隔と目と鼻（口）の間隔との比などを利用するようにしても良い。また、画像データとして、輪郭データなどを利用し、パターンマッチングを行う構成としても良い。

また、第１実施形態および第２実施形態において、電子カメラ１が、撮影条件が対応付けられたいわゆるシーンモードを備えている場合、選択された撮影シーンに応じてキーワードを指定しても良い。このように、撮影シーンに対応付けられた撮影条件に基づいて、キーワードを指定し、そのキーワードについてのみ、被写体の検出を行うことにより、例えば、「ポートレート」モードにて撮影している場合、キーワードとして「人」を指定し、「青空」を除外することで、被写界内に青空と認識してしまうような青い壁の部分が存在していても「青空」を誤認識してしまうのを回避することができる。また、たとえ実際に青空が写っていた場合でもユーザは、「人」の撮影を意図しているので、後の検索時に「人」を意図して撮影された画像が「青空」の検索で検索されることがなくなり、検索時の精度の向上も期待することができるとともに、各画像に対するメタデータの付与処理時間が短縮化される。

また、第１実施形態および第２実施形態では、予め定められた複数のキーワードのすべてについて、画像認識を行う例を示したが、キーワードを指定して各処理を行うようにしても良い。例えば、焦点調節の条件に応じてキーワードを指定する（例えば、電子カメラ１と合焦被写体との間の撮影距離が短い場合には、「人」をキーワードとして指定して、背景である「青空」、「山」などのキーワードは除外し、逆に撮影距離が長い場合には、「人」を除外して、「青空」、「山」などのキーワードを指定する）ようにしても良いし、操作部材１６を介して、ユーザが操作を行って、表示部１５上で直接キーワードを指定するようにしても良い。このように、複数のキーワードのうち、検出の対象となるキーワードを指定し、そのキーワードについてのみ、被写体の検出を行うことにより、予め必要のないキーワードにおける処理を制限することができる。そのため、誤認識により間違った（不用な）キーワードのメタデータが作成されるのを回避することができる。なお、キーワードを指定する際には、１つのキーワードを指定するだけでなく、複数のキーワードを指定可能な構成にするのが好ましい。複数のキーワードを指定する場合には、論理式を用いて指定可能にすると良い。例えば、以下の論理式により、「キーワードＡの被写体は存在せず、かつ、キーワードＢの被写体は存在する」という指定が可能である。

また、第１実施形態および第２実施形態において、動画像の撮影が終了した際または、画像記録部９に記録する際に、キーワードごとの動画像を生成して記録するようにしても良い。このように、作成した画像情報に基づいて、キーワード指定部により指定されたキーワードごとの動画像を生成して記録することにより、ユーザは、再生の際に、必要な部分の動画像のみを簡単に再生することができる。また、別に画像を生成しなくても、再生の際に、ユーザが指定されたキーワードをメタデータとして持っている画像のみを連続的に再生するようにしても良い。

また、第１実施形態および第２実施形態において、動画像の撮影が終了した際または、画像記録部９に記録する際に、あるキーワードを除く動画像を生成して記録するようにしても良い。このように、作成した画像情報に基づいて、キーワード指定部により指定されたキーワードを除く動画像を生成して記録することにより、ユーザは、あるキーワードに対応する被写体を除外した動画像を得ることができる。

また、第１実施形態および第２実施形態で例を挙げたキーワード以外にどのようなキーワードを備えるようにしても良い。ここで、キーワードに対応する被写体の検出に、画質調整や画像処理などに使用している情報を流用することにより、負荷をかけずに様々なキーワードを備えることができる。
また、第１実施形態および第２実施形態において、動画像の撮影中に、表示部１５にスルー画像を表示するとともに、既に撮像された画像のうち、指定されたキーワードに対応する被写体を含むフレームの画像を縮小して、スルー画像と同時に表示部１５に一覧表示するようにしても良い。例えば、図６のフレーム４〜フレーム６に示すように、「人物Ｂ」が連続して検出された場合には、フレーム４〜フレーム６からなるシーンの画像のうち、シーンの代表画像を高周波成分などに基づいて決定するようにしても良いし、シーンの最初または最後のフレームの画像を代表画像としても良い。また、一覧表示する代わりにシーンを構成する画像を重ね合わせて表示するようにしても良い。このような代表画像とすれば、１つの画像によりシーン全体の画像について把握することができる。

また、画像記録部９に記録した動画像の再生時にも、上述した動画像の撮影中と同様の表示を行うようにしても良い。また、画像記録部９に記録した動画像に対して、復号化処理を施して、被写体の検出および画像情報の作成を行うようにしても良い。
また、第１実施形態および第２実施形態において、キーワードと、そのキーワードに対応する被写体を検出する検出方法とを新規登録する登録モードを備えるようにしても良い。すなわち、登録モードにおいて、操作部材１６などを介して新規登録するキーワードを入力し、そのキーワードに対応する被写体を指定する。被写体の指定は、撮像により既に得られた画像に基づいて行うようにしても良いし、検出方法（特徴量）を具体的に指定するようにしても良い。なお、撮像により既に得られた画像に基づいて指定する場合には、画像から被写体の特徴量を抽出し、その特徴量に基づいて検出方法を決めるようにしても良いし、画像そのものを利用してパターンマッチングにより検出を行うようにしても良い。いずれの場合も、入力されたキーワードと、検出方法（または、パターンマッチング用の画像）とを画像認識部１２に記憶させることにより、以降の撮像時にキーワード検出の対象とすることができる。また、キーワードと被写体の検出方法とを持つ外部データベースから、通信・記録媒体を介して入力するようにしても良い。

また、第１実施形態および第２実施形態において、撮像装置が行った動作を、コンピュータで実現するようにしても良い。すなわち、撮像装置によって生成された動画像をコンピュータに取り込み、取り込んだ画像に対して、第１実施形態および第２実施形態で説明した被写体の検出および画像情報の作成などの処理を行うようにしても良い。また、画像の取り込みを行いながら、被写体の検出および画像情報の作成を行うようにしても良い。

また、第１実施形態および第２実施形態で説明した発明を、適宜入れ替えまたは組み合わせて実行するようにしても良い。

Claims (9)

1. 複数のキーワードと、前記キーワードごとに、そのキーワードに対応する被写体を検出する検出方法とを予め記憶する記憶部と、
   被写界を繰り返し撮像して、複数フレームの画像から構成される動画像を生成する撮像部と、
   前記撮像部による撮像と並行して、撮像により得られた前記動画像のうち、複数フレームの画像に対して、前記キーワードごとの前記検出方法に基づいて前記被写体の検出を行う検出部と、
   前記検出部による検出結果に応じて、検出された前記被写体に対応する前記キーワードと、そのキーワードに対応する前記被写体が前記被写界に存在した時間を示す情報とを含む画像情報を作成する画像情報作成部と、
   前記撮像部により生成された前記動画像と、前記画像情報作成部により作成された前記画像情報とを関連づけて記録する画像記録部と
   を備えたことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記画像情報作成部は、前記時間を示す情報として、前記検出部により検出された前記被写体ごとに、その被写体が前記被写界に存在した時間の開始時刻と終了時刻とを含む情報を作成する
   ことを特徴とする撮像装置。
3. 請求項１に記載の撮像装置において、
   前記画像情報作成部は、前記画像情報として、前記検出部により前記被写体の検出を行った前記複数フレームの画像のそれぞれについて、そのフレームの画像において前記検出部により検出された前記被写体に対応する前記キーワードを含む情報を作成する
   ことを特徴とする撮像装置。
4. 請求項１に記載の撮像装置において、
   前記撮像部は、撮像により得られた画像を一時記録する一時記録部を備え、
   前記検出部は、前記一時記録部に対する画像の書き込みに並行して、前記被写体の検出、および前記画像情報の生成を行う
   ことを特徴とする撮像装置。
5. 請求項１に記載の撮像装置において、
   前記記憶部に予め記憶された前記複数のキーワードのうち、前記検出部による検出の対象となる前記キーワードを指定するキーワード指定部を備え、
   前記検出部は、前記キーワード指定部により指定された前記キーワードについてのみ、前記キーワードごとの前記検出方法に基づいて前記被写体の検出を行う
   ことを特徴とする撮像装置。
6. 請求項５に記載の撮像装置において、
   予め定められた複数種類の撮影シーンごとに撮影条件を対応付けて記録する撮影シーン記録部と、
   前記複数種類の撮影シーンのうち、１つの撮影シーンを選択する選択部とをさらに備え、
   前記撮像部は、前記選択部により選択された前記１つの撮影シーンに対応付けられた前記撮影条件にしたがって前記動画像を生成し、
   前記キーワード指定部は、前記選択部により選択された前記１つの撮影シーンに基づいて、前記検出部による検出の対象となる前記キーワードを指定する
   ことを特徴とする撮像装置。
7. 請求項５または請求項６に記載の撮像装置において、
   前記画像情報作成部により作成された前記画像情報に基づいて、前記キーワード指定部により指定された前記キーワードごとの動画像を生成するキーワード別動画像生成部を備え、
   前記画像記録部は、前記撮像部により生成された前記動画像に加えて、前記キーワード別動画像生成部により生成された前記キーワードごとの動画像を記録する
   ことを特徴とする撮像装置。
8. 請求項５または請求項６に記載の撮像装置において、
   前記記録部は、前記撮像部により生成された前記複数フレームの画像のうち、前記キーワード指定部により指定された前記キーワードに対応する前記被写体が前記検出部により検出されたフレームの画像を除いた動画像と、前記画像情報とを関連づけて記録する
   ことを特徴とする撮像装置。
9. 請求項１に記載の撮像装置において、
   前記記憶部に、前記キーワードと、そのキーワードに対応する前記被写体を検出する検出方法とを新規登録する登録モードを有し、
   前記登録モードにおいて、新規登録するキーワードを入力するキーワード入力部と、
   前記キーワード入力部により入力された前記キーワードに対応する被写体を、前記撮像部により得られた画像に基づいて指定する指定部と、
   前記指定部により指定された前記被写体の特徴量を抽出し、その特徴量に基づいて前記被写体を検出する検出方法を設定する設定部と、
   前記キーワード入力部により入力された前記キーワードと、前記設定部により設定された前記検出方法とを前記記憶部に記憶させる制御部と
   を備えたことを特徴とする撮像装置。
   

Images