JP5623915B2

JP5623915B2 - 撮像装置

Info

Publication number: JP5623915B2
Application number: JP2010543848A
Authority: JP
Inventors: 武則酒井; 圭介大川; 尚賢高田
Original assignee: Panasonic Intellectual Property Corp of America
Current assignee: Panasonic Intellectual Property Corp of America
Priority date: 2008-12-26
Filing date: 2009-12-22
Publication date: 2014-11-12
Anticipated expiration: 2029-12-22
Also published as: US8493494B2; JP2010171964A; US20100188560A1; JPWO2010073608A1; CN102265597A; CN102265597B; WO2010073608A1

Description

本発明は、被写体認識を行い、認識した被写体を指し示す表示が可能な撮像装置に関する。

従来、撮影者にとって最も興味のある被写体（以降「主要被写体」と呼ぶ）の特徴量を求め、その特徴量を元に画像データ中から主要被写体が存在する領域を推定する技術が知られている。特に、連続的に入力される画像データである動画データに対して主要被写体が存在する領域を順次求める処理は、移動する主要被写体を追いかけるように動作するため、追尾処理、または追跡処理と呼ばれることが多い。

こうした追尾処理によって主要被写体の位置を求め、主要被写体に合焦させる焦点制御や、主要被写体の明度を適切なレベルに調整する露出制御、更には主要被写体が画面中央に来るようパンニング・チルティング・ズーム等を行うフレーミング制御等、主要被写体を適切に撮影できるよう撮影制御を行う撮像装置が種々存在する。

特許文献１は、こうした追尾処理の主要被写体を選択する際に、撮影者の意図する領域を簡単に選択可能にする撮像装置を開示する。この撮像装置では、被写体認識時に認識している画面内被写体に枠表示などを行ない、枠表示された被写体のうち使用者の意図する領域の選択を外部操作により、あるいは、視線情報に基づいて選択している。

特開平５−３２８１９７号公報

しかしながら、上記の撮像装置は、使用者が指定した位置を中心とする定められた範囲を被写体領域として選択する場合に、あらかじめ認識被写体の領域が表示されている。このため、その領域以外を被写体領域として設定可能な場合であっても、表示された認識被写体の領域しか選択できないような誤解を撮影者に与える恐れがある。

本発明は、撮影者による被写体領域の選択時における使用者の利便性を向上させる撮像装置を提供することを目的とする。

本発明の撮像装置は、上記の課題を解決するために、被写体像を撮像して画像を生成する撮像部と、被写体像を撮像して画像を生成する撮像部と、前記生成された画像の中から被写体を検出する被写体検出部と、前記生成された画像および前記被写体検出部で検出した被写体を示すマークを表示可能な表示部と、動作モードを、前記表示部の画面上の任意の位置を直接選択可能とする被写体選択モードを設定するための操作を受け付ける操作部と、前記表示部に前記マークが表示されている状態において、前記操作部が前記被写体選択モードに変更する操作を受け付けた場合、前記マークの表示を消去するよう前記表示部を制御する制御部と、を備える。

本発明の撮像装置は、被写体を選択するに際して、検出された領域のマークの表示をまず非表示にする。これにより、撮影者は、マークが表示されている領域のみならず、表示画面上の任意の被写体領域が選択可能であることを認識することができる。これにより、撮影者は被写体候補の抽出処理結果にとらわれることなく、自由に被写体を指定できるようになる。つまり、撮影者による被写体領域の選択における使用者の利便性を向上させることができる。

本発明の実施の形態１におけるビデオカメラの構成を示すブロック図本発明の実施の形態１における被写体選択時の処理を示すフローチャート本発明の実施の形態１における被写体選択時の処理を示すフローチャート本発明の実施の形態１における主要被写体候補表示時の表示手段の表示例を示す図本発明の実施の形態１における主要被写体指定時の表示手段の表示例を示す図

以下、本発明の実施形態について、図面を用いて詳細に説明する。
（実施の形態１）
１−１．撮像装置の構成
図１は本発明の実施の形態１におけるビデオカメラ１００の構成を示すブロック図である。図１において、破線で囲まれた範囲がビデオカメラ１００を表す。なお、図１では、ビデオカメラ１００で本発明に関係するブロックのみを図示する。

ビデオカメラ１００は、光学系１１０、Ａ／Ｄ変換部１１５、映像信号処理部１２０、Ｙ／Ｃ変換部１２５、特徴検出部１３０、システムバス１３２、バッファメモリ１３５、ＣＯＤＥＣ１３７、記録Ｉ／Ｆ部１４０、ソケット１４５、システム制御部１５０、操作部１６０、表示部１７０、特定領域表示部１７１、回転検知部１７５、動き検知部１８０、及び光学系制御部１９０を備える。

光学系１１０は、合焦状態調節のために光軸に沿って移動するフォーカスレンズおよび被写体の光学的な像を変倍するため光軸に沿って移動するズームレンズ等の複数枚のレンズ、露出制御を行う絞り、シャッタ装置、レンズを通して入射する被写体像を電気信号（映像信号）に変換する撮像素子等を含む。光学系１１０の上記各要素は、ピッチング方向およびヨーイング方向に駆動制御可能なレンズ鏡筒内部に配置される。光学系１１０は、被写体像を電気信号（映像信号）に変換して出力する。なお、撮像素子としてはＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）イメージセンサやＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等が用いられる。

Ａ／Ｄ変換部１１５は、光学系１１０からのアナログ映像信号をデジタル映像信号に変換する。映像信号処理部１２０は、Ａ／Ｄ変換部１１５から出力されるデジタル映像信号に対して、ゲイン調整、ノイズ除去、ガンマ補正、アパーチャ処理、ニー処理等の周知の映像信号処理を施す。Ｙ／Ｃ変換部１２５は、デジタル映像信号をＲＧＢ形式からＹ／Ｃ形式へ変換する。Ｙ／Ｃ変換部１２５によってＹ／Ｃ形式に変換されたデジタル映像信号は、システムバス１３２を通してバッファメモリ１３５にデジタル映像情報として蓄積され、ＣＯＤＥＣ１３７によって不可逆圧縮処理を施され、再度システムバス１３２を経由し、記録Ｉ／Ｆ部１４０を介してソケット１４５に電気的に接続された記録媒体１４７に記録される。

ＣＯＤＥＣ１３７は、ＤＣＴ（離散コサイン変換）、ハフマン符号化などをおこなうことにより、画像データを圧縮する。ＣＯＤＥＣ１３７は、例えば、ＭＰＥＧ−２やＨ．２６４の規格に準拠した圧縮形式により画像データを圧縮する。なお、圧縮形式として、ＭＰＥＧ−２やＨ．２６４形式以外のものも利用可能である。ＣＯＤＥＣ１３７は、さらに、圧縮済みの画像データを表示部１７０で再生する場合などに、この画像データを非圧縮の状態に復号化する。ＣＯＤＥＣ１３７は、圧縮画像データ、及び本実施の形態１では表示しない圧縮音声データから、記録媒体１４７に記録するＡＶデータを生成する。さらにＣＯＤＥＣ１３７は、記録媒体１４７に記録されたＡＶデータを復号化し、圧縮画像データ、及び圧縮音声データを生成する。

記録Ｉ／Ｆ部１４０は、機械的及び電気的に記録媒体１４７と接続可能である。記録Ｉ／Ｆ部１４７は、記録媒体１４７のデータを読出し、また記録媒体１４７にデータを書き込む。記録媒体１４７は、ＡＶデータ等の各種データを格納可能である。記録媒体１４７は、ビデオカメラ１００に着脱可能であってもよいし、ビデオカメラ１００に内蔵してもよい。記録媒体１４７は、半導体メモリカード、ハードディスク、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）、ＢＤ（Ｂｌｕ−ｒａｙＤｉｓｃ）等である。

システム制御部１５０は、ビデオカメラ１００全体を制御する制御手段である。システム制御部１５０は、マイクロコンピュータ等で実現できる。

操作部１６０は、ビデオカメラ１００の各種操作を行う操作手段であり、種々のボタンやレバー類等で構成される。種々のボタンには、顔検出動作を開始させるための顔検出ボタンと、ビデオカメラ１００を被写体選択モードに設定するための被写体選択ボタンとが含まれる。撮影者は、表示部１７０にて撮影中の映像を参照しながら、操作部１６０を通してビデオカメラ１００に種々の指示を与えることができる。表示部１７０は、小型の液晶（ＬＣＤ）パネルやＥＶＦ（ＥｌｅｃｔｒｉｃＶｉｅｗＦｉｎｄｅｒ）である。表示部１７０の液晶パネルは回転可能であり、撮影者によって回転された場合、回転検知部１７５からシステム制御部１５０に通知が行われる。表示部１７０に表示される映像データは、システム制御部１５０により作成される。システム制御部１５０は、バッファメモリ１３５に格納された画像データを表示部１７０の解像度に適合するよう縮小し、縮小した映像に対して、ビデオカメラ１００の動作状態を直感的に把握できる各種アイコンなどを重畳した上で表示部１７０に出力する。また、システム制御部１５０は、操作部１６０を構成する顔検出ボタンが押下された場合は、表示部１７０に対して特徴検出部１３０によって検出された特徴を表示するための特定領域表示部１７１の信号を重畳して出力を行う。また、表示部１７０はタッチパネル機能を有し、撮影者は表示部１７０をタッチすることで、画像の一部の領域の選択や指定を行うことができる。

動き検知部１８０は、角速度センサおよびＡ／Ｄ変換からなり、角速度センサの出力信号を元にシステム制御部１５０にてビデオカメラ１００のヨーイング方向、およびピッチング方向の動きを検知する。

１−２．主要被写体の抽出処理
次に、主要被写体領域の抽出処理について説明する。特徴検出部１３０は、主要被写体の特徴量に基づき、画像内において主要被写体の存在する可能性の高い領域を抽出する。本実施の形態では、主要被写体は顔であり、主要被写体の特徴量は、例えば顔らしさを表す特徴量である。主要被写体の特徴量は、例えば特徴検出部１３０内のＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）に固定的に保持されている。特徴検出部１３０は、入力されるデジタル映像信号と、ＲＯＭに格納されている主要被写体の特徴量とを比較する。なお、入力されるデジタル映像信号は、画像縮小処理が適宜施され、特徴検出部１３０内の図示していないメモリに１枚の画像データとして格納された後、主要被写体の特徴量と比較される。主要被写体領域の抽出方法としては、例えばテンプレートマッチングと呼ばれる方法がある。この方法では、主要被写体領域の画素群そのものを被写体特徴量とし、画像データ内に設定した複数の被写体領域の候補領域に対して画素単位での領域比較を行い、最も類似度の高い候補領域を主要被写体領域とする。ここで、被写体の候補領域は、例えば前回検出された主要被写体領域の位置を中心とする一定範囲の領域内から選択する。これは、主要被写体が短時間で大きく移動しないという仮定に基づいており、処理量の削減および主要被写体から離れた位置に存在する類似被写体を無視することによる検出精度の向上が望める。

また、本実施の形態では、主要被写体は、顔以外の被写体である。この場合の主要被写体の特徴量は、使用者により選択された顔以外の位置の色である。主要被写体の特徴量は、顔以外の位置が使用者に選択されると、システム制御部１５０内の図示していないメモリに１枚の画像データとして格納される。この場合において、特徴検出部１３０は、入力されるデジタル映像信号と、システム制御部１５０内の図示していないメモリに格納されている画像データとを比較することにより、主要被写体領域の抽出処理を行う。

以上述べたような被写体検出に関する様々な技術は古くから研究開発されている。被写体特徴量や被写体検出方法としては、種々のものが利用可能であり、複数の技術を組み合わせて使用しても構わない。

システム制御部１５０は、特徴検出部１３０で検出された領域、及び選択された領域について、動き検知部１８０の検知結果等に基づいて、これらの領域の追尾を行う。

１−３．対応関係
光学系１１０および映像信号処理部１２０からなる構成は、撮像部の一例である。特徴検出部１３０は、特徴検出部の一例である。表示部１７０は、表示部の一例である。操作部１６０は、操作部の一例である。システム制御部１５０は、制御部の一例である。操作部１６０は、被写体選択操作部の一例である。

２．動作
ビデオカメラ１００の被写体選択時の動作について、図２Ａ、図２Ｂのフローチャートを用いて説明する。ビデオカメラ１００の表示部１７０は、光学系１１０、Ａ／Ｄ変換部１１５、映像信号処理部１２０およびＹ／Ｃ変換により生成された撮像中の映像を表示する。

図２Ａにおいて、撮影者により操作部１６０を構成する顔検出ボタンが押下されると、特徴検出部１３０は顔検出動作を開始する（Ｓ２００でＹＥＳ）。これにより、特徴検出部１３０は、映像信号処理部１２０からの画像データに対して顔検出動作を行う（Ｓ２０１）。

次に、システム制御部１５０は、特徴検出部１３０によって顔が検出された領域が存在するか否かを確認する（Ｓ２０２）。システム制御部１５０は、特徴検出部１３０によって顔検出された領域が存在しない場合（Ｓ２０２でＮＯ）は、顔検出動作を継続する（Ｓ２０１）。システム制御部１５０は、顔が検出された領域が存在する場合（Ｓ２０２でＹＥＳ）は、特定領域表示部１７１を用いて検出領域にマーカ表示を行う（ステップＳ２０３）。具体的には、特定領域表示部１７１は、表示部１７０にマーカ表示を重畳した映像を出力する。例えば、図３（ａ）に示すように、顔が検出された領域３０１，３０２にマーカ３０４，３０５を表示する。

その後、システム制御部１５０は、操作部１６０を構成する被写体選択ボタンが押下されているかを検出する（Ｓ２０４）。被写体選択ボタンが押下された場合（Ｓ２０４でＹＥＳ）は、システム制御部１５０は、ビデオカメラ１００を被写体選択モードに遷移させ、表示部１７０に重畳されて表示されている特定領域表示部１７１の検出領域のマーカ３０４、３０５を消去する動作を行う（Ｓ２０５）。すなわち、被写体選択ボタンが押下された場合、システム制御部１５０は、図３（ａ）で示すマーカ３０４および３０５で表示されていた領域を図３（ｂ）のように非表示にする。このようにマーカ３０４、３０５が消去されたことにより、撮影者は、図３（ｂ）に示す表示部１７０上の表示画面において、マーカ３０４、３０５が表示されていた被写体３０１、３０２のみならず、マーカが表示されていなかった被写体３０３も選択可能であることを認識することができる。被写体選択ボタンが押下されていない場合（Ｓ２０４でＮＯ）は、システム制御部１５０は、ステップＳ２０１に戻って前述の動作を行う。このような構成によれば、撮影者は、被写体選択ボタンを押下することで、特徴検出部１３０で顔検出された領域のマーカ３０４、３０５の表示が消去されるため、マーカ表示された領域のみならず、マーカ表示されていない被写体も自由に選択することができることを認識することができる。なお、被写体選択モードにおいて撮影者により選択された被写体は、自動合焦の対象となり、追尾処理の対象となる。

システム制御部１５０は、特定領域表示部１７１の検出領域のマーカ３０４、３０５を消去する動作を行った後、撮影者が、被写体選択モードにおいて表示部１７０に表示されている被写体から、目的とする被写体を選択するのを待ち、被写体が選択されると、選択された被写体に応じたマーカ表示を行う。（ステップＳ２０６）。

このステップＳ２０６における制御の詳細について図２Ｂのフローチャートを用いて説明する。

システム制御部１５０は、撮影者により、表示部１７０に表示される画像内で認識させたい被写体を選択する操作が行われた否かを判定する（Ｓ４０１）。表示部１７０がタッチパネル機能を有する場合には、撮影者が表示部１７０に表示されている被写体にタッチすることにより、被写体を選択することができる。表示部１７０がタッチパネル機能を有していない場合には、撮影者が操作部１６０の十字キー等を操作し、表示部１７０上に表示されたポインタを移動させ、ポインタが選択したい被写体上にあるときに操作部１６０の決定ボタン等を押下することにより、被写体を選択することができる。

システム制御部１５０は、被写体の選択操作がされた場合（Ｓ４０１でＹＥＳ）、特徴検出部１３０で顔検出された領域が存在するか否かを判定する（Ｓ４０２）。

システム制御部１５０は、特徴検出部１３０で予め検出された顔を示す領域が存在する場合（Ｓ４０２でＹＥＳ）、撮影者により選択された領域が、顔を示す領域内であるか否かを判定する（Ｓ４０３）。

選択された領域が顔領域である場合（Ｓ４０３でＹＥＳ）は、顔を示す領域にマーカを表示させる（Ｓ４０４）。このとき、特定領域表示部１７１が表示部１７０にマーカを重畳した映像を出力する。例えば、撮影者が図３（ｂ）に示す表示画面において、被写体３０２の顔の一部の領域を選択した場合、システム制御部１５０は、図３（ｃ）に示すように、実際に選択した位置にかかわらず、マーカ３０６を被写体３０２の顔領域（事前にステップＳ２０１で顔領域として検出された領域）全体に対して表示する。ここで、システム制御部１５０は、撮影者が選択した領域が、顔領域である場合（Ｓ４０３でＹＥＳ）と、顔領域でない場合（Ｓ４０３でＮＯ）とでマーカの表示形態を異ならせてもよい。具体的には、マーカの形状や枠の色を異ならせてもよい。例えば、顔領域が選択されたときには、図３（ｃ）に示すようなマーカ３０６を表示し、顔領域でない領域が選択されたときには、図３（ｄ）に示すようなマーカ３０７を表示させるようにしてもよい。これにより、撮影者は、顔領域を容易に選択でき、顔領域を選択したことを良好に認識することができる。

一方、特徴検出部１３０で予め検出された顔を示す領域が存在しない場合（Ｓ４０２でＮＯ）、又は選択位置がいずれの顔検出領域内にも含まれない場合（Ｓ４０３でＮＯ）、システム制御部１５０は、撮影者により選択された領域にマーカを表示する（Ｓ４０５）。特に、その際、システム制御部１５０は、撮影者により選択された被写体に対して表示されるマーカと、自動で検出された被写体に対して表示されるマーカとの表示の形態（形状、枠の色等）を異ならせてもよい。例えば、自動で検出された被写体に対して表示されるマーカを図３（ａ）に示すようなマーカ３０４、３０５とし、撮影者により選択された被写体に対して表示されるマーカを図３（ｃ）に示すようなマーカ３０６としてもよい。これにより、撮影者は、マーカが表示された被写体が自動的に検出されたものでなく、撮影者が選択したものであることを容易に認識することができる。

なお、図３（ｂ）に示す状態に推移した際、図４（ａ）に示すように、撮影者に領域の選択を促すメッセージ３１０を表示させてもよい。これにより、撮影者は、選択が促されるとともに、検出されていた領域３０１，３０２以外も指定可能であることを認識することができる。

また、図４（ａ）に示すメッセージ３１０は、図３（ｃ）のように被写体領域３０２が選択されていることを示すマーカ３０６を表示した後、例えば被写体領域３０２が撮像範囲外に移動し、システム制御部１５０が被写体領域３０２を認識できなくなった場合に、再度表示するようにしてもよい。これにより、撮影者に対して被写体の選択が促されることとなる。

また、図３（ｂ）に示す表示部１７０上の表示画面において被写体を選択する場合に、図４（ｂ）に示すように、撮影者が選択した被写体３１１が背景等であることにより、被写体３１１を、システム制御部１５０が認識できないときは、システム制御部１５０は、マーカの表示態様を変えるようにしてもよい。例えば、図４（ｂ）に示すように、被写体３１１を指示すマーカ３０８を破線にする。または、実線または破線において色を薄くしたり、異なる色にしたりする。通常とは異なるマーカが表示されたことにより、撮影者は、選択した被写体をビデオカメラ１００が認識できていないことを認識することができる。また、撮影者が同じ領域を何度も選択するのを防止することができる。システム制御部１５０は、マーカ３０８を表示させてから所定時間経過後に、マーカ３０８を点滅させた後、消去してもよい。この場合、システム制御部１５０は、前述のようなメッセージ３１０は表示しない。マーカ３０８を点滅させて消去することにより、撮影者に選択を促すことができるからである。また、点滅させて消去した後、メッセージ３１０を表示すると、撮影者がわずらわしく感じるからである。

また、図３（ｂ）に示す表示画面において被写体が選択された時点で、図４（ｃ）に示すように、自動で検出された領域と選択された領域の双方についてマーカ３１２，３１３を同時に表示させてもよい。

３．まとめ
以上のように、本実施形態のビデオカメラ１００では、被写体を選択するに際して、特徴検出部１３０で顔検出された領域のマーカ表示をまず非表示にする。これにより、撮影者は、マーカ表示されている領域のみならず、表示画面上の任意の被写体領域が選択可能であることを認識することができる。これにより、撮影者は誤って被写体候補の抽出処理結果にとらわれることなく、自由に被写体を指定できるようになる。

また、本実施形態のビデオカメラ１００では、決定された被写体を主要被写体とする場合と、使用者により選択された被写体を主要被写体とする場合とで被写体表示を異なる表示とする。これにより、撮影者が選択した被写体が自己の選択した被写体であることを良好に認識することができる。つまり、撮影者による被写体領域の選択における使用者の利便性を向上させることができる。

以上、本発明に好適な実施の形態について説明を行った。なお、本発明は上記実施例に限ることなく、その他、この発明の要旨を逸脱しない範囲で種々の変形を実施し得ることは言うまでもない。

本発明の撮像装置によれば、撮影者による被写体領域の選択性を改善することができ、デジタルカメラ、デジタルビデオカメラなど、様々な撮像装置に対して有用である。

１１０光学系
１３０特徴検出部
１４０記録Ｉ／Ｆ部
１５０システム制御部
１６０操作部
１７０表示部

Claims

被写体像を撮像して画像を生成する撮像部と、
前記生成された画像の中から被写体を検出する被写体検出部と、
前記生成された画像および前記被写体検出部で検出した被写体を示すマークを表示可能な表示部と、
動作モードを、前記表示部の画面上の任意の位置を直接選択可能とする被写体選択モードを設定するための操作を受け付ける操作部と、
前記表示部に前記マークが表示されている状態において、前記操作部が前記被写体選択モードに変更する操作を受け付けた場合、前記マークの表示を消去するよう前記表示部を制御する制御部と、を備え、
前記制御部は、
前記マークの表示を消去するのに応じて、使用者に対して前記生成された画像において被写体の選択を促すメッセージを前記表示部に表示し、
前記メッセージを消去するよう前記表示部を制御した後、使用者により選択された被写体を認識できないときは、前記メッセージを再度表示する撮像装置。
被写体像を撮像して画像を生成する撮像部と、
前記生成された画像の中から被写体を検出する被写体検出部と、
前記生成された画像および前記被写体検出部で検出した被写体を示すマークを表示可能な表示部と、
動作モードを、前記表示部の画面上の任意の位置を直接選択可能とする被写体選択モードを設定するための操作を受け付ける操作部と、
前記表示部に前記マークが表示されている状態において、前記操作部が前記被写体選択モードに変更する操作を受け付けた場合、前記マークの表示を消去するよう前記表示部を制御する制御部と、
前記被写体選択モードにおいて選択された被写体を認識して追尾する追尾部と、を備え、
前記制御部は、
前記被写体選択モードにおいて被写体が選択された後、前記追尾部が被写体を追尾できなくなったときは、使用者に対して前記生成された画像において被写体の選択を促すメッセージを前記表示部に表示する撮像装置。