JP5210841B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP5210841B2
JP5210841B2 JP2008317335A JP2008317335A JP5210841B2 JP 5210841 B2 JP5210841 B2 JP 5210841B2 JP 2008317335 A JP2008317335 A JP 2008317335A JP 2008317335 A JP2008317335 A JP 2008317335A JP 5210841 B2 JP5210841 B2 JP 5210841B2
Authority
JP
Japan
Prior art keywords
unit
framing
main subject
display
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008317335A
Other languages
English (en)
Other versions
JP2010141722A (ja
Inventor
陽一 杉野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2008317335A priority Critical patent/JP5210841B2/ja
Priority to US12/633,087 priority patent/US8243180B2/en
Publication of JP2010141722A publication Critical patent/JP2010141722A/ja
Application granted granted Critical
Publication of JP5210841B2 publication Critical patent/JP5210841B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634—Warning indications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像措置に関し、特に、被写体追尾機能を備えた撮像装置に関する。
撮影者（ユーザ）によって特定された被写体、または、所定の条件に基づいて撮像装置によって特定される被写体（以下「主被写体」という）の特徴量を求め、その特徴量を基
に画像データ中から主被写体が存在する領域を推定する技術が知られている。特に、連続的に入力される画像データである動画データにおいて主被写体が存在する領域を順次求める処理は、移動する主被写体を追いかけるように動作するため、追尾処理または追跡処理と呼ばれることが多い。なお、本願では、動画データにおいて主被写体を追いかけることを「追尾」と呼ぶことにする。
こうした追尾処理によって主被写体の位置を求め、例えば、主被写体に合焦させる焦点制御や、主被写体の明度を適切なレベルに調整する露出制御、撮影範囲を調整するフレーミング制御など、主被写体を適切に撮影できるよう撮影制御を行う撮像装置が種々提案されている（例えば、特許文献１参照）。なお、フレーミング制御では、通常、主被写体が画面中央に来るようパンニングやチルティング、ズームなどが行われる。
図１１は、特許文献１に記載されている自動追尾機能付き撮像装置における、２つの被写体検出モードの切り替え処理を示すフローチャートである。
図１１において、撮像装置の電源ＯＮ後、ステップＳ１における撮影モード選択にて、ユーザは、撮像装置に備えられた操作手段を用いて、ステップＳ２における通常モードで撮像装置を動作させるか、ステップＳ３における追尾モードで撮像装置を動作させるかを選択することができる。この選択は、ステップＳ４における電源ＯＦＦまでの間、適宜実施可能である。
このような動作モードの選択機能を有する特許文献１記載の撮像装置は、被写体検出部と切り替え部とを備えている。被写体検出部は、撮像された画像の中から主被写体を検出することができる。切り替え部は、通常モードと追尾モードとを切り替える。通常モードでは、撮像された画像から主被写体を被写体検出部によって検出させる。追尾モードでは、撮像された画像の一部である認識領域を対象として主被写体を被写体検出部によって検出させる。
通常モードとは、例えば、顔検出処理を行うモードであり、撮像された画像中から顔が１つ以上検出される。追尾モードとは、例えば、初期状態が画像の中央に設定された認識領域内で顔を検出し、以降、認識領域内で検出された顔の位置に追従するよう認識領域の位置を変更するモードである。通常モードでは、撮像装置に特徴を登録済みの顔や、大きさや位置などの情報に従って重み付けされた後の、優先順位の高い顔などが、自動的に検出される。一方、追尾モードでは、撮像装置に未登録の顔や、優先順位は低いもののユーザにとって興味の高い顔などを、検出対象とすることができる。
特許文献１記載の撮像装置は、通常モードおよび追尾モードのいずれのモードにおいても、被写体検出結果を自動合焦制御および自動露出制御に適用するよう構成されている。また、特許文献１記載の撮像装置は、これを支持する雲台を備えており、被写体検出結果は、撮像された画像の中における被写体検出位置に基づいて雲台を制御し、主被写体が画面中央に来るようにするフレーミング制御に使用される。
特開２００７−３３６４００号公報
しかしながら、特許文献１記載の撮像装置は、被写体の検出方法に関する切り替えを目的としており、被写体検出結果である被写体の位置情報に基づいて動作する撮影機能は固定的であった。
自動合焦制御や自動露出制御、フレーミング制御など、検出した被写体の位置情報を活用する撮影機能は種々考えられ、それらの撮影機能のいずれが最も効果的であるかは、撮影状況やユーザの意図などによって異なる。例えば、雲台制御によりフレーミング制御を自動化し、撮影時の負担を軽減したいユーザもいれば、撮影操作の自動化は不要であり、自動合焦制御および自動露出制御にのみ、被写体検出結果を適用することを望むユーザもいるであろう。このような被写体検出結果の適用先を選択可能とする手段はこれまで存在しなかった。
本発明は、かかる点に鑑みてなされたものであり、ユーザの撮影意図に応じたより自由度の高い撮影を可能とすることができる撮像装置を提供することを目的とする。
本発明の撮像装置は、被写界の光学像を結像させるとともに、前記光学像を変倍可能な光学系と、前記光学系によって結像された光学像を電気的な画像信号に変換する撮像部と、前記撮像部によって撮像された画像を表示する表示部と、前記撮像部によって撮像された画像の中から主被写体を検出する被写体検出部と、前記被写体検出部によって検出された主被写体の位置情報に基づいてフレーミングを制御するフレーミング制御部と、前記被写体検出部によって検出された主被写体の位置情報に基づいてフレーミングを補助する表示を前記表示部に表示する第１のフレーミング補助モードと、前記被写体検出部によって検出された主被写体の位置情報に基づいて前記フレーミング制御部を動作させる第２のフレーミング補助モードと、を選択的に実行する制御部と、前記第１のフレーミング補助モードと前記第２のフレーミング補助モードとを切り替える切り替え部と、前記撮像部によって撮像された画像を記録する記録部、をさらに有し、前記切り替え部は、前記記録部が記録動作中でない場合、前記第１フレーミング補助モードに自動的に切り替え、前記記録部が記録動作中の場合、前記第２フレーミング補助モードに自動的に切り替える構成を採る。
また、本発明の撮像装置は、被写界の光学像を結像させるとともに、前記光学像を変倍可能な光学系と、前記光学系によって結像された光学像を電気的な画像信号に変換する撮像部と、前記撮像部によって撮像された画像を表示する表示部と、前記撮像部によって撮像された画像の中から主被写体を検出する被写体検出部と、前記被写体検出部によって検出された主被写体の位置情報に基づいてフレーミングを制御するフレーミング制御部と、前記被写体検出部によって検出された主被写体の位置情報に基づいてフレーミングを補助する表示を前記表示部に表示する第１のフレーミング補助モードと、前記被写体検出部によって検出された主被写体の位置情報に基づいて前記フレーミング制御部を動作させる第２のフレーミング補助モードと、を選択的に実行する制御部と、前記第１のフレーミング補助モードと前記第２のフレーミング補助モードとを切り替える切り替え部と、当該撮像装置の動きを検出する動き検出部、をさらに有し、前記切り替え部は、前記動き検出部によって検出された当該撮像装置の動きに応じて前記第１フレーミング補助モードと前記第２フレーミング補助モードとを切り替える構成を採る。
また、本発明の撮像装置は、被写界の光学像を結像させるとともに、前記光学像を変倍可能な光学系と、前記光学系によって結像された光学像を電気的な画像信号に変換する撮像部と、前記撮像部によって撮像された画像を表示する表示部と、前記撮像部によって撮像された画像の中から主被写体を検出する被写体検出部と、前記被写体検出部によって検出された主被写体の位置情報に基づいてフレーミングを制御するフレーミング制御部と、前記被写体検出部によって検出された主被写体の位置情報に基づいてフレーミングを補助する表示を前記表示部に表示する第１のフレーミング補助モードと、前記被写体検出部によって検出された主被写体の位置情報に基づいて前記フレーミング制御部を動作させる第２のフレーミング補助モードと、を選択的に実行する制御部と、前記第１のフレーミング補助モードと前記第２のフレーミング補助モードとを切り替える切り替え部と、回転可能に構成された前記光学系または前記表示部の回転を検出する回転検出部と、を有し、前記切り替え部は、前記光学系および前記表示部の向きが略同一方向となったことを前記回転検出部が検出した場合、前記第２フレーミング補助モードに自動的に切り替える構成を採る。
本発明によれば、ユーザの撮影意図に応じたより自由度の高い撮影を可能とすることができる
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、各実施の形態では、撮像装置としてビデオカメラを例にとって説明する。
（実施の形態１）
図１は、本発明の実施の形態１に係る撮像装置としてのビデオカメラの構成を示すブロック図である。
図１において、ビデオカメラ１００は、光学系１０５、固体撮像素子１１０、アナログデジタル（Ａ／Ｄ）変換部１１５、映像信号処理部１２０、Ｙ／Ｃ変換部１２５、システムバス１３０、バッファメモリ部１３５、コーデック部１４０、記録インタフェース（Ｉ／Ｆ）部１４５、ソケット１５０、追尾処理部１５５、システム制御部１６０、光学系制御部１６５、動き検出部１７０、回転検出部１７５、操作部１８０、および表示部１９０を有する。
光学系１０５は、図示しないが、複数枚のレンズや、露出制御を行う絞り部、シャッタ装置などを、ピッチング方向およびヨーイング方向に駆動制御可能なレンズ鏡筒の内部に配置して構成されている。光学系１０５を構成するレンズは、合焦状態調節のために光軸に沿って移動するフォーカスレンズと、被写体を含む被写界の光学的な像（光学像）を変倍するため光軸に沿って移動するズームレンズとを含む。レンズ鏡筒は、後述する鏡筒制御部の駆動制御によって、所定の範囲内での光軸方向調整が可能となっている。被写界の光学像は、光学系１０５を介して固体撮像素子１１０上に結像される。
固体撮像素子１１０は、光学系１０５により結像された光学像を電気信号（アナログ映像信号）に変換する。固体撮像素子１１０としては、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどが用いられる。
Ａ／Ｄ変換部１１５は、固体撮像素子１１０から出力されたアナログ映像信号をデジタル映像信号に変換する。
映像信号処理部１２０は、Ａ／Ｄ変換部１１５から出力されたデジタル映像信号に対して、ゲイン調整やノイズ除去、ガンマ補正、アパーチャ処理、ニー処理などの、周知の映像信号処理を施すことにより、ＲＧＢ形式のデジタル映像信号を映像データとして生成する。生成された映像データは、Ｙ／Ｃ変換部１２５および追尾処理部１５５にそれぞれ出力される。
すなわち、光学系１０５、固体撮像素子１１０、Ａ／Ｄ変換部１１５、および映像信号処理部１２０は、光学系１０５を介して固体撮像素子１１０にて被写界の光学像を受光し、受光された光学像からデジタル映像信号を映像データとして生成する撮像部を構成する。
Ｙ／Ｃ変換部１２５は、映像信号処理部１２０により生成されたデジタル映像信号の形式をＲＧＢ形式からＹ／Ｃ形式に変換する。Ｙ／Ｃ変換部１２５によってＹ／Ｃ形式に変換されたデジタル映像信号は、システムバス１３０を経由してバッファメモリ部１３５に出力される。
バッファメモリ部１３５は、Ｙ／Ｃ変換部１２５またはコーデック部１４０から出力されたデジタル映像信号をデジタル映像情報として一時的に格納する。
コーデック部１４０は、バッファメモリ部１３５に格納されたデジタル映像情報を、システムバス１３０を経由して取得し、取得したデジタル映像情報に対して不可逆圧縮処理を施すことにより、例えば、ＭＰＥＧ−２（Moving Picture Experts Group phase 2）や、Ｈ.２６４／ＭＰＥＧ−４ ＡＶＣ（Moving Picture Experts Group phase 4 Part 10 Advanced Video Coding）などの、所定形式の圧縮映像データを生成する。さらに、コーデック部１４０は、生成した圧縮映像データを、システムバス１３０および記録Ｉ／Ｆ部１４５を経由して、ソケット１５０に電気的に接続された記録媒体１９５に記録する。
また、コーデック部１４０は、ソケット１５０に電気的に接続された記録媒体１９５に記録された圧縮映像データを取得し、取得した圧縮映像データに対して伸張処理を施すことにより、デジタル映像信号を生成する。コーデック部１４０は、生成したデジタル映像信号を、システムバス１３０を経由してバッファメモリ部１３５に出力する。
すなわち、コーデック部１４０および記録Ｉ／Ｆ部１４５は、上記撮像部により生成された映像データを記録媒体１９５に記録する機能と、記録媒体１９５に記録された映像データをビデオカメラ１００に取り込む機能とを兼備する記録部を構成する。
なお、本実施の形態では、記録媒体１９５は、ソケット１５０に対して挿抜自在なリムーバブルメディアであるが、ビデオカメラ１００に内蔵されたハードディスクなどの記録媒体であってもよい。
追尾部としての追尾処理部１５５は、映像信号処理部１２０により映像データとして生成されたＲＧＢ形式のデジタル映像信号に対して画像縮小処理を適宜施すことにより、画像データを順次生成し、生成した各画像データを内部のメモリ（図示せず）に格納する。
また、追尾処理部１５５は、追尾モードが有効化されているときに、内部に格納された各画像データに基づいて、被写界における主被写体を追尾するための所定の処理（追尾処理）を実行する。追尾処理は、例えば、主被写体を撮影領域内に収めるよう撮影領域を変更する処理や、特定の主被写体に合わせて撮影条件を最適化する（後述するＡＦやＡＥなど）など、各種の処理を含むことができる。追尾処理部１５５は、内部に格納された各画像データから様々な特徴量を抽出し、抽出した特徴量に基づいて追尾処理を行う。
ここで、特徴量の抽出について説明する。追尾処理部１５５は、既知の手法により、画像データから様々な特徴量を抽出することができる。
抽出される特徴量の一例として、システム制御部１６０から指定された画像データにおける特定領域の輝度レベル値が挙げられる。これは露出制御に用いられる。この輝度レベル値に基づいて、光学系１０５の絞りとシャッタ速度が調整される。
抽出される特徴量の他の例として、システム制御部１６０から指定された画像データにおける特定領域の高周波成分情報が挙げられる。これは焦点制御に用いられる。映像信号に含まれる高周波成分は、合焦の度合いに対応しており、合焦点において最大値をとる。そこで、一般に「山登り方式」として知られている合焦検出方式では、光学系１０５を構成するフォーカスレンズとズームレンズとを移動させ、高周波成分の最大値を求めることによって、合焦検出動作が行われる。
上記の露出制御および焦点制御は、システム制御部１６０によって処理され、光学系制御部１６５に制御情報が通知され、光学系制御部１６５が光学系１０５の制御を行う。
図２は、光学系制御部１６５の構成の一例を示すブロック図である。
図２において、光学系制御部１６５は、絞り制御部１６６、レンズ制御部１６７、および鏡筒制御部１６８を有する。
具体的には、追尾処理部１５５が特定領域の輝度レベル値を抽出した場合、システム制御部１６０は、抽出された輝度レベル値に基づいて最適な絞り値を計算し、計算した絞り値に基づいて絞りの制御量を光学系制御部１６５内の絞り制御部１６６に通知する。絞り制御部１６６は、システム制御部１６０から通知された絞りの制御量に基づいて、光学系１０５に備えられた絞り調整装置とシャッタ装置とを駆動することにより、光学系１０５の絞りを調整する。
また、追尾処理部１５５が特定領域の高周波成分情報を抽出した場合、システム制御部１６０は、抽出された高周波成分情報に基づいて、光学系１０５を構成するフォーカスレンズとズームレンズとを制御するためのレンズ制御量を決定し、決定したレンズ制御量を光学系制御部１６５内のレンズ制御部１６７に通知する。レンズ制御部１６７は、システム制御部１６０から通知されたレンズ制御量に基づいて、光学系１０５を構成するフォーカスレンズとズームレンズとを駆動する。
また、後述するフレーミング処理により、主被写体の位置に基づいて撮影範囲を変更する場合、システム制御部１６０は、追尾処理部１５５から入力画像内における主被写体領域の中心座標が通知され、主被写体領域の中心座標が画面の中央に来るよう、光学系制御部１６５内の鏡筒制御部１６８に対して、ヨーイング方向およびピッチング方向における鏡筒制御量を通知する。鏡筒制御部１６８は、システム制御部１６０から通知された鏡筒制御量に基づいて、光学系１０５を構成するレンズ鏡筒を駆動制御する。
次に、主被写体領域の抽出処理について説明する。
追尾処理部１５５は、あらかじめ設定された主被写体の特徴量に基づいて、画像データにおいて主被写体が存在する可能性の高い領域（以下「被写体領域」という）を抽出することもできる。このような処理は、一般に、被写体検出と呼ばれているが、被写体識別または被写体認識と呼ばれることもある。
主被写体の特徴量は、例えば、顔らしさを表す特徴量のように、追尾処理部１５５の内部に固定的に保持されている場合と、追尾開始時に追尾初期位置に対応する画像の部分領域から特徴量を演算するといった、動的に生成する場合との双方が考えられる。
被写体領域の抽出方法としては、例えば、追尾処理部１５５は、画素群の画素値そのものを特徴量として用い、入力画像に対して画素単位での領域比較を行うことにより、画像データ内に設定した複数の被写体領域の候補領域のうち、最も類似度の高い候補領域を被写体領域として決定する。この手法は、一般に、テンプレートマッチングと呼ばれている。
なお、特徴量として、画素値の代わりに、画像領域内の色分布を示す色ヒストグラムを用いてもよい。この場合、追尾処理部１５５は、入力画像から被写体領域の候補となる領域群を選出し、選出した領域群に対して色ヒストグラムを作成し、作成した色ヒストグラム間の類似度を、ヒストグラムインターセクション法などを用いて計算し、計算の結果、最も高い合致度を呈する画像領域を被写体領域として決定する。
ここで、被写体領域の候補となる領域群は、例えば、前回抽出された被写体領域の位置を中心とする一定範囲の領域内から選出する。これは、主被写体が短時間で大きく移動しないという仮定に基づいており、処理量の削減、および、主被写体から離れた位置に存在する類似被写体を無視することによる検出精度の向上を望むことができる。
また、特徴量として、輪郭を代用してもよいし、フレーム間差分を用いた動き情報などを代用してもよい。
また、特徴量として、ＧａｂｏｒまたはＨａａｒ−Ｌｉｋｅといった既知のウェーブレット特徴量を代用してもよい。あるいは、特徴量として、人間の顔もしくは人体または特定の人物もしくは物体といった検出対象物に応じてサンプル画像を用いて事前学習を行うことによって得られる特徴量を代用してもよい。この場合、追尾処理部１５５は、得られた特徴量に基づいて、入力画像から検出対象の存在する領域を被写体領域として抽出する。
以上述べたような被写体検出に関する様々な技術は、古くから研究開発されている。本発明は、特定の特徴量にも特定の被写体検出方法にも依存していないため、任意の特徴量および被写体検出方法を用いることができ、また、複数の技術を組み合わせて使用することもできる。
なお、色ヒストグラムや画像テンプレートなどの、サンプル画像を用いた事前学習を必要としない特徴量については、追尾処理部１５５は、システム制御部１６０から指示があったときに動的に作成する。特徴量の動的作成については後述する。
動き検出部１７０は、ビデオカメラ１００の動きを検出する。動き検出部１７０は、図示しないが、例えば、角速度センサおよびＡ／Ｄ変換器から構成されている。システム制御部１６０は、動き検出部１７０の角速度センサの出力に基づいて、ビデオカメラ１００のヨーイング方向およびピッチング方向の動きを検知することができる。これにより、例えば、ビデオカメラ１００が手で保持されているか否か、ビデオカメラ１００を持ったユーザが静止しているか否かを判定することができる。
より具体的には、動き検出部１７０は、例えば、角速度センサおよびＡ／Ｄ変換器が、ヨーイング方向の動き検出用とピッチング方向の動き検出用に２組ずつ設けられている。動き検出部１７０の角速度センサは、ヨーイング方向とピッチング方向の２つの角速度信号を出力する。角速度センサから出力された２つの角速度信号は、それぞれ、動き検出部１７０のＡ／Ｄ変換器でＡ／Ｄ変換された後、システム制御部１６０に通知される。システム制御部１６０は、２つの角速度信号に対してそれぞれハイパスフィルタを適用し低周波成分を遮断した後、角速度信号の積分を行い、角変位信号を得る。システム制御部１６０は、ヨーイング方向の角速度または角変位信号、および、ピッチング方向の角速度または角変位信号を、それぞれ閾値と比較することによって、所望の判定を行う。
制御部としてのシステム制御部１６０は、ＣＰＵ（Central Processing Unit）、プログラムを記録したＲＯＭ（Read Only Memory）、およびプログラム実行用のＲＡＭ（Random Access Memory）から成り（いずれも図示せず）、システムバス１３０を介してビデオカメラ１００の各部の動作を制御する。
より具体的には、システム制御部１６０は、ユーザが操作部１８０を操作したときに、その操作に応じて操作部１８０から入力される操作情報に従って、ビデオカメラ１００の各部、特に、コーデック部１４０と記録Ｉ／Ｆ部１４５とから構成される記録部と、追尾処理部１５５から構成される追尾部とを制御する。
また、システム制御部１６０は、バッファメモリ部１３５に格納されたデジタル映像情報を、システムバス１３０を経由して取得し、取得したデジタル映像情報に対して画像縮小処理を施すことにより表示データを生成し、生成した表示データを表示部１９０に出力して、表示部１９０の表示画面において表示データを映像として表示させる。したがって、撮影モードが選択されているときは、バッファメモリ部１３５には上記撮像部により生成された映像データが格納されるため、生の映像が表示部１９０に表示される。また、再生モードが選択されているときは、バッファメモリ部１３５には上記記録部により生成された映像データが格納されるため、過去の記録映像が表示部１９０に表示される。
表示データを生成する際、システム制御部１６０は、記録時間情報、バッテリ残量情報、および動作中の機能を直感的に把握可能な各種アイコンなどが、表示画面に表示される映像に重畳されるよう、生成した表示データに対して画像処理を行う。また、操作部１８０が操作されることにより各種設定のためのメニューを表示することが要求された場合、システム制御部１６０は、要求されたメニューが表示画面に表示されるよう表示データに対して画像処理を行う。さらに、メニューの選択、ならびに、設定および設定解除の操作が行われた場合、システム制御部１６０は、それらの操作に応じた画像処理を表示データに対して行う。
表示部１９０は、例えば、小型のＬＣＤ（Liquid Crystal Display）パネルなどの薄型表示パネルを有するほか、電子ビューファインダ（ＥＶＦ：Electric View Finder）を有する。
操作部１８０は、複数の操作部材から構成される。ユーザは、小型の薄型表示パネルまたはＥＶＦに表示された映像を参照しながら、操作部１８０を操作することができる。操作部１８０が操作されたとき、操作部１８０からシステム制御部１６０にその操作情報が入力される。
操作部材は、典型的にはボタンやレバーなどである。操作部材がボタンである場合、ユーザは、操作部材の押下操作を行うことにより、ボタンを解放状態（ＯＦＦ状態）から押下状態（ＯＮ状態）に変化させたり押下状態（ＯＮ状態）から解放状態（ＯＦＦ状態）に復帰させたりする。
なお、操作部材は、操作部材への人体部位の接触を検知することができる、例えば、静電容量方式のセンサを有するものであってもよい。操作部１８０がこのようなセンサを有する場合、システム制御部１６０は、人体部位が操作部材に接触していることが検知されたときには、操作部材が押下状態（ＯＮ状態）を呈していると判定し、人体部位が操作部材に接触していないことが検知されたときには、操作部材が解放状態（ＯＦＦ状態）を呈していると判定する。
要するに、ビデオカメラ１００は、種々のボタンやレバーなどで構成される操作部１８０によって操作される。ユーザは、小型のＬＣＤパネルやＥＶＦに代表される表示部１９０にて撮影中の映像を参照しながら、操作部１８０を通じてビデオカメラ１００に種々の指示を与える。表示部１９０に表示される映像データは、システム制御部１６０によって作成される。システム制御部１６０は、バッファメモリ部１３５に格納された画像データを表示部１９０の解像度に適合するよう縮小し、縮小した映像に対して、ビデオカメラ１００の動作状態を直感的に把握できる各種アイコンなどを重畳した上で、表示部１９０に出力する。
なお、表示部１９０は、所定の方向に回転可能である。ユーザによって表示部１９０が所定の方向に回転された場合、回転検出部１７５からシステム制御部１６０に通知が行われる。
次に、本実施の形態における主被写体の指定方法について説明する。
図３は、本実施の形態における表示部１９０の表示内容の一例を示す図である。図３（Ａ）において、指定枠２１０は、主被写体２００を指定するための枠表示であり、追尾モードが有効になっている場合に画面中央に表示される。指定枠２１０内に主被写体２００を捉えた状態で、操作部１８０を構成する追尾ボタンが押下されると、指定枠２１０内の領域に対応する画像データに基づいて、追尾処理部１５５にて、追尾処理に使用される特徴量が生成される。
追尾処理が開始されると、図３（Ｂ）に示すように、主被写体２００に追尾枠２２０が重畳して表示される。
本実施の形態では、主被写体の検出結果に基づいて実施される複数の撮影機能の適用先を切り替える切り替え手段を設けて、被写体検出結果が適用される撮影機能の選択を可能としている。これにより、主被写体の検出結果に基づいて実施される複数の撮影機能を個別に有効化または無効化することができるため、ユーザの撮影意図に応じたより自由度の高い撮影が可能となる。
具体的には、ビデオカメラ１００は、複数のフレーミング補助モードを備えており、操作部１８０により追尾処理の開始指示がなされた場合、システム制御部１６０は、あらかじめ選択されたフレーミング補助モードで動作を行う。あるいは、他の実施の形態で後述するように、システム制御部１６０は、記録Ｉ／Ｆ部１４５、動き検出部１７０、および回転検出部１７５から情報を取得し、適切なフレーミング補助モードを自動的に選択する。
例えば、一例として、本実施の形態では、ビデオカメラ１００は、第１のフレーミング補助モードと第２のフレーミング補助モードを備えている。第１のフレーミング補助モードは、追尾処理部１５５で検出された主被写体の位置情報に基づいてフレーミングを補助する表示を表示部１９０に表示するフレーミング補助モードである。第２のフレーミング補助モードは、追尾処理部１５５で検出された主被写体の位置情報に基づいてフレーミング処理を実行させるフレーミング補助モードである。第１のフレーミング補助モードでは、ユーザはある程度自由にフレーミングを設定することができる。一方、第２のフレーミング補助モードは、自動撮影によりユーザの撮影時の負担を軽減することを目的としている。動作の詳細は、後述する。
次いで、上記構成を有するビデオカメラ１００における追尾処理の流れについて、図４に示すフローチャートを用いて説明する。
図４のフローチャートは、録画時、または、録画待機時において操作部１８０を構成する追尾ボタンが押下されたときに行われる処理を示している。
まず、ステップＳ１０００では、システム制御部１６０は、図３（Ａ）に示す指定枠２１０の位置（座標）を主被写体位置情報として設定する。
そして、ステップＳ１１００では、システム制御部１６０は、既述の方法によって、ステップＳ１０００で設定した主被写体位置情報が示す位置の部分画像、つまり、指定枠２１０内の部分画像の特徴量を取得する。
なお、ステップＳ１０００およびステップＳ１１００では、追尾処理を開始するために必要な情報が設定された。これ以降のステップでは、取得した情報に基づいて追尾処理が実行される。
そして、ステップＳ１２００では、追尾処理部１５５は、被写体領域の検出を行う。具体的には、追尾処理部１５５は、既述の方法によって、ステップＳ１０００で設定した主被写体位置情報を基準として、画像データから被写体候補領域を抽出し、ステップＳ１１００で設定した特徴量に最も合致する被写体領域を、被写体候補領域から選択し被写体領域とする。
そして、ステップＳ１３００では、システム制御部１６０は、ステップＳ１２００での被写体領域検出結果が成功であったか否かを判定する。この判定の結果として、被写体領域検出結果が成功であった場合は（Ｓ１３００：ＹＥＳ）、ステップＳ１４００に進み、被写体領域検出結果が不成功であった場合は（Ｓ１３００：ＮＯ）、直ちにステップＳ１７００に進む。
ステップＳ１４００では、システム制御部１６０は、主被写体位置情報を更新する。
そして、ステップＳ１５００では、システム制御部１６０は、ステップＳ１４００で更新した主被写体位置情報に基づいて、追尾枠２２０の表示を更新する。
そして、ステップＳ１６００では、システム制御部１６０は、本実施の形態の特徴である後述する追尾処理を行う。
そして、ステップＳ１７００では、システム制御部１６０は、操作部１８０を構成する追尾ボタンが押下されたか否かを判定する。この判定の結果として、追尾ボタンが押下された場合は（Ｓ１７００：ＹＥＳ）、追尾処理を終了する。これに対し、追尾ボタンが押下されていない場合は（Ｓ１７００：ＮＯ）、ステップＳ１２００に戻り、追尾処理を続行する。
なお、図４に示すフローチャートに基づく追尾処理の実施中、追尾処理部１５５には、随時、映像信号処理部１２０からデジタル映像信号が入力されており、入力されたデジタル映像信号に基づいて、追尾処理部１５５内の図示しないメモリの画像データが随時更新されているものとする。
なお、ステップＳ１０００およびステップＳ１１００では、上記の処理内容に代えて、あらかじめ記憶されている特徴量を読み込み、画面内から当該特徴量を持つ領域を抽出し、抽出した領域の位置を最初の主被写体位置としてもよい。
図５は、図４に示す追尾処理（ステップＳ１６００）の内容の一例を示すフローチャートである。図５に示す追尾処理は、第１のフレーミング補助モードにおける追尾処理の動作内容の一例を示している。
まず、ステップＳ１６１０では、システム制御部１６０は、既述の方法によって、ステップＳ１４００で更新した主被写体位置情報に基づいて、自動合焦（ＡＦ）処理および自動露出（ＡＥ）処理の制御を行う。
そして、ステップＳ１６１２では、システム制御部１６０は、ステップＳ１４００で更新した主被写体位置情報に基づいて、主被写体が撮影領域の範囲外へフレームアウトしそうか否かを判定する。これは、追尾処理部１５５内の図示しないメモリに格納されている画像データの外周に一定の範囲の領域を設け、その領域に主被写体が入っているか否かを調べることによって、容易に判定することができる。この判定の結果として、主被写体がフレームアウトしそうである場合は（Ｓ１６１２：ＹＥＳ）、ステップＳ１６１４に進み、主被写体がフレームアウトしそうでない場合は（Ｓ１６１２：ＮＯ）、直ちに図４のステップＳ１７００にリターンする。
ステップＳ１６１４では、システム制御部１６０は、フレームアウトしそうな方向がユーザにわかるよう、表示部１９０を通じて警告表示を行う。その後、処理は、図４のステップＳ１７００にリターンする。
図６は、図５のステップＳ１６１４で行う警告表示の一例を示す図である。
図６は、主被写体が右方向にフレームアウトしそうであると判定された場合の表示例である。ここでは、図６に示すように、警告表示２３０が画面右方向に表示されている。その他の方向に主被写体がフレームアウトしそうになった場合は、上方向であれば警告表示２３０ａ、左方向であれば警告表示２３０ｂ、下方向であれば警告表示２３０ｃ、をそれぞれ表示する。
なお、ユーザの注意を喚起するため、警告表示２３０の色を変化させたり、点滅させたりしてもよい。また、上下左右の４方向に加えて、斜め方向など、警告表示２３０のパターンをさらに細かく表示するように構成してもよい。
以上が、第１のフレーミング補助モードにおける追尾処理の動作内容である。主被写体がフレームアウトしそうな方向をユーザに知らせる本処理によって、フレーミングの調整を支援することができるため、ビデオカメラ１００の使い勝手が向上する。
図７は、図４に示す追尾処理（ステップＳ１６００）の内容の一例を示すフローチャートである。図７に示す追尾処理は、第２のフレーミング補助モードにおける追尾処理の動作内容の一例を示している。
まず、ステップＳ１６２０では、システム制御部１６０は、既述の方法によって、ステップＳ１４００で更新した主被写体位置情報に基づいて、自動合焦（ＡＦ）処理および自動露出（ＡＥ）処理の制御を行う。
そして、ステップＳ１６２２では、システム制御部１６０は、フレーミング処理を行う。具体的には、システム制御部１６０は、ステップＳ１４００で更新した主被写体位置情報に基づいて、主被写体が撮影領域の中央になるべく配置されるようなフレーミング処理を行う。例えば、システム制御部１６０は、主被写体の位置と撮影領域の中央との位置の差分を計算し、計算した差分量がゼロ（０）になるよう、鏡筒制御部１６８に鏡筒制御量を通知する。鏡筒制御部１６８は、システム制御部１６０から通知された鏡筒制御量に基づいて、光学系１０５を構成するレンズ鏡筒をヨーイング方向およびピッチング方向に駆動制御する。レンズ鏡筒を駆動することによって、光学系１０５の光軸が変化し、結果として撮影領域における主被写体の位置が変化する。
ただし、光学系１０５のレンズ鏡筒の駆動可能量には限界があるため、レンズ鏡筒を駆動制御しても主被写体が撮影領域からフレームアウトする場合がある。したがって、主被写体のフレームアウトを防止するため、ステップＳ１６２４で、主被写体がフレームアウトしそうか否かの判定を行う。この判定処理の内容は、図５に示すステップＳ１６１２の判定処理の内容と同一である。
すなわち、ステップＳ１６２４では、システム制御部１６０は、ステップＳ１４００で更新した主被写体位置情報に基づいて、主被写体が撮影領域の範囲外へフレームアウトしそうか否かを判定する。これは、上記のように、追尾処理部１５５内の図示しないメモリに格納されている画像データの外周に一定の範囲の領域を設け、その領域に主被写体が入っているか否かを調べることによって、容易に判定することができる。この判定の結果として、主被写体がフレームアウトしそうである場合は（Ｓ１６２４：ＹＥＳ）、ステップＳ１６２６に進み、主被写体がフレームアウトしそうでない場合は（Ｓ１６２４：ＮＯ）、直ちに図４のステップＳ１７００にリターンする。
ステップＳ１６２６では、システム制御部１６０は、表示部１９０を通じて警告表示を行う。その後、処理は、図４のステップＳ１７００にリターンする。
図８は、図７のステップＳ１６２６で行う警告表示の一例を示す図である。
図８の例では、第１のフレーミング補助モード時の警告表示２３０（図６参照）と異なり、警告表示２４０は、主被写体がフレームアウトしそうな方向は示していない。ただし、第１のフレーミング補助モード時の警告表示２３０よりも、より一層目立つような表示となっている。
第２のフレーミング補助モードは、自動撮影によりユーザの撮影時の負担を軽減することを目的としている。そのため、ユーザは、第２のフレーミング補助モードで動作中の撮像装置（ビデオカメラ１００）に対して、注意を払っていない場合があると考えられる。例えば、ユーザが、表示部１９０を注視しておらず、撮影中に主被写体を直に見ているといった場合である。このような場合、フレームアウトしそうであるという情報をユーザに迅速に伝えることが、撮影失敗を回避するために重要であり、フレームアウトしそうな方向といった、付加的な情報の提示の優先度は低い。したがって、第２のフレーミング補助モード時の警告表示については、図８に示す警告表示２４０のように、画面上に大きく警告表示を表示することによって、ユーザがより確実に警告表示に気づくことができるようにしている。
なお、第２のフレーミング補助モードでは、さらに、例えば、図９に示すような警告表示を行うようにしてもよい。具体的には、図９（Ａ）は、主被写体を見失ったと判定された場合の表示部１９０における警告表示の一例である。被写体を見失ったことを示す警告表示２５０が画面に表示されている。さらに、主被写体を見失った状態が一定時間継続した場合には、追尾処理を終了するように構成し、この場合、図９（Ｂ）に示すような警告表示２６０を画面に表示するようにしてもよい。これらの警告表示２５０、２６０により、ユーザは、表示部１９０を注視していなくとも、容易にかつ瞬時に追尾処理の実施状況を把握することができる。
以上が、第２のフレーミング補助モードにおける追尾処理の動作内容である。
ここで、本実施の形態では、第１のフレーミング補助モードと、第２のフレーミング補助モードとは、手動で切り替え可能である。ユーザは、操作部１８０を用いて、ビデオカメラ１００に対して、第１のフレーミング補助モードで動作するか、第２のフレーミング補助モードで動作するかを指示することができる。ユーザの操作は、操作部１８０を通じてシステム制御部１６０に通知され、以降、システム制御部１６０は、ユーザが指示したフレーミング補助モードでビデオカメラ１００が動作するよう各部を制御する。
このように、本実施の形態によれば、ユーザの撮影意図に応じたより自由度の高い撮影が可能となる。
（実施の形態２）
実施の形態２は、撮影装置が撮影（録画）中か否かに応じて第１のフレーミング補助モードと第２のフレーミング補助モードとを自動的に切り替える場合である。
本実施の形態に係る撮像装置としてのビデオカメラは、図１に示す実施の形態１に対応するビデオカメラ１００と同様の基本的構成を有しており、同一の構成要素は同一の符号を用いて説明する。
本実施の形態の特徴は、ビデオカメラ１００が撮影（記録）中か否かを判定し、この判定の結果に応じて第１のフレーミング補助モードと第２のフレーミング補助モードとを自動的に切り替えることである。
具体的には、撮影中は、撮影が失敗しないよう、積極的にフレーミング処理を行う第２のフレーミング補助モードで動作する。一方、撮影中でなければ、積極的にフレーミング処理を行う第２のフレーミング補助モードはユーザに煩わしさを与える可能性がある上、この場合は、そもそも撮影の失敗がないため、被写体がフレームアウトしないようフレーミング処理を行う必要性も低い。したがって、撮影中でなければ、ユーザの意図どおりのフレーミングを行うことができるよう、第１のフレーミング補助モードで動作する。
ビデオカメラ１００が撮影中か否かは、記録Ｉ／Ｆ手段１４５が記録動作中であるか否かを、システム制御部１６０が確認することによって、判定可能である。
すなわち、切り替え部としてのシステム制御部１６０は、ビデオカメラ１００が撮影（記録）中である場合は、第２のフレーミング補助モードに自動的に切り替え、ビデオカメラ１００が撮影（記録）中でない場合は、第１のフレーミング補助モードに自動的に切り替える。
このように、本実施の形態によれば、ユーザの操作の負荷を軽減しつつ、ユーザの撮影意図に応じたより自由度の高い撮影が可能となる。
（実施の形態３）
実施の形態３は、撮影装置が手で保持されているか否かに応じて第１のフレーミング補助モードと第２のフレーミング補助モードとを自動的に切り替える場合である。
本実施の形態に係る撮像装置としてのビデオカメラは、図１に示す実施の形態１に対応するビデオカメラ１００と同様の基本的構成を有しており、同一の構成要素は同一の符号を用いて説明する。
本実施の形態の特徴は、ビデオカメラ１００が手で保持されているか否かを判定し、この判定の結果に応じて第１のフレーミング補助モードと第２のフレーミング補助モードとを自動的に切り替えることである。
具体的には、ビデオカメラ１００が手で保持されていると判定された場合は、ユーザの意図を推察して、第１のフレーミング補助モードで動作する。一方、ビデオカメラ１００が三脚に固定されているなど、手で保持されていないと判定された場合は、第２のフレーミング補助モードで動作する。
ビデオカメラ１００が手に持たれているか否かを判定する方法は公知である。例えば、動き検出部１７０から出力されるヨーイング方向およびピッチング方向の角速度信号に対してそれぞれＤＣフィルタを適用して低域周波数成分を除去し、得られた各信号の振幅が閾値を超えていれば手持ちであると判定し、それが閾値を超えていなければ手持ちでないと判定する。
すなわち、切り替え部としてのシステム制御部１６０は、ビデオカメラ１００が手で保持されている場合は、第１のフレーミング補助モードに自動的に切り替え、ビデオカメラ１００が手で保持されていない場合は、第２のフレーミング補助モードに自動的に切り替える。
このように、本実施の形態によれば、ユーザの操作の負荷を軽減しつつ、ユーザの撮影意図に応じたより自由度の高い撮影が可能となる。
（実施の形態４）
実施の形態４は、撮影装置を持ったユーザが静止しているか否かに応じて第１のフレーミング補助モードと第２のフレーミング補助モードとを自動的に切り替える場合である。
本実施の形態に係る撮像装置としてのビデオカメラは、図１に示す実施の形態１に対応するビデオカメラ１００と同様の基本的構成を有しており、同一の構成要素は同一の符号を用いて説明する。
本実施の形態の特徴は、ビデオカメラ１００を持ったユーザが静止しているか否かを判定し、この判定の結果に応じて第１のフレーミング補助モードと第２のフレーミング補助モードとを自動的に切り替えることである。
具体的には、ユーザが静止していると判定された場合は、ユーザの意図を推察して、第１のフレーミング補助モードで動作する。一方、ユーザが歩行しているなど、ユーザが静止していないと判定された場合は、第２のフレーミング補助モードで動作する。
ユーザが静止しているか否かの判定は、動き検出部１７０から出力されるヨーイング方向およびピッチング方向の角速度信号を用いて、システム制御部１６０にて実施することができる。各角速度信号の周波数および振幅が一定の閾値を超えた場合、システム制御部１６０は、ビデオカメラ１００を持ったユーザは静止していないと判定する。
すなわち、切り替え部としてのシステム制御部１６０は、ビデオカメラ１００を持ったユーザが静止している場合は、第１のフレーミング補助モードに自動的に切り替え、ビデオカメラ１００を持ったユーザが静止している場合は、第２のフレーミング補助モードに自動的に切り替える。
以上の動作により、ユーザが静止していないため主被写体を撮影領域内に収めにくい状況においても、第２のフレーミング補助モードが有効となるため、撮影失敗の可能性を低減することができる。
（実施の形態５）
実施の形態５は、いわゆる自分撮りか否かに応じて第１のフレーミング補助モードと第２のフレーミング補助モードとを自動的に切り替える場合である。
本実施の形態に係る撮像装置としてのビデオカメラは、図１に示す実施の形態１に対応するビデオカメラ１００と同様の基本的構成を有しており、同一の構成要素は同一の符号を用いて説明する。
本実施の形態の特徴は、手に持った撮像装置（ビデオカメラ１００）で自分自身を取る、いわゆる自分撮りの場合とそうでない場合とを判定し、この判定の結果に応じて第１のフレーミング補助モードと第２のフレーミング補助モードとを自動的に切り替えることである。
具体的には、自分撮りでないと判定された場合は、第１のフレーミング補助モードで動作し、自分撮りであると判定された場合は、第２のフレーミング補助モードで動作する。自分撮りの場合は、通常時の撮影と比べてフレーミングを定めることが難しいため、フレーミングの変更制御が行われる第２のフレーミング補助モードで動作するようにしている。
自分撮りを行っているか否かを判定する方法として、例えば、表示部１９０の回転を検知する方法がある。
図１０は、図１に示すビデオカメラ１００の外観を示す斜視図である。
図１０において、ボタン１８０ａは、録画の開始および停止を指示する録画ボタンである。ボタン１８０ｂは、被写体検出処理および追尾処理の開始・停止を指示する追尾ボタンである。ボタン１８０ｃは、ズームを行うためのズームレバーである。
開閉パネル３００は、記録媒体１９５を挿入するためのソケット１５０を防護するための開閉パネルである。ユーザは、開閉パネル３００を開けて、記録媒体１９５を挿入する。バッテリ３１０は、ビデオカメラ１００の駆動に必要な電力を供給する。
ＬＣＤ１９０ａおよびＥＶＦ１９０ｂは、いずれも、表示部１９０を構成している。ＬＣＤ１９０ａは、ＬＣＤ回転部３２０に取り付けられている。ＬＣＤ回転部３２０は、矢印３３０で示す方向に回転可能に構成されている。ＬＣＤ回転部３２０が回転した後、ＬＣＤ１９０ａと光学系１０５とが略同一方向に向いたとき、回転検出部１７５からシステム制御部１６０に通知が行われる。
回転検出部１７５により、ＬＣＤ１９０ａの回転が検知された場合、システム制御部１６０は、自分撮りが設定されたものと判定し、第１のフレーミング補助モードから第２のフレーミング補助モードにモードを自動的に切り替える。
このように、本実施の形態によれば、ユーザの操作の負荷を軽減しつつ、ユーザの撮影意図に応じたより自由度の高い撮影が可能となる。
なお、本実施の形態では、表示部１９０をユーザが注視していると考えられるため、フレーミング制御のみを行い、図８および図９に示す各種警告表示は表示しないようにしてもよい。
また、本実施の形態の変形例として、表示部１９０ではなく光学系１０５が回転するように構成されている撮像装置に対しても、類似の構成で同様のモード切り替えが可能である。この場合、回転検出部１７５は光学系１０５の回転を検知する。
（実施の形態６）
実施の形態６は、第１のフレーミング補助モードおよび第２のフレーミング補助モードに加えて、第３のフレーミング補助モードを有する場合である。
本実施の形態に係る撮像装置としてのビデオカメラは、図１に示す実施の形態１に対応するビデオカメラ１００と同様の基本的構成を有しており、同一の構成要素は同一の符号を用いて説明する。
本実施の形態の特徴は、第１のフレーミング補助モードおよび第２のフレーミング補助モードに加えて、第３のフレーミング補助モードが選択可能であることである。第３のフレーミング補助モードは、第２のフレーミング補助モードで実施するフレーミング制御に加えて、主被写体が撮影領域に占める割合が一定の大きさになるよう、つまり、主被写体が画面内において一定の大きさになるよう、光学系１０５に対して自動的にズーム制御を行うモードである。第１から第３のフレーミング補助モードのいずれのモードで動作するかは、操作部１８０を用いてユーザが指定する。
ビデオカメラ１００が第３のフレーミング補助モードで動作する場合、システム制御部１６０は、追尾処理部１５５において得られた被写体検出結果に基づいて、主被写体の大きさを一定にするためのズーム方向およびズーム量を算出し、レンズ制御部１６７にズーム制御情報として通知する。レンズ制御部１６７は、システム制御部１６０から通知されたズーム制御情報に基づいて、光学系１０５のズームレンズおよびフォーカスレンズを駆動する。
このように、本実施の形態によれば、フレーミング補助モードの数が増えるため、ユーザの撮影意図に応じたより一層自由度の高い撮影が可能となる。
以上、本発明の好適な実施の形態について説明した。
なお、本発明は、上記各実施の形態に限定されるわけではなく、本発明の要旨を逸脱しない範囲において種々の変形を実施し得ることは言うまでもない。特に、本実施の形態では、フレーミング補助モードを２つまたは３つとしたが、これに限定されない。フレーミング補助モードの数、および、各フレーミング補助モードで実施する撮影機能群は、種々変更可能である。さらには、より一層ユーザの撮影意図に応じた撮影を可能とするよう、被写体検出結果に基づいて実施する撮影機能を各々有効化または無効化できるように構成してもよい。
本発明に係る撮像装置は、主被写体の検出結果に基づいて実施される撮影機能を切り替えることができるため、ユーザの撮影意図に応じたより自由度の高い撮影を可能とすることができ、デジタルカメラやデジタルビデオカメラなど、様々な撮像装置に対して有用である。
本発明の実施の形態１に係る撮像装置としてのビデオカメラの構成を示すブロック図 図１に示す光学系制御部の構成の一例を示すブロック図 本実施の形態における表示部の表示内容の一例を示す図 本実施の形態におけるビデオカメラの追尾処理の流れを示すフローチャート 本実施の形態における第１のフレーミング補助モードにおける追尾処理の内容の一例を示すフローチャート 本実施の形態における第１のフレーミング補助モードにおけるフレームアウト警告表示の一例を示す図 本実施の形態における第２のフレーミング補助モードにおける追尾処理の内容の一例を示すフローチャート 本実施の形態における第２のフレーミング補助モードにおけるフレームアウト警告表示の一例を示す例 （Ａ）本実施の形態における第２のフレーミング補助モードにおける主被写体検出処理失敗時の警告表示の一例を示す図、（Ｂ）本実施の形態における第２のフレーミング補助モードにおける主被写体検出処理失敗による追尾処理停止時の警告表示の一例を示す図 図１に示すビデオカメラの外観を示す斜視図 従来の撮像装置における、２つの被写体検出モードの切り替え処理を示すフローチャート
符号の説明
１００ ビデオカメラ
１０５ 光学系
１１０ 固体撮像素子
１１５ Ａ／Ｄ変換部
１２０ 映像信号処理部
１２５ Ｙ／Ｃ変換部
１３０ システムバス
１３５ バッファメモリ部
１４０ コーデック部
１４５ 記録Ｉ／Ｆ部
１５０ ソケット
１５５ 追尾処理部
１６０ システム制御部
１６５ 光学系制御部
１６６ 絞り制御部
１６７ レンズ制御部
１６８ 鏡筒制御部
１７０ 動き検出部
１７５ 回転検出部
１８０ 操作部
１８０ａ 録画ボタン
１８０ｂ 追尾ボタン
１８０ｃ ズームレバー
１９０ 表示部
１９０ａ ＬＣＤ
１９０ｂ ＥＶＦ
１９５ 記録媒体
２００ 主被写体
２１０ 指定枠
２２０ 追尾枠
２３０、２４０、２５０、２６０ 警告表示
３００ 開閉パネル
３１０ バッテリ
３２０ ＬＣＤ回転部

Claims (14)

  1. 被写界の光学像を結像させるとともに、前記光学像を変倍可能な光学系と、
    前記光学系によって結像された光学像を電気的な画像信号に変換する撮像部と、
    前記撮像部によって撮像された画像を表示する表示部と、
    前記撮像部によって撮像された画像の中から主被写体を検出する被写体検出部と、
    前記被写体検出部によって検出された主被写体の位置情報に基づいてフレーミングを制御するフレーミング制御部と、
    前記被写体検出部によって検出された主被写体の位置情報に基づいてフレーミングを補助する表示を前記表示部に表示する第１のフレーミング補助モードと、前記被写体検出部によって検出された主被写体の位置情報に基づいて前記フレーミング制御部を動作させる第２のフレーミング補助モードと、を選択的に実行する制御部と、
    前記第１のフレーミング補助モードと前記第２のフレーミング補助モードとを切り替える切り替え部と、
    前記撮像部によって撮像された画像を記録する記録部と、を有し、
    前記切り替え部は、
    前記記録部が記録動作中でない場合、前記第１フレーミング補助モードに自動的に切り替え、前記記録部が記録動作中の場合、前記第２フレーミング補助モードに自動的に切り替える、
    撮像装置。
  2. 被写界の光学像を結像させるとともに、前記光学像を変倍可能な光学系と、
    前記光学系によって結像された光学像を電気的な画像信号に変換する撮像部と、
    前記撮像部によって撮像された画像を表示する表示部と、
    前記撮像部によって撮像された画像の中から主被写体を検出する被写体検出部と、
    前記被写体検出部によって検出された主被写体の位置情報に基づいてフレーミングを制御するフレーミング制御部と、
    前記被写体検出部によって検出された主被写体の位置情報に基づいてフレーミングを補助する表示を前記表示部に表示する第１のフレーミング補助モードと、前記被写体検出部によって検出された主被写体の位置情報に基づいて前記フレーミング制御部を動作させる第２のフレーミング補助モードと、を選択的に実行する制御部と、
    前記第１のフレーミング補助モードと前記第２のフレーミング補助モードとを切り替える切り替え部と、
    当該撮像装置の動きを検出する動き検出部と、を有し、
    前記切り替え部は、
    前記動き検出部によって検出された当該撮像装置の動きに応じて前記第１フレーミング補助モードと前記第２フレーミング補助モードとを切り替える、
    撮像装置。
  3. 自動合焦制御を行う自動合焦制御部と、
    自動露出制御を行う自動露出制御部と、をさらに有し、
    前記被写体検出部によって検出された主被写体の位置情報に基づいて、自動合焦処理および自動露出処理を行う、
    請求項１または２に記載の撮像装置。
  4. 前記制御部は、
    前記第１のフレーミング補助モードを実行する場合、前記主被写体が前記表示部の表示範囲外に出そうになったとき、前記主被写体が前記表示部の表示範囲外に出ると予測される方向を前記表示部に表示させる、
    請求項１または２に記載の撮像装置。
  5. 前記フレーミング制御部は、
    前記主被写体が前記表示部の表示範囲内から消えないようにフレーミングを変更する、
    請求項１または２に記載の撮像装置。
  6. 前記フレーミング制御部は、
    前記主被写体が前記表示部の表示範囲の略中央に位置するように前記主被写体の移動方向に応じてフレーミングを変更する、
    請求項５記載の撮像装置。
  7. 前記制御部は、
    前記第２のフレーミング補助モードを実行する場合、前記主被写体が前記表示部の表示範囲外に出そうになったとき、所定の警告表示を前記表示部に表示させる、
    請求項１または２に記載の撮像装置。
  8. 前記制御部は、
    前記第２のフレーミング補助モードを実行する場合、前記主被写体を見失ったとき、所定の警告表示を前記表示部に表示させる、
    請求項１または２に記載の撮像装置。
  9. 前記制御部は、
    前記第２のフレーミング補助モードを実行する場合、前記主被写体を見失ったために前記被写体検出部の動作が終了したとき、所定の警告表示を前記表示部に表示させる、
    請求項１または２に記載の撮像装置。
  10. 使用者による操作を受け付ける操作部、をさらに有し、
    前記切り替え部は、
    使用者による前記操作部の操作に応じて前記第１フレーミング補助モードと前記第２フレーミング補助モードとを切り替える、
    請求項１または２に記載の撮像装置。
  11. 前記制御部は、
    前記第１のフレーミング補助モードと前記第２のフレーミング補助モードに加えて、前記主被写体が前記表示部の表示範囲内において一定の大きさになるよう、前記光学系に対してズーム制御を行う第３のフレーミング補助モードを選択的に実行可能であり、
    前記切り替え部は、
    使用者による前記操作部の操作に応じて前記第１フレーミング補助モードと前記第２フレーミング補助モードと前記第３のフレーミング補助モードとを切り替える、
    請求項１０記載の撮像装置。
  12. 前記動き検出部の出力に基づいて、当該撮像装置が使用者によって保持されているか否かを判定する手持ち判定部、をさらに有し、
    前記切り替え部は、
    前記手持ち判定部によって当該撮像装置が使用者によって保持されていると判定された場合、前記第１フレーミング補助モードに自動的に切り替える、
    請求項２記載の撮像装置。
  13. 前記動き検出部の出力に基づいて、当該撮像装置を保持した使用者が静止しているか否かを判定する静止判定部、をさらに有し、
    前記切り替え部は、
    前記静止判定部によって当該撮像装置を保持した使用者が静止していると判定された場合、前記第１フレーミング補助モードに自動的に切り替える、
    請求項２記載の撮像装置。
  14. 被写界の光学像を結像させるとともに、前記光学像を変倍可能な光学系と、
    前記光学系によって結像された光学像を電気的な画像信号に変換する撮像部と、
    前記撮像部によって撮像された画像を表示する表示部と、
    前記撮像部によって撮像された画像の中から主被写体を検出する被写体検出部と、
    前記被写体検出部によって検出された主被写体の位置情報に基づいてフレーミングを制御するフレーミング制御部と、
    前記被写体検出部によって検出された主被写体の位置情報に基づいてフレーミングを補助する表示を前記表示部に表示する第１のフレーミング補助モードと、前記被写体検出部によって検出された主被写体の位置情報に基づいて前記フレーミング制御部を動作させる第２のフレーミング補助モードと、を選択的に実行する制御部と、
    前記第１のフレーミング補助モードと前記第２のフレーミング補助モードとを切り替える切り替え部と、
    回転可能に構成された前記光学系または前記表示部の回転を検出する回転検出部と、を有し、
    前記切り替え部は、
    前記光学系および前記表示部の向きが略同一方向となったことを前記回転検出部が検出した場合、前記第２フレーミング補助モードに自動的に切り替える、
    撮像装置。
JP2008317335A 2008-12-12 2008-12-12 撮像装置 Expired - Fee Related JP5210841B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008317335A JP5210841B2 (ja) 2008-12-12 2008-12-12 撮像装置
US12/633,087 US8243180B2 (en) 2008-12-12 2009-12-08 Imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008317335A JP5210841B2 (ja) 2008-12-12 2008-12-12 撮像装置

Publications (2)

Publication Number Publication Date
JP2010141722A JP2010141722A (ja) 2010-06-24
JP5210841B2 true JP5210841B2 (ja) 2013-06-12

Family

ID=42240069

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008317335A Expired - Fee Related JP5210841B2 (ja) 2008-12-12 2008-12-12 撮像装置

Country Status (2)

Country Link
US (1) US8243180B2 (ja)
JP (1) JP5210841B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8605158B2 (en) * 2009-12-28 2013-12-10 Sony Corporation Image pickup control apparatus, image pickup control method and computer readable medium for changing an image pickup mode
JP5809925B2 (ja) * 2010-11-02 2015-11-11 オリンパス株式会社 画像処理装置、それを備えた画像表示装置及び撮像装置、画像処理方法、並びに画像処理プログラム
KR101794350B1 (ko) * 2011-02-08 2017-12-04 삼성전자주식회사 휴대단말기의 영상 촬영 방법
US20150098000A1 (en) * 2013-10-03 2015-04-09 Futurewei Technologies, Inc. System and Method for Dynamic Image Composition Guidance in Digital Camera
JP6640460B2 (ja) * 2015-03-30 2020-02-05 富士フイルム株式会社 画像撮影装置、画像撮影方法、プログラムおよび記録媒体
JP6643843B2 (ja) 2015-09-14 2020-02-12 オリンパス株式会社 撮像操作ガイド装置および撮像装置の操作ガイド方法
CN109922259A (zh) 2016-05-31 2019-06-21 深圳市大疆灵眸科技有限公司 云台控制方法、装置和云台
US20190297265A1 (en) * 2018-03-21 2019-09-26 Sawah Innovations Inc. User-feedback video stabilization device and method
EP3627511A1 (en) 2018-09-21 2020-03-25 Samsung Electronics Co., Ltd. Method and system for automatically adding effect while recording

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7173650B2 (en) * 2001-03-28 2007-02-06 Koninklijke Philips Electronics N.V. Method for assisting an automated video tracking system in reaquiring a target
JP2002314851A (ja) * 2001-04-10 2002-10-25 Nikon Corp 撮影装置
US7466356B2 (en) * 2003-07-25 2008-12-16 Hewlett-Packard Development Company, L.P. Method and apparatus for setting a marker on an object and tracking the position of the object
JP2006245793A (ja) * 2005-03-01 2006-09-14 Konica Minolta Holdings Inc 撮像システム
JP2007074143A (ja) * 2005-09-05 2007-03-22 Canon Inc 撮像装置及び撮像システム
JP2007049362A (ja) * 2005-08-09 2007-02-22 Canon Inc 追尾装置及びその制御方法
JP5061444B2 (ja) * 2005-09-20 2012-10-31 ソニー株式会社 撮像装置及び撮像方法
JP4572815B2 (ja) * 2005-11-18 2010-11-04 富士フイルム株式会社 撮像装置及び撮像方法
JP2007336400A (ja) 2006-06-16 2007-12-27 Canon Inc 撮像装置、撮像システム、撮像方法及び撮像プログラム
JP4761146B2 (ja) * 2006-06-30 2011-08-31 カシオ計算機株式会社 撮像装置及びそのプログラム
JP4807284B2 (ja) * 2007-03-07 2011-11-02 カシオ計算機株式会社 カメラ装置、カメラ装置制御プログラム及びカメラ装置制御方法
US20080278589A1 (en) * 2007-05-11 2008-11-13 Karl Ola Thorn Methods for identifying a target subject to automatically focus a digital camera and related systems, and computer program products

Also Published As

Publication number Publication date
JP2010141722A (ja) 2010-06-24
US8243180B2 (en) 2012-08-14
US20100149400A1 (en) 2010-06-17

Similar Documents

Publication Publication Date Title
JP5210841B2 (ja) 撮像装置
JP5136669B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP7346654B2 (ja) 画像処理装置、撮像装置、制御方法、プログラム、及び記憶媒体
US7868917B2 (en) Imaging device with moving object prediction notification
JP5210843B2 (ja) 撮像装置
JP5331128B2 (ja) 撮像装置
JP2013013050A (ja) 撮像装置及びこの撮像装置を用いた表示方法
US8593545B2 (en) Imaging apparatus, imaging method, and computer-readable recording medium with switched image capturing mode
JP2009218719A (ja) 撮像装置及び撮像方法
JP2007279601A (ja) カメラ
JP2009171220A (ja) 撮像装置及びその制御方法
JP2011027847A (ja) Ａｆ枠自動追尾システム
JP2011039344A (ja) 撮像装置および方法
JP2009147574A (ja) 撮像装置及びそのプログラム
JP2003244520A (ja) 撮影装置
JP5370555B2 (ja) 撮像装置、撮像方法及びプログラム
JP2009118083A (ja) デジタルカメラ
JP2009055160A (ja) 撮像装置、および撮像方法
JP2009020163A (ja) 撮像装置及びそのプログラム
JP2020088810A (ja) 撮像装置及び撮像装置の制御方法
WO2020129620A1 (ja) 撮像制御装置、撮像装置、撮像制御方法
JP2011097130A (ja) 撮像装置
JP2011066828A (ja) 撮像装置、撮像方法及びプログラム
JP5276538B2 (ja) Ａｆ枠自動追尾システム
JP2020115679A (ja) 物体検出装置、検出制御方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111104

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130225

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160301

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5210841

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees