JP7471827B2

JP7471827B2 - 撮像装置及びその制御方法、プログラム、記憶媒体

Info

Publication number: JP7471827B2
Application number: JP2020002432A
Authority: JP
Inventors: 謙哉深堀; 伸茂若松
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2020-01-09
Filing date: 2020-01-09
Publication date: 2024-04-22
Anticipated expiration: 2040-01-09
Also published as: JP2021111868A

Description

本発明は、撮像装置およびその制御方法に関する。

ユーザーがシャッターを切るなどの意図したタイミングで撮影するのではなく、カメラが自動的に状況判断を行って、継続的に撮影を行う自動撮影カメラが知られている(特許文献１)。自動撮影カメラは、ストラップ等でユーザーの身体に装着された状態で用いられ、ユーザーが日常生活で目にする光景を自動で映像として記録して、ユーザーの好みの映像を残すことができる。

しかし、このようなカメラは自動で撮影を行うため、ユーザーが装着した状態で用いられるような場合では、ユーザーが撮影中であることを気に掛けずに行動すると、自身の動作により大きな像ブレが発生する場合があった。そこで、特許文献２には、撮影した映像に対して、撮影中の像ブレ量に応じて、切り出し位置と切り出しサイズを変更することにより、像ブレ補正を行う方法が提案されている。

特開２０１９－１０６６９４号公報特開２０１４－２０７５０７号公報

しかしながら、上述の特許文献１及び特許文献２に開示された従来技術では、カメラで可能な像ブレ補正の範囲を超えた像ブレが発生した際には、撮影された映像に像ブレが残り、ユーザーにとって好ましい映像が得られない場合があった。その場合には、映像の像ブレが残った部分のフレームを、ユーザーが撮影後に手動で編集して削除する必要があった。

また、カメラがユーザーに装着された状態で撮影が行われるため、ユーザーが撮影中に移動すればカメラも移動してシーンや被写体が変化してしまう。そのため、一つの映像の中に複数のシーンや被写体が含まれることがあった。その場合は、それぞれのシーンや被写体ごとの映像とするためには、ユーザーが撮影後に手動で編集する必要があった。

本発明は上述した課題に鑑みてなされたものであり、その目的は、ユーザーが特別な操作を行うことなく、ユーザーの好みの映像を取得することが可能な撮像装置を提供することである。

本発明に係わる撮像装置は、撮像装置であって、被写体像を撮像する撮像手段と、前記撮像装置の振れを検出する検出手段と、前記撮像装置の振れに起因する前記撮像手段の撮像面上での像ブレを補正する像ブレ補正手段と、前記撮像装置の状態に基づいて、前記撮像手段に自動的に撮影を行わせる自動撮影手段と、前記撮像手段により自動的に撮影された映像データと、該映像データに対する前記像ブレ補正手段による像ブレ補正状態のデータとを記録する記録手段と、前記記録手段により記録された前記像ブレ補正状態のデータに基づいて、前記映像データを自動編集する自動編集手段と、を備え、前記像ブレ補正手段は、前記自動撮影手段による撮影の前に、前記検出手段により検出された前記撮像装置の振れの状態に基づいて、像ブレ補正範囲を決定することを特徴とする。

また、本発明に係わる撮像装置は、撮像装置であって、被写体像を撮像する撮像手段と、前記撮像装置の振れを検出する検出手段と、前記撮像手段により撮像された映像データから被写体を検出する被写体検出手段と、前記撮像装置の振れに起因する前記撮像手段の撮像面上でのロール傾きを補正する傾き補正手段と、前記撮像装置の状態に基づいて、前記撮像手段に自動的に撮影を行わせる自動撮影手段と、前記撮像手段により自動的に撮影された映像データと、該映像データに対する前記傾き補正手段による傾き補正状態のデータとを記録する記録手段と、前記記録手段により記録された前記傾き補正状態のデータおよび前記被写体検出手段の被写体検出状態に基づいて、前記映像データを自動編集する自動編集手段と、を備えることを特徴とする。

本発明によれば、ユーザーが特別な操作を行うことなく、ユーザーの好みの映像を取得することが可能な撮像装置を提供することが可能となる。

本発明の撮像装置の第１の実施形態であるカメラの外観を模式的に示す図。第１の実施形態のカメラの構成を示すブロック図。電子式ブレ補正を説明する図。第１制御部の動作を説明するフローチャート。自動編集処理を説明するフローチャート。自動編集におけるブレ補正範囲外のフレームの削除動作を説明する図。自動編集における傾き補正範囲外のフレームの削除動作を説明する図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（第１の実施形態）
＜カメラの構成＞
図１は、本発明の撮像装置の第１の実施形態であるカメラの外観を模式的に示す図である。図１（ａ）に示すカメラ１０１には、電源スイッチ、カメラ操作を行うことができる操作部材などが設けられている。被写体像の撮像を行う撮像光学系としての撮影レンズ群や撮像素子を一体的に含む鏡筒１０２は、カメラ１０１の固定部１０３に対して移動可能に取り付けられている。具体的には、鏡筒１０２は、固定部１０３に対して回転駆動できる機構であるチルト回転ユニット１０４とパン回転ユニット１０５とを介して固定部１０３に取り付けられている。

チルト回転ユニット１０４は、鏡筒１０２を図１（ｂ）に示すピッチ方向に回転駆動することができるモーター駆動機構を備え、パン回転ユニット１０５は、鏡筒１０２を図１（ｂ）に示すヨー方向に回転駆動することができるモーター駆動機構を備える。すなわちカメラ１０１は、鏡筒１０２を２軸方向に回転駆動する機構を有する。図１（ｂ）に示す各軸は、固定部１０３の位置に対してそれぞれ定義されている。角速度計１０６及び加速度計１０７は、カメラ１０１の固定部１０３に配置されている。そして、角速度計１０６や加速度計１０７の出力信号に基づいて、カメラ１０１の振動を検出し、チルト回転ユニット１０４とパン回転ユニット１０５を回転駆動することにより、鏡筒１０２の振れを補正したり、傾きを補正したりすることができる。

図２は本実施形態のカメラ１０１の全体構成を示すブロック図である。図２において、第１制御部２２４は、例えばＣＰＵ（ＭＰＵ）、メモリ（ＤＲＡＭ、ＳＲＡＭ）などを備える。そして、不揮発性メモリ（ＥＥＰＲＯＭ）２１７に記憶されたプログラムに従って、各種処理を実行してカメラ１０１の各ブロックを制御したり、各ブロック間でのデータ転送を制御したりする。不揮発性メモリ２１７は、電気的に消去・記録可能なメモリであり、上記のように第１制御部２２４の動作用の定数、プログラム等が記憶される。

図２において、ズームユニット２０１は、変倍（結像された被写体像の拡大・縮小）を行うズームレンズを含む。ズーム駆動制御部２０２は、ズームユニット２０１を駆動制御するとともに、そのときの焦点距離を検出する。フォーカスユニット２０３は、ピント調整（焦点調節）を行うフォーカスレンズを含む。フォーカス駆動制御部２０４は、フォーカスユニット２０３を駆動制御する。

撮像部２０６は撮像素子を備え、各レンズ群を通して入射する光を受け、その光量に応じた電荷の情報をアナログ画像信号として映像処理部２０７に出力する。なお、ズームユニット２０１、フォーカスユニット２０３、撮像部２０６は、鏡筒１０２内に配置されている。

鏡筒回転駆動部２０５は、チルト回転ユニット１０４、パン回転ユニット１０５を駆動し、鏡筒１０２をチルト方向とパン方向に回動させる。

映像処理部２０７はアナログ画像信号をＡ／Ｄ変換して得られたデジタル画像データに対して、歪曲補正、ホワイトバランス調整、色補間処理等の画像処理を適用し、適用後のデジタル映像データを出力する。映像処理部２０７から出力されたデジタル映像データは、映像記録部２０８で動画記録用フォーマットに変換され、メモリ２１６に記憶されたり後述する映像出力部２１８に送信されたりする。

装置傾き検出部２０９と装置揺れ検出部２１０は、例えばカメラ１０１の３軸方向の角速度を検出する角速度計（ジャイロセンサ）１０６や、装置の３軸方向の加速度を検出する加速度計（加速度センサ）１０７を備える。装置傾き検出部２０９と装置揺れ検出部２１０は、それらのセンサにより検出された信号に基づいて、カメラ１０１の回転角度やカメラ１０１のブレ量などを演算する。第１制御部２２４は、演算結果に基づいて鏡筒回転駆動部２０５を制御し、チルト回転ユニット１０４とパン回転ユニット１０５を駆動させて光学的にカメラ１０１の振れに起因する撮像面上の像ブレや傾きを補正する。また、第１制御部２２４は、演算結果に基づいて画像切り出し範囲を移動させることにより、像ブレ補正を行う電子式像ブレ補正も行う。演算結果に合わせてフレームごとに補正量を算出し、補正量に合わせて画像の一部を切り出す設定を行う。

ここで、図３を用いて、フレームごとに補正量に合わせて画像の一部を切り出すことで補正を行う電子式像ブレ補正制御について説明する。

図３（ａ）は、第１制御部２２４で行われる電子式像ブレ補正で補正された画像を説明するための図である。傾き補正角度の演算結果からロール方向の回転補正を行うためのロール傾き補正量を算出する。画像３０１ａは、映像処理部２０７に入力される撮影画像を示す。画像３０２ａは、撮影画像３０１ａに対し、ロール傾き補正量に基づいて回転処理を行った後の回転画像を示す。さらに電子式像ブレ補正では、回転画像３０２ａから、撮影画像３０１ａと同じアスペクト比の内接部分を出力画像３０３ａとして切り出す処理が行われる。この切り出し処理を映像の毎フレームについて行うことにより、傾き方向の電子式像ブレ補正が実現される。

また、図３（ｂ）は、第１制御部２２４で行われる、画像の縦横方向（並進方向）の像ブレ補正を説明するための図である。並進方向の補正では、振れ角度とズーム位置情報に基づく焦点距離情報とから、ピッチ方向／ヨー方向の角度振れを補正するための画像シフト量が算出され、画像シフト量に合わせて画像の切り出し処理が行われる。画像３０１ｂは、映像処理部２０７に入力される撮影画像を示す。画像３０２ｂは、撮影画像３０１ｂから縦横の画像シフト量に合わせて切り出した画角に対応する画像である。この切り出し処理を映像の毎フレームについて行うことにより、並進方向の電子式像ブレ補正が実現される。

これらの光学的な補正と電子式の補正を組み合わせることにより、像ブレ補正と傾き補正を行う。

音声入力部２１４は、カメラ１０１に設けられたマイクによりカメラ１０１の周辺の音声信号を取得し、デジタル音声信号に変換して音声処理部２１５に送信する。音声処理部２１５は、入力されたデジタル音声信号の適正化処理等の音声に関する処理を行う。そして、音声処理部２１５で処理された音声信号は、第１制御部２２４によりメモリ２１６に送信される。メモリ２１６は、映像処理部２０７、音声処理部２１５により得られた画像信号及び音声信号を一時的に記憶する。

自動編集処理部２２０は、一時的にメモリ２１６に記憶された映像信号及び音声信号、カメラ１０１の回転角度や振れ量を読み出して、映像の切り出し、分割、削除等を行い、再度メモリ２１６に記憶させる。

映像処理部２０７及び音声処理部２１５は、メモリ２１６に一時的に記憶された画像信号や音声信号を読み出して画像信号の符号化、音声信号の符号化などを行い、圧縮画像信号、圧縮音声信号を生成する。第１制御部２２４は、これらの圧縮画像信号、圧縮音声信号を、記録再生部２２１に送信する。

記録再生部２２１は、記録媒体２２２に対して映像処理部２０７及び音声処理部２１５で生成された圧縮画像信号、圧縮音声信号、その他撮影に関する制御データ等を記録する。また、音声信号を圧縮符号化しない場合には、第１制御部２２４は、音声処理部２１５により生成された音声信号と映像処理部２０７により生成された圧縮画像信号とを、記録再生部２２１に送信し記録媒体２２２に記録させる。

記録媒体２２２は、カメラ１０１に内蔵された記録媒体でも、取外し可能な記録媒体でもよく、カメラ１０１で生成した圧縮画像信号、圧縮音声信号、音声信号などの各種データを記録することができる。一般的には、記録媒体２２２には不揮発性メモリ２１７よりも大容量な媒体が使用される。例えば、記録媒体２２２は、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－Ｒ、ＤＶＤ－Ｒ、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ、などのあらゆる方式の記録媒体を含む。

記録再生部２２１は、記録媒体２２２に記録された圧縮画像信号、圧縮音声信号、音声信号、各種データ、プログラムを読み出す（再生する）。そして、第１制御部２２４は、読み出された圧縮画像信号、圧縮音声信号を、映像処理部２０７及び音声処理部２１５に送信する。映像処理部２０７及び音声処理部２１５は、圧縮画像信号、圧縮音声信号を一時的にメモリ２１６に記憶させ、所定の手順で復号し、復号した信号を映像出力部２１８、音声出力部２１９に送信する。

音声入力部２１４には複数のマイクが配置されており、音声処理部２１５は複数のマイクが設置された平面に対する音の方向を検出することができ、後述する被写体の探索や自動撮影に用いられる。さらに、音声処理部２１５では、特定の音声コマンドを検出する。音声コマンドは事前に登録されたいくつかのコマンドの他、ユーザが特定音声をカメラに登録できる構成にしてもよい。また、撮像時の音シーン認識も行う。音シーン認識では、予め大量の音声データに基づいて機械学習により学習させたネットワークにより音シーンの判定を行う。例えば、「歓声が上がっている」、「拍手している」、「声を発している」などの特定シーンを検出するためのネットワークが音声処理部２１５に設定されており、特定音シーンや特定音声コマンドを検出する。音声処理部２１５が特定音シーンや特定音声コマンドを検出すると、第１制御部２２４や第２制御部２１２に、検出トリガー信号を出力する。

カメラ１０１のメインシステム全体を制御する第１制御部２２４とは別に、この第１制御部２２４の供給電源を制御する第２制御部２１２が設けられている。第１電源部２１１と第２電源部２１３は、第１制御部２２４と第２制御部２１２を動作させるための電力をそれぞれ供給する。カメラ１０１に設けられた電源ボタンの押下により、まず第１制御部２２４と第２制御部２１２の両方に電源が供給されるが、後述するように、第１制御部２２４は、第１電源部２１１へ自らの電源供給をＯＦＦする制御も行う。第１制御部２２４が動作していない間も、第２制御部２１２は動作しており、装置傾き検出部２０９や装置揺れ検出部２１０や音声処理部２１５からの情報が入力される。第２制御部２１２は、各種入力情報に基づいて、第１制御部２２４を起動するか否かの判定を行い、起動することが判定されると、第１電源部２１１に第１制御部２２４へ電力を供給するように指示する。

音声出力部２１９は、例えば撮影時などにカメラ１０１に内蔵されたスピーカーから予め設定された音声パターンを出力する。ＬＥＤ制御部２２５は、例えば撮影時などに、カメラ１０１に設けられたＬＥＤを、予め設定された点灯パターンや点滅パターンに基づいて点灯させる。映像出力部２１８は、例えば映像出力端子からなり、接続された外部ディスプレイ等に映像を表示させるために画像信号を出力する。また、音声出力部２１９、映像出力部２１８は、結合された１つの端子、例えばＨＤＭＩ（登録商標：Ｈｉｇｈ－ＤｅｆｉｎｉｔｉｏｎＭｕｌｔｉｍｅｄｉａＩｎｔｅｒｆａｃｅ）端子のような端子であってもよい。

通信部２２３は、カメラ１０１と外部装置との間で通信を行う部分であり、例えば、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信したり受信したりする。また、撮影開始や終了のコマンド、パン・チルト、ズーム駆動等の撮影にかかわる制御信号を受信して、外部装置の指示に基づいてカメラ１０１を駆動する。また、カメラ１０１と外部装置との間で、各種パラメータなどの情報を送信したり受信したりする。通信部２２３は、例えば、赤外線通信モジュール、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信モジュール、無線ＬＡＮ通信モジュール、ＷｉｒｅｌｅｓｓＵＳＢ（登録商標）、ＧＰＳ受信機等の無線通信モジュールを備える。

図４は、本実施形態におけるカメラ１０１の第１制御部２２４が受け持つ動作の例を説明するフローチャートである。

Ｓ４０１では、映像処理部２０７に撮像部２０６で撮像された映像信号を映像処理させ、被写体認識用の画像を生成する。生成された画像に対して、人物や物体などの特定の被写体の認識が行われる。人物を認識する場合は、被写体の顔や人体を検出する。

顔検出処理では、人物の顔を判断するためのパターンが予め定められており、撮像された画像内に含まれる、このパターンに一致する箇所を人物の顔画像として検出することができる。また、被写体の顔としての確からしさを示す信頼度も同時に算出される。信頼度は、例えば画像内における顔領域の大きさや、顔パターンとの一致度等から算出される。

さらに、物体認識についても同様に、撮像された画像内に含まれる物体として犬のような動物の場合、予め登録された動物のパターンに一致するか否かを判断することで物体を認識することができる。特定物体認識の方法については、ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋｓ（以下ＣＮＮと略記する）などを用いて予め検出したい被写体を学習しておき、顔認識や物体認識に対してＣＮＮを適用してもよい。

また、撮像された画像内の色相や彩度等のヒストグラムを使用する方法により、特徴被写体を抽出する方法などもある。この場合、撮影画角内に捉えられている被写体の画像を、その色相や彩度等のヒストグラムの分布に基づいて複数の区間に分け、区間ごとに撮像された画像を分類する処理が実行される。例えば、撮像された画像について複数の色成分のヒストグラムが作成され、その山型の分布範囲で区分けする。そして、同一の区間の組み合わせに属する領域により撮像された画像が分類され、被写体の画像領域が認識される。認識された被写体の画像領域ごとに評価値を算出することで、その評価値が最も高い被写体の画像領域を主被写体領域として判定することができる。

以上の方法で、撮像情報から各被写体情報を得ることができ、被写体の情報や撮影されるシーン情報などを判定することができる。

Ｓ４０２では、傾き補正量と像ブレ補正量の算出を行う、具体的には、まず、装置傾き検出部２０９と装置揺れ検出部２１０において取得した角速度および加速度情報に基づいてカメラ１０１の絶対角度の算出を行う。そして絶対角度を打ち消す角度方向に、チルト回転ユニット１０４およびパン回転ユニット１０５を動かす像ブレ補正角度を求め、傾き補正量と像ブレ補正量とする。

Ｓ４０３では、パン・チルト駆動を行う。Ｓ４０１で認識した被写体を追尾するためのパン・チルト駆動量と、Ｓ４０２で算出された像ブレ補正量に基づくパン・チルト駆動量を算出し、鏡筒回転駆動部２０５によってチルト回転ユニット１０４、パン回転ユニット１０５をそれぞれ駆動制御する。

Ｓ４０４では、ズームユニット２０１を制御してズーム駆動を行う。Ｓ４０１で認識した被写体の状態に応じてズームを駆動させる。例えば、被写体が人の顔である場合、画像上の顔が小さすぎて検出可能な最小サイズを下回ると、検出ができず、見失ってしまう恐れがある。そのような場合は、望遠側にズームすることにより、画像上の顔のサイズが大きくなるように制御する。一方で、画像上の顔が大きすぎる場合、カメラ自体の動きによって被写体が画角から外れやすくなってしまう。そのような場合は、広角側にズームすることにより、画面上の顔のサイズが小さくなるように制御する。このようにズーム制御を行うことにより、被写体を追跡するのに適した状態を保つことができる。

Ｓ４０５では、自動撮影を開始するか否かを判定する。ここでは、Ｓ４０１で行われた画像認識処理の被写体情報やシーン判定結果、音声コマンドや音シーンを用いて、撮影を行うか否かを判定する。例えば、Ｓ４０１のシーン判定結果で風景であった状態のところに、重要被写体認識により予め登録されたパターンの人物や動物が検出された際には、重要な被写体が画面内に存在するとして撮影を行う判定をする。また、人物が複数検出されているような状態のところで、歓声が上がっているような音シーンの判定が行われた場合には、何かしらの重要な出来事が発生したとして撮影を行う判定をする。この撮影を行う判断は、画像認識処理の重要被写体の出現率や、ユーザーの好みを学習して変更できるようにしてもよい。また、ユーザーが手動で重要な被写体を登録することにより、撮影を行う判断として用いてもよい。

Ｓ４０５で撮影を開始すると判定された場合には、Ｓ４０６に進み、これから撮影を行う際の傾き補正範囲と像ブレ補正範囲を決定する。傾き補正範囲と像ブレ補正範囲は、傾き補正や、像ブレ補正を行える最大範囲を、現在の装置の回転角度や、装置の振れ量、また撮影するモードによって変更することにより決定する。

例えば、風景のような傾きが気になるシーンの場合は、傾き補正と像ブレ補正の制御のための可動範囲やプロセッサの処理能力の配分を傾き補正に多く配分することにより、傾き補正に重点を置き、像ブレ補正範囲を狭く設定する。また、人物を撮影していてブレが気になるような場合は、像ブレ補正に補正範囲を多く分配し、傾き補正範囲を狭く設定する。

傾き補正範囲と像ブレ補正範囲が決定されたら、Ｓ４０７において自動撮影を開始する。その際に、フォーカス駆動制御部２０４によるオートフォーカス制御を行う。また、不図示の絞り制御部及び撮像素子ゲイン制御部、シャッター制御部を用いて、被写体が適切な明るさになるように露出制御を行う。さらに、撮影中はＳ４０６で決定した傾き補正範囲と像ブレ補正範囲に対する補正状態もメモリ２１６に記録する。撮影後には映像処理部２０７において、オートホワイトバランス処理、ノイズリダクション処理、ガンマ補正処理等、種々の映像処理を行い、映像を生成する。

Ｓ４０８では、Ｓ４０７で生成した映像と補正状態を使用して自動編集処理部２２０において自動編集処理を行う。自動編集処理では、映像中でブレ補正範囲や傾き補正範囲を超えたフレームのカットを行う。フレームのカットを行う際には、映像処理部２０７において処理された被写体情報やシーン判定情報、音声処理部２１５において処理された音データを使用して、フレームカットの位置を変更する。自動編集処理については、図５、図６を用いて詳細に説明する。

図５は、本実施形態におけるカメラ１０１の自動編集処理部２２０が受け持つ動作の例を説明するフローチャートである。

＜像ブレ補正範囲外の場合の処理の説明＞
Ｓ５０１では、映像処理部２０７によって生成された映像と、その映像の撮影時にメモリ２１６に記録された像ブレや傾きの補正状態（像ブレ補正状態、傾き補正状態）を確認し、Ｓ４０６で決定した補正範囲を超えたブレ補正範囲外の映像のフレームの範囲を検出する。ただし、ブレ補正範囲外を検出するときに、ブレ補正範囲外と補正範囲内を短時間で繰り返すような場合は、その期間をすべて補正範囲外として取り扱うような処理としてもよい。また、ブレ補正範囲外がごく短時間である場合には補正範囲内として取り扱うように、補正範囲の閾値を一時的に変更する処理としてもよい。

Ｓ５０２では、映像中の重要被写体情報を検出する。例えば、シーン判定情報で同一シーンが続く期間や、同一の犬が重要被写体として検出されている期間などの、同一の重要被写体検出が続く期間を検出する。

Ｓ５０３では、映像中の音データを検出する。例えば、音シーン判定結果を用いて、歓声が上がっている期間、拍手されている期間、声が発せられている期間などの同一音シーンが続く期間を検出する。

Ｓ５０４では、Ｓ５０２の同一の重要被写体が続く期間と、Ｓ５０３の同一音シーンが続く期間を用いて、それぞれの期間がＳ５０１で検出された削除される対象フレームと重なるか否かを判定する。削除の対称となっているフレームと同一の期間が存在する場合は、そのフレームを削除の対象から除く。削除の対象から除く方法は図６を用いて説明する。

図６は映像Ａ６００とブレ量６０１と被写体検出期間６０２とＳ４０１で算出する顔検出信頼度６０４とを、時間経過を横軸として表した図である。

映像Ａ６００は、人の顔を撮影していて、カメラが動かされて大きくブレたシーンを想定している。ブレ量６０１を参照すると、Ｓ４０６で決定した補正範囲閾値６０３を超えて削除対象となる大きいブレが発生している期間は、削除対象開始位置６０６から映像の最後の削除対象終了位置６０７までである。しかしながら、Ｓ５０２で検出した被写体検出期間６０２において、重要被写体としての顔検出が顔検出終了位置６０９まで検出されている（被写体検出状態）。また、顔検出信頼度６０４は顔認識閾値６０５より高ければ顔として認識できるが、顔検出信頼度低下位置６０８で信頼度が低下するため、以降は顔として検出は出来るがブレにより信頼度は低下して映像としては好ましくない状態となる。そのため、削除対象開始位置６０６から顔検出信頼度低下位置６０８まではブレが大きくとも顔として認識できる期間であるため、その期間は有用な映像であるとして、削除対象開始位置６０６から顔検出信頼度低下位置６０８までを削除対象から除く処理を行う。そのため、実際に削除対象となるのは顔検出信頼度低下位置６０８から映像の最後の削除対象終了位置６０７までの期間となる。

この様な判定処理を行った後、Ｓ５０５では、Ｓ５０４および図６で判定した期間のフレームを削除して映像を再度保存する。

上記のように、第１の実施形態においては、撮影された映像のブレ補正範囲を超えた部分を削除することにより、ユーザーの好みに合った映像を提供することが可能となる。

（第２の実施形態）
この第２実施形態では、カメラの構成及び全体動作は、第１の実施形態で説明した図１、図２、図４と同様であるため、説明を省略する。以下、第２の実施形態について、図５、図７を用いて、第１の実施形態と異なる部分について説明する。

＜傾き補正範囲外の場合の処理の説明＞
本実施形態では、図５のＳ５０１において、映像処理部２０７によって生成された映像と、その映像の撮影時にメモリ２１６に記録されたブレや傾きの補正状態を確認し、Ｓ４０６で決定した傾き補正の補正範囲を超えた映像のフレームを検出する。第１の実施形態でのブレ補正と同じように、傾き補正の補正範囲外と補正範囲内を短時間で繰り返すような場合は、その期間をすべて補正範囲外として取り扱うような処理としてもよい。また、補正範囲外がごく短時間である場合には、補正範囲内として取り扱うように補正範囲の閾値を一時的に変更する処理としてもよい。

Ｓ５０４では、Ｓ５０２の同一の重要被写体が続く期間と、Ｓ５０３の同一音シーンが続く期間を用いて、それぞれの期間がＳ５０１で検出された削除される対象フレームと重なるか否かを判定する。削除の対称となっているフレームと同一の期間が存在する場合は、そのフレームを削除の対象から除く。削除の対象から除く方法は図７を用いて説明する。

図７は、映像Ｂ７００と傾き量７０１と音シーン検出期間７０２と被写体検出期間７０３と重要被写体として検出した顔のサイズ７１０とを、時間経過を横軸として表した図である。映像Ｂ７００は、人物を撮影していたが、その人物が遠くに離れていき、別の被写体の人物を撮影しようとカメラが動かされ大きく傾き、その後、人物が声を出しながら近づいてきたシーンを撮影した場合を想定している。

傾き量７０１において、Ｓ４０６で決定した補正範囲閾値７０４を超えて削除対象となる大きい傾きが発生している期間は、削除開始位置７０５から削除終了位置７０６までである。しかしながら、Ｓ５０２で検出した被写体検出期間７０３において、被写体として検出された第１の顔の検出が顔検出終了位置７０７まで存在する。また、検出された第１の顔のサイズは、顔検出サイズ閾値７１０を下回ると、顔として認識はできるが、小さくて撮影に適さないサイズとなる。そのため、削除開始位置７０５から第１の顔の検出サイズ閾値位置７１３までは、傾きは大きいものの顔として認識出来ており、撮影に適したサイズである。そのため、削除開始位置７０５から第１の顔の検出サイズ閾値位置７１３までの間は、傾きが大きくとも有用な映像であるとして、削除開始位置を位置７０５から第１の顔の検出サイズ閾値位置７１３に変更する。

また、被写体検出期間７０３において、第２の顔の検出が顔検出開始位置７０８で開始される。さらに声が発生された状態が音シーン検出期間７０２でも音シーン検出開始位置７０９として検出される。ただし、第２の顔の検出サイズはだんだんと大きくなっていくため、第２の顔の検出サイズ閾値位置７１４より後にならないと撮影に適した顔のサイズにならない。そのため、第２の顔の検出サイズ閾値位置７１４以降は撮影に適した顔のサイズで、かつ、声が発生された状態が検出された状態となり、有用な音シーンやシーンが含まれている映像であると判定される。そのため、削除終了位置を位置７０６から第２の顔の検出サイズ閾値位置７１４に変更する。

この様な判定処理を行った後、Ｓ５０５では、Ｓ５０４および図７で判定した期間のフレームを削除して、一つの映像をシーンごとに分けた複数の映像として再度保存する。

上記のように、第２の実施形態においては、撮影された映像の傾き補正範囲を超えた部分を削除することにより、ユーザーの好みに合った映像を提供することが可能となる。

なお、本実施形態では、傾き補正の範囲を超えた場合について説明しているが、第１の実施形態で説明したブレ補正の範囲を超えた場合と傾き補正の範囲を超えた場合の両方を使用して判定してもよい。

以上説明したように、上記の第１及び第２の実施形態によれば、撮影した映像に補正しきれないブレや傾きが発生している場合でも、ユーザーが記録された映像を手動で編集する手間を軽減できる。また、補正しきれない像ブレや傾きが発生した前後でシーンや被写体が変わった際に、同一被写体や同一シーンのみを含む映像に分割することができる。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０１：カメラ、１０４：チルト回転ユニット、１０５：パン回転ユニット、２０６：撮像部、２０７：映像処理部、２０９：装置傾き検出部、２１０：装置揺れ検出部、２１２：第２制御部、２２４：第１制御部

Claims

撮像装置であって、
被写体像を撮像する撮像手段と、
前記撮像装置の振れを検出する検出手段と、
前記撮像装置の振れに起因する前記撮像手段の撮像面上での像ブレを補正する像ブレ補正手段と、
前記撮像装置の状態に基づいて、前記撮像手段に自動的に撮影を行わせる自動撮影手段と、
前記撮像手段により自動的に撮影された映像データと、該映像データに対する前記像ブレ補正手段による像ブレ補正状態のデータとを記録する記録手段と、
前記記録手段により記録された前記像ブレ補正状態のデータに基づいて、前記映像データを自動編集する自動編集手段と、
を備え、
前記像ブレ補正手段は、前記自動撮影手段による撮影の前に、前記検出手段により検出された前記撮像装置の振れの状態に基づいて、像ブレ補正範囲を決定することを特徴とする撮像装置。
前記自動編集手段は、前記撮像手段で撮像された映像データの各フレームの像ブレ補正状態が前記像ブレ補正範囲を超えた場合は、該像ブレ補正範囲を超えたフレームを前記映像データから削除することを特徴とする請求項１に記載の撮像装置。
前記記録手段は、前記撮像手段で撮像された映像データの撮像時の音データをさらに記録し、前記自動編集手段は、前記像ブレ補正状態のデータに加えて、前記音データに基づいて、前記映像データを自動編集することを特徴とする請求項２に記載の撮像装置。
前記自動編集手段は、前記像ブレ補正状態のデータに基づいて決定した削除するフレームの位置を、前記音データに基づいて変更することを特徴とする請求項３に記載の撮像装置。
前記撮像手段により撮像された映像データから被写体を検出する被写体検出手段をさらに備え、前記自動編集手段は、前記像ブレ補正状態のデータに加えて、前記被写体検出手段の被写体検出状態に基づいて、前記映像データを自動編集することを特徴とする請求項２に記載の撮像装置。
前記自動編集手段は、前記像ブレ補正状態のデータに基づいて決定した削除するフレームの位置を、前記被写体検出状態に基づいて変更することを特徴とする請求項５に記載の撮像装置。
さらに、前記撮像装置の振れに起因する前記撮像手段の撮像面上でのロール傾きを補正する傾き補正手段を備え、
前記記録手段は、前記撮像手段により自動的に撮影された映像データと、該映像データに対する前記像ブレ補正手段による像ブレ補正状態のデータと、前記映像データに対する前記傾き補正手段による傾き補正状態のデータとを記録し、
前記自動編集手段は、前記記録手段により記録された前記像ブレ補正状態のデータと、前記傾き補正状態のデータとに基づいて、前記映像データを自動編集することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
撮像装置であって、
被写体像を撮像する撮像手段と、
前記撮像装置の振れを検出する検出手段と、
前記撮像手段により撮像された映像データから被写体を検出する被写体検出手段と、
前記撮像装置の振れに起因する前記撮像手段の撮像面上でのロール傾きを補正する傾き補正手段と、
前記撮像装置の状態に基づいて、前記撮像手段に自動的に撮影を行わせる自動撮影手段と、
前記撮像手段により自動的に撮影された映像データと、該映像データに対する前記傾き補正手段による傾き補正状態のデータとを記録する記録手段と、
前記記録手段により記録された前記傾き補正状態のデータおよび前記被写体検出手段の被写体検出状態に基づいて、前記映像データを自動編集する自動編集手段と、
を備えることを特徴とする撮像装置。
前記傾き補正手段は、前記自動撮影手段による撮影の前に、前記検出手段により検出された前記撮像装置の振れの状態に基づいて、傾き補正範囲を決定することを特徴とする請求項８に記載の撮像装置。
前記自動編集手段は、前記撮像手段で撮像された映像データの各フレームの傾き補正状態が前記傾き補正範囲を超えた場合は、該傾き補正範囲を超えたフレームを前記映像データから削除することを特徴とする請求項９に記載の撮像装置。
前記記録手段は、前記撮像手段で撮像された映像データの撮像時の音データをさらに記録し、前記自動編集手段は、前記傾き補正状態のデータに加えて、前記音データに基づいて、前記映像データを自動編集することを特徴とする請求項１０に記載の撮像装置。
前記自動編集手段は、前記傾き補正状態のデータに基づいて決定した削除するフレームの位置を、前記音データに基づいて変更することを特徴とする請求項１１に記載の撮像装置。
前記自動編集手段は、前記傾き補正状態のデータに基づいて決定した削除するフレームの位置を、前記被写体検出状態に基づいて変更することを特徴とする請求項１０に記載の撮像装置。
被写体像を撮像する撮像手段を備える撮像装置を制御する方法であって、
前記撮像装置の振れを検出する検出工程と、
前記撮像装置の振れに起因する前記撮像手段の撮像面上での像ブレを補正する像ブレ補正工程と、
前記撮像装置の状態に基づいて、前記撮像手段に自動的に撮影を行わせる自動撮影工程と、
前記撮像手段により自動的に撮影された映像データと、該映像データに対する前記像ブレ補正工程による像ブレ補正状態のデータとを記録する記録工程と、
前記記録工程において記録された前記像ブレ補正状態のデータに基づいて、前記映像データを自動編集する自動編集工程と、を有し、
前記像ブレ補正工程では、前記自動撮影工程における撮影の前に、前記検出工程において検出された前記撮像装置の振れの状態に基づいて、像ブレ補正範囲を決定することを特徴とする撮像装置の制御方法。
さらに、前記撮像装置の振れに起因する前記撮像手段の撮像面上でのロール傾きを補正する傾き補正工程を有し、
前記記録工程では、前記撮像手段により自動的に撮影された映像データと、該映像データに対する前記像ブレ補正工程による像ブレ補正状態のデータと、前記映像データに対する前記傾き補正工程による傾き補正状態のデータとを記録し、
前記自動編集工程では、前記記録工程において記録された前記像ブレ補正状態のデータと、前記傾き補正状態のデータとに基づいて、前記映像データを自動編集することを特徴とする請求項１４に記載の撮像装置の制御方法。
被写体像を撮像する撮像手段を備える撮像装置を制御する方法であって、
前記撮像装置の振れを検出する検出工程と、
前記撮像手段により撮像された映像データから被写体を検出する被写体検出工程と、
前記撮像装置の振れに起因する前記撮像手段の撮像面上でのロール傾きを補正する傾き補正工程と、
前記撮像装置の状態に基づいて、前記撮像手段に自動的に撮影を行わせる自動撮影工程と、
前記撮像手段により自動的に撮影された映像データと、該映像データに対する前記傾き補正工程による傾き補正状態のデータとを記録する記録工程と、
前記記録工程において記録された前記傾き補正状態のデータおよび前記被写体検出工程における被写体検出状態に基づいて、前記映像データを自動編集する自動編集工程と、
を有することを特徴とする撮像装置の制御方法。
請求項１４乃至１６のいずれか１項に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
請求項１４乃至１６のいずれか１項に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。