JP2024001637A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】柔軟な自動記録が可能な撮像装置およびその制御方法を提供すること。【解決手段】撮像装置は、撮像素子を用いて得られた画像から特定の被写体を検出する。撮像装置の制御回路は、特定の被写体の状態が予め定められた記録開始条件に該当する場合に画像の記録を開始し、特定の被写体の状態が予め定められた記録終了条件に該当する場合に画像の記録を終了するように撮像装置を制御する。【選択図】図７

Description

本発明は、撮像装置およびその制御方法に関する。

従来、注目すべき移動被写体が、撮影範囲の所定位置に到達すると自動記録する撮像装置が知られている（特許文献１）。

特開２０１０－４１２９９号公報

しかしながら、特許文献１では特定位置以外で注目被写体を自動記録することはできない。そのため、特定の位置を設定した後は画角および撮影方向を変化させることができない。また、注目被写体の状態（例えば特定の動作、姿勢、ポーズなど）に応じて自動記録することもできない。

このような従来技術の課題に鑑み、本発明はその一態様において、柔軟な自動記録が可能な撮像装置およびその制御方法を提供する。

上述の目的は、撮像素子を用いて得られた画像から特定の被写体を検出する検出手段と、特定の被写体の状態が予め定められた記録開始条件に該当する場合に画像の記録を開始し、特定の被写体の状態が予め定められた記録終了条件に該当する場合に画像の記録を終了するように撮像装置を制御する制御手段と、を有することを特徴とする撮像装置によって達成される。

本発明によれば、柔軟な自動記録が可能な撮像装置およびその制御方法を提供することができる。

実施形態に係る撮像装置の外観例および鏡筒の可動方向を示す図 実施形態に係る撮像装置の機能構成例を示すブロック図 実施形態に係る撮像装置と外部装置との通信方法に関する図 実施形態に係る外部装置の機能構成例を示すブロック図 実施形態における制御回路の動作に関するフローチャート 実施形態における制御回路の動作に関するフローチャート 実施形態における制御回路の動作に関するフローチャート サーフィンシーンにおける動作検出の具体例を説明するための図 スノーボードシーンにおける動作検出の具体例を説明するための図

以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

なお、以下の実施形態では、本発明を画像処理装置の一例としての撮像装置で実施する場合に関して説明する。しかし、本発明は撮像機能を有する任意の電子機器、あるいは撮像装置を制御可能な任意の電子機器で実施可能である。このような電子機器には、ビデオカメラ、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローン、ドライブレコーダが含まれる。これらは例示であり、本発明は他の電子機器でも実施可能である。

＜撮像装置の構成＞
図１（ａ）は、本発明の一実施形態に係る画像処理装置の一例としての撮像装置１０１の外観例を示す斜視図である。なお、ここでは撮像装置１０１が電動パン、チルト、ズーム機能を有し、無人記録可能なＰＴＺカメラであるものとする。しかし、電動パン、チルト、ズーム機能、無人記録機能はいずれも必須でない。

撮像装置１０１は、鏡筒１０２と、鏡筒１０２を支持する固定部１０３とを有する。なお、固定部１０３はネジなどで設置場所に固定されてもよいし、固定されずに置かれているだけでもよい。鏡筒１０２は固定部１０３に対してパンおよびチルト可能に取り付けられている。図１（ｂ）は、Ｙ軸を鉛直方向、Ｚ軸を鏡筒１０２が有する撮影光学系の光軸方向、Ｘ軸をＹ軸およびＺ軸と直交する方向とした場合の鏡筒１０２の回転方向を示している。図１（ｂ）における原点Ｏを撮像装置１０１の３次元位置とする。

鏡筒１０２は、鏡筒１０２を固定部１０３に対して図１（ｂ）に示すピッチ方向に回転させるモーター駆動機構であるチルト回転ユニット１０４を有する。また、鏡筒１０２は、鏡筒１０２を固定部１０３に対して図１（ｂ）に示すヨー方向に回転させるモーター駆動機構であるパン回転ユニット１０５を有する。

固定部１０３には撮像装置１０１の振動を検出するための角速度センサ１０６と加速度センサ１０７が設けられている。角速度センサ１０６や加速度センサ１０７の出力に基づいて検出した撮像装置１０１の振動を打ち消すようにチルト回転ユニット１０４とパン回転ユニット１０５を駆動することにより、鏡筒１０２の振れや傾きを補正することができる。なお、角速度センサ１０６および加速度センサ１０７は例えば同一パッケージに実装された６軸慣性センサであってもよい。

図２は、撮像装置１０１の内部構成例を示すブロック図である。制御回路２２１は、プログラムを実行可能な１つ以上のプロセッサ（例えば、ＣＰＵ、ＧＰＵ、マイクロプロセッサ、ＭＰＵなど）と、システムメモリ（例えば、ＤＲＡＭ、ＳＲＡＭなど）とを有する。プロセッサ（以下、便宜上ＣＰＵと呼ぶ）は、例えば不揮発性メモリ２１４に記憶されているプログラムをシステムメモリにロードして実行することにより、各部の動作を制御し、撮像装置１０１の機能を実現する。

不揮発性メモリ２１４は例えばＥＥＰＲＯＭのように電気的に書き替え可能であってよい。不揮発性メモリ２１４は制御回路２２１のＣＰＵが実行可能なプログラム、撮像装置１０１の動作に必要な設定値および定数などを記憶する。

鏡筒１０２は、撮影光学系を構成するズームユニット２０１およびフォーカスユニット２０３と、撮影光学系が形成する光学像をデジタル画像信号に変換する撮像部２０６とを有する。ズームユニット２０１は、ズーム駆動回路２０２によって駆動され、撮影光学系の画角を調整する。フォーカスユニット２０３は、フォーカス駆動回路２０４によって駆動されるフォーカスレンズを有し、撮影光学系の合焦距離を調整する。

撮像部２０６は、撮像素子とＡ／Ｄ変換器とを有する。撮像素子は例えば原色ベイヤ配列のカラーフィルタを有する公知のＣＣＤもしくはＣＭＯＳカラーイメージセンサであってよい。撮像素子は複数の画素が２次元配列された画素アレイと、各画素から信号を読み出すための周辺回路とを有する。各画素は光電変換によって入射光量に応じた電荷を蓄積する。露光期間に蓄積された電荷量に応じた電圧を有する信号を各画素から読み出すことにより、撮影光学系が撮像面に形成した光学像を、画素信号群（アナログ画像信号）に変換する。アナログ画像信号はＡ／Ｄ変換器でデジタル画像信号に変換されたのち、撮像部２０６から画像処理回路２０７に入力される。

本実施形態では撮像素子の各画素が１つのマイクロレンズと２つの光電変換領域を有し、１回の撮影で視差画像対を生成可能であるものとする。視差画像対は、位相差検出方式のＡＦに用いる像信号対を生成したり、画素値が深度情報または距離情報を示す奥行き画像（デプスマップ）を生成したりするために用いられる。なお、このような構成を有する撮像素子や、視差画像対を用いた像信号対やデプスマップの生成方法は公知であるため、詳細についての説明は省略する。

画像処理回路２０７は例えば複数のＡＬＵ（Ａｒｉｔｈｍｅｔｉｃ ａｎｄ Ｌｏｇｉｃ Ｕｎｉｔ）を搭載した演算回路、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号処理回路（ＤＳＰ）などで実現できる。画像処理回路２０７は、撮像部２０６から出力されるデジタル画像信号に対して予め定められた画像処理を適用し、記録用の画像データおよび表示用の画像データの少なくとも一方を生成する。なお、画像処理回路２０７が生成する画像データは動画データであっても静止画データであってもよい。例えば動画データと静止画データとを並行して、もしくは時分割的に生成してもよい。

画像処理回路２０７が適用する画像処理には、例えば、前処理、色補間処理、補正処理、検出処理、データ加工処理、評価値算出処理、特殊効果処理などが含まれうる。
前処理には、信号増幅、基準レベル調整、欠陥画素補正などが含まれうる。
色補間処理は、撮像素子にカラーフィルタが設けられている場合に行われ、画像データを構成する個々の画素データに含まれていない色成分の値を補間する処理である。色補間処理はデモザイク処理とも呼ばれる。
補正処理には、ホワイトバランス調整、階調補正、撮像光学系の光学収差に起因する画像劣化の補正（画像回復）、撮像光学系の周辺減光の影響の補正、色補正などの処理が含まれうる。
検出処理には、特徴領域（たとえば顔領域や人体領域）やその動きの検出、人物の認識処理などが含まれうる。
データ加工処理には、領域の切り出し（トリミング）、合成、スケーリング、符号化および復号、ヘッダ情報生成（データファイル生成）などの処理が含まれうる。表示用画像データや記録用画像データの生成もデータ加工処理に含まれる。
評価値算出処理には、自動焦点検出（ＡＦ）に用いる信号や評価値の生成、自動露出制御（ＡＥ）に用いる評価値の生成などの処理が含まれうる。
特殊効果処理には、ボケ効果の付加、色調の変更、リライティングなどの処理などが含まれうる。
なお、これらは画像処理回路２０７が適用可能な処理の例示であり、画像処理回路２０７が適用する処理を限定するものではない。

画像記録回路２０８は、画像処理回路２０７が生成した画像データに対し、画像データの用途や記録（送信）先に応じた処理を必要に応じて適用する。なお、符号化や画像データファイルの生成を画像処理回路２０７で行う代わりに画像記録回路２０８で行ってもよい。画像記録回路２０８は、制御回路２２１を通じて画像データをメモリ２１３、映像出力回路２１５などの記録（送信）先に出力する。

鏡筒回転駆動回路２０５は、制御回路２２１の制御に従い、チルト回転ユニット１０４およびパン回転ユニット１０５を駆動する。

揺れ検出回路２０９は、例えば撮像装置１０１の３軸方向について、角速度を検出する角速度センサ（ジャイロセンサ）１０６と加速度を検出する加速度センサ１０７とを有する。揺れ検出回路２０９は、角速度センサ１０６および加速度センサ１０７の出力信号に基づいて、例えば図１（ｂ）に示すＸ，Ｙ，Ｚ軸周りの角速度およびＸ，Ｙ，Ｚ軸方向の加速度を検出する。そして、揺れ検出回路２０９は、検出した角速度および加速度に基づいて撮像装置１０１の振れを抑制するためのチルトおよびパン駆動量を決定し、制御回路２２１に出力する。

音声入力回路２１１は撮像装置１０１の周辺の音声をアナログ音声信号として出力する複数のマイクと、アナログ音声信号をデジタル音声信号（音声データ）に変換するＡ／Ｄ変換器とを有する。音声処理回路２１２は、音声入力回路２１１から入力された音声データにノイズ低減処理などの信号処理を適用する。音声処理回路２１２が処理した音声データは制御回路２２１を通じてメモリ２１３に格納される。メモリ２１３に格納された音声データは動画データ生成時に画像処理回路２０７および／または画像記録回路２０８により用いられる。

また、音声入力回路２１１は、複数のマイクの入力に基づいて、主音源の方向を推定することができる。主音源の方向に関する情報は、後述する被写体の探索や自動記録に用いることができる。さらに、音声処理回路２１２は、特定の音声コマンドを認識することができる。音声処理回路２１２は、事前に登録された音声コマンドだけでなく、ユーザが登録した音声コマンドを認識可能であってよい。

音声処理回路２１２は、マイクから入力される音声信号に基づいて、撮影シーンの状態を認識することができる。例えば、「歓声が上がっている」、「拍手されている」、「特定の音声が発せられている」といった状態を認識することができる。この認識は例えば認識する状態ごとに予め学習を行ったニューラルネットワークを用いるなど、公知の方法で実現できる。音声処理回路２１２は、音声コマンドやシーンの状態を認識すると、制御回路２２１に認識結果を出力する。

メモリ２１３は、画像処理回路２０７や記録再生回路２１８などの作業用メモリや、画像データおよび音声データのバッファメモリなどとして用いられる。

記録再生回路２１８は、画像処理回路２０７が生成する記録用の画像データ、撮影に関する制御データなどを記録媒体２１９に記録する。なお、音声データを単独で記録してもよい。記録再生回路２１８はまた、記録媒体２１９に記録されたデータを読み出す。読み出したデータは制御回路２２１によってメモリ２１３に格納される。符号化された画像データが読み出された場合、画像処理回路２０７が復号する。画像処理回路２０７は復号した画像データを映像出力回路２１５に、音声データを音声出力回路２１６に出力する。

記録媒体２１９は例えばメモリカードであるが、他の任意の種類の記録媒体を用いることができる。記録媒体２１９が複数あってもよい。

電源回路２１０は、制御回路２２１を動作させるための電源を供給する。

音声出力回路２１６は、スピーカを有し、例えば記録時などに予め設定された音声を出力する。

ＬＥＤ制御回路２２２は、１つ以上の発光ダイオード（ＬＥＤ）を有し、例えば記録時などにＬＥＤの点灯・消灯および／または点灯色を予め設定されたパターンで制御する。

映像出力回路２１５は、例えば映像出力端子からなり、接続された外部ディスプレイ等に映像を表示させるために画像信号を送信する。また、音声出力回路２１６、映像出力回路２１５は、結合された１つの端子、例えばＨＤＭＩ(High-Definition Multimedia Interface)（登録商標）端子のような端子であってもよい。

環境センサ２１７は、撮像装置１０１の環境に関する情報を取得する１つ以上のセンサである。環境センサ２１７の具体例としては、温度センサ、湿度センサ、気圧センサ、照度センサ、紫外線量（ＵＶ）センサなどがあるが、これらに限定されない。環境センサ２１７は、例えば所定の周期で計測を行い、計測結果を表す値を制御回路２２１に出力する。制御回路２２１は、環境センサ２１７から得られる値やその変化などを、撮影シーンの判定や、自動記録の実行の判定に用いることができる。

通信回路２２０は、撮像装置１０１が外部装置との間でデータを送受信することを可能にする。通信回路２２０はサポートする通信規格に応じた送受信回路を有する。通信回路２２０は任意の種類および数の有線および／または無線通信規格をサポートしうる。通信規格の代表例はＵＳＢ、無線ＬＡＮ、３ＧＰＰ規格（例えば３Ｇ、４Ｇ、５Ｇ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などである。

通信回路２２０を通じた外部装置との通信により、外部装置は撮像装置１０１を遠隔操作することが可能である。遠隔操作は記録の開始や終了、パン、チルト、ズーム操作、撮像装置１０１の設定変更などを含みうる。また、撮像装置１０１は、通信回路２２０を通じて、音声処理回路２１２がシーンの状態の認識に用いる機械学習に関する各種パラメータなどを外部装置とやりとりすることができる。

操作部２２３は電源ボタンや撮影ボタンなど、ユーザが操作可能な入力デバイスの総称である。

＜無線通信システム＞
図３は、撮像装置１０１と外部装置３０１とが接続された無線通信システムの構成例を示す模式図である。ここでは外部装置３０１はスマートフォンであり、撮像装置１０１（通信回路２２０）と無線ＬＡＮ通信３０２およびＢｌｕｅｔｏｏｔｈ通信３０３が可能であるものとする。なお、撮像装置１０１と外部装置３０１とは他の規格に従って通信してもよい。ここでは、撮像装置１０１および外部装置３０１が、消費電力および／または通信可能な距離が異なる２つ以上の通信規格を用いて通信可能であるものとする。Ｂｌｕｅｔｏｏｔｈ通信３０３は、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ（ＢＬＥ）規格に準拠しているものとする。ＢＬＥ規格による通信は、無線ＬＡＮ規格による通信よりも低消費電力であり、かつ通信可能な距離も短い。

＜外部装置の構成＞
図４は、外部装置３０１（スマートフォン）の機能構成例を示すブロック図である。外部装置３０１は、他の装置との通信のための通信回路として、無線ＬＡＮ制御回路４０１、ＢＬＥ制御回路４０２、公衆回線制御回路４０６、およびパケット送受信回路４０３をを有する。

無線ＬＡＮ制御回路４０１は、無線ＬＡＮ規格に準拠した通信を行うためのアンテナ、送受信回路、通信制御回路などを有する。
ＢＬＥ制御回路４０２は、ＢＬＥ規格に準拠した通信を行うためのアンテナ、送受信回路、通信制御回路などを有する。
公衆回線制御回路４０６は、３ＧＰＰ規格（３Ｇ、４Ｇ、５Ｇなど）に準拠した通信を行うためのアンテナ、送受信回路、通信制御回路などを有する。

パケット送受信回路４０３は、無線ＬＡＮ制御回路４０１、ＢＬＥ制御回路４０２、公衆回線制御回路４０６を通じた通信によるパケット処理を実行する。なお、本実施形態において外部装置３０１は他の装置とパケット通信を行うものとするが、回線交換など他の通信方式が利用可能であってもよい。

制御回路４１１は、プログラムを実行可能な１つ以上のプロセッサ（例えば、ＣＰＵ、ＧＰＵ、マイクロプロセッサ、ＭＰＵなど）と、システムメモリ（例えば、ＤＲＡＭ、ＳＲＡＭなど）とを有する。プロセッサ（以下、便宜上ＣＰＵと呼ぶ）は、記憶回路４０４に記憶されているプログラムをシステムメモリにロードして実行することにより、各部の動作を制御し、外部装置３０１の機能を実現する。

センサ４１２は、外部装置３０１の動き、姿勢、環境などに関する情報を取得する１つ以上のセンサである。センサ４１２の具体例としては、近接センサ、角速度センサ、加速度センサ、温度センサ、湿度センサ、気圧センサ、照度センサ、紫外線量（ＵＶ）センサなどがあるが、これらに限定されない。センサ４１２は、例えば所定の周期で計測を行い、計測結果を表す値を制御回路４１１に出力する。

記憶回路４０４は例えば電気的に書き替え可能な不揮発性メモリであってよい。記憶回路４０４は、制御回路４１１のＣＰＵが実行可能なプログラム、外部装置３０１の動作に必要な設定値および定数、ユーザデータなどを記憶する。一般にスマートフォンでは、オペレーティングシステム（ＯＳ）が実行されている状態でアプリケーションプログラムを実行することにより、アプリケーション固有の機能を提供する。本実施形態においても、外部装置３０１が実行するものとして後述する機能は、当該機能を提供するためのアプリケーションが必要に応じてＯＳの機能を利用しながら提供するものとする。

電源回路４１０は、図４に示す機能ブロックを含む、外部装置３０１の各部が動作するための電力を供給する。
表示装置４０７は、例えば、液晶ディスプレイ（ＬＣＤ）や有機ＥＬディスプレイ（ＯＬＥＤ）である。表示装置４０７はＯＳやアプリケーションが提供するグラフィカルユーザインタフェース（ＧＵＩ）や各種情報、ユーザデータなどを表示する。なお、スピーカも便宜上表示装置４０７に含まれるものとする。

操作部材４０８は、ユーザによる入力を受け付けるために外部装置３０１が有する１つ以上の入力デバイスを有する。例えば指紋入力デバイス、タッチパネル、音量ボタン、電源ボタンなどが操作部材４０８に含まれる。タッチパネルは表示装置４０７に組み込まれてもよい。

音声入力／処理回路４０９は、例えば外部装置３０１に設けられたマイクから音声信号を取得したり、取得した音声信号に対して予め定められた処理を適用したりする。予め定められた処理は例えば音声認識処理であってもよい。この場合、音声入力／処理回路４０９は音声認識結果を制御回路４１１に出力する。制御回路４１１は音声認識結果が音声コマンドとして解釈可能であれば音声コマンドに応じた処理を実行する。

音声コマンドは、撮像装置１０１を遠隔操作するためのものであってもい。制御回路４１１は認識結果に撮像装置１０１を遠隔操作するコマンドが含まれている場合、コマンドを無線ＬＡＮ制御回路４０１を通じて撮像装置１０１に送信する。なお、外部装置３０１で稼働中のアプリケーションを用いて、ユーザ固有の音声コマンドを生成してもよい。生成した音声コマンドは撮像装置１０１に送信され、登録されることにより、音声処理回路２１２が認識可能な音声コマンドとして利用することができる。

ＧＰＳ（Ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）受信器４０５は、ＧＰＳ衛星から送信される信号を受信し、受信信号に基づいて外部装置３０１の現在位置（経度・緯度情報）を推定する。なお、ＷＰＳ（Ｗｉ－Ｆｉ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）など、他の手法を用いて外部装置３０１の現在位置を推定してもよい。

推定した現在位置が、予め設定されている地理的範囲内である場合や、位置情報に予め定められた閾値以上の変化があった場合、制御回路４１１はＢＬＥ制御回路４０２を介して撮像装置１０１へ位置情報を送信する。外部装置３０１の位置情報は、後述する自動記録や自動編集に用いることができる。

このように、外部装置３０１は、無線ＬＡＮ通信３０２およびＢｌｕｅｔｏｏｔｈ（ＢＬＥ）通信３０３により、撮像装置１０１とデータのやりとりを行う。例えば、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信したり受信したりする。また、外部装置３０１から撮像装置１０１へ、センサ４１２の検出値、記録などの操作指示や、音声コマンド登録データ送信や、位置情報に基づいた位置検出通知や移動通知を行う。また、音声処理回路２１２が用いる学習済データを、外部装置３０１から撮像装置１０１に送信したり、撮像装置から受信したりすることもできる。

＜撮像動作＞
図５は、撮像装置１０１の動作に関するフローチャートである。
電源ＯＦＦ状態で操作部２２３の電源ボタンが操作されると、Ｓ５０１で制御回路２２１は起動処理を開始する。なお、起動処理は他の条件によって開始されてもよい。例えば、外部装置３０１からの通信（例えばＢＬＥ通信）によって遠隔的に起動されてもよい。撮像装置１０１の動きを検出したことによって起動してもよい。また、起動を指示する音声コマンドを検出したことによって起動してもよい。なお、遠隔操作や特定のイベントの検出に応じて起動処理を実行する場合、検出に必要な構成要素には電源ＯＦＦ状態においても電源回路２１０から電力を供給する。

Ｓ５０２で制御回路２２１は、各種検出値を取得する。ここでは少なくとも撮像装置１０１の動きを検出するセンサ（揺れ検出回路２０９の角速度センサ１０６および加速度センサ１０７）、チルト回転ユニット１０４やパン回転ユニット１０５の回転位置を読み込む。制御回路２２１はさらに、音声処理回路２１２の検出値（音声レベル、音源の方向など）、環境センサ２１７の検出値などを取得してもよい。

Ｓ５０３で制御回路２２１は、必要に応じて外部装置３０１と通信する。制御回路２２１は、例えば外部装置３０１から通信が要求されている場合や、外部装置３０１へ送信するデータがある場合に外部装置３０１との通信を行う。なお、例えば起動処理の一部として、あるいは起動処理後に行う処理として、外部装置３０１と通信するために必要な手順（外部装置３０１の認識、サポートする通信方式の確認、通信の確立など）は実行しておく。

ここで、外部装置３０１とは、無線ＬＡＮ通信およびＢＬＥ通信の一方または両方の通信を確立することができる。また、最初は消費電力の小さなＢＬＥ通信を確立し、量の多いデータを通信する場合や、高速な通信が必要な場合など、必要に応じて無線ＬＡＮ通信を確立してもよい。無線ＬＡＮ通信を確立した後、ＢＬＥ通信は維持してもよいし、切断してもよい。

Ｓ５０３で制御回路２２１は外部装置３０１から例えばリモート操作コマンド、音声コマンドの登録用データ、位置検出通知、移動通知、外部装置３０１が有するセンサの計測値などを受信することができる。また、制御回路２２１は外部装置３０１に例えば音声データ、画像データ、メッセージなどを送信することができる。外部装置３０１との通信が終わると、制御回路２２１はＳ５０４を実行する。

Ｓ５０４で制御回路２２１は設定するモードを決定する。ここでは、以下のモードがＳ５０４で設定可能であるものとするが、他のモードが含まれてもよい。
（１）手動記録モード
［モード決定条件］
操作部２２３を通じて手動記録モードを設定する指示がなされた場合、あるいは外部装置３０１から手動記録モードを設定するコマンドを受信した場合、制御回路２２１は手動記録モードを設定することを決定し、Ｓ５０６を実行する。モード決定条件が満たされないと判定された場合、制御回路２２１はＳ５０７を実行する。

［モード内処理］
Ｓ５０６の手動記録モード処理において制御回路２２１は、ユーザ指示（操作部２２３の操作または外部装置３０１から受信したコマンド）に従って、撮像装置１０１の動作を制御する。具体的には、制御回路２２１はユーザ指示に従って、ズーム駆動回路２０２、フォーカス駆動回路２０４、鏡筒回転駆動回路２０５を制御して撮像装置１０１の撮影範囲や合焦距離を調節する。また、制御回路２２１はユーザ指示に従って静止画や動画の記録を実行する。

（２）シーン指定記録モード
［モード判定条件］
操作部２２３を通じてシーン指定記録モードを設定する指示がなされた場合、あるいは外部装置３０１からシーン指定記録モードを設定するコマンドを受信した場合、制御回路２２１はシーン指定記録モードを設定することを決定し、Ｓ５０８を実行する。モード決定条件が満たされないと判定された場合、制御回路２２１はＳ５０９を実行する。

シーン指定記録モードは撮像装置１０１が指定されたシーンを判別すると自動記録を実行する撮影モードである。したがって、シーン指定記録モードの設定時には特定のシーンも合わせて設定されるものとする。設定可能なシーンは撮像装置１０１が判別可能なシーンである。シーンの種類に特に制限はないが、風景（例えば夜景、夕焼けなど）、人物（例えばポートレート、記念撮影など）、スポーツ（サーフィン、スノーボード、スケートボード、ＢＭＸ、ディスクドッグ、障害馬術、パルクール、運動会など）などであってよい。

［モード内処理］
Ｓ５０８のシーン指定記録モード処理において制御回路２２１は、指定されたシーンに応じて記録開始、記録終了のタイミングを判定し、動画および／または静止画の自動記録を実行する。

（３）自動記録モード
［モード判定条件］
制御回路２２１は、撮像装置１０１が取得可能な情報に関して予め定められた条件が満たされると判定された場合、自動記録モードを設定することを決定し、Ｓ５１０を実行する。モード決定条件が満たされないと判定された場合、制御回路２２１はＳ５０２を実行する。

ここで、撮像装置１０１が取得可能な情報とは、撮影画像、揺れ検出回路２０９で検出される撮像装置１０１の動き、音声入力回路２１１で得られる音声などから得られる値や情報、環境センサ２１７で得られる値、日時の１つ以上およびその変化であってよい。また、位置検出通知、移動通知、外部装置３０１が有するセンサの計測値など、外部装置３０１から得られる情報やその変化であってもよい。撮像装置１０１が取得可能な情報に関する予め定められた条件は、予め不揮発性メモリ２１４に登録されている。またユーザが追加登録可能であってもよい。また、自動記録モードに移行してからの経過時間や、過去の撮影情報などに基づいて自動記録を行うべきと判定される場合に、制御回路２２１は自動記録モードを設定することを決定してもよい。

［モード内処理］
Ｓ５１０の自動記録モード処理において制御回路２２１は、撮像装置１０１が取得可能な情報に基づいて撮像装置１０１の撮影方向や撮影範囲を調整し、記録すべき被写体を自動探索する。そして、制御回路２２１は、被写体が見つかると被写体を追尾するように撮像装置１０１の撮影方向や撮影範囲を制御する。さらに、制御回路２２１は、被写体や周囲の状態などが予め定められた記録条件に合致すると判定されれば動画および／または静止画の自動記録を実行する。

なお、被写体の探索と並行してシーン判別を実行することができる。そして、予め定められたシーンであると判定された場合、制御回路２２１は撮影モードを判定されたシーンに対するシーン指定記録モードに移行させてもよい。また、自動記録モードで動作中に記録指示が手動で与えられた場合、制御回路２２１は記録指示に応じて記録を実行する。

＜シーン指定記録モード処理＞
次に、図６を用いて、図５のＳ５０８におけるシーン指定記録モード処理の詳細について説明する。シーン指定記録モードの実行中、制御回路２２１は動画撮影を継続的に実行しながら以下の処理を実行する。

Ｓ６０１で制御回路２２１は、画像処理回路２０７（被写体検出手段）に、撮像部２０６から得られるデジタル画像信号に対して被写体認識処理を実行させる。画像処理回路２０７は、デジタル画像信号に対して被写体認識用の前処理を必要に応じて適用したのち、予め定められた種類の被写体が写っていると思われる領域（被写体領域）を検出する。そして、画像処理回路２０７は、被写体認識処理の結果として、被写体の種類ごとに、検出された領域の数、位置、大きさ、検出の信頼度などを制御回路２２１に出力する。

例えば、人物および動物の被写体領域を検出する場合、画像処理回路２０７は顔領域（必要に応じてさらに胴体領域）を検出する。顔検出処理は、画像データにおいて、予め登録された人間の顔および動物の顔の特徴パターンとの合致度が一定値以上である領域を被写体領域として検出する。特徴パターンは例えば目や口といった顔のパーツのテンプレートや、パーツ間の位置関係などの情報であってよい。検出の信頼度は例えば顔領域の大きさが大きいほど、また特徴パターンの合致度が高いほど高い値になるように算出される。例えば、顔領域と胴体領域との位置関係に基づいて、被写体の姿勢を判別することができる。

他の種類の被写体についても、被写体の種類に応じて予め登録された特徴パターンとの合致度に基づいて被写体領域を検出することができる。例えば乗り物被写体の場合、乗り物の全体形状や、乗り物を運転／操縦する人物を認識するための特徴パターンを用いることができる。

また、色相や彩度などのヒストグラムを特徴パターンとして用いることもできる。使用する方法で特徴被写体を抽出する方法などもある。例えば、部分領域ごとに複数の色成分のそれぞれについてヒストグラムを生成し、色成分の頻度の関係と、予め登録された特徴パターンとの合致度に基づいて被写体領域を検出してもよい。

同じ種類の被写体について複数の被写体領域が検出された場合、制御回路２２１は例えば検出信頼度が最も高い被写体領域を主被写体領域とすることができる。

なお、被写体領域の検出は、被写体の種類ごとに学習したニューラルネットワークを用いた機械学習を用いるなど、公知の任意の方法を用いて検出することができるため、これ以上の詳細に関する説明は省略する。

次に、Ｓ６０２で制御回路２２１は、撮像装置１０１の動きに起因する像ブレを補正するための補正量を算出する。制御回路２２１は、例えば揺れ検出回路２０９から得られる角速度および加速度の情報に基づいて、撮像装置１０１の姿勢変化（動き）を表す、チルト回転ユニット１０４およびパン回転ユニット１０５で調整可能な方向の角度の情報を算出する。

そして、制御回路２２１は、算出した角度の情報に基づいて、撮像装置１０１の動きを打ち消すためのチルト回転ユニット１０４およびパン回転ユニット１０５を駆動量を補正量として算出する。

Ｓ６０３で制御回路２２１は、撮像装置１０１の状態を判定する。具体的には、制御回路２２１は、揺れ検出回路２０９から得られる角速度および加速度の情報、環境センサ２１７から得られる情報、外部装置３０１から得られる撮像装置１０１の位置情報などの１つ以上から、撮像装置１０１の状態を判定する。

Ｓ６０３で判定する撮像装置１０１の状態の例としては、移動中か否かがある。例えば揺れ検出回路２０９から得られる角速度および加速度の情報により得られる撮像装置１０１の動きの大きさが閾値以上か否かにより、移動中か否かを判定することができる。あるいは、位置情報の変化量に基づいて移動中か否かを判定してもよい。

なお、Ｓ６０３では撮像装置１０１の他の状態を判定してもよい。例えば、環境センサ２１７から得られる情報（例えばＵＶセンサから得られる情報）に基づいて、室内か屋外かを判定することができる。なお、複数の情報の組み合わせに基づいて特定の状態か否かを判定してもよい。Ｓ６０３における判定結果に基づいて、後述する被写体探索処理や動作検出処理の処理を切り替えることができる。

Ｓ６０４で制御回路２２１は、被写体探索処理を行う。制御回路２２１は、撮像装置１０１の位置（図１（ｂ）の原点Ｏ）を中心として、チルト回転ユニット１０４およびパン回転ユニット１０５の可動範囲の全体に対応する撮影可能範囲を撮影し、撮影可能範囲を複数の領域に分割する。そして、制御回路２２１は、各領域について、探索の優先順位（重要度レベル）を算出する。分割は例えばある焦点距離（画角）における撮影範囲を単位として行うことができる。

制御回路２２１は各領域の重要度レベルを算出すると、重要度レベルが最も高い領域を対象領域と決定する。そして、制御回路２２１は、対象領域を包含する範囲を撮影するためのチルト回転ユニット１０４およびパン回転ユニット１０５の目標角度を算出したのち、Ｓ６０５を実行する。

重要度レベルは、各領域に含まれる被写体の状況に基づいて算出することができる。例えば、領域内に存在する人物の顔領域の数、大きさ、向き、検出信頼度、表情、人物の個人認識結果に基づいて重要度レベルを算出することができる。あるいは、以下の１つ以上を考慮して重要度レベルを算出することもできる。一般物体の検出結果、シーン判別の結果（青空、逆光、夕景など）、音声入力回路２１１で得られる音声信号のうち、対象の領域の方向から入力された音声信号のレベルおよび／または音声信号の認識結果、領域内の被写体の動きなど。

また、Ｓ６０３で判定された撮像装置１０１の状態を重要度レベルに反映させてもよい。例えば、撮像装置１０１の状態が移動中でないと判定された場合、予め登録されている人物の顔領域（主被写体領域）が存在する領域の重要度レベルを高くすることができる。これにより、予め登録されている人物の顔領域が存在する領域を中心として被写体探索が行われやすくなる。例えば、予め登録されている人物を撮像装置１０１のユーザとすることで、ユーザが写っている範囲の周辺で被写体探索を行わせることが可能になる。このように、重要度レベルを高くする特定の被写体領域を、探索対象の被写体領域と呼ぶ。

この結果、自動記録もユーザの顔領域を含む領域に対して優先して行われる。したがって、ユーザが意識しなくても、自分の写った画像を自動で記録することができる。また、ユーザの顔領域を含む領域は被写体探索処理によって探索することができるため、撮像装置１０１を置く際に撮影方向を厳密に調整する必要はなく、おおよその方向に向けて設置すればよい。ユーザが移動した場合でも、チルト回転ユニット１０４およびパン回転ユニット１０５の可動範囲内であれば、被写体探索処理によってユーザの顔領域を含む領域が継続して自動記録される。

なお、シーンに変化がない場合、各領域の重要度レベルは変化しないため、同じ領域しか撮影されないことが起こりうる。そのため、重要度レベルが最大の領域が所定時間継続して変化しない場合にはその領域の重要度レベルを低下させたり、撮影された領域の重要度レベルを一定時間低下させたりして、重要度レベルが最大の領域が変化しやすくしてもよい。

また、Ｓ６０４の実行ごとに重要度レベルを算出する必要はない。例えば特定の顔領域を主被写体領域として捕捉した場合、主被写体領域の追尾処理を被写体探索処理として実行してもよい。この場合、領域ごとの重要度レベルを算出せずに、検出した主被写体領域をテンプレートとしたテンプレートマッチングなどによって被写体領域を追尾することができる。例えば主被写体領域を見失った場合には、領域ごとの重要度レベルを算出するようにすればよい。

Ｓ６０５で制御回路２２１はチルト回転ユニット１０４およびパン回転ユニット１０５を駆動する。具体的には、制御回路２２１はＳ６０２で算出した補正量と、Ｓ６０４で算出した目標角度とに基づいて、パンおよびチルト駆動量を算出する。駆動量はチルト回転ユニット１０４およびパン回転ユニット１０５の最小制御単位の倍数として算出することができる。

制御回路２２１は、算出したパンおよびチルト駆動量に基づいて鏡筒回転駆動回路２０５を制御することにより、チルト回転ユニット１０４およびパン回転ユニット１０５を駆動する。

Ｓ６０６で制御回路２２１は、ズーム駆動回路２０２を制御してズームユニット２０１を駆動する。制御回路２２１は例えば、Ｓ６０４で重要度レベルが最大の領域に含まれる被写体領域の状態に基づいてズームユニット２０１を駆動することができる。

例えば、探索対象の被写体領域が人物の顔領域である場合、撮像画像においてある程度の大きさで顔が写っていないと顔領域として検出できなくなる。したがって、制御回路２２１は、探索対象の顔領域の大きさが顔領域として検出できる所定の大きさ以上となるように、探索対象の顔領域の大きさが予め定められた閾値まで低下した場合には所定量だけズームインするようにズーム駆動回路２０２を制御する。

逆に、探索対象の被写体領域である顔領域が大きすぎる場合、被写体や撮像装置１０１の動きによって被写体領域が撮影範囲から外れやすくなる。したがって、制御回路２２１は、探索対象の顔領域が適切な大きさを超えないように、探索対象の顔領域の大きさが予め定められた閾値を超えた場合には所定量だけズームアウトするようにズーム駆動回路２０２を制御する。なお、ズームインする閾値とズームアウトする閾値は別個に定めることができる。

なお、撮像装置１０１がＰＴＺカメラでなく、例えば魚眼レンズのような超広角レンズを用いた全方位カメラである場合、撮影範囲が広いため、画像処理に要する負荷が大きくなる。そのため、領域ごとの重要度レベルを算出した後の画像処理（後述する自動記録の判定に係る処理など）は、例えば重要度レベルが最も高い領域を含む一部の領域を切りだして実施することで、消費電力の低減および処理時間の短縮を計ってもよい。

Ｓ６０６までの処理により、撮影方向と画角が決定すると、制御回路２２１はプリレック動作を開始することができる。プリレック動作は、記録スタンバイ状態において常に直近の所定期間（例えば数秒～１０秒程度）の画像をメモリ２１３もしくは記録媒体２１９に保持または記録する動作である。

次にＳ６０７で制御回路２２１は、記録開始または記録終了を判定する動作検出処理を実行する。動作検出処理では、例えば指定された撮影シーンに応じて予め不揮発性メモリ２１４に登録されている記録開始条件および記録終了条件に基づいて記録開始または記録終了を判定する。これにより、撮影シーンに特徴的な場面を自動記録することが可能になる。例えば、スノーボードでのジャンプ区間、サーフィンでのテイクオフからの一連のライディング区間のような、数秒～数十秒の特徴的な場面について動画や複数の静止画を自動記録することができる。以下では特に特定のスポーツに関する被写体の動作を記録開始条件や記録終了条件とする場合について説明するため、記録開始条件を記録開始動作、記録終了条件を記録終了動作と呼ぶ。

一方、特徴的な場面以外は記録を行わないため、記録媒体の容量や電力を無駄に消費することを抑制できる。また、撮像装置１０１のユーザが自身の画像を自動記録する場合、ユーザがリモコンなどを用いて記録開始や記録終了を撮像装置１０１に指示する必要なしに、特徴的な場面を記録することが可能であるため、使い勝手がよい。

動作検出処理において制御回路２２１は、予め定められた記録開始動作、記録終了動作、および記録中動作（記録中条件）を検出することができる。記録中動作は、記録開始動作と記録終了動作との間の状態に対応し、記録すべき期間における被写体の状態もしくは動作を規定する。記録中動作の登録および検出は必須ではない。Ｓ６０７で実行する動作検出処理の詳細については図７を用いて後述する。

Ｓ６０８～Ｓ６１６は、Ｓ６０７の動作検出処理の結果に応じた動作である。
Ｓ６０８で制御回路２２１は、記録開始動作を検出したか否かを判定し、検出したと判定されればＳ６０９を、判定されなければＳ６１０を実行する。
Ｓ６０９で制御回路２２１は、自動記録を開始する。これにより、例えば記録媒体２１９に画像データが記録される。なお、自動記録時に動画を記録するか静止画を記録するか、また静止画を記録する場合の記録間隔については、予め設定されているものとする。例えばシーンの種類ごとに予め設定しておいてもよいし、ユーザが設定可能であってもよい。その後、制御回路２２１はＳ６０１からの処理を繰り返す。

Ｓ６１０で制御回路２２１は、記録中動作が検出されており、かつ現在記録中でないという条件を満たすか否かを判定し、満たすと判定されればＳ６１１を、判定されなければＳ６１２を実行する。この条件を満たすのは、記録すべき場面であったにもかかわらず、何らかの要因により記録開始動作の検出に失敗し、記録が開始されていない場合である。したがって、Ｓ６１１で制御回路２２１は、プリレックされている画像データを含めた記録を開始する。これにより、プリレック期間から継続した画像データを記録することができる。その後、制御回路２２１はＳ６０１からの処理を繰り返す。

Ｓ６１２で制御回路２２１は、記録終了動作を検出したか否かを判定し、検出したと判定されればＳ６１３を、判定されなければＳ６１５を実行する。
Ｓ６１３で制御回路２２１は、Ｓ６１０と同様の判定処理を実行し、条件を満たすと判定されればＳ６１４を、判定されなければＳ６１６を実行する。この条件を満たすのは、記録すべき場面であったにもかかわらず、何らかの要因により記録開始動作の検出に失敗し、記録が開始されていない場合である。

しかしながら、記録終了動作が検出されているため、Ｓ６１４で制御回路２２１は、Ｓ６１１とは異なり記録を開始しない。その代わりに、制御回路２２１は、メモリ２１３に保持されているプリレック画像データを記録媒体２１９記録したのち、Ｓ６１６を実行する。なお、プリレック時にメモリ２１３でなく記録媒体２１９に記録している場合、プリレック画像データが上書きされないようにファイル名を変更したり記録するディレクトリを変更したりすることにより、記録データとする。プリレック画像データは、記録終了動作が検出される前の期間、すなわち本来記録すべき場面を含んでいる。そのため、プリレックされている画像データを記録することで、記録すべき場面が全く記録されないという事態の発生を回避できる。

Ｓ６１５で制御回路２２１は、記録が開始されており、かつ記録開始から所定時間経過したという条件を満たすか否かを判定し、満たすと判定されればＳ６１６を、判定されなければＳ６０１からの処理を繰り返す。この条件を満たすのは、何らかの要因により記録終了動作の検出に失敗し、記録が継続されている場合である。

Ｓ６１６で制御回路２２１は、画像データの記録を終了する。その後、制御回路２２１はＳ６０１からの処理を繰り返す。

以上の動作は、例えばユーザが撮像装置１０１がシーン指定記録モードを解除するまで継続して実行される。

＜動作検出処理＞
続いて、図７を用いて、図６のＳ６０７における動作検出処理の詳細について説明する。Ｓ７０１で制御回路２２１は、撮像部２０６から得られる画像データに対し、例えば画像処理回路２０７を用いて環境検出処理を実行する。環境検出処理では、主被写体の動作を検出するために用いる、指定された撮影シーンに応じた物体や形状を検出する。具体的には、例えば、スポーツで用いられる設備や道具のような人工物や、波頭や地面の起伏といった自然の形状など、地面などの基準平面に対して高さを有する物体全般が、環境検出処理において検出されうる。

人工物の具体例としては、スキーやスノーボードに用いられるジャンプ台（キッカー）、陸上競技のハードル、馬術およびドッグアジリティに用いられる障害物、バスケット、サッカーなどのゴール、バレーボール、バドミントン、テニスのネットなどがある。これらは単なる例示であり、シーン指定記録モードで指定可能なシーンに応じて他の物体を検出しうる。

環境検出の方法に特に制限はなく、公知の任意の方法を用いることができる。例えば、検出する物体の種類ごとに予め学習したニューラルネットワークなどを用いるといった機械学習を利用した方法や、輝度分布から物体の輪郭を検出する方法などがある。これらは単なる例示であり、他の方法を用いてもよい。なお、検出する物体の種類はシーン指定記録モードで設定されているシーンの種類に応じて予め定められているものとする。また、画像処理回路２０７にはシーンの種類に応じた物体の検出に必要なパラメータセットなどが設定されるものとする。画像処理回路２０７は、物体の種類ごとに、検出した個々の物体領域の情報（位置、大きさ、検出信頼度など）を制御回路２２１に出力する。

Ｓ７０２で制御回路２２１は、Ｓ７０１で検出した物体と、図６のＳ６０１で認識した被写体との情報を用いて、被写体の動作を検出する。制御回路２２１は、被写体の状態（例えば姿勢）および／または被写体と物体との位置関係に基づいて、被写体の動作がシーンに応じて予め定められた記録開始動作、記録中動作、記録終了動作に該当するか否かを判定する。なお、例えばユーザの顔領域が主被写体領域として決定されている場合など、Ｓ６０１で認識した被写体のうち主被写体が決定されている場合、制御回路２２１は主被写体についてＳ７０２以降の処理を適用する。

Ｓ７０３で制御回路２２１は、Ｓ７０２で被写体の動作が予め定められた動作に該当すると判定された場合には、動作の検出に成功したと判定してＳ７０４を実行する。一方、Ｓ７０２で被写体の動作が予め定められた動作に該当すると判定されなかった場合、制御回路２２１は動作の検出に失敗したと判定してＳ７０５を実行する。

Ｓ７０５で制御回路２２１は、撮影時刻の異なる複数の画像を用い、被写体の移動方向を検出する。なお、Ｓ６０１で被写体が認識できていない場合、制御回路２２１は、画像間で領域ごとに動きベクトルを検出して動体領域と背景領域とを分離し、動体領域に対応する動きベクトルを被写体の移動方向とすることができる。

Ｓ７０６で制御回路２２１は、被写体の状態（例えば姿勢）および／または被写体と物体との位置関係に加え、被写体の動き方向を考慮して、被写体の動作がシーンに応じて予め定められた記録開始動作、記録中動作、記録終了動作に該当するか否かを判定する。

Ｓ７０７で制御回路２２１は、Ｓ７０６で被写体の動作が予め定められた動作に該当すると判定された場合には、動作の検出に成功したと判定してＳ７０４を実行する。一方、Ｓ７０６で被写体の動作が予め定められた動作に該当すると判定されなかった場合、制御回路２２１は動作の検出に失敗したと判定してＳ７０８を実行する。

Ｓ７０８で制御回路２２１は、被写体の移動軌跡を検出し、移動軌跡がシーンに応じて予め登録された、記録開始動作、記録中動作、記録終了動作に対応する移動軌跡のいずれかに該当するか否かを判定する。被写体の移動軌跡は、Ｓ７０５で説明した被写体の移動方向を経時的に接続することにより検出することができる。制御回路２２１は、例えば、画像から検出した移動軌跡と登録された移動軌跡との類似度が予め定められた閾値以上である場合、被写体が登録された移動軌跡に対応する動作をしているものと判定することができる。

Ｓ７０９で制御回路２２１は、Ｓ７０８で被写体の動作が記録開始動作、記録中動作、記録終了動作のいずれかであると判定された場合には、動作の検出に成功したと判定してＳ７０４を実行する。一方、Ｓ７０８で被写体の動作が予め定められた動作に該当すると判定されなかった場合、制御回路２２１は動作の検出に失敗したと判定してＳ７１０を実行する。

Ｓ７１０で制御回路２２１は、少なくとも被写体領域の周辺領域について、深度情報を取得する。深度情報は例えば記録スタンバイ状態における動画撮影のＡＦを実行するために取得する視差画像対に基づいて得られるデプスマップから取得することができる。そして、制御回路２２１は、例えば被写体の状態（例えば姿勢）および／または被写体と物体との位置関係に加え、デプスマップを考慮して、被写体の動作がシーンに応じて予め定められた記録開始動作、記録中動作、記録終了動作に該当するか否かを判定する。

制御回路２２１は、例えば、被写体領域の直下の深度情報が被写体領域の深度領域よりも閾値以上大きい（遠い）場合、被写体がジャンプ動作中であると判定することができる。制御回路２２１は、例えば、深度情報から判定できる被写体の状態と、画像から得られる被写体の状態（例えば姿勢）との組み合わせが、被写体の動作がシーンに応じて予め定められた記録開始動作、記録中動作、記録終了動作に該当するか否かを判定する。

Ｓ７１２で制御回路２２１は、Ｓ７１１で被写体の動作が記録開始動作、記録中動作、記録終了動作のいずれかであると判定された場合には、動作の検出に成功したと判定してＳ７０４を実行する。一方、Ｓ７１１で被写体の動作が予め定められた動作に該当すると判定されなかった場合、制御回路２２１はＳ７１２で動作検出処理に失敗したことを示す情報を保存して動作検出処理を終了する。

一方、Ｓ７０４で制御回路２２１は、検出された動作（記録開始動作、記録中動作、または記録終了動作）の種類を示す情報を、動作検出処理の結果として保存し、動作検出処理を終了する。

なお、図７では、Ｓ７０２において被写体の状態（例えば姿勢）および／または被写体と物体との位置関係に基づいて動作が検出できない場合に、被写体の移動方向、被写体の移動軌跡、撮影範囲の深度情報を順次考慮して動作を検出するものとした。しかし、被写体の移動方向、被写体の移動軌跡、撮影範囲の深度情報を考慮する順番は図７に示したものに限定されない。また、Ｓ７０２において被写体の移動方向、被写体の移動軌跡、撮影範囲の深度情報の１つ以上を考慮して動作を検出してもよい。

＜サーフィンの場合＞
図７および図８を用いて、シーン指定撮影モードにおいてサーフィンが指定された場合の動作検出処理の具体例について説明する。

サーフィンは波の進行に合わせてサーフボードに寝そべった状態で手で水をかき（パドリング）、波の頂点（ピーク）が崩れるタイミングを見計らってボード上に立ち（テイクオフ）、波の力を利用して進行（ライディング）するスポーツである。そして、シーン指定撮影モードでは、パドリングの開始からライディング終了までの場面を自動記録するものとする。図８（ａ）はテイクオフ直前の様子を、図８（ｂ）はライディング中の様子をそれぞれ模式的に示している。

パドリング中の波は厚みがあるため、図８（ａ）に示すように空や背景の海に比べ、波の部分は輝度が低い。この特性を利用して、環境検出（Ｓ７０１）では、鉛直方向の輝度の勾配を演算し、所定の閾値以上の勾配となる略水平方向の境界線を検出する。この境界線が波頭（ピーク）に相当する。

また、パドリング中は被写体がピークよりも鉛直方向下方に位置するため、記録開始動作として、ピークよりも被写体が鉛直方向下側に位置する状態が登録されている。したがって、動作検出（Ｓ７０２）において、ピークよりも被写体が鉛直方向下側に位置することが検出されれば、記録開始動作が検出されたと判定される。また、記録開始動作として、被写体が撮像装置１０１へ近づいてきていることを条件に加えてもよい。この場合、Ｓ７０２で深度情報をさらに考慮して、被写体が撮像装置１０１へ近づいてきているという条件を満たすか否かについても判定する。

図８（ｂ）に示すように、被写体がテイクオフするとＳ６０１で被写体の胴体が検出できるようになる。そのため、記録中動作として、Ｓ７０１でピークが検出できていることおよび、被写体の顔と動体が鉛直方向に並んでいることが登録されている。これらの条件を満たしていることが検出されると、記録中動作（ライディング）が検出されたと判定される。

また、記録終了動作としては、波がなくなったこと、および／または被写体が立ち上がった状態から寝そべった状態へ遷移したことが登録されている。そのため、Ｓ７０１でピークが検出できなくなった場合や、胴体の検出ができなくなりＳ７０２で顔と胴体の位置関係が判定でできなくなった場合に、記録終了動作が検出されたと判定される。

＜スノーボードの場合＞
次に、図７および図９を用いて、シーン指定撮影モードにおいてスノーボード（キッカーでのジャンプシーン）が指定された場合の動作検出処理の具体例について説明する。

シーン指定撮影モードでは、キッカーの入り口部分に相当するアプローチへの侵入から飛び出し口であるリップでのジャンプを経て着地するまでの場面を自動記録するものとする。図９（ａ）はアプローチへの侵入の様子を、図９（ｂ）はリップでのジャンプの様子をそれぞれ模式的に示している。また、矢印は移動軌跡を模式的に示している。

Ｓ７０１で制御回路２２１は、サーフィンの場合と同様に輝度勾配を用いてキッカーのエッジ部分（リップ）を検出する。ただし、サーフィンの場合と異なり、キッカーは雪で覆われているため白色であるのに対し、背景の山や空の方が低輝度であるため、輝度の閾値の正負がサーフィンの場合と反転する。

また、キッカーの場合は背景も雪で覆われており、輝度だけでリップを検出することが難しい場合もある。そのため、セグメンテーションのような機械学習の手法を用いてリップを検出してもよい。

ここでは、撮影開始動作として、被写体がリップに向かって移動していること、および被写体とリップとの距離が所定の閾値以下であることが登録されている。そのため、被写体の移動方向や移動軌跡も考慮して動作を検出する。

被写体の移動方向がＳ７０１で検出したリップへ近づく方向であること、被写体領域の位置とリップとの距離が所定の閾値以下であることの両方を満たした場合、記録開始動作を検出したと判定することができる。

また、記録中動作はジャンプ動作である。ジャンプ動作では図９（ｂ）に示すように被写体の移動軌跡が放物線状になるため、放物線状の移動軌跡が記録中動作として登録されている。そのため、被写体の移動軌跡と登録されている放物線状の移動軌跡との類似度が閾値以上であれば、記録中動作が検出されたと判定できる。また、ジャンプ動作を検出するために、上述したように深度情報をさらに考慮してもよい。被写体の深度情報と、被写体の鉛直方向下方の領域の深度情報との差が所定の閾値以上であれば、ジャンプ動作中であると判定することができる。

記録終了動作としては、ジャンプ動作から着地したことが登録されている。具体的には、被写体の深度情報と、被写体の鉛直方向下方の領域の深度情報との差が所定の閾値以上の状態から、所定の閾値未満の状態になったことが検出された場合、記録終了動作が検出されたと判定することができる。

このように、シーンに応じて予め登録された記録開始動作、記録中動作、記録終了動作の条件を満たすか否かを判定するために必要な情報を制御回路２２１が取得し、動作判定処理を実行する。具体的な記録開始動作、記録中動作、記録終了動作の条件は、シーンに応じて例えば実験的に定めて登録しておくことができる。

本実施形態によれば、シーンに応じた記録開始動作、記録中動作、記録終了動作の条件を予め登録しておき、記録開始動作の条件が満たされた場合に自動記録を開始し、記録終了動作の条件が満たされた場合に自動記録を終了するようにした。シーンに適切な記録開始動作、記録中動作、記録終了動作の条件を登録しておくことにより、柔軟な自動記録が可能な画像処理装置を提供することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本実施形態の開示は、以下の撮像装置、撮像装置の制御方法、およびプログラムを含む。
（項目１）
撮像素子を用いて得られた画像から特定の被写体を検出する検出手段と、
前記特定の被写体の状態が予め定められた記録開始条件に該当する場合に前記画像の記録を開始し、前記特定の被写体の状態が予め定められた記録終了条件に該当する場合に前記画像の記録を終了するように撮像装置を制御する制御手段と、
を有することを特徴とする撮像装置。
（項目２）
前記制御手段は、前記特定の被写体の状態に基づいて前記画像の記録を開始する前に、所定時間分の画像の保持を継続して実行するように前記撮像装置を制御することを特徴とする項目１に記載の撮像装置。
（項目３）
前記制御手段は、前記特定の被写体の状態が、前記記録開始条件に該当すると判定される前に前記記録終了条件に該当すると判定された場合、前記保持している前記所定時間分の画像を記録するように前記撮像装置を制御することを特徴とする項目２に記載の撮像装置。
（項目４）
前記制御手段は、前記特定の被写体の状態が、前記記録開始条件に該当すると判定される前に、予め定められた記録中条件に該当すると判定された場合、前記保持している前記所定時間分の画像を含めた画像の記録を開始するように前記撮像装置を制御することを特徴とする項目２または３に記載の撮像装置。
（項目５）
前記制御手段は、前記特定の被写体の状態に基づいて前記画像の記録を開始した後、前記特定の被写体の状態が前記記録終了条件に該当すると判定されることなく所定時間が経過した場合、前記画像の記録を終了するように前記撮像装置を制御することを特徴とする項目２から４のいずれか１項に記載の撮像装置。
（項目６）
前記記録開始条件および前記記録終了条件はシーンごとに定められており、
前記制御手段は、撮影シーンに応じた前記記録開始条件および前記記録終了条件を用いることを特徴とする項目１から５のいずれか１項に記載の撮像装置。
（項目７）
前記記録開始条件および前記記録終了条件の少なくとも一方は、被写体の姿勢、被写体と周辺の物体との位置関係、被写体の移動方向、被写体の移動軌跡、深度情報の少なくとも１つに関する条件であることを特徴とする項目１から６のいずれか１項に記載の撮像装置。
（項目８）
前記記録開始条件および前記記録終了条件の少なくとも一方は、被写体と周辺の物体との位置関係に関する条件を含むことを特徴とする項目７に記載の撮像装置。
（項目９）
前記記録開始条件および前記記録終了条件の少なくとも一方が、被写体の動作を検出するための条件であることを特徴とする項目１から８のいずれか１項に記載の撮像装置。
（項目１０）
前記被写体の動作が、特定のスポーツに関する動作であることを特徴とする項目９に記載の撮像装置。
（項目１１）
前記撮像装置は撮影方向を変更可能であり、
前記制御手段は、前記特定の被写体を追尾するように前記撮影方向を制御する、
ことを特徴とする項目１から１０のいずれか１項に記載の撮像装置。
（項目１２）
前記撮像装置は画角を変更可能であり、
前記制御手段は、前記画像における前記特定の被写体の領域が所定の大きさ以上となるように前記画角を制御する、
ことを特徴とする項目１から１１のいずれか１項に記載の撮像装置。
（項目１３）
撮像装置が実行する制御方法であって、
撮像素子を用いて得られた画像から特定の被写体を検出する検出することと、
前記特定の被写体の状態が予め定められた記録開始条件に該当する場合に前記画像の記録を開始するように前記撮像装置を制御することと、
前記特定の被写体の状態が予め定められた記録終了条件に該当する場合に前記画像の記録を終了するように前記撮像装置を制御することと、
を有することを特徴とする撮像装置の制御方法。
（項目１４）
撮像装置が有するコンピュータを、項目１から１２のいずれか１項に記載の撮像装置が有する各手段として機能させるためのプログラム。

１０１…撮像装置、１０４…チルト回転ユニット、１０５…パン回転ユニット、２０６…撮像部、２０７…画像処理回路、２２１…制御回路、３０１…外部装置

Claims (14)

1. 撮像素子を用いて得られた画像から特定の被写体を検出する検出手段と、
   前記特定の被写体の状態が予め定められた記録開始条件に該当する場合に前記画像の記録を開始し、前記特定の被写体の状態が予め定められた記録終了条件に該当する場合に前記画像の記録を終了するように撮像装置を制御する制御手段と、
   を有することを特徴とする撮像装置。
2. 前記記録開始条件および前記記録終了条件の少なくとも一方は、被写体の姿勢、被写体と周辺の物体との位置関係、被写体の移動方向、被写体の移動軌跡、深度情報の少なくとも１つに関する条件であることを特徴とする請求項１に記載の撮像装置。
3. 前記記録開始条件および前記記録終了条件の少なくとも一方は、被写体と周辺の物体との位置関係に関する条件を含むことを特徴とする請求項２に記載の撮像装置。
4. 前記制御手段は、前記特定の被写体の状態に基づいて前記画像の記録を開始する前に、所定時間分の画像の保持を継続して実行するように前記撮像装置を制御することを特徴とする請求項１に記載の撮像装置。
5. 前記制御手段は、前記特定の被写体の状態が、前記記録開始条件に該当すると判定される前に前記記録終了条件に該当すると判定された場合、前記保持している前記所定時間分の画像を記録するように前記撮像装置を制御することを特徴とする請求項４に記載の撮像装置。
6. 前記制御手段は、前記特定の被写体の状態が、前記記録開始条件に該当すると判定される前に、予め定められた記録中条件に該当すると判定された場合、前記保持している前記所定時間分の画像を含めた画像の記録を開始するように前記撮像装置を制御することを特徴とする請求項４に記載の撮像装置。
7. 前記制御手段は、前記特定の被写体の状態に基づいて前記画像の記録を開始した後、前記特定の被写体の状態が前記記録終了条件に該当すると判定されることなく所定時間が経過した場合、前記画像の記録を終了するように前記撮像装置を制御することを特徴とする請求項４に記載の撮像装置。
8. 前記記録開始条件および前記記録終了条件はシーンごとに定められており、
   前記制御手段は、撮影シーンに応じた前記記録開始条件および前記記録終了条件を用いることを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
9. 前記記録開始条件および前記記録終了条件の少なくとも一方が、被写体の動作を検出するための条件であることを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
10. 前記被写体の動作が、特定のスポーツに関する動作であることを特徴とする請求項９に記載の撮像装置。
11. 前記撮像装置は撮影方向を変更可能であり、
    前記制御手段は、前記特定の被写体を追尾するように前記撮影方向を制御する、
    ことを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
12. 前記撮像装置は画角を変更可能であり、
    前記制御手段は、前記画像における前記特定の被写体の領域が所定の大きさ以上となるように前記画角を制御する、
    ことを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
13. 撮像装置が実行する制御方法であって、
    撮像素子を用いて得られた画像から特定の被写体を検出することと、
    前記特定の被写体の状態が予め定められた記録開始条件に該当する場合に前記画像の記録を開始するように前記撮像装置を制御することと、
    前記特定の被写体の状態が予め定められた記録終了条件に該当する場合に前記画像の記録を終了するように前記撮像装置を制御することと、
    を有することを特徴とする撮像装置の制御方法。
14. 撮像装置が有するコンピュータに、請求項１３に記載の撮像装置の制御方法の各工程を実行させるためのプログラム。

Images