JP6091669B2 - 撮像装置、撮像アシスト方法及び撮像アシストプログラムを記録した記録媒体 - Google Patents

Description

本発明は、撮像装置、撮像アシスト方法及び撮像アシストプログラムを記録した記録媒体に関する。

近年、撮影時の構図の設定をアシストする機能を有する撮像装置に関する提案がなされている。例えば、特許文献１において提案されている撮像装置は、ライブビュー表示部に表示されている画像の少なくとも一部をサンプル画像として取得し、取得したサンプル画像の構図を評価し、高い評価が与えられた構図を持つサンプル画像を、ライブビュー表示部に表示されている画像に重ねて提示するようにしている。

特開２０１１−１３５５２７号公報

特に、動画の撮影時においては被写体の動きや興味の対象も考慮して構図が設定されることが望ましい。例えば、被写体の動きの方向に特定の対象物が存在している場合、被写体の位置だけでなく対象物の位置をも考慮して構図を設定するようなアシストがされると、ユーザは、より魅力のある動画を簡単に撮影することが可能となる。しかしながら、特許文献１は、被写体の動きの方向にある対象物をも考慮して構図を提示することについて考慮していない。

本発明は、前記の事情に鑑みてなされたもので、動画撮影中の被写体の動きや興味の対象をも考慮して構図を提示できる撮像装置、撮像アシスト方法及び撮像アシストプログラムを記録した記録媒体を提供することを目的とする。

前記の目的を達成するために、本発明の第１の態様の撮像装置は、撮像により画像データを取得する撮像部と、前記画像データにおける主要被写体の位置を検出する主要被写体検出部と、前記主要被写体の動きを検出する動き検出部と、前記主要被写体検出部で検出された前記主要被写体の位置及び前記動き検出部で検出された前記主要被写体の動きをもとに、前記画像データの切り出し範囲を設定する切り出し位置設定部とを具備し、前記切り出し範囲設定部は、前記主要被写体が所定の動きよりも遅いことが検出され、かつ、前記主要被写体が前記画像データにおける画面中央以外の所定の位置に存在することが検出された場合に、前記主要被写体の移動方向と同方向側に空間の存在する構図となる第１の切り出し範囲を前記切り出し範囲として設定し、前記主要被写体が前記所定の動きよりも速いことが検出された、又は、前記主要被写体が前記画像データにおける画面中央の位置に存在することが検出された場合に、前記主要被写体の動きに追従する第２の切り出し範囲を前記切り出し範囲として設定し、前記主要被写体が所定の動きよりも遅いことが検出され、かつ、前記主要被写体が前記画像データにおける前記所定の位置と前記画面中央の位置の何れにも存在しないことが検出された場合に、前記主要被写体の移動方向に沿って所定量ずつずらしてなる第３の切り出し範囲を前記切り出し範囲として設定する。

前記の目的を達成するために、本発明の第２の態様の撮像アシスト方法は、撮像により画像データを取得することと、前記画像データにおける主要被写体の位置を検出することと、前記主要被写体の動きを検出することと、前記主要被写体が所定の動きよりも遅いことが検出され、かつ、前記主要被写体が前記画像データにおける画面中央以外の所定の位置に存在することが検出された場合に、前記主要被写体の移動方向と同方向側に空間の存在する構図となる第１の切り出し範囲を設定することと、前記主要被写体が前記所定の動きよりも速いことが検出された、又は、前記主要被写体が前記画像データにおける画面中央の位置に存在することが検出された場合に、前記主要被写体の動きに追従する第２の切り出し範囲を設定することと、前記主要被写体が所定の動きよりも遅いことが検出され、かつ、前記主要被写体が前記画像データにおける前記所定の位置と前記画面中央の位置の何れにも存在しないことが検出された場合に、前記主要被写体の移動方向に沿って所定量ずつずらしてなる第３の切り出し範囲を設定することとを具備する。

前記の目的を達成するために、本発明の第３の態様の撮像アシストプログラムを記録した記録媒体は、撮像により画像データを取得することと、前記画像データにおける主要被写体の位置を検出することと、前記主要被写体の動きを検出することと、前記主要被写体が所定の動きよりも遅いことが検出され、かつ、前記主要被写体が前記画像データにおける画面中央以外の所定の位置に存在することが検出された場合に、前記主要被写体の移動方向と同方向側に空間の存在する構図となる第１の切り出し範囲を設定することと、前記主要被写体が前記所定の動きよりも速いことが検出された、又は、前記主要被写体が前記画像データにおける画面中央の位置に存在することが検出された場合に、前記主要被写体の動きに追従する第２の切り出し範囲を設定することと、前記主要被写体が所定の動きよりも遅いことが検出され、かつ、前記主要被写体が前記画像データにおける前記所定の位置と前記画面中央の位置の何れにも存在しないことが検出された場合に、前記主要被写体の移動方向に沿って所定量ずつずらしてなる第３の切り出し範囲を設定することとをコンピュータに実行させる。

本発明によれば、動画撮影中の被写体の動きや興味の対象も考慮して構図を提示できる撮像装置及び撮像アシスト方法を提供することができる。

図１は、本発明の各実施形態に係る撮像装置の一例としての構成を示すブロック図である。 図２は、本発明の第１の実施形態に係る撮像装置の撮影動作時の処理を示すフローチャートである。 図３は、切り出し位置設定部による構図設定の第１の例を示す図である。 図４ａは、図２のステップＳ１０８の処理を説明するためのフローチャートの第１図である。 図４ｂは、図２のステップＳ１０８の処理を説明するためのフローチャートの第２図である。 図５は、切り出し位置設定部による構図設定の第２の例を示す図である。 図６は、図２のステップＳ１０９の処理を説明するためのフローチャートである。 図７は、指差し方向から対象物を検出する処理を説明するための図である。 図８は、切り出し位置設定部による構図設定の第３の例を示す図である。 図９Ａは、本発明の第２の実施形態で用いられる撮像光学系によって得られる画像の例を説明するための第１の図である。 図９Ｂは、本発明の第２の実施形態で用いられる撮像光学系によって得られる画像の例を説明するための第２の図である。 図１０は、本発明の第２の実施形態に係る撮像装置の撮影動作時の処理を示すフローチャートである。 図１１は、トリミング１、トリミング２、トリミング３の実行タイミングを示した図である。 図１２Ａは、トリミング１について説明するための第１の図である。 図１２Ｂは、トリミング１について説明するための第２の図である。 図１３Ａは、トリミング２について説明するための第１の図である。 図１３Ｂは、トリミング２について説明するための第２の図である。 図１３Ｃは、トリミング２について説明するための第３の図である。 図１４は、トリミング３について説明するための図である。

以下、図面を参照して本発明の実施形態を説明する。
［第１の実施形態］
まず、本発明の第１の実施形態について説明する。図１は、本発明の各実施形態に係る撮像装置の一例としての構成を示すブロック図である。図１に示す撮像装置１００は、例えばデジタルカメラ、カメラ機能付き携帯電話機、スマートフォンといった各種の携帯端末機器に対して適用され得る。図１に示す撮像装置１００は、撮像光学系１０２と、撮像部１０４と、表示部１０６と、タッチパネル１０８と、記録部１１０と、音声取得部１１２と、姿勢検出部１１４と、操作部１１６と、通信部１１８と、制御部１２０とを有している。

撮像光学系１０２は、絞りやレンズ等を有し、図示しない被写体からの光束を撮像部１０４に入射させるための光学系である。撮像光学系１０２は、フォーカスレンズを含んでいてもよく、また、ズームレンズとして構成されていても良い。

撮像部１０４は、被写体を撮像し、被写体に係る画像データを取得する。この撮像部１０４は、撮像素子と、撮像処理回路と、Ａ／Ｄ変換回路とを有している。撮像素子は、撮像光学系１０２を介して受光した光を、その光量に応じた電気信号（画像信号）に変換する。撮像処理回路は、撮像素子で得られた画像信号に対してゲイン調整等の種々のアナログ処理を施す。Ａ／Ｄ変換回路は、撮像処理回路でアナログ処理された画像信号をデジタル信号としての画像データに変換する。

表示部１０６は、例えば液晶ディスプレイや有機ＥＬディスプレイであり、撮像部１０４で取得された画像データに基づく画像等の各種の画像を表示する。タッチパネル１０８は、表示部１０６の表示画面の上に形成されており、表示部１０６の表示画面におけるユーザの指等の接触を検出する。タッチパネル１０８によって検出された接触位置の情報は、制御部１２０に入力される。制御部１２０は、タッチパネル１０８によって検出された接触位置に応じた制御を行う。

記録部１１０は、例えばフラッシュメモリであり、各種のデータを記録するための記録媒体である。記録部１１０には、例えば撮影動作の結果として得られる画像ファイルが記録される。また、記録部１１０には、撮像装置１００の制御に用いられるプログラムが記録される。さらに、記録部１１０には、被写体データベース（ＤＢ）のための記録領域及び音声データベース（ＤＢ）のための記録領域が形成されている。被写体ＤＢは、画像データ内の被写体を識別するためのデータが記録されたデータベースである。ここで、被写体を識別するためのデータとは、被写体の顔部のデータや被写体の指部のデータである。また、音声ＤＢは、音声取得部１１２を介して入力される音声を識別するためのデータが記録されたデータベースである。ここで、音声を識別するためのデータとは、ユーザ毎の音声データである。

音声取得部１１２は、ユーザから入力された音声に基づく音声データを取得する。音声取得部１１２は、マイクロフォン（マイク）と、音声処理回路と、Ａ／Ｄ変換回路とを有している。マイクは、ユーザから入力される音声を電気信号（音声信号）として取り込む。音声処理回路は、マイクで得られた音声信号に対してゲイン調整等の種々のアナログ処理を施す。Ａ／Ｄ変換回路は、音声処理回路でアナログ処理された音声信号をデジタル信号としての音声データに変換する。

姿勢検出部１１４は、被写体ＤＢに記録された被写体を識別するためのデータに従って被写体の姿勢を検出する。そして、姿勢検出部１１４は、画像データ内で識別された被写体が特定の姿勢をとっているときには、その旨を制御部１２０に通知する。

操作部１１６は、ユーザが撮像装置１００の操作をするための操作部材である。操作部１１６は、電源スイッチ、レリーズボタン等を操作部材として有している。電源スイッチは、撮像装置１００の電源のオン／オフの指示を与えるための操作部材である。レリーズボタンは、撮影開始の指示を与えるための操作部材である。

通信部１１８は、例えば無線インターフェースであり、３Ｇ通信等の無線通信の際の撮像装置１００と外部機器との間のデータ通信を仲介する。

制御部１２０は、撮像装置１００の動作を統括的に制御する。制御部１２０は、顔検出部１２０１と、対象物検出部１２０２と、動き検出部１２０３と、音声認識部１２０４と、別被写体判定部１２０５と、切り出し位置設定部１２０６と、画像処理部１２０７とを有している。顔検出部１２０１は、記録部１１０の被写体ＤＢの情報を用いて、画像データにおける主要被写体としての被写体の顔部を検出する。対象物検出部１２０２は、記録部１１０の被写体ＤＢの情報を用いて被写体の目等の顔の器官及び指部といった、画像データにおける被写体が注目していると考えられる方向を特定するための対象物を検出する。動き検出部１２０３は、例えば複数フレームの画像データから単位時間当たりの被写体（例えば顔部）の動き（移動速度）を検出する。音声認識部１２０４は、記録部１１０の音声ＤＢの情報を用いて、音声取得部１１２で取得された音声データの内容を認識する。別被写体判定部１２０５は、顔検出部１２０１、対象物検出部１２０２、動き検出部１２０３、音声認識部１２０４のそれぞれの結果を用いて、被写体が画像データ内で注目していると考えられる方向に存在する被写体の有無を判定する。切り出し位置設定部１２０６は、顔検出部１２０１、対象物検出部１２０２、動き検出部１２０３、音声認識部１２０４、別被写体判定部１２０５のそれぞれの結果に従って、撮像部１０４で取得された画像データにおける切り出し位置を設定する。画像処理部１２０７は、撮像部１０４で取得された画像データに対して種々の画像処理を施す。この画像処理は、ホワイトバランス補正、階調補正、色補正といった、画像データを表示又は記録可能とするために必要な画像処理を含む。また、本実施形態においては、画像処理は、画像データの切り出し（トリミング）処理及び切り出した画像データの拡大処理も含む。

次に、第１の実施形態に係る撮像装置１００の動作を説明する。本実施形態においては、ユーザが所望の被写体を指差しした場合に、その指差し方向に存在する被写体が画面内の特定の位置に配置されるように撮影時の構図が自動的に設定される。以下、このような構図設定の処理を含む撮像装置１００の撮影動作時の処理を説明する。図２は、第１の実施形態に係る撮像装置１００の撮影動作時の処理を示すフローチャートである。図２の処理は、主に制御部１２０によって制御される。また、図２は、動画撮影時の動作が例示されているが、静止画撮影時であっても本実施形態の技術は適用され得る。

例えば、撮像装置１００の電源がオンされ、撮影モードが動画撮影モードに設定されたときに図２の処理が開始される。このとき、制御部１２０は、スルー画表示を開始させる（ステップＳ１０１）。スルー画表示において、制御部１２０は、撮像部１０４を連続動作させる。そして、制御部１２０は、撮像部１０４の連続動作によって得られる画像データに対し、画像処理部１２０７により表示用の画像処理を施す。その後、制御部１２０は、画像処理された画像データに基づいて表示部１０６にスルー画を表示させる。このスルー画により、ユーザは表示部１０６に表示された画像によって構図の確認等を行うことができる。

スルー画表示の開始後、制御部１２０は、顔検出部１２０１により、撮像部１０４によって得られた画像データにおける顔部を検出する。また、制御部１２０は、対象物検出部１２０２により、撮像部１０４によって得られた画像データにおける顔部の各顔器官を検出する（ステップＳ１０２）。画像データ中の顔部は、例えば撮像部１０４によって得られた画像データと被写体ＤＢに記憶されている顔パターンの画像データとのマッチングをとることによって検出される。また、顔器官も同様にパターンマッチング等の周知の手法で検出される。ここで、本実施形態においては、顔器官の検出として、少なくとも目部の検出が行われる。

続いて、制御部１２０は、対象物検出部１２０２により、撮像部１０４によって得られた画像データにおける指先部を検出する（ステップＳ１０３）。画像データ中の指先部も、例えば撮像部１０４によって得られた画像データと被写体ＤＢに記憶されている顔パターンの画像データとのマッチングをとることによって検出される。

続いて、制御部１２０の別被写体判定部１２０５は、視線方向を検出できたか否かを判定する（ステップＳ１０４）。視線方向は、例えば瞳孔の移動を検出することで判定することができる。すなわち、画像データにおいて瞳孔中心の移動が検出された場合、その瞳孔中心の移動方向を視線方向とすることができる。

ステップＳ１０４において視線方向が検出できない（顔部が検出できなかった場合も含む）と判定された場合に、切り出し位置設定部１２０６は、主要被写体が画面中心に配置されるようにトリミング範囲を決定する。その後、画像処理部１２０７は、決定したトリミング範囲に従って画像データのトリミングを行う（ステップＳ１０５）。ここで、主要被写体は、例えば画面中央の被写体、最至近の被写体、人物等である。また、画角が狭い等の理由で主要被写体を画面中心に配置できない場合には、撮像光学系１０２の焦点距離を短くして画角を広げるようにしてもよい。このように、視線方向が検出できなかった場合には、主要被写体を基準に構図が設定される。なお、主要被写体が画面中心に配置できない場合にはトリミングを行わないようにしてもよい。

ステップＳ１０４において視線方向が検出できたと判定した場合に、別被写体判定部１２０５は、指差し方向を検出できたか否かを判定する（ステップＳ１０６）。ステップＳ１０６において指差し方向を検出できていないと判定した場合に、別被写体判定部１２０５は、画像データから複数の顔部が検出されたか否かを判定する（ステップＳ１０７）。ステップＳ１０７において画像データから複数の顔部が検出されていないと判定された場合に、切り出し位置設定部１２０６は、図３に示すように、視線方向と同方向側に空間があり、かつ、主要被写体の顔部が視線方向と逆方向側の黄金分割点に配置されるようにトリミング範囲を決定する。その後、画像処理部１２０７は、決定したトリミング範囲に従って画像データのトリミングを行う（ステップＳ１０８）。ここで、黄金分割点とは、画面内に引かれた対角線と、対角線に含まれる頂点とは別の頂点から引かれた垂線との交点（図３のＰ１、Ｐ２、Ｐ３、Ｐ４の４点）である。以下、図４ａ及び図４ｂを参照してステップＳ１０８の処理の詳細を説明する。ここで、図４ａ及び図４ｂの処理を説明するに当たり、視線方向を次のように定義する。本実施形態における視線方向は、例えば、画面上方向に対してなす角度として表される。なお、反時計方向が視線方向の正方向である。

図４ａ及び図４ｂにおいて、切り出し位置設定部１２０６は、視線方向が右上方向であるか否かを判定する（ステップＳ２０１）。ここで、右上方向は、例えば０°から７４°の範囲であるとする。ステップＳ２０１において視線方向が右上方向であると判定した場合に、切り出し位置設定部１２０６は、画面左下の黄金分割点（図３のＰ３）に主要被写体の顔部（顔部以外であってもよい）が配置されるようにトリミング範囲を設定する（ステップＳ２０２）。その後、切り出し位置設定部１２０６は、被写体の全身が画面内に収まるように最終的なトリミング範囲を設定する（ステップＳ２０３）。視線方向が右上方向であるということは、主要被写体が画面右上方向に注目していることを意味している。したがって、主要被写体を画面左下に配置して画面右上方向に空間を持たせるように構図を設定することにより、主要被写体の注目している方向をも強調した動画撮影が可能である。

ステップＳ２０１において視線方向が右上方向でないと判定した場合に、切り出し位置設定部１２０６は、視線方向が右方向であるか否かを判定する（ステップＳ２０４）。ここで、右方向は、例えば７５°から１０４°の範囲であるとする。ステップＳ２０４において視線方向が右方向であると判定した場合に、切り出し位置設定部１２０６は、画面左上の黄金分割点（図３のＰ２）に主要被写体の顔部が配置されるようにトリミング範囲を設定する（ステップＳ２０５）。その後、切り出し位置設定部１２０６は、主要被写体の全身が画面内に収まるように最終的なトリミング範囲を設定する（ステップＳ２０６）。視線方向が右方向であるということは、主要被写体が画面右方向に注目していることを意味している。したがって、主要被写体を画面左に配置（顔部を左上の黄金分割点に配置すれば被写体の全体としては画面左側に配置される）して画面右方向に空間を持たせるように構図を設定することにより、主要被写体の注目している方向をも強調した動画撮影が可能である。

ステップＳ２０４において視線方向が右方向でないと判定した場合に、切り出し位置設定部１２０６は、視線方向が右下方向であるか否かを判定する（ステップＳ２０７）。ここで、右下方向は、例えば１０５°から１７９°の範囲であるとする。ステップＳ２０７において視線方向が右下方向であると判定した場合に、切り出し位置設定部１２０６は、画面左上の黄金分割点（図３のＰ２）に主要被写体の顔部が配置されるようにトリミング範囲を設定する（ステップＳ２０８）。その後、切り出し位置設定部１２０６は、主要被写体の全身のサイズが画面縦方向のサイズに対して１/３程度になるように最終的なトリミング範囲を設定する（ステップＳ２０９）。視線方向が右下方向であるということは、主要被写体が画面右下方向に注目していることを意味している。したがって、主要被写体を画面左上に配置して画面右下方向に空間を持たせるように構図を設定することにより、主要被写体の注目している方向をも強調した動画撮影が可能である。ここで、ステップＳ２０６において述べたように、顔部を左上の黄金分割点に配置すれば主要被写体の全体としては画面左側に配置される。したがって、ステップＳ２０９では、画面縦方向のサイズに対して被写体のサイズが１/３程度となるように最終的な構図が設定される。これにより、画面右下方向に空間ができる。１/３のサイズは一例である。

ステップＳ２０７において視線方向が右下方向でないと判定した場合に、切り出し位置設定部１２０６は、視線方向が左下方向であるか否かを判定する（ステップＳ２１０）。ここで、左下方向は、例えば１８０°から２５４°の範囲であるとする。ステップＳ２１０において視線方向が左下方向であると判定した場合に、切り出し位置設定部１２０６は、画面右上の黄金分割点（図３のＰ１）に主要被写体の顔部が配置されるようにトリミング範囲を設定する（ステップＳ２１１）。その後、切り出し位置設定部１２０６は、被写体の全身のサイズが画面縦方向のサイズに対して１/３程度になるように最終的なトリミング範囲を設定する（ステップＳ２１２）。視線方向が左下方向であるということは、主要被写体が画面左下方向に注目していることを意味している。したがって、主要被写体を画面右上に配置して画面左下方向に空間を持たせるように構図を設定することにより、主要被写体の注目している方向をも強調した動画撮影が可能である。

ステップＳ２１０において視線方向が左下方向でないと判定した場合に、切り出し位置設定部１２０６は、視線方向が左方向であるか否かを判定する（ステップＳ２１３）。ここで、左方向は、例えば２５５°から２８４°の範囲であるとする。ステップＳ２１３において視線方向が左方向であると判定した場合に、切り出し位置設定部１２０６は、視線方向と逆方向側の黄金分割点、例えば画面右上の黄金分割点（図３のＰ１）に主要被写体の顔部が配置されるようにトリミング範囲を設定する（ステップＳ２１４）。その後、切り出し位置設定部１２０６は、主要被写体の全身が画面内に収まるように最終的なトリミング範囲を設定する（ステップＳ２１５）。視線方向が左方向であるということは、主要被写体が画面左方向に注目していることを意味している。したがって、主要被写体を画面右に配置して画面左方向に空間を持たせるように構図を設定することにより、主要被写体の注目している方向をも強調した動画撮影が可能である。

ステップＳ２１３において視線方向が左方向でないと判定した場合、すなわち視線方向が左上方向（例えば２８５°から３５９°の範囲）であると判定した場合に、切り出し位置設定部１２０６は、画面右下の黄金分割点（図３のＰ４）に主要被写体の顔部が配置されるようにトリミング範囲を設定する（ステップＳ２１６）。その後、切り出し位置設定部１２０６は、主要被写体の全身が画面内に収まるように最終的なトリミング範囲を設定する（ステップＳ２１７）。視線方向が左上方向であるということは、主要被写体が画面左上方向に注目していることを意味している。したがって、主要被写体を画面右下に配置して画面左上方向に空間を持たせるように構図を設定することにより、主要被写体の注目している方向をも強調した動画撮影が可能である。

トリミング範囲が決定された後、画像処理部１２０７は、決定されたトリミング範囲に従って画像データのトリミングを実行する（ステップＳ２１８）。その後、制御部１２０は、図４ａ及び図４ｂの処理を終了させる。このようなステップＳ１０８のトリミングでは、主要被写体の視線方向の側に空間を持たせるために、視線方向と逆方向の画面位置に主要被写体が配置されるようにトリミングが実行される。これにより、主要被写体の注目している方向をも強調した動画撮影が可能である。

ここで再び図２の説明に戻る。ステップＳ１０７において複数の顔部が検出されていると判定された場合、制御部１２０の切り出し位置設定部１２０６は、図５に示すように、複数の顔部のそれぞれが黄金分割点の近くに配置されるようにトリミング範囲を決定する。そして、画像処理部１２０７は、決定されたトリミング範囲に従って画像データのトリミングを行う（ステップＳ１０９）。以下、図６を参照してステップＳ１０９の処理の詳細を説明する。

図６において、切り出し位置設定部１２０６は、それぞれの顔部の位置（例えば顔中心の座標とする）とそれぞれの黄金分割点との距離を比較する（ステップＳ３０１）。続いて、切り出し位置設定部１２０６は、それぞれの顔部の位置と黄金分割点との距離が最も短くなるようにトリミング範囲を決定する（ステップＳ３０２）。例えば、図５では、被写体Ｓ１の顔部が黄金分割点Ｐ３に配置され、被写体Ｓ２の顔部が黄金分割点Ｐ１に配置されるようにトリミング範囲が決定される。ここで、トリミング範囲の決め方によっては１つの黄金分割点に近接するように複数の顔部が配置されることがあり得る。しかしながら、本実施形態ではこのような１つの黄金分割点に近接するように複数の顔部が配置されるトリミング範囲については最終的なトリミング範囲としては採用しないこととする。

トリミング範囲が決定された後、画像処理部１２０７は、決定されたトリミング範囲に従って画像データのトリミングを実行する（ステップＳ３０３）。その後、制御部１２０は、図６の処理を終了させる。このようなステップＳ１０９のトリミングでは、主要被写体が注目していると考えられる他の人の顔部を強調した動画撮影が可能である。ここで、複数の顔が検出された場合に常にステップＳ１０９のトリミングが行われると、全く関係のない人物の顔も構図内に含められてしまう可能性がある。したがって、変形例として、人物の顔が複数であっても登録されてない顔が含まれている場合、視線方向がお互いに向き合うような方向でない場合には、ステップＳ１０９のトリミングが行われないようにしてもよい。

ここで再び図２の説明に戻る。ステップＳ１０６において指差し方向を検出できたと判定した場合に、制御部１２０の別被写体判定部１２０５は、指差し方向から主要被写体が注目していると考えられる対象物を検出する（ステップＳ１１０）。この処理においては、図７に示すように、画像データ中の目の位置（ｘ１，ｙ１，ｙ２）と指先の位置（ｘ２，ｙ２，ｚ２）とを結ぶ直線（図示一点鎖線）上に存在する対象物Ｓ３が検出される。対象物Ｓ３は、特徴量マッチングや輪郭抽出等の周知の手法で検出される。なお、図７では、目の位置と指先の位置とがともに３次元の情報を有している。奥行ｚの情報は、被写体距離情報として得られる。被写体距離情報が取得できない場合には、画像データから検出される２次元の情報だけで対象物Ｓ３が検出されてよい。目と指先の延長線上の対象物は、主要被写体が指差ししている対象物である。すなわち、主要被写体は、この対象物に注目していると考えられる。

対象物の検出後、別被写体判定部１２０５は、実際に対象物を検出できたか否かを判定する（ステップＳ１１１）。ステップＳ１１１において実際に対象物を検出できたと判定した場合に、別被写体判定部１２０５は、処理をステップＳ１０９に移行させる。なお、前述したステップＳ１０９の処理では、複数の顔部のそれぞれが黄金分割点の近くに配置されるようにトリミング範囲が決定される。これに対し、ステップＳ１１１からステップＳ１０９に分岐した場合には、図８に示すように、主要被写体の顔部とステップＳ１１０で検出された対象物とのそれぞれが黄金分割点の近くに配置されるようにトリミング範囲が決定される。具体的な処理は、図６と同様である。このようなステップＳ１０９のトリミングでは、主要被写体が注目していると考えられる対象物を強調した動画撮影が可能である。

ステップＳ１１１において対象物が検出できなかったと判定された場合に、切り出し位置設定部１２０６は、指差し方向に空間があり、かつ、主要被写体の顔部が黄金分割点に配置されるようにトリミング範囲を決定する。その後、画像処理部１２０７は、決定したトリミング範囲に従って画像データのトリミングを行う（ステップＳ１１２）。ステップＳ１１１の処理は、視線方向の代わりに指差し方向を用いる以外はステップＳ１０８と同様に行われる。

トリミングの実行後、制御部１２０は、ユーザによって動画撮影の開始が指示されたか否かを判定する（ステップＳ１１３）。動画撮影の開始は、例えばレリーズボタンの押し操作である。ステップＳ１１３において動画撮影の開始が指示されたと判定した場合に、制御部１２０は、動画撮影を実行する（ステップＳ１１４）。すなわち、制御部１２０は、撮像部１０４を動作させて得られる画像データを画像処理部１２０７において画像処理して動画像データを生成し、生成した動画像データから生成した動画ファイルを記録部１１０に記録する。

動画撮影の実行後、制御部１２０は、ユーザによって動画撮影の終了が指示されたか否かを判定する（ステップＳ１１５）。動画撮影の終了は、例えばレリーズボタンの再度の押し操作である。ステップＳ１１５において動画撮影の終了が指示されていないと判定した場合に、制御部１２０は、処理をステップＳ１１４に戻して動画撮影を継続する。なお、動画ファイルが記録されている状態の動画撮影において、制御部１２０は、記録した動画像ファイルに撮影により得られた動画像データを追記していく。ステップＳ１１５において動画撮影の終了が指示されたと判定した場合に、制御部１２０は、図２の処理を終了させる。

以上説明したように本実施形態によれば被写体の視線方向や指差し方向に応じて構図を設定することにより、被写体が注目している方向、すなわち被写体が興味を持っていると考えられる方向や被写体を強調した動画撮影が可能である。

ここで、図２は、動画撮影中にはトリミング範囲が変更されない例が示されている。しかしながら、動画撮影中においても図２で説明した各種のトリミングが実行されてよい。また、構図を設定する際に被写体が黄金分割点に配置されるようにしているが、これも一例である。例えば、被写体が３等分割点に配置されるようにしてもよい。さらに、黄金分割点や３等分割点は画面内の特定の位置を示すものである。しかしながら、被写体は、厳密な黄金分割点や３等分割点に配置されていなくともよい。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。第２の実施形態の撮像装置１００の基本的な構成は、図１に示す撮像装置１００である。ただし、第２の実施形態においては、撮像光学系１０２が魚眼レンズ等の超広画角の撮影が可能な光学系であることが望ましい。このような超広画角の光学系を備えた撮像光学系１０２では、通常の撮像光学系では撮影できないような動画撮影をすることが可能である。例えば、図９Ａに示すように、ユーザは、第２の実施形態の撮像装置１００の撮像光学系１０２の光軸が地面と垂直になるように、すなわちレンズが空の方向を向くように撮像装置１００を置いた後、撮像装置１００を横切るように移動したとする。第２の実施形態における撮像装置１００で撮影が行われると、図９Ｂに示すような撮像光学系１０２の光軸周りの環状の画像データが得られる。したがって、ユーザの移動に合わせて撮像装置１００を動かさなくとも、ユーザ自身が移動していく様子が動画像として記録される。さらに、本実施形態では、ユーザの動きに応じて、トリミング範囲を設定することにより、ユーザの動きを強調した動画像データが得られるようにする。

図１０は、第２の実施形態に係る撮像装置１００の撮影動作時の処理を示すフローチャートである。図１０の処理も、主に制御部１２０によって制御される。

例えば、撮像装置１００の電源がオンされ、撮影モードが動画撮影モードに設定されたときに図１０の処理が開始される。このとき、制御部１２０は、動画撮影モードにおける動作モードが自分動画モードに設定されているか否かを判定する（ステップＳ４０１）。本実施形態における撮像装置１００は、動画撮影モードの動作モードとして通常動画モードと自分動画モードとを少なくとも有している。通常動画モードは、ユーザが第２の実施形態の撮像装置１００の撮像光学系１０２の光軸が地面と平行になるように、すなわちレンズが被写体の方向を向くように撮像装置１００を保持した状態で撮影が行われるモードである。この通常動画モードでは、トリミング範囲の設定により、図９Ｂで示したような環状の画像データではなく、通常の矩形の画像データを得ることが可能である。一方、自分動画モードは、ユーザが第２の実施形態の撮像装置１００の撮像光学系１０２の光軸が地面と垂直になるように、すなわちレンズが空の方向を向くように撮像装置１００を置いた状態で撮影が行われるモードである。なお、動画撮影モードの動作モードはユーザによって設定される。

ステップＳ４０１において動作モードが自分動画モードに設定されていないと判定した場合に、制御部１２０は、通常動画モードの動作を行う。通常動画モードの動作は、例えば図２で示される動作である。ステップＳ４０１において動作モードが自分動画モードに設定されていると判定した場合に、制御部１２０は、制御部１２０は、スルー画表示を開始させる（ステップＳ４０２）。続いて、制御部１２０は、顔検出部１２０１により、撮像部１０４によって得られた画像データにおける顔部を検出する（ステップＳ４０３）。そして、制御部１２０の切り出し位置設定部１２０６は、画像データにおいて顔部が検出されたか否か、すなわちユーザが画面内に入ってきたか否かを判定する（ステップＳ４０４）。なお、ステップＳ４０４においては特定の人物の顔が検出されたか否かが判定されてもよい。ステップＳ４０４において顔部が検出されていないと判定した場合に、制御部１２０は処理をステップＳ４０１に戻す。

ステップＳ４０４において顔部が検出されたと判定した場合に、切り出し位置設定部１２０６は、動き検出部１２０３により、被写体（顔部）の画面水平方向の移動速度を検出する（ステップＳ４０５）。移動速度は、単位時間（例えば１フレーム）当たりの画像データ上での水平方向の移動量（pixel）である。なお、ステップＳ４０５では画面水平方向の移動速度が検出されるが、これは被写体が地面に対して平行に移動していることを想定しているためである。被写体が人物でない場合等、被写体が地面に対して平行に移動しない場合も考慮する場合には、画面垂直方向の移動速度も検出されてよい。移動速度の検出後、切り出し位置設定部１２０６は、移動速度が予め定めた速度より高速であるか否かを判定する（ステップＳ４０６）。ステップＳ４０６において移動速度が予め定めた速度より遅いと判定した場合に、切り出し位置設定部１２０６は、被写体が画面中央付近に存在しているか否かを判定する（ステップＳ４０７）。ステップＳ４０６及びＳ４０７の判定は、トリミング２の開始又は終了を判定するために行われる。後で詳しく説明するが、トリミング２は、被写体の移動速度が速い場合で、かつ、被写体が画面中央付近に存在している間に実行されるトリミングであって、被写体が中心になるように決定されたトリミング範囲に従って行われるトリミングである。

ステップＳ４０７において被写体が画面中央付近に存在していないと判定した場合に、切り出し位置設定部１２０６は、現在がトリミング２の実行中であるか否かを判定する（ステップＳ４０８）。ステップＳ４０８において現在がトリミング２の実行中でないと判定した場合に、切り出し位置設定部１２０６は、被写体の移動方向と同方向側に空間があり、かつ、被写体の顔部が被写体の移動方向と逆方向側の黄金分割点に配置されるようにトリミング範囲を決定する。その後、画像処理部１２０７は、決定したトリミング範囲に従って画像データのトリミングをする処理をトリミング１として実行する（ステップＳ４０９）。ここで、トリミング１の処理においては、トリミングが一度決定された後は、トリミング２の実行までは一度決定されたトリミング範囲が維持された状態でトリミングが行われる。なお、トリミング１の具体的な処理としては、図４ａ及び図４ｂで示した処理が用いられる。すなわち、被写体の移動方向が画面右方向の場合は視線方向が右方向の場合の処理が適用され、被写体の移動方向が画面左方向の場合は視線方向が左方向の場合の処理が適用される。この他、視線方向及び指差し方向をも考慮してトリミング範囲が決定されてよい。このようなトリミング１の処理は、図１１に示すように、被写体の移動速度が遅く、かつ、被写体が画面中央に達していないとき（図１１のトリミング１の期間）に行われる。このような場合には、被写体の移動方向の側に空間があるように構図を設定することにより、図１２Ａ及び図１２Ｂで示すような、移動する被写体が風景の中を通り過ぎていく様子を強調した動画像を撮影可能である。なお、図１２Ｂは、図１２Ａに対して時間的に後の構図である。

ステップＳ４０６において移動速度が予め定めた速度より速いと判定した場合又はステップＳ４０７において被写体が画面中央付近に存在していると判定した場合に、切り出し位置設定部１２０６は、被写体（顔部）を中心として予め定められた範囲をトリミング範囲として決定する。その後、画像処理部１２０７は、決定したトリミング範囲に従って画像データのトリミングをする処理をトリミング２として実行する（ステップＳ４１０）。例えば、被写体が撮像装置１００を斜めに横切るように移動している場合、被写体が画面中央付近（図１１のトリミング２の範囲）に存在しているときに撮像装置１００と被写体との距離が近くなる。このとき、ステップＳ４０５で検出される画像データ上での移動速度が速くなる。このような場合には、図１３Ａ、図１３Ｂ、図１３Ｃに示すように、被写体に追従するようにトリミング範囲を順次設定していくことにより、移動する被写体を正しく中心に捉えた動画像が撮影される。

ステップＳ４０８において現在がトリミング２の実行中であると判定した場合に、切り出し位置設定部１２０６は、被写体が黄金分割点に配置されているか否かを判定する（ステップＳ４１１）。ステップＳ４１１の判定は、トリミング３の開始又は終了を判定するために行われる。後で詳しく説明するが、トリミング３は、トリミング２からトリミングへの切り替えのために実行されるトリミングであって、被写体が自然に黄金分割点に配置されるようにトリミング範囲を順次変えて行われるトリミングである。

ステップＳ４１１において被写体が黄金分割点に配置されていないと判定した場合に、切り出し位置設定部１２０６は、被写体の移動方向に沿って所定量だけずらすようにトリミング範囲を決定する。その後、画像処理部１２０７は、決定したトリミング範囲に従って画像データをトリミングする処理をトリミング３として実行する（ステップＳ４１２）。単位時間（例えば１フレーム）におけるトリミング範囲のずらし量をｘとすると、図１４に示すトリミング範囲のずらし量ｘは、被写体の移動速度よりも大きな値とする。ずらし量ｘを被写体の移動速度よりも大きな値とすることにより、画面内における被写体の位置は、移動方向とは逆側の黄金分割点のほうに移動する。そして、最終的には、トリミング１と同様にして被写体が黄金分割点に配置される。このように、トリミング２からトリミング１への切り替わりの間にトリミング範囲が順次変更される期間を設けることにより、トリミング２からトリミング１への切り替えがスムーズに行われる。なお、トリミング１からトリミング２への切り替わりの間にもトリミング範囲が順次変更される期間が設けられてよい。

ステップＳ４１１において被写体が黄金分割点に配置されたと判定した場合に、切り出し位置設定部１２０６は、処理をステップＳ４０９に移行させてトリミング１の処理を実行する。トリミング２からトリミング１への切り替えにより、風景の中に消えていく被写体を強調した動画像が撮影される。

トリミングの実行後、制御部１２０は、動画撮影を実行する（ステップＳ４１３）。その後、制御部１２０は、処理をステップＳ４０３に戻す。このように、図１０の例においては、顔の検出開始（被写体が画面内に入ってきたこと）をトリガとして動画撮影が開始され、顔の検出終了（被写体が画面外に出て行ったこと）をトリガとして動画撮影が終了される。これに対し、音声取得部１１２から入力された音声の認識結果を動画撮影の開始及び終了のトリガとしたり、姿勢検出部１１４で検出された姿勢の検出結果を動画撮影の開始及び終了のトリガとしたりしてもよい。すなわち、特定の音声が入力された又は姿勢が検出されたことを受けて、動画撮影を開始又は終了させてよい。

以上説明したように本実施形態においては被写体の動きに応じてトリミング範囲を設定することにより、被写体の動きを強調した動画を強調した動画撮影が可能である。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、本実施形態では被写体の興味を考慮した撮影ができるので、セキュリティ用途、監視カメラ、車載カメラ等にも本実施形態の技術が適用され得る。近年では、高齢者やペットの見守りようのカメラ（介護ロボットも含む）も普及している。このようなカメラでは、その瞬間の行動のみならず、被写体の行動の予測もできたほうがよく、本実施形態ではこのような行動の予測技術にも応用され得る。さらに、トリミングによって画像データを切り出すようにしているので、画像データの送信が必要な場合の通信負荷を低減することができる。

また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

また、上述した実施形態による各処理は、コンピュータである制御部１２０に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、制御部１２０は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１００ 撮像装置、１０２ 撮像光学系、１０４ 撮像部、１０６ 表示部、１０８ タッチパネル、１１０ 記録部、１１２ 音声取得部、１１４ 姿勢検出部、１１６ 操作部、１１８ 通信部、１２０ 制御部、１２０１ 顔検出部 １２０２ 対象物検出部、１２０３ 動き検出部、１２０４ 音声認識部、１２０５ 別被写体判定部 １２０６ 切り出し位置設定部、１２０７ 画像処理部

Claims (7)

1. 撮像により画像データを取得する撮像部と、
   前記画像データにおける主要被写体の位置を検出する主要被写体検出部と、
   前記主要被写体の動きを検出する動き検出部と、
   前記主要被写体検出部で検出された前記主要被写体の位置及び前記動き検出部で検出された前記主要被写体の動きをもとに、前記画像データの切り出し範囲を設定する切り出し位置設定部と、
   を具備し、
   前記切り出し範囲設定部は、
   前記主要被写体が所定の動きよりも遅いことが検出され、かつ、前記主要被写体が前記画像データにおける画面中央以外の所定の位置に存在することが検出された場合に、前記主要被写体の移動方向と同方向側に空間の存在する構図となる第１の切り出し範囲を前記切り出し範囲として設定し、
   前記主要被写体が前記所定の動きよりも速いことが検出された、又は、前記主要被写体が前記画像データにおける画面中央の位置に存在することが検出された場合に、前記主要被写体の動きに追従する第２の切り出し範囲を前記切り出し範囲として設定し、
   前記主要被写体が所定の動きよりも遅いことが検出され、かつ、前記主要被写体が前記画像データにおける前記所定の位置と前記画面中央の位置の何れにも存在しないことが検出された場合に、前記主要被写体の移動方向に沿って所定量ずつずらしてなる第３の切り出し範囲を前記切り出し範囲として設定する、
   撮像装置。
2. 前記画像データにおける前記主要被写体の顔部を検出する顔検出部と、
   前記顔部が前記画像データ内で注目していると考えられる方向を判定するための対象物を検出する対象物検出部と、
   をさらに具備し、
   前記対象物検出部は、前記対象物として前記顔部から目部を検出し、
   前記切り出し位置設定部は、前記目部から視線方向を検出し、該視線方向に基づいて前記第１の切り出し範囲を設定する請求項１に記載の撮像装置。
3. 前記画像データにおける前記主要被写体の顔部を検出する顔検出部と、
   前記顔部が前記画像データ内で注目していると考えられる方向を判定するための対象物を検出する対象物検出部と、
   前記対象物検出部で検出された前記対象物から、前記顔部が前記画像データ内で前記注目していると考えられる方向に存在する別の被写体の有無を判定する別被写体判定部と、
   をさらに具備し、
   前記切り出し位置設定部は、前記顔部と前記別の被写体とが黄金分割点に配置されるように前記第１の切り出し範囲を設定する請求項１に記載の撮像装置。
4. 前記画像データにおける前記主要被写体の顔部を検出する顔検出部と、
   前記顔部が前記画像データ内で注目していると考えられる方向を判定するための対象物を検出する対象物検出部と、
   をさらに具備し、
   前記対象物検出部は、前記顔部を有する被写体の指部を検出し、
   前記切り出し位置設定部は、前記指部から前記顔部を有する被写体の指差し方向を検出し、該指差し方向に基づいて前記第１の切り出し範囲を設定する請求項１に記載の撮像装置。
5. 前記画像データにおける前記主要被写体の顔部を検出する顔検出部をさらに具備し、
   前記主要被写体の移動方向と同方向側に空間があり、かつ、前記顔部が前記主要被写体の移動方向と逆方向の黄金分割点に配置されるように前記第１の切り出し範囲を設定する請求項１に記載の撮像装置。
6. 撮像により画像データを取得することと、
   前記画像データにおける主要被写体の位置を検出することと、
   前記主要被写体の動きを検出することと、
   前記主要被写体が所定の動きよりも遅いことが検出され、かつ、前記主要被写体が前記画像データにおける画面中央以外の所定の位置に存在することが検出された場合に、前記主要被写体の移動方向と同方向側に空間の存在する構図となる第１の切り出し範囲を設定することと、
   前記主要被写体が前記所定の動きよりも速いことが検出された、又は、前記主要被写体が前記画像データにおける画面中央の位置に存在することが検出された場合に、前記主要被写体の動きに追従する第２の切り出し範囲を設定することと、
   前記主要被写体が所定の動きよりも遅いことが検出され、かつ、前記主要被写体が前記画像データにおける前記所定の位置と前記画面中央の位置の何れにも存在しないことが検出された場合に、前記主要被写体の移動方向に沿って所定量ずつずらしてなる第３の切り出し範囲を設定することと、
   を具備する撮像アシスト方法。
7. 撮像により画像データを取得することと、
   前記画像データにおける主要被写体の位置を検出することと、
   前記主要被写体の動きを検出することと、
   前記主要被写体が所定の動きよりも遅いことが検出され、かつ、前記主要被写体が前記画像データにおける画面中央以外の所定の位置に存在することが検出された場合に、前記主要被写体の移動方向と同方向側に空間の存在する構図となる第１の切り出し範囲を設定することと、
   前記主要被写体が前記所定の動きよりも速いことが検出された、又は、前記主要被写体が前記画像データにおける画面中央の位置に存在することが検出された場合に、前記主要被写体の動きに追従する第２の切り出し範囲を設定することと、
   前記主要被写体が所定の動きよりも遅いことが検出され、かつ、前記主要被写体が前記画像データにおける前記所定の位置と前記画面中央の位置の何れにも存在しないことが検出された場合に、前記主要被写体の移動方向に沿って所定量ずつずらしてなる第３の切り出し範囲を設定することと、
   をコンピュータに実行させるための撮像アシストプログラムを記録したコンピュータ読み取り可能な記録媒体。