JPWO2015098110A1 - 撮像装置、撮像システムおよび撮像方法 - Google Patents

Abstract

生成部（３０９）は、複数の撮影方向を撮像部（３０１）で撮影することで所定の撮影範囲を撮影し、撮像部（３０１）で撮影した映像に関する属性情報を、所定の映像単位毎に生成する。構図マップ作成部（３１６）は、所定の期間内に複数の撮影方向で撮影した映像の属性情報より、所定の撮影範囲に存在する所定の対象物を抽出し、抽出した対象物の位置を示す構図マップを作成する。比較部（３１０）は、撮影方向毎に、異なる期間に生成された属性情報を比較した比較結果と、構図マップに含まれる属性情報とに基づいて、各撮影方向の撮影における優先順位を決定する。カメラワーク制御部（３１１）は、優先順位に基づいて、次の撮影方向を決定し、決定した撮影方向に基づいて撮像部（３０１）と雲台の動作を制御する。

Description

本開示は、撮影された映像の内容に基づいて撮影方向を決定する撮像装置、撮像システムおよび撮像方法に関する。

従来、カメラと雲台とを備えた撮像システムにおいて、自動的に構図を判定し、パン・チルト・ズームの調整を行なう撮像システムが知られている。

この撮像システムにおいて、何らかの不具合を生じた場合の構図の探索手法などについても、例えば、所定の時間経過後に撮影を行なうなど提案されている（例えば、特許文献１）。

特開２０１１−０３０１６０号公報

本開示の撮像システムは、駆動装置と、駆動装置に接続され、駆動装置の動作を制御する撮像装置とを備える。撮像装置は、撮像部と、複数の撮影方向を撮像部で撮影することで所定の撮影範囲を撮影し、撮像部で撮影した映像に関する属性情報を所定の映像単位毎に生成する生成部と、所定の期間内に複数の撮影方向で撮影した映像の属性情報より、所定の撮影範囲に存在する所定の対象物を抽出し、抽出した対象物の位置を示す構図マップを作成する構図マップ作成部と、撮影方向毎に、異なる期間に生成された属性情報を比較した比較結果と、構図マップに含まれる属性情報とに基づいて、各撮影方向の撮影における優先順位を決定する比較部と、優先順位に基づいて、次の撮影方向を決定し、決定した撮影方向に基づいて撮像部と駆動装置の動作を制御する制御部と、を備える。

この構成により、優先順位の高い撮影方向（撮影領域）を重点的に撮影することができる撮像システムを提供することができる。

図１は、実施の形態１における映像撮像システムの外観斜視図である。 図２は、本実施の形態１における雲台の外観斜視図である。 図３は、実施の形態１におけるビデオカメラの外観斜視図である。 図４は、実施の形態１におけるビデオカメラ内部のハードウェア構成を示した概略図である。 図５は、実施の形態１における本開示にかかるビデオカメラの機能構成について示した機能構成図である。 図６は、実施の形態１における雲台の機能構成について示した機能構成図である。 図７Ａは、実施の形態１における映像撮像システムのデフォルトの動作を説明する図である。 図７Ｂは、実施の形態１における映像撮像システムのデフォルトの動作を説明する図である。 図８は、実施の形態１における映像撮像システムの動作の一例を説明する状態遷移図である。 図９Ａは、実施の形態１における撮影領域の優先順位の情報の一例を示す図である。 図９Ｂは、実施の形態１における撮影領域の優先順位の情報の一例を示す図である。 図１０は、実施の形態１における映像撮像システムの動作の他の例を説明する状態遷移図である。 図１１は、実施の形態２における表示部に表示された映像信号の一例を示す図である。 図１２Ａは、実施の形態２における撮影動作を説明するための図である。 図１２Ｂは、実施の形態２における撮影動作を説明するための図である。 図１３Ａは、実施の形態２における構図マップの一例を説明する模式図である。 図１３Ｂは、実施の形態２における構図マップの一例を説明する模式図である。 図１４は、実施の形態２における表示部に表示された構図マップの表示例を示す図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
以下、図１〜９を用いて、実施の形態１を説明する。

［１−１．構成］
［１−１−１．映像撮像システムの構成］
図１は、実施の形態１にかかる撮像システム１１０の外観斜視図である。図２は、雲台５００の外観斜視図である。図３は、ビデオカメラ１００の外観斜視図である。

図１に示すように、撮像システム１１０は、雲台５００と雲台５００の天面に設けられたビデオカメラ１００で構成される。ビデオカメラ１００と雲台５００とは、ＵＳＢケーブルによって接続されている。雲台５００の動作はビデオカメラ１００よって制御される。実施の形態１では、駆動装置の一例として雲台５００を、撮像装置の一例としてビデオカメラ１００を、それぞれ説明する。

図２に示すように、雲台５００の天面には、ビデオカメラ１００を装着する装着部５０１が設けられている。装着部５０１は、ピン５０２をビデオカメラ１００の底面に設けられた位置決めピン用の穴（不図示）に嵌入させ、上部から押圧をかけることによって、バネ式の天面の一部が押し下がる。このとき、雲台５００の内部に設けられツメに、天面の一部と共にビデオカメラ１００が係止されることにより、ビデオカメラ１００は傾斜した状態（約３°上向き）で固定される。

図３に示すように、ビデオカメラ１００は、映像を撮影する撮像部３０１（不図示）と、撮像部３０１により撮影された映像を表示する表示部３１８と、グリップベルト１０１と、バッテリ１０２などを有する。撮像部３０１は、レンズ部３００から入射した光を映像信号に変換するＣ−ＭＯＳセンサ（不図示）などから構成される。表示部３１８は、タッチパネル式の液晶ディスプレイから構成される。

［１−１−２．撮像装置のハードウェア構成］
図４は、ビデオカメラ１００内部のハードウェア構成の概略図である。

ビデオカメラ１００は、レンズ群２００と、撮像素子２０１と、映像ＡＤＣ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）２０２と、映像信号変換回路２０３と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０４と、クロック２０５と、レンズ制御モジュール２０６と、姿勢検出センサ２０７と、入力ボタン２０８と、ディスプレイ２０９と、スピーカー２１０と、出力Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）２１１と、圧縮伸張回路２１２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１３と、ＲＡＭ（Ｒａｎｄａｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２１４と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）２１５と、音声ＡＤＣ（Ａｎａｌｏ ｔｏ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）２１６と、ステレオマイク２１７とを備える。

レンズ群２００は、撮像素子２０１上で被写体像を形成するために、被写体から入射する光を調整する。具体的には、レンズ群２００は、焦点距離およびズーム（映像の拡大倍率）を、様々な特性を持つ複数のレンズ間の距離を変化させることで調整する。これらの調整は、ビデオカメラ１００の撮影者が手動で調整するものでも、後述するレンズ制御モジュール２０６を通じてＣＰＵ２０４等からの制御により自動的に調整するものであってもよい。

撮像素子２０１は、レンズ群２００を通して入射する光を電気信号に変換する。撮像素子２０１には、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）あるいはＣ−ＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサを利用することが可能である。

映像ＡＤＣ２０２は、撮像素子２０１から出力されたアナログの電気信号をデジタルの電気信号に変換する。映像ＡＤＣ２０２で変換されたデジタル信号は、映像信号変換回路２０３へ出力される。

映像信号変換回路２０３は、映像ＡＤＣ２０２が出力するデジタル信号を、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）またはＰＡＬ（Ｐｈａｓｅ Ａｌｔｅｒｎａｔｉｎｇ Ｌｉｎｅ）と言った所定の方式の映像信号（映像信号）に変換する。

ＣＰＵ２０４は、ビデオカメラ１００全体を制御する。制御の種類としては、例えば、レンズ制御モジュール２０６を介して上述のレンズの焦点距離およびズームの制御を行うことで、撮像素子２０１への入射光を制御するレンズ制御がある。また、入力ボタン２０８および姿勢検出センサ２０７等からの外部入力に対する入力制御、あるいは、圧縮伸張回路２１２の動作制御等がある。ＣＰＵ２０４は、これらの制御アルゴリズムをソフトウェア等で実行する。

クロック２０５は、ビデオカメラ１００内で動作するＣＰＵ２０４等の回路に、処理動作の基準となるクロック信号を出力する。なお、クロック２０５は、利用する集積回路及び扱うデータによって、単一または複数のクロックを用いることも可能である。また、ひとつの発振子のクロック信号を任意の倍数に乗じて使用してもよい。

レンズ制御モジュール２０６は、レンズ群２００の状態を検出し、ＣＰＵ２０４からの制御に基づいて、レンズ群２００に含まれる各レンズを動作させる。レンズ制御モジュール２０６は、レンズ制御用モータ２０６ａと、レンズ位置センサ２０６ｂとを備える。

レンズ制御用モータ２０６ａは、ＣＰＵ２０４から送信された制御信号に基づいて、レンズを駆動させるモータである。この結果、レンズ群２００の複数のレンズ間の相対的な位置関係が変更され、レンズの焦点距離、およびズームを調整することができる。これにより、レンズ群２００を通過した入射光は、撮像素子２０１上で、目的とする被写体像を結ぶ。

レンズ位置センサ２０６ｂは、レンズ群２００を構成する複数のレンズ間の距離または位置関係等を検出する。レンズ位置センサ２０６ｂが検出した複数のレンズ間の位置情報等は、ＣＰＵ２０４に送信される。ＣＰＵ２０４は、レンズ位置センサ２０６ｂからの情報、および撮像素子２０１等の他の構成要素からの情報に基づいて、複数のレンズを適正に配置させるための制御信号を、レンズ制御用モータ２０６ａに送信する。

なお、ＣＰＵ２０４は、上記以外にも、ビデオカメラ１００で映像撮影時の手振れをレンズ位置センサ２０６ｂおよび後述する姿勢検出センサ２０７等で検出し、レンズ制御用モータ２０６ａを駆動する制御を行ってもよい。これにより、ＣＰＵ２０４は、手振れ防止の動作を、レンズ制御モジュール２０６を介して実行させることも可能である。

姿勢検出センサ２０７は、ビデオカメラ１００の姿勢の状態を検出する。姿勢検出センサ２０７は、加速度センサ２０７ａと、角速度センサ２０７ｂと、仰角・俯角センサ２０７ｃとを備える。これらの各種センサにより、ＣＰＵ２０４は、ビデオカメラ１００がどのような状態で撮影を行っているかを検出する。なお、これらのセンサは、好ましくはビデオカメラ１００の姿勢を詳細に検出するために、３軸方向（垂直方向、水平方向等）についてそれぞれ検出できることが望ましい。

入力ボタン２０８は、ビデオカメラ１００の撮影者が使用する入力インタフェースの一つである。入力ボタン２０８により、撮影者が撮影の開始または終了、ビデオ撮影中の映像にマーキングを挿入する等、各種要求をビデオカメラ１００に伝えることが可能となる。また、後述するディスプレイ２０９がタッチパネルとなっており、入力ボタン２０８の一部を構成してもよい。

ディスプレイ２０９は、撮影者がビデオカメラ１００の撮影時に映像を見るため、あるいは、記憶された映像を見るため等に設けられている。ディスプレイ２０９により、撮影者は、撮影した映像をその場で確認することが可能となる。また、上記以外にも、ビデオカメラ１００の各種情報を表示することで、撮影情報および機器情報等のより詳細な情報を撮影者に伝えることが可能となる。

スピーカー２１０は、撮影した映像を再生する際の音声出力に使用される。それ以外にも、スピーカー２１０は、ビデオカメラ１００が出力する警告を音で撮影者へ伝えることも可能である。

出力Ｉ／Ｆ２１１は、ビデオカメラ１００が撮影した映像を外部機器へ出力したり、後述する雲台５００の動作を制御する制御信号を出力したりするために用いられる。具体的には、出力Ｉ／Ｆ２１１は、外部機器とケーブルで接続する場合のケーブルインタフェース、および撮影した映像を可搬可能なメモリカード２１８に記録する場合のメモリカードインタフェース等である。出力Ｉ／Ｆ２１１を介して撮影した映像を出力することにより、撮影した映像をビデオカメラ１００に備え付けのディスプレイ２０９よりも大きな外部のディスプレイを用いて視聴等することが可能となる。

圧縮伸張回路２１２は、撮影した映像および音声を、所定のデジタルデータ形式（符号化処理）にする。具体的には、圧縮伸張回路２１２は、撮影した映像データおよび音声データに対して、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｏｅｒｔｓ Ｇｒｏｕｐ）またはＨ．２６４等の符号化処理を行い、所定のデータ方式に変換（圧縮）する。また、圧縮伸張回路２１２は、撮影したデータの再生時に、所定のデータ形式の映像データを伸張して、ディスプレイ２０９等に表示するデータ処理を行う。なお、圧縮伸張回路２１２は、静止画像についても、映像と同様に、圧縮伸張する機能を備えるものであっても良い。

ＲＯＭ２１３は、ＣＰＵ２０４が処理するソフトウェアのプログラムおよびプログラムを動作させるための各種データを記憶する。

ＲＡＭ２１４は、ＣＰＵ２０４が処理するソフトウェアのプログラム実行時に使用するメモリ領域等として使用される。また、圧縮伸張回路２１２と共用でこのＲＡＭ２１４を使用してもよい。

ＨＤＤ２１５は、圧縮伸張回路２１２が符号化した映像データおよび静止画像データを蓄積等する目的で利用される。なお、記憶されるデータは、上記以外にも、後述する再生情報のデータ等を記憶することも可能である。また、本説明では、記憶媒体としてＨＤＤ２１５を代表の記憶媒体として説明しているが、これ以外にも半導体記憶素子を用いるものであっても良い。

音声ＡＤＣ２１６は、ステレオマイク２１７から入力される音声を、アナログ電気信号からデジタル電気信号に変換処理する。

ステレオマイク２１７は、ビデオカメラ１００外部の音声を電気信号に変換して出力する。

なお、上記の通り、ビデオカメラ１００のハードウェア構成を示したが、本発明では上記の構成に限定されるものではない。例えば、映像ＡＤＣ２０２及び映像信号変換回路２０３等を単一の集積回路として実現することも可能であるし、ＣＰＵ２０４が実行するソフトウェアプログラムの一部を別途、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を用いてハードウェアとして実現することも可能である。

［１−１−３．撮像装置の機能構成］
図５は、ビデオカメラ１００の機能構成を説明する詳細な機能構成図である。

ビデオカメラ１００は、レンズ部３００と、撮像部３０１と、映像ＡＤ変換部３０２と、映像信号処理部３０３と、映像信号圧縮部３０４と、撮像制御部３０５と、映像解析部３０６と、レンズ制御部３０７と、姿勢検出部３０８と、生成部３０９と、比較部３１０と、カメラワーク制御部３１１と、音声解析部３１２と、音声信号圧縮部３１３と、多重化部３１４と、記憶部３１５と、構図マップ作成部３１６と、映像信号伸張部３１７と、表示部３１８と、音声信号伸張部３１９と、音声出力部３２０と、音声ＡＤ変換部３２１と、マイク部３２２と、外部入力部３２３と、通信部３２４とを備える。実施の形態１では、制御部の一例としてカメラワーク制御部３１１を説明する。

レンズ部３００は、被写体から入射した光の焦点距離およびズーム倍率（映像の拡大倍率）等を調整する。これらはレンズ制御部３０７からの制御により行われる。レンズ部３００は、図４のレンズ群２００に相当する。

撮像部３０１は、レンズ部３００を透過した光を電気信号に変換する。撮像部３０１は、撮像制御部３０５の制御により、撮像素子上の任意の範囲のデータを出力する。また映像データ以外にも、３原色点の色度空間情報、白色の座標および３原色のうち少なくとも２つのゲイン情報、色温度情報、Δｕｖ（デルタｕｖ）、および、３原色または輝度信号のガンマ情報等の情報も出力することが可能である。これらの情報は、生成部３０９へ出力される。撮像部３０１は、図４の撮像素子２０１に相当する。

映像ＡＤ変換部３０２は、撮像部３０１からの電気信号を、所定の処理内容にしたがってアナログの電気信号からデジタルの電気信号に変換する。映像ＡＤ変換部３０２は、図４の映像ＡＤＣ２０２に相当する。

映像信号処理部３０３は、映像ＡＤ変換部３０２から出力されたデジタル信号を、所定の映像信号フォーマットに変換する。例えば、ＮＴＳＣで規定された水平線の数、走査線の数およびフレームレートに準拠した映像信号に変換する。映像信号処理部３０３は、図４の映像信号変換回路２０３に相当する。

映像信号圧縮部３０４は、映像信号処理部３０３によって処理されたデジタル信号に対して所定の符号化変換を行い、データ量を圧縮等する。具体的には、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４等の符号化方式がある。映像信号圧縮部３０４は、図４の圧縮伸張回路２１２の圧縮機能に相当する。

撮像制御部３０５は、撮像部３０１の動作を制御する。具体的には、撮像制御部３０５は、撮像部３０１に対して、撮影時の露出量、撮影速度および感度等を制御する。また、これらの制御情報は、生成部３０９へも併せて出力される。撮像制御部３０５は、図４のＣＰＵ２０４で処理される制御アルゴリズムの一つによって実現される。

映像解析部３０６は、撮影された映像信号から映像の特徴を抽出する。映像解析部３０６は、映像に含まれる輝度情報や色情報（例えば、映像の１画面を横３２、縦１８の合計５７６個のブロックに分割し、各ブロックに含まれる色や輝度の分布を算出する）、動きベクトル、ホワイトバランス、さらに映像に人物の顔が含まれている場合には、当該人物の顔検出を行う等、映像信号を解析することで、映像の特徴を抽出する。また、動きベクトルは、複数フレーム間での特徴量の差分を算出することで実現可能である。また、顔検出は、顔の特徴を表す特徴量の学習により、特徴量のパターンマッチング等により実現可能である。映像解析部３０６は、図４のＣＰＵ２０４でソフトウェア処理されるアルゴリズムの一つによって実現される。

レンズ制御部３０７は、レンズ部３００の動作を制御する。レンズ制御部３０７は、後述するカメラワーク制御部３１１からの制御信号に応じて、レンズ部３００のズーム、フォーカスなどを制御する。レンズ制御部３０７は、ズーム制御部３０７ａ、フォーカス制御部３０７ｂ、及び手振れ補正制御部３０７ｃ等を備える。

ズーム制御部３０７ａは、レンズ部３００のズームレンズを制御することで、被写体からの入射光を所望の拡大倍率にして撮像部３０１に入力させる。フォーカス制御部３０７ｂは、レンズ部３００のフォーカスレンズを制御することで、被写体と撮像部３０１との焦点距離を設定する。手振れ補正制御部３０７ｃは、映像等の撮影時の該装置の揺れを抑制する。レンズ制御部３０７は、レンズ部３００を制御するとともに、これらの制御情報を生成部３０９へ出力する。レンズ制御部３０７は、図４のレンズ制御モジュール２０６に相当する。

姿勢検出部３０８は、ビデオカメラ１００の加速度、角速度、及び仰角・俯角等を検出する。姿勢検出部３０８は、加速度センサ３０８ａ、角速度センサ３０８ｂ、及び仰角・俯角センサ３０８ｃを備える。これらのセンサは、ビデオカメラ１００の姿勢及びその変化状況を検出する目的等に用いられる。加速度及び角速度については、垂直・水平（２方向）の３方向について検出できることが望ましい。姿勢検出部３０８は、図４の姿勢検出センサ２０７に相当する。

マイク部３２２は、周囲の音を電気信号に変換して音声信号として出力する。マイク部３２２は、図４のステレオマイク２１７に相当する。

音声ＡＤ変換部３２１は、マイク部３２２から入力されたアナログの電気信号をデジタルの電気信号に変換する。音声ＡＤ変換部３２１は、図４の音声ＡＤＣ２１６に相当する。

音声解析部３１２は、デジタルの電気信号に変換された音声データから特徴のある音を抽出する。ここで特徴のある音とは、例えば、撮影者の声、特定の単語の発音、歓声、及び銃声等がある。これらの音は、これらの音（音声）が持つ特有の周波数を予め登録しておき、それとの比較結果で判別する方法等を用いることで、抽出が可能である。また、上記以外にも、音声解析部３１２は、マイク部３２２が捕捉した音の入力レベル等の特徴も検出する。音声解析部３１２は、図４のＣＰＵ２０４でソフトウェア処理されるアルゴリズムの一つによって実現される。

音声信号圧縮部３１３は、音声ＡＤ変換部３２１から出力された音声データを、所定の符号化アルゴリズムで変換する。符号化には、ＭＰ３（ＭＰＥＧ Ａｕｄｉｏ Ｌａｙｅｒ−３）及びＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）等の方法がある。音声信号圧縮部３１３は、図４の圧縮伸張回路２１２の圧縮機能の一つによって実現される。

外部入力部３２３は、映像撮影時に外部から受信した各種の情報、例えば、撮影者によるボタン入力、または外部から通信経由で受信した撮影インデックス情報等を出力する。なお、撮影インデックス情報とは、例えば、映画撮影時における撮影場面を識別する番号または撮影回数を示す番号等、それぞれの撮影を識別するために用いられる識別番号などである。外部入力部３２３は、図４の入力ボタン２０８等に相当する。

生成部３０９は、所定の映像単位（例えば、１フレーム）映像並びに静止画像の撮影時における撮影情報、外部入力情報およびその他の情報を属性情報として生成する。生成部３０９は、属性情報を撮影時の時間単位に分類している。

撮影情報は、主に、撮像制御部３０５から出力される撮影時の露出量、撮影速度および感度等に関する制御情報と、レンズ制御部３０７から出力される撮影時のズーム、フォーカスおよび手振れ補正等の状態に関する情報と、姿勢検出部３０８から出力される撮影時の姿勢およびその変化等に関する情報とから構成される。外部入力情報は、撮影者によるボタン入力の情報や映像シーンを特徴づける情報等である。

その他の情報は、主に、映像解析部３０６から出力される輝度分布、色分布、動きベクトル、ホワイトバランスおよび人物の顔等の映像の特徴に関する情報である。

属性情報に含まれる情報の一例として以下のような情報がある。

・ 焦点距離
・ ズーム倍率
・ 露出
・ 撮影速度（フレームレート、シャッタースピード）
・ 感度
・ ３原色点の色空間情報
・ ホワイトバランス
・ ３原色のうち少なくとも２つのゲイン情報
・ 色温度情報
・ Δｕｖ（デルタｕｖ）
・ ３原色または輝度信号のガンマ情報
・ 色分布
・ 動きベクトル
・ 人物（顔認識、顔による個人認証、人認識、歩き方やしぐさから個人の歩容認証）
・ カメラ姿勢（加速度、角速度、仰角・俯角、方位、ＧＰＳによる測位値等）
・ 撮影時刻（撮影開始時刻、終了時刻）
・ 撮影インデックス情報（たとえば、カメラの撮影モードのセットアップ値）
・ ユーザ入力
・ フレームレート
・ サンプリング周波数
・ 構図の変化量
属性情報には、上記の情報から算出した映像シーンを特徴づける情報（撮影時の各種情報を組み合わせ、それらを分析等することで得られる情報）も含まれる。例えば、カメラ姿勢（加速度、角速度、仰角・俯角等）の情報からビデオカメラ１００の撮影時におけるパン、チルト等のカメラワークの情報を得ることが可能となる。また、焦点距離およびズーム倍率の情報は、そのままでも属性情報として用いることが可能である。生成部３０９は、撮影時の各種情報からシーン評価に有用な情報を抽出、あるいは算出等して、特定の時刻における顔や人物の位置情報、動体の位置情報、音の位置情報などの属性情報を生成する。

比較部３１０は、各撮影方向において、異なる期間に生成部３０９で生成された属性情報を比較する。そして、その比較結果に基づいて、各撮影方向の優先順位を評価し、撮影における優先順位を決定する。

カメラワーク制御部３１１は、比較部３１０で順位づけされた撮影方向の優先順位の情報から、撮影方向を決定し、決定した撮影方向でビデオカメラ１００が撮影出来るように、レンズ部３００の動作に関する情報や雲台５００のパン方向への移動量およびチルト方向への移動量に関する移動量情報を生成する。カメラワーク制御部３１１の具体的な動作については後述する。

生成部３０９、比較部３１０およびカメラワーク制御部３１１は、図４のＣＰＵ２０４でソフトウェア処理されるアルゴリズムの一つである。

通信部３２４は、カメラワーク制御部３１１で生成された移動量情報を制御信号として雲台５００へ出力する。通信部３２４は、図４の出力Ｉ／Ｆ２１１に相当する。

構図マップ作成部３１６は、撮影した映像と生成部３０９で生成された属性情報等に基づいて、撮影範囲における特定の対象物（顔、人物、動体の動き、および、音など）の位置を示すマップを作成する。具体的な作成方法等については後述する。作成したマップは、一時的に記憶部３１５に記憶され、表示部３１８に表示される。構図マップ作成部３１６は、図４のＣＰＵ２０４で実行されるソフトウェア処理のアルゴリズムの一つである。

多重化部３１４は、映像信号圧縮部３０４から出力される符号化映像データおよび音声信号圧縮部３１３から出力される符号化音声データを多重化して出力する。多重化部３１４は、図４のＣＰＵ２０４で実行されるソフトウェアであってもよいし、圧縮伸張回路２１２で、ハードウェア処理されるものであってもよい。

記憶部３１５は、多重化部３１４から出力された符号化映像データおよび符号化音声データを一時保持または長期保持する。記憶部３１５は、図４のＨＤＤ２１５、ＲＡＭ２１４およびメモリカード２１８等に相当する。

［１−１−４．雲台の構成］
図６は、雲台５００の機能構成を説明する機能構成図である。

雲台５００は、通信部６００と、駆動制御部６０１と、パン用駆動部６０２と、パン用モータ６０３と、パン用機構部６０４と、チルト用駆動部６０５と、チルト用モータ６０６と、チルト用機構部６０７とを備える。

通信部６００は、ビデオカメラ１００の通信部３２４と接続され、制御信号を受信し、移動量情報を生成する。

駆動制御部６０１は、通信部６００で受信した移動量情報に基づいて、パン用駆動部６０２およびチルト用駆動部６０５のそれぞれに対し、移動すべき方向、移動量および移動速度を指示する。駆動制御部６０１は、ＣＰＵ、ＲＯＭおよびＲＡＭなどが組み合わされたマイクロコンピュータなどから構成される。

パン用駆動部６０２は、駆動制御部６０１からの指示信号に基づいて、パン用モータ６０３の動作を制御する。具体的には、パン用モータ６０３は、横方向に回動可能なパン用機構部６０４に取付けられており、パン用モータ６０３が正負方向に回転することにより、パン用機構部６０４が左右方向に回動する構成となっている。また、パン用機構部６０４にはロータリーエンコーダ（ＲＥ）６０４ｒが設けられており、パン用機構部６０４の回転角の移動量を検出して、ＲＥ６０４ｒから駆動制御部６０１へ検出値が出力される。

同様に、チルト用駆動部６０５は、駆動制御部６０１からの指示信号に基づいて、チルト用モータ６０６の動作を制御する。チルト用モータ６０６は、縦方向に回動可能なチルト用機構部６０７に取付けられており、チルト用モータ６０６が正負方向に回転することにより、チルト用機構部６０７が上下方向に回動する構成となっている。また、チルト用機構部６０７にはＲＥ６０７ｒが設けられており、チルト用機構部６０７の回転角の移動量を検出して、ＲＥ６０７ｒから駆動制御部６０１へ検出値が出力される。

上記構成により、パン用駆動部６０２からパン用モータ６０３に対し、モータの回転方向（正負方向）、回転量および回転速度に関する駆動信号を出力することで、雲台５００に取付けられたビデオカメラ１００を左右方向（水平方向）に回動させることができる。また、チルト用駆動部６０５からチルト用モータ６０６に対し、モータの回転方向（正負方向）、回転量および回転速度に関する駆動信号を出力することにより、雲台５００に取付けられたビデオカメラ１００を上下方向（鉛直方向）に回動させることができる。

［１−２．動作］
［１−２−１．デフォルトの動作］
図７Ａ、図７Ｂは、デフォルトの動作を説明するための図である。

図７Ａ、図７Ｂにおいて、撮影範囲Ｓはユーザにより設定された領域、中央の一点鎖線の矩形は撮影範囲Ｓにおいて実際に撮影を行うべき撮影領域を示す。また、各撮影領域に付した番号は撮影領域を撮影する順番を示す。ここで、撮影領域は、ビデオカメラ１００が、その領域を撮影するための撮影方向を示す。図７Ａ、図７Ｂの場合、ビデオカメラ１００は１１個の撮影方向で撮影できることを示している。

まず、カメラワーク制御部３１１は、撮影領域１〜１１を設定する。図７Ａに示すように、撮影領域１は、撮影範囲Ｓにおける上下左右の中央位置にある領域である。図７Ｂに示すように、撮影領域２〜１１は、撮影範囲Ｓ（ここでは、±９０°に設定）を上下２段、左右５列の領域に分割し、各領域が少しずつ重なり合うように設定される。カメラワーク制御部３１１は、撮影領域１〜１１の順に撮影されるように、雲台５００の移動量情報とレンズ部３００のズーム位置を算出する。なお、撮影範囲Ｓの分割は、図７Ｂの分割数に限定するものではなく、雲台５００の設定可能状態に応じて設定すればよい。

雲台５００は、左右方向に最大±１８０°回動する。左右方向の回動角度は、ビデオカメラ１００の外部入力部３２３によるユーザの指示により、±４５°、±９０°および±１８０°の３段階で設定可能である。一方、上下方向には±３０°回動する。実施の形態１においては、左右方向の回転角度を±９０°、上下方向の回答角度を±３０°に設定する。雲台５００は、実施の形態１においては、雲台５００は、移動量情報に応じて、毎秒１°〜２０°の速さの回動と停止の動作を繰り返す。

カメラワーク制御部３１１は、算出したレンズ部３００のズーム位置をレンズ制御部３０７に送信し、雲台５００の移動量情報を駆動制御部６０１に送信する。レンズ制御部３０７および駆動制御部６０１は、それぞれ受信したレンズ位置、移動量情報に従って、レンズ部３００、雲台５００を制御する。

まず、雲台５００は、ビデオカメラ１００が撮影領域１を撮影出来る位置に移動した後、停止する。ビデオカメラ１００は撮影領域１が撮影できるようなズーム位置にレンズ部３００をズームさせ、０．３秒間の撮影を行なう。ビデオカメラ１００は、撮影領域１を撮影した映像に特定の対象物があるかを判定する。次に、雲台５００は、ビデオカメラ１００がズーム位置を調節し、撮影領域２を撮影出来る位置に移動した後停止する。ビデオカメラ１００は撮影領域２を０．３秒間撮影する。ビデオカメラ１００は撮影領域２を撮影した映像に特定の対象物があるかを判定する。次に、雲台５００は、ビデオカメラ１００が撮影領域３を撮影出来る位置に移動した後、停止する。ビデオカメラ１００はズーム位置を調節し、撮影領域３を０．３秒間撮影する。ビデオカメラ１００は、撮影領域３を撮影した映像に特定の対象物が存在するかを判定する。

このように、雲台５００は、ビデオカメラ１００が次の撮影領域を撮影出来る位置へ移動して停止する、ビデオカメラ１００が対象の撮影領域を撮影できるようにズーム制御した後、０．３秒間撮影する、撮影領域を撮影した映像に特定の対象物があるかを判定する、といった一連の動作を全撮影領域に対して順に繰り返す。

撮像システム１１０は、全ての撮影領域を撮影して、撮影した撮影範囲Ｓの映像の中に特定の対象物が検出できない場合は、撮影領域１から、再度特定の対象物を検出するまで、上記動作を繰り返す。

なお、ビデオカメラ１００の撮影時間は０．３秒に限定するものではないが、実施の形態１においては、撮影時間は、０．３秒間である場合を例にとって以降も説明する。

また、実施の形態１では、雲台５００を静止させたときに、撮影しながら特定の対象物（動体）の検出を行なう例について述べたが、雲台５００を動かしながら、動体の検出が可能なアルゴリズムを導入することもできる。

［１−２−２．動作モード］
撮影した映像に特定の対象物を検出した場合の撮像システム１１０の動作について説明する。ビデオカメラ１００は、属性情報から、動きに関する情報のみを比較し、撮影方向を決定していく追っかけモード（第１モード）と、動き、人物（顔）および音声などの特定の対象物に関する情報を比較し、撮影方向を決定していくパーティモード（第２モード）を有する。各モードは、ビデオカメラ１００の外部入力部３２３によるユーザの指示により設定可能である。

［１−２−３．追っかけモード］
図８は、撮像システム１１０の動作の一例を説明する状態遷移図である。図８は、追っかけモード時の動作を説明する状態遷移図である。

ビデオカメラ１００が撮影した映像に特定の対象物が検出できない場合、図７Ａ、図７Ｂで示す各撮影領域に対して、雲台の５００の移動と停止、ビデオカメラ１００の撮影と対象物の判定のデフォルトの動作（サーチ）を繰り返す（Ｓ１０１、Ｓ１０２）。ビデオカメラ１００が０．３秒間の撮影の間に、撮影した映像に動く物体（動体）を検出した場合、ビデオカメラ１００の生成部３０９は、撮影領域のこの期間に撮影した映像の属性情報に動き（動きベクトル）に関する情報を追加する。

比較部３１０は、生成部３０９で生成された動きに関する情報を含む属性情報と、この期間よりも前に撮影された際に生成された属性情報とを比較する。比較部３１０は、まえの期間における撮影では、動体は検出されなかったが、今回の撮影では動体を検出したことから、この撮影領域には特定の対象物が存在するようになったと判定する。この場合、比較部３１０は、現在の撮影領域に、動体が検出されなかった他の撮影領域よりも高い優先順位を付与する。

比較部３１０は例えば、図９Ａ、図９Ｂに示す優先順位の情報を作成、更新し、カメラワーク制御部３１１に渡す。

図９Ａ、図９Ｂは、撮影領域の優先順位の情報の一例を示す。

図９Ａ、図９Ｂにおいては、各撮影領域に付与された優先順位は数字が小さいほど優先順位が高いことを示す。図９Ａは各撮影領域の優先順位が等しいことを示す。この場合、撮像システム１１０はデフォルトの動作を行う。図９Ｂは、撮影領域３、撮影領域２、それ以外の撮影領域の順に優先順位が付与されている。

カメラワーク制御部３１１は、比較部３１０で付与された撮影領域の優先順位の情報と、動きベクトルの方向とに基づいて、動体が撮影している領域の中央に位置するように（センタリング）、雲台５００および／またはレンズ制御部３０７を制御する（Ｓ１０３）。具体的には、カメラワーク制御部３１１は、動体を追いかける方向へ雲台５００の移動量を指示すると共に、動体が撮影領域の中央で大きく撮影されるようにレンズ制御部３０７へズームインを指示する。

雲台５００が指示した撮影方向で停止したところで、ビデオカメラ１００は、０．３秒間の撮影を行なう（Ｓ１０４）。撮像システム１１０は、撮影の間に動体が移動する場合は、動体のセンタリングと撮影の動作を繰り返す（Ｓ１０３、Ｓ１０４）。撮像システム１１０は、撮影の間に動体が移動して見失ってしまった場合は、ズームアウト（Ｓ１０５）して動体を探す（Ｓ１０６）。動体が検出できない場合は、比較部３１０で付与された撮影領域の優先順位に基づいて、次に優先順位の高い撮影領域へ移動する（ＭＡＰサーチ、Ｓ１０７）。比較部３１０は、撮影領域で動体が検出されなかった場合、対象の撮影領域の優先順位を下げる。

撮像システム１１０は、上記動作を繰り返し、いずれの撮影領域も等しい優先順位となったときには、デフォルトの動作に戻り（Ｓ１０８）、新たに動体を検出するまでデフォルトの動作を繰り返す（Ｓ１０１、Ｓ１０２）。

［１−２−４．パーティーモード］
図１０は、撮像システム１１０の動作の他の例を説明する状態遷移図である。図１０は、パーティーモードが設定されているときの状態遷移図を示す。

上述のように、撮像システム１１０は、特定の対象物が検出できない場合、デフォルトの動作を繰り返している（Ｓ２０１、Ｓ２０２）。

ビデオカメラ１００が、０．３秒間の撮影の間に、動く物体（動体）を検出した場合、生成部３０９は、この期間の映像の属性情報に動き（動きベクトル）に関する情報を追加する。

比較部３１０は、生成部３０９で生成された期間の動きに関する情報を含む属性情報と、この期間よりも前の期間に撮影された際に生成された属性情報とを比較して、この撮影領域に動体が存在することを検出し、高い優先順位を付与する。カメラワーク制御部３１１は、比較部３１０で付与された撮影領域の優先順位の情報と、動きベクトルの方向とに基づいて、雲台５００および／またはレンズ制御部３０７へセンタリングを指示する（Ｓ２０３）。

雲台５００が指示した位置で停止したところで、ビデオカメラ１００は、０．３秒間の撮影を行なう（Ｓ２０４）。撮像システム１１０は、撮影の間に動体が移動する場合は、動体のセンタリングと撮影の動作を繰り返す（Ｓ２０３、Ｓ２０４）。撮影の間に動体が移動して見失ってしまった場合は、追っかけモードと同様に、ズームアウト（Ｓ２０５、Ｓ２０６）、ＭＡＰサーチ（Ｓ２０７、Ｓ２０８）、デフォルトの動作（Ｓ２０１、Ｓ２０２）の順に、動作が遷移する。

ここで、撮影の間に、音声を検出した場合、生成部３０９は、この期間の映像の属性情報として音声に関する情報を追加する。同時に、比較部３１０は音声に関する情報を含む属性情報を有する撮影領域に、最も高い優先順位を付与する。カメラワーク制御部３１１は、比較部３１０で付与された撮影領域の優先順位と、マイク部３２２（ステレオマイク２１７）からの音声の方向とに基づいて、音源を追いかける方向へ雲台５００の移動量を指示する（Ｓ２０９）。雲台５００が指示した位置で停止すると、ビデオカメラ１００は、０．３秒間の撮影を行なう（Ｓ２１０）。

［１−３．まとめ］
実施の形態１の撮像システム１１０は、比較部３１０が、撮影方向毎に、異なる期間に生成された属性情報を比較し、比較結果に基づいて、各撮影方向の撮影における優先順位を決定する。カメラワーク制御部３１１は、優先順位に基づいて、次の撮影方向を決定し、決定した撮影方向に基づいて撮像部３０１と雲台５００の動作を制御する。

これにより、雲台５００は、決定した撮影方向で撮影できる位置にビデオカメラ１００を移動させ、ビデオカメラ１００は、特定の対象物が撮影領域内に存在するように撮像部３０１を制御する。

従って、優先順位の高い特定の対象物を重点的に撮影することが可能となる。

また、比較部３１０は、動きに関する情報を比較する第１のモードと、動きに関する情報、顔に関する情報および音声に関する情報を比較する第２のモードを有する。

これにより、ペットのように動きに着目する特定の対象物と、人物のように、動き、顔、声に着目する特定の対象物と対象物の特徴に応じた自動撮影が可能となる。

（実施の形態２）
実施の形態２では、撮影した映像信号から、撮影範囲内に存在する特定の対象物の位置を示す構図マップを生成する撮像装置について説明する。

以下、図１１〜１４を用いて、実施の形態２を説明する。

［２−２．固定動体の特定］
特定の対象物として動体に注目して撮影を行ないたい場合、従来のビデオカメラでは、カーテン、扇風機あるいはテレビに表示される映像といったものも動体として認識されてしまう。そこで、ビデオカメラ１００は、特定の動きを繰り返す動体、あるいは、大きな移動を行なわない動体を固定動体と特定し、特定の対象物として注目すべき対象から除外する処理を行なう。

具体的には、比較部３１０は、属性情報に基づいて、動きベクトルに関する情報を抽出する。加えて、時間単位で分類された属性情報に基づいて、特定の動きを繰り返している動体および撮影領域を超えるような大きな移動を行なわない動体が存在する場所を特定する。比較部３１０は、特定された場所にある動体は固定動体であると判断し、特定の対象物がない撮影領域と同等のレベルまで、優先順位を下げる。

これにより、撮影した映像に、例えば、揺れるカーテンが延々と映っている状態を回避することができる。

［２−２．構図マップの生成］
構図マップ作成部３１６は、撮像部３０１により撮影された各撮影領域の映像の属性情報と、撮影された時刻とから、現在から所定の期間（例えば、１分）以内の映像の属性情報を参照し、撮影範囲内に存在する特定の対象物の存在を検出し、構図マップを作成する。

図１１は、表示部３１８（ディスプレイ２０９）に表示された映像信号の一例を示す図である。図１１に示すように、撮影範囲Ｓの中に、眠っているネコ１００１（動物）、起きているネコ１００２（動体、動物）およびカーテン１００３（動体）などの特定の対象物が存在する。

図１２Ａ、図１２Ｂは、実施の形態２における動作を説明するための模式図である。図１２Ａ、図１２Ｂにおいて、撮影範囲Ｓはユーザにより設定された領域、一点鎖線の矩形で示す撮影領域は撮影範囲Ｓにおいて実際に撮影を行うべき領域を示す。また、撮影領域に付した番号は撮影の順番を示す。

実施の形態２では、実施の形態１と同様に、図１２Ｂ示すように、撮影範囲Ｓを上下２段、左右５列の撮影領域に分割し、各撮影領域を少しずつ重なり合わせて撮影する。また、撮影は図１２Ａ、図１２Ｂに示すように、まず中央位置の撮影領域１を撮影し、撮影領域２から番号順に撮影する。構図マップ作成には撮影領域２〜１０で撮影された映像を用いる。

図１２Ａ、図１２Ｂに示すように、撮影範囲Ｓに眠っているネコ１００１、起きているネコ１００２およびカーテン１１０３などの特定の対象物がある場合、生成部３０９は、撮影領域３、４、５および１０で撮影された映像に、人物（動物）や動きベクトルなどの情報を生成し、属性情報に追加する。

図１３Ａ、図１３Ｂは、実施の形態２における構図マップの一例を説明する図である。図１３Ａ、図１３Ｂは、説明のために図１２Ｂにおける１０個の撮影領域と各撮影領域に付与された番号を示す。

以下、図１３Ａを用いて構図マップの生成について説明する。

構図マップ４００は撮影範囲Ｓに相当する。構図マップ作成部３１６は、撮影領域１０の映像の属性情報より、右下に動物が存在することを検出すると、構図マップ４００の撮影領域１０に相当する領域の右下の位置に、特定の対象物が存在することを示す矩形を配置する。また、構図マップ作成部３１６は、撮影領域３の映像の属性情報より、撮影領域３の右下に動きのある動物が存在することを検出し、構図マップ４００の撮影領域３に相当する領域の右下に特定の対象物（動体）が存在することを示す一点鎖線の矩形を配置する。さらに、構図マップ作成部３１６は、撮影領域４および撮影領域５の映像の属性情報より、撮影領域４および撮影領域５の右端に動きがある物体を検出し、構図マップ４００中の撮影領域４、５の相当する位置に特定の対象物（動体）が存在することを示す鎖線の矩形を配置する。

また、構図マップ作成部３１６は、時間単位で分類された属性情報から、撮影領域４および撮影領域５の右端に存在する動きのある物体は、カーテン、扇風機あるいはテレビといった特定の領域に固定された固定動体であると判断する。構図マップ作成部３１６は、撮影領域４および撮影領域５に配置していた動体を削除し、固定動体として、例えば、図１３Ｂに示すように、点線の矩形を配置する。

作成された構図マップは、一時的に記憶部３１５に記憶され、撮影中の映像に重畳されて表示部３１８に表示される。

［２−２．構図マップの表示］
図１４は、実施の形態２における表示部３１８（ディスプレイ２０９）に表示される構図マップの一例を示す模式図である。

構図マップ４００は、撮影中の映像を可及的に遮らないように、表示部３１８の上部に表示される。構図マップ４００の左右方向は、撮影範囲Ｓの左右方向に相当する。従って、構図マップ４００の左右方向のサイズは、表示部３１８の左右方向に対し、所定のマージ幅をおいた大きさを常に有しているが、相当する撮影範囲Ｓの角度は、ユーザの設定により、±４５°、±９０°および±１８０°のいずれかとなっている。一方、構図マップ４００の上下方向は撮影範囲Ｓの上下方向の角度３０°に相当し、表示部３１８の表示領域の上側に、たとえば、１０％〜２０％の大きさで表示される。

構図マップ４００中の、点線の矩形４０１は特定の対象物が存在することを、また、一点鎖線の矩形４０２は動体が存在すること、矩形４０３、矩形４０４は固定動体が存在することを表している。

なお、構図マップ４００の矩形は、線種違いではなく、例えば、形状や色を異ならせて、特定の対象物の違いが表示されるようにしてもよい。

［２−３．構図マップの更新］
表示部３１８に表示される構図マップに過去の情報が蓄積されると、構図マップが見づらくなってしまうほか、陳腐化した情報が表示されることになってしまう。そこで、撮像システム１１０は、構図マップから、所定の時間（例えば、１〜３分間）経過した動体、人物（動物）および音声などに関する情報の信頼度を時間と共に徐々に下げる。たとえば、撮像システム１１０は、１５秒ごとに、情報の信頼度を１０％ずつ下げる。

具体的には、構図マップ作成部３１６は、時間単位で分類された属性情報に基づいて、所定の時間経過した属性情報を抽出し、構図マップから削除すべき情報（矩形）を特定し、削除する。同様に、比較部３１０は、時間単位で分類された属性情報に基づいて、所定の時間、動体が存在することを含む属性情報が更新されていない撮影領域を特定し、この撮影領域に高い優先順位を付与する。

これにより、構図マップには、陳腐化した過去の情報は削除された、比較的新しい情報のみが表示される。また、特定の対象物を見失い、サーチ動作に入るときなどに、いずれの領域からサーチを行なうべきかの優先順位も明確になる。

［２−４．撮影動作］
カメラワーク制御部３１１は、比較部の比較結果と構図マップ作成部が作成した構図マップに基づいて、各撮影方向の優先順位を決定する。

図１３Ｂの構図マップは、撮影領域３に特定の対象物（動体）を示す属性情報、撮影領域１０に特定の対象物を示す属性情報、撮影領域４，５に固定動体を示す属性情報を含んでいる。まず、カメラワーク制御部３１１は、構図マップより、起きているネコ１００２（動体）が存在する撮影領域３を最も高い優先順位とする。次に、カメラワーク制御部３１１は、眠っているネコ１００１が存在する撮影領域１０を、撮影領域３の次の優先順位とする。カメラワーク制御部３１１は、撮影領域３と撮影領域１０以外の領域は、比較部３１０が決定した優先順位とする。

カメラワーク制御部３１１は決定した優先順位の順番の撮影方向で撮影出来るよう、レンズ制御部３０７の動作に関する情報や雲台５００のパン方向への移動量およびチルト方向への移動量に関する移動量情報を生成し、各々レンズ制御部３０７、雲台５００へ出力する。

［２−５．まとめ］
実施の形態２における構図マップ作成部３１６は、所定の期間内に撮像部３０１が撮影範囲Ｓを所定時間撮影した映像の属性情報より、撮影範囲Ｓ内に存在する特定の対象物を検出し、特定対象物の位置を示す構図マップを生成する。さらに、比較部３１０は、異なる期間の属性情報を比較して、特定の動きを繰り返している所定の対象物および撮影方向を超えるような大きな移動を行わない所定の対象物を抽出し、抽出した所定の対象物が存在する撮影方向の優先順位を、所定の対象物が存在しない撮影方向の優先順位と同等とする。

これにより、特定の動きを繰り返す動体、あるいは、大きな移動を行なわない動体を固定動体と特定し、特定の対象物として注目すべき対象から除外することができる。

従って、特定の対象物を見失い、サーチ動作に入るときなどに、いずれの領域からサーチを行なうべきかの優先順位が明確になる。

また、表示部３１８は、構図マップ作成部３１６が作成した構図マップを、撮像部３０１が撮影している映像に重畳表示する。

これにより、現在、撮像部３０１が撮像している映像が、撮影範囲Ｓ内のどこを撮影しているか、撮影範囲Ｓ内に撮影対象となる特定の対象物の存在と、その位置を明示的に認識することが可能となる。

従って、優先順位の高い特定の対象物を重点的に撮影することが可能となる。

また、映像情報は、撮影した映像と属性情報とから構成される。また、映像情報は、特定の時間毎のレイヤー構造と属性情報単位のレイヤー構造とを有する。

（その他の実施形態）
以上のように、本出願において開示する技術の例示として、実施の形態１および２を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

そこで、以下、他の実施の形態を例示する。

なお、本開示においては、映像が動画像である場合を中心に説明したが、これに限定されるものではなく、マイクなどを搭載した静止画を撮影するカメラであってもよい。

また、雲台の移動において、ヒステリシスを無視して説明したが、実際の駆動部分には遊び部分があるので、この遊び部分を考慮して制御するとよい。

また、撮像装置として、ビデオカメラを例に取って説明したが、撮像装置としては、スマートフォン、監視カメラ、デジタルスチルカメラなど、映像または静止画の撮影および表示ができる機能を有する電子機器であればよい。本開示において、撮像装置は駆動装置と接続されていたが、撮像装置単体においても、本開示は適用できる。

また、本開示においては、属性情報の比較結果と、構図マップに含まれる属性の優先順位に基づいて、撮影方向を決定するとしたが、次の撮影方向の決定に限定するものではない。例えば、構図マップに含まれる属性情報の優先順位に基づいて、ある画像よりその一部を切り出す際の切り出し範囲を決定するとしてもよい。また、ある画像の一部の合焦（フォーカス）領域や追尾領域を決定するとしてもよい。

また、撮影対象となる人の顔、人物、動物や車両などの動体、または、それらを含む矩形領域を決定するとしてもよい。

また、所定の対象物を建築物や一般の物体とし、それらの属性情報を追加することで、固定の場所、物体を監視する監視カメラなどに適用することができる。

なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲、またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、多くの人が集まる会合などでの撮影や防犯（見守り）カメラ等の撮像システムに有用である。

１００ ビデオカメラ
１１０ 撮像システム
２００ レンズ群
２０１ 撮像素子
２０２ 映像ＡＤＣ
２０３ 映像信号変換回路
２０４ ＣＰＵ
２０５ クロック
２０６ レンズ制御モジュール
２０６ａ レンズ制御用モータ
２０６ｂ レンズ位置センサ
２０７ 姿勢検出センサ
２０７ａ 加速度センサ
２０７ｂ 角速度センサ
２０７ｃ 仰角・俯角センサ
２０８ 入力ボタン
２０９ ディスプレイ
２１０ スピーカー
２１１ 出力Ｉ／Ｆ
２１２ 圧縮伸張回路
２１３ ＲＯＭ
２１４ ＲＡＭ
２１５ ＨＤＤ
２１６ 音声ＡＤＣ
２１７ ステレオマイク
３００ レンズ部
３０１ 撮像部
３０２ 映像ＡＤ変換部
３０３ 映像信号処理部
３０４ 映像信号圧縮部
３０５ 撮像制御部
３０６ 映像解析部
３０７ レンズ制御部
３０７ａ ズーム制御部
３０７ｂ フォーカス制御部
３０７ｃ 手振れ補正制御部
３０８ 姿勢検出部
３０８ａ 加速度センサ
３０８ｂ 角速度センサ
３０８ｃ 仰角・俯角センサ
３０９ 生成部
３１０ 比較部
３１１ カメラワーク制御部
３１２ 音声解析部
３１３ 音声信号圧縮部
３１４ 多重化部
３１５ 記憶部
３１６ 構図マップ作成部
３１７ 映像信号伸張部
３１８ 表示部
３１９ 音声信号伸張部
３２０ 音声出力部
３２１ 音声ＡＤ変換部
３２２ マイク部
３２３ 外部入力部
３２４ 通信部
４００ 構図マップ
４０１，４０２，４０３，４０４ 矩形
５００ 雲台
５０１ 装着部
５０２ ピン
６００ 通信部
６０１ 駆動制御部
６０２ パン用駆動部
６０３ パン用モータ
６０４ パン用機構部
６０４ｒ ＲＥ
６０５ チルト用駆動部
６０６ チルト用モータ
６０７ チルト用機構部
６０７ｒ ＲＥ

本開示は、撮影された映像の内容に基づいて撮影方向を決定する撮像装置、撮像システムおよび撮像方法に関する。

従来、カメラと雲台とを備えた撮像システムにおいて、自動的に構図を判定し、パン・チルト・ズームの調整を行なう撮像システムが知られている。

この撮像システムにおいて、何らかの不具合を生じた場合の構図の探索手法などについても、例えば、所定の時間経過後に撮影を行なうなど提案されている（例えば、特許文献１）。

特開２０１１−０３０１６０号公報

本開示の撮像システムは、駆動装置と、駆動装置に接続され、駆動装置の動作を制御する撮像装置とを備える。撮像装置は、撮像部と、複数の撮影方向を撮像部で撮影することで所定の撮影範囲を撮影し、撮像部で撮影した映像に関する属性情報を所定の映像単位毎に生成する生成部と、所定の期間内に複数の撮影方向で撮影した映像の属性情報より、所定の撮影範囲に存在する所定の対象物を抽出し、抽出した対象物の位置を示す構図マップを作成する構図マップ作成部と、撮影方向毎に、異なる期間に生成された属性情報を比較した比較結果と、構図マップに含まれる属性情報とに基づいて、各撮影方向の撮影における優先順位を決定する比較部と、優先順位に基づいて、次の撮影方向を決定し、決定した撮影方向に基づいて撮像部と駆動装置の動作を制御する制御部と、を備える。

この構成により、優先順位の高い撮影方向（撮影領域）を重点的に撮影することができる撮像システムを提供することができる。

図１は、実施の形態１における映像撮像システムの外観斜視図である。 図２は、本実施の形態１における雲台の外観斜視図である。 図３は、実施の形態１におけるビデオカメラの外観斜視図である。 図４は、実施の形態１におけるビデオカメラ内部のハードウェア構成を示した概略図である。 図５は、実施の形態１における本開示にかかるビデオカメラの機能構成について示した機能構成図である。 図６は、実施の形態１における雲台の機能構成について示した機能構成図である。 図７Ａは、実施の形態１における映像撮像システムのデフォルトの動作を説明する図である。 図７Ｂは、実施の形態１における映像撮像システムのデフォルトの動作を説明する図である。 図８は、実施の形態１における映像撮像システムの動作の一例を説明する状態遷移図である。 図９Ａは、実施の形態１における撮影領域の優先順位の情報の一例を示す図である。 図９Ｂは、実施の形態１における撮影領域の優先順位の情報の一例を示す図である。 図１０は、実施の形態１における映像撮像システムの動作の他の例を説明する状態遷移図である。 図１１は、実施の形態２における表示部に表示された映像信号の一例を示す図である。 図１２Ａは、実施の形態２における撮影動作を説明するための図である。 図１２Ｂは、実施の形態２における撮影動作を説明するための図である。 図１３Ａは、実施の形態２における構図マップの一例を説明する模式図である。 図１３Ｂは、実施の形態２における構図マップの一例を説明する模式図である。 図１４は、実施の形態２における表示部に表示された構図マップの表示例を示す図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
以下、図１〜９を用いて、実施の形態１を説明する。

［１−１．構成］
［１−１−１．映像撮像システムの構成］
図１は、実施の形態１にかかる撮像システム１１０の外観斜視図である。図２は、雲台５００の外観斜視図である。図３は、ビデオカメラ１００の外観斜視図である。

図１に示すように、撮像システム１１０は、雲台５００と雲台５００の天面に設けられたビデオカメラ１００で構成される。ビデオカメラ１００と雲台５００とは、ＵＳＢケーブルによって接続されている。雲台５００の動作はビデオカメラ１００よって制御される。実施の形態１では、駆動装置の一例として雲台５００を、撮像装置の一例としてビデオカメラ１００を、それぞれ説明する。

図２に示すように、雲台５００の天面には、ビデオカメラ１００を装着する装着部５０１が設けられている。装着部５０１は、ピン５０２をビデオカメラ１００の底面に設けられた位置決めピン用の穴（不図示）に嵌入させ、上部から押圧をかけることによって、バネ式の天面の一部が押し下がる。このとき、雲台５００の内部に設けられツメに、天面の一部と共にビデオカメラ１００が係止されることにより、ビデオカメラ１００は傾斜した状態（約３°上向き）で固定される。

図３に示すように、ビデオカメラ１００は、映像を撮影する撮像部３０１（不図示）と、撮像部３０１により撮影された映像を表示する表示部３１８と、グリップベルト１０１と、バッテリ１０２などを有する。撮像部３０１は、レンズ部３００から入射した光を映像信号に変換するＣ−ＭＯＳセンサ（不図示）などから構成される。表示部３１８は、タッチパネル式の液晶ディスプレイから構成される。

［１−１−２．撮像装置のハードウェア構成］
図４は、ビデオカメラ１００内部のハードウェア構成の概略図である。

ビデオカメラ１００は、レンズ群２００と、撮像素子２０１と、映像ＡＤＣ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）２０２と、映像信号変換回路２０３と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０４と、クロック２０５と、レンズ制御モジュール２０６と、姿勢検出センサ２０７と、入力ボタン２０８と、ディスプレイ２０９と、スピーカー２１０と、出力Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）２１１と、圧縮伸張回路２１２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１３と、ＲＡＭ（Ｒａｎｄａｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２１４と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）２１５と、音声ＡＤＣ（Ａｎａｌｏ ｔｏ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）２１６と、ステレオマイク２１７とを備える。

レンズ群２００は、撮像素子２０１上で被写体像を形成するために、被写体から入射する光を調整する。具体的には、レンズ群２００は、焦点距離およびズーム（映像の拡大倍率）を、様々な特性を持つ複数のレンズ間の距離を変化させることで調整する。これらの調整は、ビデオカメラ１００の撮影者が手動で調整するものでも、後述するレンズ制御モジュール２０６を通じてＣＰＵ２０４等からの制御により自動的に調整するものであってもよい。

撮像素子２０１は、レンズ群２００を通して入射する光を電気信号に変換する。撮像素子２０１には、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）あるいはＣ−ＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサを利用することが可能である。

映像ＡＤＣ２０２は、撮像素子２０１から出力されたアナログの電気信号をデジタルの電気信号に変換する。映像ＡＤＣ２０２で変換されたデジタル信号は、映像信号変換回路２０３へ出力される。

映像信号変換回路２０３は、映像ＡＤＣ２０２が出力するデジタル信号を、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）またはＰＡＬ（Ｐｈａｓｅ Ａｌｔｅｒｎａｔｉｎｇ Ｌｉｎｅ）と言った所定の方式の映像信号（映像信号）に変換する。

ＣＰＵ２０４は、ビデオカメラ１００全体を制御する。制御の種類としては、例えば、レンズ制御モジュール２０６を介して上述のレンズの焦点距離およびズームの制御を行うことで、撮像素子２０１への入射光を制御するレンズ制御がある。また、入力ボタン２０８および姿勢検出センサ２０７等からの外部入力に対する入力制御、あるいは、圧縮伸張回路２１２の動作制御等がある。ＣＰＵ２０４は、これらの制御アルゴリズムをソフトウェア等で実行する。

クロック２０５は、ビデオカメラ１００内で動作するＣＰＵ２０４等の回路に、処理動作の基準となるクロック信号を出力する。なお、クロック２０５は、利用する集積回路及び扱うデータによって、単一または複数のクロックを用いることも可能である。また、ひとつの発振子のクロック信号を任意の倍数に乗じて使用してもよい。

レンズ制御モジュール２０６は、レンズ群２００の状態を検出し、ＣＰＵ２０４からの制御に基づいて、レンズ群２００に含まれる各レンズを動作させる。レンズ制御モジュール２０６は、レンズ制御用モータ２０６ａと、レンズ位置センサ２０６ｂとを備える。

レンズ制御用モータ２０６ａは、ＣＰＵ２０４から送信された制御信号に基づいて、レンズを駆動させるモータである。この結果、レンズ群２００の複数のレンズ間の相対的な位置関係が変更され、レンズの焦点距離、およびズームを調整することができる。これにより、レンズ群２００を通過した入射光は、撮像素子２０１上で、目的とする被写体像を結ぶ。

レンズ位置センサ２０６ｂは、レンズ群２００を構成する複数のレンズ間の距離または位置関係等を検出する。レンズ位置センサ２０６ｂが検出した複数のレンズ間の位置情報等は、ＣＰＵ２０４に送信される。ＣＰＵ２０４は、レンズ位置センサ２０６ｂからの情報、および撮像素子２０１等の他の構成要素からの情報に基づいて、複数のレンズを適正に配置させるための制御信号を、レンズ制御用モータ２０６ａに送信する。

なお、ＣＰＵ２０４は、上記以外にも、ビデオカメラ１００で映像撮影時の手振れをレンズ位置センサ２０６ｂおよび後述する姿勢検出センサ２０７等で検出し、レンズ制御用モータ２０６ａを駆動する制御を行ってもよい。これにより、ＣＰＵ２０４は、手振れ防止の動作を、レンズ制御モジュール２０６を介して実行させることも可能である。

姿勢検出センサ２０７は、ビデオカメラ１００の姿勢の状態を検出する。姿勢検出センサ２０７は、加速度センサ２０７ａと、角速度センサ２０７ｂと、仰角・俯角センサ２０７ｃとを備える。これらの各種センサにより、ＣＰＵ２０４は、ビデオカメラ１００がどのような状態で撮影を行っているかを検出する。なお、これらのセンサは、好ましくはビデオカメラ１００の姿勢を詳細に検出するために、３軸方向（垂直方向、水平方向等）についてそれぞれ検出できることが望ましい。

入力ボタン２０８は、ビデオカメラ１００の撮影者が使用する入力インタフェースの一つである。入力ボタン２０８により、撮影者が撮影の開始または終了、ビデオ撮影中の映像にマーキングを挿入する等、各種要求をビデオカメラ１００に伝えることが可能となる。また、後述するディスプレイ２０９がタッチパネルとなっており、入力ボタン２０８の一部を構成してもよい。

ディスプレイ２０９は、撮影者がビデオカメラ１００の撮影時に映像を見るため、あるいは、記憶された映像を見るため等に設けられている。ディスプレイ２０９により、撮影者は、撮影した映像をその場で確認することが可能となる。また、上記以外にも、ビデオカメラ１００の各種情報を表示することで、撮影情報および機器情報等のより詳細な情報を撮影者に伝えることが可能となる。

スピーカー２１０は、撮影した映像を再生する際の音声出力に使用される。それ以外にも、スピーカー２１０は、ビデオカメラ１００が出力する警告を音で撮影者へ伝えることも可能である。

出力Ｉ／Ｆ２１１は、ビデオカメラ１００が撮影した映像を外部機器へ出力したり、後述する雲台５００の動作を制御する制御信号を出力したりするために用いられる。具体的には、出力Ｉ／Ｆ２１１は、外部機器とケーブルで接続する場合のケーブルインタフェース、および撮影した映像を可搬可能なメモリカード２１８に記録する場合のメモリカードインタフェース等である。出力Ｉ／Ｆ２１１を介して撮影した映像を出力することにより、撮影した映像をビデオカメラ１００に備え付けのディスプレイ２０９よりも大きな外部のディスプレイを用いて視聴等することが可能となる。

圧縮伸張回路２１２は、撮影した映像および音声を、所定のデジタルデータ形式（符号化処理）にする。具体的には、圧縮伸張回路２１２は、撮影した映像データおよび音声データに対して、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｏｅｒｔｓ Ｇｒｏｕｐ）またはＨ．２６４等の符号化処理を行い、所定のデータ方式に変換（圧縮）する。また、圧縮伸張回路２１２は、撮影したデータの再生時に、所定のデータ形式の映像データを伸張して、ディスプレイ２０９等に表示するデータ処理を行う。なお、圧縮伸張回路２１２は、静止画像についても、映像と同様に、圧縮伸張する機能を備えるものであっても良い。

ＲＯＭ２１３は、ＣＰＵ２０４が処理するソフトウェアのプログラムおよびプログラムを動作させるための各種データを記憶する。

ＲＡＭ２１４は、ＣＰＵ２０４が処理するソフトウェアのプログラム実行時に使用するメモリ領域等として使用される。また、圧縮伸張回路２１２と共用でこのＲＡＭ２１４を使用してもよい。

ＨＤＤ２１５は、圧縮伸張回路２１２が符号化した映像データおよび静止画像データを蓄積等する目的で利用される。なお、記憶されるデータは、上記以外にも、後述する再生情報のデータ等を記憶することも可能である。また、本説明では、記憶媒体としてＨＤＤ２１５を代表の記憶媒体として説明しているが、これ以外にも半導体記憶素子を用いるものであっても良い。

音声ＡＤＣ２１６は、ステレオマイク２１７から入力される音声を、アナログ電気信号からデジタル電気信号に変換処理する。

ステレオマイク２１７は、ビデオカメラ１００外部の音声を電気信号に変換して出力する。

なお、上記の通り、ビデオカメラ１００のハードウェア構成を示したが、本発明では上記の構成に限定されるものではない。例えば、映像ＡＤＣ２０２及び映像信号変換回路２０３等を単一の集積回路として実現することも可能であるし、ＣＰＵ２０４が実行するソフトウェアプログラムの一部を別途、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を用いてハードウェアとして実現することも可能である。

［１−１−３．撮像装置の機能構成］
図５は、ビデオカメラ１００の機能構成を説明する詳細な機能構成図である。

ビデオカメラ１００は、レンズ部３００と、撮像部３０１と、映像ＡＤ変換部３０２と、映像信号処理部３０３と、映像信号圧縮部３０４と、撮像制御部３０５と、映像解析部３０６と、レンズ制御部３０７と、姿勢検出部３０８と、生成部３０９と、比較部３１０と、カメラワーク制御部３１１と、音声解析部３１２と、音声信号圧縮部３１３と、多重化部３１４と、記憶部３１５と、構図マップ作成部３１６と、映像信号伸張部３１７と、表示部３１８と、音声信号伸張部３１９と、音声出力部３２０と、音声ＡＤ変換部３２１と、マイク部３２２と、外部入力部３２３と、通信部３２４とを備える。実施の形態１では、制御部の一例としてカメラワーク制御部３１１を説明する。

レンズ部３００は、被写体から入射した光の焦点距離およびズーム倍率（映像の拡大倍率）等を調整する。これらはレンズ制御部３０７からの制御により行われる。レンズ部３００は、図４のレンズ群２００に相当する。

撮像部３０１は、レンズ部３００を透過した光を電気信号に変換する。撮像部３０１は、撮像制御部３０５の制御により、撮像素子上の任意の範囲のデータを出力する。また映像データ以外にも、３原色点の色度空間情報、白色の座標および３原色のうち少なくとも２つのゲイン情報、色温度情報、Δｕｖ（デルタｕｖ）、および、３原色または輝度信号のガンマ情報等の情報も出力することが可能である。これらの情報は、生成部３０９へ出力される。撮像部３０１は、図４の撮像素子２０１に相当する。

映像ＡＤ変換部３０２は、撮像部３０１からの電気信号を、所定の処理内容にしたがってアナログの電気信号からデジタルの電気信号に変換する。映像ＡＤ変換部３０２は、図４の映像ＡＤＣ２０２に相当する。

映像信号処理部３０３は、映像ＡＤ変換部３０２から出力されたデジタル信号を、所定の映像信号フォーマットに変換する。例えば、ＮＴＳＣで規定された水平線の数、走査線の数およびフレームレートに準拠した映像信号に変換する。映像信号処理部３０３は、図４の映像信号変換回路２０３に相当する。

映像信号圧縮部３０４は、映像信号処理部３０３によって処理されたデジタル信号に対して所定の符号化変換を行い、データ量を圧縮等する。具体的には、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４等の符号化方式がある。映像信号圧縮部３０４は、図４の圧縮伸張回路２１２の圧縮機能に相当する。

撮像制御部３０５は、撮像部３０１の動作を制御する。具体的には、撮像制御部３０５は、撮像部３０１に対して、撮影時の露出量、撮影速度および感度等を制御する。また、これらの制御情報は、生成部３０９へも併せて出力される。撮像制御部３０５は、図４のＣＰＵ２０４で処理される制御アルゴリズムの一つによって実現される。

映像解析部３０６は、撮影された映像信号から映像の特徴を抽出する。映像解析部３０６は、映像に含まれる輝度情報や色情報（例えば、映像の１画面を横３２、縦１８の合計５７６個のブロックに分割し、各ブロックに含まれる色や輝度の分布を算出する）、動きベクトル、ホワイトバランス、さらに映像に人物の顔が含まれている場合には、当該人物の顔検出を行う等、映像信号を解析することで、映像の特徴を抽出する。また、動きベクトルは、複数フレーム間での特徴量の差分を算出することで実現可能である。また、顔検出は、顔の特徴を表す特徴量の学習により、特徴量のパターンマッチング等により実現可能である。映像解析部３０６は、図４のＣＰＵ２０４でソフトウェア処理されるアルゴリズムの一つによって実現される。

レンズ制御部３０７は、レンズ部３００の動作を制御する。レンズ制御部３０７は、後述するカメラワーク制御部３１１からの制御信号に応じて、レンズ部３００のズーム、フォーカスなどを制御する。レンズ制御部３０７は、ズーム制御部３０７ａ、フォーカス制御部３０７ｂ、及び手振れ補正制御部３０７ｃ等を備える。

ズーム制御部３０７ａは、レンズ部３００のズームレンズを制御することで、被写体からの入射光を所望の拡大倍率にして撮像部３０１に入力させる。フォーカス制御部３０７ｂは、レンズ部３００のフォーカスレンズを制御することで、被写体と撮像部３０１との焦点距離を設定する。手振れ補正制御部３０７ｃは、映像等の撮影時の該装置の揺れを抑制する。レンズ制御部３０７は、レンズ部３００を制御するとともに、これらの制御情報を生成部３０９へ出力する。レンズ制御部３０７は、図４のレンズ制御モジュール２０６に相当する。

姿勢検出部３０８は、ビデオカメラ１００の加速度、角速度、及び仰角・俯角等を検出する。姿勢検出部３０８は、加速度センサ３０８ａ、角速度センサ３０８ｂ、及び仰角・俯角センサ３０８ｃを備える。これらのセンサは、ビデオカメラ１００の姿勢及びその変化状況を検出する目的等に用いられる。加速度及び角速度については、垂直・水平（２方向）の３方向について検出できることが望ましい。姿勢検出部３０８は、図４の姿勢検出センサ２０７に相当する。

マイク部３２２は、周囲の音を電気信号に変換して音声信号として出力する。マイク部３２２は、図４のステレオマイク２１７に相当する。

音声ＡＤ変換部３２１は、マイク部３２２から入力されたアナログの電気信号をデジタルの電気信号に変換する。音声ＡＤ変換部３２１は、図４の音声ＡＤＣ２１６に相当する。

音声解析部３１２は、デジタルの電気信号に変換された音声データから特徴のある音を抽出する。ここで特徴のある音とは、例えば、撮影者の声、特定の単語の発音、歓声、及び銃声等がある。これらの音は、これらの音（音声）が持つ特有の周波数を予め登録しておき、それとの比較結果で判別する方法等を用いることで、抽出が可能である。また、上記以外にも、音声解析部３１２は、マイク部３２２が捕捉した音の入力レベル等の特徴も検出する。音声解析部３１２は、図４のＣＰＵ２０４でソフトウェア処理されるアルゴリズムの一つによって実現される。

音声信号圧縮部３１３は、音声ＡＤ変換部３２１から出力された音声データを、所定の符号化アルゴリズムで変換する。符号化には、ＭＰ３（ＭＰＥＧ Ａｕｄｉｏ Ｌａｙｅｒ−３）及びＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）等の方法がある。音声信号圧縮部３１３は、図４の圧縮伸張回路２１２の圧縮機能の一つによって実現される。

外部入力部３２３は、映像撮影時に外部から受信した各種の情報、例えば、撮影者によるボタン入力、または外部から通信経由で受信した撮影インデックス情報等を出力する。なお、撮影インデックス情報とは、例えば、映画撮影時における撮影場面を識別する番号または撮影回数を示す番号等、それぞれの撮影を識別するために用いられる識別番号などである。外部入力部３２３は、図４の入力ボタン２０８等に相当する。

生成部３０９は、所定の映像単位（例えば、１フレーム）映像並びに静止画像の撮影時における撮影情報、外部入力情報およびその他の情報を属性情報として生成する。生成部３０９は、属性情報を撮影時の時間単位に分類している。

撮影情報は、主に、撮像制御部３０５から出力される撮影時の露出量、撮影速度および感度等に関する制御情報と、レンズ制御部３０７から出力される撮影時のズーム、フォーカスおよび手振れ補正等の状態に関する情報と、姿勢検出部３０８から出力される撮影時の姿勢およびその変化等に関する情報とから構成される。外部入力情報は、撮影者によるボタン入力の情報や映像シーンを特徴づける情報等である。

その他の情報は、主に、映像解析部３０６から出力される輝度分布、色分布、動きベクトル、ホワイトバランスおよび人物の顔等の映像の特徴に関する情報である。

属性情報に含まれる情報の一例として以下のような情報がある。

・ 焦点距離
・ ズーム倍率
・ 露出
・ 撮影速度（フレームレート、シャッタースピード）
・ 感度
・ ３原色点の色空間情報
・ ホワイトバランス
・ ３原色のうち少なくとも２つのゲイン情報
・ 色温度情報
・ Δｕｖ（デルタｕｖ）
・ ３原色または輝度信号のガンマ情報
・ 色分布
・ 動きベクトル
・ 人物（顔認識、顔による個人認証、人認識、歩き方やしぐさから個人の歩容認証）
・ カメラ姿勢（加速度、角速度、仰角・俯角、方位、ＧＰＳによる測位値等）
・ 撮影時刻（撮影開始時刻、終了時刻）
・ 撮影インデックス情報（たとえば、カメラの撮影モードのセットアップ値）
・ ユーザ入力
・ フレームレート
・ サンプリング周波数
・ 構図の変化量
属性情報には、上記の情報から算出した映像シーンを特徴づける情報（撮影時の各種情報を組み合わせ、それらを分析等することで得られる情報）も含まれる。例えば、カメラ姿勢（加速度、角速度、仰角・俯角等）の情報からビデオカメラ１００の撮影時におけるパン、チルト等のカメラワークの情報を得ることが可能となる。また、焦点距離およびズーム倍率の情報は、そのままでも属性情報として用いることが可能である。生成部３０９は、撮影時の各種情報からシーン評価に有用な情報を抽出、あるいは算出等して、特定の時刻における顔や人物の位置情報、動体の位置情報、音の位置情報などの属性情報を生成する。

比較部３１０は、各撮影方向において、異なる期間に生成部３０９で生成された属性情報を比較する。そして、その比較結果に基づいて、各撮影方向の優先順位を評価し、撮影における優先順位を決定する。

カメラワーク制御部３１１は、比較部３１０で順位づけされた撮影方向の優先順位の情報から、撮影方向を決定し、決定した撮影方向でビデオカメラ１００が撮影出来るように、レンズ部３００の動作に関する情報や雲台５００のパン方向への移動量およびチルト方向への移動量に関する移動量情報を生成する。カメラワーク制御部３１１の具体的な動作については後述する。

生成部３０９、比較部３１０およびカメラワーク制御部３１１は、図４のＣＰＵ２０４でソフトウェア処理されるアルゴリズムの一つである。

通信部３２４は、カメラワーク制御部３１１で生成された移動量情報を制御信号として雲台５００へ出力する。通信部３２４は、図４の出力Ｉ／Ｆ２１１に相当する。

構図マップ作成部３１６は、撮影した映像と生成部３０９で生成された属性情報等に基づいて、撮影範囲における特定の対象物（顔、人物、動体の動き、および、音など）の位置を示すマップを作成する。具体的な作成方法等については後述する。作成したマップは、一時的に記憶部３１５に記憶され、表示部３１８に表示される。構図マップ作成部３１６は、図４のＣＰＵ２０４で実行されるソフトウェア処理のアルゴリズムの一つである。

多重化部３１４は、映像信号圧縮部３０４から出力される符号化映像データおよび音声信号圧縮部３１３から出力される符号化音声データを多重化して出力する。多重化部３１４は、図４のＣＰＵ２０４で実行されるソフトウェアであってもよいし、圧縮伸張回路２１２で、ハードウェア処理されるものであってもよい。

記憶部３１５は、多重化部３１４から出力された符号化映像データおよび符号化音声データを一時保持または長期保持する。記憶部３１５は、図４のＨＤＤ２１５、ＲＡＭ２１４およびメモリカード２１８等に相当する。

［１−１−４．雲台の構成］
図６は、雲台５００の機能構成を説明する機能構成図である。

雲台５００は、通信部６００と、駆動制御部６０１と、パン用駆動部６０２と、パン用モータ６０３と、パン用機構部６０４と、チルト用駆動部６０５と、チルト用モータ６０６と、チルト用機構部６０７とを備える。

通信部６００は、ビデオカメラ１００の通信部３２４と接続され、制御信号を受信し、移動量情報を生成する。

駆動制御部６０１は、通信部６００で受信した移動量情報に基づいて、パン用駆動部６０２およびチルト用駆動部６０５のそれぞれに対し、移動すべき方向、移動量および移動速度を指示する。駆動制御部６０１は、ＣＰＵ、ＲＯＭおよびＲＡＭなどが組み合わされたマイクロコンピュータなどから構成される。

パン用駆動部６０２は、駆動制御部６０１からの指示信号に基づいて、パン用モータ６０３の動作を制御する。具体的には、パン用モータ６０３は、横方向に回動可能なパン用機構部６０４に取付けられており、パン用モータ６０３が正負方向に回転することにより、パン用機構部６０４が左右方向に回動する構成となっている。また、パン用機構部６０４にはロータリーエンコーダ（ＲＥ）６０４ｒが設けられており、パン用機構部６０４の回転角の移動量を検出して、ＲＥ６０４ｒから駆動制御部６０１へ検出値が出力される。

同様に、チルト用駆動部６０５は、駆動制御部６０１からの指示信号に基づいて、チルト用モータ６０６の動作を制御する。チルト用モータ６０６は、縦方向に回動可能なチルト用機構部６０７に取付けられており、チルト用モータ６０６が正負方向に回転することにより、チルト用機構部６０７が上下方向に回動する構成となっている。また、チルト用機構部６０７にはＲＥ６０７ｒが設けられており、チルト用機構部６０７の回転角の移動量を検出して、ＲＥ６０７ｒから駆動制御部６０１へ検出値が出力される。

上記構成により、パン用駆動部６０２からパン用モータ６０３に対し、モータの回転方向（正負方向）、回転量および回転速度に関する駆動信号を出力することで、雲台５００に取付けられたビデオカメラ１００を左右方向（水平方向）に回動させることができる。また、チルト用駆動部６０５からチルト用モータ６０６に対し、モータの回転方向（正負方向）、回転量および回転速度に関する駆動信号を出力することにより、雲台５００に取付けられたビデオカメラ１００を上下方向（鉛直方向）に回動させることができる。

［１−２．動作］
［１−２−１．デフォルトの動作］
図７Ａ、図７Ｂは、デフォルトの動作を説明するための図である。

図７Ａ、図７Ｂにおいて、撮影範囲Ｓはユーザにより設定された領域、中央の一点鎖線の矩形は撮影範囲Ｓにおいて実際に撮影を行うべき撮影領域を示す。また、各撮影領域に付した番号は撮影領域を撮影する順番を示す。ここで、撮影領域は、ビデオカメラ１００が、その領域を撮影するための撮影方向を示す。図７Ａ、図７Ｂの場合、ビデオカメラ１００は１１個の撮影方向で撮影できることを示している。

まず、カメラワーク制御部３１１は、撮影領域１〜１１を設定する。図７Ａに示すように、撮影領域１は、撮影範囲Ｓにおける上下左右の中央位置にある領域である。図７Ｂに示すように、撮影領域２〜１１は、撮影範囲Ｓ（ここでは、±９０°に設定）を上下２段、左右５列の領域に分割し、各領域が少しずつ重なり合うように設定される。カメラワーク制御部３１１は、撮影領域１〜１１の順に撮影されるように、雲台５００の移動量情報とレンズ部３００のズーム位置を算出する。なお、撮影範囲Ｓの分割は、図７Ｂの分割数に限定するものではなく、雲台５００の設定可能状態に応じて設定すればよい。

雲台５００は、左右方向に最大±１８０°回動する。左右方向の回動角度は、ビデオカメラ１００の外部入力部３２３によるユーザの指示により、±４５°、±９０°および±１８０°の３段階で設定可能である。一方、上下方向には±３０°回動する。実施の形態１においては、左右方向の回転角度を±９０°、上下方向の回答角度を±３０°に設定する。雲台５００は、実施の形態１においては、雲台５００は、移動量情報に応じて、毎秒１°〜２０°の速さの回動と停止の動作を繰り返す。

カメラワーク制御部３１１は、算出したレンズ部３００のズーム位置をレンズ制御部３０７に送信し、雲台５００の移動量情報を駆動制御部６０１に送信する。レンズ制御部３０７および駆動制御部６０１は、それぞれ受信したレンズ位置、移動量情報に従って、レンズ部３００、雲台５００を制御する。

まず、雲台５００は、ビデオカメラ１００が撮影領域１を撮影出来る位置に移動した後、停止する。ビデオカメラ１００は撮影領域１が撮影できるようなズーム位置にレンズ部３００をズームさせ、０．３秒間の撮影を行なう。ビデオカメラ１００は、撮影領域１を撮影した映像に特定の対象物があるかを判定する。次に、雲台５００は、ビデオカメラ１００がズーム位置を調節し、撮影領域２を撮影出来る位置に移動した後停止する。ビデオカメラ１００は撮影領域２を０．３秒間撮影する。ビデオカメラ１００は撮影領域２を撮影した映像に特定の対象物があるかを判定する。次に、雲台５００は、ビデオカメラ１００が撮影領域３を撮影出来る位置に移動した後、停止する。ビデオカメラ１００はズーム位置を調節し、撮影領域３を０．３秒間撮影する。ビデオカメラ１００は、撮影領域３を撮影した映像に特定の対象物が存在するかを判定する。

このように、雲台５００は、ビデオカメラ１００が次の撮影領域を撮影出来る位置へ移動して停止する、ビデオカメラ１００が対象の撮影領域を撮影できるようにズーム制御した後、０．３秒間撮影する、撮影領域を撮影した映像に特定の対象物があるかを判定する、といった一連の動作を全撮影領域に対して順に繰り返す。

撮像システム１１０は、全ての撮影領域を撮影して、撮影した撮影範囲Ｓの映像の中に特定の対象物が検出できない場合は、撮影領域１から、再度特定の対象物を検出するまで、上記動作を繰り返す。

なお、ビデオカメラ１００の撮影時間は０．３秒に限定するものではないが、実施の形態１においては、撮影時間は、０．３秒間である場合を例にとって以降も説明する。

また、実施の形態１では、雲台５００を静止させたときに、撮影しながら特定の対象物（動体）の検出を行なう例について述べたが、雲台５００を動かしながら、動体の検出が可能なアルゴリズムを導入することもできる。

［１−２−２．動作モード］
撮影した映像に特定の対象物を検出した場合の撮像システム１１０の動作について説明する。ビデオカメラ１００は、属性情報から、動きに関する情報のみを比較し、撮影方向を決定していく追っかけモード（第１モード）と、動き、人物（顔）および音声などの特定の対象物に関する情報を比較し、撮影方向を決定していくパーティモード（第２モード）を有する。各モードは、ビデオカメラ１００の外部入力部３２３によるユーザの指示により設定可能である。

［１−２−３．追っかけモード］
図８は、撮像システム１１０の動作の一例を説明する状態遷移図である。図８は、追っかけモード時の動作を説明する状態遷移図である。

ビデオカメラ１００が撮影した映像に特定の対象物が検出できない場合、図７Ａ、図７Ｂで示す各撮影領域に対して、雲台の５００の移動と停止、ビデオカメラ１００の撮影と対象物の判定のデフォルトの動作（サーチ）を繰り返す（Ｓ１０１、Ｓ１０２）。ビデオカメラ１００が０．３秒間の撮影の間に、撮影した映像に動く物体（動体）を検出した場合、ビデオカメラ１００の生成部３０９は、撮影領域のこの期間に撮影した映像の属性情報に動き（動きベクトル）に関する情報を追加する。

比較部３１０は、生成部３０９で生成された動きに関する情報を含む属性情報と、この期間よりも前に撮影された際に生成された属性情報とを比較する。比較部３１０は、まえの期間における撮影では、動体は検出されなかったが、今回の撮影では動体を検出したことから、この撮影領域には特定の対象物が存在するようになったと判定する。この場合、比較部３１０は、現在の撮影領域に、動体が検出されなかった他の撮影領域よりも高い優先順位を付与する。

比較部３１０は例えば、図９Ａ、図９Ｂに示す優先順位の情報を作成、更新し、カメラワーク制御部３１１に渡す。

図９Ａ、図９Ｂは、撮影領域の優先順位の情報の一例を示す。

図９Ａ、図９Ｂにおいては、各撮影領域に付与された優先順位は数字が小さいほど優先順位が高いことを示す。図９Ａは各撮影領域の優先順位が等しいことを示す。この場合、撮像システム１１０はデフォルトの動作を行う。図９Ｂは、撮影領域３、撮影領域２、それ以外の撮影領域の順に優先順位が付与されている。

カメラワーク制御部３１１は、比較部３１０で付与された撮影領域の優先順位の情報と、動きベクトルの方向とに基づいて、動体が撮影している領域の中央に位置するように（センタリング）、雲台５００および／またはレンズ制御部３０７を制御する（Ｓ１０３）。具体的には、カメラワーク制御部３１１は、動体を追いかける方向へ雲台５００の移動量を指示すると共に、動体が撮影領域の中央で大きく撮影されるようにレンズ制御部３０７へズームインを指示する。

雲台５００が指示した撮影方向で停止したところで、ビデオカメラ１００は、０．３秒間の撮影を行なう（Ｓ１０４）。撮像システム１１０は、撮影の間に動体が移動する場合は、動体のセンタリングと撮影の動作を繰り返す（Ｓ１０３、Ｓ１０４）。撮像システム１１０は、撮影の間に動体が移動して見失ってしまった場合は、ズームアウト（Ｓ１０５）して動体を探す（Ｓ１０６）。動体が検出できない場合は、比較部３１０で付与された撮影領域の優先順位に基づいて、次に優先順位の高い撮影領域へ移動する（ＭＡＰサーチ、Ｓ１０７）。比較部３１０は、撮影領域で動体が検出されなかった場合、対象の撮影領域の優先順位を下げる。

撮像システム１１０は、上記動作を繰り返し、いずれの撮影領域も等しい優先順位となったときには、デフォルトの動作に戻り（Ｓ１０８）、新たに動体を検出するまでデフォルトの動作を繰り返す（Ｓ１０１、Ｓ１０２）。

［１−２−４．パーティーモード］
図１０は、撮像システム１１０の動作の他の例を説明する状態遷移図である。図１０は、パーティーモードが設定されているときの状態遷移図を示す。

上述のように、撮像システム１１０は、特定の対象物が検出できない場合、デフォルトの動作を繰り返している（Ｓ２０１、Ｓ２０２）。

ビデオカメラ１００が、０．３秒間の撮影の間に、動く物体（動体）を検出した場合、生成部３０９は、この期間の映像の属性情報に動き（動きベクトル）に関する情報を追加する。

比較部３１０は、生成部３０９で生成された期間の動きに関する情報を含む属性情報と、この期間よりも前の期間に撮影された際に生成された属性情報とを比較して、この撮影領域に動体が存在することを検出し、高い優先順位を付与する。カメラワーク制御部３１１は、比較部３１０で付与された撮影領域の優先順位の情報と、動きベクトルの方向とに基づいて、雲台５００および／またはレンズ制御部３０７へセンタリングを指示する（Ｓ２０３）。

雲台５００が指示した位置で停止したところで、ビデオカメラ１００は、０．３秒間の撮影を行なう（Ｓ２０４）。撮像システム１１０は、撮影の間に動体が移動する場合は、動体のセンタリングと撮影の動作を繰り返す（Ｓ２０３、Ｓ２０４）。撮影の間に動体が移動して見失ってしまった場合は、追っかけモードと同様に、ズームアウト（Ｓ２０５、Ｓ２０６）、ＭＡＰサーチ（Ｓ２０７、Ｓ２０８）、デフォルトの動作（Ｓ２０１、Ｓ２０２）の順に、動作が遷移する。

ここで、撮影の間に、音声を検出した場合、生成部３０９は、この期間の映像の属性情報として音声に関する情報を追加する。同時に、比較部３１０は音声に関する情報を含む属性情報を有する撮影領域に、最も高い優先順位を付与する。カメラワーク制御部３１１は、比較部３１０で付与された撮影領域の優先順位と、マイク部３２２（ステレオマイク２１７）からの音声の方向とに基づいて、音源を追いかける方向へ雲台５００の移動量を指示する（Ｓ２０９）。雲台５００が指示した位置で停止すると、ビデオカメラ１００は、０．３秒間の撮影を行なう（Ｓ２１０）。

［１−３．まとめ］
実施の形態１の撮像システム１１０は、比較部３１０が、撮影方向毎に、異なる期間に生成された属性情報を比較し、比較結果に基づいて、各撮影方向の撮影における優先順位を決定する。カメラワーク制御部３１１は、優先順位に基づいて、次の撮影方向を決定し、決定した撮影方向に基づいて撮像部３０１と雲台５００の動作を制御する。

これにより、雲台５００は、決定した撮影方向で撮影できる位置にビデオカメラ１００を移動させ、ビデオカメラ１００は、特定の対象物が撮影領域内に存在するように撮像部３０１を制御する。

従って、優先順位の高い特定の対象物を重点的に撮影することが可能となる。

また、比較部３１０は、動きに関する情報を比較する第１のモードと、動きに関する情報、顔に関する情報および音声に関する情報を比較する第２のモードを有する。

これにより、ペットのように動きに着目する特定の対象物と、人物のように、動き、顔、声に着目する特定の対象物と対象物の特徴に応じた自動撮影が可能となる。

（実施の形態２）
実施の形態２では、撮影した映像信号から、撮影範囲内に存在する特定の対象物の位置を示す構図マップを生成する撮像装置について説明する。

以下、図１１〜１４を用いて、実施の形態２を説明する。

［２−２．固定動体の特定］
特定の対象物として動体に注目して撮影を行ないたい場合、従来のビデオカメラでは、カーテン、扇風機あるいはテレビに表示される映像といったものも動体として認識されてしまう。そこで、ビデオカメラ１００は、特定の動きを繰り返す動体、あるいは、大きな移動を行なわない動体を固定動体と特定し、特定の対象物として注目すべき対象から除外する処理を行なう。

具体的には、比較部３１０は、属性情報に基づいて、動きベクトルに関する情報を抽出する。加えて、時間単位で分類された属性情報に基づいて、特定の動きを繰り返している動体および撮影領域を超えるような大きな移動を行なわない動体が存在する場所を特定する。比較部３１０は、特定された場所にある動体は固定動体であると判断し、特定の対象物がない撮影領域と同等のレベルまで、優先順位を下げる。

これにより、撮影した映像に、例えば、揺れるカーテンが延々と映っている状態を回避することができる。

［２−２．構図マップの生成］
構図マップ作成部３１６は、撮像部３０１により撮影された各撮影領域の映像の属性情報と、撮影された時刻とから、現在から所定の期間（例えば、１分）以内の映像の属性情報を参照し、撮影範囲内に存在する特定の対象物の存在を検出し、構図マップを作成する。

図１１は、表示部３１８（ディスプレイ２０９）に表示された映像信号の一例を示す図である。図１１に示すように、撮影範囲Ｓの中に、眠っているネコ１００１（動物）、起きているネコ１００２（動体、動物）およびカーテン１００３（動体）などの特定の対象物が存在する。

図１２Ａ、図１２Ｂは、実施の形態２における動作を説明するための模式図である。図１２Ａ、図１２Ｂにおいて、撮影範囲Ｓはユーザにより設定された領域、一点鎖線の矩形で示す撮影領域は撮影範囲Ｓにおいて実際に撮影を行うべき領域を示す。また、撮影領域に付した番号は撮影の順番を示す。

実施の形態２では、実施の形態１と同様に、図１２Ｂ示すように、撮影範囲Ｓを上下２段、左右５列の撮影領域に分割し、各撮影領域を少しずつ重なり合わせて撮影する。また、撮影は図１２Ａ、図１２Ｂに示すように、まず中央位置の撮影領域１を撮影し、撮影領域２から番号順に撮影する。構図マップ作成には撮影領域２〜１０で撮影された映像を用いる。

図１２Ａ、図１２Ｂに示すように、撮影範囲Ｓに眠っているネコ１００１、起きているネコ１００２およびカーテン１１０３などの特定の対象物がある場合、生成部３０９は、撮影領域３、４、５および１０で撮影された映像に、人物（動物）や動きベクトルなどの情報を生成し、属性情報に追加する。

図１３Ａ、図１３Ｂは、実施の形態２における構図マップの一例を説明する図である。図１３Ａ、図１３Ｂは、説明のために図１２Ｂにおける１０個の撮影領域と各撮影領域に付与された番号を示す。

以下、図１３Ａを用いて構図マップの生成について説明する。

構図マップ４００は撮影範囲Ｓに相当する。構図マップ作成部３１６は、撮影領域１０の映像の属性情報より、右下に動物が存在することを検出すると、構図マップ４００の撮影領域１０に相当する領域の右下の位置に、特定の対象物が存在することを示す矩形を配置する。また、構図マップ作成部３１６は、撮影領域３の映像の属性情報より、撮影領域３の右下に動きのある動物が存在することを検出し、構図マップ４００の撮影領域３に相当する領域の右下に特定の対象物（動体）が存在することを示す一点鎖線の矩形を配置する。さらに、構図マップ作成部３１６は、撮影領域４および撮影領域５の映像の属性情報より、撮影領域４および撮影領域５の右端に動きがある物体を検出し、構図マップ４００中の撮影領域４、５の相当する位置に特定の対象物（動体）が存在することを示す鎖線の矩形を配置する。

また、構図マップ作成部３１６は、時間単位で分類された属性情報から、撮影領域４および撮影領域５の右端に存在する動きのある物体は、カーテン、扇風機あるいはテレビといった特定の領域に固定された固定動体であると判断する。構図マップ作成部３１６は、撮影領域４および撮影領域５に配置していた動体を削除し、固定動体として、例えば、図１３Ｂに示すように、点線の矩形を配置する。

作成された構図マップは、一時的に記憶部３１５に記憶され、撮影中の映像に重畳されて表示部３１８に表示される。

［２−２．構図マップの表示］
図１４は、実施の形態２における表示部３１８（ディスプレイ２０９）に表示される構図マップの一例を示す模式図である。

構図マップ４００は、撮影中の映像を可及的に遮らないように、表示部３１８の上部に表示される。構図マップ４００の左右方向は、撮影範囲Ｓの左右方向に相当する。従って、構図マップ４００の左右方向のサイズは、表示部３１８の左右方向に対し、所定のマージ幅をおいた大きさを常に有しているが、相当する撮影範囲Ｓの角度は、ユーザの設定により、±４５°、±９０°および±１８０°のいずれかとなっている。一方、構図マップ４００の上下方向は撮影範囲Ｓの上下方向の角度３０°に相当し、表示部３１８の表示領域の上側に、たとえば、１０％〜２０％の大きさで表示される。

構図マップ４００中の、点線の矩形４０１は特定の対象物が存在することを、また、一点鎖線の矩形４０２は動体が存在すること、矩形４０３、矩形４０４は固定動体が存在することを表している。

なお、構図マップ４００の矩形は、線種違いではなく、例えば、形状や色を異ならせて、特定の対象物の違いが表示されるようにしてもよい。

［２−３．構図マップの更新］
表示部３１８に表示される構図マップに過去の情報が蓄積されると、構図マップが見づらくなってしまうほか、陳腐化した情報が表示されることになってしまう。そこで、撮像システム１１０は、構図マップから、所定の時間（例えば、１〜３分間）経過した動体、人物（動物）および音声などに関する情報の信頼度を時間と共に徐々に下げる。たとえば、撮像システム１１０は、１５秒ごとに、情報の信頼度を１０％ずつ下げる。

具体的には、構図マップ作成部３１６は、時間単位で分類された属性情報に基づいて、所定の時間経過した属性情報を抽出し、構図マップから削除すべき情報（矩形）を特定し、削除する。同様に、比較部３１０は、時間単位で分類された属性情報に基づいて、所定の時間、動体が存在することを含む属性情報が更新されていない撮影領域を特定し、この撮影領域に高い優先順位を付与する。

これにより、構図マップには、陳腐化した過去の情報は削除された、比較的新しい情報のみが表示される。また、特定の対象物を見失い、サーチ動作に入るときなどに、いずれの領域からサーチを行なうべきかの優先順位も明確になる。

［２−４．撮影動作］
カメラワーク制御部３１１は、比較部の比較結果と構図マップ作成部が作成した構図マップに基づいて、各撮影方向の優先順位を決定する。

図１３Ｂの構図マップは、撮影領域３に特定の対象物（動体）を示す属性情報、撮影領域１０に特定の対象物を示す属性情報、撮影領域４，５に固定動体を示す属性情報を含んでいる。まず、カメラワーク制御部３１１は、構図マップより、起きているネコ１００２（動体）が存在する撮影領域３を最も高い優先順位とする。次に、カメラワーク制御部３１１は、眠っているネコ１００１が存在する撮影領域１０を、撮影領域３の次の優先順位とする。カメラワーク制御部３１１は、撮影領域３と撮影領域１０以外の領域は、比較部３１０が決定した優先順位とする。

カメラワーク制御部３１１は決定した優先順位の順番の撮影方向で撮影出来るよう、レンズ制御部３０７の動作に関する情報や雲台５００のパン方向への移動量およびチルト方向への移動量に関する移動量情報を生成し、各々レンズ制御部３０７、雲台５００へ出力する。

［２−５．まとめ］
実施の形態２における構図マップ作成部３１６は、所定の期間内に撮像部３０１が撮影範囲Ｓを所定時間撮影した映像の属性情報より、撮影範囲Ｓ内に存在する特定の対象物を検出し、特定対象物の位置を示す構図マップを生成する。さらに、比較部３１０は、異なる期間の属性情報を比較して、特定の動きを繰り返している所定の対象物および撮影方向を超えるような大きな移動を行わない所定の対象物を抽出し、抽出した所定の対象物が存在する撮影方向の優先順位を、所定の対象物が存在しない撮影方向の優先順位と同等とする。

これにより、特定の動きを繰り返す動体、あるいは、大きな移動を行なわない動体を固定動体と特定し、特定の対象物として注目すべき対象から除外することができる。

従って、特定の対象物を見失い、サーチ動作に入るときなどに、いずれの領域からサーチを行なうべきかの優先順位が明確になる。

また、表示部３１８は、構図マップ作成部３１６が作成した構図マップを、撮像部３０１が撮影している映像に重畳表示する。

これにより、現在、撮像部３０１が撮像している映像が、撮影範囲Ｓ内のどこを撮影しているか、撮影範囲Ｓ内に撮影対象となる特定の対象物の存在と、その位置を明示的に認識することが可能となる。

従って、優先順位の高い特定の対象物を重点的に撮影することが可能となる。

また、映像情報は、撮影した映像と属性情報とから構成される。また、映像情報は、特定の時間毎のレイヤー構造と属性情報単位のレイヤー構造とを有する。

（その他の実施形態）
以上のように、本出願において開示する技術の例示として、実施の形態１および２を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

そこで、以下、他の実施の形態を例示する。

なお、本開示においては、映像が動画像である場合を中心に説明したが、これに限定されるものではなく、マイクなどを搭載した静止画を撮影するカメラであってもよい。

また、雲台の移動において、ヒステリシスを無視して説明したが、実際の駆動部分には遊び部分があるので、この遊び部分を考慮して制御するとよい。

また、撮像装置として、ビデオカメラを例に取って説明したが、撮像装置としては、スマートフォン、監視カメラ、デジタルスチルカメラなど、映像または静止画の撮影および表示ができる機能を有する電子機器であればよい。本開示において、撮像装置は駆動装置と接続されていたが、撮像装置単体においても、本開示は適用できる。

また、本開示においては、属性情報の比較結果と、構図マップに含まれる属性の優先順位に基づいて、撮影方向を決定するとしたが、次の撮影方向の決定に限定するものではない。例えば、構図マップに含まれる属性情報の優先順位に基づいて、ある画像よりその一部を切り出す際の切り出し範囲を決定するとしてもよい。また、ある画像の一部の合焦（フォーカス）領域や追尾領域を決定するとしてもよい。

また、撮影対象となる人の顔、人物、動物や車両などの動体、または、それらを含む矩形領域を決定するとしてもよい。

また、所定の対象物を建築物や一般の物体とし、それらの属性情報を追加することで、固定の場所、物体を監視する監視カメラなどに適用することができる。

なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲、またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、多くの人が集まる会合などでの撮影や防犯（見守り）カメラ等の撮像システムに有用である。

１００ ビデオカメラ
１１０ 撮像システム
２００ レンズ群
２０１ 撮像素子
２０２ 映像ＡＤＣ
２０３ 映像信号変換回路
２０４ ＣＰＵ
２０５ クロック
２０６ レンズ制御モジュール
２０６ａ レンズ制御用モータ
２０６ｂ レンズ位置センサ
２０７ 姿勢検出センサ
２０７ａ 加速度センサ
２０７ｂ 角速度センサ
２０７ｃ 仰角・俯角センサ
２０８ 入力ボタン
２０９ ディスプレイ
２１０ スピーカー
２１１ 出力Ｉ／Ｆ
２１２ 圧縮伸張回路
２１３ ＲＯＭ
２１４ ＲＡＭ
２１５ ＨＤＤ
２１６ 音声ＡＤＣ
２１７ ステレオマイク
３００ レンズ部
３０１ 撮像部
３０２ 映像ＡＤ変換部
３０３ 映像信号処理部
３０４ 映像信号圧縮部
３０５ 撮像制御部
３０６ 映像解析部
３０７ レンズ制御部
３０７ａ ズーム制御部
３０７ｂ フォーカス制御部
３０７ｃ 手振れ補正制御部
３０８ 姿勢検出部
３０８ａ 加速度センサ
３０８ｂ 角速度センサ
３０８ｃ 仰角・俯角センサ
３０９ 生成部
３１０ 比較部
３１１ カメラワーク制御部
３１２ 音声解析部
３１３ 音声信号圧縮部
３１４ 多重化部
３１５ 記憶部
３１６ 構図マップ作成部
３１７ 映像信号伸張部
３１８ 表示部
３１９ 音声信号伸張部
３２０ 音声出力部
３２１ 音声ＡＤ変換部
３２２ マイク部
３２３ 外部入力部
３２４ 通信部
４００ 構図マップ
４０１，４０２，４０３，４０４ 矩形
５００ 雲台
５０１ 装着部
５０２ ピン
６００ 通信部
６０１ 駆動制御部
６０２ パン用駆動部
６０３ パン用モータ
６０４ パン用機構部
６０４ｒ ＲＥ
６０５ チルト用駆動部
６０６ チルト用モータ
６０７ チルト用機構部
６０７ｒ ＲＥ

Claims (7)

1. 駆動装置と、
   前記駆動装置に接続され、前記駆動装置の動作を制御する撮像装置とを備え、
   前記撮像装置は、
   撮像部と、
   複数の撮影方向を前記撮像部で撮影することで所定の撮影範囲を撮影し、前記撮像部で撮影した映像に関する属性情報を、所定の映像単位毎に生成する生成部と、
   所定の期間内に前記複数の撮影方向で撮影した映像の属性情報より、前記所定の撮影範囲に存在する所定の対象物を抽出し、抽出した対象物の位置を示す構図マップを作成する構図マップ作成部と、
   前記撮影方向毎に、異なる期間に生成された属性情報を比較した比較結果と、前記構図マップに含まれる属性情報とに基づいて、各撮影方向の撮影における優先順位を決定する比較部と、
   前記優先順位に基づいて、次の撮影方向を決定し、決定した撮影方向に基づいて前記撮像部と前記駆動装置の動作を制御する制御部と、
   を備えた撮像システム。
2. 前記撮像部で撮影した映像を表示する表示部を備え、
   前記表示部は、前記撮像部に入射される映像または前記撮像部で撮影した前記所定の撮影範囲の映像に、前記構図マップを重畳表示する
   ことを特徴とする請求項１記載の撮像システム。
3. 前記比較部は、
   前記属性情報の比較において、動きに関する情報を用いる第１のモードと、
   前記属性情報の比較において、動きに関する情報、顔に関する情報および音声に関する情報を用いる第２のモードとを有する請求項１または２記載の撮像システム。
4. 前記比較部は、前記異なる期間の属性情報を比較して、特定の動きを繰り返している所定の対象物および撮影方向を超えるような大きな移動を行わない所定の対象物を抽出し、前記抽出した所定の対象物が存在する撮影方向の優先順位を、前記所定の対象物が存在しない撮影方向の優先順位と同等とする請求項１記載の撮像システム。
5. 撮像部と、
   複数の撮影方向を前記撮像部で撮影することで所定の撮影範囲を撮影し、前記撮像部で撮影した映像に関する属性情報を、所定の映像単位毎に生成する生成部と、
   所定の期間内に前記複数の撮影方向で撮影した映像の属性情報より、前記所定の撮影範囲に存在する所定の対象物を抽出し、抽出した対象物の位置を示す構図マップを作成する構図マップ作成部と、
   前記撮影方向毎に、異なる期間に生成された属性情報を比較した比較結果と、前記構図マップに含まれる属性情報とに基づいて、各撮影方向の撮影における優先順位を決定する比較部と、
   前記優先順位に基づいて、次の撮影方向を決定し、決定した撮影方向に基づいて前記撮像部を制御する制御部と
   を備えた撮像装置。
6. 駆動装置に接続された撮像装置であって、
   撮像部と、
   複数の撮影方向を前記撮像部で撮影することで所定の撮影範囲を撮影し、前記撮像部で撮影した映像に関する属性情報を、所定の映像単位毎に生成する生成部と、
   所定の期間内に前記複数の撮影方向で撮影した映像の属性情報より、前記所定の撮影範囲に存在する所定の対象物を抽出し、抽出した対象物の位置を示す構図マップを作成する構図マップ作成部と、
   前記撮影方向毎に、異なる期間に生成された属性情報を比較した比較結果と、前記構図マップに含まれる属性情報とに基づいて、各撮影方向の撮影における優先順位を決定する比較部と、
   前記優先順位に基づいて、次の撮影方向を決定し、決定した撮影方向に基づいて前記撮像部と前記駆動装置の動作を制御する制御部と
   を備えた撮像装置。
7. 撮像部を備えた撮像装置の撮像方法であって、
   複数の撮影方向を前記撮像部で撮影することで所定の範囲を撮影し、前記撮像部で撮影した映像に関する属性情報を所定の映像単位毎に生成し、
   所定の期間内に前記複数の撮影方向で撮影した映像の属性情報より、前記所定の撮影範囲に存在する所定の対象物を抽出し、抽出した対象物の位置を示す構図マップを作成し、
   前記撮影方向毎に、異なる期間に生成された属性情報を比較した比較結果と、前記構図マップに含まれる属性情報とに基づいて、各撮影方向の撮影における優先順位を決定し、
   前記優先順位に基づいて、次の撮影方向を決定し、決定した撮影方向に基づいて前記撮像部を制御する撮像方法。

Images