JP5434339B2 - 撮像制御装置、撮像システム、撮像方法、プログラム - Google Patents

Description

本発明は、例えば被写体を探索して、撮像記録などを自動実行するようにされた撮像制御装置、撮像システムと、撮像方法に関する。また、このような撮像制御装置に必要な手順を実行させるためのプログラムに関する。

例えば特許文献１には、画像データの画像に対する笑顔検出についての技術が記載されており、さらに、笑顔検出をデジタルスチルカメラなどの撮像装置に適用した例が記載されている。
つまり、デジタルスチルカメラにおいて、被写体を撮像して取り込まれた取り込み画像に対して被写体の笑顔の検出を行い、笑顔が検出された場合に、シャッタを切り、その瞬間に取り込まれたフレーム画像を静止画として抽出し、その静止画像データをメモリに保存するといった一連の静止画撮像動作を行うようにする、という動作を実行させる。これにより、デジタルスチルカメラは、ユーザの指示なしに、自動で静止画撮像動作を行い、被写体の笑顔を撮像することができる。

特開２００９−１２９３８９号公報

しかし、上記のような笑顔検出を適用したデジタルスチルカメラを単に固定点においたとしても、その撮像視野範囲に収まっている特定の被写体が笑った顔しか撮影記録されない。つまり、同じ被写体ばかりが、同じような表情で撮影記録されてしまうことになる。このようにて撮像記録された写真は、おもしろみに欠けるといえる。
例えば、自動撮影記録が可能なデジタルスチルカメラの周囲に、被写体となり得る人物が相当数いるような状況があることを想定した場合、このデジタルスチルカメラの周囲にいる人たちが、できるだけ満遍なく撮影記録されることが求められているといえる。このためには、例えば、撮像装置の周囲にいる複数の人物についてできるだけ偏ることなく、満遍なく撮影記録対象の被写体として選定されるようにすることが求められる。

そこで本発明は上記した課題を考慮して、撮像制御装置として次のように構成する。
つまり、撮像部により撮像して得られる画像データを入力して、この画像データに基づく画像において存在する被写体を検出する被写体検出手段と、上記被写体検出手段により検出された被写体を画像内に含む上記画像データを記録媒体に記録する撮像記録を実行させる撮像記録制御手段と、上記撮像記録の履歴に基づいて、上記被写体検出手段により他の被写体構成が検出され得る状態に遷移するか否かを判別する遷移判別手段と、上記遷移判別手段により遷移すべきであるとの判別結果が得られたことに応じて、少なくとも最後の撮像記録のときとは異なる被写体構成を形成する被写体が上記被写体検出手段により検出されるように、上記撮像部の撮像視野範囲を変更する可動機構部を駆動制御する撮像視野範囲変更制御手段とを備え、上記被写体検出手段は、検出される被写体ごとに個人認識処理を実行して、個人を弁別して識別する個人識別情報を得るようにされており、上記遷移判別手段は、上記履歴として、上記個人識別情報により認識される個人としての被写体ごとの上記撮像記録制御手段による記録が実行された回数を示す個人記録回数情報を保持し、上記個人記録回数情報が示す回数に基づいて、上記被写体検出手段により他の被写体構成が検出されるべき状態に遷移すべきであるか否かを判別することとした。

また、撮像システムとしては、撮像装置と、上記撮像装置の撮像視野範囲を変更するようにして可動する機構を有する可動機構装置とから成り、上記撮像装置又は上記可動機構装置において、上記撮像装置により撮像して得られる画像データを入力して、この画像データに基づく画像において存在する被写体を検出する被写体検出手段と、上記撮像装置又は上記可動機構装置において、上記被写体検出手段により検出された被写体を画像内に含む上記画像データを、上記撮像装置における記録媒体に記録する撮像記録を実行させる撮像記録制御手段と、上記撮像装置又は上記可動機構装置において、上記撮像記録の履歴に基づいて、上記被写体検出手段により他の被写体構成が検出され得る状態に遷移するか否かを判別する遷移判別手段と、上記撮像装置又は上記可動機構装置において、上記遷移判別手段により遷移すべきであるとの判別結果が得られたことに応じて、少なくとも最後の撮像記録のときとは異なる被写体構成を形成する被写体が上記被写体検出手段により検出されるように、上記可動機構装置を駆動制御する撮像視野範囲変更制御手段とを備えて構成し、上記被写体検出手段は、検出される被写体ごとに個人認識処理を実行して、個人を弁別して識別する個人識別情報を得るようにされており、上記遷移判別手段は、上記履歴として、上記個人識別情報により認識される個人としての被写体ごとの上記撮像記録制御手段による記録が実行された回数を示す個人記録回数情報を保持し、上記個人記録回数情報が示す回数に基づいて、上記被写体検出手段により他の被写体構成が検出されるべき状態に遷移すべきであるか否かを判別することとした。

上記構成では、撮像部の撮像視野範囲を可動機構部により変更可能とされている。また、撮像により得られた画像から被写体を検出すると、この被写体を含む画像のデータを記録するようにしている。
そのうえで、撮像記録の履歴情報に基づいて、最後の撮像記録のときとは異なる被写体構成に遷移すべきであると判定された場合には、可動機構部を動かして撮像視野範囲を変更させることで、異なる被写体構成を得ようとして動作する。

このようにして、本願発明では、１つの特定の被写体構成による画像ばかりが記録されることなく、撮像装置の周囲にいるとされる被写体をできるだけ偏り無く撮像記録していくことが可能になる。

実施形態の撮像システムを成す撮像装置であるデジタルスチルカメラの外観を簡単に示す正面図及び背面図である。 実施形態の撮像システムを成す雲台の外観例を示す斜視図である。 実施形態の撮像システムとして、雲台にデジタルスチルカメラが取り付けられた形態例を示す正面図である。 実施形態の撮像システムとして、雲台にデジタルスチルカメラが取り付けられた形態例を、パン方向における動きの態様例とともに示す平面図である。 実施形態の撮像システムとして、雲台にデジタルスチルカメラが取り付けられた形態例を示す側面図である。 デジタルスチルカメラの構成例を示すブロック図である。 雲台の構成例を示すブロック図である。 実施の形態のデジタルスチルカメラが構図制御に対応して備えるものとされる機能をブロック単位の構成により示す図である。 自動撮像記録機能を実現するためのアルゴリズムとして、順当に考えることのできる一例を示すフローチャートである。 本実施形態としての構図制御の基本（第１実施形態）となるアルゴリズム例を示すフローチャートである。 第２実施形態としての構図制御のためのアルゴリズム例を示すフローチャートである。 第３実施形態としての構図制御のためのアルゴリズム例を示すフローチャートである。 第２実施形態としての撮像視野範囲変更制御に応じて得られる動作例を示す図である。 第３実施形態としての撮像視野範囲変更制御に応じて得られる動作例を示す図である。 第４実施形態としての構図制御のためのアルゴリズム例を示すフローチャートである。 第５実施形態としての構図制御のためのアルゴリズム例を示すフローチャートである。 第６実施形態としての構図制御のためのアルゴリズム例を示すフローチャートである。 第７実施形態としての構図制御のためのアルゴリズム例を示すフローチャートである。 第８実施形態としての構図制御のためのアルゴリズム例を示すフローチャートである。 第１変形例に対応した構図制御のためのアルゴリズム例を示すフローチャートである。 第２変形例に対応した構図制御のためのアルゴリズム例を示すフローチャートである。 実施の形態の撮像システムの変形例としての構成例を示す図である。 実施の形態の撮像システムの他の変形例としての構成例を示す図である。

以下、本願発明を実施するための形態（以下、実施形態という）について、下記の順により説明する。
＜１．撮像システムの構成＞
［１−１．全体構成］
［１−２．デジタルスチルカメラ］
［１−３．雲台］
＜２．実施形態の構図制御に対応する機能構成例＞
＜３．自動撮像記録機能として考え得るアルゴリズム例＞
＜４．実施形態としての自動撮像記録のアルゴリズムの基本例（第１実施形態）＞
＜５．撮像視野範囲変更制御のアルゴリズム例（第２実施形態）＞
＜６．撮像視野範囲変更制御のアルゴリズム例（第３実施形態）＞
＜７．遷移条件に応じた自動撮像記録のアルゴリズム例（第４実施形態）＞
＜８．遷移条件に応じた自動撮像記録のアルゴリズム例（第５実施形態）＞
＜９．遷移条件に応じた自動撮像記録のアルゴリズム例（第６実施形態）＞
＜１０．撮影頻度に応じた規定最大値の変更例（第７実施形態）＞
＜１１．被写体数に応じた規定最大値の変更例（第８実施形態）＞
＜１２.変形例＞
［第１の変形例］
［第２の変形例］
＜１３．本実施形態の撮像システムの変形例＞

また、本明細書においては、以降の説明にあたり、画枠、画角、撮像視野範囲、構図なる語を用いることとする。
画枠は、例えば画像が嵌め込まれるようにしてみえる一画面相当の領域範囲をいい、一般には縦長若しくは横長の長方形としての外枠形状を有する。
画角は、ズーム角などともいわれるもので、撮像装置の光学系におけるズームレンズの位置によって決まる画枠に収まる範囲を角度により表したものである。一般的には、撮像光学系の焦点距離と、像面（イメージセンサ、フィルム）のサイズによって決まるものとされているが、ここでは、焦点距離に対応して変化し得る要素を画角といっている。
撮像視野範囲は、定位置に置かれた撮像装置により撮像して得られる画像の画枠に収まる範囲について、上記の画角に加え、パン（水平）方向における振り角度と、チルト（垂直）方向における角度（仰角、俯角）により決まるものをいう。
構図は、ここでは、フレーミングともいわれるもので、例えば撮像視野範囲によって決まる画枠内における被写体についてのサイズ設定も含めたうえでの配置状態をいう。

また、本実施形態としては、本願発明に基づく構成を、デジタルスチルカメラと、このデジタルスチルカメラが取り付けられる雲台とからなる撮像システムに適用した場合を例に挙げることとする。

＜１．撮像システムの構成＞
［１−１．全体構成］
本実施形態の撮像システムは、デジタルスチルカメラ１と、このデジタルスチルカメラ１が載置される雲台１０から成る。
先ず、図１にデジタルスチルカメラ１の外観例を示す。図１（ａ）、（ｂ）は、それぞれデジタルスチルカメラ１の正面図、背面図となる。
この図に示されるデジタルスチルカメラ１は、先ず、図１（ａ）に示すように、本体部２の前面側においてレンズ部２１ａを備える。このレンズ部２１ａは、撮像のための光学系として本体部２の外側に表出している部位である。

また、本体部２の上面部には、レリーズボタン３１ａが設けられている。撮像モードにおいてはレンズ部２１ａにより撮像された画像（撮像画像）が画像信号として生成される。そして、この撮像モードにおいてレリーズボタン３１ａに対する操作が行われると、この操作タイミングのときに得られていたとする撮像画像が、静止画の画像データとして記憶媒体に記録される。つまり、写真撮影が行われる。

また、デジタルスチルカメラ１は、図１（ｂ）に示すようにして、その背面側に表示画面部３３ａを有する。
この表示画面部３３ａには、撮像モード時においては、スルー画などといわれ、そのときにレンズ部２１ａにより撮像している画像が表示される。また、再生モード時においては、記憶媒体に記録されている画像データが再生表示される。さらに、ユーザがデジタルスチルカメラ１に対して行った操作に応じて、ＧＵＩ(Graphical User Interface)としての操作画像が表示される。

なお、本実施形態のデジタルスチルカメラ１は、表示画面部３３ａに対してタッチパネルが組み合わされているものとする。これにより、ユーザは、表示画面部３３ａに対して指を当てることによって、しかるべき操作を行うことができる。

また、本実施形態の撮像システム(撮像装置)は、このデジタルスチルカメラ１としての撮像部と、次に説明する雲台１０としての可動機構部(可動装置部)から成るものとしているが、ユーザは、デジタルスチルカメラ１単体のみを使用しても、通常のデジタルスチルカメラと同じように、写真撮影を行うことができる。

図２は、雲台１０の外観を示す斜視図である。また、図３〜図５は、本実施形態の撮像システムの外観として、雲台１０に対してデジタルスチルカメラ１が適切な状態で載置された状態を示している。図３は正面図、図４は平面図、図５（ａ）は側面図であり、図５（ｂ）は側面図によりチルト機構の可動範囲を示したものである。

図２、及び図３，図４，図５（ａ）に示すように、雲台１０は、大きくは接地台部１３の上に本体部１１が組み合わされたうえで、さらに本体部１１に対してカメラ台座部１２が取り付けられた構造を有する。

雲台１０にデジタルスチルカメラ１を載置しようとするときには、デジタルスチルカメラ１の底面側を、カメラ台座部１２の上面側に対して置くようにようにする。
この場合のカメラ台座部１２の上面部には、図２に示すようにして、突起部１３とコネクタ１４が設けられている。
その図示は省略するが、デジタルスチルカメラ１の本体部２の下面部には、突起部１３と係合する孔部が形成されている。デジタルスチルカメラ１がカメラ台座部１２に対して適正に置かれた状態では、この孔部と突起部１３とが係合した状態となる。この状態であれば、通常の雲台１０のパンニング・チルティングの動作であれば、デジタルスチルカメラ１が雲台１０からずれたり、外れてしまったりすることがないようにされている。

また、デジタルスチルカメラ１においては、その下面部の所定位置にもコネクタが設けられている。上記のようにして、カメラ台座部１２にデジタルスチルカメラ１が適正に載置される状態では、デジタルスチルカメラ１のコネクタと雲台１０のコネクタ１４とが接続され、少なくとも、相互間の通信が可能な状態となる。

なお、例えばコネクタ１４と突起部１３は、実際においては、カメラ台座部１２において可動できるようになっている。そのうえで、例えばデジタルスチルカメラ１の底面部の形状に合わせたアダプタなどを併用することで、異なる機種のデジタルスチルカメラを、雲台１０と通信可能な状態で、カメラ台座部１２に載置できるようになっている。
また、デジタルスチルカメラ１とカメラ台座部１２との通信は無線により行われるようにしてもよい。

また、例えば雲台１０に対してデジタルスチルカメラ１が載置された状態では、雲台１０からデジタルスチルカメラ１に対して充電が行えるように構成しても良い。さらには、デジタルスチルカメラ１にて再生している画像などの映像信号を雲台１０側にも伝送し、雲台１０からさらにケーブルや無線通信などを介して、外部モニタ装置に出力させるような構成とすることも考えられる。つまり、雲台１０について、単に、デジタルスチルカメラ１の撮像視野範囲を変更させるためだけに用いるのではなく、いわゆるクレードルとしての機能を与えることが可能である。

次に、雲台１０によるデジタルスチルカメラ１のパン・チルト方向の基本的な動きについて説明する。
まず、パン方向の基本的な動きは次のようになる。
この雲台１０を床面などに置いた状態では、接地台部１３の底面が接地する。この状態において、図４に示すように、回転軸１１ａを回転中心として、本体部１１は時計回り方向、及び反時計回り方向に回転できるようになっている。これにより、雲台１０に載置されているデジタルスチルカメラ１の撮像視野範囲は、左右方向（水平方向）に沿って変化することになる。つまり、パンニングの動きが与えられる。
そのうえで、この場合の雲台１０のパン機構は、時計回り方向及び反時計回り方向の何れについても、３６０°以上の回転が無制限で自在に行える構造を有しているものとする。

また、この雲台のパン機構においては、パン方向における基準位置が決められている。
ここでは、図４に示すようにして、パン基準位置を０°（３６０°）としたうえで、パン方向に沿った本体部１１の回転位置、即ちパン位置を０°〜３６０°により表すものとする。

また、雲台１０のチルト方向の基本的な動きについては次のようになる。
チルト方向の動きは、図５（ａ）及び図５（ｂ）に示すようにして、カメラ台座部１２が回転軸１２ａを回転中心として、仰角、俯角の両方向に可動することにより得られる。
ここで、図５（ａ）は、カメラ台座部１２がチルト基準位置Ｙ0（０°）にある状態が示されている。この状態では、レンズ部２１ａ(光学系部)の撮像光軸と一致する撮像方向Ｆ１と、接地台部１３が接地する接地面部ＧＲとが平行となる。
そのうえで、図５（ｂ）に示すように、先ず、仰角方向においては、カメラ台座部１２は、回転軸１２ａを回転中心として、チルト基準位置Ｙ0（０°）から所定の最大回転角度＋ｆ°の範囲で動くことができる。また、俯角方向においても、回転軸１２ａを回転中心として、チルト基準位置Ｙ0（０°）から所定の最大回転角度−ｇ°の範囲で動くことができるようになっている。このようにして、カメラ台座部１２がチルト基準位置Ｙ0（０°）を基点として、最大回転角度＋ｆ°〜最大回転角度−ｇ°の範囲で動くことで、雲台１０（カメラ台座部１２）に載置されたデジタルスチルカメラ１の撮像視野範囲は、上下方向（垂直方向）沿って変化することになる。つまりチルティングの動作が得られる。

なお、図２〜図５に示した雲台１０の外観構成はあくまでも一例であり、載置されたデジタルスチルカメラ１をパン方向及チルト方向に動かすことができるようにされていれば、他の物理的構成、構造が採られてもかまわない。

［１−２．デジタルスチルカメラ］
先ず、図６のブロック図は、デジタルスチルカメラ１の実際的な内部構成例を示している。
この図において、先ず、光学系部２１は、例えばズームレンズ、フォーカスレンズなども含む所定枚数の撮像用のレンズ群、絞りなどを備えて成り、入射された光を撮像光としてイメージセンサ２２の受光面に結像させる。
また、光学系部２１においては、上記のズームレンズ、フォーカスレンズ、絞りなどを駆動させるための駆動機構部も備えられているものとされる。これらの駆動機構部は、例えば制御部２７が実行するとされるズーム（画角）制御、自動焦点調整制御、自動露出制御などのいわゆるカメラ制御によりその動作が制御される。

イメージセンサ２２は、上記光学系部２１にて得られる撮像光を電気信号に変換する、いわゆる光電変換を行う。このために、イメージセンサ２２は、光学系部２１からの撮像光を光電変換素子の受光面にて受光し、受光された光の強さに応じて蓄積される信号電荷を、所定タイミングにより順次出力する。これにより、撮像光に対応した電気信号(撮像信号)が出力される。なお、イメージセンサ２２として採用される光電変換素子（撮像素子）としては、特に限定されるものではないが、現状であれば、例えばＣＭＯＳセンサやＣＣＤ(Charge Coupled Device)などを挙げることができる。また、ＣＭＯＳセンサを採用する場合には、イメージセンサ２２に相当するデバイス(部品)として、次に述べるＡ／Ｄコンバータ２３に相当するアナログ−デジタル変換器も含めた構造とすることができる。

上記イメージセンサ２２から出力される撮像信号は、Ａ／Ｄコンバータ２３に入力されることで、デジタル信号に変換され、信号処理部２４に入力される。
信号処理部２４では、Ａ／Ｄコンバータ２３から出力されるデジタルの撮像信号について、例えば１つの静止画 (フレーム画像)に相当する単位で取り込みを行い、このようにして取り込んだ静止画単位の撮像信号について所要の信号処理を施すことで、１枚の静止画に相当する画像信号データである撮像画像データ（撮像静止画像データ）を生成することができる。

上記のようにして信号処理部２４にて生成した撮像画像データを画像情報として記憶媒体（記憶媒体装置）であるメモリカード４０に記録させる場合には、例えば１つの静止画に対応する撮像画像データを信号処理部２４からエンコード／デコード部２５に対して出力する。
エンコード／デコード部２５は、信号処理部２４から出力されてくる静止画単位の撮像画像データについて、所定の静止画像圧縮符号化方式により圧縮符号化を実行したうえで、例えば制御部２７の制御に応じてヘッダなどを付加して、所定形式に圧縮された画像データの形式に変換する。そして、このようにして生成した画像データをメディアコントローラ２６に転送する。メディアコントローラ２６は、制御部２７の制御に従って、メモリカード４０に対して、転送されてくる画像データを書き込んで記録させる。この場合のメモリカード４０は、例えば所定規格に従ったカード形式の外形形状を有し、内部には、フラッシュメモリなどの不揮発性の半導体記憶素子を備えた構成を採る記憶媒体である。なお、画像データを記憶させる記憶媒体については、上記メモリカード以外の種別、形式などとされてもよい。

また、本実施の形態としての信号処理部２４は、先の説明のようにして取得される撮像画像データを利用して、後述するように、被写体検出としての画像処理を実行させるように構成される。

また、デジタルスチルカメラ１は信号処理部２４にて得られる撮像画像データを利用して表示部３３により画像表示を実行させることで、現在撮像中の画像であるいわゆるスルー画を表示させることが可能とされる。例えば信号処理部２４においては、先の説明のようにしてＡ／Ｄコンバータ２３から出力される撮像信号を取り込んで１枚の静止画相当の撮像画像データを生成するのであるが、この動作を継続することで、動画におけるフレーム画像に相当する撮像画像データを順次生成していく。そして、このようにして順次生成される撮像画像データを、制御部２７の制御に従って表示ドライバ３２に対して転送する。これにより、スルー画の表示が行われる。

表示ドライバ３２では、上記のようにして信号処理部２４から入力されてくる撮像画像データに基づいて表示部３３を駆動するための駆動信号を生成し、表示部３３に対して出力していくようにされる。これにより、表示部３３においては、静止画単位の撮像画像データに基づく画像が順次的に表示されていくことになる。これをユーザが見れば、そのときに撮像しているとされる画像が表示部３３において動画的に表示されることになる。つまり、スルー画が表示される。

また、デジタルスチルカメラ１は、メモリカード４０に記録されている画像データを再生して、その画像を表示部３３に対して表示させることも可能とされる。
このためには、制御部２７が画像データを指定して、メディアコントローラ２６に対してメモリカード４０からのデータ読み出しを命令する。この命令に応答して、メディアコントローラ２６は、指定された画像データが記録されているメモリカード４０上のアドレスにアクセスしてデータ読み出しを実行し、読み出したデータを、エンコード／デコード部２５に対して転送する。

エンコード／デコード部２５は、例えば制御部２７の制御に従って、メディアコントローラ２６から転送されてきた撮像画像データから圧縮静止画データとしての実体データを取り出し、この圧縮静止画データについて、圧縮符号化に対する復号処理を実行して、１つの静止画に対応する撮像画像データを得る。そして、この撮像画像データを表示ドライバ３２に対して転送する。これにより、表示部３３においては、メモリカード４０に記録されている撮像画像データの画像が再生表示されることになる。

また表示部３３に対しては、上記のスルー画や画像データの再生画像などとともに、ユーザインターフェース画像（操作画像）も表示させることができる。この場合には、例えばそのときの動作状態などに応じて制御部２７が必要なユーザインターフェース画像としての表示用画像データを生成し、これを表示ドライバ３２に対して出力するようにされる。これにより、表示部３３においてユーザインターフェース画像が表示されることになる。なお、このユーザインターフェース画像は、例えば特定のメニュー画面などのようにモニタ画像や撮像画像データの再生画像とは個別に表示部３３の表示画面に表示させることも可能であるし、モニタ画像や撮像画像データの再生画像上の一部において重畳・合成されるようにして表示させることも可能である。

制御部２７は、例えば実際においてはＣＰＵ(Central Processing Unit)を備えて成るもので、ＲＯＭ２８、ＲＡＭ２９などとともにマイクロコンピュータを構成する。ＲＯＭ２８には、例えば制御部２７としてのＣＰＵが実行すべきプログラムの他、デジタルスチルカメラ１の動作に関連した各種の設定情報などが記憶される。ＲＡＭ２９は、ＣＰＵのための主記憶装置とされる。
また、この場合のフラッシュメモリ３０は、例えばユーザ操作や動作履歴などに応じて変更(書き換え)の必要性のある各種の設定情報などを記憶させておくために使用する不揮発性の記憶領域として設けられるものである。なおＲＯＭ２８について、例えばフラッシュメモリなどをはじめとする不揮発性メモリを採用することとした場合には、フラッシュメモリ３０に代えて、このＲＯＭ２８における一部記憶領域を使用することとしてもよい。

操作部３１は、デジタルスチルカメラ１に備えられる各種操作子と、これらの操作子に対して行われた操作に応じた操作情報信号を生成してＣＰＵに出力する操作情報信号出力部位とを一括して示している。制御部２７は、操作部３１から入力される操作情報信号に応じて所定の処理を実行する。これによりユーザ操作に応じたデジタルスチルカメラ１の動作が実行されることになる。
音声出力部３５は、制御部２７の制御により、例えば所定内容の通知のために、所定の音色と発音パターンによる電子音を出力する部位である。
ＬＥＤ部３６は、例えばデジタルスチルカメラ１の筐体前面部に表出して設けられるＬＥＤ(Light Emitting Diode)と、このＬＥＤを点灯駆動する回路部などから成り、制御部２７の制御に応じて、ＬＥＤを点灯、消灯する。このＬＥＤを点灯、消灯パターンにより、所定内容の通知が行われる。

雲台対応通信部３４は、雲台１０側とデジタルスチルカメラ１側との間での所定の通信方式に従った通信を実行する部位であり、例えばデジタルスチルカメラ１が雲台１０に対して取り付けられた状態において、雲台１０側の通信部との間での有線若しくは無線による通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。上記物理層構成として、図２との対応では、コネクタ１４と接続されるコネクタの部位が含まれる。

［１−３．雲台］
図７のブロック図は、雲台１０の内部構成例を示している。
先に述べたように、雲台１０は、パン・チルト機構を備えるものであり、これに対応する部位として、パン機構部５３、パン用モータ５４、チルト機構部５６、チルト用モータ５７を備える。
パン機構部５３は、雲台１０に取り付けられたデジタルスチルカメラ１について、図４に示したパン（横・左右）方向の動きを与えるための機構を有して構成され、この機構の動きは、パン用モータ５４が正逆方向に回転することによって得られる。同様にして、チルト機構部５６は、雲台１０に取り付けられたデジタルスチルカメラ１について、図５（ｂ）に示したチルト（縦・上下）方向の動きを与えるための機構を有して構成され、この機構の動きは、チルト用モータ５７が正逆方向に回転することによって得られる。

制御部５１は、例えばＣＰＵ、ＲＯＭ、ＲＡＭなどが組み合わされて形成されるマイクロコンピュータを有して成り、上記パン機構部５３、チルト機構部５６の動きをコントロールする。例えば制御部５１がパン機構部５３の動きを制御するときには、移動させるべき方向と移動速度を指示する信号をパン用駆動部５５に対して出力する。パン用駆動部５５は、入力される信号に対応したモータ駆動信号を生成してパン用モータ５４に出力する。このモータ駆動信号は、例えばモータがステッピングモータであれば、PWM制御に対応したパルス信号となる。
このモータ駆動信号によりパン用モータ５４が、例えば所要の回転方向、回転速度により回転し、この結果、パン機構部５３も、これに対応した移動方向と移動速度により動くようにして駆動される。
同様にして、チルト機構部５６の動きを制御するときには、制御部５１は、チルト機構部５６に必要な移動方向、移動速度を指示する信号をチルト用駆動部５８に対して出力する。チルト用駆動部５８は、入力される信号に対応したモータ駆動信号を生成してチルト用モータ５７に出力する。このモータ駆動信号によりチルト用モータ５７が、例えば所要の回転方向及び回転速度で回転し、この結果、チルト機構部５６も、これに対応した移動方向，速度により動くようにして駆動される。
また、パン機構部５３は、ロータリーエンコーダ（回転検出器）５３ａを備えている。ロータリーエンコーダ５３ａは、パン機構部５３の回転の動きに応じて、その回転角度量を示す検出信号を制御部５１に出力する。同様に、チルト機構部５６はロータリーエンコーダ５６ａを備える。このロータリーエンコーダ５６ａも、チルト機構部５６の回転の動きに応じて、その回転角度量を示す信号を制御部５１に出力する。

通信部５２は、雲台１０に取り付けられたデジタルスチルカメラ１内の雲台対応通信部３４との間で所定の通信方式に従った通信を実行する部位であり、雲台対応通信部３４と同様にして、相手側通信部と有線若しくは無線による通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。上記物理層構成として、図２との対応では、カメラ台座部１２のコネクタ１４が含まれる。

＜２．実施形態の構図制御に対応する機能構成例＞
次に、図８のブロック図により、本実施形態に対応する撮像システムを成すデジタルスチルカメラ１及び雲台１０についての、ハードウェア及びソフトウェア（プログラム）により実現される機能構成例を示す。
この図において、デジタルスチルカメラ１は、撮像記録ブロック６１、構図判定ブロック６２、パン・チルト・ズーム制御ブロック６３、及び通信制御処理ブロック６４を備えて成るものとされている。

撮像記録ブロック６１は、撮像により得られた画像を画像信号のデータ（撮像画像データ）として得て、この撮像画像データを記憶媒体に記憶するための制御処理を実行する部位である。この部位は、例えば撮像のための光学系、撮像素子（イメージセンサ）、及び撮像素子から出力される信号から撮像画像データを生成する信号処理回路、また、撮像画像データを記憶媒体に書き込んで記録（記憶）させるための記録制御・処理系などを有して成る部位である。
この場合の撮像記録ブロック６１における撮像画像データの記録（撮像記録）は、構図判定ブロックの指示、制御により実行される。

構図判定ブロック６２は、撮像記録ブロック６１から出力される撮像画像データを取り込んで入力し、この撮像画像データを基にして、先ず被写体検出を行い、最終的には構図判定のための処理を実行する。
本実施形態においては、この構図判定に際して、被写体検出により検出された被写体ごとに、後述する属性についての検出も行う。そして、構図判定処理に際しては、この検出された属性を利用して最適とされる構図を判定する。さらに、判定した構図による画内容の撮像画像データが得られるようにするための構図合わせ制御も実行する。
ここで、構図判定ブロック６２が実行する被写体検出処理（初期顔枠の設定を含む）は、図６との対応では信号処理部２４が実行するようにして構成できる。また、この信号処理部２４による被写体検出処理は、ＤＳＰ(Digital signal Processor)による画像信号処理として実現できる。つまり、ＤＳＰに与えるプログラム、インストラクションにより実現できる。
また、構図判定ブロック６２が実行する顔枠の修正、及び構図判定、構図合わせ制御は、制御部２７としてのＣＰＵがプログラムに従って実行する処理として実現できる。

パン・チルト・ズーム制御ブロック６３は、構図判定ブロック６２の指示に応じて、判定された最適構図に応じた構図、撮像視野範囲が得られるように、パン・チルト・ズーム制御を実行する。つまり、構図合わせ制御として、構図判定ブロック６２は、例えば判定された最適構図に応じて得るべき上記構図、撮像視野範囲をパン・チルト・ズーム制御ブロック６３に指示する。パン・チルト・ズーム制御ブロック６３は、指示された構図、撮像視野範囲が得られる撮像方向にデジタルスチルカメラ１が向くための、雲台１０のパン・チルト機構についての移動量を求め、この求めた移動量に応じた移動を指示するパン・チルト制御信号を生成する。
また、例えば判定された適切画角を得るためのズームレンズの位置（ズーム倍率）を求め、このズーム位置となるようにして、撮像記録ブロック６１が備えるとされるズーム機構を制御する。

通信制御処理ブロック６４は、雲台１０側に備えられる通信制御処理ブロック７１との間で所定の通信プロトコルに従って通信を実行するための部位となる。上記パン・チルト・ズーム制御ブロック６３が生成したパン・チルト制御信号は、通信制御処理ブロック６４の通信により、雲台１０の通信制御処理ブロック７１に対して送信される。

雲台１０は、例えば図示するようにして、通信制御処理ブロック７１、及びパン・チルト制御処理ブロック７２を有している。
通信制御処理ブロック７１は、デジタルスチルカメラ１側の通信制御処理ブロック６４との間での通信を実行するための部位であり、上記のパン・チルト制御信号を受信した場合には、このパン・チルト制御信号をパン・チルト制御処理ブロック７２に対して出力する。

パン・チルト制御処理ブロック７２は、例えば図７に示した雲台１０側の制御部５１（マイクロコンピュータ）が実行する制御処理のうちで、パン・チルト制御に関する処理の実行機能に対応するものとなる。
このパン・チルト制御処理ブロック７２は、入力したパン・チルト制御信号に応じて、ここでは図示していないパン駆動機構部、チルト駆動機構部を制御する。これにより、最適構図に応じて必要な水平視野角と垂直視野角を得るためのパンニング、チルティングが行われる。

また、パン・チルト・ズーム制御ブロック６３は、例えば、構図判定ブロック６２の指令に応じて被写体探索のためのパン・チルト・ズーム制御を行うことができるようになっている。

＜３．自動撮像記録機能として考え得るアルゴリズム例＞
上記のようにして構成される撮像システムでは、雲台１０のパン・チルト機構を駆動してデジタルスチルカメラ１の撮像視野範囲を変更していくようにして撮像画像内に収まる被写体を検出する。そして、検出した被写体があれば、これをしかるべき構図で画枠内におさめて撮像記録することができる。つまり、自動撮像記録機能を有する。

図９のフローチャートは、このような自動撮像記録機能を実現するのにあたり順当に考えることのできるアルゴリズムの一例を示している。
なお、この図に示す処理手順は、図８に示すデジタルスチルカメラ１における各機能ブロック（撮像記録ブロック６１、構図判定ブロック６２、パン・チルト・ズーム制御ブロック６３、通信制御処理ブロック６４）が適宜実行するものとしてみることができる。

図９において、先ず、構図判定ブロック６２は、ステップＳ１０１により撮像記録ブロック６１にてそのときに得られる撮像画像データを取り込んで取得し、ステップＳ１０２により、この取得した撮像画像データについての被写体検出処理を実行する。
このステップＳ１０２の被写体検出処理としては、例えば先に述べたようにして顔検出技術を応用し、その検出結果として、例えば、被写体数であるとか、被写体サイズ、画像における被写体位置などを得ることができる。

次に、ステップＳ１０３において構図判定ブロック６２は、上記ステップＳ１０２による被写体検出処理によって被写体が検出されたか否かについて判別する。ここで否定の判別結果が得られた場合には、ステップＳ１０６により被写体探索処理を開始させたうえで、ステップＳ１０１に戻る。
この被写体探索処理は、例えば、パン・チルト・ズーム制御ブロック６３が通信制御処理ブロック６４を経由して、雲台１０のパン／チルト方向への移動を指示するとともに、必要に応じてはズーム制御も行って撮像視野範囲を所定のパターンで時間経過に応じて変更していく制御となる。これにより、デジタルスチルカメラ１の周囲に存在している被写体を撮像視野範囲内に収まるようにして捕捉しようというものである。
これに対して、ステップＳ１０３において被写体が検出されたとして肯定の判別結果が得られた場合には、ステップＳ１０４に進む。

ステップＳ１０４において構図判定ブロック６２は、検出された被写体に応じて最適構図を判定し、撮像画像データの画枠内の画内容として、この判定した構図が得られるようにするための構図合わせ制御を実行する。
ここで判定される構図を形成する要素としては、例えば画枠における被写体のサイズ、画枠内の被写体の位置、などを挙げることができる。

そして、構図合わせ制御が完了したとされると、構図判定ブロック６２は、ステップＳ１０５により撮像記録の実行を撮像記録ブロック６１に対して指示する。これに応じて、撮像記録ブロック６１は、そのときに得られている撮像画像データを、メモリカード４０に対して静止画のファイルとして記録する動作を実行する。

上記図９に示したアルゴリズムでは、被写体が検出されれば、その検出された被写体を含むしかるべき構図で撮影記録するという動作が自動的に実行されることになる。つまり、例えば人物を被写体として含む撮像画像データを自動的に記録していくという、自動撮像記録動作が得られる。

しかし、これに基づくアルゴリズムにより実際に自動撮像記録動作を実行させたところ、はじめに検出された同じ被写体ばかりを撮像記録するという動作になった。これは、即ち、本実施形態の撮像システムを配置した周囲において、多くの被写体となり得る人物がいるのにも関わらず、これらの人物のうちではじめに検出した被写体のみの撮像記録を何回も行うという動作となってしまう。
このような動作では、結果として、特定の被写体のみの写真ばかりが撮り貯められることになり、内容的におもしろみの欠けたものとなってしまう。そこで、本実施形態としては、このような不都合を回避するために、撮像システムの周囲に存在している被写体について、特定の被写体に偏ることなく、できるだけ満遍なく撮像記録されるようにするための構成を提案する。

＜４．実施形態としての自動撮像記録のアルゴリズムの基本例（第１実施形態）＞
図１０のフローチャートは、第１実施形態としての自動撮像記録のアルゴリズム例を示している。なお、この図に示す処理は、以降説明する第２実施形態以降の構成に対して最も基本のアルゴリズムとなる。
なお、この図に示す処理手順としても、図８に示すデジタルスチルカメラ１における各機能ブロック（撮像記録ブロック６１、構図判定ブロック６２、パン・チルト・ズーム制御ブロック６３、通信制御処理ブロック６４）が適宜実行するものとしてみることができる。
また、このようなプログラムは、例えばＲＯＭなどに対して製造時などに書き込んで記憶させるほか、リムーバブルの記憶媒体に記憶させておいたうえで、この記憶媒体からインストール(アップデートも含む)させるようにしてＤＳＰ対応の不揮発性の記憶領域やフラッシュメモリ３０などに記憶させることが考えられる。また、データインターフェース経由により、他のホストとなる機器からの制御によってプログラムのインストールを行えるようにすることも考えられる。さらに、ネットワーク上のサーバなどにおける記憶装置に記憶させておいたうえで、デジタルスチルカメラ１にネットワーク機能を持たせることとし、サーバからダウンロードして取得できるように構成することも考えられる。

図１０において、ステップＳ２０１〜Ｓ２０５、及びステップＳ２０９は、図９のステップＳ１０１〜Ｓ１０５，及びステップＳ１０６と同様となる。
そして、図１０において構図判定ブロック６２は、ステップＳ２０５による１回の撮像記録の実行を完了したとされると、ステップＳ２０６により、撮像記録履歴情報を更新する。
この撮像記録履歴情報の内容、定義の具体例は、以降説明する実施形態に応じて異なるものとなる。いずれにせよ、撮像記録履歴情報の内容に基づいて、次のステップＳ２０７における判定結果を得ることになる。

ステップＳ２０７において構図判定ブロック６２は、現在の撮像記録履歴情報の内容に基づき、次の被写体構成に遷移するための条件が満たされているか否かについて判別する。
ここでいう被写体構成とは、撮像画像データの画像において得られる個別の被写体の組み合わせのことをいう。

これまでの自動撮像記録により、被写体Ａのみの画像が自動記録されていたとする。これは、被写体Ａのみから成る被写体構成を構図要素とする画像を自動撮像記録していたといえる。
そして、例えば被写体Ａのほかに、被写体Ｂ，Ｃもいるとした場合の、被写体Ａのみ以外による「他の被写体構成」は、組み合わせとして考えると、次のようなものであることになる。
［被写体Ｂのみ］、［被写体Ｃのみ］、［被写体Ａ，Ｂの組み合わせ］、［被写体Ａ，Ｃの組み合わせ］、［被写体Ｂ，Ｃの組み合わせ］、［被写体Ａ，Ｂ，Ｃの組み合わせ］

ステップＳ２０７において否定の判別結果が得られた場合には、ステップＳ２０１に戻る。これにより、例えば、上記の例では、ステップＳ５０３にて再度、被写体Ａのみが検出される。つまり、前回と同じ被写体構成が検出される。そして、被写体Ａのみを含む構図での撮影記録を再度実行することになる。
そして、例えば上記のようにして、例えば同じ被写体構成などの条件での撮影記録が或る規定回数繰り返されたとする。この結果、ステップＳ２０７において肯定の判別結果が得られることとなってステップＳ２０８に進む。
ステップＳ２０８では、結果的に、上記したような他の被写体構成の何れかとしての被写体が検出されるようにするための、撮像視野範囲の変更制御を実行する。つまり、パン・チルト・ズーム制御ブロック６３により、パン制御、チルト制御、ズーム制御の少なくとも何れか１つを実行することによって、撮像視野範囲を変更したうえで、ステップＳ２０１に戻る。撮像視野範囲が変更されれば、例えばこれまで撮像画像データの画像内に存在していなかった被写体が改めて検出される可能性があることになる。つまり、少なくとも最後の撮像記録時とは異なる被写体構造が得られる可能性がある。
なお、ステップＳ２０８に相当する、撮像視野範囲の変更制御の具体例については、次に２例を挙げて説明する。

このような制御によっては、以降の各実施形態の説明からも理解されるように、少なくとも同じ被写体構成による撮像画像を必要以上に記録しないようにできる。また、例えば１つの被写体構成による撮像画像の記録を或る程度の回数繰り返せば、次に、他の被写体構成を探して撮像記録を行っていくようになっている。これにより、例えば本実施形態の撮像システムの周囲にいるとされる被写体としての人物について、できるだけ偏ることなく、均一的に撮像記録していくことが可能になる。これによって、撮像記録された多くの画像データの画像（写真）としても、全体では被写体として周囲にいた人物が満遍なく写っており、後で鑑賞してもおもしろみのあるものとなる。

＜５．撮像視野範囲変更制御のアルゴリズム例（第２実施形態）＞
図１１のフローチャートは、第２実施形態として、撮像視野範囲変更制御のアルゴリズムの具体例を含めた構図制御処理例を示している。なお、この図におけるステップＳ３０１〜Ｓ３０７，及びステップＳ３０９の手順は、図１０のステップＳ２０１〜Ｓ２０７，及びステップＳ２０９と同様となる。

図１１のステップＳ３０８は、図１０のステップＳ２０８としての撮像視野範囲変更制御に相当する。
ステップＳ３０８においては、パン・チルト・ズーム制御ブロック６３が、雲台１０において、予め定められた規定角度であるα°だけパン方向における移動が行われるようにしてパン制御を実行する。

ここでの規定角度α°についてどのようにして規定するのかについてはいくつか考えられる。規定角度α°の設定例と、この規定角度α°の設定により得られるステップＳ３０８に応じた動作例とについて、図１３により説明する。

図１３（ａ）においては、デジタルスチルカメラ１を平面から見ている。なお、このデジタルスチルカメラ１は、実際には雲台１０に取り付けられているが、ここでは図示を簡略なものとすることの都合上、雲台１０の図示は省略している。
また、ここでは、デジタルスチルカメラ１に設定されている画角を、画角中央angC、画角左端angL、画角右端angRにより表現している。なお、画角中央angCは、デジタルスチルカメラ１の撮像光軸と一致するものであり、画角中央angCから画角左端angLまでの角度の大きさと、画角中央angCから画角右端angRまでの角度の大きさは同じになる。水平方向における撮像視野範囲は、画角左端angLから画角右端angRに収まる範囲が相当する。なお、説明の便宜上、ここでは最も広い画角（ワイド端）に設定されているものと仮定する。そして、ここでは、ワイド端での画角値を７０°であるとしている。

そして、このデジタルスチルカメラ１及び雲台１０が設置されている周囲において、図示するようにして２つの被写体ＳＢＪ０，ＳＢＪ１が存在しているものとする。また、ここでは説明の都合上、被写体は移動せず、その絶対的な位置は固定であるとする。
図１３（ａ）の状態では、被写体ＳＢＪ０，ＳＢＪ１のうち、被写体ＳＢＪ０のみが、デジタルスチルカメラ１の撮像視野範囲に収まっているものとする。そして、この図１３（ａ）に示す状態で図１１のアルゴリズムに従って被写体ＳＢＪ０を画枠内に含む撮像画像データの撮像記録が、例えば所定回数行われた結果として、ステップＳ３０７において、他の被写体構成への遷移すべき条件が満たされたとして、肯定の判別結果が得られたとする。

ステップＳ３０７にて肯定の判別が得られたことに応じては、ステップＳ３０８として示したように、規定角度α°によるパン方向における移動が行われる。
図１３の例に対応しては、規定角度α°の絶対値としては、９０°を設定した。これは、デジタルスチルカメラ１のワイド端の画角値が７０°とされていることに応じて、これより大きいものとして適切とされる値を設定したものである。つまり、ここでの規定角度α°は、デジタルスチルカメラ１の画角よりも大きな値を設定すべきこととしている。
そして、ここでは、ステップＳ３０８として、図１３（ｂ）に示すようにして、反時計回り方向で、規定角度α°＝９０°のパン移動を行っている。これにより、デジタルスチルカメラ１の撮像視野範囲（水平方向）は、図１３（ｂ）における画角左端angL-1から画角右端angR-1までの範囲となるようにして変更される。
このようにして、反時計回り方向に９０°のパン移動（即ちワイド端の画角値より大きなパン移動）を行った結果、新たに得られたパン移動後の撮像視野範囲（angL-1〜angR-1）と、これより前の撮像視野範囲（angL〜angR）とは、互いに重複する範囲がない。これにより、被写体ＳＢＪ０は、パン移動前の撮像視野範囲（angL〜angR）には収まっていたものの、パン移動後の撮像視野範囲（angL-1〜angR-1）から外れることになる。代わりに、被写体ＳＢＪ１がパン移動後の撮像視野範囲（angL-1〜angR-1）に収まる状態が得られている。このようにして、図１１に示した撮像視野範囲変更制御によっては、先に検出されていた被写体が外されるようにして、最後の撮像記録時とは異なる他の被写体構成が得られる。
なお、図１１の撮像視野範囲変更制御（ステップＳ３０７）では、パン移動後の撮像視野範囲に対応して被写体が存在していなければ、被写体が検出されないことになる。この場合には、ステップＳ３０３にて否定の判別結果が得られることとなって、ステップＳ３０９により被写体探索の制御が実行される。
また、上記の説明では、ステップＳ３０８としての撮像視野範囲変更制御では、パン移動のみを実行することとしているが、例えば、新たな被写体が撮像視野範囲に収まる可能性をより高くするために、被写体検出に適するものとして設定した所定のパン位置とするためのパン制御であるとか、例えばワイド端に戻すなどのズーム制御が併行して実行されるようにしてもよい。

＜６．撮像視野範囲変更制御のアルゴリズム例（第３実施形態）＞
図１２のフローチャートは、第３実施形態として、上記第２実施形態とは異なる撮像視野範囲変更制御のアルゴリズムの具体例を含めた構図制御処理例を示している。なお、この図におけるステップＳ４０１，Ｓ４０２、Ｓ４０４〜Ｓ４０７，及びステップＳ４０９の手順は、図１０のステップＳ１０１，Ｓ１０２、Ｓ１０４〜Ｓ１０７，及びステップＳ１０９と同様となる。

この場合には、ステップＳ４０８の処理が、図１０のステップＳ２０８としての撮像視野範囲変更制御に相当する。ステップＳ４０８では、パン・チルト・ズーム制御ブロック６３により反時計回り方向、若しくは時計回り方向でのパン移動を開始させ、ステップＳ４０１に戻る。
ステップＳ４０８からステップＳ４０１に戻ったときには、パン移動により撮像視野範囲が変化していくのに応じて撮像画像データの画像も変化していく。そして、この状態で、ステップＳ４０２において被写体検出処理を実行することになる。

ここで、ステップＳ４０３の判別処理であるが、ステップＳ４０７からステップＳ４０１に戻り、ステップＳ４０３に至った場合には、通常に、撮像画像データの画像内に被写体が検出されているか否かの判定を行えばよい。
これに対して、ステップＳ４０７のパン移動開始の制御からステップＳ４０１に戻り、ステップＳ４０３に至った場合には、上記と判別すべき条件が異なる。つまり、この場合のステップＳ４０３においては、上記の被写体検出処理の結果として、先のステップＳ４０８の実行前（最後の撮像記録時に相当）において検出されていた被写体とは異なる、新たな被写体が検出されたか否かについて判別することとしている。なお、この判別にあたっては、先のステップＳ４０８の実行前において検出されていた被写体が継続して検出されていてもかまわないし、或る段階で撮像視野範囲から外れて検出されなくなっていてもよい。

例えば、ステップＳ４０８によりパン移動を開始してから、予め定めた移動量の移動を完了したとしても、ステップＳ４０３にて新たな被写体が検出されなかった場合には、否定の判別結果が得られる。この場合には、ステップＳ４０９による被写体検出処理を開始してステップＳ４０１に戻る。
これに対して、新たな被写体が検出されたとして肯定の判別結果が得られたのであれば、ステップＳ４０４以降に進むことになる。

図１２の撮像視野範囲変更制御としてのステップＳ４０８の制御に応じた具体的な動作例を、図１４に示す。
図１４（ａ）には、図１３（ａ）と同じ状態を示している。この場合にも、この図１４（ａ）に示す状態において、被写体ＳＢＪ０を含む構図による撮像記録が或る回数繰り返された結果、ステップＳ４０７において肯定の判別結果が得られたとする。

これに応じては、上記したステップＳ４０８によるパン移動が開始されることになる。ここでは図１４（ａ）に示す位置から、反時計回り方向にパン移動させていくこととする。
すると、図１４（ｂ）に示すようにして、図１４（ａ）に示す位置から移動角度Fで示すだけパン移動したところで、画角左端angL-1〜画角右端angR-1の撮像視野範囲に、被写体ＳＢＪ１が収まる状態が得られることになる。この状態となったことに応じて、ステップＳ４０３において肯定の判別結果が得られ、ステップＳ４０４以降の処理に進むことになる。
ここで、図１４（ｂ）に示すパン移動後の画角左端angL-1〜画角右端angR-1の撮像視野範囲には、被写体ＳＢＪ１だけではなく、パン移動前の画角左端angL〜画角右端angRに収まっていた被写体ＳＢＪ０も収まっている状態にある。このようにして、パン移動前の被写体ＳＢＪ０が画像内に存在しているとしても、新たな被写体ＳＢＪ１との組み合わせとなるので、被写体構成としては、ステップＳ４０８によるパン移動（撮像視野範囲変更制御）前とは異なるものとなる。そして、図１４（ｂ）の状態でステップＳ４０３において肯定の判別結果が得られた場合には、例えばステップＳ４０４の構図判定は、被写体が２つの場合に応じた構図判定結果を得ることになる。

＜７．遷移条件に応じた自動撮像記録のアルゴリズム例（第４実施形態）＞
図１５のフローチャートは、第４実施形態として、図１０のステップＳ２０７において判定される他の被写体構成に遷移するための条件（遷移条件）の具体例に応じた構図制御のアルゴリズム例を示している。

図１５において、ステップＳ５０１〜Ｓ５０５、Ｓ５０８、Ｓ５１０は、それぞれ図１０のステップＳ１０１〜Ｓ２０５、Ｓ２０８、Ｓ２０９と同様なる。

図１５においては、ステップＳ５０３において被写体が検出されなかったとして否定の判別結果が得られた場合には，ステップＳ５０９によりカウント値cntについて０を代入してから、ステップＳ５１０にて被写体探索処理を開始させてステップＳ５０１に戻るようにしている。
カウント値cntは、以降の説明から理解されるように、同じ被写体構成で続けて撮像記録した回数を示す。

そして、ステップＳ５０５において１回の撮像記録が実行されたことに応じては、ステップＳ５０６によりカウント値cntをインクリメントする処理を実行する。この第４実施形態では、図１０のステップＳ２０６における撮像記録履歴情報の更新は、このステップＳ５０６によるカウント値cntの更新として実行する。つまり、この場合の撮像記録履歴情報は、同じ被写体構成で撮像記録した回数を示す情報となる。

そして、図１５では、図１０のステップＳ２０７としての遷移条件を満たしたか否かの判別を、ステップＳ５０７により実行することになる。ステップＳ５０７は、カウント値cntが規定最大値Ｎ以上であるか否かについて判別する。この場合の規定最大値Ｎは、閾値として、同じ被写体構成を続けて撮像記録すべき規定回数に対応する値を示す。
ステップＳ５０７において否定の判別結果が得られた場合には、未だ、これまでと同じ被写体構成で撮像記録すべき回数が残っていることになるので、ステップＳ５０１に戻るようにする。これにより、ステップＳ５０３においては、再度、前回と同じ被写体構成が検出されることとなって、ステップＳ５０４，Ｓ５０５により、或る構図でもって、再度、撮像記録が実行される。

そして、ステップＳ５０７において肯定の判別結果が得られた場合には、同じ被写体構成によって規定回数分を撮像記録したことになる。そこで、この場合には、ステップＳ５０８に進むことで、撮像視野範囲変更制御を実行し、ステップＳ５１１にてカウント値cntを0に初期化したうえで、ステップＳ５０１に戻る。
この撮像視野範囲変更制御は、例えば、図１１，若しくは図１２に示した第２若しくは第３の実施形態を適用すればよい。また、第３の実施形態を適用した場合には、図１２のステップＳ４０３と同様に、ステップＳ５０３にて、新たな被写体が検出されるか否かを判断することになる。

この第４実施形態では、同じ被写体構成による画像の撮像画像データを、規定最大値Ｎに対応した回数だけ記録すると、他の被写体構成を探しに行くようにされている。つまり、同じ被写体構成での画像が、いたずらに多数記録されないように配慮されている。

＜８．遷移条件に応じた自動撮像記録のアルゴリズム例（第５実施形態）＞
図１６のフローチャートは、第５実施形態としての構図制御のアルゴリズム例を示している。第５実施形態は、第４実施形態とは異なる遷移条件の具体例に応じた構図制御となる。
図１６において、ステップＳ６０１〜Ｓ６０５，Ｓ６０８，Ｓ６０９は、図１０のステップＳ１０１〜Ｓ１０５，Ｓ２０８，Ｓ２０９に相当する。

第５実施形態では、撮像記録履歴情報として、記録パン・チルト位置情報を保持するものとする。図示は省略するが、この記録パン・チルト位置情報は、１回の撮像記録が行われたごとに応じて、そのときの記録パン・チルト位置情報が格納される情報である。なお、被写体構成に大きく関わるのは、チルト方向よりは、パン方向であると考えられる。そこで、記録パン・チルト位置情報に代えて、撮像記録時におけるパン位置のみを登録した情報としても良い。

図１６のステップＳ６０６においては、記録パン・チルト位置情報に対して、ステップＳ６０５により撮像記録されたときのパン・チルト位置を新規登録する。このステップＳ６０６が、図１０のステップＳ２０６の撮像記録履歴情報の更新に相当する。

次に、構図判定ブロック６２は、記録パン・チルト位置情報を参照して、直前のステップＳ６０６により新規登録したパン・チルト位置と同じ範囲に該当するとされるパン・チルト位置の数（判定用パン・チルト位置数）を求める。この判定用パン・チルト位置数は、これまでにおいて、ほぼ同じと見てよいパン・チルト位置にて撮像記録された回数を示すことになる。例えば、撮像システムの周囲における被写体の位置があまり変化しないことを前提にすれば、同じと見てよいパン・チルト位置にて撮像記録された回数は、即ち、同じ被写体構成で撮像記録を行った回数を示しているといえる。
そこで、構図判定ブロック６２は、ステップＳ６０７において、この判定用パン・チルト位置数、つまり、今回撮像記録したパン・チルト位置範囲での記録回数が、規定最大値N以上であるか否かについて判別する。

ステップＳ６０７において否定の判別結果が得られた場合には、ステップＳ６０１に戻ることになる。これにより、例えば通常は、ステップＳ６０３において、前回と同じ被写体構成が検出され、ステップＳ６０５により、前回と同じとみなされるパン・チルト位置範囲にて撮像記録が実行される。
そして、このような処理が繰り返される過程の或る段階で、ステップＳ６０７にて肯定の判別結果が得られることとなって，ステップＳ６０８に進むようにされる。

＜９．遷移条件に応じた自動撮像記録のアルゴリズム例（第６実施形態）＞
本実施形態の構図判定ブロック６２は、被写体検出処理として、検出された個別被写体について、個人を弁別する個人認識処理も実行するものとする。これにより、被写体ごとの検出情報には、検出個別被写体ごとの個人認識処理結果を示す個人認識情報も含められる。
なお、個人認識処理のアルゴリズムについても、顔検出の方式、手法と同様にして、本実施形態の下では特に限定されるべきものではない。
そして、第６実施形態としては、遷移条件として、個人認識処理により得られた被写体ごとの個人の情報を利用する。

図１７のフローチャートは第６実施形態としての構図制御のアルゴリズム例を示している。この図において、ステップＳ７０１〜Ｓ７０５、Ｓ７０８、Ｓ７０９は、図１０のステップＳ１０１〜Ｓ１０５、Ｓ１０８、Ｓ１０９に対応する。

先ず、図１７のステップＳ７０２における被写体検出処理では、上記したように、その検出結果として、顔認識に基づいた個人認識処理を実行して、検出された被写体ごとについて、その個人を弁別して認識できる情報（個人認識情報）を有する。

この場合の撮像記録履歴情報は、個人別撮像履歴情報となる。図示は省略するが、個人別撮像履歴情報は、例えば、これまでに撮像記録された被写体の個人認識情報ごとに、その撮像記録された回数を対応付けた構造を有する。
そのうえで、ステップＳ７０６において構図判定ブロック６２は、撮像記録履歴情報の更新処理として、ステップＳ７０５により撮像記録された画像において検出されていた被写体の個人認識情報に基づいて、個人別撮像履歴情報を更新する。例えば、ステップＳ７０５により撮像記録された被写体の個人認識情報が、未だ個人別撮像履歴情報に登録されていなければ、この被写体の個人認識情報を新規に登録したうえで、撮影記録回数が１であることを示す数を対応付けて格納する。また、ステップＳ７０５により撮像記録された被写体の個人認識情報が、既に個人別撮像履歴情報に登録されているのであれば、これに対応付けられた撮影記録回数をインクリメントして更新する。

そして、構図判定ブロック６２は、ステップＳ７０７により、現在の個人別撮像履歴情報を参照して、今回撮像記録された個人としての被写体についての、これまでの撮像記録回数について、規定最大値N以上であるか否かについて判別する。つまり、この場合には、被写体としての個人が規定最大値Nに対応する所定回数以上、記録されたか否かにより、遷移条件の判別が行われる。
なお、このステップＳ７０７の処理に際して、今回撮像記録された被写体が複数の場合には、これらの複数の被写体（個人）の全ての撮像記録回数が規定最大値N以上である場合に肯定の判別結果とすることが考えられる。若しくは、複数の被写体（個人）のうちの一定数以上、あるいは一定比率以上の被写体の撮像記録回数が規定最大値N以上である場合に肯定の判別結果とすることも考えられる。

ステップＳ７０７にて否定の判別結果が得られれば，ステップＳ７０１に戻り、例えば同じ被写体構成で撮像記録を繰り返す。そして、これを繰り返している或る過程において、ステップＳ７０７にて肯定の判別結果が得られると，ステップＳ７０８に進んで、パン・チルト・ズーム制御ブロック６３が撮像視野範囲変更制御を実行することになる。

また、この構成において、図１２に示した第３実施形態としての撮像視野範囲変更制御を適用する場合、ステップＳ７０８を実行してステップＳ７０１に戻った際のステップＳ７０３は、前回までの撮像記録においては検出されていなかった個人の被写体が新たに検出されるか否かを判別するアルゴリズムとすればよい。

＜１０．撮影頻度に応じた規定最大値の変更例（第７実施形態）＞
また、本実施形態の撮像システムによる自動撮像記録としては、そのときの多様な状況などに応じて、適切な撮影頻度は異なると考えられる。例えば、撮像システムの周囲の被写体数が少なければ、撮影頻度は低くてもよいと考えられる.これに対して、周囲の被写体数が多い場合、これらの被写体を或る限られた時間で満遍なく撮影記録するためには撮影頻度は高い方がよい、ということになる。また、例えば本実施形態のデジタルスチルカメラ１、雲台１０は、何れもバッテリで駆動することができるが、バッテリの駆動時間をできるだけ長くしたいと考えれば、単位時間においてパン・チルト・ズームの可変が行われる総合時間であるとか、撮像記録回数は抑えることのほうが有利となる。

このような事情から、本実施形態の撮像システムは、ユーザ操作によって、自動撮像記録の頻度を変更設定する操作が行えるようになっている。
例えばこの操作は、デジタルスチルカメラ１に対する操作によって行えるものとする。例えば、ユーザは、デジタルスチルカメラ１の表示画面部３３ａに表示させたメニュー画面などに対する操作によって、自動撮像記録の頻度（記録頻度）を変更設定する画面（記録頻度設定画面）を呼び出すことができる。そして、この記録頻度設定画面に対する操作によって、ユーザは記録頻度として提示される段階を選択して設定できる。このユーザが選択設定できる記録頻度の段階としては、特に限定されない。例えば０（低）〜１００（高）などとしての数値範囲を設定し，この数値範囲のうちからユーザが選択できるようにすることが考えられる。また、これに対して簡易なものとしては、高、中、低による３段階程度とすることが考えられる。

ここで、先の第４〜第６実施形態に対応する図１５〜図１７のフローチャートにおいて遷移条件の判定として用いられた規定最大値Nとしての閾値は、共通概念として、１つの被写体構成について許容される撮像記録回数の最大値を示すものとしてみることができる。
この規定最大値Nは、基本的には固定で適切とされる値が予め規定されればよい。しかし、この規定最大値Nは、記録頻度と関係しているといえ、記録頻度が可変であるのに対して規定最大値Nが固定であると、例えば下記のような不都合が生じる可能性がある。
例えば、記録頻度が高めに設定されているときに、固定の規定最大値Nとしての値が相対的に小さいと、１つの被写体構成で撮像記録される写真枚数が少なくなることとなって、結果的に頻度が高くならないことがあると考えられる。

そこで、第７の実施形態としては、記録頻度の設定に応じて、規定最大値Nも変更設定するようにして構成する。
図１８のフローチャートは、この第７の実施形態としてのアルゴリズム例を示している。この処理は、例えば構図判定ブロック６２が実行するものとしてみることができる。

図１８において、先ず、構図判定ブロック６２は、ステップＳ８０１によって、ユーザによって記録頻度設定画面に対して行われる記録頻度の変更操作を入力する。次に、ステップＳ８０２により、実際の動作として得られる自動撮像記録の実行頻度が、上記ステップＳ８０１に対応して設定された記録頻度を反映して変更されるように、実際の記録頻度を変更設定するために用意された所定のパラメータについての変更設定を行う。

この記録頻度設定のパラメータとしては、いくつか考えることができる。
図１５のＳ５０４，Ｓ５０５の実際は、構図合わせ制御を実行しながら、判定した構図が得られたとされると、撮像記録を実行する。記録頻度設定のパラメータとして、１つには、この判定した構図が得られたか否かの判定にあたり、判定された構図を形成する要素である、被写体位置、被写体サイズなどについて、構図が得られたとして判定されるためのマージンを変更することが挙げられる。
例えば、構図判定ブロック６２は、ステップＳ８０２として、設定された記録頻度が高くなるのに応じて、上記被写体位置、被写体サイズの目標値に対するマージンを大きく設定する。これにより、被写体位置、被写体サイズなどが、本来の目標値から或る程度大きくずれているとしても、判定した構図が得られたとして判別されて撮像記録が実行される。つまり、実際に記録頻度は高くなる。

また、図１５のＳ５０４，Ｓ５０５における、判定構図が得られたか否かの判定にあたっては、判定構図が所定時間以上にわたって得られているか否かについても判定し、一定時間以上が経過したのであれば、撮像記録の実行に移行するようにしている。これは、判定構図がどれだけ安定して得られているかを判断しているといえる。
この判定構図の安定性判定のための所定時間についても、記録頻度設定のパラメータとすることができる。
この場合、構図判定ブロック６２は、ステップＳ８０２として、設定された記録頻度が高くなるのに応じて、上記安定性判定のための所定時間について短く設定する。これにより、例えば或る程度構図が不安定であっても、判定構図であるとして撮像記録が実行されることになり、実際の記録頻度は高くなる。

また、図１５においては、ステップＳ５０２にて被写体が検出されないと判別されると、ステップＳ５０９のカウント値cntのリセットを経て，ステップＳ５１０の被写体探索処理に移行するが、このとき、直ちに被写体検出処理を開始するのではなく、或る待機時間を経てから被写体検出処理を開始させることができるようにする。そして、この待機時間を、記録頻度設定のパラメータとすることが考えられる。
つまり、構図判定ブロック６２は、ステップＳ８０２により、ユーザ操作により設定された記録頻度が高くなるのに応じて、上記の待機時間を段階的に短く設定する処理を実行する。なお、最高の記録頻度に対応しては待機時間を０に設定してもよい。これによっても、実際の自動撮像記録動作としての記録頻度は変化する。

また、例えば図１５のシーケンスをそのまま実行すれば、ステップＳ５０７からステップＳ５０１には、直ちに戻ることになるので、同じ被写体構成のもとでの規定最大値N回分の撮像記録は、或る短時間の周期で実行されるとみてよい。そこで、１回の撮像記録が実行されてから、次の撮像記録が実行されるまでの待機時間を設定し、これを記録頻度設定のパラメータとすることが考えられる。
この場合にも、構図判定ブロック６２は、ステップＳ８０２として、ユーザ操作により設定された記録頻度が高くなるのに応じて、上記の待機時間を段階的に短く設定する。なお、この場合にも、最高の記録頻度に対応しては待機時間を０としてよい。
図１５との対応では、ステップＳ５０７にて否定の判別結果が得られことに応じてステップＳ５０１に戻る際に、この待機時間の計時を実行するようにしてアルゴリズムを構成すればよい。

また、例えば構図判定ブロック６２が実行する被写体検出処理として、笑顔検出を行うようにする。そして、さらに判定構図として被写体の顔が笑顔であることを必要条件とする。この場合、ステップＳ２０４により被写体サイズ、被写体位置などについては構図合わせが完了したとする段階で、さらに、被写体が笑顔であるか否かを判定することになる。そして、笑顔が得られたタイミングで、ステップＳ２０５による撮像記録を実行するという動作になる。
この場合において、判定構図に該当するとする笑顔のレベルについての閾値を記録頻度設定のパラメータとする。そして、ステップＳ８０２により、例えばユーザ操作により設定された記録頻度が高くなるのに応じて、上記の閾値を低く設定する。笑顔のレベルに対する閾値が低いほど、少しの笑顔でも撮影記録されることになるので、結果として、実際の撮影記録の頻度も高くなる。

そして、ステップＳ８０３においては、ユーザ操作により設定された記録頻度に応じて、規定最大値Nを変更する。例えば上記したような不具合の解消を求めるのであれば、設定された記録頻度が高くなるのに応じて、規定最大値Nも大きな値とするように変更すればよい。

なお、上記説明では、撮影頻度に応じた規定最大値の変更を、第４実施形態としての図１５のアルゴリズムに適用した場合について説明したが、同様にして、第５、第６実施形態としての図１６，図１７のアルゴリズムにも適用できる。この点については、次に説明する第８実施形態も同様である。

＜１１．被写体数に応じた規定最大値の変更例（第８実施形態）＞
ところで、１つの被写体構成を形成する被写体数が多ければ、それだけ、これらの被写体により作り出される画内容は豊富になると考えることができる。この点からすれば、例えば被写体検出処理により検出される被写体数が多くなるのに応じて、同じ被写体構成であっても撮像記録すべき回数も多くしてよい、ということがいえる。
この点からすると、アルゴリズムとして、規定最大値Ｎについては、例えば、被写体検出処理により検出される被写体数が多くなるのに応じて規定最大値Nも増加させるというように、被写体数に応じて変更させるという構成が好ましいといえる。

第８実施形態は、検出された被写体数に応じて規定最大値Nを変更設定するアルゴリズムとなる。
図１９のフローチャートは、この第８実施形態としての構成を含む構図制御のアルゴリズム例を示している。
なお、この図１９に示す処理は、第２実施形態に対応する図１０のフローチャートを元として、これに第８実施形態を適用したものとなっている。この図においては、図１０と同じステップについては、同じステップ番号を付している。

図１９においては、ステップＳ５０３に続けて、ステップＳ５０３−１としての処理が追加されている。
ステップＳ５０３−１は、ステップＳ５０２，Ｓ５０３としての被写体検出処理によって検出されたとする被写体数に応じて、規定最大値Ｎを変更設定する。この変更は、予め定めた演算式などを用いて、例えば上記したように、検出される被写体数が多くなるのに応じて増加する規定最大値Ｎが求められるようにすればよい。
そして、ステップＳ５０７においては、上記ステップＳ５０３−１により求められた規定最大値Nを利用して判別処理を実行する。

＜１２.変形例＞
［第１の変形例］
１つの被写体構成に対して考え得る最適構図は１つであるとは限らず、実際にはいくつものバリエーションを考えることができる。例えば第４実施形態による説明では、１つの被写体構成について、規定最大値N分の撮像記録が行えることとしている。このときに、規定最大値N分の撮像記録を実行するごとに、異なる構図が得られるようにすれば、１つの被写体構成に対応して得られる写真の画内容に変化が得られて、より好ましいことになる。
そこで、第１の変形例としては、上記のようにして、規定最大値N分の撮像記録の実行ごとに異なる構図が得られるようにするための構成を提案する。

図２０は、第１の変形例に対応する処理手順例を示している。
この処理は、例えば図１５におけるステップＳ５０４の構図判定処理に際して、その構図判定アルゴリズムを選定するための処理となる。

先ず、構図判定ブロック６２は、設定し得る規定最大値Nに応じた数の、異なる構図判定アルゴリズムを記憶しているものとする。
そのうえで、図２０において、先ず、構図判定ブロック６２は、ステップＳ９０１により現在のカウント値cntを呼び出すと，ステップＳ９０２により変数ｍに対して、この呼び出したカウント値cntとして設定されている値を代入する。
変数ｍは、構図判定ブロック６２が記憶する構図判定アルゴリズムの識別番号に対応する。構図判定ブロック６２は、ステップＳ９０３により、構図判定アルゴリズム１〜Ｎのうち、構図判定アルゴリズムｍ(1<m<N)を呼び出す。そして、ステップＳ９０４により、構図判定アルゴリズムｍとしてのプログラムを実行して、現在検出されている被写体に対応しての構図判定処理を実行する。

このような処理とすれば、構図判定アルゴリズムは、カウント値cntに応じて変更される。つまり、１つの被写体構成のもとで実行される１回の撮像記録ごとに、異なる構図が得られる。

なお、例えば、被写体の絶対的な位置を記憶しておくようにすれば、視野角変更制御によって全ての被写体を一通り撮影する動作が一巡したときを認識できる。また、第６実施形態の場合であれば、個人認識情報に基づいて視野角変更制御によって周囲の全ての被写体を一通り撮影する動作が一巡したとみてよいときを認識できる。このとき、撮像システムの自動撮像記録動作が継続してオンとなっていれば、撮像システムは、２巡目としての自動撮像記録を実行することになる。
そこで、第１の変形例の応用として、上記のようにして自動撮像記録が一巡するごとに、構図判定アルゴリズムを変更することが考えられる。

［第２の変形例］
また、上記第１の変形例のようにして、１つの被写体構成で規定最大値Nに応じた回数分により異なる構図で撮像記録を実行させる場合においては、実際に次のような状況が想定される。
例えば、つまり、ステップＳ５０４にて選択される構図判定アルゴリズムとして、画枠内における複数の被写体の位置関係を変えた構図が適切であるとして判定するものであった場合、そのとき検出されている被写体としての人物がほとんど動かないような状態では、これらの被写体の位置関係が変わることがないので、判定構図を得ることができない。また、構図判定アルゴリズムとして、被写体が笑顔であることが最適構図の要素となっている場合、また、被写体の顔の方向が前回と異なっていることが最適構図の要素となっている場合を考えることもできる。この場合、被写体としての人物がいつまでも笑わないでいる。また、被写体としての人物がいつまでも前回の撮像記録と同じ顔方向で変化がないような場合にも、判定構図が得られないことになる。
このようにして被写体に変化が無い場合には、予め設定した規定最大値N分の撮像記録を行ったとしても、似たような画内容の写真しか得られないことになる。そこで、このような場合には、規定最大値N分を撮像記録しなくとも、他の被写体構成に遷移する方がよい、ということがいえる。

そこで、第２変形例は、上記のようにして、判定構図が得られない場合には、他の被写体構成に遷移させるようにしてアルゴリズムを構成する。
図２１のフローチャートは、第２変形例に対応した構図制御のアルゴリズム例を示している。この図に示す処理は、図１５に示した第４実施形態対応のアルゴリズムに第２変形例を適用した例としており、図１５と同じ処理については同じステップ番号を付している。

図２１においては、ステップＳ５０４−１、Ｓ５０４−２の手順が追加されている。
構図判定ブロック６２は、ステップＳ５０４により、上記第１の変形例に対応する、構図判定アルゴリズムｍによる構図判定処理と、例えば被写体位置、被写体サイズについての構図合わせ制御を実行し、ステップＳ５０４−１において、判定した構図が得られているか（ＯＫ）か否かについて判別することとしている。ここで、上記の例のようにして、被写体の位置や顔などに変化がないために、判定した構図が得られない場合には、ステップＳ５０４−２において所定時間が経過したと判別されるまで、ステップＳ５０４による構図制御と、ステップＳ５０４−１による構図ＯＫか否かについての判別を実行する。
ここで、上記の所定時間が経過するまでにおいて、ステップＳ５０４−１にて構図ＯＫであるとして判定されれば、ステップＳ５０５以降に進んで撮像記録を実行することになる。
これに対して、ステップＳ５０４−１にて構図ＯＫであるとの判定結果が得られないまま、ステップＳ５０４−２にて所定時間を経過したことが判別された場合には、ステップＳ５０８に進んで、パン・チルト・ズーム制御ブロック６３による撮像視野範囲変更制御を実行する。
ステップＳ５０４−２にて所定時間を経過したことが判別されたことに応じて、ステップＳ５０８に遷移するシーケンスは、実質的に、一時的であるが、構図に変化が得られないことに応じて、規定最大値Nを現在のカウント値cntと等しくしたことで、ステップＳ５０７にて肯定の判別結果を得ている処理としてみることもできる。

なお、上記の第２変形例の説明では、カウント値cntに応じて判定構図を変更することを前提としている。しかし、判定構図が変更されないアルゴリズムにおいても、第２変形例は、適用できる。この場合には、１つの被写体構成に応じて判定された構図が所定時間得られなければ、１回も撮像記録することなく、ステップＳ５０８の撮像視野範囲変更制御に移行することになる。

また、なお、第１〜第８実施形態、及び第１、第２変形例の間での組み合わせについては、これまでに例に挙げたもの以外にも考えられる。

＜１３．本実施形態の撮像システムの変形例＞
図２２は、先に図７，図８に示した本実施の形態の撮像システムに対する変形例としての構成例を示している。
この図では、先ず、デジタルスチルカメラ１から通信制御処理ブロック６３を経由して、撮像に基づいて信号処理部２４にて生成される撮像画像データを、雲台１０に対して送信するようにされている。
この図においては、雲台１０の構成として通信制御処理ブロック７１、パン・チルト制御処理ブロック７２、被写体検出処理ブロック７３、及び構図制御処理ブロック７４が示されている。
通信制御処理ブロック７１は、図７の通信部５２に対応する機能部位であって、デジタルスチルカメラ１側の通信制御処理ブロック部６３（雲台対応通信部３４）との通信処理を所定のプロトコルに従って実行するようにして構成される部位である。
通信制御処理ブロック７１により受信された撮像画像データは、被写体検出処理ブロック７３に渡される。この被写体検出ブロッ７３は、例えば図８に示した構図判定ブロック６２と同等の被写体検出処理が少なくとも可能なだけの信号処理部を備えて構成され、取り込んだ撮像画像データを対象として被写体検出処理を実行し、その検出情報を構図制御処理ブロック７４に出力する。
構図制御処理ブロック７４は、図８の構図制御処理ブロック６２と同等の構図制御を実行可能とされており、この構図制御処理の結果としてパン制御、チルト制御を行うときには、そのための制御信号をパン・チルト制御処理ブロック７２に対して出力する。
パン・チルト制御処理ブロック７２は、例えば図７における制御部５１が実行する制御処理のうちで、パン・チルト制御に関する処理の実行機能に対応するもので、入力される制御信号に応じてパン機構部５３、チルト機構部５６の動きをコントロールするための信号をパン用駆動部５５、チルト用駆動部５８に対して出力する。これにより、構図制御処理ブロック６２にて判定した構図が得られるようにしてパンニング、チルティングが行われる。
このようにして、図２２に示す撮像システムは、デジタルスチルカメラ１から雲台１０に撮像画像データを送信させることとして、雲台１０側により、取り込んだ撮像画像データに基づく被写体検出処理と構図制御とを実行するようにして構成しているものである。
なお、ズーム制御を可能とする場合については、例えば、構図制御ブロック７４が、通信制御処理ブロック７１経由で、デジタルスチルカメラ１側にズーム制御を指示するように構成すればよい。

図２３は、本実施の形態の撮像システムについての他の変形例としての構成例を示している。なお、この図において、図２２と同一部分には同一符号を付して説明を省略する。
このシステムにおいては、雲台１０側において撮像部７５が備えられる。この撮像部７５は、例えば撮像のための光学系と撮像素子（イメージャ）を備えて、撮像光に基づいた信号（撮像信号）を得るようにされているとともに、この撮像信号から撮像画像データを生成するための信号処理部から成る。これは、例えば図６に示した光学系部２１、イメージセンサ２２、Ａ／Ｄコンバータ２３、及び信号処理部２４において撮像画像データを得るまでの信号処理段から成る部位に対応する構成となる。撮像部７５により生成される撮像画像データは被写体検出処理ブロック７３に出力される。なお、撮像部７５が撮像光を取り込む方向（撮像方向）は、例えば雲台１０に載置されるデジタルスチルカメラ１の光学系部２１（レンズ部３）の撮像方向とできるだけ一致するようにして設定される。

この場合の被写体検出処理ブロック７３及び構図制御処理ブロック７４は、上記図２２と同様にして被写体検出処理、構図制御処理を実行する。但し、この場合の構図制御処理ブロック７４は、パン・チルト制御に加えて、レリーズ動作を実行させるタイミングに対応してはレリーズ指示信号を、通信制御処理ブロック７１からデジタルスチルカメラ１に対して送信させる。デジタルスチルカメラ１では、レリーズ指示信号が受信されることに応じてレリーズ動作を実行するようにされる。
このようにして他の変形例では、被写体検出処理と構図制御に関して、レリーズ動作自体に関する以外の全ての制御・処理を雲台１０側で完結して行うことができる。

なお、先に説明した本実施形態としての構図制御において実行されるパン制御、チルト制御は、雲台１０のパン・チルト機構の動きを制御することにより行うこととしているが、雲台１０に代えて、例えば、デジタルスチルカメラ１のレンズ部３に対しては、反射鏡により反射された撮像光が入射されるようにしたうえで、撮像光に基づいて得られる画像についてパンニング・チルティングされた結果が得られるようにして上記反射光を動かす構成を採用することも考えられる。
また、デジタルスチルカメラ１のイメージセンサ２２から画像として有効な撮像信号を取り込むための画素領域を水平方向と垂直方向にシフトさせるという制御を行うことによっても、パンニング・チルティングが行われるのと同等の結果を得ることができる。この場合には、雲台１０若しくはこれに準ずる、デジタルスチルカメラ１以外のパン・チルトのための装置部を用意する必要が無く、デジタルスチルカメラ１単体により本実施の形態としての構図制御を完結させることが可能となる。
また、光学系部２１におけるレンズの光軸を水平・垂直方向に変更することのできる機構を備えて、この機構の動きを制御するように構成しても、パンニング・チルティングを行うことが可能である。

また、これまでの説明では、本実施形態の撮像システムを、互いに別体のデジタルスチルカメラ１と雲台１０から成るものとしているが、例えば、デジタルスチルカメラ１に相当する撮像部と、雲台１０に相当する可動機構部とが一体化された撮像装置などとされて構成されてもよい。

また、これまでの実施の形態の説明にあっては、被写体（個別被写体）は、人であることを前提としているが、例えば、人以外の動物を被写体とする場合にも、本願発明を適用することが考えられる。
また、被写体検出の対象となる画像データは、撮像に由来して得られるもの（撮像画像データ）のみに限定されるべきものではなく、例えば、絵であるとかデザイン画などの画内容を有する画像データを対象とすることも考えられる。
また、本願発明のもとで判定される構図（最適構図）は、必ずしも、三分割法などの構図設定手法に対して、検出された個別被写体の数の要素を加味する手法によって決定された構図に限定されるものではない。例えば一般的には良くないとされる構図であっても、構図の設定次第では、ユーザがおもしろみを感じたり、かえって良いと感じるような場合もあると考えられる。従って、本願発明のもとで判定される構図（最適構図）としては、実用性、エンタテイメント性などを考慮して任意に設定されればよく、実際においては特に制限はない。

また、これまでにも述べてきたように、本願に基づく構成における少なくとも一部は、ＣＰＵやＤＳＰにプログラムを実行させることで実現できる。
このようなプログラムは、例えばＲＯＭなどに対して製造時などに書き込んで記憶させるほか、リムーバブルの記憶媒体に記憶させておいたうえで、この記憶媒体からインストール(アップデートも含む)させるようにしてＤＳＰ対応の不揮発性の記憶領域やフラッシュメモリ３０などに記憶させることが考えられる。また、ＵＳＢやＩＥＥＥ１３９４などのデータインターフェース経由により、他のホストとなる機器からの制御によってプログラムのインストールを行えるようにすることも考えられる。さらに、ネットワーク上のサーバなどにおける記憶装置に記憶させておいたうえで、デジタルスチルカメラ１にネットワーク機能を持たせることとし、サーバからダウンロードして取得できるように構成することも考えられる。

１ デジタルスチルカメラ、２ シャッターボタン、３ レンズ部、１０ 雲台、２１ 光学系、２２ イメージセンサ、２３ Ａ／Ｄコンバータ、２４ 信号処理部、２５ エンコード／デコード部、２６ メディアコントローラ、２７ 制御部、２８ ＲＯＭ、２９ ＲＡＭ、３０ フラッシュメモリ、３１ 操作部、３２ 表示ドライバ、３３ 表示部、３４ 雲台対応通信部、４０ メモリカード、５１ 制御部、５２ 通信部、５３ パン機構部、５４ パン用モータ、５５ パン用駆動部、５６ チルト機構部、５７ チルト用モータ、５８ チルト用駆動部、６１ 撮像記録ブロック、６２ 構図判定ブロック、６３ パン・チルト・ズーム制御ブロック、６４ 通信制御処理ブロック、ＳＢＪ（ＳＢＪ０〜ｎ） 被写体、７１ 通信制御処理ブロック、７２ パン・チルト制御処理ブロック、７３ 被写体検出処理ブロック、７４ 構図制御処理ブロック、７５ 撮像部

Claims (13)

1. 撮像部により撮像して得られる画像データを入力して、この画像データに基づく画像において存在する被写体を検出する被写体検出手段と、
   上記被写体検出手段により検出された被写体を画像内に含む上記画像データを記録媒体に記録する撮像記録を実行させる撮像記録制御手段と、
   上記撮像記録の履歴に基づいて、上記被写体検出手段により他の被写体構成が検出され得る状態に遷移すべきであるか否かを判別する遷移判別手段と、
   上記遷移判別手段により遷移するとの判別結果が得られたことに応じて、少なくとも最後の撮像記録のときとは異なる被写体構成を形成する被写体が上記被写体検出手段により検出されるように、上記撮像部の撮像視野範囲を変更する可動機構部を駆動制御する撮像視野範囲変更制御手段とを備え、
   上記被写体検出手段は、
   検出される被写体ごとに個人認識処理を実行して、個人を弁別して識別する個人識別情報を得るようにされており、
   上記遷移判別手段は、
   上記履歴として、上記個人識別情報により認識される個人としての被写体ごとの上記撮像記録制御手段による記録が実行された回数を示す個人記録回数情報を保持し、
   上記個人記録回数情報が示す回数に基づいて、上記被写体検出手段により他の被写体構成が検出されるべき状態に遷移すべきであるか否かを判別する、
   撮像制御装置。
2. 上記撮像視野範囲変更制御手段は、
   予め定められた規定角度により所定方向に沿って上記可動機構部が移動するように駆動制御する、
   請求項１に記載の撮像制御装置。
3. 上記撮像視野範囲変更制御手段は、
   上記被写体検出手段の検出結果に基づいて、上記最後の撮像記録のときには上記被写体検出手段により検出されていなかった被写体が新たに検出されるまで、上記可動機構部が所定方向に沿って移動するように駆動制御する、
   請求項１に記載の撮像制御装置。
4. 上記遷移判別手段は、
   上記履歴として、同じ被写体構成での上記撮像記録制御手段による記録が実行された回数を示す記録回数情報を保持し、
   上記記録回数情報が示す回数に基づいて、上記被写体検出手段により他の被写体構成が検出されるべき状態に遷移すべきであるか否かを判別する、
   請求項１乃至請求項３の何れかに記載の撮像制御装置。
5. 上記遷移判別手段は、
   上記履歴として、上記撮像記録制御手段による記録が実行されたときの可動機構部の位置を示す記録位置情報を保持し、
   上記記録位置情報に基づいて、上記最後の撮像記録が実行された可動機構部の位置と同じとみなされる位置での撮像記録の回数に基づいて、上記被写体検出手段により他の被写体構成が検出されるべき状態に遷移すべきであるか否かを判別する、
   請求項１乃至請求項３の何れかに記載の撮像制御装置。
6. 上記撮像記録が実行される頻度を変更設定する頻度変更設定手段をさらに備え、
   上記遷移判別手段は、
   履歴情報が示す回数が所定の閾値以上であることに応じて、上記被写体検出手段により他の被写体構成が検出されるべき状態に遷移すべきであると判定するものとされ、
   上記頻度変更設定手段により設定された頻度に応じて上記閾値を変更設定する、
   請求項４又は請求項５の何れかに記載の撮像制御装置。
7. 上記遷移判別手段は、
   履歴情報が示す回数が所定の閾値以上であることに応じて、上記被写体検出手段により他の被写体構成が検出されるべき状態に遷移すべきであると判定するものとされ、
   上記被写体検出手段により検出される被写体の数に応じて、上記閾値を変更設定する、
   請求項４乃至請求項６の何れかに記載の撮像制御装置。
8. 上記被写体検出手段により検出された被写体に応じて構図を判定する構図判定手段と、
   判定された構図を得るための構図合わせ制御として、上記可動機構部に対する駆動制御、及び撮像部に対するズーム制御の少なくとも何れか一方を実行する構図合わせ制御手段とを備え、
   上記撮像記録制御手段は、
   上記判定された構図が得られたことに応じて撮像記録を実行する、
   請求項１乃至請求項７の何れかに記載の撮像制御装置。
9. 上記構図判定手段は、
   今回の構図判定に際しては、最後に同じ被写体構成で撮像記録したときとは異なる構図を判定結果として得る、
   請求項８に記載の撮像制御装置。
10. 上記撮像視野範囲変更制御手段は、
    所定時間内において上記構図判定手段により判定された構図が得られなければ、上記可動機構部を駆動制御する、
    請求項８又は請求項９に記載の撮像制御装置。
11. 撮像装置と、
    上記撮像装置の撮像視野範囲を変更するようにして可動する機構を有する可動機構装置とから成り、
    上記撮像装置又は上記可動機構装置において、上記撮像装置により撮像して得られる画像データを入力して、この画像データに基づく画像において存在する被写体を検出する被写体検出手段と、
    上記撮像装置又は上記可動機構装置において、上記被写体検出手段により検出された被写体を画像内に含む上記画像データを、上記撮像装置における記録媒体に記録する撮像記録を実行させる撮像記録制御手段と、
    上記撮像装置又は上記可動機構装置において、上記撮像記録の履歴に基づいて、上記被写体検出手段により他の被写体構成が検出され得る状態に遷移するか否かを判別する遷移判別手段と、
    上記撮像装置又は上記可動機構装置において、上記遷移判別手段により遷移するとの判別結果が得られたことに応じて、少なくとも最後の撮像記録のときとは異なる被写体構成を形成する被写体が上記被写体検出手段により検出されるように、上記可動機構装置を駆動制御する撮像視野範囲変更制御手段とを備え、
    上記被写体検出手段は、
    検出される被写体ごとに個人認識処理を実行して、個人を弁別して識別する個人識別情報を得るようにされており、
    上記遷移判別手段は、
    上記履歴として、上記個人識別情報により認識される個人としての被写体ごとの上記撮像記録制御手段による記録が実行された回数を示す個人記録回数情報を保持し、
    上記個人記録回数情報が示す回数に基づいて、上記被写体検出手段により他の被写体構成が検出されるべき状態に遷移すべきであるか否かを判別する、
    撮像システム。
12. 撮像部により撮像して得られる画像データを入力して、この画像データに基づく画像において存在する被写体を検出する被写体検出手順と、
    上記被写体検出手順により検出された被写体を画像内に含む上記画像データを記録媒体に記録する撮像記録を実行させる撮像記録制御手順と、
    上記撮像記録の履歴に基づいて、上記被写体検出手順により他の被写体構成が検出され得る状態に遷移するか否かを判別する遷移判別手順と、
    上記遷移判別手順により遷移すべきであるとの判別結果が得られたことに応じて、少なくとも最後の撮像記録のときとは異なる被写体構成を形成する被写体が上記被写体検出手順により検出されるように、上記撮像部の撮像視野範囲を変更する可動機構部を駆動制御する撮像視野範囲変更制御手順とを実行し、
    上記被写体検出手順は、
    検出される被写体ごとに個人認識処理を実行して、個人を弁別して識別する個人識別情報を得るようにされており、
    上記遷移判別手順は、
    上記履歴として、上記個人識別情報により認識される個人としての被写体ごとの上記撮像記録制御手順による記録が実行された回数を示す個人記録回数情報を保持し、
    上記個人記録回数情報が示す回数に基づいて、上記被写体検出手順により他の被写体構成が検出されるべき状態に遷移すべきであるか否かを判別する、
    撮像方法。
13. 撮像制御装置に、
    撮像により得られる画像データを入力して、この画像データに基づく画像において存在する被写体を検出する被写体検出手順と、
    上記被写体検出手順により検出された被写体を画像内に含む上記画像データを記録媒体に記録する撮像記録を実行させる撮像記録制御手順と、
    上記撮像記録の履歴に基づいて、上記被写体検出手順により他の被写体構成が検出され得る状態に遷移するか否かを判別する遷移判別手順と、
    上記遷移判別手順により遷移すべきであるとの判別結果が得られたことに応じて、少なくとも最後の撮像記録のときとは異なる被写体構成を形成する被写体が上記被写体検出手順により検出されるように、撮像部の撮像視野範囲を変更する可動機構部を駆動制御する撮像視野範囲変更制御手順とを実行させ、
    上記被写体検出手順は、
    検出される被写体ごとに個人認識処理を実行して、個人を弁別して識別する個人識別情報を得るようにされており、
    上記遷移判別手順は、
    上記履歴として、上記個人識別情報により認識される個人としての被写体ごとの上記撮像記録制御手順による記録が実行された回数を示す個人記録回数情報を保持し、
    上記個人記録回数情報が示す回数に基づいて、上記被写体検出手順により他の被写体構成が検出されるべき状態に遷移すべきであるか否かを判別する、
    プログラム。

Images