JP7051565B2

JP7051565B2 - 撮像装置及びその制御方法、撮像システム

Info

Publication number: JP7051565B2
Application number: JP2018088265A
Authority: JP
Inventors: 誠伊勢
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-05-01
Filing date: 2018-05-01
Publication date: 2022-04-11
Anticipated expiration: 2038-05-01
Also published as: JP2019195125A

Description

本発明は、マルチストリーム出力機能を有する撮像素子を備えた撮像装置及びその制御方法、撮像システムに関する。

従来、撮像装置において、１つの撮像素子で複数の被写体を撮影する場合がある。この場合には、被写体の動きに追従して撮りこぼしなく撮影できるよう、最も動きの速い被写体を基準にして全ての被写体に対して撮影条件を共通にするのが通常である。撮影条件としては例えば、静止画であればシャッタ露光時間、動画であればフレームレートなどである。このため、複数の被写体の中の一部の被写体だけが非常に高速な動きを示した場合であっても、撮像素子全体に高速な撮像動作が要求された。

その一方で、撮像素子から画像信号処理回路への転送路の転送容量が一定であることから、撮像素子の画素数が増えることで相対的に被写体の全画像信号の転送時間が長くなるという問題がある。転送時間を短縮するために高速転送する構成にすると、撮像素子および回路の消費電力、転送回路や処理回路の発熱、データ転送精度などが問題になり、小規模な撮像装置では実現が困難となる。撮像素子、画像処理回路間の転送において、比較的実現しやすいシリアル転送容量には上限があり、現在では約１Ｇｂｐｓ程度である。そこで、フレームレートの高い動画撮影などにおいては、転送容量が１Ｇｂｐｓを超えないように、画素数の少ない撮像素子を採択する必要があった。あるいは、画素数の多い撮像素子の場合には撮像素子から読み出す画素数を間引き処理等によって所定数以下に減らした後に転送する必要があった。

１つの撮像センサで複数の被写体に対して撮影を行う場合には、上記のいずれの場合においても、個々の被写体に対して解像度が劣化する結果となり、実用的な撮影画像の形成が困難であった。逆に、被写体の解像度を維持しようとすれば、被写体の動き速度に拘わらず低いフレームレートで読み出し速度を制限せざるを得ず、被写体の解像度とフレームレートとの間での実用的な両立が困難であった。

解像度とフレームレートの両立を図るために、特許文献１の技術が提案されている。この技術では、積層型撮像素子を用いて、撮像領域ごとに異なるフレームレートが設定された複数の領域に分割し、領域ごとにフレームレートの異なる読み出し方式で複数の動画を生成する。さらに、これに関連して、領域ごとにフレームレートの異なる読み出し方式で複数の動画を生成して記録する際に、生成された動画データと設定されたフレームレートとを関連付けて記録する方法も提案されている（特許文献２）。

再表２０１５／０２２９００号公報特開２０１６－７２８６３号公報

ところで、１つの撮像センサで複数の被写体を撮影する目的の１つに、マルチアングル合成とこれによる３Ｄ（three-dimensional）表現を行うことがある。すなわち、異なるアングルで配置された撮像装置を複数用いて撮影を行うことで、各撮像装置からの撮像データを用いて、個々の被写体ごとに分離して、マルチアングル合成等を実現できる。

しかしながら、特許文献１は、単独の撮像装置における解像度とフレームレートの両立を図るものであり、各撮像装置から個々の被写体ごとの撮像データを分離して出力する仕方についての具体的な方法が示されていない。また、特許文献２は、生成された動画データと設定されたフレームレートとを関連付けるが、動画データと個々の被写体とは関連付けられていない。従って、被写体ごとのマルチアングル合成を実現する上で改善の余地があった。

本発明は、簡単な構成で、被写体ごとのマルチアングル合成を可能にすることを目的とする。

上記目的を達成するために本発明は、複数の画素領域を有し、各画素領域からの画素信号を、画素領域ごとの撮影条件で互いに異なる経路を通じて読み出すことができるマルチストリーム出力機能を有する撮像素子と、複数の被写体の中から個々の被写体を識別する識別手段と、前記識別手段により識別された被写体を個々に特定するための識別情報を、複数のストリーム信号のそれぞれに対応付ける対応付け手段と、前記ストリーム信号のそれぞれを、前記対応付け手段により前記識別情報が対応付けられた状態で出力する出力手段と、を有することを特徴とする。

本発明によれば、簡単な構成で、被写体ごとのマルチアングル合成を可能にすることができる。

撮像装置のブロック図である。撮像素子の構造を表す概略斜視図、ブロック図である。画素配列の様態例を示す図である。チャンネルごとの撮像信号の読み出しの条件と出力構成とを示す図である。撮影処理のフローチャートである。マルチアングル撮像システムの撮影環境を示す図、チャンネル信号が出力される様態を模式的に示す図である。１つのカメラによる動画撮影の１シーンの撮影イメージを示す図、撮影システムの全体構成図である。チャンネルごとの撮像信号の読み出しの条件と出力構成、チャンネル信号のストリーミングを示すタイミンングチャート、１フレーム期間内の各行の信号出力を示す図である。撮像システムの撮影環境を示す図、チャンネル信号が出力される様態を模式的に示す図である。マルチアングル撮影動作のフローチャートである。ストリーム信号のフレームレートおよび出力レーン構成を例示する図である。指定情報送信処理のフローチャートである。

以下、図面を参照して本発明の実施の形態を説明する。

（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る撮像装置のブロック図である。この撮像装置は、動画機能付き電子スチルカメラやビデオカメラなどとして構成される。本撮像装置と同様の構成の撮像装置が、中央制御装置６１０（図７（ｂ））と通信可能に接続されることで、撮像システムが構成される。

撮像装置は、光学鏡筒１０１、撮像素子１０２、駆動回路１０３、信号処理部１０４、圧縮伸張部１０５、制御部１０６、発光部１０７、操作部１０８、画像表示部１０９、画像記録部１１０、外部ＩＦ（インターフェース）１１１を備える。光学鏡筒１０１は、被写体からの光を撮像素子１０２に集光するためのレンズと、光学機構部１１２を構成するＡＦ機構やズーム駆動機構、メカニカルシャッタ機構、絞り機構などから構成されている。これらのうち、光学機構部１１２は制御部１０６からの制御信号に基づいて駆動回路１０３により駆動される。

撮像素子１０２には、後述する画素２０１及びカラムＡＤＣ（ＡＤコンバータ）回路２１１（図２（ｂ））により構成されるＸＹ読み出し方式のＣＭＯＳ型イメージセンサなどが採用される。撮像素子１０２は、制御部１０６からの制御信号に応じて動作する駆動回路１０３により、露光や信号読み出しやリセットなどの撮像動作を実施し、対応する撮像信号を出力する。信号処理部１０４は、チャンネル選択部１１３、被写体検出部１１４及び速度検出部１１５を備える。チャンネル選択部１１３は、制御部１０６の制御の下で、撮像素子１０２からの画像信号に対して、後述するマルチストリームを構成するチャンネルごとの信号を選択する。被写体検出部１１４は、選択されたチャンネルごとのストリームからの撮像信号に対して被写体検出処理を行い、被写体を個々に識別する識別手段である。被写体検出部１１４は、識別した被写体を一意に特定するために被写体ごとに識別コード（識別情報）を付与する。検出手段としての速度検出部１１５は、識別された被写体ごとに被写体を追尾し、被写体の移動速度を検出する。この移動速度の検出方法としては、連続するフレーム間の撮像信号から被写体の移動量を検出する方法が挙げられるが、これに限定されない。

信号処理部１０４は、撮像信号に対してＡＷＢ（Auto White balance）処理や色補正処理、ＡＥ（Auto Exposure）処理などの信号処理を施す。信号処理部１０４は、画像信号から得られるコントラスト情報などからＡＦ（Auto focus）評価値を算出し、得られたＡＦ評価値を制御部１０６に出力する。制御部１０６は、得られたＡＦ評価値に基づいて光学機構部１１２の制御量を決定し、この制御量を駆動回路１０３に出力して光学機構部１１２を駆動回路１０３によって動作させる。

圧縮伸張部１０５は制御部１０６の制御の下で動作し、信号処理部１０４からの画像信号に対してＪＰＥＧ（Joint Photographic Coding Experts Group）方式などの所定の画像データフォーマットで圧縮符号化処理を行う。また、圧縮伸張部１０５は、制御部１０６から供給された静止画像の符号化データを伸張復号化処理する。なお、圧縮伸張部１０５は、ＭＰＥＧ（Moving Picture Experts Group）方式などにより動画像の圧縮符号化／伸張復号化処理を実行可能であってもよい。制御部１０６は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などから構成されるマイクロコントローラである。ＣＰＵが、ＲＯＭなどに記憶されたプログラムを実行することにより、本撮像装置の各部を統括的に制御する。

発光部１０７は、キセノン管を用いたストロボ装置やＬＥＤ発光装置などである。発光部１０７は、信号処理部１０４でのＡＥ処理によって被写体の露光値が低いと判断された場合に、被写体に対して光を照射する。操作部１０８は、例えばシャッタレリーズボタンなどの各種操作キーやレバー、ダイヤルなどから構成され、ユーザによる入力操作に応じた制御信号を制御部１０６に出力する。画像表示部１０９は、ＬＣＤ（Liquid Crystal Display）などの表示デバイスや、これに対するインターフェース回路などから成る。画像表示部１０９は、制御部１０６から供給された画像信号から表示デバイスに表示させるための画像信号を生成し、この信号を表示デバイスに供給して画像を表示させる。

画像記録部１１０は、例えば、可搬型の半導体メモリや、光ディスク、ＨＤＤ（Hard Disk Drive）、磁気テープなどとして実現される。画像記録部１１０は、圧縮伸張部１０５により符号化された画像データファイルを制御部１０６から受け取って記憶する。また、画像記録部１１０は、制御部１０６からの制御信号を基に指定されたデータを読み出し、制御部１０６に出力する。

外部ＩＦ１１１は、撮像装置の各種設定条件を外部から制御されるためのカメラ制御入力部を備える。出力手段としての外部ＩＦ１１１はまた、信号処理部１０４にてチャンネルごとに分離された撮像信号を制御部１０６を介して撮像装置の外部に出力するマルチストリーム出力部を有する。外部ＩＦ１１１は、外部ＩＦ１１１に物理的、電気的に適合するように設けられた制御機器、他の撮像装置などから、各種指示や設定を示す情報を受ける。上記制御機器や他の撮像装置には中央制御装置６１０（図７（ｂ）））も該当し得る。例えば、外部ＩＦ１１１から取得された情報に基づき、撮像装置内のマルチストリームを構成するチャンネルごとの、静止画撮影時の露光時間や動画のフレームレートといった撮影条件の設定や、撮像信号の出力レーン構成の変更等の制御が実施される。また、上記制御機器や他の撮像装置は、マルチストリーム出力部を通して、チャンネルごとに分離された撮像信号だけではなく、対象となる被写体の識別コードや撮影時の撮影条件や時刻情報といった各種付帯情報をチャンネルごとに得ることができる。

図２（ａ）、（ｂ）は、撮像素子１０２の構造を表す概略斜視図、ブロック図である。撮像素子１０２は、図２（ａ）に示すように、光電変換を行う複数の画素２０１が配された第１のチップ２０と、第１のチップ２０から出力された画素信号を処理する第２のチップ２１とが積層されて成る。第１のチップ２０は光入射側に配され、マトリクス上に複数配列された画素２０１を有する。第１のチップ２０に画素部の半導体が設けられ、第２のチップ２１に画素駆動回路やＰＳ回路のような機能回路などの半導体設けられ、従って、第１のチップと第２のチップとに機能の異なる半導体が分けられている。周辺回路と画素部の製造プロセスを分けることで周辺回路部の配線の細線化、回路の高密度化による高速化、小型化、高機能化が図られている。

撮像素子１０２のブロック構成について図２（ｂ）にて説明する。第１のチップ２０は、各画素２０１に水平方向に接続された転送信号線２０３、リセット信号線２０４、行選択信号線２０５と、画素２０１に垂直方向に接続された列信号線２０２－ａ、２０２－ｂ、２０２－ｃ、２０２－ｄとを有する。列信号線２０２－ａ、２０２－ｂ、２０２－ｃ、２０２－ｄは、読み出し行単位、列単位によって、接続先がａ、ｂ、ｃ、ｄの４つのチャンネルに区別されている。チャンネル分離に関しては図３にて後述する。

第２のチップ２１は、複数のカラムＡＤＣ回路２１１と、各行を走査する行走査回路２１２と、各列を走査する列走査回路２１３と、タイミング制御回路２１４と、水平信号線２１５－ａ、２１５－ｂ、２１５－ｃ、２１５－ｄとを有する。カラムＡＤＣ回路２１１は、各列信号線２０２－ａ、２０２－ｂ、２０２－ｃ、２０２－ｄに各々接続されている。タイミング制御回路２１４は、制御部１０６からの制御信号を受けて行走査回路２１２と列走査回路２１３とカラムＡＤＣ回路２１１のタイミングをそれぞれ制御する。水平信号線２１５－ａ、２１５－ｂ、２１５－ｃ、２１５－ｄは、列走査回路２１３から制御されるタイミングに従いカラムＡＤＣ回路２１１からの信号を転送する。

ＰＳ（パラレル－シリアル変換）回路２１６は、ａ、ｂ、ｃ、ｄの４つのチャンネルごとに設けられ、カラムＡＤＣ回路２１１によりＡＤ変換された後のデジタル信号をパラレル―シリアル変換する。水平信号線２１５－ａ、２１５－ｂ、２１５－ｃ、２１５－ｄに出力されるデジタル信号は、対応するＰＳ回路２１６に供給される。デジタル信号は、各チャンネルのＰＳ回路２１６を通して高速シリアル信号として複数レーン構成に分割されて、出力ＩＦ（インターフェース）ドライバ２１７に供給される。出力ＩＦドライバ２１７からは、所定のレーン数（例えば、８個）をリソースの上限として、撮像素子１０２から信号処理部１０４へと出力される。

次に撮像素子１０２の動作について詳細に説明する。各画素２０１には、フォトダイオードＰＤ、転送トランジスタＭ１、リセットトランジスタＭ２、増幅トランジスタＭ３、選択トランジスタＭ４が設けられている。なお、各トランジスタはｎチャネルＭＯＳＦＥＴ（ＭＯＳ Field-Effect Transistor）であるとする。また、転送トランジスタＭ１、リセットトランジスタＭ２及び選択トランジスタＭ４の各ゲートには、それぞれ転送信号線２０３、リセット信号線２０４、行選択信号線２０５が接続されている。これらの信号線は水平方向に延在して、同一行に含まれる画素を同時に駆動する。これにより、ライン順次動作型のローリングシャッタや、全行同時動作型のグローバルシャッタの動作を制御することが可能になっている。

フォトダイオードＰＤは、光電変換により生成された電荷を蓄積するものであり、そのＰ側が接地され、Ｎ側が転送トランジスタＭ１のソースに接続されている。転送トランジスタＭ１がＯＮすると、フォトダイオードＰＤの電荷がＦＤ（フローティングディフュージョン）に転送されるが、ＦＤには寄生容量があるので、この部分に電荷が蓄積される。増幅トランジスタＭ３のドレインは電源電圧Ｖｄｄとされ、増幅トランジスタＭ３のゲートはＦＤに接続されている。この増幅トランジスタＭ３は、ＦＤの電圧を電気信号に変換する。選択トランジスタＭ４は、信号を読み出す画素を行単位で選択するためのものであり、そのドレインは増幅トランジスタＭ３のソースに、そのソースは列信号線２０２に接続されている。選択トランジスタＭ４がＯＮしたときに、ＦＤの電圧に対応する電圧が列信号線２０２に出力される。リセットトランジスタＭ２のドレインは電源電圧Ｖｄｄとされ、そのソースはＦＤに接続されている。このリセットトランジスタＭ２はＦＤの電圧を電源電圧Ｖｄｄにリセットする。

さらに、選択トランジスタＭ４のソースには、列信号線２０２－ａ、２０２－ｂが１行おきに接続され、列信号線２０２－ｃ、２０２－ｄが１行おきに接続されている。そして、上記の構成により、ａ、ｂ、ｃ、ｄの４つのチャンネルごとに、異なるリセットタイミング、転送タイミングでシャッタ動作を行い、異なる読み出し経路を通して独立して信号を読み出すことが可能となっている。この複数の読み出し構成を指して、「マルチストリーム」と呼称している。すなわち、撮像素子１０２は、チャンネルごとの４つの画素領域を有し、各画素領域からの画素信号を、画素領域ごとの撮影条件で互いに異なる経路を通じて読み出すことができるマルチストリーム出力機能を有する。

図３（ａ）、（ｂ）を用いて、ａ、ｂ、ｃ、ｄの４つのチャンネルごとの画素信号の読み出し選択の方法について説明する。図３（ａ）、（ｂ）は、画素２０１の配列の様態例を示す図である。

説明の便宜上、図３（ａ）では、配列上の画素２０１のそれぞれには、ａ、ｂ、ｃ、ｄの４つのチャンネルを示すａ、ｂ、ｃ、ｄの表記に続けて、水平ｍ列番目、垂直ｎ行番目の番号を括弧付けで（ｍ、ｎ）として表記している。また、画素配列のサイズは、フルハイビジョン動画に相当する水平１９２０、垂直１０８０に対して、水平、垂直それぞれ２倍のサイズであるとした。そして、ａ、ｂ、ｃ、ｄの４つのチャンネルごとに分割された後、チャンネルごとに１フレームの画像がちょうどフルハイビジョン動画のサイズの画像として得られるように設定した。

図３（ａ）の例では、ａチャンネルには、奇数列、奇数行の画素２０１を割り当て、ｂチャンネルには、偶数列、奇数行の画素２０１を割り当てている。また、ｃチャンネルには、奇数列、遇数行の画素２０１を割り当て、ｄチャンネルには、偶数列、遇数行の画素２０１を割り当てている。

図３（ｂ）は、上記のａ、ｂ、ｃ、ｄチャンネルの割り当てに対して、各チャンネル単位で独立して１フレームの画像が読み出される様態を示す図である。なお、画素２０１の全画素配列のサイズは図３（ａ）の例に限らない。例えば、全画素配列のサイズが、フルハイビジョン動画に相当する水平１９２０、垂直１０８０に対して、水平、垂直それぞれ４倍のサイズとしてもよい。この場合には、ａ、ｂ、ｃ、ｄの４つのチャンネルの読み出し領域は、図３（ａ）のような同一の領域内に限定されない。行走査回路２１２および列走査回路２１３による走査領域を４つのチャンネルごとに独立に設定することで、チャンネルごとに読み出し領域を異ならせることが可能である。そして、チャンネルごとに対象とする被写体に追尾して移動させることも可能である。以降の説明では、理解を容易にするため、図３（ｂ）に示す全画素配列を例にとる。

図４（ａ）は、ライブビュー動作時および高速動画時におけるチャンネルごとの撮像信号の読み出しの条件と出力構成とを示す図である。ライブビュー用信号として、奇数列の画素２０１の画素信号は列信号線２０２－ａへと出力される。この読み出し走査が奇数行単位で順次行われ、カラムＡＤＣ回路２１１、水平信号線２１５－ａ、ＰＳ回路２１６、出力ＩＦドライバ２１７を経て、信号処理部１０４へと、ａチャンネルのストリーム信号（ストリーム出力）が読み出される。

ａチャンネルについては、図３（ｂ）に示されるように、１行あたり１９２０列数の画素信号が１０８０行数分、順次読み出されて、水平１９２０、垂直１０８０の画素サイズの１フレーム画像として、信号処理部１０４に伝送される。画素２０１の画素信号は、途中でカラムＡＤＣ回路２１１により１２ビットのデジタル信号に変換されるとともに、１フレームあたり１２０ｆｐｓの比較的高速なフレームレートで読み出される。ライブビュー動作時の撮像信号のフレームの高速化は、速い動きを伴う被写体を的確にとらえて被写体に画角を合わせるファインダ機能とＡＦ制御機能の性能向上に極めて有効である。

さらに、ａチャンネルのストリーム信号の総伝送容量は、ａチャンネルの総画素数が約２Ｍ画素（１９２０×１０８０）であることから、２Ｍ画素×１２ビット×１２０ｆｐｓ＝２．８８Ｇｂｐｓとなる。これを４レーンに分配することで、実用的に１レーンあたりの伝送容量が１Ｇｂｐｓを超えない７２０Ｍｂｐｓに抑えることができる。

撮像素子１０２および撮像装置の小型化を考慮して、ＰＳ回路２１６の出力リソースは最大４レーン、出力ＩＦドライバ２１７の出力リソースは最大８レーンに設定されている。ライブビュー動作時には、他のｂ、ｃ、ｄチャンネルに割り当てられたストリーム信号の動作が休止される。これは、総伝送容量を出力リソースの範囲内に抑え、且つ撮像装置の電力を低減するのに有効である。

撮像素子１０２の動作について、高速動画設定の場合もライブビュー動作時と同様である。これにより、２Ｍ画素（１９２０×１０８０）サイズで、１２０ｆｐｓの高速動画を撮影、記録することができる。

図４（ｂ）は、静止画撮影時および高精細動画時におけるチャンネルごとの撮像信号の読み出しの条件と出力構成とを示す図である。静止画用信号は、ライブビュー信号の場合とは異なり、ａ、ｂ、ｃ、ｄチャンネルの全てのストリーム信号が並行して読み出される。すなわち、奇数列の画素２０１の画素信号が列信号線２０２－ａへと出力される。この読み出し走査が奇数行単位で順次行われ、カラムＡＤＣ回路２１１、水平信号線２１５－ａ、ＰＳ回路２１６、出力ＩＦドライバ２１７を経て、信号処理部１０４へと、ａチャンネルのストリーム信号が読み出される。これと同時並行して、偶数列の画素２０１の画素信号が列信号線２０２－ｂへと出力される。この読み出し走査が奇数行単位で順次行われ、カラムＡＤＣ回路２１１、水平信号線２１５－ｂ、ＰＳ回路２１６、出力ＩＦドライバ２１７を経て、信号処理部１０４へと、ｂチャンネルのストリーム信号が読み出される。同様にして、奇数列の画素２０１が列信号線２０２－ｃへと出力される。この読み出し走査が偶数行単位で順次行われ、カラムＡＤＣ回路２１１、水平信号線２１５－ｃ、ＰＳ回路２１６、出力ＩＦドライバ２１７を経て、信号処理部１０４へと、ｃチャンネルのストリーム信号が読み出される。同様にして、偶数列の画素２０１が列信号線２０２－ｄへと出力される。この読み出し走査が偶数行単位で順次行われ、カラムＡＤＣ回路２１１、水平信号線２１５－ｄ、ＰＳ回路２１６、出力ＩＦドライバ２１７を経て、信号処理部１０４へと、ｄチャンネルのストリーム信号が読み出される。

各チャンネルにおいて、図３（ｂ）に示されるように、１行あたり１９２０列数の画素信号が、１０８０行数分、順次読み出されて、水平１９２０、垂直１０８０の画素サイズの１フレーム画像として、信号処理部１０４に伝送される。画素２０１の画素信号は、途中で、カラムＡＤＣ回路２１１により１２ビットのデジタル信号に変換されるとともに、１フレームあたり６０ｆｐｓの標準的なフレームレートで読み出される。静止画時の撮像信号用に、同時並行にａ、ｂ、ｃ、ｄチャンネルの全てのストリーム信号を読み出すことで、全てのストリーム信号を用いて１フレーム画像を構成することができるので、静止画の高精細化に極めて有効である。チャンネルごとのストリーム信号の総伝送容量は、各チャンネルの総画素数が約２Ｍ画素（１９２０×１０８０）であることから、２Ｍ画素×１２ビット×６０ｆｐｓ＝１．４４Ｇｂｐｓとなる。これを２レーンに分配することで、実用的に１レーンあたりの伝送容量が１Ｇｂｐｓを超えない７２０Ｍｂｐｓに抑えることができる。

撮像素子１０２の動作について、高精細動画設定の場合も静止画撮像時と同様である。これにより、８Ｍ画素（３８４０×４３２０）サイズで、６０ｆｐｓの高精細動画を撮影、記録することができる。

図５は、撮影処理のフローチャートである。この処理は、制御部１０６が備えるＲＯＭ等の記憶部に格納されたプログラムをＣＰＵがＲＡＭに読み出して実行することにより実現される。まず、ステップＳ１０１～１０６で、通常撮影時の基本的な動作について説明する。

撮像装置の電源（電池等）が投入されると、ステップＳ１０１で、制御部１０６は、操作部１０８の電源スイッチがオフにされたか否かを判別する。そして制御部１０６は、電源スイッチがオフにされると図５の撮影処理を終了させる。電源スイッチがオフでない場合は、ステップＳ１０２で、制御部１０６は、ライブビュー動作を開始する。ライブビュー動作が開始されると、撮像素子１０２から出力された画像信号が順次、ＣＤＳ処理、ＡＧＣ処理を施された後、さらにカラムＡＤＣ回路２１１（図２）においてデジタル画像信号に変換される。

信号処理部１０４は、撮像素子１０２から得られたデジタル画像信号に画質補正処理を施し、それをライブビュー画像の信号として、制御部１０６を通じて画像表示部１０９に供給する。これにより、ライブビュー画像が表示され、ユーザは表示画像を見て画角合わせを行うことが可能となる。ライブビュー画像の信号として使用される撮像信号には、後述するマルチストリームにおける１つのチャンネル（ストリーム）が割り付けられる。また、ライブビュー画像の信号におけるコントラスト情報などからＡＦ評価値が算出され、得られたＡＦ評価値をもとにしてＡＦ制御にも利用される。

ライブビュー動作状態で、ステップＳ１０３で、制御部１０６は、操作部１０８の操作ボタンが押下されたか否かを判別する。そして、操作部１０８の操作ボタンが押下されていない場合は、制御部１０６は、処理をステップＳ１０１に戻す。操作部１０８の操作ボタンが押下された場合は、制御部１０６は、その操作ボタンが、静止画撮影を指示するレリーズボタン、動画開始ボタン、マルチアングル撮影ボタンのいずれであるかによって処理を分岐させる。

まず、レリーズボタンが押下された場合は、制御部１０６は、ステップＳ１０５に進んで静止画撮影動作に移行する。制御部１０６は、撮像素子１０２からの１フレーム分の撮像信号を、信号処理部１０４に取り込む。信号処理部１０４は、取り込んだ１フレーム分の画像信号に画質補正処理を施し、処理後の画像信号を圧縮伸張部１０５に供給する。圧縮伸張部１０５は、入力された画像信号を圧縮符号化し、生成した符号化データを画像記録部１１０に供給する。これにより、撮像された静止画像のデータファイルが画像記録部１１０に記録される。撮像された静止画像の信号として使用される撮像信号には、マルチストリームにおける全てのチャンネルが割り付けられる。

そして、画像記録部１１０に記録された静止画像のデータファイルを再生する場合には、制御部１０６は、操作部１０８からの操作入力に応じて、選択された画像データファイルを画像記録部１１０から読み込む。そして制御部１０６は、圧縮伸張部１０５に供給して伸張復号化処理を実行させる。復号化された画像信号は制御部１０６を介して画像表示部１０９に供給され、これにより静止画像が再生表示される。ステップＳ１０５にて一連の静止画撮影動作が終了すると、制御部１０６は、処理をステップＳ１０１に戻す。

ステップＳ１０４で、動画開始ボタンが押下された場合は、制御部１０６は、ステップＳ１０６に進んで動画撮影動作に移行する。制御部１０６は、撮像素子１０２からの１フレーム分の撮像信号を信号処理部１０４に取り込む。その後、制御部１０６は、操作部１０８の動画終了ボタンが押下されるまで、フレーム単位の撮像信号の取り込み動作を継続する。信号処理部１０４で順次処理された画像信号に圧縮伸張部１０５が圧縮符号化処理を施し、生成された動画像の符号化データが順次、画像記録部１１０に転送されて記録される。撮像された動画像の信号として使用される撮像信号には、設定された動画の仕様に応じて、高速動画設定の場合にはライブビュー画像の場合と同様に１つのチャンネルが割り付けられる。また、高精細動画設定の場合には、静止画像の場合と同様にマルチストリームの全チャンネルが割り付けられる。

そして、画像記録部１１０に記録された動画像のデータファイルを再生する場合には、制御部１０６は、操作部１０８からの操作入力に応じて、選択された画像データファイルを画像記録部１１０から読み込む。そして制御部１０６は、その画像データファイルを圧縮伸張部１０５に供給して伸張復号化処理を実行させる。復号化された画像信号は制御部１０６を介して画像表示部１０９に供給され、これにより動画像が再生表示される。ステップＳ１０６にて一連の動画撮影動作が終了すると、制御部１０６は、処理をステップＳ１０１に戻す。

ステップＳ１０４で、マルチアングル撮影ボタンが押下されると、制御部１０６は、ステップＳ１０７に進んでマルチアングル撮影動作に移行する。

マルチアングル撮影動作の詳細について図６、図７で説明する。図６（ａ）は、マルチアングル撮像システムの撮影環境を示す図である。この撮影システムでは、マルチストリーム機能を備えた複数の撮像装置を、複数の被写体の周囲の異なる場所に配置して、複数の被写体を異なるアングルから撮影する。この撮影システムを構成する撮像装置は、カメラ６０１、カメラ６０２、カメラ６０３の３台とする。カメラ６０１、カメラ６０２、カメラ６０３の内部構成は、これまでに説明した撮像装置の構成と同様のものである。各カメラは、互いに動きの異なる４人の人物を被写体（被写体１～４）として捉えている。この例では、疾走する人物（高速移動体）を被写体１、ジョギングする人物（中速移動体）を被写体２、ウォーキングする人物（低速移動体）を被写体３及び被写体４と想定する。

図６（ｂ）は、各カメラからマルチストリーム出力として、４つのチャンネル信号Ａ、Ｂ、Ｃ、Ｄ（動画ストリーミング）が出力される様態を模式的に示す図である。例えば、ａチャンネルからは、被写体１を主たる撮影対象とするフレームレート１２０ｆｐｓの動画データ（チャンネル信号Ａ）が出力されている。ｂチャンネルからは、被写体２を主たる撮影対象とするフレームレート６０ｆｐｓの動画データ（チャンネル信号Ｂ）が出力されている。ｃチャンネルからは、被写体３を主たる撮影対象とするフレームレート３０ｆｐｓの動画データ（チャンネル信号Ｃ）が出力されている。ｄチャンネルからは、被写体４を主たる撮影対象とするフレームレート３０ｆｐｓの動画データ（チャンネル信号Ｄ）が出力されている。

図７（ａ）は、１つのカメラ（例えば、カメラ６０２）による動画撮影の１シーン（１フレーム）の撮影イメージを示す図である。図７（ａ）において離散的にメッシュで塗られたセルは、特定チャンネルの画素を模式的に表現したものである。実際には、各カメラは特定チャンネルの画素信号のみで各被写体を精細に描写して撮影できるほどに十分な解像度と画素数を持った撮像素子によって構成されている。

図７（ｂ）は、マルチアングル撮影時に、カメラ６０１、６０２、６０３と、これらと相互接続された中央制御装置６１０とで構成される撮影システムの全体構成図である。中央制御装置６１０は、ＣＰＵ６１１、ＲＯＭ６１２、ＲＡＭ６１３、外部ＩＦ６１４を備える。ＲＯＭ６１２には、ＣＰＵ６１１により実行される制御プログラムが格納される。外部ＩＦ６１４は、各カメラ６０１、６０２、６０３の外部ＩＦ１１１を通信可能に接続する。

中央制御装置６１０とカメラ６０１とは、外部ＩＦ１１１及び外部ＩＦ６１４を介して相互接続されている。図１で説明したように、中央制御装置６１０からはカメラ制御信号６０４によりカメラ６０１の各種設定を行える。例えば、中央制御装置６１０は、カメラ６０１内のマルチストリームを構成するチャンネルごとの静止画撮影時の露光時間や動画のフレームレートといった撮影条件を設定したり、撮像信号の出力レーン構成を変更したりといった制御が可能である。また、中央制御装置６１０は、マルチストリームを構成するチャンネルごとにフレーム同期信号を供給することで、各カメラ間でのチャンネルごとのフレーム同期をとり、フレーム単位で露光タイミングを合わせることが可能である。フレーム間で同期をとることで合成の精度を高めることができる。

また、中央制御装置６１０は、カメラ出力信号６０５により、チャンネルごとに分離された撮像信号だけではなく、対象となる被写体の識別コードや撮影時の撮影条件や時刻情報といった各種付帯情報をチャンネルごとに得ることができる。カメラ６０２、６０３と中央制御装置６１０との接続関係はカメラ６０１と同様である。

ここで、「付帯情報」は、各チャンネル信号において１水平行ごとに付随する情報である。付帯情報は撮影条件（撮影パラメータ）及び被写体の識別コードを含む。撮影条件には、読み出し条件（露光時刻、フレームレート）、被写体の移動速度、露光時間等が含まれる。

このようなシステム構成において、図５のステップＳ１０７で実行されるマルチアングル撮影動作について説明する。撮像装置としてカメラ６０１での動作を例にとって説明するが、他のカメラ６０２、６０３でも同様の動作が並行して実行される。

まず、中央制御装置６１０からカメラ６０１へ、マルチストリーム信号を構成するチャンネルごとのフレームレートと出力レーン構成とを指定するための指定情報がカメラ制御信号６０４に含まれて送られる。この指定情報を受けて、制御部１０６は、チャンネルごとのフレームレートと出力レーン構成とを設定する。なお、チャンネルごとのフレームレートと出力レーン構成は、指定情報によらずに固定値に設定されていてもよい。

制御部１０６は、撮像素子１０２からの１フレーム分の撮像信号を信号処理部１０４（図１）に取り込む。チャンネル選択部１１３はチャンネルごとの撮像信号を選択する。被写体検出部１１４は、選択された撮像信号ごと（チャンネルごと）に、対象となる主被写体を識別する。

ここで、被写体検出部１１４による被写体の識別の方法の一例としては、例えば、被写体がスポーツ選手などの人物であれば、装着する背番号や顔検出結果に基づく人物判定方法などが挙げられる。他のカメラとの間で、被写体を同定できる識別方法であればどのようなものであっても良い。被写体検出部１１４は、識別した被写体に識別コードを付与する。対応付け手段としての制御部１０６は、選択されたチャンネルに識別コードを対応付ける。特にスポーツ選手のように登場人物が事前に判明している場合は、識別コードを選手ごとに予め定めておいてもよい。さらに、速度検出部１１５は、識別された被写体を被写体ごとに追尾し、追尾した被写体の移動速度を検出する。識別コードと移動速度とは、チャンネル分離された各撮像信号と一緒に制御部１０６に伝送される。

なお、このとき対象となる主被写体は、最初からチャンネルごとに対応づけられているわけではない。本実施の形態では、各チャンネルのストリーム信号のフレームレートと出力レーン構成とが予め所定の条件で固定的に決められている。そこで、制御部１０６は、マルチアングル撮影動作に移行した最初の数フレームの撮像信号の読み出しの間に、チャンネルごとの主被写体を決定する。そのために制御部１０６は、被写体の識別に際し、複数の被写体の中から各チャンネル信号のフレームレート条件に適した被写体を主被写体として選択する動作を併せて実施する。

すなわち、マルチアングル撮影時において、制御部１０６は、各被写体の移動速度に基づき、対応するチャンネルを決定する。フレームレートがａチャンネル＞ｂチャンネル＞ｃチャンネル＝ｄチャンネルの順であるとすると、制御部１０６は、各被写体を、移動速度の速い順に、ａ、ｂ、ｃ、ｄチャンネルに対応付ける。なお、マルチアングル撮影時において、被写体１～４の速さが予め想定される場合は、ａ、ｂ、ｃ、ｄチャンネルのそれぞれに、予め定めた被写体を対応付けるようにしてもよい。

制御部１０６に伝送されたチャンネルごとの撮像信号には、制御部１０６内の不図示のＲＴＣ（リアルタイムクロック）回路により、１水平行の撮影データごとに、露光時刻が対応付けられると共に、識別コードと移動速度などの被写体情報も付加される。そしてチャンネルごとの撮像信号は、各種付帯情報を伴うストリーム信号として、外部ＩＦ１１１を介してカメラ６０１から中央制御装置６１０に出力される。また、チャンネルごとに分離された撮像信号は、信号処理部１０４で順次処理された画像信号に圧縮伸張部１０５で圧縮符号化処理を施され、生成された動画像の符号化データが順次、画像記録部１１０に転送されて記録される。

制御部１０６は、操作部１０８のマルチアングル撮影の終了ボタンが押下されるまで、フレーム単位の撮像信号の取り込み動作を継続し、一連のマルチアングル撮影動作が終了すると、処理をステップＳ１０１に戻す。撮像されたマルチアングル動画像として使用される撮像信号には、静止画像の場合と同様にマルチストリームの全チャンネルが割り付けられる。

図８（ａ）は、マルチアングル撮影時におけるチャンネルごとの撮像信号の読み出しの条件と出力構成とを例示する図である。図８（ｂ）は、マルチアングル撮影時のチャンネル信号のストリーミングを示すタイミンングチャートである。図８（ｃ）は、１フレーム期間内の各行（１～１０８０行）の信号の出力の様態を詳細に示す図である。

ａチャンネルのストリーム信号は、図３（ｂ）でも説明したように、被写体１（高速移動体）を主たる撮影対象として、フレームレート１２０ｆｐｓの動画データが割り当てられて出力される。ａチャンネルのストリーム信号の総伝送容量は、ａチャンネルの総画素数が約２Ｍ画素（１９２０×１０８０）であることから、２Ｍ画素×１２ビット×１２０ｆｐｓ＝２．８８Ｇｂｐｓとなる。これを４レーンに分配することで、実用的に１レーンあたりの伝送容量が１Ｇｂｐｓを超えない７２０Ｍｂｐｓに抑えることができる。

ｂチャンネルのストリーム信号は、被写体２（中速移動体）を主たる撮影対象として、フレームレート６０ｆｐｓの動画データが割り当てられて出力される。ｂチャンネルのストリーム信号の総伝送容量は、ｂチャンネルの総画素数が約２Ｍ画素（１９２０×１０８０）であることから、２Ｍ画素×１２ビット×６０ｆｐｓ＝１．４４Ｇｂｐｓとなる。これを２レーンに分配することで、実用的に１レーンあたりの伝送容量が１Ｇｂｐｓを超えない７２０Ｍｂｐｓに抑えることができる。

ｃチャンネルおよびｄチャンネルのストリーム信号は、被写体３および被写体４（低速移動体）を主たる撮影対象として、フレームレート３０ｆｐｓの動画データが割り当てられて出力される。ｃチャンネルおよびｄチャンネルのストリーム信号の総伝送容量は、これらの総画素数が約２Ｍ画素（１９２０×１０８０）であることから、２Ｍ画素×１２ビット×３０ｆｐｓ＝７２０Ｍｂｐｓとなる。これを１レーンに分配することで、実用的に１レーンあたりの伝送容量が１Ｇｂｐｓを超えない７２０Ｍｂｐｓに抑えることができる。

ＰＳ回路２１６の出力リソースは最大４レーン、出力ＩＦドライバ２１７の出力リソースは最大８レーンの設定とされており、これらの出力リソースを超えない範囲内で、チャンネルごとの出力レーン構成が固定的に設定される。これらのレーン数は例示した値に限定されない。

ａチャンネルのストリーム信号は、対応する識別コードや撮影パラメータ等の、ストリーム信号に関連する付帯情報と一緒となって、カメラ６０１のａチャンネルから出力される。同様に、ｂ、ｃ、ｄチャンネルのストリーム信号は、対応する識別コードや撮影パラメータ等の、ストリーム信号に関連する付帯情報と一緒となって、カメラ６０１のｂ、ｃ、ｄチャンネルからそれぞれ出力される。

図８（ｂ）では、横軸に時刻ｔをとり、ａ、ｂ、ｃ、ｄチャンネル信号の１フレーム期間ごとのタイミングと１フレーム期間内の各行信号（１～１０８０行）の出力の様態を模式的に表現している。各行ごとのストリーム信号の内訳は、１水平行分の撮像データのほか、当該ストリーム信号に対応する識別コードと、撮影の露光時刻（撮影時刻）やフレームレートなどの読み出し条件や被写体の移動速度を含む撮影パラメータを示すコードを含む。撮影時刻は、ストリーム信号に対して定期的に対応付けられればよく、１水平行ごとに対応付けられることは必須でない。

マルチアングル撮影時のカメラ６０１の動作について説明したが、カメラ６０２、６０３の動作も、基本動作はカメラ６０１と同様であり、各ストリーム信号のフレームレートと出力レーン構成もカメラ間で共通の設定である。

中央制御装置６１０は、３台のカメラ６０１、６０２、６０３を上記のように動作させ、これらのカメラから各ストリーム信号を受け取り、同じ識別コードに対応付けられたストリーム信号同士を組み合わせて合成できる。例えば、中央制御装置６１０は、識別コードが一致し、フレームレートなどの読み出し条件が共通のストリーム信号を合成する。その際、中央制御装置６１０は、撮影の露光時刻（撮影時刻）の情報を参照することで複数のストリーム信号の同期をとり、同一被写体に対するマルチアングル合成を容易に実現できる。しかも、システムを構成する個々のカメラ６０１、６０２、６０３も小規模で高速かつ低消費電力なもので実現できる。

本実施の形態によれば、制御部１０６は、識別された被写体を個々に特定する識別コードを各ストリーム信号のそれぞれに対応付け、ストリーム信号のそれぞれを、識別コードが対応付けられた状態で出力する。これにより、中央制御装置６１０においては、識別コードをたよりに被写体ごとのマルチアングル合成が可能となる。よって、簡単な構成で、被写体ごとのマルチアングル合成を可能にすることができる。

また、制御部１０６は、ストリーム信号ごとに撮影時刻を定期的（１水平行ごと）に対応付け、ストリーム信号のそれぞれを、撮影時刻が対応付けられた状態で出力する。これにより、中央制御装置６１０においては、被写体ごとのマルチアングル合成の際に、撮影時刻をたよりに信号の同期をとることができる。

また、ストリーム信号のそれぞれに設定されるフレームレートは異なる固定値であって、そのうち少なくとも一部は互いに異なる値である。また、ストリーム信号のそれぞれに設定される出力レーンの数も異なる固定値であって、そのうち少なくとも一部は互いに異なる値である。これらにより、全てのストリーム信号を、不必要に高速転送や大容量転送に対応させる必要がない。従って、３Ｄ合成やマルチアングル合成を行うための各カメラの消費電力やコストの上昇を抑え、大掛かりなものとなることが回避される。しかも、最も高いフレームレートが設定されたストリーム信号（ａチャンネル）に設定される出力レーンの数は、全ストリーム信号のうち最も大きいので、大きな伝送容量に対応することができる。

また、制御部１０６は、移動速度の最も速い被写体を特定する識別コードを、最も高いフレームレートが設定されたストリーム信号に対応付けるので、被写体の動きに追従して撮りこぼしの少ない撮影が可能となる。

（第２の実施の形態）
第１の実施の形態では、マルチアングル撮影時の各ストリーム信号のフレームレートおよび出力レーン構成を固定とした。しかし、撮影環境を取り巻く被写体の状況は刻々変化し、被写体の数や移動速度が想定を逸脱する場合に、固定条件だけでは適切に対処しきれない場合も発生し得る。そこで本発明の第２の実施の形態では、マルチアングル撮影時の各ストリーム信号のフレームレートおよび出力レーン構成を、固定条件ではなく、被写体の数や移動速度といった被写体の性質に合わせて可変させる。そうすることで、被写体の状況変化により柔軟に対応してマルチアングル撮影を実現できるようにする。図９、図１０を用いて本実施の形態を説明する。

図９（ａ）は、マルチアングル撮像システムの撮影環境を示す図である。図９（ａ）では、図６（ａ）で示したのと同じ撮影環境と同じカメラ配置において、時間が経過して被写体の状況が変化した様子を示している。図６（ａ）では、被写体１は各カメラの撮影視野内を高速に移動していたが、図９（ａ）では各カメラの視野外に出てしまい捉えられなくなっている。また、被写体２は視野内にあるものの、移動速度を中速から高速に増して移動している。同様に被写体３と被写体４も視野内にあるものの、ともに移動速度を低速から中速に増して移動している。

図９（ｂ）は、図９（ａ）に示す状況に対応し、各カメラからマルチストリーム出力として、４つのチャンネル信号Ａ、Ｂ、Ｃ、Ｄ（動画ストリーミング）が出力される様態を模式的に示す図である。各被写体の状況の変化に合わせて、カメラ６０１、カメラ６０２、カメラ６０３のそれぞれから出力されるマルチストリーム信号は、図６（ｂ）に示すものから図９（ｂ）に示すものへと変化する。

図９（ｃ）は、マルチアングル撮影時におけるチャンネルごとの撮像信号の読み出しの条件と出力構成とを例示する図である。各被写体が図６（ａ）の状態から図９（ａ）の状態へと遷移することに対応して、条件・出力構成が図８（ａ）に示す状態から図９（ｃ）に示す状態へと更新される。

図９（ｃ）に示すように、被写体１がカメラ６０１の視野外へ出たことで、一旦識別された被写体１が識別不能となった。従って、ａチャンネルのストリーム信号は、休止状態とされる。つまり、レーン構成の割り付けは無し（０個）とされる。また、被写体２が高速移動体となったことで、被写体２に対応するｂチャンネルのストリーム信号には、新たにフレームレート１２０ｆｐｓの動画データが割り当てられる。ｂチャンネルのストリーム信号の総伝送容量は、ｂチャンネルの総画素数が約２Ｍ画素（１９２０×１０８０）であることから、２Ｍ画素×１２ビット×１２０ｆｐｓ＝２．８８Ｇｂｐｓとなる。これを４レーンに分配することで、実用的に１レーンあたりの伝送容量が１Ｇｂｐｓを超えない７２０Ｍｂｐｓに抑えることができる。

また、被写体３、４が中速移動体となったことで、被写体３、４にそれぞれ対応するｃ、ｄチャンネルのストリーム信号には、新たにフレームレート６０ｆｐｓの動画データが割り当てられる。ｃ、ｄチャンネルのストリーム信号の総伝送容量は、ｃ、ｄチャンネルの総画素数が約２Ｍ画素（１９２０×１０８０）であることから、２Ｍ画素×１２ビット×６０ｆｐｓ＝１．４４Ｇｂｐｓとなる。これらをそれぞれ２レーンに分配することで、実用的に１レーンあたりの伝送容量が１Ｇｂｐｓを超えない７２０Ｍｂｐｓに抑えることができる。

このように、各チャンネル信号のフレームレートが決まると、それに対応して一意にレーン構成も決まる。具体的には、制御手段としての制御部１０６は、一部のストリーム信号の出力を休止する場合は、全ストリーム信号分の出力レーンの合計が予め定めた制限値（ここでは８個）に収まるように、他のストリーム信号に設定される出力レーンの数を変更する。その際、制御部１０６は、１レーンあたりの伝送容量が、シリアル転送容量の上限（ここでは１Ｇｂｐｓ）を超えないように、出力レーンの数を設定する。ＰＳ回路２１６の出力リソースは有限であり、最大４レーン、出力ＩＦドライバ２１７の出力リソースは最大８レーンの設定なので、休止チャンネルを設けて、リソースの範囲内でその分を他のチャンネルのストリーム信号に割り付けることができる。これにより、リソースが有効活用される。

フレームレートおよび出力レーン構成を可変とした場合のカメラ６０１の動作の詳細について図１０で説明する。図１０は、マルチアングル撮影動作のフローチャートである。この処理は、図５のステップＳ１０７で実行される。なお、ステップＳ１０７以外の処理は第１の実施の形態において図５で説明したのと同じである。

まず、ステップＳ２０１にて、制御部１０６は、マルチストリーム信号を構成するチャンネルごとのフレームレートと出力レーン構成とを設定する。中央制御装置６１０から外部ＩＦ１１１を介して、マルチストリーム信号を構成するチャンネルごとのフレームレートと出力レーン構成とを指定するための指定情報（カメラ制御信号６０４に含まれる）が送られる。この指定情報に従って、制御部１０６は、チャンネルごとのフレームレートと出力レーン構成とを示す値を、制御部１０６内部のチャンネルプリ設定領域に設定する。従って、制御部１０６は、１回目のステップＳ２０１の処理においては、初期値を示す指定情報に基づいてチャンネルごとのフレームレートと出力レーン構成とを設定する。ここでは、初期値は第１の実施の形態と同様に図８（ａ）に示した設定内容であるとする。なお、チャンネルごとのフレームレートと出力レーン構成は、指定情報によらずに初期値に設定されていてもよい。２回目以降のステップＳ２０１の処理においては、その時点のチャンネルプリ設定領域の内容に基づく値が設定される。従って、チャンネルプリ設定領域が更新されれば、それに応じてフレームレート及び出力レーン構成が更新され得る。

ステップＳ２０２にて、制御部１０６は、画素２０１に所定の露光時間で電荷を蓄積させ、撮像素子１０２から撮像信号を読み出して信号処理部１０４に取り込む。この際に、ａ、ｂ、ｃ、ｄの各チャンネル信号は、ステップＳ２０１で設定されたチャンネルごとのフレームレートと出力レーン構成とに基づいて、マルチストリーム信号として同時並行して読み出される。

ステップＳ２０２～Ｓ２０９の処理は、各チャンネルに対し、タイミングは異なるものの並行して実行される。ステップＳ２０２～Ｓ２０９は各チャンネルについて共通の動作である。まず、ａチャンネルでの処理（Ｓ２０２ａ～Ｓ２０９ａ）について詳細に説明する。

ステップＳ２０３ａでは、制御部１０６は、ａチャンネルの撮像信号を分離する。ステップＳ２０４ａにて、制御部１０６による制御に従って、信号処理部１０４内のチャンネル選択部１１３で選択されたａチャンネルの撮像信号に対して、被写体検出部１１４は、対象となる主被写体を識別する。ステップＳ２０５ａでは、制御部１０６は、ａチャンネルの主被写体である被写体１がカメラの視野外に出たか否かを判別する。例えば、被写体検出部１１４が、一旦識別された被写体を識別できなくなった場合に、チャンネル分離されたａチャンネルの撮像信号と一緒に、ＮＧ（識別不能）を示す識別結果を制御部１０６に返す。これにより制御部１０６は、主被写体が視野外に出たと判別する。すると、ステップＳ２０８ａで、制御部１０６は、その内部のチャンネルプリ設定領域に、ａチャンネルの休止を示す動作条件を設定する。チャンネルプリ設定領域に設定された動作条件は、この時点では即時実行されない。図９（ａ）の例では、ステップＳ２０５ａからステップＳ２０８ａに進む。

その後、ステップＳ２０９ａにて、制御部１０６は、他のｂ、ｃ、ｄチャンネル信号の全てのフレーム信号の読み出しが完了しているか否かを判別する。そして、読み出し完了していないフレーム信号があれば、制御部１０６は、処理をステップＳ２０２ａに戻す。一方、全てのフレーム信号の読み出しが完了している場合は、制御部１０６は、処理をステップＳ２１０に進める。例えば、図８（ａ）に示す設定内容の場合、１フレーム期間が最も長いのは、フレームレートの最も低いｃ、ｄチャンネル信号であり、それらの１フレーム期間は１／３０秒である。この時点でｃ、ｄチャンネル信号の１フレーム信号の読み出しが完了していなければ、制御部１０６は、ステップＳ２０２ａに処理を戻して、再び、１フレーム期間が１／１２０秒であるａチャンネル信号の露光・読み出しを繰り返す。この動作は、ｃ、ｄチャンネル信号の１フレーム信号の読み出しが完了するまで繰り返される。

一方、ステップＳ２０５ａでの判別の結果、ａチャンネルの主被写体（被写体１）がカメラの視野外に出ていない場合は、ステップＳ２０６ａで、制御部１０６は、速度検出部１１５に、当該主被写体の移動速度を検出させる。識別コードと移動速度とは、ａチャンネルの撮像信号と一緒に制御部１０６に伝送される。そして、ステップＳ２０７ａにて、制御部１０６は、主被写体の移動速度に対して適切に追尾するためにフレームレートの変更が必要であるか否かを判別する。例えば、制御部１０６は、主被写体の移動速度の単位時間当たりの変化量が所定の閾値を超えた場合に、フレームレートの変更が必要と判別する。そして、フレームレートの変更が必要でない場合は、制御部１０６は、処理をステップＳ２０９ａに進める。一方、フレームレートの変更が必要である場合は、制御部１０６は、処理をステップＳ２０８ａに進める。ステップＳ２０７ａからステップＳ２０８ａに移行した場合は、制御部１０６は、制御部１０６内部のチャンネルプリ設定領域に、移動速度に応じて、追尾可能なレート条件を設定する。チャンネルプリ設定領域で設定された動作条件はこの時点では即時実行されない。

次に、チャンネル選択部１１３で選択されたｂチャンネルに対応する処理について説明する。ｂチャンネルに対応するステップＳ２０２ｂ、Ｓ２０２ｂは、ａチャンネルに対応するステップＳ２０２ａ、Ｓ２０３ｂと同様である。ステップＳ２０４ｂにて、制御部１０６により制御に従って、信号処理部１０４内のチャンネル選択部１１３で選択されたｂチャンネルの撮像信号に対して、被写体検出部１１４は、対象となる主被写体を識別する。ステップＳ２０５ｂでは、制御部１０６は、ｂチャンネルの主被写体（被写体２）がカメラの視野外に出たか否かを判別する。

被写体２が視野外に出た場合は、制御部１０６は、処理をステップＳ２０８ｂに進める。図９（ａ）の例では、ｂチャンネルの主被写体である被写体２は視野内に留まるので、処理はステップＳ２０６ｂに進む。ステップＳ２０６ｂでは、制御部１０６は、速度検出部１１５に、当該主被写体の移動速度を検出させる。識別コードと移動速度とは、チャンネル選択されたｂチャンネルの撮像信号と一緒に制御部１０６に伝送される。そして、ステップＳ２０７ｂにて、制御部１０６は、主被写体の移動速度に対して適切に追尾するためにフレームレートの変更が必要であるか否かを判別する。

図９（ａ）の例では、被写体２の移動速度が中速から高速に増しているため、制御部１０６は、その移動量から、従前に設定された６０ｆｐｓでは追尾しきれないと判断し、フレームレートの変更が必要と判別する。そして、ステップＳ２０８ｂにて、制御部１０６は、内部のチャンネルプリ設定領域に、移動速度に応じて、追尾可能なｂチャンネルのレート条件として１２０ｆｐｓを設定する。チャンネルプリ設定領域で設定された動作条件はこの時点では即時実行されない。

ステップＳ２０９ｂは、ステップＳ２０９ａと同様である。例えば、図８（ａ）に示す設定内容の場合、ｂチャンネル信号より１フレーム期間が長いのは、フレームレートの最も低いｃ、ｄチャンネル信号であり、それらの１フレーム期間は１／３０秒である。この時点でｃ、ｄチャンネル信号の１フレーム信号の読み出しが完了していなければ、制御部１０６は、ステップＳ２０２ｂに処理を戻して、再び、次のフレーム信号の露光・読み出しを繰り返す。この動作は、ｃ、ｄチャンネル信号の１フレーム信号の読み出しが完了するまで繰り返される。

ｃ、ｄチャンネルに対応する処理については図示しないが、ａ、ｂチャンネルに対応する処理と同様である。なお、被写体３、４の移動速度が低速から中速に増しているため、ステップＳ２０８に相当する処理では、チャンネルプリ設定領域に設定されるｃ、ｄチャンネルのレート条件は６０ｆｐｓとされる。

全てのチャンネル信号が、最低限１フレームの読み出しを完了したところで、ステップＳ２１０に処理が移行する。そして、このフレーム信号の読み出しの期間に、ａ、ｂ、ｃ、ｄチャンネルごとに分離された撮像信号は、各種付帯情報を伴うストリーム信号Ａ、Ｂ、Ｃ、Ｄとして、外部ＩＦ１１１を介してカメラ６０１から中央制御装置６１０に出力される。また、チャンネルごとに分離された撮像信号に基づき生成された動画像の符号化データが順次、画像記録部１１０に転送して記録される。

ステップＳ２１０では、制御部１０６は、操作部１０８のマルチアングル撮影の終了ボタンが押下されたか否かを判別する。そして、制御部１０６は、マルチアングル撮影の終了ボタンが押下されていなければ、処理をステップＳ２０１に戻す。このようにして、ステップＳ２１０にて操作部１０８のマルチアングル撮影の終了ボタンが押下されるまで、各チャンネルのフレーム単位の撮像信号の取り込み動作は継続する。ステップＳ２１０からステップＳ２０１に戻った場合、制御部１０６は、その時点でチャンネルプリ設定領域の設定内容（ステップＳ２０８で生成されたもの）に従って、チャンネルごとのフレームレートと出力レーン構成とを更新する。これにより、全チャンネルの１フレーム分の信号の読み出し完了を待って、フレームレートと出力レーン構成とが更新される。

ステップＳ２１０で、マルチアングル撮影の終了ボタンが押下されると、制御部１０６は、図１０の処理を終了する。以上、カメラ６０１の動作について説明したが、他のカメラ６０２、カメラ６０３についても基本的な動作は同様である。

本実施の形態によれば、簡単な構成で、被写体ごとのマルチアングル合成を可能にすることに関し、第１の実施の形態と同様の効果を奏することができる。また、制御部１０６は、移動速度が変化した被写体については、その移動速度に変化に基づいて、当該被写体を特定する識別コードを対応付けるストリーム信号を変更する。これにより、被写体の動きに追従して撮りこぼしの少ない撮影が可能となる。

また、制御部１０６は、一旦識別した被写体を識別できなくなった場合に、当該被写体を特定する識別コードが対応付けられているストリーム信号の出力を休止するので、適切な合成を期待でいないような場合に無駄な信号出力を回避できる。しかも、制御部１０６は、一部のストリーム信号の出力を休止する場合は、全ストリーム信号分の出力レーンの合計が予め定めた制限値に収まるように、他のストリーム信号に設定される出力レーンの数を変更する。これによりリソースを有効活用できる。

（第３の実施の形態）
第２の実施の形態では、マルチアングル撮影時の各ストリームのフレームレートおよび出力レーン構成を、個々のカメラごとに被写体の数や移動速度といった被写体の性質に合わせて可変させた。しかし、個々のカメラの配置条件によっては被写体の見え方が異なることから、同一の被写体に対する撮影視野への出入りの判断や移動速度の検出結果がカメラごとに異なる場合も発生し得る。そこで、本発明の第３の実施の形態では、フレームレートおよび出力レーン構成を、カメラごとに個別に可変にするのではなく、同じ識別コードに対応するストリーム信号に対して、全てのカメラでフレームレートおよび出力レーン構成を一致させる。

中央制御装置６１０は、カメラのそれぞれから各被写体の移動速度を取得し、取得した移動速度に基づいて、カメラの各々においてストリーム信号のそれぞれに設定されるフレームレート及び出力レーンの数を指定する共通の情報を指定情報として生成する。そして中央制御装置６１０は、生成した指定情報を各カメラに一斉に送信する。このことを、図１１、図１２を用いて説明する。

図１１（ａ）、（ｂ）、（ｃ）は、カメラ６０１、６０２、６０３の各々における、マルチアングル撮影時におけるストリーム信号のフレームレートおよび出力レーン構成を例示する図である。図１１（ｄ）は、各カメラで共通のフレームレートおよび出力レーン構成を例示する図である。

図９（ａ）で、３台のカメラ６０１、カメラ６０２、カメラ６０３から捉えた被写体の見え方は厳密には異なる。例えば、カメラ６０２にとって被写体２は近距離にあるため、カメラ６０１、カメラ６０３に比べて見かけ上の移動量が大きく、移動速度が高く検出される。逆に、被写体３と被写体４は遠距離にあるため、カメラ６０１、カメラ６０３に比べて移動量が小さく移動速度が低く検出される。また、被写体１は、カメラ６０２では辛うじて撮影視野内に含まれるが、カメラ６０１、カメラ６０３では撮影視野外となる。

図９（ａ）に示す状況において、マルチアングル撮影時の一局面においては、各カメラにおいて、図１１（ａ）、（ｂ）、（ｃ）に示すようなフレームレートおよび出力レーン構成が発生し得る。このような場合に、本実施の形態では、中央制御装置６１０から送信される指定情報に基づいて各カメラが設定を更新することで、図１１（ｄ）に示すように、全てのカメラで共通のフレームレートおよび出力レーン構成が得られるようにする。

図１２は、中央制御装置６１０で実行される指定情報送信処理のフローチャートである。この処理は、中央制御装置６１０において、ＲＯＭ６１２に格納された制御プログラムをＣＰＵ６１１がＲＡＭ６１３に読み出して実行することにより実現される。

まず、ステップＳ３０１では、中央制御装置６１０は、全カメラから、全チャンネルの１フレーム分のストリーム信号を受信したか否かを判別する。すなわち、接続された全カメラの全チャンネルにおいて図１０のステップＳ２０９の判別結果がＹｅｓになることでステップＳ３０１はＹｅｓとなる。そして全カメラから、全チャンネルの１フレーム分のストリーム信号を受信すると、中央制御装置６１０は、ステップＳ３０２で、指定情報を生成する。

上述のように、指定情報には、識別コードとストリーム信号との対応関係を示す情報が含まれる。指定情報にはまた、各ストリーム信号のフレームレート（休止も含む）及び出力レーンの数が含まれる。

上述したように、各カメラでは、図１０のステップＳ２０９で、全てのチャンネル信号の最低限１フレームの読み出しが完了するとステップＳ２１０へ処理が移行する。そしてフレーム信号の読み出しの期間に、チャンネルごとに分離された撮像信号は、各種付帯情報を伴うストリーム信号Ａ、Ｂ、Ｃ、Ｄとして各カメラから中央制御装置６１０に出力される。受信されるストリーム信号には、各カメラで検出された各被写体の移動速度の情報が含まれている。移動速度を元に、指定情報は次のようにして生成される。

まず、中央制御装置６１０は、いずれかのカメラで、一旦識別した被写体を識別できなくなった場合に、当該被写体を特定する識別コードが対応付けられているストリーム信号の出力を休止するための情報を指定情報に含める。また、中央制御装置６１０は、全カメラのうち、移動速度のうち最も速い被写体を特定する識別コードを、最も高いフレームレートが設定されたストリーム信号に対応付けるための情報を指定情報に含める。また、中央制御装置６１０は、一部のストリーム信号の出力を休止する場合は、全ストリーム信号分の出力レーンの合計が予め定めた制限値に収まるように、他のストリーム信号に設定される出力レーンの数を変更するよう、指定情報を生成する。これにより、リソースを有効活用できる。

すなわち、中央制御装置６１０は、全てのカメラで被写体の動きに追従して撮影ができるように、同一の被写体のストリーム信号に対して、最も速いレート設定のカメラの条件を、全てのカメラの共通の条件として採択する。そうすることで、中央制御装置６１０では、被写体の動きに追従して、被写体ブレの少ない撮像信号をもとにマルチアングル合成を行うことができる。また、中央制御装置６１０は、少なくとも１つのカメラで撮影視野外の被写体がある場合には、そのカメラの条件を、全てのカメラの共通の条件として採択する。

次に、ステップＳ３０３で、中央制御装置６１０は、生成した指定情報を全カメラに一斉送信し、処理をステップＳ３０１に戻す。各カメラでは、送信されてきた指定情報に基づいて、ストリーム信号のそれぞれに設定されるフレームレート及び出力レーンの数を更新する。すなわち、各カメラは、制御部１０６内部のチャンネルプリ設定領域における、フレームレート及び出力レーン構成を示す設定値を更新する。各カメラは、図１０のステップＳ２１０からステップＳ２０１に処理が移行すると、チャンネルごとのフレームレート及び出力レーン構成を、チャンネルプリ設定領域に設定されている設定値で更新する。従って、図１１（ｄ）に示すように、全カメラで共通の設定状態となる。

具体的には、カメラ６０１で被写体１が視野外に出たので、カメラ共通のａチャンネルのストリーム信号は、カメラ６０１での設定に合わせて休止とされる。また、全カメラで検出される被写体のうち、最速の被写体は、カメラ６０２で検出される被写体２である。従って、カメラ共通のｂチャンネルのストリーム信号のフレームレート、出力レーン数は、カメラ６０２での設定に合わせて１２０ｆｐｓ、４レーンに設定される。また、次に速い被写体は、カメラ６０１（またはカメラ６０３）で検出された被写体３、４である。従って、カメラ共通のｃ、ｄチャンネルのストリーム信号の設定については、フレームレート、出力レーン数は、カメラ６０１での設定に合わせて、６０ｆｐｓ、２レーンに設定される。つまり、移動速度の高い方から順に、フレームレートの高いチャンネルに対応付けられる。

なお、図１１（ｄ）では、説明の便宜上、全てのカメラで、物理的に割り当てられたａ～ｄチャンネルのストリーム信号ごとに共通のフレームレートおよび出力レーン構成となるとした。しかし、同じ識別コードをもつストリーム信号ごとに共通のフレームレートおよび出力レーン構成となるように設定すればよく、必ずしもａ～ｄチャンネルのストリーム信号ごとに設定を共通化する必要はない。

なお、マルチアングル撮影時に使用されるカメラは、例示した３台とは限らず、さらに多くのカメラが使用される場合も想定される。そこで中央制御装置６１０は、指定情報の生成に際し、撮影視野外となった被写体の数を考慮してもよい。

複数のカメラの撮像信号を用いてマルチアングル撮影を行う場合に、合成時に要求される立体表現の精度にもよるが、所定台数以上のカメラで同一被写体を捉えることができなければ実用的なマルチアングル合成は実現できない。そこで中央制御装置６１０は、全カメラのストリーム信号が入力された時点で、撮影視野内にある同一の被写体を検出しているカメラが所定の台数未満となった場合には、その被写体に対応するストリーム信号の休止を全てのカメラの共通の条件として採択してもよい。すなわち中央制御装置６１０は、同一被写体を識別しているカメラの数が所定数未満となった場合に、当該同一被写体の識別コードが対応付けられているストリーム信号の出力を休止することを示す情報を、指定情報に含める。

また、実用的なマルチアングル合成を実現できるか否かには、同一被写体を捉えることができるカメラがどの位置に配置されているカメラであるかという、カメラの組み合わせも大きく影響してくる。そこで、中央制御装置６１０は、全カメラのストリーム信号が入力された時点で、撮影視野内にある同一の被写体のストリーム信号をもつカメラの組み合わせ条件に応じて、そのストリーム信号の出力を休止するかどうかを決定してもよい。中央制御装置６１０には、予め、全てのカメラの配置情報と、撮影視野内でのマルチアングル合成を可能とするカメラの所定の組み合わせの情報とが記憶されている。中央制御装置６１０は、同一被写体を識別しているカメラの組み合わせが、所定の組み合わせを満たさなくなった場合、当該同一被写体の識別コードが対応付けられているストリーム信号の出力を休止することを示す情報を指定情報に含める。

このように、マルチアングル合成の実現できないストリーム信号について、全てのカメラに共通に休止状態とすることにより、他の被写体のストリーム信号に対して出力レーンのリソースを効率的に割り振ることができる。そして休止したことに応じて、他のストリーム信号のフレームレートも高くすることが可能となる。

本実施の形態によれば、簡単な構成で、被写体ごとのマルチアングル合成を可能にすること、及び、被写体の動きに追従して撮りこぼしの少ない撮影を可能にすることに関し、第２の実施の形態と同様の効果を奏することができる。また、移動速度や視野外への出入りに応じて、同一被写体に対応するフレームレート及び出力レーン構成を、全カメラで共通の設定にすることで、適切なマルチアングル合成を実現すると共に、リソースを有効活用できる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

１０２撮像素子
１０６制御部
１１１外部ＩＦ
１１４被写体検出部
６１０中央制御装置

Claims

複数の画素領域を有し、各画素領域からの画素信号を、画素領域ごとの撮影条件で互いに異なる経路を通じて読み出すことができるマルチストリーム出力機能を有する撮像素子と、
複数の被写体の中から個々の被写体を識別する識別手段と、
前記識別手段により識別された被写体を個々に特定するための識別情報を、複数のストリーム信号のそれぞれに対応付ける対応付け手段と、
前記ストリーム信号のそれぞれを、前記対応付け手段により前記識別情報が対応付けられた状態で出力する出力手段と、を有することを特徴とする撮像装置。
前記対応付け手段は、さらに、前記ストリーム信号ごとに撮影時刻を定期的に対応付け、
前記出力手段は、前記ストリーム信号のそれぞれを、前記撮影時刻が対応付けられた状態で出力することを特徴とする請求項１に記載の撮像装置。
前記ストリーム信号のそれぞれに設定されるフレームレートは固定値であり、そのうち少なくとも一部は互いに異なる値であることを特徴とする請求項１または２に記載の撮像装置。
前記ストリーム信号のそれぞれには、少なくとも１つの出力レーンが設定され、
前記ストリーム信号のそれぞれに設定される出力レーンの数は固定値であり、そのうち少なくとも一部は互いに異なる値であることを特徴とする請求項１～３のいずれか１項に記載の撮像装置。
被写体の移動速度を検出する検出手段を有し、
前記対応付け手段は、前記検出手段により検出された移動速度に基づいて、前記識別情報と前記ストリーム信号との対応関係を決定することを特徴とする請求項１～４のいずれか１項に記載の撮像装置。
前記対応付け手段は、移動速度の最も速い被写体を特定する識別情報を、最も高いフレームレートが設定されたストリーム信号に対応付けることを特徴とする請求項５に記載の撮像装置。
最も高いフレームレートが設定されたストリーム信号に設定される出力レーンの数は、全ストリーム信号のうち最も大きいことを特徴とする請求項６に記載の撮像装置。
前記ストリーム信号のそれぞれに設定されるフレームレート及び出力レーンの数は可変であり、
被写体の移動速度を検出する検出手段を有し、
前記対応付け手段は、前記検出手段により検出された移動速度が変化した被写体については、その移動速度の変化に基づいて、当該被写体を特定する識別情報を対応付けるストリーム信号を変更することを特徴とする請求項１または２に記載の撮像装置。
前記ストリーム信号のそれぞれに設定されるフレームレート及び出力レーンの数は可変であり、
前記識別手段が一旦識別した被写体を識別できなくなった場合に、当該被写体を特定する識別情報が対応付けられているストリーム信号の出力を休止する制御手段を有することを特徴とする請求項１、２または８に記載の撮像装置。
前記制御手段は、一部のストリーム信号の出力を休止する場合は、全ストリーム信号分の出力レーンの合計が予め定めた制限値に収まるように、他のストリーム信号に設定される出力レーンの数を変更することを特徴とする請求項９に記載の撮像装置。
前記識別情報と前記ストリーム信号との関係を示す指定情報を取得する取得手段を有し、
前記対応付け手段は、前記取得手段により取得された指定情報に基づいて、前記識別情報を前記ストリーム信号のそれぞれに対応付けることを特徴とする請求項１～４のいずれか１項に記載の撮像装置。
前記ストリーム信号のそれぞれに設定されるフレームレート及び出力レーンの数は可変であり、
前記識別情報と前記ストリーム信号との関係を示す指定情報を取得する取得手段を有し、
前記対応付け手段は、前記取得手段により取得された指定情報に基づいて、前記ストリーム信号に設定されるフレームレート及び出力レーンの数を変更することを特徴とする請求項１または２に記載の撮像装置。
前記撮像素子は、光電変換を行う複数の画素が配された第１のチップと、前記第１のチップから出力された画素信号を処理する第２のチップとが積層されて成ることを特徴とする請求項１～１２のいずれか１項に記載の撮像装置。
複数の撮像装置と、前記複数の撮像装置のそれぞれと通信可能に接続され、前記撮像装置のそれぞれから複数のストリーム信号を取得する制御装置と、を有する撮像システムであって、
前記撮像装置は、
複数の画素領域を有し、各画素領域からの画素信号を、画素領域ごとの撮影条件で互いに異なる経路を通じて読み出すことができるマルチストリーム出力機能を有する撮像素子と、
複数の被写体の中から個々の被写体を識別する識別手段と、
前記識別手段により識別された被写体を個々に特定するための識別情報を、複数のストリーム信号のそれぞれに対応付ける対応付け手段と、
前記ストリーム信号のそれぞれを、前記対応付け手段により前記識別情報が対応付けられた状態で出力する出力手段と、を有し、
前記制御装置は、同一の識別情報に対応付けられたストリーム信号同士を合成することを特徴とする撮像システム。
前記撮像装置は、前記制御装置からの指定情報に基づいて、前記ストリーム信号のそれぞれに設定されるフレームレート及び出力レーンの数を可変であり、
前記撮像装置は、被写体の移動速度を検出する検出手段を有し、
前記制御装置は、前記撮像装置のそれぞれから、各被写体の移動速度を取得し、取得した移動速度に基づいて、前記撮像装置の各々において前記ストリーム信号のそれぞれに設定されるフレームレート及び出力レーンの数を指定する共通の情報を前記指定情報として前記撮像装置の各々に送信することを特徴とする請求項１４に記載の撮像システム。
前記制御装置は、前記撮像装置のそれぞれで検出された移動速度のうち最も速い移動速度を示す被写体を特定する識別情報を、最も高いフレームレートが設定されたストリーム信号に対応付けることを指定することを示す情報を、前記指定情報として送信することを特徴とする請求項１５に記載の撮像システム。
前記制御装置は、前記撮像装置のいずれかで、前記識別手段が一旦識別した被写体を識別できなくなった場合に、当該被写体を特定する識別情報が対応付けられているストリーム信号の出力を休止することを示す情報を、前記指定情報として送信することを特徴とする請求項１５に記載の撮像システム。
前記制御装置は、同一被写体を識別している撮像装置の数が所定数未満となった場合に、前記同一被写体を特定する識別情報が対応付けられているストリーム信号の出力を休止することを示す情報を、前記指定情報として送信することを特徴とする請求項１５に記載の撮像システム。
前記制御装置は、同一被写体を識別している撮像装置の組み合わせが、所定の組み合わせを満たさなくなった場合、前記同一被写体を特定する識別情報が対応付けられているストリーム信号の出力を休止することを示す情報を、前記指定情報として送信することを特徴とする請求項１５に記載の撮像システム。
前記制御装置は、一部のストリーム信号の出力を休止する場合は、全ストリーム信号分の出力レーンの合計が予め定めた制限値に収まるように、他のストリーム信号に設定される出力レーンの数を変更することを示す情報を、前記指定情報として送信することを特徴とする請求項１７～１９のいずれか１項に記載の撮像システム。
複数の画素領域を有し、各画素領域からの画素信号を、画素領域ごとの撮影条件で互いに異なる経路を通じて読み出すことができるマルチストリーム出力機能を有する撮像素子を有する撮像装置の制御方法であって、
複数の被写体の中から個々の被写体を識別し、
識別した被写体を個々に特定するための識別情報を、複数のストリーム信号のそれぞれに対応付け、
前記ストリーム信号のそれぞれを、前記識別情報が対応付けられた状態で出力する、ことを特徴とする撮像装置の制御方法。