JPWO2018088061A1 - 画像転送装置、画像転送方法、プログラム、動画像生成システム - Google Patents

Abstract

複数の撮像装置から入力される動画像をネットワーク伝送を経て表示出力する場合における各動画像の同期を図る上で、タイムコード等による同期支援機能のない安価な撮像装置の使用を可能とし、システムコストの削減を図る。動画像を撮像する複数の撮像装置のうち特定撮像装置から入力される垂直同期信号を基準として、複数の撮像装置から入力される動画像データからフレーム画像データを選択し、選択したフレーム画像データを単一ストリームに統合して送出する。複数の撮像装置が非同期で動画撮像を行う場合であっても、特定撮像装置の垂直同期信号に基づいて、撮像タイミング差の少ないフレーム画像を各動画像から選択することが可能とされる。また、複数の画像を単一ストリームに統合して送出するため、個別ストリームで並列伝送する場合のように各画像間の同期が困難となることがない。

Description

本技術は、複数の撮像装置から入力される動画像データを転送する画像転送装置とその方法、プログラム、及び動画像生成システムに関するものである。

複数の撮像装置から入力される動画像をパノラマ合成して表示出力することが考えられる。
下記特許文献１には、そのようなパノラマ合成表示を行う場合において、タイムコードを用いて各動画像の同期（フレーム合わせ）を図る技術が開示されている。

特開２００２−２０９２０８号公報

しかしながら、タイムコードやＧｅｎＬｏｃｋ（Generator Lock）等による同期支援機能を有する撮像装置は一般に高価である。

また、上記のパノラマ合成表示を行う際には、複数の撮像装置から入力される動画像をネットワーク経由で表示側に伝送するという構成が考えられるが、このとき、各撮像装置からの動画像をそれぞれ独立したストリームで伝送すると、通信トラフィックに依存して各動画像の伝送速度にバラツキが生じるため、各動画像の同期を図ることが困難となる。

本技術は上記の事情に鑑み為されたものであり、複数の撮像装置から入力される動画像をネットワーク伝送を経て表示出力する場合における各動画像の同期を図る上で、タイムコード等による同期支援機能のない安価な撮像装置の使用を可能とし、システムコストの削減を図ることを目的とする。

本技術に係る画像転送装置は、動画像を撮像する複数の撮像装置のうち特定撮像装置から入力される垂直同期信号を基準として、前記複数の撮像装置から入力される動画像データからフレーム画像データを選択するフレーム選択部と、前記フレーム選択部が選択した前記フレーム画像データを単一ストリームに統合して送出する統合送出部と、を備えるものである。

これにより、複数の撮像装置が非同期で動画撮像を行う場合であっても、特定撮像装置の垂直同期信号に基づいて、撮像タイミング差の少ないフレーム画像を各動画像から選択することが可能とされる。
また、複数の画像を単一ストリームに統合して送出するため、個別ストリームで並列伝送する場合のように各画像間の同期が困難となることがない。

上記した本技術に係る画像転送装置においては、前記フレーム選択部は、前記特定撮像装置の前記動画像データから選択した前記フレーム画像データである基準フレーム画像データとの露光開始タイミング差に基づき、前記撮像装置のうち前記特定撮像装置を除いた他の撮像装置の前記動画像データからの前記フレーム画像データの選択を行うことが望ましい。

これにより、特定撮像装置以外の撮像装置のフレーム画像データとして、基準フレーム画像データに対し露光開始タイミングが近接したフレーム画像データを選択することが可能とされる。

上記した本技術に係る画像転送装置においては、前記フレーム選択部は、前記他の撮像装置の前記動画像データにおいて前記基準フレーム画像データとフレーム期間が重複している二つの前記フレーム画像データのうち、露光開始タイミングが前記基準フレーム画像データの露光開始タイミングに近い方のフレーム画像データを選択することが望ましい。

これにより、基準撮像装置のフレーム画像に対し最も撮像タイミングが近いフレーム画像が選択される。

上記した本技術に係る画像転送装置においては、前記フレーム選択部は、前記フレーム期間が重複している二つの前記フレーム画像データのうち一方のフレーム画像データについて前記基準フレーム画像データとの露光開始タイミング差が半フレーム期間未満であるか否かを判定し、半フレーム期間未満であれば前記一方のフレーム画像データを選択し、半フレーム期間未満でなければ他方のフレーム画像データを選択することが望ましい。

これにより、選択対象とされる二つのフレーム画像データのうち他方について基準フレーム画像との露光開始タイミング差を計測する必要がなくなる。

上記した本技術に係る画像転送装置においては、前記フレーム選択部は、前記特定撮像装置の前記動画像データから選択した前記フレーム画像データである基準フレーム画像データの露光終了タイミングと、前記撮像装置のうち前記特定撮像装置を除いた他の撮像装置の前記動画像データにおける前記フレーム画像データの露光開始タイミングとのタイミング差に基づき、前記他の撮像装置の前記動画像データからの前記フレーム画像データの選択を行うことが望ましい。

これにより、他の撮像装置のフレーム画像データとして、露光開始タイミングが基準フレーム画像データの露光終了タイミングに対して近接したフレーム画像データを選択することが可能とされる。

上記した本技術に係る画像転送装置においては、前記フレーム選択部は、前記選択を前記特定撮像装置の前記動画像データにおける１フレームごとに行うことが望ましい。

これにより、フレーム合わせの処理が１フレームごとに行われる。

上記した本技術に係る画像転送装置においては、前記フレーム選択部は、前記選択を前記特定撮像装置の前記動画像データにおける１フレーム期間よりも長い時間間隔を空けて行うことが望ましい。

これにより、フレーム合わせの処理回数が低減される。

上記した本技術に係る画像転送装置においては、前記フレーム選択部は、前記特定撮像装置の切り替え機能を有することが望ましい。

これにより、フレーム合わせ処理に伴うフレーム画像のスキップやリピートの生じない特定撮像装置を、複数の撮像装置のうち任意の撮像装置に切り替えることが可能とされる。

上記した本技術に係る画像転送装置においては、前記フレーム選択部は、操作入力情報に基づき前記特定撮像装置の切り替えを行うことが望ましい。

これにより、特定撮像装置をユーザが任意に切り替え可能となる。

上記した本技術に係る画像転送装置においては、前記フレーム選択部は、それぞれの前記撮像装置より入力される前記動画像データにおける動き量に基づき前記特定撮像装置の切り替えを行うことが望ましい。

これにより、観察者が注目する可能性の高い被写体を撮像している撮像装置を自動的に特定撮像装置に切り替えることが可能とされる。

上記した本技術に係る画像転送装置においては、前記フレーム選択部は、前記特定撮像装置の垂直同期信号を前記統合送出部に基準垂直同期信号として出力し、前記特定撮像装置を切り替える際は、切り替え元の前記撮像装置の垂直同期信号による前記切り替え直後の垂直同期発生タイミングが、前記基準垂直同期信号が表す垂直同期発生タイミングとして混在されないように、前記基準垂直同期信号として出力する垂直同期信号の切り替えを行うことが望ましい。

上記の混在を許容すると、基準垂直同期信号において、比較的短時間に垂直同期発生タイミングが連発してしまう可能性がある。該連発が生じると、統合送出部による統合処理等、フレーム選択の後段処理において動作不具合が生じる虞がある。
このため、上記の混在が生じないようにすることで、システム動作不具合の発生防止を図っている。

上記した本技術に係る画像転送装置においては、前記統合送出部は、前記フレーム選択部が選択した前記フレーム画像データを１枚の画像データに統合して送出することが望ましい。

これにより、例えばフルＨＤ画サイズのフレーム画像データ４枚を１枚の４Ｋ画サイズの画像データに統合することが可能となり、特殊な画サイズに対応したコーデックを不要とすることが可能とされる。

上記した本技術に係る画像転送装置においては、前記統合送出部は、前記フレーム選択部が選択した前記フレーム画像データを時間軸方向に統合して送出することが望ましい。

これにより、特殊な画サイズに対応したコーデックを不要とすることが可能とされる。

上記した本技術に係る画像転送装置においては、前記統合送出部は、前記単一ストリームとしてのストリームデータに対し前記フレーム画像データの統合単位ごとの区切りを表す区切り情報を付加することが望ましい。

仮に、区切り情報が付加されなければ、１ストリームデータの受け側において例えば画像解析等により１統合単位を構成する各画像を判別する処理を行うことになるが、そのような処理が不要となる。

また、本技術に係る画像転送方法は、動画像を撮像する複数の撮像装置のうち特定撮像装置から入力される垂直同期信号を基準として、前記複数の撮像装置から入力される動画像データからフレーム画像データを選択するフレーム選択ステップと、前記フレーム選択ステップが選択した前記フレーム画像データを単一ストリームに統合して送出する統合送出ステップと、を情報処理装置が実行する画像転送方法である。

上記本技術に係る画像転送方法によっても、上記した本技術に係る画像転送装置と同様の作用が得られる。

さらに、本技術に係るプログラムは、上記画像転送方法として実行する処理を情報処理装置に実行させるプログラムである。
このようなプログラムにより上記の画像転送装置を実現する。

また、本技術に係る動画像生成システムは、動画像を撮像する複数の撮像装置のうち特定撮像装置から入力される垂直同期信号を基準として、前記複数の撮像装置から入力される動画像データからフレーム画像データを選択するフレーム選択部と、前記フレーム選択部が選択した前記フレーム画像データを単一ストリームに統合して送出する統合送出部と、前記統合送出部が送出した前記単一ストリームに含まれる前記フレーム画像データをフレーム画像として含む動画像データを生成する動画像生成部と、を備えるものである。

このような動画像生成システムによっても、上記した本技術に係る画像転送装置と同様の作用が得られる。

本技術によれば、複数の撮像装置から入力される動画像をネットワーク伝送を経て表示出力する場合における各動画像の同期を図る上で、タイムコード等による同期支援機能のない安価な撮像装置の使用を可能とし、システムコストの削減を図ることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術に係る実施形態としての合成動画生成システムの概要を説明するためのブロック図である。 パノラマ合成についての説明図である。 フレーム画像データの統合例を示した図である。 実施形態としての撮像装置の内部構成を示したブロック図である。 実施形態としての画像転送装置の内部構成を示したブロック図である。 フレームバッファの構成例を示した図である。 リングバッファ制御を実現するための処理手順を示したフローチャート図である。 実施形態としての合成動画生成装置の内部構成を示したブロック図である。 撮像装置からの動画像データにおける垂直同期信号と各フレーム画像との時間軸上における関係を模式的に表した図である。 フレーム選択部によるフレーム選択処理についての説明図である。 基準撮像装置の切り替え操作例を説明するための図である。 切替元の撮像装置、切替先の撮像装置それぞれの垂直同期信号と基準垂直同期信号との関係を例示した図である。 実施形態としてのフレーム合わせ手法を実現するための処理手順を示したフローチャートである。 フレーム画像の通常の読み出し手法を示した図である。 実施形態におけるフレーム画像の読み出し手法について説明するための図である。 第一変形例としてのフレーム合わせ手法についての説明図である。 第一変形例としてのフレーム合わせ手法を実現するための処理手順を示したフローチャートである。 第二変形例としての画像統合手法についての説明図である。 第二変形例としての画像転送装置の内部構成を示したブロック図である。 第二変形例としての合成動画生成装置の内部構成を示したブロック図である。 第三変形例としての画像転送装置の内部構成を示したブロック図である。 第四変形例において前提とするパノラマ画像における各画像の配置例を示した図である。 縦方向の合成対象とされた各動画像データ間について行われるフレーム選択処理のイメージ図である。 １６台の撮像装置を用いてパノラマ動画データを生成する例を示した図である。 手術室システムの全体構成を概略的に示す図である。 集中操作パネルにおける操作画面の表示例を示す図である。 手術室システムが適用された手術の様子の一例を示す図である。 図２７に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、添付図面を参照し、実施の形態を次の順序で説明する。

＜１．システム概要＞
＜２．装置構成＞
＜３．実施形態としてのフレーム合わせ手法＞
＜４．処理手順＞
＜５．合成動画生成時の画像読み出し処理について＞
＜６．各種変形例＞
［6-1．第一変形例］
［6-2．第二変形例］
［6-3．第三変形例］
［6-4．第四変形例］
［6-5．その他変形例］
＜７．実施形態のまとめ＞
＜８．応用例＞
［8-1．応用例１］
［8-2．応用例２］
＜９．プログラム＞
＜１０．本技術＞

＜１．システム概要＞

図１は、本技術に係る実施形態としての動画像生成システム１００の概要構成を示したブロック図である。
図示するように動画像生成システム１００は、動画像による撮像画像データを生成する複数の撮像装置２と、複数の撮像装置２より撮像動画像データ（以下、単に「動画像データ」と表記する）が入力される画像転送装置１と、例えばインターネットやＬＡＮ（Local Area Network）等とされたネットワーク３と、画像転送装置１とネットワーク３を介して通信可能とされた合成動画生成装置４とを備えている。
本例の動画像生成システム１００では、撮像装置２として撮像装置２−１、２−２、２−３、２−４による４つが備えられている。

本実施形態の動画像生成システム１００では、画像転送装置１が撮像装置２−１、２−２、２−３、２−４から入力した動画像データをネットワーク３経由で合成動画生成装置４に転送し、合成動画生成装置４が、転送された各動画像データをパノラマ合成したパノラマ動画像データを生成する。

図２は、パノラマ合成についての説明図である。
図中では、撮像装置２−１、２−２、２−３、２−４によるそれぞれの動画像データに含まれるフレーム画像データＧを、それぞれ末尾の数値を一致させてフレーム画像データＧ−１、Ｇ−２、Ｇ−３、Ｇ−４と示している。
本例では、撮像装置２は水平方向に一列に配置されており、具体的に、撮像装置２−１は最も左側に配置され、以降右側に向かって撮像装置２−２、２−３、２−４の順で配列されている。なお、ここでの左右は、被写体に対向した状態での左右を意味する。
合成動画生成装置４によるパノラマ合成処理では、図中の斜線部により表す、フレーム画像データＧ−１とＧ−２との間、フレーム画像データＧ−２とＧ−３との間、及びフレーム画像データＧ−３とＧ−４との間に生じるオーバーラップ部分についてそれぞれスティッチ処理を施し、それらスティッチ処理により連結された画像全体のうちの一部分をパノラマ画像データＰとして切り出す。

合成動画生成装置４は、このようなパノラマ画像データＰの生成を動画像データの毎フレームにおいて行い、各パノラマ画像データＰをフレーム画像として含む動画像データ（以下「パノラマ動画データＭ」と表記）を生成する。

なお、図２では撮像装置２の上下方向における配置位置にずれが生じた場合の例を示したが、勿論、撮像装置２は上下方向における位置を揃えるように配置することも可能である。その場合、スティッチ後の全体画像からの切り出しは不要とすることが可能である。

ここで、上記のようなネットワーク３経由での動画像データの転送を前提とした場合において、各撮像装置２からの動画像データをそれぞれ独立したストリームにより転送した場合には、通信トラフィックに依存してそれぞれのストリームの転送速度にバラツキが生じる。本例では、各撮像装置２としてＧｅｎＬｏｃｋ（Generator Lock）やタイムコード等による同期支援機能を有さない撮像装置の使用を前提としているため、上記のように各ストリームの転送速度にバラツキが生じた場合には、パノラマ動画の生成にあたりフレーム同期を図ることが困難となる。

そのため、画像転送装置１は、各撮像装置２から入力される動画像データを１つのストリームにまとめて合成動画生成装置４に転送する。
具体的に、本例では、図３に示すように各動画像データからそれぞれ選択したフレーム画像データＧ−１、Ｇ−２、Ｇ−３、Ｇ−４を１枚の画像データとして合成し、該合成した画像データをフレーム画像として含む動画像データを合成動画生成装置４に転送する。この場合、フレーム画像データＧの合成は、図示のように４枚のフレーム画像を田の字状に配列して行う。

ここで、本例において、各撮像装置２による動画像データの画サイズはフルＨＤ（High Definition）サイズ（水平方向、垂直方向の有効画素数がそれぞれ１９２０、１０８０）とされている。従って、図３のように田の字状に合成された１枚の画像データは、いわゆる４Ｋ（４Ｋ２Ｋ）画サイズによる画像データとされる。つまり、本例では、各撮像装置２から入力される動画像データをまとめた１つの動画ストリームデータとして、４Ｋ動画ストリームデータを生成して合成動画生成装置４に転送する。
このように４Ｋ動画ストリームデータを生成・転送することで、画像転送装置１側、合成動画生成装置４側でそれぞれ特殊な画サイズに対応するエンコーダ、デコーダを備える必要がなくなる。

本例の動画像生成システム１００において、合成動画生成装置４は、上記のように１ストリームで転送される動画像データに含まれる撮像装置２ごとのフレーム画像データＧ（Ｇ−１〜Ｇ−４）について、図２で説明したようなパノラマ合成処理を逐次行い、それにより逐次得られるパノラマ画像データＰをフレーム画像として含むパノラマ動画像データを生成する。

なお、図３のようにフレーム画像データＧ−１〜Ｇ−４を合成して１ストリームの動画像データにまとめる手法を採る場合には、各動画像データにおける時間軸上の何れのフレーム画像データＧを合成対象画像として選択するかにより、パノラマ動画データＭにおける１枚のフレーム画像として表示される画像の撮像タイミングの組み合わせが定まる。すなわち、パノラマ動画データＭにおけるフレーム同期を左右するものである。
画像転送装置１は、上記のような合成対象とするフレーム画像データＧの選択処理により、パノラマ動画データＭにおけるフレーム同期を図るが、これについては改めて説明する。

＜２．装置構成＞

続いて、動画像生成システム１００が備える撮像装置２、画像転送装置１、及び合成動画生成装置４の構成について説明する。

図４は、撮像装置２の内部構成を示したブロック図である。
撮像装置２は、撮像部２１、画像信号処理部２２、メモリ２３、表示部２４、表示制御部２５、通信Ｉ／Ｆ（インタフェース）２６、コントローラ２７、及びバス２８を備えている。撮像部２１、画像信号処理部２２、メモリ２３、表示制御部２５、通信Ｉ／Ｆ（インタフェース）２６、及びコントローラ２７は、バス２８を介して相互にデータ通信可能に接続されている。

撮像部２１は、撮像レンズや撮像素子、撮像素子の蓄積電荷をサンプリングするサンプリング回路（読み出し回路）、及びＡ／Ｄコンバータを備え、デジタル信号による撮像画像信号を得る。
本例では、撮像素子にはＣＣＤ（Charge Coupled Device）が用いられており、いわゆる電子シャッター機能として、露光時間（露光開始タイミングから露光終了タイミングまでの時間）を変更可能とされている。撮像素子の露光時間は、コントローラ２７からの指示に基づき変更される。

ここで、撮像部２１は、不図示のタイミング生成回路がシステムクロックに基づき生成する垂直同期信号、水平同期信号に基づき動作する。本例では、垂直同期信号による垂直同期発生周期、すなわち動画像データのフレーム周期は略６０ｆｐｓ（frames per second）とされている。

画像信号処理部２２は、撮像部２１で得られたデジタル信号による撮像画像信号について各種の画像信号処理を施すと共に、所定のデータ形式による動画像データを生成する。

メモリ２３は、例えばＤＲＡＭ（Dynamic Random Access Memory）等の記憶装置とされ、例えば画像信号処理部２２による動画像データ生成時のフレームメモリ等として用いられる。

表示部２４は、例えばＬＣＤ（Liquid Crystal Display）や有機ＥＬ（ElectroLuminescence）ディスプレイ等の表示デバイスとされ、表示制御部２５による制御に基づき各種の情報表示を行う。表示部２４を介しては、いわゆるスルー画として、例えば画像信号処理部２２により生成される動画像データをリアルタイムに表示することが可能とされている。

通信Ｉ／Ｆ２６は、動画像データを外部装置に送信するための通信インタフェースとされ、本例ではＨＤＭＩ（High-Definition Multimedia Interface）のインタフェースが採用されている。

コントローラ２７は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を有するマイクロコンピュータを備えて構成され、撮像装置２の全体制御を行う。例えば、コントローラ２７は、垂直同期信号に基づいて生成した露光タイミング制御信号により、撮像部２１における撮像素子の露光タイミング制御を行う。
また、コントローラ２７は、通信Ｉ／Ｆ２６を介した動画像データの通信制御等も行う。

図５は、画像転送装置１の内部構成を示したブロック図である。なお、図５では撮像装置２−１〜２−４も併せて示している。
画像転送装置１は、外部装置からの動画像データを受信するための通信インタフェースである通信Ｉ／Ｆ１１として、各撮像装置２に対応した第一通信Ｉ／Ｆ１１−１、第二通信Ｉ／Ｆ１１−２、第三通信Ｉ／Ｆ１１−３、第四通信Ｉ／Ｆ１１−４の四つを備えている。各通信Ｉ／Ｆ１１としては、撮像装置２における通信Ｉ／Ｆ２６に対応してＨＤＭＩのインタフェースが採用されている。

図示するように撮像装置２−１からの動画像データは第一通信Ｉ／Ｆ１１−１に、撮像装置２−２からの動画像データは第二通信Ｉ／Ｆ１１−２に、撮像装置２−３からの動画像データは第三通信Ｉ／Ｆ１１−３に、撮像装置２−４からの動画像データは第四通信Ｉ／Ｆ１１−４によりそれぞれ受信される。

第一フレームバッファ１２−１には、第一通信Ｉ／Ｆ１１−１で受信される動画像データのフレーム画像データＧ（Ｇ−１）がバッファリングされる。同様に、第二フレームバッファ１２−２には第二通信Ｉ／Ｆ１１−２で受信される動画像データのフレーム画像データＧ（Ｇ−２）が、第三フレームバッファ１２−３には第三通信Ｉ／Ｆ１１−３で受信される動画像データのフレーム画像データＧ（Ｇ−３）が、第四フレームバッファ１２−４には第四通信Ｉ／Ｆ１１−４で受信される動画像データのフレーム画像データＧ（Ｇ−４）がそれぞれバッファリングされる。

また、各通信Ｉ／Ｆ１１からは、動画像データから抽出された垂直同期信号が出力され、これら出力された垂直同期信号はフレーム選択部１９に入力される。

ここで、図６及び図７を参照し、フレームバッファ１２によるフレーム画像データＧのバッファリングについて説明する。
各フレームバッファ１２はリングバッファとされ、フレーム画像データＧをバッファリング可能なバッファ領域を複数有している。本例において各フレームバッファ１２は、図６に示すようにバッファ領域１２ａ〜１２ｄによる四つのバッファ領域を有している。
以下、バッファ領域１２ａ〜１２ｄの個々を識別するためのバッファ領域Ｎｏ．（ナンバ）を図示のようにバッファ領域１２ａ＝Ｎｏ．０、バッファ領域１２ｂ＝Ｎｏ．１、バッファ領域１２ｃ＝Ｎｏ．２、バッファ領域１２ｄ＝Ｎｏ．３と定義する。

各フレームバッファ１２におけるフレーム画像データＧの書き込み／読み出し制御は、本例ではフレーム選択部１９により行われる。
図７のフローチャートは、フレーム選択部１９がリングバッファとしての書き込みを実現するために実行する処理を示している。なお、フレーム選択部１９は図７に示す処理をフレームバッファ１２ごとに（つまり撮像装置２ごとに）並行して行う。
先ず、フレーム選択部１９はステップＳ１で、バッファ領域ＮＯ．を「０」にセットし、続くステップＳ２で対応する撮像装置２の垂直同期発生が確認されたことに応じ、ステップＳ３でバッファ領域Ｎｏ．を１インクリメント（＋１）する。そして、該インクリメント処理を行ったことに応じ、フレーム選択部１９はステップＳ４でバッファ領域Ｎｏ．が最大値（本例ではバッファ領域数＝４より「３」）を超えたか否かを判定し、バッファ領域Ｎｏ．が最大値を超えていなければステップＳ２に戻り、対応する撮像装置２の垂直同期発生に応じてバッファＮｏ．を１インクリメントし、超えている場合はステップＳ１に戻ってバッファ領域Ｎｏ．を「０」に戻す。

このように撮像装置２ごとに垂直同期発生に応じて順次更新されるバッファ領域Ｎｏ．に従って、フレーム選択部１９が各フレームバッファ１２へのフレーム画像データＧの書き込み制御を行うことで、各フレームバッファ１２がリングバッファとして動作する。

図５において、フレーム選択部１９は、各通信Ｉ／Ｆ１１から入力された垂直同期信号に基づき、フレームバッファ１２ごとに、何れか一つのバッファ領域にバッファリングされるフレーム画像データＧを選択し、選択したフレーム画像データＧが各フレームバッファ１２から統合部１３に対して読み出されるように制御する。
フレーム選択部１９は、このようなフレーム画像データＧの選択処理を、撮像装置２のうち特定の撮像装置２（後述する基準撮像装置）から入力される動画像データの各フレーム期間において行うが、詳細については改めて説明する。

また、本例のフレーム選択部１９は、各通信Ｉ／Ｆ１１から入力された垂直同期信号に基づき、以下で説明する統合部１３やエンコード部１４が動作する上で基準となる垂直同期信号（以下「基準垂直同期信号」と表記）を生成するが、これについても改めて説明する。

統合部１３は、各フレームバッファ１２から読み出されるフレーム画像データＧを単一ストリームに統合する。具体的に、本例の統合部１３は、各フレームバッファ１２から逐次読み出されるフレーム画像データＧ（Ｇ−１〜Ｇ−４）について、図３に示したように田の字状に合成する処理を逐次行う。

エンコード部１４は、統合部１３の上記合成処理により逐次得られる画像データを入力し、それら画像データをフレーム画像として含む圧縮動画像データを生成する。なお、エンコード部１４の圧縮形式としては、例えばＨ．２６４形式やＨ．２６５形式等を挙げることができる。
エンコード部１４により得られた圧縮動画像データはネットワークＩ／Ｆ１５に出力される。

なお、エンコード部１４により得られた圧縮動画像データは、フレーム画像として各撮像装置２からのフレーム画像データＧ−１〜Ｇ−４を統合した画像を含むという意味で、以下「統合動画データＵ」と表記する。

ネットワークＩ／Ｆ１５は、ネットワーク３を介した外部装置とのデータ通信を行うためのインタフェースとされる。これにより、エンコード部１４により得られた統合動画データＵを合成動画生成装置４にネットワーク３経由で送信することが可能とされる。

また、本例の画像転送装置１においては、表示部１６、表示制御部１７、及び操作部１８が備えられている。
表示制御部１７は、各通信Ｉ／Ｆ１１からそれぞれ対応するフレームバッファ１２に出力される動画像データがそれぞれ分岐して入力され、入力された各動画像データに基づく動画像を表示部１６上に表示させる。

操作部１８は、ユーザが画像転送装置１に対する操作入力を行うための操作子を備える。操作部１８は、ユーザの操作入力に基づく操作入力情報をフレーム選択部１９に出力する。
本例では、操作部１８は表示部１６の表示画面上に形成されたタッチパネルセンサを有する。
なお、操作部１８からの操作入力情報に基づきフレーム選択部１９が行う処理についても後に改めて説明する。

図８は、合成動画生成装置４の内部構成を示したブロック図である。
合成動画生成装置４は、ネットワークＩ／Ｆ４１、第一デコード部４２、メモリ４３、スティッチ処理部４４、エンコード部４５、表示制御部４７、第二デコード部４６、メディアドライブ４８、コントローラ４９、及びこれらの各部を相互にデータ通信可能に接続するバス５０を備えている。

ネットワークＩ／Ｆ４１は、ネットワーク３を介した外部装置とのデータ通信を行うためのインタフェースとされ、画像転送装置１のネットワークＩ／Ｆ１５により送出された統合動画データＵをネットワーク３経由で受信することが可能とされる。

第一デコード部４２は、統合動画データＵについてのデコード処理（伸張処理）を行う。すなわち、画像転送装置１におけるエンコード部１４によりＨ．２６４形式やＨ．２６５形式等で圧縮された動画像データについてのデコード処理を行う。

メモリ４３は、例えばＤＲＡＭ等の記憶装置とされ、各種データの一時記憶に用いられる。
スティッチ処理部４４は、パノラマ画像データＰを生成するためのスティッチ処理を行う。
エンコード部４５は、スティッチ処理部４４のスティッチ処理を経て生成されるパノラマ画像データＰをフレーム画像として含む圧縮動画像データ、つまり上述したパノラマ動画データＭを生成する。

第二デコード部４６は、エンコード部４５による動画圧縮形式に対応したデコード部であり、パノラマ動画データＭとしての圧縮動画像データについてデコード処理を行う。

表示制御部４７は、合成動画生成装置４に対して接続された表示装置６０の表示制御を行う。
メディアドライブ４８は、例えば磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどの各種記録メディアの書き込み／読み出しを行う。

コントローラ４９は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ等を有するマイクロコンピュータを備えて構成され、合成動画生成装置４の全体制御を行う。
特に、コントローラ４９は、画像転送装置１より受信され第一デコード部４２でデコードされた動画像データに基づくパノラマ動画データＭの生成制御を行う。具体的に、コントローラ４９は、第一デコード部４２でデコードされた動画像データに含まれる各フレーム画像データ、すなわち本例では図３のようにフレーム画像データＧ−１〜Ｇ−４が田の字状に合成された各フレーム画像データについて、スティッチ処理部４４により、先の図２で説明したスティッチ処理を実行させ、パノラマ画像データＰを逐次生成させる。その上でコントローラ４９は、該スティッチ処理により逐次得られるパノラマ画像データＰをフレーム画像として含むパノラマ動画データＭをエンコード部４５により生成させる。

また、コントローラ４９は、パノラマ動画データＭの表示処理として、上記のように生成されたパノラマ動画データＭに基づく動画像を表示装置６０に表示させるための表示制御を表示制御部４７により実行させる。
これにより、各撮像装置２により撮像された動画像をパノラマ合成したパノラマ動画像が表示装置６０により表示出力される。

なお、上記ではパノラマ動画像の表示手段が合成動画生成装置４に外付けとされた例を挙げたが、合成動画生成装置４としてはパノラマ動画像の表示手段を備えた構成とすることもできる。

また、コントローラ４９は、エンコード部４５により生成させたパノラマ動画データＭをメディアドライブ４８により所要の記録メディアに記録させることもできる。

＜３．実施形態としてのフレーム合わせ手法＞

実施形態としての画像転送装置１は、統合部１３において統合対象とするフレーム画像データＧの選択により、パノラマ動画データＭにおける各撮像装置２からの画像についてのフレーム同期を図る。
図９は、各撮像装置２からの動画像データにおける垂直同期信号と各フレーム画像との時間軸上における関係を模式的に表している。
パノラマ動画像の生成を開始するにあたっては、先ず各撮像装置２の撮像動作を開始させるが、この際の撮像開始タイミングは必ずしも一致するものとはならない。また、各撮像装置２のクロック誤差等に起因して、各撮像装置２における垂直同期発生タイミングには経時的な差が生じる。

そこで、フレーム選択部１９により、撮像タイミングが近接したフレーム画像データＧが統合されようにするためのフレーム選択処理を行う。

図１０は、フレーム選択部１９によるフレーム選択処理についての説明図である。
先ず、図１０の説明においては、各撮像装置２のうち撮像装置２−１が、フレーム合わせにおいて基準とする基準撮像装置であるものとする。フレーム選択部１９は、基準撮像装置の動画像データについては各フレーム画像を選択する。すなわち、基準撮像装置の動画像データについてはフレーム合わせに伴うフレーム画像のスキップやリピートが生じない。

フレーム選択部１９は、基準撮像装置とされた撮像装置２−１の垂直同期発生に応じて、基準撮像装置以外の各撮像装置２ごとに、基準撮像装置の今回の選択フレーム画像の露光開始タイミングに対し露光開始タイミングが最も近接しているフレーム画像を選択する。
基準撮像装置の選択フレーム画像に対し露光開始タイミング同士が最も近接するのは、該選択フレーム画像に対しフレーム期間が重複する二つのフレーム画像（図中、太枠により表す）のうちの何れかである。
このため、それら二つのフレーム画像のうち、基準撮像装置の選択フレーム画像の露光開始タイミングに対し露光開始タイミングが近い方のフレーム画像を選択する。

ここで、図１０の例では、基準撮像装置の選択フレーム画像との露光開始タイミングの差を、垂直同期発生タイミングの差として表しているが、該露光開始タイミングの差としては垂直同期信号以外の他の信号に基づき求めることもできる。例えば、各撮像装置２より露光開始タイミングを表す垂直同期信号とは別途の信号を入力し、該信号に基づいて露光開始タイミングの差を求めることもできる。

本例のフレーム選択部１９は、上記のようなフレーム画像の選択処理を、基準撮像装置の動画像データにおける１フレームごとに行う。
これにより、動画像間のタイミングずれ抑制効果を高めることができる。

ここで、本例の画像転送装置１は、基準撮像装置の切り替え機能を有する。
基準撮像装置の切り替えは、例えば図５に示した操作部１８からの操作入力情報に基づきフレーム選択部１９が行う。
一例としては、図１１に示すように、表示部１６上に各撮像装置２から入力される動画像を表示させ、表示された動画像のうちから操作により選択された動画像の入力元である撮像装置２を基準撮像装置に設定する。この際の動画像の選択操作は、例えば操作部１８が有するタッチパネル機能を利用して、動画像の表示領域をタッチする操作等とすることができる。
このような操作入力に基づく基準撮像装置の切り替えとすることで、ユーザが基準撮像装置を任意の撮像装置に切り替えることができる。

基準撮像装置を切り替える際には、統合部１３やエンコード部１４に入力される基準垂直同期信号は、切替先の撮像装置２による垂直同期信号に切り替えられるべきである。

図１２は、切替元の撮像装置２、切替先の撮像装置２それぞれの垂直同期信号と基準垂直同期信号との関係を例示した図である。
例えば、図中「Ｆ」と示すフレーム期間中の何れかのタイミングで、基準撮像装置の切り替え条件が成立（本例では切り替え操作入力）したとする。
本例のフレーム選択部１９は、基準撮像装置の切り替え条件が成立したことに応じて、基準垂直同期信号として出力する垂直同期信号を、それまで出力していた切替元の撮像装置２による垂直同期信号から切替先の撮像装置２による垂直同期信号に即座に切り替える。

このとき、基準撮像装置の切り替え条件が成立するタイミングは、フレーム期間Ｆの次のフレーム期間の開始タイミング、すなわち該次のフレーム期間の垂直同期発生タイミングと近接する場合があり、そのような場合において基準垂直同期信号の切り替えに遅れが生じると、該次のフレーム期間の垂直同期発生タイミングが、基準垂直同期信号における垂直同期発生タイミングとして含まれてしまう。
このように基準垂直同期信号が表す垂直同期発生タイミングとして切替元の撮像装置２による垂直同期発生タイミングが含まれてしまうと、基準垂直同期信号においては、図中「Ｘ」と示すように、該切替元の撮像装置２による垂直同期発生タイミングと切替先の撮像装置２による垂直同期発生タイミングとが近接してしまう虞がある。
基準垂直同期信号において垂直同期発生タイミングが近接して生じると、統合部１３やエンコード部１４の動作不具合を誘発してしまう虞がある。

本例では、上記のように切替元の撮像装置２による垂直同期信号から切替先の撮像装置２による垂直同期信号に即座に切り替えを行うことで、基準垂直同期信号において垂直同期発生タイミングが近接して生じることの防止を図ることができる。
これにより、基準撮像装置２を切り替え可能としたことに伴いシステム動作不具合が誘発されてしまうことの発生防止を図ることができる。

なお、基準垂直同期信号において垂直同期発生タイミングが近接することの防止を図る手法としては上記手法に限定されず、例えば基準撮像装置の切り替え条件成立に応じて、切替元の撮像装置２による垂直同期信号を即座にマスクするという手法を採ることもできる。これにより、切替元から切替先への垂直同期信号の切り替えにあたり、多少のタイムラグが許容される。

＜４．処理手順＞

図１３のフローチャートを参照し、上記した実施形態としてのフレーム合わせ手法を実現するための具体的な処理手順を説明する。
先ず、ステップＳ１０１でフレーム選択部１９は、基準撮像装置の切り替え条件が成立したか否かを判定する。つまり、本例では操作部１８に対する操作として基準撮像装置を切り替える操作が行われたか否かを判定する。

基準撮像装置の切り替え条件が成立した場合、フレーム選択部１９はステップＳ１０２で基準撮像装置の切り替えを行うと共に、続くステップＳ１０３で基準垂直同期信号の切り替えを行う。すなわち、基準垂直同期信号として出力する垂直同期信号を、切替元の撮像装置２の垂直同期信号から切替先の撮像装置２の垂直同期信号に切り替える。
ステップＳ１０３の切り替えを行ったことに応じ、フレーム選択部１９はステップＳ１０４に進む。

一方、ステップＳ１０１において基準撮像装置の切り替え条件が成立していないと判定した場合、フレーム選択部１９はステップＳ１０２〜Ｓ１０３をパスしてステップＳ１０４に進む。

ステップＳ１０４でフレーム選択部１９は、基準撮像装置の垂直同期発生を待機し、該垂直同期発生に応じ、ステップＳ１０５で撮像装置識別値ｎを「１」にセットし、ステップＳ１０６に進む。ここで、撮像装置識別値ｎは、基準撮像装置以外の撮像装置２を識別するための値であり、本例では最大値ｎＭＡＸ＝「３」である。

ステップＳ１０６でフレーム選択部１９は、基準撮像装置の今回の垂直同期発生からｎ番目撮像装置の直前の垂直同期発生までの時間差Ｖｄを求める。
ここで、本例のフレーム選択部１９は、基準撮像装置以外の各撮像装置２について、それぞれ垂直同期発生タイミングからその後の直近に到来する基準撮像装置の垂直同期発生タイミングまでの時間長を計測（計時）している。この場合におけるステップＳ１０６の処理は、このように撮像装置２ごとに計測された時間長のうち、ｎ番目撮像装置２について計測された時間長を時間差Ｖｄとして取得する処理とされる。

続くステップＳ１０７でフレーム選択部１９は、時間差Ｖｄが半フレーム期間（本例では１／１２０秒）未満であるか否かを判定する。
時間差Ｖｄが半フレーム期間未満であれば、フレーム選択部１９はステップＳ１０８に進み、ｎ番目撮像装置の現フレーム期間のフレーム画像を選択する。
現フレーム期間とは、今回のステップＳ１０４の処理で検出された基準撮像装置の垂直同期発生タイミングを期間内に含んでいるフレーム期間を意味する。
具体的に、フレーム選択部１９は、ステップＳ１０７の処理として、第一フレームバッファ１２−１〜第四フレームバッファ１２−４のうちのｎ番目撮像装置に対応するフレームバッファ１２におけるバッファ領域のうち、図７で示したリングバッファ処理で選択中のバッファ領域Ｎｏ．が表すバッファ領域にバッファリング中とされているフレーム画像データＧを選択する。

一方、時間差Ｖｄが半フレーム期間未満でなければ、フレーム選択部１９はステップＳ１０９に進み、ｎ番目撮像装置の次フレーム期間のフレーム画像を選択する。次フレーム期間とは、上記した現フレーム期間の次のフレーム期間を意味する。
具体的に、フレーム選択部１９は、第一フレームバッファ１２−１〜第四フレームバッファ１２−４のうちのｎ番目撮像装置に対応するフレームバッファ１２におけるバッファ領域のうち、図７のリングバッファ処理において現在選択中であるバッファ領域Ｎｏ．の次に選択されるバッファ領域Ｎｏ．が表すバッファ領域にバッファリングされるフレーム画像データＧを選択する。

上記ステップＳ１０８又はＳ１０９の処理を実行したことに応じ、フレーム選択部１９はステップＳ１１０に進み、撮像装置識別値ｎが最大値ｎＭＡＸ以上か否かを判定する。すなわち、基準撮像装置以外の全ての撮像装置２についてステップＳ１０６以降の処理を実行したか否かを判定する。
撮像装置識別値ｎが最大値ｎＭＡＸ以上でなければ、フレーム選択部１９はステップＳ１１１で撮像装置識別値ｎを１インクリメントした上でステップＳ１０６に戻る。

一方、撮像装置識別値ｎが最大値ｎＭＡＸ以上であれば、フレーム選択部１９はステップＳ１０１に戻る。これにより、各動画像のフレーム合わせのための処理が基準撮像装置の１フレームごとに行われる。

ここで、上記ステップＳ１０６〜Ｓ１０９の処理を参照して分かるように、本例では、基準撮像装置以外の各撮像装置についてのフレーム選択として、基準撮像装置について選択されるフレーム画像（以下、「基準フレーム画像」と表記）に対しフレーム期間が重複している二つのフレーム画像のうち、一方のフレーム画像について基準フレーム画像との露光開始タイミング差が半フレーム期間未満であるか否かを判定し、半フレーム期間未満であれば一方のフレーム画像を選択し、半フレーム期間未満でなければ他方のフレーム画像を選択している。
これにより、選択対象とされる二つのフレーム画像のうち他方について基準フレーム画像との露光開始タイミング差を計測する必要がなくなる。
従って、処理負担の軽減を図ることができる。

＜５．合成動画生成時の画像読み出し処理について＞

前述のように合成動画生成装置４では、画像転送装置１より送出された統合動画データＵを受信し、統合動画データＵにおけるフレーム画像データ、すなわち各撮像装置２からのフレーム画像データＧ−１〜Ｇ−４が田の字状に合成された画像データに基づき、パノラマ画像データＰを生成する。
この際、統合動画データＵのフレーム画像データからの各画素データの読み出し手法としては、以下の手法を採ることができる。

図１４は、通常の読み出し手法を示している。通常の読み出し手法では、フレーム画像データに対してラスター順の読み出し（ラスタースキャン）を行う。すなわち、最上部に位置する水平ラインから最下部に位置する水平ラインにかけて順に、各水平ラインの読み出しを左から右にかけて行う。

これに対し、本例では、図１５Ａに示すような各画素データの読み出しを行う。
すなわち、フレーム画像データＧ−１〜Ｇ−４がラスター順で配置された統合動画データＵのフレーム画像データにおいて、フレーム画像データＧ−１とＧ−２が配置された上段の領域を上段領域Ｒｕ、フレーム画像データＧ−３とＧ−４が配置された下段の領域を下段領域Ｒｄとしたとき、上段領域Ｒｕの１水平ライン分を読み出した後に下段領域Ｒｄの１水平ライン分を読み出すということを、各領域Ｒの最上部から最下部にかけて繰り返し行うものである。

このような読み出しを行うことで、図１５Ｂに示すように、パノラマ合成時の画像レイアウトにおける１水平ライン分のデータを一気に読み出すことができる。

上記の読み出し手法は、図８に示したメモリ４３からスティッチ処理部４４への画像読み出し手法として実現される。すなわち、メモリ４３は、統合動画データＵのフレームメモリとして用いられ、メモリ４３に一時保持された統合動画データＵのフレーム画像データについて、スティッチ処理部４４が上記の読み出し手法による画素データの読み出しを行う。

＜６．各種変形例＞
［6-1．第一変形例］

以下、各種変形例について説明する。なお、以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号、同一ステップ番号を付して説明を省略する。

上記では、フレーム合わせのためのフレーム選択処理を１フレームごとに行う例を挙げたが、第一変形例として、フレーム選択処理は１フレーム期間よりも長い時間間隔を空けて行うこともできる。
例えば図１６に示すように、１フレーム期間よりも長い一定時間を定めておき、フレーム選択処理を行ってから該一定時間が経過することを条件として、次のフレーム選択処理を実行する。

これにより、フレーム合わせの処理回数が低減され、処理負担の軽減を図ることができる。
通常、各撮像装置２の垂直同期信号に１フレーム期間分のずれが生じるには数十秒程度の時間を要する。該時間を「Ｘ」とし、基準撮像装置に対するフレームずれ許容量を仮に半フレーム期間としたときには、上記の一定時間としては「Ｘ／２」で表される時間を設定すればよい。
なお、上記の一定時間としては、例えば１秒等、１フレーム期間よりも長い任意の時間を設定可能である。

図１７は、上記した第一変形例としてのフレーム選択を実現するための具体的な処理手順を示したフローチャートである。
先の図１３との差異点は、ステップＳ２０１〜ステップＳ２０４の処理が追加された点である。
具体的に、この場合のフレーム選択部１９は、ステップＳ１０４で基準撮像装置の垂直同期発生が確認されたことに応じ、ステップＳ２０１でタイムカウントをスタートし、ステップＳ１０５に進む。

また、この場合のフレーム選択部１９は、ステップＳ１１０で撮像装置識別値ｎが最大値ｎＭＡＸ以上であると判定した場合に、ステップＳ２０２、ステップＳ２０３の処理により、一定時間の経過、基準撮像装置の切り替え条件成立の何れかが生じるまで待機する。
ステップＳ２０２で一定時間が経過したと判定した場合、フレーム選択部１９はステップＳ２０４でタイムカウントをリセットした上でステップＳ１０１に戻る。一方、ステップＳ２０３で基準撮像装置の切り替え条件が成立したと判定した場合、フレーム選択部１９はスステップＳ２０５でタイムカウントをリセットした上でステップＳ１０２に戻る。

これにより、ステップＳ１０６〜Ｓ１０９によるフレーム選択のための処理は、初回の実行後、一定時間が経過し基準撮像装置の垂直同期が発生したことを条件に繰り返し実行される。

［6-2．第二変形例］

第二変形例は、各撮像装置２からのフレーム画像データＧ−１〜Ｇ−４を１枚の画像データに統合するのではなく、図１８に示すように時間軸方向に統合するものである。
例えば、パノラマ動画データＭのフレームレートが６０ｆｐｓであり、本例のようにパノラマ画像データＰが４枚の画像を用いる場合を前提とすると、フレーム画像データＧ−１、Ｇ−２、Ｇ−３、Ｇ−４の個々をフレーム画像として含む動画像データとして、２４０ｆｐｓの動画像データを生成する。なお、本例の場合、該動画像データの画サイズは例えばフルＨＤサイズとされる。

この場合、統合側の装置構成としては、図１９に示す画像転送装置１Ａのように、統合部１３に代えて統合制御部５５を、またエンコード部１４に代えてエンコード部１４Ａをそれぞれ設ける。
エンコード部１４Ａは、４Ｋ画サイズによる動画像データではなく、フルＨＤ画サイズによるハイフレームレート（本例では２４０ｆｐｓ）の動画像データ（圧縮動画像データ）を生成する。

統合制御部５５は、エンコード部１４Ａが生成する動画像データにおいて、フレーム画像データＧ−１〜Ｇ−４が軸間軸上で所定の順番により配列されるように制御する。具体的に、本例では図１８に例示したように時間軸上でフレーム画像データＧ−１、Ｇ−２、Ｇ−３、Ｇ−４の順で配列されるように、各フレームバッファ１２から選択出力される画像の順序を制御する。

ここで、エンコード部１４Ａは、統合制御部５５からの指示に従い、生成する動画像データ中にフレーム画像データＧ−１〜Ｇ−４で成るフレームユニットごとの区切りを表す情報を付加する。すなわち、単一ストリームとしてのストリームデータに対しフレーム画像データＧの統合単位ごとの区切りを表す区切り情報Ｄｖを付加する。

一方、パノラマ合成側の装置構成としては、図２０に合成動画生成装置４Ａとして示すように、第一デコード部４２に代えて第一デコード部４２Ａを、またスティッチ処理部４４に代えてスティッチ処理部４４Ａをそれぞれ設ける。
第一デコード部４２Ａは、上記したハイフレームレートの動画像データについてのデコード機能を有する。

スティッチ処理部４４Ａは、第一デコード部４２Ａによりデコードされた動画像データに基づいてパノラマ画像データＰの生成を行う。この際、スティッチ処理部４４Ａは、第一デコード部４２Ａによりデコードされた動画像データに含まれる区切り情報Ｄｖに基づき、１枚分のパノラマ画像データＰの生成に用いるフレーム画像データＧの組（フレームユニット）を識別する。
この際、第一デコード部４２Ａによりデコードされた動画像データにおいては、フレーム画像データＧ−１〜Ｇ−４が時間軸上で所定順序により配列されているため、スティッチ処理部４４Ａは正しい画像組み合わせに対してそれぞれスティッチ処理を行うことができる。具体的に、この場合のスティッチ処理部４４Ａは、区切り情報Ｄｖで特定される４枚のフレーム画像データＧごとに、時間軸上において１番目に位置するフレーム画像データＧ（Ｇ−１）と２番目に位置するフレーム画像データＧ（Ｇ−２）との間、及び該２番目に位置するフレーム画像データＧと３番目に位置するフレーム画像データＧ（Ｇ−３）との間、及び該３番目に位置するフレーム画像データＧと４番目に位置するフレーム画像データＧ（Ｇ−４）との間のそれぞれについてスティッチ処理を行う。
これにより、図２に示した正しい画像配列によるパノラマ画像データＰを生成することができる。

なお、ネットワーク３を介した動画像データのリアルタイム転送を行う場合等を考慮し、合成動画生成装置４Ａ側に転送する動画像データのフレームレートは例えば１２０ｆｐｓに抑えることもできる。この場合、パノラマ動画データＭのフレームレートとしては３０ｆｐｓとなる。そのため、統合時において各撮像装置２からの動画像データについてフレーム間引きを行うことになる。つまり、本例においては、各撮像装置２から毎秒６０枚入力されるフレーム画像データＧを半数に間引きする。
ここで、パノラマ動画データＭのフレームレートは上記で例示したレートに限定されるものではない。

［6-3．第三変形例］

第三変形例は、基準撮像装置の切り替えに係る変形例である。
基準撮像装置の切り替えは、上述した操作入力に基づく切り替えに限らず、各撮像装置２から入力される動画像データの動き量に基づき行うこともできる。

図２１は、第三変形例としての画像転送装置１Ｂの内部構成を示したブロック図である（各撮像装置２も併せて示している）。
画像転送装置１Ｂにおいては、フレーム選択部１９に代えてフレーム選択部１９Ａが設けられ、さらに、各撮像装置２から入力される動画像データについてそれぞれ動き量を検出する動き量検出部５６が設けられる。

フレーム選択部１９Ａは、動き量検出部５６により検出される各動画像データの動き量に基づき、基準撮像装置の切り替えを行う。具体的には、例えば動き量の最も大きい被写体が含まれる動画像データの入力元の撮像装置２を基準撮像装置に切り替える。
或いは、画像全体の動き量の平均値が最も大きい動画像データの入力元の撮像装置２を基準撮像装置に切り替えることもできる。さらには、動き量が一定量以上となる画像領域の合計面積が最大となる動画像データの入力元の撮像装置２を基準撮像装置に切り替えるということも考えられる。

上記のような動き量に基づく基準撮像装置の切り替えを行うことで、観察者が注目する可能性の高い被写体を撮像している撮像装置２を自動的に基準撮像装置に切り替えることが可能となる。従って、基準撮像装置の切り替えに係るユーザの操作負担軽減を図ることができる。

［6-4．第四変形例］

第四変形例は、縦方向のパノラマ合成を行う場合に好適な変形例である。
図２２は、第四変形例において前提とするパノラマ画像における各画像の配置例を示している。
この場合のパノラマ画像データＰにおいては、各撮像装置２からのフレーム画像データＧ−１〜Ｇ−４を田の字状に配置する。具体的には、フレーム画像データＧ−１は左上位置、フレーム画像データＧ−２は右上位置、フレーム画像データＧ−３は左下位置、フレーム画像データＧ−４は右下位置に配置される。

ここで、図２２におけるフレーム画像データＧ−１とＧ−３、フレーム画像データＧ−２とＧ−４のように、フレーム画像データＧを縦方向にパノラマ合成する場合には、撮像装置２における撮像素子が例えばＣＯＭＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等のローリングシャッタ方式が採用される撮像素子である場合に注意を要する。すなわち、この場合は、合成対象とする各フレーム画像データＧを露光開始タイミング基準で選択してしまうと、画像間の繋がりが円滑にならない虞がある。
図２２では、白丸を露光開始タイミング、黒丸を露光終了タイミングとして、ローリングシャッタ方式が採用された場合での各フレーム画像データＧにおける露光順序を実線矢印と点線矢印により模式的に表しているが、この図より、縦方向に合成される各画像間のフレーム合わせを露光開始タイミング基準で行ってしまうと、それら画像間の繋ぎ目部分において露光開始タイミングの差が大きくなってしまうことが分かる。このように縦方向に配列された画像間の繋ぎ目部分における露光開始タイミング差が大きくなると、特に動きの大きな被写体が撮像されている場合に、上下画像間で被写体位置のずれが生じてしまい、画質の劣化を招来する。

そこで、縦方向の合成対象とされる各動画像データのフレーム選択処理としては、上下何れか一方の動画像データの入力元である撮像装置２を基準撮像装置とし、上下何れか他方の動画像データについては、露光開始タイミングが基準撮像装置の選択フレーム画像（基準フレーム画像）の露光終了タイミングに対して最も近いフレーム画像を選択する。

図２３は、縦方向の合成対象とされた各動画像データ間について行われるフレーム選択処理のイメージ図である。なお、図２３では上下方向に配列された撮像装置２のうち上側に位置された撮像装置２が基準撮像装置である場合を例示している。
この場合のフレーム選択処理では、基準フレーム画像の露光開始タイミングではなく露光終了タイミングを基準とするため、フレーム選択にあたり基準とする垂直同期発生タイミングとしては、基準フレーム画像のフレーム期間における垂直同期発生タイミングではなく、その次のフレーム期間の垂直同期発生タイミングとする（図中「上側画像」における斜線を付したフレーム画像と矢印を付した垂直同期発生タイミングとの関係を参照）。
下側の撮像装置２から入力された動画像データについては、この基準とする垂直同期発生タイミングに対し、垂直同期発生タイミングが最も近いフレーム画像データＧを選択する。

具体的な処理として、この場合のフレーム選択部１９（又は１９Ａ）は、下側の撮像装置２からの動画像データについて、垂直同期発生タイミングごとに、該垂直同期発生タイミングからその後の直近に到来する基準撮像装置の垂直同期発生タイミングまでの時間差Ｖｄ１を計測する。そして、時間差Ｖｄ１が半フレーム期間未満であるか否かを判定し、半フレーム期間未満であれば、現フレーム期間のフレーム画像データＧ、つまり時間差Ｖｄ１の計測起点とした垂直同期発生タイミングがフレーム期間開始タイミングとされたフレーム画像データＧを選択する。また、半フレーム期間未満でなければ、現フレーム期間の次のフレーム期間のフレーム画像データＧを選択する。

なお、上記では時間差Ｖｄ１に基づきフレーム選択を行ったが、図中の時間差Ｖｄ２、すなわち基準フレーム画像の露光終了タイミングからその直後における下側の撮像装置２の垂直同期発生タイミングまでの時間差に基づいてフレーム選択を行うこともできる。具体的には、時間差Ｖｄ２が半フレーム期間未満でなければ現フレーム期間、半フレーム期間未満であれば現フレーム期間の次のフレーム期間のフレーム画像データＧを選択するものである。

なお、上記では基準フレーム画像の露光終了タイミングとして、基準フレーム画像の次のフレーム期間の垂直同期発生タイミング（フレーム期間開始タイミング）を用いたが、該露光終了タイミングとしては垂直同期信号以外の他の信号に基づき求めることもできる。例えば、各撮像装置２より露光終了タイミングを表す垂直同期信号とは別途の信号を入力し、該信号に基づいて露光終了タイミングを求めることもできる。

ここで、図２２の例において、横方向の合成対象画像（Ｇ−１とＧ−２及びＧ−３とＧ−４）については、横方向に配列される何れか一つの撮像装置２を基準撮像装置とし、他の撮像装置２からの動画像データのフレーム選択は露光開始タイミング基準で行えばよい。具体的には、露光開始タイミングが基準フレーム画像の露光開始タイミングに最も近いフレーム画像を選択すればよい。
この際、基準撮像装置は、全ての撮像装置２のうち少なくとも一つを定めておけばよい。つまり、図２２の例では、基準撮像装置を例えばフレーム画像データＧ−１の入力元の撮像装置２のみとし、他の撮像装置２についてのフレーム選択は、露光開始タイミングが基準フレーム画像（つまりフレーム画像データＧ−１）の露光開始タイミングに最も近いフレーム画像を選択することで行うといったものである。

なお、縦方向に三つ以上のフレーム画像をパノラマ合成する場合には、上下に隣接する二つのフレーム画像の組のそれぞれについて、図２３で説明した手法と同様の手法によりフレーム選択を行えばよい。例えば、図２２においてフレーム画像データＧ−３のさらに下側に合成すべきフレーム画像（フレーム画像αとする）が存在している場合には、フレーム画像データＧ−３の入力元の撮像装置２を基準撮像装置とし、フレーム画像αの入力元の撮像装置２から入力される動画像データのフレーム選択を図２３で説明したものと同様の手法で行えばよい。

［6-5．その他変形例］

上記では、４台の撮像装置２から入力された動画像データをパノラマ合成したパノラマ動画データＭを生成する例を挙げたが、用いる撮像装置２の台数、すなわち合成対象とする画像数については「４」に限定されず、少なくとも「２」以上とされればよい。
図２４は、１６台の撮像装置２を用いてパノラマ動画データＭを生成する例を示している。具体的に図２４では、１６枚の画像を、横方向４枚を１列として縦方向に４列並べた形式によるパノラマ動画データＭを生成する例を示している。
この場合、１ストリームにより送出する統合動画データＵの画サイズとしては、いわゆる８Ｋ（８Ｋ４Ｋ）の画サイズとでき、画像転送装置１（又は１Ａ、１Ｂ）に設けるエンコード部、合成動画生成装置４（又は４Ａ）に設けるデコード部として汎用的な８Ｋ画サイズ対応のエンコード部、デコード部を用いることが可能となる。

また、上記では、基準撮像装置の切り替えを指示するための操作部が画像転送装置１に設けられた例を挙げたが（操作部１８）、該操作部は、合成動画生成装置４側に設けることもできる。この場合、操作入力情報はネットワーク３を介して画像転送装置１側に転送されるようにする。
これにより、パノラマ動画データＭの観察者が任意に基準撮像装置の切り替え指示を画像転送装置１に対して行うことができる。

さらに、上記では、複数の撮像装置２から入力される動画像データをパノラマ合成して観察者に提示する用途を例示したが、パノラマ合成は必須ではない。例えば、各撮像装置２からの動画像データをネットワーク３経由で転送して観察者に提示するケースとして、各動画像データを個別の画面上に表示出力するケースも考えられる。この場合において、本技術に係るフレーム選択処理を伴う１ストリーム動画像データの転送技術を適用することで、提示される各動画像のタイミングずれ抑制を図ることができる。
つまり、本技術は同期再生が前提とされる各動画像データをネットワーク経由で転送して観察者に提示する用途に広く好適に適用可能なものである。

＜７．実施形態のまとめ＞

上記のように実施形態としての画像転送装置（１、１Ａ、又は１Ｂ）は、動画像を撮像する複数の撮像装置（２）のうち特定撮像装置（基準撮像装置）から入力される垂直同期信号を基準として、複数の撮像装置から入力される動画像データからフレーム画像データを選択するフレーム選択部（１９又は１９Ａ）と、フレーム選択部が選択したフレーム画像データを単一ストリームに統合して送出する統合送出部（統合部１３とエンコード部１４、又は統合制御部５５とエンコード部１４Ａ）と、を備えている。

これにより、複数の撮像装置が非同期で動画撮像を行う場合であっても、特定撮像装置の垂直同期信号に基づいて、撮像タイミング差の少ないフレーム画像を各動画像から選択することが可能とされる。
また、複数の画像を単一ストリームに統合して送出するため、個別ストリームで並列伝送する場合のように各画像間の同期が困難となることがない。
従って、複数の撮像装置から入力される動画像をネットワーク伝送を経て表示出力する場合における各動画像の同期を図る上で、タイムコード等による同期支援機能のない安価な撮像装置の使用を可能とし、システムコストの削減を図ることができる。

また、実施形態としての画像転送装置においては、フレーム選択部は、特定撮像装置の動画像データから選択したフレーム画像データである基準フレーム画像データとの露光開始タイミング差に基づき、撮像装置のうち特定撮像装置を除いた他の撮像装置の動画像データからのフレーム画像データの選択を行っている。

これにより、特定撮像装置以外の撮像装置のフレーム画像データとして、基準フレーム画像データに対し露光開始タイミングが近接したフレーム画像データを選択することが可能とされる。
従って、各動画像間の同期を図ることができる。

さらに、実施形態としての画像転送装置においては、フレーム選択部は、他の撮像装置の動画像データにおいて基準フレーム画像データとフレーム期間が重複している二つのフレーム画像データのうち、露光開始タイミングが基準フレーム画像データの露光開始タイミングに近い方のフレーム画像データを選択している。

これにより、基準撮像装置のフレーム画像に対し最も撮像タイミングが近いフレーム画像が選択される。
従って、各動画像間の同期を図ることができる。

さらにまた、実施形態としての画像転送装置においては、フレーム選択部は、フレーム期間が重複している二つのフレーム画像データのうち一方のフレーム画像データについて基準フレーム画像データとの露光開始タイミング差が半フレーム期間未満であるか否かを判定し、半フレーム期間未満であれば一方のフレーム画像データを選択し、半フレーム期間未満でなければ他方のフレーム画像データを選択している。

これにより、選択対象とされる二つのフレーム画像データのうち他方について基準フレーム画像との露光開始タイミング差を計測する必要がなくなる。
従って、処理負担の軽減を図ることができる。

また、実施形態としての画像転送装置においては、フレーム選択部は、特定撮像装置の動画像データから選択したフレーム画像データである基準フレーム画像データの露光終了タイミングと、撮像装置のうち特定撮像装置を除いた他の撮像装置の動画像データにおけるフレーム画像データの露光開始タイミングとのタイミング差に基づき、他の撮像装置の動画像データからのフレーム画像データの選択を行っている。

これにより、他の撮像装置のフレーム画像データとして、露光開始タイミングが基準フレーム画像データの露光終了タイミングに対して近接したフレーム画像データを選択することが可能とされる。
従って、ローリングシャッタ方式で撮像された画像を縦方向にパノラマ合成する場合において、画像間の繋ぎ目部分における露光タイミング差を抑制でき、画質の向上を図ることができる。

さらに、実施形態としての画像転送装置においては、フレーム選択部は、選択を特定撮像装置の動画像データにおける１フレームごとに行っている。

これにより、フレーム合わせの処理が１フレームごとに行われ、動画像間のタイミングずれ抑制効果を高めることができる。

さらにまた、実施形態の画像転送装置においては、フレーム選択部は、選択を特定撮像装置の動画像データにおける１フレーム期間よりも長い時間間隔を空けて行っている。

これにより、フレーム合わせの処理回数が低減され、処理負担の軽減を図ることができる。

また、実施形態としての画像転送装置においては、フレーム選択部は、特定撮像装置の切り替え機能を有している。

これにより、フレーム合わせ処理に伴うフレーム画像のスキップやリピートの生じない特定撮像装置を切り替えることが可能とされる。
仮に、特定撮像装置の切り替えが不能とされていると、例えば動き量等の面で観察者が注目し易い被写体を撮像している撮像装置が特定撮像装置ではない場合に、フレーム画像のスキップやリピートが知覚され易くなってしまう。すなわち、画質の低下が知覚され易い。
上記のように特定撮像装置の切り替えを可能とすることで、フレーム合わせ処理に伴うフレーム画像のスキップやリピートを知覚され難くすることができ、画質低下の抑制を図ることができる。

さらに、実施形態としての画像転送装置においては、フレーム選択部は、操作入力情報に基づき特定撮像装置の切り替えを行っている。

これにより、特定撮像装置をユーザが任意に切り替えることができる。

さらにまた、実施形態としての画像転送装置においては、フレーム選択部（１９Ａ）は、それぞれの撮像装置より入力される動画像データにおける動き量に基づき特定撮像装置の切り替えを行っている。

これにより、観察者が注目し易い被写体を撮像している撮像装置を自動的に特定撮像装置に切り替えることが可能とされる。
従って、基準撮像装置の切り替えに係るユーザの操作負担軽減を図ることができる。

また、実施形態としての画像転送装置においては、フレーム選択部は、特定撮像装置の垂直同期信号を統合送出部（統合部１３とエンコード部１４、又は統合制御部５５とエンコード部１４Ａ）に基準垂直同期信号として出力し、特定撮像装置を切り替える際は、切り替え元の撮像装置の垂直同期信号による切り替え直後の垂直同期発生タイミングが、基準垂直同期信号が表す垂直同期発生タイミングとして混在されないように、基準垂直同期信号として出力する垂直同期信号の切り替えを行っている。

上記の混在を許容すると、基準垂直同期信号において、比較的短時間に垂直同期発生タイミングが連発してしまう可能性がある。該連発が生じると、統合送出部による統合処理等、フレーム選択の後段処理において動作不具合が生じる虞がある。
このため、上記の混在が生じないようにすることで、システム動作不具合の発生防止が図られる。

さらに、実施形態としての画像転送装置においては、統合送出部は、フレーム選択部が選択したフレーム画像データを１枚の画像データに統合して送出している。

これにより、例えばフルＨＤ画サイズのフレーム画像データ４枚を１枚の４Ｋ画サイズの画像データに統合することが可能となり、特殊な画サイズに対応したコーデックを不要とすることができる。

さらにまた、実施形態としての画像転送装置においては、統合送出部は、フレーム選択部が選択したフレーム画像データを時間軸方向に統合して送出している。

これにより、特殊な画サイズに対応したコーデックを不要とすることができる。

また、実施形態としての画像転送装置においては、統合送出部は、単一ストリームとしてのストリームデータに対しフレーム画像データの統合単位ごとの区切りを表す区切り情報（Ｄｖ）を付加している。

仮に、区切り情報が付加されなければ、１ストリームデータの受け側において例えば画像解析等により１統合単位を構成する各画像を判別する処理を行うことになる。
そのような処理が不要となり、上記受け側での処理負担軽減を図ることができる。

また、実施形態としての動画像生成システム（１００）は、動画像を撮像する複数の撮像装置のうち特定撮像装置から入力される垂直同期信号を基準として、複数の撮像装置から入力される動画像データからフレーム画像データを選択するフレーム選択部と、フレーム選択部が選択したフレーム画像データを単一ストリームに統合して送出する統合送出部と、統合送出部が送出した単一ストリームに含まれるフレーム画像データをフレーム画像として含む動画像データを生成する動画像生成部（スティッチ処理部４４又は４４Ａとエンコード部４５）と、を備えている。

このような動画像生成システムによっても、上記した実施形態としての画像転送装置と同様の効果を得ることができる。

また、実施形態としての動画像生成システムにおいては、動画像生成部は、単一ストリームに含まれるフレーム画像データをパノラマ合成し、該パノラマ合成により得た合成画像をフレーム画像として含む動画像データを生成している。

これにより、複数の撮像装置から入力される動画像をネットワーク伝送を経てパノラマ合成して表示出力する場合における各動画像の同期を図る上で、タイムコード等による同期支援機能のない安価な撮像装置の使用を可能とし、システムコストの削減を図ることができる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

＜８．応用例＞
［8-1．応用例１］

本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、手術室システムに適用されてもよい。

図２５は、本開示に係る技術が適用され得る手術室システム５１００の全体構成を概略的に示す図である。図２５を参照すると、手術室システム５１００は、手術室内に設置される装置群が視聴覚コントローラ（AV Controller）５１０７及び手術室制御装置５１０９を介して互いに連携可能に接続されることにより構成される。

手術室には、様々な装置が設置され得る。図２５では、一例として、内視鏡下手術のための各種の装置群５１０１と、手術室の天井に設けられ術者の手元を撮像するシーリングカメラ５１８７と、手術室の天井に設けられ手術室全体の様子を撮像する術場カメラ５１８９と、複数の表示装置５１０３Ａ〜５１０３Ｄと、レコーダ５１０５と、患者ベッド５１８３と、照明５１９１と、を図示している。

ここで、これらの装置のうち、装置群５１０１は、後述する内視鏡手術システム５１１３に属するものであり、内視鏡や当該内視鏡によって撮像された画像を表示する表示装置等からなる。内視鏡手術システム５１１３に属する各装置は医療用機器とも呼称される。一方、表示装置５１０３Ａ〜５１０３Ｄ、レコーダ５１０５、患者ベッド５１８３及び照明５１９１は、内視鏡手術システム５１１３とは別個に、例えば手術室に備え付けられている装置である。これらの内視鏡手術システム５１１３に属さない各装置は非医療用機器とも呼称される。視聴覚コントローラ５１０７及び／又は手術室制御装置５１０９は、これら医療機器及び非医療機器の動作を互いに連携して制御する。

視聴覚コントローラ５１０７は、医療機器及び非医療機器における画像表示に関する処理を、統括的に制御する。具体的には、手術室システム５１００が備える装置のうち、装置群５１０１、シーリングカメラ５１８７及び術場カメラ５１８９は、手術中に表示すべき情報（以下、表示情報ともいう）を発信する機能を有する装置（以下、発信元の装置とも呼称する）であり得る。また、表示装置５１０３Ａ〜５１０３Ｄは、表示情報が出力される装置（以下、出力先の装置とも呼称する）であり得る。また、レコーダ５１０５は、発信元の装置及び出力先の装置の双方に該当する装置であり得る。視聴覚コントローラ５１０７は、発信元の装置及び出力先の装置の動作を制御し、発信元の装置から表示情報を取得するとともに、当該表示情報を出力先の装置に送信し、表示又は記録させる機能を有する。なお、表示情報とは、手術中に撮像された各種の画像や、手術に関する各種の情報（例えば、患者の身体情報や、過去の検査結果、術式についての情報等）等である。

具体的には、視聴覚コントローラ５１０７には、装置群５１０１から、表示情報として、内視鏡によって撮像された患者の体腔内の術部の画像についての情報が送信され得る。また、シーリングカメラ５１８７から、表示情報として、当該シーリングカメラ５１８７によって撮像された術者の手元の画像についての情報が送信され得る。また、術場カメラ５１８９から、表示情報として、当該術場カメラ５１８９によって撮像された手術室全体の様子を示す画像についての情報が送信され得る。なお、手術室システム５１００に撮像機能を有する他の装置が存在する場合には、視聴覚コントローラ５１０７は、表示情報として、当該他の装置からも当該他の装置によって撮像された画像についての情報を取得してもよい。

あるいは、例えば、レコーダ５１０５には、過去に撮像されたこれらの画像についての情報が視聴覚コントローラ５１０７によって記録されている。視聴覚コントローラ５１０７は、表示情報として、レコーダ５１０５から当該過去に撮像された画像についての情報を取得することができる。なお、レコーダ５１０５には、手術に関する各種の情報も事前に記録されていてもよい。

視聴覚コントローラ５１０７は、出力先の装置である表示装置５１０３Ａ〜５１０３Ｄの少なくともいずれかに、取得した表示情報（すなわち、手術中に撮影された画像や、手術に関する各種の情報）を表示させる。図示する例では、表示装置５１０３Ａは手術室の天井から吊り下げられて設置される表示装置であり、表示装置５１０３Ｂは手術室の壁面に設置される表示装置であり、表示装置５１０３Ｃは手術室内の机上に設置される表示装置であり、表示装置５１０３Ｄは表示機能を有するモバイル機器（例えば、タブレットＰＣ（Personal Computer））である。

また、図２５では図示を省略しているが、手術室システム５１００には、手術室の外部の装置が含まれてもよい。手術室の外部の装置は、例えば、病院内外に構築されたネットワークに接続されるサーバや、医療スタッフが用いるＰＣ、病院の会議室に設置されるプロジェクタ等であり得る。このような外部装置が病院外にある場合には、視聴覚コントローラ５１０７は、遠隔医療のために、テレビ会議システム等を介して、他の病院の表示装置に表示情報を表示させることもできる。

手術室制御装置５１０９は、非医療機器における画像表示に関する処理以外の処理を、統括的に制御する。例えば、手術室制御装置５１０９は、患者ベッド５１８３、シーリングカメラ５１８７、術場カメラ５１８９及び照明５１９１の駆動を制御する。

手術室システム５１００には、集中操作パネル５１１１が設けられており、ユーザは、当該集中操作パネル５１１１を介して、視聴覚コントローラ５１０７に対して画像表示についての指示を与えたり、手術室制御装置５１０９に対して非医療機器の動作についての指示を与えることができる。集中操作パネル５１１１は、表示装置の表示面上にタッチパネルが設けられて構成される。

図２６は、集中操作パネル５１１１における操作画面の表示例を示す図である。図２６では、一例として、手術室システム５１００に、出力先の装置として、２つの表示装置が設けられている場合に対応する操作画面を示している。図２６を参照すると、操作画面５１９３には、発信元選択領域５１９５と、プレビュー領域５１９７と、コントロール領域５２０１と、が設けられる。

発信元選択領域５１９５には、手術室システム５１００に備えられる発信元装置と、当該発信元装置が有する表示情報を表すサムネイル画面と、が紐付けられて表示される。ユーザは、表示装置に表示させたい表示情報を、発信元選択領域５１９５に表示されているいずれかの発信元装置から選択することができる。

プレビュー領域５１９７には、出力先の装置である２つの表示装置（Monitor1、Monitor2）に表示される画面のプレビューが表示される。図示する例では、１つの表示装置において４つの画像がＰｉｎＰ表示されている。当該４つの画像は、発信元選択領域５１９５において選択された発信元装置から発信された表示情報に対応するものである。４つの画像のうち、１つはメイン画像として比較的大きく表示され、残りの３つはサブ画像として比較的小さく表示される。ユーザは、４つの画像が表示された領域を適宜選択することにより、メイン画像とサブ画像を入れ替えることができる。また、４つの画像が表示される領域の下部には、ステータス表示領域５１９９が設けられており、当該領域に手術に関するステータス（例えば、手術の経過時間や、患者の身体情報等）が適宜表示され得る。

コントロール領域５２０１には、発信元の装置に対して操作を行うためのＧＵＩ（Graphical User Interface）部品が表示される発信元操作領域５２０３と、出力先の装置に対して操作を行うためのＧＵＩ部品が表示される出力先操作領域５２０５と、が設けられる。図示する例では、発信元操作領域５２０３には、撮像機能を有する発信元の装置におけるカメラに対して各種の操作（パン、チルト及びズーム）を行うためのＧＵＩ部品が設けられている。ユーザは、これらのＧＵＩ部品を適宜選択することにより、発信元の装置におけるカメラの動作を操作することができる。なお、図示は省略しているが、発信元選択領域５１９５において選択されている発信元の装置がレコーダである場合（すなわち、プレビュー領域５１９７において、レコーダに過去に記録された画像が表示されている場合）には、発信元操作領域５２０３には、当該画像の再生、再生停止、巻き戻し、早送り等の操作を行うためのＧＵＩ部品が設けられ得る。

また、出力先操作領域５２０５には、出力先の装置である表示装置における表示に対する各種の操作（スワップ、フリップ、色調整、コントラスト調整、２Ｄ表示と３Ｄ表示の切り替え）を行うためのＧＵＩ部品が設けられている。ユーザは、これらのＧＵＩ部品を適宜選択することにより、表示装置における表示を操作することができる。

なお、集中操作パネル５１１１に表示される操作画面は図示する例に限定されず、ユーザは、集中操作パネル５１１１を介して、手術室システム５１００に備えられる、視聴覚コントローラ５１０７及び手術室制御装置５１０９によって制御され得る各装置に対する操作入力が可能であってよい。

図２７は、以上説明した手術室システムが適用された手術の様子の一例を示す図である。シーリングカメラ５１８７及び術場カメラ５１８９は、手術室の天井に設けられ、患者ベッド５１８３上の患者５１８５の患部に対して処置を行う術者（医者）５１８１の手元及び手術室全体の様子を撮影可能である。シーリングカメラ５１８７及び術場カメラ５１８９には、倍率調整機能、焦点距離調整機能、撮影方向調整機能等が設けられ得る。照明５１９１は、手術室の天井に設けられ、少なくとも術者５１８１の手元を照射する。照明５１９１は、その照射光量、照射光の波長（色）及び光の照射方向等を適宜調整可能であってよい。

内視鏡手術システム５１１３、患者ベッド５１８３、シーリングカメラ５１８７、術場カメラ５１８９及び照明５１９１は、図２５に示すように、視聴覚コントローラ５１０７及び手術室制御装置５１０９（図２７では図示せず）を介して互いに連携可能に接続されている。手術室内には、集中操作パネル５１１１が設けられており、上述したように、ユーザは、当該集中操作パネル５１１１を介して、手術室内に存在するこれらの装置を適宜操作することが可能である。

以下、内視鏡手術システム５１１３の構成について詳細に説明する。図示するように、内視鏡手術システム５１１３は、内視鏡５１１５と、その他の術具５１３１と、内視鏡５１１５を支持する支持アーム装置５１４１と、内視鏡下手術のための各種の装置が搭載されたカート５１５１と、から構成される。

内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５１３９ａ〜５１３９ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５１３９ａ〜５１３９ｄから、内視鏡５１１５の鏡筒５１１７や、その他の術具５１３１が患者５１８５の体腔内に挿入される。図示する例では、その他の術具５１３１として、気腹チューブ５１３３、エネルギー処置具５１３５及び鉗子５１３７が、患者５１８５の体腔内に挿入されている。また、エネルギー処置具５１３５は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５１３１はあくまで一例であり、術具５１３１としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。

内視鏡５１１５によって撮影された患者５１８５の体腔内の術部の画像が、表示装置５１５５に表示される。術者５１８１は、表示装置５１５５に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５１３５や鉗子５１３７を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５１３３、エネルギー処置具５１３５及び鉗子５１３７は、手術中に、術者５１８１又は助手等によって支持される。

（支持アーム装置）
支持アーム装置５１４１は、ベース部５１４３から延伸するアーム部５１４５を備える。図示する例では、アーム部５１４５は、関節部５１４７ａ、５１４７ｂ、５１４７ｃ、及びリンク５１４９ａ、５１４９ｂから構成されており、アーム制御装置５１５９からの制御により駆動される。アーム部５１４５によって内視鏡５１１５が支持され、その位置及び姿勢が制御される。これにより、内視鏡５１１５の安定的な位置の固定が実現され得る。

（内視鏡）
内視鏡５１１５は、先端から所定の長さの領域が患者５１８５の体腔内に挿入される鏡筒５１１７と、鏡筒５１１７の基端に接続されるカメラヘッド５１１９と、から構成される。図示する例では、硬性の鏡筒５１１７を有するいわゆる硬性鏡として構成される内視鏡５１１５を図示しているが、内視鏡５１１５は、軟性の鏡筒５１１７を有するいわゆる軟性鏡として構成されてもよい。

鏡筒５１１７の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５１１５には光源装置５１５７が接続されており、当該光源装置５１５７によって生成された光が、鏡筒５１１７の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５１８５の体腔内の観察対象に向かって照射される。なお、内視鏡５１１５は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

カメラヘッド５１１９の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）５１５３に送信される。なお、カメラヘッド５１１９には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。

なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５１１９には撮像素子が複数設けられてもよい。この場合、鏡筒５１１７の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。

（カートに搭載される各種の装置）
ＣＣＵ５１５３は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡５１１５及び表示装置５１５５の動作を統括的に制御する。具体的には、ＣＣＵ５１５３は、カメラヘッド５１１９から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５１５３は、当該画像処理を施した画像信号を表示装置５１５５に提供する。また、ＣＣＵ５１５３には、図２５に示す視聴覚コントローラ５１０７が接続される。ＣＣＵ５１５３は、画像処理を施した画像信号を視聴覚コントローラ５１０７にも提供する。また、ＣＣＵ５１５３は、カメラヘッド５１１９に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置５１６１を介して入力されてもよいし、上述した集中操作パネル５１１１を介して入力されてもよい。

表示装置５１５５は、ＣＣＵ５１５３からの制御により、当該ＣＣＵ５１５３によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５１１５が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５１５５としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５１５５として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５１５５が設けられてもよい。

光源装置５１５７は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡５１１５に供給する。

アーム制御装置５１５９は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５１４１のアーム部５１４５の駆動を制御する。

入力装置５１６１は、内視鏡手術システム５１１３に対する入力インタフェースである。ユーザは、入力装置５１６１を介して、内視鏡手術システム５１１３に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５１６１を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５１６１を介して、アーム部５１４５を駆動させる旨の指示や、内視鏡５１１５による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５１３５を駆動させる旨の指示等を入力する。

入力装置５１６１の種類は限定されず、入力装置５１６１は各種の公知の入力装置であってよい。入力装置５１６１としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５１７１及び／又はレバー等が適用され得る。入力装置５１６１としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５１５５の表示面上に設けられてもよい。

あるいは、入力装置５１６１は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head Mounted Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５１６１は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５１６１は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５１６１が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５１８１）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。

処置具制御装置５１６３は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５１３５の駆動を制御する。気腹装置５１６５は、内視鏡５１１５による視野の確保及び術者の作業空間の確保の目的で、患者５１８５の体腔を膨らめるために、気腹チューブ５１３３を介して当該体腔内にガスを送り込む。レコーダ５１６７は、手術に関する各種の情報を記録可能な装置である。プリンタ５１６９は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

以下、内視鏡手術システム５１１３において特に特徴的な構成について、更に詳細に説明する。

（支持アーム装置）
支持アーム装置５１４１は、基台であるベース部５１４３と、ベース部５１４３から延伸するアーム部５１４５と、を備える。図示する例では、アーム部５１４５は、複数の関節部５１４７ａ、５１４７ｂ、５１４７ｃと、関節部５１４７ｂによって連結される複数のリンク５１４９ａ、５１４９ｂと、から構成されているが、図２７では、簡単のため、アーム部５１４５の構成を簡略化して図示している。実際には、アーム部５１４５が所望の自由度を有するように、関節部５１４７ａ〜５１４７ｃ及びリンク５１４９ａ、５１４９ｂの形状、数及び配置、並びに関節部５１４７ａ〜５１４７ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５１４５は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５１４５の可動範囲内において内視鏡５１１５を自由に移動させることが可能になるため、所望の方向から内視鏡５１１５の鏡筒５１１７を患者５１８５の体腔内に挿入することが可能になる。

関節部５１４７ａ〜５１４７ｃにはアクチュエータが設けられており、関節部５１４７ａ〜５１４７ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５１５９によって制御されることにより、各関節部５１４７ａ〜５１４７ｃの回転角度が制御され、アーム部５１４５の駆動が制御される。これにより、内視鏡５１１５の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５１５９は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５１４５の駆動を制御することができる。

例えば、術者５１８１が、入力装置５１６１（フットスイッチ５１７１を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５１５９によってアーム部５１４５の駆動が適宜制御され、内視鏡５１１５の位置及び姿勢が制御されてよい。当該制御により、アーム部５１４５の先端の内視鏡５１１５を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５１４５は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５１４５は、手術室から離れた場所に設置される入力装置５１６１を介してユーザによって遠隔操作され得る。

また、力制御が適用される場合には、アーム制御装置５１５９は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５１４５が移動するように、各関節部５１４７ａ〜５１４７ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５１４５に触れながらアーム部５１４５を移動させる際に、比較的軽い力で当該アーム部５１４５を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５１１５を移動させることが可能となり、ユーザの利便性を向上させることができる。

ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５１１５が支持されていた。これに対して、支持アーム装置５１４１を用いることにより、人手によらずに内視鏡５１１５の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。

なお、アーム制御装置５１５９は必ずしもカート５１５１に設けられなくてもよい。また、アーム制御装置５１５９は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５１５９は、支持アーム装置５１４１のアーム部５１４５の各関節部５１４７ａ〜５１４７ｃにそれぞれ設けられてもよく、複数のアーム制御装置５１５９が互いに協働することにより、アーム部５１４５の駆動制御が実現されてもよい。

（光源装置）
光源装置５１５７は、内視鏡５１１５に術部を撮影する際の照射光を供給する。光源装置５１５７は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５１５７において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５１１９の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

また、光源装置５１５７は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５１１９の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

また、光源装置５１５７は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５１５７は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

（カメラヘッド及びＣＣＵ）
図２８を参照して、内視鏡５１１５のカメラヘッド５１１９及びＣＣＵ５１５３の機能についてより詳細に説明する。図２８は、図２７に示すカメラヘッド５１１９及びＣＣＵ５１５３の機能構成の一例を示すブロック図である。

図２８を参照すると、カメラヘッド５１１９は、その機能として、レンズユニット５１２１と、撮像部５１２３と、駆動部５１２５と、通信部５１２７と、カメラヘッド制御部５１２９と、を有する。また、ＣＣＵ５１５３は、その機能として、通信部５１７３と、画像処理部５１７５と、制御部５１７７と、を有する。カメラヘッド５１１９とＣＣＵ５１５３とは、伝送ケーブル５１７９によって双方向に通信可能に接続されている。

まず、カメラヘッド５１１９の機能構成について説明する。レンズユニット５１２１は、鏡筒５１１７との接続部に設けられる光学系である。鏡筒５１１７の先端から取り込まれた観察光は、カメラヘッド５１１９まで導光され、当該レンズユニット５１２１に入射する。レンズユニット５１２１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５１２１は、撮像部５１２３の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。

撮像部５１２３は撮像素子によって構成され、レンズユニット５１２１の後段に配置される。レンズユニット５１２１を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５１２３によって生成された画像信号は、通信部５１２７に提供される。

撮像部５１２３を構成する撮像素子としては、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５１８１は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。

また、撮像部５１２３を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者５１８１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５１２３が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５１２１も複数系統設けられる。

また、撮像部５１２３は、必ずしもカメラヘッド５１１９に設けられなくてもよい。例えば、撮像部５１２３は、鏡筒５１１７の内部に、対物レンズの直後に設けられてもよい。

駆動部５１２５は、アクチュエータによって構成され、カメラヘッド制御部５１２９からの制御により、レンズユニット５１２１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５１２３による撮像画像の倍率及び焦点が適宜調整され得る。

通信部５１２７は、ＣＣＵ５１５３との間で各種の情報を送受信するための通信装置によって構成される。通信部５１２７は、撮像部５１２３から得た画像信号をＲＡＷデータとして伝送ケーブル５１７９を介してＣＣＵ５１５３に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者５１８１が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５１２７には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５１７９を介してＣＣＵ５１５３に送信される。

また、通信部５１２７は、ＣＣＵ５１５３から、カメラヘッド５１１９の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５１２７は、受信した制御信号をカメラヘッド制御部５１２９に提供する。なお、ＣＣＵ５１５３からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５１２７には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５１２９に提供される。

なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５１５３の制御部５１７７によって自動的に設定される。つまり、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡５１１５に搭載される。

カメラヘッド制御部５１２９は、通信部５１２７を介して受信したＣＣＵ５１５３からの制御信号に基づいて、カメラヘッド５１１９の駆動を制御する。例えば、カメラヘッド制御部５１２９は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部５１２３の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５１２９は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５１２５を介してレンズユニット５１２１のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５１２９は、更に、鏡筒５１１７やカメラヘッド５１１９を識別するための情報を記憶する機能を備えてもよい。

なお、レンズユニット５１２１や撮像部５１２３等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５１１９について、オートクレーブ滅菌処理に対する耐性を持たせることができる。

次に、ＣＣＵ５１５３の機能構成について説明する。通信部５１７３は、カメラヘッド５１１９との間で各種の情報を送受信するための通信装置によって構成される。通信部５１７３は、カメラヘッド５１１９から、伝送ケーブル５１７９を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５１７３には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５１７３は、電気信号に変換した画像信号を画像処理部５１７５に提供する。

また、通信部５１７３は、カメラヘッド５１１９に対して、カメラヘッド５１１９の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。

画像処理部５１７５は、カメラヘッド５１１９から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５１７５は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。

画像処理部５１７５は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５１７５が複数のＧＰＵによって構成される場合には、画像処理部５１７５は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。

制御部５１７７は、内視鏡５１１５による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５１７７は、カメラヘッド５１１９の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５１７７は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５１１５にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５１７７は、画像処理部５１７５による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。

また、制御部５１７７は、画像処理部５１７５によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５１５５に表示させる。この際、制御部５１７７は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５１７７は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５１３５使用時のミスト等を認識することができる。制御部５１７７は、表示装置５１５５に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５１８１に提示されることにより、より安全かつ確実に手術を進めることが可能になる。

カメラヘッド５１１９及びＣＣＵ５１５３を接続する伝送ケーブル５１７９は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。

ここで、図示する例では、伝送ケーブル５１７９を用いて有線で通信が行われていたが、カメラヘッド５１１９とＣＣＵ５１５３との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５１７９を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５１７９によって妨げられる事態が解消され得る。

以上、本開示に係る技術が適用され得る手術室システム５１００の一例について説明した。なお、ここでは、一例として手術室システム５１００が適用される医療用システムが内視鏡手術システム５１１３である場合について説明したが、手術室システム５１００の構成はかかる例に限定されない。例えば、手術室システム５１００は、内視鏡手術システム５１１３に代えて、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。

本開示に係る技術は、以上説明した構成のうち、例えば術場カメラ５１８９やシーリングカメラ５１８７等の撮像装置により撮像された画像について好適に適用され得る。
例えば、上記した手術室システム５１００においては、術場カメラ５１８９を複数台設け、各術場カメラ５１８９による撮像画像を手術室の状況分析（例えば手術室内の人物の動き等の分析）や患者の観察に用いることが考えられる。より具体的には、複数の術場カメラ５１８９によってそれぞれ手術室内の人物の動きや機器の配置等を撮像し、それにより得られる複数の撮像画像を合成又は補間して得た画像に基づいて手術室の状況分析を行うことが考えられる。
この場合、例えば複数の術場カメラ５１８９を「複数の撮像装置」、視聴覚コントローラ５１０７を例えば「フレーム選択部」「統合送出部」として本技術を適用することができる。
また、上記した手術室システム５１００においては、術者や医療スタッフが身に付けたカメラの撮像画像を手術室の状況分析や患者の観察に用いることもできる。この場合、術者や医療スタッフにより身に付けられた複数のカメラを「複数の撮像装置」、視聴覚コントローラ５１０７を例えば「フレーム選択部」「統合送出部」として本技術を適用することができる。

また、上記では、複数のカメラにより撮像された複数の撮像画像を合成する例を挙げたが、単一のカメラにより異なるタイミングで撮像された複数の撮像画像を合成して医療的な分析に用いることもできる。例えば、ＤＰＩ（Digital Pathology Imaging）等の病理画像分析では、病理標本（病理切片を載置したプレパラート等）を載せる台を撮像する単一のカメラを固定配置し、台側を動かして単一のカメラによりタイミングの異なる複数の撮像画像を得るか、或いは台側を固定してカメラ側を動かすことでタイミングの異なる複数の撮像画像を得るが、この場合において、それらタイミングの異なる複数の撮像画像を合成して病理画像分析に用いることができる。なお、ＤＰＩにおいては、上記のように病理切片をカメラでスキャンして得られる複数の画像をスティッチして俯瞰画像を得るということが行われ、該俯瞰画像に基づき病理画像分析を行うことができる。

［8-2．応用例２］

本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

図２９は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図２９に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２９では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

ここで、図３０は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図３０には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図２９に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global System of Mobile communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２９の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図２９に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

本開示に係る技術は、以上説明した構成のうち、例えば撮像部７９１０，７９１２，７９１４，７９１６等の撮像装置により撮像された画像について好適に適用され得る。
例えば、上記した車両制御システム７０００においては、車両の周囲を撮像する撮像部７９１０，７９１２，７９１４，７９１６による撮像画像を汎用通信Ｉ／Ｆ７６２０を介して外部環境７７５０に存在するクラウドサーバ等の情報処理装置にアップロードする構成が考えられる。この場合、該情報処理装置では、アップロードされた複数の撮像画像を地図情報の作成やストリートビュー機能（路沿いの風景をパノラマ写真で提供する機能）用の画像生成に用いることができる。例えば、この場合における撮像部７９１０，７９１２，７９１４，７９１６による複数の撮像画像の送出について、本技術を適用することができる。すなわち、例えば「複数の撮像装置」を撮像部７９１０，７９１２，７９１４，７９１６、「フレーム選択部」「統合送出部」を例えば統合制御ユニット７６００等として本技術が適用可能である。

また、車載カメラを用いた機能としては、対象車両に搭載されたカメラ（以下「対象車カメラ」と表記）による撮像画像、及び交差点に設置されたカメラ或いは対象車両とは異なる車両に搭載されたカメラ（以下「他車カメラ」）による撮像画像を合成して得た画像を対象車両の運転者に提示することで、該運転者から死角となる部分（例えば塀で囲まれた交差点等）を可視化するといった機能が考えられるが、この場合において、上記対象車カメラ、及び交差点に設置されたカメラ若しくは他車カメラを「複数の撮像装置」として、本技術を適用することもできる。

＜９．プログラム＞

上記では、本技術に係る画像転送装置の動作をハードウェアにより実現する例を挙げたが、該動作は、情報処理装置によるソフトウェア処理で実現することもできる。
該ソフトウェア処理を実現するプログラムは、動画像を撮像する複数の撮像装置のうち特定撮像装置から入力される垂直同期信号を基準として、複数の撮像装置から入力される動画像データからフレーム画像データを選択するフレーム選択機能と、フレーム選択機能が選択したフレーム画像データを単一ストリームに統合して送出する統合送出機能と、を情報処理装置に実現させるプログラムである。

このようなプログラムは、コンピュータ装置等の機器に内蔵されている記憶媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記憶しておくことができる。或いはまた、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスクなどのリムーバブル記憶媒体に、一時的あるいは永続的に格納（記憶）しておくことができる。またこのようなリムーバブル記憶媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記憶媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ、インターネットなどのネットワークを介してダウンロードすることもできる。

＜１０．本技術＞

なお本技術は以下のような構成も採ることができる。
（１）
動画像を撮像する複数の撮像装置のうち特定撮像装置から入力される垂直同期信号を基準として、前記複数の撮像装置から入力される動画像データからフレーム画像データを選択するフレーム選択部と、
前記フレーム選択部が選択した前記フレーム画像データを単一ストリームに統合して送出する統合送出部と、を備える
画像転送装置。
（２）
前記フレーム選択部は、
前記特定撮像装置の前記動画像データから選択した前記フレーム画像データである基準フレーム画像データとの露光開始タイミング差に基づき、前記撮像装置のうち前記特定撮像装置を除いた他の撮像装置の前記動画像データからの前記フレーム画像データの選択を行う
前記（１）に記載の画像転送装置。
（３）
前記フレーム選択部は、
前記他の撮像装置の前記動画像データにおいて前記基準フレーム画像データとフレーム期間が重複している二つの前記フレーム画像データのうち、露光開始タイミングが前記基準フレーム画像データの露光開始タイミングに近い方のフレーム画像データを選択する
前記（２）に記載の画像転送装置。
（４）
前記フレーム選択部は、
前記フレーム期間が重複している二つの前記フレーム画像データのうち一方のフレーム画像データについて前記基準フレーム画像データとの露光開始タイミング差が半フレーム期間未満であるか否かを判定し、半フレーム期間未満であれば前記一方のフレーム画像データを選択し、半フレーム期間未満でなければ他方のフレーム画像データを選択する
前記（３）に記載の画像転送装置。
（５）
前記フレーム選択部は、
前記特定撮像装置の前記動画像データから選択した前記フレーム画像データである基準フレーム画像データの露光終了タイミングと、前記撮像装置のうち前記特定撮像装置を除いた他の撮像装置の前記動画像データにおける前記フレーム画像データの露光開始タイミングとのタイミング差に基づき、前記他の撮像装置の前記動画像データからの前記フレーム画像データの選択を行う
前記（１）に記載の画像転送装置。
（６）
前記フレーム選択部は、
前記選択を前記特定撮像装置の前記動画像データにおける１フレームごとに行う
前記（１）乃至（５）の何れかに記載の画像転送装置。
（７）
前記フレーム選択部は、
前記選択を前記特定撮像装置の前記動画像データにおける１フレーム期間よりも長い時間間隔を空けて行う
前記（１）乃至前記（５）の何れかに記載の画像転送装置。
（８）
前記フレーム選択部は、
前記特定撮像装置の切り替え機能を有する
前記（１）乃至（７）の何れかに記載の画像転送装置。
（９）
前記フレーム選択部は、
操作入力情報に基づき前記特定撮像装置の切り替えを行う
前記（８）に記載の画像転送装置。
（１０）
前記フレーム選択部は、
それぞれの前記撮像装置より入力される前記動画像データにおける動き量に基づき前記特定撮像装置の切り替えを行う
前記（８）に記載の画像転送装置。
（１１）
前記フレーム選択部は、
前記特定撮像装置の垂直同期信号を前記統合送出部に基準垂直同期信号として出力し、
前記特定撮像装置を切り替える際は、切り替え元の前記撮像装置の垂直同期信号による前記切り替え直後の垂直同期発生タイミングが、前記基準垂直同期信号が表す垂直同期発生タイミングとして混在されないように、前記基準垂直同期信号として出力する垂直同期信号の切り替えを行う
前記（８）乃至（１０）の何れかに記載の画像転送装置。
（１２）
前記統合送出部は、
前記フレーム選択部が選択した前記フレーム画像データを１枚の画像データに統合して送出する
前記（１）乃至（１１）の何れかに記載の画像転送装置。
（１３）
前記統合送出部は、
前記フレーム選択部が選択した前記フレーム画像データを時間軸方向に統合して送出する
前記（１）乃至（１１）の何れかに記載の画像転送装置。
（１４）
前記統合送出部は、
前記単一ストリームとしてのストリームデータに対し前記フレーム画像データの統合単位ごとの区切りを表す区切り情報を付加する
前記（１３）に記載の画像転送装置。

１、１Ａ、１Ｂ 画像転送装置、２−１〜２−４ 撮像装置、３ ネットワーク、４、４Ａ 合成動画生成装置、１１−１〜１１−４ 第一通信Ｉ／Ｆ〜第四通信Ｉ／Ｆ、１２−１〜１２−４ 第一フレームバッファ〜第四フレームバッファ、１２ａ〜１２ｄ バッファ領域、１３ 統合部、１４、１４Ａ エンコード部、１５ ネットワークＩ／Ｆ、１８ 操作部、１９、１９Ａ フレーム選択部、４１ ネットワークＩ／Ｆ、４２、４２Ａ 第一デコード部、４３ メモリ、４４、４４Ａ スティッチ処理部、５５ 統合制御部、５６ 動き量検出部、１００ 動画像生成システム

Claims (18)

1. 動画像を撮像する複数の撮像装置のうち特定撮像装置から入力される垂直同期信号を基準として、前記複数の撮像装置から入力される動画像データからフレーム画像データを選択するフレーム選択部と、
   前記フレーム選択部が選択した前記フレーム画像データを単一ストリームに統合して送出する統合送出部と、を備える
   画像転送装置。
2. 前記フレーム選択部は、
   前記特定撮像装置の前記動画像データから選択した前記フレーム画像データである基準フレーム画像データとの露光開始タイミング差に基づき、前記撮像装置のうち前記特定撮像装置を除いた他の撮像装置の前記動画像データからの前記フレーム画像データの選択を行う
   請求項１に記載の画像転送装置。
3. 前記フレーム選択部は、
   前記他の撮像装置の前記動画像データにおいて前記基準フレーム画像データとフレーム期間が重複している二つの前記フレーム画像データのうち、露光開始タイミングが前記基準フレーム画像データの露光開始タイミングに近い方のフレーム画像データを選択する
   請求項２に記載の画像転送装置。
4. 前記フレーム選択部は、
   前記フレーム期間が重複している二つの前記フレーム画像データのうち一方のフレーム画像データについて前記基準フレーム画像データとの露光開始タイミング差が半フレーム期間未満であるか否かを判定し、半フレーム期間未満であれば前記一方のフレーム画像データを選択し、半フレーム期間未満でなければ他方のフレーム画像データを選択する
   請求項３に記載の画像転送装置。
5. 前記フレーム選択部は、
   前記特定撮像装置の前記動画像データから選択した前記フレーム画像データである基準フレーム画像データの露光終了タイミングと、前記撮像装置のうち前記特定撮像装置を除いた他の撮像装置の前記動画像データにおける前記フレーム画像データの露光開始タイミングとのタイミング差に基づき、前記他の撮像装置の前記動画像データからの前記フレーム画像データの選択を行う
   請求項１に記載の画像転送装置。
6. 前記フレーム選択部は、
   前記選択を前記特定撮像装置の前記動画像データにおける１フレームごとに行う
   請求項１に記載の画像転送装置。
7. 前記フレーム選択部は、
   前記選択を前記特定撮像装置の前記動画像データにおける１フレーム期間よりも長い時間間隔を空けて行う
   請求項１に記載の画像転送装置。
8. 前記フレーム選択部は、
   前記特定撮像装置の切り替え機能を有する
   請求項１に記載の画像転送装置。
9. 前記フレーム選択部は、
   操作入力情報に基づき前記特定撮像装置の切り替えを行う
   請求項８に記載の画像転送装置。
10. 前記フレーム選択部は、
    それぞれの前記撮像装置より入力される前記動画像データにおける動き量に基づき前記特定撮像装置の切り替えを行う
    請求項８に記載の画像転送装置。
11. 前記フレーム選択部は、
    前記特定撮像装置の垂直同期信号を前記統合送出部に基準垂直同期信号として出力し、
    前記特定撮像装置を切り替える際は、切り替え元の前記撮像装置の垂直同期信号による前記切り替え直後の垂直同期発生タイミングが、前記基準垂直同期信号が表す垂直同期発生タイミングとして混在されないように、前記基準垂直同期信号として出力する垂直同期信号の切り替えを行う
    請求項８に記載の画像転送装置。
12. 前記統合送出部は、
    前記フレーム選択部が選択した前記フレーム画像データを１枚の画像データに統合して送出する
    請求項１に記載の画像転送装置。
13. 前記統合送出部は、
    前記フレーム選択部が選択した前記フレーム画像データを時間軸方向に統合して送出する
    請求項１に記載の画像転送装置。
14. 前記統合送出部は、
    前記単一ストリームとしてのストリームデータに対し前記フレーム画像データの統合単位ごとの区切りを表す区切り情報を付加する
    請求項１３に記載の画像転送装置。
15. 動画像を撮像する複数の撮像装置のうち特定撮像装置から入力される垂直同期信号を基準として、前記複数の撮像装置から入力される動画像データからフレーム画像データを選択するフレーム選択ステップと、
    前記フレーム選択ステップが選択した前記フレーム画像データを単一ストリームに統合して送出する統合送出ステップと、を情報処理装置が実行する
    画像転送方法。
16. 動画像を撮像する複数の撮像装置のうち特定撮像装置から入力される垂直同期信号を基準として、前記複数の撮像装置から入力される動画像データからフレーム画像データを選択するフレーム選択機能と、
    前記フレーム選択機能が選択した前記フレーム画像データを単一ストリームに統合して送出する統合送出機能と、を情報処理装置に実現させる
    プログラム。
17. 動画像を撮像する複数の撮像装置のうち特定撮像装置から入力される垂直同期信号を基準として、前記複数の撮像装置から入力される動画像データからフレーム画像データを選択するフレーム選択部と、
    前記フレーム選択部が選択した前記フレーム画像データを単一ストリームに統合して送出する統合送出部と、
    前記統合送出部が送出した前記単一ストリームに含まれる前記フレーム画像データをフレーム画像として含む動画像データを生成する動画像生成部と、を備える
    動画像生成システム。
18. 前記動画像生成部は、
    前記単一ストリームに含まれる前記フレーム画像データをパノラマ合成し、該パノラマ合成により得た合成画像をフレーム画像として含む動画像データを生成する
    請求項１７に記載の動画像生成システム。

Images