JP6695739B2 - 処理装置、画像センサ、およびシステム - Google Patents

Description

本開示は、処理装置、画像センサ、およびシステムに関する。

例えばプロセッサとセンサと間の接続などの、デバイス間の接続に係る技術が開発されている。デバイス間の接続に係る技術としては、例えば下記の特許文献１に記載の技術が挙げられる。

米国特許出願公開第２０１４／０２８１７５３号明細書

例えば、電子機器の高機能化、多機能化などに伴い、プロセッサなどの処理装置を備える電子機器の中には、複数の画像センサを備えるものがある。また、上記のような処理装置を備える電子機器では、処理装置に接続されるデータバスの数を減らすことが望まれている。処理装置に接続されるデータバスの数を減らすことによって、例えば下記のようなことを実現することが可能となる。
・処理装置と複数の画像センサとを接続する配線領域をより小さくすること
・処理装置のハードウェア構成をより簡略化すること

ここで、プロセッサ（処理装置の一例。以下、同様とする。）と画像センサとをデータバス（信号の伝送路）で接続する規格としては、ＭＩＰＩ（Mobile Industry Processor Interface）アライアンスのＣＳＩ−２（Camera Serial Interface 2）規格がある。ＣＳＩ−２規格は、プロセッサと画像センサとをデータバスで１対１で接続するための規格である。ＣＳＩ−２規格のような既存の規格では、“データバス上で、プロセッサと複数の画像センサとが接続されること”は、想定されていない。そのため、ＣＳＩ−２規格のような既存の規格を単に利用して、プロセッサと複数の画像センサそれぞれとをデータバスで接続する場合には、プロセッサに接続されるデータバスの数は、画像センサの数分必要となる。よって、ＣＳＩ−２規格のような既存の規格を単に利用する場合には、上記配線領域をより小さくすること、および上記プロセッサに接続されるデータバスの数を減らすことを実現することは、困難である。

本開示では、処理装置と複数の画像センサとをデータバスで接続する場合に、処理装置に接続されるデータバスの数を減らすことが可能な、新規かつ改良された処理装置、画像センサ、およびシステムを提案する。

本開示によれば、データバスに接続され、上記データバスに接続される複数の画像センサそれぞれから上記データバスを介して出力される画像に関する制御を行う処理部を備える、処理装置が、提供される。

また、本開示によれば、他の画像センサが接続されるデータバスに接続され、制御情報に基づいて画像を出力する、画像センサが、提供される。

また、本開示によれば、データバスにそれぞれ接続される複数の画像センサと、上記データバスに接続される処理装置と、を有し、上記処理装置は、上記画像センサそれぞれから上記データバスを介して出力される画像に関する制御を行う処理部を備える、システムが、提供される。

本開示によれば、処理装置と複数の画像センサとをデータバスで接続する場合に、処理装置に接続されるデータバスの数を減らすことができる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。

本実施形態に係るシステムの構成の一例を示す説明図である。 本実施形態に係るシステムを構成するプロセッサにおける画像に関する制御の一例を説明するための説明図である。 本実施形態に係るシステムを構成するプロセッサにおける画像に関する制御の一例を説明するための説明図である。 本実施形態に係るシステムを構成するプロセッサにおける画像に関する制御の一例を説明するための説明図である。 本実施形態に係るシステムを構成するプロセッサにおける画像に関する制御の一例を説明するための説明図である。 本実施形態に係るシステムを構成するプロセッサにおける画像に関する制御の一例を説明するための説明図である。 本実施形態に係るシステムを構成するセンサの構成の一例を示す説明図である。 本実施形態に係るシステムを構成するセンサにより生成された画像データの一例を示している。 本実施形態に係るシステムを構成するデータバス上で伝送される画像データのパケット列の一例を示している。 ＣＳＩ−２規格において定められたパケットのフォーマットを示している。 ＣＳＩ−２規格において定められたパケットのフォーマットを示している。 本実施形態に係るシステムを構成するメモリ上に確保されたフレームバッファの一例を示している。 本実施形態に係るシステムを構成するプロセッサによる画像に関する制御によって、センサから出力される画像データのパケット構成例を示す説明図である。 本実施形態に係るシステムを構成するプロセッサにおける画像に関する制御に係る処理（本実施形態に係る制御方法に係る処理）の一例を示す流れ図である。 本実施形態に係るシステムを構成する複数のセンサそれぞれから出力される画像データのパケット列の第１の例を示している。 本実施形態に係るシステムを構成するプロセッサが受信するパケット列の第１の例を示している。 本実施形態に係るシステムを構成するメモリ上のフレームバッファに記憶された、画像データのパケット列の第１の例を示している。 本実施形態に係るシステムを構成する複数のセンサそれぞれから出力される画像データのパケット列の第２の例を示している。 本実施形態に係るシステムを構成するプロセッサが受信するパケット列の第２の例を示している。 本実施形態に係るシステムを構成するメモリ上のフレームバッファに記憶された、画像データのパケット列の第２の例を示している。 本実施形態に係るシステムを構成する複数のセンサそれぞれから出力される画像データのパケット列の第３の例を示している。 本実施形態に係るシステムを構成するプロセッサが受信するパケット列の第３の例を示している。 本実施形態に係るシステムを構成するメモリ上のフレームバッファに記憶された、画像データのパケット列の第３の例を示している。 本実施形態に係るシステムを構成する複数のセンサそれぞれから出力される画像データのパケット列の第４の例を示している。 本実施形態に係るシステムを構成するプロセッサが受信するパケット列の第４の例を示している。 本実施形態に係るシステムを構成するメモリ上のフレームバッファに記憶された、画像データのパケット列の第４の例を示している。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下では、下記に示す順序で説明を行う。
１．本実施形態に係るシステムの構成
２．本実施形態に係るシステムにおける画像の出力例
３．本実施形態に係るプログラム

（本実施形態に係るシステムの構成）
図１は、本実施形態に係るシステム１０００の構成の一例を示す説明図である。システム１０００としては、例えば、スマートフォンなどの通信装置や、ドローン（遠隔操作による動作、または、自律的な動作が可能な機器）、自動車などの移動体などが挙げられる。なお、システム１０００の適用例は、上記に示す例に限られない。システム１０００の他の適用例については、後述する。

システム１０００は、例えば、プロセッサ１００（本実施形態に係る処理装置）と、画像を出力する機能を有する複数のセンサ２００Ａ、２００Ｂ、２００Ｃ、…（本実施形態に係る画像センサ）と、メモリ３００と、表示デバイス４００とを有する。以下では、複数のセンサ２００Ａ、２００Ｂ、２００Ｃ、…を総称して、または、複数のセンサ２００Ａ、２００Ｂ、２００Ｃ、…のうちの１つのセンサを代表的に示して、「センサ２００」と示す場合がある。

なお、図１では、３以上のセンサ２００を有するシステム１０００を示しているが、本実施形態に係るシステムが有するセンサ２００の数は、図１に示す例に限られない。例えば、本実施形態に係るシステムは、２つのセンサ２００、３つのセンサ２００など、２以上の任意の数のセンサ２００を有していてもよい。以下では、説明の便宜上、システム１０００が有する複数のセンサ２００のうちの２つのセンサ２００から画像が出力される場合、または、システム１０００が有する複数のセンサ２００のうちの３つのセンサ２００から画像が出力される場合を、例に挙げる。

プロセッサ１００と複数のセンサ２００それぞれとは、１つのデータバスＢ１により電気的に接続される。データバスＢ１は、プロセッサ１００とセンサ２００それぞれとを接続する、一の信号の伝送路である。例えば、センサ２００それぞれから出力される画像を示すデータ（以下、「画像データ」と示す場合がある。）が、センサ２００からプロセッサ１００へとデータバスＢ１を介して伝送される。

システム１０００においてデータバスＢ１により伝送される信号は、例えば、ＣＳＩ−２規格、ＰＣＩ Ｅｘｐｒｅｓｓなどの、伝送されるデータの開始と終了とが所定のデータにより特定される任意の規格によって、伝送される。上記所定のデータとしては、例えば、ＣＳＩ−２規格におけるフレームの開始パケット、ＣＳＩ−２規格におけるフレームの終了パケットなどが挙げられる。以下では、データバスＢ１により伝送される信号が、ＣＳＩ−２規格に従って伝送される例を示す。

また、プロセッサ１００と複数のセンサ２００それぞれとは、データバスＢ１とは異なる制御バスＢ２により電気的に接続される。制御バスＢ２は、プロセッサ１００とセンサ２００それぞれとを接続する、他の信号の伝送路である。例えば、プロセッサ１００から出力される制御情報（後述する）が、プロセッサ１００からセンサ２００へと制御バスＢ２を介して伝送される。以下では、データバスＢ１と同様に、制御バスＢ２により伝送される信号が、ＣＳＩ−２規格に従って伝送される例を示す。なお、図１では、プロセッサ１００と複数のセンサ２００それぞれとが、１つの制御バスＢ２により接続される例を示しているが、本実施形態に係るシステムは、センサ２００ごとに制御バスが設けられる構成をとることも可能である。また、プロセッサ１００と複数のセンサ２００それぞれとは、制御バスＢ２を介して制御情報（後述する）を送受信する構成に限られず、例えば、後述する制御情報の送受信を行うことが可能な任意の通信方式の無線通信によって制御情報（後述する）を送受信する構成であってもよい。

［１］プロセッサ１００（本実施形態に係る処理装置）
プロセッサ１００は、ＭＰＵ（Micro Processing Unit）などの演算回路で構成される、１または２以上のプロセッサや、各種処理回路などで構成される。プロセッサ１００は、バッテリなどのシステム１０００を構成する内部電源（図示せず）から供給される電力、または、システム１０００の外部電源から供給される電力によって、駆動する。

プロセッサ１００は、本実施形態に係る処理装置の一例である。本実施形態に係る処理装置は、後述する処理部における処理（本実施形態に係る制御方法に係る処理）を行うことが可能な、任意の回路、任意のデバイスに適用することが可能である。

プロセッサ１００は、“データバスＢ１に接続される複数のセンサ２００それぞれからデータバスＢ１を介して出力される画像に関する制御（本実施形態に係る制御方法に係る制御）”を行う。

画像に関する制御は、例えば、プロセッサ１００が備える処理部１０２において行われる。プロセッサ１００では、画像に関する制御を行う特定のプロセッサ（または特定の処理回路）、または、複数のプロセッサ（または複数の処理回路）が、処理部１０２の役目を果たす。

なお、処理部１０２は、プロセッサ１００における機能を便宜上切り分けたものである。よって、プロセッサ１００では、例えば、本実施形態に係る画像に関する制御が、複数の機能ブロックによって行われてもよい。以下では、本実施形態に係る画像に関する制御が、処理部１０２において行われる場合を例に挙げる。

［１−１］本実施形態に係る画像に関する制御の一例
処理部１０２は、センサ２００それぞれに対して制御情報を送信することによって、画像に関する制御を行う。

本実施形態に係る制御情報には、例えば、センサ２００を示す識別情報と、制御のための情報と、処理命令とが含まれる。本実施形態に係る識別情報としては、例えば、センサ２００に設定されているＩＤなどの、センサ２００を特定することが可能な任意のデータが挙げられる。また、本実施形態に係る制御のための情報の具体例については、後述する。

制御情報は、上述したように、例えば制御バスＢ２を介して送信される。

また、処理部１０２により送信された制御情報は、例えば、センサ２００それぞれが備えるレジスタ（記録媒体の一例）に記録される。そして、後述するように、センサ２００は、レジスタに記憶されている制御情報に基づいて画像を出力する。

処理部１０２は、画像に関する制御として、例えば下記の（１）に示す第１の例に係る制御〜下記の（４）に示す第４の例に係る制御のいずれかの制御を行う。なお、本実施形態に係る画像に関する制御により実現される、システム１０００における画像の出力例については、後述する。

（１）画像に関する制御の第１の例：画像の連結の制御
処理部１０２は、センサ２００それぞれから出力される複数の画像の連結の制御を行う。

より具体的には、処理部１０２は、例えば、センサ２００それぞれから出力される複数の画像におけるフレームの開始とフレームの終了とを制御することによって、複数の画像の連結を制御する。

センサ２００それぞれにおけるフレームの開始は、例えば、処理部１０２が、センサ２００それぞれにおけるフレームの開始パケットの出力を制御することによって、制御される。フレームの開始パケットとしては、例えば、ＣＳＩ−２規格における“ＦＳ（Frame Start）パケット”が、挙げられる。以下では、フレームの開始パケットを「ＦＳ」または「ＦＳパケット」と示す場合がある。

処理部１０２は、例えば、フレームの開始パケットを出力するかを示すデータ（第１出力情報。制御のための情報の一例）を含む制御情報を、センサ２００に対して送信することによって、センサ２００におけるフレームの開始パケットの出力を制御する。上記フレームの開始パケットを出力するかを示すデータとしては、例えば、フレームの開始パケットを出力するか否かを示すフラグが挙げられる。

また、センサ２００それぞれにおけるフレームの終了は、例えば、処理部１０２が、センサ２００それぞれにおけるフレームの終了パケットの出力を制御することによって、制御される。フレームの終了パケットとしては、例えば、ＣＳＩ−２規格における“ＦＥ（Frame End）パケット”が、挙げられる。以下では、フレームの終了パケットを「ＦＥ」または「ＦＥパケット」と示す場合がある。

処理部１０２は、例えば、フレームの終了パケットを出力するかを示すデータ（第２出力情報。制御のための情報の一例）を含む制御情報を、センサ２００に対して送信することによって、センサ２００におけるフレームの終了パケットの出力を制御する。上記フレームの終了パケットを出力するかを示すデータとしては、例えば、フレームの終了パケットを出力するか否かを示すフラグが挙げられる。

例えば上記のように、処理部１０２によって、センサ２００それぞれから出力される複数の画像におけるフレームの開始とフレームの終了とが制御されることによって、複数のセンサ２００からは、下記のような画像を示すデータが出力される。
・フレームの開始パケットおよびフレームの終了パケットを含むデータ
・フレームの開始パケットのみを含むデータ
・フレームの終了パケットのみを含むデータ
・フレームの開始パケットおよびフレームの終了パケットを含まないデータ

複数のセンサ２００からデータバスＢ１を介して伝送される複数の画像を受信するプロセッサ１００は、受信された画像に含まれるフレームの開始パケットに基づき、あるフレームにおける画像の伝送が開始されたことを認識する。

また、プロセッサ１００は、受信された画像に含まれるフレームの終了パケットに基づき、あるフレームにおける画像の伝送が終了したことを認識する。

また、プロセッサ１００は、受信された画像に、フレームの開始パケットとフレームの終了パケットとが含まれない場合には、あるフレームにおける画像の伝送が開始されたこと、およびあるフレームにおける画像の伝送が終了したことを、認識しない。なお、プロセッサ１００は、上記の場合において、あるフレームにおける画像の伝送が行われている途中であると認識してもよい。

よって、複数のセンサ２００からデータバスＢ１を介して伝送される複数の画像を受信するプロセッサ１００では、下記の（ａ）、（ｂ）に示すような処理が実現される。なお、データバスＢ１に、画像を処理することが可能な他の処理回路が接続されている場合、複数のセンサ２００から出力される画像の処理は、当該他の処理回路により行われてもよい。以下では、プロセッサ１００が備える処理部１０２が、複数のセンサ２００から出力される画像の処理を行う場合を例に挙げる。

（ａ）複数のセンサ２００から出力される画像の処理の第１の例
１つのセンサ２００から送信されるデータに、フレームの開始パケットおよびフレームの終了パケットが含まれる場合、処理部１０２は、当該１つのセンサ２００から出力される画像を、単体の画像として処理する。

（ｂ）複数のセンサ２００から出力される画像の処理の第２の例
“一のセンサ２００から送信されたデータにフレームの開始パケットが含まれ、当該フレームの開始パケットが含まれるデータの受信後に受信された他のセンサ２００から送信されたデータに、フレームの終了パケットが含まれる場合”には、処理部１０２は、フレームの開始パケットが含まれるデータにおける画像と、フレームの終了パケットが含まれるデータにおける画像とを、合成する。

また、“第２の例における上記の場合においてフレームの終了パケットが含まれるデータが受信される前に、１または２以上の他のセンサ２００から送信されたフレームの開始パケットおよびフレームの終了パケットを含まないデータが、受信されたとき”には、処理部１０２は、フレームの開始パケットが含まれるデータにおける画像、フレームの開始パケットおよびフレームの終了パケットを含まないデータにおける画像、およびフレームの終了パケットが含まれるデータにおける画像を、合成する。

処理部１０２が、フレームの開始パケットとフレームの終了パケットとに基づいて、上記のように複数のセンサ２００から送信された画像を合成することによって、複数のセンサ２００から送信された複数の画像の連結が、実現される。

なお、本実施形態に係る複数の画像の連結の制御は、上記に示す例に限られない。

例えば、処理部１０２は、さらに、センサ２００それぞれから出力される複数の画像に対する識別子の付与を制御することによって、複数の画像の連結を制御することが可能である。

ここで、本実施形態に係る識別子とは、センサ２００から出力される画像を識別することが可能なデータである。本実施形態に係る識別子としては、例えば、ＣＳＩ−２規格において規定されているＶＣ（Virtual Channel）値（「ＶＣ番号」と示す場合もある。）と、ＣＳＩ−２規格において規定されているＤＴ（Data Type）値との一方または双方が、挙げられる。なお、本実施形態に係る識別子は、上記に示す例に限られず、複数のセンサ２００から送信される複数の画像の連結の制御において、画像の識別に用いることが可能な、任意のデータが挙げられる。

処理部１０２は、例えば、画像の識別子を示すデータ（第３出力情報。制御のための情報の一例）を含む制御情報を、センサ２００に対して送信することによって、センサ２００から出力される画像に対する識別子の付与を制御する。

センサ２００から送信されたデータに識別子が含まれる場合、処理部１０２は、あるフレームにおいて異なる識別子が付与された画像を、異なる画像と認識する。つまり、センサ２００から送信されたデータに識別子が含まれる場合、処理部１０２は、異なる識別子が付与された画像を連結しない。

よって、処理部１０２が、フレームの開始とフレームの終了との制御に加えて、センサ２００それぞれから出力される複数の画像に対する識別子の付与をさらに制御することによって、フレームの開始とフレームの終了とを制御する場合よりも、より多様な画像の連結の制御を実現することが可能となる。

図２Ａ〜図２Ｅは、本実施形態に係るシステム１０００を構成するプロセッサ１００における画像に関する制御の一例を説明するための説明図である。図２Ａ〜図２Ｅそれぞれは、プロセッサ１００における画像の連結の制御結果の一例を示している。

（１−１）画像の連結の制御結果の第１の例：図２Ａ
図２Ａに示すＡは、プロセッサ１００が２つのセンサ２００からデータバスＢ１を介して取得した、あるフレームに対応するデータの一例を示している。図２Ａに示すＡでは、一のセンサ２００と他のセンサ２００とから下記に示すデータが受信された例を示している。
・一のセンサ２００：ラインごとの画像データ、フレームの開始パケット、フレームの終了パケット、およびＶＣ値“０”（識別子の一例。以下、同様とする。）を含むデータ
・他のセンサ２００：ラインごとの画像データ、フレームの開始パケット、フレームの終了パケット、およびＶＣ値“１”（識別子の一例。以下、同様とする。）を含むデータ

また、図２Ａに示すＢは、図２ＡのＡに示すデータがメモリ３００のフレームバッファに記憶される場合における、記憶イメージを示している。なお、図２ＡのＡに示すデータは、プロセッサ１００が備える記録媒体などの他の記録媒体に記憶されてもよい。

図２ＡのＡに示すようなデータが受信された場合、処理部１０２は、例えば図２ＡのＢに示すように、ＶＣ値ごとのフレームバッファに、分離して画像を記録する。

（１−２）画像の連結の制御結果の第２の例：図２Ｂ
図２Ｂに示すＡは、プロセッサ１００が２つのセンサ２００からデータバスＢ１を介して取得した、あるフレームに対応するデータの一例を示している。図２Ｂに示すＡでは、一のセンサ２００と他のセンサ２００とから下記に示すデータが受信された例を示している。
・一のセンサ２００：ラインごとの画像データ、フレームの開始パケット、フレームの終了パケット、およびＶＣ値“０”を含むデータ
・他のセンサ２００：ラインごとの画像データ、フレームの開始パケット、フレームの終了パケット、およびＶＣ値“０”を含むデータ

図２ＢのＡに示すようなデータが受信された場合、処理部１０２は、例えば図２ＢのＢに示すように、同一ＶＣ値用のフレームバッファに画像を記録する。図２ＢのＢに示す画像の記憶は、例えば、ダブルバッファなどにより実現される。

（１−３）画像の連結の制御結果の第３の例：図２Ｃ
図２Ｃに示すＡは、プロセッサ１００が２つのセンサ２００からデータバスＢ１を介して取得した、あるフレームに対応するデータの一例を示している。図２Ｃに示すＡでは、一のセンサ２００と他のセンサ２００とから下記に示すデータが受信された例を示している。
・一のセンサ２００：ラインごとの画像データ、フレームの開始パケット、およびＶＣ値“０”を含むデータ
・他のセンサ２００：ラインごとの画像データ、フレームの終了パケット、およびＶＣ値“０”を含むデータ

図２ＣのＡに示すようなデータが受信された場合、処理部１０２は、例えば図２ＣのＢに示すように、２つの画像を垂直方向に連結して、フレームバッファに画像を記録する。

（１−４）画像の連結の制御結果の第４の例：図２Ｄ
図２Ｄに示すＡは、プロセッサ１００が２つのセンサ２００からデータバスＢ１を介して取得した、あるフレームに対応するデータの一例を示している。図２Ｄに示すＡでは、一のセンサ２００と他のセンサ２００とから下記に示すデータが受信された例を示している。
・一のセンサ２００：ラインごとの画像データ、フレームの開始パケット、フレームの終了パケット、およびＶＣ値“０”を含むデータ
・他のセンサ２００：ラインごとの画像データ、フレームの開始パケット、フレームの終了パケット、およびＶＣ値“１”を含むデータ

図２ＤのＡに示すようなデータが受信された場合、処理部１０２は、例えば図２ＤのＢに示すように、ＶＣ値ごとのフレームバッファに、分離して画像を記録する。

（１−５）画像の連結の制御結果の第５の例：図２Ｅ
図２Ｅに示すＡは、プロセッサ１００が２つのセンサ２００からデータバスＢ１を介して取得した、あるフレームに対応するデータの一例を示している。図２Ｅに示すＡでは、一のセンサ２００と他のセンサ２００とから下記に示すデータが受信された例を示している。
・一のセンサ２００：ラインごとの画像データ、フレームの開始パケット、およびＶＣ値“０”を含むデータ
・他のセンサ２００：ラインごとの画像データ、フレームの終了パケット、およびＶＣ値“０”を含むデータ

図２ＥのＡに示すようなデータが受信された場合、処理部１０２は、例えば図２ＥのＢに示すように、２つの画像を水平方向に連結して、フレームバッファに画像を記録する。

プロセッサ１００の処理部１０２における画像の連結の制御によって、例えば図２Ａ〜図２Ｅに示すように、画像が選択的に連結される。なお、本実施形態に係るプロセッサ１００の処理部１０２による画像の連結の制御結果の例が、図２Ａ〜図２Ｅに示す例に限られないことは、言うまでもない。

（２）画像に関する制御の第２の例：出力される画像の制御
処理部１０２は、センサ２００から出力される画像の制御を行う。本実施形態に係るセンサ２００から出力される画像の制御としては、例えば、センサ２００それぞれから出力される画像サイズの制御と、複数のセンサ２００それぞれから出力される画像のフレームレートの制御との一方または双方が、挙げられる。

処理部１０２は、例えば、画像サイズを示すデータと、フレームレートを示すデータとの一方または双方（制御のための情報の一例）を含む制御情報を、センサ２００に対して送信することによって、センサ２００から出力される画像を制御する。

（３）画像に関する制御の第３の例：画像の出力タイミング制御
処理部１０２は、画像センサそれぞれから出力される画像の出力タイミングを制御する。

処理部１０２は、例えば、画像の出力命令が受信されてから画像を出力するまでの出力遅延量を示すデータ（制御のための情報の一例）を含む制御情報を、センサ２００に対して送信することによって、センサ２００から出力される画像の出力タイミングを制御する。

（４）画像に関する制御の第４の例
処理部１０２は、上記（１）に示す第１の例に係る制御〜上記（３）に示す第３の例に係る制御のうちの２以上の制御を、行ってもよい。

処理部１０２は、画像に関する制御として、画像に関する制御として、例えば上記（１）に示す第１の例に係る制御〜上記（４）に示す第４の例に係る制御を行う。

プロセッサ１００は、例えば処理部１０２を備えることによって、上述したような画像に関する制御に係る処理（本実施形態に係る制御方法に係る処理）を行う。

なお、プロセッサ１００において行われる処理は、上述したような画像に関する制御に係る処理に限られない。

例えば、プロセッサ１００は、図２Ａ〜図２Ｅを参照して示したようなメモリ３００などの記録媒体への画像データの記録制御に係る処理、表示デバイス４００の表示画面への画像の表示制御に係る処理、任意のアプリケーションソフトウェアを実行する処理など、様々な処理を行うことが可能である。記録制御に係る処理としては、例えば“記録命令を含む制御データと記録媒体に記録させるデータとを、メモリ３００などの記録媒体に伝達する処理”が、挙げられる。また、表示制御に係る処理としては、例えば“表示命令を含む制御データと表示画面に表示させるデータとを、表示デバイス４００などの表示デバイスに伝達する処理”が、挙げられる。

［２］センサ２００（本実施形態に係る画像センサ）
センサ２００は、画像センサである。本実施形態に係る画像センサは、例えば、デジタルスチルカメラやデジタルビデオカメラ、ステレオカメラなどの撮像デバイスや、赤外線センサ、距離画像センサなどの、任意のセンサデバイスを含み、生成された画像を出力する機能を有する。ここで、センサ２００において生成される画像は、センサ２００におけるセンシング結果を示すデータに該当する。

センサ２００は、例えば図１に示すように、他のセンサ２００が接続されるデータバスＢ１に接続される。

また、センサ２００は、制御情報に基づいて画像を出力する。上述したように、制御情報はプロセッサ１００から送信され、センサ２００は、制御バスＢ２を介して制御情報を受信する。

図３は、本実施形態に係るシステム１０００を構成するセンサ２００の構成の一例を示す説明図である。センサ２００は、例えば、プロセッサ２５０と、ＲＯＭ２５２と、レジスタ２５４と、センサデバイス２５６と、通信デバイス２５８とを有する。また、センサ２００における各構成要素は、例えば内部バス２６０で接続される。センサ２００は、バッテリなどのシステム１０００を構成する内部電源（図示せず）から供給される電力、または、システム１０００の外部電源から供給される電力によって、駆動する。

プロセッサ２５０は、センサ２００全体を制御する役目を果たす。プロセッサ２５０による制御としては、例えば、レジスタ２５４への受信された制御情報の記録の制御、センサデバイス２５６の動作の制御、通信デバイス２５８の通信の制御などが挙げられる。

受信された制御情報の記録の制御に係る処理としては、例えば、“受信された制御情報に含まれる識別情報と、ＲＯＭ２５２に記憶されている識別情報２７０とを比較し、比較結果に基づいて、受信された制御情報を選択的にレジスタ２５４に記録する処理”が、挙げられる。プロセッサ２５０は、例えば、受信された制御情報に含まれる識別情報と、ＲＯＭ２５２に記憶されている識別情報２７０とが一致する場合に、受信された制御情報を選択的にレジスタ２５４に記録する。

センサデバイス２５６の動作の制御に係る処理としては、例えば、“定期的または非定期的に、または、センシング命令を含む制御情報が受信された場合に、センサデバイス２５６を動作させる命令を含む制御信号を、センサデバイス２５６に伝達する処理”が、挙げられる。

通信デバイス２５８の通信の制御に係る処理としては、例えば、“送信命令と送信するデータとを含む制御信号を、通信デバイス２５８に伝達する処理”が挙げられる。

ＲＯＭ２５２は、センサ２００が備える一の記録媒体である。ＲＯＭ２５２には、例えば、識別情報が記憶される。

レジスタ２５４は、センサ２００が備える他の記録媒体である。レジスタ２５４には、例えば、制御バスＢ２を介して受信された制御情報が、記憶される。なお、図３では、制御情報がレジスタ２５４に記憶される例を示しているが、制御情報は、フラッシュメモリなどの不揮発性メモリや、ハードディスクなどの磁気記録媒体などの、他の記録媒体に記憶されてもよい。

センサデバイス２５６は、画像を生成するデバイスである。センサデバイス２５６としては、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像デバイスや、赤外線センサ、距離画像センサなどの、画像を生成する機能を有する任意のセンサデバイスが、挙げられる。

通信デバイス２５８は、例えば、データバスＢ１、制御バスＢ２などの接続されている外部バスを介して、外部デバイスと通信を行うためのデバイスである。通信デバイス２５８としては、例えば、ＣＳＩ−２規格、ＰＣＩ Ｅｘｐｒｅｓｓなどの、伝送されるデータの開始と終了とが所定のデータにより特定される任意の規格に対応する通信を行うことが可能なデバイスが、挙げられる。

センサ２００は、例えば図３に示す構成を有することによって、制御情報に基づいて画像を出力する。なお、センサ２００の構成が、図３に示す例に限られないことは、言うまでもない。

センサ２００における制御情報に基づく画像の出力に係る処理について、より具体的に説明する。センサ２００は、制御情報に基づく画像の出力に係る処理として、例えば、下記の（Ｉ）に示す第１の例に係る出力処理〜下記の（Ｖ）に示す第５の例に係る出力処理のうちの１または２以上を行う。センサ２００において、下記に示す制御情報に基づく画像の出力に係る処理は、例えば、センサ２００を構成するプロセッサ２５０がレジスタ２５４に記憶されている制御情報２７２を参照することによって、行われる。

（Ｉ）第１の例に係る出力処理：制御情報に、フレームの開始パケットを出力するかを示すデータ（第１出力情報）が含まれる場合
制御情報に、フレームの開始パケットを出力するかを示すデータが含まれる場合、センサ２００は、フレームの開始パケットを出力するかを示すデータに基づいて、選択的にフレームの開始パケットを出力する。

センサ２００は、例えば、フレームの開始パケットを出力するかを示すデータがフレームの開始パケットを出力することを示す場合に、画像と共にフレームの開始パケットを出力する。

（ＩＩ）第２の例に係る出力処理：制御情報に、フレームの終了パケットを出力するかを示すデータ（第２出力情報）が含まれる場合
制御情報に、フレームの終了パケットを出力するかを示すデータが含まれる場合、センサ２００は、フレームの終了パケットを出力するかを示すデータに基づいて、選択的にフレームの終了パケットを出力する。

センサ２００は、例えば、フレームの終了パケットを出力するかを示すデータがフレームの終了パケットを出力することを示す場合に、画像と共にフレームの終了パケットを出力する。

（ＩＩＩ）第３の例に係る出力処理：制御情報に、画像の識別子を示すデータ（第３出力情報）が含まれる場合
制御情報に、画像の識別子を示すデータが含まれる場合、センサ２００は、画像と共に画像の識別子を示すデータが示す識別子を出力する。センサ２００における識別子の出力の具体例については、後述する。

（ＩＶ）第４の例に係る出力処理：制御情報に、画像サイズを示すデータと、フレームレートを示すデータとの一方または双方が含まれる場合
制御情報に画像サイズを示すデータが含まれる場合、センサ２００は、制御情報が示す画像サイズの画像を出力する。

また、制御情報にフレームレートを示すデータが含まれる場合、センサ２００は、制御情報が示すフレームレートで、画像を出力させる。

また、制御情報に、画像サイズを示すデータとフレームレートを示すデータとが含まれる場合、センサ２００は、制御情報が示すフレームレートで、制御情報が示す画像サイズの画像を出力させる。

（Ｖ）第５の例に係る出力処理：制御情報に、出力遅延量を示すデータが含まれる場合
制御情報に出力遅延量を示すデータが含まれる場合、センサ２００は、例えば、制御バスＢ２を介して画像の出力命令が受信されてから、制御情報が示す出力遅延量に対応する時間が経過した後に、画像を出力させる。

センサ２００は、例えば上記（Ｉ）に示す第１の例に係る出力処理〜上記（Ｖ）に示す第５の例に係る出力処理のうちの１または２以上を行う。よって、システム１０００では、プロセッサ１００によりセンサ２００に設定された制御情報に基づく画像が、センサ２００それぞれから出力される。そして、システム１０００では、センサ２００それぞれからデータバスＢ１を介して出力される画像が、例えば図２ＡのＡ〜図２ＥのＡに示すように、プロセッサ１００により取得される。

［３］メモリ３００
メモリ３００は、システム１０００が有する記録媒体である。メモリ３００としては、例えば、ＲＡＭ（Random Access Memory）などの揮発性メモリや、フラッシュメモリなどの不揮発性メモリなどが挙げられる。

メモリ３００には、例えば図２ＡのＢ〜図２ＥのＢに示すように、センサ２００それぞれから出力された画像が記憶される。メモリ３００への画像の記録は、例えばプロセッサ１００により制御される。

［４］表示デバイス４００
表示デバイス４００は、システム１０００が有する表示デバイスである。表示デバイス４００としては、例えば、液晶ディスプレイ（Liquid Crystal Display）や有機ＥＬディスプレイ（Organic Electro-Luminescence Display。または、ＯＬＥＤディスプレイ（Organic Light Emitting Diode Display）ともよばれる。）などが挙げられる。

表示デバイス４００の表示画面には、例えば、センサ２００それぞれから出力された画像や、プロセッサ１００において実行されるアプリケーションに係る画面、ＵＩ（User Interface）に係る画面など、様々な画像や画面が表示される。表示デバイス４００の表示画面への画像などの表示は、例えばプロセッサ１００により制御される。

［５］システム１０００が奏する効果、およびシステム１０００の変形例
システム１０００は、例えば図１に示す構成を有する。

システム１０００では、プロセッサ１００と複数のセンサ２００とが、データバスＢ１により接続される。また、システム１０００において複数のセンサ２００から出力される画像は、プロセッサ１００により画像に関する制御が行われることによって、制御される。よって、システム１０００では、プロセッサ１００は、複数のセンサ２００が独立に出力する画像を、データバスＢ１を介して受信することができる。

したがって、システム１０００では、プロセッサ１００（本実施形態に係る処理装置）と複数のセンサ２００（本実施形態に係る画像センサ）とを接続する場合に、プロセッサ１００に接続されるデータバスの数を減らすことができる。

また、システム１０００では、プロセッサ１００に接続されるデータバスの数を減らすことができることによって、下記のような効果が奏される。
・プロセッサ１００と複数のセンサ２００とを接続する配線領域をより小さくすることができる
・例えばデータバスを接続するための端子数が減ることなどにより、プロセッサ１００のハードウェア構成をより簡略化することができる。

また、例えば図２Ａ〜図２Ｅに示すように、センサ２００それぞれから出力された複数の画像は、独立の画像、または、２以上の画像が垂直方向または水平方向に連結された画像として、プロセッサ１００により受信される。プロセッサ１００は、センサ２００それぞれから出力された複数の画像を、独立の画像、または、２以上の画像が垂直方向または水平方向に連結された画像として認識して、メモリ３００などの記録媒体への記録に係る処理や表示デバイス４００などの表示デバイスへの表示に係る処理などの所定の処理を行う。

したがって、システム１０００により“複数のセンサ２００がそれぞれ独立に出力する複数の画像を、データバスＢ１上で連結または分離する機構”が、実現される。

なお、本実施形態に係るシステムの構成は、図１に示す例に限られない。

例えば、システムの外部の記録媒体に複数のセンサ２００から出力される画像が記憶される場合、または、複数のセンサ２００から出力される画像がプロセッサ１００が備えるメモリに記憶される場合には、本実施形態に係るシステムは、図１に示すメモリ３００を有していなくてもよい。

また、本実施形態に係るシステムは、図１に示す表示デバイス４００を有さない構成をとることも可能である。

また、本実施形態に係るシステムは、後述する本実施形態に係るシステムが適用される電子機器が有する機能に応じた、任意の構成を有していてもよい。

また、本実施形態に係るシステムは、プロセッサにＭ本（Ｍは、センサ２００の数よりも小さい整数）のデータバスが接続される構成であってもよい。本実施形態に係るシステムが、プロセッサにＭ本（Ｍは、システムが有するセンサ２００の数よりも小さい整数）のデータバスが接続される構成であっても、ＣＳＩ−２規格のような既存の規格を単に利用する場合よりも、プロセッサに接続されるデータバスの数を減らすことができる。

［６］本実施形態に係るシステムの適用例
以上、本実施形態として、システムを挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、スマートフォンなどの通信装置や、ドローン（遠隔操作による動作、または、自律的な動作が可能な機器）、自動車などの移動体、ＰＣ（Personal Computer）などのコンピュータ、タブレット型の装置、ゲーム機など、様々な電子機器に適用することができる。

また、上記では、本実施形態に係るシステムを構成する処理装置として、プロセッサを例に挙げたが、本実施形態に係る処理装置は、上記に示す例に限られない。例えば、本実施形態に係る処理装置は、データバスに接続される複数の画像センサそれぞれから当該データバスを介して出力される画像に関する制御を行うことが可能な、任意の処理回路、または、任意のデバイスに適用することができる。

（本実施形態に係るシステムにおける画像の出力例）
次に、上述したシステム１０００における画像の出力例を、説明する。以下では、データバスＢ１により伝送される信号が、ＣＳＩ−２規格に従って伝送される例を示す。

図４は、本実施形態に係るシステム１０００を構成するセンサ２００により生成された画像データの一例を示している。

センサ２００により生成された画像データは、例えばＮ（Ｎは、１以上の整数）行のデータで構成され、１行ずつデータバスＢ１に出力される。

図５は、本実施形態に係るシステム１０００を構成するデータバスＢ１上で伝送される画像データのパケット列の一例を示しており、ＣＳＩ−２規格に従ったパケット列の一例を示している。図５に示す“ＦＳ”は、ＦＳパケットを示しており、図５に示す“ＦＥ”は、ＦＥパケットを示している。また、図５に示す“ＰＨ”は、パケットヘッダを示しており、図５に示す“ＰＦ”は、パケットフッタを示している。

ＣＳＩ−２規格では、画像データの先頭にＦＳパケットＰ１が発行された後、画像データパケットＰ２がＮパケット発行され、最後にＦＥパケットＰ３が発行される。一の画像データパケットＰ１と他の画像データパケットＰ１の間隔はラインブランキングＢＬ１とよばれ、ＦＥパケットＰ３と次のＦＳパケットＰ１の間隔はフレームブランキングＢＬ２とよばれる。

図６、図７は、ＣＳＩ−２規格において定められたパケットのフォーマットを示している。図６は、ＣＳＩ−２規格において定められた“Ｓｈｏｒｔ Ｐａｃｋｅｔ”のフォーマットを示しており、図７は、ＣＳＩ−２規格において定められた“Ｌｏｎｇ Ｐａｃｋｅｔ”のフォーマットを示している。

図５において示したＦＳパケットＰ１とＦＥパケットＰ３は、“Ｓｈｏｒｔ Ｐａｃｋｅｔ”であり、また、図５において示した画像データパケットＰ２は、“Ｌｏｎｇ Ｐａｃｋｅｔ”である。

“Ｓｈｏｒｔ Ｐａｃｋｅｔ”と“Ｌｏｎｇ Ｐａｃｋｅｔ”とには、いずれもヘッダ部分にＶＣ番号（図６、図７に示す“ＶＣ”。ＶＣ値）が記録され、パケットごとに任意のＶＣ番号が付与されうる。同一のＶＣ番号が付与されたパケットは、同じ画像データに属するパケットとして扱われる。

上述したように、システム１０００では、プロセッサ１００による画像に関する制御によって、センサ２００それぞれに対してＶＣ番号が、識別子として付与されうる。

また、“Ｓｈｏｒｔ Ｐａｃｋｅｔ”と“Ｌｏｎｇ Ｐａｃｋｅｔ”とには、いずれもヘッダ部分にＤＴ値（図５、図６に示す“Ｄａｔａ Ｔｙｐｅ”）が記録される。そのため、ＶＣ番号と同様に、同一のＤＴ値が付与されたパケットを、同じ画像データに属するパケットとして取り扱うことも可能である。上述したように、システム１０００では、プロセッサ１００による画像に関する制御によって、センサ２００それぞれに対してＤＴ値が、識別子として付与されうる。

図８は、本実施形態に係るシステム１０００を構成するメモリ３００上に確保されたフレームバッファの一例を示している。

図５に示すパケット列を受信したプロセッサ１００は、受信した画像データを、図８に示すようにメモリ３００のフレームバッファに記録させる。

図９は、本実施形態に係るシステム１０００を構成するプロセッサ１００による画像に関する制御によって、センサ２００から出力される画像データのパケット構成例を示す説明図である。図９に示すＡ〜図９に示すＤそれぞれが、センサ２００から出力される画像データのパケット構成の一例に該当する。

図９のＡは、ＦＳパケットＰ１とＦＥパケットＰ３との双方が出力される画像データのパケット構成の一例を示している。図９のＢは、ＦＳパケットＰ１が出力され、ＦＥパケットＰ３が出力されない画像データのパケット構成の一例を示している。図９のＣは、ＦＳパケットＰ１とＦＥパケットＰ３との双方が出力されない画像データのパケット構成の一例を示している。図９のＤは、ＦＥパケットＰ３が出力され、ＦＳパケットＰ１が出力されない画像データのパケット構成の一例を示している。

図１０は、本実施形態に係るシステム１０００を構成するプロセッサ１００における画像に関する制御に係る処理（本実施形態に係る制御方法に係る処理）の一例を示す流れ図である。図１０では、システム１０００が、センサ２００Ａ、２００Ｂ、２００Ｃという３つの画像センサを有している場合における、プロセッサ１００における画像に関する制御に係る処理の一例を示している。

プロセッサ１００は、制御対象のセンサ２００Ａ、２００Ｂ、２００Ｃそれぞれの電源をオン状態にし、リセット解除を行う（Ｓ１００）。ステップＳ１００の処理は、例えばセンサ２００Ａ、２００Ｂ、２００Ｃを初期化する処理の一例に該当する。

プロセッサ１００は、センサ２００Ａのレジスタ設定を行う（Ｓ１０２）。プロセッサ１００は、制御バスＢ２を介して制御情報を送信することによって、センサ２００Ａのレジスタ設定を行う。

ここで、プロセッサ１００は、例えば、センサ２００Ａが指定され、かつ、センサ２００Ａが備えるレジスタのアドレスが指定された制御情報を送信することによって、センサ２００Ａのレジスタ設定を行う。また、プロセッサ１００は、例えば、制御対象の全てのセンサ２００が指定され、かつ、センサ２００が備えるレジスタのアドレスが指定された制御情報を送信することによって、センサ２００Ａのレジスタ設定を行うことも可能である。制御対象の全てのセンサ２００が指定され、かつ、センサ２００が備えるレジスタのアドレスが指定された制御情報が送信されることは、例えば、全てのセンサ２００が備えるレジスタに同一のデータを同期して記録させる場合に有効である。

プロセッサ１００は、センサ２００Ｂのレジスタ設定を行う（Ｓ１０４）。プロセッサ１００は、ステップＳ１０２と同様に、制御バスＢ２を介して制御情報を送信することによって、センサ２００Ｂのレジスタ設定を行う。

プロセッサ１００は、センサ２００Ｃのレジスタ設定を行う（Ｓ１０６）。プロセッサ１００は、ステップＳ１０２と同様に、制御バスＢ２を介して制御情報を送信することによって、センサ２００Ｃのレジスタ設定を行う。

プロセッサ１００は、センサ２００Ａ、２００Ｂ、２００Ｃそれぞれに、撮像およびデータバスＢ１への画像データの出力を行わせる（Ｓ１０８）。プロセッサ１００は、制御バスＢ２を介して制御情報を送信することによって、センサ２００Ａ、２００Ｂ、２００Ｃそれぞれに、撮像およびデータバスＢ１への画像データの出力を行わせる。

プロセッサ１００は、画像に関する制御に係る処理として、例えば図１０に示す処理を行う。なお、画像に関する制御に係る処理の例が、図１０に示す例に限られないことは、言うまでもない。

例えば図１０に示すようなプロセッサ１００による画像に関する制御によって、センサ２００が備えるレジスタに制御情報が記録される。また、センサ２００は、上述したように、制御情報に基づいて画像を出力する。

よって、例えば図１０に示すようなプロセッサ１００による画像に関する制御によって、センサ２００からは、図９のＡ〜図９のＤのいずれかのパケット構成を有する画像データが出力される。

以下、システム１０００における画像の出力例を、センサ２００Ａ、２００Ｂ、２００Ｃから出力される画像データのパケット列の例ごとに、説明する。

［ｉ］システム１０００における画像の出力の第１の例
図１１は、本実施形態に係るシステム１０００を構成する複数のセンサ２００それぞれから出力される画像データのパケット列の第１の例を示している。

図１１に示すＡは、センサ２００Ａから出力される画像データのパケット列の一例を示しており、図１１に示すＢは、センサ２００Ｂから出力される画像データのパケット列の一例を示している。また、図１１に示すＣは、センサ２００Ｃから出力される画像データのパケット列の一例を示している。図１１では、センサ２００Ａ、２００Ｂ、２００Ｃそれぞれから、図９のＡに示す構成（ＦＳパケットＰ１とＦＥパケットＰ３との双方が出力される画像データのパケット構成）のパケット列が、出力される例を示している。

図１１においてセンサ２００Ａ、２００Ｂ、２００Ｃにおける画像の出力は、同期信号Ｖｓｙｎｃによって同期している。

例えば、センサ２００Ａから出力される画像データのパケット列は、図１１のＡに示すように、同期信号Ｖｓｙｎｃの受信直後に出力される。また、センサ２００Ｂから出力される画像データのパケット列は、図１１のＢに示すように、同期信号Ｖｓｙｎｃの受信後、センサ２００Ｂに設定されたフレームブランキングＢＬ２（制御情報が示す出力遅延量に該当する。）が経過した後に、出力される。また、センサ２００Ｃから出力される画像データのパケット列は、図１１のＣに示すように、同期信号Ｖｓｙｎｃの受信後、センサ２００Ｃに設定されたフレームブランキングＢＬ２（制御情報が示す出力遅延量に該当する。）が経過した後に、出力される。

ここで、同期信号Ｖｓｙｎｃは、例えば、制御バスＢ２を介してプロセッサ１００から送信される。同期信号Ｖｓｙｎｃが制御バスＢ２を介してプロセッサ１００から送信されることによって、システム１０００では、複数のセンサ２００を同期して動作させることが実現される。つまり、システム１０００では、制御バスＢ２を介したプロセッサ１００による制御によって、複数のセンサ２００における画像の出力を同期させることができる。

なお、システム１０００において複数のセンサ２００を同期して動作させる方法は、上記“プロセッサ１００がシステム１０００を構成する全センサ２００に対して同期信号Ｖｓｙｎｃを送信する方法”に限られない。

例えば、システム１０００では、プロセッサ１００が制御バスＢ２を介してセンサ２００それぞれの動作開始させた後に、複数のセンサ２００のうちのある１つのセンサ２００がマスタとして機能することによって、複数のセンサ２００が同期して動作してもよい。具体的には、システム１０００では、マスタとして機能するセンサ２００が、同期信号Ｖｓｙｎｃを他のセンサ２００（スレーブとして機能するセンサ２００）に対して送信する。そして、システム１０００では、上記他のセンサ２００がマスタとして機能するセンサ２００から送信された同期信号Ｖｓｙｎｃを受信することによって、複数のセンサ２００を同期して動作させることが実現される。ここで、センサ２００間における同期信号Ｖｓｙｎｃの送受信は、例えばセンサ２００間を接続する１ビットの専用線などを介して行われる。

システム１０００では、図１１に示すように、プロセッサ１００による制御（または、プロセッサ１００による制御が行われた後の、マスタとして機能するセンサ２００による制御）によって、センサ２００Ａ、２００Ｂ、２００Ｃそれぞれから出力される画像データのパケット列の衝突が、回避される。

また、図１１に示すように、センサ２００Ａ、２００Ｂ、２００Ｃそれぞれから出力される画像データのパケット列には、互いに異なるＶＣ番号が設定されてもよい。図１１では、センサ２００Ａから出力される画像データのパケット列にＶＣ番号“０”、センサ２００Ｂから出力される画像データのパケット列にＶＣ番号“１”、センサ２００Ｃから出力される画像データのパケット列にＶＣ番号“２”が、付与されている例を示している。

図１２は、本実施形態に係るシステム１０００を構成するプロセッサ１００が受信するパケット列の第１の例を示している。図１２に示すパケット列は、図１１に示すパケット列がデータバスＢ１上で多重化されたパケット列に該当する。

図１２に示すパケット列は、ＣＳＩ−２規格を満たしている。よって、プロセッサ１００は、複数のセンサ２００それぞれから出力された画像データに対応する、図１２に示すパケット列を、ＣＳＩ−２規格通りに、１つのセンサ２００から出力されたパケット列として扱うことができる。

図１３は、本実施形態に係るシステム１０００を構成するメモリ３００上のフレームバッファに記憶された、画像データのパケット列の第１の例を示している。図１３は、プロセッサ１００によって、図１２に示すパケット列がフレームバッファに記憶された例を示している。

プロセッサ１００は、例えば、ＶＣ番号ごとにメモリ３００上にフレームバッファを確保し、ＶＣ番号ごとに確保されたフレームバッファに、図１２に示すパケット列をＶＣ番号ごとに記録する。つまり、図１２に示すデータバスＢ１上で多重化されたパケット列が示す、センサ２００Ａ、２００Ｂ、２００Ｃそれぞれから出力された画像データを、メモリ３００上のフレームバッファにおいてセンサ２００ごとの画像データに分離させることが、可能である。

［ｉｉ］システム１０００における画像の出力の第２の例
図１４は、本実施形態に係るシステム１０００を構成する複数のセンサ２００それぞれから出力される画像データのパケット列の第２の例を示している。

図１４に示すＡは、センサ２００Ａから出力される画像データのパケット列の一例を示しており、図１４に示すＢは、センサ２００Ｂから出力される画像データのパケット列の一例を示している。また、図１４に示すＣは、センサ２００Ｃから出力される画像データのパケット列の一例を示している。図１４では、センサ２００Ａ、２００Ｂ、２００Ｃそれぞれから、下記に示す構成のパケット列が、出力される例を示している。
・センサ２００Ａ：図９のＢに示す構成（ＦＳパケットＰ１が出力され、ＦＥパケットＰ３が出力されない画像データのパケット構成）のパケット列
・センサ２００Ｂ：図９のＣに示す構成（ＦＳパケットＰ１とＦＥパケットＰ３との双方が出力されない画像データのパケット構成）のパケット列
・センサ２００Ｃ：図９のＤに示す構成（ＦＥパケットＰ３が出力され、ＦＳパケットＰ１が出力されない画像データ）のパケット列

図１４においてセンサ２００Ａ、２００Ｂ、２００Ｃの同期とパケット出力における遅延は、図１１に示す画像の出力の第１の例と同様である。

また、図１４に示すように、センサ２００Ａ、２００Ｂ、２００Ｃそれぞれから出力される画像データのパケット列には、同一のＶＣ番号が設定されてもよい。図１４では、センサ２００Ａ、２００Ｂ、２００Ｃそれぞれから出力される画像データのパケット列にＶＣ番号“０”が付与されている例を示している。

図１５は、本実施形態に係るシステム１０００を構成するプロセッサ１００が受信するパケット列の第２の例を示している。図１５に示すパケット列は、図１４に示すパケット列がデータバスＢ１上で多重化されたパケット列に該当する。

図１５に示すパケット列は、ＣＳＩ−２規格を満たしている。よって、プロセッサ１００は、複数のセンサ２００それぞれから出力された画像データに対応する、図１５に示すパケット列を、ＣＳＩ−２規格通りに、１つのセンサ２００から出力されたパケット列として扱うことができる。

図１６は、本実施形態に係るシステム１０００を構成するメモリ３００上のフレームバッファに記憶された、画像データのパケット列の第２の例を示している。図１６は、プロセッサ１００によって、図１５に示すパケット列がフレームバッファに記憶された例を示している。

プロセッサ１００は、例えば、ＶＣ番号ごとにメモリ３００上にフレームバッファを確保し、ＶＣ番号ごとに確保されたフレームバッファに、図１５に示すパケット列を記録する。つまり、図１５に示すデータバスＢ１上で多重化されたパケット列が示す、センサ２００Ａ、２００Ｂ、２００Ｃそれぞれから出力された画像データは、“センサ２００Ａから出力された画像、センサ２００Ｂから出力された画像、およびセンサ２００Ｃから出力された画像が、垂直方向に連結された１つの画像”として、メモリ３００上のフレームバッファに記憶される。

よって、画像の出力の第２の例では、センサ２００Ａから出力された画像、センサ２００Ｂから出力された画像、およびセンサ２００Ｃから出力された画像を垂直方向に連結することが、実現される。

［ｉｉｉ］システム１０００における画像の出力の第３の例
図１７は、本実施形態に係るシステム１０００を構成する複数のセンサ２００それぞれから出力される画像データのパケット列の第３の例を示している。

図１７に示すＡは、センサ２００Ａから出力される画像データのパケット列の一例を示しており、図１７に示すＢは、センサ２００Ｂから出力される画像データのパケット列の一例を示している。また、図１７に示すＣは、センサ２００Ｃから出力される画像データのパケット列の一例を示している。図１７では、センサ２００Ａ、２００Ｂ、２００Ｃそれぞれから、図９のＡに示す構成（ＦＳパケットＰ１とＦＥパケットＰ３との双方が出力される画像データのパケット構成）のパケット列が、出力される例を示している。

図１７においてセンサ２００Ａ、２００Ｂ、２００Ｃにおける画像の出力は、例えば図１１に示す画像の出力の第１の例と同様に、制御バスＢ２を介したプロセッサ１００による制御などによって同期している。

例えば、センサ２００Ａから出力される画像データのパケット列は、図１７のＡに示すように、同期信号Ｖｓｙｎｃの受信直後に出力される。また、センサ２００Ｂから出力される画像データのパケット列は、図１７のＢに示すように、同期信号Ｖｓｙｎｃの受信後、センサ２００Ｂに設定されたラインブランキングＢＬ１（制御情報が示す出力遅延量に該当する。）が経過した後に、出力される。また、センサ２００Ｃから出力される画像データのパケット列は、図１７のＣに示すように、同期信号Ｖｓｙｎｃの受信後、センサ２００Ｃに設定されたラインブランキングＢＬ１（制御情報が示す出力遅延量に該当する。）が経過した後に、出力される。ここで、図１１に示す第１の例と、図１７に示す第３の例との相違点は、“図１１に示す第１の例では、パケットの出力遅延がフレーム単位で制御されるのに対して、図１７に示す第３の例では、パケットの出力遅延がライン単位で制御される点”である。

システム１０００では、図１７に示すように、プロセッサ１００による制御によって、センサ２００Ａ、２００Ｂ、２００Ｃそれぞれから出力される画像データのパケット列の衝突が、回避される。

また、図１７に示すように、センサ２００Ａ、２００Ｂ、２００Ｃそれぞれから出力される画像データのパケット列には、互いに異なるＶＣ番号が設定されてもよい。図１７では、センサ２００Ａから出力される画像データのパケット列にＶＣ番号“０”、センサ２００Ｂから出力される画像データのパケット列にＶＣ番号“１”、センサ２００Ｃから出力される画像データのパケット列にＶＣ番号“２”が、付与されている例を示している。

図１８は、本実施形態に係るシステム１０００を構成するプロセッサ１００が受信するパケット列の第３の例を示している。図１８に示すパケット列は、図１７に示すパケット列がデータバスＢ１上で多重化されたパケット列に該当する。

図１８に示すパケット列は、ＣＳＩ−２規格を満たしている。よって、プロセッサ１００は、複数のセンサ２００それぞれから出力された画像データに対応する、図１８に示すパケット列を、ＣＳＩ−２規格通りに、１つのセンサ２００から出力されたパケット列として扱うことができる。

図１９は、本実施形態に係るシステム１０００を構成するメモリ３００上のフレームバッファに記憶された、画像データのパケット列の第３の例を示している。図１９は、プロセッサ１００によって、図１８に示すパケット列がフレームバッファに記憶された例を示している。

プロセッサ１００は、例えば、ＶＣ番号ごとにメモリ３００上にフレームバッファを確保し、ＶＣ番号ごとに確保されたフレームバッファに、図１８に示すパケット列をＶＣ番号ごとに記録する。ここで、図１２に示す第１の例に係るパケット列と、図１８に示す第３の例に係るパケット列とは、パケット順序が異なるが、フレームバッファに記憶される形式は互いに等しくなる。つまり、図１８に示すデータバスＢ１上で多重化されたパケット列が示す、センサ２００Ａ、２００Ｂ、２００Ｃそれぞれから出力された画像データを、メモリ３００上のフレームバッファにおいてセンサ２００ごとの画像データに分離させることが、可能である。

［ｉｖ］システム１０００における画像の出力の第４の例
図２０は、本実施形態に係るシステム１０００を構成する複数のセンサ２００それぞれから出力される画像データのパケット列の第４の例を示している。

図２０に示すＡは、センサ２００Ａから出力される画像データのパケット列の一例を示しており、図２０に示すＢは、センサ２００Ｂから出力される画像データのパケット列の一例を示している。また、図２０に示すＣは、センサ２００Ｃから出力される画像データのパケット列の一例を示している。図２０では、センサ２００Ａ、２００Ｂ、２００Ｃそれぞれから、下記に示す構成のパケット列が、出力される例を示している。
・センサ２００Ａ：図９のＢに示す構成（ＦＳパケットＰ１が出力され、ＦＥパケットＰ３が出力されない画像データのパケット構成）のパケット列
・センサ２００Ｂ：図９のＣに示す構成（ＦＳパケットＰ１とＦＥパケットＰ３との双方が出力されない画像データのパケット構成）のパケット列
・センサ２００Ｃ：図９のＤに示す構成（ＦＥパケットＰ３が出力され、ＦＳパケットＰ１が出力されない画像データ）のパケット列

図２０においてセンサ２００Ａ、２００Ｂ、２００Ｃの同期とパケット出力における遅延は、図１７に示す画像の出力の第３の例と同様である。

また、図２０に示すように、センサ２００Ａ、２００Ｂ、２００Ｃそれぞれから出力される画像データのパケット列には、同一のＶＣ番号が設定されてもよい。図２０では、センサ２００Ａ、２００Ｂ、２００Ｃそれぞれから出力される画像データのパケット列にＶＣ番号“０”が付与されている例を示している。

図２１は、本実施形態に係るシステム１０００を構成するプロセッサ１００が受信するパケット列の第４の例を示している。図２１に示すパケット列は、図２０に示すパケット列がデータバスＢ１上で多重化されたパケット列に該当する。

図２１に示すパケット列は、ＣＳＩ−２規格を満たしている。よって、プロセッサ１００は、複数のセンサ２００それぞれから出力された画像データに対応する、図２１に示すパケット列を、ＣＳＩ−２規格通りに、１つのセンサ２００から出力されたパケット列として扱うことができる。

図２２は、本実施形態に係るシステム１０００を構成するメモリ３００上のフレームバッファに記憶された、画像データのパケット列の第４の例を示している。図２２は、プロセッサ１００によって、図２１に示すパケット列がフレームバッファに記憶された例を示している。

プロセッサ１００は、例えば、ＶＣ番号ごとにメモリ３００上にフレームバッファを確保し、ＶＣ番号ごとに確保されたフレームバッファに、図２１に示すパケット列を記録する。つまり、図２１に示すデータバスＢ１上で多重化されたパケット列が示す、センサ２００Ａ、２００Ｂ、２００Ｃそれぞれから出力された画像データは、“センサ２００Ａから出力された画像、センサ２００Ｂから出力された画像、およびセンサ２００Ｃから出力された画像が、水平方向に連結された１つの画像”として、メモリ３００上のフレームバッファに記憶される。

よって、画像の出力の第４の例では、センサ２００Ａから出力された画像、センサ２００Ｂから出力された画像、およびセンサ２００Ｃから出力された画像を水平方向に連結することが、実現される。

［ｖ］システム１０００における画像の出力の他の例
システム１０００における画像の出力の例は、上記［ｉ］に示す第１の例〜上記［ｉｖ］に示す第４の例に限られない。

例えばシステム１０００では、上記［ｉ］に示す第１の例〜上記［ｉｖ］に示す第４の例のうちの２以上を組み合わせることによって、画像の垂直連結、画像の水平連結、および画像の分離を組み合わせることを、実現することができる。

一例を挙げると、例えば、４つのセンサ２００それぞれから出力された画像を、画像０、画像１、画像２、画像３とおくと、“画像０と画像１とを水平方向に連結し、画像２と画像３とを水平方向に連結し、さらに、水平方向に連結された画像０および画像１と、水平方向に連結された画像２および画像３とを、垂直方向に連結する”などの、画像の連結の組み合わせを実現することが可能である。

（本実施形態に係るプログラム）
コンピュータを、本実施形態に係る処理装置として機能させるためのプログラム（例えば、画像に関する制御に係る処理（本実施形態に係る制御方法に係る処理）を、コンピュータに実行させるプログラム）が、コンピュータにおいてプロセッサなどにより実行されることによって、“複数の画像センサがそれぞれ独立に出力する複数の画像を、データバス上で連結または分離する機構”を有するシステムが、実現される。

また、コンピュータを、本実施形態に係る処理装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した画像に関する制御に係る処理（本実施形態に係る制御方法に係る処理）によって奏される効果を、奏することができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記では、コンピュータを、本実施形態に係る処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。

上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
データバスに接続され、前記データバスに接続される複数の画像センサそれぞれから前記データバスを介して出力される画像に関する制御を行う処理部を備える、処理装置。
（２）
前記処理部は、前記画像に関する制御として、前記画像センサそれぞれから出力される複数の前記画像の連結の制御を行う、（１）に記載の処理装置。
（３）
前記処理部は、前記画像センサそれぞれから出力される複数の前記画像における、フレームの開始とフレームの終了とを制御することによって、複数の前記画像の連結を制御する、（２）に記載の処理装置。
（４）
前記処理部は、前記画像センサそれぞれにおける、フレームの開始パケットの出力を制御することによって、前記フレームの開始を制御する、（３）に記載の処理装置。
（５）
前記処理部は、前記画像センサそれぞれにおける、フレームの終了パケットの出力を制御することによって、前記フレームの終了を制御する、（３）、または（４）に記載の処理装置。
（６）
前記処理部は、さらに、前記画像センサそれぞれから出力される複数の前記画像に対する識別子の付与を制御することによって、複数の前記画像の連結を制御する、（３）〜（５）のいずれか１つに記載の処理装置。
（７）
前記処理部は、前記画像に関する制御として、前記画像センサそれぞれから出力される画像サイズの制御と、複数の前記画像センサそれぞれから出力される画像のフレームレートの制御との一方または双方を行う、（１）〜（６）のいずれか１つに記載の処理装置。
（８）
前記処理部は、前記画像に関する制御として、前記画像センサそれぞれから出力される画像の出力タイミングの制御を行う、（１）〜（７）のいずれか１つに記載の処理装置。
（９）
前記処理部は、前記画像センサそれぞれに対して、制御情報を送信することによって、前記画像に関する制御を行う、（１）〜（８）のいずれか１つに記載の処理装置。
（１０）
前記制御情報は、前記画像センサそれぞれに接続される、前記データバスと異なる制御バスを介して送信される、（９）に記載の処理装置。
（１１）
前記制御情報は、前記画像センサが備えるレジスタに記録される、（９）、または（１０）に記載の処理装置。
（１２）
他の画像センサが接続されるデータバスに接続され、制御情報に基づいて画像を出力する、画像センサ。
（１３）
前記制御情報には、フレームの開始パケットを出力するかを示す第１出力情報が含まれ、
前記第１出力情報が、前記フレームの開始パケットを出力することを示す場合に、前記画像と共に前記フレームの開始パケットを出力する、（１２）に記載の画像センサ。
（１４）
前記制御情報には、フレームの終了パケットを出力するかを示す第２出力情報が含まれ、
前記第２出力情報が、前記フレームの終了パケットを出力することを示す場合に、前記画像と共に前記フレームの終了パケットを出力する、（１２）、または（１３）に記載の画像センサ。
（１５）
前記制御情報には、画像の識別子を示す第３出力情報が含まれ、
前記画像と共に前記第３出力情報が示す前記識別子を出力する、（１２）〜（１４）のいずれか１つに記載の画像センサ。
（１６）
前記制御情報は、レジスタに記憶される、（１２）〜（１５）のいずれか１つに記載の画像センサ。
（１７）
データバスにそれぞれ接続される複数の画像センサと、
前記データバスに接続される処理装置と、
を有し、
前記処理装置は、前記画像センサそれぞれから前記データバスを介して出力される画像に関する制御を行う処理部を備える、システム。

１００、２５０ プロセッサ
１０２ 処理部
２００、２００Ａ、２００Ｂ、２００Ｃ センサ
２５２ ＲＯＭ
２５４ レジスタ
２５６ センサデバイス
２５８ 通信デバイス
２６０ 内部バス
２７０ 識別情報
２７２ 制御情報
３００ メモリ
４００ 表示デバイス
１０００ システム
Ｂ１ データバス
Ｂ２ 制御バス

Claims (11)

1. データバスに接続され、前記データバスに接続される複数の画像センサそれぞれから前記データバスを介して出力される画像に関する制御を行う処理部を備え、
   前記処理部は、前記画像センサそれぞれにおける、フレームの開始パケットの出力制御および、前記画像センサそれぞれにおける、フレームの終了パケットの出力制御を行い、
   前記画像センサそれぞれから出力される複数の画像について、開始パケットを含む画像から、終了パケットを含む画像までの複数の画像を連結する制御を行う処理装置。
2. 前記処理部は、さらに、前記画像センサそれぞれから出力される複数の前記画像に対する識別子の付与を制御することによって、複数の前記画像の連結を制御する、請求項１に記載の処理装置。
3. 前記処理部は、前記画像に関する制御として、前記画像センサそれぞれから出力される画像サイズの制御と、複数の前記画像センサそれぞれから出力される画像のフレームレートの制御との一方または双方を行う、請求項１または請求項２に記載の処理装置。
4. 前記処理部は、前記画像に関する制御として、前記画像センサそれぞれから出力される画像の出力タイミングの制御を行う、請求項１乃至請求項３の何れか１項に記載の処理装置。
5. 前記処理部は、前記画像センサそれぞれに対して、制御情報を送信することによって、前記画像に関する制御を行う、請求項１乃至請求項４の何れか１項に記載の処理装置。
6. 前記制御情報は、前記画像センサそれぞれに接続される、前記データバスと異なる制御バスを介して送信される、請求項５に記載の処理装置。
7. 前記制御情報は、前記画像センサが備えるレジスタに記録される、請求項５または請求項６に記載の処理装置。
8. 他の画像センサが接続されるデータバスに接続され、
   フレームの開始パケットを出力するかを示す第１出力情報、または、フレームの終了パケットを出力するかを示す第２出力情報を含む制御情報に基づいて、
   前記第１出力情報が、前記フレームの開始パケットを出力することを示す場合に、前記画像と共に前記フレームの開始パケットを出力し、
   前記第２出力情報が、前記フレームの終了パケットを出力することを示す場合に、前記画像と共に前記フレームの終了パケットを出力する、画像センサ。
9. 前記制御情報には、画像の識別子を示す第３出力情報が含まれ、
   前記画像と共に前記第３出力情報が示す前記識別子を出力する、請求項８に記載の画像センサ。
10. 前記制御情報は、レジスタに記憶される、請求項８または請求項９に記載の画像センサ。
11. データバスにそれぞれ接続される複数の画像センサと、
    前記データバスに接続される処理装置と、
    を有し、
    前記処理装置は、前記画像センサそれぞれにおける、フレームの開始パケットの出力制御および、前記画像センサそれぞれにおける、フレームの終了パケットの出力制御を行い、
    前記画像センサそれぞれから出力される複数の画像について、開始パケットを含む画像から、終了パケットを含む画像までの複数の画像を連結する制御を行う処理部を備える、システム。

Images