JP6722044B2 - 処理装置、画像センサ、およびシステム - Google Patents

Description

本開示は、処理装置、画像センサ、およびシステムに関する。

例えばプロセッサとセンサと間の接続などの、デバイス間の接続に係る技術が開発されている。デバイス間の接続に係る技術としては、例えば下記の特許文献１に記載の技術が挙げられる。

米国特許出願公開第２０１４／０２８１７５３号明細書

例えば、電子機器の高機能化、多機能化などに伴い、プロセッサなどの処理装置を備える電子機器の中には、複数の画像センサを備えるものがある。

ここで、プロセッサ（処理装置の一例。以下、同様とする。）と画像センサとをデータバス（信号の伝送路）で接続する規格としては、ＭＩＰＩ（Mobile Industry Processor Interface）アライアンスのＣＳＩ−２（Camera Serial Interface 2）規格がある。ＣＳＩ−２規格は、プロセッサと画像センサとをデータバスで１対１で接続するための規格である。しかしながら、ＣＳＩ−２規格のような既存の規格では、“データバス上で、プロセッサと複数の画像センサとが接続されること”は、想定されていない。

本開示では、処理装置と複数の画像センサとがデータバスで接続される場合に、複数の画像センサそれぞれにおいて所定の期間内に撮像された画像を、データバスにより伝送することが可能な、新規かつ改良された処理装置、画像センサ、およびシステムを提案する。

本開示によれば、データバスに接続可能であり、上記データバスに接続される複数の画像センサそれぞれにおいて所定の期間内に撮像された画像の出力制御を行う処理部を備え、上記画像センサそれぞれにおける上記画像の出力タイミングは、上記出力制御が行われることによって変わる、処理装置が、提供される。

また、本開示によれば、他の画像センサが接続されるデータバスに接続可能であり、制御情報に基づく出力タイミングで、所定の期間内に撮像された画像を出力する、画像センサが、提供される。

また、本開示によれば、データバスにそれぞれ接続される複数の画像センサと、上記データバスに接続される処理装置と、を有し、上記処理装置は、複数の上記画像センサそれぞれにおいて所定の期間内に撮像された画像の出力制御を行う処理部を備え、上記画像センサそれぞれにおける上記画像の出力タイミングは、上記出力制御が行われることによって変わる、システムが、提供される。

本開示によれば、処理装置と複数の画像センサとがデータバスで接続される場合に、複数の画像センサそれぞれにおいて所定の期間内に撮像された画像を、データバスにより伝送することができる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。

本実施形態に係るシステムの構成の一例を示す説明図である。 複数のセンサが接続されているデータバスにおいて、画像を時分割多重化して伝送させる場合の一例を示す説明図である。 本実施形態に係るシステムにおける画像の伝送の概要を説明するための説明図である。 本実施形態に係るシステムを構成するセンサの構成の一例を示す説明図である。 本実施形態に係るシステムを構成するセンサにより撮像された画像データの一例を示している。 本実施形態に係るシステムを構成するデータバス上で伝送される画像データのパケット列の一例を示している。 本実施形態に係るシステムを構成するメモリ上に確保されたフレームバッファの一例を示している。 ローリングシャッター方式に対応する撮像デバイスを備えるセンサ２００における動作の一例を示す説明図である。 ローリングシャッター方式に対応する撮像デバイスを備えるセンサにおける動作の一例を示す説明図である。 ローリングシャッター方式に対応する撮像デバイスをそれぞれ備える、２つのセンサにおける動作の一例を示す説明図である。 グローバルシャッター方式に対応する撮像デバイスを備えるセンサにおける動作の一例を示す説明図である。 グローバルシャッター方式に対応する撮像デバイスを備えるセンサにおける動作の一例を示す説明図である。 本実施形態に係るシステムにおけるセンサからの画像の出力の第１の例を示す説明図である。 本実施形態に係るシステムにおけるセンサからの画像の出力の第２の例を示す説明図である。 本実施形態に係るシステムを構成するプロセッサにおける画像の出力制御に係る処理（本実施形態に係る制御方法に係る処理）の一例を示す流れ図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下では、下記に示す順序で説明を行う。
１．本実施形態に係るシステムの構成
２．本実施形態に係るシステムにおける画像の出力例
３．本実施形態に係るプログラム

（本実施形態に係るシステムの構成）
図１は、本実施形態に係るシステム１０００の構成の一例を示す説明図である。システム１０００としては、例えば、スマートフォンなどの通信装置や、ドローン（遠隔操作による動作、または、自律的な動作が可能な機器）、自動車などの移動体などが挙げられる。なお、システム１０００の適用例は、上記に示す例に限られない。システム１０００の他の適用例については、後述する。

システム１０００は、例えば、プロセッサ１００（本実施形態に係る処理装置）と、画像を出力する機能を有する複数のセンサ２００Ａ、２００Ｂ、…（本実施形態に係る画像センサ）と、メモリ３００と、表示デバイス４００とを有する。以下では、複数のセンサ２００Ａ、２００Ｂ、…を総称して、または、複数のセンサ２００Ａ、２００Ｂ、…のうちの１つのセンサを代表的に示して、「センサ２００」と示す場合がある。

なお、図１では、２以上のセンサ２００を有するシステム１０００を示しているが、本実施形態に係るシステムが有するセンサ２００の数は、図１に示す例に限られない。例えば、本実施形態に係るシステムは、２つのセンサ２００、３つのセンサ２００など、２以上の任意の数のセンサ２００を有していてもよい。以下では、説明の便宜上、システム１０００が有する複数のセンサ２００のうちの２つのセンサ２００から画像が出力される場合を主に例に挙げる。

プロセッサ１００と複数のセンサ２００それぞれとは、１つのデータバスＢ１により電気的に接続される。データバスＢ１は、プロセッサ１００とセンサ２００それぞれとを接続する、一の信号の伝送路である。例えば、センサ２００それぞれから出力される画像を示すデータ（以下、「画像データ」と示す場合がある。）が、センサ２００からプロセッサ１００へとデータバスＢ１を介して伝送される。

システム１０００においてデータバスＢ１により伝送される信号は、例えば、ＣＳＩ−２規格、ＰＣＩ Ｅｘｐｒｅｓｓなどの、データを時分割多重化して伝送することが可能な任意の規格によって、伝送される。以下では、データバスＢ１により伝送される信号が、ＣＳＩ−２規格に従って伝送される例を示す。

また、プロセッサ１００と複数のセンサ２００それぞれとは、データバスＢ１とは異なる制御バスＢ２により電気的に接続される。制御バスＢ２は、プロセッサ１００とセンサ２００それぞれとを接続する、他の信号の伝送路である。例えば、プロセッサ１００から出力される制御情報（後述する）が、プロセッサ１００からセンサ２００へと制御バスＢ２を介して伝送される。以下では、データバスＢ１と同様に、制御バスＢ２により伝送される信号が、ＣＳＩ−２規格に従って伝送される例を示す。なお、図１では、プロセッサ１００と複数のセンサ２００それぞれとが、１つの制御バスＢ２により接続される例を示しているが、本実施形態に係るシステムは、センサ２００ごとに制御バスが設けられる構成をとることも可能である。また、プロセッサ１００と複数のセンサ２００それぞれとは、制御バスＢ２を介して制御情報（後述する）を送受信する構成に限られず、例えば、後述する制御情報の送受信を行うことが可能な任意の通信方式の無線通信によって制御情報（後述する）を送受信する構成であってもよい。

［１］システム１０００における画像の伝送の概要
システム１０００の構成について説明する前に、システム１０００における画像の伝送の概要を説明する。

システム１０００のように、画像を出力する機能を有する複数のセンサがデータバスに接続されている場合には、データバス上で伝送されるデータの衝突を回避するために、画像を時分割多重化して伝送させることが、考えられる。

図２は、複数のセンサが接続されているデータバスにおいて、画像を時分割多重化して伝送させる場合の一例を示す説明図である。図２は、撮像デバイスをそれぞれ有する２つのセンサ（図２に示すセンサ＃１およびセンサ＃２）が、撮像直後に画像をデータバスに出力する場合における、時分割多重化による伝送の一例を示している。

図２に示すように、センサそれぞれが撮像直後に画像をデータバスに出力する場合には、時分割多重化による伝送を実現するために２つのセンサの露光タイミングを遅延させる必要がある。

よって、図２に示す例では、センサ間で撮像のタイミングが合わないので、２つのセンサにおいて撮像された画像は、同一の時点に撮像された画像（または、同一の時点に撮像されたとみなせる画像）とはならない。

そこで、システム１０００では、所定の期間内において複数のセンサそれぞれに撮像を行わせ、複数のセンサから画像が出力されるタイミングをセンサ間でずらすことによって、時分割多重化による伝送を実現する。システム１０００において、複数のセンサそれぞれにおける撮像の制御と、複数のセンサそれぞれにおける画像の出力タイミングの制御とは、例えばプロセッサ１００により行われる。

ここで、本実施形態に係る所定の期間内としては、例えば、１フレーム期間内や、画像の数ラインのずれに相当する期間内、同時などが挙げられる。なお、本実施形態に係る所定の期間内は、上記に示す例に限られない。本実施形態に係る所定の期間内は、例えば、システム１０００の設計者や利用者などが、複数のセンサが同時に撮像したとみなせるとして設定した、任意の期間内であってもよい。

複数のセンサによる所定の期間内での撮像は、例えば、制御バスＢ２を介してプロセッサ１００が送信する、撮像の制御のための制御情報に基づき制御される。

撮像の制御のための制御情報としては、例えば、撮像命令（処理命令の一例）を含むデータが挙げられる。

また、撮像の制御のための制御情報には、複数のセンサを同期して動作させるための同期信号が含まれていてもよい。同期信号を含む制御情報により、センサにおける撮像が制御される場合、“複数のセンサそれぞれにおいて所定の期間内に撮像された画像は、複数の画像センサが同期して撮像を行った画像である”といえる。なお、後述するように、システム１０００において同期信号は、システム１０００を構成する複数のセンサ２００のうちの、マスタとして機能するセンサ２００により送信されてもよい。

図３は、本実施形態に係るシステム１０００における画像の伝送の概要を説明するための説明図である。図３は、撮像デバイスをそれぞれ有する２つのセンサ（図３に示すセンサ＃１およびセンサ＃２）が、同期信号Ｖｓｙｎｃの受信に基づき同期して撮像を行う例を示している。

ここで、システム１０００において、同期信号Ｖｓｙｎｃは、例えば制御バスＢ２を介してプロセッサ１００から送信される。同期信号Ｖｓｙｎｃが制御バスＢ２を介してプロセッサ１００から送信されることによって、システム１０００では、複数のセンサ２００を同期して動作させることが実現される。つまり、システム１０００では、制御バスＢ２を介したプロセッサ１００による制御によって、例えば複数のセンサ２００における撮像と画像の出力とを同期させることができる。

なお、システム１０００において複数のセンサ２００を同期して動作させる方法は、上記“プロセッサ１００がシステム１０００を構成する全センサ２００に対して同期信号Ｖｓｙｎｃを送信する方法”に限られない。

例えば、システム１０００では、プロセッサ１００が制御バスＢ２を介してセンサ２００それぞれの動作開始させた後に、複数のセンサ２００のうちのある１つのセンサ２００がマスタとして機能することによって、複数のセンサ２００が同期して動作してもよい。具体的には、システム１０００では、マスタとして機能するセンサ２００が、同期信号Ｖｓｙｎｃを他のセンサ２００（スレーブとして機能するセンサ２００）に対して送信する。そして、システム１０００では、上記他のセンサ２００がマスタとして機能するセンサ２００から送信された同期信号Ｖｓｙｎｃを受信することによって、複数のセンサ２００を同期して動作させることが実現される。ここで、センサ２００間における同期信号Ｖｓｙｎｃの送受信は、例えばセンサ２００間を接続する１ビットの専用線などを介して行われる。

図３に示すように、２つのセンサは、同期信号Ｖｓｙｎｃに基づき同期して撮像を行う。そして、２つのセンサそれぞれは、撮像された画像を示すデータがデータバスＢ１上で衝突しないように、相異なるタイミングで出力される。例えば図３に示す例では、センサ＃１は、撮像直後に画像をデータバスに出力し、センサ＃２は、撮像後、図３において“Ｗａｉｔ”と示されている遅延量分遅延させて画像をデータバスに出力している。

よって、図３に示す例では、センサ間で撮像のタイミングが揃った画像（所定の期間内に撮像された画像）を、データバスＢ１上で時分割多重化して伝送させることができる。

以下、図１に示すシステム１０００の構成について説明しつつ、図３に示すような伝送を実現するための本実施形態に係る制御に係る処理を、説明する。

［２］プロセッサ１００（本実施形態に係る処理装置）
プロセッサ１００は、ＭＰＵ（Micro Processing Unit）などの演算回路で構成される、１または２以上のプロセッサや、各種処理回路などで構成される。また、プロセッサ１００は、例えば、データバスＢ１を接続することが可能な端子や、制御バスＢ２を接続することが可能な端子などの外部バスを接続することが可能な端子を有し、データバスＢ１などの外部バスに接続可能である。プロセッサ１００は、バッテリなどのシステム１０００を構成する内部電源（図示せず）から供給される電力、または、システム１０００の外部電源から供給される電力によって、駆動する。

プロセッサ１００は、本実施形態に係る処理装置の一例である。本実施形態に係る処理装置は、後述する処理部における処理（本実施形態に係る制御方法に係る処理）を行うことが可能な、任意の回路、任意のデバイスに適用することが可能である。

プロセッサ１００は、“データバスＢ１に接続される複数のセンサ２００それぞれにおいて所定の期間内に撮像された画像の出力制御（本実施形態に係る制御方法に係る制御）”を行う。

画像の出力制御は、例えば、プロセッサ１００が備える処理部１０２において行われる。プロセッサ１００では、画像の出力制御を行う特定のプロセッサ（または特定の処理回路）、または、複数のプロセッサ（または複数の処理回路）が、処理部１０２の役目を果たす。

なお、処理部１０２は、プロセッサ１００における機能を便宜上切り分けたものである。よって、プロセッサ１００では、例えば、本実施形態に係る画像の出力制御が、複数の機能ブロックによって行われてもよい。以下では、本実施形態に係る画像の出力制御が、処理部１０２において行われる場合を例に挙げる。

［１−１］本実施形態に係る画像の出力制御の一例
処理部１０２は、センサ２００それぞれに対して制御情報を送信することによって、画像の出力制御を行う。

本実施形態に係る制御情報には、例えば、センサ２００を示す識別情報と、制御のための情報と、処理命令とが含まれる。本実施形態に係る識別情報としては、例えば、センサ２００に設定されているＩＤなどの、センサ２００を特定することが可能な任意のデータが挙げられる。また、本実施形態に係る制御のための情報の具体例については、後述する。

制御情報は、上述したように、例えば制御バスＢ２を介して送信される。

また、処理部１０２により送信された制御情報は、例えば、センサ２００それぞれが備えるレジスタ（記録媒体の一例）に記録される。そして、後述するように、センサ２００は、レジスタに記憶されている制御情報に基づく出力タイミングで、所定の期間内に撮像された画像を出力する。

処理部１０２は、画像の出力制御として、例えば下記の（１）に示す第１の例に係る制御〜下記の（３）に示す第３の例に係る制御のいずれかの制御を行う。なお、本実施形態に係る画像の出力制御により実現される、システム１０００における画像の出力例については、後述する。

（１）画像の出力制御の第１の例：遅延の制御
処理部１０２は、センサ２００が画像を出力する際の遅延を制御する。

処理部１０２は、例えば、画像を出力する際の遅延量を示すデータ（第１出力情報。制御のための情報の一例）を含む制御情報を、センサ２００に対して送信することによって、センサ２００における画像を出力する際の遅延を制御する。画像を出力する際の遅延量を示すデータ（以下、「遅延量を示すデータ」と示す場合がある。）としては、例えば、遅延時間を示すデータなどの数値などで遅延量を直接的に示すデータや、遅延量に対応付けられているＩＤなどの、遅延量を間接的に示すデータなどが、挙げられる。

（２）画像の出力制御の第２の例：送信間隔の制御
処理部１０２は、センサ２００が画像を出力する際のパケットの出力間隔を制御する。画像を出力する際のパケットとしては、例えば、画像におけるライン単位のデータが、挙げられる。

処理部１０２は、例えば、画像を出力する際のパケットの出力間隔（データピッチ）を示すデータ（第２出力情報。制御のための情報の一例）を含む制御情報を、センサ２００に対して送信することによって、センサ２００における画像を出力する際のパケットの出力間隔を制御する。画像を出力する際のパケットの出力間隔を示すデータ（以下、「パケットの出力間隔を示すデータ」と示す場合がある。）としては、例えば、時間間隔を示すデータなどの数値などで出力間隔を直接的に示すデータや、出力間隔に対応付けられているＩＤなどの、出力間隔を間接的に示すデータなどが、挙げられる。

（３）画像の出力制御の第３の例
処理部１０２は、上記（１）に示す第１の例に係る制御と上記（２）に示す第２の例に係る制御との双方の制御を、行ってもよい。

処理部１０２は、画像の出力制御として、例えば上記（１）に示す第１の例に係る制御〜上記（３）に示す第３の例に係る制御を行う。

プロセッサ１００は、例えば処理部１０２を備えることによって、上述したような画像の出力制御に係る処理（本実施形態に係る制御方法に係る処理）を行う。

ここで、プロセッサ１００において上記（１）に示す第１の例に係る制御〜上記（３）に示す第３の例に係る制御が行われることによって、センサ２００それぞれでは、画像を出力する際の遅延と、画像を出力する際のパケットの出力間隔との一方または双方が、レジスタなどに記憶される制御情報に基づき制御される。

よって、プロセッサ１００は、画像の出力制御に係る処理を行うことによって、センサ２００（画像センサ）それぞれにおける画像の出力タイミングを、変えることができる。換言すると、システム１０００では、センサ２００それぞれにおける画像の出力タイミングは、プロセッサ１００において画像の出力制御が行われることによって変わりうる。

なお、プロセッサ１００において行われる処理は、上述したような画像の出力制御に係る処理に限られない。

例えば、プロセッサ１００は、センサ２００それぞれに対して制御情報を送信することによって、出力される画像の制御を行うことが、可能である。出力される画像の制御は、例えば処理部１０２により行われる。

本実施形態に係出力される画像の制御としては、例えば、センサ２００それぞれから出力される画像サイズの制御と、複数のセンサ２００それぞれから出力される画像のフレームレートの制御との一方または双方が、挙げられる。

プロセッサ１００は、例えば、画像サイズを示すデータと、フレームレートを示すデータとの一方または双方（制御のための情報の一例）を含む制御情報を、センサ２００に対して送信することによって、センサ２００から出力される画像を制御する。

また、プロセッサ１００は、例えば、メモリ３００などの記録媒体へのデータバスＢ１を介して受信された画像データの記録制御に係る処理、表示デバイス４００の表示画面への画像の表示制御に係る処理、任意のアプリケーションソフトウェアを実行する処理など、様々な処理を行うことが可能である。記録制御に係る処理としては、例えば“記録命令を含む制御データと記録媒体に記録させるデータとを、メモリ３００などの記録媒体に伝達する処理”が、挙げられる。また、表示制御に係る処理としては、例えば“表示命令を含む制御データと表示画面に表示させるデータとを、表示デバイス４００などの表示デバイスに伝達する処理”が、挙げられる。

［３］センサ２００（本実施形態に係る画像センサ）
センサ２００は、画像センサである。本実施形態に係る画像センサは、例えば、デジタルスチルカメラやデジタルビデオカメラ、ステレオカメラなどの撮像デバイスや、赤外線センサ、距離画像センサなどの、撮像機能を有する任意のセンサデバイスを含み、撮像により生成された画像を出力する機能を有する。ここで、センサ２００において生成される画像は、センサ２００におけるセンシング結果を示すデータに該当する。

センサ２００は、例えば図１に示すように、他のセンサ２００が接続されるデータバスＢ１に接続される。

上述したように、センサ２００における撮像は、例えば、制御バスＢ２を介して受信される制御情報に基づいて行われ、プロセッサ１００により制御される。例えばセンサ２００における撮像がプロセッサ１００により制御されることによって、センサ２００における撮像とシステム１０００を構成する他のセンサ２００における撮像とは、所定の期間内に行われる。

また、センサ２００は、制御情報に基づく出力タイミングで画像を出力する。ここで、センサ２００における撮像と他のセンサ２００における撮像とは、所定の期間内に行われるので、センサ２００が制御情報に基づき出力する画像は、所定の期間内に撮像された画像であるといえる。上述したように、制御情報はプロセッサ１００から送信され、センサ２００は、例えば制御バスＢ２を介して制御情報を受信する。

図４は、本実施形態に係るシステム１０００を構成するセンサ２００の構成の一例を示す説明図である。センサ２００は、例えば、プロセッサ２５０と、ＲＯＭ２５２と、レジスタ２５４と、センサデバイス２５６と、通信デバイス２５８とを有する。また、センサ２００における各構成要素は、例えば内部バス２６０で接続される。また、センサ２００は、例えば、データバスＢ１を接続することが可能な端子や、制御バスＢ２を接続することが可能な端子などの外部バスを接続することが可能な端子を有し、データバスＢ１などの外部バスに接続可能である。センサ２００は、バッテリなどのシステム１０００を構成する内部電源（図示せず）から供給される電力、または、システム１０００の外部電源から供給される電力によって、駆動する。

なお、センサ２００の構成は、図４に示す例に限られない。例えば、センサ２００は、出力する画像を一時的に保持するための記録媒体を、さらに備えていてもよい。画像を一時的に保持するための記録媒体としては、例えば、ＲＡＭ（Random Access Memory）などの揮発性メモリや、フラッシュメモリなどの不揮発性メモリなどが挙げられる。

ここで、後述するセンサデバイス２５６として機能する撮像デバイスが、グローバルシャッター方式に対応する撮像デバイスである場合には、当該撮像デバイスを構成する、信号電荷を保持するための保持容量を利用して、画像を一時的に保持することが可能である。

よって、センサ２００が、グローバルシャッター方式に対応する撮像デバイスをセンサデバイス２５６として備える場合には、センサ２００は、上記画像を一時的に保持するための記録媒体を、別途備える必要はない。上記画像を一時的に保持するための記録媒体を別途備える必要がない場合には、センサ２００の小型化やコストの低減などを図ることができる。

プロセッサ２５０は、センサ２００全体を制御する役目を果たす。プロセッサ２５０による制御としては、例えば、レジスタ２５４への受信された制御情報の記録の制御、センサデバイス２５６の動作の制御、通信デバイス２５８の通信の制御などが挙げられる。

受信された制御情報の記録の制御に係る処理としては、例えば、“受信された制御情報に含まれる識別情報と、ＲＯＭ２５２に記憶されている識別情報２７０とを比較し、比較結果に基づいて、受信された制御情報を選択的にレジスタ２５４に記録する処理”が、挙げられる。プロセッサ２５０は、例えば、受信された制御情報に含まれる識別情報と、ＲＯＭ２５２に記憶されている識別情報２７０とが一致する場合に、受信された制御情報を選択的にレジスタ２５４に記録する。

センサデバイス２５６の動作の制御に係る処理としては、例えば“撮像命令を含む制御情報が受信された場合に、センサデバイス２５６を動作させる命令を含む制御信号を、センサデバイス２５６に伝達する処理”が、挙げられる。

通信デバイス２５８の通信の制御に係る処理としては、例えば、“送信命令と送信するデータとを含む制御信号を、通信デバイス２５８に伝達する処理”が挙げられる。

ＲＯＭ２５２は、センサ２００が備える一の記録媒体である。ＲＯＭ２５２には、例えば、識別情報が記憶される。

レジスタ２５４は、センサ２００が備える他の記録媒体である。レジスタ２５４には、例えば、制御バスＢ２を介して受信された制御情報が、記憶される。なお、図４では、制御情報がレジスタ２５４に記憶される例を示しているが、制御情報は、フラッシュメモリなどの不揮発性メモリや、ハードディスクなどの磁気記録媒体などの、他の記録媒体に記憶されてもよい。

センサデバイス２５６は、画像を生成するデバイスである。センサデバイス２５６としては、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像デバイスや、赤外線センサ、距離画像センサなどの、撮像により画像を生成する機能を有する任意のセンサデバイスが、挙げられる。

センサデバイス２５６について一例を挙げて具体的に説明すると、センサデバイス２５６として機能する撮像デバイスは、例えば、光学系のレンズ（図示せず）と、撮像素子（図示せず）と、撮像素子（図示せず）に対応する画素アレイ（図示せず）と、ドライバ（図示せず）とを有する。

本実施形態に係る撮像素子（図示せず）としては、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）や、ＣＣＤ（Charge Coupled Device）が挙げられる。また、本実施形態に係る撮像素子（図示せず）は、ＣＭＯＳにＣＣＤなどの他の構成要素が積層されて構成される、スタック型の撮像素子であってもよい。つまり、撮像デバイスをセンサデバイス２５６として備えるセンサ２００は、グローバルシャッター方式、または、ローリングシャッター方式によって撮像を行うことが可能である。

画素アレイ（図示せず）は、複数の画素回路が行列状に配置される構成を有する。画素回路それぞれは、信号線を介してドライバ（図示せず）と電気的に接続される。画素回路は、例えば、フォトダイオードなどの受光素子やトランジスタ、容量素子などで構成される。画素回路では、ドライバ（図示せず）から信号線を介して伝達される制御信号によって、入射される光に応じた信号電荷の蓄電や、画素回路の初期化などが行われる。

画素回路を構成する上記トランジスタとしては、例えば、バイポーラトランジスタや、ＴＦＴ（Thin Film Transistor）やＭＯＳＦＥＴ（Metal-Oxide-Semiconductor Field Effect Transistor）などのＦＥＴ（Field-Effect Transistor）などが、挙げられる。また、画素回路を構成する上記容量素子としては、例えばキャパシタが挙げられる。なお、画素回路を構成する上記容量素子には、配線などの寄生容量が含まれていてもよい。

ドライバ（図示せず）は、画素回路に対して制御信号を伝達することによって、画素回路を駆動させる。

センサデバイス２５６として機能する撮像デバイスは、例えば上記に示すような構成を有する。なお、撮像デバイスの構成が、上記に示す例に限られないことは、言うまでもない。

通信デバイス２５８は、例えば、データバスＢ１、制御バスＢ２などの接続されている外部バスを介して、外部デバイスと通信を行うためのデバイスである。通信デバイス２５８としては、例えば、ＣＳＩ−２規格、ＰＣＩ Ｅｘｐｒｅｓｓなどの、データを時分割多重化して伝送することが可能な任意の規格に対応する通信を行うことが可能なデバイスが、挙げられる。

センサ２００は、例えば図４に示す構成を有することによって、制御情報に基づく出力タイミングで画像を出力する。なお、センサ２００の構成が、図４に示す例に限られないことは、言うまでもない。

センサ２００における制御情報に基づく画像の出力に係る処理について、より具体的に説明する。センサ２００は、制御情報に基づく画像の出力に係る処理として、例えば下記の（Ｉ）に示す第１の例に係る出力処理と下記の（ＩＩ）に示す第２の例に係る出力処理のうちの一方または双方を行う。センサ２００において、下記に示す制御情報に基づく画像の出力に係る処理は、例えば、センサ２００を構成するプロセッサ２５０がレジスタ２５４に記憶されている制御情報２７２を参照することによって、行われる。

（Ｉ）第１の例に係る出力処理：制御情報に、画像を出力する際の遅延量を示すデータ（第１出力情報）が含まれる場合
制御情報に、遅延量を示すデータが含まれる場合、センサ２００は、遅延量を示すデータが示す遅延量分遅延させて画像を出力する。

センサ２００では、例えば、上述した“画像を一時的に保持するための記録媒体”、または、上述した“センサデバイス２５６として機能するグローバルシャッター方式に対応する撮像デバイスを構成する保持容量”に、画像が保持されることによって、画像の出力の遅延が実現される。

例えば、遅延量を示すデータが、遅延量を直接的に示すデータである場合、センサ２００は、所定の時点から、遅延量を示すデータが示す遅延量に応じた時間が経過したときに、画像を出力する。

所定の時点としては、例えば、撮像命令や同期信号が受信された時点や、撮像における露光が終了した時点などが、挙げられる。所定の時点を示すデータは、例えば、ＲＯＭ２５２などに予め記憶されていてもよいし、制御情報に含まれていてもよい。

また、例えば、遅延量を示すデータが、遅延量を間接的に示すデータである場合、センサ２００は、遅延量を示すデータに基づき遅延量を特定する。例えば、遅延量を間接的に示すデータが、遅延量に対応付けられているＩＤを示す場合、センサ２００は、ＲＯＭ２５２などの記録媒体に記憶されている、ＩＤと遅延量とが対応付けられているテーブル（またはデータベース）を参照することによって、遅延量を特定する。そして、センサ２００は、所定の時点から、特定された遅延量に応じた時間が経過したときに、画像を出力する。

また、第１の例に係る出力処理のみが行われる場合、センサ２００は、例えば、設定されている出力間隔に従って、画像のパケットを出力する。センサ２００は、例えば、ＲＯＭ２５２などの記録媒体に記憶されている出力間隔を示すデータを参照することによって、設定されている出力間隔を特定する。

（ＩＩ）第２の例に係る出力処理：制御情報に、画像を出力する際のパケットの出力間隔を示すデータ（第２出力情報）が含まれる場合
制御情報に、パケットの出力間隔を示すデータが含まれる場合、センサ２００は、パケットの出力間隔を示すデータが示す出力間隔に従って、画像のパケットを出力する。

例えば、パケットの出力間隔を示すデータが、出力間隔を直接的に示すデータである場合、センサ２００は、一のパケットを出力した後、パケットの出力間隔を示すデータが示す出力間隔に応じた時間が経過したときに、次に出力するパケットを出力する。

また、例えば、パケットの出力間隔を示すデータが、出力間隔を間接的に示すデータである場合、センサ２００は、パケットの出力間隔を示すデータに基づき出力間隔を特定する。例えば、出力間隔を間接的に示すデータが、出力間隔に対応付けられているＩＤを示す場合、センサ２００は、ＲＯＭ２５２などの記録媒体に記憶されている、ＩＤと出力間隔とが対応付けられているテーブル（またはデータベース）を参照することによって、出力間隔を特定する。そして、センサ２００は、一のパケットを出力した後、特定された出力間隔に応じた時間が経過したときに、次に出力するパケットを出力する。

また、第２の例に係る出力処理のみが行われる場合、センサ２００は、例えば、設定されている遅延量分遅延させて、画像を出力する。センサ２００は、例えば、ＲＯＭ２５２などの記録媒体に記憶されている遅延量を示すデータを参照することによって、設定されている遅延量を特定する。

センサ２００は、例えば上記（Ｉ）に示す第１の例に係る出力処理と上記（ＩＩ）に示す第２の例に係る出力処理のうちの一方または双方を行う。よって、システム１０００では、プロセッサ１００によりセンサ２００に設定された制御情報に基づく出力タイミングで、所定の期間内に撮像された画像がセンサ２００から出力される。そして、システム１０００では、センサ２００それぞれからデータバスＢ１を介して出力される画像が、プロセッサ１００により取得される。

なお、本実施形態に係るセンサ２００における制御情報に基づく画像の出力に係る処理は、上記（Ｉ）に示す第１の例に係る出力処理と上記（ＩＩ）に示す第２の例に係る出力処理とに限られない。

例えば、制御情報に画像サイズを示すデータが含まれる場合、センサ２００は、制御情報が示す画像サイズの画像を出力する。

また、制御情報にフレームレートを示すデータが含まれる場合、センサ２００は、制御情報が示すフレームレートで、画像を出力させる。

また、制御情報に、画像サイズを示すデータとフレームレートを示すデータとが含まれる場合、センサ２００は、制御情報が示すフレームレートで、制御情報が示す画像サイズの画像を出力させる。

［４］メモリ３００
メモリ３００は、システム１０００が有する記録媒体である。メモリ３００としては、例えば、ＲＡＭなどの揮発性メモリや、フラッシュメモリなどの不揮発性メモリなどが挙げられる。

メモリ３００には、例えばセンサ２００それぞれから出力された画像が記憶される。メモリ３００への画像の記録は、例えばプロセッサ１００により制御される。

［５］表示デバイス４００
表示デバイス４００は、システム１０００が有する表示デバイスである。表示デバイス４００としては、例えば、液晶ディスプレイ（Liquid Crystal Display）や有機ＥＬディスプレイ（Organic Electro-Luminescence Display。または、ＯＬＥＤディスプレイ（Organic Light Emitting Diode Display）ともよばれる。）などが挙げられる。

表示デバイス４００の表示画面には、例えば、センサ２００それぞれから出力された画像や、プロセッサ１００において実行されるアプリケーションに係る画面、ＵＩ（User Interface）に係る画面など、様々な画像や画面が表示される。表示デバイス４００の表示画面への画像などの表示は、例えばプロセッサ１００により制御される。

［６］システム１０００が奏する効果、およびシステム１０００の変形例
システム１０００は、例えば図１に示す構成を有する。

システム１０００では、プロセッサ１００と複数のセンサ２００とが、データバスＢ１により接続される。また、システム１０００において複数のセンサ２００における画像の出力は、プロセッサ１００により画像の出力制御が行われることによって、制御される。よって、システム１０００では、データバスＢ１に接続された複数のセンサ２００が独立に出力する、所定の期間内に撮像された画像が、データバスＢ１上で時分割多重化して伝送される。そして、プロセッサ１００は、複数のセンサ２００が独立に出力する画像を、データバスＢ１を介して受信することができる。

したがって、プロセッサ１００（本実施形態に係る処理装置）と複数のセンサ２００（本実施形態に係る画像センサ）とがデータバスＢ１で接続される場合に、複数のセンサ２００それぞれにおいて所定の期間内に撮像された画像を、データバスＢ１により伝送することができる。

また、システム１０００により、例えば“撮像のタイミングが同期されている複数のセンサ２００（所定の期間内に撮像が行われる複数のセンサ２００の一例）がそれぞれ独立に出力する画像を、同一のデータバスＢ１上で時分割多重化する機構”が、実現される。

また、システム１０００では、プロセッサ１００と複数のセンサ２００とが、データバスＢ１により接続されるので、ＣＳＩ−２規格のような既存の規格を単に利用する場合よりも、プロセッサ１００に接続されるデータバスの数を減らすことができる。

また、システム１０００では、プロセッサ１００に接続されるデータバスの数を減らすことができることによって、下記のような効果が奏される。
・プロセッサ１００と複数のセンサ２００とを接続する配線領域をより小さくすることができる
・例えばデータバスを接続するための端子数が減ることなどにより、プロセッサ１００のハードウェア構成をより簡略化することができる。

なお、本実施形態に係るシステムの構成は、図１に示す例に限られない。

例えば、システムの外部の記録媒体に複数のセンサ２００から出力される画像が記憶される場合、または、複数のセンサ２００から出力される画像がプロセッサ１００が備えるメモリに記憶される場合には、本実施形態に係るシステムは、図１に示すメモリ３００を有していなくてもよい。

また、本実施形態に係るシステムは、図１に示す表示デバイス４００を有さない構成をとることも可能である。

また、本実施形態に係るシステムは、後述する本実施形態に係るシステムが適用される電子機器が有する機能に応じた、任意の構成を有していてもよい。

また、本実施形態に係るシステムは、プロセッサにＭ本（Ｍは、センサ２００の数よりも小さい整数）のデータバスが接続される構成であってもよい。本実施形態に係るシステムが、プロセッサにＭ本（Ｍは、システムが有するセンサ２００の数よりも小さい整数）のデータバスが接続される構成であっても、ＣＳＩ−２規格のような既存の規格を単に利用する場合よりも、プロセッサに接続されるデータバスの数を減らすことができる。

［７］本実施形態に係るシステムの適用例
以上、本実施形態として、システムを挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、スマートフォンなどの通信装置や、ドローン（遠隔操作による動作、または、自律的な動作が可能な機器）、自動車などの移動体、ＰＣ（Personal Computer）などのコンピュータ、タブレット型の装置、ゲーム機など、様々な電子機器に適用することができる。

また、上記では、本実施形態に係るシステムを構成する処理装置として、プロセッサを例に挙げたが、本実施形態に係る処理装置は、上記に示す例に限られない。例えば、本実施形態に係る処理装置は、データバスに接続される複数の画像センサそれぞれから当該データバスを介して出力される画像の出力制御を行うことが可能な、任意の処理回路、または、任意のデバイスに適用することができる。

（本実施形態に係るシステムにおける画像の出力例）
次に、上述したシステム１０００における画像の出力例を、説明する。以下では、データバスＢ１により伝送される信号が、ＣＳＩ−２規格に従って伝送される例を示す。

図５は、本実施形態に係るシステム１０００を構成するセンサ２００により撮像された画像データの一例を示している。

センサ２００により撮像された画像データは、例えばＮ（Ｎは、１以上の整数）行のデータで構成され、１行ずつデータバスＢ１に出力される。

図６は、本実施形態に係るシステム１０００を構成するデータバスＢ１上で伝送される画像データのパケット列の一例を示しており、ＣＳＩ−２規格に従ったパケット列の一例を示している。図６に示す“ＦＳ”は、ＣＳＩ−２規格におけるＦＳ（Frame Start）パケットを示しており、図６に示す“ＦＥ”は、ＣＳＩ−２規格におけるＦＥ（Frame End）パケットを示している。また、図６に示す“ＰＨ”は、パケットヘッダを示しており、図６に示す“ＰＦ”は、パケットフッタを示している。

ＣＳＩ−２規格では、画像データの先頭にＦＳパケットＰ１が発行された後、画像データパケットＰ２がＮパケット発行され、最後にＦＥパケットＰ３が発行される。一の画像データパケットＰ１と他の画像データパケットＰ１の間隔はラインブランキングＢＬ１とよばれ、ＦＥパケットＰ３と次のＦＳパケットＰ１の間隔はフレームブランキングＢＬ２とよばれる。

図７は、本実施形態に係るシステム１０００を構成するメモリ３００上に確保されたフレームバッファの一例を示している。

図６に示すパケット列を受信したプロセッサ１００は、受信した画像データを、図７に示すようにメモリ３００のフレームバッファに記録させる。

センサ２００において撮像された画像がＣＳＩ−２規格に従って伝送される場合、システム１０００では、図６に示すような画像データのパケット列がデータバスＢ１上で伝送され、プロセッサ１００により受信された画像データは、図７に示すようにフレームバッファに記憶される。

次に、センサ２００が、センサデバイス２５６として撮像デバイスを備える場合を例に挙げて、センサ２００から出力される画像の出力タイミングの例を説明する。

［Ｉ］対応するシャッター方式に応じた画像の出力例
プロセッサ１００による出力制御により実現される、センサ２００から出力される画像の出力タイミングの例を説明する前に、センサが備える撮像デバイスが対応するシャッター方式に応じた画像の出力例を説明する。

（Ｉ−１）撮像デバイスが、ローリングシャッター方式に対応する場合
図８は、ローリングシャッター方式に対応する撮像デバイスを備えるセンサにおける動作の一例を示す説明図である。図８は、ローリングシャッター方式に対応する撮像デバイスを備えるセンサ（以下、「ローリングシャッター方式に対応するセンサ」と示す場合がある。）が、ある１つのＮラインを撮像してＮラインに対応する画像データを出力するまでの動作を示している。

図８に示す“画素ＲＳＴ”は、画素のリセットを示しており、図８に示す“画素ＲＤ”は、入射される光に応じて蓄積された電荷を読み出すことを示している。図８に示す“ＡＤ変換”は、アナログ−デジタル変換回路（図示せず）により、読み出された電荷に応じたアナログ信号をデジタル信号に変換することを示している。以下、他の図においても同様とする。

Ｎラインを撮像する場合、ローリングシャッター方式に対応するセンサでは、Ｎラインに対応する画素のリセット（図８に示す画素ＲＳＴ）が行われる。ここで、画素のリセットは、撮像デバイスのシャッターを開く動作に該当する。

ローリングシャッター方式に対応するセンサでは、画素に入射される光に応じた信号電荷が蓄積され（図８に示す蓄積）、その後、蓄積された電荷が読み出される（図８に示す画素ＲＤ）。ここで、蓄積された電荷の読み出しは、撮像デバイスのシャッターを閉じる動作に該当する。

ローリングシャッター方式に対応するセンサでは、読み出された電荷がアナログ−デジタル変換されることによって（図８に示すＡＤ変換）Ｎラインに対応するデジタルデータが得られ、当該デジタルデータがデータバスに出力される（図８に示すデータ出力）。

図９は、ローリングシャッター方式に対応する撮像デバイスを備えるセンサにおける動作の一例を示す説明図であり、図８に示すあるＮラインにおける動作が、１ライン〜Ｎライン（図９において、Ｎは、４以上の整数）の複数ラインについて、連続して行われる例を示している。

ローリングシャッター方式に対応するセンサでは、図９に示すように、各ラインに対応するデジタルデータのデータバスへの出力が衝突しないようにラインごとにタイミングをずらして、画素リセット（図９に示す画素ＲＳＴ）〜データ出力（図９に示すデータ出力）という一連の動作が行われる。

図１０は、ローリングシャッター方式に対応する撮像デバイスをそれぞれ備える、２つのセンサにおける動作の一例を示す説明図である。図１０は、データバス上で画像データが時分割多重化されるように、２つのローリングシャッター方式に対応するセンサ（センサ＃１およびセンサ＃２）それぞれにおいて図９に示す動作が行われる場合の一例を示している。

データバス上のデータの出力タイミングが、２つのローリングシャッター方式に対応するセンサで重ならないようにするためには、図２を参照して示したように２つのローリングシャッター方式に対応するセンサの撮像のタイミングをずらす必要がある。そのため、図１０に示す例では、一のセンサが全てのラインに対応するデータをデータバスへ出力した後に、他のセンサにおける各ラインに対応するデータのデータバスへの出力が行われている。よって、図１０に示す例では、２つのローリングシャッター方式に対応するセンサにおいて撮像された画像は、同一の時点に撮像された画像（または、同一の時点に撮像されたとみなせる画像）とはならない。

（Ｉ−２）撮像デバイスが、グローバルシャッター方式に対応する場合
図１１は、グローバルシャッター方式に対応する撮像デバイスを備えるセンサにおける動作の一例を示す説明図である。図１１は、グローバルシャッター方式に対応する撮像デバイスを備えるセンサ（以下、「グローバルシャッター方式に対応するセンサ」と示す場合がある。）が、ある１つのＮラインを撮像してＮラインに対応する画像データを出力するまでの動作を示している。

Ｎラインを撮像する場合、グローバルシャッター方式に対応するセンサでは、Ｎラインに対応する画素のリセット（図１１に示す画素ＲＳＴ）が行われる。

グローバルシャッター方式に対応するセンサでは、画素に入射される光に応じた信号電荷が蓄積され（図１１に示す蓄積）、その後、蓄積された電荷が読み出される（図１１に示す画素ＲＤ）。

グローバルシャッター方式に対応するセンサでは、ローリングシャッター方式に対応するセンサと異なり、読み出された電荷は、例えば画素に隣接する容量素子に転送され、当該容量素子で保持される（図１１に示す容量保持）。以下では、上記画素に隣接する容量素子のような、読み出された電荷が保持される容量素子を、「保持容量」と示す。

グローバルシャッター方式に対応するセンサでは、保持容量に保持されている電荷がアナログ−デジタル変換されることによって（図１１に示すＡＤ変換）Ｎラインに対応するデジタルデータが得られ、当該デジタルデータがデータバスに出力される（図１１に示すデータ出力）。つまり、グローバルシャッター方式に対応するセンサでは、保持容量に電荷を保持することによって、アナログ−デジタル変換とデータバスへのデータの出力とを、遅らせることが可能である。

図１２は、グローバルシャッター方式に対応する撮像デバイスを備えるセンサにおける動作の一例を示す説明図であり、図１２に示すあるＮラインにおける動作が、１ライン〜Ｎライン（図１２において、Ｎは、４以上の整数）の複数ラインについて、連続して行われる例を示している。

グローバルシャッター方式に対応するセンサでは、図１２に示すように、画素リセット（図１２に示す画素ＲＳＴ）を全てのラインで同時に開始することができる。また、グローバルシャッター方式に対応するセンサでは、例えば図１２に示すように、信号電荷の蓄積（図１２に示す蓄積）と蓄積された電荷の読み出し（図１２に示す画素ＲＤ）とが、全てのラインで同時に行われる。なお、グローバルシャッター方式に対応するセンサでは、信号電荷の蓄積（図１２に示す蓄積）と蓄積された電荷の読み出し（図１２に示す画素ＲＤ）とを、ラインごとに変えることも可能である。

グローバルシャッター方式に対応するセンサは、各ラインにおいて読み出された電荷を保持容量に転送して保持容量に保持させ（図１２に示す容量保持）、保持容量に保持された電荷を１ラインずつ順次にアナログ−デジタル変換して、データバスへとデータを出力する（図１２に示すＡＤ変換およびデータ出力）。なお、図１２では、ライン１（図１２に示すＬｉｎｅ１）については、便宜上、読み出された電荷を保持容量に転送して保持容量に保持させることを、省略している（なお、後述する図１３、図１４においても、図１２と同様に省略する。）。

例えば図１２に示すように、グローバルシャッター方式に対応するセンサは、各ラインにおいて読み出された電荷を保持容量に保持させることが可能であるので、各ラインに対応するデータをデータバスへと出力する出力タイミングを、データの衝突が回避されるようにずらすことができる。

［ＩＩ］システム１０００におけるセンサ２００からの画像の出力例
次に、システム１０００におけるセンサ２００からの画像の出力例を説明する。

以下では、システム１０００を構成するセンサ２００が備えるセンサデバイス２５６が、グローバルシャッター方式に対応するセンサであり、保持容量を利用して画像を一時的に保持する場合を、主に例に挙げる。上述したように、グローバルシャッター方式に対応するセンサを構成する保持容量を利用して画像を一時的に保持する場合には、センサ２００は、ＲＡＭなどの画像を一時的に保持するための記録媒体を備えていなくてもよい。また、上述したように、センサ２００は、ＲＡＭなどの画像を一時的に保持するための記録媒体を備えることによって、画像を一時的に保持することも可能である。

（ＩＩ−１）第１の出力例
図１３は、本実施形態に係るシステム１０００におけるセンサ２００からの画像の出力の第１の例を示す説明図である。図１３は、グローバルシャッター方式に対応するセンサをセンサデバイス２５６としてそれぞれ備える、センサ２００Ａ、２００Ｂにおける動作の一例を示している。センサ２００Ａとセンサ２００Ｂとは、例えば制御バスＢ２を介して同期して動作する。

センサ２００Ａ、２００Ｂでは、例えば同期信号Ｖｓｙｎｃの受信に基づき同期して画素のリセット（図１３に示す画素ＲＳＴ）が行われ、その後、信号電荷の蓄積（図１３に示す蓄積）と蓄積された電荷の読み出し（図１３に示す画素ＲＤ）とが行われる。

また、センサ２００Ａ、２００Ｂそれぞれは、図１２を参照して示したように、各ラインにおいて読み出された電荷を保持容量に転送して保持容量に保持させ（図１３に示す容量保持）、保持容量に保持された電荷を１ラインずつ順次にアナログ−デジタル変換して、データバスＢ１へとデータを出力する（図１３に示すＡＤ変換およびデータ出力）。データバスＢ１へと出力される各ラインにそれぞれ対応するデータが、「画像のパケット」に該当する。

ここで、上述したように、センサ２００Ａ、２００Ｂそれぞれは、例えばレジスタ２５４に記憶されている制御情報に基づく出力タイミングで、画像を出力する。

例えば、遅延量を示すデータが制御情報に含まれる場合、センサ２００Ａ、２００Ｂそれぞれは、当該遅延量を示すデータに対応する遅延量分、出力が遅延するように、各ラインにおいて読み出された電荷を保持容量に保持させる。

また、パケットの出力間隔を示すデータが制御情報に含まれる場合、センサ２００Ａ、２００Ｂそれぞれは、当該出力間隔を示すデータが示す出力間隔に従って、各ラインに対応するデータをデータバスＢ１へ出力する。

図１３に示す例は、センサ２００Ｂが備えるレジスタ２５４に記憶されている制御情報が示す遅延量が、センサ２００Ａが備えるレジスタ２５４に記憶されている制御情報が示す遅延量よりも大きい例を示している。より具体的には、図１３に示す例は、センサ２００Ａが全てのラインに対応するデータをデータバスＢ１へ出力した後に、センサ２００Ｂにおける各ラインに対応するデータの出力が行われるような制御情報が、センサ２００Ａ、２００Ｂそれぞれのレジスタ２５４に記憶されている例を示している。

ここで、図１３に示す例では、センサ２００Ａが各ラインに対応するデータ（画像のパケット）を出力する間隔と、センサ２００Ｂが各ラインに対応するデータを出力する間隔とが、同一である例を示しているが、センサ２００Ａ、２００Ｂそれぞれがデータを出力する間隔は、図１３に示す例に限られない。例えば、センサ２００Ａ、２００Ｂそれぞれが、制御情報が示す出力間隔に従って各ラインに対応するデータをデータバスＢ１へ出力することによって、センサ２００Ａにおけるデータの出力間隔とセンサ２００Ｂにおけるデータの出力間隔とは、異なっていてもよい。

センサ２００Ａ、２００Ｂそれぞれが、制御情報に基づく出力タイミングで画像を出力することによって、例えば図１３に示すように、センサ２００Ａ、２００Ｂ間で撮像のタイミングが揃った画像（所定の期間内に撮像された画像）を、データバスＢ１上で時分割多重化して伝送させることができる。

（ＩＩ−２）第２の出力例
図１４は、本実施形態に係るシステム１０００におけるセンサ２００からの画像の出力の第２の例を示す説明図である。図１４は、グローバルシャッター方式に対応するセンサをセンサデバイス２５６としてそれぞれ備える、センサ２００Ａ、２００Ｂにおける動作の他の例を示している。センサ２００Ａとセンサ２００Ｂとは、例えば制御バスＢ２を介して同期して動作する。

図１４に示すセンサ２００Ａ、２００Ｂそれぞれにおける動作は、図１３に示す第１の出力例におけるセンサ２００Ａ、２００Ｂの動作と同一である。しかしながら、センサ２００Ａ、２００Ｂそれぞれが参照する制御情報が図１３に示す例と異なることによって、図１４に示す第２の出力例と図１３に示す第１の出力例とでは、画像データの出力順序が異なっている。

図１４に示す例は、センサ２００Ｂが備えるレジスタ２５４に記憶されている制御情報が示す遅延量が、センサ２００Ａが備えるレジスタ２５４に記憶されている制御情報が示す遅延量よりも大きい例を示している。より具体的には、図１４に示す例は、センサ２００Ａにおける各ラインに対応するデータをデータバスＢ１へ出力と、センサ２００Ｂにおける各ラインに対応するデータをデータバスＢ１へ出力とが、交互に行われるような制御情報が、センサ２００Ａ、２００Ｂそれぞれのレジスタ２５４に記憶されている例を示している。

ここで、図１４に示す例では、センサ２００Ａが各ラインに対応するデータ（画像のパケット）を出力する間隔と、センサ２００Ｂが各ラインに対応するデータを出力する間隔とが、同一である例を示しているが、センサ２００Ａ、２００Ｂそれぞれがデータを出力する間隔は、図１４に示す例に限られない。例えば、センサ２００Ａ、２００Ｂそれぞれが、制御情報が示す出力間隔に従って各ラインに対応するデータをデータバスＢ１へ出力することによって、センサ２００Ａにおけるデータの出力間隔とセンサ２００Ｂにおけるデータの出力間隔とは、（データバスＢ１上でデータの衝突が発生しない範囲で）異なっていてもよい。

センサ２００Ａ、２００Ｂそれぞれが、制御情報に基づく出力タイミングで画像を出力することによって、例えば図１４に示すように、センサ２００Ａ、２００Ｂ間で撮像のタイミングが揃った画像（所定の期間内に撮像された画像）を、データバスＢ１上で時分割多重化して伝送させることができる。

（ＩＩ−３）他の出力例
本実施形態に係るシステム１０００におけるセンサ２００からの画像の出力例は、上記（ＩＩ−１）に示す第１の出力例と上記（ＩＩ−２）に示す第２の出力例とに限られない。

例えば、図１３に示す第１の出力例および図１４に示す第２の出力例では、２つのセンサ２００Ａ、２００Ｂにおける画像の出力を例に挙げた。しかしながら、システム１０００を構成するセンサ２００が３つ以上である場合においても、各センサ２００が制御情報に基づく出力タイミングで画像を出力することによって、第１の出力例および第２の出力例と同様に、センサ２００それぞれから出力される画像をデータバスＢ１上で時分割多重化して伝送させることができる。

また、図１３に示す第１の出力例および図１４に示す第２の出力例では、“複数のセンサ２００が、グローバルシャッター方式に対応するセンサをセンサデバイス２５６として備え、保持容量に電荷を保持することによって、データバスＢ１へのデータの出力タイミングが調整される例”を示した。しかしながら、システム１０００では、例えば、センサ２００が、ＲＡＭなどの画像を一時的に保持するための記録媒体を備え、各ラインに対応するアナログ−デジタル変換されたデータを当該記録媒体に保持するすることによって、センサ２００それぞれがデータバスＢ１へとデータを出力する出力タイミングが、調整されてもよい。

センサ２００がＲＡＭなどの記録媒体に各ラインに対応するデータを保持する構成であっても、各センサ２００が制御情報に基づく出力タイミングで画像を出力することによって、第１の出力例および第２の出力例と同様に、センサ２００それぞれから出力される画像をデータバスＢ１上で時分割多重化して伝送させることができる。また、センサ２００がＲＡＭなどの記録媒体に各ラインに対応するデータを保持する構成である場合、センサ２００は、例えば、グローバルシャッター方式に対応するセンサや、上述したローリングシャッター方式に対応するセンサなどのグローバルシャッター方式に対応するセンサ以外のセンサデバイスを、センサデバイス２５６として備えることが可能である。

［ＩＩＩ］プロセッサ１００における画像の出力制御に係る処理（本実施形態に係る制御方法に係る処理）の一例
次に、上述したシステム１０００におけるセンサ２００からの画像の出力例を実現させることが可能な、プロセッサ１００における画像の出力制御に係る処理の一例を説明する。

図１５は、本実施形態に係るシステム１０００を構成するプロセッサ１００における画像の出力制御に係る処理（本実施形態に係る制御方法に係る処理）の一例を示す流れ図である。図１５では、システム１０００が、センサ２００Ａ、２００Ｂという２つの画像センサを有している場合における、プロセッサ１００における画像の出力制御に係る処理の一例を示している。

プロセッサ１００は、制御対象のセンサ２００Ａ、２００Ｂそれぞれの電源をオン状態にし、リセット解除を行う（Ｓ１００）。ステップＳ１００の処理は、例えばセンサ２００Ａ、２００Ｂを初期化する処理の一例に該当する。

プロセッサ１００は、センサ２００Ａのレジスタ設定を行う（Ｓ１０２）。プロセッサ１００は、制御バスＢ２を介して制御情報を送信することによって、センサ２００Ａのレジスタ設定を行う。

ここで、プロセッサ１００は、例えば、センサ２００Ａが指定され、かつ、センサ２００Ａが備えるレジスタのアドレスが指定された制御情報を送信することによって、センサ２００Ａのレジスタ設定を行う。また、プロセッサ１００は、例えば、制御対象の全てのセンサ２００が指定され、かつ、センサ２００が備えるレジスタのアドレスが指定された制御情報を送信することによって、センサ２００Ａのレジスタ設定を行うことも可能である。制御対象の全てのセンサ２００が指定され、かつ、センサ２００が備えるレジスタのアドレスが指定された制御情報が送信されることは、例えば、全てのセンサ２００が備えるレジスタに同一のデータを同期して記録させる場合に有効である。

プロセッサ１００は、センサ２００Ｂのレジスタ設定を行う（Ｓ１０４）。プロセッサ１００は、ステップＳ１０２と同様に、制御バスＢ２を介して制御情報を送信することによって、センサ２００Ｂのレジスタ設定を行う。

プロセッサ１００は、センサ２００Ａ、２００Ｂそれぞれに、撮像およびデータバスＢ１への画像データの出力を行わせる（Ｓ１０６）。プロセッサ１００は、制御バスＢ２を介して制御情報を送信することによって、センサ２００Ａ、２００Ｂそれぞれに、撮像およびデータバスＢ１への画像データの出力を行わせる。

プロセッサ１００は、画像の出力制御に係る処理として、例えば図１５に示す処理を行う。なお、画像の出力制御に係る処理の例が、図１５に示す例に限られないことは、言うまでもない。

例えば図１５に示すようなプロセッサ１００による画像の出力制御によって、センサ２００が備えるレジスタに制御情報が記録される。また、センサ２００は、上述したように、制御情報に基づく出力タイミングで画像を出力する。

よって、例えば図１５に示すようなプロセッサ１００による画像の出力制御に係る処理が行われることによって、上述したシステム１０００におけるセンサ２００からの画像の出力例を実現させることができる。

（本実施形態に係るプログラム）
コンピュータを、本実施形態に係る処理装置として機能させるためのプログラム（例えば、画像の出力制御に係る処理（本実施形態に係る制御方法に係る処理）を、コンピュータに実行させるプログラム）が、コンピュータにおいてプロセッサなどにより実行されることによって、例えば“撮像のタイミングが同期されている複数の画像センサ（所定の期間内に撮像が行われる複数の画像センサの一例）がそれぞれ独立に出力する画像を、同一のデータバス上で時分割多重化する機構”が、実現される。

また、コンピュータを、本実施形態に係る処理装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した画像の出力制御に係る処理（本実施形態に係る制御方法に係る処理）が行われることによって奏される効果を、奏することができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記では、コンピュータを、本実施形態に係る処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。

上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
データバスに接続可能であり、前記データバスに接続される複数の画像センサそれぞれにおいて所定の期間内に撮像された画像の出力制御を行う処理部を備え、
前記画像センサそれぞれにおける前記画像の出力タイミングは、前記出力制御が行われることによって変わる、処理装置。
（２）
前記処理部は、前記出力制御として、前記画像センサが前記画像を出力する際の遅延を制御する、（１）に記載の処理装置。
（３）
前記処理部は、前記出力制御として、前記画像センサが前記画像を出力する際のパケットの出力間隔を制御する、（１）、または（２）に記載の処理装置。
（４）
前記処理部は、前記画像センサそれぞれに対して、制御情報を送信することによって、前記出力制御を行う、（１）〜（３）のいずれか１つに記載の処理装置。
（５）
前記制御情報は、前記画像センサそれぞれに接続される、前記データバスと異なる制御バスを介して送信される、（４）に記載の処理装置。
（６）
前記制御情報は、前記画像センサが備えるレジスタに記録される、（４）、または（５）に記載の処理装置。
（７）
前記所定の期間内に撮像された画像は、複数の前記画像センサが同期して撮像を行った画像である、（１）〜（６）のいずれか１つに記載の処理装置。
（８）
他の画像センサが接続されるデータバスに接続可能であり、制御情報に基づく出力タイミングで、所定の期間内に撮像された画像を出力する、画像センサ。
（９）
前記制御情報には、画像を出力する際の遅延量を示す第１出力情報が含まれ、
前記第１出力情報が示す遅延量分遅延させて前記画像を出力する、（８）に記載の画像センサ。
（１０）
前記制御情報には、画像を出力する際のパケットの出力間隔を示す第２出力情報が含まれ、
前記第２出力情報が示す出力間隔に従って、前記画像のパケットを出力する、（８）、または（９）に記載の画像センサ。
（１１）
前記制御情報は、レジスタに記憶される、（８）〜（１０）のいずれか１つに記載の画像センサ。
（１２）
データバスにそれぞれ接続される複数の画像センサと、
前記データバスに接続される処理装置と、
を有し、
前記処理装置は、複数の前記画像センサそれぞれにおいて所定の期間内に撮像された画像の出力制御を行う処理部を備え、
前記画像センサそれぞれにおける前記画像の出力タイミングは、前記出力制御が行われることによって変わる、システム。

１００、２５０ プロセッサ
１０２ 処理部
２００、２００Ａ、２００Ｂ センサ
２５２ ＲＯＭ
２５４ レジスタ
２５６ センサデバイス
２５８ 通信デバイス
２６０ 内部バス
２７０ 識別情報
２７２ 制御情報
３００ メモリ
４００ 表示デバイス
１０００ システム
Ｂ１ データバス
Ｂ２ 制御バス

Claims (13)

1. データバスに接続可能であり、前記データバスに接続され、グローバルシャッター方式に対応する複数の画像センサそれぞれにおいて所定の期間内に撮像された画像の出力制御を行う処理部を備え、
   前記画像センサそれぞれにおける前記画像の出力タイミングは、前記出力制御が行われることによって変わり、
   前記処理部は、
   制御情報を送信することによって、前記複数の画像センサを同期して撮像させるとともに、前記出力制御として、前記画像センサの保持容量に前記画像を一時的に保持させることで、前記画像センサが前記画像を出力する際の遅延を制御する、処理装置。
2. 前記処理部は、前記出力制御として、前記画像センサが前記画像を出力する際のパケットの出力間隔を制御する、請求項１に記載の処理装置。
3. 前記処理部は、前記画像センサそれぞれに対して、制御情報を送信することによって、前記出力制御を行う、請求項１または請求項２に記載の処理装置。
4. 前記制御情報は、前記画像センサそれぞれに接続される、前記データバスと異なる制御バスを介して送信される、請求項３に記載の処理装置。
5. 前記制御情報は、前記画像センサが備えるレジスタに記録される、請求項３または請求項４に記載の処理装置。
6. 前記所定の期間内に撮像された画像は、複数の前記画像センサが同期して撮像を行った画像である、請求項１乃至請求項５の何れか１項に記載の処理装置。
7. 前記処理部は、
   前記複数の画像センサそれぞれに対して、前記複数の画像センサそれぞれを同期して動作させるための同期信号を含む前記制御情報を送信することによって、前記複数の画像センサを同期して撮像させる、請求項１乃至請求項６の何れか１項に記載の処理装置。
8. グローバルシャッター方式に対応する画像センサであって、他の画像センサが接続されるデータバスに接続可能であり、制御情報に基づいて、前記他の画像センサと同期して撮像するとともに、所定の期間内に撮像された画像を保持容量に一時的に保持することで、出力タイミングを遅延させて前記画像を出力する、画像センサ。
9. 前記制御情報には、画像を出力する際の遅延量を示す第１出力情報が含まれ、
   前記第１出力情報が示す遅延量分遅延させて前記画像を出力する、請求項８に記載の画像センサ。
10. 前記制御情報には、画像を出力する際のパケットの出力間隔を示す第２出力情報が含まれ、
    前記第２出力情報が示す出力間隔に従って、前記画像のパケットを出力する、請求項８または請求項９に記載の画像センサ。
11. 前記制御情報は、レジスタに記憶される、請求項８乃至請求項１０の何れか１項に記載の画像センサ。
12. 前記制御情報には、前記他の画像センサと同期して動作するための同期信号が含まれる、請求項８乃至請求項１１の何れか１項に記載の画像センサ。
13. データバスにそれぞれ接続され、グローバルシャッター方式に対応する複数の画像センサと、
    前記データバスに接続される処理装置と、
    を有し、
    前記処理装置は、複数の前記画像センサそれぞれにおいて所定の期間内に撮像された画像の出力制御を行う処理部を備え、
    前記画像センサそれぞれにおける前記画像の出力タイミングは、前記出力制御が行われることによって変わり、
    前記処理部は、
    制御情報を送信することによって、前記複数の画像センサを同期して撮像させるとともに、前記出力制御として、前記画像センサの保持容量に前記画像を一時的に保持させることで、前記画像センサが前記画像を出力する際の遅延を制御する、システム。

Images