JP7028857B2 - 画像センサ、および制御システム - Google Patents

画像センサ、および制御システム Download PDF

Info

Publication number
JP7028857B2
JP7028857B2 JP2019502462A JP2019502462A JP7028857B2 JP 7028857 B2 JP7028857 B2 JP 7028857B2 JP 2019502462 A JP2019502462 A JP 2019502462A JP 2019502462 A JP2019502462 A JP 2019502462A JP 7028857 B2 JP7028857 B2 JP 7028857B2
Authority
JP
Japan
Prior art keywords
synchronization
slave
synchronization signal
sensor
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019502462A
Other languages
English (en)
Other versions
JPWO2018159046A1 (ja
Inventor
秀樹 三林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of JPWO2018159046A1 publication Critical patent/JPWO2018159046A1/ja
Application granted granted Critical
Publication of JP7028857B2 publication Critical patent/JP7028857B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745Circuitry for generating timing or clock signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N23/662Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • H04N5/06Generation of synchronising signals
    • H04N5/067Arrangements or circuits at the transmitter end
    • H04N5/073Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • H04N5/06Generation of synchronising signals
    • H04N5/067Arrangements or circuits at the transmitter end
    • H04N5/073Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations
    • H04N5/0733Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations for distributing synchronisation pulses to different TV cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Burglar Alarm Systems (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本開示は、画像センサ、および制御システムに関する。
例えばプロセッサとセンサと間の接続などの、デバイス間の接続に係る技術が開発されている。デバイス間の接続に係る技術としては、例えば下記の特許文献1に記載の技術が挙げられる。
米国特許出願公開第2014/0281753号明細書
例えば、電子機器の高機能化、多機能化などに伴い、プロセッサなどの処理装置を備える電子機器の中には、複数の画像センサを備えるものがある。複数の画像センサを備える電子機器では、処理装置と複数の画像センサそれぞれとが、I2Cなどの制御バス(信号の伝送路の一例)で電気的に接続される。そして、複数の画像センサを備える電子機器では、例えば、処理装置が、画像センサの動作を制御するための各種要求を、制御バスを介して画像センサそれぞれに対して送信することによって、複数の画像センサにおける撮像動作が制御される。
上記のような複数の画像センサを備える電子機器において、複数の画像センサにおける撮像動作を停止させるための一の方法としては、例えば、処理装置が制御バスを介して停止要求をブロードキャストする方法が、挙げられる。画像センサそれぞれは、制御バスを介して取得された停止要求に応じて撮像を停止するので、上記一の方法が用いられる場合には、複数の画像センサにおける撮像動作を同期して停止させることが可能である。
しかしながら、上記一の方法のように、停止要求が制御バスを介してブロードキャストされる場合には、伝送遅延などの様々な要因によって、全ての画像センサにおける停止要求による撮像動作の停止が同期しない恐れが、ある。つまり、上記一の方法が用いられる電子機器では、例えば、同一フレームにおける全ての画像センサの撮像動作の停止を保証することが困難である。
本開示では、複数の画像センサにおける同期した撮像動作の停止を実現することが可能な、新規かつ改良された画像センサ、および制御システムを提案する。
本開示によれば、複数の画像センサにおける同期した撮像を制御する同期マスタの役目を果たし、停止要求が取得された場合には、上記停止要求に基づいて、撮像動作を停止させ、かつ、上記同期マスタにより撮像が制御される同期スレーブの役目を果たす、他の画像センサに対して、上記同期スレーブの役目を果たす画像センサにおける撮像タイミングを制御する同期スレーブ用同期信号を、送信しない、画像センサが、提供される。
また、本開示によれば、複数の画像センサにおける同期した撮像を制御する同期マスタにより撮像が制御される、同期スレーブの役目を果たし、上記同期スレーブの役目を果たす画像センサにおける撮像タイミングを制御する同期スレーブ用同期信号が上記同期マスタから取得されてから、設定されている所定の期間が経過する前に、次の上記同期スレーブ用同期信号が取得されない場合に、撮像動作を停止させる、画像センサが、提供される。
また、本開示によれば、処理装置と、データバスおよび制御バスを介して上記処理装置とそれぞれ接続される、複数の画像センサと、を有し、複数の上記画像センサのうちの1つの上記画像センサは、複数の上記画像センサにおける同期した撮像を制御する同期マスタの役目を果たし、複数の上記画像センサのうちの他の上記画像センサは、上記同期マスタにより撮像が制御される同期スレーブの役目を果たし、上記同期マスタの役目を果たす上記画像センサと、上記同期スレーブの役目を果たす上記画像センサとは、上記データバスおよび上記制御バスと異なる信号線を介して接続され、複数の上記画像センサにおける撮像動作を停止させる場合、上記処理装置は、上記制御バスを介して、上記同期マスタの役目を果たす上記画像センサに対して停止要求を送信し、上記同期マスタの役目を果たす上記画像センサは、上記停止要求に基づいて、撮像動作を停止させ、かつ、上記同期スレーブの役目を果たす上記画像センサに対して、上記同期スレーブの役目を果たす画像センサにおける撮像タイミングを制御する同期スレーブ用同期信号を送信せず、上記同期スレーブの役目を果たす上記画像センサは、上記同期スレーブ用同期信号が取得されてから設定されている所定の期間が経過する前に、次の上記同期スレーブ用同期信号が取得されない場合に、撮像動作を停止させる、制御システムが、提供される。
また、本開示によれば、処理装置と、データバス、制御バス、および上記データバスおよび上記制御バスと異なる信号線を介して上記処理装置とそれぞれ接続される、複数の画像センサと、を有し、上記処理装置は、複数の上記画像センサにおける同期した撮像を制御する同期マスタの役目を果たし、複数の上記画像センサは、上記同期マスタにより撮像が制御される同期スレーブの役目を果たし、複数の上記画像センサにおける撮像動作を停止させる場合、上記処理装置は、上記信号線を介して、上記同期スレーブの役目を果たす画像センサにおける撮像タイミングを制御する同期スレーブ用同期信号を送信せず、複数の上記画像センサは、上記同期スレーブ用同期信号が取得されてから設定されている所定の期間が経過する前に、次の上記同期スレーブ用同期信号が取得されない場合に、撮像動作を停止させる、制御システムが、提供される。
本開示によれば、複数の画像センサにおける同期した撮像動作の停止を実現することができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
本実施形態に係る制御システムの第1の構成例を示す説明図である。 本実施形態に係るセンサ(画像センサ)の構成の一例を示すブロック図である。 本実施形態に係る制御システムの第2の構成例を示す説明図である。 本実施形態に係る制御システムの第3の構成例を示す説明図である。 本実施形態に係る制御システムの第4の構成例を示す説明図である。 複数の画像センサを有するシステムにおいて生じうる問題を説明するための説明図である。 第1の実施形態に係る制御システムにおける、複数の画像センサの撮像動作を同期して停止させる方法を説明するための説明図である。 第1の実施形態に係る同期マスタの役目を果たすセンサの動作の一例を示す説明図である。 第1の実施形態に係る同期スレーブの役目を果たすセンサの動作の一例を示す説明図である。 第1の実施形態に係る制御システムにおける動作の一例を示す説明図である。 第2の実施形態に係る制御システムにおける、複数の画像センサの撮像動作を同期して停止させる方法を説明するための説明図である。 第2の実施形態に係る制御システムにおける動作の一例を示す説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下では、下記に示す順序で説明を行う。
1.本実施形態に係る制御システム
2.本実施形態に係るプログラム
(本実施形態に係る制御システム)
[1]本実施形態に係る制御システムの構成
まず、本実施形態に係る制御システムの構成の一例について説明する。本実施形態に係る制御システムは、プロセッサ(本実施形態に係る処理装置の一例。以下、同様とする。)と、複数の画像センサとを有するシステムである。
本実施形態に係る制御システムとしては、例えば、スマートフォンなどの通信装置や、ドローン(遠隔操作による動作、または、自律的な動作が可能な機器)、自動車などの移動体、PC(Personal Computer)などのコンピュータ、タブレット型の装置、ゲーム機など、様々な電子機器が挙げられる。なお、本実施形態に係る制御システムの適用例が、上記に示す例に限られないことは、言うまでもない。
本実施形態に係る制御システムでは、制御システムを構成する装置のうちの1つが「同期マスタ」の役目を果たす。本実施形態に係る同期マスタとは、複数の画像センサにおける同期した撮像を制御する装置である。同期マスタの役目を果たす装置としては、例えば、複数の画像センサのうちの1つの画像センサ、または、プロセッサが挙げられる。
また、本実施形態に係る制御システムでは、制御システムを構成する複数の画像センサのうち、同期マスタの役目を果たさない画像センサは、「同期スレーブ」の役目を果たす。本実施形態に係る同期スレーブとは、同期マスタにより撮像が制御される装置である。同期スレーブの役目を果たす画像センサは、同期マスタから送信された同期信号を受信し、当該同期信号に基づき動作する。
本実施形態に係る同期マスタは、基準となる同期信号を生成し、他の装置に伝達することによって、複数の画像センサにおける同期した撮像を制御する。
同期マスタは、例えば、撮像のタイミングの制御のような撮像動作の開始の制御と、撮像動作の停止の制御とを行うことによって、同期スレーブの役目を果たす画像センサにおける撮像動作の同期を実現する。以下では、本実施形態に係る同期信号を、「Vsync」、「同期信号Vsync」、「Vsync_out」、「同期信号Vsync_out」、「Vsync_in」、「同期信号Vsync_in」、あるいは「V同期信号」と示す場合がある。また、以下では、同期マスタが他の装置に伝達する同期信号を「同期スレーブ用同期信号」と示す場合がある。
つまり、本実施形態に係る制御システムは、画像センサとプロセッサとのどちらが同期マスタの役目を果たすかによって、下記の2つの実施形態に分類することが可能である。
・第1の実施形態に係る制御システム:複数の画像センサのうちの1つの画像センサが同期マスタの役目を果たし、複数の画像センサのうちの他の画像センサが同期スレーブの役目を果たす制御システム
・第2の実施形態に係る制御システム:プロセッサが同期マスタの役目を果たし、全ての画像センサが同期スレーブの役目を果たす制御システム
以下では、本実施形態に係る制御システムが有する画像センサの数が2つである場合を例に挙げて、第1の実施形態に係る制御システム、および第2の実施形態に係る制御システムそれぞれについて、説明する。なお、本実施形態に係る制御システムが有する画像センサの数は、2つに限られず、本実施形態に係る制御システムは、3つ以上の画像センサを有していてもよい。以下では、本実施形態に係る制御システムが有する画像センサを、単に「センサ」と示す場合がある。
[1-1]本実施形態に係る制御システムの第1の構成例
図1は、本実施形態に係る制御システム1000の第1の構成例を示す説明図であり、複数の画像センサのうちの1つの画像センサが同期マスタの役目を果たす、第1の実施形態に係る制御システムの構成の一例を示している。
第1の構成例に係る制御システム1000は、例えば、プロセッサ100(本実施形態に係る処理装置)と、画像を出力する機能を有する複数のセンサ200A、200B(本実施形態に係る画像センサ)と、メモリ300と、表示デバイス400とを有する。以下では、複数のセンサ200A、200Bを総称して、または、複数のセンサ200A、200Bのうちの1つのセンサを代表的に示して、「センサ200」と示す場合がある。
なお、図1では、2つのセンサ200を有する制御システム1000を示しているが、本実施形態に係る制御システムが有するセンサ200の数は、図1に示す例に限られない。例えば上述したように、本実施形態に係る制御システムは、3つ以上のセンサ200を有していてもよい。
センサ200Aおよびプロセッサ100と、センサ200Bおよびプロセッサ100とは、それぞれ対応するデータバスにより電気的に接続される。データバスは、プロセッサ100とセンサ200とを接続する、一の信号の伝送路である。例えば、センサ200から出力される画像を示すデータ(以下、「画像データ」と示す場合がある。)が、センサ200からプロセッサ100へとデータバスを介して伝送される。
制御システム1000においてデータバスにより伝送される信号は、例えば、CSI-2規格、PCI Expressなどの、伝送されるデータの開始と終了とが所定のデータにより特定される任意の規格によって、伝送される。上記所定のデータとしては、例えば、CSI-2規格におけるフレームの開始パケット、CSI-2規格におけるフレームの終了パケットなどが挙げられる。なお、データバスにより伝送される信号が、上記に示す例に限られないことは、言うまでもない。
また、プロセッサ100とセンサ200それぞれとは、データバスとは異なる制御バスにより電気的に接続される。制御バスは、プロセッサ100とセンサ200それぞれとを接続する、他の信号の伝送路である。例えば、プロセッサ100から出力される制御情報(後述する)が、プロセッサ100からセンサ200へと制御バスを介して伝送される。なお、図1では、プロセッサ100と複数のセンサ200それぞれとが、1つの制御バスにより接続される例を示しているが、本実施形態に係る制御システムは、複数のセンサ200が異なる制御バスによりプロセッサ100と接続される構成をとることも可能である。また、プロセッサ100と複数のセンサ200それぞれとは、制御バスを介して制御情報(後述する)を送受信する構成に限られず、例えば、制御情報の送受信を行うことが可能な任意の通信方式の無線通信によって制御情報(後述する)を送受信する構成であってもよい。
また、センサ200間は、データバスおよび制御バスと異なる信号線を介して接続される。各センサ200間を接続する信号線は、1本であってもよいし、2本以上であってもよい。センサ200間を接続する信号線では、例えば、後述する同期信号Vsync_outや、同期信号Vsync_inが、送受信される。
[1-1-1]プロセッサ100(本実施形態に係る処理装置)
プロセッサ100は、MPU(Micro Processing Unit)などの演算回路で構成される、1または2以上のプロセッサや、各種処理回路などで構成される。プロセッサ100は、バッテリなどの制御システム1000を構成する内部電源(図示せず)から供給される電力、または、制御システム1000の外部電源から供給される電力によって、駆動する。
プロセッサ100は、例えば制御バスを介して、センサ200それぞれに対して制御情報を送信する。
本実施形態に係る制御情報には、例えば、センサ200を示す識別情報と、処理要求とが含まれる。
本実施形態に係る識別情報としては、例えば、センサ200に設定されているIDなどの、センサ200を特定することが可能な任意のデータが挙げられる。制御情報に識別情報が含まれることによって、制御バスを介して制御情報を取得したセンサ200は、取得された制御情報が、自装置に対して送信された制御情報であるか否かを特定することができる。なお、例えば、本実施形態に係る制御システムが、センサ200ごとに異なる制御バスを有する構成である場合には、制御情報に識別情報が含まれていなくてもよい。
本実施形態に係る処理要求とは、センサ200における動作を制御するための命令を示すデータである。処理要求としては、例えば、センサ200の動作を規定する設定を行わせる設定要求や、センサ200における撮像動作を開始させる開始要求、センサにおける撮像動作を停止させる停止要求などが、挙げられる。
なお、本実施形態に係る制御情報に含まれるデータは、上記示す例に限られない。
例えば、本実施形態に係る制御情報には、センサ200の動作を規定する設定を示す設定情報が、含まれていてもよい。本実施形態に係る設定情報が示す設定としては、例えば、“同期マスタと同期スレーブとのような、センサ200の役目を規定する設定”や、フレームの開始パケットを出力するか否かを規定する設定、フレームの終了パケットを出力するか否かを規定する設定、画像サイズを規定する設定、フレームレートを規定する設定などが、挙げられる。
例えば設定情報を含む制御情報が、制御バスを介してプロセッサ100からセンサ200に伝達されることによって、センサ200では、設定情報が示す設定に対応する動作が行われる。
ここで、設定情報には、上記のように“同期マスタと同期スレーブとのような、センサ200の役目を規定する設定”が含まれうる。よって、センサ200の役目を規定する設定を示す設定情報が、制御バスを介してプロセッサ100からセンサ200に伝達されることによって、“複数のセンサ200(本実施形態に係る画像センサ)それぞれが果たす役目が、制御バスを介してプロセッサ(本実施形態に係る処理装置)により設定されること”が、実現される。
なお、制御システム1000におけるセンサ200が果たす役目は、制御バスを介してプロセッサにより設定されることに限られない。例えば、制御システム1000では、各センサ200の役目が、システムの設計段階や製造段階で予め決められていてもよい。つまり、本実施形態に係るセンサ200は、例えば、“同期マスタのみの役目を果たすように動作する構成”、“同期スレーブのみの役目を果たすように動作する構成”、あるいは、“設定情報に基づいて、同期マスタまたは同期スレーブとして動作する構成”をとりうる。
また、プロセッサ100は、センサ200それぞれからデータバスを介して出力される画像に対して画像処理を行う。プロセッサ100が行う画像処理としては、例えば、センサ200それぞれから出力される画像を結合する処理など、画像を対象として行われる任意の画像処理が挙げられる。
さらに、プロセッサ100は、メモリ300などの記録媒体への画像データの記録制御に係る処理、表示デバイス400の表示画面への画像の表示制御に係る処理、任意のアプリケーションソフトウェアを実行する処理など、様々な処理を行うことが可能である。記録制御に係る処理としては、例えば“記録命令を含む制御データと記録媒体に記録させるデータとを、メモリ300などの記録媒体に伝達する処理”が、挙げられる。また、表示制御に係る処理としては、例えば“表示命令を含む制御データと表示画面に表示させるデータとを、表示デバイス400などの表示デバイスに伝達する処理”が、挙げられる。
[1-1-2]センサ200(本実施形態に係る画像センサ)
センサ200は、画像センサである。本実施形態に係る画像センサは、例えば、デジタルスチルカメラやデジタルビデオカメラ、ステレオカメラなどの撮像デバイスや、赤外線センサ、距離画像センサなどの、任意のセンサデバイスを含み、生成された画像を出力する機能を有する。ここで、センサ200において生成される画像は、センサ200におけるセンシング結果を示すデータに該当する。
センサ200は、センサ200を構成するレジスタなどの記録媒体に記憶されている設定情報に基づいて、設定情報が示す設定に対応する動作を行う。例えば、設定情報が同期マスタとして動作することを示す場合、センサ200は、同期マスタの役目を果たすように動作する。また、例えば、設定情報が同期スレーブとして動作することを示す場合、センサ200は、同期スレーブの役目を果たすように動作する。同期マスタの役目を果たすセンサ200の動作の一例と、同期スレーブの役目を果たすセンサ200の動作の一例とについては、後述する。
図1では、センサ200Aが同期マスタの役目を果たし、センサ200Bが同期スレーブの役目を果たしている例を示している。センサ200が果たす役目が、設定情報に基づき設定される場合、制御システム1000では、センサ200Bが同期マスタの役目を果たし、センサ200Aが同期スレーブの役目を果たすことも可能である。
なお、上述したように、センサ200が果たす役目は、設定情報に基づき設定されることに限られず、予め決まっていてもよい。
図2は、本実施形態に係るセンサ200(画像センサ)の構成の一例を示すブロック図である。図2は、設定情報に基づいて同期マスタまたは同期スレーブとして動作するセンサ200の構成の一例を示している。つまり、図2は、同期マスタとして動作する機能と同期スレーブとして動作する機能との双方を有しているセンサ200の構成の一例を示している。同期マスタとして動作する機能と同期スレーブとして動作する機能との双方を有するセンサ200では、設定情報に基づき有効となる機能が規定され、同期マスタとして動作する機能と同期スレーブとして動作する機能とのうちの一方の機能が有効な場合、他方の機能は有効とはならない。
図2に示す“Vsync_out”は、センサ200が同期マスタの役目を果たす場合に出力される同期信号である。図2に示す“Vsync_out”は、同期スレーブの役目を果たす他のセンサ200における撮像タイミングを制御する、同期スレーブ用同期信号に該当する。同期マスタの役目を果たすセンサ200は、例えば、同期スレーブの役目を果たす他のセンサ200と接続される信号線を介して、同期信号Vsync_outを出力する。また、センサ200が同期スレーブとして動作する場合、センサ200は、同期信号Vsync_outを出力しない。
また、図2に示す“Vsync_in”は、同期マスタの役目を果たす他のセンサ200や、同期マスタの役目を果たすプロセッサ100などの、同期マスタの役目を果たす外部装置から出力される同期信号である。図2に示す“Vsync_in”は、同期マスタの役目を果たす他のセンサ200(外部装置の一例)から取得される同期スレーブ用同期信号、または、同期マスタの役目を果たすプロセッサ100(外部装置の一例)から取得される同期スレーブ用同期信号に該当する。センサ200は、例えば、同期マスタの役目を果たす外部装置と接続される信号線を介して同期信号Vsync_inが入力されることにより、同期信号Vsync_inが取得される。センサ200が同期マスタの役目を果たす場合、センサ200では、仮に、同期信号Vsync_inが取得されたとしても、同期信号Vsync_inに基づく処理は行わない。また、センサ200が同期マスタの役目を果たすときに、同期信号Vsync_inが取得された場合、センサ200は、エラーを示すデータを、プロセッサ100に送信してもよい。
本実施形態に係る制御システムが、複数のセンサ200のうちの1つのセンサ200が同期マスタの役目を果たす構成である場合(すなわち、本実施形態に係る制御システムが、第1の実施形態に係る制御システムである場合)、同期信号Vsync_outが出力される信号線と、同期信号Vsync_inが入力される信号線とは、同一の信号線であってもよいし、異なる信号線であってもよい。
センサ200は、例えば、撮像部202と、制御部204とを備える。センサ200は、バッテリなどの制御システム1000を構成する内部電源(図示せず)から供給される電力、または、制御システム1000の外部電源から供給される電力によって、駆動する。
撮像部202は、撮像を行い、画像をデータバスを介して出力する。撮像部202は、例えば、画素アレイ206と、画素読み出し制御回路208とを有する。また、撮像部202は、例えば、対物レンズ、ズームレンズおよびフォーカスレンズなどの1または2以上のレンズとミラーなどの光学素子で構成される、光学系(図示せず)を有する。
画素アレイ206は、例えば、画素に該当する撮像素子がマトリクス状に配置されて構成される。各撮像素子には、FET(Field Effect Transistor)などのスイッチング素子を有する画素回路が接続され、当該画素回路の動作は、画素読み出し制御回路208により制御される。撮像素子としては、例えば、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)などが、挙げられる。
画素読み出し制御回路208は、画素アレイ206を構成する各撮像素子から撮像に応じた画像信号を読み出す。画素読み出し制御回路208は、画素アレイ206に対して、画素アレイ206を構成する画素回路の動作を制御する制御信号を印加することによって、画像信号を読み出す。画素読み出し制御回路208としては、例えば、ドライバ回路が挙げられる。
制御部204は、センサ200の動作を制御する役目を果たす。制御部204における処理は、例えば、MPUなどの演算回路で構成される、1または2以上のプロセッサ(図示せず)により主導的に行われる。
また、制御部204は、例えば、レジスタ210と、Vsync生成回路212と、保持回路214と、マスク回路216とを有する。
ここで、保持回路214およびマスク回路216は、センサ200を同期マスタとして機能させるための構成要素の一例である。つまり、センサ200が同期スレーブのみの役目を果たすように動作する構成である場合、センサ200は、保持回路214およびマスク回路216を有していなくてもよい。
レジスタ210は、制御部204が有する一の記録媒体である。レジスタ210には、例えば設定情報が記憶される。制御部204では、レジスタ210に記憶されている設定情報に基づいて、動作する。
Vsync生成回路212は、例えば、同期信号Vsyncを生成する信号発生器(図示せず)と、カウンタ(以下、「Vsync生成カウンタ」と示す場合がある。)とを有する。Vsync生成回路212における動作は、センサ200が果たす役目によって変わる。
例えば、センサ200が同期マスタの役目を果たす場合、Vsync生成回路212は、カウンタを用いて同期信号Vsyncの生成タイミングをとり、生成タイミングごとに、同期信号Vsyncを生成する。Vsync生成回路212は、例えばレジスタ210に記憶されている設定情報が示す画像サイズに基づいて、同期信号Vsyncの生成タイミングをとる。
センサ200が同期マスタの役目を果たす場合、Vsync生成回路212により生成された同期信号Vsyncは、センサ200が備える撮像部202における撮像の制御と、同期スレーブの役目を果たす他のセンサ200における撮像の制御とに、用いられる。つまり、センサ200が同期マスタの役目を果たす場合、制御部204は、撮像部202における撮像と同期スレーブの役目を果たす他のセンサ200における撮像とをそれぞれ制御する役目を果たす。
また、例えば、センサ200が同期スレーブの役目を果たす場合、Vsync生成回路212は、同期マスタの役目を果たす外部装置から取得された同期信号Vsync_inを用いて,センサ200が備える撮像部202における撮像を制御するための同期信号Vsyncを、生成する。同期マスタの役目を果たす外部装置としては、上述したように、他のセンサ200(第1の実施形態に係る制御システム1000の場合)、または、プロセッサ100(第2の実施形態に係る制御システム1000の場合)が、挙げられる。Vsync生成回路212は、同期マスタの役目を果たす外部装置から出力される同期信号Vsync_inが取得されるごとに、同期信号Vsyncを生成する。上記同期マスタの役目を果たす外部装置から出力される同期信号Vsync_inは、同期スレーブ用同期信号に該当する。
つまり、センサ200が同期スレーブの役目を果たす場合、制御部204は、同期マスタの役目を果たす外部装置から取得される同期スレーブ用同期信号に基づいて、撮像部202における撮像を制御する役目を果たす。
保持回路214は、制御部204が有する他の記録媒体であり、停止要求(処理要求の一例)の取得状態を保持する。保持回路214としては、例えば、ラッチ回路など、停止要求が取得された状態を保持することが可能な任意の回路が、挙げられる。例えば、保持回路214における停止要求の取得状態の保持、保持回路214のリセットなど、保持回路214における動作は、例えば、制御部204を構成するプロセッサ(図示せず)により制御される。
マスク回路216は、保持回路214における停止要求の取得状態に応じて、Vsync生成回路212により生成された同期信号Vsyncを、同期スレーブの役目を果たす他のセンサ200と接続される信号線に、選択的に出力する。
例えば、マスク回路216は、保持回路214における取得状態が停止要求が取得されていることを示さない場合、Vsync生成回路212により生成された同期信号Vsyncを、出力する。マスク回路216から出力される同期信号Vsyncは、同期信号Vsync_out、すなわち、同期スレーブの役目を果たす他のセンサ200の撮像タイミングを制御する同期スレーブ用同期信号に、該当する。
また、例えば、マスク回路216は、保持回路214における取得状態が停止要求が取得されていることを示す場合、Vsync生成回路212により生成された同期信号Vsyncを、出力しない。
マスク回路216としては、例えばAND回路など、“保持回路214における停止要求の取得状態に応じて、Vsync生成回路212により生成された同期信号Vsyncを、選択的に出力することが可能な、任意の回路”が、挙げられる。
センサ200は、例えば図2に示す構成を有する。例えば図2に示す構成を有することによって、センサ200は、設定情報に基づいて同期マスタまたは同期スレーブとして動作する。
なお、センサ200の構成は、図2に示す例に限られない。
例えば上述したように、センサ200が同期スレーブのみの役目を果たすように動作する構成である場合、センサ200は、保持回路214およびマスク回路216を有していなくてもよい。
[1-1-3]メモリ300
メモリ300は、制御システム1000が有する記録媒体である。メモリ300としては、例えば、RAM(Random Access Memory)などの揮発性メモリや、フラッシュメモリなどの不揮発性メモリなどが挙げられる。
メモリ300には、例えばセンサ200それぞれから出力された画像が記憶される。メモリ300への画像の記録は、例えばプロセッサ100により制御される。
[1-1-4]表示デバイス400
表示デバイス400は、制御システム1000が有する表示デバイスである。表示デバイス400としては、例えば、液晶ディスプレイや有機ELディスプレイ(Organic Electro-Luminescence Display。または、OLEDディスプレイ(Organic Light Emitting Diode Display)ともよばれる。)などが挙げられる。
表示デバイス400の表示画面には、例えば、センサ200それぞれから出力された画像や、プロセッサ100において実行されるアプリケーションに係る画面、UI(User Interface)に係る画面など、様々な画像や画面が表示される。表示デバイス400の表示画面への画像などの表示は、例えばプロセッサ100により制御される。
[1-2]本実施形態に係る制御システムの第2の構成例
図3は、本実施形態に係る制御システム1000の第2の構成例を示す説明図であり、複数の画像センサのうちの1つの画像センサが同期マスタの役目を果たす、第1の実施形態に係る制御システムの構成の他の例を示している。
第2の構成例に係る制御システム1000は、例えば、プロセッサ100と、複数のセンサ200A、200Bと、メモリ300と、表示デバイス400とを有する。図3では、センサ200Aが同期マスタの役目を果たし、センサ200Bが同期スレーブの役目を果たしている例を示している。なお、上述したように、制御システム1000における各センサ200が果たす役目は、設定情報に基づき変わりうる。
図3に示す第2の構成例に係る制御システム1000と、図1に示す第1の構成例に係る制御システム1000とを比較すると、図3に示す制御システム1000では、複数のセンサ200でデータバスが共有されている点が、図1に示す制御システム1000と相違する。また、その他の点については、図3に示す制御システム1000と図1に示す制御システム1000とは、同一である。
[1-3]本実施形態に係る制御システムの第3の構成例
図4は、本実施形態に係る制御システム1000の第3の構成例を示す説明図であり、プロセッサが同期マスタの役目を果たす、第2の実施形態に係る制御システムの構成の一例を示している。
第3の構成例に係る制御システム1000は、例えば、プロセッサ100と、複数のセンサ200A、200Bと、メモリ300と、表示デバイス400とを有する。図4では、センサ200Aおよびセンサ200Bが同期スレーブの役目を果たしている例を示している。なお、上述したように、制御システム1000における各センサ200が果たす役目は、設定情報に基づき変わりうる。つまり、本実施形態に係る制御システム1000では、各センサ200が果たす役目がプロセッサ100により設定されることによって、第2の実施形態に係る制御システム1000と第1の実施形態に係る制御システム1000とが切り替えられてもよい。
図4に示す第3の構成例に係る制御システム1000と、図1に示す第1の構成例に係る制御システム1000とを比較すると、図4に示す制御システム1000では、“制御システム1000を構成する全てのセンサ200が同期スレーブの役目を果たしている点”と、“プロセッサ100と各センサ200とが、データバスおよび制御バスと異なる信号線を介して電気的に接続される点”とが、図1に示す制御システム1000と相違する。プロセッサ100は、上記信号線を介して、同期スレーブ用同期信号を各センサ200へ送信する。また、その他の点については、図4に示す制御システム1000と図1に示す制御システム1000とは、同一である。
[1-4]本実施形態に係る制御システムの第4の構成例
図5は、本実施形態に係る制御システム1000の第4の構成例を示す説明図であり、プロセッサが同期マスタの役目を果たす、第2の実施形態に係る制御システムの構成の他の例を示している。
第4の構成例に係る制御システム1000は、例えば、プロセッサ100と、複数のセンサ200A、200Bと、メモリ300と、表示デバイス400とを有する。図5では、センサ200Aおよびセンサ200Bが同期スレーブの役目を果たしている例を示している。なお、上述したように、制御システム1000における各センサ200が果たす役目は、設定情報に基づき変わりうる。
図5に示す第4の構成例に係る制御システム1000と、図4に示す第3の構成例に係る制御システム1000とを比較すると、図5に示す制御システム1000では、複数のセンサ200でデータバスが共有されている点が、図4に示す制御システム1000と相違する。また、その他の点については、図5に示す制御システム1000と図4に示す制御システム1000とは、同一である。
[1-5]本実施形態に係る制御システムの他の構成例
制御システム1000は、例えば図1、図3、図4、図5に示す構成を有する。なお、本実施形態に係る制御システムの構成は、図1、図3、図4、図5に示す例に限られない。
例えば、複数のセンサ200から出力される画像が本実施形態に係る制御システムの外部の記録媒体に記憶される場合、または、複数のセンサ200から出力される画像がプロセッサ100が備える記録媒体に記憶される場合には、本実施形態に係る制御システムは、図1、図3、図4、図5に示すメモリ300を有していなくてもよい。
また、本実施形態に係る制御システムは、図1、図3、図4、図5に示す表示デバイス400を有さない構成をとることも可能である。
また、本実施形態に係る制御システムは、後述する本実施形態に係る制御システムが適用される電子機器が有する機能に応じた、任意の構成を有していてもよい。
[2]複数の画像センサを有するシステムにおいて生じうる問題
本実施形態に係る制御システムにおける、複数の画像センサの撮像動作を同期して停止させる方法(本実施形態に係る制御方法)について説明する前に、複数の画像センサを有するシステムにおいて複数の画像センサの撮像動作を同期して停止させようとする場合に生じうる問題について、説明する。
上述したように、複数の画像センサを有する電子機器のような複数の画像センサを有するシステムにおいて、複数の画像センサにおける撮像動作を停止させるための一の方法としては、例えば、プロセッサが制御バスを介して停止要求をブロードキャストする方法が、挙げられる。
しかしながら、上述したように、停止要求が制御バスを介してブロードキャストされる場合には、全ての画像センサにおける停止要求による撮像動作の停止が、同期しない恐れがある。
図6は、複数の画像センサを有するシステムにおいて生じうる問題を説明するための説明図である。図6では、センサ1、センサ2と示す2つの画像センサを有するシステムを示している。
図6に示す“センサ1状態”、“センサ2状態”とは、画像センサにおける撮像動作の状態を示している。図6に示す“アクティブ”とは、画像センサにおいて、撮像動作が停止されていない状態、すなわち、撮像が可能な状態を示している(他の図においても同様とする。)。また、図6に示す“スタンバイ”とは、画像センサにおいて、撮像動作が停止されている状態を示している(他の図においても同様とする。)。本実施形態に係る撮像動作が停止されている状態としては、例えば、画像センサの待機状態が、挙げられる。
図6に示す“センサ1画像出力”は、センサ1に該当する画像センサから出力される画像を示しており、“センサ2画像出力”は、センサ2に該当する画像センサから出力される画像を示している(他の図においても同様とする。)。各画像センサは、図6において“V同期信号”と示す同期信号に基づいて、画像を出力する。同期信号に基づいて画像センサから出力される画像は、フレームに対応するフレーム画像に該当する(他の図においても同様とする。)。
図6のAは、プロセッサが制御バスを介してブロードキャストした停止要求により、全ての画像センサの撮像動作が同期して停止する例を示している。また、図6のBは、プロセッサが制御バスを介してブロードキャストした停止要求により、全ての画像センサの撮像動作が同期して停止しない例を示している。
プロセッサが制御バスを介して停止要求をブロードキャストした場合、複数の画像センサそれぞれは、取得された停止要求に基づき撮像動作を停止する。
よって、停止要求が制御バスを介してブロードキャストされる場合には、図6のAに示すように、複数の画像センサにおける撮像動作を同期して停止させることが可能である。
ここで、画像センサは、一般的に、“画像の出力を開始した後であって画像の出力が完了する前に、停止要求が取得された場合”には、画像の出力が完了した後に、撮像動作を停止させる。画像センサが上記のように撮像動作を停止させる理由は、例えば、不完全な画像が出力されることを防止するためである。
しかしながら、例えば、画像センサが画像を出力を開始する間際に、停止要求が制御バスを介してブロードキャストされた場合、例えば下記に示す要因によって、各画像センサにおいて停止要求が取得されるタイミングがずれる可能性がある。
・画像センサ間の同期スキュー
・各画像センサの動作クロックにおけるジッタなどによる揺らぎに起因する、各画像センサにおける制御情報を示す信号の取り込み位相差(ずれ)
また、各画像センサにおいて停止要求が取得されるタイミングがずれた場合には、例えば図6のBに示すように、各画像センサで、撮像動作が停止される動作停止フレームがずれる。つまり、停止要求が制御バスを介してブロードキャストされた場合には、例えば図6のBに示すように、同一フレームにおいて全ての画像センサの撮像動作の停止を保証することができるとは、限られない。
[3]本実施形態に係る制御システムにおける、複数の画像センサの撮像動作を同期して停止させる方法(本実施形態に係る制御方法)
次に、本実施形態に係る制御システムにおける、複数の画像センサの撮像動作を同期して停止させる方法について、説明する。
[3-1]第1の実施形態に係る制御システムにおける、複数の画像センサの撮像動作を同期して停止させる方法
まず、図1、図3に示すような“複数の画像センサのうちの1つの画像センサが同期マスタの役目を果たす、第1の実施形態に係る制御システム”における、複数の画像センサの撮像動作を同期して停止させる方法について、説明する。
図7は、第1の実施形態に係る制御システムにおける、複数の画像センサの撮像動作を同期して停止させる方法を説明するための説明図である。
第1の実施形態に係る制御システムは、上述したように、プロセッサ100と複数のセンサ200を有し、第1の実施形態に係る制御システム1000では、複数のセンサ200のうちの1つのセンサ200が、同期マスタの役目を果たす。図7では、センサ1と示すセンサ200が、同期マスタの役目を果たし、センサ2と示すセンサ200が、同期スレーブの役目を果たしている例を示している。
第1の実施形態に係る制御システム1000では、複数のセンサ200における同期した撮像動作が、例えば下記のように実現される。
・同期マスタの役目を果たすセンサ200は、同期スレーブの役目を果たすセンサ200に対して同期信号(同期スレーブ用同期信号)を送信する。
・同期スレーブの役目を果たすセンサ200は、同期マスタの役目を果たすセンサ200から送信された同期信号(同期スレーブ用同期信号)に基づき撮像動作を行う。
また、第1の実施形態に係る制御システム1000では、複数のセンサ200の同期した撮像動作の停止は、例えば下記の(A)~(C)により実現される。
(A)図7のA
プロセッサ100は、制御バスを介して、同期マスタの役目を果たすセンサ200のみに対する停止要求を、送信する。
本実施形態に係る停止要求としては、例えば、センサ200が含むレジスタ210に記憶される撮像動作の状態を示す情報を、撮像動作を停止することを示すように更新する処理命令が、挙げられる。また、本実施形態に係る撮像動作の状態を示す情報としては、例えば“撮像動作を行うか、または、撮像動作を停止するかを示すフラグ”が挙げられる。
以下では、センサ200における撮像動作が、レジスタ210に記憶される撮像動作の状態を示す情報に基づき制御される場合を例に挙げる。また、以下では、本実施形態に係る停止要求を「動作レジスタOff」と示す場合がある。
なお、センサ200における撮像動作がレジスタ210に記憶される撮像動作の状態を示す情報に基づき制御されることに限られないこと、本実施形態に係る撮像動作の状態を示す情報が上記に示す例に限られないこと、および、本実施形態に係る停止要求が上記に示す例に限られないことは、言うまでもない。
具体的には、プロセッサ100は、例えば、同期マスタの役目を果たすセンサ200を示す識別情報と、停止要求とを含む制御情報を、送信することによって、同期マスタの役目を果たすセンサ200のみに対して停止要求を送信する。なお、同期マスタの役目を果たすセンサ200のみに対して停止要求を送信する方法が、上記に示す例に限られないことは、言うまでもない。
(B)図7のB
同期マスタの役目を果たすセンサ200は、制御バスを介して取得された停止要求を保持し、Vsync生成回路212により生成された同期信号Vsyncに同期して、撮像動作を停止する。
さらに、同期マスタの役目を果たすセンサ200は、同期スレーブの役目を果たすセンサ200に対して送信する同期信号を、同期スレーブの役目を果たすセンサ200に対して送信しない。上記“同期マスタの役目を果たすセンサ200が、同期スレーブの役目を果たすセンサ200に対して送信する同期信号”としては、例えばVsync生成回路212により生成された同期信号Vsyncが、挙げられる。
同期マスタの役目を果たすセンサ200では、上述したように、保持回路214およびマスク回路216の動作によって、同期スレーブの役目を果たすセンサ200に対して出力する同期信号の選択的な送信が、実現される。
(C)図7のC
同期スレーブの役目を果たすセンサ200は、同期マスタの役目を果たすセンサ200から取得される同期信号が、当該同期信号の受信が期待される期間内に取得されたと判定されない場合に、撮像動作を停止する。
同期スレーブの役目を果たすセンサ200は、例えば、同期信号の同期パルス(エッジ)が検出されたときに、同期信号が取得されたと判定する。例えば、図7に示すセンサ2(同期スレーブの役目を果たすセンサ200)は、図7において“V同期信号(入力)”と示される同期信号の立ち下りエッジを検出したときに、同期信号が取得されたと判定する。
なお、同期スレーブの役目を果たすセンサ200が同期信号が取得されたと判定する方法は、上記に示す例に限られない。例えば、同期スレーブの役目を果たすセンサ200は、同期信号の立ち上りエッジを検出したときに、同期信号が取得されたと判定してもよい。また、同期スレーブの役目を果たすセンサ200は、例えば、所定の信号パターンが検出されたときに同期信号が取得されたと判定することも可能である。
同期スレーブの役目を果たすセンサ200は、例えば“同期マスタの役目を果たすセンサ200から同期信号が取得されてから設定されている所定の期間が経過する前に、次の同期信号が取得されない場合”に、同期信号の受信が期待される期間内に取得されたと判定しない。また、同期スレーブの役目を果たすセンサ200は、例えば“同期マスタの役目を果たすセンサ200から同期信号が取得されてから設定されている所定の期間が経過する前に、次の同期信号が取得された場合”に、同期信号の受信が期待される期間内に取得されたと判定する。
ここで、本実施形態に係る所定の期間とは、同期マスタの役目を果たす外部装置が同期信号(同期スレーブ用同期信号)を送信する時間間隔よりも長い期間である。
同期スレーブの役目を果たすセンサ200は、例えば、レジスタ210に記憶されている設定情報が示す画像サイズ(フレームサイズ)によって、同期マスタの役目を果たす外部装置が同期信号を送信する時間間隔を、特定する。そして、同期スレーブの役目を果たすセンサ200は、特定された上記時間間隔よりも長い期間を、所定の期間として設定して、所定の期間が経過する前に次の同期信号が取得されたか否かを判定する。
第1の実施形態に係る制御システム1000では、例えば上記の(A)~(C)に示すように、複数のセンサ200の撮像動作が停止する。
ここで、第1の実施形態に係る制御システムを構成する同期マスタの役目を果たすセンサ200は、例えば上記の(B)に示すように、停止要求の取得に基づいて撮像動作を停止し、かつ、同期スレーブの役目を果たすセンサ200に対して同期信号を出力しない。
また、第1の実施形態に係る制御システムを構成する同期スレーブの役目を果たすセンサ200は、“同期マスタの役目を果たすセンサ200から同期信号が取得されてから設定されている所定の期間が経過する前に、次の同期信号が取得されない場合”に、撮像動作を停止する。換言すると、第1の実施形態に係る制御システムを構成する同期スレーブの役目を果たすセンサ200は、所定の期間に同期マスタの役目を果たすセンサ200から同期信号が取得されないことを、停止要求とみなして、撮像動作を停止する。つまり、第1の実施形態に係る制御システムを構成する同期スレーブの役目を果たすセンサ200は、停止要求が取得されることによらずに、所定の期間に同期マスタの役目を果たす装置から同期信号が取得されたか否かによって、撮像動作を停止することができる。
したがって、第1の実施形態に係る制御システム1000では、複数のセンサ200の同期した撮像動作の停止が、実現される。
以下、第1の実施形態に係る制御システムを構成するセンサ200の動作について、より具体的に説明する。
[3-1-1]第1の実施形態に係る同期マスタの役目を果たすセンサ200の動作
図8は、第1の実施形態に係る同期マスタの役目を果たすセンサ200の動作の一例を示す説明図である。図8は、同期マスタの役目を果たすセンサ200が図2に示す構成を有する場合における、センサ200の動作の一例を示している。以下、図2に示すセンサ200の構成を適宜挙げつつ、同期マスタの役目を果たすセンサ200の動作の一例を説明する。
制御バスを介して撮像の開始要求が取得されると、センサ200では、Vsync生成回路212による同期信号Vsyncの生成が開始され、撮像動作が開始される。
本実施形態に係る開始要求としては、例えば、センサ200が含むレジスタ210に記憶される撮像動作の状態を示す情報を、撮像動作を開始することを示すように更新する処理命令が、挙げられる。以下では、本実施形態に係る開始要求を「動作レジスタOn」と示す場合がある。
Vsync生成回路212は、Vsync生成カウンタを用いて同期信号Vsyncの生成タイミングをとり、生成タイミングごとに、同期信号Vsyncを生成する。図8では、Vsync生成カウンタの値がN(Nは、1以上の整数)であるごとに同期信号Vsyncを生成し、同期信号Vsyncが生成されるごとにVsync生成カウンタの値が、初期値にリセットされている例を示している。Nの値は、例えば、レジスタ210に記憶されている設定情報が示す画像サイズ(フレームサイズ)に基づいて、設定される。
センサ200の制御部204は、生成された同期信号Vsyncに基づいて撮像部202に撮像を行わせる。制御部204は、例えば、撮像部202に対して生成された同期信号Vsyncを伝達することによって、撮像部202に撮像を行わせる。
また、制御部204は、生成された同期信号Vsyncに基づく同期信号(同期スレーブ用同期信号)を、同期スレーブの役目を果たすセンサ200に対して出力する。図2に示す構成を有するセンサ200では、保持回路214およびマスク回路216の動作により、Vsync生成回路212により生成された同期信号Vsyncが、同期スレーブの役目を果たすセンサ200と接続されている信号線を介して送信されることによって、同期信号が同期スレーブの役目を果たすセンサ200に対して出力される。
センサ200では、例えば上記のような動作により、撮像部202における撮像と他のセンサ200における撮像とをそれぞれ制御する。
また、制御バスを介して停止要求が取得されると、センサ200は、保持回路214により停止要求が取得された状態を保持する(図8のA)。保持回路214では、例えば、取得された停止要求を保持することによって、停止要求が取得された状態が保持されてもよいし、保持回路214が停止要求が取得されたことを示す値を保持することによって、停止要求が取得された状態が保持されてもよい。
保持回路214は、例えば、停止要求が取得されてから、Vsync生成回路212により次の同期信号Vsyncが生成されるまで、停止要求が取得された状態を保持する。
保持回路214が停止要求が取得された状態を保持している状態で、次の同期信号Vsyncが生成された場合、制御部204は、撮像部202における撮像動作を停止させる(図8のB)。制御部204は、例えば、撮像部202に対して生成された同期信号Vsyncを伝達しないことによって、撮像部202における撮像動作を停止させる。また、制御部204は、撮像部202における撮像動作を停止させた後、センサ200全体を、設定されている待機状態へと移行させてもよい。
さらに、保持回路214が停止要求が取得された状態を保持している状態で、次の同期信号Vsyncが生成された場合、保持回路214およびマスク回路216の動作によって、制御部204は、同期信号Vsyncを同期スレーブの役目を果たすセンサ200に対して出力しない(図8のB)。
例えば図8に示すような動作によって、同期マスタの役目を果たすセンサ200では、“停止要求の取得に基づいて撮像動作を停止し、かつ、同期スレーブの役目を果たすセンサ200に対して同期信号を出力しないこと”が、実現される。
[3-1-2]第1の実施形態に係る同期スレーブの役目を果たすセンサ200の動作
図9は、第1の実施形態に係る同期スレーブの役目を果たすセンサ200の動作の一例を示す説明図である。図9は、同期スレーブの役目を果たすセンサ200が図2に示す構成を有する場合における、センサ200の動作の一例を示している。以下、図2に示すセンサ200の構成を適宜挙げつつ、同期スレーブの役目を果たすセンサ200の動作の一例を説明する。
制御バスを介して撮像を開始要求が取得されると、センサ200の制御部204は、外部装置からの同期信号の受信を待つ。
例えば同期マスタの役目を果たすセンサ200と接続される信号線を介して、同期信号が取得されると、Vsync生成回路212による同期信号Vsyncの生成が開始され、撮像動作が開始される(図9のA)。
制御部204は、同期マスタの役目を果たすセンサ200から取得される同期信号をトリガとして、Vsync生成回路212のVsync生成カウンタの値を初期値にリセットし、Vsync生成カウンタの値の更新を開始させる。更新が開始されたVsync生成カウンタの値は、外部装置から同期信号(同期スレーブ用同期信号)が取得されてから経過した時間に相当する数値を示すこととなる。
また、制御部204は、Vsync生成カウンタの値と、同期マスタの役目を果たす外部装置が同期信号を送信する時間間隔に対応する閾値とを比較することによって、本実施形態に係る所定の期間が経過する前に次の同期信号が取得されたかを判定する。
ここで、本実施形態に係る時間間隔に対応する閾値は、例えば、レジスタ210に記憶されている設定情報が示す画像サイズ(フレームサイズ)に基づいて、設定される。設定情報が示す画像サイズに対応する時間間隔を示す値とNとすると、制御部204は、時間間隔に対応する閾値として、N+n(nは、1以上の整数)を設定する。nの値は、予め設定された固定値であってもよいし、プロセッサ100が制御バスを介して送信する設定情報などに基づき変更可能な、可変値であってもよい。また、nの値は、例えば、同期マスタの役目を果たす外部装置との同期信号の送受信において生じうる遅延等を考慮して設定される。図9では、制御部204が、時間間隔に対応する閾値としてN+1を設定している例を、示している。
制御部204は、Vsync生成カウンタの値が時間間隔に対応する閾値よりも大きい場合、または、Vsync生成カウンタの値が時間間隔に対応する閾値以上である場合に、所定の期間が経過する前に次の同期信号が取得されたと判定しない。
“所定の期間が経過する前に次の同期信号が取得された”と判定される前に、同期マスタの役目を果たすセンサ200から同期信号が取得された場合、Vsync生成回路212は同期信号Vsyncを生成し、制御部204は、撮像部202に撮像を行わせる(図9のB)。
また、制御部204は、同期マスタの役目を果たすセンサ200から取得される同期信号をトリガとして、Vsync生成回路212のVsync生成カウンタの値を初期値にリセットし、Vsync生成カウンタの値の更新を開始させる(図9のB)。
“所定の期間が経過する前に次の同期信号が取得された”と判定されない場合には、制御部204は、撮像部202における撮像を停止させる(図9のC)。制御部204は、例えば、Vsync生成回路212に同期信号Vsyncを生成させないことによって、撮像部202における撮像動作を停止させる。また、制御部204は、撮像部202における撮像動作を停止させた後、センサ200全体を、設定されている待機状態へと移行させてもよい。
例えば図9に示すような動作によって、同期スレーブの役目を果たすセンサ200では、“所定の期間に同期マスタの役目を果たすセンサ200から同期信号が取得されないことを、停止要求とみなして、撮像動作を停止すること”が、実現される。
[3-1-3]第1の実施形態に係る制御システム1000における動作
図10は、第1の実施形態に係る制御システム1000における動作の一例を示す説明図である。図10は、図8に示す第1の実施形態に係る同期マスタの役目を果たすセンサ200の動作と、図9に示す第1の実施形態に係る同期スレーブの役目を果たすセンサ200の動作とをまとめた図に該当する。
図10を参照して、撮像動作の停止時の動作について説明する。制御バスを介して停止要求が取得されると、同期マスタの役目を果たすセンサ200は、保持回路214により停止要求が取得された状態を保持する(図10のA)。
保持回路214が停止要求が取得された状態を保持している状態で、次の同期信号Vsyncが生成された場合、同期マスタの役目を果たすセンサ200は、撮像部202における撮像動作を停止させると共に、保持回路214およびマスク回路216の動作によって、同期信号Vsyncを同期スレーブの役目を果たすセンサ200に対して出力しない(図10のB)。
同期スレーブの役目を果たすセンサ200は、同期マスタの役目を果たすセンサ200から同期信号が取得されてから所定の期間が経過する前に次の同期信号が取得されたと判定されない場合に、撮像部202における撮像を停止させる(図10のC)。
例えば図10に示すように、第1の実施形態に係る制御システム1000では、同期マスタの役目を果たすセンサ200は、停止要求に基づき撮像動作を停止する。また、例えば図10に示すように、第1の実施形態に係る制御システム1000では、同期スレーブの役目を果たすセンサ200は、所定の期間に同期マスタの役目を果たすセンサ200から同期信号が取得されないことを、停止要求とみなして、撮像動作を停止する。よって、第1の実施形態に係る制御システム1000では、同期スレーブの役目を果たすセンサ200が、同期マスタの役目を果たすセンサ200と同期して撮像動作を停止することが、保証される。
したがって、第1の実施形態に係る制御システムは、複数のセンサ200における同期した撮像動作の停止を実現することができる。
[3-2]第2の実施形態に係る制御システムにおける、複数の画像センサの撮像動作を同期して停止させる方法
次に、図4、図5に示すような“プロセッサが同期マスタの役目を果たす、第2の実施形態に係る制御システム”における、複数の画像センサの撮像動作を同期して停止させる方法について、説明する。
図11は、第2の実施形態に係る制御システム1000における、複数の画像センサの撮像動作を同期して停止させる方法を説明するための説明図である。
第2の実施形態に係る制御システム1000は、上述したように、プロセッサ100と複数のセンサ200を有し、第2の実施形態に係る制御システム1000では、プロセッサ100が同期マスタの役目を果たす。また、第2の実施形態に係る制御システム1000では、全てのセンサ200が同期スレーブの役目を果たす。図11では、センサ1と示すセンサ200、およびセンサ2と示すセンサ200が、同期スレーブの役目を果たしている例を示している。
第2の実施形態に係る制御システム1000では、複数のセンサ200における同期した撮像動作が、例えば下記のように実現される。
・同期マスタの役目を果たすプロセッサ100は、同期スレーブの役目を果たす全てのセンサ200に対して同期信号(同期スレーブ用同期信号)を送信する。プロセッサ100は、同期信号を、データバスおよび制御バスと異なる信号線を介して、設定されている所定の時間間隔ごとに送信する。ここで、上記所定の時間間隔としては、例えば、各センサ200に設定した設定情報が示す画像サイズ(フレームサイズ)に対応する時間間隔が、挙げられる。プロセッサ100は、図4、図5に示すように、データバスおよび制御バスと異なる信号線を介して同期信号を送信する。
・同期スレーブの役目を果たす全てのセンサ200は、同期マスタの役目を果たすプロセッサ100から送信された同期信号(同期スレーブ用同期信号)に基づき撮像動作を行う。
また、第2の実施形態に係る制御システム1000では、複数のセンサ200の同期した撮像動作の停止は、例えば下記の(a)、(b)により実現される。
(a)図11のA
複数のセンサ200の撮像動作を同期して停止させる場合、同期マスタの役目を果たすプロセッサ100は、同期スレーブの役目を果たす全てのセンサ200に対して同期信号(同期スレーブ用同期信号)を送信しない。つまり、同期マスタの役目を果たすプロセッサ100は、上述した第1の実施形態に係る制御システムを構成するプロセッサ100のように停止要求を送信せず、同期信号を送信しないことを停止要求とする。
(b)図11のB、図11のC
第2の実施形態に係る制御システムを構成する全てのセンサ200は、上述したように、同期スレーブの役目を果たす。
また、同期スレーブの役目を果たすセンサ200は、同期マスタの役目を果たすプロセッサ100から取得される同期信号(同期スレーブ用同期信号)が、当該同期信号の受信が期待される期間内に取得されたと判定されない場合に、撮像動作を停止する。換言すると、同期スレーブの役目を果たすセンサ200は、所定の期間に同期マスタの役目を果たすプロセッサ100から同期信号が取得されないことを、停止要求とみなして、撮像動作を停止する。
つまり、第2の実施形態に係る制御システムを構成する全てのセンサ200は、上述した“第1の実施形態に係る制御システムを構成する、同期スレーブの役目を果たすセンサ200”と同様に、停止要求が取得されることによらずに、所定の期間に同期マスタの役目を果たす装置から同期信号が取得されたか否かによって、撮像動作を停止することができる。
第2の実施形態に係る制御システム1000では、例えば上記の(a)、(b)に示すように、複数のセンサ200の撮像動作が停止する。
ここで、第2の実施形態に係る制御システムを構成する同期マスタの役目を果たすプロセッサ100は、例えば上記の(a)に示すように、同期信号を送信しないことを停止要求とする。
また、第2の実施形態に係る制御システムを構成する全てのセンサ200は、停止要求が取得されることによらずに、所定の期間に同期マスタの役目を果たすプロセッサ100から同期信号が取得されたか否かによって、撮像動作を停止する。
したがって、第2の実施形態に係る制御システム1000では、複数のセンサ200の同期した撮像動作の停止が、実現される。
以下、第2の実施形態に係る制御システムにおける動作について、説明する。
図12は、第2の実施形態に係る制御システム1000における動作の一例を示す説明図である。図12は、同期マスタの役目を果たすプロセッサ100の動作と、同期スレーブの役目を果たすセンサ200の動作とを示している。
[3-2-1]第2の実施形態に係る同期マスタの役目を果たすプロセッサ100の動作
プロセッサ100は、制御バスを介して開始要求を送信すると、同期信号(同期スレーブ用同期信号)を、データバスおよび制御バスと異なる信号線を介して、設定されている所定の時間間隔ごとに送信する。図10に示す“Vsync_out(from プロセッサ100)”が、信号線を介して送信される同期信号に該当する。
全てのセンサ200における撮像動作を停止させる場合、プロセッサ100は、全てのセンサ200に対して同期信号を送信しない(図12のA)。
[3-2-2]第2の実施形態に係る同期スレーブの役目を果たすセンサ200の動作(第2の実施形態に係る制御システム1000を構成する全てのセンサ200の動作)
制御バスを介して撮像を開始要求が取得されると、センサ200は、上述した“第1の実施形態に係る制御システムを構成する、同期スレーブの役目を果たすセンサ200”と同様に、外部装置からの同期信号(同期スレーブ用同期信号)の受信を待つ。
例えばプロセッサ100と接続される、データバスおよび制御バスと異なる信号線を介して、同期信号が取得されると、センサ200では、上述した“第1の実施形態に係る制御システムを構成する、同期スレーブの役目を果たすセンサ200”と同様に、撮像動作が開始される。
センサ200は、上述した“第1の実施形態に係る制御システムを構成する、同期スレーブの役目を果たすセンサ200”と同様に、プロセッサ100から取得される同期信号をトリガとして、Vsync生成回路212のVsync生成カウンタの値を初期値にリセットし、Vsync生成カウンタの値の更新を開始させる。
また、センサ200は、上述した“第1の実施形態に係る制御システムを構成する、同期スレーブの役目を果たすセンサ200”と同様に、所定の期間が経過する前に次の同期信号が取得されたかを判定する。
“所定の期間が経過する前に次の同期信号が取得された”と判定される前に、プロセッサ100から同期信号が取得された場合、センサ200は、上述した“第1の実施形態に係る制御システムを構成する、同期スレーブの役目を果たすセンサ200”と同様に、撮像部202に撮像を行わせる。
また、センサ200は、上述した“第1の実施形態に係る制御システムを構成する、同期スレーブの役目を果たすセンサ200”と同様に、プロセッサ100から取得される同期信号をトリガとして、Vsync生成回路212のVsync生成カウンタの値を初期値にリセットし、Vsync生成カウンタの値の更新を開始させる。
“所定の期間が経過する前に次の同期信号が取得された”と判定されない場合、センサ200は、上述した“第1の実施形態に係る制御システムを構成する、同期スレーブの役目を果たすセンサ200”と同様に、撮像部202における撮像を停止させる(図12のB、図12のC)。
例えば図12に示すような動作によって、同期スレーブの役目を果たす全てのセンサ200では、“所定の期間に同期マスタの役目を果たすプロセッサ100から同期信号が取得されないことを、停止要求とみなして、撮像動作を停止すること”が、実現される。
例えば図12に示すように、第2の実施形態に係る制御システム1000では、同期スレーブの役目を果たすセンサ200は、上述した“第1の実施形態に係る制御システムを構成する、同期スレーブの役目を果たすセンサ200”と同様に、所定の期間に同期マスタの役目を果たすプロセッサ100から同期信号が取得されないことを、停止要求とみなして、撮像動作を停止する。
また、第2の実施形態に係る制御システム1000では、全てのセンサ200が同期スレーブの役目を果たす。
よって、第2の実施形態に係る制御システム1000では、同期スレーブの役目を果たす全てのセンサ200が同期して撮像動作を停止することが、保証される。
したがって、第2の実施形態に係る制御システムは、複数のセンサ200における同期した撮像動作の停止を実現することができる。
[4]本実施形態に係る制御システムにより奏される効果の一例
上述した第1の実施形態に係る制御システム、または、上述した第2の実施形態に係る制御システムが用いられることによって、例えば下記に示す効果が奏される。なお、本実施形態に係る制御システムにより奏される効果が、下記に示す効果に限られないことは、言うまでもない。
・複数の画像センサを有する、いわゆるマルチカメラシステムにおいて、停止要求を制御バスを介してブロードキャストするのではなく、同期信号Vsyncを利用するので、全ての画像センサの同期した撮像動作の停止が保証される。
・同期信号Vsyncを利用して全ての画像センサにおける撮像動作の停止を同期させるので、例えば図1に示す制御システム1000の構成や図4に示す制御システム1000の構成のような、既存のマルチカメラシステムと同様の接続構成・配線リソースで、全ての画像センサの同期した撮像動作の停止を実現することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
複数の画像センサにおける同期した撮像を制御する同期マスタの役目を果たし、
停止要求が取得された場合には、前記停止要求に基づいて、撮像動作を停止させ、かつ、前記同期マスタにより撮像が制御される同期スレーブの役目を果たす、他の画像センサに対して、前記同期スレーブの役目を果たす画像センサにおける撮像タイミングを制御する同期スレーブ用同期信号を、送信しない、画像センサ。
(2)
撮像を行い、画像をデータバスを介して出力する撮像部と、
前記撮像部における撮像と、前記他の画像センサにおける撮像とをそれぞれ制御する制御部と、
を備え、
前記制御部は、
設定されている所定の時間間隔ごとに前記撮像部における撮像タイミングを制御する同期信号を生成し、生成された前記同期信号に基づいて前記撮像部に撮像を行わせ、
生成された前記同期信号に基づく前記同期スレーブ用同期信号を、前記他の画像センサに対して送信し、
停止要求が取得された場合には、前記撮像部における撮像を停止させ、かつ、前記同期スレーブ用同期信号を前記他の画像センサに対して送信しない、(1)に記載の画像センサ。
(3)
前記停止要求が取得された場合、
前記制御部は、
取得された前記停止要求を保持し、
前記停止要求が保持された後に最初に前記同期信号を生成するタイミングで、前記撮像部における撮像を停止させる、(2)に記載の画像センサ。
(4)
前記制御部は、前記停止要求が保持されている場合に、前記同期スレーブ用同期信号を前記他の画像センサに対して送信しない、(3)に記載の画像センサ。
(5)
前記同期スレーブ用同期信号は、前記同期信号である、(2)~(4)のいずれか1つに記載の画像センサ。
(6)
前記停止要求は、前記データバスと異なる制御バスを介して外部装置から取得される、(2)~(5)のいずれか1つに記載の画像センサ。
(7)
前記同期スレーブの役目を果たす機能をさらに有し、
前記同期スレーブの役目を果たす機能が有効である場合には、外部装置から前記同期スレーブ用同期信号が取得されてから設定されている所定の期間が経過する前に、次の前記同期スレーブ用同期信号が取得されないときに、撮像動作を停止させる、(1)~(6)のいずれか1つに記載の画像センサ。
(8)
前記同期スレーブの役目を果たす機能が有効である場合には、前記同期マスタの役目を果たさない、(7)に記載の画像センサ。
(9)
複数の画像センサにおける同期した撮像を制御する同期マスタにより撮像が制御される、同期スレーブの役目を果たし、
前記同期スレーブの役目を果たす画像センサにおける撮像タイミングを制御する同期スレーブ用同期信号が前記同期マスタから取得されてから、設定されている所定の期間が経過する前に、次の前記同期スレーブ用同期信号が取得されない場合に、撮像動作を停止させる、画像センサ。
(10)
撮像を行い、画像をデータバスを介して出力する撮像部と、
前記同期スレーブ用同期信号に基づいて、前記撮像部における撮像を制御する制御部と、
を備え、
前記制御部は、
取得された前記同期スレーブ用同期信号に基づいて前記撮像部に撮像を行わせ、
前記同期スレーブ用同期信号が取得されてから前記所定の期間が経過する前に、次の前記同期スレーブ用同期信号が取得されない場合に、前記撮像部における撮像を停止させる、(9)に記載の画像センサ。
(11)
前記制御部は、
前記同期スレーブ用同期信号が取得されてから経過した時間に相当する数値を示すカウンタの値と、前記同期マスタが前記同期スレーブ用同期信号を送信する時間間隔に対応する閾値とを比較することによって、前記所定の期間が経過する前に次の前記同期スレーブ用同期信号が取得されたかを判定し、
前記所定の期間が経過する前に次の前記同期スレーブ用同期信号が取得されたと判定されない場合に、前記撮像部における撮像を停止させる、(10)に記載の画像センサ。
(12)
前記制御部は、前記カウンタの値が前記閾値よりも大きい場合、または、前記カウンタの値が前記閾値以上である場合に、前記所定の期間が経過する前に次の前記同期スレーブ用同期信号が取得されたと判定しない、(11)に記載の画像センサ。
(13)
前記制御部は、前記同期スレーブ用同期信号が取得されたときに前記カウンタの値を初期値にリセットして、前記カウンタの値の更新を開始させる、(11)または(12)に記載の画像センサ。
(14)
前記同期スレーブ用同期信号は、前記データバスと異なる信号線を介して、前記同期マスタから取得される、(10)~(13)のいずれか1つに記載の画像センサ。
(15)
前記所定の期間は、前記同期マスタが前記同期スレーブ用同期信号を送信する時間間隔よりも長い期間である、(9)~(14)のいずれか1つに記載の画像センサ。
(16)
処理装置と、
データバスおよび制御バスを介して前記処理装置とそれぞれ接続される、複数の画像センサと、
を有し、
複数の前記画像センサのうちの1つの前記画像センサは、複数の前記画像センサにおける同期した撮像を制御する同期マスタの役目を果たし、
複数の前記画像センサのうちの他の前記画像センサは、前記同期マスタにより撮像が制御される同期スレーブの役目を果たし、
前記同期マスタの役目を果たす前記画像センサと、前記同期スレーブの役目を果たす前記画像センサとは、前記データバスおよび前記制御バスと異なる信号線を介して接続され、
複数の前記画像センサにおける撮像動作を停止させる場合、
前記処理装置は、前記制御バスを介して、前記同期マスタの役目を果たす前記画像センサに対して停止要求を送信し、
前記同期マスタの役目を果たす前記画像センサは、前記停止要求に基づいて、撮像動作を停止させ、かつ、前記同期スレーブの役目を果たす前記画像センサに対して、前記同期スレーブの役目を果たす画像センサにおける撮像タイミングを制御する同期スレーブ用同期信号を送信せず、
前記同期スレーブの役目を果たす前記画像センサは、前記同期スレーブ用同期信号が取得されてから設定されている所定の期間が経過する前に、次の前記同期スレーブ用同期信号が取得されない場合に、撮像動作を停止させる、制御システム。
(17)
複数の前記画像センサそれぞれが果たす役目は、前記制御バスを介して前記処理装置により設定される、(16)に記載の制御システム。
(18)
処理装置と、
データバス、制御バス、および前記データバスおよび前記制御バスと異なる信号線を介して前記処理装置とそれぞれ接続される、複数の画像センサと、
を有し、
前記処理装置は、複数の前記画像センサにおける同期した撮像を制御する同期マスタの役目を果たし、
複数の前記画像センサは、前記同期マスタにより撮像が制御される同期スレーブの役目を果たし、
複数の前記画像センサにおける撮像動作を停止させる場合、
前記処理装置は、前記信号線を介して、前記同期スレーブの役目を果たす画像センサにおける撮像タイミングを制御する同期スレーブ用同期信号を送信せず、
複数の前記画像センサは、前記同期スレーブ用同期信号が取得されてから設定されている所定の期間が経過する前に、次の前記同期スレーブ用同期信号が取得されない場合に、撮像動作を停止させる、制御システム。
100 プロセッサ
200、200A、200B センサ
202 撮像部
204 制御部
206 画素アレイ
208 画素読み出し制御回路
210 レジスタ
212 Vsync生成回路
214 保持回路
216 マスク回路
300 メモリ
400 表示デバイス
1000 制御システム

Claims (18)

  1. 複数の画像センサにおける同期した撮像を制御する同期マスタの役目を果たし、
    停止要求が取得された場合には、前記停止要求に基づいて、撮像動作を停止させ、かつ、前記同期マスタにより撮像が制御される同期スレーブの役目を果たす、他の画像センサに対して、前記同期スレーブの役目を果たす画像センサにおける撮像タイミングを制御する同期スレーブ用同期信号を、送信しない、画像センサ。
  2. 撮像を行い、画像をデータバスを介して出力する撮像部と、
    前記撮像部における撮像と、前記他の画像センサにおける撮像とをそれぞれ制御する制御部と、
    を備え、
    前記制御部は、
    設定されている所定の時間間隔ごとに前記撮像部における撮像タイミングを制御する同期信号を生成し、生成された前記同期信号に基づいて前記撮像部に撮像を行わせ、
    生成された前記同期信号に基づく前記同期スレーブ用同期信号を、前記他の画像センサに対して送信し、
    停止要求が取得された場合には、前記撮像部における撮像を停止させ、かつ、前記同期スレーブ用同期信号を前記他の画像センサに対して送信しない、請求項1に記載の画像センサ。
  3. 前記停止要求が取得された場合、
    前記制御部は、
    取得された前記停止要求を保持し、
    前記停止要求が保持された後に最初に前記同期信号を生成するタイミングで、前記撮像部における撮像を停止させる、請求項2に記載の画像センサ。
  4. 前記制御部は、前記停止要求が保持されている場合に、前記同期スレーブ用同期信号を前記他の画像センサに対して送信しない、請求項3に記載の画像センサ。
  5. 前記同期スレーブ用同期信号は、前記同期信号である、請求項2に記載の画像センサ。
  6. 前記停止要求は、前記データバスと異なる制御バスを介して外部装置から取得される、請求項2に記載の画像センサ。
  7. 前記同期スレーブの役目を果たす機能をさらに有し、
    前記同期スレーブの役目を果たす機能が有効である場合には、外部装置から前記同期スレーブ用同期信号が取得されてから設定されている所定の期間が経過する前に、次の前記同期スレーブ用同期信号が取得されないときに、撮像動作を停止させる、請求項1に記載の画像センサ。
  8. 前記同期スレーブの役目を果たす機能が有効である場合には、前記同期マスタの役目を果たさない、請求項7に記載の画像センサ。
  9. 複数の画像センサにおける同期した撮像を制御する同期マスタにより撮像が制御される、同期スレーブの役目を果たし、
    前記同期スレーブの役目を果たす画像センサにおける撮像タイミングを制御する同期スレーブ用同期信号が前記同期マスタから取得されてから、設定されている所定の期間が経過する前に、次の前記同期スレーブ用同期信号が取得されない場合に、撮像動作を停止させる、画像センサ。
  10. 撮像を行い、画像をデータバスを介して出力する撮像部と、
    前記同期スレーブ用同期信号に基づいて、前記撮像部における撮像を制御する制御部と、
    を備え、
    前記制御部は、
    取得された前記同期スレーブ用同期信号に基づいて前記撮像部に撮像を行わせ、
    前記同期スレーブ用同期信号が取得されてから前記所定の期間が経過する前に、次の前記同期スレーブ用同期信号が取得されない場合に、前記撮像部における撮像を停止させる、請求項9に記載の画像センサ。
  11. 前記制御部は、
    前記同期スレーブ用同期信号が取得されてから経過した時間に相当する数値を示すカウンタの値と、前記同期マスタが前記同期スレーブ用同期信号を送信する時間間隔に対応する閾値とを比較することによって、前記所定の期間が経過する前に次の前記同期スレーブ用同期信号が取得されたかを判定し、
    前記所定の期間が経過する前に次の前記同期スレーブ用同期信号が取得されたと判定されない場合に、前記撮像部における撮像を停止させる、請求項10に記載の画像センサ。
  12. 前記制御部は、前記カウンタの値が前記閾値よりも大きい場合、または、前記カウンタの値が前記閾値以上である場合に、前記所定の期間が経過する前に次の前記同期スレーブ用同期信号が取得されたと判定しない、請求項11に記載の画像センサ。
  13. 前記制御部は、前記同期スレーブ用同期信号が取得されたときに前記カウンタの値を初期値にリセットして、前記カウンタの値の更新を開始させる、請求項11に記載の画像センサ。
  14. 前記同期スレーブ用同期信号は、前記データバスと異なる信号線を介して、前記同期マスタから取得される、請求項10に記載の画像センサ。
  15. 前記所定の期間は、前記同期マスタが前記同期スレーブ用同期信号を送信する時間間隔よりも長い期間である、請求項9に記載の画像センサ。
  16. 処理装置と、
    データバスおよび制御バスを介して前記処理装置とそれぞれ接続される、複数の画像センサと、
    を有し、
    複数の前記画像センサのうちの1つの前記画像センサは、複数の前記画像センサにおける同期した撮像を制御する同期マスタの役目を果たし、
    複数の前記画像センサのうちの他の前記画像センサは、前記同期マスタにより撮像が制御される同期スレーブの役目を果たし、
    前記同期マスタの役目を果たす前記画像センサと、前記同期スレーブの役目を果たす前記画像センサとは、前記データバスおよび前記制御バスと異なる信号線を介して接続され、
    複数の前記画像センサにおける撮像動作を停止させる場合、
    前記処理装置は、前記制御バスを介して、前記同期マスタの役目を果たす前記画像センサに対して停止要求を送信し、
    前記同期マスタの役目を果たす前記画像センサは、前記停止要求に基づいて、撮像動作を停止させ、かつ、前記同期スレーブの役目を果たす前記画像センサに対して、前記同期スレーブの役目を果たす画像センサにおける撮像タイミングを制御する同期スレーブ用同期信号を送信せず、
    前記同期スレーブの役目を果たす前記画像センサは、前記同期スレーブ用同期信号が取得されてから設定されている所定の期間が経過する前に、次の前記同期スレーブ用同期信号が取得されない場合に、撮像動作を停止させる、制御システム。
  17. 複数の前記画像センサそれぞれが果たす役目は、前記制御バスを介して前記処理装置により設定される、請求項16に記載の制御システム。
  18. 処理装置と、
    データバス、制御バス、および前記データバスおよび前記制御バスと異なる信号線を介して前記処理装置とそれぞれ接続される、複数の画像センサと、
    を有し、
    前記処理装置は、複数の前記画像センサにおける同期した撮像を制御する同期マスタの役目を果たし、
    複数の前記画像センサは、前記同期マスタにより撮像が制御される同期スレーブの役目を果たし、
    複数の前記画像センサにおける撮像動作を停止させる場合、
    前記処理装置は、前記信号線を介して、前記同期スレーブの役目を果たす画像センサにおける撮像タイミングを制御する同期スレーブ用同期信号を送信せず、
    複数の前記画像センサは、前記同期スレーブ用同期信号が取得されてから設定されている所定の期間が経過する前に、次の前記同期スレーブ用同期信号が取得されない場合に、撮像動作を停止させる、制御システム。
JP2019502462A 2017-03-02 2017-12-01 画像センサ、および制御システム Active JP7028857B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017039010 2017-03-02
JP2017039010 2017-03-02
PCT/JP2017/043300 WO2018159046A1 (ja) 2017-03-02 2017-12-01 画像センサ、および制御システム

Publications (2)

Publication Number Publication Date
JPWO2018159046A1 JPWO2018159046A1 (ja) 2019-12-19
JP7028857B2 true JP7028857B2 (ja) 2022-03-02

Family

ID=63369957

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019502462A Active JP7028857B2 (ja) 2017-03-02 2017-12-01 画像センサ、および制御システム

Country Status (7)

Country Link
US (1) US10841478B2 (ja)
EP (1) EP3591959B1 (ja)
JP (1) JP7028857B2 (ja)
KR (1) KR102396500B1 (ja)
CN (1) CN110326285B (ja)
TW (1) TWI812604B (ja)
WO (1) WO2018159046A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102502583B1 (ko) * 2017-09-01 2023-02-22 삼성전자주식회사 복수의 이미지 센서들의 동기화 제어 방법 및 이를 구현한 전자 장치
KR102385844B1 (ko) * 2017-09-15 2022-04-14 삼성전자 주식회사 제 1 이미지 센서에서 제공된 신호를 이용하여 제 2 이미지 센서에서 데이터를 획득하는 방법 및 전자 장치
CN111050048B (zh) * 2019-12-27 2021-09-07 重庆金山医疗技术研究院有限公司 图像采集设备、方法及存储介质
TWI774586B (zh) * 2021-01-28 2022-08-11 瑞昱半導體股份有限公司 用於感測裝置與主控裝置之間的傳輸控制架構
WO2023002660A1 (ja) * 2021-07-20 2023-01-26 ソニーセミコンダクタソリューションズ株式会社 撮影装置、撮影方法、プログラム
US11818329B1 (en) * 2022-09-21 2023-11-14 Ghost Autonomy Inc. Synchronizing stereoscopic cameras using padding data setting modification

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013175128A (ja) 2012-02-27 2013-09-05 Ricoh Co Ltd シリアルi/fバス制御装置及び撮像装置
JP2014179841A (ja) 2013-03-15 2014-09-25 Ricoh Co Ltd 撮像装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6160423A (en) * 1998-03-16 2000-12-12 Jazio, Inc. High speed source synchronous signaling for interfacing VLSI CMOS circuits to transmission lines
JP4390568B2 (ja) * 2004-01-19 2009-12-24 富士通株式会社 遅延測定システム
JP2007324679A (ja) * 2006-05-30 2007-12-13 Nec Electronics Corp シリアル通信用ボーレートジェネレータ
JP2009055554A (ja) * 2007-08-29 2009-03-12 Fujifilm Corp 複数の撮像素子を搭載したフレキシブル撮像装置
JP5431907B2 (ja) * 2009-12-18 2014-03-05 ラピスセミコンダクタ株式会社 同期処理システム及び半導体集積回路
US8195857B2 (en) * 2009-12-18 2012-06-05 Infineon Technologies Ag Coupling devices, system comprising a coupling device and method for use in a system comprising a coupling device
US8704903B2 (en) 2009-12-29 2014-04-22 Cognex Corporation Distributed vision system with multi-phase synchronization
US8719613B2 (en) * 2010-01-28 2014-05-06 Futurewei Technologies, Inc. Single-wire serial interface with delay module for full clock rate data communication between master and slave devices
US20110242355A1 (en) * 2010-04-05 2011-10-06 Qualcomm Incorporated Combining data from multiple image sensors
JP5275312B2 (ja) * 2010-09-22 2013-08-28 株式会社東芝 イメージセンサモジュール及びイメージセンサ
US8711238B2 (en) * 2011-02-01 2014-04-29 Aptina Imaging Corporation Systems and methods for synchronizing and controlling multiple image sensors
WO2012118178A1 (ja) * 2011-03-03 2012-09-07 日本電気株式会社 同期システム、同期方法、第一の同期装置、第二の同期装置及びコンピュータプログラム
JP5821300B2 (ja) * 2011-06-07 2015-11-24 ソニー株式会社 撮像装置及び撮像方法
US20130278728A1 (en) 2011-12-16 2013-10-24 Michelle X. Gong Collaborative cross-platform video capture
JP6142507B2 (ja) * 2012-11-09 2017-06-07 オムロン株式会社 センサシステム
US9086966B2 (en) 2013-03-15 2015-07-21 Intel Corporation Systems, apparatuses, and methods for handling timeouts
US9451162B2 (en) * 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
KR102130611B1 (ko) * 2013-12-31 2020-07-06 삼성전자주식회사 아날로그-디지털 변환 회로, 이를 포함하는 이미지 센서 및 이미지 센서의 동작 방법
JP6356552B2 (ja) * 2014-09-16 2018-07-11 東芝メモリ株式会社 情報処理装置
JP6241467B2 (ja) * 2015-09-11 2017-12-06 カシオ計算機株式会社 撮像装置、撮像制御装置、撮像方法、撮像制御方法及びプログラム
CN106131461A (zh) * 2016-06-28 2016-11-16 湖北久之洋红外系统股份有限公司 一种多图像传感器同步控制系统及图像处理模块

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013175128A (ja) 2012-02-27 2013-09-05 Ricoh Co Ltd シリアルi/fバス制御装置及び撮像装置
JP2014179841A (ja) 2013-03-15 2014-09-25 Ricoh Co Ltd 撮像装置

Also Published As

Publication number Publication date
EP3591959A4 (en) 2020-01-08
US10841478B2 (en) 2020-11-17
EP3591959B1 (en) 2023-06-07
CN110326285B (zh) 2021-06-25
KR20190118548A (ko) 2019-10-18
CN110326285A (zh) 2019-10-11
EP3591959A1 (en) 2020-01-08
US20200014838A1 (en) 2020-01-09
TW201834447A (zh) 2018-09-16
JPWO2018159046A1 (ja) 2019-12-19
TWI812604B (zh) 2023-08-21
KR102396500B1 (ko) 2022-05-11
WO2018159046A1 (ja) 2018-09-07

Similar Documents

Publication Publication Date Title
JP7028857B2 (ja) 画像センサ、および制御システム
JP6238184B2 (ja) 撮像装置
US10873683B2 (en) Bidirectional synchronizing camera, camera system including the same and method of operating the camera
US20180224720A1 (en) Lens system, accessory, communication method, and program
US9681045B2 (en) Systems and methods for generating a panoramic image
US10200586B2 (en) Imaging apparatus capable of interval photographing
JP2013214959A (ja) 通信装置
US9832379B1 (en) Discontinuous transmission of images
WO2018076354A1 (zh) 图像数据的帧同步方法、图像信号处理装置及终端
TWI758286B (zh) 處理裝置、影像感測器及系統
JP2019083378A (ja) 撮像装置
US11202033B2 (en) Image sensor and transmission system with collision detection based on state of collision detection line
JP2013098877A (ja) ステレオ撮像装置、同期撮像方法および電子情報機器
US10708862B2 (en) Control apparatus for controlling plural process executing apparatuses
JP7178619B1 (ja) 通信装置、制御装置及び通信方法
JP7281651B1 (ja) 通信装置及び制御装置
JP6776741B2 (ja) 処理装置、処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220217

R150 Certificate of patent or registration of utility model

Ref document number: 7028857

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150