WO2019239779A1 - カメラシステム、そのコントローラ、自動車、デシリアライザ回路 - Google Patents

カメラシステム、そのコントローラ、自動車、デシリアライザ回路 Download PDF

Info

Publication number
WO2019239779A1
WO2019239779A1 PCT/JP2019/019321 JP2019019321W WO2019239779A1 WO 2019239779 A1 WO2019239779 A1 WO 2019239779A1 JP 2019019321 W JP2019019321 W JP 2019019321W WO 2019239779 A1 WO2019239779 A1 WO 2019239779A1
Authority
WO
WIPO (PCT)
Prior art keywords
synchronization signal
camera
controller
frame synchronization
frame
Prior art date
Application number
PCT/JP2019/019321
Other languages
English (en)
French (fr)
Inventor
健哉 中村
Original Assignee
ローム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ローム株式会社 filed Critical ローム株式会社
Priority to DE112019002983.5T priority Critical patent/DE112019002983T5/de
Priority to JP2020525358A priority patent/JP7100702B2/ja
Priority to CN201980030766.5A priority patent/CN112088527B/zh
Publication of WO2019239779A1 publication Critical patent/WO2019239779A1/ja
Priority to US17/117,740 priority patent/US11451697B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H04N5/067—Arrangements or circuits at the transmitter end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Definitions

  • the present invention relates to data transmission technology.
  • a camera system that processes and displays videos taken by multiple cameras is used in an on-vehicle around view monitor.
  • FIG. 1 is a block diagram of the camera system.
  • the camera system 100R includes a plurality of camera modules 110 (two in this example) and a controller 200R.
  • the controller 200R controls the plurality of camera modules 110_A and 110_B in an integrated manner, and processes video captured by them.
  • the controller 200R includes a plurality of receivers 202, a plurality of buffers 204, a synchronization signal generation unit 206, and an image processing unit 210.
  • a synchronization signal generation unit 206 is included.
  • the camera module 110_ # captures an image at a timing according to the frame synchronization signal FSYNC.
  • the camera module 110_ # converts the captured frame data into serial data SDATA_ # and transmits it to the controller 200R.
  • the receiver 202_ # receives serial data SDATA_ # constituting frame data from the corresponding camera module 110_ # together with the transmission synchronization signal SYNC_ #.
  • the received serial data SDATA_ # is converted into parallel data PDATA_ # and stored in the buffer 204_ # in units of a plurality of pixels or in units of a plurality of lines.
  • the image processing unit 210 processes image data stored in the plurality of buffers 204_A and 204_B.
  • the delay path 102_A between the synchronization signal generation unit 206 and the camera module 110_A may be different from the delay path 102_B between the synchronization signal generation unit 206 and the camera module 110_B.
  • the timings of the frame synchronization signal FSYNC 'input to the camera module 110_A and the frame synchronization signal FSYNC "input to the camera module 110_B are different.
  • the shooting timing is shifted between the camera modules 110_A and 110B, and the timing of the frame data received by the receivers 202_A and 202_B as the serial data SDATA_A and SDATA_B is also shifted.
  • the image processing unit 210 when the image processing unit 210 integrates the frame data from the camera module 110_A and the frame data from the camera module 110_B to generate one image, the image processing unit 210 generates a single image for each part of the single image.
  • the update timing will be different.
  • the present invention has been made in such a situation, and one of exemplary purposes of an aspect thereof is a camera system capable of aligning the shooting timings of a plurality of camera modules, a controller used therefor, or a deserializer circuit. On offer.
  • the camera system includes a plurality of camera modules, and a controller that controls the plurality of camera modules and that processes images captured by the plurality of camera modules.
  • the controller (i) outputs a frame synchronization signal to each of the plurality of camera modules, (ii) receives frame data and a transmission synchronization signal synchronized therewith, and (iii) the received plurality of camera modules.
  • the time difference between the corresponding frame synchronization signal and the corresponding transmission synchronization signal can be acquired, and the frame synchronization signal can be adjusted according to the time difference.
  • the controller includes a plurality of receivers each receiving frame data and a transmission synchronization signal synchronized therewith from each corresponding camera module, an image processing unit that processes a plurality of frame data received by the plurality of receivers, A synchronization signal generation unit that generates a plurality of frame synchronization signals corresponding to the camera module, a plurality of delay measurement units that each acquire a time difference between the corresponding frame synchronization signal and the corresponding transmission synchronization signal, and a plurality of frame synchronizations A plurality of transmitters for transmitting signals to the plurality of camera modules.
  • the timing relationship between the plurality of frame synchronization signals can be adjusted based on the time difference measured by the plurality of delay measurement units.
  • Still another aspect of the present invention is a deserializer circuit.
  • the deserializer circuit is configured to be able to receive video captured by the camera module.
  • the deserializer obtains the time difference between the frame synchronization signal and the transmission synchronization signal from the camera module, the receiver that receives the frame synchronization signal and the transmission synchronization signal synchronized therewith, the transmitter that transmits the frame synchronization signal received from the external circuit to the camera module.
  • a delay measuring unit is configured to be able to receive video captured by the camera module.
  • the deserializer obtains the time difference between the frame synchronization signal and the transmission synchronization signal from the camera module, the receiver that receives the frame synchronization signal and the transmission synchronization signal synchronized therewith, the transmitter that transmits the frame synchronization signal received from the external circuit to the camera module.
  • FIG. 4A and 4B are time charts showing another calibration operation. It is a block diagram of a controller concerning one example. It is a block diagram of a controller concerning one example. It is a figure explaining the RAW data which an image sensor produces
  • the camera system includes a plurality of camera modules, and a controller that controls the plurality of camera modules and that processes images captured by the plurality of camera modules.
  • the controller (i) outputs a frame synchronization signal to each of the plurality of camera modules, (ii) receives frame data and a transmission synchronization signal synchronized therewith, and (iii) the received plurality of camera modules.
  • the time difference between the corresponding frame synchronization signal and the corresponding transmission synchronization signal can be acquired, and the frame synchronization signal can be adjusted according to the time difference.
  • the transmission synchronization signal represents the start position (or the start position of the line) of the frame data and has a correlation with the shooting timing of the camera module. Therefore, the controller can measure the time difference between the timing of the frame synchronization signal transmitted by itself and the timing of the returned transmission synchronization signal and align the time differences for all the camera modules, so that the imaging timing can be aligned.
  • the controller includes a plurality of receivers each receiving frame data and a transmission synchronization signal synchronized therewith from each corresponding camera module, an image processing unit that processes a plurality of frame data received by the plurality of receivers, and a plurality of A synchronization signal generation unit that generates a plurality of frame synchronization signals for the camera module, a plurality of delay measurement units that each acquire a time difference between a corresponding frame synchronization signal and a corresponding transmission synchronization signal, and a plurality of frame synchronization signals And a plurality of transmitters for transmitting to the camera module.
  • the timing relationship between the plurality of frame synchronization signals may be adjustable based on the time difference measured by the plurality of delay measurement units.
  • the receiver, transmitter, and delay measurement unit corresponding to the same camera module may be integrated in one deserializer circuit.
  • the camera module may include an image sensor and a serializer circuit capable of bidirectional communication with a deserializer circuit.
  • the controller includes a plurality of receivers each receiving frame data and a transmission synchronization signal synchronized therewith from each corresponding camera module, an image processing unit that processes a plurality of frame data received by the plurality of receivers, and a plurality of A synchronization signal generation unit that generates a plurality of frame synchronization signals corresponding to the camera module, a plurality of delay measurement units that each acquire a time difference between the corresponding frame synchronization signal and the corresponding transmission synchronization signal, and a plurality of frame synchronization signals And a plurality of transmitters for transmitting to the plurality of camera modules.
  • the timing relationship between the plurality of frame synchronization signals can be adjusted based on the time difference measured by the plurality of delay measurement units.
  • the receiver, transmitter, and delay measurement unit corresponding to the same camera module may be integrated in one deserializer circuit.
  • the deserializer circuit receives video captured by a camera module.
  • the deserializer circuit includes a receiver that receives frame data and a transmission synchronization signal synchronized with the frame data from the camera module, a transmitter that transmits the frame synchronization signal received from an external circuit to the camera module, and a time difference between the frame synchronization signal and the transmission synchronization signal.
  • the deserializer circuit may further include a delay circuit that gives a delay to the frame synchronization signal.
  • the delay may be adjustable depending on the time difference. As a result, processing necessary for aligning the imaging timing can be completed within the deserializer circuit.
  • the deserializer circuit may be able to output the time difference to an external circuit. In this case, part of the processing necessary to align the imaging timing may be executed outside the deserializer circuit.
  • the state in which the member A is connected to the member B means that the member A and the member B are physically directly connected, or the member A and the member B are electrically connected to each other. Including the case of being indirectly connected through other members that do not substantially affect the state of connection, or do not impair the functions and effects achieved by the combination thereof.
  • the state in which the member C is provided between the member A and the member B refers to the case where the member A and the member C or the member B and the member C are directly connected, as well as their electric It includes cases where the connection is indirectly made through other members that do not substantially affect the general connection state, or that do not impair the functions and effects achieved by their combination.
  • FIG. 2 is a block diagram of the camera system 100 including the controller 200 according to the embodiment.
  • the basic configuration of the camera system 100 is the same as that of the camera system 100R of FIG. 1 and includes a plurality of 110_A and 110_B and a controller 200.
  • the controller 200 controls the plurality of camera modules 110_A and 110_B in an integrated manner, and processes video captured by them.
  • the number of camera modules 110 may be three or more. In that case, it is sufficient to replace # with A, B, C.
  • the controller 200 is configured to have the following functions (i) to (iv), and the mounting thereof is not particularly limited.
  • the controller 200 (i) outputs individual frame synchronization signals FSYNC_A and FSYNC_B to the plurality of camera modules 110_A and 110_B, respectively. That is, unlike the controller 200R of FIG. 1, the controller 200 is configured to be able to supply a frame synchronization signal FSYNC_ # having different assertion timings (or may be the same) to each of the plurality of camera modules 110_A and 110_B.
  • the controller 200 outputs individual frame synchronization signals FSYNC_A and FSYNC_B to the plurality of camera modules 110_A and 110_B, respectively. That is, unlike the controller 200R of FIG. 1, the controller 200 is configured to be able to supply a frame synchronization signal FSYNC_ # having different assertion timings (or may be the same) to each of the plurality of camera modules 110_A and 110_B.
  • the camera module 110_ # captures an image at a timing corresponding to the corresponding frame synchronization signal FSYNC_ #.
  • the camera module 110_ # converts the captured frame data FDATA_ # into serial data SDATA_ # and transmits the serial data SDATA_ # to the controller 200.
  • the controller 200 receives frame data FDATA_ # and a transmission synchronization signal SYNC_ # synchronized with the frame data FDATA_ # from each of the plurality of camera modules 110_A and 110_B.
  • a transmission synchronization signal SYNC_ # any one of a data enable signal DE, a horizontal synchronization signal HS, and a vertical synchronization signal VS, which is generally used for an image interface, can be used.
  • the controller 200 processes the received plurality of frame data FDATA_ #.
  • a plurality of frame data FDATA_ # may be integrated to generate one frame, or one frame may be selected from the plurality of frame data FDATA_ #. .
  • the controller 200 acquires the time difference ⁇ # between the corresponding frame synchronization signal FSYNC_ # and the corresponding transmission synchronization signal SYNC_ # for each camera module 110_ #.
  • the controller 200 can adjust the timing of the frame synchronization signal FSYNC_ # according to the time difference ⁇ # .
  • the controller 200 includes a plurality of receivers 202, a plurality of buffers 204, a plurality of transmitters 208, an image processing unit 210, a plurality of delay measurement units 220, and a synchronization signal generation unit 230.
  • the receiver 202_ # receives serial data SDATA_ # included in the frame data FDATA_ # from the corresponding camera module 110_ # together with the transmission synchronization signal SYNC_ #.
  • the received serial data SDATA_ # is converted into parallel data PDATA_ # and stored in the buffer 204_ # in units of a plurality of pixels or in units of a plurality of lines.
  • the image processing unit 210 processes image data stored in the plurality of buffers 204_A and 204_B.
  • the synchronization signal generator 230 generates a plurality of frame synchronization signals FSYNC_A and FSYNC_B for the plurality of camera modules 110_A and 110_B.
  • the timings of the plurality of frame synchronization signals FSYNC_A and FSYNC_B can be adjusted.
  • the transmitter 208_ # transmits the corresponding frame synchronization signal FSYNC_ # to the corresponding camera module 110_ #.
  • the delay measurement unit 220_ # obtains a time difference ⁇ # between the corresponding frame synchronization signal FSYNC_ # and the corresponding transmission synchronization signal SYNC_ #.
  • the synchronization signal generation unit 230 can adjust the timing relationship of the plurality of frame synchronization signals FSYNC_A and FSYNC_B based on the time differences ⁇ A and ⁇ B measured by the plurality of delay measurement units 220_A and 220_B.
  • the above is the configuration of the controller 200. Next, the operation of the camera system 100 will be described.
  • FIGS. 3A and 3B are time charts illustrating the calibration operation of the camera system 100 of FIG.
  • the synchronization signal generation unit 230 first supplies the camera modules 110_A and 110_B with the timings of the plurality of frame synchronization signals FSYNC_A and FSYNC_B aligned.
  • the frame synchronization signals FSYNC_A and FSYNC_B reach the camera modules 110_A and 110_B via different delay paths 102_A and 102_B, respectively.
  • Frame synchronization signals when they reach the camera modules 110_A and 110_B are denoted as FSYNC_A ′ and FSYNC_B ′.
  • the camera module 110_ # images the corresponding frame synchronization signal in response to FSYNC _ ##, and transmits the serial data SDATA_ # constituting the frame data FDATA_ # to the controller 200 together with the transmission synchronization signal SYNC_ #.
  • the delay measurement unit 220_ # measures the time difference ⁇ # between the corresponding frame synchronization signal FSYNC_ # and the transmission synchronization signal SYNC_ #.
  • the measured time differences ⁇ A and ⁇ B are given to the synchronization signal generator 230.
  • the synchronization signal generator 230 adjusts the timings of the frame synchronization signals FSYNC_A and FSYNC_B so that the timings of the transmission synchronization signals SYNC_A and SYNC_B are aligned based on the measured time differences ⁇ A and ⁇ B.
  • the timing adjustment may be performed with reference to a channel having a small time difference ⁇ .
  • the delay ⁇ of channel A is the smallest.
  • the delay amount difference ⁇ ( ⁇ B ⁇ A ) may be calculated, and the timing of the frame synchronization signal FSYNC_B of the other channel (B in this case) may be advanced by ⁇ .
  • FIGS. 4A and 4B are time charts showing another calibration operation.
  • the transmission synchronization signal SYNC represents the head position (or the head of the line) of the frame data FDATA and has a correlation with the shooting timing of the camera module 110. Therefore, in the controller 200, by measuring the time difference tau # timing of the transmission synchronization signal SYNC_ # which it has returned to the timing of the frame synchronization signal FSYNC_ # to be transmitted, to align the time difference tau # for all of the camera module 110, imaging The timing can be aligned.
  • the present invention covers various devices and methods which are grasped as the block diagram and circuit diagram of FIG. 2 or derived from the above description, and is not limited to a specific configuration.
  • more specific configuration examples and examples will be described in order not to narrow the scope of the present invention but to help understanding and clarify the essence and operation of the present invention.
  • FIG. 5 is a block diagram of the controller 200 according to an embodiment. Corresponding symbols in FIG. 2 are shown in parentheses.
  • the distance between the camera module 110 and the controller 200 is a few meters, it is difficult to transmit large-capacity image data with an interface built in a general-purpose microcomputer or processor. Therefore, in such a situation, long-distance transmission is enabled by using a set of a serializer circuit and a deserializer circuit.
  • the controller 200 includes a deserializer circuit 300_ # provided for each channel and a processor 320 such as an SOC (System-on-Chip).
  • the camera module 110_ # includes an image sensor 112 and a serializer circuit 114.
  • the serializer circuit 114 and the deserializer circuit 300 are connected via the differential transmission path 104, and serial data transmission is possible in both directions via the single differential transmission path 104.
  • the receiver 202 — #, the transmitter 208 — #, and the delay measurement unit 220 — # corresponding to the same camera module 110 — # are integrated into one deserializer circuit 300 — # in FIG.
  • the deserializer circuit 300 includes a receiver 302, a transmitter 304, a serial / parallel converter 306, a parallel / serial converter 308, a delay measurement unit 310, and a delay circuit 312.
  • the receiver 302 receives serial data transmitted from the serializer circuit 114.
  • the serial data SDATA can include the frame data FDATA and the transmission synchronization signal SYNC.
  • the transmission synchronization signal SYNC may be transmitted via a dedicated signal line different from the differential transmission path 104.
  • the serial / parallel converter 306 converts the serial data SDATA received by the receiver 302 into parallel data PDATA.
  • the parallel data PDATA includes frame data FDATA and a transmission synchronization signal SYNC.
  • the processor 320 includes an image processing unit 322 and a synchronization signal generation unit 324.
  • the synchronization signal generation unit 324 generates a frame synchronization signal FSYNC common to all camera modules 110_A and 110_B.
  • the frame synchronization signal FSYNC is supplied to the plurality of deserializer circuits 300_A and 300_B.
  • the image processing unit 322 receives the frame data FDATA_A and FDATA_B received by the deserializer circuits 300_A and 300_B, and processes them.
  • the delay circuit 312 can set a delay time, and generates a frame synchronization signal FSYNC_ # for each channel by delaying the frame synchronization signal FSYNC from the processor 320.
  • the parallel-serial converter 308 converts the frame synchronization signal FSYNC_ # into serial data.
  • the transmitter 304 drives the differential transmission path 104 according to the serial data that is the output of the parallel-serial converter 308, and transmits a frame synchronization signal FSYNC_ # to the camera module 110.
  • the delay measuring unit 310 measures a time difference (delay) ⁇ # between the frame synchronization signal FSYNC_ # and the transmission synchronization signal SYNC_ #.
  • the delay amount of the delay circuit 312 is set based on the time difference ⁇ # measured by the delay measurement unit 310.
  • FIG. 6 is a block diagram of the controller 200 according to an embodiment. Only the differences of FIG. 5 will be described.
  • the synchronization signal generation unit 324 generates frame synchronization signals FSYNC_A and FSYNC_B for each channel and supplies them to the deserializer circuits 300_A and 300_B. That is, the function of the delay circuit 312 in FIG. 5 is integrated in the synchronization signal generation unit 324 in FIG.
  • the deserializer circuit 300_ # is configured to be able to supply the time difference ⁇ # measured by the delay measurement unit 310 to the processor 320.
  • the time difference ⁇ # may be supplied to the processor 320 via a register access type interface such as an I 2 C (Inter IC) interface or an SPI (Serial Peripheral Interface).
  • the time difference ⁇ # may be supplied to the processor 320 via a signal line common to the parallel data PDATA_ #.
  • the synchronization signal generation unit 324 adjusts the timing of the frame synchronization signals FSYNC_A and FSYNC_B based on the time differences ⁇ A and ⁇ B.
  • FIG. 7 is a diagram for explaining RAW data generated by the image sensor and error correction.
  • R, G, and B indicate red, green, and blue sub-pixels, respectively.
  • Many image sensors output RAW data before performing demosaic processing. Therefore, in the camera system 100, the frame data FDATA transmitted from the camera module 110 to the controller 200 may not be RGB data for each pixel after demosaic processing, but may be RAW data of a Bayer array before demosaic processing.
  • the buffer 204 has a data capacity of three lines as RAW data.
  • the image processing unit 210 detects an error for the G subpixel of a certain line Y, the image processing unit 210 diverts the data of the G subpixel closest to the previous line Y ⁇ 1. Since the two subpixels are closest to the G subpixel, the average value thereof may be used.
  • the image processing unit 210 When the image processing unit 210 detects an error for the R or B subpixel of a certain line Y, the image processing unit 210 diverts the data of the R or B subpixel closest to the previous line Y-2.
  • FIG. 8 is a diagram illustrating an automobile provided with a camera system.
  • the automobile 500 includes a plurality of camera modules 402.
  • Each camera module 402 is connected to the controller 404 via a bidirectional transmission system 406.
  • the controller 404 processes the plurality of camera modules 402 according to the traveling state of the automobile 500.
  • the controller 404 displays an image of the rear camera module 402B on the in-vehicle display 502 during back travel.
  • the controller 404 combines the images of the plurality of camera modules 402 and displays the combined image on the in-vehicle display 502.
  • the present invention relates to data transmission technology.
  • DESCRIPTION OF SYMBOLS 100 Camera system 102 Delay path 104 Differential transmission path 110 Camera module 112 Image sensor 114 Serializer circuit 200 Controller 202 Receiver 204 Buffer 206 Synchronization signal generation part 210 Image processing part 220 Delay measurement part 230 Synchronization signal generation part 300 Deserializer circuit 302 Receiver 304 Transmitter 306 Serial / parallel converter 308 Parallel / serial converter 310 Delay measurement unit 312 Delay circuit 320 Processor 322 Image processing unit 324 Synchronization signal generation unit 402 Camera module 404 Controller 500 Car 502 Car-mounted display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

コントローラ２００は、複数のカメラモジュール１１０を制御するとともに、複数のカメラモジュール１１０が撮影した映像を処理する。コントローラ２００は、（i）複数のカメラモジュール１１０それぞれに対し、フレーム同期信号ＦＳＹＮＣを出力し、（ii）複数のカメラモジュール１１０それぞれから、フレームデータＦＤＡＴＡおよびそれと同期した伝送同期信号ＳＹＮＣを受信し、（iii）受信した複数のフレームデータＦＤＡＴＡを処理し、（iv）各カメラモジュール１１０＿＃について、対応するフレーム同期信号ＦＳＹＮＣ＿＃と対応する伝送同期信号ＳＹＮＣ＿＃の時間差τを取得し、当該時間差τに応じてフレーム同期信号ＦＳＹＮＣ＿＃のタイミングを調節可能である。

Description

カメラシステム、そのコントローラ、自動車、デシリアライザ回路
　本発明は、データ伝送技術に関する。
　車載のアラウンドビューモニタなどに、複数のカメラで撮影した映像を処理して表示するカメラシステムが用いられる。
　図１は、カメラシステムのブロック図である。カメラシステム１００Ｒは、複数のカメラモジュール１１０（この例では２個）と、コントローラ２００Ｒを備える。コントローラ２００Ｒは、複数のカメラモジュール１１０＿Ａ，１１０＿Ｂを統括的に制御するとともに、それらが撮影した映像を処理する。
　コントローラ２００Ｒは、複数のレシーバ２０２、複数のバッファ２０４、同期信号生成部２０６、画像処理部２１０を含む。同期信号生成部２０６を含む。同期信号生成部２０６は、所定のフレームレートでアサートされるフレーム同期信号ＦＳＹＮＣを生成し、複数のカメラモジュール１１０＿＃（＃＝Ａ，Ｂ）に対して供給する。カメラモジュール１１０＿＃は、フレーム同期信号ＦＳＹＮＣに応じたタイミングで撮像する。カメラモジュール１１０＿＃は、撮影したフレームデータをシリアルデータＳＤＡＴＡ＿＃に変換して、コントローラ２００Ｒに送信する。
　レシーバ２０２＿＃は、対応するカメラモジュール１１０＿＃からのフレームデータを構成するシリアルデータＳＤＡＴＡ＿＃を、伝送同期信号ＳＹＮＣ＿＃とともに受信する。受信したシリアルデータＳＤＡＴＡ＿＃はパラレルデータＰＤＡＴＡ＿＃に変換され、複数のピクセル単位、あるいは複数のライン単位でバッファ２０４＿＃に格納される。画像処理部２１０は、複数のバッファ２０４＿Ａ，２０４＿Ｂに格納される画像データを処理する。
　本発明者は、図１のカメラシステム１００Ｒについて検討した結果、以下の課題を認識するに至った。同期信号生成部２０６とカメラモジュール１１０＿Ａの間の遅延パス１０２＿Ａと、同期信号生成部２０６とカメラモジュール１１０＿Ｂの間の遅延パス１０２＿Ｂが異なる場合がある。この場合、カメラモジュール１１０＿Ａに入力されるフレーム同期信号ＦＳＹＮＣ’と、カメラモジュール１１０＿Ｂに入力されるフレーム同期信号ＦＳＹＮＣ”のタイミングが異なることとなる。
　そうすると、カメラモジュール１１０＿Ａと１１０Ｂの間で、撮影のタイミングがずれることとなり、レシーバ２０２＿Ａ，２０２＿Ｂが、シリアルデータＳＤＡＴＡ＿Ａ，ＳＤＡＴＡ＿Ｂとして受信するフレームデータのタイミングもずれることになる。
　たとえば、画像処理部２１０が、カメラモジュール１１０＿Ａからのフレームデータと、カメラモジュール１１０＿Ｂからのフレームデータと、を統合して、１枚の画像を生成する場合、１枚の画像の中で部分毎に更新されるタイミングが異なってしまう。
　この問題を解消するためには、バッファ２０４＿Ａ，２０４＿Ｂの容量を増やして、複数のフレームデータが到達する時間差を吸収する必要がある。しかしながらバッファ２０４の容量を増やすと、コントローラ２００Ｒの面積、コストが増大する。
　本発明は係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、複数のカメラモジュールの撮影タイミングを揃えることが可能なカメラシステム、それに使用されるコントローラ、あるいはデシリアライザ回路の提供にある。
　本発明のある態様は、カメラシステムに関する。カメラシステムは、複数のカメラモジュールと、複数のカメラモジュールを制御するとともに、複数のカメラモジュールが撮影した映像を処理するコントローラと、を備える。コントローラは、（i）複数のカメラモジュールそれぞれに対し、フレーム同期信号を出力し、（ii）複数のカメラモジュールそれぞれから、フレームデータおよびそれと同期した伝送同期信号を受信し、（iii）受信した複数のフレームデータを処理し、（iv）各カメラモジュールについて、対応するフレーム同期信号と対応する伝送同期信号の時間差を取得し、当該時間差に応じてフレーム同期信号を調節可能である。
　本発明の別の態様は、複数のカメラモジュールを制御するとともに、複数のカメラモジュールが撮影した映像を処理するコントローラに関する。このコントローラは、それぞれが、対応するカメラモジュールそれぞれから、フレームデータおよびそれと同期した伝送同期信号を受信する複数のレシーバと、複数のレシーバが受信した複数のフレームデータを処理する画像処理部と、複数のカメラモジュールに対応する複数のフレーム同期信号を生成する同期信号生成部と、それぞれが、対応するフレーム同期信号と対応する伝送同期信号の時間差を取得する複数の遅延測定部と、複数のフレーム同期信号を複数のカメラモジュールに送信する複数のトランスミッタと、を備える。複数のフレーム同期信号のタイミングの関係が、複数の遅延測定部により測定された時間差にもとづいて調節可能である。
　本発明のさらに別の態様は、デシリアライザ回路である。このデシリアライザ回路は、カメラモジュールが撮影した映像を受信可能に構成される。デシリアライザは、カメラモジュールから、フレームデータおよびそれと同期した伝送同期信号を受信するレシーバと、外部回路から受信したフレーム同期信号をカメラモジュールに送信するトランスミッタと、フレーム同期信号と伝送同期信号の時間差を取得する遅延測定部と、を備える。
　なお、以上の構成要素を任意に組み合わせたもの、あるいは本発明の表現を、方法、装置などの間で変換したものもまた、本発明の態様として有効である。
　本発明のある態様によれば、複数のカメラモジュールの撮影タイミングを揃えることができる。
カメラシステムのブロック図である。 実施の形態に係るコントローラを備えるカメラシステムのブロック図である。 図３（ａ）、（ｂ）は、図２のカメラシステムのキャリブレーション動作を説明するタイムチャートである。 図４（ａ）、（ｂ）は、別のキャリブレーション動作を示すタイムチャートである。 一実施例に係るコントローラのブロック図である。 一実施例に係るコントローラのブロック図である。 イメージセンサが生成するＲＡＷデータと、エラー補正を説明する図である。 カメラシステムを備える自動車を示す図である。
（実施の形態の概要）
　本明細書に開示される一実施の形態は、カメラシステムに関する。カメラシステムは、複数のカメラモジュールと、複数のカメラモジュールを制御するとともに、複数のカメラモジュールが撮影した映像を処理するコントローラと、を備える。コントローラは、（i）複数のカメラモジュールそれぞれに対し、フレーム同期信号を出力し、（ii）複数のカメラモジュールそれぞれから、フレームデータおよびそれと同期した伝送同期信号を受信し、（iii）受信した複数のフレームデータを処理し、（iv）各カメラモジュールについて、対応するフレーム同期信号と対応する伝送同期信号の時間差を取得し、当該時間差に応じてフレーム同期信号を調節可能である。
　伝送同期信号は、フレームデータの先頭位置（あるいはラインの先頭の位置、あるいは）を表しており、カメラモジュールの撮影タイミングと相関を有する。そこでコントローラにおいて、自身が送信するフレーム同期信号のタイミングと戻ってきた伝送同期信号のタイミングの時間差を測定し、すべてのカメラモジュールについて時間差を揃えることにより、撮像タイミングを揃えることができる。
　コントローラは、それぞれが、対応するカメラモジュールそれぞれから、フレームデータおよびそれと同期した伝送同期信号を受信する複数のレシーバと、複数のレシーバが受信した複数のフレームデータを処理する画像処理部と、複数のカメラモジュールに対する複数のフレーム同期信号を生成する同期信号生成部と、それぞれが、対応するフレーム同期信号と対応する伝送同期信号の時間差を取得する複数の遅延測定部と、複数のフレーム同期信号を複数のカメラモジュールに送信する複数のトランスミッタと、を備えてもよい。複数のフレーム同期信号のタイミングの関係が、複数の遅延測定部により測定された時間差にもとづいて調節可能であってもよい。
　同じカメラモジュールに対応するレシーバ、トランスミッタおよび遅延測定部は、ひとつのデシリアライザ回路に集積化されてもよい。
　カメラモジュールは、イメージセンサと、デシリアライザ回路と対をなして双方向で通信可能なシリアライザ回路と、を含んでもよい。
　本明細書に開示される一実施の形態は、複数のカメラモジュールを制御するとともに、複数のカメラモジュールが撮影した映像を処理するコントローラに関する。コントローラは、それぞれが、対応するカメラモジュールそれぞれから、フレームデータおよびそれと同期した伝送同期信号を受信する複数のレシーバと、複数のレシーバが受信した複数のフレームデータを処理する画像処理部と、複数のカメラモジュールに対応する複数のフレーム同期信号を生成する同期信号生成部と、それぞれが、対応するフレーム同期信号と対応する伝送同期信号の時間差を取得する複数の遅延測定部と、複数のフレーム同期信号を複数のカメラモジュールに送信する複数のトランスミッタと、を備える。複数のフレーム同期信号のタイミングの関係が、複数の遅延測定部により測定された時間差にもとづいて調節可能である。
　同じカメラモジュールに対応するレシーバ、トランスミッタおよび遅延測定部は、ひとつのデシリアライザ回路に集積化されてもよい。
　本明細書に開示される一実施の形態は、カメラモジュールが撮影した映像を受信するデシリアライザ回路に関する。このデシリアライザ回路は、カメラモジュールから、フレームデータおよびそれと同期した伝送同期信号を受信するレシーバと、外部回路から受信したフレーム同期信号をカメラモジュールに送信するトランスミッタと、フレーム同期信号と伝送同期信号の時間差を取得する遅延測定部と、を備える。
　デシリアライザ回路に、フレーム同期信号のタイミングと戻ってきた伝送同期信号のタイミングの時間差を測定する回路要素を追加することで、その他のハードウェアに大幅な変更を施さずに、撮影タイミングを揃えるためのデータを収集できる。
　デシリアライザ回路は、フレーム同期信号に遅延を与える遅延回路をさらに備えてもよい。遅延が、時間差に応じて調節可能であってもよい。これにより、デシリアライザ回路の内部で、撮像タイミングを揃えるために必要な処理を完結できる。
　デシリアライザ回路は、時間差を外部回路に出力可能であってもよい。この場合、デシリアライザ回路の外部で、撮像タイミングを揃えるために必要な処理の一部を実行してもよい。
（実施の形態）
　以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
　本明細書において、「部材Ａが、部材Ｂと接続された状態」とは、部材Ａと部材Ｂが物理的に直接的に接続される場合や、部材Ａと部材Ｂが、それらの電気的な接続状態に実質的な影響を及ぼさない、あるいはそれらの結合により奏される機能や効果を損なわせない、その他の部材を介して間接的に接続される場合も含む。
　同様に、「部材Ｃが、部材Ａと部材Ｂの間に設けられた状態」とは、部材Ａと部材Ｃ、あるいは部材Ｂと部材Ｃが直接的に接続される場合のほか、それらの電気的な接続状態に実質的な影響を及ぼさない、あるいはそれらの結合により奏される機能や効果を損なわせない、その他の部材を介して間接的に接続される場合も含む。
　図２は、実施の形態に係るコントローラ２００を備えるカメラシステム１００のブロック図である。カメラシステム１００の基本構成は、図１のカメラシステム１００Ｒと同様であり、複数の１１０＿Ａ，１１０＿Ｂと、コントローラ２００と、を備える。コントローラ２００は、複数のカメラモジュール１１０＿Ａ，１１０＿Ｂを統括的に制御するとともに、それらが撮影した映像を処理する。本実施の形態では説明の簡潔化と理解の容易化のために、カメラモジュール１１０が２個の場合を説明するが、カメラモジュール１１０の個数は３個以上とすることも可能である。その場合、＃を、Ａ，Ｂ，Ｃ…と読み替えればよい。
　コントローラ２００は、以下の機能（i）～（iv）を有するように構成され、その実装については特に限定されない。
　・機能(i)
　コントローラ２００は、（i）複数のカメラモジュール１１０＿Ａ，１１０＿Ｂそれぞれに対し、個別のフレーム同期信号ＦＳＹＮＣ＿Ａ，ＦＳＹＮＣ＿Ｂを出力する。すなわち図１のコントローラ２００Ｒと異なり、コントローラ２００は複数のカメラモジュール１１０＿Ａ，１１０＿Ｂそれぞれに対して、アサートされるタイミングが異なる（あるいは同じであってもよい）フレーム同期信号ＦＳＹＮＣ＿＃を供給可能に構成される。
　カメラモジュール１１０＿＃は、対応するフレーム同期信号ＦＳＹＮＣ＿＃に応じたタイミングで撮像する。カメラモジュール１１０＿＃は、撮影したフレームデータＦＤＡＴＡ＿＃をシリアルデータＳＤＡＴＡ＿＃に変換して、コントローラ２００に送信する。
　・機能(ii)
　コントローラ２００は、複数のカメラモジュール１１０＿Ａ，１１０＿Ｂそれぞれから、フレームデータＦＤＡＴＡ＿＃およびそれと同期した伝送同期信号ＳＹＮＣ＿＃を受信する。伝送同期信号ＳＹＮＣ＿＃としては、画像インタフェースに一般的に用いられるような、データイネーブル信号ＤＥや、水平同期信号ＨＳ、垂直同期信号ＶＳのいずれかを用いることができる。
　・機能（iii）
　コントローラ２００は、受信した複数のフレームデータＦＤＡＴＡ＿＃を処理する。コントローラ２００の処理の内容は特に限定されないが、たとえば複数のフレームデータＦＤＡＴＡ＿＃を統合して１枚のフレームを生成してもよいし、複数のフレームデータＦＤＡＴＡ＿＃から１枚を選択してもよい。
　コントローラ２００は、（iv）各カメラモジュール１１０＿＃について、対応するフレーム同期信号ＦＳＹＮＣ＿＃と、対応する伝送同期信号ＳＹＮＣ＿＃の時間差τ＃を取得する。コントローラ２００は、当該時間差τ＃に応じてフレーム同期信号ＦＳＹＮＣ＿＃のタイミングを調節可能である。
　以上がコントローラ２００の機能である。続いてコントローラ２００の実装の一例を説明する。コントローラ２００は、複数のレシーバ２０２、複数のバッファ２０４、複数のトランスミッタ２０８、画像処理部２１０、複数の遅延測定部２２０、同期信号生成部２３０を含む。
　レシーバ２０２＿＃は、対応するカメラモジュール１１０＿＃からのフレームデータＦＤＡＴＡ＿＃を構成するシリアルデータＳＤＡＴＡ＿＃を、伝送同期信号ＳＹＮＣ＿＃とともに受信する。受信したシリアルデータＳＤＡＴＡ＿＃はパラレルデータＰＤＡＴＡ＿＃に変換され、複数のピクセル単位、あるいは複数のライン単位でバッファ２０４＿＃に格納される。画像処理部２１０は、複数のバッファ２０４＿Ａ，２０４＿Ｂに格納される画像データを処理する。
　同期信号生成部２３０は、複数のカメラモジュール１１０＿Ａ，１１０＿Ｂに対する複数のフレーム同期信号ＦＳＹＮＣ＿Ａ，ＦＳＹＮＣ＿Ｂを生成する。複数のフレーム同期信号ＦＳＹＮＣ＿Ａ，ＦＳＹＮＣ＿Ｂのタイミングは調節可能である。
　トランスミッタ２０８＿＃は、対応するフレーム同期信号ＦＳＹＮＣ＿＃を対応するカメラモジュール１１０＿＃に送信する。
　遅延測定部２２０＿＃は、対応するフレーム同期信号ＦＳＹＮＣ＿＃と、対応する伝送同期信号ＳＹＮＣ＿＃の時間差τ＃を取得する。
　同期信号生成部２３０は、複数のフレーム同期信号ＦＳＹＮＣ＿Ａ，ＦＳＹＮＣ＿Ｂのタイミングの関係が、複数の遅延測定部２２０＿Ａ，２２０＿Ｂにより測定された時間差τＡ，τＢにもとづいて調節可能である。
　以上がコントローラ２００の構成である。続いてカメラシステム１００の動作を説明する。
　図３（ａ）、（ｂ）は、図２のカメラシステム１００のキャリブレーション動作を説明するタイムチャートである。図３（ａ）に示すように、はじめに同期信号生成部２３０は、複数のフレーム同期信号ＦＳＹＮＣ＿Ａ，ＦＳＹＮＣ＿Ｂのタイミングを揃えて、カメラモジュール１１０＿Ａ，１１０＿Ｂに供給する。
　その結果、フレーム同期信号ＦＳＹＮＣ＿Ａ，ＦＳＹＮＣ＿Ｂはそれぞれ、異なる遅延パス１０２＿Ａ，１０２＿Ｂを経由して、カメラモジュール１１０＿Ａ，１１０＿Ｂに到達する。カメラモジュール１１０＿Ａ，１１０＿Ｂに到達時のフレーム同期信号をＦＳＹＮＣ＿Ａ’，ＦＳＹＮＣ＿Ｂ’と記す。
　カメラモジュール１１０＿＃は、対応するフレーム同期信号をＦＳＹＮＣ＿＃’に応答して撮像し、フレームデータＦＤＡＴＡ＿＃を構成するシリアルデータＳＤＡＴＡ＿＃を、伝送同期信号ＳＹＮＣ＿＃とともにコントローラ２００に伝送する。
　コントローラ２００において、遅延測定部２２０＿＃は、対応するフレーム同期信号ＦＳＹＮＣ＿＃と伝送同期信号ＳＹＮＣ＿＃の時間差τ＃を測定する。測定された時間差τＡ，τＢは、同期信号生成部２３０に与えられる。同期信号生成部２３０は、測定された時間差τＡ，τＢにもとづいて、伝送同期信号ＳＹＮＣ＿Ａ，ＳＹＮＣ＿Ｂのタイミングが揃うように、フレーム同期信号ＦＳＹＮＣ＿Ａ，ＦＳＹＮＣ＿Ｂのタイミングを調整する。
　タイミングの調整は、時間差τが大きいチャンネルを基準として行ってもよい。図３（ａ）の例では、チャンネルＢの遅延τが最大である。この場合、遅延量の差Δτ＝（τＢ－τＡ）を計算し、図３（ｂ）に示すように、その他のチャンネル（この場合、Ａ）のフレーム同期信号ＦＳＹＮＣ＿ＡのタイミングをΔτ、遅延させてもよい。
　反対に、タイミングの調整を、時間差τが小さいチャンネルを基準として行ってもよい。図３（ａ）の例では、チャンネルＡの遅延τが最小である。この場合、遅延量の差Δτ＝（τＢ－τＡ）を計算し、その他のチャンネル（この場合、Ｂ）のフレーム同期信号ＦＳＹＮＣ＿ＢのタイミングをΔτ、早めてもよい。
　図４（ａ）、（ｂ）は、別のキャリブレーション動作を示すタイムチャートである。この例では、各チャンネルのフレーム同期信号のタイミングは、全チャンネルに共通の基準値τＲＥＦを用いて調整される。具体的には、基準値τＲＥＦと測定された遅延量τ＃の差分Δτ＃＝（τＲＥＦ－τ＃）を計算し、Δτ＃に応じてＦＳＹＮＣ＿＃のタイミングが調整される。
　以上がカメラシステム１００の動作である。続いてその利点を説明する。伝送同期信号ＳＹＮＣは、フレームデータＦＤＡＴＡの先頭位置（あるいはラインの先頭）を表しており、カメラモジュール１１０の撮影タイミングと相関を有する。そこでコントローラ２００において、自身が送信するフレーム同期信号ＦＳＹＮＣ＿＃のタイミングと戻ってきた伝送同期信号ＳＹＮＣ＿＃のタイミングの時間差τ＃を測定し、すべてのカメラモジュール１１０について時間差τ＃を揃えることにより、撮像タイミングを揃えることができる。
　複数のカメラモジュール１１０によって撮影されるフレームデータＦＤＡＴＡの到達時間を揃えることで、時間差を吸収するための余剰なバッファが不要となる。すなわちバッファ２０４＿Ａ，２０４＿Ｂの容量を小さくでき、回路面積、コストを削減できる。
　本発明は、図２のブロック図や回路図として把握され、あるいは上述の説明から導かれるさまざまな装置、方法に及ぶものであり、特定の構成に限定されるものではない。以下、本発明の範囲を狭めるためではなく、発明の本質や動作の理解を助け、またそれらを明確化するために、より具体的な構成例や実施例を説明する。
　図５は、一実施例に係るコントローラ２００のブロック図である。図２の対応する符号を、カッコ内に示す。カメラモジュール１１０とコントローラ２００の間が数メートルと遠い場合、汎用的なマイコンやプロセッサに内蔵されるインタフェースでは、大容量の画像データを伝送することが難しい。そこでこのような状況では、シリアライザ回路とデシリアライザ回路のセットを用いて、長距離伝送を可能とする。
　コントローラ２００は、チャンネルごとに設けられるデシリアライザ回路３００＿＃と、ＳＯＣ（System on Chip）などのプロセッサ３２０を備える。一方、カメラモジュール１１０＿＃は、イメージセンサ１１２およびシリアライザ回路１１４を含む。シリアライザ回路１１４とデシリアライザ回路３００は、差動伝送路１０４を介して接続され、１本の差動伝送路１０４を経由して、双方向にシリアルデータ伝送が可能となっている。
　図２において同じカメラモジュール１１０＿＃に対応するレシーバ２０２＿＃、トランスミッタ２０８＿＃および遅延測定部２２０＿＃は、図５において、ひとつのデシリアライザ回路３００＿＃に集積化される。具体的にはデシリアライザ回路３００は、レシーバ３０２、トランスミッタ３０４、シリアルパラレル変換器３０６、パラレルシリアル変換器３０８、遅延測定部３１０、遅延回路３１２を含む。
　レシーバ３０２は、シリアライザ回路１１４から送信されるシリアルデータを受信する。このシリアルデータＳＤＡＴＡは、上述のフレームデータＦＤＡＴＡと伝送同期信号ＳＹＮＣを含むことができる。なお、伝送同期信号ＳＹＮＣは、差動伝送路１０４とは別の専用の信号線を介して伝送されてもよい。
　シリアルパラレル変換器３０６は、レシーバ３０２が受信したシリアルデータＳＤＡＴＡをパラレルデータＰＤＡＴＡに変換する。このパラレルデータＰＤＡＴＡには、フレームデータＦＤＡＴＡと、伝送同期信号ＳＹＮＣが含まれる。
　プロセッサ３２０は、画像処理部３２２、同期信号生成部３２４を含む。同期信号生成部３２４は、全カメラモジュール１１０＿Ａ，１１０＿Ｂに共通のフレーム同期信号ＦＳＹＮＣを生成する。フレーム同期信号ＦＳＹＮＣは、複数のデシリアライザ回路３００＿Ａ，３００＿Ｂに供給される。画像処理部３２２は、デシリアライザ回路３００＿Ａ，３００＿Ｂそれぞれが受信したフレームデータＦＤＡＴＡ＿Ａ，ＦＤＡＴＡ＿Ｂを受け、それらを処理する。
　遅延回路３１２は、遅延時間が設定可能であり、プロセッサ３２０からフレーム同期信号ＦＳＹＮＣを遅延させることにより、チャンネルごとのフレーム同期信号ＦＳＹＮＣ＿＃を生成する。パラレルシリアル変換器３０８は、フレーム同期信号ＦＳＹＮＣ＿＃を、シリアルデータに変換する。トランスミッタ３０４は、パラレルシリアル変換器３０８の出力であるシリアルデータに応じて差動伝送路１０４を駆動し、フレーム同期信号ＦＳＹＮＣ＿＃をカメラモジュール１１０に送信する。
　遅延測定部３１０は、フレーム同期信号ＦＳＹＮＣ＿＃と伝送同期信号ＳＹＮＣ＿＃の時間差（遅延）τ＃を測定する。遅延回路３１２の遅延量は、遅延測定部３１０が測定した時間差τ＃にもとづいて設定される。
　図６は、一実施例に係るコントローラ２００のブロック図である。図５の相違点のみを説明する。図６では、同期信号生成部３２４は、チャンネルごとのフレーム同期信号ＦＳＹＮＣ＿Ａ，ＦＳＹＮＣ＿Ｂを生成し、デシリアライザ回路３００＿Ａ，３００＿Ｂに供給する。すなわち、図５の遅延回路３１２の機能が、図６では同期信号生成部３２４に統合されている。
　デシリアライザ回路３００＿＃は、遅延測定部３１０が測定した時間差τ＃をプロセッサ３２０に供給可能に構成される。時間差τ＃は、Ｉ２Ｃ（Inter IC）インタフェースやＳＰＩ（Serial Peripheral Interface）などのレジスタアクセス型のインタフェースを介してプロセッサ３２０に供給されてもよい。あるいは時間差τ＃は、パラレルデータＰＤＡＴＡ＿＃と共通の信号ラインを経由してプロセッサ３２０に供給されてもよい。同期信号生成部３２４は、時間差τＡ，τＢにもとづいてフレーム同期信号ＦＳＹＮＣ＿Ａ，ＦＳＹＮＣ＿Ｂのタイミングを調整する。
　続いて、カメラモジュール１１０からコントローラ２００へのフレームデータの伝送エラーの補正について説明する。イメージセンサの多くは、ベイヤー配列を採用している。図７は、イメージセンサが生成するＲＡＷデータと、エラー補正を説明する図である。Ｒ，Ｇ，Ｂはそれぞれ、赤、緑、青のサブピクセルを示す。多くのイメージセンサは、デモザイク処理を行う前のＲＡＷデータを出力する。したがって、カメラシステム１００では、カメラモジュール１１０からコントローラ２００に送信されるフレームデータＦＤＡＴＡが、デモザイク処理後のピクセルごとのＲＧＢデータでなく、デモザイク処理前のベイヤー配列のＲＡＷデータの場合がある。
　図２のコントローラ２００において、バッファ２０４は、ＲＡＷデータとして３ライン分のデータ容量を有する。画像処理部２１０は、あるラインＹのＧのサブピクセルについてエラーを検出すると、一つ前のラインＹ－１の最近接するＧのサブピクセルのデータを流用する。Ｇのサブピクセルには２個のサブピクセルが最近接するために、それらの平均値を用いてもよい。
　また画像処理部２１０は、あるラインＹのＲまたはＢのサブピクセルについてエラーを検出すると、２つ前のラインＹ－２の最近接するＲまたはＢのサブピクセルのデータを流用する。
　これにより、ＲＡＷデータの伝送エラーに起因する画像の劣化を抑制できる。
　続いてカメラシステム１００の用途を説明する。図８は、カメラシステムを備える自動車を示す図である。自動車５００は、複数のカメラモジュール４０２を備える。各カメラモジュール４０２は、双方向伝送システム４０６を介してコントローラ４０４と接続される。たとえばコントローラ４０４は、自動車５００の走行状態に応じて、複数のカメラモジュール４０２を処理する。たとえばコントローラ４０４は、バック走行時には、後方のカメラモジュール４０２Ｂの画像を、車載ディスプレイ５０２に表示する。駐車する際にアラウンドビューモードが選択されると、またコントローラ４０４は、複数のカメラモジュール４０２の画像を合成し、合成後の画像を車載ディスプレイ５０２に表示する。
　実施の形態にもとづき、具体的な語句を用いて本発明を説明したが、実施の形態は、本発明の原理、応用の一側面を示しているにすぎず、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。
　本発明は、データ伝送技術に関する。
　１００　カメラシステム
　１０２　遅延パス
　１０４　差動伝送路
　１１０　カメラモジュール
　１１２　イメージセンサ
　１１４　シリアライザ回路
　２００　コントローラ
　２０２　レシーバ
　２０４　バッファ
　２０６　同期信号生成部
　２１０　画像処理部
　２２０　遅延測定部
　２３０　同期信号生成部
　３００　デシリアライザ回路
　３０２　レシーバ
　３０４　トランスミッタ
　３０６　シリアルパラレル変換器
　３０８　パラレルシリアル変換器
　３１０　遅延測定部
　３１２　遅延回路
　３２０　プロセッサ
　３２２　画像処理部
　３２４　同期信号生成部
　４０２　カメラモジュール
　４０４　コントローラ
　５００　自動車
　５０２　車載ディスプレイ

Claims (11)

  1. 　複数のカメラモジュールと、
    　前記複数のカメラモジュールを制御するとともに、前記複数のカメラモジュールが撮影した映像を処理するコントローラと、
    　を備え、
    　前記コントローラは、（i）前記複数のカメラモジュールそれぞれに対し、フレーム同期信号を出力し、（ii）前記複数のカメラモジュールそれぞれから、フレームデータおよびそれと同期した伝送同期信号を受信し、（iii）受信した複数のフレームデータを処理し、（iv）各カメラモジュールについて、対応するフレーム同期信号と対応する伝送同期信号の時間差を取得し、当該時間差に応じて前記フレーム同期信号を調節可能であることを特徴とするカメラシステム。
  2. 　前記コントローラは、
    　それぞれが、対応するカメラモジュールそれぞれから、フレームデータおよびそれと同期した伝送同期信号を受信する複数のレシーバと、
    　前記複数のレシーバが受信した複数のフレームデータを処理する画像処理部と、
    　前記複数のカメラモジュールに対する複数のフレーム同期信号を生成する同期信号生成部と、
    　それぞれが、対応するフレーム同期信号と対応する伝送同期信号の時間差を取得する複数の遅延測定部と、
    　前記複数のフレーム同期信号を前記複数のカメラモジュールに送信する複数のトランスミッタと、
    　を備え、
    　前記複数のフレーム同期信号のタイミングの関係が、前記複数の遅延測定部により測定された時間差にもとづいて調節可能であることを特徴とする請求項１に記載のカメラシステム。
  3. 　同じカメラモジュールに対応する前記レシーバ、前記トランスミッタおよび前記遅延測定部は、ひとつのデシリアライザ回路に集積化されることを特徴とする請求項２に記載のカメラシステム。
  4. 　前記カメラモジュールは、
    　イメージセンサと、
    　前記デシリアライザ回路と対をなして双方向で通信可能なシリアライザ回路と、
    　を含むことを特徴とする請求項３に記載のカメラシステム。
  5. 　前記カメラモジュールから前記コントローラへは、ＲＡＷデータが送信され、
    　前記コントローラは、Ｇのサブピクセルについて伝送エラーを検出すると、一つ前のラインのＧのサブピクセルの値を参照し、ＲまたはＢのサブピクセルについて伝送エラーを検出すると、二つ前のラインのＲまたはＢのサブピクセルの値を参照することを特徴とする請求項１から３のいずれかに記載のカメラシステム。
  6. 　請求項１から５のいずれかに記載のカメラシステムを備えることを特徴とする自動車。
  7. 　複数のカメラモジュールを制御するとともに、前記複数のカメラモジュールが撮影した映像を処理するコントローラであって、
    　それぞれが、対応するカメラモジュールそれぞれから、フレームデータおよびそれと同期した伝送同期信号を受信する複数のレシーバと、
    　前記複数のレシーバが受信した複数のフレームデータを処理する画像処理部と、
    　前記複数のカメラモジュールに対応する複数のフレーム同期信号を生成する同期信号生成部と、
    　それぞれが、対応するフレーム同期信号と対応する伝送同期信号の時間差を取得する複数の遅延測定部と、
    　前記複数のフレーム同期信号を前記複数のカメラモジュールに送信する複数のトランスミッタと、
    　を備え、
    　前記複数のフレーム同期信号のタイミングの関係が、前記複数の遅延測定部により測定された時間差にもとづいて調節可能であることを特徴とするコントローラ。
  8. 　同じカメラモジュールに対応する前記レシーバ、前記トランスミッタおよび前記遅延測定部は、ひとつのデシリアライザ回路に集積化されることを特徴とする請求項７に記載のコントローラ。
  9. 　カメラモジュールが撮影した映像を受信するデシリアライザ回路であって、
    　前記カメラモジュールから、フレームデータおよびそれと同期した伝送同期信号を受信するレシーバと、
    　外部回路から受信したフレーム同期信号を前記カメラモジュールに送信するトランスミッタと、
    　前記フレーム同期信号と前記伝送同期信号の時間差を取得する遅延測定部と、
    　を備えることを特徴とするデシリアライザ回路。
  10. 　前記フレーム同期信号に遅延を与える遅延回路をさらに備え、
    　前記遅延が、前記時間差に応じて調節可能であることを特徴とする請求項９に記載のデシリアライザ回路。
  11. 　前記時間差を前記外部回路に出力可能であることを特徴とする請求項９に記載のデシリアライザ回路。
PCT/JP2019/019321 2018-06-12 2019-05-15 カメラシステム、そのコントローラ、自動車、デシリアライザ回路 WO2019239779A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112019002983.5T DE112019002983T5 (de) 2018-06-12 2019-05-15 Kamerasystem sowie Steuerung dafür, Fahrzeug und Deserialisierungsschaltkreis
JP2020525358A JP7100702B2 (ja) 2018-06-12 2019-05-15 カメラシステム、そのコントローラ、自動車
CN201980030766.5A CN112088527B (zh) 2018-06-12 2019-05-15 照相机系统、其控制器、汽车、解串器电路
US17/117,740 US11451697B2 (en) 2018-06-12 2020-12-10 Camera system, controller thereof, automobile, and deserializer circuit

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-111984 2018-06-12
JP2018111984 2018-06-12

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/117,740 Continuation US11451697B2 (en) 2018-06-12 2020-12-10 Camera system, controller thereof, automobile, and deserializer circuit

Publications (1)

Publication Number Publication Date
WO2019239779A1 true WO2019239779A1 (ja) 2019-12-19

Family

ID=68843266

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/019321 WO2019239779A1 (ja) 2018-06-12 2019-05-15 カメラシステム、そのコントローラ、自動車、デシリアライザ回路

Country Status (5)

Country Link
US (1) US11451697B2 (ja)
JP (1) JP7100702B2 (ja)
CN (1) CN112088527B (ja)
DE (1) DE112019002983T5 (ja)
WO (1) WO2019239779A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113132552A (zh) * 2019-12-31 2021-07-16 成都鼎桥通信技术有限公司 视频流处理方法及装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102385333B1 (ko) * 2017-09-15 2022-04-12 삼성전자주식회사 복수의 이미지 센서들을 제어하기 위한 전자 장치 및 방법
WO2022252854A1 (zh) * 2021-05-31 2022-12-08 华为技术有限公司 同步方法、电子设备、计算机可读存储介质及程序产品
US11934339B2 (en) * 2022-03-07 2024-03-19 Synaptics Incorporated Image data reception via non-video interface

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04268883A (ja) * 1991-02-22 1992-09-24 Mitsubishi Electric Corp テレビカメラの外部同期方式
JP2007259120A (ja) * 2006-03-23 2007-10-04 Fujitsu Ltd 欠陥画素補正方法及び半導体装置
JP2011234341A (ja) * 2010-04-09 2011-11-17 Sony Corp 受信装置およびカメラシステム
JP2012138671A (ja) * 2010-12-24 2012-07-19 Kyocera Corp ステレオカメラ装置
JP2015165628A (ja) * 2014-03-03 2015-09-17 Smk株式会社 画像処理システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100425055C (zh) * 2005-07-12 2008-10-08 凌阳科技股份有限公司 彩色影像的坏点校正方法及系统
JP4356659B2 (ja) 2005-07-12 2009-11-04 ソニー株式会社 電圧制御型発振回路およびｐｌｌ回路
CN102116643B (zh) * 2010-12-14 2012-06-13 中国科学院长春光学精密机械与物理研究所 一种高分辨率宽覆盖空间相机图像模拟显示装置
JP6033032B2 (ja) * 2012-10-09 2016-11-30 オリンパス株式会社 撮像表示システム
US9069080B2 (en) * 2013-05-24 2015-06-30 Advanced Scientific Concepts, Inc. Automotive auxiliary ladar sensor
US9041813B1 (en) * 2014-02-14 2015-05-26 Maxim Integrated Products, Inc. Multiple camera synchronization system
US9544492B2 (en) * 2014-07-17 2017-01-10 EYEDEAS Ltd. Camera network and method of operating thereof
US10721517B2 (en) * 2015-03-20 2020-07-21 Liuzhou Guitong Technology Co., Ltd. Method and system for synchronously reproducing multimedia multi-information
KR102314611B1 (ko) * 2015-09-23 2021-10-18 삼성전자주식회사 양방향 동기가 가능한 카메라, 상기 카메라를 포함하는 카메라 시스템 및 그 동작 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04268883A (ja) * 1991-02-22 1992-09-24 Mitsubishi Electric Corp テレビカメラの外部同期方式
JP2007259120A (ja) * 2006-03-23 2007-10-04 Fujitsu Ltd 欠陥画素補正方法及び半導体装置
JP2011234341A (ja) * 2010-04-09 2011-11-17 Sony Corp 受信装置およびカメラシステム
JP2012138671A (ja) * 2010-12-24 2012-07-19 Kyocera Corp ステレオカメラ装置
JP2015165628A (ja) * 2014-03-03 2015-09-17 Smk株式会社 画像処理システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113132552A (zh) * 2019-12-31 2021-07-16 成都鼎桥通信技术有限公司 视频流处理方法及装置

Also Published As

Publication number Publication date
CN112088527A (zh) 2020-12-15
JP7100702B2 (ja) 2022-07-13
DE112019002983T5 (de) 2021-03-18
JPWO2019239779A1 (ja) 2021-04-30
US11451697B2 (en) 2022-09-20
CN112088527B (zh) 2022-08-02
US20210099628A1 (en) 2021-04-01

Similar Documents

Publication Publication Date Title
WO2019239779A1 (ja) カメラシステム、そのコントローラ、自動車、デシリアライザ回路
US10412314B2 (en) Systems and methods for photometric normalization in array cameras
KR101512222B1 (ko) 다중 이미지 센서들로부터 데이터의 결합
US8896668B2 (en) Combining data from multiple image sensors
WO2012026087A1 (ja) 撮像装置
US20210021779A1 (en) Image sensing device, camera, and transportation equipment
US11502118B2 (en) Imaging device, imaging system, and moving object
KR20200007723A (ko) 자동차 애플리케이션들을 위한 고화질 아날로그 비디오 및 제어 링크
US10225468B2 (en) Imaging systems and methods with image data path delay measurement
US8587678B2 (en) Head-separated camera device with switchable clocking
CN109842750B (zh) 摄像装置系统
US10903253B2 (en) Imaging device, imaging system, and moving object
KR20240035988A (ko) Gm 클럭 시간정보에 기반한 카메라 영상 동기화 방법 및 장치
CN103973998A (zh) 固态摄像装置及其驱动方法
JP2018107747A (ja) 撮像装置、故障検知方法、撮像システム、及び移動体
CN113286102B (zh) 一种基于奇偶位置的视频成像校正方法
JPH04258091A (ja) 固体撮像素子
JP2002064834A (ja) 撮像装置、映像信号処理装置および映像信号処理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19819628

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020525358

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 19819628

Country of ref document: EP

Kind code of ref document: A1