WO2025004532A1 - 異常検出回路、異常検出方法、および撮像システム - Google Patents
異常検出回路、異常検出方法、および撮像システム Download PDFInfo
- Publication number
- WO2025004532A1 WO2025004532A1 PCT/JP2024/016908 JP2024016908W WO2025004532A1 WO 2025004532 A1 WO2025004532 A1 WO 2025004532A1 JP 2024016908 W JP2024016908 W JP 2024016908W WO 2025004532 A1 WO2025004532 A1 WO 2025004532A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- synchronization signal
- imaging
- abnormality detection
- pulse
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
Definitions
- This disclosure relates to an abnormality detection circuit that detects abnormalities in circuits related to synchronization signals, an abnormality detection method, and an imaging system.
- Patent Document 1 discloses an imaging device that detects abnormalities in pixel control signals that control the operation of pixels.
- imaging operations are performed based on vertical and horizontal synchronization signals. Therefore, it is desirable to detect abnormalities in such synchronization signals.
- the abnormality detection device includes a counter and a determination circuit.
- the counter performs a counting operation based on a pulse corresponding to a synchronization signal, thereby being capable of detecting the time length between two pulses corresponding to the synchronization signal.
- the determination circuit is capable of determining an abnormality in the synchronization signal based on the count value of the counter.
- the anomaly detection method in one embodiment of the present disclosure includes detecting the time length between two pulses corresponding to the synchronization signal by performing a counting operation based on pulses corresponding to the synchronization signal, and determining an anomaly in the synchronization signal based on the count value in the counting operation.
- the imaging system includes an imaging device and an image processing device.
- the imaging device is capable of performing imaging operations based on a synchronization signal.
- the image processing device is capable of performing image processing based on the imaging results of the imaging device.
- the image processing device has a counter and a determination circuit.
- the counter is capable of detecting the time length between two pulses corresponding to the synchronization signal by performing a counting operation based on a pulse corresponding to the synchronization signal.
- the determination circuit is capable of determining an abnormality in the synchronization signal based on the count value of the counter.
- a counting operation is performed based on a pulse corresponding to a synchronization signal, and the time length between two pulses corresponding to the synchronization signal is detected. Then, an anomaly in the synchronization signal is determined based on the count value in this counting operation.
- FIG. 1 is a block diagram illustrating an example configuration of an imaging system according to a first embodiment of the present disclosure.
- FIG. 2 is a timing chart showing an example of the operation of the abnormality detection circuit shown in FIG.
- FIG. 3 is another timing diagram showing an example of the operation of the abnormality detection circuit shown in FIG.
- FIG. 4 is a block diagram illustrating an example of a configuration of an imaging system according to a modified example of the first embodiment.
- FIG. 5 is an explanatory diagram showing an example of a signal format of an image signal.
- FIG. 6 is a timing chart illustrating an example of the operation of the abnormality detection circuit according to the modification of the first embodiment.
- FIG. 7 is an explanatory diagram showing another example of the signal format of the image signal.
- FIG. 1 is a block diagram illustrating an example configuration of an imaging system according to a first embodiment of the present disclosure.
- FIG. 2 is a timing chart showing an example of the operation of the abnormality detection circuit shown in FIG.
- FIG. 3 is another
- FIG. 8 is a timing chart illustrating an example of the operation of the abnormality detection circuit according to another modification of the first embodiment.
- FIG. 9 is an explanatory diagram showing another example of the signal format of the image signal.
- FIG. 10 is a timing chart illustrating an example of the operation of the abnormality detection circuit according to another modification of the first embodiment.
- FIG. 11 is a block diagram illustrating an example of the configuration of an imaging system according to the second embodiment.
- FIG. 12 is a timing chart showing an example of the operation of the abnormality detection circuit shown in FIG.
- FIG. 13 is another timing chart illustrating an example of the operation of the abnormality detection circuit shown in FIG.
- FIG. 14 is a timing chart illustrating an example of the operation of the abnormality detection circuit according to the modified example of the second embodiment.
- FIG. 15 is a timing chart illustrating an example of the operation of the abnormality detection circuit according to another modification of the second embodiment.
- FIG. 16 is an explanatory diagram illustrating a configuration example of an inspection system according to an application example.
- FIG. 17 is a block diagram showing an example of a schematic configuration of a vehicle control system.
- FIG. 18 is an explanatory diagram showing an example of the installation positions of the outside-of-vehicle information detection unit and the imaging unit.
- First embodiment [Configuration example] 1 shows an example of the configuration of an imaging system 1 including an abnormality detection circuit according to a first embodiment. Note that an abnormality detection method according to an embodiment of the present disclosure is embodied in this embodiment, and will be described together.
- the imaging system 1 includes an imaging device 10 and an image processing device 20.
- the imaging device 10 is a so-called image sensor, and is configured to capture an image of a subject.
- the imaging device 10 includes a clock signal generating unit 11, a synchronization signal generating unit 12, an imaging unit 13, and an image signal generating unit 14.
- the clock signal generating unit 11 is configured to generate a clock signal CK used in the imaging device 10.
- the synchronization signal generating unit 12 is configured to generate the synchronization signals XVS and XHS based on the clock signal CK.
- the synchronization signal XVS is a so-called vertical synchronization signal
- the synchronization signal XHS is a so-called horizontal synchronization signal.
- the imaging unit 13 has, for example, multiple imaging pixels, and is configured to perform imaging operations based on the synchronization signals XVS and XHS, thereby generating image data for the captured image.
- the image signal generating unit 14 is configured to generate an image signal Spic using the synchronization signals XVS and XHS based on the image data of the captured image supplied from the imaging unit 13.
- the imaging device 10 uses this configuration to capture an image of a subject.
- the imaging device 10 then supplies an image signal Spic indicating the captured image and synchronization signals XVS and XHS to the image processing device 20.
- the image processing device 20 is configured to perform a predetermined image processing on the captured image represented by the image signal supplied from the imaging device 10.
- the image processing device 20 has an image processing unit 21, a clock signal generating unit 22, a counter 23, a comparison unit 24, and a control unit 25.
- the counter 23 and the comparison unit 24 constitute an abnormality detection circuit 29.
- the image processing unit 21 is configured to perform a predetermined image processing based on the image signal Spic and the synchronization signals XVS and XHS supplied from the imaging device 10. The image processing unit 21 then outputs the image processing results.
- the clock signal generating unit 22 is configured to generate a clock signal CK2 used in the image processing device 20.
- the counter 23 is configured to detect the time length between two pulses included in the synchronization signal XVS by performing a counting operation OP that counts the number of clock pulses of the clock signal CK2 based on the pulses included in the synchronization signal XVS.
- the counter 23 is configured to output a count value CNT during the period in which the counting operation OP is being performed.
- the comparator 24 is configured to compare the count value CNT of the counter 23 with a predetermined threshold value TH and generate a signal CTL indicating whether the count value CNT has exceeded the threshold value TH.
- the control unit 25 is configured to control the operation of the image processing device 20.
- the control unit 25 also stops the operation of the image processing device 20 based on the signal CTL supplied from the comparison unit 24.
- the abnormality detection circuit 29 which is composed of the counter 23 and the comparison unit 24, determines whether the pulses of the synchronization signal XVS appear at a predetermined interval corresponding to the time length of the frame period F. This allows the abnormality detection circuit 29 to detect an abnormality in the clock signal generation unit 11 or the synchronization signal generation unit 12 in the imaging device 10.
- the abnormality detection circuit 29 corresponds to a specific example of an "abnormality detection circuit” in one embodiment of the present disclosure.
- the counter 23 corresponds to a specific example of a "counter” in one embodiment of the present disclosure.
- the comparison unit 24 corresponds to a specific example of a "determination circuit” in one embodiment of the present disclosure.
- the synchronization signal XVS corresponds to a specific example of a "synchronization signal” in one embodiment of the present disclosure.
- a clock signal generating section 11 of the imaging device 10 generates a clock signal CK used in the imaging device 10.
- a synchronization signal generating section 12 generates synchronization signals XVS and XHS based on the clock signal CK.
- An imaging section 13 performs an imaging operation based on the synchronization signals XVS and XHS to generate image data of a captured image.
- An image signal generating section 14 generates an image signal Spic using the synchronization signals XVS and XHS based on the image data of the captured image supplied from the imaging section 13.
- the image processing unit 21 of the image processing device 20 performs a predetermined image processing based on the image signal Spic and the synchronization signals XVS and XHS supplied from the imaging device 10.
- the clock signal generating unit 22 generates the clock signal CK2 used in the image processing device 20.
- the counter 23 of the abnormality detection circuit 29 detects the time length between two pulses included in the synchronization signal XVS by starting a counting operation OP that counts the number of clock pulses of the clock signal CK2 based on the pulses included in the synchronization signal XVS.
- the counter 23 outputs a count value CNT during the period in which the counting operation OP is being performed.
- the comparison unit 24 of the abnormality detection circuit 29 compares the count value CNT of the counter 23 with a predetermined threshold value TH and generates a signal CTL indicating whether the count value CNT has exceeded the threshold value TH.
- the control unit 25 is configured to control the operation of the image processing device 20. The control unit 25 also stops the operation of the image processing device 20 based on the signal CTL supplied from the comparison unit 24.
- (Detailed operation) 2 shows an example of the operation of the abnormality detection circuit 29, where (A) shows the waveform of the synchronization signal XVS and (B) shows the waveform of the synchronization signal XHS.
- a pulse appears in the synchronization signal XVS (FIG. 2(A)). This starts a frame period F.
- the counter 23 then starts a counting operation OP based on this pulse.
- a second pulse appears in the synchronization signal XVS (FIG. 2(A)). This ends the frame period F and starts a new frame period F.
- the counter 23 stops the counting operation OP based on this pulse.
- the comparator 24 determines whether the count value CNT exceeds the threshold value TH during this counting operation OP.
- the threshold value TH is set to a value such that the count value CNT does not exceed this threshold value TH when the pulses of the synchronization signal XVS appear at a predetermined interval corresponding to the time length of the frame period F.
- Figure 3 shows a more detailed example of the operation of the abnormality detection circuit 29 when the second pulse does not appear in the synchronization signal XVS, where (A) shows the waveform of the clock signal CK, (B) shows the waveform of the synchronization signal XVS, (C) shows the count value CNT of the counter 23, (D) shows the threshold value TH in the comparison unit 24, and (E) shows the waveform of the signal CTL.
- (B) and (E) show the dashed lines as signals when the second pulse appears in the synchronization signal XVS. Timings t11 and t13 in this Figure 3 correspond to timings t1 and t2 in Figure 2, respectively.
- the synchronization signal generating unit 12 generates a synchronization signal XVS based on the clock signal CK generated by the clock signal generating unit 11 (FIGS. 3(A) and (B)).
- the counter 23 starts a counting operation OP based on this pulse, for example at timing t12, and the count value CNT of the counter 23 begins to increase (FIG. 3(C)).
- the threshold value TH is "N" (FIG. 3(D)).
- the counter 23 stops the counting operation OP based on this pulse. For example, the counter 23 may stop the counting operation OP by stopping the incrementing operation of the count value CNT, or may stop the counting operation OP by resetting the count value CNT. When the count value CNT is reset, the counter 23 may immediately start the next counting operation OP.
- the count value CNT is "N.”
- the counter 23 stops the counting operation OP, so the count value CNT does not exceed the threshold value TH ("N").
- the clock signal generating unit 11 or the synchronization signal generating unit 12 in the imaging device 10 fails after timing t11, no pulse will appear in the synchronization signal XVS at timing t13.
- the count value CNT of the counter 23 continues to increase (FIG. 3(C)).
- the count value CNT exceeds the threshold value TH ("N"), and the comparator 24 changes the signal CTL from low to high (FIG. 3(E)).
- the control unit 25 stops the operation of the image processing device 20 based on the change in this signal CTL. That is, for example, the operation of the image processing device 20 is stopped because an abnormality has occurred in the clock signal generating unit 11 or the synchronization signal generating unit 12 in the imaging device 10.
- the abnormality detection circuit 29 is provided with a counter 23 that can detect the time length between two pulses corresponding to the synchronization signal XVS by performing a counting operation OP based on a pulse corresponding to the synchronization signal XVS, and a comparison unit 24 that can determine an abnormality in the synchronization signal XVS based on the count value CNT of the counter 23.
- the abnormality detection circuit 29 can detect an abnormality in the synchronization signal XVS caused by, for example, a failure in the clock signal generation unit 11 or the synchronization signal generation unit 12 in the imaging device 10.
- the counter 23 can start the counting operation OP based on the first of the two pulses, and can stop the counting operation OP based on the second of the two pulses.
- the comparison unit 24 can determine an abnormality by judging whether the count value CNT exceeds a predetermined threshold value TH. As a result, for example, if a circuit that generates the synchronization signal XVS fails during operation, it will not generate a second pulse after generating a first pulse, and the count value CNT will exceed the threshold value TH. As a result, the abnormality detection circuit 29 can detect an abnormality in the synchronization signal XVS.
- the synchronization signal XVS includes a first pulse and a second pulse. This allows the abnormality detection circuit 29 to directly detect an abnormality in the synchronization signal XVS based on the two pulses in the synchronization signal XVS.
- a counter is provided that can detect the length of time between two pulses corresponding to the synchronization signal by performing a counting operation based on a pulse corresponding to the synchronization signal, and a comparison unit is provided that can determine an abnormality in the circuit that generates the synchronization signal based on the count value of the counter, thereby making it possible to detect abnormalities in the synchronization signal.
- the counter is capable of starting a counting operation based on the first of two pulses, and is capable of stopping the counting operation based on the second of the two pulses.
- the comparison unit is capable of determining whether an abnormality has occurred by determining whether the count value has exceeded a predetermined threshold value. This makes it possible to detect an abnormality in the synchronization signal.
- the synchronization signal includes a first pulse and a second pulse, making it possible to detect abnormalities in the synchronization signal.
- FIG. 4 shows an example of the configuration of an imaging system 1A according to this modified example.
- This imaging system 1A includes an image processing device 20A.
- the image processing device 20A has a decoder 26A and a counter 23A.
- the imaging device 10 and the image processing device 20A communicate using an SLVS-EC (Scalable Low Voltage Signaling with Embedded Clock) interface.
- the decoder 26A, counter 23A, and comparison unit 24 form an abnormality detection circuit 29A.
- the decoder 26A is configured to detect control data that indicates the start of a frame, which is included in the image signal Spic, and generate a trigger signal TRG based on the control data.
- Counter 23A is configured to detect the time length between two pulses included in trigger signal TRG by performing a counting operation OP that counts the number of clock pulses in clock signal CK2 based on the pulses included in trigger signal TRG.
- FIG. 5 shows an example of the signal format of the image signal Spic when an SLVS-EC interface is used.
- the image signal Spic includes multiple packets.
- Each of the multiple packets includes a packet header PH, data, and a packet footer PF.
- the multiple packets include packets that include blank data and packets that include valid data.
- the multiple packets are transmitted in synchronization with the synchronization signal XHS.
- the packet header PH of the first packet of the multiple packets in one frame period F includes control data indicating the start of the frame.
- the abnormality detection circuit 29A corresponds to a specific example of an "abnormality detection circuit” in one embodiment of the present disclosure.
- the decoder 26A corresponds to a specific example of a "decoder” in one embodiment of the present disclosure.
- the counter 23A corresponds to a specific example of a "counter” in one embodiment of the present disclosure.
- the image signal Spic corresponds to a specific example of an "image signal” in one embodiment of the present disclosure.
- the frame period F corresponds to a specific example of a "cycle period” in one embodiment of the present disclosure.
- Figure 6 shows an example of the operation of the abnormality detection circuit 29A when using the SLVS-EC interface, where (A) shows the waveform of the synchronization signal XVS, (B) shows the waveform of the synchronization signal XHS, and (C) shows the waveform of the trigger signal TRG.
- a pulse appears in the synchronization signal XVS (FIG. 6(A)). This starts the frame period F.
- the decoder 26A detects control data that indicates the start of a frame, which is included in the image signal Spic, and generates a pulse of the trigger signal TRG based on this control data (FIG. 6(C)).
- the counter 23A starts a counting operation OP based on this pulse.
- a second pulse appears in the synchronization signal XVS ( Figure 6 (A)). This ends the frame period F and starts a new frame period F.
- the decoder 26A detects control data that indicates the start of a frame, which is included in the image signal Spic, and generates a pulse of the trigger signal TRG based on this control data ( Figure 6 (C)).
- the counter 23A stops the counting operation OP based on this pulse.
- the comparator 24 determines whether the count value CNT has exceeded the threshold value TH during this counting operation OP.
- This abnormality detection circuit 29A detects the time length between two pulses in the trigger signal TRG generated by the decoder 26A. Specifically, the abnormality detection circuit 29A detects the time length between the control data indicating the start of a frame in each of two adjacent frame periods F. This allows the abnormality detection circuit 29A to indirectly detect whether the pulses of the synchronization signal XVS appear at a predetermined interval corresponding to the length of the frame period F.
- the imaging device 10 and image processing device 20A communicate using an SLVS interface.
- the decoder 26A of this imaging system 1A is configured to detect control data attached to valid data contained in the image signal Spic, and to generate a trigger signal TRG based on the control data.
- FIG. 7 shows an example of the signal format of the image signal Spic when an SLVS interface is used.
- the image signal Spic includes multiple packets.
- Each of the multiple packets includes a packet header SAV, data, and a packet footer EAV.
- the multiple packets include packets that include blank data and packets that include valid data.
- the multiple packets are transmitted in synchronization with the synchronization signal XHS.
- the packet header SAV of a packet that includes valid data includes control data indicating that the packet includes valid data.
- Figure 8 shows an example of the operation of the abnormality detection circuit 29A when using an SLVS interface, where (A) shows the waveform of the synchronization signal XVS, (B) shows the waveform of the synchronization signal XHS, and (C) shows the waveform of the trigger signal TRG.
- the decoder 26A detects control data included in the image signal Spic indicating that the packet contains valid data, and changes the trigger signal TRG from low to high based on this control data (FIG. 8(C)).
- the counter 23A starts the counting operation OP based on this change in the trigger signal TRG.
- each of the multiple packets in the image signal Spic contains control data indicating that it contains valid data, so the decoder 26A maintains the trigger signal TRG at a high level during this period.
- the decoder 26A changes the trigger signal TRG from high to low.
- a second pulse appears in the synchronization signal XVS ( Figure 6 (A)). This ends the frame period F and starts a new frame period F.
- the decoder 26A detects control data, which is included in the image signal Spic and indicates that the packet contains valid data, and changes the trigger signal TRG from low to high based on this control data ( Figure 8 (C)).
- the counter 23A stops the counting operation OP based on this change in the trigger signal TRG.
- the comparator 24 determines whether the count value CNT has exceeded the threshold value TH during this counting operation OP.
- This abnormality detection circuit 29A detects the time length between two pulses in the trigger signal TRG generated by the decoder 26A. Specifically, the abnormality detection circuit 29A detects the time length between the start timings of valid data in each of two adjacent frame periods F. This allows the abnormality detection circuit 29A to indirectly detect whether pulses of the synchronization signal XVS appear at a predetermined interval corresponding to the length of the frame period F.
- the decoder 26A of this imaging system 1A is configured to detect control data indicating the start of a frame, which is included in the image signal Spic, and generate a trigger signal TRG based on the control data.
- MIPI Mobile Industry Processor Interface
- FIG. 9 shows an example of the signal format of the image signal Spic when MIPI is used.
- the image signal Spic includes multiple packets.
- Each of the multiple packets includes a packet header PH, data, and a packet footer PF.
- the multiple packets are transmitted in synchronization with the synchronization signal XHS.
- the multiple packets in one frame period F are sandwiched between control data indicating the start of the frame (frame start FS) and control data indicating the end of the frame (frame end FE).
- Figure 10 shows an example of the operation of the abnormality detection circuit 29A when MIPI is used, where (A) shows the waveform of the synchronization signal XVS, (B) shows the waveform of the synchronization signal XHS, (C) shows the waveform of the image signal Spic, and (D) shows the waveform of the trigger signal TRG.
- a pulse appears in the synchronization signal XVS (FIG. 10(A)). This starts the frame period F.
- a short packet indicating the start of a frame appears in the image signal Spic (FIG. 10(C)). This short packet contains control data indicating the frame start FS shown in FIG. 9.
- the decoder 26A generates a pulse of the trigger signal TRG based on the control data contained in this short packet (FIG. 10(D)).
- the counter 23A starts a counting operation OP based on this pulse.
- a second pulse appears in the synchronization signal XVS ( Figure 6(A)). This ends the frame period F and a new frame period F begins.
- a short packet indicating the start of this frame appears in the image signal Spic ( Figure 10(C)).
- the decoder 26A Based on the control data contained in this short packet, the decoder 26A generates a pulse of the trigger signal TRG ( Figure 10(D)).
- the counter 23A stops the counting operation OP based on this pulse.
- the comparator 24 determines whether the count value CNT has exceeded the threshold value TH during this counting operation OP.
- This abnormality detection circuit 29A detects the time length between two pulses in the trigger signal TRG generated by the decoder 26A. Specifically, the abnormality detection circuit 29A detects the time length between short packets indicating the start of a frame in each of two adjacent frame periods F. This allows the abnormality detection circuit 29A to indirectly detect whether pulses of the synchronization signal XVS appear at a predetermined interval corresponding to the length of the frame period F.
- the abnormality detection circuit 29A further includes a decoder 26A capable of decoding control data included in the image signal Spic in response to the synchronization signal XVS and provided at a predetermined timing position in a frame period corresponding to one cycle of the synchronization signal XVS.
- the decoder 26A is capable of generating a first pulse based on the control data in the first frame period F, and is capable of generating a second pulse based on the control data in the second frame period F following the first frame period F. This allows the abnormality detection circuit 29A to indirectly detect an abnormality in the synchronization signal XVS based on the two pulses generated by the decoder 26A.
- an abnormality in the synchronization signal XVS is detected, but the present invention is not limited to this. Instead, for example, an abnormality in the synchronization signal XHS may be detected.
- an imaging system 2 according to a second embodiment will be described.
- the period for detecting the time length is different from that of the first embodiment. That is, in the first embodiment, the time length of the frame period F is detected, but in this embodiment, the time length of the response time of the imaging device to the synchronization signal XVS is detected. Note that the same reference numerals are used to designate components that are substantially the same as those of the imaging system 1 according to the first embodiment, and descriptions thereof will be omitted as appropriate.
- FIG. 11 shows an example of the configuration of the imaging system 2.
- the imaging system 2 includes an imaging device 30 and an image processing device 40.
- the imaging device 30 and the image processing device 40 communicate with each other using an SLVS-EC interface.
- the image signal Spic has the signal format shown in FIG. 5.
- the imaging device 30 is configured to capture an image of a subject based on a synchronization signal XVS supplied from the image processing device 40.
- the imaging device 30 has a synchronization signal generation unit 32.
- the synchronization signal generation unit 32 is configured to generate a synchronization signal XHS based on the synchronization signal XVS supplied from the image processing device 40.
- the image processing device 40 has a decoder 41, a synchronization signal generating unit 42, and a counter 43.
- the decoder 41, the counter 43, and the comparison unit 24 constitute an abnormality detection circuit 49.
- the decoder 41 is configured to detect control data that indicates the start of a frame, which is included in the image signal Spic, and generate a trigger signal TRG based on the control data.
- the synchronization signal generating unit 42 is configured to generate a synchronization signal XVS based on the clock signal CK2 generated by the clock signal generating unit 22.
- the image processing device 40 supplies the synchronization signal XVS generated by the synchronization signal generating unit 42 to the imaging device 30.
- the counter 43 is configured to detect the time length between the pulse of the synchronization signal XVS and the pulse of the trigger signal TRG by starting a counting operation OP that counts the number of clock pulses of the clock signal CK2 supplied from the clock signal generating unit 22 based on the pulses contained in the synchronization signal XVS.
- the abnormality detection circuit 49 corresponds to a specific example of an "abnormality detection circuit" in one embodiment of the present disclosure.
- the decoder 41 corresponds to a specific example of a “decoder” in one embodiment of the present disclosure.
- the synchronization signal generation unit 42 corresponds to a specific example of a "synchronization signal generation circuit” in one embodiment of the present disclosure.
- Figure 12 shows an example of the operation of the abnormality detection circuit 49, where (A) shows the waveform of the synchronization signal XVS, (B) shows the waveform of the synchronization signal XHS, and (C) shows the waveform of the trigger signal TRG.
- a pulse appears in the synchronization signal XVS ( Figure 12 (A)). This starts a frame period F.
- the counter 43 starts a counting operation OP based on this pulse.
- the decoder 41 detects control data indicating the start of a frame, which is included in the image signal Spic, and generates a pulse of the trigger signal TRG based on this control data ( Figure 12 (C)).
- the counter 43 stops the counting operation OP based on this pulse.
- the comparator 24 determines whether the count value CNT has exceeded the threshold value TH during this counting operation OP.
- the threshold value TH is set to a value such that the count value CNT does not exceed this threshold value TH when the response time of the imaging device 30 from the timing of the pulse of the synchronization signal XVS to the time when the imaging device 30 generates control data indicating the start of a frame is a normal time.
- Figure 13 shows a more detailed example of the operation of the abnormality detection circuit 49 when the pulse of the trigger signal TRG is delayed, where (A) shows the waveform of the clock signal CK2, (B) shows the waveform of the synchronization signal XVS, (C) shows the waveform of the trigger signal TRG, (D) shows the count value CNT of the counter 43, (E) shows the threshold value TH in the comparison unit 24, and (F) shows the waveform of the signal CTL.
- the synchronization signal generating unit 42 generates the synchronization signal XVS based on the clock signal CK2 generated by the clock signal generating unit 22 (FIGS. 13(A) and (B)).
- the counter 43 starts a counting operation OP based on this pulse, for example at timing t62, and the count value CNT of the counter 43 begins to increase (FIG. 13(D)).
- the threshold value TH is "10" (FIG. 13(E)).
- the decoder 41 detects control data that indicates the start of a frame, which is included in the image signal Spic, and generates a pulse of the trigger signal TRG based on this control data (FIG. 13(C)).
- the counter 43 stops the counting operation OP based on this pulse.
- the count value CNT is "10.”
- the counter 43 stops the count operation OP, so the count value CNT does not exceed the threshold value TH ("10").
- the timing at which a pulse appears in the trigger signal TRG may be delayed from timing t63.
- the count value CNT of the counter 43 continues to increase (FIG. 13(D)).
- the count value CNT exceeds the threshold value TH ("10"), and the comparator 24 changes the signal CTL from low to high (FIG. 13(F)).
- the control unit 25 stops the operation of the image processing device 40 based on the change in this signal CTL. In other words, the operation of the image processing device 40 is stopped because an abnormality has occurred in the signal path of the synchronization signal XVS from the image processing device 40 to the imaging device 30, or the image signal generation unit 14 in the imaging device 30 has failed.
- the abnormality detection circuit 49 is provided with a counter 43 that can detect the time length between two pulses corresponding to the synchronization signal XVS by performing a counting operation OP based on a pulse corresponding to the synchronization signal XVS, and a comparison unit 24 that can determine an abnormality in the synchronization signal XVS based on the count value CNT of the counter 43.
- the abnormality detection circuit 49 can detect an abnormality in the synchronization signal XVS caused by, for example, an abnormality in the signal path of the synchronization signal XVS from the image processing device 40 to the imaging device 30, or a malfunction of the image signal generation unit 14 in the image processing device 40.
- the abnormality detection circuit 49 further includes a synchronization signal generation unit 42 capable of generating a synchronization signal XVS, and a decoder 41 capable of decoding control data included in an image signal Spic according to the synchronization signal XVS and provided at a predetermined timing position in a frame period F corresponding to one cycle of the synchronization signal XVS.
- the synchronization signal XVS includes a first pulse.
- the decoder 41 is capable of generating a second pulse based on the control data.
- the abnormality detection circuit 49 to detect an abnormality in the synchronization signal XVS caused by, for example, an abnormality in the signal path of the synchronization signal XVS from the image processing device 40 to the imaging device 30, or a failure in the image signal generation unit 14 in the imaging device 30.
- Other effects are the same as those of the first embodiment.
- the imaging device 30 and the image processing device 40 communicate with each other using an SLVS-EC interface, but this is not limited to this. Instead, for example, the imaging device 30 and the image processing device 40 may communicate with each other using an SLVS interface or an MIPI interface.
- Figure 14 shows an example of the operation of the abnormality detection circuit 49 when an SLVS interface is used, where (A) shows the waveform of the synchronization signal XVS, (B) shows the waveform of the synchronization signal XHS, and (C) shows the waveform of the trigger signal TRG.
- a pulse appears in the synchronization signal XVS ( Figure 14 (A)). This starts the frame period F.
- the counter 43 starts the counting operation OP based on this pulse.
- the decoder 41 detects control data, which is included in the image signal Spic and indicates that the packet contains valid data, and changes the trigger signal TRG from low level to high level based on this control data ( Figure 14 (C)).
- the counter 43 stops the counting operation OP based on this change in the trigger signal TRG.
- the comparator 24 determines whether the count value CNT has exceeded the threshold value TH during this counting operation OP.
- Figure 15 shows an example of the operation of the abnormality detection circuit 49 when MIPI is used, where (A) shows the waveform of the synchronization signal XVS, (B) shows the waveform of the synchronization signal XHS, (C) shows the waveform of the image signal Spic, and (D) shows the waveform of the trigger signal TRG.
- a pulse appears in the synchronization signal XVS (FIG. 15(A)). This starts the frame period F.
- the counter 43 starts the counting operation OP based on this pulse.
- a short packet indicating the start of a frame appears in the image signal Spic (FIG. 15(C)).
- the decoder 41 generates a pulse of the trigger signal TRG based on the control data contained in this short packet (FIG. 15(D)).
- the counter 43 stops the counting operation OP based on this pulse.
- the comparator 24 determines whether the count value CNT has exceeded the threshold value TH during this counting operation OP.
- an abnormality in the synchronization signal XVS is detected, but the present invention is not limited to this. Instead, for example, an abnormality in the synchronization signal XHS may be detected.
- FIG. 16 shows an example of the configuration of an inspection system 90 to which the imaging system 2 of the second embodiment etc. is applied.
- the inspection system 90 is configured to capture images of industrially produced products transported by a belt conveyer, for example, and to inspect the industrially produced products using the obtained images.
- the inspection system 90 includes a belt conveyer 91, imaging devices 92A to 92C, and an inspection processing unit 93.
- the belt conveyor 91 is configured to transport the industrial product to be inspected in the transport direction A.
- the belt conveyor 91 is capable of controlling the transport speed based on a control signal supplied from the inspection processing unit 93.
- the imaging devices 92A to 92C are configured to capture images of industrially produced products transported by the belt conveyor 91.
- the imaging devices 92A to 92C capture images of the industrially produced products from different directions.
- Each of the imaging devices 92A to 92C performs imaging operations based on a synchronization signal XVS supplied from the inspection processing unit 93, and supplies an image signal Spic indicating image data of the captured image to the inspection processing unit 93.
- the inspection processing unit 93 is configured to control the inspection processing in the inspection system 90.
- the inspection processing unit 93 controls the conveying speed of the belt conveyor 91 by supplying a control signal to the belt conveyor 91.
- the inspection processing unit 93 controls the imaging timing of the imaging devices 92A-92C when imaging industrial products by supplying a synchronization signal XVS to the imaging devices 92A-92C.
- the inspection processing unit 93 then inspects the industrial products based on the image data indicated by the image signal Spic supplied from the imaging devices 92A-92C.
- each of the imaging devices 92A to 92C corresponds to, for example, the imaging device 30 shown in FIG. 11.
- the inspection processing unit 93 corresponds to, for example, the image processing device 40 shown in FIG. 11.
- the abnormality detection circuit 49 provided in the inspection processing unit 93 can detect an abnormality in the signal path of the synchronization signal XVS from the inspection processing unit 93 to the imaging devices 92A to 92C, or an abnormality in the synchronization signal XVS caused by a failure in the image signal generation unit 14 in the imaging devices 92A to 92C.
- the technology according to the present disclosure can be applied to various products.
- the technology according to the present disclosure may be realized as a device mounted on any type of moving body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility device, an airplane, a drone, a ship, or a robot.
- FIG. 17 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile object control system to which the technology disclosed herein can be applied.
- the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
- the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside vehicle information detection unit 12030, an inside vehicle information detection unit 12040, and an integrated control unit 12050.
- Also shown as functional components of the integrated control unit 12050 are a microcomputer 12051, an audio/video output unit 12052, and an in-vehicle network I/F (interface) 12053.
- the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
- the drive system control unit 12010 functions as a control device for a drive force generating device for generating the drive force of the vehicle, such as an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to the wheels, a steering mechanism for adjusting the steering angle of the vehicle, and a braking device for generating a braking force for the vehicle.
- the body system control unit 12020 controls the operation of various devices installed in the vehicle body according to various programs.
- the body system control unit 12020 functions as a control device for a keyless entry system, a smart key system, a power window device, or various lamps such as headlamps, tail lamps, brake lamps, turn signals, and fog lamps.
- radio waves or signals from various switches transmitted from a portable device that replaces a key can be input to the body system control unit 12020.
- the body system control unit 12020 accepts the input of these radio waves or signals and controls the vehicle's door lock device, power window device, lamps, etc.
- the outside-vehicle information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
- the image capturing unit 12031 is connected to the outside-vehicle information detection unit 12030.
- the outside-vehicle information detection unit 12030 causes the image capturing unit 12031 to capture images outside the vehicle and receives the captured images.
- the outside-vehicle information detection unit 12030 may perform object detection processing or distance detection processing for people, cars, obstacles, signs, characters on the road surface, etc. based on the received images.
- the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal according to the amount of light received.
- the imaging unit 12031 can output the electrical signal as an image, or as distance measurement information.
- the light received by the imaging unit 12031 may be visible light, or may be invisible light such as infrared light.
- the in-vehicle information detection unit 12040 detects information inside the vehicle.
- a driver state detection unit 12041 that detects the state of the driver is connected.
- the driver state detection unit 12041 includes, for example, a camera that captures an image of the driver, and the in-vehicle information detection unit 12040 may calculate the driver's degree of fatigue or concentration based on the detection information input from the driver state detection unit 12041, or may determine whether the driver is dozing off.
- the microcomputer 12051 can calculate the control target values of the driving force generating device, steering mechanism, or braking device based on the information inside and outside the vehicle acquired by the outside vehicle information detection unit 12030 or the inside vehicle information detection unit 12040, and output a control command to the drive system control unit 12010.
- the microcomputer 12051 can perform cooperative control aimed at realizing the functions of an ADAS (Advanced Driver Assistance System), including avoiding or mitigating vehicle collisions, following based on the distance between vehicles, maintaining vehicle speed, vehicle collision warning, or vehicle lane departure warning.
- ADAS Advanced Driver Assistance System
- the microcomputer 12051 can also perform cooperative control for the purpose of autonomous driving, which allows the vehicle to travel autonomously without relying on the driver's operation, by controlling the driving force generating device, steering mechanism, braking device, etc. based on information about the surroundings of the vehicle acquired by the outside vehicle information detection unit 12030 or the inside vehicle information detection unit 12040.
- the microcomputer 12051 can also output control commands to the body system control unit 12020 based on information outside the vehicle acquired by the outside information detection unit 12030. For example, the microcomputer 12051 can control the headlamps according to the position of a preceding vehicle or an oncoming vehicle detected by the outside information detection unit 12030, and perform cooperative control aimed at preventing glare, such as switching from high beams to low beams.
- the audio/image output unit 12052 transmits at least one output signal of audio and image to an output device capable of visually or audibly notifying the occupants of the vehicle or the outside of the vehicle of information.
- an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
- the display unit 12062 may include, for example, at least one of an on-board display and a head-up display.
- FIG. 18 shows an example of the installation position of the imaging unit 12031.
- the vehicle 12100 has imaging units 12101, 12102, 12103, 12104, and 12105 as the imaging unit 12031.
- the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at the front nose, side mirrors, rear bumper, back door, and the top of the windshield inside the vehicle cabin of the vehicle 12100.
- the imaging unit 12101 provided at the front nose and the imaging unit 12105 provided at the top of the windshield inside the vehicle cabin mainly acquire images of the front of the vehicle 12100.
- the imaging units 12102 and 12103 provided at the side mirrors mainly acquire images of the sides of the vehicle 12100.
- the imaging unit 12104 provided at the rear bumper or back door mainly acquires images of the rear of the vehicle 12100.
- the images of the front acquired by the imaging units 12101 and 12105 are mainly used to detect preceding vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, etc.
- FIG. 18 shows an example of the imaging ranges of the imaging units 12101 to 12104.
- Imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
- imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
- imaging range 12114 indicates the imaging range of the imaging unit 12104 provided on the rear bumper or back door.
- an overhead image of the vehicle 12100 viewed from above is obtained by superimposing the image data captured by the imaging units 12101 to 12104.
- At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
- at least one of the imaging units 12101 to 12104 may be a stereo camera consisting of multiple imaging elements, or an imaging element having pixels for phase difference detection.
- the microcomputer 12051 can obtain the distance to each solid object within the imaging ranges 12111 to 12114 and the change in this distance over time (relative speed with respect to the vehicle 12100) based on the distance information obtained from the imaging units 12101 to 12104, and can extract as a preceding vehicle, in particular, the closest solid object on the path of the vehicle 12100 that is traveling in approximately the same direction as the vehicle 12100 at a predetermined speed (e.g., 0 km/h or faster). Furthermore, the microcomputer 12051 can set the inter-vehicle distance that should be maintained in advance in front of the preceding vehicle, and perform automatic braking control (including follow-up stop control) and automatic acceleration control (including follow-up start control). In this way, cooperative control can be performed for the purpose of automatic driving, which runs autonomously without relying on the driver's operation.
- automatic braking control including follow-up stop control
- automatic acceleration control including follow-up start control
- the microcomputer 12051 classifies and extracts three-dimensional object data on three-dimensional objects, such as two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, utility poles, and other three-dimensional objects, based on the distance information obtained from the imaging units 12101 to 12104, and can use the data to automatically avoid obstacles.
- the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see.
- the microcomputer 12051 determines the collision risk, which indicates the risk of collision with each obstacle, and when the collision risk is equal to or exceeds a set value and there is a possibility of a collision, it can provide driving assistance for collision avoidance by outputting an alarm to the driver via the audio speaker 12061 or the display unit 12062, or by performing forced deceleration or avoidance steering via the drive system control unit 12010.
- At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
- the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the image captured by the imaging units 12101 to 12104. The recognition of such a pedestrian is performed, for example, by a procedure of extracting feature points in the image captured by the imaging units 12101 to 12104 as infrared cameras, and a procedure of performing pattern matching processing on a series of feature points that indicate the contour of an object to determine whether or not it is a pedestrian.
- the audio/image output unit 12052 controls the display unit 12062 to superimpose a rectangular contour line for emphasis on the recognized pedestrian.
- the audio/image output unit 12052 may also control the display unit 12062 to display an icon or the like indicating a pedestrian at a desired position.
- the above describes an example of a vehicle control system to which the technology disclosed herein can be applied.
- the technology disclosed herein can be applied to the imaging unit 12031 of the configuration described above.
- the reliability of the vehicle control system can be improved by detecting an abnormality in the synchronization signal.
- the vehicle control system 12000 can improve the reliability of functions such as a vehicle collision avoidance or collision mitigation function, a following driving function based on the distance between vehicles, a vehicle speed maintenance driving function, a vehicle collision warning function, and a vehicle lane departure warning function.
- an abnormality in the synchronization signal is detected by detecting the loss of the synchronization signal or a delay in the synchronization signal, but this is not limited to this. Instead, an abnormality in the synchronization signal may be detected, for example, when a pulse of the synchronization signal appears earlier than the desired timing.
- control data detected by the decoder is not limited to the examples shown in the embodiments and modifications, and various control data can be used.
- the present technology can be configured as follows. With the present technology configured as follows, it is possible to detect anomalies in the synchronization signal.
- a counter capable of detecting a time length between two pulses corresponding to a synchronization signal by performing a counting operation based on the pulses corresponding to the synchronization signal; a determination circuit capable of determining an abnormality in the synchronization signal based on the count value of the counter.
- the counter is capable of starting the counting operation based on a first pulse of the two pulses and of stopping the counting operation based on a second pulse of the two pulses;
- the synchronization signal includes the first pulse and the second pulse.
- a decoder capable of decoding control data included in an image signal corresponding to the synchronization signal and provided at a predetermined timing position in a period corresponding to one period of the synchronization signal;
- the abnormality detection circuit described in (2) wherein the decoder is capable of generating the first pulse based on the control data in a first cycle period, and is capable of generating the second pulse based on the control data in a second cycle period after the first cycle period.
- a synchronization signal generating circuit capable of generating the synchronization signal; a decoder capable of decoding control data included in an image signal corresponding to the synchronization signal and provided at a predetermined timing position in a period corresponding to one period of the synchronization signal; the synchronization signal includes the first pulse,
- the control data is data indicating a start of a frame.
- the control data is data indicating whether the data included in the image signal is valid.
- an imaging device capable of performing an imaging operation based on a synchronization signal; and an image processing device capable of performing image processing based on an imaging result of the imaging device,
- the image processing device includes: a counter capable of detecting a time length between two pulses corresponding to the synchronization signal by performing a counting operation based on the pulses corresponding to the synchronization signal; and a determination circuit capable of determining an abnormality in the synchronization signal based on the count value of the counter.
- the image processing device is capable of stopping the image processing when the determination circuit determines the abnormality.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Closed-Circuit Television Systems (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本開示の一実施の形態に係る異常検出回路は、同期信号に応じたパルスに基づいてカウント動作を行うことにより、同期信号に応じた2つのパルスの間の時間長を検出可能なカウンタと、カウンタのカウント値に基づいて、同期信号の異常を判定可能な判定回路とを備える。
Description
本開示は、同期信号に係る回路の異常を検出する異常検出回路、異常検出方法、および撮像システムに関する。
撮像装置では、様々な制御信号に基づいて撮像動作が行われる。例えば、特許文献1には、画素の動作を制御する画素制御信号の異常を検出する撮像装置が開示されている。
ところで、撮像装置では、垂直同期信号および水平同期信号に基づいて、撮像動作が行われる。よって、このような同期信号の異常を検出することが望まれている。
同期信号の異常を検出できる異常検出回路、異常検出方法、および撮像システムを提供することが望ましい。
本開示の一実施の形態における異常検出装置は、カウンタと、判定回路とを備えている。カウンタは、同期信号に応じたパルスに基づいてカウント動作を行うことにより、同期信号に応じた2つのパルスの間の時間長を検出可能なものである。判定回路は、カウンタのカウント値に基づいて、同期信号の異常を判定可能なものである。
本開示の一実施の形態における異常検出方法は、同期信号に応じたパルスに基づいてカウント動作を行うことにより、同期信号に応じた2つのパルスの間の時間長を検出することと、カウント動作におけるカウント値に基づいて、前記同期信号の異常を判定することとを含むものである。
本開示の一実施の形態における撮像システムは、撮像装置と、画像処理装置とを備えている。撮像装置は、同期信号に基づいて撮像動作を行うことが可能なものである。画像処理装置は、撮像装置の撮像結果に基づいて画像処理を行うことが可能なものである。画像処理装置は、カウンタと、判定回路とを有している。カウンタは、同期信号に応じたパルスに基づいてカウント動作を行うことにより、同期信号に応じた2つのパルスの間の時間長を検出可能なものである。判定回路は、カウンタのカウント値に基づいて、同期信号の異常を判定可能なものである。
本開示の一実施の形態における異常検出装置、異常検出方法、撮像システムでは、同期信号に応じたパルスに基づいてカウント動作が行われることにより、同期信号に応じた2つのパルスの間の時間長が検出される。そして、このカウント動作におけるカウント値に基づいて、同期信号の異常が判定される。
以下、本開示の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態
2.第2の実施の形態
3.適用例
4.移動体への応用例
1.第1の実施の形態
2.第2の実施の形態
3.適用例
4.移動体への応用例
<1.第1の実施の形態>
[構成例]
図1は、第1の実施の形態に係る異常検出回路を備えた撮像システム1の一構成例を表すものである。なお、本開示の実施の形態に係る異常検出方法は、本実施の形態により具現化されるので、併せて説明する。撮像システム1は、撮像装置10と、画像処理装置20とを備えている。
[構成例]
図1は、第1の実施の形態に係る異常検出回路を備えた撮像システム1の一構成例を表すものである。なお、本開示の実施の形態に係る異常検出方法は、本実施の形態により具現化されるので、併せて説明する。撮像システム1は、撮像装置10と、画像処理装置20とを備えている。
撮像装置10は、いわゆるイメージセンサであり、被写体を撮像するように構成される。撮像装置10は、クロック信号生成部11と、同期信号生成部12と、撮像部13と、画像信号生成部14とを備えている。
クロック信号生成部11は、撮像装置10において用いられるクロック信号CKを生成するように構成される。
同期信号生成部12は、クロック信号CKに基づいて、同期信号XVS,XHSを生成するように構成される。同期信号XVSは、いわゆる垂直同期信号であり、同期信号XHSは、いわゆる水平同期信号である。
撮像部13は、例えば複数の撮像画素を有し、同期信号XVS,XHSに基づいて撮像動作を行うことにより、撮像画像の画像データを生成するように構成される。
画像信号生成部14は、撮像部13から供給された撮像画像の画像データに基づいて、同期信号XVS,XHSを用いて、画像信号Spicを生成するように構成される。
撮像装置10は、この構成により被写体を撮像する。そして、撮像装置10は、撮像画像を示す画像信号Spicおよび同期信号XVS,XHSを、画像処理装置20に供給するようになっている。
画像処理装置20は、撮像装置10から供給された画像信号が示す撮像画像に対して所定の画像処理を行うように構成される。画像処理装置20は、画像処理部21と、クロック信号生成部22と、カウンタ23と、比較部24と、制御部25とを有している。カウンタ23および比較部24は、異常検出回路29を構成する。
画像処理部21は、撮像装置10から供給された画像信号Spicおよび同期信号XVS,XHSに基づいて、所定の画像処理を行うように構成される。そして、画像処理部21は、画像処理結果を出力するようになっている。
クロック信号生成部22は、画像処理装置20において用いられるクロック信号CK2を生成するように構成される。
カウンタ23は、同期信号XVSに含まれるパルスに基づいて、クロック信号CK2のクロックパルスの数を数えるカウント動作OPを行うことにより、同期信号XVSに含まれる2つのパルスの間の時間長を検出するように構成される。カウンタ23は、カウント動作OPを行っている期間において、カウント値CNTを出力するようになっている。
比較部24は、カウンタ23のカウント値CNTと、所定のしきい値THとを比較し、カウント値CNTがしきい値THを超えたかどうかを示す信号CTLを生成するように構成される。
制御部25は、画像処理装置20の動作を制御するように構成される。また、制御部25は、比較部24から供給された信号CTLに基づいて、画像処理装置20の動作を停止させるようになっている。
この構成により、カウンタ23および比較部24からなる異常検出回路29は、同期信号XVSのパルスが、フレーム期間Fの時間長に対応する所定の間隔で現れるかどうかを判定する。これにより、異常検出回路29は、撮像装置10におけるクロック信号生成部11の異常や、同期信号生成部12の異常を検出することができる。
ここで、異常検出回路29は、本開示の一実施の形態における「異常検出回路」の一具体例に対応する。カウンタ23は、本開示の一実施の形態における「カウンタ」の一具体例に対応する。比較部24は、本開示の一実施の形態における「判定回路」の一具体例に対応する。同期信号XVSは、本開示の一実施の形態における「同期信号」の一具体例に対応する。
[動作および作用]
続いて、本実施の形態の撮像システム1の動作および作用について説明する。
続いて、本実施の形態の撮像システム1の動作および作用について説明する。
(全体動作概要)
まず、図1を参照して、撮像システム1の全体動作概要を説明する。撮像装置10のクロック信号生成部11は、撮像装置10において用いられるクロック信号CKを生成する。同期信号生成部12は、クロック信号CKに基づいて、同期信号XVS,XHSを生成する。撮像部13は、同期信号XVS,XHSに基づいて撮像動作を行うことにより、撮像画像の画像データを生成する。画像信号生成部14は、撮像部13から供給された撮像画像の画像データに基づいて、同期信号XVS,XHSを用いて、画像信号Spicを生成する。
まず、図1を参照して、撮像システム1の全体動作概要を説明する。撮像装置10のクロック信号生成部11は、撮像装置10において用いられるクロック信号CKを生成する。同期信号生成部12は、クロック信号CKに基づいて、同期信号XVS,XHSを生成する。撮像部13は、同期信号XVS,XHSに基づいて撮像動作を行うことにより、撮像画像の画像データを生成する。画像信号生成部14は、撮像部13から供給された撮像画像の画像データに基づいて、同期信号XVS,XHSを用いて、画像信号Spicを生成する。
画像処理装置20の画像処理部21は、撮像装置10から供給された画像信号Spicおよび同期信号XVS,XHSに基づいて、所定の画像処理を行う。クロック信号生成部22は、画像処理装置20において用いられるクロック信号CK2を生成する。異常検出回路29のカウンタ23は、同期信号XVSに含まれるパルスに基づいてクロック信号CK2のクロックパルスの数をカウントするカウント動作OPを開始することにより、同期信号XVSに含まれる2つのパルスの間の時間長を検出する。カウンタ23は、カウント動作OPを行っている期間において、カウント値CNTを出力する。異常検出回路29の比較部24は、カウンタ23のカウント値CNTと、所定のしきい値THとを比較し、カウント値CNTがしきい値THを超えたかどうかを示す信号CTLを生成する。制御部25は、画像処理装置20の動作を制御するように構成される。また、制御部25は、比較部24から供給された信号CTLに基づいて、画像処理装置20の動作を停止させる。
(詳細動作)
図2は、異常検出回路29の一動作例を表すものであり、(A)は同期信号XVSの波形を示し、(B)は同期信号XHSの波形を示す。タイミングt1において、同期信号XVSにパルスが現れる(図2(A))。これにより、フレーム期間Fが開始する。そして、カウンタ23は、このパルスに基づいてカウント動作OPを開始する。そして、タイミングt2において、同期信号XVSに2つ目のパルスが現れる(図2(A))。これにより、フレーム期間Fが終了するとともに、新たなフレーム期間Fが開始する。カウンタ23は、このパルスに基づいてカウント動作OPを停止する。比較部24は、このカウント動作OPにおいて、カウント値CNTがしきい値THを超えたかどうかを判定する。しきい値THは、同期信号XVSのパルスが、フレーム期間Fの時間長に対応する所定の間隔で現れた場合に、カウント値CNTがこのしきい値THを超えないような値に設定される。
図2は、異常検出回路29の一動作例を表すものであり、(A)は同期信号XVSの波形を示し、(B)は同期信号XHSの波形を示す。タイミングt1において、同期信号XVSにパルスが現れる(図2(A))。これにより、フレーム期間Fが開始する。そして、カウンタ23は、このパルスに基づいてカウント動作OPを開始する。そして、タイミングt2において、同期信号XVSに2つ目のパルスが現れる(図2(A))。これにより、フレーム期間Fが終了するとともに、新たなフレーム期間Fが開始する。カウンタ23は、このパルスに基づいてカウント動作OPを停止する。比較部24は、このカウント動作OPにおいて、カウント値CNTがしきい値THを超えたかどうかを判定する。しきい値THは、同期信号XVSのパルスが、フレーム期間Fの時間長に対応する所定の間隔で現れた場合に、カウント値CNTがこのしきい値THを超えないような値に設定される。
図3は、同期信号XVSに2つ目のパルスが現れない場合における異常検出回路29のより詳細な動作例を表すものであり、(A)はクロック信号CKの波形を示し、(B)は同期信号XVSの波形を示し、(C)はカウンタ23のカウント値CNTを示し、(D)は比較部24におけるしきい値THを示し、(E)は信号CTLの波形を示す。この図3において、(B),(E)は、同期信号XVSに2つ目のパルスが現れた場合の信号を破線で示している。この図3におけるタイミングt11,t13は、図2におけるタイミングt1,t2にそれぞれ対応している。
撮像装置10において、同期信号生成部12は、クロック信号生成部11が生成したクロック信号CKに基づいて、同期信号XVSを生成する(図3(A),(B))。
タイミングt11において、同期信号XVSにパルスが現れると(図3(B))、画像処理装置20では、カウンタ23は、例えばタイミングt12において、このパルスに基づいてカウント動作OPを開始し、カウンタ23のカウント値CNTが増加し始める(図3(C))。この例では、しきい値THは“N”である(図3(D))。カウント値CNTがこのしきい値TH以下である場合には、信号CTLは低レベルに維持される(図3(E))。
例えば、撮像システム1が正常に動作している場合には、タイミングt13において、同期信号XVSにパルスが現れる(図3(B))。カウンタ23は、このパルスに基づいて、カウント動作OPを停止する。例えば、カウンタ23は、カウント値CNTのインクリメント動作を停止することによりカウント動作OPを停止してもよいし、カウント値CNTをリセットすることによりカウント動作OPを停止してもよい。カウント値CNTをリセットした場合には、カウンタ23は、すぐに次のカウント動作OPを開始してもよい。
このタイミングt13では、カウント値CNTは“N”である。この例では、カウンタ23はカウント動作OPを停止するので、カウント値CNTはしきい値TH(“N”)を超えない。
例えば、タイミングt11以降において、撮像装置10におけるクロック信号生成部11や同期信号生成部12が故障した場合には、タイミングt13において、同期信号XVSにパルスが現れない。この場合には、カウンタ23のカウント値CNTは、引き続き増加し続ける(図3(C))。タイミングt14において、カウント値CNTが“N+1”になると、カウント値CNTがしきい値TH(“N”)を超えるので、比較部24は、信号CTLを低レベルから高レベルに変化させる(図3(E))。
制御部25は、この信号CTLの変化に基づいて、画像処理装置20の動作を停止させる。すなわち、例えば、撮像装置10におけるクロック信号生成部11や同期信号生成部12に異常が生じているので、画像処理装置20の動作を停止させる。
このように、異常検出回路29では、同期信号XVSに応じたパルスに基づいてカウント動作OPを行うことにより、同期信号XVSに応じた2つのパルスの間の時間長を検出可能なカウンタ23と、カウンタ23のカウント値CNTに基づいて、同期信号XVSの異常を判定可能な比較部24とを設けるようにした。これにより、異常検出回路29では、例えば、撮像装置10におけるクロック信号生成部11や同期信号生成部12の故障に起因する同期信号XVSの異常を検出することができる。
また、異常検出回路29では、カウンタ23は、2つのパルスのうちの第1のパルスに基づいてカウント動作OPを開始可能であり、2つのパルスのうちの第2のパルスに基づいてカウント動作OPを停止可能であるようにした。比較部24は、カウント値CNTが所定のしきい値THを超えたかどうかを判定することにより異常を判定可能なようにした。これにより、例えば、同期信号XVSを生成する回路は、動作途中で故障した場合には、第1のパルスを生成した後、第2のパルスを生成しないので、カウント値CNTはしきい値THを超える。これにより、異常検出回路29では、同期信号XVSの異常を検出することができる。
また、異常検出回路29では、同期信号XVSは、第1のパルスおよび第2のパルスを含むようにした。これにより、異常検出回路29では、同期信号XVSにおける2つのパルスに基づいて、直接的に、同期信号XVSの異常を検出することができる。
[効果]
以上のように本実施の形態では、同期信号に応じたパルスに基づいてカウント動作を行うことにより、同期信号に応じた2つのパルスの間の時間長を検出可能なカウンタと、カウンタのカウント値に基づいて、同期信号を生成する回路の異常を判定可能な比較部とを設けるようにしたので、同期信号の異常を検出することができる。
以上のように本実施の形態では、同期信号に応じたパルスに基づいてカウント動作を行うことにより、同期信号に応じた2つのパルスの間の時間長を検出可能なカウンタと、カウンタのカウント値に基づいて、同期信号を生成する回路の異常を判定可能な比較部とを設けるようにしたので、同期信号の異常を検出することができる。
本実施の形態では、カウンタは、2つのパルスのうちの第1のパルスに基づいてカウント動作を開始可能であり、2つのパルスのうちの第2のパルスに基づいてカウント動作を停止可能であるようにした。比較部は、カウント値が所定のしきい値を超えたかどうかを判定することにより異常を判定可能なようにした。これにより、同期信号の異常を検出することができる。
本実施の形態では、同期信号は、第1のパルスおよび第2のパルスを含むようにしたので、同期信号の異常を検出することができる。
[変形例1-1]
上記実施の形態では、同期信号XVSのパルスが、フレーム期間Fの長さに対応する所定の間隔で現れるかどうかを、直接的に検出したが、これに限定されるものではなく、これに代えて、例えば、同期信号XVSのパルスが、フレーム期間Fの長さに対応する所定の間隔で現れるかどうかを、間接的に検出してもよい。以下に、本変形例について、いくつか例を挙げて詳細に説明する。
上記実施の形態では、同期信号XVSのパルスが、フレーム期間Fの長さに対応する所定の間隔で現れるかどうかを、直接的に検出したが、これに限定されるものではなく、これに代えて、例えば、同期信号XVSのパルスが、フレーム期間Fの長さに対応する所定の間隔で現れるかどうかを、間接的に検出してもよい。以下に、本変形例について、いくつか例を挙げて詳細に説明する。
図4は、本変形例に係る撮像システム1Aの一構成例を表すものである。この撮像システム1Aは、画像処理装置20Aを備えている。画像処理装置20Aは、デコーダ26Aと、カウンタ23Aとを有している。この例では、撮像装置10および画像処理装置20Aは、SLVS-EC(Scalable Low Voltage Signaling with Embedded Clock)インタフェースを用いて通信を行う。デコーダ26A、カウンタ23A、および比較部24は、異常検出回路29Aを構成する。
デコーダ26Aは、画像信号Spicに含まれる、フレームの開始を示す制御データを検出し、その制御データに基づいてトリガ信号TRGを生成するように構成される。
カウンタ23Aは、トリガ信号TRGに含まれるパルスに基づいて、クロック信号CK2のクロックパルスの数を数えるカウント動作OPを行うことにより、トリガ信号TRGに含まれる2つのパルスの間の時間長を検出するように構成される。
図5は、SLVS-ECインタフェースを用いた場合における、画像信号Spicの信号フォーマットの一例を表すものである。画像信号Spicは、複数のパケットを含んでいる。複数のパケットのそれぞれは、パケットヘッダPH、データ、パケットフッタPFを含んでいる。複数のパケットは、ブランクデータを含むパケットと、有効データを含むパケットを含む。複数のパケットは、同期信号XHSに同期して送信される。1つのフレーム期間Fにおける複数のパケットのうちの最初のパケットのパケットヘッダPHは、フレームの開始を示す制御データを含んでいる。
ここで、異常検出回路29Aは、本開示の一実施の形態における「異常検出回路」の一具体例に対応する。デコーダ26Aは、本開示の一実施の形態における「デコーダ」の一具体例に対応する。カウンタ23Aは、本開示の一実施の形態における「カウンタ」の一具体例に対応する。画像信号Spicは、本開示の一実施の形態における「画像信号」の一具体例に対応する。フレーム期間Fは、本開示の一実施の形態における「周期期間」の一具体例に対応する。
図6は、SLVS-ECインタフェースを用いた場合における、異常検出回路29Aの一動作例を表すものであり、(A)は同期信号XVSの波形を示し、(B)は同期信号XHSの波形を示し、(C)はトリガ信号TRGの波形を示す。
タイミングt21において、同期信号XVSにパルスが現れる(図6(A))。これにより、フレーム期間Fが開始する。タイミングt22において、デコーダ26Aは、画像信号Spicに含まれる、フレームの開始を示す制御データを検出し、この制御データに基づいてトリガ信号TRGのパルスを生成する(図6(C))。カウンタ23Aは、このパルスに基づいてカウント動作OPを開始する。
そして、タイミングt23において、同期信号XVSに2つ目のパルスが現れる(図6(A))。これにより、フレーム期間Fが終了するとともに、新たなフレーム期間Fが開始する。タイミングt24において、デコーダ26Aは、画像信号Spicに含まれる、フレームの開始を示す制御データを検出し、この制御データに基づいてトリガ信号TRGのパルスを生成する(図6(C))。カウンタ23Aは、このパルスに基づいてカウント動作OPを停止する。比較部24は、このカウント動作OPにおいて、カウント値CNTがしきい値THを超えたかどうかを判定する。
この異常検出回路29Aは、デコーダ26Aが生成するトリガ信号TRGにおける2つのパルスの間の時間長を検出する。具体的には、異常検出回路29Aは、隣り合う2つのフレーム期間Fのそれぞれにおける、フレームの開始を示す制御データの間の時間長を検出する。これにより、異常検出回路29Aは、同期信号XVSのパルスが、フレーム期間Fの長さに対応する所定の間隔で現れるかどうかを、間接的に検出することができる。
次に、本変形例に係る他の撮像システム1Aについて説明する。この例では、撮像装置10および画像処理装置20Aは、SLVSインタフェースを用いて通信を行う。この撮像システム1Aのデコーダ26Aは、画像信号Spicに含まれる、有効データに付される制御データを検出し、その制御データに基づいてトリガ信号TRGを生成するように構成される。
図7は、SLVSインタフェースを用いた場合における、画像信号Spicの信号フォーマットの一例を表すものである。画像信号Spicは、複数のパケットを含んでいる。複数のパケットのそれぞれは、パケットヘッダSAV、データ、パケットフッタEAVを含んでいる。複数のパケットは、ブランクデータを含むパケットと、有効データを含むパケットとを含む。複数のパケットは、同期信号XHSに同期して送信される。有効データを含むパケットのパケットヘッダSAVは、そのパケットが有効データを含むことを示す制御データを含んでいる。
図8は、SLVSインタフェースを用いた場合における、異常検出回路29Aの一動作例を表すものであり、(A)は同期信号XVSの波形を示し、(B)は同期信号XHSの波形を示し、(C)はトリガ信号TRGの波形を示す。
タイミングt31において、同期信号XVSにパルスが現れる(図8(A))。これにより、フレーム期間Fが開始する。タイミングt32において、デコーダ26Aは、画像信号Spicに含まれる、パケットが有効データを含むことを示す制御データを検出し、この制御データに基づいてトリガ信号TRGを低レベルから高レベルに変化させる(図8(C))。カウンタ23Aは、このトリガ信号TRGの変化に基づいて、カウント動作OPを開始する。この例では、タイミングt32~t33の期間において、画像信号Spicにおける複数のパケットのそれぞれは、有効データを含むことを示す制御データを含むので、デコーダ26Aは、この期間において、トリガ信号TRGを高レベルに維持する。そして、タイミングt33において、パケットが有効データを含まなくなると、デコーダ26Aは、トリガ信号TRGを高レベルから低レベルに変化させる。
そして、タイミングt34において、同期信号XVSに2つ目のパルスが現れる(図6(A))。これにより、フレーム期間Fが終了するとともに、新たなフレーム期間Fが開始する。タイミングt35において、デコーダ26Aは、画像信号Spicに含まれる、パケットが有効データを含むことを示す制御データを検出し、この制御データに基づいてトリガ信号TRGを低レベルから高レベルに変化させる(図8(C))。カウンタ23Aは、このトリガ信号TRGの変化に基づいて、カウント動作OPを停止する。比較部24は、このカウント動作OPにおいて、カウント値CNTがしきい値THを超えたかどうかを判定する。
この異常検出回路29Aは、デコーダ26Aが生成するトリガ信号TRGにおける2つのパルスの間の時間長を検出する。具体的には、異常検出回路29Aは、隣り合う2つのフレーム期間Fのそれぞれにおける、有効データの開始タイミングの間の時間長を検出する。これにより、異常検出回路29Aは、同期信号XVSのパルスが、フレーム期間Fの長さに対応する所定の間隔で現れるかどうかを、間接的に検出することができる。
次に、本変形例に係る他の撮像システム1Aについて説明する。この例では、撮像装置10および画像処理装置20Aは、MIPI(Mobile Industry Processor Interface)を用いて通信を行う。この撮像システム1Aのデコーダ26Aは、画像信号Spicに含まれる、フレームの開始を示す制御データを検出し、その制御データに基づいてトリガ信号TRGを生成するように構成される。
図9は、MIPIを用いた場合における、画像信号Spicの信号フォーマットの一例を表すものである。画像信号Spicは、複数のパケットを含んでいる。複数のパケットのそれぞれは、パケットヘッダPH、データ、パケットフッタPFを含んでいる。複数のパケットは、同期信号XHSに同期して送信される。1つのフレーム期間Fにおける複数のパケットは、フレームの開始を示す制御データ(フレームスタートFS)と、フレームの終了を示す制御データ(フレームエンドFE)に挟まれて配置される。
図10は、MIPIを用いた場合における、異常検出回路29Aの一動作例を表すものであり、(A)は同期信号XVSの波形を示し、(B)は同期信号XHSの波形を示し、(C)は画像信号Spicの波形を示し、(D)はトリガ信号TRGの波形を示す。
タイミングt41において、同期信号XVSにパルスが現れる(図10(A))。これにより、フレーム期間Fが開始する。タイミングt42において、画像信号Spicには、フレームの開始を示すショートパケットが現れる(図10(C))。このショートパケットは、図9に示したフレームスタートFSを示す制御データを含む。デコーダ26Aは、このショートパケットに含まれる制御データに基づいて、トリガ信号TRGのパルスを生成する(図10(D))。カウンタ23Aは、このパルスに基づいてカウント動作OPを開始する。
そして、タイミングt43において、同期信号XVSに2つ目のパルスが現れる(図6(A))。これにより、フレーム期間Fが終了するとともに、新たなフレーム期間Fが開始する。タイミングt44において、画像信号Spicには、このフレームの開始を示すショートパケットが現れる(図10(C))。デコーダ26Aは、このショートパケットに含まれる制御データに基づいて、トリガ信号TRGのパルスを生成する(図10(D))。カウンタ23Aは、このパルスに基づいてカウント動作OPを停止する。比較部24は、このカウント動作OPにおいて、カウント値CNTがしきい値THを超えたかどうかを判定する。
この異常検出回路29Aは、デコーダ26Aが生成するトリガ信号TRGにおける2つのパルスの間の時間長を検出する。具体的には、異常検出回路29Aは、隣り合う2つのフレーム期間Fのそれぞれにおける、フレームの開始を示すショートパケットの間の時間長を検出する。これにより、異常検出回路29Aは、同期信号XVSのパルスが、フレーム期間Fの長さに対応する所定の間隔で現れるかどうかを、間接的に検出することができる。
このように、本変形例に係る異常検出回路29Aでは、同期信号XVSに応じた画像信号Spicに含まれる、同期信号XVSの1周期に対応するフレーム期間における所定のタイミング位置に設けられた制御データをデコード可能なデコーダ26Aをさらに備えるようにした。デコーダ26Aは、第1のフレーム期間Fにおける制御データに基づいて第1のパルスを生成可能であり、第1のフレーム期間Fの後の第2のフレーム期間Fにおける制御データに基づいて第2のパルスを生成可能なようにした。これにより、異常検出回路29Aでは、デコーダ26Aが生成した2つのパルスに基づいて、間接的に、同期信号XVSの異常を検出することができる。
[変形例1-2]
上記実施の形態では、同期信号XVSの異常を検出したが、これに限定されるものではなく、これに代えて、例えば同期信号XHSの異常を検出してもよい。
上記実施の形態では、同期信号XVSの異常を検出したが、これに限定されるものではなく、これに代えて、例えば同期信号XHSの異常を検出してもよい。
<2.第2の実施の形態>
次に、第2の実施の形態に係る撮像システム2について説明する。本実施の形態は、時間長を検出する期間が、上記第1の実施の形態と異なるものである。すなわち、上記第1の実施の形態では、フレーム期間Fの時間長を検出したが、本実施の形態では、撮像装置の、同期信号XVSに対する応答時間の時間長を検出している。なお、上記第1の実施の形態に係る撮像システム1と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
次に、第2の実施の形態に係る撮像システム2について説明する。本実施の形態は、時間長を検出する期間が、上記第1の実施の形態と異なるものである。すなわち、上記第1の実施の形態では、フレーム期間Fの時間長を検出したが、本実施の形態では、撮像装置の、同期信号XVSに対する応答時間の時間長を検出している。なお、上記第1の実施の形態に係る撮像システム1と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
図11は、撮像システム2の一構成例を表すものである。撮像システム2は、撮像装置30と、画像処理装置40とを備えている。この例では、撮像装置30および画像処理装置40は、SLVS-ECインタフェースを用いて通信を行う。画像信号Spicは、図5に示した信号フォーマットを有する。
撮像装置30は、画像処理装置40から供給された同期信号XVSに基づいて、被写体を撮像するように構成される。撮像装置30は、同期信号生成部32を有している。同期信号生成部32は、画像処理装置40から供給された同期信号XVSに基づいて同期信号XHSを生成するように構成される。
画像処理装置40は、デコーダ41と、同期信号生成部42と、カウンタ43とを有している。デコーダ41、カウンタ43、および比較部24は、異常検出回路49を構成する。
デコーダ41は、画像信号Spicに含まれる、フレームの開始を示す制御データを検出し、その制御データに基づいてトリガ信号TRGを生成するように構成される。
同期信号生成部42は、クロック信号生成部22が生成したクロック信号CK2に基づいて、同期信号XVSを生成するように構成される。画像処理装置40は、同期信号生成部42が生成した同期信号XVSを撮像装置30に対して供給するようになっている。
カウンタ43は、同期信号XVSに含まれるパルスに基づいて、クロック信号生成部22から供給されたクロック信号CK2のクロックパルスの数を数えるカウント動作OPを開始することにより、同期信号XVSのパルスおよびトリガ信号TRGのパルスの間の時間長を検出するように構成される。
ここで、異常検出回路49は、本開示の一実施の形態における「異常検出回路」の一具体例に対応する。デコーダ41は、本開示の一実施の形態における「デコーダ」の一具体例に対応する。同期信号生成部42は、本開示の一実施の形態における「同期信号生成回路」の一具体例に対応する。
図12は、異常検出回路49の一動作例を表すものであり、(A)は同期信号XVSの波形を示し、(B)は同期信号XHSの波形を示し、(C)はトリガ信号TRGの波形を示す。タイミングt51において、同期信号XVSにパルスが現れる(図12(A))。これにより、フレーム期間Fが開始する。カウンタ43は、このパルスに基づいてカウント動作OPを開始する。そして、タイミングt52において、デコーダ41は、画像信号Spicに含まれる、フレームの開始を示す制御データを検出し、この制御データに基づいてトリガ信号TRGのパルスを生成する(図12(C))。カウンタ43は、このパルスに基づいてカウント動作OPを停止する。比較部24は、このカウント動作OPにおいて、カウント値CNTがしきい値THを超えたかどうかを判定する。しきい値THは、同期信号XVSのパルスのタイミングから、撮像装置30がフレームの開始を示す制御データを生成するまでの、撮像装置30の応答時間が通常の時間である場合に、カウント値CNTがこのしきい値THを超えないような値に設定される。
図13は、トリガ信号TRGのパルスが遅れた場合における異常検出回路49のより詳細な動作例を表すものであり、(A)はクロック信号CK2の波形を示し、(B)は同期信号XVSの波形を示し、(C)はトリガ信号TRGの波形を示し、(D)はカウンタ43のカウント値CNTを示し、(E)は比較部24におけるしきい値THを示し、(F)は信号CTLの波形を示す。
撮像装置30において、同期信号生成部42は、クロック信号生成部22が生成したクロック信号CK2に基づいて、同期信号XVSを生成する(図13(A),(B))。
タイミングt61において、同期信号XVSにパルスが現れると(図13(B))、画像処理装置40では、カウンタ43は、例えばタイミングt62において、このパルスに基づいてカウント動作OPを開始し、カウンタ43のカウント値CNTが増加し始める(図13(D))。この例では、しきい値THは“10”である(図13(E))。カウント値CNTがこのしきい値TH以下である場合には、信号CTLは低レベルに維持される(図13(F))。
例えば、撮像システム2が正常に動作している場合には、タイミングt63において、デコーダ41は、画像信号Spicに含まれる、フレームの開始を示す制御データを検出し、この制御データに基づいてトリガ信号TRGのパルスを生成する(図13(C))。カウンタ43は、このパルスに基づいて、カウント動作OPを停止する。
このタイミングt63では、カウント値CNTは“10”である。この例では、カウンタ43はカウント動作OPを停止するので、カウント値CNTはしきい値TH(“10”)を超えない。
例えば、画像処理装置40から撮像装置30への同期信号XVSの信号経路に異常が生じ、あるいは撮像装置30における画像信号生成部14が故障した場合には、トリガ信号TRGにパルスが現れるタイミングが、タイミングt63から遅れ得る。この場合には、カウンタ43のカウント値CNTは、引き続き増加し続ける(図13(D))。タイミングt64において、カウント値CNTが“11”になると、カウント値CNTがしきい値TH(“10”)を超えるので、比較部24は、信号CTLを低レベルから高レベルに変化させる(図13(F))。
制御部25は、この信号CTLの変化に基づいて、画像処理装置40の動作を停止させる。すなわち、画像処理装置40から撮像装置30への同期信号XVSの信号経路に異常が生じ、あるいは撮像装置30における画像信号生成部14が故障しているので、画像処理装置40の動作を停止させる。
このように、異常検出回路49では、同期信号XVSに応じたパルスに基づいてカウント動作OPを行うことにより、同期信号XVSに応じた2つのパルスの間の時間長を検出可能なカウンタ43と、カウンタ43のカウント値CNTに基づいて、同期信号XVSの異常を判定可能な比較部24とを設けるようにした。これにより、異常検出回路49では、例えば、画像処理装置40から撮像装置30への同期信号XVSの信号経路の異常や、画像処理装置40における画像信号生成部14の故障に起因する、同期信号XVSの異常を検出することができる。
異常検出回路49では、同期信号XVSを生成可能な同期信号生成部42と、同期信号XVSに応じた画像信号Spicに含まれる、同期信号XVSの1周期に対応するフレーム期間Fにおける所定のタイミング位置に設けられた制御データをデコード可能なデコーダ41とをさらに備えるようにした。同期信号XVSは、第1のパルスを含むようにした。デコーダ41は、制御データに基づいて第2のパルスを生成可能なようにした。これにより、異常検出回路49では、例えば、画像処理装置40から撮像装置30への同期信号XVSの信号経路の異常や、撮像装置30における画像信号生成部14の故障に起因する、同期信号XVSの異常を検出することができる。その他の効果は、上記第1の実施の形態の場合と同様である。
[変形例2-1]
上記実施の形態では、撮像装置30および画像処理装置40は、SLVS-ECインタフェースを用いて通信を行うようにしたが、これに限定されるものではない。これに代えて、例えば、SLVSインタフェースを用いて通信を行ってもよいし、MIPIを用いて通信を行ってもよい。
上記実施の形態では、撮像装置30および画像処理装置40は、SLVS-ECインタフェースを用いて通信を行うようにしたが、これに限定されるものではない。これに代えて、例えば、SLVSインタフェースを用いて通信を行ってもよいし、MIPIを用いて通信を行ってもよい。
図14は、SLVSインタフェースを用いた場合における、異常検出回路49の一動作例を表すものであり、(A)は同期信号XVSの波形を示し、(B)は同期信号XHSの波形を示し、(C)はトリガ信号TRGの波形を示す。
タイミングt71において、同期信号XVSにパルスが現れる(図14(A))。これにより、フレーム期間Fが開始する。カウンタ43は、このパルスに基づいて、カウント動作OPを開始する。そして、タイミングt32において、デコーダ41は、画像信号Spicに含まれる、パケットが有効データを含むことを示す制御データを検出し、この制御データに基づいてトリガ信号TRGを低レベルから高レベルに変化させる(図14(C))。カウンタ43は、このトリガ信号TRGの変化に基づいて、カウント動作OPを停止する。比較部24は、このカウント動作OPにおいて、カウント値CNTがしきい値THを超えたかどうかを判定する。
図15は、MIPIを用いた場合における、異常検出回路49の一動作例を表すものであり、(A)は同期信号XVSの波形を示し、(B)は同期信号XHSの波形を示し、(C)は画像信号Spicの波形を示し、(D)はトリガ信号TRGの波形を示す。
タイミングt81において、同期信号XVSにパルスが現れる(図15(A))。これにより、フレーム期間Fが開始する。カウンタ43は、このパルスに基づいて、カウント動作OPを開始する。タイミングt82において、画像信号Spicには、フレームの開始を示すショートパケットが現れる(図15(C))。デコーダ41は、このショートパケットに含まれる制御データに基づいて、トリガ信号TRGのパルスを生成する(図15(D))。カウンタ43は、このパルスに基づいてカウント動作OPを停止する。比較部24は、このカウント動作OPにおいて、カウント値CNTがしきい値THを超えたかどうかを判定する。
[変形例2-2]
上記実施の形態では、同期信号XVSの異常を検出したが、これに限定されるものではなく、これに代えて、例えば同期信号XHSの異常を検出してもよい。
上記実施の形態では、同期信号XVSの異常を検出したが、これに限定されるものではなく、これに代えて、例えば同期信号XHSの異常を検出してもよい。
<3.適用例>
次に、上記実施の形態および変形例で説明した撮像システムの適用例について説明する。
次に、上記実施の形態および変形例で説明した撮像システムの適用例について説明する。
図16は、上記第2の実施の形態等の撮像システム2が適用される検査システム90の一構成例を表すものである。検査システム90は、例えば、ベルトコンベアにより搬送される工業生産品を撮像し、得られた画像を利用して工業生産品の検査を行うように構成される。検査システム90は、ベルトコンベア91と、撮像装置92A~92Cと、検査処理部93とを備えている。
ベルトコンベア91は、検査の対象である工業生産品を搬送方向Aに向かって搬送するように構成される。ベルトコンベア91は、検査処理部93から供給された制御信号に基づいて、搬送速度を制御することができるようになっている。
撮像装置92A~92Cは、ベルトコンベア91により搬送される工業生産品を撮像するように構成される。撮像装置92A~92Cは、互いに異なる方向から、工業生産品を撮像する。撮像装置92A~92Cのそれぞれは、検査処理部93から供給された同期信号XVSに基づいて撮像動作を行い、撮像画像の画像データを示す画像信号Spicを、検査処理部93に供給するようになっている。
検査処理部93は、検査システム90における検査処理を制御するように構成される。検査処理部93は、ベルトコンベア91に対して制御信号を供給することにより、ベルトコンベア91の搬送速度を制御する。検査処理部93は、同期信号XVSを撮像装置92A~92Cに供給することにより、撮像装置92A~92Cにおける、工業生産品を撮像する際の撮像タイミングを制御する。そして、検査処理部93は、撮像装置92A~92Cから供給された画像信号Spicが示す画像データに基づいて、工業生産品を検査するようになっている。
例えば、撮像装置92A~92Cのそれぞれは、例えば、図11に示した撮像装置30に対応する。検査処理部93は、例えば、図11に示した画像処理装置40に対応する。検査処理部93に設けられた異常検出回路49は、検査処理部93から撮像装置92A~92Cへの同期信号XVSの信号経路の異常や、撮像装置92A~92Cにおける画像信号生成部14の故障に起因する、同期信号XVSの異常を検出することができる。
<4.移動体への応用例>
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図17は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図17に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(interface)12053が図示されている。
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図17の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図18は、撮像部12031の設置位置の例を示す図である。
図18では、車両12100は、撮像部12031として、撮像部12101,12102,12103,12104,12105を有する。
撮像部12101,12102,12103,12104,12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102,12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。撮像部12101及び12105で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図18には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部12031に適用され得る。車両に搭載される撮像装置では、同期信号の異常を検出することにより、車両制御システムの信頼性を高めることができる。その結果、車両制御システム12000では、車両の衝突回避あるいは衝突緩和機能、車間距離に基づく追従走行機能、車速維持走行機能、車両の衝突警告機能、車両のレーン逸脱警告機能等の信頼性を、高めることができる。
以上、いくつかの実施の形態および変形例、ならびにそれらの具体的な応用例および電子機器への適用例を挙げて本技術を説明したが、本技術はこれらの実施の形態等には限定されず、種々の変形が可能である。
例えば、上記の各実施の形態等では、同期信号の消失や、同期信号の遅延を検出することにより、同期信号の異常を検出したが、これに限定されるものではない。これに代えて、例えば、同期信号のパルスが所望のタイミングよりも早く現れた場合に、同期信号の異常を検出してもよい。
例えば、上記の各実施の形態等では、SLVS-ECインタフェース、SLVSインタフェース、MIPIの例を示したが、これに限定されるものではなく、様々なインタフェースに適用することができる。また、デコーダが検出する制御データは、実施の形態および変形例において示した例に限定されるものではなく、様々な制御データを用いることができる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
なお、本技術は以下のような構成とすることができる。以下の構成の本技術によれば、同期信号の異常を検出することができる。
(1)
同期信号に応じたパルスに基づいてカウント動作を行うことにより、前記同期信号に応じた2つのパルスの間の時間長を検出可能なカウンタと、
前記カウンタのカウント値に基づいて、前記同期信号の異常を判定可能な判定回路と
を備えた異常検出回路。
(2)
前記カウンタは、前記2つのパルスのうちの第1のパルスに基づいて前記カウント動作を開始可能であり、前記2つのパルスのうちの第2のパルスに基づいて前記カウント動作を停止可能であり、
前記判定回路は、前記カウント値が所定のしきい値を超えたかどうかを判定することにより前記異常を判定可能である
前記(1)に記載の異常検出回路。
(3)
前記同期信号は、前記第1のパルスおよび前記第2のパルスを含む
前記(2)に記載の異常検出回路。
(4)
前記同期信号に応じた画像信号に含まれる、前記同期信号の1周期に対応する周期期間における所定のタイミング位置に設けられた制御データをデコード可能なデコーダをさらに備え、
前記デコーダは、第1の前記周期期間における前記制御データに基づいて前記第1のパルスを生成可能であり、前記第1の周期期間の後の第2の前記周期期間における前記制御データに基づいて前記第2のパルスを生成可能である
前記(2)に記載の異常検出回路。
(5)
前記同期信号を生成可能な同期信号生成回路と、
前記同期信号に応じた画像信号に含まれる、前記同期信号の1周期に対応する周期期間における所定のタイミング位置に設けられた制御データをデコード可能なデコーダと
をさらに備え、
前記同期信号は、前記第1のパルスを含み、
前記デコーダは、前記制御データに基づいて前記第2のパルスを生成可能である
前記(2)に記載の異常検出回路。
(6)
前記制御データは、フレームの開始を示すデータである
前記(4)または(5)に記載の異常検出回路。
(7)
前記制御データは、前記画像信号に含まれるデータが有効であるかどうかを示すデータである
前記(4)または(5)に記載の異常検出回路。
(8)
同期信号に応じたパルスに基づいてカウント動作を行うことにより、前記同期信号に応じた2つのパルスの間の時間長を検出することと、
前記カウント動作におけるカウント値に基づいて、前記同期信号の異常を判定することと
を含む異常検出方法。
(9)
同期信号に基づいて撮像動作を行うことが可能な撮像装置と、
前記撮像装置の撮像結果に基づいて画像処理を行うことが可能な画像処理装置と
を備え、
前記画像処理装置は、
前記同期信号に応じたパルスに基づいてカウント動作を行うことにより、前記同期信号に応じた2つのパルスの間の時間長を検出可能なカウンタと、
前記カウンタのカウント値に基づいて、前記同期信号の異常を判定可能な判定回路と
を有する
撮像システム。
(10)
前記画像処理装置は、前記判定回路が前記異常を判定した場合に、前記画像処理を停止可能である
前記(9)に記載の撮像システム。
同期信号に応じたパルスに基づいてカウント動作を行うことにより、前記同期信号に応じた2つのパルスの間の時間長を検出可能なカウンタと、
前記カウンタのカウント値に基づいて、前記同期信号の異常を判定可能な判定回路と
を備えた異常検出回路。
(2)
前記カウンタは、前記2つのパルスのうちの第1のパルスに基づいて前記カウント動作を開始可能であり、前記2つのパルスのうちの第2のパルスに基づいて前記カウント動作を停止可能であり、
前記判定回路は、前記カウント値が所定のしきい値を超えたかどうかを判定することにより前記異常を判定可能である
前記(1)に記載の異常検出回路。
(3)
前記同期信号は、前記第1のパルスおよび前記第2のパルスを含む
前記(2)に記載の異常検出回路。
(4)
前記同期信号に応じた画像信号に含まれる、前記同期信号の1周期に対応する周期期間における所定のタイミング位置に設けられた制御データをデコード可能なデコーダをさらに備え、
前記デコーダは、第1の前記周期期間における前記制御データに基づいて前記第1のパルスを生成可能であり、前記第1の周期期間の後の第2の前記周期期間における前記制御データに基づいて前記第2のパルスを生成可能である
前記(2)に記載の異常検出回路。
(5)
前記同期信号を生成可能な同期信号生成回路と、
前記同期信号に応じた画像信号に含まれる、前記同期信号の1周期に対応する周期期間における所定のタイミング位置に設けられた制御データをデコード可能なデコーダと
をさらに備え、
前記同期信号は、前記第1のパルスを含み、
前記デコーダは、前記制御データに基づいて前記第2のパルスを生成可能である
前記(2)に記載の異常検出回路。
(6)
前記制御データは、フレームの開始を示すデータである
前記(4)または(5)に記載の異常検出回路。
(7)
前記制御データは、前記画像信号に含まれるデータが有効であるかどうかを示すデータである
前記(4)または(5)に記載の異常検出回路。
(8)
同期信号に応じたパルスに基づいてカウント動作を行うことにより、前記同期信号に応じた2つのパルスの間の時間長を検出することと、
前記カウント動作におけるカウント値に基づいて、前記同期信号の異常を判定することと
を含む異常検出方法。
(9)
同期信号に基づいて撮像動作を行うことが可能な撮像装置と、
前記撮像装置の撮像結果に基づいて画像処理を行うことが可能な画像処理装置と
を備え、
前記画像処理装置は、
前記同期信号に応じたパルスに基づいてカウント動作を行うことにより、前記同期信号に応じた2つのパルスの間の時間長を検出可能なカウンタと、
前記カウンタのカウント値に基づいて、前記同期信号の異常を判定可能な判定回路と
を有する
撮像システム。
(10)
前記画像処理装置は、前記判定回路が前記異常を判定した場合に、前記画像処理を停止可能である
前記(9)に記載の撮像システム。
本出願は、日本国特許庁において2023年6月27日に出願された日本特許出願番号2023-104877号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。
Claims (10)
- 同期信号に応じたパルスに基づいてカウント動作を行うことにより、前記同期信号に応じた2つのパルスの間の時間長を検出可能なカウンタと、
前記カウンタのカウント値に基づいて、前記同期信号の異常を判定可能な判定回路と
を備えた異常検出回路。 - 前記カウンタは、前記2つのパルスのうちの第1のパルスに基づいて前記カウント動作を開始可能であり、前記2つのパルスのうちの第2のパルスに基づいて前記カウント動作を停止可能であり、
前記判定回路は、前記カウント値が所定のしきい値を超えたかどうかを判定することにより前記異常を判定可能である
請求項1に記載の異常検出回路。 - 前記同期信号は、前記第1のパルスおよび前記第2のパルスを含む
請求項2に記載の異常検出回路。 - 前記同期信号に応じた画像信号に含まれる、前記同期信号の1周期に対応する周期期間における所定のタイミング位置に設けられた制御データをデコード可能なデコーダをさらに備え、
前記デコーダは、第1の前記周期期間における前記制御データに基づいて前記第1のパルスを生成可能であり、前記第1の周期期間の後の第2の前記周期期間における前記制御データに基づいて前記第2のパルスを生成可能である
請求項2に記載の異常検出回路。 - 前記同期信号を生成可能な同期信号生成回路と、
前記同期信号に応じた画像信号に含まれる、前記同期信号の1周期に対応する周期期間における所定のタイミング位置に設けられた制御データをデコード可能なデコーダと
をさらに備え、
前記同期信号は、前記第1のパルスを含み、
前記デコーダは、前記制御データに基づいて前記第2のパルスを生成可能である
請求項2に記載の異常検出回路。 - 前記制御データは、フレームの開始を示すデータである
請求項4に記載の異常検出回路。 - 前記制御データは、前記画像信号に含まれるデータが有効であるかどうかを示すデータである
請求項4に記載の異常検出回路。 - 同期信号に応じたパルスに基づいてカウント動作を行うことにより、前記同期信号に応じた2つのパルスの間の時間長を検出することと、
前記カウント動作におけるカウント値に基づいて、前記同期信号の異常を判定することと
を含む異常検出方法。 - 同期信号に基づいて撮像動作を行うことが可能な撮像装置と、
前記撮像装置の撮像結果に基づいて画像処理を行うことが可能な画像処理装置と
を備え、
前記画像処理装置は、
前記同期信号に応じたパルスに基づいてカウント動作を行うことにより、前記同期信号に応じた2つのパルスの間の時間長を検出可能なカウンタと、
前記カウンタのカウント値に基づいて、前記同期信号の異常を判定可能な判定回路と
を有する
撮像システム。 - 前記画像処理装置は、前記判定回路が前記異常を判定した場合に、前記画像処理を停止可能である
請求項9に記載の撮像システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202480033010.7A CN121153247A (zh) | 2023-06-27 | 2024-05-02 | 异常检测电路、异常检测方法和成像系统 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023104877 | 2023-06-27 | ||
| JP2023-104877 | 2023-06-27 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2025004532A1 true WO2025004532A1 (ja) | 2025-01-02 |
Family
ID=93938218
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2024/016908 Ceased WO2025004532A1 (ja) | 2023-06-27 | 2024-05-02 | 異常検出回路、異常検出方法、および撮像システム |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN121153247A (ja) |
| WO (1) | WO2025004532A1 (ja) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5946443A (en) * | 1996-08-09 | 1999-08-31 | Samsung Electronics Co., Ltd. | Method and apparatus for restoring sync data in a digital video disc playback system |
| JP2001351318A (ja) * | 2000-06-08 | 2001-12-21 | Matsushita Electric Ind Co Ltd | バッファメモリアドレス変換装置、セクタアドレス情報信頼性判定装置、欠陥セクタ判定装置、eccブロック同期検出装置、光ディスク再生装置、媒体及び情報集合体 |
| JP2007318558A (ja) * | 2006-05-26 | 2007-12-06 | Fujitsu Ten Ltd | 画像処理装置 |
| US20140184659A1 (en) * | 2012-12-28 | 2014-07-03 | Lg Display Co., Ltd | Liquid crystal display |
| JP2023037814A (ja) * | 2021-09-06 | 2023-03-16 | 株式会社Jvcケンウッド | ノイズ検出回路及び撮像装置 |
-
2024
- 2024-05-02 CN CN202480033010.7A patent/CN121153247A/zh active Pending
- 2024-05-02 WO PCT/JP2024/016908 patent/WO2025004532A1/ja not_active Ceased
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5946443A (en) * | 1996-08-09 | 1999-08-31 | Samsung Electronics Co., Ltd. | Method and apparatus for restoring sync data in a digital video disc playback system |
| JP2001351318A (ja) * | 2000-06-08 | 2001-12-21 | Matsushita Electric Ind Co Ltd | バッファメモリアドレス変換装置、セクタアドレス情報信頼性判定装置、欠陥セクタ判定装置、eccブロック同期検出装置、光ディスク再生装置、媒体及び情報集合体 |
| JP2007318558A (ja) * | 2006-05-26 | 2007-12-06 | Fujitsu Ten Ltd | 画像処理装置 |
| US20140184659A1 (en) * | 2012-12-28 | 2014-07-03 | Lg Display Co., Ltd | Liquid crystal display |
| JP2023037814A (ja) * | 2021-09-06 | 2023-03-16 | 株式会社Jvcケンウッド | ノイズ検出回路及び撮像装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN121153247A (zh) | 2025-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11297268B2 (en) | Solid-state imaging element, imaging apparatus, and method of controlling solid-state imaging element | |
| US20220070392A1 (en) | Event signal detection sensor and control method | |
| EP3806451B1 (en) | Solid-state imaging element, imaging device, and method for controlling solid-state imaging element | |
| US11152726B2 (en) | Connector device and connector system | |
| WO2021131831A1 (ja) | 固体撮像素子、および、撮像装置 | |
| WO2025004532A1 (ja) | 異常検出回路、異常検出方法、および撮像システム | |
| CN113661700B (zh) | 成像装置与成像方法 | |
| JP7520724B2 (ja) | 撮像装置、撮像システムおよび故障検出方法 | |
| US11201997B2 (en) | Solid-state imaging device, driving method, and electronic apparatus | |
| US20240205569A1 (en) | Imaging device, electronic device, and light detecting method | |
| US11722804B2 (en) | Imaging device and imaging system having a stacked structure for pixel portion and signal processing circuit portion | |
| JP7641948B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| WO2025028018A1 (ja) | 欠陥検出装置、撮像装置、および、欠陥検出方法 | |
| WO2025013429A1 (ja) | 測距システム、発光装置および受光装置 | |
| WO2026074015A1 (en) | Sensor device and method for operating a sensor device | |
| WO2025069699A1 (ja) | 光検出システム、および、光検出システムの制御方法 | |
| WO2024247481A1 (ja) | 撮像装置、撮像システム、および、撮像装置の制御方法 | |
| WO2024034284A1 (ja) | センサシステムおよび移動体システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 24831405 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |