WO2020246117A1 - 固着判断装置および固着判断方法 - Google Patents

固着判断装置および固着判断方法 Download PDF

Info

Publication number
WO2020246117A1
WO2020246117A1 PCT/JP2020/012557 JP2020012557W WO2020246117A1 WO 2020246117 A1 WO2020246117 A1 WO 2020246117A1 JP 2020012557 W JP2020012557 W JP 2020012557W WO 2020246117 A1 WO2020246117 A1 WO 2020246117A1
Authority
WO
WIPO (PCT)
Prior art keywords
cpu
pixel
image data
sticking
pixel value
Prior art date
Application number
PCT/JP2020/012557
Other languages
English (en)
French (fr)
Inventor
伸彦 谷端
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to CN202080039853.XA priority Critical patent/CN113892259B/zh
Priority to DE112020002689.2T priority patent/DE112020002689T5/de
Publication of WO2020246117A1 publication Critical patent/WO2020246117A1/ja
Priority to US17/453,989 priority patent/US20220058412A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/006—Electronic inspection or testing of displays and display drivers, e.g. of LED or LCD displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/145—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen

Definitions

  • Patent Document 1 proposes a technique for automatically detecting whether or not the image data displayed on the display device is abnormal.
  • moving object removal processing is performed on the image data in the measurement area.
  • the image data in the measurement area is divided into regions, and an abnormality in the image is detected from the average value of the brightness values in each region or its change.
  • Patent Document 1 in order to reduce the signal processing load, an area including a plurality of pixels is set, and the average value of the luminance values is calculated for each area.
  • a camera is mounted on a vehicle. Even if there is no sticking, the change in the brightness value of each pixel is small while the vehicle is stopped. Therefore, when the sticking is detected, if the average value of the brightness values of the region is calculated as in Patent Document 1, the average value of the brightness values differs between the case where the sticking occurs and the case where the sticking is normal. Less is. Therefore, it is difficult to judge sticking with the average value.
  • a CPU, GPU, and memory are connected by a bus.
  • a bus When comparing the luminance value with the previous value for each pixel, it is conceivable to execute the following processes (1) to (4).
  • the CPU operates in the above processes (2) to (4). Therefore, the processing load of the CPU is high when the processes (2) to (4) are being executed.
  • An object of the present disclosure is to provide a sticking determination device and a sticking determination method capable of reducing the processing load of the CPU.
  • the sticking determination device includes a CPU, a GPU, a memory, and a bus connecting them, and image data representing an image captured by a camera with pixel values for each pixel is provided. Determine if it is stuck.
  • the sticking determination device includes an image acquisition unit that acquires image data from the camera and stores it in a memory. Based on the fact that the image data of the division unit obtained by dividing the image data for one frame is stored in the memory, the image acquisition unit transmits a save completion notification indicating that the storage of the division unit is completed to the CPU.
  • the GPU receives a read instruction from the CPU to read the pixel value of the pixel at the sticking determination position from the memory
  • the GPU reads the pixel value from the memory and transmits it to the CPU.
  • the CPU transmits a read instruction to the GPU based on the receipt of the save completion notification.
  • the CPU performs a pixel value comparison process of comparing the pixel value read from the memory with the previous pixel value of the pixel from which the current pixel value was read in order to determine whether or not the image data is stuck. I do.
  • the sticking determination method acquires image data representing a CPU, a GPU, a memory, a bus connecting them, and an image captured by a camera in pixel values for each pixel, and stores the memory.
  • a device provided with an image acquisition unit for storing in the image determines whether or not the image data is fixed.
  • the image acquisition unit sends a save completion notification indicating that the saving of the division unit is completed to the CPU based on saving the image data of the division unit obtained by dividing the image data for one frame into the memory, and the GPU sends a save completion notification.
  • the CPU When the CPU receives a read instruction to read the pixel value of the pixel at the sticking determination position from the memory, the pixel value is read from the memory and transmitted to the CPU, and the CPU sends the save completion notification to the GPU.
  • the pixel value read from the memory and the previous pixel value read from the memory are the previous ones. Performs pixel value comparison processing to compare with pixel values.
  • the image acquisition unit transmits a save completion notification indicating that the saving of the image data in the division unit is completed to the CPU.
  • the CPU issues a read instruction, which is a start process of a process for determining sticking (hereinafter, sticking determination process). Therefore, the sticking determination process can be started before all the image data for one frame is taken into the memory. Since the start of the sticking determination process can be accelerated, the processing load can be distributed rather than starting the sticking determination process after all the image data for one frame is taken into the memory. By distributing the processing load, the processing load of the CPU per hour can be reduced.
  • the sticking determination device includes a CPU, a GPU, a memory, and a bus connecting them, and image data representing an image captured by a camera as a pixel value for each pixel is stuck. Determine if you are doing it.
  • the sticking determination device includes an image acquisition unit that acquires image data from the camera and stores it in a memory.
  • the image acquisition unit transmits a save completion notification indicating that the saving is completed to the CPU based on saving a part or all the image data of one frame of the image data in the memory.
  • the GPU receives a read instruction from the CPU to read the pixel value of the pixel at the sticking determination position from the memory, the GPU reads the pixel value from the memory and transmits it to the CPU.
  • the CPU transmits a read instruction to the GPU based on the receipt of the save completion notification.
  • the CPU performs a pixel value comparison process of comparing the pixel value read from the memory with the previous pixel value of the pixel from which the current pixel value was read in order to determine whether or not the image data is stuck. I do.
  • the CPU sets the pixel position as the sticking determination position as a part of the pixel position for one frame.
  • the sticking determination method acquires image data representing a CPU, a GPU, a memory, a bus connecting them, and an image captured by a camera in pixel values for each pixel.
  • a device provided with an image acquisition unit that stores the image data in the memory determines whether or not the image data is fixed.
  • the image acquisition unit sends a save completion notification indicating that the saving is completed to the CPU based on saving a part or all of the image data for one frame in the memory, and the GPU sends the save completion notification from the memory.
  • the pixel value is read from the memory and transmitted to the CPU, and the CPU reads to the GPU based on the reception of the save completion notification.
  • the CPU compares the pixel value read from the memory with the previous pixel value of the pixel from which the current pixel value was read in order to determine whether the image data is stuck.
  • the pixel value comparison processing is performed, and the CPU sets the pixel position as the fixing determination position as a part of the pixel position for one frame.
  • the pixel position as the sticking judgment position is a part of the pixel position for one frame. Therefore, the number of sticking determination positions is reduced as compared with the case where all the pixel positions for one frame are set as the sticking determination positions, so that the load on the CPU can be reduced.
  • FIG. 1 is a configuration diagram of a camera image display system.
  • FIG. 2 is a diagram showing a sticking determination process executed by the CPU and a process executed by the IPU and the GPU in connection with the sticking determination process.
  • FIG. 1 is a configuration diagram of a camera image display system 1.
  • the camera image display system 1 is mounted on the vehicle C.
  • the camera image display system 1 includes a camera 2, a display 3, and a control unit 4.
  • the camera 2, the display 3, and the control unit 4 are connected to the in-vehicle LAN bus 5.
  • the camera 2, the display 3, and the control unit 4 can send and receive signals to and from each other via the in-vehicle LAN bus 5.
  • the camera 2 can be installed at a position outside the vehicle to image the front of the vehicle. Further, the camera 2 can be installed at a position for photographing the rear of the vehicle or the interior of the vehicle.
  • the camera 2 can continuously capture images.
  • One frame captured by the camera 2 is called one frame.
  • the camera 2 may be capable of capturing a moving image by capturing several tens of frames or more per second.
  • the camera 2 includes an image sensor, and the image sensor includes a plurality of pixels.
  • the camera 2 represents an image by a value detected by each pixel of the image sensor (hereinafter, pixel value).
  • the pixel value is a brightness value for each color.
  • the camera 2 outputs image data in which the captured image is represented by a pixel value for each pixel.
  • the image captured by the camera 2 of the present embodiment is rectangular, and the camera 2 outputs image data one horizontal line at a time.
  • the display 3 is arranged at a position that can be visually recognized by the occupant in the passenger compartment of the vehicle C.
  • the display 3 can display various images.
  • a liquid crystal display or an organic EL display can be used as the display 3.
  • the control unit 4 includes an IPU (Image Processing Unit) 41, a bus 42, a flash memory 43, a main memory 44, a cache 45, a GPU 46, a cache 47, and a CPU 48.
  • the control unit 4 displays the image captured by the camera 2 on the display 3. Further, the control unit 4 sequentially determines whether or not the image data is fixed. That is, the control unit 4 is a sticking determination device, and the control unit 4 executes the sticking determination method. Sticking means that the pixel value output by a certain pixel should change under normal conditions, but the pixel value does not change.
  • the IPU41 is an image acquisition unit and is configured to include a processor.
  • the IPU 41 acquires image data from the camera 2 and stores it in the main memory 44. Since the camera 2 outputs the image data one horizontal line at a time, the IPU 41 acquires the image data one horizontal line at a time.
  • the IPU 41 stores the image data of one horizontal line in the main memory 44 every time the image data is acquired.
  • one horizontal line is a division unit in which one frame of image data is divided into a plurality of parts.
  • the IPU 41 outputs a save completion notification to the CPU 48 each time the image data of one horizontal line is saved in the main memory 44.
  • the IPU 41, the flash memory 43, the main memory 44, the cache 45, and the cache 47 are connected to the bus 42.
  • the flash memory 43 is a non-volatile memory.
  • a program or the like executed by the CPU 48 is stored in the flash memory 43.
  • the main memory 44 is a volatile memory.
  • the main memory 44 is configured by using, for example, DRAM.
  • Image data is stored in the main memory 44.
  • the image data stored in the main memory 44 is erased from the main memory 44 after the image indicated by the image data is displayed on the display 3.
  • the cache 45 can send and receive data to and from the GPU 46.
  • the cache 45 is configured using, for example, SRAM.
  • the GPU 46 is a processor for image processing, reads out image data stored in the main memory 44, and displays an image on the display 3 based on the image data. Further, when the GPU 46 receives a read instruction from the CPU 48, the GPU 46 reads the image data from the main memory 44 according to the instruction. The GPU 46 transmits the read image data to the CPU 48.
  • the cache 47 can send and receive data to and from the CPU 48.
  • the cache 47 is configured using, for example, SRAM.
  • the CPU 48 is configured to include a processor, and instructs the GPU 46 to display an image captured by the camera 2 on the display 3. Further, the CPU 48 functions as a sticking determination processing unit and executes a sticking determination process.
  • the sticking determination process is a process of determining whether or not the image data is stuck.
  • the CPU 48 executes the sticking determination process at a predetermined frequency. For example, the CPU 48 executes the sticking determination process at each frame.
  • the CPU 48 outputs a read instruction to the GPU 46.
  • the read instruction is an instruction to read the image data of the image of the sticking determination position from the main memory 44.
  • the sticking determination position is the position of a pixel that determines whether or not the image data is stuck.
  • the positions of all the pixels constituting one frame are not set as the fixing determination positions, but only the positions of some pixels are set as the fixing determination positions. More specifically, in the present embodiment, the positions of some of the pixels constituting each horizontal line are set as the fixing determination positions. Therefore, in the present embodiment, there are a pixel position that is a sticking determination position and a pixel position that is not a sticking determination position for each horizontal line.
  • FIG. 2 shows a sticking determination process executed by the CPU 48 and a process executed by the IPU 41 and the GPU 46 in connection with the sticking determination process.
  • the process shown in FIG. 2 is executed every frame.
  • the IPU 41 captures image data for one horizontal line from the camera 2.
  • the IPU 41 saves the image data captured in S1 in the main memory 44.
  • the save completion notification is transmitted to the CPU 48.
  • the save completion notification is a notification meaning that the image data for one horizontal line has been captured, and also includes information indicating which number of the image data in the horizontal line the captured image data is.
  • the CPU 48 executes S4.
  • S4 a read instruction is transmitted to the GPU 46.
  • the read instruction then includes information that identifies the pixels whose pixel values are to be compared.
  • the pixels for which the pixel values are compared are the same pixels regardless of the frame.
  • the GPU 46 When the GPU 46 receives this read instruction, the GPU 46 acquires the pixel value of the pixel indicated by the read instruction from the main memory 44 in S5. Then, in S6, the GPU 46 transmits the pixel value acquired in S5 to the CPU 48. In S7, the CPU 48 compares the current pixel value transmitted from the GPU 46 in S6 with the previous pixel value of the pixel whose pixel value was read this time. As a result of the comparison, if the current pixel value and the previous pixel value are the same, it is determined that the image data is fixed. The CPU 48 stores the previous pixel value in the cache 47 until the processing in S7 is completed. The process of S7 is a pixel value comparison process. Further, S4 to S7 are the division and sticking determination processing 50.
  • the division / fixation determination process 50 is a process for determining whether or not the image data is adhered to one horizontal line, which is a division unit.
  • the process of performing the division / fixation determination process 50 for all the division units, that is, for one horizontal line in the present embodiment is the fixation determination process.
  • S4 to S7 are shown once each. However, when there are a plurality of pixel positions that are fixed determination positions among the pixels for one horizontal line, the pixel instructing to read is one of the fixed determination positions for one horizontal line in one process of S4. It may be only the pixel of the part. For example, the number of pixels for which a read instruction is given in one process of S4 may be only one pixel. In one process of S4, when the pixels instructing to read are only a part of the sticking judgment positions for one horizontal line, the pixel values of all the sticking judgment positions set for one horizontal line. The process of S4 to S7 is repeated until the pixel value comparison process is completed.
  • S11 executes the same process as S1 except that the position of the horizontal 1 line from which the image data is captured is the line next to the horizontal 1 line from which the image data was captured in S1.
  • S12 and S13 the same processing as in S2 and S3 is executed.
  • the IPU 41 executes S11 after executing S3. Therefore, S111, S12, and S13 are executed in parallel while the CPU 48 and the GPU 46 are executing the division sticking determination process 50.
  • the IPU 41 executes S13, the CPU 48 and the GPU 46 execute the division / fixation determination process 50 for one horizontal line using the image data for one horizontal line taken into the main memory 44 by the processes of S11 to S13. can do.
  • Sn1, Sn2, and Sn3 are the same as S1, S2, and S3, respectively.
  • n is the number of horizontal lines constituting one frame. That is, in Sn1, the image data of the last one line is taken in.
  • Sn2 and Sn3 are the same processes as S2 and S3.
  • the CPU 48 determines that the image data is stuck if it is determined that the image data is stuck even at any one pixel position.
  • the CPU 48 executes a preset sticking determination processing such as outputting a warning image to the display 3.
  • the control unit 4 transmits a save completion notification to the CPU 48 (S3, S13, Sn3).
  • the CPU 48 starts the division sticking determination process 50 (S4). Therefore, before all the image data for one frame is taken into the main memory 44, the division fixation determination process 50 in which all the fixation determination processes are divided for each division unit can be started. That is, it is possible to start the sticking determination process earlier than starting the sticking determination process after all the image data for one frame is taken into the main memory 44.
  • the processing load can be distributed rather than starting the sticking determination process after all the image data for one frame is taken into the main memory 44.
  • the sticking determination process is started after the Sn3 process is completed.
  • the time point at which the sticking determination process must be completed is the same as that of the present embodiment. For example, it is assumed that the time point at which the sticking determination process must be completed is until the camera 2 finishes capturing the next frame.
  • the time available for the split fixation determination process 50 is longer by the time from the time when the S3 process is completed to the time when the Sn3 process is completed. In other words, in the comparative example, since the sticking determination process must be performed in a shorter time than in the present embodiment, an expensive CPU 48 having a high processing speed is required.
  • the time that can be used for the division sticking determination process 50 is longer than that of the comparative example by the time from the time when the S3 process is completed to the end of the Sn3 process. It can be said that the sticking determination process is dispersed by starting the split sticking determination process 50 (that is, a part of the sticking determination process) from the time when the process of S3 is completed. As a result, the processing that needs to be executed per unit time can be reduced, so that the load on the CPU 48 is reduced.
  • S4, S5, and S6 included in the division / fixation determination process 50 image data flows on the bus 42.
  • the processing of S4, S5, and S6 is also concentrated at one time. Therefore, it is necessary to use a bus 42 having a high communication speed.
  • the processing of the CPU 48 is time-distributed by the division sticking determination processing 50, and the bus load per hour is also reduced.
  • the pixel position set as the sticking judgment position in the sticking judgment processing for one frame is a part of the pixel position for one frame.
  • the number of sticking determination positions is reduced as compared with the case where all the pixel positions for one frame are set as the sticking determination positions. In this respect as well, the load on the CPU 48 can be reduced.
  • the imaging target of the camera 2 is analog information. Therefore, if the pixels are not fixed, the pixel values for the same pixel position will not be the same even if the camera 2 is not moving. Further, in the fixing of the image data, usually, the data of only one pixel is not fixed, but the data of a plurality of or all the pixels is fixed.
  • the present embodiment even if the pixel position set as the sticking judgment position is a part of the pixel position for one frame, the decrease in the accuracy of the sticking judgment is suppressed. Therefore, in the present embodiment, it is possible to suppress a decrease in the accuracy of the sticking determination while reducing the load on the CPU 48.
  • the camera 2 is mounted on the vehicle C.
  • the control unit 4 determines the sticking every frame so as not to interfere with the vehicle control or the driving operation. It is also necessary to reduce the cost of the control unit 4. Therefore, it is often impossible to use the high-performance CPU 48.
  • the processing load of the CPU 48 can be reduced, so that it is not necessary to use an expensive CPU 48 having a high processing speed. Therefore, according to the present embodiment, the low-cost control unit 4 can determine the sticking every frame.
  • ⁇ Modification example 1> In the embodiment, in the division sticking determination process 50, only a part of the pixel positions are set as the sticking determination positions. However, as described above, the load on the CPU 48 can be reduced by the division sticking determination process 50. Therefore, when the division sticking determination process 50 is performed, it is not always necessary to set only a part of the pixel positions as the sticking determination positions, and all the pixel positions may be set as the sticking determination positions.
  • the sticking determination position is fixed. Therefore, in the embodiment, the number of pixel positions to be determined to be fixed does not change. However, the number of pixel positions to be determined to be fixed may be reduced as the load on the CPU 48 increases. The number of pixel positions to be determined as sticking may be gradually reduced according to the load of the CPU 48, or may be continuously reduced according to the load of the CPU 48. The load of the CPU 48 can be determined from the usage rate of the CPU 48. The lower the usage rate of the CPU 48, the lower the load on the CPU 48.
  • the CPU 48 also executes a process other than the process of displaying the image captured by the camera 2 on the display 3 and the sticking determination process (hereinafter, other processes) by instructing the GPU 46. Therefore, as in the modification 3, the number of pixel positions to be determined to be fixed is reduced as the load on the CPU 48 is higher, so that delay in other processing can be suppressed.
  • this modification 3 the lower the load on the CPU 48, the larger the number of pixel positions to be set as the sticking determination position in the sticking determination process.
  • the previous image data is stored in the main memory 44 in addition to the current image data, and the GPU 46 in S5. Should acquire the previous pixel value together with the current image value. Then, in S6, the GPU 46 transmits the current pixel value and the previous pixel value to the CPU 48.
  • the sticking determination position is fixed. However, at least a part of the pixel position where the sticking determination position is determined may be changed for each frame.
  • the pixel position set as the sticking determination position can be changed to the pixel position one sideways to the previous sticking determination position. In this case, if the previous sticking judgment position is at the end of one horizontal line and there is no pixel next to the side to be the next sticking judgment position, the next sticking judgment position is in the horizontal one line. It is the pixel position at the opposite end.
  • the fixing determination position to be changed may be randomly determined for each frame.
  • the hash value may be calculated from the pixel values of a plurality of pixels at the sticking determination position. In this case, the hash value is compared with the previous hash value calculated from the previous pixel value of the pixel for which the hash value was calculated. Then, if the current hash value and the previous hash value match, it is determined that the image data is fixed. By doing so, the load on the CPU 48 can be further reduced.
  • the plurality of pixels for calculating the hash value can be, for example, a plurality of pixels in one horizontal line. Further, it may be a plurality of pixels in one vertical line.
  • the division unit is one horizontal line.
  • the division unit is not limited to one horizontal line.
  • the division unit is preferably a unit in which the IPU 41 stores image data in the main memory 44. If the IPU 41 can store the image data in the main memory 44 in a unit smaller than the image data for one horizontal line in the main memory 44, the division unit may be a unit smaller than one horizontal line. Further, if the amount of image data is less than that of one frame, the image data of a plurality of lines may be used as a division unit.
  • the CPU 48 and GPU 46 are control units. These control units and methods thereof described in the present disclosure may be realized by a dedicated computer constituting a processor programmed to perform one or more functions embodied by a computer program. Alternatively, the control unit and its method described in the present disclosure may be realized by a dedicated hardware logic circuit. Alternatively, the control unit and its method described in the present disclosure may be realized by one or more dedicated computers configured by a combination of a processor that executes a computer program and one or more hardware logic circuits. The hardware logic circuit is, for example, ASIC or FPGA.
  • the storage medium for storing the computer program is not limited to the ROM, and may be stored in a computer-readable non-transition tangible recording medium as an instruction executed by the computer.
  • the above program may be stored in the flash memory.
  • the flowchart described in the present disclosure, or the processing of the flowchart is composed of a plurality of steps (or referred to as sections), and each step is represented by, for example, S1. Further, each step can be divided into a plurality of substeps, while the plurality of steps can be combined into one step.

Abstract

固着判断装置又は固着判断方法において、ＣＰＵ（４８）、ＧＰＵ（４６）、メモリ（４４）、はバス（４２）により接続され、カメラ（２）によって撮像された画像について、画素毎の画素値で表す画像データが固着しているかどうかを判断される。画像取得部（４１）により、カメラから画像データが取得されメモリに保存される。画像取得部により、１フレーム分の画像データがメモリに保存されたことに基づいて、分割単位の保存が終了したことを示す保存完了通知がＣＰＵに送信される。ＧＰＵにより、固着判断位置の画素の画素値を読み出す読み出し指示をＣＰＵから受けた場合に、メモリから画素値が読み出されＣＰＵに送信される。ＣＰＵにより、保存完了通知を受信されたことに基づいて、読み出し指示が送信され、かつ、読み出された画素値と、今回の画素値が読み出された画素の前回の画素値とを比較する画素値比較処理（Ｓ７）が行われる。

Description

固着判断装置および固着判断方法 関連出願の相互参照
　本出願は、２０１９年６月３日に出願された日本国特許出願２０１９－１０３８１３号に基づくものであり、ここにその記載内容を参照により援用する。
　カメラによって撮像された画像データの固着を判断する固着判断装置および固着判断方法に関する。
　カメラが撮像した画像を表示装置に表示させる技術が知られている。特許文献１には、表示装置に表示する画像のデータが異常であるかを自動検出する技術が提案されている。特許文献１に提案された技術では、カメラからの画像データを１フレーム分取得した後、測定エリア内の画像データに対して動体除去処理をする。次いで、測定エリア内の画像データを領域に区分して、各領域の輝度値の平均値あるいはその変化から画像の異常を検出する。
ＷＯ２０１５／１８２７５１
　画像データの異常の一態様である固着が生じているかを判断したいという要求がある。固着が生じているときは輝度値の変化がない。それに対して、固着が生じていないときには、輝度値に時間的変化がある。そこで、輝度値に時間的変化があれば、固着が生じていないと判断することになる。
　特許文献１の技術では、信号処理負荷を低くするために、複数の画素を含む領域を設定し、領域を単位として輝度値の平均値を算出する。ここで、たとえば、カメラが車両に搭載されている場合を考える。固着が生じていなくても、車両が停止している間は各画素の輝度値の変化は少ない。そのため、固着を検出する場合に、特許文献１のように、領域の輝度値の平均値を算出してしまうと、固着が生じている場合と正常な場合とで、輝度値の平均値に違いが少ない。よって、平均値では固着の判断が困難である。
　そこで、画素毎に輝度値を前回値と比較することが考えられる。特許文献１に提案された技術では、１フレーム分の画像データを取り込んだ後に、測定エリア内の画像データ全体に対して、異常を検出するための処理を開始する。
　通常、カメラで撮像した画像データをディスプレイに表示する装置では、ＣＰＵ、ＧＰＵ、メモリがバスにより接続されている。画素毎に輝度値を前回値と比較する場合、次の（１）～（４）の処理を実行することが考えられる。
　まず、（１）カメラが撮像した画像データをメモリに取り込む。（２）その後、ＣＰＵは、バスを介してＧＰＵに対して、メモリから、次に比較を行う画素の画素値の取得を依頼する。（３）ＧＰＵは、ＣＰＵに指示された画素値を、バスを介してメモリから取得し、取得した画素値をＣＰＵへ提供する。（４）ＣＰＵは提供された画素値を保存し、前回の画素値と比較する。（２）～（４）の処理を全部の画素について行う。
　上記（２）～（４）の処理ではＣＰＵが動作する。したがって、（２）～（４）の処理が実行されているときのＣＰＵの処理負荷が高い。
　本開示の目的は、ＣＰＵの処理負荷を低くすることができる固着判断装置および固着判断方法を提供することにある。
　本開示の一態様によると、固着判断装置は、固着判断装置は、ＣＰＵ、ＧＰＵ、メモリ、およびそれらを接続するバスを備え、カメラによって撮像された画像を画素毎の画素値で表す画像データが固着しているかどうかを判断する。固着判断装置は、カメラから画像データを取得してメモリに保存する画像取得部を備える。画像取得部は、１フレーム分の画像データを分割した分割単位の画像データをメモリに保存したことに基づいて、分割単位の保存が終了したことを示す保存完了通知をＣＰＵに送信する。ＧＰＵは、メモリから固着判断位置の画素の画素値を読み出す読み出し指示をＣＰＵから受けた場合に、メモリから画素値を読み出しＣＰＵに送信する。ＣＰＵは、保存完了通知を受信したことに基づいて、ＧＰＵに対して読み出し指示を送信する。ＣＰＵは、画像データが固着しているかどうかを判断するために、メモリから読み出された画素値と、今回の画素値が読み出された画素の前回の画素値とを比較する画素値比較処理を行う。
　本開示の他の一態様によると、固着判断方法は、ＣＰＵ、ＧＰＵ、メモリ、およびそれらを接続するバスと、カメラによって撮像された画像を画素毎の画素値で表す画像データを取得してメモリに保存する画像取得部とを備えた装置が、画像データが固着しているかどうかを判断する。画像取得部は、１フレーム分の画像データを分割した分割単位の画像データをメモリに保存したことに基づいて、分割単位の保存が終了したことを示す保存完了通知をＣＰＵに送信し、ＧＰＵは、メモリから固着判断位置の画素の画素値を読み出す読み出し指示をＣＰＵから受けた場合に、メモリから画素値を読み出しＣＰＵに送信し、ＣＰＵは、保存完了通知を受信したことに基づいて、ＧＰＵに対して読み出し指示を送信し、かつ、ＣＰＵは、画像データが固着しているかどうかを判断するために、メモリから読み出された画素値と、今回の画素値が読み出された画素の前回の画素値とを比較する画素値比較処理を行う。
　上記固着判断装置および固着判断方法では、画像取得部は、分割単位の画像データの保存が終了したことを示す保存完了通知をＣＰＵに送信する。ＣＰＵは、この保存完了通知を受信したことに基づいて、固着判断をするための処理（以下、固着判断処理）の開始処理である読み出し指示を行う。そのため、１フレーム分の画像データがメモリに全部取り込まれる前に固着判断処理を開始できる。固着判断処理の開始を早くすることができるので、１フレーム分の画像データがメモリに全部取り込まれてから固着判断処理を開始するよりも、処理負荷を分散することができる。処理負荷が分散されることで、時間当たりのＣＰＵの処理負荷を低くすることができる。
　更に、本開示の他の一態様によると、固着判断装置は、ＣＰＵ、ＧＰＵ、メモリ、およびそれらを接続するバスを備え、カメラによって撮像された画像を画素毎の画素値で表す画像データが固着しているかどうかを判断する。固着判断装置は、カメラから画像データを取得してメモリに保存する画像取得部を備える。画像取得部は、１フレーム分の画像データの一部または全部の画像データをメモリに保存したことに基づいて、保存が終了したことを示す保存完了通知をＣＰＵに送信する。ＧＰＵは、メモリから固着判断位置の画素の画素値を読み出す読み出し指示をＣＰＵから受けた場合に、メモリから画素値を読み出しＣＰＵに送信する。ＣＰＵは、保存完了通知を受信したことに基づいて、ＧＰＵに対して読み出し指示を送信する。ＣＰＵは、画像データが固着しているかどうかを判断するために、メモリから読み出された画素値と、今回の画素値が読み出された画素の前回の画素値とを比較する画素値比較処理を行う。ＣＰＵは、固着判断位置とする画素位置を１フレーム分の画素位置の一部とする。
　更に、本開示の他の一態様によると、固着判断方法は、ＣＰＵ、ＧＰＵ、メモリ、およびそれらを接続するバスと、カメラによって撮像された画像を画素毎の画素値で表す画像データを取得してメモリに保存する画像取得部とを備えた装置が、画像データが固着しているかどうかを判断する。画像取得部は、１フレーム分の画像データの一部または全部の画像データをメモリに保存したことに基づいて、保存が終了したことを示す保存完了通知をＣＰＵに送信し、ＧＰＵは、メモリから固着判断位置の画素の画素値を読み出す読み出し指示をＣＰＵから受けた場合に、メモリから画素値を読み出しＣＰＵに送信し、ＣＰＵは、保存完了通知を受信したことに基づいて、ＧＰＵに対して読み出し指示を送信し、ＣＰＵは、画像データが固着しているかどうかを判断するために、メモリから読み出された画素値と、今回の画素値が読み出された画素の前回の画素値とを比較する画素値比較処理を行い、ＣＰＵは、固着判断位置とする画素位置を１フレーム分の画素位置の一部とする。
　この固着判断装置および固着判断方法では、固着判断位置とする画素位置を１フレーム分の画素位置の一部とする。よって、１フレーム分の画素位置を全部、固着判断位置とする場合に比較して固着判断位置が少なくなるので、ＣＰＵの負荷を低くすることができる。
　本開示についての上記および他の目的、特徴や利点は、添付図面を参照した下記詳細な説明から、より明確になる。添付図面において、
図１は、カメラ画像表示システムの構成図である。 図２は、ＣＰＵが実行する固着判断処理および固着判断処理に関連してＩＰＵおよびＧＰＵが実行する処理を示す図である。
　以下、実施形態を図面に基づいて説明する。図１は、カメラ画像表示システム１の構成図である。カメラ画像表示システム１は車両Ｃに搭載されている。カメラ画像表示システム１は、カメラ２、ディスプレイ３、制御ユニット４を備えている。これらカメラ２、ディスプレイ３、制御ユニット４は、車内ＬＡＮバス５に接続されている。カメラ２、ディスプレイ３、制御ユニット４は車内ＬＡＮバス５を介して相互に信号の送受信ができる。
　カメラ２は、車外であって車両前方を撮像する位置に設置することができる。また、カメラ２の設置位置は、車両後方や車室内を撮像する位置に設置することができる。カメラ２は、連続的に画像を撮像することができる。カメラ２が撮像した１回分を１フレームという。カメラ２は１秒間に数十フレーム以上撮像することで動画が撮像できるようになっていてもよい。カメラ２は、イメージセンサを備えており、イメージセンサは複数の画素を備える。カメラ２は、イメージセンサの各画素が検出した値（以下、画素値）により画像を表す。画素値は、色別の輝度値である。カメラ２は、撮像した画像を画素毎の画素値で表す画像データを出力する。本実施形態のカメラ２が撮像する画像は矩形であり、カメラ２は、画像データを、横１ラインずつ出力する。
　ディスプレイ３は、車両Ｃの車室において乗員が視認できる位置に配置されている。ディスプレイ３は、種々の画像が表示可能である。ディスプレイ３として、液晶ディスプレイや有機ＥＬディスプレイを用いることができる。
　制御ユニット４は、図１に示すように、ＩＰＵ（Ｉｍａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）４１、バス４２、フラッシュメモリ４３、メインメモリ４４、キャッシュ４５、ＧＰＵ４６、キャッシュ４７、ＣＰＵ４８を備えている。制御ユニット４は、カメラ２が撮像した画像をディスプレイ３に表示する。また、制御ユニット４は、画像データが固着しているかどうかを逐次判断する。つまり、制御ユニット４は固着判断装置であり、制御ユニット４は固着判断方法を実行する。固着とは、正常であれば、ある画素が出力した画素値が変化するはずであるが、その画素値が変化しない状態になっていることを意味する。
　ＩＰＵ４１は、画像取得部であり、プロセッサを備えた構成である。ＩＰＵ４１は、カメラ２から画像データを取得し、メインメモリ４４に保存する。カメラ２は、画像データを横１ラインずつ出力することから、ＩＰＵ４１は、画像データを横１ラインずつ取得する。ＩＰＵ４１は、横１ラインの画像データを取得するごとに、メインメモリ４４に保存する。本実施形態では、横１ライン分が、１フレーム分の画像データを複数に分割した分割単位である。ＩＰＵ４１は、横１ラインの画像データをメインメモリ４４に保存するごとに保存完了通知をＣＰＵ４８に出力する。
　バス４２には、ＩＰＵ４１、フラッシュメモリ４３、メインメモリ４４，キャッシュ４５、キャッシュ４７が接続されている。フラッシュメモリ４３は不揮発性メモリである。フラッシュメモリ４３にはＣＰＵ４８が実行するプログラムなどが記憶されている。メインメモリ４４は、揮発性メモリである。メインメモリ４４は、たとえばＤＲＡＭを用いて構成される。メインメモリ４４には、画像データが保存される。メインメモリ４４に保存される画像データは、その画像データが示す画像がディスプレイ３に表示された後に、メインメモリ４４から消去される。キャッシュ４５は、ＧＰＵ４６との間でデータの送受信が可能である。キャッシュ４５は、たとえばＳＲＡＭを用いて構成される。
　ＧＰＵ４６は、画像処理用のプロセッサであり、メインメモリ４４に保存された画像データを読み出し、その画像データに基づいてディスプレイ３に画像を表示する。また、ＧＰＵ４６は、ＣＰＵ４８からの読み出し指示を受信した場合に、その指示に従ってメインメモリ４４から画像データを読み出す。ＧＰＵ４６は読み出した画像データをＣＰＵ４８に送信する。
　キャッシュ４７は、ＣＰＵ４８との間でデータの送受信が可能である。キャッシュ４７は、たとえばＳＲＡＭを用いて構成される。ＣＰＵ４８は、プロセッサを備えた構成であり、ＧＰＵ４６に指示して、ディスプレイ３にカメラ２が撮像した画像を表示させる。また、ＣＰＵ４８は、固着判断処部として機能し、固着判断処理を実行する。固着判断処理は、画像データが固着しているかどうかを判断する処理である。
　ＣＰＵ４８は、固着判断処理を所定の頻度で実行する。たとえば、ＣＰＵ４８は固着判断処理を、各フレームで実行する。ＣＰＵ４８は、固着判断処理を実行する場合、ＧＰＵ４６に読み出し指示を出力する。読み出し指示は、メインメモリ４４から固着判断位置の画像の画像データを読み出すことを指示するものである。固着判断位置は、画像データが固着しているかどうかを判断する画素の位置である。
　本実施形態では、１フレームを構成する全部の画素の位置を固着判断位置とするのではなく、一部の画素の位置のみを固着判断位置とする。より詳しくは、本実施形態では、各横１ラインを構成する画素のうち一部の画素の位置を固着判断位置とする。よって、本実施形態では、横１ライン毎に、固着判断位置となる画素位置と、固着判断位置とならない画素位置がある。
　図２に、ＣＰＵ４８が実行する固着判断処理、および、固着判断処理に関連してＩＰＵ４１およびＧＰＵ４６が実行する処理を示す。図２に示す処理は、１フレーム毎に実行される。Ｓ１では、ＩＰＵ４１が、カメラ２から横１ライン分の画像データを取り込む。
　Ｓ２では、ＩＰＵ４１が、Ｓ１で取り込んだ画像データをメインメモリ４４に保存する。Ｓ３では、保存完了通知をＣＰＵ４８に送信する。保存完了通知は、横１ライン分の画像データを取り込んだことを意味する通知であり、取り込んだ画像データが、何番目の横１ラインの画像データであるかを示す情報も含まれている。
　ＣＰＵ４８は保存完了通知を受信した場合、Ｓ４を実行する。Ｓ４では、読み出し指示をＧＰＵ４６に送信する。読み出し指示には、次に、画素値を比較する画素を特定する情報が含まれている。本実施形態では、画素値を比較する画素は、フレームによらず同じ画素になっている。
　ＧＰＵ４６がこの読み出し指示を受信すると、ＧＰＵ４６は、Ｓ５において、読み出し指示に示されている画素の画素値を、メインメモリ４４から取得する。そして、Ｓ６において、ＧＰＵ４６は、Ｓ５で取得した画素値をＣＰＵ４８へ送信する。Ｓ７では、ＣＰＵ４８は、Ｓ６でＧＰＵ４６から送信された今回の画素値を、今回、画素値が読み出された画素の前回の画素値と比較する。比較の結果、今回の画素値と前回の画素値が同じ値であった場合には、画像データが固着していると判断する。なお、ＣＰＵ４８は、前回の画素値を、このＳ７における処理が終了するまでキャッシュ４７に保存する。このＳ７の処理は、画素値比較処理である。また、上記Ｓ４からＳ７は、分割固着判断処理５０である。分割固着判断処理５０は、分割単位である横１ラインについて、画像データが固着しているかどうかを判断する処理である。分割固着判断処理５０を、全部の分割単位、すなわち本実施形態では横１ラインについて行う処理が固着判断処理である。
　なお、図２では、Ｓ４～Ｓ７をそれぞれ１回ずつ示している。しかし、横１ライン分の画素のうち、固着判断位置となっている画素位置が複数ある場合、一度のＳ４の処理において、読み出しを指示する画素を横１ライン分の固着判断位置のうちの一部の画素のみとしてもよい。たとえば、１度のＳ４の処理において読み出し指示をする画素を１画素のみとしてもよい。一度のＳ４の処理において、読み出しを指示する画素を横１ライン分の固着判断位置のうちの一部の画素のみとする場合、横１ラインに対して設定された全部の固着判断位置の画素値に対して画素値比較処理が終了するまで、Ｓ４～Ｓ７の処理を繰り返す。
　Ｓ１１は、画像データを取り込む横１ラインの位置が、Ｓ１で画像データを取り込んだ横１ラインの次のラインになっている以外は、Ｓ１と同じ処理を実行する。Ｓ１２、Ｓ１３ではＳ２、Ｓ３と同じ処理を実行する。ＩＰＵ４１は、Ｓ３を実行後、Ｓ１１を実行する。したがって、Ｓ１１１、Ｓ１２、Ｓ１３は、ＣＰＵ４８およびＧＰＵ４６が分割固着判断処理５０を実行中に並行して実行される。ＩＰＵ４１がＳ１３を実行することにより、ＣＰＵ４８およびＧＰＵ４６は、Ｓ１１～Ｓ１３の処理によりメインメモリ４４に取り込まれた横１ライン分の画像データを用いて、その横１ラインに対する分割固着判断処理５０を実行することができる。
　Ｓｎ１、Ｓｎ２、Ｓｎ３は、それぞれ、Ｓ１、Ｓ２、Ｓ３と同じである。ｎは、１フレームを構成する横ラインの数である。つまり、Ｓｎ１では、最後の１ラインの画像データを取り込む。Ｓｎ２、Ｓｎ３は、Ｓ２、Ｓ３と同じ処理である。
　ＣＰＵ４８は、全部の横１ラインに対して分割固着判断処理５０を実行した結果、いずれか１つの画素位置でも固着していると判断していた場合、画像データが固着していると判断する。ＣＰＵ４８は、画像データが固着していると判断した場合には、たとえば、警告画像をディスプレイ３に出力するなど、予め設定された固着判断時処理を実行する。
　［実施形態まとめ］
　以上、説明した本実施形態では、制御ユニット４は、ＩＰＵ４１は、横１ライン分の画像データをメインメモリ４４に保存した場合に、保存完了通知をＣＰＵ４８に送信する（Ｓ３、Ｓ１３、Ｓｎ３）。ＣＰＵ４８は、この保存完了通知を受信した場合に、分割固着判断処理５０を開始する（Ｓ４）。そのため、１フレーム分の画像データがメインメモリ４４に全部取り込まれる前に、全部の固着判断処理が分割単位ごとに分割された分割固着判断処理５０を開始できる。すなわち、１フレーム分の画像データがメインメモリ４４に全部取り込まれた後に固着判断処理を開始するよりも、固着判断処理の開始を早くすることができる。
　固着判断処理の開始を早くすることができるので、１フレーム分の画像データがメインメモリ４４に全部取り込まれてから固着判断処理を開始するよりも、処理負荷を分散することができる。
　具体的に説明する。仮に、Ｓｎ３の処理が終了した後に固着判断処理を開始する場合を考える。固着判断処理を終了しなければならない時点は、本実施形態と同じである。たとえば、固着判断処理を終了しなければならない時点は、次の１フレームをカメラ２が撮像し終えるまでであるとする。これを比較例とする。比較例に対し、本実施形態では、Ｓ３の処理が終了した時点からＳｎ３の処理が終了するまでの時間分、分割固着判断処理５０に使える時間が長いことになる。換言すれば、比較例は、本実施形態よりも短い時間で固着判断処理を行わなければならないので、処理速度が高速な高価なＣＰＵ４８が必要になる。
　これに対して、本実施形態では、比較例よりも、Ｓ３の処理が終了した時点からＳｎ３の処理が終了するまでの時間分、分割固着判断処理５０に使える時間が長い。Ｓ３の処理が終了した時点から、分割固着判断処理５０（すなわち固着判断処理の一部）を開始することにより、固着判断処理を分散させていると言える。これにより、単位時間当たりに実行する必要がある処理を低減させることができるので、ＣＰＵ４８の負荷が低減する。
　また、分割固着判断処理５０に含まれているＳ４、Ｓ５、Ｓ６では、バス４２を画像データが流れる。比較例では、Ｓ４、Ｓ５、Ｓ６の処理も一時期に集中する。そのため、バス４２に通信速度が高いものを使用する必要がある。これに対して、本実施形態では、分割固着判断処理５０によりＣＰＵ４８の処理が時間的に分散されることに伴い、時間当たりのバス負荷も低減する。
　また、本実施形態では、１フレーム分の固着判断処理において固着判断位置とする画素位置を１フレーム分の画素位置の一部としている。これにより、１フレーム分の画素位置を全部、固着判断位置とする場合に比較して、固着判断位置が少なくなる。この点でも、ＣＰＵ４８の負荷を低くすることができる。
　カメラ２の撮像範囲が車外であっても、また車内であっても、カメラ２の撮像対象はアナログ情報である。そのため、固着をしていなければ、同じ画素位置についての画素値は、カメラ２が移動していなくても、同じ画素値にはならないという特徴がある。また、画像データの固着は、通常、１つの画素のデータのみが固着することはなく、複数あるいは全部の画素のデータが固着する。
　したがって、本実施形態のように、固着判断位置とする画素位置を１フレーム分の画素位置の一部としても、固着判断の精度低下は抑制されている。よって、本実施形態では、ＣＰＵ４８の負荷を低くしつつも、固着判断の精度低下を抑制できる。
　本実施形態では、カメラ２は車両Ｃに搭載されている。カメラ２は、車両外の車両前方または後方を撮像する場合、車両制御あるいは運転操作に支障がないように、制御ユニット４は、固着を毎フレーム判断する。また、制御ユニット４の低コスト化も必要である。したがって、高機能なＣＰＵ４８を使うことができない場合も多い。
　本実施形態では、上述したように、ＣＰＵ４８の処理負荷を低減できるので、処理速度の速い高価なＣＰＵ４８を用いなくてもよい。よって、本実施形態によれば、低コストな制御ユニット４で固着を毎フレーム判断することができる。
　以上、実施形態を説明したが、開示した技術は上述の実施形態に限定されるものではなく、次の変形例も開示した範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施できる。なお、以下の説明において、それまでに使用した符号と同一番号の符号を有する要素は、特に言及する場合を除き、それ以前の実施形態における同一符号の要素と同一である。また、構成の一部のみを説明している場合、構成の他の部分については先に説明した実施形態を適用できる。
　＜変形例１＞
　実施形態では、分割固着判断処理５０において、一部の画素位置のみを固着判断位置としていた。しかし、前述したように、分割固着判断処理５０により、ＣＰＵ４８の負荷を低減できる。よって、分割固着判断処理５０をする場合、必ずしも一部の画素位置のみを固着判断位置とする必要はなく、全部の画素位置を固着判断位置としてもよい。
　＜変形例２＞
　また、一部の画素位置のみを固着判断位置とすれば、ＣＰＵ４８の負荷を低減できる。よって、一部の画素位置のみを固着判断位置とする場合、分割固着判断処理５０を実施せず、全部の画像データがメインメモリ４４に保存されてから、各固着判断位置の画素値を前回の画素値と比較してもよい。
　＜変形例３＞
　実施形態では、固着判断位置は固定されていた。したがって、実施形態では、固着判断位置とする画素位置の数は変化しない。しかし、固着判断位置とする画素位置の数をＣＰＵ４８の負荷が高いほど少ない数にしてもよい。固着判断位置とする画素位置の数は、ＣＰＵ４８の負荷に応じて、段階的に少なくしてもよいし、また、ＣＰＵ４８の負荷に応じて連続的に少なくしてもよい。ＣＰＵ４８の負荷は、ＣＰＵ４８の使用率から定めることができる。ＣＰＵ４８の使用率が低いほどＣＰＵ４８の負荷は低い。
　ＣＰＵ４８は、ＧＰＵ４６に指示して、ディスプレイ３にカメラ２が撮像した画像を表示させる処理と固着判断処理以外の処理（以下、他処理）も実行する。したがって、この変形例３のように、固着判断位置とする画素位置の数をＣＰＵ４８の負荷が高いほど少ない数にすることで、他処理に遅延が生じることを抑制することができる。
　また、この変形例３では、ＣＰＵ４８の負荷が低いほど、固着判断処理において固着判断位置とする画素位置の数を多くする。固着判断位置とする画素位置の数が多いほど、固着判断の精度は高くなる。よって、この変形例３のようにすれば、他処理に遅延が生じることを抑制しつつ、固着判断の精度を高めることができる。
　なお、固着判断位置とする画素位置の数をＣＰＵ４８の負荷に応じて変更する場合、固着判断位置の少なくとも一部が、前回の固着判断位置ではないことになる。以下の変形例においても、今回の固着判断位置の少なくとも一部が、前回の固着判断位置ではないことがある。
　今回の固着判断位置の少なくとも一部が、前回の固着判断位置ではない場合には、メインメモリ４４には、今回の画像データに加えて、前回の画像データは保存しておき、Ｓ５において、ＧＰＵ４６は今回の画像値とともに前回の画素値を取得すればよい。そして、Ｓ６において、ＧＰＵ４６は、今回の画素値と前回の画素値をＣＰＵ４８に送信する。
　＜変形例４＞
　実施形態では、固着判断位置は固定されていた。しかし、固着判断位置する画素位置の少なくとも一部をフレーム毎に変更してもよい。固着判断位置とする画素位置を、前回の固着判断位置の１つ横隣の画素位置に変更することができる。この場合、前回の固着判断位置が、横１ラインの端であって、次に固着判断位置とする側の横隣に画素がない場合には、次の固着判断位置は、その横１ラインにおける反対側の端の画素位置とする。
　＜変形例５＞
　また、固着判断位置とする画素位置の少なくとも一部をフレーム毎に変更する他の態様として、変更する固着判断位置をフレーム毎にランダムに決定してもよい。
　＜変形例６＞
　また、固着判断位置が、フレームによらず同じ位置に設定されている場合には、１つの画素位置ごとに前回の画素値と比較する必要はない。１フレーム分の固着判断処理において、固着判断位置にある複数の画素の画素値からハッシュ値を算出してもよい。この場合、そのハッシュ値を、そのハッシュ値を算出した画素の前回の画素値から算出した前回のハッシュ値と比較する。そして、今回のハッシュ値と前回のハッシュ値が一致していれば、画像データが固着していると判断する。このようにすれば、よりＣＰＵ４８の負荷を軽減できる。
　ハッシュ値を算出する複数の画素は、たとえば、横１ライン内の複数の画素とすることができる。また、縦１ライン内の複数の画素とすることもできる。
　＜変形例７＞
　実施形態では、分割単位を横１ラインとしていた。しかし、分割単位は横１ラインに限られない。分割単位は、ＩＰＵ４１がメインメモリ４４に画像データを保存する単位とすることが好ましい。ＩＰＵ４１がメインメモリ４４に横１ライン分の画像データよりも小さい単位でメインメモリ４４に画像データを保存することができれば、分割単位を横１ラインよりも小さい単位としてもよい。また、１フレーム分の画像データよりも少なければ、複数のラインの画像データを分割単位としてもよい。
　＜変形例８＞
　ＣＰＵ４８およびＧＰＵ４６は制御部である。これら本開示に記載の制御部およびその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の制御部およびその手法は、専用ハードウエア論理回路により、実現されてもよい。もしくは、本開示に記載の制御部およびその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウエア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。ハードウエア論理回路は、たとえば、ＡＳＩＣ、ＦＰＧＡである。
　また、コンピュータプログラムを記憶する記憶媒体はＲＯＭに限られず、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていればよい。たとえば、フラッシュメモリに上記プログラムが記憶されていてもよい。
ここで、本開示に記載されるフローチャート、あるいは、フローチャートの処理は、複数のステップ（あるいはセクションと言及される）から構成され、各ステップは、たとえば、Ｓ１と表現される。さらに、各ステップは、複数のサブステップに分割されることができる、一方、複数のステップが合わさって一つのステップにすることも可能である。
　以上、本開示の一態様に係る固着判断装置及び固着判断方法の実施形態、構成、態様を例示したが、本開示に係る実施形態、構成、態様は、上述した各実施形態、各構成、各態様に限定されるものではない。例えば、異なる実施形態、構成、態様にそれぞれ開示された技術的部を適宜組み合わせて得られる実施形態、構成、態様についても本開示に係る実施形態、構成、態様の範囲に含まれる。

 

Claims (18)

  1. 　ＣＰＵ（４８）、ＧＰＵ（４６）、メモリ（４４）、およびそれらを接続するバス（４２）を備え、カメラ（２）によって撮像された画像を画素毎の画素値で表す画像データが固着しているかどうかを判断する固着判断装置（４）であって、
    　前記カメラから前記画像データを取得して前記メモリに保存する画像取得部（４１）を備え、
    　前記画像取得部は、１フレーム分の前記画像データを分割した分割単位の前記画像データを前記メモリに保存したことに基づいて、前記分割単位の保存が終了したことを示す保存完了通知を前記ＣＰＵに送信し、
    　前記ＧＰＵは、前記メモリから固着判断位置の画素の前記画素値を読み出す読み出し指示を前記ＣＰＵから受けた場合に、前記メモリから前記画素値を読み出し前記ＣＰＵに送信し、
    　前記ＣＰＵは、前記保存完了通知を受信したことに基づいて、前記ＧＰＵに対して前記読み出し指示を送信し、かつ、
    　前記ＣＰＵは、前記画像データが固着しているかどうかを判断するために、前記メモリから読み出された前記画素値と、今回の画素値が読み出された画素の前回の画素値とを比較する画素値比較処理（Ｓ７）を行う、固着判断装置。
  2. 　前記ＣＰＵは、１フレーム分の前記画像データが固着しているかどうかを判断する処理において前記固着判断位置とする画素位置を１フレーム分の画素位置の一部とする、請求項１に記載の固着判断装置。
  3. 　前記カメラは車両（Ｃ）に搭載されて、前記車両の前方または後方を撮像するものであり、
    　前記画像データが固着しているかどうかを毎フレーム判断する、請求項２に記載の固着判断装置。
  4. 　前記ＣＰＵは、ＣＰＵ負荷の高さに応じて、１フレーム分の前記画像データが固着しているかどうかを判断する処理において前記固着判断位置とする画素位置の数を少なくする、請求項２に記載の固着判断装置。
  5. 　前記ＣＰＵは、１フレーム分の前記画像データが固着しているかどうかを判断する処理において前記固着判断位置とする画素位置の少なくとも一部をフレーム毎に変更する、請求項２～４のいずれか１項に記載の固着判断装置。
  6. 　前記ＣＰＵは、１フレーム分の前記画像データが固着しているかどうかを判断する処理において前記固着判断位置とする画素位置を、前回の前記固着判断位置の隣の画素位置に変更する、請求項５に記載の固着判断装置。
  7. 　前記ＣＰＵは、１フレーム分の前記画像データが固着しているかどうかを判断する処理において前記固着判断位置とする画素位置を、フレーム毎にランダムに決定する、請求項５に記載の固着判断装置。
  8. 　前記固着判断位置が、フレームによらず同じ位置に設定されており、
    　前記ＣＰＵは、１フレーム分の前記画像データが固着しているかどうかを判断する処理において前記固着判断位置にある複数の画素の画素値からハッシュ値を算出し、そのハッシュ値を、そのハッシュ値を算出した画素の前回の画素値から算出した前回のハッシュ値と比較して、前記画像データが固着しているかどうかを判断する、請求項１～３のいずれか１項に記載の固着判断装置。
  9. 　前記ＣＰＵは、前記ハッシュ値を、縦または横一ライン内の前記画素の画素値から算出する請求項８に記載の固着判断装置。
  10. 　ＣＰＵ（４８）、ＧＰＵ（４６）、メモリ（４４）、およびそれらを接続するバス（４２）を備え、カメラ（２）によって撮像された画像を画素毎の画素値で表す画像データが固着しているかどうかを判断する固着判断装置（４）であって、
    　前記カメラから前記画像データを取得して前記メモリに保存する画像取得部（４１）を備え、
    　前記画像取得部は、１フレーム分の前記画像データの一部または全部の前記画像データを前記メモリに保存したことに基づいて、保存が終了したことを示す保存完了通知を前記ＣＰＵに送信し、
    　前記ＧＰＵは、前記メモリから固着判断位置の画素の前記画素値を読み出す読み出し指示を前記ＣＰＵから受けた場合に、前記メモリから前記画素値を読み出し前記ＣＰＵに送信し、
    　前記ＣＰＵは、前記保存完了通知を受信したことに基づいて、前記ＧＰＵに対して前記読み出し指示を送信し、
    　前記ＣＰＵは、前記画像データが固着しているかどうかを判断するために、前記メモリから読み出された前記画素値と、今回の画素値が読み出された画素の前回の画素値とを比較する画素値比較処理（Ｓ７）を行い、
    　前記ＣＰＵは、前記固着判断位置とする画素位置を１フレーム分の画素位置の一部とする、固着判断装置。
  11. 　前記ＣＰＵは、ＣＰＵ負荷の高さに応じて、１フレーム分の前記画像データが固着しているかどうかを判断する処理において前記固着判断位置とする画素位置の数を少なくする、請求項１０に記載の固着判断装置。
  12. 　前記ＣＰＵは、１フレーム分の前記画像データが固着しているかどうかを判断する処理において前記固着判断位置とする画素位置の少なくとも一部をフレーム毎に変更する、請求項１０又は請求項１１に記載の固着判断装置。
  13. 　前記ＣＰＵは、１フレーム分の前記画像データが固着しているかどうかを判断する処理において前記固着判断位置とする画素位置を、前回の前記固着判断位置の隣の画素位置に変更する、請求項１２に記載の固着判断装置。
  14. 　前記ＣＰＵは、１フレーム分の前記画像データが固着しているかどうかを判断する処理において前記固着判断位置とする画素位置を、フレーム毎にランダムに決定する、請求項１２に記載の固着判断装置。
  15. 　前記固着判断位置が、フレームによらず同じ位置に設定されており、
    　前記ＣＰＵは、１フレーム分の前記画像データが固着しているかどうかを判断する処理において前記固着判断位置にある複数の画素の画素値からハッシュ値を算出し、そのハッシュ値を、そのハッシュ値を算出した画素の前回の画素値から算出した前回のハッシュ値と比較して、前記画像データが固着しているかどうかを判断する、請求項１０に記載の固着判断装置。
  16. 　前記ＣＰＵは、前記ハッシュ値を、縦または横一ライン内の前記画素の画素値から算出する請求項１５に記載の固着判断装置。
  17. 　ＣＰＵ（４８）、ＧＰＵ（４６）、メモリ（４４）、およびそれらを接続するバス（４２）と、カメラ（２）によって撮像された画像を画素毎の画素値で表す画像データを取得して前記メモリに保存する画像取得部（４１）とを備えた装置が、前記画像データが固着しているかどうかを判断する固着判断方法であって、
    　前記画像取得部は、１フレーム分の前記画像データを分割した分割単位の前記画像データを前記メモリに保存したことに基づいて、前記分割単位の保存が終了したことを示す保存完了通知を前記ＣＰＵに送信し、
    　前記ＧＰＵは、前記メモリから固着判断位置の画素の前記画素値を読み出す読み出し指示を前記ＣＰＵから受けた場合に、前記メモリから前記画素値を読み出し前記ＣＰＵに送信し、
    　前記ＣＰＵは、前記保存完了通知を受信したことに基づいて、前記ＧＰＵに対して前記読み出し指示を送信し、かつ、
    　前記ＣＰＵは、前記画像データが固着しているかどうかを判断するために、前記メモリから読み出された前記画素値と、今回の画素値が読み出された画素の前回の画素値とを比較する画素値比較処理（Ｓ７）を行う、固着判断方法。
  18. 　ＣＰＵ（４８）、ＧＰＵ（４６）、メモリ（４４）、およびそれらを接続するバス（４２）と、カメラ（２）によって撮像された画像を画素毎の画素値で表す画像データを取得して前記メモリに保存する画像取得部（４１）とを備えた装置が、前記画像データが固着しているかどうかを判断する固着判断方法であって、
    　前記画像取得部は、１フレーム分の前記画像データの一部または全部の前記画像データを前記メモリに保存したことに基づいて、保存が終了したことを示す保存完了通知を前記ＣＰＵに送信し、
    　前記ＧＰＵは、前記メモリから固着判断位置の画素の前記画素値を読み出す読み出し指示を前記ＣＰＵから受けた場合に、前記メモリから前記画素値を読み出し前記ＣＰＵに送信し、
    　前記ＣＰＵは、前記保存完了通知を受信したことに基づいて、前記ＧＰＵに対して前記読み出し指示を送信し、
    　前記ＣＰＵは、前記画像データが固着しているかどうかを判断するために、前記メモリから読み出された前記画素値と、今回の画素値が読み出された画素の前回の画素値とを比較する画素値比較処理（Ｓ７）を行い、
    　前記ＣＰＵは、前記固着判断位置とする画素位置を１フレーム分の画素位置の一部とする、固着判断方法。

     
PCT/JP2020/012557 2019-06-03 2020-03-20 固着判断装置および固着判断方法 WO2020246117A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202080039853.XA CN113892259B (zh) 2019-06-03 2020-03-20 粘连判断装置以及粘连判断方法
DE112020002689.2T DE112020002689T5 (de) 2019-06-03 2020-03-20 Feststeckungsbestimmungsvorrichtung und feststeckungsbestimmungsverfahren
US17/453,989 US20220058412A1 (en) 2019-06-03 2021-11-08 Sticking determination device and sticking determination method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019103813A JP7247760B2 (ja) 2019-06-03 2019-06-03 固着判断装置および固着判断方法
JP2019-103813 2019-06-03

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/453,989 Continuation US20220058412A1 (en) 2019-06-03 2021-11-08 Sticking determination device and sticking determination method

Publications (1)

Publication Number Publication Date
WO2020246117A1 true WO2020246117A1 (ja) 2020-12-10

Family

ID=73649337

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/012557 WO2020246117A1 (ja) 2019-06-03 2020-03-20 固着判断装置および固着判断方法

Country Status (5)

Country Link
US (1) US20220058412A1 (ja)
JP (1) JP7247760B2 (ja)
CN (1) CN113892259B (ja)
DE (1) DE112020002689T5 (ja)
WO (1) WO2020246117A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11961434B2 (en) * 2022-01-25 2024-04-16 Hyundai Mobis Co., Ltd. Device and method for detecting screen freeze error of display of vehicle

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008193145A (ja) * 2007-01-31 2008-08-21 Ntt Communications Kk 映像異常検出装置、映像伝送装置、映像異常検出方法、及び映像伝送方法
JP2009278340A (ja) * 2008-05-14 2009-11-26 Alpine Electronics Inc 画像判断装置および画像判断方法
JP2016225904A (ja) * 2015-06-02 2016-12-28 株式会社デンソー 画像信号処理装置
CN107102936A (zh) * 2017-05-27 2017-08-29 腾讯科技（深圳）有限公司 一种流畅度的评估方法和移动终端以及存储介质
JP2018079839A (ja) * 2016-11-17 2018-05-24 株式会社デンソー 車両用表示システムおよびフリーズ検出装置
JP2018107588A (ja) * 2016-12-26 2018-07-05 ルネサスエレクトロニクス株式会社 画像処理装置および半導体装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060164228A1 (en) * 2005-01-18 2006-07-27 Huan-Chin Tseng Rearview mirror with multiple monitors
US7750956B2 (en) * 2005-11-09 2010-07-06 Nvidia Corporation Using a graphics processing unit to correct video and audio data
US10277805B2 (en) 2014-05-30 2019-04-30 Hitachi Kokusai Electric Inc. Monitoring system and camera device
US10575746B2 (en) 2017-12-14 2020-03-03 Biosense Webster (Israel) Ltd. Epicardial mapping

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008193145A (ja) * 2007-01-31 2008-08-21 Ntt Communications Kk 映像異常検出装置、映像伝送装置、映像異常検出方法、及び映像伝送方法
JP2009278340A (ja) * 2008-05-14 2009-11-26 Alpine Electronics Inc 画像判断装置および画像判断方法
JP2016225904A (ja) * 2015-06-02 2016-12-28 株式会社デンソー 画像信号処理装置
JP2018079839A (ja) * 2016-11-17 2018-05-24 株式会社デンソー 車両用表示システムおよびフリーズ検出装置
JP2018107588A (ja) * 2016-12-26 2018-07-05 ルネサスエレクトロニクス株式会社 画像処理装置および半導体装置
CN107102936A (zh) * 2017-05-27 2017-08-29 腾讯科技（深圳）有限公司 一种流畅度的评估方法和移动终端以及存储介质

Also Published As

Publication number Publication date
JP7247760B2 (ja) 2023-03-29
US20220058412A1 (en) 2022-02-24
CN113892259B (zh) 2024-03-22
DE112020002689T5 (de) 2022-04-07
JP2020198551A (ja) 2020-12-10
CN113892259A (zh) 2022-01-04

Similar Documents

Publication Publication Date Title
US10397564B2 (en) Image monitoring apparatus, image display system, and vehicle
US9669761B2 (en) Around view monitoring apparatus and method thereof
WO2015118806A1 (ja) 画像解析装置、および画像解析方法
US10518701B2 (en) Image monitoring apparatus, movable object, program and failure determining method
JP5421999B2 (ja) 車両用周囲監視装置
JP6891460B2 (ja) 車両用表示システムおよびフリーズ検出装置
JP2008283431A (ja) 画像処理装置
US20200195945A1 (en) Image processing apparatus
US20180270444A1 (en) Image recording system, image recording method and storage medium recording image recording program
WO2020246117A1 (ja) 固着判断装置および固着判断方法
US11685320B2 (en) Vehicular recording control apparatus, vehicular recording apparatus, vehicular recording control method, and computer program
US20090027503A1 (en) Error detecting apparatus
KR20120064474A (ko) 카메라 모듈을 이용한 우적 감지 장치 및 방법
US10643570B2 (en) Display control apparatus and display control method that prevent excessive determinations of an abnormal control condition
US20180077330A1 (en) Vehicular visual recognition device
US20170364765A1 (en) Image processing apparatus, image processing system, vehicle, imaging apparatus and image processing method
JP2010183294A (ja) 画像処理装置、画像処理方法ならびにプログラム
JP5207823B2 (ja) 画像判断装置および画像判断方法
US11758072B2 (en) Driver assistance system, driver assisting method, and non-transitory storage medium
KR20130029962A (ko) 차량용 영상 표시 장치 및 차량용 카메라로부터 입력된 급격한 영상 변화 표시 방법
US10965841B2 (en) Receiving device, video recording system and method for reducing video latency in video recording system
US11006068B1 (en) Video recording based on image variance
JP7333135B2 (ja) 信号処理回路
US11833974B2 (en) Video signal processing apparatus
KR100984023B1 (ko) 네비게이션 단말기의 효율성을 위한 블랙박스 시스템 및 이를 이용한 데이터 출력/저장 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20818795

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20818795

Country of ref document: EP

Kind code of ref document: A1