WO2020067298A1 - 画像処理装置及び画像表示システム - Google Patents

画像処理装置及び画像表示システム Download PDF

Info

Publication number
WO2020067298A1
WO2020067298A1 PCT/JP2019/037876 JP2019037876W WO2020067298A1 WO 2020067298 A1 WO2020067298 A1 WO 2020067298A1 JP 2019037876 W JP2019037876 W JP 2019037876W WO 2020067298 A1 WO2020067298 A1 WO 2020067298A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
update
memory area
update process
Prior art date
Application number
PCT/JP2019/037876
Other languages
English (en)
French (fr)
Inventor
友希 山上
明 江頭
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to CN201980062777.1A priority Critical patent/CN112771839B/zh
Priority to DE112019004825.2T priority patent/DE112019004825T5/de
Publication of WO2020067298A1 publication Critical patent/WO2020067298A1/ja
Priority to US17/211,264 priority patent/US11871141B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing

Definitions

  • the present disclosure relates to an image processing device and an image display system.
  • the image display system for a vehicle includes a camera, an image processing device, and a display.
  • the camera captures a scene around the vehicle and generates an image.
  • the image processing device performs image processing on an image generated by the camera.
  • the display displays the image after the image processing.
  • the display is installed in the cabin.
  • An image display system is disclosed in Patent Document 1.
  • An image processing apparatus generally includes a storage unit that temporarily stores an image.
  • the storage content of the storage unit is periodically updated with a newly generated image.
  • an old image remains in the storage unit.
  • the display may display an old image.
  • the user may erroneously recognize the old image displayed on the display as the latest image.
  • the image processing apparatus cannot determine whether the landscape represented by the image remaining in the storage unit is old or the latest, so that a phenomenon in which the old image remains in the storage unit without being updated (hereinafter referred to as an update abnormal state). Cannot be detected).
  • an image processing device and an image display system that can suppress an old image remaining in a storage unit from being displayed on an image display device and can detect an update abnormality.
  • An image acquisition unit configured to acquire a first image from an imaging device, and configured to perform image processing on the first image to generate a second image.
  • An image processing apparatus comprising: an image processing unit; and an image output unit configured to output the second image to an image display device, wherein the image processing unit is configured to output the first image or the second image.
  • a storage unit configured to temporarily store a storage image that is an image, wherein the storage unit performs a plurality of memory areas and a first update process of updating storage content of the memory area with the storage image.
  • a first update unit configured to perform the processing on each of the plurality of memory areas in accordance with a preset order, and storing a storage content of the memory area in a specific image having a specific form.
  • a second update unit configured to perform a second update process for updating each of the plurality of memory areas according to the order, and a read process of reading an image stored in the memory area.
  • a reading unit configured to perform the reading in accordance with the order with respect to each of the memory regions, wherein the second updating unit is later in the order than the memory region to be subjected to the second updating process.
  • An image processing apparatus configured to perform the second update process after the first update process for a certain memory area is completed.
  • the image displayed on the image display device is a specific image. Therefore, even when the first update process is not performed normally, it is possible to suppress an old image stored in the memory area from being displayed on the image display device before the first update process. As a result, it is possible to prevent the user from erroneously recognizing the old image displayed on the image display device as the latest image.
  • FIG. 3 is an explanatory diagram illustrating a configuration of a first storage unit.
  • 5 is a flowchart illustrating a process executed by a first storage unit.
  • FIG. 4A is an explanatory diagram illustrating an image read from the memory area when a horizontal synchronizing signal abnormality occurs
  • FIG. 4B is an explanatory diagram illustrating an image read from the memory area when a vertical synchronizing signal abnormality occurs. is there.
  • 5 is a time chart illustrating a process executed by a first storage unit.
  • the configuration of the image display system 1 will be described with reference to FIGS.
  • the image display system 1 is a vehicle-mounted system mounted on a vehicle. As shown in FIG. 1, the image display system 1 includes a right camera 3, a left camera 5, an image processing device 7, and a display 9. The right camera 3 and the left camera 5 correspond to an imaging device. The display 9 corresponds to an image display device.
  • the right camera 3 captures an image of the scenery on the right rear side of the vehicle and generates an image.
  • the left camera 5 captures an image of a landscape on the left rear side of the vehicle and generates an image.
  • the image generated by the right camera 3 is defined as a first image RP.
  • the image generated by the left camera 5 is defined as a first image LP.
  • the right camera 3 and the left camera 5 each repeatedly generate an image at predetermined time intervals.
  • the first images RP may be represented as first images RP1, RP2, RP3, RP4,.
  • the first image RP (i + 1) is an image generated after the first image i. i is a natural number of 1 or more.
  • the image processing device 7 includes an image acquisition unit 11, an image processing unit 13, an image output unit 15, a memory 17, a power supply unit 19, and a communication interface (I / F) 21.
  • the image acquisition unit 11 acquires the first image RP from the right camera 3 and acquires the first image LP from the left camera 5.
  • the image acquisition unit 11 sends the first image RP and the first image LP to the image processing unit 13.
  • the image processing unit 13 includes an arithmetic unit 23, a first storage unit 25, and a second storage unit 27.
  • the arithmetic unit 23 performs image processing on the first image RP to generate a second image RP.
  • the arithmetic unit 23 performs image processing on the first image LP to generate a second image LP. Examples of the image processing include a process of cutting out a part of an image, a process of converting the image into an image having a different viewpoint, a process of combining a plurality of images, and the like.
  • the first storage unit 25 has a function of temporarily storing the first image RP and the first image LP, and then sending the first image RP and the first image LP to the arithmetic unit 23.
  • the first storage unit 25 functions as a buffer.
  • the first storage unit 25 includes memory areas M1 to M3, a first update unit 29, a second update unit 31, a read unit 33, a determination unit 35, and a signal output unit 37. , Is provided.
  • the memory areas M1 to M3 are configured to be virtually realized by the memory 17.
  • the memory areas M1 to M3 correspond to a plurality of memory areas.
  • the second storage unit 27 has a function of temporarily storing the second image RP and the second image LP, and then sending the second image RP and the second image LP to the image output unit 15.
  • the second storage unit 27 functions as a buffer.
  • the second storage unit 27 has basically the same configuration as the first storage unit 25. However, in the second storage unit 27, the first update unit 29 is connected to the arithmetic unit 23 instead of the image acquisition unit 11. Further, the reading unit 33 is connected not to the arithmetic unit 23 but to the image output unit 15.
  • the image output unit 15 receives the second image RP and the second image LP from the image processing unit 13 and outputs them to the display 9.
  • the image display system 1 can be suitably applied to an electronic mirror system, a rear backup camera, and the like.
  • the rear backup camera displays a rear image when the vehicle moves backward.
  • one display 9 is arranged on each of the left side and the right side of the vehicle interior.
  • the second image RP output from the image output unit 15 is displayed on the right display 9.
  • the second image LP output by the image output unit 15 is displayed on the left display 9.
  • the memory 17 provides memory areas M1 to M3.
  • the power supply unit 19 supplies power to the image processing device 7.
  • the communication interface 21 is connected to a vehicle-mounted communication bus 22.
  • the communication interface 21 acquires information indicating a vehicle speed, a shift range, a turn signal, and the like via the in-vehicle communication bus 22, and sends the acquired information to the image processing unit 13.
  • the transmitted information is used for image processing.
  • the display 9 is installed in the passenger compartment.
  • the display 9 displays an image output from the image output unit 15.
  • the image acquisition unit 11 sequentially acquires the first image RP and the first image LP and sends them to the image processing unit 13.
  • the first storage unit 25 temporarily stores the first image RP and the first image LP before sending them to the arithmetic unit 23.
  • the arithmetic unit 23 performs image processing on the first image RP to generate a second image RP.
  • the arithmetic unit 23 performs image processing on the first image LP to generate a second image LP.
  • the second storage unit 27 temporarily stores the second image RP and the second image LP before sending them to the image output unit 15.
  • the image output unit 15 outputs the second image RP and the second image LP to the display 9.
  • the display 9 displays the second image RP and the second image LP.
  • (2-2) Process Executed by First Storage Unit 25 The process executed by the first storage unit 25 will be described with reference to FIGS.
  • the first storage unit 25 performs the same processing for each of the first image RP and the first image LP.
  • the processing for the first image RP will be described.
  • the first image RP and the first image LP correspond to stored images.
  • the first update unit 29 performs a first update process of updating the storage content of the memory area M1 with the first image RPi.
  • i is a natural number of 1 or more.
  • the content stored in the memory area M1 is the first image RPi.
  • the storage content of the memory area M1 is an image before update or an abnormal image.
  • the image before the update is a specific image PX described later.
  • the second update unit 31 performs a second update process of updating the storage content of the memory area M3 with the specific image PX.
  • the specific image PX is an image having a specific form.
  • the specific image PX is an image that the user can distinguish from the first image RP and the first image LP.
  • Examples of the specific image PX include an image with uniform color and luminance (hereinafter, referred to as a uniform image), an image in which a regular pattern is expressed, and the like.
  • the image processing device 7 holds, for example, the specific image PX in advance.
  • the image processing device 7 stores a predetermined color value in advance, and stores the color value stored for all pixels of the image at the time of the second update process.
  • the specific image PX may be generated by adaptation.
  • the image processing device 7 stores, for example, predetermined color values and a specific image PX from the time of product shipment. After the end of the second update process, the storage content of the memory area M3 becomes the specific image PX.
  • the order is set in advance in the memory areas M1 to M3.
  • the order is a circulation order such as M1 ⁇ M2 ⁇ M3 ⁇ M1 ⁇ M2 ⁇ M3.
  • the memory area M3 is one immediately before the memory area M1 in order.
  • Step 3 the reading unit 33 performs a reading process of reading an image stored in the memory area M1.
  • the reading unit 33 sends the read image to the arithmetic unit 23.
  • step 4 the determination unit 35 determines whether the image read in step 3 includes the specific image PX.
  • Examples of the image read out in step 3 and including the specific image PX include an image 39 shown in FIG. 4A and an image 41 shown in FIG. 4B.
  • a part in the horizontal direction is the specific image PX, and the other part is the first image RPi. If a horizontal synchronizing signal abnormality occurs in the step 1, a part of the storage content of the memory area M1 in the horizontal direction cannot be updated, and the storage content of the memory area M1 becomes an image 39. As a result, the image read in step 3 becomes the image 39.
  • a part in the vertical direction is the specific image PX, and the other part is the first image RPi.
  • a vertical synchronizing signal abnormality occurs in step 1
  • a part of the storage contents of the memory area M1 in the vertical direction cannot be updated, and the storage contents of the memory area M1 become an image 41.
  • the image read in step 3 becomes the image 41.
  • the entire image read in step 3 is the first image RPi and does not include the specific image PX.
  • step 3 If the image read in step 3 includes the specific image PX, the process proceeds to step 5. If the image read in step 3 does not include the specific image PX, the process proceeds to step 6.
  • step 5 the signal output unit 37 outputs a signal indicating that the read image is abnormal. Based on the signal, the display 9 or another device can notify the user that an update abnormality has occurred, and can perform a process for the update abnormality.
  • the processing for the update abnormality can be performed by, for example, any configuration of the image display system 1.
  • step 6 the first update unit 29 performs a first update process of updating the storage content of the memory area M2 with the first image RP (i + 1).
  • the memory area M2 is one after the memory area M1 in order.
  • the storage content of the memory area M2 is the first image RP (i + 1). If the first update processing is not performed normally, the storage content of the memory area M2 is an image before update or an abnormal image.
  • the image before the update is the specific image PX.
  • Step 7 the second update unit 31 performs a second update process of updating the storage content of the memory area M1 with the specific image PX. After the end of the second update process, the storage content of the memory area M1 becomes the specific image PX. Note that the memory area M1 is immediately before the memory area M2 in order.
  • Step 8 the reading unit 33 performs a reading process of reading an image stored in the memory area M2.
  • the reading unit 33 sends the read image to the arithmetic unit 23.
  • step 9 the determination unit 35 determines whether or not the image read in step 8 includes the specific image PX. If the image read in step 8 includes the specific image PX, the process proceeds to step 10. If the image read in step 8 does not include the specific image PX, the process proceeds to step 11.
  • step 10 the signal output unit 37 outputs a signal indicating that the read image is abnormal. Based on the signal, the display 9 or another device can notify the user that an update abnormality has occurred, and can perform a process for the update abnormality.
  • the processing for the update abnormality can be performed by, for example, any configuration of the image display system 1.
  • the first update unit 29 performs a first update process of updating the storage content of the memory area M3 with the first image RP (i + 2).
  • the memory area M3 is one after the memory area M2 in order.
  • the storage content of the memory area M3 is the first image RP (i + 2).
  • the storage content of the memory area M3 is an image before update or an abnormal image.
  • the image before the update is the specific image PX.
  • step 12 the second update unit 31 performs a second update process of updating the storage content of the memory area M2 with the specific image PX. After the end of the second update process, the storage content of the memory area M2 becomes the specific image PX. Note that the memory area M2 is immediately before the memory area M3 in order.
  • step 13 the reading unit 33 performs a reading process of reading an image stored in the memory area M3.
  • the reading unit 33 sends the read image to the arithmetic unit 23.
  • step 14 the determination unit 35 determines whether the image read in step 13 includes the specific image PX. If the image read in step 13 includes the specific image PX, the process proceeds to step 15. If the image read in step 13 does not include the specific image PX, the process proceeds to step 16.
  • step 15 the signal output unit 37 outputs a signal indicating that the read image is abnormal.
  • the display 9 or another device can notify the user that an update abnormality has occurred, and can perform a process for the update abnormality.
  • the processing for the update abnormality can be performed by, for example, any configuration of the image display system 1.
  • step 16 the first storage unit 25 increases the value of i by 3. Next, the process returns to step 1.
  • FIG. 5 shows a time chart of an example of the processing described above.
  • the first update unit 29 has performed the first update process U1 on the memory area M1 from time t1 to t2.
  • the first update unit 29 performed the first update process U1 on the memory area M2 from time t4 to t5.
  • the first update unit 29 performed the first update process U1 on the memory area M3 from time t7 to t8.
  • the first update unit 29 performed the first update process U1 on the memory area M1 from time t10 to t11.
  • the first update unit 29 performed the first update process U1 on the memory area M2 from time t13 to time t14.
  • the first update unit 29 performed the first update process U1 on the memory area M3 from time t16 to t17.
  • the first updating unit 29 performs the first updating process U1 on each of the plurality of memory areas M1 to M3 according to the preset order.
  • the second update unit 31 has performed the second update process U2 on the memory area M3 from the time t2 to the time t3. Next, the second update unit 31 performed the second update process U2 on the memory area M1 from time t5 to time t6. Next, the second update unit 31 performed the second update process U2 on the memory area M2 from time t8 to t9.
  • the second update unit 31 performed the second update process U2 on the memory area M3 from time t11 to t12.
  • the second updating unit 31 performed the second updating process U2 on the memory area M1 from the time t14 to the time t15.
  • the second update unit 31 performed the second update process U2 on the memory area M2 from time t17 to t18.
  • the second update unit 31 performs the second update process U2 on each of the plurality of memory areas M1 to M3 according to the preset order.
  • the second update unit 31 performs the second update process U2 after the first update process U1 for the memory region that is later in order than the memory region to be subjected to the second update process U2 ends.
  • the second update unit 31 performs the second update process U2 on the memory area M3 from time t2 to t3 after the first update process U1 on the memory area M1 from time t1 to t2 is completed.
  • the memory area M1 is later in order than the memory area M2.
  • the second update unit 31 has performed the second update processing U2 on the memory area that is one step ahead of the memory area in which the first update processing U1 has been completed most recently.
  • the memory area where the first update process U1 has been completed most recently is the memory area M1.
  • the memory area one before the memory area M1 in order is the memory area M3.
  • the second update unit 31 performed the second update process U2 on the memory area M3 from the time t2 to the time t3.
  • the reading unit 33 reads the image described in the memory area M3 during a period R from time t0 to t2. Next, the reading unit 33 reads the image described in the memory area M1 during a period R from time t2 to time t5. Next, the reading unit 33 reads the image described in the memory area M2 during a period R from time t5 to time t8.
  • the reading unit 33 reads the image described in the memory area M3 during a period R from time t8 to time t11.
  • the reading unit 33 reads the image described in the memory area M1 during a period R from time t11 to time t14.
  • the reading unit 33 reads the image described in the memory area M2 during a period R from time t14 to time t17.
  • Each period R is a period from the end of the first update process U1 to the start of the second update process U2 in the memory area to be read.
  • the first update process U1 from time t1 to t2, the first update process U1 from time t4 to t5, and the first update process U3 from time t7 to t8 were performed normally. Therefore, the images read by the reading unit 33 during the period R from the time t2 to the time t5, the period R from the time t5 to the time t8, and the period R from the time t8 to the time t11 are the first images RP.
  • the first update process U1 from time t10 to t11, the first update process U1 from time t13 to t14, and the first update process U3 from time t16 to t17 are not performed normally, and the specific image PX before update is stored in the memory area. Remained. Therefore, the images read by the reading unit 33 in the period R from the time t11 to the time t14, the period R from the time t14 to the time t17, and the period R after the time t17 are the specific images PX.
  • the second storage unit 27 basically performs the same processing as the first storage unit 25. However, the images stored in the memory areas M1 to M3 are not the first image RP and the first image LP, but the second image RP and the second image LP. Further, the second storage unit 27 sends the image read from the memory areas M1 to M3 to the image output unit 15 instead of the arithmetic unit 23. In the processing executed by the second storage unit 27, the second image RP and the second image LP correspond to stored images.
  • the image display system 1 can be applied to an electronic mirror system, a rear backup camera, and the like.
  • the electronic mirror system and the rear backup camera are used by the user to check the current situation around the vehicle and operate the vehicle, similarly to the optical mirror. If the electronic mirror system and the rear backup camera display a past image, the user may mistake the present condition by viewing the past image, which is dangerous.
  • the image display system 1 can suppress an old image from being displayed on the display 9 as described above, it is possible to prevent a user from viewing a past image and erroneously recognizing the current state.
  • the second update unit 31 performs the second update process on a memory region that is one sequence ahead of the memory region on which the first update process has been completed most recently. Therefore, the storage content of the memory area can be updated with the specific image PX at an early stage. As a result, the effects (1A) and (1B) can be more reliably achieved.
  • the second storage unit 27 can achieve the effects (1A) to (1C) described above.
  • the image display system 1 determines whether the image read by the reading unit 33 includes the specific image PX.
  • the image display system 1 outputs a signal reflecting the determination result. Therefore, according to the image display system 1, the user can easily know whether or not the image read by the reading unit 33 is normal. According to the image display system 1, it is possible to easily detect that the image read by the reading unit 33 is abnormal.
  • the number of cameras provided in the image display system 1 may be one, or may be three or more.
  • the arithmetic unit 23 may combine a plurality of first images to generate a single second image.
  • a single second image for example, a bird's-eye view of the vehicle viewed from an upper viewpoint is provided.
  • the image display system 1 does not need to perform the second update process on one of the first storage unit 25 and the second storage unit 27.
  • the frequency of the second update process may be lower than the frequency of the first update process.
  • the image display system 1 may perform the second update process once each time the first update process is performed N times.
  • N is a natural number of 2 or more.
  • the number of the plurality of memory areas included in the image display system 1 may be other than three.
  • the number of the plurality of memory areas may be, for example, 2, 4, 5, 6,....
  • the image display system 1 may perform the second update process only on a part of the plurality of memory areas.
  • the frequency at which the reading unit 33 reads an image may be higher than the frequency of the first update process.
  • the reading unit 33 reads the image continuously n times from the memory area M1, then reads the image continuously n times from the memory area M2, and then continuously reads n images from the memory area M3.
  • the image can be read once.
  • n is a natural number of 2 or more.
  • the above aspect also corresponds to the reading process performed according to the order.
  • the time at which the second update process starts may be the same as the time at which the first update process for the memory area that is later in the order ends, or may be a time later than that.
  • a plurality of functions of one component in the above embodiment may be realized by a plurality of components, or one function of one component may be realized by a plurality of components. . Also, a plurality of functions of a plurality of components may be realized by one component, or one function realized by a plurality of components may be realized by one component. Further, a part of the configuration of the above embodiment may be omitted. Further, at least a part of the configuration of the above-described embodiment may be added to or replaced with the configuration of another above-described embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)

Abstract

画像処理装置（７）は、画像取得ユニット（１１）と、画像処理ユニット（１３）と、画像出力ユニット（１５）とを備える。画像処理ユニットは、記憶画像を一時的に記憶するように構成された記憶ユニット（２５、２７）を備える。記憶ユニットは、複数のメモリ領域と、メモリ領域の記憶内容を記憶画像により更新する第１更新処理を順番に行う第１更新ユニットと、メモリ領域の記憶内容を特定画像により更新する第２更新処理を順番に行う第２更新ユニットと、メモリ領域に記憶された画像を読み出す読み出し処理を順番に行う読み出しユニットとを備える。

Description

画像処理装置及び画像表示システム 関連出願の相互参照
　本国際出願は、２０１８年９月２６日に日本国特許庁に出願された日本国特許出願第２０１８－１８０３４７号に基づく優先権を主張するものであり、日本国特許出願第２０１８－１８０３４７号の全内容を本国際出願に参照により援用する。
　本開示は画像処理装置及び画像表示システムに関する。
　車両用の画像表示システムは、カメラと、画像処理装置と、ディスプレイとを備える。カメラは車両の周囲の風景を撮影し、画像を生成する。画像処理装置は、カメラが生成した画像に対し画像処理を行う。ディスプレイは、画像処理後の画像を表示する。ディスプレイは車室内に設置されている。画像表示システムは特許文献１に開示されている。
特許第６３１１６４６号公報
　発明者の詳細な検討の結果、以下の課題が見出された。画像処理装置は、一般的に、画像を一時的に記憶する記憶ユニットを備える。記憶ユニットの記憶内容は、定期的に、新たに生成された画像により更新される。カメラの故障等の原因により、記憶ユニットの記憶内容が更新されないと、古い画像が記憶ユニットに残る。そして、ディスプレイは、古い画像を表示することがある。ユーザは、ディスプレイに表示された古い画像を、最新の画像であると誤認識するおそれがある。また、画像処理装置は、記憶ユニットに残っている画像が表す風景が古いものであるのか最新のものであるのか判別できないので、古い画像が更新されずに記憶ユニットに残る現象（以下では更新異常とする）を検知できない。
　本開示の１つの局面では、記憶ユニットに残った古い画像が画像表示装置に表示されてしまうことを抑制でき、更新異常を検知できる画像処理装置及び画像表示システムを提供することが好ましい。
　本開示の１つの一局面は、撮像装置から第１画像を取得するように構成された画像取得ユニットと、前記第１画像に対し画像処理を行い、第２画像を生成するように構成された画像処理ユニットと、前記第２画像を画像表示装置に出力するように構成された画像出力ユニットと、を備えた画像処理装置であって、前記画像処理ユニットは、前記第１画像又は前記第２画像である記憶画像を一時的に記憶するように構成された記憶ユニットを備え、前記記憶ユニットは、複数のメモリ領域と、前記メモリ領域の記憶内容を前記記憶画像により更新する第１更新処理を、前記複数のメモリ領域のそれぞれに対し、予め設定された順番に従って行うように構成された第１更新ユニットと、前記メモリ領域の記憶内容を、特定の形態を有する特定画像により更新する第２更新処理を、前記複数のメモリ領域のそれぞれに対し、前記順番に従って行うように構成された第２更新ユニットと、前記メモリ領域に記憶された画像を読み出す読み出し処理を、前記複数のメモリ領域のそれぞれに対し、前記順番に従って行うように構成された読み出しユニットと、を備え、前記第２更新ユニットは、第２更新処理の対象となる前記メモリ領域よりも、前記順番において後である前記メモリ領域に対する前記第１更新処理が終了してから、前記第２更新処理を行うように構成された画像処理装置である。
　本開示の１つの局面である画像表処理装置によれば、第１更新処理が正常に行われなかった場合、画像表示装置に表示される画像は、特定画像である。そのため、第１更新処理が正常に行われなかった場合でも、第１更新処理の前からメモリ領域に記憶されていた古い画像が画像表示装置に表示されてしまうことを抑制できる。その結果、ユーザが、画像表示装置に表示された古い画像を最新の画像であると誤認識してしまうことを抑制できる。　
画像表示システムの構成を表すブロック図である。 第１記憶ユニットの構成を表す説明図である。 第１記憶ユニットが実行する処理を表すフローチャートである。 図４Ａは、水平同期信号異常が生じた場合にメモリ領域から読み出される画像を表す説明図であり、図４Ｂは、垂直同期信号異常が生じた場合にメモリ領域から読み出される画像を表す説明図である。 第１記憶ユニットが実行する処理を表すタイムチャートである。
　本開示の例示的な実施形態について図面を参照しながら説明する。
＜第１実施形態＞
　１．画像表示システム１の構成
　画像表示システム１の構成を、図１～図２に基づき説明する。画像表示システム１は車両に搭載される車載システムである。図１に示すように、画像表示システム１は、右カメラ３と、左カメラ５と、画像処理装置７と、ディスプレイ９と、を備える。右カメラ３及び左カメラ５は撮像装置に対応する。ディスプレイ９は画像表示装置に対応する。
　右カメラ３は、車両の右後側方の風景を撮像し、画像を生成する。左カメラ５は、車両の左後側方の風景を撮像し、画像を生成する。右カメラ３が生成した画像を第１画像ＲＰとする。左カメラ５が生成した画像を第１画像ＬＰとする。
　右カメラ３及び左カメラ５は、それぞれ、所定時間ごとに繰り返し画像を生成する。以下では、右カメラ３が所定時間ごとに繰り返し生成した複数の第１画像ＲＰを区別するために、第１画像ＲＰ１、ＲＰ２、ＲＰ３、ＲＰ４・・・のように表すことがある。第１画像ＲＰ（ｉ＋１）は、第１画像ｉの次に生成した画像である。ｉは１以上の自然数である。
　画像処理装置７は、画像取得ユニット１１と、画像処理ユニット１３と、画像出力ユニット１５と、メモリ１７と、電源部１９と、通信インターフェース（Ｉ／Ｆ）２１と、を備える。
　画像取得ユニット１１は、右カメラ３から第１画像ＲＰを取得し、左カメラ５から第１画像ＬＰを取得する。画像取得ユニット１１は、第１画像ＲＰ及び第１画像ＬＰを画像処理ユニット１３に送る。
　画像処理ユニット１３は、演算ユニット２３と、第１記憶ユニット２５と、第２記憶ユニット２７と、を備える。演算ユニット２３は、第１画像ＲＰに対し画像処理を行い、第２画像ＲＰを生成する。演算ユニット２３は、第１画像ＬＰに対し画像処理を行い、第２画像ＬＰを生成する。画像処理として、例えば、画像の一部を切り出す処理、視点が異なる画像に変換する処理、複数の画像を合成する処理等が挙げられる。
　第１記憶ユニット２５は、第１画像ＲＰ及び第１画像ＬＰを一時的に記憶してから、第１画像ＲＰ及び第１画像ＬＰを演算ユニット２３に送る機能を有する。第１記憶ユニット２５はバッファとして機能する。
　図２に示すように、第１記憶ユニット２５は、メモリ領域Ｍ１～Ｍ３と、第１更新ユニット２９と、第２更新ユニット３１と、読み出しユニット３３と、判断ユニット３５と、信号出力ユニット３７と、を備える。メモリ領域Ｍ１～Ｍ３は、メモリ１７により仮想的に実現される構成である。メモリ領域Ｍ１～Ｍ３は複数のメモリ領域に対応する。
　第２記憶ユニット２７は、第２画像ＲＰ及び第２画像ＬＰを一時的に記憶してから、第２画像ＲＰ及び第２画像ＬＰを画像出力ユニット１５に送る機能を有する。第２記憶ユニット２７はバッファとして機能する。
　第２記憶ユニット２７は、基本的には、第１記憶ユニット２５と同様の構成を有する。ただし、第２記憶ユニット２７では、第１更新ユニット２９は、画像取得ユニット１１ではなく、演算ユニット２３と接続する。また、読み出しユニット３３は、演算ユニット２３ではなく、画像出力ユニット１５と接続する。
　画像出力ユニット１５は、第２画像ＲＰ及び第２画像ＬＰを画像処理ユニット１３から受け取り、ディスプレイ９に出力する。
　なお、画像表示システム１は、電子ミラーシステム、リアバックアップカメラ等に好適に適用できる。リアバックアップカメラは、車両の後退時に後方画像を表示する。
　画像表示システム１を電子ミラーシステムに適用した場合、ディスプレイ９は車室内の左側と右側とに１つずつ配置される。画像出力ユニット１５が出力する第２画像ＲＰは右側のディスプレイ９に表示される。画像出力ユニット１５が出力する第２画像ＬＰは左側のディスプレイ９に表示される。
　メモリ１７はメモリ領域Ｍ１～Ｍ３を提供する。電源部１９は画像処理装置７に電源を供給する。通信インターフェース２１は車載通信バス２２と接続している。通信インターフェース２１は、車載通信バス２２を介して車速、シフトレンジ、ウインカー等を表す情報を取得し、取得した情報を画像処理ユニット１３に送る。送られた情報は、画像処理に用いられる。
　ディスプレイ９は車室内に設置されている。ディスプレイ９は、画像出力ユニット１５から出力された画像を表示する。
　２．画像表示システム１が実行する処理
　（２－１）処理の概略
　画像表示システム１が実行する処理の概略は以下のとおりである。右カメラ３は、所定時間ごと繰り返し第１画像ＲＰを生成する。左カメラ５は、所定時間ごとに繰り返し第１画像ＬＰを生成する。
　画像取得ユニット１１は、第１画像ＲＰ及び第１画像ＬＰを順次取得し、画像処理ユニット１３に送る。第１記憶ユニット２５は、第１画像ＲＰ及び第１画像ＬＰを一時的に記憶してから、演算ユニット２３に送る。
　演算ユニット２３は、第１画像ＲＰに対し画像処理を行い、第２画像ＲＰを生成する。演算ユニット２３は、第１画像ＬＰに対し画像処理を行い、第２画像ＬＰを生成する。第２記憶ユニット２７は、第２画像ＲＰ及び第２画像ＬＰを一時的に記憶してから、画像出力ユニット１５に送る。
　画像出力ユニット１５は、第２画像ＲＰ及び第２画像ＬＰをディスプレイ９に出力する。ディスプレイ９は第２画像ＲＰ及び第２画像ＬＰを表示する。
　（２－２）第１記憶ユニット２５が実行する処理
　第１記憶ユニット２５が実行する処理を、図２～図４に基づき説明する。第１記憶ユニット２５は、第１画像ＲＰと第１画像ＬＰとのそれぞれについて、同様の処理を行う。ここでは、第１画像ＲＰに対する処理を説明する。第１記憶ユニット２５が実行する処理において、第１画像ＲＰ及び第１画像ＬＰは記憶画像に対応する。
　図３のステップ１では、第１更新ユニット２９が、メモリ領域Ｍ１の記憶内容を、第１画像ＲＰｉで更新する第１更新処理を行う。ｉは１以上の自然数である。
　第１更新処理が正常に行われた場合、メモリ領域Ｍ１の記憶内容は第１画像ＲＰｉとなる。第１更新処理が正常に行われなかった場合、メモリ領域Ｍ１の記憶内容は、更新前の画像か、異常な画像となる。更新前の画像は、後述する特定画像ＰＸである。
　ステップ２では、第２更新ユニット３１が、メモリ領域Ｍ３の記憶内容を、特定画像ＰＸにより更新する第２更新処理を行う。特定画像ＰＸとは、特定の形態を有する画像である。特定画像ＰＸは、ユーザが、第１画像ＲＰ及び第１画像ＬＰと区別できる画像である。特定画像ＰＸとして、例えば、色彩及び輝度が均一な画像（以下では均一画像とする）、規則正しい模様が表現された画像等が挙げられる。画像処理装置７は、例えば、予め特定画像ＰＸを保持している。また、特定画像ＰＸが均一画像である場合、画像処理装置７は、所定の色値を予め記憶しておき、第２更新処理の際に画像の全画素に対して記憶している色値を適応することで特定画像ＰＸを生成してもよい。画像処理装置７は、例えば、製品出荷時から所定の色値や特定画像ＰＸを保持している。第２更新処理の終了後、メモリ領域Ｍ３の記憶内容は、特定画像ＰＸとなる。
　なお、メモリ領域Ｍ１～Ｍ３には、予め順番が設定されている。その順番は、Ｍ１→Ｍ２→Ｍ３→Ｍ１→Ｍ２→Ｍ３・・・のように循環する順番である。メモリ領域Ｍ３は、メモリ領域Ｍ１よりも、順番において１つ前である。
　ステップ３では、読み出しユニット３３が、メモリ領域Ｍ１に記憶された画像を読み出す読み出し処理を行う。読み出しユニット３３は、読み出した画像を演算ユニット２３に送る。
　ステップ４では、前記ステップ３で読み出した画像が特定画像ＰＸを含むか否かを判断ユニット３５が判断する。前記ステップ３で読み出した画像であって、特定画像ＰＸを含む画像として、例えば、図４Ａに示す画像３９、図４Ｂに示す画像４１等がある。
　画像３９では、水平方向における一部が特定画像ＰＸとなっており、他の部分が第１画像ＲＰｉとなっている。前記ステップ１において水平同期信号異常が生じると、メモリ領域Ｍ１の記憶内容のうち、水平方向における一部を更新できず、メモリ領域Ｍ１の記憶内容が画像３９となる。その結果、前記ステップ３で読み出した画像が画像３９となる。
　画像４１では、垂直方向における一部が特定画像ＰＸとなっており、他の部分が第１画像ＲＰｉとなっている。前記ステップ１において垂直同期信号異常が生じると、メモリ領域Ｍ１の記憶内容のうち、垂直方向における一部を更新できず、メモリ領域Ｍ１の記憶内容が画像４１となる。その結果、前記ステップ３で読み出した画像が画像４１となる。
　なお、前記ステップ１において第１更新処理が正常に行われると、前記ステップ３で読み出した画像の全体は第１画像ＲＰｉであり、特定画像ＰＸを含まない。
　前記ステップ３で読み出した画像が特定画像ＰＸを含む場合、本処理はステップ５に進む。前記ステップ３で読み出した画像が特定画像ＰＸを含まない場合、本処理はステップ６に進む。
　ステップ５では、読み出した画像が異常であることを表す信号を信号出力ユニット３７が出力する。ディスプレイ９又は他の装置は、その信号に基づき、更新異常が発生していることをユーザに知らせる報知や、更新異常に対する処置等を行うことができる。更新異常に対する処置は、例えば、画像表示システム１が備えるいずれかの構成が行うことができる。
　ステップ６では、第１更新ユニット２９が、メモリ領域Ｍ２の記憶内容を、第１画像ＲＰ（ｉ＋１）で更新する第１更新処理を行う。メモリ領域Ｍ２は、メモリ領域Ｍ１よりも、順番において１つ後である。
　第１更新処理が正常に行われた場合、メモリ領域Ｍ２の記憶内容は第１画像ＲＰ（ｉ＋１）となる。第１更新処理が正常に行われなかった場合、メモリ領域Ｍ２の記憶内容は、更新前の画像か、異常な画像となる。更新前の画像は特定画像ＰＸである。
　ステップ７では、第２更新ユニット３１が、メモリ領域Ｍ１の記憶内容を、特定画像ＰＸにより更新する第２更新処理を行う。第２更新処理の終了後、メモリ領域Ｍ１の記憶内容は、特定画像ＰＸとなる。なお、メモリ領域Ｍ１は、メモリ領域Ｍ２よりも、順番において１つ前である。
　ステップ８では、読み出しユニット３３が、メモリ領域Ｍ２に記憶された画像を読み出す読み出し処理を行う。読み出しユニット３３は、読み出した画像を演算ユニット２３に送る。
　ステップ９では、前記ステップ８で読み出した画像が特定画像ＰＸを含むか否かを判断ユニット３５が判断する。前記ステップ８で読み出した画像が特定画像ＰＸを含む場合、本処理はステップ１０に進む。前記ステップ８で読み出した画像が特定画像ＰＸを含まない場合、本処理はステップ１１に進む。
　ステップ１０では、読み出した画像が異常であることを表す信号を信号出力ユニット３７が出力する。ディスプレイ９又は他の装置は、その信号に基づき、更新異常が発生していることをユーザに知らせる報知や、更新異常に対する処置等を行うことができる。更新異常に対する処置は、例えば、画像表示システム１が備えるいずれかの構成が行うことができる。
　ステップ１１では、第１更新ユニット２９が、メモリ領域Ｍ３の記憶内容を、第１画像ＲＰ（ｉ＋２）で更新する第１更新処理を行う。メモリ領域Ｍ３は、メモリ領域Ｍ２よりも、順番において１つ後である。第１更新処理が正常に行われた場合、メモリ領域Ｍ３の記憶内容は第１画像ＲＰ（ｉ＋２）となる。第１更新処理が正常に行われなかった場合、メモリ領域Ｍ３の記憶内容は、更新前の画像か、異常な画像となる。更新前の画像は特定画像ＰＸである。
　ステップ１２では、第２更新ユニット３１が、メモリ領域Ｍ２の記憶内容を、特定画像ＰＸにより更新する第２更新処理を行う。第２更新処理の終了後、メモリ領域Ｍ２の記憶内容は特定画像ＰＸとなる。なお、メモリ領域Ｍ２は、メモリ領域Ｍ３よりも、順番において１つ前である。
　ステップ１３では、読み出しユニット３３が、メモリ領域Ｍ３に記憶された画像を読み出す読み出し処理を行う。読み出しユニット３３は、読み出した画像を演算ユニット２３に送る。
　ステップ１４では、前記ステップ１３で読み出した画像が特定画像ＰＸを含むか否かを判断ユニット３５が判断する。前記ステップ１３で読み出した画像が特定画像ＰＸを含む場合、本処理はステップ１５に進む。前記ステップ１３で読み出した画像が特定画像ＰＸを含まない場合、本処理はステップ１６に進む。
　ステップ１５では、読み出した画像が異常であることを表す信号を信号出力ユニット３７が出力する。ディスプレイ９又は他の装置は、その信号に基づき、更新異常が発生していることをユーザに知らせる報知や、更新異常に対する処置等を行うことができる。更新異常に対する処置は、例えば、画像表示システム１が備えるいずれかの構成が行うことができる。
　ステップ１６では、第１記憶ユニット２５が、ｉの値を３だけ増す。次に、本処理はステップ１に戻る。
　上述した処理の事例のタイムチャートを図５に示す。第１更新ユニット２９は、時刻ｔ１からｔ２において、メモリ領域Ｍ１に対し第１更新処理Ｕ１を行った。次に、第１更新ユニット２９は、時刻ｔ４からｔ５において、メモリ領域Ｍ２に対し第１更新処理Ｕ１を行った。次に、第１更新ユニット２９は、時刻ｔ７からｔ８において、メモリ領域Ｍ３に対し第１更新処理Ｕ１を行った。
　次に、第１更新ユニット２９は、時刻ｔ１０からｔ１１において、メモリ領域Ｍ１に対し第１更新処理Ｕ１を行った。次に、第１更新ユニット２９は、時刻ｔ１３からｔ１４において、メモリ領域Ｍ２に対し第１更新処理Ｕ１を行った。次に、第１更新ユニット２９は、時刻ｔ１６からｔ１７において、メモリ領域Ｍ３に対し第１更新処理Ｕ１を行った。このように、第１更新ユニット２９は、複数のメモリ領域Ｍ１～Ｍ３のそれぞれに対し、予め設定された順番に従って第１更新処理Ｕ１を行った。
　第２更新ユニット３１は、時刻ｔ２からｔ３において、メモリ領域Ｍ３に対し第２更新処理Ｕ２を行った。次に、第２更新ユニット３１は、時刻ｔ５からｔ６において、メモリ領域Ｍ１に対し第２更新処理Ｕ２を行った。次に、第２更新ユニット３１は、時刻ｔ８からｔ９において、メモリ領域Ｍ２に対し第２更新処理Ｕ２を行った。
　次に、第２更新ユニット３１は、時刻ｔ１１からｔ１２において、メモリ領域Ｍ３に対し第２更新処理Ｕ２を行った。次に、第２更新ユニット３１は、時刻ｔ１４からｔ１５において、メモリ領域Ｍ１に対し第２更新処理Ｕ２を行った。次に、第２更新ユニット３１は、時刻ｔ１７からｔ１８において、メモリ領域Ｍ２に対し第２更新処理Ｕ２を行った。このように、第２更新ユニット３１は、複数のメモリ領域Ｍ１～Ｍ３のそれぞれに対し、予め設定された順番に従って第２更新処理Ｕ２を行った。
　第２更新ユニット３１は、第２更新処理Ｕ２の対象となるメモリ領域よりも、順番において後であるメモリ領域に対する第１更新処理Ｕ１が終了してから、第２更新処理Ｕ２を行った。
　例えば、第２更新ユニット３１は、メモリ領域Ｍ１に対する時刻ｔ１からｔ２における第１更新処理Ｕ１が終了してから、メモリ領域Ｍ３に対する時刻ｔ２からｔ３における第２更新処理Ｕ２を行った。メモリ領域Ｍ１は、メモリ領域Ｍ２よりも順番において後である。
　第２更新ユニット３１は、最も新しく第１更新処理Ｕ１が終了したメモリ領域よりも、順番において１つ前のメモリ領域に対し、第２更新処理Ｕ２を行った。
　例えば、時刻ｔ２において、最も新しく第１更新処理Ｕ１が終了したメモリ領域はメモリ領域Ｍ１である。メモリ領域Ｍ１よりも、順番において１つ前のメモリ領域はメモリ領域Ｍ３である。第２更新ユニット３１は、時刻ｔ２からｔ３において、メモリ領域Ｍ３に対し第２更新処理Ｕ２を行った。
　読み出しユニット３３は、メモリ領域Ｍ３に記載された画像を、時刻ｔ０からｔ２までの期間Ｒに読み出した。次に、読み出しユニット３３は、メモリ領域Ｍ１に記載された画像を、時刻ｔ２からｔ５までの期間Ｒに読み出した。次に、読み出しユニット３３は、メモリ領域Ｍ２に記載された画像を、時刻ｔ５からｔ８までの期間Ｒに読み出した。
　次に、読み出しユニット３３は、メモリ領域Ｍ３に記載された画像を、時刻ｔ８からｔ１１までの期間Ｒに読み出した。次に、読み出しユニット３３は、メモリ領域Ｍ１に記載された画像を、時刻ｔ１１からｔ１４までの期間Ｒに読み出した。次に、読み出しユニット３３は、メモリ領域Ｍ２に記載された画像を、時刻ｔ１４からｔ１７までの期間Ｒに読み出した。いずれの期間Ｒも、読み出し処理の対象となるメモリ領域において、第１更新処理Ｕ１が終了してから、第２更新処理Ｕ２が開始されるまでの期間である。
　図５に示す事例では、時刻ｔ１からｔ２における第１更新処理Ｕ１と、時刻ｔ４からｔ５における第１更新処理Ｕ１と、時刻ｔ７からｔ８における第１更新処理Ｕ３とは正常に行われた。そのため、時刻ｔ２からｔ５までの期間Ｒと、時刻ｔ５からｔ８までの期間Ｒと、時刻ｔ８からｔ１１までの期間Ｒとに読み出しユニット３３が読み出した画像はそれぞれ第１画像ＲＰであった。
　時刻ｔ１０からｔ１１における第１更新処理Ｕ１と、時刻ｔ１３からｔ１４における第１更新処理Ｕ１と、時刻ｔ１６からｔ１７における第１更新処理Ｕ３とは正常に行われず、更新前の特定画像ＰＸがメモリ領域に残存した。そのため、時刻ｔ１１からｔ１４までの期間Ｒと、時刻ｔ１４からｔ１７までの期間Ｒと、時刻ｔ１７以降の期間Ｒとに読み出しユニット３３が読み出した画像はそれぞれ特定画像ＰＸであった。
　（２－３）第２記憶ユニット２７が実行する処理
　第２記憶ユニット２７は、基本的には第１記憶ユニット２５と同様の処理を行う。ただし、メモリ領域Ｍ１～Ｍ３に記憶する画像は、第１画像ＲＰ及び第１画像ＬＰではなく、第２画像ＲＰ及び第２画像ＬＰである。また、第２記憶ユニット２７は、メモリ領域Ｍ１～Ｍ３から読み出した画像を、演算ユニット２３ではなく、画像出力ユニット１５に送る。第２記憶ユニット２７が実行する処理において、第２画像ＲＰ及び第２画像ＬＰは記憶画像に対応する。
　３．画像表示システム１が奏する効果
　（１Ａ）画像表示システム１によれば、第１更新処理が正常に行われなかった場合、ディスプレイ９に表示される画像は、特定画像ＰＸである。そのため、第１更新処理が正常に行われなかった場合でも、第１更新処理の前からメモリ領域Ｍ１～Ｍ３に記憶されていた古い画像がディスプレイ９に表示されてしまうことを抑制できる。その結果、ユーザが、ディスプレイ９に表示された古い画像を最新の画像であると誤認識してしまうことを抑制できる。
　画像表示システム１は、電子ミラーシステム、リアバックアップカメラ等に適用できる。電子ミラーシステム、及びリアバックアップカメラは、光学ミラーと同様に、ユーザが車両周辺の現状を確認し、車両操作をするために使用される。仮に、電子ミラーシステム、リアバックアップカメラが過去の画像を表示すると、ユーザは過去の画像を見て現状を誤認するおそれがあり、危険である。
　画像表示システム１は上記のように、古い画像がディスプレイ９に表示されることを抑制できるので、ユーザが過去の画像を見て現状を誤認してしまうことを抑制できる。
　（１Ｂ）画像表示システム１によれば、第１更新処理が正常に行われなかった場合、ディスプレイ９に特定画像ＰＸが表示される。そのため、ユーザは、第１更新処理が正常に行われなかったことを容易に知ることができる。
　（１Ｃ）第２更新ユニット３１は、最も新しく第１更新処理が終了したメモリ領域よりも、順番において１つ前のメモリ領域に対し、第２更新処理を行う。そのため、メモリ領域の記憶内容を、早期に特定画像ＰＸで更新することができる。その結果、前記（１Ａ）及び（１Ｂ）の効果を一層確実に奏することができる。
　（１Ｄ）第２記憶ユニット２７は、第２画像ＲＰ及び第２画像ＬＰを一時的に記憶する処理において、前記（１Ａ）～（１Ｃ）の効果を奏することができる。
　（１Ｅ）画像表示システム１は、読み出しユニット３３が読み出した画像が、特定画像ＰＸを含むか否かを判断する。画像表示システム１は、その判断結果を反映する信号を出力する。よって、画像表示システム１によれば、読み出しユニット３３が読み出した画像が正常であるか否かをユーザが容易に知ることができる。画像表示システム１によれば、読み出しユニット３３が読み出した画像が異常であることを容易に検出することができる。
＜他の実施形態＞
　以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
　（１）画像表示システム１が備えるカメラの数は１であってもよいし、３以上であってもよい。演算ユニット２３は、複数の第１画像を合成して単一の第２画像を生成してもよい。単一の第２画像として、例えば、上方の視点から車両を見た鳥瞰図等が挙げられる。
　（２）画像表示システム１は、第１記憶ユニット２５及び第２記憶ユニット２７のうちの一方では、第２更新処理を行わなくてもよい。
　（３）第２更新処理の頻度は、第１更新処理の頻度より低くてもよい。例えば、画像表示システム１は、第１更新処理をＮ回行うごとに、第２更新処理を１回行ってもよい。Ｎは２以上の自然数である。
　（４）画像表示システム１が備える複数のメモリ領域の数は３以外であってもよい。複数のメモリ領域の数は、例えば、２、４、５、６・・・であってもよい。
　（５）画像表示システム１は、複数のメモリ領域のうち、一部のメモリ領域に限定して、第２更新処理を行ってもよい。
　（６）読み出しユニット３３が画像を読み出す頻度は、第１更新処理の頻度より高くてもよい。この場合、読み出しユニット３３は、例えば、メモリ領域Ｍ１から連続してｎ回画像を読み出し、次に、メモリ領域Ｍ２から連続してｎ回画像を読み出し、次に、メモリ領域Ｍ３から連続してｎ回画像を読み出すことができる。ｎは２以上の自然数である。上記の態様も、順番に従って行う読み出し処理に対応する。
　（７）第２更新処理を開始する時刻は、順番において後であるメモリ領域に対する第１更新処理が終了した時刻と同時であってもよいし、それより後の時刻であってもよい。
　（８）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。
　（９）上述した画像処理装置の他、当該画像処理装置を構成要素とするシステム、当該画像処理装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、画像処理方法、画像記憶方法、画像表示方法等、種々の形態で本開示を実現することもできる。

Claims (5)

  1. 　撮像装置（３、５）から第１画像を取得するように構成された画像取得ユニット（１１）と、
    　前記第１画像に対し画像処理を行い、第２画像を生成するように構成された画像処理ユニット（１３）と、
    　前記第２画像を画像表示装置（９）に出力するように構成された画像出力ユニット（１５）と、
    　を備えた画像処理装置（７）であって、
    　前記画像処理ユニットは、前記第１画像又は前記第２画像である記憶画像を一時的に記憶するように構成された記憶ユニット（２５、２７）を備え、
    　前記記憶ユニットは、
    　　複数のメモリ領域（Ｍ１、Ｍ２、Ｍ３）と、
    　　前記メモリ領域の記憶内容を前記記憶画像により更新する第１更新処理を、前記複数のメモリ領域のそれぞれに対し、予め設定された順番に従って行うように構成された第１更新ユニット（２９）と、
    　　前記メモリ領域の記憶内容を、特定の形態を有する特定画像により更新する第２更新処理を、前記複数のメモリ領域のそれぞれに対し、前記順番に従って行うように構成された第２更新ユニット（３１）と、
    　　前記メモリ領域に記憶された画像を読み出す読み出し処理を、前記複数のメモリ領域のそれぞれに対し、前記順番に従って行うように構成された読み出しユニット（３３）と、を備え、
    　前記第２更新ユニットは、第２更新処理の対象となる前記メモリ領域よりも、前記順番において後である前記メモリ領域に対する前記第１更新処理が終了してから、前記第２更新処理を行うように構成された画像処理装置。
  2. 　請求項１に記載の画像処理装置であって、
    　前記第２更新ユニットは、最も新しく前記第１更新処理が終了した前記メモリ領域よりも、前記順番において１つ前の前記メモリ領域に対し、前記第２更新処理を行うように構成された画像処理装置。
  3. 　請求項１又は２に記載の画像処理装置であって、
    　前記読み出しユニットは、最も新しく前記第１更新処理が終了した前記メモリ領域に対し前記読み出し処理を行うよう構成され、
    　前記記憶画像は前記第２画像であり、　
    　前記画像出力ユニットは、前記読み出しユニットが読み出した前記第２画像を前記画像表示装置に出力するように構成された画像処理装置。
  4. 　請求項１～３のいずれか１項に記載の画像処理装置であって、
    　前記読み出しユニットが読み出した前記記憶画像が、前記特定画像を含むか否かを判断するように構成された判断ユニット（３５）と、
    　前記判断ユニットの判断結果を反映する信号を出力するように構成された信号出力ユニット（３７）と、
    　をさらに備えた画像処理装置。
  5. 　請求項１～４のいずれか１項に記載の画像処理装置と、
    　前記撮像装置と、
    　前記画像表示装置と、
    　を備える画像表示システム（１）。
     
     
PCT/JP2019/037876 2018-09-26 2019-09-26 画像処理装置及び画像表示システム WO2020067298A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201980062777.1A CN112771839B (zh) 2018-09-26 2019-09-26 图像处理装置以及图像显示系统
DE112019004825.2T DE112019004825T5 (de) 2018-09-26 2019-09-26 Bildverarbeitungsapparat und Bildanzeigesystem
US17/211,264 US11871141B2 (en) 2018-09-26 2021-03-24 Image processing apparatus and image display system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018180347A JP6958526B2 (ja) 2018-09-26 2018-09-26 画像処理装置及び画像表示システム
JP2018-180347 2018-09-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/211,264 Continuation US11871141B2 (en) 2018-09-26 2021-03-24 Image processing apparatus and image display system

Publications (1)

Publication Number Publication Date
WO2020067298A1 true WO2020067298A1 (ja) 2020-04-02

Family

ID=69951907

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/037876 WO2020067298A1 (ja) 2018-09-26 2019-09-26 画像処理装置及び画像表示システム

Country Status (5)

Country Link
US (1) US11871141B2 (ja)
JP (1) JP6958526B2 (ja)
CN (1) CN112771839B (ja)
DE (1) DE112019004825T5 (ja)
WO (1) WO2020067298A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113628095B (zh) * 2021-08-04 2022-11-01 展讯通信（上海）有限公司 人像区域网格点信息存储方法及相关产品

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008252307A (ja) * 2007-03-29 2008-10-16 Denso Corp 画像表示システム
JP2012089985A (ja) * 2010-10-18 2012-05-10 Fujitsu Ten Ltd 表示制御装置及び制御装置
JP2012147308A (ja) * 2011-01-13 2012-08-02 Fujitsu Ten Ltd 画像処理装置、画像表示システム、及び、画像処理方法
JP2013197927A (ja) * 2012-03-21 2013-09-30 Mitsubishi Electric Corp 映像監視装置及び映像監視システム
JP2016102939A (ja) * 2014-11-28 2016-06-02 株式会社デンソー 表示装置
JP2016167664A (ja) * 2015-03-09 2016-09-15 アルパイン株式会社 画像処理装置および方法
JP2018079839A (ja) * 2016-11-17 2018-05-24 株式会社デンソー 車両用表示システムおよびフリーズ検出装置
JP2018121238A (ja) * 2017-01-26 2018-08-02 アルパイン株式会社 ディスプレイの表示制御装置および表示映像フリーズ報知方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5574509A (en) 1978-12-01 1980-06-05 Canon Inc Projector
JP2005057593A (ja) * 2003-08-06 2005-03-03 Nissan Motor Co Ltd 車両用表示装置
JP2007215106A (ja) * 2006-02-13 2007-08-23 Sharp Corp 画像判定装置および画像処理装置
TWI384364B (zh) * 2007-11-16 2013-02-01 Mstar Semiconductor Inc 資料存取裝置及方法
JP5230828B1 (ja) * 2012-02-09 2013-07-10 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
JP2014216976A (ja) * 2013-04-30 2014-11-17 ソニー株式会社 撮像装置、および画像記録処理方法、並びにプログラム
US9767529B1 (en) * 2013-12-18 2017-09-19 Mediatek Inc. Method and apparatus for accessing compressed data and/or uncompressed data of image frame in frame buffer
JP2018022932A (ja) * 2014-12-08 2018-02-08 株式会社ジャパンディスプレイ 表示システム及び表示装置
JP6311646B2 (ja) 2015-05-20 2018-04-18 株式会社デンソー 画像処理装置、電子ミラーシステム、及び画像処理方法
CN106445765B (zh) * 2016-09-30 2018-07-27 京东方科技集团股份有限公司 寄存器故障检测方法和装置
JP6314297B1 (ja) 2017-04-15 2018-04-25 株式会社サムス 電子部品モジュール装置及びその製造方法
CN109992234B (zh) * 2017-12-29 2020-11-17 浙江宇视科技有限公司 图像数据读取方法、装置、电子设备及可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008252307A (ja) * 2007-03-29 2008-10-16 Denso Corp 画像表示システム
JP2012089985A (ja) * 2010-10-18 2012-05-10 Fujitsu Ten Ltd 表示制御装置及び制御装置
JP2012147308A (ja) * 2011-01-13 2012-08-02 Fujitsu Ten Ltd 画像処理装置、画像表示システム、及び、画像処理方法
JP2013197927A (ja) * 2012-03-21 2013-09-30 Mitsubishi Electric Corp 映像監視装置及び映像監視システム
JP2016102939A (ja) * 2014-11-28 2016-06-02 株式会社デンソー 表示装置
JP2016167664A (ja) * 2015-03-09 2016-09-15 アルパイン株式会社 画像処理装置および方法
JP2018079839A (ja) * 2016-11-17 2018-05-24 株式会社デンソー 車両用表示システムおよびフリーズ検出装置
JP2018121238A (ja) * 2017-01-26 2018-08-02 アルパイン株式会社 ディスプレイの表示制御装置および表示映像フリーズ報知方法

Also Published As

Publication number Publication date
DE112019004825T5 (de) 2021-07-15
JP2020053799A (ja) 2020-04-02
CN112771839B (zh) 2022-07-08
US11871141B2 (en) 2024-01-09
CN112771839A (zh) 2021-05-07
US20210211605A1 (en) 2021-07-08
JP6958526B2 (ja) 2021-11-02

Similar Documents

Publication Publication Date Title
US8363164B2 (en) Apparatus and method for outputting image using a plurality of chroma-key colors
JP2008276318A (ja) 画像処理装置、画像処理方法
JP2007325074A (ja) 画像処理システム及び画像処理方法
KR102140526B1 (ko) 어라운드 뷰 장치
US20210042081A1 (en) Display device and multi-display system
WO2020067298A1 (ja) 画像処理装置及び画像表示システム
US20070252905A1 (en) Image processing apparatus
JP6459283B2 (ja) 映像信号処理装置及び映像信号処理プログラム
CN102857694B (zh) 图像合成设备及其控制方法
CN113479136A (zh) 一种数字后视镜系统显示控制方法和装置
CN109792514B (zh) 显示控制装置及显示控制方法
CN114205530B (zh) 一种面向车载摄像头模组的自适应控制方法及系统
JP2008103916A (ja) 頭部装着型画像表示装置およびシステム
JP2016039386A (ja) 映像信号処理装置及び映像信号処理プログラム
JP2017085360A (ja) 半導体装置、映像表示システムおよび映像信号の出力方法
US20200357357A1 (en) Image processing device, image processing method, and image display system
JP3965558B2 (ja) 信号処理方法および装置
CN114593394B (zh) 在高清前照灯中推断降低的图像刷新频率的方法和系统
JP6537851B2 (ja) 画像処理装置および方法
EP3429192B1 (en) Projection system, video conversion device, projector, cradle, video conversion method, and video projection method
JP7419204B2 (ja) 画像処理装置
JP6942424B2 (ja) 車両用後方画像表示装置
US20240114108A1 (en) Video processing device and video signal combining device
JP2016225904A (ja) 画像信号処理装置
US20090131176A1 (en) Game processing device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19864317

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19864317

Country of ref document: EP

Kind code of ref document: A1