JP6958526B2 - 画像処理装置及び画像表示システム - Google Patents

画像処理装置及び画像表示システム Download PDF

Info

Publication number
JP6958526B2
JP6958526B2 JP2018180347A JP2018180347A JP6958526B2 JP 6958526 B2 JP6958526 B2 JP 6958526B2 JP 2018180347 A JP2018180347 A JP 2018180347A JP 2018180347 A JP2018180347 A JP 2018180347A JP 6958526 B2 JP6958526 B2 JP 6958526B2
Authority
JP
Japan
Prior art keywords
image
unit
memory area
update
update process
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018180347A
Other languages
English (en)
Other versions
JP2020053799A (ja
Inventor
友希 山上
明 江頭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2018180347A priority Critical patent/JP6958526B2/ja
Priority to CN201980062777.1A priority patent/CN112771839B/zh
Priority to PCT/JP2019/037876 priority patent/WO2020067298A1/ja
Priority to DE112019004825.2T priority patent/DE112019004825T5/de
Publication of JP2020053799A publication Critical patent/JP2020053799A/ja
Priority to US17/211,264 priority patent/US11871141B2/en
Application granted granted Critical
Publication of JP6958526B2 publication Critical patent/JP6958526B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本開示は画像処理装置及び画像表示システムに関する。
車両用の画像表示システムは、カメラと、画像処理装置と、ディスプレイとを備える。カメラは車両の周囲の風景を撮影し、画像を生成する。画像処理装置は、カメラが生成した画像に対し画像処理を行う。ディスプレイは、画像処理後の画像を表示する。ディスプレイは車室内に設置されている。画像表示システムは特許文献１に開示されている。
特許第６３１１６４６号公報
画像処理装置は、一般的に、画像を一時的に記憶する記憶ユニットを備える。記憶ユニットの記憶内容は、定期的に、新たに生成された画像により更新される。カメラの故障等の原因により、記憶ユニットの記憶内容が更新されないと、古い画像が記憶ユニットに残る。そして、ディスプレイは、古い画像を表示することがある。ユーザは、ディスプレイに表示された古い画像を、最新の画像であると誤認識するおそれがある。また、画像処理装置は、記憶ユニットに残っている画像が表す風景が古いものであるのか最新のものであるのか判別できないので、古い画像が更新されずに記憶ユニットに残る現象（以下では更新異常とする）を検知できない。
本開示の一局面は、記憶ユニットに残った古い画像が画像表示装置に表示されてしまうことを抑制でき、更新異常を検知できる画像処理装置及び画像表示システムを提供することを目的とする。
本開示の一局面は、撮像装置（３、５）から第１画像を取得するように構成された画像取得ユニット（１１）と、前記第１画像に対し画像処理を行い、第２画像を生成するように構成された画像処理ユニット（１３）と、前記第２画像を画像表示装置（９）に出力するように構成された画像出力ユニット（１５）と、を備えた画像処理装置（７）であって、前記画像処理ユニットは、前記第１画像又は前記第２画像である記憶画像を一時的に記憶するように構成された記憶ユニット（２５、２７）を備え、前記記憶ユニットは、複数のメモリ領域（Ｍ１、Ｍ２、Ｍ３）と、前記メモリ領域の記憶内容を前記記憶画像により更新する第１更新処理を、前記複数のメモリ領域のそれぞれに対し、予め設定された順番に従って行うように構成された第１更新ユニット（２９）と、前記メモリ領域の記憶内容を、特定の形態を有する特定画像により更新する第２更新処理を、前記複数のメモリ領域のそれぞれに対し、前記順番に従って行うように構成された第２更新ユニット（３１）と、前記メモリ領域に記憶された画像を読み出す読み出し処理を、前記複数のメモリ領域のそれぞれに対し、前記順番に従って行うように構成された読み出しユニット（３３）と、を備え、前記第２更新ユニットは、第２更新処理の対象となる前記メモリ領域よりも、前記順番において後である前記メモリ領域に対する前記第１更新処理が終了してから、前記第２更新処理を行うように構成された画像処理装置である。
本開示の一局面である画像表処理装置によれば、第１更新処理が正常に行われなかった
場合、画像表示装置に表示される画像は、特定画像である。そのため、第１更新処理が正常に行われなかった場合でも、第１更新処理の前からメモリ領域に記憶されていた古い画像が画像表示装置に表示されてしまうことを抑制できる。その結果、ユーザが、画像表示装置に表示された古い画像を最新の画像であると誤認識してしまうことを抑制できる。
画像表示システム１の構成を表すブロック図である。 第１記憶ユニット２５の構成を表す説明図である。 第１記憶ユニット２５が実行する処理を表すフローチャートである。 図４Ａは、水平同期信号異常が生じた場合にメモリ領域から読み出される画像３９を表す説明図であり、図４Ｂは、垂直同期信号異常が生じた場合にメモリ領域から読み出される画像４１を表す説明図である。 第１記憶ユニット２５が実行する処理を表すタイムチャートである。
本開示の例示的な実施形態を、図面を参照しながら説明する。
＜第１実施形態＞
１．画像表示システム１の構成
画像表示システム１の構成を、図１〜図２に基づき説明する。画像表示システム１は車両に搭載される車載システムである。図１に示すように、画像表示システム１は、右カメラ３と、左カメラ５と、画像処理装置７と、ディスプレイ９と、を備える。右カメラ３及び左カメラ５は撮像装置に対応する。ディスプレイ９は画像表示装置に対応する。
右カメラ３は、車両の右後側方の風景を撮像し、画像を生成する。左カメラ５は、車両の左後側方の風景を撮像し、画像を生成する。右カメラ３が生成した画像を第１画像ＲＰとする。左カメラ５が生成した画像を第１画像ＬＰとする。
右カメラ３及び左カメラ５は、それぞれ、所定時間ごとに繰り返し画像を生成する。以下では、右カメラ３が所定時間ごとに繰り返し生成した複数の第１画像ＲＰを区別するために、第１画像ＲＰ１、ＲＰ２、ＲＰ３、ＲＰ４・・・のように表すことがある。第１画像ＲＰ（ｉ＋１）は、第１画像ｉの次に生成した画像である。ｉは１以上の自然数である。
画像処理装置７は、画像取得ユニット１１と、画像処理ユニット１３と、画像出力ユニット１５と、メモリ１７と、電源部１９と、通信インターフェース（Ｉ／Ｆ）２１と、を備える。
画像取得ユニット１１は、右カメラ３から第１画像ＲＰを取得し、左カメラ５から第１画像ＬＰを取得する。画像取得ユニット１１は、第１画像ＲＰ及び第１画像ＬＰを画像処理ユニット１３に送る。
画像処理ユニット１３は、演算ユニット２３と、第１記憶ユニット２５と、第２記憶ユニット２７と、を備える。演算ユニット２３は、第１画像ＲＰに対し画像処理を行い、第２画像ＲＰを生成する。演算ユニット２３は、第１画像ＬＰに対し画像処理を行い、第２画像ＬＰを生成する。画像処理として、例えば、画像の一部を切り出す処理、視点が異なる画像に変換する処理、複数の画像を合成する処理等が挙げられる。
第１記憶ユニット２５は、第１画像ＲＰ及び第１画像ＬＰを一時的に記憶してから、第１画像ＲＰ及び第１画像ＬＰを演算ユニット２３に送る機能を有する。第１記憶ユニット２５はバッファとして機能する。
図２に示すように、第１記憶ユニット２５は、メモリ領域Ｍ１〜Ｍ３と、第１更新ユニット２９と、第２更新ユニット３１と、読み出しユニット３３と、判断ユニット３５と、信号出力ユニット３７と、を備える。メモリ領域Ｍ１〜Ｍ３は、メモリ１７により仮想的に実現される構成である。メモリ領域Ｍ１〜Ｍ３は複数のメモリ領域に対応する。
第２記憶ユニット２７は、第２画像ＲＰ及び第２画像ＬＰを一時的に記憶してから、第２画像ＲＰ及び第２画像ＬＰを画像出力ユニット１５に送る機能を有する。第２記憶ユニット２７はバッファとして機能する。
第２記憶ユニット２７は、基本的には、第１記憶ユニット２５と同様の構成を有する。ただし、第２記憶ユニット２７では、第１更新ユニット２９は、画像取得ユニット１１ではなく、演算ユニット２３と接続する。また、読み出しユニット３３は、演算ユニット２３ではなく、画像出力ユニット１５と接続する。
画像出力ユニット１５は、第２画像ＲＰ及び第２画像ＬＰを画像処理ユニット１３から受け取り、ディスプレイ９に出力する。
なお、画像表示システム１は、電子ミラーシステム、リアバックアップカメラ等に好適に適用できる。リアバックアップカメラは、車両の後退時に後方画像を表示する。
画像表示システム１を電子ミラーシステムに適用した場合、ディスプレイ９は車室内の左側と右側とに１つずつ配置される。画像出力ユニット１５が出力する第２画像ＲＰは右側のディスプレイ９に表示される。画像出力ユニット１５が出力する第２画像ＬＰは左側のディスプレイ９に表示される。
メモリ１７はメモリ領域Ｍ１〜Ｍ３を提供する。電源部１９は画像処理装置７に電源を供給する。通信インターフェース２１は車載通信バス２２と接続している。通信インターフェース２１は、車載通信バス２２を介して車速、シフトレンジ、ウインカー等を表す情報を取得し、取得した情報を画像処理ユニット１３に送る。送られた情報は、画像処理に用いられる。
ディスプレイ９は車室内に設置されている。ディスプレイ９は、画像出力ユニット１５から出力された画像を表示する。
２．画像表示システム１が実行する処理
（２−１）処理の概略
画像表示システム１が実行する処理の概略は以下のとおりである。右カメラ３は、所定時間ごと繰り返し第１画像ＲＰを生成する。左カメラ５は、所定時間ごとに繰り返し第１画像ＬＰを生成する。
画像取得ユニット１１は、第１画像ＲＰ及び第１画像ＬＰを順次取得し、画像処理ユニット１３に送る。第１記憶ユニット２５は、第１画像ＲＰ及び第１画像ＬＰを一時的に記憶してから、演算ユニット２３に送る。
演算ユニット２３は、第１画像ＲＰに対し画像処理を行い、第２画像ＲＰを生成する。演算ユニット２３は、第１画像ＬＰに対し画像処理を行い、第２画像ＬＰを生成する。第２記憶ユニット２７は、第２画像ＲＰ及び第２画像ＬＰを一時的に記憶してから、画像出力ユニット１５に送る。
画像出力ユニット１５は、第２画像ＲＰ及び第２画像ＬＰをディスプレイ９に出力する。ディスプレイ９は第２画像ＲＰ及び第２画像ＬＰを表示する。
（２−２）第１記憶ユニット２５が実行する処理
第１記憶ユニット２５が実行する処理を、図２〜図４に基づき説明する。第１記憶ユニ
ット２５は、第１画像ＲＰと第１画像ＬＰのそれぞれについて、同様の処理を行う。ここでは、第１画像ＲＰに対する処理を説明する。第１記憶ユニット２５が実行する処理において、第１画像ＲＰ及び第１画像ＬＰは記憶画像に対応する。
図３のステップ１では、第１更新ユニット２９が、メモリ領域Ｍ１の記憶内容を、第１画像ＲＰｉで更新する第１更新処理を行う。ｉは１以上の自然数である。
第１更新処理が正常に行われた場合、メモリ領域Ｍ１の記憶内容は第１画像ＲＰｉとなる。第１更新処理が正常に行われなかった場合、メモリ領域Ｍ１の記憶内容は、更新前の画像か、異常な画像となる。更新前の画像は、後述する特定画像ＰＸである。
ステップ２では、第２更新ユニット３１が、メモリ領域Ｍ３の記憶内容を、特定画像ＰＸにより更新する第２更新処理を行う。特定画像ＰＸとは、特定の形態を有する画像である。特定画像ＰＸは、ユーザが、第１画像ＲＰ及び第１画像ＬＰと区別できる画像である。特定画像ＰＸとして、例えば、色彩及び輝度が均一な画像（以下では均一画像とする）、規則正しい模様が表現された画像等が挙げられる。画像処理装置７は、例えば、予め特定画像ＰＸを保持している。また、特定画像ＰＸが均一画像である場合、画像処理装置７は、所定の色値を予め記憶しておき、第２更新処理の際に画像の全画素に対して記憶している色値を適応することで特定画像ＰＸを生成してもよい。画像処理装置７は、例えば、製品出荷時から所定の色値や特定画像ＰＸを保持している。第２更新処理の終了後、メモリ領域Ｍ３の記憶内容は、特定画像ＰＸとなる。
なお、メモリ領域Ｍ１〜Ｍ３には、予め順番が設定されている。その順番は、Ｍ１→Ｍ２→Ｍ３→Ｍ１→Ｍ２→Ｍ３・・・のように循環する順番である。メモリ領域Ｍ３は、メモリ領域Ｍ１よりも、順番において１つ前である。
ステップ３では、読み出しユニット３３が、メモリ領域Ｍ１に記憶された画像を読み出す読み出し処理を行う。読み出しユニット３３は、読み出した画像を演算ユニット２３に送る。
ステップ４では、前記ステップ３で読み出した画像が特定画像ＰＸを含むか否かを判断ユニット３５が判断する。前記ステップ３で読み出した画像であって、特定画像ＰＸを含む画像として、例えば、図４Ａに示す画像３９、図４Ｂに示す画像４１等がある。
画像３９では、水平方向における一部が特定画像ＰＸとなっており、他の部分が第１画像ＲＰｉとなっている。前記ステップ１において水平同期信号異常が生じると、メモリ領域Ｍ１の記憶内容のうち、水平方向における一部を更新できず、メモリ領域Ｍ１の記憶内容が画像３９となる。その結果、前記ステップ３で読み出した画像が画像３９となる。
画像４１では、垂直方向における一部が特定画像ＰＸとなっており、他の部分が第１画像ＲＰｉとなっている。前記ステップ１において垂直同期信号異常が生じると、メモリ領域Ｍ１の記憶内容のうち、垂直方向における一部を更新できず、メモリ領域Ｍ１の記憶内容が画像４１となる。その結果、前記ステップ３で読み出した画像が画像４１となる。
なお、前記ステップ１において第１更新処理が正常に行われると、前記ステップ３で読み出した画像の全体は第１画像ＲＰｉであり、特定画像ＰＸを含まない。
前記ステップ３で読み出した画像が特定画像ＰＸを含む場合、本処理はステップ５に進む。前記ステップ３で読み出した画像が特定画像ＰＸを含まない場合、本処理はステップ６に進む。
ステップ５では、読み出した画像が異常であることを表す信号を信号出力ユニット３７
が出力する。ディスプレイ９又は他の装置は、その信号に基づき、更新異常が発生していることをユーザに知らせる報知や、更新異常に対する処置等を行うことができる。更新異常に対する処置は、例えば、画像表示システム１が備えるいずれかの構成が行うことができる。
ステップ６では、第１更新ユニット２９が、メモリ領域Ｍ２の記憶内容を、第１画像ＲＰ（ｉ＋１）で更新する第１更新処理を行う。メモリ領域Ｍ２は、メモリ領域Ｍ１よりも、順番において１つ後である。
第１更新処理が正常に行われた場合、メモリ領域Ｍ２の記憶内容は第１画像ＲＰ（ｉ＋１）となる。第１更新処理が正常に行われなかった場合、メモリ領域Ｍ２の記憶内容は、更新前の画像か、異常な画像となる。更新前の画像は特定画像ＰＸである。
ステップ７では、第２更新ユニット３１が、メモリ領域Ｍ１の記憶内容を、特定画像ＰＸにより更新する第２更新処理を行う。第２更新処理の終了後、メモリ領域Ｍ１の記憶内容は、特定画像ＰＸとなる。なお、メモリ領域Ｍ１は、メモリ領域Ｍ２よりも、順番において１つ前である。
ステップ８では、読み出しユニット３３が、メモリ領域Ｍ２に記憶された画像を読み出す読み出し処理を行う。読み出しユニット３３は、読み出した画像を演算ユニット２３に送る。
ステップ９では、前記ステップ８で読み出した画像が特定画像ＰＸを含むか否かを判断ユニット３５が判断する。前記ステップ８で読み出した画像が特定画像ＰＸを含む場合、本処理はステップ１０に進む。前記ステップ８で読み出した画像が特定画像ＰＸを含まない場合、本処理はステップ１１に進む。
ステップ１０では、読み出した画像が異常であることを表す信号を信号出力ユニット３７が出力する。ディスプレイ９又は他の装置は、その信号に基づき、更新異常が発生していることをユーザに知らせる報知や、更新異常に対する処置等を行うことができる。更新異常に対する処置は、例えば、画像表示システム１が備えるいずれかの構成が行うことができる。
ステップ１１では、第１更新ユニット２９が、メモリ領域Ｍ３の記憶内容を、第１画像ＲＰ（ｉ＋２）で更新する第１更新処理を行う。メモリ領域Ｍ３は、メモリ領域Ｍ２よりも、順番において１つ後である。第１更新処理が正常に行われた場合、メモリ領域Ｍ３の記憶内容は第１画像ＲＰ（ｉ＋２）となる。第１更新処理が正常に行われなかった場合、メモリ領域Ｍ３の記憶内容は、更新前の画像か、異常な画像となる。更新前の画像は特定画像ＰＸである。
ステップ１２では、第２更新ユニット３１が、メモリ領域Ｍ２の記憶内容を、特定画像ＰＸにより更新する第２更新処理を行う。第２更新処理の終了後、メモリ領域Ｍ２の記憶内容は特定画像ＰＸとなる。なお、メモリ領域Ｍ２は、メモリ領域Ｍ３よりも、順番において１つ前である。
ステップ１３では、読み出しユニット３３が、メモリ領域Ｍ３に記憶された画像を読み出す読み出し処理を行う。読み出しユニット３３は、読み出した画像を演算ユニット２３に送る。
ステップ１４では、前記ステップ１３で読み出した画像が特定画像ＰＸを含むか否かを
判断ユニット３５が判断する。前記ステップ１３で読み出した画像が特定画像ＰＸを含む場合、本処理はステップ１５に進む。前記ステップ１３で読み出した画像が特定画像ＰＸを含まない場合、本処理はステップ１６に進む。
ステップ１５では、読み出した画像が異常であることを表す信号を信号出力ユニット３７が出力する。ディスプレイ９又は他の装置は、その信号に基づき、更新異常が発生していることをユーザに知らせる報知や、更新異常に対する処置等を行うことができる。更新異常に対する処置は、例えば、画像表示システム１が備えるいずれかの構成が行うことができる。
ステップ１６では、第１記憶ユニット２５が、ｉの値を３だけ増す。次に、本処理はステップ１に戻る。
上述した処理の事例のタイムチャートを図５に示す。第１更新ユニット２９は、時刻ｔ１からｔ２において、メモリ領域Ｍ１に対し第１更新処理Ｕ１を行った。次に、第１更新ユニット２９は、時刻ｔ４からｔ５において、メモリ領域Ｍ２に対し第１更新処理Ｕ１を行った。次に、第１更新ユニット２９は、時刻ｔ７からｔ８において、メモリ領域Ｍ３に対し第１更新処理Ｕ１を行った。
次に、第１更新ユニット２９は、時刻ｔ１０からｔ１１において、メモリ領域Ｍ１に対し第１更新処理Ｕ１を行った。次に、第１更新ユニット２９は、時刻ｔ１３からｔ１４において、メモリ領域Ｍ２に対し第１更新処理Ｕ１を行った。次に、第１更新ユニット２９は、時刻ｔ１６からｔ１７において、メモリ領域Ｍ３に対し第１更新処理Ｕ１を行った。このように、第１更新ユニット２９は、複数のメモリ領域Ｍ１〜Ｍ３のそれぞれに対し、予め設定された順番に従って第１更新処理Ｕ１を行った。
第２更新ユニット３１は、時刻ｔ２からｔ３において、メモリ領域Ｍ３に対し第２更新処理Ｕ２を行った。次に、第２更新ユニット３１は、時刻ｔ５からｔ６において、メモリ領域Ｍ１に対し第２更新処理Ｕ２を行った。次に、第２更新ユニット３１は、時刻ｔ８からｔ９において、メモリ領域Ｍ２に対し第２更新処理Ｕ２を行った。
次に、第２更新ユニット３１は、時刻ｔ１１からｔ１２において、メモリ領域Ｍ３に対し第２更新処理Ｕ２を行った。次に、第２更新ユニット３１は、時刻ｔ１４からｔ１５において、メモリ領域Ｍ１に対し第２更新処理Ｕ２を行った。次に、第２更新ユニット３１は、時刻ｔ１７からｔ１８において、メモリ領域Ｍ２に対し第２更新処理Ｕ２を行った。このように、第２更新ユニット３１は、複数のメモリ領域Ｍ１〜Ｍ３のそれぞれに対し、予め設定された順番に従って第２更新処理Ｕ２を行った。
第２更新ユニット３１は、第２更新処理Ｕ２の対象となるメモリ領域よりも、順番において後であるメモリ領域に対する第１更新処理Ｕ１が終了してから、第２更新処理Ｕ２を行った。
例えば、第２更新ユニット３１は、メモリ領域Ｍ１に対する時刻ｔ１からｔ２における第１更新処理Ｕ１が終了してから、メモリ領域Ｍ３に対する時刻ｔ２からｔ３における第２更新処理Ｕ２を行った。メモリ領域Ｍ１は、メモリ領域Ｍ２よりも順番において後である。
第２更新ユニット３１は、最も新しく第１更新処理Ｕ１が終了したメモリ領域よりも、順番において１つ前のメモリ領域に対し、第２更新処理Ｕ２を行った。
例えば、時刻ｔ２において、最も新しく第１更新処理Ｕ１が終了したメモリ領域はメモリ領域Ｍ１である。メモリ領域Ｍ１よりも、順番において１つ前のメモリ領域はメモリ領
域Ｍ３である。第２更新ユニット３１は、時刻ｔ２からｔ３において、メモリ領域Ｍ３に対し第２更新処理Ｕ２を行った。
読み出しユニット３３は、メモリ領域Ｍ３に記載された画像を、時刻ｔ０からｔ２までの期間Ｒに読み出した。次に、読み出しユニット３３は、メモリ領域Ｍ１に記載された画像を、時刻ｔ２からｔ５までの期間Ｒに読み出した。次に、読み出しユニット３３は、メモリ領域Ｍ２に記載された画像を、時刻ｔ５からｔ８までの期間Ｒに読み出した。
次に、読み出しユニット３３は、メモリ領域Ｍ３に記載された画像を、時刻ｔ８からｔ１１までの期間Ｒに読み出した。次に、読み出しユニット３３は、メモリ領域Ｍ１に記載された画像を、時刻ｔ１１からｔ１４までの期間Ｒに読み出した。次に、読み出しユニット３３は、メモリ領域Ｍ２に記載された画像を、時刻ｔ１４からｔ１７までの期間Ｒに読み出した。いずれの期間Ｒも、読み出し処理の対象となるメモリ領域において、第１更新処理Ｕ１が終了してから、第２更新処理Ｕ２が開始されるまでの期間である。
図５に示す事例では、時刻ｔ１からｔ２における第１更新処理Ｕ１と、時刻ｔ４からｔ５における第１更新処理Ｕ１と、時刻ｔ７からｔ８における第１更新処理Ｕ３とは正常に行われた。そのため、時刻ｔ２からｔ５までの期間Ｒと、時刻ｔ５からｔ８までの期間Ｒと、時刻ｔ８からｔ１１までの期間Ｒとに読み出しユニット３３が読み出した画像はそれぞれ第１画像ＲＰであった。
時刻ｔ１０からｔ１１における第１更新処理Ｕ１と、時刻ｔ１３からｔ１４における第１更新処理Ｕ１と、時刻ｔ１６からｔ１７における第１更新処理Ｕ３とは正常に行われず、更新前の特定画像ＰＸがメモリ領域に残存した。そのため、時刻ｔ１１からｔ１４までの期間Ｒと、時刻ｔ１４からｔ１７までの期間Ｒと、時刻ｔ１７以降の期間Ｒとに読み出しユニット３３が読み出した画像はそれぞれ特定画像ＰＸであった。
（２−３）第２記憶ユニット２７が実行する処理
第２記憶ユニット２７は、基本的には第１記憶ユニット２５と同様の処理を行う。ただし、メモリ領域Ｍ１〜Ｍ３に記憶する画像は、第１画像ＲＰ及び第１画像ＬＰではなく、第２画像ＲＰ及び第２画像ＬＰである。また、第２記憶ユニット２７は、メモリ領域Ｍ１〜Ｍ３から読み出した画像を、演算ユニット２３ではなく、画像出力ユニット１５に送る。第２記憶ユニット２７が実行する処理において、第２画像ＲＰ及び第２画像ＬＰは記憶画像に対応する。
３．画像表示システム１が奏する効果
（１Ａ）画像表示システム１によれば、第１更新処理が正常に行われなかった場合、ディスプレイ９に表示される画像は、特定画像ＰＸである。そのため、第１更新処理が正常に行われなかった場合でも、第１更新処理の前からメモリ領域Ｍ１〜Ｍ３に記憶されていた古い画像がディスプレイ９に表示されてしまうことを抑制できる。その結果、ユーザが、ディスプレイ９に表示された古い画像を最新の画像であると誤認識してしまうことを抑制できる。
画像表示システム１は、電子ミラーシステム、リアバックアップカメラ等に適用できる。電子ミラーシステム、及びリアバックアップカメラは、光学ミラーと同様に、ユーザが車両周辺の現状を確認し、車両操作をするために使用される。仮に、電子ミラーシステム、リアバックアップカメラが過去の画像を表示すると、ユーザは過去の画像を見て現状を誤認するおそれがあり、危険である。
画像表示システム１は上記のように、古い画像がディスプレイ９に表示されることを抑制できるので、ユーザが過去の画像を見て現状を誤認してしまうことを抑制できる。
（１Ｂ）画像表示システム１によれば、第１更新処理が正常に行われなかった場合、ディスプレイ９に特定画像ＰＸが表示される。そのため、ユーザは、第１更新処理が正常に行われなかったことを容易に知ることができる。
（１Ｃ）第２更新ユニット３１は、最も新しく第１更新処理が終了したメモリ領域よりも、順番において１つ前のメモリ領域に対し、第２更新処理を行う。そのため、メモリ領域の記憶内容を、早期に特定画像ＰＸで更新することができる。その結果、前記（１Ａ）及び（１Ｂ）の効果を一層確実に奏することができる。
（１Ｄ）第２記憶ユニット２７は、第２画像ＲＰ及び第２画像ＬＰを一時的に記憶する処理において、前記（１Ａ）〜（１Ｃ）の効果を奏することができる。
（１Ｅ）画像表示システム１は、読み出しユニット３３が読み出した画像が、特定画像ＰＸを含むか否かを判断する。画像表示システム１は、その判断結果を反映する信号を出力する。よって、画像表示システム１によれば、読み出しユニット３３が読み出した画像が正常であるか否かをユーザが容易に知ることができる。画像表示システム１によれば、読み出しユニット３３が読み出した画像が異常であることを容易に検出することができる。
＜他の実施形態＞
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
（１）画像表示システム１が備えるカメラの数は１であってもよいし、３以上であってもよい。演算ユニット２３は、複数の第１画像を合成して単一の第２画像を生成してもよい。単一の第２画像として、例えば、上方の視点から車両を見た鳥瞰図等が挙げられる。
（２）画像表示システム１は、第１記憶ユニット２５及び第２記憶ユニット２７のうちの一方では、第２更新処理を行わなくてもよい。
（３）第２更新処理の頻度は、第１更新処理の頻度より低くてもよい。例えば、画像表示システム１は、第１更新処理をＮ回行うごとに、第２更新処理を１回行ってもよい。Ｎは２以上の自然数である。
（４）画像表示システム１が備える複数のメモリ領域の数は３以外であってもよい。複数のメモリ領域の数は、例えば、２、４、５、６・・・であってもよい。
（５）画像表示システム１は、複数のメモリ領域のうち、一部のメモリ領域に限定して、第２更新処理を行ってもよい。
（６）読み出しユニット３３が画像を読み出す頻度は、第１更新処理の頻度より高くてもよい。この場合、読み出しユニット３３は、例えば、メモリ領域Ｍ１から連続してｎ回画像を読み出し、次に、メモリ領域Ｍ２から連続してｎ回画像を読み出し、次に、メモリ領域Ｍ３から連続してｎ回画像を読み出すことができる。ｎは２以上の自然数である。上記の態様も、順番に従って行う読み出し処理に対応する。
（７）第２更新処理を開始する時刻は、順番において後であるメモリ領域に対する第１更新処理が終了した時刻と同時であってもよいし、それより後の時刻であってもよい。
（８）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換し
てもよい。
（９）上述した画像処理装置の他、当該画像処理装置を構成要素とするシステム、当該画像処理装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、画像処理方法、画像記憶方法、画像表示方法等、種々の形態で本開示を実現することもできる。
１…画像表示システム、３…右カメラ、５…左カメラ、７…画像処理装置、９…ディスプレイ、１１…画像取得ユニット、１３…画像処理ユニット、１５…画像出力ユニット、１７…メモリ、２３…演算ユニット、２５…第１記憶ユニット、２７…第２記憶ユニット、２９…第１更新ユニット、３１…第２更新ユニット、３３…読み出しユニット、３５…判断ユニット、３７…信号出力ユニット

Claims (5)

  1. 撮像装置（３、５）から第１画像を取得するように構成された画像取得ユニット（１１）と、
    前記第１画像に対し画像処理を行い、第２画像を生成するように構成された画像処理ユニット（１３）と、
    前記第２画像を画像表示装置（９）に出力するように構成された画像出力ユニット（１５）と、
    を備えた画像処理装置（７）であって、
    前記画像処理ユニットは、前記第１画像又は前記第２画像である記憶画像を一時的に記憶するように構成された記憶ユニット（２５、２７）を備え、
    前記記憶ユニットは、
    複数のメモリ領域（Ｍ１、Ｍ２、Ｍ３）と、
    前記メモリ領域の記憶内容を前記記憶画像により更新する第１更新処理を、前記複数のメモリ領域のそれぞれに対し、予め設定された順番に従って行うように構成された第１更新ユニット（２９）と、
    前記メモリ領域の記憶内容を、特定の形態を有する特定画像により更新する第２更新処理を、前記複数のメモリ領域のそれぞれに対し、前記順番に従って行うように構成された第２更新ユニット（３１）と、
    前記メモリ領域に記憶された画像を読み出す読み出し処理を、前記複数のメモリ領域のそれぞれに対し、前記順番に従って行うように構成された読み出しユニット（３３）と、を備え、
    前記第２更新ユニットは、第２更新処理の対象となる前記メモリ領域よりも、前記順番において後である前記メモリ領域に対する前記第１更新処理が終了してから、前記第２更新処理を行うように構成された画像処理装置。
  2. 請求項１に記載の画像処理装置であって、
    前記第２更新ユニットは、最も新しく前記第１更新処理が終了した前記メモリ領域よりも、前記順番において１つ前の前記メモリ領域に対し、前記第２更新処理を行うように構成された画像処理装置。
  3. 請求項１又は２に記載の画像処理装置であって、
    前記読み出しユニットは、最も新しく前記第１更新処理が終了した前記メモリ領域に対し前記読み出し処理を行うよう構成され、
    前記記憶画像は前記第２画像であり、
    前記画像出力ユニットは、前記読み出しユニットが読み出した前記第２画像を前記画像表示装置に出力するように構成された画像処理装置。
  4. 請求項１〜３のいずれか１項に記載の画像処理装置であって、
    前記読み出しユニットが読み出した前記記憶画像が、前記特定画像を含むか否かを判断するように構成された判断ユニット（３５）と、
    前記判断ユニットの判断結果を反映する信号を出力するように構成された信号出力ユニット（３７）と、
    をさらに備えた画像処理装置。
  5. 請求項１〜４のいずれか１項に記載の画像処理装置と、
    前記撮像装置と、
    前記画像表示装置と、
    を備える画像表示システム（１）。
JP2018180347A 2018-09-26 2018-09-26 画像処理装置及び画像表示システム Active JP6958526B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018180347A JP6958526B2 (ja) 2018-09-26 2018-09-26 画像処理装置及び画像表示システム
CN201980062777.1A CN112771839B (zh) 2018-09-26 2019-09-26 图像处理装置以及图像显示系统
PCT/JP2019/037876 WO2020067298A1 (ja) 2018-09-26 2019-09-26 画像処理装置及び画像表示システム
DE112019004825.2T DE112019004825T5 (de) 2018-09-26 2019-09-26 Bildverarbeitungsapparat und Bildanzeigesystem
US17/211,264 US11871141B2 (en) 2018-09-26 2021-03-24 Image processing apparatus and image display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018180347A JP6958526B2 (ja) 2018-09-26 2018-09-26 画像処理装置及び画像表示システム

Publications (2)

Publication Number Publication Date
JP2020053799A JP2020053799A (ja) 2020-04-02
JP6958526B2 true JP6958526B2 (ja) 2021-11-02

Family

ID=69951907

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018180347A Active JP6958526B2 (ja) 2018-09-26 2018-09-26 画像処理装置及び画像表示システム

Country Status (5)

Country Link
US (1) US11871141B2 (ja)
JP (1) JP6958526B2 (ja)
CN (1) CN112771839B (ja)
DE (1) DE112019004825T5 (ja)
WO (1) WO2020067298A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113628095B (zh) * 2021-08-04 2022-11-01 展讯通信（上海）有限公司 人像区域网格点信息存储方法及相关产品

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5574509A (en) 1978-12-01 1980-06-05 Canon Inc Projector
JP2005057593A (ja) * 2003-08-06 2005-03-03 Nissan Motor Co Ltd 車両用表示装置
JP2007215106A (ja) * 2006-02-13 2007-08-23 Sharp Corp 画像判定装置および画像処理装置
JP2008252307A (ja) * 2007-03-29 2008-10-16 Denso Corp 画像表示システム
US8451282B2 (en) * 2007-11-16 2013-05-28 Mstar Semiconductor, Inc Method and apparatus for accessing image data
JP5751795B2 (ja) * 2010-10-18 2015-07-22 富士通テン株式会社 表示制御装置及び制御装置
JP2012147308A (ja) * 2011-01-13 2012-08-02 Fujitsu Ten Ltd 画像処理装置、画像表示システム、及び、画像処理方法
JP5230828B1 (ja) * 2012-02-09 2013-07-10 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
JP5868234B2 (ja) * 2012-03-21 2016-02-24 三菱電機株式会社 映像監視装置及び映像監視システム
JP2014216976A (ja) * 2013-04-30 2014-11-17 ソニー株式会社 撮像装置、および画像記録処理方法、並びにプログラム
US9767529B1 (en) * 2013-12-18 2017-09-19 Mediatek Inc. Method and apparatus for accessing compressed data and/or uncompressed data of image frame in frame buffer
JP6421566B2 (ja) * 2014-11-28 2018-11-14 株式会社デンソー 表示装置
JP2018022932A (ja) * 2014-12-08 2018-02-08 株式会社ジャパンディスプレイ 表示システム及び表示装置
JP6537851B2 (ja) * 2015-03-09 2019-07-03 アルパイン株式会社 画像処理装置および方法
JP6311646B2 (ja) 2015-05-20 2018-04-18 株式会社デンソー 画像処理装置、電子ミラーシステム、及び画像処理方法
CN106445765B (zh) * 2016-09-30 2018-07-27 京东方科技集团股份有限公司 寄存器故障检测方法和装置
JP6891460B2 (ja) * 2016-11-17 2021-06-18 株式会社デンソー 車両用表示システムおよびフリーズ検出装置
JP6707476B2 (ja) * 2017-01-26 2020-06-10 アルパイン株式会社 ディスプレイの表示制御装置および表示映像フリーズ報知方法
JP6314297B1 (ja) 2017-04-15 2018-04-25 株式会社サムス 電子部品モジュール装置及びその製造方法
CN109992234B (zh) * 2017-12-29 2020-11-17 浙江宇视科技有限公司 图像数据读取方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
WO2020067298A1 (ja) 2020-04-02
CN112771839A (zh) 2021-05-07
JP2020053799A (ja) 2020-04-02
CN112771839B (zh) 2022-07-08
DE112019004825T5 (de) 2021-07-15
US11871141B2 (en) 2024-01-09
US20210211605A1 (en) 2021-07-08

Similar Documents

Publication Publication Date Title
US8149229B2 (en) Image apparatus for processing 3D images and method of controlling the same
EP1685787A4 (en) EINFÜHRSTÜTZSYSTEM
US7850598B2 (en) Endoscope apparatus for performing measurement using image
KR20030081500A (ko) 특히 승객 보호 시스템을 위한 이미지 보정 방법 및 장치
JP6958526B2 (ja) 画像処理装置及び画像表示システム
US20100103265A1 (en) Image recording methods and systems for recording a scene-capturing image which captures road scenes around a car, and machine readable medium thereof
CN102857694B (zh) 图像合成设备及其控制方法
JP5424861B2 (ja) ドライブレコーダ、記録方法及びプログラム
JP2011022952A (ja) 運転支援装置、運転支援方法、及び運転支援プログラム
JP2010278960A (ja) 映像処理装置
US10643570B2 (en) Display control apparatus and display control method that prevent excessive determinations of an abnormal control condition
CN111775837A (zh) 车辆状态管理装置及方法
JP2008103916A (ja) 頭部装着型画像表示装置およびシステム
CN113206957A (zh) 一种用于内窥镜的图像处理方法和系统、存储介质
JP6537851B2 (ja) 画像処理装置および方法
JP6808497B2 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
JP4578535B2 (ja) ドライブレコーダシステム及びドライブレコーダ
JP6252881B1 (ja) 車載カメラ
JP4195064B2 (ja) ドライブレコーダ及びドライブレコーダの制御方法
US11485277B2 (en) Method and system for deducing a reduced image refresh frequency in high definition headlights
JP6942424B2 (ja) 車両用後方画像表示装置
JP4679234B2 (ja) 動画記録装置
JP2019159651A (ja) データ記憶装置及びプログラム
KR102347512B1 (ko) 주행 영상기록장치용 썸네일 추출 시스템 및 방법
US20180144713A1 (en) Display system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200701

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210920

R151 Written notification of patent or utility model registration

Ref document number: 6958526

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151