JPWO2018042976A1 - 画像生成装置、画像生成方法、記録媒体、および画像表示システム - Google Patents

画像生成装置、画像生成方法、記録媒体、および画像表示システム Download PDF

Info

Publication number
JPWO2018042976A1
JPWO2018042976A1 JP2018537044A JP2018537044A JPWO2018042976A1 JP WO2018042976 A1 JPWO2018042976 A1 JP WO2018042976A1 JP 2018537044 A JP2018537044 A JP 2018537044A JP 2018537044 A JP2018537044 A JP 2018537044A JP WO2018042976 A1 JPWO2018042976 A1 JP WO2018042976A1
Authority
JP
Japan
Prior art keywords
image
vehicle
reflection
vehicle body
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018537044A
Other languages
English (en)
Inventor
金谷　昌宣
昌宣 金谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2018042976A1 publication Critical patent/JPWO2018042976A1/ja
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/50—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)

Abstract

画像生成装置は、撮像装置および表示装置に接続され、映り込み解析部と、画像処理部とを有する。映り込み解析部は、撮像装置が出力する、自車両の車体の一部を含む撮像画像における自車両の車体を表す領域への外光の映り込み度合いを解析し、外光の映り込み度合いに関する映り込みデータを生成する。画像処理部は、映り込みデータに基づいて、撮像画像における自車両の車体を表す領域を加工して、外光の映り込み度合いを低減した表示画像を生成し表示装置に出力する。

Description

本開示は、画像生成装置、画像生成方法、記録媒体、および画像表示システムに関する。
近年、カメラ技術の進歩、コストダウンにより、車載カメラを利用して運転を支援するための様々なシステムが開発されている。車載カメラを活用する画像表示装置の１つとして、従来は光学ミラーが映していた車外の領域の状況を車載カメラが撮像し、表示装置に画像として表示する電子ミラーシステムがある。電子ミラーシステムは、車載カメラと表示装置とを含む。
一般に電子ミラーシステムでは、カメラの撮像領域に自車両の車体の一部が含まれ、車両の後方や側方の様子を運転手が容易に確認できるようになっている（特許文献１参照）。
国際公開第２００９／０４０９７４号
本開示は、車体への外光の映り込みがあっても、視認性に優れた表示画像を生成する画像生成装置、画像生成方法、記録媒体、および画像表示システムを提供する。
本開示の一態様に係る画像生成装置は、撮像装置および表示装置に接続され、映り込み解析部と、画像処理部と、を有する。映り込み解析部は、撮像装置が出力する、自車両の車体の一部を含む撮像画像における自車両の車体を表す領域への外光の映り込み度合いを解析し、外光の映り込み度合いに関する映り込みデータを生成する。画像処理部は、映り込みデータに基づいて、撮像画像における自車両の車体を表す領域を加工して、外光の映り込み度合いを低減した表示画像を生成し表示装置に出力する。
本開示の一態様に係る画像生成方法では、自車両の車体の一部を含む撮像画像を受け付ける。次に、撮像画像における自車両の車体を表す領域への外光の映り込み度合いを解析し、外光の映り込み度合いに関する映り込みデータを生成する。さらに、映り込みデータに基づいて、撮像画像における自車両の車体を表す領域を加工して、外光の映り込み度合いを低減した表示画像を生成する。
本開示の一態様に係る記録媒体は、撮像装置から出力された撮像画像を表示装置に表示させる画像生成装置のコンピュータに実行させるプログラムを格納した一過性でない記録媒体である。このプログラムは、自車両の車体の一部を含む撮像画像を撮像装置から入力させ、撮像画像における自車両の車体を表す領域への外光の映り込み度合いを解析させる。次に、外光の映り込み度合いに関する映り込みデータを生成させる。さらに、映り込みデータに基づいて、撮像画像における自車両の車体を表す領域を加工させ、映り込み度合いを低減した表示画像を生成させる。
一般的な電子ミラーシステムが表示する後側方画像の一例を示す図 本開示の第１の実施の形態に係る画像表示システムの構成を示すブロック図 本開示の実施の形態に係る画像表示システムの設置状態の一例を示す図 第１の実施の形態に係る画像生成装置の動作の一例を示すフローチャート 第１の実施の形態に係る画像生成装置が生成する表示画像の一例を示す図 第１の実施の形態に係る画像生成装置が生成する表示画像の他の一例を示す図 本開示の第２の実施の形態に係る画像表示システムの構成を示すブロック図 第２の実施の形態に係る画像生成装置の動作の一例を示すフローチャート 第２の実施の形態に係る画像生成装置が生成する表示画像の一例を示す図 第２の実施の形態に係る画像生成装置が生成する表示画像の他の一例を示す図 コンピュータのハードウェア構成の一例を示す図
一般的な電子ミラーシステムにおいては、表示装置が表示する画像に自車両の車体の一部が含まれている場合、車体に映り込んでいる周囲の風景や他車両のライトなどの外光も、車体を表す領域において共に画像に含まれる。画像に含まれる外光のために、特に自車両の高速走行時において、画像が運転手にとって見づらいことがある。
図１は、一般的な電子ミラーシステムが表示する後側方画像の一例である。図１に示すように、自車両の後側方を撮像するサイドカメラの撮像領域には、自車両の右側（または左側）後方の視界に加えて自車両の車体の一部が含まれる。これは、上述したように、光学サイドミラーを使用した場合と同様に、後方車両との左右の位置関係を自車両の乗員が把握し易くするようにするためである。
図１の画像に示されるように、自車両の車体を表す領域には、対向車、走行中に流れる木や建物などの景色等の周囲の風景や、他車両のライトの光等の外光が反射して映り込む。このような画像は乗員にとって見づらいことがある。さらに、自車両の速度が高速であるほど、画像はより見づらくなる。一般的な電子ミラーシステムでは、映り込みのある画像がそのまま表示されるため、視認性が悪く、乗員が目の疲れを感じやすくなる。以下、これらの問題を解決しながらも、視認性に優れた表示画像を生成するための構成について説明する。
（第１の実施の形態）
図２は、本開示の第１の実施の形態に係る画像生成装置１を含む画像表示システム１００Ａの構成を示すブロック図である。図３は、画像表示システム１００Ａの設置状態の一例を示す図である。画像生成装置１は、撮像装置２と、表示装置４とに接続され、制御部５と、記憶部６とを有する。画像表示システム１００Ａは、光学ミラーに代えて車両に搭載される電子ミラーシステムである。
撮像装置２は、撮像した第１の撮像画像を出力する。第１の撮像画像の撮像領域は、自車両の車体の一部を含む。一例において、撮像装置２は、自車両の後側方視界を撮像するサイドカメラであり、自車両に対して固定されている。
表示装置４は、撮像装置２で撮像された画像を、乗員（例えば運転手）に対して表示する。一例において、表示装置４は、ダッシュボードに配置される液晶ディスプレイである。表示画像の詳細については、図５および図６を参照して後述する。
制御部５は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を有する。ＣＰＵは、例えばＲＯＭから処理内容に応じたプログラムを読み出してＲＡＭに展開し、展開したプログラムと協働して、画像生成装置１の各ブロックの動作を集中制御する。制御部５は、動き検出部９、輝度差算出部１０、映り込み解析部７、および画像処理部８として機能する。
記憶部６は、自車両の車体のうち、撮像装置２の撮像領域の中に含まれる自車両の車体の一部の形状を記憶する。一例において、記憶部６は、不揮発性メモリである。
動き検出部９は、撮像装置２から入力した撮像画像における自車両の車体を表す領域に映り込む物体の動きベクトルを算出する。動き検出部９は、記憶部６から読み出した自車両の車体を表す領域の形状に基づいて、自車両の車体を表す領域に映り込む物体の動きベクトルを算出してもよい。具体的には、例えば、撮像装置２において異なる時刻に撮像された２つの撮像画像を比較して動きベクトルを算出してもよい。このとき、２つの撮像画像は連続するフレーム画像であってもよい。また、２つの撮像画像は所定のフレーム数毎に抽出される連続しないフレーム画像であってもよい。動きベクトルを算出する場合、自車両の車体を表わす領域に映り込む物体の一部の動きベクトルを算出するとしてもよい。また、動き検出部９は、撮像画像における自車両の車体を表す領域の全体において動きベクトルを算出してもよい。一例において、自車両の車体を表す領域とは、自車両のうち、窓部分を除いた塗装済みの領域をいう。
輝度差算出部１０は、撮像装置２から入力した撮像画像における自車両の車体を表す領域において、輝度の最大値および最小値を取得し、その差を輝度差として算出する。輝度差算出部１０は、記憶部６から読み出した自車両の車体の一部の形状に基づいて、輝度差を算出してもよい。また、輝度差算出部１０は、撮像画像における自車両の車体を表す領域の全体において輝度差を算出してもよい。
映り込み解析部７は、撮像装置２が出力する撮像画像における自車両の車体を表す領域への外光の映り込み度合いを解析し、外光の映り込み度合いに関する映り込みデータを生成する。一例として、映り込み解析部７は、輝度差算出部１０が算出した輝度差に基づいて映り込みデータを生成する。他の一例として、映り込み解析部７は、動き検出部９が算出した動きベクトル量に基づいて映り込みデータを生成する。映り込みデータは、車体を表す領域への映り込みの程度を示す情報を含み、さらには、低減すべき映り込みがあるか否かを判定した判定結果を含む。
画像処理部８は、映り込みデータに基づいて、撮像画像における自車両の車体を表す領域を加工して映り込み度合いを低減した表示画像を生成する。生成された表示画像は、表示装置４に出力され、表示される。自車両の乗員（例えば運転手）は、表示装置４を介して、映り込みを低減した画像を視ることができる。
図４は、画像生成装置１の動作の一例を示すフローチャートである。この処理は、例えば自車両のエンジンが起動されることに伴い、画像生成装置１のＣＰＵがＲＯＭに格納されているプログラムを読みだして実行することにより実現される。
ステップＳ１において、まず、制御部５は、撮像装置２が出力した第１の撮像画像を受け付ける。
ステップＳ２において、制御部５は、撮像画像における自車両の車体を表す領域に映り込む物体の動きを検出する（動き検出部９としての処理）。一例において、動き検出部９は、撮像画像における自車両の車体を表す領域に映り込む物体の動きベクトル量を算出する。動きベクトル量の算出については後述する。車体を表す領域に映り込む物体の動きを検出することにより、自車両の車体を表す領域への映り込みの程度を把握することができ、低減すべき映り込みであるか否かを判定する際の指標として用いることができる。
ここで、撮像装置２は、第１の時刻に撮影された第１画像と、第１の時刻よりも前の第２の時刻に第２画像を出力する。動き検出部９は、第１画像と第２画像から、第１画像における自車両の車体を表す領域に映り込む物体の動きベクトル量を算出する。映り込み解析部７は、上記により求めた動きベクトル量に基づいて映り込みデータを生成する。
ステップＳ３において、制御部５は、検出された車体を表す領域に映り込む物体の動きに基づいて、低減すべき映り込みの有無を判定する（映り込み解析部７としての処理）。低減すべき映り込みとは、撮像画像の視認性を低下させうる映り込みであり、撮像画像の中の加工対象となる部分である。具体的には、算出された動きベクトル量が予め定められた第１の値以上である部分を、低減すべき映り込みを含む動き領域として検出する。この場合、映り込み解析部７は、動き領域の情報を含む映り込みデータを生成する。ここで、第１の値は、任意の値であってよく、例えば、乗員が操作パネル（図示せず）によって設定可能であってもよい。
動きベクトル量が第１の値よりも大きい動き領域、すなわち低減すべき映り込みがある場合（ステップＳ３：ＹＥＳ）、ステップＳ６に進む。低減すべき映り込みがない場合（ステップＳ３：ＮＯ）、ステップＳ４の処理に移行する。
ステップＳ４において、制御部５は、撮像画像における自車両の車体を表す領域の輝度差を算出する（輝度差算出部１０としての処理）。一例において、輝度差算出部１０は、撮像画像を、例えばＨＳＶ色空間における画像に変換し、Ｖ成分の最大値および最小値を取得し、最大値と最小値との差を輝度差として算出する。ＨＳＶ色空間は、色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、明度（Ｖａｌｕｅ）の３つの成分からなる色空間である。ここで、Ｖ成分の最大値および最小値は、それぞれ、自車両に映り込む映像の輝度の最大値および最小値に対応する。
ステップＳ５において、制御部５は、算出された輝度差に基づいて、低減すべき映り込みの有無を判定する（映り込み解析部７としての処理）。具体的には、輝度差算出部１０によって算出された輝度差が、予め定められた第２の値よりも大きい場合を、低減すべき映り込みがあるとして判定する。ここで、第２の値は、任意の値であってよく、例えば、乗員が操作パネル（図示せず）によって設定可能であってもよい。
輝度差が予め定められた第２の値より大きい場合、すなわち低減すべき映り込みがある場合（ステップＳ５：ＹＥＳ）、ステップＳ６に進む。一例において、輝度差算出部１０は、ステップＳ６に進む前に、第１の撮像画像における自車両の車体を表す領域のうち、輝度が予め定められた第３の値以上の部分を高輝度領域として特定する。この場合、映り込み解析部７は、高輝度領域の情報を含む映り込みデータを生成する。ここで、予め定められた第３の値は、任意の値であってよく、例えば、乗員が操作パネル（図示せず）によって設定可能であってもよい。一方、輝度差が第２の値より大きくない場合、すなわち低減すべき映り込みがない場合（ステップＳ５：ＮＯ）、ステップＳ７に進む。
ステップＳ６において、制御部５は、撮像画像における自車両の車体を表す領域を加工して、映り込みを低減した表示画像を生成する（画像処理部８としての処理）。一例において、加工する部分は、撮像画像における自車両の車体を表す領域の全体である。他の一例において、ステップＳ３からステップＳ６に進んだ場合は、映り込みデータに含まれる動き領域に基づいて、大きな動きが検出された部分だけを加工しても良い。さらに他の一例において、ステップＳ５からステップＳ６に進んだ場合は、映り込みデータに含まれる高輝度領域の部分だけを加工しても良い。
一例において、画像処理部８は、加工する部分に、例えばぼかし（ｂｌｕｒ）処理を施すことにより、撮像画像における自車両の車体を表す領域の解像度を下げる。他の一例において、画像処理部８は、加工する部分に、記憶部６から読み出した画像をオーバーレイする。
オーバーレイする画像は、例えば、反射がない状態の自車両の写真、イラスト、図形等の静止画像である。一例において、記憶部６は、オーバーレイする画像を所定の画像として予め記憶し、画像処理部８が記憶部６から所定の画像を読み出す。また、オーバーレイする画像が同一色の場合、オーバーレイする画像に代えて、記憶部６は当該同一色を記憶してもよい。
ステップＳ７において、制御部５は、画像処理部８が生成した表示画像を表示装置４に出力する。低減すべき映り込みがある場合（ステップＳ３：ＹＥＳ、またはステップＳ５：ＹＥＳ）は、ステップＳ６において映り込み部分が加工された表示画像がステップＳ７において出力される。低減すべき映り込みがない場合（ステップＳ３：ＮＯ、かつステップＳ５：ＮＯ）は、撮像画像に基づいて生成された表示画像が出力される。
図５は、画像生成装置１が生成する表示画像の一例である。図５に示される表示画像は、撮像画像における自車両の車体を表す領域の全体が加工された場合の表示画像であり、車体を表す領域の解像度が低減されている。撮像装置２が出力した撮像画像と比較して、画像生成装置１が生成する表示画像は映り込みを低減した見やすい画像であり、表示画像を見る乗員は、目の疲れを感じにくい。
図６は、第１の実施の形態に係る画像生成装置１が生成する表示画像の他の一例である。図６に示される表示画像は、撮像画像における自車両の車体を表す領域の全体が加工された場合の画像であり、車体を表す領域が同一色で塗りつぶされている。
このように、画像生成装置１は、撮像装置２および表示装置４に接続され、映り込み解析部７と、画像処理部８と、を有する。映り込み解析部７は、撮像装置２が出力する、自車両の車体の一部を含む撮像画像における自車両の車体を表す領域への外光の映り込み度合いを解析し、外光の映り込み度合いに関する映り込みデータを生成する。画像処理部８は、映り込みデータに基づいて、撮像画像における自車両の車体を表す領域を加工して、外光の映り込み度合いを低減した表示画像を生成し表示装置に出力する。
撮像装置２が出力した撮像画像と比較して、画像生成装置１が生成する表示画像は映り込みを低減した見やすい画像であり、表示画像を見る乗員は、目の疲れを感じにくい。
（第２の実施の形態）
図７は、本開示の第２の実施の形態に係る画像生成装置１１を含む画像表示システム１００Ｂの構成を示すブロック図である。画像生成装置１１は、撮像装置２と、表示装置４とに接続され、制御部１４と、記憶部６と、接近検出部１３とを有する。ここで、撮像装置２、表示装置４、および記憶部６については、第１の実施の形態に係る画像生成装置１において説明したものと同じであるので、説明を省略する。なお、画像表示システム１００Ｂは後述するリアカメラ３を含んでいてもよい。
制御部１４は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を備える。ＣＰＵは、例えばＲＯＭから処理内容に応じたプログラムを読み出してＲＡＭに展開し、展開したプログラムと協働して、画像生成装置１１の各ブロックの動作を集中制御する。制御部１４は、動き検出部９、輝度差算出部１０、映り込み解析部７、および画像処理部１５として機能する。動き検出部９、輝度差算出部１０、および映り込み解析部７については、第１の実施の形態に係る制御部５と同じであるので、説明を省略する。
接近検出部１３は、他車両の接近を検出し、接近データを取得する。記憶部６は自車両に車両が接近していることを示す接近画像を記憶している。画像処理部１５は接近検出部１３から入力された他車両の接近データに基づいて、記憶部６から読み出した接近画像を撮像画像における自車両の車体を表す領域にオーバーレイする。一例において、接近検出部１３は、自車両の後方にある他車両との距離を測定するミリ波レーダであり、当該距離に基づいて接近情報を取得する。
一例において、図７に示すように画像生成装置１１は、図３に示される車両後部の位置に設置され自車両の後方を撮像するリアカメラ３とさらに接続される。リアカメラ３は自車両に接近する他車両を示す画像を撮像している。画像処理部１５はリアカメラ３から入力された後方画像を、撮像画像における自車両の車体を表す領域にオーバーレイする。例えば、画像処理部１５は接近検出部１３から入力された他車両の接近データに基づいて、リアカメラ３から読み出した自車両に接近する他車両を示す画像を、撮像画像における自車両の車体を表す領域にオーバーレイする。なお、リアカメラ３は、自車両のバックドアガラスの上部や下部など車両の形状によって任意の位置に設置すればよい。なお、図７ではリアカメラ３の出力は画像処理部１５に入力されているが、これ以外に、リアカメラ３は、撮像した後方画像を接近検出部１３に出力してもよい。また、リアカメラ３は、撮像した後方画像を記憶部６に出力して格納してもよい。
一例において、画像処理部１５は、記憶部６が記憶する後方画像の少なくとも一部を撮像画像における車体を表す領域にオーバーレイする。ここで、一例において、後方画像の少なくとも一部は、後方画像の右半分または左半分である。
図８は、画像生成装置１１の動作の一例を示すフローチャートである。ここで、ステップＳ２１、Ｓ２２、Ｓ２３、Ｓ２４、Ｓ２５、Ｓ２６、およびＳ２８は、それぞれ図４に示されるステップＳ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５、Ｓ６、およびＳ７と類似であるので、説明を省略する。
ステップＳ２５またはＳ２６に次いで、ステップＳ２７において、制御部１４は、接近検出部１３が取得した他車両の接近データに基づいて記憶部６から読み出した接近画像を撮像画像における自車両の車体を表す領域にオーバーレイする。
図９は、第２の実施の形態に係る画像生成装置１１が表示装置４に出力する表示画像の一例である。表示画像の車体を示す領域には、他車両の接近データとして、アイコンＩ１、Ｉ２がオーバーレイされている。
図１０は、画像生成装置１１が表示装置４に表示する表示画像の他の一例である。表示画像の車体を表す領域には、リアカメラ３が撮像した後方画像の右半分の画像Ｉ３がオーバーレイされている。
このように、画像生成装置１１は、接近検出部１３から入力した他車両の接近データに基づいて記憶部６から読み出した接近画像を撮像画像における自車両の車体を表す領域にオーバーレイする。
画像生成装置１と同様に、自車両が高速走行している場合であっても、画像生成装置１１が生成する表示画像の車体を表す領域は、解像度の低減処理または静止画像等のオーバーレイ処理のために表示内容の変化が少ない。そのため、単に第１の撮像画像にアイコンＩ１、Ｉ２や後方画像の少なくとも一部等の接近情報を埋め込んだ場合と比較して、乗員はアイコンＩ１、Ｉ２や後方画像の少なくとも一部を見やすい。
図１１は、コンピュータのハードウェア構成の一例を示す図である。上述した各実施の形態および各変形例における各部の機能は、コンピュータ２１００が実行するプログラムにより実現される。
図１１に示すように、コンピュータ２１００は、入力ボタン、タッチパッドなどの入力装置２１０１、ディスプレイ、スピーカなどの出力装置２１０２、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１０３、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１０４、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２１０５を有する。また、コンピュータ２１００は、ハードディスク装置、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの記憶装置２１０６、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリなどの記録媒体から情報を読み取る読取装置２１０７、ネットワークを介して通信を行う送受信装置２１０８を有する。上述した各部は、バス２１０９により接続される。
そして、読取装置２１０７は、上記各部の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置２１０６に記憶させる。あるいは、送受信装置２１０８が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各部の機能を実現するためのプログラムを記憶装置２１０６に記憶させる。
そして、ＣＰＵ２１０３が、記憶装置２１０６に記憶されたプログラムをＲＡＭ２１０５にコピーし、そのプログラムに含まれる命令をＲＡＭ２１０５から順次読み出して実行することにより、上記各部の機能が実現される。また、プログラムを実行する際、ＲＡＭ２１０５または記憶装置２１０６には、各実施の形態で述べた各種処理で得られた情報が記憶され、適宜利用される。
（その他の実施の形態）
第１の実施の形態および第２の実施の形態においては、画像処理部８または画像処理部１５は、第１の撮像画像における自車両の車体を表す領域の解像度を低減するまたは他の画像等を車体部分にオーバーレイしている。これに代えて、画像処理部８または画像処理部１５は、車体を表す領域の輝度を落としてもよい。
第１の実施の形態および第２の実施の形態においては、制御部５および制御部１４は、それぞれ撮像画像における自車両の車体を表す領域の動きと輝度差の両方に基づいて、撮像画像の加工の要否を決定する。これに代えて、制御部５および制御部１４は、動きおよび輝度差のいずれか一方に基づいて、撮像画像の加工の要否を決定しても良い。また、撮像画像における自車両の車体を表す領域の動きや輝度差以外の情報に基づいて、撮像画像の加工の要否を決定しても良い。例えば、映り込み解析部７は、自車両につけた照度センサの値による昼間の直射日光の有無、または、夜間の対向車または後続車の有無によって低減すべき映り込みの有無を判定しても良い。
第１の実施の形態および第２の実施の形態においては、動き検出部９は、第１の撮像画像における自車両の車体を表す領域における動きベクトル量を算出することにより、映り込みの動きを検出している。これに代えて、制御部５または制御部１４は、自車両の速度計等の速度情報を入力し、入力した速度情報に基づいて映り込みの動きを検出してもよい。このように動き検出部９、輝度差算出部１０は制御部５、１４に必須の構成ではない。
第１の実施の形態および第２の実施の形態においては、撮像画像における自車両の車体を表す領域への映り込みの有無を判定し、判定結果に基づいて撮像画像の加工の要否を決定している。しかしながら、映り込みの有無を判定することは必須ではない。例えば、撮像画像における自車両の車体を表す領域を判別し、車体を表す領域の解像度を下げる、または自車両の写真、画像、図形をオーバーレイする、または後方画像をオーバーレイする、または接近画像をオーバーレイする、等の加工をすれば良い。
本開示に係る画像生成装置は、車両の周囲を映すミラーに代えて車両に搭載され、電子ミラーとして使用されるのに好適である。
１ 画像生成装置
２ 撮像装置
４ 表示装置
５ 制御部
６ 記憶部
７ 映り込み解析部
８ 画像処理部
９ 動き検出部
１０ 輝度差算出部
１１ 画像生成装置
１３ 接近検出部
１４ 制御部
１５ 画像処理部
Ｉ１ アイコン
Ｉ２ アイコン
Ｉ３ 後方画像の右半分の画像
１００Ａ，１００Ｂ 画像表示システム
２１００ コンピュータ
２１０１ 入力装置
２１０２ 出力装置
２１０３ ＣＰＵ
２１０４ ＲＯＭ
２１０５ ＲＡＭ
２１０６ 記憶装置
２１０７ 読取装置
２１０８ 送受信装置
２１０９ バス
本開示は、画像生成装置、画像生成方法、記録媒体、および画像表示システムに関する。
近年、カメラ技術の進歩、コストダウンにより、車載カメラを利用して運転を支援するための様々なシステムが開発されている。車載カメラを活用する画像表示装置の１つとして、従来は光学ミラーが映していた車外の領域の状況を車載カメラが撮像し、表示装置に画像として表示する電子ミラーシステムがある。電子ミラーシステムは、車載カメラと表示装置とを含む。
一般に電子ミラーシステムでは、カメラの撮像領域に自車両の車体の一部が含まれ、車両の後方や側方の様子を運転手が容易に確認できるようになっている（特許文献１参照）。
国際公開第２００９／０４０９７４号
本開示は、車体への外光の映り込みがあっても、視認性に優れた表示画像を生成する画像生成装置、画像生成方法、記録媒体、および画像表示システムを提供する。
本開示の一態様に係る画像生成装置は、撮像装置および表示装置に接続され、映り込み解析部と、画像処理部と、を有する。映り込み解析部は、撮像装置が出力する撮像画像における自車両の車体を表す領域への外光の映り込み度合いを解析し、外光の映り込み度合いに関する映り込みデータを生成する。画像処理部は、映り込みデータに基づいて、撮像画像における自車両の車体を表す領域を加工して、外光の映り込み度合いを低減した表示画像を生成し表示装置に出力する。
本開示の一態様に係る画像生成方法では、少なくとも自車両の車体の一部を示す撮像画像を受け付ける。次に、撮像画像における自車両の車体を表す領域への外光の映り込み度合いを解析し、外光の映り込み度合いに関する映り込みデータを生成する。さらに、映り込みデータに基づいて、撮像画像における自車両の車体を表す領域を加工して、外光の映り込み度合いを低減した表示画像を生成する。
本開示の一態様に係る記録媒体は、撮像装置から出力された撮像画像を表示装置に表示させる画像生成装置のコンピュータに実行させるプログラムを格納した一過性でない記録媒体である。このプログラムは、少なくとも自車両の車体の一部を示す撮像画像を撮像装置から入力させ、撮像画像における自車両の車体を表す領域への外光の映り込み度合いを解析させる。次に、外光の映り込み度合いに関する映り込みデータを生成させる。さらに、映り込みデータに基づいて、撮像画像における自車両の車体を表す領域を加工させ、映り込み度合いを低減した表示画像を生成させる。
一般的な電子ミラーシステムが表示する後側方画像の一例を示す図 本開示の第１の実施の形態に係る画像表示システムの構成を示すブロック図 本開示の実施の形態に係る画像表示システムの設置状態の一例を示す図 第１の実施の形態に係る画像生成装置の動作の一例を示すフローチャート 第１の実施の形態に係る画像生成装置が生成する表示画像の一例を示す図 第１の実施の形態に係る画像生成装置が生成する表示画像の他の一例を示す図 本開示の第２の実施の形態に係る画像表示システムの構成を示すブロック図 第２の実施の形態に係る画像生成装置の動作の一例を示すフローチャート 第２の実施の形態に係る画像生成装置が生成する表示画像の一例を示す図 第２の実施の形態に係る画像生成装置が生成する表示画像の他の一例を示す図 コンピュータのハードウェア構成の一例を示す図
一般的な電子ミラーシステムにおいては、表示装置が表示する画像に自車両の車体の一部が示されている場合、車体に映り込んでいる周囲の風景や他車両のライトなどの外光も、車体を表す領域において共に画像に示される。画像に示される外光のために、特に自車両の高速走行時において、画像が運転手にとって見づらいことがある。
図１は、一般的な電子ミラーシステムが表示する後側方画像の一例である。図１に示すように、自車両の後側方を撮像するサイドカメラの撮像領域には、自車両の右側（または左側）後方の視界に加えて自車両の車体の一部が含まれる。これは、上述したように、光学サイドミラーを使用した場合と同様に、後方車両との左右の位置関係を自車両の乗員が把握し易くするようにするためである。
図１の画像に示されるように、自車両の車体を表す領域には、対向車、走行中に流れる木や建物などの景色等の周囲の風景や、他車両のライトの光等の外光が反射して映り込む。このような画像は乗員にとって見づらいことがある。さらに、自車両の速度が高速であるほど、画像はより見づらくなる。一般的な電子ミラーシステムでは、映り込みのある画像がそのまま表示されるため、視認性が悪く、乗員が目の疲れを感じやすくなる。以下、これらの問題を解決しながらも、視認性に優れた表示画像を生成するための構成について説明する。
（第１の実施の形態）
図２は、本開示の第１の実施の形態に係る画像生成装置１を含む画像表示システム１００Ａの構成を示すブロック図である。図３は、画像表示システム１００Ａの設置状態の一例を示す図である。画像生成装置１は、撮像装置２と、表示装置４とに接続され、制御部５と、記憶部６とを有する。画像表示システム１００Ａは、光学ミラーに代えて車両に搭載される電子ミラーシステムである。
撮像装置２は、撮像した第１の撮像画像を出力する。第１の撮像画像の撮像領域は、少なくとも自車両の車体の一部を示している。一例において、撮像装置２は、自車両の後側方視界を撮像するサイドカメラであり、自車両に対して固定されている。
表示装置４は、撮像装置２で撮像された画像を、乗員（例えば運転手）に対して表示する。一例において、表示装置４は、ダッシュボードに配置される液晶ディスプレイである。表示画像の詳細については、図５および図６を参照して後述する。
制御部５は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を有する。ＣＰＵは、例えばＲＯＭから処理内容に応じたプログラムを読み出してＲＡＭに展開し、展開したプログラムと協働して、画像生成装置１の各ブロックの動作を集中制御する。制御部５は、動き検出部９、輝度差算出部１０、映り込み解析部７、および画像処理部８として機能する。
記憶部６は、撮像装置２の撮像領域の中に含まれる自車両の車体の一部の形状を記憶する。一例において、記憶部６は、不揮発性メモリである。
動き検出部９は、撮像装置２から入力した撮像画像における自車両の車体を表す領域に映り込む物体の動きベクトルを算出する。動き検出部９は、記憶部６から読み出した自車両の車体を表す領域の形状に基づいて、自車両の車体を表す領域に映り込む物体の動きベクトルを算出してもよい。具体的には、例えば、撮像装置２において異なる時刻に撮像された２つの撮像画像を比較して動きベクトルを算出してもよい。このとき、２つの撮像画像は連続するフレーム画像であってもよい。また、２つの撮像画像は所定のフレーム数毎に抽出される連続しないフレーム画像であってもよい。動きベクトルを算出する場合、自車両の車体を表わす領域に映り込む物体の一部の動きベクトルを算出するとしてもよい。また、動き検出部９は、撮像画像における自車両の車体を表す領域の全体において動きベクトルを算出してもよい。一例において、自車両の車体を表す領域とは、自車両のうち、窓部分を除いた塗装済みの領域をいう。
輝度差算出部１０は、撮像装置２から入力した撮像画像における自車両の車体を表す領域において、輝度の最大値および最小値を取得し、その差を輝度差として算出する。輝度差算出部１０は、記憶部６から読み出した自車両の車体の一部の形状に基づいて、輝度差を算出してもよい。また、輝度差算出部１０は、撮像画像における自車両の車体を表す領域の全体において輝度差を算出してもよい。
映り込み解析部７は、撮像装置２が出力する撮像画像における自車両の車体を表す領域への外光の映り込み度合いを解析し、外光の映り込み度合いに関する映り込みデータを生成する。一例として、映り込み解析部７は、輝度差算出部１０が算出した輝度差に基づいて映り込みデータを生成する。他の一例として、映り込み解析部７は、動き検出部９が算出した動きベクトル量に基づいて映り込みデータを生成する。映り込みデータは、車体を表す領域への映り込みの程度を示す情報を含み、さらには、低減すべき映り込みがあるか否かを判定した判定結果を含む。
画像処理部８は、映り込みデータに基づいて、撮像画像における自車両の車体を表す領域を加工して映り込み度合いを低減した表示画像を生成する。生成された表示画像は、表示装置４に出力され、表示される。自車両の乗員（例えば運転手）は、表示装置４を介して、映り込みを低減した画像を視ることができる。
図４は、画像生成装置１の動作の一例を示すフローチャートである。この処理は、例えば自車両のエンジンが起動されることに伴い、画像生成装置１のＣＰＵがＲＯＭに格納されているプログラムを読みだして実行することにより実現される。
ステップＳ１において、まず、制御部５は、撮像装置２が出力した第１の撮像画像を受け付ける。
ステップＳ２において、制御部５は、撮像画像における自車両の車体を表す領域に映り込む物体の動きを検出する（動き検出部９としての処理）。一例において、動き検出部９は、撮像画像における自車両の車体を表す領域に映り込む物体の動きベクトル量を算出する。動きベクトル量の算出については後述する。車体を表す領域に映り込む物体の動きを検出することにより、自車両の車体を表す領域への映り込みの程度を把握することができ、動きを低減すべき映り込みであるか否かを判定する際の指標として用いることができる。
ここで、撮像装置２は、第１の時刻に撮影された第１画像と、第１の時刻よりも前の第２の時刻に第２画像を出力する。動き検出部９は、第１画像と第２画像から、第１画像における自車両の車体を表す領域に映り込む物体の動きベクトル量を算出する。映り込み解析部７は、上記により求めた動きベクトル量に基づいて映り込みデータを生成する。
ステップＳ３において、制御部５は、検出された車体を表す領域に映り込む物体の動きに基づいて、低減すべき映り込みの有無を判定する（映り込み解析部７としての処理）。低減すべき映り込みとは、撮像画像の視認性を低下させうる映り込みであり、撮像画像の中の加工対象となる部分である。具体的には、算出された動きベクトル量が予め定められた第１の値以上である部分を、低減すべき映り込みを含む動き領域として検出する。この場合、映り込み解析部７は、動き領域の情報を含む映り込みデータを生成する。ここで、第１の値は、任意の値であってよく、例えば、乗員が操作パネル（図示せず）によって設定可能であってもよい。
動きベクトル量が第１の値以上の領域、すなわち低減すべき映り込みがある場合（ステップＳ３：ＹＥＳ）、ステップＳ６に進む。低減すべき映り込みがない場合（ステップＳ３：ＮＯ）、ステップＳ４の処理に移行する。
ステップＳ４において、制御部５は、撮像画像における自車両の車体を表す領域の輝度差を算出する（輝度差算出部１０としての処理）。一例において、輝度差算出部１０は、撮像画像を、例えばＨＳＶ色空間における画像に変換し、Ｖ成分の最大値および最小値を取得し、最大値と最小値との差を輝度差として算出する。ＨＳＶ色空間は、色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、明度（Ｖａｌｕｅ）の３つの成分からなる色空間である。ここで、Ｖ成分の最大値および最小値は、それぞれ、自車両に映り込む画像の輝度の最大値および最小値に対応する。
ステップＳ５において、制御部５は、算出された輝度差に基づいて、低減すべき映り込みの有無を判定する（映り込み解析部７としての処理）。具体的には、輝度差算出部１０によって算出された輝度差が、予め定められた第２の値よりも大きい場合を、低減すべき映り込みがあるとして判定する。ここで、第２の値は、任意の値であってよく、例えば、乗員が操作パネル（図示せず）によって設定可能であってもよい。
輝度差が予め定められた第２の値より大きい場合、すなわち低減すべき映り込みがある場合（ステップＳ５：ＹＥＳ）、ステップＳ６に進む。一例において、輝度差算出部１０は、ステップＳ６に進む前に、第１の撮像画像における自車両の車体を表す領域のうち、輝度が予め定められた第３の値以上の部分を高輝度領域として特定する。この場合、映り込み解析部７は、高輝度領域の情報を含む映り込みデータを生成する。ここで、予め定められた第３の値は、任意の値であってよく、例えば、乗員が操作パネル（図示せず）によって設定可能であってもよい。一方、輝度差が第２の値より大きくない場合、すなわち低減すべき映り込みがない場合（ステップＳ５：ＮＯ）、ステップＳ７に進む。
ステップＳ６において、制御部５は、撮像画像における自車両の車体を表す領域を加工して、映り込みを低減した表示画像を生成する（画像処理部８としての処理）。一例において、加工する部分は、撮像画像における自車両の車体を表す領域の全体である。他の一例において、ステップＳ３からステップＳ６に進んだ場合は、映り込みデータに含まれる動き領域に基づいて、大きな動きが検出された部分だけを加工しても良い。さらに他の一例において、ステップＳ５からステップＳ６に進んだ場合は、映り込みデータに含まれる高輝度領域だけを加工しても良い。
一例において、画像処理部８は、加工する部分に、例えばぼかし（ｂｌｕｒ）処理を施すことにより、撮像画像における自車両の車体を表す領域の解像度を下げる。他の一例において、画像処理部８は、加工する部分に、記憶部６から読み出した画像をオーバーレイする。
オーバーレイする画像は、例えば、反射がない状態の自車両の写真、イラスト、図形等の静止画像である。一例において、記憶部６は、オーバーレイする画像を所定の画像として予め記憶し、画像処理部８が記憶部６から所定の画像を読み出す。また、オーバーレイする画像が同一色の場合、オーバーレイする画像に代えて、記憶部６は当該同一色を記憶してもよい。
ステップＳ７において、制御部５は、画像処理部８が生成した表示画像を表示装置４に出力する。低減すべき映り込みがある場合（ステップＳ３：ＹＥＳ、またはステップＳ５：ＹＥＳ）は、ステップＳ６において映り込み部分が加工された表示画像がステップＳ７において出力される。低減すべき映り込みがない場合（ステップＳ３：ＮＯ、かつステップＳ５：ＮＯ）は、撮像画像に基づいて生成された表示画像が出力される。
図５は、画像生成装置１が生成する表示画像の一例である。図５に示される表示画像は、撮像画像における自車両の車体を表す領域の全体が加工された場合の表示画像であり、車体を表す領域の解像度が低減されている。撮像装置２が出力した撮像画像と比較して、画像生成装置１が生成する表示画像は映り込みを低減した見やすい画像であり、表示画像を見る乗員は、目の疲れを感じにくい。
図６は、第１の実施の形態に係る画像生成装置１が生成する表示画像の他の一例である。図６に示される表示画像は、撮像画像における自車両の車体を表す領域の全体が加工された場合の画像であり、車体を表す領域が同一色で塗りつぶされている。
このように、画像生成装置１は、撮像装置２および表示装置４に接続され、映り込み解析部７と、画像処理部８と、を有する。映り込み解析部７は、撮像装置２が出力する撮像画像における自車両の車体を表す領域への外光の映り込み度合いを解析し、外光の映り込み度合いに関する映り込みデータを生成する。画像処理部８は、映り込みデータに基づいて、撮像画像における自車両の車体を表す領域を加工して、外光の映り込み度合いを低減した表示画像を生成し表示装置に出力する。
撮像装置２が出力した撮像画像と比較して、画像生成装置１が生成する表示画像は映り込みを低減した見やすい画像であり、表示画像を見る乗員は、目の疲れを感じにくい。
（第２の実施の形態）
図７は、本開示の第２の実施の形態に係る画像生成装置１１を含む画像表示システム１００Ｂの構成を示すブロック図である。画像生成装置１１は、撮像装置２と、表示装置４とに接続され、制御部１４と、記憶部６と、接近検出部１３とを有する。ここで、撮像装置２、表示装置４、および記憶部６については、第１の実施の形態に係る画像生成装置１において説明したものと同じであるので、説明を省略する。なお、画像表示システム１００Ｂは後述するリアカメラ３を含んでいてもよい。
制御部１４は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を備える。ＣＰＵは、例えばＲＯＭから処理内容に応じたプログラムを読み出してＲＡＭに展開し、展開したプログラムと協働して、画像生成装置１１の各ブロックの動作を集中制御する。制御部１４は、動き検出部９、輝度差算出部１０、映り込み解析部７、および画像処理部１５として機能する。動き検出部９、輝度差算出部１０、および映り込み解析部７については、第１の実施の形態に係る制御部５と同じであるので、説明を省略する。
接近検出部１３は、他車両（後方車両）の接近を検出し、接近データを取得する。記憶部６は自車両に車両が接近していることを示す接近画像を記憶している。画像処理部１５は接近検出部１３から入力された他車両の接近データに基づいて、記憶部６から読み出した接近画像を撮像画像における自車両の車体を表す領域にオーバーレイする。一例において、接近検出部１３は、自車両の後方にある他車両との距離を測定するミリ波レーダであり、当該距離に基づいて接近情報を取得する。
一例において、図７に示すように画像生成装置１１は、図３に示される車両後部の位置に設置され自車両の後方を撮像するリアカメラ３とさらに接続される。リアカメラ３は自車両に接近する他車両を示す画像を撮像している。画像処理部１５はリアカメラ３から入力された後方画像を、撮像画像における自車両の車体を表す領域にオーバーレイする。例えば、画像処理部１５は接近検出部１３から入力された他車両の接近データに基づいて、リアカメラ３から読み出した自車両に接近する他車両を示す画像を、撮像画像における自車両の車体を表す領域にオーバーレイする。なお、リアカメラ３は、自車両のバックドアガラスの上部や下部など車両の形状によって任意の位置に設置すればよい。なお、図７ではリアカメラ３の出力は画像処理部１５に入力されているが、これ以外に、リアカメラ３は、撮像した後方画像を接近検出部１３に出力してもよい。また、リアカメラ３は、撮像した後方画像を記憶部６に出力して格納してもよい。
一例において、画像処理部１５は、記憶部６が記憶する後方画像の少なくとも一部を撮像画像における車体を表す領域にオーバーレイする。ここで、一例において、後方画像の少なくとも一部は、後方画像の右半分または左半分である。
図８は、画像生成装置１１の動作の一例を示すフローチャートである。ここで、ステップＳ２１、Ｓ２２、Ｓ２３、Ｓ２４、Ｓ２５、Ｓ２６、およびＳ２８は、それぞれ図４に示されるステップＳ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５、Ｓ６、およびＳ７と類似であるので、説明を省略する。
ステップＳ２５またはＳ２６に次いで、ステップＳ２７において、制御部１４は、接近検出部１３が取得した他車両の接近データに基づいて記憶部６から読み出した接近画像を撮像画像における自車両の車体を表す領域にオーバーレイする。
図９は、第２の実施の形態に係る画像生成装置１１が表示装置４に出力する表示画像の一例である。表示画像の車体を示す領域には、他車両の接近データとして、アイコンＩ１、Ｉ２がオーバーレイされている。
図１０は、画像生成装置１１が表示装置４に表示する表示画像の他の一例である。表示画像の車体を表す領域には、リアカメラ３が撮像した後方画像の右半分の画像Ｉ３がオーバーレイされている。
このように、画像生成装置１１は、接近検出部１３から入力した他車両の接近データに基づいて記憶部６から読み出した接近画像を撮像画像における自車両の車体を表す領域にオーバーレイする。
画像生成装置１と同様に、自車両が高速走行している場合であっても、画像生成装置１１が生成する表示画像の車体を表す領域は、解像度の低減処理または静止画像等のオーバーレイ処理のために表示内容の変化が少ない。そのため、単に第１の撮像画像にアイコンＩ１、Ｉ２や後方画像の少なくとも一部等の接近情報を埋め込んだ場合と比較して、乗員はアイコンＩ１、Ｉ２や後方画像の少なくとも一部を見やすい。
図１１は、コンピュータのハードウェア構成の一例を示す図である。上述した各実施の形態および各変形例における各部の機能は、コンピュータ２１００が実行するプログラムにより実現される。
図１１に示すように、コンピュータ２１００は、入力ボタン、タッチパッドなどの入力装置２１０１、ディスプレイ、スピーカなどの出力装置２１０２、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１０３、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１０４、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２１０５を有する。また、コンピュータ２１００は、ハードディスク装置、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの記憶装置２１０６、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリなどの記録媒体から情報を読み取る読取装置２１０７、ネットワークを介して通信を行う送受信装置２１０８を有する。上述した各部は、バス２１０９により接続される。
そして、読取装置２１０７は、上記各部の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置２１０６に記憶させる。あるいは、送受信装置２１０８が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各部の機能を実現するためのプログラムを記憶装置２１０６に記憶させる。
そして、ＣＰＵ２１０３が、記憶装置２１０６に記憶されたプログラムをＲＡＭ２１０５にコピーし、そのプログラムに含まれる命令をＲＡＭ２１０５から順次読み出して実行することにより、上記各部の機能が実現される。また、プログラムを実行する際、ＲＡＭ２１０５または記憶装置２１０６には、各実施の形態で述べた各種処理で得られた情報が記憶され、適宜利用される。
（その他の実施の形態）
第１の実施の形態および第２の実施の形態においては、画像処理部８および画像処理部１５は、第１の撮像画像における自車両の車体を表す領域の解像度を低減するまたは他の画像等を車体部分にオーバーレイしている。これに代えて、画像処理部８および画像処理部１５は、車体を表す領域の輝度を落としてもよい。
第１の実施の形態および第２の実施の形態においては、制御部５および制御部１４は、それぞれ撮像画像における自車両の車体を表す領域の動きと輝度差の両方に基づいて、撮像画像の加工の要否を決定する。これに代えて、制御部５および制御部１４は、動きおよび輝度差のいずれか一方に基づいて、撮像画像の加工の要否を決定しても良い。また、撮像画像における自車両の車体を表す領域の動きや輝度差以外の情報に基づいて、撮像画像の加工の要否を決定しても良い。例えば、映り込み解析部７は、自車両につけた照度センサの値による昼間の直射日光の有無、または、夜間の対向車または後続車の有無によって低減すべき映り込みの有無を判定しても良い。
第１の実施の形態および第２の実施の形態においては、動き検出部９は、第１の撮像画像における自車両の車体を表す領域における動きベクトル量を算出することにより、映り込みの動きを検出している。これに代えて、制御部５および制御部１４は、自車両の速度計等の速度情報を入力し、入力した速度情報に基づいて映り込みの動きを検出してもよい。このように動き検出部９、輝度差算出部１０は制御部５、１４に必須の構成ではない。
第１の実施の形態および第２の実施の形態においては、撮像画像における自車両の車体を表す領域への映り込みの有無を判定し、判定結果に基づいて撮像画像の加工の要否を決定している。しかしながら、映り込みの有無を判定することは必須ではない。例えば、撮像画像における自車両の車体を表す領域を判別し、車体を表す領域の解像度を下げる、または自車両の写真、画像、図形をオーバーレイする、または後方画像をオーバーレイする、または接近画像をオーバーレイする、等の加工をすれば良い。
本開示に係る画像生成装置は、車両の周囲を映すミラーに代えて車両に搭載され、電子ミラーシステムとして使用されるのに好適である。
１ 画像生成装置
２ 撮像装置
４ 表示装置
５ 制御部
６ 記憶部
７ 映り込み解析部
８ 画像処理部
９ 動き検出部
１０ 輝度差算出部
１１ 画像生成装置
１３ 接近検出部
１４ 制御部
１５ 画像処理部
Ｉ１ アイコン
Ｉ２ アイコン
Ｉ３ 後方画像の右半分の画像
１００Ａ，１００Ｂ 画像表示システム
２１００ コンピュータ
２１０１ 入力装置
２１０２ 出力装置
２１０３ ＣＰＵ
２１０４ ＲＯＭ
２１０５ ＲＡＭ
２１０６ 記憶装置
２１０７ 読取装置
２１０８ 送受信装置
２１０９ バス

Claims (13)

  1. 撮像装置および表示装置に接続される画像生成装置であって、
    前記撮像装置が出力する、自車両の車体の一部を含む撮像画像における前記自車両の前記車体を表す領域への外光の映り込み度合いを解析し、前記外光の前記映り込み度合いに関する映り込みデータを生成する映り込み解析部と、
    前記映り込みデータに基づいて、前記撮像画像における前記自車両の前記車体を表す前記領域を加工して、前記外光の前記映り込み度合いを低減した表示画像を生成し前記表示装置に出力する画像処理部と、を備えた、
    画像生成装置。
  2. 前記画像処理部は、前記撮像画像における前記自車両の前記車体を表す前記領域の解像度を下げる、
    請求項１に記載の画像生成装置。
  3. 記憶部を更に備え、
    前記画像処理部は、前記記憶部から読み出した画像を、前記撮像画像における前記自車両の前記車体を表す前記領域にオーバーレイする、
    請求項１に記載の画像生成装置。
  4. 前記自車両の後方からの他車両の接近を検出する接近検出部をさらに備え、
    前記記憶部は、前記自車両に前記他車両が接近していることを示す接近画像を記憶しており、
    前記画像処理部は、前記接近検出部から入力された前記他車両の接近データに基づいて、前記記憶部から読み出した前記接近画像を、前記撮像画像における前記自車両の前記車体を表す前記領域にオーバーレイする、
    請求項３に記載の画像生成装置。
  5. 前記自車両の後方を撮像するリアカメラとさらに接続し、
    前記画像処理部は、前記リアカメラから入力された後方画像を、前記撮像画像における前記自車両の前記車体を表す前記領域にオーバーレイする、
    請求項１に記載の画像生成装置。
  6. 前記自車両の後方からの他車両の接近を検出する接近検出部を更に備え、
    前記リアカメラは、前記自車両に接近する前記他車両を示す画像を撮像しており、
    前記画像処理部は、前記接近検出部から入力された前記他車両の接近データに基づいて、前記リアカメラから読み出した前記他車両を示す前記画像を、前記撮像画像における前記自車両の前記車体を表す前記領域にオーバーレイする、
    請求項５に記載の画像生成装置。
  7. 前記撮像画像は、第１の時刻に撮影された第１画像であり、前記撮像装置は前記第１の時刻よりも前の第２の時刻に第２画像を出力しており、
    前記画像生成装置は、前記第１画像と前記第２画像から、前記第１画像における、前記自車両の前記車体を表す前記領域に映り込む物体の動きベクトル量を算出する動き検出部をさらに備え、
    前記映り込み解析部は、前記動きベクトル量に基づいて前記映り込みデータを生成する、
    請求項１から６のいずれか一項に記載の画像生成装置。
  8. 前記画像処理部は、前記撮像画像において、前記動き検出部によって算出された前記動きベクトル量が予め定められた第１の値以上の部分を加工する、
    請求項７に記載の画像生成装置。
  9. 前記撮像画像における前記自車両の前記車体を表す前記領域の輝度の最大値および最小値を取得し、前記最大値と前記最小値との差を輝度差として算出する輝度差算出部をさらに備え、
    前記映り込み解析部は、前記輝度差に基づいて前記映り込みデータを生成する、
    請求項１から５のいずれかに記載の画像生成装置。
  10. 前記画像処理部は、前記撮像画像において、前記輝度差算出部によって算出された前記輝度差が予め定められた第２の値以上の部分を加工する、
    請求項９に記載の画像生成装置。
  11. 自車両の車体の一部を含む撮像画像を受け付けるステップと、
    前記撮像画像における前記自車両の車体を表す領域への外光の映り込み度合いを解析し、前記外光の前記映り込み度合いに関する映り込みデータを生成するステップと、
    前記映り込みデータに基づいて、前記撮像画像における前記自車両の前記車体を表す前記領域を加工して、前記外光の前記映り込み度合いを低減した表示画像を生成するステップと、を有する、
    画像生成方法。
  12. 撮像装置から出力された撮像画像を表示装置に表示させる車載映像生成装置のコンピュータに実行させるプログラムを格納した一過性でない記録媒体であって、
    前記プログラムは、
    自車両の車体の一部を含む撮像画像を前記撮像装置から入力させ、
    前記撮像画像における前記自車両の車体を表す領域への外光の映り込み度合いを解析させ、前記外光の前記映り込み度合いに関する映り込みデータを生成させ、
    前記映り込みデータに基づいて、前記撮像画像における前記自車両の前記車体を表す前記領域を加工させ、前記映り込み度合いを低減した表示画像を生成させる、
    記録媒体。
  13. 自車両の車体の一部を含む撮像画像を出力する撮像装置と、
    前記撮像装置に接続された、請求項１〜１０のいずれか一項に記載の画像生成装置と、
    前記画像生成装置に接続された表示装置と、を備えた、
    画像表示システム。
JP2018537044A 2016-09-01 2017-07-28 画像生成装置、画像生成方法、記録媒体、および画像表示システム Pending JPWO2018042976A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016171093 2016-09-01
JP2016171093 2016-09-01
PCT/JP2017/027423 WO2018042976A1 (ja) 2016-09-01 2017-07-28 画像生成装置、画像生成方法、記録媒体、および画像表示システム

Publications (1)

Publication Number Publication Date
JPWO2018042976A1 true JPWO2018042976A1 (ja) 2019-06-24

Family

ID=61300660

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018537044A Pending JPWO2018042976A1 (ja) 2016-09-01 2017-07-28 画像生成装置、画像生成方法、記録媒体、および画像表示システム

Country Status (4)

Country Link
US (1) US20190135197A1 (ja)
JP (1) JPWO2018042976A1 (ja)
DE (1) DE112017004391T5 (ja)
WO (1) WO2018042976A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6743786B2 (ja) * 2017-09-08 2020-08-19 トヨタ自動車株式会社 映り込み判定装置及び撮影装置
JP6802226B2 (ja) 2018-09-12 2020-12-16 矢崎総業株式会社 車両用表示装置
JP7053437B2 (ja) * 2018-11-26 2022-04-12 本田技研工業株式会社 運転支援装置および車両
JP2023066483A (ja) * 2021-10-29 2023-05-16 フォルシアクラリオン・エレクトロニクス株式会社 後方画像表示装置、及び後方画像表示方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4906628B2 (ja) * 2007-08-01 2012-03-28 富士重工業株式会社 監視用カメラの補正装置
JP2014116756A (ja) * 2012-12-07 2014-06-26 Toyota Motor Corp 周辺監視システム
JP2015201680A (ja) * 2014-04-04 2015-11-12 富士通株式会社 画像表示装置、画像表示方法及び画像表示プログラム

Also Published As

Publication number Publication date
WO2018042976A1 (ja) 2018-03-08
DE112017004391T5 (de) 2019-05-09
US20190135197A1 (en) 2019-05-09

Similar Documents

Publication Publication Date Title
JP5099451B2 (ja) 車両周辺確認装置
US8878934B2 (en) Image display device
WO2016067574A1 (ja) 表示制御装置及び表示制御プログラム
JP5689872B2 (ja) 車両の周辺監視装置
JP4715718B2 (ja) 車両用表示装置
CN109314765B (zh) 车辆用显示控制装置、显示系统、显示控制方法以及程序
EP2487906A1 (en) Control device and vehicle surrounding monitoring device
JP2014239326A (ja) 情報処理装置、接近対象物通知方法及びプログラム
JP6669019B2 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JPWO2018042976A1 (ja) 画像生成装置、画像生成方法、記録媒体、および画像表示システム
US9826166B2 (en) Vehicular surrounding-monitoring control apparatus
CN109415018B (zh) 用于数字后视镜的方法和控制单元
TWI522257B (zh) 車用安全系統及其運作方法
JP6857695B2 (ja) 後方表示装置、後方表示方法、およびプログラム
JP2010033106A (ja) 運転者支援装置、運転者支援方法および運転者支援処理プログラム
JP2010044561A (ja) 乗物搭載用監視装置
US9849835B2 (en) Operating a head-up display of a vehicle and image determining system for the head-up display
JP2019188855A (ja) 車両用視認装置
JP5831331B2 (ja) 車両の後側方撮影装置
US20230104858A1 (en) Image generation apparatus, image generation method, and non-transitory computer-readable medium
US10688929B2 (en) Driving assistance system and method of enhancing a driver's vision
JP6939147B2 (ja) 走行情報案内装置及びコンピュータプログラム
JP4650935B2 (ja) 車両運転支援装置
JP2016063352A (ja) 車載用表示装置
JP6861840B2 (ja) 表示制御装置および表示制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181214

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20190124