WO2021064791A1 - 画像表示装置、表示制御装置、及び表示制御方法、並びにプログラム及び記録媒体 - Google Patents
画像表示装置、表示制御装置、及び表示制御方法、並びにプログラム及び記録媒体 Download PDFInfo
- Publication number
- WO2021064791A1 WO2021064791A1 PCT/JP2019/038511 JP2019038511W WO2021064791A1 WO 2021064791 A1 WO2021064791 A1 WO 2021064791A1 JP 2019038511 W JP2019038511 W JP 2019038511W WO 2021064791 A1 WO2021064791 A1 WO 2021064791A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- image display
- display unit
- driver
- glare
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 44
- 230000004313 glare Effects 0.000 claims abstract description 146
- 238000003384 imaging method Methods 0.000 claims abstract description 22
- 238000001514 detection method Methods 0.000 claims description 55
- 230000002093 peripheral effect Effects 0.000 claims description 40
- 210000001747 pupil Anatomy 0.000 claims description 28
- 210000001097 facial muscle Anatomy 0.000 claims description 21
- 238000005259 measurement Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 230000000052 comparative effect Effects 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 101001139126 Homo sapiens Krueppel-like factor 6 Proteins 0.000 description 1
- 208000004350 Strabismus Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Arrangement of adaptations of instruments
-
- B60K35/10—
-
- B60K35/22—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
- G09G3/3406—Control of illumination source
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
- G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
-
- B60K2360/149—
-
- B60K2360/349—
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
- G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
- G09G2360/145—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2380/00—Specific applications
- G09G2380/10—Automotive applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Health & Medical Sciences (AREA)
- Crystallography & Structural Chemistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Combustion & Propulsion (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
撮像で得られた運転者の画像から運転者の視線を検出し、検出された視線から運転者が画像表示部を見ているか画像表示部の外部を見ているかを判定し(13)、運転者の画像から運転者が感じている眩しさを検出し(14)、画像表示部を見ている時の眩しさと画像表示部の外部を見ている時の眩しさとから画像表示部における表示画像の輝度レベルを決定する(15)。例えば、運転者が画像表示部を見ている時の眩しさが大きく、かつ画像表示部の外部を見ている時の眩しさが大きい場合、表示画像の輝度レベルをより高くする。運転者の目に外光が入って眩しいと感じる場合にも、表示画像の視認性を高めることができる。
Description
本発明は、画像表示装置、表示制御装置、及び表示制御方法に関する。本発明は特に、車両内に搭載された画像表示部に表示される画像の視認性の向上に関する。本発明はまた、プログラム及び記録媒体に関する。
近年、バックミラー、サイドミラーとして用いられる物理鏡の代わりとして、電子ミラー装置が提案されている。電子ミラー装置は、車両の後方等に向けられたカメラでの撮像で得られた画像を表示装置で表示するものである。
そのような表示装置においては、表示の輝度をどのように調整するかが一つの課題である。
例えば特許文献1には、ドライバモニタリングシステム(DMS)で得られた運転者の画像から、運転者の瞳孔径を取得し、取得した瞳孔径と予め記憶された径との差に基づいて表示の輝度を制御する技術が提案されている。
例えば特許文献1には、ドライバモニタリングシステム(DMS)で得られた運転者の画像から、運転者の瞳孔径を取得し、取得した瞳孔径と予め記憶された径との差に基づいて表示の輝度を制御する技術が提案されている。
特許文献1の技術では、表示の輝度が適切に制御されない場合がある。例えば、昼間など照度が高い環境下で運転者が車両内の表示画面を見ている場合、運転者の目に外光が入って、眩しく感じる場合がある。同様に夜間での運転中に、対向車のライト等が運転者の目に入って、眩しく感じる場合がある。このような場合、特許文献1の教示に従って表示の輝度を下げると、表示画像の視認性が低下してしまう。
以上、画像表示装置により、車両の周辺の画像が表示される場合について述べたが、車両の周辺の画像以外の画像、例えばカーナビゲーション装置から供給される画像が表示される場合にも同様の問題がある。
本発明の目的は、運転者の目に外光が入って眩しいと感じる場合にも、表示画像の視認性を高め得るようにすることである。
本発明の画像表示装置は、
車両内に搭載され、画像を表示する画像表示部と、
前記車両の運転者を撮像する運転者撮像部と、
前記運転者撮像部での撮像で得られた画像から、前記運転者の画像を取得し、前記運転者の画像から前記運転者の視線を検出し、検出された視線と、前記画像表示部の位置を示す情報とから前記運転者が前記画像表示部を見ているか、前記画像表示部の外部を見ているか否かを判定し、前記運転者の画像から前記運転者が感じている眩しさを検出し、前記画像表示部を見ている時の眩しさと前記画像表示部の外部を見ている時の眩しさとから前記画像表示部における表示画像の輝度レベルを決定する表示制御装置とを備え、
前記画像表示部は、前記表示制御装置で決定された輝度レベルで、画像を表示する。
車両内に搭載され、画像を表示する画像表示部と、
前記車両の運転者を撮像する運転者撮像部と、
前記運転者撮像部での撮像で得られた画像から、前記運転者の画像を取得し、前記運転者の画像から前記運転者の視線を検出し、検出された視線と、前記画像表示部の位置を示す情報とから前記運転者が前記画像表示部を見ているか、前記画像表示部の外部を見ているか否かを判定し、前記運転者の画像から前記運転者が感じている眩しさを検出し、前記画像表示部を見ている時の眩しさと前記画像表示部の外部を見ている時の眩しさとから前記画像表示部における表示画像の輝度レベルを決定する表示制御装置とを備え、
前記画像表示部は、前記表示制御装置で決定された輝度レベルで、画像を表示する。
本発明の表示制御装置は、
車両内に搭載され、画像を表示する画像表示部における表示画像の輝度を調整する表示制御装置において、
撮像で得られた運転者の画像から前記運転者の視線を検出し、検出された視線と、前記画像表示部の位置を示す情報とから前記運転者が前記画像表示部を見ているか、前記画像表示部の外部を見ているかを判定する視線検出部と、
前記運転者の画像から前記運転者が感じている眩しさを検出する眩しさ検出部と、
前記画像表示部を見ている時の眩しさと前記画像表示部の外部を見ている時の眩しさとから前記画像表示部における表示画像の輝度レベルを決定する輝度制御部と
を備え、
前記画像表示部に、前記輝度制御部で決定された輝度レベルで、画像を表示させる。
車両内に搭載され、画像を表示する画像表示部における表示画像の輝度を調整する表示制御装置において、
撮像で得られた運転者の画像から前記運転者の視線を検出し、検出された視線と、前記画像表示部の位置を示す情報とから前記運転者が前記画像表示部を見ているか、前記画像表示部の外部を見ているかを判定する視線検出部と、
前記運転者の画像から前記運転者が感じている眩しさを検出する眩しさ検出部と、
前記画像表示部を見ている時の眩しさと前記画像表示部の外部を見ている時の眩しさとから前記画像表示部における表示画像の輝度レベルを決定する輝度制御部と
を備え、
前記画像表示部に、前記輝度制御部で決定された輝度レベルで、画像を表示させる。
本発明によれば、運転者の目に外光が入って眩しいと感じる場合にも、表示画像の視認性を高めることができる。
実施の形態1.
図1は、本発明の実施の形態1に係る画像表示装置の構成を示す図である。
図示の画像表示装置は、画像表示部2と、周辺撮像部3と、運転者撮像部4と、表示制御装置5とを有する。
図1は、本発明の実施の形態1に係る画像表示装置の構成を示す図である。
図示の画像表示装置は、画像表示部2と、周辺撮像部3と、運転者撮像部4と、表示制御装置5とを有する。
画像表示部2は、車両内に搭載されており、運転者が表示画面を見るのに適した位置に配置されている。運転者は運転席に座っている人である。
以下、画像表示部2が搭載された車両を自車両と言うことがある。
画像表示部2は、例えば図2に示されるように、表示パネル21及びバックライト22を有する。表示パネル21は、例えば透過型の表示パネル、例えば透過型のLCD(Liquid Crystal Display)パネルで構成されている。バックライト22は、表示パネル21の背面側に設けられている。
以下、画像表示部2が搭載された車両を自車両と言うことがある。
画像表示部2は、例えば図2に示されるように、表示パネル21及びバックライト22を有する。表示パネル21は、例えば透過型の表示パネル、例えば透過型のLCD(Liquid Crystal Display)パネルで構成されている。バックライト22は、表示パネル21の背面側に設けられている。
周辺撮像部3は、例えば1以上のカメラを含み、自車両の周辺を撮像して、撮像で得られた画像Eaを出力する。
運転者撮像部4は、例えば1以上のカメラを含み、運転者を撮像して、撮像で得られた画像Daを出力する。
表示制御装置5は、周辺撮像部3から出力される画像Eaを受け、該画像又はこれを処理することで得られる画像を画像表示部2に表示させる。
表示制御装置5は、運転者撮像部4から出力される画像Daに基づいて、運転者が感じている眩しさを検出するとともに、運転者が画像表示部2を見ているか、画像表示部2の外部を見ているかを判定し、上記の検出の結果及び上記の判定の結果に基づいて輝度レベルを決定し、画像表示部2で表示される画像の輝度レベルを制御する。
表示制御装置5は、運転者撮像部4から出力される画像Daに基づいて、運転者が感じている眩しさを検出するとともに、運転者が画像表示部2を見ているか、画像表示部2の外部を見ているかを判定し、上記の検出の結果及び上記の判定の結果に基づいて輝度レベルを決定し、画像表示部2で表示される画像の輝度レベルを制御する。
表示制御装置5は、周辺画像取得部11、運転者画像取得部12、視線検出部13、眩しさ検出部14、及び輝度制御部15を備える。
周辺画像取得部11は、周辺撮像部3から出力される画像Eaを受け、自車両の周辺の状況を表す画像(周辺画像)Ebを取得し、出力する。
周辺撮像部3が1個のカメラで構成される場合、周辺画像取得部11は、該カメラでの撮像で得られた画像をそのまま周辺画像Ebとして出力しても良く、該カメラでの撮像で得られた画像の一部を切り出して、周辺画像Ebとして出力しても良い。
周辺撮像部3が1個のカメラで構成される場合、周辺画像取得部11は、該カメラでの撮像で得られた画像をそのまま周辺画像Ebとして出力しても良く、該カメラでの撮像で得られた画像の一部を切り出して、周辺画像Ebとして出力しても良い。
周辺撮像部3が2以上のカメラで構成される場合、周辺画像取得部11は、2以上のカメラのいずれかでの撮像で得られた画像を選択し、選択した画像をそのまま周辺画像Ebとして出力しても良く、選択した画像の一部を切り出して周辺画像Ebとして出力しても良い。また、周辺画像取得部11は、2以上のカメラでの撮像で得られた画像に基づいて合成画像を生成して、生成した合成画像を周辺画像Ebとして出力しても良い。
周辺画像取得部11は、自車両の固定された方向の画像を、周辺画像Ebとして出力しても良い。代わりに、自車両の運転状況に応じて異なる方向の画像を周辺画像Ebとして出力しても良い。例えば、右折を行うとき、左折を行うとき、車線を変更するとき、後進するときなど、各々の場合に運転における必要性の程度の高い方向の画像を周辺画像Ebとして出力することとしても良い。
画像表示部2は周辺画像取得部11から出力される周辺画像Ebを表示パネル21に表示する。
運転者画像取得部12は、運転者撮像部4から出力される画像Daを受け、運転者の画像(運転者画像)Dbを取得し、出力する。運転者画像Dbは、運転者の顔を含む画像である。
運転者撮像部4が1個のカメラで構成される場合、運転者画像取得部12は、該カメラでの撮像で得られた画像をそのまま運転者画像Dbとして出力しても良く、該カメラでの撮像で得られた画像の一部を切り出して、運転者画像Dbとして出力しても良い。
例えば、カメラでの撮像で得られる画像は、運転者のみならず、運転者の周囲をも含むものであり、そのような画像の一部を切り出すことで得られた画像を運転者画像Dbとして出力しても良い。
運転者撮像部4が1個のカメラで構成される場合、運転者画像取得部12は、該カメラでの撮像で得られた画像をそのまま運転者画像Dbとして出力しても良く、該カメラでの撮像で得られた画像の一部を切り出して、運転者画像Dbとして出力しても良い。
例えば、カメラでの撮像で得られる画像は、運転者のみならず、運転者の周囲をも含むものであり、そのような画像の一部を切り出すことで得られた画像を運転者画像Dbとして出力しても良い。
運転者撮像部4が2以上のカメラで構成される場合、運転者画像取得部12は、2以上のカメラのいずれかでの撮像で得られた画像を選択し、選択した画像をそのまま運転者画像Dbとして出力しても良く、選択した画像の一部を切り出して運転者画像Dbとして出力しても良い。また、2以上のカメラを用い、運転者を異なる方向から撮像することで得られた、2以上の画像を、それぞれ運転者画像Dbとして出力しても良く、そのような2以上の画像を合成することで得られる画像を運転者画像Dbとして出力しても良い。
視線検出部13は、運転者画像取得部12から出力される運転者画像Dbから視線を検出する。視線の検出は、視点の位置の検出及び視線の方向の検出を含む。
視線検出部13は運転者の顔の向きと運転者の左右の目の瞳孔の位置とから視線を算出しても良い。
視線検出部13は運転者の顔の向きと運転者の左右の目の瞳孔の位置とから視線を算出しても良い。
視線検出部13はさらに、上記の視線検出の結果と、図示しない内部のメモリに予め記憶されている画像表示部2の位置を示す情報PLとから、運転者が画像表示部2を見ているか、画像表示部2の外部を見ているかを判定し、判定結果を示す情報(視線判定情報)LSを出力する。
画像表示部2を見ているか、画像表示部2の外部を見ているかの判定においては、画像表示部2の特定の部分、例えば表示画面の中央部を見ている時に限り、画像表示部2を見ていると判定しても良いし、画像表示部2より少し広い範囲内のいずれかの点を見ている時も画像表示部2を見ていると判定しても良い。
画像表示部2の外部を見ているとの判定を行なうに当たっては、運転者が画像表示部2の外部の特定の方向を見ているとき、例えば運転者が前方を見ている時のみ、「画像表示部2の外部を見ている」と判定しても良い。また、「画像表示部2を見ている時」に該当しない場合は全て「画像表示部2の外部を見ている」と判定しても良い。後者の場合、「画像表示部2の外部を見ている時」には、視点が定まらず格別どこも見ていない時が含まれる。
眩しさ検出部14は、運転者画像取得部12から出力される運転者画像Dbから運転者が感じている眩しさレベルを検出し、検出した眩しさレベルを示す情報(眩しさ情報)GZを出力する。
眩しさ検出部14は、例えば、図3に示すように、瞳孔径情報取得部41、表情筋情報取得部42、及び眩しさ算出部43を有する。
瞳孔径情報取得部41は、瞳孔径Dpを測定し、測定された瞳孔径Dpを示す情報(瞳孔径情報)を取得し、出力する。
表情筋情報取得部42は、運転者の顔の画像から表情筋の特徴量Fmを検出し、検出された特徴量Fmを示す情報(表情筋情報)を取得し、出力する。
眩しさ算出部43は、瞳孔径情報取得部41から出力される瞳孔径情報で表される瞳孔径Dpと、表情筋情報取得部42から出力される表情筋情報で表される特徴量Fmとから、運転者にとっての眩しさを算出する。
表情筋情報取得部42は、運転者の顔の画像から表情筋の特徴量Fmを検出し、検出された特徴量Fmを示す情報(表情筋情報)を取得し、出力する。
眩しさ算出部43は、瞳孔径情報取得部41から出力される瞳孔径情報で表される瞳孔径Dpと、表情筋情報取得部42から出力される表情筋情報で表される特徴量Fmとから、運転者にとっての眩しさを算出する。
図4(a)及び(b)は、人の目の瞳孔PP及びその周囲の虹彩IRを示す。一般的に網膜に投射する光量を調節するために、虹彩IRの伸縮により瞳孔PPの大きさが変えられる。瞳孔径Dpは、眩しい状況では図4(a)に示すように小さくなり、暗い場所では図4(b)に示すように大きくなる。
瞳孔径情報取得部41は運転者の顔の画像の目の領域から瞳孔径Dpを測定し、測定結果を眩しさ算出部43へ出力する。
瞳孔径情報取得部41は運転者の顔の画像の目の領域から瞳孔径Dpを測定し、測定結果を眩しさ算出部43へ出力する。
また、眩しさに応じて目を細めると、目の周辺を含む顔の表情筋の状態も変化する。表情筋情報取得部42は運転者の顔の画像から表情筋の特徴量Fmを検出し、検出結果を眩しさ算出部43へ出力する。ここで言う表情筋の特徴量Fmは、眩しさのために目を細める際の表情筋の状態の変化によって大きくなる量であり、各時点における表情筋の状態を表す量であっても良く、時間の経過に伴う変化に基づいて算出される量、例えば、上記の変化の量を積算することで求められる量であっても良い。
眩しさ算出部43では瞳孔径Dpと表情筋の特徴量Fmとから眩しさレベルを算出し、算出した眩しさレベルを示す情報(眩しさ情報)GZを出力する。
例えば、瞳孔径Dpが小さいほど眩しさの程度は大きく、瞳孔径Dpが大きければ眩しさの程度は小さいと判定する。また、表情筋の特徴量Fmが大きいほど眩しさの程度が大きいと判定する。眩しさ算出部43は、これらの判定結果を統合して、眩しさを判定する。
例えば、眩しさが大きさに応じて、眩しさレベルが「高」、「中」、「低」のいずれであるかを判定する。
例えば、瞳孔径Dpが小さいほど眩しさの程度は大きく、瞳孔径Dpが大きければ眩しさの程度は小さいと判定する。また、表情筋の特徴量Fmが大きいほど眩しさの程度が大きいと判定する。眩しさ算出部43は、これらの判定結果を統合して、眩しさを判定する。
例えば、眩しさが大きさに応じて、眩しさレベルが「高」、「中」、「低」のいずれであるかを判定する。
眩しさレベルは、「高」、「中」、「低」の3段階としたが段階の数は2であっても良く3より多くても良い。例えば、10段階程度であっても良い。
輝度制御部15は、視線検出部13から出力される視線判定情報LSと、眩しさ検出部14から出力される眩しさ情報GZとに基づいて、画像表示部2における表示画像の輝度レベルを決定する。
表示画像の輝度レベルは、視線判定情報LS及び眩しさ情報GZ以外の要因(以下、「他の要因」と言い、符号FCで示す。)をも考慮して決定される。例えば、ユーザによる明るさの設定を表す信号、画像表示部2に入力される画像の明るさに基づく信号にも基づいて定められる。
視線判定情報LS及び眩しさ情報に基づく輝度レベルの決定は、他の要因FCに基づいて決定された輝度レベルに対する調整乃至変更として行われる。
視線判定情報LS及び眩しさ情報に基づく輝度レベルの決定は、他の要因FCに基づいて決定された輝度レベルに対する調整乃至変更として行われる。
輝度レベルの決定は、例えばバックライト22の発光輝度の決定により行われる。
表示画像の各画素の輝度は、バックライト22の発光輝度と、表示パネル21の各画素の駆動に用いられる信号の値(画素値)とによって決まる。
表示画像の各画素の輝度は、バックライト22の発光輝度と、表示パネル21の各画素の駆動に用いられる信号の値(画素値)とによって決まる。
表示画像の輝度レベルの調整は以下のように行われる。
輝度制御部15は、各時点で、視線判定情報LSに基づいて、各時点で運転者が画像表示部2を見ているか画像表示部2の外部を見ているかの判断をする。
輝度制御部15は、図示しない内部のメモリに、画像表示部2を見ている時の眩しさレベルと、画像表示部2の外部を見ている時の眩しさレベルとを格納する。
格納されている眩しさレベルは、眩しさレベルを表すデータが新たに取得されると更新される。データの取得は、処理周期毎に行われる。
輝度制御部15は、各時点で、視線判定情報LSに基づいて、各時点で運転者が画像表示部2を見ているか画像表示部2の外部を見ているかの判断をする。
輝度制御部15は、図示しない内部のメモリに、画像表示部2を見ている時の眩しさレベルと、画像表示部2の外部を見ている時の眩しさレベルとを格納する。
格納されている眩しさレベルは、眩しさレベルを表すデータが新たに取得されると更新される。データの取得は、処理周期毎に行われる。
例えば、「運転者が画像表示部2を見ている」と判断された時に検出された眩しさレベルは、「画像表示部2を見ている時の眩しさレベル」として格納される。同様に、「運転者が画像表示部2の外部を見ている」と判断された時に検出された眩しさレベルは、「画像表示部2の外部を見ている時の眩しさレベル」として格納される。
輝度制御部15は、現時点において、運転者が画像表示部2を見ているか画像表示部2の外部を見ているかの判定結果と、画像表示部2を見ている時の眩しさレベルと、画像表示部2の外部を見ている時の眩しさレベルとから、輝度レベルの調整を行う必要があるか否か、及び調整を行う場合には調整をどのように行うかを決定する。
現時点で運転者が画像表示部2を見ている場合、「画像表示部2を見ている時の眩しさレベル」は、現時点での眩しさ検出部14にて検出されている眩しさのレベルを意味し、「画像表示部2の外部を見ている時の眩しさレベル」は、輝度制御部15内に格納されている、現時点より前の、「画像表示部2の外部を見ていた時の眩しさのレベル」を意味する。
現時点で運転者が画像表示部2の外部を見ている場合、「画像表示部2の外部を見ている時の眩しさレベル」は、現時点で眩しさ検出部14で検出されている眩しさのレベルを意味し、「画像表示部2を見ている時の眩しさレベル」は、輝度制御部15内に格納されている、現時点より前の、「画像表示部2を見ていた時眩しさのレベル」を意味する。
調整をどのように行うかには、調整の程度が含まれる。
調整の程度は、調整の幅、或いは調整に用いる係数を意味する。
調整の幅が用いられる場合、他の要因FCで決定されている輝度レベルに対して、調整の幅が加算又は減算される。輝度レベルを上昇させる場合には、調整の幅が加算され、輝度レベルを低下させる場合には、調整の幅が減算される。上昇させる場合の調整の幅と低下させる場合の調整の幅とが互いに異なっていても良い。
調整の係数が用いられる場合、他の要因FCで決定されている輝度レベルに対して、調整の係数が乗算される。輝度レベルを上昇させる場合には、1より大きい係数が用いられ、輝度レベルを低下させる場合には、1より小さい係数が用いられる。
調整の程度は、調整の幅、或いは調整に用いる係数を意味する。
調整の幅が用いられる場合、他の要因FCで決定されている輝度レベルに対して、調整の幅が加算又は減算される。輝度レベルを上昇させる場合には、調整の幅が加算され、輝度レベルを低下させる場合には、調整の幅が減算される。上昇させる場合の調整の幅と低下させる場合の調整の幅とが互いに異なっていても良い。
調整の係数が用いられる場合、他の要因FCで決定されている輝度レベルに対して、調整の係数が乗算される。輝度レベルを上昇させる場合には、1より大きい係数が用いられ、輝度レベルを低下させる場合には、1より小さい係数が用いられる。
本実施の形態では、調整の程度は一定であり、予め定められており、輝度レベルの調整に関する決定においては、輝度レベルを上昇させるべきか、低下させるべきか、或いは維持すべきか、の決定が行われる。
輝度レベルの調整に関する決定は、例えば図5に示される規則の組に従って行われる。図5に示される規則の組に含まれる規則は以下の通りである。
(a) 現時点で運転者が画像表示部2を見ている場合には以下のように処理する。
(a11) 画像表示部2の外部を見ている時の眩しさレベルが「高」、画像表示部2を見ている時の眩しさレベルが「高」の場合、表示画像の輝度レベルを上昇させる。
(a12) 画像表示部2の外部を見ている時の眩しさレベルが「高」、画像表示部2を見ている時の眩しさレベルが「中」の場合、表示画像の輝度レベルを維持する。
(a13) 画像表示部2の外部を見ている時の眩しさレベルが「高」、画像表示部2を見ている時の眩しさレベルが「低」の場合、表示画像の輝度レベルを上昇させる。
(a21) 画像表示部2の外部を見ている時の眩しさレベルが「中」、画像表示部2を見ている時の眩しさレベルが「高」の場合、表示画像の輝度レベルを低下させる。
(a22) 画像表示部2の外部を見ている時の眩しさレベルが「中」、画像表示部2を見ている時の眩しさレベルが「中」の場合、表示画像の輝度レベルを維持する。
(a23) 画像表示部2の外部を見ている時の眩しさレベルが「中」、画像表示部2を見ている時の眩しさレベルが「低」の場合、表示画像の輝度レベルを上昇させる。
(a31) 画像表示部2の外部を見ている時の眩しさレベルが「低」、画像表示部2を見ている時の眩しさレベルが「高」の場合、表示画像の輝度レベルを低下させる。
(a32) 画像表示部2の外部を見ている時の眩しさレベルが「低」、画像表示部2を見ている時の眩しさレベルが「中」の場合、表示画像の輝度レベルを維持する。
(a33) 画像表示部2の外部を見ている時の眩しさレベルが「低」、画像表示部2を見ている時の眩しさレベルが「低」の場合、表示画像の輝度レベルを上昇させる。
(b) 現時点で運転者が画像表示部2の外部を見ている場合、画像表示部2を見ている時の眩しさレベルと画像表示部2の外部を見ている時の眩しさレベルに関わらず表示画像の輝度レベルを維持する。
(a11) 画像表示部2の外部を見ている時の眩しさレベルが「高」、画像表示部2を見ている時の眩しさレベルが「高」の場合、表示画像の輝度レベルを上昇させる。
(a12) 画像表示部2の外部を見ている時の眩しさレベルが「高」、画像表示部2を見ている時の眩しさレベルが「中」の場合、表示画像の輝度レベルを維持する。
(a13) 画像表示部2の外部を見ている時の眩しさレベルが「高」、画像表示部2を見ている時の眩しさレベルが「低」の場合、表示画像の輝度レベルを上昇させる。
(a21) 画像表示部2の外部を見ている時の眩しさレベルが「中」、画像表示部2を見ている時の眩しさレベルが「高」の場合、表示画像の輝度レベルを低下させる。
(a22) 画像表示部2の外部を見ている時の眩しさレベルが「中」、画像表示部2を見ている時の眩しさレベルが「中」の場合、表示画像の輝度レベルを維持する。
(a23) 画像表示部2の外部を見ている時の眩しさレベルが「中」、画像表示部2を見ている時の眩しさレベルが「低」の場合、表示画像の輝度レベルを上昇させる。
(a31) 画像表示部2の外部を見ている時の眩しさレベルが「低」、画像表示部2を見ている時の眩しさレベルが「高」の場合、表示画像の輝度レベルを低下させる。
(a32) 画像表示部2の外部を見ている時の眩しさレベルが「低」、画像表示部2を見ている時の眩しさレベルが「中」の場合、表示画像の輝度レベルを維持する。
(a33) 画像表示部2の外部を見ている時の眩しさレベルが「低」、画像表示部2を見ている時の眩しさレベルが「低」の場合、表示画像の輝度レベルを上昇させる。
(b) 現時点で運転者が画像表示部2の外部を見ている場合、画像表示部2を見ている時の眩しさレベルと画像表示部2の外部を見ている時の眩しさレベルに関わらず表示画像の輝度レベルを維持する。
輝度制御部15は、上記の規則の組に従って輝度レベルの調整を行い、調整後の輝度レベルを示す輝度制御信号BAを出力する。
画像表示部2は輝度制御部15からの輝度制御信号BAに応じてバックライト22の輝度を制御する。
輝度制御信号BAで指示される輝度レベルは、画像表示部2の眩しさと外光の眩しさの両方に基づいて調整されたものであるので、画像表示部2における表示画像は、画像表示部2の眩しさ及び外光の眩しさの如何を問わず、視認性が高いものとなる。
輝度制御信号BAで指示される輝度レベルは、画像表示部2の眩しさと外光の眩しさの両方に基づいて調整されたものであるので、画像表示部2における表示画像は、画像表示部2の眩しさ及び外光の眩しさの如何を問わず、視認性が高いものとなる。
ここで画像表示部2の外光の眩しさレベルを考慮しない構成(比較例)の動作を説明する。図6は比較例における輝度レベル調整の規則の組を示す。図6に示される例では、現時点で運転者が画像表示部2を見ている場合、眩しさレベルが「高」の時には輝度レベルを低下させ、眩しさレベルが「中」の時には輝度レベルを維持し、眩しさレベルが「低」の時には輝度レベルを上昇させる。
例えば、画像表示部2を見ていても、運転者が外光の影響を強く受けてしまうことがある。例えば夏の晴れた日の昼などは非常に照度が高くて、画像表示部2を見ていても運転者の目に外光が多く入る。また、前方の車両からの反射光、夜の対向車のハイビーム、夕方の夕日など、画像表示部2を見ていても運転者の目に外光が多く入る場合がある。このような状況では外光の影響で画像表示部2の視認性が低下する。この場合、比較例では、画像表示部2を見ている時の眩しさレベルは「高」となるため、輝度レベルを低下させることになり、その結果視認性がさらに低くなる。
これに対し、図5に示される規則の組に従って行われる調整では、外光による眩しさレベルが高い場合には、表示画像の輝度レベルを上昇させる。その結果、表示画像の視認性を高くすることができる。
なお、図3の眩しさ検出部14は、瞳孔径情報取得部41と表情筋情報取得部42とを備えているが、これらのうちの一方のみを備える眩しさ検出部を用いても良い。即ち、図7のように、瞳孔径情報取得部41と眩しさ算出部43bとを備える眩しさ検出部14bを用いても良く、図8のように、表情筋情報取得部42と眩しさ算出部43cとを備える眩しさ検出部14cを用いても良い。図7の眩しさ算出部43bは、瞳孔径情報取得部41から出力される瞳孔径Dpに基づいて眩しさ判定を行なう。図8の眩しさ算出部43cは、表情筋情報取得部42から出力される特徴量Fmに基づいて眩しさ判定を行なう。
要するには、眩しさ検出部は、瞳孔径の測定結果及び表情筋の特徴量の検出結果の少なくとも一方に基づいて、眩しさを検出するものであれば良い。
図1の表示制御装置5は、その一部又は全部を処理回路で構成し得る。
例えば、表示制御装置5の各部分の機能をそれぞれ別個の処理回路で実現しても良いし、複数の部分の機能を纏めて1つの処理回路で実現しても良い。
処理回路はハードウェアで構成されていても良く、ソフトウェアで、即ちプログラムされたコンピュータで構成されていても良い。
表示制御装置5の各部分の機能のうち、一部をハードウェアで実現し、他の一部をソフトウェアで実現するようにしても良い。
例えば、表示制御装置5の各部分の機能をそれぞれ別個の処理回路で実現しても良いし、複数の部分の機能を纏めて1つの処理回路で実現しても良い。
処理回路はハードウェアで構成されていても良く、ソフトウェアで、即ちプログラムされたコンピュータで構成されていても良い。
表示制御装置5の各部分の機能のうち、一部をハードウェアで実現し、他の一部をソフトウェアで実現するようにしても良い。
図9は、表示制御装置5の全ての機能を実現するコンピュータ9を、画像表示部2、周辺撮像部3、及び運転者撮像部4とともに示す。
図示の例ではコンピュータ9は、プロセッサ91及びメモリ92を有する。
メモリ92には、表示制御装置5の各部の機能を実現するためのプログラムが記憶されている。
図示の例ではコンピュータ9は、プロセッサ91及びメモリ92を有する。
メモリ92には、表示制御装置5の各部の機能を実現するためのプログラムが記憶されている。
プロセッサ91は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、マイクロプロセッサ、マイクロコントローラ又はDSP(Digital Signal Processor)等を用いたものである。
メモリ92は、例えばRAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)若しくはEEPROM(Electrically Erasable Programmable Read Only Memory)等の半導体メモリ、磁気ディスク、光ディスク、又は光磁気ディスク等を用いたものである。
プロセッサ91は、メモリ92に記憶されているプログラムを実行することにより、表示制御装置5の機能を実現する。
表示制御装置5の機能には、画像表示部2における表示の制御(表示パネル21への信号の供給及びバックライト22の発光輝度の制御)が含まれる。
表示制御装置5の機能には、画像表示部2における表示の制御(表示パネル21への信号の供給及びバックライト22の発光輝度の制御)が含まれる。
図9のコンピュータは単一のプロセッサを含むが、2以上のプロセッサを含んでいても良い。
上記した表示制御装置5が図9のコンピュータで構成されている場合の、プロセッサ91による処理の手順を図10を参照して説明する。図10の処理は処理周期毎に行われる。
ステップST1では、周辺画像Ebの取得及び出力が行われる。この処理は、図1の周辺画像取得部11における処理と同様である。
出力された周辺画像Ebは、画像表示部2に供給され、画像表示部2で表示される。
出力された周辺画像Ebは、画像表示部2に供給され、画像表示部2で表示される。
ステップST3では、運転者画像の取得及び出力が行われる。この処理は、図1の運転者画像取得部12における処理と同様である。
ステップST4では、視線検出が行われる。この処理は、図1の視線検出部13における処理と同様である。
ステップST5では、眩しさ検出が行われる。この処理は、図1の眩しさ検出部14、図7の眩しさ検出部14b又は図8の眩しさ検出部14cにおける処理と同様である。
ステップST6では輝度の制御が行われる。この処理は、図1の輝度制御部15における処理と同様である。
ステップST4では、視線検出が行われる。この処理は、図1の視線検出部13における処理と同様である。
ステップST5では、眩しさ検出が行われる。この処理は、図1の眩しさ検出部14、図7の眩しさ検出部14b又は図8の眩しさ検出部14cにおける処理と同様である。
ステップST6では輝度の制御が行われる。この処理は、図1の輝度制御部15における処理と同様である。
なお、ステップST1と、ステップST3~ST6とは異なる処理周期で実行されても良い。
実施の形態1によれば、運転者の目に外光が入って眩しく感じる場合にも、表示画像の輝度レベルを適切に制御することができ、表示画像の視認性が向上する。
実施の形態2.
図11は、本発明の実施の形態2に係る画像表示装置の構成を示す図である。
実施の形態2に係る画像表示装置は、図1に示される実施の形態1の画像表示装置と概して同じである。但し、照度検出部6が付加されており、表示制御装置5の代わりに、表示制御装置5bを備える。
表示制御装置5bは、図1の表示制御装置5と概して同じであるが、照度取得部16及び制限値決定部17が付加されており、図1の輝度制御部15の代わりに輝度制御部15bを備える。
図11は、本発明の実施の形態2に係る画像表示装置の構成を示す図である。
実施の形態2に係る画像表示装置は、図1に示される実施の形態1の画像表示装置と概して同じである。但し、照度検出部6が付加されており、表示制御装置5の代わりに、表示制御装置5bを備える。
表示制御装置5bは、図1の表示制御装置5と概して同じであるが、照度取得部16及び制限値決定部17が付加されており、図1の輝度制御部15の代わりに輝度制御部15bを備える。
照度検出部6は、自車両内の画像表示部2の周辺又は運転者の周辺の照度を検出し、検出信号Laを出力する。例えば、照度検出部6は、画像表示部2と同じ筐体内に設けられていても良い。以下では、運転者の周辺の照度を検出するものとする。
照度取得部16は、照度検出部6からの検出信号Laを受けて、照度を示すデータ(照度データ)Lbを取得し、出力する。
制限値決定部17は、照度取得部16から出力される照度データLbに基づいて、上限値CU及び下限値CLを決定する。
制限値決定部17は、照度取得部16から出力される照度データLbに基づいて、上限値CU及び下限値CLを決定する。
図12は制限値決定部17で決定される上限値CU及び下限値CLの一例を示す図である。制限値決定部17は、図示しない内部のメモリに、照度と上限値及び下限値との関係を示すテーブル(制限値テーブル)を予め格納しており、入力の照度から上限値CU及び下限値CLを決定し、輝度制御部15bへ出力する。
制限値テーブルは、検出される照度が取り得る値の各々に対して、上限値CU及び下限値CLを持つものであっても良いが、これに限定されない。即ち、照度の値に対し、離散的に上限値及び下限値を持ち、上限値及び下限値を持たない照度については、補間によって対応する上限値及び下限値を求めても良い。この補間は、例えば、上限値及び下限値を持つ照度の値(テーブル点)に対応する上限値及び下限値を用いて行うことができる。
輝度制御部15bは、視線検出部13から出力される視線判定情報LSと、眩しさ検出部14から出力される眩しさ情報GZと、上記の他の要因FCと、制限値決定部17からの上限値CU及び下限値CLとに基づいて、画像表示部2における表示画像の輝度レベルを決定する。具体的には、バックライトの発光輝度を決定する。
視線判定情報LS、眩しさ情報GZ、及び他の要因FCに基づく輝度レベルの決定は、実施の形態1で述べたのと同様に行われる。
視線判定情報LS、眩しさ情報GZ、及び他の要因FCに基づく輝度レベルの決定は、実施の形態1で述べたのと同様に行われる。
輝度制御部15bは、視線判定情報LS、眩しさ情報GZ、及び他の要因FCに基づいて決定される輝度レベル、即ちバックライト22の発光輝度が、上限値CUを上回る場合は上限値CUを上回らないようにし、下限値CLを下回る場合は下限値CLを下回らないようにする。
この処理は例えばクリッピングにより行われる。即ち、上限値CUを上回る値は上限値CUに一致するように変更され、下限値CLを下回る値は下限値CLに一致するように変更される。
この処理は例えばクリッピングにより行われる。即ち、上限値CUを上回る値は上限値CUに一致するように変更され、下限値CLを下回る値は下限値CLに一致するように変更される。
図11の表示制御装置5bも、図1の表示制御装置5と同様に、その一部又は全部を処理回路で構成し得る。処理回路は例えば、図9と同様のコンピュータで構成されていても良い。
上記した表示制御装置5bが同様のコンピュータで構成されている場合の、プロセッサ91による処理の手順を図13を参照して説明する。
上記した表示制御装置5bが同様のコンピュータで構成されている場合の、プロセッサ91による処理の手順を図13を参照して説明する。
図13に示される処理の手順は、図10に示される処理の手順と概して同じである。
但し、ステップST11及びST12が付加されており、ステップST6がステップST6bに置き換えられている。
但し、ステップST11及びST12が付加されており、ステップST6がステップST6bに置き換えられている。
ステップST11では、照度を示すデータの取得及び出力が行われる。この処理は、図11の照度取得部16における処理と同様である。
ステップST12では、上限値CU及び下限値CLの決定が行われる。この処理は、図11の制限値決定部17における処理と同様である。
ステップST6bでは、輝度の制御が行われる。この処理は、図11の輝度制御部15bにおける処理と同様である。
ステップST12では、上限値CU及び下限値CLの決定が行われる。この処理は、図11の制限値決定部17における処理と同様である。
ステップST6bでは、輝度の制御が行われる。この処理は、図11の輝度制御部15bにおける処理と同様である。
実施の形態2でも実施の形態1と同様の効果が得られる。
また、輝度制御部15bが、照度に応じた上限値CU及び下限値CLを決定し、表示画像の輝度レベルが上限値CUを上回らず、かつ下限値CLを下回らないように制御を行なうので、表示画像の輝度が過度に高くなったり、低くなったりすることを防ぐことができる。
また、輝度制御部15bが、照度に応じた上限値CU及び下限値CLを決定し、表示画像の輝度レベルが上限値CUを上回らず、かつ下限値CLを下回らないように制御を行なうので、表示画像の輝度が過度に高くなったり、低くなったりすることを防ぐことができる。
なお、上記の例では、上限値CU及び下限値CLの双方を用いるが、上限値CU及び下限値CLの一方のみを用いても良い。即ち、制限値決定部17が上限値CU及び下限値CLの一方のみを決定し、表示画像の輝度レベルが上限値CUを上回らないように、又は下限値CLを下回らないように、輝度制御部15bが制御を行なうこととしても良い。
実施の形態3.
図14は、本発明の実施の形態3に係る画像表示装置の構成を示す図である。
実施の形態3に係る画像表示装置は、図1に示される実施の形態1の画像表示装置と概して同じである。但し、図1の周辺撮像部3が設けられておらず、代わりに画像供給源7が設けられ、表示制御装置5の代わりに表示制御装置5cが設けられている。
表示制御装置5cは、図1の表示制御装置5と概して同じであるが、周辺画像取得部11が設けられておらず、代わりに画像受信部18を備える。
図14は、本発明の実施の形態3に係る画像表示装置の構成を示す図である。
実施の形態3に係る画像表示装置は、図1に示される実施の形態1の画像表示装置と概して同じである。但し、図1の周辺撮像部3が設けられておらず、代わりに画像供給源7が設けられ、表示制御装置5の代わりに表示制御装置5cが設けられている。
表示制御装置5cは、図1の表示制御装置5と概して同じであるが、周辺画像取得部11が設けられておらず、代わりに画像受信部18を備える。
画像供給源7は、周辺画像以外の画像Gaを供給する。周辺画像以外の画像は、例えば、カーナビゲーションの画像、計器を表す画像等である。ここで言う計器は、例えば車両の計器盤に含まれる計器、例えば速度計、燃料計等である。
画像受信部18は、画像供給源7から供給された画像Gaを受信して、画像表示部2での表示に適した形態に変換して、変換で得られた画像Gbを出力する。
画像表示部2は画像受信部18から出力された画像Gbを表示パネル21に表示する。画像表示部2はまた、輝度制御部15から出力された輝度制御信号BAに応じてバックライト22の輝度を制御する。従って運転者にとっての、画像表示部2の眩しさと外光の眩しさの両方に応じて、表示画像の視認性を向上させることができる。
図14の表示制御装置5cも、図1の表示制御装置5と同様に、その一部又は全部を処理回路で構成し得る。処理回路は例えば、図9と同様のコンピュータで構成されていても良い。
上記した表示制御装置5cが同様のコンピュータで構成されている場合の、プロセッサ91による処理の手順を図15を参照して説明する。
上記した表示制御装置5cが同様のコンピュータで構成されている場合の、プロセッサ91による処理の手順を図15を参照して説明する。
図15に示される処理の手順は、図10に示される処理の手順と概して同じである。
但し、図10のステップST1が設けられておらず、代わりにステップST21が設けられている。
ステップST21では、画像Gaの受信及び変換、並びに変換後の画像Gbの出力が行われる。この処理は、図14の画像受信部18における処理と同様である。
但し、図10のステップST1が設けられておらず、代わりにステップST21が設けられている。
ステップST21では、画像Gaの受信及び変換、並びに変換後の画像Gbの出力が行われる。この処理は、図14の画像受信部18における処理と同様である。
実施の形態3では、周辺画像以外の画像が画像表示部2に表示される場合にも、実施の形態1と同様の効果が得られる。
実施の形態4.
実施の形態1~3では、図2に示される画像表示部2が用いられている。代わりに、図16に示される画像表示部2bを用いても良い。
図16に示される画像表示部2bは、自発光表示パネル23及びゲイン乗算部24を有する。自発光表示パネル23は、例えば有機EL(Electro Luminescence)パネルで構成されている。
実施の形態1~3では、図2に示される画像表示部2が用いられている。代わりに、図16に示される画像表示部2bを用いても良い。
図16に示される画像表示部2bは、自発光表示パネル23及びゲイン乗算部24を有する。自発光表示パネル23は、例えば有機EL(Electro Luminescence)パネルで構成されている。
ゲイン乗算部24は、輝度制御信号BAに応じてゲインを決定し、決定したゲインを画像Eb又はGbを表す画像データに乗算する。輝度レベルを上昇させるときは、より大きいゲインが用いられ、輝度レベルを低下させるときは、より小さいゲインが用いられる。
自発光表示パネル23は、ゲイン乗算部24における乗算の結果得られた画像データに基づき、画像の表示を行う。
自発光表示パネル23は、ゲイン乗算部24における乗算の結果得られた画像データに基づき、画像の表示を行う。
このように、画像表示部2bは、輝度制御信号BAに応じてゲインを決定することで、表示画像の輝度レベルを制御する。
実施の形態4でも、実施の形態1~3と同様の効果が得られる。
実施の形態4でも、実施の形態1~3と同様の効果が得られる。
実施の形態5.
輝度制御部15又は15bにおける輝度レベルの調整に関する規則の組について、以下のような変形が可能である。
輝度制御部15又は15bにおける輝度レベルの調整に関する規則の組について、以下のような変形が可能である。
例えば、図5を参照して説明した規則の組の代わりに図17に示す規則の組を用いることができる。
図17に示す規則の組は図5に示す規則の組と概して同じである。
但し、上記の規則(a11)~(a13)の代わりに、下記の規則(a1)を用いる。
図17に示す規則の組は図5に示す規則の組と概して同じである。
但し、上記の規則(a11)~(a13)の代わりに、下記の規則(a1)を用いる。
(a1) 画像表示部2の外部を見ている時の眩しさレベルが「高」の場合、画像表示部2を見ている時の眩しさレベルに関わらず、表示画像の輝度レベルを最高にする。
実施の形態1~3のようにバックライトを備えた画像表示部2が用いられる場合、表示画像の輝度レベルを最高にする処理は、バックライト22の発光輝度を最大にすることで行われる。
但し、実施の形態2に規則(a1)を適用する場合、上記の「最大」は、上限値CUを意味する。クリッピングが行われるためである。
但し、実施の形態2に規則(a1)を適用する場合、上記の「最大」は、上限値CUを意味する。クリッピングが行われるためである。
実施の形態4のように、ゲイン乗算部24を備えた画像表示部2bが用いられる場合には、表示画像の輝度レベルを最高にする処理は、ゲイン乗算部24での乗算の結果得られる画像データの最大階調値が、表示パネルで受付可能な値の範囲内の最大の値になるようにすることを意味する。
但し、実施の形態2に実施の形態4の変形を加えることで得られる構成に規則(a1)を適用する場合、上記の「最大の値」は、上限値CUを意味する。クリッピングが行われるためである。
但し、実施の形態2に実施の形態4の変形を加えることで得られる構成に規則(a1)を適用する場合、上記の「最大の値」は、上限値CUを意味する。クリッピングが行われるためである。
実施の形態5によれば、上記の規則(a1)により、画像表示部2の外部を見ている時の眩しさレベルが「高」の場合、画像表示部2を見ている時の眩しさレベルに関わらず、画像表示部2の輝度を最高にするので、運転者が外光が眩しいと感じる場合にも、表示画像の視認性を高くすることができる。
実施の形態6.
図5を参照して説明した規則の組の代わりに図18に示す規則の組を用いることもできる。
図18に示す規則の組は図5に示す規則の組と概して同じである。
但し、上記の規則(a11)の代わりに、以下の規則(a11b)を用いる。
(a11b) 画像表示部2の外部を見ている時の眩しさレベルが「高」、画像表示部2を見ている時の眩しさレベルが「高」の場合、表示画像の輝度レベルを低下させる。
図5を参照して説明した規則の組の代わりに図18に示す規則の組を用いることもできる。
図18に示す規則の組は図5に示す規則の組と概して同じである。
但し、上記の規則(a11)の代わりに、以下の規則(a11b)を用いる。
(a11b) 画像表示部2の外部を見ている時の眩しさレベルが「高」、画像表示部2を見ている時の眩しさレベルが「高」の場合、表示画像の輝度レベルを低下させる。
実施の形態6は、運転者が画像表示部から受ける光が、外光から受ける光よりも強い場合を想定している。
実施の形態6によれば、輝度が高い画像表示部が用いられる場合、上記の規則(a11b)により、画像表示部2の外部を見ている時の眩しさレベルが「高」、画像表示部2を見ている時の眩しさレベルが「高」の場合、表示画像の輝度レベルを低下させるので、画像表示部2の眩しさを低減することができ、表示画像の視認性が向上する。
変形例.
本発明の実施の形態について説明したが、本発明はこれらの実施の形態に限るものではなく、種々の変形が可能である。
例えば、実施の形態1に関し、図1の眩しさ検出部14の代わりに、図7の眩しさ検出部14b又は図8の眩しさ検出部14cを用い得る旨述べたが、実施の形態2及び実施の形態3においても同様である。
また、実施の形態3を実施の形態1に対する変形として説明したが、実施の形態2にも同様の変形を加えることができる。
本発明の実施の形態について説明したが、本発明はこれらの実施の形態に限るものではなく、種々の変形が可能である。
例えば、実施の形態1に関し、図1の眩しさ検出部14の代わりに、図7の眩しさ検出部14b又は図8の眩しさ検出部14cを用い得る旨述べたが、実施の形態2及び実施の形態3においても同様である。
また、実施の形態3を実施の形態1に対する変形として説明したが、実施の形態2にも同様の変形を加えることができる。
以上画像表示装置が1つの画像表示部を備える場合について説明した。2以上の画像表示部が設けられている場合には、それぞれ画像表示部に対応する2以上の表示制御装置を設け、各表示制御装置で対応する画像表示部における表示の制御を行なっても良い。この場合、周辺撮像部3、運転者撮像部4、照度検出部6、及び画像供給源7の少なくとも一部を共用しても良い。また、2以上の表示制御装置の一部を共用しても良い。例えば、運転者画像取得部12及び眩しさ検出部14、並びに視線検出部13のうち視線を検出する部分を共用しても良い。また、上記の共用部分と、個々の画像表示部に対応して設けられた部分とを有する単一の表示制御装置を構成しても良い。
以上本発明の画像表示装置について説明したが、画像表示装置を構成する表示制御装置、画像表示装置で実施される画像表示方法、表示制御装置で実施される表示制御方法もまた本発明の一部を成す。さらに、上記の表示制御装置又は表示制御方法における処理をコンピュータに実行させるプログラム、及び該プログラムを記録したコンピュータで読み取り可能な記録媒体、例えば非一時的記録媒体もまた本発明の一部を成す。
2,2b 画像表示部、 3 周辺撮像部、 4 運転者撮像部、 5,5b,5c 表示制御装置、 6 照度検出部、 7 画像供給源、 11 周辺画像取得部、 12 運転者画像取得部、 13 視線検出部、 14,14b,14c 眩しさ検出部、 15,15b 輝度制御部、 16 照度取得部、 17 制限値決定部、 18 画像受信部、 21 表示パネル、 22 バックライト、 23 自発光表示パネル、 24 ゲイン乗算部、 41 瞳孔径情報取得部、 42 表情筋情報取得部、 43,43b,43c 眩しさ算出部。
Claims (13)
- 車両内に搭載され、画像を表示する画像表示部と、
前記車両の運転者を撮像する運転者撮像部と、
前記運転者撮像部での撮像で得られた画像から、前記運転者の画像を取得し、前記運転者の画像から前記運転者の視線を検出し、検出された視線と、前記画像表示部の位置を示す情報とから前記運転者が前記画像表示部を見ているか、前記画像表示部の外部を見ているか否かを判定し、前記運転者の画像から前記運転者が感じている眩しさを検出し、前記画像表示部を見ている時の眩しさと前記画像表示部の外部を見ている時の眩しさとから前記画像表示部における表示画像の輝度レベルを決定する表示制御装置とを備え、
前記画像表示部は、前記表示制御装置で決定された輝度レベルで、画像を表示する
画像表示装置。 - 前記表示制御装置は、前記画像表示部を見ている時の眩しさが大きく、かつ前記画像表示部の外部を見ている時の眩しさが大きい場合、前記表示画像の輝度レベルをより高くする
ことを特徴とする請求項1に記載の画像表示装置。 - 前記表示制御装置は、前記画像表示部の外部を見ている時の眩しさが大きい場合、前記表示画像の輝度レベルを最高にする
請求項1又は2に記載の画像表示装置。 - 前記表示制御装置は、前記車両内の照度に基づいて前記表示画像の輝度の上限値及び下限値を決定し、前記表示画像の輝度レベルが、前記上限値を上回らず、かつ前記下限値を下回らないように制御する
請求項1から3のいずれか1項に記載の画像表示装置。 - 前記表示制御装置は、
前記運転者の画像から、瞳孔径の測定及び表情筋の特徴量の検出の少なくとも一方を行ない、前記測定及び検出の少なくとも一方の結果から前記眩しさを検出する
請求項1から4のいずれか1項に記載の画像表示装置。 - 前記表示制御装置は、前記車両の周辺の状況を表す周辺画像を取得し、
前記画像表示部は、前記表示制御装置で取得された周辺画像を表示する
請求項1から5のいずれか1項に記載の画像表示装置。 - 前記表示制御装置は、画像供給源からの画像を取得し、
前記画像表示部は、前記表示制御装置で取得された画像を表示する
る
請求項1から5のいずれか1項に記載の画像表示装置。 - 前記画像表示部は、透過型の表示パネルと、前記表示パネルの背面側に設けられたバックライトとを有し、前記表示制御装置で決定された輝度レベルに基づいて、前記バックライトの発光輝度を調整する
請求項1から7のいずれか1項に記載の画像表示装置。 - 前記画像表示部は、前記画像表示部に入力された、画像を表す画像データに対してゲインを乗算するゲイン乗算部と、前記ゲイン乗算部でゲインが乗算された画像データに基づいて表示を行う表示パネルとを有し、前記表示制御装置で決定された輝度レベルに基づいて、前記ゲイン乗算部のゲインを決定する
請求項1から7のいずれか1項に記載の画像表示装置。 - 車両内に搭載され、画像を表示する画像表示部における表示画像の輝度を調整する表示制御装置において、
撮像で得られた運転者の画像から前記運転者の視線を検出し、検出された視線と、前記画像表示部の位置を示す情報とから前記運転者が前記画像表示部を見ているか、前記画像表示部の外部を見ているかを判定する視線検出部と、
前記運転者の画像から前記運転者が感じている眩しさを検出する眩しさ検出部と、
前記画像表示部を見ている時の眩しさと前記画像表示部の外部を見ている時の眩しさとから前記画像表示部における表示画像の輝度レベルを決定する輝度制御部と
を備え、
前記画像表示部に、前記輝度制御部で決定された輝度レベルで、画像を表示させる
表示制御装置。 - 車両内に搭載され、画像を表示する画像表示部における表示画像の輝度を調整する表示制御方法において、
撮像で得られた運転者の画像から前記運転者の視線を検出し、検出された視線と、前記画像表示部の位置を示す情報とから前記運転者が前記画像表示部を見ているか、前記画像表示部の外部を見ているか否かを判定し、
前記運転者の画像から前記運転者が感じている眩しさを検出し、
前記画像表示部を見ている時の眩しさと前記画像表示部の外部を見ている時の眩しさとから前記画像表示部における表示画像の輝度レベルを決定し、
前記画像表示部に、前記決定された輝度レベルで、画像を表示させる
表示制御方法。 - 請求項11に記載の表示制御方法における処理をコンピュータに実行させるためのプログラム。
- 請求項12に記載のプログラムが記録された、コンピュータで読み取り可能な記録媒体。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201980100296.5A CN114450185A (zh) | 2019-09-30 | 2019-09-30 | 图像显示装置、显示控制装置、显示控制方法以及程序和记录介质 |
PCT/JP2019/038511 WO2021064791A1 (ja) | 2019-09-30 | 2019-09-30 | 画像表示装置、表示制御装置、及び表示制御方法、並びにプログラム及び記録媒体 |
JP2021550751A JP7199562B2 (ja) | 2019-09-30 | 2019-09-30 | 画像表示装置、表示制御装置、及び表示制御方法、並びにプログラム及び記録媒体 |
DE112019007765.1T DE112019007765T5 (de) | 2019-09-30 | 2019-09-30 | Bildanzeigeeinrichtung, Anzeigesteuerungseinrichtung, und Anzeigesteuerungsverfahren, und Programm und Aufzeichnungsmedium |
US17/633,587 US11675431B2 (en) | 2019-09-30 | 2019-09-30 | Image display device, display control device, and display control method, and program and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/038511 WO2021064791A1 (ja) | 2019-09-30 | 2019-09-30 | 画像表示装置、表示制御装置、及び表示制御方法、並びにプログラム及び記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021064791A1 true WO2021064791A1 (ja) | 2021-04-08 |
Family
ID=75337779
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/038511 WO2021064791A1 (ja) | 2019-09-30 | 2019-09-30 | 画像表示装置、表示制御装置、及び表示制御方法、並びにプログラム及び記録媒体 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11675431B2 (ja) |
JP (1) | JP7199562B2 (ja) |
CN (1) | CN114450185A (ja) |
DE (1) | DE112019007765T5 (ja) |
WO (1) | WO2021064791A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115269653A (zh) * | 2022-07-29 | 2022-11-01 | 中汽研汽车检验中心(武汉)有限公司 | 一种针对安全达标车型检测项目的自动视同判定方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007276766A (ja) * | 2006-03-15 | 2007-10-25 | Omron Corp | 監視装置および方法、記録媒体、並びに、プログラム |
JP2011093413A (ja) * | 2009-10-29 | 2011-05-12 | Nippon Seiki Co Ltd | 車両用表示装置 |
JP2013147187A (ja) * | 2012-01-20 | 2013-08-01 | Denso Corp | 防眩制御装置 |
JP2018125707A (ja) * | 2017-02-01 | 2018-08-09 | ソニーセミコンダクタソリューションズ株式会社 | 表示制御装置および方法、並びにプログラム |
JP2018185654A (ja) * | 2017-04-26 | 2018-11-22 | 日本精機株式会社 | ヘッドアップディスプレイ装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4481187B2 (ja) * | 2005-02-10 | 2010-06-16 | 本田技研工業株式会社 | 車両用操作装置 |
CN101034524B (zh) * | 2006-03-10 | 2011-01-12 | 精工爱普生株式会社 | 显示方法、显示装置及电子机器 |
JP2007245911A (ja) * | 2006-03-15 | 2007-09-27 | Omron Corp | 監視装置および方法、記録媒体、並びに、プログラム |
JP4687573B2 (ja) | 2006-06-14 | 2011-05-25 | トヨタ自動車株式会社 | 車両用運転支援装置 |
JP5208711B2 (ja) | 2008-12-17 | 2013-06-12 | アイシン精機株式会社 | 眼開閉判別装置及びプログラム |
JP5802926B2 (ja) * | 2011-02-04 | 2015-11-04 | 富士重工業株式会社 | 車載表示装置の輝度制御装置、輝度制御プログラムおよび輝度制御方法 |
JP5983693B2 (ja) * | 2014-09-10 | 2016-09-06 | 株式会社Jvcケンウッド | 表示機能付きミラー装置および表示切替方法 |
WO2017030654A1 (en) * | 2015-08-14 | 2017-02-23 | Gentex Corporation | Heads up display system |
WO2017145645A1 (ja) * | 2016-02-25 | 2017-08-31 | 富士フイルム株式会社 | 運転支援装置、運転支援方法、及び、運転支援プログラム |
JP6587254B2 (ja) | 2016-09-16 | 2019-10-09 | 株式会社東海理化電機製作所 | 輝度制御装置、輝度制御システム及び輝度制御方法 |
KR20180060788A (ko) * | 2016-11-29 | 2018-06-07 | 삼성전자주식회사 | 눈부심 방지 장치 및 방법 |
-
2019
- 2019-09-30 US US17/633,587 patent/US11675431B2/en active Active
- 2019-09-30 CN CN201980100296.5A patent/CN114450185A/zh active Pending
- 2019-09-30 DE DE112019007765.1T patent/DE112019007765T5/de active Pending
- 2019-09-30 WO PCT/JP2019/038511 patent/WO2021064791A1/ja active Application Filing
- 2019-09-30 JP JP2021550751A patent/JP7199562B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007276766A (ja) * | 2006-03-15 | 2007-10-25 | Omron Corp | 監視装置および方法、記録媒体、並びに、プログラム |
JP2011093413A (ja) * | 2009-10-29 | 2011-05-12 | Nippon Seiki Co Ltd | 車両用表示装置 |
JP2013147187A (ja) * | 2012-01-20 | 2013-08-01 | Denso Corp | 防眩制御装置 |
JP2018125707A (ja) * | 2017-02-01 | 2018-08-09 | ソニーセミコンダクタソリューションズ株式会社 | 表示制御装置および方法、並びにプログラム |
JP2018185654A (ja) * | 2017-04-26 | 2018-11-22 | 日本精機株式会社 | ヘッドアップディスプレイ装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115269653A (zh) * | 2022-07-29 | 2022-11-01 | 中汽研汽车检验中心(武汉)有限公司 | 一种针对安全达标车型检测项目的自动视同判定方法 |
CN115269653B (zh) * | 2022-07-29 | 2023-07-04 | 中汽研汽车检验中心(武汉)有限公司 | 一种针对安全达标车型检测项目的自动视同判定方法 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2021064791A1 (ja) | 2021-04-08 |
DE112019007765T5 (de) | 2022-06-15 |
CN114450185A (zh) | 2022-05-06 |
US11675431B2 (en) | 2023-06-13 |
US20220308663A1 (en) | 2022-09-29 |
JP7199562B2 (ja) | 2023-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9041807B2 (en) | Image processing device and image processing method | |
JP6537602B2 (ja) | ヘッドマウントディスプレイ及びヘッドアップディスプレイ | |
US9269330B2 (en) | Head mounted display apparatus and backlight adjustment method thereof | |
JP4812008B2 (ja) | 画像表示装置 | |
CN109996052B (zh) | 一种车载显示装置、车载显示方法、存储介质及车辆 | |
EP3240288B1 (en) | Imaging system | |
EP2748809A1 (en) | Display device control | |
JP5802926B2 (ja) | 車載表示装置の輝度制御装置、輝度制御プログラムおよび輝度制御方法 | |
US11077793B2 (en) | Rearview display device, rearview display method, and program | |
JP2012521726A (ja) | 熱画像から明るい画像を適応的に抽出する方法及びシステム | |
WO2020012546A1 (ja) | 車載表示制御装置および車載表示制御プログラム | |
JP6775442B2 (ja) | 車両に用いられる表示装置、車両に用いられる表示制御装置、及び車両に用いられる表示制御方法 | |
WO2021064791A1 (ja) | 画像表示装置、表示制御装置、及び表示制御方法、並びにプログラム及び記録媒体 | |
KR20150079004A (ko) | 차량용 표시 장치 및 그 제어 방법 | |
JP2017112486A (ja) | 画像処理装置 | |
KR102076506B1 (ko) | 시선 추적에 기초한 디스플레이의 영역별 밝기 조절 장치 및 그 방법 | |
CN110751919B (zh) | 透明显示系统及其操作方法 | |
JP7182368B2 (ja) | 車載表示装置、車載表示装置を制御する方法及びコンピュータプログラム | |
US11250811B2 (en) | System and method for compensation of reflection on a display device | |
WO2011155228A1 (ja) | 画像表示装置 | |
US10578877B1 (en) | Near-eye display system and display method thereof | |
WO2020129146A1 (ja) | 表示制御装置及び表示制御方法 | |
JP2011181019A (ja) | 俯瞰画像生成装置 | |
US20180268779A1 (en) | Image display apparatus, image display method, and storage medium | |
JP2020003704A (ja) | 情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19947705 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2021550751 Country of ref document: JP Kind code of ref document: A |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19947705 Country of ref document: EP Kind code of ref document: A1 |