JPWO2017183129A1 - 情報表示方法及び表示制御装置 - Google Patents

情報表示方法及び表示制御装置 Download PDF

Info

Publication number
JPWO2017183129A1
JPWO2017183129A1 JP2018512701A JP2018512701A JPWO2017183129A1 JP WO2017183129 A1 JPWO2017183129 A1 JP WO2017183129A1 JP 2018512701 A JP2018512701 A JP 2018512701A JP 2018512701 A JP2018512701 A JP 2018512701A JP WO2017183129 A1 JPWO2017183129 A1 JP WO2017183129A1
Authority
JP
Japan
Prior art keywords
display
information
display unit
visual field
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018512701A
Other languages
English (en)
Other versions
JP6758788B2 (ja
Inventor
辻　正文
正文 辻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renault SAS
Original Assignee
Renault SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renault SAS filed Critical Renault SAS
Publication of JPWO2017183129A1 publication Critical patent/JPWO2017183129A1/ja
Application granted granted Critical
Publication of JP6758788B2 publication Critical patent/JP6758788B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/654—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • B60R11/0235—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes of flat type, e.g. LCD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0005—Dashboard
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/90—Driver alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Position Input By Displaying (AREA)

Abstract

表示部１０１を備える表示装置１００に情報を表示させるプロセッサ１１０を用いて、表示部１０１に情報を表示させる方法であって、表示装置１００と一体の撮像装置１０２により、表示装置１００の使用者を撮影し、撮像装置１０２により撮影された画像から、使用者の視線を検出し、検出した使用者の視線を中心とする中心視野領域Ｃと、中心視野領域Ｃの外側の周辺視野領域Ｐとの何れに、表示装置１００の表示部１０１が存在するかを判定し、表示部１０１が中心視野領域Ｃに存在する場合、通知情報を、第１の表示形態で表示部１０１に表示させ、表示部１０１が周辺視野領域Ｐに存在する場合、通知情報を、第１の表示形態と比較して抽象度の高い第２の表示形態で表示部１０１に表示させる。

Description

本発明は、情報表示方法及び表示制御装置に関するものである。
車両内の所定位置に配置された携帯端末の表示部にコンテンツを表示させる車両表示装置が知られている（例えば、特許文献１参照）。特許文献１に記載の車両表示装置では、携帯端末の撮像部により、車両内の基準位置と運転者の目の位置とが認識され、基準位置に対する運転者の目の位置に応じて、コンテンツの表示サイズ及び表示位置の少なくとも一方が変更される。
特開２０１４−９４６４７号公報
特許文献１に記載の車両表示装置では、表示部に表示される情報の表示形態は、運転者の視線との関係で変化することはない。そのため、運転者の周辺視野領域に存在する表示装置に具現化された情報が表示されたり、運転者の中心視野領域に存在する表示装置に抽象化された情報しか表示されなかったりする場合がある。
本発明が解決しようとする課題は、表示装置に表示させる情報を、表示装置の使用者の視線との関係で適切に設定できる情報表示方法及び表示制御装置を提供することである。
本発明は、表示装置と一体の又は前記表示装置の周囲に設けられた撮像装置により、表示装置の使用者を撮影し、撮影された画像から使用者の視線を検出し、表示部が中心視野領域に存在する場合、通知情報を、第１の表示形態で表示部に表示させ、表示部が周辺視野に存在する場合、通知情報を、第１の表示形態と比較して抽象度の高い第２の表示形態で表示部に表示させることにより、上記課題を解決する。
本発明によれば、表示装置が使用者の中心視野領域及び周辺視野領域の何れに含まれるかによって、通知情報の表示形態の抽象度を異ならせることにより、表示装置に表示させる情報を、表示装置の使用者の視線との関係で適切に設定できるという効果を奏する。
本発明の一実施形態に係る車両用情報表示システムの概略を示す図である。 図１の表示装置の前面を示す図である。 図１の車両用情報表示システムを示すブロック図である。 図３のプロセッサの視線検出処理、推定処理、及び設置位置判定処理を説明するための図である。 図３のプロセッサの表示情報生成処理、及び表示制御処理を説明するための図である。 図３のプロセッサの表示情報生成処理、及び表示制御処理を説明するための図である。 本発明の一実施形態に係る車両用情報表示システムが実行する画像表示処理の制御手順を示すフローチャートである。 本発明の他の実施形態に係る車両用情報表示システムの概略構成を示すブロック図である。 図８のプロセッサの設置位置推定処理を説明するための図である。 本発明の他の実施形態に係る車両用情報表示システムが実行する情報表示処理の制御手順を示すフローチャートである。 本発明の他の実施形態に係る車両用情報表示システムが実行する情報表示処理の制御手順を示すフローチャートである。 本発明の他の実施形態のDisp＝１に対応する表示画像を示す図である。
以下、本発明の実施形態を図面に基づいて説明する。図１は、本発明の一実施形態に係る車両用情報表示システム１０の概略を示す図である。この図に示す車両用情報表示システム１０は、車両１内の運転席の前方における任意の位置に設置された表示装置１００の表示部１０１（図２参照）に、その設置位置と運転者の視野との関係に応じて情報を表示させるシステムである。この車両用情報表示システム１０は、表示装置１００と、通信ユニット２０と、サーバー３０とを備える。表示装置１００は、固定装置４により、車両のダッシュボード２の上やメーターパネル３の前等に固定することができる。
図２は、表示装置１００の前面を示す図である。この図に示すように、表示装置１００は、表示部１０１と、撮像装置１０２とを備える移動可能な端末装置である。この表示装置１００としては、スマートフォンやタブレット端末やＰＤＡ等の携帯端末を例示することができる。本実施形態の表示装置１００はスマートフォンであり、表示部１０１は、液晶や有機ＥＬ等のディスプレイであり、撮像装置１０２は、インカメラである。また、表示装置１００には、運転者の視野と表示装置１００の設置位置との関係に応じた情報を表示部１０１に表示させる処理を実行するためのアプリケーションソフトウェアがインストールされている。運転者の視野と設置位置との関係に応じて表示部１０１に表示させる画像については後述する。
通信ユニット２０は、ＣＡＮ（Controller Area Network）等の車載ネットワークに接続されており、ＥＣＵ（Engine Control Unit又はElectronic Control Unit）等の車載機器から車両情報を受信する。この車両情報としては、速度、エンジンの回転数、ブレーキの状態、ステアリングの状態、車載カメラの撮影画像、ウィンカーの状態、前照灯スイッチや車幅灯スイッチのＯＮ／ＯＦＦ、イグニッションスイッチのＯＮ／ＯＦＦ等を例示することができる。また、通信ユニット２０は、Bluetooth（登録商標）等の無線通信又は有線ＬＡＮ等の有線通信を介して表示装置１００に接続されており、車両識別番号等の車両識別情報や車載機器から受信した車両情報等を表示装置１００に送信する。
サーバー３０は、無線通信網に接続されており、表示装置１００との間で情報を送受信する。この無線通信網としては、ＬＴＥ（Long Term Evolution）や３Ｇ等の携帯電話用通信回線網、ＷｉＭＡＸ（登録商標）等の無線通信網、及び、ビーコン等の高度道路交通システム用の無線通信網等を例示することができる。本実施形態では、サーバー３０は、表示装置１００から車両識別情報や車両情報や表示装置１００の情報を取得し、情報表示処理に必要な情報（以下、表示処理情報という）を、表示装置１００に送信する。なお、サーバー３０と表示装置１００との間での処理や機能の割り振りは適宜設定すればよい。例えば、サーバー３０が、表示装置１００から取得した情報に基づいて、表示装置１００の表示部１０１に表示させる情報を生成して表示装置１００に送信するように、サーバー３０と表示装置１００との連携を構築してもよい。
図３は、車両用情報表示システム１０の概略構成を示すブロック図である。この図に示すように、表示装置１００は、上述の表示部１０１、及び撮像装置１０２に加えて、通信部１０４と、プロセッサ１１０とを備える。通信部１０４は、通信ユニット２０から上述の車両識別情報や車両情報等を受信し、サーバー３０との間で、車両識別情報や車両情報等の送信、及び、表示処理情報等の受信を行う。
プロセッサ１１０は、表示制御プログラムが格納されたＲＯＭ１１２と、ＲＯＭ１１２に格納された表示制御プログラムを実行する動作回路としてのＣＰＵ１１１と、アクセス可能な記憶装置として機能するＲＡＭ１１３とを備えるコンピュータである。プロセッサ１１０は、情報取得処理、視線検出処理、視野領域設定処理、表示情報生成処理、及び表示制御処理を実行する機能を備え、各処理を実現するためのソフトウェアと上述のハードウェアとの協働により、各処理を実行する。
プロセッサ１１０は、情報取得処理において、通信ユニット２０から車両情報及び車両識別情報を取得し、サーバー３０から表示処理情報を取得し、撮像装置１０２から撮影画像情報を取得する。なお、視線検出処理、視野領域設定処理、表示情報生成処理、及び表示制御処理については後述する。
サーバー３０は、通信部３０１と、データベース３０２と、プロセッサ３１０とを備える。通信部３０１は、表示装置１００の通信部１０４との間で、車両識別情報や車両情報等の受信、及び、表示処理情報等の送信を行う。データベース３０２は、表示処理情報を格納している。
プロセッサ３１０は、表示制御プログラムが格納されたＲＯＭ３１２と、ＲＯＭ３１２に格納された表示制御プログラムを実行する動作回路としてのＣＰＵ３１１と、アクセス可能な記憶装置として機能するＲＡＭ３１３とを備えるコンピュータである。プロセッサ３１０は、情報取得処理、及び表示処理情報抽出処理を実行する機能を備え、各処理を実現するためのソフトウェアと上述のハードウェアとの協働により、各処理を実行する。
図４は、プロセッサ１１０の視線検出処理、及び視野領域設定処理を説明するための図である。図４に示すように、表示装置１００が、運転者の前方のダッシュボード２の上に設置された場合には、インカメラである撮像装置１０２の画角に運転者の顔が入ることになる。特に、ダッシュボード２上における運転者の正面に設置された表示装置１００は、運転者の中心視野領域Ｃに存在することになる。また、表示装置１００が、ダッシュボード２上における運転者から見て右端や、ダッシュボード２上における中央寄り（運転者から見て左側）に設置された場合には、当該表示装置１００は、運転者の周辺視野領域Ｐに存在することになる。
プロセッサ１１０は、視線検出処理において、撮像装置１０２により撮影された画像に含まれる顔画像を解析することによって、運転者の視線を検出する。以下、運転者の視線を検出する方法の一実施例について説明する。
一実施例に係る視線検出方法では、撮像装置１０２により取得された顔画像に対して画像処理を行って顔の特徴点を抽出し、顔の各部位と眼球との位置関係から視線を抽出する。まず、撮像装置１０２の入力画像の輝度情報及び彩度情報に基づいて、入力画像から肌色の領域を抽出する。
次に、入力画像の輝度情報及び色相情報に基づいて、左右の目頭及び目尻と鼻孔とを抽出する。次に、分離度フィルタを使用して瞳孔を抽出する。そして、抽出した目尻２点と鼻孔２点の中間点との３点を用いて顔面に相当する平面を作成し、この平面のカメラ座標系における３次元の位置と向きとを検出する。
最後に、視線を抽出するところ、まず、顔に付随したローカル座標系を設置する。このローカル座標系では、抽出した目頭と目尻とを通る直線をＸ軸とし、Ｘ軸に直交し目頭を通る直線をＹ軸とする。抽出した瞳孔の中心位置（Ｘi，Ｙi）と、正面視時の瞳孔の中心位置（Ｘ0，Ｙ0）との差（瞳孔移動量）（Ｘ0−Ｘｉ，Ｙ0−Ｙｉ）を算出し、瞳孔移動量と眼球半径（既定値）とに基づいて視線を算出する。
プロセッサ１１０は、視野領域設定処理において、中心視野領域Ｃ及び周辺視野領域Ｐを設定する。ここで、中心視野領域Ｃは、視線検出処理において検出した視線を中心として上下左右に所定角度（例えば、有効視野あるいは文字の認識限界とされる４〜２０°）の領域に設定する。また、周辺視野領域Ｐは、例えば、視線検出処理において検出した視線を中心として左右に所定角度（例えば、最大視野角に相当する１００°）、視線から上に所定角度（例えば、最大視野角に相当する５０°）、視線から下に所定角度（例えば、最大視野角に相当する７５°）の領域（ただし、中心視野領域Ｃを除く）に設定する。
プロセッサ１１０は、設置位置判定処理において、表示装置１００が、中心視野領域Ｃに存在するか否かを判定する。この設置位置判定処理では、視線検出処理で抽出した瞳孔と撮像装置１０２とを通過する直線が、視野領域設定処理で設定した中心視野領域Ｃを通過するか否かを判定する。
図５及び図６は、プロセッサ１１０の表示情報生成処理、及び表示制御処理を説明するための図である。表示装置１００が中心視野領域Ｃの外側に存在する場合には、プロセッサ１１０は、表示情報生成処理において、図５に示すように、アイコン等の抽象化した表示情報（以下、抽象化情報という）を生成し、表示制御処理において、生成した抽象化情報を表示部１０１に表示させる。一方、表示装置１００が中心視野領域Ｃの内側に存在する場合には、プロセッサ１１０は、図６に示すように、表示情報生成処理において、テキスト等の具現化した表示情報（以下、具現化情報という）を生成し、表示制御処理において、生成した具現化情報を表示部１０１に表示させる。
抽象化又は具現化した表示情報としては、速度オーバーや急ブレーキ等の警告表示、及びエアコンやオーディオ等の車載機器についての情報の表示等を例示することができる。例えば、図５及び図６に示すように、速度オーバーの警告表示を表示部１０１に表示させる場合、抽象化情報としては、シンボルの認識限界とされる視野でも認識可能な情報であるアイコンを表示させ、具現化情報としては、文字の認識限界とされる視野で認識可能な情報であるテキストを表示させる。
図７は、本実施形態に係る車両用情報表示システム１０が実行する画像表示処理の制御手順を示すフローチャートである。この図のフローチャートに示す処理ルーチンは、表示装置１００にインストールされたアプリケーションソフトウェアが起動されると開始される。本処理ルーチンの実行中、プロセッサ１１０は、通信ユニット２０から車両情報及び車両識別情報を取得し、撮像装置１０２から撮影画像情報を取得する。
まず、プロセッサ１１０は、撮像装置１０２の撮影画像に基づいて、運転者の視線を検出する（ステップＳ１０１）。次に、プロセッサ１１０は、ステップＳ１０１において検出した視線を中心とする中心視野領域Ｃを設定し、ステップＳ１０１において抽出した運転者の瞳孔と撮像装置１０２とを通過する直線が、中心視野領域Ｃを通過するか否かを判定する（ステップＳ１０２）。ステップＳ１０２において肯定判定がされた場合には、ステップＳ１０３に移行し、ステップＳ１０２において否定判定がされた場合には、ステップＳ１０４に移行する。
ステップＳ１０３において、プロセッサ１１０は、表示部１０１に表示させる情報の設定を、Disp＝１に設定する。一方、ステップＳ１０４において、プロセッサ１１０は、表示部１０１に表示させる情報の設定を、Disp＝２に設定する。
ステップＳ１０３、Ｓ１０４の次に、プロセッサ１１０は、通信ユニット２０から取得している車両情報に基づいて、表示部１０１にアイコンやテキスト等を表示させて通知する事象が発生したか否かを判定する（ステップＳ１０５）。ステップＳ１０５において肯定判定がされた場合には、ステップＳ１０６に移行し、ステップＳ１０５において否定判定がされた場合には、ステップＳ１０９に移行する。
ステップＳ１０６において、プロセッサ１１０は、表示部１０１に表示させる情報の設定が、Disp＝１であるか否かを判定する。ステップＳ１０６において肯定判定がされた場合には、ステップＳ１０７に移行し、ステップＳ１０６において否定判定がされた場合には、ステップＳ１０８に移行する。
ステップＳ１０７において、プロセッサ１１０は、具現化情報としてのテキスト情報を生成してテキストを表示部１０１に表示させる。一方、ステップＳ１０８において、プロセッサ１１０は、抽象化情報としてのアイコンの画像情報を生成してアイコンを表示部１０１に表示させる。
ステップＳ１０７、Ｓ１０８の次に、プロセッサ１１０は、イグニッションスイッチがＯＦＦであるか否かを判定する（ステップＳ１０９）。ステップＳ１０９において肯定判定がされた場合には、プロセッサ１１０は、アプリケーションソフトウェアを終了して処理を終了する。一方、ステップＳ１０９において否定判定がされた場合には、ステップＳ１０１に戻り、ステップＳ１０１〜Ｓ１１０の処理を繰り返す。
以上説明したように、本実施形態に係る車両用情報表示システム１０では、表示装置１００と一体の撮像装置１０２に、表示装置１００の使用者たる運転者を撮影させ、撮影画像から、運転者の視線を検出する。そして、検出した運転者の視線を中心とする中心視野領域Ｃと、その外側の周辺視野領域Ｐとの何れに、表示装置１００の表示部１０１が存在するかを判定する。表示部１０１が中心野領域Ｃに存在する場合、警告情報等の通知情報を、第１の表示形態で表示部１０１に表示させる。一方、表示部１０１が周辺視野領域Ｐに存在する場合、警告情報等の通知情報を、第１の表示形態と比較して抽象度の高い第２の表示形態で表示部１０１に表示させる。これにより、周辺視野領域Ｐに存在する表示装置１００に表示された通知情報についての運転者の認識時間の長大化を抑制できる。一方、中心視野領域Ｃに存在する表示装置１００に表示された通知情報についての運転者の情報要求量の不足を抑制できる。従って、表示装置１００に表示させる通知情報を、運転者の視線との関係で適切に設定できるという効果を奏する。
また、本実施形態に係る車両用情報表示システム１０では、表示部１０１に表示させる通知情報の第１の表示形態がテキストを含むので、中心視野で認識する通知情報に対して運転者が要求する情報量を充足することができる。一方、表示部１０１に表示させる通知情報の第２の表示形態がアイコンを含むので、周辺視野領域Ｐに存在する表示装置１００に表示された通知情報についての運転者の認識時間を短縮できる。
また、本実施形態に係る車両用情報表示システム１０では、表示装置１００は、車両内の運転席の前方に配置され、表示部１０１に表示させる通知情報は、運転者に対して通知する情報である。これにより、正面を向いて運転する運転者の中心視野で認識される通知情報は、テキスト等の具現化情報となって運転者の情報要求量を満足させるものとなる。一方、正面を向いて運転する運転者の周辺視野で認識される通知情報は、アイコン等の抽象化情報となって運転者による短時間での認識を可能とするものとなる。
図８は、他の実施形態に係る車両用情報表示システム１１の概略構成を示すブロック図である。なお、上述の実施形態に係る車両用情報表示システム１０と同様の構成については説明を省略して上述の説明を援用する。
図８に示すように、表示装置１００は、上述の表示部１０１、撮像装置１０２、通信部１０４、及びプロセッサ１１０に加えて、加速度センサ１０５を備える。加速度センサ１０５は、ＭＥＭＳ（Micro Electro Mechanical Systems）３軸加速度センサ等であり、Ｘ軸、Ｙ軸、Ｚ軸の３方向の加速度の加速度を計測でき、重力（静的加速度）の計測にも対応できる。また、本実施形態の通信部１０４は、通信ユニット２０から上述の車両識別情報や車両情報等を受信し、サーバー３０との間で、車両識別情報や車両情報等の送信、及び、表示処理情報等の受信を行う。また、本実施形態のプロセッサ１１０は、上述の情報取得処理、視線検出処理、視野領域設定処理、表示情報生成処理、及び表示制御処理に加えて、設置位置推定処理を実行する機能を備える。
図４及び図９は、プロセッサ１１０の設置位置推定処理を説明するための図である。図４に示すように、表示装置１００が、運転者の前方のダッシュボード２の上に設置された場合には、インカメラである撮像装置１０２の画角に運転者の顔が入り、撮影画像に運転者の顔が含まれることになる。
以下の説明では、右ハンドル車におけるダッシュボード２上の中央寄り（運転者から見て左側）の設置位置を設置位置（１）、ダッシュボード２上の運転者の正面の設置位置を設置位置（２）、ダッシュボード２上の運転者から見て右側の設置位置を設置位置（３）と称する。設置位置（１）、及び設置位置（３）に設置された表示装置１００は、正面を向いた運転者の周辺視野領域Ｐに存在する。一方、設置位置（２）に設置された表示装置１００は、正面を向いた運転者の中心視野領域Ｃに存在する。なお、矩形状の表示装置１００は、横向きにして設置されているものとする。また、撮像装置１０２は、表示部１０１の左側又は右側に位置するものとする。
図９は、設置位置（１）〜（３）に設置された表示装置１００の表示部１０１に撮像装置１０２の撮影画像を表示させた場合に、運転者の顔が表示される位置及び運転者の顔の向きを示す図である。この図に示すように、インカメラである撮像装置１０２の撮影画像は、鏡像となって表示部１０１に表示される。
運転者から見て右上の設置位置（３）に表示装置１００が設置されている場合と、運転者から見て左上の設置位置（１）に表示装置１００が設置されている場合とでは、表示部１０１での運転者の顔の表示位置が左右反転する。なお、設置位置（１）に表示装置１００が設置されている場合には、運転者の顔は表示部１０１の真ん中よりやや右側に表示される。
運転者から見て左側の設置位置（１）に表示装置１００が設置されている場合には、運転者の顔が、左顔が前に出る向き（右向き）で表示部１０１に表示されるのに対して、運転者から見て右上の設置位置（３）に表示装置１００が設置されている場合には、運転者の顔が、右顔が前に出る向き（左向き）で表示部１０１に表示される。また、運転者から見て正面の設置位置（２）に表示装置１００が設置されている場合には、運転者の顔が、正面向きで表示部１０１に表示される。
以上説明したように、表示装置１００の設置位置と、撮像装置１０２の撮影画像における運転者の顔の位置及び向きとの間には相関関係がある。なお、表示装置１００を設置位置（１）〜（３）に設置する場合には、運転者から表示部１０１が見え易いように、運転者が表示装置１００の向きを調整していることが想定される。そのため、表示装置１００が設置位置（１）〜（３）に設置されている場合には、撮像装置１０２の撮影画像における運転者の顔の位置には識別可能な差が生じない可能性がある。そこで、プロセッサ１１０は、情報取得処理において、撮像装置１０２の撮影情報（ＡＦ制御時の測距情報、及び撮影画像）を取得し、設置位置推定処理において、撮像装置１０２の撮影画像における運転者の顔の向きを判別し、その判別結果に基づいて、表示装置１００の設置位置を推定する。
図１０及び図１１は、他の実施形態に係る車両用情報表示システム１１が実行する画像表示処理の制御手順を示すフローチャートである。これらの図のフローチャートに示す処理ルーチンは、表示装置１００にインストールされたアプリケーションソフトウェアが起動されると開始される。なお、上述の実施形態に係る車両用情報表示システム１０と同様の手順については説明を省略して上述の説明を援用する。
本実施形態に係る画像表示処理では、まず、表示装置１００の設置位置を推定する処理を実行する（ステップＳ２０１〜Ｓ２０９）。ステップＳ２０１において、プロセッサ１１０は、表示装置１００に搭載されたセンサの検出情報を取得する。本ステップにおいて取得するセンサの検出情報には、加速度センサ１０５により検出された加速度情報が含まれる。
次に、プロセッサ１１０は、ステップＳ２０１において取得した加速度情報に基づいて、表示装置１００が固定状態であるか否かを判定する（ステップＳ２０２）。本ステップにおいて、プロセッサ１１０は、加速度センサ１０５により検出された重力方向（Ｚ軸方向）の加速度が、所定の閾値以下であるか否かを判定する。本ステップにおいて否定判定がされた場合には、ステップＳ２０１に戻り、本ステップにおいて肯定判定がされた場合には、ステップＳ２０３に進む。
ステップＳ２０３において、プロセッサ１１０は、車速と操舵角とに基づいて、車両１が直線走行中であるか否かを判定する。本ステップにおいて肯定判定がされた場合にはステップＳ２０４に移行し、否定判定がされた場合にはステップＳ２０３が繰り返し実行される。ステップＳ２０３において、プロセッサ１１０は、車速が所定の閾値以上であり、且つ、操舵角が所定の閾値以下であるか否かを判定する。ここで、車速の閾値は、例えば１０ｋｍ／ｈ等の車両１が走行中であると判定できる値に設定されている。また、操舵角の閾値は、例えば１０°等の車両１が直進中であると判定できる値に設定されている。
ステップＳ２０４において、プロセッサ１１０は、撮像装置１０２の撮影画像を解析することにより、撮影装置１０２の撮影画像における運転者の顔の向きを判別する。次に、プロセッサ１１０は、ステップＳ２０４において判別した運転者の顔の向きが正面向きであるか否かを判定する（ステップＳ２０５）。本ステップにおいて肯定判定がされた場合には、ステップＳ２０６に移行し、本ステップにおいて否定判定がされた場合には、ステップＳ２０７に移行する。
ステップＳ２０７において、プロセッサ１１０は、ステップＳ２０４において判別した運転者の顔の向きが右向き（左顔が前に出る向き）であるか否かを判定する。本ステップにおいて肯定判定がされた場合には、ステップＳ２０８に移行し、本ステップにおいて否定判定がされた場合には、ステップＳ２０９に移行する。
ステップＳ２０６において、プロセッサ１１０は、表示装置１００の設置位置を設置位置（２）と推定する。一方、ステップＳ２０８において、プロセッサ１１０は、表示装置１００の設置位置を設置位置（１）と推定する。さらに、ステップＳ２０９において、プロセッサ１１０は、表示装置１００の設置位置を設置位置（３）と推定する。そして、ステップＳ２０６、Ｓ２０８、Ｓ２０９から図１１のステップＳ１０１に移行する。
即ち、撮像装置１０２の撮影画像における運転者の顔の向きが、右向きである場合には、プロセッサ１１０は、表示装置１００の設置位置を設置位置（１）と推定する。一方、撮像装置１０２の撮影画像における運転者の顔の向きが、右顔が左向きである場合には、プロセッサ１１０は、表示装置１００の設置位置を設置位置（３）と推定する。さらに、プロセッサ１１０は、撮像装置１０２の撮影画像における運転者の顔の向きが、正面向きである場合には、表示装置１００の設置位置を設置位置（２）と推定する。
ステップＳ２０６、Ｓ２０８、Ｓ２０９の次に、上述したステップＳ１０１〜Ｓ１０４が実行される。ここで、図１２は、本実施形態のDisp＝１に対応する表示画像を示す図であり、図５は、本実施形態のDisp＝２に対応する表示画像を示す図であり、図６は、後述のDisp＝３に対応する表示画像を示す図である。
図１２に示すように、本実施形態のDisp＝１に対応する表示画像は、アイコン等の抽象化情報とテキスト等の具現化情報とを含む。一方、図５に示すように、本実施形態のDisp＝２に対応する表示画像は、アイコン等の抽象化情報のみである。さらに、図６に示すように、本実施形態のDisp＝３に対応する表示画像は、テキスト等の具現化情報のみである。ここで、抽象化情報は、スピード違反等の事象が発生したことを通知する事象発生通知情報である。一方、具現化情報は、発生した事象の内容を通知する発生事象内容通知情報である。
図１１のフローチャートに戻り、ステップＳ１０５において、プロセッサ１１０は、通信ユニット２０から取得している車両情報に基づいて、表示部１０１に表示させて通知する事象が発生したか否かを判定する。ステップＳ１０５において肯定判定がされた場合には、ステップＳ１０６に移行し、ステップＳ１０５において否定判定がされた場合には、ステップＳ１０９に移行する。
ステップＳ１０６において、プロセッサ１１０は、表示部１０１に表示させる情報の設定が、Disp＝１であるか否かを判定する。ステップＳ１０６において肯定判定がされた場合には、ステップＳ３０１に移行し、ステップＳ１０６において否定判定がされた場合には、ステップＳ３０２に移行する。
ステップＳ３０１において、プロセッサ１１０は、図１２に示すDisp＝１に対応する画像を生成して表示部１０１に表示させる。一方、ステップＳ３０２において、プロセッサ１１０は、表示装置１００の設置位置が設置位置（１）、（３）の何れか一方であるか否かを判定する。ステップＳ３０２において肯定判定がされた場合にはステップＳ３０３に移行し、ステップＳ３０２において否定判定がされた場合にはステップＳ３０６に移行する。
ステップＳ３０３において、プロセッサ１１０は、図５に示すDisp＝２に対応する画像を生成して表示部１０１に表示させる。同様に、ステップＳ３０６において、プロセッサ１１０は、Disp＝２に対応する画像を生成して表示部１０１に表示させる。即ち、表示装置１００が周辺視野領域Ｐに存在する場合と周辺視野領域Ｐに存在しない場合との双方で、表示部１０１に抽象化情報（事象発生通知情報）を表示させる。
ステップＳ３０３の実行後に、プロセッサ１１０は、所定時間（例えば、０．５ｓｅｃ等の１ｓｅｃ以下の時間）が経過したか否かを判定する（ステップＳ３０４）。ステップＳ３０４は、肯定判定がされるまで繰り返され、ステップＳ３０４において肯定判定がされた場合にはステップＳ３０５に移行する。
ステップＳ３０５において、プロセッサ１１０は、図６に示すDisp＝３に対応する画像を生成して表示部１０１に表示させる。即ち、表示装置１００が運転者の周辺視野領域Ｐに存在する場合には、抽象化情報が表示部１０１に所定時間（１ｓｅｃ以下の時間）表示されてから、表示部１０１の表示情報が抽象化情報から具現化情報に切換えられる。一方、表示装置１００が運転者の中心視野領域Ｃのみならず周辺視野領域Ｐにも存在しない場合には、抽象化情報が表示部１０１に上記所定時間経過後も継続して表示される（ステップＳ３０６）。
ステップＳ３０１、Ｓ３０５、Ｓ３０６の実行後に、プロセッサ１１０は、イグニッションスイッチがＯＦＦであるか否かを判定する（ステップＳ１０９）。ステップＳ１０９において肯定判定がされた場合には、プロセッサ１１０は、アプリケーションソフトウェアを終了して処理を終了する。一方、ステップＳ１０９において否定判定がされた場合には、図１０のステップＳ２０１に戻り、処理を繰り返す。
なお、本実施形態では、表示部１０１が周辺視野領域Ｐに存在しない場合にも、通知情報を抽象度の高い第２の表示形態で表示部１０１に表示させたが、これは必須ではなく、表示部１０１が中心視野領域Ｃにも周辺視野領域Ｐにも存在しない場合には、通知情報を表示部１０１に表示させないようにしてもよい。
以上説明したように、本実施形態に係る車両用情報表示システム１１では、表示装置１００の表示部１０１が周辺視野領域Ｐに含まれる場合、通知情報を、アイコン等の抽象度の高い第２の表示形態で表示部１０１に表示させてから所定時間が経過した後に、テキスト等の具体度の高い第１の表示形態に切換えて表示部１０１に表示させる。これにより、運転者は、周辺視野で抽象度の高い事象発生通知情報を認識した状態で、具体度の高い発生事象内容通0知情報に視線を向けることができるので、具体度の高い発生事象内容通知情報の認識時間を短縮できる。
また、本実施形態に係る車両用情報表示システム１１では、表示装置１００の表示部１０１が設けられた面の側に備えられた撮像装置１０２により運転者の顔を撮影し、撮影された運転者の顔の向きに基づいて、表示部１０１の位置を推定する。そして、推定した表示部１０１の位置が、周辺視野領域Ｐに含まれる場合、通知情報を、アイコン等の抽象度の高い第２の表示形態で表示部１０１に表示させてから所定時間が経過した後に、テキスト等の具体度の高い第１の表示形態に切換えて表示部１０１に表示させる。これにより、表示部１０１が周辺視野領域Ｐに含まれない場合に、不必要に、通知情報の表示形態の切換が実行されることを防止できる。
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態において開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
例えば、上述の実施形態では、撮像装置１０２を表示装置１００と一体としたが、これは必須ではなく、例えば、撮像装置１０２は、表示装置１００を固定するための固定装置４に設ける等、表示装置１００と別体として表示装置１００の周囲に設けてもよい。この場合、撮像装置１０２を表示装置１００に近接させることが好ましい。ここで、撮像装置１０２を表示装置１００とは別体にして「周囲」に設け又は「近接」させる場合には、表示装置１００と使用者の視野との関係が、撮像装置１０２を表示装置１００と一体とする場合と同じになるように、撮像装置１０２と表示装置１００との距離を設定すればよい。なお、「表示装置１００と使用者の視野との関係が同じ」とは、撮像装置１０２を表示装置１００と一体にする場合と別体にする場合との双方で、表示装置１００が使用者の中心視野Ｃに存在するか、あるいは、撮像装置１０２を表示装置１００と一体にする場合と別体にする場合との双方で、表示装置１００が使用者の周辺視野Ｐに存在する状況を指す。また、「周囲」とは、例えば、使用者の表示装置１００に対する中心視野及び周辺視野を把握可能な位置に、撮像装置１０２を表示装置とは離間して配置することを言う。さらに、「近接」とは、例えば、表示装置１００の隣に撮像装置１０２を接して配置することを言う。
また、表示部１０１は、警告情報等の１つの通知情報を専用で表示するものには限られず、ナビゲーション情報等を基本情報として表示し、一時的に警告情報等の通知情報を表示するものとしてもよい。
また、上述の実施形態では、通知事象の発生時に、表示部１０１が中心視野領域Ｃと周辺視野領域Ｃとの何れに存在するかを判定して通知情報の表示形態を決定したが、これは必須ではなく、通知事象の発生時には、通知情報を予め決められた表示形態で表示部１０１に表示させ、通知事象の発生後に、表示部１０１が中心視野領域Ｃと周辺視野領域Ｐとの何れに存在するかを判定し、判定結果に応じて、通知情報の表示形態を切換えるようにしてもよい。
さらに、上述の実施形態では、表示装置１００が車両内の運転者の前方に配置される状況を例に挙げて本発明を説明したが、船舶や航空機や建設機械等の車両以外の他の機械や、オフィスで使用される状況にも本発明を適用できる。
３０ サーバー
３１０ プロセッサ
１００ 表示装置
１０１ 表示部
１０２ 撮像装置
１１０ プロセッサ

Claims (6)

  1. 表示部を備える表示装置に情報を表示させる表示制御装置を用いて、前記表示部に情報を表示させる方法であって、
    前記表示装置と一体の又は前記表示装置の周囲に設けられた撮像装置により、前記表示装置の使用者を撮影し、
    前記撮像装置により撮影された画像から、前記使用者の視線を検出し、
    検出した前記使用者の視線を中心とする中心視野領域と、前記中心視野領域の外側の周辺視野領域との何れに、前記表示部が存在するかを判定し、
    前記表示部が前記中心視野領域に存在する場合、通知情報を、第１の表示形態で前記表示部に表示させ、
    前記表示部が前記周辺視野領域に存在する場合、前記通知情報を、前記第１の表示形態と比較して抽象度の高い第２の表示形態で前記表示部に表示させる情報表示方法。
  2. 前記表示部が前記周辺視野領域に存在する場合、前記通知情報を、前記第２の表示形態で前記表示部に表示させてから所定時間が経過した後に、前記第１の表示形態に切換えて前記表示部に表示させる請求項１に記載の情報表示方法。
  3. 前記撮像装置は、前記表示装置の前記表示部が設けられた面の側に備えられ、
    前記撮像装置により前記使用者の顔を撮影し、
    前記撮像装置により撮影された前記使用者の顔の向きに基づいて、前記表示部の位置を推定し、
    推定した前記表示部の位置が、前記周辺視野領域に存在する場合、前記通知情報を、前記第２の表示形態で前記表示部に表示させてから所定時間が経過した後に、前記第１の表示形態に切換えて前記表示部に表示させる請求項２に記載の情報表示方法。
  4. 前記第１の表示形態は、テキストを含み、
    前記第２の表示形態は、アイコンを含む請求項１〜３の何れか１項に記載の情報表示方法。
  5. 前記表示装置は、車両内の運転席の前方に配置され、
    前記通知情報は、前記車両の運転者に対して通知する情報である請求項１〜４の何れか１項に記載の情報表示方法。
  6. 情報を表示する表示部を備える表示装置に通知情報を表示させるプロセッサを備える表示制御装置であって、
    前記プロセッサは、
    前記表示装置と一体の又は前記表示装置の周囲に設けられた撮像装置に、前記表示装置の使用者を撮影させ、
    前記撮像装置により撮影された画像から、前記使用者の視線を検出し、
    検出した前記使用者の視線を中心とする中心視野領域と、前記中心視野領域の外側の周辺視野領域との何れに、前記表示装置の表示部が存在するかを判定し、
    前記表示部が前記中心視野領域に存在する場合、通知情報を、第１の表示形態で前記表示部に表示させ、
    前記表示部が前記周辺視野領域に存在する場合、前記通知情報を、前記第１の表示形態と比較して抽象度の高い第２の表示形態で前記表示部に表示させる表示制御装置。
JP2018512701A 2016-04-20 2016-04-20 情報表示方法及び表示制御装置 Active JP6758788B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/062491 WO2017183129A1 (ja) 2016-04-20 2016-04-20 情報表示方法及び表示制御装置

Publications (2)

Publication Number Publication Date
JPWO2017183129A1 true JPWO2017183129A1 (ja) 2019-03-07
JP6758788B2 JP6758788B2 (ja) 2020-09-23

Family

ID=60115784

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018512701A Active JP6758788B2 (ja) 2016-04-20 2016-04-20 情報表示方法及び表示制御装置

Country Status (10)

Country Link
US (1) US10652387B2 (ja)
EP (1) EP3447609B1 (ja)
JP (1) JP6758788B2 (ja)
KR (1) KR102019619B1 (ja)
CN (2) CN109074151B (ja)
BR (1) BR112018071324A2 (ja)
MX (1) MX367701B (ja)
MY (1) MY194747A (ja)
RU (1) RU2720591C1 (ja)
WO (1) WO2017183129A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2720591C1 (ru) * 2016-04-20 2020-05-12 Ниссан Мотор Ко., Лтд. Способ отображения информации и устройство управления отображением
CN110139154B (zh) * 2019-05-15 2021-08-31 京东方科技集团股份有限公司 一种显示设备控制方法及装置、系统
JP6825683B1 (ja) * 2019-12-02 2021-02-03 トヨタ自動車株式会社 車両用表示制御装置、車両用表示装置、車両用表示制御方法及びプログラム
WO2023281755A1 (ja) * 2021-07-09 2023-01-12 シャープＮｅｃディスプレイソリューションズ株式会社 表示制御装置、表示制御方法、及びプログラム
JP7432874B2 (ja) 2021-12-23 2024-02-19 パナソニックＩｐマネジメント株式会社 表示制御装置、表示制御方法及びプログラム
JP2023180902A (ja) * 2022-06-10 2023-12-21 トヨタ自動車株式会社 車両用表示制御装置及び表示処理方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10104003A (ja) * 1996-09-30 1998-04-24 Mazda Motor Corp ナビゲーション装置
JP2002166787A (ja) * 2000-11-29 2002-06-11 Nissan Motor Co Ltd 車両用表示装置
JP2002225592A (ja) * 2001-02-01 2002-08-14 Nissan Motor Co Ltd 車両の情報表示装置
JP2004077862A (ja) * 2002-08-20 2004-03-11 Sony Corp 表示装置および方法、携帯型情報処理端末および方法、記録媒体、並びにプログラム
JP2009282937A (ja) * 2008-05-26 2009-12-03 Nippon Telegr & Teleph Corp <Ntt> 情報自動編成提示装置および情報自動編成提示処理プログラム
JP2011079428A (ja) * 2009-10-07 2011-04-21 Isuzu Motors Ltd 車両用表示装置
WO2011055699A1 (ja) * 2009-11-04 2011-05-12 本田技研工業株式会社 車両用表示装置
WO2013111388A1 (ja) * 2012-01-23 2013-08-01 三菱電機株式会社 情報表示装置
US20130194110A1 (en) * 2012-02-01 2013-08-01 Electronics And Telecommunications Research Institute Automotive augmented reality head-up display apparatus and method
JP2017170949A (ja) * 2016-03-18 2017-09-28 トヨタ自動車株式会社 車両用表示装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6208932B1 (en) 1996-09-30 2001-03-27 Mazda Motor Corporation Navigation apparatus
JP4042319B2 (ja) * 2000-09-28 2008-02-06 日産自動車株式会社 警報制御装置
US6812942B2 (en) * 2000-12-28 2004-11-02 International Business Machines Corporation Context-responsive in-vehicle display system
JP2003291688A (ja) * 2002-04-03 2003-10-15 Denso Corp 表示方法、運転支援装置、プログラム
US7391888B2 (en) * 2003-05-30 2008-06-24 Microsoft Corporation Head pose assessment methods and systems
JP3982504B2 (ja) * 2004-01-23 2007-09-26 日産自動車株式会社 車両用暗視カメラ装置および表示装置
JP2006163756A (ja) * 2004-12-07 2006-06-22 Honda Lock Mfg Co Ltd 車両の視界補助装置
JP4811259B2 (ja) * 2006-12-11 2011-11-09 日産自動車株式会社 視線方向推定装置及び視線方向推定方法
KR100830752B1 (ko) * 2007-04-19 2008-05-19 한국철도공사 차량용 스크린 장치
JP2009274542A (ja) * 2008-05-14 2009-11-26 Honda Motor Co Ltd ヘッドアップディスプレイ装置
JP2010215194A (ja) * 2009-03-19 2010-09-30 Hyundai Motor Co Ltd 車載機器の操作装置
JP5223768B2 (ja) * 2009-04-24 2013-06-26 株式会社デンソー 車両用表示装置
US20140063055A1 (en) * 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific user interface and control interface based on a connected external device type
JP2012194060A (ja) * 2011-03-16 2012-10-11 Denso Corp 情報提供装置
US9658687B2 (en) * 2011-09-30 2017-05-23 Microsoft Technology Licensing, Llc Visual focus-based control of coupled displays
JP5899021B2 (ja) * 2012-03-28 2016-04-06 本田技研工業株式会社 車両への携帯情報端末の取付位置判別方法
JP5949052B2 (ja) * 2012-03-29 2016-07-06 日産自動車株式会社 車両用表示装置
JP5924579B2 (ja) * 2012-03-30 2016-05-25 大日本印刷株式会社 視点誘導装置および電子書籍端末
CN103507639B (zh) * 2012-06-27 2016-06-01 比亚迪股份有限公司 一种车载显示设备及具有该设备的车辆
JP5847058B2 (ja) 2012-11-08 2016-01-20 本田技研工業株式会社 車両表示装置
JP6094305B2 (ja) * 2013-03-26 2017-03-15 セイコーエプソン株式会社 頭部装着型表示装置、および、頭部装着型表示装置の制御方法
JP6316559B2 (ja) * 2013-09-11 2018-04-25 クラリオン株式会社 情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラム
JP6124745B2 (ja) * 2013-09-19 2017-05-10 アルパイン株式会社 車載システム
JP6417676B2 (ja) * 2014-03-06 2018-11-07 ソニー株式会社 情報処理装置、情報処理方法、アイウェア端末および認証システム
JP6476644B2 (ja) * 2014-08-11 2019-03-06 トヨタ自動車株式会社 認知補助装置
RU2720591C1 (ru) * 2016-04-20 2020-05-12 Ниссан Мотор Ко., Лтд. Способ отображения информации и устройство управления отображением

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10104003A (ja) * 1996-09-30 1998-04-24 Mazda Motor Corp ナビゲーション装置
JP2002166787A (ja) * 2000-11-29 2002-06-11 Nissan Motor Co Ltd 車両用表示装置
JP2002225592A (ja) * 2001-02-01 2002-08-14 Nissan Motor Co Ltd 車両の情報表示装置
JP2004077862A (ja) * 2002-08-20 2004-03-11 Sony Corp 表示装置および方法、携帯型情報処理端末および方法、記録媒体、並びにプログラム
JP2009282937A (ja) * 2008-05-26 2009-12-03 Nippon Telegr & Teleph Corp <Ntt> 情報自動編成提示装置および情報自動編成提示処理プログラム
JP2011079428A (ja) * 2009-10-07 2011-04-21 Isuzu Motors Ltd 車両用表示装置
WO2011055699A1 (ja) * 2009-11-04 2011-05-12 本田技研工業株式会社 車両用表示装置
WO2013111388A1 (ja) * 2012-01-23 2013-08-01 三菱電機株式会社 情報表示装置
US20130194110A1 (en) * 2012-02-01 2013-08-01 Electronics And Telecommunications Research Institute Automotive augmented reality head-up display apparatus and method
JP2017170949A (ja) * 2016-03-18 2017-09-28 トヨタ自動車株式会社 車両用表示装置

Also Published As

Publication number Publication date
JP6758788B2 (ja) 2020-09-23
MX367701B (es) 2019-09-03
WO2017183129A1 (ja) 2017-10-26
MY194747A (en) 2022-12-15
CN109074151A (zh) 2018-12-21
CN109074151B (zh) 2020-01-03
RU2720591C1 (ru) 2020-05-12
US10652387B2 (en) 2020-05-12
CN110825237A (zh) 2020-02-21
MX2018012118A (es) 2019-02-11
EP3447609A1 (en) 2019-02-27
EP3447609B1 (en) 2020-09-30
EP3447609A4 (en) 2019-05-08
KR102019619B1 (ko) 2019-09-06
KR20180123552A (ko) 2018-11-16
US20190109939A1 (en) 2019-04-11
BR112018071324A2 (pt) 2019-02-05
CN110825237B (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
JP6758788B2 (ja) 情報表示方法及び表示制御装置
US20220076577A1 (en) Drive assist device
EP2826689B1 (en) Mobile terminal
US9451062B2 (en) Mobile device edge view display insert
EP2857886B1 (en) Display control apparatus, computer-implemented method, storage medium, and projection apparatus
JP5482737B2 (ja) 視認負荷量推定装置、運転支援装置、および視認負荷量推定プログラム
JP2020102252A (ja) 運転者監視システム
US20160054795A1 (en) Information display device
US20170178359A1 (en) Determining the Pose of a Head Mounted Display
JP6202550B1 (ja) 事故防止対策機能を備えた携帯型の電子機器
JP2016172526A (ja) 車両用表示装置
JP2016066231A (ja) 衝突防止装置、衝突防止方法、衝突防止プログラムおよび記録媒体
JP2015011456A (ja) 車両用情報提供装置
JP2019006183A (ja) 操縦支援装置、操縦支援方法、プログラム
JP6586226B2 (ja) 端末装置位置推定方法、情報表示方法、及び端末装置位置推定装置
CN111292509A (zh) 异常检测装置、异常检测系统以及记录介质
CN113044056B (zh) 信息提供装置
WO2017150466A1 (ja) 運転者監視システム
JP2018081555A (ja) 車両用表示装置、車両用表示方法および車両用表示プログラム
JP7476866B2 (ja) ウェアラブル端末の画像表示制御装置及び画像表示制御方法及び画像表示システム
JP2018160002A (ja) 衝突防止装置、通信システム、衝突防止方法、およびコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200901

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200901

R150 Certificate of patent or registration of utility model

Ref document number: 6758788

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150