JP6554131B2 - 車両の表示システム及び車両の表示システムの制御方法 - Google Patents

車両の表示システム及び車両の表示システムの制御方法 Download PDF

Info

Publication number
JP6554131B2
JP6554131B2 JP2017050348A JP2017050348A JP6554131B2 JP 6554131 B2 JP6554131 B2 JP 6554131B2 JP 2017050348 A JP2017050348 A JP 2017050348A JP 2017050348 A JP2017050348 A JP 2017050348A JP 6554131 B2 JP6554131 B2 JP 6554131B2
Authority
JP
Japan
Prior art keywords
display
vehicle
target person
urgency
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017050348A
Other languages
English (en)
Other versions
JP2018156176A (ja
Inventor
武史 鳥居
武史 鳥居
能英瑠 佐藤
能英瑠 佐藤
瑠一 澄川
瑠一 澄川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Priority to JP2017050348A priority Critical patent/JP6554131B2/ja
Priority to CN201810140033.4A priority patent/CN108621941B/zh
Priority to US15/898,251 priority patent/US10479202B2/en
Publication of JP2018156176A publication Critical patent/JP2018156176A/ja
Application granted granted Critical
Publication of JP6554131B2 publication Critical patent/JP6554131B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60K35/10—
    • B60K35/23—
    • B60K35/26—
    • B60K35/28—
    • B60K35/29—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/2661—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic mounted on parts having other functions
    • B60Q1/268—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic mounted on parts having other functions on windscreens or windows
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/503—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking using luminous text or symbol displays in or on the vehicle, e.g. static text
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • B60Q5/005—Arrangement or adaptation of acoustic signal devices automatically actuated
    • B60Q5/006—Arrangement or adaptation of acoustic signal devices automatically actuated indicating risk of collision between vehicles or with pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B60K2360/149—
    • B60K2360/186—
    • B60K2360/1868—
    • B60K2360/191—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal

Description

本発明は、車両の表示システム及び車両の表示システムの制御方法に関する。
従来、例えば下記の特許文献１には、車両用表示装置において、画像の一部分をネガ表示することが記載されている。
特開２００７−５２７１９号公報
例えば、車外の対象である人物に向けて表示を行う場合、車内のドライバなどの人物がその表示内容を認識していないと、車外の対象に対して適正な表示を行うことができない場合が想定される。しかしながら、上記特許文献に記載された技術では、運転者に対する表示をネガ表示に反転するものであり、車外の対象に向けた表示を行うことは想定していなかった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、車外の対象に向けた表示を車内の人物が確実に認識することが可能な、新規かつ改良された車両の表示システム及び車両の表示システムの制御方法を提供することにある。
上記課題を解決するために、本発明のある観点によれば、 車両の窓部に車外に向けた第１の表示と、前記第１の表示の反転である車内に向けた第２の表示を行う表示装置と、前記車両外に存在する対象人物の位置を取得する位置取得部と、前記車両から前記対象人物までの距離の近さに応じて緊急性を判定する判定部と、前記対象人物の位置に応じて、前記緊急性が低いと判断された場合、前記第１の表示と前記第２の表示とを交互に繰り返し表示するように前記表示装置を制御し、前記緊急性が高いと判断された場合、前記対象人物に向けて第１の表示を行うように前記表示装置を制御する表示制御部と、を備え、前記表示制御部は、前記対象人物までの距離が所定の第１のしきい値以上の場合に、緊急性が低いと判断して前記第１の表示と前記第２の表示とを交互に繰り返し表示するように前記表示装置を制御し、前記対象人物までの距離が前記第１のしきい値未満の場合に緊急性が高いと判断して前記第１の表示を行うように前記表示装置を制御する、車両の表示システムが提供される。
前記表示制御部は、前記第１の表示と前記第２の表示とを交互に繰り返し表示する又は前記第１の表示と、前記第１の表示をポジ画像として該表示を反転したネガ画像である前記第２の表示を繰り返し表示することのいずれかを選択して前記表示装置を制御するものであっても良い。
また、上記課題を解決するために、本発明のある観点によれば、車両の窓部に車外に向けた第１の表示と、前記第１の表示の反転である車内に向けた第２の表示を行う表示装置と、前記車両外に存在する対象人物の位置を取得する位置取得部と、前記車両から前記対象人物までの距離の近さに応じて緊急性を判定する判定部と、前記対象人物の位置に応じて、前記緊急性が低いと判断された場合、前記第１の表示と前記第２の表示とを交互に繰り返し表示するように前記表示装置を制御し、前記緊急性が高いと判断された場合、前記対象人物に向けて第１の表示を行うように前記表示装置を制御する表示制御部と、を備え、前記表示制御部は、前記第１の表示と前記第２の表示とを交互に繰り返し表示する又は前記第１の表示と、前記第１の表示をポジ画像として該表示を反転したネガ画像である前記第２の表示を繰り返し表示することのいずれかを選択して前記表示装置を制御する、車両の表示システムが提供される。
また、前記対象人物が車両に気付いているか否かを判定する判定部を備え、前記表示制御部は、前記対象人物が車両に気付いており、前記対象人物までの距離が所定の第２のしきい値以上離れた場合は、前記対象人物に向けた前記表示を終了させるものであっても良い。
また、前記対象人物が車両に気付いていない場合に、警告音を発生させる警告音発生部を更に備えるものであっても良い。
上記課題を解決するために、本発明の別の観点によれば、車両の窓部に車外に向けた第１の表示と、前記第１の表示の反転である車内に向けた第２の表示を行う表示装置を有する車両の表示システムの制御方法であって、前記車両外に存在する対象人物の位置を取得するステップと、前記車両から前記対象人物までの距離の近さに応じて緊急性を判定する判定部と、前記対象人物の位置に応じて、前記緊急性が低いと判断された場合、前記第１の表示と前記第２の表示とを、交互に繰り返し表示するように前記表示装置を制御するステップと、前記緊急性が高いと判断された場合、前記対象人物に向けて第１の表示を行うステップと、を備える、車両の表示システムの制御方法が提供される。
また、上記課題を解決するために、本発明の別の観点によれば、車両の窓部に車外に向けた第１の表示と、前記第１の表示の反転である車内に向けた第２の表示を行う表示装置を有する車両の表示システムの制御方法であって、前記車両外に存在する対象人物の位置を取得するステップと、前記車両から前記対象人物までの距離の近さに応じて緊急性を判定するステップと、前記対象人物の位置に応じて、前記緊急性が低いと判断された場合、前記第１の表示と前記第２の表示とを、交互に繰り返し表示するように前記表示装置を制御するステップと、前記緊急性が高いと判断された場合、前記対象人物に向けて第１の表示を行うように前記表示装置を制御するステップと、を備え、前記表示装置を制御するステップにおいて、前記第１の表示と前記第２の表示とを交互に繰り返し表示する又は前記第１の表示と、前記第１の表示をポジ画像として該表示の反転であるネガ画像を表示する前記第２の表示を繰り返し表示することのいずれかを選択して前記表示装置を制御する、車両の表示システムの制御方法が提供される。
本発明によれば、車外の対象に向けた表示を車内の人物が確実に認識することが可能となる。
本発明の一実施形態に係る車両の表示システムの構成を示す模式図である。 自発光中間膜を用いたＨＵＤ装置を示す模式図である。 車両外の対象の顔領域に基づいて、顔が向いている角度等を算出する様子を示す模式図である。 反転アニメーションによる表示の例を示す模式図である。 ネガポジ反転による表示の例を示す模式図である。 車両外の人物が車両８００に気付いたか否かを判定する手法を示す模式図である。 本実施形態に係る車両システムで行われる処理を示すフローチャートである。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
図１は、本発明の一実施形態に係る車両の表示システム１０００の構成を示す模式図である。車両の表示システム１０００は、基本的には自動車などの車両に構成されるシステムである。図１に示すように、車両の表示システム１０００は、車外センサ１００、ドライバセンサ２００、制御装置４００、ＨＵＤ装置５００、スピーカ（警告音発生部）６００、シート振動部７００を有して構成されている。
車外センサ１００は、ステレオカメラ、単眼カメラ、ミリ波レーダ、赤外線センサ等から構成され、自車両周辺の人や車両などの位置、速度を測定する。車外センサ１００がステレオカメラから構成される場合、ステレオカメラは、ＣＣＤセンサ、ＣＭＯＳセンサ等の撮像素子を有する左右１対のカメラを有して構成され、車両外の外部環境を撮像し、撮像した画像情報を制御装置４００へ送る。一例として、ステレオカメラは、色情報を取得可能なカラーカメラから構成され、車両のフロントガラスの上部に設置される。
ＨＵＤ（Ｈｅａｄ−ｕｐ Ｄｉｓｐｌａｙ）装置５００は、人間の視野に直接情報を映し出す表示装置であって、自動車のフロントガラスやリアガラスなどのガラス上に実像を表示する。ＨＵＤは虚像を表示する装置が一般的に知られているが、本実施形態では、実像を映し出す表示装置を用いる。ＨＵＤ装置５００は、実像を表示しているため、視野角がほぼ３６０°あり、車内外から表示を視認することが可能である。
ＨＵＤ装置５００として、より具体的には、図２に示すような自発光中間膜５１０を用いる装置を用いることができる。この場合、車両のフロントガラス、リアガラス等において、表裏の２枚のガラス５２０で挟むように自発光中間膜５１０を配置する。自発光中間膜５１０には発光材料が含まれており、車内に設置するプロジェクター５３０からレーザ光を照射すると、照射された部分が発光し、文字や画像が表示される。表示物は全角度からの視認性を有し、運転席以外の席や、車両外部からも視認することができる。なお、ＨＵＤ装置５００は、自発光タイプのデバイスを車両のガラスに配置することで構成することもできる。この場合、例えば有機ＥＬ素子を用いた透明スクリーン、または透過型液晶装置等を用いることもできる。また、表示デバイスとして、ＨＵＤ装置５００以外のデバイスを用いても良く、例えばインパネに設置した大型液晶装置やＬＥＤ表示装置などを用いても良い。なお、以下では、表示装置として車両の窓部（ガラス）に表示を行うＨＵＤ装置５００を例に挙げて説明するが、本発明に係る表示装置はこれに限定されるものではなく、車両の内部又は外部に設けられた表示装置の全ての態様を含む。例えば、本実施形態に係る表示装置は、車両外部の窓部以外（ボディーなど）に設けられていても良く、車両内部の窓部以外（インパネ、座席など）に設けられていても良い。また、車両の内部に設けられた表示装置と車両の外部に設けられた表示装置は一体であっても良いし、別体であっても良い。
ドライバセンサ２００は、カメラ、視線センサ、モーションセンサ等から構成され、ドライバ（運転者）の頭や腕の動き、視線方向などを測定する。ドライバセンサ２００がカメラから構成される場合、カメラが撮像した画像を画像処理することで、頭や腕の動き、視線方向などを取得する。ドライバセンサ２００が視線センサから構成される場合、角膜反射法などの方法により視線検出を行う。着座センサ３００は、車両内の各座席に設けられ、座席に人が座ったか否かを判定する。スピーカ６００は、ＨＵＤ装置５００によって車両の内外へ警告を表示する際に、車両の内外へ警告音を発生させる。シート振動部７００は、車両の座席に設けられ、ＨＵＤ装置５００によって車両内へ警告を表示する際に、座席を振動することでドライバ、同乗者へ警告を行う。
制御装置４００は、車外センサ１００、ドライバセンサ２００等が検出した情報に基づいて、ＨＵＤ装置５００による表示を制御する。このため、制御装置４００は、環境情報取得部４０２、環境状態判定部４０７、距離判定部４１０、ＨＵＤ制御部（表示制御部）４１４を有している。なお、制御装置４００の各構成要素は、回路（ハードウェア）、またはＣＰＵなどの中央演算処理装置とこれを機能させるためのプログラム（ソフトウェア）によって構成されることができる。
環境情報取得部（位置取得部）４０２は、車外センサ１００を構成するステレオカメラの左右１組のカメラによって撮像した左右１組のステレオ画像対に対し、対応する位置のずれ量から三角測量の原理によって対象物までの距離情報を生成して取得することができる。同時に、環境情報取得部４０２は、画像情報から被写体の位置情報を取得することができる。また、環境情報取得部４０２は、三角測量の原理によって生成した距離情報に対して、周知のグルーピング処理を行い、グルーピング処理した距離情報を予め設定しておいた三次元的な立体物データ等と比較することにより、立体物データや白線データ等を検出する。これにより、制御装置３００は、人物、他車両、一時停止の標識、停止線、ＥＴＣゲートなどを認識することもできる。
また、環境情報取得部４０２は、三角測量の原理によって生成した人物、他車両との距離情報を用いて、人物や他車両との距離の変化量、相対速度を算出することができる。距離の変化量は、単位時間ごとに検知されるフレーム画像間の距離を積算することにより求めることができる。また、相対速度は、単位時間ごとに検知される距離を当該単位時間で割ることにより求めることができる。
このように、環境情報取得部４０２は、車外センサ１００から得られる車両外の画像情報を取得して画像分析処理を行い、画像情報を分析して車両外の環境情報を取得する。
図３は、車両外の対象（人物）の顔領域１０に基づいて、顔が向いている角度等を算出する様子を示す模式図である。画像情報から得られる人物の顔領域１０に基づいて、人物の顔向きが予め定めた領域を外れているか否かをモニタリングする。なお、人物の顔領域１０は、目、鼻、口など顔の各部位の特徴点の位置情報から設定できる。また、顔向きは、一例として、正面から見た時の目の間隔を基準とし、この基準と画像情報から得られる目の間隔とを比較することで推定することができる。画像情報から得られる目の間隔が基準値よりも小さい程、顔向きが正面から横向きにずれていると判断できる。
図３の右下には、検知結果２０を示している。検知結果２０には、縦軸に「顔の上下方向の角度」、横軸に「顔の左右方向の角度」を表示しており、×印３０は検知された顔向きを示している。
制御装置４００の環境状態判定部４０７は、環境情報取得部４０２が取得した環境情報に基づいて、車両外の環境情報を判定する。特に、環境状態判定部４０７は、車両外の対象として人物や車両の状態を判定することができる。距離判定部４１０は、環境情報取得部４０２が取得した距離情報に基づいて、車両外の対象と車両との距離を判定する。
本実施形態では、車両周辺の状況に応じて車内外の誰に向けた表示なのか分かるようにＨＵＤ装置５００による表示を切り換える。この際、車両周辺の状況に応じて、反転アニメーション表示、又はネガポジ反転表示を行うことで、車内外の誰に向けた表示なのかが分かるように表示の切り替えを行う。
具体的には、車両周辺の状況として車両外の対象までの距離を用い、対象までの距離から緊急性を判定し、緊急性が高い場合は直ちに車両外の対象に向けた車外向けの表示を行う。また、緊急性が低い場合は反転アニメーションや、ネガティブ画とポジティブ画の反転の表示過程を挟み、その後に車外向けの表示をすることによりドライバに表示内容を認識させる。表示内容が車外向けのものであっても、反転して表示することにより、車内のドライバ等の人物が視認し易くなるため、緊急性が低い場合は、反転した表示を行うことで、車内の人物に表示内容を確実に認識させることが可能である。
また、車両周辺の状況として、対象が自車両に気付いているかを示す情報を用い、対象が自車両に気付いていない場合は、スピーカ６００から警笛もしくは音を鳴らし対象に自車両を気付かせた後に車外向けの表示を行うことで、対象に車外表示を気付かせやすくする。
図４は、本実施形態における表示の例を示す模式図であって、反転アニメーションによる表示の例を示している。図４に示す例では、車両発進時に「発進します」という表示８０２が車両のフロントガラス８１０に表示される。表示８０２の表裏は繰り返し反転され、最終的には反転を停止して車外に向けた表示が行われる。以上のような反転アニメーション表示を行うことで、車外表示を行う際に、車内の人に対して確実に表示８０２を認識させることができる。
図５は、ネガポジ反転による表示の例を示す模式図である。図５に示すように、車外の人物が存在する位置、車両の移動方向などを示す矢印の表示８０２が車両のフロントガラス８１０に表示される。表示８０２のネガポジは繰り返し反転され、最終的には反転を停止して車外に向けた表示が行われる。以上のようなネガポジ反転による表示を行うことで、車外表示を行う際に、車内の人に対して確実に表示８０２を認識させることができる。
車両外の人物が自車両８００に気付いた場合は、車外表示の位置、サイズを変更し、画像５４０を目立たなくする。図６は、車両外の人物９００が車両８００に気付いたか否かを判定する手法を示す模式図であって、上方から車両８００及び人物９００を見た状態を示している。図６に示すように、車外センサ１００により人物９００が検出され、環境情報取得部４０２により人物９００の顔向きが検出されると、人物９００の位置Ｗを始点とした顔向きを示す矢印Ａ１が定まる。環境状態判定部４０６は、この矢印Ａ１が車両８００の方向を指していれば、人物９００が車両８００に気付いたと判定する。
次に、図７のフローチャートに基づいて、本実施形態に係る車両システム１０００で行われる処理について説明する。図７に示す処理は、制御装置４００の各構成要素によって行われ、所定の制御周期毎に繰り返し行われる。先ず、ステップＳ１０では、車外センサの情報から車外に表示を視認する対象（人物９００）が存在するか否かを判定する。次のステップＳ１２では、環境情報取得部４０２が、人物９００までの距離と方向を取得する。次のステップＳ１４では、距離判定部４１０が、自車両８００から人物９００までの距離Ｌが所定のしきい値Ｘより小さいか否かを判定し、距離Ｌがしきい値Ｘよりも小さい場合は、緊急性が高いと判断し、ステップＳ１６へ進む。ステップＳ１６では、人物９００に向けて表示８０２を行う。一方、ステップＳ１４で距離Ｌがしきい値Ｘ以上の場合はステップＳ２４へ進む。ステップＳ２４では、図４及び図５に示した反転アニメーションやネガポジ反転を行い、ドライバに車外への表示８０２を行うことを知らせる。ステップＳ２４の後はステップＳ１６に進み、対象に向けて表示８０２を行う。
ステップＳ１６の後はステップＳ２０へ進み、図６に示した方法により、環境状態判定部４０７が、人物９００が自車両８００に気付いたか否かを判定し、人物９００が自車両８００に気付いた場合はステップＳ２０へ進む。ステップＳ２０では、対象との距離が離れたか否かを判定する。ここでは、対象との距離が、しきい値Ｘよりも大きな別のしきい値以上の場合に、対象との距離が離れたと判定する。対象との距離が離れた場合はステップＳ２４へ進む。ステップＳ２４では、表示を終了し、本制御周期における処理を終了する（ＥＮＤ）。
また、ステップＳ２０で人物９００が自車両８００に気付いていない場合はステップＳ２６へ進む。ステップＳ２６では、スピーカ６００から警笛などの音を発音させ、対象に車両を気付かせるようにする。ステップＳ２６の後はステップＳ２０へ進む。
また、ステップＳ２０で対象との距離が離れていないことが判定された場合は、本制御周期における処理を終了する（ＥＮＤ）。
以上説明したように本実施形態によれば、車両外の人物に対して表示をする際に、表示を反転させるようにしたため、車両内のドライバ等の人物に表示内容を確実に認識させることができる。また、車両外の人物が接近している場合など、緊急性の高い場合は、表示の反転を行わずに車両外の人物に対して表示を行うことで、車両外の人物に対して確実に表示内容を認識させることが可能となる
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
４０２ 環境情報取得部
４０７ 環境状態判定部
４１４ ＨＵＤ制御部
５００ ＨＵＤ装置

Claims (7)

  1. 車両の窓部に車外に向けた第１の表示と、前記第１の表示の反転である車内に向けた第２の表示を行う表示装置と、
    前記車両外に存在する対象人物の位置を取得する位置取得部と、
    前記車両から前記対象人物までの距離の近さに応じて緊急性を判定する判定部と、
    前記対象人物の位置に応じて、前記緊急性が低いと判断された場合、前記第１の表示と前記第２の表示とを交互に繰り返し表示するように前記表示装置を制御し、前記緊急性が高いと判断された場合、前記対象人物に向けて第１の表示を行うように前記表示装置を制御する表示制御部と、
    を備え、
    前記表示制御部は、前記対象人物までの距離が所定の第１のしきい値以上の場合に、緊急性が低いと判断して前記第１の表示と前記第２の表示とを交互に繰り返し表示するように前記表示装置を制御し、前記対象人物までの距離が前記第１のしきい値未満の場合に緊急性が高いと判断して前記第１の表示を行うように前記表示装置を制御することを特徴とする、車両の表示システム。
  2. 前記表示制御部は、前記第１の表示と前記第２の表示とを交互に繰り返し表示する又は前記第１の表示と、前記第１の表示をポジ画像として該表示を反転したネガ画像である前記第２の表示を繰り返し表示することのいずれかを選択して前記表示装置を制御することを特徴とする、請求項１に記載の車両の表示システム。
  3. 車両の窓部に車外に向けた第１の表示と、前記第１の表示の反転である車内に向けた第２の表示を行う表示装置と、
    前記車両外に存在する対象人物の位置を取得する位置取得部と、
    前記車両から前記対象人物までの距離の近さに応じて緊急性を判定する判定部と、
    前記対象人物の位置に応じて、前記緊急性が低いと判断された場合、前記第１の表示と前記第２の表示とを交互に繰り返し表示するように前記表示装置を制御し、前記緊急性が高いと判断された場合、前記対象人物に向けて第１の表示を行うように前記表示装置を制御する表示制御部と、
    を備え、
    前記表示制御部は、前記第１の表示と前記第２の表示とを交互に繰り返し表示する又は前記第１の表示と、前記第１の表示をポジ画像として該表示を反転したネガ画像である前記第２の表示を繰り返し表示することのいずれかを選択して前記表示装置を制御することを特徴とする、車両の表示システム。
  4. 前記対象人物が車両に気付いているか否かを判定する判定部を備え、
    前記表示制御部は、前記対象人物が車両に気付いており、前記対象人物までの距離が所定の第２のしきい値以上離れた場合は、前記第１の表示及び前記第２の表示を終了させることを特徴とする、請求項１に記載の車両の表示システム。
  5. 前記対象人物が車両に気付いていない場合に、警告音を発生させる警告音発生部を更に備えることを特徴とする、請求項４に記載の車両の表示システム。
  6. 車両の窓部に車外に向けた第１の表示と、前記第１の表示の反転である車内に向けた第２の表示を行う表示装置を有する車両の表示システムの制御方法であって、
    前記車両外に存在する対象人物の位置を取得するステップと、
    前記車両から前記対象人物までの距離の近さに応じて緊急性を判定するステップと、
    前記対象人物の位置に応じて、前記緊急性が低いと判断された場合、前記第１の表示と前記第２の表示とを、交互に繰り返し表示するように前記表示装置を制御するステップと、
    前記緊急性が高いと判断された場合、前記対象人物に向けて第１の表示を行うように前記表示装置を制御するステップと、
    を備え、
    前記表示装置を制御するステップにおいて、前記対象人物までの距離が所定の第１のしきい値以上の場合に、緊急性が低いと判断して前記第１の表示と前記第２の表示とを交互に繰り返し表示するように前記表示装置を制御し、前記対象人物までの距離が前記第１のしきい値未満の場合に緊急性が高いと判断して前記第１の表示を行うように前記表示装置を制御することを特徴とする、車両の表示システムの制御方法。
  7. 車両の窓部に車外に向けた第１の表示と、前記第１の表示の反転である車内に向けた第２の表示を行う表示装置を有する車両の表示システムの制御方法であって、
    前記車両外に存在する対象人物の位置を取得するステップと、
    前記車両から前記対象人物までの距離の近さに応じて緊急性を判定するステップと、
    前記対象人物の位置に応じて、前記緊急性が低いと判断された場合、前記第１の表示と前記第２の表示とを、交互に繰り返し表示するように前記表示装置を制御するステップと、
    前記緊急性が高いと判断された場合、前記対象人物に向けて第１の表示を行うように前記表示装置を制御するステップと、
    を備え、
    前記表示装置を制御するステップにおいて、前記第１の表示と前記第２の表示とを交互に繰り返し表示する又は前記第１の表示と、前記第１の表示をポジ画像として該表示の反転であるネガ画像を表示する前記第２の表示を繰り返し表示することのいずれかを選択して前記表示装置を制御することを特徴とする、車両の表示システムの制御方法。
JP2017050348A 2017-03-15 2017-03-15 車両の表示システム及び車両の表示システムの制御方法 Active JP6554131B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017050348A JP6554131B2 (ja) 2017-03-15 2017-03-15 車両の表示システム及び車両の表示システムの制御方法
CN201810140033.4A CN108621941B (zh) 2017-03-15 2018-02-11 车辆的显示系统及车辆的显示系统的控制方法
US15/898,251 US10479202B2 (en) 2017-03-15 2018-02-16 Vehicle display system and method of controlling vehicle display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017050348A JP6554131B2 (ja) 2017-03-15 2017-03-15 車両の表示システム及び車両の表示システムの制御方法

Publications (2)

Publication Number Publication Date
JP2018156176A JP2018156176A (ja) 2018-10-04
JP6554131B2 true JP6554131B2 (ja) 2019-07-31

Family

ID=63520603

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017050348A Active JP6554131B2 (ja) 2017-03-15 2017-03-15 車両の表示システム及び車両の表示システムの制御方法

Country Status (3)

Country Link
US (1) US10479202B2 (ja)
JP (1) JP6554131B2 (ja)
CN (1) CN108621941B (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10486742B2 (en) * 2016-08-01 2019-11-26 Magna Electronics Inc. Parking assist system using light projections
JP7005112B2 (ja) * 2018-03-05 2022-01-21 矢崎総業株式会社 表示システム、及び、車載システム
JP2019156180A (ja) * 2018-03-13 2019-09-19 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP6857695B2 (ja) * 2018-09-14 2021-04-14 シャープ株式会社 後方表示装置、後方表示方法、およびプログラム
JP2020152522A (ja) * 2019-03-20 2020-09-24 本田技研工業株式会社 配送システム、配送方法及びプログラム
JP7415394B2 (ja) * 2019-09-24 2024-01-17 スズキ株式会社 車両の表示装置
JP7267222B2 (ja) 2020-02-26 2023-05-01 三菱ロジスネクスト株式会社 処理装置、処理方法、報知システム及びプログラム
US11449068B2 (en) * 2020-05-11 2022-09-20 Deere & Company Mobile work machine state detection and visualization system
US20220005356A1 (en) * 2020-07-06 2022-01-06 Hyundai Mobis Co., Ltd. Apparatus for displaying display information according to driving environment and method thereof
WO2024080264A1 (ja) * 2022-10-11 2024-04-18 日本精機株式会社 表示システム

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60203545A (ja) * 1984-03-28 1985-10-15 Nippon Denso Co Ltd 車両用表示装置
US5905434A (en) * 1997-12-08 1999-05-18 Steffan; Paul J. Vehicle communication device
US6300870B1 (en) * 1999-10-04 2001-10-09 Warren F. Nelson Automotive digital rear window display unit
US6797412B1 (en) * 2000-04-11 2004-09-28 University Of Connecticut Full color display structures using pseudomorphic cladded quantum dot nanophosphor thin films
FR2816264B1 (fr) * 2000-11-09 2003-02-21 Thomas Bleiner Dispositif de signalisation visuelle adaptable a un vehicule
US6915209B1 (en) * 2003-05-19 2005-07-05 David I. Spann Visual and audible bus routing system
JP4134891B2 (ja) * 2003-11-28 2008-08-20 株式会社デンソー 衝突可能性判定装置
US7866861B2 (en) * 2004-01-20 2011-01-11 Jerry Dewanye Alexander Laminated device for selective presentations from the exterior of a mobile vehicle and method of use thereof
US8134637B2 (en) * 2004-01-28 2012-03-13 Microsoft Corporation Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
US7175321B1 (en) * 2004-03-24 2007-02-13 Lopez Gustavo M Projector systems
US7095318B1 (en) * 2004-09-28 2006-08-22 Solomon Bekhor Enhanced vehicle advisory system to advise drivers of other vehicles and passengers in the vehicle of actions taken by the driver
US9738225B1 (en) * 2005-01-07 2017-08-22 Kammy Au Electronic display panels for buses
JP4740689B2 (ja) * 2005-08-19 2011-08-03 エイディシーテクノロジー株式会社 車載用画像表示装置及び車載用装置
US7659808B1 (en) * 2006-08-21 2010-02-09 Richard P Cooper Automotive messaging display unit
US20080127534A1 (en) * 2006-12-04 2008-06-05 Brown Jane K Reflection message card holder and method of displaying an image on a surface
TW200909779A (en) * 2007-08-31 2009-03-01 Elitegroup Computer Sys Co Ltd Navigation system and portable head-up display thereof
US20090134984A1 (en) * 2007-11-26 2009-05-28 Cheng-Ting Chen Car Poster that Changes Display Contents
US7641369B1 (en) * 2008-01-11 2010-01-05 Paul Deveau Emergency under-lighting systems for vehicles
KR100947120B1 (ko) * 2008-10-29 2010-03-10 한국전자통신연구원 안전정보 표시 및 경고 시스템 및 그 방법
US8537030B2 (en) * 2010-02-15 2013-09-17 Ford Global Technologies, Llc Pedestrian alert system and method
US8606430B2 (en) * 2010-10-08 2013-12-10 GM Global Technology Operations LLC External presentation of information on full glass display
CA2735458A1 (fr) * 2011-03-22 2012-09-22 Denis Hugron Systeme interactif pour la prevention des accidents automobiles causes par le non respect des regles de la circulation, procede de fabrication et utilisation du systeme avec des vehicules
KR101675004B1 (ko) * 2011-12-29 2016-11-10 인텔 코포레이션 재구성가능한 개인 차량 디스플레이
US8893416B1 (en) * 2012-03-14 2014-11-25 DeAndre LaShawn McKenzie Police vehicle verification method
JP5406328B2 (ja) * 2012-03-27 2014-02-05 株式会社デンソーアイティーラボラトリ 車両用表示装置、その制御方法及びプログラム
US9196164B1 (en) * 2012-09-27 2015-11-24 Google Inc. Pedestrian notifications
US20140240204A1 (en) * 2013-02-22 2014-08-28 E-Lead Electronic Co., Ltd. Head-up display device for a smart phone
US20160054563A9 (en) * 2013-03-14 2016-02-25 Honda Motor Co., Ltd. 3-dimensional (3-d) navigation
JP5925163B2 (ja) * 2013-07-25 2016-05-25 三菱電機株式会社 運転支援装置
DE112013007344T5 (de) * 2013-08-19 2016-05-04 Mitsubishi Electric Corporation Fahrzeugmontierte Anzeigesteuervorrichtung
KR101901962B1 (ko) * 2013-11-08 2018-11-07 한국전자통신연구원 내비게이션을 이용한 자율 주행 제어 장치 및 그 방법
US9475422B2 (en) * 2014-05-22 2016-10-25 Applied Invention, Llc Communication between autonomous vehicle and external observers
WO2016035118A1 (ja) * 2014-09-01 2016-03-10 三菱電機株式会社 車両用照射制御システムおよび画像照射の制御方法
KR20160050793A (ko) * 2014-10-31 2016-05-11 현대모비스 주식회사 차량의 경고 메시지 표시 시스템
US20160159286A1 (en) * 2014-12-09 2016-06-09 Jerry Harville Rear View Mirror System and Related Methods
US10457199B2 (en) * 2015-04-10 2019-10-29 Maxell, Ltd. Image projection apparatus
JP2017007502A (ja) * 2015-06-22 2017-01-12 株式会社デンソー 警報装置
KR101860610B1 (ko) * 2015-08-20 2018-07-02 엘지전자 주식회사 디스플레이 장치 및 이를 포함하는 차량
US9878659B2 (en) * 2015-09-30 2018-01-30 Nissan North America, Inc. Vehicle state indication system
US9868389B2 (en) * 2015-09-30 2018-01-16 Nissan North America, Inc. Vehicle state indication system
US9694736B2 (en) * 2015-09-30 2017-07-04 Nissan North America, Inc. Vehicle state indication system
US9902311B2 (en) * 2016-02-22 2018-02-27 Uber Technologies, Inc. Lighting device for a vehicle
US9969326B2 (en) * 2016-02-22 2018-05-15 Uber Technologies, Inc. Intention signaling for an autonomous vehicle
JP6500814B2 (ja) * 2016-03-07 2019-04-17 トヨタ自動車株式会社 車両用照明装置
CN107176161B (zh) * 2016-03-10 2021-11-23 松下电器（美国）知识产权公司 识别结果提示装置、识别结果提示方法以及自主移动体
FR3056490B1 (fr) * 2016-09-29 2018-10-12 Valeo Vision Procede de projection d'une image par un systeme de projection d'un vehicule automobile, et systeme de projection associe
FR3056775B1 (fr) * 2016-09-29 2021-08-20 Valeo Vision Procede de projection d'images par un systeme de projection d'un vehicule automobile, et systeme de projection associe
KR20180040036A (ko) * 2016-10-11 2018-04-19 삼성전자주식회사 라이트 필드 디스플레이장치
JP6499632B2 (ja) * 2016-12-07 2019-04-10 スタンレー電気株式会社 車両用灯具
KR102648812B1 (ko) * 2016-12-15 2024-03-19 현대자동차주식회사 차량 및 그의 보행자 감지 알림 방법
US9953538B1 (en) * 2017-01-17 2018-04-24 Lyft, Inc. Autonomous vehicle notification system
JP6453929B2 (ja) * 2017-03-15 2019-01-16 株式会社Ｓｕｂａｒｕ 車両の表示システム及び車両の表示システムの制御方法

Also Published As

Publication number Publication date
CN108621941A (zh) 2018-10-09
CN108621941B (zh) 2022-11-22
US20180264944A1 (en) 2018-09-20
JP2018156176A (ja) 2018-10-04
US10479202B2 (en) 2019-11-19

Similar Documents

Publication Publication Date Title
JP6554131B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
JP6454368B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
JP6470335B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
JP6453929B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
JP6470334B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
JP6655036B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
US10647201B2 (en) Drive assist device and drive assist method
JP6445607B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
JP2015225119A (ja) ヘッドアップディスプレイ装置
TWI522257B (zh) 車用安全系統及其運作方法
US20190075253A1 (en) Vehicular display control device, vehicular display system, vehicular display control method, and non-transitory storage medium
JP4720979B2 (ja) 車両用監視装置
JP6504382B2 (ja) 表示制御装置、表示システム、表示制御方法、表示制御プログラム、および投影装置
JP2008162550A (ja) 外部環境表示装置
JP6415968B2 (ja) 通信装置、警告装置、表示装置、制御方法、プログラム、及び記憶媒体
JP2009166662A (ja) 車両用情報表示装置
JP2018197054A (ja) 情報表示装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190108

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190305

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190403

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190404

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190705

R150 Certificate of patent or registration of utility model

Ref document number: 6554131

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250