JP6524422B2 - 表示制御装置、表示装置、表示制御プログラム、及び表示制御方法 - Google Patents

表示制御装置、表示装置、表示制御プログラム、及び表示制御方法 Download PDF

Info

Publication number
JP6524422B2
JP6524422B2 JP2016507335A JP2016507335A JP6524422B2 JP 6524422 B2 JP6524422 B2 JP 6524422B2 JP 2016507335 A JP2016507335 A JP 2016507335A JP 2016507335 A JP2016507335 A JP 2016507335A JP 6524422 B2 JP6524422 B2 JP 6524422B2
Authority
JP
Japan
Prior art keywords
color
image
presentation image
display
presentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016507335A
Other languages
English (en)
Other versions
JPWO2015136874A1 (ja
Inventor
崇 桑原
崇 桑原
仁昭 赤堀
仁昭 赤堀
一広 森下
一広 森下
輝光 末永
輝光 末永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2015136874A1 publication Critical patent/JPWO2015136874A1/ja
Application granted granted Critical
Publication of JP6524422B2 publication Critical patent/JP6524422B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026Control of mixing and/or overlay of colours in general
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • B60K35/28
    • B60K35/29
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/06Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed using colour palettes, e.g. look-up tables
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B60K2360/166
    • B60K2360/188
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0112Head-up displays characterised by optical features comprising device for genereting colour display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0118Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/066Adjustment of display parameters for control of contrast
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0666Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Description

本開示は、車両等の乗員に対して提供される情報の表示を制御する表示制御装置、表示装置、表示制御プログラム、表示制御方法、及び記録媒体に関する。
近年、ナビゲーション情報、障害物に対する注意喚起情報などを、車両の乗員に対して提示する運転支援システムが盛んに開発されている。運転支援システムとして、ヘッドアップディスプレイ装置が注目されている。ヘッドアップディスプレイ装置は、車両のフロントガラスに、例えば矢印などの行動支援画像を投射する。それにより、車両又は飛行機の運転者は、運転中に前方を見ながら行動支援画像を視認できる。ここで、行動支援画像は提示画像ともいう。
しかし、フロントガラスの前景が矢印と同系色の場合、車両の乗員が行動支援画像を視認することが困難である。かかる場合、行動支援画像の視認性を高める方法として、例えば特許文献1に開示される技術がある。
特許文献1に記載の技術は、運転者が視線の変更を少なく見ることができるコンバイナを設け、光源から表示部へ投光することで像をコンバイナに投影する投影手段を設け、投影手段を制御する制御部を設けたヘッドアップディスプレイ装置である。特許文献1に記載の技術は、さらに、表示像の背景色を検出する背景色検出手段を設け、背景色に応じて投影される像の表示色を制御する表示色制御手段を設ける。
特開2005−138801号公報
しかしながら、特許文献1に記載の方法では、車両の乗員が提示画像を認識することに関し、改善の余地がある。
そこで、本開示の一態様は、画像の意味は保持されつつ視認性が高い提示画像を表示する表示制御装置を提供する。
本開示の一態様に係る表示制御装置は、車両の周辺状況の認識結果を受け取る入力部と、前記車両の周辺で所定の対象物が認識された場合、光を透過する表示媒体に表示されたときに提示画像を表す、所定画像を生成するように画像生成装置を制御する制御部と、を備え、前記制御部は、第1の提示画像を表す第1の所定画像を前記画像生成装置に生成させ、前記認識結果に基づいて、前記表示媒体において前記第1の提示画像が重畳される前記車両の前景の色が第1の色から、前記第1の色とは異なる第2の色に変化したことを検知し、前記第2の色が、前記第1の提示画像のうち外周領域の少なくとも一部の第3の色に対する所定の条件を満たすとき、前記画像生成装置を用いて、第2の提示画像を表す第2の所定画像を生成させ、前記第2の提示画像は、前記第1の提示画像のうち前記外周領域以外の領域を少なくとも含み、前記第2の提示画像のうち外周領域の少なくとも一部の色が前記第3の色とは異なる第4の色であり、前記制御部は、さらに、前記認識結果に基づいて、前記表示媒体に重畳される前記前景の色が前記第2の色から、前記第1の色に変化したことを検知したとき、前記画像生成装置を用いて、前記第2の所定画像を生成させる。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本開示に係る表示制御装置によれば、例えば矢印などの提示画像の内部領域は本来のデザインと同じであって、提示画像の本来の意味が保持されるため、運転者等が提示画像を理解しやすい。そして、提示画像の外周の少なくとも一部に、異なる色の領域を設けるため、表示媒体の前景に同系色等の物体が重畳された場合であっても、運転者は提示画像を認識しやすい。
本開示の実施の形態1に係るヘッドアップディスプレイ装置を搭載した自動車の車内の正面図 本開示の実施の形態1に係るヘッドアップディスプレイ装置の表示を示す図 本開示の実施の形態1に係るヘッドアップディスプレイ装置の制御ブロック図 本開示の実施の形態1に係るヘッドアップディスプレイ装置の表示を示す図 本開示の実施の形態1に係るヘッドアップディスプレイ装置の表示を示す図 本開示の実施の形態1に係るヘッドアップディスプレイ装置の動作フローチャート 本開示の実施の形態1に係るヘッドアップディスプレイ装置の表示を示す図 本開示の実施の形態1に係るヘッドアップディスプレイ装置の表示を示す図 本開示の実施の形態2に係る表示制御装置の構成例を示すブロック図 本開示の実施の形態2に係る表示制御装置の別の構成例を示すブロック図 本開示の実施の形態2に係る表示媒体に重畳される前景の例を示す図 本開示の実施の形態2に係る表示媒体に重畳される前景の例を示す図 本開示の実施の形態2に係る提示画像の例を示す図 本開示の実施の形態2に係る提示画像の例を示す図 本開示の実施の形態2に係る提示画像の領域を説明する図 本開示の実施の形態2に係る提示画像の領域を説明する図 本開示の実施の形態2に係る提示画像の例を示す図 本開示の実施の形態2に係る提示画像の例を示す図 本開示の実施の形態2に係る提示画像の例を示す図 本開示の実施の形態2に係る表示システムの動作フローチャート 本開示の実施の形態2に係る提示画像の例を示す図 本開示の実施の形態2に係る提示画像の例を示す図 本開示の実施の形態2に係る提示画像が表示媒体に表示された様子を示す図 本開示の実施の形態2に係る提示画像が表示媒体に表示された様子を示す図 本開示の実施の形態2に係る提示画像の例を示す図 本開示の実施の形態2に係る提示画像の例を示す図 本開示の実施の形態2に係る提示画像の例を示す図 本開示の実施の形態2に係る提示画像が表示媒体に表示された様子を示す図 本開示の実施の形態2に係る提示画像が表示媒体に表示された様子を示す図 本開示の実施の形態2に係る提示画像が表示媒体に表示された様子を示す図 本開示の実施の形態2に係る提示画像の例を示す図 本開示の実施の形態2に係る提示画像の例を示す図 本開示の実施の形態2に係る提示画像の例を示す図 本開示の実施の形態2に係る提示画像の例を示す図 本開示の実施の形態2に係る提示画像の例を示す図 本開示の実施の形態2に係る提示画像の例を示す図 本開示の実施の形態2に係る提示画像の例を示す図 本開示の実施の形態2に係る提示画像の例を示す図 本開示の実施の形態2に係る提示画像の例を示す図 本開示の実施の形態2に係る提示画像の例を示す図 本開示の実施の形態2に係る表示システムの動作フローチャート 本開示の実施の形態2に係る提示画像の例を示す図 本開示の実施の形態2に係る提示画像の例を示す図 本開示の実施の形態2に係る提示画像の例を示す図 本開示の実施の形態2に係る提示画像が表示媒体に表示された様子を示す図 本開示の実施の形態2に係る提示画像が表示媒体に表示された様子を示す図 本開示の実施の形態2に係る提示画像が表示媒体に表示された様子を示す図 本開示の実施の形態1ないし2に係る表示システム、表示制御装置のハードウェア構成図 本開示の実施の形態2に係るコンバイナの一例を示す図
(先行文献の考察)
特許文献1に開示される方法は、行動支援を行う矢印が赤色系であって、かつ、フロントガラス前景が赤色系であった場合、行動支援画像である矢印の全体を、例えば白色系に変更したり、明度を高めたりする。このように、車両の乗員の行動支援画像に対する視認性を高めることができる。しかし、矢印の色等の全体が突然変更されると、車両の運転者は、別の意味を有する行動支援画像に変更されたのではないかと混乱する。そして、車両の運転者は、行動支援画像の意味を理解することが困難になる。本開示に係る表示制御装置は、車両の乗員に対して画像の意味は保持されつつ視認性が高い提示画像を提示できる効果を有する。なお、視認性とは、乗員にとって行動支援画像の発見のしやすさを意味する。視認性は顕著性ともいう。以下、本開示の種々の態様にかかるヘッドアップディスプレイ(以下、HUD)装置を自動車に搭載した例を、添付図面を用いて説明する。
(実施の形態1)
図1は、自動車1の内部を示す。自動車1において、車内2には、運転席3、助手席4、ハンドル5、及び車載機器6が含まれる。車載機器6は、表示部7を有する。表示部7には、音楽情報、またはラジオ選局等が表示される。車内2の最前方には、車内2と車外とを区画するフロントガラス8(隔壁の一例)が配置される。
本実施形態では、表示媒体10は、たとえば、フロントガラス8の下方に位置される。表示媒体10には、不図示の表示源から所定画像が投射される。表示媒体10に投射された所定画像は自動車1の運転者に虚像として視認される。なお、表示源は例えばプロジェクタ機能を有する。
図2は、表示媒体10に投射された提示画像の一例を示す。図2に示すように、表示媒体10には、運転者の行動支援を行う行動支援画像として、例えば矢印画像11の画像が虚像として表示される。
そして、矢印画像11を示す画像が表示媒体10に虚像として表示されることにより、自動車1の運転者は、矢印画像11を示す画像を、フロントガラス8の前景に重畳して視認する。その結果、運転者は、曲がるべき方向の道路上に矢印画像11の画像を重畳して視認できる。
図3は、本開示の一態様に係るヘッドアップディスプレイシステム(以下、HUDシステム)20の構成図を示す。HUDシステム20は、映像投射部12、制御部13、行動方向画像検出部14、GPS部15、メモリ16、および操作部17を有する。行動支援映像の一例である矢印画像11を示す画像は、HUDシステム20に含まれる映像投射部12から投射される。
映像投射部12は制御部13に接続され、制御部13には、行動方向画像検出部14、GPS部15、メモリ16、操作部17が接続されている。制御部13は、矢印画像11を描画するための描画機能を有する。
行動方向画像検出部14は、例えば特許文献1と同じく不図示のカメラによって構成され、図1のルームミラー9の前方側に配置される。行動方向画像検出部14のカメラは、運転者からみたフロントガラス8の前方の映像と実質的に同じ映像を取得することができる。
GPS部15は、カーナビゲーションを実行するための現在位置、進行方向を検出する。メモリ16はカーナビゲーションを実行するための地図情報、または、動作プログラム等を格納する。操作部17は、カーナビゲーションの機能の起動、およびHUDシステム20の機能の起動の命令を入力する。また、操作部17は、目的地情報を入力する。
以上の構成において、運転者が操作部17によって目的地を入力し、カーナビゲーション機能を利用して運転を行っているとき、制御部13は、映像投射部12を用いて、表示媒体10に矢印画像11を示す所定画像を投射させる。
本実施形態においては、矢印画像11を示す画像は、例えば赤色系である。そのため、通常は、自動車1の運転者は、赤色の矢印画像11が、曲がるべき方向の道路上に重畳されて見える。
しかしながら、図4に示すように、先行車18が赤色の車であって、且つ、矢印画像11が表示されている場合、先行車18に矢印画像11が重畳されて視認される。本実施形態では、図4及び図5に示すように、矢印画像11の外周に枠体表示19を設けた画像が、表示媒体10上に表示される。枠体表示19は、矢印画像11が第1の色の場合には、この第1の色とは異なる第2の色で表示される。なお、説明の便宜上、第1の色は例えば赤色系とし、第2の色は例えば白色系又は青色系として説明する。なお、赤色系は暖色系であってもよく、白色系又は青色系は寒色系であってもよい。
すなわち、映像投射部12からフロントガラス8に投射する矢印画像11が例えば赤色であり、矢印画像11が行動方向画像検出部14によって検出した映像の色と同系色の場合、矢印画像11の外周に、赤色系とは異なる白色系、または青色系の枠体表示19を表示させる。
このとき、行動支援映像の一例である矢印画像11は今までと同じ状態又は色となるので、運転者などに不安感を与えることがない。
また、矢印画像11などの行動支援映像が通常状態と同じ色であっても、矢印画像11の外周に、矢印画像11の通常状態の色とは異なる色の枠体表示19を表示させる構成とした。そのため、矢印画像11の表示は、枠体表示19によって枠どりがされたことで、表示の顕著性が高まる。その結果、運転者等は、矢印画像11に従った運転をすることができる。
図6は、HUDシステム20の動作フローチャートを示す。行動方向画像検出部14は、常時、運転者からみたフロントガラス8の前方の映像と実質的に同じ映像を取得する。ここで、フロントガラス8の前方の映像とは、フロントガラス8の下方に位置する表示媒体10の前方の映像を意味する。
ステップS1において、矢印画像11の表示が開始されるか否かを判定する。矢印画像11の表示が開始されるとき(S1:Yes)、フローはステップS2に進む。一方、矢印画像11の表示が開始されないとき(S1:No)、システムは待機状態である。
ステップS2において、矢印画像11を表示させる状態で、先行車18などの色が矢印画像11と同系色である場合には(S2:Yes)、フローはステップS3に進む。ステップS3において、制御部13は、矢印画像11の外周に、矢印画像11の色とは異なる色の枠体表示19を表示させる。一方、ステップS2において、先行車18の色が赤色系でない場合(S2:No)、フローはステップS6に進む。ステップS6において、図2に示す枠体表示19の無い矢印画像11を表示させる。
次に、ステップS4において、案内矢印の表示を終了するか否かを判定する。案内矢印とは、矢印画像11または矢印画像11と枠体表示19とを合わせた矢印を意味する。たとえば、自動車1がその曲がり角を曲がったことで、矢印画像11を消す場合(S4:Yes)、制御部13は、ステップS5において、枠体表示19を消す。一方、案内矢印の表示が終了していないとき(S4:No)、ステップS3に戻り、矢印画像11の表示を継続する。
そして、ステップS7において、案内終了か否かが判定され、案内終了の場合(S7:Yes)、フローは終了する。たとえば、目的地に到着したとき、案内が終了される。一方、案内終了ではない場合(S7:No)、フローはステップS1へ戻る。
以上説明したように、本実施の形態では、表示媒体10に重畳される前景の色と、矢印画像11の外周領域の色とが同系色等である場合、矢印画像11のうち外周領域以外の領域を少なくとも含み、外周領域の少なくとも一部の色が変更された提示画像を表示媒体10に表示させる。これにより、提示画像の本来の色が保持されるため、表示媒体10において前景の色にかかわらず、画像の意味は保持されつつ視認性が高い提示画像の表示を継続させることができる。
なお、上記実施形態においては、ステップS3において設けた枠体表示19を、矢印画像11による案内が完了するまで設けたままの状態とする。これにより、運転者に対して同一の事象に対する情報であることを明確に提示することができ、運転者は当該提示画像を視認することで、新たな事象に対する情報が提供されたのかどうか混同することがなくなる。以下、具体的に説明する。
たとえば、先行車18が赤色系であって、矢印画像11の外周に例えば白色系の枠体表示19を表示した場合について説明する。先行車18が移動することにより、表示媒体10において矢印画像11が先行車18に重畳しなくなる場合、枠体表示19が表示されなくても矢印画像11は顕著に視認される。そのため、枠体表示19を消去する方法もあるが、本実施の形態では、枠体表示19を消去せずに表示を継続する。なぜなら、かかる場合に枠体表示19を消去すると、矢印画像11の視的感覚が大きく変わり、同一の事象に対して同一の注意喚起をなされているのか、または、別の新しい事象に対する注意喚起がなされているのかが、運転者にとって明確でなく、運転操作に影響を与えるからである。
なお、上記実施形態では、図5に示すように、外周全体に同じ幅の枠体表示19が表示されている矢印画像11を提示画像としたが、図7に示すように、下辺側の枠体表示19が上辺側の枠体表示19よりも広い矢印を提示画像としてもよい。こうすることにより、提示画像の顕著性が高くなり、自動車1の運転者が矢印画像11を認識しやすくなる効果がある。
また、矢印画像11の上辺側は、運転者が自動車1の前方を確認するためのスペースとなるので、枠体表示19の上辺側の幅が狭い場合、前方確認が容易になる効果がある。さらに、図8に示すように、矢印画像11の上辺側には、枠体表示19を形成せずに、矢印画像11の下辺側だけに枠体表示19を形成してもよい。
なお、本実施形態では、行動支援映像の一例として矢印画像11を示したが、文字、キャラクター等であってもよい。
さらに、矢印画像11は第1の色として赤色系を用いたが、他の色でも良い。さらに、枠体表示19も第2の色として、白色系や、青色系を用いたが、他の色で、矢印画像11の第1の色を強調できる色にしても良い。例えば、行動支援映像の矢印画像11表示は黄色系で表示し、枠体表示19を青色系で表示しても良い。
(実施の形態2)
次に、本開示の実施の形態2に係る表示システム100の構成例について説明する。図9は、表示システム100のブロック構成の一例を示す。
表示システム100は、例えば、車両等の移動体において用いられる。表示システム100は、車載装置であってもよいし、車両に持ち込まれる携帯情報端末であってもよい。本実施の形態では、表示システム100が車両に適用されたものとして説明するが、移動体は、車両に限定されず、船舶、航空機等であってもよい。また、本実施の形態では、ユーザが車両の乗員、特に車両の運転者である例について説明するが、その限りではない。また、表示システム100は、ユーザが身体に装着に可能なウェラブルコンピュータ(例えば、後述するHMD)において用いられてもよい。
表示システム100は、表示装置1000、センサ2000、表示媒体10を有する。また、表示装置1000は、表示制御装置1010、画像生成部1003、出力部1004を有する。表示制御装置1010は、入力部1001、制御部1002を有する。センサ2000は、検知部2001、認識部2002を有する。なお、本実施の形態において、表示媒体10は、光を透過するディスプレイである。
以下、図9を参照しながら、表示システム100の各構成要素について説明する。
センサ2000は、車両の周辺状況を認識する。車両の周辺状況は、車両の周辺に存在する所定の対象物、及び、車両の前景の状況のうちの少なくとも一方である。車両の前景の状況は、たとえば、車両の前景の色である。所定の対象物は、例えば、移動体、道路上の白線、標識、路面標示、ガードレール、信号機、電柱、建物、交差点等の道路環境である。移動体は、例えば、車両、人物、自転車、二輪車等である。
さらに、センサ2000は、車両の周辺に存在する移動体を検知して、移動体の位置、大きさ、相対距離および相対速度などのうち少なくとも1つを認識する。また、センサ2000は、自車両の位置、および乗員によって設定されたナビゲーション情報に対応した交差点等を認識してもよい。以下、センサ2000に関して詳細に説明する。
センサ2000は、車両の前景に存在する移動体を認識する。かかる場合、センサ2000に含まれる検知部2001は、所定のサンプリング間隔で車両の前景を検知する。検知部2001は、例えばセンシングカメラである。センシングカメラは、車両の内部または外部に搭載され、車両の前景を撮影する。センシングカメラは、前景だけでなく、側面の光景を撮影してもよい。なお、検知部2001は、例えばレーダであってもよい。検知部2001は、検知結果を示す周辺情報を認識部2002へ出力する。
認識部2002は、検知部2001から受け取る周辺情報に基づいて、車両周辺に存在する所定の対象物を認識する。例えば、検知部2001がセンシングカメラである場合、認識部2002は、周辺情報を示す画像に対してパタンマッチング等を行うことで、対象物を認識する。また、検知部2001がレーダである場合、認識部2002は、周辺情報からクラスタリングまたは機械学習等により対象物を抽出することで、対象物を認識する。なお、認識部2002における対象物認識技術は公知技術であるため、その詳細な説明は省略する。
また、センサ2000は、自車両の位置を検知して、乗員によって設定されたナビゲーション情報に対応した交差点等を認識することができる。かかる場合、センサ2000は、自車両の位置情報、乗員によって設定されたナビゲーション情報に対応した交差点等を検知し、自車両と交差点等との距離情報などを認識する。なお、ナビゲーションシステムにおける自車両および交通情報の認識技術は、公知であるため詳細な説明を省略する。
センサ2000は、車両の周辺状況の認識結果を、表示装置1000に含まれる表示制御装置1010に出力する。認識結果の情報は、前景に存在する対象物および対象物の位置情報を含んでもよい。また、認識結果の情報は、ナビゲーション情報に対応した道案内情報を含んでもよい。また、認識結果は、例えば、対象物の存在位置、車両の進行方向に対する対象物の相対角度(以下、単に相対角度という)、対象物と車両との相対速度、対象物の種別、パタンマッチングで得られた情報、対象物の追跡処理で得られた情報などを含んでもよい。
表示装置1000に含まれる入力部1001は、センサ2000から認識結果を受け取る。入力部1001は、ハードウェアで構成される場合、例えば、コネクタ、信号入力用の入力端子、または集積回路のピン等であってもよい。また、入力部1001は、無線通信で信号を受け取るためのアンテナであってもよい。
制御部1002は、自動車1の周辺で所定の対象物が認識された場合に、第1の所定画像を画像生成部1003が生成するように、画像生成部1003を制御する。第1の所定画像は、光を透過する表示媒体10に表示されたときに第1の提示画像を表す画像である。なお、画像生成部1003は、画像生成装置と呼称してもよい。
制御部1002は、さらに、認識結果に基づいて、表示媒体10において第1の提示画像が重畳される自動車1の前方風景の色が、第1の色から、第1の色とは異なる第2の色に変化したことを検知する。制御部1002は、第2の色が、第1の提示画像のうち外周領域の少なくとも一部の第3の色に対する所定の条件を満たすとき、第2の所定画像を画像生成部1003に生成させる。第2の所定画像は、表示媒体10に表示されたときに第2の提示画像を表す画像である。さらに、第2の提示画像は、第1の提示画像のうち外周領域以外の領域を少なくとも含み、第2の提示画像のうち外周領域の少なくとも一部の色が第3の色とは異なる第4の色である。以下、制御部1002に関して具体的に説明する。
制御部1002は、入力部1001が受け取った認識結果に基づいて、表示媒体10において第1の提示画像が重畳される自動車1の前景の色が、第1の色から、第2の色に変化したことを検知する。表示媒体10において第1の提示画像が重畳される前景とは、ユーザが表示媒体10を介して自動車1の前景をみたときに、表示媒体10に表示される第1の提示画像と重畳される前景の部分領域を意味する。入力部1001が受け取った認識結果は、自動車1の前景の色情報を含む。
ここで、表示媒体10の設置位置と、センサ2000によって撮像される画像との対応関係を示す相対位置情報は予め不図示の記憶部に保持されている。そのため、制御部1002は、センサ2000によって撮影される画像のうち、何れの領域が、ユーザから見て表示媒体10に重畳されるかを算出できる。さらに、表示媒体10において第1の提示画像が表示される位置情報を制御部1002は保持する。そのため、制御部1002は、表示媒体10において第1の提示画像が重畳される前景の色を判定することができる。そして、制御部1002は、前景の色が第1の色から、第2の色に変化したことを検知することができる。
なお、相対位置情報は車両特有の固定値であってもよいし、ユーザごとにカスタマイズされる相対位置情報であってもよい。ユーザごとにカスタマイズされる場合、たとえば表示システム100において、表示媒体10および表示装置1000のうち少なくとも一方の位置を、機械的または電気的に動かすことができる。そして、機械的または電気的に動かされた情報は、表示媒体10の設置位置と、センサ2000によって撮像される画像との相対位置情報に反映される。
なお、ユーザごとに相対位置情報がカスタマイズされる方法は、表示システム100の設計仕様に基づいて決定され、上記に限定されない。また、表示媒体10の設置位置と、センサ2000によって撮像される画像との相対位置情報に基づいて、表示媒体10において第1の提示画像が重畳される前景の領域を算出する方法は公知技術であって、本開示の範囲を限定するものではない。
また、上記説明では、制御部1002は、表示媒体10において第1の提示画像が重畳される前景の色を判定したが、表示媒体10に重畳される前景の色のうち、支配的な色に基づいて、前景の色を判定してもよい。たとえば、表示媒体10に重畳される前景のうち、所定の割合の面積だけ占める色をもって、前景の色を判定してもよい。所定の割合は、たとえば、50%以上であってもよい。
また、上記説明では、制御部1002は、表示媒体10において第1の提示画像が重畳される前景の色を判定したが、表示媒体10に重畳される前景のうち所定の領域の色であってもよい。
すなわち、制御部1002は、表示媒体10において第1の提示画像が重畳される領域の周辺領域と重畳される前景の色を判定してもよい。また、制御部1002は、表示媒体10において第1の提示画像が重畳される領域以外の所定の領域(たとえば、表示媒体10の四隅のうち一つ)と重畳される前景の色を判定してもよい。こうすることによって、制御部1002は、第1の提示画像の位置情報にかかわらずに、前景の色の判定をすることができる。そのため演算量が減少される。さらに、表示媒体10において第1の提示画像に重畳される前景の色が第1の色から第2の色に変化する事前に色変化の判定をすることができる。そのため、第1の提示画像に重畳される前景の色が変化した時に第2の提示画像をユーザに提示することができる。
ここで、本実施の形態において、第1の色は、たとえば、灰色、白色、黒色など道路に存在する色であるとして説明する。なお、第1の色は灰色等に限定されず、任意の色である。
図11A及び図11Bは、自動車1の運転者が前景を見たときの概念図を示す。前景には、表示媒体10、先行車両1101が存在する。図11Aにおいて、表示媒体10には、図示しない道路のみが重畳され、前景の色は第1の色であると判定される。
図11Bにおいて、表示媒体10には、先行車両1101が重畳される。先行車両1101の色は例えば赤色であって、かかる場合、前景に重畳される第2の色は赤色であると判定される。自動車1と先行車両1101との関係が、図11Aに示す状態から図11Bに示す状態に遷移したとき、表示媒体10において重畳される前景の色は、第1の色から第2の色に変化し、制御部1002は色変化を検知する。
なお、前景のうち、提示画像が表示媒体10において表示される領域に重畳される部分の色が変化した場合に、前景の色が変化したと判断されてもよい。表示媒体10において重畳される前景のうち、色が変化したことを判断する基準となる範囲は、上述のとおり、設計仕様に基づいて決定される。そして、制御部1002は、入力部1001が受け取った認識結果に基づいて、前景の色が、第1の色から第2の色に変化したことを検知する。
制御部1002は、第2の色が、第1の提示画像のうち外周領域の少なくとも一部の第3の色に対する所定の条件を満たすか否かを判定する。図12A〜図12Dは、第1の提示画像の一例を示す。以下、図12A〜図12Dを参照しながら、制御部1002の機能について説明する。
図12Aは、第1の提示画像1201を示す。提示画像1201の領域1201aの色は例えば赤色であるとして説明する。図12Bは、第1の提示画像1202を示す。提示画像1202の領域1202aは、領域1201aと同様に、赤色であるとして説明する。
図12Cは、図12Aに示す提示画像1201の領域について説明する図である。図12Cにおいて、破線領域1203に含まれる領域は、提示画像1201の外周領域である。外周領域の幅は設計仕様によって予め定められる。図12Dは、図12Bに示す提示画像1202の領域について説明する図である。図12Dにおいて、破線領域1203に含まれる斜線領域1204a及び斜線領域1204bは、図12Bに示す提示画像1202の外周領域の少なくとも一部である。なお、斜線領域1204a及び斜線領域1204bは、説明の便宜上、斜線を付しているにすぎない。
図12C及び図12Dに示すように、第1の提示画像のうち外周領域の少なくとも一部の第3の色が、第2の色と比較される。ここで、第2の色は、上述のとおり、例えば赤色である。また、上述のとおり、領域1201a、及び、領域1202aの色は赤色であるから、第1の提示画像のうち外周領域の少なくとも一部の第3の色は、赤色である。
ここで、所定の条件とは例えば、比較された色に対して同系色であることを示す。同系色は同一色の意味を含む。すなわち、比較された色が、何れも暖色系であれば所定の条件は満たされる。また、比較された色が、一方は暖色系であって他方は寒色系であれば、所定の条件は満たされない。
また、所定の条件とは、比較された色の何れもが、グレースケールで表現される色であるか否かを示すものであってもよい。すなわち、比較された色の一方が、グレースケールで表現される白、黒、灰色等であって、他方が、カラフルな赤、青、緑、黄色、桃色等である場合には、所定の条件は満たされないとしてもよい。
また、所定の条件とは、比較された色が、色相環において、どの程度離れた色であるかを示すものであってもよい。すなわち、比較された色が、色相環において補色の関係を示す場合、または、色相環において反対色に近い領域に存在する場合には、所定の条件が満たされない。また、比較された色が、色相環において近接する領域に存在する場合には、所定の条件が満たされる。なお、色相環における近接の程度は、設計仕様に基づいて決定される。
所定の条件は、比較された色が同系色であることであってもよい。例えば、第2の色及び第3の色が共に暖色系または寒色系であるとき所定の条件を満たし、第2の色が暖色系であって、第3の色が寒色系であるとき、所定の条件を満たさない。また、色相環において、近い領域に存在する場合は、所定の条件を満たすとしてもよい。
制御部1002は、第2の色及び第3の色が所定の条件を満たすと判定したとき、第2の所定画像を画像生成部1003に生成させる。第2の所定画像は、表示媒体10に表示されたときに、第2の提示画像を表す。第2の提示画像は、第1の提示画像のうち外周領域以外の領域を少なくとも含み、第2の提示画像のうち外周領域の少なくとも一部の色が第3の色とは異なる第4の色である。
図13A〜図13Cは第2の提示画像の一例を示す。図13Aに示す第2の提示画像1301は、第1の提示画像1201のうち外周領域以外の領域1302を含み、かつ、第2の提示画像1301のうち外周領域の色が、対応する第1の提示画像1201の第3の色とは異なる第4の色である。ここで、第4の色はたとえば、黒色である。すなわち、第2の提示画像1301は、第1の提示画像1201のうち外周領域以外の領域を含み、当該領域の外周に、第4の色の外枠を設けた画像であって、第1の提示画像1201と第2の提示画像1301とは実質的に同じ大きさである。
また、図13Bに示す第2の提示画像1303は、第1の提示画像1201の外周領域以外の領域1302及び第1の提示画像1201の外周領域を含み(すなわち、外周領域以外の領域1302を少なくとも含む)、かつ、第2の提示画像1303のうち外周領域1304の色が、第4の色である。第2の提示画像1303は、第1の提示画像1201に外枠1304を付加した画像である。すなわち、第2の提示画像1303は、第1の提示画像1201の外周に、第4の色の外枠1304を設けた画像である。
また、図13Cに示す第2の提示画像1305は、第1の提示画像1202のうち外周領域以外の領域1306を少なくとも含み、かつ、第2の提示画像1305のうち外周領域の少なくとも一部1307a、1307bの色が、第4の色である。
次に、画像生成部1003は、制御部1002から出力される制御信号に基づいて所定画像を生成する。所定画像は、後述する出力部1004によって表示媒体10に表示され、所定形状の図形を表す。
なお、所定画像は、画像であってもよいし、または、画像データであってもよい。後述する出力部1004がプロジェクタ機能を有する場合、画像生成部1003は画像を生成し、画像が出力部1004によって表示媒体10へ投射される。一方、後述する出力部1004がプロジェクタ機能を有するものではなく、表示媒体10が透過型ディスプレイなどである場合、画像生成部1003は画像データを生成し、画像データが出力部1004によって出力される。
出力部1004は、画像生成部1003において生成された所定画像を、表示媒体10に出力することで所定形状の図形を表示媒体10に表示させる。出力部1004は、例えば、プロジェクタ機能を有し、表示媒体10へ直接投影する。表示媒体10は、例えば、移動体のフロント・ウインドシールドである。また、表示媒体10は、ウインドシールドとは別に設けられた透明なコンバイナであってもよい。独立コンバイナは、図22に示す表示媒体10である。
すなわち、出力部1004は、ウインドシールドに所定画像を投射することで、提示画像をウインドシールドに表示させる。表示された所定形状の図形を示す提示画像は、移動体の乗員に虚像として視認される。なお、本実施の形態の説明において、出力は投射の上位概念であると定義する。
また、出力部1004は例えば、表示媒体10に画像データを出力することで所定形状の図形を表示媒体10に表示させてもよい。かかる場合、表示媒体10は透過型ディスプレイであり、画像生成部1003において生成される所定画像は画像データである。すなわち、出力部1004は、透過型ディスプレイに画像データを出力することで、所定形状の図形を透過型ディスプレイに表示させる。
なお、透過型ディスプレイに入力された画像データが所定形状の図形として表示される原理については、公知技術のため、説明を省略する。
また、表示媒体10は、ホログラムであってもよい。ホログラムを用いる場合、導光板の内部全反射条件を満たす平行光束群を内部全反射して導光する導光板を用いて、導光板を内部全反射して導光される平行光束群の一部を射出することで乗員に虚像を視認させる方式でもよい。なお、導光板を用いた方式においては、プロジェクタのように画像データを直接的に投影するものではないが、説明の便宜上、プロジェクタ方式と同様に投射という定義で説明する。
表示媒体10は、例えば、液晶ディスプレイ(LCD)、ヘッドアップディスプレイ(HUD)、ヘッドマウントディスプレイまたはヘルメットマウントディスプレイ(HMD)、眼鏡型ディスプレイ(Smart Glasses)、ナビゲーション用ディスプレイ、メータディスプレイ、その他の専用のディスプレイなどが適用される。HUDは、例えば、車両のウインドシールドであってもよいし、別途設けられるガラス面、プラスチック面などであってもよい。また、ウインドシールドは、例えば、フロントガラスであってもよいし、車両のサイドガラスまたはバックガラスであってもよい。
さらに上述したとおり、表示媒体10は透過型ディスプレイであってもよい。透過型ディスプレイとは例えば、透過型の有機ELディスプレイ、または、特定の波長の光を照射した際に発光するガラスを用いた透明なディスプレイであり、運転者は、背景を視認すると同時に、透過型ディスプレイ上の表示を視認する事ができる。また、透過型ディスプレイは、光を透過する表示媒体10である。
図10は、表示制御装置1010の別の構成例を示す図である。図10に示すように、表示制御装置1010は、アプリケーション10001、OS(Operating System)10002、メモリ10003、及び図示しないその他のハードウェアを有する。
アプリケーション10001は、例えば、車載装置または携帯情報端末を表示制御装置1010として機能させるためのアプリケーションであり、表示制御装置1010のプロセッサにより実行される。表示制御装置1010は、コンピュータ読み取り可能な非一時的なタンジブル記録媒体(A non−transitory tangible computer−readable storage medium)からアプリケーションを読みだしてアプリケーションを実装してもよいし、ネットワークからダウンロードすることでアプリケーションを実装してもよい。
OS10002は、車載装置または携帯情報端末の基本ソフトウェアであり、表示制御装置1010のプロセッサにより実行される。メモリ10003は、表示制御装置1010が有するRAM、ROM等の記憶装置により構成され、アプリケーション10001に含まれるデータ群を記憶する。表示制御装置1010のプロセッサがアプリケーション10001を実行することで、図9に示す入力部1001および制御部1002の機能が実現される。また、表示制御装置1010のプロセッサがアプリケーション10001を実行することで、メモリ10003が図示しない蓄積部として機能する。
図14は、表示システム100の動作フローチャートを示す。図14のフローは、例えば、30ミリ秒、100ミリ秒といった所定の作動間隔で行われる。例えば、センサ2000が、15fps、30fps等のフレームレートで入力部1001へ車両周辺情報を出力する場合、その出力間隔に合わせて図14のフローが行われてもよい。また、図15A〜図15Dは、自動車1の前景の色が変化することに伴って、提示画像が第1の提示画像1201から、第2の提示画像1301に変化する概念図を示す。以下、図14および図15A〜図15Dを参照しながら、表示装置1000の機能について説明する。
ステップS001において、センサ2000が第1の対象物を認識した場合、フローはステップS002へ進む(S001:Yes)。
ステップS002において、制御部1002は、入力部1001が受け取った認識結果に基づいて、表示媒体10において重畳される自動車1の前景の色を検知する。また、制御部1002は、既に対象物に対応する提示画像が表示媒体10に表示されている場合には、重畳される前景の色の変化を検知する。
たとえば、図11Aに示すように、表示媒体10に重畳される前景が、不図示の道路が存在するのみの場合には、制御部1002は、重畳される前景の色が灰色等(第1の色)として検知する。次にフローはステップS003へ進む。
ステップS003において、制御部1002は、重畳される前景の色が所定の条件を満たすか否かを判定する。具体的には、制御部1002は、認識された第1対象物に対応する提示画像(第1の提示画像)のうち外周領域の少なくとも一部の色に対して、重畳される前景の色が所定の条件を満たすか否かを判定する。
所定の条件とは、上述のとおり、比較された色に対して同系色である条件、比較された色の何れもがグレースケールで表現される色である条件、または、色相環においてどの程度離れた色である条件等である。
制御部1002は、重畳される前景の色(灰色等)が、第1対象物に対応する提示画像に係る色(赤色等)が、所定の条件を満たさないと判定したとき、フローはステップS004へ進む(S003:No)。
ステップS004において、制御部1002は、光を透過する表示媒体10に表示されたときに第1の提示画像1201を表す第1の所定画像を画像生成部1003が生成するように、画像生成部1003を制御する。
ステップS006において、画像生成部1003は、制御部1002からの制御によって、第1の所定画像を生成する。
次に、ステップS007において、出力部1004は、図15Aに示すように、生成された第1の所定画像を表示媒体10に出力する。ここで、出力は、表示媒体10に対して第1の所定画像を投射する意味を含む。図15Cは、表示媒体10に第1の提示画像1201が表示された様子を示す。その後、フローはステップS001へ戻る。
ステップS001において、第1の対象物の認識が継続している場合、フローはステップS002へ進む(S001:Yes)。一方、第1の対象物が認識されなくなった場合、フローは終了する(S001:No)。
ステップS002において、制御部1002は、入力部1001が受け取った認識結果に基づいて、表示媒体10において第1の提示画像1201が重畳される前景の色が、第1の色から、第1の色とは異なる第2の色に変化したことを検知する。
ここで、重畳される前景は、図15Dに示すように、赤色である先行車両1101が存在するとして説明する。かかる場合、重畳される前景の色は、先行車両1101の色(赤色)であると判定される。次にフローはステップS003へ進む。
ステップS003において、制御部1002は、重畳される前景の色(第2の色)が、上記の所定の条件を満たすか否かを判定する。具体的には、制御部1002は、重畳される前景の色(第2の色)が、第1の提示画像1201のうち外周領域の少なくとも一部の色(第3の色)に対して、上記の所定の条件を満たすか否かを判定する。かかる場合、重畳される前景の色(第2の色)は赤色であって、第1の提示画像1201の一部の色(第3の色)は赤色であるから、制御部1002は、所定の条件が満たされると判定する(S003:Yes)。次に、フローはステップS005へ進む。
なお、たとえば、先行車両1101の色が白色である場合は、ステップS003において、所定の条件は満たされないと判定される。前景の色(白色)に変更されても、第1の提示画像1201の外周領域の色(赤色)との区別は容易であり、ユーザにとって、第1の提示画像1201の視認性は低下しない。
次に、ステップS005において、制御部1002は、画像生成部1003を用いて、表示媒体10に表示されたときに図15Bに示す第2の提示画像1301を表す第2の所定画像を生成させる。そして、ステップS007において、出力部1004は、第2の所定画像を表示媒体10に出力する。図15Dにおいては、表示媒体10に重畳される前景は、先行車両1101が存在するため、前景の色は例えば赤色であり、表示媒体10には、第2の提示画像1301が表示される。
以上説明したように、本実施の形態では、表示媒体10に重畳される前景の色と、第1の提示画像1201の外周領域の色とが同系色等である場合、第1の提示画像1201のうち外周領域以外の領域を少なくとも含み、外周領域の少なくとも一部の色が第3の色とは異なる第4の色である第2の提示画像1301を表示媒体10に表示させる。これにより、提示画像の本来の意味を保持しつつ、視認性が高い提示画像の表示を継続させることができる。
提示画像の色には、一般的には、ユーザが注意喚起を想起できる色を用いる。注意喚起を想起させる色は、たとえば赤色、黄色等の暖色系である。従来のように、表示媒体10に重畳される前景の色に応じて提示画像の色を変える場合、注意喚起を想起させる色が変化し、提示画像の意義を損なってしまう。一方、本開示にかかる表示制御装置によれば、提示画像の外周領域の色のみを変化させることで、注意喚起を想起させる色を保持させることができ、提示画像の意義を損なうことなく、提示画像の視認性を高めることができる。
なお、上記説明において、第2の提示画像1305では、外周領域の一部が第4の色である。しかしながら、第2の提示画像は、これに限定されない。図16A〜図16Fは、表示媒体10に表示される提示画像、及び、表示媒体10と先行車両1101との位置関係を示す。なお、図16A、16C、16D、16Fは図15A〜図15Dと同様なので、説明を省略する。図16Eに示すように、表示媒体10に重畳される前景において先行車両1101と、提示画像とが一部重畳される場合においては、図16B及び図16Eに示すように提示画像1601を第2の提示画像としてもよい。これにより、提示画像の視認性を高めるための外枠のデザイン変更を最小限に収めることができ、運転者に対して表示変化の煩わしさを与えないという効果を奏する。
なお、上記説明において、第2の提示画像の外周領域の幅が上下方向で実質的同一であるように説明したが、図17A〜図17Dに示す第2の提示画像1701〜1704のように、周方向の位置によって幅が異なってもよい。
なお、所定画像と、所定形状の図形とは実質的には同じである。表示媒体10の湾曲の程度等の条件によって多少異なるが、実質的には同じである。所定画像は画像生成部1003が生成し、所定形状の図形は表示媒体10に表示される。
なお、上記説明において、提示画像の例として、注意喚起を示す画像を用いて説明したが、図18A〜図18Fに示すように、自動車1の進行方向を示す画像であってもよい。図18A及び図18Bは第1の提示画像1801、1802を示し、図18C〜図18Fは第2の提示画像1803〜1806を示す。かかる場合、センサ2000が認識する対象物は、例えば、道路の交差点等であって、道路の交差点をセンサ2000が認識したときに、第1の提示画像1801が表示媒体10に表示される。そして、例えば先行車両1101が、表示媒体10を介して前景に重畳されたとき、第2の提示画像1803または第2の提示画像1805が表示媒体10に表示されるように、制御部1002が画像生成部1003を制御する。
以上、本開示の実施の形態2について説明したが、本開示は上記実施の形態1および実施の形態2に限定されず、種々の変形が可能である。以下、変形例について説明する。
(変形例)
制御部1002は、さらに、認識結果に基づいて、表示媒体10に重畳される前景の色が第2の色から、第1の色に変化したことを検知したとき、画像生成部1003を用いて、第2の所定画像を生成させてもよい。
図19は、本実施の形態における表示システム100の変形例の動作フローチャートを示す。図14の動作フローチャートと同一の説明は省略する。図20A〜図20Fは、提示画像の遷移の例を示す。以下、図19及び図20A〜図20Fを参照しながら、表示システム100の変形例の動作について説明する。
ステップS002において、制御部1002は、入力部1001が受け取った認識結果に基づいて、表示媒体10において第1の提示画像1201が重畳される前景の色を検知する。図20Dに示す形態では、制御部1002は、重畳される前景の色(第1の色)を、例えば灰色であると検知する。前景は、例えば道路が存在する。
ステップS101において、制御部1002は、図示しないメモリに記憶された情報に基づいて、前回、第1対象物に対応して、表示媒体10に図20Bに示す第2の提示画像1301が表示されたか否かを判定する。前回、表示媒体10に第2の提示画像1301が表示されていない場合(S101:No)、ステップS003へ進む。
ステップS004、ステップS006、及びステップS007の処理により、表示制御装置1010は、図20Aおよび図20Dに示すように、表示媒体10に第1の提示画像1201が表示されるように、画像生成部1003を制御する。
次に、ステップS001に戻り、第1の対象物の認識が継続しているとき、ステップS002において、制御部1002は、重畳される前景の色が第1の色(例えば灰色等)から第2の色(例えば赤色等)に変化したことを検知する。係る場合、例えば、図20Eに示すように、表示媒体10に重畳される前景に先行車両1101が存在する。そして、前回、表示媒体10に第2の提示画像が表示されていないため、フローはステップS003へ進む(S101:No)。
ステップS003において、重畳される前景の色(第2の色)が、上述した所定の条件を満たすか否かが判定され、所定の条件を満たすと判定されるとき、フローはステップS005へ進む(S003:Yes)。
ステップS005ないしステップS007の処理により、制御部1002は、図20B及び図20Eに示すように、表示媒体10に第2の提示画像1301が表示されるように、画像生成部1003を制御する。
次に、ステップS001に戻り、第1の対象物の認識が継続しているとき、ステップS002において、制御部1002は、重畳される前景の色が第2の色(例えば赤色)から、第1の色(例えば灰色等)に変化したことを検知する。係る場合、例えば、図20Fに示すように、表示媒体10に重畳される前景に不図示の道路が存在する。そして、制御部1002は、不図示のメモリに保持された情報に基づいて、前回、表示媒体10に第2の提示画像が表示されたことを認識する。フローはステップS005へ進む(S101:Yes)。
そして、ステップS005ないしステップS007の処理により、制御部は、図20C及び図20Fに示すように、表示媒体10に第2の提示画像1301が表示されるように、画像生成部1003を制御する。
このように、制御部1002は、一度、第2の提示画像1301を表示媒体10に表示させた場合、前景の色が第2の色から、第1の色に戻ったとしても、第2の提示画像1301を表示し続けてもよい。これにより、運転者に対して同一の事象に対する情報であることを明確に提示することができ、運転者は当該提示画像を視認することで、新たな事象に対する情報が提供されたのかどうか混同することがなくなる。係る場合に、第1の提示画像1201に表示を戻すと、提示画像の視的感覚が大きく変わり、同一の事象に対して同一の注意喚起をなされているのか、または、別の新しい事象に対する注意喚起がなされているのかが、運転者にとって明確でなく、運転操作に影響を与えるからである。
また、自動車1の運転者にとって、提示画像のデザインがたびたび変更することは表示の煩わしさを覚え、運転操作の邪魔になる。さらに、デザインが変わると、第1対象物との対応関係をとることができずに、困惑することもある。
なお、上述した各実施の形態における表示制御装置1010の機能は、コンピュータプログラムにより実現されうる。
図21は、各部の機能をプログラムにより実現するコンピュータ2100のハードウェア構成を示す図である。このコンピュータ2100は、入力ボタン、タッチパッドなどの入力装置2101、ディスプレイやスピーカなどの出力装置2102、中央演算処理装置(CPU)2103、ROM(Read Only Memory)2104、RAM(Random Access Memory)2105、ハードディスク装置やSSD(Solid State Drive)などの記憶装置2106、DVD−ROM(Digital Versatile Disk Read Only Memory)やUSB(Universal Serial Bus)メモリなどの記録媒体から情報を読み取る読取装置2107、ネットワークを介して通信を行う送受信装置2108を備え、各部はバス2109により接続される。
そして、読取装置2107は、上記各部の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置2106に記憶させる。あるいは、送受信装置2108が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各部の機能を実現するためのプログラムを記憶装置2106に記憶させる。
そして、CPU2103が、記憶装置2106に記憶されたプログラムをRAM2105にコピーし、そのプログラムに含まれる命令をRAM2105から順次読み出して実行することにより、上記各部の機能が実現される。また、プログラムを実行する際、RAM2105または記憶装置2106には、各実施の形態で述べた各種処理で得られた情報が記憶され、適宜利用される。
本発明にかかる表示制御装置、表示装置、表示制御プログラム、表示制御方法、及び記録媒体は、画像の意味は保持されつつ視認性が高い提示画像を表示するのに有用である。
1 自動車
2 車内
3 運転席
4 助手席
5 ハンドル
6 車載機器
7 表示部
8 フロントガラス
9 ルームミラー
10 表示媒体
11 矢印画像
12 映像投射部
13 制御部
14 行動方向画像検出部
15 GPS部
16 メモリ
17 操作部
18 先行車
19 枠体表示
100 表示システム
1000 表示装置
1001 入力部
1002 制御部
1003 画像生成部
1004 出力部
1010 表示制御装置
2000 センサ
2001 検知部
2002 認識部
10001 アプリケーション
10002 OS
10003 メモリ
1101 先行車両
1201,1202,1301,1303,1305,1601 提示画像
1701,1702,1703,1704 提示画像
1801,1802,1803,1804,1805,1806 提示画像
2101 入力装置
2102 出力装置
2103 中央演算処理装置(CPU)
2104 ROM
2105 RAM
2106 記憶装置
2107 読取装置
2108 送受信装置

Claims (11)

  1. 車両の周辺状況の認識結果を受け取る入力部と、
    前記車両の周辺で所定の対象物が認識された場合、光を透過する表示媒体に表示されたときに提示画像を表す、所定画像を生成するように画像生成装置を制御する制御部と、を備
    え、
    前記制御部は、
    第1の提示画像を表す第1の所定画像を前記画像生成装置に生成させ、
    前記認識結果に基づいて、前記表示媒体において前記第1の提示画像が重畳される前記車両の前景の色が第1の色から、前記第1の色とは異なる第2の色に変化したことを検知し、
    前記第2の色が、前記第1の提示画像のうち外周領域の少なくとも一部の第3の色に対する所定の条件を満たすとき、前記画像生成装置を用いて、第2の提示画像を表す第2の所定画像を生成させ、
    前記第2の提示画像は、前記第1の提示画像のうち前記外周領域以外の領域を少なくとも含み、前記第2の提示画像のうち外周領域の少なくとも一部の色が前記第3の色とは異なる第4の色であり、
    前記制御部は、さらに、
    前記認識結果に基づいて、前記表示媒体に重畳される前記前景の色が前記第2の色から、前記第1の色に変化したことを検知したとき、前記画像生成装置を用いて、前記第2の所定画像を生成させる
    表示制御装置。
  2. 前記所定の条件は、比較された色に対して同系色である、
    請求項1に記載の表示制御装置。
  3. 前記第2の提示画像は、前記第1の提示画像のうち前記外周領域以外の領域を含み、当該領域の外周に、前記第4の色の外枠を設けた画像であって、前記第1の提示画像と前記第2の提示画像とは実質的に同じ大きさである、
    請求項1に記載の表示制御装置。
  4. 前記第2の提示画像は、前記第1の提示画像の外周に、前記第4の色の外枠を設けた画像である、
    請求項1に記載の表示制御装置。
  5. 前記提示画像の外周領域は、前記提示画像の外周に沿って所定の幅を有する領域である、請求項1に記載の表示制御装置。
  6. 前記提示画像の外周領域は、前記提示画像の外周に沿った領域であって、周方向の位置によって幅が異なる、
    請求項1に記載の表示制御装置。
  7. 前記制御部は、前記車両の周辺で所定の対象物が認識された場合、前記認識結果に基づいて、前記表示媒体を介して前記提示画像が重畳される前記前景の色を判定する、
    請求項1に記載の表示制御装置。
  8. 車両の周辺状況の認識結果を受け取る入力部と、
    制御部と、
    前記車両の周辺で所定の対象物が認識された場合、前記制御部からの制御によって、光を透過する表示媒体に表示されたときに提示画像を表す所定画像を生成する画像生成部と、前記所定画像を前記表示媒体に出力する出力部と、を備え、
    前記制御部は、
    第1の提示画像を表す第1の所定画像を前記画像生成装置に生成させ、
    前記認識結果に基づいて、前記表示媒体において前記第1の提示画像が重畳される前記車両の前景の色が第1の色から、前記第1の色とは異なる第2の色に変化したことを検知し

    前記第2の色が、前記第1の提示画像のうち外周領域の少なくとも一部の第3の色に対する所定の条件を満たすとき、前記画像生成装置を用いて、第2の提示画像を表す第2の所定画像を生成させ、
    前記第2の提示画像は、前記第1の提示画像のうち前記外周領域以外の領域を少なくとも含み、前記第2の提示画像のうち外周領域の少なくとも一部の色が前記第3の色とは異なる第4の色であり、
    前記制御部は、さらに、
    前記認識結果に基づいて、前記表示媒体に重畳される前記前景の色が前記第2の色から、前記第1の色に変化したことを検知したとき、前記画像生成装置を用いて、前記第2の所定画像を生成させる
    表示装置。
  9. 光を透過する表示媒体と、
    車両の周辺状況の認識結果を入力する入力部と、
    制御部と、
    前記車両の周辺で所定の対象物が認識された場合、前記制御部からの制御によって、前記表示媒体に表示されたときに提示画像を表す所定画像を生成する画像生成部と、
    前記所定画像を前記表示媒体に出力する出力部と、を備え、
    前記制御部は、
    第1の提示画像を表す第1の所定画像を前記画像生成装置に生成させ、
    前記認識結果に基づいて、前記表示媒体において前記第1の提示画像が重畳される前記車両の前景の色が第1の色から、前記第1の色とは異なる第2の色に変化したことを検知し、
    前記第2の色が、前記第1の提示画像のうち外周領域の少なくとも一部の第3の色に対する所定の条件を満たすとき、前記画像生成装置を用いて、第2の提示画像を表す第2の所定画像を生成させ、
    前記第2の提示画像は、前記第1の提示画像のうち前記外周領域以外の領域を少なくとも含み、前記第2の提示画像のうち外周領域の少なくとも一部の色が前記第3の色とは異なる第4の色であり、
    前記制御部は、さらに、
    前記認識結果に基づいて、前記表示媒体に重畳される前記前景の色が前記第2の色から、前記第1の色に変化したことを検知したとき、前記画像生成装置を用いて、前記第2の所定画像を生成させる
    表示装置。
  10. 車両の周辺状況を認識して認識結果を出力するセンサと、前記車両の周辺で所定の対象物が認識された場合、光を透過する表示媒体に表示されたときに提示画像を表す所定画像を生成する画像生成装置と、を含む表示システムにおける表示制御装置において実行される表示制御プログラムであって、
    前記表示制御装置のコンピュータに対して、
    第1の提示画像を表す第1の所定画像を前記画像生成装置に生成させる処理と、
    前記認識結果に基づいて、前記表示媒体において前記第1の提示画像が重畳される前記車両の前景の色が第1の色から、前記第1の色とは異なる第2の色に変化したことを検知する処理と、
    前記第2の色が、前記第1の提示画像のうち外周領域の少なくとも一部の第3の色に対する所定の条件を満たすとき、前記画像生成装置を用いて、第2の提示画像を表す第2の所定画像を生成させる処理と、を実行させ、
    前記第2の提示画像は、前記第1の提示画像のうち前記外周領域以外の領域を少なくとも含み、前記第2の提示画像のうち外周領域の少なくとも一部の色が前記第3の色とは異な
    る第4の色であり、
    さらに、前記認識結果に基づいて、前記表示媒体に重畳される前記前景の色が前記第2の色から、前記第1の色に変化したことを検知したとき、前記画像生成装置を用いて、前記第2の所定画像を生成させる処理を実行させる
    表示制御プログラム。
  11. 車両の周辺状況を認識して認識結果を出力するセンサと、前記車両の周辺で所定の対象物が認識された場合、光を透過する表示媒体に表示されたときに提示画像を表す所定画像を生成する画像生成装置と、を含む表示システムにおける表示制御装置の表示制御方法であって、
    第1の提示画像を表す第1の所定画像を前記画像生成装置に生成させ、
    前記認識結果に基づいて、前記表示媒体において前記第1の提示画像が重畳される前記車両の前景の色が第1の色から、前記第1の色とは異なる第2の色に変化したことを検知し、
    前記第2の色が、前記第1の提示画像のうち外周領域の少なくとも一部の第3の色に対する所定の条件を満たすとき、前記画像生成装置を用いて、第2の提示画像を表す第2の所定画像を生成させ、
    前記第2の提示画像は、前記第1の提示画像のうち前記外周領域以外の領域を少なくとも含み、前記第2の提示画像のうち外周領域の少なくとも一部の色が前記第3の色とは異なる第4の色であり、
    さらに、前記認識結果に基づいて、前記表示媒体に重畳される前記前景の色が前記第2の色から、前記第1の色に変化したことを検知したとき、前記画像生成装置を用いて、前記第2の所定画像を生成させる
    表示制御方法。
JP2016507335A 2014-03-13 2015-02-27 表示制御装置、表示装置、表示制御プログラム、及び表示制御方法 Active JP6524422B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014049643 2014-03-13
JP2014049643 2014-03-13
PCT/JP2015/001025 WO2015136874A1 (ja) 2014-03-13 2015-02-27 表示制御装置、表示装置、表示制御プログラム、表示制御方法、及び記録媒体

Publications (2)

Publication Number Publication Date
JPWO2015136874A1 JPWO2015136874A1 (ja) 2017-04-06
JP6524422B2 true JP6524422B2 (ja) 2019-06-05

Family

ID=54071333

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016507335A Active JP6524422B2 (ja) 2014-03-13 2015-02-27 表示制御装置、表示装置、表示制御プログラム、及び表示制御方法

Country Status (4)

Country Link
US (1) US10013951B2 (ja)
EP (1) EP3118047B1 (ja)
JP (1) JP6524422B2 (ja)
WO (1) WO2015136874A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106470877B (zh) * 2014-07-01 2019-12-27 日产自动车株式会社 车辆用显示装置以及车辆用显示方法
CN106660495B (zh) * 2014-07-01 2020-02-18 日产自动车株式会社 车辆用显示装置以及车辆用显示方法
JP6520668B2 (ja) * 2015-02-09 2019-05-29 株式会社デンソー 車両用表示制御装置及び車両用表示ユニット
EP3104125B1 (en) * 2015-06-12 2018-10-31 Airbus Defence and Space GmbH Aircraft navigation system and method for aircraft navigation
WO2017056157A1 (ja) * 2015-09-28 2017-04-06 日産自動車株式会社 車両用表示装置及び車両用表示方法
EP3415357A4 (en) * 2016-02-09 2018-12-26 Ricoh Company, Ltd. Image display apparatus and image display method
US10176785B2 (en) * 2016-05-17 2019-01-08 International Business Machines Corporation System and method of adjusting a device display based on eyewear properties
EP3534201B1 (en) * 2016-10-31 2022-07-13 Konica Minolta, Inc. Virtual image display optical system and image display device
KR20180070198A (ko) * 2016-12-16 2018-06-26 현대자동차주식회사 차량 및 차량의 제어방법
DE102017200915A1 (de) * 2017-01-20 2018-07-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Anzeigen eines Hinweises für einen Anwender und Arbeitsvorrichtung
JP6809763B2 (ja) * 2017-06-21 2021-01-06 アルパイン株式会社 表示システム
JP6806650B2 (ja) * 2017-09-11 2021-01-06 本田技研工業株式会社 車両用表示システム
JP2019048577A (ja) * 2017-09-11 2019-03-28 本田技研工業株式会社 車両用外板パネル、車両用表示カーテン、車両用表示幌及び車両用表示システム
JP7130392B2 (ja) * 2018-03-09 2022-09-05 株式会社リコー 表示処理装置、表示処理方法、及び表示処理プログラム
JP7183555B2 (ja) * 2018-03-22 2022-12-06 株式会社リコー 表示装置、移動体、表示方法、及びプログラム
US11131864B2 (en) * 2018-04-06 2021-09-28 Magna Closures, Inc. Holographic display within a vehicle external part
JP7172247B2 (ja) * 2018-07-26 2022-11-16 トヨタ自動車株式会社 表示制御装置、車両用表示装置、表示制御方法及びプログラム
US11138449B2 (en) * 2018-09-28 2021-10-05 Intel Corporation Obstacle representation display
KR20200042166A (ko) 2018-10-15 2020-04-23 삼성전자주식회사 컨텐츠를 시각화하는 장치 및 방법
JP7071905B2 (ja) 2018-10-25 2022-05-19 株式会社デンソー 表示装置
JP7160004B2 (ja) * 2019-08-30 2022-10-25 トヨタ自動車株式会社 表示システム、車両、および、二次電池の状態表示方法
KR102087889B1 (ko) * 2019-11-11 2020-03-11 손동우 화살표 이미지 기반 딥러닝 교육 시스템
JP7356383B2 (ja) * 2020-03-19 2023-10-04 エヌ・ティ・ティ・コムウェア株式会社 画像判定装置、画像判定方法、および、プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005138801A (ja) * 2003-11-10 2005-06-02 Calsonic Kansei Corp ヘッドアップディスプレイ装置
JP4882285B2 (ja) * 2005-06-15 2012-02-22 株式会社デンソー 車両用走行支援装置
JP2010149580A (ja) * 2008-12-24 2010-07-08 Toyota Motor Corp 車両内情報表示装置
JP5197349B2 (ja) * 2008-12-25 2013-05-15 矢崎総業株式会社 ヘッドアップディスプレイ装置
WO2013128573A1 (ja) * 2012-02-28 2013-09-06 パイオニア株式会社 表示装置及び表示方法
JP5948170B2 (ja) * 2012-07-09 2016-07-06 株式会社デンソーアイティーラボラトリ 情報表示装置、情報表示方法およびプログラム

Also Published As

Publication number Publication date
EP3118047A4 (en) 2017-04-05
US20170011709A1 (en) 2017-01-12
EP3118047A1 (en) 2017-01-18
US10013951B2 (en) 2018-07-03
JPWO2015136874A1 (ja) 2017-04-06
EP3118047B1 (en) 2021-09-15
WO2015136874A1 (ja) 2015-09-17

Similar Documents

Publication Publication Date Title
JP6524422B2 (ja) 表示制御装置、表示装置、表示制御プログラム、及び表示制御方法
JP6562239B2 (ja) 表示制御装置、表示制御方法、表示制御プログラムおよび投影装置
CN107074110B (zh) 显示控制装置以及记录了显示控制程序的记录介质
EP3100913B1 (en) Vehicle display apparatus and vehicle including the same
EP3072710B1 (en) Vehicle, mobile terminal and method for controlling the same
US9961259B2 (en) Image generation device, image display system, image generation method and image display method
JP6775188B2 (ja) ヘッドアップディスプレイ装置および表示制御方法
JP6836206B2 (ja) 表示制御装置、及び表示制御プログラム
JP6946963B2 (ja) 重畳画像表示装置及びコンピュータプログラム
JP2014229997A (ja) 車両用表示装置
JP7006235B2 (ja) 表示制御装置、表示制御方法および車両
CN104890570B (zh) 佩戴式车辆信息指示器以及使用其指示车辆信息的方法
KR102531888B1 (ko) 자동차에서 디스플레이 장치를 작동하기 위한 방법
CN112977460A (zh) 预防在行驶车辆中观看图像内容时的晕动症的方法和设备
JP6186905B2 (ja) 車載表示装置およびプログラム
KR101736820B1 (ko) 이동 단말기 및 그 제어 방법
JP2019081450A (ja) 表示装置、表示制御方法、及びプログラム
WO2017024458A1 (en) System, method and apparatus for vehicle and computer readable medium
KR101781689B1 (ko) 가상 영상 생성장치, 헤드 마운티드 디스플레이 및 차량
JP7361486B2 (ja) 情報提示装置、情報提示方法、及びプログラム
JP6727400B2 (ja) 表示制御装置及び表示制御方法
WO2016121387A1 (ja) 画像生成装置及び画像生成方法
CN115723568A (zh) 显示控制装置、显示系统、显示方法及非暂时性存储介质
JP2021165766A (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181025

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20190118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190401

R151 Written notification of patent or utility model registration

Ref document number: 6524422

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151