JP5663102B2 - 表示装置、表示方法及び表示プログラム - Google Patents
表示装置、表示方法及び表示プログラム Download PDFInfo
- Publication number
- JP5663102B2 JP5663102B2 JP2013548964A JP2013548964A JP5663102B2 JP 5663102 B2 JP5663102 B2 JP 5663102B2 JP 2013548964 A JP2013548964 A JP 2013548964A JP 2013548964 A JP2013548964 A JP 2013548964A JP 5663102 B2 JP5663102 B2 JP 5663102B2
- Authority
- JP
- Japan
- Prior art keywords
- image information
- information light
- image
- retina
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 43
- 210000001525 retina Anatomy 0.000 claims description 83
- 210000005252 bulbus oculi Anatomy 0.000 claims description 49
- 230000003287 optical effect Effects 0.000 claims description 46
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 9
- 206010039203 Road traffic accident Diseases 0.000 claims description 2
- 230000001678 irradiating effect Effects 0.000 claims 4
- 230000008569 process Effects 0.000 description 22
- 210000003128 head Anatomy 0.000 description 14
- 230000004048 modification Effects 0.000 description 11
- 238000012986 modification Methods 0.000 description 11
- 230000005043 peripheral vision Effects 0.000 description 10
- 210000001747 pupil Anatomy 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 3
- 230000004397 blinking Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/23—Head-up displays [HUD]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
- B60K35/285—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver for improving awareness by directing driver's gaze direction or eye points
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/18—Information management
- B60K2360/191—Highlight information
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/20—Optical features of instruments
- B60K2360/33—Illumination features
- B60K2360/334—Projection means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/77—Instrument locations other than the dashboard
- B60K2360/785—Instrument locations other than the dashboard on or in relation to the windshield or windows
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Traffic Control Systems (AREA)
- Instrument Panels (AREA)
Description
本発明は、ユーザの網膜上に光を投影することで画像を視認させる表示装置に関する。
従来から、ヘッドアップディスプレイなどを用いて、車両の運転に関する情報を表示する技術が知られている。例えば、特許文献1には、運転者の運転中の視線を妨げない位置に運転者に対する注意を喚起するための注意喚起表示を行い、注意喚起表示を行った位置などから、運転者の視線を誘導対象の位置へ誘導させるための誘導表示を行う技術が提案されている。
上記した特許文献1に記載された技術では、基本的には、前方注視中における視界の周辺視領域で注意喚起を行ってから運転者の視線誘導を行っていた。しかしながら、特許文献1には、運転中の周辺視の外側領域への視線誘導を行うことで、周辺視の外側に情報を適切に表示させることについては記載されていない。
本発明が解決しようとする課題は上記のようなものが例として挙げられる。本発明は、周辺視以上の広い範囲に情報を適切に提示することが可能な表示装置、表示方法及び表示プログラムを提供することを課題とする。
請求項1に記載の発明では、画像情報光を出射する出射手段と、前記画像情報光が入射される光学素子と、を備え、前記光学素子を介した画像情報光を利用者の網膜に照射させることで画像を視認させる表示装置であって、前記画像情報光は、第1画像情報光及び第2画像情報光を含んでおり、前記第1画像情報光と前記第2画像情報光とは、前記利用者の眼球の動きに応じて、いずれか一方が前記網膜に照射されるように、各々異なった位置に集光され、前記第1画像情報光が前記網膜に照射されている状態から、前記第2画像情報光が前記網膜に照射されている状態になるように、前記眼球の動きを前記利用者に促すための誘導情報を報知させる制御を行う制御手段を備える。
請求項15に記載の発明では、画像情報光を出射する出射手段と、前記画像情報光が入射される光学素子と、を備え、前記光学素子を介した画像情報光を利用者の網膜に照射させることで画像を視認させる表示装置によって実行される表示方法であって、前記画像情報光は、第1画像情報光及び第2画像情報光を含んでおり、前記第1画像情報光と前記第2画像情報光とは、前記利用者の眼球の動きに応じて、いずれか一方が前記網膜に照射されるように、各々異なった位置に集光され、前記第1画像情報光が前記網膜に照射されている状態から、前記第2画像情報光が前記網膜に照射されている状態になるように、前記眼球の動きを前記利用者に促すための誘導情報を報知させる制御を行う制御工程を備える。
請求項16に記載の発明では、画像情報光を出射する出射手段と、前記画像情報光が入射される光学素子と、コンピュータとを備え、前記光学素子を介した画像情報光を利用者の網膜に照射させることで画像を視認させる表示装置によって実行される表示プログラムであって、前記画像情報光は、第1画像情報光及び第2画像情報光を含んでおり、前記第1画像情報光と前記第2画像情報光とは、前記利用者の眼球の動きに応じて、いずれか一方が前記網膜に照射されるように、各々異なった位置に集光され、前記第1画像情報光が前記網膜に照射されている状態から、前記第2画像情報光が前記網膜に照射されている状態になるように、前記眼球の動きを前記利用者に促すための誘導情報を報知させる制御を行う制御手段、として前記コンピュータを機能させる。
請求項18に記載の発明では、画像情報光を出射する出射手段と、前記画像情報光が入射される光学素子と、を備え、前記光学素子を介した画像情報光を利用者の網膜に照射させることで画像を視認させる表示装置であって、前記画像情報光は、第1画像情報光及び第2画像情報光を含んでおり、前記第1画像情報光と前記第2画像情報光とは、前記利用者の眼球の動きに応じて、いずれか一方が前記網膜の主領域に照射されるように、各々異なった位置に集光され、前記第1画像情報光が前記網膜に照射されている状態から、前記第2画像情報光が前記網膜に照射されている状態になるように、前記眼球の動きを前記利用者に促すための誘導情報を報知させる制御を行う制御手段を備える。
請求項19に記載の発明では、画像情報光を出射する出射手段と、前記画像情報光が入射される光学素子と、を備え、前記光学素子を介した画像情報光を利用者の網膜に照射させることで画像を視認させる表示装置であって、前記画像情報光は、第1画像情報光及び第2画像情報光を含んでおり、前記第1画像情報光と前記第2画像情報光とは、前記利用者の眼球の動きに応じて、各々異なった位置に集光され、前記第1画像情報光が前記網膜に照射されている状態から、前記第2画像情報光が前記網膜に照射されている状態になるように、前記眼球の動きを前記利用者に促すための誘導情報を報知させる制御を行う制御手段を備える。
本発明の1つの観点では、画像情報光を出射する出射手段と、前記画像情報光が入射される光学素子と、を備え、前記光学素子を介した画像情報光を利用者の網膜に照射させることで画像を視認させる表示装置であって、前記画像情報光は、第1画像情報光及び第2画像情報光を含んでおり、前記第1画像情報光と前記第2画像情報光とは、前記利用者の眼球の動きに応じて、いずれか一方が前記網膜に照射されるように、各々異なった位置に集光され、前記第1画像情報光が前記網膜に照射されている状態から、前記第2画像情報光が前記網膜に照射されている状態になるように、前記眼球の動きを前記利用者に促すための誘導情報を報知させる制御を行う制御手段を備える。
上記の表示装置は、出射手段及び光学素子(例えばホログラム素子)を備え、光学素子を介した画像情報光を網膜に投影させることで画像を視認させる。画像情報光は、第1画像情報光及び第2画像情報光を含んでいる。第1画像情報光と第2画像情報光とは、光学素子の機能によって、利用者の眼球の動きに応じて、いずれか一方が網膜に照射されるように、各々異なった位置に集光される。制御手段は、第1画像情報光が網膜に照射されている状態から、第2画像情報光が網膜に照射されている状態になるように、眼球の動きを利用者に促すための誘導情報を報知させる制御を行う。これにより、利用者に視線を移動させるように誘導することで、注視している領域の外側の領域にも適切に情報を提示することができる。よって、周辺視以上の広い範囲に、適切に情報を提示することが可能となる。
上記の表示装置の一態様では、前記制御手段は、前記誘導情報を報知させる制御として、誘導画像を表示させる制御を行い、前記誘導画像は、前記第1画像情報光が前記網膜に投影する第1画像に含まれ、前記第2画像情報光が前記網膜に投影する第2画像に応じた画像である。このような誘導画像を用いることで、第1画像が表示される領域から第2画像が表示される領域へ、利用者の視線の移動を適切に促すことができる。
上記の表示装置の他の一態様では、前記制御手段は、前記第1画像内において中心領域から離れた位置であって、前記第1画像に対する前記第2画像の配置位置の方向に応じた位置に、前記誘導画像を表示させる。これにより、利用者の視線を効果的に誘導することができる。
上記の表示装置の他の一態様では、前記制御手段は、前記第2画像に含まれる画像を、前記誘導画像として表示させる。これにより、第1画像が表示される領域に視線を向けている状態において、第2画像が表示されていることや、第2画像の概要を把握することができる。
上記の表示装置の他の一態様では、前記制御手段は、前記誘導情報を報知させる制御として、前記第2画像情報光によって表示すべき情報に応じて音を発生させる制御を行うことができる。
上記の表示装置の他の一態様では、前記制御手段は、前記誘導情報を報知させる制御として、前記第2画像情報光によって表示すべき情報に応じて車両のハンドルを振動させる制御を行うことができる。
上記の表示装置の他の一態様では、前記制御手段は、前記第2画像情報光によって所定の情報を表示すべき場合に、前記誘導情報を報知させる制御を行う。好適な例では、前記所定の情報は、緊急車両に関する情報である。他の好適な例では、前記所定の情報は、交通事故を起こしそうな対象に関する情報である。他の好適な例では、前記所定の情報は、車両の運転又はナビゲーションに直接関係しない、地図上の所定のポイントに関する情報である。
上記の表示装置の他の一態様では、前記光学素子は、第1領域及び第2領域を備え、前記第1画像情報光は、前記第1領域を介した光であり、前記第2画像情報光は、前記第2領域を介した光である。好適には、前記第1領域は、前記利用者の眼球が正面を向いたときに、前記第1画像情報光が前記網膜に投影されるように前記光学素子に形成され、前記第2領域は、前記利用者の眼球が正面以外の所定の方向を向いたときに、前記第2画像情報光が前記網膜に投影されるように前記光学素子に形成されている。
上記の表示装置において好適には、前記第2領域は、前記利用者が車両の運転中においてルームミラー又はドアミラーの方向に眼球を向けたときに、前記第2画像情報光が前記網膜に投影されるように前記光学素子に形成されている。これにより、視線を移動させる際の目標物として、ルームミラーやドアミラーを利用することができるので、瞬時に視線を移動させて、情報を見ることが可能になる。つまり、ルームミラーやドアミラーといった車内の限られた具体的なものと、視線を移動させる位置とを対応させることで、誘導画像の表示時に視線を移動すべき位置を容易に判断することができる。
上記の表示装置において好適には、前記第2領域は、前記第2画像情報光によって表示すべき情報の対象が存在する方向に対応する方向に前記利用者が眼球を向けたときに、前記第2画像情報光が前記網膜に投影されるように前記光学素子に形成されている。これにより、視線を移動させる方向と、情報の対象が存在する方向とを対応させることで、情報の対象を容易に判断することができる。
本発明の他の観点では、画像情報光を出射する出射手段と、前記画像情報光が入射される光学素子と、を備え、前記光学素子を介した画像情報光を利用者の網膜に照射させることで画像を視認させる表示装置によって実行される表示方法であって、前記画像情報光は、第1画像情報光及び第2画像情報光を含んでおり、前記第1画像情報光と前記第2画像情報光とは、前記利用者の眼球の動きに応じて、いずれか一方が前記網膜に照射されるように、各々異なった位置に集光され、前記第1画像情報光が前記網膜に照射されている状態から、前記第2画像情報光が前記網膜に照射されている状態になるように、前記眼球の動きを前記利用者に促すための誘導情報を報知させる制御を行う制御工程を備える。
本発明の更に他の観点では、画像情報光を出射する出射手段と、前記画像情報光が入射される光学素子と、コンピュータとを備え、前記光学素子を介した画像情報光を利用者の網膜に照射させることで画像を視認させる表示装置によって実行される表示プログラムであって、前記画像情報光は、第1画像情報光及び第2画像情報光を含んでおり、前記第1画像情報光と前記第2画像情報光とは、前記利用者の眼球の動きに応じて、いずれか一方が前記網膜に照射されるように、各々異なった位置に集光され、前記第1画像情報光が前記網膜に照射されている状態から、前記第2画像情報光が前記網膜に照射されている状態になるように、前記眼球の動きを前記利用者に促すための誘導情報を報知させる制御を行う制御手段、として前記コンピュータを機能させる。
上記の表示プログラムは、記録媒体に記録した状態で好適に取り扱うことができる。
本発明の更に他の観点では、画像情報光を出射する出射手段と、前記画像情報光が入射される光学素子と、を備え、前記光学素子を介した画像情報光を利用者の網膜に照射させることで画像を視認させる表示装置であって、前記画像情報光は、第1画像情報光及び第2画像情報光を含んでおり、前記第1画像情報光と前記第2画像情報光とは、前記利用者の眼球の動きに応じて、いずれか一方が前記網膜の主領域に照射されるように、各々異なった位置に集光され、前記第1画像情報光が前記網膜に照射されている状態から、前記第2画像情報光が前記網膜に照射されている状態になるように、前記眼球の動きを前記利用者に促すための誘導情報を報知させる制御を行う制御手段を備える。
本発明の更に他の観点では、画像情報光を出射する出射手段と、前記画像情報光が入射される光学素子と、を備え、前記光学素子を介した画像情報光を利用者の網膜に照射させることで画像を視認させる表示装置であって、前記画像情報光は、第1画像情報光及び第2画像情報光を含んでおり、前記第1画像情報光と前記第2画像情報光とは、前記利用者の眼球の動きに応じて、各々異なった位置に集光され、前記第1画像情報光が前記網膜に照射されている状態から、前記第2画像情報光が前記網膜に照射されている状態になるように、前記眼球の動きを前記利用者に促すための誘導情報を報知させる制御を行う制御手段を備える。
以下、図面を参照して本発明の好適な実施例について説明する。
[第1実施例]
まず、第1実施例について説明する。
まず、第1実施例について説明する。
(全体構成)
図1は、第1実施例に係る表示装置100の構成を概略的に示した図である。図1(a)に示すように、表示装置100は、主に、光源ユニット1と、スキャン機構2と、ホログラム素子3と、ビームスプリッタ4とを備える。表示装置100は、画像情報を含む画像情報光を、ユーザの網膜上に投影することで画像を視認させる装置である。例えば、表示装置100は、ヘッドマウントディスプレイ(HMD)として利用される。
図1は、第1実施例に係る表示装置100の構成を概略的に示した図である。図1(a)に示すように、表示装置100は、主に、光源ユニット1と、スキャン機構2と、ホログラム素子3と、ビームスプリッタ4とを備える。表示装置100は、画像情報を含む画像情報光を、ユーザの網膜上に投影することで画像を視認させる装置である。例えば、表示装置100は、ヘッドマウントディスプレイ(HMD)として利用される。
光源ユニット1は、赤色LD(レーザダイオード)、緑色LD及び青色LDなどを有し、赤色、緑色及び青色のレーザ光(以下では、単に「光」とも表記する。)を出射する。この他にも、光源ユニット1は、ビデオASIC(Application Specific Integrated Circuit)やレーザドライバASICなどの制御回路を有する。例えば、光源ユニット1は、画像に応じてレーザ光に対して強度変調を行い、強度変調後のレーザ光を出射する。光源ユニット1は、本発明における「出射手段」及び「制御手段」の一例に相当する。
光源ユニット1から出射されたレーザ光は、スキャン機構2に入射する。スキャン機構2は、ミラーやアクチュエータなどを具備して構成され、光源ユニット1からのレーザ光をホログラム素子3に向けて偏向する。スキャン機構2は、表示すべき画像を網膜上に描画するべく、レーザ光を照射する網膜上の位置を変更するためのスキャン動作を行う。
ホログラム素子3は、透過型に構成されており、スキャン機構2からのレーザ光を集光して、ビームスプリッタ4に向けて出射する。ホログラム素子3は、本発明における「光学素子」の一例に相当する。ビームスプリッタ4は、1つの例ではハーフミラーであり、ホログラム素子3からのレーザ光を、ユーザの眼球に向けて反射する。これにより、レーザ光がユーザの瞳孔近傍(瞳孔上も含むものとする。以下同様とする。)に集光され、レーザ光がユーザの網膜上に投影されることとなる。その結果、表示装置100によって形成された画像が、ユーザに視認されることとなる。
なお、表示装置100は、レーザ光を瞳孔近傍に一旦集光させるといった点に関し、マックスウェル視の原理を利用している。マックスウェル視は、画像に対応する光を一旦瞳孔の中心で収束させてから網膜上に投影する方法であり、この方法によれば、水晶体の調節機能に影響されずに画像を観察することができる。
図1(b)を参照して、第1実施例に係るホログラム素子3について具体的に説明する。図1(b)は、図1(a)中の矢印X1で示す方向からホログラム素子3を観察した図である。
図1(b)に示すように、ホログラム素子3は、4つのホログラム領域3a〜3dが形成されている。ホログラム領域3a〜3dは、概ね同一のサイズを有しており、互いに重ならない位置に形成されている。ホログラム領域3a〜3dは、それぞれ、入射された光を集光する機能及び入射された光を偏向する機能を有している。具体的には、ホログラム領域3a〜3dは、それぞれで異なる方向に光を偏向させ、それぞれで異なる位置に焦点を形成させる。
これにより、図1(a)に示すように、ホログラム領域3aは点P1aに焦点を生成し、ホログラム領域3bは点P1bに焦点を生成し、ホログラム領域3cは点P1cに焦点を生成し、ホログラム領域3dは点P1dに焦点を生成する。この場合、ホログラム領域3a〜3dは、ホログラム領域3a〜3dのそれぞれを介した光が同時に瞳孔に照射されないように、ある程度離れた位置に焦点P1a〜P1dを生成する。そのため、異なるホログラム領域3a〜3dによる画像情報が同時に視認されることはない。
なお、ホログラム領域3aは本発明における「第1ホログラム領域」の一例に相当し、ホログラム領域3b〜3dは本発明における「第2ホログラム領域」の一例に相当する。また、ホログラム領域3aを介した光は「第1画像情報光」に相当し、ホログラム領域3b〜3dを介した光は「第2画像情報光」に相当する。
ここで、ホログラム領域3aによる焦点P1aは、ユーザの眼球が正面を向いているときの瞳孔位置に対応する位置に生成され、ホログラム領域3b〜3dによる焦点P1b〜P1dは、ユーザの眼球が正面以外の所定の方向を向いているときの瞳孔位置に対応する位置に生成される。ユーザの眼球が正面を向いているときには、ホログラム領域3aを介した光のみが瞳孔近傍に集光されることで、ホログラム領域3aを介した光に対応する画像のみが網膜上に投影され、ホログラム領域3b〜3dを介した光に対応する画像は網膜上に投影されない。よって、この場合には、ユーザは、ホログラム領域3aを介した光に対応する画像(本発明における「第1画像」に相当する)のみを視認することとなる。
他方で、ユーザの眼球が正面以外の所定の方向を向いているときには、ホログラム領域3b〜3dにおける一の領域を介した光のみが瞳孔近傍に集光されることで、当該一の領域を介した光に対応する画像のみが網膜上に投影され、ホログラム領域3a及びホログラム領域3b〜3dにおける他の領域を介した光に対応する画像は網膜上に投影されない。よって、この場合には、ユーザは、ホログラム領域3b〜3dにおける一の領域を介した光に対応する画像(本発明における「第2画像」に相当する)のみを視認することとなる。
次に、図2を参照して、ユーザ(車両の運転者に相当する。以下同様とする。)の視線方向と、ホログラム領域3a〜3dによって表示される画像との関係について、具体的に説明する。図2は、車室内の風景に重畳して、ホログラム領域3a〜3dによって画像が表示されるスポットSPa〜SPdを示している。
スポットSPaは、ユーザが正面方向に頭及び視線を向けているときに(つまりユーザの眼球が正面を向いているときに)、画像が表示される領域に相当する。スポットSPaにおいては、ホログラム領域3aを介した光に対応する画像が表示される。スポットSPbは、ユーザが正面方向に頭を向けた状態でバックミラー50(言い換えるとルームミラー)の方向に視線を向けたときに、画像が表示される領域に相当する。スポットSPbにおいては、ホログラム領域3bを介した光に対応する画像が表示される。スポットSPcは、ユーザが正面方向に頭を向けた状態で左ドアミラー51の方向に視線を向けたときに、画像が表示される領域に相当する。スポットSPcにおいては、ホログラム領域3cを介した光に対応する画像が表示される。スポットSPdは、ユーザが正面方向に頭を向けた状態で右ドアミラー52の方向に視線を向けたときに、画像が表示される領域に相当する。スポットSPdにおいては、ホログラム領域3dを介した光に対応する画像が表示される。
なお、上記のようにユーザが所定の方向(正面方向、バックミラー50の方向、左ドアミラー51の方向及び右ドアミラー52の方向のいずれかの方向)に視線を向けたときに、その方向に応じた所定のホログラム領域(ホログラム領域3a〜3dのいずれかの領域)による画像が適切に表示されるように、ホログラム素子3についての光学設計が行われる。例えば、車種や運転者のシートポジションなどを考慮に入れて、ホログラム素子3におけるホログラム領域3a〜3dの配置位置や偏向方向や集光位置などの設計が行われる。
(光源ユニットの構成)
次に、図3を参照して、第1実施例に係る光源ユニット1の概略構成について説明する。ここでは、光源ユニット1が行う制御の概要について説明する。
次に、図3を参照して、第1実施例に係る光源ユニット1の概略構成について説明する。ここでは、光源ユニット1が行う制御の概要について説明する。
図3に示すように、光源ユニット1は、主に、表示制御部10及びデータベース14を有する。表示制御部10は、ビデオASICやレーザドライバASICなどに相当し、表示すべき画像を生成する処理や、当該画像が表示されるように図示しない赤色LD、緑色LD及び青色LDを制御する処理などを行う。具体的には、表示制御部10は、運転補助画像生成部11と、画像提示スポット決定部12と、誘導画像生成部13とを有する。
運転補助画像生成部11は、運転を補助するための運転補助画像を生成する。基本的には、運転補助画像は、運転中において正面方向以外の方向(バックミラー50の方向、左ドアミラー51の方向及び右ドアミラー52の方向のいずれかの方向)に表示されるものである。運転補助画像生成部11は、車載センサ21やナビゲーション装置22やウェブ(不図示)などから取得される情報に基づいて、運転補助画像を生成する。この場合、運転補助画像生成部11は、予め作成された種々の運転補助画像が記憶されたデータベース14を参照して、表示すべき運転補助画像を生成する。なお、車載センサ21は、例えば、車両の周囲(前方や後方や側方)を撮影するカメラや、自車両と後続車両との距離(車間距離)を検出する距離センサや、自車両の周辺の音声を集音するマイクなどを有する。
画像提示スポット決定部12は、運転補助画像生成部11によって生成された運転補助画像を表示するスポットを決定する。具体的には、画像提示スポット決定部12は、上記したスポットSPb〜SPdの中から、運転補助画像を表示するスポットを決定する。つまり、画像提示スポット決定部12は、バックミラー50の方向、左ドアミラー51の方向及び右ドアミラー52の方向のうちの、いずれかの方向に運転補助画像を表示するかを決定する。この場合、画像提示スポット決定部12は、運転補助画像によって表示する情報の内容などに基づいて、スポットSPb〜SPdと車内位置(具体的にはバックミラー50、左ドアミラー51及び右ドアミラー52)との対応を示すデータが記憶されたデータベース14を参照して、運転補助画像を表示するスポットを決定する。
誘導画像生成部13は、運転中においてユーザに運転補助画像を視認させるべき状況において、ユーザの視線を、正面方向から、正面方向以外の方向(バックミラー50の方向、左ドアミラー51の方向及び右ドアミラー52の方向のいずれかの方向)に誘導するために、眼球の動きをユーザに促すための誘導画像を生成する。基本的には、誘導画像は、ユーザが正面方向に頭及び視線を向けている場合に用いられるスポットSPaに表示されるものである。具体的には、誘導画像生成部13は、スポットSPaから、画像提示スポット決定部12によって決定されたスポット(スポットSPb〜SPdのいずれか)へ、ユーザの視線の移動を促すための誘導画像を生成する。この場合、誘導画像生成部13は、スポットSPaに対する、画像提示スポット決定部12によって決定されたスポットの配置位置の方向に応じた誘導画像を生成する。
このように、表示制御部10は、誘導画像生成部13によって生成された誘導画像をスポットSPaに表示させる制御を行うと共に、画像提示スポット決定部12によって決定されたスポット(スポットSPb〜SPdのいずれか)に、運転補助画像生成部11によって生成された運転補助画像を表示させる制御を行う。
(表示方法)
次に、光源ユニット1内の表示制御部10が行う、第1実施例に係る表示方法について具体的に説明する。
次に、光源ユニット1内の表示制御部10が行う、第1実施例に係る表示方法について具体的に説明する。
本実施例では、表示制御部10は、複数のスポットSPa〜SPdを用いて、広い視野範囲に情報を表示させる。ここで、前述したようなホログラム領域3a〜3dの構成により、同時にスポットSPa〜SPdの画像を見ることはできない。つまり、瞳孔を動かして隣接スポットの光を網膜に投影しないと、注視しているスポット以外の情報を視認することができない。そのため、表示制御部10は、ユーザに視線を移動させることを促すための誘導画像を表示させる。より具体的には、表示制御部10は、画像提示スポット決定部12によって決定されたスポット(スポットSPb〜SPdのいずれか)に、運転補助画像生成部11によって生成された運転補助画像を表示させる制御を行うと共に、誘導画像生成部13によって生成された誘導画像(つまり、ユーザの視線を、正面方向から、画像提示スポット決定部12によって決定されたスポットに対応する方向に誘導するための画像)をスポットSPaに表示させる制御を行う。これにより、ユーザは、視線を移動させることで、様々な位置に提示された運転補助画像を見ることができる。
以下では、第1実施例に係る表示方法の具体例について説明する。
図4は、第1実施例に係る表示方法の一例を説明するための図である。表示制御部10は、図4中の矢印A1で示すように、バックミラー50が含まれるスポットSPbに、運転補助画像として、後続車両の速度及び自車両と後続車両との車間距離を常に表示させる。ユーザ(運転者)は、通常、スポットSPaが含まれる領域に視点を固定して運転をしているが、意識的にバックミラー50の方向に視線を移動させたときには、後続車両の速度及び車間距離の情報を確認することができる。なお、後続車両の速度及び車間距離は、車載センサ21が有する距離センサの検出値に基づいて求められる。
ここで、後続車両の速度及び車間距離をスポットSPaに表示することも考えられるが、運転に支障がない場合にこうした些細な情報をユーザに常に見せると、その表示を気にしてしまって、かえって運転に支障が生じてしまう可能性がある。反対に、後続車両が急速に自車両に接近していて追突される可能性がある場合などの事故につながる可能性がある状況においては、そのような後続車両の情報を積極的に提示することが望ましいと言える。しかしながら、基本的には、ユーザは、バックミラー50を見ることがないと後続車両の接近には気づかない。
そこで、本実施例では、表示制御部10は、後続車両が急速に自車両に接近していて追突される可能性がある場合などの事故につながる可能性がある状況において、図4中の矢印A2で示すように、スポットSPaからスポットSPbへ視線の移動を促すための誘導画像を、スポットSPaに表示させる。つまり、ユーザの視線を、正面方向から、バックミラー50の方向に誘導するための誘導画像を表示させる。具体的には、表示制御部10は、スポットSPa内において中心領域から離れた位置であって、スポットSPaに対するスポットSPbの配置位置の方向に応じた位置に、誘導画像を表示させる。詳しくは、表示制御部10は、スポットSPaの右上方の端部を点滅表示させる。
表示制御部10は、例えば、後続車両の速度が所定速度以上で、且つ自車両と後続車両との車間距離が所定距離以下である場合に、後続車両が急速に自車両に接近していて追突される可能性があると判断し、上記のような誘導画像を表示させる。また、この場合、表示制御部10は、運転補助画像として、後続車両の速度及び車間距離だけでなく、「追突可能性あり」といった文字もスポットSPbに表示させる。
後続車両のサイズが車種などによって異なるため、ミラーに映る車両を見ただけで瞬時に後続車両の速度や車間距離や追突可能性などを判断することは困難であるが、上記したような運転補助画像や誘導画像を表示させることで、ユーザは、後続車両の速度や車間距離や追突可能性などを適切に把握することが可能となる。また、後方車両が緊急自動車なのかトラックなのかといった車種をシステムが認識できない場合でも、車間距離が急激に短くなっていることを示すデータなどが取得されれば、バックミラー50を見るように視線を誘導することにより、ユーザが車種を判断することができる。
なお、図4では、バックミラー50が含まれるスポットSPbに視線を誘導するべく、スポットSPaの右上方の端部に誘導画像を表示させる例を示したが、左ドアミラー51が含まれるスポットSPcに視線を誘導する場合には、スポットSPa内において中心領域から離れた位置であって、スポットSPaの左下方の端部に誘導画像を表示させれば良い。また、右ドアミラー52が含まれるスポットSPdに視線を誘導する場合には、スポットSPa内において中心領域から離れた位置であって、スポットSPaの右下方の端部に誘導画像を表示させれば良い。
また、上記では、後続車両が急速に自車両に接近していて追突される可能性がある場合などの事故につながる可能性がある状況において、誘導画像を表示させる例を示したが、他の例では、表示制御部10は、自車両が歩行者や自転車などと接触する可能性がある場合にも、視線を誘導するように誘導画像を表示させることができる。この例では、表示制御部10は、車載センサ21が有するカメラの撮影画像などより、自車両が歩行者や自転車と接触する可能性があるか否かを判断し、自車両が歩行者や自転車と接触する可能性があると判断される場合に、歩行者や自転車が存在する方向に応じたスポット(スポットSPb〜SPdのいずれか)に視線を誘導するべく、上記したような誘導画像を表示させる。また、この場合、表示制御部10は、運転補助画像として、「歩行者との接触の可能性あり」や「自転車との接触の可能性あり」といった文字を表示させる。
更に他の例では、表示制御部10は、後方から緊急車両が接近している場合にも、視線を誘導するように誘導画像を表示させることができる。
図5は、後方から緊急車両が接近している場合に行われる表示方法を示すフローチャートである。このフローは、表示制御部10によって繰り返し実行される。
まず、ステップS101では、表示制御部10は、車載センサ21が有するマイクによって集音された、自車両の周辺の音声を解析する。そして、処理はステップS102に進む。ステップS102では、表示制御部10は、ステップS101の解析結果に基づいて、緊急車両のサイレンが集音されたか否かを判定する。緊急車両のサイレンが集音された場合(ステップS102:Yes)、処理はステップS103に進み、緊急車両のサイレンが集音されなかった場合(ステップS102:No)、処理はステップS101に戻る。
ステップS103では、表示制御部10は、緊急車両が存在する方向を、車載センサ21が有するカメラによって撮影された画像に基づいて解析する。そして、処理はステップS104に進む。ステップS104では、表示制御部10は、ステップS103の解析結果に基づいて、緊急車両が後方に存在するか否かを判定する。緊急車両が後方に存在する場合(ステップS104:Yes)、処理はステップS105に進む。これに対して、緊急車両が後方に存在しない場合(ステップS104:No)、つまり緊急車両が前方に存在する場合、処理はステップS101に戻る。
ステップS105では、表示制御部10は、カメラによって撮影された画像に基づいて、自車両が走行している車線の左側の車線を緊急車両が走行しているか否かを判定する。緊急車両が自車両の左車線を走行している場合(ステップS105:Yes)、処理はステップS106に進む。この場合、表示制御部10は、左ドアミラー51が含まれるスポットSPcに、運転補助画像として「緊急車両」といった文字を表示させ(ステップS106)、誘導画像の表示として、正面のスポットSPaにおける左下方の端部を点滅表示させる(ステップS107)。そして、処理はステップS114に進む。
他方で、緊急車両が自車両の左車線を走行していない場合(ステップS105:No)、処理はステップS108に進む。ステップS108では、表示制御部10は、カメラによって撮影された画像に基づいて、自車両が走行している車線と同じ車線を緊急車両が走行しているか否かを判定する。緊急車両が自車両と同じ車線を走行している場合(ステップS108:Yes)、処理はステップS109に進む。この場合、表示制御部10は、バックミラー50が含まれるスポットSPbに、運転補助画像として「緊急車両」といった文字を表示させ(ステップS109)、誘導画像の表示として、正面のスポットSPaにおける右上方の端部を点滅表示させる(ステップS110)。そして、処理はステップS114に進む。
他方で、緊急車両が自車両と同じ車線を走行していない場合(ステップS108:No)、処理はステップS111に進む。ステップS111では、表示制御部10は、カメラによって撮影された画像に基づいて、自車両が走行している車線の右側の車線を緊急車両が走行しているか否かを判定する。緊急車両が自車両の右車線を走行している場合(ステップS111:Yes)、処理はステップS112に進む。この場合、表示制御部10は、右ドアミラー52が含まれるスポットSPdに、運転補助画像として「緊急車両」といった文字を表示させ(ステップS112)、誘導画像の表示として、正面のスポットSPaにおける右下方の端部を点滅表示させる(ステップS113)。そして、処理はステップS114に進む。なお、緊急車両が自車両の右車線を走行していない場合(ステップS111:No)、処理はステップS101に戻る。
なお、上記した運転補助画像は、運転補助画像生成部11によって生成されると共に、画像提示スポット決定部12によって表示するスポットが決定され、また、上記した誘導画像は、誘導画像生成部13によって生成される。
ステップS114では、表示制御部10は、例えばカメラによって撮影された画像などに基づいて、緊急車両が通過したか否かを判定する。緊急車両が通過した場合(ステップS114:Yes)、処理はステップS115に進む。この場合には、表示制御部10は、各スポット内の表示を消去する(ステップS115)。つまり、上記した運転補助画像及び誘導画像の表示を消去する。そして、処理は終了する。これに対して、緊急車両が通過していない場合(ステップS114:No)、処理はステップS103に戻る。この場合には、表示制御部10は、上記したステップS103以降の処理を再度行う。
なお、図4及び図5では、スポットSPaに対する、視線を誘導させたいスポットの正確な相対的な方向(具体的にはスポットSPaの右上方、左下方及び右下方のいずれかの方向)に、誘導画像を表示させる例を示したが、これに限定はされない。他の例では、表示制御部10は、このような正確な相対的な方向の代わりに、スポットSPaに対する、視線を誘導させたいスポットの擬似的な方向(つまり近似的な方向)に、誘導画像を表示させることができる。
図6は、第1実施例に係る表示方法の他の例を説明するための図である。図6中の矢印A3で示すように、表示制御部10は、バックミラー50が含まれるスポットSPbに視線を誘導する場合には、スポットSPa内において中心領域から離れた位置であって、スポットSPaの上の端部に誘導画像を表示させる。また、表示制御部10は、左ドアミラー51が含まれるスポットSPcに視線を誘導する場合には、スポットSPa内において中心領域から離れた位置であって、スポットSPaの左の端部に誘導画像を表示させ、右ドアミラー52が含まれるスポットSPdに視線を誘導する場合には、スポットSPa内において中心領域から離れた位置であって、スポットSPaの右の端部に誘導画像を表示させる。このようにすることで、視線を誘導するための表示位置を単純化することが可能となる。
更に、図4及び図5では、誘導画像の表示として、スポットSPaの端部を点滅表示させる例を示したが、これに限定はされない。他の例では、表示制御部10は、誘導画像の表示として、スポットSPaの端部を点灯表示させる。更に他の例では、表示制御部10は、誘導画像の表示として、スポットSPaの端部に、車両や店舗などのアイコンを表示させる。更に他の例では、表示制御部10は、誘導画像の表示として、スポットSPaの端部に、バックミラー50や左ドアミラー51や右ドアミラー52のアイコンを表示させる。更に他の例では、表示制御部10は、誘導画像の表示として、スポットSPaの端部に、グラデーションを表示させる。更に他の例では、表示制御部10は、誘導画像の表示として、スポットSPaの中央領域から端部に向かって画像が移動するようなアニメーションを表示させる。更に他の例では、表示制御部10は、誘導画像の表示として、スポットSPaの端部に向かって徐々に円が小さくなるような画像を表示させる。
(第1実施例による作用・効果)
以上説明したように、第1実施例では、複数のスポットを用いて画像を表示させると共に、誘導画像によって視線の移動を促すことで、注視させるスポットを変更させる。これにより、視線を移動させることによって、運転中の周辺視の外側にも適切に情報を表示させることができる。つまり、運転中の周辺視の外側領域への視線移動誘導を行うことで、周辺視以上の広い範囲に、適切に情報を提示することが可能になる。
以上説明したように、第1実施例では、複数のスポットを用いて画像を表示させると共に、誘導画像によって視線の移動を促すことで、注視させるスポットを変更させる。これにより、視線を移動させることによって、運転中の周辺視の外側にも適切に情報を表示させることができる。つまり、運転中の周辺視の外側領域への視線移動誘導を行うことで、周辺視以上の広い範囲に、適切に情報を提示することが可能になる。
また、第1実施例では、ユーザが運転中に注視している正面、及び運転中に時折注視する位置(バックミラー50、左ドアミラー51及び右ドアミラー52)に視線を移動させたときに情報が表示されるように、ホログラム素子3にホログラム領域3a〜3dを形成している。これにより、視線を移動させる際の目標物として、バックミラー50、左ドアミラー51及び右ドアミラー52を利用することができるので、瞬時に視線を移動させて、情報を見ることが可能になる。つまり、第1実施例では、視線を移動させるスポットSPb〜SPdと、バックミラー50、左ドアミラー51及び右ドアミラー52といった車内の限られた具体的なものとを対応させているので、誘導画像の表示時に視線を移動すべき位置を容易に判断することができる。
更に、第1実施例によれば、運転中にそれほど重要でない情報を、通常運転中に注視している領域では見えないようにし、ユーザが意識的に視線を移動させた場合にのみ見えるようにしているため、運転上の安全性を適切に確保することができる。
[第2実施例]
次に、第2実施例について説明する。第2実施例では、運転補助画像として、車両の運転又はナビゲーションに直接関係しない、地図上の所定のポイントに関する画像を表示させると共に、誘導画像として、そのような運転補助画像に含まれる画像を表示させる点で、第1実施例と異なる。具体的には、第2実施例では、表示制御部10は、運転中に注視する領域に含まれるスポットに、目的地までのルートなどのナビゲーション情報を表示させると共に、運転中の周辺視の外側に位置するスポットに、道路左右の周辺店舗(レストランなど)の情報やトイレ施設の情報などを表示させる。
次に、第2実施例について説明する。第2実施例では、運転補助画像として、車両の運転又はナビゲーションに直接関係しない、地図上の所定のポイントに関する画像を表示させると共に、誘導画像として、そのような運転補助画像に含まれる画像を表示させる点で、第1実施例と異なる。具体的には、第2実施例では、表示制御部10は、運転中に注視する領域に含まれるスポットに、目的地までのルートなどのナビゲーション情報を表示させると共に、運転中の周辺視の外側に位置するスポットに、道路左右の周辺店舗(レストランなど)の情報やトイレ施設の情報などを表示させる。
なお、以下では、第1実施例と同様の構成や処理や制御については、適宜説明を省略する。また、ここで特に説明しない構成や処理や制御については、第1実施例と同様であるものとする。
図7は、第2実施例において画像が表示されるスポットの一例を示している。図7に示すように、第2実施例では、スポットSPa、SPe、SPfに画像を表示させる。スポットSPaは、第1実施例と同様のものであり、ユーザが正面方向に頭及び視線を向けているときに画像が表示される領域に相当する。スポットSPeは、ユーザが正面方向に頭を向けた状態で左方向に視線を向けたときに画像が表示される領域に相当する。スポットSPfは、ユーザが正面方向に頭を向けた状態で右方向に視線を向けたときに画像が表示される領域に相当する。基本的には、スポットSPeには、車両の前方左側に存在する情報が表示され、スポットSPfには、車両の前方右側に存在する情報が表示される。例えば、スポットSPeには、自車両の視界範囲の道路左側に存在する施設に関する情報が表示され、スポットSPfには、自車両の視界範囲の道路右側に存在する施設に関する情報が表示される。
なお、上記のようにユーザが所定の方向(正面方向、左方向及び右方向のいずれかの方向)に視線を向けたときに、その方向に応じた所定のホログラム領域による画像が適切に表示されるように、ホログラム素子3についての光学設計が行われるものとする。第2実施例と第1実施例とでは、使用するスポットの数や位置などが異なるため、ホログラム素子3におけるホログラム領域の構成は基本的には異なる。
図8は、第2実施例に係る表示方法の一例を説明するための図である。表示制御部10は、図8中の矢印B1で示すように、運転中に注視する領域に含まれるスポットSPaに、目的地へのルート案内を示す矢印を表示させる。表示制御部10は、ナビゲーション装置22が求めたルートに基づいて、ルート案内を示す矢印を表示させる。また、表示制御部10は、ルート案内を示す矢印が、当該矢印に対応する実際の道路上に重畳して表示されるように制御を行う。つまり、表示制御部10は、AR表示(AR:Augmented Reality)を行う。例えば、表示制御部10は、車載センサ21が有するカメラによって撮影された画像を解析して、目的地までのルートに対応する道路を抽出することで、このようなAR表示を実現する。
更に、表示制御部10は、運転補助画像として、スポットSPaの左側に位置するスポットSPeに、車両の前方左側に存在するトイレ施設に関する情報を表示させる。具体的には、表示制御部10は、スポットSPeに、トイレ施設を示すアイコン(WC)を表示させると共に(図8中の矢印B2参照)、トイレ施設へのルートを示す矢印を表示させる(図8中の矢印B3参照)。表示制御部10は、ナビゲーション装置22内のデータベースに記憶された地図情報などに基づいて、このような表示を行う。また、表示制御部10は、上記した目的地へのルート案内を示す矢印と同様に(矢印B1参照)、トイレ施設へのルートを示す矢印もAR表示させる。具体的には、表示制御部10は、トイレ施設へのルートを示す矢印を、トイレ施設に行くために実際に曲がるべき道路上に重畳して表示させる。なお、表示制御部10は、トイレ施設が道路に面している場合には、その建物施設自身にトイレ施設のアイコンを重畳して表示させる。
加えて、表示制御部10は、誘導画像として、運転中に注視する領域に含まれるスポットSPaに、トイレ施設を示すアイコン(WC)を表示させる(図8中の矢印B4参照)。具体的には、表示制御部10は、スポットSPa内において中心領域から離れた位置であって、スポットSPaに対するスポットSPeの配置位置の方向に応じた位置に、トイレ施設を示すアイコンを表示させる。詳しくは、表示制御部10は、スポットSPaの左の端部に、トイレ施設を示すアイコンを表示させる。
ここで、ガソリンスタンドなどの車で行ける大きな施設は、道路脇に大きな看板が出ていて、場所を特定することが容易であるが、トイレやレストランなどの施設は大きな看板が出ていない傾向にあり、どこにあるのか分かりにくい場合がある。他方で、途中で急にレストランやトイレなどに行きたくなった場合に、わざわざ立ち寄り地点を検索して、ルート変更設定などを行うのは面倒である。そのため、第2実施例では、前述したように、運転中の周辺視の外側に位置するスポットSPe、SPfに、レストランやトイレ施設などのちょっとした立ち寄り地点に関する情報を、運転補助画像として表示させる。これにより、走行中の道路周辺の分かりにくい立ち寄り地点に関する情報を適切に提示し、案内を行うことができる。また、第2実施例では、運転中に注視するスポットSPaには、ナビゲーション情報のみを表示させ、立ち寄り地点に関する情報などを表示させないため、運転中に注視するスポットSPaに表示される情報が過剰となってしまうことを抑制でき、運転上の安全性を確保することが可能となる。
[変形例]
以下では、上記の実施例に好適な変形例について説明する。なお、下記の変形例は、任意に組み合わせて上述の実施例に適用することができる。
以下では、上記の実施例に好適な変形例について説明する。なお、下記の変形例は、任意に組み合わせて上述の実施例に適用することができる。
(変形例1)
上記した実施例では、ユーザが所定の方向に視線を向けたときに、その方向に応じた所定のホログラム領域を介した画像が適切に表示されるように、ホログラム素子3の光学設計を行う例を示した(図1及び図2など参照)。つまり、上記した実施例では、画像を表示する複数のスポットの位置などに応じて、ホログラム素子3に複数のホログラム領域を形成していた。他の例では、種々のスポットに画像を適切に表示できるような複数のホログラム領域をホログラム素子に形成し、画像の表示に用いるスポットに応じて、複数のホログラム領域の中から使用するホログラム領域を選択することができる。
上記した実施例では、ユーザが所定の方向に視線を向けたときに、その方向に応じた所定のホログラム領域を介した画像が適切に表示されるように、ホログラム素子3の光学設計を行う例を示した(図1及び図2など参照)。つまり、上記した実施例では、画像を表示する複数のスポットの位置などに応じて、ホログラム素子3に複数のホログラム領域を形成していた。他の例では、種々のスポットに画像を適切に表示できるような複数のホログラム領域をホログラム素子に形成し、画像の表示に用いるスポットに応じて、複数のホログラム領域の中から使用するホログラム領域を選択することができる。
図9は、変形例1に係るホログラム素子3xの概略構成を示す図である。図9は、光の進行方向に沿った方向からホログラム素子3xを観察した図を示している。
図9に示すように、変形例1に係るホログラム素子3xには、複数のホログラム領域3xaが規則正しく配列されている。具体的には、ホログラム素子3xには、任意の状況において画像の表示に用いるスポットの数よりも少なくとも多い数のホログラム領域3xaが形成されている。このようなホログラム素子3xを用いた場合には、画像を表示するスポットに応じて、使用するホログラム領域3xaを選択し、選択されたホログラム領域3xaを介した光による画像が表示されるように制御を行うことができる。例えば、第1実施例のように、運転中に注視する領域、バックミラー50、左ドアミラー51及び右ドアミラー52のそれぞれが含まれる領域をスポットとして使用する場合には(図2参照)、図9においてハッチングされたホログラム領域3xaを選択することができる。
また、変形例1では、ユーザの頭の向きが変化した場合に、使用するホログラム領域3xaを変更することができる。例えば、頭の向きが変化した場合に、頭の向きが変化する前に使用していたホログラム領域3xaを、頭の向きに応じた方向にシフトさせた新たなホログラム領域3xaを用いることができる。こうすることで、頭の向きが変化した場合にも、視線の向きが変化した場合と同様に、注視している方向に応じた画像を適切に表示させることができる。なお、頭の向きの変化は、例えば加速度センサなどによって検出することができる。
(変形例2)
上記した実施例では、ユーザの視線を誘導するために誘導画像を表示させる制御を行う例を示したが、他の例では、この代わりに、ユーザの視線を誘導するために音を発生させる制御を行うことができる。具体的には、この例では、視線を移動すべきスポットの方向から音を発生させる制御を行うことができる。
上記した実施例では、ユーザの視線を誘導するために誘導画像を表示させる制御を行う例を示したが、他の例では、この代わりに、ユーザの視線を誘導するために音を発生させる制御を行うことができる。具体的には、この例では、視線を移動すべきスポットの方向から音を発生させる制御を行うことができる。
更に他の例では、ユーザの視線を誘導するために、車両のハンドルを振動させる制御を行うことができる。具体的には、この例では、視線を移動すべきスポットの方向に応じたハンドルの箇所を振動させる制御を行うことができる。
(変形例3)
上記した実施例では、ホログラム素子3が透過型に構成されていたが(図1(a)参照)、ホログラム素子を反射型に構成しても良い。
上記した実施例では、ホログラム素子3が透過型に構成されていたが(図1(a)参照)、ホログラム素子を反射型に構成しても良い。
また、上記した実施例では、ホログラム素子3とビームスプリッタ4とが別体に構成されていたが(図1(a)参照)、ホログラム素子3とビームスプリッタ4とを一体に構成しても良い。具体的には、ホログラム素子3及びビームスプリッタ4の両方の基本機能を具備するような1つのホログラム素子を用いることができる。
また、上記した実施例では、表示装置100が走査型ディスプレイとして構成されていたが(図1(a)参照)、表示装置を投影型ディスプレイとして構成しても良い。表示装置を投影型ディスプレイとして構成する場合には、光源ユニット1やスキャン機構2の代わりに、点光源や所定の透過物体(例えばLCD)などを用いれば良い。
(変形例4)
上記では本発明をヘッドマウントディスプレイ(HMD)に適用する例を示したが、本発明の適用はこれに限定されない。本発明は、HMD以外にも、種々の表示装置に適用することができる。例えば、視力障害者補助ディスプレイや運転支援装置に適用することができる。
上記では本発明をヘッドマウントディスプレイ(HMD)に適用する例を示したが、本発明の適用はこれに限定されない。本発明は、HMD以外にも、種々の表示装置に適用することができる。例えば、視力障害者補助ディスプレイや運転支援装置に適用することができる。
以上に述べたように、実施例は、上述した実施例に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨あるいは思想に反しない範囲で適宜変更可能である。
本発明は、ヘッドマウントディスプレイなどの表示装置に利用することができる。
1 レーザ光源
2 スキャン機構
3 ホログラム素子
3a〜3d ホログラム領域
4 ビームスプリッタ
10 表示制御部
11 運転補助画像生成部
12 画像提示スポット決定部
13 誘導画像生成部
14 データベース
50 バックミラー
51 左ドアミラー
52 右ドアミラー
100 表示装置
2 スキャン機構
3 ホログラム素子
3a〜3d ホログラム領域
4 ビームスプリッタ
10 表示制御部
11 運転補助画像生成部
12 画像提示スポット決定部
13 誘導画像生成部
14 データベース
50 バックミラー
51 左ドアミラー
52 右ドアミラー
100 表示装置
Claims (19)
- 画像情報光を出射する出射手段と、前記画像情報光が入射される光学素子と、を備え、前記光学素子を介した画像情報光を利用者の網膜に照射させることで画像を視認させる表示装置であって、
前記画像情報光は、第1画像情報光及び第2画像情報光を含んでおり、
前記第1画像情報光と前記第2画像情報光とは、前記利用者の眼球の動きに応じて、いずれか一方が前記網膜に照射されるように、各々異なった位置に集光され、
前記第1画像情報光が前記網膜に照射されている状態から、前記第2画像情報光が前記網膜に照射されている状態になるように、前記眼球の動きを前記利用者に促すための誘導情報を報知させる制御を行う制御手段を備えることを特徴とする表示装置。 - 前記制御手段は、前記誘導情報を報知させる制御として、誘導画像を表示させる制御を行い、
前記誘導画像は、前記第1画像情報光が前記網膜に投影する第1画像に含まれ、前記第2画像情報光が前記網膜に投影する第2画像に応じた画像であることを特徴とする請求項1に記載の表示装置。 - 前記制御手段は、前記第1画像内において中心領域から離れた位置であって、前記第1画像に対する前記第2画像の配置位置の方向に応じた位置に、前記誘導画像を表示させることを特徴とする請求項2に記載の表示装置。
- 前記制御手段は、前記第2画像に含まれる画像を、前記誘導画像として表示させることを特徴とする請求項2又は3に記載の表示装置。
- 前記制御手段は、前記誘導情報を報知させる制御として、前記第2画像情報光によって表示すべき情報に応じて音を発生させる制御を行うことを特徴とする請求項1に記載の表示装置。
- 前記制御手段は、前記誘導情報を報知させる制御として、前記第2画像情報光によって表示すべき情報に応じて車両のハンドルを振動させる制御を行うことを特徴とする請求項1に記載の表示装置。
- 前記制御手段は、前記第2画像情報光によって所定の情報を表示すべき場合に、前記誘導情報を報知させる制御を行うことを特徴とする請求項1乃至6のいずれか一項に記載の表示装置。
- 前記所定の情報は、緊急車両に関する情報であることを特徴とする請求項7に記載の表示装置。
- 前記所定の情報は、交通事故を起こしそうな対象に関する情報であることを特徴とする請求項7に記載の表示装置。
- 前記所定の情報は、車両の運転又はナビゲーションに直接関係しない、地図上の所定のポイントに関する情報であることを特徴とする請求項7に記載の表示装置。
- 前記光学素子は、第1領域及び第2領域を備え、
前記第1画像情報光は、前記第1領域を介した光であり、前記第2画像情報光は、前記第2領域を介した光であることを特徴とする請求項1乃至10のいずれか一項に記載の表示装置。 - 前記第1領域は、前記利用者の眼球が正面を向いたときに、前記第1画像情報光が前記網膜に投影されるように前記光学素子に形成され、
前記第2領域は、前記利用者の眼球が正面以外の所定の方向を向いたときに、前記第2画像情報光が前記網膜に投影されるように前記光学素子に形成されていることを特徴とする請求項11に記載の表示装置。 - 前記第2領域は、前記利用者が車両の運転中においてルームミラー又はドアミラーの方向に眼球を向けたときに、前記第2画像情報光が前記網膜に投影されるように前記光学素子に形成されていることを特徴とする請求項12に記載の表示装置。
- 前記第2領域は、前記第2画像情報光によって表示すべき情報の対象が存在する方向に対応する方向に前記利用者が眼球を向けたときに、前記第2画像情報光が前記網膜に投影されるように前記光学素子に形成されていることを特徴とする請求項12に記載の表示装置。
- 画像情報光を出射する出射手段と、前記画像情報光が入射される光学素子と、を備え、前記光学素子を介した画像情報光を利用者の網膜に照射させることで画像を視認させる表示装置によって実行される表示方法であって、
前記画像情報光は、第1画像情報光及び第2画像情報光を含んでおり、
前記第1画像情報光と前記第2画像情報光とは、前記利用者の眼球の動きに応じて、いずれか一方が前記網膜に照射されるように、各々異なった位置に集光され、
前記第1画像情報光が前記網膜に照射されている状態から、前記第2画像情報光が前記網膜に照射されている状態になるように、前記眼球の動きを前記利用者に促すための誘導情報を報知させる制御を行う制御工程を備えることを特徴とする表示方法。 - 画像情報光を出射する出射手段と、前記画像情報光が入射される光学素子と、コンピュータとを備え、前記光学素子を介した画像情報光を利用者の網膜に照射させることで画像を視認させる表示装置によって実行される表示プログラムであって、
前記画像情報光は、第1画像情報光及び第2画像情報光を含んでおり、
前記第1画像情報光と前記第2画像情報光とは、前記利用者の眼球の動きに応じて、いずれか一方が前記網膜に照射されるように、各々異なった位置に集光され、
前記第1画像情報光が前記網膜に照射されている状態から、前記第2画像情報光が前記網膜に照射されている状態になるように、前記眼球の動きを前記利用者に促すための誘導情報を報知させる制御を行う制御手段、として前記コンピュータを機能させることを特徴とする表示プログラム。 - 請求項16に記載の表示プログラムを記録したことを特徴とする記録媒体。
- 画像情報光を出射する出射手段と、前記画像情報光が入射される光学素子と、を備え、前記光学素子を介した画像情報光を利用者の網膜に照射させることで画像を視認させる表示装置であって、
前記画像情報光は、第1画像情報光及び第2画像情報光を含んでおり、
前記第1画像情報光と前記第2画像情報光とは、前記利用者の眼球の動きに応じて、いずれか一方が前記網膜の主領域に照射されるように、各々異なった位置に集光され、
前記第1画像情報光が前記網膜に照射されている状態から、前記第2画像情報光が前記網膜に照射されている状態になるように、前記眼球の動きを前記利用者に促すための誘導情報を報知させる制御を行う制御手段を備えることを特徴とする表示装置。 - 画像情報光を出射する出射手段と、前記画像情報光が入射される光学素子と、を備え、前記光学素子を介した画像情報光を利用者の網膜に照射させることで画像を視認させる表示装置であって、
前記画像情報光は、第1画像情報光及び第2画像情報光を含んでおり、
前記第1画像情報光と前記第2画像情報光とは、前記利用者の眼球の動きに応じて、各々異なった位置に集光され、
前記第1画像情報光が前記網膜に照射されている状態から、前記第2画像情報光が前記網膜に照射されている状態になるように、前記眼球の動きを前記利用者に促すための誘導情報を報知させる制御を行う制御手段を備えることを特徴とする表示装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2011/078653 WO2013088486A1 (ja) | 2011-12-12 | 2011-12-12 | 表示装置、表示方法及び表示プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5663102B2 true JP5663102B2 (ja) | 2015-02-04 |
JPWO2013088486A1 JPWO2013088486A1 (ja) | 2015-04-27 |
Family
ID=48611977
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013548964A Active JP5663102B2 (ja) | 2011-12-12 | 2011-12-12 | 表示装置、表示方法及び表示プログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5663102B2 (ja) |
WO (1) | WO2013088486A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016224086A (ja) * | 2015-05-27 | 2016-12-28 | セイコーエプソン株式会社 | 表示装置、表示装置の制御方法、及び、プログラム |
JP6338626B2 (ja) * | 2016-08-25 | 2018-06-06 | 株式会社Subaru | 車両の表示装置 |
KR101831070B1 (ko) * | 2016-11-11 | 2018-02-22 | 가톨릭대학교 산학협력단 | 사이버 멀미 경감을 위한 가상현실 영상 생성 장치 및 방법 |
GB2557593A (en) * | 2016-12-09 | 2018-06-27 | Sony Interactive Entertainment Inc | Virtual reality |
JP7559605B2 (ja) | 2021-02-24 | 2024-10-02 | 株式会社ニコン | 画像表示装置及び方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003029198A (ja) * | 2001-07-16 | 2003-01-29 | Denso Corp | スキャン型ディスプレイ装置 |
JP2003291688A (ja) * | 2002-04-03 | 2003-10-15 | Denso Corp | 表示方法、運転支援装置、プログラム |
WO2009066475A1 (ja) * | 2007-11-21 | 2009-05-28 | Panasonic Corporation | 表示装置 |
JP2010117542A (ja) * | 2008-11-13 | 2010-05-27 | Panasonic Corp | ビーム走査型表示装置 |
JP2010145436A (ja) * | 2008-12-16 | 2010-07-01 | Brother Ind Ltd | ヘッドマウントディスプレイ |
-
2011
- 2011-12-12 JP JP2013548964A patent/JP5663102B2/ja active Active
- 2011-12-12 WO PCT/JP2011/078653 patent/WO2013088486A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003029198A (ja) * | 2001-07-16 | 2003-01-29 | Denso Corp | スキャン型ディスプレイ装置 |
JP2003291688A (ja) * | 2002-04-03 | 2003-10-15 | Denso Corp | 表示方法、運転支援装置、プログラム |
WO2009066475A1 (ja) * | 2007-11-21 | 2009-05-28 | Panasonic Corporation | 表示装置 |
JP2010117542A (ja) * | 2008-11-13 | 2010-05-27 | Panasonic Corp | ビーム走査型表示装置 |
JP2010145436A (ja) * | 2008-12-16 | 2010-07-01 | Brother Ind Ltd | ヘッドマウントディスプレイ |
Also Published As
Publication number | Publication date |
---|---|
JPWO2013088486A1 (ja) | 2015-04-27 |
WO2013088486A1 (ja) | 2013-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6699675B2 (ja) | 情報提供装置 | |
US10629106B2 (en) | Projection display device, projection display method, and projection display program | |
JP4715325B2 (ja) | 情報表示装置 | |
JP4825868B2 (ja) | 車両用警報装置 | |
JP6658859B2 (ja) | 情報提供装置 | |
US20080129544A1 (en) | Method of Controlling A Driving Maneuver | |
JP2010143520A (ja) | 車載用表示システム及び表示方法 | |
WO2017082067A1 (ja) | 自動車用画像表示システム | |
JP5663102B2 (ja) | 表示装置、表示方法及び表示プログラム | |
JP6504431B2 (ja) | 画像表示装置、移動体、画像表示方法及びプログラム | |
WO2019097762A1 (ja) | 重畳画像表示装置及びコンピュータプログラム | |
JP6446595B2 (ja) | 投写型表示装置、投写表示方法、及び、投写表示プログラム | |
JP6805974B2 (ja) | 走行支援装置及びコンピュータプログラム | |
WO2019003929A1 (ja) | 表示システム、情報提示システム、表示システムの制御方法、プログラムと記録媒体、及び移動体装置 | |
JP7367680B2 (ja) | 表示装置 | |
JP6876277B2 (ja) | 制御装置、表示装置、表示方法及びプログラム | |
JP2016105256A (ja) | 画像処理装置 | |
CN116323320A (zh) | 虚像显示装置以及显示系统 | |
JP2019174459A (ja) | 制御装置、表示装置、移動体、制御方法、及びプログラム | |
JP6448714B2 (ja) | 情報表示システム | |
CN105313780A (zh) | 车辆中的驾驶员信息系统 | |
JP2023017641A (ja) | 車両用表示制御装置、車両用表示装置、車両用表示制御方法及び車両用表示制御プログラム | |
JP2016022919A (ja) | ヘッドアップディスプレイ装置及び車両 | |
JP7318431B2 (ja) | 表示制御装置及び表示制御プログラム | |
JP6814416B2 (ja) | 情報提供装置、情報提供方法及び情報提供用制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141118 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141205 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5663102 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |