JP6903998B2 - ヘッドマウントディスプレイ - Google Patents

ヘッドマウントディスプレイ Download PDF

Info

Publication number
JP6903998B2
JP6903998B2 JP2017064544A JP2017064544A JP6903998B2 JP 6903998 B2 JP6903998 B2 JP 6903998B2 JP 2017064544 A JP2017064544 A JP 2017064544A JP 2017064544 A JP2017064544 A JP 2017064544A JP 6903998 B2 JP6903998 B2 JP 6903998B2
Authority
JP
Japan
Prior art keywords
image
unit
spectroscopic
information
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017064544A
Other languages
English (en)
Other versions
JP2018170554A (ja
Inventor
晃幸 西村
晃幸 西村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2017064544A priority Critical patent/JP6903998B2/ja
Priority to US15/920,882 priority patent/US20180285642A1/en
Priority to CN201810227175.4A priority patent/CN108693647A/zh
Publication of JP2018170554A publication Critical patent/JP2018170554A/ja
Application granted granted Critical
Publication of JP6903998B2 publication Critical patent/JP6903998B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0248—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using a sighting port, e.g. camera or human eye
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0264—Electrical interface; User interface
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0272—Handheld
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0289—Field-of-view determination; Aiming or pointing of a spectrometer; Adjusting alignment; Encoding angular position; Size of measurement area; Position tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J3/26—Generating the spectrum; Monochromators using multiple reflection, e.g. Fabry-Perot interferometer, variable interference filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/32—Investigating bands of a spectrum in sequence by a single detector
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、ヘッドマウントディスプレイに関する。
従来、ユーザーの頭部に装着されるヘッドマウントディスプレイが知られている（例え
ば、特許文献１参照）。
特許文献１のヘッドマウントディスプレイは、ユーザーの視界上（眼鏡レンズの配置位
置）に、視界方向の景色の外界光と、表示する画像の映像光とを重ねて表示させる。
具体的には、このヘッドマウントディスプレイは、視界方向の景色を撮像する物質セン
サーを有し、当該物質センサーは、例えばエタロン等により構成される波長可変干渉フィ
ルターにより入射光を分光して、分光した光の受光量を検出する。そして、ヘッドマウン
トディスプレイは、物質センサーにより得られた各分光波長の受光量に基づいて分析され
た各種情報を表示部に表示させて、拡張現実表示（ＡＲ：Augmented Reality）を行う。
特開２０１５−１７７３９７号公報
ところで、上記特許文献１に記載のヘッドマウントディスプレイでは、ＡＲ表示が可能
な表示部全体に、物質センサーにより取得された分光情報や分光情報に基づく各種情報を
表示させる。
しかしながら、この場合、分光情報の解析や表示に伴う各種処理の処理負荷が係る。ま
た、ユーザーの作業目標のみならず、当該作業目標の周囲の対象に対する各種情報も表示
されることがあり、作業目標に対する各種情報が見にくくなる。このため、ユーザーの作
業対象に対する各種情報を、迅速かつ適切にＡＲ表示可能なヘッドマウントディスプレイ
が望まれている。
本発明は、ユーザーの作業対象に対する各種情報を、迅速かつ適切にＡＲ表示可能なヘ
ッドマウントディスプレイを提供することを目的とする。
本発明に係る一適用例のヘッドマウントディスプレイは、ユーザーの頭部に装着可能な
ヘッドマウントディスプレイであって、前記ヘッドマウントディスプレイを装着した状態
において前記ユーザーの瞳位置を検出する瞳検出部と、前記瞳位置に基づいて、前記ユー
ザーの視線方向を特定する視線特定部と、前記ヘッドマウントディスプレイを装着した状
態における前記ユーザーの視界内の景色のうち、少なくとも前記視線方向の一部の分光測
定情報を取得する分光測定部と、前記分光測定情報に基づいて、前記視線方向に含まれる
第一対象物に関する対象物情報を取得する対象物情報取得部と、前記景色の前記第一対象
物に対する位置に前記対象物情報を表示する表示部と、を備えることを特徴とする。
本適用例では、ヘッドマウントディスプレイは、瞳位置検出部によりユーザーの瞳位置
を検出して、視線特定部により、ユーザーの瞳位置に基づいた視線方向を特定する。また
、ヘッドマウントディスプレイは、分光測定部により、ユーザーの視界のうちの、視線方
向を含む一部の範囲の外界光を分光して分光測定情報を取得する。そして、対象物情報取
得部は、得られた分光測定情報から視線方向にある第一対象物に関する対象物情報を取得
し、表示部は、ユーザーの視界方向からの外界光の景色のうち、視線方向に位置する第一
対象物に対して対象物情報を重ね合せて表示させる。つまり、本適用例では、ユーザーの
視界のうち、ユーザーの視線方向にある第一対象物（ユーザーの作業対象）の対象物情報
をＡＲ表示させ、その周囲の対象物に関してはＡＲ表示させない。
この場合、ＡＲ表示させる対象物が第一対象物であり、対象物情報取得部は、分光測定
情報から第一対象物の分光測定情報を解析して対象物情報を取得すればよい。よって、そ
の周囲に配置される対象物の対象物情報を取得する必要がなく、処理負荷を軽減でき、迅
速なＡＲ表示処理を行うことができる。
また、表示部は、ユーザーの視界の内の視線方向にある第一対象物に対してＡＲ表示を
行うので、作業対象である第一対象物に関する対象物情報が見やすく、適切にユーザーに
対象物情報を確認させることが可能となる。
以上により、本適用例では、ユーザーの作業対象に対する各種情報を、迅速かつ適切に
ＡＲ表示させることが可能となる。
本適用例のヘッドマウントディスプレイにおいて、前記分光測定部は、前記視線方向を
中心とした所定範囲の分光測定情報を取得し、前記対象物情報取得部は、前記所定範囲に
含まれる対象物に関する前記対象物情報を取得し、前記表示部は、前記第一対象物に対す
る位置に前記対象物情報を表示した後、時間経過に応じて、前記所定範囲に含まれる前記
対象物の前記対象物情報を表示することが好ましい。
本適用例では、対象物情報取得部は、視線方向を中心とした所定範囲の対象物情報を取
得する。そして、表示部は、最初に視線方向にある第一対象物に関する対象物情報を表示
させ、その後、時間経過に応じて、第一対象物の周囲にある他の前記所定範囲の他の対象
物に関する対象物情報を表示させる。
これにより、ユーザーは、第一対象物（作業対象）の周囲の他の対象物に対する対象物
情報も確認することができ、ユーザーの作業効率をさらに向上させることができる。また
、ユーザーの視線方向と作業対象とがずれていた場合でも、時間経過とともに、作業対象
に関する対象物情報が表示されることになり、ユーザーが必要とする作業対象に対する対
象物情報を適切に表示させることができる。
本適用例のヘッドマウントディスプレイにおいて、前記分光測定部は、入射光を分光し
、分光波長を変更可能な分光素子と、前記分光素子により分光された光を撮像し、前記分
光測定情報として分光画像を得る撮像部とを有し、前記分光素子により前記分光波長を順
次切り替えた際の撮像位置のずれ量を検出するずれ検出部と、複数波長の前記分光画像に
おける前記ずれ量を補正する分光画像補正部と、を備えることが好ましい。
ところで、ヘッドマウントディスプレイにおいて、分光測定部が、複数の分光波長を順
次切り替えて、各分光された光を撮像する場合、分光画像の取得タイミングに時間差が発
生する。この際、ヘッドマウントディスプレイが装着されるユーザーの頭部が揺れたり、
移動したりすると、各分光画像の撮像範囲がそれぞれ異なる範囲となる（位置ずれが発生
する）。これに対して、本適用例では、ずれ検出部により、各分光画像の位置ずれ量を検
出し、分光画像補正部により、各分光画像の位置ずれを補正する。これにより、本適用例
では、ユーザーの視線方向に対する第一対象物が、各分光画像でずれることがなく、第一
対象物に対する適正な分光測定情報を得ることができる。
本適用例のヘッドマウントディスプレイにおいて、前記景色を撮像するＲＧＢカメラを
備え、前記ずれ検出部は、前記分光画像が取得されたタイミングで前記ＲＧＢカメラによ
り撮像されたＲＧＢ画像の特徴点の位置から前記ずれ量を検出することが好ましい。
本適用例では、ＲＧＢカメラにより、ユーザーの視界からの外界光による景色を撮像し
、その撮像画像（ＲＧＢ画像）の特徴点の位置からずれ量を検出する。特徴点としては、
例えば、ＲＧＢ画像において、隣り合う画素の輝度値が所定値以上変動するエッジ部等を
挙げることができる。ここで、分光画像のみを用いて分光画像内の特徴点を抽出する場合
、例えば赤色画像で検出されるエッジ部（特徴点）が、青色画像において検出されない場
合がある。これに対して、ＲＧＢ画像に基づいて特徴点を検出する場合、可視波長域の広
い波長域内で、特徴点を検出することができる。よって、例えば複数の特徴点を検出して
おき、各分光画像の対応する特徴点を検出すれば、容易に各分光画像のずれ量を検出する
ことができる。
本適用例のヘッドマウントディスプレイにおいて、当該ヘッドマウントディスプレイの
位置の変位を検出する変位検出センサーを備え、前記ずれ検出部は、前記変位検出センサ
ーに基づいて前記ずれ量を検出することが好ましい。
本適用例では、ヘッドマウントディスプレイに設けられた変位検出センサーにより、ヘ
ッドマウントディスプレイの位置の変位量を検出する。この場合、各分光画像の取得タイ
ミングにおけるヘッドマウントディスプレイの位置の変位量を検出することで、分光画像
の位置ずれ量を容易に算出することが可能となる。
第一実施形態に係るヘッドマウントディスプレイを示す斜視図。 第一実施形態のヘッドマウントディスプレイの概略構成を示すブロック図。 第一実施形態の分光カメラの概略構成を示す図。 第一実施形態のＡＲ表示処理の流れを示すフローチャート。 第一実施形態のＡＲ表示を行う範囲の一例を示す図。 第一実施形態のＡＲ表示処理において表示される画像の一例を示す図。 第一実施形態のＡＲ表示処理において表示される画像の一例を示す図。
［第一実施形態］
以下、第一実施形態について説明する。
［ヘッドマウントディスプレイの概略構成］
図１は、第一実施形態に係るヘッドマウントディスプレイを示す斜視図である。図２は
、ヘッドマウントディスプレイの概略構成を示すブロック図である。
本実施形態に係るヘッドマウントディスプレイ（以降、ＨＭＤ１と略す）は、図１に示
すように、ユーザーの頭部やヘルメット等の装着部位（詳しくは、前額部及び側頭部を含
む頭部の上部分に応じた位置）に装着可能な頭部装着型表示装置である。このＨＭＤ１は
、ユーザーによって視認可能に虚像を表示するとともに、外界光を透過させて外界の景色
（外景）を観察可能とするシースルー型の頭部装着型表示装置である。
なお、以降の説明にあたり、ＨＭＤ１によってユーザーが視認する虚像を便宜的に「表
示画像」とも称す。また、画像情報に基づいて生成された画像光を射出することを「画像
を表示する」ともいう。
ＨＭＤ１は、ユーザーの頭部に装着された状態においてユーザーに虚像を視認させる画
像表示部２０と、画像表示部２０を制御する制御部１０と、を備えている。
［画像表示部２０の構成］
画像表示部２０は、ユーザーの頭部に装着される装着体であり、本実施形態では眼鏡形
状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２
３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、ＲＧＢカメ
ラ６１と、分光カメラ６２と、瞳検出センサー６３と、９軸センサー６４とを含んでいる
。
右光学像表示部２６および左光学像表示部２８は、それぞれ、ユーザーが画像表示部２
０を装着した際にユーザーの右および左の眼前に位置するように配置されている。右光学
像表示部２６の一端と左光学像表示部２８の一端とは、ユーザーが画像表示部２０を装着
した際のユーザーの眉間に対応する位置で、互いに接続されている。
なお、以降において、右保持部２１および左保持部２３を総称して単に「保持部」とも
呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び
、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼
ぶ。
右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、ユーザーが画像表示
部２０を装着した際のユーザーの側頭部に対応する位置にかけて、延伸して設けられた部
材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、ユ
ーザーが画像表示部２０を装着した際のユーザーの側頭部に対応する位置にかけて、延伸
して設けられた部材である。右保持部２１および左保持部２３は、例えば眼鏡のテンプル
のようにして、ユーザーの頭部に画像表示部２０を保持する。
表示駆動部２２，２４とは、ユーザーが画像表示部２０を装着した際のユーザーの頭部
に対向する側に配置されている。表示駆動部２２，２４は、図２に示すように、液晶ディ
スプレイ（ＬＣＤ２４１，２４２）や投写光学系２５１，２５２等を含んで構成されてい
る。
より具体的には、右表示駆動部２２は、図２に示すように、受信部（Ｒｘ５３）と、光
源として機能する右バックライト制御部（右ＢＬ制御部２０１）および右バックライト（
右ＢＬ２２１）と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１
と、右投写光学系２５１と、を含んでいる。
右ＢＬ制御部２０１と右ＢＬ２２１とは、光源として機能する。右ＬＣＤ制御部２１１
と右ＬＣＤ２４１とは、表示素子として機能する。なお、右ＢＬ制御部２０１と、右ＬＣ
Ｄ制御部２１１と、右ＢＬ２２１と、右ＬＣＤ２４１と、を総称して「画像光生成部」と
も呼ぶ。
Ｒｘ５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシー
バーとして機能する。右ＢＬ制御部２０１は、入力された制御信号に基づいて、右ＢＬ２
２１を駆動する。右ＢＬ２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等
の発光体である。右ＬＣＤ制御部２１１は、Ｒｘ５３を介して入力されたクロック信号Ｐ
ＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像情報と、
に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状
に配置した透過型液晶パネルである。
右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にする
コリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、
右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつユーザー
の右眼ＲＥに導く。なお、右投写光学系２５１と右導光板２６１とを総称して「導光部」
とも呼ぶ。
左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。左表示駆動部２４
は、受信部（Ｒｘ５４）と、光源として機能する左バックライト制御部（左ＢＬ制御部２
０２）および左バックライト（左ＢＬ２２２）と、表示素子として機能する左ＬＣＤ制御
部２１２および左ＬＣＤ２４２と、左投写光学系２５２と、を含んでいる。左ＢＬ制御部
２０２と左ＢＬ２２２とは、光源として機能する。左ＬＣＤ制御部２１２と左ＬＣＤ２４
２とは、表示素子として機能する。なお、左ＢＬ制御部２０２と、左ＬＣＤ制御部２１２
と、左ＢＬ２２２と、左ＬＣＤ２４２と、を総称して「画像光生成部」とも呼ぶ。また、
左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光を並行状態の光束にするコ
リメートレンズによって構成される。左光学像表示部２８としての左導光板２６２は、左
投写光学系２５２から出力された画像光を、所定の光路に沿って反射させつつユーザーの
左眼ＬＥに導く。なお、左投写光学系２５２と左導光板２６２とを総称して「導光部」と
も呼ぶ。
光学像表示部２６，２８は、導光板２６１，２６２（図２参照）と調光板とを含んで構
成されている。導光板２６１，２６２は、光透過性の樹脂材料等によって形成され、表示
駆動部２２，２４から出力された画像光をユーザーの眼に導く。調光板は、薄板状の光学
素子であり、ユーザーの眼の側とは反対の側である画像表示部２０の表側を覆うように配
置されている。調光板は、導光板２６１，２６２を保護し、導光板２６１，２６２の損傷
や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、ユーザー
の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。なお、調光板は省略可
能である。
ＲＧＢカメラ６１は、例えば、ユーザーが画像表示部２０を装着した際のユーザーの眉
間に対応する位置に配置されている。そのため、ＲＧＢカメラ６１は、ユーザーが画像表
示部２０を頭部に装着した状態において、ユーザーの視界内の景色である外景を撮像し、
外景画像を取得する。
このＲＧＢカメラ６１は、赤色光を受光するＲ受光素子、緑色光を受光するＧ受光素子
、及び青色光を受光するＢ受光素子が、例えばベイヤー配列で配置された撮像装置であり
、例えばＣＣＤやＣＭＯＳ等のイメージセンサーを用いることができる。
なお、図１に示すＲＧＢカメラ６１は、単眼カメラであるが、ステレオカメラであって
もよい。
分光カメラ６２は、ユーザーの視界内のうち、少なくともユーザーの視線方向の一部を
含む分光画像を取得する。なお、本実施形態では、分光画像の取得領域は、ＲＧＢカメラ
６１と同様の範囲内であり、ユーザーの視界内の外景に対する分光画像を取得する。
図３は、分光カメラ６２の概略構成を示す図である。
分光カメラ６２は、図３に示すように、外界光が入射される入射光学系６２１、入射光
を分光する分光素子６２２、及び分光素子により分光された光を撮像する撮像部６２３を
備えて構成されている。
入射光学系６２１は、例えばテレセントリック光学系等により構成され、光軸と主光線
とが平行又は略平行となるように入射光を分光素子６２２及び撮像部６２３に導く。
分光素子６２２は、図３に示すように、互いに対向する一対の反射膜６２４，６２５と
、これらの反射膜６２４，６２５の間の距離を変更可能なギャップ変更部６２６（例えば
静電アクチュエーター）とを備えて構成される波長可変干渉フィルター（所謂エタロン）
である。この分光素子６２２は、ギャップ変更部６２６に印加される電圧が制御されるこ
とで、反射膜６２４，６２５を透過する光の波長（分光波長）が変更可能となる。
撮像部６２３は、分光素子６２２を透過した画像光を撮像する装置であり、例えば、Ｃ
ＣＤやＣＭＯＳ等のイメージセンサーにより構成される。
なお、本実施形態では、分光カメラ６２は、保持部２１，２３に設けられるステレオカ
メラの例を示すが、単眼カメラであってもよい。単眼カメラとする場合、例えば、光学像
表示部２６，２８の間（ＲＧＢカメラ６１と略同一の位置）に配置することが好ましい。
この分光カメラ６２は、分光測定部に相当し、分光素子６２２で分光させる光の分光波
長を順次切り替えて撮像部６２３により分光画像を撮像する。すなわち、分光カメラ６２
は、複数の分光波長に対応する複数の分光画像を分光測定情報として制御部１０に出力す
る。
瞳検出センサー６３は、瞳検出部に相当し、例えば、光学像表示部２６，２８において
、ユーザーに対向する側に設けられている。この瞳検出センサー６３は、例えばＣＣＤ等
のイメージセンサーを有し、ユーザーの眼を撮像し、ユーザー瞳の位置を検出する。
瞳位置の検出としては、例えば、ユーザーの眼に対して赤外線を照射し、角膜にて反射
される赤外線の位置と、赤外線の反射位置に対する瞳孔（最も輝度値が小さくなる位置）
とを検出する。なお、瞳位置の検出としては、これに限定されず、例えば、ユーザーの眼
の撮像画像における所定位置（例えば瞼、眉、目頭、目尻等）に対する瞳孔や虹彩の位置
を検出してもよい。
９軸センサー６４は、変位検出センサーに相当し、加速度（３軸）、角速度（３軸）、
地磁気（３軸）、を検出するモーションセンサーである。９軸センサー６４は、画像表示
部２０に設けられているため、画像表示部２０がユーザーの頭部に装着されているときに
は、ユーザーの頭部の動きを検出する。検出されたユーザーの頭部の動きから画像表示部
２０の向きが特定される。
また、画像表示部２０は、画像表示部２０を制御部１０に接続するための接続部４０を
有している。接続部４０は、制御部１０に接続される本体コード４８と、右コード４２と
、左コード４４と、連結部材４６と、を含んでいる。右コード４２と左コード４４とは、
本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方
向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されてい
る。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の
筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６は、本体コード４
８と、右コード４２および左コード４４と、の分岐点に設けられ、イヤホンプラグ３０を
接続するためのジャックを有している。イヤホンプラグ３０からは、右イヤホン３２およ
び左イヤホン３４が延伸している。
画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行なう。本体
コード４８における連結部材４６とは反対側の端部と、制御部１０と、のそれぞれには、
互いに嵌合するコネクター（図示略）が設けられている。本体コード４８のコネクターと
制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接
続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８とに
は、例えば、金属ケーブルや光ファイバーを採用できる。
なお、本実施形態では、優先により画像表示部２０と制御部１０とを接続する例を示す
が、例えば無線ＬＡＮやブルートゥース（登録商標）等を用いた無線接続としてもよい。
［制御部１０の構成］
制御部１０は、ＨＭＤ１を制御するための装置である。制御部１０は、例えば、トラッ
クパッド１１Ａや方向キー１１Ｂ、電源スイッチ１１Ｃ等を含む操作部１１を有する。
また、制御部１０は、図２に示すように、入力情報取得部１１０と、記憶部１２０と、
電源１３０と、操作部１１と、ＣＰＵ１４０と、インターフェイス１８０と、送信部（Ｔ
ｘ５１，Ｔｘ５２）と、ＧＰＳモジュール１３４と、を有している。
入力情報取得部１１０は、ユーザーによる操作部１１の操作入力に応じた信号を取得す
る。
記憶部１２０は、種々のコンピュータープログラムを格納している。記憶部１２０は、
ＲＯＭやＲＡＭ等によって構成されている。
ＧＰＳモジュール１３４は、ＧＰＳ衛星からの信号を受信することにより、画像表示部
２０の現在位置を特定して、位置を示す情報を生成する。画像表示部２０の現在位置が特
定されることで、ＨＭＤ１のユーザーの現在位置が特定される。
インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外
部機器ＯＡを接続するためのインターフェイスである。外部機器ＯＡとしては、例えば、
パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフ
ェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェ
イス、メモリーカード用インターフェイス等、を用いることができる。
ＣＰＵ１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出し
て実行することにより、オペレーティングシステム（ＯＳ１５０）、視線特定部１６１、
画像判定部１６２、ずれ検出部１６３、分光画像補正部１６４、対象物情報取得部１６５
、画像位置制御部１６６、向き判定部１６７、表示制御部１６８、及び撮像制御部１６９
として機能する。
視線特定部１６１は、瞳検出センサー６３により検出されたユーザーの左右の眼の瞳位
置（瞳孔の位置）に基づいて、ユーザーの視線方向Ｄ１（図５参照）を特定する。
画像判定部１６２は、例えば、記憶部１２０に予め記憶された特定の対象物の画像情報
と同じ特定の対象物が外景画像に含まれているか否かを、パターンマッチングによって判
定する。また、画像判定部１６２は、特定の対象物が外景画像に含まれる場合には、当該
特定の対象物が視線方向上に位置するか否かを判定する。すわわち、画像判定部１６２は
、視線方向上に位置する特定の対象物を第一対象物Ｏ１（図６、図７参照）として判定す
る。
ずれ検出部１６３は、各分光画像間の撮像位置（画素位置）のずれ量を検出する。
本実施形態では、分光波長を順次切り替えて分光画像が撮像するため、各分光画像の撮
像タイミングで、ＨＭＤ１を装着したユーザーの頭部位置が変化している場合があり、各
分光画像の撮像範囲Ｒ１（図５〜図７参照）がそれぞれ異なる範囲となる。そこで、ずれ
検出部１６３は、各分光画像の撮像範囲Ｒ１のずれ量を検出する。
ここで、本実施形態では、分光カメラ６２により各波長の分光画像を撮像するタイミン
グで、ＲＧＢカメラ６１により外景画像を撮像する。そして、ずれ検出部１６３は、分光
画像を同時に撮像された外景画像に基づいて、各分光画像のずれ量を検出する。
また、ずれ検出部１６３は、ＲＧＢカメラ６１で撮像される外景画像と、上記のように
算出された各分光画像の位置ずれ量を算出してもよい。つまり、現在撮像されている外景
画像における特徴点を検出し、当該特徴点と各分光画像が撮像されたタイミングでの外景
画像の特徴点を検出した特徴点と比較することで、各分光画像の、現在撮像されている外
景画像とのずれ量を算出する。
分光画像補正部１６４は、算出された各分光画像の位置ずれ量に基づいて、各分光画像
の画素位置を補正する。つまり、各分光画像の特徴点を一致させるように、各分光画像の
画素位置を調整する。
対象物情報取得部１６５は、分光カメラ６２により得られた分光測定情報（複数波長に
対する分光画像）に基づいて、対象物の解析情報（対象物情報）を取得する。この対象物
情報取得部１６５は、ユーザーにより選択された項目に対する対象物情報を取得すること
ができる。例えば、ユーザーにより、対象物（食品等）の糖度を表示させる旨が選択され
ている場合では、対象物情報取得部１６５は、外景画像内に含まれる対象物に対する分光
測定情報を解析して、対象物に含まれる糖度を対象物情報として算出する。また、例えば
ユーザーにより対象物に所定波長の分光画像を重畳させる旨が選択されている場合、対象
物情報取得部１６５は、各分光画像から、外景画像内に含まれる対象物に対応する画素領
域と同じ画素領域を抽出して対象物情報とする。
この際、対象物情報取得部１６５は、まず、画像判定部１６２により特定された第一対
象物Ｏ１に対する対象物情報を取得し、次いで、視線方向Ｄ１を中心とした、予め設定さ
れた所定範囲（拡張範囲Ｒ２：図５〜図７参照）内の対象物情報を取得する。
画像位置制御部１６６は、特定の対象物が外景画像に含まれる場合に、特定の対象物に
対する対象物情報を示す画像情報を画像表示部２０に表示させる。例えば、視線方向Ｄ１
に位置する第一対象物Ｏ１の位置座標を外景画像から特定し、当該第一対象物Ｏ１と重な
る位置又は、第一対象物Ｏ１の近傍に対象物情報を示す画像情報を重畳して表示させる。
また、画像位置制御部１６６は、外景画像の色（ＲＧＢ値）に応じて、ＲＧＢ値を変化
させた画像情報を作成したり、外景画像の輝度に応じて、画像表示部２０の輝度を変化さ
せたりすることで、同一の画像情報を基に異なる画像を生成してもよい。例えば、画像位
置制御部１６６は、ユーザーから特定の対象物までの距離が近いほど、画像情報に含まれ
る文字を大きくした画像情報を作成したり、外景画像の輝度が低いほど、画像表示部２０
の輝度を小さく設定したりする。
向き判定部１６７は、後述する９軸センサー６４が検出した画像表示部２０の向きや動
き、位置の変位量（移動量）を判定する。向き判定部１６７は、画像表示部２０の向きを
判定することで、ユーザーの頭部の向きを推定する。
表示制御部１６８は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を
生成し、例えば、画像位置制御部１６６により設定された位置に画像情報を表示させる。
具体的には、表示制御部１６８は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣ
Ｄ２４１の駆動ＯＮ／ＯＦＦ、右ＢＬ制御部２０１による右ＢＬ２２１の駆動ＯＮ／ＯＦ
Ｆ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左ＢＬ制御部２０
２による左ＢＬ２２２の駆動ＯＮ／ＯＦＦなど、を個別に制御する。これにより、表示制
御部１６８は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成
および射出を制御する。例えば、表示制御部１６８は、右表示駆動部２２および左表示駆
動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画
像光を生成させなかったりする。
この際、表示制御部１６８は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対す
る制御信号のそれぞれを、Ｔｘ５１，Ｔｘ５２を介して画像表示部２０に送信する。また
、表示制御部１６８は、右ＢＬ制御部２０１と左ＢＬ制御部２０２とに対する制御信号の
それぞれを送信する。
撮像制御部１６９は、ＲＧＢカメラ６１及び分光カメラ６２を制御して撮像画像を取得
する。つまり、撮像制御部１６９は、ＲＧＢカメラ６１を起動させ、外景画像を撮像させ
る。また、撮像制御部１６９は、分光カメラ６２の分光素子６２２（ギャップ変更部６２
６）に、所定の分光波長に対応する電圧を印加して、当該分光波長の光を分光させる。そ
して、撮像部６２３を制御して、当該分光波長の光を撮像させ分光画像を取得する。
［ＨＭＤ１の画像表示処理］
次に、上述したようなＨＭＤ１におけるＡＲ表示処理について説明する。
図４は、ＡＲ表示処理の流れを示すフローチャートである。図５は、本実施形態におけ
るＡＲ表示を行う範囲の一例を示す図である。また、図６及び図７は、本実施形態におけ
るＡＲ表示処理において表示される画像の一例である。
本実施形態のＨＭＤ１では、ユーザーが予め制御部１０の操作部１１を操作することで
、対象物情報に関するＡＲ表示を実施するか否かが選択可能であり、また、対象物情報と
して表示させる画像を選択可能となる。そして、ユーザーにより、ＡＲ表示を実施すると
の選択がなされ、かつ、表示する対象物情報のタイプが選択されている場合に、以下のＡ
Ｒ表示処理を実施する。なお、ここでは、対象物情報として、対象物に関する糖度を表示
させる旨がユーザーに選択されている例を用いて説明する。
ＨＭＤ１は、ＡＲ表示処理が実施されると、先ず、分光波長を示す変数ｉを初期化（ｉ
＝１）する（ステップＳ１）。なお、変数ｉは、測定対象の分光波長に関連付けられてい
る。例えば、分光波長λ１〜分光波長λＮまでのＮ個の分光波長の光の分光画像を分光測
定情報として撮像する場合、変数ｉに対応する分光波長はλｉとなる。
次に、撮像制御部１６９は、ＲＧＢカメラ６１及び分光カメラ６２により撮像画像を取
得させる（ステップＳ２）。つまり、撮像制御部１６９は、ＲＧＢカメラ６１及び分光カ
メラ６２を制御し、ＲＧＢカメラ６１により外景画像を撮像させ、分光カメラ６２により
分光波長λｉの分光画像を撮像させる。
ここで、外景画像と分光画像は、同じ撮像タイミング、又は撮像タイミングの時間差が
予め設定された時間閾値未満となるように、撮像される。また、ステップＳ２で撮像され
る外景画像及び分光画像は、図５に示すように、同一の撮像範囲Ｒ１となる。ステップＳ
２で取得された撮像画像は、記憶部１２０に記憶される。
次に、撮像制御部１６９は、変数ｉに「１」を加算し（ステップＳ３）、変数ｉがＮを
越えたか否かを判定する（ステップＳ４）。ステップＳ４でＮｏと判定された場合は、ス
テップＳ２に戻り、変数ｉに対応する分光波長λｉの分光画像と、外景画像とを撮像する
。
ステップＳ４でＹｅｓと判定された場合は、測定対象となる全ての分光波長に対する分
光画像が取得されたことを意味する。この場合、ずれ検出部１６３は、取得された各分光
画像の画素位置のずれ量を検出する（ステップＳ５）。
具体的には、ずれ検出部１６３は、分光画像と同時に撮像された外景画像を読み出し、
当該外景画像の特徴点（例えば、隣り合う画素間で輝度値が所定値以上異なるエッジ部等
）を検出する。ここで、本実施形態では、ＲＧＢカメラ６１により撮像される外景画像の
撮像範囲Ｒ１と、分光カメラ６２により撮像される分光画像の撮像範囲Ｒ１とが同一範囲
となる。よって、ＲＧＢカメラ６１で撮像された外景画像の特徴点の位置（画素位置）は
、分光画像における特徴点の画素位置と一致すると見なすことができる。
したがって、ずれ検出部１６３は、各分光画像の撮像タイミングで撮像された各外景画
像における特徴点同士の位置の差を位置ずれ量として検出する。例えば、波長λ１の分光
画像と同時に撮像された外景画像で（ｘ１、ｙ１）に特徴点が検出され、波長λ２の分光
画像と同時に撮像された外景画像で（ｘ２、ｙ２）に特徴点が検出されたとする。この場
合、波長λ１の分光画像と、波長λ２の分光画像との位置ずれ量は、｛（ｘ２−ｘ１）２
＋（ｙ２−ｙ１）２｝１／２として算出される。
なお、ずれ量の基準となる画像は、ステップＳ２で取得されたどの外景画像を用いても
よい。例えば、変数ｉ＝１に対する分光画像と外景画像とが撮像された際の外景画像を基
準画像とし、各分光画像のずれ量を算出してもよく、最後に撮像された変数ｉ＝Ｎに対す
る外景画像を基準画像としてもよい。また、ステップＳ２で取得された外景画像に限定さ
れず、例えば、現在（ステップＳ１〜Ｓ４の後のタイミングで）、ＲＧＢカメラ６１によ
り撮像されている外景画像を基準画像としてずれ量を算出してもよい。つまり、リアルタ
イムで現在の外景画像に対する各分光画像のずれ量を算出してもよい。
そして、分光画像補正部１６４は、ステップＳ５で検出（算出）されたずれ量に基づい
て、各分光画像の位置ずれを補正する（ステップＳ６）。つまり、分光画像補正部１６４
は、各分光画像において、特徴点が一致するように、分光画像の画素位置を補正する。
次に、視線特定部１６１は、瞳検出センサー６３により検出されるユーザーの左右の眼
における瞳位置（瞳孔位置）を取得し（ステップＳ７）、瞳位置に基づいて、ユーザーの
視線方向Ｄ１を特定する（ステップＳ８）。
例えば、瞳検出センサー６３において、ユーザーの眼に赤外線を照射し、角膜上におけ
る赤外線の反射位置に対する瞳孔位置を検出する場合、以下のように視線方向Ｄ１（図５
及び図６参照）を特定する。つまり、視線特定部１６１は、瞳検出センサー６３から照射
される赤外線の位置が、例えば眼球の角膜上の中心点である場合、当該赤外線の反射位置
から法線方向（眼球内側）に例えば２３ｍｍ〜２４ｍｍ（平均的な眼球の径寸法）の点を
網膜上の基準点として仮定する。そして、基準点から瞳孔位置に向かう方向を視線方向Ｄ
１として特定する。
また、視線方向Ｄ１を特定した後、図５や図６に示すように、視線方向Ｄ１を示すマー
ク画像を画像表示部２０に表示させてもよい。この場合、ユーザーが視線方向Ｄ１を視覚
することで、ユーザーは所望の対象物に視線方向Ｄ１を合せるように、視線を変更するこ
ともできる。
その後、画像判定部１６２は、ステップＳ８で特定された視線方向Ｄ１上に対象物を表
示可能な対象物が有るか否かを判定する（ステップＳ９）。
ステップＳ９では、例えば、画像判定部１６２は、ＲＧＢカメラ６１により外景画像を
撮像し、当該外景画像における視線方向Ｄ１上の画像に対してパターンマッチングを実施
する。なお、画像判定部１６２における画像判定方法としては、パターンマッチングに限
定されない。例えば、視線方向Ｄ１に対応する画素を囲うエッジ部を検出し、当該エッジ
部に囲われる対象物を第一対象物Ｏ１（図５〜７参照）として特定してもよい。この場合
、外景画像における視線方向Ｄ１に対応する画素の周囲（予め設定された拡張範囲Ｒ２内
）に、当該画素を囲うエッジ部がない場合、視線方向Ｄ１に対象物がない（ステップＳ９
でＮｏ）と判定する。
例えば、図５〜図７に示す例では、ユーザーには、画像表示部２０の光学像表示部２６
，２８を透過した外景ＳＣが視認されている。外景ＳＣには、視線方向Ｄ１に、第一対象
物Ｏ１（本例では、ブドウ）が含まれている。この場合、画像判定部１６２は、ＲＧＢカ
メラ６１により撮像される外景画像から視線方向Ｄ１に位置する対象物に対して、上記の
ようなパターンマッチングやエッジ検出等を行って、第一対象物Ｏ１を認識する。
ステップＳ９においてＹｅｓと判定された場合、対象物情報取得部１６５は、分光画像
から、特定された第一対象物Ｏ１の画素位置に対応する各分光波長の画素位置を特定し、
当該分光画像の画素位置の階調値に基づいて、第一対象物Ｏ１に対する対象物情報を取得
する（ステップＳ１０）。
例えば、第一対象物Ｏ１に対する糖度を対象物情報として表示させる場合、対象物情報
取得部１６５は、各分光画像のうち、糖の吸収スペクトルに対応する分光波長の分光画像
に基づいて、第一対象物Ｏ１の画素位置における吸光度を算出し、その吸光度に基づいて
糖度を算出する。そして、対象物情報取得部１６５は、算出された糖度を示す画像情報（
第一ＡＲ情報Ｐ１）を生成し、記憶部１２０に記憶する。
この後、画像位置制御部１６６は、外景画像における視線方向Ｄ１に対応する画素位置
に、ステップＳ１０にて生成された対象物情報を示す第一ＡＲ情報Ｐ１の位置を設定し、
表示制御部１６８は、設定された位置に画像を表示（ＡＲ表示）させる（ステップＳ１１
）。例えば、画像位置制御部１６６は、図６に示すように、視線方向Ｄ１に対応する画素
位置又は視線方向Ｄ１の近傍に、第一対象物Ｏ１（ブドウ）の糖度を示す数値を文字画像
の第一ＡＲ情報Ｐ１を画像表示部２０に表示させる。この際、画像位置制御部１６６は、
ユーザーの現在位置と、第一対象物Ｏ１の位置までの距離に応じて、例えば距離が近いほ
ど、第一ＡＲ情報Ｐ１を大きく表示させたり、表示させる第一ＡＲ情報Ｐ１の輝度を上げ
たりしてもよい。
また、ステップＳ９においてＮｏと判定された場合、又はステップＳ１１において第一
対象物Ｏ１に対する対象物情報を示す画像を表示させた後、画像判定部１６２は、視線方
向Ｄ１を中心として予め設定された所定の拡張範囲Ｒ２内に対象物（第二対象物Ｏ２）が
有るか否かを判定する（ステップＳ１２）。なお、対象物の有無の判定としては、ステッ
プＳ９と同様の処理を行う。
ステップＳ１２において、Ｙｅｓと判定された場合、対象物情報取得部１６５は、ステ
ップＳ１０と同様、検出された第二対象物Ｏ２に対する対象物情報を取得する（ステップ
Ｓ１３）。ステップＳ１３は、ステップＳ１０と同様の処理を行い、第二対象物Ｏ２に対
する対象物情報を取得し、その画像情報（第二ＡＲ情報Ｐ２）を生成する。
そして、画像位置制御部１６６及び表示制御部１６８は、第一ＡＲ情報Ｐ１を表示させ
てからの経過時間が、予め設定された待機時間を経過したか否かを判定する（ステップＳ
１４）。
ステップＳ１４でＮｏと判定された場合は、待機時間が経過するまで待機する（ステッ
プＳ１４の処理を繰り返す）。ステップＳ１４において、Ｙｅｓと判定された場合、画像
位置制御部１６６は、外景画像における第二対象物Ｏ２に対応する画素位置に、ステップ
Ｓ１３にて生成された第二ＡＲ情報Ｐ２の位置を設定し、表示制御部１６８は、設定され
た位置に第二ＡＲ情報Ｐ２を表示させる（ステップＳ１５）。
これにより、図６に示す第一対象物Ｏ１に対する第一ＡＲ情報Ｐ１のみが表示された状
態から、所定の待機時間の経過後にＡＲ表示される領域が拡張範囲Ｒ２に拡大され、図７
に示すように、第一対象物Ｏ１の周囲にある第二対象物Ｏ２に対する第二ＡＲ情報Ｐ２が
表示される。
また、ステップＳ１５の後、又は、ステップＳ１２においてＮｏと判定された場合は、
ＡＲ表示処理が終了される。
［本実施形態の作用効果］
本実施形態のＨＭＤ１では、画像表示部２０にユーザーの眼の瞳位置を検出する瞳検出
センサー６３が設けられており、視線特定部１６１は検出された瞳位置に基づいて視線方
向Ｄ１を特定する。そして、対象物情報取得部１６５は、分光カメラ６２により撮像され
た各分光波長の分光画像を用いて、視線方向Ｄ１上の第一対象物Ｏ１に対する対象物情報
を取得し、画像位置制御部１６６及び表示制御部１６８は、取得した対象物情報を示す画
像情報（第一ＡＲ情報Ｐ１）を第一対象物Ｏ１に対応する位置で画像表示部２０に表示さ
せる。
これにより、本実施形態では、ユーザーの視界に入る外景ＳＣのうち、ユーザーの視線
方向Ｄ１にある第一対象物Ｏ１、つまり、ユーザーが現在着目している対象物の対象物情
報をＡＲ表示させることができ、その周囲の対象物に関してはＡＲ表示がなされない。こ
のため、例えば、撮像範囲Ｒ１内の全ての対象物に対する対象物情報が、一度にＡＲ表示
される場合に比べて、ユーザーが着目する対象物（第一対象物Ｏ１）に対する対象物情報
を確認しやすくなり、適切にユーザーに必要な情報を提供することができる。
また、対象物情報取得部１６５は、各分光画像のうち、視線方向Ｄ１上の第一対象物Ｏ
１に対応する部分のみを解析して対象物情報を取得すればよい。このため、撮像範囲Ｒ１
に含まれる全ての対象物に対する対象物情報を取得する場合に比べて、対象物情報を容易
に取得することができる。
例えば、上記実施形態では、対象物の糖度を表示させるが、撮像範囲Ｒ１内の全ての対
象物に対する糖度の表示を行うためには、撮像範囲Ｒ１内の全ての対象物を検出し、それ
ぞれの対象物に対応する画素位置の分光画像の画素値に基づいて、それぞれの対象物に対
する糖度を算出する必要がある。この場合、処理負荷が増大し、対象物情報を表示させる
までの時間も長くなる。これに対して、本実施形態では、視線方向Ｄ１上の第一対象物Ｏ
１の対象物情報を取得すればよいため、処理負荷の軽減を図れ、ユーザーが着目している
対象物に対して迅速なＡＲ表示を行うことができる。
また、本実施形態では、対象物情報取得部１６５は、視線方向Ｄ１上の第一対象物Ｏ１
の対象物情報を表示させた後、時間経過によって、視線方向Ｄ１を中心とした所定の拡張
範囲Ｒ２に含まれる第二対象物Ｏ２の対象物情報を取得し、画像表示部２０に表示させる
。
この場合でも、第一対象物Ｏ１の対象物情報を表示させる際には、第二対象物Ｏ２の対
象物情報が取得しないので、第一対象物Ｏ１に対する対象物情報を表示させる際の処理負
荷の増大は抑制され、かつ第一対象物Ｏ１に対する対象物情報が見やすく、ユーザーに利
便性を高めることができる。
また、第一対象物Ｏ１の対象物情報の表示の後、所定の経過時間（待機時間）が経過す
ると、第一対象物Ｏ１の周囲の第二対象物Ｏ２の対象物情報も表示される。これにより、
拡張範囲Ｒ２に対する複数の対象物に対する対象物情報の表示が可能となる。この際、視
線方向Ｄ１に位置する第一対象物Ｏ１の対象物情報が先に表示されているため、ユーザー
が最も着目する第一対象物Ｏ１に対する対象物情報の表示位置が、視認しにくくなること
がない。
本実施形態では、複数の分光波長に対する分光画像を、順次分光波長を切り替えながら
順に取得する。この場合、各分光画像の撮像タイミングにおいて、ユーザーの頭部位置が
移動すると、分光画像の対象物に対する画素位置がずれる。これに対して、本実施形態で
は、分光画像の撮像タイミングと同時にＲＧＢカメラ６１により外景画像を撮像し、当該
外景画像の特徴点を検出して、各分光画像の撮像タイミングにおける画素のずれ量を検出
する。そして、検出したずれ量に基づいて、各分光画像の画素位置が一致するように、各
分光画像を補正する。
これにより、対象物に対する各分光波長の光の受光量を正確に検出でき、対象物情報取
得部１６５により、対象物情報の糖度を精度よく算出することができる。
また、ずれ量の検出として、各分光画像の特徴点をそれぞれ抽出し、これらの特徴点同
士が一致するように補正してもよい。しかしながら、分光画像では、分光波長によって、
検出可能な特徴点と、検出不可能（又は検出精度が低い）特徴点とが含まれる。このため
、分光画像から特徴点を抽出して補正する場合では、補正精度が低下する。これに対して
、分光画像と同時に撮像される外景画像に基づいて特徴点を抽出する場合、各タイミング
における各外景画像の特徴点を略同じ検出精度で抽出することができる。このため、外景
画像の特徴点に基づいてずれ量を検出することで、分光画像の位置ずれを補正する際に、
精度の高い補正を行うことができる。
［第二実施形態］
上記第一実施形態では、ずれ検出部１６３は、分光画像と同時に撮像される外景画像に
基づいて、各分光画像のずれ量を検出した。これに対して、第二実施形態では、ずれ検出
部によるずれ量の検出方法が、第一実施形態と相違する。
なお、以降の説明にあたり、既に説明した事項については同符号を付し、その説明を省
略又は簡略化する。
第二実施形態のＨＭＤ１は、第一実施形態と略同様の構成を有し、ＣＰＵ１４０がプロ
グラムを読み出し実行することで機能する、ずれ検出部１６３の処理が、第一実施形態と
相違する。
本実施形態のずれ検出部１６３は、９軸センサー６４からの検出信号に基づいて、各分
光画像のずれ量を検出する。したがって、本実施形態では、分光画像の撮像タイミングで
、ＲＧＢカメラ６１により外景画像を撮像する必要がない。つまり、本実施形態では、図
４のステップＳ２において、ＲＧＢカメラ６１による外景画像の撮像処理に替えて、９軸
センサー６４からの検出信号を取得する。
そして、ずれ検出部１６３は、図４のステップＳ５において、９軸センサー６４による
検出信号に基づいて、各分光画像が撮像されたタイミングにおける画像表示部２０の位置
の変位量をずれ量として検出する。例えば、分光波長λ１の分光画像が撮像されたタイミ
ングでの９軸センサー６４の検出信号と、分光波長λ２の分光画像が撮像されたタイミン
グでの９軸センサー６４の検出信号と、に基づいて画像表示部２０の変位量をずれ量とし
て算出する。
その他の構成、及び画像処理方法は、上記第一実施形態と同様であり、ずれ検出部１６
３により検出されたずれ量に基づいて、各分光画像の画素位置を補正した後、視線方向Ｄ
１及び拡張範囲Ｒ２に存在する対象物の対象物情報を表示させる。
［第二実施形態の作用効果］
本実施形態では、各分光画像の画素位置のずれ量を検出する際に、ずれ検出部１６３は
、９軸センサー６４から出力される検出信号に基づく、ユーザーの頭部（画像表示部２０
）の位置の変位量を算出する。
この場合、分光画像の撮像タイミングで、外景画像を撮像する必要がなく、撮像処理に
係る処理負荷を軽減でき、かつ、精度よくずれ量を検出することができる。つまり、画像
の特徴点に基づいてずれ量を検出する場合、各画像の画素間の輝度値の差分を算出する等
、特徴点の検出に処理負荷が係り、かつ、特徴点の検出精度が低い場合では、ずれ量の検
出精度も低下する。これに対して、本実施形態では、９軸センサー６４により画像表示部
２０の実際の変位量を検出するため、ずれ量の検出精度が高く、画像処理に係る処理負荷
も軽減することができる。
［変形例］
なお、本発明は前述の実施形態に限定されるものではなく、本発明の目的を達成できる
範囲での変形、改良等は本発明に含まれるものである。
上記第一実施形態において、ステップＳ６で、現在撮像されている外景画像に対する各
分光画像のずれ量をリアルタイムで検出してもよい。この場合、ステップＳ７のずれ補正
処理においても、リアルタイムで各分光画像の画素位置を、現在撮像されている外景画像
に合わせることができる。この場合、分光画像における第一対象物Ｏ１の位置もリアルタ
イムで更新されることになり、視線方向Ｄ１上に位置する第一対象物に対する対象物情報
をより正確に表示させることができる。
ステップＳ９において、画像判定部１６２により第一対象物Ｏ１を検出する例を示した
が、これに限定されない。
例えば、画像判定部１６２により対象物が有るか否かに拘らず、ステップＳ２で取得さ
れた分光画像に基づいて、視線方向Ｄ１と一致する画素における糖度を解析してもよい。
この場合、当該画素から糖度が解析できた場合、糖分を含む物質がある、つまり第一対象
物Ｏ１が存在すると判定し、当該視線方向Ｄ１に対応する画素位置（例えば視線方向Ｄ１
と重なる位置や、視線方向Ｄ１から所定画素範囲内の近傍位置）に、糖度を示す対象物情
報（第一ＡＲ情報Ｐ１）を表示する。一方、分光画像から視線方向Ｄ１に対する糖度が解
析できなかった場合、例えば視線方向Ｄ１に第一対象物Ｏ１が存在しないと判定する。
このような処理では、外景画像に対して対象物を検出する処理が省略でき、対象物情報
の画像情報をより迅速に表示させることができる。
第一実施形態において、ステップＳ１２からステップＳ１５の処理において、所定の待
機時間が経過した後、第二対象物Ｏ２の対象物情報を表示させる例を示したが、これに限
定されない。
例えば、第一対象物Ｏ１の第一ＡＲ情報Ｐ１を表示させた後、経過時間に応じて、第一
対象物Ｏ１からの距離が近い順に、第二対象物Ｏ２の第二ＡＲ情報Ｐ２を順に表示させる
処理を行ってもよい。
この場合、第二対象物Ｏ２が多数ある場合等において、一度に全ての第二対象物Ｏ２の
対象物情報が表示されないので、例えば、ユーザーが、第一対象物Ｏ１の第一ＡＲ情報Ｐ
１を見失う等の不都合を抑制できる。
上記第一実施形態において、対象物情報として、対象物の糖度を示す情報を例示したが
、これに限定されず、対象物情報として様々な情報を表示させることができる。例えば、
分光画像に基づいて、タンパク質や脂質、水分量等の各種成分を算出して対象物情報とし
て表示させてもよい。また、取得する分光画像としては、可視光域から赤外域に限定され
ず紫外域等を含めてもよく、この場合、紫外域に対する成分分析結果も表示することが可
能となる。
また、対象物情報として、対象物の所定の分光波長に対する分光画像を対象物に重ねて
表示させてもよい。その場合は、分光画像を３Ｄ表示（右目用画像と左目用画像とで視差
のある画像表示）とし、右目、左目のそれぞれで対象物と分光画像が重なるように表示さ
せると尚よい。
さらに、対象物情報として、例えばインターネット等を介して取得される各種情報、例
えば対象物の名称等を併せて表示させてもよく、ＧＰＳモジュール１３４により取得され
る対象物の位置等を併せて表示させてもよい。つまり、対象物情報として、分光測定情報
以外に基づいた情報を併せて表示させてもよい。
上記第一実施形態において、分光カメラ６２により撮像範囲Ｒ１の分光画像を撮像する
例を示したが、これに限定されない。
例えば、分光カメラ６２は、視線方向Ｄ１を含む所定の範囲（例えば拡張範囲Ｒ２）の
分光画像を撮像する構成としてもよい。この場合、ＡＲ表示を実施しない範囲（撮像範囲
Ｒ１内の拡張範囲Ｒ２以外の範囲）に対する分光画像を取得しないため、各分光画像の画
像サイズを縮小できる。また、対象物情報取得部１６５が各分光画像を解析して対象物情
報を取得する際に、読み出す分光画像の画像サイズが小さく、かつ、対象物の検出範囲も
小さくなるので、対象物情報の取得処理に係る処理負荷も軽減できる。
その他、本発明の実施の際の具体的な構造は、本発明の目的を達成できる範囲で他の構
造等に適宜変更できる。
１…ＨＭＤ（ヘッドマウントディスプレイ）、１０…制御部、１１…操作部、２０…画
像表示部、２２…右表示駆動部、２４…左表示駆動部、２６…右光学像表示部、２８…左
光学像表示部、６１…ＲＧＢカメラ、６２…分光カメラ、６３…瞳検出センサー、６４…
９軸センサー、１１０…入力情報取得部、１２０…記憶部、１３０…電源、１３２…無線
通信部、１３４…ＧＰＳモジュール、１３５…操作部、１４０…ＣＰＵ、１６１…視線特
定部、１６２…画像判定部、１６３…ずれ検出部、１６４…分光画像補正部、１６５…対
象物情報取得部、１６６…画像位置制御部、１６７…向き判定部、１６８…表示制御部、
１６９…撮像制御部、１８０…インターフェイス、２０１…右ＢＬ制御部、２０２…左Ｂ
Ｌ制御部、２１１…右ＬＣＤ制御部、２１２…左ＬＣＤ制御部、２２１…右ＢＬ、２２２
…左ＢＬ、２４１…右ＬＣＤ、２４２…左ＬＣＤ、２５１…右投写光学系、２５２…左投
写光学系、２６１…右導光板、２６２…左導光板、６２１…入射光学系、６２２…分光素
子、６２３…撮像部、６２４，６２５…反射膜、６２６…ギャップ変更部、Ｄ１…視線方
向、Ｏ１…第一対象物、Ｏ２…第二対象物、ＯＡ…外部機器、Ｐ１…第一ＡＲ情報、Ｐ２
…第二ＡＲ情報、Ｒ１…撮像範囲、Ｒ２…拡張範囲、ＲＥ…右眼。

Claims (4)

  1. ユーザーの頭部に装着可能なヘッドマウントディスプレイであって、
    前記ヘッドマウントディスプレイを装着した状態において前記ユーザーの瞳位置を検出する瞳検出部と、
    前記瞳位置に基づいて、前記ユーザーの視線方向を特定する視線特定部と、
    前記ヘッドマウントディスプレイを装着した状態における前記ユーザーの視界内の景色から複数波長の分光画像を撮像し、前記分光画像から前記視線方向に位置する第１の部分の第１の分光測定情報を取得する分光測定部と、
    前記第１の分光測定情報に基づいた分光情報の第１の解析を行うことで、前記視線方向に位置する第１の対象物に関する第１の解析情報を取得する対象物情報取得部と、
    前記景色の前記第１の対象物に対する位置に前記第１の解析情報を表示する表示部と、
    を備え、
    前記分光測定部は、前記分光画像から前記視線方向を中心とした所定範囲内に位置する第２の部分であって前記第１の部分とは異なる第２の部分の第２の分光測定情報を取得し、
    前記対象物情報取得部は、前記第１の分光測定情報に基づいた分光情報の前記第１の解析を行った後で、前記第２の分光測定情報に基づいた分光情報の第２の解析を行うことで、前記所定範囲内に位置する第２の対象物に関する第２の解析情報を取得し、
    前記表示部は、前記第１の対象物に対する第１の位置に前記第１の解析情報を表示した後、時間経過に応じて、前記第２の対象物に対する第２の位置に前記第２の解析情報を表示する、
    ことを特徴とするヘッドマウントディスプレイ。
  2. 請求項１に記載のヘッドマウントディスプレイにおいて、
    前記分光測定部は、入射光を分光し、分光波長を変更可能な分光素子と、前記分光素子により分光された光を撮像し、前記分光画像を得る撮像部とを有し、
    前記分光素子により前記分光波長を順次切り替えた際の撮像位置のずれ量を検出するずれ検出部と、
    複数波長の前記分光画像における前記ずれ量を補正する分光画像補正部と、を備える
    ことを特徴とするヘッドマウントディスプレイ。
  3. 請求項２に記載のヘッドマウントディスプレイにおいて、
    前記景色を撮像するＲＧＢカメラを備え、
    前記ずれ検出部は、前記分光画像が取得されたタイミングで前記ＲＧＢカメラにより撮像されたＲＧＢ画像の特徴点の位置から前記ずれ量を検出する
    ことを特徴とするヘッドマウントディスプレイ。
  4. 請求項２に記載のヘッドマウントディスプレイにおいて、
    当該ヘッドマウントディスプレイの位置の変位を検出する変位検出センサーを備え、
    前記ずれ検出部は、前記変位検出センサーに基づいて前記ずれ量を検出する
    ことを特徴とするヘッドマウントディスプレイ。
JP2017064544A 2017-03-29 2017-03-29 ヘッドマウントディスプレイ Active JP6903998B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017064544A JP6903998B2 (ja) 2017-03-29 2017-03-29 ヘッドマウントディスプレイ
US15/920,882 US20180285642A1 (en) 2017-03-29 2018-03-14 Head Mounted Display
CN201810227175.4A CN108693647A (zh) 2017-03-29 2018-03-19 头戴式显示器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017064544A JP6903998B2 (ja) 2017-03-29 2017-03-29 ヘッドマウントディスプレイ

Publications (2)

Publication Number Publication Date
JP2018170554A JP2018170554A (ja) 2018-11-01
JP6903998B2 true JP6903998B2 (ja) 2021-07-14

Family

ID=63669656

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017064544A Active JP6903998B2 (ja) 2017-03-29 2017-03-29 ヘッドマウントディスプレイ

Country Status (3)

Country Link
US (1) US20180285642A1 (ja)
JP (1) JP6903998B2 (ja)
CN (1) CN108693647A (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113168279A (zh) * 2018-11-29 2021-07-23 麦克赛尔株式会社 影像显示装置和方法
JP7238390B2 (ja) * 2018-12-21 2023-03-14 セイコーエプソン株式会社 情報システムおよび特定方法
JP2020149672A (ja) * 2019-03-11 2020-09-17 株式会社ミツトヨ 測定結果表示装置及びプログラム
JP7234718B2 (ja) * 2019-03-18 2023-03-08 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム及びプログラム
JP2020195104A (ja) * 2019-05-30 2020-12-03 セイコーエプソン株式会社 表示方法、表示装置および情報システム
JP2023031728A (ja) * 2021-08-25 2023-03-09 トヨタ自動車株式会社 表示制御装置、表示システム、表示方法及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004343288A (ja) * 2003-05-14 2004-12-02 Hitachi Ltd 携帯端末、情報配信装置、通信システム、及び携帯端末を利用したユーザへの情報提示方法
JP4426918B2 (ja) * 2004-07-20 2010-03-03 オリンパス株式会社 情報表示システム
US8982665B2 (en) * 2008-10-08 2015-03-17 Westerngeco L.L.C. Dithered slip sweep vibroseis acquisition system and technique
JP6123360B2 (ja) * 2013-03-07 2017-05-10 セイコーエプソン株式会社 分光測定装置
US20150077381A1 (en) * 2013-09-19 2015-03-19 Qualcomm Incorporated Method and apparatus for controlling display of region in mobile device
JP2015177397A (ja) * 2014-03-17 2015-10-05 セイコーエプソン株式会社 ヘッドマウントディスプレイおよび農作業補助システム
KR102219464B1 (ko) * 2014-05-23 2021-02-25 삼성전자주식회사 보안 운용 방법 및 이를 지원하는 전자 장치
CA3177264A1 (en) * 2014-06-18 2015-12-23 Innopix, Inc. Spectral imaging system for remote and noninvasive detection of target substances using spectral filter arrays and image capture arrays
JP2016024208A (ja) * 2014-07-16 2016-02-08 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
US20170287219A1 (en) * 2016-03-31 2017-10-05 Adam G. Poulos Electromagnetic tracking of objects for mixed reality

Also Published As

Publication number Publication date
CN108693647A (zh) 2018-10-23
US20180285642A1 (en) 2018-10-04
JP2018170554A (ja) 2018-11-01

Similar Documents

Publication Publication Date Title
JP6903998B2 (ja) ヘッドマウントディスプレイ
US11301034B2 (en) Display device, control method for display device, and computer program
US9792710B2 (en) Display device, and method of controlling display device
US9898868B2 (en) Display device, method of controlling the same, and program
JP6089705B2 (ja) 表示装置、および、表示装置の制御方法
TWI571654B (zh) 整合眼睛追蹤及顯示系統與用於整合眼睛追蹤及顯示的方法
JP5250834B2 (ja) 頭部装着式映像表示装置
US9348144B2 (en) Display device and control method thereof
JP6492531B2 (ja) 表示装置、及び、表示装置の制御方法
US9846305B2 (en) Head mounted display, method for controlling head mounted display, and computer program
US10782531B2 (en) Head-mounted type display device and method of controlling head-mounted type display device
CN105739095B (zh) 显示装置以及显示装置的控制方法
CN109960481B (zh) 显示系统及其控制方法
CN109960039B (zh) 显示系统、电子设备以及显示方法
US9870048B2 (en) Head-mounted display device, method of controlling the same, and computer program
US20160021360A1 (en) Display device, method of controlling display device, and program
JP2016122177A (ja) 表示装置、及び、表示装置の制御方法
JP6561606B2 (ja) 表示装置、及び、表示装置の制御方法
JP2017092628A (ja) 表示装置、及び、表示装置の制御方法
JP6609920B2 (ja) 表示装置、及び、表示装置の制御方法
JP2016116066A (ja) 表示装置、及び、表示装置の制御方法
US11860371B1 (en) Eyewear with eye-tracking reflective element
US11792371B2 (en) Projector with field lens
JP2016031373A (ja) 表示装置、表示方法、表示システム、及び、プログラム
JP2016181864A (ja) 表示装置、及び、表示装置の制御方法

Legal Events

Date Code Title Description
RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20180910

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190402

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200206

RD07 Notification of extinguishment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7427

Effective date: 20200803

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200903

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210525

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210607

R150 Certificate of patent or registration of utility model

Ref document number: 6903998

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150