JP6669183B2 - 頭部装着型表示装置および頭部装着型表示装置の制御方法 - Google Patents
頭部装着型表示装置および頭部装着型表示装置の制御方法 Download PDFInfo
- Publication number
- JP6669183B2 JP6669183B2 JP2018038150A JP2018038150A JP6669183B2 JP 6669183 B2 JP6669183 B2 JP 6669183B2 JP 2018038150 A JP2018038150 A JP 2018038150A JP 2018038150 A JP2018038150 A JP 2018038150A JP 6669183 B2 JP6669183 B2 JP 6669183B2
- Authority
- JP
- Japan
- Prior art keywords
- head
- user
- image
- unit
- mounted display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Description
また、第二の態様の頭部装着型表示装置は、使用者の頭部に装着された状態で、複数のオブジェクトとポインターとを表示する画像表示部と、前記使用者の両眼のそれぞれについて、視線方向を検出する視線方向検出部と、前記使用者の前記両眼の一方の眼に関して、前記検出された視線方向に応じて前記ポインターの位置を変更し、前記複数のオブジェクトのうち、前記ポインターと重なったオブジェクトに応じた内容の制御を行なう制御部と、を備えたことを特徴とする。
A.実施形態:
A−1.頭部装着型表示装置の構成:
A−2.視線操作入力処理:
B.変形例:
図1は、頭部装着型表示装置100の外観構成を示す説明図である。頭部装着型表示装置100は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ(Head Mounted Display、HMD)とも呼ばれる。本実施形態の頭部装着型表示装置100は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本明細書では、頭部装着型表示装置100によって使用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、画像データに基づいて生成された画像光を射出することを「画像を表示する」ともいう。
図4および図5は、視線操作入力処理の流れを示す説明図である。視線操作入力処理では、予め定められた使用者のまぶたの状態が検出されると、画像表示部20の表示モードが視線入力モードへと移行し、使用者は、手を使わずにまぶたの開閉状態に基づいて頭部装着型表示装置100等の制御を行なうことができる。初めに、眼撮像カメラ37,38は、所定の期間に予め定められた使用者のまぶたの状態が検出されるかを監視する(ステップS310)。本実施形態では、予め定められたまぶたの状態は、使用者の利き目である右眼が開いた状態、かつ、利き目ではない左眼のまぶたが閉じた状態、の組み合わせである。なお、一般に、利き目は、利き目でないもう一方の眼に比べて、外景を視認しやすく、利き目でないもう一方の眼は、利き目に比べて、まぶたを閉じやすい。そのため、本実施形態では、予め定められたまぶたの状態の組み合わせは、使用者にとって使い勝手が良い。利き目と利き目でないもう一方の眼とは、使用者が予め設定してもよいし、他の実施形態では、まぶたの状態の組み合わせは、利き目に限られず、右まぶたと左まぶたとの状態の組み合わせであってもよい。
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。
図8は、画像表示部20に表示される制御用画像CIaの一例を示す説明図である。図8には、使用者が視認する外景SCおよび表示された制御用画像CIaを含む視野VRが示されている。制御用画像CIaは、無線通信部132を介して頭部装着型表示装置100に接続されたテレビの操作部(リモコン)を表わす画像である。制御用画像CIaには、テレビの電源のON/OFFを切り替える電源ボタンPWと、テレビの音量を調節する音量ボタンVup,Vdwと、テレビのチャンネルを変更するチャンネル変更ボタンCup,Cdwと、が含まれている。音量ボタンVupが選択されて決定されると、テレビの音量が所定の数値だけ大きくなり、音量ボタンVdwが選択されて決定されると、テレビの音量が所定の数値だけ小さくなる。チャンネル変更ボタンCupが選択されて決定されると、テレビは、受信してチャンネル数を所定の数だけ大きいチャンネル数に設定して受信する。チャンネル変更ボタンCdwが選択されて決定されると、テレビは、受信してチャンネル数を所定の数だけ小さいチャンネル数に設定して受信する。また、制御用画像CIaには、テレビと有線で接続されているDVD再生機の操作を行なう複数のボタンを有するDVD操作ボタン群PBも含まれている。図8に示すように、ポインターP1は、DVD操作ボタン群PBに含まれるDVD再生機の再生を停止する停止ボタンSBに重なる位置に表示されている。上記実施形態と同じように、眼撮像カメラ37,38が決定の操作を示すまぶたの状態を検出すると、視線入力部175は、DVD再生機で再生されているコンテンツを停止させる。この変形例では、頭部装着型表示装置100と接続している装置の調整が、使用者の視線方向およびまぶたの状態によって操作される。
また、上記実施形態では、まぶたの開閉状態に基づいて決定の操作が検出されたが、決定の操作を検出する方法はまぶたの開閉状態に限られず、種々変形可能である。まぶたが開いている状態であっても、使用者が視認する外景の色や照度に基づいて各種操作が行なわれてもよい。この変形例では、照度センサー45,47が使用者の右眼および左眼に視認されると想定される外景の照度を検出する。そのため、使用者がまぶたを閉じなくても、例えば、使用者の手のひらによって左光学像表示部28の表面が覆われると、左眼に外景画視認されなくなるため、左眼照度センサー47は、右眼照度センサー45が検出する照度よりも小さい値の照度を検出する。照度処理部145が左眼照度センサー47によって検出する照度が右眼照度センサー45によって検出する照度よりも所定の閾値以上小さいと判定した場合に、視線入力部175は、上記実施形態における左のまぶたが閉じられた状態と同様の操作を行なう。そのため、この変形例の頭部装着型表示装置100では、使用者は、まぶたの状態による操作に疲れた場合に、手のひら等の体の一部を用いて感覚的に操作を行なうことができ、使用者の利便性が向上する。
また、上記実施形態では、制御用画像CIが予め定められた位置に表示されるとしたが、制御用画像CIが表示される位置は予め定められた位置等に固定される必要はなく、制御用画像CIの表示位置および表示位置の変更方法については、種々変形可能である。この変形例の頭部装着型表示装置100では、9軸センサー66および方向判定部161が使用者の頭部の向きを推定して、推定した頭部の向きと重力方向とがなす角度を算出する。例えば、使用者が上を向いて、方向判定部161が算出した角度が所定の角度以上である場合には、画像表示部20は、制御用画像CIを最大画像表示領域PNにおける上の部分以外に表示する。そのため、この変形例の頭部装着型表示装置100では、使用者が頭部の向きを変更して、使用者が視認したい対象が変更されたことが推定され、使用者の視界を妨げない位置に自動的に制御用画像CIが表示されるため、使用者の利便性が向上する。
また、上記実施形態では、距離センサー63によって、距離センサー63から所定の距離内にある対象物を検出したが、頭部装着型表示装置100が必ずしも距離センサー63を備える必要はなく、頭部装着型表示装置100の構成については種々変形可能である。例えば、外景撮像カメラ61および画像判定部142が、対象物との距離とは関係なく、撮像した対象物に対してパターンマッチングを行なって設定対象物であるか否かを判定してもよい。
また、外景撮像カメラ61は、制御部10に配置されてもよいし、制御部10や画像表示部20とは別体で、例えば、使用者が装着するヘルメットの上部等に配置されてもよい。
上記実施形態における頭部装着型表示装置100の構成は、あくまで一例であり、種々変形可能である。例えば、制御部10に設けられた方向キー16やトラックパッド14の一方を省略したり、方向キー16やトラックパッド14に加えてまたは方向キー16やトラックパッド14に代えて操作用スティック等の他の操作用インターフェイスを設けたりしてもよい。また、制御部10は、キーボードやマウス等の入力デバイスを接続可能な構成であり、キーボードやマウスから入力を受け付けるものとしてもよい。
11…決定キー
12…点灯部
13…表示切替キー
14…トラックパッド
15…輝度切替キー
16…方向キー
17…メニューキー
18…電源スイッチ
20…画像表示部
21…右保持部
22…右表示駆動部
23…左保持部
24…左表示駆動部
26…右光学像表示部
28…左光学像表示部
30…イヤホンプラグ
32…右イヤホン
34…左イヤホン
37…右眼撮像カメラ(検出部、視線方向検出部)
38…左眼撮像カメラ(検出部、視線方向検出部)
40…接続部
42…右コード
44…左コード
45…右眼照度センサー(検出部)
46…連結部材
47…左眼照度センサー(検出部)
48…本体コード
51,52…送信部
53,54…受信部
61…外景撮像カメラ
63…距離センサー(画像認識部)
66…9軸センサー(向き検出部)
100…頭部装着型表示装置
110…入力情報取得部
120…記憶部
130…電源
132…無線通信部
135…操作部
140…CPU
142…画像判定部(視線方向検出部、画像認識部)
145…照度処理部(検出部)
150…オペレーティングシステム
160…画像処理部
161…方向判定部(向き検出部)
170…音声処理部
175…視線入力部(視線入力制御部)
180…インターフェイス
190…表示制御部
201…右バックライト制御部
202…左バックライト制御部
211…右LCD制御部
212…左LCD制御部
221…右バックライト
222…左バックライト
241…右LCD
242…左LCD
251…右投写光学系
252…左投写光学系
261…右導光板
262…左導光板
VSync…垂直同期信号
HSync…水平同期信号
PCLK…クロック信号
Data…画像データ
USBインターフェイス…マイクロ
P1…ポインター
B1…検索ボタン(オブジェクト)
B2…切替キー(オブジェクト)
B3…メニュー切替キー(オブジェクト)
C1…カーソル画像(制御用画像)
C2…一覧画像(制御用画像)
CI,CIa,CIb…制御用画像(制御用画像)
KB…キーボード
RB…決定キー(オブジェクト)
PB…DVD操作ボタン群
SB…停止ボタン(オブジェクト)
SC…外景
HD…手のひら
RE…右眼
LE…左眼
SI…選択表示画像
EL…端部
IL…照明光
PL…画像光
PN…最大画像表示領域
VR…視野
PW…電源ボタン(オブジェクト)
IB1,IB2…入力スペース
SP1…親指の先端
SP2…人差し指の先端
SP3…小指の先端
Vup,Vdw…音量ボタン(オブジェクト)
Cup,Cdw…チャンネル変更ボタン(オブジェクト)
Claims (13)
- 使用者の視線方向を検出する視線方向検出部と、
使用者の眼から所定の距離に存在し、前記視線方向上の遮蔽物を検出する検出部と、
頭部の動きを検出するセンサーと、
複数のオブジェクトと、ポインターと、を表示するビデオ透過型の画像表示部と、
制御部と、を有し、
前記制御部は、
前記視線方向検出部で検出した視線方向に応じてポインターの位置を変更し、
前記複数のオブジェクトのうち、前記ポインターが重なったオブジェクトに応じた内容の制御を行ない、
前記センサーで検出した頭部の動きに応じて前記複数のオブジェクトの位置を変更し、
前記遮蔽物の検出結果に基づいて、選択可能な状態とされた前記オブジェクトの決定を行なうこと、を特徴とし、
前記画像表示部は、制御用画像を表示する領域を、前記遮蔽物の検出結果により前記遮蔽物が視線方向を遮蔽したと判断された際の前記視線方向上に設定する、頭部装着型表示装置。 - 使用者の視線方向を検出する視線方向検出部と、
使用者の眼から所定の距離に存在し、前記視線方向上の遮蔽物を検出する検出部と、
頭部の動きを検出するセンサーと、
複数のオブジェクトと、ポインターと、を表示するビデオ透過型の画像表示部と、
制御部と、を有し、
前記複数のオブジェクトはキーボードを構成する各キーを表すオブジェクトであり、
前記制御部は、
前記視線方向検出部で検出した視線方向に応じてポインターの位置を変更し、
前記複数のオブジェクトのうち、前記ポインターが重なったオブジェクトに応じた内容の制御を行ない、
前記センサーで検出した頭部の動きに応じて前記複数のオブジェクトの位置を変更し、
前記遮蔽物の検出結果に基づいて、前記ポインターが重なったオブジェクトを選択可能な状態のオブジェクトであると決定し、当該オブジェクトに割り当てられたキーに対応した文字の入力を行なうこと、
を特徴とし、
前記画像表示部は、制御用画像を表示する領域を、前記遮蔽物の検出結果により前記遮蔽物が視線方向を遮蔽したと判断された際の前記視線方向上に設定する、
頭部装着型表示装置。 - 使用者の頭部に装着された状態で、複数のオブジェクトとポインターとを表示する画像表示部と、
前記使用者の両眼のそれぞれについて、視線方向を検出する視線方向検出部と、
前記使用者の前記両眼の一方の眼に関して、前記検出された視線方向に応じて前記ポインターの位置を変更し、前記複数のオブジェクトのうち、前記ポインターと重なったオブジェクトに応じた内容の制御を行なう制御部と、
使用者の眼から所定の距離に存在し、前記視線方向上の遮蔽物を検出する検出部と、
を備え、
前記制御部は、前記遮蔽物の検出結果に基づいて、選択可能な状態とされた前記オブジェクトの決定を行ない、
前記画像表示部は、制御用画像を表示する領域を、前記遮蔽物の検出結果により前記遮蔽物が視線方向を遮蔽したと判断された際の前記視線方向上に設定する、
を備えた、頭部装着型表示装置。 - 使用者の頭部に装着された状態で、複数のオブジェクトとポインターとを表示する画像表示部と、
前記使用者の両眼のそれぞれについて、視線方向を検出する視線方向検出部と、
前記使用者の前記両眼の一方の眼に関して、前記検出された視線方向に応じて前記ポインターの位置を変更し、前記複数のオブジェクトのうち、前記ポインターと重なったオブジェクトに応じた内容の制御を行なう制御部と、
使用者の眼から所定の距離に存在し、前記視線方向上の遮蔽物を検出する検出部と、
を備え、
前記複数のオブジェクトはキーボードを構成する各キーを表すオブジェクトであり、
前記制御部は、前記遮蔽物の検出結果に基づいて、前記ポインターが重なったオブジェクトを選択可能な状態のオブジェクトであると決定し、当該オブジェクトに割り当てられたキーに対応した文字の入力を行ない、
前記画像表示部は、制御用画像を表示する領域を、前記遮蔽物の検出結果により前記遮蔽物が視線方向を遮蔽したと判断された際の前記視線方向上に設定する、
頭部装着型表示装置。 - 請求項1から請求項4のいずれか一項に記載の頭部装着型表示装置であって、
前記検出部は、前記遮蔽物としての使用者のまぶたの状態を検出し、
前記制御部は、前記制御を、前記ポインターが重なった前記オブジェクトと、前記検出された前記まぶたの状態とに応じて行なう、頭部装着型表示装置。 - 請求項5に記載の頭部装着型表示装置であって、
前記検出部は、使用者の右まぶたの開閉状態と左まぶたの開閉状態とを検出し、
前記制御部は、前記制御を、検出された前記右まぶたの開閉状態と前記左まぶたの開閉状態との組み合わせと、前記ポインターが重なった前記オブジェクトと、に応じて行なう、頭部装着型表示装置。 - 請求項1から請求項6のいずれか一項に記載の頭部装着型表示装置であって、
前記検出部は、使用者の右眼と左眼とのそれぞれから前記所定の距離までの範囲における色または照度の少なくとも一方を示す右眼前指標値および左眼前指標値とを検出し、
前記制御部は、前記制御を、前記ポインターが重なった前記オブジェクトと、前記検出された前記右眼前指標値および前記左眼前指標値と、に応じて行なう、頭部装着型表示装置。 - 請求項1または請求項3に記載の頭部装着型表示装置であって、
前記複数のオブジェクトはキーボードを構成する各キーを表すオブジェクトであり、
前記制御部は、前記制御として、前記ポインターが重なった前記オブジェクトに割り当てられたキーに対応した文字の入力を行なう、頭部装着型表示装置。 - 請求項1から請求項8のいずれか一項に記載の頭部装着型表示装置であって、
前記検出部は、使用者の右眼と左眼とのそれぞれから前記所定の距離までの範囲における色または照度の少なくとも一方を示す右眼前指標値および左眼前指標値を検出し、
前記制御部は、前記制御を、前記ポインターが重なった前記オブジェクトと、検出された前記右眼前指標値および前記左眼前指標値と、に応じた内容で行なう、頭部装着型表示装置。 - 請求項1から請求項9のいずれか一項に記載の頭部装着型表示装置であって、
視線の後の確定作業を、物理ボタンや別体のユーザーインターフェースで行うことを特徴とする
頭部装着型表示装置。 - 請求項1から請求項10のいずれか一項に記載の頭部装着型表示装置であって、
検出部が赤外線センサーであることを特徴とする
頭部装着型表示装置。 - 請求項1または請求項2に記載の頭部装着型表示装置であって、
前記画像表示部が単眼タイプであることを特徴とする
頭部装着型表示装置。 - 請求項3または請求項4に記載の頭部装着型表示装置であって、
当該頭部装着型表示装置は、ビデオ透過型である頭部装着型表示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018038150A JP6669183B2 (ja) | 2018-03-05 | 2018-03-05 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018038150A JP6669183B2 (ja) | 2018-03-05 | 2018-03-05 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013061466A Division JP6303274B2 (ja) | 2013-03-25 | 2013-03-25 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018107823A JP2018107823A (ja) | 2018-07-05 |
JP6669183B2 true JP6669183B2 (ja) | 2020-03-18 |
Family
ID=62787460
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018038150A Active JP6669183B2 (ja) | 2018-03-05 | 2018-03-05 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6669183B2 (ja) |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05108251A (ja) * | 1991-10-17 | 1993-04-30 | Sharp Corp | 視線入力式の情報処理システム |
JPH075978A (ja) * | 1993-06-18 | 1995-01-10 | Sony Corp | 入力装置 |
JPH0749744A (ja) * | 1993-08-04 | 1995-02-21 | Pioneer Electron Corp | 頭部搭載型表示入力装置 |
JPH0764709A (ja) * | 1993-08-26 | 1995-03-10 | Olympus Optical Co Ltd | 指示処理装置 |
JP2994960B2 (ja) * | 1994-06-17 | 1999-12-27 | 三洋電機株式会社 | 虚像式立体画像表示装置 |
JPH09274144A (ja) * | 1996-04-02 | 1997-10-21 | Canon Inc | 画像表示装置 |
JP2001154794A (ja) * | 1999-11-29 | 2001-06-08 | Nec Fielding Ltd | まばたきによるクリック機能を有するポインティング装置 |
JP2002318652A (ja) * | 2001-04-20 | 2002-10-31 | Foundation For Nara Institute Of Science & Technology | 仮想入力装置およびプログラム |
JP4927631B2 (ja) * | 2006-06-27 | 2012-05-09 | パナソニック株式会社 | 表示装置、その制御方法、プログラム、記録媒体および集積回路 |
JP5228305B2 (ja) * | 2006-09-08 | 2013-07-03 | ソニー株式会社 | 表示装置、表示方法 |
JP5077879B2 (ja) * | 2007-08-29 | 2012-11-21 | 国立大学法人佐賀大学 | 視線入力装置、視線入力方法、及び、視線入力プログラム |
JP2011203446A (ja) * | 2010-03-25 | 2011-10-13 | Fujifilm Corp | ヘッドマウントディスプレイ装置 |
JP2013016116A (ja) * | 2011-07-06 | 2013-01-24 | Sony Corp | 情報処理装置、画像表示装置、および情報処理方法 |
JP6303274B2 (ja) * | 2013-03-25 | 2018-04-04 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
-
2018
- 2018-03-05 JP JP2018038150A patent/JP6669183B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018107823A (ja) | 2018-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9921646B2 (en) | Head-mounted display device and method of controlling head-mounted display device | |
JP6277673B2 (ja) | 頭部装着型表示装置および頭部装着型表示装置の制御方法 | |
US9766715B2 (en) | Head-mount type display device, control system, method of controlling head-mount type display device, and computer program | |
JP6107276B2 (ja) | 頭部装着型表示装置および頭部装着型表示装置の制御方法 | |
JP6217244B2 (ja) | 画像処理装置、これを有する頭部装着型表示装置、画像処理方法およびコンピュータープログラム | |
JP6264871B2 (ja) | 情報処理装置および情報処理装置の制御方法 | |
JP6094305B2 (ja) | 頭部装着型表示装置、および、頭部装着型表示装置の制御方法 | |
JP6303274B2 (ja) | 頭部装着型表示装置および頭部装着型表示装置の制御方法 | |
JP6488786B2 (ja) | 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム | |
JP6318596B2 (ja) | 情報処理装置および情報処理装置の制御方法 | |
JP6459380B2 (ja) | 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム | |
TW201510573A (zh) | 頭部配戴型顯示裝置及頭部配戴型顯示裝置之控制方法 | |
JP6427942B2 (ja) | 頭部装着型表示装置、制御システム、および、頭部装着型表示装置の制御方法 | |
JP2016133399A (ja) | 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム | |
JP6337534B2 (ja) | 頭部装着型表示装置および頭部装着型表示装置の制御方法 | |
JP6135162B2 (ja) | 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム | |
JP6740613B2 (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
JP6369583B2 (ja) | 頭部装着型表示装置および頭部装着型表示装置の制御方法 | |
JP6669183B2 (ja) | 頭部装着型表示装置および頭部装着型表示装置の制御方法 | |
JP6304415B2 (ja) | 頭部装着型表示装置、および、頭部装着型表示装置の制御方法 | |
JP2016212769A (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
JP6375662B2 (ja) | 頭部装着型表示装置 | |
JP6287399B2 (ja) | 頭部装着型表示装置および頭部装着型表示装置の制御方法 | |
JP6217772B2 (ja) | 頭部装着型表示装置および頭部装着型表示装置の制御方法 | |
JP2017191424A (ja) | 頭部装着型表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180404 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180404 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190319 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190516 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191112 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200128 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200210 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6669183 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |