JPWO2020100422A1 - 表示装置、および表示制御方法、並びにプログラム - Google Patents
表示装置、および表示制御方法、並びにプログラム Download PDFInfo
- Publication number
- JPWO2020100422A1 JPWO2020100422A1 JP2020556657A JP2020556657A JPWO2020100422A1 JP WO2020100422 A1 JPWO2020100422 A1 JP WO2020100422A1 JP 2020556657 A JP2020556657 A JP 2020556657A JP 2020556657 A JP2020556657 A JP 2020556657A JP WO2020100422 A1 JPWO2020100422 A1 JP WO2020100422A1
- Authority
- JP
- Japan
- Prior art keywords
- user
- display area
- viewpoint
- display device
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 110
- 230000008569 process Effects 0.000 claims description 98
- 238000012545 processing Methods 0.000 claims description 52
- 230000008859 change Effects 0.000 claims description 3
- 210000001508 eye Anatomy 0.000 description 29
- 238000001514 detection method Methods 0.000 description 20
- 210000005252 bulbus oculi Anatomy 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000007935 neutral effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000014759 maintenance of location Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 2
- 230000002730 additional effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/23—Head-up displays [HUD]
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
- G06F3/04895—Guidance during keyboard input operation, e.g. prompting
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/2092—Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Mechanical Engineering (AREA)
- Chemical & Material Sciences (AREA)
- Transportation (AREA)
- Combustion & Propulsion (AREA)
- Optics & Photonics (AREA)
- Computer Hardware Design (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Instrument Panels (AREA)
- Position Input By Displaying (AREA)
Abstract
Description
例えば特許文献1(特許6081839号公報)には、3次元表示装置に奥行の異なる複数の画像面を表示し、前方の画像面に操作ボタンを表示して、ユーザがその操作ボタンを注視したことを検出した場合に、操作ボタンを押下したと判定する構成について開示している。
例えば、奥行距離の遠い第1の画像面に画像を表示し、さらに奥行距離の近い第2の画像面にも異なる画像を表示し、手前の第2の画像面をユーザ視点の移動に追従させた移動して表示する。
例えば、この視点追従型表示画面をユーザ視点の左側に表示し、ユーザ視点が右側に移動すれば、視点追従型表示面も右側に移動し、左に移動すれば左に移動させるといった構成である。
すなわち、ユーザ視点の左側に表示した視点追従型表示画面を、ユーザが見ようとすると、視点を左に移動させることになるが、この視点移動に伴い、視点追従型表示画面も左に移動してしまうため、ユーザは視点追従型表示画面の内容を見ることができなくなってしまう。
ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有し、
前記制御部は、
前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定する表示装置にある。
表示装置において実行する表示制御方法であり、
前記表示装置は、ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有し、
前記制御部が、
前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定する表示制御方法にある。
表示装置において表示制御を実行させるプログラムであり、
前記表示装置は、ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有し、
前記プログラムは、前記制御部に、
前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定する処理を実行させるプログラムにある。
具体的には、例えば、ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部は、視点追従表示領域をユーザ注視点に追従させるか、追従を停止させるかをユーザ注視点の滞留時間に応じて決定する。表示装置は固定表示領域前方に視点追従表示領域を観察可能とした三次元表示装置や、HUDとして構成される。制御部はユーザ注視点の滞留時間が予め規定した規定時間t以上となった場合、視点追従表示領域をユーザ注視点に追従させず固定して表示する。規定時間tは表示装置に対するユーザ入力や車両のハンドル操作に応じて変更される。
本構成により、視点追従表示領域の移動制御を実行して、視点追従表示領域の表示情報を容易に確認可能とした構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
1.三次元画像の表示処理と、視点追従表示処理の概要について
2.本開示の表示装置の実行する処理の概要について
3.本開示の表示装置の構成と処理の詳細について
4.車両のHUD(ヘッドアップディスプレイ)の表示部に視点追従表示領域を設定した実施例について
5.その他の実施例について
6.表示装置のハードウェア構成例について
7.本開示の構成のまとめ
まず、三次元画像の表示処理と、視点追従表示処理の概要について説明する。
この図1に示す構成は、先に説明した特許文献1(特許6081839号公報)に記載された構成に相当する。
データ表示画面A11と、データ表示画面B12である。
視聴者であるユーザ20は、データ表示画面A11がデータ表示画面B12の手前に位置すると視覚的に認識する。
これは、各画面A,Bをそれぞれ異なる視差量を持つ画像として設定することで実現できる。
このように、三次元画像表示装置を利用して視線入力を行うことで、様々な処理を行うことが可能となる。
図2に、視点追従表示領域を有する三次元画像表示装置の例を示す。
表示装置30は、固定表示領域31と視点追従表示領域32を有する。ユーザ20は、コントローラ21を有しており、コントローラ21を用いて、固定表示領域31上の文字選択カーソル34を移動させて、固定表示領域31に表示された文字列から特定の文字を選択し、コントローラ21の入力決定ボタンを押下して文字を入力する。
入力された文字列は、視点追従表示領域32に表示される。
表示装置30の制御部は、視点追従表示領域32をユーザ注視点41に追従させて移動させる制御を行う。
視点追従表示領域32は、ユーザ注視点41の隣接位置に表示される。図に示す例はユーザ注視点41の左側に表示されている。
図4(1)に示す例は、ユーザ20が固定表示領域31の表示情報Bを確認中の状態であり、ユーザ注視点41が固定表示領域31上にある。この状態で、視点追従表示領域32はユーザ注視点41の左側に表示されている。
この状態は、何も問題がない。
次に、本開示の表示装置の実行する処理の概要について説明する。
図5は、図4を参照して説明したと同様、固定表示領域31と視点追従表示領域32を有する三次元表示装置の表示例を示している。
図5に示す例は、ユーザは、継続して固定表示領域31の表示情報Bを確認中であり、何の問題もない。
図6も、図5と同様、固定表示領域31と視点追従表示領域32を有する三次元表示装置の表示例を示している。
本開示の表示装置は、ある条件の下で視点追従表示領域32をユーザ注視点41に追従させない制御を実行する。
図7には、ユーザ20とユーザ注視点41との距離の異なる2つの図を示している。
図7(a)は、ユーザ20とユーザ注視点41との距離が遠く、図7(b)は、ユーザ20とユーザ注視点41との距離が近い。
左目とユーザ注視点41とを結ぶ直線と、右目とユーザ注視点41とを結ぶ直線とのなす角を輻輳角と呼ぶ。
また、ユーザ20の目からユーザ注視点41までの距離を輻輳距離と呼ぶ。
θa<θb
La>Lb
本開示の表示装置は、表示装置に備えられたカメラを用いてユーザの両目の視線方向を解析し、ユーザ注視点の3次元位置や輻輳距離を算出する。
この算出結果を利用して、視線追従表示領域の移動制御を実行する。
次に、本開示の表示装置の構成と処理の詳細について説明する。
図8に示す表示装置100は、先に図2を参照して説明したと同様のオンスクリーンキーボード(OSK:On Screen Keyboard)である。
入力された文字列は、視点追従表示領域102に表示される。
なお、図8左に示すように表示領域の表示面に平行な水平右方向をX軸、表示面に平行な垂直上方向をY軸、表示領域の表示面に垂直な方向(ユーザ120から表示面へ向かう方向)をZ軸とする。
ユーザ120は、固定表示領域101の表示情報と、視点追従表示領域102の表示情報の双方を、不自由なく観察することが可能となる。
図8に示す例では、視点追従表示領域102をユーザ注視点121の左側に表示している。表示装置100の制御部は、ユーザ注視点121が右側に移動すれば、視点追従表示領域102も右側に移動させる。左に移動すれば左に移動させるといった処理を行う。
この制御により、ユーザは注視点を視点追従表示領域102の上に移動させて、視点追従表示領域102上のデータを確認することができる。
図9に示すように、本開示の表示装置100は、視線検出部151、注視点3次元位置(輻輳距離等)算出部152、視点追従表示領域移動制御部153、コントローラ操作情報入力部154、ユーザ操作対応処理実行部155、視点追従表示領域情報生成部156、固定表示領域表示情報生成部157、表示部158を有する。
なお、視線検出部151はカメラに限らず、その他の様々な視線検出手法が利用可能である。例えば眼球の電位計測を行うEOG(Electro−Oculogram)等のセンサーを用いて視線検出を行う構成としてもよい。
注視点3次元位置(輻輳距離等)算出部152は、視線検出部151から入力するユーザの両目の視線方向情報に基づいて、ユーザが見ている注視点(ユーザ注視点)の3次元位置を算出する。
この設定において、注視点の3次元位置(x,y,z)中のzは輻輳距離に相当する。
なお、視点追従表示領域移動制御部153は、コントローラ操作情報入力部154が入力するユーザ操作情報に応じて制御態様を変更する。
この処理の具体的シーケンスについては、後段でフローチャートを参照して説明する。
入力情報はユーザ操作対応処理実行部155に入力される。さらに、視点追従表示領域移動制御部153にも入力される。
このユーザ操作対応処理実行部155の実行結果は、視点追従表示領域情報生成部156と、固定表示領域表示情報生成部157に入力される。
図10〜図11は、視点追従表示領域102の制御シーケンスについて説明するフローチャートである。
図10は、視点追従表示領域102の移動制御の基本シーケンスである。
図11は、図10に示すステップS101のユーザ注視点の滞留時間の調整処理の詳細シーケンスである。
以下、図10に示すフローの各ステップの処理について説明する。
まず、ステップS101において、視点追従表示領域102の追従条件調整処理を実行する。
この処理は、視点追従表示領域移動制御部153が実行する。
以下のステップS102〜S105の処理は、このステップS101で設定した追従条件に従って実行される。
まず、視点追従表示領域移動制御部153は、ステップS201において、コントローラ操作情報入力部154に新たなユーザ操作情報が入力されたか否かを判定する。
入力されていない場合は、ステップS202に進み、入力された場合は、ステップS204に進む。
ステップS201において、コントローラ操作情報入力部154に新たなユーザ操作情報が入力されていないと判定した場合、ステップS202において、ユーザの最後のコントローラに対する入力操作からの経過時間が、予め規定したしきい値時間、例えば3秒以上となったか否かを判定する。
経過時間が予め規定したしきい値時間、例えば3秒以上になっていないと判定した場合は、そのまま処理を終了する。この場合は現在の設定がそのまま継続される。
ステップS202において、ユーザの最後のコントローラに対する入力操作からの経過時間が、予め規定したしきい値時間、例えば3秒以上となったと判定した場合は、ステップS203の処理を実行する。
一方、ステップS201において、コントローラ操作情報入力部154に新たなユーザ操作情報が入力されたと判定した場合、ステップS204の処理を実行する。
図11に示すフローによって実行される処理は、視点追従表示領域の追従停止判定時間である視点滞留時間tの設定変更処理である。具体的には、以下の処理が行われる。
(b)新たなユーザ操作が検出されず、操作なしの状態が規定時間(例えば3秒)以上、継続した場合、視点追従表示領域102の追従停止判定時間である視点滞留時間tを標準時間(例えばt=0.5秒)に設定する。
これら(a),(b)の処理が実行されることになる。
例えば、図8に示す固定表示領域に表示された1つの文字の中心附近にユーザ注視点がある場合、その隣接文字の中心まで移動しない限り、ユーザ注視点は滞留状態にあると判定する。
視点滞留時間t=標準時間(例えばt=0.5秒)、または
視点滞留時間t=標準時間より短い時間(例えばt=0.2秒)、
これらいずれかの設定の下で処理が実行される。
ステップS102以下の処理について説明する。
ステップS102ではユーザの注視点を検出する。
この処理は、図9に示す注視点3次元位置(輻輳距離等)算出部152が実行する。
次に、ステップS103において、ユーザの注視点の滞留時間、すなわちユーザ注視点が固定表示領域101、または視点追従表示領域102上で動かずに留まっている滞留時間が、ステップS101で設定した滞留時間t以上であるか否かを判定する。
一方、ユーザ注視点の滞留時間が、ステップS101で設定した滞留時間t以上でない場合、すなわち、時間t未満の時間でユーザ注視点が移動している場合は、ステップS105に進む。
ステップS103において、ユーザ注視点の滞留時間が、ステップS101で設定した滞留時間t以上である場合は、ステップS104に進む。
視点追従表示領域移動制御部153は、ステップS104において、視点追従表示領域102を固定する。すなわち、ユーザ注視点の移動に追従させず、現在の表示領域に固定して表示する処理を行う。
一方、ステップS103において、ユーザ注視点の滞留時間が、ステップS101で設定した滞留時間t未満である場合は、ステップS105に進む。
視点追従表示領域移動制御部153は、ステップS105において、視点追従表示領域102をユーザ注視点の移動に追従させて移動する制御を実行する。
図12は、先に図6等を参照して説明した処理例と同様の処理例である。
この状態が、図12(2)に示す状態である。
この処理により、ユーザ120は、視点追従表示領域102の情報を確認することができる。
先に図11のフローを参照して説明したように、ユーザ120によるコントローラ121の操作入力状態によって以下のいずれかの設定に変更される。
(a)新たなユーザ操作が検出された場合、視点追従表示領域102の追従停止判定時間である視点滞留時間tを標準時間(例えばt=0.5秒)より短い時間(例えばt=0.2秒)に設定する。
(b)新たなユーザ操作が検出されず、操作なしの状態が規定時間(例えば3秒)以上、継続した場合、視点追従表示領域102の追従停止判定時間である視点滞留時間tを標準時間(例えばt=0.5秒)に設定する。
これら(a),(b)の処理が実行されることになる。
ユーザ120は、固定表示領域101上の文字を選択しながらテキストを入力している間は、視点追従表示領域102に視点を移動して入力文字を、確認することが多く、この場合には、視点滞留時間tを短く設定することで、固定、移動を頻繁に切り替えて、テキスト入力と確認を交互にスムーズに行うことが可能となる。
これは、例えば、固定表示領域101から入力文字を選択するのに時間がかかっている場合や、入力文を考えている場合等に対応した処理であり、このような場合は、視点追従表示領域102の追従と停止の切り替えを頻繁に実行させない設定として、無駄な切り替え処理を低減する構成としている。
次に4.車両のHUD(ヘッドアップディスプレイ)の表示部に視点追従表示領域を設定した実施例について説明する。
視点追従表示領域201には例えば地図データが表示される。
この基本構成は、先に図8以下を参照して説明したオンスクリーンキーボード(OSK)の例と同様である。
この結果、図13(a)のユーザ注視点211を図13(b)のように右に移動させて視点追従表示領域201に表示された地図を確認することができる。
図14に示す表示装置200の構成について説明する。
表示装置200は、視線検出部251、注視点3次元位置(輻輳距離等)算出部252、視点追従表示領域移動制御部253、視点追従表示領域情報生成部256、表示部(HUD)258、ハンドル操作情報入力部261を有する。
なお、視線検出部251はカメラに限らず、その他の様々な視線検出手法が利用可能である。例えば眼球の電位計測を行うEOG(Electro−Oculogram)等のセンサーを用いて視線検出を行う構成としてもよい。
注視点3次元位置(輻輳距離等)算出部252は、視線検出部251から入力するユーザの両目の視線方向情報に基づいて、ユーザが見ている注視点(ユーザ注視点)の3次元位置を算出する。
例えば、ユーザがハンドルを右に回したときは、図13に示すようにユーザ注視点211の右側に表示されている視点追従表示領域201をユーザ注視点211の上側や下側に移動させて表示する。あるいは、視点追従表示領域201の表示を停止する。すなわち非表示とする等の処理を行う。
この処理によって、ユーザ(運転者)は、進行方向の様子を視点追従表示領域201に邪魔されることなく見ることが可能となる。
表示部(HUD)258(=視点追従表示領域201)は、視点追従表示領域情報生成部256が生成した表示情報、例えば地図情報を表示する。
図15〜図16は、視点追従表示領域201の制御シーケンスについて説明するフローチャートである。
図15は、視点追従表示領域201の移動制御の基本シーケンスである。
図16は、図15に示すステップS201のユーザ注視点の滞留時間の調整処理の詳細シーケンスである。
以下、図15に示すフローの各ステップの処理について説明する。
まず、ステップS301において、視点追従表示領域201の追従条件調整処理を実行する。
この処理は、視点追従表示領域移動制御部253が実行する。
以下のステップS302〜S305の処理は、このステップS301で設定した追従条件に従って実行される。
まず、視点追従表示領域移動制御部253は、ステップS401において、ハンドル操作情報入力部261からユーザによるハンドル操作情報として、予め規定した回転角度以上のハンドル操作情報が入力されたか否かを判定する。
入力された場合は、ステップS402に進み、入力されない場合は、ステップS404に進む。
ステップS401において、ハンドル操作情報入力部261から予め規定した回転角度以上のハンドル操作情報が入力されたと判定した場合、視点追従表示領域移動制御部253は、ステップS402において、視点追従表示領域201が車両の進行方向と同じ方向に表示中か否かを判定する。
視点追従表示領域201が車両の進行方向と同じ方向に表示中でない場合は、そのまま処理を終了する。この場合は現在の設定がそのまま継続される。
ステップS402において、視点追従表示領域201が車両の進行方向と同じ方向に表示中であると判定した場合、ステップS403を実行する。
この処理によって、ユーザ(運転者)は、進行方向の様子を視点追従表示領域201に邪魔されることなく見ることが可能となる。
一方、ステップS401において、ハンドル操作情報入力部261から予め規定した回転角度以上のハンドル操作情報が入力されていないと判定した場合、視点追従表示領域移動制御部253は、ステップS404の処理を実行する。
経過時間が予め規定したしきい値時間、例えば3秒以上になっていないと判定した場合は、そのまま処理を終了する。この場合は現在の設定がそのまま継続される。
ステップS404において、ユーザがハンドルを中立状態に戻した後の経過時間が、予め規定したしきい値時間、例えば3秒以上となったと判定した場合、ステップS405の処理を実行する。
図15に示すフローによって実行される処理は、視点追従表示領域の追従停止判定時間である視点滞留時間tの設定変更処理である。具体的には、以下の処理が行われる。
さらに、必要に応じて視点追従表示領域201の表示位置の変更、表示停止を実行する。
(b)ユーザ(運転手)がハンドルを中立位置から所定角度以上、回転させず、かつハンドルを中立位置に戻してから規定時間(例えば3秒)以上、経過した場合、視点追従表示領域201の追従停止判定時間である視点滞留時間tを標準時間(例えばt=0.2秒)に設定する。
これら(a),(b)の処理が実行されることになる。
視点滞留時間t=標準時間(例えばt=0.2秒)、または
視点滞留時間t=標準時間より長い時間(例えばt=1.0秒)、
これらいずれかの設定の下で処理が実行される。
ステップS302以下の処理について説明する。
ステップS302ではユーザの注視点を検出する。
この処理は、図14に示す注視点3次元位置(輻輳距離等)算出部252が実行する。
次に、ステップS303において、ユーザの注視点の滞留時間、すなわちユーザ注視点が動かずに留まっている滞留時間が、ステップS301で設定した滞留時間t以上であるか否かを判定する。
一方、ユーザ注視点の滞留時間が、ステップS301で設定した滞留時間t以上でない場合、すなわち、時間t未満の時間でユーザ注視点が移動している場合は、ステップS305に進む。
ステップS303において、ユーザ注視点の滞留時間が、ステップS301で設定した滞留時間t以上である場合は、ステップS304に進む。
視点追従表示領域移動制御部253は、ステップS304において、視点追従表示領域201を固定する。すなわち、ユーザ注視点の移動に追従させず、現在の表示領域に固定して表示する処理を行う。
一方、ステップS303において、ユーザ注視点の滞留時間が、ステップS301で設定した滞留時間t未満である場合は、ステップS305に進む。
視点追従表示領域移動制御部253は、ステップS305において、視点追従表示領域201をユーザ注視点の移動に追従させて移動する制御を実行する。
さらに、必要に応じて視点追従表示領域201の表示位置の変更、表示停止を実行する。
この処理によって、ユーザ(運転者)は、進行方向の様子を視点追従表示領域201に邪魔されることなく見ることが可能となる。
次に、その他の実施例について説明する。
例えば、ゲーム機などにおいて、メニュー選択(武器選択など)画面を視点追従領域に設定といった利用も可能である。
また、ユーザ視線から輻輳距離や輻輳角が計測できない場合には、視線位置を利用して制御を行う構成としてもよい。
予めテストと調整を行っておいてもよいし、視線がウィンドウを追跡し続ける状態を検出したら自動調整するといった方法を適用してもよい。
次に、図17を参照して、表示装置のハードウェア構成の一構成例について説明する。
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
(1) ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有し、
前記制御部は、
前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定する表示装置。
固定表示領域の前方に前記視点追従表示領域を観察可能とした三次元表示装置である(1)に記載の表示装置。
前記ユーザ注視点の滞留時間が、予め規定した規定時間t以上となった場合に、前記視点追従表示領域を前記ユーザ注視点に追従させず固定して表示する(1)または(2)に記載の表示装置。
前記表示装置に対するユーザの入力処理に応じて、前記規定時間tを変更する(3)に記載の表示装置。
前記表示装置に対するユーザの入力処理を検出した場合、前記規定時間tを、通常設定より短い時間に変更する(3)または(4)に記載の表示装置。
固定表示領域に入力選択可能な文字列を表示し、前記固定表示領域の前方に入力済み文字列を表示するテキストボックスとして、前記視点追従表示領域を観察可能とした三次元表示装置である(1)〜(5)いずれかに記載の表示装置。
ヘッドアップディスプレイの表示領域に前記視点追従表示領域を設定した装置である(1)〜(6)いずれかに記載の表示装置。
前記車両のフロントガラス越しに前方を見ている前記車両の運転手のユーザ注視点の滞留時間が、予め規定した規定時間t以上となった場合に、前記視点追従表示領域を前記ユーザ注視点に追従させず固定して表示する(8)に記載の表示装置。
前記運転手のハンドル操作情報に応じて、前記規定時間tを変更する(9)に記載の表示装置。
前記運転手のハンドル操作を検出し、ハンドル操作方向に前記視点追従表示領域が表示されている場合、前記規定時間tを、通常設定より長い時間に変更する(10)に記載の表示装置。
前記運転手のハンドル操作を検出し、ハンドル操作方向に前記視点追従表示領域が表示されている場合、前記視点追従表示領域の表示位置の変更処理、または表示停止処理を実行する(10)または(11)に記載の表示装置。
前記表示装置は、ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有し、
前記制御部が、
前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定する表示制御方法。
前記表示装置は、ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有し、
前記プログラムは、前記制御部に、
前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定する処理を実行させるプログラム。
具体的には、例えば、ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部は、視点追従表示領域をユーザ注視点に追従させるか、追従を停止させるかをユーザ注視点の滞留時間に応じて決定する。表示装置は固定表示領域前方に視点追従表示領域を観察可能とした三次元表示装置や、HUDとして構成される。制御部はユーザ注視点の滞留時間が予め規定した規定時間t以上となった場合、視点追従表示領域をユーザ注視点に追従させず固定して表示する。規定時間tは表示装置に対するユーザ入力や車両のハンドル操作に応じて変更される。
本構成により、視点追従表示領域の移動制御を実行して、視点追従表示領域の表示情報を容易に確認可能とした構成が実現される。
20 ユーザ
21 コントローラ
30 表示装置
31 固定表示領域
32 視点追従表示領域
33 カメラ
34 文字選択カーソル
41 ユーザ注視点
100 表示装置
101 固定表示領域
102 視点追従表示領域
103 カメラ
104 文字選択カーソル
121 ユーザ注視点
151 視線検出部
152 注視点3次元位置(輻輳距離等)算出部
153 視点追従表示領域移動制御部
154 コントローラ操作情報入力部
155 ユーザ操作対応処理実行部
156 視点追従表示領域情報生成部
157 固定表示領域表示情報生成部
158 表示部
200 表示装置
201 始点追従表示領域
211 ユーザ注視点
251 視線検出部
252 注視点3次元位置(輻輳距離等)算出部
253 視点追従表示領域移動制御部
256 視点追従表示領域情報生成部
258 表示部
261 ハンドル操作情報入力部
301 CPU
302 ROM
303 RAM
304 バス
305 入出力インタフェース
306 入力部
307 出力部
308 記憶部
309 通信部
310 ドライブ
311 リムーバブルメディア
Claims (14)
- ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有し、
前記制御部は、
前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定する表示装置。 - 前記表示装置は、
固定表示領域の前方に前記視点追従表示領域を観察可能とした三次元表示装置である請求項1に記載の表示装置。 - 前記制御部は、
前記ユーザ注視点の滞留時間が、予め規定した規定時間t以上となった場合に、前記視点追従表示領域を前記ユーザ注視点に追従させず固定して表示する請求項1に記載の表示装置。 - 前記制御部は、
前記表示装置に対するユーザの入力処理に応じて、前記規定時間tを変更する請求項3に記載の表示装置。 - 前記制御部は、
前記表示装置に対するユーザの入力処理を検出した場合、前記規定時間tを、通常設定より短い時間に変更する請求項3に記載の表示装置。 - 前記表示装置は、
固定表示領域に入力選択可能な文字列を表示し、前記固定表示領域の前方に入力済み文字列を表示するテキストボックスとして、前記視点追従表示領域を観察可能とした三次元表示装置である請求項1に記載の表示装置。 - 前記表示装置は、
ヘッドアップディスプレイの表示領域に前記視点追従表示領域を設定した装置である請求項1に記載の表示装置。 - 前記視点追従表示領域は、車両のフロントガラスに表示される構成である請求項7に記載の表示装置。
- 前記制御部は、
前記車両のフロントガラス越しに前方を見ている前記車両の運転手のユーザ注視点の滞留時間が、予め規定した規定時間t以上となった場合に、前記視点追従表示領域を前記ユーザ注視点に追従させず固定して表示する請求項8に記載の表示装置。 - 前記制御部は、
前記運転手のハンドル操作情報に応じて、前記規定時間tを変更する請求項9に記載の表示装置。 - 前記制御部は、
前記運転手のハンドル操作を検出し、ハンドル操作方向に前記視点追従表示領域が表示されている場合、前記規定時間tを、通常設定より長い時間に変更する請求項10に記載の表示装置。 - 前記制御部は、
前記運転手のハンドル操作を検出し、ハンドル操作方向に前記視点追従表示領域が表示されている場合、前記視点追従表示領域の表示位置の変更処理、または表示停止処理を実行する請求項10に記載の表示装置。 - 表示装置において実行する表示制御方法であり、
前記表示装置は、ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有し、
前記制御部が、
前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定する表示制御方法。 - 表示装置において表示制御を実行させるプログラムであり、
前記表示装置は、ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有し、
前記プログラムは、前記制御部に、
前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定する処理を実行させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018211959 | 2018-11-12 | ||
JP2018211959 | 2018-11-12 | ||
PCT/JP2019/036738 WO2020100422A1 (ja) | 2018-11-12 | 2019-09-19 | 表示装置、および表示制御方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020100422A1 true JPWO2020100422A1 (ja) | 2021-10-14 |
JP7517152B2 JP7517152B2 (ja) | 2024-07-17 |
Family
ID=70731786
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020556657A Active JP7517152B2 (ja) | 2018-11-12 | 2019-09-19 | 表示装置、および表示制御方法、並びにプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11402646B2 (ja) |
EP (1) | EP3882743A4 (ja) |
JP (1) | JP7517152B2 (ja) |
WO (1) | WO2020100422A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022117239A (ja) * | 2021-01-29 | 2022-08-10 | キヤノン株式会社 | 視線検出装置 |
US20240310907A1 (en) * | 2021-06-28 | 2024-09-19 | Apple Inc. | Methods and Systems for Changing a Display Based on User Input and Gaze |
EP4220356A1 (en) * | 2022-01-27 | 2023-08-02 | Volkswagen Ag | Vehicle, apparatus, method and computer program for obtaining user input information |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009514090A (ja) * | 2005-10-28 | 2009-04-02 | トビイ テクノロジー アーベー | 視覚的フィードバックを有するアイトラッカー |
US20130326364A1 (en) * | 2012-05-31 | 2013-12-05 | Stephen G. Latta | Position relative hologram interactions |
WO2017069176A1 (ja) * | 2015-10-19 | 2017-04-27 | 株式会社オリィ研究所 | 視線入力装置、視線入力方法、および、視線入力プログラム |
JP2018045459A (ja) * | 2016-09-14 | 2018-03-22 | 株式会社バンダイナムコエンターテインメント | シミュレーションシステム及びプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4088282B2 (ja) | 2004-08-20 | 2008-05-21 | 清実 中村 | コンピュータ入力方法と装置 |
WO2007050029A2 (en) * | 2005-10-28 | 2007-05-03 | Tobii Technology Ab | Eye tracker with visual feedback |
JP4757091B2 (ja) * | 2006-04-28 | 2011-08-24 | 本田技研工業株式会社 | 車両搭載機器の操作装置 |
US9977496B2 (en) * | 2010-07-23 | 2018-05-22 | Telepatheye Inc. | Eye-wearable device user interface and augmented reality method |
JP6081839B2 (ja) | 2013-03-27 | 2017-02-15 | 京セラ株式会社 | 表示装置および同装置における画面制御方法 |
JP2017215623A (ja) * | 2016-05-30 | 2017-12-07 | エクレボ リミテッドEcrebo Limited | 入力装置、記憶媒体、posシステムおよび入力方法 |
KR101737737B1 (ko) * | 2016-09-06 | 2017-05-18 | 덴소코리아일렉트로닉스 주식회사 | 차량용 카메라 hud 통합 클러스터 시스템 |
-
2019
- 2019-09-19 WO PCT/JP2019/036738 patent/WO2020100422A1/ja unknown
- 2019-09-19 US US17/283,557 patent/US11402646B2/en active Active
- 2019-09-19 EP EP19885636.1A patent/EP3882743A4/en not_active Withdrawn
- 2019-09-19 JP JP2020556657A patent/JP7517152B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009514090A (ja) * | 2005-10-28 | 2009-04-02 | トビイ テクノロジー アーベー | 視覚的フィードバックを有するアイトラッカー |
US20130326364A1 (en) * | 2012-05-31 | 2013-12-05 | Stephen G. Latta | Position relative hologram interactions |
WO2017069176A1 (ja) * | 2015-10-19 | 2017-04-27 | 株式会社オリィ研究所 | 視線入力装置、視線入力方法、および、視線入力プログラム |
JP2018045459A (ja) * | 2016-09-14 | 2018-03-22 | 株式会社バンダイナムコエンターテインメント | シミュレーションシステム及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2020100422A1 (ja) | 2020-05-22 |
US20210389595A1 (en) | 2021-12-16 |
US11402646B2 (en) | 2022-08-02 |
EP3882743A1 (en) | 2021-09-22 |
EP3882743A4 (en) | 2021-12-29 |
JP7517152B2 (ja) | 2024-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPWO2020100422A1 (ja) | 表示装置、および表示制御方法、並びにプログラム | |
US9448624B2 (en) | Apparatus and method of providing user interface on head mounted display and head mounted display thereof | |
US9378592B2 (en) | Apparatus and method of providing user interface on head mounted display and head mounted display thereof | |
JP6479199B2 (ja) | 情報処理装置 | |
US9547379B2 (en) | Method, air mouse, and set top box for controlling air mouse | |
US20150116206A1 (en) | Screen operation apparatus and screen operation method | |
JP6002286B1 (ja) | ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム | |
EP2976881B1 (en) | 3d display device and method for controlling the same | |
US20190004614A1 (en) | In-Vehicle Device | |
US9544556B2 (en) | Projection control apparatus and projection control method | |
JP5655674B2 (ja) | ヘッドマウントディスプレイ及びこれに用いられるプログラム | |
KR20160109443A (ko) | 시선 추적을 이용한 디스플레이 장치 및 방법 | |
JP5228074B2 (ja) | 情報処理装置、表示制御方法 | |
WO2021044745A1 (ja) | 表示処理装置、表示処理方法及び記録媒体 | |
JP6589796B2 (ja) | ジェスチャ検出装置 | |
WO2018019256A1 (zh) | 一种虚拟现实系统及其视角调节方法和装置 | |
JP6852612B2 (ja) | 表示プログラム、情報処理装置、及び表示方法 | |
KR20170089228A (ko) | 스마트 폰을 이용한 가상현실 헤드 마운트 디스플레이의 제어 방법 | |
CN106773047B (zh) | 一种基于vr装置的显示方法及系统 | |
WO2021132013A1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP6922686B2 (ja) | 操作装置 | |
CN106646880B (zh) | 一种基于vr装置的显示方法及系统 | |
JP6867104B2 (ja) | フローティング・グラフィカルユーザインターフェース | |
JP2020107030A (ja) | ジェスチャ検出装置、およびジェスチャ検出方法 | |
KR101756251B1 (ko) | 헤드업 디스플레이의 영상 안내 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220805 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230905 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230911 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231226 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240326 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240520 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240604 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240617 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7517152 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |