JP6777391B2 - 3次元相互作用のためのコンピュータ装置及び方法 - Google Patents
3次元相互作用のためのコンピュータ装置及び方法 Download PDFInfo
- Publication number
- JP6777391B2 JP6777391B2 JP2015229079A JP2015229079A JP6777391B2 JP 6777391 B2 JP6777391 B2 JP 6777391B2 JP 2015229079 A JP2015229079 A JP 2015229079A JP 2015229079 A JP2015229079 A JP 2015229079A JP 6777391 B2 JP6777391 B2 JP 6777391B2
- Authority
- JP
- Japan
- Prior art keywords
- coordinate value
- pointing
- user
- object point
- pointing position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0362—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 1D translations or rotations of an operating part of the device, e.g. scroll wheels, sliders, knobs, rollers or belts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
しかし、上記のようにポイントと両目とが全て同一の平面にある場合は珍しく、図4Bのように、一般的には両目の位置431,432と映像におけるポイントの位置421,422が同一の平面にない。それにより、拡大図405に見えるように、ポイント421からポイント431への第1直線と、ポイント422からポイント432への第2直線とは、捻れた位置になる。このような場合には、第1直線と第2直線とに最も近い点406を求めて、この点406をオブジェクトポイントとして推定する。例えば、第1直線にも直交して、第2直線にも直交する線分の中点がオブジェクトポイントとなる。このような過程によってオブジェクトポイントの位置ベクトルoは、以下の式(3)〜式(5)の方程式を解くことによって求めることができる。
Claims (17)
- 第1オブジェクトポイントが映像で表示される位置及びユーザの両目の位置を用いて、ユーザに前記第1オブジェクトポイントの位置として認識される第1座標値を算出するオブジェクト位置推定部と、
ユーザのポインティング位置である第2座標値を前記第1座標値と比較して前記ポインティング位置が前記第1オブジェクトポイントに対応するか否かを判断するポインティング判断部と、
ユーザデバイスに関連する複数の識別要素の位置を用いてポインティング位置である前記第2座標値を算出するポインティング位置推定部であって、映像認識された前記複数の識別要素の方向及び前記複数の識別要素相互間の変位情報を利用して前記第2座標値を算出し、前記ポインティング位置推定部は、更に前記識別要素とポインティング位置との相対的変位を変更するユーザ操作に応じて前記第2座標値を算出する、ポインティング位置推定部と
を含むコンピュータ装置。 - 前記映像は、左映像と右映像とを含む立体映像であり、
前記オブジェクト位置推定部は、前記左映像における前記第1オブジェクトポイントが表示される位置から左目の位置への第1直線と、前記右映像における前記第1オブジェクトポイントが表示される位置から右目の位置への第2直線との交点の座標を前記第1座標値として算出する、請求項1に記載のコンピュータ装置。 - 前記交点が生じない場合、前記オブジェクト位置推定部は、前記第1直線に直交し、前記第2直線に直交する線分の中点座標を前記第1座標値として算出する、請求項2に記載のコンピュータ装置。
- 前記ポインティング位置推定部は、少なくとも1つの前フレームにおいて入力された前記識別要素の位置を用いて、現フレームにおいて入力される前記識別要素の位置を補正し、前記補正された前記識別要素の位置を用いて前記第2座標値を算出する、請求項1に記載のコンピュータ装置。
- 前記ポインティング位置推定部は、現フレームに先行する少なくとも1つの前フレームに対応して算出された第2座標値を利用して、現フレームで算出される第2座標値を補正し、前記補正された第2座標値を前記ポインティング位置として決定する、請求項1に記載のコンピュータ装置。
- 前記ポインティング位置推定部は、ユーザデバイスに関連する識別要素が映像認識された第1形状を、予め与えられた前記識別要素の形状である第2形状と比較してポインティング位置である前記第2座標値を算出する、請求項1〜5のうちの何れか一項に記載のコンピュータ装置。
- 前記識別要素は、前記ユーザデバイスに備えられるスイッチのオン・オフの変更により認識可能な状態と認識不可能な状態のうちのいずれか一種類に変更可能な光源を含む、請求項6に記載のコンピュータ装置。
- 前記相対的変位を変更するユーザ操作は、前記ユーザデバイスに含まれるホイール操作によって識別される、請求項1に記載のコンピュータ装置。
- 前記相対的変位を変更するユーザ操作は、前記ユーザデバイスに備えられる圧力センサのセンシング値によって識別される、請求項1に記載のコンピュータ装置。
- 前記ポインティング判断部は、前記第2座標値と前記第1座標値との距離が閾値未満である場合、前記ポインティング位置を前記第1オブジェクトポイントとして決定する、請求項1〜9のうちの何れか一項に記載のコンピュータ装置。
- 前記オブジェクト位置推定部は、ユーザの両目の位置を用いて、グローバル座標系における第1オブジェクトポイントの座標値をユーザ認識座標系における座標値である第1座標値に変換する変換関数を決定し、
前記ポインティング判断部は、ポインティング位置である第2座標値を前記第1座標値と比較して前記ポインティング位置が前記第1オブジェクトポイントに対応するか否かを判断する、請求項1に記載のコンピュータ装置。 - 前記ポインティング判断部は、前記第2座標値と前記第1座標値との距離が閾値未満である場合、前記ポインティング位置を前記第1オブジェクトポイントとして決定する、請求項11に記載のコンピュータ装置。
- 前記オブジェクト位置推定部は、ユーザの両目の位置を用いて、グローバル座標系における第1オブジェクトポイントの座標値をユーザ認識座標系における座標値である第1座標値に変換する変換関数を決定し、
前記ポインティング判断部は、ポインティング位置である第2座標値に前記変換関数の逆関数を適用してグローバル座標系における第3座標値を決定し、(i)前記第3座標値を前記グローバル座標系における第1オブジェクトポイントの座標値と比較して、又は(ii)前記第1座標値を前記第2座標値と比較して、前記ポインティング位置が前記第1オブジェクトポイントに対応するか否かを判断する、請求項1に記載のコンピュータ装置。 - 少なくとも1つのプロセッサを含むコンピュータ装置が3次元相互作用的なユーザ体験を提供する方法において、前記方法は、
第1オブジェクトポイントが映像で表示される位置及びユーザの両目の位置を用いて、ユーザに前記第1オブジェクトポイントの位置として認識される第1座標値を算出するステップと、
ユーザデバイスに関連する複数の識別要素の位置を用いてユーザのポインティング位置である第2座標値を算出するステップであって、映像認識された前記複数の識別要素の方向及び前記複数の識別要素相互間の変位情報を利用して前記第2座標値を算出し、前記ステップは、前記識別要素とポインティング位置との相対的変位を変更するユーザ操作に応じて前記第2座標値を算出することを更に含む、ステップと、
前記第1座標値と前記第2座標値とを比較して前記ポインティング位置が前記第1オブジェクトポイントに対応するか否かを判断するステップと、
を含む方法。 - 前記ユーザの両目の位置及び前記ユーザのポインティング位置は、1つのカメラの映像から算出される、請求項14に記載の方法。
- 前記第2座標値を算出するステップは、少なくとも1つの前フレームで入力された前記識別要素の位置を用いて、現フレームで入力される前記識別要素の位置を補正し、前記補正された前記識別要素の位置を用いて前記第2座標値を算出する、請求項14に記載の方法。
- 請求項14〜16のうち何れか一項に記載の方法を前記コンピュータ装置に実行させるコンピュータプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2014-0165315 | 2014-11-25 | ||
KR1020140165315A KR102310994B1 (ko) | 2014-11-25 | 2014-11-25 | 3차원 상호작용 컴퓨팅 장치 및 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016100024A JP2016100024A (ja) | 2016-05-30 |
JP6777391B2 true JP6777391B2 (ja) | 2020-10-28 |
Family
ID=54780082
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015229079A Active JP6777391B2 (ja) | 2014-11-25 | 2015-11-24 | 3次元相互作用のためのコンピュータ装置及び方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9870119B2 (ja) |
EP (1) | EP3026529B1 (ja) |
JP (1) | JP6777391B2 (ja) |
KR (1) | KR102310994B1 (ja) |
CN (1) | CN105630155B (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102695517B1 (ko) * | 2016-11-29 | 2024-08-14 | 삼성전자주식회사 | 동공 거리 결정 방법 및 장치 |
JP2018198685A (ja) * | 2017-05-26 | 2018-12-20 | ソニー株式会社 | 制御装置、制御方法、および手術システム |
WO2019226691A1 (en) | 2018-05-22 | 2019-11-28 | Magic Leap, Inc. | Transmodal input fusion for a wearable system |
EP4235381A3 (en) | 2019-03-18 | 2023-11-01 | Apple Inc. | Virtual paper |
US11334174B2 (en) | 2019-07-18 | 2022-05-17 | Eyal Shlomot | Universal pointing and interacting device |
TW202232288A (zh) * | 2020-10-23 | 2022-08-16 | 日商和冠股份有限公司 | 電腦、方法及程式 |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3450704B2 (ja) * | 1997-09-01 | 2003-09-29 | キヤノン株式会社 | 位置姿勢検出装置及び情報処理方法 |
JP2001209487A (ja) * | 2000-01-25 | 2001-08-03 | Uw:Kk | 筆跡通信システムおよび該システムで使用される筆跡入力装置及び筆跡表示装置 |
JP2002196874A (ja) * | 2000-12-27 | 2002-07-12 | Ntt Docomo Inc | 手書きデータ入力装置及び方法並びに個人認証装置及び方法 |
HK1050293A2 (en) * | 2002-04-19 | 2003-05-30 | Longreen Marketing Ltd | A retractable writing instrument by wheels' rotation |
US20060036947A1 (en) | 2004-08-10 | 2006-02-16 | Jelley Kevin W | User interface controller method and apparatus for a handheld electronic device |
JPWO2008059614A1 (ja) | 2006-11-15 | 2010-02-25 | 株式会社セガ | ダイレクトポインティングデバイスを使用するゲーム装置において実行され、表示されるオブジェクトの移動制御を行うプログラム |
WO2008141460A1 (en) | 2007-05-23 | 2008-11-27 | The University Of British Columbia | Methods and apparatus for estimating point-of-gaze in three dimensions |
JP2009258884A (ja) * | 2008-04-15 | 2009-11-05 | Toyota Central R&D Labs Inc | ユーザインタフェイス |
JP2010157146A (ja) * | 2008-12-29 | 2010-07-15 | Fuji Xerox Co Ltd | 描画システム |
JP5448073B2 (ja) * | 2010-01-12 | 2014-03-19 | 任天堂株式会社 | 情報処理装置、情報処理プログラム、情報処理システム、および、選択対象の選択方法 |
US8717360B2 (en) | 2010-01-29 | 2014-05-06 | Zspace, Inc. | Presenting a view within a three dimensional scene |
JP2011159163A (ja) * | 2010-02-02 | 2011-08-18 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
CN102169364B (zh) * | 2010-02-26 | 2013-03-27 | 原相科技股份有限公司 | 应用于立体互动系统的互动模块及其方法 |
JP2011180690A (ja) * | 2010-02-26 | 2011-09-15 | Brother Industries Ltd | 表示制御装置、表示制御方法、および表示制御プログラム |
TWI561941B (en) | 2010-04-01 | 2016-12-11 | Seereal Technologies Sa | Method and device for encoding three-dimensional scenes which include transparent objects in a holographic system |
KR101334107B1 (ko) | 2010-04-22 | 2013-12-16 | 주식회사 굿소프트웨어랩 | 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법 |
US20120005624A1 (en) | 2010-07-02 | 2012-01-05 | Vesely Michael A | User Interface Elements for Use within a Three Dimensional Scene |
JP2012058896A (ja) | 2010-09-07 | 2012-03-22 | Sony Corp | 情報処理装置、プログラムおよび情報処理方法 |
JP4917664B1 (ja) * | 2010-10-27 | 2012-04-18 | 株式会社コナミデジタルエンタテインメント | 画像表示装置、ゲームプログラム、ゲーム制御方法 |
JP2012133179A (ja) * | 2010-12-22 | 2012-07-12 | Nec Corp | 立体視装置、及び立体視装置の制御方法 |
US8687172B2 (en) | 2011-04-13 | 2014-04-01 | Ivan Faul | Optical digitizer with improved distance measurement capability |
KR101874494B1 (ko) | 2011-11-25 | 2018-07-06 | 삼성전자주식회사 | 특징점의 삼차원 위치 계산 장치 및 방법 |
JP2013124972A (ja) | 2011-12-15 | 2013-06-24 | Samsung Yokohama Research Institute Co Ltd | 位置推定装置及び方法、並びにテレビジョン受信機 |
JP2013168120A (ja) * | 2012-01-19 | 2013-08-29 | Panasonic Corp | 立体画像処理装置、立体画像処理方法、及びプログラム |
KR101335394B1 (ko) | 2012-02-06 | 2013-12-03 | 크레신 주식회사 | 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치 |
KR101873759B1 (ko) | 2012-04-10 | 2018-08-02 | 엘지전자 주식회사 | 영상 표시 장치 및 그 제어방법 |
KR101343748B1 (ko) * | 2012-04-23 | 2014-01-08 | 주식회사 브이터치 | 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치 |
WO2013176265A1 (ja) * | 2012-05-25 | 2013-11-28 | 国立大学法人静岡大学 | 瞳孔検出方法、角膜反射検出方法、顔姿勢検出方法及び瞳孔追尾方法 |
CN102830797B (zh) * | 2012-07-26 | 2015-11-25 | 深圳先进技术研究院 | 一种基于视线判断的人机交互方法及系统 |
EP3214837A1 (en) * | 2013-03-14 | 2017-09-06 | Brainlab AG | 3d-volume viewing by controlling sight depth |
CN103294225B (zh) * | 2013-06-09 | 2016-09-28 | 深圳超多维光电子有限公司 | 立体显示设备、指点设备、立体显示系统及其操作方法 |
-
2014
- 2014-11-25 KR KR1020140165315A patent/KR102310994B1/ko active IP Right Grant
-
2015
- 2015-11-20 US US14/947,913 patent/US9870119B2/en active Active
- 2015-11-24 CN CN201510824495.4A patent/CN105630155B/zh active Active
- 2015-11-24 JP JP2015229079A patent/JP6777391B2/ja active Active
- 2015-11-25 EP EP15196334.5A patent/EP3026529B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
KR20160062499A (ko) | 2016-06-02 |
CN105630155B (zh) | 2020-03-17 |
US20160147410A1 (en) | 2016-05-26 |
EP3026529B1 (en) | 2020-03-25 |
KR102310994B1 (ko) | 2021-10-08 |
EP3026529A1 (en) | 2016-06-01 |
US9870119B2 (en) | 2018-01-16 |
CN105630155A (zh) | 2016-06-01 |
JP2016100024A (ja) | 2016-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6777391B2 (ja) | 3次元相互作用のためのコンピュータ装置及び方法 | |
US11157725B2 (en) | Gesture-based casting and manipulation of virtual content in artificial-reality environments | |
JP7191714B2 (ja) | デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法 | |
US10712901B2 (en) | Gesture-based content sharing in artificial reality environments | |
US11507336B2 (en) | Augmented reality display sharing | |
US10818092B2 (en) | Robust optical disambiguation and tracking of two or more hand-held controllers with passive optical and inertial tracking | |
US11422530B2 (en) | Systems and methods for prototyping a virtual model | |
US10088971B2 (en) | Natural user interface camera calibration | |
US10853649B2 (en) | Context-aware hazard detection using world-facing cameras in virtual, augmented, and mixed reality (xR) applications | |
US20190212828A1 (en) | Object enhancement in artificial reality via a near eye display interface | |
CN109117684A (zh) | 用于在双目增强现实设备上选择性扫描的系统和方法 | |
US10896545B1 (en) | Near eye display interface for artificial reality applications | |
WO2014106219A1 (en) | User centric interface for interaction with visual display that recognizes user intentions | |
CN113227879A (zh) | 用于电磁跟踪的环境电磁失真校正 | |
WO2017021902A1 (en) | System and method for gesture based measurement of virtual reality space | |
US10133470B2 (en) | Interfacing device and method for providing user interface exploiting multi-modality | |
JP2004265222A (ja) | インタフェース方法、装置、およびプログラム | |
EP3088991B1 (en) | Wearable device and method for enabling user interaction | |
US20220192487A1 (en) | Method and system for determining dominant eye, and non-transitory computer-readable recording medium | |
JP2021063922A (ja) | 情報処理装置、情報処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181114 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191028 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200205 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200421 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200819 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20200828 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201006 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201008 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6777391 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |