JP6789310B2 - 移動追尾及びシミュレーション用の装置並びに方法 - Google Patents
移動追尾及びシミュレーション用の装置並びに方法 Download PDFInfo
- Publication number
- JP6789310B2 JP6789310B2 JP2018547269A JP2018547269A JP6789310B2 JP 6789310 B2 JP6789310 B2 JP 6789310B2 JP 2018547269 A JP2018547269 A JP 2018547269A JP 2018547269 A JP2018547269 A JP 2018547269A JP 6789310 B2 JP6789310 B2 JP 6789310B2
- Authority
- JP
- Japan
- Prior art keywords
- imu
- data
- image
- handpiece
- dimensional coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 24
- 238000004088 simulation Methods 0.000 title claims description 15
- 238000005259 measurement Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 description 11
- 238000005553 drilling Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 230000000981 bystander Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 210000004513 dentition Anatomy 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000023077 detection of light stimulus Effects 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 210000003811 finger Anatomy 0.000 description 1
- 230000005358 geomagnetic field Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 230000036346 tooth eruption Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
- G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
- G09B23/283—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for dentistry or oral hygiene
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
Description
Claims (17)
- ディスプレイと;
1つ又は複数のプロセッサと;
発光器及び慣性測定ユニット(IMU)を備えるハンドピースであって,前記IMUが,前記1つ又は複数のプロセッサのうちの少なくとも1つに接続されており,前記IMUが,IMU位置及び方位データを生成するように構成され,前記IMU位置及び方位データが,前記ハンドピースの位置及び方位を記述する,ハンドピースと;
前記1つ又は複数のプロセッサのうちの少なくとも1つに接続された少なくとも2台のカメラであって,前記少なくとも2台のカメラの各々が,前記発光器の1組のイメージを生成する,カメラと;
を備え,
前記1つ又は複数のプロセッサが:
・前記少なくとも2台のカメラの各々から前記1組のイメージを受信し,
・各イメージにつき、強度値が所定の閾値を超えるピクセルのクラスタを特定し、
・各イメージにつき,特定された前記ピクセルのクラスタの位置に基づいて、該イメージ内における前記発光器の位置を特定する二次元座標データを生成し、
・前記二次元座標データに基づいて,三角測量を行って、前記発光器の位置を特定する三次元座標データを生成し,
・前記IMU位置及び方位データを受信し、
・前記IMU位置及び方位データに基づいて、シミュレーションインストラクションを生成し,かつ,前記シミュレーションインストラクションに基づいて,前記ディスプレイ上に物体の三次元的な仮想イメージを表示すると共に前記物体の動きを動画化するように構成され;
前記1つ又は複数のプロセッサは,前記三次元座標データを使用して前記IMU位置及び方位データにおける位置データの誤差を補正する装置。 - 請求項1に記載の装置であって,シミュレートされるイメージが歯科用口腔ミラーである,装置。
- 請求項1又は2に記載の装置であって,前記カメラが赤外線カメラであり,前記発光器が赤外線LEDである,装置。
- 請求項1〜3の何れか一項に記載の装置であって,前記カメラが4台のカメラを備える,装置。
- 請求項1〜4の何れか一項に記載の装置であって,前記ハンドピースが追尾スペース内で可動であり,前記装置が,前記追尾スペース内で可動である第2のハンドピースを更に備える,装置。
- 請求項1〜5の何れか一項に記載の装置であって,前記1つ又は複数のプロセッサは,更に,前記ディスプレイ上に,前記第2のハンドピースに対応する,三次元的にシミュレートされた第2の物体を表示すると共に,前記第2のハンドピースの動きに基づいて前記第2の物体の動きを動画化するように構成されている,装置。
- 請求項1〜6の何れか一項に記載の装置であって,前記ハンドピースは,ケーブルによって前記装置に接続されるも,それ以外の点では自由に動くことができる,装置。
- 請求項1〜7の何れか一項に記載の装置であって,前記1つ又は複数のプロセッサのうちの少なくとも1つは,各カメラからの1組のイメージの各々の各ピクセル線をスキャンすることにより,どのピクセルが所定の閾値を超える強度値を有するかを判断するように構成される,装置。
- 請求項8に記載の装置であって,前記1つ又は複数のプロセッサのうちの少なくとも1つは,前記所定の閾値を超える強度値を有するピクセルを特定するデータを生成する,装置。
- 請求項9に記載の装置であって,前記所定の閾値を超える強度値を有するピクセルを特定するデータは,強度値が前記所定の閾値を超えるピクセルのクラスタを特定するように分析される,装置。
- 請求項10に記載の装置であって,前記所定の閾値を超える強度値を有するピクセルのクラスタは,その中心が前記イメージ中における前記LEDの位置を規定する最大クラスタを特定するように分析される,装置。
- 請求項1〜11の何れか一項に記載の装置であって,前記三次元座標データと,前記IMU位置及び方位データは,動的ローディングライブラリにおいて組み合わされる,装置。
- 歯科シミュレーション環境下において,発光器及び慣性測定ユニット(IMU)を有する物体の動きをシミュレートするためにコンピュータで実行される方法であって:
前記発光器から発せられた光を使用して各々が撮像された1組のイメージを受信するステップと;
各イメージにつき、強度値が所定の閾値を超えるピクセルのクラスタを特定するステップと;
各イメージにつき,特定された前記ピクセルのクラスタの位置に基づいて、該イメージ内における前記発光器の位置を特定する二次元座標データを生成するステップと;
前記二次元座標データに基づいて,三角測量を行って、前記発光器の位置を特定する三次元座標データを生成するステップと;
前記IMUからIMUデータを受信するステップと;
前記IMUデータに基づいてシミュレーションインストラクションを生成するステップと;
前記シミュレーションインストラクションに基づいて,ディスプレイ上で物体のイメージを動画化するステップと;
を備え、
前記方法は、更に前記三次元座標データに基づいて、IMU位置データにおける誤差を補正するステップを含む方法。 - 請求項13に記載のコンピュータで実行される方法であって,前記分析ステップは,各イメージにおける各ピクセル線をスキャンすることにより,所定の閾値を超える輝度値を有するピクセルを特定することを備える,方法。
- 請求項14に記載のコンピュータで実行される方法であって,二次元座標データを特定する前記ステップは,所定の閾値を超える輝度値を有するピクセルのクラスタを特定し,該クラスタの中心の座標を特定することを備える,方法。
- 請求項13〜15の何れか一項に記載のコンピュータで実行される方法であって,前記IMUにより提供される位置データを前記三次元座標データと比較し,該三次元座標データにより前記IMUからの位置データを定期的に補正する,方法。
- プロセッサで実行したときに請求項13〜16の何れか一項に記載の方法を実行するインストラクションを備える,機械可読型の保存媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB1604115.4 | 2016-03-10 | ||
GB1604115.4A GB2548341A (en) | 2016-03-10 | 2016-03-10 | Movement tracking and simulation device and method |
PCT/EP2017/055339 WO2017153416A1 (en) | 2016-03-10 | 2017-03-07 | Movement tracking and simulation device and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019512299A JP2019512299A (ja) | 2019-05-16 |
JP6789310B2 true JP6789310B2 (ja) | 2020-11-25 |
Family
ID=55952135
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018547269A Active JP6789310B2 (ja) | 2016-03-10 | 2017-03-07 | 移動追尾及びシミュレーション用の装置並びに方法 |
Country Status (9)
Country | Link |
---|---|
US (1) | US11341867B2 (ja) |
EP (1) | EP3427245A1 (ja) |
JP (1) | JP6789310B2 (ja) |
KR (1) | KR102418773B1 (ja) |
CN (1) | CN108780614B (ja) |
AU (1) | AU2017230317B2 (ja) |
CA (1) | CA3016853A1 (ja) |
GB (1) | GB2548341A (ja) |
WO (1) | WO2017153416A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10839547B2 (en) * | 2017-09-28 | 2020-11-17 | Samsung Electronics Co., Ltd. | Camera pose determination and tracking |
US11367192B2 (en) | 2019-03-08 | 2022-06-21 | Align Technology, Inc. | Foreign object filtering for intraoral scanning |
JP6936826B2 (ja) * | 2019-03-18 | 2021-09-22 | 株式会社モリタ製作所 | 画像処理装置、表示システム、画像処理方法、および画像処理プログラム |
US20220319355A1 (en) * | 2019-08-09 | 2022-10-06 | Simtolife B.V. | Apparatuses for simulating dental procedures and methods |
CN110827975B (zh) * | 2019-11-11 | 2022-10-14 | 延边修恩生物科技有限公司 | 一种口腔扫描装置及其使用方法 |
CN112349167A (zh) * | 2020-11-05 | 2021-02-09 | 北京众绘虚拟现实技术研究院有限公司 | 一种双手力反馈的口腔实践技能考试设备 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1182541A3 (de) * | 2000-08-22 | 2005-11-30 | Siemens Aktiengesellschaft | System und Verfahren zum kombinierten Einsatz verschiedener Display-/Gerätetypen mit systemgesteuerter kontextabhängiger Informationsdarstellung |
JP3436929B2 (ja) | 2001-03-30 | 2003-08-18 | 岩手県 | 3次元形状計測システム |
US20060084050A1 (en) * | 2004-01-12 | 2006-04-20 | Haluck Randy S | Portable virtual reality medical demonstration and training apparatus |
KR100560966B1 (ko) * | 2004-10-12 | 2006-03-15 | 삼성광주전자 주식회사 | 로봇 청소기의 자이로 센서 보정방법 |
US7780089B2 (en) * | 2005-06-03 | 2010-08-24 | Hand Held Products, Inc. | Digital picture taking optical reader having hybrid monochrome and color image sensor array |
GB2451461A (en) * | 2007-07-28 | 2009-02-04 | Naveen Chawla | Camera based 3D user and wand tracking human-computer interaction system |
JP5075659B2 (ja) | 2008-02-12 | 2012-11-21 | 日本放送協会 | 物体軌道演算装置及びそのプログラム |
JP4908457B2 (ja) | 2008-06-03 | 2012-04-04 | 醫百科技股▲ふん▼有限公司 | 歯科臨床と教育訓練シミュレーション追跡システム及びその評価方法 |
US20100167248A1 (en) * | 2008-12-31 | 2010-07-01 | Haptica Ltd. | Tracking and training system for medical procedures |
US9350923B2 (en) * | 2010-08-31 | 2016-05-24 | Cast Group Of Companies Inc. | System and method for tracking |
ES2768033T3 (es) * | 2010-12-22 | 2020-06-19 | Zspace Inc | Seguimiento tridimensional de un dispositivo de control del usuario en un volumen |
US9119655B2 (en) * | 2012-08-03 | 2015-09-01 | Stryker Corporation | Surgical manipulator capable of controlling a surgical instrument in multiple modes |
US8716973B1 (en) * | 2011-02-28 | 2014-05-06 | Moog Inc. | Haptic user interface |
CA2849212C (en) * | 2011-04-28 | 2015-10-13 | Technologies Holdings Corp. | Vision system for robotic attacher |
AU2013295565B2 (en) * | 2012-07-26 | 2017-06-22 | DePuy Synthes Products, Inc. | Camera system with minimal area monolithic CMOS image sensor |
US9563266B2 (en) * | 2012-09-27 | 2017-02-07 | Immersivetouch, Inc. | Haptic augmented and virtual reality system for simulation of surgical procedures |
JP6204686B2 (ja) * | 2013-04-12 | 2017-09-27 | 任天堂株式会社 | 情報処理プログラム、情報処理システム、情報処理装置、および、情報処理の実行方法 |
US9605950B2 (en) * | 2013-05-22 | 2017-03-28 | Cognex Corporation | System and method for efficient surface measurement using a laser displacement sensor |
EP3001219B1 (en) * | 2013-08-20 | 2019-10-02 | CureFab Technologies GmbH | Optical tracking |
US9723300B2 (en) * | 2014-03-17 | 2017-08-01 | Spatial Intelligence Llc | Stereoscopic display |
JP5781667B1 (ja) * | 2014-05-28 | 2015-09-24 | 株式会社モリタ製作所 | 根管治療用装置 |
EP2988288A1 (en) * | 2014-08-22 | 2016-02-24 | Moog B.V. | Medical simulator handpiece |
CN105069795B (zh) * | 2015-08-12 | 2017-12-22 | 深圳锐取信息技术股份有限公司 | 运动对象跟踪方法及装置 |
-
2016
- 2016-03-10 GB GB1604115.4A patent/GB2548341A/en not_active Withdrawn
-
2017
- 2017-03-07 WO PCT/EP2017/055339 patent/WO2017153416A1/en active Application Filing
- 2017-03-07 CA CA3016853A patent/CA3016853A1/en active Pending
- 2017-03-07 KR KR1020187029144A patent/KR102418773B1/ko active IP Right Grant
- 2017-03-07 AU AU2017230317A patent/AU2017230317B2/en active Active
- 2017-03-07 US US16/083,628 patent/US11341867B2/en active Active
- 2017-03-07 JP JP2018547269A patent/JP6789310B2/ja active Active
- 2017-03-07 CN CN201780016289.8A patent/CN108780614B/zh active Active
- 2017-03-07 EP EP17709431.5A patent/EP3427245A1/en not_active Ceased
Also Published As
Publication number | Publication date |
---|---|
KR20180121605A (ko) | 2018-11-07 |
US11341867B2 (en) | 2022-05-24 |
CN108780614B (zh) | 2022-05-31 |
WO2017153416A1 (en) | 2017-09-14 |
AU2017230317A1 (en) | 2018-09-27 |
CN108780614A (zh) | 2018-11-09 |
US20190073924A1 (en) | 2019-03-07 |
EP3427245A1 (en) | 2019-01-16 |
GB2548341A (en) | 2017-09-20 |
GB201604115D0 (en) | 2016-04-27 |
AU2017230317B2 (en) | 2022-10-20 |
CA3016853A1 (en) | 2017-09-14 |
KR102418773B1 (ko) | 2022-07-07 |
JP2019512299A (ja) | 2019-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6789310B2 (ja) | 移動追尾及びシミュレーション用の装置並びに方法 | |
US11157131B2 (en) | Virtual reality-based radiology practice apparatus and method | |
JP4871270B2 (ja) | 仮想3次元空間内で動作するシステム及び方法と視覚化システムを介してオペレーションを選択するシステム | |
KR101694402B1 (ko) | 투사 영상을 이용한 보행 재활 치료 보조 시스템 및 방법 | |
US10540910B2 (en) | Haptic-based dental simulationrpb | |
Sengül et al. | Extending the body to virtual tools using a robotic surgical interface: evidence from the crossmodal congruency task | |
US9936166B2 (en) | Method for planning a dental treatment | |
CN103077633A (zh) | 一种立体虚拟培训系统和方法 | |
CN103903487A (zh) | 一种基于3d力反馈技术的内窥镜微创手术三维仿真系统 | |
US20090305204A1 (en) | relatively low-cost virtual reality system, method, and program product to perform training | |
Buń et al. | Application of professional and low-cost head mounted devices in immersive educational application | |
Lee | Research and development of haptic simulator for Dental education using Virtual reality and User motion | |
US20190096285A1 (en) | Dental simulation machine | |
JP4760344B2 (ja) | 仮想空間体験システム | |
RU2670649C9 (ru) | Способ изготовления перчатки виртуальной реальности (варианты) | |
US20220319355A1 (en) | Apparatuses for simulating dental procedures and methods | |
KR102127664B1 (ko) | 가상 현실 기반의 발치 시술을 위한 협조 시뮬레이션 시스템 및 그 방법 | |
Lee et al. | Visual guidance for a spatial discrepancy problem of in encountered-type haptic display | |
JP7388652B2 (ja) | 気管内吸引の訓練装置 | |
RU2673406C1 (ru) | Способ изготовления перчатки виртуальной реальности | |
Bianchi | Exploration of augmented reality technology for surgical training simulators | |
KR20170082028A (ko) | 림 모션 장치 | |
JP2013517815A (ja) | 生体組織の処置をシミュレーションするためのシミュレータ及び方法 | |
Beier | The integration of a neurosurgical microscope as an interface to a medical training simulator | |
Louison et al. | Spatialized Vibrotactile Feedback Improves Goal-Directed Movements in Cluttered |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181101 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190924 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190920 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20191219 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200324 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200421 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20200430 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200710 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200917 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201013 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201102 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6789310 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |