JP6732909B2 - 整形外科手術用マーカーの位置確認システム及びその確認方法 - Google Patents

整形外科手術用マーカーの位置確認システム及びその確認方法 Download PDF

Info

Publication number
JP6732909B2
JP6732909B2 JP2018524393A JP2018524393A JP6732909B2 JP 6732909 B2 JP6732909 B2 JP 6732909B2 JP 2018524393 A JP2018524393 A JP 2018524393A JP 2018524393 A JP2018524393 A JP 2018524393A JP 6732909 B2 JP6732909 B2 JP 6732909B2
Authority
JP
Japan
Prior art keywords
sensor
unit
robot
signal
detection unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018524393A
Other languages
English (en)
Other versions
JP2019500082A (ja
Inventor
ヨンヒ ハン
ヨンヒ ハン
ドンギ ウ
ドンギ ウ
ジュンウ パク
ジュンウ パク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Curexo Inc
Original Assignee
Curexo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Curexo Inc filed Critical Curexo Inc
Publication of JP2019500082A publication Critical patent/JP2019500082A/ja
Priority to JP2020053605A priority Critical patent/JP6977086B2/ja
Application granted granted Critical
Publication of JP6732909B2 publication Critical patent/JP6732909B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/35Surgical robots for telesurgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06Measuring instruments not otherwise provided for
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00115Electrical control of surgical instruments with audible or visual output
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00115Electrical control of surgical instruments with audible or visual output
    • A61B2017/00119Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2048Tracking techniques using an accelerometer or inertia sensor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • A61B2034/2057Details of tracking cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06Measuring instruments not otherwise provided for
    • A61B2090/067Measuring instruments not otherwise provided for for measuring angles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08Accessories or related features not otherwise provided for
    • A61B2090/0818Redundant systems, e.g. using two independent measuring systems and comparing the signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983Reference marker arrangements for use with image guided surgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02Operational features
    • A61B2560/0266Operational features for monitoring or limiting apparatus function

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Manipulator (AREA)
  • Surgical Instruments (AREA)

Description

本発明は、整形外科手術用マーカーの位置を確認する技術に関するもので、より詳細には、検出方式が異なる主センサー及び補助センサーを備えて、整形外科手術時、単一のセンサーの故障または検出信号の受信不可の状況に柔軟に対応して、マーカーの位置及び姿勢を正確に確認することができる整形外科手術用マーカーの位置確認システム及びその確認方法に関する。
近年、医学の技術の発達で、ロボットとコンピュータシステムを用いたナビゲーション手術が盛んに導入されており、人工関節手術の分野でもこのような手術が適用されている。
膝関節の場合、外傷や様々な感染症、疾患による痛み及び行動障害が生じると、整形外科的手術により関節の全体または一部に置換術による治療が行われる。約10〜30%の患者は膝の内側関節の摩耗がもたらされ、膝関節の部分の置換術が行われる。
このような整形外科関節手術に使われるロボットの一例に、ロボドク(ROBODOC)の一種であり、自律駆動されるキャド/キャム(CAD/CAM)ロボットが挙げられる。このような整形外科手術用ロボットは、予め計画された経路に沿って骨を切削するのに伴って切削中に骨が動かないようにすることが望ましい。
従来、整形外科手術用ロボットを用いた膝関節の手術を行う時、大韓民国登録特許公報第10−1154100号に記載されたように、光学式マーカーを装着し、ナビゲーターの光学センサーで光学式マーカーの位置と姿勢をトラッキングして手術の状況をモニタリングし、正確な手術部位に手術ロボットを投入する。
しかし、手術の過程で手術ロボットのロボットアーム、医療スタッフの動き、これ以外の障害により、ナビゲーターの光学センサーの視野が遮断されて、患者の位置や手術ロボットの位置が検出されないという問題が発生し、この場合、手術を中断し、光学センサーの駆動動作を点検しなければならないので手術時間が遅延される問題があった。
近年、大韓民国公開特許公報第10−2014−0056772号に開示されたように、施術者が針の挿入ロボットの操作部を操作する方式が適用されている。
本発明は、前記のような従来の問題を解決するために提案されたものであり、本発明に係る整形外科手術用マーカーの位置確認システム及びその方法の目的は、検出方式が異なる主センサー及び補助センサーを備え、主センサーまたは補助センサーの異常駆動状況の発生時にもマーカーの位置及び姿勢をリアルタイムでトラッキングすることができるシステムを提供することにある。
本発明に係る整形外科手術用マーカーの位置確認システムは、手術部位と隣接する位置及び整形外科手術用ロボットに装着され、第1のセンサーと第2のセンサーと、を含むセンサー部と、前記第1のセンサーの位置を検出する第1の位置検出部と、前記第2のセンサーの位置を検出する第2の位置検出部と、前記第1の位置検出部及び前記第2の位置検出部で検出された位置信号を受け、前記第1のセンサー及び前記第2のセンサーの動作状態に応じて、主センサー及び補助センサーを設定する制御部と、を含むことを特徴とする。
本発明に係る整形外科手術用マーカーの位置確認方法は、第1の位置検出部を用いて、手術部位と隣接する位置及び手術ロボットの一側に装着されたセンサー部の第1のセンサーの位置を検出し、第2の位置検出部を用いて前記センサー部の第2のセンサーの位置を検出するaステップと、制御部のセンサー位置同期部を用いて、前記第1の位置検出部及び前記第2の位置検出部で検出された位置信号を受け、主センサーに設定されたセンサーの座標系を基準にして補助センサーの位置の同期を行うbステップと、位置追跡部を用いて、前記センサー部の位置及び姿勢を追跡するcステップと、を含むことを特徴とする。
以上で説明したように、本発明に係る整形外科手術用マーカーの位置確認システム及び方法は、主センサーまたは補助センサーの異常駆動状況の発生時にもマーカーの位置及び姿勢をリアルタイムでトラッキングすることができ、これにより手術中断の状況を最小化することができ、センサーの異常動作の状況に応じて整形外科手術用ロボットの速度を調節して、センサーの認識不可に応じて速やかに積極的に対応できる効果がある。
本発明に係る整形外科手術用マーカーの位置確認システムの全体的な構成を示す構成図である。 本発明に係る整形外科手術用マーカーの位置確認システムにおいて、制御部の詳細な構成を示す構成図である。 本発明に係る整形外科手術用マーカーの位置確認方法の全体の流れを示すフローチャートである。 本発明に係る整形外科手術用マーカーの位置確認方法において、S300ステップの詳細な流れを示すフローチャートである。 本発明に係る整形外科手術用マーカーの位置確認方法において、S310ステップの詳細な流れを示すフローチャートである。 本発明に係る整形外科手術用マーカーの位置確認方法において、S400ステップの詳細な流れを示すフローチャートである。 本発明に係る整形外科手術用マーカーの位置確認方法において、S400ステップ他の詳細な流れを示すフローチャートである。
以下、本発明に係る整形外科手術用マーカーの位置確認システム及びその確認方法を実施するための具体的な内容を説明すると、次の通りである。
図1は、本発明に係る整形外科手術用マーカーの位置確認システムの全体的な構成を示す構成図であり、整形外科手術用マーカーの位置確認システムは、センサー部3、第1の位置検出部15、第2の位置検出部25、制御部40、及び整形外科手術用ロボット50を含む。
前記センサー部3は、手術部位の膝を基準にして大腿骨1の一地点に装着された第1のセンサー部材31と、脛骨2の一地点に装着された第2のセンサー部材32と、前記整形外科手術用ロボット50の一地点に装着された第3のセンサー部材33と、を含み、それぞれ第1のセンサー11、12、13、および傾きセンサーと加速度センサーが内蔵された第2のセンサー21、22、23を含んでいる。
本発明の実施形態で、前記第1のセンサー11、12、13は光学式マーカーであり、中心点を基準にして異なる方向の枝の形態のバー(bar)3つまたは4つで形成され、前記バーの端部にはそれぞれ高反射のボールマーカーが形成される。
前記第1の位置検出部15は、光学式トラッキングセンサーであり、3次元空間座標上の前記第1のセンサー11、12、13の位置及び姿勢を検出し、検出された信号は前記制御部40に伝達される。本発明の実施形態で、前記第1の位置検出部15は赤外線ステレオカメラで具現化される。
前記第2のセンサー21、22、23は加速度センサー及び傾きセンサーが内蔵される。傾きセンサーで前記第1のセンサー11、12、13の位置が検出され、加速度センサーの信号で傾きの信号の誤差が減らされ、相互補完的に前記第1のセンサー11、12、13の位置情報を得ることができる。
前記第2の位置検出部25は、センサー信号受信機であり、前記第2のセンサー21、22、23の信号を受信することにより、前記第2のセンサー21、22、23の位置を検出することができる。前記第2の位置検出部25が検出した位置信号は前記制御部40に伝達される。
前記制御部40は、前記第1の位置検出部15及び前記第2の位置検出部25で検出された位置信号を受け、第1のセンサー11、12、13及び第2のセンサー21、22、23の位置を同一の座標系に同期して、前記第1のセンサー11、12、13及び第2のセンサー21、22、23の動作状態に応じて、主センサー及び補助センサーを設定する。
本発明に係る前記制御部40は、前記第1の位置検出部15及び前記第2の位置検出部25で検出された位置信号を受け、主センサーの座標系を基準にして補助センサーの位置の同期を行うセンサー位置同期部41、第1のセンサー部材31乃至第3のセンサー部材33の位置及び姿勢を追跡する位置追跡部42、前記第1の位置検出部15又は前記第2の位置検出部25の動作が正常ではない場合、正常に動作するセンサーを主センサーに設定するセンサー故障判断部43、センサーの故障状況の発生時、外部にセンサーの故障報知メッセージを表示するセンサー故障報知部44を含む。前記第1の位置検出部15の動作が正常ではない場合、前記第1のセンサー11、12、13及び前記第1の位置検出部15のうちの少なくとも一つが損傷あるいは破損した場合でありえる。前記第2の位置検出部25の動作が正常ではない場合、前記第2のセンサー21、22、23及び前記第2の位置検出部25のうちの少なくとも一つが損傷あるいは破損した場合でありえる。
本発明において、前記センサー故障判断部43は、前記第1の位置検出部15及び前記第2の位置検出部15のうちの少なくともいずれか一つ以上が正常に動作しない場合、ロボットの停止信号またはロボットの減速信号を発生し、前記整形外科手術用ロボット50に伝達することができる。
このような本発明に係る整形外科手術用マーカーの位置確認システムのマーカーの位置確認方法を説明すると、次の通りである。
図3は、本発明に係る整形外科手術用マーカーの位置確認方法の全体の流れを示すフローチャートである。まず、前記センサー部3を装着するステップS100を行う。本発明の実施形態で前記Sl00ステップは、手術部位の膝を基準にして大腿骨の一地点に第1のセンサー部材31を装着し、脛骨の一地点に第2のセンサー部材32を装着し、前記整形外科手術用ロボット50の一地点に第3のセンサー部材33を装着する。
次に、前記第1の位置検出部15を用いて、手術部位と隣接する位置に装着された第1のセンサー部材31乃至第3のセンサー部材33の各第1のセンサー11、12、13の位置を検出し、第2の位置検出部25を用いて、前記第1のセンサー部材31乃至第3のセンサー部材33の第2のセンサー21、22、23の位置を検出するステップS200を行う。
次に、前記制御部40のセンサー位置同期部41を用いて、第1の位置検出部15及び第2の位置検出部25で検出された位置信号を受け、主センサーに設定されたセンサーの座標系を基準にして補助センサーの位置同期を行うステップS300を行う。
本発明に係る前記S300ステップは、図4に示すように、主センサーに設定された第1の位置検出部15が検出した位置信号により、第1のセンサー部材31乃至第3のセンサー部材33の第1のセンサー11、12、13の位置と姿勢を認識するステップS310を行う。本発明に係る前記S310ステップは、図5に示すように、前記第1の位置検出部15が検出した位置信号の変動量が予め設定された閾値以下であるか否かを確認するステップS311を行い、もし前記S311ステップで、前記第1の位置検出部15が検出した位置信号の変動量が予め設定された閾値以下である場合、第1のセンサー11、12、13の位置及び姿勢を記録するステップS312を行う。前記第1の位置検出部15が検出した位置信号の変動量が予め設定された閾値以下であるか否かを確認するステップS311は、前記第1の位置検出部15が検出した第1のセンサー11、12、13の位置及び姿勢が安定するか否かを判断することにより行われることもできる。
前記S310ステップと同時に補助センサーに設定された第2の位置検出部25を用いて、第2のセンサー21、22、23の位置信号を得るステップS320を行う。
前記S320ステップで、前記第2のセンサー21、22、23は、加速度センサー及び傾きセンサーが内蔵され、傾きセンサーで第1のセンサーの位置を検出し、加速度センサーの信号で傾きの信号の誤差を減らし、相互補完的に第1のセンサー11、12、13の位置情報を得ることができる。
次に、補助センサーに設定された第2の位置検出部25が検出した第2のセンサー21、22、23の位置を前記第1のセンサー11、12、13の座標系を基準にして同期するステップS330を行う。
次に、位置追跡部42を用いて、第1のセンサー部材31乃至第3のセンサー部材33の位置及び姿勢を追跡するステップS400を行う。
本発明に係る前記S400ステップは、図6に示すように、センサー故障判断部43を用いて、主センサーに設定された第1の位置検出部15の動作が正常であるか否かを判断するステップS411を行う。前記S411ステップで、第1の位置検出部15の動作が正常であると判断される場合、補助センサーに設定された第2の位置検出部25の動作が正常であるか否かを判断するステップS412を行う。前記S412ステップで第2の位置検出部25の動作が正常であると判断される場合、前記第1の位置検出部15及び前記第2の位置検出部25が検出した位置信号で第1のセンサー11、12、13の位置及び姿勢を認識して出力するステップS413、S430を行う。ここで、前記第2の位置検出部25の動作が正常であるか否かを判断するステップS412は、前記第2のセンサー21、22、23の動作が正常であるか否かを判断することにより行われることもできる。
また、前記S412ステップで前記第2の位置検出部25の動作が正常ではないと判断される場合、主センサーの第1の位置検出部15が検出した第1のセンサー11、12、13の位置及び姿勢を認識するステップS421を行い、センサー故障報知部44を用いて、補助センサーの第2の位置検出部25の故障メッセージを外部に表示するステップS422を行い、認識された第1のセンサー11、12、13の位置及び姿勢を出力するステップS430を行う。
また、前記S411ステップで、第1の位置検出部15の動作が正常ではないと判断される場合、補助センサーに設定された第2の位置検出部25の動作が正常であるか否かを判断するステップS431を行う。前記S431ステップで第2の位置検出部25の動作が正常であると判断される場合、補助センサーの第2の位置検出部25が検出した位置信号で第1のセンサー11、12、13の位置及び姿勢を認識するステップS432を行い、センサー故障報知部44を用いて、主センサーの第1の位置検出部15の故障メッセージを外部に表示するステップS433を行い、認識された第1のセンサー11、12、13の位置及び姿勢を出力するステップS430を行う。
また、前記S411ステップで、主センサーに設定された第1の位置検出部15の動作が正常ではないと判断される場合、補助センサーに設定された第2の位置検出部25の動作が正常であるか否かを判断するステップS431を行う。前記S431ステップで第2の位置検出部25の動作が正常ではないと判断される場合、ロボットの停止信号を発生し、整形外科手術用ロボット50に伝達するステップS440を行い、センサー故障報知部44を用いて、主センサーの第1の位置検出部15及び補助センサーの第2の位置検出部25の故障メッセージを外部に表示するステップS450を行う。
図7は、本発明に係る前記S400ステップの他の実施形態である。センサー故障判断部43を用いて、主センサーに設定された第1の位置検出部15の動作が正常であるか否かを判断した結果、第1の位置検出部15の動作が正常ではないと判断され、補助センサーに設定された第2の位置検出部25の動作が正常に動作すると判断されるS461と、ロボットの減速信号を発生し、整形外科手術用ロボットに伝達するステップS462を行い、設定された時間内にユーザーの確認信号が入力されるかを確認するステップS463を行う。前記S463ステップで、設定された時間内にユーザーの確認信号が入力される場合、前記第2の位置検出部25が検出した位置信号で第1のセンサー11、12、13の位置及び姿勢を認識して出力するステップS471を行い、ロボットの作業速度の復帰信号を発生して整形外科手術用ロボット50に伝達するステップS472を行う。
また、S463ステップで設定された時間内にユーザーの確認信号が入力されない場合、ロボットの停止信号を発生し前記整形外科手術用ロボット50に伝達するステップS481を行い、センサー故障報知部44を用いて、第1の位置検出部15の故障メッセージを外部に表示するステップS482を行う。
以上で説明したように、本発明に係る整形外科手術用マーカーの位置確認システム及びその確認方法を適用することで、主センサーまたは補助センサーの異常駆動状況の発生時にもマーカーの位置及び姿勢をリアルタイムでトラッキングすることができるという効果を奏する。
また、これにより、手術中断の状況を最小化することができ、センサーの異常動作の状況に応じて整形外科手術用ロボットの速度を調節して、センサーの認識不可に応じて速やかに積極的に対応できるという効果がある。
以上、本発明の実施形態で説明したが、本発明の技術的思想が前記実施形態に限定されるものではなく、本発明の技術的思想を逸脱しないカテゴリで、様々な整形外科手術用マーカーの位置確認システム及びその確認方法で具現することができる。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[1]
手術部位と隣接する位置及び整形外科手術用ロボットに装着され、第1のセンサーと第2のセンサーと、を含むセンサー部と、
前記第1のセンサーの位置を検出する第1の位置検出部と、
前記第2のセンサーの位置を検出する第2の位置検出部と、
前記第1の位置検出部及び前記第2の位置検出部で検出された位置信号を受け、前記第1のセンサー及び前記第2のセンサーの動作状態に応じて、主センサー及び補助センサーを設定する制御部と、
を含むことを特徴とする、整形外科手術用マーカーの位置確認システム。
[2]
前記制御部は、前記第1の位置検出部及び前記第2の位置検出部で検出された位置信号を受け、前記第1のセンサーの位置及び前記第2のセンサーの位置を同一の座標系に同期することを特徴とする、[1]の整形外科手術用マーカーの位置確認システム。
[3]
前記制御部は、
前記第1の位置検出部及び前記第2の位置検出部で検出された位置信号を受け、前記主センサーの座標系を基準にして前記補助センサーの位置の同期を行うセンサー位置同期部と、
前記センサー位置同期部と接続されて、前記センサー部の位置及び姿勢を追跡する位置追跡部と、
前記位置追跡部と接続されて、前記第1の位置検出部または前記第2の位置検出部の動作が正常ではない場合、前記第1の位置検出部及び前記第2の位置検出部のうちの正常に動作するものを前記主センサーに設定するセンサー故障判断部を含むことを特徴とする、
[2]の整形外科手術用マーカーの位置確認システム。
[4]
前記センサー故障判断部は、
前記第1の位置検出部及び前記第2の位置検出部の中の少なくともいずれか一つ以上が正常に動作しない場合、ロボットの停止信号またはロボットの減速信号を発生し、前記整形外科手術用ロボットに伝達することを特徴とする、[3]の整形外科手術用マーカーの位置確認システム。
[5]
前記センサー故障判断部と接続されて、センサーの故障状況発生時、外部に前記センサーの故障報知メッセージを表示するセンサー故障報知部をさらに含むことを特徴とする、
[4]の整形外科手術用マーカーの位置確認システム。
[6]
第1の位置検出部を用いて、手術部位と隣接する位置及び手術ロボットの一側に装着されたセンサー部の第1のセンサーの位置を検出し、第2の位置検出部を用いて前記センサー部の第2のセンサーの位置を検出するaステップと、
制御部のセンサー位置同期部を用いて、前記第1の位置検出部及び前記第2の位置検出部で検出された位置信号を受け、主センサーに設定されたセンサーの座標系を基準にして補助センサーの位置の同期を行うbステップと、
位置追跡部を用いて、前記センサー部の位置及び姿勢を追跡するcステップとを含むことを特徴とする、整形外科手術用マーカーの位置確認方法。
[7]
前記bステップは、
前記主センサーに設定された前記第1の位置検出部が前記第1のセンサーの位置と姿勢を認識するb−1ステップと、
前記b−1ステップと同時に前記補助センサーに設定された前記第2の位置検出部が前記第2のセンサーの位置を獲得するb−2ステップと、
前記補助センサーに設定された前記第2の位置検出部が獲得した前記第2のセンサーの位置を、前記第1のセンサーの座標系を基準にして同期を行うb−3ステップと、
を含むことを特徴とする、[6]の整形外科手術用マーカーの位置確認方法。
[8]
前記b−1ステップは、
前記第1の位置検出部が検出した位置信号の変動量が予め設定された閾値以下であるか否かを確認するb−1−1ステップと、
前記b−1−1ステップで、前記第1の位置検出部が検出した前記位置信号の前記変動量が予め設定された前記閾値以下の場合、前記第1のセンサーの位置及び姿勢を記録するb−1−2ステップと、
を含むことを特徴とする、[7]の整形外科手術用マーカーの位置確認方法。
[9]
前記cステップは、
センサー故障判断部を用いて、前記主センサーに設定された前記第1の位置検出部の動作が正常であるか否かを判断するc−1ステップと、
前記c−1ステップで、前記第1の位置検出部の動作が正常であると判断される場合、前記補助センサーに設定された前記第2の位置検出部の動作が正常であるか否かを判断するc−2ステップと、
前記c−2ステップで、前記第2の位置検出部の動作が正常であると判断される場合、前記第1の位置検出部及び前記第2の位置検出部が検出した位置信号で前記第1のセンサーの位置及び姿勢を認識して出力するc−3ステップと、
を含むことを特徴とする、[6]の整形外科手術用マーカーの位置確認方法。
[10]
前記cステップは、
前記c−1ステップで、前記第1の位置検出部の動作が正常ではないと判断される場合、前記補助センサーに設定された前記第2の位置検出部の動作が正常であるか否かを判断するc−4ステップと、
前記c−4ステップで、前記第2の位置検出部の動作が正常であると判断される場合、前記第2のセンサーの位置信号値で前記第1のセンサーの位置及び姿勢を認識するc−5ステップと、
センサー故障報知部を用いて、前記第1の位置検出部の故障メッセージを外部に表示するc−6ステップと、
をさらに含むことを特徴とする、[9]の整形外科手術用マーカーの位置確認方法。
[11]
前記cステップは、
前記c−2ステップで、前記第2の位置検出部の動作が正常ではないと判断される場合、前記第1の位置検出部が検出した前記第1のセンサーの位置及び姿勢を認識するc−7ステップと、
センサー故障報知部を用いて、前記第2の位置検出部の故障メッセージを外部に表示するc−8ステップと、
をさらに含むことを特徴とする、[9]の整形外科手術用マーカーの位置確認方法。
[12]
前記cステップは、
前記c−1ステップで、前記第1の位置検出部の動作が正常ではないと判断される場合、前記補助センサーに設定された前記第2の位置検出部の動作が正常であるか否かを判断するc−9ステップと、
前記c−9ステップで、前記第2の位置検出部の動作が正常ではないと判断される場合、ロボットの停止信号を発生して整形外科手術用ロボットに伝達するc−10ステップと、
センサー故障報知部を用いて、前記第1の位置検出部及び前記第2の位置検出部の故障メッセージを外部に表示するc−11ステップと、
をさらに含むことを特徴とする、[9]の整形外科手術用マーカーの位置確認方法。
[13]
前記cステップは、
センサー故障判断部を用いて、前記主センサーに設定された前記第1の位置検出部の動作が正常であるか否かを判断するc−12ステップと、
前記c−12ステップで、前記第1の位置検出部の動作が正常ではないと判断される場合、前記補助センサーに設定された前記第2の位置検出部の動作が正常であるか否かを判断するc−13ステップと、
前記c−13ステップで、前記第2の位置検出部の動作が正常であると判断される場合、ロボットの減速信号を発生して整形外科手術用ロボットに伝達するc−14ステップと、
設定された時間内にユーザーの確認信号が入力されたかを確認するc−15ステップと、
前記c−15ステップで、設定された前記時間内に前記ユーザーの前記確認信号が入力される場合、前記第2のセンサーの位置検出信号で前記第1のセンサーの位置及び姿勢を認識するc−16ステップと、
ロボットの作業速度の復帰信号を発生して前記整形外科手術用ロボットに伝達するc−17ステップと、
を含むことを特徴とする、[6]の整形外科手術用マーカーの位置確認方法。
[14]
前記cステップは、
前記c−15ステップで、設定された前記時間内に前記ユーザーの前記確認信号が入力されない場合、ロボットの停止信号を発生して前記整形外科手術用ロボットに伝達するc−18ステップと、
センサー故障報知部を用いて、前記第1の位置検出部の故障メッセージを外部に表示するc−19ステップと、
をさらに含むことを特徴とする、[13]の整形外科手術用マーカーの位置確認方法。

Claims (11)

  1. 対象に装着され、光学式マーカーと、傾きセンサーおよび加速度センサーを含むセンサーと、を含むセンサー部と、
    前記光学式マーカーの位置を検出する第1の位置検出部と、
    前記センサーの位置を検出する第2の位置検出部と、
    前記第1の位置検出部又は前記第2の位置検出部のいずれかを第1の主センサーに設定し、他方を補助センサーに設定し、前記第1の主センサー及び前記補助センサーによって検出された位置信号に基づいて前記センサー部の位置及び姿勢を追跡する制御部と、
    を含み、
    前記制御部は、前記第1の位置検出部と前記第2の位置検出部との故障を判断するセンサー故障判断部と、前記センサー故障判断部に接続されておりセンサー故障が発生した場合にセンサー故障通知メッセージを表示するセンサー故障報知部とを具備し、
    前記センサー故障判断部は、前記第1の主センサーとして設定された位置検出部の故障が発生し、前記補助センサーとして設定された位置検出部が正常に動作する場合、前記補助センサーとして設定された位置検出部を第2の主センサーに設定し、前記センサー故障報知部は、故障を判断した位置検出部の故障通知を表示し、前記制御部は、前記第2の主センサーに変化された位置検出部の位置信号のみに基づいて前記センサー部の前記位置及び前記姿勢を認識し、
    前記制御部は、
    前記第1の主センサーと前記補助センサーとのうちの少なくとも1つの故障が発生した場合に、ロボット減速信号を生成し、前記ロボット減速信号を整形外科手術用ロボットに送信し、
    前記制御部は、前記ロボット減速信号を前記整形外科手術用ロボットに送信した後、設定された時間内にユーザーの確認が入力されたかチェックし、前記確認が入力された場合、前記制御部は、ロボット動作スピードの回復信号を生成し、前記回復信号を前記整形外科手術用ロボットに送信し、前記確認が入力されない場合、前記制御部は、ロボット停止信号を生成し、前記ロボット停止信号を前記整形外科手術用ロボットに送信する、
    整形外科手術用マーカーの位置確認システム。
  2. 前記センサー故障報知部は、前記補助センサーとして設定された位置検出部の故障が発生し、前記第1の主センサーとして設定された位置検出部が正常に動作する場合、故障を判断した位置検出部の故障通知を表示し、前記制御部は、前記第1の主センサーとして設定された位置検出部の位置信号のみに基づいて前記センサー部の前記位置及び前記姿勢を認識する、
    請求項1に記載の整形外科手術用マーカーの位置確認システム。
  3. 前記制御部は、
    前記整形外科手術用ロボットをさらに具備し、
    前記センサー故障報知部は、前記第1の主センサーの故障と前記補助センサーの故障とが発生した場合に、ロボット停止信号を生成し、前記ロボット停止信号を前記整形外科手術用ロボットに送信する、
    請求項1に記載の整形外科手術用マーカーの位置確認システム。
  4. 第1の位置検出部が、対象に装着され光学式マーカーと傾きセンサーおよび加速度センサーを含むセンサーとを含むセンサー部の前記光学式マーカーの位置を検出し、第2の位置検出部が、前記センサー部の前記センサーの位置を検出するaステップと、
    制御部が、前記第1の位置検出部又は前記第2の位置検出部のいずれかを第1の主センサーに設定し、他方を補助センサーに設定し、前記第1の主センサー及び前記補助センサーによって検出された位置信号に基づいて前記センサー部の位置及び姿勢を追跡するbステップと、
    前記制御部が、前記第1の位置検出部と前記第2の位置検出部との故障を判断するcステップと、
    前記制御部が、前記第1の主センサーとして設定された位置検出部の故障が発生し、前記補助センサーとして設定された位置検出部が正常に動作する場合、前記補助センサーとして設定された位置検出部を前記第2の主センサーに設定し、前記第2の主センサーに変化された位置検出部の位置信号のみに基づいて前記センサー部の前記位置及び前記姿勢を認識するdステップと、
    を含み、
    前記cステップは、
    前記制御部が、前記第1の主センサーとして設定された前記第1の位置検出部の動作が正常であるか否かを判断するc−1ステップと、
    前記制御部が、前記c−1ステップで、前記第1の位置検出部の動作が正常ではないと判断される場合に、前記補助センサーとして設定された前記第2の位置検出部の動作が正常であるか否かを判断するc−2ステップと、
    前記制御部が、前記c−2ステップで、前記第2の位置検出部の動作が正常であると判断される場合に、ロボット減速信号を生成し、前記ロボット減速信号を前記整形外科手術用ロボットに送信するc−3ステップと、
    前記制御部が、設定された時間内にユーザーの確認信号が入力されたかを確認するc−4ステップと、
    前記制御部が、前記c−4ステップで、設定された前記時間内に前記ユーザーの確認信号が入力される場合に、ロボットの作業速度の復帰信号を生成し、前記ロボットの作業速度の復帰信号を前記整形外科手術用ロボットに送信するc−5ステップと、
    を含み、
    前記cステップは、前記制御部が、前記c−4ステップで、設定された前記時間内に前記ユーザーの確認信号が入力されない場合に、ロボットの停止信号を生成し、前記ロボットの停止信号を前記整形外科手術用ロボットに送信し、
    前記dステップは、前記制御部が、前記c−4ステップで、設定された前記時間内に前記ユーザーの確認信号が入力される場合に、前記センサーの位置信号で前記センサー部の前記位置及び前記姿勢を認識する、
    整形外科手術用マーカーの位置確認方法。
  5. 前記bステップは、
    前記第1の主センサーとして設定された前記第1の位置検出部が、前記光学式マーカーの位置と姿勢を認識する−1ステップと、
    前記−1ステップと同時に、前記補助センサーとして設定された前記第2の位置検出部が、前記センサーの位置を認識する−2ステップと、
    前記制御部が、前記補助センサーとして設定された前記第2の位置検出部によって検出された前記センサーの位置を、前記光学式マーカーの座標系を基準にして同期を行う−3ステップと、
    を含む
    ことを特徴とする、請求項に記載の整形外科手術用マーカーの位置確認方法。
  6. 前記−1ステップは、
    前記制御部が、前記第1の位置検出部が検出した位置信号の変動量が予め設定された閾値以下であるか否かを確認する−1−1ステップと、
    前記制御部が、前記−1−1ステップで、前記第1の位置検出部が検出した前記位置信号の前記変動量が予め設定された前記閾値以下の場合、前記光学式マーカーの前記位置及び前記姿勢を記録する−1−2ステップと、
    を含む
    ことを特徴とする、請求項に記載の整形外科手術用マーカーの位置確認方法。
  7. 前記ステップは前記制御部が、前記−1ステップで、前記第1の位置検出部の動作が正常であると判断される場合、前記補助センサーとして設定された前記第2の位置検出部の動作が正常であるか否かを判断する−2ステップをさらに含み、
    前記dステップは、前記制御部が、前記−2ステップで、前記第2の位置検出部の動作が正常であると判断される場合、前記第1の位置検出部及び前記第2の位置検出部によって検出された位置信号に基づいて前記センサー部の前記位置及び前記姿勢を認識して出力するd−1ステップを含む、
    ことを特徴とする、請求項に記載の整形外科手術用マーカーの位置確認方法。
  8. 前記ステップは前記制御部が、前記ステップで、前記第2の位置検出部の動作が正常であると判断される場合、前記第1の位置検出部の故障メッセージを外部に表示する
    ことを特徴とする、請求項に記載の整形外科手術用マーカーの位置確認方法。
  9. 前記ステップは、前記制御部が、前記−2ステップで、前記第2の位置検出部の動作が正常ではないと判断される場合に、前記第2の位置検出部の故障メッセージを外部に表示し、
    前記dステップは、前記制御部が、前記c−2aステップで、前記第2の位置検出部の動作が正常ではないと判断される場合に、前記第1の位置検出部によって検出された位置信号に基づいて前記センサー部の前記位置及び前記姿勢を認識する、
    ことを特徴とする、請求項に記載の整形外科手術用マーカーの位置確認方法。
  10. 前記ステップは前記制御部が前記ステップで、前記第2の位置検出部の動作が正常ではないと判断される場合、ロボット停止信号を生成し、前記整形外科手術用ロボットに送信し前記第1の位置検出部及び前記第2の位置検出部の故障メッセージを外部に表示する
    ことを特徴とする、請求項に記載の整形外科手術用マーカーの位置確認方法。
  11. 前記ステップは前記制御部が、前記ステップで、設定された前記時間内に前記ユーザーの確認信号が入力されない場合に前記第1の位置検出部の故障メッセージを外部に表示する
    ことを特徴とする、請求項に記載の整形外科手術用マーカーの位置確認方法。
JP2018524393A 2015-11-27 2016-11-14 整形外科手術用マーカーの位置確認システム及びその確認方法 Active JP6732909B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020053605A JP6977086B2 (ja) 2015-11-27 2020-03-25 整形外科手術用マーカーの位置確認システム及びその確認方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2015-0167396 2015-11-27
KR1020150167396A KR102430277B1 (ko) 2015-11-27 2015-11-27 정형외과 수술용 마커 위치 확인 시스템 및 그 확인 방법
PCT/KR2016/013065 WO2017090924A1 (ko) 2015-11-27 2016-11-14 정형외과 수술용 마커 위치 확인 시스템 및 그 확인 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020053605A Division JP6977086B2 (ja) 2015-11-27 2020-03-25 整形外科手術用マーカーの位置確認システム及びその確認方法

Publications (2)

Publication Number Publication Date
JP2019500082A JP2019500082A (ja) 2019-01-10
JP6732909B2 true JP6732909B2 (ja) 2020-07-29

Family

ID=58763290

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018524393A Active JP6732909B2 (ja) 2015-11-27 2016-11-14 整形外科手術用マーカーの位置確認システム及びその確認方法
JP2020053605A Active JP6977086B2 (ja) 2015-11-27 2020-03-25 整形外科手術用マーカーの位置確認システム及びその確認方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020053605A Active JP6977086B2 (ja) 2015-11-27 2020-03-25 整形外科手術用マーカーの位置確認システム及びその確認方法

Country Status (6)

Country Link
US (1) US11202685B2 (ja)
EP (1) EP3381398B1 (ja)
JP (2) JP6732909B2 (ja)
KR (1) KR102430277B1 (ja)
CN (1) CN108289720B (ja)
WO (1) WO2017090924A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9008757B2 (en) 2012-09-26 2015-04-14 Stryker Corporation Navigation system including optical and non-optical sensors
CN111163723A (zh) 2017-08-16 2020-05-15 柯惠Lp公司 机器人手术系统的预防性维护
CN109109018B (zh) * 2018-09-13 2021-09-14 上海微创医疗机器人(集团)股份有限公司 用于检测机械臂上传感设备工作状态的装置及方法、机械臂和医疗机器人
US20200237459A1 (en) * 2019-01-25 2020-07-30 Biosense Webster (Israel) Ltd. Flexible multi-coil tracking sensor
KR102166149B1 (ko) * 2019-03-13 2020-10-15 큐렉소 주식회사 페디클 스크류 고정 플래닝 시스템 및 방법
EP4034027A1 (en) * 2019-09-26 2022-08-03 Intuitive Surgical Operations, Inc. Method and system for controlling flexible devices in presence of abnormal sensor signals
CN111281541B (zh) * 2020-03-09 2021-06-15 中国人民解放军总医院 检测手术中导航标志物移动的方法和装置
KR102568269B1 (ko) * 2021-06-09 2023-08-18 서울대학교산학협력단 관성측정장치 센서 기반의 방사선 치료 중 환자 움직임 모니터링 시스템

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000039576A1 (en) 1998-12-23 2000-07-06 Image Guided Technologies, Inc. A hybrid 3-d probe tracked by multiple sensors
JP2000271888A (ja) 1999-03-25 2000-10-03 Fanuc Ltd ロボット制御装置
US7282060B2 (en) * 2003-12-23 2007-10-16 Reliant Technologies, Inc. Method and apparatus for monitoring and controlling laser-induced tissue treatment
US7702379B2 (en) * 2004-08-25 2010-04-20 General Electric Company System and method for hybrid tracking in surgical navigation
CA2826925C (en) * 2005-02-22 2017-01-24 Mako Surgical Corp. Haptic guidance system and method
US10555775B2 (en) * 2005-05-16 2020-02-11 Intuitive Surgical Operations, Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
US8054752B2 (en) 2005-12-22 2011-11-08 Intuitive Surgical Operations, Inc. Synchronous data communication
EP1854425A1 (de) * 2006-05-11 2007-11-14 BrainLAB AG Medizintechnische Positionsbestimmung mit redundanten Positionserfassungseinrichtungen und Prioritätsgewichtung für die Positionserfassungseinrichtungen
KR101154100B1 (ko) 2009-02-10 2012-06-11 국립암센터 네비게이션 수술을 위한 본마커장치 및 이를 이용한 네비게이션 방법
JP5530234B2 (ja) * 2010-03-29 2014-06-25 オリンパス株式会社 操作入力装置およびマニピュレータシステム
WO2011128766A2 (en) * 2010-04-13 2011-10-20 Picard Frederic Methods and systems for object tracking
JP5743495B2 (ja) 2010-11-05 2015-07-01 キヤノン株式会社 ロボット制御装置
US9226750B2 (en) * 2011-02-15 2016-01-05 Intuitive Surgical Operations,Inc. Methods and systems for detecting clamping or firing failure
KR20130001544A (ko) * 2011-06-27 2013-01-04 이방수 이중파이프 제조방법 및 이에 의한 이중파이프
KR20130015441A (ko) 2011-08-03 2013-02-14 주식회사 이턴 수술용 로봇 시스템
US9008757B2 (en) * 2012-09-26 2015-04-14 Stryker Corporation Navigation system including optical and non-optical sensors
KR20140056772A (ko) 2012-10-31 2014-05-12 현대중공업 주식회사 바늘삽입로봇의 바늘삽입 힘 제어시스템 및 제어방법
KR101826578B1 (ko) 2012-11-15 2018-02-08 큐렉소 주식회사 마커를 이용한 수술 핀 삽입 홀 위치 검출시스템
US9808148B2 (en) * 2013-03-14 2017-11-07 Jan Erich Sommers Spatial 3D sterioscopic intraoral camera system
KR102131693B1 (ko) 2013-06-24 2020-07-08 큐렉소 주식회사 수술로봇의 동작영역을 디스플레이하는 방법
KR101527176B1 (ko) 2013-12-09 2015-06-09 (주)미래컴퍼니 수술 로봇 장치 및 수술 로봇 장치의 제어 방법
JP2015182357A (ja) * 2014-03-25 2015-10-22 株式会社沖データ 画像形成装置
US10166080B2 (en) * 2015-06-12 2019-01-01 The Johns Hopkins University Cooperatively-controlled surgical robotic system with redundant force sensing

Also Published As

Publication number Publication date
EP3381398A1 (en) 2018-10-03
EP3381398A4 (en) 2018-12-05
US11202685B2 (en) 2021-12-21
CN108289720A (zh) 2018-07-17
JP2020114422A (ja) 2020-07-30
US20180333214A1 (en) 2018-11-22
JP6977086B2 (ja) 2021-12-08
CN108289720B (zh) 2021-12-07
WO2017090924A1 (ko) 2017-06-01
KR102430277B1 (ko) 2022-08-09
EP3381398B1 (en) 2024-03-20
EP3381398C0 (en) 2024-03-20
JP2019500082A (ja) 2019-01-10
KR20170062048A (ko) 2017-06-07

Similar Documents

Publication Publication Date Title
JP6732909B2 (ja) 整形外科手術用マーカーの位置確認システム及びその確認方法
US11259875B2 (en) Proximity-triggered computer-assisted surgery system and method
JP6882422B2 (ja) 撮像装置及び入力コントロールを再芯出しするためのシステム及び方法
US11839435B2 (en) Extended reality headset tool tracking and control
US11033366B2 (en) Interactive guidance and manipulation detection arrangements for a surgical robotic system, and associated method
US9125690B2 (en) Medical position determination using redundant position detection means and priority weighting for the position detection means
EP3640949A1 (en) Augmented reality with medical imaging
JP7367990B2 (ja) 手術室の遠隔監視
JP7341567B2 (ja) ロボットの位置ガイド装置、及びそれを含むシステム
KR101195994B1 (ko) 3차원 광학 측정기를 이용한 뼈 움직임 감지 및 경로 보정 시스템
KR102349862B1 (ko) 관절치환 로봇수술 정보 제공 장치 및 제공 방법
KR102274175B1 (ko) 수술 내비게이션 장치 및 그 방법
KR20170056115A (ko) 정형외과 수술로봇 시스템의 트래커 및 마커 위치 가이드 장치 및 그 방법
US20210361360A1 (en) Stabilization system for navigation camera in computer-assisted surgery
CA3198089A1 (en) Robotic surgery system with user interfacing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190416

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190422

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190710

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200325

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200402

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200708

R150 Certificate of patent or registration of utility model

Ref document number: 6732909

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250