JP6777634B2 - レプリカ制御ツール及びロボティック作動システム - Google Patents

レプリカ制御ツール及びロボティック作動システム Download PDF

Info

Publication number
JP6777634B2
JP6777634B2 JP2017532131A JP2017532131A JP6777634B2 JP 6777634 B2 JP6777634 B2 JP 6777634B2 JP 2017532131 A JP2017532131 A JP 2017532131A JP 2017532131 A JP2017532131 A JP 2017532131A JP 6777634 B2 JP6777634 B2 JP 6777634B2
Authority
JP
Japan
Prior art keywords
control
replica
tool
robotic actuator
far end
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017532131A
Other languages
English (en)
Other versions
JP2018501868A (ja
Inventor
ライプ ラインシュタイン，アリエ
ライプ ラインシュタイン，アリエ
ポポヴィッチ，アレクサンドラ
ポール ヌーナン，デイヴィッド
ポール ヌーナン，デイヴィッド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2018501868A publication Critical patent/JP2018501868A/ja
Application granted granted Critical
Publication of JP6777634B2 publication Critical patent/JP6777634B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/02—Hand grip control means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00053—Mechanical features of the instrument of device
    • A61B2018/00297—Means for providing haptic feedback
    • A61B2018/00303—Means for providing haptic feedback active, e.g. with a motor creating vibrations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A61B2090/3782—Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument
    • A61B2090/3784—Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument both receiver and transmitter being in the instrument or receiver being also transmitter

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Mechanical Engineering (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Manipulator (AREA)

Description

本発明は一般に経食道心エコー(transesophageal echocardiography：TEE)検査に関連する。本発明は、具体的には、介入プロシジャの最中におけるTEEプローブの遠隔ロボット作動に関連する。
経食道心エコー法は、構造的な心臓疾患(structural heart disease：SHD)の治療中に、心臓の生体構造及び介入デバイスを可視化するために一般に使用されている。図1は、検査室10a内の手術スタッフの一般的な配置を示し、検査室10aは、超音波ワークステーション11と、x線スキャナと、そのc-アーム12とが示されている。SHDオペレーション中に、心エコー検査者13はTEEプローブ14を保持し、TEEプローブ14は、患者の口を通って経食道の中に入り、患者の心臓を可視化する。心臓専門医15は、x線c-アーム12及びオペレーション・テーブル17の反対側に位置する。心臓専門医15は、TEEプローブ14により、動脈の切り口から心臓の中へ(不図示の)介入デバイス(例えば、カテーテル及びガイドワイヤ)をナビゲートし、様々な診断又は治療プロシジャを実行する。切開クリップ配置や、経カテーテル大動脈弁置換術(transcatheter aortic valve replacements：TAVR)等のような典型的なプロシジャは、時間のかかる複雑なものとなり得る。更に、プロシジャ中にターゲット生体構造の適切な可視化を保証することは、心エコー検査者14の責務であり、その検査者は、プロシジャの期間にわたって、TEEプローブ14の先端位置に対する継続的な繊細な調整を行う必要がある。
実際には、図1のオペレーティング状態は幾つもの問題を提起する。第1の問題は、疲労と貧弱な可視化である。具体的には、適切な可視化は、関連する組織構造が視野の中にあること、及び、トランスデューサ・ヘッドと食道壁との間で適切な音響カップリングを達成するために必要な一定の力が達成されること、の双方を保証することを含む。この目的のため、TEEプローブ14のヘッドの位置及び向きは、ターゲット構造の適切な可視化を維持するために、プロシジャ期間内で、一定の繊細な調整を必要とする。これは、長時間のプロシジャの間に、エコー検査者の疲労及び視覚性の低下を招く可能性がある。
第2の問題はx線照射である。具体的には、TEEプローブ14の長さが、介入x線システムの線源の間近に心エコー検査者を配置する結果となり、従って、プロシジャの間にわたって心エコー検査者13のx線照射を長期化してしまう。
第3の問題は、通信と可視化である。プロシジャの所定の段階において、心臓専門医15と心エコー検査者13とは継続的に連絡をとる必要があり、なぜなら、心臓専門医15は、可視化する構造を心エコー検査者13に指示するからである。x線及び超音波システムにより表示される様々な座標系及び3D超音波ボリュームを解釈する困難性の下では、心エコー検査者13にとって、心臓専門医15の意図を理解することは困難になり得る。
米国特許出願公開第2012/0078080号明細書
本発明は、介入ツール(特に、TEEプローブ)に関連する操作の問題に対処する遠隔ロボティック作動システムを提供する。概して、図2に示されるように、遠隔ロボティック作動システムを備える検査室10b内では、手術スタッフの新たな配置がなされ、そのシステムは、ロボティック・ワークステーション20、ロボティック・アクチュエータ30及びレプリカTEE制御ツール31を利用し、かつ、TEEプローブ14の(2)自由度ないし(4)自由度の間で遠隔作動を行い、その遠隔作動はTEEプローブ14の超音波撮像ボリュームを調整する。更に、本願で更に説明されるように、レプリカTEE制御ツール31は、既存の様々なタイプのロボティック・アクチュエータ30に使用される能力を備え、かつ、心エコー検査者13が何らかの理由でTEEプローブ14の手動オペレーションに戻ることを決定した場合、ロボティック・アクチュエータ30から速やかに切断される能力も有する。
本発明の一形態は、(例えば、プローブ、カテーテル、フレキシブル・スコープ等のような)介入ツールの制御ハンドルをロボット制御するロボット・アクチュエータを遠隔的に制御するレプリカ制御ツールであり、その遠隔制御は更に介入ツールの遠方端部を動かす。レプリカ制御ツールは、介入ツールの制御ハンドルの構造配置についての実質的なレプリカであるレプリカ制御ハンドルと、レプリカ制御ハンドルに対して可動である制御入力デバイス(例えば、ジョイスティック又はトラックボール)とを利用する。レプリカ制御ツールは、ロボティック・アクチュエータ・コントローラを利用して、レプリカ制御ハンドルに対する制御デバイスの何らかの動きに応じて、ロボティック・アクチュエータにより、介入ツールの遠方端部の偏向を遠隔的に制御する。レプリカ制御ツールは、レプリカ制御ハンドルとともに回転することが可能な電気機械デバイス(例えば、加速度計)を利用し、それにより、ロボティック作動コントローラは、電気機械デバイスがレプリカ制御ハンドルと一緒に回転することに応じて、ロボティック・アクチュエータにより、介入ツールの遠方端部の回転を遠隔的に制御する。
本発明の目的に関し、「コントローラ」という用語は、コンピュータ又は他の命令実行デバイス/システム内に収容される又はそれらにリンクされる特定用途向けメイン・ボード又は特定用途向け集積回路による全ての構造的構成を広く包含し、そのコンピュータ等は、後述されるような本発明の様々な発明原理によるアプリケーションを制御する。アプリケーション・コントローラの構造配置は、プロセッサ、コンピュータ利用可能な/コンピュータ読み取り可能な記憶媒体、オペレーティング・システム、ペリフェラル・デバイス・コントローラ、スロット及びポート等を含んでよいが、これらに限定されない。コンピュータの具体例は、サーバー・コンピュータ、クライアント・コンピュータ、ワークステーション及びタブレット等を含んでよいが、これらに限定されない。
本発明の第2形態は、ロボティック・アクチュエータ及びレプリカ制御ツールを利用するロボティック作動システムである。
本発明の上記の形態及び他の形態並びに本発明の様々な特徴及び利点は、添付図面に関連して理解される本発明の様々な形態についての以下の詳細な記述から更に明らかになるであろう。詳細な記述及び図面は本発明の単なる例示に過ぎず、限定ではなく、本発明の範囲は添付の特許請求の範囲及びその均等物により定められる。
当該技術分野で知られているTEEプローブの手動作動例を示す図。 本発明によるTEEプローブの遠隔制御作動の一形態を示す図。 本発明によるロボット作動システムの一形態を示す図。 TEEプローブのプローブとレプリカTEE制御ツールとの様々な動きについての本発明による様々なマッピング例を示す図。 ロボット作動及びレプリカTEE制御ツールについての本発明による一形態を示す図。 本発明による図5に示されるレプリカTEE制御ツールの一形態を示す図。
本発明の理解を促すために、本発明のロボット作動システムの実施例及び様々なコンポーネントが、図3に示されるようなTEEプローブのリモート制御作動の文脈で説明される。これらの説明により、当該技術分野で通常の知識を有する者は、本発明のロボット作動システムの原理を、任意のタイプのプロシジャのための超音波プローブだけでなく、その他の腱駆動式フレキシブル介入ツール(例えば、カテーテル、内視鏡、結腸鏡、胃カメラ、気管支鏡など)についての適切な任意の設計に、如何にして適用するか認識するであろう。
本発明の目的に関し、「偏向」，「ジョイスティック」，「加速度計」，「発光ダイオード」，「作動」，「ロボット」，「ロボット作動」，「ワークステーション」，「入力デバイス」及び「電気機械デバイス」等(ただし、これらに限定されない)を含む当該技術分野の用語は、本発明の技術分野で知られているものとして解釈されるべきである。
図3に関し、当該技術分野で知られているようなTEEプローブ40は、長軸プローブ41とコントロール・ハンドル42とを有し、コントロール・ハンドル42は、プローブ41の遠方先端のヨー自由度を調整するヨー作動ダイヤル43と、プローブ41の遠方先端のピッチ自由度を調整するピッチ作動ダイヤル44とを有する。
当該技術分野で知られているようなロボティック・アクチュエータ50は、プローブ41の遠方先端を、前方向、後方向、左横方向、右横方向又はそれらの組み合わせ方向に偏向させるためのヨー作動ダイヤル43及びピッチ作動ダイヤル44の機械的な制御をもたらす。
当該技術分野で知られているようなロボティック・アクチュエータ50は、TEEプローブ40を通って延びる破線で象徴的に示されているようなTEEプローブ40の長軸に沿う並進及び/又はその長軸周りの回転についての機械的な制御ももたらす。
当該技術分野で知られているようなロボティック・ワークステーション62は、そこに導入されるコントローラを有し、コントローラは、インターフェース・プラットフォーム61のオペレータによる利用を通じてロボティック・アクチュエータ50に制御コマンドを連絡する。典型的には、オペレータはインターフェース・プラットフォーム61とやり取りを行い、モニタ60により表示されるx線画像又は他のボリューム画像におけるプローブ41のオーバーレイにより示されるような患者体内でのプローブの選択的な偏向、並進及び/又は回転により、プローブ41を方針に沿って操縦する。
本発明は、TEE制御ハンドル42の構造配置の実質的なレプリカであるレプリカ制御ハンドル71を有するレプリカTEE制御ツール70を提供する。実際、レプリカ制御ハンドル71は、TEE制御ハンドル42と同じ形式で構成されてもよく、レプリカ制御ハンドル71の内側は、本発明の発明原理を実現するために、電子的、電気機械的、機械的及び/又はその他のコンポーネントの配置のためにくりぬかれている。
本発明のそのような発明原理のうちの1つは、ダイヤル43及び44の代わりの制御入力デバイス72であり、制御入力デバイス72は、ダイヤル43及び44の複製物、2軸親指ジョイスティック及び/又は2軸トラッカー・ボール等を含んでよいが、これらに限定されない。制御入力デバイス72は、プローブ41の簡易且つより直感的な制御を許容する。具体的には、制御入力デバイス72の左右の横運動は、プローブ41の左右の横偏向に対応付けられ、制御入力デバイス72のアップ-ダウン運動は、プローブ41の前方-後方偏向に対応付けられる。
例えば、図4は、ジョイスティックの形式の制御入力デバイス72の動きにマッピングされるプローブの動きを示す：
(1) ジョイスティックのアップ+Zへの動きは、図示されるように、プローブ41の前方偏向に対応付けられる(或いは、代替的に、プローブ41の後方偏向に対応付けられる)；
(2) ジョイスティックのダウン-Zへの動きは、図示されるように、プローブ41の後方偏向に対応付けられる(或いは、代替的に、プローブ41の前方偏向に対応付けられる)；
(3) ジョイスティックの左横-Xへの動きは、図示されるように、プローブ41の左横偏向に対応付けられる；
(4) ジョイスティックの左横+Xへの動きは、図示されるように、プローブ41の右横偏向に対応付けられる；
(5) ジョイスティックの左上への動きは、図示されるように、プローブ41の左よりの前方偏向に対応付けられる(或いは、代替的に、プローブ41の左よりの後方偏向に対応付けられる)；
(6) ジョイスティックの右上への動きは、図示されるように、プローブ41の右よりの前方偏向に対応付けられる(或いは、代替的に、プローブ41の右よりの後方偏向に対応付けられる)；
(7) ジョイスティックの左下への動きは、図示されるように、プローブ41の左よりの後方偏向に対応付けられる(或いは、代替的に、プローブ41の左よりの前方偏向に対応付けられる)；及び
(8) ジョイスティックの右下への動きは、図示されるように、プローブ41の右よりの後方偏向に対応付けられる(或いは、代替的に、プローブ41の右よりの前方偏向に対応付けられる)。
図3に関し、実際には、対応関係(マッピング)はロボティック・ワークステーション62内に保存され、それにより、制御入力デバイス72の動きは、ロボティック・ワークステーション62に連絡され、プローブ41の対応付けられている動きに関する制御コマンドを、ロボティック・アクチュエータ50に伝達する。追加的又は代替的に、対応関係はレプリカTEE制御ツール70内に保存され、これにより、マッピング・データがロボティック・ワークステーション62に伝達され、プローブ41の対応付けられている動きに関する制御コマンドを、ロボティック・アクチュエータ50に伝達する。
更に図3に関し、本発明の別の発明原理は、レプリカ制御ハンドル71とともに回転するように電気機械デバイス73をレプリカ制御ハンドル71内に組み込むことである(すなわち、レプリカ制御ハンドル71を通って延びる破線により象徴的に示されるようなレプリカ制御ハンドル71の長軸の周りに、レプリカ制御ハンドル71及び電気機械デバイス73は同期して回転する)。実際には、電気機械デバイス73が一緒に回転していること(a co-rotation)は、ロボティック・ワークステーション62に連絡され、図4の「(9)軸回転」に例示されるように、プローブ41の対応する回転に関する制御コマンドをロボティック・アクチュエータ50に伝達する。追加的又は代替的に、レプリカTEE制御ツール70は、電気機械デバイス73の一緒に回転していることを示す回転データを生成し、それにより、回転データがロボティック・ワークステーション62に伝達され、図4の「(9)軸回転」に例示されるようなプローブ41の対応する回転に関する制御コマンドを、ロボティック・アクチュエータ50に伝達する。
電気機械デバイスの非限定的な具体例は3軸加速度計であり、これにより、レプリカ制御ハンドル71の回転は、3軸加速度計から得られるデータを利用して計算される。この計算は、レプリカ制御ハンドル71内の又はロボティック・ワークステーション62内のマイクロコントローラ(図示せず)で為されてもよい。
本発明は複数の回転モードを提供し、そのうちの3つが以下で説明される：
バーティカル・ベース・モード(Vertical Base Mode) レプリカ制御ハンドル71が(例えば、図4に示されるような90°であるような)垂直に対して所定の線引きされた角度(a certain delineated angle)まで回転させられた場合、ロボット・アクチュエータ50は対応する回転方向にプローブ41を回転させる。たとえば、レプリカ制御ハンドル71が、時計回りに回転させられて所定の閾値角度Θに至る場合、プローブ41は時計回りに回転させられ、そして、レプリカ制御ハンドル71が、反時計回りに回転させられて所定の閾値角度Θに至る場合、プローブ41は反時計回りに回転させられる。
フェール・セーフ・モード(Fail Safe Mode) レプリカ制御ハンドル71の不用意な回転を避けるために、フェール・セーフ(別名「デッドマン・スイッチ」)は、レプリカ制御ハンドルの「線引きされた角度モード」に組み込まれて良い。このモードでは、レプリカ制御ハンドル71が所定の閾値角度を超えて回転させられ且つフェール・セーフがアクティベートされるまで、ロボティック・アクチュエータ50はプローブ41を回転させない。
レラティブ・ロール・モード(Relative Roll Mode) レプリカ制御ハンドル17の回転のアクティベーションは、レプリカ制御ハンドル71の現在のロール位置を記録するが、プローブ41はその時点では作動させられない。回転アクティベーションの後、レプリカ制御ハンドル71が、記録されたロール角(例えば、30°)から「ある線引きされた閾角度」を越えて回転させられると、ロボティック・アクチュエータ50は(時計回り又は反時計回りに)対応する方向にプローブ41を回転させる。
本発明の更なる理解を促すため、個々のロボット・アクチュエータ50及びレプリカ制御ツール70についての実施形態50a及び70aが以下に説明される。
図5に関し、ロボティック・アクチュエータ50は、偏向アクチュエータ51と、軸並進アクチュエータ52と、軸回転アクチュエータ53とを利用する。
偏向アクチュエータ51は、TEEプローブ40のダイヤル43及び44と、当該技術分野で知られているようにして、機械的に係合されている。ワークステーション62は、偏向アクチュエータ51のモーター・コントローラ(図示せず)に制御コマンドを与え、ダイヤル43及び44を作動させ、レプリカ制御ツール70の制御入力デバイス72についてのマッピングされている動きに応じて、TEEプローブ40のプローブ41(図示せず)の偏向を実行する。
軸並進アクチュエータ52及び軸回転アクチュエータ53は、偏向アクチュエータ51に機械的に結合されている。
当該技術分野で知られているような軸並進アクチュエータ52は、その長軸に沿ってTEE制御ハンドル42を並進させるように作動させられる。
ワークステーション62は、軸並進アクチュエータ52のモーター・コントローラ(図示せず)に制御コマンドを与え、TEE制御ハンドル42の軸並進を作動させる。
当該技術分野で知られているような軸回転アクチュエータ53は、その長軸に沿って(その周りに)TEE制御ハンドル42を回転させるように作動させられる。ワークステーション62は、軸回転アクチュエータ53のモーター・コントローラ(図示せず)に制御コマンドを与え、レプリカ制御ツール70の電気機械デバイス73についてのマッピングされた回転に応じて、TEE制御ハンドル42の回転を実行する。
図6を参照すると、概して、TEE制御ハンドル42のソリッド・レプリカ(a solid replica)70aは、TEE制御ハンドル42の上半部分71a及び下半部分71bを分割することにより形成され、これにより、電子コンポーネント75a及び76aは下半部分71b内に適合され配置される。更に、ホール78が、下半部分71bのトップ・カバー71cに形成され、親指ジョイスティック72aが、ホール内を通ることを可能にする。
下半部分71bは、ロボティック・アクチュエータ・コントローラ及び通信コントローラを含む電子部品を収容するためのカットアウトを含む。具体的には、印刷回路基板(PCB)75aは、親指ジョイスティック72(例えば、2軸30kΩポテンシオメータ)と、3軸加速度計(不図示)(例えば、STマイクロエレクトロニクスによる3軸加速度計)とを保持する。PCB75aは、(例えば、ルネサス社(Renesas)により製造されているマイクロコントローラ等のような)マイクロコントローラ・チップの形式でロボティック・アクチュエータ・コントローラを含み、親指ジョイスティック72及び加速度計からの信号を解釈し、(例えば、I2Cフォーマットのような)ワークステーション62に適切な形式でデータを出力する。PCB75aは、PCBホルダー(簡明化のため図示せず)によりその場所にしっかりと保持されてもよく、PCBホルダーは、レプリカ制御ハンドル70aの下半部分71bにあるキーボス(a keyed boss)(簡明化のため図示せず)に挿入される。PCBホルダーは、TEEプローブ・ハンドル42におけるレプリカ・ハンドル45(図5)に対するボタンとして使用するために、ジョイスティック/加速度計から90°の角度位置に2つのメンブレン・スイッチを有する。
下半部分71bの第2領域は、(例えば、「Teensy 3.0」マイクロコントローラ・ボードのような)通信コントローラ76aを収容する。通信コントローラ76aは、ジョイスティック、加速度計及びボタンからのI2C入力を処理し、ユニバーサル・シリアル・バス(USB)を介してデータをワークステーション62へ、シミュレーション・シリアル・ポートとして又はゲーム・コントローラとして出力し、後者は、何らかのソフトウェア・アプリケーションへの簡易な統合を可能にする。溝又はホール(図示せず)が、コントローラ76aからワークステーション62へワイヤが通ること、及び、USBコネクタを収容することを許容するために、下半部分71bの端部に刻まれていてもよい。
代替的に、レプリカ制御ハンドル70aとワークステーション62との間の通信は、有線USBではなく、無線通信によりなされてもよい。ワイヤレス・モードにおいては、通信コントローラ76aは、ワイヤレス・モジュール(例えば、ブルートゥース（登録商標）又はWi-Fi)及びバッテリー・パックとして実現されてもよい。この実施形態は、動き及び配置についての更なる自由度を許容する。
代替的に、通信コントローラ76aが省略され、PCB75aが通信コンポーネントを備え、コントローラがワークステーション62内に組み込まれてもよい。
実際には、下半部分71bにカバー71cを適切に整合させるために、(不図示の)ボス(bosses)が使用されてもよく、その整合は、ネジにより下半部分71bに固定されてもよい。
また、レプリカ制御ハンドル70aの上半部分71aは、固形であり且つ下半部分71bに組み合わせられ、或いは、凹んだ形状であって(不図示の)ネジ穴コネクタを介して下半部分71bに直接的に取り付けられてもよい。上半部分71aが凹んだ形態は、レプリカ制御ハンドル70aが、頭でっかち(又は不安定)になってしまうことを防止する。
更に、LED又はレーザー77が(例えば、ネジコネクタとともに)凹んだ上半部分71a内に配置され、それにより、LED又はレーザー77は、特定のイベントが生じたことをユーザーに知らせるように光を照らす。例えば、ボタン74aが押下された場合に、LED/レーザー77が照明されてもよい。異なるイベントを区別するために、多色LEDが使用されてもよい。例えば、ボタン74aが押されたことを示すために或る色が使用され、別の色は、線引きされた閾値角度を超えていること及びTEEプローブ40が回転されているところであることを示してもよい。
更に、(不図示の)振動手段が、医師/技師に触覚的なフィードバックを与えるアセンブリであってもよい。そのフィードバックは、特定のイベントがトリガされる場合に使用されることが可能である。例えば、ボタン74aが押されてTEEプローブ40が作動させられている場合、或いは、TEEプローブ40における力の測定値が選択された閾値を超える場合に振動するように、レプリカが形成されてもよい。この実施形態では、力フィードバックは、作動しているモーターにより流れる電流の測定値を利用して現在の力を推定することにより、又は、物理的な力センサーにより、TEEプローブ40に対して実現される 力センシング技術を必要とする。
図1-6に関し、当該技術分野で通常の知識を有する者は、任意のタイプの介入ツールのロボティック・アクチュエータについての直感的な遠隔制御を含む本発明の様々な利点を認めるであろう(ただし、利点はそれに限定されない)。
更に、当該技術分野で通常の知識を有する者が、本願で提供される教示内容の観点から認めるように、本開示/明細書に記述される及び/又は図1-6に示される特徴、エレメント、コンポーネント等は、電子コンポーネント/回路、ハードウェア、実行可能なソフトウェア及び実行可能なファームウェアによる様々な組み合わせにおいて、特に、本願で説明されるようなコントローラのアプリケーション・モジュールとして実現されてもよく、単独のエレメント又は複数のエレメントに組み込まれてよい機能を提供する。例えば、図1-6に示される/説明される/記述される様々な特徴、エレメント、コンポーネント等の機能は、専用のハードウェアだけでなく、適切なソフトウェアに関連するソフトウェアを実行することが可能なハードウェアの利用を通じて提供されることが可能である。プロセッサにより提供される場合に、その機能は、単独の専用プロセッサにより、単独の共有されるプロセッサにより、或いは、複数の個別的なプロセッサにより提供されることが可能であり、複数の個別的なプロセッサのうちの幾つかは共有され及び/又は多重化されることが可能である。更に、「プロセッサ」という用語の明示的な使い方は、ソフトウェアを実行することが可能なハードウェアを排除するように解釈されるべきではなく、むしろ、ディジタル信号プロセッサ(DSP)ハードウェア、メモリ(例えば、ソフトウェアを保存するリード・オンリ・メモリ(ROM)、ランダム・アクセス・メモリ(RAM)、不揮発性ストレージ等)、プロセスを実行及び/又は制御することが可能である(及び/又はそのように設定可能である)仮想的な任意の手段及び/又はマシン(ハードウェア、ソフトウェア、ファームウェア、回路、それらの組み合わせ等を含む)を、黙示的に含むことが可能である(ただし、これらに限定されない)。
更に、本発明の原理、形態及び実施例ならびにその具体例を引用する本願における全ての記述は、構造及びその構造に等価な機能の双方を包含するように意図される。更に、そのような等価性は、現在知られている均等物だけでなく、将来的に発展した均等物の双方を包含するように意図される(例えば、構造によらず、同一又は実質的に同様な機能を発揮することが可能であるように発展した任意に要素が包含される)。従って、例えば、本願で示される如何なるブロック図も、本発明の原理を組み込む例示的なシステム・コンポーネント及び/又は回路の概念図を表現することが可能である、ということは、本願の教示の観点から当該技術分野で通常の知識を有する者に認められるであろう。同様に、当該技術分野で通常の知識を有する者は、任意のフローチャート及びフロー図等は様々なプロセスを表現することが可能である、ということを本願の教示の観点から認めるはずであり、そのフローチャート等は、コンピュータ読み取り可能な記憶媒体において実質的に表現されることが可能であり且つコンピュータ、プロセッサ又は処理能力を有する他のデバイスによりそのように実行されることが可能であり、そのようなコンピュータ又はプロセッサが明示的に示されているか否かにはよらない。
更に、本発明の実施例は、コンピュータ利用可能な及び/又はコンピュータ読み取り可能な記憶媒体からアクセス可能なコンピュータ・プログラム(プロダクト)又はアプリケーション・モジュールの形式を取ることが可能であり、そのコンピュータ・プログラム等は、例えば、コンピュータ又は何らかの命令実行システムにより使用する又はそれらに接続されるプログラム・コード及び/又は命令を提供する。本開示によれば、コンピュータ利用可能な又はコンピュータ読み取り可能な記憶媒体は、例えば、命令実行システム、装置又はデバイスにより使用する又はそれらに接続されるプログラムを包含、保存、通信、伝搬又は転送することが可能である任意の装置であるとすることが可能である。そのような例示的な媒体は、例えば、電子的、磁気的、光学的、電磁気的、赤外線的又は半導体的なシステム(又は装置又はデバイス)又は伝送媒体であるとすることが可能である。コンピュータ読み取り可能な媒体の具体例は、例えば、半導体又はソリッド・ステート・メモリ、磁気テープ、リムーバブル・コンピュータ・ディスケット、ランダム・アクセス・メモリ(RAM)、リード・オンリ・メモリ(ROM)、フラッシュ(ドライブ)、リジッド磁気ディスク及び光ディスク等を含む。光ディスクの現時点での具体例は、コンパクト・ディスク・リード・オンリ・メモリ(CD-ROM)、コンパクト・ディスク・リード/ライト・メモリ(CD-R/W)及びDVDを含む。更に、今後展開される何れの新たなコンピュータ読み取り可能な媒体も、本発明の実施例及び本開示に従って使用又は言及される場合には、コンピュータ読み取り可能な媒体と考えられることが、理解されるであろう。
新規な発明によるレプリカ制御ツールの好ましい実施形態を説明してきたが(実施形態は例示的であって限定ではないように意図されている)、図1-6を含む本願で提供される教示により、当該技術分野で通常の知識を有する者により、修正及び変形が可能であることに、留意を要する。従って、本願で開示される形態の範囲内に属する本開示の好ましい実施形態の中で変更が可能であることが、理解されるべきである。
更に、本開示に従うデバイスを組み込む及び/又は実現する対応する及び/又は関連するシステム、或いは、そのデバイスで使用/実現されてよいものは、本発明の範囲内に属するものであるように想定及び考察されてよいことも、想定の範囲内にある。更に、本開示に従うデバイス及び/又はシステムを製造及び/又は使用する対応する及び/又は関連する方法も、本発明の範囲内に属するものであるように想定及び考察される。

Claims (15)

  1. ロボティック・アクチュエータによりロボット制御される介入ツールの制御ハンドルを遠隔的に制御するためのレプリカ制御ツールであって：
    前記介入ツールの制御ハンドルの構造配置についての実質的なレプリカであるレプリカ制御ハンドル；
    前記レプリカ制御ハンドルに対して可動である制御入力デバイス；
    前記レプリカ制御ハンドルとともに回転する電気機械デバイス；及び
    ロボティック・アクチュエータ・コントローラ；
    を有し、前記ロボティック・アクチュエータ・コントローラは、前記レプリカ制御ハンドルに対する前記制御入力デバイスの何らかの動きに応じて、前記ロボティック・アクチュエータにより、前記介入ツールの遠方端部のヨー及びピッチである偏向を遠隔的に制御するように、前記制御入力デバイスと通信可能に動作し；及び
    前記ロボティック・アクチュエータ・コントローラは、前記電気機械デバイスが前記レプリカ制御ハンドルとともに回転することに応じて、前記ロボティック・アクチュエータにより、前記介入ツールの遠方端部のロールである回転を遠隔的に制御するように、前記電気機械デバイスと通信可能に動作し、
    前記制御入力デバイスは前記介入ツールの遠方端部のヨー及びピッチを制御するために使用され、
    前記電気機械デバイスは前記介入ツールの遠方端部のロールを制御するために使用され、
    前記介入ツールの遠方端部における力の測定値が所定値を超えたことが前記レプリカ制御ツールにフィードバックされる、レプリカ制御ツール。
  2. 前記介入ツールの遠方端部の前方への偏向にマッピングされている、前記レプリカ制御ハンドルに対する制御入力デバイスの動きに応じて、前記ロボティック・アクチュエータにより、前記介入ツールの遠方端部の前方への偏向を遠隔的に制御するように、前記ロボティック・アクチュエータ・コントローラは動作することが可能である、請求項１に記載のレプリカ制御ツール。
  3. 前記介入ツールの遠方端部の後方への偏向にマッピングされている、前記レプリカ制御ハンドルに対する制御入力デバイスの動きに応じて、前記ロボティック・アクチュエータにより、前記介入ツールの遠方端部の後方への偏向を遠隔的に制御するように、前記ロボティック・アクチュエータ・コントローラは動作することが可能である、請求項１に記載のレプリカ制御ツール。
  4. 前記介入ツールの遠方端部の横への偏向にマッピングされている、前記レプリカ制御ハンドルに対する制御入力デバイスの動きに応じて、前記ロボティック・アクチュエータにより、前記介入ツールの遠方端部の横への偏向を遠隔的に制御するように、前記ロボティック・アクチュエータ・コントローラは動作することが可能である、請求項１に記載のレプリカ制御ツール。
  5. 前記介入ツールの遠方端部の斜め前方への偏向にマッピングされている、前記レプリカ制御ハンドルに対する制御入力デバイスの動きに応じて、前記ロボティック・アクチュエータにより、前記介入ツールの遠方端部の斜め前方への偏向を遠隔的に制御するように、前記ロボティック・アクチュエータ・コントローラは動作することが可能である、請求項１に記載のレプリカ制御ツール。
  6. 前記介入ツールの遠方端部の斜め後方への偏向にマッピングされている、前記レプリカ制御ハンドルに対する制御入力デバイスの動きに応じて、前記ロボティック・アクチュエータにより、前記介入ツールの遠方端部の斜め後方への偏向を遠隔的に制御するように、前記ロボティック・アクチュエータ・コントローラは動作することが可能である、請求項１に記載のレプリカ制御ツール。
  7. 前記制御入力デバイスは、ジョイスティック、トラックボール及び少なくとも１つのダイヤルのうちの何れかであり；
    前記電気機械デバイスは３軸加速度計である；
    請求項１に記載のレプリカ制御ツール。
  8. 前記ロボティック・アクチュエータ・コントローラは、所定の回転度合いに等しいこと又は超過することのうちの少なくとも何れかによる前記電気機械デバイスと前記レプリカ制御ハンドルとの回転に応じて、前記ロボティック・アクチュエータにより、前記介入ツールの遠方端部の回転を遠隔的に制御する、請求項１に記載のレプリカ制御ツール。
  9. 前記ロボティック・アクチュエータ・コントローラと前記ロボティック・アクチュエータとの間で、有線通信及び無線通信のうちの少なくとも何れかを行うように動作することが可能な通信コントローラ；
    を有する請求項１に記載のレプリカ制御ツール。
  10. 前記介入ツールは、プローブ、カテーテル及びフレキシブル・スコープのうちの何れかである、請求項１に記載のレプリカ制御ツール。
  11. ロボティック作動システムであって：
    介入ツールの制御ハンドルをロボット制御するように動作することが可能なロボティック・アクチュエータ；及び
    レプリカ制御ツール；
    を有し、前記レプリカ制御ツールは：
    前記介入ツールの制御ハンドルの構造配置についての実質的なレプリカであるレプリカ制御ハンドル；
    前記レプリカ制御ハンドルに対して可動である制御入力デバイス；
    前記レプリカ制御ハンドルとともに回転する電気機械デバイス；及び
    ロボティック・アクチュエータ・コントローラ；
    を有し、前記ロボティック・アクチュエータ・コントローラは、前記レプリカ制御ハンドルに対する前記制御入力デバイスの何らかの動きに応じて、前記ロボティック・アクチュエータにより、前記介入ツールの遠方端部のヨー及びピッチである偏向を遠隔的に制御するように、前記制御入力デバイス及びロボティック・アクチュエータと通信可能に動作し；及び
    前記ロボティック・アクチュエータ・コントローラは、前記電気機械デバイスが前記レプリカ制御ハンドルとともに回転することに応じて、前記ロボティック・アクチュエータにより、前記介入ツールの遠方端部のロールである回転を遠隔的に制御するように、前記電気機械デバイス及びロボティック・アクチュエータと通信可能に動作し、
    前記制御入力デバイスは前記介入ツールの遠方端部のヨー及びピッチを制御するために使用され、
    前記電気機械デバイスは前記介入ツールの遠方端部のロールを制御するために使用され、
    前記介入ツールの遠方端部における力の測定値が所定値を超えたことが前記レプリカ制御ツールにフィードバックされる、ロボティック作動システム。
  12. 前記介入ツールの遠方端部の前方への偏向にマッピングされている、前記レプリカ制御ハンドルに対する制御入力デバイスの動きに応じて、前記ロボティック・アクチュエータにより、前記介入ツールの遠方端部の前方への偏向を遠隔的に制御するように、前記ロボティック・アクチュエータ・コントローラは動作することが可能である、請求項１１に記載のロボティック作動システム。
  13. 前記介入ツールの遠方端部の後方への偏向にマッピングされている、前記レプリカ制御ハンドルに対する制御入力デバイスの動きに応じて、前記ロボティック・アクチュエータにより、前記介入ツールの遠方端部の後方への偏向を遠隔的に制御するように、前記ロボティック・アクチュエータ・コントローラは動作することが可能である、請求項１１に記載のロボティック作動システム。
  14. 前記介入ツールの遠方端部の横への偏向にマッピングされている、前記レプリカ制御ハンドルに対する制御入力デバイスの動きに応じて、前記ロボティック・アクチュエータにより、前記介入ツールの遠方端部の横への偏向を遠隔的に制御するように、前記ロボティック・アクチュエータ・コントローラは動作することが可能である、請求項１１に記載のロボティック作動システム。
  15. 前記ロボティック・アクチュエータ・コントローラは、所定の回転度合いに等しいこと又は超過することのうちの少なくとも何れかによる前記電気機械デバイスと前記レプリカ制御ハンドルとの回転に応じて、前記ロボティック・アクチュエータにより、前記介入ツールの遠方端部の回転を遠隔的に制御する、請求項１１に記載のロボティック作動システム。
JP2017532131A 2014-12-16 2015-12-08 レプリカ制御ツール及びロボティック作動システム Active JP6777634B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462092299P 2014-12-16 2014-12-16
US62/092,299 2014-12-16
PCT/IB2015/059426 WO2016097926A1 (en) 2014-12-16 2015-12-08 Remote robotic actuation of a transeopagel echocardiographcy probe

Publications (2)

Publication Number Publication Date
JP2018501868A JP2018501868A (ja) 2018-01-25
JP6777634B2 true JP6777634B2 (ja) 2020-10-28

Family

ID=55025291

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017532131A Active JP6777634B2 (ja) 2014-12-16 2015-12-08 レプリカ制御ツール及びロボティック作動システム

Country Status (5)

Country Link
US (1) US10813708B2 (ja)
EP (1) EP3232972A1 (ja)
JP (1) JP6777634B2 (ja)
CN (1) CN107106131B (ja)
WO (1) WO2016097926A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7007116B2 (ja) * 2017-06-15 2022-01-24 オリンパス株式会社 内視鏡制御装置、内視鏡システム及びプログラム
CN108065959A (zh) * 2017-08-31 2018-05-25 深圳市罗伯医疗科技有限公司 远程超声诊疗系统
IT201800009380A1 (it) * 2018-10-11 2020-04-11 Guido Danieli Sistema Robotico per Angioplastica e Chirurgia Endoluminare
EP3700454A1 (en) * 2017-10-26 2020-09-02 Guido Danieli Robotic system for angioplasty and endoluminar surgery
IT201700114767A1 (it) * 2017-10-26 2018-01-26 Guido Danieli Sistema Robotico per Angioplastica
CA3183162A1 (en) 2020-06-19 2021-12-23 Jake Anthony Sganga Systems and methods for guidance of intraluminal devices within the vasculature
CN112155735A (zh) * 2020-10-10 2021-01-01 北京唯迈医疗设备有限公司 介入手术控制盒
AU2022305235A1 (en) 2021-07-01 2024-01-18 Remedy Robotics, Inc. Vision-based position and orientation determination for endovascular tools
US11707332B2 (en) 2021-07-01 2023-07-25 Remedy Robotics, Inc. Image space control for endovascular tools

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2716160B2 (ja) 1988-09-26 1998-02-18 オリンパス光学工業株式会社 可撓管
IL123646A (en) 1998-03-11 2010-05-31 Refael Beyar Remote control catheterization
US6425865B1 (en) 1998-06-12 2002-07-30 The University Of British Columbia Robotically assisted medical ultrasound
US6783524B2 (en) * 2001-04-19 2004-08-31 Intuitive Surgical, Inc. Robotic surgical tool with ultrasound cauterizing and cutting instrument
DE102004009135B3 (de) 2004-02-25 2005-12-22 Siemens Ag Vorrichtung zur von Hand fernsteuerbaren Navigation einer in einen menschlichen Körper einführbaren Sonde
US8052636B2 (en) * 2004-03-05 2011-11-08 Hansen Medical, Inc. Robotic catheter system and methods
WO2006043859A1 (en) 2004-10-18 2006-04-27 Mobile Robotics Sweden Ab Robot for ultrasonic examination
US8257302B2 (en) 2005-05-10 2012-09-04 Corindus, Inc. User interface for remote control catheterization
EP1907041B1 (en) * 2005-07-11 2019-02-20 Catheter Precision, Inc. Remotely controlled catheter insertion system
JP5121132B2 (ja) * 2005-11-02 2013-01-16 オリンパスメディカルシステムズ株式会社 内視鏡システム、及び内視鏡用操作補助装置
JP5236502B2 (ja) * 2006-02-22 2013-07-17 ハンセン メディカル，インク． 作業器具の遠位の力を測定するシステムおよび装置
US8986246B2 (en) * 2008-01-16 2015-03-24 Catheter Robotics Inc. Remotely controlled catheter insertion system
US9211160B2 (en) * 2008-01-16 2015-12-15 Luiz Geraldo Pivotto Remotely controlled catheter insertion system with automatic control system
WO2009092059A2 (en) 2008-01-16 2009-07-23 Catheter Robotics, Inc. Remotely controlled catheter insertion system
US8740840B2 (en) 2008-01-16 2014-06-03 Catheter Robotics Inc. Remotely controlled catheter insertion system
US20090248042A1 (en) 2008-03-27 2009-10-01 Kirschenman Mark B Model catheter input device
JP5773884B2 (ja) * 2008-12-31 2015-09-02 セント・ジュード・メディカル・エイトリアル・フィブリレーション・ディヴィジョン・インコーポレーテッド ロボットカテーテルシステム入力装置
US9888973B2 (en) 2010-03-31 2018-02-13 St. Jude Medical, Atrial Fibrillation Division, Inc. Intuitive user interface control for remote catheter navigation and 3D mapping and visualization systems
US20120071752A1 (en) * 2010-09-17 2012-03-22 Sewell Christopher M User interface and method for operating a robotic medical system
WO2012073789A1 (ja) 2010-11-30 2012-06-07 オリンパス株式会社 マスタ操作入力装置及びマスタスレーブマニピュレータ
US20130002895A1 (en) 2011-06-30 2013-01-03 General Electric Company Accelerometer remote for articulation of a video probe
JP2015535702A (ja) * 2012-09-19 2015-12-17 ナンヤン テクノロジカル ユニヴァーシティＮａｎｙａｎｇ Ｔｅｃｈｎｏｌｏｇｉｃａｌ Ｕｎｉｖｅｒｓｉｔｙ フレキシブルマスター‐スレーブロボット内視鏡システム
US20140276392A1 (en) * 2013-03-15 2014-09-18 Hansen Medical, Inc. Input device for robotic catheter and guide wire system
US9265581B2 (en) * 2013-04-21 2016-02-23 Gyrus Acmi, Inc. Relay based tool control
CN108601925B (zh) * 2015-12-04 2021-06-29 项目莫里股份有限公司 用于导管和其他用途的输入和铰接系统

Also Published As

Publication number Publication date
EP3232972A1 (en) 2017-10-25
CN107106131B (zh) 2021-03-26
US20170360518A1 (en) 2017-12-21
WO2016097926A1 (en) 2016-06-23
CN107106131A (zh) 2017-08-29
JP2018501868A (ja) 2018-01-25
US10813708B2 (en) 2020-10-27

Similar Documents

Publication Publication Date Title
JP6777634B2 (ja) レプリカ制御ツール及びロボティック作動システム
JP6959264B2 (ja) ロボット手術システム用制御アームアセンブリ
JP6714085B2 (ja) ロボット手術のために仮想現実デバイスを使用するシステム、コントローラ、及び方法
KR102414384B1 (ko) 비제어 이동 검출
US20220015852A1 (en) User interface device having grip linkages
JP6134336B2 (ja) 入力装置の操作者が視認可能なディスプレイ領域に器具が入ったときのその器具の制御権限の入力装置への切り換え
JP5773884B2 (ja) ロボットカテーテルシステム入力装置
US20200397520A1 (en) Dynamic control of surgical instruments in a surgical robotic system
US20220022988A1 (en) User interface device having finger clutch
KR20140132649A (ko) 햅틱 글로브 및 수술로봇 시스템
RU2741469C1 (ru) Роботизированная хирургическая система
JP2019188038A (ja) 外科手術システム及び外科手術システムの制御方法
US11896331B2 (en) Detection of user touch on controller handle
US11490972B2 (en) Driver interface, robotic surgical system, and method of detecting attachment of drape to driver interface
JP2020529237A (ja) 装置の安全な操作のためのシステム及び方法
JP7427815B2 (ja) グリップリンクを有するユーザインターフェース装置
WO2019240825A1 (en) User interface device having finger clutch
KR102225448B1 (ko) 능동 조향 카테터를 조작하기 위한 마스터 장치 및 능동 조향 카테터와 마스터 장치의 양방향 제어가 가능한 카테터 시스템
US11934594B2 (en) Systems and methods of device control with operator and motion sensing

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170619

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190903

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190830

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20191127

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200221

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200414

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200803

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200818

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200915

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201008

R150 Certificate of patent or registration of utility model

Ref document number: 6777634

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150