JP6174676B2 - Method of operating a preoperative and apparatus for guidance tool and guided endoscopic navigation manually operating the endoscope using the intraoperative 3d image - Google Patents

Method of operating a preoperative and apparatus for guidance tool and guided endoscopic navigation manually operating the endoscope using the intraoperative 3d image Download PDF

Info

Publication number
JP6174676B2
JP6174676B2 JP2015506331A JP2015506331A JP6174676B2 JP 6174676 B2 JP6174676 B2 JP 6174676B2 JP 2015506331 A JP2015506331 A JP 2015506331A JP 2015506331 A JP2015506331 A JP 2015506331A JP 6174676 B2 JP6174676 B2 JP 6174676B2
Authority
JP
Japan
Prior art keywords
endoscope
set
direction
module
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015506331A
Other languages
Japanese (ja)
Other versions
JP2015514492A5 (en
JP2015514492A (en
Inventor
アレクサンドラ ポポヴィッチ
アレクサンドラ ポポヴィッチ
ハイサム エルハワリー
ハイサム エルハワリー
Original Assignee
コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V.
コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US201261635327P priority Critical
Priority to US61/635,327 priority
Application filed by コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V., コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. filed Critical コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V.
Priority to PCT/IB2013/052797 priority patent/WO2013156893A1/en
Publication of JP2015514492A publication Critical patent/JP2015514492A/en
Publication of JP2015514492A5 publication Critical patent/JP2015514492A5/ja
Application granted granted Critical
Publication of JP6174676B2 publication Critical patent/JP6174676B2/en
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Detecting, measuring or recording for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with signal output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with signal output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement for multiple images
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • A61B1/0016Holding or positioning arrangements using motor drive units
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems

Description

本開示は医療機器及びより具体的には内視鏡を手動操作するためのガイダンスツールに関する。 The present disclosure relates to guidance tool for manually operating the endoscope is a medical device and more specifically.

冠動脈バイパス移植術(CABG)は閉塞した冠動脈の血行再建のための外科手術である。 Coronary artery bypass graft (CABG) is a surgical procedure for revascularization of occluded coronary artery. 低侵襲CABGは手術部位からの唯一のフィードバックとして内視鏡を用いて実行される。 Minimally invasive CABG is performed using an endoscope as the only feedback from the surgical site. 低侵襲CABG術のための標準的な設定では、助手が内視鏡を保持しながら外科医が両手を使って器具を持つ。 In the standard configuration for the minimally invasive CABG surgery, with an instrument with both hands the surgeon while holding the endoscope assistant. 内視鏡は典型的には患者の右側から若しくは前後方向から胸腔に挿入される。 The endoscope is typically inserted into the thoracic cavity from the right side of the patient or the front-rear direction. これは三つの関連する座標系をもたらし得る:内視鏡(例えばカメラ)の座標系、外科医の座標系、及び助手の座標系。 This can result in three related coordinate system: an endoscope coordinate system (for example, a camera), the surgeon of the coordinate system, and passenger of the coordinate system. これは複数の問題につながり得る。 This can lead to multiple problems. 例えば、外科医が前方の画面を見ている間、カメラは側面からの解剖学的構造をあらわしている。 For example, while the surgeon is looking at the front of the screen, the camera represents the anatomy from the side. 加えて、内視鏡の上端にあるカメラが180°回転されるとした場合、画像は画面上で逆転して見えることになる。 In addition, when the camera at the top of the endoscope is rotated 180 °, the image will appear reversed on the screen. しかしながら、現在カメラの配向を知る方法はない。 However, there is no way to know the orientation of the current camera. さらに、助手は内視鏡の動かし方について外科医からの指示に応えなければならない。 In addition, the assistant must respond to instructions from the surgeon about how to move the endoscope. "右"などの命令は内視鏡を左及び下に動かすことに対応する場合があり、これは助手にとって非常に反直感的であり、試行錯誤手法につながり得る。 Instructions, such as "right" in may correspond to moving the endoscope left and down, this is a very counterintuitive for passenger, can lead to trial and error approach. これらの問題は長期の手術室滞在時間と、ワークフローにおける非効率性につながり得る。 These problems and long-term operating room residence time, can lead to inefficiencies in the workflow.

本発明の原理によれば、内視鏡を手動操作するためのガイダンスツールにとって新しい解決法が提供される。 In accordance with the principles of the present invention, a new solution is provided an endoscope for guidance tools for manual operation.

一実施形態において、本発明の原理は術前及び/又は術中画像を内視鏡の画像とレジストレーションすることを含み得る。 In one embodiment, the principles of the present invention can include images and registration of the endoscope preoperative and / or intra-operative images. ユーザが内視鏡を選択された関心領域の方へナビゲートすることを可能にするガイダンスツールとして、視覚的な手掛かりが内視鏡ビュー上にオーバーレイされ得る。 As guidance tool that enables a user to navigate towards the selected region of interest an endoscope visual cues may be overlaid on the endoscopic viewing. 内視鏡の動きは視覚的な手掛かりを更新するために画像特徴を用いてリアルタイムに追跡され得る。 Motion of the endoscope can be tracked in real time using the image feature to update the visual cues. 別の実施形態において、本発明の原理はカメラの座標系がユーザの好適な座標系と対応するように内視鏡のカメラを事前に方向付け得る。 In another embodiment, the principles of the present invention is the coordinate system of the camera is capable of directing the advance of the camera of the endoscope so as to correspond to the preferred coordinate system of the user. 内視鏡のカメラは、ユーザの好適な方向に対応するようにカメラを回転させることによって内視鏡を事前に方向付ける作動プラットフォーム上に取り付けられ得る。 Camera endoscope may be mounted on a working platform for directing the advance of the endoscope by rotating the camera to correspond to the preferred direction of the user. 有利なことに、本発明の原理は内視鏡を手動ナビゲートする効率的な操作を提供する。 Advantageously, the principles of the present invention provides an efficient operation to manually navigate the endoscope. これは手術室滞在時間の削減とより効率的なワークフローにつながり得る。 This can lead to a more efficient workflow and reduction of the operating room stay time.

ガイド下内視鏡ナビゲーションのためのシステムは、プロセッサを用いて、内視鏡の第1の画像セットを第2の画像セットとレジストレーションするように構成されるレジストレーションモジュールを含む。 System for guided endoscope navigation includes registration module configured using a processor, to the first second set of images and registration of the image set of the endoscope. 選択モジュールは第1の画像セット上の選択された関心領域を受信し、選択された関心領域を内視鏡座標フレームへ変換するように構成される。 Selection module is configured to receive the selected area of ​​interest on the first image set, it converts the selected region of interest to the endoscope coordinate frame. ガイダンスモジュールは内視鏡のユーザが選択された関心領域へナビゲートすることを可能にするように第2の画像セット上にガイダンスツールをオーバーレイするように構成される。 Guidance module is configured to overlay guidance tool on the second set of images to allow to navigate to the region of interest that the user has selected the endoscope.

ガイド下内視鏡ナビゲーションのためのシステムは、プロセッサを用いて、内視鏡の第1の画像セットを第2の画像セットとレジストレーションするように構成されるレジストレーションモジュールを含む。 System for guided endoscope navigation includes registration module configured using a processor, to the first second set of images and registration of the image set of the endoscope. 選択モジュールは第1の画像セット上の選択された関心領域を受信し、選択された関心領域を内視鏡座標フレームへ変換するように構成される。 Selection module is configured to receive the selected area of ​​interest on the first image set, it converts the selected region of interest to the endoscope coordinate frame. ガイダンスモジュールはガイダンスツールを第2の画像セット上にオーバーレイするように構成される。 Guidance module is configured to overlay guidance tool on the second set of images. 作動モジュールは内視鏡のユーザが選択された関心領域へナビゲートすることを可能にするためにカメラの座標系がユーザの座標系と対応するように内視鏡のカメラを方向付けるように構成される。 Configured to direct the camera of the endoscope as the actuating module is a camera coordinate system in order to allow a user of the endoscope to navigate to the selected region of interest corresponding to the coordinate system of the user It is.

ガイド下内視鏡ナビゲーションのための方法は、プロセッサを用いて、内視鏡の第1の画像セットを第2の画像セットとレジストレーションするステップを含む。 Method for guided endoscope navigation includes the step of using a processor, to the first second set of images and registration of the image set of the endoscope. 第1の画像セット上で関心領域が選択され、選択された関心領域は内視鏡座標フレームへ変換される。 Selected region of interest on the first image set, the region of interest is selected is converted into an endoscope coordinate frame. 内視鏡のユーザが選択された関心領域へナビゲートすることを可能にするよう、ガイダンスツールが第2の画像セット上にオーバーレイされる。 As a user of the endoscope makes it possible to navigate to the selected region of interest, the guidance tool is overlaid on the second set of images.

本開示のこれらの及び他の目的、特徴及び利点は、添付の図面に関連して読まれるその実施形態例の以下の詳細な説明から明らかとなる。 These and other objects, features and advantages of the present disclosure will become apparent from the following detailed description of the exemplary embodiments when read in connection with the accompanying drawings.

本開示は以下の図面を参照して以下の好適な実施形態の説明を詳細に提示する。 The present disclosure with reference to the following drawings presenting in detail the following description of the preferred embodiments.

一実施形態にかかる、ガイダンスツールを用いて内視鏡を手動操作するためのシステムを示すブロック/フロー図である。 According to one embodiment, a block / flow diagram showing a system for manually operating the endoscope by using a guidance tool. 一実施形態にかかる、方向、経路及び方向誤差インジケータがオーバーレイされた内視鏡画像の一実施例である。 According to one embodiment, which is an embodiment of the endoscopic image direction, the route and direction error indicators overlaid. 一実施形態にかかる、距離を示す距離誤差インジケータがオーバーレイされた内視鏡画像の一実施例である。 According to one embodiment, the distance error indicator of the distance is an example of an endoscopic image that has been overlaid. 一実施形態にかかる、仮想ばねを用いる距離誤差インジケータがオーバーレイされた内視鏡画像の一実施例である。 According to one embodiment, which is an embodiment of the endoscopic image distance error indicator using a virtual spring it is overlaid. 一実施形態にかかる、内視鏡カメラの座標系を内視鏡ユーザの座標系と方向付けるためのシステムを示すブロック/フロー図である。 According to one embodiment, a block / flow diagram illustrating a system for directing the coordinate system of the endoscope user to the coordinate system of the endoscopic camera. 一実施形態にかかる、内視鏡カメラの座標系を内視鏡ユーザの座標系と方向付ける内視鏡画像の一実施例である。 According to one embodiment, which is an embodiment of the endoscopic image directing the endoscope user coordinate system to the coordinate system of the endoscope camera. 一実施形態にかかる、ガイダンスツールを用いて内視鏡を手動操作するための方法を示すブロック/フロー図である。 According to one embodiment, a block / flow diagram illustrating a method for manually operating the endoscope by using a guidance tool.

本発明の原理によれば、システム、装置及び方法のための実施形態は内視鏡を手動操作するためのガイダンスツールを提供する。 In accordance with the principles of the present invention, a system, an embodiment for an apparatus and method provides a guidance tool for manually operating the endoscope. 一実施形態において、術前及び/又は術中画像が内視鏡の画像とレジストレーションされる。 In one embodiment, pre- and / or intra-operative images are images and registration of the endoscope. ユーザ(例えば外科医助手)が選択された関心領域の方へ内視鏡を操作することを可能にするガイダンスツールとして、視覚的な手掛かりが内視鏡ビュー上にオーバーレイされ得る。 As guidance tool the user (e.g., a surgeon assistant) is it possible to operate the endoscope towards the selected region of interest, visual cues may be overlaid on the endoscopic viewing. 内視鏡の動きは視覚的な手掛かりを更新するために画像特徴を用いてリアルタイムに追跡され得る。 Motion of the endoscope can be tracked in real time using the image feature to update the visual cues. 視覚的な手掛かりは、限定されないが、選択された関心領域への方向を示す方向インジケータ、内視鏡の動きを示す内視鏡トレーサ、選択された関心領域への方向と比較して内視鏡の動きの角度誤差を示す方向誤差インジケータ、選択された関心領域への距離を示す距離誤差インジケータ、及び解剖学的方向を示す解剖学的基準方向を含み得る。 Visual cues, but are not limited to, endoscopes compared direction indicator indicating the direction to the selected region of interest, the endoscope tracer showing the movement of the endoscope, the direction to a selected region of interest direction error indicator indicating the angular error of the motion may include anatomical reference direction indicated distance error indicator indicating the distance to the selected region of interest, and the anatomical direction. 他の視覚的な手掛かりが可能であり、本発明の原理の範囲内で考慮されている。 Is capable of other visual cues, are considered within the scope of the principles of the present invention.

別の実施形態において、本発明の原理は内視鏡カメラの座標系をユーザの好適な座標系と事前に方向付け得る。 In another embodiment, the principles of the present invention is capable of directing the coordinate system of the endoscope camera suitable coordinate system and the pre-user. カメラを好適な方向に事前に方向付けるために、内視鏡のカメラは作動プラットフォーム上に取り付けられ得る。 To direct the pre-camera in a preferred direction, the camera of the endoscope can be mounted on the working platform. 内視鏡ユーザは例えば画像中の"上向き"方向に対応することを好む物理的方向に内視鏡を動かす。 The endoscope user moves the endoscope physical direction prefer to correspond to "upward" direction in example images. 内視鏡の物理的運動と画像中の実際の上向き方向との間の角度が決定され、作動プラットフォームがそれに従ってカメラを回転させて座標フレームを事前に方向付ける。 Determines the angle between the actual upward direction of physical exercise and the image of the endoscope, working platform rotates the camera accordingly direct the coordinate frame in advance. 本発明の原理は上向き方向に限定されず、いかなる方向も含み得ることが留意される。 Principles of the present invention is not limited to an upward direction, it is noted that may include any direction.

本発明は内視鏡に関して記載されるが、本発明の教示はもっと広く、分岐、湾曲、コイル状、若しくは他の形状のシステムの内部ビューイングに利用されることができるいかなる光学スコープにも適用可能であることが理解されるべきである。 The invention will be described with respect to the endoscope, the teachings of the present invention is more widely applicable branched, curved, coiled, or to any optical scope can be utilized within the viewing of other shapes system it should be understood that can be. 一部の実施形態において、本発明の原理は複雑な生物学的若しくは機械的系(例えば消化系、循環系、配管系、通路、鉱山、洞窟など)を追跡若しくは分析するのに利用される。 In some embodiments, the principles of the present invention is a complex biological or mechanical systems (e.g. the digestive system, circulatory system, piping system, passages, mines, caves, etc.) is utilized to track or analyze. 特に、本発明の原理は生体系の内部追跡手順、肺、胃腸管、排泄器官、血管などといった身体の全領域における手順に適用可能である。 In particular, the principles of the present invention is an internal tracking procedures of biological systems, lungs, gastrointestinal tract, is applicable to the procedure at the excretory organ, the entire region such as such as a body vessel. 図面に描かれる要素はハードウェア及びソフトウェアの様々な組み合わせで実現され、単一の要素若しくは複数の要素に組み合され得る機能を提供し得る。 Elements depicted in the drawings are realized by various combinations of hardware and software may provide the ability to be combined into a single element or multiple elements. 本明細書に記載の実施形態は好適にはディスプレイモニタ上のビューのために表示される。 The embodiments described herein are preferably displayed for view on a display monitor. こうしたモニタは、限定されないが(例えば携帯情報端末、電話機などの)手持ち式ディスプレイ、コンピュータディスプレイ、テレビ、専用モニタなどを含む任意の適切な表示装置を含み得る。 Such monitoring is not limited (e.g., personal digital assistant, telephone etc.) the hand-held display, computer displays, televisions, may include any suitable display device, including a dedicated monitor. スコープに応じて、ディスプレイはシステムの一部として提供され得るか、又は別のユニット若しくは装置であり得る。 Depending on the scope, the display may be that may be either, or another unit or device is provided as part of the system.

光学スコープはスコープに接続される若しくは付随する複数の異なる装置を含み得ることも理解されるべきである。 Optical scope should also be appreciated that may include a plurality of different devices to or associated are connected to the scope. こうした装置はライト、切断装置、ブラシ、バキューム、カメラなどを含み得る。 These devices write, cutting device may comprise a brush, vacuum, cameras and the like. これらの構成要素はスコープの遠位端部の先端と一体化して形成され得る。 These components may be integrally formed with the distal end of the distal end of the scope. 光学スコープはスコープの先端に配置されるカメラを含み得るか、若しくはカメラは先端と反対側の光ケーブルの端部に配置され得る。 The optical scope or may comprise a camera which is disposed at the distal end of the scope, or cameras may be located at the opposite end of the optical cable and the tip.

図面に示す様々な要素の機能は専用ハードウェア及び適切なソフトウェアと関連してソフトウェアを実行することができるハードウェアを用いて提供され得る。 The functions of the various elements shown in the figures may be provided using hardware capable of executing software in association with dedicated hardware and appropriate software. プロセッサによって提供されるとき、機能は単一の専用プロセッサによって、単一の共有プロセッサによって、若しくはその一部が共有され得る複数の個別プロセッサによって提供され得る。 When provided by a processor, the functions may by a single dedicated processor, by a single shared processor, or a portion thereof may be provided by a plurality of individual processors, which may be shared. さらに、"プロセッサ"若しくは"コントローラ"という語の明示的な使用は、ソフトウェアを実行することができるハードウェアを排他的にあらわすものと解釈されるべきではなく、限定されることなく、デジタル信号プロセッサ("DSP")ハードウェア、ソフトウェアを保存するためのリードオンリーメモリ("ROM")、ランダムアクセスメモリ("RAM")、不揮発性記憶装置などを非明示的に含み得る。 Moreover, explicit use of the term "processor" or "controller" should not be construed as exclusive represent hardware capable of executing software, without limitation, digital signal processor ( "DSP") hardware, read-only memory for storing software ( "ROM"), random access memory ( "RAM"), may include such a non-explicit non-volatile storage.

さらに、本発明の原理、態様、及び実施形態、並びにその特定の実施例を列挙する本明細書の全記述は、その構造的及び機能的な均等物の両方を包含することが意図される。 Moreover, the principles of the present invention, aspects, and embodiments, as well as all statements herein listed particular examples thereof, are intended to encompass both structural and functional equivalents thereof. 加えて、こうした均等物は現在既知の均等物並びに将来開発される均等物(すなわち構造にかかわらず同じ機能を実行する開発される任意の要素)の両方を含むことが意図される。 Additionally, such equivalents are intended to include both currently known equivalents as well as equivalents developed in the future (i.e. any elements developed that perform the same function, regardless of structure). 従って、例えば、当業者に当然のことながら、本明細書に提示するブロック図は本発明の原理を具体化する例示的なシステムコンポーネント及び/又は回路の概念図をあらわす。 Thus, for example, it will be appreciated that those skilled in the art that the block diagrams presented herein represent conceptual views of illustrative system components and / or circuitry embodying the principles of the present invention. 同様に、当然のことながら任意のフローチャート、フロー図及び同様のものは、実質的にコンピュータ可読記憶媒体にあらわされ、コンピュータ若しくはプロセッサによって(こうしたコンピュータ若しくはプロセッサが明示されているか否かにかかわらず)そのように実行され得る様々なプロセスをあらわす。 Similarly, it is appreciated that any flow charts while, flow diagrams and the like, are substantially represented in computer readable storage medium by a computer or processor (such computer or processor regardless of whether expressly) represent various processes which may be executed as such.

さらに、本発明の実施形態はコンピュータ若しくは任意の命令実行システムによって又はそれらと関連して使用するためのプログラムコードを提供するコンピュータ使用可能若しくはコンピュータ可読記憶媒体からアクセス可能なコンピュータプログラム製品の形をとり得る。 Furthermore, embodiments of the present invention takes the form of accessible computer program product from a computer-usable or computer-readable storage medium providing program code for use in connection with a computer or any instruction execution system, or with them obtain. この記載の目的で、コンピュータ使用可能若しくはコンピュータ可読記憶媒体は、命令実行システム、機器、若しくは装置によって又はそれらと関連して使用するためのプログラムを包含、保存、通信、伝搬、若しくは輸送し得る任意の機器であり得る。 For purposes of this description, any computer-usable or computer-readable storage medium, the instruction execution system, apparatus, or by a device or that includes a program for use in connection with them, save, communicate, propagate, or capable of transporting It may be in the equipment. 媒体は電子、磁気、光学、電磁、赤外線、若しくは半導体システム(又は機器若しくは装置)又は伝搬媒体であり得る。 Media electronic, magnetic, optical, electromagnetic, infrared, or may be a semiconductor system (or apparatus or device) or a propagation medium. コンピュータ可読媒体の実施例は半導体若しくは固体メモリ、磁気テープ、リムーバブルコンピュータディスケット、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、固定磁気ディスク及び光ディスクを含む。 Example computer-readable media include semiconductor or solid state memory, magnetic tape, a removable computer diskette, a random access memory (RAM), read only memory (ROM), a rigid magnetic disk and an optical disk. 光ディスクの現在の実施例はコンパクトディスク‐リードオンリーメモリ(CD‐ROM)、コンパクトディスク‐リード/ライト(CD‐R/W)、Blu‐Ray(登録商標)、及びDVD(登録商標)を含む。 Current examples of optical disks include compact disk - read only memory (CD-ROM), compact disk - read / write (CD-R / W), Blu-Ray (registered trademark), and a DVD (registered trademark).

図面において類似する数字は同一若しくは同様の要素をあらわし、最初に図1を参照すると、ガイダンスツールを用いて内視鏡を手動操作するためのシステム100が一実施形態に従って例示的に描かれる。 Numbers similar in the drawings represent the same or similar elements and initially to FIG. 1, a system 100 for manually operating the endoscope by using a guidance tool is exemplarily depicted in accordance with one embodiment. システム100はワークステーション若しくはコンソール108を含み、そこから手順(例えば内視鏡検査)が管理され制御される。 System 100 includes a workstation or console 108, the procedure from there (eg endoscopy) is being managed and controlled. ワークステーション108は好適には一つ以上のプロセッサ138と、プログラム及びアプリケーションを保存するためのメモリ110を含む。 Workstation 108 preferably includes a one or more processors 138, a memory 110 for storing programs and applications. システム100の機能と構成要素は一つ以上のワークステーション若しくはシステムに統合され得ることが理解されるべきである。 Functions and components of the system 100 is to be understood that may be integrated into one or more workstations or systems.

メモリ110は画像112を保存し得る。 Memory 110 may store the image 112. 画像112は術前画像と術中画像を含み、これは限定されないが磁気共鳴イメージング(MRI)システム、コンピュータ断層撮影(CT)システム、x線システム、3D超音波システムなどを含むシステムから受信され得る。 Image 112 includes a preoperative image and intraoperative image, which may be received from a system including but not limited magnetic resonance imaging (MRI) systems, computed tomography (CT) system, x-ray systems, and 3D ultrasound system. メモリ110はスコープ102から受信されるスコープ画像114も保存し得る。 Memory 110 may also store the scope image 114 received from the scope 102. 好適な実施形態において、スコープ102はカメラ106から手術部位の術中画像をキャプチャする内視鏡である。 In a preferred embodiment, the scope 102 is an endoscope that captures an intraoperative images of the surgical site from the camera 106. スコープ画像114は好適には内視鏡102のカメラ106からのビデオを含み得る。 Scope images 114 preferably may include video from the camera 106 of the endoscope 102.

本発明の原理は内視鏡ガイド下低侵襲外科手術の異なる用途に適用され得る。 Principles of the present invention can be applied to different applications of the endoscope-guided minimally invasive surgery. 例えば、本発明の原理は心臓手術(例えば低侵襲冠動脈バイパス移植術、心房中隔欠損縫合、弁修復/置換術など)、腹腔鏡手術(例えば子宮摘出術、前立腺切除術、胆嚢手術など)、自然開口部越経管腔的手術、肺/気管支鏡手術、脳神経外科インターベンション、及びビデオ補助下胸部手術のために使用され得る。 For example, the principles of the present invention is cardiac surgery (e.g., minimally invasive coronary artery bypass grafting, atrial septal defect sutured valve repair / replacement, etc.), laparoscopic surgery (eg hysterectomy, prostatectomy, etc. gallbladder surgery), natural orifice Yue translumenal surgery, lung / bronchi surgery may be used for the neurosurgical intervention, and video-assisted thoracic surgery. しかしながら、本発明の教示はこれよりももっと広く、スコープ102は様々なタイプの用途のためのいかなるタイプのスコープも含み得る。 However, the teachings of the present invention is more widely than this, the scope 102 may also include the scope of any type for various types of applications. 一実施形態例において、本発明の原理は"plumber's snake"を配管を通して手動でナビゲートするために適用され得る。 In an example embodiment, the principles of the present invention may be applied manually to navigate through a pipe a "plumber's snake". 他の用途も考慮される。 Other applications are also taken into account.

ワークステーション108は術前及び術中画像112並びに本発明の原理のガイダンス機能を含むスコープ画像114をビューするための一つ以上のディスプレイ134を含み得る。 Workstation 108 may include one or more displays 134 to view the scope image 114 including a guidance function of the principles of preoperative and intraoperative image 112 as well as the present invention. ディスプレイ134はユーザがワークステーション108並びにそのコンポーネント及び機能とインタラクションすることも可能にし得る。 Display 134 may also allow the user to the workstation 108 as well as interaction with its components and features. これは、ユーザがワークステーション108とインタラクションすることを可能にするキーボード、マウス、ジョイスティック、又は任意の他の周辺機器若しくはコントロールを含み得るユーザインターフェース136によってさらに容易にされる。 This user is further facilitated by a user interface 136 keyboard, which may include a mouse, joystick, or any other peripheral device or control that enables interaction with the workstation 108.

コンピュータ実施プログラム116はワークステーション108のメモリ110に保存される。 Computer-implemented program 116 is stored in the memory 110 of the workstation 108. プログラム116は各々が様々な機能を実行するように構成される複数のモジュールを含み得る。 Program 116 may comprise a plurality of modules configured each to perform various functions. モジュールはハードウェアとソフトウェアの様々な組み合わせで実施され得ることが理解されるべきである。 Module should be capable of being implemented in various combinations of hardware and software is understood.

プログラム116は画像112(例えば術前画像及び/又は術中画像)とスコープ(例えば内視鏡)画像114間のレジストレーションを実行するように構成されるレジストレーションモジュール118を含み得る。 Program 116 may include a registration module 118 configured to perform a registration between image 112 (e.g., preoperative image and / or intra-operative image) and scope (e.g. endoscope) image 114. レジストレーションは当技術分野で周知の通り実行される。 Registration is performed as is well known in the art.

プログラム116はユーザ(例えば外科医)が術前及び術中画像112(例えばCT若しくはx線)上の関心領域を選択することを可能にするように構成される選択モジュール120も含み得る。 Program 116 may also include constructed selection module 120 to allow a user (e.g., a surgeon) to select the area of ​​interest on pre- and intra-operative image 112 (e.g., CT or x-ray). 例えば、選択された関心領域は冠動脈バイパス移植術における標的バイパス動脈であり得る。 For example, the region of interest that is selected may be a target bypass artery coronary artery bypass graft surgery. 選択モジュール120はこの選択を容易にするためにディスプレイ134及びユーザインターフェース136の使用を含み得る。 Selection module 120 may include the use of the display 134 and user interface 136 to facilitate the selection. そして選択モジュール120はレジストレーションモジュール118において決定されるレジストレーション変換を用いて選択された関心領域を術前及び/又は術中画像座標フレームから内視鏡座標フレームへ変換する。 The selection module 120 is converted to an endoscope coordinate frame preoperative selected regions of interest and / or intra-operative image coordinate frame using the registration transformation is determined in registration module 118.

プログラム116は内視鏡ビュー内の選択された関心領域を使用して複数のガイダンスインジケータを決定するように構成されるガイダンスモジュール122を含み得る。 Program 116 may include a guidance module 122 configured to determine a plurality of guidance indicator using the selected region of interest in the endoscopic viewing. ガイダンスモジュール122は、限定されないが、方向モジュール124、経路モジュール126、及び距離モジュール128のいずれか若しくは全てを含み得る。 Guidance module 122 include, but are not limited to, the direction module 124 may include any or all of the route module 126, and a distance module 128. 他のインジケータもまた考慮されている。 Other indicators have also been taken into account.

方向モジュール124は内視鏡画像の現在の中心から選択された関心領域への方向を決定して、方向インジケータを内視鏡画像上にオーバーレイする。 Direction module 124 determines the direction to the current center selected from regions of interest in the endoscopic image, overlaid on the endoscopic image orientation indicator. 少しの間図2Aを参照すると、オーバーレイされたインジケータ200を含む内視鏡画像が、一実施形態に従って例示的に描かれる。 Referring to the little while Figure 2A, an endoscopic image including an overlaid indicator 200 is illustratively depicted in accordance with one embodiment. 方向インジケータ206は内視鏡画像上にオーバーレイされて内視鏡画像の中心202から選択された関心領域204への方向を示す。 Direction indicator 206 indicates the direction of being overlaid on the endoscopic image to the endoscopic ROI 204 from the center 202 is selected for the image.

図1のガイダンスモジュール122はユーザ(例えば外科医若しくは助手)が内視鏡をナビゲートするのをさらに助ける経路モジュール126を含み得る。 Guidance module 122 of FIG. 1 may include a path module 126 further assist in navigating the endoscope user (e.g. a surgeon or assistant) is. 少しの間図2Aに戻って参照すると、内視鏡の動きを示す内視鏡トレース208が内視鏡画像上にオーバーレイされる。 Referring back to little while Figure 2A, an endoscope trace 208 showing the movement of the endoscope is overlaid on the endoscopic image. トレース208は内視鏡画像の中心に位置する一つ以上の解剖学的特徴の位置を追跡し、その位置を内視鏡画像上でマークする矢印をオーバーレイすることによって生成される。 Trace 208 tracks the position of one or more anatomical features in the center of the endoscopic image is generated by overlaying the arrows marked on the endoscope image the position. 各フレーム若しくはフレームの期間において、以前に画像の中心にあった特徴を追跡し続けながら、画像の中心にある現在の特徴が内視鏡画像上に矢印でオーバーレイされる。 In the period of each frame or frame, while continuing to track down features in the center of the previously image, the current feature in the center of the image is overlaid with an arrow on the endoscopic image. このプロセスを続けて、ユーザが選択された関心領域204へナビゲートするように内視鏡を操作するのを助ける視覚的な跡が作られ得る。 Continue this process, the user may be made a visual trace that help to manipulate the endoscope to navigate to the selected region of interest 204.

トレース208の方向は視覚的な手掛かりを用いて角度誤差を表示するために標的関心領域204の方向と比較され得る。 Direction of the trace 208 may be compared with the direction of the target region of interest 204 to display the angle error with a visual cue. 一実施形態において、それぞれ内視鏡208の動きと選択された関心領域の方向206との間の角度オフセットを示す針212と214を用いてダイヤル210が表示され得る。 In one embodiment, it may be displayed dial 210 with a needle 212 and 214 indicating the angular offset between the direction 206 of the selected regions of interest with the movement of the endoscope 208, respectively. 角度誤差を示す他の視覚的な手掛かりも考慮される。 Other visual cues indicating the angular error is also taken into account. 例えば、選択された関心領域206への方向と内視鏡208の動きの間の角度が(例えば度で)表示され得る。 For example, (for example every) the angle between the movement direction and the endoscope 208 to the region of interest 206 selected may be displayed.

ガイダンスモジュール122は内視鏡画像の中心から標的関心領域への距離を示すように構成される距離モジュール128も含み得る。 Guidance module 122 may also include constructed distance module 128 to indicate the distance to the target region of interest from the center of the endoscope image. 少しの間図2Bを参照すると、距離誤差インジケータ220がオーバーレイされた内視鏡画像が一実施形態に従って例示的に描かれる。 Referring to the little while Figure 2B, the endoscopic image distance error indicator 220 is overlay is exemplarily depicted in accordance with one embodiment. 内視鏡画像は内視鏡画像の中心202から標的関心領域204への方向を示す方向インジケータ206も含み得る。 Endoscopic image direction indicator 206 indicating the direction from the center 202 of the endoscopic image to the target region of interest 204 may also include. 一実施形態において、距離222が(例えばピクセルで)画面上に数として示され得る。 In one embodiment, it may be shown as a number in the distance 222 (e.g., in pixels) on the screen. 別の実施形態において、内視鏡画像の中心202と選択された関心領域204の間の線が距離に応じてあらわされ得る。 In another embodiment, the line between the endoscope ROI 204 centered 202 is selected in the image can be represented in accordance with the distance. 例えば、少しの間図2Cを参照すると、仮想ばねを用いる距離インジケータがオーバーレイされた内視鏡画像240が一実施形態に従って例示的に描かれる。 For example, referring to little while Figure 2C, an endoscopic image 240 of the distance indicator using a virtual spring is overlay is exemplarily depicted in accordance with one embodiment. 仮想ばね242は内視鏡画像の中心202を選択された関心領域204とつなぐ。 Virtual spring 242 connects the region of interest 204 to the selected center 202 of the endoscopic image. 仮想ばねは2点間の距離がさらに離れるにつれて伸張され、距離が近くなるにつれて圧縮されて見え得る。 Virtual spring is stretched as the distance between two points is further away, it may appear to be compressed as the distance becomes closer. 他の距離誤差インジケータも考慮されている。 Other distance error indicator is taken into account. 例えば、内視鏡画像の中心202と選択された関心領域204の間の線の色が距離によって変化することができ、色を定義する説明文が画面上に表示される。 For example, it is possible to color the line between the endoscopic image of the center 202 and the selected region of interest 204 is changed by the distance, it is described statement that defines the color displayed on the screen. 別の実施形態において、距離が変化するにつれて線の太さが修正されることができる。 In another embodiment, it is possible the thickness of the line is modified as the distance changes.

本発明の原理のさらに別の実施形態において、図1の方向モジュール124は内視鏡画像上に解剖学的基準方向をオーバーレイし得る。 In yet another embodiment of the principles of the present invention, the direction module 124 of FIG. 1 may overlay the anatomical reference direction on the endoscope image. 術前及び術中画像112がレジストレーションモジュール118によって内視鏡画像114とレジストレーションされると、術前及び術中画像の解剖学的基準方向が決定される。 When preoperative and intraoperative image 112 is an endoscopic image 114 and the registration by the registration module 118, anatomic reference direction of preoperative and intraoperative image is determined. 解剖学的基準方向は内視鏡座標系に変換され、内視鏡画像上にオーバーレイされる。 Anatomic reference direction is converted to an endoscope coordinate system, is overlaid on the endoscopic image. 解剖学的基準方向は、限定されないが、前/後、右/左、及び頭/足方向を含み得る。 Anatomic reference direction is not limited to, before / after may include right / left, and the head / foot direction. 他の解剖学的方向も考慮される。 Other anatomical direction is also taken into account.

ガイダンスモジュール122のオーバーレイされたガイダンスインジケータを用いて、ユーザは内視鏡102をナビゲートする。 With overlaid guidance indicator guidance module 122, a user of the endoscope 102 to navigate. 内視鏡102が選択された関心領域に達しているかどうかを決定するために、上述の通り、内視鏡の動きがトレースされる。 For the endoscope 102 determines whether the reached in the selected region of interest, as described above, the movement of the endoscope is traced. ガイダンスモジュール122の操作は選択された関心領域に達するまで繰り返される。 Operation guidance module 122 is repeated until it reaches the selected region of interest. 選択された関心領域に達すると、プロセスは終了する。 Upon reaching the selected region of interest, the process ends.

本発明の原理の一実施形態において、図1のプログラム116はユーザが内視鏡102をナビゲートするのをさらに助ける作動モジュール130も含み得る。 In one embodiment of the principles of the present invention, program 116 of Figure 1 it may also include operating module 130 further assist in navigating the endoscope 102 users. 作動モジュール130はカメラの座標系がユーザの好適な座標系と対応するように作動プラットフォーム104を用いてカメラ106を事前に方向付けるように構成される。 Operating module 130 is configured to direct the camera 106 in advance by using a working platform 104, as the coordinate system of the camera corresponds with a suitable coordinate system of the user. 作動モジュール130はユーザが例えば上向き方向に対応することを好む方向を受信する。 Operating module 130 receives the direction prefer the user to correspond to the upward direction, for example. 例えば、ユーザは好みの上向き方向に内視鏡を物理的に動かし得る。 For example, a user may physically move the endoscope in an upward direction of preference. 内視鏡の物理的な動きと内視鏡画像の真の上向き方向の間の角度が計算され、入力として作動プラットフォームへ渡され、作動プラットフォームはそれに従ってカメラを事前に方向付ける。 Is the angle calculation during the endoscopic physical net upward movement and the endoscope image, is passed as an input to the working platform, working platform directs the camera in advance accordingly. 対応する方向は上向き方向に限定されず、むしろいかなる方向も含み得ることが留意される。 Corresponding direction is not limited to an upward direction, it is noted that rather may include any direction.

ここで図3Aを参照すると、内視鏡カメラの座標系を内視鏡ユーザの座標系300と方向付けるためのシステムが一実施形態に従って例示的に描かれる。 Referring now to FIG. 3A, a system for directing the coordinate system of the endoscopic camera coordinate system 300 of the endoscope user is exemplarily depicted in accordance with one embodiment. カメラ106はスコープ102上の作動プラットフォーム104上に取り付けられる。 The camera 106 is mounted on working platform 104 on the scope 102. 作動プラットフォーム104は受信した角度に従って回転してそれに従ってカメラを方向付ける。 Working platform 104 directs camera accordingly rotated in accordance with the angle received. 少しの間図3Bを参照すると、方向付けインジケータがオーバーレイされた内視鏡画像の実施例320が一実施形態に従って図示される。 Referring to the little while Figure 3B, Example 320 of the endoscopic image orientation indicator is overlaid is illustrated in accordance with one embodiment. ユーザは好みの上向き方向に内視鏡を動かし、画像中心インジケータ202からの内視鏡の動き324をもたらす。 The user moves the endoscope in an upward direction preferences, resulting in the movement 324 of the endoscope from the image center indicator 202. 内視鏡の動き324と画像の真の上向き方向322の間の角度が計算されて角度326を決定し、これはそれに従ってカメラを方向付けるために作動プラットフォーム104へ渡される。 Is the angle calculation during the endoscopic movement 324 and the image of the net upward direction 322 determines the angle 326, which is passed to the working platform 104 to direct the camera accordingly.

ここで図4を参照すると、ガイダンスツールを用いて内視鏡を手動操作するための方法400が一実施形態に従って例示的に描かれる。 Referring now to FIG. 4, a method 400 for manually operating the endoscope by using a guidance tool is exemplarily depicted in accordance with one embodiment. ブロック402において、スコープ画像が術前及び/又は術中画像とレジストレーションされる。 In block 402, the scope image is pre- and / or intra-operative images and registration. スコープ画像は好適には手術部位の術中画像をキャプチャするカメラを含む内視鏡の画像である。 Scope image is preferably an image of an endoscope comprising a camera to capture intraoperative images of the surgical site. 内視鏡画像は好適にはビデオを含み得る。 Endoscopic image is suitably may include video. 術前及び/又は術中画像は、限定されないが、MRIシステム、CTシステム、x線システム、3D超音波システムなどを含むシステムから受信され得る。 Preoperative and / or intra-operative images, but are not limited to, MRI systems, CT systems, x-ray systems, may be received from the system, including 3D ultrasound system. レジストレーションは当技術分野で周知の通り実行される。 Registration is performed as is well known in the art.

ブロック404において、関心領域が術前及び術中画像上で選択され得る。 In block 404, the region of interest may be selected on preoperative and intraoperative image. ブロック406において、選択された関心領域は術前及び術中画像座標フレームから内視鏡画像座標フレームへ変換され得る。 In block 406, the region of interest that is selected may be converted into the endoscopic image coordinate frame of preoperative and intraoperative image coordinate frame. これはブロック402において決定されるレジストレーション変換の使用を含み得る。 This may involve the use of registration transformation is determined in block 402.

ブロック408において、内視鏡画像の現在の中心から選択された関心領域への方向が内視鏡画像において決定される。 In block 408, the current direction to the selected area of ​​interest from the center of the endoscope image is determined in the endoscopic image. この方向を用いて、ブロック410において、ガイダンスインジケータが内視鏡画像上にオーバーレイされる。 Using this direction, at block 410, the guidance indicator is overlaid on the endoscopic image. ガイダンスインジケータは、例えば、限定されないが、方向インジケータ、内視鏡トレーサ、方向誤差インジケータ、距離誤差インジケータ、及び解剖学的基準方向インジケータを含み得る。 Guidance indicators may, for example, without limitation, may include direction indicator, the endoscope tracer direction error indicator, distance error indicator, and the anatomic reference direction indicator. 他のインジケータも考慮される。 Other indicators are also taken into account.

一実施形態において、ガイダンスインジケータは内視鏡画像の現在の中心から選択された関心領域への方向を示すために内視鏡画像上にオーバーレイされる方向インジケータを含み得る。 In one embodiment, the guidance indicator may include a direction indicator is overlaid on the endoscopic image to indicate the direction to the current central selected region of interest from the endoscopic image. 別の実施形態において、内視鏡の動きを示す内視鏡トレースが内視鏡画像上にオーバーレイされ得る。 In another embodiment, the endoscope traces showing the motion of the endoscope can be overlaid on the endoscopic image. トレースは内視鏡画像の中心に位置する各解剖学的特徴の位置を追跡し、内視鏡画像上でその位置をマークする矢印をオーバーレイすることによって生成され得る。 Trace track the location of each anatomical feature in the center of the endoscope image, to mark its position on the endoscopic image may be generated by overlaying the arrow. 各フレーム若しくはフレームの期間において、以前に画像の中心にあった特徴を追跡し続けながら、画像の中心における現在の特徴が内視鏡画像上の矢印とオーバーレイされる。 In the period of each frame or frame, while continuing to track down features in the center of the previously image, the current features in the center of the image is an arrow and overlay on the endoscopic image. このプロセスを続けて、ユーザが内視鏡をナビゲートするのを助け得る視覚的な跡を提供するよう、特徴の各々の位置が内視鏡画像において表示される。 Continue this process, so that the user provides a visual trace of the endoscope may help navigating displayed in the endoscope image is the position of each feature.

さらに別の実施形態において、内視鏡の動きと選択された関心領域への方向との間の角度オフセットをあらわす角度誤差を決定するために、内視鏡トレースが選択された関心領域の方向と比較され得る。 In yet another embodiment, in order to determine the angular error representing the angular offset between the direction of the movement and the selected region of interest of the endoscope, the direction of interest endoscope trace selected areas It can be compared. 角度誤差は視覚的な手掛かりを用いて内視鏡画像上にオーバーレイされ得る。 Angle error can be overlaid on the endoscopic image using visual cues. 一実施形態において、二つの針を含むダイヤルが内視鏡画像上にオーバーレイされ、各針は内視鏡のトレースと選択された関心領域への方向をそれぞれ示す。 In one embodiment, be overlaid endoscopic image on dial comprising two needles, each needle indicates the direction to the selected region of interest and trace the endoscope, respectively. 別の実施例において、角度誤差は内視鏡画像上に角度を(例えば度で)表示することによって示され得る。 In another embodiment, the angle error is the angle on the endoscopic image (e.g. time in) may be indicated by displaying.

一実施形態において、ガイダンスインジケータは内視鏡画像上にオーバーレイされる距離誤差インジケータを含み得る。 In one embodiment, the guidance indicator may include a distance error indicator to be overlaid on the endoscopic image. 内視鏡が動かされると、内視鏡画像の中心から選択された関心領域への距離が変化する。 When the endoscope is moved, the distance from the center of the endoscope image to the selected region of interest is changed. 距離誤差はユーザが内視鏡をナビゲートするのを助けるために内視鏡画像上にオーバーレイされ得る。 The distance error can be overlaid on the endoscopic image on to help the user endoscope to navigate. 例えば、距離が(例えばピクセルで)画面の数として示され得る。 For example, the distance (in eg, pixels) can be shown as the number of screens. 別の実施例において、内視鏡画像の中心と選択された関心領域をつなぐ線が距離に応じてあらわされ得る。 In another embodiment, the line connecting the center with the selected region of interest of the endoscope image can be represented in accordance with the distance. これは距離が大きくなるにつれて伸張され距離が小さくなるにつれて圧縮されて見え得る仮想ばねとして線をあらわすことを含み得る。 This may include representing the line as a virtual spring may appear to be compressed as the distance is expanded as the distance increases is reduced. 代替的に、線の色若しくは太さが距離に従って変化し得る。 Alternatively, the color or line thickness can vary with distance. 距離誤差の他の表現も考慮される。 Other representations of the distance error is also taken into consideration.

別の実施形態において、解剖学的基準方向が内視鏡画像上にオーバーレイされ得る。 In another embodiment, the anatomical reference direction may be overlaid on the endoscopic image. 術前及び術中画像がレジストレーションされると(ブロック402)、術前及び術中画像の解剖学的基準方向が決定され、内視鏡ビューに変換される。 When preoperative and intraoperative image is registration (block 402), anatomic reference direction of preoperative and intraoperative image is determined and converted into the endoscopic viewing. 解剖学的基準方向は、例えば、前/後、右/左、及び頭/足方向を含み得る。 Anatomic reference direction, for example, before / after may include right / left, and the head / foot direction. 他の解剖学的基準方向も考慮される。 Other anatomic reference direction is also considered.

ブロック414において、内視鏡画像上にオーバーレイされるガイダンスインジケータを用いて、ユーザはより効率的に内視鏡をナビゲートすることができる。 In block 414, using the guidance indicators to be overlaid on the endoscopic image, the user can navigate more efficiently endoscope. 選択関心領域に達するかどうかを決定するために内視鏡の動きが追跡される。 Movement of the endoscope is tracked to determine whether reaching selected region of interest. ブロック416において、選択された関心領域に達していない場合、ブロック418において選択された関心領域に達するまでステップ408,410,414及び416が繰り返される。 In block 416, if it does not reach the selected region of interest, steps 408,410,414 and 416 are repeated until a selected region of interest in block 418. 有利なことに、本発明の原理はユーザが効率的に内視鏡をナビゲートするのを助け、手術室滞在時間の短縮をもたらす。 Advantageously, the principles of the present invention helps users efficiently endoscope to navigate, resulting in shortening of the operating room residence time.

本発明の一実施形態において、ブロック412において、内視鏡のカメラはカメラの座標系がユーザの好適な座標系と対応するように事前に方向付けられ得る。 In one embodiment of the present invention, at block 412, the camera of the endoscope coordinate system of the camera can be pre-oriented to correspond with a suitable coordinate system of the user. ユーザは好みの例えば上向き方向を示し得る。 The user may indicate, for example, an upward direction of preference. これはユーザが好みの上向き方向に内視鏡を物理的に動かすことを含み得る。 This may include moving the endoscopic physically in an upward direction of the user preference. 内視鏡の物理的な動きと内視鏡画像の実際の上向き方向との間の角度が計算され、カメラと内視鏡の間に取り付けられる作動プラットフォームへ入力として渡される。 The actual angle between the upward direction of the physical movement of the endoscope and the endoscope image is calculated and passed as input to the working platform mounted between the camera and the endoscope. 作動プラットフォームはユーザが内視鏡をナビゲートするのを助けるために受信した角度に従ってカメラを回転させる。 Working platform rotate the camera in accordance with the angle received to help the user endoscope to navigate. 対応する方向は上向き方向に限定されず、むしろいかなる方向も含み得ることが留意される。 Corresponding direction is not limited to an upward direction, it is noted that rather may include any direction.

添付の請求項において、 In the appended claims,
a)"有する"という語は所与の請求項に列挙したもの以外の要素若しくは動作の存在を除外しない。 a) the word "comprising" does not exclude the presence of other elements or acts than those listed in a given claim.
b)ある要素に先行する"a"若しくは"an"という語はかかる要素の複数の存在を除外しない。 b) the elements in the preceding word "a" or "an" does not exclude the presence of a plurality of such elements.
c)請求項における任意の参照符号はその範囲を限定しない。 c) any reference signs in the claims do not limit the scope thereof.
d)複数の"手段"は同じ項目又はハードウェア若しくはソフトウェア実施構造若しくは機能によってあらわされ得る。 d) several "means" may be represented by the same item or hardware or software implemented structure or function.
e)特に明記しない限り特定の動作順序が要求されることを意図しない。 Intended that a particular order of operation is required unless e) otherwise specified.
ことが理解されるべきである。 It should be understood.

術前及び術中3D画像を用いて内視鏡を手動操作するガイダンスツールのための好適な実施形態を記載したが(例示であって限定ではないことが意図される)、上記教示を考慮して当業者によって修正及び変更がなされ得ることが留意される。 Although preoperative and an endoscope using the intraoperative 3D image described preferred embodiments for a guidance tool for manual operation (it is intended not limiting to be illustrative), in view of the above teachings it is noted that modifications and variations can be made by those skilled in the art. 従って添付の請求項によって概説される通り本明細書に開示の実施形態の範囲内にある変更が本開示の特定の実施形態においてなされ得ることが理解されるものとする。 Thus changes which come within the scope of the embodiments disclosed herein as outlined by the appended claims shall be understood to be made in the particular embodiments of the present disclosure. 特許法によって要求される詳細と特異点をこのように記載したが、特許証によって保護されるべき特許請求の範囲は添付の請求項に明記される。 Having described specific points and details required by the patent laws Thus, the claims should be protected by Letters Patent is set forth in the appended claims.

Claims (26)

  1. 内視鏡ナビゲーションのためのガイダンスシステムであって、 A guidance system for endoscopic navigation,
    プロセッサを用いて、内視鏡の第1の画像セットを第2の画像セットとレジストレーションするレジストレーションモジュールと、 Using a processor, a first set of images of the endoscope registration module for the second image set and registration,
    前記第1の画像セット上の選択された関心領域を受信して、前記選択された関心領域を内視鏡座標フレームへ変換する、選択モジュールと、 It said first receives the selected area of ​​interest on the image set, converts the selected regions of interest to an endoscope coordinate frame, a selection module,
    前記内視鏡のユーザが前記選択された関心領域へナビゲートすることを可能にするよう、前記第2の画像セット上にガイダンスツールをオーバーレイするガイダンスモジュールとを有し、前記ガイダンスモジュールは、前記第2の画像セット上に前記内視鏡の現在の動きの経路をオーバーレイする経路モジュールを含む、システム。 To allow the user of the endoscope to navigate to the selected region of interest, and a guidance module for overlaying guidance tool on said second set of images, the guidance module, the including path module to overlay the path of the current motion of the endoscope on the second set of images, the system.
  2. 前記内視鏡のカメラを、前記カメラの座標系が前記ユーザの座標系と対応するように方向付ける作動モジュールをさらに有する、請求項1に記載のシステム。 Further comprising The system of claim 1 operating module to direct the camera of the endoscope, as the coordinate system of the camera corresponding to the coordinate system of the user.
  3. 前記作動モジュールがさらに、第1の方向と実際の方向との間の角度に従って前記カメラを含む作動プラットフォームを回転させる、請求項2に記載のシステム。 Said actuating module is further rotates the operation platform comprising the camera according to the angle between the actual direction and the first direction, the system of claim 2.
  4. 前記ガイダンスモジュールが、前記第2の画像セットのフレームの中心から前記選択された関心領域への方向インジケータを前記第2の画像セット上にオーバーレイする方向モジュールを含む、請求項1に記載のシステム。 The guidance module, including a direction module to overlay a direction indicator from the center of the frame of the second set of images to the selected region of interest on the second image set, the system according to claim 1.
  5. 前記経路モジュールによってオーバーレイされる前記経路が前記内視鏡の前記動きの視覚的な跡を生成する、請求項1に記載のシステム。 Said path said path being overlaid by module generates a visual trace of the motion of the endoscope system of claim 1.
  6. 前記第2の画像セットのフレームの中心に位置する解剖学的特徴の少なくとも一つを含む解剖学的特徴と、以前に前記フレームの中心に位置していた解剖学的特徴の位置を追跡することによって前記経路が生成される、請求項1に記載のシステム。 Tracking the least anatomical features including one, the position of the anatomical features in the center of the frame prior to anatomical features in the center of the frame of the second set of images wherein the path is generated, the system according to claim 1 by.
  7. 前記方向モジュールがさらに、前記方向インジケータと前記内視鏡の動きの経路との間の角度誤差を示す角度誤差インジケータを前記第2の画像セット上にオーバーレイする、請求項4に記載のシステム。 The direction module is further overlay angle error indicator indicating the angular error between the path of motion of the endoscope and the direction indicator on said second set of images, according to claim 4 system.
  8. 前記ガイダンスモジュールが、前記第2の画像セットのフレームの中心から前記選択された関心領域への距離を示す距離インジケータを前記第2の画像セット上にオーバーレイする距離モジュールを含む、請求項1に記載のシステム。 The guidance module includes a distance module to overlay distance indicator of distance from the center of the frame of the second set of images to the selected region of interest on the second set of images, according to claim 1 system.
  9. 前記距離インジケータが距離に応じて変化する前記フレームの中心から前記選択された関心領域への線である、請求項8に記載のシステム。 The distance indicator is a line from the center of the frame to the selected region of interest changes according to the distance system of claim 8.
  10. 前記線が、前記距離が減少するにつれて圧縮され、前記距離が増加するにつれて伸張されて見える仮想ばねである、請求項9に記載のシステム。 It said lines being compressed as said distance decreases, a virtual spring look is extended as the distance increases, the system according to claim 9.
  11. 前記線の色が距離に応じて変化する、請求項9に記載のシステム。 The color of the line changes depending on the distance, the system of claim 9.
  12. 前記ガイダンスモジュールが、前記第2の画像セット上に前記第1の画像セットの解剖学的方向をオーバーレイする方向モジュールを含む、請求項1に記載のシステム。 The guidance module, including a direction module to overlay anatomical direction of the first image set on the second set of images, according to claim 1 system.
  13. 内視鏡ナビゲーションのためのガイダンスシステムであって、 A guidance system for endoscopic navigation,
    プロセッサを用いて、内視鏡の第1の画像セットを第2の画像セットとレジストレーションするレジストレーションモジュールと、 Using a processor, a first set of images of the endoscope registration module for the second image set and registration,
    前記第1の画像セット上の選択された関心領域を受信し、前記選択された関心領域を内視鏡座標フレームへ変換する選択モジュールと、 A selection module in which the first receives the selected area of ​​interest on the image set, converts the selected regions of interest to an endoscope coordinate frame,
    前記第2の画像セット上にガイダンスツールをオーバーレイし、前記第2の画像セット上に前記内視鏡の現在の動きの経路をオーバーレイする経路モジュールを含むガイダンスモジュールと、 And guidance module including a routing module the second overlay guidance tool on an image set, overlay path of the current movement of the endoscope on the second set of images,
    前記内視鏡のユーザが前記選択された関心領域へナビゲートすることを可能にするために、前記内視鏡のカメラを、前記カメラの座標系が前記ユーザの座標系と対応するように方向付ける作動モジュールとを有する、システム。 To allow the user of the endoscope to navigate to the selected region of interest, the direction of the camera of the endoscope, as the coordinate system of the camera corresponding to the coordinate system of the user and a working module attaching system.
  14. 前記作動モジュールがさらに、第1の方向と前記第1の方向の実際の方向との間の角度に従って前記カメラを含む作動プラットフォームを回転させる、請求項13に記載のシステム。 Said actuating module is further rotates the operation platform comprising the camera according to the angle between the actual direction of the first direction the first direction, the system according to claim 13.
  15. ガイド下内視鏡ナビゲーションのための装置の作動方法であって、 A method of operating a device for guided endoscope navigation,
    プロセッサを用いて、内視鏡の第1の画像セットを第2の画像セットとレジストレーションするステップと、 A step of using a processor, to the first second set of images and registration of the image set of the endoscope,
    前記内視鏡のユーザが関心領域へナビゲートすることを可能にするガイダンスツールを前記第2の画像セット上にオーバーレイし、前記関心領域は前記第1の画像セット上で選択可能であり、内視鏡座標フレームへ変換可能である、ステップとを有する、方法において、 Overlaying guidance tool that allows a user of the endoscope to navigate to the region of interest on the second set of images, the region of interest is selectable on the first image set, the inner can be converted into endoscope coordinate frame, and a step, in the process,
    前記オーバーレイするステップは、前記内視鏡の現在の動きの経路を前記第2の画像セット上にオーバーレイするステップを含む、 ガイド下内視鏡ナビゲーションのための装置の作動方法。 Step includes the step of overlaying the path of the current motion of the endoscope on the second set of images, a method of operating a device for guided endoscope navigation to the overlay.
  16. 前記内視鏡のカメラを、前記カメラの座標系が前記ユーザの座標系と対応するように方向付けるステップをさらに有する、請求項15に記載の方法。 Further comprising the method of claim 15 the step of directing the camera of the endoscope, as the coordinate system of the camera corresponding to the coordinate system of the user.
  17. 方向付けるステップが、第1の方向と前記第1の方向の実際の方向との間の角度に従って前記カメラを含む作動プラットフォームを回転させるステップを含む、請求項16に記載の方法。 Step includes the step of rotating the operating platforms including the camera according to the angle between the actual direction of the first direction a first direction The method of claim 16 directing.
  18. オーバーレイするステップが、前記第2の画像セットのフレームの中心から前記選択された関心領域への方向インジケータを前記第2の画像セット上にオーバーレイするステップを含む、請求項15に記載の方法。 The step of overlaying comprises the step of overlaying a direction indicator from the center of the frame of the second set of images to the selected region of interest on the second set of images, The method of claim 15.
  19. 前記内視鏡の前記現在の動きの前記経路を前記第2の画像セット上にオーバーレイするステップを含むが前記内視鏡の前記動きの視覚的な跡を生成する、請求項15に記載の方法。 Including the step of overlaying the path of the current motion of the endoscope on the second image set generating a visual trace of the motion of the endoscope, method of claim 15 .
  20. 前記経路が、前記第2の画像セットのフレームの中心に位置する解剖学的特徴の少なくとも一つを含む解剖学的特徴と、以前に前記フレームの中心に位置していた解剖学的特徴の位置を追跡することによって生成される、請求項15に記載の方法。 Said path, the position of the anatomical feature comprises at least one anatomical feature in the center of the frame of the second image set, the anatomical features in the center of the frame previously It generated by tracking method of claim 15.
  21. オーバーレイするステップが、前記方向インジケータと前記内視鏡の動きの経路との間の角度誤差を示す角度誤差インジケータを前記第2の画像セット上にオーバーレイするステップを含む、請求項18に記載の方法。 The step of overlaying comprises the step of overlaying the angular error indicator indicating the angular error between the path of movement of the direction indicators and the endoscope on the second image set, A method according to claim 18 .
  22. オーバーレイするステップが、前記第2の画像セットのフレームの中心から前記選択された関心領域への距離を示す距離インジケータを前記第2の画像セット上にオーバーレイするステップを含む、請求項15に記載の方法。 The step of overlaying comprises the step of overlaying a distance indicator of distance from the center of the frame of the second set of images to the selected region of interest on the second set of images, according to claim 15 Method.
  23. 前記距離インジケータが、距離に応じて変化する前記フレームの中心から前記選択された関心領域への線である、請求項22に記載の方法。 The distance indicator is a line from the center of the frame to be changed to the selected region of interest in accordance with the distance method of claim 22.
  24. 前記線が、前記距離が減少するにつれて圧縮され、前記距離が増加するにつれて伸張されて見える仮想ばねである、請求項23に記載の方法。 Said line, said distance is compressed with decreasing a virtual spring look is extended as the distance increases, the method according to claim 23.
  25. 前記線の色が距離に応じて変化する、請求項23に記載の方法。 The color of the line changes depending on the distance A method according to claim 23.
  26. オーバーレイするステップが、前記第1の画像セットの解剖学的方向を前記第2の画像セット上にオーバーレイするステップを含む、請求項15に記載の方法。 The step of overlaying comprises the step of overlaying the anatomical direction of the first image set on the second image set, A method according to claim 15.
JP2015506331A 2012-04-19 2013-04-08 Method of operating a preoperative and apparatus for guidance tool and guided endoscopic navigation manually operating the endoscope using the intraoperative 3d image Active JP6174676B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US201261635327P true 2012-04-19 2012-04-19
US61/635,327 2012-04-19
PCT/IB2013/052797 WO2013156893A1 (en) 2012-04-19 2013-04-08 Guidance tools to manually steer endoscope using pre-operative and intra-operative 3d images

Publications (3)

Publication Number Publication Date
JP2015514492A JP2015514492A (en) 2015-05-21
JP2015514492A5 JP2015514492A5 (en) 2016-06-02
JP6174676B2 true JP6174676B2 (en) 2017-08-02

Family

ID=48539312

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015506331A Active JP6174676B2 (en) 2012-04-19 2013-04-08 Method of operating a preoperative and apparatus for guidance tool and guided endoscopic navigation manually operating the endoscope using the intraoperative 3d image

Country Status (6)

Country Link
US (1) US20150073265A1 (en)
EP (1) EP2838412A1 (en)
JP (1) JP6174676B2 (en)
CN (1) CN104244800B (en)
RU (1) RU2668490C2 (en)
WO (1) WO2013156893A1 (en)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9510771B1 (en) 2011-10-28 2016-12-06 Nuvasive, Inc. Systems and methods for performing spine surgery
US9295372B2 (en) * 2013-09-18 2016-03-29 Cerner Innovation, Inc. Marking and tracking an area of interest during endoscopy
US9848922B2 (en) 2013-10-09 2017-12-26 Nuvasive, Inc. Systems and methods for performing spine surgery
US20150157197A1 (en) * 2013-12-09 2015-06-11 Omer Aslam Ilahi Endoscopic image overlay
US20170172663A1 (en) * 2014-02-11 2017-06-22 Koninklijke Philips N.V. Spatial visualization of internal mammary artery during minimally invasive bypass surgery
DE102014203097A1 (en) * 2014-02-20 2015-08-20 Siemens Aktiengesellschaft A method for assisting a navigation apparatus of an endoscopic
US20170303770A1 (en) * 2014-11-06 2017-10-26 Sony Corporation Endoscope apparatus, and method and program for operating endoscope apparatus
EP3397184A1 (en) * 2015-12-29 2018-11-07 Koninklijke Philips N.V. System, control unit and method for control of a surgical robot
EP3405104A1 (en) 2016-01-22 2018-11-28 Nuvasive, Inc. Systems and methods for facilitating spine surgery
US20190069955A1 (en) 2016-03-17 2019-03-07 Koninklijke Philips N.V. Control unit, system and method for controlling hybrid robot having rigid proximal portion and flexible distal portion
WO2018195216A1 (en) * 2017-04-18 2018-10-25 Intuitive Surgical Operations, Inc. Graphical user interface for monitoring an image-guided procedure

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7343195B2 (en) * 1999-05-18 2008-03-11 Mediguide Ltd. Method and apparatus for real time quantitative three-dimensional image reconstruction of a moving organ and intra-body navigation
GR1004180B (en) * 2000-03-28 2003-03-11 Ιδρυμα Τεχνολογιασ Και Ερευνασ (Ιηδλ) Method and system for characterization and mapping of tissue lesions
WO2002024051A2 (en) * 2000-09-23 2002-03-28 The Board Of Trustees Of The Leland Stanford Junior University Endoscopic targeting method and system
EP2316328B1 (en) * 2003-09-15 2012-05-09 Super Dimension Ltd. Wrap-around holding device for use with bronchoscopes
US20060036162A1 (en) * 2004-02-02 2006-02-16 Ramin Shahidi Method and apparatus for guiding a medical instrument to a subsurface target site in a patient
US7720521B2 (en) * 2004-04-21 2010-05-18 Acclarent, Inc. Methods and devices for performing procedures within the ear, nose, throat and paranasal sinuses
US8199984B2 (en) * 2006-05-02 2012-06-12 National University Corporation Nagoya University System that assists in observing a luminal organ using the structure of the luminal organ
US20080287783A1 (en) * 2007-05-16 2008-11-20 General Electric Company System and method of tracking delivery of an imaging probe
CN101826780B (en) * 2009-03-07 2013-08-21 深圳先进技术研究院 System for driving capsule endoscope
EP3023941B1 (en) * 2009-03-26 2019-05-08 Intuitive Surgical Operations, Inc. System for providing visual guidance for steering a tip of an endoscopic device towards one or more landmarks and assisting an operator in endoscopic navigation
WO2010122823A1 (en) * 2009-04-20 2010-10-28 オリンパスメディカルシステムズ株式会社 Subject internal examination system

Also Published As

Publication number Publication date
CN104244800A (en) 2014-12-24
JP2015514492A (en) 2015-05-21
RU2014146310A (en) 2016-06-10
RU2668490C2 (en) 2018-10-01
EP2838412A1 (en) 2015-02-25
CN104244800B (en) 2017-05-17
US20150073265A1 (en) 2015-03-12
WO2013156893A1 (en) 2013-10-24

Similar Documents

Publication Publication Date Title
US9767608B2 (en) Augmented reality image display system and surgical robot system comprising the same
Cleary et al. Image-guided interventions: technology review and clinical applications
US6996430B1 (en) Method and system for displaying cross-sectional images of a body
Navab et al. Camera augmented mobile C-arm (CAMC): calibration, accuracy study, and clinical applications
CN100581478C (en) Method and device for registering 2d projection images relative to a 3d image data record
JP5285270B2 (en) Automatic guide wire operating system
US7555331B2 (en) Method for surgical navigation utilizing scale-invariant registration between a navigation system and a localization system
JP5207795B2 (en) System and method for navigating objects in the imaged object
US8821376B2 (en) Devices and methods for performing medical procedures in tree-like luminal structures
US20030220555A1 (en) Method and apparatus for image presentation of a medical instrument introduced into an examination region of a patent
US7659912B2 (en) Insertion support system for producing imaginary endoscopic image and supporting insertion of bronchoscope
US20080147086A1 (en) Integrating 3D images into interventional procedures
Baumhauer et al. Navigation in endoscopic soft tissue surgery: perspectives and limitations
US9603508B2 (en) Method for capturing and displaying endoscopic maps
US8672836B2 (en) Method and apparatus for continuous guidance of endoscopy
US7961924B2 (en) Method of three-dimensional device localization using single-plane imaging
Sielhorst et al. Advanced medical displays: A literature review of augmented reality
JP5319188B2 (en) X-ray diagnostic apparatus
US20070276216A1 (en) Image-Guided Navigation for Catheter-Based Interventions
US9314222B2 (en) Operation of a remote medical navigation system using ultrasound image
US8801601B2 (en) Method and system for providing visual guidance to an operator for steering a tip of an endoscopic device toward one or more landmarks in a patient
KR101903307B1 (en) System for providing visual guidance for steering a tip of an endoscopic device towards one or more landmarks and assisting an operator in endoscopic navigation
US9265468B2 (en) Fluoroscopy-based surgical device tracking method
JP2009529951A (en) Method and apparatus for recording and reviewing the surgical navigation process
US20110075912A1 (en) Visualization Method and Imaging System

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160405

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160405

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170131

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170214

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170405

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170706

R150 Certificate of patent or registration of utility model

Ref document number: 6174676

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150