JP6144914B2 - レーザ改良された３ｄ表面再構成 - Google Patents

レーザ改良された３ｄ表面再構成 Download PDF

Info

Publication number
JP6144914B2
JP6144914B2 JP2012552494A JP2012552494A JP6144914B2 JP 6144914 B2 JP6144914 B2 JP 6144914B2 JP 2012552494 A JP2012552494 A JP 2012552494A JP 2012552494 A JP2012552494 A JP 2012552494A JP 6144914 B2 JP6144914 B2 JP 6144914B2
Authority
JP
Japan
Prior art keywords
laser spot
dimensional object
spot array
endoscope
endoscopic image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012552494A
Other languages
English (en)
Other versions
JP2013519417A (ja
JP2013519417A5 (ja
Inventor
アレクサンドラ ポポヴィック
アレクサンドラ ポポヴィック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2013519417A publication Critical patent/JP2013519417A/ja
Publication of JP2013519417A5 publication Critical patent/JP2013519417A5/ja
Application granted granted Critical
Publication of JP6144914B2 publication Critical patent/JP6144914B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0605—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for spatially modulated illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1076—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions inside body cavities, e.g. using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1077—Measuring of profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676—Bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/317—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for bones or joints, e.g. osteoscopes, arthroscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4528—Joints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures

Description

本発明は、概して、最小侵襲性の内視鏡外科手術の間に、対象の３次元（「３Ｄ」）表面を再構成することに関する。本発明は、特に、内視鏡の術中のカメラ較正のために及び対象の表面の３Ｄ再構成のための、対象の表面上のレーザスポットパターンの再生可能且つ精確なフィーチャの生成、検出及び利用に関する。
最小侵襲性の内視鏡外科手術は、剛性又は可撓性の内視鏡が、自然開口部又は皮膚の小さい切開部（すなわちポート）を通じて患者身体に導入される外科的なプロシージャである。内視鏡を伴う付加の外科ツールが、同様のポートを通じて患者の身体に導入され、内視鏡は、外科ツールの外科医に、外科的な部位に関する視覚的フィードバックを提供するために使用される。最小侵襲性の内視鏡外科手術の例は、内視鏡心臓外科手術（例えば内視鏡下心臓バイパス又は僧帽弁置換術）、腹部の腹腔鏡検査、関節鏡検査及び肺の気管支鏡検査を含むが、これらに限定されるものではない。
内視鏡検査におけるレーザ計測は、内視鏡検査画像において対象のサイズを測定する可能性を提供する種類の方法である。かかるレーザ計測は、通常、工業用内視鏡法に関して行われるが、医学においても使用される。レーザ計測において、コリメートされたレーザビームは、内視鏡カメラの光軸と平行に位置付けられる。レーザビームは、考察中の対象上に又は対象の近傍に、レーザドットを投射する。レーザのビームコリメーションの場合、対象上の又はその近傍のドットサイズは、対象までの距離に関係なく同じままである。従って、ドットサイズは、画像のサイズ較正材料の役割を果たす。
当分野において知られている１つの方法は、レーザ計測用の較正されたレーザドットを生成するために、レーザ生成装置を内視鏡の遠位端に配置することである。基本的に、このレーザ計測方法は、１つのコリメートされたレーザドットを対象（例えば組織）に投射し、レーザドットの直径から対象のスケールを導出する。
これに対して、当分野において知られている別の方法は、４つのレーザドットを対象（例えば組織）上に投射して画像内の対象のスケールを得るために、内視鏡カメラの光軸と平行にセットされる４つのレーザビームを有する内視鏡を利用する。この方法のために、半径方向歪みの補償が、歪みパラメータを得るためにチェスボード様の較正グリッドを使用して実施される。その後、レーザドットの３Ｄ位置は、レンズジオメトリを使用して、ポイント間の幾何学的な関係から計算されることができる。最後に、較正ルーラが、内視鏡画像上に表示される。
最小侵襲性の内視鏡外科手術に関して上述したように、内視鏡は、手術部位の唯一の視覚的フィードバックを提供している。しかしながら、内視鏡画像は、通常、２次元（「２Ｄ」）であり、これは、ビュー内の対象の深さ情報並びに相対位置及びサイズを得る際の困難さを呈する。一連の２Ｄ画像から３Ｄ表面を再構成するための知られているアルゴリズムは、２又はそれ以上のフレーム内のポイント間の対応付けを見つけることに依存する。このようなアルゴリズムに基づく３Ｄ再構成の品質は、一致したフィーチャの精確さに大きく依存する。特に、無作為標本コンセンサス（「ＲＡＮＳＡＣ」）最適化を使用して、２Ｄ＋ｔシリーズから３Ｄ表面を再構成するために、８又はそれ以上のフィーチャ一致が、見つけられる必要がある。しかしながら、外科手術において、内視鏡ビュー内の対象（例えば、心臓内視鏡検査における心臓組織又は関節鏡検査における骨表面）は、非常に多くの場合、平滑であり、フィーチャがなく、よって、特徴検出及び突き合せを困難な作業にする。
上述したレーザ計測方法は、単一のコリメートレーザドット又はスコープの光軸と平行に位置付けられる複数のレーザビームを使用することによって、スケール問題（すなわち対象サイズ）を解決する。しかしながら、これらの方法は、３Ｄ再構成の品質問題に対処しない。これらの方法の別の不利益は、それらが、レーザビームが内視鏡の光軸と平行であることを必要とすることである。従って、レーザ光源及び内視鏡ファイバが、内視鏡自体に組み込まれなければならず、このことは、内視鏡の直径を増大させ、ゆえに、外科的プロシージャの侵襲性を増加させる。
本発明は、対象の表面の精確な再構成及び術中のカメラ較正を容易にするために、３Ｄ対象（例えば関心のある器官又は組織）の表面上にレーザスポットパターン（例えば円形ドットのマトリックス）を投射するレーザを利用し、これは、２Ｄ内視鏡ビューから対象の表面の深さ情報並びに相対位置及びサイズを得る際の困難さを解決する。
本発明の１つの形態は、レーザ、内視鏡及び画像再構成装置を用いるシステムである。動作中、レーザは、３Ｄ対象（例えば関心のある器官又は組織）の表面上に、レーザスポットパターン（例えば円形ドットのマトリックス）を投射する。内視鏡が、３Ｄ対象に対し平行移動され及び／又は回転されるに従って、内視鏡は、一連の内視鏡画像を生成し、各々の内視鏡画像は、レーザによって３Ｄ対象の表面上に投射されるレーザスポットパターン内のレーザスポットアレイのそれぞれ異なるビューを示す。画像再構成装置は、内視鏡画像に示されるレーザスポットアレイのそれぞれ異なるビューの対応付けから、３Ｄ対象の表面を再構成する。
本発明の目的のために、「レーザスポットパターン」という語は、概して、内視鏡アプリケーションのための任意の幾何学的な形、任意の色及び任意の実際寸法をもつ２又はそれ以上のレーザスポットの任意の空間配列として、ここで規定される。「レーザスポットアレイ」という語は、関連するレーザスポットパターンのレーザスポット又はその任意のサブセットの空間配列を有するものとして、ここで広義に規定される。レーザスポットパターン及びレーザスポットアレイの中で、各スポットの幾何学的な形、色及び寸法は、レーザスポットの一部又は全部について同一であってもよく、又は異なってもよい。更に、レーザスポットアレイは、術前又は術中に、レーザスポットパターン内に規定されることができる。
更に、「内視鏡」という語は、概して、身体を内側からイメージングする能力を有する任意の装置として、ここに規定される。本発明の目的を達成するための内視鏡の例は、可撓性又は剛性の任意のタイプのスコープ（例えば、内視鏡、関節鏡、気管支鏡、コレドコスコープ、結腸鏡、膀胱鏡、十二指腸内視鏡、胃鏡、子宮鏡、腹腔鏡、喉頭鏡、神経内視鏡、耳鏡、プッシュ式腸鏡、鼻咽頭内視鏡、Ｓ状結腸鏡、副鼻腔内視鏡、胸部内視鏡、その他）、及び画像システムを備えるスコープ（例えばイメージング装置を有する入れ子式カニューレ）と同様の任意の装置を含むが、これらに限定されるものではない。イメージングは、局所的であり、表面画像は、ファイバ光学部品、レンズ、又は小型化された（例えばＣＣＤベースの）イメージングシステムによって光学的に得られることができる。
本発明の上述の形態及び他の形態並びに本発明のさまざまな特徴及び利点が、添付の図面に関連して理解される本発明のさまざまな実施形態の以下の詳細な説明から、一層明らかになるであろう。詳細な説明及び図面は、本発明を単に説明するものであって制限するものではなく、本発明の範囲は、添付の請求項及びその等価なものによって規定される。
本発明による、３Ｄ画像再構成システムの例示の実施形態を示す図。 本発明による、レーザスポットアレイの一連の異なるビューの例を示す図。 本発明による、図２に示されるレーザスポットアレイの一連の異なるビューの別の例を示す図。 本発明による、内視鏡外科方法の例示の実施形態を示すフローチャート。 図１に示されるシステムによる、図４に示される方法の例示の内視鏡アプリケーションを示す図。 本発明による、３Ｄ表面再構成方法の例示の実施形態を表すフローチャート。
本発明による３Ｄ表面再構成アルゴリズムの実現は、レーザが、レーザスポットパターンを３Ｄ対象に投射し、内視鏡が、レーザスポットパターン内のレーザスポットアレイの一連の２Ｄ内視鏡画像を生成することによって、達成される。レーザスポットパターンは、内視鏡画像間のレーザスポットアレイの対応付けを容易にするために、３Ｄ対象に投射される再生可能且つ精確なフィーチャとしての役割を果たす。
例えば、図１に示されるように、レーザ光源１０によって供給されるレーザ１１は、円形ドットの７ｘ７マトリックス配列を有するレーザスポットパターン１２を投射する。レーザスポットパターン１２内には、円形ドットの３ｘ３マトリックス配列を有するレーザスポットアレイ１３がある。最小侵襲性の内視鏡外科手術の間、内視鏡２１は、レーザスポットパターン１２の全部又一部にフォーカスされ、それによって、内視鏡２１の視野２２は、レーザスポットアレイ１３を取り囲む。
より具体的には、図２は、内視鏡２１が３Ｄ対象の方向に平行移動するに従って、内視鏡２１によって生成される内視鏡ビュー２３ａ−２３ｃのシーケンスを示す。このように、レーザスポットパターン１２は、それぞれ異なる内視鏡ビュー２３ａ−２３ｃにおいて拡大し、レーザスポットアレイ１３は、各々の内視鏡ビュー２３ａ−２３ｃにおいて識別可能である。内視鏡ビュー２３ａ−２３ｃを通じたレーザスポットパターンの拡大は、以下に更に説明されるように、３Ｄ表面再構成アルゴリズムを実現するためのレーザスポットアレイ１３の動きの役割を果たす。
図３は、内視鏡２１が、３Ｄ対象の方向へ更に平行移動するに従って、内視鏡２１によって生成される内視鏡ビュー２３ｄ−２３ｆの付加のシーケンスを示す。再び、レーザスポットパターン１２は、内視鏡ビュー２３ｄ−２３ｆを通じて拡大し、レーザスポットアレイ１３は、各々の内視鏡ビュー２３ｄ−２３ｆにおいて識別可能であり、内視鏡ビュー２３ｄ−２３ｆを通じたレーザスポットパターンの拡大は、以下に更に説明されるように、３Ｄ表面再構成アルゴリズムを実現するためのレーザスポットアレイ１３の動きの役割を果たす。
図２及び図３は、内視鏡画像間のレーザスポットアレイの対応付けを容易にするために、３Ｄ対象に投射される再生可能且つ精確なフィーチャとしてのレーザスポットパターンの本発明の原理を明確に説明するために提供される。実際、好適には、レーザスポットパターンは、９又はそれ以上のレーザスポットを含み、内視鏡画像の数は、２又はそれ以上であり、内視鏡カメラとレーザスポットパターンとの間の距離は、内視鏡画像のすべてを通じてレーザスポットパターン全体の識別を容易にし、レーザスポットパターン自体が、レーザスポットアレイとして機能する。それにもかかわらず、図２及び図３は、レーザスポットパターンの全部又は一部にせよ、レーザスポットアレイが内視鏡画像のすべてにおいて識別可能でなければならないことを強調する。
図１に戻って参照すると、画像再構成装置２０は、対象の表面の３Ｄ画像を再構成するために、レーザスポットアレイの生成された画像を処理する。本発明の目的のために、画像再構成装置は、概して、３Ｄ再構成アルゴリズム（例えばプログラムされたコンピュータ）に従って内視鏡画像を処理することにより対象の表面の３Ｄ再構成を生成するように構成される任意の装置として、ここで広義に規定される。本明細書で用いられる「生成」という語は、コンピュータ処理及びメモリ記憶／取り出しの目的で、特に画像データセット及びビデオフレームのような情報（例えば、データ、テキスト、画像、ボイス及びビデオ）を生成し、計算し、出力し、供給し、取得し、発生し、形成し、開発し、展開し、変形し、変換し、変更し、又は他のやり方で利用可能にするための、当分野において現在又は今後知られる任意の技法を含むものとして広義に規定される。
図４は、本発明の内視鏡外科方法を表すフローチャート３０を示す。フローチャート３０は、術前ステージＳ３２及びＳ３３並びに術中ステージＳ３４−Ｓ３７を含む。本明細書で用いられる「術前」という語は、内視鏡アプリケーションの前に行われる又はその前の期間又は準備に関連する任意のアクティビティを述べるために広義に規定される。本明細書で用いられる「術中」という語は、内視鏡アプリケーション（例えば内視鏡を走査する）の間に行われ、実施され、又は遭遇される任意のアクティビティとして記述するために広義に規定される。内視鏡アプリケーションの例は、関節鏡検査、気管支鏡検査、大腸内視鏡検査、腹腔鏡検査、脳内視鏡検査及び内視鏡下心臓外科手術を含むが、これらに限定されるものではない。内視鏡下心臓外科手術の例は、内視鏡下冠状動脈バイパス、内視鏡僧帽弁及び大動脈弁修復及び置換を含むが、これらに限定されるものではない。
術前ステージＳ３１は、レーザスポットパターンを３Ｄ対象に投射するためのレーザを選択することを含む。実際、Lasiris SNFレーザが、内視鏡アプリケーションのために使用されることができ、その場合、レーザは、約６００ｎｍの波長及び１００ｍＷより小さい電力をもつ。更に、レーザは、好適には、円形ドットの緑又は青の７ｘ７マトリックスのレーザスポットパターンを投射し、その場合、円形ドットの８又はそれ以上が、レーザスポットアレイとしての役割を果たす。更に、円形ドットは、０．５ｍｍの直径を有するとともに、円形ドットの間に４ｍｍの間隔を有することができる。９０度又はそれ以下の扇角度（ＦＡ）を特定するために、対象サイズ（Ｌ）及び動作距離（Ｄ）が、下式［１］によって理解されるべきである：
FA = 2*arcsin(L/(2*D)) [1]
図５は、対象サイズＬを有する膝４０の組織４１から距離Ｄのところにあるレーザ１１を含む関節鏡アプリケーションの例を示す。
図４を再び参照して、術前ステージＳ３２は、内視鏡の知られているカメラ較正を含む。一実施形態において、レーザは、レーザスポットパターンを対照的な平面（例えば白色の平面）に投射し、ここで、レーザスポットパターンは、一様なマトリックス（例えば、円形ドットの７ｘ７マトリックス）を有し、又は異なる数の２次元のレーザスポットをもつマトリックス（例えば、円形ドットの６ｘ７マトリックス）を有する。較正パラメータ及び半径方向歪みは、平面に対し内視鏡を２又はそれ以上の異なる向きに配した状態で平面上のレーザスポットパターンの画像を取得し、画像内のレーザポイントを検出することによって、算出される。
術中ステージＳ３３は、３Ｄ対象の表面上にレーザスポットパターンを生成することを含む。例えば、図５に示すように、レーザ１１は、膝４０の外科手術器具ポート４３内に挿入され、それによって、組織４１上に円形ドットの５ｘ５マトリックスのレーザスポットパターン１４を投射する。
術中ステージＳ３４の実行は、ステージＳ３２が術前フェーズの間に実行されなかったかどうか、又は内視鏡の再較正が必要とされるかどうか、に依存する。実行される場合、術中ステージＳ３４は、内視鏡が、レーザスポットパターンに対し内視鏡を２又はそれ以上の異なる向きに配した状態で、３Ｄ対象上に投射されるレーザスポットパターンの画像を取得することを含む。例えば、図５に示されるように、内視鏡２１は、膝４０の視覚ポート４２に挿入され、それによって、レーザスポットパターン１４（例えば画像２４）の画像を生成する。内視鏡２４は、さまざまな異なる視野角及び方向から同じレーザスポットアレイの画像を生成するために、任意の方向及び回転位置にポート４２（すなわちピボット点）の周りを移動されることができる。その後、画像内のレーザスポットアレイとしてレーザスポットパターン１４を検出し、又は画像内のレーザスポットアレイ１５を検出することにより、カメラパラメータの算出が可能になる。
レーザスポットの検出は、色閾値処理のような、当分野において知られている任意のアルゴリズムを用いて実施されることができる。検出の結果は、各画像の座標系におけるスポットの位置ｘ＝［ｘ，ｙ］Ｔである。
術中ステージＳ３５は、内視鏡が、３Ｄ対象及びポート４２に対し平行移動され及び／又は回転されるに従って、３Ｄ対象上に、レーザスポットパターンの２又はそれ以上の一連の画像を生成することを含む。例えば、図５に示すように、内視鏡２１は、膝４０のポート４２に挿入され、それにより、内視鏡２１が矢印で示されるように組織４１の方向に平行移動されるに従って、レーザスポットパターン１４の画像（例えば画像２４）を生成する。
術中ステージＳ３６は、ステージＳ３５の間に取得される内視鏡画像及び術前ステージＳ３２又は術中ステージＳ３４の間に得られる内視鏡の較正に基づいて、対象の表面を３Ｄ再構成する。実際、３Ｄ再構成アルゴリズムは、対象の３Ｄ再構成を達成するために、ステージＳ３６の間に実現されることができる。一実施形態において、図６は、ステージＳ３６の間に実現されることができる３Ｄ表面再構成を表すフローチャート５０を示す。
図６を参照して、フローチャート５０のステージＳ５１は、内視鏡画像を通じてレーザスポットアレイのそれぞれ異なるビューを関連付けるための基礎行列（Ｆ）を生成することを含む。一実施形態において、２つの異なるビュー（ｘ）及び（ｘ'）の同じレーザスポットに関して、基礎行列（Ｆ）は、３ｘ３行列であり、以下の知られている式［２］によって規定される：
xT * F * x' = 0 [2]
２つの異なるビューにおけるＮレーザースポットについて、Ｎ個の式の組が規定される：
x1 T * F * x1' = 0
・・・ [3]
xN T * F * xN' = 0
式［３］からの未知数（Ｆ）は、レーザスポットアレイが８つのレーザスポット（Ｎ＝８）を有する場合は８ポイントアルゴリズムを使用して計算されることができ、又はレーザスポットアレイが９又はそれ以上のレーザスポットを含む場合は反復法（例えばＲＡＮＳＡＣ）を使用して計算されることができる。
ステージＳ５２は、基本行列（Ｅ）を生成し、又は複数の内視鏡画像の間でレーザスポットアレイの異なるビューを関連付けることを含む。一実施形態において、基本行列（Ｅ）は、以下の知られている式［４］から計算される：
E = K T * F * K [4]
較正行列（Ｋ）は、内視鏡の術前又は術中の較正を表す３ｘ３行列である。
ステージＳ５３は、基本行列（Ｅ）の関数として、並進ベクトル（Ｔ）及び回転行列（Ｒ）（内視鏡が回転される場合）を生成することを含む。一実施形態において、並進ベクトル（Ｔ）及び回転行列（Ｒ）は、以下の知られている式［５］から導出される：
E = U * Σ * V T [5]
ステージＳ５４は、レーザスポットアレイの各ビューごとに投射行列を生成することを含む。レーザスポットアレイの２つのビューに関する一実施形態において、スポット（ｘ）と関連付けられるビューの投射行列Ｐ１及びスポット（ｘ'）に関連付けられるビューの投射行列Ｐ２が、以下の知られている式［６］及び［７］から計算される：
P1 = K * [I|0] [6]
P2 = KT * [R|T] * K [7]
ステージＳ５５は、内視鏡画像内の対象のレーザスポットアレイすなわち顕著なフィーチャ（例えばエッジ）から、３Ｄ対象ポイントを再構成することを含む。一実施形態において、２つのビューについてピンホールカメラモデルを使用する場合、３Ｄ対象ポイントＸは、以下の知られている式［８］及び［９］から計算される：
x = P1 * X [8]
x' = P2 * X [9]
計算された３Ｄ対象ポイントＸは、三角測量及び式［８］及び［９］を使用して再構成されることができる。
ポイントｘ及びｘ'に関して、２つの組が、ステージＳ５５のために使用されることができる。
第１の実施形態において、レーザスポットｘ及びｘ'は、フィーチャとして使用されることができる。これらのフィーチャは、それらが非常に精確であり且つ信頼できるものであるので、強いフィーチャである。この実施形態は、関連するレーザスポットアレイと同程度の数のポイントを有する非常にまばらな３Ｄモデルを与える。
第２の実施形態において、当分野において知られているフィーチャ検出方法（例えばＳＩＦＴ方法）を使用して検出される弱い対象表面フィーチャ（例えばエッジ）が、ポイントｘ及びｘ'から計算される投射行列Ｐ１及びＰ２と共に使用されることができる。この方法は、ポイントｘ及びｘ'のより低い精度を有するが、投射行列Ｐ１及びＰ２の高精度を維持する高密度の表面をもたらす。
本発明のさまざまな実施形態が図示され記述されているが、当業者であれば、ここに記述される本発明の実施形態が説明的なものであり、さまざまな変形及び変更がなされることができ、等価なものが、本発明の真の範囲から逸脱することなく、それらの構成要素と置き換えられることができることが理解されるであろう。更に、多くの変形が、本発明の教示を、その中心的な範囲を逸脱することなく適応させるように行われることができる。従って、本発明は、本発明を実施するために企図される最良のモードとして開示される特定の実施形態に限定されず、本発明は、添付の請求項の範囲に入るすべての実施形態を含むことが意図される。

Claims (15)

  1. ３次元対象の表面上にレーザスポットパターンを投射するレーザと、
    内視鏡が前記３次元対象に対し平行移動され又は回転されるに従って、一連の内視鏡画像を生成する内視鏡であって、各内視鏡画像が、前記レーザによって前記３次元対象の前記表面上に投射される前記レーザスポットパターンに含まれるレーザスポットアレイのそれぞれ異なるビューを示す、内視鏡と、
    前記内視鏡と通信するとともに、前記内視鏡画像に示される前記レーザスポットアレイの前記それぞれ異なる複数のビューの対応付けに基づいて、前記３次元対象の前記表面を再構成する画像再構成装置であって、前記対応付けが、前記レーザスポットパターンに対し前記内視鏡の異なる向きにおいて生成された各内視鏡画像内のレーザスポットアレイを検出することにより算出したカメラ較正パラメータを用いることを含む、画像再構成装置と、
    を有するシステム。
  2. 前記レーザスポットパターン及び前記レーザスポットアレイが同一である、請求項１に記載のシステム。
  3. 前記レーザスポットアレイが、前記レーザスポットパターンのサブセットである、請求項１に記載のシステム。
  4. 前記３次元対象の前記表面の前記再構成は、
    前記内視鏡画像に示される前記レーザスポットアレイの前記それぞれ異なるビューを関連付けるための基礎行列を生成し、
    前記基礎行列及び前記レーザスポットアレイの前記それぞれ異なるビューの関数として、３次元対象ポイントを再構成する、
    ことを含む、請求項１に記載のシステム。
  5. 前記３次元対象の前記表面の前記再構成は、
    前記内視鏡画像に示される前記レーザスポットアレイの前記それぞれ異なるビューを関連付けるための基礎行列を生成し、
    前記内視鏡画像に示される前記３次元対象に投射された前記レーザスポットアレイを表面特徴として検出し、
    前記基礎行列及び前記内視鏡画像において検出された前記３次元対象の前記表面特徴の関数として、３次元対象ポイントを再構成する、
    ことを含む、請求項１に記載のシステム。
  6. 前記３次元対象の前記表面の前記再構成は、前記内視鏡画像に示される前記レーザスポットアレイの前記それぞれ異なるビューを関連付けるための基礎行列を生成することを含む、請求項１に記載のシステム。
  7. 前記３次元対象の前記表面の前記再構成は更に、前記内視鏡画像に示される前記レーザスポットアレイの前記それぞれ異なるビューを関連付けるための基本行列を生成することを含み、前記基本行列は、前記基礎行列及び前記内視鏡のカメラ較正に関連するカメラ較正行列の関数である、請求項６に記載のシステム。
  8. 前記３次元対象の前記表面の前記再構成は更に、前記基本行列の関数として並進ベクトル及び回転行列を生成することを含む、請求項７に記載のシステム。
  9. 前記３次元対象の前記表面の前記再構成は更に、前記並進ベクトル及び前記回転行列の関数として前記レーザスポットアレイの各ビューについて投射行列を生成することを含み、各投射行列は、前記レーザスポットアレイの関連するビューの線形変換を与える、請求項８に記載のシステム。
  10. 前記３次元対象の前記表面の前記再構成は更に、各投射行列及び前記レーザスポットアレイの前記関連するビューの関数として、３次元対象ポイントを再構成することを含む、請求項９に記載のシステム。
  11. 前記３次元対象の前記表面の前記再構成は更に、
    前記レーザスポットアレイの各ビューについて、前記内視鏡画像に示される前記３次元対象に投射された前記レーザスポットアレイを表面特徴として検出し、
    各投射行列及び前記内視鏡画像において検出された前記３次元対象の各表面特徴の関数として、３次元対象ポイントを再構成する、
    ことを含む、請求項９に記載のシステム。
  12. 前記内視鏡は、前記内視鏡画像の少なくとも２つに基づいてカメラ較正される、請求項１に記載のシステム。
  13. 内視鏡が３次元対象に対し平行移動され又は回転されるに従って、一連の内視鏡画像を生成する内視鏡であって、各内視鏡画像が、前記３次元対象の表面上に投射されるレーザスポットパターンに含まれるレーザスポットアレイのそれぞれ異なるビューを示す、内視鏡と、
    前記内視鏡と通信するとともに、前記内視鏡画像に示される前記レーザスポットアレイの前記それぞれ異なる複数のビューの対応付けに基づいて、前記３次元対象の表面を再構成する画像再構成装置であって、前記対応付けが、前記レーザスポットパターンに対し前記内視鏡の異なる向きにおいて生成された各内視鏡画像内のレーザスポットアレイを検出することにより算出したカメラ較正パラメータを用いることを含む、画像再構成装置と、
    を有するシステム。
  14. 前記３次元対象の前記表面の前記再構成は、
    前記内視鏡画像に示される前記レーザスポットアレイの前記それぞれ異なるビューを関連付けるための基礎行列を生成し、
    前記基礎行列及び前記レーザスポットアレイの前記それぞれ異なるビューの関数として、３次元対象ポイントを再構成する、
    ことを含む、請求項１３に記載のシステム。
  15. 前記３次元対象の前記表面の前記再構成は、
    前記内視鏡画像に示される前記レーザスポットアレイの前記それぞれ異なるビューを関連付けるための基礎行列を生成し、
    前記内視鏡画像に示される前記３次元対象に投射された前記レーザスポットアレイを表面特徴として検出し、
    前記基礎行列及び前記内視鏡画像において検出された前記３次元対象の前記表面特徴の関数として、３次元対象ポイントを再構成する、
    ことを含む、請求項１３に記載のシステム。
JP2012552494A 2010-02-12 2011-01-14 レーザ改良された３ｄ表面再構成 Expired - Fee Related JP6144914B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US30370210P 2010-02-12 2010-02-12
US61/303,702 2010-02-12
PCT/IB2011/050171 WO2011098927A1 (en) 2010-02-12 2011-01-14 Laser enhanced reconstruction of 3d surface

Publications (3)

Publication Number Publication Date
JP2013519417A JP2013519417A (ja) 2013-05-30
JP2013519417A5 JP2013519417A5 (ja) 2015-05-21
JP6144914B2 true JP6144914B2 (ja) 2017-06-07

Family

ID=43902768

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012552494A Expired - Fee Related JP6144914B2 (ja) 2010-02-12 2011-01-14 レーザ改良された３ｄ表面再構成

Country Status (5)

Country Link
US (2) US11022433B2 (ja)
EP (1) EP2533679B1 (ja)
JP (1) JP6144914B2 (ja)
CN (1) CN102762142B (ja)
WO (1) WO2011098927A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11022433B2 (en) * 2010-02-12 2021-06-01 Koninklijke Philips N.V. Laser enhanced reconstruction of 3D surface
US8900126B2 (en) 2011-03-23 2014-12-02 United Sciences, Llc Optical scanning device
US8897502B2 (en) * 2011-04-29 2014-11-25 Aptina Imaging Corporation Calibration for stereoscopic capture system
US8900125B2 (en) * 2012-03-12 2014-12-02 United Sciences, Llc Otoscanning with 3D modeling
DE102013200898A1 (de) * 2013-01-21 2014-07-24 Siemens Aktiengesellschaft Endoskop, insbesondere für die minimal-invasive Chirurgie
CN104083172B (zh) * 2013-11-28 2016-02-17 北京华科创智健康科技股份有限公司 一种电子内窥镜病灶尺寸定量测量的方法和装置
CN105982751A (zh) * 2015-02-02 2016-10-05 王辉 一种稳定快速的腔内物体表面3d成像系统
CN105982750A (zh) * 2015-02-02 2016-10-05 王辉 一种稳定的腔内物体表面3d成像系统
CN105982752A (zh) * 2015-02-02 2016-10-05 王辉 一种腔内物体表面大视场3d成像系统
WO2016199518A1 (ja) * 2015-06-09 2016-12-15 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
US10512508B2 (en) 2015-06-15 2019-12-24 The University Of British Columbia Imagery system
EP3306572A1 (en) * 2016-10-07 2018-04-11 Schneider Electric Industries SAS Method for 3d mapping of 2d point of interest
EP3558088A4 (en) 2016-12-20 2020-10-28 3dintegrated ApS MEDICAL PROBE ARRANGEMENT
CN110381808B (zh) * 2017-01-06 2022-03-15 飞通尼护理股份有限公司 自定向成像设备及使用方法
CA3106823A1 (en) 2018-07-19 2020-01-23 Activ Surgical, Inc. Systems and methods for multi-modal sensing of depth in vision systems for automated surgical robots
WO2020206401A1 (en) * 2019-04-05 2020-10-08 Witham Nicholas Steven Otoscope
CA3132350A1 (en) 2019-04-08 2020-10-15 Stephen Tully Systems and methods for medical imaging
US10908412B2 (en) * 2019-05-02 2021-02-02 VPIX Medical Incorporation Image generating device
US11944273B2 (en) 2019-06-20 2024-04-02 Cilag Gmbh International Fluorescence videostroboscopy of vocal cords
US11266304B2 (en) * 2019-06-20 2022-03-08 Cilag Gmbh International Minimizing image sensor input/output in a pulsed hyperspectral imaging system
CN114286961A (zh) * 2019-08-28 2022-04-05 富士胶片株式会社 内窥镜系统及其工作方法
US20220319031A1 (en) * 2021-03-31 2022-10-06 Auris Health, Inc. Vision-based 6dof camera pose estimation in bronchoscopy

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3126065B2 (ja) * 1991-12-09 2001-01-22 オリンパス光学工業株式会社 計測用内視鏡装置
GB9216743D0 (en) 1992-08-07 1992-09-23 Epstein Ruth A device to calibrate adsolute size in endoscopy
JP3438937B2 (ja) * 1994-03-25 2003-08-18 オリンパス光学工業株式会社 画像処理装置
US5513276A (en) * 1994-06-02 1996-04-30 The Board Of Regents Of The University Of Oklahoma Apparatus and method for three-dimensional perspective imaging of objects
US5933223A (en) * 1996-12-13 1999-08-03 Board Of Trustees Of The University Of Arkansas Optical device for measuring small dimensions in vivo
US6468265B1 (en) * 1998-11-20 2002-10-22 Intuitive Surgical, Inc. Performing cardiac surgery without cardioplegia
US6503195B1 (en) * 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
AU2001249647A1 (en) * 2000-03-30 2001-10-15 The Board Of Trustees Of The Leland Standford Junior University Apparatus and method for calibrating an endoscope
US7625335B2 (en) * 2000-08-25 2009-12-01 3Shape Aps Method and apparatus for three-dimensional optical scanning of interior surfaces
US6945930B2 (en) * 2001-08-31 2005-09-20 Olympus Corporation Environment adaptable measurement endoscope
US6868194B2 (en) * 2001-12-19 2005-03-15 General Electric Company Method for the extraction of image features caused by structure light using image reconstruction
US20030123707A1 (en) * 2001-12-31 2003-07-03 Park Seujeung P. Imaging-based distance measurement and three-dimensional profiling system
US7744528B2 (en) * 2003-02-26 2010-06-29 Infinite Biomedical Technologies, Llc Methods and devices for endoscopic imaging
DE10308383A1 (de) 2003-02-27 2004-09-16 Storz Endoskop Produktions Gmbh Verfahren und optisches System zur Vermessung der Topographie eines Meßobjekts
JP3738291B2 (ja) 2003-06-09 2006-01-25 住友大阪セメント株式会社 三次元形状測定装置
FR2868550B1 (fr) * 2004-04-02 2006-09-29 Tokendo Soc Par Actions Simpli Dispositif de metrologie par pointage laser pour sonde videoendoscopique
US8243123B1 (en) * 2005-02-02 2012-08-14 Geshwind David M Three-dimensional camera adjunct
EP1882895A4 (en) * 2005-05-12 2012-06-27 Techno Dream 21 Co Ltd MEASURING METHOD FOR THREE-DIMENSIONAL SHAPING AND EQUIPMENT THEREFOR
EP1934945A4 (en) 2005-10-11 2016-01-20 Apple Inc METHOD AND SYSTEM FOR RECONSTRUCTING AN OBJECT
US20070161854A1 (en) 2005-10-26 2007-07-12 Moshe Alamaro System and method for endoscopic measurement and mapping of internal organs, tumors and other objects
US8665257B2 (en) * 2006-01-11 2014-03-04 Maurice Moshe Ernst Three-dimensional modeling of the oral cavity
WO2008066911A2 (en) * 2006-11-30 2008-06-05 Newton Laboratories, Inc. Spectroscopically enhanced imaging
CN100430690C (zh) 2006-12-19 2008-11-05 南京航空航天大学 利用单数码相机自由拍摄进行物体三维测量的方法
US8305432B2 (en) 2007-01-10 2012-11-06 University Of Washington Scanning beam device calibration
DE102007054906B4 (de) * 2007-11-15 2011-07-28 Sirona Dental Systems GmbH, 64625 Verfahren zur optischen Vermessung der dreidimensionalen Geometrie von Objekten
JP2009240621A (ja) * 2008-03-31 2009-10-22 Hoya Corp 内視鏡装置
CN101264002A (zh) 2008-05-06 2008-09-17 中国科学院上海光学精密机械研究所 基于光栅投影的三维内窥测量装置和方法
US8334900B2 (en) * 2008-07-21 2012-12-18 The Hong Kong University Of Science And Technology Apparatus and method of optical imaging for medical diagnosis
TWI393072B (zh) * 2008-07-23 2013-04-11 Pixart Imaging Inc 廣角感測器陣列模組及其影像校正方法、運作方法與應用
US11022433B2 (en) * 2010-02-12 2021-06-01 Koninklijke Philips N.V. Laser enhanced reconstruction of 3D surface
US8649024B2 (en) * 2010-12-03 2014-02-11 Zygo Corporation Non-contact surface characterization using modulated illumination

Also Published As

Publication number Publication date
US11022433B2 (en) 2021-06-01
US20210285759A1 (en) 2021-09-16
JP2013519417A (ja) 2013-05-30
WO2011098927A1 (en) 2011-08-18
EP2533679B1 (en) 2017-01-11
EP2533679A1 (en) 2012-12-19
US20120310098A1 (en) 2012-12-06
CN102762142A (zh) 2012-10-31
CN102762142B (zh) 2016-01-27

Similar Documents

Publication Publication Date Title
JP6144914B2 (ja) レーザ改良された３ｄ表面再構成
JP2013519417A5 (ja)
US11793390B2 (en) Endoscopic imaging with augmented parallax
JP5836267B2 (ja) 電磁追跡内視鏡システムのためのマーカーなし追跡の位置合わせおよび較正のための方法およびシステム
JP7133474B2 (ja) 内視鏡画像及び超音波画像の画像ベースの融合
US10702346B2 (en) Image integration and robotic endoscope control in X-ray suite
US20110282151A1 (en) Image-based localization method and system
JP5283157B2 (ja) 手術支援情報表示装置、手術支援情報表示方法及び手術支援情報表示プログラム
Pratt et al. Intraoperative ultrasound guidance for transanal endoscopic microsurgery
Burgner et al. A study on the theoretical and practical accuracy of conoscopic holography‐based surface measurements: toward image registration in minimally invasive surgery
Ferguson et al. Toward image-guided partial nephrectomy with the da Vinci robot: exploring surface acquisition methods for intraoperative re-registration
JPWO2017006708A1 (ja) 医療装置、医療画像生成方法及び医療画像生成プログラム
JP2020512126A (ja) 力検出型表面走査システム、デバイス、制御装置、及び方法
Chadebecq et al. How big is this neoplasia? Live colonoscopic size measurement using the Infocus-Breakpoint
Geurten et al. Endoscopic laser surface scanner for minimally invasive abdominal surgeries
Docea et al. Simultaneous localisation and mapping for laparoscopic liver navigation: a comparative evaluation study
CN107485447B (zh) 一种面向膝盖软骨移植术的术中器具位姿导航装置及方法
US11793402B2 (en) System and method for generating a three-dimensional model of a surgical site
CN115187531A (zh) 一种三维模型的配准方法、医疗终端及装置
Koishi et al. A navigation system using projection images of laparoscopic instruments and a surgical target with improved image quality
US20230210627A1 (en) Three-dimensional instrument pose estimation
Hayashibe et al. Real-time 3D deformation imaging of abdominal organs in laparoscopy
Schwalbe et al. Design and Implementation of a Laparoscope Calibration Method for Augmented Reality Navigation
Keil et al. A real-time online video overlay navigation system for minimally invasive laparoscopic tumor resection
Mitsuhiro HAYASHIBE et al. Medicine Meets Virtual Reality 11 117 JD Westwood et al.(Eds.) IOS Press, 2003

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141002

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20141219

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20150402

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20151001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160129

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20160205

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20160506

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170512

R150 Certificate of patent or registration of utility model

Ref document number: 6144914

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees