JP5250766B2 - ロケーションを同定するための装置 - Google Patents

ロケーションを同定するための装置 Download PDF

Info

Publication number
JP5250766B2
JP5250766B2 JP2009280748A JP2009280748A JP5250766B2 JP 5250766 B2 JP5250766 B2 JP 5250766B2 JP 2009280748 A JP2009280748 A JP 2009280748A JP 2009280748 A JP2009280748 A JP 2009280748A JP 5250766 B2 JP5250766 B2 JP 5250766B2
Authority
JP
Japan
Prior art keywords
location
data
user
area
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2009280748A
Other languages
English (en)
Other versions
JP2010054520A (ja
Inventor
ハウガー クリストフ
ペルティンガー ヴェルナー
ライマー ぺーター
クラウゼ−ボンテ マルギット
テオ、ラッサー
Original Assignee
カール ツアイス メディテック アクチエンゲゼルシャフト
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by カール ツアイス メディテック アクチエンゲゼルシャフト filed Critical カール ツアイス メディテック アクチエンゲゼルシャフト
Publication of JP2010054520A publication Critical patent/JP2010054520A/ja
Application granted granted Critical
Publication of JP5250766B2 publication Critical patent/JP5250766B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/0012Surgical microscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20Surgical microscopes characterised by non-optical aspects
    • A61B90/25Supports therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681Aspects not otherwise provided for
    • A61B2017/00694Aspects not otherwise provided for with means correcting for movement of or for synchronisation with the body
    • A61B2017/00699Aspects not otherwise provided for with means correcting for movement of or for synchronisation with the body correcting for movement caused by respiration, e.g. by triggering
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/371Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20Surgical microscopes characterised by non-optical aspects

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Robotics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Microscoopes, Condenser (AREA)
  • Eye Examination Apparatus (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Description

本発明は、検査領域、特に、外科手術領域におけるロケーション(location)を同定するための装置に関する。特に、本発明はまた、同定されたロケーションに関するデータを得ること、及びそのようなデータをユーザのために表示することに関する。
米国特許第5,795,295号(特許文献1)は、顕微鏡を通して手術領域(検査領域)を観察する外科医が手術領域(検査領域)から更なるデータを得ることが可能であり、そのデータがモニタ上に表示される光学的コヒーレンス断層撮影(OCT)装置を有する外科用顕微鏡を開示している。さらに、X線撮像デバイス、X線コヒーレンス断層撮影(CT)デバイス又は核磁気共鳴(NMR)断層撮影デバイスを用いて検査領域から更なるデータを得ることは公知である。
米国特許第5,795,295号
本発明は、検査領域からデータを得るための広範囲でより正確に規定された可能性を与える装置を提供することを目的とする。
特に、本発明は、検査領域における2つのロケーションの間の距離をより精度良く決定するための装置を提供することを目的とする。
さらに、本発明は、検査領域からのデータの取得及び/又はユーザのためのデータの表示を容易にすることを目的とする。
本発明の第1の態様によれば、まず、検査領域内のロケーションが、基準座標系に対して、それぞれ同定され(identified)、ロケーションが同定された後、同定されたロケーションに基づいてさらに決定、検査又はタスクが実行される。問題は、検査領域が座標系に対して移動するため、あるいは検査領域を観察しているユーザの視野が基準座標系に対して移動するため、このような移動の後に、同定されたロケーションの座標を容易に決定することができないことである。
この点、本発明によれば、まず、検査領域内で同定されるロケーションの座標が、同定されるロケーションに割り当てられる一組の座標として得られる。この目的のため、ユーザは、まず、固定されるロケーションを同定しなければならない。すなわち、ユーザは、例えば、顕微鏡を通して検査領域を見て、同定されるロケーションが視野のグラティキュール(graticule)又は中央に位置するように、同定されるロケーションを検査領域に対して整列させ、対応する入力を行う。この入力には、視野の中心に位置する検査領域のロケーションの座標を座標のセットとして決定するための要求が含まれる。次に、位相幾何学的データの第1の記録は、検査領域の同定されたロケーションに近接した空間的に広がったエリアから得られる。或る期間が経過した後、このエリアの位相幾何学的データの第2の記録が得られる。この期間の間に検査領域が基準座標系に対して変位した場合には、2つの記録を比較することによって、基準座標系に対する同定されたロケーションの変位のマグニチュードを決定することができる。次に、座標セットの座標は、決定された変位に応じて変更され、座標セットの座標は、その変位後の検査領域における同定されたロケーションの座標に実質的に対応する。従って、検査領域において、同定されたロケーションを追跡することができ、同定されたロケーションの変位が生じた後には、変位後のロケーションを再び同定する必要はない。
この点、位相幾何学的データのさらなる記録を定期的に得て、得られた記録を比較することによって、基準座標系に対する同定されたロケーションの現在の変位を決定し、検査領域における同定されたロケーションの現在の座標を示すように座標セットの座標を変更することは有利である。
固定されるロケーションを同定するために、ユーザは、検査領域を直接(すなわち、裸眼で)見てもよく、又は撮像デバイスを用いて検査領域を見てもよい。前記撮像デバイスには、カメラ及び視覚表示ユニット又は顕微鏡又は眼鏡(特に、双眼ルーペ)が含まれる。
ロケーションを同定するために、ポインタは、同定されたロケーションにユーザによって接触させられ得るポインタ先端を含むように構成されるのが有利である。さらに、基準座標系に対するポインタ先端の位置を決定するための位置検出装置が設けられる。
ユーザが撮像デバイスを使用する場合、撮像デバイスがさらにマーキングを具備していると有利である。ユーザは、その視野において、マーキングを同定されるロケーションに一致させ、これによりロケーションを同定することができる。例えば、このマーキングは、グラティキュール(graticule)などのマーキングであり得る。マーキングは、撮像デバイスの視野に固定して配置される。または、マーキングは、撮像デバイスの視野において、ユーザにより変位され得る。
サイトライン検出デバイス又は視標追跡器(eye-tracker)を設けることも有利である。サイトライン検出デバイス又は視標追跡器は、ユーザの目の位置に基づいてユーザのサイトラインを検出するため、ユーザは、自分の目の位置(すなわち、サイトライン)によって、固定されるロケーションを簡単に同定することができる。
固定されるロケーションの同定に関して記載されたすべての実施の形態及び他の実施の形態においては、同定されたロケーションの座標は、ユーザによって出される対応した要求があり次第、座標セットに取り入れられる。ユーザは、音声コマンド又は目の動きによって電気的又は機械的なスイッチを作動させることにより、この要求を行うことができる。
固定されるロケーションが同定された後、ユーザは、注意を他のタスクに向け、同定されたロケーションは、変位されても追跡される。なぜなら、座標セットは、その座標が同定されたロケーションの座標に実質的に対応するように変更されるからである。この点で、座標セットをデータ記録装置に提供することも可能である。データ記録装置は、座標セットによって示されるロケーション(すなわち、実質的に同定されたロケーション)で測定を行い、検査領域と相互に関連し、ユーザの視野において有利に表示される少なくとも1つのマグニチュードを決定する。
さらに、上記のようにしてロケーションが同定された後、検査領域の1つ又はそれ以上のロケーションを同定し、所望に応じて、このさらなるロケーションを変位の場合の位相幾何学的データの記録によって(by means of recordings of topological data in the case of displacements)追跡することも可能である。有利な応用は、決定されたマグニチュードが、2つの同定されたロケーションの間の距離を実質的に示す値を取り入れることである。
さらに、前記少なくとも1つの決定されたマグニチュードが、2つの同定されたロケーションの間の接続ラインに沿って行われる複数の測定から得られるデータセットを含むことは有利である。このデータセットは、例えば、接続ラインに沿って取った検査領域の深さプロファイル(depth profile)又はコンピュータ断層撮影法などの3次元撮像法によって得られる断面を含み、ユーザの視野に表示されるのが有利である。
位相幾何学的データが、例えば、レーザ三角測量等によって得ることができる検査領域の複数の表面点の座標を含むことも有利である。CCDカメラなどのカメラによって位相幾何学的データの記録を得て、これらの記録を比較し、検査領域におけるロケーションの変位を決定することも可能である。
さらに、検査領域の表面下の点から得られる測定データを、位相幾何学的データとして用いることも有利である。このようなデータは、例えば、光学的コヒーレンス断層撮影(OCT)又はX線コンピュータ断層撮影(CT)又は核磁気共鳴(NMR)断層撮影等によって得ることができる。
他の態様によれば、本発明は、検査領域から得られるマグニチュードを表示するための装置を提供し、表示される前記マグニチュードは、検査領域のロケーションにおいて決定される。このようなロケーションは、このようなロケーションの周囲で、又はこのようなロケーションに依存して、ユーザによって予め同定される。この点で、ユーザは、自分の目で同定されるロケーションを決定することができ、ユーザの目の位置を決定するためのサイトライン検出装置が設けられる。同定されたロケーションに関連して決定されるマグニチュードは、サイトライン検出装置によって検出され、ユーザの視野に表示され、得られた測定値及び検査領域の表示は同時にユーザの視野内にある。一方、これによって、検査領域におけるロケーションのユーザによる特に簡単な同定が可能となり、他方、ユーザは、検査領域から、例えば、検査領域外に設けられたモニタ画面上の測定値の従来の表示に目を向けることなく、視野内の同定されたロケーションに関して測定されるマグニチュードを知覚することができる。
この目的のため、マグニチュードの表示は、ユーザが検査領域を見るために用いる顕微鏡又は双眼ルーペのビーム路に徐々に現れてくるのが有利である。
この点で、位置検出デバイスは、基準座標系に対して双眼ルーペ又は顕微鏡の位置を検出するために設けられることも有利である。このため、ユーザの目が向けられるロケーションの座標もまた、サイトライン検出デバイスによって決定され得る。
以上説明したように、本発明によれば、検査領域からデータを得るための広範囲でより正確に規定された可能性を与える装置を提供することができる。特に、検査領域における2つのロケーションの間の距離をより精度良く決定するための装置を提供することができる。さらに、検査領域からのデータの取得及び/又はユーザのためのデータの表示を容易にすることができる。
本発明の一実施の形態における、患者に対して顕微手術を行うための外科用システムを示す模式図 図1の外科用システムの顕微鏡を通して観察される視野の表示の一例を示す模式図 図1の外科用システムによって検査領域の点で得られる測定データ(深さプロファイル)の一例を示す図 図1の外科用システムの動作を示すフローチャート
以下、実施の形態を用いて本発明をさらに具体的に説明する。
図1は本発明の一実施の形態における、患者に対して顕微手術を行うための外科用システム1を示す模式図である。
図1に示すように、手術を受ける患者の体部3は、手術台5の上に支持されている。作業台5は、手術室の床7の上に固定されている。体部3の手術領域(検査領域)9は、外科用立体顕微鏡11を通して外科医によって観察される。顕微鏡11は、3つの空間方向(x方向、y方向、z方向)の手術室の基準座標系13においてピボットマウント17を用いてスタンド15上で変位可能となっている。基準座標系13における顕微鏡11の現在の位置は、位置検出デバイスを用いて決定され、コンピュータ19に提供される。位置検出デバイスは、発光ダイオードなどの光源23を有し、光源23は、顕微鏡11上に固定され、基準座標系13における光源23の位置は、3つの間隔を置いたカメラによって検出される。これらのカメラのうち、1つのカメラ21だけが図1に示されている。カメラは、順にスタンド15上に固定されている。
外科医は、自分の目25、26で顕微鏡11の接眼管27、28を覗く。ここで、2つの目25、26に割り当てられた立体ビーム路29、30は、2つの接眼管27、28及び共通の対物レンズ31を通って手術領域(検査領域)9まで延び、そこで焦点が合わされる。
立体ビーム路29、30のそれぞれには、ビーム路29、30からの瞳孔の画像を結合させ、その画像をそれぞれのCCDカメラ35に投影する半透鏡33が配置されている。カメラ35によって記録された画像は、コンピュータ19に提供され、コンピュータ19は、その画像を分析し、この分析に基づいて、外科医の2つの目25、26の位置、すなわち、サイトラインを決定する。
サイトライン検出を行う同様の顕微鏡は、欧州特許第0788613B1号に記載されている。本明細書においては、その開示の全体を参考のために援用する。
顕微鏡11はさらに、光学的コヒーレンス断層撮影(OCT)を行うための装置(OCT装置)37を有し、その測定ビーム39は、ミラー41を介して顕微鏡11のビーム路に結合され、対物レンズ31を通して手術領域(検査領域)9で焦点が合わされる。OCT装置を有する顕微鏡は、例えば、米国特許第5,795,295号より公知である。本明細書においては、同様に、その開示の全体を参考のために援用する。
OCT装置37により、測定ビーム39は、走査されて、顕微鏡11の視野における各点に方向付けられ、それぞれの点からOCT測定データが得られる。
図3に、このような測定データ54の一例を示す。図3において、測定ビーム39の反射強度Iは、顕微鏡11からの距離zに関連して示されている。z=265における急峻なエッジは、手術領域(検査領域)9における体部3の表面を示し、より低いz値に降下するエッジは、体部3の深さに対して減少する測定ビーム39の反射強度を示している。測定ビーム39の体部3の組織への浸透深さは、約2〜3mmである。
OCT装置37は、OCT装置37が測定データ54を得る手術領域(検査領域)9におけるロケーションが、外科医が観察しているロケーションと一致するように、コンピュータ19によって制御される。このロケーションにおいて得られる測定データ54は、OCT装置37によって再びコンピュータ19に転送される。
顕微鏡11はさらに、2つのLCDディスプレイ43を有し、その画像は、外科医の視野に現れるように、半透鏡45を通して立体ビーム路29、30にそれぞれ結合される。画像がどのようにして顕微鏡のビーム路に結合されるかについての例はまた、欧州特許第0788613B1号に開示されている。本明細書においては、この特許を参考のために援用する。
図2に、外科医によって知覚される顕微鏡11の視野47の表示の一例を示す。視野47の部分エリア49は、ディスプレイ43による影響を受けずに提供され、手術領域(検査領域)9を表示する。ディスプレイ43は、視野47の右側上部における部分エリア51において、OCT装置37から得られたOCT測定データ54の表示53を生成する。上記したように、これらのOCT測定データ54は、外科医の目が向けられている手術領域(検査領域)9のロケーションにおいて得られ、このロケーションは、マーキングクロス55によって部分エリア49内にマーキングされ、これにより明確にされている。このマーキングクロス55は、コンピュータ制御により(in computer-controlled manner)、ディスプレイ43によって外科医に見えるようになっている。
このように、外科用システム1は、手術領域(検査領域)9からOCT測定データ54を得るための非常に簡単な方法を提供する。ここで、OCT測定データ54が得られるロケーションは、外科医のサイトラインによって予め決定され、得られた測定データ54は、外科医の視野47に同時に表示される。
さらに、外科医によって同定された(identified)手術領域(検査領域)9の2つの異なるロケーションの間の距離D(mm)の数値表示(3、2)は、ディスプレイ43によって顕微鏡11の視野47の部分エリア57内に徐々に現れてくる(faded into)。距離Dが部分エリア57内に徐々に現れてくる2つのロケーションの一方は、外科医の目が現在向けられているマーキングクロス55によってマーキングされたロケーションであり、もう一方は、外科医によって予め決定され、視野47内の位置がさらなるマーキングクロス59によって表示され、ディスプレイ43によって視野47内に徐々に現れてくるロケーションである。さらに、2つのロケーションの間(マーキングクロス55とマーキングクロス59との間)の真っ直ぐな接続ライン61が、ディスプレイ43によって視野47内に徐々に現れてくる。
顕微鏡11の視野47におけるマーキングクロス59の位置の表示だけでなく、外科医によるマーキングクロス59によってマーキングされたロケーションの同定は、図4を参照しながら以下に述べる方法に従って行われた。
外科医は、外科医のサイトライン及びフィートスイッチ63(図1参照)の作動により、このロケーションを同定する。まず、図4のステップ65において、外科用システム1は、フィートスイッチ63を作動させることによって外科医により出される要求を待つ。この要求に応答して、外科用システム1は、ステップ67において、外科医の目が向けられている基準座標系13におけるロケーションの座標の座標セット(x、y、z)を決定する。この決定は、サイトライン検出デバイス(CCDカメラ35)によって決定される外科医のサイトライン、及びOCT装置37によって決定される、外科医の目が向けられているロケーションの顕微鏡11からの距離についてだけではなく、位置検出デバイス(カメラ21、光源23)によって検出される基準座標系13における顕微鏡11の位置についても行われる。
外科医によって同定されるロケーションの座標セット(x、y、z)を決定した後、コンピュータ19は、このロケーションをマーキングクロス59によって視野47内に表示し、同時に、ステップ71において、同定されたロケーションの周囲にある空間的に広がったエリアの位相幾何学的(topological)データを記録する(第1の記録)。位相幾何学的データの記録には、図2に詳細に示されているように、格子の形態で同定されたロケーションの周囲に配置されている16個の測定点69のOCT記録が含まれる。しかし、測定点69は、視野47に表示されることはない。その結果、手術領域(検査領域)9が、例えば、患者の呼吸運動によって変位しても、あるいは外科医が顕微鏡11を患者に対して変位させても、外科用システム1は、外科医によって同定されるロケーションの位相幾何学(topology)に関する知識を得て、このロケーションを追跡することができる。このような変位は、並進変位及び回転変位であり得る。
この目的のため、図4のフローチャートに示すように、外科用システム1は、外科医がフィートスイッチ63を作動させずさらなる要求を行わない場合には、ステップ73からループに入る(goes into a loop which is left, in a step 73)。このループ内では、まず、ステップ75において、第1の記録がステップ71においてなされたのと同様に、位相幾何学的データの第2の記録が同じ座標点(測定点69)において得られる。ステップ76において、外科用システム1は、位相幾何学的データの2つの記録を比較し、その比較の結果として、2つの記録の間(ステップ71とステップ75との間)に経過した一定時間内に発生した、基準座標系13に対する、手術領域(検査領域)9において外科医によって同定されるロケーションの変位(Δx、Δy、Δz)を決定する。この変位(Δx、Δy、Δz)に基づいて、変位が発生した後に外科医によって同定されるロケーションの座標を決定することができ、ステップ77において、座標セット(x、y、z)の座標はそれに応じて変更され、視野47内のマーキングクロス59の位置もそれに応じて更新される。
2つの点の間の距離の望ましい決定がなされるために、外科医は、まず、2つの点のうちの第1の点を同定し、次いで、わき目もふらずに第2の点の同定に集中することができる。なぜなら、外科用システム1は、手術領域(検査領域)9が変位したとしても、第1の同定されたロケーションの位置を自動的に追跡するからである。マーキングクロス55によって視野47内にマーキングされた第2のロケーションを同定している間、第1のロケーションからの距離は、視野47の表示エリア(部分エリア57)において絶えず更新され、第2のロケーションのOCT測定データ54も同様に絶えず表示エリア(部分エリア51)に徐々に現れてくる(faded-in into)。
第2のロケーションが外科医の満足のいくように同定されたならば、外科医は、フィートスイッチ63を再び作動させてさらなる要求を行う。その結果、ステップ73において上記のループから離れ、最終的には、2つの同定されたロケーション(マーキングクロス59とマーキングクロス55)に関する測定がステップ79において行われる。この測定には、2つのロケーションの間(マーキングクロス59とマーキングクロス55との間)の接続ライン61に沿ったOCT走査が含まれ、対応する測定データ54の画像表示が、視野47の表示エリア(部分エリア51)に徐々に現れてくる。
さらに、上記の方法にしたがって、すなわち、第2のロケーションの周囲からいくつかの位相幾何学的データを記録し、それらの比較を行うことによって、第1のロケーションと同時に第2のロケーションを追跡することも可能である。その結果、外科医は、例えば、2つのロケーションに関する測定が実行される前に、顕微鏡11のサイトラインを変更するか又は他のタスクを実行することができる。また、第2のロケーションが同定された後、さらに他のロケーションを同定し、同定された3つ以上のロケーションに関する測定を実行することもできる。
接続ライン61に沿ったOCT走査の代わりに又はそのOCT走査に加えて、ステップ79において2つの同定された点に関して行われる測定には、例えば、図1に示す断層撮影装置81を用いたX線コンピュータ断層撮影(CT)記録の実行のような、測定データ54の他の任意の取得も含まれ得る。この場合、コンピュータ19は、接続ライン61に沿った断層撮影データの断面表示を提供する。また、断層撮影装置81は、対応する核磁気共鳴(NMR)断層撮影記録を提供するための核磁気共鳴断層撮影デバイスでもあり得る。
上記した測定方法は、2つの点によって規定される接続ライン61に沿った断面の表示を提供し、断面の面方位(the orientation)は接続ライン61に対して垂直な方向に選択可能である。しかし、有利なことに、この方向は、顕微鏡11のサイトラインと一致する。上記したように、第2の同定された点(マーキングクロス59)及び接続ライン61を規定する両点(マーキングクロス59とマーキングクロス55)が、基準座標系の変位又は観察者の視野についても追跡されるならば、接続ライン61が決定された後に、顕微鏡11を移動させて、断面の面方位及びユーザの視野における表示を変更することが可能である。
上記したOCT装置37を用いた距離の決定は、移植片の寸法、特に、あぶみ骨プロステーゼの寸法を測定するための中耳の外科手術の分野において有利に用いられる。
格子状に配置された測定点69における位相幾何学的データの記録を得る代わりに、これらの測定点69はまた、例えば、同定されたロケーションの周囲の円形ラインに沿って配置されているような、同定されたロケーション(マーキングクロス59)の周囲の任意の他の構成においても得ることができる。
位相幾何学的データの記録は、OCT装置37を用いる方法以外の方法によっても達成され得る。例えば、位相幾何学的データは、断層撮影装置81を用いて得ることもでき、又は、手術領域(検査領域)9に方向付けられたカメラを用いて得ることもできる。このカメラはまた、顕微鏡11のビーム路に統合され得る(may be integrated in)。すなわち、このカメラは、OCT装置37のように、その測定ビームがミラー41を介して顕微鏡11のビーム路に結合される。
さらに、位相幾何学的データを得るために、間隔を置いて配置された2つのカメラを用いることも可能である。これらのカメラの写真は、写真測量法によって(photogrammetrically)、すなわち、異なる視角(viewing angle)で撮影された2つのカメラの写真を用いて評価される。
位相幾何学的データがカメラを用いて得られる場合、手術領域(検査領域)9の表面データがまず得られる。OCT装置37又は断層撮影装置81などの断層撮影記録装置が用いられる場合、前記装置によって提供される容量データ(volume data)も位相幾何学的データとして用いられるのが望ましい。
上記したように、外科医は、フィートスイッチ63を作動させることにより、手術領域(検査領域)9におけるロケーションを同定するための要求を出す。任意の他の入力デバイスを、フィートスイッチ63の代替物として用いることが可能である。この目的のために、特に、マイク及びコンピュータ19内のマイク信号の対応する評価プログラムを含む音声入力デバイスが設けられる。これにより、外科医は、話し言葉によって要求を出すこともできる。さらに、サイトライン検出装置は、カメラ35を通して、例えば、外科医の目の意図的な瞬きを検出し、その瞬きは、ロケーションを同定するための要求としてコンピュータ19によって解釈される。従って、ロケーションを同定するための要求は、視覚制御によって(in view-controlled manner)も行われ得る。
上記実施の形態においては、外科医のサイトラインを介して固定されるロケーションの同定について説明した。その代替又はその追加として、外科医の手に保持され、先端85と先端85の対向端に配置された2つの光源87とを有し、基準座標系13におけるこれら2つの光源87の位置がカメラ21によって検出される、ペンに類似したポインタ83によってロケーションを同定することも可能である。外科医は、手でポインタ83を案内し、その先端85を同定されるロケーションに近づけることができる。例えば、フィートスイッチ63を介して要求が出された後、コンピュータ19は、ポインタ83の先端85が指すロケーションの座標を決定する。
スタンド15に設けられ、基準座標系13に対して変位可能な顕微鏡11の代替物として、外科医は、双眼ルーペを担持し得る。双眼ルーペは、支持体によって外科医の頭に固定され、顕微鏡11と同様に、外科医のサイトラインを検出し、視覚表示ユニットを介して外科医の視野に表示が徐々に現れるようにする。基準座標系13における双眼ルーペの位置及び方位は、同様に、位置検出手段を用いて検出される。軽量化のために、位相幾何学的データを記録するための装置は、双眼ルーペから離して手術室内のスタンド15上に設けることができる。
さらに、外科医が手術領域(検査領域)9を実質的に直接見ることも考えられる。すなわち、外科医がその画像を観察している拡大撮像デバイスを通して手術領域(検査領域)9を見ないことも考えられる。外科医は、反映された(reflected)データ及び手術領域(検査領域)9が同時に直接自分の視野に入るように、データを自分の視野に反映させるための支持体を担持する。ロケーションの同定は、グラティキュール(graticule)などのマーキングが外科医の視野内にあり、外科医が、マーキングが同定される手術領域(検査領域)9のロケーションを指すように頭を移動させ、対応した要求を出すようにして行うことができる。これにより、特に簡単な方法でロケーションを同定することが可能となる。なぜなら、別個のサイトライン検出デバイスを必要としないからである。マーキングは、支持体に固定されるか、又は徐々に現れてくることによって提供され得る。
さらに、外科医が上記顕微鏡11又は他の任意の撮像デバイスを通して手術領域(検査領域)9を見る場合には、マーキングはまた、撮像デバイスに固定され得る。従って、外科医は、撮像デバイスを移動させることによってマーキングを同定されるロケーションと一致させ、対応する要求を出すことができる。
1 外科用システム
3 患者の体部
5 手術台
7 手術室の床
9 手術領域(検査領域)
11 外科用立体顕微鏡
13 基準座標系
15 スタンド
17 ピボットマウント
19 コンピュータ
21 カメラ
23 光源
25、26 目
27、28 接眼管
29、30 立体ビーム路
31 対物レンズ
33、45 半透鏡
35 CCDカメラ
37 OCT装置
39 測定ビーム
41 ミラー
43 LCDディスプレイ
63 フィートスイッチ
81 断層撮影装置
83 ポインタ
85 先端
87 光源

Claims (13)

  1. 基準座標系に対して、検査領域における少なくとも1つのロケーションを同定するための装置であって、
    前記基準座標系に対して、前記検査領域における少なくとも第1のロケーションを決定し、前記第1のロケーションの座標を、前記第1のロケーションに割り当てられた第1の座標セット(x、y、z)として提供するための標的化デバイスと、
    前記検査領域における前記第1のロケーションの周囲の空間的に広がった領域における位相幾何学的データの記録を得るための位相記録デバイスと、
    一定時間ごとに得られた、同定された前記第1のロケーションの周囲の空間的に広がった領域における位相幾何学的データの少なくとも2つの記録を比較し、前記基準座標系に対する前記検査領域の変位(Δx、Δy、Δz)を前記比較に基づいて決定し、前記決定された変位(Δx、Δy、Δz)に応じて前記第1の座標セット(x、y、z)の前記座標を、前記変位の後の前記検査領域における前記第1のロケーションの前記座標に実質的に対応するように一定時間ごとに更新するためのコンピュータとを備え、
    前記位相記録デバイスが光学的コヒーレンス断層撮影装置を有することを特徴とする装置。
  2. 前記標的化デバイスはサイトライン検出デバイスを有し、前記標的化デバイスは、ユーザの目が向けられる第2のロケーションの座標を提供するために設けられている請求項1に記載の装置。
  3. 前記標的化デバイスは、ユーザの視野にグラティキュールを徐々に表示するディスプレイを有し、前記標的化デバイスは、前記グラティキュールが指す前記検査領域の第2のロケーションの座標を提供するために設けられている請求項1に記載の装置。
  4. 前記標的化デバイスは、ユーザの手で操作可能な、前記検査領域の前記ロケーションと接触させるためのポインタ先端を有するポインタと、前記基準座標系に対する前記ポインタ先端の位置を検出するための位置検出デバイスとを具備する請求項1に記載の装置。
  5. 前記第1の座標セットに応じて決定される前記検査領域の少なくとも1つの点におけるデータを記録するためのデータ記録装置をさらに備えた請求項1〜4のいずれかに記載の装置。
  6. 前記標的化デバイスは、少なくとも1つのさらなるロケーションの座標を、少なくとも1つのさらなる座標セットとして提供するために設けられ、前記データ記録装置は、前記第1の座標セット及び前記少なくとも1つのさらなる座標セットに応じて決定される複数の点でデータを記録するために設けられている請求項5に記載の装置。
  7. 前記複数の点は、前記標的化デバイスによって決定される前記検査領域の2つのロケーションの間の実質的に真っ直ぐなラインに沿って配置されている請求項6に記載の装置。
  8. ユーザの視野において前記データ記録装置によって記録される前記データの表示と前記検査領域とを同時に見ることができるように、前記ユーザの視野に前記データを表示するためのディスプレイをさらに備えた請求項5〜7のいずれかに記載の装置。
  9. 前記ユーザが前記検査領域を観察するための顕微鏡をさらに備え、前記ディスプレイは、前記顕微鏡のビーム路に前記データを徐々に表示する請求項8に記載の装置。
  10. 前記ディスプレイが、前記ユーザの頭に固定される支持体を有し、前記基準座標系に対する前記ユーザの頭の位置を検出するための位置検出デバイスが設けられている請求項8に記載の装置。
  11. 前記検査領域が外科手術領域である請求項1〜10のいずれかに記載の装置。
  12. 移植片の寸法が決定される請求項1〜11のいずれかに記載の装置。
  13. 前記移植片があぶみ骨プロテーゼである請求項12に記載の装置。
JP2009280748A 2001-01-03 2009-12-10 ロケーションを同定するための装置 Expired - Lifetime JP5250766B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10100335.8A DE10100335B4 (de) 2001-01-03 2001-01-03 Vorrichtung zur Anzeige einer Größe im Blickfeld eines Benutzers und Verwendung der Vorrichtung
DE10100335.8 2001-01-03

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2002000124A Division JP4500913B2 (ja) 2001-01-03 2002-01-04 ロケーションを同定するための方法及び装置

Publications (2)

Publication Number Publication Date
JP2010054520A JP2010054520A (ja) 2010-03-11
JP5250766B2 true JP5250766B2 (ja) 2013-07-31

Family

ID=7669837

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2002000124A Expired - Lifetime JP4500913B2 (ja) 2001-01-03 2002-01-04 ロケーションを同定するための方法及び装置
JP2009280748A Expired - Lifetime JP5250766B2 (ja) 2001-01-03 2009-12-10 ロケーションを同定するための装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2002000124A Expired - Lifetime JP4500913B2 (ja) 2001-01-03 2002-01-04 ロケーションを同定するための方法及び装置

Country Status (4)

Country Link
US (1) US6741948B2 (ja)
EP (1) EP1225454B1 (ja)
JP (2) JP4500913B2 (ja)
DE (1) DE10100335B4 (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7559895B2 (en) * 2000-07-07 2009-07-14 University Of Pittsburgh-Of The Commonwealth System Of Higher Education Combining tomographic images in situ with direct vision using a holographic optical element
US8211020B2 (en) * 2000-10-11 2012-07-03 University of Pittsburgh—of the Commonwealth System of Higher Education Combining tomographic images in situ with direct vision in sterile environments
US8253779B2 (en) * 2000-10-11 2012-08-28 University of Pittsbugh—Of The Commonwealth System of Higher Education System for remote guidance by expert for imaging device
DE10252837B4 (de) 2002-11-13 2005-03-24 Carl Zeiss Untersuchungssystem und Untersuchungsverfahren
DE10335644B9 (de) * 2003-08-04 2006-06-01 Carl Zeiss Mikroskopiesystem
WO2006078802A1 (en) * 2005-01-21 2006-07-27 Massachusetts Institute Of Technology Methods and apparatus for optical coherence tomography scanning
DE102005051405B4 (de) * 2005-10-27 2007-08-23 Forschungszentrum Dresden - Rossendorf E.V. Messsensor
US8942483B2 (en) * 2009-09-14 2015-01-27 Trimble Navigation Limited Image-based georeferencing
US7452077B2 (en) * 2006-08-29 2008-11-18 Carl Zeiss Meditec, Inc. Image adjustment derived from optical imaging measurement data
US8036917B2 (en) * 2006-11-22 2011-10-11 General Electric Company Methods and systems for creation of hanging protocols using eye tracking and voice command and control
DE102008020771A1 (de) * 2008-04-21 2009-07-09 Carl Zeiss 3D Metrology Services Gmbh Bestimmung von Abweichungen zwischen einem Sollzustand und einem Istzustand eines Werkstückes
DE102008020772A1 (de) * 2008-04-21 2009-10-22 Carl Zeiss 3D Metrology Services Gmbh Darstellung von Ergebnissen einer Vermessung von Werkstücken
DE102008041284B4 (de) * 2008-05-07 2010-05-27 Carl Zeiss Surgical Gmbh Ophthalmo-Operationsmikroskopsystem mit OCT-Messeinrichtung
US9324003B2 (en) 2009-09-14 2016-04-26 Trimble Navigation Limited Location of image capture device and object features in a captured image
US8897541B2 (en) 2009-09-14 2014-11-25 Trimble Navigation Limited Accurate digitization of a georeferenced image
US9497581B2 (en) * 2009-12-16 2016-11-15 Trimble Navigation Limited Incident reporting
US20120101784A1 (en) 2010-10-25 2012-04-26 Trimble Navigation Limited Wide-area agricultural monitoring and prediction
US8768667B2 (en) 2010-10-25 2014-07-01 Trimble Navigation Limited Water erosion management incorporating topography, soil type, and weather statistics
US9213905B2 (en) 2010-10-25 2015-12-15 Trimble Navigation Limited Automatic obstacle location mapping
US10115158B2 (en) 2010-10-25 2018-10-30 Trimble Inc. Generating a crop recommendation
US9846848B2 (en) 2010-10-25 2017-12-19 Trimble Inc. Exchanging water allocation credits
US9058633B2 (en) 2010-10-25 2015-06-16 Trimble Navigation Limited Wide-area agricultural monitoring and prediction
US8671741B2 (en) 2011-06-29 2014-03-18 Trimble Navigation Limited Extendable moisture content sensing system
US9330477B2 (en) * 2011-09-22 2016-05-03 Digital Surgicals Pte. Ltd. Surgical stereo vision systems and methods for microsurgery
US9766441B2 (en) 2011-09-22 2017-09-19 Digital Surgicals Pte. Ltd. Surgical stereo vision systems and methods for microsurgery
US20130237969A1 (en) * 2012-03-08 2013-09-12 Kristian Hohla System and Method for Short Scan Interferometric Imaging
CN103892919B (zh) * 2014-03-27 2016-03-30 中国科学院光电技术研究所 基于光学相干层析引导的显微外科手术系统
US10827919B2 (en) 2017-05-02 2020-11-10 Alcon Inc. Reconfigurable optical coherence tomography (OCT) system
DE102018214787A1 (de) * 2018-08-30 2019-08-08 Carl Zeiss Meditec Ag Operationsmikroskop für mehrere Beobachter und Verfahren zum Betrieb des Operationsmikroskops
EP3872554A1 (en) * 2020-02-27 2021-09-01 Leica Instruments (Singapore) Pte. Ltd. Microscope system, method for a microscope system, and computer program
US11593972B2 (en) * 2020-04-29 2023-02-28 Medtronic Navigation, Inc. System and method for viewing a subject
US11628037B2 (en) 2020-04-29 2023-04-18 Medtronic Navigation, Inc. System and method for viewing a subject
CN112263331B (zh) * 2020-10-30 2022-04-05 上海初云开锐管理咨询有限公司 一种体内医疗器械视觉呈现系统及方法
CN114018158A (zh) * 2021-11-02 2022-02-08 中国大唐集团科技工程有限公司 一种非接触式三维热位移探测系统及其应用
DE102022101524A1 (de) * 2022-01-24 2023-07-27 Karl Storz Se & Co. Kg Verfahren und Messvorrichtung zur Korrektur einer Position eines Messpunktes

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4807987A (en) * 1986-10-27 1989-02-28 Bastable David E Deep cavity binocular loupe
US5273039A (en) * 1989-10-16 1993-12-28 Olympus Optical Co., Ltd. Surgical microscope apparatus having a function to display coordinates of observation point
US5662111A (en) * 1991-01-28 1997-09-02 Cosman; Eric R. Process of stereotactic optical navigation
DE4134481C2 (de) * 1991-10-18 1998-04-09 Zeiss Carl Fa Operationsmikroskop zur rechnergestützten, stereotaktischen Mikrochirurgie
DE4204601B4 (de) * 1992-02-15 2006-03-16 Carl Zeiss Vorrichtung zum Erfassen von Lageinformationen mit einer optischen Beobachtungseinheit und Verfahren zur Ermittlung von Lageinformationen
US5603318A (en) * 1992-04-21 1997-02-18 University Of Utah Research Foundation Apparatus and method for photogrammetric surgical localization
AT399647B (de) * 1992-07-31 1995-06-26 Truppe Michael Anordnung zur darstellung des inneren von körpern
EP0997109B1 (en) * 1993-04-26 2003-06-18 ST. Louis University Indicating the position of a surgical probe
US5694142A (en) * 1993-06-21 1997-12-02 General Electric Company Interactive digital arrow (d'arrow) three-dimensional (3D) pointing
EP0711421B1 (en) * 1994-03-24 2000-12-13 Koninklijke Philips Electronics N.V. Operating microscope
DE59510912D1 (de) * 1994-04-11 2004-07-15 Leica Mikroskopie Systeme Ag H Operationsmikroskopsystem mit Datenaufbereitungseinheit
DE4416229A1 (de) * 1994-05-07 1996-01-11 Zeiss Carl Fa Verfahren zum Betrieb eines Operationsmikroskopes
DE4417944A1 (de) * 1994-05-21 1995-11-23 Zeiss Carl Fa Verfahren zum Korrelieren verschiedener Koordinatensysteme in der rechnergestützten, stereotaktischen Chirurgie
EP0697611B9 (en) * 1994-08-18 2003-01-22 Carl Zeiss Optical coherence tomography assisted surgical apparatus
WO1996013743A1 (de) * 1994-10-26 1996-05-09 Leica Ag Mikroskop, insbesondere operationsmikroskop
US6483948B1 (en) * 1994-12-23 2002-11-19 Leica Ag Microscope, in particular a stereomicroscope, and a method of superimposing two images
US5699444A (en) * 1995-03-31 1997-12-16 Synthonics Incorporated Methods and apparatus for using image data to determine camera location and orientation
EP0871913B1 (de) * 1995-05-17 2002-08-07 Leica Mikroskopie Systeme AG Mikroskop
JP2001525074A (ja) * 1996-06-03 2001-12-04 ライカ ミクロスコピー ズュステーメ アーゲー 可動対象物の位置検出
US5795295A (en) * 1996-06-25 1998-08-18 Carl Zeiss, Inc. OCT-assisted surgical microscope with multi-coordinate manipulator
JPH1163927A (ja) * 1997-08-27 1999-03-05 Mitsubishi Heavy Ind Ltd 頭部位置・姿勢の計測装置および作業監視装置
DE19846687C2 (de) 1998-10-09 2001-07-26 Auer Dorothee Chirurgische Hilfsvorrichtung zur Verwendung beim Ausführen von medizinischen Eingriffen und Verfahren zum Erzeugen eines Bildes im Rahmen von medizinischen Eingriffen
US6144875A (en) * 1999-03-16 2000-11-07 Accuray Incorporated Apparatus and method for compensating for respiratory and patient motion during treatment
DE19930408A1 (de) 1999-07-02 2001-01-04 Zeiss Carl Fa OCT-gestütztes Chirurgiesystem

Also Published As

Publication number Publication date
US6741948B2 (en) 2004-05-25
US20020120424A1 (en) 2002-08-29
EP1225454A2 (de) 2002-07-24
EP1225454A3 (de) 2009-06-17
JP2002243414A (ja) 2002-08-28
JP2010054520A (ja) 2010-03-11
DE10100335A1 (de) 2002-08-01
DE10100335B4 (de) 2017-02-09
EP1225454B1 (de) 2011-10-19
JP4500913B2 (ja) 2010-07-14

Similar Documents

Publication Publication Date Title
JP5250766B2 (ja) ロケーションを同定するための装置
CN109394252B (zh) 用于操作医学成像设备的方法和医学成像设备
JP3269578B2 (ja) 計算器に支援された定位形顕微手術用の手術顕微鏡
US6763259B1 (en) Surgical system supported by optical coherence tomography
US6580448B1 (en) Process and device for the parallel capture of visual information
CN108289607B (zh) 眼科可视化中用于光学相干断层成像术的位置指示符
JP4472085B2 (ja) 手術用ナビゲーションシステム
CN110584783B (zh) 外科手术导航系统
JP7033552B2 (ja) 眼科の外科的処置用局部的光干渉断層撮影画像
JP2019511273A5 (ja)
JP2001526792A (ja) 顕微鏡、とくに立体顕微鏡および2つの画像の重畳方法
KR20170136413A (ko) 입체 뷰어를 위한 눈 시선 추적을 통합하는 의료 디바이스, 시스템, 및 방법
JP6525777B2 (ja) 眼科手術システム
US20210052329A1 (en) Monitoring of moving objects in an operation room
JPH0838506A (ja) コンピュータ支援定位手術において異なる座標系を相関させる方法
CN108697320B (zh) 信息处理装置
KR102097390B1 (ko) 시선 검출 기반의 스마트 안경 표시 장치
US11698535B2 (en) Systems and methods for superimposing virtual image on real-time image
US20200051280A1 (en) Method for calibrating objects in a reference coordinate system and method for tracking objects
JP2023503184A (ja) 対象領域ボリュームの3d再構成を確認するためのoctデバイスを備えるアセンブリ、コンピュータプログラム、及びそのためのコンピュータ実装方法
JPH1066678A (ja) 非接触視線測定装置
JP2001161638A (ja) 手術用顕微鏡
US20240206988A1 (en) Graphical user interface for a surgical navigation system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130205

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20130305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20130307

R150 Certificate of patent or registration of utility model

Ref document number: 5250766

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160426

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term