JP5105330B2 - Puncture planning support apparatus and program thereof, and insertion condition determination method - Google Patents
Puncture planning support apparatus and program thereof, and insertion condition determination method Download PDFInfo
- Publication number
- JP5105330B2 JP5105330B2 JP2008076876A JP2008076876A JP5105330B2 JP 5105330 B2 JP5105330 B2 JP 5105330B2 JP 2008076876 A JP2008076876 A JP 2008076876A JP 2008076876 A JP2008076876 A JP 2008076876A JP 5105330 B2 JP5105330 B2 JP 5105330B2
- Authority
- JP
- Japan
- Prior art keywords
- needle
- stress
- target
- puncture
- living tissue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Surgical Instruments (AREA)
Description
本発明は、穿刺プランニング支援装置及びそのプログラム、並びに刺入条件判定方法に係り、更に詳しくは、臓器等の生体組織に穿刺治療を行う前に、生体組織表面に対する針の刺入位置や刺入角度等の刺入条件の良否をシミュレーションにより判断することのできる穿刺プランニング支援装置及びそのプログラム、並びに刺入条件判定方法に関する。 The present invention relates to a puncture planning support apparatus, a program for the same, and a puncture condition determination method, and more particularly, before performing puncture treatment on a living tissue such as an organ or the like, the puncture position of the needle and the puncture The present invention relates to a puncture planning support apparatus that can determine whether or not a puncture condition such as an angle is acceptable by simulation, a program thereof, and a puncture condition determination method.
近時の医療において、患者への負担の少ない低侵襲治療が求められているが、その中でも、臓器等の患部に針を刺して治療する穿刺治療法が注目を集めている。この穿刺治療法としては、例えば、肝臓がん等の治療等に用いられるPEIT(経皮的エタノール注入法)やRFA(ラジオ波焼灼療法)がある。PEITは、がん細胞に針を刺し、当該針先からエタノールをがん細胞に注入することで、がん細胞を壊死させる療法であり、RFAは、がん細胞に針を刺し、当該針先からラジオ波による高熱をがん細胞に与えることで、がん細胞を壊死させる療法である。ここで、穿刺の対象となるがん細胞等のターゲットが生体組織の内部に存在する場合、生体組織の表面から針を刺して生体組織内部のターゲットに到達させなければならない。ところが、穿刺の対象となる肝臓等の臓器は軟組織により構成されるため、穿刺時における臓器への押圧力によって当該臓器が変形し、当該変形に伴ってターゲットの位置が移動してしまう。従って、針の先端をターゲットに正確に到達させるには、穿刺時の生体組織の変形を考慮した穿刺経路のプランニングをしなければならず、このプランニングは、相当の熟練度を要し、医師の経験と勘に頼るところが大きい。特に、最も柔らかい臓器の一つである肝臓は、熟練した医師であっても、穿刺経路のプランニングが難しいと言われている。 In recent medical treatment, a minimally invasive treatment with less burden on the patient is demanded. Among them, a puncture treatment method in which an affected part such as an organ is punctured and treated is attracting attention. Examples of this puncture treatment include PEIT (percutaneous ethanol injection) and RFA (radiofrequency ablation) used for the treatment of liver cancer and the like. PEIT is a therapy in which a cancer cell is necrotized by inserting a needle into the cancer cell and injecting ethanol into the cancer cell from the needle tip. RFA is a needle that penetrates the cancer cell and the needle tip. Is a therapy that causes cancer cells to become necrotic by giving high heat from radio waves to cancer cells. Here, when a target such as a cancer cell to be punctured exists inside the living tissue, the needle must be inserted from the surface of the living tissue to reach the target inside the living tissue. However, since an organ such as a liver to be punctured is composed of a soft tissue, the organ is deformed by a pressing force on the organ at the time of puncture, and the position of the target moves with the deformation. Therefore, in order to accurately reach the tip of the needle to the target, it is necessary to plan the puncture route in consideration of the deformation of the living tissue at the time of puncture, and this planning requires considerable skill, A lot depends on experience and intuition. In particular, it is said that the liver, which is one of the softest organs, is difficult to plan a puncture route even for a skilled doctor.
ところで、本出願人は、マスター・スレーブ方式等を採用する手術支援ロボットに適用される穿刺制御装置を既に提案している(特許文献1参照)。この穿刺制御装置は、穿刺される生体組織のターゲットに針が正確に到達するように、当該針を保持するマニピュレータの動作制御を行う装置である。具体的には、生体組織に針を刺した後で、当該生体組織内を移動する針の先端部分の状況を画像データにより判断し、生体組織内で針の先端に撓み等が発生した場合に、当該撓みを考慮して穿刺経路を補正するようにスレーブ側のマニピュレータの動作を制御する。
しかしながら、前記特許文献1の装置は、生体組織に針を刺した後に針の経路を補正するものであって、生体組織に針を刺す前に、生体組織に対する針の刺入位置や刺入角度等の刺入条件が適正か否かを判断するものではない。従って、前記特許文献1の制御装置が適用された手術支援ロボットを使用する場合であっても、医師の手で生体組織に直接穿刺する場合と同様に、最適な刺入条件を決めて穿刺経路をプランニングしなければならない。このプランニングは、生体組織に針を刺した後、当該針がターゲットに向かって直線的に移動することを前提に行われる。ここで、針が生体組織の表面に当てられてから生体組織が切断されるまでの間は、当該生体組織が押圧されることになり、生体組織が軟組織であると、前述したように生体組織の変形に伴ってターゲットの位置が大きく移動する。そして、生体組織が針で切断された後は、生体組織の変形状態の変化が少なく、針が生体組織内を移動する過程では、ターゲットの位置変化は小さい。 However, the device of Patent Document 1 corrects the path of the needle after the needle is inserted into the living tissue, and before the needle is inserted into the living tissue, the insertion position and the insertion angle of the needle with respect to the living tissue. It is not determined whether the insertion conditions such as are appropriate. Therefore, even when using the surgery support robot to which the control device of Patent Document 1 is applied, the puncture route is determined by determining the optimum puncture conditions in the same manner as when directly puncturing a living tissue with a doctor's hand. Must be planned. This planning is performed on the assumption that the needle moves linearly toward the target after the needle is inserted into the living tissue. Here, during the period from when the needle is applied to the surface of the living tissue until the living tissue is cut, the living tissue is pressed. If the living tissue is a soft tissue, the living tissue is as described above. The position of the target moves greatly with the deformation. And after a biological tissue is cut | disconnected with a needle | hook, there is little change of the deformation | transformation state of a biological tissue, and the position change of a target is small in the process in which a needle | hook moves within a biological tissue.
以上により、穿刺経路のプランニングを行う際には、針によって生体組織の表面が切断されるまでの当該生体組織の変形状態を考慮し、当該変形に伴うターゲット位置の変位状況を把握しなければならない。しかしながら、本発明者らの実験によれば、同一個体、同一条件で生体組織に対する穿刺を複数回実施した場合、切断時の針の先端位置が必ずしも同一でなく、常に同一の押圧力で生体組織が切断されないことが実証されており、このような状況は、組織のミクロな状態に起因するものと考えられる。つまり、同一個体に対して同一の穿刺条件で穿刺を行ったとしても、生体組織を切断するのに必要な押圧力が場合によって異なることから、針が生体組織内に進入する直前の生体組織の変形状態が常時一定にならず、この時のターゲットの位置は、必ずしも一定にならない。従って、針の刺入位置、刺入角度、刺入速度等の刺入条件の良否を正確に決定するには、生体組織が切断する直前の針の先端位置を想定される範囲内で変化させながら、それそれの先端位置についてターゲットへの穿刺が行えるか否かを判断し、それらを総合的に評価する必要がある。 As described above, when planning a puncture route, the state of deformation of the living tissue until the surface of the living tissue is cut by the needle must be considered, and the displacement of the target position accompanying the deformation must be grasped. . However, according to the experiments by the present inventors, when puncturing a living tissue multiple times under the same individual and under the same conditions, the tip position of the needle at the time of cutting is not necessarily the same, and the living tissue always with the same pressing force. It has been proved that is not cut, and this situation is considered to be caused by the microscopic state of the tissue. In other words, even if the same individual is punctured under the same puncture conditions, the pressing force required to cut the biological tissue varies depending on the case, so that the living tissue immediately before the needle enters the biological tissue The deformation state is not always constant, and the position of the target at this time is not necessarily constant. Therefore, in order to accurately determine the quality of the insertion conditions such as the needle insertion position, the insertion angle, and the insertion speed, the tip position of the needle immediately before the biological tissue is cut is changed within an assumed range. However, it is necessary to judge whether or not the target can be punctured for each tip position and to evaluate them comprehensively.
本発明は、以上のような課題に鑑みてして案出されたものであり、その目的は、生体組織の切断時において想定される穿刺状況を総合的に考慮して、予め指定した刺入条件の判定ができる穿刺プランニング支援装置及びそのプログラム、並びに刺入条件判定方法を提供することにある。 The present invention has been devised in view of the above-described problems, and its purpose is to comprehensively consider a puncture situation assumed at the time of cutting a living tissue, and to perform a predetermined insertion. An object of the present invention is to provide a puncture planning support apparatus capable of determining a condition, a program thereof, and a puncture condition determination method.
前記目的を達成するため、本発明は、生体組織の外側から内部のターゲットに向かって穿刺する際の針の刺入条件を入力すると、モデルを使った演算により前記刺入条件の判定をする穿刺プランニング支援装置であって、
前記生体組織表面が切断される直前における前記針の先端位置を複数仮定したときに、当該先端位置それぞれの場合について、前記先端位置の近傍における前記生体組織の応力を前記刺入条件から求める応力算出手段と、前記各先端位置のときの前記ターゲットの位置をそれぞれ求め、前記生体組織の外側から前記ターゲットに延びる針の移動線と前記ターゲットとの離間距離となる位置誤差を前記各先端位置それぞれの場合について求める誤差算出手段と、前記生体組織が切断するときの前記生体組織の応力のばらつきを表す確率密度関数を使い、前記各先端位置それぞれの場合について前記応力算出手段で求めた応力による切断確率を求め、当該切断確率から前記位置誤差の期待値を求める期待値算出手段と、前記期待値に基づいて前記刺入条件の判定をする判定手段とを備える、という構成を採っている。
In order to achieve the above object, the present invention provides a puncture for determining a puncture condition by calculation using a model when a puncture condition of a needle for puncturing from the outside of a living tissue toward an internal target is input. A planning support device,
When calculating a plurality of tip positions of the needle just before the surface of the living tissue is cut, for each of the tip positions, stress calculation for obtaining stress of the living tissue in the vicinity of the tip position from the insertion condition And a position of the target at each tip position, and a position error that is a distance between the movement line of the needle extending from the outside of the living tissue to the target and the target is determined for each tip position. An error calculation means obtained for the case and a probability density function representing a variation in stress of the biological tissue when the biological tissue cuts, and a cutting probability due to the stress obtained by the stress calculation means for each of the respective tip positions An expected value calculation means for obtaining an expected value of the position error from the cutting probability, and based on the expected value And a determination means for determining the entry conditions, adopts a configuration that.
また、予め取得した前記生体組織の画像データから前記生体組織のモデルを作成するモデル作成手段を更に備え、当該モデルを使って前記応力及び位置誤差を算出する、という構成を採ることが好ましい。 In addition, it is preferable to further include a model creation unit that creates a model of the biological tissue from image data of the biological tissue acquired in advance, and the stress and position error are calculated using the model.
更に、前記刺入条件を針の刺入位置及び刺入角度とすることができる。 Furthermore, the insertion conditions can be the needle insertion position and the insertion angle.
また、前記刺入条件を針の刺入位置、刺入角度及び刺入速度とすることもできる。 Further, the insertion conditions may be the needle insertion position, the insertion angle, and the insertion speed.
更に、前記判定手段では、前記期待値が所定の閾値以下となる場合に、前記刺入条件が適切であると判定することができる。 Furthermore, the determination means can determine that the insertion condition is appropriate when the expected value is equal to or less than a predetermined threshold value.
また、前記判定手段では、複数入力された前記刺入条件の前記各期待値の中で最小となる期待値が得られた刺入条件が最適であると判定することもできる。 Further, the determination means may determine that the insertion condition that provides the minimum expected value among the expected values of the plurality of input insertion conditions is optimal.
更に、本発明は、生体組織の外側から内部のターゲットに向かって穿刺する際の針の刺入条件を入力すると、モデルを使った演算により前記刺入条件の判定をするように穿刺プランニング支援装置のコンピュータを機能させるプログラムであって、
前記生体組織表面が切断される直前における前記針の先端位置を複数仮定したときに、当該先端位置それぞれの場合について、前記先端位置の近傍における前記生体組織の応力を前記刺入条件から求める応力算出手段と、前記各先端位置のときの前記ターゲットの位置をそれぞれ求め、前記生体組織の外側から前記ターゲットに延びる針の移動線と前記ターゲットとの離間距離となる位置誤差を前記各先端位置それぞれの場合について求める誤差算出手段と、前記生体組織が切断するときの前記生体組織の応力のばらつきを表す確率密度関数を使い、前記各先端位置それぞれの場合について前記応力算出手段で求めた応力による切断確率を求め、当該切断確率から前記位置誤差の期待値を求める期待値算出手段と、前記期待値に基づいて前記刺入条件の判定をする判定手段として、前記コンピュータを機能させる、という構成を採っている。
Furthermore, the present invention provides a puncture planning support apparatus that, when a needle insertion condition for puncturing from the outside of a living tissue toward an internal target is input, the insertion condition is determined by calculation using a model. A program that allows the computer to function,
When calculating a plurality of tip positions of the needle just before the surface of the living tissue is cut, for each of the tip positions, stress calculation for obtaining stress of the living tissue in the vicinity of the tip position from the insertion condition And a position of the target at each tip position, and a position error that is a distance between the movement line of the needle extending from the outside of the living tissue to the target and the target is determined for each tip position. An error calculation means obtained for the case and a probability density function representing a variation in stress of the biological tissue when the biological tissue cuts, and a cutting probability due to the stress obtained by the stress calculation means for each of the respective tip positions An expected value calculation means for obtaining an expected value of the position error from the cutting probability, and based on the expected value As the determination means for the determination of the input conditions, it adopts a configuration that causes the computer to function.
また、本発明は、生体組織の外側から内部のターゲットに向かって穿刺する際の針の刺入条件を入力すると、モデルを使った演算により前記刺入条件の判定をする刺入条件判定方法であって、
前記生体組織表面が切断される直前における前記針の先端位置を複数仮定したときに、当該先端位置それぞれの場合について、前記先端位置の近傍における前記生体組織の応力を前記刺入条件から求める応力算出ステップと、前記各先端位置のときの前記ターゲットの位置をそれぞれ求め、前記生体組織の外側から前記ターゲットに延びる針の移動線と前記ターゲットとの離間距離となる位置誤差を前記各先端位置それぞれの場合について求める誤差算出ステップと、前記生体組織が切断するときの前記生体組織の応力のばらつきを表す確率密度関数を使い、前記各先端位置それぞれの場合について前記応力算出ステップで求めた応力による切断確率を求め、当該切断確率から前記位置誤差の期待値を求める期待値算出ステップと、前記期待値に基づいて前記刺入条件の判定をする判定ステップとを順に行う、という手法を採っている。
Further, the present invention provides a puncture condition determination method for determining a puncture condition by calculation using a model when a puncture condition of a needle for puncturing from the outside of a living tissue toward an internal target is input. There,
When calculating a plurality of tip positions of the needle just before the surface of the living tissue is cut, for each of the tip positions, stress calculation for obtaining stress of the living tissue in the vicinity of the tip position from the insertion condition A position of the target at each tip position, and a position error that is a separation distance between the movement line of the needle extending from the outside of the living tissue to the target and the target. An error calculation step obtained for the case, and a probability density function representing a variation in stress of the biological tissue when the biological tissue is cut, and a cutting probability due to the stress obtained in the stress calculation step for each of the respective tip positions An expected value calculation step for obtaining an expected value of the position error from the cutting probability, and the expected value Sequentially performed and a determination step of determining the insertion condition based on adopts a technique called.
本発明によれば、生体組織表面が切断時する可能性のある針の先端位置それぞれに対する切断確率と、各先端位置におけるターゲットとの位置誤差とにより、予め入力された刺入条件について前記位置誤差の期待値が求められ、当該期待値により前記刺入条件の判定が確率論的になされることになる。従って、生体組織の切断時に想定されるターゲットの位置それぞれの場合での発生確率を考慮した刺入条件の総合判定ができ、当該刺入条件の正確な判定が可能になる。 According to the present invention, the position error for a previously entered insertion condition is determined based on the cutting probability for each tip position of the needle that may be cut on the surface of the living tissue and the position error with the target at each tip position. The expected value is determined, and the insertion condition is determined probabilistically based on the expected value. Therefore, comprehensive determination of the insertion conditions can be performed in consideration of the probability of occurrence at each target position assumed when the biological tissue is cut, and the insertion conditions can be accurately determined.
特に、モデル作成手段を備えることで、穿刺治療の対象となる患者のモデルに基づいて刺入条件を判定することができ、当該判定の精度を一層向上させることができる。 In particular, by providing the model creation means, it is possible to determine the insertion condition based on the model of the patient who is the target of the puncture treatment, and the accuracy of the determination can be further improved.
また、刺入条件に刺入速度を加えることで、生体組織の粘弾性特性をも考慮することができ、刺入条件に対する一層正確な判定が可能になる。 Further, by adding the insertion speed to the insertion conditions, the viscoelastic characteristics of the living tissue can be taken into consideration, and a more accurate determination with respect to the insertion conditions becomes possible.
以下、本発明の実施形態について図面を参照しながら説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図1には、本発明の実施形態に係る穿刺プランニング支援装置の機能ブロック図が示されている。この図において、前記穿刺プランニング支援装置10は、生体組織としての臓器に針を刺入する穿刺治療前に予め設定した刺入条件について、モデルを使って刺入状態をシミュレーションしながら、刺入条件の良否を判定する装置である。この穿刺プランニング支援装置10は、所定のコンピュータからなり、当該コンピュータを以下の手段として機能させるプログラムがインストールされている。なお、本実施形態では、刺入条件として、針を刺す臓器表面の位置である刺入位置と、針を臓器表面に当てるときにおける当該臓器表面に対する針の角度となる刺入角度が用いられる。 FIG. 1 shows a functional block diagram of a puncture planning support apparatus according to an embodiment of the present invention. In this figure, the puncture planning support apparatus 10 uses a model to simulate the puncture conditions set in advance before the puncture treatment for inserting a needle into an organ as a biological tissue. This is a device for judging whether the product is good or bad. This puncture planning support apparatus 10 is composed of a predetermined computer, and a program for causing the computer to function as the following means is installed. In the present embodiment, the insertion position that is the position of the organ surface where the needle is inserted and the insertion angle that is the angle of the needle with respect to the organ surface when the needle is applied to the organ surface are used as the insertion conditions.
前記穿刺プランニング支援装置10は、予め取得した臓器の画像データから当該臓器のモデルを作成するモデル作成手段11と、臓器表面が切断する直前の針の先端位置(以下、単に、「切断位置」と称する。)を複数仮定したときに、当該切断位置それぞれの場合について、そのときの針の刺入位置の近傍における臓器の応力を予め入力した刺入条件から求める応力算出手段12と、モデル上で予め設定された穿刺のターゲットの位置を各切断位置それぞれの場合について求め、臓器の外側からターゲット方向に延びる針の移動線と当該ターゲットとの離間距離である位置誤差を各切断位置それぞれの場合について求める誤差算出手段13と、応力算出手段12と誤差算出手段13で求めた値により、所定の確率密度関数を使って位置誤差の期待値を求める期待値算出手段14と、期待値に基づいて刺入条件の判定をする判定手段15とを備えている。
The puncture planning support apparatus 10 includes a model creating unit 11 that creates a model of the organ from image data of the organ acquired in advance, and a tip position of the needle just before the organ surface is cut (hereinafter simply referred to as “cutting position”). The stress calculation means 12 for obtaining the stress of the organ in the vicinity of the insertion position of the needle at that time from the previously entered insertion conditions for each of the cutting positions, A predetermined puncture target position is obtained for each cutting position, and a position error, which is a distance between the needle movement line extending from the outside of the organ in the target direction and the target, is determined for each cutting position. The position error is calculated using a predetermined probability density function based on the error calculation means 13 to be obtained and the values obtained by the stress calculation means 12 and the error calculation means 13. The expected
前記モデル作成手段11は、臓器の弾性率やポアソン比等の基礎データが臓器の構成組織(実質細胞、血管、神経等)毎に記憶された記憶部18と、磁気画像共鳴診断装置(MRI)、コンピュータ断層撮影装置(CTスキャン)、超音波画像診断装置等の撮像装置Cで撮像した画像データに基づき、臓器の全体形状及び各構成組織の位置を求める形状位置特定部19と、形状位置特定部19で求められた臓器の形状に基づいて臓器を複数の要素に分割する要素分割部20と、記憶部18で記憶された前記基礎データに基づいて外力と変位の関係を要素毎に求め、臓器に作用する外力ベクトルと当該臓器の変位ベクトルとの関係を表す剛体方程式を有限要素法で求める剛体方程式決定部21とを備えている。
The model creation means 11 includes a
前記応力算出手段12では、図2(A)に示されるように、針25の刺入条件すなわち予め入力された刺入位置P及び刺入角度θのときに、モデル作成手段11で作成された臓器のモデル26を使って、臓器の押圧部分Pとなる針25の刺入位置Pの近傍の応力が求められるようになっている。つまり、臓器が切断する直前の針の先端位置がケースによって変化することを前提とし、そのときの針の先端位置である前記切断位置を所定範囲で連続的に変化させ、各切断位置それぞれの場合について、モデル作成手段11の剛体方程式決定部21で求められた剛体方程式を使って、押圧部分Pでの針の押圧力及びその近傍の臓器の応力が算出される。詳細については後述する。
As shown in FIG. 2A, the stress calculating means 12 is created by the model creating means 11 when the
前記誤差算出手段13では、針が直線的に移動すると仮定し、応力算出手段12で変化させた切断位置それぞれの場合について、針の刺入方向に直線状に延びる針の移動線Kに対するターゲットTの基準点の最短距離となる位置誤差Lが算出される。つまり、位置誤差Lは、ターゲットTの基準点から移動線Kに直交する直線の長さとなる。ここで、ターゲットTががん細胞等のような領域で構成されている場合に、ターゲットTの基準点は、領域内の任意の点、例えば、重心や中心等に設定される。この位置誤差Lは、図2(A)、(B)に例示されるように、臓器が切断する直前の針の先端位置(切断位置)が異なると、ターゲットTの位置や形状も異なることになる。 The error calculation means 13 assumes that the needle moves linearly, and for each cutting position changed by the stress calculation means 12, the target T with respect to the needle movement line K extending linearly in the needle insertion direction. A position error L that is the shortest distance between the reference points is calculated. That is, the position error L is the length of a straight line perpendicular to the movement line K from the reference point of the target T. Here, when the target T is composed of a region such as a cancer cell, the reference point of the target T is set to an arbitrary point in the region, for example, the center of gravity or the center. As illustrated in FIGS. 2A and 2B, the position error L is such that the position and shape of the target T differ when the tip position (cutting position) of the needle immediately before the organ cuts is different. Become.
前記期待値算出手段14には、実験等によって定められた確率密度関数が予め記憶されている。この確率密度関数は、臓器が切断する際の応力のばらつき、すなわち、押圧部分Pの近傍における臓器の応力に対する押圧部分Pの切断確率分布を表している。この期待値算出手段14では、後述するように、確率密度関数による確率分布によって位置誤差Lの期待値が算出される。 The expected value calculation means 14 stores in advance a probability density function determined by experiments or the like. This probability density function represents the variation in stress when the organ cuts, that is, the cutting probability distribution of the pressing portion P with respect to the stress of the organ in the vicinity of the pressing portion P. As will be described later, the expected value calculation means 14 calculates an expected value of the position error L by a probability distribution using a probability density function.
前記判定手段15では、期待値算出手段14で算出した位置誤差Lの期待値が所定の閾値以下である場合に、針が臓器に進入する直前の針先端の変位量が状況によって変わることを考慮しても、ターゲットTに正確に穿刺できる確率が高いとして、入力した刺入条件が適切であると判定される。一方、位置誤差Lの期待値が前記閾値を超える場合は、ターゲットTに正確に穿刺できる確率が低いとして、入力した刺入条件が不適切であると判定される。 The determination means 15 takes into account that when the expected value of the position error L calculated by the expected value calculation means 14 is equal to or less than a predetermined threshold, the amount of displacement of the needle tip immediately before the needle enters the organ changes depending on the situation. Even so, it is determined that the input insertion conditions are appropriate, assuming that there is a high probability that the target T can be accurately punctured. On the other hand, when the expected value of the position error L exceeds the threshold value, it is determined that the input insertion condition is inappropriate because the probability that the target T can be accurately punctured is low.
次に、本実施形態の穿刺プランニング支援装置で行われる処理について、図3のフローチャートを用いながら以下に説明する。なお、以下においては、処理対象となる臓器を例示的に肝臓として説明するが、これに限定されるものではない。 Next, processing performed by the puncture planning support apparatus of the present embodiment will be described below using the flowchart of FIG. In the following description, the organ to be processed will be described as an example of the liver, but the present invention is not limited to this.
先ず、モデル作成手段11において、前記撮像装置Cで撮像した画像データに基づき、穿刺治療の対象となる患者の肝臓が以下の手順でモデル化される(モデル作成ステップ:S101)。 First, in the model creation means 11, based on the image data imaged by the imaging device C, the patient's liver to be puncture treated is modeled by the following procedure (model creation step: S101).
ここで、学術的に解明されている一般的なヒトの肝臓の弾性率及びポアソン比の基礎データが、肝細胞(肝実質細胞)、血管、神経等の肝臓の構成組織毎に記憶部18に記憶されている。
Here, basic data on the elastic modulus and Poisson's ratio of a general human liver that has been scientifically elucidated is stored in the
そして、患者の肝臓が撮像装置Cで撮像された後、形状位置特定部19において、撮像装置Cの画像データから肝臓の形状と当該肝臓の各構成組織の位置が次のように設定される。すなわち、前記画像データに基づいて、コンピュータを使った公知の画像処理により、肝臓の三次元形状若しくは所定断面の二次元形状が導出され、且つ、その中の構成組織(肝実質細胞、血管、神経等)の位置が特定される。なお、肝臓の形状及び/又は各構成組織の位置は、前述の自動処理でなく、前記画像データを視認した医師等による手入力で設定してもよい。また、がん細胞等のターゲットTの特定も同様に行われる。
After the patient's liver is imaged by the imaging device C, the shape
次に、要素分割部20において、有限要素法における要素Mの形状と当該各要素Mの節点(ノードN)の数とを指定し、デラウニー法等の公知の手法を使い、形状位置特定部19で求めた肝臓の形状から肝臓全体を複数領域に分割し、メッシュ(図2(A)参照)が生成される。なお、図2(A)においては、図面の錯綜を回避するため、肝臓モデル26の一部領域のみ要素Mを記載し、残りの領域における要素Mの記載は省略している。
Next, the
その後、剛体方程式決定部21では、以下のように有限要素法を使って剛体方程式が決定される。すなわち、先ず、形状位置特定部19で求められた肝臓の各構成組織の位置と、要素分割部20で決定された各要素Mとを対比することにより、各要素Mが肝臓のどの構成組織に該当するのかが特定される。そして、各要素Mそれぞれについて、記憶部18で構成組織毎に記憶された肝臓の弾性率及びポアソン比のうち該当する組織のものが選択され、公知の構造計算によって、各要素Mの周囲のノードNにかかる荷重と当該要素Mの変形情報との関係式が求められる。ここでの変形情報は、要素Mを構成するノードNの変位と、当該要素M内に作用する応力及びひずみを指す。そして、前記関係式から肝臓モデル全体の剛性方程式が求められる。ここで、剛性方程式は、各ノードNに作用する外力ベクトルF、全体の剛性マトリックスK、ノードNの変位ベクトルUとすると、次式(1)の関係で表せる。
また、作成された肝臓モデル26について、肝臓表面における針の刺入位置P(押圧部分P)に該当するノードN(以下、「刺入ノードN」と称する。)が特定され、肝臓内部に存在するがん細胞等のターゲットTの基準点に該当するノードN(以下、「ターゲットノードN」と称する。)が特定される。
Further, for the created
その後、刺入条件として、任意に設定した刺入位置P及び刺入角度θが装置内に入力される。 Thereafter, the insertion position P and insertion angle θ arbitrarily set are input into the apparatus as insertion conditions.
次に、応力算出手段12により、モデル作成手段11で作成された肝臓モデル26を使って以下のシミュレーションを行うことにより、予め入力した刺入条件による押圧部分Pの近傍の応力が、以下のように求められる(応力算出ステップ:S102)。
Next, the stress calculation means 12 performs the following simulation using the
ここでは、予め設定した刺入角度θで針が一定方向に一定速度で刺入ノードN(押圧部分P)を押圧し、当該刺入ノードNが強制変位すると仮定して演算が行われる。つまり、肝臓モデル26内に作用する外力は、刺入ノードNのみに一定方向しか作用しないと仮定される。そして、前記切断位置となる刺入ノードNの位置(変位量)を連続的に変化させ、各切断位置それぞれについて、刺入ノードNを含む一つの要素M(以下、「刺入要素M」と称する。)のスカラー応力である針近傍の応力σが求められる。なお、図2(A)においては、説明の便宜上、刺入要素Mの領域を網掛け表示している。
Here, the calculation is performed on the assumption that the needle presses the insertion node N (pressing portion P) at a predetermined speed at a predetermined insertion angle θ and the insertion node N is forcibly displaced. That is, it is assumed that the external force acting in the
具体的に、刺入ノードNの位置が既知で、未知の外力ベクトルF(押圧力)が刺入ノードNのみに作用するという条件から、上式(1)により、ターゲットノードNを含む肝臓モデル26内の各ノードNの変位ベクトルUと外力ベクトルFが求められる。そして、このように各ノードNの位置が求まると、記憶部18で記憶された該当する構成組織の弾性率及びポアソン比を使った構造計算によって、刺入要素Mにおける応力のスカラー値となるミーゼス応力σが求められる。なお、ここで求める応力σとしては、スカラー値として求めることができる限り、他の手法で求めてもよい。そして、刺入ノードNの変位量を変えながら、各切断位置それぞれについて、刺入要素Mの応力σが求められる。また、ここでの針近傍の応力σとしては、刺入ノードNの周囲の複数の要素Mを対象とし、これら各要素Mで求められたスカラー応力σを1つの要素M単位に平均化したものでもよい。
Specifically, from the condition that the position of the insertion node N is known and an unknown external force vector F (pressing force) acts only on the insertion node N, the liver model including the target node N is obtained by the above equation (1). A displacement vector U and an external force vector F of each node N in the
次に、誤差算出手段13により、応力算出手段12で変化させた各外力ベクトルFそれぞれの場合について、ターゲットTに対する針の先端位置の位置誤差Lが演算される(誤差算出ステップ:S103)。つまり、先ず、前記切断位置をある値としたときに、上式(1)の剛体方程式を解くことで、ターゲットノードNの位置が演算される。そして、このときのターゲットノードNの位置と、予め設定した刺入方向に沿って針の先端が直線的に移動するとして設定された移動線Kとの最短距離が演算される。当該最短距離は、このときの刺入ノードNの変位量d(図2(B)参照)に対応して定まる位置誤差L(d)となる。そして、この位置誤差Lが、応力算出手段12で想定した各切断位置それぞれの場合について求められる。 Next, the error calculation means 13 calculates the position error L of the needle tip position with respect to the target T for each external force vector F changed by the stress calculation means 12 (error calculation step: S103). That is, first, when the cutting position is set to a certain value, the position of the target node N is calculated by solving the rigid body equation of the above equation (1). Then, the shortest distance between the position of the target node N at this time and the movement line K set so that the tip of the needle moves linearly along a preset insertion direction is calculated. The shortest distance is a position error L (d) determined in accordance with the displacement amount d (see FIG. 2B) of the insertion node N at this time. This position error L is obtained for each cutting position assumed by the stress calculation means 12.
その後、期待値算出手段14により、次式(2)及び(3)を使って位置誤差Lの期待値IPが求められる(期待値算出ステップ:S104)。 Thereafter, the expected value calculation means 14 calculates the expected value IP of the position error L using the following equations (2) and (3) (expected value calculation step: S104).
先ず、ガンマ分布を用いた次式(2)の確率密度関数に、応力算出手段12で各切断位置それぞれについて求めた刺入要素Mのスカラー応力σを代入し、各切断位置それぞれの場合について肝臓表面の切断確率f(σ)が求められる。
なお、本実施形態では、確率密度関数としてガンマ分布を用いているが、正規分布等他の分布関数を用いることもできる。 In this embodiment, the gamma distribution is used as the probability density function, but other distribution functions such as a normal distribution may be used.
そして、次式(3)により、位置誤差Lの期待値IPが求められる。つまり、ここでは、針先端の変位量dがある値のときの刺入要素Mの応力値σに対する切断確率f(σ)に、誤差算出手段13で求めたそのときの位置誤差L(d)を乗じ、この値を各変位量dそれぞれについて求め、総合計することで期待値IPが求められる。
最後に、判定手段15により、上式(3)で算出した位置誤差Lの期待値IPが予め設定した閾値以下か否かによって、予め入力した穿刺条件の良否が判定される(判定ステップ:S105)。つまり、ここでは、位置誤差Lが、前記閾値以下であれば、肝臓に進入する直前の針の先端位置が変わっても、ある領域を持ったターゲットTのどこかに穿刺できる可能性が高いとして、入力した穿刺位置P及び穿刺角度θが適切であると判定される。一方、期待値IPが閾値を超える場合は、入力した穿刺位置P及び穿刺角度θが不適切であると判定され、適切な刺入条件が見つかるまで、他の刺入条件について前述と同様の演算が行われる。なお、ここでの閾値は、ターゲットTの大きさを考慮して設定するとよい。
Finally, the
従って、このような実施形態によれば、臓器表面を切断する直前の針の先端位置が状況によって変わっても、ターゲットTに穿刺できる確率が高いか否かの観点により、穿刺治療前に設定した穿刺位置P及び穿刺角度θの良否を判定することができる。その結果、医師の手で直接穿刺治療を行う場合や、マスタースレーブ式の手術ロボットを使って穿刺治療を行う場合に、針が臓器内に進入する際の臓器の変形状況が変わってターゲットTの位置が多少ずれても、当該ターゲットTに針を刺せる可能性が高くなる穿刺経路を事前にシミュレーションできるという効果を得る。 Therefore, according to such an embodiment, even if the tip position of the needle immediately before cutting the organ surface changes depending on the situation, it is set before the puncture treatment from the viewpoint of whether or not the target T can be punctured. The quality of puncture position P and puncture angle θ can be determined. As a result, when a puncture treatment is performed directly by a doctor or when a puncture treatment is performed using a master-slave type surgical robot, the deformation state of the organ when the needle enters the organ changes and the target T Even if the position is slightly deviated, it is possible to simulate in advance a puncture route in which there is a high possibility that a needle can be inserted into the target T.
なお、前記実施形態の変形例として、刺入位置P及び刺入角度θの他に刺入速度を刺入条件として予め入力し、当該刺入条件の良否を判定可能とする構成を採用することもできる。この場合は、モデル作成手段11で、臓器の弾性率やポアソン比の他に粘弾性係数が基礎データとして臓器の構成組織毎に記憶され、刺入速度も考慮したモデル26が作成される。このときの方程式は、粘弾性モデルを使った次式となる。
そして、この変形例においては、上式(1)に代えて上式(4)を使うことにより、前述したように応力σと位置誤差Lが求められ、前述と同様に期待値IPが求められて、予め入力した刺入位置P、刺入角度θ及び刺入速度の良否が判定される。
As a modification of the above embodiment, a configuration is adopted in which, in addition to the insertion position P and the insertion angle θ, the insertion speed is input in advance as the insertion condition, and the quality of the insertion condition can be determined. You can also. In this case, the model creating means 11 stores a viscoelastic coefficient as basic data for each constituent tissue of the organ in addition to the elastic modulus and Poisson's ratio of the organ, and creates a
In this modification, by using the above equation (4) instead of the above equation (1), the stress σ and the position error L are obtained as described above, and the expected value IP is obtained similarly to the above. Thus, it is determined whether or not the insertion position P, the insertion angle θ, and the insertion speed that have been input in advance are acceptable.
また、前記実施形態及び変形例について、相互に相違する複数の刺入条件を一度に入力し、若しくは、複数の刺入条件を装置内で自動的に生成し、前記判定手段15で、最小の期待値IPが得られた刺入条件を最適条件として呈示するようにしてもよい。 Further, for the embodiment and the modification, a plurality of different insertion conditions are input at a time, or a plurality of insertion conditions are automatically generated in the apparatus, and the determination means 15 The insertion condition for which the expected value IP is obtained may be presented as the optimum condition.
更に、撮像装置Cによる撮像データを使って臓器モデル26を作成せずに、所定の臓器モデル26を予め装置内に記憶させることで、前記モデル作成手段11の省略も可能である。
Further, the model creation means 11 can be omitted by storing the
その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。 In addition, the configuration of each part of the apparatus in the present invention is not limited to the illustrated configuration example, and various modifications are possible as long as substantially the same operation is achieved.
10 穿刺プランニング支援装置
11 モデル作成手段
12 応力算出手段
13 誤差算出手段
14 期待値算出手段
15 判定手段
26 モデル
K 移動線
L 位置誤差
P 刺入位置(押圧部分)
T ターゲット
θ 刺入角度
DESCRIPTION OF SYMBOLS 10 Puncture planning support apparatus 11 Model preparation means 12 Stress calculation means 13 Error calculation means 14 Expected value calculation means 15 Determination means 26 Model K Movement line L Position error P Insertion position (pressed portion)
T target θ Insertion angle
Claims (8)
前記生体組織表面が切断される直前における前記針の先端位置を複数仮定したときに、当該先端位置それぞれの場合について、前記先端位置の近傍における前記生体組織の応力を前記刺入条件から求める応力算出手段と、前記各先端位置のときの前記ターゲットの位置をそれぞれ求め、前記生体組織の外側から前記ターゲットに延びる針の移動線と前記ターゲットとの離間距離となる位置誤差を前記各先端位置それぞれの場合について求める誤差算出手段と、前記生体組織が切断するときの前記生体組織の応力のばらつきを表す確率密度関数を使い、前記各先端位置それぞれの場合について前記応力算出手段で求めた応力による切断確率を求め、当該切断確率から前記位置誤差の期待値を求める期待値算出手段と、前記期待値に基づいて前記刺入条件の判定をする判定手段とを備えたことを特徴とする穿刺プランニング支援装置。 A puncture planning support apparatus for determining the puncture condition by calculation using a model when inputting the puncture condition of a needle when puncturing toward the internal target from the outside of the living tissue,
When calculating a plurality of tip positions of the needle just before the surface of the living tissue is cut, for each of the tip positions, stress calculation for obtaining stress of the living tissue in the vicinity of the tip position from the insertion condition And a position of the target at each tip position, and a position error that is a distance between the movement line of the needle extending from the outside of the living tissue to the target and the target is determined for each tip position. An error calculation means obtained for the case and a probability density function representing a variation in stress of the biological tissue when the biological tissue cuts, and a cutting probability due to the stress obtained by the stress calculation means for each of the respective tip positions An expected value calculation means for obtaining an expected value of the position error from the cutting probability, and based on the expected value Lancing planning support apparatus characterized by comprising a determining means for determining the entry conditions.
前記生体組織表面が切断される直前における前記針の先端位置を複数仮定したときに、当該先端位置それぞれの場合について、前記先端位置の近傍における前記生体組織の応力を前記刺入条件から求める応力算出手段と、前記各先端位置のときの前記ターゲットの位置をそれぞれ求め、前記生体組織の外側から前記ターゲットに延びる針の移動線と前記ターゲットとの離間距離となる位置誤差を前記各先端位置それぞれの場合について求める誤差算出手段と、前記生体組織が切断するときの前記生体組織の応力のばらつきを表す確率密度関数を使い、前記各先端位置それぞれの場合について前記応力算出手段で求めた応力による切断確率を求め、当該切断確率から前記位置誤差の期待値を求める期待値算出手段と、前記期待値に基づいて前記刺入条件の判定をする判定手段として、前記コンピュータを機能させることを特徴とする穿刺プランニング支援装置用プログラム。 A program that causes the computer of the puncture planning support apparatus to function so as to determine the puncture condition by calculation using a model when inputting the puncture condition of the needle when puncturing from the outside of the living tissue toward the internal target Because
When calculating a plurality of tip positions of the needle just before the surface of the living tissue is cut, for each of the tip positions, stress calculation for obtaining stress of the living tissue in the vicinity of the tip position from the insertion condition And a position of the target at each tip position, and a position error that is a distance between the movement line of the needle extending from the outside of the living tissue to the target and the target is determined for each tip position. An error calculation means obtained for the case and a probability density function representing a variation in stress of the biological tissue when the biological tissue cuts, and a cutting probability due to the stress obtained by the stress calculation means for each of the respective tip positions An expected value calculation means for obtaining an expected value of the position error from the cutting probability, and based on the expected value As the determination means for the determination of the input conditions, the puncture planning support apparatus for a program for causing the computer to function.
前記生体組織表面が切断される直前における前記針の先端位置を複数仮定したときに、当該先端位置それぞれの場合について、前記先端位置の近傍における前記生体組織の応力を前記刺入条件から求める応力算出ステップと、前記各先端位置のときの前記ターゲットの位置をそれぞれ求め、前記生体組織の外側から前記ターゲットに延びる針の移動線と前記ターゲットとの離間距離となる位置誤差を前記各先端位置それぞれの場合について求める誤差算出ステップと、前記生体組織が切断するときの前記生体組織の応力のばらつきを表す確率密度関数を使い、前記各先端位置それぞれの場合について前記応力算出ステップで求めた応力による切断確率を求め、当該切断確率から前記位置誤差の期待値を求める期待値算出ステップと、前記期待値に基づいて前記刺入条件の判定をする判定ステップとを順に行うことを特徴とする刺入条件判定方法。 When a needle insertion condition for puncturing from the outside of a living tissue toward an internal target is input, the insertion condition determination method for determining the insertion condition by calculation using a model,
When calculating a plurality of tip positions of the needle just before the surface of the living tissue is cut, for each of the tip positions, stress calculation for obtaining stress of the living tissue in the vicinity of the tip position from the insertion condition A position of the target at each tip position, and a position error that is a separation distance between the movement line of the needle extending from the outside of the living tissue to the target and the target. An error calculation step obtained for the case, and a probability density function representing a variation in stress of the biological tissue when the biological tissue is cut, and a cutting probability due to the stress obtained in the stress calculation step for each of the respective tip positions An expected value calculation step for obtaining an expected value of the position error from the cutting probability, and the expected value Insertion condition determination method characterized by performing the determination step of the determination of the insertion condition in order on the basis of.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008076876A JP5105330B2 (en) | 2008-03-24 | 2008-03-24 | Puncture planning support apparatus and program thereof, and insertion condition determination method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008076876A JP5105330B2 (en) | 2008-03-24 | 2008-03-24 | Puncture planning support apparatus and program thereof, and insertion condition determination method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009226087A JP2009226087A (en) | 2009-10-08 |
JP5105330B2 true JP5105330B2 (en) | 2012-12-26 |
Family
ID=41242194
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008076876A Expired - Fee Related JP5105330B2 (en) | 2008-03-24 | 2008-03-24 | Puncture planning support apparatus and program thereof, and insertion condition determination method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5105330B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5392770B2 (en) * | 2009-12-16 | 2014-01-22 | 独立行政法人産業技術総合研究所 | Needle-like surgical instrument insertion support device |
FR2959409B1 (en) * | 2010-05-03 | 2012-06-29 | Gen Electric | METHOD FOR DETERMINING A TOOL INSERTION PATH IN A DEFORMABLE TISSUE MATRIX AND ROBOTIC SYSTEM USING THE METHOD |
JP6521707B2 (en) * | 2014-07-10 | 2019-05-29 | キヤノン株式会社 | Puncture planning device and puncture system |
CN106821497B (en) * | 2017-03-16 | 2023-10-31 | 上海市肺科医院 | Accurate positioning and treatment method and auxiliary device for target site |
CN109199587A (en) * | 2018-10-16 | 2019-01-15 | 强联智创(北京)科技有限公司 | Travelling route analogy method, device and the equipment of a kind of conduit in the blood vessels |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3608448B2 (en) * | 1999-08-31 | 2005-01-12 | 株式会社日立製作所 | Treatment device |
JP2002085419A (en) * | 2000-09-18 | 2002-03-26 | Hitachi Medical Corp | Puncture needle insertion control system using medical image diagnosing device |
JP4385118B2 (en) * | 2002-08-07 | 2009-12-16 | 独立行政法人産業技術総合研究所 | Needle-piercing device and method for detecting the operating state of the needle of the needle-piercing device |
JP4390146B2 (en) * | 2005-03-28 | 2009-12-24 | 学校法人早稲田大学 | Puncture control device, puncture robot, and puncture control program |
EP2029035B1 (en) * | 2006-06-05 | 2014-06-25 | Technion Research & Development Foundation LTD. | Controlled steering of a flexible needle |
-
2008
- 2008-03-24 JP JP2008076876A patent/JP5105330B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009226087A (en) | 2009-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4390146B2 (en) | Puncture control device, puncture robot, and puncture control program | |
EP3549103B1 (en) | System and method for navigation to a target anatomical object in medical imaging-based procedures | |
JP7515495B2 (en) | Collecting training data for machine learning models | |
CN110537960A (en) | Puncture path determination method, storage device and robot-assisted surgery system | |
JP6521707B2 (en) | Puncture planning device and puncture system | |
US20180286287A1 (en) | System and methods for training physicians to perform ablation procedures | |
JP5821068B2 (en) | Method for determining the insertion trajectory of an instrument on a deformable tissue matrix, and robot system for performing the method | |
JP7046591B2 (en) | Interactive anatomical mapping and quality estimation of anatomical mapping | |
EP2182877B1 (en) | Cardiac tissue elasticity sensing | |
JP5105330B2 (en) | Puncture planning support apparatus and program thereof, and insertion condition determination method | |
US10245110B2 (en) | Dynamic planning method for needle insertion | |
JP4636618B2 (en) | Simulation device, surgical robot control system using the same, and program for simulation device | |
JP5288447B2 (en) | Surgery support system, approach state detection device and program thereof | |
JP7106270B2 (en) | PUNCTURE ROUTE SETTING DEVICE, PUNCTURE CONTROL VALUE SETTING DEVICE, AND PUNCTURE SYSTEM | |
CN110547867A (en) | control method, device, equipment, storage medium and system of mechanical arm | |
US20220395334A1 (en) | Systems and methods for guiding surgical procedures | |
JP5157024B2 (en) | Puncture ablation planning support device and program thereof | |
JP6881945B2 (en) | Volume measurement map update | |
CN110974416B (en) | Puncture parameter determination method, device, system, computer equipment and storage medium | |
CN110310364B (en) | Heart 3D printing system and printing method thereof | |
JP5392770B2 (en) | Needle-like surgical instrument insertion support device | |
US9668818B2 (en) | Method and system to select an instrument for lead stabilization | |
CN116887778A (en) | System for integrating intraoperative image data with minimally invasive medical techniques | |
Kobayashi et al. | Developing a planning method for straight needle insertion using probability-based condition where a puncture occurs | |
KR101911396B1 (en) | Method for determining tortuosity of blood vessel |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120921 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120924 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5105330 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151012 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |