JP4688361B2 - Organ specific area extraction display device and display method thereof - Google Patents

Organ specific area extraction display device and display method thereof Download PDF

Info

Publication number
JP4688361B2
JP4688361B2 JP2001221833A JP2001221833A JP4688361B2 JP 4688361 B2 JP4688361 B2 JP 4688361B2 JP 2001221833 A JP2001221833 A JP 2001221833A JP 2001221833 A JP2001221833 A JP 2001221833A JP 4688361 B2 JP4688361 B2 JP 4688361B2
Authority
JP
Japan
Prior art keywords
region
image
area
extracting
organ
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2001221833A
Other languages
Japanese (ja)
Other versions
JP2003033349A (en
Inventor
朋洋 永尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Healthcare Manufacturing Ltd
Original Assignee
Hitachi Medical Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Medical Corp filed Critical Hitachi Medical Corp
Priority to JP2001221833A priority Critical patent/JP4688361B2/en
Publication of JP2003033349A publication Critical patent/JP2003033349A/en
Application granted granted Critical
Publication of JP4688361B2 publication Critical patent/JP4688361B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Description

【0001】
【発明が属する技術分野】
本発明は、生体内の臓器の特定領域抽出表示方法及び装置に関するもので、特に、医師が臨床において肝臓のような臓器の診断や治療を行う際に医師を支援するためのシミュレーション方法及び装置に関するものである。
【0002】
【従来の技術】
近年、X線撮影装置やX線CT装置やMRI装置などの医用画像診断装置で得られる画像を診断のみならず治療に用いることが盛んに行われるようになっている。治療には被検体にカテーテルを挿入して患部を切除するカテーテル術と、従来どおり切開手術により患部を切除する外科手術とがある。このうち、外科手術では、手術前に前記医用画像診断装置により患部の画像を得て、その切除する部分を決めておくことが通常行われる。
【0003】
上記切除する部分を決めるための表示画像は三次元画像を用いている。これは人体の形態により近いので直感的に切除部分が決められるからである。一方、従来の画像上での臓器の抽出に関しては、目的とする臓器を他の臓器と分離する方法が研究されており、単一の臓器内の特定領域を抽出する方法としては、例えば臓器の三次元画像中に領域特定用の幾何学的平面又は曲面を医師等が解剖学的知識に基づいて設定して特定領域を設定するという方法が行われていた。
【0004】
【発明が解決しようとする課題】
上記のような単一臓器内の特定領域を抽出する方法はあるが、実際の臨床の場において、シミュレーションのように臓器を幾何学的な平面や曲面で切除することは行われておらず、そのようなシミュレーションでは実際の臨床の場ではあまり役立つものとは言えないものであった。
【0005】
また、肝臓のような臓器の切除領域は、門脈に略一致して流れる動脈だけでなく、静脈など様々な血管の走行や腫瘍の位置を考慮して設定されなければならないが、上記シミュレーションでは配慮されていなかった。
【0006】
また、手術において、上記肝臓のような臓器の腫瘍を栄養する血管のみを最小限に切除して、臓器の機能を温存したいという要望があった。
【0007】
本発明の目的は、複数種類の血管等が複雑に入り込んだ臓器の切除非抽出領域と識別可能に表示することができる方法と装置を提供することにある。
【0008】
【課題を解決するための手段】
上記目的は、医用画像診断装置にて得た被検体の画像を用いて臓器の特定領域を抽出し表示装置に表示する方法において、前記画像中の目的臓器を構成する複数の組織の情報からそれぞれの組織に対応する条件を設定するステップと、前記条件を満たす組織情報に連なる領域を切除候補領域として抽出するステップと、該抽出された切除候補領域を前記目的臓器の非抽出領域と識別可能に表示するステップとを含むことを特徴とする臓器の特定領域抽出表示方法によって達成される。
ここでいう複数の組織とは、例えば目的臓器を肝臓とした場合、門脈、静脈、腫瘍等を選択的に設定できるものである。
【0009】
また、前記表示ステップは、血管もしくは血管の中心線を、まわりの血管もしくはまわりの血管の中心線と異なる色若しくはは点滅表示などの異なる形態で表示することで達成される。
【0010】
また、前記表示ステップは、前記医用画像診断装置より得られた画像を3次元的に積み上げ、積み上げ3次元画像を作成し、しきい値や各画素値に任意の不透明度を与えて三次元的に可視化を行う画像再構成方法により作成される画像についてその臓器の抽出領域を識別可能に表示することで達成される。
【0011】
また、医用画像診断装置にて得た被検体の画像を用いて臓器の特定領域を抽出しその特定領域を表示する装置において、前記画像中の目的臓器を構成する複数の組織の情報からそれぞれの組織に対応する条件を設定する手段と、前記条件を満たす組織情報に連なる領域を切除候補領域として抽出する手段と、該抽出された切除候補領域を前記目的臓器の非抽出領域と識別可能に表示する手段とを備えたことを特徴とする臓器の特定領域抽出表示装置によって達成される。
【0012】
また、前記抽出領域と非抽出領域との表示は、非抽出領域を表示しない表示モードか、抽出領域を非抽出領域と識別して表示するモードを設定し、その設定により表示モードを切り替えて表示することによって、非抽出領域と表示したとき際には全体との位置関係が、抽出領域のみを表示したときには抽出領域のみを際立たせて表示することができるので、診断能を向上させることができる。
【0013】
【発明の実施の形態】
以下、添付図面に従って本発明に係る臓器の特定領域抽出表示方法及び装置の好ましい実施の形態について説明する。
【0014】
実施の形態として、肝臓の造影撮影を行ったX線CT画像を処理対象画像として用い門脈の走行情報を利用して肝臓の領域特定を行う手順及びそれを用いて肝臓の切除部分を表示する方法を以下に説明する。
【0015】
図1(a)に示すように、X線CT装置やMRI装置等の三次元計測の可能な画像診断装置で取得した複数の断層像11を積み上げて図1(b)に示すような積み上げ三次元画像12とし、処理対象を三次元化する。積み上げ三次元画像12は肝臓の組織と門脈を含み、ここには図示しない二次元の投影面に陰影付けして投影処理された擬似三次元画像として例えばモニタへ表示される。
【0016】
図2は本発明の臓器の特定領域抽出表示方法を示すフローチャートである。本発明の領域特定処理80は、関心領域抽出処理81、距離値変換処理82、細線化処理83又は表面画素検出処理84、支配領域特定処理85、指定抽出処理86及び切除処理87から成る。
【0017】
読み込まれた積み上げ三次元画像データに対し関心領域抽出処理81が行われ、図3に示すように関心領域(対象臓器:肝臓実質31、門脈32)が抽出される。ここでは、簡単に説明するために、門脈32だけを抽出したが、腫瘍や静脈も同様に抽出可能である。図4に示すように、抽出された門脈32に対して距離値変換処理82が行われ、更に細線化処理83又は表面画素検出処理84が行われる。距離値変換処理82と細線化処理83又は表面画素検出処理84との処理は、矢印が示すように細線化処理を先に行いそれに続いて距離値変換処理を、また表面画素検出処理を先に行いそれに続いて距離値変換処理を行っても良い。処理結果を利用して、肝臓実質31のうち門脈32が支配する支配領域特定処理85を行う。この支配領域特定処理85においても、腫瘍や静脈も同様に領域特定可能である。つまり、支配領域特定処理85を行う際に、門脈だけでなく、静脈や腫瘍についても行い、その腫瘍の支配領域に対応する門脈を求めれば、腫瘍に栄養する門脈を選択して切除することができるので、腫瘍の位置を考慮したシミュレーションとなり、腫瘍を栄養する血管のみを最小限に切除して、臓器の機能を温存することに配慮できるのである。
【0018】
次に、門脈32のうちの切除領域を特定する門脈枝を特定し抽出する関心領域部特定処理86を行い、前記指定抽出処理86により定義される切除領域を特定する切除処理87を行う。
【0019】
図5は本発明の臓器の特定領域抽出表示方法の実施に即した詳細な手順の一例を示すフローチャートである。まず積み上げ三次元画像データを読み込み(ステップ21)、図3に示すように読み込まれた三次元画像データから関心領域(門脈32、肝臓実質31)の抽出処理を行う(ステップ22)。この抽出処理には、積み上げ三次元画像データに対して、画像処理の分野においては公知の閾値による二値化を利用したセグメンテーションや領域拡張法を利用する。
【0020】
抽出された門脈32に対して距離値変換処理を行う(ステップ23)。距離値変換については門脈を構成する各抽出画素に対する背景画素からの最短距離を求める方法を用いる。この公知技術として、「画像理解のためのディジタル画像処理(II):鳥脇純一郎著(昭晃堂):3.5距離変換とスケルトン」を挙げる。この公知技術を三次元方向に拡張して利用することで、三次元的な距離値変換を行う。ステップ23の距離値変換処理とステップ24の芯線抽出結果とを組み合わせ、芯線を構成する画素の位置における距離値を利用することで、抽出データ(門脈)の血管径を定義することができる。
【0021】
更に抽出された門脈に対して細線化処理を行う(ステップ24)。芯線抽出については抽出データに対して細線化処理を行い、細線化結果を芯線として利用する。細線化の手法は一般的に利用されている二次元の細線化手法、例えばHilditchのアルゴリズムを三次元に拡張する手法を用いたり、三次元的な薄面化処理を拡張した細線化手法を用いても良い。ここでも公知技術として「画像理解のためのディジタル画像処理(II):鳥脇純一郎著(昭晃堂):アルゴリズム3.5」を挙げることができる。
【0022】
また、ステップ23の距離値変換結果を利用し、背景画素との距離が、8近傍の場合は1、18近傍の場合は1と√2、26近傍の場合は1と√2と√3、すなわち背景画素と隣り合っている(接している)画素を選択することで、ステップ24において表面抽出処理を行うこともできる。
【0023】
抽出した門脈に対してこのような処理を行った後に、ステップ23、24の処理結果を利用して肝臓実質31のうち門脈32が支配する支配領域特定処理を行う(ステップ25)。支配領域の特定方法としては、門脈32の表面画素を利用する方法、門脈32の芯線の位置を利用する方法、門脈32の芯線の位置と距離情報(血管径)を合わせて利用する方法等が考えられる。血管径を利用する方法では単純に血管径を利用する方法、血管径を利用して芯線を構成する画素の地点における血管断面積を利用する方法、さらに門脈32を構成する画素数(血管体積)を利用する方法などが考えられる。ここでは門脈32の芯線の位置と血管径を合わせて利用する方法を説明する。また、門脈に限らず腫瘍や静脈も同様に支配領域特定処理を行うことが可能である。
【0024】
抽出された肝臓実質データ集合をL=[Lijk]、抽出された門脈32の芯線データ集合をP=[Pijk]、Pijkにおける距離値変換値(径)をRijkと定義すると、肝臓実質構成画素Lijkを支配する芯線画素Pijkは式1を満たすものとして定義できる。
Pijk=min(p,q,r)[(Lijk-Ppqr)2/(α×Rpqr)]…(1)
ここでαは係数である。
【0025】
すなわち、肝臓実質構成画素Lijkと芯線画素Ppqrとの三次元的距離を元にした値を門脈径Rpqrに比例した値で割った相対値が最も小さくなる芯線画素Ppqrが、肝臓実質構成画素Lijkを支配する芯線画素Pijkとして定義されるとになる。この場合、門脈枝51、52、53の芯線毎に設定される肝臓実質の支配領域の境界54、55、56は、図6に示すように血管径が大きい門脈枝52程境界55、56が離れた位置に設定されることになる。なお、上式において、距離値変換値(上記式における分母)を径から近似として計算できる血管断面の縁の長さ(円周)、もしくは断面積を与え、条件式とすることも可能である。
【0026】
一方、門脈枝の表面情報、もしくは芯線の位置情報のみを利用して同様な支配領域を設定する場合、門脈の表面データ集合をS=[Sijk]とすると、肝臓実質構成画素Lijkを支配する門脈表面画素Sijkは以下の式2を満たすものとして定義される。
Sijk=min(p,q,r)[(Lijk-Ppqr)2]…(2)
【0027】
すなわちこの場合、門脈枝61、62、63毎に設定される肝臓実質の支配領域の境界64、65、66は図7に示すように門脈枝の径によらず、境界64、65、66は各門脈枝との中間位置に設定されることになる。このようにして求められた肝臓実質を支配する画素情報Pijk(またはSijk)を各肝臓実質画素Lijk毎に持たせておく。
【0028】
次に、上記設定した門脈枝のうちの支配領域特定処理によって求めた腫瘍の支配領域を表示する(ステップ26)。
【0029】
次に、切除領域を特定する抽出門脈枝、例えばグリソン鞘と呼ばれる部分についての特定処理を行う(ステップ27)。切除領域を決定するために利用される門脈枝を設定する。門脈枝の指定には前述の領域拡張法を利用して、指定した位置から末梢部までの門脈枝を設定する方法や、3次元的にクリッピング等の処理を利用して門脈枝を切り出す方法等を利用する。
【0030】
さらに、この処理を全ての門脈枝に対して行い、抽出門脈枝全体をグループ化し、それぞれの門脈枝グループを構成する総画素数を求める。この画素数を式1における分母に利用することで、門脈枝毎の体積による支配領域設定処理を行うこともできる。この場合、ステップ26の処理をステップ24の前に行う必要がある。
【0031】
切除領域データを特定する(ステップ28)。最後に切り出した門脈枝における芯線画素を検索し、この芯線画素に支配さているものとして定義される肝臓実質画素を検索し、削除することで、所望の切除領域を設定することができる。すなわち、切り出した芯線画素データ集合をC=[Cijk]とすると、集合Lにおいて集合Cの情報を含むデータを検索し、削除する(計算結果として表示しない)または区別できる画素に置き換えて表示する処理を行う。以上の処理により図8に示されるような切除領域71を設定することができる。
【0032】
図8は、切除領域(関心領域)71を支配する血管72、73を前処理結果から求めた場合を示す。この血管72、73は関心領域71のみを対象に求められており、必然的に領域74は関心領域73を最低限囲むための最小の大きさとなる。すなわち、図8に示す方法は関心領域71から血管72、73にアプローチする方向である。図8では関心領域71に関与する血管は2本であるが、実際は関心領域71の近傍には3次元的に複数血管が存在するので血管の特定が困難であることが多いが、図8に示す2次元的なアプローチでは容易に特定することが可能となる。
【0033】
このようにして得られたデータを表示用データとして合成し、表示データ処理を行う(ステップ29)。ステップ28の画像合成については一般的な画像再構成方法である平行投影法を利用したサーフェースレンダリング法やボリュームレンダリング法等を利用する。
【0034】
処理結果を表示する(ステップ30)。この時、抽出された特定領域、即ち切除領域とその他の非抽出領域とを画像の濃度値や色相を異ならせて、画像観察者が特定領域をその他の非抽出領域と識別可能に表示すると良い。あるいは切除領域を点滅表示させることで特定領域とその他の非抽出領域と識別可能に表示すると良い。これで一連の処理は完了する。
【0035】
図9には、本発明のシステムが実現可能であるハードウエア例の構成図を示す。このシステムは、CPU92、主メモリ90、磁気ディスク91、表示メモリ93、CRT94、コントローラ95、マウス96、及び共通バス97から成る。磁気ディスク91には、各断層像が格納されており、主メモリ90の投影表示ソフトウェア(図5)に従ってCPU92が所定の処理を行う。この処理では、マウス96やコントローラ95に付加されているキーボードを利用して入出力処理や処理操作が行われる。積み上げ三次元画像は表示メモリ93を介してCRT94に表示され、オペレータの操作を利用して図5の処理がなされ、閾値条件にあった画像が得られる。また、表示内容は磁気ディスク91に格納され、再表示に利用される。
【0036】
以上本発明の実施の形態を説明したが、本発明の手法はX線CT装置だけでなく、磁気共鳴イメージング装置や超音波診断装置などの他の画像診断装置により取得した三次元画像に対しても用いることができる。また、対象臓器としては上記実施の形態中で説明した肝臓の他に人体の多くの部位について適用可能である。
【0037】
本発明の実施の形態によれば、切除領域と非切除領域とを識別可能に表示することによって、例えば肝臓切除シミュレーション等を行う際に、より臨床に近い形での手術計画、切除シミュレーション、切除率の計算や3次元的な可視化が可能となる。
【0038】
【発明の効果】
本発明によれば、複数種類の血管等が複雑に入り込んだ臓器の切除非抽出領域と識別可能に表示することができる方法と装置を提供することができる。
【図面の簡単な説明】
【図1】断層像とデータの関係を示す図。
【図2】本発明の処理方法の概要を説明するフローチャート図。
【図3】断層像データからの関心領域抽出を示す図。
【図4】抽出データに対する各種処理を示す図。
【図5】本アルゴリズムの基本処理フローの一例を説明する図。
【図6】本発明における抽出血管の距離値変換処理と細線化結果を組み合わせて利用して領域設定を行った際の領域境界の位置関係を示す図。
【図7】本発明における抽出血管の細線化結果、もしくは表面情報のみを利用して領域設定を行った際の領域境界の位置関係を示す図。
【図8】本発明による切除領域設定結果を示す図。
【図9】本発明を実施可能なハードウエア構成例を示す図。
【符号の説明】
11…断層像、12…積み上げ三次元像、31,32…抽出データ、51,52,53…抽出血管、54,55,56…支配領域境界、61,62,63…抽出血管、64,65,66…支配領域境界、71…切除領域
[0001]
[Technical field to which the invention belongs]
The present invention relates to a method and apparatus for extracting and displaying a specific area of an organ in a living body, and more particularly, to a simulation method and apparatus for assisting a doctor when a doctor diagnoses and treats an organ such as a liver in clinical practice. Is.
[0002]
[Prior art]
In recent years, an image obtained by a medical image diagnostic apparatus such as an X-ray imaging apparatus, an X-ray CT apparatus, or an MRI apparatus has been actively used not only for diagnosis but also for treatment. Treatment includes catheterization in which a catheter is inserted into a subject and the affected part is excised, and surgical operation in which the affected part is excised by incision as usual. Among these, in a surgical operation, it is usually performed to obtain an image of an affected area by the medical image diagnostic apparatus and determine a part to be excised before the operation.
[0003]
A three-dimensional image is used as a display image for determining the part to be cut. This is because the resected portion can be determined intuitively because it is closer to the shape of the human body. On the other hand, with respect to extraction of organs on conventional images, methods for separating a target organ from other organs have been studied. As a method for extracting a specific region within a single organ, for example, There has been a method in which a doctor or the like sets a specific area by specifying a geometric plane or curved surface for specifying an area in a three-dimensional image based on anatomical knowledge.
[0004]
[Problems to be solved by the invention]
Although there is a method for extracting a specific region in a single organ as described above, in an actual clinical setting, an organ is not cut off with a geometric plane or curved surface as in simulation, Such a simulation was not very useful in an actual clinical setting.
[0005]
In addition, the excision area of an organ such as the liver must be set in consideration of the movement of various blood vessels such as veins and the position of the tumor, as well as the arteries that flow approximately in line with the portal vein. It was not considered.
[0006]
Further, in the operation, there has been a demand for preserving the function of the organ by excising only a blood vessel that nourishes the tumor of the organ such as the liver.
[0007]
An object of the present invention is to provide a method and an apparatus that can be displayed in an identifiable manner from a non-excised non-extracted region of an organ in which a plurality of types of blood vessels and the like have entered complicatedly.
[0008]
[Means for Solving the Problems]
The object is to extract a specific region of an organ using an image of a subject obtained by a medical diagnostic imaging apparatus and display the specific region on a display device, from information on a plurality of tissues constituting the target organ in the image, respectively. A step of setting a condition corresponding to the tissue, a step of extracting a region connected to the tissue information satisfying the condition as a resection candidate region, and the extracted resection candidate region can be distinguished from a non-extraction region of the target organ And a step of displaying. This is achieved by a method for extracting and displaying a specific region of an organ.
For example, when the target organ is the liver, the plurality of tissues here can selectively set a portal vein, a vein, a tumor, and the like.
[0009]
The display step is achieved by displaying the blood vessel or the center line of the blood vessel in a different form such as a color different from the surrounding blood vessel or the center line of the surrounding blood vessel or a blinking display.
[0010]
In the display step, the images obtained from the medical image diagnostic apparatus are three-dimensionally stacked to create a stacked three-dimensional image, and an arbitrary opacity is given to the threshold value and each pixel value to generate a three-dimensional image. This is achieved by displaying the extracted region of the organ in an identifiable manner with respect to the image created by the image reconstruction method that performs visualization.
[0011]
Further, in an apparatus for extracting a specific region of an organ using an image of a subject obtained by a medical image diagnostic apparatus and displaying the specific region, information on a plurality of tissues constituting a target organ in the image is displayed. Means for setting a condition corresponding to the tissue, means for extracting an area connected to the tissue information satisfying the condition as an excision candidate area, and displaying the extracted excision candidate area distinguishable from the non-extraction area of the target organ And means for extracting and displaying a specific region of an organ.
[0012]
In addition, the display of the extraction area and the non-extraction area is set to a display mode in which the non-extraction area is not displayed or a mode in which the extraction area is identified and displayed as a non-extraction area, and the display mode is switched according to the setting. As a result, when displaying as a non-extracted area, the positional relationship with the whole can be displayed, and when only the extracted area is displayed, only the extracted area can be displayed prominently, so that the diagnostic ability can be improved. .
[0013]
DETAILED DESCRIPTION OF THE INVENTION
Preferred embodiments of a method and apparatus for extracting and displaying a specific region of an organ according to the present invention will be described below with reference to the accompanying drawings.
[0014]
As an embodiment, an X-ray CT image obtained by contrast imaging of the liver is used as a processing target image, and a procedure for specifying a liver region using portal travel information and a liver excision portion are displayed using the procedure. The method will be described below.
[0015]
As shown in FIG. 1A, a plurality of tomographic images 11 acquired by an image diagnostic apparatus capable of three-dimensional measurement, such as an X-ray CT apparatus and an MRI apparatus, are stacked to form a stacked tertiary as shown in FIG. The original image 12 is used, and the processing target is three-dimensional. The stacked three-dimensional image 12 includes a liver tissue and a portal vein, and is displayed on a monitor, for example, as a pseudo three-dimensional image shaded and projected on a two-dimensional projection surface (not shown).
[0016]
FIG. 2 is a flowchart showing a method for extracting and displaying a specific region of an organ according to the present invention. The region specifying process 80 of the present invention includes a region of interest extracting process 81, a distance value converting process 82, a thinning process 83 or a surface pixel detecting process 84, a dominant area specifying process 85, a designated extracting process 86, and a cutting process 87.
[0017]
A region of interest extraction process 81 is performed on the read stacked three-dimensional image data, and a region of interest (target organ: liver parenchyma 31, portal vein 32) is extracted as shown in FIG. Here, for simplicity of explanation, only the portal vein 32 is extracted, but tumors and veins can be extracted similarly. As shown in FIG. 4, a distance value conversion process 82 is performed on the extracted portal vein 32, and a thinning process 83 or a surface pixel detection process 84 is further performed. The distance value conversion process 82 and the thinning process 83 or the surface pixel detection process 84 are performed by performing the thinning process first as indicated by the arrow, followed by the distance value conversion process, and the surface pixel detection process first. This may be followed by a distance value conversion process. Using the processing result, a dominant region specifying process 85 that is controlled by the portal vein 32 in the liver parenchyma 31 is performed. Also in this dominant area specifying process 85, areas of tumors and veins can be similarly specified. In other words, when the dominant region specifying process 85 is performed, not only the portal vein but also veins and tumors are obtained. If the portal vein corresponding to the dominant region of the tumor is obtained, the portal vein that nourishes the tumor is selected and resected. Therefore, the simulation takes into account the position of the tumor, and only the blood vessels that feed the tumor can be excised to a minimum to preserve the function of the organ.
[0018]
Next, a region-of-interest specifying process 86 for specifying and extracting a portal vein branch that specifies an ablation region in the portal vein 32 is performed, and an ablation process 87 for specifying an ablation region defined by the specified extraction process 86 is performed. .
[0019]
FIG. 5 is a flowchart showing an example of a detailed procedure in line with the implementation of the organ specific region extracting and displaying method of the present invention. First, the accumulated three-dimensional image data is read (step 21), and the region of interest (portal vein 32, liver substance 31) is extracted from the read three-dimensional image data as shown in FIG. 3 (step 22). In this extraction process, segmentation or region expansion using binarization using a known threshold value is used for the accumulated three-dimensional image data in the field of image processing.
[0020]
A distance value conversion process is performed on the extracted portal vein 32 (step 23). For the distance value conversion, a method of obtaining the shortest distance from the background pixel for each extracted pixel constituting the portal vein is used. As this known technique, “digital image processing for image understanding (II): Junichiro Toriwaki (Shokodo): 3.5 distance conversion and skeleton” can be cited. Three-dimensional distance value conversion is performed by extending this known technique in the three-dimensional direction. By combining the distance value conversion process of step 23 and the core line extraction result of step 24 and using the distance value at the position of the pixel constituting the core line, the blood vessel diameter of the extracted data (portal vein) can be defined.
[0021]
Further, a thinning process is performed on the extracted portal vein (step 24). For the core line extraction, the thinning process is performed on the extracted data, and the thinning result is used as the core line. The thinning method is a generally used two-dimensional thinning method, such as a method that extends the Hilditch algorithm to three dimensions, or a thinning method that extends three-dimensional thinning processing. Also good. Also here, as a known technique, “digital image processing for image understanding (II): by Junichiro Toriwaki (Shokodo): Algorithm 3.5” can be mentioned.
[0022]
Further, by using the distance value conversion result of step 23, the distance to the background pixel is 1 when the neighborhood is 8, 1 and √2 when the neighborhood is 18, and 1 and √2 and √3 when the neighborhood is 26, That is, by selecting a pixel adjacent to (in contact with) the background pixel, the surface extraction process can be performed in step 24.
[0023]
After performing such processing on the extracted portal vein, the control region specifying process controlled by the portal vein 32 of the liver parenchyma 31 is performed using the processing results of steps 23 and 24 (step 25). As a method of specifying the dominant region, a method of using the surface pixels of the portal vein 32, a method of using the core wire position of the portal vein 32, and using the core wire position and distance information (blood vessel diameter) of the portal vein 32 are used. A method etc. can be considered. In the method of using the blood vessel diameter, a method of simply using the blood vessel diameter, a method of using the blood vessel diameter to use the blood vessel cross-sectional area at the pixel point constituting the core line, and the number of pixels constituting the portal vein 32 (blood vessel volume) ) Can be considered. Here, a method in which the position of the core wire of the portal vein 32 and the blood vessel diameter are used together will be described. Further, not only the portal vein but also the tumor and vein can be similarly subjected to the dominant region specifying process.
[0024]
When the extracted liver substantial data set is defined as L = [Lijk], the extracted core data set of the portal vein 32 is defined as P = [Pijk], and the distance value conversion value (diameter) at Pijk is defined as Rijk, the liver substantial constituent pixels The core pixel Pijk that dominates Lijk can be defined as satisfying Equation 1.
Pijk = min (p, q, r) [(Lijk−Ppqr) 2 / (α × Rpqr)] (1)
Here, α is a coefficient.
[0025]
That is, the core pixel Ppqr having the smallest relative value obtained by dividing the value based on the three-dimensional distance between the liver substantial constituent pixel Lijk and the core pixel Ppqr by the value proportional to the portal vein diameter Rpqr is the liver substantial constituent pixel Lijk. It is defined as a core line pixel Pijk that governs. In this case, the boundaries 54, 55, 56 of the dominant region of the liver parenchyma set for each core line of the portal branches 51, 52, 53 are the boundaries 55, 55, of the portal branch 52 having a larger blood vessel diameter, as shown in FIG. 56 is set at a distant position. In the above expression, the distance value conversion value (denominator in the above expression) can be calculated as an approximation from the diameter, and the edge length (circumference) or cross-sectional area of the blood vessel cross section can be given to obtain a conditional expression. .
[0026]
On the other hand, when a similar control region is set by using only the surface information of the portal vein branch or the position information of the core wire, assuming that the surface data set of the portal vein is S = [Sijk], the liver substantial constituent pixel Lijk is controlled. The portal surface pixel Sijk to be defined is defined as satisfying the following Expression 2.
Sijk = min (p, q, r) [(Lijk-Ppqr) 2 ] (2)
[0027]
That is, in this case, the boundaries 64, 65, 66 of the dominant region of the liver parenchyma set for each of the portal branches 61, 62, 63 are the boundaries 64, 65, 66, regardless of the diameter of the portal branches as shown in FIG. 66 is set at an intermediate position between each portal branch. Pixel information Pijk (or Sijk) governing the liver substance determined in this way is provided for each liver substance pixel Lijk.
[0028]
Next, the control region of the tumor obtained by the control region specifying process among the set portal vein branches is displayed (step 26).
[0029]
Next, identification processing is performed on an extraction portal branch that identifies the ablation region, for example, a portion called a Gleason sheath (step 27). Set the portal branch used to determine the ablation area. The specification of Monmyakueda utilizing the aforementioned region growing method, a method of setting the portal vein branches from a specified position to the peripheral portion, three-dimensionally and take advantage of the processing of clipping such Monmyakueda Use a method to cut out
[0030]
Further, this processing is performed on all the portal vein branches, the entire extracted portal vein branches are grouped, and the total number of pixels constituting each portal vein branch group is obtained. By using this number of pixels as the denominator in Equation 1, it is possible to perform a dominant region setting process based on the volume of each portal branch. In this case, the process of step 26 needs to be performed before step 24.
[0031]
The ablation area data is specified (step 28). By searching for the core line pixel in the portal vein branch that is finally cut out, searching for and deleting the liver substantial pixel defined as being governed by this core line pixel, it is possible to set a desired excision region. That is, when the extracted core pixel data set is C = [Cijk], data including information on the set C in the set L is searched and deleted (not displayed as a calculation result) or replaced with distinguishable pixels and displayed. I do. The ablation area 71 as shown in FIG. 8 can be set by the above processing.
[0032]
FIG. 8 shows a case where the blood vessels 72 and 73 that dominate the excision region (region of interest) 71 are obtained from the preprocessing result. The blood vessels 72 and 73 are obtained only for the region of interest 71, and the region 74 inevitably has a minimum size for surrounding the region of interest 73 at a minimum. That is, the method shown in FIG. 8 is a direction in which the region of interest 71 approaches the blood vessels 72 and 73. In FIG. 8, there are two blood vessels involved in the region of interest 71. Actually, however, there are many three-dimensional blood vessels in the vicinity of the region of interest 71, so it is often difficult to specify the blood vessels. The two-dimensional approach shown can be easily identified.
[0033]
The data thus obtained is synthesized as display data, and display data processing is performed (step 29). For the image synthesis in step 28, a surface rendering method using a parallel projection method or a volume rendering method, which is a general image reconstruction method, is used.
[0034]
The processing result is displayed (step 30). At this time, it is preferable that the extracted specific region, that is, the ablation region and the other non-extraction region are displayed with different density values and hues so that the image observer can distinguish the specific region from the other non-extraction region. . Or it is good to display so that a specific area | region and other non-extraction area | region can be distinguished by blinking the ablation area | region. This completes the series of processing.
[0035]
FIG. 9 shows a configuration diagram of an example of hardware capable of realizing the system of the present invention. This system includes a CPU 92, a main memory 90, a magnetic disk 91, a display memory 93, a CRT 94, a controller 95, a mouse 96, and a common bus 97. Each tomographic image is stored in the magnetic disk 91, and the CPU 92 performs predetermined processing according to the projection display software (FIG. 5) in the main memory 90. In this processing, input / output processing and processing operations are performed using a keyboard attached to the mouse 96 and the controller 95. The stacked three-dimensional image is displayed on the CRT 94 via the display memory 93, and the processing shown in FIG. 5 is performed using the operation of the operator to obtain an image that meets the threshold condition. The display content is stored in the magnetic disk 91 and used for redisplay.
[0036]
Although the embodiment of the present invention has been described above, the method of the present invention is applicable not only to X-ray CT apparatuses but also to three-dimensional images acquired by other image diagnostic apparatuses such as a magnetic resonance imaging apparatus and an ultrasonic diagnostic apparatus. Can also be used. In addition to the liver described in the above embodiment, the target organ can be applied to many parts of the human body.
[0037]
According to the embodiment of the present invention, when an excision region and a non-excision region are displayed so as to be distinguishable, for example, when performing a liver excision simulation or the like, a surgical plan, an excision simulation, and an excision in a more clinical form. Rate calculation and three-dimensional visualization are possible.
[0038]
【The invention's effect】
ADVANTAGE OF THE INVENTION According to this invention, the method and apparatus which can be displayed distinguishably from the excision non-extraction area | region of the organ into which multiple types of blood vessel etc. entered complicatedly can be provided.
[Brief description of the drawings]
FIG. 1 is a diagram showing a relationship between a tomogram and data.
FIG. 2 is a flowchart illustrating an outline of a processing method according to the present invention.
FIG. 3 is a diagram showing extraction of a region of interest from tomographic image data.
FIG. 4 is a diagram showing various processes for extracted data.
FIG. 5 is a diagram for explaining an example of a basic processing flow of the present algorithm.
FIG. 6 is a diagram showing a positional relationship between region boundaries when region setting is performed using a combination of the extracted blood vessel distance value conversion processing and the thinning result according to the present invention.
FIG. 7 is a diagram showing the positional relationship between region boundaries when region setting is performed using only the thinning result of extracted blood vessels or surface information in the present invention.
FIG. 8 is a diagram showing a result of setting a resection area according to the present invention.
FIG. 9 is a diagram showing an example of a hardware configuration capable of implementing the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 11 ... Tomographic image, 12 ... Stacked three-dimensional image, 31, 32 ... Extraction data, 51, 52, 53 ... Extraction blood vessel, 54, 55, 56 ... Control region boundary, 61, 62, 63 ... Extraction blood vessel, 64, 65 , 66 ... dominant region boundary, 71 ... ablation

Claims (3)

医用画像診断装置にて得た被検体の目的臓器が撮像された画像を読み込む手段と、
前記画像中に含まれる前記被検体の血管が撮影された領域を抽出するための条件と、前記画像中に含まれる前記被検体の腫瘍が撮影された領域を抽出するための条件と、の設定を受け付ける手段と、
前記画像中に含まれる前記被検体の血管が撮影された領域を抽出するための条件に従って前記画像中の第一領域を抽出するとともに、前記画像中に含まれる前記被検体の腫瘍が撮影された領域を抽出するための条件に従って、前記画像中の第二領域を抽出する手段と、
前記抽出された第一領域に連なる領域を支配領域として特定する支配領域特定手段と、
前記第一領域と第二領域とを表示する表示手段と、
前記表示された第一領域上の任意の位置の指定を受け付ける指定手段と、
前記任意の位置から末梢部までの支配領域を、前記目的臓器の他の領域と識別可能に表示する手段と、
を備えたことを特徴とする臓器の特定領域抽出表示装置。
Means for reading an image obtained by imaging a target organ of a subject obtained by a medical image diagnostic apparatus ;
Setting of a condition for extracting a region where the blood vessel of the subject included in the image is imaged, and a condition for extracting a region where the tumor of the subject included in the image is captured Means for accepting ,
The first region in the image is extracted according to the condition for extracting the region in which the blood vessel of the subject included in the image is captured, and the tumor of the subject included in the image is captured Means for extracting a second region in the image according to a condition for extracting the region ;
A dominating region specifying means for specifying a region connected to the extracted first region as a dominating region;
Display means for displaying the first area and the second area;
A designation means for accepting designation of an arbitrary position on the displayed first area;
Means for displaying the dominant region from the arbitrary position to the peripheral part so as to be distinguishable from other regions of the target organ;
An apparatus for extracting and displaying a specific area of an organ .
前記支配領域特定手段は、前記抽出された第一領域に相当する血管からの距離、又は前記抽出された第一領域に相当する血管の血管径に基づいて前記支配領域を特定する、The dominant region specifying means specifies the dominant region based on a distance from a blood vessel corresponding to the extracted first region or a blood vessel diameter of a blood vessel corresponding to the extracted first region.
ことを特徴とする請求項1に記載の臓器の特定領域抽出表示装置。The organ specific region extracting and displaying device according to claim 1.
医用画像診断装置にて得た被検体の目的臓器が撮像された画像を用いて臓器の特定領域を抽出し表示する臓器の特定領域抽出表示装置における表示方法であって、  A display method in an organ specific area extraction / display apparatus that extracts and displays a specific area of an organ using an image obtained by imaging a target organ of a subject obtained by a medical image diagnostic apparatus,
前記特定領域抽出表示装置が、前記被検体の画像を読み込むステップと、The specific area extraction display device reads an image of the subject;
前記特定領域抽出表示装置が、前記画像中に含まれる前記被検体の血管が撮影された領域を抽出するための条件と、前記画像中に含まれる前記被検体の腫瘍が撮影された領域を抽出するための条件と、の設定を受け付けるステップと、The specific region extraction / display apparatus extracts a condition for extracting a region where the blood vessel of the subject included in the image is captured, and a region where the tumor of the subject included in the image is captured. A step for accepting the setting for the condition for
前記特定領域抽出表示装置が、前記被検体の血管が撮影された領域を抽出するための条件に従って、前記画像中から第一領域を抽出するとともに、前記画像中に含まれる前記被検体の腫瘍が撮影された領域を抽出するための条件に従って、前記画像中から第二領域を抽出するステップと、The specific area extraction and display device extracts a first area from the image according to a condition for extracting an area where the blood vessel of the subject is imaged, and a tumor of the subject included in the image Extracting a second region from the image according to a condition for extracting a photographed region;
前記特定領域抽出表示装置が、前記第一領域に連なる領域を支配領域として特定するステップと、The specific area extraction and display device specifies an area connected to the first area as a dominant area;
前記特定領域抽出表示装置が、前記第一領域と前記第二領域とを表示するステップと、The specific area extraction display device displaying the first area and the second area;
前記特定領域抽出表示装置が、前記表示された第一領域上の任意の位置の指定を受け付けるステップと、The specific area extraction display device accepts designation of an arbitrary position on the displayed first area;
前記特定領域抽出表示装置が、前記任意の位置から末梢部までの支配領域を、前記目的臓器の他の領域と識別可能に表示するステップと、The specific region extraction and display device displays the dominant region from the arbitrary position to the peripheral part so as to be distinguishable from other regions of the target organ;
を含むことを特徴とする臓器の特定領域抽出表示装置の表示方法。A display method for an organ specific region extraction / display apparatus characterized by comprising:
JP2001221833A 2001-07-23 2001-07-23 Organ specific area extraction display device and display method thereof Expired - Lifetime JP4688361B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001221833A JP4688361B2 (en) 2001-07-23 2001-07-23 Organ specific area extraction display device and display method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001221833A JP4688361B2 (en) 2001-07-23 2001-07-23 Organ specific area extraction display device and display method thereof

Publications (2)

Publication Number Publication Date
JP2003033349A JP2003033349A (en) 2003-02-04
JP4688361B2 true JP4688361B2 (en) 2011-05-25

Family

ID=19055438

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001221833A Expired - Lifetime JP4688361B2 (en) 2001-07-23 2001-07-23 Organ specific area extraction display device and display method thereof

Country Status (1)

Country Link
JP (1) JP4688361B2 (en)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4306380B2 (en) 2003-09-10 2009-07-29 株式会社日立メディコ Medical image display method and apparatus
JP4651375B2 (en) * 2004-12-16 2011-03-16 株式会社日立メディコ Medical image display apparatus and method
JP2008000270A (en) * 2006-06-21 2008-01-10 Aze Ltd Biotissue identification image creation method, device and program
US8934604B2 (en) 2007-09-28 2015-01-13 Kabushiki Kaisha Toshiba Image display apparatus and X-ray diagnostic apparatus
JP5268318B2 (en) * 2007-09-28 2013-08-21 株式会社東芝 Image display device and image display method
JP5337367B2 (en) * 2007-10-31 2013-11-06 株式会社東芝 Medical image display device
JP5422145B2 (en) * 2008-06-18 2014-02-19 株式会社東芝 Medical image processing device
WO2010098444A1 (en) * 2009-02-26 2010-09-02 株式会社 日立メディコ Device and method for medical image processing
US20110054295A1 (en) 2009-08-25 2011-03-03 Fujifilm Corporation Medical image diagnostic apparatus and method using a liver function angiographic image, and computer readable recording medium on which is recorded a program therefor
JP5606832B2 (en) 2010-03-05 2014-10-15 富士フイルム株式会社 Image diagnosis support apparatus, method, and program
JP5491237B2 (en) * 2010-03-09 2014-05-14 株式会社日立メディコ Medical image display device and medical image display method
JP4824146B1 (en) * 2010-06-02 2011-11-30 オリンパスメディカルシステムズ株式会社 Medical device and method for controlling medical device
JP5011426B2 (en) * 2010-08-11 2012-08-29 富士フイルム株式会社 Image diagnosis support apparatus, method and program
JP5559642B2 (en) * 2010-08-30 2014-07-23 富士フイルム株式会社 Surgery support device, surgery support method, and surgery support program
JP5844093B2 (en) * 2010-09-15 2016-01-13 株式会社東芝 Medical image processing apparatus and medical image processing method
JP5395823B2 (en) 2011-02-15 2014-01-22 富士フイルム株式会社 Surgery support device, surgery support method, and surgery support program
JP6032517B2 (en) * 2011-04-14 2016-11-30 学校法人立命館 Surgery support system and computer program
JP5797124B2 (en) * 2012-01-31 2015-10-21 富士フイルム株式会社 Surgery support device, surgery support method, and surgery support program
JP5269232B2 (en) * 2012-07-09 2013-08-21 株式会社東芝 Image display device
JP6008635B2 (en) 2012-07-24 2016-10-19 富士フイルム株式会社 Surgery support apparatus, method and program
JP5785214B2 (en) 2013-05-08 2015-09-24 富士フイルム株式会社 Mold, surgical support set, surgical support device, surgical support method, and surgical support program
WO2015052922A1 (en) * 2013-10-07 2015-04-16 学校法人近畿大学 Image processing device, image processing method, and computer program
EP2977022A1 (en) 2014-07-25 2016-01-27 Fujifilm Corporation Pattern and surgery support set, apparatus, method and program
WO2016076074A1 (en) * 2014-11-10 2016-05-19 株式会社日立製作所 Image processing device, x-ray ct device, and image processing method
JP6570460B2 (en) * 2016-02-25 2019-09-04 富士フイルム株式会社 Evaluation apparatus, method and program
CN113096066B (en) * 2021-02-26 2023-02-10 杭州臻合健康科技有限公司 Intelligent hepatic portal vein based typing method
WO2023032480A1 (en) * 2021-08-31 2023-03-09 富士フイルム株式会社 Medical image processing device, liver segment division method and program
KR20240066742A (en) * 2022-11-08 2024-05-16 가톨릭대학교 산학협력단 Surgical device for soft tissue sarcoma

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000163581A (en) * 1998-11-26 2000-06-16 Hitachi Medical Corp Area extending device
JP2000172829A (en) * 1998-12-07 2000-06-23 Hitachi Ltd Area extracting method
WO2000057777A1 (en) * 1999-03-26 2000-10-05 Oestergaard Leif Method for determining haemodynamic indices by use of tomographic data
JP2001014446A (en) * 1999-07-01 2001-01-19 Toshiba Iyo System Engineering Kk Medical image processor
JP2001128982A (en) * 1999-11-02 2001-05-15 Toshiba Corp Ultrasonic image diagnosing apparatus and image processor
JP2001149366A (en) * 1999-11-25 2001-06-05 Toshiba Corp Three-dimensional image processing device

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05103793A (en) * 1991-10-18 1993-04-27 Toshiba Corp Plan support device for spinal column correction operation
JPH0683940A (en) * 1992-09-04 1994-03-25 Toshiba Corp Image display device
JPH0757113A (en) * 1993-08-18 1995-03-03 Ge Yokogawa Medical Syst Ltd Method and device for displaying three-dimensional image
JPH07271997A (en) * 1994-03-29 1995-10-20 Toshiba Corp Image processor
JP3667813B2 (en) * 1995-04-18 2005-07-06 株式会社東芝 X-ray diagnostic equipment
JPH09327455A (en) * 1996-06-10 1997-12-22 Ge Yokogawa Medical Syst Ltd Image creation method, image creation device and medical image diagnostic device
JPH105205A (en) * 1996-06-21 1998-01-13 Hitachi Medical Corp Medical imaging diagnostic apparatus
JPH1033535A (en) * 1996-07-30 1998-02-10 Toshiba Corp Doppler ultrasonograph and its method
JP4119497B2 (en) * 1997-03-24 2008-07-16 オリンパス株式会社 Ultrasound diagnostic imaging equipment
JPH11164833A (en) * 1997-09-30 1999-06-22 Toshiba Corp Medical image diagnostic apparatus

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000163581A (en) * 1998-11-26 2000-06-16 Hitachi Medical Corp Area extending device
JP2000172829A (en) * 1998-12-07 2000-06-23 Hitachi Ltd Area extracting method
WO2000057777A1 (en) * 1999-03-26 2000-10-05 Oestergaard Leif Method for determining haemodynamic indices by use of tomographic data
JP2001014446A (en) * 1999-07-01 2001-01-19 Toshiba Iyo System Engineering Kk Medical image processor
JP2001128982A (en) * 1999-11-02 2001-05-15 Toshiba Corp Ultrasonic image diagnosing apparatus and image processor
JP2001149366A (en) * 1999-11-25 2001-06-05 Toshiba Corp Three-dimensional image processing device

Also Published As

Publication number Publication date
JP2003033349A (en) 2003-02-04

Similar Documents

Publication Publication Date Title
JP4688361B2 (en) Organ specific area extraction display device and display method thereof
JP4748843B2 (en) RECORDING MEDIUM CONTAINING PROGRAM FOR CAUSING COMPUTER TO EXECUTE SPECIFIC AREA EXTRACTION DISPLAY AND DEVICE
US11657502B2 (en) Systems and methods for segmentation of anatomical structures for image-guided surgery
US11769292B2 (en) Treatment procedure planning system and method
US7813785B2 (en) Cardiac imaging system and method for planning minimally invasive direct coronary artery bypass surgery
JP4931027B2 (en) Medical image diagnosis support apparatus and method, and program
CN107067398B (en) Completion method and device for missing blood vessels in three-dimensional medical model
JP4675509B2 (en) Apparatus and method for extracting and displaying specific region of organ
JP2007144177A (en) Method and apparatus for semi-automatic segmentation technique for low-contrast tubular shaped objects
JPS63186628A (en) Three-dimensional image processing apparatus
US20200242776A1 (en) Medical image processing apparatus, medical image processing method, and system
JP2016539744A (en) Method and apparatus for providing blood vessel analysis information using medical images
US20150133764A1 (en) Surgery assistance apparatus, method and program
JP2007135858A (en) Image processor
JP4193201B2 (en) Organ excision area extraction and display device
EP3110335B1 (en) Zone visualization for ultrasound-guided procedures
EP2484286B1 (en) Device and method for displaying medical image and program
US20230394672A1 (en) Medical image processing apparatus, medical image processing method, and program
JP4397177B2 (en) Organ specific region extraction support apparatus and method
WO2014155917A1 (en) Surgical assistance device, method and program
Hansen et al. Intraoperative adaptation and visualization of preoperative risk analyses for oncologic liver surgery
JP4660356B2 (en) X-ray CT apparatus, image data area extraction system, and image data area extraction program
Hassenpflug et al. Generation of attributed relational vessel graphs from three-dimensional freehand ultrasound for intraoperative registration in image-guided liver surgery
US11941808B2 (en) Medical image processing device, medical image processing method, and storage medium
Gerolami et al. An End-to-End Solution for Automatic Contouring of Tumor Region in Intraoperative Images of Breast Lumpectomy

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20050506

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080422

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090713

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20090716

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110215

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110215

R150 Certificate of patent or registration of utility model

Ref document number: 4688361

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140225

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term