JP5785120B2 - Medical image diagnosis support apparatus and method, and program - Google Patents
Medical image diagnosis support apparatus and method, and program Download PDFInfo
- Publication number
- JP5785120B2 JP5785120B2 JP2012058770A JP2012058770A JP5785120B2 JP 5785120 B2 JP5785120 B2 JP 5785120B2 JP 2012058770 A JP2012058770 A JP 2012058770A JP 2012058770 A JP2012058770 A JP 2012058770A JP 5785120 B2 JP5785120 B2 JP 5785120B2
- Authority
- JP
- Japan
- Prior art keywords
- branch point
- image
- projection image
- branch
- diagnosis support
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003745 diagnosis Methods 0.000 title claims description 54
- 238000000034 method Methods 0.000 title claims description 20
- 210000000621 bronchi Anatomy 0.000 claims description 50
- 238000000605 extraction Methods 0.000 claims description 6
- 238000002910 structure generation Methods 0.000 description 11
- 206010028980 Neoplasm Diseases 0.000 description 10
- 238000002591 computed tomography Methods 0.000 description 10
- 238000003780 insertion Methods 0.000 description 10
- 230000037431 insertion Effects 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 7
- 239000013598 vector Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 210000004072 lung Anatomy 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000001574 biopsy Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 208000020816 lung neoplasm Diseases 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000037841 lung tumor Diseases 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012916 structural analysis Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
Description
本発明は、被検体を撮影して得られた３次元画像を用いて気管支のような体内の管路への内視鏡の挿入を支援する医用画像診断支援装置および方法並びにプログラムに関するものである。 The present invention relates to a medical image diagnosis support apparatus, method, and program for supporting insertion of an endoscope into a body duct such as a bronchus using a three-dimensional image obtained by imaging a subject. .
近年、医療現場では画像による診断が広く行われるようになり、Ｘ線ＣＴ（Computed Tomography）装置などで撮影された被検体の３次元画像を用いて患部の診断が行われるようになってきた。ＣＴ装置は、被検体を中心に対向するように設けられたＸ線照射部と検出部を、連続的に回転させつつ被検体を体軸方向に移動させることにより、被検体を中心にした螺旋状の連続スキャンを行い、連続するスライスの断層像から３次元のボリュームデータを作成し、このボリュームデータに画像処理を施して診断に利用される。 In recent years, diagnosis based on images has been widely performed in medical practice, and an affected area has been diagnosed using a three-dimensional image of a subject imaged by an X-ray CT (Computed Tomography) apparatus or the like. The CT apparatus has a spiral centered on the subject by moving the subject in the body axis direction while continuously rotating an X-ray irradiation unit and a detection unit provided to face the subject. A three-dimensional volume data is created from tomographic images of successive slices, and image processing is applied to the volume data for use in diagnosis.
例えば、胸部を撮影したボリュームデータにボリュームレンダリング処理を施すことにより肺の気管支の３次元画像を生成することができる。この気管支の３次元画像は、肺癌等が疑われる異常部の位置を３次元的に把握するのに利用され、その異常部の位置まで気管支内視鏡を挿入し、生検鉗子等で組織のサンプルを採取して生検が行われる。しかし、気管支のような多段階に分岐する管路内を通って、気管支の末端に近い異常部まで内視鏡の先端を短時間で到達させるのは困難である。 For example, a volume rendering process is performed on volume data obtained by photographing the chest, thereby generating a three-dimensional image of the lung bronchus. This bronchial three-dimensional image is used to three-dimensionally identify the position of an abnormal part suspected to be lung cancer or the like. A bronchoscope is inserted to the position of the abnormal part, and the tissue is examined with biopsy forceps or the like. A sample is taken and a biopsy is performed. However, it is difficult to reach the distal end of the endoscope in a short time to an abnormal part near the end of the bronchus through a multi-stage branch line such as the bronchi.
そこで、ボリュームデータに基づいて気管支の３次元画像を作成し、３次元画像上で管路に沿って気管支の入り口から目的部位まで到着する経路を求め、経路に沿った管路内の気管支の分岐点の仮想内視鏡画像を作成し、その仮想内視鏡画像を表示することで、気管支内視鏡を目的部位までナビゲーションする装置が提案されたものがある。 Therefore, a three-dimensional image of the bronchus is created based on the volume data, and a route arriving from the entrance of the bronchus to the target site along the duct is obtained on the three-dimensional image, and the bronchi branching in the duct along the route There has been proposed an apparatus for navigating a bronchoscope to a target site by creating a virtual endoscopic image of a point and displaying the virtual endoscopic image.
上述の通り気管支は多段階に分岐しているため経路上には複数の分岐点があるが、分岐点の画像はいずれも類似しているため、単に経路上の分岐点の仮想内視鏡画像を表示しても、どの位置の分岐点の画像であるかの区別がつかない。 As mentioned above, since the bronchus branches in multiple stages, there are multiple branch points on the route, but the images of the branch points are similar, so simply a virtual endoscopic image of the branch point on the route Even if is displayed, it is not possible to distinguish the branch point image at which position.
そこで、入り口と目的部位を結ぶ複数の経路を作成し、経路毎に存在する複数の分岐点の仮想内視鏡画像の縮小画像（サムネイル）を作成して並べて表示し、その複数の縮小画像の中から現在位置の仮想内視鏡画像の縮小画像を選択してその選択した縮小画像の枠を太枠もしくはカラー表示することによって、現在、どの経路のどの分岐点に挿入中であるかを明確に示すことができる内視鏡挿入支援装置が提案されている。（例えば、特許文献１）。 Therefore, a plurality of routes connecting the entrance and the target part are created, and reduced images (thumbnail images) of virtual endoscopic images of a plurality of branch points existing for each route are created and displayed side by side. By selecting a reduced image of the virtual endoscopic image at the current position from the inside and displaying the frame of the selected reduced image in a thick frame or color, it is clear which branch point of which route is currently inserted An endoscope insertion support apparatus that can be shown in FIG. (For example, patent document 1).
しかしながら、上述した方法によって表示される仮想内視鏡画像から把握することができるのは、現在位置において次に進むべき分岐方向だけであって、気管支全体の中における現在位置や進行方向を即座に把握することは困難である。気管支全体の中における現在位置や進行方向を把握するために気管支の３次元画像を同時に表示することも考えられるが、このような表示をしたとしても、やはり現在位置と進行方向とを同時に認識することは困難である。 However, it is possible to grasp from the virtual endoscopic image displayed by the above-described method only in the branch direction to be advanced next at the current position, and immediately the current position and the traveling direction in the entire bronchus. It is difficult to grasp. Although it is possible to simultaneously display a three-dimensional image of the bronchus in order to grasp the current position and the traveling direction in the entire bronchus, even if such a display is performed, the current position and the traveling direction are recognized simultaneously. It is difficult.
本発明は、上記事情に鑑み、たとえば内視鏡の挿入シミュレーションを行う場合などにおいて、気管支全体の中における仮想内視鏡画像の現在位置や進行方向を即座に把握することができる医用画像診断支援装置および方法並びにプログラムを提供することを目的とするものである。 In view of the above circumstances, the present invention provides a medical image diagnosis support capable of immediately grasping the current position and traveling direction of a virtual endoscopic image in the entire bronchus, for example, when performing an insertion simulation of an endoscope. An object is to provide an apparatus, a method, and a program.
本発明の医用画像診断支援装置は、人体を撮影して得られた３次元画像を取得する３次元画像取得部と、３次元画像に含まれる管状構造物を抽出する管状構造物抽出部と、管状構造物に含まれる分岐点を体軸方向に直交する２次元平面上に投影した分岐点投影画像を生成する分岐点投影画像生成部とを備えたことを特徴とする。 The medical image diagnosis support apparatus of the present invention includes a three-dimensional image acquisition unit that acquires a three-dimensional image obtained by photographing a human body, a tubular structure extraction unit that extracts a tubular structure included in the three-dimensional image, And a branch point projection image generation unit that generates a branch point projection image in which a branch point included in the tubular structure is projected onto a two-dimensional plane orthogonal to the body axis direction.
また、上記本発明の医用画像診断支援装置においては、管状構造物における所定の始点から終点までの経路を設定する経路設定部を設け、分岐点投影画像生成部を、管状構造物に含まれる分岐点のうち、経路上の分岐点を含む一部の分岐点のみを投影した分岐点投影画像を生成するものとできる。 In the medical image diagnosis support apparatus of the present invention, a path setting unit that sets a path from a predetermined start point to an end point in the tubular structure is provided, and the branch point projection image generation unit is included in the branch structure. Of the points, a branch point projection image can be generated by projecting only some of the branch points including the branch point on the route.
また、分岐点投影画像生成部を、管状構造物の開始点から予め設定した範囲の分岐点と経路上の分岐点のみを投影した分岐点投影画像を生成するものとできる。 Further, the branch point projection image generation unit can generate a branch point projection image obtained by projecting only a branch point within a preset range from the start point of the tubular structure and a branch point on the route.
また、分岐点投影画像生成部を、経路上の分岐点をその他の分岐点とは異なる表示態様として分岐点投影画像を生成するものとできる。 Further, the branch point projection image generation unit can generate a branch point projection image with the branch point on the route as a display mode different from other branch points.
また、分岐点投影画像生成部を、経路上の分岐点の体軸方向の位置に応じてその分岐点の表示態様を変化させて分岐点投影画像を生成するものとできる。 In addition, the branch point projection image generation unit may generate a branch point projection image by changing the display mode of the branch point according to the position of the branch point on the route in the body axis direction.
また、３次元画像に基づいて、人体内に挿入された内視鏡によって撮影を行ったものとして仮想的に生成された仮想内視鏡画像を取得する仮想内視鏡画像生成部を設け、仮想内視鏡画像生成部を、経路上に沿って仮想的な内視鏡の視点位置を変化させた仮想内視鏡画像を生成するものとし、分岐点投影画像生成部を、仮想的な内視鏡の視点位置が通過した後の経路上の分岐点を通過前の経路上の分岐点とは異なる表示態様として分岐点投影画像を生成するものとできる。 In addition, a virtual endoscopic image generation unit that acquires a virtual endoscopic image that is virtually generated based on a three-dimensional image taken by an endoscope inserted into the human body is provided. The endoscopic image generation unit generates a virtual endoscopic image in which the viewpoint position of the virtual endoscope is changed along the route, and the branch point projection image generation unit A branch point projection image can be generated with a branch point on the path after the viewpoint position of the mirror has passed as a display mode different from the branch point on the path before the path.
また、経路上における仮想的な内視鏡の視点位置の移動指示を受け付ける移動指示受付部を設けることができる。 In addition, it is possible to provide a movement instruction receiving unit that receives a movement instruction of the viewpoint position of the virtual endoscope on the route.
また、分岐点投影画像を表示画面内に表示させる表示制御部を設け、表示制御部を、上記体軸方向と表示画面の画面奥行方向とが一致するようにして分岐点投影画像を表示させるものとできる。 In addition, a display control unit that displays the branch point projection image on the display screen is provided, and the display control unit displays the branch point projection image so that the body axis direction matches the screen depth direction of the display screen. And can.
また、表示制御部を、管状構造物の開始点に対応する分岐点投影画像の基準点が表示画面の中心に位置するように分岐点投影画像を表示させるものとできる。 Further, the display control unit can display the branch point projection image so that the reference point of the branch point projection image corresponding to the start point of the tubular structure is located at the center of the display screen.
また、表示制御部を、管状構造物の開始点から各分岐点までの距離情報を分岐点投影画像とともに表示させるものとできる。 Further, the display control unit can display the distance information from the start point of the tubular structure to each branch point together with the branch point projection image.
また、分岐点投影画像生成部を、管状構造物に含まれる複数の分岐点のそれぞれについて、分岐点からの分岐先をその分岐点を含む２次元平面上に投影した投影画像を生成し、その生成した分岐点毎の投影画像を分岐点投影画像に重ね合せるものとできる。 Further, the branch point projection image generation unit generates a projection image obtained by projecting the branch destination from the branch point onto the two-dimensional plane including the branch point for each of the plurality of branch points included in the tubular structure, The generated projection image for each branch point can be superimposed on the branch point projection image.
また、管状構造物を気管支とすることができる。 The tubular structure can be a bronchus.
本発明の医用画像診断支援方法は、人体を撮影して得られた３次元画像を取得し、その取得した３次元画像に含まれる管状構造物を抽出し、その抽出した管状構造物に含まれる分岐点を体軸方向に直交する２次元平面上に投影した分岐点投影画像を生成することを特徴とする。 The medical image diagnosis support method of the present invention acquires a three-dimensional image obtained by photographing a human body, extracts a tubular structure included in the acquired three-dimensional image, and is included in the extracted tubular structure. A branch point projection image in which the branch point is projected onto a two-dimensional plane orthogonal to the body axis direction is generated.
本発明の医用画像診断支援プログラムは、コンピュータを、人体を撮影して得られた３次元画像を取得する３次元画像取得部と、３次元画像に含まれる管状構造物を抽出する管状構造物抽出部と、管状構造物に含まれる分岐点を体軸方向に直交する２次元平面上に投影した分岐点投影画像を生成する分岐点投影画像生成部として機能させることを特徴とする。 The medical image diagnosis support program according to the present invention includes a computer, a three-dimensional image acquisition unit that acquires a three-dimensional image obtained by photographing a human body, and a tubular structure extraction that extracts a tubular structure included in the three-dimensional image. And a branch point projection image generating unit that generates a branch point projection image in which a branch point included in the tubular structure is projected onto a two-dimensional plane orthogonal to the body axis direction.
本発明の医用画像診断支援装置および方法並びにプログラムによれば、人体を撮影して得られた３次元画像を取得し、その３次元画像に含まれる管状構造物を抽出し、その管状構造物に含まれる分岐点を体軸方向に直交する２次元平面上に投影した分岐点投影画像を生成するようにしたので、たとえば、この分岐点投影画像を用いて仮想内視鏡画像の現在位置を表示するようにすれば、気管支などの管状構造物全体の中における仮想内視鏡画像の視点の現在位置や進行方向を即座に把握することができる。また、管状構造物全体における分岐点の相対的位置関係を即座に把握することができる。 According to the medical image diagnosis support apparatus, method, and program of the present invention, a three-dimensional image obtained by photographing a human body is acquired, a tubular structure included in the three-dimensional image is extracted, and the tubular structure is extracted. Since a branch point projection image is generated by projecting the included branch point onto a two-dimensional plane orthogonal to the body axis direction, for example, the current position of the virtual endoscopic image is displayed using this branch point projection image. By doing so, it is possible to immediately grasp the current position and traveling direction of the viewpoint of the virtual endoscopic image in the entire tubular structure such as the bronchi. Moreover, the relative positional relationship of the branch point in the whole tubular structure can be grasped immediately.
また、上記本発明の医用画像診断支援装置において、管状構造物に含まれる分岐点のうち、経路上の分岐点を含む一部の分岐点のみを投影した分岐点投影画像を生成するようにした場合には、分岐点が多すぎて分岐点投影画像が煩雑になるのを防止することができる。 In the medical image diagnosis support apparatus of the present invention, a branch point projection image is generated by projecting only a part of the branch points included in the tubular structure including the branch points on the route. In this case, it is possible to prevent the branch point projection image from becoming complicated due to too many branch points.
また、経路上の分岐点をその他の分岐点とは異なる表示態様として分岐点投影画像を生成するようにした場合には、経路上における分岐点を即座に把握することができる。 Further, when the branch point projection image is generated with the branch point on the route as a display mode different from other branch points, the branch point on the route can be immediately grasped.
また、経路上の分岐点の体軸方向の位置に応じてその分岐点の表示態様を変化させて分岐点投影画像を生成するようにした場合には、たとえば手前側の分岐点から奥側の分岐点に向かって分岐点の色を薄くするようにした場合には、奥行感のある分岐点投影画像を生成することができる。 Further, when the branch point projection image is generated by changing the display mode of the branch point according to the position of the branch point on the route in the body axis direction, for example, from the front branch point to the far side When the color of the branch point is lightened toward the branch point, a branch point projection image with a sense of depth can be generated.
また、仮想的な内視鏡の視点位置が通過した後の経路上の分岐点を通過前の経路上の分岐点とは異なる表示態様として分岐点投影画像を生成するようにした場合には、仮想内視鏡画像の視点の現在位置をより即座に把握することができる。 In addition, when the branch point projection image is generated as a display mode different from the branch point on the route before passing the branch point on the route after the viewpoint position of the virtual endoscope passes, The current position of the viewpoint of the virtual endoscopic image can be grasped more immediately.
また、管状構造物の開始点から各分岐点までの距離情報を分岐点投影画像とともに表示すようにした場合には、各分岐点までの距離も即座に把握することができる。 Further, when the distance information from the starting point of the tubular structure to each branch point is displayed together with the branch point projection image, the distance to each branch point can be immediately grasped.
また、管状構造物に含まれる複数の分岐点のそれぞれについて、分岐点からの分岐先をその分岐点を含む２次元平面上に投影した投影画像を生成し、その生成した分岐点毎の投影画像を分岐点投影画像に重ね合せるようにした場合には、各分岐点の分岐先の様子についても即座に把握することができる。 Further, for each of a plurality of branch points included in the tubular structure, a projection image in which a branch destination from the branch point is projected onto a two-dimensional plane including the branch point is generated, and the generated projection image for each branch point Is superimposed on the branch point projection image, it is possible to immediately grasp the state of the branch destination of each branch point.
以下、本発明の医用画像診断支援装置および方法並びにプログラムの一実施形態を用いた内視鏡画像診断支援システムについて、図面を参照しながら詳細に説明する。図１は、本実施形態の内視鏡画像診断支援システムの概略構成を示すブロック図である。 Hereinafter, an endoscopic image diagnosis support system using an embodiment of a medical image diagnosis support apparatus and method and a program of the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram illustrating a schematic configuration of an endoscopic image diagnosis support system according to the present embodiment.
本実施形態の内視鏡画像診断支援システム１は、図１に示すように、内視鏡画像診断支援装置１０と、モニタ２０と、入力装置３０と、３次元画像保管サーバ４０とを備えている。 As shown in FIG. 1, the endoscope image diagnosis support system 1 of the present embodiment includes an endoscope image diagnosis support device 10, a monitor 20, an input device 30, and a three-dimensional image storage server 40. Yes.
内視鏡画像診断支援装置１０は、コンピュータに本実施形態の医用画像診断支援プログラムをインストールすることによって構成されたものである。
そして、内視鏡画像診断支援装置１０は、中央処理装置（ＣＰＵ）および半導体メモリや上述した医用画像診断支援プログラムがインストールされたハードディスクやＳＳＤ(Solid State Drive)等のストレージデバイスなどを備えており、これらのハードウェアによって、図１に示すような３次元画像取得部１１、グラフ構造生成部１２（管状構造物抽出部に相当する）、経路設定部１３、分岐点投影画像生成部１４、仮想内視鏡画像生成部１５、気管支３次元画像生成部１６および表示制御部１７が構成されている。そして、ハードディスクにインストールされた医用画像診断支援プログラムが中央処理装置によって実行されることによって上記各部がそれぞれ動作する。
The endoscopic image diagnosis support apparatus 10 is configured by installing the medical image diagnosis support program of the present embodiment in a computer.
The endoscopic image diagnosis support apparatus 10 includes a central processing unit (CPU), a semiconductor memory, a hard disk in which the above-described medical image diagnosis support program is installed, and a storage device such as an SSD (Solid State Drive). By these hardware, a three-dimensional image acquisition unit 11 as shown in FIG. 1, a graph structure generation unit 12 (corresponding to a tubular structure extraction unit), a path setting unit 13, a branch point projection image generation unit 14, a virtual An endoscope image generation unit 15, a bronchial three-dimensional image generation unit 16, and a display control unit 17 are configured. Then, the above-described units operate by the medical image diagnosis support program installed on the hard disk being executed by the central processing unit.
３次元画像取得部１１は、内視鏡装置を用いた手術前または検査前などに予め撮影された被検体の３次元画像を取得するものである。３次元画像としては、たとえばＣＴ装置やＭＲＩ（Magnetic Resonance Imaging）装置などから出力されたスライスデータから再構成されたボリュームデータや、ＭＳ（Multi Slice）ＣＴ装置やコーンビームＣＴ装置から出力されたボリュームデータなどがある。３次元画像は、３次元画像保管サーバ４０に被検者の識別情報とともに予め保管されており、３次元画像取得部１１は、入力装置３０において入力された被検者の識別情報に対応する３次元画像を３次元画像保管サーバ４０から読み出すものである。 The three-dimensional image acquisition unit 11 acquires a three-dimensional image of a subject that has been captured in advance before surgery or examination using the endoscope apparatus. As a three-dimensional image, for example, volume data reconstructed from slice data output from a CT apparatus or MRI (Magnetic Resonance Imaging) apparatus, or a volume output from an MS (Multi Slice) CT apparatus or cone beam CT apparatus. There is data. The three-dimensional image is stored in advance in the three-dimensional image storage server 40 together with the identification information of the subject, and the three-dimensional image acquisition unit 11 corresponds to the identification information of the subject input through the input device 30. A three-dimensional image is read from the three-dimensional image storage server 40.
グラフ構造生成部１２は、３次元画像取得部１１によって取得された３次元画像が入力され、その入力された３次元画像に含まれる管状構造物のグラフ構造を生成するものである。本実施形態においては、３次元画像に含まれる気管支のグラフ構造を生成する。以下、このグラフ構造の生成方法の一例を説明する。 The graph structure generation unit 12 receives the 3D image acquired by the 3D image acquisition unit 11 and generates a graph structure of a tubular structure included in the input 3D image. In the present embodiment, a bronchial graph structure included in the three-dimensional image is generated. Hereinafter, an example of a method for generating the graph structure will be described.
３次元画像に含まれる気管支は、気管支の内部の画素は空気領域に相当するためＣＴ画像上では低いＣＴ値（画素値）を示す領域として表れるが、気管支壁は比較的高いＣＴ値を示す円柱あるいは線状の構造物であると考えられる。そこで、各画素ごとにＣＴ値の分布に基づく形状の構造解析を行なって気管支を抽出する。 The bronchus included in the three-dimensional image appears as a region showing a low CT value (pixel value) on the CT image because the pixels inside the bronchi correspond to the air region, but the bronchial wall is a cylinder showing a relatively high CT value. Or it is thought that it is a linear structure. Therefore, bronchi are extracted by performing a structural analysis of the shape based on the distribution of CT values for each pixel.
気管支は多段階に分岐し末端に近づくほど気管支の径は小さくなっていく。異なるサイズの気管支（管状構造物）を検出することができるように、予め、三次元画像を多重解像度変換したガウシアンピラミッド画像、つまり異なる解像度の複数の三次元画像を生成し、その生成したガウシアンピラミッドの各画像ごとに検出アルゴリズムを走査することで異なるサイズの管状構造物を検出する。 The bronchus branches in multiple stages, and the diameter of the bronchus decreases as the end approaches. In order to be able to detect bronchus (tubular structures) of different sizes, a Gaussian pyramid image obtained by multi-resolution conversion of a three-dimensional image in advance, that is, a plurality of three-dimensional images having different resolutions, is generated, and the generated Gaussian pyramid By scanning the detection algorithm for each of the images, tubular structures of different sizes are detected.
まず、各解像度の三次元画像の各画素のヘッセ行列を算出し、ヘッセ行列の固有値の大小関係から管状構造物内の画素であるかを判定する。ヘッセ行列は、各軸（三次元画像のｘ軸、ｙ軸、ｚ軸）方向における濃度値の２階の偏微分係数を要素とする行列であり、下式のように３×３行列となる。
任意の画素におけるヘッセ行列の固有値をλ１、λ２、λ３としたとき、固有値のうち２つの固有値が大きく、１つの固有値が０に近い場合、例えば、λ３、λ２≫λ１、λ１≒０を満たすとき、その画素は管状構造物であることが知られている。また、ヘッセ行列の最小の固有値（λ１≒０）に対応する固有ベクトルが管状構造物の主軸方向に一致する。 When the eigenvalues of the Hessian matrix in an arbitrary pixel are λ1, λ2, and λ3, when two eigenvalues are large and one eigenvalue is close to 0, for example, when λ3, λ2 >> λ1, λ1≈0 is satisfied The pixel is known to be a tubular structure. In addition, the eigenvector corresponding to the minimum eigenvalue (λ1≈0) of the Hessian matrix coincides with the principal axis direction of the tubular structure.
気管支はグラフ構造で表すことができるが、このようにして抽出された管状構造物は、腫瘍などの影響により、全ての管状構造物が繋がった１つのグラフ構造として検出されるとは限らない。そこで、三次元画像全体の判別が終了後、検出された管状構造物が一定の距離内にあり、かつ抽出された二つの管状構造物上の任意の点を結ぶ基本線の向きと各管状構造物の主軸方向とが成す角が一定角度以内であるかについて評価することにより、複数の管状構造物が接続されるものであるか否かを判定して抽出された管状構造物の接続関係を再構築する。この再構築により、気管支のグラフ構造の抽出が完了する（詳細は、特開２０１０-２２０７４２号公報などを参照）。 Although the bronchi can be represented by a graph structure, the tubular structure extracted in this way is not always detected as one graph structure in which all the tubular structures are connected due to the influence of a tumor or the like. Therefore, after the discrimination of the entire three-dimensional image is completed, the detected tubular structure is within a certain distance, and the direction of the basic line connecting any point on the two extracted tubular structures and each tubular structure By evaluating whether or not the angle formed by the principal axis direction of the object is within a certain angle, it is determined whether or not a plurality of tubular structures are connected, and the connection relationship of the extracted tubular structures is determined. Rebuild. By this reconstruction, extraction of the bronchial graph structure is completed (for details, refer to JP2010-220742A).
そして、抽出したグラフ構造を、開始点・端点・分岐点・辺に分類し、開始点・端点・分岐点を辺で連結することによって、気管支を表すグラフ構造を得ることができる。本実施形態においては、このグラフ構造の各位置における気管支の径や各辺の長さ（気管支の分岐点間の長さ）などの特徴量もグラフ構造とともに取得する。図２は、グラフ構造の一例を示すものである。図２では、分岐点を白丸、端点を黒丸、辺を線で表している。 Then, the extracted graph structure is classified into a start point, an end point, a branch point, and a side, and the start point, the end point, and the branch point are connected by the side, whereby a graph structure representing the bronchi can be obtained. In the present embodiment, feature quantities such as the bronchus diameter and the length of each side (the length between bronchi branch points) at each position of the graph structure are also acquired together with the graph structure. FIG. 2 shows an example of the graph structure. In FIG. 2, branch points are represented by white circles, end points by black circles, and sides by lines.
なお、グラフ構造の生成方法としては、上述した方法に限らず、その他の方法を採用するようにしてもよい。 The graph structure generation method is not limited to the method described above, and other methods may be employed.
経路設定部１３は、グラフ構造生成部１２において生成されたグラフ構造における所定の始点から終点までの経路を設定するものである。具体的には、本実施形態における経路設定部１３は、グラフ構造の開始点を始点とし、肺に存在する腫瘍の位置を終点として経路を設定する。肺の腫瘍の位置については、画像処理などを用いて腫瘍を自動的に抽出することによって設定するようにしてもよいし、モニタ２０に表示された気管支の３次元画像上においてユーザがマウスなどの入力装置３０を用いて腫瘍の位置を指定することによって取得するようにしてもよい。なお、ここでいうグラフ構造の開始点は、気管支の入り口に相当することになる。 The route setting unit 13 sets a route from a predetermined start point to an end point in the graph structure generated by the graph structure generation unit 12. Specifically, the route setting unit 13 in the present embodiment sets the route with the start point of the graph structure as the start point and the position of the tumor existing in the lung as the end point. The position of the lung tumor may be set by automatically extracting the tumor using image processing or the like, or the user may select a mouse or the like on the three-dimensional image of the bronchus displayed on the monitor 20. You may make it acquire by designating the position of a tumor using the input device 30. FIG. Note that the starting point of the graph structure here corresponds to the entrance of the bronchus.
そして、経路設定部１３は、上述したようにグラフ構造の開始点と腫瘍の位置とが設定されると、その設定された開始点から腫瘍の位置に到達するまでの経路を探索する。なお、経路の探索には、従来から行われている種々の経路探索法を用いることができるが、探索する際、気管支の径・気管支の分岐先が曲がっている角度等に応じてコストを割り当てて、内視鏡の挿入に適した経路を探索するようにしてもよい。また、たとえば腫瘍の大きさがある程度大きい場合には、複数の経路を探索し、その複数の経路のうちの１つの経路を自動的に選択またはユーザによって選択するようにしてもよい。そして、経路設定部１３において設定された経路の情報は、分岐点投影画像生成部１４、仮想内視鏡画像生成部１５および気管支３次元画像生成部１６に出力される。 Then, when the start point of the graph structure and the position of the tumor are set as described above, the route setting unit 13 searches for a route from the set start point to the position of the tumor. The route search can use various conventional route search methods, but when searching, assign a cost according to the diameter of the bronchus, the angle at which the branch point of the bronchus is bent, etc. Thus, a route suitable for insertion of the endoscope may be searched. For example, when the size of the tumor is large to some extent, a plurality of routes may be searched, and one of the plurality of routes may be automatically selected or selected by the user. Then, the route information set in the route setting unit 13 is output to the branch point projection image generation unit 14, the virtual endoscope image generation unit 15, and the bronchial three-dimensional image generation unit 16.
分岐点投影画像生成部１４は、グラフ構造生成部１２において生成された気管支のグラフ構造が入力され、その気管支のグラフ構造に含まれる複数の分岐点を体軸方向に直交する２次元平面上に投影した分岐点投影画像を生成するものである。 The branch point projection image generation unit 14 receives the bronchial graph structure generated by the graph structure generation unit 12 and puts a plurality of branch points included in the bronchial graph structure on a two-dimensional plane orthogonal to the body axis direction. A projected branch point projected image is generated.
図３は、本実施形態において生成される分岐点投影画像の一例を示すものである。図３に示すｘ−ｙ平面が上述した体軸方向に直交する２次元平面であり、図３の紙面垂直方向（ｚ方向）が体軸方向である。 FIG. 3 shows an example of a branch point projection image generated in the present embodiment. The xy plane shown in FIG. 3 is a two-dimensional plane orthogonal to the body axis direction described above, and the direction perpendicular to the plane of the drawing (z direction) in FIG. 3 is the body axis direction.
図３に示すように、分岐点投影画像は模式的に表された画像であり、グラフ構造における分岐点が円などで表され、グラフ構造における辺が直線で表される。そして、グラフ構造における開始点、すなわち気管支の入り口が分岐点投影画像における基準点として設定され、この基準点が表示画面（図３においては四角枠で表している）内において中心に位置するように生成される。 As shown in FIG. 3, the branch point projection image is an image schematically represented. The branch point in the graph structure is represented by a circle or the like, and the side in the graph structure is represented by a straight line. Then, the starting point in the graph structure, that is, the entrance of the bronchus is set as a reference point in the branch point projection image, and this reference point is positioned at the center in the display screen (represented by a square frame in FIG. 3). Generated.
また、本実施形態の分岐点投影画像生成部１４は、グラフ構造に含まれる分岐点のうち、経路設定部１３において設定された経路上の分岐点を含む一部の分岐点のみを分岐点投影画像上に表すものである。すなわち、グラフ構造に含まれる全ての分岐点を投影するようにしたのでは、その数が多すぎて煩雑となるので、上述したように一部の分岐点のみを投影するようにする。表示対象となる一部の分岐点としては、たとえば、上述したように経路上の分岐点と、基準点から予め設定された数までの分岐点、たとえば基準点から３つ目までの分岐点や基準点から４つ目までの分岐点などとを含めるようにすればよい。なお、図３に示す分岐点投影画像は、説明のために見易いように簡略化して表したものであり、分岐点の数は正確なものではない。 In addition, the branch point projection image generation unit 14 of the present embodiment projects only some branch points including branch points on the route set by the route setting unit 13 among the branch points included in the graph structure. It is shown on the image. That is, if all the branch points included in the graph structure are projected, the number of the branch points is too many and complicated, so that only a part of the branch points is projected as described above. As some of the branch points to be displayed, for example, as described above, the branch points on the route and a predetermined number of branch points from the reference point, for example, the third branch point from the reference point, What is necessary is just to include the 4th branch point etc. from a reference point. Note that the branch point projection image shown in FIG. 3 is simplified for the sake of explanation, and the number of branch points is not accurate.
また、本実施形態の分岐点投影画像生成部１４は、経路設定部１３において設定された経路上の分岐点および辺を、その他の分岐点および辺とは異なる表示態様として分岐点投影画像を生成するものである。具体的には、たとえば、図３に示すように経路上の分岐点および辺を、その他の分岐点および辺よりも太い線で表示したり、もしくはその他の分岐点および辺とは異なる色で表示したりする。 Further, the branch point projection image generation unit 14 of the present embodiment generates a branch point projection image with the branch points and sides on the route set by the route setting unit 13 as a display mode different from other branch points and sides. To do. Specifically, for example, as shown in FIG. 3, the branch points and sides on the route are displayed with thicker lines than the other branch points and sides, or displayed in a color different from the other branch points and sides. To do.
また、本実施形態の分岐点投影画像生成部１４は、後述する仮想内視鏡画像生成部１５における視点位置の移動に応じて経路上の分岐点の表示態様を変化させるものであるが、その作用については後で詳述する。 Further, the branch point projection image generation unit 14 of the present embodiment changes the display mode of the branch point on the route according to the movement of the viewpoint position in the virtual endoscope image generation unit 15 described later. The operation will be described in detail later.
分岐点投影画像生成部１４において生成された分岐点投影画像は、表示制御部１７に出力される。 The branch point projection image generated by the branch point projection image generation unit 14 is output to the display control unit 17.
仮想内視鏡画像生成部１５は、３次元画像取得部１１によって取得された３次元画像が入力され、その入力された３次元画像に基づいて、気管支の内側から内視鏡を用いて撮影したと仮定した場合の仮想内視鏡画像をボリュームレンダリングにより取得するものである。そして、仮想内視鏡画像生成部１５によって取得された仮想内視鏡画像は、表示制御部１７に出力される。図５は仮想内視鏡画像の一例を示すものである。なお、仮想内視鏡画像の生成方法については、既に公知であるので詳細な説明は省略する。 The virtual endoscopic image generation unit 15 receives the 3D image acquired by the 3D image acquisition unit 11 and captures an image from the inside of the bronchus using the endoscope based on the input 3D image. In this case, a virtual endoscopic image is obtained by volume rendering. Then, the virtual endoscopic image acquired by the virtual endoscopic image generation unit 15 is output to the display control unit 17. FIG. 5 shows an example of a virtual endoscopic image. Note that a method for generating a virtual endoscopic image is already known, and thus detailed description thereof is omitted.
仮想内視鏡画像の視点位置は、経路設定部１３において設定された経路に沿って移動するものである。視点位置を移動させる方法としては、たとえば経路の開始点から終点まで自動的に移動させるようにしてもよいし、もしくはモニタ２０に表示された気管支の３次元画像上において、ユーザがマウスなどの入力装置３０を用いて経路に沿ってカーソルを移動させることによって視点位置を移動させるようにしてもよい。なお、入力装置３０は、ユーザの所定の設定入力を受け付けるものであるが、上述したとおり移動指示受付部の機能も有するものである。 The viewpoint position of the virtual endoscopic image moves along the route set by the route setting unit 13. As a method of moving the viewpoint position, for example, it may be automatically moved from the start point to the end point of the route, or the user inputs an input such as a mouse on the three-dimensional image of the bronchus displayed on the monitor 20. You may make it move a viewpoint position by moving a cursor along a path | route using the apparatus 30. FIG. The input device 30 receives a user's predetermined setting input, but also has a function of a movement instruction receiving unit as described above.
そして、仮想内視鏡画像生成部１５において設定された視点位置の情報は、分岐点投影画像生成部１４にも入力される。分岐点投影画像生成部１４は、入力された視点位置の情報に基づいて、視点位置が通過した後の経路上の分岐点および辺と、通過前の経路上の分岐点および辺とを異なる表示態様で表示させる。具体的には、たとえば、視点位置が通過した後の経路上の分岐点および辺と、通過前の経路上の分岐点および辺とを異なる色で表示するようにしてもよいし、異なるコントラストで表示するようにしてもよい。 Information on the viewpoint position set in the virtual endoscopic image generation unit 15 is also input to the branch point projection image generation unit 14. The branch point projection image generation unit 14 displays differently the branch point and the side on the route after the viewpoint position passes and the branch point and the side on the route before the passage based on the input viewpoint position information. Display in a manner. Specifically, for example, the branch point and the side on the route after the viewpoint position passes and the branch point and the side on the route before the passage may be displayed in different colors or with different contrasts. You may make it display.
気管支３次元画像生成部１６は、グラフ構造生成部１２において生成された気管支のグラフ構造に基づいて、気管支をボリュームレンダリングした気管支３次元画像を生成するものである。そして、気管支３次元画像生成部１６は、気管支３次元画像上に、経路設定部１３において設定された経路の画像を重ねたものを表示制御部１７に出力するものである。 The bronchial three-dimensional image generation unit 16 generates a bronchial three-dimensional image in which bronchi are volume-rendered based on the bronchial graph structure generated by the graph structure generation unit 12. Then, the bronchial three-dimensional image generation unit 16 outputs an image obtained by superimposing the image of the route set by the route setting unit 13 on the bronchial three-dimensional image to the display control unit 17.
表示制御部１７は、分岐点投影画像生成部１４から出力された分岐点投影画像と、仮想内視鏡画像生成部１５から出力された仮想内視鏡画像と、気管支３次元画像生成部１６から出力された経路の画像を含む気管支３次元画像とが入力され、これらを並べてモニタ２０に表示させるものである。 The display control unit 17 outputs the branch point projection image output from the branch point projection image generation unit 14, the virtual endoscope image output from the virtual endoscope image generation unit 15, and the bronchial three-dimensional image generation unit 16. A bronchial three-dimensional image including the output route image is input and displayed on the monitor 20 side by side.
分岐点投影画像が表示される際には、図３に示すように、分岐点投影画像の投影方向（体軸方向）が表示画面の画面奥行方向（ｘ方向およびｙ方向に直交するｚ方向）と一致するように表示されるとともに、上述したように分岐点投影画像の基準点が表示画面の中心に位置するように表示される。 When the branch point projection image is displayed, as shown in FIG. 3, the projection direction (body axis direction) of the branch point projection image is the screen depth direction of the display screen (z direction orthogonal to the x direction and the y direction). And the reference point of the branch point projection image is displayed so as to be positioned at the center of the display screen as described above.
また、気管支３次元画像が表示される際には、図４に示すように、気管支３次元画像の体軸方向が表示画面の画面奥行方向（ｘ方向およびｙ方向に直交するｚ方向）と一致するように表示されるとともに、気管支３次元画像の入り口が表示画面の中心に位置するように表示される。 When a bronchial 3D image is displayed, as shown in FIG. 4, the body axis direction of the bronchial 3D image matches the screen depth direction of the display screen (z direction orthogonal to the x direction and the y direction). And the entrance of the bronchial 3D image is displayed at the center of the display screen.
また、仮想内視鏡画像としては、気管支３次元画像に重ねて表示された経路上において設定された視点位置に基づいて生成されたものが表示される。 Further, as the virtual endoscopic image, an image generated based on the viewpoint position set on the route displayed superimposed on the bronchial three-dimensional image is displayed.
次に、本実施形態の内視鏡画像診断支援システム１の作用について、図６に示すフローチャートを参照しながら説明する。なお、以下の説明は、内視鏡装置による検査や手術の前における仮想内視鏡画像を用いた内視鏡挿入シミュレーション方法を説明したものである。 Next, the operation of the endoscope image diagnosis support system 1 of the present embodiment will be described with reference to the flowchart shown in FIG. The following description explains an endoscope insertion simulation method using a virtual endoscopic image before an examination or operation by an endoscope apparatus.
まず、ユーザによって入力装置３０を用いて被検者の識別情報が入力され、３次元画像取得部１１は、その入力された識別情報に対応する３次元画像を３次元画像保管サーバ４０から読み出して取得する（Ｓ１０）。 First, the identification information of the subject is input by the user using the input device 30, and the three-dimensional image acquisition unit 11 reads out the three-dimensional image corresponding to the input identification information from the three-dimensional image storage server 40. Obtain (S10).
３次元画像取得部１１によって取得された３次元画像はグラフ構造生成部１２に出力され、グラフ構造生成部１２は、入力された３次元画像に含まれる気管支のグラフ構造を生成する（Ｓ１２）。 The three-dimensional image acquired by the three-dimensional image acquisition unit 11 is output to the graph structure generation unit 12, and the graph structure generation unit 12 generates a bronchial graph structure included in the input three-dimensional image (S12).
グラフ構造生成部１２において生成されたグラフ構造は気管支３次元画像生成部１６に出力され、気管支３次元画像生成部１６は、入力されたグラフ構造に基づいて、気管支のボリュームレンダリングを行って気管支３次元画像を生成し、これを表示制御部１７に出力する。そして、表示制御部１７は、図１１に示すような気管支３次元画像をモニタ２０に表示させる（Ｓ１４）。なお、このとき、図１１に示すように気管支３次元画像とともに腫瘍についても表示するようにしてもよい。 The graph structure generated by the graph structure generation unit 12 is output to the bronchial three-dimensional image generation unit 16, and the bronchial three-dimensional image generation unit 16 performs bronchi volume rendering based on the input graph structure and performs bronchi 3. A dimensional image is generated and output to the display control unit 17. Then, the display control unit 17 displays a bronchial three-dimensional image as shown in FIG. 11 on the monitor 20 (S14). At this time, the tumor may be displayed together with the bronchial three-dimensional image as shown in FIG.
次いで、経路設定部１３は、グラフ構造生成部１２において生成されたグラフ構造の開始点を始点とし、肺に存在する腫瘍の位置を終点として経路を設定する（Ｓ１６）。 Next, the route setting unit 13 sets a route with the start point of the graph structure generated by the graph structure generation unit 12 as the start point and the position of the tumor existing in the lung as the end point (S16).
そして、経路設定部１３において設定された経路情報は表示制御部１７に出力され、表示制御部１７は、図４に示すように気管支３次元画像上に、入力された経路の情報を画像として表示させる。 Then, the route information set in the route setting unit 13 is output to the display control unit 17, and the display control unit 17 displays the input route information as an image on the bronchial three-dimensional image as shown in FIG. Let
次に、モニタ２０に表示された気管支３次元画像上において、ユーザによって入力装置３０を用いて気管支の入り口が仮想内視鏡画像の最初の視点位置として指定される（Ｓ１８）。そして、ユーザによって指定された視点位置の情報は、仮想内視鏡画像生成部１５と分岐点投影画像生成部１４とに出力される。 Next, on the bronchial three-dimensional image displayed on the monitor 20, the user designates the entrance of the bronchus as the first viewpoint position of the virtual endoscopic image using the input device 30 (S18). Information on the viewpoint position designated by the user is output to the virtual endoscopic image generation unit 15 and the branch point projection image generation unit 14.
仮想内視鏡画像生成部１５は、視点位置が入力されると、その視点位置から経路に沿った方向を見た仮想内視鏡画像を生成し、その生成した仮想内視鏡画像を表示制御部１７に出力する（Ｓ２０）。 When a viewpoint position is input, the virtual endoscopic image generation unit 15 generates a virtual endoscopic image in which a direction along the route is viewed from the viewpoint position, and performs display control of the generated virtual endoscopic image. It outputs to the part 17 (S20).
また、分岐点投影画像生成部１４にグラフ構造生成部１２において生成された気管支のグラフ構造が入力され、分岐点投影画像生成部１４は、その入力されたグラフ構造に含まれる複数の分岐点を体軸方向に直交する２次元平面上に投影した分岐点投影画像を生成する（Ｓ２０）。 Further, the bronchial graph structure generated in the graph structure generating unit 12 is input to the branch point projected image generating unit 14, and the branch point projected image generating unit 14 selects a plurality of branch points included in the input graph structure. A branch point projection image projected on a two-dimensional plane orthogonal to the body axis direction is generated (S20).
そして、このとき分岐点投影画像生成部１４には、経路設定部１３において設定された経路の情報も入力され、分岐点投影画像生成部１４は、その経路の情報に基づいて、経路上の分岐点および辺をその他の分岐点および辺とは異なる表示態様として分岐点投影画像を生成する。具体的には、たとえば、図７（ａ）に示すように経路上の分岐点および辺を太い線とし、その他の分岐点および辺を細い線とする。 At this time, the information on the route set in the route setting unit 13 is also input to the branch point projection image generation unit 14, and the branch point projection image generation unit 14 branches on the route based on the information on the route. A branch point projection image is generated with the points and sides as a display mode different from other branch points and sides. Specifically, for example, as shown in FIG. 7A, branch points and sides on the route are made thick lines, and other branch points and sides are made thin lines.
さらに分岐点投影画像生成部１４は、入力された仮想内視鏡画像の視点位置の情報に基づいて、気管支の入り口に対応する基準点の表示態様をその他の経路上の分岐点は異なる表示態様として分岐点投影画像を生成する。具体的には、たとえば、図７（ａ）に示すように基準点の色を青とし、その他の経路上の分岐点を赤とする。 Further, the branch point projection image generation unit 14 displays the reference point display mode corresponding to the entrance of the bronchus based on the input information of the viewpoint position of the virtual endoscopic image, and the display mode in which the branch point on the other route is different. A branch point projection image is generated as follows. Specifically, for example, as shown in FIG. 7A, the color of the reference point is blue, and the branch point on the other route is red.
そして、仮想内視鏡画像生成部１５によって生成された仮想内視鏡画像と分岐点投影画像生成部１４によって生成された分岐点投影画像とが表示制御部１７に出力される。表示制御部１７は、入力された分岐点投影画像と仮想内視鏡画像とを気管支３次元画像とともにモニタ２０に並べて表示する（Ｓ２２）。 Then, the virtual endoscopic image generated by the virtual endoscopic image generation unit 15 and the branch point projection image generated by the branch point projection image generation unit 14 are output to the display control unit 17. The display control unit 17 displays the input branch point projection image and virtual endoscopic image side by side on the monitor 20 together with the bronchial three-dimensional image (S22).
次に、ユーザによって入力装置３０を用いて仮想内視鏡画像の視点位置が経路に沿って移動される（Ｓ２４）。この視点位置の移動にともなって、仮想内視鏡画像生成部１５は、その移動先の視点位置の仮想内視鏡画像を順次生成し、その生成した仮想内視鏡画像を表示制御部１７に順次出力する。表示制御部１７は、入力された仮想内視鏡画像に基づいて、モニタ２０に表示された仮想内視鏡画像を順次更新する（Ｓ２６）。 Next, the viewpoint position of the virtual endoscopic image is moved along the route by the user using the input device 30 (S24). Along with the movement of the viewpoint position, the virtual endoscopic image generation unit 15 sequentially generates virtual endoscopic images at the viewpoint position of the movement destination, and the generated virtual endoscopic image is displayed on the display control unit 17. Output sequentially. The display control unit 17 sequentially updates the virtual endoscopic images displayed on the monitor 20 based on the input virtual endoscopic image (S26).
また、分岐点投影画像生成部１４は、仮想内視鏡画像の視点位置の移動にともなって、視点位置が通過した後の経路上の分岐点および辺と、通過前の経路上の分岐点および辺とを異なる表示態様とした分岐点投影画像を順次生成し、その生成した分岐点投影画像を表示制御部１７に順次出力する。具体的には、たとえば、図７（ａ）〜図７（ｄ）に示すように視点位置が通過した後の経路上の分岐点および辺を青とし、通過前の経路上の分岐点および辺とを赤とした分岐点投影画像を順次生成する。表示制御部１７は、入力された分岐点投影画像に基づいて、モニタ２０に表示された分岐点投影画像を順次更新する（Ｓ２６）。 In addition, the branch point projection image generation unit 14 moves the viewpoint position of the virtual endoscopic image, the branch point and the side on the path after the viewpoint position passes, the branch point on the path before the passage, Branch point projection images having different display modes from the sides are sequentially generated, and the generated branch point projection images are sequentially output to the display control unit 17. Specifically, for example, as shown in FIGS. 7A to 7D, the branch point and the side on the route after the viewpoint position has passed are blue, and the branch point and the side on the route before the passage are blue The branch point projection images with red and are sequentially generated. The display control unit 17 sequentially updates the branch point projection images displayed on the monitor 20 based on the input branch point projection image (S26).
上記実施形態の内視鏡画像診断支援システム１によれば、人体を撮影して得られた３次元画像を取得し、その３次元画像に含まれる気管支を抽出し、その気管支に含まれる分岐点を体軸方向に直交する２次元平面上に投影した分岐点投影画像を生成し、この分岐点投影画像を用いて仮想内視鏡画像の視点の現在位置を表示するようにしたので、気管支全体の中における仮想内視鏡画像の現在位置や進行方向を即座に把握することができる。 According to the endoscope image diagnosis support system 1 of the above embodiment, a three-dimensional image obtained by photographing a human body is acquired, a bronchus included in the three-dimensional image is extracted, and a branch point included in the bronchus Is generated on a two-dimensional plane orthogonal to the body axis direction, and the current position of the viewpoint of the virtual endoscopic image is displayed using this branch point projection image. It is possible to immediately grasp the current position and the traveling direction of the virtual endoscopic image inside.
また、分岐点投影画像を観察することによって、気管支における分岐点同士の相対的位置関係を即座に把握することができ、また、所定の分岐点に到達した後の分岐の数や、経路上にある分岐点数を把握することができる。 Moreover, by observing the branch point projection image, the relative positional relationship between the branch points in the bronchus can be immediately grasped, and the number of branches after reaching the predetermined branch point and the route The number of certain branch points can be grasped.
また、気管支の入り口を基準点とすることによって基準点を分岐点との相対的位置関係を把握することができ、気管支の入り口からの進行方向を把握することができる。 In addition, by using the entrance of the bronchus as a reference point, the relative positional relationship between the reference point and the branch point can be grasped, and the traveling direction from the bronchus entrance can be grasped.
また、視点位置が通過した後の経路上の分岐点および辺と、通過前の経路上の分岐点および辺とを異なる表示態様としたので、経路の終点までの残りの分岐点数を把握することができる。 Also, because the branch point and edge on the route after the viewpoint position passes and the branch point and edge on the route before the passage are displayed differently, the number of remaining branch points until the end point of the route can be grasped Can do.
また、上記の内視鏡画像診断支援システム１の作用の説明は、内視鏡装置による検査や手術の前における仮想内視鏡画像を用いた内視鏡挿入シミュレーションの方法を説明したものであるが、上述した分岐点投影画像は、内視鏡装置を用いて実際に検査や手術を行う際にも用いることができる。 The description of the operation of the endoscopic image diagnosis support system 1 described above describes a method of endoscopic insertion simulation using a virtual endoscopic image before an examination or operation by an endoscopic device. However, the above-described branch point projection image can also be used when actually performing an examination or an operation using the endoscope apparatus.
図８に示す実施形態の内視鏡画像診断支援システム２は、内視鏡装置を用いて実際に検査や手術を行う際に分岐点投影画像を用いることを想定して構成されたものである。具体的には、図８に示す実施形態の内視鏡画像診断支援システム２には、内視鏡装置５０における体腔内に挿入される挿入部の先端の位置情報を取得する内視鏡先端位置情報取得部１８が設けられている。なお、内視鏡装置５０の挿入部の先端には、たとえば加速度センサや磁気センサなどといった挿入部の先端の位置情報を検出するものが設けられているものとする。 The endoscope image diagnosis support system 2 according to the embodiment shown in FIG. 8 is configured on the assumption that a branch point projection image is used when actually performing an examination or an operation using the endoscope apparatus. . Specifically, in the endoscope image diagnosis support system 2 of the embodiment shown in FIG. 8, an endoscope distal end position that acquires positional information of the distal end of an insertion portion that is inserted into a body cavity in the endoscope apparatus 50 is acquired. An information acquisition unit 18 is provided. In addition, what detects the positional information on the front-end | tip of an insertion part, such as an acceleration sensor and a magnetic sensor, shall be provided in the front-end | tip of the insertion part of the endoscope apparatus 50, for example.
そして、内視鏡先端位置情報取得部１８によって取得された内視鏡先端の位置情報は、分岐点投影画像生成部１４に出力される。そして、分岐点投影画像生成部１４は、仮想内視鏡画像の視点位置が移動して順次入力された場合と同様に、内視鏡先端の位置の移動にともって、内視鏡先端位置が通過した後の経路上の分岐点および辺と、通過前の経路上の分岐点および辺とを異なる表示態様とした分岐点投影画像を順次生成し、その生成した分岐点投影画像を表示制御部１７に順次出力する。なお、内視鏡先端位置情報取得部１８によって取得される内視鏡先端の位置情報のｘｙｚ座標系と、分岐点投影画像生成部１４において生成される分岐点投影画像のｘｙｚ座標系とは予め一致させているものとする。 The endoscope tip position information acquired by the endoscope tip position information acquisition unit 18 is output to the branch point projection image generation unit 14. Then, the branch point projection image generation unit 14 moves the endoscope tip position according to the movement of the endoscope tip position in the same manner as when the viewpoint position of the virtual endoscope image is moved and sequentially input. A branch point projection image in which the branch points and sides on the route after passing and the branch points and sides on the route before passing are differently displayed is sequentially generated, and the generated branch point projection image is displayed on the display control unit. 17 sequentially output. Note that the xyz coordinate system of the position information of the endoscope tip acquired by the endoscope tip position information acquisition unit 18 and the xyz coordinate system of the branch point projection image generated by the branch point projection image generation unit 14 are in advance. Assume that they match.
そして、表示制御部１７は、入力された分岐点投影画像に基づいて、モニタ２０に表示された分岐点投影画像を順次更新する。また、内視鏡装置５０によって撮像されたライブ画像も表示制御部１７に入力され、表示制御部１７は、そのライブ画像をモニタ２０に表示させる。 Then, the display control unit 17 sequentially updates the branch point projection images displayed on the monitor 20 based on the input branch point projection images. In addition, a live image captured by the endoscope apparatus 50 is also input to the display control unit 17, and the display control unit 17 causes the monitor 20 to display the live image.
上記のように構成した場合には、分岐点投影画像を観察することによって、内視鏡装置５０の挿入部先端の気管支全体の中における現在位置と進行方向とを即座に把握することができる。 When configured as described above, the current position and the traveling direction in the entire bronchus at the distal end of the insertion portion of the endoscope apparatus 50 can be immediately grasped by observing the branch point projection image.
また、上記実施形態の内視鏡画像診断支援システム１，２において、分岐点投影画像の各分岐点の奥行方向（ｚ方向）の相対的な位置関係を把握しやすいように、各分岐点の奥行方向の位置に応じて各分岐点の表示態様を変化させるようにしてもよい。具体的には、たとえば基準点から分岐点までの奥行方向の距離が大きいほど分岐点の色を薄くして表示するようにしてもよい。これにより奥行感のある分岐点投影画像を表示することができ、各分岐点の奥行方向の相対的な位置関係を把握しやすくなる。 Further, in the endoscopic image diagnosis support systems 1 and 2 of the above embodiment, each branch point can be easily identified so that the relative positional relationship in the depth direction (z direction) of each branch point of the branch point projection image can be easily understood. You may make it change the display mode of each branch point according to the position of a depth direction. Specifically, for example, as the distance in the depth direction from the reference point to the branch point is larger, the color of the branch point may be displayed lighter. This makes it possible to display a branch point projection image with a sense of depth, and to easily grasp the relative positional relationship of each branch point in the depth direction.
また、上記実施形態の内視鏡画像診断支援システム１，２においては、気管支のグラフ構造をｚ方向（体軸方向）に直交するｘ−ｙ平面上に投影した分岐点投影画像を生成して表示するようにしたが、さらに、気管支のグラフ構造をｘ−ｚ平面上に投影した分岐点投影画像と、気管支のグラフ構造をｙ−ｚ平面上に投影した分岐点投影画像とを生成し、ｘ−ｙ平面上に投影した分岐点投影画像とともに表示するようにしてもよい。これにより基準点、終点（腫瘍の位置）、分岐点および経路の３次元位置を即座に把握することができる。 Further, in the endoscopic image diagnosis support systems 1 and 2 of the above embodiment, a branch point projection image is generated by projecting the graph structure of the bronchus on the xy plane orthogonal to the z direction (body axis direction). Further, a branch point projection image obtained by projecting the bronchial graph structure on the xz plane and a branch point projection image obtained by projecting the bronchial graph structure on the yz plane are generated. You may make it display with the branch point projection image projected on the xy plane. Thereby, the reference point, the end point (tumor position), the branch point, and the three-dimensional position of the route can be immediately grasped.
また、上記実施形態の内視鏡画像診断支援システム１，２における分岐点投影画像生成部１４において、分岐点投影画像の各分岐点について、その分岐先の様子をより把握し易い画像をさらに生成するようにしてもよい。 Further, in the branch point projection image generation unit 14 in the endoscopic image diagnosis support systems 1 and 2 of the above-described embodiment, for each branch point of the branch point projection image, an image that makes it easier to grasp the state of the branch destination is further generated You may make it do.
具体的には、分岐点投影画像に含まれる複数の分岐点のそれぞれについて、その分岐点からの分岐先をその分岐点を含む２次元平面上に投影した投影画像を生成する。そして、その生成した分岐点毎の投影画像を分岐点投影画像に重ね合せたものを生成する。 Specifically, for each of a plurality of branch points included in the branch point projection image, a projection image is generated by projecting a branch destination from the branch point onto a two-dimensional plane including the branch point. Then, the generated projection image for each branch point is superimposed on the branch point projection image.
上述した投影画像を生成する方法については、図９に示すように、分岐点投影画像における所定の分岐点について、分岐前の辺の方向ベクトルＶ１と、分岐先の辺の方向ベクトルＶ２，Ｖ３とを求め、分岐先の方向ベクトルＶ２，Ｖ３の終点を、方向ベクトルＶ１に対して垂直な２次元平面上に投影する。そして、図９および図１０に示すように、２次元平面上における投影点Ｐ２，Ｐ３を中心とした分岐先の気管支の径を有する投影画像Ｂ１を取得する。なお、上記方向ベクトルＶ２，Ｖ３の長さについては分岐前の気管支の径と同じ長さに設定されるものとする。 With respect to the method for generating the projection image described above, as shown in FIG. 9, for a predetermined branch point in the branch point projection image, the direction vector V1 of the side before branching, and the direction vectors V2 and V3 of the branch destination side And the end points of the branch direction vectors V2 and V3 are projected onto a two-dimensional plane perpendicular to the direction vector V1. Then, as shown in FIGS. 9 and 10, a projection image B1 having a branching bronchus diameter centered on the projection points P2 and P3 on the two-dimensional plane is acquired. The lengths of the direction vectors V2 and V3 are set to the same length as the diameter of the bronchus before branching.
そして、上述したようにして生成した投影画像Ｂ１を、図１０に示すように分岐点投影画像上の各分岐点の画像内に重ねるようにすればよい。 Then, the projection image B1 generated as described above may be superimposed on the image of each branch point on the branch point projection image as shown in FIG.
なお、投影画像Ｂ１の形状については必ずしも円でなくてもよく、分岐先の気管支の形状に基づいて楕円などにしてもよい。また、投影画像Ｂ１の径ついては、たとえば元の分岐点から分岐先の分岐点までの間の気管支の径の平均などを用いるようにすればよい。 Note that the shape of the projection image B1 does not necessarily have to be a circle, and may be an ellipse or the like based on the shape of the branching bronchus. As for the diameter of the projection image B1, for example, the average diameter of the bronchus from the original branch point to the branch destination branch point may be used.
また、上記実施形態の内視鏡画像診断支援システム１，２において、分岐点投影画像の各分岐点の基準点からの距離情報を取得し、図１１に示すように、その距離情報Ｄ１〜Ｄ３を分岐点投影画像に付加して表示するようにしてもよい。 Further, in the endoscope image diagnosis support systems 1 and 2 of the above-described embodiment, distance information from the reference point of each branch point of the branch point projection image is acquired, and the distance information D1 to D3 as shown in FIG. May be added to the branch point projection image for display.
なお、上記実施形態においては、人体の気管支を対象として分岐点投影画像や仮想内視鏡画像を生成するようにしたが、気管支と同様の解剖学的・画像的特徴を有するその他の管状構造物にも本発明を適用することができる。 In the above embodiment, the branch point projection image and the virtual endoscopic image are generated for the bronchus of the human body, but other tubular structures having anatomical and image characteristics similar to those of the bronchi. The present invention can also be applied to.
１ 内視鏡画像診断支援システム
１０ 内視鏡画像診断支援装置
１１ ３次元画像取得部
１２ グラフ構造生成部
１３ 経路設定部
１４ 分岐点投影画像生成部
１５ 仮想内視鏡画像生成部
１６ 気管支３次元画像生成部
１７ 表示制御部
１８ 内視鏡先端位置情報取得部
２０ モニタ
３０ 入力装置
４０ 次元画像保管サーバ
５０ 内視鏡装置
DESCRIPTION OF SYMBOLS 1 Endoscopic image diagnosis support system 10 Endoscope image diagnosis support apparatus 11 Three-dimensional image acquisition part 12 Graph structure generation part 13 Path | route setting part 14 Branch point projection image generation part 15 Virtual endoscopic image generation part 16 Bronchial three-dimensional Image generation unit 17 Display control unit 18 Endoscope tip position information acquisition unit 20 Monitor 30 Input device 40 Dimensional image storage server 50 Endoscope device
Claims (15)
前記３次元画像に含まれる管状構造物を抽出する管状構造物抽出部と、
前記管状構造物に含まれる分岐点を体軸方向に直交する２次元平面上に投影した分岐点投影画像を生成する分岐点投影画像生成部とを備えたことを特徴とする医用画像診断支援装置。 A three-dimensional image acquisition unit that acquires a three-dimensional image obtained by photographing a human body;
A tubular structure extraction unit for extracting the tubular structure included in the three-dimensional image;
A medical image diagnosis support apparatus, comprising: a branch point projection image generation unit configured to generate a branch point projection image obtained by projecting a branch point included in the tubular structure onto a two-dimensional plane orthogonal to the body axis direction. .
前記分岐点投影画像生成部が、前記管状構造物に含まれる分岐点のうち、前記経路上の分岐点を含む一部の分岐点のみを投影した前記分岐点投影画像を生成するものであることを特徴とする請求項１記載の医用画像診断支援装置。 A path setting unit that sets a path from a predetermined start point to an end point in the tubular structure;
The branch point projection image generation unit generates the branch point projection image obtained by projecting only a part of the branch points included in the tubular structure including the branch points on the route. The medical image diagnosis support apparatus according to claim 1.
該仮想内視鏡画像生成部が、前記経路上に沿って仮想的な前記内視鏡の視点位置を変化させた前記仮想内視鏡画像を生成するものであり、
前記分岐点投影画像生成部が、前記仮想的な内視鏡の視点位置が通過した後の前記経路上の分岐点を通過前の前記経路上の分岐点とは異なる表示態様として前記分岐点投影画像を生成するものであることを特徴とする請求項２から５いずれか１項記載の医用画像診断支援装置。 Based on the three-dimensional image, a virtual endoscopic image generation unit that acquires a virtual endoscopic image virtually generated as a result of photographing with an endoscope inserted into the human body,
The virtual endoscopic image generating unit generates the virtual endoscopic image obtained by changing a virtual viewpoint position of the endoscope along the path;
The branch point projection image generation unit displays the branch point on the path after the viewpoint position of the virtual endoscope has passed as a display mode different from the branch point on the path before the passage. 6. The medical image diagnosis support apparatus according to claim 2, wherein the medical image diagnosis support apparatus generates an image.
前記表示制御部が、前記体軸方向と前記表示画面の画面奥行方向とが一致するようにして前記分岐点投影画像を表示させるものであることを特徴とする請求項１から７いずれか１項記載の医用画像診断支援装置。 A display control unit for displaying the branch point projection image in a display screen;
The said display control part displays the said branch point projection image so that the said body-axis direction and the screen depth direction of the said display screen may correspond, The any one of Claim 1 to 7 characterized by the above-mentioned. The medical image diagnosis support apparatus described.
該取得した３次元画像に含まれる管状構造物を抽出し、
該抽出した管状構造物に含まれる分岐点を体軸方向に直交する２次元平面上に投影した分岐点投影画像を生成することを特徴とする医用画像診断支援方法。 Obtain a 3D image obtained by photographing the human body,
Extracting the tubular structure contained in the acquired three-dimensional image;
A medical image diagnosis support method, comprising: generating a branch point projection image obtained by projecting a branch point included in the extracted tubular structure on a two-dimensional plane orthogonal to the body axis direction.
人体を撮影して得られた３次元画像を取得する３次元画像取得部と、
前記３次元画像に含まれる管状構造物を抽出する管状構造物抽出部と、
前記管状構造物に含まれる分岐点を体軸方向に直交する２次元平面上に投影した分岐点投影画像を生成する分岐点投影画像生成部として機能させることを特徴とする医用画像診断支援プログラム。 Computer
A three-dimensional image acquisition unit that acquires a three-dimensional image obtained by photographing a human body;
A tubular structure extraction unit for extracting the tubular structure included in the three-dimensional image;
A medical image diagnosis support program that functions as a branch point projection image generation unit that generates a branch point projection image obtained by projecting a branch point included in the tubular structure onto a two-dimensional plane orthogonal to the body axis direction.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012058770A JP5785120B2 (en) | 2012-03-15 | 2012-03-15 | Medical image diagnosis support apparatus and method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012058770A JP5785120B2 (en) | 2012-03-15 | 2012-03-15 | Medical image diagnosis support apparatus and method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013188440A JP2013188440A (en) | 2013-09-26 |
| JP5785120B2 true JP5785120B2 (en) | 2015-09-24 |
Family
ID=49389333
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012058770A Expired - Fee Related JP5785120B2 (en) | 2012-03-15 | 2012-03-15 | Medical image diagnosis support apparatus and method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5785120B2 (en) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103764041B (en) * | 2012-08-08 | 2015-12-09 | 株式会社东芝 | Medical diagnostic imaging apparatus, image processing apparatus and image processing method |
| US9189866B2 (en) * | 2013-03-11 | 2015-11-17 | Kabushiki Kaisha Toshiba | Vascular tree from anatomical landmarks and a clinical ontology |
| JP6371729B2 (en) * | 2015-03-25 | 2018-08-08 | 富士フイルム株式会社 | Endoscopy support apparatus, operation method of endoscopy support apparatus, and endoscope support program |
| CN105261052B (en) | 2015-11-03 | 2018-09-18 | 沈阳东软医疗系统有限公司 | Method for drafting and device is unfolded in lumen image |
| JP6780936B2 (en) * | 2016-01-13 | 2020-11-04 | ザイオソフト株式会社 | Medical image processing equipment, medical image processing methods, and medical image processing programs |
| JP6702751B2 (en) * | 2016-02-16 | 2020-06-03 | キヤノンメディカルシステムズ株式会社 | Medical image display device, medical image display system and program |
| JP6847011B2 (en) * | 2017-03-29 | 2021-03-24 | 富士フイルム株式会社 | 3D image processing equipment and methods and programs |
| JP6929687B2 (en) * | 2017-04-12 | 2021-09-01 | ザイオソフト株式会社 | Medical image processing equipment, medical image processing methods, and medical image processing programs |
| JP6820805B2 (en) * | 2017-06-30 | 2021-01-27 | 富士フイルム株式会社 | Image alignment device, its operation method and program |
| JP7408362B2 (en) | 2019-11-29 | 2024-01-05 | キヤノンメディカルシステムズ株式会社 | Medical information providing device, control method for medical information providing device, and program |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6369812B1 (en) * | 1997-11-26 | 2002-04-09 | Philips Medical Systems, (Cleveland), Inc. | Inter-active viewing system for generating virtual endoscopy studies of medical diagnostic data with a continuous sequence of spherical panoramic views and viewing the studies over networks |
| JP4573517B2 (en) * | 2003-10-29 | 2010-11-04 | オリンパス株式会社 | Insertion support system |
-
2012
- 2012-03-15 JP JP2012058770A patent/JP5785120B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013188440A (en) | 2013-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5785120B2 (en) | Medical image diagnosis support apparatus and method, and program | |
| JP5918548B2 (en) | Endoscopic image diagnosis support apparatus, operation method thereof, and endoscopic image diagnosis support program | |
| JP6348078B2 (en) | Branch structure determination apparatus, operation method of branch structure determination apparatus, and branch structure determination program | |
| JP6371729B2 (en) | Endoscopy support apparatus, operation method of endoscopy support apparatus, and endoscope support program | |
| JP6594133B2 (en) | Endoscope position specifying device, operation method of endoscope position specifying device, and endoscope position specifying program | |
| JP4676021B2 (en) | Diagnosis support apparatus, diagnosis support program, and diagnosis support method | |
| JP5826082B2 (en) | Medical image diagnosis support apparatus and method, and program | |
| JP5748520B2 (en) | Endoscope insertion support apparatus, operation method thereof, and endoscope insertion support program | |
| JP5457841B2 (en) | Medical image processing apparatus and medical image processing program | |
| US10398286B2 (en) | Medical image display control apparatus, method, and program | |
| JP2007511268A (en) | Method and apparatus for visualizing tubular structures | |
| JP5554028B2 (en) | Medical image processing apparatus, medical image processing program, and X-ray CT apparatus | |
| JP7441934B2 (en) | Processing device, endoscope system, and method of operating the processing device | |
| US9558589B2 (en) | Medical image display apparatus, method, and program | |
| WO2015111308A1 (en) | Three-dimensional medical image display control device, operation method thereof, and three-dimensional medical image display control program | |
| JP6199267B2 (en) | Endoscopic image display device, operating method thereof, and program | |
| JP6026357B2 (en) | Virtual endoscopic image generation apparatus and method, and program | |
| JP2019010382A (en) | Image positioning apparatus, method, and program | |
| JP6745748B2 (en) | Endoscope position specifying device, its operating method and program | |
| JP5918734B2 (en) | MEDICAL IMAGE PROCESSING DEVICE, ITS OPERATION METHOD, AND MEDICAL IMAGE PROCESSING PROGRAM | |
| JP6847011B2 (en) | 3D image processing equipment and methods and programs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140528 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150123 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150203 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150403 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150707 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150723 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5785120 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |