JP5487264B2 - Biological data model creation method and apparatus - Google Patents

Biological data model creation method and apparatus Download PDF

Info

Publication number
JP5487264B2
JP5487264B2 JP2012196834A JP2012196834A JP5487264B2 JP 5487264 B2 JP5487264 B2 JP 5487264B2 JP 2012196834 A JP2012196834 A JP 2012196834A JP 2012196834 A JP2012196834 A JP 2012196834A JP 5487264 B2 JP5487264 B2 JP 5487264B2
Authority
JP
Japan
Prior art keywords
point
extraction
data
target
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012196834A
Other languages
Japanese (ja)
Other versions
JP2012245374A (en
Inventor
健太郎 高波
学 長坂
英男 坂本
正人 緒方
秀夫 横田
博行 島井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
RIKEN Institute of Physical and Chemical Research
Mitsubishi Precision Co Ltd
Original Assignee
RIKEN Institute of Physical and Chemical Research
Mitsubishi Precision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by RIKEN Institute of Physical and Chemical Research, Mitsubishi Precision Co Ltd filed Critical RIKEN Institute of Physical and Chemical Research
Priority to JP2012196834A priority Critical patent/JP5487264B2/en
Publication of JP2012245374A publication Critical patent/JP2012245374A/en
Application granted granted Critical
Publication of JP5487264B2 publication Critical patent/JP5487264B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Generation (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、手術のシミュレーションをするために用いる生体データの作成及びその装置に関するものである。 The present invention relates to creation of biological data used for simulating surgery and an apparatus therefor .

近年、医療と工学の融合が急速に深まり、先端的計算技術を活用する手術シミュレータが提案された。これらは手術対象の生体をポリゴンで構成し、基本的に臓器の表面のみを模擬するものであり、このため、内部構造を持つ複雑な臓器の力学的なシミュレーションが正確に行えない。3次元ボリュームデータでのモデル作成が急務であった。   In recent years, fusion of medicine and engineering has deepened rapidly, and a surgical simulator utilizing advanced calculation technology has been proposed. In these methods, the living body to be operated is composed of polygons and basically only the surface of the organ is simulated, and therefore, dynamic simulation of a complex organ having an internal structure cannot be performed accurately. There was an urgent need to create a model with three-dimensional volume data.

解決しようとする問題点は、手術シミュレータ開発に伴い、患者固有であり、内部構造を持ち、生体力学シミュレーション可能なデータモデルの作成が必須であった。その実現への課題は以下の通りである。
・医療画像データの利用を図ること
・画像情報による生体部分の物性値の付与をすること
・対象臓器を画像データから分離すること
・三次元生体データモデルを作成すること
The problem to be solved has been patient-specific with the development of a surgical simulator, and it has been essential to create a data model having an internal structure and capable of biomechanical simulation. The challenges for its realization are as follows.
・ Use medical image data ・ Apply physical property values of biological parts based on image information ・ Separate target organs from image data ・ Create a three-dimensional biological data model

請求項1に係る生体データモデル作成方法は、生体を撮像した医用画像から生体の部位を抽出する際に、抽出対象領域内部の一点を注目点として指定し、その近傍画素に対し注目点との類似判定を行い、医用画像データにより三次元データモデルを作成する方法において、コンピュータ画面上で対話的処理により抽出開始点並びに開始点周辺の抽出対象点及び非抽出対象点を選択し、コンピュータが備える教師データ作成手段がこれらの情報により初期教師データを作成する第1の過程と、コンピュータが備える閾値決定手段が、初期位置は抽出開始点とする注目点を中心とする局所領域にて、局所領域としての抽出判定領域における抽出対象点データ集合のメディアン値と、抽出判定領域における非抽出対象点データ集合のメディアン値とからなる内部の教師データより閾値を決定する第2の過程と、コンピュータが備える注目点更新手段が、前記第2の過程において決定した閾値により注目点を対象か非対象かを判定する第3の過程と、コンピュータが備える注目点更新手段が、前記第3の過程による判定結果を判定結果データ及び教師データに追加してメディアン値を更新する第4の過程と、コンピュータが備える注目点更新手段が、局所領域内で最後に対象領域と判定された点を新たな注目点とし、その点を中心とする局所領域にて第2から第4の過程の処理を実行し、局所領域内部で対象領域と判定される点がない場合、処理完了とする第5の過程とからなることを特徴とするものである。 In the biometric data model creation method according to claim 1, when extracting a part of a living body from a medical image obtained by imaging the living body, a point inside the extraction target region is designated as a point of interest, and the neighboring pixel In the method of performing similarity determination and creating a three-dimensional data model from medical image data, the computer selects an extraction start point, extraction target points around the start point, and non-extraction target points by interactive processing on a computer screen, and the computer has The first process in which the teacher data creating means creates initial teacher data based on these pieces of information, and the threshold value determining means provided in the computer is a local area centered around the point of interest as an extraction start point. And the median value of the extraction target point data set in the extraction determination area and the median value of the non-extraction target point data set in the extraction determination area as A second step of determining a threshold value from the internal teacher data, and a third step of determining whether the target point update means included in the computer determines whether the target point is a target or non-target based on the threshold value determined in the second step and process, the target point update means provided to the computer, and a fourth step of updating the median value by adding the determination result by said third step determination result to the data and teacher data, the target point updating unit included in the computer , The point determined last as the target region in the local region is set as a new attention point, and the processing of the second to fourth processes is executed in the local region centered on the point, When there is no point determined to be, it is characterized by comprising the fifth step of completing the processing.

請求項2に係る生体データモデル作成装置は、生体を撮像した医用画像から生体の部位を抽出する際に、抽出対象領域内部の一点を注目点として指定し、その近傍画素に対し注目点との類似判定を行い、医用画像データにより三次元データモデルを作成する装置において、コンピュータ画面上で対話的処理により選択された抽出開始点並びに開始点周辺の抽出対象点及び非抽出対象点の情報により初期教師データを作成するとともにメディアン値を更新する教師データ作成手段と、初期位置は抽出開始点とする注目点を中心とする局所領域にて、局所領域としての抽出判定領域における抽出対象点データ集合のメディアン値と、抽出判定領域における非抽出対象点データ集合のメディアン値とからなる内部の教師データより閾値を決定する閾値決定手段と、前記決定した閾値により注目点を対象か非対象かを判定してその結果を判定結果データ及び教師データに追加するとともに局所領域内で最後に対象領域と判定された点を新たな注目点とし、その点を中心とする局所領域にて処理を実行し、局所領域内部で対象領域と判定される点がない場合、処理完了とする注目点更新手段とからなることを特徴とするものである。   The biometric data model creation device according to claim 2 specifies a point inside the extraction target region as a point of interest when extracting a part of the living body from a medical image obtained by imaging the living body, In an apparatus for performing similarity determination and creating a three-dimensional data model from medical image data, the initial value is determined based on the extraction start point selected by interactive processing on the computer screen, and information on extraction target points and non-extraction target points around the start point. Teacher data creation means for creating the teacher data and updating the median value, and the initial position of the extraction target point data set in the extraction determination region as the local region in the local region centered on the attention point as the extraction start point Threshold value that determines the threshold value from the internal teacher data consisting of the median value and the median value of the non-extractable point data set in the extraction judgment area The determination means determines whether or not the target point is a target or non-target based on the determined threshold value, adds the result to the determination result data and the teacher data, and newly sets the point determined last as the target region in the local region The processing is performed in a local region centered on the point as a point of interest, and when there is no point determined to be the target region within the local region, the point of interest is updated, and the point of interest is updated. Is.

請求項1に係る生体データモデル作成方法によると、第2の過程において、初期位置は抽出開始点とする注目点を中心とする局所領域にて、局所領域としての抽出判定領域における抽出対象点データ集合のメディアン値と、抽出判定領域における非抽出対象点データ集合のメディアン値とからなる内部の教師データより閾値を決定し、第3の過程において、前記第2の過程において決定した閾値により注目点を対象か非対象かを判定し、第4の過程において、前記第3の過程による判定結果を判定結果データ及び教師データに追加してメディアン値を更新する。これらの各過程を局所領域の情報を使用して評価基準生成しているから、対象領域抽出において局所的な閾値を持つことができ、実際の生体の特徴分布に近づけて対象か非対象かを判定することができる。   According to the biometric data model creation method according to claim 1, in the second process, the initial position is a local area centered on the point of interest as the extraction start point, and the extraction target point data in the extraction determination area as the local area A threshold value is determined from internal teacher data consisting of the median value of the set and the median value of the non-extractable point data set in the extraction determination area. In the third process, the attention point is determined by the threshold determined in the second process. In the fourth process, the determination result in the third process is added to the determination result data and the teacher data to update the median value. Since each of these processes is generated as an evaluation criterion using local region information, it is possible to have a local threshold in target region extraction and determine whether it is a target or non-target close to the actual biological feature distribution. Can be determined.

請求項2に係る生体データモデル作成装置によると、閾値決定手段が、初期位置は抽出開始点とする注目点を中心とする局所領域にて、局所領域としての抽出判定領域における抽出対象点データ集合のメディアン値と、抽出判定領域における非抽出対象点データ集合のメディアン値とからなる内部の教師データより閾値を決定し、注目点更新手段が、前記決定した閾値により注目点を対象か非対象かを判定してその結果を判定結果データ及び教師データに追加するとともに局所領域内で最後に対象領域と判定された点を新たな注目点とし、その点を中心とする局所領域にて処理を実行し、局所領域内部で対象領域と判定される点がない場合、処理完了とする。これら閾値決定手段と注目点更新手段とは、局所領域の情報を使用して評価基準生成しているから、対象領域抽出において局所的な閾値を持つことができ、実際の生体の特徴分布に近づけて対象か非対象かを判定することができる。   According to the biological data model creation device according to claim 2, the threshold value determination unit is an extraction target point data set in an extraction determination region as a local region, with the initial position being a local region centered on a point of interest having an extraction start point. A threshold value is determined from the internal teacher data consisting of the median value of the image and the median value of the non-extractable target point data set in the extraction determination region, and the attention point update means determines whether the attention point is the target or non-target based on the determined threshold value And the result is added to the determination result data and the teacher data, and the last point determined as the target area in the local area is set as a new attention point, and the process is executed in the local area centered on that point. However, if there is no point determined to be the target region within the local region, the processing is completed. Since these threshold value determination means and attention point update means generate evaluation criteria using local area information, they can have local threshold values in target area extraction, and approximate to the actual biological feature distribution. To determine whether it is a target or non-target.

図1は、生体データモデル作成装置を説明する機能ブロック図である。図1において、101はCT画像データファイル、102はMRI画像データファイル、103はPET画像データファイル、104は歪み補正部、105はセグメンテーション部、106は物性値付与部、107は物性値テーブル、108は有限要素分割部、109は前処理部、110は四面体分割部、111は後処理部、112は構造化ファイルである。歪み補正部104から後処理部111全体をコンピュータで構成し、各ブロックの機能を実現する。さらに、CT画像データファイル101、MRI画像データファイル102及びPET画像データファイル103は、医用画像データであり、生体の断面を背の高さ方向に所定の範囲について順次撮影した画像すなわちスライス画像の複数を格納している。CT、MRI、PETはそれぞれ画像センサを構成し、それぞれの画像はセンサ画像を与え、センサ画像にはそれぞれCT値又はMRI値又はPET値と呼ばれるセンサ値を有し、各組織の材料特性に対する固有の値が色の濃淡として写っている。   FIG. 1 is a functional block diagram illustrating a biological data model creation device. In FIG. 1, 101 is a CT image data file, 102 is an MRI image data file, 103 is a PET image data file, 104 is a distortion correction unit, 105 is a segmentation unit, 106 is a physical property value assigning unit, 107 is a physical property value table, 108 Is a finite element division unit, 109 is a preprocessing unit, 110 is a tetrahedral division unit, 111 is a post-processing unit, and 112 is a structured file. The distortion correction unit 104 to the entire post-processing unit 111 are configured by a computer to realize the function of each block. Furthermore, the CT image data file 101, the MRI image data file 102, and the PET image data file 103 are medical image data, and a plurality of images obtained by sequentially photographing a cross section of a living body within a predetermined range in the height direction, that is, a plurality of slice images. Is stored. CT, MRI, and PET each constitute an image sensor, and each image provides a sensor image, and each sensor image has a sensor value called a CT value, an MRI value, or a PET value, and is specific to the material properties of each tissue. The value of is shown as shades of color.

図2、図3は、異なる2種の画像センサデータからの生体断面画像に基づいて、より好ましい生体断面画像を得る技術を説明するブロック図及びフロー図であり、図2は図1における歪み補正部104を含む。
操作者は、例えば手術対象者のCT画像データファイル101、MRI画像データファイル102又はPET画像データファイル103中から、対になる例えばCT画像データファイル101、MRI画像データファイル102を選択し(図3の過程P301)、第1の画像表示装置201の画面上にCT画像、第2の画像表示装置202の画面上にMRI画像を組として表示する。このとき、表示する画像は、同一人の体について同一断面であり、順次断面箇所を替えて表示することができる。また、CT画像は、MRI画像よりも空間解像度が高く、撮像時にも歪みも生じないため組織の形状をより正確に捉えられる特徴がある。また、MRI画像は、軟部組織の分解能が高いためCT画像よりも情報量が多く、そのゆえCT画像よりも多くの組織の物性値が取得可能であり、撮像装置によっては撮像時に歪みが生じる場合もあり、形状が正確に写っていない場合がある。各画像に特徴が異なり、それぞれの利点を活かすため、CT画像の輪郭を含む形状に、MRI画像による組織画像を再配置する。なお、PETはコンピュータ断層撮影技術の一種であり、癌診断等に利用されており、CT/MRI画像と併用して癌化した臓器のモデル生成が可能となる。
実施例では、CT/MRI画像を選択し、CT画像の輪郭にMRI画像による組織画像を再配置しているが、これに限らずCT/MRI/PET画像いずれかを対として組み合わせ一方を輪郭、他方をそれに再配置する組織画像用としてもよく、本発明の技術範囲に属する。
操作者は、表示されたCT画像、MRI画像から同一箇所を指している特徴点を複数個設定する(図3の過程P302)。コンピュータはこの特徴点の設定により、両画像画面上のその特徴点に指定番号を付して表示する。この特徴点は、医師としての専門家の知識と経験に基づき、画像を観察することにより、骨や体組織の鋭角部を特徴点として両画面上で1点ずつの組として対応付ける(図4(a),(b))。特徴点群記憶手段203は、操作者が指定した特徴点の番号に対応して、それぞれの画面の特徴点座標を記憶する。
多項式群設定手段204は、各特徴点について例えば前記指定番号ごとに、特徴点群記憶手段203からCT画像における特徴点座標x,yと、MRI画像における特徴点座標u,vを読み出し、射影変換式
u=(ax+ay+a)/(ax+ay+1)
v=(ax+ay+a)/(ax+ay+1)
に当てはめる(図3の過程P303)。変換係数計算手段205は前記多項式群設定手段204で設定した多項式群を最小二乗法によって解き、変換係数a〜aを導出する(図3の過程P304)。変換係数a〜aは、8であるので、8個以上の方程式を連立させておき、変換係数a〜aを導出する。特徴点1組で2つの方程式が成立するので、特徴点は最低4組必要である。
輪郭補正手段206は、前記変換係数計算手段205が導出した変換係数a〜aを第2の画像表示装置202に表示されているMRI画像について前記射影変換式に当てはめ、対応するCT画像の座標を求めるとともに線形補間による再配置を実施して画像の歪みを補正する(図3の過程P305)。再配置により、MRI画像をCRT画像に対応した位置が計算され、配置される。この処理により、生体の断面例えば胴部分の輪郭がCT画像による輪郭と一致した画像を得ることができる(図4(c))。この輪郭補正した画像を歪み補正画像格納部207に記憶する。
2 and 3 are a block diagram and a flow diagram for explaining a technique for obtaining a more preferable biological cross-sectional image based on a biological cross-sectional image from two different types of image sensor data, and FIG. 2 is a distortion correction in FIG. Part 104 is included.
The operator selects, for example, the CT image data file 101 and the MRI image data file 102 to be paired from the CT image data file 101, the MRI image data file 102, or the PET image data file 103 of the operation subject (FIG. 3). Step P301), the CT image is displayed on the screen of the first image display device 201 and the MRI image is displayed as a set on the screen of the second image display device 202. At this time, the images to be displayed have the same cross section with respect to the same person's body, and can be displayed by sequentially changing the cross-sectional portions. In addition, CT images have a higher spatial resolution than MRI images and do not cause distortion during imaging, and thus have a feature that allows the shape of a tissue to be captured more accurately. In addition, MRI images have a larger amount of information than CT images because of the high resolution of soft tissues, and therefore, more physical property values of tissues can be acquired than CT images, and distortion may occur during imaging depending on the imaging device. There is also a case where the shape is not accurately reflected. In order to take advantage of the advantages of each image, the tissue image based on the MRI image is rearranged into a shape including the contour of the CT image. PET is a kind of computer tomography technique and is used for cancer diagnosis and the like, and it is possible to generate a model of a cancerous organ in combination with a CT / MRI image.
In the embodiment, a CT / MRI image is selected, and a tissue image based on the MRI image is rearranged on the contour of the CT image. However, the present invention is not limited to this. The other may be used for a tissue image to be rearranged on it, and belongs to the technical scope of the present invention.
The operator sets a plurality of feature points pointing to the same location from the displayed CT image and MRI image (process P302 in FIG. 3). By setting the feature points, the computer displays the feature points on both image screens with a designated number. These feature points are associated with each other as a set of points on both screens by using the sharp corners of bones and body tissues as feature points by observing images based on the knowledge and experience of specialists as doctors (FIG. 4 ( a), (b)). The feature point group storage means 203 stores the feature point coordinates of the respective screens corresponding to the feature point numbers designated by the operator.
The polynomial group setting unit 204 reads out the feature point coordinates x and y in the CT image and the feature point coordinates u and v in the MRI image from the feature point group storage unit 203 for each specified number, for example, for each specified number, and performs projective transformation. Formula u = (a 1 x + a 2 y + a 3 ) / (a 7 x + a 8 y + 1)
v = (a 4 x + a 5 y + a 6 ) / (a 7 x + a 8 y + 1)
(Step P303 in FIG. 3). The transform coefficient calculation means 205 solves the polynomial group set by the polynomial group setting means 204 by the least square method and derives the transform coefficients a 1 to a 8 (process P304 in FIG. 3). Since the conversion coefficients a 1 to a 8 are 8, eight or more equations are connected simultaneously to derive the conversion coefficients a 1 to a 8 . Since two equations are established by one set of feature points, at least four sets of feature points are required.
The contour correction unit 206 applies the conversion coefficients a 1 to a 8 derived by the conversion coefficient calculation unit 205 to the projective conversion formula for the MRI image displayed on the second image display device 202, and calculates the corresponding CT image. The coordinates are obtained and rearrangement is performed by linear interpolation to correct image distortion (process P305 in FIG. 3). By rearrangement, the position corresponding to the CRT image is calculated and arranged for the MRI image. By this processing, an image in which the cross section of the living body, for example, the contour of the trunk portion matches the contour of the CT image can be obtained (FIG. 4C). The contour corrected image is stored in the distortion corrected image storage unit 207.

次に、人体の臓器を抽出(セグメンテーション)するため、以下のような技術について説明する。すなわち、抽出対象領域内部の一点(注目点)を指定し、その近傍画素に対し注目点との類似判定を行い、類似と判定された画素を取り込むことで注目点との類似領域を拡張してゆき対象領域を抽出するリージョングローイング法(領域成長法)と呼ばれる画像領域抽出法を改良し、その類似度判定において、(1)抽出対象領域及び非抽出領域の位置及び画素値である既得情報を判定の教師データとして使用、(2)注目点付近の局所領域の情報のみを判定に使用、及び(3)判定基準にメディアンを用いて、3次元人体データより対象領域を抽出するものである。
ここで局所領域の情報のみを使用することの理由を説明する。リージョングローイング処理は全領域の特徴分布が正規分布と仮定した上で領域拡張の評価基準(閾値)を生成している。生体ボリュームデータは画像の特徴分布が正規分布に倣うという仮定は必ずしも成立しないため、対象領域抽出においては局所的な評価基準をもつ必要があり、その評価基準生成のため、局所領域の情報のみを使用する。
図5、図6は、セグメンテーション部105の動作機能を説明する機能ブロック図及びフロー図である。
前記輪郭補正手段206で歪み補正されたMRI画像すなわち抽出対象部位を含む人体3次元データである医用画像データは入力され、第2の画像表示装置202に表示される。操作者は当該画面を観察し、抽出しようとする部位としての臓器の局所領域(=抽出判定領域)を画面上で指定するとともにその局所領域のサイズ(局所領域の幅、高さ、奥行きのピクセルサイズ)を局所領域サイズ格納部501に入力する(図6の過程P601)。局所領域のサイズは抽出処理ごとに設定変更可能である。
教師データ作成手段502は、コンピュータ画面すなわち第2の画像表示装置202上で対話的処理により抽出開始点並びに開始点周辺の抽出対象点及び非抽出対象点を選択するとともに、これらの情報を、抽出結果を書き込むデータ配列に「1:領域内、−1:領域外、0:未処理」という形式で書き込み、初期教師データとする(図6の過程P602)。このデータは教師データ格納部503に記憶される。
閾値決定手段504は、前記抽出開始点を初期位置としてその注目点を中心とする局所領域にて、局所領域としての抽出判定領域における抽出対象点データ集合のメディアン値と、抽出判定領域における非抽出対象点データ集合のメディアン値とからなる内部の教師データより閾値を決定する(図6の過程P603)。このときの閾値は以下の式により決定する。
閾値=((medT+medF)/2)・(1−α)
ここで、α:シフト値、
medT:抽出判定領域における抽出対象点データ(画素値)集合のメディアン値
medF:抽出判定領域における非抽出対象点データ(画素値)集合のメディアン値
シフト値α(0≦α≦1)は抽出強度を示しており、α=0をデフォルト値としてαを大きく設定すると抽出条件が緩くなり抽出が素数がデフォルト値の時よりも増え、小さいほど抽出条件が厳しくなり、抽出画素数が減ることとなる。メディアン値を用いることにより、抽出判定において、画像の特徴(画素値の差)の急激な変化及び近隣の既抽出領域に影響を受けない。
注目点更新手段505は、前記閾値決定手段504が決定した閾値により注目点を対象か非対象か(抽出すべき臓器であるか、臓器でないか)を判定する(図6の過程P604)。さらに注目点更新手段505は、その結果を判定結果データ格納部506及び教師データ格納部503に追加し(図6の過程P605)て、閾値決定手段504によるさらなる閾値決定に供する。また、注目点更新手段505は、局所領域内で最後に対象領域と判定された点を新たな注目点とする(図6の過程P606)。
その点を中心とする局所領域にて、図6の過程P603から過程P605の処理を局所領域内部で対象領域と判定される点がなくなるまで実行する(図6の過程P607)。抽出すべき1つの臓器について、局所領域内部で対象領域と判定される点がない場合、1枚の画像について処理完了とする。この処理を前記背の高さ方向に所定の範囲について順次撮影した複数のスライス画像について行う。他の臓器を抽出するときは同様の処理を行う。
Next, in order to extract (segmentation) human organs, the following technique will be described. That is, one point (attention point) inside the extraction target area is specified, similarity determination with the attention point is performed on the neighboring pixels, and the similar area with the attention point is expanded by taking in the pixels determined to be similar. The image region extraction method called region growing method (region growth method) that extracts the snow target region has been improved, and in the similarity determination, (1) the acquired information that is the position and pixel value of the extraction target region and the non-extraction region It is used as teacher data for determination, (2) only information on the local region near the point of interest is used for determination, and (3) a median is used as a determination criterion to extract a target region from three-dimensional human body data.
Here, the reason for using only local area information will be described. The region growing process generates an evaluation criterion (threshold value) for region expansion on the assumption that the feature distribution of the entire region is a normal distribution. Since the assumption that the feature distribution of the image follows the normal distribution does not necessarily hold for biological volume data, it is necessary to have a local evaluation criterion in the target region extraction. use.
5 and 6 are a functional block diagram and a flow diagram for explaining the operation function of the segmentation unit 105.
The MRI image whose distortion has been corrected by the contour correcting means 206, that is, medical image data that is three-dimensional human body data including the extraction target part, is input and displayed on the second image display device 202. The operator observes the screen and designates a local region (= extraction determination region) of the organ as a part to be extracted on the screen and the size of the local region (local region width, height, depth pixels) Size) is input to the local region size storage unit 501 (process P601 in FIG. 6). The size of the local area can be changed for each extraction process.
The teacher data creation unit 502 selects the extraction start point, the extraction target points around the start point, and the non-extraction target points by interactive processing on the computer screen, that is, the second image display device 202, and extracts these pieces of information. The result is written in the data array in which the result is written in the format of “1: in the region, −1: outside the region, 0: unprocessed” and set as initial teacher data (process P602 in FIG. 6). This data is stored in the teacher data storage unit 503.
The threshold value determining means 504 uses the extraction start point as an initial position, a median value of the extraction target point data set in the extraction determination area as a local area, and a non-extraction in the extraction determination area in the local area centered on the attention point. A threshold value is determined from the internal teacher data composed of the median value of the target point data set (process P603 in FIG. 6). The threshold value at this time is determined by the following equation.
Threshold = ((medT + medF) / 2) · (1−α)
Where α: shift value,
medT: median value of the set of extraction target point data (pixel value) in the extraction determination area medF: median value shift value α (0 ≦ α ≦ 1) of the non-extraction target point data (pixel value) set in the extraction determination area is the extraction intensity When α is set to a large value with α = 0 as the default value, the extraction condition becomes loose, and the number of extraction increases compared to the case where the prime number is the default value. The smaller the value, the stricter the extraction condition, and the smaller the number of extracted pixels. . By using the median value, the extraction determination is not affected by abrupt changes in image characteristics (difference in pixel values) and neighboring already extracted regions.
The point-of-interest update unit 505 determines whether the point of interest is a target or non-target (whether it is an organ to be extracted or not an organ) based on the threshold value determined by the threshold value determination unit 504 (process P604 in FIG. 6). Further, the point-of-interest update unit 505 adds the result to the determination result data storage unit 506 and the teacher data storage unit 503 (process P605 in FIG. 6), and provides the threshold determination unit 504 for further threshold determination. Further, the point-of-interest updating unit 505 sets a point determined last as the target region in the local region as a new point of interest (process P606 in FIG. 6).
The process from step P603 to step P605 in FIG. 6 is executed in the local region centered on the point until there is no point determined as the target region inside the local region (step P607 in FIG. 6). For one organ to be extracted, if there is no point determined to be the target region within the local region, the processing is completed for one image. This process is performed for a plurality of slice images that are sequentially captured in a predetermined range in the height direction of the spine. The same process is performed when extracting other organs.

次に、前記セグメンテーション部105の注目点更新手段505により得た対象部位を抽出した3次元画像データを、スライス画像単位でGUIを用いて手動による抽出部位の追加又は削除、及びスライス単位で選択した部位の重ね合わせを行い、模擬状況に沿った3次元画像データを出力する技術について説明する。
図7は機能ブロック図、図8はフロー図、図9は手動設定により抽出画像修理処理を説明する図、図10はスライス画像単位での抽出部位の統合を説明する図である。図7の機能ブロックは、セグメンテーション部105に含まれる。
操作者は、所定の範囲のスライス画像を指定して、画像合成手段701により、前記生体の背の高さ方向について同一位置のスライス画像すなわち前記注目点更新手段505から出力された抽出画像データによるスライス画像と歪み補正画像格納部206から得た抽出前の抽出元画像すなわち輪郭補正したスライス画像とを、両者が視覚的に区別できるように色分けして合成する(図8の過程P801)。この合成画像は例えば、第1の画像表示装置201に表示される。操作者はこの画面を見ることになる。
画像修正手段702は、前記画像合成手段701により合成され第1の画像表示装置201に表示された画像について元画像を基準に追加箇所を例えば赤でまたは削除箇所を例えば緑でそれぞれマウスで指定し、その追加、削除情報を抽出画像に反映した修正画像を出力する(図8の過程P802)。この追加は、前記過程P601〜過程P607の処理において抽出漏れがあったとき抽出を補完するためである。この追加処理は、前記過程P601〜過程P607の処理と同様に行う。また、削除箇所の指定とその修正は、余分な抽出が行われた場合を補完するためである。削除は、削除すべき箇所について、前記注目点について判定結果データ格納部506に記録されている抽出対象であることを示す結果情報を非抽出対象であることを示す情報に書きかえることにより行う。
図8の過程P802の処理をシミュレーションに必要な臓器の数だけ繰り返して実行する(図8の過程P803)。
3次元データ出力手段703は、前記画像修正手段702が作成した抽出部位の画像を模擬対象の手術内容に応じて複数選択し生体の断面画像単位で合成して得た合成画像を積層して出力する(図8の過程P804、図10)。模擬に必要な臓器のみを合成し、積層することにより、3次元データとして得られる。前述したように抽出処理は、1種類の臓器、組織について行っており、シミュレータに適用するモデルは通常複数の部位が存在するため、別個に抽出した部位を重ね合わせるものである。モデルには例えば、腎臓付近のモデル構築を考えた場合に腎臓、腎動脈、腎静脈及び腎臓周辺に存在する膜を考える。これらをそれぞれ抽出し、整形(画素の追加、削除)した後に合成してデータモデル作成用の3次元データとする。他にも、病院の各診療科(脳外科、心臓外科、…等)の要求に対応したモデル構築が可能である。
Next, the three-dimensional image data obtained by extracting the target part obtained by the attention point update unit 505 of the segmentation unit 105 is manually added or deleted using the GUI in units of slice images, and selected in units of slices. A technique for superimposing the parts and outputting three-dimensional image data according to the simulated situation will be described.
FIG. 7 is a functional block diagram, FIG. 8 is a flowchart, FIG. 9 is a diagram for explaining extraction image repair processing by manual setting, and FIG. 10 is a diagram for explaining integration of extraction sites in units of slice images. The functional blocks in FIG. 7 are included in the segmentation unit 105.
The operator designates a slice image within a predetermined range, and the image composition unit 701 uses the slice image at the same position in the height direction of the living body, that is, the extracted image data output from the attention point update unit 505. The slice image and the pre-extraction source image obtained from the distortion corrected image storage unit 206, that is, the contour corrected slice image, are color-coded and combined so that they can be visually distinguished (process P801 in FIG. 8). This synthesized image is displayed on the first image display device 201, for example. The operator sees this screen.
The image correction unit 702 designates the added portion, for example, in red or the deleted portion in green, for example, with the mouse based on the original image for the image synthesized by the image synthesizing unit 701 and displayed on the first image display device 201. Then, a corrected image in which the addition / deletion information is reflected in the extracted image is output (process P802 in FIG. 8). This addition is to supplement the extraction when there is an extraction failure in the processes of the process P601 to the process P607. This additional process is performed in the same manner as the process P601 to process P607. Moreover, the designation of the deleted part and the correction thereof are for complementing the case where extra extraction is performed. Deletion is performed by rewriting the result information indicating that it is an extraction target recorded in the determination result data storage unit 506 with respect to the point of interest, to the information indicating that it is a non-extraction target.
The process P802 in FIG. 8 is repeated for the number of organs necessary for the simulation (process P803 in FIG. 8).
The three-dimensional data output means 703 laminates and outputs a composite image obtained by selecting a plurality of extracted part images created by the image correction means 702 in accordance with the operation contents to be simulated and synthesizing them in units of biological cross-sectional images. (Step P804 in FIG. 8, FIG. 10). By synthesizing and stacking only organs necessary for simulation, three-dimensional data can be obtained. As described above, the extraction process is performed for one type of organ or tissue, and a model applied to the simulator usually has a plurality of parts, and therefore, the parts extracted separately are superimposed. As the model, for example, when the model construction near the kidney is considered, a kidney, a renal artery, a renal vein, and a membrane existing around the kidney are considered. Each of these is extracted, shaped (added or deleted), and then combined to obtain three-dimensional data for creating a data model. In addition, it is possible to construct a model that meets the demands of hospital departments (brain surgery, cardiac surgery, etc.).

次に、センサ値例えばCT値、MRI値に基づき、これに対応する既存の物理情報(Young率、Poisson比等)を生体データモデルに組み込む技術について説明する。
図11は動作機能を説明する機能ブロック図、図12は動作機能を説明するフロー図である。図13は構成を説明する図である。
歪み補正部104では、上述のように、生体の同一対象をCT画像とMRI画像として撮像した複数の医用画像を前記CT画像又はMRI画像の一方の輪郭を得、他方の画像を前記輪郭内に両画像の同一箇所を対応させて配置する(図12の過程P1201)。セグメンテーション部105では前記歪み補正部104が配置することで得られたCT画像又はMRI画像について生体部位を抽出する(図12の過程P1202)。CT/MRI画像にはそれぞれCT値又はMRI値と呼ばれる各組織の材料特性に対する固有の値が色の濃淡として写っている。物性値付与部106は、前記セグメンテーション部105で抽出した生体部位を示すCT値又はMRI値に対応する当該抽出部位の物性値を当該抽出生体の対象領域の画素と結びつけるため、物性値テーブル107に前記部位の物性値を記憶させて、用意する(図12の過程P1203、図13)。
このとき、物性値テーブルは物性値に、想定する模擬に対応した事故内容を規定した情報を含ませる(図12の過程P1203a)。例えば、腎臓モデルを考えた場合腎臓の一部が壊死したことを想定し、前述した図5、図6により説明した生体抽出の技術を当該壊死箇所に適用し、その領域に壊死に対応した物性値を付与する。なお、同一腎臓について壊死の部分と、壊死のない部分とは図7および図8により説明した重ね合わせの技術により1つの腎臓を再現する。
有限要素分割部108で、CT/MRI画像から生体モデルを生成する際に、CT値/MRI値に対応する物性値テーブル107から生体モデルを構成する要素毎に物性値を付与する。
Next, a technique for incorporating existing physical information (Young rate, Poisson ratio, etc.) corresponding to sensor values such as CT values and MRI values into a biological data model will be described.
FIG. 11 is a functional block diagram for explaining the operation function, and FIG. 12 is a flowchart for explaining the operation function. FIG. 13 is a diagram for explaining the configuration.
As described above, the distortion correction unit 104 obtains one outline of the CT image or MRI image from a plurality of medical images obtained by imaging the same target of a living body as a CT image and an MRI image, and places the other image in the outline. The same portions of both images are arranged corresponding to each other (process P1201 in FIG. 12). The segmentation unit 105 extracts a biological part from the CT image or MRI image obtained by the distortion correction unit 104 (step P1202 in FIG. 12). In the CT / MRI image, unique values for the material properties of each tissue called CT values or MRI values are shown as shades of color. The physical property value assigning unit 106 associates the physical property value of the extracted part corresponding to the CT value or the MRI value indicating the biological part extracted by the segmentation unit 105 with the pixel of the target region of the extracted biological part. The physical property value of the part is stored and prepared (process P1203 in FIG. 12, FIG. 13).
At this time, the physical property value table includes information defining the accident contents corresponding to the assumed simulation in the physical property value (process P1203a in FIG. 12). For example, assuming a kidney model, assuming that a part of the kidney is necrotic, the biological extraction technique described with reference to FIGS. 5 and 6 described above is applied to the necrotic site, and physical properties corresponding to necrosis are applied to the region. Assign a value. For the same kidney, the necrotic portion and the non-necrotic portion reproduce one kidney by the superposition technique described with reference to FIGS.
When the finite element dividing unit 108 generates a biological model from the CT / MRI image, a physical property value is assigned to each element constituting the biological model from the physical property value table 107 corresponding to the CT value / MRI value.

次に、ボリュームデータから生体データモデルを生成する際、処理負荷を考慮し、モデルデータの規模を制御し、且つ形状精度を保つ技術について説明する。
図14は機能ブロック図、図15はフロー図、図16はマーチンキューブ法を説明する図、図17は本発明の等値面決定則を従来法との違いとともに説明する図である。
前処理部109は、マーチングキューブ法で生体モデルの表面を生成し、八分木法等の既存手法で、内部の四面体メッシュを生成する。
ボリュームデータは、CT画像及びMRI画像から生成される3Dデータであり、画像のピクセルのように、格子状に規則正しく並んで情報を持っている。これに対し、生体部分を四面体要素の集まりで表したデータが生体モデルである。
ここでマーチングキューブ法の概略を図16を参照して説明する。セグメンテーションで生成されるボリュームデータに対し、ある閾値に対する境界を求めてポリゴンで表示する手法である。ボリュームデータは前述のように格子状に規則正しく並んでいる点(図16の丸印で示す点で内部が塗りつぶされているもの(●)は、生体の領域外の点を示し、丸印で示す点で内部が塗られていないもの(○)は、生体の領域内の点を示す。)の情報であり、隣り合う点の情報から、境界線(三次元を考えるから境界面)を生成する(図16の(×)印を結んだ線で形成される。)。出力であるこの境界線がすなわち生体領域の輪郭となる表面のポリゴンとなる。
図17に示すように、丸印で示す点で内部が塗りつぶされているもの(●)は、生体の領域外の点を示し、丸印で示す点で内部が塗られていないもの(○)は、生体の領域内の点を示し、(×)を等値面すなわち境界線上にある点を示す。図17(a)の元データを、図17(b)(従来の場合)、同図(c)(本発明手法の場合)のように隣り合う格子点が領域の内外が異なる場合に後述する手法で交点(×)を生成する。図17(b)では、サンプリング間隔の中点に交点を生成し、図17(c)では、異符号の現れる位置によって交点を決めている。
サンプリング手段1401は、セグメンテーション部105で生成した抽出画像データを入力し、ボリュームデータを構成する格子点を所定のサンプリング間隔で離散的にサンプリングする(図15の過程P1501)。このサンプリング間隔はメッシュサイズ調整のため変更することができる。
メッシュサイズは生体モデルの四面体要素の数である。同じデータに対し、メッシュサイズが大きいほど、詳細なモデルとなるが、それだけ処理量が増える。マーチングキューブ法では、入力であるボリュームデータの解像度と出力である生体データモデルのメッシュサイズすなわち四面体要素の数の大きさは基本的に比例する。ボリュームデータのサイズが大きい(解像度が高い)とそれを元に、四面体を生成するので、より詳細な四面体(メッシュ)が生成される(つまりメッシュサイズが大きくなる)。逆にボリュームデータのサイズが小さければ(解像度が低ければ)、メッシュサイズは小さくなる。できるだけ詳細なモデルがよいが、メッシュサイズが大きすぎると、実時間で処理できなくなるため、解像度の高いボリュームデータを使う場合、ある程度、解像度を落としたものを入力データとする必要がある。例えば、512×512のデータについて、サンプリング間隔を2にすると、データを一つずつ飛ばして解像度を落としたデータが生成される。このように、入力となるボリュームデータの解像度を予め落とすことで、メッシュサイズを調整する。
境界検索手段1402は、前記サンプリング手段1401においてサンプリングした格子点の情報が示す生体内外の情報が異なるときに離散的にサンプリングして飛ばされた格子点の生体内外の情報を検索し、最初に変わる位置を生体内外の境界の交点とする(図15の過程P1502)。
例えば、図18において、サンプリングを1と4で取り、生体内外の判定をし、2,3のデータを落とす場合を考える。1と4とが共に内もしくは外ならば何もしない(図18(a))。もし、1と4が異符号の場合(図18(b))は、その間に境界(生体表面)があるはずであるから、辺(サンプリング方向に格子点を結ぶ仮想の線)と境界との交点を求める。なお、このようにして求めた交点を繋ぎ合わせれば、生体表面のポリゴンデータが出来上がる。従来の手法では、1と4の間ということで、単純に中点を使用していた(図18(c))。本発明では、交点を作る際、サンプリングで飛ばした2と3の情報を用いて、交点を計算する。飛ばした2と3の組み合わせで図18(d)〜(g)に示すような4ケースが考えられる。4から順次それに隣り合う格子点の情報と比較し、異符号かを見て、最初に異符号である格子点間に交点があると判定する。ケース4である図18(g)の場合は交点が3箇所あるが、サンプリングを落とした意味がないから、検索方向(4から1に向かう方向)から最初に見つけた交点(4と3の間)を採用する。すべての格子点についてサンプリング間隔を一定にするのでなく、隣り合うサンプリング間で異符号の場合に飛ばした格子点について内外が最初に変わるところを見つけることで、交点の精度を上げることができる。
なお、通常のマーチングキューブ法では、単純な2値化ではなく、格子点には様々な値が入っている。例えば、白“10”、黒“20”のときに、『閾値“13”の等値面』を形成する場合、『白−黒間を3:7に分割する点を交点』として結び、線(面)を形成する。
Next, a technique for controlling the scale of model data and maintaining the shape accuracy in consideration of the processing load when generating a biological data model from volume data will be described.
FIG. 14 is a functional block diagram, FIG. 15 is a flowchart, FIG. 16 is a diagram for explaining the Martin Cube method, and FIG. 17 is a diagram for explaining the isosurface determination rule of the present invention together with differences from the conventional method.
The preprocessing unit 109 generates a surface of the biological model by the marching cube method, and generates an internal tetrahedral mesh by an existing method such as an octree method.
The volume data is 3D data generated from a CT image and an MRI image, and has information arranged in a regular grid pattern like pixels of the image. On the other hand, data representing a living body part as a collection of tetrahedral elements is a living body model.
Here, the outline of the marching cube method will be described with reference to FIG. This is a technique for obtaining a boundary with respect to a certain threshold for volume data generated by segmentation and displaying it with polygons. As described above, the volume data is regularly arranged in a grid pattern (the points indicated by the circles in FIG. 16 are filled in (●) indicate points outside the living body region, and are indicated by the circles. The point that is not painted inside (◯) indicates the point in the region of the living body), and generates a boundary line (a boundary surface from the viewpoint of three dimensions) from the information of adjacent points. (It is formed by a line connecting (x) marks in FIG. 16). This boundary line as an output becomes a polygon on the surface that becomes the outline of the living body region.
As shown in FIG. 17, those whose interior is filled with dots (●) indicate points outside the living body area, and those whose interior is not painted with circles (◯) Indicates a point in the region of the living body, and (x) indicates a point on an isosurface, that is, a boundary line. The original data shown in FIG. 17A will be described later when adjacent grid points are different from each other in the area as shown in FIG. 17B (conventional case) and FIG. 17C (in the case of the method of the present invention). The intersection (x) is generated by the method. In FIG. 17 (b), an intersection is generated at the midpoint of the sampling interval, and in FIG. 17 (c), the intersection is determined by the position where the different sign appears.
The sampling unit 1401 receives the extracted image data generated by the segmentation unit 105 and discretely samples the grid points constituting the volume data at a predetermined sampling interval (process P1501 in FIG. 15). This sampling interval can be changed to adjust the mesh size.
The mesh size is the number of tetrahedral elements of the biological model. For the same data, the larger the mesh size, the more detailed the model will be, but the amount of processing will increase accordingly. In the marching cube method, the resolution of volume data as input and the mesh size of the biometric data model as output, that is, the number of tetrahedral elements are basically proportional. If the volume data size is large (resolution is high), a tetrahedron is generated based on the volume data, so that a more detailed tetrahedron (mesh) is generated (that is, the mesh size is increased). Conversely, if the volume data size is small (the resolution is low), the mesh size is small. A model that is as detailed as possible is good. However, if the mesh size is too large, processing cannot be performed in real time. Therefore, when using high-resolution volume data, it is necessary to use input data that has been reduced to some extent. For example, for 512 × 512 data, if the sampling interval is set to 2, data with reduced resolution is generated by skipping data one by one. In this way, the mesh size is adjusted by reducing the resolution of the input volume data in advance.
The boundary search unit 1402 searches the in-vivo / external information of the lattice points discretely sampled and skipped when the in-vivo and in-vivo information indicated by the information of the lattice points sampled by the sampling unit 1401 is different, and changes first. The position is set as the intersection of the boundary between the living body and the living body (process P1502 in FIG. 15).
For example, in FIG. 18, let us consider a case where sampling is performed at 1 and 4 to determine inside or outside the living body and a few data are dropped. If both 1 and 4 are inside or outside, nothing is done (FIG. 18 (a)). If 1 and 4 have different signs (FIG. 18B), there should be a boundary (biological surface) between them, so the side (virtual line connecting grid points in the sampling direction) and the boundary Find the intersection. If the intersections obtained in this way are connected, polygon data on the surface of the living body is completed. In the conventional method, the midpoint is simply used because it is between 1 and 4 (FIG. 18C). In the present invention, when the intersection is created, the intersection is calculated using the information of 2 and 3 skipped by sampling. Four cases as shown in FIGS. 18D to 18G can be considered by combining the skipped 2 and 3. The information is sequentially compared with the information of the grid points adjacent to it from 4, and it is determined whether or not there is an intersection between the grid points having the different code first. In the case of FIG. 18 (g), which is case 4, there are 3 intersections, but since there is no point in dropping sampling, the intersection (between 4 and 3) found first from the search direction (direction from 4 to 1). ). Instead of making the sampling interval constant for all grid points, it is possible to improve the accuracy of the intersection by finding a place where the inside and outside of the grid points skipped in the case of different signs between adjacent samplings change first.
In the normal marching cube method, not a simple binarization, but various values are contained in the lattice points. For example, in the case of white “10” and black “20”, when forming an “isosurface of threshold“ 13 ””, connect “a point where white-black is divided into 3: 7 as an intersection” and connect (Surface) is formed.

次に、境界検索手段1402が得た生体領域の輪郭となる表面についてポリゴン化する際に、等値面データの頂点位置を周辺の頂点の位置により平滑化することで、モデルデータの幾何学的形状を修正する技術について説明する。
その前提として、八分木法の手法で生体表面及び内部の四面体メッシュを生成する。生成された四面体メッシュを備える生体は、そのままでは実際の生体とは異なる印象を与えるほど生体表面に凹凸があった。そこで、等値面データの頂点位置を周辺の頂点の位置により平滑化して、映像化したときにその臓器の形状を見た目上そのものらしく滑らかにする。
図19は機能ブロック図、図20はフロー図、図21は平滑を説明する図である。平滑化手段1901は、図14の境界検索手段1402により処理作成された等値面データであるボリュームデータを入力し、有限要素分割した四面体メッシュを生成する。その際、平滑化手段1901は、データモデルの有限要素の拡張点について以下のような処理を行う。すなわち、ノードのi番目とその近傍のノードjとの相対位置(x−x)から、その位置xを次式で修正する(図20の過程P2001)。
すなわち、i番目のノードの位置xを、x newへ移動させるための式は、
new=x+λΣ(x−x
ここで、jはiの近傍のノード(図21ではj=1,2)、λは補正係数であり、臓器がそれらしく滑らかになるように適当に定める。
この式では、近傍のノードに対し、大きく離れている場合は修正量が大きく、それほど離れていない場合は、修正量が小さい。
全てのノードiに対して、上記処理を行う(図20の過程P2002)と、平均的な位置に配置され、結果として、全体的に滑らかな形状となる。
Next, when the surface which becomes the outline of the living body region obtained by the boundary search unit 1402 is polygonized, the vertex position of the isosurface data is smoothed by the positions of the peripheral vertices, thereby obtaining the geometrical shape of the model data. A technique for correcting the shape will be described.
As a premise, a living body surface and an internal tetrahedral mesh are generated by an octree method. The living body provided with the generated tetrahedral mesh has unevenness on the surface of the living body so as to give an impression different from that of the actual living body. Therefore, the vertex positions of the isosurface data are smoothed according to the positions of the peripheral vertices, and when the image is visualized, the shape of the organ is visually smooth.
FIG. 19 is a functional block diagram, FIG. 20 is a flowchart, and FIG. 21 is a diagram for explaining smoothing. The smoothing means 1901 receives volume data that is isosurface data processed and created by the boundary search means 1402 in FIG. 14, and generates a tetrahedral mesh divided into finite elements. At that time, the smoothing means 1901 performs the following processing on the extension point of the finite element of the data model. That is, from the relative position (x j −x i ) between the i-th node and the neighboring node j, the position x i is corrected by the following equation (process P2001 in FIG. 20).
That is, the equation for moving the position x i of the i-th node to x i new is:
x i new = x i + λΣ j (x j −x i )
Here, j is a node in the vicinity of i (j = 1, 2 in FIG. 21), λ is a correction coefficient, and is appropriately determined so that the organ becomes smooth.
In this equation, the amount of correction is large when it is far away from neighboring nodes, and the amount of correction is small when it is not far away.
When the above processing is performed on all the nodes i (process P2002 in FIG. 20), they are arranged at an average position, and as a result, the overall shape is smooth.

次に、臓器間の接触計算を迅速に行わせるために、生体データモデルに対し、ツリー構造を構築したデータ構造について説明する。
生体モデルの力学計算の中で、臓器間の接触計算は、時間が掛かる処理のうちの一つである。臓器間の接触計算を網羅的に行うと時間が掛かりすぎる。例えば、図22のように、構造化されていないモデルの接触計算の場合、右腎臓と肝臓間、左腎臓と肝臓間、及び、右腎臓と左腎臓間というように、すべての臓器の組み合わせに対し、接触判定が必要であった。
そこで、生体データモデルに対し、図23のようなツリー構造を構築する。図23のツリーには、節(ノード)を有する。当該節は末端の節231a,231b,231cと、これら節を統合する接続節232a,232bとを有する。末端の節231a,231b,231cは、補助データとして、所定範囲の生体を構成する各部位として各節に固有の臓器モデル、各々の臓器を包む幾何モデル(例えば、単純な直方体、球等)の情報を持つ。各末端の節231a,231b,231cには、各節の運動処理を担当するノードコンピュータが割り当てられ、また、接続節232a,232bには、前記各末端の節231a,231b,231cを担当するノードコンピュータ処理を統合するホストコンピュータが割り当てられる。節231a,231b,231cは、それぞれ右腎臓モデル、肝臓モデル、左腎臓モデルの情報を有する。節231aと231bとは、実際の臓器の位置関係からそれらを近くに配置し、接続節232aで接続される。各節231a,231bを担当する各ノードコンピュータは、右腎臓モデル及び肝臓モデルを取り囲む境界モデルの情報を接続節232aに割り当てられるホストコンピュータへ渡し、ホストコンピュータから接触しそうな臓器モデルの情報を受ける。また、末端の節231cを担当するノードコンピュータは、左腎臓モデルを取り囲む境界モデルの情報を接続節232bを担当するホストコンピュータに渡し、接続節232aを介して受けた右腎臓、肝臓のモデルの情報を受ける。このとき、接続節232aには接続される末端の節231a,231bの右腎臓と肝臓モデルとを統合した状態で、末端の節が有する補助データと同様にして、備え、各節はツリー状に構築される(図24の過程P2401)。このようにツリー状に構築したデータは図25のように構造化データ格納部2501に格納される。
各臓器を包む幾何モデルを単純な幾何形状として、接触判定の際に、実際の臓器のような複雑な形状に比べ、非常に早く処理することができる。ツリーを辿りつつ、単純形状による接触判定を用いることで、各々が接触する可能性のある臓器を早い段階で絞ることができ、衝突計算の軽減をすることができる。
ホストコンピュータ、ノードコンピュータは並列に処理される。ホストコンピュータがツリー構造を用いて、どの臓器とどの臓器が接触しそうなのか、大まかな判定を行う。その情報を末端の節231a,231b,231cに接続するコンピュータに送信する。これらノードコンピュータは受け取ったノードコンピュータの臓器と衝突判定を行う(図26)。ホストコンピュータはノードコンピュータが変形処理や描画処理を行っているときに、これらの計算を行うため、総合処理時間は軽減される。
Next, a data structure in which a tree structure is constructed with respect to the biological data model in order to quickly perform contact calculation between organs will be described.
The calculation of contact between organs is one of the time-consuming processes in the dynamic calculation of a biological model. Comprehensive calculation of contact between organs takes too much time. For example, in the case of contact calculation of an unstructured model as shown in FIG. 22, all organ combinations such as between the right kidney and the liver, between the left kidney and the liver, and between the right kidney and the left kidney are used. On the other hand, contact determination was necessary.
Therefore, a tree structure as shown in FIG. 23 is constructed for the biological data model. The tree in FIG. 23 has nodes (nodes). The node has terminal nodes 231a, 231b, and 231c, and connection nodes 232a and 232b that integrate these nodes. The terminal nodes 231a, 231b, and 231c are, as auxiliary data, organ models unique to each node as parts constituting a living body in a predetermined range, and geometric models (for example, a simple rectangular parallelepiped, a sphere, etc.) that wrap each organ. Have information. Node computers in charge of motion processing of each node are assigned to the nodes 231a, 231b, 231c at each end, and nodes 231a, 231b, 231c at each end are assigned to the connection nodes 232a, 232b. A host computer that integrates computer processing is assigned. The nodes 231a, 231b, and 231c have information on the right kidney model, the liver model, and the left kidney model, respectively. The nodes 231a and 231b are arranged close to each other based on the actual positional relationship of the organs, and are connected by the connection node 232a. Each node computer in charge of each node 231a, 231b passes information on the boundary model surrounding the right kidney model and liver model to the host computer assigned to the connection node 232a, and receives information on an organ model that is likely to come into contact with the host computer. Also, the node computer in charge of the terminal node 231c passes information on the boundary model surrounding the left kidney model to the host computer in charge of the connection node 232b, and receives information on the right kidney and liver models received via the connection node 232a. Receive. At this time, the connecting node 232a is provided with the right kidney and the liver model of the terminal nodes 231a and 231b to be connected in the same manner as the auxiliary data of the terminal node, and each node is arranged in a tree shape. It is constructed (process P2401 in FIG. 24). The data constructed in a tree shape as described above is stored in the structured data storage unit 2501 as shown in FIG.
A geometric model that wraps each organ can be processed as a simple geometric shape, and can be processed much faster in contact determination than a complex shape such as an actual organ. By using the contact determination based on the simple shape while following the tree, it is possible to narrow down the organs that may contact each other at an early stage and reduce the collision calculation.
The host computer and node computer are processed in parallel. The host computer uses the tree structure to roughly determine which organ is likely to come into contact with which organ. The information is transmitted to the computers connected to the end nodes 231a, 231b, and 231c. These node computers perform collision determination with the received organs of the node computer (FIG. 26). Since the host computer performs these calculations when the node computer is performing deformation processing or drawing processing, the total processing time is reduced.

次に、指定した処理プロセッサ数に応じて負荷分散する技術について説明する。
生体データモデル処理はデータを構成する有限要素の頂点数に依存し、頂点数が多いデータを処理するには、複数の処理プロセッサを負荷分散して処理する。負荷分散のために、生体データモデルを任意に分割すると、処理プロセッサ間の互いの通信回数が増えることとなる。
そこで、並列処理を効率よく行わせるためには、生体データモデルの頂点数を出来るだけ均一にして、分割する。また、通信回数を少なくするために、生体モデルをモニタ画面に表示したとき、分割面が生体モデル内で交差しないようにする。図27に分割例を、図28に機能ブロック図を示す。これにより、互いに通信するのは両隣の分割モデルに限定される。図28において、2801a,2801b,2801c…は処理プロセッサ、2802は通信装置、2803は通信回線である。
分割するアルゴリズムは、以下の3手法から選択され、コンピュータプログラムにより図29に示すようにコンピュータの分割処理手段2901が処理する。
手法1.分割数が2の場合、図30のように、2分割を再帰的に行う手法
手法2.ある一端を出発点とし、境界を決めていく。各境界に挟まれたノード数(分割モデルのノード数)をn、生体データモデルの全ノード数をN、分割数をPとする。一端からi番目の境界bまでのノード数を数える(すなわちノード数の和Σn)。これが、分割したノード数に比例するように、境界biを修正していく。以降、順に行う。(図31)
総ノード数が16個。3分割する場合を説明する。
各分割モデルのノード数は5.3なので、大体5個前後になるように分割モデルを構築する。分割モデルは端から決めていく。図32(b)のように、境界内のノード数を数えると、図に例示されたものは“2”である。境界を少しずらして再度ノード数を数える。5個前後になるまで繰り返す。条件を満たしたならば、図32(c)のように次の境界を与え同様の処理を行う。
手法3.分割数に合わせて、すべての境界を設定する。各境界に挟まれたノード数(分割モデルのノード数)nを数え、隣り合うノードの差(|n−n|)から、境界の位置を修正する。ノードの差がある閾値以下になった(|n−n|<ε)とき、処理を終了する。(図33)
総ノード数が16個。3分割する場合を説明する。
各分割モデルのノード数は5.3なので、大体5個前後になるように分割モデルを構築する。3分割のための境界をモデルの両端から少しの距離の位置に設定する(図34(b))。このとき、左側の境界について、その隣り合う領域のノード数の差から境界を調整する。境界の左側は“2”に対し右側は“10”であるから右側に境界を移動させる。左側の境界について、その隣り合う領域のノード数の差から境界を調整する。境界の左側は“10”に対し右側は“4”であるから左側に境界を移動させる。これを繰り返す。(図34(c))のように、左側の境界について、境界の左側は“5”に対し右側は“6”で、ほぼ同数となったので目的を達したとする。右側の境界について、境界の左側は“6”に対し右側は“5”で、ほぼ同数となったので目的を達したとする。
Next, a technique for distributing the load according to the designated number of processing processors will be described.
The biometric data model processing depends on the number of vertices of the finite elements constituting the data. In order to process data having a large number of vertices, a plurality of processing processors are load-balanced and processed. If the biological data model is arbitrarily divided for load distribution, the number of communication between processing processors increases.
Therefore, in order to perform parallel processing efficiently, the number of vertices of the biological data model is divided as much as possible. Further, in order to reduce the number of communication times, when the biological model is displayed on the monitor screen, the divided planes are prevented from intersecting in the biological model. FIG. 27 shows an example of division, and FIG. 28 shows a functional block diagram. As a result, communication with each other is limited to the adjacent split models. In FIG. 28, 2801a, 2801b, 2801c,... Are processing processors, 2802 is a communication device, and 2803 is a communication line.
The division algorithm is selected from the following three methods, and is processed by the computer division processing means 2901 as shown in FIG. 29 by a computer program.
Method 1. When the number of divisions is 2n , as shown in FIG. Start with one end and determine the boundary. It is assumed that the number of nodes sandwiched between the boundaries (the number of nodes in the divided model) is n i , the total number of nodes in the biometric data model is N, and the number of divisions is P. The number of nodes from one end to the i-th boundary b i is counted (that is, the sum Σn i of the number of nodes). The boundary bi is corrected so that this is proportional to the number of divided nodes. Thereafter, the steps are performed in order. (Fig. 31)
The total number of nodes is 16. A case of dividing into three will be described.
Since the number of nodes in each division model is 5.3, the division model is constructed so as to be approximately five. The division model is decided from the end. As shown in FIG. 32B, when the number of nodes in the boundary is counted, the example illustrated in the figure is “2”. Shift the border a little and count the number of nodes again. Repeat until about five. If the condition is satisfied, the next boundary is given as shown in FIG.
Method 3. Set all boundaries according to the number of divisions. The number of nodes sandwiched between the boundaries (number of nodes in the division model) ni is counted, and the position of the boundary is corrected from the difference between adjacent nodes (| n i −n j |). When the node difference is below a certain threshold (| n i −n j | <ε), the process is terminated. (Fig. 33)
The total number of nodes is 16. A case of dividing into three will be described.
Since the number of nodes in each division model is 5.3, the division model is constructed so as to be approximately five. The boundary for the three divisions is set at a position at a slight distance from both ends of the model (FIG. 34 (b)). At this time, for the left boundary, the boundary is adjusted based on the difference in the number of nodes in the adjacent region. Since the left side of the boundary is “2” and the right side is “10”, the boundary is moved to the right side. For the left boundary, the boundary is adjusted from the difference in the number of nodes in the adjacent area. Since the left side of the boundary is “10” and the right side is “4”, the boundary is moved to the left side. Repeat this. As shown in FIG. 34 (c), regarding the left boundary, the left side of the boundary is “5” and the right side is “6”, which is almost the same number. As for the right boundary, the left side of the boundary is “6”, and the right side is “5”.

生体データモデル作成装置を説明する機能ブロック図である。It is a functional block diagram explaining a biometric data model creation apparatus. 歪み補正部の機能ブロック図である。It is a functional block diagram of a distortion correction unit. 生体断面画像を得る技術を説明するフロー図である。It is a flowchart explaining the technique which obtains a biological cross-sectional image. MRI画像の組織画像をCT画像による輪郭に再配置を説明する図である。It is a figure explaining rearrangement of the organization picture of a MRI picture to the outline by CT picture. セグメンテーション部の一部を示す機能ブロック図である。It is a functional block diagram which shows a part of segmentation part. セグメンテーション部の動作機能を説明するフロー図である。It is a flowchart explaining the operation | movement function of a segmentation part. セグメンテーション部の一部を示す機能ブロック図である。It is a functional block diagram which shows a part of segmentation part. セグメンテーション部の動作機能を説明するフロー図である。It is a flowchart explaining the operation | movement function of a segmentation part. 手動設定により抽出画像修理処理を説明する図である。It is a figure explaining extraction image repair processing by manual setting. スライス画像単位での抽出部位の統合を説明する図である。It is a figure explaining integration of the extraction part in a slice image unit. センサ値に基づき、物理情報付与を説明する機能ブロック図である。It is a functional block diagram explaining physical information provision based on a sensor value. センサ値に基づき、物理情報付与を説明するフロー図である。It is a flowchart explaining physical information provision based on a sensor value. センサ値に基づき、物理情報付与を説明する構成図である。It is a block diagram explaining physical information provision based on a sensor value. 前処理部の一部の機能ブロック図である。It is a part functional block diagram of a pre-processing part. 前処理部のサンプリング動作を説明するフロー図である。It is a flowchart explaining the sampling operation | movement of a pre-processing part. マーチンキューブ法を説明する図である。It is a figure explaining a Martin cube method. 等値面決定則を従来法との違いとともに説明する図である。It is a figure explaining an isosurface determination rule with the difference with the conventional method. 格子点内外の決定を説明する図である。It is a figure explaining the determination inside and outside a lattice point. 前処理部の一部の機能ブロック図である。It is a part functional block diagram of a pre-processing part. 前処理部の平滑化を説明するフロー図である。It is a flowchart explaining smoothing of a pre-processing part. 平滑化を説明する図である。It is a figure explaining smoothing. 構造化されていないモデルの接触計算を説明する図ある。It is a figure explaining the contact calculation of the model which is not structured. 構築されたツリー構造を説明する図である。It is a figure explaining the constructed tree structure. ツリー構造の構築を説明するフロー図である。It is a flowchart explaining construction of a tree structure. ツリー状に構築したデータを格納する構造化データ格納部の図である。It is a figure of the structured data storage part which stores the data constructed | assembled in the tree form. ツリー構造による接触判定処理を説明する図である。It is a figure explaining the contact determination process by a tree structure. 生体データモデルを分割した一例の図である。It is a figure of an example which divided | segmented the biometric data model. 処理の負荷分散の接続を説明する機能ブロック図である。It is a functional block diagram explaining connection of processing load distribution. 分割処理の機能ブロック図である。It is a functional block diagram of a division process. 分割処理を説明する図である。It is a figure explaining a division process. 分割処理を説明する図である。It is a figure explaining a division process. 分割処理を説明する図である。It is a figure explaining a division process. 分割処理を説明する図である。It is a figure explaining a division process. 分割処理を説明する図である。It is a figure explaining a division process.

101…CT画像データファイル、102…MRI画像データファイル、103…PET画像データファイル、104…歪み補正部、105…セグメンテーション部、106…物性値付与部、107…物性値テーブル、108…有限要素分割部、109…前処理部、110…四面体分割部、111…後処理部、112…構造化ファイル。
DESCRIPTION OF SYMBOLS 101 ... CT image data file, 102 ... MRI image data file, 103 ... PET image data file, 104 ... Distortion correction part, 105 ... Segmentation part, 106 ... Physical property value provision part, 107 ... Physical property value table, 108 ... Finite element division 109, a pre-processing unit, 110, a tetrahedral dividing unit, 111, a post-processing unit, 112, a structured file.

Claims (2)

生体を撮像した医用画像から生体の部位を抽出する際に、抽出対象領域内部の一点を注目点として指定し、その近傍画素に対し注目点との類似判定を行い、医用画像データにより三次元データモデルを作成する生体データモデル作成方法において、
コンピュータ画面上で対話的処理により抽出開始点並びに開始点周辺の抽出対象点及び非抽出対象点を選択し、コンピュータが備える教師データ作成手段がこれらの情報により初期教師データを作成する第1の過程と、
コンピュータが備える閾値決定手段が、初期位置は抽出開始点とする注目点を中心とする局所領域にて、局所領域としての抽出判定領域における抽出対象点データ集合のメディアン値と、抽出判定領域における非抽出対象点データ集合のメディアン値とからなる内部の教師データより閾値を決定する第2の過程と、
コンピュータが備える注目点更新手段が、前記第2の過程において決定した閾値により注目点を対象か非対象かを判定する第3の過程と、
コンピュータが備える注目点更新手段が、前記第3の過程による判定結果を判定結果データ及び教師データに追加してメディアン値を更新する第4の過程と、
コンピュータが備える注目点更新手段が、局所領域内で最後に対象領域と判定された点を新たな注目点とし、その点を中心とする局所領域にて第2から第4の過程の処理を実行し、局所領域内部で対象領域と判定される点がない場合、処理完了とする第5の過程とからなることを特徴とする生体データモデル作成方法。
When extracting a part of a living body from a medical image obtained by imaging a living body, a point inside the extraction target area is designated as a point of interest, similarity determination with the point of interest is performed on the neighboring pixels, and three-dimensional data is obtained from the medical image data. In the biological data model creation method for creating a model,
A first process in which an extraction start point, extraction target points around the start point, and non-extraction target points are selected by interactive processing on a computer screen, and teacher data generation means provided in the computer generates initial teacher data based on these information When,
The threshold determination means provided in the computer is such that the initial position is a local region centered on the point of interest as an extraction start point, the median value of the extraction target point data set in the extraction determination region as a local region, and the non-existence in the extraction determination region A second step of determining a threshold from internal teacher data consisting of the median value of the extraction target point data set;
A third step in which the attention point updating means provided in the computer determines whether the attention point is a target or a non-target according to the threshold value determined in the second step;
Attention point updating means provided in the computer, a fourth process of updating the median value by adding the determination result of the third process to the determination result data and the teacher data;
The point of interest updating means provided in the computer sets the last point determined as the target region in the local region as a new point of interest, and executes the processes of the second to fourth processes in the local region centered on that point A biometric data model creation method comprising: a fifth step of completing processing when there is no point determined to be the target region within the local region.
生体を撮像した医用画像から生体の部位を抽出する際に、抽出対象領域内部の一点を注目点として指定し、その近傍画素に対し注目点との類似判定を行い、医用画像データにより三次元データモデルを作成する生体データモデル作成装置において、
コンピュータ画面上で対話的処理により選択された抽出開始点並びに開始点周辺の抽出対象点及び非抽出対象点の情報により初期教師データを作成するとともにメディアン値を更新する教師データ作成手段と、
初期位置は抽出開始点とする注目点を中心とする局所領域にて、局所領域としての抽出判定領域における抽出対象点データ集合のメディアン値と、抽出判定領域における非抽出対象点データ集合のメディアン値とからなる内部の教師データより閾値を決定する閾値決定手段と、
前記決定した閾値により注目点を対象か非対象かを判定してその結果を判定結果データ及び教師データに追加するとともに局所領域内で最後に対象領域と判定された点を新たな注目点とし、その点を中心とする局所領域にて処理を実行し、局所領域内部で対象領域と判定される点がない場合、処理完了とする注目点更新手段とからなることを特徴とする生体データモデル作成装置。



When extracting a part of a living body from a medical image obtained by imaging a living body, a point inside the extraction target area is designated as a point of interest, similarity determination with the point of interest is performed on the neighboring pixels, and three-dimensional data is obtained from the medical image data. In the biological data model creation device for creating a model,
Teacher data creation means for creating initial teacher data based on the extraction start point selected by interactive processing on the computer screen and information on the extraction target points and non-extraction target points around the start point and updating the median value;
The initial position is the local area centered around the point of interest as the extraction start point, the median value of the extraction target point data set in the extraction determination area as the local area, and the median value of the non-extraction target point data set in the extraction determination area Threshold determining means for determining a threshold from internal teacher data consisting of:
It is determined whether the target point is a target or non-target based on the determined threshold, and the result is added to the determination result data and the teacher data, and the point finally determined as the target region in the local region is a new target point, Biometric data model creation characterized by comprising a point-of-interest updating means for completing processing when processing is performed in a local region centered on that point and there is no point determined to be the target region within the local region apparatus.



JP2012196834A 2012-09-07 2012-09-07 Biological data model creation method and apparatus Active JP5487264B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012196834A JP5487264B2 (en) 2012-09-07 2012-09-07 Biological data model creation method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012196834A JP5487264B2 (en) 2012-09-07 2012-09-07 Biological data model creation method and apparatus

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2008181991A Division JP5241357B2 (en) 2008-07-11 2008-07-11 Biological data model creation method and apparatus

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014009513A Division JP5800039B2 (en) 2014-01-22 2014-01-22 Biological data model creation method and apparatus

Publications (2)

Publication Number Publication Date
JP2012245374A JP2012245374A (en) 2012-12-13
JP5487264B2 true JP5487264B2 (en) 2014-05-07

Family

ID=47466374

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012196834A Active JP5487264B2 (en) 2012-09-07 2012-09-07 Biological data model creation method and apparatus

Country Status (1)

Country Link
JP (1) JP5487264B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6253992B2 (en) * 2014-01-09 2017-12-27 富士通株式会社 Organ position estimation apparatus, organ position estimation apparatus control method, and organ position estimation apparatus control program
US9058692B1 (en) * 2014-04-16 2015-06-16 Heartflow, Inc. Systems and methods for image-based object modeling using multiple image acquisitions or reconstructions
JP6824845B2 (en) * 2017-08-09 2021-02-03 キヤノン株式会社 Image processing systems, equipment, methods and programs
CN111247601A (en) * 2018-09-12 2020-06-05 Agc株式会社 Simulation method, physical quantity calculation program, and physical quantity calculation device
CN114662182A (en) * 2021-12-27 2022-06-24 西安理工大学 Completeness inspection method based on subway station model delivery

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3046326B2 (en) * 1990-06-15 2000-05-29 株式会社東芝 Image processing apparatus and image processing method

Also Published As

Publication number Publication date
JP2012245374A (en) 2012-12-13

Similar Documents

Publication Publication Date Title
JP5241357B2 (en) Biological data model creation method and apparatus
JP5800039B2 (en) Biological data model creation method and apparatus
US11547499B2 (en) Dynamic and interactive navigation in a surgical environment
JP5660432B2 (en) Area data editing device, area data editing method, program, and recording medium
CN101765864B (en) Interactive atlas to image registration
US8107701B2 (en) Medical image display system and medical image display program
JP5487264B2 (en) Biological data model creation method and apparatus
JP4337987B2 (en) Information processing apparatus and program
JP6009598B2 (en) Biological data model creation method and apparatus
Lee et al. Reconstruction and exploration of virtual middle-ear models derived from micro-CT datasets
US9629599B2 (en) Imaging device, assignment system and method for assignment of localization data
JP4394127B2 (en) Area correction method
TW201725554A (en) Single chamber mapization system and method for cardiac medical image reconstructing a sequential sectional image of this chamber and performing mapization expansion
JP4122314B2 (en) Projection image processing method, projection image processing program, and projection image processing apparatus
WO2021030995A1 (en) Inferior vena cava image analysis method and product based on vrds ai
US20220218435A1 (en) Systems and methods for integrating imagery captured by different imaging modalities into composite imagery of a surgical space
JP6081001B2 (en) Biological data model creation method and apparatus
JP6080999B2 (en) Biological data model creation method and apparatus
JP6081000B2 (en) Biological data model creation method and apparatus
JP6131361B2 (en) Load distribution method and apparatus for three-dimensional data model
JP6243948B2 (en) Biological data model creation method and biometric data model data storage device
CN108573514B (en) Three-dimensional fusion method and device of images and computer storage medium
US20210256741A1 (en) Region correction apparatus, region correction method, and region correction program
EP3828836B1 (en) Method and data processing system for providing a two-dimensional unfolded image of at least one tubular structure
JP2006055402A (en) Device, method, and program for image processing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121009

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20121018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140224

R150 Certificate of patent or registration of utility model

Ref document number: 5487264

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250