JP4574500B2 - Alignment apparatus, alignment method and program thereof - Google Patents
Alignment apparatus, alignment method and program thereof Download PDFInfo
- Publication number
- JP4574500B2 JP4574500B2 JP2005255345A JP2005255345A JP4574500B2 JP 4574500 B2 JP4574500 B2 JP 4574500B2 JP 2005255345 A JP2005255345 A JP 2005255345A JP 2005255345 A JP2005255345 A JP 2005255345A JP 4574500 B2 JP4574500 B2 JP 4574500B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- partial medical
- anatomical structure
- partial
- medical image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 15
- 210000003484 anatomy Anatomy 0.000 claims description 81
- 238000003384 imaging method Methods 0.000 claims description 16
- 238000003325 tomography Methods 0.000 claims description 2
- 210000000038 chest Anatomy 0.000 description 18
- 239000013598 vector Substances 0.000 description 13
- 210000004072 lung Anatomy 0.000 description 5
- 210000000056 organ Anatomy 0.000 description 5
- 210000000988 bone and bone Anatomy 0.000 description 4
- 238000013170 computed tomography imaging Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 2
- 210000000621 bronchi Anatomy 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000003434 inspiratory effect Effects 0.000 description 1
- 230000004202 respiratory function Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
- A61B6/5241—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT combining overlapping images of the same imaging modality, e.g. by stitching
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- High Energy & Nuclear Physics (AREA)
- Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、複数の医用画像の位置合せをする位置合せ装置、位置合せ方法およびそのプログラムに関するものである。 The present invention relates to an alignment apparatus, an alignment method, and a program for aligning a plurality of medical images.
従来より、同一の被検者の同一部位の放射線画像を撮影し、1年前に撮影したものと最近撮影したものとを比較読影するような場合には、経時サブトラクション技術により2つの画像の差分による差分画像を生成するが有効であることが知られている。経時サブトラクションにより2つの画像の差分による差分画像を生成する際、画像中の被写体を正確に位置合わせすることが両画像間の違いを観察するうえで重要である。 Conventionally, when radiographs of the same part of the same subject are taken and the radiographs taken one year ago and those taken recently are compared and interpreted, the difference between the two images by the temporal subtraction technique is used. It is known that it is effective to generate a difference image by. When generating a difference image based on the difference between two images by temporal subtraction, it is important to accurately align the subject in the image in observing the difference between the two images.
また、近年、CT装置やMRI装置の普及に伴い、同一の被写体の断層画像同士を比較して診断計画、治療計画をたてることが多い。しかし、撮影時期が異なる画像の場合には、同一の被写体であっても撮影する度に寝台に寝る体位や位置が異なり、同じ体位や同じ位置で撮影を行うことは難しい。また、CT装置やMRI装置で撮影する際のスライス厚、スライスピッチ、画像サイズ等の撮影条件も同一でないことがあるため、画像同士の位置合せは医師の知識と経験によって位置合せすることが多かった。そのため、医師によって位置合せする場所が若干異なり、いつも同じ条件で観察を行うことが困難であった。そこで、医師の経験によらずに再現性があるように複数の画像間で位置合わせを行うために、複数ある画像のうちの2つの画像間で骨などの解剖学的な情報に基づいて位置合わせを行う方法が提案されている(例えば、特許文献1)。 In recent years, with the spread of CT apparatuses and MRI apparatuses, tomographic images of the same subject are often compared with each other to make a diagnosis plan and a treatment plan. However, in the case of images with different shooting times, it is difficult to take a picture in the same position or the same position even if the same subject is photographed, because the posture and position of the bed are different each time it is taken. In addition, since imaging conditions such as slice thickness, slice pitch, and image size when imaging with a CT apparatus or an MRI apparatus may not be the same, registration between images is often performed based on the knowledge and experience of a doctor. It was. For this reason, the location for alignment differs slightly depending on the doctor, and it was difficult to always observe under the same conditions. Therefore, in order to perform alignment between a plurality of images so as to be reproducible without depending on the experience of a doctor, the position between two images among a plurality of images based on anatomical information such as bones. A method of matching is proposed (for example, Patent Document 1).
また、複数の呼吸段階を撮影した呼吸機能の診断を行う際には、最大呼気状態と最大吸気状態では、肋骨や横隔膜の3次元変動により肺野のサイズ変化が大きく、また肋骨と肺野軟部とで移動量や方向等も異なるため、最大呼気画像と最大吸気画像とを直接位置合せすることは困難である。そこで、最大呼気状態と最大吸気状態間の中間の状態に徐々に合わせていく方法が提案されている(例えば、特許文献2)。
上述の特許文献1は、2画像間の位置合わせを行う手法であり、3画像以上の位置合わせを行うためには、図10(a)に示すように、2画像間でそれぞれ位置合わせを行う必要があり、画像の数が多い場合には、膨大な数の位置合わせを行わなければならない。
The above-mentioned
また、上述の特許文献1、2のいずれの方法でも、撮影範囲が略一致していることを前提に位置合わせを行っているため、撮影範囲が大きくずれている場合には正確な位置合せを行うことは不可能であった。
In addition, in any of the methods disclosed in
本発明は、上記事情に鑑みてなされたものであり、撮影部位が異なる3画像以上の画像について、両画像中の被写体を高い精度で位置合わせし、両画像の比較読影を効果的に行うことができるように支援する位置合せ装置、位置合せ方法およびプログラムを提供することを目的とするものである The present invention has been made in view of the above circumstances, and for three or more images having different imaging parts, subjects in both images are aligned with high accuracy, and comparative interpretation of both images is effectively performed. It is an object to provide an alignment apparatus, an alignment method, and a program for supporting
本発明の位置合わせ装置は、被写体の所定の部位を撮影して得られた部分医用画像を複数記憶する部分医用画像記憶手段と、
被写体全体の解剖学的構造物の標準的な構造を表した全体基準画像を記憶する基準画像記憶手段と、
前記複数の部分医用画像各々に撮影されている部位の解剖学的構造物を、該各部位に対応する前記全体基準画像上の解剖学的構造物に位置合せする第1の位置合せ手段と、
前記複数の部分医用画像のうちの1つの部分医用画像に撮影されている部位と、前記複数の部分医用画像のうちの他の1つの部分医用画像に撮影されている部位とが重なる部分に対して、前記第1の位置合せ手段により前記1つの部分医用画像に撮影されている部位の解剖学的構造物を前記全体基準画像上の対応する部位の解剖学的構造物に位置合せし、前記第1の位置合せ手段により前記他の1つの部分医用画像に撮影されている部位の解剖学的構造物を前記全体基準画像上の対応する部位の解剖学的構造物に位置合せすることにより、前記1つの部分医用画像の前記重なる部分の解剖学的構造物を前記他の1つの部分医用画像の前記重なる部分の解剖学的構造物に位置合せする第2の位置合せ手段とを備えたことを特徴とするものである。
The alignment apparatus of the present invention includes a partial medical image storage unit that stores a plurality of partial medical images obtained by imaging a predetermined part of a subject,
Reference image storage means for storing an overall reference image representing a standard structure of the anatomical structure of the entire subject;
First alignment means for aligning an anatomical structure of a part imaged in each of the plurality of partial medical images with an anatomical structure on the whole reference image corresponding to each part;
For a portion where a portion captured in one partial medical image of the plurality of partial medical images and a portion captured in another partial medical image of the plurality of partial medical images overlap And aligning the anatomical structure of the part imaged in the one partial medical image by the first alignment means with the anatomical structure of the corresponding part on the whole reference image, By aligning the anatomical structure of the part imaged in the other partial medical image by the first alignment means with the corresponding anatomical structure of the whole reference image, A second alignment means for aligning the anatomical structure of the overlapping portion of the one partial medical image with the anatomical structure of the overlapping portion of the other partial medical image; It is characterized by
また、本発明の位置合わせ方法は、被写体の所定の部位を撮影して得られた部分医用画像を複数記憶する部分医用画像記憶手段より前記部分医用画像を読み取る部分医用画像読取ステップと、
被写体全体の解剖学的構造物の標準的な構造を表わした全体基準画像を記憶する基準画像記憶手段より前記全体基準画像を読み取る全体基準画像読取ステップと、
前記複数の部分医用画像各々に撮影されている部位の解剖学的構造物を、該各部位に対応する前記全体基準画像上の解剖学的構造物に位置合せする第1の位置合せステップと、
前記複数の部分医用画像のうちの1つの部分医用画像に撮影されている部位と、前記複数の部分医用画像のうちの他の1つの部分医用画像に撮影されている部位とが重なる部分に対して、前記第1の位置合せ手段により前記1つの部分医用画像に撮影されている部位の解剖学的構造物を前記全体基準画像上の対応する部位の解剖学的構造物に位置合せし、前記第1の位置合せ手段により前記他の1つの部分医用画像に撮影されている部位の解剖学的構造物を前記全体基準画像上の対応する部位の解剖学的構造物に位置合せすることにより、前記1つの部分医用画像の前記重なる部分の解剖学的構造物を前記他の1つの部分医用画像の前記重なる部分の解剖学的構造物に位置合せする第2の位置合せステップとを備えたことを特徴とするものである。
The alignment method of the present invention includes a partial medical image reading step of reading the partial medical image from a partial medical image storage unit that stores a plurality of partial medical images obtained by imaging a predetermined part of the subject,
An overall reference image reading step of reading the overall reference image from reference image storage means for storing an overall reference image representing a standard structure of the anatomical structure of the entire subject;
A first alignment step of aligning an anatomical structure of a part imaged in each of the plurality of partial medical images with an anatomical structure on the whole reference image corresponding to each part;
For a portion where a portion captured in one partial medical image of the plurality of partial medical images and a portion captured in another partial medical image of the plurality of partial medical images overlap And aligning the anatomical structure of the part imaged in the one partial medical image by the first alignment means with the anatomical structure of the corresponding part on the whole reference image, By aligning the anatomical structure of the part imaged in the other partial medical image by the first alignment means with the corresponding anatomical structure of the whole reference image, A second alignment step of aligning the overlapping anatomical structure of the one partial medical image with the overlapping anatomical structure of the other partial medical image; It is characterized by That.
また、本願発明のプログラムは、コンピュータを、
被写体の所定の部位を撮影して得られた部分医用画像を複数記憶する部分医用画像記憶手段より前記部分医用画像を読み取る部分医用画像読取手段と、
被写体全体の解剖学的構造物の標準的な構造を現した全体基準画像を記憶する基準画像記憶手段より前記全体基準画像を読み取る全体基準画像読取手段と、
前記複数の部分医用画像各々に撮影されている部位の解剖学的構造物を、該各部位に対応する前記全体基準画像上の解剖学的構造物に位置合せする第1の位置合せ手段と、
前記複数の部分医用画像のうちの1つの部分医用画像に撮影されている部位と、前記複数の部分医用画像のうちの他の1つの部分医用画像に撮影されている部位とが重なる部分に対して、前記第1の位置合せ手段により前記1つの部分医用画像に撮影されている部位の解剖学的構造物を前記全体基準画像上の対応する部位の解剖学的構造物に位置合せし、前記第1の位置合せ手段により前記他の1つの部分医用画像に撮影されている部位の解剖学的構造物を前記全体基準画像上の対応する部位の解剖学的構造物に位置合せすることにより、前記1つの部分医用画像の前記重なる部分の解剖学的構造物を前記他の1つの部分医用画像の前記重なる部分の解剖学的構造物に位置合せする第2の位置合せ手段として機能させることを特徴とするものである。
Further, the program of the present invention provides a computer,
A partial medical image reading means for reading the partial medical image from a partial medical image storage means for storing a plurality of partial medical images obtained by imaging a predetermined part of the subject;
An overall reference image reading means for reading the overall reference image from a reference image storage means for storing an overall reference image representing a standard structure of the anatomical structure of the entire subject;
First alignment means for aligning an anatomical structure of a part imaged in each of the plurality of partial medical images with an anatomical structure on the whole reference image corresponding to each part;
For a portion where a portion captured in one partial medical image of the plurality of partial medical images and a portion captured in another partial medical image of the plurality of partial medical images overlap And aligning the anatomical structure of the part imaged in the one partial medical image by the first alignment means with the anatomical structure of the corresponding part on the whole reference image, By aligning the anatomical structure of the part imaged in the other partial medical image by the first alignment means with the corresponding anatomical structure of the whole reference image, And functioning as a second alignment means for aligning the anatomical structure of the overlapping portion of the one partial medical image with the anatomical structure of the overlapping portion of the other partial medical image. Features A.
「全体基準画像」とは、解剖学的構造物の標準的な構造を備えた画像であり、複数の部分医用画像に撮影されている各部位を含む画像をいう。 The “whole reference image” is an image having a standard structure of an anatomical structure, and means an image including each part imaged in a plurality of partial medical images.
「解剖学的構造物の標準的な構造を表した全体基準画像」とは、臓器や骨などの解剖学的構造物を、標準的な形状や大きさや濃度などで表した画像であり、過去撮影された画像から、各解剖学的構造物標準的な形状や大きさや濃度などを求めたものを用いることができる。 “Overall reference image representing the standard structure of an anatomical structure” is an image representing an anatomical structure such as an organ or bone in a standard shape, size, density, etc. From the photographed image, a standard shape, size, density and the like of each anatomical structure obtained can be used.
また、前記第2の位置合せ手段は、前記第1の位置合せ手段により前記1つの部分医用画像に撮影されている部位の解剖学的構造物を前記全体基準画像上の対応する部位の解剖学的構造物に位置合せするときの変化量と、前記第1の位置合せ手段により前記他の1つの部分医用画像に撮影されている部位の解剖学的構造物を前記全体基準画像上の対応する部位の解剖学的構造物に位置合せするときの変化量とから、前記1つの部分医用画像の前記重なる部分の解剖学的構造物を前記他の1つの部分医用画像の前記重なる部分の解剖学的構造物に位置合せするための変化量を求めて位置合せするものであってもよい。 In addition, the second alignment unit converts the anatomical structure of the region captured in the one partial medical image by the first alignment unit to the anatomy of the corresponding region on the entire reference image. Corresponding to the amount of change when aligning with the general structure and the anatomical structure of the part imaged in the other partial medical image by the first alignment means on the overall reference image From the amount of change when aligning with the anatomical structure of the region, the anatomical structure of the overlapping portion of the one partial medical image is converted into the anatomy of the overlapping portion of the other partial medical image. The amount of change for aligning with the target structure may be obtained and aligned.
前記複数の部分医用画像が、断層撮影により得られた断層画像である場合には、
前記全体基準画像は、多数の断層撮影により得られた断層画像から得た解剖学的構造物を標準的な濃度で表した濃淡画像を用いることができる。
When the plurality of partial medical images are tomographic images obtained by tomography,
The whole reference image may be a grayscale image representing an anatomical structure obtained from a number of tomographic images obtained by a number of tomographic images at a standard density.
「断層画像」は、CT装置やMRI装置などの断層撮影装置によって取得されたものであり、3次元の画像情報を持つものである。 The “tomographic image” is acquired by a tomographic apparatus such as a CT apparatus or an MRI apparatus, and has three-dimensional image information.
前記複数の部分画像各々が異なる時期に撮影された画像であってもよい。 The plurality of partial images may be images taken at different times.
本発明によれば、複数の部分医用画像に撮影されている各部位を、一旦、標準的な解剖学的な構造を持つ全体基準画像に位置合わせして、部分医用画像に撮影されている各部位を全体基準画像に位置合わせした時の変化量などを用いて、部分医用画像間の位置合せすることによって、各部分医用画像に撮影されている部位が一致していない場合であっても部分医用画像間で位置合せすることが可能となる。また、多数の部分医用画像間で位置合せする場合は、位置合わせを行う2つの部分医用画像の組み合わせの数が多くなるために計算負荷が大きくなるが、一旦、全体基準画像に位置合せするようにすることで計算負荷が少なくなる。 According to the present invention, each part imaged in a plurality of partial medical images is once aligned with an overall reference image having a standard anatomical structure, and each part imaged in a partial medical image Even if the partial medical images are not coincident with each other by aligning the partial medical images using the change amount when the partial is aligned with the entire reference image, etc. It is possible to align between medical images. In addition, in the case of registration between a large number of partial medical images, the number of combinations of two partial medical images to be aligned increases, which increases the calculation load. By reducing the calculation load.
また、全体基準画像に多数の断層画像から作成した解剖学的構造物を標準的な濃度で表した濃淡画像を用いることにより、濃淡画像で表された全体基準画像と断層画像に撮影されている画像との濃度を比較することにより、解剖学的な構造物を正確に位置合せすることができる。 Moreover, the whole reference image and the tomographic image represented by the grayscale image are taken by using the grayscale image representing the anatomical structure created from a large number of tomographic images at the standard density as the whole reference image. By comparing the density with the image, the anatomical structure can be accurately aligned.
さらに、部分画像各々が異なる時期に撮影された画像であれば、本願の位置合せの手法を用いることにより部分画像間の経時変化を正確に把握することが可能である。 Furthermore, if each partial image is an image taken at a different time, it is possible to accurately grasp the temporal change between the partial images by using the alignment method of the present application.
本発明の位置合わせ装置について、図に基づいて説明する。図1に示すように、本発明の位置合わせ装置1は、被写体の所定の部位を撮影して得られた部分医用画像11を複数記憶する部分医用画像記憶手段10と、部分医用画像記憶手段10から部分医用画像11を読み取る部分医用画像読取手段12と、被写体全体の解剖学的構造物の標準的な構造を表した全体基準画像21を記憶する基準画像記憶手段20と、基準画像記憶手段20から全体基準画像21を読み取る全体基準画像読取手段22と、複数の部分医用画像11各々に撮影されている部位を全体基準画像21上の対応する部位に位置合せする第1の位置合せ手段30と、複数の部分医用画像のうちの2つの部分医用画像11について、第1の位置合せ手段30により一方の部分医用画像に撮影されている部位を全体基準画像上の対応する部位に位置合せするときの変化量と、他方の部分医用画像に撮影されている部位を全体基準画像上の対応する部位に位置合せするときの変化量とから、2つの部分医用画像の重なる部分を位置合せする第2の位置合せ手段40とを備える。
An alignment apparatus of the present invention will be described with reference to the drawings. As shown in FIG. 1, the
本実施の形態では、CT撮影装置などの断層撮影装置で撮影した断層画像を位置合せする場合について具体的に説明する。 In the present embodiment, a case where a tomographic image captured by a tomographic apparatus such as a CT imaging apparatus is aligned will be specifically described.
まず、全体基準画像21の生成方法について説明する。全体基準画像21は、事前に、多数の被写体をCT装置で撮影した断層画像から各臓器や骨などの解剖学的な構造物の濃度値や位置の平均値を求めて、被写体全体の解剖学的な構造物が標準的な濃度と位置を持った濃淡画像を作成して全体基準画像記憶手段20に記憶する。また、全体基準画像21と一緒に、濃淡画像上の肩や胸郭上の点、肺尖、気管支の分岐点や肺葉の輪郭(具体的には、例えば「電子情報通信学会論文誌 D-IIVol.J87-D-II No.1 pp.357-360 2004年1月」に記載されている気管支の抽出や肺葉の輪郭の抽出などを用いることができる)などの位置合せの基準となる特徴点の位置の情報を予め記憶しておく。
First, a method for generating the
部分医用画像11は、被写体の所定の部位をCT装置で撮影した断層画像である。通常、被写体を単純X線撮影した後、撮影された画像上に疑わしい陰影が現れた場合は、その箇所を詳しく観察するために、CT装置を用いて部分撮影が行なわれる。このようにして部分撮影された断層画像が、部分医用画像11として画像サーバーなどの記憶装置(部分医用画像記憶手段10)に一旦記憶される。
The partial
CT撮影をする際には被写体の被爆量が大きいため、部分医用画像11は医師が詳しく観察したいと思う部位に限って撮影が行われる。そのため、同じ被写体の胸部を診断する場合であっても、撮影された時期(呼吸のずれや体位の変化)や撮影した技師によって、CT撮影を指示した部位が前回の撮影と違う部位を指示する場合がある。例えば、図2に示すように、時期をずらして画像P1〜P3を順番に撮影した場合に、画像P1には肩から胸部中央部までが撮影され、画像P2には胸部中央部から腹部までが撮影され、画像P3には再度肩から胸部中央部までが撮影されることがある。そのため、画像P1と画像P2のように、撮影された部位が大きくずれた部分医用画像11間で位置合わせを行うと、基準となる特徴点が大きくずれるために正確な位置合わせを行うのは難しい。また、画像P1と画像P2が重なった部分のみを位置合せするようにしても、正確な位置合わせは行えない。
Since the amount of exposure of the subject is large when performing CT imaging, the partial
そこで、本願の手法では全体基準画像21と部分医用画像11との位置合せを行った後に、部分画像11間の位置合わせを行う。以下、図3のフローチャートに従って具体的に説明する。
Therefore, in the method of the present application, the alignment between the
まず、第1の位置合せ手段30は、部分医用画像読取手段12により部分医用画像記憶手段10に記憶されている部分医用画像11を読み取り、全体基準画像読取手段22により9全体基準画像記憶手段20に記憶されている全体基準画像21読み取って、各部分医用画像11に撮影されている部位の解剖学的構造物を全体基準画像21上の対応する部位の解剖学的構造物に位置合わせする(S100)。
First, the first alignment means 30 reads the partial
そこで、部分医用画像より肩や胸郭上にある特徴点を自動抽出して、全体基準画像上の特徴点と対応させて大局的な位置合わせを行う。さらに、骨や臓器はそれぞれ画像上に特有の濃度値を持って現れるので、全体基準画像と部分医用画像の濃淡情報を比較することにより、対応する構造物の位置を詳細に位置合せする。 Therefore, feature points on the shoulder and thorax are automatically extracted from the partial medical image, and global alignment is performed in correspondence with the feature points on the entire reference image. Furthermore, since bones and organs each appear with a specific density value on the image, the position of the corresponding structure is aligned in detail by comparing the density information of the whole reference image and the partial medical image.
ここでは、便宜上、2次元の胸部画像を位置合せする場合について、図4から図7を用いて具体的に説明する。 Here, for convenience, a case where a two-dimensional chest image is aligned will be specifically described with reference to FIGS.
まず、図4に示すように、部分医用画像Q1(11)に撮影された胸部画像(図4(a)参照)を,全体基準画像Q2(21)中の胸部の位置に大局的に位置合わせし(図4(b)には、全体基準画像に含まれる部位のうち胸部のみ図示する。)、その後、大局的位置合わせした画像を分割して得られた多数の局所領域について、それぞれ位置合わせを行う。部分医用画像Q1には、通常、撮影部位の情報が画像に付帯して記録されているので、その部位に関する情報から部分医用画像Q1が胸部画像であることがわかるので、部分医用画像Q1から胸郭を検出して胸郭上にある特徴点を抽出する。抽出された特徴点と全体基準画像Q2に記憶されている特徴点に基づいて、部分医用画像Q1に対して回転、平行移動および拡大・縮小等のアフィン変換を施して全体基準画像Q2に大雑把に大局的な位置合わせする(図5参照)。続いて、図6に示すように、全体基準画像Q2を多数の矩形小領域であるテンプレート領域T2に分割して(図6(a)の例では、同図上の各点を中心にテンプレート領域T2を設定している)、画像Q2の各テンプレート領域T2に対応する部分画像Q1上の位置を探索するために、これらの各テンプレート領域T2よりも大きい領域の探索領域R1を画像Q1上に設定し(図6(b)の例では、同上の各点を中心に探索領域R1を設定している)、各探索領域R1の中で全体基準画像Q2の各テンプレート領域T2が最も一致する場所を求める。具体的には、正規化相互相関値などを用いてテンプレート領域T2の濃淡情報と探索領域内の濃淡情報とが最も一致する場所を求める。全体基準画像Q2のテンプレート領域T2と、テンプレート領域T2に対応する部分部画像Q1上の対応位置を求め、その対応関係に基づいて、部分医用画像Q1上の各領域が全体基準画像Q2の各テンプレート領域T2に一致するように、アフィン変換した部分医用画像Q1全体に対して図7に示すようなワーピング(非線形歪変換)を行い、両画像Q1,Q2を詳細に位置合わせする(詳細は、本願出願人が出願の特開2002-157593公報など参照)。 First, as shown in FIG. 4, the chest image (see FIG. 4A) taken in the partial medical image Q1 (11) is globally aligned with the position of the chest in the overall reference image Q2 (21). (FIG. 4 (b) shows only the chest of the parts included in the overall reference image.) After that, a large number of local regions obtained by dividing the globally aligned image are aligned respectively. I do. In the partial medical image Q1, information on the imaging region is usually recorded attached to the image. Therefore, since the partial medical image Q1 is a chest image from the information related to the region, the partial medical image Q1 is obtained from the thorax. And feature points on the rib cage are extracted. Based on the extracted feature points and the feature points stored in the overall reference image Q2, the partial reference image Q1 is subjected to affine transformation such as rotation, translation, enlargement / reduction, etc. Perform global alignment (see FIG. 5). Subsequently, as shown in FIG. 6, the entire reference image Q2 is divided into a large number of small rectangular areas T2 (in the example of FIG. 6A, the template area is centered on each point in the figure). In order to search for a position on the partial image Q1 corresponding to each template region T2 of the image Q2, a search region R1 larger than each template region T2 is set on the image Q1. (In the example of FIG. 6 (b), the search region R1 is set centering on each point of the above), and the location where the template regions T2 of the entire reference image Q2 most closely match in each search region R1. Ask. Specifically, a location where the grayscale information in the template region T2 and the grayscale information in the search region most closely match is obtained using a normalized cross-correlation value or the like. A template region T2 of the overall reference image Q2 and a corresponding position on the partial image Q1 corresponding to the template region T2 are obtained, and based on the correspondence relationship, each region on the partial medical image Q1 corresponds to each template of the overall reference image Q2. A warping (nonlinear distortion transformation) as shown in FIG. 7 is performed on the entire affine-transformed partial medical image Q1 so as to coincide with the region T2, and both the images Q1 and Q2 are aligned in detail (details are described in this application). (See Japanese Patent Application Laid-Open No. 2002-157593 filed by the applicant).
上述では2次元で位置合せをする場合について具体的に説明したが、CT装置などで胸部を撮影したときに得られた複数枚の断層画像から構成される3次元の部分医用画像11の場合であっても、3次元の部分医用画像11から胸郭などの3次元上の特徴点を検出して、部分医用画像11の胸郭をアフィン変換などにより全体基準画像21に大局的に位置合せした後、全体基準画像21を小領域(例えば、立方体形状の領域)に区分けしたテンプレート領域を設定し、全体基準画像21のテンプレート領域内の濃淡情報と、部分医用画像11に設定した探索領域(テンプレート領域より広い領域)内の濃淡情報が最も一致する場所を探索して対応位置を求める。さらに、部分医用画像11内の画素を全体基準画像21の対応位置にワーピングして位置合せし、位置合わせ前の部分医用画像11上の点を、全体基準画像21に位置合するための変化量をシフトベクトルとして求める(S101)。
In the above description, the two-dimensional alignment is specifically described. However, in the case of the three-dimensional partial
例えば、図8に示すような、部分医用画像11のうち画像P1〜P3のそれぞれについて、各部分医用画像11に含まれる部位の解剖学的構造物を全体基準画像21上の対応する部位の解剖学的構造物に位置合せするシフトベクトルを求め、画像P1を全体基準画像21に位置合せするシフトベクトルをファイル1に記憶し、画像P2を全体基準画像21に位置合せするシフトベクトルをファイル2に記憶し、画像P3を全体基準画像21に位置合せするシフトベクトルをファイル3に記憶する。
For example, as shown in FIG. 8, for each of the images P1 to P3 in the partial
このようにして各画像P1〜P3を全体基準画像21に位置合せすることにより、各画像に撮影されている部位のうち重なる部分を正確に把握することができる。
By aligning the images P1 to P3 with the
そこで、第2の位置合せ手段40により、画像P1と画像P2に撮影されている部位のうち重なる部分について、ファイル1に記録されているシフトベクトルと、ファイル2に記憶されているシフトベクトルとを用いて、画像P1に撮影されている部位のうち重なる部分を、画像P2に位置合せする(S102)。
Therefore, the second alignment means 40 uses the shift vector recorded in the
例えば、図9に示すように、全体基準画像21上の点pkに対応する画像P1上の点がp1であり、画像P2上の点がp2の場合、画像P1上の点p1を全体基準画像21上の点pkに位置合せするときのシフトベクトルはv1となり、画像P2上の点p2を全体基準画像21上の点pkに位置合せするときのシフトベクトルはv2となる。このシフトベクトルv1とv2から、画像P1上の点p1を画像P2上の点p2に位置合せするシフトベクトルv3=v1−v2を求めて、画像P1と画像P2の重なった部分の位置合わせを行う。
For example, as shown in FIG. 9, a point p 1 in the image P1 corresponding to p k point on
同様に、シフトベクトルを用いて、画像P2と画像P3の重なった部分の位置合せと、画像P1と画像P3の重なった部分の位置合わせを行うことができる。 Similarly, using the shift vector, it is possible to align the overlapping portions of the images P2 and P3 and align the overlapping portions of the images P1 and P3.
第1の位置合せ手段30で説明したように、画像同士を位置合せするには、画像中から対応する場所を特定するために、特徴点の抽出や画像の濃淡に応じた位置合わせなどを行うため、複雑な計算か必要となり計算負荷が大きい。従来のように、画像1と画像2、画像2と画像3、画像1と画像3とを直接2つの画像間で位置合わせを行う場合には、2つの画像から特徴点の抽出を行い、さらに、画像の濃淡をみて局所的な位置合わせ行う必要があるため、図10(a)に示すように、位置合せする画像の数が増えるに従って位置合せの組み合わせが増え、計算負荷が増大する。さらに、撮影された部位が異なる場合には検出される特徴点が一致しないため位置合せが出来ない。本願の位置合わせの手法では、図10(b)に示すように、部分医用画像11を全体基準画像21に位置合わせをすることにより、位置合せによる計算処理の負荷が少なくなる。また、部分医用画像11同士では、検出した特徴点同士が必ず対応する特徴点が存在するとは限らないため位置合せに失敗する場合もあるが、全体基準画像21上には、必ず対応する特徴点が存在するため位置合わせに失敗することがない。また、異なる部位を撮影した部分医用画像11を全体基準画像21経由で位置合せすることにより、重なる部分が正確に把握できるので、部分医用画像間の位置合せ精度を向上させることが可能になる。
As described in the
また、全体基準画像21を作成するときに、各臓器の位置形状を表現したアトラス(Atlas)の情報と対応付けて記憶するようにすれば、部分医用画像11を比較して疾患部分を検出した際に、いずれの臓器の疾患であるかを特定するのが容易になる。
In addition, when the
全体基準画像は、被写体の全身の濃淡画像が望ましいが、比較する部分医用画像に撮影された部位を全て含むものであれば、胸部から腹部にかけた濃淡画像であっても、頭部を除いた身体だけの濃淡画像であってもよい。 The whole reference image is preferably a gray image of the whole body of the subject, but if the partial medical image to be compared includes all of the imaged portions, the head image is excluded even if it is a gray image from the chest to the abdomen. It may be a gray image only for the body.
上述では、部分医用画像がCT装置によって撮影された断層画像である場合について説明したが、MRI装置などによって撮影された断層画像であってもよい。 In the above description, the case where the partial medical image is a tomographic image captured by a CT apparatus has been described. However, it may be a tomographic image captured by an MRI apparatus or the like.
或いは、部分医用画像が断層画像ではなく単純X線撮影された2次元の画像であってもよい。2次元の画像の場合には、2次元の全体基準画像を作成して位置合わせするようにする。 Alternatively, the partial medical image may be a two-dimensional image obtained by simple X-ray photography instead of a tomographic image. In the case of a two-dimensional image, a two-dimensional overall reference image is created and aligned.
さらに、位置合わせする部分医用画像が断層画像と2次元の画像であってもよい。その場合には、断層画像を2次元に投影して2次元の全体基準画像に位置合わせするようにする。 Furthermore, the partial medical image to be aligned may be a tomographic image and a two-dimensional image. In that case, the tomographic image is projected two-dimensionally and aligned with the two-dimensional overall reference image.
以上、詳細に説明したように、本願の位置合わせの手法を用いれば、撮影された部位が異なる画像間も正確に位置合わせすることができる。さらに、部分医用画像が多数ある場合でも計算負荷を少なくすることができる。 As described above in detail, by using the alignment method of the present application, it is possible to accurately align images taken from different parts. Furthermore, even when there are many partial medical images, the calculation load can be reduced.
1 位置合わせ装置
10 部分医用画像記憶手段
11 部分医用画像
12 部分医用画像読取手段
20 基準画像記憶手段
21 全体基準画像
21 全体基準画像読取手段
30 第1の位置合せ手段
40 第2の位置合せ手段
DESCRIPTION OF
Claims (6)
被写体全体の解剖学的構造物の標準的な構造を表した全体基準画像を記憶する基準画像記憶手段と、
前記複数の部分医用画像各々に撮影されている部位の解剖学的構造物を、該各部位に対応する前記全体基準画像上の解剖学的構造物に位置合せする第1の位置合せ手段と、
前記複数の部分医用画像のうちの1つの部分医用画像に撮影されている部位と、前記複数の部分医用画像のうちの他の1つの部分医用画像に撮影されている部位とが重なる部分に対して、前記第1の位置合せ手段により前記1つの部分医用画像に撮影されている部位の解剖学的構造物を前記全体基準画像上の対応する部位の解剖学的構造物に位置合せし、前記第1の位置合せ手段により前記他の1つの部分医用画像に撮影されている部位の解剖学的構造物を前記全体基準画像上の対応する部位の解剖学的構造物に位置合せすることにより、前記1つの部分医用画像の前記重なる部分の解剖学的構造物を前記他の1つの部分医用画像の前記重なる部分の解剖学的構造物に位置合せする第2の位置合せ手段とを備えたことを特徴とする位置合わせ装置。 Partial medical image storage means for storing a plurality of partial medical images obtained by imaging a predetermined part of a subject;
Reference image storage means for storing an overall reference image representing a standard structure of the anatomical structure of the entire subject;
First alignment means for aligning an anatomical structure of a part imaged in each of the plurality of partial medical images with an anatomical structure on the whole reference image corresponding to each part;
For a portion where a portion captured in one partial medical image of the plurality of partial medical images and a portion captured in another partial medical image of the plurality of partial medical images overlap And aligning the anatomical structure of the part imaged in the one partial medical image by the first alignment means with the anatomical structure of the corresponding part on the whole reference image, By aligning the anatomical structure of the part imaged in the other partial medical image by the first alignment means with the corresponding anatomical structure of the whole reference image, A second alignment means for aligning the anatomical structure of the overlapping portion of the one partial medical image with the anatomical structure of the overlapping portion of the other partial medical image; Alignment characterized by Location.
前記全体基準画像が、多数の断層撮影により得られた断層画像から得た解剖学的構造物を標準的な濃度で表した濃淡画像であることを特徴とする請求項1または2記載の位置合わせ装置。 The plurality of partial medical images are tomographic images obtained by tomography,
3. The registration according to claim 1, wherein the whole reference image is a grayscale image representing an anatomical structure obtained from a number of tomographic images obtained by a number of tomographic images at a standard density. apparatus.
被写体全体の解剖学的構造物の標準的な構造を表わした全体基準画像を記憶する基準画像記憶手段より前記全体基準画像を読み取る全体基準画像読取ステップと、
前記複数の部分医用画像各々に撮影されている部位の解剖学的構造物を、該各部位に対応する前記全体基準画像上の解剖学的構造物に位置合せする第1の位置合せステップと、
前記複数の部分医用画像のうちの1つの部分医用画像に撮影されている部位と、前記複数の部分医用画像のうちの他の1つの部分医用画像に撮影されている部位とが重なる部分に対して、前記第1の位置合せ手段により前記1つの部分医用画像に撮影されている部位の解剖学的構造物を前記全体基準画像上の対応する部位の解剖学的構造物に位置合せし、前記第1の位置合せ手段により前記他の1つの部分医用画像に撮影されている部位の解剖学的構造物を前記全体基準画像上の対応する部位の解剖学的構造物に位置合せすることにより、前記1つの部分医用画像の前記重なる部分の解剖学的構造物を前記他の1つの部分医用画像の前記重なる部分の解剖学的構造物に位置合せする第2の位置合せステップとを備えたことを特徴とする位置合わせ方法。 A partial medical image reading step of reading the partial medical image from a partial medical image storage means for storing a plurality of partial medical images obtained by imaging a predetermined part of the subject;
An overall reference image reading step of reading the overall reference image from reference image storage means for storing an overall reference image representing a standard structure of the anatomical structure of the entire subject;
A first alignment step of aligning an anatomical structure of a part imaged in each of the plurality of partial medical images with an anatomical structure on the whole reference image corresponding to each part;
For a portion where a portion captured in one partial medical image of the plurality of partial medical images and a portion captured in another partial medical image of the plurality of partial medical images overlap And aligning the anatomical structure of the part imaged in the one partial medical image by the first alignment means with the anatomical structure of the corresponding part on the whole reference image, By aligning the anatomical structure of the part imaged in the other partial medical image by the first alignment means with the corresponding anatomical structure of the whole reference image, A second alignment step of aligning the overlapping anatomical structure of the one partial medical image with the overlapping anatomical structure of the other partial medical image; Position characterized by The method allowed.
被写体の所定の部位を撮影して得られた部分医用画像を複数記憶する部分医用画像記憶手段より前記部分医用画像を読み取る部分医用画像読取手段と、
被写体全体の解剖学的構造物の標準的な構造を現した全体基準画像を記憶する基準画像記憶手段より前記全体基準画像を読み取る全体基準画像読取手段と、
前記複数の部分医用画像各々に撮影されている部位の解剖学的構造物を、該各部位に対応する前記全体基準画像上の解剖学的構造物に位置合せする第1の位置合せ手段と、
前記複数の部分医用画像のうちの1つの部分医用画像に撮影されている部位と、前記複数の部分医用画像のうちの他の1つの部分医用画像に撮影されている部位とが重なる部分に対して、前記第1の位置合せ手段により前記1つの部分医用画像に撮影されている部位の解剖学的構造物を前記全体基準画像上の対応する部位の解剖学的構造物に位置合せし、前記第1の位置合せ手段により前記他の1つの部分医用画像に撮影されている部位の解剖学的構造物を前記全体基準画像上の対応する部位の解剖学的構造物に位置合せすることにより、前記1つの部分医用画像の前記重なる部分の解剖学的構造物を前記他の1つの部分医用画像の前記重なる部分の解剖学的構造物に位置合せする第2の位置合せ手段として機能させるプログラム。 Computer
A partial medical image reading means for reading the partial medical image from a partial medical image storage means for storing a plurality of partial medical images obtained by imaging a predetermined part of the subject;
An overall reference image reading means for reading the overall reference image from a reference image storage means for storing an overall reference image representing a standard structure of the anatomical structure of the entire subject;
First alignment means for aligning an anatomical structure of a part imaged in each of the plurality of partial medical images with an anatomical structure on the whole reference image corresponding to each part;
For a portion where a portion captured in one partial medical image of the plurality of partial medical images and a portion captured in another partial medical image of the plurality of partial medical images overlap And aligning the anatomical structure of the part imaged in the one partial medical image by the first alignment means with the anatomical structure of the corresponding part on the whole reference image, By aligning the anatomical structure of the part imaged in the other partial medical image by the first alignment means with the corresponding anatomical structure of the whole reference image, A program that functions as a second alignment unit that aligns the anatomical structure of the overlapping portion of the one partial medical image with the anatomical structure of the overlapping portion of the other partial medical image.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005255345A JP4574500B2 (en) | 2005-09-02 | 2005-09-02 | Alignment apparatus, alignment method and program thereof |
US11/492,849 US8194946B2 (en) | 2005-07-28 | 2006-07-26 | Aligning apparatus, aligning method, and the program |
US13/462,336 US20120219201A1 (en) | 2005-07-28 | 2012-05-02 | Aligning apparatus, aligning method, and the program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005255345A JP4574500B2 (en) | 2005-09-02 | 2005-09-02 | Alignment apparatus, alignment method and program thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007068554A JP2007068554A (en) | 2007-03-22 |
JP4574500B2 true JP4574500B2 (en) | 2010-11-04 |
Family
ID=37930561
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005255345A Expired - Fee Related JP4574500B2 (en) | 2005-07-28 | 2005-09-02 | Alignment apparatus, alignment method and program thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4574500B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009153677A (en) * | 2007-12-26 | 2009-07-16 | Konica Minolta Medical & Graphic Inc | Kinetic image processing system |
JP2010273854A (en) | 2009-05-28 | 2010-12-09 | Fujifilm Corp | Radiographic image display apparatus, method and program |
JP5523891B2 (en) | 2009-09-30 | 2014-06-18 | 富士フイルム株式会社 | Lesion region extraction device, its operating method and program |
JP2011095796A (en) * | 2009-10-27 | 2011-05-12 | Fujifilm Corp | Image processing apparatus, method and program |
CN103607951B (en) * | 2011-09-28 | 2016-08-24 | 达卡拉通信系统株式会社 | Image processing apparatus and image processing method |
JP6199118B2 (en) | 2012-09-10 | 2017-09-20 | 東芝メディカルシステムズ株式会社 | X-ray CT apparatus and medical image processing method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003132356A (en) * | 2001-07-25 | 2003-05-09 | Koninkl Philips Electronics Nv | Method and device for positioning two three-dimensional image data sets |
JP2005078176A (en) * | 2003-08-28 | 2005-03-24 | Aze Ltd | Non-rigid body registration method between a plurality of images |
JP2007260398A (en) * | 2006-03-29 | 2007-10-11 | Siemens Ag | Method for reducing stepwise artifact in computer tomographic displaying of heart and memory medium |
-
2005
- 2005-09-02 JP JP2005255345A patent/JP4574500B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003132356A (en) * | 2001-07-25 | 2003-05-09 | Koninkl Philips Electronics Nv | Method and device for positioning two three-dimensional image data sets |
JP2005078176A (en) * | 2003-08-28 | 2005-03-24 | Aze Ltd | Non-rigid body registration method between a plurality of images |
JP2007260398A (en) * | 2006-03-29 | 2007-10-11 | Siemens Ag | Method for reducing stepwise artifact in computer tomographic displaying of heart and memory medium |
Also Published As
Publication number | Publication date |
---|---|
JP2007068554A (en) | 2007-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8194946B2 (en) | Aligning apparatus, aligning method, and the program | |
JP6131161B2 (en) | Image registration apparatus, method, program, and three-dimensional deformation model generation method | |
JP6363575B2 (en) | Image alignment apparatus and method, and program | |
JP4574500B2 (en) | Alignment apparatus, alignment method and program thereof | |
JP2011160882A (en) | Medical image display apparatus, medical image display method, and program | |
JP2008000536A (en) | Image display device | |
US9886755B2 (en) | Image processing device, imaging system, and image processing program | |
JP2008212396A (en) | Image processor and its program | |
US9846939B2 (en) | Image display apparatus and image display method | |
US8170314B2 (en) | Image processing device and image processing program storage medium | |
JP2007029502A (en) | Positioning device, positioning method and its program | |
US20070092124A1 (en) | System for and method of displaying subtraction image and computer program for the system | |
JP4294880B2 (en) | Image registration method and apparatus | |
CN108430376A (en) | Data for projection collection is provided | |
KR102254365B1 (en) | Medical image processing method | |
JP2007014435A (en) | Image processing device, method and program | |
JP2005324058A (en) | Radiation image processing apparatus, apparatus and system for radiation image, program, computer readable storage medium, and radiation image processing method | |
JP2005270635A (en) | Method for processing image and device for processing image | |
JP4738970B2 (en) | Image processing apparatus, image processing method and program thereof | |
JP5051025B2 (en) | Image generating apparatus, program, and image generating method | |
KR102136107B1 (en) | Apparatus and method for alignment of bone suppressed chest x-ray image | |
JP7370694B2 (en) | Medical information processing device, medical information processing method, and program | |
JP2006020937A (en) | Method and device of positioning medical image | |
JP2019088672A (en) | Image processing device, method for operating image processing device and image processing program | |
JP2006239270A (en) | Abnormal shadow detector, abnormal shadow detection method, and its program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061209 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100702 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100727 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100818 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4574500 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130827 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |