JP4208048B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP4208048B2 JP4208048B2 JP2002343853A JP2002343853A JP4208048B2 JP 4208048 B2 JP4208048 B2 JP 4208048B2 JP 2002343853 A JP2002343853 A JP 2002343853A JP 2002343853 A JP2002343853 A JP 2002343853A JP 4208048 B2 JP4208048 B2 JP 4208048B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- processing
- image processing
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 217
- 238000012790 confirmation Methods 0.000 claims description 22
- 238000012937 correction Methods 0.000 claims description 15
- 238000003702 image correction Methods 0.000 claims 1
- 238000000034 method Methods 0.000 description 19
- 238000007781 pre-processing Methods 0.000 description 17
- 230000005855 radiation Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000002123 temporal effect Effects 0.000 description 8
- 230000000052 comparative effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000003902 lesion Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は画像処理装置に関し、特に詳しくは、画像処理済みの画像を含む同一被写体についての２画像間での画像間演算に適した画像処理装置に関するものである。
【０００２】
【従来の技術】
従来より、同一被写体についての２以上の画像を比較読影して、両画像間の差異を調べ、その差異に基づいて被写体の検査などを行うことが、種々の分野において行われている。
【０００３】
例えば、工業製品の製造分野においては、ある製品について新品の状態の時に撮影された画像と、当該製品の耐久試験後に撮影された画像とを比較読影して、両者の差異の大きな部位に注目することにより、製品の耐久性を向上させるべき部位を検討することが行われており、また医療分野においては、ある患者の異なる時期に撮影された複数枚の放射線画像を医師が比較読影することにより、新規に発生した病変を発見したり、疾患の進行状況や治癒状況を把握したりして治療方針を検討することが行われている。
【０００４】
ところで、比較読影の対象となる２以上の画像を出力する場合、それらの画像を単に並べて出力するのが一般的であるが、読影者にとって最も関心があるのはこれらの画像間の差異である。しかし、上述したように例えば２つの画像を単に並べてこの差異を発見するのは、その差異が小さい程困難であり、比較読影の性能向上が求められている。
【０００５】
そこで、比較読影の対象とされる２つの画像間で構造位置（解剖学的特徴位置）を対応させた減算（サブトラクション）処理をはじめとした画像間演算を行なって、上記差異を抽出・強調することが行われており（特許文献１等参照）、特に医療分野においては、近年、時系列放射線画像間の差分画像を作成する経時サブトラクション技術が提案され、作成した差分画像を時系列放射線画像と同時に観察することで診断支援を行う試みがある（非特許文献１参照）。
【０００６】
このように画像間の差異のみが抽出・強調されることにより、読影者に対して画像間の差異を確実に認識させることができるため、例えば、医療分野においては、進行または治癒する病変部の見落としを防止することができると考えられる。
【０００７】
なお、比較読影対象となる画像は、撮影時における被写体の姿勢の変化や撮影装置等の違いにより、一般的に被写体の構造物の位置が各画像で異なるため、これらの画像間演算を行う際には、各画像中に現れた構造物の位置（構造位置）を２つの画像間で対応させる位置合わせを行なうことが望ましい。例えばこの位置合わせとして、２つの画像間で平行移動、回転および拡大・縮小という大局的な変換（例えばアフィン変換等）を用いた第１の位置合わせと、この第１の位置合わせ後の画像について、多数の局所領域に分割したうえで、対応する局所領域同士の間で各々マッチングを行なった結果に基づいて、両画像をカーブフィッティング（例えば２次元１０次多項式）による非線形歪変換（ワーピング）を用いた第２の位置合わせとを２段階的に行なう技術（特許文献２参照）などが知られている。
【０００８】
【特許文献１】
特願平１１−３４２９００号公報
【０００９】
【特許文献２】
特開２００２−３２４２３８号公報
【００１０】
【非特許文献１】
A.Kano, K.Doi, H.MacMahon, D.Hassell, M.L.Giger, “Digital image subtraction of temporally sequential chest images for detection of interval change”, Med. Phys. 21(3), March 1994, 453-461[1]
【００１１】
【発明が解決しようとする課題】
ところが、例えば上記位置合わせの技術（特許文献２参照）によって、構造物を完全に位置合わせした場合であっても、両画像間で対応する構造物の濃度や輝度などを表す具体的な信号値が一致していないときは、画像間演算により得られた画像間演算画像（差異画像）に、この信号値差によるアーチファクトが生じる場合がある。
【００１２】
一般的に、比較読影の対象とされる画像すなわち画像間演算の対象とされる画像は、当初から画像間演算を目的として取得されたものではなく、各画像自体が単独で観察読影に適した可視画像として再生されるように、画像毎にそれぞれ適正な画像処理条件にしたがって画像処理が施されている。特に時系列的に異なる時期にそれぞれ取得される画像は、各取得時期における状態を適切に把握することを目的として取得されるものであるため、取得されたその画像限りの画像処理条件が設定されて画像処理が施される。したがって、画像間演算の対象とされる画像は、それぞれ異なる画像処理条件で画像処理が施されている場合が多く、画像間で対応する構造物の濃度や輝度を表す信号値が一致せず、差異画像にこの信号差によるアーチファクトが生じる可能性が非常に高い。
【００１３】
ところで、画像が保存される際は、本来、画像処理が施された後の画像（処理済画像）とともに画像処理が施される前の画像（処理前画像）が保存される。そこで、処理前画像同士を用いて画像間演算処理を行うようにすれば、上記問題を防ぐことができる。
【００１４】
しかしながら、近年、画像の送受信に関する種々の規格が整備され、特に医療分野においてはＤＩＣＯＭ等の規格が普及し、ネットワーク等を通じて簡単に画像の送受信ができるようになった。これに伴い、様々な形式や状態での画像がやり取りされ、処理済画像のみが存在する画像も扱われるようになり、処理済画像と処理前画像、または処理済画像同士の画像間演算処理も必要となってきている。
【００１５】
本発明は上記事情に鑑みなされたものであって、比較読影の対象となる２画像が画像処理済みであるか否かを問わず、観察に適したこれら２画像間の画像間演算画像（差異画像）を得ることが可能な画像処理装置を提供することを目的とするものである。
【００１６】
【課題を解決するための手段】
本発明の画像処理装置は、画像間演算の対象となる画像が、画像処理が施された処理済画像であるときに、当該処理済画像を画像処理が施される前の処理前画像と同等の画像にする若しくは処理前画像に近づける補正を行い、処理前画像または補正された画像を用いて画像間演算を行うものである。
【００１７】
すなわち本発明の第１の画像処理装置は、同一被写体についての２つの画像間で、この２つの画像間の差異を求める画像間演算を行って上記差異を表す差異画像を得る画像間演算手段を備えた画像処理装置において、上記画像が、この画像自身に画像処理済みであるか否かを表す処理済確認情報が添付されたものであって、画像処理済みである上記画像については、この画像に対して施された画像処理の条件を表す画像処理条件情報がさらに添付されたものであり、上記２つの画像について、各画像が画像処理済みであるか否かを、各画像に添付された処理済確認情報に基づいて判別する判別手段と、判別手段により画像処理済みであると判別された画像を、この画像に添付された画像処理条件情報に基づいて、画像処理が施される前の画像と同等の画像に補正する補正手段とを備え、画像間演算手段が、上記画像処理済みであると判別された画像に対しては補正手段により補正された画像を用いて、画像間演算を行うものであることを特徴とするものである。
【００１８】
また、本発明の第２の画像処理装置は、同一被写体についての２つの画像間で、この２つの画像間の差異を求める画像間演算を行って上記差異を表す差異画像を得る画像間演算手段を備えた画像処理装置において、上記画像が、この画像自身に画像処理済みであるか否かを表す処理済確認情報に添付されたものであり、上記２つの画像について、各画像が画像処理済みであるか否かを、各画像が付する処理済確認情報に基づいて判別する判別手段と、判別手段により画像処理済みであると判別された画像を、この画像に対して施される代表的な画像処理の条件に基づいて、画像処理が施される前の画像に近づける補正を行う補正手段とを備え、画像間演算手段が、上記画像処理済みであると判別された画像に対しては補正手段により補正された画像を用いて、画像間演算を行うものであることを特徴とするものである。
【００１９】
ここで、上記画像としては、通常のデジタルカメラ等により取得された画像をはじめ、ＣＲ（コンピューテッド・ラジオグラフィ）システムにより取得された放射線画像、ＣＴ装置やＭＲＩ装置により取得された断層画像等を適用することができる。なお画像の被写体としては、人体等の他、動植物、工業製品、地形、天体、風景等あらゆるものを適用することができる。
【００２０】
上記第１および第２の画像処理装置において、画像処理は、階調処理を含むものであってもよいし、周波数処理を含むものであってもよい。
【００２１】
階調処理とは、画像の濃度およびコントラストを調整する処理のことであり、例えば、注目している被写体の構造物が含まれる濃度帯が、階調レベルの主要部分に割り当てられるように階調カーブ（元の画素値と変換後の画素値との対応関係を表した曲線）を設定し、この階調カーブにしたがって画素値の変換を行う処理が考えられる。
【００２２】
周波数処理とは、画像の特定の空間周波数帯の濃度を調整する処理のことであり、例えば、画像の先鋭度が上がるように高周波帯の濃度を高める処理が考えられ、その処理の具体的手法としては、元の画像を所定のマスクサイズで画素値を平均化していわゆるボケ画像を生成し、そのボケ画像と元の画像との差分画像を得て、その差分画像を元の画像に加える方法が考えられる。
【００２３】
また、上記２つの画像における被写体の構造物の画像が略合致するよう、上記２つの画像を位置合せする位置合せ手段をさらに備え、画像間演算手段は、位置合せされた２つの画像間で、画像間演算を行うものであることが望ましい。なお、画像管演算を行う２つの画像の位置合せは、施された画像処理の補正前に行ってもよい。
【００２４】
処理済確認情報および画像処理条件情報は、例えば、画像を表す画像データのヘッダ部分に記述することができる。処理済確認情報としては、数値が設定された所定のパラメータを用いることができ、その数値によって画像が処理済画像であるか否かを表すようにすることができる。例えば、その数値が０のときは処理前画像を表し、１のときは処理済画像を表すようにする。また、画像処理条件情報としては、画像処理条件を特定する具体的なデータをそのまま用いたり、画像処理条件が幾つかのタイプに分けて予め用意されているときは、そのタイプを示す数値が設定された所定のパラメータを用いたりすることができる。例えば、画像処理が階調処理であるときには、前者の場合は、階調カーブ上の代表的な点を座標で示してその階調カーブを特定するようにしたり、また後者の場合は、所定のパラメータの値によって、予め用意されている階調カーブのタイプを特定するようにしたりすることができる。
【００２５】
また、上記第１および第２の画像処理装置において、上記２つの画像は、経時的変化の比較対象となる、同一被写体についての撮影時期が異なる画像であってもよい。例えば、ある患者の同一患部を被写体とした、現在の画像と過去の画像が考えられる。
【００２６】
上記第１の画像処理装置において、補正手段としては、処理済画像であると判別された画像に添付された画像処理条件情報から、その画像に対して施された画像処理の条件を特定し、その画像処理とは逆の処理をその画像に対して施すことにより、その画像を処理前画像と同等の画像に補正する手段が考えられる。
【００２７】
また、上記第２の画像処理装置において、補正手段としては、処理済画像であると判別された画像は一般的によく施される代表的な画像処理が施されていると想定し、上記代表的な画像処理とは逆の処理をその画像に対して施すことにより、その画像を処理前画像に近づける補正を行う手段が考えられる。
【００２８】
画像間演算としては、特に、２つの画像をそれぞれ表す画像データの画素を対応させた減算処理（サブトラクション処理）を適用するのが好ましく、この場合、単純な減算であってもよいし、重み付けを行ったうえでの減算であってもよい。減算処理によって得られた差異画像は一般にサブトラクション画像と称され、このサブトラクション画像としては、時系列的に略同時に撮影して得られたエネルギー分布の互いに異なる２つの原画像（＝オリジナルの画像；高圧画像（通常の放射線画像）、低圧画像（高圧抑制画像））に基づいて（単純減算または荷重減算）得られるエネルギーサブトラクション画像、時系列的に異なる時期に撮影して得られた２つの原画像に基づいて得られる経時サブトラクション画像、造影剤の注入前後にそれぞれ撮影して得られる血管の２つの原画像に基づいて得られるＤＳＡ（デジタルサブトラクション・アンギオグラフィ）画像等が含まれる。
【００２９】
【発明の効果】
本発明の第１の画像処理装置によれば、同一被写体についての２つの画像にそれぞれ添付された、当該各画像自身が画像処理済みであるか否かを表す処理済確認情報に基づいて、当該各画像が画像処理済みであるか否かを判別し、画像処理済であると判別された画像を、当該画像に添付された、当該画像に対して施された画像処理の条件を表す画像処理条件情報に基づいて、画像処理が施される前の画像と同等の画像に補正してから、これら２つの画像間で画像間演算を行って両画像間の差異画像を得るので、これら２つの画像を、画像処理が施される前の画像またはそれと同等の画像、すなわち画像処理による濃度シフトがなく両画像間で対応する被写体の構造物の濃度を表す信号値が略一致する画像に補正することができ、これら両画像間の差異画像における上記信号値の差に基づくアーチファクトの発生を防止することが可能となり、上記２つの画像が画像処理済みであるか否かを問わず、観察に適したこれら両画像間の差異画像を得ることができる。
【００３０】
また、略同じ画像処理条件にしたがって画像処理が施された、同一被写体についての２つの画像間で画像間演算を行うと、これら２つの画像間の差異画像において、両画像間で対応する被写体の構造物の濃度を表す信号値の差によるアーチファクトは抑えられるものの、画像処理によってある特定の濃度帯が圧縮されることにより差異画像においてその濃度帯の差異が現れにくくなるという現象が起こるが、本発明の第１の画像処理装置によれば、画像間演算の対象とされる２つの画像を、画像処理による濃度シフトのない、画像処理が施される前の画像またはそれと同等の画像に補正するので、上記のような現象を抑えることができる。
【００３１】
本発明の第２の画像処理装置によれば、同一被写体についての２つの画像にそれぞれ添付された、当該各画像自身が画像処理済みであるか否かを表す処理済確認情報に基づいて、当該各画像が画像処理済みであるか否かを判別し、画像処理済みであると判別された画像を、当該画像に対して施される代表的な画像処理の条件に基づいて、当該画像を画像処理が施される前の処理前画像に近づける補正をしてから画像間演算を行って、これら両画像間の差異画像を得るので、上記２つの画像のいずれかが、画像処理済みではあるが当該画像に対して施された画像処理の条件が不明である画像であっても、このような画像を、代表的な画像処理の条件に基づいて、画像処理が施される前の画像にできるだけ近づける補正を行うことができ、上記第１の画像処理装置による効果に準ずる効果を期待することができる。
【００３２】
なお、上記第１および第２の画像処理装置において、同一被写体についての２つの画像における被写体の構造物の画像が略合致するよう、当該２つの画像を位置合せする位置合せ手段をさらに備え、画像間演算手段を、位置合せされた２つの画像間で画像間演算を行うものとすれば、差異画像において被写体の姿勢の変化や撮影装置等の違いによる位置ずれに基づくアーチファクトを低減することができ、より観察に適した差異画像を得ることができる。
【００３３】
【発明の実施の形態】
以下、本発明の画像処理装置の実施の形態について説明する。図１は、本発明による画像処理装置の第１実施形態の構成を示すブロック図である。なお、本実施形態においては、画像間演算の対象となる２つの画像を、経時的変化の比較対象となる同一被写体についての撮影時期が異なる２つの画像とし、具体的には、人体の胸部放射線画像を表す、現在撮影された現在画像と過去に撮影された過去画像とする。そして、本発明による画像処理装置１により、これらの画像間の差分を表す経時サブトラクション画像を得て、その画像を観察して新規病変部を発見する診断を行う場合を想定する。また、これらの画像は、その画像自身が画像処理済みであるか否かを表す処理済確認情報Ｚと、画像処理済みである画像（処理済画像）については、その画像に対して施された画像処理の条件を表す画像処理条件情報Ｃがさらに添付されるものとする。
【００３４】
図１に示す画像処理装置１は、入力された人体の胸部放射線画像の現在画像と過去画像（以下、これらの画像を入力された元の画像という意味で、オリジナル画像という）Ｐ１，Ｐ２について、これら２つのオリジナル画像Ｐ１，Ｐ２にそれぞれ添付された処理済確認情報Ｚ１，Ｚ２に基づいて、オリジナル画像Ｐ１，Ｐ２が画像処理済みであるか否かを判別する判別手段１０と、判別手段１０により画像処理済みであると判別されたオリジナル画像Ｐｉを、その画像Ｐｉに添付された画像処理条件情報Ｃｉに基づいて、画像処理が施される前の画像（処理前画像）と同等の画像Ｐｉ′に補正する補正手段２０と、画像処理済みであると判別されたオリジナル画像Ｐｉに対しては補正手段２０により補正された画像Ｐｉ′を用いて、画像Ｐ１（またはＰ１′），Ｐ２（またはＰ２′）における被写体の構造物の画像が略合致するよう、これら２つの画像を位置合せする位置合せ手段３０と、画像処理済みであると判別されたオリジナル画像Ｐｉに対しては補正手段２０により補正された画像Ｐｉ′を用いて、位置合せ手段３０により位置合せされた画像Ｐ１（またはＰ１′），Ｐ２（またはＰ２′）間で画像間演算（本実施形態においてはサブトラクション処理）を行い、画像Ｐ１（またはＰ１′）とＰ２（またはＰ２′）との差異を表す差異画像ＰＳ（本実施形態においては経時サブトラクション画像）を得る画像間演算手段４０とを備えている。
【００３５】
ここで、上記オリジナル画像Ｐ１，Ｐ２は、人体の胸部に放射線を照射し、この人体の胸部を透過した放射線を蓄積性蛍光体シート（照射された放射線のエネルギーを蓄積記録し、後に励起光を照射することにより、蓄積記録された放射線のエネルギーに応じた光量の輝尽発光光を発光する特性を有する輝尽性蛍光体層を備えたシート状の放射線検出パネル）に蓄積記録し、この放射線画像が記憶された蓄積性蛍光体シートから読み取って得られたデジタル画像データに基づいて表される、人体の胸部放射線画像である。また、これらの画像Ｐ１，Ｐ２は、現在撮影された現在画像と過去に撮影された過去画像であり、画像処理が施される前の処理前画像、または、画像処理が施された後の処理済画像のいずれかである。なお、ここでいう画像処理とは、標準的な画像をもとに、被写体の注目すべき領域や観察目的等に応じて設定される独自の画像処理条件にしたがって画像に対して施されるデータ変換処理のことであり、撮影装置により取得された画像を標準的な階調の画像にするために、撮影条件等に基づいて階調を調整する処理等は含まないものとする。
【００３６】
また、本実施形態において、上記画像処理は階調処理と周波数処理とからなるものとする。
【００３７】
階調処理は、図２（１）に示すような、処理前画像の画素値と階調処理後の画像の画素値との対応関係を表した階調カーブを設定し、設定された階調カーブにしたがって画素値の変換処理が行われるものである。なお、この階調カーブは幾つかのタイプに分けて予め用意されている。
【００３８】
周波数処理は、式（１）に示すような、ＵＳＭ処理と呼ばれる強調処理の式に基づいて行われるものであり、処理前画像Ｐｏを所定のマスクサイズで画素値を平均化して処理前画像Ｐｏのボケ画像Ｐｂを生成し、処理前画像Ｐｏからそのボケ画像Ｐｂを引いた成分に係数β（β＞０）を掛けたものを、処理前画像Ｐｏに加算して画像のエッジを強調する処理が行われるものである。
【００３９】
Ｐｏ′＝Ｐｏ＋β×（Ｐｏ−Ｐｂ） ・・・（１）
オリジナル画像Ｐ１，Ｐ２には、処理済確認情報Ｚおよび画像処理条件情報Ｃがヘッダ情報として付加されており、具体的には、処理済確認情報Ｚとして、画像処理済みであるか否かをそれぞれ数値の０と１で表すパラメータＺ、画像処理条件情報Ｃとして、階調処理に用いられた階調カーブのタイプ番号を表すパラメータＧと、周波数処理に用いられたマスクサイズＲおよび係数βとが付加されている。
【００４０】
次に、本実施形態の画像処理装置１の作用について説明する。
【００４１】
まず、画像処理装置１に、図３に示すような、人体の胸部放射線画像であるオリジナル画像Ｐ１，Ｐ２が入力されると、判別手段１０が、画像Ｐ１，Ｐ２にそれぞれ添付されたヘッダ情報から処理済確認情報としてのパラメータＺ１，Ｚ２を読み取り、そのパラメータの値によって、画像Ｐ１，Ｐ２が画像処理済みであるか否かを判別する（例えば、０は処理前、１は処理済みと判別する）。なお、ここでは、画像Ｐ１が現在撮影された画像処理が施されていない処理前画像、画像Ｐ２が過去に撮影された画像処理が施されている処理済画像であるものとし、また画像Ｐ１は病変部Ｋを含む胸部を表すものとする。
【００４２】
補正手段２０は、はじめに、判別手段１０により画像処理済みであると判別されたオリジナル画像Ｐ２に添付されたヘッダ情報からパラメータＧ２を読み取り、階調処理に用いられた階調カーブのタイプを認識し、その階調カーブとは入出力を逆にした階調カーブを用いて、そのオリジナル画像Ｐ２に対して逆階調処理を行う。階調カーブは、例えば、図２（１）に示すような、タイプ１〜３の３つのタイプが予め用意されているものとし、パラメータＧ２の値から階調処理に用いられた階調カーブのタイプを特定する。ここでは、Ｇ２＝２すなわちタイプ２の階調カーブが用いられたものとし、そのタイプ２の階調カーブとは入出力を逆にした、図２（２）の示したタイプ２′の階調カーブを用いて、画像Ｐ２に対して逆階調処理を行う。
【００４３】
次に、オリジナル画像Ｐ２に添付されたヘッダ情報からマスクサイズＲ２と係数β２とを読み取り、式（１）′に基づいて、オリジナル画像Ｐ２をマスクサイズＲ２で画素値を平均化してオリジナル画像Ｐ２のボケ画像Ｐ２ｂを生成し、オリジナル画像Ｐ２からそのボケ画像Ｐ２ｂを引いた成分に係数−β２（β２＞０）を掛けたものを、オリジナル画像Ｐ２に加算して画像のエッジをぼかす逆周波数処理を行う。このようにして、オリジナル画像Ｐ２を画像処理が施される前の画像に近似した画像Ｐ２′に補正する。
【００４４】
Ｐ２′＝Ｐ２−β２×（Ｐ２−Ｐ２ｂ） ・・・（１）′
図４は、このようにして得られた画像Ｐ２′を表した図である。
【００４５】
位置合せ手段３０は、前述の公知の技術であるアフィン変換や非線形歪変換（ワーピング）等を用いて、画像Ｐ１，Ｐ２′のうち一方を他方に合わせるようにして位置合せを行う。ここでは、画像Ｐ２′を画像Ｐ１に合うように変形させて画像Ｐ２′ｗを得るようにする。
【００４６】
画像間演算手段４０は、式（２）にしたがって、画像Ｐ１，Ｐ２′ｗ間で減算処理を行い、経時サブトラクション画像ＰＳを得る。
【００４７】
ＰＳ＝ｃｏｎｔ×（Ｐ１−Ｐ２′ｗ）＋ｍｉｄ ・・・（２）
ｃｏｎｔ；コントラスト係数， ｍｉｄ；中間値
図５は、このようにして得られた経時サブトラクション画像ＰＳを表した図である。読影者は、この経時サブトラクション画像ＰＳを観察することにより、胸部に新規に発生した病変部Ｋを容易に発見することができる。
【００４８】
このような上記第１実施形態における画像処理装置１によれば、同一被写体についての２つの画像にそれぞれ添付された、当該各画像自身が画像処理済みであるか否かを表す処理済確認情報に基づいて、当該各画像が画像処理済みであるか否かを判別し、画像処理済であると判別された画像を、当該画像に添付された、当該画像に対して施された画像処理の条件を表す画像処理条件情報に基づいて、画像処理が施される前の画像と同等の画像に補正してから、これら２つの画像間で画像間演算を行って両画像間の差異画像を得るので、これら２つの画像を、画像処理が施される前の画像またはそれと同等の画像、すなわち画像処理による濃度シフトがなく両画像間で対応する被写体の構造物の濃度を表す信号値が略一致する画像に補正することができ、これら両画像間の差異画像における上記信号値の差に基づくアーチファクトの発生を防止することが可能となり、上記２つの画像が画像処理済みであるか否かを問わず、観察に適したこれら両画像間の差異画像を得ることができる。
【００４９】
また、略同じ画像処理条件にしたがって画像処理が施された、同一被写体についての２つの画像間で画像間演算を行うと、これら２つの画像間の差異画像において、両画像間で対応する被写体の構造物の濃度を表す信号値の差によるアーチファクトは抑えられるものの、画像処理によってある特定の濃度帯が圧縮されることにより差異画像においてその濃度帯の差異が現れにくくなるという現象が起こるが、第１実施形態の画像処理装置１によれば、画像間演算の対象とされる２つの画像を、画像処理による濃度シフトのない、画像処理が施される前の画像またはそれと同等の画像に補正するので、上記のような現象を抑えることができる。
【００５０】
なお、本発明による画像処理装置の第２実施形態として、上記第１実施形態をもとに、入力されるオリジナル画像Ｐ１，Ｐ２に少なくとも処理済確認情報Ｚが添付されるものとし（画像処理条件情報Ｃが添付されるか否かは問わない）、補正手段２０を、判別手段１０により画像処理済みであると判別された画像を、当該画像に対して施される代表的な画像処理の条件に基づいて、画像処理が施される前の処理前画像と同等の画像に近づける補正を行う、つまり、この代表的な画像処理の条件とは逆の処理を当該画像に対して施すものとすることも考えられ、この場合は、同一被写体についての２つの画像にそれぞれ添付された、当該各画像自身が画像処理済みであるか否かを表す処理済確認情報に基づいて、当該各画像が画像処理済みであるか否かを判別し、画像処理済みであると判別された画像を、当該画像に対して施される代表的な画像処理の条件に基づいて、当該画像を画像処理が施される前の処理前画像に近づける補正をしてから画像間演算を行って、これら両画像間の差異画像を得るので、上記２つの画像のいずれかが、画像処理済みではあるが当該画像に対して施された画像処理の条件が不明である画像であっても、このような画像を、代表的な画像処理の条件に基づいて、画像処理が施される前の画像にできるだけ近づける補正を行うことができ、上記第１実施形態の画像処理装置１による効果に準ずる効果を期待することができる。
【００５１】
さらに、本発明による画像処理装置の第３実施形態として、上記第１実施形態をもとに、入力されるオリジナル画像Ｐ１，Ｐ２に少なくとも処理済確認情報Ｚが添付されるものとし（画像処理条件情報Ｃが添付されるか否かは問わない）、補正手段２０を、判別手段１０により画像処理済みであると判別された画像に対して、当該画像が画像処理条件情報Ｃが添付されたものであるときには、その画像処理条件情報Ｃに基づいて、施された画像処理と逆の処理を施すことにより、当該画像を画像処理が施される前の処理前画像と同等の画像に補正し、また当該画像に画像処理条件情報Ｃが添付されていないときには、その当該画像に対して一般的に施される代表的な画像処理の条件に基づいて、その代表的な画像処理と逆の処理を施すことにより、当該画像を処理前画像に近づける補正を行うものとすることも考えられる。この第３実施形態における画像処理装置は、具体的には、図６に示すような処理フローにしたがって処理を行う。
【００５２】
はじめに、入力されたオリジナル画像Ｐ１のヘッダ情報からパラメータＺ１を読み取り、画像処理済みであるか否かを判別する（ステップＳ１）。画像Ｐ１が画像処理済みでないときには、補正処理を行わずに画像Ｐ２についての処理に移行し、画像Ｐ１が画像処理済みであるときには、まず、画像処理条件情報Ｃ１の一部として、階調処理における階調カーブのタイプを特定するパラメータＧ１がヘッダ情報にあるかないかを判定する（ステップＳ２）。パラメータＧ１がある場合には、ヘッダ情報からそのパラメータＧ１を読み取って階調カーブのタイプを特定し、特定された階調カーブの入出力を逆にした階調カーブにしたがって画像Ｐ１に対して逆階調処理を施し（ステップＳ３）、パラメータＧ１がない場合には、画像Ｐ１に対して施される代表的な階調処理における階調カーブ（例えば、被写体の種類に応じて一般的によく用いられる階調カーブ）の入出力を逆にした階調カーブにしたがって画像Ｐ１に対して逆階調処理を施す（ステップＳ４）。次に、画像処理条件情報Ｃ１の一部として、周波数処理におけるマスクサイズＲ１および係数β１があるかないかを判定する（ステップＳ５）。マスクサイズＲ１および係数β１がある場合には、ヘッダ情報からそれらＲ１，β１を読み取り、式（１）″に基づいて、オリジナル画像Ｐ１をマスクサイズＲ１で画素値を平均化してオリジナル画像Ｐ１のボケ画像Ｐ１ｂを生成し、オリジナル画像Ｐ１からそのボケ画像Ｐ１ｂを引いた成分に係数−β１（β１＞０）を掛けたものを、オリジナル画像Ｐ１に加算して画像のエッジをぼかす逆周波数処理を行う（ステップＳ６）。
【００５３】
Ｐ１′＝Ｐ１−β１×（Ｐ１−Ｐ１ｂ） ・・・（１）″
マスクサイズＲ１および係数β１がない場合には、画像Ｐ１に対して施される代表的な周波数処理の条件に基づいて上記Ｒ１，β１を設定し、式（１）″に基づいて逆周波数処理を行う（ステップＳ７）。
【００５４】
続いて、オリジナル画像Ｐ２に対しても、ステップＳ１〜Ｓ７と同様の処理を行って、画像Ｐ２が画像処理済みであるときには画像Ｐ２を処理前画像と同等の画像にするまたは近づける補正を行い（ステップＳ８）、画像Ｐ１（または補正されたＰ１′）と画像Ｐ２（または補正されたＰ２′）とを位置合せし（ステップＳ９）、最終的には、画像Ｐ１，Ｐ２を処理前画像にできるだけ近い状態の画像に補正して、これらの画像間で画像間演算を行う（ステップＳ１０）。
【００５５】
なお、上記第１、第２および第３実施形態においては、同一被写体についての２つの画像における被写体の構造物の画像が略合致するよう、当該２つの画像を位置合せする位置合せ手段３０を備えているので、画像間演算手段４０により得られる差異画像において、被写体の姿勢の変化や撮影装置等の違いによる位置ずれに基づくアーチファクトを低減することができ、より観察に適した差異画像を得ることができる。なお、この位置合せ手段３０は、画像処理装置１において必ずしも必要というわけではなく、画像間演算の対象とされる２つの画像が、もともと、互いに位置ずれが略ないような状態のものであれば、位置合せをしなくても、観察に有効な差異画像を得ることが可能である。
【００５６】
なお、処理済確認情報Ｚは、上記実施形態のように、画像処理条件情報Ｃとは別に設けられてもよいが、画像処理条件情報Ｃが処理済確認情報Ｚを兼用するものであってもよく、例えば、画像処理条件を特定するパラメータの値が所定の値、例えば０であるときには、画像処理が施されていない処理前画像を示すものとしてもよい。
【００５７】
また、第３実施形態において、処理済確認情報Ｚは画像処理の種類別に用意し、画像処理の種類毎にその画像処理が施されているか否かを判別し、その結果に基づいて、画像処理の種類毎に補正を行うか否かを決定するようにしてもよい。
【００５８】
なお、周波数処理は、被写体の輪郭部分などの画像全体の一部の濃度を調整する処理であるため、周波数処理が施されたことによる、画像間演算の対象となる画像間における濃度値の不一致が、差異画像におけるアーチファクトの発生に寄与する割合は、階調処理の場合に比べて比較的小さい。したがって、画像処理が階調処理と周波数処理を含む場合には、階調処理についての補正のみであっても、十分有効な補正を行うことができる。
【図面の簡単な説明】
【図１】第１実施形態による画像処理装置の構成を示したブロック図
【図２】階調処理において用いられる階調カーブを示した図
【図３】画像処理装置に入力される人体の胸部放射線画像を表した図
【図４】画像処理が施される前の画像と同等の画像に補正された胸部放射線画像を表した図
【図５】経時サブトラクション画像を表した図
【図６】第３実施形態による画像処理装置における処理フローを表した図
【符号の説明】
１ 画像処理装置
１０ 判別手段
２０ 補正手段
３０ 位置合せ手段
４０ 画像間演算手段
【発明の属する技術分野】
本発明は画像処理装置に関し、特に詳しくは、画像処理済みの画像を含む同一被写体についての２画像間での画像間演算に適した画像処理装置に関するものである。
【０００２】
【従来の技術】
従来より、同一被写体についての２以上の画像を比較読影して、両画像間の差異を調べ、その差異に基づいて被写体の検査などを行うことが、種々の分野において行われている。
【０００３】
例えば、工業製品の製造分野においては、ある製品について新品の状態の時に撮影された画像と、当該製品の耐久試験後に撮影された画像とを比較読影して、両者の差異の大きな部位に注目することにより、製品の耐久性を向上させるべき部位を検討することが行われており、また医療分野においては、ある患者の異なる時期に撮影された複数枚の放射線画像を医師が比較読影することにより、新規に発生した病変を発見したり、疾患の進行状況や治癒状況を把握したりして治療方針を検討することが行われている。
【０００４】
ところで、比較読影の対象となる２以上の画像を出力する場合、それらの画像を単に並べて出力するのが一般的であるが、読影者にとって最も関心があるのはこれらの画像間の差異である。しかし、上述したように例えば２つの画像を単に並べてこの差異を発見するのは、その差異が小さい程困難であり、比較読影の性能向上が求められている。
【０００５】
そこで、比較読影の対象とされる２つの画像間で構造位置（解剖学的特徴位置）を対応させた減算（サブトラクション）処理をはじめとした画像間演算を行なって、上記差異を抽出・強調することが行われており（特許文献１等参照）、特に医療分野においては、近年、時系列放射線画像間の差分画像を作成する経時サブトラクション技術が提案され、作成した差分画像を時系列放射線画像と同時に観察することで診断支援を行う試みがある（非特許文献１参照）。
【０００６】
このように画像間の差異のみが抽出・強調されることにより、読影者に対して画像間の差異を確実に認識させることができるため、例えば、医療分野においては、進行または治癒する病変部の見落としを防止することができると考えられる。
【０００７】
なお、比較読影対象となる画像は、撮影時における被写体の姿勢の変化や撮影装置等の違いにより、一般的に被写体の構造物の位置が各画像で異なるため、これらの画像間演算を行う際には、各画像中に現れた構造物の位置（構造位置）を２つの画像間で対応させる位置合わせを行なうことが望ましい。例えばこの位置合わせとして、２つの画像間で平行移動、回転および拡大・縮小という大局的な変換（例えばアフィン変換等）を用いた第１の位置合わせと、この第１の位置合わせ後の画像について、多数の局所領域に分割したうえで、対応する局所領域同士の間で各々マッチングを行なった結果に基づいて、両画像をカーブフィッティング（例えば２次元１０次多項式）による非線形歪変換（ワーピング）を用いた第２の位置合わせとを２段階的に行なう技術（特許文献２参照）などが知られている。
【０００８】
【特許文献１】
特願平１１−３４２９００号公報
【０００９】
【特許文献２】
特開２００２−３２４２３８号公報
【００１０】
【非特許文献１】
A.Kano, K.Doi, H.MacMahon, D.Hassell, M.L.Giger, “Digital image subtraction of temporally sequential chest images for detection of interval change”, Med. Phys. 21(3), March 1994, 453-461[1]
【００１１】
【発明が解決しようとする課題】
ところが、例えば上記位置合わせの技術（特許文献２参照）によって、構造物を完全に位置合わせした場合であっても、両画像間で対応する構造物の濃度や輝度などを表す具体的な信号値が一致していないときは、画像間演算により得られた画像間演算画像（差異画像）に、この信号値差によるアーチファクトが生じる場合がある。
【００１２】
一般的に、比較読影の対象とされる画像すなわち画像間演算の対象とされる画像は、当初から画像間演算を目的として取得されたものではなく、各画像自体が単独で観察読影に適した可視画像として再生されるように、画像毎にそれぞれ適正な画像処理条件にしたがって画像処理が施されている。特に時系列的に異なる時期にそれぞれ取得される画像は、各取得時期における状態を適切に把握することを目的として取得されるものであるため、取得されたその画像限りの画像処理条件が設定されて画像処理が施される。したがって、画像間演算の対象とされる画像は、それぞれ異なる画像処理条件で画像処理が施されている場合が多く、画像間で対応する構造物の濃度や輝度を表す信号値が一致せず、差異画像にこの信号差によるアーチファクトが生じる可能性が非常に高い。
【００１３】
ところで、画像が保存される際は、本来、画像処理が施された後の画像（処理済画像）とともに画像処理が施される前の画像（処理前画像）が保存される。そこで、処理前画像同士を用いて画像間演算処理を行うようにすれば、上記問題を防ぐことができる。
【００１４】
しかしながら、近年、画像の送受信に関する種々の規格が整備され、特に医療分野においてはＤＩＣＯＭ等の規格が普及し、ネットワーク等を通じて簡単に画像の送受信ができるようになった。これに伴い、様々な形式や状態での画像がやり取りされ、処理済画像のみが存在する画像も扱われるようになり、処理済画像と処理前画像、または処理済画像同士の画像間演算処理も必要となってきている。
【００１５】
本発明は上記事情に鑑みなされたものであって、比較読影の対象となる２画像が画像処理済みであるか否かを問わず、観察に適したこれら２画像間の画像間演算画像（差異画像）を得ることが可能な画像処理装置を提供することを目的とするものである。
【００１６】
【課題を解決するための手段】
本発明の画像処理装置は、画像間演算の対象となる画像が、画像処理が施された処理済画像であるときに、当該処理済画像を画像処理が施される前の処理前画像と同等の画像にする若しくは処理前画像に近づける補正を行い、処理前画像または補正された画像を用いて画像間演算を行うものである。
【００１７】
すなわち本発明の第１の画像処理装置は、同一被写体についての２つの画像間で、この２つの画像間の差異を求める画像間演算を行って上記差異を表す差異画像を得る画像間演算手段を備えた画像処理装置において、上記画像が、この画像自身に画像処理済みであるか否かを表す処理済確認情報が添付されたものであって、画像処理済みである上記画像については、この画像に対して施された画像処理の条件を表す画像処理条件情報がさらに添付されたものであり、上記２つの画像について、各画像が画像処理済みであるか否かを、各画像に添付された処理済確認情報に基づいて判別する判別手段と、判別手段により画像処理済みであると判別された画像を、この画像に添付された画像処理条件情報に基づいて、画像処理が施される前の画像と同等の画像に補正する補正手段とを備え、画像間演算手段が、上記画像処理済みであると判別された画像に対しては補正手段により補正された画像を用いて、画像間演算を行うものであることを特徴とするものである。
【００１８】
また、本発明の第２の画像処理装置は、同一被写体についての２つの画像間で、この２つの画像間の差異を求める画像間演算を行って上記差異を表す差異画像を得る画像間演算手段を備えた画像処理装置において、上記画像が、この画像自身に画像処理済みであるか否かを表す処理済確認情報に添付されたものであり、上記２つの画像について、各画像が画像処理済みであるか否かを、各画像が付する処理済確認情報に基づいて判別する判別手段と、判別手段により画像処理済みであると判別された画像を、この画像に対して施される代表的な画像処理の条件に基づいて、画像処理が施される前の画像に近づける補正を行う補正手段とを備え、画像間演算手段が、上記画像処理済みであると判別された画像に対しては補正手段により補正された画像を用いて、画像間演算を行うものであることを特徴とするものである。
【００１９】
ここで、上記画像としては、通常のデジタルカメラ等により取得された画像をはじめ、ＣＲ（コンピューテッド・ラジオグラフィ）システムにより取得された放射線画像、ＣＴ装置やＭＲＩ装置により取得された断層画像等を適用することができる。なお画像の被写体としては、人体等の他、動植物、工業製品、地形、天体、風景等あらゆるものを適用することができる。
【００２０】
上記第１および第２の画像処理装置において、画像処理は、階調処理を含むものであってもよいし、周波数処理を含むものであってもよい。
【００２１】
階調処理とは、画像の濃度およびコントラストを調整する処理のことであり、例えば、注目している被写体の構造物が含まれる濃度帯が、階調レベルの主要部分に割り当てられるように階調カーブ（元の画素値と変換後の画素値との対応関係を表した曲線）を設定し、この階調カーブにしたがって画素値の変換を行う処理が考えられる。
【００２２】
周波数処理とは、画像の特定の空間周波数帯の濃度を調整する処理のことであり、例えば、画像の先鋭度が上がるように高周波帯の濃度を高める処理が考えられ、その処理の具体的手法としては、元の画像を所定のマスクサイズで画素値を平均化していわゆるボケ画像を生成し、そのボケ画像と元の画像との差分画像を得て、その差分画像を元の画像に加える方法が考えられる。
【００２３】
また、上記２つの画像における被写体の構造物の画像が略合致するよう、上記２つの画像を位置合せする位置合せ手段をさらに備え、画像間演算手段は、位置合せされた２つの画像間で、画像間演算を行うものであることが望ましい。なお、画像管演算を行う２つの画像の位置合せは、施された画像処理の補正前に行ってもよい。
【００２４】
処理済確認情報および画像処理条件情報は、例えば、画像を表す画像データのヘッダ部分に記述することができる。処理済確認情報としては、数値が設定された所定のパラメータを用いることができ、その数値によって画像が処理済画像であるか否かを表すようにすることができる。例えば、その数値が０のときは処理前画像を表し、１のときは処理済画像を表すようにする。また、画像処理条件情報としては、画像処理条件を特定する具体的なデータをそのまま用いたり、画像処理条件が幾つかのタイプに分けて予め用意されているときは、そのタイプを示す数値が設定された所定のパラメータを用いたりすることができる。例えば、画像処理が階調処理であるときには、前者の場合は、階調カーブ上の代表的な点を座標で示してその階調カーブを特定するようにしたり、また後者の場合は、所定のパラメータの値によって、予め用意されている階調カーブのタイプを特定するようにしたりすることができる。
【００２５】
また、上記第１および第２の画像処理装置において、上記２つの画像は、経時的変化の比較対象となる、同一被写体についての撮影時期が異なる画像であってもよい。例えば、ある患者の同一患部を被写体とした、現在の画像と過去の画像が考えられる。
【００２６】
上記第１の画像処理装置において、補正手段としては、処理済画像であると判別された画像に添付された画像処理条件情報から、その画像に対して施された画像処理の条件を特定し、その画像処理とは逆の処理をその画像に対して施すことにより、その画像を処理前画像と同等の画像に補正する手段が考えられる。
【００２７】
また、上記第２の画像処理装置において、補正手段としては、処理済画像であると判別された画像は一般的によく施される代表的な画像処理が施されていると想定し、上記代表的な画像処理とは逆の処理をその画像に対して施すことにより、その画像を処理前画像に近づける補正を行う手段が考えられる。
【００２８】
画像間演算としては、特に、２つの画像をそれぞれ表す画像データの画素を対応させた減算処理（サブトラクション処理）を適用するのが好ましく、この場合、単純な減算であってもよいし、重み付けを行ったうえでの減算であってもよい。減算処理によって得られた差異画像は一般にサブトラクション画像と称され、このサブトラクション画像としては、時系列的に略同時に撮影して得られたエネルギー分布の互いに異なる２つの原画像（＝オリジナルの画像；高圧画像（通常の放射線画像）、低圧画像（高圧抑制画像））に基づいて（単純減算または荷重減算）得られるエネルギーサブトラクション画像、時系列的に異なる時期に撮影して得られた２つの原画像に基づいて得られる経時サブトラクション画像、造影剤の注入前後にそれぞれ撮影して得られる血管の２つの原画像に基づいて得られるＤＳＡ（デジタルサブトラクション・アンギオグラフィ）画像等が含まれる。
【００２９】
【発明の効果】
本発明の第１の画像処理装置によれば、同一被写体についての２つの画像にそれぞれ添付された、当該各画像自身が画像処理済みであるか否かを表す処理済確認情報に基づいて、当該各画像が画像処理済みであるか否かを判別し、画像処理済であると判別された画像を、当該画像に添付された、当該画像に対して施された画像処理の条件を表す画像処理条件情報に基づいて、画像処理が施される前の画像と同等の画像に補正してから、これら２つの画像間で画像間演算を行って両画像間の差異画像を得るので、これら２つの画像を、画像処理が施される前の画像またはそれと同等の画像、すなわち画像処理による濃度シフトがなく両画像間で対応する被写体の構造物の濃度を表す信号値が略一致する画像に補正することができ、これら両画像間の差異画像における上記信号値の差に基づくアーチファクトの発生を防止することが可能となり、上記２つの画像が画像処理済みであるか否かを問わず、観察に適したこれら両画像間の差異画像を得ることができる。
【００３０】
また、略同じ画像処理条件にしたがって画像処理が施された、同一被写体についての２つの画像間で画像間演算を行うと、これら２つの画像間の差異画像において、両画像間で対応する被写体の構造物の濃度を表す信号値の差によるアーチファクトは抑えられるものの、画像処理によってある特定の濃度帯が圧縮されることにより差異画像においてその濃度帯の差異が現れにくくなるという現象が起こるが、本発明の第１の画像処理装置によれば、画像間演算の対象とされる２つの画像を、画像処理による濃度シフトのない、画像処理が施される前の画像またはそれと同等の画像に補正するので、上記のような現象を抑えることができる。
【００３１】
本発明の第２の画像処理装置によれば、同一被写体についての２つの画像にそれぞれ添付された、当該各画像自身が画像処理済みであるか否かを表す処理済確認情報に基づいて、当該各画像が画像処理済みであるか否かを判別し、画像処理済みであると判別された画像を、当該画像に対して施される代表的な画像処理の条件に基づいて、当該画像を画像処理が施される前の処理前画像に近づける補正をしてから画像間演算を行って、これら両画像間の差異画像を得るので、上記２つの画像のいずれかが、画像処理済みではあるが当該画像に対して施された画像処理の条件が不明である画像であっても、このような画像を、代表的な画像処理の条件に基づいて、画像処理が施される前の画像にできるだけ近づける補正を行うことができ、上記第１の画像処理装置による効果に準ずる効果を期待することができる。
【００３２】
なお、上記第１および第２の画像処理装置において、同一被写体についての２つの画像における被写体の構造物の画像が略合致するよう、当該２つの画像を位置合せする位置合せ手段をさらに備え、画像間演算手段を、位置合せされた２つの画像間で画像間演算を行うものとすれば、差異画像において被写体の姿勢の変化や撮影装置等の違いによる位置ずれに基づくアーチファクトを低減することができ、より観察に適した差異画像を得ることができる。
【００３３】
【発明の実施の形態】
以下、本発明の画像処理装置の実施の形態について説明する。図１は、本発明による画像処理装置の第１実施形態の構成を示すブロック図である。なお、本実施形態においては、画像間演算の対象となる２つの画像を、経時的変化の比較対象となる同一被写体についての撮影時期が異なる２つの画像とし、具体的には、人体の胸部放射線画像を表す、現在撮影された現在画像と過去に撮影された過去画像とする。そして、本発明による画像処理装置１により、これらの画像間の差分を表す経時サブトラクション画像を得て、その画像を観察して新規病変部を発見する診断を行う場合を想定する。また、これらの画像は、その画像自身が画像処理済みであるか否かを表す処理済確認情報Ｚと、画像処理済みである画像（処理済画像）については、その画像に対して施された画像処理の条件を表す画像処理条件情報Ｃがさらに添付されるものとする。
【００３４】
図１に示す画像処理装置１は、入力された人体の胸部放射線画像の現在画像と過去画像（以下、これらの画像を入力された元の画像という意味で、オリジナル画像という）Ｐ１，Ｐ２について、これら２つのオリジナル画像Ｐ１，Ｐ２にそれぞれ添付された処理済確認情報Ｚ１，Ｚ２に基づいて、オリジナル画像Ｐ１，Ｐ２が画像処理済みであるか否かを判別する判別手段１０と、判別手段１０により画像処理済みであると判別されたオリジナル画像Ｐｉを、その画像Ｐｉに添付された画像処理条件情報Ｃｉに基づいて、画像処理が施される前の画像（処理前画像）と同等の画像Ｐｉ′に補正する補正手段２０と、画像処理済みであると判別されたオリジナル画像Ｐｉに対しては補正手段２０により補正された画像Ｐｉ′を用いて、画像Ｐ１（またはＰ１′），Ｐ２（またはＰ２′）における被写体の構造物の画像が略合致するよう、これら２つの画像を位置合せする位置合せ手段３０と、画像処理済みであると判別されたオリジナル画像Ｐｉに対しては補正手段２０により補正された画像Ｐｉ′を用いて、位置合せ手段３０により位置合せされた画像Ｐ１（またはＰ１′），Ｐ２（またはＰ２′）間で画像間演算（本実施形態においてはサブトラクション処理）を行い、画像Ｐ１（またはＰ１′）とＰ２（またはＰ２′）との差異を表す差異画像ＰＳ（本実施形態においては経時サブトラクション画像）を得る画像間演算手段４０とを備えている。
【００３５】
ここで、上記オリジナル画像Ｐ１，Ｐ２は、人体の胸部に放射線を照射し、この人体の胸部を透過した放射線を蓄積性蛍光体シート（照射された放射線のエネルギーを蓄積記録し、後に励起光を照射することにより、蓄積記録された放射線のエネルギーに応じた光量の輝尽発光光を発光する特性を有する輝尽性蛍光体層を備えたシート状の放射線検出パネル）に蓄積記録し、この放射線画像が記憶された蓄積性蛍光体シートから読み取って得られたデジタル画像データに基づいて表される、人体の胸部放射線画像である。また、これらの画像Ｐ１，Ｐ２は、現在撮影された現在画像と過去に撮影された過去画像であり、画像処理が施される前の処理前画像、または、画像処理が施された後の処理済画像のいずれかである。なお、ここでいう画像処理とは、標準的な画像をもとに、被写体の注目すべき領域や観察目的等に応じて設定される独自の画像処理条件にしたがって画像に対して施されるデータ変換処理のことであり、撮影装置により取得された画像を標準的な階調の画像にするために、撮影条件等に基づいて階調を調整する処理等は含まないものとする。
【００３６】
また、本実施形態において、上記画像処理は階調処理と周波数処理とからなるものとする。
【００３７】
階調処理は、図２（１）に示すような、処理前画像の画素値と階調処理後の画像の画素値との対応関係を表した階調カーブを設定し、設定された階調カーブにしたがって画素値の変換処理が行われるものである。なお、この階調カーブは幾つかのタイプに分けて予め用意されている。
【００３８】
周波数処理は、式（１）に示すような、ＵＳＭ処理と呼ばれる強調処理の式に基づいて行われるものであり、処理前画像Ｐｏを所定のマスクサイズで画素値を平均化して処理前画像Ｐｏのボケ画像Ｐｂを生成し、処理前画像Ｐｏからそのボケ画像Ｐｂを引いた成分に係数β（β＞０）を掛けたものを、処理前画像Ｐｏに加算して画像のエッジを強調する処理が行われるものである。
【００３９】
Ｐｏ′＝Ｐｏ＋β×（Ｐｏ−Ｐｂ） ・・・（１）
オリジナル画像Ｐ１，Ｐ２には、処理済確認情報Ｚおよび画像処理条件情報Ｃがヘッダ情報として付加されており、具体的には、処理済確認情報Ｚとして、画像処理済みであるか否かをそれぞれ数値の０と１で表すパラメータＺ、画像処理条件情報Ｃとして、階調処理に用いられた階調カーブのタイプ番号を表すパラメータＧと、周波数処理に用いられたマスクサイズＲおよび係数βとが付加されている。
【００４０】
次に、本実施形態の画像処理装置１の作用について説明する。
【００４１】
まず、画像処理装置１に、図３に示すような、人体の胸部放射線画像であるオリジナル画像Ｐ１，Ｐ２が入力されると、判別手段１０が、画像Ｐ１，Ｐ２にそれぞれ添付されたヘッダ情報から処理済確認情報としてのパラメータＺ１，Ｚ２を読み取り、そのパラメータの値によって、画像Ｐ１，Ｐ２が画像処理済みであるか否かを判別する（例えば、０は処理前、１は処理済みと判別する）。なお、ここでは、画像Ｐ１が現在撮影された画像処理が施されていない処理前画像、画像Ｐ２が過去に撮影された画像処理が施されている処理済画像であるものとし、また画像Ｐ１は病変部Ｋを含む胸部を表すものとする。
【００４２】
補正手段２０は、はじめに、判別手段１０により画像処理済みであると判別されたオリジナル画像Ｐ２に添付されたヘッダ情報からパラメータＧ２を読み取り、階調処理に用いられた階調カーブのタイプを認識し、その階調カーブとは入出力を逆にした階調カーブを用いて、そのオリジナル画像Ｐ２に対して逆階調処理を行う。階調カーブは、例えば、図２（１）に示すような、タイプ１〜３の３つのタイプが予め用意されているものとし、パラメータＧ２の値から階調処理に用いられた階調カーブのタイプを特定する。ここでは、Ｇ２＝２すなわちタイプ２の階調カーブが用いられたものとし、そのタイプ２の階調カーブとは入出力を逆にした、図２（２）の示したタイプ２′の階調カーブを用いて、画像Ｐ２に対して逆階調処理を行う。
【００４３】
次に、オリジナル画像Ｐ２に添付されたヘッダ情報からマスクサイズＲ２と係数β２とを読み取り、式（１）′に基づいて、オリジナル画像Ｐ２をマスクサイズＲ２で画素値を平均化してオリジナル画像Ｐ２のボケ画像Ｐ２ｂを生成し、オリジナル画像Ｐ２からそのボケ画像Ｐ２ｂを引いた成分に係数−β２（β２＞０）を掛けたものを、オリジナル画像Ｐ２に加算して画像のエッジをぼかす逆周波数処理を行う。このようにして、オリジナル画像Ｐ２を画像処理が施される前の画像に近似した画像Ｐ２′に補正する。
【００４４】
Ｐ２′＝Ｐ２−β２×（Ｐ２−Ｐ２ｂ） ・・・（１）′
図４は、このようにして得られた画像Ｐ２′を表した図である。
【００４５】
位置合せ手段３０は、前述の公知の技術であるアフィン変換や非線形歪変換（ワーピング）等を用いて、画像Ｐ１，Ｐ２′のうち一方を他方に合わせるようにして位置合せを行う。ここでは、画像Ｐ２′を画像Ｐ１に合うように変形させて画像Ｐ２′ｗを得るようにする。
【００４６】
画像間演算手段４０は、式（２）にしたがって、画像Ｐ１，Ｐ２′ｗ間で減算処理を行い、経時サブトラクション画像ＰＳを得る。
【００４７】
ＰＳ＝ｃｏｎｔ×（Ｐ１−Ｐ２′ｗ）＋ｍｉｄ ・・・（２）
ｃｏｎｔ；コントラスト係数， ｍｉｄ；中間値
図５は、このようにして得られた経時サブトラクション画像ＰＳを表した図である。読影者は、この経時サブトラクション画像ＰＳを観察することにより、胸部に新規に発生した病変部Ｋを容易に発見することができる。
【００４８】
このような上記第１実施形態における画像処理装置１によれば、同一被写体についての２つの画像にそれぞれ添付された、当該各画像自身が画像処理済みであるか否かを表す処理済確認情報に基づいて、当該各画像が画像処理済みであるか否かを判別し、画像処理済であると判別された画像を、当該画像に添付された、当該画像に対して施された画像処理の条件を表す画像処理条件情報に基づいて、画像処理が施される前の画像と同等の画像に補正してから、これら２つの画像間で画像間演算を行って両画像間の差異画像を得るので、これら２つの画像を、画像処理が施される前の画像またはそれと同等の画像、すなわち画像処理による濃度シフトがなく両画像間で対応する被写体の構造物の濃度を表す信号値が略一致する画像に補正することができ、これら両画像間の差異画像における上記信号値の差に基づくアーチファクトの発生を防止することが可能となり、上記２つの画像が画像処理済みであるか否かを問わず、観察に適したこれら両画像間の差異画像を得ることができる。
【００４９】
また、略同じ画像処理条件にしたがって画像処理が施された、同一被写体についての２つの画像間で画像間演算を行うと、これら２つの画像間の差異画像において、両画像間で対応する被写体の構造物の濃度を表す信号値の差によるアーチファクトは抑えられるものの、画像処理によってある特定の濃度帯が圧縮されることにより差異画像においてその濃度帯の差異が現れにくくなるという現象が起こるが、第１実施形態の画像処理装置１によれば、画像間演算の対象とされる２つの画像を、画像処理による濃度シフトのない、画像処理が施される前の画像またはそれと同等の画像に補正するので、上記のような現象を抑えることができる。
【００５０】
なお、本発明による画像処理装置の第２実施形態として、上記第１実施形態をもとに、入力されるオリジナル画像Ｐ１，Ｐ２に少なくとも処理済確認情報Ｚが添付されるものとし（画像処理条件情報Ｃが添付されるか否かは問わない）、補正手段２０を、判別手段１０により画像処理済みであると判別された画像を、当該画像に対して施される代表的な画像処理の条件に基づいて、画像処理が施される前の処理前画像と同等の画像に近づける補正を行う、つまり、この代表的な画像処理の条件とは逆の処理を当該画像に対して施すものとすることも考えられ、この場合は、同一被写体についての２つの画像にそれぞれ添付された、当該各画像自身が画像処理済みであるか否かを表す処理済確認情報に基づいて、当該各画像が画像処理済みであるか否かを判別し、画像処理済みであると判別された画像を、当該画像に対して施される代表的な画像処理の条件に基づいて、当該画像を画像処理が施される前の処理前画像に近づける補正をしてから画像間演算を行って、これら両画像間の差異画像を得るので、上記２つの画像のいずれかが、画像処理済みではあるが当該画像に対して施された画像処理の条件が不明である画像であっても、このような画像を、代表的な画像処理の条件に基づいて、画像処理が施される前の画像にできるだけ近づける補正を行うことができ、上記第１実施形態の画像処理装置１による効果に準ずる効果を期待することができる。
【００５１】
さらに、本発明による画像処理装置の第３実施形態として、上記第１実施形態をもとに、入力されるオリジナル画像Ｐ１，Ｐ２に少なくとも処理済確認情報Ｚが添付されるものとし（画像処理条件情報Ｃが添付されるか否かは問わない）、補正手段２０を、判別手段１０により画像処理済みであると判別された画像に対して、当該画像が画像処理条件情報Ｃが添付されたものであるときには、その画像処理条件情報Ｃに基づいて、施された画像処理と逆の処理を施すことにより、当該画像を画像処理が施される前の処理前画像と同等の画像に補正し、また当該画像に画像処理条件情報Ｃが添付されていないときには、その当該画像に対して一般的に施される代表的な画像処理の条件に基づいて、その代表的な画像処理と逆の処理を施すことにより、当該画像を処理前画像に近づける補正を行うものとすることも考えられる。この第３実施形態における画像処理装置は、具体的には、図６に示すような処理フローにしたがって処理を行う。
【００５２】
はじめに、入力されたオリジナル画像Ｐ１のヘッダ情報からパラメータＺ１を読み取り、画像処理済みであるか否かを判別する（ステップＳ１）。画像Ｐ１が画像処理済みでないときには、補正処理を行わずに画像Ｐ２についての処理に移行し、画像Ｐ１が画像処理済みであるときには、まず、画像処理条件情報Ｃ１の一部として、階調処理における階調カーブのタイプを特定するパラメータＧ１がヘッダ情報にあるかないかを判定する（ステップＳ２）。パラメータＧ１がある場合には、ヘッダ情報からそのパラメータＧ１を読み取って階調カーブのタイプを特定し、特定された階調カーブの入出力を逆にした階調カーブにしたがって画像Ｐ１に対して逆階調処理を施し（ステップＳ３）、パラメータＧ１がない場合には、画像Ｐ１に対して施される代表的な階調処理における階調カーブ（例えば、被写体の種類に応じて一般的によく用いられる階調カーブ）の入出力を逆にした階調カーブにしたがって画像Ｐ１に対して逆階調処理を施す（ステップＳ４）。次に、画像処理条件情報Ｃ１の一部として、周波数処理におけるマスクサイズＲ１および係数β１があるかないかを判定する（ステップＳ５）。マスクサイズＲ１および係数β１がある場合には、ヘッダ情報からそれらＲ１，β１を読み取り、式（１）″に基づいて、オリジナル画像Ｐ１をマスクサイズＲ１で画素値を平均化してオリジナル画像Ｐ１のボケ画像Ｐ１ｂを生成し、オリジナル画像Ｐ１からそのボケ画像Ｐ１ｂを引いた成分に係数−β１（β１＞０）を掛けたものを、オリジナル画像Ｐ１に加算して画像のエッジをぼかす逆周波数処理を行う（ステップＳ６）。
【００５３】
Ｐ１′＝Ｐ１−β１×（Ｐ１−Ｐ１ｂ） ・・・（１）″
マスクサイズＲ１および係数β１がない場合には、画像Ｐ１に対して施される代表的な周波数処理の条件に基づいて上記Ｒ１，β１を設定し、式（１）″に基づいて逆周波数処理を行う（ステップＳ７）。
【００５４】
続いて、オリジナル画像Ｐ２に対しても、ステップＳ１〜Ｓ７と同様の処理を行って、画像Ｐ２が画像処理済みであるときには画像Ｐ２を処理前画像と同等の画像にするまたは近づける補正を行い（ステップＳ８）、画像Ｐ１（または補正されたＰ１′）と画像Ｐ２（または補正されたＰ２′）とを位置合せし（ステップＳ９）、最終的には、画像Ｐ１，Ｐ２を処理前画像にできるだけ近い状態の画像に補正して、これらの画像間で画像間演算を行う（ステップＳ１０）。
【００５５】
なお、上記第１、第２および第３実施形態においては、同一被写体についての２つの画像における被写体の構造物の画像が略合致するよう、当該２つの画像を位置合せする位置合せ手段３０を備えているので、画像間演算手段４０により得られる差異画像において、被写体の姿勢の変化や撮影装置等の違いによる位置ずれに基づくアーチファクトを低減することができ、より観察に適した差異画像を得ることができる。なお、この位置合せ手段３０は、画像処理装置１において必ずしも必要というわけではなく、画像間演算の対象とされる２つの画像が、もともと、互いに位置ずれが略ないような状態のものであれば、位置合せをしなくても、観察に有効な差異画像を得ることが可能である。
【００５６】
なお、処理済確認情報Ｚは、上記実施形態のように、画像処理条件情報Ｃとは別に設けられてもよいが、画像処理条件情報Ｃが処理済確認情報Ｚを兼用するものであってもよく、例えば、画像処理条件を特定するパラメータの値が所定の値、例えば０であるときには、画像処理が施されていない処理前画像を示すものとしてもよい。
【００５７】
また、第３実施形態において、処理済確認情報Ｚは画像処理の種類別に用意し、画像処理の種類毎にその画像処理が施されているか否かを判別し、その結果に基づいて、画像処理の種類毎に補正を行うか否かを決定するようにしてもよい。
【００５８】
なお、周波数処理は、被写体の輪郭部分などの画像全体の一部の濃度を調整する処理であるため、周波数処理が施されたことによる、画像間演算の対象となる画像間における濃度値の不一致が、差異画像におけるアーチファクトの発生に寄与する割合は、階調処理の場合に比べて比較的小さい。したがって、画像処理が階調処理と周波数処理を含む場合には、階調処理についての補正のみであっても、十分有効な補正を行うことができる。
【図面の簡単な説明】
【図１】第１実施形態による画像処理装置の構成を示したブロック図
【図２】階調処理において用いられる階調カーブを示した図
【図３】画像処理装置に入力される人体の胸部放射線画像を表した図
【図４】画像処理が施される前の画像と同等の画像に補正された胸部放射線画像を表した図
【図５】経時サブトラクション画像を表した図
【図６】第３実施形態による画像処理装置における処理フローを表した図
【符号の説明】
１ 画像処理装置
１０ 判別手段
２０ 補正手段
３０ 位置合せ手段
４０ 画像間演算手段
Claims (3)
- 同一被写体についての２つの画像間で、該２つの画像間の差異を求める画像間演算を行って前記差異を表す差異画像を得る画像間演算手段を備えた画像処理装置において、
前記画像が、該画像自身が画像処理済みであるか否かを表す処理済確認情報が添付されたものであって、画像処理済みである前記画像については、該画像に対して施された画像処理の条件を表す画像処理条件情報がさらに添付されたものであり、
前記画像処理が階調処理と周波数処理とからなる処理であり、
前記２つの画像について、該各画像が画像処理済みであるか否かを、該各画像に添付された前記処理済確認情報に基づいて判別する判別手段と、
前記判別手段により画像処理済みであると判別された画像に対し、該画像に添付された前記画像処理条件情報に基づいて、前記階調処理と前記周波数処理とからなる前記処理が施される前の画像と同等の画像に補正する補正手段とを備え、
前記画像間演算手段が、前記画像処理済みであると判別された画像に対しては前記補正手段により補正された画像を用いて、前記画像間演算を行うものであることを特徴とする画像処理装置。 - 前記２つの画像における前記被写体の構造物の画像が略合致するよう、前記２つの画像を位置合せする位置合せ手段をさらに備え、
前記画像間演算手段が、前記位置合せされた２つの画像間で、前記画像間演算を行うものであることを特徴とする請求項１記載の画像処理装置。 - 前記２つの画像が、経時的変化の比較対象となる、同一被写体についての撮影時期が異なる画像であることを特徴とする請求項１または２記載の画像処理装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002343853A JP4208048B2 (ja) | 2002-11-27 | 2002-11-27 | 画像処理装置 |
| US10/718,694 US7813576B2 (en) | 2002-11-27 | 2003-11-24 | Image processing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002343853A JP4208048B2 (ja) | 2002-11-27 | 2002-11-27 | 画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004179964A JP2004179964A (ja) | 2004-06-24 |
| JP4208048B2 true JP4208048B2 (ja) | 2009-01-14 |
Family
ID=32705538
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002343853A Expired - Fee Related JP4208048B2 (ja) | 2002-11-27 | 2002-11-27 | 画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4208048B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2420641B (en) * | 2004-11-29 | 2008-06-04 | Medicsight Plc | Digital medical image analysis |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09212647A (ja) * | 1996-02-02 | 1997-08-15 | Fuji Photo Film Co Ltd | 画像処理装置 |
| JPH11332858A (ja) * | 1998-05-22 | 1999-12-07 | Fuji Photo Film Co Ltd | 照射野外黒化処理装置 |
| JP4188532B2 (ja) * | 2000-02-01 | 2008-11-26 | 富士フイルム株式会社 | 画像間演算方法および装置並びに画像表示方法および装置 |
| JP2001266147A (ja) * | 2000-03-15 | 2001-09-28 | Fuji Photo Film Co Ltd | 画像処理方法および画像処理装置 |
| JP2002063563A (ja) * | 2000-08-17 | 2002-02-28 | Fuji Photo Film Co Ltd | 画像処理方法および画像処理システム |
-
2002
- 2002-11-27 JP JP2002343853A patent/JP4208048B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004179964A (ja) | 2004-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4294881B2 (ja) | 画像の位置合わせ方法および装置 | |
| JP4104054B2 (ja) | 画像の位置合わせ装置および画像処理装置 | |
| WO2015146011A1 (ja) | 放射線画像処理装置および方法並びにプログラム | |
| JP2005176402A (ja) | 時間的に連続する胸部画像間の経時変化を検出する装置 | |
| US4899393A (en) | Method for image registration | |
| JP2004242285A (ja) | ノイズ抑制処理方法および装置並びにプログラム | |
| JP4274400B2 (ja) | 画像の位置合わせ方法および装置 | |
| JPS62122635A (ja) | 放射線画像処理装置 | |
| US7680352B2 (en) | Processing method, image processing system and computer program | |
| WO2014136415A1 (ja) | 体動検出装置および方法 | |
| JP4584550B2 (ja) | Ｘ線計測装置 | |
| CN111127371B (zh) | 图像增强参数自动优化方法、存储介质和x射线扫描装置 | |
| JP4208049B2 (ja) | 画像処理装置 | |
| JP4208048B2 (ja) | 画像処理装置 | |
| US7813576B2 (en) | Image processing apparatus | |
| US20230077520A1 (en) | X-ray imaging system | |
| US6628749B2 (en) | Systems and methods for intensity correction in CR (computed radiography) mosaic image composition | |
| JP2004152043A (ja) | 差分画像の補正方法および画像処理装置 | |
| Nakagawa et al. | Clinical effectiveness of improved temporal subtraction for digital chest radiographs | |
| JP2005021456A (ja) | 放射線画像用画像処理装置、方法およびプログラム | |
| JP2009054013A (ja) | 画像処理装置 | |
| TWI593392B (zh) | Metal Detection and Artifact Removal Methods in Computerized Tomography Images | |
| JP2001266147A (ja) | 画像処理方法および画像処理装置 | |
| US20240203565A1 (en) | Method for digital image processing of medical images recorded with a medical imaging device and complete medical system | |
| JP2001169182A (ja) | 画像表示方法および画像表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050209 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061205 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071029 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080304 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080424 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080701 |
|
| RD13 | Notification of appointment of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7433 Effective date: 20080729 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080729 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080829 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081007 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081014 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121031 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121031 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131031 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |