JP3953569B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP3953569B2 JP3953569B2 JP05578097A JP5578097A JP3953569B2 JP 3953569 B2 JP3953569 B2 JP 3953569B2 JP 05578097 A JP05578097 A JP 05578097A JP 5578097 A JP5578097 A JP 5578097A JP 3953569 B2 JP3953569 B2 JP 3953569B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- conversion processing
- density
- unit
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000006243 chemical reaction Methods 0.000 claims description 291
- 238000013528 artificial neural network Methods 0.000 claims description 86
- 238000004364 calculation method Methods 0.000 claims description 56
- 238000000034 method Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 15
- 230000001537 neural effect Effects 0.000 claims description 14
- 230000006870 function Effects 0.000 description 67
- 238000010586 diagram Methods 0.000 description 17
- 210000002569 neuron Anatomy 0.000 description 11
- 230000008878 coupling Effects 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 238000012886 linear function Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000001678 irradiating effect Effects 0.000 description 3
- 230000000149 penetrating effect Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000009206 nuclear medicine Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、光或いはＸ線などを含めた電磁波又は超音波などの情報キャリアを物体に照射或いは透入し、この情報キャリアの変化を計測して画像情報を得る各種の医用画像診断装置又は放送用映像処理装置或いは産業用画像処理装置若しくは民生用画像撮影表示装置などの画像処理装置に関し、特に、上記得られた画像情報について所定の画像変換を施し正確かつ伝達情報量の多い画像を提供することができる画像処理装置に関する。
【０００２】
【従来の技術】
従来のこの種の画像処理装置は、特開平８−１５３１９４号公報に示されるように、処理対象の画像データを出力する原画像供給部と、人工的神経素子を入力層及び中間層並びに出力層の層構造をなすように結合してネットワークを構成し上記原画像供給部からの画像データを入力して画像変換処理を行うニューラルネットワークからなる画像変換処理部と、この画像変換処理部で画像変換処理され出力された画像情報を入力して表示する表示部とを有して成っていた。そして、上記原画像供給部から画像データが出力され、その画像データはニューラルネットワークからなる画像変換処理部に直接入力され、この画像変換処理部において上記画像データはニューラルネットワークの持つ画像変換処理特性に基づいて画像変換され、表示部に送られて画像表示されるようになっていた。
【０００３】
【発明が解決しようとする課題】
しかし、このような従来の画像処理装置においては、原画像供給部から出力された画像データがニューラルネットワークからなる画像変換処理部に直接入力されていたので、該画像変換処理部にて上記入力した画像データの濃度特性と十分に適合した画像変換処理が行われないことがあった。すなわち、原画像供給部からの画像データの濃度特性は、その画像データが例えばＸ線撮影装置から得られたデータの場合はＸ線の照射条件によって変わり、また民生用画像撮影表示装置から得られたデータの場合は撮影機の絞りや天候などの条件によって変わる。このように、原画像供給部からの画像データの濃度特性は、その画像データの収集時の条件に応じて変化するものである。そして、このような濃度特性が変化する画像データを、一定の画像変換処理特性を有するニューラルネットワークからなる画像変換処理部に直接入力した場合は、上記画像データの持つ濃度特性と上記画像変換処理部の持つ画像変換処理特性とが一致せず、その画像データについて十分な画像変換が行われないまま出力され、表示部に画像表示されていた。このように出力され表示された画像データは、例えば見たい関心領域のコントラストが低下したり、一部の情報が失われたり、或いは雑音が目立ったりという不具合が生じるものであり、不正確かつ伝達情報量の少ない画像となることがあった。
【０００４】
そこで、本発明は、このような問題点に対処し、得られた画像情報について所定の画像変換を施し正確かつ伝達情報量の多い画像を提供することができる画像処理装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、第一の発明による画像処理装置は、処理対象の画像データを出力する原画像供給部と、人工的神経素子を入力層及び中間層並びに出力層の層構造をなすように結合してネットワークを構成し上記原画像供給部からの画像データを入力して画像変換処理を行うニューラルネットワーク画像変換処理部と、上記原画像供給部からの画像データを入力してその画像データの持つ濃度特性とニューラルネットワーク画像変換処理部の持つ画像変換処理特性とが適合するように濃度変換処理を行う濃度変換処理部と、上記ニューラルネットワーク画像変換処理部で画像変換処理され出力された画像情報を入力して表示する表示部とを有して成る画像処理装置において、上記濃度変換処理部は、上記原画像供給部からの画像データを入力しその画像データのヒストグラムを算出するヒストグラム算出部と、このヒストグラム算出部からのヒストグラムデータを用いて濃度変換関数を算出する濃度変換関数算出部と、上記原画像供給部からの画像データと上記濃度変換関数算出部からの濃度変換関数とを入力して該画像データの濃度変換を行う濃度変換部とを備えて成り、上記濃度変換処理部には、上記ニューラルネットワーク画像変換処理部の総ての入力に同じ値を入力すると共にその値を変化させて行き、該ニューラルネットワーク画像変換処理部の出力値により、そのニューラルネットワーク画像変換処理部の入出力特性を求め、この求めた入出力特性の非飽和領域の最小値及び最大値を上記ニューラルネットワーク画像変換処理部の画像変換処理特性に応じて上記濃度変換関数算出部の濃度変換関数を算出する特性算出部が付設されているものである。
【０００６】
また、第二の発明による画像処理装置は、処理対象の画像データを出力する原画像供給部と、人工的神経素子を入力層及び中間層並びに出力層の層構造をなすように結合してネットワークを構成し上記原画像供給部からの画像データを入力して画像変換処理を行うニューラルネットワーク画像変換処理部と、上記原画像供給部からの画像データを入力してその画像データの持つ濃度特性とニューラルネットワーク画像変換処理部の持つ画像変換処理特性とが適合するように濃度変換処理を行う濃度変換処理部と、上記ニューラルネットワーク画像変換処理部で画像変換処理され出力された画像情報を入力して表示する表示部とを有して成る画像処理装置において、上記濃度変換処理部は、上記原画像供給部からの画像データを入力しその画像データのヒストグラムを算出するヒストグラム算出部と、このヒストグラム算出部からのヒストグラムデータを用いて濃度変換関数を算出する濃度変換関数算出部と、上記原画像供給部からの画像データと上記濃度変換関数算出部からの濃度変換関数とを入力して該画像データの濃度変換を行う濃度変換部とを備えて成り、上記濃度変換処理部には、上記ニューラルネットワーク画像変換処理部に教師画像を供給する教師画像供給部の該教師画像を入力してそのヒストグラムを算出し、この算出されたヒストグラムを上記濃度変換関数算出部に送る他のヒストグラム算出部が付設されているものである。
【０００７】
さらに、第三の発明による画像処理装置は、処理対象の画像データを出力する原画像供給部と、人工的神経素子を入力層及び中間層並びに出力層の層構造をなすように結合してネットワークを構成し上記原画像供給部からの画像データを入力して画像変換処理を行うニューラルネットワーク画像変換処理部と、上記原画像供給部からの画像データを入力してその画像データの持つ濃度特性とニューラルネットワーク画像変換処理部の持つ画像変換処理特性とが適合するように濃度変換処理を行う濃度変換処理部と、上記ニューラルネットワーク画像変換処理部で画像変換処理され出力された画像情報に対し上記濃度変換処理部における変換処理の逆変換処理を行う濃度逆変換処理部と、この濃度逆変換処理部で変換処理され出力された画像情報を入力して表示する表示部とを有して成るものである。
【００１３】
【発明の実施の形態】
以下、本発明の実施の形態を添付図面に基づいて詳細に説明する。
図１は本発明による画像処理装置の第一の実施形態を示すブロック図である。この画像処理装置は、光或いはＸ線などを含めた電磁波又は超音波などの情報キャリアを物体に照射或いは透入し、この情報キャリアの変化を計測して画像情報を得るもので、例えば各種の医用画像診断装置又は放送用映像処理装置又は産業用画像処理装置又は民生用画像撮影表示装置などであり、図１に示すように、原画像供給部１と、ニューラルネットワーク画像変換処理部２と、表示部３とを有し、さらに濃度変換処理部４を備えて成る。
【００１４】
上記原画像供給部１は、処理対象の画像データを出力するもので、例えばＸ線撮影装置又は超音波断層装置又はＸ線ＣＴ装置又は核医学イメージング装置或いは磁気共鳴イメージング装置などの医用画像診断装置、放送用映像処理装置、産業用画像処理装置、民生用画像撮影表示装置等において物体を計測又は撮影する計測部、或いは物体について計測した画像データを記憶しておき必要に応じて読み出す記憶部などである。また、ニューラルネットワーク画像変換処理部２は、上記原画像供給部１から出力された画像データを入力して所要の画像変換処理を行うもので、人工的神経素子を入力層及び中間層並びに出力層の層構造をなすように結合してネットワークを構成したものである。さらに、表示部３は、上記ニューラルネットワーク画像変換処理部２で画像変換処理され出力された画像情報を入力して表示するもので、例えばテレビモニタ又はプリンターなどから成る。
【００１５】
上記ニューラルネットワーク画像変換処理部２は、図２に示すようなネットワーク５で構成されている。このネットワーク５は、上記原画像供給部１から少なくとも注目画素を含む所定領域の時系列データを入力して画像変換処理を行うと共に上記注目画素に対応するデータを出力するもので、人工的神経素子６を入力層及び中間層ならびに出力層の層構造をなすように結合されると共に、最終段の出力層の入出力関数としてリニア関数を用いて構成されている。そして、図３は上記ネットワーク５を構成する人工的神経素子６を示す説明図である。図に示すように、人工的神経素子（以下「ニューロンモデル」という）６は生物の神経素子（ニューロン）の働きを模した多入力一出力の素子で、入力Ｉi（Ｉ1〜Ｉn）と結合係数Ｗji（Ｗj1〜Ｗjn）の積和により出力Ｏjが決定される。
【００１６】
前述の図２は層構造をなすように結合してネットワークに構成されたニューラルネットワーク画像変換処理部２の階層構造を示す説明図である。このネットワーク５は図のように、上記ニューロンモデル６を多数用い、入力層および中間層ならびに出力層の層構造をなすように結合することにより、信号処理及び情報処理の機能を実現するように構成されている。なお、図２において、符号７は入力層と中間層とを結ぶ枝を示し、入力層の各ニューロンモデル６は中間層の全てのニューロンモデル６とそれぞれ結合されている。また、符号８は中間層と出力層とを結ぶ枝を示し、中間層の各ニューロンモデル６は出力層の全てのニューロンモデル６とそれぞれ結合されている。そして、このネットワーク５は、入力層に供給される入力情報９を変換して出力層から出力情報１０として出力するようになっている。なお、上記ネットワーク５の入力層の入出力関数としては恒等関数が用いられ、中間層の入出力関数としてはシグモイド関数が用いられている。
【００１７】
このように構成することにより、上記ネットワーク５は、学習機能や自己組織機能を有する情報処理機構となっている。そして、このネットワーク５は、教師信号１１を与えて学習を行うことにより、入力層に供給される入力情報９に対して所望の出力情報１０を出力層から出力するように自己組織化して行く。
【００１８】
ここで、本発明においては、図１に示すように、上記原画像供給部１とニューラルネットワーク画像変換処理部２との間に濃度変換処理部４が設けられている。この濃度変換処理部４は、上記原画像供給部１からの画像データを入力して、その画像データの持つ濃度特性とニューラルネットワーク画像変換処理部２の持つ画像変換処理特性とが適合するように濃度変換処理を行うもので、その内部構成は、原画像供給部１から入力した画像データと所定の値とを演算する乗算器及び加算器の組合せから成り、又は原画像供給部１から入力した画像データに適用する濃度変換関数を格納したテーブルメモリから成る。具体的な構成の一例を示すと、図４に示すように、原画像供給部１から入力した画像データに第一の入力手段１２で設定された所定の値を乗算する乗算器１３と、この乗算器１３から出力された画像データに第二の入力手段１４で設定された所定の値を加算する加算器１５とから成る。なお、上記第一及び第二の入力手段１２，１４は、例えばボリュームやキーボード又はメモリなどから成る。
【００１９】
次に、このように構成された画像処理装置の動作について説明する。まず、図１において、原画像供給部１から、情報キャリアを物体に照射或いは透入しこの情報キャリアの変化を計測した画像データを処理対象として出力する。これは、各種の医用画像診断装置又は放送用映像処理装置或いは産業用画像処理装置若しくは民生用画像撮影表示装置などにより実際に計測されたデータでもよいし、或いは物体について予め計測され記憶部に書き込まれたデータを読み出したものでもよい。
【００２０】
次に、上記原画像供給部１から出力された画像データは、濃度変換処理部４へ入力される。この濃度変換処理部４では、原画像供給部１からの画像データの濃度変換処理が行われる。この濃度変換処理は、例えば図４に示す第一及び第二の入力手段１２，１４によりそれぞれ乗算器１３又は加算器１５にマニュアル入力されたり或いは予め設定された所定値を、上記原画像供給部１からの画像データに乗算器１３で乗算すると共に、この乗算結果に加算器１５で加算することにより行われる。或いは、図示省略したが、濃度変換処理部４を構成するテーブルメモリに予め設定され格納された濃度変換関数を上記原画像供給部１からの画像データに適用することにより行われる。このように濃度変換処理を行うことにより、原画像供給部１からの画像データの持つ濃度特性を図１に示すニューラルネットワーク画像変換処理部２の持つ画像変換処理特性と一致したものとして、当該画像データを上記ニューラルネットワーク画像変換処理部２へ供給することができる。
【００２１】
次に、上記濃度変換処理部４から出力された画像データは、ニューラルネットワーク画像変換処理部２へ入力される。このニューラルネットワーク画像変換処理部２では、上記入力した画像データに対し図２に示すネットワーク５で予め学習された自己組織化状態で画像変換処理が行われる。そして、上記ニューラルネットワーク画像変換処理部２で画像変換処理され出力された画像情報は、表示部３へ入力される。この表示部３では、上記ニューラルネットワーク画像変換処理部２で画像変換処理され出力された画像情報を入力して、画像として表示する。
【００２２】
次に、上記ニューラルネットワーク画像変換処理部２におけるネットワーク５の学習動作について説明する。図５は、上記ネットワーク５の学習時の全体構成を示すブロック図である。この学習時においては、通常は濃度変換処理部４では濃度変換処理は行われず、前記原画像供給部１からの画像データを直接上記ニューラルネットワーク画像変換処理部２に供給するようになっている。このとき、該ニューラルネットワーク画像変換処理部２のネットワーク５では、図２に示す入力情報９に対して所望の出力情報１０が出力されるように学習が行われる。すなわち、図５に示す原画像供給部１から供給される画像データ（図２の符号９参照）に対し、教師画像供給部１６から供給される教師画像（図２の符号１１参照）と上記ニューラルネットワーク画像変換処理部２から出力される出力画像データ（図２の符号１０参照）との誤差が小さくなるように、図２に示すネットワーク５の層構造の各層を結合している枝７，８の結合係数を変化させて行き、学習後に所望の出力が得られるように自己組織化して行く。そして、その学習後には所望の画像変換処理を実現するネットワーク５が構築される。
【００２３】
図６は、図２に示す出力層の入出力関数をリニア関数としたアナログ予測用のネットワーク５の学習アルゴリズムを示したものである。図６の記号の意味は次のとおりである。
Ｉ ；入力情報
Ｏk ；第ｋ層のニューロンモデルの出力
Ｗk ；第ｋ層と第(ｋ＋１)層間の結合係数
θk ；第ｋ層のニューロンモデルのオフセット
Ｔ ；教師信号
ηw ；結合係数Ｗに対する学習定数
ηθ；オフセットθに対する学習定数
δk ；第(ｋ−１)層を修正するための誤差量
ｆi ；恒等関数
ｆs ；シグモイド関数
ｆl ；リニア関数
なお、入力情報Ｉ、第ｋ層のニューロンモデルの出力Ｏk、第ｋ層のニューロンモデルのオフセットθk、教師信号Ｔ、第(ｋ−１)層を修正するための誤差量δkは１次元ベクトルで表されており、第ｋ層と第(ｋ＋１)層間の結合係数Ｗkは２次元ベクトルで表されている。また、図２に示したネットワーク５は３層のものであるため第１層目が入力層であり、第２層目が中間層であり、第３層目が出力層である。
【００２４】
この学習アルゴリズムについて以下説明する。教師信号Ｔと出力層の出力Ｏ3との平均二乗誤差Ｅは、
である。これが減少するように第ｋ層と第(ｋ＋１)層間の結合係数Ｗkを次の修正量
によって修正する。ここで、
とおくと、中間層と出力層との間の修正量を決めるδ3は、
である。よって、修正量は、
となる。これにより、前述のように出力層からの出力は、アナログ的な値となる。また、入力層と出力層間の修正量を決めるδ2は、
となり、修正量は、
となる。オフセットについても同様に求めることにより、図６に示すアルゴリズムとなる。
【００２５】
そして、図５に示す教師画像供給部１６により供給される教師信号１１（図２参照）に基づき、このようなアルゴリズムで図２に示したネットワーク５の学習が行われ、所望の画像変換処理を実現するニューラルネットワークが自動的に構築される。なお、ここでは、３層のニューラルネットワークについて例を示したが、中間層の数を増やすことによって３層以上のニューラルネットワークが構成可能であり、その場合の学習アルゴリズムは誤差量δを逆伝播させ、漸化的に修正量を求めればよく、より複雑な画像変換処理を含む画像情報への対応が可能となる。そして、上記ニューラルネットワーク画像変換処理部２で変換処理された画像情報は、図示省略したが適当な濃度スケールに変換され、表示部３に入力され表示される。
【００２６】
図７は、図１に示す濃度変換処理部４の内部構成の他の実施形態を示すブロック図である。この実施形態による濃度変換処理部４は、図７に示すように、ヒストグラム算出部１７と濃度変換関数算出部１８と濃度変換部１９とを備えて成るものである。上記ヒストグラム算出部１７は、図１に示す原画像供給部１からの画像データを入力しこの画像データのヒストグラムを算出するもので、例えば演算器から成る。また、濃度変換関数算出部１８は、上記ヒストグラム算出部１７からのヒストグラムデータを入力しこのヒストグラムデータを用いて濃度変換関数を算出するもので、例えば演算器から成る。さらに、濃度変換部１９は、上記原画像供給部１からの画像データと上記濃度変換関数算出部１８からの濃度変換関数とを入力して該画像データの濃度変換を行うもので、例えば演算器又はテーブルメモリなどから成る。
【００２７】
次に、このような構成の濃度変換処理部４の動作について説明する。まず、図１に示す原画像供給部１からの画像データは、ヒストグラム算出部１７に入力される。すると、このヒストグラム算出部１７は、上記入力した画像データの有効領域のヒストグラムを算出する。次に、上記ヒストグラム算出部１７から出力されたヒストグラムデータは、濃度変換関数算出部１８に入力される。すると、この濃度変換関数算出部１８は、上記入力したヒストグラムデータを用いて濃度変換関数を算出する。
【００２８】
このとき、上記ヒストグラム算出部１７からのヒストグラムの面積の上方及び下方の所定％のデータ値Ｇmin，Ｇmaxを有効濃度範囲として算出する。そして、予め設定された値Ｇ0min，Ｇ0maxと適合するような濃度変換関数を算出する。例えば、濃度変換関数が
ｆ(ｘ)＝gain・ｘ＋offset
のように１次関数の場合は、上記の値Ｇ0min，Ｇ0maxを
Ｇ0min＝gain・Ｇmin＋offset
Ｇ0max＝gain・Ｇmax＋offset
のようにおくことで、次式のように濃度変換関数のパラメータが算出できる。
gain＝（Ｇ0min−Ｇ0max）／（Ｇmin−Ｇmax）
offset＝Ｇ0min−｛（Ｇ0min−Ｇ0max）／（Ｇmin−Ｇmax）｝Ｇmin
このような演算が上記濃度変換関数算出部１８で行われる。
【００２９】
次に、上記濃度変換関数算出部１８で求められた濃度変換関数と原画像供給部１からの画像データは、濃度変換部１９に入力される。すると、この濃度変換部１９は、次式のように上記画像データについて濃度変換を行う。
ｆ(ｘ)＝gain・ｘ＋offset
ただし、上式においてｘは原画像供給部１からの画像データであり、ｆ(ｘ)は変換処理後の出力画像データである。なお、上記濃度変換関数は、任意の関数を用いることができ、予め設定された値に基づき決定される。
【００３０】
図８は、上記構成の濃度変換処理部４における濃度変換関数の算出の他の一例を説明するためのブロック図である。この例においては、前記ニューラルネットワーク画像変換処理部２に接続された特性算出部２０が上記濃度変換処理部４に付設されており、この特性算出部２０で上記ニューラルネットワーク画像変換処理部２の画像変換処理特性に応じて上記濃度変換処理部４内の濃度変換関数算出部１８の濃度変換関数を算出するものである。該特性算出部２０では、上記ニューラルネットワーク画像変換処理部２の総ての入力に同じ値を入力すると共にその値を変化させて行き、該ニューラルネットワーク画像変換処理部２の出力値により、そのニューラルネットワーク画像変換処理部２の入出力特性を求める。そして、上記求めた入出力特性の非飽和領域の最小値及び最大値を、例えば上述の値Ｇ0min，Ｇ0maxとすることにより、上記ニューラルネットワーク画像変換処理部２の画像変換処理特性に応じて上記濃度変換関数算出部１８の濃度変換関数を算出することができる。
【００３１】
図９は、図７に示す構成の濃度変換処理部４における濃度変換関数の算出の他の一例を説明するためのブロック図である。この例においては、図５に示す教師画像供給部１６に接続された他のヒストグラム算出部２１が上記濃度変換処理部４に付設されており、このヒストグラム算出部２１で上記教師画像供給部１６の教師画像を入力してそのヒストグラムを算出するものである。そして、この算出されたヒストグラムは、濃度変換処理部４内の濃度変換関数算出部１８に送られる。これにより、上記濃度変換関数算出部１８は、上記教師画像のヒストグラムを用いて上述の値Ｇ0min，Ｇ0maxを算出する。例えば、上記求めたヒストグラムの面積の上方及び下方の所定％のデータをＧ0min，Ｇ0maxとすることにより、濃度変換関数を算出することができる。
【００３２】
図１０は、本発明の画像処理装置の変形例を示す説明図である。この変形例においては、上記原画像供給部１は、処理対象の画像データを時系列に出力するものとし、上記ニューラルネットワーク画像変換処理部２は、上記原画像供給部１からの少なくとも注目画素を含む所定領域の時系列データを入力して画像変換処理を行うと共に上記注目画素に対応するデータを出力するものとしたものである。図に示すように、上記ニューラルネットワーク画像変換処理部２への入力情報は、原画像２２上の注目画素２３とその近傍の複数個の画素２４，２４，…を含む所定領域のデータを時間軸ｔの方向に一定時間だけ取り出した時系列データ２５である。この時系列データ２５は、図１０の例では、１枚の原画像２２上の所定領域内に５画素のデータがあり、一定時間内で５枚の原画像２２が取り出されたので、５×５＝２５画素のデータから成る。この各画素の値が、図示省略したが正規化されて、上記ニューラルネットワーク画像変換処理部２へ入力される。このような入力情報とすることにより、時空間的な変換を含む画像変換を行うことができる。そして、上記ニューラルネットワーク画像変換処理部２では、上記入力情報が変換処理され、注目画素２３に対応する画素データ２６として出力される。上記注目画素２３を原画像２２上で例えばラスタースキャン的に移動させることにより、画像全体の画像変換処理が行われる。これにより、変換画像２７が作成され、表示部３に出力表示される。
【００３３】
図１１は、本発明による画像処理装置の第二の実施形態を示すブロック図である。この画像処理装置は、原画像供給部１とニューラルネットワーク画像変換処理部２との間に、上記原画像供給部１からの画像データを入力してその画像データの持つ濃度特性とニューラルネットワーク画像変換処理部２の持つ画像変換処理特性とが適合するように濃度変換処理を行う濃度変換処理部４を設けると共に、上記ニューラルネットワーク画像変換処理部２と表示部３との間には、ニューラルネットワーク画像変換処理部２で画像変換処理され出力された画像情報に対し上記濃度変換処理部４における変換処理の逆変換処理を行う濃度逆変換処理部２８を設けたものである。
【００３４】
そして、上記濃度変換処理部４は、原画像供給部１から入力した画像データと所定の値とを演算する乗算器１３及び加算器１５の組合せ、又は原画像供給部１から入力した画像データに適用する濃度変換関数を格納したテーブルメモリ（図示せず）から成り、上記濃度逆変換処理部２８は、ニューラルネットワーク画像変換処理部２から入力した画像情報と所定の値とを演算する除算器２９及び減算器３０の組合せ、又はニューラルネットワーク画像変換処理部２から入力した画像情報に適用する濃度逆変換関数を格納したテーブルメモリ（図示せず）から成る。
【００３５】
この実施の形態によれば、上記濃度変換処理部４で濃度変換処理した画像データを、濃度逆変換処理部２８により濃度逆変換処理をして元々の原画像供給部１の画像データの濃度特性に戻すことができ、表示部３に原画像の状態で画像表示することができる。
【００３６】
【発明の効果】
本発明は以上のように構成されたので、請求項１に係る発明によれば、原画像供給部からの画像データを入力しその画像データのヒストグラムを算出するヒストグラム算出部と、このヒストグラム算出部からのヒストグラムデータを用いて濃度変換関数を算出する濃度変換関数算出部と、上記原画像供給部からの画像データと上記濃度変換関数算出部からの濃度変換関数とを入力して該画像データの濃度変換を行う濃度変換部とを備えて成る濃度変換処理部に付設された特性算出部により、ニューラルネットワーク画像変換処理部の総ての入力に同じ値を入力すると共にその値を変化させて行き、該ニューラルネットワーク画像変換処理部の出力値により、そのニューラルネットワーク画像変換処理部の入出力特性を求め、この求めた入出力特性の非飽和領域の最小値及び最大値を上記ニューラルネットワーク画像変換処理部の画像変換処理特性に応じて上記濃度変換関数算出部の濃度変換関数を算出することができる。これにより、上記ニューラルネットワーク画像変換処理部に適合した濃度特性を持つ画像データをそのニューラルネットワーク画像変換処理部に供給することができ、その画像データについて十分な画像変換を行って出力し、表示部に画像表示することができる。従って、見たい関心領域のコントラストの低下を防いだり、情報の欠落を防止したり、或いは雑音を低減したりして、正確かつ伝達情報量の多い画像を提供することができる。
また、請求項２に係る発明によれば、原画像供給部からの画像データを入力しその画像データのヒストグラムを算出するヒストグラム算出部と、このヒストグラム算出部からのヒストグラムデータを用いて濃度変換関数を算出する濃度変換関数算出部と、上記原画像供給部からの画像データと上記濃度変換関数算出部からの濃度変換関数とを入力して該画像データの濃度変換を行う濃度変換部とを備えて成る濃度変換処理部に付設された他のヒストグラム算出部により、ニューラルネットワーク画像変換処理部に教師画像を供給する教師画像供給部の該教師画像を入力してそのヒストグラムを算出し、この算出されたヒストグラムを上記濃度変換関数算出部に送ることができる。これにより、上記ニューラルネットワーク画像変換処理部に適合した濃度特性を持つ画像データをそのニューラルネットワーク画像変換処理部に供給することができ、その画像データについて十分な画像変換を行って出力し、表示部に画像表示することができる。従って、見たい関心領域のコントラストの低下を防いだり、情報の欠落を防止したり、或いは雑音を低減したりして、正確かつ伝達情報量の多い画像を提供することができる。
【００３７】
そして、請求項３に係る発明によれば、原画像供給部からの画像データを入力してその画像データの持つ濃度特性とニューラルネットワーク画像変換処理部の持つ画像変換処理特性とが適合するように濃度変換処理を行う濃度変換処理部を設け、上記ニューラルネットワーク画像変換処理部で画像変換処理され出力された画像情報に対し上記濃度変換処理部における変換処理の逆変換処理を行う濃度逆変換処理部を設けたことにより、上記濃度変換処理部で濃度変換処理した画像データを、濃度逆変換処理部により濃度逆変換処理をして元々の原画像供給部の画像データの濃度特性に戻すことができる。従って、表示部に原画像の状態で正確かつ伝達情報量の多い画像として表示することができる。
【図面の簡単な説明】
【図１】 本発明による画像処理装置の第一の実施形態を示すブロック図である。
【図２】層構造をなすように結合してネットワークに構成されたニューラルネットワーク画像変換処理部の階層構造を示す説明図である。
【図３】ニューラルネットワークを構成する人工的神経素子を示す説明図である。
【図４】画像変換処理部の内部構成の一例を示すブロック図である。
【図５】上記ニューラルネットワーク画像変換処理部のネットワークの学習時の全体構成を示すブロック図である。
【図６】アナログ出力用のニューラルネットワークの学習アルゴリズムを示す説明図である。
【図７】図１に示す濃度変換処理部の内部構成の他の実施形態を示すブロック図である。
【図８】上記構成の濃度変換処理部における濃度変換関数の算出の他の一例を説明するためのブロック図である。
【図９】図７に示す構成の濃度変換処理部における濃度変換関数の算出の更に他の一例を説明するためのブロック図である。
【図１０】 本発明の画像処理装置の変形例を示す説明図である。
【図１１】 本発明による画像処理装置の第二の実施形態を示すブロック図である。
【図１２】上記の画像処理装置における濃度変換処理部及び濃度逆変換処理部の内部構成の一例を示すブロック図である。
【符号の説明】
１…原画像供給部
２…ニューラルネットワーク画像変換処理部
３…表示部
４…濃度変換処理部
５…ネットワーク
６…人工的神経素子
７，８…枝
９…入力情報
１０…出力情報
１１…教師信号
１２…第一の入力手段
１３…乗算器
１４…第二の入力手段
１５…加算器
１６…教師画像供給部
１７…ヒストグラム算出部
１８…濃度変換関数算出部
１９…濃度変換部
２８…濃度逆変換処理部
２９…割算器
３０…減算器
【発明の属する技術分野】
本発明は、光或いはＸ線などを含めた電磁波又は超音波などの情報キャリアを物体に照射或いは透入し、この情報キャリアの変化を計測して画像情報を得る各種の医用画像診断装置又は放送用映像処理装置或いは産業用画像処理装置若しくは民生用画像撮影表示装置などの画像処理装置に関し、特に、上記得られた画像情報について所定の画像変換を施し正確かつ伝達情報量の多い画像を提供することができる画像処理装置に関する。
【０００２】
【従来の技術】
従来のこの種の画像処理装置は、特開平８−１５３１９４号公報に示されるように、処理対象の画像データを出力する原画像供給部と、人工的神経素子を入力層及び中間層並びに出力層の層構造をなすように結合してネットワークを構成し上記原画像供給部からの画像データを入力して画像変換処理を行うニューラルネットワークからなる画像変換処理部と、この画像変換処理部で画像変換処理され出力された画像情報を入力して表示する表示部とを有して成っていた。そして、上記原画像供給部から画像データが出力され、その画像データはニューラルネットワークからなる画像変換処理部に直接入力され、この画像変換処理部において上記画像データはニューラルネットワークの持つ画像変換処理特性に基づいて画像変換され、表示部に送られて画像表示されるようになっていた。
【０００３】
【発明が解決しようとする課題】
しかし、このような従来の画像処理装置においては、原画像供給部から出力された画像データがニューラルネットワークからなる画像変換処理部に直接入力されていたので、該画像変換処理部にて上記入力した画像データの濃度特性と十分に適合した画像変換処理が行われないことがあった。すなわち、原画像供給部からの画像データの濃度特性は、その画像データが例えばＸ線撮影装置から得られたデータの場合はＸ線の照射条件によって変わり、また民生用画像撮影表示装置から得られたデータの場合は撮影機の絞りや天候などの条件によって変わる。このように、原画像供給部からの画像データの濃度特性は、その画像データの収集時の条件に応じて変化するものである。そして、このような濃度特性が変化する画像データを、一定の画像変換処理特性を有するニューラルネットワークからなる画像変換処理部に直接入力した場合は、上記画像データの持つ濃度特性と上記画像変換処理部の持つ画像変換処理特性とが一致せず、その画像データについて十分な画像変換が行われないまま出力され、表示部に画像表示されていた。このように出力され表示された画像データは、例えば見たい関心領域のコントラストが低下したり、一部の情報が失われたり、或いは雑音が目立ったりという不具合が生じるものであり、不正確かつ伝達情報量の少ない画像となることがあった。
【０００４】
そこで、本発明は、このような問題点に対処し、得られた画像情報について所定の画像変換を施し正確かつ伝達情報量の多い画像を提供することができる画像処理装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、第一の発明による画像処理装置は、処理対象の画像データを出力する原画像供給部と、人工的神経素子を入力層及び中間層並びに出力層の層構造をなすように結合してネットワークを構成し上記原画像供給部からの画像データを入力して画像変換処理を行うニューラルネットワーク画像変換処理部と、上記原画像供給部からの画像データを入力してその画像データの持つ濃度特性とニューラルネットワーク画像変換処理部の持つ画像変換処理特性とが適合するように濃度変換処理を行う濃度変換処理部と、上記ニューラルネットワーク画像変換処理部で画像変換処理され出力された画像情報を入力して表示する表示部とを有して成る画像処理装置において、上記濃度変換処理部は、上記原画像供給部からの画像データを入力しその画像データのヒストグラムを算出するヒストグラム算出部と、このヒストグラム算出部からのヒストグラムデータを用いて濃度変換関数を算出する濃度変換関数算出部と、上記原画像供給部からの画像データと上記濃度変換関数算出部からの濃度変換関数とを入力して該画像データの濃度変換を行う濃度変換部とを備えて成り、上記濃度変換処理部には、上記ニューラルネットワーク画像変換処理部の総ての入力に同じ値を入力すると共にその値を変化させて行き、該ニューラルネットワーク画像変換処理部の出力値により、そのニューラルネットワーク画像変換処理部の入出力特性を求め、この求めた入出力特性の非飽和領域の最小値及び最大値を上記ニューラルネットワーク画像変換処理部の画像変換処理特性に応じて上記濃度変換関数算出部の濃度変換関数を算出する特性算出部が付設されているものである。
【０００６】
また、第二の発明による画像処理装置は、処理対象の画像データを出力する原画像供給部と、人工的神経素子を入力層及び中間層並びに出力層の層構造をなすように結合してネットワークを構成し上記原画像供給部からの画像データを入力して画像変換処理を行うニューラルネットワーク画像変換処理部と、上記原画像供給部からの画像データを入力してその画像データの持つ濃度特性とニューラルネットワーク画像変換処理部の持つ画像変換処理特性とが適合するように濃度変換処理を行う濃度変換処理部と、上記ニューラルネットワーク画像変換処理部で画像変換処理され出力された画像情報を入力して表示する表示部とを有して成る画像処理装置において、上記濃度変換処理部は、上記原画像供給部からの画像データを入力しその画像データのヒストグラムを算出するヒストグラム算出部と、このヒストグラム算出部からのヒストグラムデータを用いて濃度変換関数を算出する濃度変換関数算出部と、上記原画像供給部からの画像データと上記濃度変換関数算出部からの濃度変換関数とを入力して該画像データの濃度変換を行う濃度変換部とを備えて成り、上記濃度変換処理部には、上記ニューラルネットワーク画像変換処理部に教師画像を供給する教師画像供給部の該教師画像を入力してそのヒストグラムを算出し、この算出されたヒストグラムを上記濃度変換関数算出部に送る他のヒストグラム算出部が付設されているものである。
【０００７】
さらに、第三の発明による画像処理装置は、処理対象の画像データを出力する原画像供給部と、人工的神経素子を入力層及び中間層並びに出力層の層構造をなすように結合してネットワークを構成し上記原画像供給部からの画像データを入力して画像変換処理を行うニューラルネットワーク画像変換処理部と、上記原画像供給部からの画像データを入力してその画像データの持つ濃度特性とニューラルネットワーク画像変換処理部の持つ画像変換処理特性とが適合するように濃度変換処理を行う濃度変換処理部と、上記ニューラルネットワーク画像変換処理部で画像変換処理され出力された画像情報に対し上記濃度変換処理部における変換処理の逆変換処理を行う濃度逆変換処理部と、この濃度逆変換処理部で変換処理され出力された画像情報を入力して表示する表示部とを有して成るものである。
【００１３】
【発明の実施の形態】
以下、本発明の実施の形態を添付図面に基づいて詳細に説明する。
図１は本発明による画像処理装置の第一の実施形態を示すブロック図である。この画像処理装置は、光或いはＸ線などを含めた電磁波又は超音波などの情報キャリアを物体に照射或いは透入し、この情報キャリアの変化を計測して画像情報を得るもので、例えば各種の医用画像診断装置又は放送用映像処理装置又は産業用画像処理装置又は民生用画像撮影表示装置などであり、図１に示すように、原画像供給部１と、ニューラルネットワーク画像変換処理部２と、表示部３とを有し、さらに濃度変換処理部４を備えて成る。
【００１４】
上記原画像供給部１は、処理対象の画像データを出力するもので、例えばＸ線撮影装置又は超音波断層装置又はＸ線ＣＴ装置又は核医学イメージング装置或いは磁気共鳴イメージング装置などの医用画像診断装置、放送用映像処理装置、産業用画像処理装置、民生用画像撮影表示装置等において物体を計測又は撮影する計測部、或いは物体について計測した画像データを記憶しておき必要に応じて読み出す記憶部などである。また、ニューラルネットワーク画像変換処理部２は、上記原画像供給部１から出力された画像データを入力して所要の画像変換処理を行うもので、人工的神経素子を入力層及び中間層並びに出力層の層構造をなすように結合してネットワークを構成したものである。さらに、表示部３は、上記ニューラルネットワーク画像変換処理部２で画像変換処理され出力された画像情報を入力して表示するもので、例えばテレビモニタ又はプリンターなどから成る。
【００１５】
上記ニューラルネットワーク画像変換処理部２は、図２に示すようなネットワーク５で構成されている。このネットワーク５は、上記原画像供給部１から少なくとも注目画素を含む所定領域の時系列データを入力して画像変換処理を行うと共に上記注目画素に対応するデータを出力するもので、人工的神経素子６を入力層及び中間層ならびに出力層の層構造をなすように結合されると共に、最終段の出力層の入出力関数としてリニア関数を用いて構成されている。そして、図３は上記ネットワーク５を構成する人工的神経素子６を示す説明図である。図に示すように、人工的神経素子（以下「ニューロンモデル」という）６は生物の神経素子（ニューロン）の働きを模した多入力一出力の素子で、入力Ｉi（Ｉ1〜Ｉn）と結合係数Ｗji（Ｗj1〜Ｗjn）の積和により出力Ｏjが決定される。
【００１６】
前述の図２は層構造をなすように結合してネットワークに構成されたニューラルネットワーク画像変換処理部２の階層構造を示す説明図である。このネットワーク５は図のように、上記ニューロンモデル６を多数用い、入力層および中間層ならびに出力層の層構造をなすように結合することにより、信号処理及び情報処理の機能を実現するように構成されている。なお、図２において、符号７は入力層と中間層とを結ぶ枝を示し、入力層の各ニューロンモデル６は中間層の全てのニューロンモデル６とそれぞれ結合されている。また、符号８は中間層と出力層とを結ぶ枝を示し、中間層の各ニューロンモデル６は出力層の全てのニューロンモデル６とそれぞれ結合されている。そして、このネットワーク５は、入力層に供給される入力情報９を変換して出力層から出力情報１０として出力するようになっている。なお、上記ネットワーク５の入力層の入出力関数としては恒等関数が用いられ、中間層の入出力関数としてはシグモイド関数が用いられている。
【００１７】
このように構成することにより、上記ネットワーク５は、学習機能や自己組織機能を有する情報処理機構となっている。そして、このネットワーク５は、教師信号１１を与えて学習を行うことにより、入力層に供給される入力情報９に対して所望の出力情報１０を出力層から出力するように自己組織化して行く。
【００１８】
ここで、本発明においては、図１に示すように、上記原画像供給部１とニューラルネットワーク画像変換処理部２との間に濃度変換処理部４が設けられている。この濃度変換処理部４は、上記原画像供給部１からの画像データを入力して、その画像データの持つ濃度特性とニューラルネットワーク画像変換処理部２の持つ画像変換処理特性とが適合するように濃度変換処理を行うもので、その内部構成は、原画像供給部１から入力した画像データと所定の値とを演算する乗算器及び加算器の組合せから成り、又は原画像供給部１から入力した画像データに適用する濃度変換関数を格納したテーブルメモリから成る。具体的な構成の一例を示すと、図４に示すように、原画像供給部１から入力した画像データに第一の入力手段１２で設定された所定の値を乗算する乗算器１３と、この乗算器１３から出力された画像データに第二の入力手段１４で設定された所定の値を加算する加算器１５とから成る。なお、上記第一及び第二の入力手段１２，１４は、例えばボリュームやキーボード又はメモリなどから成る。
【００１９】
次に、このように構成された画像処理装置の動作について説明する。まず、図１において、原画像供給部１から、情報キャリアを物体に照射或いは透入しこの情報キャリアの変化を計測した画像データを処理対象として出力する。これは、各種の医用画像診断装置又は放送用映像処理装置或いは産業用画像処理装置若しくは民生用画像撮影表示装置などにより実際に計測されたデータでもよいし、或いは物体について予め計測され記憶部に書き込まれたデータを読み出したものでもよい。
【００２０】
次に、上記原画像供給部１から出力された画像データは、濃度変換処理部４へ入力される。この濃度変換処理部４では、原画像供給部１からの画像データの濃度変換処理が行われる。この濃度変換処理は、例えば図４に示す第一及び第二の入力手段１２，１４によりそれぞれ乗算器１３又は加算器１５にマニュアル入力されたり或いは予め設定された所定値を、上記原画像供給部１からの画像データに乗算器１３で乗算すると共に、この乗算結果に加算器１５で加算することにより行われる。或いは、図示省略したが、濃度変換処理部４を構成するテーブルメモリに予め設定され格納された濃度変換関数を上記原画像供給部１からの画像データに適用することにより行われる。このように濃度変換処理を行うことにより、原画像供給部１からの画像データの持つ濃度特性を図１に示すニューラルネットワーク画像変換処理部２の持つ画像変換処理特性と一致したものとして、当該画像データを上記ニューラルネットワーク画像変換処理部２へ供給することができる。
【００２１】
次に、上記濃度変換処理部４から出力された画像データは、ニューラルネットワーク画像変換処理部２へ入力される。このニューラルネットワーク画像変換処理部２では、上記入力した画像データに対し図２に示すネットワーク５で予め学習された自己組織化状態で画像変換処理が行われる。そして、上記ニューラルネットワーク画像変換処理部２で画像変換処理され出力された画像情報は、表示部３へ入力される。この表示部３では、上記ニューラルネットワーク画像変換処理部２で画像変換処理され出力された画像情報を入力して、画像として表示する。
【００２２】
次に、上記ニューラルネットワーク画像変換処理部２におけるネットワーク５の学習動作について説明する。図５は、上記ネットワーク５の学習時の全体構成を示すブロック図である。この学習時においては、通常は濃度変換処理部４では濃度変換処理は行われず、前記原画像供給部１からの画像データを直接上記ニューラルネットワーク画像変換処理部２に供給するようになっている。このとき、該ニューラルネットワーク画像変換処理部２のネットワーク５では、図２に示す入力情報９に対して所望の出力情報１０が出力されるように学習が行われる。すなわち、図５に示す原画像供給部１から供給される画像データ（図２の符号９参照）に対し、教師画像供給部１６から供給される教師画像（図２の符号１１参照）と上記ニューラルネットワーク画像変換処理部２から出力される出力画像データ（図２の符号１０参照）との誤差が小さくなるように、図２に示すネットワーク５の層構造の各層を結合している枝７，８の結合係数を変化させて行き、学習後に所望の出力が得られるように自己組織化して行く。そして、その学習後には所望の画像変換処理を実現するネットワーク５が構築される。
【００２３】
図６は、図２に示す出力層の入出力関数をリニア関数としたアナログ予測用のネットワーク５の学習アルゴリズムを示したものである。図６の記号の意味は次のとおりである。
Ｉ ；入力情報
Ｏk ；第ｋ層のニューロンモデルの出力
Ｗk ；第ｋ層と第(ｋ＋１)層間の結合係数
θk ；第ｋ層のニューロンモデルのオフセット
Ｔ ；教師信号
ηw ；結合係数Ｗに対する学習定数
ηθ；オフセットθに対する学習定数
δk ；第(ｋ−１)層を修正するための誤差量
ｆi ；恒等関数
ｆs ；シグモイド関数
ｆl ；リニア関数
なお、入力情報Ｉ、第ｋ層のニューロンモデルの出力Ｏk、第ｋ層のニューロンモデルのオフセットθk、教師信号Ｔ、第(ｋ−１)層を修正するための誤差量δkは１次元ベクトルで表されており、第ｋ層と第(ｋ＋１)層間の結合係数Ｗkは２次元ベクトルで表されている。また、図２に示したネットワーク５は３層のものであるため第１層目が入力層であり、第２層目が中間層であり、第３層目が出力層である。
【００２４】
この学習アルゴリズムについて以下説明する。教師信号Ｔと出力層の出力Ｏ3との平均二乗誤差Ｅは、
【００２５】
そして、図５に示す教師画像供給部１６により供給される教師信号１１（図２参照）に基づき、このようなアルゴリズムで図２に示したネットワーク５の学習が行われ、所望の画像変換処理を実現するニューラルネットワークが自動的に構築される。なお、ここでは、３層のニューラルネットワークについて例を示したが、中間層の数を増やすことによって３層以上のニューラルネットワークが構成可能であり、その場合の学習アルゴリズムは誤差量δを逆伝播させ、漸化的に修正量を求めればよく、より複雑な画像変換処理を含む画像情報への対応が可能となる。そして、上記ニューラルネットワーク画像変換処理部２で変換処理された画像情報は、図示省略したが適当な濃度スケールに変換され、表示部３に入力され表示される。
【００２６】
図７は、図１に示す濃度変換処理部４の内部構成の他の実施形態を示すブロック図である。この実施形態による濃度変換処理部４は、図７に示すように、ヒストグラム算出部１７と濃度変換関数算出部１８と濃度変換部１９とを備えて成るものである。上記ヒストグラム算出部１７は、図１に示す原画像供給部１からの画像データを入力しこの画像データのヒストグラムを算出するもので、例えば演算器から成る。また、濃度変換関数算出部１８は、上記ヒストグラム算出部１７からのヒストグラムデータを入力しこのヒストグラムデータを用いて濃度変換関数を算出するもので、例えば演算器から成る。さらに、濃度変換部１９は、上記原画像供給部１からの画像データと上記濃度変換関数算出部１８からの濃度変換関数とを入力して該画像データの濃度変換を行うもので、例えば演算器又はテーブルメモリなどから成る。
【００２７】
次に、このような構成の濃度変換処理部４の動作について説明する。まず、図１に示す原画像供給部１からの画像データは、ヒストグラム算出部１７に入力される。すると、このヒストグラム算出部１７は、上記入力した画像データの有効領域のヒストグラムを算出する。次に、上記ヒストグラム算出部１７から出力されたヒストグラムデータは、濃度変換関数算出部１８に入力される。すると、この濃度変換関数算出部１８は、上記入力したヒストグラムデータを用いて濃度変換関数を算出する。
【００２８】
このとき、上記ヒストグラム算出部１７からのヒストグラムの面積の上方及び下方の所定％のデータ値Ｇmin，Ｇmaxを有効濃度範囲として算出する。そして、予め設定された値Ｇ0min，Ｇ0maxと適合するような濃度変換関数を算出する。例えば、濃度変換関数が
ｆ(ｘ)＝gain・ｘ＋offset
のように１次関数の場合は、上記の値Ｇ0min，Ｇ0maxを
Ｇ0min＝gain・Ｇmin＋offset
Ｇ0max＝gain・Ｇmax＋offset
のようにおくことで、次式のように濃度変換関数のパラメータが算出できる。
gain＝（Ｇ0min−Ｇ0max）／（Ｇmin−Ｇmax）
offset＝Ｇ0min−｛（Ｇ0min−Ｇ0max）／（Ｇmin−Ｇmax）｝Ｇmin
このような演算が上記濃度変換関数算出部１８で行われる。
【００２９】
次に、上記濃度変換関数算出部１８で求められた濃度変換関数と原画像供給部１からの画像データは、濃度変換部１９に入力される。すると、この濃度変換部１９は、次式のように上記画像データについて濃度変換を行う。
ｆ(ｘ)＝gain・ｘ＋offset
ただし、上式においてｘは原画像供給部１からの画像データであり、ｆ(ｘ)は変換処理後の出力画像データである。なお、上記濃度変換関数は、任意の関数を用いることができ、予め設定された値に基づき決定される。
【００３０】
図８は、上記構成の濃度変換処理部４における濃度変換関数の算出の他の一例を説明するためのブロック図である。この例においては、前記ニューラルネットワーク画像変換処理部２に接続された特性算出部２０が上記濃度変換処理部４に付設されており、この特性算出部２０で上記ニューラルネットワーク画像変換処理部２の画像変換処理特性に応じて上記濃度変換処理部４内の濃度変換関数算出部１８の濃度変換関数を算出するものである。該特性算出部２０では、上記ニューラルネットワーク画像変換処理部２の総ての入力に同じ値を入力すると共にその値を変化させて行き、該ニューラルネットワーク画像変換処理部２の出力値により、そのニューラルネットワーク画像変換処理部２の入出力特性を求める。そして、上記求めた入出力特性の非飽和領域の最小値及び最大値を、例えば上述の値Ｇ0min，Ｇ0maxとすることにより、上記ニューラルネットワーク画像変換処理部２の画像変換処理特性に応じて上記濃度変換関数算出部１８の濃度変換関数を算出することができる。
【００３１】
図９は、図７に示す構成の濃度変換処理部４における濃度変換関数の算出の他の一例を説明するためのブロック図である。この例においては、図５に示す教師画像供給部１６に接続された他のヒストグラム算出部２１が上記濃度変換処理部４に付設されており、このヒストグラム算出部２１で上記教師画像供給部１６の教師画像を入力してそのヒストグラムを算出するものである。そして、この算出されたヒストグラムは、濃度変換処理部４内の濃度変換関数算出部１８に送られる。これにより、上記濃度変換関数算出部１８は、上記教師画像のヒストグラムを用いて上述の値Ｇ0min，Ｇ0maxを算出する。例えば、上記求めたヒストグラムの面積の上方及び下方の所定％のデータをＧ0min，Ｇ0maxとすることにより、濃度変換関数を算出することができる。
【００３２】
図１０は、本発明の画像処理装置の変形例を示す説明図である。この変形例においては、上記原画像供給部１は、処理対象の画像データを時系列に出力するものとし、上記ニューラルネットワーク画像変換処理部２は、上記原画像供給部１からの少なくとも注目画素を含む所定領域の時系列データを入力して画像変換処理を行うと共に上記注目画素に対応するデータを出力するものとしたものである。図に示すように、上記ニューラルネットワーク画像変換処理部２への入力情報は、原画像２２上の注目画素２３とその近傍の複数個の画素２４，２４，…を含む所定領域のデータを時間軸ｔの方向に一定時間だけ取り出した時系列データ２５である。この時系列データ２５は、図１０の例では、１枚の原画像２２上の所定領域内に５画素のデータがあり、一定時間内で５枚の原画像２２が取り出されたので、５×５＝２５画素のデータから成る。この各画素の値が、図示省略したが正規化されて、上記ニューラルネットワーク画像変換処理部２へ入力される。このような入力情報とすることにより、時空間的な変換を含む画像変換を行うことができる。そして、上記ニューラルネットワーク画像変換処理部２では、上記入力情報が変換処理され、注目画素２３に対応する画素データ２６として出力される。上記注目画素２３を原画像２２上で例えばラスタースキャン的に移動させることにより、画像全体の画像変換処理が行われる。これにより、変換画像２７が作成され、表示部３に出力表示される。
【００３３】
図１１は、本発明による画像処理装置の第二の実施形態を示すブロック図である。この画像処理装置は、原画像供給部１とニューラルネットワーク画像変換処理部２との間に、上記原画像供給部１からの画像データを入力してその画像データの持つ濃度特性とニューラルネットワーク画像変換処理部２の持つ画像変換処理特性とが適合するように濃度変換処理を行う濃度変換処理部４を設けると共に、上記ニューラルネットワーク画像変換処理部２と表示部３との間には、ニューラルネットワーク画像変換処理部２で画像変換処理され出力された画像情報に対し上記濃度変換処理部４における変換処理の逆変換処理を行う濃度逆変換処理部２８を設けたものである。
【００３４】
そして、上記濃度変換処理部４は、原画像供給部１から入力した画像データと所定の値とを演算する乗算器１３及び加算器１５の組合せ、又は原画像供給部１から入力した画像データに適用する濃度変換関数を格納したテーブルメモリ（図示せず）から成り、上記濃度逆変換処理部２８は、ニューラルネットワーク画像変換処理部２から入力した画像情報と所定の値とを演算する除算器２９及び減算器３０の組合せ、又はニューラルネットワーク画像変換処理部２から入力した画像情報に適用する濃度逆変換関数を格納したテーブルメモリ（図示せず）から成る。
【００３５】
この実施の形態によれば、上記濃度変換処理部４で濃度変換処理した画像データを、濃度逆変換処理部２８により濃度逆変換処理をして元々の原画像供給部１の画像データの濃度特性に戻すことができ、表示部３に原画像の状態で画像表示することができる。
【００３６】
【発明の効果】
本発明は以上のように構成されたので、請求項１に係る発明によれば、原画像供給部からの画像データを入力しその画像データのヒストグラムを算出するヒストグラム算出部と、このヒストグラム算出部からのヒストグラムデータを用いて濃度変換関数を算出する濃度変換関数算出部と、上記原画像供給部からの画像データと上記濃度変換関数算出部からの濃度変換関数とを入力して該画像データの濃度変換を行う濃度変換部とを備えて成る濃度変換処理部に付設された特性算出部により、ニューラルネットワーク画像変換処理部の総ての入力に同じ値を入力すると共にその値を変化させて行き、該ニューラルネットワーク画像変換処理部の出力値により、そのニューラルネットワーク画像変換処理部の入出力特性を求め、この求めた入出力特性の非飽和領域の最小値及び最大値を上記ニューラルネットワーク画像変換処理部の画像変換処理特性に応じて上記濃度変換関数算出部の濃度変換関数を算出することができる。これにより、上記ニューラルネットワーク画像変換処理部に適合した濃度特性を持つ画像データをそのニューラルネットワーク画像変換処理部に供給することができ、その画像データについて十分な画像変換を行って出力し、表示部に画像表示することができる。従って、見たい関心領域のコントラストの低下を防いだり、情報の欠落を防止したり、或いは雑音を低減したりして、正確かつ伝達情報量の多い画像を提供することができる。
また、請求項２に係る発明によれば、原画像供給部からの画像データを入力しその画像データのヒストグラムを算出するヒストグラム算出部と、このヒストグラム算出部からのヒストグラムデータを用いて濃度変換関数を算出する濃度変換関数算出部と、上記原画像供給部からの画像データと上記濃度変換関数算出部からの濃度変換関数とを入力して該画像データの濃度変換を行う濃度変換部とを備えて成る濃度変換処理部に付設された他のヒストグラム算出部により、ニューラルネットワーク画像変換処理部に教師画像を供給する教師画像供給部の該教師画像を入力してそのヒストグラムを算出し、この算出されたヒストグラムを上記濃度変換関数算出部に送ることができる。これにより、上記ニューラルネットワーク画像変換処理部に適合した濃度特性を持つ画像データをそのニューラルネットワーク画像変換処理部に供給することができ、その画像データについて十分な画像変換を行って出力し、表示部に画像表示することができる。従って、見たい関心領域のコントラストの低下を防いだり、情報の欠落を防止したり、或いは雑音を低減したりして、正確かつ伝達情報量の多い画像を提供することができる。
【００３７】
そして、請求項３に係る発明によれば、原画像供給部からの画像データを入力してその画像データの持つ濃度特性とニューラルネットワーク画像変換処理部の持つ画像変換処理特性とが適合するように濃度変換処理を行う濃度変換処理部を設け、上記ニューラルネットワーク画像変換処理部で画像変換処理され出力された画像情報に対し上記濃度変換処理部における変換処理の逆変換処理を行う濃度逆変換処理部を設けたことにより、上記濃度変換処理部で濃度変換処理した画像データを、濃度逆変換処理部により濃度逆変換処理をして元々の原画像供給部の画像データの濃度特性に戻すことができる。従って、表示部に原画像の状態で正確かつ伝達情報量の多い画像として表示することができる。
【図面の簡単な説明】
【図１】 本発明による画像処理装置の第一の実施形態を示すブロック図である。
【図２】層構造をなすように結合してネットワークに構成されたニューラルネットワーク画像変換処理部の階層構造を示す説明図である。
【図３】ニューラルネットワークを構成する人工的神経素子を示す説明図である。
【図４】画像変換処理部の内部構成の一例を示すブロック図である。
【図５】上記ニューラルネットワーク画像変換処理部のネットワークの学習時の全体構成を示すブロック図である。
【図６】アナログ出力用のニューラルネットワークの学習アルゴリズムを示す説明図である。
【図７】図１に示す濃度変換処理部の内部構成の他の実施形態を示すブロック図である。
【図８】上記構成の濃度変換処理部における濃度変換関数の算出の他の一例を説明するためのブロック図である。
【図９】図７に示す構成の濃度変換処理部における濃度変換関数の算出の更に他の一例を説明するためのブロック図である。
【図１０】 本発明の画像処理装置の変形例を示す説明図である。
【図１１】 本発明による画像処理装置の第二の実施形態を示すブロック図である。
【図１２】上記の画像処理装置における濃度変換処理部及び濃度逆変換処理部の内部構成の一例を示すブロック図である。
【符号の説明】
１…原画像供給部
２…ニューラルネットワーク画像変換処理部
３…表示部
４…濃度変換処理部
５…ネットワーク
６…人工的神経素子
７，８…枝
９…入力情報
１０…出力情報
１１…教師信号
１２…第一の入力手段
１３…乗算器
１４…第二の入力手段
１５…加算器
１６…教師画像供給部
１７…ヒストグラム算出部
１８…濃度変換関数算出部
１９…濃度変換部
２８…濃度逆変換処理部
２９…割算器
３０…減算器
Claims (3)
- 処理対象の画像データを出力する原画像供給部と、人工的神経素子を入力層及び中間層並びに出力層の層構造をなすように結合してネットワークを構成し上記原画像供給部からの画像データを入力して画像変換処理を行うニューラルネットワーク画像変換処理部と、上記原画像供給部からの画像データを入力してその画像データの持つ濃度特性とニューラルネットワーク画像変換処理部の持つ画像変換処理特性とが適合するように濃度変換処理を行う濃度変換処理部と、上記ニューラルネットワーク画像変換処理部で画像変換処理され出力された画像情報を入力して表示する表示部とを有して成る画像処理装置において、
上記濃度変換処理部は、上記原画像供給部からの画像データを入力しその画像データのヒストグラムを算出するヒストグラム算出部と、このヒストグラム算出部からのヒストグラムデータを用いて濃度変換関数を算出する濃度変換関数算出部と、上記原画像供給部からの画像データと上記濃度変換関数算出部からの濃度変換関数とを入力して該画像データの濃度変換を行う濃度変換部とを備えて成り、
上記濃度変換処理部には、上記ニューラルネットワーク画像変換処理部の総ての入力に同じ値を入力すると共にその値を変化させて行き、該ニューラルネットワーク画像変換処理部の出力値により、そのニューラルネットワーク画像変換処理部の入出力特性を求め、この求めた入出力特性の非飽和領域の最小値及び最大値を上記ニューラルネットワーク画像変換処理部の画像変換処理特性に応じて上記濃度変換関数算出部の濃度変換関数を算出する特性算出部が付設されている、
ことを特徴とする画像処理装置。 - 処理対象の画像データを出力する原画像供給部と、人工的神経素子を入力層及び中間層並びに出力層の層構造をなすように結合してネットワークを構成し上記原画像供給部からの画像データを入力して画像変換処理を行うニューラルネットワーク画像変換処理部と、上記原画像供給部からの画像データを入力してその画像データの持つ濃度特性とニューラルネットワーク画像変換処理部の持つ画像変換処理特性とが適合するように濃度変換処理を行う濃度変換処理部と、上記ニューラルネットワーク画像変換処理部で画像変換処理され出力された画像情報を入力して表示する表示部とを有して成る画像処理装置において、
上記濃度変換処理部は、上記原画像供給部からの画像データを入力しその画像データのヒストグラムを算出するヒストグラム算出部と、このヒストグラム算出部からのヒストグラムデータを用いて濃度変換関数を算出する濃度変換関数算出部と、上記原画像供給部からの画像データと上記濃度変換関数算出部からの濃度変換関数とを入力して該画像データの濃度変換を行う濃度変換部とを備えて成り、
上記濃度変換処理部には、上記ニューラルネットワーク画像変換処理部に教師画像を供給する教師画像供給部の該教師画像を入力してそのヒストグラムを算出し、この算出されたヒストグラムを上記濃度変換関数算出部に送る他のヒストグラム算出部が付設されている、
ことを特徴とする画像処理装置。 - 処理対象の画像データを出力する原画像供給部と、人工的神経素子を入力層及び中間層並びに出力層の層構造をなすように結合してネットワークを構成し上記原画像供給部からの画像データを入力して画像変換処理を行うニューラルネットワーク画像変換処理部と、上記原画像供給部からの画像データを入力してその画像データの持つ濃度特性とニューラルネットワーク画像変換処理部の持つ画像変換処理特性とが適合するように濃度変換処理を行う濃度変換処理部と、上記ニューラルネットワーク画像変換処理部で画像変換処理され出力された画像情報に対し上記濃度変換処理部における変換処理の逆変換処理を行う濃度逆変換処理部と、この濃度逆変換処理部で変換処理され出力された画像情報を入力して表示する表示部とを有して成ることを特徴とする画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05578097A JP3953569B2 (ja) | 1997-03-11 | 1997-03-11 | 画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05578097A JP3953569B2 (ja) | 1997-03-11 | 1997-03-11 | 画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10255035A JPH10255035A (ja) | 1998-09-25 |
| JP3953569B2 true JP3953569B2 (ja) | 2007-08-08 |
Family
ID=13008418
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP05578097A Expired - Fee Related JP3953569B2 (ja) | 1997-03-11 | 1997-03-11 | 画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3953569B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009134433A (ja) * | 2007-11-29 | 2009-06-18 | Noritsu Koki Co Ltd | 画像補正方法と画像補正装置 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1922999B1 (en) * | 2005-09-05 | 2011-08-03 | Konica Minolta Medical & Graphic, Inc. | Image processing method and image processing device |
| JP4799251B2 (ja) * | 2006-04-05 | 2011-10-26 | 富士フイルム株式会社 | 類似症例検索装置、類似症例検索方法およびそのプログラム |
| EP2194506B1 (en) * | 2008-12-02 | 2016-03-09 | Samsung Medison Co., Ltd. | Image based registration |
| US10475214B2 (en) * | 2017-04-05 | 2019-11-12 | General Electric Company | Tomographic reconstruction based on deep learning |
| US11315221B2 (en) * | 2019-04-01 | 2022-04-26 | Canon Medical Systems Corporation | Apparatus and method for image reconstruction using feature-aware deep learning |
-
1997
- 1997-03-11 JP JP05578097A patent/JP3953569B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009134433A (ja) * | 2007-11-29 | 2009-06-18 | Noritsu Koki Co Ltd | 画像補正方法と画像補正装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10255035A (ja) | 1998-09-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3642591B2 (ja) | 画像処理装置 | |
| CN113099208B (zh) | 基于神经辐射场的动态人体自由视点视频生成方法和装置 | |
| CN109978778B (zh) | 基于残差学习的卷积神经网络医学ct图像去噪方法 | |
| US20200202502A1 (en) | Methods and system for transforming medical images into different styled images with deep neural networks | |
| US5046118A (en) | Tone-scale generation method and apparatus for digital x-ray images | |
| US5359513A (en) | Method and system for detection of interval change in temporally sequential chest images | |
| JP2004041694A (ja) | 画像生成装置およびプログラム、画像選択装置、画像出力装置、画像提供サービスシステム | |
| JPH07284090A (ja) | 画像分類装置 | |
| CN100577103C (zh) | 使用两个图像的图像处理设备和方法 | |
| JPH1131214A (ja) | 画像処理装置 | |
| US6449390B1 (en) | Image processing apparatus and method therefor | |
| JP3662283B2 (ja) | ラジオグラフィー像の表示において診断上無関係な領域の可視化 | |
| JP3953569B2 (ja) | 画像処理装置 | |
| US6819794B2 (en) | Image processing apparatus, image processing method, storage medium and program | |
| JP2005020338A (ja) | 異常陰影検出方法および装置並びにプログラム | |
| US9224229B2 (en) | Process and apparatus for data registration | |
| JPH09179977A (ja) | 医用画像の階調自動処理装置 | |
| JP2973016B2 (ja) | デジタル放射線画像の画像認識装置 | |
| JP4571378B2 (ja) | 画像処理方法および装置並びにプログラム | |
| Bhandari et al. | Swarm-based optimally selected histogram computation system for image enhancement | |
| JP4323770B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
| Hariharan et al. | An analytical approach for the simulation of realistic low-dose fluoroscopic images | |
| JPH10150569A (ja) | 画像処理装置 | |
| JP2000123154A (ja) | 画像処理装置 | |
| CN117237248B (zh) | 一种曝光调整曲线估计方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040305 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040305 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070111 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070123 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070320 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070424 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070425 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110511 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |