JP6425396B2

JP6425396B2 - 画像処理装置、画像処理方法およびプログラム

Info

Publication number: JP6425396B2
Application number: JP2014054161A
Authority: JP
Inventors: 秀昭宮本
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-03-17
Filing date: 2014-03-17
Publication date: 2018-11-21
Anticipated expiration: 2034-03-17
Also published as: JP2015173923A

Description

本発明は、撮影された撮影画像中の被検体向きを算出するための処理を行う画像処理装置、その画像処理方法およびプログラムに関するものである。

放射線センサで生成された放射線画像にデジタル画像処理を行う場合、撮影した画像内の被検体向きを含む解剖学的構造を考慮し処理を行う場合がある。また、ユーザからは指定の角度で画像を観察し易い向きに自動で画像回転し表示されることが望まれている。これらデジタル画像処理及び自動画像回転を行うためには、画像内で被検体向きを判別することが必要となる。特許文献１には、胸部の放射線画像を対象とし、椎体の解剖学的特徴から椎体領域を抽出し、椎体の向きを判別する技術が提案されている。

特開２００９−２０１８７２

しかし、特許文献１で提案されている方法は、胸部撮影画像中の椎体領域を対象とし、椎体の解剖学的特徴を抽出する技術であり、頭部や四肢等の他の部位や機械的な非破壊検査の対象となる検査対象といったあらゆる被検体に対応しているとはいえない。そのため、特許文献１に記載の発明を様々な被検体に対して適用することは困難である。

そこで、本発明は、撮影画像において被検体に依らず被検体の向きを算出することが可能な画像処理装置の提供を目的とする。

そこで本発明の画像処理装置は、被検体の画像データにおける複数の領域毎の画素値の強度分布を複数の領域間で比較した傾向を示す値と、前記傾向を示す値と前記画像データにおける被検体の向きを関連づけるために予め被検体毎に定められた値と、に基づいて前記画像データにおける前記被検体の向きを決定する演算を行う演算手段と、決定された被検体の向きに基づいて、前記画像データに高画質化処理を施す高画質化処理手段と、前記演算手段によって演算された演算結果と、前記高画質化処理手段によって高画質化された画像データとに基づいて、前記被検体が、被検体毎に設定された向きになるように、前記被検体の画像を表示手段に表示させる表示処理手段と、を有することを特徴とする。

本発明は、撮影画像において被検体に依らず被検体の向きを算出することが可能な画像処理装置を提供することができる。

実施の形態にかかる画像処理装置の構成を説明する図である。実施の形態にかかる画像処理装置の基準向きと、被検体向きに基づいて定義される方向の一例を示した図である。実施の形態にかかる画像処理装置の動作を示すフローチャートである。実施の形態にかかる画像処理装置の特徴量抽出の動作を示すフローチャートである。実施の形態が対象とする撮影画像の一例と、撮影画像から抽出されるエッジ強度画像データを示した図である。エッジ強度画像データと領域エッジ画像データの一例を示した図である。実施の形態が対象とする撮影画像の一例と、撮影画像から抽出される方向エッジ画像を示した図である。

以下、図面を参照して、本発明における好適な実施の形態を詳しく説明する。まず、図１を参照して本発明の実施の形態にかかる画像処理装置２００を説明する。本発明の実施の形態にかかる画像処理装置２００は、例えば図１に示すような放射線撮影装置１００に適用される。即ち、放射線撮影装置１００は、被検体の向きを決定する演算を行う画像処理装置を含む放射線撮影装置である。以下、図面を参照して本実施の形態にかかる画像処理装置２００について説明する。放射線撮影装置１００は、放射線発生部１０１と放射線センサ１０４とを有する。放射線発生部１０１は、被検体１０２に向けて放射線１０３を照射する。放射線センサ１０４は、被検体１０２を透過した放射線１０３を受けて放射線画像データを生成する。すなわち放射線センサ１０４は、放射線照射された被検体１０２の撮影画像データを生成する撮影手段として機能する。被検体の撮影画像データは通信手段であるバス１１５を介して送受信される。なお、本実施の形態では、Ｘ線、γ線などの電磁波やα線、β線も放射線に含めるものとして説明する。

さらに、放射線撮影装置１００は、前処理部１０５と操作部１０６と記憶部１０７と演算部１０８とを有する。前処理部１０５は、放射線センサ１０４が出力する撮影画像データに対し、放射線センサ１０４の特性を補正する処理を行う。操作部１０６は、ユーザの操作指示を入力し各部に操作指示を与える。記憶部１０７は、少なくとも撮影される患者の被検体の情報と、被検体毎に予め定められた値と、を保持する。なお、記憶部１０７は、画像処理パラメータや画像補正用のデータを更に保持していてもよい。演算部１０８は、放射線画像データにおける被検体の向きを決定する演算を行う。即ち、演算部１０８は、被検体の画像データにおける複数の領域毎の画素値の変化量の分布の傾向を示す値と被検体の向きを関連づけるために予め被検体毎に定められた値に基づいて画像データにおける被検体の向きを決定する演算を行う。なお、「画素値」とは、画素の輝度値や濃度値のことである。また、「画素値の変化量」とは、ある注目した画素と１又は複数の隣接画素との画素値である輝度値や濃度値の差分のことである。「画素値の強度分布」とは、画像データにおける画素値の強度の分布を示すものであり、規格化されたデータでもよい。例えば、エッジ強度画像やエッジ強度分布を指す。また、「被検体」とは、検査を受ける対象であり、検査される人や物あるいは動物をことである。例えば人体の部位である胸部・肺野・腹部・四肢・頭部等を示す。また、「予め被検体毎に定められた値」とは、被検体の向きを算出するために被検体の特徴量と向きを関連づけるための値である。本実施の形態において、「予め被検体毎に定められた値」は、後述する、サンプル画像から算出された結合荷重およびバイアス値がその一例である。また、「所定の向き」とは、被検体毎に設定された基準となる被検体の向きであり、本実施の形態においては、予めシステム上設定することや、操作部１０６から入力しユーザが被検体毎に設定することができる。例えば、胸部正面画像データであれば解剖学的に頭部が撮影画像データの上となる向きが診断に適した基準向きである。一方で四肢などユーザにより診断に適した向きが異なる被検体においては定義が困難である。そのため、ユーザが操作部１０６により所定の向きを設定することで、個々のユーザの診断等に適した被検体の向きを設定することができる。

さらに、放射線撮影装置１００は、高画質化部１１３と表示処理部１１４と表示部１０９とを有する。高画質化部１１３は、撮影画像に対し判別した被検体向きを考慮した高画質化処理を行う。表示処理部１１４は、演算部１０８によって演算された演算結果に基づいて、被検体の向きを所定の向きとするための基準となる被検体の向きと一致または類似するように処理する。即ち、表示処理部１１４は、画像データにおける被検体の向きを、ユーザが予め定めた表示部１０９における被検体の所定の向きに一致又は類似するように、被検体の向きを変更する。表示部１０９は、変更された画像データにおける被検体の向きを画像として表示を行う。

本実施の形態における画像処理装置２００は、少なくとも演算部１０８と表示処理部１１４とを有している。また、システム上必要に応じて、画像処理装置２００は高画質化部１１３等の他の構成を含むものであってもよい。

演算部１０８は、前処理部１０５が出力する撮影画像データから被検体向きを判別するために、第一の特徴量抽出部１１０と、判別部１１２と、を有する。演算部１０８は、更に第二の特徴量抽出部１１１を有してもよい。本実施の形態における第一の特徴量抽出部１１０および第二の特徴量抽出部１１１は、本発明における第一の特徴量抽出手段および第二の特徴量抽出手段に相当する。なお、以下の説明では第一の特徴量抽出部１１０と第二の特徴量抽出部１１１と判別部１１２とを用いた被検体向きの判別を行っているが、本発明はそれに限定されるものではない。本発明では、第一の特徴量抽出部１１０と判別部１１２とを用いた被検体向きの判別が行い得る。

第一の特徴量抽出部１１０は、被検体の画像データにおける複数の領域毎の画素値の強度分布を複数の領域間で比較した傾向に基づいた第一の特徴量を抽出する。また、第二の特徴量抽出部１１１は、撮影画像データ内に複数の方向を設定し、複数の方向毎に算出された画素値の変化量の分布を複数の方向間で比較した傾向に基づいて第二の特徴量を抽出する。第一の特徴量および第二の特徴量については後述する。判別部１１２は、第一の特徴量と予め被検体毎に定められた値とに基づいて画像データにおける被検体の向きを判別する。判別部１１２は、第一の特徴量と第二の特徴量と予め被検体毎に定められた値とに基づいて画像データにおける被検体の向きを判別してもよい。判別部１１２での被検体向きを判別した結果は、予め被検体毎に設定された基準となる被検体の向きを０度とし、Ｄ度ずつ回転した向きで定義されるものとする。図２に一例として胸部正面画像データについて頭部が撮影画像データの上となる向きを基準向きと定義した場合の４つの方向を示す。本実施の形態では、判別部１１２は、Ｄ＝９０度とし、被検体向き判別処理は、撮影画像データが、部位別基準向き（０度）、９０度、１８０度、２７０度の４方向のいずれかを判別するものとする。本実施の形態における被検体向きは、４方向としたがこれに限られるものではない。

次に、図３に示すフローチャートを用いて、放射線撮影装置１００により撮影された撮影画像データから被検体の向きを決定して被検体の向きを考慮した高画質化処理と画像回転処理とを行って表示部１０９に出力する方法を説明する。

まず、ステップＳ２０１において、演算部１０８は、前処理部１０５にて前処理が加えられた撮影画像データを取得し、第一の特徴量抽出部１１０および第二の特徴量抽出部１１１に入力する。演算部１０８は、このステップにて撮影画像データ内の被検体の特徴量の抽出を行う。

次にステップＳ２０２において、演算部１０８は、第二の特徴量抽出部１１１及び第一の特徴量抽出部１１０により抽出された特徴量を判別部１１２に入力する。判別部１１２は、第一の特徴量および第二の特徴量と予め被検体毎に定められた値に基づいて撮影画像データ中の被検体の向きを算出する。

そして、ステップＳ２０３において、演算部１０８は、判別部１１２が出力する被検体向き判別結果を高画質化部１１３に出力する。高画質化部１１３は、被検体向き判別結果に基づいて高画質化処理を行い、高画質化処理済み画像データを生成する。ここで高画質化処理とは、例えば被検体の関心領域を基準として、画像全体を診断に適した階調に変換する階調処理である。高画質化部１１３は、高画質化処理において被検体からの所定の関心領域の抽出行う場合がある。例えば、胸部画像の場合、肺野を関心領域として抽出する。被検体向きが算出された画像データに対して高画質化処理を行うことで、高画質化処理部１１３は、関心領域の抽出精度が向上し、より高画質化された撮影画像データが得られる。

ステップＳ２０４において、放射線撮影装置１００は、判別部１１２が出力する被検体向き判別結果及び高画質化部１１３が出力する高画質化処理済み画像データを表示処理部１１４に入力する。また表示処理部１１４は、撮影された撮影画像データの被検体とその被検体に対応する基準向きを記憶部１０７から読み込む。表示処理部１１４は、画像データにおける被検体の向きが所定の向き（被検体毎の基準向き）と一致又は類似するように、高画質化処理済み画像データに対し、被検体の向きを回転させて、表示用画像として表示させるために表示部１０９に出力し、処理を終了する。以上の処理により、画像処理装置２００は被検体に依らず撮影画像内の被検体の向きを算出し、ユーザ所定の向き（被検体毎の基準向き）と一致させることができる。

以降の説明では、撮影画像データの横方向をｘ軸、縦方向をｙ軸と定義し、左上端の座標を原点（ｘ，ｙ）＝（１，１）で表し、撮影画像データＩの座標（ｘ，ｙ）における画素値をＩ（ｘ，ｙ）で表す。さらに撮影画像データの横サイズをＷ、縦サイズをＨとする。つまり撮影画像データの右下端の座標は（ｘ，ｙ）＝（Ｗ，Ｈ）であり、ｘは１以上Ｗ以下の範囲を、ｙは１以上Ｈ以下の範囲で示される。

（第一の特徴量）
第一の特徴量抽出部１１０によって抽出される第一の特徴量は、被検体の撮影画像データ内に複数の領域を設定し、設定した複数の領域から別々に抽出したエッジ画素に基づいて定められた特徴量である。第一の特徴量はこの定義に沿ったものであれば様々なものが適用可能であるが、本実施の形態では以下のように特徴量を算出する。

図４（ａ）のフローチャートを用いて第一の特徴量抽出部１１０が行う第一の特徴量の抽出について詳細に説明する。図４（ａ）のステップＳ３０１からＳ３０３までの工程は、図３で説明したステップＳ２０１内の特徴量抽出処理内の工程である。ステップＳ３０１として、第一の特徴量抽出部１１０は、撮影画像データ内の複数の領域毎の変化量を算出する。本実施の形態では、撮影画像データ内の画素値の変化量の分布をエッジ強度画像データＥｍとして示す。ここで、エッジ画素とは撮影画像データ内で画素値の変化量が所定値以上になる画素とする。エッジ強度画像データはエッジ画素の強度の分布を示す画像データである。

まず、第一の特徴量抽出部１１０は、撮影画像データＩのエッジ強度画像データＥｍを、上述したｘ軸方向及びｙ軸方向のエッジ画像データＥｘ、Ｅｙを用いて次式により算出する。

ここでは例として、撮影画像データＩが胸部正面画像データである場合に、第一の特徴量抽出部１１０は、ｘ方向エッジ画像データＥｘとｙ方向エッジ画像データＥｙから算出されたエッジ強度画像データＥｍを図５に示す。

さらに、第一の特徴量抽出部１１０は、このエッジ強度画像データＥｍ内にｒｎｕｍ個の複数の領域を設定した場合のエッジ画像データをＥＲｎ（ｎ＝１，２，．．．，ｒｎｕｍ）として算出する。エッジ画像データＥＲｎは、設定された領域内の画素値をエッジ強度画像データＥｍの画素値、それ以外の画素値をゼロで表した画像データとしている。ここでは、第一の特徴量抽出部１１０は、エッジ強度画像データＥｍの上半分、下半分、左半分、右半分の４領域を設定し、エッジ画像データＥＲ１、ＥＲ２、ＥＲ３、ＥＲ４をそれぞれ次式に基づいて算出する。

ここでは例として、第一の特徴量抽出部１１０が、撮影画像データＩが胸部正面画像データである場合のエッジ強度画像データＥｍから取得した領域エッジ画像データＥＲ１〜ＥＲ４を図６に示す。

続いて、ステップＳ３０２として、第一の特徴量抽出部１１０は、設定した複数の領域から、統計量を抽出する。ここで用いる統計量は、撮影画像データにおける画素値の平均値や分散値、あるいは所定の閾値を定めた場合の閾値以上の画素値を持つ画素数といったものを用いる。本実施の形態では、第一の特徴量抽出部１１０は、上述のエッジ強度画像データＥｍに上半分、下半分、左半分、右半分の４領域から、統計量として平均値をｅｕ、ｅｂ、ｅｌ、ｅｒを算出する。

そして、ステップＳ３０３として、第一の特徴量抽出部１１０は、算出したｅｕ、ｅｂ、ｅｌ、ｅｒを用いて、複数の領域毎の統計量毎の関係を表す特徴量を第一の特徴量として算出する。具体的には第一の特徴量抽出部１１０は、次式にて示すｅｕとｅｂの関係に基づくｅｕｂと、ｅｌとｅｒの関係に基づくｅｌｒとを、第一の特徴量として算出する。

以上で算出したｅｕｂとｅｌｒは、撮影画像データに設定した領域ごとの変化量の分布の傾向（エッジ密集度）を表す第一の特徴量である。例えば式１０のｅｕｂは、撮影画像データにおいて、上半分に下半分よりエッジが密集していれば１、下半分に上半分よりエッジが密集していれば０に近い値をとる特徴量である。同様に、式１１のｅｌｒは、撮影画像データにおいて、左半分に右半分よりエッジが密集していれば１、右半分に左半分よりエッジが密集していれば０に近い値をとる特徴量である。

このように、演算部１０８は、複数の領域から別々に抽出した第一の特徴量は、被検体の解剖学的情報を用いることなく撮影画像データの被検体向きを表す特徴の一つとして用いることができる。なお、本実施の形態においては、胸部の撮影画像データについて説明をしたが、肺野・腹部・四肢・頭部においても、複数の領域毎に画素値の変化量の分布の傾向は異なるため、被検体の向きを算出するための特徴量として用いることができる。

次に、第一の特徴量抽出部１１０が第一の特徴量の抽出の前に行う前処理について説明する。第一の特徴量抽出部１１０は、第一の特徴量抽出の前処理として、被検体の撮影画像データを特徴量抽出に適した所定の画像データ量に縮小した縮小画像データ処理をしてもよい。このため、第一の特徴量抽出部１１０は、特徴量抽出処理の高速化を図ることができる。更に、縮小画像データを用いることで、特徴量抽出に不要な画像データ内のノイズの影響を除去できる。

また、被検体の撮影画像データ内の画素値は放射線照射線量や被検体構造によって様々な分布を持つ。そのため、第一の特徴量抽出部１１０は、前処理として、放射線照射線量や被検体構造によって異なる撮影画像データ間で様々な分布を持つ画素値範囲の正規化処理を行っても良い。例えば、第一の特徴量抽出部１１０は、正規化処理により画素値の範囲を０から１の範囲に割り当てることができる。このため、第一の特徴量抽出部１１０は、特徴量の抽出の精度を向上することができる。

更に、第一の特徴量抽出部１１０は、被検体の撮影画像データから被検体の向きの判別に不要な領域を取り除いた撮影画像データに基づいて処理することもできる。例えば、放射線撮影画像データの場合、第一の特徴量抽出部１１０は、放射線の照射がされていない照射野外の領域、被検体を放射線が透過していない素抜け領域、金属が検出された領域などを取り除く領域除去処理を行いことができる。上記処理により、画像処理装置２００は、被検体の特徴量に関係のない部分を取り除いた領域で第一の特徴量の抽出を行えるため、被検体向きの算出精度を向上することができる。

第一の特徴量抽出部１１０は、特徴量抽出処理や表示処理の方法、演算精度、処理速度などのパフォーマンス、対象とする被検体等により、これらの前処理の実行または非実行を切り替えられるようにすることが好適である。

なお、本実施の形態では複数の領域毎の画素値の変化量の分布の傾向を第一の特徴量として用いた。ただし、第一の特徴量として、複数の領域のエッジ統計量の２つ以上の組み合わせを用いてもよい。このことにより特徴量の抽出の精度を向上することができる。

（第二の特徴量）
図４（ｂ）のフローチャートを用いて、第二の特徴量抽出部１１１を用いた場合に第二の特徴量抽出部１１１が行う第二の特徴量の抽出について詳細に説明する。図４（ｂ）のステップＳ４０１からＳ４０３までの工程は、図３で説明したステップＳ２０１内の特徴量抽出処理での工程である。なお、図４（ｂ）のフローチャートは、図４（ａ）のフローチャートと並列に処理されてもよく、また図４（ａ）のフローチャートの前に処理されてもよい。

第二の特徴量は、撮影画像データ内に複数の方向を設定し、設定した複数の方向から別々に抽出した複数の方向のエッジ画素の分布に基づいて定められた特徴量である。

第二の特徴量を被検体の向きの算出に用いることで、被検体の向きの算出が困難な部位であっても、第一の特徴量と組み合わせることで精度が向上する。具体的には、第一の特徴量として抽出が困難な、上下対称、左右対称の被検体を判別する際に効果が大きい。

本実施の形態では、第二の特徴量抽出部１１１は、撮影画像データ内にあるエッジ画素の分布をエッジ画像データとして抽出している。本実施の形態では、第二の特徴量はこの定義に沿ったものであれば様々なものが適用可能である。

まずステップＳ４０１として、撮影画像データ内の複数の方向毎の変化量を算出する。

まず、撮影画像データをＩとしたとき、ある方向を示す単位ベクトル（ｎｘ，ｎｙ）に直交するエッジを抽出した方向エッジ画像データＥｄは、次式で表すことができる。

ここで、本実施の形態では、複数の方向をｘ軸（横方向）とｙ軸（縦方向）の二つと定義する。第二の特徴量抽出部１１１は、撮影画像データからｘ軸方向のエッジとｙ軸方向のエッジ画素を表す方向エッジ画像データＥｘとＥｙを次式により算出する。

式１および式２は単位ベクトル（ｎｘ，ｎｙ）を（０，１）、（１，０）にした場合の例を示している。ここでは例として、撮影画像データＩが胸部正面画像データである場合のｘ方向エッジ画像データＥｘとｙ方向エッジ画像データＥｙを図７に示す。第二の特徴量抽出部１１１は、ｘ方向エッジ画像データＥｘ、ｙ方向エッジ画像データＥｙは濃淡画像データである撮影画像データからそれぞれ横方向、縦方向のエッジ画素が抽出される。

ステップＳ４０２として、第二の特徴量抽出部１１１は、撮影画像データ内の複数の方向毎のエッジ画像データ毎に、統計量を算出し、この統計量を第二の特徴量として抽出することができる。第二の特徴量抽出部１１１が抽出する統計量は、例えば、それぞれのエッジ画像データ内の画素値の平均値や分散値、あるいはエッジ画素の数（エッジ画素の割合）といった、エッジ画素の方向毎の傾向を示す方向エッジ統計量を抽出する。ここでは、上述のｘ軸方向のエッジとｙ軸方向のエッジを表すｘ方向エッジ画像データＥｘとｙ方向エッジ画像データＥｙから、統計量として平均値を算出してｅｘ、ｅｙとする。

次に、ステップＳ４０３として、第二の特徴量抽出部１１１は、算出した方向エッジ統計量ｅｘ、ｅｙを用いて、複数の方向エッジ統計量の毎の関係を表す特徴を第二の特徴量として算出する。そして、第二の特徴量抽出部１１１は、具体的に次式にて示すｅｄを第二の特徴量として算出する。

なお、上述で算出したｅｄは、撮影画像データから抽出した複数の方向エッジ統計量のうち、支配的な方向を表す特徴量である。例えば式１７は、撮影画像データ内でｙ軸方向の方向エッジ統計量がｘ軸方向の方向エッジ統計量よりも支配的であれば１に、ｘ軸方向の方向エッジ統計量がｙ軸方向の方向エッジ統計量より支配的であれば０に近い値をとるものである。被検体である人体の部位は、方向毎にエッジの量が異なるため、被検体に依らず特徴量を抽出することができる。なお、本実施の形態においては、胸部の撮影画像データについて説明をしたが、肺野・腹部・四肢・頭部においても、方向毎にエッジの量は異なるため、被検体の向きを算出するための特徴量として用いることができる。

このように、第二の特徴量抽出部１１１により、複数の方向から別々に抽出した複数の方向の画素値の変化量に基づいて定められる第二の特徴量は、被検体の解剖学的構造を用いることなく撮影画像データの被検体向きの算出に利用することができる。

なお、本実施の形態では、第二の特徴量抽出部１１１は、上述のように第二の特徴量を抽出するものとしたが、これに限定されるものではない。例えば、ｅｘ、ｅｙを平均値でなく、次式のように所定の閾値Ｔ以上の画素値となる画素の割合とし、この値に基づきｅｄを算出しても良い。さらに複数方向のエッジ画像データ毎に複数の方向エッジ統計量を算出して、算出した統計量毎の関係に応じて、第二の特徴量の１つとして用いることもできる。

ここで第二の特徴量抽出部１１１は、上式では画像データサイズが異なる撮影画像データの影響を減らすため、撮影画像データ全体の画素数Ｈ×Ｗによって除算を行っている。

なお、本実施の形態では方向エッジ関係量を第二の特徴量として用いた。ただし、第二の特徴量として、上述の複数の統計量の二つ以上の組み合わせを用いてもよい。

また本実施の形態では、複数の方向を縦方向と横方向としているが、さらに第二の特徴量抽出する方向を増やし、統計量として用いてもよい。演算部１０８は、第二の特徴量を抽出する方向を増やすことで、後述する判別手段において判別が困難な被検体における判別精度を向上することができる。

また、第二の特徴量抽出部１１１は、撮影画像データに対して上述した第一の特徴量抽出部１１０で行ったものと同様の前処理を行うことができる。このことにより、第二の特徴量抽出部１１１は、前処理を行った撮影画像データから第二の特徴量の抽出を行うことができ、同様の効果が得られる。

（被検体向き判別処理）
特徴量を入力として被検体向き判別結果を出力する判別部１１２には様々な方法が適用できる。本実施の形態では判別部１１２は入力層、中間層、出力層からなる３層フィードフォワードニューラルネット（以下、ＦＦＮＮ）により被検体の向きを判別し判別結果を出力する。ＦＦＮＮを用いることで、上述した特徴量と被検体の向きとの関連を被検体毎に定められた値（結合荷重、バイアス値）を設定することで関連づけることができる。

判別部１１２の３層ＦＦＮＮは、Ｎｉｎ個のニューロンで構成される入力層、パラメータで与えられるＮｍｉｄ個のニューロンで構成される中間層、判別するクラスの数に対応するＮｏｕｔ個のニューロンで構成される出力層を持つ。そして、入力層と中間層、中間層と出力層の各ニューロンはそれぞれが結合加重で結ばれており、さらに中間層と出力層はバイアス値が加えられる。この結合加重及びバイアス値が３層ＦＦＮＮの判別パラメータである。判別部１１２は、適切に設定された値を記憶部１０７から読み込んで設定することで入力層に与えられる特徴量を出力層の示す値によって分類することが可能になる。

入力層に属するＮｉｎ個のニューロンを、ｉ番目のニューロンの値をｘ_ｉで示すＮｉｎ次元ベクトルｘ＝（ｘ_１，ｘ_２，．．．，ｘ_Ｎｉｎ）で表す。このベクトルｘは判別に用いる特徴量に対応する。従って本被検体判別処理においては、ステップＳ２０１で抽出した第一の特徴量及び第二の特徴量を要素として持つベクトルを作成し、ベクトルｘの値とする。本実施の形態では、第一の特徴量としてｅｕｂ、ｅｌｒ、第二の特徴量としてｅｄの３つを用い、Ｎｉｎ＝３、ｘ_１＝ｅｄ、ｘ_２＝ｅｕｂ、ｘ_３＝ｅｌｒとなる３次元ベクトルｘが入力層のニューロンとなる。

中間層に属するＮｍｉｄ個のニューロンを、ｉ番目のニューロンの値をａ_ｉで示すＮｍｉｄ次元ベクトルａ＝（ａ_１，ａ_２，．．．，ａ_Ｎｍｉｄ）で表す。このベクトルａは入力層に与えられた特徴量から計算される。ここでベクトルａのｊ番目の要素ａ_ｊは、入力層のニューロンを表すＮｉｎ次元ベクトルｘを用いて、次式で表される。

さらに、出力層に属するＮｏｕｔ個のニューロンを、Ｎｏｕｔ次元ベクトルｏ＝（ｏ_１，ｏ_２，．．．，ｏ_Ｎｏｕｔ）で表す。このベクトルｏは中間層で求められた値から計算される。ここで、ベクトルｏのｊ番目の要素ｏ_ｊは、中間層のニューロンを表すＮｍｉｄ次元ベクトルａを用いて次式で表される。

判別するクラスの数Ｎｏｕｔは、ここでは判別する被検体の向きの数に対応し、Ｎｏｕｔ次元ベクトルｏの各要素は、撮影画像データがどの被検体向きであるかを示す評価値である。本実施の形態では、判別する向きをＮｏｕｔ＝４つとし、ｏ_１、ｏ_２、ｏ_３、ｏ_４をそれぞれ被検体向き０度、９０度、１８０度、２７０度に対応する評価値として設定する。望ましい被検体の向きの判別が行われた場合、ベクトルｏの要素は一つだけが１に近い値をとり、他の要素はゼロに近い値をとる。従って、判別部１１２は、３層ＦＦＮＮでは、ベクトルｏ各要素の内最大の値をとる要素に対応する被検体向きを被検体向き判別結果として出力することで被検体向き判別処理が達成される。

式２０において、ｗ^｛１｝ _ｊｉは入力層のニューロンｉと中間層のニューロンｊを結ぶ結合荷重、ｂ^｛１｝ _ｊは中間層のニューロンｊに加えられるバイアス値である。また、式２１において、ｗ^｛２｝ _ｊｉは中間層のニューロンｉと出力層のニューロンｊを結ぶ結合荷重、ｂ^｛２｝ _ｊは出力層のニューロンｊに加えられるバイアス値である。これらは後述する機械学習により予め適切な値に調整された被検体毎に定められた判別パラメータである。

判別部１１２は、被検体判別処理において正しい判別を行うために、予め判別パラメータが適切な値に設定されている必要がある。上述した３層ＦＦＮＮでは、結合荷重ｗ^｛１｝、ｗ^｛２｝、バイアス値ｂ^｛１｝、ｂ^｛２｝が適切な判別結果を生成するための判別パラメータであり、機械学習により適切な値に調整される。本実施の形態では機械学習の一つである教師あり学習を用いる。

教師あり学習は、被検体毎の多数のサンプル画像データと、各サンプル画像データの正しい判別結果を教師データとして準備し、サンプル画像データを判別部１１２に与えた結果が教師データと一致するように判別パラメータを調整する学習である。教師あり学習は被検体別に行い、被検体ごとの判別パラメータを生成して記憶部１０７に予め記憶されるものとする。

３層ＦＦＮＮでは、教師データは出力層と同じＮｏｕｔ次元のベクトルであり、期待される被検体向きに対応する要素の値を１、それ以外の要素の値を０として与える。そして、サンプル画像データから特徴量を生成して３層ＦＦＮＮの入力層に与え、生成される出力層の値が教師データと等しくなるように判別パラメータｗ^｛１｝、ｗ^｛２｝、ｂ^｛１｝、ｂ^｛２｝を調整する。この調整は判別パラメータが正確に定まるものであればよい。例えば誤差逆伝搬法が用いられる。

以上の説明では、被検体向き判別処理を３層ＦＦＮＮを用いて教師あり機械学習により生成した判別パラメータを用いて行う場合を説明したが、その他の判別手段を用いることも可能である。

例えば、本実施の形態で述べた３層ＦＦＮＮの中間層を多数にすれば、機械学習の過程において複数の特徴量を組み合わせ方も学習することが可能となる。この場合、例えば方向エッジ画像データそのものを第二の特徴量として用いても被検体向き判別処理が可能となる。

（情報処理装置について）
また、本発明は、前述した実施の形態の機能を実現するソフトウェアのプログラム（実施の形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

以上、本発明の好ましい実施の形態について説明したが、本発明はこれらの実施の形態に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。

１０８演算部（演算手段に対応）
１０９表示部（表示手段に対応）
１１４表示処理部（表示処理手段に対応）
２００画像処理装置

Claims

被検体の画像データにおける複数の領域毎の画素値の強度分布を複数の領域間で比較した傾向を示す値と、前記傾向を示す値と前記画像データにおける被検体の向きを関連づけるために予め被検体毎に定められた値と、に基づいて前記画像データにおける前記被検体の向きを決定する演算を行う演算手段と、
決定された被検体の向きに基づいて、前記画像データに高画質化処理を施す高画質化処理手段と、
前記演算手段によって演算された演算結果と、前記高画質化処理手段によって高画質化された画像データとに基づいて、前記被検体が、被検体毎に設定された向きになるように、前記被検体の画像を表示手段に表示させる表示処理手段と、を有することを特徴とする画像処理装置。
前記高画質化処理は、前記被検体の関心領域を基準として、画像全体の階調を最適化した階調処理である請求項１記載の画像処理装置。
被検体の画像データにおける複数の領域毎の画素値の変化量の分布の傾向を示す値と、前記傾向を示す値と被検体の向きを関連づけるために予め被検体毎に定められた値と、に基づいて前記画像データにおける被検体の向きを決定する演算を行う演算工程と、
決定された被検体の向きに基づいて、前記画像データに高画質化処理を施す高画質化工程と、
前記演算工程で演算された演算結果と、前記高画質化工程で高画質化された画像データとに基づいて、前記被検体が、被検体毎に設定された向きになるように、前記被検体の画像を表示手段に表示させる表示処理工程と、を備えることを特徴とする画像処理方法。
請求項３に記載の画像処理方法をコンピュータに実行させるためのプログラム。