JP5294956B2 - 画像処理装置及び画像処理装置の制御方法 - Google Patents

Description

本発明は、画像処理技術に関する。

従来、画像データをより良くみせるために、様々な画像補正技術が提案されている。画像補正技術の例として、特許文献１には、画像から特徴量を抽出し、それを用いて、階調補正、シャープネス補正、カラーバランス補正、ホワイトバランス補正、露光補正を行う技術等が開示されている。上記の画像補正技術は、静止画だけでなく動画像の画像補正にも適用する事が望まれている。

特開２０００−１０１８４０号公報

しかしながら、動画像に対する画像処理を行う際には、静止画に対する画像処理よりも処理速度に対する要求が高い事が多い。そのため、静止画で用いられる画像補正技術を動画像にそのまま適用した場合、動画像処理に十分な処理速度を得るのが難しいという課題があった。また、動画処理用に簡易的な画像補正技術を適用した場合、画像補正が十分な精度を保つことが難しく画質が安定しないという課題があった。

上記の課題を鑑み、本発明は、動画像の画像補正のための処理速度を得つつ、画像処理された動画像の画質を安定化させることが可能な画像処理技術の提供を目的とする。

上記の目的を達成する本発明にかかる画像処理装置は、被写体の動画像を処理する画像処理装置であって、
前記被写体の動画像の入力を受け付ける入力手段と、
前記入力手段で受け付けられた前記動画像のフレーム画像から前記被写体の動きの位相を解析する解析手段と、
前記解析手段の解析結果に基づき、前記位相と同位相を有するフレーム画像の特徴量の情報が保存手段に保存されているか否かを判定する判定手段と、
前記判定手段の判定結果に基づき、前記位相に対して同位相を有するフレーム画像の特徴量の情報が前記保存手段に保存されていると判定される場合に、前記特徴量の情報を、処理の対象となるフレーム画像に設定する特徴量設定手段と、
前記特徴量設定手段により設定された前記特徴量の情報に応じた画像処理を前記処理の対象となるフレーム画像に対して実行する画像処理手段とを備えることを特徴とする。

本発明によれば、動画像の画像処理のための処理速度を得つつ、画像処理された動画像の画質を安定化させることが可能になる。

第１実施形態における画像処理装置の構成を示すブロック図。 画像処理装置の処理フローを示すフローチャート。 特徴量設定部の構成を示すブロック図。 特徴量設定部の処理フローを示すフローチャート。 特徴量情報の例を示す図。 特徴量設定部にて解析する現フレーム画像の例を示す図。 現フレーム特徴量抽出部にて解析する現フレーム画像のヒストグラム及び累積ヒストグラムの例を示す図。 画像処理部の構成を示すブロック図。 画像処理部の処理フローを示すフローチャート。 画像処理部で生成されるLUTの例を示す図。 第２実施形態における画像処理装置の構成を示すブロック図。 画像処理装置の処理フローを示すフローチャート。 特徴量設定部の構成を示すブロック図。 特徴量設定部の処理フローを示すフローチャート。 特徴量情報の例を示す図。 第３実施形態における画像処理装置の構成を示すブロック図。 画像処理装置の処理フローを示すフローチャート。 特徴量設定部の構成を示すブロック図。 特徴量設定部の処理フローを示すフローチャート。

（第１実施形態）
図１のブロック図を用いて本発明の第１実施形態に係る画像処理装置の概要を説明する。画像入力部１０１は外部より動画像の入力を受け付ける。位相解析部１０２は画像入力部１０１より動画像を構成するフレーム画像を受け取り、処理の対象となるフレーム画像（以下「現フレーム画像」という。）における被写体の動きの位相を解析する。特徴量設定部１０３は画像入力部１０１より現フレームの画像と位相解析部１０２より解析された位相解析結果とを受け取り、現フレーム画像の特徴量を設定する。画像処理部１０４は画像入力部１０１より現フレームの画像と特徴量設定部１０３より設定された現フレームの特徴量とを受け取り、現フレーム画像に対して画像処理を行う。

図２のフローチャートを用いて、第１実施形態の画像処理装置により実行される一連の処理を説明する。尚、画像処理装置の制御プログラムは、図２のフローチャートの処理手順をコンピュータに実行させることが可能である。まず、Ｓ２０１において、画像入力部１０１は、現フレーム画像の入力を受け付ける。次に、Ｓ２０２において、位相解析部１０２は、画像入力部１０１より現フレーム画像を受け取り、被写体の動きの位相を解析する。尚、被写体の動きの位相を解析する方法としては、例えば、特開２００４−０００４１１号公報等の方法を用いることができる。被写体の動きの位相を解析する方法としては、この方法に限定されず、位相を解析するいかなる方法をも用いることが可能である。

次に、Ｓ２０３において、特徴量設定部１０３は、撮影開始時から現フレーム画像の取得時前までに同位相で設定された特徴量があるか否かを判定する。

次に、特徴量設定部１０３は、撮影開始時から現フレーム画像の取得時前までに同位相で設定された特徴量がある場合（Ｓ２０３−Ｙｅｓ）は、その特徴量を抽出する（Ｓ２０４）。フレームごとに特徴量を抽出する処理を実行せずに、同位相で既に設定された特徴量を用いることで、処理速度を向上することが可能となる。Ｓ２０４の処理が完了した後に処理はＳ２０７に進められる。

次に、撮影開始時から現フレーム画像の取得時前までに同位相で設定された特徴量がない場合（Ｓ２０５−Ｎｏ）は、現フレーム画像の特徴量を抽出する（Ｓ２０５）。現フレームの特徴量を抽出した場合に、Ｓ２０６において、特徴量設定部１０３は、現フレームの特徴量とともに、位相解析情報を保存する。次に、Ｓ２０７において、特徴量設定部１０３は、Ｓ２０５で抽出された特徴量を設定する。尚、特徴量設定部１０３による特徴量の設定方法の詳細については後述する。次に、Ｓ２０８において、画像処理部１０４は、Ｓ２０７で設定された特徴量に基づいて現フレーム画像に対し画像処理を行う。尚、画像処理部１０４による画像処理方法の詳細については後述する。以上、Ｓ２０１〜２０８の処理を行うことで、画像処理装置の一連の処理が終了する。

（特徴量設定部１０３）
特徴量設定部１０３による一連の処理を、図３のブロック図、図４のフローチャートを用いて詳細に説明する。処理分岐部３０１は位相解析部１０２より受け取った位相情報を元に、特徴量設定部１０３で実行するべき処理の振り分け（分岐）を行う。現フレーム特徴量抽出部３０２は現フレーム画像の特徴量を抽出する。特徴量保存部３０３は現フレーム特徴量抽出部３０２で抽出された特徴量を保存する。同位相特徴量抽出部３０４は現フレームと同位相の画像に設定された特徴量を抽出する。

図４のフローチャートを用いて、特徴量設定部１０３で実行される一連の処理を説明する。図４のＳ４０１〜Ｓ４０３が終了した時点で、現フレーム特徴量抽出部３０２で行われるＳ４１１〜Ｓ４１６、もしくは同位相特徴量抽出部３０４で行われるＳ４２１〜Ｓ４２２のいずれか一方の処理が実行される。

まず、Ｓ４０１において、処理分岐部３０１は、位相解析部１０２より現フレーム画像取得時の位相情報を受け取る。次に、Ｓ４０２において、処理分岐部３０１は、特徴量保存部３０３内の特徴量情報を検索し、撮影開始時から現フレーム画像取得時までに現フレーム画像と同位相の画像で特徴量が抽出されているか否かを判定する。次に、Ｓ４０３において、処理分岐部３０１は、Ｓ４０２の判定結果を元に現フレーム特徴量抽出部３０２もしくは、同位相特徴量抽出部３０４へ動作指示を与える。

特徴量保存部３０３内の特徴量情報の例は図５に示される。現フレームの位相が3[rad]であったとすると、図５(a)の場合に、[同位相の特徴量あり]となり、処理分岐部３０１は同位相特徴量抽出部３０４へ動作指示を与える。一方、図５(b)の場合に、[同位相の特徴量なし]となり、処理分岐部３０１は、現フレーム特徴量抽出部３０２へ動作指示を与える。尚、図５において特徴量情報は、位相情報に対応して、画像内の最小値、中間値、最大値を有する構成を例示していいる。特徴量情報の例としては、この例に限定されず、この他にも位相情報に対応して代表値のみを有する等、特徴量として利用できる全てのものを特徴量情報として持つことが可能である。

次に、現フレーム特徴量抽出部３０２で行われるＳ４１１〜Ｓ４１６の一連の処理について説明する。処理分岐部３０１より動作指示を受け取った場合（Ｓ４０３−Ｎｏ）、Ｓ４１１において、現フレーム特徴量抽出部３０２は、画像入力部１０１より現フレーム画像を取得する。次に、Ｓ４１２において、現フレーム特徴量抽出部３０２は、X線が照射された照射野を認識する。尚、照射野の認識は、種々の手法が提案されており、例えば、特開２０００−２７１１０７、特開２００３−３３９６８等の手法を用いることが可能である。次に、Ｓ４１３において、現フレーム特徴量抽出部３０２は、照射野内の画像のヒストグラムを生成する。

次に、Ｓ４１４において、現フレーム特徴量抽出部３０２は、生成されたヒストグラムを解析し、特徴量を抽出する。ヒストグラム解析の一例を図６、図７を用いて以下に説明する。図６は、現フレームの画像である。図６中の６０１は、Ｘ線が照射された照射野である。この画像は階調数が4096、照射野内のサイズは100x100（mm）である。この画像の照射野内のヒストグラム（図７(a)）を生成する。次に、このヒストグラムから累積ヒストグラム（図７(b)）を生成し、その累積頻度が総頻度の5%以上、50%以上、95%以上になった最初の画素値をそれぞれ最小値、中間値、最大値として算出する。尚、図７のヒストグラム解析は一例に過ぎず、この他にもヒストグラムの最頻度値を代表値として、特徴量とするという方法など様々な方法を用いることが可能である。

次に、S４１５において、現フレーム特徴量抽出部３０２は、抽出した特徴量を位相情報と共に、特徴量保存部３０３へ保存する。次に、S４１６において、現フレーム特徴量抽出部３０２は、抽出した特徴量を画像処理部１０４へ出力し、処理は終了となる。尚、現フレーム特徴量抽出部３０２による特徴量抽出方法は、ヒストグラム解析による方法としたが、この例に限定されるものではない。例えば、照射野の大きさの10%の領域を照射野中心から選択し、その領域の平均値を求める方法等を適用することが可能である。

次に、同位相特徴量抽出部３０４で行われるS４２１〜S４２２の一連の処理について説明する。処理分岐部３０１から動作指示を受け取った場合（Ｓ４０３−Ｙｅｓ）、Ｓ４２１において、同位相特徴量抽出部３０４は、特徴量保存部３０３より、現フレーム画像と同位相の特徴量を取得する。次に、Ｓ４２２において、同位相特徴量抽出部３０４は、Ｓ４２１で取得された特徴量を画像処理部１０４へ出力し、処理は終了となる。Ｓ４０１〜Ｓ４２２の処理を適宜実行することで、特徴量設定部１０３による特徴量設定は完了する。

（画像処理部１０４の構成）
次に、図８のブロック図を用いて画像処理部１０４の構成を詳細に説明する。画像処理部１０４は、特徴量設定部１０３により設定された特徴量の情報に応じた画像処理をフレーム画像に対して実行する。画像処理には、階調処理と、被写体の輪郭を明確にするための鮮鋭化処理と、ノイズ抑制処理との少なくともいずれか一つの処理が含まれるが、これらの処理い限定されるものではない。

階調処理部８０１は、画像入力部１０１から現フレーム画像と、特徴量設定部１０３から特徴量とを受け取り、階調処理を行う。鮮鋭化処理部８０２は、階調処理部８０１から階調処理後の画像と、特徴量設定部１０３より特徴量とを受け取り、鮮鋭化処理を行う。ノイズ抑制処理部８０３は、鮮鋭化処理部８０２から鮮鋭化処理後の画像と、特徴量設定部１０３より特徴量とを受け取り、ノイズ抑制処理を行う。

図９を用いて、画像処理部１０４により実行される一連の処理を説明する。まず、階調処理部８０１で行われる階調処理方法（Ｓ９０１）について説明する。Ｓ９０１において、階調処理部８０１は、画像入力部１０１から取得した現フレーム画像と、特徴量設定部１０３から取得した特徴量とを元に、階調処理を行う。階調処理部８０１による階調処理方法の一例を以下に示す。階調処理部８０１は、特徴量（最小値、中間値、最大値）と、予め設定された目標画素値及び固定値変換値とを元に、現フレーム画像の画素値を階調変換処理後の画素値に変換するためのルックアップテーブル（LUT）を作成する。

図１０を用いてLUTを例示的に説明する。LUTでは、現フレーム画像の画素値0は512に、4095は4095に設定されている。更に特徴量である最小値(例えば、1000)は700に、中間値（例えば、2000）は2000に、最大値（例えば、3000）は3700にする各点が設定されている。設定されている各点の間のデータはスプライン補間で求められる。

次に、階調処理部８０１は、LUTを参照し、現フレーム画像の各画素値を変換し、階調処理後の画像を生成する。上記の例では、階調処理部８０１による階調処理方法として、最小値、中間値、最大値の各特徴量と、目標画素値とを対応させてLUTを生成する方法を例示しているが、階調処理方法は、この方法に限定されるものではない。例えば、画像を空間周波数分解し、様々な空間周波数帯域を持つ複数の画像を生成し、これに特徴量を元にして、複数の画像に対応した階調変換用の変換係数またはLUTを生成することができる。各画像に対して変換処理を行い、複数の画像を一つの画像に再構成することにより階調変換を行う方法等、階調処理を行うことのできる様々な手法を適用することが可能である。

次に、鮮鋭化処理部８０２にて行われる鮮鋭化処理方法（Ｓ９０２）について説明する。鮮鋭化処理部８０２は、階調処理部８０１から取得した階調処理後画像と、特徴量設定部１０３から取得した特徴量とを元に、鮮鋭化処理を行う（Ｓ９０２）。鮮鋭化処理部８０２による鮮鋭化処理の一例を以下に示す。鮮鋭化処理部８０２は、特徴量設定部１０３から取得した特徴量（最小値、最大値）に応じて強調係数を決定する。この時強調係数は、最小値と最大値の差が小さくなるに従って、大きくなるようにすればよい。この理由は、最小値と最大値の差が小さい場合は、ダイナミックレンジが狭いため、空間周波数の高い領域でもコントラストがつきにくいためである。次に、鮮鋭化処理部８０２は、階調処理後の画像に対し、３画素×３画素の平均値フィルタ処理を行い、ボケ画像を生成する。次に、階調処理後の画像からボケ画像を差分処理し、差分画像を生成した後、この差分画像に係数を掛け、階調処理後画像に足し合わせることにより、鮮鋭化処理後画像を生成する。上記の例では、鮮鋭化処理部８０２による鮮鋭化処理方法として、特徴量に応じて、差分画像に掛ける係数を生成する方法を例示しているが、鮮鋭化処理方法は、この方法に限定されるものではない。例えば、画像を空間周波数分解し、様々な空間周波数帯域を持つ複数の画像を生成し、これに特徴量を元にして、複数の画像に対応した変換係数またはLUTを生成することができる。各画像に対して変換処理を行い、複数の画像を一つの画像に再構成することにより鮮鋭化処理を行う方法等、鮮鋭化処理を行うことのできる様々な手法を適用することが可能である。

次に、ノイズ抑制処理部８０３にて行われるノイズ抑制処理方法（Ｓ９０３）について説明する。ノイズ抑制処理部８０３は、鮮鋭化処理部８０２より取得した鮮鋭化処理後画像、及び特徴量設定部１０３から取得した特徴量を元に、ノイズ抑制処理を行う（Ｓ９０３）。ノイズ抑制処理部８０３によるノイズ抑制処理の一例を以下に示す。ノイズ抑制処理部８０３は、特徴量設定部１０３から取得した、最小値の特徴量に応じて平滑化フィルタサイズを決定する。この時、平滑化係数は、最小値が小さくなるに従って、大きくなるようにすればよい。この理由は、最小値が小さい場合は、照射線量が少ないため、画像中にノイズ成分が比較的多く存在するからである。次に、ノイズ抑制処理部８０３は、鮮鋭化処理後の画像に対し、決定したフィルタサイズを用いて、平滑化フィルタ処理を行い、ノイズ抑制処理が施された画像を生成する。上記の例では、ノイズ抑制処理部８０３によるノイズ抑制処理方法として、特徴量に応じて、平滑化フィルタサイズを決定する方法を例示しているが、ノイズ抑制処理方法としては、この方法に限定されるものではない。例えば、画像を空間周波数分解し、様々な空間周波数帯域を持つ複数の画像を生成し、これに特徴量を元にして、変換係数またはLUTを生成することができる。各画像に対して変換処理を行い、複数の画像を一つの画像に再構成することによりノイズ抑制処理を行う方法等、ノイズ抑制処理を行うことのできる様々な手法を適用することが可能である。

本実施形態では、画像処理部１０４における画像処理方法として、階調処理、鮮鋭化処理、ノイズ抑制処理という３つの処理を順次行う方法を例示している。この他にも、同位相特徴量抽出部３０４で得られた特徴量を用いる場合は、３つの処理を行い、現フレーム特徴量抽出部３０２で得られた特徴量を用いる場合は、階調処理のみ行うという方法でも良い。この方法を用いた場合は、現フレーム特徴量抽出時に伴う演算処理の負荷量増大に対し、画像処理に伴う演算処理の負荷量を軽減する。これにより、画像処理装置全体の演算量を抑え、複雑な画像解析を行った場合でも処理速度を向上させることが可能になる。階調処理、鮮鋭化処理、ノイズ抑制処理を並列に動作させる方法、階調処理のみに特徴量を用いて、他の処理は固定値で行う方法等、上記３つの処理の組み合わせ、処理の順番の変更も可能である。以上、Ｓ９０１〜Ｓ９０３の一連の処理を実行することで、画像処理部１０４による画像処理は完了する。

本実施形態によれば、動画像の画像処理のための処理速度を得つつ、画像処理された動画像の画質を安定化させることが可能になる。

（第２実施形態）
図１１のブロック図を用いて本発明の第２実施形態に係る画像処理装置の概要を説明する。画像入力部１１０１は外部より動画像の入力を受け付ける。位相解析部１１０２は画像入力部１１０１より動画像を構成するフレーム画像を受け取り、処理の対象となるフレーム画像（現フレーム画像）における被写体の動きの位相を解析する。特徴量設定部１１０３は画像入力部１１０１より現フレームの画像と、位相解析部１１０２より位相解析結果とを受け取り、現フレーム画像の特徴量を設定する。画像処理部１１０４は画像入力部１１０１より現フレームの画像と、特徴量設定部１１０３より現フレームの特徴量とを受け取り、現フレーム画像に対し画像処理を行う。生体情報モニタ１１０５は、被写体の生体情報をモニタリングするための監視部として機能する。

図１２のフローチャートを用いて、第２実施形態の画像処理装置により実行される一連の処理を説明する。尚、画像処理装置の制御プログラムは、図１２のフローチャートの処理手順をコンピュータに実行させることが可能である。Ｓ１２０１において、画像入力部１１０１は、現フレーム画像の入力を受け付ける。次に、Ｓ１２０２において、位相解析部１１０２は、生体情報モニタ１１０５より現フレーム画像を受け取り、観察部位の位相を解析する。観察部位の位相の解析結果を以下、位相解析情報ともいう。観察部位の位相を解析する方法としては、例えば、特開平０７−２５５７１７号公報、特開２００５−１１１１５号公報等で用いられている方法を適用することが可能である。観察部位の位相を解析する方法としては、これらの方法に限定されず、観察部位の位相を解析するいかなる方法をも用いることが可能である。

Ｓ１２０３において、特徴量設定部１１０３は撮影開始時から現フレーム画像の取得時前までに同位相で設定された特徴量、または、注目している観察部位の位相に対して前後位相で設定された特徴量があるか否かを判定する。撮影開始時から現フレーム画像取得時前までに、同位相で設定された特徴量がある場合に、Ｓ１２０４において、特徴量設定部１１０３は、その特徴量を抽出する。撮影開始時から現フレーム画像取得時前までに前後位相で設定された特徴量がある場合に、Ｓ１２０５において、特徴量設定部１１０３は、その特徴量を抽出する。Ｓ１２０６において、特徴量設定部１１０３は、前後位相で設定された特徴量を用いて、現フレーム画像の特徴量を計算する。Ｓ１２０７において、特徴量設定部１１０３は、計算された現フレーム画像の特徴量を、その位相解析情報と共に保存する。フレームごとに特徴量を抽出する処理を実行せずに、同位相もしくは前後位相で既に設定された特徴量を用いることで、処理速度を向上することが可能となる。

一方、Ｓ１２０８において、撮影開始時から現フレーム画像の取得時前までに同位相で設定された特徴量および前後位相で設定された特徴量がない場合は、現フレーム画像の特徴量を抽出する。Ｓ１２０９において、特徴量設定部１１０３は、先のステップＳ１２０８で抽出された現フレームの特徴量とともに、位相解析情報を保存する。

次に、Ｓ１２１０において、特徴量設定部１１０３は、抽出した特徴量を設定する。尚、特徴量設定部１１０３による特徴量設定方法の詳細については後述する。Ｓ１２１１において、画像処理部１１０４は、設定された特徴量に基づいて現フレーム画像に対し画像処理を行う。画像処理部１１０４による画像処理方法の詳細については第１実施形態の画像処理部１０４による方法と同様の方法を用いることが可能である。以上、Ｓ１２０１〜Ｓ１２１１の処理の処理を行うことで、画像処理装置の一連の処理が終了する。

（特徴量設定部１１０３）
特徴量設定部１１０３による一連の処理を、図１３のブロック図、図１４のフローチャートを用いて詳細に説明する。処理分岐部１３０１は、位相解析部１１０２より受け取った位相情報を元に、特徴量設定部１１０３で実行するべき処理の振り分け（分岐）を行う。現フレーム特徴量抽出部１３０２は、現フレーム画像の特徴量を抽出する。同位相特徴量抽出部１３０３は、現フレームと同位相の画像に設定された特徴量を抽出する。前後位相特徴量抽出部１３０４は、現フレームの前後位相の画像に設定された特徴量を抽出する。現フレーム特徴量計算部１３０５は、現フレームの位相に対して、前後位相の画像から抽出された特徴量に基づいて、現フレーム画像の特徴量を算出する。特徴量保存部１３０６は、現フレーム特徴量抽出部１３０２と、現フレーム特徴量計算部１３０５にて得られた特徴量とを保存する。

図１４のフローチャートを用いて、特徴量設定部１１０３で実行される一連の処理を説明する。図１４のＳ１４０１〜Ｓ１４０３が終了した時点で、処理は、Ｓ１４１１、Ｓ１４２１、Ｓ１４３１のいずれかに進められる。現フレーム特徴量抽出部１３０２は、Ｓ１４１１〜Ｓ１４１６の処理を実行する。同位相特徴量抽出部１３０３は、Ｓ１４２１〜Ｓ１４２２の処理を実行する。前後位相特徴量抽出部１３０４及び現フレーム特徴量計算部１３０５は、Ｓ１４３１〜Ｓ１４３４の処理を実行する。Ｓ１４１１〜Ｓ１４１６の処理と、Ｓ１４２１〜Ｓ１４２２の処理とは、第１実施形態で説明したＳ４１１〜Ｓ４１６の処理と、Ｓ４２１〜Ｓ４２２の処理と、それぞれ同様の処理であるため、説明を省略する。

Ｓ１４０１において、処理分岐部１３０１は、位相解析部１１０２より現フレーム画像取得時の位相情報を受け取る。Ｓ１４０２において、処理分岐部１３０１は、特徴量保存部１３０６に格納されている特徴量情報を検索する。処理分岐部１３０１は、撮影開始時から現フレーム画像の取得時までに現フレーム画像と同位相の画像から特徴量が抽出されているか、もしくは現フレーム画像の前後位相の画像から特徴量が抽出されているか否かを判定する。Ｓ１４０３において、処理分岐部１３０１は、Ｓ１４０２の判定結果に基づいて現フレーム特徴量抽出部１３０２、同位相特徴量抽出部１３０３、前後位相特徴量抽出手段のいずれか一つへ動作指示を与える。

図１５を用いて、特徴量保存部１３０６内の特徴量情報を例示的に説明する。現フレームの位相が3[rad]であったとすると、図１５(a)の場合は、[同位相の特徴量あり]となり、処理分岐部１３０１は同位相特徴量抽出部１３０３へ動作指示を与える。現フレームの位相3[rad]と同一の位相の情報が格納されていない場合、現フレームの位相3[rad]に対して、所定の閾値の範囲内にあるものを前後位相として判定される。所定の閾値を0.25[rad]とすると、±0.25[rad]の範囲内にある特徴量は、前後位相の特徴量として判定される。図１５(b)の場合は、[前後位相の特徴量あり]となり、処理分岐部１３０１は前後位相特徴量抽出部１３０４へ動作指示を与える。現フレームの位相3[rad]に対して、所定の閾値内にデータが格納されていない場合は、同位相及び前後位相の特徴量なしと判定される。すなわち、図１５(c)の場合は、[同位相及び前後位相の特徴量なし]となり、処理分岐部１３０１は現フレーム特徴量抽出部１３０２へ動作指示を与える。尚、第２実施形態における特徴量情報は、位相情報に対応して、画像内の最小値、中間値、最大値を有する構成を例示していいる。特徴量情報の例としては、この例に限定されず、この他にも位相情報に対応して代表値のみを有する等、特徴量として利用できる全てのものを特徴量情報として持つことが可能である。

次に、前後位相特徴量抽出部１３０４及び現フレーム特徴量計算部１３０５にて行われるＳ１４３１〜Ｓ１４３４について説明する。Ｓ１４３１において、処理分岐部１３０１から動作指示を受け取った場合、前後位相特徴量抽出部１３０４は、特徴量保存部１３０６より、現フレーム画像の前後位相の特徴量を取得し、現フレーム特徴量計算部１３０５へ出力する。

次に、Ｓ１４３２において、現フレーム特徴量計算部１３０５は、前後位相の特徴量から、現フレーム画像の特徴量を前後位相の特徴量に基づき計算する。現フレーム特徴量の補間演算方法としては、例えば、線形補間、最近傍補間、多項式補間、スプライン補間等、様々な補間方法を用いることが可能である。Ｓ１４３３において、現フレーム特徴量計算部１３０５は、Ｓ１４２２で計算された特徴量を特徴量保存部１３０６に保存する。

Ｓ１４３４において、現フレーム特徴量計算部１３０５は、算出された特徴量を画像処理部１１０４へ出力し、処理終了となる。以上のＳ１４０１〜Ｓ１４３４の処理を適宜実行することで、特徴量設定部１１０３による特徴量設定は完了する。

本実施形態によれば、動画像の画像補正のために十分な処理速度を得つつ、画像補正された動画像の画質を安定化させることが可能になる。

（第３実施形態）
図１６のブロック図を用いて本発明の第３実施形態に係る画像処理装置の概要を説明する。画像入力部１６０１は外部より動画像の入力を受け付ける。位相解析部１６０２は画像入力部１６０１より動画像を構成するフレーム画像を受け取り、処理の対象となるフレーム画像（現フレーム画像）における被写体の動きの位相を解析する。特徴量設定部１６０３は画像入力部１６０１より現フレームの画像と、位相解析部１６０２より位相解析結果と、を受け取り、現フレーム画像の特徴量を設定する。画像処理部１６０４は画像入力部１６０１より現フレームの画像と、特徴量設定部１６０３より現フレームの特徴量とを受け取り、現フレーム画像に対し画像処理を行う。

図１７のフローチャートを用いて、第３実施形態の画像処理装置により実行される一連の処理を説明する。尚、画像処理装置の制御プログラムは、図１７のフローチャートの処理手順をコンピュータに実行させることが可能である。Ｓ１７０１において、画像入力部１６０１は、現フレーム画像の入力を受け付ける。Ｓ１７０２において、位相解析部１６０２は、画像入力部１６０１より現フレーム画像を受け取り、観察部位の位相を解析する。Ｓ１７０３において、特徴量設定部１６０３は、撮影開始時から現フレーム画像取得時前までに同位相で設定された特徴量があるか否かを判定する。撮影開始時から現フレーム画像取得時前までに同位相で設定された特徴量がある場合は（Ｓ１７０３−Ｙｅｓ）、同位相で設定された特徴量に基づいて、現フレーム画像の特徴量を更新する（Ｓ１７０５）。

撮影開始時から現フレーム画像取得時前までに同位相で設定された特徴量がない場合は（Ｓ１７０３−Ｎｏ）、特徴量設定部１６０３は、現フレーム画像から現フレーム画像の特徴量を抽出する（Ｓ１７０４）。現フレーム画像の取得時前までに同位相で設定された特徴量を更新するようにする事で、特徴量抽出の精度を挙げることが可能となる。そのため、簡易的な画像解析を行った場合でも画質を安定化させることが可能になる。

Ｓ１７０６において、特徴量設定部１６０３は、抽出または更新された特徴量を保存する。Ｓ１７０７において、特徴量設定部１６０３は、抽出された特徴量を設定する。尚、特徴量設定部１６０３による特徴量設定方法の詳細については後述する。Ｓ１７０８において、画像処理部１６０４は、設定された特徴量に基づいて現フレーム画像に対し画像処理を行う。尚、画像処理部１６０４による画像処理方法の詳細については第１実施形態の画像処理部１０４による方法と同様の方法を用いることが可能である。以上、Ｓ１７０１〜Ｓ１７０８の処理を行うことで、画像処理装置の一連の処理が終了する。次に、特徴量設定部１６０３による一連の処理について、図１８のブロック図、図１９のフローチャートを用いて詳細に説明する。

（特徴量設定部１６０３）
特徴量設定部１６０３の構成を図１８のブロック図を用いて説明する。処理分岐部１８０１は、位相解析部１６０２より受け取った位相情報を元に、特徴量設定部１６０３で実行するべき処理の振り分け（分岐）を行う。現フレーム特徴量抽出部１８０２は、現フレーム画像の特徴量を抽出する。同位相特徴量更新部１８０３は、現フレーム画像から抽出された特徴量を、特徴量保存部１８０４より取得された同位相で設定された特徴量を用いて、現フレーム画像の特徴量を補正し、更新するための計算を行う。特徴量保存部１８０４は、現フレーム特徴量抽出部１８０２及び同位相特徴量更新部１８０３で得られた特徴量を保存する。

図１９のフローチャートを用いて、特徴量設定部１６０３で実行される一連の処理を説明する。図１９のＳ１９０１〜Ｓ１９０３が終了した時点で、現フレーム特徴量抽出部１８０２で行われるＳ１９１１〜Ｓ１９１６もしくは同位相特徴量更新部１８０３で行われるＳ１９２１〜Ｓ１９２８のいずれか一方の処理が実行される。現フレーム特徴量抽出部１８０２で実行されるＳ１９１１〜Ｓ１９１６に関しては、第１実施形態で説明したＳ４１１〜Ｓ４１６の処理と同様の処理であるため、説明を省略する。

Ｓ１９０１において、処理分岐部１８０１は、位相解析部１６０２より現フレーム画像取得時の位相情報を受け取る。Ｓ１９０２において、処理分岐部１８０１は、特徴量保存部１８０４内の特徴量情報を検索し、撮影開始時から現フレーム画像取得時までに現フレーム画像と同位相の画像で特徴量が抽出されているか否かを判定する。次に、Ｓ１９０３において、処理分岐部１８０１は、Ｓ１８０２の判定結果に基づいて現フレーム特徴量抽出部１８０２、同位相特徴量更新部１８０３のいずれか一つへ動作指示を与える。

図５を用いて、特徴量保存部１８０４内の特徴量情報を例示的に説明する。現フレームの位相が3[rad]であったとすると、図５(a)の場合は、[同位相の特徴量あり]となり、処理分岐部１８０１は同位相特徴量更新部１８０３へ動作指示を与える。図５(b)の場合は [同位相の特徴量なし]となり、処理分岐部１８０１は現フレーム特徴量抽出部１８０２へ動作指示を与える。

次に、同位相特徴量更新部１８０３にて実行されるＳ１９２１〜Ｓ１９２８について説明する。Ｓ１９２１において、処理分岐部１８０１より動作指示を受け取った場合、同位相特徴量更新部１８０３は、画像入力部１６０１より現フレーム画像を取得する。次に、Ｓ１９２２において、同位相特徴量更新部１８０３は、X線が照射された照射野を認識する。尚、照射野認識は、種々の手法が提案されており、例えば、特開２０００−２７１１０７号公報、特開２００３−３３９６８号公報等で提案されている手法を用いることができる。

次に、Ｓ１９２３において、同位相特徴量更新部１８０３は、照射野内の画像のヒストグラムを生成する。Ｓ１９２４において、同位相特徴量更新部１８０３は、生成されたヒストグラムを解析し、特徴量を抽出する。尚、ヒストグラム解析方法は、図３で説明した現フレーム特徴量抽出部３０２によるヒストグラム解析方法と同様の手法を用いることが可能である。

Ｓ１９２５において、同位相特徴量更新部１８０３は、現フレーム画像と同位相で設定された特徴量を、特徴量保存部１８０４より取得する。次に、Ｓ１９２６において、同位相特徴量更新部１８０３は、ヒストグラム解析によって現フレーム画像から抽出された特徴量と、特徴量保存部１８０４より取得された同位相で設定された特徴量とを用いて、現フレーム画像の特徴量を更新するための計算を行う。計算方法としては、例えば、両特徴量を平均化する手法を用いることができる。あるいは、同位相で設定された特徴量が既に前フレームの複数枚の特徴量を使用して設定されたものであった場合は、その設定回数に応じて同位相で設定された特徴量に重み付けを行い計算しても良い。

次に、Ｓ１９２７において、同位相特徴量更新部１８０３は、Ｓ１９２６で計算された現フレーム画像の特徴量を特徴量保存部１８０４へ格納し、現フレーム画像の特徴量の更新を行う。Ｓ１９２８において、同位相特徴量更新部１８０３は、Ｓ１９２６で計算された現フレーム画像の特徴量を画像処理部１６０４へ出力し、処理は終了となる。以上、Ｓ１９０１〜Ｓ１９２８の処理を適宜実行することで、特徴量設定部１６０３による特徴量設定は完了する。

本実施形態によれば、動画像の画像処理のための処理速度を得つつ、画像処理された動画像の画質を安定化させることが可能になる。

Claims (6)

1. 被写体の動画像を処理する画像処理装置であって、
   前記被写体の動画像の入力を受け付ける入力手段と、
   前記入力手段で受け付けられた前記動画像のフレーム画像から前記被写体の動きの位相を解析する解析手段と、
   前記解析手段の解析結果に基づき、前記位相と同位相を有するフレーム画像の特徴量の情報が保存手段に保存されているか否かを判定する判定手段と、
   前記判定手段の判定結果に基づき、前記位相に対して同位相を有するフレーム画像の特徴量の情報が前記保存手段に保存されていると判定される場合に、前記特徴量の情報を、処理の対象となるフレーム画像に設定する特徴量設定手段と、
   前記特徴量設定手段により設定された前記特徴量の情報に応じた画像処理を前記処理の対象となるフレーム画像に対して実行する画像処理手段と、
   を備えることを特徴とする画像処理装置。
2. 前記特徴量設定手段は、前記保存手段に保存されている前記特徴量の情報に基づく補間演算により、前記処理の対象となるフレーム画像に設定するための特徴量を算出する特徴量計算手段を備え、
   前記判定手段の判定結果に基づき、予め定められた閾値の範囲内の位相を有するフレーム画像の特徴量の情報が前記保存手段に保存されていると判定される場合に、前記特徴量設定手段は、前記補間演算により算出された前記特徴量を、前記処理の対象となるフレーム画像に設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記特徴量設定手段は、前記処理の対象となるフレーム画像から前記特徴量を抽出する特徴量抽出手段を備え、
   前記判定手段の判定結果に基づき、前記位相に対して同位相または予め定められた前記閾値の範囲内の位相を有するフレーム画像の特徴量の情報が前記保存手段に保存されていないと判定される場合に、前記特徴量設定手段は、前記特徴量抽出手段により抽出された前記特徴量を、前記処理の対象となるフレーム画像に設定することを特徴とする請求項２に記載の画像処理装置。
4. 前記特徴量設定手段は、前記解析手段により解析された前記位相に対して同位相を有するフレーム画像の特徴量の情報を前記保存手段から取得して、前記特徴量抽出手段により抽出された前記特徴量を更新する請求項３に記載の画像処理装置。
5. 前記画像処理には、階調処理と、被写体の輪郭を明確にするための鮮鋭化処理と、ノイズ抑制処理との少なくともいずれか一つの処理が含まれ、
   前記画像処理手段は、前記特徴量設定手段により設定された前記特徴量の情報に応じて、前記階調処理と、前記鮮鋭化処理と、前記ノイズ抑制処理とのうち少なくともいずれか一つの処理を実行することを特徴とする請求項１に記載の画像処理装置。
6. 入力手段と、解析手段と、判定手段と、特徴量設定手段と、画像処理手段とを有し、被写体の動画像を処理する画像処理装置の制御方法であって、
   前記入力手段が、前記被写体の動画像の入力を受け付ける入力工程と、
   前記解析手段が、前記入力工程で受け付けられた前記動画像のフレーム画像から前記被写体の動きの位相を解析する解析工程と、
   前記判定手段が、前記解析工程の解析結果に基づき、前記位相と同位相を有するフレーム画像の特徴量の情報が保存手段に保存されているか否かを判定する判定工程と、
   前記特徴量設定手段が、前記判定工程の判定結果に基づき、前記位相に対して同位相を有するフレーム画像の特徴量の情報が前記保存手段に保存されていると判定される場合に、前記特徴量の情報を、処理の対象となるフレーム画像に設定する特徴量設定工程と、
   前記画像処理手段が、前記特徴量設定工程により設定された前記特徴量の情報に応じた画像処理を前記処理の対象となるフレーム画像に対して実行する画像処理工程と、
   を有することを特徴とする画像処理装置の制御方法。

Images