JP4834536B2 - 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体 - Google Patents

Description

本発明は、画像の階調を変換する画像処理技術に関する。

従来、画像処理を高速化するために、画像の階調を低階調に変換して、画像処理の処理負荷を軽減し、処理を高速化する技術がある。一般的に、画像の階調を低階調に変換する技術は、画像の各画素における下位ビットを削除することにより階調を変換する方法が知られている。また、この技術を利用し、動画像における動きベクトル探索を行う方法が開示されている。（特許文献１）
特開平８−２９８６６５号公報

しかしながら、動きベクトル検出などの画像の特徴量を検出する画像処理の場合、下位ビットの削除により階調削減を行う方法では、微小信号成分、特に、ハイライトとシャドー部の微小信号成分の欠如がおこり、画像の特徴を大きく失ってしまう。その結果として、画像の特徴量の検出精度が悪くなるという問題があった。

本発明はかかる問題点に鑑みてなされたものであり、微小信号成分を消失することなく画像の階調を変換することを目的とする。

また、より精度の高い特徴量検出を可能とすることを目的とする。

上記問題を解決するために、本発明の関わる画像処理装置は、入力された画像の高域成分を強調するフィルタ処理を行うフィルタ処理手段と、前記画像において階調を変換する画素値の範囲を定める制限値として、前記フィルタ手段によってフィルタ処理された画素値が前記入力された画像の階調を超えた値を母集団とした代表値をレンジ上限値として、前記フィルタ手段によってフィルタ処理された画素値が０を下回った値を母集団とした代表値をレンジ下限値として算出する制限値算出手段と、前記制限値に基づいて、前記フィルタ処理された画素値を制限する制限手段と、前記制限手段によって画素値を制限された画像が階調変換後の階調に適応するように、該画素値を変換する変換手段とを備えることを特徴とする。

本発明によれば、画像において、微小信号成分を消失することなく階調を変換することが可能となる。

また、より精度の高い特徴量検出が可能となる。

以下、添付図面を参照して本発明の好適な実施の形態を詳しく説明する。尚、以下の実施の形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

＜実施形態１＞
図１は、本発明の実施形態１に係る画像処理装置の主要部の構成を示すブロック図である。本実施形態における画像処理装置は、Ｓ_ｏ階調で表現される画像をＳ_ｒ階調で表現される画像に変換する。Ｓ_ｏとＳ_ｒは、Ｓ_ｏ＞＝Ｓ_ｒを満たし、本実施形態では、Ｓ_ｏ＝１０２４、Ｓ_ｒ＝２５６とするが、これに限定されるものではない。

図１において、原画像バッファ１０１は外部から入力された原画像を保持する。フィルタ強度算出部１０９は、フィルタの強度（ｋ）を算出し、フィルタ処理部１０４に出力する。

フィルタ処理部１０４は、フィルタリング係数の行列（フィルタカーネル）を用いて入力された画像の各画素のフィルタ処理を実行し、その結果をレンジ算出部１０２へ出力する。レンジ算出部１０２は、フィルタ処理部１０４で処理された画素値からレンジ上限値（ｍａｘ＿ｌｅｖｅｌ）と、レンジ下限値（ｍｉｎ＿ｌｅｖｅｌ）を算出する。レンジ算出部１０２は、前記レンジ上限値とレンジ下限値を線形変換係数算出部１０３、レンジ制限部１０５に出力し、レンジ下限値を線形変換部１０６にそれぞれ出力する。線形変換係数算出部１０３は、レンジ算出部１０２で算出した制限値から、線形変換係数（Ｋ_Ｒ）を算出し、線形変換部１０６に出力する。レンジ制限部１０５は、レンジ算出部１０２で算出した制限値を用いて、フィルタ処理部１０４でフィルタ処理された画素値を制限し、その画素値を線形変換部１０６に出力する。線形変換部１０６は、線形変換係数（Ｋ_Ｒ）とレンジ下限値（ｍｉｎ＿ｌｅｖｅｌ）から、制限された画素値に対して線形変換を行い、線形変換値を正規化部１０７に出力する。正規化部１０７は、線形変換値を正規化し、低階調画像バッファ１０８に出力する。

図２は、本実施形態の画像処理装置における、階調変換処理を説明するフローチャートである。

ステップＳ２０１において、フィルタ強度算出部１０９は、式（１）で表される式により、フィルタの強度（ｋ）を算出し、例えば図５（ａ）で表されるフィルタリング係数の行列（フィルタカーネル）を生成する。
ｋ＝Ｓ_ｏ／Ｓ_ｒ・・・・（１）
本実施形態では、Ｓ_ｏ＝１０２４、Ｓ_ｒ＝２５６と表現しているで、フィルタの強度は式（１）により、ｋ＝４となる。この場合、図５（ａ）のフィルタカーネルは、図５（ｂ）のように表される。本実施形態では、図５（ｂ）の３×３形状のフィルタカーネルを用いるが、本発明はこの形状に限定されない。

なお、本ステップにおけるフィルタ処理は、ハイパスフィルタやガウシアンフィルタなど、画像の周波数成分の高域成分または中高域成分を強調できるフィルタであれば、これに限定しない。

ステップＳ２０２において、フィルタ処理部１０４は、ステップＳ２０１で生成されたフィルタカーネルを用い、原画像バッファ１０１に保持されている原画像の各画素に対してフィルタ処理を行いその画素値（Ｉ_Ｈ（ｘ，ｙ））を算出する。ここでの（ｘ，ｙ）は、画像の座標を表現し、各処理は全ての画素に対して行われる。

ステップＳ２０３において、レンジ算出部１０２は、フィルタ処理部１０４で算出された各画素値がＳ_ｏを超えた画像一枚分の値を母集団とした平均値をレンジ上限値（ｍａｘ＿ｌｅｖｅｌ）として算出する。また画素値が０を下回った画像一枚分の値を母集団とした平均値をレンジ下限値（ｍｉｎ＿ｌｅｖｅｌ）として算出する。

ステップＳ２０４において、線形変換係数算出部１０３は、レンジ算出部１０２で算出した制限値（レンジ上限値とレンジ下限値）から、式（２）を用いて変換係数（Ｋ_Ｒ）を算出する。

図５（ｂ）のフィルタカーネルを用いた画像全体へのフィルタ処理の結果、ｍａｘ＿ｌｅｖｅｌが１０４０，ｍｉｎ＿ｌｅｖｅｌが−６０と算出された場合、線形変換係数（Ｋ_Ｒ）は、上述の式（２）により、Ｋ_Ｒ＝９．０９０９×１０^−４となる。

ステップＳ２０５において、レンジ制限部１０５は、式（３）を用いて、フィルタ処理部１０４によって算出された画素値（Ｉ_Ｈ（ｘ，ｙ））を制限し、制限された画素値（Ｉ_Ｒ（ｘ，ｙ））を算出する。

ステップＳ２０６において、線形変換部１０６は、線形変換係数算出部１０３で算出された線形変換係数（Ｋ_Ｒ）と、レンジ算出部１０２で算出したレンジ下限値（ｍｉｎ＿ｌｅｖｅｌ）とから、制限された画素値（Ｉ_Ｒ（ｘ，ｙ））を式（４）を用いて線形変換を行い、線形変換値（Ｉ_Ｌ（ｘ，ｙ））を算出する。

ステップＳ２０７において、正規化部１０７は、線形変換部１０６で算出された線形変換値（Ｉ_Ｌ（ｘ，ｙ））を式５を用いて正規化し、階調を変換した画像の画素値（Ｉ_Ｏ（ｘ，ｙ））として、低階調画像バッファ１０８に出力する。

なお、各ステップは処理可能な限りにおいて、その処理順序に限定されない。

上述のステップにより変換される画像の例を図６（ａ）〜（ｄ）に示す。各図における各升目は画素を表す。図６（ａ）に示される画素値をもつ原画像は、ステップＳ２０１〜ステップＳ２０６の処理により、図６（ｃ）のような画素値をもつ画像に変換される。そして図６（ｃ）の各画素値は、ステップＳ２０７の処理によって図６（ｄ）のような画素値に変換される。

図６（ｂ）には、画像の階調変換の単純な方法として、２ビットの左シフトにより、階調を変換した画像である。この画像と図６（ｄ）の画像を比べると、十分に微小信号成分を保持していることがわかる。これらの処理は、例えば、青空に浮かぶ雲を含むような画像に対して階調変換する場合、雲の部分に含まれる微小信号成分を保持することができる。

このように、本実施形態における階調変換処理では、画像の微小信号成分を消失することなく階調を変換することが可能となる。また、本実施形態における階調変換処理は、微小信号成分を保持することが可能だけでなく、メモリの使用量が少なく、処理負荷が軽いという効果もある。

なお、ステップＳ２０３において、レンジの上限値と下限値を決める統計的な解析処理の代表値に、平均値を用いたが、中央値や、最大値、最小値などを用いてもよい。また、原画像の階調と出力画像の階調が一定である場合、フィルタ強度算出部１０９は、固定値を保持してもよい。また、各部は、画像ごとに処理を行っているが、画素毎に処理を行ってもよい。

また、フィルタ処理部１０４とフィルタ強度算出部１０９とは、互いに独立した構成になっているが、両部の機能を満たすひとつの処理部でもよい。これは、レンジ算出部１０２とレンジ制限部１０５、また、線形変換係数算出部１０３と線形変換部１０６に至っても同様である。

また、フィルタ強度算出部１０９とレンジ算出部１０２と線形変換係数算出部１０３は、パラメータを決定するひとつ若しくは２つの処理部として機能してもよい。

＜実施形態２＞
図３は、本発明の実施形態２に係る画像処理装置の主要部の構成を示すブロック図である。本実施形態における画像処理装置は、Ｓ_ｏ，階調で表現される画像をＳ_ｒ階調で表現される画像に変換し、更に、その画像から動きベクトルを検出する。図３と図１の構成の異なる点は、図３では新に画像特性検出部３０１と、パラメータ保持部３０２と、第１の動きベクトル検出部３０３と、第２の動きベクトル検出部３０４を追加した点である。その他１０１から１０８の各部は、図１における１０１から１０８の各部と同じになるので、その説明は省略する。

図３において、画像特性検出部３０１は、原画像バッファ１０１に入力された複数の原画像からシーンチェンジを検出する。パラメータ保持部３０２は、画像特性検出部３０１においてシーンチェンジが検出された場合に、レンジ上限値、レンジ下限値、線形変換係数が保持される。

第１の動きベクトル検出部２０３は、時間的に前後する低階調バッファ１０８内に保持されている階調変換された画像から動きベクトルを検出する。第２の動きベクトル検出部２０４は、第１の動きベクトル検出部２０３で算出した動きベクトルを動きベクトル探索の基点とし、原画像バッファ１０１の画像を用いて、動きベクトルの検出を行う。

図４は、本実施形態の画像処理装置における、階調変換処理を説明するフローチャートである。

ステップＳ４０１において、フィルタ強度算出部１０９は、式（１）で表される式により、フィルタの強度（ｋ）を算出し、フィルタカーネルを生成する。本ステップは実施形態１におけるステップＳ２０１と同様である。

ステップＳ４０２において、原画像バッファ１０１には、複数の連続した画像が入力される。

ステップＳ４０３において、画像特性検出部３０１は、原画像バッファ１０１に入力された複数の原画像からシーンチェンジを検出する。

ステップＳ４０４において、フィルタ処理部１０４は、実施形態１におけるステップＳ２０２と同様に、入力された原画像に対してフィルタ処理を行いその画素値（Ｉ_Ｒ（ｘ，ｙ））を算出する。

ステップＳ４０３においてシーンチェンジが検出された場合若しくは入力された画像が一枚目の場合には、ステップＳ４０５では、レンジ算出部１０２は、実施形態１におけるステップＳ２０３と同様に、レンジ上限値とレンジ下限値とを算出する。

ステップＳ４０６において、線形変換係数算出部１０３は、実施形態１におけるステップＳ２０４と同様に、制限値から式（２）を用いて変換係数（Ｋ_Ｒ）を算出する。

ステップＳ４０７において、レンジ算出部１０２および線形変換係数算出部１０３は、各々算出したレンジ上限値とレンジ下限値、変換係数をパラメータ保持部３０２に保持させる。

ステップＳ４０８において、レンジ制限部１０５は、パラメータ保持部３０２からレンジ上限値とレンジ下限値を読み込み、実施形態１におけるステップＳ２０５と同様に、制限された画素値（Ｉ_Ｒ（ｘ，ｙ））を算出する。

ステップＳ４０９において、線形変換部１０６は、パラメータ保持部３０２から線形変換係数とレンジ下限値を読み込み、実施形態１におけるステップＳ２０６と同様に、線形変換値（Ｉ_Ｌ（ｘ，ｙ））を算出する。

ステップＳ４１０において、前ステップＳ４０９で処理された画像が、一枚目の画像が否かを判断する。１枚目であるの場合はステップＳ４０２に戻り、次の画像を処理する。１枚目でない場合は、ステップＳ４１１へと進む。

ステップＳ４１１において、第１の動きベクトル探索部は、低階調画像バッファ１０８に保持された２枚の階調変換画像を用いて、整数画素精度の動きベクトルを検出する。

ステップＳ４１２において、第２の動きベクトル探索部は、Ｓ４１１で算出された整数画素精度の動きベクトルを元に、原画像バッファ１０１に保持された原画像を用いて、小数画素精度の動きベクトルを算出する。

なお、各ステップは処理可能な限りにおいて、その処理順序に限定されない。

このように、本発明における階調変換処理にて生成した階調変換画像で整数画素精度の動き探索を行うことにより、正確で高速な動きベクトル探索が可能となる。また、原画像を用いて小数画素精度の動き探索を行うことにより、整数画素精度と小数画素精度の動きベクトル探索を実階調で行った場合の動き探索精度に近い精度を得ることができる。

なお、本実施形態において画像特性検出部３０１は、シーンチェンジを検出したが、入力された画像のフェードインフェードアウトを検出してもよい。また同様に、圧縮符号化画像においては、画面内符号化された（される）画像を検出してもよい。また、画像特性検出部３０１は、入力画像カウンターに置き換えられ、周期的にレンジと線形変換係数の再計算をしてもよい。

＜その他の実施形態＞
なお、本発明は、複数の機器から構成されるシステムの１部として適用しても、１つの機器からなる装置の１部に適用してもよい。

また、本発明は上記実施形態を実現するための装置及び方法のみに限定されるものではない。

例えば、上記システム又は装置内のコンピュータ（ＣＰＵ或いはＭＰＵ）に、上記実施形態を実現するためのソフトウェアのプログラムコードを供給するものも本発明の範疇に含まれる。また、このプログラムコードに従って上記システム或いは装置のコンピュータが上記各種デバイスを動作させることにより上記実施形態を実現する場合も本発明の範疇に含まれる。

この場合、前記ソフトウェアのプログラムコード自体が上記実施形態の機能を実現することになる。即ち、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、具体的には上記プログラムコードを格納した記憶媒体も本発明の範疇に含まれる。

この様なプログラムコードを格納する記憶媒体としては、例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、本発明は上記プログラムコードのみに従って各種デバイスを制御することにより、上記実施形態の機能が実現される場合に限らない。例えば、上記プログラムコードがコンピュータ上で稼働しているＯＳ（オペレーティングシステム）、或いは他のアプリケーションソフト等と共同して上記実施形態が実現される場合も本発明の範疇に含まれる。

更に、コンピュータの機能拡張ボードに備わるメモリに格納された上記プログラムコードの指示に基づいて、その機能拡張ボードに備わるＣＰＵ等が実際の処理の一部または全部を行う場合なども本発明の範疇に含まれる。

実施形態１における画像処理装置の主要部の構成図 実施形態１における画像処理手順を示すフローチャート 実施形態２における画像処理装置の主要部の構成図 実施形態２における画像処理手順を示すフローチャート （ａ）フィルタカーネルの例、（ｂ）ステップＳ２０１によって生成されるフィルタカーネルの例 （ａ）本発明の画像処理装置に入力される原画像の例、（ｂ）本発明の画像処理装置に入力される原画像に対してビットシフトにより階調を変換した例、（ｃ）ステップＳ２０６によって処理された画像の例、（ｄ）おけるステップＳ２０７によって処理された画像の例

符号の説明

１０１ 原画像バッファ
１０２ レンジ算出部
１０３ 線形変換係数算出部
１０４ フィルタ処理部
１０５ レンジ制限部
１０６ 線形変換部
１０７ 正規化部
１０８ 低階調画像バッファ
１０９ フィルタ強度算出部

Claims (13)

1. 入力された画像の高域成分を強調するフィルタ処理を行うフィルタ処理手段と、
   前記画像において階調を変換する画素値の範囲を定める制限値として、前記フィルタ手段によってフィルタ処理された画素値が前記入力された画像の階調を超えた値を母集団とした代表値をレンジ上限値として、前記フィルタ手段によってフィルタ処理された画素値が０を下回った値を母集団とした代表値をレンジ下限値として算出する制限値算出手段と、
   前記制限値に基づいて、前記フィルタ処理された画素値を制限する制限手段と、
   前記制限手段によって画素値を制限された画像が階調変換後の階調に適応するように、該画素値を変換する変換手段とを備えることを特徴とする画像処理装置。
2. 前記フィルタ処理手段は、前記入力された画像の階調と出力する画像の階調とに基づいて定まるフィルタ強度を用いてフィルタ処理することを特徴とする請求項１に記載の画像処理装置。
3. 前記代表値は、対象画素における平均値、中央値、最大値、最小値の少なくとも１つであることを特徴とする請求項１に記載の画像処理装置。
4. 前記制限手段は、前記制限値算出手段によって算出された画素値の範囲に収まらない画素値を、前記制限値に置換することを特徴とする請求項１に記載の画像処理装置。
5. 前記変換手段は、前記制限手段によって画素値が制限された画像を線形変換する線形変換手段と、前記線形変換された画像を正規化する正規化手段を備えることを特徴とする請求項１に記載の画像処理装置。
6. 前記線形変換手段は、前記制限値算出手段によって制限された画素値に基づいて線形変換することを特徴とする請求項５に記載の画像処理装置。
7. 更に、前記変換手段によって変換された画像を保持する第１の保持手段と、
   前記第１の保持手段に保持された複数の画像から動きベクトルを算出する第１の動きベクトル算出手段とを備えることを特徴とする請求項１に記載の画像処理装置。
8. 更に、複数の前記入力された画像を保持する第２の保持手段と、
   前記第１の動きベクトル算出手段によって算出した動きベクトルに基づいて、前記第２の保持手段に保持された複数の画像の動きベクトルを算出する第２の動きベクトル算出手段とを備える請求項７に記載の画像処理装置。
9. 更に、前記入力された画像から、画像の特性を検出する画像特性検出手段と、
   前記画像特性検出手段によって、画像の特性が検出された場合に前記制限値算出手段によって算出された制限値を保持するパラメータ保持部とを備え、
   前記制限手段は、前記画像の特性が検出されなかった場合に、前記パラメータ保持部に保持された制限値を用いて制限された画素値を算出することを特徴とする請求項１に記載の画像処理装置。
10. 前記画像特性検出手段は、シーンチェンジを検出することを特徴とする請求項９に記載の画像処理装置。
11. 入力された画像の高域成分を強調するフィルタ処理を行うフィルタ処理工程と、
    前記画像において階調を変換する画素値の範囲を定める制限値として、前記フィルタ工程によってフィルタ処理された画素値が前記入力された画像の階調を超えた値を母集団とした代表値をレンジ上限値として、前記フィルタ工程によってフィルタ処理された画素値が０を下回った値を母集団とした代表値をレンジ下限値として算出する制限値算出工程と、
    前記制限値に基づいて、前記フィルタ処理された画素値を制限する制限工程と、
    前記制限工程によって画素値を制限された画像が階調変換後の階調に適応するように、該画素値を変換する変換工程とを備えることを特徴とする画像処理方法。
12. 請求項１０に記載の画像処理方法をコンピュータに実行させる画像処理プログラム。
13. 請求項１１に記載の画像処理プログラムを格納したコンピュータ読み取り可能な記憶媒体。

Images