JP5809865B2

JP5809865B2 - 画像処理装置及び画像処理方法

Info

Publication number: JP5809865B2
Application number: JP2011158034A
Authority: JP
Inventors: 良則井戸川; 武前田; 幸一須藤; 斉仙深田; 徹武儀山; 卓志横山; 博桜井; 満男江口
Original assignee: Hitachi Industry and Control Solutions Co Ltd
Current assignee: Hitachi Industry and Control Solutions Co Ltd
Priority date: 2011-07-19
Filing date: 2011-07-19
Publication date: 2015-11-11
Anticipated expiration: 2031-07-19
Also published as: JP2013025473A

Description

本発明は、カメラで撮影した画像のレンズ特性により生じた劣化を復元する画像処理装置及び画像処理方法に関する。

従来から、劣化した画像を復元する画像復元技術として、一般化逆フィルタを用いる方法及び、Richardson-Lucy法（以下、ＲＬ法と称す）等がある。両方法とも、劣化過程が既知であるとして、劣化過程により劣化させたものと入力画像の二乗誤差が最小となるように、求めたい復元画像を決定する。

一般化逆フィルタは、二乗誤差が最小となる条件を解いた結果、逆行列を計算することになる。そのままでは計算困難なことも多いので、離散フーリエ変換を施し周波数空間上で計算を行い、再び実空間に戻す。これは、周波数空間上では逆行列演算が除算となることによる。ＲＬ法は、反復法により初期解から徐々に真の解へ収束させていくことにより、二乗誤差が最小となる復元画像を得る。いずれも望ましい復元結果を得るためには大規模な行列演算または繰り返しの反復演算を必要とし、計算量が増大する。

これに関し特許文献１には、劣化画像を復元する際の処理量を低減することを目的に、劣化画像中の局所領域に対応するフィルタ係数を用いて局所領域毎に演算する方法が提案されている。

特開２０１０−６１５４１号公報

特許文献１の技術によれば、劣化画像に対し復元処理のための演算回数を少なくし、また１画面の中で必要な部分のみを局所的に復元処理することができる。しかしながら、従来技術では画像劣化は画面内で一様に発生することを前提にしており、例えばレンズ特性により画像劣化の状態が画面内で異なる場合には、画面全体に渡り好適な復元処理を行うことはできなかった。また、画面全体に劣化が発生している画像に対しては、局所的な復元処理を繰り返すことになり、結局のところ、演算量の増大が避けられないことになる。

本発明は上記課題を鑑み、レンズ特性により画像劣化が画面内位置で異なる場合にも、各位置の劣化状態に応じて最適に復元処理を行うとともに、画面全体を対象に演算量を大幅に低減する画像処理装置及び画像処理方法を提供することを目的とする。

本発明は、劣化画像を復元処理する画像処理装置において、劣化画像をフィルタリング処理して復元処理対象画素ごとに点像分布フィルタ係数（以下、ＰＳＦ係数と称す）を求めるフィルタリング処理部と、該フィルタリング処理部で求めたＰＳＦ係数を用いて畳み込み演算を行うことで劣化画像から復元画像を得る劣化画像復元処理部を備え、前記フィルタリング処理部は、処理画面を所定サイズの格子で区切り各格子点位置での点像広がり関数の分散値を格納した分散値テーブルと、該分散値テーブルを参照して復元処理対象画素位置での分散値を補間法により求める分散値算出部と、分散値とＰＳＦ係数の対応関係を格納したＰＳＦ係数テーブルと、該ＰＳＦ係数テーブルを参照して復元処理対象画素の分散値に対応するＰＳＦ係数を出力するＰＳＦ係数算出部を有する。

さらに、前記フィルタリング処理部の有する前記分散値テーブルと前記ＰＳＦ係数テーブルには、前記分散値と前記ＰＳＦ係数の値を画面水平方向と画面垂直方向の成分に分けて格納し、前記ＰＳＦ係数算出部は、復元処理対象画素に対するＰＳＦ係数を水平方向成分と垂直方向成分に分けて出力するものであって、前記劣化画像復元処理部は、水平方向のＰＳＦ係数を用いて水平方向の畳み込み演算を行う水平コンボリューション処理部と、垂直方向のＰＳＦ係数を用いて垂直方向の畳み込み演算を行う垂直コンボリューション処理部を有する。

本発明によれば、レンズ特性により画像劣化が画面内位置で異なる場合にも、各位置の劣化状態に応じて最適に復元処理を行うとともに、画面全体を対象に演算量を大幅に低減する効果がある。

本発明の実施例１における画像処理装置の構成図。分散値テーブル２２ｈ，２２ｖに格納するデータの算出方法を示すフローチャート。分散値算出部２１ｈ，２１ｖにおけるターゲット画素の分散値算出方法を示す図。ＰＳＦ係数テーブル２４ｈ，２４ｖからターゲット画素に対応するＰＳＦ係数を選定する方法を示す図。ＰＳＦ係数を用いたコンボリューション処理部２７ｖ，２７ｈでの畳み込み演算処理方法を示す図。本実施例による画像復元処理の効果を示すイメージ図の一例。ターゲット画素の劣化分散値を算出する際の画面内格子の設定方法を示す図。実施例２における画像処理装置２の構成図。表示画面レイアウトとＰＳＦ係数の設定を示す図。実施例３における入力画像の歪みの補正方法を説明する図。実施例４における画像処理装置の構成図。実施例５における画像処理装置の構成図。

以下、本発明の実施形態について図面を用いて説明する。

図１は、本発明の実施例１における画像処理装置の構成図である。画像処理装置１は、被写体を撮像するカメラ部１０、カメラ部１０からの劣化画像を復元処理する劣化画像処理部２０、復元画像を表示処理する画像表示処理部３０、ディスプレイ等の表示部４０を備える。このようなシステムの適用例としては、監視カメラ装置、ムービー装置などがある。

カメラ部１０は、レンズ部１１と、レンズ部１１を介して入力された画像データを取り込む撮像部１２を有する。

劣化画像処理部２０は、フィルタリング処理回路２０ａと劣化画像復元処理回路２０ｂを備える。フィルタリング処理回路２０ａには、撮像部１２から入力するターゲット画素の水平方向の劣化分散値を求める水平分散値算出部２１ｈ、画面内代表点（格子点）における水平方向の劣化分散値を格納した水平座標分散値テーブル２２ｈ、ターゲット画素の水平方向の点像分布フィルタ係数であるＰＳＦ（Point Spread Function）係数を求める水平ＰＳＦ係数算出部２３ｈ、水平方向の劣化分散値とＰＳＦ係数との関係を格納した水平ＰＳＦ係数テーブル２４ｈを有する。

同様に、撮像部１２から入力するターゲット画素の垂直方向の劣化分散値を求める垂直分散値算出部２１ｖ、画面内代表点（格子点）における垂直方向の劣化分散値を格納した垂直座標分散値テーブル２２ｖ、ターゲット画素の垂直方向の点像分布フィルタ係数であるＰＳＦ係数を求める垂直ＰＳＦ係数算出部２３ｖ、垂直方向の劣化分散値とＰＳＦ係数との関係を格納した垂直ＰＳＦ係数テーブル２４ｖを有する。

劣化画像復元処理回路２０ｂには、垂直ＰＳＦ係数算出部２３ｖで選択された垂直方向ＰＳＦ係数と撮像部１２からの画像データを入力し、垂直方向に対し畳み込み演算を行う垂直コンボリューション処理部２７ｖ、水平ＰＳＦ係数算出部２３ｈで選択された水平方向ＰＳＦと垂直コンボリューション処理部２７ｖからの画像データを入力し、水平方向に対し畳み込み演算を行う水平コンボリューション処理部２７ｈ、水平コンボリューション処理部２７ｈより出力された垂直及び水平方向の畳み込み処理済み画像に対し、演算を行うアルゴリズム処理部２９を有する。

画像表示処理部３０は、アルゴリズム処理部２９より出力された復元画像を表示部４０で表示可能な形式に変換し、表示部４０は画像表示処理部３０からの出力画像を表示する。

次に、本実施例の画像処理装置１の動作の概要を説明する。
被写体をカメラ部１０で取り込んだ画像データは、劣化画像処理部２０の水平分散値算出部２１ｈ及び垂直分散値算出部２１ｖに入力される。水平分散値算出部２１ｈ及び垂直分散値算出部２１ｖは、それぞれ水平座標分散値テーブル２２ｈ及び垂直座標分散値テーブル２２ｖを参照し、入力画像データのターゲット画素の座標位置に隣接する近傍４隅の格子点におけるテーブルデータ（水平方向、垂直方向の劣化分散値）を選択する。そして、選択した４隅のテーブルデータを用いて補間処理を行うことでターゲット画素の劣化分散値を水平、垂直方向に求める。求めたターゲット画素の劣化分散値は、水平ＰＳＦ係数算出部２３ｈ及び垂直ＰＳＦ係数算出部２３ｖに入力される。水平ＰＳＦ係数算出部２３ｈ及び垂直ＰＳＦ係数算出部２３ｖでは、それぞれ水平ＰＳＦ係数テーブル２４ｈ及び垂直ＰＳＦ係数テーブル２４ｖを参照し、各々の分散値に対応するＰＳＦ係数を選択する。

垂直コンボリューション処理部２７ｖ、水平コンボリューション処理部２７ｈでは、選択された水平、垂直ＰＳＦ係数を用いて、カメラ部１０からの入力画像データに対し、順に畳み込み演算を実行する。さらにアルゴリズム処理部２９でアルゴリズムに従った演算処理を行うことで、入力画像データに対し画素単位での最適な劣化復元画像を得る。垂直コンボリューション処理部２７ｖ、水平コンボリューション処理部２７ｈ及びアルゴリズム処理部２９による劣化復元処理方法は、前記したRichardson-Lucy（ＲＬ法）アルゴリズムを採用する。

ＲＬ法アルゴリズムの演算式を（１）式に示す。（１）式においてカメラからの劣化画像をＧ（ｘ，ｙ）、原画像（復元画像）の推定画像をＦ_ｋ（ｘ，ｙ）、原画像から劣化画像に係る点像分布フィルタ係数（ＰＳＦ係数）をＳ（ｉ，ｊ）とした時に、（１）式を繰り返すことで原画像が復元される。

（１）式において、Ｓ（ｉ，ｊ）及びＳ（−ｉ，−ｊ）部は水平ＰＳＦ係数算出部２３ｈ及び垂直ＰＳＦ係数算出部２３ｖで算出される。Ｆｋ（ｘ，ｙ）＊Ｓ（ｉ，ｊ）の演算部分は、垂直コンボリューション処理部２７ｖ及び水平コンボリューション処理部２７ｈで演算し、その他の演算部分はアルゴリズム処理部２９で演算する。前記Ｆｋ（ｘ，ｙ）＊Ｓ（ｉ，ｊ）の初回コンボリューション処理において推定画像Ｆ_ｋ（ｘ，ｙ）部分は劣化画像Ｇ（ｘ，ｙ）を用いる。

本実施例では、画面全体を所定間隔の格子状に区切り、任意の位置の劣化復元ターゲット画素に対し近傍４隅の格子点の劣化分散値からターゲット画素の劣化分散値を求め、この分散値を入力としてＰＳＦ係数テーブルから対応するフィルタ係数を選択し、これを用いて劣化復元処理を行う。この処理を画面内全画素に対して実施することで、レンズの特性により画面位置毎に劣化状態が異なる場合であっても、画面全体に渡り最適な復元画像を得るものである。

また劣化復元のための処理量を軽減するため、劣化分散値を代表点である格子点のみでテーブルに保持し、ＰＳＦ係数を直交する２軸方向（水平、垂直方向）成分のみでテーブルに格納する。入力される劣化画像の座標位置を基に最適なＰＳＦ係数を選択し、該ＰＳＦ係数を用いて２軸方向の畳み込み演算を行うことで、処理量を大幅に低減するものである。

すなわち本実施例の画像復元処理法では、次の手法を取り入れたことに特徴がある。
（イ）画面内の各位置における劣化状態（ＰＳＦ係数）を求め、劣化画像の復元処理に使用する。
（ロ）画面内の劣化状態は代表となる格子点のデータを予め求めてテーブル（分散値テーブル）に格納し、各画素位置でのデータは格子点のデータから補間して求める。
（ハ）テーブルには各格子点での分散値を格納し、分散値を介してＰＳＦテーブルからＰＳＦ係数を読み出す。
（ニ）コンボリューション演算はターゲット画素に対して直交する２軸方向のみで行う。
以下、これらの各手法について詳細に説明する。

図２は、水平座標分散値テーブル２２ｈ及び垂直座標分散値テーブル２２ｖに格納するテーブルデータの算出方法を示すフローチャートである。まず、使用するカメラで評価用被写体となるランダムチャートを撮影する（Ｓ１０１）。ランダムチャートとは周波数帯域が低域から高域まで幅広い特性を備えたチャートを意味し、規則性のないランダムなノイズの影響を受けずにレンズ特性による画面内劣化分布（点像分布特性）を正確に取得することが可能である。次に、画面内を複数個の画素を含むように任意の間隔の格子で区切り、撮影したランダムチャートを高速フーリエ変換（ＦＦＴ）して各格子点座標での周波数特性を求める（Ｓ１０２）。格子点毎に求めた周波数特性から、水平方向及び垂直方向のＰＳＦ（Point Spread Function）係数を導出する（Ｓ１０３）。

次に導出したＰＳＦ係数を正規分布に近似化し、水平方向及び垂直方向の分散値σを算出する（Ｓ１０４）。算出した分散値σを前記任意に設定した格子点の劣化分散値として、前記水平座標分散値テーブル２２ｈ、垂直座標分散値テーブル２２ｖに格納する（Ｓ１０５）。従って、前記水平座標分散値テーブル２２ｈ及び垂直座標分散値テーブル２２ｖに格納する各分散値の数は、画面内を区切る際の格子のサイズに依存し、格子点数に比例することになる。

なお、劣化分散値の算出手法としては、パーソナルコンピュータ（ＰＣ）を用いたソフトウェアによるポスト処理、ハードウェア化による処理のいずれの手法でも実施できる。

図３は、水平劣化分散値算出部２１ｈ及び垂直劣化分散値算出部２１ｖにおけるターゲット画素の分散値算出方法を示す図である。水平及び垂直方向ともにテーブル分散値の補間方法は同じであり、以下水平方向について説明する。

図３（ａ）において、ターゲット画素（Ｍ）の座標位置を（ｍ，ｎ）とする。水平座標分散値テーブル２２ｈから、ターゲット画素（Ｍ）を取り囲む近傍４隅の格子点の分散値を選出する。ここではターゲット画素（Ｍ）に対し４隅の格子点の水平方向の距離をｄとした場合、右下格子点基準座標（ｉ，ｊ）とすると、左上格子点は（ｉ−ｄ、ｊ−ｄ）、右上格子点は（ｉ、ｊ−ｄ）、左下格子点は（ｉ−ｄ、ｊ）を各々選出したものとする。上記４隅の座標の劣化分散値から、ターゲット画素の劣化分散値を補間法により求める。ここでは計算の容易な線形補間手法を例に説明する。

図３（ｂ）は、水平方向の一次元線形補間方法を示す。距離ｄは２つの格子点（ここではａ_１、ａ_２とする）間の距離、距離ｘは基準格子（ここではａ_１とする）からターゲット画素（ここではａ_ｎとする）までの距離を示す。線形補間により求められるターゲット画素の分散値を（２）式に示す。

（２）式では、基準となる分散値（ここではａ_１）に、２点間の分散値差分（ａ_２−ａ_１）にａ_１〜ａ_ｎ間の距離ｘとａ_１〜ａ_２間の距離ｄの比（ｘ／ｄ）を乗算した値を加算してターゲット画素ａ_ｎの分散値を求めることができる。

図４は、水平ＰＳＦ係数テーブル２４ｈ及び垂直ＰＳＦ係数テーブル２４ｖからターゲット画素に対応するＰＳＦ係数を選定する方法を示す図である。水平及び垂直方向ともに同じ手法であり、ここでは水平方向を例に説明する。水平ＰＳＦ係数テーブル２４ｈ及び垂直ＰＳＦ係数テーブル２４ｖには、レンズ特性による劣化強度に比例して劣化の復元に必要なＰＳＦ係数を格納している。

図４（ａ）は、水平分散値算出部２１ｈより出力される分散値をアドレスとして水平ＰＳＦ係数テーブル２４ｈから水平方向のＰＳＦ係数を選定する動作を示す。図４（ａ）では、分散値の低い値から高い値に向けて対応するＰＳＦ係数の例（ここでは９項の数列）を示している。分散値が高いほど点像分布特性が広がる（すなわち画像のボケが大きくなる）ＰＳＦ係数を選定するようになっている。

図４（ｂ）と図４（ｃ）は、典型的なＰＳＦ係数の強度と点像広がりの特性図である。（ｂ）は分散値が比較的小さい例を示し、分散値０．７７に対しＰＳＦ係数Ａを選定した場合である。この場合、点像広がり（ボケ具合）が比較的小さいため中心に強い強度を示し、周囲への広がりの少ない特性となる。一方（ｃ）は分散値が比較的大きい例を示し、分散値０．９９に対しＰＳＦ係数Ｂを選定した場合である。この場合、点像広がり（ボケ具合）が比較的大きいため中心の強度が低く、周囲への広がりの多い特性となる。

図５は、選定されたＰＳＦ係数を用いて、垂直コンボリューション処理部２７ｖと水平コンボリューション処理部２７ｈでの畳み込み演算処理方法を示す図である。ここではＰＳＦサイズは５ｘ５とし、ＰＳＦの特性がターゲット画素に対し点対称であることから対称領域での繰返し演算を省略している。

図５（ａ）は一般的なコンボリューション（畳み込み演算）処理の場合で、２次元処理に必要な乗算回路数を示す。この場合、ターゲット画素の演算に必要な周囲画素はターゲット画素を含め３ｘ３＝９画素となる。従って演算には９個の乗算回路を必要とする。

図５（ｂ）は本実施例によるコンボリューション処理の場合で、直交する２軸方向のみの演算とし必要な乗算回路数が減少することを示す。まず垂直方向については、ターゲット画素（Ｒｏｗ３）の演算に必要な周囲画素はターゲット画素を含む３画素（Ｒｏｗ１、Ｒｏｗ２及びＲｏｗ３）となる。よって、これらの３画素を用いて垂直方向（Ｒｏｗ方向）の畳み込み演算処理を行い、その処理結果を用いて水平方向（Ｃｏｌ方向）の処理を行う。水平方向についてもターゲット画素（Ｃｏｌ３）の演算に必要な周囲画素はターゲット画素を含む３画素（Ｃｏｌ１、Ｃｏｌ２及びＣｏｌ３）となる。従って本実施例によるコンボリューション処理方法では、垂直方向と水平方向に合わせて６個の乗算回路で対応できることになり、一般的な２次元処理に比べ約２／３の回路規模で実現することができる。

上記演算ではターゲット画素に対して斜め方向の演算を省略しているが、隣接画素間では点像分布特性（ＰＳＦ特性）がほとんど変わらないため、一般的な２次元演算処理とほぼ等価な精度性能を得ることができる。

以上述べた各処理手段は、ＬＳＩ（Large Scale Integration）やＦＰＧＡ（Field-Programmable Gate Array）などを用いたハードウェア処理とともに、一般的なパーソナルコンピュータ（ＰＣ）上でソフトウェア処理により実現できる。

図６は、本実施例による画像復元処理の効果を示すイメージ図の一例である。カメラ部１０のレンズ部１１として広角レンズを採用した際に、レンズ特性により撮影画像が劣化した場合を示したものである。（ａ）は劣化した原画像、（ｂ）（ｃ）は従来法による復元処理画像、（ｄ）は本実施例による復元処理画像を示す。一般に広角レンズを用いて取得した撮影画像では、図６（ａ）に示すように画面の中央部での劣化は少ないが、中心から離れるほどレンズ部１１の収差特性により劣化は大きくなり、画面の周辺ではボケ具合が大きくなる。

図６（ｂ）（ｃ）は、図６（ａ）の劣化画像に対し従来法により面内一様に同じＰＳＦ係数を用いて劣化復元処理を実施した場合のイメージ図である。図６（ｂ）は、画面の中央部の劣化（ボケ具合）に合わせてＰＳＦ係数を設定した際の復元処理結果である。この場合、画面中央部は最適なＰＳＦ係数での処理となるため鮮明な高画質を得ることができるが、画面周辺部に対しては前記設定したＰＳＦ係数では過小となるためボケ感の残った画像となる。

一方図６（ｃ）は、画面の周辺部の劣化（ボケ具合）に合わせてＰＳＦ係数を設定した際の復元処理結果である。この場合、画面周辺部は最適なＰＳＦ係数での処理となるため鮮明な高画質を得ることができるが、画面中央部に対しては前記設定したＰＳＦ係数は過大となるためリンギング、シュートなどの過補正による弊害を伴った画像となる。

図６（ｄ）は、本実施例による画素毎に最適なＰＳＦ係数を用いて劣化復元処理を実施した際のイメージ図である。すなわち、予め取得した各格子点の劣化状態（分散値）を用いて画素毎の分散値を補間法により求め、求めた分散値より画素毎にＰＳＦ係数を選定している。そのため図６（ｂ）や図６（ｃ）での不具合を解決し、画面全体に渡り鮮明で高画質な画像を得ることが可能である。

図７は、ターゲット画素の劣化分散値を算出する際の画面内格子の設定方法を示す図である。
図７（ａ）は、画面内を間隔が均一な格子で区切る場合である。この設定は、画面内で劣化量が均一、あるいは画面内座標位置に対して劣化量（ボケ量）が直線的に変化する場合に好適であり、全ての格子間隔を均一としても補間誤差はほぼ発生しない。しかし、補間処理では２つの格子点の劣化分散値を使い、近似的にターゲット画素の劣化分散値を求めるため、画面内で劣化量が非直線的に変化すると真の劣化分散値との間で誤差が生じる場合がある。特に演算が容易な直線補間法では誤差が大きくなる可能性がある。そこで、画面内の劣化量の分布に応じて格子の間隔を可変にすることで補間誤差を極力抑えるようにする。

図７（ｂ）は、画面中央部の劣化量の変化（勾配）は小さく、周辺部になるほど劣化量の変化（勾配）が大きい場合に好適な格子間隔の設定例を示す。この場合、画面中央部では格子間隔を広げ、周辺部では格子間隔を狭くするようにする。中央部では隣接する２つの格子点の劣化分散値は近い値となっているため直線補間をしても近似誤差はほとんど発生しない。一方周辺部では、僅かな座標の違いに対して劣化分散値が大きく異なるため（勾配が大）、格子間隔をできる限り狭くして隣接する２つの格子の劣化分散値の差を小さくすることで、補間処理による近似誤差を小さくするようにした。

図７（ｃ）は、画面中央部の劣化量の変化が大きく、周辺部になるほど劣化量の変化が小さい場合に好適な格子間隔の設定例を示す。この場合、画面中央部では格子間隔を狭く、周辺部では格子間隔を広くするようにする。この場合の動作は、前記図７（ｂ）の場合と逆の状態となる。このように、画像の劣化状態に応じて劣化分散値の取得位置（格子点）をずらすことで、水平座標分散値テーブル２２ｈ及び垂直座標分散値テーブル２２ｖの保持データ量を増やすことなく、最適な劣化復元処理を実現することができる。

第２の実施例は、劣化した画像を復元するだけでなく、特定の画像部分に対しては意図的に画像を劣化させ、視認不可能とする機能を付加したものである。このような実施例の適用例としては、ｗｅｂコンテンツなどにおいてプライバシーを保護するため、定型書式の特定部分の画像を劣化させる場合に有効である。

図８は、実施例２における画像処理装置２の構成図である。本実施例では、前記実施例１（図１）の構成に対しセレクタ回路５０を設け、アルゴリズム処理部２９からの出力画像データ５１と水平コンボリューション処理部２７ｈからの出力画像データ５２とをセレクタ回路５０で選択し、画像表示処理部３０に出力するようにしたものである。すなわち、入力画像を劣化させる場合には、水平コンボリューション処理部２７ｈによる畳み込み演算処理結果５２を直接画像表示処理部３０に出力するようセレクタ回路５０を制御する。その際、水平コンボリューション処理部２７ｈで使用するＰＳＦ係数には後述するように点像広がり（ボケ具合）が大きくなるような係数を選択する。すなわち、中心の強度が低く周囲への広がりの多い特性のＰＳＦ係数で畳み込み演算処理を行うことで、処理結果は画像ボケを大きくし、入力画像データで視認できていた画像を視認不可能とするものである。

図９は、表示画面レイアウトとＰＳＦ係数の設定を示す図である。
図９（ａ）は表示画面の全体レイアウトを示し、領域８１は劣化画像を復元して表示させる部分であり、領域８２は逆に意図的に画像を劣化させて表示させる部分である。領域８２を設けることで、表示するコンテンツの一部に人物写真などプライバシー保護を必要とする情報が含まれる場合、許可された関係者以外の第３者が視認できないようにすることができる。定型書式の場合、画面の座標指定においてプライバシー保護を必要とする領域８２を判別できる。この領域８２に限定して意図的に画像を劣化する処理を施し、他の領域８１については劣化した画像の復元処理を施すようにする。

図９（ｂ）は劣化処理対象格子位置を示す。前記した画像劣化表示領域８２を取り囲むように、劣化処理対象格子点９０（黒丸で示す）を設定する。そして水平座標分散値テーブル２２ｈには、劣化処理対象格子点９０に対する劣化分散値として同一の特殊な値（例えば１．００）を設定する。画像劣化表示領域８２においてターゲット画素の分散値を求めるとき、水平座標分散値テーブル２２ｈに格納されている劣化処理対象格子点９０の分散値を用いて補間する。その際、劣化処理対象格子点９０に対する分散値は全て特殊な値（１．００）であり、画像劣化表示領域８２内のターゲット画素の分散値はいずれも１．００となる。

図９（ｃ）はターゲット画素の分散値からＰＳＦ係数を選定する方法を示す。ここでは、水平方向のＰＳＦ係数の選定を説明する。水平座標分散値テーブル２２ｈを参照して特殊な値の分散値１．００が入力された場合、前記水平ＰＳＦテーブル２４ｈの最終アドレス（１．００）が対応する。この最終アドレスには、通常の劣化復元用のＰＳＦ係数とは異なる意図的に劣化させるＰＳＦ係数を格納している。すなわち、前記図４（ｃ）に示したような、もしくはそれ以上に点像広がり（ボケ具合）が大きくなるようなＰＳＦ係数を選定させる。このようなＰＳＦ係数で畳み込み演算処理を行う結果、画像ボケが大きくなり、画像劣化表示領域８２の画像を視認不可能とすることができる。

なお、上記により意図的に劣化させた画像を復元するには、前記実施例１で説明した動作を行えばよい。すなわち、劣化画像を劣化画像処理部２０に入力し、水平コンボリューション処理部２７ｈによる畳み込み演算結果をアルゴリズム処理部２９で処理し、アルゴリズム処理部２９からの出力画像データ５１を画像表示処理部３０に出力するようセレクタ回路５０を制御する。これによりシステム全体の動作は前記（１）式に示したＲＬ法アルゴリズムによる処理となり、意図的に劣化させた画像の復元がなされる。

従って、情報提供者が指定領域の画像を視認不可能な状態で送信する場合には、セレクタ回路５０を水平コンボリューション処理部２７ｈからの出力画像データ５２を選択するように制御し、情報受信者が劣化画像を視認できるように復元する場合には、セレクタ回路５０をアルゴリズム処理部２９からの出力画像データ５１を選択するよう制御すればよい。これにより、プライバシー情報などが伝送途中で第３者により視認されることを防止することができる。

第３の実施例は、劣化した画像を復元するだけでなく、入力画像の歪みを補正する機能を付加したものである。

図１０は、実施例３における入力画像の歪みの補正方法を説明する図であり、歪補正のために前記実施例１（図４）におけるＰＳＦ係数の導出方法を応用している。
図１０（ａ）は歪み画像を示し、カメラ部１０に搭載したレンズ部１１の特性により撮影した画像にボケとともに歪みが発生している状態を示す。ここでは、画面中央部に対し周辺部に向かうほど、ボケ量及び樽型歪みが大きくなる状態を示す。このボケ量と樽型歪みを補正する方法として、劣化画像復元のアルゴリズムを応用する。

まず、実施例１における劣化画像復元時のＰＳＦ係数導出計算式を（３）式に示す。

（３）式はガウス分布による正規化でのＰＳＦ係数導出計算式であり、ｋは正規化係数、ΔｘはＰＳＦ中心座標からの距離、σは分散値を各々示す。

図１０（ｃ）は（３）式によるＰＳＦ分布イメージを示す。レンズ部１１の特性による点像の広がりを表わしているが、ＰＳＦ係数分布の重心座標は正規分布の中心座標と一致している。すなわち（３）式は、レンズ部１１の特性によるボケ量を反映しボケ改善が可能であるが、歪み特性は含まれていない。

歪み特性の導入による歪みの補正は、ＰＳＦ係数分布の重心を移動操作することで実現する。この操作は、ＰＳＦ係数算出部にて行う。（３）式を変形し、ＰＳＦ係数分布の重心移動を考慮したＰＳＦ係数導出計算式を（４）式に示す。

（４）式では水平、垂直方向各々についてのＰＳＦ係数導出計算式を示し、ｋｍ、ｋｎは正規化係数、Δｘ、ΔｙはＰＳＦ中心座標、ｉ、ｊは分布の重心、σｍ、σｎは分散値を各々示す。（４）式では、歪み量に合わせて分布の重心ｉ、ｊを付加し、これに伴いＰＳＦ係数分布の重心を正規分布の中心からずらすことで歪み補正を可能にしている。

図１０（ｄ）は（４）式によるＰＳＦ分布イメージを示す。前記図１０（ｃ）と比較すると、ＰＳＦ係数分布重心は水平方向にｉだけ、垂直方向にｊだけずれている。

図１０（ｂ）は、図１０（ａ）の画像に対し図１０（ｄ）のＰＳＦ係数を用いて劣化復元処理を施した結果の画像イメージ図である。レンズ部１１の特性によるボケの改善に加え、歪み補正についても効果のあることを示している。

第４の実施例は、画像処理装置において復元処理した画像を表示するだけでなく、復元処理後の画像データをデータ蓄積装置に保存する機能を有するものである。このようなシステムの例として、監視記録装置などが挙げられる。

図１１は、実施例４における画像処理装置の構成図である。画像処理装置４は、劣化復元画像を表示する表示部４０とともに、処理画像データを保存するデータ蓄積装置６５を設けている。データ蓄積装置６５は例えばハードディスク装置（ＨＤＤ装置）であり、さらに、表示用と保存用の画像データを生成する画像処理部６１、ＣＰＵ６２、システムバス６３、データ蓄積制御部６４を追加している。他の構成は実施例１（図１）と同様である。

実施例１と同様、カメラ部１０からの撮影画像は、劣化画像処理部２０にて劣化復元処理がなされる。そして劣化復元画像は、画像処理部６１において表示可能な形式に変換後、表示部４０で表示される。また画像処理部６１は、劣化復元画像をＣＰＵ６２のシステムバス６３にも出力する。システムバス６３に接続されたデータ蓄積制御部６４は、劣化復元画像をＨＤＤなどのデータ蓄積装置６５に保存可能なデータ形式へ変換し、データ蓄積装置６５に保存する。このようにして、劣化画像処理部２０で劣化復元処理された画像は表示部４０での表示とデータ蓄積装置６５での保存を独立に、もしくは同時に実現することが可能である。

さらに、データ蓄積装置６５に保存されている画像データを読み出して、劣化画像処理部２０で劣化復元処理を行うこと、また劣化復元された画像を表示部４０で表示しデータ蓄積装置６５に再び保存することも可能である。従って、カメラ部１０が搭載されていないシステムにおいても、データ蓄積装置６５に保存されている画像データを用いて、劣化画像処理部２０での劣化復元処理が実行できる。

第５の実施例は、画像処理装置において復元処理した画像を表示、保存するだけでなく、復元処理後の画像データをネットワークによりシステム間でデータ伝送する機能を有するものである。このようなシステムの例として、カメラ付携帯電話などが挙げられる。

図１２は、実施例５における画像処理装置の構成図である。画像処理装置５は、劣化復元画像を表示する表示部４０、処理画像データを保存するデータ蓄積装置６５とともに、処理画像データを送受信するために有線網伝送制御部７１、有線データ送受信部７２、無線網伝送制御部７３、無線データ送受信部７４を設けている。他の構成は実施例１（図１）または実施例４（図１１）と同様である。

カメラ部１０からの撮影画像、もしくはデータ蓄積装置６５に保存された画像データを劣化画像処理部２０で劣化復元処理を実施する。劣化復元画像は、表示部４０で表示、もしくはデータ蓄積装置６５で保存する。さらに劣化復元画像を、システムバス６３を介して有線網伝送制御部７１に送り、有線データ送受信部７２より有線ネットワーク網を使い他のシステムに伝送する。有線ネットワーク網を用いたシステム例として、民生用に普及しているストレージ装置（ハードディスクレコーダ装置）などがある。あるいは劣化復元画像を、システムバス６３を介して無線網伝送制御部７３に送り、無線データ送受信部７４より無線ネットワーク網を使い他のシステムに伝送する。無線ネットワーク網を用いたシステム例として携帯電話などがある。カメラ付携帯電話であれば、カメラで撮影した画像データを携帯電話内部で劣化復元処理を実施し、劣化復元後の画像データを携帯電話の無線伝送機能を利用して他のシステムに伝送することが可能になる。

以上のように、本発明はカメラで撮影した画像データに対し、カメラに搭載されたレンズの収差特性などに起因する画像ボケや歪みなどの劣化を復元し、もしくはセキュリティ用途に意図的に劣化させるものである。従って本発明は、実施例１及び実施例４に示した監視カメラ装置、監視記録装置、ムービー装置、実施例２に示した画像配信システム、実施例５に示したストレージ装置、携帯電話など、様々な用途への適用が可能である。あるいは、画像処理装置の機能を各実施例で示した劣化画像処理部２０に限定したでものであっても良いことは言うまでもない。

１，２，４，５…画像処理装置、
１０…カメラ部、
１１…レンズ部、
１２…撮像部、
２０…劣化画像処理部、
２０ａ…フィルタリング処理回路、
２０ｂ…劣化画像復元処理回路、
２１ｈ…水平分散値算出部、
２１ｖ…垂直分散値算出部、
２２ｈ…水平座標分散値テーブル、
２２ｖ…垂直座標分散値テーブル、
２３ｈ…水平ＰＳＦ係数算出部、
２３ｖ…垂直ＰＳＦ係数算出部、
２４ｈ…水平ＰＳＦ係数テーブル、
２４ｖ…垂直ＰＳＦ係数テーブル、
２７ｈ…水平コンボリューション処理部、
２７ｖ…垂直コンボリューション処理部、
２９…アルゴリズム処理部、
３０…画像表示処理部、
４０…表示部、
５０…セレクタ回路、
６１…画像処理部、
６２…ＣＰＵ、
６３…システムバス、
６４…データ蓄積制御部、
６５…データ蓄積装置、
７１…有線網伝送制御部、
７２…有線データ送受信部、
７３…無線網伝送制御部、
７４…無線データ送受信部、
８１…劣化画像を復元する領域、
８２…意図的に画像を劣化させる領域、
９０…劣化処理対象格子点。

Claims

劣化画像を復元処理する画像処理装置において、
劣化画像をフィルタリング処理して復元処理対象画素ごとに点像分布フィルタ係数（以下、ＰＳＦ係数と称す）を求めるフィルタリング処理部と、
該フィルタリング処理部で求めたＰＳＦ係数を用いて前記劣化画像に畳み込み演算を行い、畳み込み演算により得た画像を復元画像とする劣化画像復元処理部を備え、
前記フィルタリング処理部は、
処理画面を所定サイズの格子で区切り各格子点位置での点像広がり関数の分散値を格納した分散値テーブルと、
該分散値テーブルを参照して復元処理対象画素位置での分散値を補間法により求める分散値算出部と、
分散値とＰＳＦ係数の対応関係を格納したＰＳＦ係数テーブルと、
該ＰＳＦ係数テーブルを参照して復元処理対象画素の分散値に対応するＰＳＦ係数を出力するＰＳＦ係数算出部を有することを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記フィルタリング処理部の有する前記分散値テーブルと前記ＰＳＦ係数テーブルには、前記分散値と前記ＰＳＦ係数の値を画面水平方向と画面垂直方向の成分に分けて格納し、前記ＰＳＦ係数算出部は、復元処理対象画素に対するＰＳＦ係数を水平方向成分と垂直方向成分に分けて出力するものであって、
前記劣化画像復元処理部は、水平方向のＰＳＦ係数を用いて水平方向の畳み込み演算を行う水平コンボリューション処理部と、垂直方向のＰＳＦ係数を用いて垂直方向の畳み込み演算を行う垂直コンボリューション処理部を有することを特徴とする画像処理装置。
請求項１または２に記載の画像処理装置において、
前記分散値テーブルに格納する分散値は、入力画像を撮影したカメラでランダムチャートを撮影し、撮影データをフーリエ変換して前記格子点ごとの点像広がり関数を求め、これを正規分布で近似したときの分散値であることを特徴とする画像処理装置。
請求項１または２に記載の画像処理装置において、
前記分散値算出部は前記分散値テーブルを参照し、前記復元処理対象画素を囲む近傍４隅の格子点の分散値を読出し、線形補間処理により復元処理対象画素の分散値を求めることを特徴とする画像処理装置。
請求項１または２に記載の画像処理装置において、
当該装置の出力画像として、前記劣化画像復元処理部からの復元画像と、該劣化画像復元処理部における畳み込み演算後の劣化画像のいずれを出力するかを選択するセレクタ回路を有し、
該セレクタ回路により劣化画像を選択するときは、前記分散値テーブルにおいて劣化画像を出力する領域の格子点の分散値に特定値を設定するとともに、前記ＰＳＦ係数テーブルにおいて分散値が特定値の場合に点像広がりの大きい特定のＰＳＦ係数を対応させたことを特徴とする画像処理装置。
請求項１または２に記載の画像処理装置において、
前記ＰＳＦ係数算出部は、前記ＰＳＦ係数テーブルを参照して取得したＰＳＦ係数を正規化し、その正規分布の中心座標をカメラのレンズの歪み量に相当する分だけ移動することでＰＳＦ係数を修正し、
前記劣化画像復元処理部は、修正されたＰＳＦ係数を用いて畳み込み演算を行うことで復元画像を得ることを特徴とする画像処理装置。
劣化画像を復元処理する画像処理方法において、
劣化画像をフィルタリング処理して復元処理対象画素ごとに点像分布フィルタ係数（以下、ＰＳＦ係数と称す）を求めるフィルタリング処理ステップと、
該フィルタリング処理ステップで求めたＰＳＦ係数を用いて前記劣化画像に畳み込み演算を行い、畳み込み演算により得た画像を復元画像とする劣化画像復元処理ステップを備え、
前記フィルタリング処理ステップは、
予め、処理画面を所定サイズの格子で区切り各格子点位置での点像広がり関数の分散値を格納した分散値テーブルを作成するステップと、
予め、分散値とＰＳＦ係数の対応関係を格納したＰＳＦ係数テーブルを作成するステップと、
前記分散値テーブルを参照して復元処理対象画素位置での分散値を補間法により求める分散値算出ステップと、
前記ＰＳＦ係数テーブルを参照して復元処理対象画素の分散値に対応するＰＳＦ係数を出力するＰＳＦ係数算出ステップを有することを特徴とする画像処理方法。
請求項７に記載の画像処理方法において、
前記分散値テーブルと前記ＰＳＦ係数テーブルを作成するステップでは、前記分散値と前記ＰＳＦ係数の値を画面水平方向と画面垂直方向の成分に分けて格納し、
前記ＰＳＦ係数算出ステップでは、復元処理対象画素に対するＰＳＦ係数を水平方向成分と垂直方向成分に分けて出力し、
前記劣化画像復元処理ステップでは、水平方向のＰＳＦ係数を用いて水平方向の畳み込み演算を行う水平コンボリューション処理ステップと、垂直方向のＰＳＦ係数を用いて垂直方向の畳み込み演算を行う垂直コンボリューション処理ステップを有することを特徴とする画像処理方法。
請求項７または８に記載の画像処理方法において、
前記分散値テーブルを作成するステップでは、入力画像を撮影したカメラでランダムチャートを撮影し、撮影データをフーリエ変換して前記格子点ごとの点像広がり関数を求め、これを正規分布で近似したときの分散値を格納することを特徴とする画像処理方法。
請求項７または８に記載の画像処理方法において、
前記分散値算出ステップでは、前記分散値テーブルを参照し、前記復元処理対象画素を囲む近傍４隅の格子点の分散値を読出し、線形補間処理により復元処理対象画素の分散値を求めることを特徴とする画像処理方法。