WO2006117844A1

WO2006117844A1 - 画像処理装置、画像処理方法、及び情報端末装置

Info

Publication number: WO2006117844A1
Application number: PCT/JP2005/007999
Authority: WO
Inventors: Tomonori Fukuta; Junko Shinohara; Naoyuki Fujiyama; Yoshiko Hatano; Tetsuya Kuno
Original assignee: Mitsubishi Denki Kabushiki Kaisha
Priority date: 2005-04-27
Filing date: 2005-04-27
Publication date: 2006-11-09
Also published as: US20130010142A1; EP1876564B1; US20100060745A1; EP1876564A4; JPWO2006117844A1; US8542283B2; JP3959547B2; EP1876564A1; US8319840B2

Abstract

課題　リンギング等のノイズを低減した、画質のよい画像を得る。解決手段　　入力画像に対してぶれ補正処理を行う画像補正手段と、ぶれ補正処理後の補正画像の特徴を検出する補正画像特徴検出手段と、特徴が検出された特徴検出補正画像に基づいて選択情報を出力する第１の特徴判定手段と、前記選択情報に基づいて、前記入力画像または前記補正画像のいずれか一方を出力する画像出力手段を備えることとした。これにより、ノイズを低減した画質のよい画像を得ることが可能となる。

Description

明細書

画像処理装置、画像処理方法、及び情報端末装置

技術分野

[0001] 本発明は、撮像時の手ぶれや撮像系自体が動いたことによるぶれ等の影響を低減する画像処理装置及び画像処理方法に関するものである。本発明は、例えば、携帯電話装置や PDA (Personal Digital Assistant)等の情報端末装置に搭載される撮像装置や、デジタルスチルカメラ、デジタルムービーカメラ等に適応可能である。背景技術

[0002] 従来より、銀塩フィルムカメラやデジタルスチルカメラを手で持って被写体を撮影すると、手ぶれなどによりカメラが振れ、撮像画像が手ぶれ方向に流れた劣化を受ける現象が知られている。

[0003] このような、ぶれによる画像劣化を補正するために、光学系を駆動して撮像を行い、ぶれを低減する方法や、角速度センサ等により求めた手ぶれ量を用いて画像処理を行い、ぶれを低減する方法が提案されている（例えば、特許文献 1)。

[0004] 特許文献 1 :特開平 6— 27512号公報 (第 7頁、第 1図）

発明の開示

発明が解決しょうとする課題

[0005] しかし、画像処理によるぶれ補正の方法では、補正画像にリンギング等のノイズが発生し、画質がより劣化する場合がある。特に、ぶれ量が大きい画像を画像処理した場合、このような劣化は顕著となる。本発明は、このような問題に鑑みてなされたものであり、画像処理によりぶれ補正を行う画像処理装置において、ノイズが低減された画像を得ることを目的としてヽる。

課題を解決するための手段

[0006] 本発明に係る画像処理装置は、

入力画像に対してぶれ補正処理を行う画像補正手段と、

ぶれ補正処理後の補正画像の特徴を検出する補正画像特徴検出手段と、前記検出結果に基づいて、前記入力画像または前記補正画像のいずれか一方を出力する画像出力手段と

を備えることとしたものである。

発明の効果

[0007] 本発明によれば、リンギング等のノイズが低減された画像を得ることができる。

図面の簡単な説明

[0008] [図 1]この発明の実施の形態 1に係る画像処理装置の構成を示すブロック図である。

[図 2]画像の水平方向のエッジ成分を示す図である。

[図 3]画像の垂直方向のエッジ成分を示す図である。

[図 4]エッジ検出補正画像の分布を示す図である。

[図 5]この発明の実施の形態 2に係る画像処理装置の構成を示すブロック図である。

[図 6]エッジ検出入力画像の分布を示す図である。

[図 7]この発明の実施の形態 3に係る画像処理装置の構成を示すブロック図である。

[図 8]この発明の実施の形態 4に係る画像処理装置の構成を示すブロック図である。符号の説明

[0009] 10、 20、 30、 40 画像処理装置、 101 入力画像用フレームメモリ、 102 画像補正手段、 103 補正画像用フレームメモリ、 104 補正画像エッジ検出手段、 105 第 1のエッジ判定手段、 106 画像出力手段、 204 入力画像エッジ検出手段、 205 第 2のエッジ判定手段、 307 第 1の選択情報変更手段、 407 第 2 の選択情報変更手段、 408 第 1のゲインコントローラ、 409 第 2のゲインコント口ーラ、 411 加算器。

発明を実施するための最良の形態

[0010] 実施の形態 1.

以下、この発明をその実施の形態を示す図に基づいて詳細に説明する。

[0011] 実施の形態 1に係る画像処理装置 10は、入力画像を画像処理した補正画像の情報に基づいて、入力画像カゝ補正画像のいずれか一方を選択して出力することにより

、画像処理により発生したリンギング等を低減する。

[0012] すなわち、入力画像には、ぶれが発生している可能性がある。一方、入力画像を画像処理した補正画像は、ぶれは低減されている力画像処理によりリンギング等のノィズが発生している可能性がある。本実施の形態に係る画像処理装置は、補正画像においてノイズが発生していると判定された画素を入力画像の画素に置き換え、出力画像のノイズを低減する。

[0013] 図 1は、実施の形態 1に係る画像処理装置 10の構成を示すブロック図である。図 1 において、まず、カメラもしくは撮像素子等力も得られる入力画像力入力画像用フレームメモリ 101に入力され、保存される。次に、入力画像用フレームメモリ 101から出力された入力画像が画像補正手段 102に入力され、画像補正手段 102においてぶれ補正の画像処理が行われる。なお、画像補正手段 102の画像補正アルゴリズムについては後述する。

[0014] 画像補正手段 102で補正処理された画像 (以下、「補正画像」と記す。 )は、補正画像用フレームメモリ 103に入力され、保存される。さらに、補正画像用フレームメモリ 1 03から出力された補正画像は、補正画像エッジ検出手段 104に入力され、補正画像エッジ検出手段 104において補正画像のエッジ成分が検出される。なお、補正画像エッジ検出手段 104におけるエッジ検出処理については後述する。

[0015] エッジ成分が検出された補正画像 (以下、「エッジ検出補正画像」と記す。）は、第 1 のエッジ判定手段 105に入力される。第 1のエッジ判定手段 105は、エッジ検出補正画像の情報基づいて、画像本来のエッジ部である力、画像本来のエッジではない擬似的なエッジ等のノイズである力否かを画素毎に判定し、判定結果を画像出力手段 106に出力する。なお、画像本来のエッジ部でないと判定された画素は、絵柄の構成部である場合や、絵柄内の平坦部である場合も考えられる。第 1のエッジ判定手段 105におけるエッジ判定処理についても後述する。

[0016] 画像出力手段 106は、第 1のエッジ判定手段 105から入力される判定結果に基づいて、画素毎に入力画像と補正画像のいずれか一方を選択し、出力画像として出力する画像出力処理を行う。

[0017] <画像補正手段 >

次に、各構成要素における処理の詳細について説明する。まず、画像補正手段 10 2につ、て説明する。本実施の形態における画像補正手段 102の画像補正アルゴリズムは、拘束条件付最小自乗法から導かれる逆フィルタを使用する。すなわち、この画像補正アルゴリズムは、ぶれ量を示すインノルス応答関数を用い、さらにこのインパルス応答関数カゝら算出されるインパルス応答関数の逆フィルタを用いることを特徴としている。ここで、逆フィルタリングのアルゴリズムは、特徴抽出された画像の自乗ノルムの最小化問題を解けばよい。なお、自乗ノルムとはベクトルに対して、その要素の自乗和として計算されるものである。また、本実施の形態では、特徴量にラプラシアン'オペレータで抽出されたエッジ情報を採用する。すなわち、画像補正手段 102 では、ラプラシアン'オペレータにより抽出されたエッジ情報の自乗ノルム最小化問題の解として、ぶれ補正画像を算出する。

[0018] なお、インパルス応答関数の逆フィルタを算出するためには、インパルス応答関数を予め算出しておく必要がある。インノルス応答関数を算出する方法は、シャッタースピードを変えた 2枚の撮像画像力も数学的に推定する方法でもよ、し、加速度センサ等カゝら得られる物理信号を処理して算出してもよい。ここでは、インパルス応答関数の算出方法の詳細な説明は省略する。

[0019] 次に、インパルス応答関数を算出した後、入力画像から補正画像を得る具体的な方法について説明する。

[0020] まず、入力画像、補正画像を、式（1)で表される数学的画像モデルを用いて、ベタトル ·行列表現にする。式（1)において i、； jは画素の位置を表しており、画面垂直方向に M画素、画面水平方向に N画素となるサイズの画像であれば、 i= l, · · · , M、 j = 1, · · · , Nとなる整数値を取る。

[0021] [数 1]

L K

,j二 J L ⁿti ^S i-k -l ^{+ V}i ( ¹ )

L lc ―

[0022] なお、はぶれが低減された画像、すなわち補正画像の画素信号であり、はぶれの発生している画像、すなわち入力画像の画素信号であり、 V は撮像時の付カロ，

的雑音成分であり、 h はぶれ量を示すインパルス応答関数であるとする。また、 Kよ k, 1

り計算される (2K+ 1)はインパルス応答関数の画面垂直方向の次数、 Lより計算される（2L+ 1)はインパルス応答関数の画面水平方向の次数を表すとする。ただし、入力画像、補正画像の平均値は 0であると仮定する。

[0023] この仮定は、それぞれの画像の画素信号力それぞれの画像の平均値、すなわち撮像素子から得られる撮像画像のバイアス値を計算し、全画素信号カゝら引くことにより計算できる。さらに、これらの画像の期待値は平均値と等しい (エルゴード性)と仮定すると、 Ε[ · ]を'の期待 V値を表すものとして、 E[s ] =0、E[t ] =0と表すことができる。また、付カ卩的雑音 V については E[s V ] =0 (iaおよび jaは任意）の性質を仮，

定する。この仮定は、付加的雑音は撮像される画像にほとんど依存しない事実から導かれた仮定である。

[0024] 次に、求めるべき補正画像及び入力画像の要素を辞書式配列で取り出し、列べクトルとしてそれぞれ vs、 vtで定義し、インパルス応答関数に相当する行列を Hで表す。また、ラプラシアン'オペレータもインパルス応答関数のように行列 Cで表す。このとき行列 Hおよび Cはブロックトェプリッツ行列となっており、近似的に 2次元離散フーリェ変換 (以下、「DFT」と記す。）行列を用いて近似的に対角化することができるため、高速な演算処理を行うことが可能になる。以上を用いると、ラプラシアン'オペレータによる入力画像のエッジ抽出量 Tを式（2)のように表すことができる。

[0025] [数 2]

(2)

[0026] ここで、 II · IIは、 'の 2—ノルムを示す。一般的に、画像では近接画素間の相関性が強ぐエッジ抽出量は少ないものとなることから、式（2)で表される Jの最小化を拘束条件付最小自乗法で行えばよい。このときの拘束条件として、入力画像において式（1)が成り立つことから、付加的雑音のパワーをとして、式 (3)に表す関係が存在すると考えられる。よって、式 (2)に式 (3)の拘束条件を付加した最小化問題を解くことで画像の補正を行うことができる。

[0027] [数 3] νΐ― Hvs\ (3)

[0028] 最終的に最小化を行う評価関数は、ラグランジ未定乗数の逆数を γとすると、式 (

4)のように表すことができる。

[0029] [数 4]

[0030] そして、式 (4)を求めるべき補正画像 vsで偏微分することにより求めるべき補正画像の推定値 vssを式（5)のように表すことができる。

[0031] [数 5]

vss = (H H + yC' C) H vt ）

[0032] ここで、式（5)はサイズの大き、ブロックトェプリッツ行列を含んで、ることから、厳密解を得るためには大きな計算量が必要となる。しかし、 DFT行列を用いて近似的に対角化することで、実用的な計算量で解を求めることができる。

[0033] なお、式（5)中の変数の右肩に表記して、る Tは行列の転置を表す。また、補正画像 vsおよび入力画像 vtを DFTしたベクトル要素を VSS( V , V ),Τ(ν , ν ), D

1 2 1 2

FT行列により行列 H、Cを近似的に対角化した行列の対角要素を Η , V ),C(

1 2

V ， V )で表す ₀ でゝ V V w = V ， · · ·， ν ゝ V = V ， · · ·， ν ハょ

1 2 1 2 1 11 1M 2 21 2Ν

、それぞれ水平及び垂直方向の空間周波数成分である。

[0034] これらを用いると、 DFT領域における補正画像は、式（6)として求まる。

[0035] [数 6] い ^ 秦共役） )

[0036] よって補正画像は、 VSS 、 V )を 2次元逆離散フーリエ変換することにより算出

1 2

することができる。

[0037] 以上説明したように、本実施の形態では、画像補正手段 102における画像補正ァルゴリズムとして上記のような方法を用いて、るが、以下の文献に記載されて、るような方法等を用いてもよい。

[0038] 文献 1「Digital Image Restoration, H. C. Andrews他著、 Prentice Hal U

文献 2「確率システム理論 ΠΙ 砂原善文編第二章、杉本末雄著、朝倉書店」文献 d「Fundamentals of Digital Image Processings Anil K. Jain着、 Prentice Hall」

文献 4「画像処理アルゴリズム、斉藤恒雄著、近代科学社」

[0039] <補正画像エッジ検出手段 >

次に、補正画像エッジ検出手段 104について説明する。補正画像エッジ検出手段 104は、補正画像のエッジ成分を検出するエッジ検出処理を行う。なお、補正画像はカラー画像であるが、本実施の形態の補正画像エッジ検出手段 104は、補正画像の輝度信号に対してエッジ検出処理を行う。また、エッジ検出処理は、画像の水平方向、垂直方向についてそれぞれ行われる。

[0040] 画像の水平方向のエッジ成分の例を図 2に、垂直方向のエッジ成分の例を図 3に、それぞれ示す。なお、水平方向のエッジ成分とは、エッジが略水平方向に伸びているものを指し、垂直方向のエッジ成分とは、エッジが略垂直方向に伸びているものを指す。

[0041] まず、水平方向のエッジ成分の検出処理について説明する。本実施の形態の補正画像エッジ検出手段 104では、水平方向のエッジ成分の検出に、式 7で表される So belフィルタ Hを用いる。すなわち、補正画像の画素毎の輝度信号に対し式 7のフィルタを用、てフィルタリング処理を行、、画素毎に水平方向のエッジ成分 ImgH 1を得る。

[0042] [数 7]

1 2 1

H: 0 0 0 (7)

一 1 -2 — 1

[0043] 同様に、垂直方向のエッジ成分の検出に、式 8で表される Sobelフィルタ V、つまり式 7の行列 Hの転置行列 H'を用いる。すなわち、補正画像の画素毎の輝度信号に対し式 7のフィルタを用、てフィルタリング処理を行、、画素毎に垂直方向のエッジ成分 ImgVlを得る。

[0044] [数 8]

1 0 - 1

V=H 2 0 -2 (8)

1 0 — 1

[0045] 画素毎に、水平方向のエッジ成分 ImgHlと垂直方向のエッジ成分 ImgVlを得た後、補正画像エッジ検出手段 104は、式 9で表されるエッジ検出補正画像 ImgSlを出力する。式 9に示すように、エッジ検出補正画像 ImgSlは、水平方向のエッジ成分 ImgH 1と垂直方向のエッジ成分 ImgV 1の画素毎の絶対値和である。

[0046] [数 9]

imeSl =abs(ImgHl)+abs(imeVI) (9)

<第 1のエッジ判定手段 >

次に、第 1のエッジ判定手段 105について説明する。この第 1のエッジ判定手段 10 5は、エッジ検出補正画像の画素毎に、ノイズであるカゝ、画像本来のエッジ部の画素であるかを判定するエッジ判定処理を行う。 [0048] 第 1のエッジ判定手段 105におけるエッジ判定処理は、以下の処理により行われる。まず、式 10に表されるように、エッジ検出補正画像 ImgSlと第 1のしきい値 thre— r esを比較する。そして、エッジ検出補正画像 ImgSlが第 1のしきい値 thre_resよりも小さい場合は、その画素は、リンギング等の擬似的なエッジやノイズであると判定する。一方、エッジ検出補正画像 ImgSlが第 1のしきい値 thre— resよりも大きい場合は、その画素は、画像本来のエッジ部であると判定する。

[0049] [数 10]

ImgSl ^ tnre res ( 1 0)

[0050] エッジ検出補正画像 ImgSlが第 1のしきい値 thre— resよりも小さい場合、すなわち、リンギング等の擬似的なエッジやノイズであると判定された場合、第 1のエッジ判定手段 105は、その画素について画素値「1」を出力する。また、エッジ検出補正画像 ImgSlが第 1のしきい値 thre— resよりも大きい場合、つまり、画像本来のエッジ部であると判定された場合、第 1のエッジ判定手段 105は、その画素について画素値「 0」を出力する。すなわち、第 1のエッジ判定手段 105から出力されるのは 2値ィ匕された 2値ィ匕画像である。後述する画像出力手段 106は、この 2値ィ匕画像を画像の選択情報として用いる。

[0051] なお、エッジ判定処理のための第 1のしきい値 thre— resは、予め定めた定数を用いてもよぐ画像保存形式や画像ファイルの大きさ、画像内容等の画像情報から決定してちよい。

[0052] 画像内容力ゝら第 1のしきい値 thre— resを決定する方法として、例えば、縦軸を画素数、横軸をエッジ検出補正画像 ImgSlとした図 4 (a)、（b)に示すように、エッジ検出補正画像 ImgSlの分布を求め、その分布力も決定する方法がある。図において、第 1のしき、値 thre— resより左側にある各々領域 1の画素力リンギング等の擬似的なエッジやノイズと判定され、第 1のしき!/、値 thre— resより右側にある領域 2の画素が画像本来のエッジ部と判定される。なお、実験では、画像を構成する全画素の 10 %程度が領域 1に入るように第 1のしき!/、値 thre— resを決定すると、良好な結果が得られた。ただし、エッジ検出補正画像 ImgSlの分布の形状や、エッジ検出補正画像 ImgS 1の平均値等の統計量から、領域 1に入る画素の割合を適応的に決定してもよい。

[0053] また、その他、ぶれ量の大きさの関数力第 1のしきい値 thre— resを決定する方法を用いてもよい。例えば、式 11のように、第 1のしきい値 thre— resをぶれ量 x、係数 k 力も定まる値で決定する。なお、式 11以外のぶれ量の関数を用いてもよい。

[0054] [数 11] thre res—k · x ( 1 1 )

[0055] <画像出力手段 >

次に、画像出力手段 106について説明する。この画像出力手段 106は、第 1のエツジ判定手段 105から出力される 2値ィ匕画像を選択情報として用いて、画素毎に、入力画像か補正画像のいずれか一方を選択して出力する画像出力処理を行う。

[0056] 上記で説明したように、第 1の判定手段 105は、リンギング等の擬似的なエッジゃノィズであると判定した画素について、画素値「1」を出力する。また、画像本来のエツジ部であると判定した画素について、画素値「0」を出力する。画像出力手段 105は、この画素値に基づいて、画素値「1」の画素については、入力画像用フレームメモリ 1 01にある入力画像を選択し、出力画像として出力する。

[0057] 一方、画素値「0」の画素については、補正画像用フレームメモリ 103にある補正画像を選択し、出力画像として出力する。

[0058] このように、画素値が「1」、すなわち、画像処理によりリンギング等の擬似的なエッジやノイズの可能性のある画素について、補正画像ではなぐ入力画像を選択して出力することにより、ノイズの除去が可能となる。また、画素値が「0」、すなわち、画像本来のエッジ部であると判定された画素にっヽては、画像処理された補正画像を出力することにより、入力画像に発生しているぶれを低減することができる。

[0059] 以上説明したように、実施の形態 1に係る画像処理装置 10は、入力画像を画像処理した補正画像の情報に基づ!/、て、入力画像か補正画像の、ずれか一方を選択して出力するようにした。したがって、画像処理により発生したリンギング等のノイズを低減することが可能となり、良好な画質の画像を得ることができる。 [0060] なお、本実施の形態の補正画像エッジ検出手段では、エッジ検出を行うエッジ検出処理として SOBELフィルタを用いる場合について説明した力これに限るものではなぐエッジ検出の効果が得られるものであればよい。また、フィルタリング処理を水平方向、および垂直方向に行う場合について説明した力どちらか一方の処理としてもよい。さらに、エッジ検出処理を輝度信号について行う場合について説明したが、色差信号を用いてもよぐ R、 G、 Bの色信号を用いてもよぐこれら色に関する情報を組み合わせて用いてもよ!、。

[0061] また、本実施の形態の第 1のエッジ判定手段では、エッジ検出処理をエッジ検出補正画像の絶対値に基づきスレツショルドを設定する場合にっヽて説明した力これに限るものではなぐ同様の効果が得られるものであればよい。また、ノイズであると判定された画素の画素値を「1」、画像本来のエッジ部の画素の画素値を「0」としたが、その逆であってもよい。さらに、いずれか一方の場合のみ信号を出力するとしてもよい。

[0062] また、エッジ検出処理、エッジ判定処理、画像出力処理を画素単位で行う場合につ V、て説明した力各処理ともマクロブロックやブロック等の所定の領域単位で行ってもよい。この場合は、所定領域にある全画素の画素値の平均値や、代表画素の画素値等を用いる。

[0063] また、画像のエッジを用いて処理を行う方法にっ、て説明した力エッジ以外にも画像の特徴を表すものであればょ、。

[0064] また、実施の形態 1に係る画像処理装置 10は、手ぶれにより発生したぶれを補正する場合に適応可能である力手ぶれ以外のぶれの場合も適応可能であり、さらに、例えば撮像系自体が動いた場合に発生するぶれ等にも適応可能である。

[0065] 実施の形態 2.

実施の形態 2に係る画像処理装置 20は、実施の形態 1に係る画像処理装置 10〖こおいて、入力画像エッジ検出手段 204を付加して構成する。また、第 1のエッジ判定手段 105に相当する構成要素として第 2のエッジ判定手段 205を備える。第 2のエツジ判定手段 205は、入力画像エッジ検出手段 204からの出力と、補正画像エッジ検出手段 104からの出力に基づ、て、エッジ判定処理を行う。 [0066] 図 5は、実施の形態 2に係る画像処理装置 20の構成を示すブロック図である。図 5 において、図 1と同じ符号が付されている構成要素は、実施の形態 1の画像処理装置 10と同一、又は相当する構成要素である。

[0067] <入力画像エッジ検出手段 >

まず、入力画像エッジ検出手段 204について説明する。入力画像エッジ検出手段 204は、入力画像のエッジ成分を検出するエッジ検出処理を行い、エッジ成分が検出された画像 (以下、「エッジ検出入力画像」と記す。）を出力する。なお、入力画像エッジ検出手段 204で行われるエッジ検出処理は、実施の形態 1で説明した補正画像エッジ検出手段 104で行われるエッジ検出処理と同様である。

[0068] すなわち、入力画像エッジ検出手段 204は、入力画像の画素毎に水平方向のエツジ成分 ImgH2と垂直方向のエッジ成分 ImgV2を得た後、式 12で表されるエッジ検出入力画像 ImgS2を出力する。

[0069] [数 12]

ImgS2 =abs(ImgH2)+abs(TmgV2) ( 1 2)

[0070] <第 2のエッジ判定手段 >

次に、第 2のエッジ判定手段 205について説明する。第 2のエッジ判定部 205は、入力画像エッジ検出手段 204から出力されるエッジ検出入力画像と、補正画像エツジ検出手段 104から出力されるエッジ検出入力画像とに基づいて、画素毎に、ノイズであるか、画像本来のエッジ部の画素であるかを判定するエッジ判定処理を行う。

[0071] 第 2のエッジ判定手段 205におけるエッジ判定処理は、以下の処理により行われる。まず、エッジ検出補正画像 ImgSlと第 1のしきい値 thre— resを比較する。さら〖こ、エッジ検出入力画像 ImgS2と第 2のしきい値 thre— degを比較する。そして、式 13を満たした場合、つまりエッジ検出補正画像、エッジ検出入力画像のいずれもが各々のしきい値よりも小さい場合のみ、画像補正手段 102の画像処理により発生したノィズであると判定し、第 2の判定手段 204は、その画素について画素値「1」を出力する。一方、その他の場合は、画素値「0」を出力する。

[0072] つまり、縦軸を画素数、横軸をエッジ検出補正画像 ImgSlとした図 4 (a)、 (b)の第 1のしきい値 thre— resより左側にある領域 1にあり、かつ縦軸を画素数、横軸をエツジ検出入力画像 ImgS2とした図 6 (a)、 (b)の第 2のしきい値 thre— degより左側にある領域 1にある画素についてのみ、画像補正手段 102の補正処理により発生したノィズであると判定し、第 2の判定手段 204は、その画素について画素値「1」を出力する

[0073] [数 13]

ImgSl<thre ' s，力、つ, ImgS2<thre deg ( 1 3)

[0074] これは、以下の理由による。すなわち、エッジ検出入力画像 ImgS2が第 2のしきい値 thre— degよりも大き、と、その画素は画像の本来的なエッジ部であると考えることができる。し力し、この画素について、エッジ検出補正画像 ImgSlが第 1のしきい値 t hre— resのよりも小さい場合がある。この場合、実施の形態 1のように、エッジ検出補正画像 ImgSlと第 1のしきい値 thre— resの関係から出力画像を決定すると、ぶれが発生している入力画像が出力されることとなる。したがって、出力画像のリンギング等のノイズは低減される力ぶれの影響により、画像の輪郭にボケが発生する場合がある。

[0075] 本実施の形態は、このような場合を考慮して、画像本来のエッジ部であると判定された画素、すなわち、エッジ検出入力画像 ImgS2が第 2のしきい値 thre— degよりも大きい画素については、ぶれが発生している可能性のある入力画像ではなぐぶれが低減されている補正画像を出力し、出力画像の画質を向上させるものである。

[0076] なお、画像出力手段 106は、実施の形態 1と同様、画素値「1」の画素については、入力画像用フレームメモリ 101にある入力画像を選択し、画素値「0」の画素につ、ては、補正画像用フレームメモリ 103にある補正画像を選択し、各々出力画像として出力する。すなわち、第 2のエッジ判定手段 205から出力されるのは 2値ィ匕された 2値ィ匕画像である。

[0077] 以上説明したように、実施の形態 2に係る画像処理装置 20は、入力画像と補正画像に基づいてエッジ判定処理を行うこととした。したがって、画像本来のエッジ部に補正画像が出力されるので、より画質の向上した出力画像を得ることができる。 [0078] なお、第 2のしきい値 thre— degを決定する方法としては、実施の形態 1で説明した第 1のしき、値 thre— resを決定する方法と同様とすればょ、。

[0079] また、実施の形態 1と同様、スレツショルドを設定してエッジ検出処理を行う場合について説明したが、これに限るものではなぐ同様の効果が得られるものであればよい。また、ノイズであると判定された画素の画素値を「1」、画像本来のエッジ部の画素の画素値を「0」とした力その逆であってもよい。さらに、いずれか一方の場合のみ信号を出力するとしてもよい。

[0080] 実施の形態 3.

実施の形態 3に係る画像処理装置 30は、実施の形態 2に係る画像処理装置 20〖こおいて、第 1の選択情報変更手段 307を付加して構成する。第 1の選択情報変更手段 307は、第 2のエッジ判定手段 205から出力される選択情報を適宜変更し、変更した変更情報を画像出力手段 106に出力する。そして、画像出力手段 106は、この変更情報に基づヽて入力画像か補正画像の！/、ずれか一方を選択して出力する。

[0081] 図 7は、実施の形態 3に係る画像処理装置 30の構成を示すブロック図である。図 7 において、図 5と同じ符号が付されている構成要素は、実施の形態 2の画像処理装置 20と同一、又は相当する構成要素である。

[0082] <第 1の選択情報変更手段 >

まず、第 1の選択情報変更手段 307について説明する。実施の形態 2で説明したように、第 2のエッジ判定手段 205では、エッジ検出入力画像とエッジ検出補正画像からエッジ判定が行われる。このときに、画像本来のエッジ部と判定された画素の集団の中に、例えば 1点だけノイズと判定された画素（以下、「孤立画素」と記す。）が混入する場合がある。この場合、出力画像としては、補正画像の中に入力画像が混入することとなるので、入力画像、すなわち孤立画素が視覚上ノイズと判断される場合がある。第 1の選択情報変更手段 307は、このような孤立画素を除去する孤立画素除去処理を行う。

[0083] 以下、第 1の選択情報変更手段 307における孤立画素除去処理について説明する。まず、実施の形態 2で説明したように、第 2のエッジ判定手段 205は、ノイズと判定した画素の画素値を「1」、画像本来のエッジ部と判定した画素の画素値を「0」とした選択情報を出力する。

[0084] 第 1の選択情報変更手段 307は、メディアンフィルタを用い、フィルタリング処理を行う。なお、メディアンフィルタは、設定した領域内の画素の画素値を検出し、多数を占める画素の画素値を選択するものである。例えば、メディアンフィルタの設定領域が縦 3画素 X横 3画素、その領域内の画素値カ 0, 0, 0, 0, 0, 1, 1, 1, 1 }となっている場合、画素値「0」が 5個存在し、画素値「1」が 4個存在するので、メディアンフィルタによるフィルタリング処理後の画素値はすべて 0、すなわち、 {0, 0, 0, 0, 0, 0, 0, 0, 0}となる。このように、第 1の選択情報変更手段 307は、メディアンフィルタを用いて孤立画素を除去する。

[0085] 換言すると、第 1の選択情報変更手段 307は、第 2のエッジ判定手段 205から出力される 2値ィ匕画像、すなわち選択情報を、他の画素の選択情報を参照して変更し、変更した変更情報を出力するものである。

[0086] 以上説明したように、実施の形態 3に係る画像処理装置 30は、第 1の選択情報変更手段 307により孤立画素の除去を行うこととした。したがって、出力画像の画質が向上する。

[0087] なお、第 1の選択情報変更手段 307で用いるメディアンフィルタとして、サイズが縦 3画素 X横 3画素のメディアンフィルタについて説明した力これに限るものではなく、例えば縦 19画素 X横 19画素のメディアンフィルタを用いてもよい。また、メディアンフィルタは矩形以外の形状であってもよ、。

[0088] さらに、メディアンフィルタ以外にも孤立画素を除去することができるものであればよい。

[0089] また、画像処理装置 30は、実施の形態 2に係る画像処理装置 20に第 1の選択情報変更手段 307を追加して構成するとして説明したが、第 1の選択情報変更手段 30 7を実施の形態 1に係る画像処理装置 10に追加して構成してもよい。

[0090] 実施の形態 4.

実施の形態 4に係る画像処理装置 40は、実施の形態 2に係る画像処理装置 20〖こおいて、第 2の選択情報変更手段 407を付加して構成する。さらに、画像出力手段 1 06に相当する個所を、第 1のゲインコントローラ 409、第 2のゲインコントローラ 410、加算器 411で構成する。

[0091] 図 8は、実施の形態 4に係る画像処理装置 40の構成を示すブロック図である。図 8 において、図 5と同じ符号が付されている構成要素は、実施の形態 2の画像処理装置 20と同一、又は相当する構成要素である。

[0092] <第 2の選択情報変更手段 >

まず、第 2の選択情報変更手段 407について説明する。実施の形態 3で説明したように、第 2のエッジ判定手段 205からの出力される 2値ィ匕画像には、孤立画素が存在する場合がある。第 2の選択情報変更手段 407は、この孤立画素を除去する孤立画素除去処理を行うものである力孤立画素除去処理としてローパスフィルタ処理を行う。例えば、画素値が {0, 1, 0, 1, 1, 0}となっている場合に、 3タップローパスフィルタ { 1Z4, 1/2, 1Z4}を適用すると、フィルタ処理の後の画素値は、 {0. 25, 0. 5, 0. 5, 0. 75, 0. 75, 0. 25}となる。すなわち、第 2のエッジ半 IJ定手段 205力ら出力された 2値ィ匕画像は、第 2の選択情報変更手段 407により、画素値が 0から 1の実数値 K をもつグレースケール画像となる。なお、 i、； jは画素の位置を示す。すなわち、第 2 ，

の選択情報変更手段 407は、第 2のエッジ判定手段 205から出力される 2値ィ匕画像、すなわち選択情報を、他の画素の選択情報を参照して変更し、変更した変更情報を出力するものである。

[0093] く第 1、第 2のゲインコントローラ、加算器〉

次に、第 1のゲインコントローラ (第 1の画像出力器) 408、第 2のゲインコントローラ（第 2の画像出力器) 409、加算器 411 (第 3の画像出力器）につ、て説明する。第 2の選択情報変更手段 407から出力される K は第 1のゲインコントローラ 408に入力さ，

れる。また、 1— K は第 2のゲインコントローラ 409に入力される。ここで、入力画像の，

座標 (i, j)の画素値を Imgln、補正画像の座標 (i, j)の画素値を ImgCとすると、第

1のゲインコントローラ 408では、式 14で表される処理が行われる。一方、第 2のゲインコントローラ 409では、式 15で表される処理が行われる。

[0094] [数 14]

ImgC'^ImgC^Kij ( 1 4) [0095] [数 15] imgln '_i Imgln_Vl*(l K_u) ( 1 5) [0096] そして、それぞれ、フィルタ入力画像値 Imgln'、フィルタ補正画像値 ImgC，力カロ算器 411〖こ出力される。加算器 411では式 16で表される、フィルタ入力画像値 Imgl n，、フィルタ補正画像値 ImgC，の加算、出力画像のビット数に適合させたクリツピング、整数値化が行われ、出力画像が出力される。

[0097] [数 16]

ImgOut=clip (Imgl'ij +ImgC^, _ij) ( 1 6)

[0098] すなわち、第 1のゲインコントローラ 408は、第 2の選択情報変更手段 407から出力される変更情報を参照して補正画像を補正し、この補正後の補正画像を出力する第 1の画像出力器として機能する。また、第 2のゲインコントローラ 409は、第 2の選択情報変更手段 407から出力される変更情報を参照して入力画像を補正し、この補正後の入力画像を出力する第 2の画像出力器として機能する。さらに、加算器 411は、第 1のゲインコントローラ 408から出力される補正後の補正画像と、第 2のゲインコント口ーラ 409から出力される補正後の入力画像とを加算して出力画像を出力する第 3の画像出力器として機能する。

[0099] なお、第 2の選択情報変更手段 407に入力される選択情報は「0」、「1」の 2値化情報であるが、第 2の選択情報変更手段 407はこの 2値ィ匕情報を多階調の整数、例えば 256階調の整数とみなし、内部でローパスフィルタ処理を行ってもよい。すなわち、「0」を「0」に、「1」を「255」にそれぞれ射影し、ローパスフィルタ処理を行う。また、フィルタ処理は浮動小数点演算で行ってもよぐ近似的に整数演算で行ってもよい。特に、整数演算でフィルタ処理を行う場合は、フィルタ処理速度の向上を図ることが可能となる。

[0100] なお、 256階調への射影を行う場合、第 2の選択情報変更手段 407から出力する K 、 1 -K を「0」から「1」までの実数値とする実数ィ匕の処理が必要であるので、「0」を「0」に、「255」を「1」に射影して、それぞれ出力する。

[0101] また、上記では、第 2の選択情報変更手段 407において 256階調への射影を行つた場合、 K 、 1— Κ を実数化して出力すると説明したが、第 2の選択情報変更手段

407では実数化の処理を行わずに、「0」から「255」の整数値のまま第 1のゲインコントローラ 408、第 2のゲインコントローラ 409に出力し、それぞれのゲインコントローラ内で 255で除算する実数ィ匕を行ってもょヽ。

[0102] 以上説明したように、実施の形態 4に係る画像処理装置 40は、孤立画素除去処理をローパスフィルタによって行うので、孤立画素除去処理の効果を近傍の画素に分散させることができ、出力画像の画質が向上する。

[0103] なお、実施の形態では、孤立画素を除く処理として、ローパスフィルタ処理を用いる場合について説明したが、これに限るものではなぐ同様に孤立画素を取り除く効果が得られるものであればょ、。

[0104] また、第 2の選択情報変更手段 407から第 1のゲインコントローラ 408に Κ が出力，され、第 2のゲインコントローラ 409に 1—K が出力されるとしたが、第 2の選択情報，

変更手段 407から出力されるのは Κ とし、第 2のゲインコントローラ 409内で 1—K と演算するとしてもよい。

[0105] また、画像処理装置 40は、実施の形態 2に係る画像処理装置 20に第 2の選択情報変更手段 407等を追加、置換えて構成するとして説明したが、実施の形態 1に係る画像処理装置 10に適応してもよい。

Claims

請求の範囲

[1] 入力画像に対してぶれ補正処理を行う画像補正手段と、

ぶれ補正処理後の補正画像の特徴を検出する補正画像特徴検出手段と、特徴が検出された特徴検出補正画像に基づいて選択情報を出力する第 1の特徴判定手段と、

前記選択情報に基づ、て、前記入力画像または前記補正画像の!/、ずれか一方を出力する画像出力手段と

を備える画像処理装置。

[2] 入力画像に対してぶれ補正処理を行う画像補正手段と、

ぶれ補正処理後の補正画像の特徴を検出する補正画像特徴検出手段と、前記入力画像の特徴を検出する入力画像特徴検出手段と、

特徴が検出された特徴検出補正画像と、特徴が検出された特徴検出入力画像とに基づいて選択情報を出力する第 ₂の特徴判定手段と、

を備える画像処理装置。

[3] 選択情報を変更した変更情報を出力する第 1の選択情報変更手段を備え、

画像出力手段は、前記変更情報に基づいて、前記入力画像または前記補正画像のいずれか一方を出力する

請求項 1又は 2に記載の画像処理装置。

[4] 入力画像に対してぶれ補正処理を行う画像補正手段と、

前記選択情報を変更した変更情報を出力する第 2の選択情報変更手段と、前記変更情報に基づいて、前記入力画像を補正して出力する第 1の画像出力器と前記変更情報に基づいて、前記補正画像を補正して出力する第 2の画像出力器と前記補正後の入力画像と前記補正画像を補正画像とに基づいて出力画像を出力する第 3の画像出力器と

を備える画像処理装置。

[5] 画像の特徴は画像のエッジに関する情報である

請求項 1、 2、 4のいずれか 1項に記載の画像処理装置。

[6] 画像の特徴の検出は、画像を構成する所定領域毎に行う

請求項 1、 2、 4のいずれか 1項に記載の画像処理装置。

[7] 所定の領域は、画素である

請求項 6に記載の画像処理装置。

[8] 選択情報は、特徴検出補正画像と第 1のしきい値とを比較した結果であり、

画像出力手段は、

前記選択情報が、前記特徴検出補正画像が前記第 1のしき!、値以下を表す場合、入力画像を出力し、

前記選択情報が、前記特徴検出補正画像が前記第 1のしき!、値以上を表す場合、補正画像を出力する

請求項 1に記載の画像処理装置。

[9] 選択情報は、特徴検出補正画像と第 1のしきい値とを比較し、かつ、特徴検出入力画像と第 2のしきい値とを比較した結果であり、

画像出力手段は、

前記選択情報が、前記特徴検出補正画像が前記第 1のしきい値以下、かつ、前記特徴検出入力画像が前記第 2のしきい値以下を表す場合、入力画像を出力し、前記選択情報が、前記特徴検出補正画像が前記第 1のしきい値以上、または、前記特徴検出入力画像が前記第 2のしきい値以上を表す場合、補正画像を出力する請求項 2に記載の画像処理装置。

[10] 第 1の選択情報変更手段は、

処理対象となって!/、る所定領域の選択情報を、前記処理対象以外の所定領域の選択情報を参照して変更する請求項 3に記載の画像処理装置。

[11] 第 1の選択情報変更手段は、

メディアンフィルタによるフィルタリング処理を行う

請求項 10に記載の画像処理装置。

[12] 第 2の選択情報変更手段は、

処理対象となって!/、る所定領域の選択情報を、前記処理対象以外の所定領域の選択情報を参照して変更する

請求項 4に記載の画像処理装置。

[13] 第 2の選択情報変更手段は、ローパスフィルタ処理を行う

請求項 12に記載の画像処理装置。

[14] 入力画像に対してぶれ補正処理を行う画像補正ステップと、

ぶれ補正処理後の補正画像の特徴を検出する補正画像特徴検出ステップと、前記入力画像の特徴を検出する入力画像特徴検出ステップと、

特徴が検出された特徴検出補正画像と、特徴が検出された特徴検出入力画像とに基づいて選択情報を出力する第 2の特徴判定ステップと、

前記選択情報に基づ、て、前記入力画像または前記補正画像の!/、ずれか一方を出力する画像出力ステップと

を備える画像処理方法。

[15] 入力画像に対してぶれ補正処理を行う画像補正ステップと、

を備える画像処理方法。

[16] 選択情報を変更した変更情報を出力する第 1の選択情報変更ステップを備え、画像出力ステップは、前記変更情報に基づいて、前記入力画像または前記補正画像の、ずれか一方を出力する

請求項 14又は 15に記載の画像処理装置。

[17] 入力画像に対してぶれ補正処理を行う画像補正ステップと、

ぶれ補正処理後の補正画像の特徴を検出する補正画像特徴検出ステップと、特徴が検出された特徴検出補正画像に基づいて選択情報を出力する第 1の特徴判定ステップと、

前記選択情報を変更した変更情報を出力する第 2の選択情報変更ステップと、前記変更情報に基づいて、前記入力画像を補正して出力する第 1の画像出力ステップと、

前記変更情報に基づいて、前記補正画像を補正して出力する第 2の画像出力ステップと、

前記補正後の入力画像と前記補正画像を補正画像とに基づいて出力画像を出力する第 3の画像出力ステップと

を備える画像処理方法。

[18] 請求項 1に記載の画像処理装置を備えた情報端末。