JPWO2015040731A1 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JPWO2015040731A1 JPWO2015040731A1 JP2015537516A JP2015537516A JPWO2015040731A1 JP WO2015040731 A1 JPWO2015040731 A1 JP WO2015040731A1 JP 2015537516 A JP2015537516 A JP 2015537516A JP 2015537516 A JP2015537516 A JP 2015537516A JP WO2015040731 A1 JPWO2015040731 A1 JP WO2015040731A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- group
- correction
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims description 63
- 238000003672 processing method Methods 0.000 title claims description 11
- 238000012937 correction Methods 0.000 claims abstract description 99
- 238000009499 grossing Methods 0.000 claims abstract description 58
- 238000000034 method Methods 0.000 claims description 33
- 230000002123 temporal effect Effects 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 9
- 238000007796 conventional method Methods 0.000 abstract 1
- 238000003384 imaging method Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 15
- 238000012544 monitoring process Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 239000000470 constituent Substances 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
従来技術では、揺らぎの補正効果が得られるものの、画像にぼやけが生じてしまうという問題があった。本発明では、時間平滑化をする前に、同じ位置の画素を画素の輝度及び色差を利用して複数のグループに分ける。それぞれのグループの画素数の頻度を算出する。最も大きな頻度を持つグループの情報を使用して、頻度が閾値を越えた場合は、そのグループの情報のみを使用して時間平滑化を行う。
Description
本発明は、画像処理装置に係り、特に陽炎などの画像の揺らぎによる画像劣化を軽減することができる画像処理装置及び画像処理方法に関する。
揺らぎ補正は、監視システム等に用いられる画像処理技術の一つである。揺らぎ補正は、陽炎に代表される監視映像が受けた揺らぎの影響を軽減させることを目的としている。
揺らぎ補正技術では、例えば、時間平滑化処理によって揺らぎの影響を低減することが行われる。
揺らぎ補正技術では、例えば、時間平滑化処理によって揺らぎの影響を低減することが行われる。
図１は、画素値の時間平滑化処理が映像に与える効果を説明するための一例を示す図である。
図１の上側に示すように、補正対象の入力画像は、左から右に流れる時系列に従って、所定の時間間隔で画像処理装置に入力される。なお、図１では、入力画像１０１、１０２、１０３だけを示している。図１に示すように、入力画像１０１、１０２、１０３は、いずれも同じ画像のように見える。即ち、入力画像１０２内に写り込んでいる被写体像４０２、及び入力画像１０３内に写り込んでいる被写体像４０３は、本来自動車等に移動物体であるが、この画像１０１〜１０３が撮影された時間には、移動しておらず、入力画像１０１内に写り込んでいる被写体像４０１と同じ画素位置にある。勿論、入力画像１０１内に写り込んでいる被写体像２０１及び３０１は、入力画像１０２内に写り込んでいる被写体像２０２及び３０２、並びに、入力画像１０３内に写り込んでいる被写体像２０３及び３０３は移動しない静物であり、ほぼ同じ画素位置にある。ただし、入力画像１０１、１０２、１０３内の静止している移動体の被写体像４０１〜４０３も、静物の被写体像２０１〜２０３、３０１〜３０３は、いずれも、陽炎の影響で揺らいで見える。
図１の下側の平滑化画像１０４は、入力画像１０１、１０２、１０３を含むｎ個の入力画像の平滑化画像である（ｎは自然数）。平滑化画像１０４が示すように、画像内の静物の被写体像２０４、３０４及び移動体の被写体像４０４は、陽炎の影響による揺らぎを補正されたものとなっている。
ところが、図１は、理想的な処理条件の場合であって、実際には時間平滑化処理だけでは揺らぎの影響が完全に消えない（特許文献１参照。）。
ところが、図１は、理想的な処理条件の場合であって、実際には時間平滑化処理だけでは揺らぎの影響が完全に消えない（特許文献１参照。）。
図２は、時間平滑化処理のみの場合に、画像の被写体像の輪郭がぼやけることを説明するための図である。画像１１１には、静物であって揺らぎの無い被写体像２１１が写り込んでいる。なお、分かり易く説明するために、画像１１１において、被写体像２１１はモノトーンで、輝度値が最小（黒色）で、他の部分は輝度値が最大（白色）とする。また、画像１２１〜１２３においても同様に、被写体像２２１〜２２３はモノトーンで、輝度が最小値（黒色）で、他の部分は輝度が最大値（白色）とする。
この被写体像２１１は、陽炎のような揺らぎの影響を受け、画像１２１〜１２３のｎ個の画像内の被写体像２２１〜２２３のように揺らいだ被写体像となる。なお、図２の画像１２１〜１２３もまた、図１の入力画像１０１〜１０３のように、左から右に流れる時系列に従って、所定の時間間隔で画像処理装置に入力される。
このｎ個の画像１２１〜１２３について、時間平滑化処理を行うと、画像１１１内の被写体像２１１は、画像１２４に示す被写体像２２４のように、中央部の被写体像の領域ａ２の部分だけ輝度が最小値（黒色）となり、端部（この場合は左右）の画像ａ１とａ３の輝度が最大と最小の中間値（灰色）となって、ぼやける。また、本来の被写体像２１１より画素サイズが大きくなる。即ち、被写体像２２４がぼやけて見える。
この被写体像２１１は、陽炎のような揺らぎの影響を受け、画像１２１〜１２３のｎ個の画像内の被写体像２２１〜２２３のように揺らいだ被写体像となる。なお、図２の画像１２１〜１２３もまた、図１の入力画像１０１〜１０３のように、左から右に流れる時系列に従って、所定の時間間隔で画像処理装置に入力される。
このｎ個の画像１２１〜１２３について、時間平滑化処理を行うと、画像１１１内の被写体像２１１は、画像１２４に示す被写体像２２４のように、中央部の被写体像の領域ａ２の部分だけ輝度が最小値（黒色）となり、端部（この場合は左右）の画像ａ１とａ３の輝度が最大と最小の中間値（灰色）となって、ぼやける。また、本来の被写体像２１１より画素サイズが大きくなる。即ち、被写体像２２４がぼやけて見える。
Enhanced Image Capture Through Fusion，P.J．Burt and R.J．Kolczynski，IEEE 1993，pp173−182
特許文献１には、プリンタ機能、スキャナ機能、及びカラーコピー機能を備えた複合機について、（１）複数種類のお手本画像を入力して、それらの構成画素を色相値に応じて６つの領域に分類し、各領域に属する構成画素の平均値を代表値として特定する複数種類のお手本画像の総合的な特徴を表す第１特徴量を特定する。（２）補正対象画像の構成画素をその色相値に応じて６つの領域に分類し、各領域に属する構成画素の平均値を補正対象画像の特徴を表す第２特徴量として特定する。（３）第２特徴量の各代表値を第１特徴量の各代表値にそれぞれ近づけるように、色変換処理を行う技術が開示されている。
特許文献２には、被出力画像における暗部領域を抽出し、色再現範囲外であり、かつ暗部領域である画素を１つ以上のクラスタに分類し、被出力画像の各画素がノイズであるか否かを判定し、分類されたクラスタにおいて、ノイズと判定した画素に対する特徴を抽出し、ノイズが存在するか否かを判定し、ノイズが存在すると判定したクラスタの色変換方法を、ノイズが存在しないと判定した場合の色変換方法とは異ならせ、決定した色変換方法により色変換処理を行うことで、ノイズが存在する場合と存在しない場合とで色変換方法を異ならせ、クラスタ内の画素に含まれるノイズを解析することにより、該当クラスタにおいてノイズを低減させる写像方向を決定し、ノイズを目立たなくする技術が開示されている。
しかし、特許文献１及び特許文献２は、補正対象画像が動画像ではなく、画像中の被写体を静物と移動体に区分して補正することは開示していない。
また、非特許文献１は、複数の異なるセンサによる画像を勾配ピラミッドにより融合してノイズを減らす技術について開示している。また、その勾配ピラミッドによる融合は、ラプラシアンピラミッドによる融合よりも有効で、ビデオシーケンスにも適用できるとしている。しかし、この技術では、背景から移動物体によるノイズを除去できるが、移動物そのものも除去される。従って、移動物体を監視するための画像処理には適用できない。
上述のように、従来の揺らぎ補正技術では、揺らぎ補正効果が得られるものの、画像にぼやけが生じてしまうという問題があった。
本発明の目的は、上記のような問題に鑑みて、陽炎等の影響による揺らぎを補正し、かつ画像のぼやけを低減可能な画像処理装置及び画像処理方法を提供することにある。
特許文献２には、被出力画像における暗部領域を抽出し、色再現範囲外であり、かつ暗部領域である画素を１つ以上のクラスタに分類し、被出力画像の各画素がノイズであるか否かを判定し、分類されたクラスタにおいて、ノイズと判定した画素に対する特徴を抽出し、ノイズが存在するか否かを判定し、ノイズが存在すると判定したクラスタの色変換方法を、ノイズが存在しないと判定した場合の色変換方法とは異ならせ、決定した色変換方法により色変換処理を行うことで、ノイズが存在する場合と存在しない場合とで色変換方法を異ならせ、クラスタ内の画素に含まれるノイズを解析することにより、該当クラスタにおいてノイズを低減させる写像方向を決定し、ノイズを目立たなくする技術が開示されている。
しかし、特許文献１及び特許文献２は、補正対象画像が動画像ではなく、画像中の被写体を静物と移動体に区分して補正することは開示していない。
また、非特許文献１は、複数の異なるセンサによる画像を勾配ピラミッドにより融合してノイズを減らす技術について開示している。また、その勾配ピラミッドによる融合は、ラプラシアンピラミッドによる融合よりも有効で、ビデオシーケンスにも適用できるとしている。しかし、この技術では、背景から移動物体によるノイズを除去できるが、移動物そのものも除去される。従って、移動物体を監視するための画像処理には適用できない。
上述のように、従来の揺らぎ補正技術では、揺らぎ補正効果が得られるものの、画像にぼやけが生じてしまうという問題があった。
本発明の目的は、上記のような問題に鑑みて、陽炎等の影響による揺らぎを補正し、かつ画像のぼやけを低減可能な画像処理装置及び画像処理方法を提供することにある。
上記の目的を達成するため、本発明の画像処理装置は、時系列に沿って入力された入力画像を格納し、該格納された画像から補正対象画像及び前記時系列に沿って格納された複数の補正用画像を出力する画像メモリと、前記入力画像または前記補正対象画像、及び前記複数の補正用画像から、同一位置の画素を抽出し、輝度によりグループ分けし、補正処理該当位置の画素情報及び前記グループ分けしたグループの画素頻度を算出し、算出した前記画素頻度と前記グループの位置を示す画素情報を出力する画素グループ化部と、入力された前記画素頻度を使用して最大頻度のグループを選択し、かつ、前記画素頻度と所定の第１の閾値を比較し、全画素による時間平滑化を行うか否かの選択を行い時間平滑化処理に使用する画素グループを選択し、選択されたグループの画素情報を出力する画素グループ選択部と、前記選択されたグループの画素情報を使用して時間平滑化により揺らぎ補正する揺らぎ補正部と、装置を構成する各要素を制御する制御部とを備え、前記入力画像または前記補正対象画像を補正することを本発明の第１の特徴とする。
上記の発明の第１の特徴の画像処理装置において、前記画素グループ化部は、前記輝度及び前記第１の閾値によって複数のグループに分類し、さらに、色差及び第２の閾値によって複数のグループに分類することを本発明の第２の特徴とする。
上記の発明の第１の特徴または第２の特徴の画像処理装置において、前記画素グループ化部は、前記グループ分けされたグループの輝度値情報若しくは輝度値情報及び色差情報を、前記画素頻度と共にグループ情報として出力することを本発明の第３の特徴とする。
また、上記の目的を達成するため、本発明の画像処理方法は、時系列に沿って入力された入力画像を格納し、該格納された画像から補正対象画像及び前記時系列に沿って格納された複数の補正用画像を出力する画像入力ステップと、前記入力画像または前記補正対象画像、及び前記複数の補正用画像から、同一位置の画素を抽出し、輝度によりグループ分けし、補正処理該当位置の画素情報及び前記グループ分けしたグループの画素頻度を算出し、算出した前記画素頻度と前記グループの位置を示す画素情報を出力する画像グループ化ステップと、入力された前記画素頻度を使用して最大頻度のグループを選択し、かつ、前記画素頻度と所定の閾値を比較し、全画素による時間平滑化を行うか否かの選択を行い時間平滑化処理に使用する画素グループを選択し、選択されたグループの画素情報を出力するグループ選択ステップと、前記選択されたグループの画素情報を使用して時間平滑化により揺らぎ補正する揺らぎ補正ステップとを備え、前記入力画像または前記補正対象画像から補正画像を生成することを特徴とする。
本発明によれば、揺らぎを補正しつつ被写体の輪郭に発生するぼやけを低減することができる。
以下、本発明の一実施例を、図面を参照して説明する。各図面において共通の構成要素には同一の符号を付与した。
なお、本発明は、以下に説明する実施例に限定されるものではなく、様々な変形例が含まれる。下記の実施例は本発明を分かり易く説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることもできる。また、ある実施例の構成に他の実施例の構成を加えることもできる。また、各実施例の構成の一部について、他の構成を追加、削除、若しくは置換することもできる。
なお、本発明は、以下に説明する実施例に限定されるものではなく、様々な変形例が含まれる。下記の実施例は本発明を分かり易く説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることもできる。また、ある実施例の構成に他の実施例の構成を加えることもできる。また、各実施例の構成の一部について、他の構成を追加、削除、若しくは置換することもできる。
本特許出願人は、時間平滑化による揺らぎ補正技術を特願２０１２−１０７４７０号（以下、“先願”と称するとする）として出願した。先願は、補正対象画像と時間的に近い複数のフレーム（以下。“補正用画像”と称する）を時間平滑化することにより揺らぎの影響を抑える。その際、補正対象画像と補正用画像間、または補正対象画像と補正用画像を混合した画像間の画素毎の類似度を求め、その結果に応じて時間平滑化の強度を調整することを特徴としている。
従来の揺らぎ補正の概要に関し、図３と図４を参照して説明する。図３及び図４は、画素値の時間平滑化が映像に与える効果を説明するための一例を示す図である。本説明では、簡単化のため、図１と同様に、モノトーンで、輝度値が最大（白色）と輝度値が最小（黒色）に分かれている画像を用いて説明する。また、図１と同様に、補正対象の入力画像は、左から右に流れる時系列に従って、所定の時間間隔で画像処理装置に入力される。
図３は、従来の時間平滑処理が映像に与える効果を説明する図である。補正対象画像内の被写体は、時間平滑化により揺らぎの影響が補正される。しかし、図４に示す通り、時間平滑化のみの処理では、揺らぎの影響により被写体の輪郭にぼやけが生じてしまう。
図３は、画素値の時間平滑化が映像に与える効果を説明するための一例を示す図である。図３の上側の入力画像１０１は図１で説明した画像と同じである。しかし、移動体としての被写体像４０１が、入力画像１０２’と１０３’では、４０２’、４０３’のように移動している。
即ち、図３の下側の平滑化画像１０４’の被写体像２０４’、３０４’のように、補正対象画像の被写体が静止している領域８００では、時間平滑化により空気揺らぎの影響による歪みが補正される。しかし、被写体像４０４’のように、補正対象画像の被写体が移動している領域８０１に時間平滑化を施すと、歪みによる画素の変位だけでなく、被写体の移動による画素の変位を平滑化してしまい、移動する被写体の周囲に滲みが生じてしまう。つまり、画素値の時間平滑化は、移動する被写体が映像内に存在する場合には、映像の劣化を伴う。
図３は、従来の時間平滑処理が映像に与える効果を説明する図である。補正対象画像内の被写体は、時間平滑化により揺らぎの影響が補正される。しかし、図４に示す通り、時間平滑化のみの処理では、揺らぎの影響により被写体の輪郭にぼやけが生じてしまう。
図３は、画素値の時間平滑化が映像に与える効果を説明するための一例を示す図である。図３の上側の入力画像１０１は図１で説明した画像と同じである。しかし、移動体としての被写体像４０１が、入力画像１０２’と１０３’では、４０２’、４０３’のように移動している。
即ち、図３の下側の平滑化画像１０４’の被写体像２０４’、３０４’のように、補正対象画像の被写体が静止している領域８００では、時間平滑化により空気揺らぎの影響による歪みが補正される。しかし、被写体像４０４’のように、補正対象画像の被写体が移動している領域８０１に時間平滑化を施すと、歪みによる画素の変位だけでなく、被写体の移動による画素の変位を平滑化してしまい、移動する被写体の周囲に滲みが生じてしまう。つまり、画素値の時間平滑化は、移動する被写体が映像内に存在する場合には、映像の劣化を伴う。
図４によって、さらに従来の揺らぎ補正の概要を説明する。図４は、簡単化のため、図１と同様に、モノトーンで説明する。ただし、輝度値を“０〜２５５”の２５６階調の数値で示した画像を用いて説明する。
図４において、揺らぎなしの画像１４１〜１４６に対して、陽炎等によって、画像１４１の画像は画像１５１のように揺らぐ。以下同様に、画像１５２は画像１４２に対する揺らぎありの画像、画像１５３は画像１４３に対する揺らぎありの画像、画像１５３は画像１４３に対する揺らぎありの画像、画像１５４は画像１４４に対する揺らぎありの画像、画像１５５は画像１４５に対する揺らぎありの画像、及び画像１５６は画像１４６に対する揺らぎありの画像である。このように、揺らぎなし画像１４１〜１４６が、揺らぎによって揺らぎありの画像１５１〜１５６のように時間の経過によって、各画素値が変更されているとする。ここで、画像１４０〜１４６、１５１〜１５６及び２５７における枡目は、それぞれ、１つの画素を示す。また、画像１４１〜１４６及び１５１〜１５６の白い升目の画素は輝度値が“２５５”であり、黒い升目の画素は輝度値が“０”である。
図４において、揺らぎなしの画像１４１〜１４６に対して、陽炎等によって、画像１４１の画像は画像１５１のように揺らぐ。以下同様に、画像１５２は画像１４２に対する揺らぎありの画像、画像１５３は画像１４３に対する揺らぎありの画像、画像１５３は画像１４３に対する揺らぎありの画像、画像１５４は画像１４４に対する揺らぎありの画像、画像１５５は画像１４５に対する揺らぎありの画像、及び画像１５６は画像１４６に対する揺らぎありの画像である。このように、揺らぎなし画像１４１〜１４６が、揺らぎによって揺らぎありの画像１５１〜１５６のように時間の経過によって、各画素値が変更されているとする。ここで、画像１４０〜１４６、１５１〜１５６及び２５７における枡目は、それぞれ、１つの画素を示す。また、画像１４１〜１４６及び１５１〜１５６の白い升目の画素は輝度値が“２５５”であり、黒い升目の画素は輝度値が“０”である。
図４において、揺らぎありの画像１５１〜１５６のように、ｎ個の揺らぎありの時間的に連続な画像について、時間平滑化処理を行うと、画像２５７に示す各画素の中に示す数値“２１３”、“１２８”、“４３”の輝度値ように、灰色の画素に補正される。即ち、従来の補正処理では、全画素を時間平滑化に使用するため、図４のように、本来白い部分及び黒い部分も揺らぎによる黒画素あるいは白画素を加算することになり灰色となる。
６画像（画像１５１〜１５６）の各画素について、白画素であるか黒画素であるかの数を調べる。すると、領域Ｂ１（左から１列目と２列目の各画素）は６画像すべてについて白画素であり、領域Ｂ５（左から６列目と７列目の各画素）は６画像すべて黒画素である。領域Ｂ２（左から３列目の各画素）は、黒画素が１、白画素が５のため時間平滑化後の画素値は２１３（小数点以下は四捨五入）となり、領域Ｂ４（左から５列目の各画素）は、白画素が１、黒画素が５のため時間平滑化後の画素値は４３（小数点以下は四捨五入）となり、領域Ｂ３（左から４列目の各画素）は、白画素が３、黒画素が３のため時間平滑化後の画素値は１２８（小数点以下は四捨五入）となる。
このように、輝度値が“２１３”の画素は、本当は白いのに、黒が少し混ざった画素である。また、輝度値が“４３”の画素は、本当は黒いのに、白が少し混ざった画素である。さらに、輝度値が“１２８”の画素は、白と黒が等分に混ざった画素である。そのため、灰色部分が広がり、被写体像の輪郭がぼやけた状態となる。
この場合、画像１４０に示すｂ１〜ｂ５のように、左から右に、白から黒に次第に濃くなるようなグラディーションが表れる。ここで、ｂ１は輝度値が“２５５”の領域、ｂ２は輝度値が“２１３”の領域、ｂ３は輝度値が“１２８”の領域、ｂ４は輝度値が“４３”の領域、ｂ５は輝度値が“０”の領域である。このように、領域ｂ２〜ｂ４では画像がぼやけて見える。
このように、輝度値が“２１３”の画素は、本当は白いのに、黒が少し混ざった画素である。また、輝度値が“４３”の画素は、本当は黒いのに、白が少し混ざった画素である。さらに、輝度値が“１２８”の画素は、白と黒が等分に混ざった画素である。そのため、灰色部分が広がり、被写体像の輪郭がぼやけた状態となる。
この場合、画像１４０に示すｂ１〜ｂ５のように、左から右に、白から黒に次第に濃くなるようなグラディーションが表れる。ここで、ｂ１は輝度値が“２５５”の領域、ｂ２は輝度値が“２１３”の領域、ｂ３は輝度値が“１２８”の領域、ｂ４は輝度値が“４３”の領域、ｂ５は輝度値が“０”の領域である。このように、領域ｂ２〜ｂ４では画像がぼやけて見える。
本発明による揺らぎ補正の概要について、図５及び図６を参照して説明する。本説明では、簡単化のため、白と黒に分かれている画像を用いて説明する。図５と図６は、本発明の画像処理方法の一実施例を説明するための図である。図５及び図６においても、図３や図４と同様に、入力画像は、左から右に流れる時系列に従って、所定の時間間隔で画像処理装置に入力される。
本発明の画像処理方法の一実施例は、図５及び図６に示すように、時間平滑化処理をする前に、同じ位置の画素を画素の輝度及び色差を利用して複数のグループに分ける。そして、分けたそれぞれのグループの画素数の頻度を算出する。その後、最も大きな頻度を持つグループの情報を使用して、頻度が所定の閾値を越えた場合は、そのグループの情報のみを使用して時間平滑化を行う。それ以外では、全ての画素を使用して時間平滑化を行うものである。
本発明の画像処理方法の一実施例は、図５及び図６に示すように、時間平滑化処理をする前に、同じ位置の画素を画素の輝度及び色差を利用して複数のグループに分ける。そして、分けたそれぞれのグループの画素数の頻度を算出する。その後、最も大きな頻度を持つグループの情報を使用して、頻度が所定の閾値を越えた場合は、そのグループの情報のみを使用して時間平滑化を行う。それ以外では、全ての画素を使用して時間平滑化を行うものである。
図５の実施例では、各画素が“０（黒）”〜“２５５（白）”の輝度値を持つとし、“１２８”を閾値として２つのグループに分け、頻度の閾値を“４”とした場合の一例を示す。図５の揺らぎなしの画像１４１〜１４６、及び揺らぎありの画像２５１〜２５６は、図３の画像１４１〜１４６及び２５１〜２５６と同一である。
２つのグループは、白となるものがグループＡ、黒となるのがグループＢである。各桝目で示す画素位置の画素が属するグループは、グループ化と示された図の通りとなる。
左１列〜左３列の領域５１１〜５１６の各画素において、左１列と左２列の画素は、画像５０１〜５０６のどの画像においても全て白であるのでグループＡに属する。また左から３列目の画素は、画像５０１〜５０６のどの画像においても白の頻度が“５”となるためグループＡに属する。
左から４列目の領域５２１〜５２６の各画素は、黒、白の頻度とも“３”となるため、どちらのグループでもない。
左５列〜左７列の領域５３１〜５３６の各画素において、左から５列目は、黒の頻度が“５”となるため、グループＢに属する。残りの２列（左６列〜左７列の領域）の画素は全て黒であり、グループＢに属する。
その結果、時間平均化に使用する画素は、画素選択画像５５１〜５５６の通り、平滑化処理しない画素５６０が選択できる。
２つのグループは、白となるものがグループＡ、黒となるのがグループＢである。各桝目で示す画素位置の画素が属するグループは、グループ化と示された図の通りとなる。
左１列〜左３列の領域５１１〜５１６の各画素において、左１列と左２列の画素は、画像５０１〜５０６のどの画像においても全て白であるのでグループＡに属する。また左から３列目の画素は、画像５０１〜５０６のどの画像においても白の頻度が“５”となるためグループＡに属する。
左から４列目の領域５２１〜５２６の各画素は、黒、白の頻度とも“３”となるため、どちらのグループでもない。
左５列〜左７列の領域５３１〜５３６の各画素において、左から５列目は、黒の頻度が“５”となるため、グループＢに属する。残りの２列（左６列〜左７列の領域）の画素は全て黒であり、グループＢに属する。
その結果、時間平均化に使用する画素は、画素選択画像５５１〜５５６の通り、平滑化処理しない画素５６０が選択できる。
図６によって、本発明の図５の実施例に基づく時間平均化処理の結果を説明する。図６における、画像１４１〜１４６及び１５１〜１５６は、図４及び図５と同一の画像である。また、図６における、画像選択の画像５５１〜５５６は、図５と同一の画像である。
図６において、揺らぎありの画像１５１〜１５６を平滑化処理した画像６４７について説明する。
図５で説明したように、まず、左１列目〜３列目の領域Ｇ１の各画素において、左１列と左２列の各画素は、画像５０１〜５０６のどの画像においても全て白であるので画素値は“２５５”となる。また、左から３列目の画素は、白画素の頻度が高いため、白画素のみを使用して時間平滑化処理が行われ、画素値が“２５５”となる。
また、図５で説明したように、左６列目〜７列目の領域Ｇ３の各画素は、画像５０１〜５０６のどの画像においても全て黒であるので画素値は“０”となる。また、左から５列目の画素は、黒画素の頻度が高いため、黒画素のみを使用して時間平滑化処理が行われ、画素値が“０”となる。
さらに、左から４列目の領域Ｇ２の各画素は、黒画素の頻度と白画素の頻度が等しいため、全ての画素を使用して時間平滑化が行われ、画素値は“１２８”となる。
したがって、入力画像または入力画像に時間的に近い画像を補正対象画像として、当該補正対象画像に補正処理を施した後の最終的な補正結果画像６４０において、白色の画素の領域ｇ１と黒色の画素の領域ｇ３を除いた画素が灰色の領域ｇ２は、左から４列目の領域のみとなり、ぼやけが低減する。
図６において、揺らぎありの画像１５１〜１５６を平滑化処理した画像６４７について説明する。
図５で説明したように、まず、左１列目〜３列目の領域Ｇ１の各画素において、左１列と左２列の各画素は、画像５０１〜５０６のどの画像においても全て白であるので画素値は“２５５”となる。また、左から３列目の画素は、白画素の頻度が高いため、白画素のみを使用して時間平滑化処理が行われ、画素値が“２５５”となる。
また、図５で説明したように、左６列目〜７列目の領域Ｇ３の各画素は、画像５０１〜５０６のどの画像においても全て黒であるので画素値は“０”となる。また、左から５列目の画素は、黒画素の頻度が高いため、黒画素のみを使用して時間平滑化処理が行われ、画素値が“０”となる。
さらに、左から４列目の領域Ｇ２の各画素は、黒画素の頻度と白画素の頻度が等しいため、全ての画素を使用して時間平滑化が行われ、画素値は“１２８”となる。
したがって、入力画像または入力画像に時間的に近い画像を補正対象画像として、当該補正対象画像に補正処理を施した後の最終的な補正結果画像６４０において、白色の画素の領域ｇ１と黒色の画素の領域ｇ３を除いた画素が灰色の領域ｇ２は、左から４列目の領域のみとなり、ぼやけが低減する。
次に、本発明の揺らぎ補正の一実施例を図７の画像処理装置によって説明する。図７は、本発明の画像処理装置の一実施例の構成を示すブロック図である。
図７の画像処理装置７０において、入力画像１０は、入力部４ｉを介して、画像グループ化部１及び画像メモリ２に入力される。画像メモリ２は、入力された入力画像１０をｎ＋１個（ｎは２以上の自然数）格納する。また画像メモリ２は、格納された画像から、所望の画像を、補正対象画像１２及びｎ個の補正用画像１１として取出し、取り出した補正対象画像１２及びｎ個の補正用画像１１を画像グループ化部１に出力する。ここで、補正対象画像１２は、入力画像１０または入力画像１０に時間的に近い画像である。補正対象画像１２を現在の入力画像１０から何個前の画像にするかは、オペレータが予め設定しておくか、または、適宜選択する。
入力画像１０は、例えば、監視システムで使用される撮像装置の１つが時系列に沿って所定の時間間隔で撮像した映像である。
図７の画像処理装置７０において、入力画像１０は、入力部４ｉを介して、画像グループ化部１及び画像メモリ２に入力される。画像メモリ２は、入力された入力画像１０をｎ＋１個（ｎは２以上の自然数）格納する。また画像メモリ２は、格納された画像から、所望の画像を、補正対象画像１２及びｎ個の補正用画像１１として取出し、取り出した補正対象画像１２及びｎ個の補正用画像１１を画像グループ化部１に出力する。ここで、補正対象画像１２は、入力画像１０または入力画像１０に時間的に近い画像である。補正対象画像１２を現在の入力画像１０から何個前の画像にするかは、オペレータが予め設定しておくか、または、適宜選択する。
入力画像１０は、例えば、監視システムで使用される撮像装置の１つが時系列に沿って所定の時間間隔で撮像した映像である。
制御部５は、画像処理装置７０を構成する各要素（画像グループ化部１、画像メモリ２、画像グループ選択部３、揺らぎ補正部４、入力部４ｉ、出力部４ｏ、及び操作入力部５ｉｏ）と相互にアクセスし、制御部５に接続された内蔵または外付けの図示しない記憶部に格納された処理プログラムに従って、装置内の各要素を制御する。
オペレータは、操作入力部５ｉｏから操作して補正対象画像を選択する操作や閾値を変更する操作等を行う。
オペレータは、操作入力部５ｉｏから操作して補正対象画像を選択する操作や閾値を変更する操作等を行う。
画素グループ化部１は、複数の画像から、同一位置の画素を抽出し、輝度及び色差によりグループ分けする。即ち、画素グループ化部１は、入力部４ｉから入力された入力画像１０（必須ではない）、画像メモリ２から入力された補正対象画像１２及び補正用画像１１より、補正処理該当位置の画素情報１３を取り出す。画素情報１３は、基本的には、入力画像１０におけるものと同様の、所定の色空間表現形式（ＲＧＢ，ＹＣｂＣｒ，ＨＳＶ等）による、１ピクセル分の画素値である。
画素グループ化部１は、１画素位置に対して取り出した１＋ｎ個の画像情報１３、固定的に或いは適応的に設定した輝度値と色差値などの閾値を用いてグループ分けし、各グループに分類された画素数（時間領域おける画素の出現頻度）を算出する。そして、画素グループ化部１は、算出した画素頻度を含むグループ情報１４と、当該グループ情報を得た位置での１＋ｎ個の画素情報１３を画像グループ選択部３に順次出力する。
グループ情報１４は、厳密な意味での画素頻度ののみならず、どの画素情報１３がどのグループに分類されたかを示す情報も保持されていることが望ましく、或いは、計数せずにグループ分けした直後の結果でも良い。
画素グループ化部１は、１画素位置に対して取り出した１＋ｎ個の画像情報１３、固定的に或いは適応的に設定した輝度値と色差値などの閾値を用いてグループ分けし、各グループに分類された画素数（時間領域おける画素の出現頻度）を算出する。そして、画素グループ化部１は、算出した画素頻度を含むグループ情報１４と、当該グループ情報を得た位置での１＋ｎ個の画素情報１３を画像グループ選択部３に順次出力する。
グループ情報１４は、厳密な意味での画素頻度ののみならず、どの画素情報１３がどのグループに分類されたかを示す情報も保持されていることが望ましく、或いは、計数せずにグループ分けした直後の結果でも良い。
画素グループ選択部３は、画素位置毎に順次入力されたグループ情報１４に含まれる各グループの画素頻度を使用して、最大頻度のグループを選択する。複数のグループが同じ最大頻度となったときは、それらを全て選択する。また、画素頻度を閾値Ｔｆと比較し、閾値以上であれば、選択された画素グループの画素情報１５を揺らぎ補正部４に出力し、閾値未満であれば、１＋ｎ個の画素情報１５全てを揺らぎ補正部４に出力する。
揺らぎ補正部４は、画素グループ選択部３からの画素情報のみを使用して揺らぎを補正する機能を備える。
揺らぎ補正のアルゴリズムには、周知のものを任意に利用できるが、本例では画素情報の数が画素位置によって変化するので、揺らぎ補正の対象とならなかった画素の空隙を適切に扱う必要がある。時刻の異なる画素値を単純平均することで時間平滑化画像を得る方法であれば、画素数の変化に容易に対応できる。
揺らぎ補正部４は、画素位置毎に順次揺らぎ補正処理を実施して補正画像を生成し、出力部４ｏを介して生成した補正画像を出力画像２０として出力する。
揺らぎ補正のアルゴリズムには、周知のものを任意に利用できるが、本例では画素情報の数が画素位置によって変化するので、揺らぎ補正の対象とならなかった画素の空隙を適切に扱う必要がある。時刻の異なる画素値を単純平均することで時間平滑化画像を得る方法であれば、画素数の変化に容易に対応できる。
揺らぎ補正部４は、画素位置毎に順次揺らぎ補正処理を実施して補正画像を生成し、出力部４ｏを介して生成した補正画像を出力画像２０として出力する。
なお、画像グループ化部１の動作の詳細は、以下の通りである。
画素のグループ化は、各画素の情報に基づいて分類される。ここで、画素の情報とは、当該画素の明度と色である。
輝度と色差により画素を表現する場合には、輝度と色差を用いて分類を行う。即ち、輝度によって、複数のグループに分類し、色差にてグループをさらに細分化する。例えば、輝度値によって４つの閾値を用いて５グループに分類し、色差の２つの情報で、それぞれ１つの閾値を用いた場合には、２０のグループに分類されることとなる。
なお、精細度に関しては、輝度値が重要であることが一般的であるため、輝度のみを用いて分類を行っても良い。
これらの閾値は、固定値ではなく、画素毎に適応的に設定することが望ましい。例えば、画素毎に、１＋ｎフレーム分の画素値の平均値（揺らぎ補正部４の出力画像で代用可能）と分散を求め、ＹＣｂＣｒの各成分毎に平均値を基準にその上側、下側に閾値を設定する。なお分散は、画素毎に求めずに全画面共通でもよく、平均値に所定係数を乗じた値で代用しても良い。このような適応的な閾値を用いた場合、グル―プ分けは、全成分において平均値から近いか否かの２つで良い。
画素のグループ化は、各画素の情報に基づいて分類される。ここで、画素の情報とは、当該画素の明度と色である。
輝度と色差により画素を表現する場合には、輝度と色差を用いて分類を行う。即ち、輝度によって、複数のグループに分類し、色差にてグループをさらに細分化する。例えば、輝度値によって４つの閾値を用いて５グループに分類し、色差の２つの情報で、それぞれ１つの閾値を用いた場合には、２０のグループに分類されることとなる。
なお、精細度に関しては、輝度値が重要であることが一般的であるため、輝度のみを用いて分類を行っても良い。
これらの閾値は、固定値ではなく、画素毎に適応的に設定することが望ましい。例えば、画素毎に、１＋ｎフレーム分の画素値の平均値（揺らぎ補正部４の出力画像で代用可能）と分散を求め、ＹＣｂＣｒの各成分毎に平均値を基準にその上側、下側に閾値を設定する。なお分散は、画素毎に求めずに全画面共通でもよく、平均値に所定係数を乗じた値で代用しても良い。このような適応的な閾値を用いた場合、グル―プ分けは、全成分において平均値から近いか否かの２つで良い。
また、揺らぎ補正部４の動作の詳細は、以下の通りである。
揺らぎ補正部４には、画像グループ選択部３から、揺らぎの補正に使用する画素情報１５が入力される。この画素情報１５は、画像の同一位置の、時間が異なる画素情報のうち、時間平滑化に使用する画素情報を選択したものとなる。したがって、入力された画素情報１５を使用し、平滑化を行うこととなる。
平滑化後は、出力すべき画像の該当位置の画素情報となるため、揺らぎ補正部４は、出力部４ｏを介して補正画像として出力することとなる。
揺らぎ補正部４には、画像グループ選択部３から、揺らぎの補正に使用する画素情報１５が入力される。この画素情報１５は、画像の同一位置の、時間が異なる画素情報のうち、時間平滑化に使用する画素情報を選択したものとなる。したがって、入力された画素情報１５を使用し、平滑化を行うこととなる。
平滑化後は、出力すべき画像の該当位置の画素情報となるため、揺らぎ補正部４は、出力部４ｏを介して補正画像として出力することとなる。
上記実施例によれば、揺らぎを補正しつつ被写体の輪郭に発生するぼやけを低減することができる。
なお、図１〜図６では、分かり易く説明するため、濃淡画像で行ったが、図７の説明のように、カラー画像でも同じことがいえることは自明である。
さらに、上記実施例では、１画素毎に画像のグループ化、及び時間平滑化に使用する画素の選択を行っているが、複数の画素ブロック毎に実施しても良い。また、時間領域での頻度に限らず、時空間での頻度を用いることができ、例えば、ある補正処理該当位置の画素関して、その画素に空間的に隣接する画素も含めてヒストグラム（度数）を求めても良い。
なお、図１〜図６では、分かり易く説明するため、濃淡画像で行ったが、図７の説明のように、カラー画像でも同じことがいえることは自明である。
さらに、上記実施例では、１画素毎に画像のグループ化、及び時間平滑化に使用する画素の選択を行っているが、複数の画素ブロック毎に実施しても良い。また、時間領域での頻度に限らず、時空間での頻度を用いることができ、例えば、ある補正処理該当位置の画素関して、その画素に空間的に隣接する画素も含めてヒストグラム（度数）を求めても良い。
図８は、本発明の実施例に係る撮像装置１５００の機能ブロック図である。撮像装置１５００は、撮像部１５０１、画像処理装置７０、及び画像表示部１５０２を備える。撮像部１５０１は、被写体から発する光を受光し、受光した光学像を画像データに変換する撮像デバイスである。画像処理装置７０は、実施例１に係る画像処理装置であり、撮像部１５０１が撮影した画像データを受け取って陽炎等の発生による空気の揺らぎに起因する歪みを補正する。画像表示部１５０２は、画像処理装置７０が出力する補正後画像を表示するデバイスである。
画像表示部１５０２は、動作モードに応じて表示する画像を切り替える。例えば、モードが１の場合、陽炎の発生等による空気の揺らぎを低減した補正後画像を表示し、モードが０の場合、補正していない入力画像を表示する。
本実施例２に係る撮像装置１５００によれば、静止領域と移動物体を共に含む画像全体の陽炎の発生等による空気の揺らぎを低減した補正後画像を撮影者に対して表示する撮像装置を提供することができる。
図９は、本発明の実施例３に係る監視システム１６００の機能ブロック図である。監視システム１６００は、撮像装置１６０１、画像処理装置７０、サーバ１６０２、表示装置１６０３を備える。撮像装置１６０１は、画像データを撮影する１以上の監視カメラなどの撮像装置である。画像処理装置７０は、実施例１係る画像処理装置であり、撮像装置１６０１が撮影した画像データを受け取って陽炎等の発生による空気の揺らぎを補正する。サーバ１６０２は、画像処理装置７０を搭載したコンピュータである。
表示装置１６０３は、画像処理装置７０が出力する補正後画像を表示するデバイスである。
表示装置１６０３は、画像処理装置７０が出力する補正後画像を表示するデバイスである。
撮像装置１６０１とサーバ１６０２の間、およびサーバ１６０２と表示装置１６０３の間は、被監視場所と監視オペレータとの間の物理的配置などに応じて、例えばインターネットなどのネットワークを介して接続することができる。
本実施例３に係る監視システム１６００によれば、静止領域と移動物体を共に含む画像全体の陽炎の発生等による空気の揺らぎを低減した補正後画像を監視オペレータに対して表示する監視システムを提供することができる。
図１０は、本発明の実施例４に係る符号復号システム１７００の機能ブロック図である。符号復号システム１７００は、符号化装置１７１０、復号器１７２１、表示装置１７２２を備える。符号化装置１７１０は、撮像装置１７１１、画像処理装置７０、及び符号器１７１２を備える。
撮像装置１７１１は、画像データを撮影する監視カメラなどの撮像装置である。画像処理装置１７０４は、実施例１に係る画像処理装置であり、撮像装置１７１１が撮影した画像データを受け取って陽炎を補正する。符号器１７１２は、画像処理装置７０が出力する補正後画像データを符号化し、ネットワークを介して復号器１７２１へ伝送する。復号器１７２１は、伝送されてきた補正後画像データを復号化する。表示装置１７２２は、復号器１７２１が復号化した画像を表示する。
本実施例４に係る符号復号システム１７００によれば、静止領域と移動物体を共に含む画像全体の陽炎の発生等による空気の揺らぎを低減した復号後画像を表示する符号復号システムを提供することができる。さらに、画像内の陽炎の発生等による空気の揺らぎを低減することにより、符号器１７１２が伝送すべき画像間の差分が小さくなり、符号化効率が向上する。
図１１によって、本発明の第５の実施例について説明する。図１１は、本発明の画像処理方法の一実施例を説明するためのフローチャートである。
図１１の処理は、例えば、図７の制御部５が、装置内の各要素を制御する。
制御部５は、本発明の画像処理を実施する処理プログラムを有し、処理プログラムに基づいて画像処理を実施する。なお、処理プログラムの閾値等は予め所定に値に設定されているとする。
図１１の処理は、例えば、図７の制御部５が、装置内の各要素を制御する。
制御部５は、本発明の画像処理を実施する処理プログラムを有し、処理プログラムに基づいて画像処理を実施する。なお、処理プログラムの閾値等は予め所定に値に設定されているとする。
図１１において、まず画像入力ステップＳ０１では、外部から時系列に沿って入力された入力画像を入力すると共に、画像メモリに格納し、格納された画像から補正対象画像及び時系列に沿って格納された複数の補正用画像を出力する。
次に画像グループ化ステップＳ０２では、入力画像または補正対象画像、及び複数の補正用画像から、同一位置の画素を抽出し、輝度によりグループ分けし、補正処理該当位置の画素情報及びグループ分けしたグループの画素頻度を算出し、算出した画素頻度とグループの位置を示す画素情報を出力する。
即ち、画像グループ化ステップＳ０２では、入力された入力画像または格納された補正対象画像、及び格納された補正用画像より、補正処理該当位置の画素情報を取り出す。そして、取り出した画像情報を用いて、あらかじめ画素の輝度値などを用いて設定された各グループ分けされたグループの画素頻度を算出する。さらに、算出した画素頻度を含むグループ情報と、処理該当位置（当該グループの位置）を示す画素情報を出力する。
なお、グループ情報は、画素頻度の他、例えば、グループ分けされたグループの輝度値情報若しくは輝度値及び色差である。
即ち、画像グループ化ステップＳ０２では、入力された入力画像または格納された補正対象画像、及び格納された補正用画像より、補正処理該当位置の画素情報を取り出す。そして、取り出した画像情報を用いて、あらかじめ画素の輝度値などを用いて設定された各グループ分けされたグループの画素頻度を算出する。さらに、算出した画素頻度を含むグループ情報と、処理該当位置（当該グループの位置）を示す画素情報を出力する。
なお、グループ情報は、画素頻度の他、例えば、グループ分けされたグループの輝度値情報若しくは輝度値及び色差である。
次にグループ選択ステップＳ０３では、入力された画素頻度を使用して最大頻度のグループを選択し、かつ、画素頻度と所定の閾値を比較し、全画素による時間平滑化を行うか否かの選択を行い時間平滑化処理に使用する画素グループを選択し、選択されたグループの画素情報を出力する。
即ち、グループ選択ステップＳ０３では、入力されたグループ情報に含まれる各グループの画素頻度を使用して、最大頻度のグループを選択する。また、画素頻度と閾値を比較し、全画素による時間平滑化を行うか否かの選択を行い、時間平滑化処理に使用する画素グループを選択する。そして、選択された画素グループの画素情報を出力する。
即ち、グループ選択ステップＳ０３では、入力されたグループ情報に含まれる各グループの画素頻度を使用して、最大頻度のグループを選択する。また、画素頻度と閾値を比較し、全画素による時間平滑化を行うか否かの選択を行い、時間平滑化処理に使用する画素グループを選択する。そして、選択された画素グループの画素情報を出力する。
次に、揺らぎ補正ステップＳ０４では、選択されたグループの画素情報を使用して時間平滑化により揺らぎ補正する。
即ち、揺らぎ補正ステップＳ０４では、入力されたグループの画素情報を使用し、時間平滑化による揺らぎ補正を実施する。そして、処理対象画像中の全ての画素について揺らぎ補正処理を実施して補正画像を生成し、出力する。
即ち、揺らぎ補正ステップＳ０４では、入力されたグループの画素情報を使用し、時間平滑化による揺らぎ補正を実施する。そして、処理対象画像中の全ての画素について揺らぎ補正処理を実施して補正画像を生成し、出力する。
以上によって、入力画像または前記補正対象画像から補正画像を生成することによって、揺らぎを補正しつつ被写体の輪郭に発生するぼやけを低減することができる。
なお、上記実施例の画像補正装置及び画像補正方法によれば、陽炎の他に、例えば水面の揺らぎ、木々の揺れ、大気中のもや、水中撮影時の画像の歪み等に対して幅広く補正を行うことが可能であり、不規則に揺れている被写体を止めて視認性を高める用途に広く利用することができる。
また、各構成、機能、処理部、処理手段等は、それらの一部や全部を、例えば集積回路で設計する等によりハードウェアで実現しても良い。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現しても良い。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。
１：画像グループ化部、 ２：画像メモリ、 ３：画像グループ選択部、 ４：揺らぎ補正部、 ４ｉ：入力部、 ４ｏ：出力部、 ５：制御部、 ５ｉｏ：操作入力部、 １０：入力画像、 １１：補正用画像、 １２：補正対象画像、 １３：画素情報、 １４：グループ情報、 １５：画素情報、 ２０：出力画像、 ７０：画像処理装置、 １０１〜１０３、１０２’〜１０４’、１１１、１２１〜１２３、１４０〜１４６、：入力画像、 １０４、１２４、１４７、３０４：平滑化画像、 ２０１〜２０４、２１１、２２１〜２２４、２４１〜２４６、２５１〜２５７、３０１〜３０４、４０１〜４０４、４０２’〜４０４’：被写体像、 ５０１〜５０６：グループ化画像、 ５５１〜５５６：画素選択画像、 ５６０：平滑化処理しない画素、 ６４０：補正結果画像、 ５１１〜５１６、８００、８０１：領域、 １５００：撮像装置、 １５０２：画像表示部、 １６００：監視システム、 １６０１：撮像装置、 １６０２：サーバ、 １６０３：表示装置、 １７００：符号復号システム、 １７１０：符号化装置、 １７１１：撮像装置、 １７１２：符号器、 １７２１：復号器、 １７２２：表示装置、 ａ１〜ａ３、Ｂ１〜Ｂ５、ｂ１〜ｂ５、Ｇ１〜Ｇ３、ｇ１〜ｇ３：領域。
Claims (4)
- 時系列に沿って入力された入力画像を格納し、該格納された画像から補正対象画像及び前記時系列に沿って格納された複数の補正用画像を出力する画像メモリと、
前記入力画像または前記補正対象画像、及び前記複数の補正用画像から、同一位置の画素を抽出し、輝度によりグループ分けし、補正処理該当位置の画素情報及び前記グループ分けしたグループの画素頻度を算出し、算出した前記画素頻度と前記グループの位置を示す画素情報を出力する画素グループ化部と、
入力された前記画素頻度を使用して最大頻度のグループを選択し、かつ、前記画素頻度と所定の第１の閾値を比較し、全画素による時間平滑化を行うか否かの選択を行い時間平滑化処理に使用する画素グループを選択し、選択されたグループの画素情報を出力する画素グループ選択部と、
前記選択されたグループの画素情報を使用して時間平滑化により揺らぎ補正する揺らぎ補正部と、
装置を構成する各要素を制御する制御部と、
を備え、前記入力画像または前記補正対象画像を補正することを特徴とする画像処理装置。 - 請求項１記載の画像処理装置において、前記画素グループ化部は、前記輝度及び前記第１の閾値によって複数のグループに分類し、さらに、色差及び第２の閾値によって複数のグループに分類することを特徴とする画像処理装置。
- 請求項１または請求項２記載の画像処理装置において、前記画素グループ化部は、前記グループ分けされたグループの輝度値情報若しくは輝度値情報及び色差情報を、前記画素頻度と共にグループ情報として出力することを特徴とする画像処理装置。
- 時系列に沿って入力された入力画像を格納し、該格納された画像から補正対象画像及び前記時系列に沿って格納された複数の補正用画像を出力する画像入力ステップと、
前記入力画像または前記補正対象画像、及び前記複数の補正用画像から、同一位置の画素を抽出し、輝度によりグループ分けし、補正処理該当位置の画素情報及び前記グループ分けしたグループの画素頻度を算出し、算出した前記画素頻度と前記グループの位置を示す画素情報を出力する画像グループ化ステップと、
入力された前記画素頻度を使用して最大頻度のグループを選択し、かつ、前記画素頻度と所定の閾値を比較し、全画素による時間平滑化を行うか否かの選択を行い時間平滑化処理に使用する画素グループを選択し、選択されたグループの画素情報を出力するグループ選択ステップと、
前記選択されたグループの画素情報を使用して時間平滑化により揺らぎ補正する揺らぎ補正ステップと、
を備え、前記入力画像または前記補正対象画像から補正画像を生成することを特徴とする画像処理方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2013/075436 WO2015040731A1 (ja) | 2013-09-20 | 2013-09-20 | 画像処理装置及び画像処理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPWO2015040731A1 true JPWO2015040731A1 (ja) | 2017-03-02 |
Family
ID=52688413
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015537516A Pending JPWO2015040731A1 (ja) | 2013-09-20 | 2013-09-20 | 画像処理装置及び画像処理方法 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JPWO2015040731A1 (ja) |
| WO (1) | WO2015040731A1 (ja) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002049920A (ja) * | 2000-06-01 | 2002-02-15 | Univ Of Washington | 画像オブジェクトの所望の輪郭を推定するための方法および装置 |
| JP2008160733A (ja) * | 2006-12-26 | 2008-07-10 | Sony Corp | 撮像装置、撮像信号処理方法及びプログラム |
| JP2010097430A (ja) * | 2008-10-16 | 2010-04-30 | Tokyo Univ Of Agriculture & Technology | 煙検出装置及び煙検出方法 |
-
2013
- 2013-09-20 WO PCT/JP2013/075436 patent/WO2015040731A1/ja active Application Filing
- 2013-09-20 JP JP2015537516A patent/JPWO2015040731A1/ja active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002049920A (ja) * | 2000-06-01 | 2002-02-15 | Univ Of Washington | 画像オブジェクトの所望の輪郭を推定するための方法および装置 |
| JP2008160733A (ja) * | 2006-12-26 | 2008-07-10 | Sony Corp | 撮像装置、撮像信号処理方法及びプログラム |
| JP2010097430A (ja) * | 2008-10-16 | 2010-04-30 | Tokyo Univ Of Agriculture & Technology | 煙検出装置及び煙検出方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2015040731A1 (ja) | 2015-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5908174B2 (ja) | 画像処理装置及び画像処理方法 | |
| KR101478669B1 (ko) | 적응성 픽셀-기반의 필터링을 위한 자동 파라미터 추정 | |
| US20130169834A1 (en) | Photo extraction from video | |
| JP6104680B2 (ja) | 画像処理装置、撮像装置、監視システム、符号化装置、画像処理方法 | |
| JP2020160616A (ja) | 生成装置、コンピュータプログラム、生成方法 | |
| CN104335565A (zh) | 采用具有自适应滤芯的细节增强滤波器的图像处理方法 | |
| JP2010218548A (ja) | 仮想画像を合成する方法 | |
| JP2010218549A (ja) | 深度画像をフィルタリングする方法 | |
| KR101295649B1 (ko) | 화상처리장치, 화상처리방법, 및 기억매체 | |
| JP2009093323A (ja) | 画像処理装置およびプログラム | |
| JP5511468B2 (ja) | 画像処理装置およびその制御方法、並びにプログラム | |
| US10123021B2 (en) | Image encoding apparatus for determining quantization parameter, image encoding method, and program | |
| JP2009044633A (ja) | 画像処理のための装置、方法、および、プログラム | |
| CN112819699A (zh) | 视频处理方法、装置及电子设备 | |
| Chang et al. | Beyond camera motion blur removing: How to handle outliers in deblurring | |
| JP6624061B2 (ja) | 画像処理方法、画像処理装置、及び画像処理プログラムを記憶する記録媒体 | |
| EP3977747A1 (en) | Pre-processing for video compression | |
| JP5660300B2 (ja) | 画像処理装置 | |
| WO2015040731A1 (ja) | 画像処理装置及び画像処理方法 | |
| WO2018225134A1 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
| JP6957665B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP3959547B2 (ja) | 画像処理装置、画像処理方法、及び情報端末装置 | |
| JP2019045981A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP4892729B2 (ja) | テクスチャ画像への情報埋め込み方法および情報読み込み方法ならびにテクスチャ画像への情報埋め込み装置および情報読み込み装置 | |
| KR101854611B1 (ko) | 엔트로피를 이용한 가중치 할당에 기초한 이미지 처리 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170406 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20171011 |