JP5908174B2 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP5908174B2 JP5908174B2 JP2015526283A JP2015526283A JP5908174B2 JP 5908174 B2 JP5908174 B2 JP 5908174B2 JP 2015526283 A JP2015526283 A JP 2015526283A JP 2015526283 A JP2015526283 A JP 2015526283A JP 5908174 B2 JP5908174 B2 JP 5908174B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- correction
- comparison target
- index
- block size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 64
- 238000003672 processing method Methods 0.000 title description 4
- 238000012937 correction Methods 0.000 claims description 113
- 238000009826 distribution Methods 0.000 claims description 31
- 238000004364 calculation method Methods 0.000 claims description 24
- 238000003702 image correction Methods 0.000 claims description 22
- 230000008859 change Effects 0.000 claims description 16
- 238000006073 displacement reaction Methods 0.000 claims description 11
- 230000010354 integration Effects 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 25
- 238000003384 imaging method Methods 0.000 description 21
- 238000000034 method Methods 0.000 description 21
- 230000002829 reductive effect Effects 0.000 description 20
- 238000009499 grossing Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 14
- 238000003706 image smoothing Methods 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000002156 mixing Methods 0.000 description 5
- 230000006866 deterioration Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000005549 size reduction Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000003381 stabilizer Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
監視カメラは、大気や照明変化の影響を受け易く、これらの影響による画像の視認性を改善することは、監視カメラにとって重要な課題の1つである。中でも、揺れ補正(スタビライザ)、階調補正、外乱(霧、雨、吹雪、黄砂、スモッグ等)補正などに代表される画像補正技術は重要であり、これまでにもさまざまな製品に搭載されてきた。
また、特許文献2は、1フレーム前の画像に着目して陽炎等の画像補正を行っている。
本発明の目的は、上記課題に鑑みて為されたものであり、静止領域と移動物体を共に含む画像の場合に発生する歪みを低減することができる画像処理技術を提供することにある。
また、補正対象画像と補正画像のそれぞれのヒストグラムは、補正対象画像と補正用画像の比較対象画素ブロックから、被写体の変形に対する頑健性の異なる複数の指標を算出し、頑健性の異なる2つの指標の関係性により、比較対象画素ブロック内の被写体の状態と比較対象画素ブロックサイズとの関係を判断し、適切な比較対象画素ブロックサイズを決定し、決定した比較対象画素ブロックサイズで求める。
なお、本発明は、以下に説明する実施例に限定されるものではなく、様々な変形例が含まれる。下記の実施例は本発明を分かり易く説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることもできる。また、ある実施例の構成に他の実施例の構成を加えることもできる。また、各実施例の構成の一部について、他の構成を追加、削除、若しくは置換することもできる。
平滑化画像104は、複数の入力画像(本例では入力画像101〜103)が時間領域で平均化されたものである。平滑化画像104は、補正対象画像の被写体が静止している領域800では、時間平滑化により空気揺らぎの影響による歪みが補正される。これが、空気揺らぎの除去の基本原理である。しかし、被写体が移動している領域801に時間領域で平滑化を施すと、歪みによる画素の変位だけでなく、被写体の移動による画素の変位を平滑化してしまい、移動する被写体の周囲に滲みが生じてしまう。つまり、画素値の時間平滑化は移動する被写体が映像内に存在する場合は、映像の劣化の原因となる。このように、実際の被写体が静止しているか移動しているかを正確に推定することが重要であることが理解できる。
図2は、画像内の歪みとヒストグラムの関係を示した図である。図2の上側に示された入力画像901は、入力画像(補正対象画像)の一部を拡大して示した図である。また、図2の上側の平滑化画像902は、入力画像901の領域を平滑化した画像(補正の用に供される画像)である。現実の平滑化画像902の輪郭は、ぼやけている。
入力画像901内の2つの領域Aと領域Bは、比較対象画素ブロックであり、破線枠の大きさは、それぞれ比較対象画素ブロックサイズを示す。領域Aと領域Bは、中心位置が同一に設定される。同様に、図2の上側の平滑化画像902内にも、同じ画素位置(同一画角位置)における2つの領域Aと領域Bを示す。図2を見ると分かるように、領域Aと領域Bのブロックサイズは異なり、領域Aのブロックサイズは、領域Bのブロックサイズより大きい。
図2の入力画像901の画素領域の一部は空気揺らぎの影響を受けた(即ち、画像のエッジに歪みが現れた)被写体像96となっている。この被写体像96は、平滑化されることによって、平滑化画像902内では歪みが軽減された被写体像97となる。
比較されるヒストグラム903を見ると分かるように、比較対象画素ブロックサイズが大きい(領域A)と、歪みの有無による形状変化があっても、補正対象画像のヒストグラム906に対して補正用画像のヒストグラム907の変化が小さくなる。
また、ヒストグラム図904を見ると分かるように、比較対象画素ブロックサイズが小さい(領域B)と、歪みの有無による形状変化があると、補正対象画像のヒストグラム908に対して補正用画像のヒストグラム908の変化が大きくなる。つまり、ブロックサイズが小さいと、ヒストグラムの、被写体の形状変化に頑健な特性が失われてしまう。
図3は、比較対象画素ブロックサイズが大きいと移動する被写体を検出できなくなることを説明する図である。図3は、比較対象画素ブロック内の画像が異なる以外は、図2と対応している。上側の入力画像1001は、入力画像の一部を拡大して示した図である。また、上側の平滑化画像1002は、入力画像1001の領域を平滑化した画像である。入力画像1001内の2つの領域Aと領域Bは、比較対象画素ブロックであり、平滑化画像1002の対応する場所にも、同じ2つの領域Aと領域Bが設定される。
ヒストグラム図1003を見ると分かるように、比較対象画素ブロックサイズが大きい(領域A)と、歪みの有無による形状変化は、補正対象画像のヒストグラム1006に対して補正用画像のヒストグラム1007の相違が小さい。
また、ヒストグラム図1004を見ると分かるように、比較対象画素ブロックサイズが小さい(領域B)と、歪みの有無による形状変化は、補正対象画像のヒストグラム1008に対して補正用画像のヒストグラム1008の相違が大きい。
2つのヒストグラム間の相違または類似度を計算する方法はいくつか知られるが、例えば正規化されたヒストグラム・インターセクションやBhattacharyya係数が利用できる。
上記図3のヒストグラムは、移動する被写体についてのヒストグラムの特性であるが、ブロックサイズを大きくすると、図2の移動しない被写体のヒストグラムとほぼ同様に、ヒストグラムの相違が小さくなり、移動する被写体が検出できない。
移動する被写体1068は、1枚ずつのフレーム(画像)では、1箇所に存在するだけであるが、複数フレームを平滑化すると平滑化画像1002の被写体1079のようにぼやけた画像となって現れる。即ち、被写体1068に対して比較対象画素ブロックサイズが相対的に大きくなればなるほど、被写体の移動による画素値の変化がヒストグラムの形状に与える影響も小さくなり、空気揺らぎの影響と区別し難くなる。このため、ヒストグラムの単純な比較に基づいて移動体を判定し時間平滑化の強度を調整すると、移動する被写体の輪郭に滲みが生じ易くなる。更に小さな被写体は、被写体と判定されることなく時間平滑画像に埋もれてしまう。
画像メモリ3は、入力された画像を蓄積し、蓄積された画像のうちの所定のフレーム数の画像をパラメータ制御装置2に提供する。所定のフレーム数は、例えば、パラメータ制御装置2及び揺らぎ補正装置1が補正用画像を作成するための時間平滑化処理に使用する数である。
揺らぎ補正装置1は、パラメータ制御装置2から入力されたパラメータに基づいて、入力画像に歪み補正処理を施し、高解像度化画像を作成し、記憶すると共に、出力部4oを介して外部に出力する。
なお、画像メモリ3は、揺らぎ補正装置1が内蔵するメモリ(90)を用いても良い。パラメータ制御装置2が、揺らぎ補正装置1内で生成される時間平滑化画像を流用するのであれば、画像メモリ3は不要である。
被写体の変形に頑健な特性をもつ指標は、例えば、複数の画素をビンに集計して比較するような種類のもので、その1つに上述のヒストグラムの類似度がある。画素ブロック内の画素値を直接集計する場合、補正対象画像と補正用画像を縮小してから画素値を比較することにより、被写体の形状変化に強い特性が得られる。或いは画素値の勾配(エッジ)の方向やパターンを集計したヒストグラムを用いてもよい。
また、被写体の形状に頑健でない指標は、例えば、個々の画素値を直接比較するような種類のもので、その1つにSAD(Sum of Absolute Difference)がある。
図5において、横軸は指標I1、縦軸は指標I2である。ここで、指標I1は、被写体の移動による画素値の変化を示し、指標I2は、ヒストグラムベースの、被写体の変形に頑健な指標とする。
指標I1は、閾値Th1によって状態P1とそれ以外の状態と分けられる。さらに、指標I2は、閾値Th2によって状態P2と状態P3とに分けられる。例えば、
I1<Th1の場合には、状態P1とする。
I1≧Th1、かつ、I2<Th2の場合には、状態P2とする。
I1≧Th1、かつ、I2≧Th2の場合には、状態P3とする。
適切な閾値の下では、状態P1は、背景であると考えられる領域であり、状態P2は空気揺らぎが生じている、或いは細かな移動体が映っていると考えられる領域であり、状態P3は、移動体と考えられる領域である。
本例のパラメータ制御装置2は、この関係性をもとに、適切な比較対象画素ブロックサイズを探索する。ただし、閾値Th1及び閾値Th2は、そこから指標を得た比較対象画素ブロックサイズに依存するので、比較対象画素ブロックサイズごとに適切に決定することが望ましい。
即ち、領域分割ステップS1201では、まず揺らぎの幅以上の粗い粒度で領域を仮想的(論理的)に分割する。仮想的な分割とは、画像ブロック単位で画像に容易にアクセスできるようにすることを意味し、そのように論理的に扱うことができれば十分である。なお、移動する被写体と背景をこの時点で分類しても良い。その際、揺らぎの幅以上に画像を縮小することにより、揺らぎの影響を緩和しながら大まかな移動体の検出が可能となる。
このとき基本的には、与えられた画素ブロック内の画素全体を比較対象画素ブロックに設定するが、画素は間引かれても良い。
また、比較対象画素ブロックサイズは、最大幅の揺らぎを補正できるものから始め、ループ(ステップS1203からステップS1205及びステップS1207を経てステップS1203に戻る)毎に縮小して評価を行う。即ち、2度目以降のループでは、ステップS1207で縮小された比較対象画素ブロックサイズが適用される。
次に統合情報判定ステップS1205では、状態情報統合ステップS1204で算出された統合情報(例えば、変動率)が前回の統合情報に比べて所定の割合以上変化した場合には、ブロックサイズ決定ステップS1206の処理に分岐する。また、前回の統合情報に比べて所定の割合未満しか変化していない場合には、ブロックサイズ縮小ステップS1207の処理に分岐する。また、前回の統合情報が無い(ステップS1204が初めて統合情報を算出した直後のステップS1205である)場合には、ブロックサイズ縮小ステップS1207の処理に分岐する。
このように、ステップS1203、S1204、及びS1206では、比較対象画素ブロックサイズを小さくしていき、状態P2の領域の割合が急激に変化した場合には、比較対象画素ブロックサイズが揺らぎの幅以下になったと判定し、処理ループから抜け、ブロックサイズ決定ステップS1206に移行する。このタイミングでは、これまで安定的に状態P2に属していた領域(揺らいでいるが移動体ではない)の一部が、状態P3に属するようになって、P2割合の急激な減少が起こっていると考えられる。
さらに、撮影しているカメラのズーム倍率が変化したなどの、外部からのきっかけでブロックサイズを更新しても良い。
パラメータ制御装置5は、補正対象画像である入力画像と揺らぎ補正装置1から出力されたの補正画像から、パラメータ(比較対象画素ブロックサイズ)を求め、揺らぎ補正装置1に出力する。パラメータ制御装置5は、平均化画像の代替として補正画像を用い、また揺らぎ補正装置1が移動体を検出した領域を補正情報6として受け取り、パラメータの制御に利用する。例えば、図6のS1202の比較対象画素領域の決定に際し、移動体を検出した領域以外から、一定数の領域をサンプルするようにすれば、画像中に移動体が占める割合の変化に対してロバストになる。
なお、座標(i,j)のうち、iは画像上の水平方向の画素位置を示し、jは画像上の垂直方向の画素位置を示す。
ヒストグラムH1とH2の横軸は階調値、縦軸はその階調値の度数(出現数)を示す。なお、以下に説明するその他のヒストグラムの横軸及び縦軸についても、図10のヒストグラムと同様である。
(ステップS702) 相違度算出部13は、ヒストグラムH1とH2の間の相違度Lを算出する。
(ステップS705) 画像補正部14は、補正値として平滑化画像Mの画素値を設定する。
(ステップS706〜S708) 画像補正部14は、相違度Lが、閾値T1、T2に対して、T1<L≦T2を満たすか否かを判定する。上記条件を満足した場合にはステップ707に進み、満足しない(L≦T1、またはT2<L)場合にはステップS708に進む。
なお、ステップS704及びステップS706の処理は、相違度Lと閾値T1、T2の関係がT1<L≦T2であるか否かを判定するだけであるので、必ずしもこの手順でなくても良い。例えば、ステップS704及びステップS706を合わせた処理ステップでは、L≦T1の場合にはステップS705に進み、T1<L≦T2の場合にはステップ707に進み、T2<Lの場合にはステップ708に進む。
(ステップS708) 条件を満たさなかった場合は、画像Nの画素値を補正値に設定する。
(ステップS710) 画像補正部14と高解像度化部15は、対象画像内の全ての画素について、補正値および高解像度化した画素値を求めるまで、上記ステップS702〜S709の処理を繰り返す。
また、本実施例の領域分割による移動物体分離方法を、画像補正以外の用途で利用することもできる。例えば、陽炎等による歪みが含まれる監視映像内から侵入者を自動検知したり、進入車両のナンバーを自動識別するシステム等にて、移動物体として識別された領域を解析することで、処理量を低減することができる。
10:入力部、 11:画像平滑化部、 12:階調分布算出部、 13:相違度算出部、 14:画像補正部、 15:高解像度化部、 16:記録部、 91:制御部、
1111:除去画像生成部、 1500:撮像装置、 1600:監視システム、 1700:符号復号システム。
Claims (6)
- 時系列に沿って撮影された入力画像を入力する入力部、前記入力画像を蓄積する画像メモリ、揺らぎ補正装置、及びパラメータ制御装置を備えた画像処理装置であって、
前記画像メモリは、蓄積した前記入力画像のうちの所定のフレーム数の画像を前記パラメータ装置に出力し、
前記パラメータ装置は、前記入力画像と前記画像メモリから入力された画像から比較対象画素ブロックサイズを求め、求めた比較対象画素ブロックサイズを前記揺らぎ補正装置に出力し、
前記揺らぎ補正装置は、前記時系列に沿って撮影された入力画像を用いて時間平滑化画像を作成し、前記入力画像のうちの補正対象画像と前記時間平滑化画像の画素毎に前記比較対象画素ブロックサイズのヒストグラムをそれぞれ作成し、それぞれのヒストグラムの類似度に応じて画素ごとに画素の補正量を変えて前記補正対象画像を補正することを特徴とする画像処理装置。 - 時系列に沿って撮影された複数の画像フレームを受け取る入力部と、
前記画像フレームのうち補正対象とする対象フレーム内における第1画像領域の第1階調分布を算出するとともに、前記画像フレームのうち前記対象フレームを補正するために用いる補正用フレーム内における前記第1画像領域に対応する第2画像領域の第2階調分布を算出する階調算出部(12)と、
対象フレーム及び補正用フレームから、被写体の変形に対する頑健性の異なる2つの指標のセットを算出し、該2つの指標の関係に基づいて前記第1画像領域及び第2画像領域のサイズを制御するパラメータ制御部(5)と、
前記第1階調分布と前記第2階調分布との間の第1類似度を算出する類似度算出部(13)と、
前記補正用フレームを用いて前記対象フレームを補正する画像補正部(14)と、
前記画像補正部が補正した前記対象フレームを出力する出力部と、を備え、
前記画像補正部は、前記第1類似度に応じて前記対象フレームと前記補正用フレームを使用する割合を変更した上で、前記補正用フレームを用いて前記対象フレームを補正することを特徴とする画像処理装置。 - 前記セットの一方の指標は、前記第1画像領域及び第2画像領域における複数の画素の間の相違に基づく第1指標であり、前記セットの他方の指標は、前記第1画像領域及び第2画像領域における個々の画素間の相違に基づく第2指標であることを特徴とする請求項2記載の画像処理装置。
- 前記セットの一方の指標は、前記第1画像領域及び第2画像領域における画素値のヒストグラムの相違に基づく第1指標であり、前記セットの他方の指標は、前記第1画像領域及び第2画像領域における画素値の絶対差分総和に基づく第2指標であることを特徴とする請求項2記載の画像処理装置。
- 前記パラメータ制御部は、前記第1指標及び第2指標に対応させて第1閾値及び第2閾値を設定し、画像フレーム内の複数の位置に設けた前記第1画像領域及び第2画像領域から複数の前記セットをそれぞれ算出し、前記第1指標が前記第1閾値以上で且つ前記第2指標が前記第2閾値未満となる該セットの数に基づいて、前記サイズを制御することを特徴とする請求項3又は4記載の画像処理装置。
- 比較対象画像を比較対象画素ブロックと定義して、被写体の変形に頑健でない第1の指標と、該第1の指標を使って第1の状態とそれ以外の状態に分ける第1の閾値と、被写体の変形に頑健な第2の指標と、該第2の指標を使って前記それ以外の状態を第2の状態と第3の状態に分ける第2の閾値とを設ける初期設定ステップと、
時系列に沿って撮影された複数の画像を取得する入力ステップと、
空気揺らぎの最大幅を揺らぎによる画素の変位量から算出し、算出した最大幅より所定幅大きいブロックサイズの領域に画像を分割する領域分割ステップと、
比較対象画素ブロックサイズを決定するために、補正対象画像と補正用画像の中で比較対象画像を決定する比較対象画素領域決定ステップと、
前記比較対象画像内の画素全体を比較対象画素ブロックとして定義し、定義された比較対象画素ブロックについて、前記第1の指標、前記第2の指標、前記第1の閾値、及び前記第2の閾値によってどの状態であるかを評価する状態評価ステップと、
各画素ブロックの情報を統合して、ブロックサイズが適切であるかどうか判断するための統合情報を算出する状態情報統合ステップと、
前記統合情報が前回の統合情報に比べて所定の割合以上変化したか否かを判定する統合情報判定ステップと、
前記統合情報が、前回の統合情報に比べて所定の割合以上変化した場合には、この時点の比較対象画素ブロックサイズを最終的な比較対象画素ブロックサイズとして採用し、前回の統合情報に比べて所定の割合未満しか変化していない場合には、比較対象画素ブロックサイズを前回のブロックサイズよりも所定の比率で小さく縮小するステップと、
前記決定された比較対象画素ブロックサイズをパラメータとして揺らぎ補正処理を実行するステップと、を有する画像処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013143702 | 2013-07-09 | ||
JP2013143702 | 2013-07-09 | ||
PCT/JP2014/067688 WO2015005196A1 (ja) | 2013-07-09 | 2014-07-02 | 画像処理装置及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5908174B2 true JP5908174B2 (ja) | 2016-04-26 |
JPWO2015005196A1 JPWO2015005196A1 (ja) | 2017-03-02 |
Family
ID=52279881
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015526283A Active JP5908174B2 (ja) | 2013-07-09 | 2014-07-02 | 画像処理装置及び画像処理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9547890B2 (ja) |
EP (1) | EP3021575B1 (ja) |
JP (1) | JP5908174B2 (ja) |
WO (1) | WO2015005196A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101905128B1 (ko) | 2017-03-13 | 2018-10-05 | 김창민 | 빛의 불규칙성을 기반으로 하는 동작영역 검출 제어 방법 및 그 방법을 이용한 동작영역 검출 장치 |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3131283A4 (en) * | 2015-02-25 | 2017-06-21 | Panasonic Intellectual Property Management Co., Ltd. | Image processing device, image processing method and program for executing same |
JP6606838B2 (ja) * | 2015-03-13 | 2019-11-20 | リコーイメージング株式会社 | 撮像装置および撮像方法 |
JP6505237B2 (ja) * | 2015-09-18 | 2019-04-24 | 株式会社日立国際電気 | 画像処理装置 |
JP6667268B2 (ja) * | 2015-11-26 | 2020-03-18 | キヤノン株式会社 | 動きベクトル検出装置およびその制御方法、撮像装置 |
US9710911B2 (en) * | 2015-11-30 | 2017-07-18 | Raytheon Company | System and method for generating a background reference image from a series of images to facilitate moving object identification |
JP6419393B2 (ja) * | 2016-07-11 | 2018-11-07 | 三菱電機株式会社 | 動画像処理装置、動画像処理方法及び動画像処理プログラム |
JP6772000B2 (ja) * | 2016-08-26 | 2020-10-21 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
US10176557B2 (en) * | 2016-09-07 | 2019-01-08 | The Boeing Company | Apparatus, system, and method for enhancing image video data |
CN108228679B (zh) * | 2016-12-22 | 2022-02-18 | 阿里巴巴集团控股有限公司 | 时序数据计量方法和时序数据计量装置 |
US10549853B2 (en) | 2017-05-26 | 2020-02-04 | The Boeing Company | Apparatus, system, and method for determining an object's location in image video data |
US10789682B2 (en) | 2017-06-16 | 2020-09-29 | The Boeing Company | Apparatus, system, and method for enhancing an image |
CN110337811A (zh) * | 2018-02-14 | 2019-10-15 | 北京大学 | 运动补偿的方法、装置和计算机系统 |
CN108681990B (zh) * | 2018-04-04 | 2022-05-24 | 高明合 | 一种实时雾霾预警方法及系统 |
CN110533666B (zh) * | 2018-05-25 | 2022-09-23 | 杭州海康威视数字技术股份有限公司 | 一种获取数据块尺寸的方法、处理数据的方法及装置 |
US11544873B2 (en) * | 2019-03-05 | 2023-01-03 | Artilux, Inc. | High resolution 3D image processing apparatus and method thereof |
JP7421273B2 (ja) * | 2019-04-25 | 2024-01-24 | キヤノン株式会社 | 画像処理装置及びその制御方法及びプログラム |
EP3935601A4 (en) * | 2019-08-06 | 2022-04-27 | Samsung Electronics Co., Ltd. | LOCAL HISTOGRAM MATCHING WITH GLOBAL REGULARIZATION AND MOTION EXCLUSION FOR MULTI-EXPOSURE IMAGE BLENDING |
CN111062870B (zh) * | 2019-12-16 | 2022-03-25 | 联想(北京)有限公司 | 一种处理方法及装置 |
CN111292268B (zh) * | 2020-02-07 | 2023-07-25 | 抖音视界有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN111401406B (zh) * | 2020-02-21 | 2023-07-18 | 华为技术有限公司 | 一种神经网络训练方法、视频帧处理方法以及相关设备 |
CN111479115B (zh) * | 2020-04-14 | 2022-09-27 | 腾讯科技(深圳)有限公司 | 一种视频图像处理方法、装置及计算机可读存储介质 |
KR102374840B1 (ko) * | 2020-10-20 | 2022-03-15 | 두산중공업 주식회사 | 딥러닝 학습용 결함 이미지 생성 방법 및 이를 위한 시스템 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011229030A (ja) * | 2010-04-21 | 2011-11-10 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
JP2012182625A (ja) * | 2011-03-01 | 2012-09-20 | Nikon Corp | 撮像装置 |
JP2013122639A (ja) * | 2011-12-09 | 2013-06-20 | Hitachi Kokusai Electric Inc | 画像処理装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4628851B2 (ja) * | 2005-04-22 | 2011-02-09 | 富士通株式会社 | 物体検出方法および物体検出装置 |
JP4541316B2 (ja) * | 2006-04-06 | 2010-09-08 | 三菱電機株式会社 | 映像監視検索システム |
JP4245045B2 (ja) * | 2006-12-26 | 2009-03-25 | ソニー株式会社 | 撮像装置、撮像信号処理方法及びプログラム |
JP4650560B2 (ja) * | 2008-11-27 | 2011-03-16 | ソニー株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP2011215695A (ja) * | 2010-03-31 | 2011-10-27 | Sony Corp | 移動物体検出装置及び方法、並びにプログラム |
JP5597105B2 (ja) | 2010-11-19 | 2014-10-01 | ケイミュー株式会社 | 建築用板材 |
JP2013057774A (ja) | 2011-09-08 | 2013-03-28 | Kyocera Document Solutions Inc | 定着装置及びそれを備えた画像形成装置 |
JP5362878B2 (ja) * | 2012-05-09 | 2013-12-11 | 株式会社日立国際電気 | 画像処理装置及び画像処理方法 |
WO2014069103A1 (ja) * | 2012-10-29 | 2014-05-08 | 株式会社日立国際電気 | 画像処理装置 |
JP6104680B2 (ja) * | 2013-03-21 | 2017-03-29 | 株式会社日立国際電気 | 画像処理装置、撮像装置、監視システム、符号化装置、画像処理方法 |
-
2014
- 2014-07-02 JP JP2015526283A patent/JP5908174B2/ja active Active
- 2014-07-02 EP EP14822122.9A patent/EP3021575B1/en active Active
- 2014-07-02 WO PCT/JP2014/067688 patent/WO2015005196A1/ja active Application Filing
- 2014-07-02 US US14/902,626 patent/US9547890B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011229030A (ja) * | 2010-04-21 | 2011-11-10 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
JP2012182625A (ja) * | 2011-03-01 | 2012-09-20 | Nikon Corp | 撮像装置 |
JP2013122639A (ja) * | 2011-12-09 | 2013-06-20 | Hitachi Kokusai Electric Inc | 画像処理装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101905128B1 (ko) | 2017-03-13 | 2018-10-05 | 김창민 | 빛의 불규칙성을 기반으로 하는 동작영역 검출 제어 방법 및 그 방법을 이용한 동작영역 검출 장치 |
Also Published As
Publication number | Publication date |
---|---|
EP3021575A4 (en) | 2017-06-07 |
EP3021575A1 (en) | 2016-05-18 |
US20160171664A1 (en) | 2016-06-16 |
EP3021575B1 (en) | 2020-06-17 |
JPWO2015005196A1 (ja) | 2017-03-02 |
US9547890B2 (en) | 2017-01-17 |
WO2015005196A1 (ja) | 2015-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5908174B2 (ja) | 画像処理装置及び画像処理方法 | |
US10521885B2 (en) | Image processing device and image processing method | |
US9247155B2 (en) | Method and system for robust scene modelling in an image sequence | |
Shin et al. | Radiance–reflectance combined optimization and structure-guided $\ell _0 $-Norm for single image dehazing | |
Rao et al. | A Survey of Video Enhancement Techniques. | |
JP6505237B2 (ja) | 画像処理装置 | |
US9202263B2 (en) | System and method for spatio video image enhancement | |
JP6104680B2 (ja) | 画像処理装置、撮像装置、監視システム、符号化装置、画像処理方法 | |
US20190199898A1 (en) | Image capturing apparatus, image processing apparatus, control method, and storage medium | |
US20140177960A1 (en) | Apparatus and method of processing image | |
US10013772B2 (en) | Method of controlling a quality measure and system thereof | |
JP5890547B2 (ja) | 画像処理装置 | |
JP2009093323A (ja) | 画像処理装置およびプログラム | |
US10063779B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
Fuh et al. | Mcpa: A fast single image haze removal method based on the minimum channel and patchless approach | |
US20230274398A1 (en) | Image processing apparatus for reducing influence of fine particle in an image, control method of same, and non-transitory computer-readable storage medium | |
KR102136716B1 (ko) | 관심영역 기반의 화질개선 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체 | |
JP6938282B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US9686449B1 (en) | Methods and systems for detection of blur artifact in digital video due to high quantization | |
CN111091136B (zh) | 一种视频场景变换检测方法和系统 | |
JP2010015483A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
WO2015040731A1 (ja) | 画像処理装置及び画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160317 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160322 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5908174 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |