JP6800090B2 - 画像処理装置、及び画像処理方法、並びにプログラム及び記録媒体 - Google Patents
画像処理装置、及び画像処理方法、並びにプログラム及び記録媒体 Download PDFInfo
- Publication number
- JP6800090B2 JP6800090B2 JP2017105252A JP2017105252A JP6800090B2 JP 6800090 B2 JP6800090 B2 JP 6800090B2 JP 2017105252 A JP2017105252 A JP 2017105252A JP 2017105252 A JP2017105252 A JP 2017105252A JP 6800090 B2 JP6800090 B2 JP 6800090B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- ratio
- pixels
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 6
- 239000000203 mixture Substances 0.000 claims description 100
- 239000002131 composite material Substances 0.000 claims description 72
- 230000015572 biosynthetic process Effects 0.000 claims description 70
- 238000003786 synthesis reaction Methods 0.000 claims description 70
- 238000009499 grossing Methods 0.000 claims description 58
- 229920006395 saturated elastomer Polymers 0.000 claims description 57
- 238000000034 method Methods 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 13
- 238000002156 mixing Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 6
- 238000010606 normalization Methods 0.000 description 33
- 230000000694 effects Effects 0.000 description 18
- 238000003384 imaging method Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000006866 deterioration Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Description
視差以外の要因で二画像間に位置ずれがある場合にも同様の問題がある。
第1の画像のぼけ及びぶれを補正して第2の画像を生成するデコンボリューション処理部と、
前記第1の画像の画素値に応じて画素毎に合成比率を決定して出力する合成比率決定部と、
各画素について当該画素の近傍領域内の画素についての前記合成比率を重み付けした結果の中から一つの値を抽出することで前記各画素についての平滑化合成比率を生成する統計フィルタと、
前記平滑化合成比率に応じて前記第1の画像と前記第2の画像を画素毎に重み付けして加算する合成部と
を備え、
前記合成比率決定部は、
前記第1の画像の画素値に対する閾値処理により飽和している画素を検出する飽和画素検出部と、
前記飽和画素検出部の検出結果に応じて前記合成比率を決定する合成比率算出部と
を備えたことを特徴とする。
図1に示される画像合成装置10は、同一の被写体を表す、第1の画像D1と第2の画像D2を合成して合成画像D3を出力するものであって、合成比率決定部1と、統計フィルタ2と、合成部3とを有する。
画像の個々の画素についての合成比率M1を、それぞれ対応する画素の位置に配列することで得られる合成比率の集合を合成比率マップと言い、画像の個々の画素についての平滑化合成比率M2を、それぞれ対応する画素の位置に配列することで得られる平滑化合成比率M2の集合を平滑化合成比率マップと言う。
各画素の近傍領域は、例えば当該画素を中心とする矩形の領域である。
各画素についての平滑化合成比率M2を生成する際の重み付けにおいては、当該画素により近い画素についての合成比率M1に、より大きい重みが付けられる。
図2は本発明の実施の形態1に係る画像処理装置を撮像装置とともに示すブロック図である。図2に示される画像処理装置は、図1に示される画像合成装置をHDR合成処理に適用したものである。即ち、図2の画像処理装置は、図1の画像合成装置10の具体的な形態である画像合成装置10aと、第1及び第2のレベル正規化部11及び12とを有し、撮像装置14aからの画像D11及びD12を受ける。
例えば、短露光時間画像D11は、より短い露光時間での撮像で得られた画像であり、長露光時間画像D12は、より長い露光時間での撮像で得られた画像である。
但し、本発明は、視差以外の要因によって画像間に位置ずれがある場合、例えば被写体の動きによって位置ずれがある場合にも有効に作用する。
なお、Fd=1であるのが正規化の計算が容易であるので望ましいが、Fd=1でなくても良い。
なおまた、正規化の結果得られる画像D1及びD2の画素値D1(x)及びD2(x)は、正規化によって階調が落ちないようにするため、ビット数を拡張したデータ、或いは実数型のデータで表されるのが望ましい。
閾値THbrightは、後述のように、総合ゲインの比Fcに基づいて定められる。
閾値THdarkは、後述のようにノイズのレベルに基づいて定められる。
輝度参照値D101が閾値THbright以上では、合成比率M1が1となり、
輝度参照値D101が閾値THdark以下では、合成比率M1が0となり、
輝度参照値D101が閾値THdarkよりも大きく閾値THbrightよりも小さい範囲では、合成比率M1が輝度参照値D101に応じて徐々に増加する。
合成比率決定部1aは、合成比率算出部102で算出された合成比率M1を出力する。
この場合には、それらによる影響を考慮に入れて、長露光時間画像D12が飽和するときの、輝度参照値D101又はそれよりも若干小さい値を閾値THbrightとする。
本実施の形態1では、最大値フィルタにおいて、注目画素により近い画素についての合成比率M1により大きい重みが付けられた結果の最大値を抽出するようにしている。そのため、合成比率マップの縮小を行わなくても、上記の境界で滑らかに変化する平滑化合成比率M2を得ることができ、しかもエッジの位置ずれがあっても二重像などの画質劣化を抑えることができる。したがって、長露光時間画像に小さな飽和領域が存在しても合成画像で確実に短露光時間画像が用いられてディテールの喪失を抑制できるとともに、二画像の切り替わり部分が自然な合成画像を生成することができる。
また同時に、上述したように、二次元のフィルタを一次元のフィルタを二回適用することで実現することができ、合成比率マップの縮小を行わなくても、処理時間の増加を抑えることが可能である。
図8は本発明の実施の形態2に係る画像処理装置を撮像装置とともに示すブロック図である。図8に示される画像処理装置は、図1に示される画像合成装置を、デコンボリューション処理を施した画像を用いた画像の合成に適用したものである。
別の見方をすれば、図8に示される画像処理装置は、図1に示す画像合成装置において、合成比率決定部1として、合成比率決定部1bを用い、統計フィルタ2として最大値フィルタ2aを用い、そのような画像合成装置に、デコンボリューション処理部13が追加されたものである。
デコンボリューションとしては公知の種々のデコンボリューション手法のいずれかを適用することができる。PSF(Point Spread Function:点拡がり関数)が既知である場合に単純かつ高速なデコンボリューション手法は、周波数領域でのフィルタリング処理を用いる方法である。この方法では、第1の画像D1をフーリエ変換し、フーリエ変換の結果に対し、PSFからウィーナーフィルタ等により求められる周波数領域のフィルタ係数を乗算し、乗算結果を逆フーリエ変換することによって第2の画像D2を得る。
合成比率決定部1bは、合成比率算出部102で算出された合成比率M1を出力する。
デコンボリューション処理部13において公知のデコンボリューションを行うと、入力画像に飽和画素が含まれる場合に、補正画像においては入力画像における飽和画素に対応する位置の周囲にリンギングと呼ばれる縞状のアーティファクトを生じることがある。これは、飽和という現象が、所定の光量を超えた信号の画素値は上限値にクリップされるという非線形な過程である一方、公知のデコンボリューション手法の多くは、PSFによって画像がぼける線形なモデルに基づく補正をしており、PSFで用いるモデルのぼけ方と異なるぼけ方をしている飽和画素の周辺で補正誤差が現れるためである。リンギングは、飽和画素の近傍で振幅が大きく、飽和画素から離れていくにつれ振幅が減衰していく特性をもつ。
実施の形態2では、最大値フィルタにおいて、注目画素により近い画素についての合成比率M1により大きい重みが付けられた結果の最大値を抽出するようにしている。そのため、合成比率マップの縮小を行わなくても、上記の境界で滑らかに変化する平滑化合成比率M2を得ることができ、しかもエッジの位置ずれがあっても二重像などの画質劣化を抑えることができる。したがって、入力画像に小さな飽和領域が存在しても合成画像で確実に入力画像が用いられてリンギングを抑制できるとともに、二画像の切り替わり部分が自然な(鮮鋭さの急激な変化を抑えた)合成画像を生成することができる。
また同時に、上述したように、二次元のフィルタを一次元のフィルタを二回適用することで実現することができ、合成比率マップの縮小を行わなくても、処理時間の増加を抑えることが可能である。
例えば、図1、図2又は図8の各部分の機能をそれぞれ処理回路で実現してもよいし、複数の部分の機能をまとめて処理回路で実現しても良い。
このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。
図9に示されるコンピュータ50aは、CPU51aと、メモリ52aと、入力インターフェース53aと、出力インターフェース54aとを備え、これらはバス55aで接続されている。
図10に示されるコンピュータ50bは、CPU51bと、メモリ52bと、入力インターフェース53bと、出力インターフェース54bとを備え、これらはバス55bで接続されている。
Claims (9)
- 第1の画像のぼけ及びぶれを補正して第2の画像を生成するデコンボリューション処理部と、
前記第1の画像の画素値に応じて画素毎に合成比率を決定して出力する合成比率決定部と、
各画素について当該画素の近傍領域内の画素についての前記合成比率を重み付けした結果の中から一つの値を抽出することで前記各画素についての平滑化合成比率を生成する統計フィルタと、
前記平滑化合成比率に応じて前記第1の画像と前記第2の画像を画素毎に重み付けして加算する合成部と
を備え、
前記合成比率決定部は、
前記第1の画像の画素値に対する閾値処理により飽和している画素を検出する飽和画素検出部と、
前記飽和画素検出部の検出結果に応じて前記合成比率を決定する合成比率算出部と
を備えたことを特徴とする画像処理装置。 - 前記合成比率算出部は、
前記第1の画像において飽和している画素については前記合成比率を1にし、
そうでない画素については前記合成比率を0にする
ことを特徴とする請求項1に記載の画像処理装置。 - 前記合成部は、前記加算における重み付けにおいて、前記平滑化合成比率が大きいほど前記第1の画像に対する重み付けをより大きくし、前記第2の画像に対する重み付けをより小さくすることを特徴とする請求項2に記載の画像処理装置。
- 前記統計フィルタは、各画素についての前記平滑化合成比率を生成する際の重み付けにおいて、当該画素により近い画素についての前記合成比率により大きい重みを付けることを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。
- 前記統計フィルタは、各画素について当該画素の近傍領域内の画素についての前記合成比率を重み付けした結果の最大値を抽出して前記平滑化合成比率として出力する最大値フィルタであることを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。
- 前記統計フィルタは、各画素について当該画素の近傍領域内の画素についての前記合成比率を重み付けした結果の最小値を抽出して前記平滑化合成比率として出力する最小値フィルタであることを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。
- デコンボリューション処理により、第1の画像のぼけ及びぶれを補正して第2の画像を生成し、
前記第1の画像の画素値に対する閾値処理により飽和している画素を検出し、前記検出の結果に応じて画素毎に合成比率を決定し、
各画素について当該画素の近傍領域内の画素についての前記合成比率を重み付けした結果の中から一つの値を抽出することで前記各画素についての平滑化合成比率を生成し、
前記平滑化合成比率に応じて前記第1の画像と前記第2の画像を画素毎に重み付けして加算する
ことを特徴とする画像処理方法。 - 請求項7に記載の画像処理方法における処理をコンピュータに実行させるためのプログラム。
- 請求項8に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017105252A JP6800090B2 (ja) | 2017-05-29 | 2017-05-29 | 画像処理装置、及び画像処理方法、並びにプログラム及び記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017105252A JP6800090B2 (ja) | 2017-05-29 | 2017-05-29 | 画像処理装置、及び画像処理方法、並びにプログラム及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018201137A JP2018201137A (ja) | 2018-12-20 |
JP6800090B2 true JP6800090B2 (ja) | 2020-12-16 |
Family
ID=64668358
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017105252A Active JP6800090B2 (ja) | 2017-05-29 | 2017-05-29 | 画像処理装置、及び画像処理方法、並びにプログラム及び記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6800090B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020202452A (ja) * | 2019-06-07 | 2020-12-17 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
CN111565261B (zh) * | 2020-06-02 | 2022-05-31 | 厦门美图之家科技有限公司 | 图像处理方法、装置及电子设备 |
JP7225315B2 (ja) | 2021-06-17 | 2023-02-20 | キヤノン株式会社 | 画像処理方法、画像処理装置、画像処理システム、およびプログラム |
-
2017
- 2017-05-29 JP JP2017105252A patent/JP6800090B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018201137A (ja) | 2018-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101247646B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 기록 매체 | |
JP6020199B2 (ja) | 画像処理装置、方法、及びプログラム、並びに撮像装置 | |
JP4553942B2 (ja) | 画像処理方法及び画像処理装置 | |
JP5065490B2 (ja) | デジタルオブジェクトを処理するための方法および関係するシステム | |
EP2624204B1 (en) | Image processing apparatus and method of controlling the same | |
US9390482B2 (en) | Image processing apparatus and method of processing image | |
US20120008005A1 (en) | Image processing apparatus, image processing method, and computer-readable recording medium having image processing program recorded thereon | |
JP4869653B2 (ja) | 画像処理装置 | |
KR20100064369A (ko) | 영상 처리 방법 및 장치 | |
JP6097588B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2010056774A (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
JP2011086275A (ja) | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム | |
JP4021261B2 (ja) | 画像処理装置 | |
JP4810473B2 (ja) | 画像処理装置および画像処理プログラム | |
JP6800090B2 (ja) | 画像処理装置、及び画像処理方法、並びにプログラム及び記録媒体 | |
JP6678376B2 (ja) | 動き検出装置および動き検出方法 | |
CN113632134B (zh) | 用于生成高动态范围图像的方法、计算机可读存储介质和hdr相机 | |
JP5882702B2 (ja) | 撮像装置 | |
JP7133979B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び、記憶媒体 | |
JP2019028912A (ja) | 画像処理装置、画像処理方法 | |
JP2004297701A (ja) | 映像処理装置および撮像システム | |
KR102199472B1 (ko) | 화상 처리 장치 및 화상 처리 방법 | |
JP4664938B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US9401010B2 (en) | Enhancing perceived sharpness of images | |
JP2004229259A (ja) | カラ−画像処理装置および処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191023 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200423 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200630 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200827 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201027 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201124 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6800090 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |