JP7277321B2 - 画像処理装置、画像処理方法、撮像装置およびプログラム - Google Patents
画像処理装置、画像処理方法、撮像装置およびプログラム Download PDFInfo
- Publication number
- JP7277321B2 JP7277321B2 JP2019165454A JP2019165454A JP7277321B2 JP 7277321 B2 JP7277321 B2 JP 7277321B2 JP 2019165454 A JP2019165454 A JP 2019165454A JP 2019165454 A JP2019165454 A JP 2019165454A JP 7277321 B2 JP7277321 B2 JP 7277321B2
- Authority
- JP
- Japan
- Prior art keywords
- images
- inappropriate
- area
- image processing
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 67
- 238000003384 imaging method Methods 0.000 title claims description 10
- 238000003672 processing method Methods 0.000 title claims 2
- 238000001514 detection method Methods 0.000 claims description 41
- 238000012937 correction Methods 0.000 claims description 28
- 238000000034 method Methods 0.000 claims description 16
- 230000002194 synthesizing effect Effects 0.000 claims description 15
- 229920006395 saturated elastomer Polymers 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 16
- 230000015572 biosynthetic process Effects 0.000 description 11
- 238000003786 synthesis reaction Methods 0.000 description 11
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 10
- 239000013598 vector Substances 0.000 description 6
- 230000007423 decrease Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- CNQCVBJFEGMYDW-UHFFFAOYSA-N lawrencium atom Chemical compound [Lr] CNQCVBJFEGMYDW-UHFFFAOYSA-N 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G06T5/94—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/90—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10144—Varying exposure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Description
図1は、本実施形態におけるデジタルカメラの基本構成を示すブロック図である。
Chris Harris & Mike Stephens,A COMBINED CONER AND EDGE DETECTOR,Plessey Research Roke Manor,1988」
「Jianbo Shi & Carlo Tomasi,Good Features to Track,CVPR,1994」
第2の実施形態では、第1の実施形態と異なり、場合によって不適正領域に位置する特徴点も位置ずれの補正に用いる。以下では、第1の実施形態との違いを中心に、第2の実施形態について説明する。
なお、上記実施形態においては、個人向けのデジタルカメラをもとに説明を行ったが、HDR撮像および合成機能を搭載していれば、携帯機器やスマートフォン、あるいは、サーバーに接続されたネットワークカメラなどに適用することも可能である。
101 光学系
102 撮像素子
103 CPU
104 一次記憶部
105 画像処理部
106 記録媒体
107 二次記憶部
108 表示部
109 操作部
110 センサー
Claims (16)
- 露出の異なる複数の画像の間の位置ずれの補正を行う補正手段と、
前記複数の画像から不適正領域を検出する第1の検出手段と、
前記複数の画像の前記不適正領域以外の領域を優先的に用いてから前記補正のための特徴点を検出する第2の検出手段と、
前記補正手段が前記補正を行った後の前記複数の画像に対して合成を行う合成手段と、を有し、
前記不適正領域は、飽和している領域であり、
前記第1の検出手段は、前記複数の画像間の画素値または輝度値と前記複数の画像間の露出差とに基づいて前記不適正領域を検出することを特徴とする画像処理装置。 - 前記複数の画像は、前記露出を異ならせて同じ画角に対して撮像されたことを特徴とする請求項1に記載の画像処理装置。
- 前記第1の検出手段は、前記複数の画像のうちの第1の画像において、前記不適正領域を検出し、前記第2の検出手段は、前記第1の画像において前記特徴点を検出することを特徴とする請求項1または2に記載の画像処理装置。
- 前記第1の画像は、前記複数の画像のうち、前記露出の最も高い画像であることを特徴とする請求項3に記載の画像処理装置。
- 前記補正手段は、前記第1の画像において、テンプレート領域を設定し、前記テンプレート領域を用いて前記補正を行うことを特徴とする
請求項3または4に記載の画像処理装置。 - 前記補正手段は、前記テンプレート領域が前記不適正領域を含まないように、前記テンプレート領域を設定することを特徴とする請求項5に記載の画像処理装置。
- 前記第2の検出手段は、前記不適正領域から前記特徴点を検出しないことを特徴とする請求項1ないし6のいずれか1項に記載の画像処理装置。
- 前記第2の検出手段は、前記不適正領域以外の領域から検出した前記特徴点が所定数より小さいとき、前記不適正領域から前記特徴点を検出することを特徴とする請求項1ないし6のいずれか1項に記載の画像処理装置。
- 前記第2の検出手段は、前記不適正領域以外の領域と前記不適正領域とから検出した前記特徴点の数が前記所定数であることを特徴とする請求項8に記載の画像処理装置。
- 前記第2の検出手段は、前記不適正領域から、前記特徴点の特徴量の大きい順に前記特徴点を検出することを特徴とする請求項8または9に記載の画像処理装置。
- 前記第2の検出手段は、前記不適正領域以外の領域と前記不適正領域とから前記特徴点を検出し、
前記補正手段は、前記不適正領域から検出した前記特徴点の特徴量を下げるように重みづけを与え、前記不適正領域以外の領域から検出した前記特徴点の前記特徴量と前記不適正領域から検出した前記特徴点の前記重みづけを与えた後の前記特徴量との、大きい順に所定数の前記特徴点を前記補正に用いることを特徴とする請求項1ないし6のいずれか1項に記載の画像処理装置。 - 前記合成手段が前記合成で合成画像を作成し、
前記合成画像は、前記複数の画像よりもダイナミックレンジが広いことを特徴とする請求項1ないし11のいずれか1項に記載の画像処理装置。 - 露出を異ならせて複数の画像を撮像する撮像手段と、
前記複数の画像の間の位置ずれの補正を行う補正手段と、
前記複数の画像から不適正領域を検出する第1の検出手段と、
前記複数の画像の前記不適正領域以外の領域を優先的に用いてから前記補正のための特徴点を検出する第2の検出手段と、
前記補正手段が前記補正を行った後の前記複数の画像に対して合成を行う合成手段と、を有し、
前記不適正領域は、飽和している領域であり、
前記第1の検出手段は、前記複数の画像間の画素値または輝度値と前記複数の画像間の露出差とに基づいて前記不適正領域を検出することを特徴とする画像処理装置。 - 露出の異なる複数の画像の間の位置ずれの補正を行う補正ステップと、
前記複数の画像から不適正領域を検出する第1の検出ステップと、
前記複数の画像の前記不適正領域以外の領域を優先的に用いてから前記補正のための特徴点を検出する第2の検出ステップと、
前記補正ステップにおいて前記補正を行った後の前記複数の画像に対して合成を行う合成ステップと、を有し、
前記不適正領域は、飽和している領域であり、
前記第1の検出ステップにおいて、前記複数の画像間の画素値または輝度値と前記複数の画像間の露出差とに基づいて前記不適正領域を検出することを特徴とする画像処理方法。 - 画像処理装置のコンピュータに作動させるコンピュータのプログラムであって、
露出の異なる複数の画像の間の位置ずれの補正を行う補正ステップと、
前記複数の画像から不適正領域を検出する第1の検出ステップと、
前記複数の画像の前記不適正領域以外の領域を優先的に用いてから前記補正のための特徴点を検出する第2の検出ステップと、
前記補正ステップにおいて前記補正を行った後の前記複数の画像に対して合成を行う合成ステップと、を有し、
前記不適正領域は、飽和している領域であり、
前記第1の検出ステップにおいて、前記複数の画像間の画素値または輝度値と前記複数の画像間の露出差とに基づいて前記不適正領域を検出させることを特徴とするコンピュータのプログラム。 - 請求項15に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019165454A JP7277321B2 (ja) | 2019-09-11 | 2019-09-11 | 画像処理装置、画像処理方法、撮像装置およびプログラム |
US17/008,111 US11928798B2 (en) | 2019-09-11 | 2020-08-31 | Image processing apparatus to merge images, image processing method, imaging apparatus, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019165454A JP7277321B2 (ja) | 2019-09-11 | 2019-09-11 | 画像処理装置、画像処理方法、撮像装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021044700A JP2021044700A (ja) | 2021-03-18 |
JP7277321B2 true JP7277321B2 (ja) | 2023-05-18 |
Family
ID=74850082
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019165454A Active JP7277321B2 (ja) | 2019-09-11 | 2019-09-11 | 画像処理装置、画像処理方法、撮像装置およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11928798B2 (ja) |
JP (1) | JP7277321B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012235390A (ja) | 2011-05-06 | 2012-11-29 | Canon Inc | 画像処理装置及びその制御方法、並びにプログラム |
JP2017038165A (ja) | 2015-08-07 | 2017-02-16 | キヤノン株式会社 | 画像処理装置、撮像装置、及び画像処理方法 |
JP2017143390A (ja) | 2016-02-09 | 2017-08-17 | キヤノン株式会社 | 画像処理装置およびその方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3553999B2 (ja) * | 1993-11-10 | 2004-08-11 | キヤノン株式会社 | 撮像装置とその画像処理方法 |
JP6418879B2 (ja) * | 2014-10-06 | 2018-11-07 | キヤノン株式会社 | 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置 |
-
2019
- 2019-09-11 JP JP2019165454A patent/JP7277321B2/ja active Active
-
2020
- 2020-08-31 US US17/008,111 patent/US11928798B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012235390A (ja) | 2011-05-06 | 2012-11-29 | Canon Inc | 画像処理装置及びその制御方法、並びにプログラム |
JP2017038165A (ja) | 2015-08-07 | 2017-02-16 | キヤノン株式会社 | 画像処理装置、撮像装置、及び画像処理方法 |
JP2017143390A (ja) | 2016-02-09 | 2017-08-17 | キヤノン株式会社 | 画像処理装置およびその方法 |
Also Published As
Publication number | Publication date |
---|---|
US11928798B2 (en) | 2024-03-12 |
US20210073960A1 (en) | 2021-03-11 |
JP2021044700A (ja) | 2021-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4775700B2 (ja) | 画像処理装置及び画像処理方法 | |
US8532420B2 (en) | Image processing apparatus, image processing method and storage medium storing image processing program | |
JP6157242B2 (ja) | 画像処理装置及び画像処理方法 | |
JP5744614B2 (ja) | 画像処理装置、画像処理方法、および、画像処理プログラム | |
US8310553B2 (en) | Image capturing device, image capturing method, and storage medium having stored therein image capturing program | |
JP4781233B2 (ja) | 画像処理装置、撮像装置、及び画像処理方法 | |
TWI496105B (zh) | 影像合成裝置及用於影像合成之電腦程式 | |
US9811909B2 (en) | Image processing apparatus, distance measuring apparatus, imaging apparatus, and image processing method | |
JP5210198B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
JP2017175364A (ja) | 画像処理装置、撮像装置および画像処理装置の制御方法 | |
JP6541501B2 (ja) | 画像処理装置、撮像装置、及び画像処理方法 | |
JP2019101997A (ja) | 複数の撮像画像を合成することによりノイズを低減する画像処理装置及び画像処理方法 | |
JP2016111568A (ja) | 像ぶれ補正制御装置、撮像装置およびそれらの制御方法、プログラム | |
JP7277321B2 (ja) | 画像処理装置、画像処理方法、撮像装置およびプログラム | |
JP4936222B2 (ja) | 動きベクトル照合装置、画像合成装置及びプログラム | |
JP2014109832A (ja) | 画像処理装置、撮像装置、撮像システム、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP2019176261A (ja) | 画像処理装置 | |
JP7458769B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体 | |
JP2019083407A (ja) | 像振れ補正装置およびその制御方法、撮像装置 | |
JP7059239B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体 | |
JP2010079815A (ja) | 画像補正装置 | |
JP4919165B2 (ja) | 画像合成装置及びプログラム | |
JP6873815B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 | |
JP6548409B2 (ja) | 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置 | |
JP2018072941A (ja) | 画像処理装置、画像処理方法、プログラム、記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220712 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230308 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230404 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230508 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7277321 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |