JP5210198B2 - 画像処理装置、画像処理方法、画像処理プログラム - Google Patents
画像処理装置、画像処理方法、画像処理プログラム Download PDFInfo
- Publication number
- JP5210198B2 JP5210198B2 JP2009031899A JP2009031899A JP5210198B2 JP 5210198 B2 JP5210198 B2 JP 5210198B2 JP 2009031899 A JP2009031899 A JP 2009031899A JP 2009031899 A JP2009031899 A JP 2009031899A JP 5210198 B2 JP5210198 B2 JP 5210198B2
- Authority
- JP
- Japan
- Prior art keywords
- images
- image
- movement vector
- smoothing
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 131
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000009499 grossing Methods 0.000 claims description 137
- 239000013598 vector Substances 0.000 claims description 121
- 238000000034 method Methods 0.000 claims description 96
- 239000002131 composite material Substances 0.000 claims description 37
- 238000012937 correction Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 8
- 239000006185 dispersion Substances 0.000 claims description 7
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 235000019557 luminance Nutrition 0.000 description 50
- 238000004091 panning Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 239000000203 mixture Substances 0.000 description 12
- 230000000694 effects Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000007792 addition Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 206010044565 Tremor Diseases 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/70—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Description
図1は、本発明の第1の実施形態の画像処理装置の構成を示す図である。図中、矢印はデータの流れを表している。なお、本実施形態に係る画像処理装置は、デジタルカメラ、デジタルビデオカメラや内視鏡など、正しく作動するために電流または電磁界に依存する機器である電子機器に搭載される。
第1の実施形態における画像処理装置では、合成画像に対して平滑化処理を行った。第2の実施形態における画像処理装置では、合成前の画像に対して、平滑化処理を行った後、画像合成を行う。これによって、画像毎に平滑化の度合いを変えることが可能となり、背景がより滑らかな画像を得ることができる。
2…撮像部
3…A/D変換処理部
4…画像処理部
5…記録部
6…位置合わせ処理部
7…平滑化領域演算部
8、8A…画像合成処理部
9…平滑化フィルタ生成部
10、10A…平滑化処理部
Claims (23)
- 時系列的に得られた複数の画像間の移動ベクトルを求める移動ベクトル検出部と、
求められた前記移動ベクトルに基づいて、前記複数の画像間の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を得る画像合成部と、
前記複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、平滑化処理を行う平滑化領域を抽出する平滑化領域抽出部と、
前記合成画像の各領域のうち、抽出された前記平滑化領域に対して、前記平滑化処理を行う平滑化処理部と、
を備えることを特徴とする画像処理装置。 - 前記複数の画像間の位置ずれ補正を行った際の画像間の不整合度合いを示す第1の特徴量を算出する第1の特徴量算出部と、
前記位置ずれ補正における位置合わせ誤差が合成画像に与える影響度合いを示す第2の特徴量を算出する第2の特徴量算出部と、
をさらに備え、
前記平滑化領域抽出部は、前記第1の特徴量および前記第2の特徴量に基づいて、前記平滑化領域を抽出することを特徴とする請求項1に記載の画像処理装置。 - 前記第1の特徴量および前記第2の特徴量に基づいて、前記平滑化領域を抽出するための指標となる平滑化領域特徴量を算出する平滑化領域特徴量算出部と、
前記平滑化領域特徴量を所定のしきい値と比較するしきい値処理を行うしきい値処理部と、
をさらに備え、
前記平滑化領域抽出部は、前記しきい値処理部によるしきい値処理の結果に基づいて、前記平滑化領域を抽出することを特徴とする請求項2に記載の画像処理装置。 - 前記第1の特徴量算出部は、位置ずれ補正を行った複数の画像間において、輝度値の最大値と最小値の差、輝度値の最大値と最小値の差の絶対値、輝度値の分散、輝度値の標準偏差、色相の差、色相の差の絶対値、色相の分散、色相の標準偏差、彩度の差、彩度の差の絶対値、彩度の分散、彩度の標準偏差のうち、少なくとも1つを、前記第1の特徴量として算出することを特徴とする請求項2または請求項3に記載の画像処理装置。
- 前記第2の特徴量算出部は、前記合成画像を得るために用いた画像の輝度勾配を示す特徴量を前記第2の特徴量として算出することを特徴とする請求項2から請求項4のいずれか一項に記載の画像処理装置。
- 前記移動ベクトルに基づいて、前記平滑化処理で用いる平滑化フィルタのフィルタカーネルを決定するフィルタカーネル決定部をさらに備えることを特徴とする請求項1から請求項5のいずれか一項に記載の画像処理装置。
- 前記移動ベクトル検出部は、画像の中央部の所定領域内において、前記移動ベクトルを検出することを特徴とする請求項1から請求項6のいずれか一項に記載の画像処理装置。
- 前記移動ベクトル検出部は、フォーカス基準位置を含む所定領域内において、前記移動ベクトルを検出することを特徴とする請求項1から請求項6のいずれか一項に記載の画像処理装置。
- 前記移動ベクトル検出部は、ユーザにより指定された領域のカラーヒストグラムに基づいて、前記移動ベクトルを検出することを特徴とする請求項1から請求項8のいずれか一項に記載の画像処理装置。
- 時系列的に得られた複数の画像間の移動ベクトルを求める移動ベクトル検出部と、
前記複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、平滑化処理を行う平滑化領域を抽出する平滑化領域抽出部と、
前記複数の画像の各領域のうち、抽出された前記平滑化領域に対して、前記平滑化処理を行う平滑化処理部と、
前記移動ベクトルに基づいて、前記平滑化処理が行われた複数の画像間の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を得る画像合成部と、
を備えることを特徴とする画像処理装置。 - 前記複数の画像間の位置ずれ補正を行った際の画像間の不整合度合いを示す第1の特徴量を算出する第1の特徴量算出部と、
前記位置ずれ補正における位置合わせ誤差が合成画像に与える影響度合いを示す第2の特徴量を算出する第2の特徴量算出部と、
をさらに備え、
前記平滑化領域抽出部は、前記第1の特徴量および前記第2の特徴量に基づいて、前記平滑化領域を抽出することを特徴とする請求項10に記載の画像処理装置。 - 前記第1の特徴量および前記第2の特徴量に基づいて、前記平滑化領域を抽出するための指標となる平滑化領域特徴量を算出する平滑化領域特徴量算出部と、
前記平滑化領域特徴量を所定のしきい値と比較するしきい値処理を行うしきい値処理部と、
をさらに備え、
前記平滑化領域抽出部は、前記しきい値処理部によるしきい値処理の結果に基づいて、前記平滑化領域を抽出することを特徴とする請求項11に記載の画像処理装置。 - 前記第1の特徴量算出部は、位置ずれ補正を行った複数の画像間において、輝度値の最大値と最小値の差、輝度値の最大値と最小値の差の絶対値、輝度値の分散、輝度値の標準偏差、色相の差、色相の差の絶対値、色相の分散、色相の標準偏差、彩度の差、彩度の差の絶対値、彩度の分散、彩度の標準偏差のうち、少なくとも1つを、前記第1の特徴量として算出することを特徴とする請求項11または請求項12に記載の画像処理装置。
- 前記第2の特徴量算出部は、前記合成画像を得るために用いた画像の輝度勾配を示す特徴量を前記第2の特徴量として算出することを特徴とする請求項11から請求項13のいずれか一項に記載の画像処理装置。
- 前記移動ベクトルに基づいて、前記平滑化処理で用いる平滑化フィルタのフィルタカーネルを決定するフィルタカーネル決定部をさらに備えることを特徴とする請求項10から請求項14のいずれか一項に記載の画像処理装置。
- 前記移動ベクトル検出部は、画像の中央部の所定領域内において、前記移動ベクトルを検出することを特徴とする請求項10から請求項15のいずれか一項に記載の画像処理装置。
- 前記移動ベクトル検出部は、フォーカス基準位置を含む所定領域内において、前記移動ベクトルを検出することを特徴とする請求項10から請求項15のいずれか一項に記載の画像処理装置。
- 前記移動ベクトル検出部は、ユーザにより指定された領域のカラーヒストグラムに基づいて、前記移動ベクトルを検出することを特徴とする請求項10から請求項17のいずれか一項に記載の画像処理装置。
- 請求項1から請求項18のいずれか一項に記載の画像処理装置を備えた電子機器。
- 時系列的に得られた複数の画像間の移動ベクトルを求めるステップと、
求められた前記移動ベクトルに基づいて、前記複数の画像間の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を得るステップと、
前記複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、平滑化処理を行う平滑化領域を抽出するステップと、
前記合成画像の各領域のうち、抽出された前記平滑化領域に対して、前記平滑化処理を行うステップと、
を備えることを特徴とする画像処理方法。 - 時系列的に得られた複数の画像間の移動ベクトルを求めるステップと、
前記複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、平滑化処理を行う平滑化領域を抽出するステップと、
前記複数の画像の各領域のうち、抽出された前記平滑化領域に対して、前記平滑化処理を行うステップと、
前記移動ベクトルに基づいて、前記平滑化処理が行われた複数の画像間の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を得るステップと、
を備えることを特徴とする画像処理方法。 - 時系列的に得られた複数の画像間の移動ベクトルを求めるステップと、
求められた前記移動ベクトルに基づいて、前記複数の画像間の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を得るステップと、
前記複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、平滑化処理を行う平滑化領域を抽出するステップと、
前記合成画像の各領域のうち、抽出された前記平滑化領域に対して、前記平滑化処理を行うステップと、
をコンピュータに実行させるための画像処理プログラム。 - 時系列的に得られた複数の画像間の移動ベクトルを求めるステップと、
前記複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、平滑化処理を行う平滑化領域を抽出するステップと、
前記複数の画像の各領域のうち、抽出された前記平滑化領域に対して、前記平滑化処理を行うステップと、
前記移動ベクトルに基づいて、前記平滑化処理が行われた複数の画像間の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を得るステップと、
をコンピュータに実行させるための画像処理プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009031899A JP5210198B2 (ja) | 2009-02-13 | 2009-02-13 | 画像処理装置、画像処理方法、画像処理プログラム |
US12/701,764 US20100208140A1 (en) | 2009-02-13 | 2010-02-08 | Image processing apparatus, image processing method and storage medium storing image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009031899A JP5210198B2 (ja) | 2009-02-13 | 2009-02-13 | 画像処理装置、画像処理方法、画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010187348A JP2010187348A (ja) | 2010-08-26 |
JP5210198B2 true JP5210198B2 (ja) | 2013-06-12 |
Family
ID=42559583
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009031899A Expired - Fee Related JP5210198B2 (ja) | 2009-02-13 | 2009-02-13 | 画像処理装置、画像処理方法、画像処理プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20100208140A1 (ja) |
JP (1) | JP5210198B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011210197A (ja) * | 2010-03-30 | 2011-10-20 | Toshiba Corp | 画像処理装置 |
JP6140935B2 (ja) * | 2012-05-17 | 2017-06-07 | キヤノン株式会社 | 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置 |
JP6203077B2 (ja) * | 2014-02-21 | 2017-09-27 | 株式会社東芝 | 学習装置、密度計測装置、学習方法、学習プログラム、及び密度計測システム |
JP6040338B2 (ja) * | 2014-03-25 | 2016-12-07 | 富士フイルム株式会社 | 手ぶれ補正装置、撮像装置 |
US9384396B2 (en) * | 2014-09-29 | 2016-07-05 | Xerox Corporation | System and method for detecting settle down time using computer vision techniques |
US9591237B2 (en) * | 2015-04-10 | 2017-03-07 | Qualcomm Incorporated | Automated generation of panning shots |
TWI554108B (zh) * | 2015-08-04 | 2016-10-11 | 緯創資通股份有限公司 | 電子裝置及影像處理方法 |
US10757320B2 (en) | 2017-12-28 | 2020-08-25 | Waymo Llc | Multiple operating modes to expand dynamic range |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100422943B1 (ko) * | 1996-07-31 | 2004-03-12 | 마츠시타 덴끼 산교 가부시키가이샤 | 화상 부호화장치, 화상 복호화장치, 화상 부호화방법,화상 복호화방법 및 매체 |
US7085401B2 (en) * | 2001-10-31 | 2006-08-01 | Infowrap Systems Ltd. | Automatic object extraction |
JP4375080B2 (ja) * | 2004-03-29 | 2009-12-02 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4569389B2 (ja) * | 2005-05-31 | 2010-10-27 | カシオ計算機株式会社 | 撮像装置、画像処理方法及びプログラム |
JP2007074031A (ja) * | 2005-09-02 | 2007-03-22 | Canon Inc | 撮像装置、及び、画像処理装置及び方法 |
-
2009
- 2009-02-13 JP JP2009031899A patent/JP5210198B2/ja not_active Expired - Fee Related
-
2010
- 2010-02-08 US US12/701,764 patent/US20100208140A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20100208140A1 (en) | 2010-08-19 |
JP2010187348A (ja) | 2010-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5179398B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
JP5210198B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
JP4513906B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
JP6157242B2 (ja) | 画像処理装置及び画像処理方法 | |
US9251589B2 (en) | Depth measurement apparatus, image pickup apparatus, and depth measurement program | |
US9307134B2 (en) | Automatic setting of zoom, aperture and shutter speed based on scene depth map | |
JP4268220B2 (ja) | 撮影装置、撮影方法、およびプログラム | |
JP4760973B2 (ja) | 撮像装置及び画像処理方法 | |
JP5744614B2 (ja) | 画像処理装置、画像処理方法、および、画像処理プログラム | |
US9697589B2 (en) | Signal processing apparatus, imaging apparatus, signal processing method and program for correcting deviation of blurring in images | |
WO2018221224A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP5569357B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP2007072573A (ja) | 画像処理装置及び画像処理方法 | |
JP6025467B2 (ja) | 画像処理装置及び画像処理方法 | |
US9258492B2 (en) | Image processing apparatus, image pickup apparatus including image processing apparatus, image processing method, and storage medium in which program is stored for acquiring and processing images taken at different focus positions | |
JP2015012482A (ja) | 画像処理装置及び画像処理方法 | |
JP2006229868A (ja) | 画像処理装置及び方法、動き検出装置及び方法 | |
JP2019101997A (ja) | 複数の撮像画像を合成することによりノイズを低減する画像処理装置及び画像処理方法 | |
WO2018066027A1 (ja) | 画像処理装置、撮像システム、画像処理方法および画像処理プログラム | |
JP2009118434A (ja) | ぶれ補正装置及び撮像装置 | |
JP2011182084A (ja) | 画像処理装置および画像処理プログラム | |
JP2019083407A (ja) | 像振れ補正装置およびその制御方法、撮像装置 | |
JP6873815B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 | |
JP2008072428A (ja) | 画像処理装置、電子カメラ、および画像処理プログラム | |
JP6525693B2 (ja) | 画像処理装置及び画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111227 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130111 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130222 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160301 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5210198 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160301 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |