JPWO2019012647A1 - 画像処理装置、画像処理方法およびコンピュータプログラム - Google Patents
画像処理装置、画像処理方法およびコンピュータプログラム Download PDFInfo
- Publication number
- JPWO2019012647A1 JPWO2019012647A1 JP2019529391A JP2019529391A JPWO2019012647A1 JP WO2019012647 A1 JPWO2019012647 A1 JP WO2019012647A1 JP 2019529391 A JP2019529391 A JP 2019529391A JP 2019529391 A JP2019529391 A JP 2019529391A JP WO2019012647 A1 JPWO2019012647 A1 JP WO2019012647A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- gradient
- pixel
- combined
- score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004590 computer program Methods 0.000 title claims description 5
- 238000003672 processing method Methods 0.000 title claims description 3
- 239000013598 vector Substances 0.000 claims abstract description 95
- 239000002131 composite material Substances 0.000 claims abstract description 48
- 238000004364 calculation method Methods 0.000 claims abstract description 29
- 238000000034 method Methods 0.000 claims description 39
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 2
- 230000002194 synthesizing effect Effects 0.000 description 7
- 239000000203 mixture Substances 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Chemical & Material Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Radiology & Medical Imaging (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Heart & Thoracic Surgery (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Optics & Photonics (AREA)
- Immunology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
合成対象の複数の画像のそれぞれにおける画素毎に画像勾配を算出する勾配算出部と、
前記合成対象の各画像における画素毎に空間周波数成分の含有度合いに基づいたスケールスコアを算出するスケール探索部と、
算出された前記画像勾配と前記スケールスコアの大きさに応じた勾配スコアを前記画素毎に算出する勾配スコア算出部と、
前記合成対象の複数の画像における対応する画素同士の前記勾配スコアを比較し、前記合成対象の複数の画像のうち、他の画像よりも前記勾配スコアが大きい前記画像の前記勾配スコアに応じた画像勾配を、前記合成対象の複数の画像を合成した後の合成画像における画素毎にターゲット勾配として算出する勾配確定部と、
前記合成画像における予め設定されている基底ベクトル群を構成する基底ベクトルの係数を前記ターゲット勾配に基づいて前記合成画像の画素毎に算出する係数算出部と、
算出された前記係数に基づいた前記基底ベクトルの線形結合により、前記合成画像を生成する合成部と
を備える。
合成対象の複数の画像のそれぞれにおける画素毎に画像勾配を算出し、
前記合成対象の各画像における画素毎に空間周波数成分の含有度合いに基づいたスケールスコアを算出し、
算出された前記画像勾配と前記スケールスコアの大きさに応じた勾配スコアを前記画素毎に算出し、
前記合成対象の複数の画像における対応する画素同士の前記勾配スコアを比較し、前記合成対象の複数の画像のうち、他の画像よりも前記勾配スコアが大きい前記画像の前記勾配スコアに応じた画像勾配を、前記合成対象の複数の画像を合成した後の合成画像における画素毎にターゲット勾配として算出し、
前記合成画像における予め設定されている基底ベクトル群を構成する基底ベクトルの係数を前記ターゲット勾配に基づいて前記合成画像の画素毎に算出し、
算出された前記係数に基づいた前記基底ベクトルの線形結合により、前記合成画像を生成する。
合成対象の複数の画像のそれぞれにおける画素毎に画像勾配を算出する処理と、
前記合成対象の各画像における画素毎に空間周波数成分の含有度合いに基づいたスケールスコアを算出する処理と、
算出された前記画像勾配と前記スケールスコアの大きさに応じた勾配スコアを前記画素毎に算出する処理と、
前記合成対象の複数の画像における対応する画素同士の前記勾配スコアを比較し、前記合成対象の複数の画像のうち、他の画像よりも前記勾配スコアが大きい前記画像の前記勾配スコアに応じた画像勾配を、前記合成対象の複数の画像を合成した後の合成画像における画素毎にターゲット勾配として算出する処理と、
前記合成画像における予め設定されている基底ベクトル群を構成する基底ベクトルの係数を前記ターゲット勾配に基づいて前記合成画像の画素毎に算出する処理と、
算出された前記係数に基づいた前記基底ベクトルの線形結合により、前記合成画像を生成する処理と
をコンピュータに実行させるコンピュータプログラムを記憶する。
図1は、本発明に係る第1実施形態の画像処理装置の構成を表すブロック図である。第1実施形態の画像処理装置1は、入力部3と、処理装置4と、記憶部5と、出力部6とを備えている。
式(1):
Φi={φji}
={Ri,Gi,Bi,Ni,Ri 2,Gi 2,Bi 2,Ni 2,Ri*Bi,Ri*Gi,Gi*Bi,Ri*Ni,Gi*Ni,Bi*Ni}
なお、式(1)中における“i”は、1以上の整数であり、スカラー画像あるいは近赤外画像あるいは合成画像における各画素を識別する情報を表し、ここでは、画像をラスタスキャンした場合における画素の順番を表している。また、式(1)中における“*”は乗算記号である。さらに、“φji”における“j”は、上述した“j”と同様に、基底ベクトルを識別する情報である。例えば、基底ベクトル群Φiが式(1)のように表される場合には、例えば、画素iにおける基底ベクトルφ3i(j=3)は、“Bi”であり、また、基底ベクトルφ9i(j=9)は、“Ri*Bi”である。
式(2):
式(3):
式(4):
∇Ji=gRi×∇Ri+gGi×∇Gi+gBi×∇Bi+sNi×∇Ni
式(5):
なお、この発明は第1実施形態に限定されず、様々な実施の形態を採り得る。例えば、第1実施形態では、画像全体を考慮して基底ベクトル群を構成する基底ベクトルが設定されている。これに代えて、例えば、画像の一部の領域に着目することにより基底ベクトル群を構成する基底ベクトルが設定されてもよい。また、基底ベクトル群を構成する例えば式(1)に表されるような多くの基底ベクトルが設定された後に、例えば、主成分分析や非負行列因子分解などを利用して基底ベクトルの数が削減されることにより、基底ベクトル群の基底ベクトルが設定されてもよい。
式(6):
21,40 勾配算出部
22,411 スケール探索部
23 勾配スコア算出部
24,42 勾配確定部
25,43 係数算出部
26,44 合成部
412 勾配部
Claims (7)
- 合成対象の複数の画像のそれぞれにおける画素毎に画像勾配を算出する勾配算出手段と、
前記合成対象の各画像における画素毎に空間周波数成分の含有度合いに基づいたスケールスコアを算出するスケール探索手段と、
算出された前記画像勾配と前記スケールスコアの大きさに応じた勾配スコアを前記画素毎に算出する勾配スコア算出手段と、
前記合成対象の複数の画像における対応する画素同士の前記勾配スコアを比較し、前記合成対象の複数の画像のうち、他の画像よりも前記勾配スコアが大きい前記画像の前記勾配スコアに応じた画像勾配を、前記合成対象の複数の画像を合成した後の合成画像における画素毎にターゲット勾配として算出する勾配確定手段と、
前記合成画像における予め設定されている基底ベクトル群を構成する基底ベクトルの係数を前記ターゲット勾配に基づいて前記合成画像の画素毎に算出する係数算出手段と、
算出された前記係数に基づいた前記基底ベクトルの線形結合により、前記合成画像を生成する合成手段と
を備える画像処理装置。 - 前記係数算出手段は、前記合成画像を複数に区分した分割領域毎において、各画素における基底ベクトルの係数を算出した後に、さらに、前記分割領域間が空間的に滑らかになる平滑化を考慮した処理を前記算出した係数に行って前記合成画像の全体を考慮した基底ベクトルの係数を確定する請求項1に記載の画像処理装置。
- 前記勾配確定手段は、前記合成対象の複数の画像における算出された勾配スコアを比較し、最も大きい勾配スコアを持つ画像の前記画像勾配を前記ターゲット勾配として確定する請求項1又は請求項2に記載の画像処理装置。
- 前記勾配確定手段は、画素毎に、算出された前記勾配スコアを前記画像勾配で加重平均することにより前記ターゲット勾配を算出する請求項1又は請求項2に記載の画像処理装置。
- 前記係数算出手段は、前記合成画像における前記基底ベクトルの係数を算出する際に、画像勾配に関する二乗誤差を最小化する係数を前記基底ベクトルの係数として算出する請求項1乃至請求項4の何れか1つに記載の画像処理装置。
- 合成対象の複数の画像のそれぞれにおける画素毎に画像勾配を算出し、
前記合成対象の各画像における画素毎に空間周波数成分の含有度合いに基づいたスケールスコアを算出し、
算出された前記画像勾配と前記スケールスコアの大きさに応じた勾配スコアを前記画素毎に算出し、
前記合成対象の複数の画像における対応する画素同士の前記勾配スコアを比較し、前記合成対象の複数の画像のうち、他の画像よりも前記勾配スコアが大きい前記画像の前記勾配スコアに応じた画像勾配を、前記合成対象の複数の画像を合成した後の合成画像における画素毎にターゲット勾配として算出し、
前記合成画像における予め設定されている基底ベクトル群を構成する基底ベクトルの係数を前記ターゲット勾配に基づいて前記合成画像の画素毎に算出し、
算出された前記係数に基づいた前記基底ベクトルの線形結合により、前記合成画像を生成する画像処理方法。 - 合成対象の複数の画像のそれぞれにおける画素毎に画像勾配を算出する処理と、
前記合成対象の各画像における画素毎に空間周波数成分の含有度合いに基づいたスケールスコアを算出する処理と、
算出された前記画像勾配と前記スケールスコアの大きさに応じた勾配スコアを前記画素毎に算出する処理と、
前記合成対象の複数の画像における対応する画素同士の前記勾配スコアを比較し、前記合成対象の複数の画像のうち、他の画像よりも前記勾配スコアが大きい前記画像の前記勾配スコアに応じた画像勾配を、前記合成対象の複数の画像を合成した後の合成画像における画素毎にターゲット勾配として算出する処理と、
前記合成画像における予め設定されている基底ベクトル群を構成する基底ベクトルの係数を前記ターゲット勾配に基づいて前記合成画像の画素毎に算出する処理と、
算出された前記係数に基づいた前記基底ベクトルの線形結合により、前記合成画像を生成する処理と
をコンピュータに実行させるコンピュータプログラムを記憶するプログラム記憶媒体。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/025542 WO2019012647A1 (ja) | 2017-07-13 | 2017-07-13 | 画像処理装置、画像処理方法およびプログラム記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019012647A1 true JPWO2019012647A1 (ja) | 2020-04-23 |
JP6835227B2 JP6835227B2 (ja) | 2021-02-24 |
Family
ID=65002151
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019529391A Active JP6835227B2 (ja) | 2017-07-13 | 2017-07-13 | 画像処理装置、画像処理方法およびコンピュータプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11055877B2 (ja) |
JP (1) | JP6835227B2 (ja) |
TW (1) | TWI721288B (ja) |
WO (1) | WO2019012647A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110136183B (zh) * | 2018-02-09 | 2021-05-18 | 华为技术有限公司 | 一种图像处理的方法、装置以及摄像装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012027773A (ja) * | 2010-07-26 | 2012-02-09 | Toyota Central R&D Labs Inc | 擬似濃淡画像生成装置及びプログラム |
JP2015502058A (ja) * | 2011-11-04 | 2015-01-19 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | マルチスペクトル撮像システム |
JP2016032289A (ja) * | 2014-07-25 | 2016-03-07 | 日本電気株式会社 | 画像合成システム、画像合成方法、画像合成プログラム |
JP2017011633A (ja) * | 2015-06-26 | 2017-01-12 | キヤノン株式会社 | 撮像装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7181086B2 (en) * | 2002-06-06 | 2007-02-20 | Eastman Kodak Company | Multiresolution method of spatially filtering a digital image |
CN100524346C (zh) * | 2004-06-14 | 2009-08-05 | 普瑞科德公司 | 过滤数字图像的方法和系统、数字图像处理器 |
US7676113B2 (en) * | 2004-11-19 | 2010-03-09 | Hewlett-Packard Development Company, L.P. | Generating and displaying spatially offset sub-frames using a sharpening factor |
US8515171B2 (en) * | 2009-01-09 | 2013-08-20 | Rochester Institute Of Technology | Methods for adaptive and progressive gradient-based multi-resolution color image segmentation and systems thereof |
JP4985660B2 (ja) | 2009-01-16 | 2012-07-25 | 株式会社豊田中央研究所 | 擬似濃淡画像生成装置及びプログラム |
US20120127297A1 (en) * | 2010-11-24 | 2012-05-24 | Baxi Vipul A | Digital microscopy with focus grading in zones distinguished for comparable image structures |
US8885941B2 (en) * | 2011-09-16 | 2014-11-11 | Adobe Systems Incorporated | System and method for estimating spatially varying defocus blur in a digital image |
US10607324B2 (en) * | 2015-04-28 | 2020-03-31 | Dolby Laboratories Licensing Corporation | Image highlight detection and rendering |
-
2017
- 2017-07-13 US US16/629,095 patent/US11055877B2/en active Active
- 2017-07-13 WO PCT/JP2017/025542 patent/WO2019012647A1/ja active Application Filing
- 2017-07-13 JP JP2019529391A patent/JP6835227B2/ja active Active
-
2018
- 2018-07-10 TW TW107123760A patent/TWI721288B/zh active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012027773A (ja) * | 2010-07-26 | 2012-02-09 | Toyota Central R&D Labs Inc | 擬似濃淡画像生成装置及びプログラム |
JP2015502058A (ja) * | 2011-11-04 | 2015-01-19 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | マルチスペクトル撮像システム |
JP2016032289A (ja) * | 2014-07-25 | 2016-03-07 | 日本電気株式会社 | 画像合成システム、画像合成方法、画像合成プログラム |
JP2017011633A (ja) * | 2015-06-26 | 2017-01-12 | キヤノン株式会社 | 撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2019012647A1 (ja) | 2019-01-17 |
TW201921912A (zh) | 2019-06-01 |
US11055877B2 (en) | 2021-07-06 |
US20200193644A1 (en) | 2020-06-18 |
JP6835227B2 (ja) | 2021-02-24 |
TWI721288B (zh) | 2021-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7027537B2 (ja) | 画像処理方法および装置、電子機器、ならびにコンピュータ可読記憶媒体 | |
Abdelhamed et al. | A high-quality denoising dataset for smartphone cameras | |
Yang et al. | Multi-scale fusion of two large-exposure-ratio images | |
Jeon et al. | Accurate depth map estimation from a lenslet light field camera | |
Kalantari et al. | Patch-based high dynamic range video. | |
JP6027159B2 (ja) | 画像ぼかし方法および機器、および電子装置 | |
Chakrabarti et al. | Modeling radiometric uncertainty for vision with tone-mapped color images | |
JP5968073B2 (ja) | 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム | |
JP6598660B2 (ja) | 画像処理装置および画像処理方法 | |
JP2015231220A (ja) | 画像処理装置、撮像装置、画像処理方法、撮像方法及びプログラム | |
KR20130112311A (ko) | 고밀도 삼차원 영상 재구성 장치 및 방법 | |
JP7328096B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP6501452B2 (ja) | 画像処理装置及びシステム、画像処理方法、並びにプログラム | |
JP7032913B2 (ja) | 画像処理装置、画像処理方法、コンピュータプログラム | |
CN109661815A (zh) | 存在相机阵列的显著强度变化的情况下的鲁棒视差估计 | |
EP2601636A1 (en) | Method and system for processing an image featuring multiple scales | |
JP6624785B2 (ja) | 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体 | |
JP6835227B2 (ja) | 画像処理装置、画像処理方法およびコンピュータプログラム | |
CN110689486A (zh) | 图像的处理方法、装置、设备及计算机可存储介质 | |
JP7191588B2 (ja) | 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、および、記憶媒体 | |
US9270883B2 (en) | Image processing apparatus, image pickup apparatus, image pickup system, image processing method, and non-transitory computer-readable storage medium | |
Shah et al. | Multimodal image/video fusion rule using generalized pixel significance based on statistical properties of the neighborhood | |
JP6826277B2 (ja) | 画像処理システム、画像処理方法、および画像処理プログラム | |
JP6661491B2 (ja) | 画像処理装置および画像処理方法 | |
Van Vo et al. | High dynamic range video synthesis using superpixel-based illuminance-invariant motion estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191212 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191212 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210118 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6835227 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |