JPWO2017169039A1 - 画像処理装置、撮像装置、および画像処理方法、並びにプログラム - Google Patents
画像処理装置、撮像装置、および画像処理方法、並びにプログラム Download PDFInfo
- Publication number
- JPWO2017169039A1 JPWO2017169039A1 JP2018508455A JP2018508455A JPWO2017169039A1 JP WO2017169039 A1 JPWO2017169039 A1 JP WO2017169039A1 JP 2018508455 A JP2018508455 A JP 2018508455A JP 2018508455 A JP2018508455 A JP 2018508455A JP WO2017169039 A1 JPWO2017169039 A1 JP WO2017169039A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- correction
- light image
- unit
- infrared light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 291
- 238000003384 imaging method Methods 0.000 title claims description 39
- 238000003672 processing method Methods 0.000 title claims description 12
- 238000012937 correction Methods 0.000 claims abstract description 359
- 238000003702 image correction Methods 0.000 claims abstract description 168
- 238000000034 method Methods 0.000 claims abstract description 155
- 230000008569 process Effects 0.000 claims abstract description 149
- 239000000284 extract Substances 0.000 claims abstract description 23
- 230000006870 function Effects 0.000 description 59
- 230000033001 locomotion Effects 0.000 description 34
- 238000001514 detection method Methods 0.000 description 31
- 238000000605 extraction Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 6
- 230000010365 information processing Effects 0.000 description 4
- 239000000470 constituent Substances 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000002730 additional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4061—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by injecting details from different spectral ranges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
Description
このような2つのカメラを用いた撮像装置について、例えば特許文献1(特開2011−211387号公報)に開示されている。
赤外光画像と可視光画像を入力し、少なくともいずれかの画像から特徴量を抽出する特徴量算出部と、
前記赤外光画像に対して、前記特徴量に応じて決定される参照領域と補正パラメータに基づいて画素値補正処理を実行する画像補正部を有する画像処理装置にある。
赤外光画像の撮像処理を行なう赤外光画像撮像部と、
可視光画像の撮像処理らを行う可視光画像撮像部と、
前記赤外光画像と可視光画像を入力し、少なくともいずれかの画像の画素値補正処理を実行する画像処理部を有し、
前記画像処理部は、
赤外光画像と可視光画像を入力し、少なくともいずれかの画像から特徴量を抽出する特徴量算出部と、
前記赤外光画像に対して、前記特徴量に応じて決定される参照領域と補正パラメータに基づいて画素値補正処理を実行する画像補正部を有する撮像装置にある。
赤外光画像を入力し、特徴量を抽出する特徴量算出部と、
前記赤外光画像に対して、前記特徴量に応じて決定される参照領域と補正パラメータに基づいて画素値補正処理を実行する画像補正部を有する画像処理装置にある。
画像処理装置において実行する画像処理方法であり、
特徴量算出部が、赤外光画像と可視光画像を入力し、少なくともいずれかの画像から特徴量を抽出する特徴量算出ステップと、
画像補正部が、前記赤外光画像に対して、前記特徴量に応じて決定される参照領域と補正パラメータに基づいて画素値補正処理を実行する画像補正ステップを実行する画像処理方法にある。
画像処理装置において画像処理を実行させるプログラムであり、
特徴量算出部に、赤外光画像と可視光画像を入力し、少なくともいずれかの画像から特徴量を抽出させ、
画像補正部に、前記赤外光画像に対して、前記特徴量に応じて決定される参照領域と補正パラメータに基づいて画素値補正処理を実行させるプログラムにある。
具体的には、赤外光画像と可視光画像を入力し、少なくともいずれかの画像から特徴量を抽出する特徴量算出部と、赤外光画像に対して、特徴量に応じて決定される参照領域と補正パラメータに基づいて画素値補正処理を実行する画像補正部を有する。さらに、画素値補正に利用する参照領域を、特徴量に基づいて決定するタップ選択部と、画素値補正に利用する補正パラメータを、特徴量に基づいて決定する補正パラメータ算出部を有し、画像補正部は、タップ選択部の決定したタップと、補正パラメータ算出部の決定した補正パラメータを適用した画素値補正処理を実行する。
これらの処理により、赤外光画像の高画質化処理を実行する装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
1.本開示の画像処理装置の構成と処理について
2.赤外光画像の高画質化処理を実行する画像処理装置について
2−1.画像特徴量として輝度分布情報を用いた画像補正処理により、高画質画像を生成する処理例について
2−2.画像特徴量として点広がり関数(PSF:Point Spread Function)(=ぼけ態様を示す関数)を用いた画像補正処理により、高画質画像を生成する処理例について
2−3.画像特徴量としてノイズ情報を用いた画像補正処理により、高画質画像を生成する処理例について
3.可視光画像の高画質化処理を行なう構成例について
4.画像処理装置のその他の実施例について
4−1.撮影画像に対する縮小画像を生成し、縮小画像に対する画像処理を実行する実施例
4−2.可視光画像に基づく擬似赤外光画像を生成し、撮影された赤外光画像と擬似赤外光画像を用いて視差量、動き情報を算出する実施例
4−3.画像補正部の生成した補正赤外光画像をフィードバックして再利用する実施例
4−4.可視光画像を利用せず、赤外光画像のみを利用した実施例
5.画像処理装置の実行する処理のシーケンスについて
6.画像処理装置のハードウェア構成例について
7.本開示の構成のまとめ
図1以下を参照して本開示の画像処理装置の構成と処理について説明する。
まず、図1以下を参照して本開示の画像処理装置が処理対象とする画像について説明する。
図1に示すように、可視光画像10は、波長が約0.4μm〜0.7μmの範囲の画像であり、一般的なカメラで撮影されるRGB画像等のカラー画像である。
なお、赤外線は、図1に示すように、
波長が約0.7〜1μmの近赤外線、
波長が約3〜5μmの中赤外線、
波長が約8〜14μmの遠赤外線、
このように区分される。
ただし、本開示の処理は、遠赤外光画像に限らず、その他の赤外光画像を利用した処理にも適用可能である。
図2(1)の可視光画像は、RGB各画素からなるベイヤ配列の例を示している。このベイヤ配列は、多くの可視光撮影カメラの撮像素子に利用されている。
撮像素子の各画素は、RまたはGまたはB各波長光の光量に応じた電気信号を出力する。
ただし、図2(1),(2)に示すように、一般的に赤外光画像撮像素子は、可視光画像撮像素子に比較して、解像度が低くなる。これは赤外光、特に遠赤外光は波長光が長く、高密度の画素配列を持つ撮像素子が利用しにくい等の理由である。
[2.赤外光画像の高画質化処理を実行する画像処理装置について]
図4は、本開示の画像処理装置100の一例である撮像装置の構成を示すブロック図である。
なお、本開示の画像処理装置には、撮像装置に限らず、例えば撮像装置の撮影画像を入力して画像処理を実行するPC等の情報処理装置も含まれる。
以下では、本開示の画像処理装置100の一例として、撮像装置の構成と処理について説明する。
以下の実施例において説明する撮影処理以外の画像処理は、撮像装置に限らず、PC等の情報処理装置において実行可能である。
撮像部106は、遠赤外光画像を撮影する赤外光画像撮像部107と、通常の可視光画像の撮影を行う可視光画像撮像部108を有する。
異なる視点からの2つの画像の対応画素、すなわち同一位置の画素には同一の被写体画像が撮影されず、視差に応じた被写体ずれが発生する。
なお、これらの撮影タイミングの制御は制御部101によって行われる。
コーデック103は、撮影画像の圧縮、伸長処理等の符号化、復号処理を実行する。
入力部104は、例えばユーザ操作部であり、撮影開始、終了、様々なモード設定等の制御情報を入力する。
出力部105は表示部、スピーカ等によって構成され、撮影画像、スルー画等の表示、音声出力等に利用される。
具体的には、例えば、高画質化した補正赤外光画像191を生成する。なお、本実施例では、高画質化処理対象は、赤外光画像のみであり、可視光画像についての高画質化処理は実行しない。可視光画像192は撮影された可視光画像に相当する。
なお、可視光画像に対する高画質化処理を行なうことも可能であり、この実施例については後段で説明する。
本実施例において、画像処理部120は、赤外光画像撮像部107において撮影された赤外光画像201と、可視光画像撮像部108において撮影された可視光画像202、これら2種類の画像を入力し、これら2種類の画像を利用して、高画質化処理を施した補正赤外光画像205を生成して出力する。
画像処理部120は、赤外光画像撮像部107において撮影された赤外光画像201をスケーラ121に入力し、赤外光画像201のサイズを可視光画像202のサイズに合わせるスケーリング処理を実行する。
多くの場合、赤外光画像撮像部107の第1撮像素子111のサイズは、可視光画像撮像部108の第2撮像素子のサイズより小さい。
スケーラ121は、赤外光画像201のサイズを可視光画像202のサイズに合わせるスケーリング処理を実行する。
視差量検出&動き検出部122は、赤外光画像201と、可視光画像202の視差量と、2つの画像間の動き量を検出する。
異なる視点からの2つの画像、すなわち赤外光画像201と、可視光画像202との対応画素、すなわち同一位置の画素には同一の被写体画像が撮影されず、視差に応じた被写体ずれが発生する。
視差量検出&動き検出部122は、赤外光画像201と、可視光画像202の視差量と、2つの画像間の動き量を検出し、これらの情報、すなわち視差情報と、動き情報、例えば動きベクトル(MV:Motion Vector)を画像位置合わせ部123に入力する。
すなわち、各画像の同一位置に同一の被写体が位置するように2枚の画像の位置合わせ処理を実行する。
ただし、どちらの画像を基準画像として用いるかは限定されるものではなく、いずれの画像を基準画像とする構成も可能である。
さらに、位置合わせ後赤外光画像203については、タップ選択部125を介して画像補正部127に入力する。
図6には、特徴量算出部124が、2つの画像の少なくともいずれかから抽出可能な以下の3種類の画像特徴量の例を示している。
(1)輝度分布情報
(2)点広がり関数(PSF:Point Spread Function)(=ぼけ態様を示す関数)
(3)ノイズ情報
図に示す例は、グラフの左側が低輝度値であり、右側が高輝度値となっている。このような輝度分布は、例えば被写体の境界等のエッジ領域に相当する輝度分布である。
なお、このような輝度分布情報は、位置合わせ後赤外光画像203、または位置合わせ後可視光画像204の一方の画像のみから取得可能な画像特徴量である。
図6(2)(b)の具体例に示すように、ある画素位置の画素値の周囲に対するひろがり度合い、すなわちぼけ量を示す関数である。
なお、この点広がり関数も、位置合わせ後赤外光画像203、または位置合わせ後可視光画像204の一方の画像のみから取得可能な画像特徴量である。
図6(3)(b)の具体例には、横軸に画素位置、縦軸に画素値を設定したグラフ(ノイズ分布グラフ)を示している。
このグラフに示すように、画素値は、本来の被写体の色や輝度に所定量のノイズを加算した値となる。なお、ノイズには高周波ノイズ、低周波ノイズ等、様々なタイプのノイズがある。
なお、このノイズ情報も、位置合わせ後赤外光画像203、または位置合わせ後可視光画像204の一方の画像のみから取得可能な画像特徴量である。
特徴量算出部124は、位置合わせ後赤外光画像203、または位置合わせ後可視光画像204の少なくとも一方の画像から、図6に示す3つの画像特徴量の少なくともいずれかの特徴量を取得する。
(1)輝度分布情報
(2)点広がり関数(PSF:Point Spread Function)(=ぼけ態様を示す関数)
(3)ノイズ情報
これらの画像特徴量を個別に適用した画像補正処理、すなわち、赤外光画像の高画質化処理の具体的処理例について、順次、説明する。
まず、画像特徴量として輝度分布情報を取得し、取得した輝度分布情報を用いた画像補正処理により、赤外光画像の高画質化処理を行なう処理例について説明する。
特徴量抽出部124は、画像特徴量として輝度分布情報を抽出し、タップ選択部125、補正パラメータ算出部126、および画像補正部127は、特徴量抽出部124が抽出した輝度分布情報に基づいて、位置合わせ後赤外光画像203を高画質化するための画像補正処理に適用するタップ設定処理と、補正パラメータ算出処理と、画像補正処理を実行する。
特徴量抽出部124は、図7に示すように、ステップS101において、位置合わせ後赤外光画像203と、位置合わせ後可視光画像204から画像特徴量としての輝度分布情報を取得する。
(a1)補正前の画像の輝度分布例
(a2)タップ設定と、補正パラメータ(乗算係数Ki)の例
(b)補正後の画像の輝度分布例
一方、赤外光画像は、赤外光画像撮像部107に配置された低密度画素構成の第1撮像素子111によって撮影された画像であり、さらにスケーラ121によって拡大処理がなされた低解像度画像であるため、輝度分布は、被写体輝度を正確に反映せずなだらかな分布となる。すなわち、赤外光画像は、ぼやけた低解像度の画像となる。
タップ選択部125は、画像補正部127における画素値補正に利用する参照領域を、特徴量抽出部124から入力する特徴量に基づいて決定する。
具体的には、例えば、位置合わせ後赤外光画像203と、位置合わせ後可視光画像204から抽出した輝度分布情報のずれが大きいほど広範囲の参照画素領域(タップ領域)を設定する。
補正パラメータ算出部126は、画像補正部127における画素値補正に利用する補正パラメータを、特徴量抽出部124から入力する特徴量に基づいて決定する。
具体的には、例えば、位置合わせ後赤外光画像203と、位置合わせ後可視光画像204から抽出した輝度分布情報のずれの状態に応じて、ずれを解消するために効果的な補正パラメータを決定する。
図に示す例では、補正対象画素を中心とする3×3=9画素を示している。9個の画素位置に示す0,1,−1は、補正パラメータ算出部126の算出した補正パラメータである乗算係数Kiである。なお、iは画素位置を示す画素位置識別子である。
補正パラメータ算出部126はタップ位置の画素値に乗算する乗算係数Kiを算出する。図8(a2)に示す−1や1である。
以下の(式1)に従って、補正画素値Tを算出する。
T:補正対象画素の補正画素値
Ti:参照画素の画素値
i:参照画素の画素識別子
Ki:参照画素i対応の乗算係数
参照画素は、3×3=9画素の各画素であり、Tiはこれらの各画素の画素値である。iは画素の識別子である。9個の画素を参照する場合、n=8に設定され、i=0〜8の各画素の画素値を用いて、補正画素値Tが算出される。
Kiは、各画素位置iに設定される画素値Tiに対する乗算係数である。
上記(式1)に従って補正対象画素の画素値を算出する。
補正赤外光画像205の輝度分布は、図8(a1)に示す補正前の赤外光画像の輝度分布に比較して、可視光画像の輝度分布に近づいた形状となる。なわち解像度が向上した分布となる。
このように、解像度の高い可視光画像の特徴量である輝度分布情報を用いて、赤外光画像の画素値を補正することで、低解像度の赤外光画像の高画質化、すなわち解像度を上昇させた補正赤外光画像205を生成して出力することが可能となる。
次に、画像特徴量として点広がり関数(PSF:Point Spread Function)(=ぼけ態様を示す態様を示す関数)情報を取得し、取得した点広がり関数(PSF)情報を用いた画像補正処理により、赤外光画像の高画質化処理を行なう処理例について説明する。
特徴量抽出部124は、位置合わせ後赤外光画像203から、画像特徴量として点広がり関数(PSF)(=ぼけ態様を示す態様を示す関数)を抽出し、タップ選択部125、補正パラメータ算出部126に出力する。
特徴量抽出部124は、図9に示すように、ステップS121において、位置合わせ後赤外光画像203から画像特徴量としての点広がり関数(PSF)(=ぼけ態様を示す態様を示す関数)を取得する。
図6(2)(b)の具体例に示すように、ある画素位置の画素値の周囲に対するひろがり度合い、すなわちぼけ量を示す関数である。
なお、ここでは、位置合わせ後赤外光画像203を用いて点広がり関数(PSF)を取得している。
具体的には、例えば、位置合わせ後赤外光画像203のぼけ量が大きい(広い)ほど広範囲の参照画素領域(タップ領域)を設定する。
具体的には、ぼけ解消のためのフィルタである逆フィルタを構成する係数、すなわち、補正対象画素の周囲の参照画素に対して適用する乗算係数を算出する。
(a1)補正前の画像の画素値分布例
(a2)タップ設定と、補正パラメータ(乗算係数Ki)の例
(b)補正後の画像の画素値分布例
前述したように、赤外光画像は、赤外光画像撮像部107に配置された低密度画素構成の第1撮像素子111によって撮影された画像であり、さらにスケーラ121によって拡大処理がなされた低解像度画像であるため、画素値分布が、被写体輝度をなめらかに反映した分布となる。すなわち、赤外光画像は、ぼけの大きな画像となる。
タップ選択部125は、画像補正部127における画素値補正に利用する参照領域を、特徴量抽出部124から入力する特徴量に基づいて決定する。
具体的には、例えば、位置合わせ後赤外光画像203のぼけ量が大きい(広い)ほど広範囲の参照画素領域(タップ領域)を設定する。
補正パラメータ算出部126は、画像補正部127における画素値補正に利用する補正パラメータを、特徴量抽出部124から入力する特徴量に基づいて決定する。
具体的には、例えば、位置合わせ後赤外光画像203のぼけを解消するために効果的な補正パラメータを決定する。
図に示す例では、補正対象画素を中心とする3×3=9画素を示している。9個の画素位置に示す0,−1,9は、補正パラメータ算出部126の算出した補正パラメータである乗算係数Kiである。なお、iは画素位置を示す画素位置識別子である。
補正パラメータ算出部126はタップ位置の画素値に乗算する乗算係数Kiを算出する。図10(a2)に示す−1や9である。
以下の(式2)に従って、補正画素値Tを算出する。
T:補正対象画素の補正画素値
Ti:参照画素の画素値
i:参照画素の画素識別子
Ki:参照画素i対応の乗算係数
参照画素は、3×3=9画素の各画素であり、Tiはこれらの各画素の画素値である。iは画素の識別子である。9個の画素を参照する場合、n=8に設定され、i=0〜8の各画素の画素値を用いて、補正画素値Tが算出される。
Kiは、各画素位置iに設定される画素値Tiに対する乗算係数である。
上記(式2)に従って補正対象画素の画素値を算出する。
補正赤外光画像205の画素値分布は、図10(a1)に示す補正前の赤外光画像の画素値分布に比較して、画素値変化の勾配が急になり、ぼけが解消された画像となる。
このように、赤外光画像のぼけ態様を示す特徴量であるPSF情報を用いて、赤外光画像の画素値を補正することで、ぼけの多い赤外光画像の高画質化、すなわちぼけ量を減少させた補正赤外光画像205を生成して出力することが可能となる。
図11に、比較的ぼけの広がりが大きい場合のタップ設定と補正パラメータ(乗算係数Ki)の設定例を示す。
次に、画像特徴量としてノイズ情報を取得し、取得したノイズ情報を用いた画像補正処理により、赤外光画像の高画質化処理を行なう処理例について説明する。
特徴量抽出部124は、位置合わせ後可視光画像204から、画像特徴量としてノイズ情報を抽出し、タップ選択部125、補正パラメータ算出部126に出力する。
特徴量抽出部124は、図12に示すように、ステップS141において、位置合わせ後可視光画像204から画像特徴量としてのノイズ情報を取得する。
図6(3)(b)の具体例に示すように、画像に設定される画素値には、所定量のノイズが含まれ、画素値は、本来の被写体の色や輝度に所定量のノイズを加算した値となる。なお、ノイズには高周波ノイズ、低周波ノイズ等、様々なタイプのノイズがある。
なお、ここでは、位置合わせ後可視光画像204を用いてノイズ情報を取得している。
具体的には、例えば、位置合わせ後可視光画像204に含まれるノイズに低域成分ノイズが多いほど広範囲の参照画素領域(タップ領域)を設定する。
具体的には、補正対象画素の周囲の参照画素に対して適用する乗算係数を算出する。
(a1)補正前の画像の画素値分布例
(a2)タップ設定と、補正パラメータ(乗算係数Ki)の例
(b)補正後の画像の画素値分布例
前述したように、赤外光画像は、赤外光画像撮像部107に配置された低密度画素構成の第1撮像素子111によって撮影された画像であり、さらにスケーラ121によって拡大処理がなされた低解像度画像であり、高解像度画像であるね可視光画像に比較して、より多くのノイズが含まれた画像となる。
タップ選択部125は、画像補正部127における画素値補正に利用する参照領域を、特徴量抽出部124から入力する特徴量に基づいて決定する。
具体的には、例えば、位置合わせ後可視光画像204のノイズに低域成分ノイズが多いほど広範囲の参照画素領域(タップ領域)を設定する。
補正パラメータ算出部126は、画像補正部127における画素値補正に利用する補正パラメータを、特徴量抽出部124から入力する特徴量に基づいて決定する。
具体的には、例えば、位置合わせ後可視光画像204に含まれるノイズ成分に応じてノイズ低減に効果的な補正パラメータを決定する。
図に示す例では、補正対象画素を中心とする3×3=9画素を示している。9個の画素位置に示す1/9は、補正パラメータ算出部126の算出した補正パラメータである乗算係数Kiである。なお、iは画素位置を示す画素位置識別子である。
なお、この係数設定は平滑化フィルタの係数設定に相当する。
補正パラメータ算出部126はタップ位置の画素値に乗算する乗算係数Kiを算出する。図13(a2)に示す1/9である。
以下の(式3)に従って、補正画素値Tを算出する。
T:補正対象画素の補正画素値
Ti:参照画素の画素値
i:参照画素の画素識別子
Ki:参照画素i対応の乗算係数
参照画素は、3×3=9画素の各画素であり、Tiはこれらの各画素の画素値である。iは画素の識別子である。9個の画素を参照する場合、n=8に設定され、i=0〜8の各画素の画素値を用いて、補正画素値Tが算出される。
Kiは、各画素位置iに設定される画素値Tiに対する乗算係数である。
上記(式3)に従って補正対象画素の画素値を算出する。
補正赤外光画像205の画素値分布は、図13(a1)に示す補正前の赤外光画像の画素値分布に比較して、画素値に含まれるノイズが減少した画像となる。
このように、赤外光画像のノイズ態様を示す特徴量であるノイズ情報を用いて、赤外光画像の画素値を補正することで、ノイズの多い赤外光画像の高画質化、すなわちノイズ量を減少させた補正赤外光画像205を生成して出力することが可能となる。
図14は、図13の例より、低域成分ノイズが多い場合のタップ設定と補正パラメータ(乗算係数Ki)の設定例である。
(1)輝度分布情報
(2)点広がり関数(PSF:Point Spread Function)(=ぼけ態様を示す関数)
(3)ノイズ情報
これらの画像特徴量を個別に適用した画像補正処理、すなわち、赤外光画像の高画質化処理を行なう処理例として説明した。
このように1種類の特徴量を用いて画像補正を行うことも可能であるが、上記の特徴量(1)〜(3)の任意の2つ、または3つを組み合わせて利用して画像補正を行う構成としてもよい。
図5〜図14を参照して説明した画像処理装置は、赤外光画像のみの高画質化処理を実行する画像処理装置である。
次に、図15以下を参照して、赤外光画像に併せて可視光画像についても高画質化処理を実行する画像処理装置の構成と処理について説明する。
その他の構成については図5以下を参照して説明した構成と同様の構成であり、赤外光画像については、先に図5〜図14を参照して説明したと同様の高画質化処理が施されて補正赤外光画像205が出力される。
図16に示すように画像補正部127は、赤外光画像補正部131と、可視光画像補正部132を有する。
可視光画像補正部132は、位置合わせ後可視光画像204に対して、補正赤外光画像205の重畳処理を実行する。具体的には、例えば位置合わせ後可視光画像204と、補正赤外光画像205の対応位置(同一座標位置)の画素値のブレンド処理、具体的には、例えば補正赤外光画像205の高域成分を、位置合わせ後可視光画像204に足し込む処理を実行して、補正可視光画像206を生成して出力する。
この処理によって、高画質化された補正可視光画像206を生成し、出力する。
次に、図17以下を参照して画像処理装置のその他の実施例について説明する。
以下の各実施例について、順次、説明する。
(1)撮影画像に対する縮小画像を生成し、縮小画像に対する画像処理を実行する実施例
(2)可視光画像に基づく擬似赤外光画像を生成し、撮影された赤外光画像と擬似赤外光画像を用いて視差量、動き情報を算出する実施例
(3)画像補正部の生成した補正赤外光画像をフィードバックして再利用する実施例
(4)可視光画像を利用せず、赤外光画像のみを利用した実施例
まず、図17を参照して撮影画像に対する縮小画像を生成し、縮小画像に対する画像処理を実行する実施例について説明する。
図17に示す構成は、先に説明した図5とほぼ同様の構成である。異なる点は、画像縮小部151が追加された点と、画像補正部127において、画像拡大処理を実行する点である。
その他の構成については図5〜図14を参照して説明した構成と同様の構成であり、赤外光画像については、図5〜図14を参照して説明したと同様の高画質化処理が施されて補正赤外光画像205が出力される。
さらに、スケーラ121は、赤外光画像撮影部107において撮影された赤外光画像201を、画像縮小部151において縮小された可視光サイズと同じサイズに縮小する処理を実行する。
従って、データ処理機能やメモリ量の少ないモバイル端末等においても高速に確実な処理を行なうことが可能となる。
次に、図18を参照して、可視光画像に基づく擬似赤外光画像を生成し、撮影された赤外光画像と擬似赤外光画像を用いて視差量、動き情報を算出する実施例について説明する。
図18に示す構成は、先に説明した図5とほぼ同様の構成である。異なる点は、擬似赤外光画像生成部161が追加された点である。
その他の構成については図5〜図14を参照して説明した構成と同様の構成であり、赤外光画像については、図5〜図14を参照して説明したと同様の高画質化処理が施されて補正赤外光画像205が出力される。
擬似赤外光画像生成部161は、まず、このRGB配列画像に基づくデモザイク処理を実行して、全画素にG画素値を設定する。さらに、このG画素値に基づいて、擬似的な赤外光画素値(IR)を算出する。
例えば、以下の式に従って画像を構成する各画素iの赤外光画素値(IRi)を算出する。
IRi=a×Gi
なお、上記のG画素値を用いた例は一例であり、擬似赤外光画像生成部161は、その他の方法を適用して可視光画像202に基づく擬似赤外光画像161を生成してもよい。
iは、画素の識別子、
IRiは、擬似赤外光画像の画素iの擬似赤外光画素値、
aは、予め既定した係数、
Giは、可視光画像のデモザイク処理によって生成した画像の画素iの画素値である。
視差量検出&動き検出部122は、これらの2つの入力画像を比較して、画像間の視差量と、動き量を検出する。
次に、図19を参照して、.画像補正部の生成した補正赤外光画像をフィードバックして再利用する実施例について説明する。
図19に示す構成は、先に説明した図5とほぼ同様の構成である。異なる点は、減算器171と、加算器172を追加した点である。
減算器171では、位置合わせ後赤外光画像203から、位置合わせ後補正赤外光画像211の差分画像が生成される。
特徴量算出部124や、タップ選択部125、画像補正部127における処理は差分画像に対して実行される。
画像補正部127の出力する差分画像は、加算器172に入力され、加算器1272において、補正済みの差分画像と位置合わせ後補正赤外光画像との加算処理が実行され、その結果が、補正赤外光画像205として出力される。
この構成により、先行補正結果を参照して、次の画像フレームの補正処理を行なうことが可能となり、補正精度を向上させることができる。
次に、図20を参照して、可視光画像を利用せず、赤外光画像のみを利用した実施例について説明する。
図20に示す画像処理装置は、先に説明した図5に示す画像処理装置とは異なり、可視光画像撮像部108を有していない。
赤外光画像撮像部107のみを有し、赤外光画像201のみを利用した画像処理を実行する。
画像処理部120は、赤外光画像撮像部107において撮影された赤外光画像201を特徴量算出部181と、タップ選択部182を介して画像補正部184に入力する。
特徴量算出部181が、赤外光画像201から取得する特徴量データは、例えば先に図6を参照して説明した特徴量であり、以下の3種類の画像特徴量の少なくともいずれかを含む。
(1)輝度分布情報
(2)点広がり関数(PSF:Point Spread Function)(=ぼけ態様を示す関数)
(3)ノイズ情報
これらの処理は、先に図5〜図14を参照して説明した処理と同様の構成である。
以下の(式4)に従って、補正画素値Tを算出する。
T:補正対象画素の補正画素値
Ti:参照画素の画素値
i:参照画素の画素識別子
Ki:参照画素i対応の乗算係数
次に、本開示の画像処理装置の実行する処理シーケンスについて説明する。
図21は、図5〜図14を参照して説明した画像処理装置の画像処理部において実行する処理シーケンスを説明するフローチャートである。
以下、図21に示すフローの各ステップの処理について、順次、説明する。
ステップS301a,301bは、画像撮影処理である。
例えば図5に示す赤外光画像撮像部107と、可視光画像撮像部108において画像が撮影される。
ステップS301aは、図5に示す可視光画像撮像部108における可視光画像202の撮影処理である。
ステップS301bは、赤外光画像撮像部107における赤外光画像201の撮影処理である。
ステップS302は、図5に示すスケーラ121の実行する処理である。
スケーラ121は、ステップS302において、ステップS301bで赤外光画像撮像部107が撮影した赤外光画像201を入力し、赤外光画像201のサイズを可視光画像202のサイズに合わせるスケーリング処理を実行する。
ステップS303は、図5に示す視差量検出&動き検出部122の実行する処理である。
視差量検出&動き検出部122は、赤外光画像201と、可視光画像202の視差量と、2つの画像間の動き量を検出する。
異なる視点からの2つの画像、すなわち赤外光画像201と、可視光画像202との対応画素、すなわち同一位置の画素には同一の被写体画像が撮影されず、視差に応じた被写体ずれが発生する。
ステップS304の処理は、図5に示す画像位置合わせ部123の実行する処理である。
画像位置合わせ部123は、視差量検出&動き検出部122から入力する視差情報と、動き情報を利用し、サイズ調整を行った赤外光画像201と、可視光画像202の位置合わせ処理を実行する。
すなわち、各画像の同一位置に同一の被写体が撮影された2枚の位置合わせ画像を生成する。
さらに、位置合わせ後赤外光画像203については、タップ選択部125を介して画像補正部127に入力する。
ステップS305の処理は、図5に示す特徴量算出部124の実行する処理である。
特徴量算出部124は、位置合わせ後赤外光画像203と、位置合わせ後可視光画像204を入力し、これらの画像から画像の特徴量を抽出し、抽出した特徴量データをタップ選択部125と、補正パラメータ算出部126に出力する。
(1)輝度分布情報
(2)点広がり関数(PSF:Point Spread Function)(=ぼけ態様を示す関数)
(3)ノイズ情報
「(2)点広がり関数(PSF:Point Spread Function)(=ぼけ態様を示す関数)」は、画像のぼけ量を示す関数である点広がり関数(PSF)である。
「(3)ノイズ情報」は、画像に含まれるノイズを示す情報である。
ステップS306の処理は、図5に示すタップ選択部125の実行する処理である。
タップ選択部125は、特徴量算出部124の算出した画像特徴量に基づいて、位置合わせ後赤外光画像203を高画質化するための画像補正処理に適用するタップ設定処理を実行する。
具体的には、先に図5〜図14を参照して説明した処理を実行する。
ステップS307の処理は、図5に示す補正パラメータ算出部126の実行する処理である。
補正パラメータ算出部126は、特徴量算出部124の算出した画像特徴量に基づいて、位置合わせ後赤外光画像203を高画質化するための画像補正処理に適用する補正パラメータ算出処理を実行する。
具体的には、先に図5〜図14を参照して説明した処理を実行し、フィルタに適用する乗算係数Kiの算出等を行う。
ステップS308の処理は、図5に示す画像補正部127の実行する処理である。
画像補正部127は、特徴量算出部124の算出した画像特徴量に基づいて、位置合わせ後赤外光画像203を高画質化するための画像補正処理を実行する。
具体的には、先に図5〜図14を参照して説明した処理を実行する。
(1)輝度分布情報
(2)点広がり関数(PSF:Point Spread Function)(=ぼけ態様を示す関数)
(3)ノイズ情報
これらの画像特徴量を個別に適用した画像補正処理として実行してもよいが、上記の特徴量(1)〜(3)の任意の2つ、または3つを組み合わせて利用して画像補正を行う構成としてもよい。
次に、図22を参照して画像処理装置のハードウェア構成例について説明する。
図22は、本開示の処理を実行する画像処理装置のハードウェア構成例を示す図である。
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
(1) 赤外光画像と可視光画像を入力し、少なくともいずれかの画像から特徴量を抽出する特徴量算出部と、
前記赤外光画像に対して、前記特徴量に応じて決定される参照領域と補正パラメータに基づいて画素値補正処理を実行する画像補正部を有する画像処理装置。
前記画像補正部における画素値補正に利用する参照領域を、前記特徴量に基づいて決定するタップ選択部と、
前記画像補正部における画素値補正に利用する補正パラメータを、前記特徴量に基づいて決定する補正パラメータ算出部を有し、
前記画像補正部は、
前記タップ選択部の決定したタップと、前記補正パラメータ算出部の決定した補正パラメータを適用した画素値補正処理を実行する(1)に記載の画像処理装置。
前記赤外光画像、または前記可視光画像の少なくともいずれかの画像から、
(a)輝度分布情報
(b)ぼけ態様情報
(c)ノイズ情報
上記(a)〜(c)のいずれかの特徴量を抽出する(1)または(2)に記載の画像処理装置。
前記赤外光画像と、前記可視光画像から輝度分布情報を取得し、
前記画像補正部は、
前記赤外光画像と、前記可視光画像の輝度分布のずれを解消するように、前記赤外光画像の画素値補正処理を実行する(1)〜(3)いずれかに記載の画像処理装置。
前記画像補正部における画素値補正に利用する参照領域を、前記特徴量に基づいて決定するタップ選択部と、
前記画像補正部における画素値補正に利用する補正パラメータを、前記特徴量に基づいて決定する補正パラメータ算出部を有し、
前記タップ選択部は、前記赤外光画像と、前記可視光画像の輝度分布のずれが大きいほど広範囲の参照画素領域(タップ領域)を設定し、
前記補正パラメータ算出部は、前記赤外光画像と、前記可視光画像の輝度分布のずれを解消するための補正パラメータを決定し、
前記画像補正部は、
前記タップ選択部の決定したタップと、前記補正パラメータ算出部の決定した補正パラメータを適用した画素値補正処理を実行する(4)に記載の画像処理装置。
前記赤外光画像からぼけ態様情報を取得し、
前記画像補正部は、
前記赤外光画像のぼけを減少させるように、前記赤外光画像の画素値補正処理を実行する(1)〜(5)いずれかに記載の画像処理装置。
前記画像補正部における画素値補正に利用する参照領域を、前記特徴量に基づいて決定するタップ選択部と、
前記画像補正部における画素値補正に利用する補正パラメータを、前記特徴量に基づいて決定する補正パラメータ算出部を有し、
前記タップ選択部は、前記赤外光画像のぼけ範囲が大きいほど広範囲の参照画素領域(タップ領域)を設定し、
前記補正パラメータ算出部は、前記赤外光画像のぼけを解消するための補正パラメータを決定し、
前記画像補正部は、
前記タップ選択部の決定したタップと、前記補正パラメータ算出部の決定した補正パラメータを適用した画素値補正処理を実行する(6)に記載の画像処理装置。
前記可視光画像からノイズ情報を取得し、
前記画像補正部は、
前記赤外光画像のノイズを減少させるように、前記赤外光画像の画素値補正処理を実行する(1)〜(7)いずれかに記載の画像処理装置。
前記画像補正部における画素値補正に利用する参照領域を、前記特徴量に基づいて決定するタップ選択部と、
前記画像補正部における画素値補正に利用する補正パラメータを、前記特徴量に基づいて決定する補正パラメータ算出部を有し、
前記タップ選択部は、前記可視光画像のノイズに低域成分ノイズが多いほど広範囲の参照画素領域(タップ領域)を設定し、
前記補正パラメータ算出部は、前記可視光画像に含まれるノイズ成分に応じた補正パラメータを決定し、
前記画像補正部は、
前記タップ選択部の決定したタップと、前記補正パラメータ算出部の決定した補正パラメータを適用した画素値補正処理を実行する(8)に記載の画像処理装置。
前記赤外光画像の画素値補正結果として取得した補正赤外光画像を適用して、前記可視光画像の画像補正処理を実行する(1)〜(9)いずれかに記載の画像処理装置。
可視光画像の撮像処理らを行う可視光画像撮像部と、
前記赤外光画像と可視光画像を入力し、少なくともいずれかの画像の画素値補正処理を実行する画像処理部を有し、
前記画像処理部は、
赤外光画像と可視光画像を入力し、少なくともいずれかの画像から特徴量を抽出する特徴量算出部と、
前記赤外光画像に対して、前記特徴量に応じて決定される参照領域と補正パラメータに基づいて画素値補正処理を実行する画像補正部を有する撮像装置。
前記画像補正部における画素値補正に利用する参照領域を、前記特徴量に基づいて決定するタップ選択部と、
前記画像補正部における画素値補正に利用する補正パラメータを、前記特徴量に基づいて決定する補正パラメータ算出部を有し、
前記画像補正部は、
前記タップ選択部の決定したタップと、前記補正パラメータ算出部の決定した補正パラメータを適用した画素値補正処理を実行する(11)に記載の撮像装置。
前記赤外光画像、または前記可視光画像の少なくともいずれかの画像から、
(a)輝度分布情報
(b)ぼけ態様情報
(c)ノイズ情報
上記(a)〜(3cのいずれかの特徴量を抽出する(11)または(12)に記載の撮像装置。
前記赤外光画像に対して、前記特徴量に応じて決定される参照領域と補正パラメータに基づいて画素値補正処理を実行する画像補正部を有する画像処理装置。
前記画像補正部における画素値補正に利用する参照領域を、前記特徴量に基づいて決定するタップ選択部と、
前記画像補正部における画素値補正に利用する補正パラメータを、前記特徴量に基づいて決定する補正パラメータ算出部を有し、
前記画像補正部は、
前記タップ選択部の決定したタップと、前記補正パラメータ算出部の決定した補正パラメータを適用した画素値補正処理を実行する(14)に記載の画像処理装置。
前記赤外光画像から、
(a)輝度分布情報
(b)ぼけ態様情報
(c)ノイズ情報
上記(a)〜(c)のいずれかの特徴量を抽出する(14)または(15)に記載の画像処理装置。
特徴量算出部が、赤外光画像と可視光画像を入力し、少なくともいずれかの画像から特徴量を抽出する特徴量算出ステップと、
画像補正部が、前記赤外光画像に対して、前記特徴量に応じて決定される参照領域と補正パラメータに基づいて画素値補正処理を実行する画像補正ステップを実行する画像処理方法。
特徴量算出部に、赤外光画像と可視光画像を入力し、少なくともいずれかの画像から特徴量を抽出させ、
画像補正部に、前記赤外光画像に対して、前記特徴量に応じて決定される参照領域と補正パラメータに基づいて画素値補正処理を実行させるプログラム。
具体的には、赤外光画像と可視光画像を入力し、少なくともいずれかの画像から特徴量を抽出する特徴量算出部と、赤外光画像に対して、特徴量に応じて決定される参照領域と補正パラメータに基づいて画素値補正処理を実行する画像補正部を有する。さらに、画素値補正に利用する参照領域を、特徴量に基づいて決定するタップ選択部と、画素値補正に利用する補正パラメータを、特徴量に基づいて決定する補正パラメータ算出部を有し、画像補正部は、タップ選択部の決定したタップと、補正パラメータ算出部の決定した補正パラメータを適用した画素値補正処理を実行する。
これらの処理により、赤外光画像の高画質化処理を実行する装置、方法が実現される。
20 赤外光画像
100 画像処理装置
101 制御部
102 記憶部
103 コーデック
104 入力部
105 出力部
106 撮像部
107 赤外光画像撮像部
108 可視光画像撮像部
111 第1撮像素子
112 第2撮像素子
113 赤外光(IR)照射部
120 画像処理部
121 スケーラ
122 視差量検出&動き量検出部
123 画像位置合わせ部
124 特徴量算出部
125 タップ選択部
126 補正パラメータ算出部
127 画像補正部
131 赤外光画像補正部
132 可視光画像補正部
151 画像縮小部
161 擬似赤外光画像生成部
171 減算器
172 加算器
181 特徴量算出部
182 タップ選択部
183 補正パラメータ算出部
184 画像補正部
191 補正赤外光画像
192 可視光画像
501 CPU
502 ROM
503 RAM
504 バス
505 入出力インタフェース
506 入力部
507 出力部
508 記憶部
509 通信部
510 ドライブ
511 リムーバブルメディア
521 撮像部
522 表示部
Claims (18)
- 赤外光画像と可視光画像を入力し、少なくともいずれかの画像から特徴量を抽出する特徴量算出部と、
前記赤外光画像に対して、前記特徴量に応じて決定される参照領域と補正パラメータに基づいて画素値補正処理を実行する画像補正部を有する画像処理装置。 - 前記画像処理装置は、さらに、
前記画像補正部における画素値補正に利用する参照領域を、前記特徴量に基づいて決定するタップ選択部と、
前記画像補正部における画素値補正に利用する補正パラメータを、前記特徴量に基づいて決定する補正パラメータ算出部を有し、
前記画像補正部は、
前記タップ選択部の決定したタップと、前記補正パラメータ算出部の決定した補正パラメータを適用した画素値補正処理を実行する請求項1に記載の画像処理装置。 - 前記特徴量算出部は、
前記赤外光画像、または前記可視光画像の少なくともいずれかの画像から、
(a)輝度分布情報
(b)ぼけ態様情報
(c)ノイズ情報
上記(a)〜(c)のいずれかの特徴量を抽出する請求項1に記載の画像処理装置。 - 前記特徴量算出部は、
前記赤外光画像と、前記可視光画像から輝度分布情報を取得し、
前記画像補正部は、
前記赤外光画像と、前記可視光画像の輝度分布のずれを解消するように、前記赤外光画像の画素値補正処理を実行する請求項1に記載の画像処理装置。 - 前記画像処理装置は、さらに、
前記画像補正部における画素値補正に利用する参照領域を、前記特徴量に基づいて決定するタップ選択部と、
前記画像補正部における画素値補正に利用する補正パラメータを、前記特徴量に基づいて決定する補正パラメータ算出部を有し、
前記タップ選択部は、前記赤外光画像と、前記可視光画像の輝度分布のずれが大きいほど広範囲の参照画素領域(タップ領域)を設定し、
前記補正パラメータ算出部は、前記赤外光画像と、前記可視光画像の輝度分布のずれを解消するための補正パラメータを決定し、
前記画像補正部は、
前記タップ選択部の決定したタップと、前記補正パラメータ算出部の決定した補正パラメータを適用した画素値補正処理を実行する請求項4に記載の画像処理装置。 - 前記特徴量算出部は、
前記赤外光画像からぼけ態様情報を取得し、
前記画像補正部は、
前記赤外光画像のぼけを減少させるように、前記赤外光画像の画素値補正処理を実行する請求項1に記載の画像処理装置。 - 前記画像処理装置は、さらに、
前記画像補正部における画素値補正に利用する参照領域を、前記特徴量に基づいて決定するタップ選択部と、
前記画像補正部における画素値補正に利用する補正パラメータを、前記特徴量に基づいて決定する補正パラメータ算出部を有し、
前記タップ選択部は、前記赤外光画像のぼけ範囲が大きいほど広範囲の参照画素領域(タップ領域)を設定し、
前記補正パラメータ算出部は、前記赤外光画像のぼけを解消するための補正パラメータを決定し、
前記画像補正部は、
前記タップ選択部の決定したタップと、前記補正パラメータ算出部の決定した補正パラメータを適用した画素値補正処理を実行する請求項6に記載の画像処理装置。 - 前記特徴量算出部は、
前記可視光画像からノイズ情報を取得し、
前記画像補正部は、
前記赤外光画像のノイズを減少させるように、前記赤外光画像の画素値補正処理を実行する請求項1に記載の画像処理装置。 - 前記画像処理装置は、さらに、
前記画像補正部における画素値補正に利用する参照領域を、前記特徴量に基づいて決定するタップ選択部と、
前記画像補正部における画素値補正に利用する補正パラメータを、前記特徴量に基づいて決定する補正パラメータ算出部を有し、
前記タップ選択部は、前記可視光画像のノイズに低域成分ノイズが多いほど広範囲の参照画素領域(タップ領域)を設定し、
前記補正パラメータ算出部は、前記可視光画像に含まれるノイズ成分に応じた補正パラメータを決定し、
前記画像補正部は、
前記タップ選択部の決定したタップと、前記補正パラメータ算出部の決定した補正パラメータを適用した画素値補正処理を実行する請求項8に記載の画像処理装置。 - 前記画像補正部は、
前記赤外光画像の画素値補正結果として取得した補正赤外光画像を適用して、前記可視光画像の画像補正処理を実行する請求項1に記載の画像処理装置。 - 赤外光画像の撮像処理を行なう赤外光画像撮像部と、
可視光画像の撮像処理らを行う可視光画像撮像部と、
前記赤外光画像と可視光画像を入力し、少なくともいずれかの画像の画素値補正処理を実行する画像処理部を有し、
前記画像処理部は、
赤外光画像と可視光画像を入力し、少なくともいずれかの画像から特徴量を抽出する特徴量算出部と、
前記赤外光画像に対して、前記特徴量に応じて決定される参照領域と補正パラメータに基づいて画素値補正処理を実行する画像補正部を有する撮像装置。 - 前記画像処理部は、さらに、
前記画像補正部における画素値補正に利用する参照領域を、前記特徴量に基づいて決定するタップ選択部と、
前記画像補正部における画素値補正に利用する補正パラメータを、前記特徴量に基づいて決定する補正パラメータ算出部を有し、
前記画像補正部は、
前記タップ選択部の決定したタップと、前記補正パラメータ算出部の決定した補正パラメータを適用した画素値補正処理を実行する請求項11に記載の撮像装置。 - 前記特徴量算出部は、
前記赤外光画像、または前記可視光画像の少なくともいずれかの画像から、
(a)輝度分布情報
(b)ぼけ態様情報
(c)ノイズ情報
上記(a)〜(c)のいずれかの特徴量を抽出する請求項11に記載の撮像装置。 - 赤外光画像を入力し、特徴量を抽出する特徴量算出部と、
前記赤外光画像に対して、前記特徴量に応じて決定される参照領域と補正パラメータに基づいて画素値補正処理を実行する画像補正部を有する画像処理装置。 - 前記画像処理装置は、さらに、
前記画像補正部における画素値補正に利用する参照領域を、前記特徴量に基づいて決定するタップ選択部と、
前記画像補正部における画素値補正に利用する補正パラメータを、前記特徴量に基づいて決定する補正パラメータ算出部を有し、
前記画像補正部は、
前記タップ選択部の決定したタップと、前記補正パラメータ算出部の決定した補正パラメータを適用した画素値補正処理を実行する請求項14に記載の画像処理装置。 - 前記特徴量算出部は、
前記赤外光画像から、
(a)輝度分布情報
(b)ぼけ態様情報
(c)ノイズ情報
上記(a)〜(c)のいずれかの特徴量を抽出する請求項14に記載の画像処理装置。 - 画像処理装置において実行する画像処理方法であり、
特徴量算出部が、赤外光画像と可視光画像を入力し、少なくともいずれかの画像から特徴量を抽出する特徴量算出ステップと、
画像補正部が、前記赤外光画像に対して、前記特徴量に応じて決定される参照領域と補正パラメータに基づいて画素値補正処理を実行する画像補正ステップを実行する画像処理方法。 - 画像処理装置において画像処理を実行させるプログラムであり、
特徴量算出部に、赤外光画像と可視光画像を入力し、少なくともいずれかの画像から特徴量を抽出させ、
画像補正部に、前記赤外光画像に対して、前記特徴量に応じて決定される参照領域と補正パラメータに基づいて画素値補正処理を実行させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016065532 | 2016-03-29 | ||
JP2016065532 | 2016-03-29 | ||
PCT/JP2017/002582 WO2017169039A1 (ja) | 2016-03-29 | 2017-01-25 | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017169039A1 true JPWO2017169039A1 (ja) | 2019-02-14 |
JP6711396B2 JP6711396B2 (ja) | 2020-06-17 |
Family
ID=59963743
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018508455A Active JP6711396B2 (ja) | 2016-03-29 | 2017-01-25 | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10853926B2 (ja) |
JP (1) | JP6711396B2 (ja) |
WO (1) | WO2017169039A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018198406A (ja) * | 2017-05-24 | 2018-12-13 | ルネサスエレクトロニクス株式会社 | 監視カメラシステムおよび画像処理装置 |
US10785422B2 (en) * | 2018-05-29 | 2020-09-22 | Microsoft Technology Licensing, Llc | Face recognition using depth and multi-spectral camera |
EP3855387A4 (en) * | 2018-09-18 | 2022-02-23 | Zhejiang Uniview Technologies Co., Ltd. | IMAGE PROCESSING METHOD AND APPARATUS, ELECTRONIC DEVICE AND READABLE STORAGE MEDIA |
CN110246108B (zh) * | 2018-11-21 | 2023-06-20 | 浙江大华技术股份有限公司 | 一种图像处理方法、装置及计算机可读存储介质 |
US11727540B2 (en) | 2020-12-31 | 2023-08-15 | Samsung Electronics Co., Ltd. | Image sharpening |
EP4044108A1 (en) * | 2021-02-10 | 2022-08-17 | Melexis Technologies NV | Method of digitally processing an image and method of digitally processing a plurality of pixels |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002237969A (ja) * | 2001-02-09 | 2002-08-23 | Hitachi Ltd | 車載カメラおよび画像処理システム |
JP2003259362A (ja) * | 2002-03-06 | 2003-09-12 | Mitsubishi Heavy Ind Ltd | 画像処理装置及び画像処理方法 |
JP2006140818A (ja) * | 2004-11-12 | 2006-06-01 | Noritsu Koki Co Ltd | 画像ノイズ除去方法 |
JP2009071789A (ja) * | 2007-09-18 | 2009-04-02 | Denso Corp | 車両周辺監視システム |
JP2010033527A (ja) * | 2008-06-26 | 2010-02-12 | Noritsu Koki Co Ltd | 写真画像処理方法、写真画像処理プログラム、及び写真画像処理装置 |
WO2014050190A1 (ja) * | 2012-09-26 | 2014-04-03 | 富士フイルム株式会社 | 画像処理装置、撮像装置、コンピュータ及びプログラム |
JP2014197727A (ja) * | 2013-03-29 | 2014-10-16 | マツダ株式会社 | 車両用撮像装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3952301B2 (ja) * | 2003-08-29 | 2007-08-01 | ノーリツ鋼機株式会社 | 画像処理装置、方法、及びプログラム |
JP4244018B2 (ja) * | 2004-03-25 | 2009-03-25 | ノーリツ鋼機株式会社 | 欠陥画素修正方法、プログラム及びその方法を実施する欠陥画素修正システム |
US8237807B2 (en) * | 2008-07-24 | 2012-08-07 | Apple Inc. | Image capturing device with touch screen for adjusting camera settings |
US8085989B2 (en) * | 2008-10-23 | 2011-12-27 | Glory Ltd. | Method and apparatus for determining authenticity |
JP5514605B2 (ja) | 2010-03-29 | 2014-06-04 | 株式会社日立情報通信エンジニアリング | 撮像装置および監視装置 |
US20130300875A1 (en) * | 2010-04-23 | 2013-11-14 | Flir Systems Ab | Correction of image distortion in ir imaging |
TWI523914B (zh) | 2013-01-09 | 2016-03-01 | Daicel Corp | Hardened resin composition and hardened product thereof |
WO2015157058A1 (en) * | 2014-04-07 | 2015-10-15 | Bae Systems Information & Electronic Systems Integration Inc. | Contrast based image fusion |
-
2017
- 2017-01-25 US US16/087,157 patent/US10853926B2/en active Active
- 2017-01-25 WO PCT/JP2017/002582 patent/WO2017169039A1/ja active Application Filing
- 2017-01-25 JP JP2018508455A patent/JP6711396B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002237969A (ja) * | 2001-02-09 | 2002-08-23 | Hitachi Ltd | 車載カメラおよび画像処理システム |
JP2003259362A (ja) * | 2002-03-06 | 2003-09-12 | Mitsubishi Heavy Ind Ltd | 画像処理装置及び画像処理方法 |
JP2006140818A (ja) * | 2004-11-12 | 2006-06-01 | Noritsu Koki Co Ltd | 画像ノイズ除去方法 |
JP2009071789A (ja) * | 2007-09-18 | 2009-04-02 | Denso Corp | 車両周辺監視システム |
JP2010033527A (ja) * | 2008-06-26 | 2010-02-12 | Noritsu Koki Co Ltd | 写真画像処理方法、写真画像処理プログラム、及び写真画像処理装置 |
WO2014050190A1 (ja) * | 2012-09-26 | 2014-04-03 | 富士フイルム株式会社 | 画像処理装置、撮像装置、コンピュータ及びプログラム |
JP2014197727A (ja) * | 2013-03-29 | 2014-10-16 | マツダ株式会社 | 車両用撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2017169039A1 (ja) | 2017-10-05 |
US10853926B2 (en) | 2020-12-01 |
US20190102870A1 (en) | 2019-04-04 |
JP6711396B2 (ja) | 2020-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6711396B2 (ja) | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム | |
US9591237B2 (en) | Automated generation of panning shots | |
US8023000B2 (en) | Image pickup apparatus, image processing apparatus, image pickup method, and image processing method | |
US8860848B2 (en) | Image processing apparatus and method | |
JP6308748B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP5453573B2 (ja) | 撮像装置、撮像方法およびプログラム | |
JP2009207118A (ja) | 撮像装置及びぶれ補正方法 | |
JP2012239103A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP2016085637A (ja) | データ処理装置、撮像装置、およびデータ処理方法 | |
CN111667416A (zh) | 图像处理方法、装置、学习模型制造方法和图像处理系统 | |
JP6223059B2 (ja) | 撮像装置、その制御方法およびプログラム | |
JP6071419B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2005136852A (ja) | 画像処理方法、画像処理装置および画像処理プログラム | |
JP2010045534A (ja) | 固体撮像装置 | |
JP5212046B2 (ja) | デジタルカメラおよび画像処理装置並びに画像処理プログラム | |
JP2022179514A (ja) | 制御装置、撮像装置、制御方法およびプログラム | |
US10715723B2 (en) | Image processing apparatus, image acquisition system, image processing method, and image processing program | |
JP6320053B2 (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
JP6270413B2 (ja) | 画像処理装置、撮像装置、および画像処理方法 | |
JP5843599B2 (ja) | 画像処理装置および撮像装置並びにその方法 | |
JP2018185586A (ja) | 画像処理装置および画像処理方法、撮像装置 | |
US20200294198A1 (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
JP7183015B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5561389B2 (ja) | 画像処理プログラム、画像処理装置、電子カメラ、および画像処理方法 | |
JP2014110624A (ja) | 画像処理装置、画像処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191213 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200324 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200414 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200428 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200511 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6711396 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |