WO2018070100A1 - 画像処理装置、画像処理方法、及び撮影装置 - Google Patents

画像処理装置、画像処理方法、及び撮影装置 Download PDF

Info

Publication number
WO2018070100A1
WO2018070100A1 PCT/JP2017/029441 JP2017029441W WO2018070100A1 WO 2018070100 A1 WO2018070100 A1 WO 2018070100A1 JP 2017029441 W JP2017029441 W JP 2017029441W WO 2018070100 A1 WO2018070100 A1 WO 2018070100A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
component
luminance
detail
color
Prior art date
Application number
PCT/JP2017/029441
Other languages
English (en)
French (fr)
Inventor
康平 栗原
善隆 豊田
大祐 鈴木
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to DE112017005193.2T priority Critical patent/DE112017005193T5/de
Priority to US16/328,668 priority patent/US10699395B2/en
Priority to CN201780062159.8A priority patent/CN109804619B/zh
Priority to JP2018503685A priority patent/JP6351903B1/ja
Publication of WO2018070100A1 publication Critical patent/WO2018070100A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • G06T3/14—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/70—
    • G06T5/94—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H04N9/78—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase for separating the brightness signal or the chrominance signal from the colour television signal, e.g. using comb filter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

画像処理装置１００は、不可視ディテール成分Ｄ１を分離する不可視画像フィルター分離部１０１と、可視ベース成分Ｄ２Ａと可視ディテール成分Ｄ２Ｂとを分離する可視画像フィルター分離部１０２ａと、可視輝度ベース成分Ｄ３Ａと可視色ベース成分Ｄ３Ｂとを分離するベース輝度色分離部１０２ｂと、可視輝度ディテール成分Ｄ４を分離するディテール輝度色分離部１０２ｃと、合成輝度ディテール成分Ｄ５を生成するディテール合成部１０３と、合成輝度成分Ｄ６を生成する合成輝度成分生成部１０４と、合成画像ＤＯＵＴを生成する輝度色合成部１０５と、を有する。

Description

画像処理装置、画像処理方法、及び撮影装置
　本発明は、撮影対象からの第１の波長帯域の光を受光することで取得される第１画像と同じ撮影対象からの第２の波長帯域の光を受光することで取得される第２画像とから視認性の高い合成画像を生成する画像処理装置、画像処理方法、及び撮影装置に関する。
　可視画像と赤外画像、又はＲＧＢ画像と狭帯域画像などのような、画像特徴の異なる複数種類の画像を、シーン（撮影対象の状態又は撮影対象の周辺状況など）に応じて選択して統合（合成）することにより、視認性の高い画像を生成する画像統合技術がある。例えば、近赤外画像は、霞発生時又は高ダイナミックレンジ環境下で高い視認性を発揮し、衛星又はドローンからの撮像で得られた狭帯域画像は、海洋及び植生領域のモニタリングへの活用に適している。また、近赤外光源などの不可視光を照射する照射装置と、信号レベルが高く且つノイズレベルの低い画像を取得するカメラとを有し、夜間での監視シーンに適した監視装置も多く市販されている。このような画像特徴の異なる画像のいずれかを、可視画像と合成することで、可視画像だけでは判別が難しかったシーンが撮影された場合であっても、注目すべき物体又は対象を容易に判別することが可能である。
　特許文献１には、同一の対象を異なる条件で撮影することで得られた第１画像及び第２画像のうち、表示用の第１画像に含まれるエッジを、第２画像のエッジ成分を利用して的確に強調する画像処理方法が記載されている。
特開２０１４－２４１５８４号公報（請求項１、図２、段落０１２７）
　しかしながら、特許文献１に記載された画像処理方法では、低照度条件下において可視画像にノイズが含まれるという課題があった。具体的には、特許文献１の技術は、可視画像の輝度成分に含まれるノイズに関しては、エッジ量の調整によりノイズの抑制が可能であるが、可視画像の色成分に含まれるノイズ（以下、色ノイズともいう）は、そのまま合成されるため、色ノイズが十分に抑制されず、視認性の高い画像（画像データ）を生成することができなかった。
　そこで、本発明は、画像に色ノイズが含まれるようなシーンが撮影された場合であっても、色ノイズの影響を低減した、視認性の高い合成画像を生成することができる画像処理装置、画像処理方法、及び撮影装置を提供することを目的とする。
　本発明の一態様に係る画像処理装置は、同一視野を有し、第１の波長帯域の光を受光することで取得される第１画像と前記第１の波長帯域と異なる第２の波長帯域の光を受光することで取得される第２画像とから合成画像を生成する画像処理装置であって、前記第１画像から、前記第１画像のベース成分である第１ベース成分から分離された輝度成分である第１輝度ベース成分と、前記第１ベース成分から分離された色成分である第１色ベース成分と、前記第１画像のディテール成分である第１ディテール成分から分離された輝度成分である第１輝度ディテール成分とを分離する第１画像分離部と、前記第２画像から前記第２画像のディテール成分である第２ディテール成分を分離する第２画像分離部と、前記第１輝度ディテール成分に対してゲイン調整を行うことで得られた第１のゲイン調整成分と、前記第２ディテール成分に対してゲイン調整を行うことで得られた第２のゲイン調整成分との加算平均を取った値を合成輝度ディテール成分として生成するディテール合成部と、前記合成輝度ディテール成分と前記第１輝度ベース成分とを合成することで合成輝度成分を生成する合成輝度成分生成部と、前記合成輝度成分と前記第１色ベース成分とを合成することで前記合成画像を生成する輝度色合成部とを有する。
　本発明の他の態様に係る撮影装置は、上述の画像処理装置と、赤外光を検出する赤外画素と、赤色光を検出する赤色画素と、緑色光を検出する緑色画素と、青色光を検出する青色画素とを有し、前記不可視画像及び前記可視画像を取得するイメージセンサとを有する。
　本発明の他の態様に係る画像処理方法は、同一視野を有し、第１の波長帯域の光を受光することで取得される第１画像と前記第１の波長帯域と異なる第２の波長帯域の光を受光することで取得される第２画像とから合成画像を生成する画像処理方法であって、前記第１画像から、前記第１画像のベース成分である第１ベース成分から分離された輝度成分である第１輝度ベース成分と、前記第１ベース成分から分離された色成分である第１色ベース成分と、前記第１画像のディテール成分である第１ディテール成分から分離された輝度成分である第１輝度ディテール成分とを分離する第１画像分離ステップと、前記第２画像から前記第２画像のディテール成分である第２ディテール成分を分離する第２画像分離ステップと、前記第１輝度ディテール成分に対してゲイン調整を行うことで得られた第１のゲイン調整成分と、前記第２ディテール成分に対してゲイン調整を行うことで得られた第２のゲイン調整成分との加算平均を取った値を合成輝度ディテール成分として生成するディテール合成ステップと、前記合成輝度ディテール成分と前記第１輝度ベース成分とを合成することで合成輝度成分を生成する合成輝度成分生成ステップと、前記合成輝度成分と前記第１色ベース成分とを合成することで合成画像を生成する輝度色合成ステップとを有する。
　本発明によれば、可視画像に色ノイズが含まれるようなシーンが撮影された場合であっても色ノイズの影響を低減した、視認性の高い合成画像を生成することができる。
本発明の実施の形態１に係る画像処理装置の概略的な構成を示すブロック図である。 （ａ）は、実施の形態１における不可視画像フィルター分離部の概略的な構成の一例を示すブロック図であり、（ｂ）は、実施の形態１における可視画像フィルター分離部の概略的な構成の一例を示すブロック図である。 実施の形態１におけるディテール合成部の概略的な構成を示すブロック図である。 実施の形態１に係る画像処理装置の動作を示すフローチャートである。 本発明の実施の形態２に係る画像処理装置の概略的な構成を示すブロック図である。 実施の形態２に係る画像処理装置の動作を示すフローチャートである。 本発明の実施の形態３に係る撮影装置の概略的な構成を示すブロック図である。 変形例の構成を示すハードウェア構成図である。
　以下、図を参照しながら実施の形態に係る画像処理装置、画像処理方法、及び撮影装置について説明する。
　実施の形態に係る画像処理装置及び画像処理方法は、撮影装置（受光素子）が第１の波長帯域の光を受光することで取得される第１画像（例えば、可視画像、ＲＧＢ画像など）と、撮影装置（受光素子）が第１の波長帯域と異なる第２の波長帯域の光を受光することで取得される第２画像（例えば、不可視画像、白色画像など）とから、視認性に優れた合成画像を生成する。
　以下の説明において、可視画像とは、人間の目に見える光線（可視光）を撮影できる撮影装置による撮影で生成された画像（画像データ）をいう。不可視画像とは、可視画像以外の画像であり、人間の目に見えない光線（不可視光）を撮影できる撮影装置による撮影で生成された画像（画像データ）をいう。一般に、可視光とは、約４００ｎｍ～７００ｎｍの波長帯域の光をいい、例えば、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の波長帯域の光を含む。また、不可視光とは、可視光の帯域以外の帯域の光をいい、例えば、紫外光（一般に、約４００ｎｍ以下の波長帯域の光）又は赤外光（一般に、約７００ｎｍ以上の波長帯域の光）を含む。
　また、以下の実施の形態においては、画像データは、ディテール成分と、ディテール成分以外の成分であるベース成分とに分離して処理される。ディテール成分とは、各画素の画素値（信号値）が周辺画素と比べて小刻みに変化する成分であり、高周波成分とも呼ばれる。ベース成分とは、各画素の画素値が周辺画素と比べて小刻みに変化しない成分であり、低周波数成分とも呼ばれる。つまり、ディテール成分は、画像における画素値の細かな変化を表しており、ベース成分は、画像における画素値の一定の範囲の一律な変化を表している。ディテール成分は、例えば、被写体からの反射光成分であり、ベース成分は、例えば、照明光成分である。
　また、以下で説明する画像処理装置の発明は、画像処理方法の発明として捉えることも可能である。
《１》実施の形態１
《１－１》構成
　まず、実施の形態１に係る画像処理装置１００の各構成要素の概略について説明する。図１は、本発明の実施の形態１に係る画像処理装置１００の概略的な構成を示すブロック図である。図１に示されるように、実施の形態１に係る画像処理装置１００は、第２画像分離部（不可視画像分離部）としての不可視画像フィルター分離部１０１と、第１画像分離部としての可視画像分離部１０２と、ディテール合成部１０３と、合成輝度成分生成部１０４と、輝度色合成部１０５とを有する。可視画像分離部１０２は、可視画像フィルター分離部１０２ａと、ベース輝度色分離部１０２ｂと、ディテール輝度色分離部１０２ｃとを有する。
　図１に示されるように、画像処理装置１００には画像データとしての不可視画像（第２画像）ＤＩＮ１及び可視画像（第１画像）ＤＩＮ２が入力される。不可視画像ＤＩＮ１及び可視画像ＤＩＮ２は、同一視野を有する撮影手段により取得されることが望ましい。同一視野を有するとは、不可視画像ＤＩＮ１を撮影する撮影手段と可視画像ＤＩＮ２を撮影する撮影手段が同一の撮影領域（撮影範囲）を有することをいい、不可視画像ＤＩＮ１を撮影する撮影手段の撮影領域と可視画像ＤＩＮ２を撮影する撮影手段の撮影領域とが完全に一致することは要求されていない。
　不可視画像ＤＩＮ１及び可視画像ＤＩＮ２は、例えば、並べられた不可視画像カメラと可視画像カメラから取得される画像を直接用いることができる。また、不可視画像ＤＩＮ１及び可視画像ＤＩＮ２は、並べられた不可視画像カメラと可視画像カメラから取得される画像について位置合わせ調整を行い、位置合わせ調整後の画像を用いることも可能である。
　不可視画像ＤＩＮ１及び可視画像ＤＩＮ２は、例えば、赤外光を検出する不可視画像ＤＩＮ１検出用の赤外画素と、可視光を検出する可視画像ＤＩＮ２検出用のＲＧＢ画素（赤色光を検出する赤色画素、緑色光を検出する緑色画素、青色光を検出する青色画素）とを有するイメージセンサにより取得されることができる。また、不可視画像ＤＩＮ１及び可視画像ＤＩＮ２のかわりに、例えば、白色光を検出する白色画素（Ｗ画素）とＲＧＢ画素とを有するイメージセンサを用いて２種類の画像を取得することができる。
　図１に示されるように、不可視画像フィルター分離部１０１は、不可視画像ＤＩＮ１に対してフィルター処理を行うことで、不可視画像ＤＩＮ１のディテール成分（第２ディテール成分）である不可視ディテール成分Ｄ１を生成する。可視画像フィルター分離部１０２ａは、可視画像ＤＩＮ２に対してフィルター処理を行うことで、可視画像のベース成分（第１ベース成分）である可視ベース成分Ｄ２Ａと可視画像のディテール成分（第１ディテール成分）である可視ディテール成分Ｄ２Ｂとを生成する。
　図１に示されるように、ベース輝度色分離部１０２ｂは、可視ベース成分Ｄ２Ａを第１輝度ベース成分としての可視輝度ベース成分（可視ベース成分の内の輝度成分）Ｄ３Ａと第１色ベース成分としての可視色ベース成分（可視ベース成分の内の色成分）Ｄ３Ｂとに分離する。ディテール輝度色分離部１０２ｃは、可視ディテール成分Ｄ２Ｂから可視輝度ディテール成分（可視ディテール成分の内の輝度成分）Ｄ４を抽出する。
　図１に示されるように、ディテール合成部１０３は、不可視ディテール成分Ｄ１と可視輝度ディテール成分Ｄ４とを合成することで、合成輝度ディテール成分Ｄ５を生成する。合成輝度成分生成部１０４は、合成輝度ディテール成分Ｄ５と可視輝度ベース成分Ｄ３Ａとを合成することで、合成輝度成分Ｄ６を生成する。輝度色合成部１０５は、合成輝度成分Ｄ６と可視色ベース成分Ｄ３Ｂとを合成することで、合成画像ＤＯＵＴを生成して出力する。
　次に、実施の形態１に係る画像処理装置１００の各構成要素の詳細について説明する。図２（ａ）は、実施の形態１における不可視画像フィルター分離部１０１の概略的な構成の一例を示すブロック図であり、図２（ｂ）は、実施の形態１における可視画像フィルター分離部１０２ａの概略的な構成の一例を示すブロック図である。図２（ａ）に示されるように、不可視画像フィルター分離部１０１は、不可視画像フィルター処理部１１１及び不可視画像差分処理部１１２を有する。
　不可視画像フィルター処理部１１１は、不可視画像ＤＩＮ１を受け取り、受け取った不可視画像ＤＩＮ１に対して平滑化のためのフィルター処理を行うことで、平滑化された不可視ベース成分Ｄ１１を生成する。不可視画像差分処理部１１２は、平滑化された不可視ベース成分Ｄ１１と不可視画像ＤＩＮ１とを受け取り、不可視ベース成分Ｄ１１と不可視画像ＤＩＮ１との差分である不可視ディテール成分Ｄ１を生成する。
　不可視画像フィルター処理部１１１においてフィルター処理を行うフィルターは、例えば、ボックスフィルター若しくはガウシアンフィルターなどの平滑化フィルター、又はバイラテラルフィルター若しくはガイデッドフィルターなどのエッジ保存平滑化フィルターである。
　図２（ｂ）に示されるように、可視画像フィルター分離部１０２ａは、可視画像フィルター処理部１２１及び可視画像差分処理部１２２を有する。可視画像フィルター処理部１２１は、可視画像ＤＩＮ２を受け取り、受け取った可視画像ＤＩＮ２に対して平滑化のためのフィルター処理を行うことで、平滑化された可視ベース成分Ｄ２Ａを生成する。可視画像差分処理部１２２は、平滑化された可視ベース成分Ｄ２Ａと可視画像ＤＩＮ２とを受け取り、可視ベース成分Ｄ２Ａと可視画像ＤＩＮ２との差分である可視ディテール成分Ｄ２Ｂを生成する。可視画像フィルター分離部１０２ａにおけるフィルター処理は、チャネル毎（例えば、Ｒ信号、Ｇ信号及びＢ信号毎）に行うことが望ましい。
　図１に示されるように、ベース輝度色分離部１０２ｂは、可視画像フィルター分離部１０２ａから可視ベース成分Ｄ２Ａを受け取り、受け取った可視ベース成分Ｄ２Ａを輝度成分である可視輝度ベース成分Ｄ３Ａと色成分である可視色ベース成分Ｄ３Ｂとに分離する。ベース輝度色分離部１０２ｂは、可視画像がＲＧＢ画像の場合、ＲＧＢ画像を、色相と彩度と明度からなるＨＳＶ（Ｈｕｅ，Ｓａｔｕｒａｔｉｏｎ，Ｌｉｇｈｔｎｅｓｓ）形式、輝度と色成分からなるＹＵＶ形式、及び輝度と色成分からなるＹＣｂＣｒ形式のいずれかに変換する。ベース輝度色分離部１０２ｂは、可視輝度ベース成分Ｄ３ＡとしてＨ（色相）チャネル又はＹ（輝度）チャネル、可視色ベース成分Ｄ３Ｂとして残りの色チャネル、色相、彩度チャネルなどを出力する。
　ディテール輝度色分離部１０２ｃは、可視画像フィルター分離部１０２ａから可視ディテール成分Ｄ２Ｂを受け取り、輝度成分である可視輝度ディテール成分Ｄ４を抽出する。ディテール輝度色分離部１０２ｃは、ベース輝度色分離部１０２ｂと同様の手法で、可視輝度ディテール成分Ｄ４としてＨチャネル又はＹチャネルなどを出力する。
　一方、ディテール輝度色分離部１０２ｃは、可視ディテール成分Ｄ２Ｂから可視色ディテール成分は抽出又は分離しない。可視色ディテール成分は低照度条件下における色ノイズの原因となる成分であるため、可視色ディテール成分を使用しないことにより、低照度条件下における色ノイズの影響を低減した、視認性の高い合成画像ＤＯＵＴを生成することができる。
　図３は、実施の形態１におけるディテール合成部１０３の概略的な構成を示すブロック図である。図３に示されるように、実施の形態１におけるディテール合成部１０３は、ゲイン調整部１０３ａ，１０３ｂと、加算処理部１０３ｃとを有する。ディテール合成部１０３は不可視画像フィルター分離部１０１から受け取った不可視ディテール成分Ｄ１と、ディテール輝度色分離部１０２ｃから受け取った可視輝度ディテール成分Ｄ４とを合成することで、合成輝度ディテール成分Ｄ５を生成する。
　ゲイン調整部１０３ａは、不可視画像フィルター分離部１０１から不可視ディテール成分Ｄ１を受け取り、不可視ディテール成分Ｄ１に対してゲイン調整（増幅又は減少）を行うことにより第２のゲイン調整成分としてのゲイン調整成分Ｄ４１を出力する。ゲイン調整部１０３ｂは、ディテール輝度色分離部１０２ｃから可視輝度ディテール成分Ｄ４を受け取り、可視輝度ディテール成分Ｄ４に対してゲイン調整（増幅又は減少）を行うことにより第１のゲイン調整成分としてのゲイン調整成分Ｄ４２を出力する。
　加算処理部１０３ｃは、ゲイン調整部１０３ａ，１０３ｂから、ゲイン調整成分Ｄ４１及びゲイン調整成分Ｄ４２を受け取り、両者の加重平均（加算平均）を取った値Ｄ５を出力する。ゲイン調整部１０３ａ，１０３ｂが取得するゲインは、固定値でも良いし、シーン、アプリケーション、又は画像特性に応じて調整されても良い。
　ディテール合成部１０３において、不可視ディテール成分Ｄ１と可視輝度ディテール成分Ｄ４とを個別にゲイン調整することにより、アプリケーションの種類に応じたゲイン調整が可能となり、複数のアプリケーションに容易に対応することができる。具体的には、例えば、赤外光照射による暗部補正を実施したい場合には、可視画像ＤＩＮ２には多量のノイズが含まれていると考えられるため、可視輝度ディテール成分Ｄ４のゲインは小さい値を設定し、不可視ディテール成分Ｄ１のゲインは１以上の値を設定する。
　また、赤外光の大気透過性を利用した霞補正を実施したい場合には、可視輝度ディテール成分Ｄ４のゲインは１に近い値を設定し、不可視ディテール成分Ｄ１のゲインは１以上の値を設定する。視認性を向上させるためにゲインを大きく設定すれば、強調処理が働くため、アプリケーションの種類又は撮像機器の特性などに応じて個別に設定することが好ましい。
　ここでのゲインはスカラー値の単純積算で求めることができ、また、ガンマ変換などのべき乗演算で求めてもよい。
　合成輝度成分生成部１０４は、ディテール合成部１０３から受け取った合成輝度ディテール成分Ｄ５と、ベース輝度色分離部１０２ｂから受け取った可視輝度ベース成分Ｄ３Ａとを合成することで、合成輝度成分Ｄ６を出力する。合成輝度成分生成部１０４による合成の方法は、例えば、単純な加算平均を取る方法、領域別に視認性が高い成分を選択する方法がある。
　輝度色合成部１０５は、合成輝度成分生成部１０４から受け取った合成輝度成分Ｄ６と、ベース輝度色分離部１０２ｂから受け取った可視色ベース成分Ｄ３Ｂとを合成することで、合成画像ＤＯＵＴを出力する。輝度色合成部１０５による輝度成分と色成分の合成方法は、ベース輝度色分離部１０２ｂ及びディテール輝度色分離部１０２ｃで行う変換方法に対応する方法とし、例えば、ベース輝度色分離部１０２ｂ及びディテール輝度色分離部１０２ｃでＲＧＢからＹＵＶへの変換を行っていたのであれば、輝度色合成部１０５ではＹＵＶからＲＧＢへの変換を行う。一方、ベース輝度色分離部１０２ｂ及びディテール輝度色分離部１０２ｃでＹＵＶからＲＧＢへの変換を行っていたのであれば、輝度色合成部１０５ではＲＧＢからＹＵＶへの変換を行う。
《１－２》動作
　次に、ガイデッドフィルターを用いたフィルター処理に関して説明する。ガイデッドフィルターの出力であるベース成分をｑ、入力画像をＩとした場合、ｑとＩは、線形回帰係数
Figure JPOXMLDOC01-appb-M000001
 を用いて式（１）のような線形関係で表される。
Figure JPOXMLDOC01-appb-M000002
　ここで、入力画像Ｉのある画素ｘを中心とした局所領域をΩとした場合、線形回帰係数
Figure JPOXMLDOC01-appb-M000003
 は式（２）のように表される。
Figure JPOXMLDOC01-appb-M000004
　次に、線形回帰係数の導出方法を説明する。入力画像Ｉの分散ｖａｒＩの画素位置ｘに対応する画素値は、式（３）で表される。
Figure JPOXMLDOC01-appb-M000005
　次に、分散値が極端に少ない領域のみについて平滑化処理を行い、その他の領域のテクスチャを保存するため、分散ｖａｒＤＩＮを式（４）に基づき階調変換を行い線形回帰係数ａ（ｘ）を得る。なお、ｅｐｓは、エッジ保存の度合いを決定する定数パラメータである。
Figure JPOXMLDOC01-appb-M000006
 　また、係数ｂは式（５）に基づき導出する。
Figure JPOXMLDOC01-appb-M000007
 　式（４）、式（５）で得られた線形回帰係数ａ（ｘ）及びｂ（ｘ）を基にガイデッドフィルター出力値ｑを導出する。ｑは、図２（ａ）に示されるように、不可視ベース成分Ｄ１１に対応する。
　図２（ａ）に示されるように、不可視ディテール成分Ｄ１は、不可視画像ＤＩＮ１と不可視ベース成分Ｄ１１の差分から求める。
　上記では、不可視画像フィルター分離部１０１が行う処理として平滑化フィルターを用いた例を挙げたが、これに限らずラプラシアンフィルターなどのハイパスフィルターを用いて直接ディテール成分を出力してもよい。
　続いて、実施の形態１に係る画像処理装置１００の動作を説明する。図４は、実施の形態１に係る画像処理装置１００の動作を示すフローチャートである。図４に示されるように、画像処理装置１００の動作が開始されると、ステップＳ１において、不可視画像ＤＩＮ１と可視画像ＤＩＮ２が画像処理装置１００に対して入力される。
　次のステップＳ２において、可視画像ＤＩＮ２が可視画像フィルター分離部１０２ａに入力され、可視画像ＤＩＮ２に対してフィルター処理が行われる。
　次のステップＳ４において、可視ベース成分Ｄ２Ａ及び可視ディテール成分Ｄ２Ｂに対して輝度色分離処理が行われる。
　ステップＳ２及びＳ４の処理と並行して、ステップＳ３において、不可視画像ＤＩＮ１が不可視画像フィルター分離部１０１に入力され、不可視画像ＤＩＮ１に対してフィルター処理が行われる。
　次のステップＳ５において、不可視ディテール成分Ｄ１と可視輝度ディテール成分Ｄ４が合成（ディテール合成）されることで、合成輝度ディテール成分Ｄ５が得られる。
　次のステップＳ６において、合成輝度ディテール成分Ｄ５と可視輝度ベース成分Ｄ３Ａとが合成（成分合成）されることで、合成輝度成分Ｄ６が得られる。
　最後にステップＳ７において、合成輝度成分Ｄ６と可視色ベース成分Ｄ３Ｂとが合成（輝度色合成）されることで、合成画像ＤＯＵＴが得られる。
《１－３》効果
　実施の形態１に係る画像処理装置１００によれば、可視画像に対してフィルター処理及び輝度色分離処理を行い、色ノイズの原因となる可視色ディテール成分を合成に使用しない構成とする。これにより、可視画像に色ノイズが含まれるようなシーン（例えば、低照度条件下）が撮影された場合であっても、色ノイズの影響が低減された、視認性の高い合成画像ＤＯＵＴを取得することができる。
　実施の形態１に係る画像処理装置１００によれば、ディテール合成部１０３は、ゲイン調整部１０３ａ，１０３ｂと、加算処理部１０３ｃとを有し、ゲイン調整後の不可視ディテール成分Ｄ１と可視輝度ディテール成分Ｄ４とを加重平均（加算平均）することで合成輝度ディテール成分Ｄ５を生成する。これにより、様々なシーンでより視認性の高い画像の取得を実現できる。
　実施の形態１に係る画像処理装置１００によれば、不可視画像フィルター分離部１０１及び可視画像フィルター分離部１０２ａにおけるフィルター処理は、単純なフィルター演算処理と、加算及び減算処理のみで構成される。これにより、少ない計算コストで画像処理を実現することができる。
　実施の形態１に係る画像処理装置１００によれば、単純かつ計算コストの小さい構成で、リアルタイム処理に適する高速な画像処理を行う。これにより、従来可視画像だけでは判別が難しかったシーンが撮影された場合であっても、注目すべき物体及び対象を容易に判別することが可能である。
　本実施の形態では、画像処理装置１００への入力が可視画像と不可視画像となる場合を例に挙げたが、視認性の高い画像と視認性の低い画像との組合せであれば、上記の入力の組合せに限ることなく同等の効果が得られる。例えば、視認性の高い画像とは長時間露光画像であり、視認性の低い画像とは短時間露光画像である。あるいは、視認性の高い画像とは日中に撮影した明環境画像であり、視認性の低い画像とは夜中に撮影した暗環境画像である。
《２》実施の形態２
《２－１》構成
　図５は、本発明の実施の形態２に係る画像処理装置２００の概略的な構成を示すブロック図である。図５において、図１（実施の形態１）に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付される。図５に示されるように、実施の形態２に係る画像処理装置２００は、可視画像分離部２０２の構成において実施の形態１と異なる。具体的には、実施の形態２における可視画像分離部２０２は、第１画像輝度色分離部としての輝度色分離部２０２ａと、第１輝度成分分離部としてのフィルター分離部２０２ｂと、第１色成分分離部としてのフィルター処理部２０２ｃとを有する。
　実施の形態１に係る画像処理装置１００では、可視画像ＤＩＮ２に対してフィルター処理を行った後に、分離された成分（可視ベース成分Ｄ２Ａ及び可視ディテール成分Ｄ２Ｂ）に対して輝度色分離処理を行っていた。これに対して、実施の形態２に係る画像処理装置２００では、可視画像ＤＩＮ２に対してまず輝度色分離処理を行い、輝度色分離処理をした後に分離された輝度成分及び色成分に対してフィルター処理を行う。
　輝度色分離部２０２ａは、可視画像ＤＩＮ２を受け取り、受け取った可視画像ＤＩＮ２を輝度成分である可視輝度成分Ｄ８Ａと色成分である可視色成分Ｄ８Ｂとに分離する。輝度色分離部２０２ａにおける分離の処理は、実施の形態１におけるベース輝度色分離部１０２ｂ及びディテール輝度色分離部１０２ｃと同様の処理である。
　フィルター分離部２０２ｂは、輝度色分離部２０２ａから可視輝度成分Ｄ８Ａを受け取り、受け取った可視輝度成分Ｄ８Ａをベース成分である可視輝度ベース成分Ｄ９Ａとディテール成分である可視輝度ディテール成分Ｄ９Ｂとに分離し出力する。フィルター分離部２０２ｂにおける分離の処理は、実施の形態１の不可視画像フィルター分離部１０１及び可視画像フィルター分離部１０２ａと同様の処理である。
　フィルター処理部２０２ｃは、輝度色分離部２０２ａから可視色成分Ｄ８Ｂを受け取り、受け取った可視色成分Ｄ８Ｂに対してフィルター処理による平滑化を行い、平滑化された可視色ベース成分Ｄ１０を出力する。フィルター処理にはボックスフィルター又はガウシアンフィルターなどの平滑化フィルターの他、バイラテラルフィルター又はガイデッドフィルター等のエッジ保存平滑化フィルターを用いることが望ましい。
　実施の形態２におけるディテール合成部１０３、合成輝度成分生成部１０４、及び輝度色合成部１０５の構成は、実施の形態１と同じである。
《２－２》動作
　続いて、実施の形態２に係る画像処理装置２００の動作を説明する。図６は、実施の形態２に係る画像処理装置２００の動作を示すフローチャートである。図６に示されるように、画像処理装置２００の動作が開始すると、ステップＳ１１において不可視画像ＤＩＮ１と可視画像ＤＩＮ２が画像処理装置１００に対して入力される。
　次のステップＳ１２において、可視画像ＤＩＮ２に対して輝度色分離処理が行われる。
　次のステップＳ１４において、可視輝度成分Ｄ８Ａ及び可視色成分Ｄ８Ｂに対してフィルター処理が行われる。
　ステップＳ１２及びＳ１４の処理と並行して、次のステップＳ１３において、不可視画像ＤＩＮ１が不可視画像フィルター分離部１０１に入力されることで、不可視画像ＤＩＮ１に対してフィルター処理が行われる。
　次のステップＳ１５において、不可視ディテール成分Ｄ１と可視輝度ディテール成分Ｄ４が合成（ディテール合成）することで、合成輝度ディテール成分Ｄ５が得られる。
　次のステップＳ１６において、合成輝度ディテール成分Ｄ５と可視輝度ベース成分Ｄ３Ａとが合成（成分合成）することで、合成輝度成分Ｄ６が得られる。
　最後のステップＳ１７において、合成輝度成分Ｄ６と可視色ベース成分Ｄ３Ｂとが合成（輝度色合成）することで、合成画像ＤＯＵＴが得られる。
《２－３》効果
　実施の形態２に係る画像処理装置２００によれば、実施の形態１に係る画像処理装置１００と同様の効果を得ることができる。
　実施の形態２に係る画像処理装置２００によれば、可視画像ＤＩＮ２に対して輝度色分離処理をした後にフィルター処理を行うため、輝度色分離処理の回数を１回とすることができ、実施の形態１に係る画像処理装置１００と比較してさらに計算量を低減することができる。
《３》実施の形態３
　図７は、本発明の実施の形態３に係る撮影装置３００の概略的な構成を示すブロック図である。図７に示されるように、撮影装置３００は、実施の形態１に係る画像処理装置１００（又は実施の形態２に係る画像処理装置２００）と、第１のイメージセンサ３０１と、第２のイメージセンサ３０２とを有する。
　第１のイメージセンサ３０１及び第２のイメージセンサ３０２としては、例えば、ＣＣＤ（Ｃｈａｒｇｅｄ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどを採用することができる。
　第１のイメージセンサ３０１は撮影対象を撮影することで不可視画像ＤＩＮ１を取得し、画像処理装置１００に対して不可視画像ＤＩＮ１を入力する。第２のイメージセンサ３０２は撮影対象を撮影することで可視画像ＤＩＮ２を取得し、画像処理装置１００に対して可視画像ＤＩＮ２を入力する。第１のイメージセンサ３０１と第２のイメージセンサ３０２とは、同一視野を有すように、近接して並べて配置されることが望ましい。
　第１のイメージセンサ３０１が取得した不可視画像ＤＩＮ１と、第２のイメージセンサ３０２が取得した可視画像ＤＩＮ２とが、同一視野を有する場合には、不可視画像ＤＩＮ１と可視画像ＤＩＮ２とを、そのまま合成に使うことが可能である。また、不可視画像ＤＩＮ１の領域と可視画像ＤＩＮ２の領域とが異なる場合には、これら２つの画像の位置合わせの処理を行った上で、これらの画像の合成処理に使うことが可能であり、高い視認性を持つ撮影画像を取得することができる。
《４》変形例
　以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。
　図８は、上記実施の形態１及び２に係る画像処理装置１００，２００の変形例の構成を示すハードウェア構成図である。画像処理装置１００，２００は、半導体集積回路によって構成することが可能であるが、図８に示されるように、ソフトウェアとしてのプログラムを格納する記憶装置としてのメモリ９１と、メモリ９１に格納されたプログラムを実行する情報処理部としてのプロセッサ９２とを用いて（例えば、コンピュータにより）実現してもよい。なお、画像処理装置１００，２００の一部を、図８に示されるメモリ９１と、プログラムを実行するプロセッサ９２とによって実現してもよい。
　上記実施の形態の説明における不可視画像には、赤外光により取得された赤外画像の他、紫外光により取得された紫外光画像及びレーダ画像等が適用可能である。
　上記実施の形態の説明では、可視画像と不可視画像とを組み合わせたが、可視画像と不可視画像の組み合わせの他に、ＲＧＢ画像と狭帯域画像（可視帯域を含む）の組み合わせについても適用可能である。
　本発明は、例えば、監視カメラ又は車載カメラで近赤外光源など特定スペクトルの光源を照射しつつ撮像を行う場合で、光源照射によりノイズの少ない特定スペクトル画像と、色情報を含む可視画像の合成を行う際に特に有効である。
　１００、２００　画像処理装置、　１０１　不可視画像分離部（不可視画像フィルター分離部、第２画像分離部）、　１０２，２０２　可視画像分離部（第１画像分離部）、　１０２ａ　可視画像フィルター分離部（第１画像フィルター分離部）、　１０２ｂ　ベース輝度色分離部、　１０２ｃ　ディテール輝度色分離部、　１０３　ディテール合成部、　１０３ａ，１０３ｂ　ゲイン調整部、　１０３ｃ　加算処理部、　１０４　合成輝度成分生成部、　１０５　輝度色合成部、　１１１　不可視画像フィルター処理部（第２画像フィルター処理部）、　１１２　不可視画像差分処理部（第２画像差分処理部）、　１２１　可視画像フィルター処理部（第１画像フィルター処理部）、　１２２　可視画像差分処理部（第１画像差分処理部）、　２０２ａ　輝度色分離部、　２０２ｂ　フィルター分離部、　２０２ｃ　フィルター処理部、　３００　撮影装置、　３０１　第１のイメージセンサ、　３０２　第２のイメージセンサ、　ＤＩＮ１　不可視画像（第２画像）、　ＤＩＮ２　可視画像（第１画像）、　ＤＯＵＴ　合成画像。

Claims (13)

  1. 　同一視野を有し、第１の波長帯域の光を受光することで取得される第１画像と前記第１の波長帯域と異なる第２の波長帯域の光を受光することで取得される第２画像とから合成画像を生成する画像処理装置であって、
    　前記第１画像から、前記第１画像のベース成分である第１ベース成分から分離された輝度成分である第１輝度ベース成分と、前記第１ベース成分から分離された色成分である第１色ベース成分と、前記第１画像のディテール成分である第１ディテール成分から分離された輝度成分である第１輝度ディテール成分とを分離する第１画像分離部と、
    　前記第２画像から前記第２画像のディテール成分である第２ディテール成分を分離する第２画像分離部と、
    　前記第１輝度ディテール成分に対してゲイン調整を行うことで得られた第１のゲイン調整成分と、前記第２ディテール成分に対してゲイン調整を行うことで得られた第２のゲイン調整成分との加算平均を取った値を合成輝度ディテール成分として生成するディテール合成部と、
    　前記合成輝度ディテール成分と前記第１輝度ベース成分とを合成することで合成輝度成分を生成する合成輝度成分生成部と、
    　前記合成輝度成分と前記第１色ベース成分とを合成することで前記合成画像を生成する輝度色合成部と
    　を有する画像処理装置。
  2. 　前記第１画像分離部は、
    　前記第１画像から前記第１画像のベース成分である第１ベース成分と前記第１画像のディテール成分である第１ディテール成分とを分離する第１画像フィルター分離部と、
    　前記第１ベース成分から前記第１ベース成分の輝度成分である第１輝度ベース成分と前記第１ベース成分の色成分である第１色ベース成分とを分離するベース輝度色分離部と、
    　前記第１ディテール成分から前記第１ディテール成分の輝度成分である第１輝度ディテール成分を分離するディテール輝度色分離部と
    　を有する請求項１に記載の画像処理装置。
  3. 　前記第１画像フィルター分離部は、
    　前記第１画像に対してフィルター処理を行い、平滑化された前記第１ベース成分を生成する第１画像フィルター処理部と、
    　前記第１ベース成分と前記第１画像との差分から前記第１ディテール成分を生成する第１画像差分処理部と
    　を有する請求項２に記載の画像処理装置。
  4. 　前記第１画像分離部は、
    　前記第１画像から前記第１画像の輝度成分である第１輝度成分と前記第１画像の色成分である第１色成分とを分離する第１画像輝度色分離部と、
    　前記第１輝度成分から前記第１輝度成分のベース成分である第１輝度ベース成分と前記第１輝度成分のディテール成分である第１輝度ディテール成分とを分離する第１輝度成分分離部と、
    　前記第１色成分から前記第１色成分のベース成分である第１色ベース成分を分離する第１色成分分離部と
    　を有する請求項１に記載の画像処理装置。
  5. 　前記第２画像分離部は、
    　前記第２画像に対してフィルター処理を行い、平滑化された第２ベース成分を生成する第２画像フィルター処理部と、
    　前記第２ベース成分と前記第２画像との差分から前記第２ディテール成分を生成する第２画像差分処理部と
    　を有する請求項１から４のいずれか１項に記載の画像処理装置。
  6. 　前記第１の波長帯域の光は、可視光であり、
    　前記第２の波長帯域の光は、不可視光である
    　請求項１から５のいずれか１項に記載の画像処理装置。
  7. 　前記不可視光は、赤外光又は紫外光である
    　請求項６に記載の画像処理装置。
  8. 　前記第１の波長帯域の光は、赤色の波長帯域の赤色光、緑色の波長帯域の緑色光、及び青色の波長帯域の青色光であり、
    　前記第２の波長帯域の光は、白色光である
    　請求項１から５のいずれか１項に記載の画像処理装置。
  9. 　請求項１から６のいずれか１項に記載の画像処理装置と、
    　赤外光を検出する赤外画素と、赤色光を検出する赤色画素と、緑色光を検出する緑色画素と、青色光を検出する青色画素とを有し、前記第１画像及び前記第２画像を取得するイメージセンサと
    　を有する撮影装置。
  10. 　請求項１から５、又は８のいずれか１項に記載の画像処理装置と、
    　白色光を検出する白色画素と、赤色光を検出する赤色画素と、緑色光を検出する緑色画素と、青色光を検出する青色画素とを有し、前記第１画像及び前記第２画像を取得するイメージセンサと
    　を有する撮影装置。
  11. 　請求項１から８のいずれか１項に記載の画像処理装置と、
    　前記第２画像を取得する第１のイメージセンサと、前記第１のイメージセンサと並べられて配置された前記第１画像を取得する第２のイメージセンサと
    　を有する撮影装置。
  12. 　前記第１のイメージセンサにより取得された前記第２画像と、前記第２のイメージセンサにより取得された前記第１画像とを位置合わせ調整する
    　請求項１１に記載の撮影装置。
  13. 　同一視野を有し、第１の波長帯域の光を受光することで取得される第１画像と前記第１の波長帯域と異なる第２の波長帯域の光を受光することで取得される第２画像とから合成画像を生成する画像処理方法であって、
    　前記第１画像から、前記第１画像のベース成分である第１ベース成分から分離された輝度成分である第１輝度ベース成分と、前記第１ベース成分から分離された色成分である第１色ベース成分と、前記第１画像のディテール成分である第１ディテール成分から分離された輝度成分である第１輝度ディテール成分とを分離する第１画像分離ステップと、
    　前記第２画像から前記第２画像のディテール成分である第２ディテール成分を分離する第２画像分離ステップと、
    　前記第１輝度ディテール成分に対してゲイン調整を行うことで得られた第１のゲイン調整成分と、前記第２ディテール成分に対してゲイン調整を行うことで得られた第２のゲイン調整成分との加算平均を取った値を合成輝度ディテール成分として生成するディテール合成ステップと、
    　前記合成輝度ディテール成分と前記第１輝度ベース成分とを合成することで合成輝度成分を生成する合成輝度成分生成ステップと、
    　前記合成輝度成分と前記第１色ベース成分とを合成することで前記合成画像を生成する輝度色合成ステップと
    　を有する画像処理方法。
PCT/JP2017/029441 2016-10-14 2017-08-16 画像処理装置、画像処理方法、及び撮影装置 WO2018070100A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112017005193.2T DE112017005193T5 (de) 2016-10-14 2017-08-16 Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Bildaufnahmevorrichtung
US16/328,668 US10699395B2 (en) 2016-10-14 2017-08-16 Image processing device, image processing method, and image capturing device
CN201780062159.8A CN109804619B (zh) 2016-10-14 2017-08-16 图像处理装置、图像处理方法和摄影装置
JP2018503685A JP6351903B1 (ja) 2016-10-14 2017-08-16 画像処理装置、画像処理方法、及び撮影装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016202175 2016-10-14
JP2016-202175 2016-10-14

Publications (1)

Publication Number Publication Date
WO2018070100A1 true WO2018070100A1 (ja) 2018-04-19

Family

ID=61905505

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/029441 WO2018070100A1 (ja) 2016-10-14 2017-08-16 画像処理装置、画像処理方法、及び撮影装置

Country Status (5)

Country Link
US (1) US10699395B2 (ja)
JP (1) JP6351903B1 (ja)
CN (1) CN109804619B (ja)
DE (1) DE112017005193T5 (ja)
WO (1) WO2018070100A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020031362A1 (ja) * 2018-08-10 2020-02-13 三菱電機株式会社 画像処理装置及び画像処理方法
KR20200025598A (ko) * 2018-08-31 2020-03-10 인천대학교 산학협력단 가중 최소 자승 필터와 희소 표현을 이용한 영상 융합 장치 및 방법
WO2022168517A1 (ja) * 2021-02-03 2022-08-11 ソニーグループ株式会社 画像処理装置及び画像処理方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107918929B (zh) * 2016-10-08 2019-06-21 杭州海康威视数字技术股份有限公司 一种图像融合方法、装置及系统
CN116269262A (zh) 2016-12-01 2023-06-23 松下知识产权经营株式会社 生物体信息检测装置、生物体信息检测方法及存储介质
TWI651519B (zh) * 2017-12-26 2019-02-21 國家中山科學研究院 溫度量測校正方法、電子系統及校正迴歸係數表的產生方法
JP7203441B2 (ja) * 2018-07-20 2023-01-13 株式会社ナノルクス 画像生成装置及び撮像装置
US20210319541A1 (en) * 2018-09-06 2021-10-14 Carmel Haifa University Economic Corporation Ltd. Model-free physics-based reconstruction of images acquired in scattering media
CN110248105B (zh) * 2018-12-10 2020-12-08 浙江大华技术股份有限公司 一种图像处理方法、摄像机及计算机存储介质
US10892287B2 (en) 2019-01-18 2021-01-12 Cista System Corp. Image sensor with image receiver and automatic image switching
CN109905587B (zh) * 2019-04-12 2019-12-13 武汉鸿瑞达信息技术有限公司 一种可过滤强光或偏色光的成像拍摄系统和方法
WO2021237493A1 (zh) * 2020-05-27 2021-12-02 北京小米移动软件有限公司南京分公司 图像处理方法及装置、相机组件、电子设备、存储介质
CN116051386B (zh) * 2022-05-30 2023-10-20 荣耀终端有限公司 图像处理方法及其相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006180269A (ja) * 2004-12-22 2006-07-06 Sony Corp 画像処理装置、画像処理方法、撮像装置、プログラム、及び記録媒体
JP2014135627A (ja) * 2013-01-10 2014-07-24 Hitachi Ltd 撮像装置
JP2014241584A (ja) * 2013-05-14 2014-12-25 パナソニックＩｐマネジメント株式会社 画像処理方法、及び画像処理システム
JP2016082390A (ja) * 2014-10-16 2016-05-16 ソニー株式会社 信号処理装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6897355B2 (en) * 2000-03-27 2005-05-24 Ball Horticultural Company Interspecific Lobelia plant
WO2005072431A2 (en) * 2004-01-27 2005-08-11 Sarnoff Corporation A method and apparatus for combining a plurality of images
JP4984634B2 (ja) * 2005-07-21 2012-07-25 ソニー株式会社 物理情報取得方法および物理情報取得装置
JP4714096B2 (ja) 2006-06-30 2011-06-29 パナソニック株式会社 撮像装置
CN101394485B (zh) * 2007-09-20 2011-05-04 华为技术有限公司 图像生成方法、装置及图像合成设备
JP2010103740A (ja) * 2008-10-23 2010-05-06 Panasonic Corp デジタルカメラ
JP5502382B2 (ja) * 2009-07-02 2014-05-28 株式会社東芝 乳房ｘ線撮影装置及び画像処理装置
EP2579573A4 (en) * 2010-06-07 2014-09-10 Konica Minolta Advanced Layers IMAGING DEVICE
JP2014216734A (ja) * 2013-04-24 2014-11-17 日立マクセル株式会社 撮像装置及び撮像システム
US9691211B2 (en) * 2014-07-03 2017-06-27 Seiko Epson Corporation Image processing apparatus, image processing method, and program
JP6450107B2 (ja) 2014-08-05 2019-01-09 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
US9875524B2 (en) 2015-01-16 2018-01-23 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer-readable storage medium
JP6560563B2 (ja) 2015-01-16 2019-08-14 キヤノン株式会社 画像処理装置及び画像処理方法、コンピュータプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006180269A (ja) * 2004-12-22 2006-07-06 Sony Corp 画像処理装置、画像処理方法、撮像装置、プログラム、及び記録媒体
JP2014135627A (ja) * 2013-01-10 2014-07-24 Hitachi Ltd 撮像装置
JP2014241584A (ja) * 2013-05-14 2014-12-25 パナソニックＩｐマネジメント株式会社 画像処理方法、及び画像処理システム
JP2016082390A (ja) * 2014-10-16 2016-05-16 ソニー株式会社 信号処理装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020031362A1 (ja) * 2018-08-10 2020-02-13 三菱電機株式会社 画像処理装置及び画像処理方法
JPWO2020031362A1 (ja) * 2018-08-10 2021-01-07 三菱電機株式会社 画像処理装置及び画像処理方法
KR20200025598A (ko) * 2018-08-31 2020-03-10 인천대학교 산학협력단 가중 최소 자승 필터와 희소 표현을 이용한 영상 융합 장치 및 방법
KR102142934B1 (ko) 2018-08-31 2020-08-11 인천대학교 산학협력단 가중 최소 자승 필터와 희소 표현을 이용한 영상 융합 장치 및 방법
WO2022168517A1 (ja) * 2021-02-03 2022-08-11 ソニーグループ株式会社 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
US10699395B2 (en) 2020-06-30
JP6351903B1 (ja) 2018-07-04
CN109804619B (zh) 2021-01-15
DE112017005193T5 (de) 2019-07-04
US20190228512A1 (en) 2019-07-25
JPWO2018070100A1 (ja) 2018-10-11
CN109804619A (zh) 2019-05-24

Similar Documents

Publication Publication Date Title
JP6351903B1 (ja) 画像処理装置、画像処理方法、及び撮影装置
JP6185453B2 (ja) シーン分類に基づく高ダイナミックレンジ画像処理のための最適アルゴリズムの自動選択
CN104683767B (zh) 透雾图像生成方法及装置
EP2594062B1 (en) Flash system for multi-aperture imaging
US11625815B2 (en) Image processor and method
US9681026B2 (en) System and method for lens shading compensation
US10511785B2 (en) Temporally aligned exposure bracketing for high dynamic range imaging
US8169500B2 (en) Dynamic range compression apparatus, dynamic range compression method, computer-readable recording medium, integrated circuit, and imaging apparatus
JP4208909B2 (ja) 画像処理装置と撮影装置
WO2013157201A1 (ja) 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
US10521887B2 (en) Image processing device and image processing method
EP3381012B1 (en) Method and system for generating an output image from a plurality of corresponding input image channels
Kao High dynamic range imaging by fusing multiple raw images and tone reproduction
WO2015098243A1 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
US11200647B2 (en) Image processing
WO2017216903A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP6900395B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および記録媒体
CN107734246B (zh) 一种图像处理方法、装置及相关电路
EP3528202B1 (en) Image processing apparatus, image processing method, and program
Pamornnak et al. Color correction scheme for different illumination and camera device conditions
Park et al. Color distortion correction without noise boost using multi-resolution analysis
JP2017130168A (ja) 画像処理装置、撮像装置および画像処理プログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018503685

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17860684

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17860684

Country of ref document: EP

Kind code of ref document: A1