JP7412920B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents
画像処理装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP7412920B2 JP7412920B2 JP2019145945A JP2019145945A JP7412920B2 JP 7412920 B2 JP7412920 B2 JP 7412920B2 JP 2019145945 A JP2019145945 A JP 2019145945A JP 2019145945 A JP2019145945 A JP 2019145945A JP 7412920 B2 JP7412920 B2 JP 7412920B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- brightness
- area
- infrared
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 51
- 238000003672 processing method Methods 0.000 title description 2
- 238000012937 correction Methods 0.000 claims description 176
- 239000002131 composite material Substances 0.000 claims description 58
- 238000000034 method Methods 0.000 claims description 26
- 238000013459 approach Methods 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 description 57
- 230000015572 biosynthetic process Effects 0.000 description 22
- 238000003786 synthesis reaction Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 13
- 238000006243 chemical reaction Methods 0.000 description 9
- 239000003086 colorant Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 239000000203 mixture Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 101100293597 Caenorhabditis elegans nas-4 gene Proteins 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/90—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/3871—Composing, repositioning or otherwise geometrically modifying originals the composed originals being of different kinds, e.g. low- and high-resolution originals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Description
特許文献1は、可視光帯域の波長成分のみからなるカラー画像データと、可視光帯域の波長成分を含まず可視光帯域以外の波長成分のみからなるモノクロ画像データとを合成して合成画像データを生成する画像処理装置を開示する。
具体的には、特許文献1の画像処理装置は、カラー画像データから色情報を抽出するとともにモノクロ画像データから輝度情報を抽出し、カラー画像データの色情報とモノクロ画像データの輝度情報とを合成することにより、合成画像データを生成する。
このように、合成画像がカラー画像の輝度情報と乖離した輝度情報を持つ領域を含むことにより、当該領域では、人の視覚領域に近い可視画像であるカラー画像の輝度情報とは異なる輝度情報で画像が合成されてしまう。したがって、合成画像における色の再現性が低下し、合成画像を見るユーザに違和感を与えるおそれがあった。
また、以下、画像処理機能を備える撮像装置が、可視光で撮像されたカラー画像データ(以下、「可視画像」ともいう)と赤外光で撮像されたモノクロ画像データ(以下、「赤外画像」ともいう)とを合成して合成画像を生成する例を説明する。しかしながら、本実施形態における撮像画像の波長帯域や帯域幅は特に限定されない。
<本実施形態のハードウエアおよび機能構成>
図1は、本実施形態に係る撮像装置のハードウエアおよび機能構成の一例を示す図である。
図1に示す撮像装置1は、少なくとも2つの異なる波長帯域による像を撮像することができる。以下、第1の波長帯域を可視光帯域、第2の波長帯域を赤外光帯域として説明する。
図1の撮像装置1は、レンズ11、ビームスプリッタ12、可視光用イメージセンサ13、赤外光用イメージセンサ14、色空間変換部15、領域別輝度算出部16、輝度補正部17、および映像信号合成部18を備える。
ビームスプリッタ12は、可視光を透過させるとともに赤外光を垂直方向に反射させることで可視光と赤外光を分離し、可視光を可視光用イメージセンサ13に、赤外光を赤外光用イメージセンサ14へ、それぞれ入射させる。
色空間変換部15は、可視光イメージセンサ13から入射する可視光を、可視光の輝度情報(以下、「可視輝度情報」という)Yvrおよび色差情報Cvrに変換する色空間変換処理を実行する。色空間変換部15は、可視輝度情報Yvrを領域別輝度算出部16へ供給するとともに、色差情報Cvrを映像信号合成部18へ供給する。
輝度補正部17は、領域別輝度算出部16から供給される領域別の輝度補正値Xに基づいて、赤外光用イメージセンサ14から供給される赤外輝度情報Yirを補正し、補正後の赤外輝度情報Yircを映像信号合成部18へ供給する。
映像信号合成部18は、色空間変換部15から供給される色差情報Cvrと、輝度補正部17から供給される補正後の赤外輝度情報Yircとを合成して、合成画像を出力する。上記の赤外光(赤外画像)の輝度情報の補正処理の詳細は、図2~図4を参照して後述する。
赤外光用イメージセンサ14は、ビームスプリッタ12で反射された赤外光を入射させ、赤外映像信号IRを出力する。ここで出力される赤外映像信号IRは、輝度情報を持つが色差情報を持たないため、赤外輝度情報Yirとして出力される。
赤外光用イメージセンサ14は、赤外輝度情報Yirを、領域別輝度算出部16および輝度補正部17へ供給する。
映像信号合成部18において、色空間変換部15から供給される色差情報Cvrと、輝度補正部17から供給される補正後の赤外輝度情報Yircとが合成されることにより、合成画像が生成される。
また、撮像装置1は、可視光用イメージセンサ13および赤外線用イメージセンサ14に替えて、可視光帯域及び赤外光帯域の両方に感度を有する1つのイメージセンサを備えるようにしてもよい。この1つのイメージセンサにレンズ11からの光を入射させ、当該イメージセンサの直前に配置されたフィルタの透過特性によって、イメージセンサの受光面において可視画像および赤外画像を分離して取得してもよい。あるいは、光路上にバンドパスフィルタ、ショートパスフィルタ、ロングパスフィルタ等を挿抜することにより可視画像および赤外画像を分離して取得するようにしてもよい。この場合、ビームスプリッタ12を設ける必要がない。
このようなイメージセンサにおいては、R,G,Bのベイヤ(Bayer)配列構成による三色分離のカラーフィルタに替えて、R,G,B,IRのベイヤ配列構成による三色+赤外のカラーフィルタを使用する。ここで、IRとは赤外光に感度を有するカラーフィルタを示す。
このように、1枚のイメージセンサであっても、R,G,B,IRのベイヤ構成によるカラーフィルタを使用することで、RGBから可視映像信号、IRから赤外映像信号を取得することができる。
赤外光用イメージセンサ14は、赤外光に感度を有していれば足りるため、可視光帯域だけでなく赤外光帯域にも感度があるRGBのカラーフィルタを用いてもよい。
また、上記では、可視画像と赤外画像を合成する例について説明したが、可視画像と合成すべき画像は赤外画像に限らず、変形が可能である。例えば、図1のイメージセンサは、他の非可視光帯域(例えば紫外光領域)や、可視光帯域内の狭帯域領域等に感度を有してもよい。このように波長帯域の区分や波長帯域の帯域幅に限定されずに変形が可能である。
図2~図4を参照して、本実施形態における撮像装置1の領域別輝度算出部16および輝度補正部17が実行する画像の領域別輝度補正処理の詳細を説明する。
図2(a)は、赤外輝度情報Yirによって生成される赤外画像、図2(b)は、可視輝度情報Yvrによって生成される可視画像の一例をそれぞれ示す。
なお、図2(a)および図2(b)の画像は同一画角であり、領域Aおよび領域Bを撮像装置1の画角内に収めているものとする。
図2(a)において、赤外画像の領域Aの平均輝度をYir_a_av、赤外画像の領域Bの平均輝度をYir_b_avとする。図2(b)において、可視画像の領域Aの平均輝度をYvr_a_av、可視画像の領域Bの平均輝度をYvr_b_avとする。
ただし、図2(a)の赤外画像および図2(b)の可視画像の画像間で、必ずしもすべての領域の平均輝度が異なる必要はなく、平均輝度が一致している領域があってもよい。
本実施形態では、図3(a)に示す赤外画像の各領域における平均輝度(Yir_a_av,Yir_b_av)を、図3(b)に示す可視画像の各領域における平均輝度(Yvr_a_av,Yvr_b_av)に揃える。これにより、本実施形態では、赤外画像の輝度情報を基に合成される合成画像の領域ごとの輝度を、可視画像に近づけることになる。
図4は、本実施形態に係る撮像装置1が実行する領域別輝度補正および画像合成処理の処理手順の一例を示すフローチャートである。
なお、図4の各ステップは、撮像装置1の記憶部に記憶されたプログラムをCPUが読み出し、実行することで実現される。また、図1に示すフローチャートの少なくとも一部をハードウェアにより実現してもよい。ハードウェアにより実現する場合、例えば、所定のコンパイラを用いることで、各ステップを実現するためのプログラムからFPGA上に自動的に専用回路を生成すればよい。FPGAとは、Field Programmable Gate Arrayの略である。また、FPGAと同様にしてGate Array回路を形成し、ハードウェアとして実現するようにしてもよい。また、ASIC(Application Specific Integrated Circuit)により実現するようにしてもよい。
本実施形態では、撮像装置1の領域別輝度算出部16は、色空間変換部15から出力される可視輝度情報Yvrに基づいて、画像から領域を検出する。具体的には、領域別輝度算出部16は、画像の画素ごとの輝度情報から輝度差の大きい段差(輪郭)を検出することにより、画像中の領域を切り分ける。これにより、図2および図3に示すように、可視画像および赤外画像の間で輝度差が異なり、それぞれ異なる平均輝度値を有する領域Aおよび領域Bをそれぞれ切り分けることができる。
ただし、輝度の下限値および上限値は、赤外画像および可視画像でそれぞれ同一でなくともよい。この場合、赤外画像と可視画像との間で、下限値から上限値の輝度幅を、デジタルゲイン処理によって揃えればよい。
輝度補正値Xは、赤外画像および可視画像の平均輝度の比によって算出することができる。ここで、輝度補正値は領域ごとに異なるため、領域Aの輝度補正値をXa、領域Bの輝度補正値をXbとすると、それぞれの輝度補正値は、以下の式1および式2でそれぞれ示される。
Xb=Yvr_b_av/Yir_b_av (式2)
ここで、輝度補正値Xは領域別に異なり、かつ赤外輝度情報Yirは画素ごとに異なる。輝度補正後の赤外輝度情報Yircは、領域Aおよび領域Bのそれぞれについて、以下の式3および式4でそれぞれ示される。式1および式2に示されるように、領域Aの輝度補正値をXa、領域Bの輝度補正値をXbとする。式3は、領域Aにおける輝度補正後の赤外輝度情報Yirc_aを、式4は、領域Bにおける輝度補正後の赤外輝度情報Yirc_bを示す。
Yirc_b=Yir*Xb (式4)
本実施形態では、このように補正された赤外輝度情報Yircと可視画像の色差情報Cvrとを合成することにより、赤外の輝度情報を基にしつつも、領域別の平均輝度が可視画像に合った、色再現性の高いカラー合成画像を得ることができる。
S5で、撮像装置1の映像信号合成部18は、画像合成処理を実行する。本実施形態では、映像信号合成部18が、赤外画像の補正後の輝度情報Yircと可視画像の色差情報Cvrとを合成することで、領域ごとの輝度が可視画像に近いカラー合成画像を出力することができる。なお、赤外画像の補正後の輝度情報Yircと可視画像の輝度情報Yvrと可視画像の色差情報Cvrの3つを合成することにより合成画像を出力するようにしてもよい。
例えば、輝度情報のヒストグラム上、輝度が分かれている領域を検出してもよい。あるいは、動体に着目するのであれば、輝度に変化がある動体を検出し、動体領域を切り分けてもよい。あるいは、輝度補正を適用したい領域が予め分かっている状態であれば、ユーザが領域を指定してもよい。
あるいはまた、画像認識を利用して、領域を切り分けてもよい。例えば、顔認識を利用して、顔とそれ以外の領域等、特定の領域とそれ以外の領域とを別の領域として切り分けてもよい。
また、図2、図3、図5、および図6では、領域が2つの場合の例を説明したが、領域が3つ以上の場合にも本実施形態は同様に適用することができる。なお、領域の最小サイズは設計者またはユーザが任意に設定すればよい。この場合、例えば、水平50画素×垂直50画素以上のように画素数で指定してもよい。
図6は、図5の輝度補正後の赤外輝度情報Yircのヒストグラムの一例を示す。図5および図6において、Yirc_a_avは、領域Aにおける輝度補正後の赤外輝度情報の平均輝度を示し、同様にYirc_b_avは、領域Bにおける輝度補正後の赤外輝度情報の平均輝度を示す。
図5および図6に示す領域別の平均輝度Yirc_a_avおよびYirc_b_avは、式1から式4の算出結果から、図2(b)および図3(b)に示す可視画像の領域別の平均輝度Yvr_a_avおよびYvr_b_avとそれぞれ一致する。したがって、領域別の平均輝度の観点から、図2(a)および図3(a)に示す赤外画像の輝度情報Yir_a_avおよびYir_b_avが、可視画像の輝度情報Yvr_a_avおよびYvr_b_avに近づいた(図5および図6では一致した)ことが分かる。
また、上記では、画像の各領域の基準を、当該領域中の画素の輝度の平均値として説明したが、本実施形態はこれに限定されない。例えば、画像の領域内における輝度の最小値と最大値との中間の値や、輝度のヒストグラムの最大頻度の値を基準としてもよい。
これにより、赤外画像について、可視画像との間の領域ごとの輝度差が低減され、合成画像の輝度分布を可視画像に近づけることができる。このため、合成画像における色の再現性を高め、合成画像がユーザに与える違和感を低減することができる。
さらに、赤外画像の輝度情報を使用しているため、赤外画像が持つ高いS/N比を維持することができ、また、赤外画像の領域内で同一の輝度補正が適用されるため、赤外画像で得られた当該領域内の濃淡が損なわれず、高解像度感を維持することもできる。
以下、図7を参照して、実施形態2を、実施形態1と異なる点についてのみ詳細に説明する。
実施形態1では、撮像装置1は、画像を領域ごとに分割して、赤外画像の各領域における平均輝度を可視画像に近づけるよう輝度補正した。これに対して本実施形態では、撮像装置1は、輝度補正を適用する前に、赤外画像と可視画像との間で露出調整を実行して、画像の領域を検出する際に輝度補正すべき領域を選択する。
実施形態2に係る撮像装置1のハードウエアおよび機能構成は、図1を参照して説明した実施形態1に係る撮像装置1とそれぞれ同様であるため、その説明を省略する。
図7のS1およびS2は、図4に示す実施形態1のS1およびS2と同様であり、画像から領域を検出し、領域別に平均輝度値を算出する。
図2(a)の赤外画像および図2(b)の可視画像を参照して、図2(a)および図2(b)において、ともに領域Aおよび領域Bが検出されているものとする。ここで、露出調整の基準となる領域は、画像全体に占める割合が大きい領域が好ましい。そこで、領域別輝度算出部16は、赤外画像と可視画像のそれぞれの領域Aの平均輝度が一致するように、図2(a)の赤外画像全体に対して露出調整を適用する。
Ze=Yvr_a_av/Yir_a_av (式5)
Yire=Yir*Ze (式6)
Yire_a_av=Yir_a_av*Ze (式7)
Yire_b_av=Yir_b_av*Ze (式8)
領域Bにおいて、Yire_b_avおよびYvr_b_avの差が小さい場合、すなわち赤外画像および可視画像の間で輝度差が小さい領域の場合、輝度補正を適用しても可視画像の輝度に近づける効果が薄いため、輝度補正を適用する必要がない。一方、Yire_b_avおよびYvr_b_avの差が大きい場合、すなわち赤外画像および可視画像の間で輝度差が大きい領域の場合、輝度補正を適用することが好ましい。このように、各領域の輝度差を比較することで、輝度補正を適用すべき領域を選択することができる。輝度差が大きいまたは輝度差が小さいと決定するための閾値は、設計者もしくはユーザが任意に設定できてよい。
例えば、赤外画像の輝度差が大きく、可視画像の輝度差が小さい場合には、赤外特有の情報が多いものと判定して、輝度補正を適用せずに赤外輝度情報をそのまま出力してよい。一方、赤外画像の輝度差が小さく、可視画像の輝度差が大きい場合には、赤外の情報量が少ないものと判定して、輝度補正を適用して輝度補正された赤外輝度情報を出力してよい。上記のように、輝度補正を適用すべき領域を選択することができる。
Xeb=Yvr_b_av/Yire_b_av (式9)
Yirc=Yire*Xeb (式10)
Yirc=Yire*Yvr_b_av/Yire_b_av
=Yir*Ze*Yvr_b_av/(Yir_b_av*Ze)
=Yir*Yvr_b_av/Yir_b_av (式11)
これにより、実施形態1と同様、合成画像における色の再現性を高め、合成画像がユーザに与える違和感を低減しつつ、さらに、輝度補正の処理負荷を低減することができる。
以下、図8ないし図10を参照して、実施形態3を、上記各実施形態と異なる点についてのみ詳細に説明する。
実施形態1では、撮像装置1は、画像を領域ごとに分割して、赤外画像の各領域における平均輝度を可視画像に近づけるよう輝度補正した。これに対して本実施形態では、撮像装置1は、画像の領域を検出する際に、赤外光帯域特有の情報が取得されたか否かに基づいて、画像の領域を検出する際に輝度補正すべき領域を選択する。
実施形態3に係る撮像装置1のハードウエアおよび機能構成は、図1を参照して説明した実施形態1に係る撮像装置1とそれぞれ同様であるため、その説明を省略する。
図9は、実施形態3に係る撮像装置が実行する領域別輝度補正処理および画像合成処理の処理手順の一例を示すフローチャートである。図4に示す実施形態1の処理と比較して、輝度補正を適用すべき領域の選択処理が追加されている。
図8を参照して、領域Aは、領域の大きさおよび形状が赤外画像と可視画像との間で同一であるため、輝度補正を適用すべき領域となる。領域Bは、図8(a)の赤外画像では内側が領域Cによってくり抜かれた形状であるのに対して、図8(b)の可視画像では領域Cとの切り分けができないためくり抜きのない形状である。さらに領域Cは、図8(a)の赤外画像では領域Bと切り分けができているのに対して、図8(b)の可視画像では領域Bに埋もれてしまって切り分けができない。
図9に戻り、S2で、領域別輝度算出部16は、領域別に平均輝度を算出するが、S91で選択された領域Aについてのみ平均輝度を算出すればよく、輝度補正を適用しない領域(図8の領域B、領域C)に対しては、平均輝度を算出する必要はない。
図9のS3で、領域別輝度算出部16は、S91で選択された領域Aにつき、図4のS3と同様、輝度補正値を算出する。
S4で、輝度補正部17は、S91で選択された領域Aにつき、図4のS4と同様、輝度補正を適用する。
S5で、映像信号合成部18は、図4のS5と同様、赤外画像の補正された赤外輝度情報Yircと可視画像の色差情報Cvrとを合成して、合成画像を生成する。
図10の領域Aは、輝度補正が適用されているため、領域Aの平均輝度は図8(b)の可視画像の平均輝度と一致する。一方、図10の領域Bおよび領域Cは輝度補正が適用されていないため、領域Bおよび領域Cの平均輝度は変化せず、図8(a)の赤外画像の平均輝度と一致する。
これにより、実施形態1と同様、合成画像における色の再現性を高め、合成画像がユーザに与える違和感を低減しつつ、さらに、赤外光帯域特有の情報を残したまま、輝度補正を適用して合成画像を生成することができる。
以下、図11ないし図13を参照して、実施形態4を、上記各実施形態と異なる点についてのみ詳細に説明する。
実施形態3では、撮像装置1は、画像の領域を検出する際に、赤外光帯域特有の情報が取得されたか否かに基づいて、画像の領域を検出する際に輝度補正すべき領域を選択した。これに対して、本実施形態は、領域ごとに輝度平均値を算出する際に、領域別に算出された輝度値に基づいて、輝度補正すべき領域を選択する。
実施形態4に係る撮像装置1のハードウエアおよび機能構成は、図1を参照して説明した実施形態1に係る撮像装置1とそれぞれ同様であるため、その説明を省略する。
図12は、実施形態4に係る撮像装置が実行する領域別輝度補正値の算出処理および領域別輝度補正処理の処理手順の一例を示すフローチャートである。図4に示す実施形態1の処理と比較して、領域別に輝度補正値を算出した後に輝度補正を適用すべき領域の選択処理が追加されている。
S3で画像の領域別に平均輝度値を算出した後、S121で、S3で算出された領域別の平均輝度値に基づいて、輝度補正部17は、輝度補正を適用すべき領域を選択する。
例えば、S3で算出された可視画像の領域別の輝度値が極端に低い場合や極端に高い場合には、当該領域が黒潰れや白飛びしていると推測することができる。この場合、赤外画像における同一領域が可視画像とは異なり黒潰れや白飛びをしていない場合には、可視画像の輝度情報で赤外画像の輝度情報を補正すると、赤外光帯域特有の情報が失われてしまう。このため、赤外光帯域特有の情報を合成画像に反映するためには、そのような領域は輝度補正を適用しないことが好ましい。すなわち、輝度補正部17は、可視画像中で、平均輝度値が所定の上限値および下限値の閾値内にある領域に対応する赤外画像の領域についてのみ、輝度補正を適用する。
S5で、映像信号合成部18は、図4のS5と同様、赤外画像の補正された赤外輝度情報Yircと可視画像の色差情報Cvrとを合成して、合成画像を生成する。
図13の領域Aは、輝度補正が適用されているため、領域Aの平均輝度は図11(b)の可視画像の平均輝度と一致する。一方、図13の領域Bは輝度補正を適用すべき領域として選択されず輝度補正が適用されていないため、輝度平均は変化せず、図11(a)の赤外画像の平均輝度と一致する。
また、赤外画像が黒潰れして、可視画像が白飛びしている領域については、輝度補正を適用することが好ましい。同様に赤外画像が白飛びして、可視画像が黒潰れしている領域も輝度補正を適用することが好ましい。また、輝度補正を適用すべき領域の選択は、可視画像が黒潰れもしくは白飛びしているか否かのみで判定してもよい。
これにより、実施形態1と同様、合成画像における色の再現性を高め、合成画像がユーザに与える違和感を低減しつつ、さらに、可視画像の輝度の黒潰れや白飛び等が合成画像に反映されるのを有効に防止することができる。
以下、図14ないし図16を参照して、実施形態5を、上記各実施形態と異なる点についてのみ詳細に説明する。
実施形態3および実施形態4では、撮像装置1は、赤外光帯域特有の情報を有する赤外画像の領域に対して、輝度補正を適用しなかった。これに対して、本実施形態は、赤外画像が赤外光帯域特有の情報を含む場合に、輝度補正される前の赤外画像と、輝度補正された後の合成画像との2つの画像を表示装置上に並列表示するユーザインタフェースを提供する。
図14は、領域Bに赤外光帯域特有の情報を含む図11の画像に基づいて、ディスプレイ5上で、合成された合成画像および輝度補正前の赤外画像を並列表示した例を示す。図14に示すように、映像信号合成部18は、同一のディスプレイ5上に輝度補正された合成画像51および輝度補正前の赤外画像52を並列表示するよう表示制御する。なお、画像のサイズは同じである必要はなく、どちらかを大きくまたは小さく表示してもよい。
図15は、このように、赤外光帯域特有の情報を切り出した輝度補正前の赤外画像を示す。図15は、領域Bに赤外光帯域特有の情報を含む図11の画像に基づいて、ディスプレイ5上で合成画像51と、赤外光帯域特有の情報を切り出した輝度補正前の赤外画像53とを並列表示した例を示す。図15のように並列表示し、また合成画像51側に切り出し枠を表示するよう表示制御することで、画像中どこに赤外光帯域特有の情報があるのかを容易に視認することができる。
図16で、赤外優先合成モードが選択された場合、輝度補正すべき領域の選択を実行し、実施形態2ないし実施形態4のいずれかの輝度補正を適用する。一方、可視優先合成モードが選択された場合、輝度補正すべき領域の選択を実行せず、実施形態1の輝度補正を適用する。ただし、図16のモード表示は一例であり、適宜変更が可能である。また、図14、図15、および図16の表示例は適宜組み合わせてもよい。
図17に示す情報処理装置2は、CPU21と、ROM22と、RAM23と、外部メモリ24と、入力部25と、表示部26と、通信I/F27と、システムバス28とを備える。CPU21は、情報処理装置2における動作を統括的に制御するものであり、システムバス28を介して、各構成部(21~27)を制御する。ROM22は、CPU21が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、外部メモリ24や着脱可能な記憶媒体(不図示)に記憶されていてもよい。RAM23は、CPU21の主メモリ、ワークエリア等として機能する。すなわち、CPU21は、処理の実行に際してROM22から必要なプログラム等をRAM23にロードし、当該プログラム等を実行することで各種の機能動作を実現する。
外部メモリ24は、例えば、CPU21がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶している。また、外部メモリ24には、例えば、CPU21がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。入力部25は、キーボードやマウス等のポインティングデバイスにより構成される。表示部26は、液晶ディスプレイ(LCD)等のモニタにより構成される。通信I/F27は、管理者端末装置2とネットワークカメラ1、サーバ3、NAS4、およびクラウドサーバ8との通信を制御するインタフェースである。
本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器(例えば、ホストコンピュータ、インタフェース機器、撮像装置、Webアプリケーション等)から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
また、本発明は、上述の実施形態の一部または1以上の機能を実現するプログラムによっても実現可能である。すなわち、そのプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ(またはCPUやMPU等)における1つ以上のプロセッサがプログラムを読出し実行する処理により実現可能である。また、そのプログラムをコンピュータ可読な記録媒体に記録して提供してもよい。
また、コンピュータが読みだしたプログラムを実行することにより、実施形態の機能が実現されるものに限定されない。例えば、プログラムの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって上記した実施形態の機能が実現されてもよい。
Claims (13)
- 可視光による像を撮像した第1の画像と非可視光による像を撮像した第2の画像とを取得する取得手段と、
前記第1の画像の輝度に基づいて、前記第2の画像の輝度を、前記第1の画像の輝度と前記第2の画像の輝度との輝度差が低減されるように補正する補正手段と、
前記補正手段により輝度が補正された前記第2の画像と、前記第1の画像の色情報とを合成して合成画像を生成する生成手段とを備え、
前記生成手段は、前記第2の画像のコントラストが前記第1の画像のコントラストよりも高い場合に、前記補正手段による前記第2の画像の輝度補正を適用せずに前記合成画像を生成することを特徴とする画像処理装置。 - 前記第1の画像の輝度差に基づいて、前記第1の画像および前記第2の画像から複数の領域を検出し、前記第1の画像の輝度および前記第2の画像の輝度を前記複数の領域毎に算出する算出手段をさらに備え、
前記補正手段は、前記第1の画像の輝度と前記第2の画像の輝度との輝度差が低減されるように前記第2の画像の輝度を前記複数の領域毎に補正する
ことを特徴とする請求項1に記載の画像処理装置。 - 前記算出手段は、前記第1の画像と前記第2の画像との輝度の比に基づいて、前記複数の領域毎に補正値を算出し、
前記補正手段は、前記補正値に基づいて前記第2の画像の輝度を前記複数の領域毎に補正する
ことを特徴とする請求項2に記載の画像処理装置。 - 前記補正手段は、前記第2の画像の平均輝度を前記第1の画像の平均輝度に近付けるように、前記第2の画像の輝度を補正する
ことを特徴とする請求項2に記載の画像処理装置。 - 前記補正手段は、前記第2の画像の所定の領域の輝度が、前記第1の画像における所定の領域に対応する領域の輝度に近づくように、前記第2の画像を露出調整し、露出調整された前記第2の画像の輝度を前記複数の領域毎に補正する
ことを特徴とする請求項2に記載の画像処理装置。 - 前記補正手段は、前記複数の領域のうち、最もサイズの大きい領域を前記所定の領域に設定する
ことを特徴とする請求項5に記載の画像処理装置。 - 前記補正手段は、前記複数の領域のうち、AE(Automatic Exposure)の評価枠が設定された領域を前記所定の領域に設定する
ことを特徴とする請求項5に記載の画像処理装置。 - 前記複数の領域のうち、前記第2の画像のコントラストが前記第1の画像のコントラストを超えない領域を、前記第2の画像中で前記輝度を補正すべき領域として選択する選択手段をさらに備える
ことを特徴とする請求項2から7のいずれか1項に記載の画像処理装置。 - 前記複数の領域のうち、前記第1の画像と前記第2の画像との双方で検出された領域を、前記第2の画像中で前記輝度を補正すべき領域として選択する選択手段をさらに備える
ことを特徴とする請求項2から7のいずれか1項に記載の画像処理装置。 - 前記複数の領域のうち、前記第1の画像中で平均輝度が所定の閾値内にある領域に対応する前記第2の画像の領域を、前記第2の画像中で前記輝度を補正すべき領域として選択する選択手段をさらに備える
ことを特徴とする請求項2から7のいずれか1項に記載の画像処理装置。 - 前記生成手段により生成された前記合成画像と、前記補正手段により輝度補正される前の前記第2の画像の少なくとも一部とを、表示装置上に並列表示させる表示制御手段をさらに備える
ことを特徴とする請求項1から10のいずれか1項に記載の画像処理装置。 - 可視光による像を撮像した第1の画像と非可視光による像を撮像した第2の画像とを取得するステップと、
前記第1の画像の輝度に基づいて、前記第2の画像の輝度を、前記第2の画像の輝度差が前記第1の画像の輝度差に近づくように補正するステップと、
輝度が補正された前記第2の画像と、前記第1の画像の色情報とを合成して合成画像を生成するステップとを含み、
前記生成するステップにおいては、前記第2の画像のコントラストが前記第1の画像のコントラストよりも高い場合に、前記補正するステップによる前記第2の画像の輝度補正を適用せずに前記合成画像が生成されることを特徴とする画像処理装置の制御方法。 - コンピュータを、請求項1から11のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019145945A JP7412920B2 (ja) | 2019-08-08 | 2019-08-08 | 画像処理装置、画像処理方法およびプログラム |
US16/983,304 US11457155B2 (en) | 2019-08-08 | 2020-08-03 | Apparatus, method for controlling, and medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019145945A JP7412920B2 (ja) | 2019-08-08 | 2019-08-08 | 画像処理装置、画像処理方法およびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021027535A JP2021027535A (ja) | 2021-02-22 |
JP2021027535A5 JP2021027535A5 (ja) | 2022-07-21 |
JP7412920B2 true JP7412920B2 (ja) | 2024-01-15 |
Family
ID=74498805
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019145945A Active JP7412920B2 (ja) | 2019-08-08 | 2019-08-08 | 画像処理装置、画像処理方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11457155B2 (ja) |
JP (1) | JP7412920B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4064673A1 (en) * | 2021-03-22 | 2022-09-28 | BHS Technologies GmbH | Imaging device for a medical imaging system, medical imaging system and method for generating medical images |
WO2022256109A1 (en) * | 2021-05-31 | 2022-12-08 | Microsoft Technology Licensing, Llc | Glare removal using dual cameras |
US11678068B2 (en) | 2021-05-31 | 2023-06-13 | Microsoft Technology Licensing, Llc | Glare removal using dual cameras |
JP2023090492A (ja) * | 2021-12-17 | 2023-06-29 | キヤノン株式会社 | 画像処理装置および画像処理方法、撮像装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008276017A (ja) | 2007-05-01 | 2008-11-13 | Sony Corp | 撮像装置および方法、並びにプログラム |
JP2014135627A (ja) | 2013-01-10 | 2014-07-24 | Hitachi Ltd | 撮像装置 |
JP2017011634A (ja) | 2015-06-26 | 2017-01-12 | キヤノン株式会社 | 撮像装置およびその制御方法、並びにプログラム |
WO2018154965A1 (ja) | 2017-02-24 | 2018-08-30 | ソニー株式会社 | 画像処理装置及び撮像装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011239259A (ja) | 2010-05-12 | 2011-11-24 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
JP2017005401A (ja) * | 2015-06-08 | 2017-01-05 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム、並びに撮像装置 |
JP6341396B1 (ja) * | 2017-02-28 | 2018-06-13 | パナソニックIpマネジメント株式会社 | 動体監視装置、サーバ装置、および動体監視システム |
-
2019
- 2019-08-08 JP JP2019145945A patent/JP7412920B2/ja active Active
-
2020
- 2020-08-03 US US16/983,304 patent/US11457155B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008276017A (ja) | 2007-05-01 | 2008-11-13 | Sony Corp | 撮像装置および方法、並びにプログラム |
JP2014135627A (ja) | 2013-01-10 | 2014-07-24 | Hitachi Ltd | 撮像装置 |
JP2017011634A (ja) | 2015-06-26 | 2017-01-12 | キヤノン株式会社 | 撮像装置およびその制御方法、並びにプログラム |
WO2018154965A1 (ja) | 2017-02-24 | 2018-08-30 | ソニー株式会社 | 画像処理装置及び撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
US11457155B2 (en) | 2022-09-27 |
US20210044736A1 (en) | 2021-02-11 |
JP2021027535A (ja) | 2021-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7412920B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
KR102557794B1 (ko) | 화상 처리 장치, 화상 처리 장치의 제어 방법, 및 비일시적인 컴퓨터 판독가능한 저장 매체 | |
CN107451969B (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
JP6055681B2 (ja) | 撮像装置 | |
US10719704B2 (en) | Information processing device, information processing method, and computer-readable storage medium storing a program that extracts and corrects facial features in an image | |
US20100201823A1 (en) | Low-Light Imaging Augmented With Non-Intrusive Lighting | |
JP6415062B2 (ja) | 画像処理装置、画像処理方法、制御プログラム、および記録媒体 | |
CN104079908A (zh) | 红外与可见光图像信号处理方法及其实现装置 | |
US20100020192A1 (en) | Method of controlling auto white balance | |
KR20130052515A (ko) | 촬상장치, 그 제어 방법, 및 기록 매체 | |
JP2010039758A (ja) | 画像処理装置及び画像処理方法 | |
JP2011135563A (ja) | 撮像装置および画像処理方法 | |
JP2019106045A (ja) | 画像処理装置、方法及びプログラム | |
JP7403242B2 (ja) | 画像処理システム、画像処理方法、及びプログラム | |
US20180350046A1 (en) | Image processing apparatus adjusting skin color of person, image processing method, and storage medium | |
US9736394B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and computer-readable recording medium | |
JPWO2018154965A1 (ja) | 画像処理装置及び撮像装置 | |
JP2017011633A (ja) | 撮像装置 | |
JP7114335B2 (ja) | 画像処理装置、画像処理装置の制御方法、及び、プログラム | |
US9692983B2 (en) | Apparatus, method, and medium for correcting pixel switching pattern | |
JP6060552B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
US9838659B2 (en) | Image processing device and image processing method | |
WO2020084894A1 (ja) | マルチカメラシステム、制御値算出方法及び制御装置 | |
JP5225491B2 (ja) | 画像処理装置及び画像処理方法 | |
JP7203441B2 (ja) | 画像生成装置及び撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220712 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220712 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230317 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230822 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231128 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231227 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7412920 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |