JP6729394B2 - 画像処理装置、画像処理方法、プログラム及びシステム - Google Patents
画像処理装置、画像処理方法、プログラム及びシステム Download PDFInfo
- Publication number
- JP6729394B2 JP6729394B2 JP2016569234A JP2016569234A JP6729394B2 JP 6729394 B2 JP6729394 B2 JP 6729394B2 JP 2016569234 A JP2016569234 A JP 2016569234A JP 2016569234 A JP2016569234 A JP 2016569234A JP 6729394 B2 JP6729394 B2 JP 6729394B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- visible light
- filtering
- image processing
- infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 110
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000003384 imaging method Methods 0.000 claims description 93
- 238000001914 filtration Methods 0.000 claims description 48
- 238000000034 method Methods 0.000 claims description 36
- 230000008569 process Effects 0.000 claims description 32
- 210000000746 body region Anatomy 0.000 claims description 28
- 230000007613 environmental effect Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 7
- 230000004075 alteration Effects 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000004297 night vision Effects 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000005457 Black-body radiation Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000000862 absorption spectrum Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000000149 argon plasma sintering Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Color Television Image Signal Generators (AREA)
- Closed-Circuit Television Systems (AREA)
Description
なお、上記の効果は必ずしも限定的なものではなく、上記の効果と共に、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。
1.基本的な原理
1−1.赤外線の多様な用途
1−2.画像ごとの性質
2.第1の実施形態
2−1.ハードウェア構成
2−2.機能構成
2−3.処理の流れ
3.第2の実施形態
3−1.機能構成
3−2.処理の流れ
4.応用例
5.まとめ
[1−1.赤外線の多様な用途]
図1は、波長に依存する赤外線画像の多様な用途について説明するための説明図である。図1の水平方向は赤外線の波長に対応し、左から右へと波長は長くなる。0.7μm以下の波長を有する光線は可視光線であり、人間の視覚はこの可視光線を感知する。可視光領域に隣接する波長領域は近赤外(NIR)領域であり、NIR領域に属する赤外線を近赤外線という。NIR領域の波長の上限は、定義に依存して異なるものの、2.5μmから4.0μmの間にあるとされることが多い。NIR領域のうち相対的に波長の長い部分は、短波長赤外(SWIR)領域と呼ばれることもある。近赤外線は、例えば、暗視(night vision)、透視、光通信及び測距のために利用され得る。NIR画像を撮像するカメラは、通常、まず近傍に赤外線を照射し、その反射光を捕捉する。NIR領域に長波長側で隣接する波長領域は遠赤外(FIR)領域であり、FIR領域に属する赤外線を遠赤外線という。遠赤外線は、暗視、サーモグラフィ及び加熱のために利用され得る。物体からの黒体放射によって発せられる赤外線は、遠赤外線に相当する。そのため、遠赤外線を用いた暗視装置は、赤外線を照射せずとも、物体からの黒体放射を捕捉することによりFIR画像を生成することができる。FIR領域のうち相対的に波長の短い部分は、中波長赤外(MWIR)領域と呼ばれることもある。中波長赤外線の波長範囲では物質固有の吸収スペクトルが現れることから、中波長赤外線は、物質の同定のために利用され得る。
可視光画像は、本質的に色を表現可能であることから、画像に映る被写体をユーザ又は何らかのアプリケーションに認識させる目的で既に広く利用されている。可視光画像の欠点は、環境光に乏しい状況(例えば、夜間又は悪天候時)においてその視認性が著しく低下することである。また、可視光は人間の視覚により感知されるため、可視光を照射すること(いわゆるフラッシュ)により環境光を作り出すことは、多くの場面で忌避される。赤外線画像は、このような可視光画像の欠点を補うことができる。例えば、特許文献2により提案されている技術では、夜間又は悪天候時のような劣悪な条件の下で、可視光画像の代わりに、より視認性の高いNIR画像が運転者へ提供される。赤外線画像は、通常は色の無いグレースケールの画像だが、特許文献3は、可視光画像からの色情報を用いて赤外線画像をカラー化することを提案している。一般に、ユーザ又はアプリケーションへ提供されるカラー画像は、可能な限り良好な画質を有していることが望ましい。
本節では、一例として、車載装置としての画像処理装置100を説明する。画像処理装置100は部分的に車両への搭載に特化した構成を有するものの、本開示に係る技術の用途はかかる例に限定されない。本開示に係る技術は、例えば、監視カメラなどのセキュリティ機器、医療/診断機器、検査機器、又は、スマートフォン若しくはタブレットPC(Personal Computer)などの情報機器といった任意の種類の装置におけるカラー画像の生成に適用可能である。
図3は、第1の実施形態に係る画像処理装置100のハードウェア構成の一例を示すブロック図である。図3を参照すると、画像処理装置100は、カメラモジュール102、センサモジュール104、入力インタフェース106、メモリ108、ディスプレイ110、通信インタフェース112、車両ネットワーク(NW)インタフェース113、ストレージ114、バス116及びプロセッサ118を備える。
カメラモジュール102は、FIR領域、NIR領域及び可視光領域において被写体を撮像するモジュールである。カメラモジュール102は、典型的には、FIR領域に属する波長を有する遠赤外線を感知する撮像素子の配列と、NIR領域に属する波長を有する近赤外線を感知する撮像素子の配列と、可視光を感知する撮像素子の配列とを含む。これら配列は同一の基板上に配置されてもよく、又は異なる基板上に配置されてもよい。カメラモジュール102は、さらに近赤外線を照射する発光素子をも有し得る。カメラモジュール102は、例えば、ユーザ入力などのトリガに応じて又は周期的に、FIR画像、NIR画像及び可視光画像を撮像する。これら画像は、映像を構成する一連のフレームの一部であってもよい。
センサモジュール104は、測位センサ、加速度センサ、深度センサ、照度センサ、温度センサ及び湿度センサなどを含み得るセンサ群を有するモジュールである。測位センサは、例えば、GPS(Global Positioning System)衛星からのGPS信号又は無線アクセスポイントからの無線信号に基づいて、画像処理装置100の現在位置を測定する。加速度センサは、画像処理装置100に加わる3軸加速度を測定する。深度センサは、カメラモジュール102の画角内に存在する被写体への距離(即ち、深度(depth))を測定する。照度センサは、画像処理装置100が置かれている環境の照度を測定する。温度センサ及び湿度センサは、環境の温度及び湿度をそれぞれ測定する。センサモジュール104において生成されるセンサデータは、後述する画像のキャリブレーション及び撮像条件の判定といった目的のために利用され得る。
入力インタフェース106は、ユーザが画像処理装置100を操作し又は画像処理装置100へ情報を入力するために使用される。入力インタフェース106は、例えば、タッチセンサ、キーパッド、ボタン又はスイッチなどの入力デバイスを含んでもよい。また、入力インタフェース106は、音声入力用のマイクロフォン及び音声認識モジュールを含んでもよい。また、入力インタフェース106は、ユーザにより選択される命令をリモートデバイスから受信する遠隔制御モジュールを含んでもよい。
メモリ108は、RAM(Random Access Memory)及びROM(Read Only Memory)を含み得る記憶媒体である。メモリ108は、プロセッサ118に連結され、プロセッサ118により実行される処理のためのプログラム及びデータを記憶する。
ディスプレイ110は、画像を表示する画面を有する表示モジュールである。ディスプレイ110は、例えば、LCD(Liquid Crystal Display)、OLED(Organic light-Emitting Diode)又はCRT(Cathode Ray Tube)などであってよい。
通信インタフェース112は、画像処理装置100と他の装置との間の通信を仲介するモジュールである。通信インタフェース112は、任意の無線通信プロトコル又は有線通信プロトコルに従って、通信接続を確立する。
車両NWインタフェース113は、画像処理装置100が搭載される車両の車両ネットワークとの間の通信を仲介するモジュールである。車両NWインタフェース113は、例えば、図示しない端子を介して車両ネットワークに接続され、車速データ及び舵角(ステアリング角度)データなどの車両側で生成されるデータを取得する。
ストレージ114は、画像データを蓄積し、及び画像処理装置100により実行される画像処理において利用されるデータベースを記憶する記憶デバイスである。ストレージ114は、半導体メモリ又はハードディスクなどの記憶媒体を内蔵する。なお、本明細書で説明するプログラム及びデータは、画像処理装置100の外部のデータソース(例えば、データサーバ、ネットワークストレージ又は外付けメモリなど)から取得されてもよい。
バス116は、カメラモジュール102、センサモジュール104、入力インタフェース106、メモリ108、ディスプレイ110、通信インタフェース112、車両NWインタフェース113、ストレージ114及びプロセッサ118を相互に接続する。
プロセッサ118は、CPU(Central Processing Unit)又はDSP(Digital Signal Processor)などの処理モジュールである。プロセッサ118は、メモリ108又は他の記憶媒体に記憶されるプログラムを実行することにより、改善された画質を有するカラー画像を生成するための後述する機能を動作させる。
図5は、図3に示した画像処理装置100の構成要素が互いに連係することにより実現される論理的機能の構成の一例を示すブロック図である。図5を参照すると、画像処理装置100は、画像取得部120、データ取得部130、判定部140、生成部160及びデータベース170を備える。
画像取得部120は、共通する被写体を映した遠赤外(FIR)画像、近赤外(NIR)画像及び可視光画像をカメラモジュール102から取得し、取得した画像を判定部140及び生成部160へ出力する。画像取得部120により取得される画像は、信号の増幅、デモザイク及びノイズ除去などのプリミティブな処理を経た画像であってよい。また、画像取得部120は、必要に応じて、画像のキャリブレーション、波長成分の分離及び視点の統合といった、カラー画像の生成のための予備的処理を行う。なお、本明細書では、FIR画像及びNIR画像をも考慮して画質の改善された画像をカラー画像といい、画質改善前の可視光カメラにより撮像された画像を可視光画像という(可視光画像もまた、色を有する)。
データ取得部130は、画像処理装置100におけるカラー画像の生成のために利用される画像以外の様々なデータを取得する。例えば、データ取得部130は、センサモジュール104から画像処理装置100の地理的位置を示す測位データを、通信インタフェース112を介して外部のデータサーバから天候データを取得してもよい。測位データ及び天候データは、後述する判定部140による撮像条件の判定の際に、現在地の天候を判定するために利用される。なお、天候データは、入力インタフェース106を介してユーザにより入力されてもよい。また、データ取得部130は、センサモジュール104から照度データ、温度データ及び湿度データを取得してもよい。これらデータもまた、判定部140による撮像条件の判定のために利用され得る。
判定部140は、FIR画像、NIR及び可視光画像が撮像された際の撮像条件を判定する。本実施形態において、撮像条件は、時間帯、天候及び環境照度のうちの1つ以上を含む。例えば、判定部140は、現在時刻が属する時間帯を判定する。時間帯は、例えば「日中」及び「夜間」の2種類、「朝」、「昼」、「夕方」及び「夜」の4種類など、どのように区分されてもよい。また、判定部140は、測位データにより示される現在地の天候を、外部サーバから取得され又はユーザにより入力される天候データを参照することにより判定し得る。天候の定義もまたどのような定義であってもよい。一例として、判定部140は、その時点の天候を「晴れ」、「曇り」、「雨」、「雪」及び「霧」のいずれかに分類し得る。判定部140は、天候データから天候を判定する代わりに、温度データ及び湿度データから現在地の天候を推定してもよい。また、判定部140は、センサモジュール104からの照度データに基づいて、環境照度を判定し得る。判定部140は、これら判定の結果を示す撮像条件情報を、生成部160へ出力する。
生成部160は、FIR画像、NIR画像及び可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成する。FIR画像から選択される画素は、例えば、環境光に乏しい状況下での被写体の識別、特に生体領域の色彩を強調することに寄与する。NIR画像から選択される画素もまた、環境光に乏しい状況下での被写体の識別に寄与するが、近赤外線の照射の作用にも起因して、特に被写体のディテールの鮮明化に寄与する。また、可視光よりも直進性の強い赤外線は、雨又は霧の条件下での視認性の高い画像の生成にも寄与する。可視光画像から選択される画素は、カラー画像に色情報を直接的に提供する。
データベース170は、撮像条件の候補ごとに予め決定されるフィルタ構成を示す上述したフィルタ構成データの複数のセットを記憶する。フィルタ構成データの各セットは、FIR画像、NIR画像及び可視光画像の各々から選択すべきフィルタタップの画素位置と、それぞれのフィルタタップに適用すべきフィルタ係数とを示す。フィルタ構成データの各セットには、対応する撮像条件を識別する撮像条件情報が関連付けられる。
(1)カラー画像生成処理
図13は、第1の実施形態に係るカラー画像生成処理の流れの一例を示すフローチャートである。図13に示したカラー画像生成処理は、典型的には、映像を構成する一連のフレームの各々について繰り返される。
図14Aは、図13のステップS140において実行され得るフィルタ構成設定処理の流れの第1の例を示すフローチャートである。図14Aを参照すると、まず、生成部160は、例えば判定部140から入力される撮像条件情報により示される撮像条件を用いたルックアップにより、当該撮像条件に対応するフィルタ構成データをデータベース170から取得する(ステップS141)。次に、生成部160は、取得したフィルタ構成データに従って、FIR画像、NIR画像及び可視光画像の画素を含み得るフィルタタップを設定する(ステップS143)。また、生成部160は、設定したフィルタタップに、フィルタ構成データにより示されるフィルタ係数をそれぞれ設定する(ステップS145)。
前節で説明した第1の実施形態では、1つのカラー画像を生成する際に1種類のフィルタ構成が使用される。これに対し、第2の実施形態では、画像がいくつかの部分領域にセグメント化され、部分領域ごとに最適なフィルタ構成が使用される。こうしたフィルタ構成の切り替え又は適応的な選択によって、カラー画像のさらなる画質の改善を見込むことができる。
第2の実施形態に係る画像処理装置200のハードウェア構成は、図3を用いて説明した画像処理装置100のハードウェア構成と同様であってよい。図15は、第2の実施形態に係る画像処理装置200の論理的機能の構成の一例を示すブロック図である。図15を参照すると、画像処理装置200は、画像取得部120、データ取得部230、判定部140、認識部250、生成部260及びデータベース270を備える。
データ取得部230は、画像処理装置200におけるカラー画像の生成のために利用される補助データを取得する。例えば、データ取得部230は、第1の実施形態に係るデータ取得部130と同様に、センサモジュール104から測位データを、通信インタフェース112を介して外部のデータサーバから(又はユーザにより入力される)天候データを取得してもよい。また、データ取得部130は、センサモジュール104から照度データ、温度データ及び湿度データを取得してもよい。また、データ取得部130は、車両NWインタフェース113を介して車両ネットワークからドライビングデータを取得してもよい。また、本実施形態において、データ取得部230は、深度センサにより測定された被写体への距離を画素ごとに示す深度データ(深度マップともいう)を、センサモジュール104から取得してもよい。深度データは、後述する認識部150における画像のセグメント化又は生成部160におけるフィルタ構成の設定のために利用され得る。
認識部250は、画像取得部120から入力されるFIR画像、NIR画像及び可視光画像のうちの少なくとも1つにおいて、画像を複数の部分領域にセグメント化する。そして、認識部250は、セグメント化した個々の部分領域を特定する領域情報を生成し、生成した領域情報を生成部260へ出力する。ここでの領域情報は、各領域の位置、サイズ及び形状を示す情報であってもよく、又は各領域に属する画素のビット値が“1”をそれ以外の画素のビット値が“0”を示すようなビットマップであってもよい。また、領域情報は、各領域の種別(生体領域若しくは物体領域)及び識別情報(領域IDなど)を含んでもよい。
生成部260は、FIR画像、NIR画像及び可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成する。より具体的には、生成部260は、第1の実施形態に係る生成部160と同様に、判定部140により判定される撮像条件に依存して異なるフィルタ構成で、カラー画像の生成のためのフィルタリングを実行する。さらに、本実施形態において、生成部260は、認識部250から入力される領域情報に依存して、カラー画像の生成のためのフィルタ構成を変化させる。一例として、生成部260は、非生体領域のために使用されるフィルタ構成とは異なるフィルタ構成で、生体領域についてのフィルタリングを実行してもよい。また、生成部260は、カメラから生体までの距離に依存してさらに異なるフィルタ構成で、生体領域についてのフィルタリングを実行してもよい。
a)生体領域情報及び物体領域情報のうちの少なくとも1つを含む領域情報
b)a)の各領域について計算される尤度情報
c)生体認識又は物体認識に付随して計算され得る画像特徴量
d)カラー画像の生成に付随して計算され得る色別確率分布
例えば、夜間のFIR画像における各領域の階調値は、その領域に生体が映っている尤もらしさとの強い相関を有する。そこで、FIR画像を用いて生成されるb)尤度情報をa)生体領域情報と共に運転支援アプリケーションに提供することで、運転支援アプリケーションにおける歩行者検出などの処理の正確性向上に寄与することができる。また、上述したアプリケーション支援情報は、重複する情報の後段のアプリケーションにおける冗長的な生成(例えば、再度の画像のセグメント化、又は画像特徴量の算出)を回避するために再利用されてもよい。
データベース270は、撮像条件の候補及び領域種別の組合せごとに予め決定されるフィルタ構成を示すフィルタ構成データの複数のセットを記憶する。フィルタ構成データの各セットには、対応する撮像条件を識別する撮像条件情報と、領域種別とが関連付けられる。フィルタ構成データの各セットには、さらにカメラから被写体までの距離の代表値が関連付けられてもよい。また、データベース270は、認識部250による領域認識処理において利用され得る(人体、生体又は物体の)画像特徴量データを記憶してもよい。
図18は、第2の実施形態に係るカラー画像生成処理の流れの一例を示すフローチャートである。図18に示したカラー画像生成処理は、典型的には、映像を構成する一連のフレームの各々について繰り返される。
本開示に係る技術は、実装レベルの異なる様々な形態の製品に応用可能である。図19は、本開示に係る技術のいくつかの応用例について説明するための説明図である。図19に示した一例としての車両1は、車載システム10を含む。車載システム10は、画像処理システム20、アプリケーションモジュール30及び1つ以上の周辺モジュール40を有する。画像処理システム20は、カメラモジュール102と、カメラモジュール102に接続される画像処理モジュール100又は200とを含む。画像処理モジュール100又は200は、単一のチップ(又はプロセッサ)から構成されてもよく、又は複数のチップの集合であってもよい。アプリケーションモジュール30は、接続端子及び信号線を介して画像処理システム20に接続される。アプリケーションモジュール30は、画像処理モジュール100又は200により生成されるカラー画像を受信し、受信したカラー画像に基づいてアプリケーションを実行する。アプリケーションモジュール30は、例えばCPU又はSoC(System-on-a-chip)などの形態で実装され得る。周辺モジュール40は、例えばディスプレイを含み、アプリケーションモジュール30により加工されるカラー画像がディスプレイの画面上に表示される。
ここまで、図1〜図19を用いて、本開示に係る技術の様々な実施形態について詳細に説明した。上述した実施形態によれば、共通する被写体を映した遠赤外画像、近赤外画像及び可視光画像が取得され、取得された遠赤外画像、近赤外画像及び可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像が生成される。かかる構成によれば、遠赤外画像、近赤外画像及び可視光画像のそれぞれの性質を活用して、生成されるカラー画像の画質を効果的に改善することができる。例えば、遠赤外画像は、特に生体の視認性が重要視される用途において、画像内のどの領域をより鮮明に表現すべきかの情報を提供し、生体領域の色彩の強調に寄与する。近赤外画像は、環境光に乏しい状況下で、被写体のディテールの鮮明化に寄与する。可視光画像は、カラー画像に色情報を直接的に提供する。こうした画像の種別ごとの性質の統合的な活用によって、既存の技術では達成されない高い画質を有するカラー画像を提供することが可能となる。
(1)
共通する被写体を映した遠赤外画像、近赤外画像及び可視光画像を取得する画像取得部と、
前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成する生成部と、
を備える画像処理装置。
(2)
前記画像処理装置は、前記遠赤外画像、前記近赤外画像及び前記可視光画像が撮像された際の撮像条件を判定する判定部、をさらに備え、
前記生成部は、前記判定部により判定される前記撮像条件に依存して異なるフィルタ構成で、前記フィルタリングを実行する、
前記(1)に記載の画像処理装置。
(3)
前記生成部は、学習処理を通じて事前に決定される前記フィルタ構成で、前記フィルタリングを実行する、前記(2)に記載の画像処理装置。
(4)
前記生成部は、前記判定部により判定される前記撮像条件と学習時の撮像条件との差に基づいて調整されるフィルタ係数を用いて、前記フィルタリングを実行する、前記(3)に記載の画像処理装置。
(5)
前記撮像条件は、時間帯、天候及び環境照度のうちの1つ以上を含む、前記(2)〜(4)のいずれか1項に記載の画像処理装置。
(6)
前記画像処理装置は、
前記遠赤外画像、前記近赤外画像及び前記可視光画像のうちの少なくとも1つにおいて生体が映る生体領域を認識する認識部、
をさらに備え、
前記生成部は、非生体領域のために使用されるフィルタ構成とは異なるフィルタ構成で、前記生体領域についての前記フィルタリングを実行する、
前記(1)〜(5)のいずれか1項に記載の画像処理装置。
(7)
前記生成部は、カメラから前記生体までの距離に依存して異なるフィルタ構成で、前記生体領域についての前記フィルタリングを実行する、前記(6)に記載の画像処理装置。
(8)
前記認識部は、認識した前記生体領域を特定する生体領域情報を生成し、
前記生成部は、前記カラー画像と共に前記生体領域情報を後段のアプリケーションへ出力する、
前記(6)又は前記(7)に記載の画像処理装置。
(9)
前記画像処理装置は、車両に搭載され、
前記生成部は、前記カラー画像を運転支援アプリケーションへ出力する、
前記(1)〜(7)のいずれか1項に記載の画像処理装置。
(10)
共通する被写体を映した遠赤外画像、近赤外画像及び可視光画像を取得することと、
前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成することと、
を含む画像処理方法。
(11)
画像処理装置を制御するコンピュータを、
共通する被写体を映した遠赤外画像、近赤外画像及び可視光画像を取得する画像取得部と、
前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成する生成部と、
として機能させるためのプログラム。
(12)
遠赤外領域、近赤外領域及び可視光領域において被写体を撮像し、対応する遠赤外画像、近赤外画像及び可視光画像を出力するカメラモジュールと、
前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成する画像処理モジュールと、
を含む画像処理システム。
(13)
前記画像処理システムは、車両に搭載され、
前記画像処理モジュールにより生成される前記カラー画像に基づくアプリケーションを実行するアプリケーションモジュール、をさらに含む、
前記(12)に記載の画像処理システム。
10 車載システム
20 画像処理システム
30 アプリケーションモジュール
40 周辺モジュール
100,200 画像処理装置(画像処理モジュール)
102 カメラモジュール
110 ディスプレイ
120 画像取得部
130,230 データ取得部
140 判定部
250 認識部
160,260 生成部
170,270 データベース
Claims (10)
- 共通する被写体を映した遠赤外画像、近赤外画像及び可視光画像を取得する画像取得部と、
前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成する生成部と、
前記遠赤外画像、前記近赤外画像及び前記可視光画像が撮像された際の撮像条件を判定する判定部と、
を備え、
前記生成部は、前記判定部により判定される前記撮像条件に依存して異なるフィルタ構成で、前記フィルタリングを実行し、学習処理を通じて事前に決定される前記フィルタ構成で、前記フィルタリングを実行し、前記判定部により判定される前記撮像条件と学習時の撮像条件との差に基づいて調整されるフィルタ係数を用いて、前記フィルタリングを実行する、
画像処理装置。 - 前記撮像条件は、時間帯、天候及び環境照度のうちの1つ以上を含む、請求項1に記載の画像処理装置。
- 前記画像処理装置は、
前記遠赤外画像、前記近赤外画像及び前記可視光画像のうちの少なくとも1つにおいて生体が映る生体領域を認識する認識部、
をさらに備え、
前記生成部は、非生体領域のために使用されるフィルタ構成とは異なるフィルタ構成で、前記生体領域についての前記フィルタリングを実行する、
請求項1に記載の画像処理装置。 - 前記生成部は、カメラから前記生体までの距離に依存して異なるフィルタ構成で、前記生体領域についての前記フィルタリングを実行する、請求項3に記載の画像処理装置。
- 前記認識部は、認識した前記生体領域を特定する生体領域情報を生成し、
前記生成部は、前記カラー画像と共に前記生体領域情報を後段のアプリケーションへ出力する、
請求項3に記載の画像処理装置。 - 前記画像処理装置は、車両に搭載され、
前記生成部は、前記カラー画像を運転支援アプリケーションへ出力する、
請求項1に記載の画像処理装置。 - 共通する被写体を映した遠赤外画像、近赤外画像及び可視光画像を取得することと、
前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成することと、
前記遠赤外画像、前記近赤外画像及び前記可視光画像が撮像された際の撮像条件を判定することと、
を含み、
判定される前記撮像条件に依存して異なるフィルタ構成で、前記フィルタリングを実行し、学習処理を通じて事前に決定される前記フィルタ構成で、前記フィルタリングを実行し、判定される前記撮像条件と学習時の撮像条件との差に基づいて調整されるフィルタ係数を用いて、前記フィルタリングを実行する、
画像処理方法。 - 画像処理装置を制御するコンピュータを、
共通する被写体を映した遠赤外画像、近赤外画像及び可視光画像を取得する画像取得部と、
前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成する生成部と、
前記遠赤外画像、前記近赤外画像及び前記可視光画像が撮像された際の撮像条件を判定する判定部と、
として機能させ、
前記生成部は、前記判定部により判定される前記撮像条件に依存して異なるフィルタ構成で、前記フィルタリングを実行し、学習処理を通じて事前に決定される前記フィルタ構成で、前記フィルタリングを実行し、前記判定部により判定される前記撮像条件と学習時の撮像条件との差に基づいて調整されるフィルタ係数を用いて、前記フィルタリングを実行する、
プログラム。 - 遠赤外領域、近赤外領域及び可視光領域において被写体を撮像し、対応する遠赤外画像、近赤外画像及び可視光画像を出力するカメラモジュールと、
前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成し、前記遠赤外画像、前記近赤外画像及び前記可視光画像が撮像された際の撮像条件を判定する画像処理モジュールと、
を含み、
前記画像処理モジュールは、判定される前記撮像条件に依存して異なるフィルタ構成で、前記フィルタリングを実行し、学習処理を通じて事前に決定される前記フィルタ構成で、前記フィルタリングを実行し、判定される前記撮像条件と学習時の撮像条件との差に基づいて調整されるフィルタ係数を用いて、前記フィルタリングを実行する、
画像処理システム。 - 前記画像処理システムは、車両に搭載され、
前記画像処理モジュールにより生成される前記カラー画像に基づくアプリケーションを実行するアプリケーションモジュール、をさらに含む、
請求項9に記載の画像処理システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015004121 | 2015-01-13 | ||
JP2015004121 | 2015-01-13 | ||
PCT/JP2015/080965 WO2016113983A1 (ja) | 2015-01-13 | 2015-11-02 | 画像処理装置、画像処理方法、プログラム及びシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016113983A1 JPWO2016113983A1 (ja) | 2017-10-19 |
JP6729394B2 true JP6729394B2 (ja) | 2020-07-22 |
Family
ID=56405540
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016569234A Expired - Fee Related JP6729394B2 (ja) | 2015-01-13 | 2015-11-02 | 画像処理装置、画像処理方法、プログラム及びシステム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10176543B2 (ja) |
EP (1) | EP3229468B1 (ja) |
JP (1) | JP6729394B2 (ja) |
CN (1) | CN107113408B (ja) |
WO (1) | WO2016113983A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102015223175A1 (de) * | 2015-11-24 | 2017-05-24 | Conti Temic Microelectronic Gmbh | Fahrerassistenzsystem mit adaptiver Umgebungsbilddatenverarbeitung |
JP6365598B2 (ja) * | 2016-06-17 | 2018-08-01 | トヨタ自動車株式会社 | 車両ヒータの制御装置 |
US11030723B2 (en) * | 2017-02-20 | 2021-06-08 | Sony Corporation | Image processing apparatus, image processing method, and program |
US10827129B2 (en) * | 2017-02-24 | 2020-11-03 | Sony Corporation | Image processing apparatus and imaging apparatus |
WO2018163725A1 (ja) * | 2017-03-08 | 2018-09-13 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
JP6867023B2 (ja) * | 2017-06-16 | 2021-04-28 | ディーピーティー株式会社 | 移動体用映像表示装置およびその方法 |
JP7075201B2 (ja) * | 2017-12-15 | 2022-05-25 | 東芝ライフスタイル株式会社 | 電気掃除機 |
US10785422B2 (en) * | 2018-05-29 | 2020-09-22 | Microsoft Technology Licensing, Llc | Face recognition using depth and multi-spectral camera |
JP7171254B2 (ja) * | 2018-06-13 | 2022-11-15 | キヤノン株式会社 | 画像処理装置、撮像装置、および画像処理方法 |
JP7155737B2 (ja) * | 2018-08-10 | 2022-10-19 | 株式会社リコー | 画像処理装置、画像処理システム、プログラムおよび画像処理方法 |
CN111488756B (zh) * | 2019-01-25 | 2023-10-03 | 杭州海康威视数字技术股份有限公司 | 基于面部识别的活体检测的方法、电子设备和存储介质 |
CN111429722A (zh) * | 2020-03-30 | 2020-07-17 | 淮阴工学院 | 基于实时路况的辅助车速报警控制系统 |
CN111460186B (zh) * | 2020-03-31 | 2022-04-08 | 河北工业大学 | 包含车辆可见光图像和红外图像数据库的建立方法 |
CN111507930B (zh) * | 2020-06-18 | 2023-10-10 | 杭州海康威视数字技术股份有限公司 | 图像融合方法、装置、存储介质和计算机设备 |
CN117146780B (zh) * | 2023-10-31 | 2024-01-09 | 季华实验室 | 成像方法、终端设备及介质 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000115759A (ja) | 1998-10-05 | 2000-04-21 | Sony Corp | 撮像表示装置 |
JP3659914B2 (ja) * | 2000-10-31 | 2005-06-15 | 松下電器産業株式会社 | 物体認識装置、物体を認識する方法、プログラムおよび記録媒体 |
EP1202214A3 (en) | 2000-10-31 | 2005-02-23 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for object recognition |
US7248297B2 (en) * | 2001-11-30 | 2007-07-24 | The Board Of Trustees Of The Leland Stanford Junior University | Integrated color pixel (ICP) |
US7929727B2 (en) * | 2002-07-26 | 2011-04-19 | Tenebraex Corporation | Methods for visually separating an object from its background, methods for detecting a camouflaged object against its background and detection apparatus embodying such methods |
US7570286B2 (en) * | 2005-05-27 | 2009-08-04 | Honda Motor Co., Ltd. | System and method for creating composite images |
CN2842571Y (zh) * | 2005-10-28 | 2006-11-29 | 沈阳理工大学 | 一种抗天气干扰图像采集装置 |
JP2007158820A (ja) | 2005-12-06 | 2007-06-21 | Fujitsu Ten Ltd | 撮影制御装置 |
CN100550996C (zh) | 2006-07-31 | 2009-10-14 | 株式会社理光 | 图像处理装置,成像装置以及图像处理方法 |
JP4386096B2 (ja) * | 2007-05-18 | 2009-12-16 | ソニー株式会社 | 画像入力処理装置、および、その方法 |
JP5110356B2 (ja) * | 2007-07-10 | 2012-12-26 | オムロン株式会社 | 検出装置および方法、並びに、プログラム |
US8248495B2 (en) * | 2007-08-07 | 2012-08-21 | Panasonic Corporation | Image picking-up processing device, image picking-up device, image processing method and computer program |
KR101441589B1 (ko) * | 2008-10-07 | 2014-09-29 | 삼성전자 주식회사 | 가시광선 이미지와 원적외선 이미지를 광학적으로 융합하는장치 |
US9451183B2 (en) * | 2009-03-02 | 2016-09-20 | Flir Systems, Inc. | Time spaced infrared image enhancement |
JP5148573B2 (ja) * | 2009-08-31 | 2013-02-20 | 富士フイルム株式会社 | 画像処理システム、画像処理方法およびプログラム |
JP5578965B2 (ja) * | 2010-07-02 | 2014-08-27 | 富士フイルム株式会社 | オブジェクト推定装置および方法ならびにプログラム |
JP5470218B2 (ja) * | 2010-10-25 | 2014-04-16 | 株式会社日立製作所 | 撮像装置 |
JP5968107B2 (ja) | 2011-09-01 | 2016-08-10 | キヤノン株式会社 | 画像処理方法、画像処理装置およびプログラム |
EP2763417B1 (en) * | 2011-09-29 | 2019-02-27 | FUJIFILM Corporation | Device, method and program for image processing, recording medium, and imaging device |
JP5409829B2 (ja) * | 2012-02-17 | 2014-02-05 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、および、プログラム |
CN102647449B (zh) * | 2012-03-20 | 2016-01-27 | 西安联客信息技术有限公司 | 基于云服务的智能摄影方法、装置及移动终端 |
US9304301B2 (en) * | 2012-12-26 | 2016-04-05 | GM Global Technology Operations LLC | Camera hardware design for dynamic rearview mirror |
JP6015946B2 (ja) | 2013-03-29 | 2016-10-26 | マツダ株式会社 | 車両用撮像装置 |
JP2014241584A (ja) * | 2013-05-14 | 2014-12-25 | パナソニックIpマネジメント株式会社 | 画像処理方法、及び画像処理システム |
-
2015
- 2015-11-02 WO PCT/JP2015/080965 patent/WO2016113983A1/ja active Application Filing
- 2015-11-02 JP JP2016569234A patent/JP6729394B2/ja not_active Expired - Fee Related
- 2015-11-02 US US15/539,815 patent/US10176543B2/en active Active
- 2015-11-02 CN CN201580072616.2A patent/CN107113408B/zh not_active Expired - Fee Related
- 2015-11-02 EP EP15877935.5A patent/EP3229468B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
JPWO2016113983A1 (ja) | 2017-10-19 |
WO2016113983A1 (ja) | 2016-07-21 |
EP3229468A4 (en) | 2018-06-13 |
CN107113408B (zh) | 2021-05-11 |
US10176543B2 (en) | 2019-01-08 |
CN107113408A (zh) | 2017-08-29 |
US20170372444A1 (en) | 2017-12-28 |
EP3229468B1 (en) | 2020-03-18 |
EP3229468A1 (en) | 2017-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6729394B2 (ja) | 画像処理装置、画像処理方法、プログラム及びシステム | |
CN108460734B (zh) | 车辆驾驶员辅助模块进行图像呈现的系统和方法 | |
CN104512411B (zh) | 车辆控制系统及图像传感器 | |
EP3264367A2 (en) | Image generating apparatus, image generating method, and recording medium | |
JP4482599B2 (ja) | 車両の周辺監視装置 | |
US9047672B2 (en) | Image generation apparatus, image generation method and image generation program | |
US8767074B2 (en) | System and method of assisting visibility of driver | |
US11715180B1 (en) | Emirror adaptable stitching | |
JP7268001B2 (ja) | 演算処理装置、オブジェクト識別システム、学習方法、自動車、車両用灯具 | |
US20100283845A1 (en) | Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method | |
CN105447838A (zh) | 一种红外与微光/可见光融合成像的方法及系统 | |
KR20200040697A (ko) | 자동차 안전 및 주행 시스템을 위한 셔터리스 원적외선(fir) 카메라 | |
JP6561512B2 (ja) | 視差値導出装置、移動体、ロボット、視差値導出方法、視差値生産方法及びプログラム | |
US20140085473A1 (en) | In-vehicle camera apparatus | |
US11308641B1 (en) | Oncoming car detection using lateral emirror cameras | |
JP2009025910A (ja) | 障害物検出装置、障害物検出システム及び障害物検出方法 | |
CN112465735A (zh) | 行人检测方法、装置及计算机可读存储介质 | |
JP5621558B2 (ja) | 車両用表示装置 | |
JP6561511B2 (ja) | 視差値導出装置、移動体、ロボット、視差値生産導出方法、視差値の生産方法及びプログラム | |
JP2004312402A (ja) | 道路監視システム,道路監視装置 | |
WO2017158829A1 (ja) | 表示制御装置および表示制御方法 | |
Kidono et al. | Visibility estimation under night-time conditions using a multiband camera | |
US9197822B1 (en) | Array augmented parallax image enhancement system and method | |
JP5218634B2 (ja) | 擬似濃淡画像生成装置及びプログラム | |
CN112241935B (zh) | 图像处理方法、装置及设备、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180904 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190208 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190214 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190222 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190515 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191112 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200602 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200615 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6729394 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |