JP7188397B2 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP7188397B2
JP7188397B2 JP2019558007A JP2019558007A JP7188397B2 JP 7188397 B2 JP7188397 B2 JP 7188397B2 JP 2019558007 A JP2019558007 A JP 2019558007A JP 2019558007 A JP2019558007 A JP 2019558007A JP 7188397 B2 JP7188397 B2 JP 7188397B2
Authority
JP
Japan
Prior art keywords
image
visible light
far
unit
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019558007A
Other languages
English (en)
Other versions
JPWO2019111464A1 (ja
Inventor
竜太 佐藤
卓 青木
厚史 伊藤
丈士 上森
秀紀 小柳津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019111464A1 publication Critical patent/JPWO2019111464A1/ja
Application granted granted Critical
Publication of JP7188397B2 publication Critical patent/JP7188397B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Description

本明細書で開示する技術は、遠赤外線画像を処理する画像処理装置及び画像処理方法に関する。
近年、自動車運転技術の開発が盛んに行われてきている。例えば、可視光カメラや距離センサなどを用いて、自車前方の人や障害物を検出して、自動ブレーキをさせるなど障害物を回避する技術が開発されている。もちろん、自車の側方や後方の人や障害物も、同様の技術を適用して、自車との衝突可能性を推定することができる。
また、昼夜を問わず、交通事故を防ぐ必要がある。このため、可視光カメラと遠赤外線カメラを装備したハイブリッドカメラ（例えば、特許文献１を参照のこと）などが使用されることもある。ハイブリッドカメラは、昼夜、明暗などの撮影環境に応じて、可視光カメラと遠赤外線カメラを切り替えて用いることができる。遠赤外線カメラを用いれば、例えば１０マイクロメートル付近の長波長で熱の情報を多く含む遠赤外線画像を撮影して、人の体温に近い温度領域を抽出することができる。
特開２００９－１０４４７号公報 特開２００５－２２３６０５号公報
本明細書で開示する技術の目的は、遠赤外線画像を処理する画像処理装置及び画像処理方法を提供することにある。
本明細書で開示する技術の第１の側面は、
可視光カメラで撮影した可視光画像内の注目領域を抽出する領域抽出部と、
前記可視光カメラと同一の対象を観測する赤外線カメラで撮影した赤外線画像の前記注目領域の画像をモーダル画像に変換するモーダル変換部と、
前記可視光画像の注目領域に前記モーダル画像を重畳した提示画像を生成する重畳部と、
を具備する画像処理装置である。
前記モーダル変換部は、人間が見慣れている情報モーダルからなるモーダル画像に変換する。前記モーダル変換部は、前記注目領域の遠赤外線画像を、遠赤外線画像と可視光画像とのペアをあらかじめ登録したデータベースや、遠赤外線画像を条件とした可視光画像生成の条件付き確率分布に基づいて、遠赤外線画像のモーダル画像への変換処理を実施する。
また、本明細書で開示する技術の第２の側面は、
可視光カメラで撮影した可視光画像内の注目領域を抽出する領域抽出ステップと、
前記可視光カメラと同一の対象を観測する赤外線カメラで撮影した赤外線画像の前記注目領域の画像をモーダル画像に変換するモーダル変換ステップと、
前記可視光画像の注目領域に前記モーダル画像を重畳した提示画像を生成する重畳ステップと、
を有する画像処理方法である。
本明細書で開示する技術によれば、遠赤外線画像を処理する画像処理装置及び画像処理方法を提供することができる。
なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図１は、車両制御システム１００の概略的な機能の構成例を示すブロック図である。 図２は、画像処理装置２００の機能的構成を示した図である。 図３は、可視光カメラで撮影した可視光画像を例示した図である。 図４は、可視光カメラと同一の対象を観測する赤外線カメラで撮影した赤外線画像を例示した図である。 図５は、図４に示した遠赤外線画像から抽出された注目領域を例示した図である。 図６は、可視光画像のすべてに注目領域にモーダル画像を重畳した提示画像を例示した図である。 図７は、可視光画像の暗所にある注目領域にモーダル画像を重畳した提示画像を例示した図である。 図８は、実際の遠赤外線画像と、その遠赤外線画像から抽出された注目領域を例示した図である。 図９は、図８に示した注目領域の遠赤外線画像と、この注目領域の遠赤外線画像をモーダル変換したモーダル画像を例示した図である。 図１０は、可視光画像中の注目領域に、遠赤外線画像からモーダル変換したモーダル画像を重畳した結果を例示した図である。 図１１は、遠赤外線画像の一例を示した図である。 図１２は、図１１と同一の対象を観測した可視光画像を示した図である。 図１３は、図１２に示した可視光画像（暗所）から抽出された領域を輝度ヒストグラムとともに示した図である。 図１４は、図１２に示した可視光画像（明所）から抽出された領域を輝度ヒストグラムとともに示した図である。 図１５は、注目領域（暗所のみ）の遠赤外線画像をモーダル変換して生成されるモーダル画像を例示した図である。 図１６は、図１２に例示した可視光画像の注目領域（暗所のみ）にモーダル画像１６０１を重畳して生成された提示画像を例示した図である。 図１７は、モーダル画像を明示する枠線を付けた提示画像を例示した図である。 図１８は、条件付き確率分布を利用した画像のモーダル変換方法を説明するための図である。 図１９は、条件付き確率分布を利用した画像のモーダル変換方法を説明するための図である。 図２０は、画像処理装置２０００の機能的構成を示した図である。 図２１は、可視光画像内の注目領域にモーダル画像を重畳した提示画像を生成するための処理手順を示したフローチャートである。
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
図１は、本技術が適用され得る移動体制御システムの一例である車両制御システム１００の概略的な機能の構成例を示すブロック図である。
なお、以下、車両制御システム１００が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。
車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。
データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。
例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）、ソナー等からなる。
さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である
例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、又は、ＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、又は、ＭＨＬ（Ｍｏｂｉｌｅ Ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ Ｌｉｎｋ）等により、車内機器１０４と有線通信を行う。
さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Ｐｅｅｒ Ｔｏ Ｐｅｅｒ）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Ｍａｃｈｉｎｅ Ｔｙｐｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Ｖｅｈｉｃｌｅ ｔｏ Ｖｅｈｉｃｌｅ）通信、路車間（Ｖｅｈｉｃｌｅ ｔｏ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）通信、自車と家との間（Ｖｅｈｉｃｌｅ ｔｏ Ｈｏｍｅ）の通信、及び、歩車間（Ｖｅｈｉｃｌｅ ｔｏ Ｐｅｄｅｓｔｒｉａｎ）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Ａｎｔｉｌｏｃｋ Ｂｒａｋｅ Ｓｙｓｔｅｍ）、ＥＳＣ（Ｅｌｅｃｔｒｏｎｉｃ Ｓｔａｂｉｌｉｔｙ Ｃｏｎｔｒｏｌ）、並びに、電動パワーステアリング装置等を備える。
ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。
記憶部１１１は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。
検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。
車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。
マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Ｏｃｃｕｐａｎｃｙ Ｇｒｉｄ Ｍａｐ）とされる。
認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。
状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する
動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。
動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。
緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。
加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
本実施形態に係る車両制御システム１００は、自車前方の人や障害物を自動検出して事故防止につなげるために、カメラや距離センサなどが搭載されている。具体的には、車両制御システム１００のデータ取得部１０２の構成要素として、可視光カメラと遠赤外線カメラが組み込まれている。１台の車両に複数台の可視光カメラ及び遠赤外線カメラが搭載されている場合もある。少なくとも一組（例えば、車両の前方観測用）の可視光カメラと遠赤外線カメラは、同一の対象を観測するように設置されるものとする。
可視光カメラと組み合わせて遠赤外線カメラを用いれば、例えば１０マイクロメートル付近の長波長で熱の情報を多く含む遠赤外線画像を撮影して、人の体温に近い温度領域を抽出することができる。したがって、暗所などの可視光では見え難い場所でも、遠赤外線画像から人などの障害物を検出することができる。
しかしながら、遠赤外線カメラは、可視光カメラとは光学特性が本質的に相違するため、遠赤外線カメラで撮影する遠赤外線画像をそのまま表示すると、観察者（例えば、車両のドライバ）に違和感を与えることが懸念される。可視光カメラで撮影した可視光画像が通常はカラー画像として表示されるのに対し、遠赤外線カメラで撮影した遠赤外線画像はモノクロ画像として表示されるが、多くの観察者にとってモノクロ画像はなじみが薄い。また、遠赤外線画像は、光の強弱ではなく被写体の温度レベルを濃淡で表現した画像であることから、観察者は、モノクロの可視光画像よりも、遠赤外線画像に対してさらに違和感を覚えるであろう。
例えば、可視光カメラで撮影した可視光画像と、赤外線カメラで撮影した赤外線画像とを合成して、違和感のない画像を表示することを試みた画像処理装置について提案がなされている（例えば、特許文献２を参照のこと）。赤外線画像を可視光画像と合成すれば、元の赤外線画像よりも視認性が向上することが期待される。しかしながら、合成画像は可視光画像そのものではなく、可視光画像のように読み取ることは難しい。また、この画像処理装置は、車両の周囲の明るさの状況に応じて各々の重み係数を切り替えて赤外線画像と可視光画像を加重平均するように構成されているが、夜間のような暗い状況下やトンネルなどの暗所で撮影した可視光画像はそもそも視認性が低い。このため、このような可視光画像を赤外線画像と合成しても、赤外線画像の視認性向上にはつながらないものと思料される。
そこで、本明細書では、遠赤外線画像に含まれる人体などの注目領域を、人間が見慣れている情報モーダルからなるモーダル画像に変換し、このモーダル画像を可視光画像に重畳することによって、注目領域の視認性を向上する画像処理装置について、以下で開示する。
図２には、本明細書で開示する技術を適用した画像処理装置２００の機能的構成を模式的に示している。画像処理装置２００は、図１に示した車両制御システム１００内に、例えば自動運転制御部１１２の一構成要素として組み込むことも可能である。
図示の画像処理装置２００には、遠赤外線カメラ２１１で撮影した遠赤外線画像と、可視光カメラ２１２で撮影した可視光カメラが入力される。なお、遠赤外線カメラ２１１と可視光カメラ２１２は、車両に搭載されている。基本的には、遠赤外線カメラ２１１と可視光カメラ２１２は、同一の対象を観測するように設置されているものとする。また、画像処理装置２００も車両に搭載して用いられることが想定される。図２に示す例では、遠赤外線カメラ２１１と可視光カメラ２１２は画像処理装置２００に外部接続されるが、遠赤外線カメラ２１１と可視光カメラ２１２のうち少なくとも一方のカメラが画像処理装置２００と一体となった装置構成も想定される。また、遠赤外線カメラ２１１と可視光カメラ２１２は、図１に示した車両制御システム１００のデータ取得部１０２の構成要素として組み込まれることが想定される。
画像処理装置２００は、領域抽出部２０１と、モーダル変換部２０２と、重畳部２０３を備え、遠赤外線カメラ２１１で撮影した遠赤外線画像を入力して、遠赤外線画像に含まれる人体などの注目領域を、人間が見慣れている情報モーダルからなるモーダル画像に変換する。
領域抽出部２０１は、遠赤外線カメラ２１１で撮影した遠赤外線画像、若しくは可視光カメラ２１２で撮影した可視光画像に含まれる注目領域を抽出する。ここで言う注目領域とは、例えば夜間やトンネル内のような暗所など、可視光では視認することが難しい場所を歩いている歩行者が映っている画像領域である。
領域抽出部２０１の構成は任意である。例えば、領域抽出部２０１は、遠赤外線カメラ２１１で撮影した遠赤外線画像から人体などの特定の対象の特徴を表す温度範囲内の値の画素からなる特定温度領域を、注目領域として抽出することができる。
また、領域抽出部２０１は、ミリ波レーダ、ＬｉＤＡＲ、超音波センサなどの距離センサにより検出される物体の位置情報に基づいて、注目領域を抽出するように構成することもできる。あるいは、領域抽出部２０１は、遠赤外線カメラ２１１で撮影した遠赤外線画像及び可視光カメラ２１２で撮影した可視光画像の各画像からそれぞれ特徴量を抽出し、特徴量に基づいて注目領域を抽出するように構成することもできる。
モーダル変換部２０２は、遠赤外線カメラ２１１で撮影した遠赤外線画像を入力して、領域抽出部２０１で抽出された注目領域の部分を、人間が見慣れている情報モーダルからなるモーダル画像に変換して出力する。遠赤外線画像のモーダル変換処理の詳細については、後述に譲る。
そして、重畳部２０３は、可視光カメラ２１２で撮影した可視光画像を入力して、領域抽出部２０１で抽出された注目領域の部分に、モーダル変換部２０２から出力されるモーダル画像を重畳して、人（車両のドライバなど）に提示すべき提示画像として出力する。
ここで、重畳部２０３が行う画像の重畳処理は、可視光画像のうち注目領域の部分をモーダル画像で完全に置き換える置換処理と、注目領域の部分の可視光画像とモーダル画像とを所定の混合比で加重平均するなどの合成処理の両方の意味を含むものとする。
なお、重畳部２０３が後者の２画像の合成処理を行う場合には、注目領域における可視光画像の視認性などに応じて可視光画像とモーダル画像の混合比を決定若しくは制御するようにしてもよい。例えば、注目領域における可視光画像の輝度変化が大きく視認性が高いと推定される場合には、モーダル画像の混合比を低く抑制する一方、注目領域における可視光画像の輝度変化が小さく視認性が低いと推定される場合には、モーダル画像の混合比を高く設定する。
画像処理装置２００から出力される提示画像は、例えば図１に示した車両制御システム１００が出力部１０６として装備する表示装置やインストルメントパネル、搭乗者が装着する眼鏡型ディスプレイ、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ表示機能を有する装置などの運転者の視野内に視覚情報を表示する装置に表示される。例えば、遠赤外線画像と同一の対象を観測する可視光画像にモーダル画像を重畳するのではなく、ヘッドアップディスプレイを用いて、フロントガラス上の注目領域に対応する場所にモーダル画像を表示して、ドライバの注意を喚起するようにしてもよい。
領域抽出部２０１の構成は任意である。例えば、領域抽出部２０１は、遠赤外線カメラ２１１で撮影した遠赤外線画像から人体などの特定の対象の特徴を表す温度範囲内の値の画素からなる特定温度領域を、注目領域として抽出することができる。
図３には、トンネルの出口付近を可視光カメラ２１２で撮影した可視光画像の例を示している。また、図４には、同じトンネルの出口付近を遠赤外線カメラ２１１で撮影した遠赤外線画像の例を示している。上述したように、遠赤外線カメラ２１１と可視光カメラ２１２は、同一の対象を観測するように設置されているものとする。
図３を参照すると、トンネルから出た明所を歩いている歩行者は可視光画像に鮮明に映っており、視認性が高く、存在も状況も分かり易い。他方、トンネル内の暗所を歩いている歩行者は、可視光画像では視認性が低く、存在も状況も極めて分かり難い。
これに対し、図４を参照すると、トンネルから出た明所及びトンネル内の暗所のいずれを歩いている歩行者もすべて存在を確認することが容易である。但し、遠赤外線画像は、光の強弱ではなく被写体の温度レベルを濃淡で表現したモノクロ画像であり、カラー表示される可視光画像を見慣れている人にとっては馴染みがない。このため、遠赤外線画像から確認できた対象の属性（人なのか、どのような物体なのか）や状況を把握するのは難しい。また、赤外線画像は、通常のモノクロ可視光画像よりも対象を理解することは難しいということもできる。
領域抽出部２０１は、遠赤外線カメラ２１１で撮影した遠赤外線画像から人体などの特定の対象の特徴を表す温度範囲内の値の画素からなる特定温度領域を、注目領域として抽出することができる。図５には、図４に示した遠赤外線画像から、参照番号５０１～５０５で示す、人体の特徴を表す特定温度領域として抽出される注目領域を示している。但し、ミリ波レーダ、ＬｉＤＡＲ、超音波センサなどにより検出される物体の位置情報に基づいても、同様の注目領域５０１～５０５を抽出することができるものと理解されたい。
抽出された注目領域５０１～５０５のうち、注目領域５０１及び５０２内の各歩行者は、トンネル内の暗所を歩いているため、可視光画像では視認性が低く、存在も状況も極めて分かり難い（図３を参照のこと）。他方、注目領域５０３～５０５内の各歩行者は、トンネルから出た明所を歩いているので、可視光画像に鮮明に映っており、視認性が高く、且つ、存在も状況も分かり易い。
図６には、可視光画像のうち、人体の特徴を表す特定温度領域として抽出されたすべての注目領域５０１～５０５に、モーダル変換部２０２で遠赤外線画像から変換したモーダル画像を重畳して生成された提示画像を例示している。
注目領域５０１及び５０２内の各歩行者は、トンネル内の暗所を歩いているため、可視光画像では視認性が低く、存在も状況も極めて分かり難かった（図３を参照のこと）。そこで、注目領域５０１及び５０２に、モーダル変換部２０２で遠赤外線画像から変換したモーダル画像６０１及び６０２を重畳することによって、視認性が向上し、各モーダル画像６０１及び６０２内の人体の存在や状況が、可視光画像及び遠赤外線画像のいずれを見たときよりも分かり易くなる。
他方、注目領域５０３～５０５内の各歩行者は、トンネルの出口付近やトンネル外の明所を歩いているので、可視光画像に鮮明に映っており、そもそも可視光のままでも視認性が高く、注目領域５０３～５０５内の人体の存在や状況も十分分かり易かった。これに対し、図６に示すように、注目領域５０３～５０５に対して、モーダル変換部２０２で遠赤外線画像から変換したモーダル画像６０３～６０５を重畳すると、むしろ元の可視光画像よりも視認性が低下してしまい、モーダル領域６０３～６０５内の人体の存在や状況も分かり難くなってしまう。モーダル画像は、人間が見慣れている情報モーダルからなり、遠赤外線画像と比較すれば視認性がよいが、テクスチャなどの可視光画像が持つ情報を完全に再現できる訳ではないため、可視光画像よりも視認性は劣る。
したがって、トンネル内など暗所から抽出された注目領域５０１及び５０２についてはモーダル画像を重畳した方がよいが、トンネルの外などの明所から抽出された注目領域５０３～５０５についてはモーダル画像を重畳することを差し控えた方がよい、ということができる。
そこで、重畳部２０３は、領域抽出部２０１で抽出された注目領域における可視光画像の視認性をチェックして、暗所などの視認性の低い注目領域についてのみ、モーダル画像の重畳処理を実施するようにした方がよい。
あるいは、領域抽出部２０１は、遠赤外線画像から人体などの特定の対象の特徴を表す温度範囲内の値の画素からなる特定温度領域（若しくは、距離センサの検出結果に基づいて物体が検出された領域）に対応する可視光画像の領域視認性をチェックして、暗所などの視認性の低い領域のみを注目領域として抽出するようにした方がよい。この場合、重畳部２０３は、領域抽出部２０１が抽出したすべての注目領域にモーダル画像を重畳処理すればよい。
図７には、暗所などの視認性の低い領域から抽出された注目領域に限定して、可視光画像にモーダル画像を重畳して生成された提示画像を例示している。
注目領域５０１及び５０２内の各歩行者は、トンネル内の暗所を歩いているため、可視光画像では視認性が低く、存在も状況も極めて分かり難かった（図３を参照のこと）。そこで、可視光画像の注目領域６０１及び６０２に、モーダル変換部２０２で遠赤外線画像から変換したモーダル画像７０１及び７０２をそれぞれ重畳することによって、視認性が向上し、各モーダル画像７０１及び７０２内の人体の存在や状況が、可視光画像及び遠赤外線画像のいずれを見たときよりも分かり易くなる。
他方、参照番号７０３～７０５で示す各歩行者は、トンネルの出口付近やトンネル外の明所を歩いているので、可視光画像に鮮明に映っており、そもそも可視光のままでも視認性が高い。したがって、図７に示すように、これらの歩行者７０３～７０５が検出された領域にはモーダル画像を重畳しないことにより、可視光画像が本来持っているテクスチャなどの情報が保たれるので、視認性が損なわれずに済む。
このように、重畳部２０３が暗所などの視認性の低い領域から抽出された注目領域においてモーダル画像を重畳することにより、可視光画像のままで見易い領域はそのままに、可視光画像では見難いところを見易くすることができる訳である。
なお、図７中で、各注目領域７０１及び７０２につけた点線の枠は、理解を容易にするために付けたものであり、現実の提示画像に表示する必要は必ずしもない。但し、提示画像の観察者（ドライバなど）がモーダル画像を重畳した場所を目視で確認し易くするために、図７に示す通りのままに注目領域の枠を表示するようにしてもよい。
例えば、重畳部２０３は、モーダル画像を、可視光画像の注目領域に重畳する際に、モーダル画像の周辺に枠を付けるようにすればよい。あるいは、モーダル変換部２０２が、遠赤外線画像の注目領域をモーダル変換したモーダル画像に枠を付けて、重畳部２０３に出力するようにしてもよい。あるいは、モーダル画像を重畳した場所を表示するために、アイコンやマーカーなど枠以外の視覚的表示をモーダル画像付近に付けるようにしてもよい。
図８には、実際の遠赤外線画像と、その遠赤外線画像から抽出された注目領域を例示している。図８左が元の遠赤外線画像である。そして、図８右に示す遠赤外線画像中で、参照番号８０１で示す、白線の枠で囲われた領域が注目領域に相当する。図示の例では、人体（トンネル内を歩いている歩行者）を含む領域が注目領域８０１として抽出されている。但し、人体以外の任意の物体を含む領域を注目領域として抽出できるように、画像処理装置２００を構成することは可能である。
また、図９には、図８に示した注目領域の遠赤外線画像と、この注目領域の遠赤外線画像をモーダル変換したモーダル画像を例示している。図９左が元の遠赤外線画像からなる注目領域であり、図９右がモーダル変換した後の注目領域のモーダル画像である。
遠赤外線画像は、可視光画像に含まれているテクスチャなどの情報が失われたモノクロ画像である。遠赤外線画像をモーダル変換することにより、物体表面のテクスチャ、物体の輪郭や姿勢などの情報をある程度再現することができる。したがって、モーダル画像は、遠赤外線画像よりも視認性が向上されていることが期待される。但し、モーダル変換により、可視光画像に含まれているテクスチャなどの情報を完全に再現することはできないので、モーダル画像は可視光画像に比べると視認性が劣る。なお、画像のモーダル変換処理の詳細については後述に譲る。
そして、図１０には、可視光画像中の注目領域に、遠赤外線画像からモーダル変換したモーダル画像を重畳した結果を例示している。図１０左は、図８右で示した遠赤外線画像と同一の対象を観測した、元の可視光画像を示している。そして、図１０右は、この可視光画像中の、図８左に参照番号８０１で示した注目領域に、図９右に示したような、遠赤外線画像からモーダル変換したモーダル画像を重畳した提示画像を示している。但し、図１０は、可視光画像の注目領域に所定の混合比でモーダル画像を合成するのではなく、注目領域の可視光画像をモーダル画像に置換した例を示している。
トンネル内などの暗所では可視光が見え難い。図１０左からも分かるように、トンネル内を歩いている歩行者を、可視光画像から視認するのは難しい。また、遠赤外線画像は、例えば１０マイクロメートル付近の長波長で熱の情報を多く含む画像であり、図８左からも分かるように、トンネル内などの可視光が見え難い暗所に特定の温度領域からなる対象が存在することを確認することができる。しかしながら、遠赤外線画像は、可視光画像に含まれているテクスチャなどの情報が失われたモノクロ画像であるため、トンネル内の特定の温度領域からなる対象の存在を確認することはできても、その対象の属性や状況は分かり難い。すなわち、その対象が人体であることや、人体が歩いている状況であることを、遠赤外線画像を目視だけで把握するのは難しい。
モーダル画像は、テクスチャなどの情報がある程度再現された画像である。したがって、図１０右に示すように、可視光では見え難かった暗所の注目領域内に、対象が存在することを確認するのが容易になる。また、可視光画像中の注目領域を、遠赤外線画像ではなく、遠赤外線画像からモーダル変換したモーダル画像を重畳するので、観察者（例えば、車両のドライバ）は、赤外線画像を観察する場合や暗所を撮影した可視光画像を観察する場合よりも、注目領域に存在している対象の属性や状況をはるかに認識し易くなる。遠赤外線画像をモーダル変換することにより、物体表面のテクスチャ、物体の輪郭や姿勢などの情報をある程度再現するので、遠赤外線画像よりも視認性が向上されていることが期待される。
続いて、領域抽出部２０１が注目領域を抽出するための処理方法について、さらに詳細に説明する。ここでは、遠赤外線画像から人体などの特定の対象の特徴を表す温度範囲内の値の画素からなる特定温度領域を注目領域として抽出する場合を例とする。
図１１には、遠赤外線カメラ２１１で撮影した遠赤外線画像の一例を示している。また、図１２には、遠赤外線カメラ２１１と同一の対象を観測する可視光カメラ２１２で撮影した可視光画像を例示している。図１１に示すように、遠赤外線画像から、人体などの特定の対象の特徴を表す温度範囲内の値の画素からなる特定温度領域１１０１～１１０４を抽出することができる。また、図１２には、遠赤外線画像から抽出された各領域１１０１～１１０４にそれぞれ対応する領域１２０１～１２０４を示している。
図１２に示した可視光画像中の、領域１２０３及び１２０４はトンネルの出口付近並びにトンネルの外の明所にあるので、各領域１２０３及び１２０４内に映っている歩行者は鮮明に映っており、視認性が高く、存在も状況も分かり易い。他方、領域１２０１及び１２０２はトンネル内の暗所にあるので、その領域１２０１及び１２０２内に映っている歩行者の視認性は低く、存在も状況も極めて分かり難い。
これに対し、図１１に示した遠赤外線画像中の、トンネルから出た明所及びトンネル内の暗所のいずれかにかかわらず、すべての領域１１０１～１１０４内に映っている対象の存在を確認することが容易である。但し、遠赤外線画像は、光の強弱ではなく被写体の温度レベルを濃淡で表現したモノクロ画像であり、カラー表示される可視光画像を見慣れている人にとっては馴染みがない。このため、明所及び暗所のいずれにおいても、遠赤外線画像の各領域１１０１～１１０４内から存在を確認することができた対象の属性や状況を把握することは難しい（すなわち、対象が人であることや、人が歩いていることを視認するのは難しい）。
図１３には、遠赤外線画像から抽出された領域１１０１に対応する、可視光画像中の領域１２０１を拡大して示すとともに、領域１２０１内の画素の輝度ヒストグラムを併せて示している。図１１と図１２を比較して分かるように、領域１１０１は、可視光画像中の暗所に相当する領域である。したがって、図１３右に示す輝度ヒストグラムは、輝度レベルが低い領域において高い分布を示している（但し、横軸が輝度値であり、縦軸が輝度毎の画素数である）。
また、図１４には、遠赤外線画像から抽出された領域１１０４に対応する、可視光画像中の領域１２０４を拡大して示すとともに、領域１２０４内の画素の輝度ヒストグラムを併せて示している。図１１と図１２を比較して分かるように、領域１１０４は、可視光画像中の明所に相当する領域である。したがって、図１４右に示すように、広い輝度レベルわたって画素が分布している（但し、横軸が輝度値であり、縦軸が輝度毎の画素数である）。
図１３及び図１４から分かるように、可視光画像の領域毎の画素の輝度ヒストグラムを比較することによって、暗所又は明所のいずれであるかを判別することができる。例えば、領域毎の輝度ヒストグラムの中間値を所定の閾値と比較して、注目領域にすべきか否かを判別するようにすればよい。輝度ヒストグラムの中間値が閾値未満となる領域は、暗所に相当するので、注目領域と判別すればよい。逆に、輝度ヒストグラムの中間値が閾値以上となる領域は、明所に相当するので、注目領域でないと判別すればよい。もちろん、他の方法によって各領域が暗所又は明所のいずれであるかを判別するようにしてもよい。
既に述べたように、暗所から抽出された注目領域についてはモーダル画像を重畳した方がよいが、明所から抽出された注目領域についてはモーダル画像を重畳することを差し控えた方がよい。したがって、重畳部２０３は、領域抽出部２０１で抽出された注目領域内の画素の輝度ヒストグラムに基づいて、当該領域が暗所又は明所のいずれであるかを判別して、暗所の注目領域についてのみ、モーダル画像の重畳処理を実施する。もちろん、重畳部２０３は、注目領域内の画素の輝度ヒストグラム以外の指標に基づいて、当該領域が暗所又は明所のいずれであるかを判別するようにしてもよい。
あるいは、（重畳部２０３ではなく）領域抽出部２０１は、遠赤外線画像から人体などの特定の対象の特徴を表す温度範囲内の値の画素からなる特定温度領域に対応する可視光画像の各領域の画素の輝度ヒストグラムに基づいて当該領域が暗所又は明所のいずれであるかを判別して、暗所の領域のみを注目領域として抽出するようにしてもよい。この場合、重畳部２０３は、領域抽出部２０１が抽出したすべての注目領域にモーダル画像を重畳処理すればよい。もちろん、領域抽出部２０１は、領域内の画素の輝度ヒストグラム以外の指標に基づいて、当該領域が暗所又は明所のいずれであるかを判別するようにしてもよい。
図１１に例示した遠赤外線画像からは、トンネル内の暗所に存在する領域１１０１が、注目領域として抽出される。図１５には、注目領域１１０１の遠赤外線画像をモーダル変換して生成されるモーダル画像１５０１を例示している。
また、図１６には、図１２に例示した可視光画像の注目領域１２０１～１２０３に対してそれぞれに対応するモーダル画像１６０１～１６０３を重畳して生成された提示画像１６００を例示している。図１２に示した可視光画像内の領域１２０１～１２０４のうち領域１２０４は、領域内の画素の輝度ヒストグラムなどに基づいて、暗所でない、すなわち注目領域でないと判別されるので、その判別結果に基づいてモーダル画像が重畳されることはない。
注目領域１２０１～１２０３内の歩行者は、トンネル内の暗所を歩いているため、可視光画像では視認性が低く、存在も状況も極めて分かり難い（図１２を参照のこと）。そこで、可視光画像の注目領域１２０１～１２０３に、モーダル変換部２０２で遠赤外線画像から変換したモーダル画像１６０１～１６０３を重畳することによって、視認性が向上する。図１６から分かるように、提示画像１６００では、モーダル画像１６０１～１６０３内の人体の存在や状況は、図１２に示した可視光画像内の各領域１２０１～１２０３及び図１１に示した遠赤外線画像内の領域１１０１～１１０３のいずれを見たときよりも分かり易くなる。
他方、図１２に示した可視光画像中の、参照番号１２０４で示す各領域内の歩行者は、トンネル外の明所を歩いているので、可視光画像に鮮明に映っており、そもそも可視光のままでも視認性が高い。したがって、領域１２０４にはモーダル画像を重畳しないことにより、図１６に示すように、提示画像１６００は、可視光画像が本来持っているテクスチャなどの情報を保つことができ、視認性を損なわずに済む。
また、図１７には、モーダル画像を重畳した領域に、各注目領域であることを示す枠１７０１～１７０３をそれぞれ表示した提示画像１７００を例示している。提示画像１７００中の注目領域に枠１７０１～１７０３を付けることにより、観察者（例えば、車両のドライバ）に対して、その領域に人などの障害物が存在することを明示して、注意を喚起することができる。あるいは、モーダル画像を重畳した場所を表示するために、アイコンやマーカーなど枠以外の視覚的表示をモーダル画像付近に付けるようにしてもよい。
続いて、モーダル変換部２０２が遠赤外線画像をモーダル画像に変換する処理方法について、さらに詳細に説明する。
本明細書で言う、モーダル変換とは画像のモーダル（様式）を変換する処理のことであり、より具体的には、遠赤外線画像を可視光画像に変換する。遠赤外線画像をモーダル変換することにより、遠赤外線画像では失われている物体表面のテクスチャ、物体の輪郭や姿勢などの情報をある程度再現して、同一の対象を観測した可視光画像により近い視認性を得ることを目指す。
モーダル変換の１つの方法として、モーダル変換データベースを利用する方法を挙げることができる。ここで言うモーダル変換データベースとは、遠赤外線画像と可視光画像とのペアをあらかじめ登録しておくデータベースである。
モーダル変換部２０２は、注目領域の遠赤外線画像を入力すると、テンプレートマッチングなどにより類似している遠赤外線画像をモーダル変換データベース内で探索し、選択された遠赤外線画像とペアとなっている可視光画像をモーダル画像として出力する。事前処理として厖大量の遠赤外線画像と可視光画像とのペアを事前にモーダル変換データベースに登録しておくことで、モーダル変換部２０２は、より尤もらしい可視光画像にモーダル変換することが可能になる。
また、モーダル変換の他の方法として、学習を利用する方法を挙げることができる。例えば、まず事前処理として、遠赤外線画像を条件とした可視光画像生成（すなわち、可視光画像が起こる条件下での遠赤外線画像の確率）の条件付き確率分布の学習を実施する。学習には、例えばａｕｔｏ ｅｎｃｏｄｅｒ（自己符号化器）やＣｏｎｄｉｔｉｏｎａｌ Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ（条件付き敵対的生成ネットワーク）を適用することができる。
例えば、図１８（Ａ）に示すような可視光画像（ＲＧＢ）が起こる条件下での、図１８（Ｂ）に示すような遠赤外線画像（ＦＩＲ）が起こる確率が事前に学習される。学習により、例えば図１８（Ｃ）に示すような条件付き確率分布（ｐ（ＲＧＢ｜ＦＩＲ））の曲線が得られたとする。
そして、モーダル変換部２０２は、領域抽出部２０１から入力された遠赤外線画像（ＦＩＲ）を条件として、事前に学習した上記の条件付き確率分布（ｐ（ＲＧＢ｜ＦＩＲ））から、より尤もらしい可視光画像（ＲＧＢ）をサンプリングする（図１９を参照のこと）。そして、サンプリングされた可視光画像（ＲＧＢ）をモーダル画像として重畳部２０３に出力する。
図２０には、他の画像処理装置２０００の機能的構成を模式的に示している。画像処理装置２０００は、図２に示した画像処理装置２００と同様に、暗所などの可視光画像では視認性が低い注目領域に遠赤外線画像からモーダル変換したモーダル画像を重畳して、視認性を向上させる機能を備えている。画像処理装置２００との主な相違点は、画像処理装置２０００が、遠赤外線画像及び可視光画像の物体検出結果に基づいて注目領域を抽出する点にある。
図示の画像処理装置２０００は、図１に示した車両制御システム１００内に、例えば自動運転制御部１１２の一構成要素として組み込むことも可能である。また、画像処理装置２０００には、遠赤外線カメラ２０１１で撮影した遠赤外線画像と、可視光カメラ２０１２で撮影した可視光カメラが入力される。遠赤外線カメラ２０１１と可視光カメラ２０１２は、車両に搭載されている。
基本的には、遠赤外線カメラ２０１１と可視光カメラ２０１２は、同一の対象を観測するように設置されているものとする。また、画像処理装置２０００も車両に搭載して用いられることが想定される。図２０に示す例では、遠赤外線カメラ２０１１と可視光カメラ２０１２は画像処理装置２０００に外部接続されるが、遠赤外線カメラ２０１１と可視光カメラ２０１２のうち少なくとも一方のカメラが画像処理装置２０００と一体となった装置構成も想定される。また、遠赤外線カメラ２０１１と可視光カメラ２０１２は、図１に示した車両制御システム１００のデータ取得部１０２の構成要素として組み込まれることが想定される。
物体検出部２００１は、遠赤外線カメラ２０１１で撮影した遠赤外線画像から特徴量を抽出して、遠赤外線画像に映り込んだ物体を検出するとともに、可視光カメラ２０１２で撮影した可視光画像から特徴量を抽出して、可視光画像に映り込んだ物体を検出する。
注目領域判別部２００２は、物体検出部２００１が遠赤外線画像及び可視光画像の各々から検出した物体を含む領域が注目領域であるかどうかを判別する。例えば、注目領域判別部２００２は、遠赤外線画像には映っているが、可視光画像には映っていない物体を含む領域を注目領域と判別する。
モーダル変換部２００３は、遠赤外線カメラ２０１１で撮影した遠赤外線画像を入力して、注目領域判別部２００２で判別された注目領域の部分を、人間が見慣れている情報モーダルからなるモーダル画像に変換して出力する。
そして、重畳部２００４は、可視光カメラ２０１２で撮影した可視光画像を入力して、注目領域判別部２００２で判別された注目領域の部分に、モーダル変換部２００３から出力されるモーダル画像を重畳して、人（車両のドライバなど）に提示すべき提示画像として出力する。
画像処理装置２０００から出力される提示画像は、例えば図１に示した車両制御システム１００が出力部１０６として装備する表示装置やインストルメントパネル、搭乗者が装着する眼鏡型ディスプレイ、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ表示機能を有する装置などの運転者の視野内に視覚情報を表示する装置に表示される。例えば、遠赤外線画像と同一の対象を観測する可視光画像にモーダル画像を重畳するのではなく、ヘッドアップディスプレイを用いて、フロントガラス上の注目領域に対応する場所にモーダル画像を表示して、ドライバの注意を喚起するようにしてもよい。
図２１には、図２に示した画像処理装置２００若しくは図２０に示した画像処理装置２０００において、可視光画像内の注目領域にモーダル画像を重畳して、提示画像を生成するための処理手順をフローチャートの形式で示している。
まず、対象とする物体を含む領域を可視光画像から検出する物体検出処理が実施される（ステップＳ２１０１）。この物体検出処理は、画像処理装置２００では領域抽出部２０１により実施され、画像処理装置２０００では物体検出部２００１により実施される。
次いで、ステップＳ２１０２～Ｓ２１０４で構成される反復処理では、ステップＳ２１０１で検出されたすべての物体について、物体を含む領域が注目領域であるかどうかを判別する注目領域域判別処理が、繰り返し実施される（ステップＳ２１０３）。
ステップＳ２１０３の注目領域判別処理は、画像処理装置２００では領域抽出部２０１又は重畳部２０３により実施され、画像処理装置２０００では注目領域判別部２００２により実施される。
そして、上記ステップＳ２１０２～２１０４で構成される反復処理を通じて得た注目領域の情報を取得すると（ステップＳ２１０５）、続くステップＳ２１０６～Ｓ２１０９では、すべての注目領域に対して、注目領域の遠赤外線画像をモーダル画像に変換するモーダル変換処理と（ステップＳ２１０７）、可視光画像の注目領域にモーダル画像を重畳する重畳処理（ステップＳ２１０８）が、繰り返し実施される。
ステップＳ２１０７のモーダル変換処理は、画像処理装置２００ではモーダル変換部２０２により実施され、画像処理装置２０００ではモーダル変換部２００３により実施される。また、ステップＳ２１０８の重畳処理は、画像処理装置２００では重畳部２０３により実施され、画像処理装置２０００では重畳部２００４により実施される。
そして、可視光画像内の注目領域にモーダル画像を重畳した提示画像が画像処理装置２００又は２０００から出力され、表示処理が実施される（ステップＳ２１０１）。
提示画像は、例えば図１に示した車両制御システム１００が出力部１０６として装備する表示装置やインストルメントパネル、搭乗者が装着する眼鏡型ディスプレイ、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ表示機能を有する装置などの運転者の視野内に視覚情報を表示する装置に表示される。
ドライバなどの車両の搭乗者は、提示画像を観察することで、暗所に居る歩行者などを視認することが容易になり、衝突回避若しくは事故防止のための運転操作を好適に行なうことが可能になる。
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
本明細書で開示する技術は、自動車（ガソリン車及びディーゼル車を含む）、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナル・モビリティーなどさまざまな車両に適用することができる。さらには本明細書で開示する技術は、道路を走行する車両以外の形態の移動体に適用することができる。
また、本明細書で開示する技術は、移動体以外にも適用することができる。例えば、本明細書で開示する技術を監視カメラに適用すれば、可視光画像にモーダル画像を適宜合成して、不審者の実体像を的確に捕捉することができる。
要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）可視光カメラで撮影した可視光画像内の注目領域を抽出する領域抽出部と、
前記可視光カメラと同一の対象を観測する赤外線カメラで撮影した赤外線画像の前記注目領域の画像をモーダル画像に変換するモーダル変換部と、
前記可視光画像の注目領域に前記モーダル画像を重畳した提示画像を生成する重畳部と、
を具備する画像処理装置。
（２）前記領域抽出部は、前記遠赤外線画像から物体を検出した結果に基づいて前記注目領域を抽出する、
上記（１）に記載の画像処理装置。
（３）前記領域抽出部は、前記遠赤外線画像から、ある特定の対象の特徴を表す温度範囲内の値の画素からなる特定温度領域を前記注目領域として抽出する、
上記（１）に記載の画像処理装置。
（４）前記領域抽出部は、前記遠赤外線画像及び前記可視光画像の各々から物体を検出した各結果に基づいて前記注目領域を抽出する、
上記（１）に記載の画像処理装置。
（５）前記領域抽出部は、前記遠赤外線画像には映っているが前記可視光画像には映っていない物体を含む領域を前記注目領域として抽出する、
上記（４）に記載の画像処理装置。
（６）前記領域抽出部は、前記遠赤外線画像又は可視光画像から物体が検出された領域における可視光画像の輝度ヒストグラムに基づいて、当該領域が注目領域であるか否かを判別する、
上記（１）乃至（３）のいずれかに記載の画像処理装置。
（７）前記モーダル変換部は、前記注目領域の遠赤外線画像を、人間が見慣れている情報モーダルからなるモーダル画像に変換する、
上記（１）乃至（５）のいずれかに記載の画像処理装置。
（８）前記モーダル変換部は、遠赤外線画像と可視光画像とのペアをあらかじめ登録したデータベースを利用して、前記注目領域の遠赤外線画像をモーダル画像に変換する、
上記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）前記モーダル変換部は、遠赤外線画像を条件とした可視光画像生成の条件付き確率分布に基づいて、前記注目領域の遠赤外線画像をモーダル画像に変換する、
上記（１）乃至（７）のいずれかに記載の画像処理装置。
（１０）前記重畳部は、前記可視光画像に重畳したモーダル画像に、領域を示す枠又はその他の視覚的表示を付ける、
上記（１）に記載の画像処理装置。
（１１）前記提示画像を提示する提示部をさらに備える、
上記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２）前記可視光カメラ及び前記遠赤外線カメラは所定の移動体に搭載されている、
上記（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３）前記可視光カメラ及び前記遠赤外線カメラをさらに備える、
上記（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４）前記移動体に搭載される、
上記（１）乃至（１３）のいずれかに記載の画像処理装置。
（１５）可視光カメラで撮影した可視光画像内の注目領域を抽出する領域抽出ステップと、
前記可視光カメラと同一の対象を観測する赤外線カメラで撮影した赤外線画像の前記注目領域の画像をモーダル画像に変換するモーダル変換ステップと、
前記可視光画像の注目領域に前記モーダル画像を重畳した提示画像を生成する重畳ステップと、
を有する画像処理方法。
（１６）可視光カメラで撮影した可視光画像内の注目領域を抽出する領域抽出部、
前記可視光カメラと同一の対象を観測する赤外線カメラで撮影した赤外線画像の前記注目領域の画像をモーダル画像に変換するモーダル変換部、
前記可視光画像の注目領域に前記モーダル画像を重畳した提示画像を生成する重畳部、
としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータ・プログラム。
１００…車両制御システム
１０１…入力部、１０２…データ取得部、１０３…通信部
１０４…車内機器、１０５…出力制御部、１０６…出力部
１０７…駆動系制御部、１０８…駆動系システム
１０９…ボディ系制御部、１１０…ボディ系システム、１１１記憶部
１１２…自動運転制御部、１２１…通信ネットワーク
１３１…検出部、１３２…自己位置推定部、１３３…状況分析部
１３４…計画部、１３５…動作制御部
１４１…車外情報検出部、１４２…車内情報検出部
１４３…車両状態検出部
１５１…マップ解析部、１５２…交通ルール認識部
１５３…状況認識部、１５４…状況予測部
１６１…ルート計画部、１６２…行動計画部、１６３…動作計画部
１７１…緊急事態回避部、１７２…加減速制御部、１７３…方向制御部
２００…画像処理装置
２０１…領域抽出部、２０２…モーダル変換部２０２…重畳部
２１１…遠赤外線カメラ、２１２…可視光カメラ
２０００…画像処理装置
２００１…物体検出部、２００２…注目領域判別部
２００３…モーダル変換部、２００４…重畳部
２０１１…遠赤外線カメラ、２０１２…可視光カメラ

Claims (15)

  1. 可視光カメラで撮影した可視光画像内の注目領域を抽出する領域抽出部と、
    前記可視光カメラと同一の対象を観測する遠赤外線カメラで撮影した遠赤外線画像の前記注目領域の画像を、遠赤外線画像に基づいて前記注目領域内で検出した物体の表面テクスチャ又は輪郭・姿勢を再現したモーダル画像に変換するモーダル変換部と、
    前記可視光画像の注目領域に前記モーダル画像を重畳した提示画像を生成する重畳部と、
    を具備する画像処理装置。
  2. 前記領域抽出部は、前記遠赤外線画像から物体を検出した結果に基づいて前記注目領域を抽出する、
    請求項１に記載の画像処理装置。
  3. 前記領域抽出部は、前記遠赤外線画像から、ある特定の対象の特徴を表す温度範囲内の値の画素からなる特定温度領域を前記注目領域として抽出する、
    請求項１に記載の画像処理装置。
  4. 前記領域抽出部は、前記遠赤外線画像及び前記可視光画像の各々から物体を検出した各結果に基づいて前記注目領域を抽出する、
    請求項１に記載の画像処理装置。
  5. 前記領域抽出部は、前記遠赤外線画像には映っているが前記可視光画像には映っていない物体を含む領域を前記注目領域として抽出する、
    請求項４に記載の画像処理装置。
  6. 前記領域抽出部は、前記遠赤外線画像又は可視光画像から物体が検出された領域における可視光画像の輝度ヒストグラムに基づいて、当該領域が注目領域であるか否かを判別する、
    請求項１に記載の画像処理装置。
  7. 前記モーダル変換部は、前記注目領域の遠赤外線画像を、人間が見慣れている情報モーダルからなるモーダル画像に変換する、
    請求項１に記載の画像処理装置。
  8. 前記モーダル変換部は、遠赤外線画像と可視光画像とのペアをあらかじめ登録したデータベースを利用して、前記注目領域の遠赤外線画像をモーダル画像に変換する、
    請求項１に記載の画像処理装置。
  9. 前記モーダル変換部は、遠赤外線画像を条件とした可視光画像生成の条件付き確率分布に基づいて、前記注目領域の遠赤外線画像をモーダル画像に変換する、
    請求項１に記載の画像処理装置。
  10. 前記重畳部は、前記可視光画像に重畳したモーダル画像に、領域を示す視覚的表示を付ける、
    請求項１に記載の画像処理装置。
  11. 前記提示画像を提示する提示部をさらに備える、
    請求項１に記載の画像処理装置。
  12. 前記可視光カメラ及び前記遠赤外線カメラは所定の移動体に搭載されている、
    請求項１に記載の画像処理装置。
  13. 前記可視光カメラ及び前記遠赤外線カメラをさらに備える、
    請求項１に記載の画像処理装置。
  14. 所定の移動体に搭載される、
    請求項１に記載の画像処理装置。
  15. 可視光カメラで撮影した可視光画像内の注目領域を抽出する領域抽出ステップと、
    前記可視光カメラと同一の対象を観測する遠赤外線カメラで撮影した遠赤外線画像の前記注目領域の画像を、遠赤外線画像に基づいて前記注目領域内で検出した物体の表面テクスチャ又は輪郭・姿勢を再現したモーダル画像に変換するモーダル変換ステップと、
    前記可視光画像の注目領域に前記モーダル画像を重畳した提示画像を生成する重畳ステップと、
    を有する画像処理方法。
JP2019558007A 2017-12-04 2018-09-04 画像処理装置及び画像処理方法 Active JP7188397B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017232968 2017-12-04
JP2017232968 2017-12-04
PCT/JP2018/032719 WO2019111464A1 (ja) 2017-12-04 2018-09-04 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2019111464A1 JPWO2019111464A1 (ja) 2021-01-14
JP7188397B2 true JP7188397B2 (ja) 2022-12-13

Family

ID=66750876

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019558007A Active JP7188397B2 (ja) 2017-12-04 2018-09-04 画像処理装置及び画像処理方法

Country Status (6)

Country Link
US (1) US11641492B2 (ja)
EP (1) EP3723364A4 (ja)
JP (1) JP7188397B2 (ja)
KR (1) KR102533860B1 (ja)
CN (1) CN111386701B (ja)
WO (1) WO2019111464A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11328152B2 (en) 2019-06-17 2022-05-10 Pixart Imaging Inc. Recognition system employing thermal sensor
DE112018007189T5 (de) * 2018-03-29 2020-12-10 Mitsubishi Electric Corporation Fahrzeugbeleuchtungssteuerungsvorrichtung, fahrzeugbeleuchtungssteuerungsverfahren undfahrzeugbeleuchtungssteuerungsprogramm
KR102584501B1 (ko) * 2018-10-05 2023-10-04 삼성전자주식회사 자율 주행 장치의 객체 인식 방법 및 자율 주행 장치
US11023743B2 (en) * 2019-07-03 2021-06-01 Hitachi Automotive Systems, Ltd. Object recognition by far infrared camera
CN110444277B (zh) * 2019-07-19 2023-03-28 重庆邮电大学 一种基于多生成多对抗的多模态脑部mri图像双向转换方法
DE102019214319A1 (de) * 2019-09-20 2021-03-25 Continental Automotive Gmbh Verfahren zur Verbesserten Umfelderfassung
EP3832525A1 (en) * 2019-12-03 2021-06-09 Aptiv Technologies Limited Vehicles, systems, and methods for determining an entry of an occupancy map of a vicinity of a vehicle
CN111738132B (zh) * 2020-06-17 2024-03-05 银河水滴科技（北京）有限公司 人体温度的测量方法、装置、电子设备及可读存储介质
CN114257707A (zh) * 2020-09-21 2022-03-29 安霸国际有限合伙企业 具有彩色夜间模式的智能ip摄像头
CN112464782A (zh) * 2020-11-24 2021-03-09 惠州华阳通用电子有限公司 一种行人识别方法和系统
CN113034935A (zh) * 2021-03-02 2021-06-25 山东大学 一种基于射灯的交通事故安全预警及车辆导向设备及其使用方法
CN113506264B (zh) * 2021-07-07 2023-08-29 北京航空航天大学 道路车辆数识别方法和装置
US11430132B1 (en) * 2021-08-19 2022-08-30 Unity Technologies Sf Replacing moving objects with background information in a video scene
US11917337B2 (en) * 2021-08-31 2024-02-27 Xerox Corporation System and method for selective image capture on sensor floating on the open sea
WO2023242891A1 (ja) * 2022-06-13 2023-12-21 日本電気株式会社 オブジェクト検出装置、学習装置、オブジェクト検出方法、学習方法、オブジェクト検出プログラム及び学習プログラム
DE102022123295A1 (de) 2022-09-13 2024-03-14 Zf Cv Systems Global Gmbh Stereovisions-System, Fahrerassistenzsystem und Verfahren zur Erzeugung einer Stereovision aus zwei 2D-Darstellungen

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006338594A (ja) 2005-06-06 2006-12-14 Toyota Motor Corp 歩行者認識装置
WO2012073722A1 (ja) 2010-12-01 2012-06-07 コニカミノルタホールディングス株式会社 画像合成装置
WO2012164729A1 (ja) 2011-06-02 2012-12-06 トヨタ自動車株式会社 車両用視界支援装置
JP2013042404A (ja) 2011-08-18 2013-02-28 Seiko Epson Corp 画像処理装置、画像処理システム、カメラ、カメラシステム
JP2014191668A (ja) 2013-03-28 2014-10-06 Denso Corp 車両用表示制御装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4363207B2 (ja) 2004-02-05 2009-11-11 住友電気工業株式会社 画像処理方法、画像処理システムおよび画像処理装置
US7822291B2 (en) * 2004-10-28 2010-10-26 Siemens Medical Solutions Usa, Inc. Non-rigid multi-modal registration using statistical learning methods
JP4793638B2 (ja) * 2006-03-27 2011-10-12 マツダ株式会社 車両用歩行者検出装置
US8212877B2 (en) * 2007-03-02 2012-07-03 Fujifilm Corporation Image capturing system, image capturing method, and computer program product at which an image is captured at a predetermined time
JP4973334B2 (ja) 2007-06-26 2012-07-11 ソニー株式会社 撮像装置および撮像装置の切り替え方法
JP4872829B2 (ja) 2007-06-28 2012-02-08 ソニー株式会社 撮像装置
KR101396326B1 (ko) * 2007-10-12 2014-05-16 삼성전자주식회사 얼굴 검출을 위한 디지털 영상 처리 장치의 제어 방법 및이 방법을 채용한 디지털 영상 처리 장치
CN101202845B (zh) 2007-11-14 2011-05-18 北京大学 红外图像转换为可见光图像的方法及其装置
JP5195646B2 (ja) 2009-05-29 2013-05-08 株式会社Ｊｖｃケンウッド 撮影装置
EP2609853A4 (en) 2010-08-27 2016-03-09 Sony Corp APPARATUS AND METHOD FOR IMAGE PROCESSING
US9200895B2 (en) * 2010-11-16 2015-12-01 Konica Minolta, Inc. Image input device and image processing device
JP5991224B2 (ja) 2013-02-15 2016-09-14 オムロン株式会社 画像処理装置、画像処理方法、および画像処理プログラム
CN103778618A (zh) * 2013-11-04 2014-05-07 国家电网公司 一种可见光图像和红外图像的融合方法
CN105447838A (zh) 2014-08-27 2016-03-30 北京计算机技术及应用研究所 一种红外与微光/可见光融合成像的方法及系统
US9684963B2 (en) * 2014-12-31 2017-06-20 Flir Systems, Inc. Systems and methods for dynamic registration of multimodal images
CN104935822A (zh) 2015-06-15 2015-09-23 努比亚技术有限公司 一种处理图像的方法和装置
US20170034456A1 (en) 2015-07-31 2017-02-02 Dual Aperture International Co., Ltd. Sensor assembly with selective infrared filter array
CN105069768B (zh) 2015-08-05 2017-12-29 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理系统及融合方法
KR20170093490A (ko) 2016-02-05 2017-08-16 에스엘 주식회사 차량용 모니터링 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006338594A (ja) 2005-06-06 2006-12-14 Toyota Motor Corp 歩行者認識装置
WO2012073722A1 (ja) 2010-12-01 2012-06-07 コニカミノルタホールディングス株式会社 画像合成装置
WO2012164729A1 (ja) 2011-06-02 2012-12-06 トヨタ自動車株式会社 車両用視界支援装置
JP2013042404A (ja) 2011-08-18 2013-02-28 Seiko Epson Corp 画像処理装置、画像処理システム、カメラ、カメラシステム
JP2014191668A (ja) 2013-03-28 2014-10-06 Denso Corp 車両用表示制御装置

Also Published As

Publication number Publication date
US11641492B2 (en) 2023-05-02
EP3723364A1 (en) 2020-10-14
KR20200096215A (ko) 2020-08-11
KR102533860B1 (ko) 2023-05-19
WO2019111464A1 (ja) 2019-06-13
JPWO2019111464A1 (ja) 2021-01-14
US20200410274A1 (en) 2020-12-31
CN111386701B (zh) 2022-07-08
EP3723364A4 (en) 2021-02-24
CN111386701A (zh) 2020-07-07

Similar Documents

Publication Publication Date Title
JP7188397B2 (ja) 画像処理装置及び画像処理方法
JP7188394B2 (ja) 画像処理装置及び画像処理方法
JP7136106B2 (ja) 車両走行制御装置、および車両走行制御方法、並びにプログラム
US20200409387A1 (en) Image processing apparatus, image processing method, and program
JP7320001B2 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
JPWO2020003776A1 (ja) 情報処理装置及び情報処理方法、撮像装置、コンピュータプログラム、情報処理システム、並びに移動体装置
US11182880B2 (en) Image processing device, image processing method, and program
US11815799B2 (en) Information processing apparatus and information processing method, imaging apparatus, mobile device, and computer program
US11812197B2 (en) Information processing device, information processing method, and moving body
US11200795B2 (en) Information processing apparatus, information processing method, moving object, and vehicle
JPWO2020009060A1 (ja) 情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置
US20220277556A1 (en) Information processing device, information processing method, and program
KR102645368B1 (ko) 정보 처리 장치와 정보 처리 방법과 프로그램
US20210295563A1 (en) Image processing apparatus, image processing method, and program
WO2024009829A1 (ja) 情報処理装置、情報処理方法および車両制御システム
WO2024062976A1 (ja) 情報処理装置及び情報処理方法
EP3863282A1 (en) Image processing device, and image processing method and program
CA3134088A1 (en) Information processing method, program, and information processing apparatus
JPWO2020116204A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210716

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221114

R151 Written notification of patent or utility model registration

Ref document number: 7188397

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151