JPWO2017159312A1 - 画像処理装置、撮像装置、および画像処理方法、並びにプログラム - Google Patents

画像処理装置、撮像装置、および画像処理方法、並びにプログラム Download PDF

Info

Publication number
JPWO2017159312A1
JPWO2017159312A1 JP2018505774A JP2018505774A JPWO2017159312A1 JP WO2017159312 A1 JPWO2017159312 A1 JP WO2017159312A1 JP 2018505774 A JP2018505774 A JP 2018505774A JP 2018505774 A JP2018505774 A JP 2018505774A JP WO2017159312 A1 JPWO2017159312 A1 JP WO2017159312A1
Authority
JP
Japan
Prior art keywords
image
distance
tof
unit
stereo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2018505774A
Other languages
English (en)
Inventor
昌俊 横川
昌俊 横川
神尾　和憲
和憲 神尾
隆浩 永野
隆浩 永野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017159312A1 publication Critical patent/JPWO2017159312A1/ja
Abandoned legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Measurement Of Optical Distance (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

被写体の正確な距離情報の生成を行う装置、方法を提供する。可視光成分から構成される第１画像と、可視光成分と赤外光成分を含む第２画像を入力して被写体距離を算出する画像処理部を有し、画像処理部は、第２画像を利用してＴＯＦ方式に従って算出される被写体距離であるＴＯＦ距離と、第１画像と第２画像を利用してステレオ方式に従って算出されるステレオ距離の２つの距離情報を算出し、ＴＯＦ距離の信頼度を示すＴＯＦ距離信頼度を判定し、ＴＯＦ距離の信頼度が低い画素領域について、ステレオ方式に従った被写体距離であるステレオ距離、または、ＴＯＦ距離とステレオ距離の合成処理によって算出した距離情報を最終的な距離情報として生成する。

Description

本開示は、画像処理装置、撮像装置、および画像処理方法、並びにプログラムに関する。特に、被写体までの距離計測を行う画像処理装置、撮像装置、および画像処理方法、並びにプログラムに関する。
被写体までの距離を計測するカメラとして、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）カメラが知られている。
ＴＯＦカメラは、赤外光を被写体に照射して、反射した赤外光がカメラに入射されるまでに要した時間から距離を算出する。
なお、ＴＯＦ方式について開示した従来技術として、例えば特許文献１（特開２０１３−２２０２５４号）、特許文献２（特開２０１６−００６６２７号公報）等がある。
しかし、このような赤外光を利用した距離計測方式では、例えば太陽光が強い屋外や、照射した赤外光が届かない遠方の被写体の距離測定が困難となるという問題がある。
特開２０１３−２２０２５４号 特開２０１６−００６６２７号公報
本開示は、例えば、上記の問題点に鑑みてなされたものであり、本開示の一実施例においては、ＴＯＦ方式による正確な距離測定が困難な場合でも、正確な距離測定を可能とする画像処理装置、撮像装置、および画像処理方法、並びにプログラムを提供することを目的とする。
また、本開示の一実施例においては、複数の画像を適用した高画質画像を生成する画像処理装置、撮像装置、および画像処理方法、並びにプログラムを提供することを目的とする。
本開示の第１の側面は、
２つの異なる視点からの撮影画像である第１画像と第２画像を入力して、被写体距離を示す距離情報を生成する画像処理部を有し、
前記画像処理部は、
前記第２画像の赤外光成分を利用してＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式に従った被写体距離であるＴＯＦ距離を算出するＴＯＦ方式距離算出部と、
前記第１画像と前記第２画像の可視光成分を利用してステレオ方式に従った被写体距離であるステレオ距離を算出するステレオ方式距離算出部と、
前記ＴＯＦ距離の信頼度を判定するＴＯＦ距離信頼度判定部と、
前記ＴＯＦ距離の信頼度が低い画素領域について、前記ステレオ距離、または、ＴＯＦ距離とステレオ距離の合成距離情報を最終的な距離情報として生成する被写体距離情報生成部を有する画像処理装置にある。
さらに、本開示の第２の側面は、
可視光成分から構成される第１画像を撮影する第１撮像部と、
可視光成分と赤外光成分を含む第２画像を撮影する第２撮像部と、
前記第１画像と前記第２画像を入力して、被写体距離を示す距離情報を生成する画像処理部を有し、
前記画像処理部は、
前記第２画像を利用してＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式に従った被写体距離算出を実行するＴＯＦ方式距離算出部と、
前記第１画像と前記第２画像を利用してステレオ方式に従った被写体距離算出を実行するステレオ方式距離算出部と、
前記ＴＯＦ方式距離算出部の算出した被写体距離であるＴＯＦ距離の信頼度を判定するＴＯＦ距離信頼度判定部と、
前記ＴＯＦ距離の信頼度に基づいて、最終的な距離情報を生成する被写体距離情報生成部を有し、
前記被写体距離情報生成部は、
前記ＴＯＦ距離の信頼度が低い画素領域について、前記ステレオ方式に従った被写体距離であるステレオ距離、または、ＴＯＦ距離とステレオ距離の合成処理によって算出した距離情報を最終的な距離情報として生成する撮像装置にある。
さらに、本開示の第３の側面は、
２つの異なる視点からの撮影画像である第１画像と第２画像を入力して、合成画像を生成する画像処理部を有し、
前記第１画像は可視光成分から構成される画像であり、前記第２画像は可視光成分と赤外光成分を含む画像であり、
前記画像処理部は、
前記第２画像を可視光成分画像と赤外光成分画像に分離する赤外光分離部と、
前記第１画像と、前記赤外光分離部が前記第２画像に基づいて生成した可視光成分画像との合成処理を実行する画像合成部を有する画像処理装置にある。
さらに、本開示の第４の側面は、
画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、２つの異なる視点からの撮影画像である第１画像と第２画像を入力して、被写体距離を示す距離情報を生成する画像処理部を有し、
前記画像処理部が、
前記第２画像の赤外光成分を利用してＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式に従った被写体距離であるＴＯＦ距離を算出するＴＯＦ方式距離算出処理と、
前記第１画像と前記第２画像の可視光成分を利用してステレオ方式に従った被写体距離であるステレオ距離を算出するステレオ方式距離算出処理と、
前記ＴＯＦ距離の信頼度を判定するＴＯＦ距離信頼度判定処理と、
前記ＴＯＦ距離の信頼度が低い画素領域について、前記ステレオ距離、または、ＴＯＦ距離とステレオ距離の合成距離情報を最終的な距離情報として生成する被写体距離情報生成処理を実行する画像処理方法にある。
さらに、本開示の第５の側面は、
画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、
２つの異なる視点からの撮影画像である第１画像と第２画像を入力して、合成画像を生成する画像処理部を有し、
前記第１画像は可視光成分から構成される画像であり、前記第２画像は可視光成分と赤外光成分を含む画像であり、
前記画像処理部が、
前記第２画像を可視光成分画像と赤外光成分画像に分離する赤外光分離処理と、
前記第１画像と、前記第２画像に基づいて生成した可視光成分画像との合成処理を実行する画像処理方法にある。
さらに、本開示の第６の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、２つの異なる視点からの撮影画像である第１画像と第２画像を入力して、被写体距離を示す距離情報を生成する画像処理部を有し、
前記プログラムは、前記画像処理部に、
前記第２画像の赤外光成分を利用してＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式に従った被写体距離であるＴＯＦ距離を算出するＴＯＦ方式距離算出処理と、
前記第１画像と前記第２画像の可視光成分を利用してステレオ方式に従った被写体距離であるステレオ距離を算出するステレオ方式距離算出処理と、
前記ＴＯＦ距離の信頼度を判定するＴＯＦ距離信頼度判定処理と、
前記ＴＯＦ距離の信頼度が低い画素領域について、前記ステレオ距離、または、ＴＯＦ距離とステレオ距離の合成距離情報を最終的な距離情報として生成する被写体距離情報生成処理を実行させるプログラムにある。
さらに、本開示の第７の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、
２つの異なる視点からの撮影画像である第１画像と第２画像を入力して、合成画像を生成する画像処理部を有し、
前記第１画像は可視光成分から構成される画像であり、前記第２画像は可視光成分と赤外光成分を含む画像であり、
前記プログラムは、前記画像処理部に、
前記第２画像を可視光成分画像と赤外光成分画像に分離する赤外光分離処理と、
前記第１画像と、前記第２画像に基づいて生成した可視光成分画像との合成処理を実行させるプログラムにある。
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本開示の一実施例の構成によれば、被写体の正確な距離情報の生成を行う装置、方法が実現される。
具体的には、可視光成分から構成される第１画像と、可視光成分と赤外光成分を含む第２画像を入力して被写体距離を算出する画像処理部を有し、画像処理部は、第２画像を利用してＴＯＦ方式に従って算出される被写体距離であるＴＯＦ距離と、第１画像と第２画像を利用してステレオ方式に従って算出されるステレオ距離の２つの距離情報を算出し、ＴＯＦ距離の信頼度を示すＴＯＦ距離信頼度を判定し、ＴＯＦ距離の信頼度が低い画素領域について、ステレオ方式に従った被写体距離であるステレオ距離、または、ＴＯＦ距離とステレオ距離の合成処理によって算出した距離情報を最終的な距離情報として生成する。
これらの処理により、被写体の正確な距離情報の生成を行う装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
画像処理装置の構成例について説明する図である。 画像処理部の構成と処理について説明する図である。 赤外光分離処理について説明する図である。 ステレオ距離信頼度判定部の処理について説明する図である。 ＴＯＦ距離信頼度判定部の処理について説明する図である。 被写体距離情報生成部の実行する処理の一例について説明する図である。 被写体距離情報生成部の実行する処理の一例について説明する図である。 被写体距離情報生成部の実行する処理の一例について説明する図である。 被写体距離情報生成部の実行する処理の一例について説明する図である。 距離情報生成処理シーケンスについて説明するフローチャートを示す図である。 距離情報生成処理シーケンスについて説明するフローチャートを示す図である。 距離情報生成処理シーケンスについて説明するフローチャートを示す図である。 画像処理部の構成と処理について説明する図である。 画像合成部の構成と処理について説明する図である。 ブレンド実行部の実行する処理について説明する図である。 ブレンド処理の効果について説明する図である。 合成画像生成処理シーケンスについて説明するフローチャートを示す図である。
以下、図面を参照しながら本開示の画像処理装置、撮像装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．本開示の画像処理装置の構成と処理について
２．距離（デプス）情報を生成する画像処理部の構成と処理について
３．画像処理装置の実行する距離情報算出処理シーケンスについて
３−１．ステレオ距離信頼度と、ＴＯＦ距離信頼度の２つの信頼度情報を用いた処理シーケンスについて
３−２．ＴＯＦ距離信頼度のみの１つの信頼度情報を用いた処理シーケンスについて
３−３．ＴＯＦ距離信頼度のみの１つの信頼度情報を用い、ステレオ距離情報、またはＴＯＦ距離情報のいずれかを、画素単位で選択して最終距離情報とする処理シーケンスについて
４．画質を向上させた合成画像を生成する画像処理部の構成と処理について
５．画像処理装置の実行する合成画像生成処理シーケンスについて
６．本開示の構成のまとめ
［１．本開示の画像処理装置の構成と処理について］
図１以下を参照して本開示の画像処理装置の構成と処理について説明する。
図１は、本開示の画像処理装置１００の一例である撮像装置の構成を示すブロック図である。
なお、本開示の画像処理装置は、撮像装置に限らず、例えば撮像装置の撮影画像を入力して画像処理を実行するＰＣ等の情報処理装置も含まれる。
以下では、本開示の画像処理装置１００の一例として、撮像装置の構成と処理について説明する。
以下の実施例において説明する撮影処理以外の画像処理は、撮像装置に限らず、ＰＣ等の情報処理装置において実行することも可能である。
図１に示す撮像装置としての画像処理装置１００は、制御部１０１、記憶部１０２、コーデック１０３、入力部１０４、出力部１０５、撮像部１０６、画像処理部１２０を有する。
撮像部１０６は、通常の画像撮影のみを行う第１に撮像部１０７と、赤外光照射を行い、赤外光と可視光を含む画像の撮影を行う第２撮像部１０８を有する。
第１撮像部１０７は、通常の画像撮影を行うための第１撮像素子１１１を有する。第１撮像素子１１１は、例えば、ベイヤ配列からなるＲＧＢカラーフィルタを有し、各画素単位でＲＧＢ各色の入力光対応の信号を出力するＲＧＢ画素配列型の撮像素子である。あるいはモノクロ画像を撮影する白黒（ＷＢ）センサ型の撮像素子としてもよい。
第２撮像部１０８は、赤外光を出力するＩＲ（赤外光）照射部１１３と、第２撮像素子１１２を有する。
第２撮像部１０８は、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式による被写体距離を計測するためのＩＲ（赤外光）照射部１１３と、赤外光と可視光を受光する第２撮像素子１１２を有する。
ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式は、赤外光を被写体に照射して、反射した赤外光がカメラに入射されるまでに要した時間から被写体距離を算出する方式である。
なお、第２撮像素子１１２の受光する可視光領域は、第１撮像素子１１１と同様の領域とすることが好ましい。例えば、第１撮像素子１１１がＲＧＢ画素配列型の撮像素子である場合は、第２撮像素子１１２もＲＧＢ画素配列型の撮像素子とする。第１撮像素子１１１が白黒（ＷＢ）センサ型の撮像素子である場合は、第２撮像素子１１２も白黒（ＷＢ）センサ型の撮像素子とする。
ただし、第２撮像素子１１２は可視光に併せて赤外光（ＩＲ）も受光し、センサ出力には、可視光成分と赤外光（ＩＲ）成分が含まれる。
第１撮像部１０７と、第２撮像部１０８は、所定間隔、離れた位置に設定される２つの撮像部であり、それぞれの撮影画像は異なる視点からの画像となる。
異なる視点からの２つの画像の対応画素、すなわち同一位置の画素には同一の被写体画像が撮影されず、視差に応じた被写体ずれが発生する。
この位置ずれを利用してステレオ方式による被写体距離算出が行われる。
第１撮像部１０７と、第２撮像部１０８は、撮影画像が静止画である場合は、同一タイミングで２枚の静止画を撮影する。動画を撮影する場合は、各撮像部の撮影フレームは、同期した撮影フレーム、すなわち同一タイミングで順次撮影される連続した画像フレームとなる。
なお、これらの撮影タイミングの制御は制御部１０１によって行われる。
制御部１０１は、画像の撮影、撮影画像に対する信号処理、画像の記録処理、表示処理等、撮像装置１００において実行する各種の処理を制御する。制御部１０１は、例えば記憶部１０２に格納された様々な処理プログラムに従った処理を実行するＣＰＵ等を備え、プログラムを実行するデータ処理部として機能する。
記憶部１０２は、撮影画像の格納部、さらに、制御部１０１において実行する処理プログラムや、各種パラメータの記憶部、さらにデータ処理時のワークエリアとして機能するＲＡＭ，ＲＯＭ等によって構成される。
コーデック１０３は、撮影画像の圧縮、伸長処理等の符号化、復号処理を実行する。
入力部１０４は、例えばユーザ操作部であり、撮影開始、終了、様々なモード設定等の制御情報を入力する。
出力部１０５は表示部、スピーカ等によって構成され、撮影画像、スルー画等の表示、音声出力等に利用される。
画像処理部１２０は、撮像部１０６から入力する２枚の画像を入力し、これら２枚の画像を適用して、被写体距離（デプス）を算出する。さらに、２枚の画像を合成することでノイズを低減させた高画質画像を生成する。
画像処理部１２０は、生成した画像１５１、距離（デプス）情報１５２を出力する。
これらのデータは、例えば、記憶部１０２に格納される。あるいは画像１５１は出力部１０５を構成する表示部に出力される。
また、距離（デプス）情報１５２は、制御部１０２において実行される様々な処理に利用される。
［２．距離（デプス）情報を生成する画像処理部の構成と処理について］
次に、図２以下を参照して、図１に示す画像処理装置１００の画像処理部１２０の構成と処理について説明する。
前述したように、画像処理部１２０は、撮像部１０６から入力する２枚の画像を入力し、これら２枚の画像を適用して、被写体距離（デプス）を示す距離（デプス）情報１５２を生成する。さらに、２枚の画像を合成することでノイズを低減させた高画質画像としての画像１５１を生成する。
まず、画像処理部１２０において実行する距離（デプス）情報１５２の生成処理について説明する。
図２は、画像処理装置１００の画像処理部１２０の一部構成を示すブロック図である。
図２には、画像処理部１２０の構成中、距離（デプス）情報１５２の生成処理に適用する構成を示している。
図２に示ように、画像処理部１２０は、赤外光（ＩＲ）分離部１２１、ステレオ方式距離算出部１２２、ＴＯＦ方式距離算出部１２３、ステレオ距離信頼度判定部１２４、ＴＯＦ距離信頼度判定部１２５、被写体距離情報生成部１２６を有する。
画像処理部１２０は、被写体距離情報生成部１２６の生成した距離（デプス）情報１５２を出力する。
距離（デプス）情報１５２は、撮影画像に含まれる被写体について、各画素単位の距離情報を有するデータである。
画像処理部１２０に対する入力信号は、以下の各信号である。
（１）第１撮像部１０７から入力する可視光画像２００、
（２）第２撮像部１０８から入力する可視光＋赤外光画像２０１、
まず、赤外光（ＩＲ）分離部１２１が、第２撮像部１０８から入力する可視光＋赤外光画像２０１を入力し、可視光＋赤外光画像２０１の赤外光（ＩＲ）分離処理を実行する。
赤外光（ＩＲ）分離部１２１の実行する赤外光（ＩＲ）分離処理の具体例について、図３を参照して説明する。
図３は、第２撮像部１０８の第２撮像素子１１２が、以下の２つの構成である場合の各々の赤外光分離処理について説明する図である。
（１）ＩＲカットフィルタなしＷＢ（白黒）センサ利用例
（２）ＩＲカットフィルタなしＲＧＢセンサ利用例
まず、図３の「（１）ＩＲカットフィルタなしＷＢ（白黒）センサ利用例」を参照して、第２撮像部１０８の第２撮像素子１１２が、ＩＲカットフィルタなしＷＢ（白黒）センサである場合の赤外光分離処理について説明する。
この場合、赤外光（ＩＲ）分離部１２１は、第２撮像部１０８の第２撮像素子１１２からの出力信号に対して、以下の処理を実行して、可視光と赤外光を分離する。
赤外光（ＩＲ）＝黒（Ｂ）画素から取得
可視光＝白（Ｗ）画素出力−黒（Ｂ）画素出力
ただし、可視光については、位相合わせのため、所定領域単位の画素領域単位で、白（Ｗ）画素出力と、黒（Ｂ）画素出力の平均値（Ａｖｅ）を算出して、算出平均値の差分を可視光出力信号として算出することが好ましい。すなわち、以下の式に従って、可視光画像出力を得る。
可視光画像＝Ａｖｅ（白（Ｗ）画素出力）−Ａｖｅ（黒（Ｂ）画素出力）
次に、図３に示す「（２）ＩＲカットフィルタなしＲＧＢセンサ利用例」を参照して、第２撮像部１０８の第２撮像素子１１２が、ＩＲカットフィルタなしＲＧＢセンサである場合の赤外光分離処理について説明する。
この場合、赤外光（ＩＲ）分離部１２１は、第２撮像部１０８の第２撮像素子１１２からの出力信号に対して、以下の（式１）に示すマトリックス演算を実行して、可視光と赤外光を分離する。
Figure 2017159312
上記（式１）に示すα１１〜α３２は、センサ特性に応じて決定される分離パラメータである。
このように、赤外光（ＩＲ）分離部１２１は、第２撮像部１０８の第２撮像素子１１２が、
（１）ＩＲカットフィルタなしＷＢ（白黒）センサ、
（２）ＩＲカットフィルタなしＲＧＢセンサ。
上記のいずれであるかによって、図３を参照して説明した異なる処理を実行して、第２撮像部１０８の第２撮像素子１１２の出力信号、すなわち、図２に示す「可視光＋赤外光画像２０１」から可視光と赤外光を分離する。
図２に示すように、赤外光（ＩＲ）分離部１２１の分離処理によって生成された可視光画像２０２は、ステレオ方式距離算出部１２２に入力される。
また、赤外光（ＩＲ）分離部１２１の分離処理によって生成された赤外光画像２０３は、ＴＯＦ方式距離算出部１２３に入力される。
次に、ステレオ方式距離算出部１２２の処理について説明する。
ステレオ方式距離算出部１２２は、以下の画像を入力する。
（１）第１撮像部１０７の撮影画像である可視光画像２００、
（２）第２撮像部１０８撮影画像から生成された可視光画像２０２、
前述したように、第１撮像部１０７と、第２撮像部１０８は、所定間隔、離れた位置に設定される２つの撮像部であり、それぞれの撮影画像（可視光画像２００、可視光画像２０２）は異なる視点からの画像となる。
異なる視点からの２つの画像、すなわち可視光画像２００と、可視光画像２０２との対応画素、すなわち同一位置の画素には同一の被写体画像が撮影されず、視差に応じた被写体ずれが発生する。
ステレオ方式距離算出部１２２は、この位置ずれを利用してステレオ方式による被写体距離算出を実行する。
具体的には、まず、第１撮像部１０７から入力する可視光画像２００と、第２撮像部１０８から入力する可視光画像２０２の２つの画像信号を用いて視差量を算出する。さらに、第１撮像部１０７と第２撮像部１０８との間隔である基線長と視差量に基づき三角測量によって被写体までの距離を算出する。
なお、この距離算出は、画像を構成する画素単位、あるいは複数画素からなる画素領域単位で実行される。
ステレオ方式距離算出部１２２の生成した被写体距離情報は、図２に示すようにステレオ距離情報２０４として、被写体距離情報生成部１２６に入力される。
次に、ＴＯＦ方式距離算出部１２３の処理について説明する。
ＴＯＦ方式距離算出部１２３は、以下の画像を入力する。
（１）第２撮像部１０８撮影画像から生成された赤外光（ＩＲ）画像２０３、
前述したように、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式は、赤外光を被写体に照射して、反射した赤外光がカメラに入射されるまでに要した時間から被写体距離を算出する方式である。
ＴＯＦ方式距離算出部１２３は、第２撮像部１０８の赤外光（ＩＲ）照射部１１３の赤外光照射タイミングから、第２撮像素子１１２における赤外光受光タイミングまでの時間を計測し、被写体距離を算出する。
なお、この被写体距離算出も、前述のステレオ方式と同様、画素単位、または所定数の画素からなる画素領域単位で実行される。
しかし、このような赤外光を利用した距離計測方式では、例えば太陽光が強い屋外や、照射した赤外光が届かない遠方の被写体の距離測定が困難となるという問題がある。
ＴＯＦ方式距離算出部１２３の生成した被写体距離情報は、図２に示すようにＴＯＦ距離情報２０５として、被写体距離情報生成部１２６に入力される。
次に、ステレオ距離信頼度判定部１２４の実行する処理について説明する。
ステレオ距離信頼度判定部１２４は、ステレオ方式距離算出部１２２の生成した被写体距離情報が信頼できるデータであるか否かを判定し、図２に示すように判定情報からなるステレオ信頼度２０６を生成して被写体距離情報生成部１２６に出力する。
なお、ステレオ距離信頼度判定部１２４の生成するステレオ信頼度２０６には、ステレオ方式距離算出部１２２の生成した画素単位または画素領域単位の被写体距離情報各々についての信頼度情報が含まれる。
ステレオ距離信頼度判定部１２４の実行する信頼度判定処理の具体例について、図４を参照して説明する。
図４に示す例は、ステレオ方式距離算出部１２２において実行する２つの画像の対応点検出におけるブロックマッチング処理に適用したブロック構成画素の分散値を用いて信頼度を判定する処理である。
ステレオ方式距離算出部１２２では、２つの異なる視点から撮影された画像、すなわち、
（１）第１撮像部１０７の撮影画像である可視光画像２００、
（２）第２撮像部１０８撮影画像から生成された可視光画像２０２、
これらの画像間の対応する画素ブロック、すなわち同一被写体が撮影されていると推定される画素ブロックを検出する、いわゆるブロックマッチング処理を実行する。
このブロックマッチングでは、利用する画素ブロックにエッジやテクスチャ等の特徴的な画像が含まれていれば、マッチング（対応付け）を正しく行なうことができる。すなわち高精度なブロックマッチングが可能となり、高精度な距離算出が可能となる。一方、例えば空のように特徴のない平坦な画像領域では、正しいマッチング（対応付け）が困難となる。結果として高精度な距離算出が難しくなる。
図４に示す例は、この特性を利用したステレオ距離の信頼度判定処理例である。
図４に示すグラフは、横軸が、ブロックマッチング処理に適用したブロック構成画素の分散値、縦軸が、ステレオ距離の信頼度βである。
なお、ステレオ距離の信頼度βは、０〜１の範囲の設定であり、数値が低いほど低信頼度であり、数値が高いほど高高信頼度であることを示す。
ブロックの分散値が大きい場合、ブロックに特徴的な画像、例えばエッジ部分やテクスチャ等の画像が多く含まれていることを意味し、ブロックマッチングの精度が高まる特徴的なブロックであることを意味する。
このようにブロック分散値が大である場合、ステレオ方式距離算出部１２２が算出したステレオ距離の信頼度βは、より高い値、すなわち１に近い値となる。
一方、ブロックの分散値が小さい場合、ブロックは、エッジ部分やテクスチャ等の画像が少なく、例えば空等の画素値の変化の少ない平坦な画像によって構成されるブロックであることを意味し、ブロックマッチングの精度が低下するブロックであることを意味する。
このようにブロック分散値が小である場合、ステレオ方式距離算出部１２２が算出したステレオ距離の信頼度βは、より低い値、すなわち０に近い値となる。
ステレオ距離信頼度判定部１２４は、ステレオ方式距離算出部１２２が算出したステレオ距離の信頼度βを、例えばブロック単位で実行し、ブロック単位、またはブロック構成画素単位の距離情報信頼度を生成する。
この信頼度情報が図２に示すステレオ信頼度２０６である。
ステレオ距離信頼度判定部１２４は、図２に示すように生成したステレオ信頼度２０６を被写体距離情報生成部１２６に出力する。
次に、ＴＯＦ距離信頼度判定部１２５の実行する処理について説明する。
ＴＯＦ距離信頼度判定部１２５は、ＴＯＦ方式距離算出部１２３の生成した被写体距離情報が信頼できるデータであるか否かを判定し、図２に示すように判定情報からなるＴＯＦ信頼度２０７を生成して被写体距離情報生成部１２６に出力する。
なお、ＴＯＦ距離信頼度判定部１２５の生成するＴＯＦ信頼度２０６には、ＴＯＦ方式距離算出部１２３の生成した画素単位または画素領域単位の被写体距離情報各々についての信頼度情報が含まれる。
ＴＯＦ距離信頼度判定部１２５の実行する信頼度判定処理の具体例について、図５を参照して説明する。
図５に示す例は、ＴＯＦ方式距離算出部１２３において実行するＴＯＦ方式に従った距離計測で利用する赤外光（ＩＲ）の非照射時の受光量を用いて信頼度を判定する処理である。
前述したように、ＴＯＦ方式距離算出部１２３では、第２撮像部１０８の赤外光（ＩＲ）照射部１１３の赤外光照射タイミングから、第２撮像素子１１２における赤外光受光タイミングまでの時間を計測し、被写体距離を算出する。
しかし、自然界にも赤外光は、存在し、特に太陽光には多くの赤外光成分が含まれる。
第２撮像部１０８の第２撮像素子１１２は、赤外光（ＩＲ）照射部１１３の照射する赤外光のみならず、このような赤外光（ＩＲ）照射部１１３の照射光以外の赤外光も受光する。
例えば晴れた日の屋外等、赤外光成分を含む太陽光の下で画像撮影を行った場合には、第２撮像素子１１２が、赤外光（ＩＲ）照射部１１３が照射した赤外光以外の自然界の赤外光を多く受光してしまう。このような状況では、赤外光（ＩＲ）照射部１１３の赤外光照射タイミングから、第２撮像素子１１２における赤外光受光タイミングまでの時間の計測精度が低下する。結果として高精度な距離算出が難しくなる。
一方、夜間や、室内等、赤外光成分を含む太陽光の影響の少ない環境で画像撮影を行った場合等には、第２撮像素子１１２が、赤外光（ＩＲ）照射部１１３の照射光以外の赤外光を受光する可能性が低減する。この結果、赤外光（ＩＲ）照射部１１３の赤外光照射タイミングから、第２撮像素子１１２における赤外光受光タイミングまでの時間の計測精度が高くなり高精度な距離算出が可能となる。
図５に示す例は、この特性を利用したＴＯＦ距離の信頼度判定処理例である。
図５に示すグラフは、横軸が、赤外光（ＩＲ）照射部１１３による赤外光の非照射時の第２撮像素子１１２による赤外光（ＩＲ）の受光強度、縦軸が、ＴＯＦ距離の信頼度αである。
なお、ＴＯＦ距離の信頼度αは、０〜１の範囲の設定であり、数値が低いほど低信頼度であり、数値が高いほど高信頼度であることを示す。
赤外光（ＩＲ）照射部１１３による赤外光の非照射時に、赤外光の受光強度が大きい場合、太陽光等、外的要因の赤外光が多いことを意味し、正確なＴＯＦ距離計測が困難となることを意味する。
このように赤外光（ＩＲ）照射部１１３による赤外光非照射時の受光強度が大きい場合、ＴＯＦ方式距離算出部１２３が算出したＴＯＦ距離の信頼度αは、より低い値、すなわち０に近い値となる。
一方、赤外光（ＩＲ）照射部１１３による赤外光非照射時の受光強度が小さい場合、太陽光等、外的要因の赤外光が少ないことを意味し、正確なＴＯＦ距離計測が可能となることを意味する。
このように赤外光（ＩＲ）照射部１１３による赤外光非照射時の受光強度が小さい場合、ＴＯＦ方式距離算出部１２３が算出したＴＯＦ距離の信頼度αは、より高い値、すなわち１に近い値となる。
ＴＯＦ距離信頼度判定部１２５は、ＴＯＦ方式距離算出部１２３が算出したＴＯＦ距離の信頼度αを、例えば画素単位、または画素領域単位で算出する。
この信頼度情報が図２に示すＴＯＦ信頼度２０７である。
ＴＯＦ距離信頼度判定部１２５は、図２に示すように生成したＴＯＦ信頼度２０７を被写体距離情報生成部１２６に出力する。
次に、被写体距離情報生成部１２６の実行する被写体距離情報生成処理について説明する。
図２に示すように、被写体距離情報生成部１２６は、以下の各データを入力する。
（１）ステレオ方式距離算出部１２２の算出したステレオ距離情報２０４、
（２）ＴＯＦ方式距離算出部１２３の算出したＴＯＦ距離情報２０５、
（３）ステレオ距離信頼度判定部１２４の生成したステレオ信頼度２０６、
（４）ＴＯＦ距離信頼度判定部１２５の生成したＴＯＦ信頼度２０７
被写体距離情報生成部１２６は、これらの各データを入力し、ステレオ方式距離算出部１２２の算出したステレオ距離情報２０４と、ＴＯＦ方式距離算出部１２３の算出したＴＯＦ距離情報２０５のいずれか、あるいはブレンド処理によって生成した最終的な距離情報を生成して、距離（デプス）情報１５２として出力する。
なお、被写体距離情報生成部１２６は、ステレオ信頼度２０６や、ＴＯＦ信頼度２０７に基づいて、信頼度の高いと判定されるいずれか一方の距離情報、あるいはブレンド処理によって生成した最終的な距離情報を生成して、距離（デプス）情報１５２として出力する。
なお、これらの信頼度判定に基づく最終的な距離情報の生成は、画素単位、または画素領域単位で実行される。
被写体距離情報生成部１２６の実行する具体的な処理例について、図６以下を参照して説明する。
被写体距離情報生成部１２６は、上述したように、ステレオ信頼度２０６と、ＴＯＦ信頼度２０７に基づいて、信頼度の高い一方の距離情報を選択、あるいはブレンド処理によって最終的な距離情報を生成して、距離（デプス）情報１５２として出力する。
図６に示す例は、ＴＯＦ方式距離算出部１２３の算出したＴＯＦ距離情報２０５を優先的に選択する設定とした処理例である。
図６に示すグラフは、
横軸が、ＴＯＦ距離信頼度判定部１２５の生成したＴＯＦ信頼度α、
縦軸が、ステレオ距離信頼度判定部１２４の生成したステレオ信頼度β、
である。
信頼度α、βはいずれも０〜１の範囲の値であり、最低の信頼度が０、最高の信頼度が１となる。
図６に示すグラフは、（ａ），（ｂ），（ｃ）の３つの領域に分割されている。
領域（ａ）は、
ＴＯＦ信頼度α≧Ｔｈ１
ステレオ信頼度β＝０〜１
これらの条件に該当する領域である。
なお、Ｔｈ１は信頼度しきい値であり、例えば、Ｔｈ１＝０．５である。
領域（ｂ）は、
ＴＯＦ信頼度α＜Ｔｈ１
ステレオ信頼度β≧Ｔｈ２
これらの条件に該当する領域である。
なお、Ｔｈ２も信頼度しきい値であり、例えば、Ｔｈ２＝０．５である。
領域（ｃ）は、
ＴＯＦ信頼度α＜Ｔｈ１
ステレオ信頼度β＜Ｔｈ２
これらの条件に該当する領域である。
被写体距離情報生成部１２６は、
（１）ステレオ距離信頼度判定部１２４の生成したステレオ信頼度β、
（２）ＴＯＦ距離信頼度判定部１２５の生成したＴＯＦ信頼度α、
これらの２つの信頼度が、領域（ａ）〜（ｃ）のどこに該当するかを判定し、各領域に応じて以下のように、最終的な距離情報、すなわち図２に示す被写体距離情報生成部１２６の出力である距離（デプス）情報１５２を生成する。
領域（ａ）、すなわち、
ＴＯＦ信頼度α≧Ｔｈ１
ステレオ信頼度β＝０〜１
これらの条件に該当する領域は、ＴＯＦ信頼度αが比較的高いと判定される領域である。
被写体距離情報生成部１２６は、この領域に対応する画素、または画素領域について、ＴＯＦ方式距離算出部１２３の算出したＴＯＦ距離情報２０５を、最終的な距離情報、すなわち図２に示す距離（デプス）情報１５２の構成データとする。
領域（ｂ）、すなわち、
ＴＯＦ信頼度α＜Ｔｈ１
ステレオ信頼度β≧Ｔｈ２
これらの条件に該当する領域は、ＴＯＦ信頼度αが比較的低く、ステレオ信頼度βが比較的高いと判定される領域である。
被写体距離情報生成部１２６は、この領域に対応する画素、または画素領域について、ステレオ方式距離算出部１２２の算出したステレオ距離情報２０４を、最終的な距離情報、すなわち図２に示す距離（デプス）情報１５２の構成データとする。
領域（ｃ）、すなわち、
ＴＯＦ信頼度α＜Ｔｈ１
ステレオ信頼度β＜Ｔｈ２
これらの条件に該当する領域は、ＴＯＦ信頼度αが比較的低く、ステレオ信頼度βも比較的低いと判定される領域である。
被写体距離情報生成部１２６は、この領域に対応する画素、または画素領域について、ＴＯＦ方式距離算出部１２３の算出したＴＯＦ距離情報２０５と、ステレオ方式距離算出部１２２の算出したステレオ距離情報２０４とのブレンド（合成）処理結果を、最終的な距離情報、すなわち図２に示す距離（デプス）情報１５２の構成データとする。
なお、ブレンド（合成）処理の具体例については後述する。
図６に示す処理例は、ＴＯＦ方式距離算出部１２３の算出したＴＯＦ距離情報２０５を優先的に選択する設定とした処理例である。
次に、図７を参照して、ステレオ方式距離算出部１２２の算出したステレオ距離情報２０４を優先的に選択する設定とした処理例について説明する。
図７に示すグラフは、図６に示すグラフと同様、
横軸が、ＴＯＦ距離信頼度判定部１２５の生成したＴＯＦ信頼度α、
縦軸が、ステレオ距離信頼度判定部１２４の生成したステレオ信頼度β、
である。
信頼度α、βはいずれも０〜１の範囲の値であり、最低の信頼度が０、最高の信頼度が１となる。
図７に示すグラフは、（ｄ），（ｅ），（ｆ）の３つの領域に分割されている。
領域（ｄ）は、
ステレオ信頼度β≧Ｔｈ２
ＴＯＦ信頼度α＝０〜１
これらの条件に該当する領域である。
なお、Ｔｈ２は信頼度しきい値であり、例えば、Ｔｈ２＝０．５である。
領域（ｅ）は、
ステレオ信頼度β＜Ｔｈ２
ＴＯＦ信頼度α≧Ｔｈ１
これらの条件に該当する領域である。
なお、Ｔｈ１も信頼度しきい値であり、例えば、Ｔｈ１＝０．５である。
領域（ｆ）は、
ステレオ信頼度β＜Ｔｈ２
ＴＯＦ信頼度α＜Ｔｈ１
これらの条件に該当する領域である。
被写体距離情報生成部１２６は、
（１）ステレオ距離信頼度判定部１２４の生成したステレオ信頼度β、
（２）ＴＯＦ距離信頼度判定部１２５の生成したＴＯＦ信頼度α、
これらの２つの信頼度が、領域（ｄ）〜（ｆ）のどこに該当するかを判定し、各領域に応じて以下のように、最終的な距離情報、すなわち図２に示す被写体距離情報生成部１２６の出力である距離（デプス）情報１５２を生成する。
領域（ｄ）、すなわち、
ステレオ信頼度β≧Ｔｈ２
ＴＯＦ信頼度α＝０〜１
これらの条件に該当する領域は、ステレオ信頼度βが比較的高いと判定される領域である。
被写体距離情報生成部１２６は、この領域に対応する画素、または画素領域について、ステレオ方式距離算出部１２２の算出したステレオ距離情報２０４を、最終的な距離情報、すなわち図２に示す距離（デプス）情報１５２の構成データとする。
領域（ｅ）、すなわち、
ステレオ信頼度β＜Ｔｈ２
ＴＯＦ信頼度α≧Ｔｈ１
これらの条件に該当する領域は、ステレオ信頼度βが比較的低く、ＴＯＦ信頼度αが比較的高いと判定される領域である。
被写体距離情報生成部１２６は、この領域に対応する画素、または画素領域について、ＴＯＦ方式距離算出部１２３の算出したＴＯＦ距離情報２０５を、最終的な距離情報、すなわち図２に示す距離（デプス）情報１５２の構成データとする。
領域（ｆ）、すなわち、
ステレオ信頼度β＜Ｔｈ２
ＴＯＦ信頼度α＜Ｔｈ１
これらの条件に該当する領域は、ステレオ信頼度βが比較的低く、ＴＯＦ信頼度αも比較的低いと判定される領域である。
被写体距離情報生成部１２６は、この領域に対応する画素、または画素領域について、ＴＯＦ方式距離算出部１２３の算出したＴＯＦ距離情報２０５と、ステレオ方式距離算出部１２２の算出したステレオ距離情報２０４とのブレンド（合成）処理結果を、最終的な距離情報、すなわち図２に示す距離（デプス）情報１５２の構成データとする。
なお、ブレンド（合成）処理の具体例については後述する。
さらに、図８を参照して、ステレオ方式距離算出部１２２の算出したステレオ距離情報２０４を優先的に選択する設定としたもう１つの処理例について説明する。
図８に示すグラフは、図６に示すグラフと同様、
横軸が、ＴＯＦ距離信頼度判定部１２５の生成したＴＯＦ信頼度α、
縦軸が、ステレオ距離信頼度判定部１２４の生成したステレオ信頼度β、
である。
信頼度α、βはいずれも０〜１の範囲の値であり、最低の信頼度が０、最高の信頼度が１となる。
図８に示すグラフは、（ｇ），（ｈ）の２つの領域に分割されている。
領域（ｇ）は、
ステレオ信頼度β≧Ｔｈ２
ＴＯＦ信頼度α＝０〜１、
または、
ステレオ信頼度β＜Ｔｈ２
ＴＯＦ信頼度α＜Ｔｈ１、
これら、いずれかの条件に該当する領域である。
なお、Ｔｈ１，Ｔｈ２は信頼度しきい値であり、例えば、Ｔｈ１＝０．５，Ｔｈ２＝０．５である。
領域（ｈ）は、
ステレオ信頼度β＜Ｔｈ２
ＴＯＦ信頼度α≧Ｔｈ１
これらの条件に該当する領域である。
被写体距離情報生成部１２６は、
（１）ステレオ距離信頼度判定部１２４の生成したステレオ信頼度β、
（２）ＴＯＦ距離信頼度判定部１２５の生成したＴＯＦ信頼度α、
これらの２つの信頼度が、領域（ｇ）〜（ｈ）のどこに該当するかを判定し、各領域に応じて以下のように、最終的な距離情報、すなわち図２に示す被写体距離情報生成部１２６の出力である距離（デプス）情報１５２を生成する。
領域（ｇ）、すなわち、
ステレオ信頼度β≧Ｔｈ２
ＴＯＦ信頼度α＝０〜１、
または、
ステレオ信頼度β＜Ｔｈ２
ＴＯＦ信頼度α＜Ｔｈ１、
これら、いずれかの条件に該当する領域は、
ステレオ信頼度βが比較的高い領域、または、
ステレオ信頼度β、ＴＯＦ信頼度αの双方が比較的低い領域、
これらのいずれかの領域である。
被写体距離情報生成部１２６は、この領域に対応する画素、または画素領域について、ステレオ方式距離算出部１２２の算出したステレオ距離情報２０４を、最終的な距離情報、すなわち図２に示す距離（デプス）情報１５２の構成データとする。
領域（ｈ）、すなわち、
ステレオ信頼度β＜Ｔｈ２
ＴＯＦ信頼度α≧Ｔｈ１
これらの条件に該当する領域は、ステレオ信頼度βが比較的低く、ＴＯＦ信頼度αが比較的高いと判定される領域である。
被写体距離情報生成部１２６は、この領域に対応する画素、または画素領域について、ＴＯＦ方式距離算出部１２３の算出したＴＯＦ距離情報２０５と、ステレオ方式距離算出部１２２の算出したステレオ距離情報２０４とのブレンド（合成）処理結果を、最終的な距離情報、すなわち図２に示す距離（デプス）情報１５２の構成データとする。
なお、ブレンド（合成）処理の具体例については後述する。
図６、図７、図８を参照して説明したように、被写体距離情報生成部１２６は、
（１）ステレオ距離信頼度判定部１２４の生成したステレオ信頼度β、
（２）ＴＯＦ距離信頼度判定部１２５の生成したＴＯＦ信頼度α、
これらの２つの信頼度が、予め規定した信頼度区分領域のどこに該当するかを判定し、各領域に応じて以下のように、最終的な距離情報、すなわち図２に示す被写体距離情報生成部１２６の出力である距離（デプス）情報１５２を生成する。
被写体距離情報生成部１２６の実行する２つの距離情報のブレンド（合成）処理の具体例について説明する。
図９には、図８を参照して説明した処理例と同様の被写体距離情報生成部１２６の処理例を示している。
図９（１）は、ＴＯＦ距離信頼度が、比較的高いと推定される場合（Ｔｈ１≦ＴＯＦ信頼度α）の処理例を示している。
図８のグラフの右半分（Ｔｈ１≦ＴＯＦ信頼度α）の領域に対応する。
図９（ｈ）は、図８（ｈ）の領域に対応し、ステレオ距離情報とＴＯＦ距離情報のブレンド処理を行ない、ブレンド（合成）処理結果を最終的な距離情報とする。
図９（ｇ１）は、図８（ｇ）の右側（Ｔｈ１≦ＴＯＦ信頼度α）の領域に対応する。
この領域では、ステレオ距離情報のステレオ信頼度βが十分高いため、ステレオ距離情報を最終的な距離情報とする。
図９（２）は、ＴＯＦ距離信頼度が、比較的低いと推定される場合（ＴＯＦ信頼度α＜Ｔｈ１）の処理例を示している。
図８のグラフの左半分（ＴＯＦ信頼度α＜Ｔｈ１）の領域に対応する。
図９（ｇ２）は、図８（ｇ）の左側（ＴＯＦ信頼度α＜Ｔｈ１）の領域に対応する。
この領域では、ＴＯＦ距離情報のＴＯＦ信頼度αが低いため、ステレオ距離情報を最終的な距離情報とする。
図９（１）には、ステレオ距離情報とＴＯＦ距離情報のブレンド処理の具体的な処理例について示している。
ステレオ距離情報とＴＯＦ距離情報のブレンド処理は、様々な処理が可能である。
以下の、３つのブレンド処理例について説明する。
（ａ）平均化によるブレンド処理
（ｂ）ＴＯＦ信頼度αをブレンド率設定パラメータとして適用したブレンド処理
（ｃ）ステレオ信頼度βをブレンド率設定パラメータとして適用したブレンド処理
これらの３種類のブレンド処理による最終的な距離情報［ｄｅｐｔｈ］は、
ステレオ方式距離算出部１２２の生成したステレオ距離情報２０４を［ｄｅｐｔｈｓｔ ｅｒｅｏ］、
ＴＯＦ方式距離算出部１２３の生成したＴＯＦ距離情報２０５を［ｄｅｐｔｈＴＯＦ］、
としたとき、以下の（式２ａ）〜（式２ｃ）で算出される。
Figure 2017159312
なお、上記（式２ａ）〜（式２ｃ）は距離情報のブレンド処理の一例であり、そのたの様々な態様によるブレンド処理が適用可能である。
［３．画像処理装置の実行する距離情報算出処理シーケンスについて］
次に、図１０以下のフローチャートを参照して、画像処理装置の実行する距離情報算出処理シーケンスについて説明する。
図１０〜図１２に示すフローチャートは、画像処理装置１００の実行する３種類の異なる距離情報算出処理シーケンスを説明するフローチャートである。
具体的には、それぞれ以下の態様の距離情報算出処理シーケンスに対応する。
（１）ステレオ距離信頼度と、ＴＯＦ距離信頼度の２つの信頼度情報を用いた処理シーケンス（図１０）
（２）ＴＯＦ距離信頼度のみの１つの信頼度情報を用いた処理シーケンス（図１１）
（３）ＴＯＦ距離信頼度のみの１つの信頼度情報を用い、ステレオ距離情報、またはＴＯＦ距離情報のいずれかを、画素単位で選択して最終距離情報とする処理シーケンス（図１２）
なお、図１０以下に示すフローチャートは、例えば記憶部に格納された処理プログラムに従った処理を実行するＣＰＵ等を備えた制御部（データ処理部）の制御の下で実行される。
以下、図１０に示すフローチャートの各ステップの処理について、順次、説明する。
［３−１．ステレオ距離信頼度と、ＴＯＦ距離信頼度の２つの信頼度情報を用いた処理シーケンスについて］
まず、図１０に示すフローチャートを参照して、ステレオ距離信頼度と、ＴＯＦ距離信頼度の２つの信頼度情報を用いた処理シーケンスについて説明する。
以下、各ステップの処理について、順次、説明する。
（ステップＳ１０１ａ，１０１ｂ）
ステップＳ１０１ａ，１０１ｂは、画像撮影処理である。
図１、図２に示す第１撮像部１０７と、第２撮像部１０８において２枚の画像が撮影される。
ステップＳ１０１ａは、図２に示す第１撮像部１０７における可視光画像２００の撮影処理である。
ステップＳ１０１ｂは、図２に示す第２撮像部１０８における可視光＋赤外光画像２０１の撮影処理である。
（ステップＳ１０２）
ステップＳ１０２は、図２に示す赤外光（ＩＲ）分離部１２１の実行する処理である。
赤外光（ＩＲ）分離部１２１は、ステップＳ１０２において、ステップＳ１０１ｂで第２撮像部１０８が撮影した可視光＋赤外光画像２０１を入力し、赤外光（ＩＲ）分離処理を実行し、図２に示す可視光画像２０２と、赤外光画像２０３を生成する。
この赤外光（ＩＲ）分離処理は、先に図３を参照して説明した処理である。
（ステップＳ１０３）
次のステップＳ１０３の処理は、図２に示すＴＯＦ方式距離算出部１２３の実行する処理である。
ＴＯＦ方式距離算出部１２３は、ステップＳ１０３において、ＴＯＦ（Ｔｉｍｅ ｏｆ
Ｆｌｉｇｈｔ）方式に従った被写体距離算出処理を実行する。
ＴＯＦ方式距離算出部１２３は、ステップＳ１０２において赤外光（ＩＲ）分離部１２１の生成した赤外光画像２０３を利用して、図２に示す第２撮像部１０８の赤外光（ＩＲ）照射部１１３の赤外光照射タイミングから、第２撮像素子１１２における赤外光受光タイミングまでの時間を計測し、被写体距離を算出する。
なお、この被写体距離算出は、画素単位、または所定数の画素からなる画素領域単位で実行される。
（ステップＳ１０４）
次のステップＳ１０４の処理は、図２に示すステレオ方式距離算出部１２２の実行する処理である。
ステレオ方式距離算出部１２２は、ステップＳ１０４において、ステレオ方式に従った被写体距離算出処理を実行する。
具体的には、ステップＳ１０１ａにおいて、第１撮像部１０７が撮影した可視光画像２００と、ステップＳ１０１ｂにおいて第２撮像部１０８が撮影し、ステップＳ１０２において生成された可視光画像２０２の２つの画像信号を用いて算出した視差量と、第１撮像部１０７と第２撮像部１０８との間隔である基線長とに基づく三角測量によって被写体までの距離を算出する。
なお、この距離算出は、画像を構成する画素単位、あるいは複数画素からなる画素領域単位で実行される。
（ステップＳ１０５）
次のステップＳ１０５の処理は、図２に示すステレオ距離信頼度判定部１２４の実行する処理である。
ステレオ距離信頼度判定部１２４は、ステップＳ１０５において、ステレオ方式距離算出部１２２の生成した被写体距離情報が信頼できるデータであるか否かを判定し、図２に示すように判定情報からなるステレオ信頼度２０６を生成して被写体距離情報生成部１２６に出力する。
なお、ステレオ距離信頼度判定部１２４の生成するステレオ信頼度２０６には、ステレオ方式距離算出部１２２の生成した画素単位または画素領域単位の被写体距離情報各々についての信頼度情報が含まれる。
ステレオ距離信頼度判定部１２４は、先に図４を参照して説明したように、例えばステレオ方式距離算出部１２２におけるブロックマッチング処理に適用したブロック構成画素の分散値を用いて信頼度を判定する。
ブロック分散値が大である場合、ステレオ距離信頼度βは、より高い値、すなわち１に近い値となる。一方、ブロックの分散値が小さい場合、ステレオ距離信頼度βは、より低い値、すなわち０に近い値となる。
（ステップＳ１０６）
次のステップＳ１０６の処理は、図２に示すＴＯＦ距離信頼度判定部１２５の実行する処理である。
ＴＯＦ距離信頼度判定部１２５は、ステップＳ１０６において、ＴＯＦ方式距離算出部１２３の生成した被写体距離情報が信頼できるデータであるか否かを判定し、図２に示すように判定情報からなるＴＯＦ信頼度２０７を生成して被写体距離情報生成部１２６に出力する。
なお、ＴＯＦ距離信頼度判定部１２５の生成するＴＯＦ信頼度２０６には、ＴＯＦ方式距離算出部１２３の生成した画素単位または画素領域単位の被写体距離情報各々についての信頼度情報が含まれる。
ＴＯＦ距離信頼度判定部１２５の実行する信頼度判定処理は、例えば先に図５を参照して説明した処理である。
すなわち、赤外光（ＩＲ）照射部１１３による赤外光の非照射時における受光素子に対する外的な赤外光の入力両に応じて信頼度を判定する。
赤外光（ＩＲ）照射部１１３による赤外光の非照射時に、赤外光の受光強度が大きい場合、太陽光等、外的要因の赤外光が多いことを意味し、正確なＴＯＦ距離計測が困難となることを意味する。
このように赤外光（ＩＲ）照射部１１３による赤外光非照射時の受光強度が大きい場合、ＴＯＦ方式距離算出部１２３が算出したＴＯＦ距離の信頼度αは、より低い値、すなわち０に近い値となる。
一方、赤外光（ＩＲ）照射部１１３による赤外光非照射時の受光強度が小さい場合、太陽光等、外的要因の赤外光が少ないことを意味し、正確なＴＯＦ距離計測が可能となることを意味する。
このように赤外光（ＩＲ）照射部１１３による赤外光非照射時の受光強度が小さい場合、ＴＯＦ方式距離算出部１２３が算出したＴＯＦ距離の信頼度αは、より高い値、すなわち１に近い値となる。
ＴＯＦ距離信頼度判定部１２５は、ＴＯＦ方式距離算出部１２３が算出したＴＯＦ距離の信頼度αを、例えば画素単位、または画素領域単位で算出する。
この信頼度情報が図２に示すＴＯＦ信頼度２０７である。
ＴＯＦ距離信頼度判定部１２５は、図２に示すように生成したＴＯＦ信頼度２０７を被写体距離情報生成部１２６に出力する。
（ステップＳ１０７）
ステップＳ１０７の処理は、図２に示す被写体距離情報生成部１２６の実行する処理である。
被写体距離情報生成部１２６は、ステレオ距離信頼度２０６、およびＴＯＦ距離信頼度２０７に基づいて、ステレオ距離情報２０４、ＴＯＦ距離情報２０５の信頼度を確認し、いずれかの距離情報を選択、または２つの距離情報の合成結果を生成して最終出力距離情報として生成する。
なお、この処理は、画素単位、または所定数の画素から構成される画素領域単位で実行される。
被写体距離情報生成部１２６は、ステレオ信頼度２０６や、ＴＯＦ信頼度２０７に基づいて、信頼度の高いと判定されるいずれか一方の距離情報を選択、あるいはブレンド処理によって新たな距離情報を生成し、これらのいずれかを最終的な距離情報、すなわち距離（デプス）情報１５２として出力する。
この具体的な処理例については、図６〜図９を参照して説明した通りである。
（ステップＳ１０８）
次に、ステップＳ１０８において、最終的な距離情報の生成が、全画素について完了したか否かを判定する。
完了していない画素がある場合は、ステップＳ１０５に戻り、未処理画素について、ステップＳ１０５以下の処理を実行する。
ステップＳ１０８において、最終的な距離情報の生成が全画素について完了したと判定すると、処理を終了する。
この時点で、図２に示す距離（デプス）情報１５２が画像処理部１２０から出力される。
この距離（デプス）情報１５２は、
（ａ）ステレオ距離情報、
（ｂ）ＴＯＦ距離情報、
（ｃ）ステレオ距離情報とＴＯＦ距離情報の合成距離情報、
上記（ａ）〜（ｃ）いずれかの距離情報が画素単位、または画素領域単位で設定された距離（デプス）情報である。
各画素に対応付けられた距離情報は、信頼度の高い距離情報が選択されており、画像全体について、高精度な距離情報が出力されることになる。
［３−２．ＴＯＦ距離信頼度のみの１つの信頼度情報を用いた処理シーケンスについて］
次に、図１１に示すフローチャートを参照して、ＴＯＦ距離信頼度のみの１つの信頼度情報を用いた処理シーケンスについて説明する。
以下、各ステップの処理について、順次、説明する。
（ステップＳ１０１〜Ｓ１０４）
ステップＳ１０１〜Ｓ１０４の処理は、先に図１０のフローチャートを参照して説明したステップＳ１０１〜Ｓ１０４の処理と同様の処理である。
ステップＳ１０１ａは、図２に示す第１撮像部１０７における可視光画像２００の撮影処理である。
ステップＳ１０１ｂは、図２に示す第２撮像部１０８における可視光＋赤外光画像２０１の撮影処理である。
ステップＳ１０２は、図２に示す赤外光（ＩＲ）分離部１２１の実行する処理であり、第２撮像部１０８が撮影した可視光＋赤外光画像２０１を入力し、赤外光（ＩＲ）分離処理を実行し、図２に示す可視光画像２０２と、赤外光画像２０３を生成する。
ステップＳ１０３の処理は、図２に示すＴＯＦ方式距離算出部１２３の実行するＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式に従った被写体距離算出処理である。赤外光（ＩＲ）分離部１２１の生成した赤外光画像２０３を利用して、被写体距離（ＴＯＦ距離）を算出する。
ステップＳ１０４の処理は、図２に示すステレオ方式距離算出部１２２の実行する処理である。ステレオ方式距離算出部１２２は、第１撮像部１０７が撮影した可視光画像２００と、第２撮像部１０８が撮影画像から得られた可視光画像２０２の２つの画像信号を用いて被写体距離（ステレオ距離）を算出する。
なお、この距離算出は、画像を構成する画素単位、あるいは複数画素からなる画素領域単位で実行される。
（ステップＳ１５１）
次のステップＳ１５１の処理は、図２に示すＴＯＦ距離信頼度判定部１２５の実行する処理である。
ＴＯＦ距離信頼度判定部１２５は、ステップＳ１５１において、ＴＯＦ方式距離算出部１２３の生成した被写体距離情報が信頼できるデータであるか否かを判定し、図２に示すように判定情報からなるＴＯＦ信頼度２０７を生成して被写体距離情報生成部１２６に出力する。
なお、ＴＯＦ距離信頼度判定部１２５の生成するＴＯＦ信頼度２０６には、ＴＯＦ方式距離算出部１２３の生成した画素単位または画素領域単位の被写体距離情報各々についての信頼度情報が含まれる。
ＴＯＦ距離信頼度判定部１２５の実行する信頼度判定処理は、例えば先に図５を参照して説明した処理である。
すなわち、赤外光（ＩＲ）照射部１１３による赤外光の非照射時における受光素子に対する外的な赤外光の入力両に応じて信頼度を判定する。
赤外光（ＩＲ）照射部１１３による赤外光の非照射時に、赤外光の受光強度が大きい場合、太陽光等、外的要因の赤外光が多いことを意味し、正確なＴＯＦ距離計測が困難となることを意味する。
このように赤外光（ＩＲ）照射部１１３による赤外光非照射時の受光強度が大きい場合、ＴＯＦ方式距離算出部１２３が算出したＴＯＦ距離の信頼度αは、より低い値、すなわち０に近い値となる。
一方、赤外光（ＩＲ）照射部１１３による赤外光非照射時の受光強度が小さい場合、太陽光等、外的要因の赤外光が少ないことを意味し、正確なＴＯＦ距離計測が可能となることを意味する。
このように赤外光（ＩＲ）照射部１１３による赤外光非照射時の受光強度が小さい場合、ＴＯＦ方式距離算出部１２３が算出したＴＯＦ距離の信頼度αは、より高い値、すなわち１に近い値となる。
ＴＯＦ距離信頼度判定部１２５は、ＴＯＦ方式距離算出部１２３が算出したＴＯＦ距離の信頼度αを、例えば画素単位、または画素領域単位で算出する。
この信頼度情報が図２に示すＴＯＦ信頼度２０７である。
ＴＯＦ距離信頼度判定部１２５は、図２に示すように生成したＴＯＦ信頼度２０７を被写体距離情報生成部１２６に出力する。
（ステップＳ１５２）
ステップＳ１５２の処理は、図２に示す被写体距離情報生成部１２６の実行する処理である。
被写体距離情報生成部１２６は、ＴＯＦ距離信頼度２０７に基づいて、
（ａ）ステレオ距離情報、
（ｂ）ＴＯＦ距離情報、
（ｃ）ステレオ距離情報とＴＯＦ距離情報の合成距離情報、
これらのいずれかの距離情報を最終出力距離情報として生成する。
なお、この処理は、画素単位、または所定数の画素から構成される画素領域単位で実行される。
本例では、ステレオ信頼度２０６は用いず、ＴＯＦ信頼度２０７のみに基づいて出力情報を生成して、距離（デプス）情報１５２として出力する。
（ステップＳ１５３）
次に、ステップＳ１５３において、最終的な距離情報の生成が、全画素について完了したか否かを判定する。
完了していない画素がある場合は、ステップＳ１５１に戻り、未処理画素について、ステップＳ１５１以下の処理を実行する。
ステップＳ１５３において、最終的な距離情報の生成が全画素について完了したと判定すると、処理を終了する。
この時点で、図２に示す距離（デプス）情報１５２が画像処理部１２０から出力される。
この距離（デプス）情報１５２は、
（ａ）ステレオ距離情報、
（ｂ）ＴＯＦ距離情報、
（ｃ）ステレオ距離情報とＴＯＦ距離情報の合成距離情報、
上記（ａ）〜（ｃ）いずれかの距離情報が画素単位、または画素領域単位で設定された距離（デプス）情報である。
各画素に対応付けられた距離情報は、信頼度の高い距離情報が選択されており、画像全体について、高精度な距離情報が出力されることになる。
［３−３．ＴＯＦ距離信頼度のみの１つの信頼度情報を用い、ステレオ距離情報、またはＴＯＦ距離情報のいずれかを、画素単位で選択して最終距離情報とする処理シーケンスについて］
次に、図１２に示すフローチャートを参照して、ＴＯＦ距離信頼度のみの１つの信頼度情報を用い、ステレオ距離情報、またはＴＯＦ距離情報のいずれかを、画素単位で選択して最終距離情報とする処理シーケンスについて説明する。
以下、各ステップの処理について、順次、説明する。
（ステップＳ１０１〜Ｓ１０４）
ステップＳ１０１〜Ｓ１０４の処理は、先に図１０のフローチャートを参照して説明したステップＳ１０１〜Ｓ１０４の処理と同様の処理である。
ステップＳ１０１ａは、図２に示す第１撮像部１０７における可視光画像２００の撮影処理である。
ステップＳ１０１ｂは、図２に示す第２撮像部１０８における可視光＋赤外光画像２０１の撮影処理である。
ステップＳ１０２は、図２に示す赤外光（ＩＲ）分離部１２１の実行する処理であり、第２撮像部１０８が撮影した可視光＋赤外光画像２０１を入力し、赤外光（ＩＲ）分離処理を実行し、図２に示す可視光画像２０２と、赤外光画像２０３を生成する。
ステップＳ１０３の処理は、図２に示すＴＯＦ方式距離算出部１２３の実行するＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式に従った被写体距離算出処理である。赤外光（ＩＲ）分離部１２１の生成した赤外光画像２０３を利用して、被写体距離（ＴＯＦ距離）を算出する。
ステップＳ１０４の処理は、図２に示すステレオ方式距離算出部１２２の実行する処理である。ステレオ方式距離算出部１２２は、第１撮像部１０７が撮影した可視光画像２００と、第２撮像部１０８が撮影画像から得られた可視光画像２０２の２つの画像信号を用いて被写体距離（ステレオ距離）を算出する。
なお、この距離算出は、画像を構成する画素単位、あるいは複数画素からなる画素領域単位で実行される。
（ステップＳ１８１）
次のステップＳ１８１の処理は、図２に示すＴＯＦ距離信頼度判定部１２５の実行する処理である。
ＴＯＦ距離信頼度判定部１２５は、ステップＳ１８１において、ＴＯＦ方式距離算出部１２３の生成した被写体距離情報が信頼できるデータであるか否かを判定し、図２に示すように判定情報からなるＴＯＦ信頼度２０７を生成して被写体距離情報生成部１２６に出力する。
なお、ＴＯＦ距離信頼度判定部１２５の生成するＴＯＦ信頼度２０６には、ＴＯＦ方式距離算出部１２３の生成した画素単位または画素領域単位の被写体距離情報各々についての信頼度情報が含まれる。
ＴＯＦ距離信頼度判定部１２５の実行する信頼度判定処理は、例えば先に図５を参照して説明した処理である。
すなわち、赤外光（ＩＲ）照射部１１３による赤外光の非照射時における受光素子に対する外的な赤外光の入力両に応じて信頼度を判定する。
赤外光（ＩＲ）照射部１１３による赤外光の非照射時に、赤外光の受光強度が大きい場合、太陽光等、外的要因の赤外光が多いことを意味し、正確なＴＯＦ距離計測が困難となることを意味する。
このように赤外光（ＩＲ）照射部１１３による赤外光非照射時の受光強度が大きい場合、ＴＯＦ方式距離算出部１２３が算出したＴＯＦ距離の信頼度αは、より低い値、すなわち０に近い値となる。
一方、赤外光（ＩＲ）照射部１１３による赤外光非照射時の受光強度が小さい場合、太陽光等、外的要因の赤外光が少ないことを意味し、正確なＴＯＦ距離計測が可能となることを意味する。
このように赤外光（ＩＲ）照射部１１３による赤外光非照射時の受光強度が小さい場合、ＴＯＦ方式距離算出部１２３が算出したＴＯＦ距離の信頼度αは、より高い値、すなわち１に近い値となる。
ＴＯＦ距離信頼度判定部１２５は、ＴＯＦ方式距離算出部１２３が算出したＴＯＦ距離の信頼度αを、例えば画素単位、または画素領域単位で算出する。
この信頼度情報が図２に示すＴＯＦ信頼度２０７である。
ＴＯＦ距離信頼度判定部１２５は、図２に示すように生成したＴＯＦ信頼度２０７を被写体距離情報生成部１２６に出力する。
（ステップＳ１８２）
ステップＳ１８２〜Ｓ１８４の処理は、図２に示す被写体距離情報生成部１２６の実行する処理である。
被写体距離情報生成部１２６は、ＴＯＦ距離信頼度２０７に基づいて、
（ａ）ステレオ距離情報、
（ｂ）ＴＯＦ距離情報、
これらのいずれかの距離情報を最終出力距離情報として生成する。
なお、この処理は、画素単位、または所定数の画素から構成される画素領域単位で実行される。
本例では、ステレオ距離情報とＴＯＦ距離情報を合成する処理を実行せず、ステレオ距離情報、ＴＯＦ距離情報のいずれかを画素単位で選択して最終出力距離情報とする。
ステップＳ１８２において、ＴＯＦ信頼度２０７が低い、すなわち既定しきい値未満であるか否かを判定し、既定しきい値未満でありＴＯＦ信頼度２０７が低いと判定した場合は、ステップＳ１８３に進む。
一方、ＴＯＦ信頼度２０７が低くない、すなわち既定しきい値以上であると判定し、ＴＯＦ信頼度２０７が高いと判定した場合は、ステップＳ１８４に進む。
（ステップＳ１８３）
ステップＳ１８２において、ＴＯＦ信頼度２０７が低いと判定した場合は、被写体距離情報生成部１２６は、ステップＳ１８３において、最終出力距離情報としてステレオ距離情報を選択する。
（ステップＳ１８４）
一方、ステップＳ１８２において、ＴＯＦ信頼度２０７が低くないと判定した場合は、被写体距離情報生成部１２６は、ステップＳ１８４において、最終出力距離情報としてＴＯＦ距離情報を選択する。
（ステップＳ１８５）
次に、ステップＳ１８５において、最終的な距離情報の生成が、全画素について完了したか否かを判定する。
完了していない画素がある場合は、ステップＳ１８１に戻り、未処理画素について、ステップＳ１８１以下の処理を実行する。
ステップＳ１８５において、最終的な距離情報の生成が全画素について完了したと判定すると、処理を終了する。
この時点で、図２に示す距離（デプス）情報１５２が画像処理部１２０から出力される。
この距離（デプス）情報１５２は、
（ａ）ステレオ距離情報、
（ｂ）ＴＯＦ距離情報、
上記（ａ）〜（ｂ）いずれかの距離情報が画素単位、または画素領域単位で設定された距離（デプス）情報である。
各画素に対応付けられた距離情報は、信頼度の高い距離情報が選択されており、画像全体について、高精度な距離情報が出力されることになる。
［４．画質を向上させた合成画像を生成する画像処理部の構成と処理について］
次に、図１３以下を参照して、画質を向上させた合成画像を生成する画像処理部の構成と処理について説明する。
前述したように、画像処理部１２０は、撮像部１０６から入力する２枚の画像を入力し、これら２枚の画像を適用して、被写体距離（デプス）を示す距離（デプス）情報１５２を生成するとともに、２枚の画像を合成することでノイズを低減させた高画質画像としての画像１５１を生成する。
以下、画像処理部１２０における画質を向上させた合成画像の生成処理について説明する。
図１３は、画像処理装置１００の画像処理部１２０の一部構成を示すブロック図である。
図１３には、画像処理部１２０の構成中、合成画像４１０の生成処理に適用する構成を示している。
図１３に示ように、画像処理部１２０は、赤外光（ＩＲ）分離部１２１、画像合成部３００を有する。
画像処理部１２０に対する入力信号は、以下の各信号である。
（１）第１撮像部１０７から入力する可視光画像２００、
（２）第２撮像部１０８から入力する可視光＋赤外光画像２０１、
まず、赤外光（ＩＲ）分離部１２１が、第２撮像部１０８から入力する可視光＋赤外光画像２０１を入力し、可視光＋赤外光画像２０１の赤外光（ＩＲ）分離処理を実行する。
赤外光（ＩＲ）分離部１２１の実行する赤外光（ＩＲ）分離処理は、先に図３を参照して説明した処理である。
画像合成部３００には、以下の画像が入力される。
（１）第１撮像部１０７の撮影画像である可視光画像２００、
（２）第２撮像部１０８撮影画像から生成された可視光画像２０２、
画像合成部３００の構成と処理例について、図１４を参照して説明する。
図１４に示すように、画像合成部３００は、画像ずれ検出部３０１、ブレンド率算出部３０２、ブレンド実行部３０３を有する。
画像ずれ検出部３０１は、以下の２つの画像を入力する。
（１）第１撮像部１０７の撮影画像である可視光画像２００、
（２）第２撮像部１０８撮影画像から生成された可視光画像２０２、
画像ずれ検出部３０１は、これら２つの画像について、画像の位置ずれを検出するる。画素単位の位置ずれ量を算出し、画素単位のずれ量データからなるずれ情報３１１を生成してブレンド率算出部３０２に出力する。
ブレンド率算出部３０２は、画像ずれ検出部３０１から入力する「ずれ情報３１１」、すなわち画素単位のずれ量に基づいて２つの画像、すなわち、
（１）第１撮像部１０７の撮影画像である可視光画像２００、
（２）第２撮像部１０８撮影画像から生成された可視光画像２０２、
これら２つの画像の対応位置、すなわち同一座標位置の画素同士のブレンド率を算出する。
具体的には、ずれ量が小さい画素については、ブレンド率を高く設定し、ずれ量の大きい画素についてはブレンド率を小さく設定する。
例えば図１５に示すグラフのような設定でブレンド率を決定する。
図１５に示すグラフは、横軸が、２つの画像の対応画素の位置ずれ量、縦軸がブレンド率を示す。
ブレント率＝１は、２つの画像の対応位置の画素を１：１でブレンド（合成）することを示す。ブレンド率＝０は、ブレンドせず、一方の画像の画素値をそのまま出力することを意味する。
ブレンド率算出部３０２は、このように、画像ずれ検出部３０１から入力する「ずれ情報３１１」、すなわち画素単位のずれ量に基づいて２つの画像の対応位置、すなわち同一座標位置の画素同士のブレンド率を算出する。
図１４に示すように、算出したブレンド率３１２は、ブレンド実行部３０３に出力される。
ブレンド実行部３０３は、ブレンド率算出部３０２から入力した「ずれ情報３１１」、すなわち画素単位のずれ量に基づいて２つの画像の対応位置、すなわち同一座標位置の画素同士のブレンド処理を実行し、合成画像４１０を生成して出力する。
合成画像４１０は、２つの画像の合成により、ノイズの低減された高品質な画像となる。
なお、この合成処理によって期待される画質向上のレベルは、画像を撮影する撮像部の撮像素子の構成によって異なる。
撮像素子構成と期待される画質向上態様の対応関係について、図１６を参照して説明する。
図１６には、第１撮像部と第２撮像部が、各々、ベイヤ配列、すなわちＲＧＢ画素配列である場合と、ホワイト配列、すなわちＷＢ画素配列である場合、これらの４通りの組み合わせとした場合、上述した２つの画像の合成処理によって実現される画質向上態様を示している。
２つの撮像部がいずれもベイヤ配列である場合、輝度信号と、クロマ信号（色、彩度）のいずれの信号についてもノイズ低減効果が得られる。
また、少なくともいずれか一方がホワイト配列の撮像素子である場合は、輝度信号のみについてノイズ低減効果が得られる。
［５．画像処理装置の実行する合成画像生成処理シーケンスについて］
次に、図１７に示すフローチャートを参照して、画像処理装置の実行する画質を向上させた合成画像の生成処理シーケンスについて説明する。
以下、各ステップの処理について、順次、説明する。
（ステップＳ２０１）
ステップＳ２０１ａは、図２に示す第１撮像部１０７における可視光画像２００の撮影処理である。
ステップＳ２０１ｂは、図２に示す第２撮像部１０８における可視光＋赤外光画像２０１の撮影処理である。
（ステップＳ２０２）
ステップＳ２０２は、図２に示す赤外光（ＩＲ）分離部１２１の実行する処理であり、第２撮像部１０８が撮影した可視光＋赤外光画像２０１を入力し、赤外光（ＩＲ）分離処理を実行し、図２に示す可視光画像２０２と、赤外光画像２０３を生成する。
図１３、図１４に示すように、画像合成部３００には、以下の画像が入力される。
（１）第１撮像部１０７の撮影画像である可視光画像２００、
（２）第２撮像部１０８撮影画像から生成された可視光画像２０２、
（ステップＳ２０３）
ステップＳ２０３の処理は、図１４に示す画像合成部３００の画像ずれ検出部３０１の実行する処理である。
画像ずれ検出部３０１は、以下の２つの画像を入力する。
（１）第１撮像部１０７の撮影画像である可視光画像２００、
（２）第２撮像部１０８撮影画像から生成された可視光画像２０２、
画像ずれ検出部３０１は、これら２つの画像について、画像の位置ずれを検出するる。画素単位の位置ずれ量を算出し、画素単位のずれ量データからなるずれ情報３１１を生成してブレンド率算出部３０２に出力する。
（ステップＳ２０４）
ステップＳ２０４の処理は、図１４に示す画像合成部３００のブレンド率算出部３０２の実行する処理である。
ブレンド率算出部３０２は、画像ずれ検出部３０１から入力する「ずれ情報３１１」、すなわち画素単位のずれ量に基づいて２つの画像、すなわち、
（１）第１撮像部１０７の撮影画像である可視光画像２００、
（２）第２撮像部１０８撮影画像から生成された可視光画像２０２、
これら２つの画像の対応位置、すなわち同一座標位置の画素同士のブレンド率を算出する。
具体的には、ずれ量が小さい画素については、ブレンド率を高く設定し、ずれ量の大きい画素についてはブレンド率を小さく設定する。算出したブレンド率３１２は、ブレンド実行部３０３に出力される。
（ステップＳ２０５）
ステップＳ２０５の処理は、図１４に示す画像合成部３００のブレンド実行部３０３の実行する処理である。
ブレンド実行部３０３は、ブレンド率算出部３０２から入力した「ずれ情報３１１」、すなわち画素単位のずれ量に基づいて２つの画像の対応位置、すなわち同一座標位置の画素同士のブレンド処理を実行し、各画素の補正画素値を算出する。
（ステップＳ２０６）
次に、ステップＳ２０６において、補正画素値算出が全画素について完了したか否かを判定する。
完了していない画素がある場合は、ステップＳ２０３戻り、未処理画素について、ステップＳ２０３以下の処理を実行する。
ステップＳ２０６において、補正画素値算出が全画素について完了したと判定すると、ステップＳ２０７に進む。
（ステップＳ２０７）
図１４に示す画像合成部３００のブレンド実行部３０３は、補正画素値算出が全画素について完了すると、補正画素値を設定した合成画像４１０をむ生成して出力する。
合成画像４１０は、２つの画像の合成により、ノイズの低減された高品質な画像となる。
［６．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） ２つの異なる視点からの撮影画像である第１画像と第２画像を入力して、被写体距離を示す距離情報を生成する画像処理部を有し、
前記画像処理部は、
前記第２画像の赤外光成分を利用してＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式に従った被写体距離であるＴＯＦ距離を算出するＴＯＦ方式距離算出部と、
前記第１画像と前記第２画像の可視光成分を利用してステレオ方式に従った被写体距離であるステレオ距離を算出するステレオ方式距離算出部と、
前記ＴＯＦ距離の信頼度を判定するＴＯＦ距離信頼度判定部と、
前記ＴＯＦ距離の信頼度が低い画素領域について、前記ステレオ距離、または、ＴＯＦ距離とステレオ距離の合成距離情報を最終的な距離情報として生成する被写体距離情報生成部を有する画像処理装置。
（２） 前記画像処理装置は、
前記第２画像を可視光成分画像と赤外光成分画像に分離する赤外光分離部を有し、
前記ＴＯＦ方式距離算出部は、前記赤外光分離部の生成した赤外光成分画像を利用した被写体距離算出処理を実行し、
前記ステレオ方式距離算出部は、前記赤外光分離部の生成した可視光成分画像を利用した被写体距離算出処理を実行する（１）に記載の画像処理装置。
（３） 前記ＴＯＦ距離信頼度判定部は、
赤外光非照射時における前記第２撮像部の撮影画像である前記第２画像に含まれる赤外光成分の量に応じてＴＯＦ距離の信頼度を判定する（１）または（２）に記載の画像処理装置。
（４） 前記画像処理装置は、さらに、
前記ステレオ方式距離算出部の算出した被写体距離であるステレオ距離の信頼度を判定するステレオ距離信頼度判定部を有し、
前記被写体距離情報生成部は、
前記ステレオ距離の信頼度が低い画素領域について、前記ＴＯＦ距離、または、ＴＯＦ距離とステレオ距離の合成処理によって算出した距離情報を最終的な距離情報として生成する（１）〜（３）いずれかに記載の画像処理装置。
（５） 前記ステレオ距離信頼度判定部は、
前記ステレオ方式距離算出部におけるブロックマッチング処理に適用したブロック構成画素の画素値の分散値に応じてステレオ距離の信頼度を判定する（４）に記載の画像処理装置。
（６） 前記被写体距離情報生成部は、
画素または画素領域単位の前記ＴＯＦ距離の信頼度に応じて、画素または画素領域単位で、
（ａ）ステレオ距離、
（ｂ）ＴＯＦ距離、
（ｃ）ステレオ距離とＴＯＦ距離の合成距離、
上記（ａ）〜（ｃ）いずれかの距離情報を最終的な距離情報として生成する（１）〜（５）いずれかに記載の画像処理装置。
（７） 前記被写体距離情報生成部は、
画素または画素領域単位の前記ステレオ距離の信頼度に応じて、画素または画素領域単位で、
（ａ）ステレオ距離、
（ｂ）ＴＯＦ距離、
（ｃ）ステレオ距離とＴＯＦ距離の合成距離、
上記（ａ）〜（ｃ）いずれかの距離情報を最終的な距離情報として生成する（１）〜（６）いずれかに記載の画像処理装置。
（８） 可視光成分から構成される第１画像を撮影する第１撮像部と、
可視光成分と赤外光成分を含む第２画像を撮影する第２撮像部と、
前記第１画像と前記第２画像を入力して、被写体距離を示す距離情報を生成する画像処理部を有し、
前記画像処理部は、
前記第２画像を利用してＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式に従った被写体距離算出を実行するＴＯＦ方式距離算出部と、
前記第１画像と前記第２画像を利用してステレオ方式に従った被写体距離算出を実行するステレオ方式距離算出部と、
前記ＴＯＦ方式距離算出部の算出した被写体距離であるＴＯＦ距離の信頼度を判定するＴＯＦ距離信頼度判定部と、
前記ＴＯＦ距離の信頼度に基づいて、最終的な距離情報を生成する被写体距離情報生成部を有し、
前記被写体距離情報生成部は、
前記ＴＯＦ距離の信頼度が低い画素領域について、前記ステレオ方式に従った被写体距離であるステレオ距離、または、ＴＯＦ距離とステレオ距離の合成処理によって算出した距離情報を最終的な距離情報として生成する撮像装置。
（９） ２つの異なる視点からの撮影画像である第１画像と第２画像を入力して、合成画像を生成する画像処理部を有し、
前記第１画像は可視光成分から構成される画像であり、前記第２画像は可視光成分と赤外光成分を含む画像であり、
前記画像処理部は、
前記第２画像を可視光成分画像と赤外光成分画像に分離する赤外光分離部と、
前記第１画像と、前記赤外光分離部が前記第２画像に基づいて生成した可視光成分画像との合成処理を実行する画像合成部を有する画像処理装置。
（１０） 前記画像合成部は、
前記第１画像と、前記赤外光分離部が前記第２画像に基づいて生成した可視光成分画像との画素単位の位置ずれ量を算出する画像ずれ算出部と、
前記画像ずれ算出部の算出した位置ずれ量に応じて前記第１画像と、前記赤外光分離部が前記第２画像に基づいて生成した可視光成分画像との画素単位のブレンド率を算出するブレンド率算出部と、
前記ブレンド率算出部の算出したブレンド率に従って、前記第１画像と、前記赤外光分離部が前記第２画像に基づいて生成した可視光成分画像との画素単位のブレンド処理を実行するブレンド実行部を有する（９）に記載の画像処理装置。
（１１） 前記画像処理装置は、さらに、
前記第２画像を利用してＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式に従った被写体距離算出を実行するＴＯＦ方式距離算出部を有する（９）または（１０）に記載の画像処理装置。
（１２） 前記画像処理装置は、さらに、
前記第１画像と前記第２画像を利用してステレオ方式に従った被写体距離算出を実行するステレオ方式距離算出部を有する（９）〜（１１）いずれかに記載の画像処理装置。
（１３） 画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、２つの異なる視点からの撮影画像である第１画像と第２画像を入力して、被写体距離を示す距離情報を生成する画像処理部を有し、
前記画像処理部が、
前記第２画像の赤外光成分を利用してＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式に従った被写体距離であるＴＯＦ距離を算出するＴＯＦ方式距離算出処理と、
前記第１画像と前記第２画像の可視光成分を利用してステレオ方式に従った被写体距離であるステレオ距離を算出するステレオ方式距離算出処理と、
前記ＴＯＦ距離の信頼度を判定するＴＯＦ距離信頼度判定処理と、
前記ＴＯＦ距離の信頼度が低い画素領域について、前記ステレオ距離、または、ＴＯＦ距離とステレオ距離の合成距離情報を最終的な距離情報として生成する被写体距離情報生成処理を実行する画像処理方法。
（１４） 画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、
２つの異なる視点からの撮影画像である第１画像と第２画像を入力して、合成画像を生成する画像処理部を有し、
前記第１画像は可視光成分から構成される画像であり、前記第２画像は可視光成分と赤外光成分を含む画像であり、
前記画像処理部が、
前記第２画像を可視光成分画像と赤外光成分画像に分離する赤外光分離処理と、
前記第１画像と、前記第２画像に基づいて生成した可視光成分画像との合成処理を実行する画像処理方法。
（１５） 画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、２つの異なる視点からの撮影画像である第１画像と第２画像を入力して、被写体距離を示す距離情報を生成する画像処理部を有し、
前記プログラムは、前記画像処理部に、
前記第２画像の赤外光成分を利用してＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式に従った被写体距離であるＴＯＦ距離を算出するＴＯＦ方式距離算出処理と、
前記第１画像と前記第２画像の可視光成分を利用してステレオ方式に従った被写体距離であるステレオ距離を算出するステレオ方式距離算出処理と、
前記ＴＯＦ距離の信頼度を判定するＴＯＦ距離信頼度判定処理と、
前記ＴＯＦ距離の信頼度が低い画素領域について、前記ステレオ距離、または、ＴＯＦ距離とステレオ距離の合成距離情報を最終的な距離情報として生成する被写体距離情報生成処理を実行させるプログラム。
（１６） 画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、
２つの異なる視点からの撮影画像である第１画像と第２画像を入力して、合成画像を生成する画像処理部を有し、
前記第１画像は可視光成分から構成される画像であり、前記第２画像は可視光成分と赤外光成分を含む画像であり、
前記プログラムは、前記画像処理部に、
前記第２画像を可視光成分画像と赤外光成分画像に分離する赤外光分離処理と、
前記第１画像と、前記第２画像に基づいて生成した可視光成分画像との合成処理を実行させるプログラム。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本開示の一実施例の構成によれば、被写体の正確な距離情報の生成を行う装置、方法が実現される。
具体的には、可視光成分から構成される第１画像と、可視光成分と赤外光成分を含む第２画像を入力して被写体距離を算出する画像処理部を有し、画像処理部は、第２画像を利用してＴＯＦ方式に従って算出される被写体距離であるＴＯＦ距離と、第１画像と第２画像を利用してステレオ方式に従って算出されるステレオ距離の２つの距離情報を算出し、ＴＯＦ距離の信頼度を示すＴＯＦ距離信頼度を判定し、ＴＯＦ距離の信頼度が低い画素領域について、ステレオ方式に従った被写体距離であるステレオ距離、または、ＴＯＦ距離とステレオ距離の合成処理によって算出した距離情報を最終的な距離情報として生成する。
これらの処理により、被写体の正確な距離情報の生成を行う装置、方法が実現される。
１００ 画像処理装置
１０１ 制御部
１０２ 記憶部
１０３ コーデック
１０４ 入力部
１０５ 出力部
１０６ 撮像部
１０７ 第１撮像部
１０８ 第２撮像部
１１１ 第１撮像素子
１１２ 第２撮像素子
１１３ 赤外光（ＩＲ）照射部
１２０ 画像処理部
１２１ 赤外光（ＩＲ）分離部
１２２ ステレオ方式距離算出部
１２３ ＴＯＦ方式距離算出部
１２４ ステレオ距離信頼度判定部
１２５ ＴＯＦ距離信頼度判定部
１２６ 被写体距離情報生成部
１５１ 画像
１５２ 距離（デプス）情報
３００ 画像合成部
３０１ 画像ずれ検出部
３０２ ブレンド率算出部
３０３ ブレンド実行部
４１０ 合成画像

Claims (16)

  1. ２つの異なる視点からの撮影画像である第１画像と第２画像を入力して、被写体距離を示す距離情報を生成する画像処理部を有し、
    前記画像処理部は、
    前記第２画像の赤外光成分を利用してＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式に従った被写体距離であるＴＯＦ距離を算出するＴＯＦ方式距離算出部と、
    前記第１画像と前記第２画像の可視光成分を利用してステレオ方式に従った被写体距離であるステレオ距離を算出するステレオ方式距離算出部と、
    前記ＴＯＦ距離の信頼度を判定するＴＯＦ距離信頼度判定部と、
    前記ＴＯＦ距離の信頼度が低い画素領域について、前記ステレオ距離、または、ＴＯＦ距離とステレオ距離の合成距離情報を最終的な距離情報として生成する被写体距離情報生成部を有する画像処理装置。
  2. 前記画像処理装置は、
    前記第２画像を可視光成分画像と赤外光成分画像に分離する赤外光分離部を有し、
    前記ＴＯＦ方式距離算出部は、前記赤外光分離部の生成した赤外光成分画像を利用した被写体距離算出処理を実行し、
    前記ステレオ方式距離算出部は、前記赤外光分離部の生成した可視光成分画像を利用した被写体距離算出処理を実行する請求項１に記載の画像処理装置。
  3. 前記ＴＯＦ距離信頼度判定部は、
    赤外光非照射時における前記第２撮像部の撮影画像である前記第２画像に含まれる赤外光成分の量に応じてＴＯＦ距離の信頼度を判定する請求項１に記載の画像処理装置。
  4. 前記画像処理装置は、さらに、
    前記ステレオ方式距離算出部の算出した被写体距離であるステレオ距離の信頼度を判定するステレオ距離信頼度判定部を有し、
    前記被写体距離情報生成部は、
    前記ステレオ距離の信頼度が低い画素領域について、前記ＴＯＦ距離、または、ＴＯＦ距離とステレオ距離の合成処理によって算出した距離情報を最終的な距離情報として生成する請求項１に記載の画像処理装置。
  5. 前記ステレオ距離信頼度判定部は、
    前記ステレオ方式距離算出部におけるブロックマッチング処理に適用したブロック構成画素の画素値の分散値に応じてステレオ距離の信頼度を判定する請求項４に記載の画像処理装置。
  6. 前記被写体距離情報生成部は、
    画素または画素領域単位の前記ＴＯＦ距離の信頼度に応じて、画素または画素領域単位で、
    （ａ）ステレオ距離、
    （ｂ）ＴＯＦ距離、
    （ｃ）ステレオ距離とＴＯＦ距離の合成距離、
    上記（ａ）〜（ｃ）いずれかの距離情報を最終的な距離情報として生成する請求項１に記載の画像処理装置。
  7. 前記被写体距離情報生成部は、
    画素または画素領域単位の前記ステレオ距離の信頼度に応じて、画素または画素領域単位で、
    （ａ）ステレオ距離、
    （ｂ）ＴＯＦ距離、
    （ｃ）ステレオ距離とＴＯＦ距離の合成距離、
    上記（ａ）〜（ｃ）いずれかの距離情報を最終的な距離情報として生成する請求項４に記載の画像処理装置。
  8. 可視光成分から構成される第１画像を撮影する第１撮像部と、
    可視光成分と赤外光成分を含む第２画像を撮影する第２撮像部と、
    前記第１画像と前記第２画像を入力して、被写体距離を示す距離情報を生成する画像処理部を有し、
    前記画像処理部は、
    前記第２画像を利用してＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式に従った被写体距離算出を実行するＴＯＦ方式距離算出部と、
    前記第１画像と前記第２画像を利用してステレオ方式に従った被写体距離算出を実行するステレオ方式距離算出部と、
    前記ＴＯＦ方式距離算出部の算出した被写体距離であるＴＯＦ距離の信頼度を判定するＴＯＦ距離信頼度判定部と、
    前記ＴＯＦ距離の信頼度に基づいて、最終的な距離情報を生成する被写体距離情報生成部を有し、
    前記被写体距離情報生成部は、
    前記ＴＯＦ距離の信頼度が低い画素領域について、前記ステレオ方式に従った被写体距離であるステレオ距離、または、ＴＯＦ距離とステレオ距離の合成処理によって算出した距離情報を最終的な距離情報として生成する撮像装置。
  9. ２つの異なる視点からの撮影画像である第１画像と第２画像を入力して、合成画像を生成する画像処理部を有し、
    前記第１画像は可視光成分から構成される画像であり、前記第２画像は可視光成分と赤外光成分を含む画像であり、
    前記画像処理部は、
    前記第２画像を可視光成分画像と赤外光成分画像に分離する赤外光分離部と、
    前記第１画像と、前記赤外光分離部が前記第２画像に基づいて生成した可視光成分画像との合成処理を実行する画像合成部を有する画像処理装置。
  10. 前記画像合成部は、
    前記第１画像と、前記赤外光分離部が前記第２画像に基づいて生成した可視光成分画像との画素単位の位置ずれ量を算出する画像ずれ算出部と、
    前記画像ずれ算出部の算出した位置ずれ量に応じて前記第１画像と、前記赤外光分離部が前記第２画像に基づいて生成した可視光成分画像との画素単位のブレンド率を算出するブレンド率算出部と、
    前記ブレンド率算出部の算出したブレンド率に従って、前記第１画像と、前記赤外光分離部が前記第２画像に基づいて生成した可視光成分画像との画素単位のブレンド処理を実行するブレンド実行部を有する請求項９に記載の画像処理装置。
  11. 前記画像処理装置は、さらに、
    前記第２画像を利用してＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式に従った被写体距離算出を実行するＴＯＦ方式距離算出部を有する請求項９に記載の画像処理装置。
  12. 前記画像処理装置は、さらに、
    前記第１画像と前記第２画像を利用してステレオ方式に従った被写体距離算出を実行するステレオ方式距離算出部を有する請求項９に記載の画像処理装置。
  13. 画像処理装置において実行する画像処理方法であり、
    前記画像処理装置は、２つの異なる視点からの撮影画像である第１画像と第２画像を入力して、被写体距離を示す距離情報を生成する画像処理部を有し、
    前記画像処理部が、
    前記第２画像の赤外光成分を利用してＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式に従った被写体距離であるＴＯＦ距離を算出するＴＯＦ方式距離算出処理と、
    前記第１画像と前記第２画像の可視光成分を利用してステレオ方式に従った被写体距離であるステレオ距離を算出するステレオ方式距離算出処理と、
    前記ＴＯＦ距離の信頼度を判定するＴＯＦ距離信頼度判定処理と、
    前記ＴＯＦ距離の信頼度が低い画素領域について、前記ステレオ距離、または、ＴＯＦ距離とステレオ距離の合成距離情報を最終的な距離情報として生成する被写体距離情報生成処理を実行する画像処理方法。
  14. 画像処理装置において実行する画像処理方法であり、
    前記画像処理装置は、
    ２つの異なる視点からの撮影画像である第１画像と第２画像を入力して、合成画像を生成する画像処理部を有し、
    前記第１画像は可視光成分から構成される画像であり、前記第２画像は可視光成分と赤外光成分を含む画像であり、
    前記画像処理部が、
    前記第２画像を可視光成分画像と赤外光成分画像に分離する赤外光分離処理と、
    前記第１画像と、前記第２画像に基づいて生成した可視光成分画像との合成処理を実行する画像処理方法。
  15. 画像処理装置において画像処理を実行させるプログラムであり、
    前記画像処理装置は、２つの異なる視点からの撮影画像である第１画像と第２画像を入力して、被写体距離を示す距離情報を生成する画像処理部を有し、
    前記プログラムは、前記画像処理部に、
    前記第２画像の赤外光成分を利用してＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式に従った被写体距離であるＴＯＦ距離を算出するＴＯＦ方式距離算出処理と、
    前記第１画像と前記第２画像の可視光成分を利用してステレオ方式に従った被写体距離であるステレオ距離を算出するステレオ方式距離算出処理と、
    前記ＴＯＦ距離の信頼度を判定するＴＯＦ距離信頼度判定処理と、
    前記ＴＯＦ距離の信頼度が低い画素領域について、前記ステレオ距離、または、ＴＯＦ距離とステレオ距離の合成距離情報を最終的な距離情報として生成する被写体距離情報生成処理を実行させるプログラム。
  16. 画像処理装置において画像処理を実行させるプログラムであり、
    前記画像処理装置は、
    ２つの異なる視点からの撮影画像である第１画像と第２画像を入力して、合成画像を生成する画像処理部を有し、
    前記第１画像は可視光成分から構成される画像であり、前記第２画像は可視光成分と赤外光成分を含む画像であり、
    前記プログラムは、前記画像処理部に、
    前記第２画像を可視光成分画像と赤外光成分画像に分離する赤外光分離処理と、
    前記第１画像と、前記第２画像に基づいて生成した可視光成分画像との合成処理を実行させるプログラム。
JP2018505774A 2016-03-15 2017-02-27 画像処理装置、撮像装置、および画像処理方法、並びにプログラム Abandoned JPWO2017159312A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016050426 2016-03-15
JP2016050426 2016-03-15
PCT/JP2017/007463 WO2017159312A1 (ja) 2016-03-15 2017-02-27 画像処理装置、撮像装置、および画像処理方法、並びにプログラム

Publications (1)

Publication Number Publication Date
JPWO2017159312A1 true JPWO2017159312A1 (ja) 2019-01-24

Family

ID=59851557

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018505774A Abandoned JPWO2017159312A1 (ja) 2016-03-15 2017-02-27 画像処理装置、撮像装置、および画像処理方法、並びにプログラム

Country Status (3)

Country Link
US (1) US20210183096A1 (ja)
JP (1) JPWO2017159312A1 (ja)
WO (1) WO2017159312A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018042801A1 (ja) * 2016-09-01 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 撮像装置
JP7059076B2 (ja) * 2018-03-30 2022-04-25 キヤノン株式会社 画像処理装置、その制御方法、プログラム、記録媒体
AU2019248023B2 (en) * 2018-04-05 2023-03-16 Efficiency Matrix Pty Ltd Computer implemented structural thermal audit systems and methods
CN112470458B (zh) * 2018-07-23 2023-02-28 新唐科技日本株式会社 距离测定装置及可靠性判定方法
JP2020173128A (ja) * 2019-04-09 2020-10-22 ソニーセミコンダクタソリューションズ株式会社 測距センサ、信号処理方法、および、測距モジュール
CN111835959B (zh) * 2019-04-17 2022-03-01 杭州海康微影传感科技有限公司 用于双光融合的方法和装置
CN110428381B (zh) * 2019-07-31 2022-05-06 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、移动终端及存储介质
US11659290B2 (en) * 2020-07-21 2023-05-23 Canon Kabushiki Kaisha Light detection system
JP7505312B2 (ja) * 2020-07-29 2024-06-25 株式会社リコー 光投射装置、物体検出装置、及び移動体
JP2022041219A (ja) * 2020-08-31 2022-03-11 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 制御装置、測距センサ、撮像装置、制御方法、及びプログラム
US20220268899A1 (en) 2021-02-22 2022-08-25 Shenzhen Camsense Technologies Co., Ltd Ranging apparatus, lidar, and mobile robot
JP7439006B2 (ja) * 2021-03-18 2024-02-27 株式会社東芝 距離推定装置及び距離推定方法
JP7450668B2 (ja) 2022-06-30 2024-03-15 維沃移動通信有限公司 顔認識方法、装置、システム、電子機器および読み取り可能記憶媒体

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2900737B2 (ja) * 1993-02-01 1999-06-02 トヨタ自動車株式会社 車間距離検出装置
JPH10250506A (ja) * 1997-03-07 1998-09-22 Calsonic Corp 乗物用距離測定装置および外乱検出方法
JP3855812B2 (ja) * 2002-03-15 2006-12-13 ソニー株式会社 距離計測方法、その装置、そのプログラム、その記録媒体及び距離計測装置搭載型ロボット装置
JP4452951B2 (ja) * 2006-11-02 2010-04-21 富士フイルム株式会社 距離画像生成方法及びその装置
US8027029B2 (en) * 2007-11-07 2011-09-27 Magna Electronics Inc. Object detection and tracking system
JP4939639B2 (ja) * 2010-09-28 2012-05-30 シャープ株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
JP2012138787A (ja) * 2010-12-27 2012-07-19 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP5924833B2 (ja) * 2011-09-22 2016-05-25 シャープ株式会社 画像処理装置、画像処理方法、画像処理プログラム、及び撮像装置

Also Published As

Publication number Publication date
US20210183096A1 (en) 2021-06-17
WO2017159312A1 (ja) 2017-09-21

Similar Documents

Publication Publication Date Title
WO2017159312A1 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
US10306141B2 (en) Image processing apparatus and method therefor
US9237252B2 (en) Signal intensity matching of image sensors
TWI767985B (zh) 用於處理影像性質圖的方法及裝置
JP2012239103A (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2013094635A1 (ja) 画像処理装置、撮像装置および表示装置
WO2013031367A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP4346634B2 (ja) 目標物検出装置
JP6833415B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US9432641B2 (en) Image processing device and program
TW201029443A (en) Method and device for generating a depth map
JP4818393B2 (ja) 画像処理方法および画像処理装置
US9489751B2 (en) Image processing apparatus and image processing method for color correction based on pixel proximity and color similarity
JP2020129276A (ja) 画像処理装置、画像処理方法、およびプログラム
KR20110016505A (ko) 컬러 조정
JP6825617B2 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP6624785B2 (ja) 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体
JP2017050857A (ja) 画像処理装置、画像処理方法およびプログラム
JP5932392B2 (ja) 画像処理装置および画像処理方法
JP5881005B2 (ja) 画像処理装置、画像撮像装置、画像表示装置、画像処理方法およびプログラム
JP5743456B2 (ja) 画像処理装置、画像処理方法及び撮像装置
JP2009302960A (ja) 映像信号処理装置並びにプログラム及び方法
JP2012044560A5 (ja)
JP6332982B2 (ja) 画像処理装置およびその方法
JP2018160024A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200115

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20200518