JPWO2020105092A1 - 画像処理方法および画像処理装置 - Google Patents

画像処理方法および画像処理装置 Download PDF

Info

Publication number
JPWO2020105092A1
JPWO2020105092A1 JP2020557043A JP2020557043A JPWO2020105092A1 JP WO2020105092 A1 JPWO2020105092 A1 JP WO2020105092A1 JP 2020557043 A JP2020557043 A JP 2020557043A JP 2020557043 A JP2020557043 A JP 2020557043A JP WO2020105092 A1 JPWO2020105092 A1 JP WO2020105092A1
Authority
JP
Japan
Prior art keywords
image
depth
reliability
edge
visible light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020557043A
Other languages
English (en)
Other versions
JP7036227B2 (ja
Inventor
竜一 赤司
竜一 赤司
慶一 蝶野
慶一 蝶野
塚田　正人
正人 塚田
知里 舟山
知里 舟山
貴裕 戸泉
貴裕 戸泉
有加 荻野
有加 荻野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2020105092A1 publication Critical patent/JPWO2020105092A1/ja
Application granted granted Critical
Publication of JP7036227B2 publication Critical patent/JP7036227B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

画像処理方法は、屋内環境でも屋外環境でも、物体の影や背景などからの反射光の影響を受けることなく前景を検出するために、可視光画像から第１の前景尤度を生成するステップと、可視光画像の撮影対象と同じ撮影対象のデプス画像から第２の前景尤度を生成するステップと、少なくとも可視光画像とデプス画像とを用いて、デプス画像の信頼度を生成するステップと、デプス画像の信頼度を重みとして、第１の前景尤度と第２の前景尤度とから撮影対象の前景尤度を決定するステップとを含む。

Description

本発明は、入力画像から前景を検出する画像処理方法および画像処理装置に関する。
画像から対象物体を抽出するために、背景差分と呼ばれる方法が知られている。背景差分は、事前に取得された背景画像と、観測画像とを比較することによって、背景画像には存在しない対象物体を抽出する方法である。なお、背景画像に存在しない物体が占める領域（対象物体が占める領域）を前景領域といい、それ以外の領域を背景領域という。
特許文献１には、背景差分を利用して、背景（背景物体）に対する前景（対象物体）の状態を検出する物体検出装置が記載されている。具体的には、図１４に示すように、物体検出装置５０において、近赤外光を発する投射部（光源）５１が、対象物体が存在する領域（照射領域）に光を照射する。近赤外光を受光する測距部５２は、背景に適する露光条件で投射部５１から出射された光の照射領域からの反射光を受光する。測距部５２は、受光に基づく距離計測によって背景デプスマップを生成する。また、測距部５２は、前景に適する露光条件で投射部５１から出射された光の照射領域からの反射光を受光する。測距部５２は、受光に基づく距離計測によって前景デプスマップを生成する。
状態判定部５３は、背景デプスマップと前景デプスマップとの差分を計算する。そして、状態判定部５３は、差分に基づいて、前景の状態を検出する。
測距部５２において可視光カメラが用いられると、物体の影や床面などの背景面からの反射光が、対象物体の誤検知の原因になる。しかし、測距部５２において近赤外光カメラを用いることによって、物体の影などの影響が低減される。
しかし、近赤外光は、太陽光にも含まれる。すると、近赤外光カメラ（近赤外線カメラ）を利用する物体検出装置は、太陽光の影響を受けて、正確な距離計測ができない。すなわち、特許文献１に記載されたような物体検出装置は、屋外での使用には適さない。
非特許文献１には、太陽光スペクトルモデルを用いた画像処理装置が記載されている。具体的には、図１５に示すように、画像処理装置６０において、日時指定部６１は、太陽光スペクトルの算出に用いられる日時を指定する。位置指定部６２は、太陽光スペクトルの算出に用いられる位置を指定する。
太陽光スペクトル算出部６３は、日時指定部６１から入力した日時と、位置指定部６２から入力した位置とを用いて、太陽光モデルを用いた方法で、太陽光スペクトルを算出する。太陽光スペクトル算出部６３は、太陽光スペクトルを含む信号を予測背景算出部６４に出力する。
予測背景算出部６４には、屋外で撮影された入力画像（ＲＧＢ画像）を含む信号（入力画像信号）Ｖｉｎも入力される。予測背景算出部６４は、入力画像の色情報と、太陽光スペクトルとを用いて、予測背景を算出する。予測背景は、最も実際の背景に近いと予測される画像を意味する。予測背景算出部６４は、予測背景を予測背景出力部６５に出力する。予測背景出力部６５は、予測背景をＶｏｕｔとしてそのまま出力してもよいが、前景尤度を出力してもよい。
前景尤度を出力する場合、予測背景出力部６５は、例えば、予測背景と入力画像信号との差分に基づいて前景尤度を得る。
画像処理装置６０は、屋外で撮影された入力画像から予測背景または前景尤度を得ることができる。しかし、画像処理装置６０が、屋内で撮影された入力画像から前景尤度を得ることは困難である。屋内で使用される場合、太陽光スペクトルを算出する代わりに、屋内の照明光スペクトルを算出することが考えられるが、照明光スペクトルは未知であるからである。
特開２０１７−１２５７６４号公報
A. Sato, et al., "Foreground Detection Robust Against Cast Shadows in Outdoor Daytime Environment", ICIAP 2015, Part II, LNCS 9280, pp. 653-664, 2015
以上に説明したように、屋内環境において精度よく前景を検出する技術と屋外環境において精度よく前景を検出する技術とはそれぞれ存在する。しかし、特許文献１に記載された装置および非非特許文献１に記載された装置は、屋内環境と屋外環境とのいずれにおいても精度よく前景を検出するということはできない。
本発明は、屋内環境でも屋外環境でも、物体の影や背景などからの反射光の影響を受けることなく前景を検出できる画像処理方法および画像処理装置を提供することを目的とする。
本発明による画像処理方法は、可視光画像から第１の前景尤度を生成し、可視光画像の撮影対象と同じ撮影対象のデプス画像から第２の前景尤度を生成し、少なくとも可視光画像とデプス画像とを用いて、デプス画像の信頼度を生成し、デプス画像の信頼度を重みとして、第１の前景尤度と第２の前景尤度とから撮影対象の前景尤度を決定する。
本発明による画像処理装置は、可視光画像から第１の前景尤度を生成する第１の尤度生成手段と、可視光画像の撮影対象と同じ撮影対象のデプス画像から第２の前景尤度を生成する第２の尤度生成手段と、少なくとも可視光画像とデプス画像とを用いて、デプス画像の信頼度を生成するデプス信頼度生成手段と、デプス画像の信頼度を重みとして、第１の前景尤度と第２の前景尤度とから撮影対象の前景尤度を決定する前景検出手段とを含む。
本発明による画像処理プログラムは、コンピュータに、可視光画像から第１の前景尤度を生成する処理と、可視光画像の撮影対象と同じ撮影対象のデプス画像から第２の前景尤度を生成する処理と、少なくとも可視光画像とデプス画像とを用いて、デプス画像の信頼度を生成する処理と、デプス画像の信頼度を重みとして、第１の前景尤度と第２の前景尤度とから撮影対象の前景尤度を決定する処理とを実行させる。
本発明によれば、屋内環境でも屋外環境でも、物体の影や背景などからの反射光の影響を受けることなく前景を検出できる。
第１の実施形態の画像処理装置の構成例を示すブロック図である。 第１の実施形態におけるデプス信頼度生成部の構成例を示すブロック図である。 第１の実施形態の画像処理装置の動作を示すフローチャートである。 太陽からの直射光および環境光を説明するための説明図である。 前景尤度の生成方法の一例を示す説明図である。 第２の実施形態の画像処理装置の構成例を示すブロック図である。 第２の実施形態におけるデプス信頼度生成部の構成例を示すブロック図である。 第２の実施形態の画像処理装置の動作を示すフローチャートである。 第３の実施形態の画像処理装置の構成例を示すブロック図である。 第３の実施形態におけるデプス信頼度生成部の構成例を示すブロック図である。 第３の実施形態の画像処理装置の動作を示すフローチャートである。 ＣＰＵを有するコンピュータの一例を示すブロック図である。 画像処理装置の主要部を示すブロック図である。 物体検出装置を示すブロック図である。 非特許文献１に記載された画像処理装置を示すブロック図である。
以下、本発明の実施形態を図面を参照して説明する。
実施形態１．
図１は、画像処理装置の第１の実施形態の構成例を示すブロック図である。図１に示す例では、画像処理装置１０は、可視光前景尤度生成部１１、デプス前景尤度生成部１２、デプス信頼度生成部１３、および前景検出部１４を備える。
可視光前景尤度生成部１１は、少なくともフレームの可視光画像からフレーム内の所定領域ごとの可視光画像の前景尤度を生成する。デプス前景尤度生成部１２は、少なくともフレームのデプス画像（デプス値（距離）が濃淡で表現された画像）から所定領域ごとのデプス画像前景尤度を生成する。デプス信頼度生成部１３は、少なくともフレームのデプス画像から所定領域ごとのデプス画像信頼度を生成する。前景検出部１４は、可視光画像前景尤度、デプス画像前景尤度およびデプス画像信頼度に基づいて、物体の影や物体からの反射の影響が除外された前景を検出する。
本実施形態では、可視光画像は、一般的な可視光画像取得手段（例えば、可視光カメラ４１）で取得される。デプス画像（距離画像）は、近赤外光を用いるＴｏＦ（Time of Flight）カメラなどの距離画像取得手段（例えば、デプスカメラ４２）で取得される。しかし、可視光画像およびデプス画像を取得するための機器はそれらに限られない。例えば、可視光画像を取得する機能も有するＴｏＦカメラなどが用いられてもよい。
なお、画像処理装置１０は、あらかじめ記憶部（図示せず）に記憶されている可視光画像を入力してもよい。また、画像処理装置１０は、あらかじめ記憶部（図示せず）に記憶されているデプス画像を入力してもよい。
図２は、デプス信頼度生成部１３の構成例を示すブロック図である。図２に示す例では、デプス信頼度生成部１３は、観測値勾配算出部１３１、測距不能画素判定部１３２、第１のエッジ検出部１３３、第２のエッジ検出部１３４、およびデプス信頼度決定部１３６を備えている。
観測値勾配算出部１３１は、可視光画像の撮影対象と同じ撮影対象のデプス画像における各小領域の観測値の勾配を算出する。小領域のサイズは、任意である。小領域のサイズは、一例として、５×５画素である。測距不能画素判定部１３２は、小領域ごとに、デプス画像における各画素が測距不能（距離取得不能）であるか否か判定する。第１のエッジ検出部１３３は、デプス画像におけるエッジを、小領域ごとに検出する。第２のエッジ検出部１３４は、可視光画像におけるエッジを、小領域ごとに検出する。デプス信頼度決定部１３６は、観測値の勾配、測距不能画素、デプス画像におけるエッジおよび可視光画像におけるエッジを使用してデプス画像信頼度を算出する。
なお、本実施形態では、デプス信頼度決定部１３６は、観測値の勾配、測距不能画素、デプス画像におけるエッジおよび可視光画像におけるエッジに関する情報を使用するが、デプス信頼度決定部１３６は、それらの情報のうちの一部を使用してもよい。また、デプス信頼度決定部１３６は、それらの情報に加えて、他の情報も使用してもよい。
次に、画像処理装置１０の動作を図３のフローチャートを参照して説明する。
可視光前景尤度生成部１１は、太陽光スペクトルモデルを利用して、可視光画像の前景尤度を生成する（ステップＳ１１）。可視光前景尤度生成部１１は、様々の方法で前景尤度を生成することができる。一例として、可視光前景尤度生成部１１は、非特許文献１に記載された方法を使用する。
図４は、太陽１からの直射光および環境光を説明するための説明図である。図４には、前景としての物体（例えば人物）２と、直射光による物体２の影３も示されている。
可視光前景尤度生成部１１は、まず、カメラの撮影位置および撮影時刻における太陽光（直射光および環境光）のスペクトルを算出する。可視光前景尤度生成部１１は、スペクトルを色情報に変換する。色情報は、例えば、ＲＧＢ色空間における各チャネルの情報である。色情報を、（１）式のように表現する。
Figure 2020105092
直射光および環境光の画素値（例えば、ＲＧＢ値）は、以下のように表される。（２）式において、ｐ，ｑ，ｒは、直射光または環境光の強度を表す係数である。以下、画素値は、ＲＧＢ色空間におけるＲＧＢ値であるとする。その場合、（１）式および（２）式における上付き添字ｃは、Ｒ値、Ｇ値、Ｂ値のいずれかを表す。
Figure 2020105092
可視光前景尤度生成部１１は、入力された可視光画像（この例では、ＲＧＢ画像）と太陽光スペクトルから予測背景を算出する。可視光画像における背景のＲＧＢ値をBcとすると、予測背景を、以下のように表すことができる。
Figure 2020105092
（３）式において、ｍ＝（ｐ＋ｑ）／１、ｎ＝ｑ／１である。入力された可視光画像のＲＧＢ値をCiとすると、可視光前景尤度生成部１１は、CiとBcとの差を最小にするｍ，ｎを求める。可視光前景尤度生成部１１は、求められたｍ，ｎを（３）式に代入して、予測背景画像のＲＧＢ値を得る。
そして、可視光前景尤度生成部１１は、正規化された可視光画像のＲＧＢ値Ciと正規化された予測背景画像のＲＧＢ値との差を前景尤度とする。なお、可視光前景尤度生成部１１は、当該差に対して何らかの加工を施した値を前景尤度としてもよい。
デプス前景尤度生成部１２は、デプス画像における画素ごとの前景尤度（デプス画像前景尤度）を生成する（ステップＳ１２）。図５は、前景尤度の生成方法の一例を示す説明図である。
デプス前景尤度生成部１２は、デプス画像の前景尤度を生成するために、過去の複数フレームのデプス画像における画素ごとの画素値（輝度値）のヒストグラムを作成する。背景は静止しているので、複数フレームに亘って同じような画素値が現れる位置は、背景に含まれている可能性が高い。前景は移動する可能性があるので、複数フレームに亘って画素値がばらつくような位置は、前景に含まれている可能性が高い。
デプス前景尤度生成部１２は、画素値のヒストグラムがガウス分布または混合ガウス分布で近似し、ガウス分布または混合ガウス分布から前景尤度を導出する。
なお、そのような前景尤度の生成は一例であって、デプス前景尤度生成部１２は、公知の様々な前景尤度の生成方法を用いることができる。
次いで、デプス信頼度生成部１３は、ステップＳ２１〜Ｓ２４の処理を実行した後、ステップＳ３１の処理でデプス画像信頼度を生成する。
デプス信頼度生成部１３において、観測値勾配算出部１３１は、デプス画像における小領域ごとに、画素の観測値（輝度値）の勾配を算出する（ステップＳ２１）。また、測距不能画素判定部１３２は、小領域ごとに、画素が測距不能画素であるか否か判定する（ステップＳ２２）。測距不能画素判定部１３２は、一例として、画素値が０である画素を測距不能画素であるとする。なお、画素値が０であるということは、近赤外光の反射光が得られないことに相当するとして、測距不能画素判定部１３２は、画素値が０である画素を測距不能画素とする。
第１のエッジ検出部１３３は、デプス画像における小領域ごとに、エッジを検出する（ステップＳ２３）。第２のエッジ検出部１３４は、可視光画像における小領域ごとに、エッジを検出する（ステップＳ２４）。
デプス信頼度決定部１３６は、例えば、以下のようにしてデプス画像信頼度を決定する（ステップＳ３１）。
デプス信頼度決定部１３６は、観測値の勾配が小さい領域に対して高い信頼度を付与する。観測値の勾配が小さいことはデプス画像において空間的な距離差が小さい（滑らかである。）ことに相当する。滑らかな領域は、物体の影や反射光の影響を受けることなく、安定して距離が観測できていると考えられるので、デプス信頼度決定部１３６は、当該領域に高い信頼度を付与する。
また、デプス信頼度決定部１３６は、測距不能画素からなる領域に、低い信頼度を付与する。
さらに、デプス信頼度決定部１３６は、デプス画像においてエッジが存在する位置と、可視光画像においてエッジが存在する位置とが共通する領域が存在する場合、デプス画像における当該領域に高い信頼度を付与する。
エッジは観測値の勾配が所定のしきい値を越える部分であるが、雑音が大きい領域でもある。しかし、デプス画像において、可視光画像でもエッジが存在する位置と同じ位置にエッジが存在する場合には、デプス画像におけるエッジは、雑音で形成された偽のエッジではないといえる。すなわち、デプス信頼度決定部１３６は、可視光画像におけるエッジを参照することによって、デプス画像においてエッジと判定された部分の信頼度を上げる。
また、デプス信頼度決定部１３６は、可視光画像において、デプス画像においてエッジが存在する位置と同じ位置にエッジが存在しない場合には、デプス画像におけるエッジが存在する領域に対して低い信頼度を付与する。
デプス信頼度決定部１３６は、簡便には、高い信頼度として「１」（最大値）を設定し低い信頼度として「０」（最小値）を設定することができる。しかし、デプス信頼度決定部１３６は、画像処理装置１０の主たる使用環境等に応じた信頼度を設定することができる。
デプス画像に高い信頼度が付与されるということは、デプス画像における前景が、可視光画像における前景よりも、最終的に決定される前景または前景尤度により強く反映されることを意味する。
なお、デプス信頼度決定部１３６は、測距不能画素からなる領域に信頼度「０」または０に近い信頼度を付与し、その他の領域（測距不能画素以外の画素が含まれる領域）には、可視光画像における当該領域とデプス画像における当該領域との正規化相互相関を信頼度として付与してもよい。
前景検出部１４は、前景または前景尤度（最終的な前景尤度）を決定する（ステップＳ３２）。前景検出部１４は、以下に述べるように、可視光前景尤度生成部１１が生成した可視光画像前景尤度と、デプス前景尤度生成部１２が生成したデプス画像前景尤度と、デプス信頼度生成部１３が生成したデプス画像信頼度とを用いる。
可視光画像前景尤度Pv(x,y) 、デプス画像前景尤度をPd(x,y)、デプス画像信頼度をS(x,y)とする。x はｘ座標値を示し、y はｙ座標値を示す。
前景検出部１４は、下記の（４）式を用いて最終的な前景尤度P(x,y)を決定する。
P(x,y) = {1-S(x,y)}・Pv(x,y) + S(x,y)・Pd(x,y) ・・・（４）
なお、前景検出部１４は、前景尤度P(x,y)を２値化して前景領域を決定し、前景を出力してもよい。２値化は、例えば、所定のしきい値を越える画素値の画素を前景の画素とする処理である。
また、図３には、各ステップが順次実行されるフローチャートが示されているが、画像処理装置１０は、ステップＳ１１の処理、ステップＳ１２の処理、およびステップＳ２１〜Ｓ２４の処理を並列実行することが可能である。また、デプス信頼度生成部１３は、ステップＳ２１〜Ｓ２４のそれぞれの処理を並列実行することが可能である。
以上に説明したように、本実施形態では、画像処理装置１０において、可視光前景尤度生成部１１は、太陽光スペクトルモデルを利用して、可視光画像の前景尤度を生成し、デプス前景尤度生成部１２は、デプス画像前景尤度を生成し、デプス信頼度生成部１３は、デプス画像前景尤度の信頼度（デプス画像信頼度）を生成する。そして、前景検出部１４は、デプス画像信頼度を重みとして、可視光画像の前景尤度とデプス画像前景尤度とから最終的な前景尤度を決定するので、屋内環境および屋外環境の双方において、物体の影や反射光の影響を受けることなく前景の検出を行うことが可能になる。
実施形態２．
第１の実施形態の画像処理装置１０は、可視光画像におけるエッジとデプス画像におけるエッジとを比較したが、第２の実施形態では、画像処理装置は、可視光画像におけるエッジと近赤外画像におけるエッジとを比較する。
図６は、第２の実施形態の画像処理装置の構成例を示すブロック図である。
図６に示す画像処理装置２０において、デプス信頼度生成部１３Ｂは、近赤外画像取得手段（例えば、近赤外光カメラ４３）からの近赤外画像も入力する。デプス信頼度生成部１３Ｂは、可視光画像におけるエッジと近赤外画像におけるエッジとを比較する。画像処理装置２０のその他の構成は、画像処理装置１０の構成と同じである。
なお、画像処理装置２０は、あらかじめ記憶部（図示せず）に記憶されている近赤外画像を入力してもよい。
図７は、デプス信頼度生成部１３Ｂの構成例を示すブロック図である。図７に示す例では、デプス信頼度生成部１３Ｂにおける第３のエッジ検出部１３５は、デプス画像の撮影対象と同じ撮影対象の近赤外画像におけるエッジを検出する。デプス信頼度生成部１３Ｂのその他の構成は、デプス信頼度生成部１３の構成と同じである。
図８は、第２の実施形態の画像処理装置２０の動作を示すフローチャートである。
第３のエッジ検出部１３５は、近赤外画像における小領域ごとに、エッジを検出する（ステップＳ２３Ｂ）。なお、ステップＳ２３の処理（図３参照）は実行されない。画像処理装置２０のその他の処理は、第１の実施形態における処理と同じである。ただし、デプス信頼度決定部１３６は、エッジ位置に基づく信頼度を付与するときに、デプス画像におけるエッジ位置と近赤外画像におけるエッジ位置とを比較する。
なお、図８には、各ステップが順次実行されるフローチャートが示されているが、画像処理装置２０は、ステップＳ１１の処理、ステップＳ１２の処理、およびステップＳ２１〜Ｓ２４の処理を並列実行することが可能である。また、デプス信頼度生成部１３Ｂは、ステップＳ２１，Ｓ２２，Ｓ２３Ｂ，Ｓ２４のそれぞれの処理を並列実行することが可能である。
本実施形態でも、画像処理装置１０において、可視光前景尤度生成部１１は、太陽光スペクトルモデルを利用して、可視光画像の前景尤度を生成し、デプス前景尤度生成部１２は、デプス画像前景尤度を生成し、デプス信頼度生成部１３Ｂは、デプス画像前景尤度の信頼度（デプス画像信頼度）を生成する。そして、前景検出部１４は、デプス画像信頼度を重みとして、可視光画像の前景尤度とデプス画像前景尤度とから最終的な前景尤度を決定するので、屋内環境および屋外環境の双方において、物体の影や反射光の影響を受けることなく前景の検出を行うことが可能になる。また、本実施形態では、エッジ位置に基づく信頼度を付与する場合に近赤外画像におけるエッジ位置を利用するので、暗い屋内環境におけるエッジ位置に基づく信頼度の精度が向上することが期待される。
なお、本実施形態では、近赤外光カメラ４３がデプスカメラ４２とは別に設けられているが、デプスカメラ４２として近赤外光を受光するタイプのカメラが用いられる場合には、デプス信頼度生成部１３Ｂは、デプスカメラ４２からの画像（所定の露光時間の間、近赤外光を受光して得られる画像）からエッジを検出してもよい。その場合には、近赤外光カメラ４３は不要である。
実施形態３．
第１の実施形態の画像処理装置１０は、デプス画像におけるエッジと可視光画像におけるエッジとを比較し、第２の実施形態の画像処理装置２０は、デプス画像におけるエッジと近赤外画像におけるエッジとを比較したが、第３の実施形態では、画像処理装置は、デプス画像におけるエッジを、可視光画像におけるエッジおよび近赤外画像におけるエッジと比較する。
図９は、第３の実施形態の画像処理装置の構成例を示すブロック図である。
図９に示す画像処理装置３０においては、デプス信頼度生成部１３Ｃは、近赤外光カメラ４３からの近赤外画像も入力する。デプス信頼度生成部１３Ｃは、デプス画像におけるエッジを、可視光画像におけるエッジおよび近赤外画像におけるエッジと比較する。画像処理装置３０のその他の構成は、画像処理装置１０の構成と同じである。
なお、画像処理装置３０は、あらかじめ記憶部（図示せず）に記憶されている近赤外画像を入力してもよい。
図１０は、デプス信頼度生成部１３Ｃの構成例を示すブロック図である。図１０に示す例では、デプス信頼度生成部１３Ｃにおける第３のエッジ検出部１３５は、デプス画像の撮影対象と同じ撮影対象の近赤外画像におけるエッジを検出する。デプス信頼度生成部１３Ｃのその他の構成は、デプス信頼度生成部１３の構成と同じである。
図１１は、第３の実施形態の画像処理装置３０の動作を示すフローチャートである。
第３のエッジ検出部１３５は、ステップＳ２３の処理を実行するとともに、近赤外画像における小領域ごとにエッジを検出する（ステップＳ２３Ｂ）。画像処理装置２０のその他の処理は、第１の実施形態における処理と同じである。
ただし、デプス信頼度決定部１３６は、エッジ位置に基づく信頼度を付与するときに、デプス画像におけるエッジ位置と近赤外画像におけるエッジ位置とを比較する。
デプス信頼度決定部１３６は、デプス画像においてエッジが存在する位置と、可視光画像においてエッジが存在する位置とが共通する領域が存在する場合、さらに、近赤外画像においてエッジが存在する位置とが共通する領域が存在するときに、デプス画像における当該領域に高い信頼度を付与する。
なお、デプス信頼度決定部１３６は、デプス画像においてエッジが存在する位置と、可視光画像においてエッジが存在する位置とが共通する領域が存在する場合に、デプス画像における当該領域に高い信頼度を付与し、デプス画像においてエッジが存在する位置と、近赤外画像においてエッジが存在する位置とが共通する領域が存在する場合にも、デプス画像における当該領域に高い信頼度を付与するようにしてもよい。
また、図１１には、各ステップが順次実行されるフローチャートが示されているが、画像処理装置３０は、ステップＳ１１の処理、ステップＳ１２の処理、およびステップＳ２１〜Ｓ２４の処理を並列実行することが可能である。また、デプス信頼度生成部１３Ｂは、ステップＳ２１〜Ｓ２４のそれぞれの処理を並列実行することが可能である。
本実施形態でも、画像処理装置１０において、可視光前景尤度生成部１１は、太陽光スペクトルモデルを利用して、可視光画像の前景尤度を生成し、デプス前景尤度生成部１２は、デプス画像前景尤度を生成し、デプス信頼度生成部１３Ｃは、デプス画像前景尤度の信頼度（デプス画像信頼度）を生成する。そして、前景検出部１４は、デプス画像信頼度を重みとして、可視光画像の前景尤度とデプス画像前景尤度とから最終的な前景尤度を決定するので、屋内環境および屋外環境の双方において、物体の影や反射光の影響を受けることなく前景の検出を行うことが可能になる。また、本実施形態では、エッジ位置に基づく信頼度を付与する場合に近赤外画像におけるエッジ位置を利用するので、暗い屋内環境におけるエッジ位置に基づく信頼度の精度が向上することが期待される。
なお、本実施形態では、近赤外光カメラ４３がデプスカメラ４２とは別に設けられているが、デプスカメラ４２として近赤外光を受光するタイプのカメラが用いられる場合には、デプス信頼度生成部１３Ｂは、デプスカメラ４２からの画像（所定の露光時間の間、近赤外光を受光して得られる画像）からエッジを検出してもよい。その場合には、近赤外光カメラ４３は不要である。
また、上記の各実施形態では、画像処理装置１０，２０，３０は、画像における小領域ごとに、勾配検出、測距不能画素判定、およびエッジ検出を行ったが、フレーム全体を対象として、勾配検出、測距不能画素判定、およびエッジ検出を行ってもよい。
上記の実施形態における各構成要素は、１つのハードウェアで構成可能であるが、１つのソフトウェアでも構成可能である。また、各構成要素は、複数のハードウェアでも構成可能であり、複数のソフトウェアでも構成可能である。また、各構成要素のうちの一部をハードウェアで構成し、他部をソフトウェアで構成することもできる。
上記の実施形態における各機能（各処理）を、ＣＰＵ（Central Processing Unit ）等のプロセッサやメモリ等を有するコンピュータで実現可能である。例えば、記憶装置（記憶媒体）に上記の実施形態における方法（処理）を実施するためのプログラムを格納し、各機能を、記憶装置に格納されたプログラムをＣＰＵで実行することによって実現してもよい。
図１２は、ＣＰＵを有するコンピュータの一例を示すブロック図である。コンピュータは、画像処理装置に実装される。ＣＰＵ１０００は、記憶装置１００１に格納されたプログラムに従って処理を実行することによって、上記の実施形態における各機能を実現する。すなわち、図１，図６，図９に示された画像処理装置１０，２０，３０における、可視光前景尤度生成部１１、デプス前景尤度生成部１２、デプス信頼度生成部１３，１３Ｂ，１３Ｃ、および前景検出部１４の機能を実現する。
記憶装置１００１は、例えば、非一時的なコンピュータ可読媒体（non-transitory computer readable medium ）である。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium ）を含む。非一時的なコンピュータ可読媒体の具体例として、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory ）、ＣＤ−Ｒ（Compact Disc-Recordable ）、ＣＤ−Ｒ／Ｗ（Compact Disc-ReWritable ）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM ）、フラッシュＲＯＭ）がある。
また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium ）に格納されてもよい。一時的なコンピュータ可読媒体には、例えば、有線通信路または無線通信路を介して、すなわち、電気信号、光信号または電磁波を介して、プログラムが供給される。
メモリ１００２は、例えばＲＡＭ（Random Access Memory）で実現され、ＣＰＵ１０００が処理を実行するときに一時的にデータを格納する記憶手段である。メモリ１００２に、記憶装置１００１または一時的なコンピュータ可読媒体が保持するプログラムが転送され、ＣＰＵ１０００がメモリ１００２内のプログラムに基づいて処理を実行するような形態も想定しうる。
図１３は、画像処理装置の主要部を示すブロック図である。図１３に示す画像処理装置１００は、可視光画像から第１の前景尤度（例えば、可視光画像前景尤度）を生成する第１の尤度生成手段（実施形態では、可視光前景尤度生成部１１で実現される。）１０１と、可視光画像の撮影対象と同じ撮影対象のデプス画像から第２の前景尤度を生成する第２の尤度生成手段（実施形態では、デプス前景尤度生成部１２で実現される。）１０２と、少なくとも可視光画像とデプス画像とを用いて、デプス画像の信頼度を生成するデプス信頼度生成手段（実施形態では、デプス信頼生成部１３，１３Ｂ，１３Ｃで実現される。）１０３と、デプス画像の信頼度を重みとして、第１の前景尤度と第２の前景尤度とから撮影対象の前景尤度を決定する前景検出手段（実施形態では、前景検出部１４で実現される。）１０４とを備える。
上記の実施形態の一部または全部は、以下の付記のようにも記載され得るが、本発明は、以下に限定されるわけではない。
（付記１）可視光画像から第１の前景尤度を生成し、
前記可視光画像の撮影対象と同じ撮影対象のデプス画像から第２の前景尤度を生成し、
少なくとも前記可視光画像と前記デプス画像とを用いて、前記デプス画像の信頼度を生成し、
前記デプス画像の信頼度を重みとして、前記第１の前景尤度と前記第２の前景尤度とから前記撮影対象の前景尤度を決定する
画像処理方法。
（付記２）前記デプス画像における観測値の勾配が所定値以下である領域に相対的に高い信頼度を付与した上で、前記デプス画像の信頼度を生成する
付記１の画像処理方法。
（付記３）前記デプス画像におけるエッジを検出し、
前記可視光画像におけるエッジを検出し、
前記デプス画像におけるエッジが検出された領域に相当する前記可視光画像における領域においてエッジが検出された場合に、当該領域に相対的に高い信頼度を付与する
付記１または付記２の画像処理方法。
（付記４）前記デプス画像におけるエッジを検出し、
前記デプス画像の撮影対象と同じ撮影対象の近赤外画像におけるエッジを検出し、
前記デプス画像におけるエッジが検出された領域に相当する前記近赤外画像における領域においてエッジが検出された場合に、当該領域に相対的に高い信頼度を付与する
付記１または付記２の画像処理方法。
（付記５）前記デプス画像におけるエッジを検出し、
前記可視光画像におけるエッジを検出し、
前記デプス画像の撮影対象と同じ撮影対象の近赤外画像におけるエッジを検出し、
前記デプス画像におけるエッジが検出された領域に相当する前記可視光画像における領域および前記近赤外画像における領域においてエッジが検出された場合に、当該領域に相対的に高い信頼度を付与する
付記１または付記２の画像処理方法。
（付記６）測距不能画素からなる領域に低い信頼度を与える
付記１から付記５のうちのいずれかの画像処理方法。
（付記７）可視光画像から第１の前景尤度を生成する第１の尤度生成手段と、
前記可視光画像の撮影対象と同じ撮影対象のデプス画像から第２の前景尤度を生成する第２の尤度生成手段と、
少なくとも前記可視光画像と前記デプス画像とを用いて、前記デプス画像の信頼度を生成するデプス信頼度生成手段と、
前記デプス画像の信頼度を重みとして、前記第１の前景尤度と前記第２の前景尤度とから前記撮影対象の前景尤度を決定する前景検出手段と
を備えた画像処理装置。
（付記８）前記デプス信頼度生成手段は、少なくとも前記デプス画像における観測値の勾配を算出する観測値勾配算出部と、前記デプス画像の信頼度を決定するデプス信頼度決定部とを含み、
前記デプス信頼度決定部は、前記デプス画像における観測値の勾配が所定値以下である領域に相対的に高い信頼度を付与する
付記７の画像処理装置。
（付記９）前記デプス信頼度生成手段は、前記デプス画像におけるエッジを検出する第１のエッジ検出部と、前記可視光画像におけるエッジを検出する第２のエッジ検出部と、前記デプス画像の信頼度を決定するデプス信頼度決定部とを含み、
前記デプス信頼度決定部は、前記デプス画像におけるエッジが検出された領域に相当する前記可視光画像における領域においてエッジが検出された場合に、当該領域に相対的に高い信頼度を付与する
付記７または付記８の画像処理装置。
（付記１０）前記デプス信頼度生成手段は、前記デプス画像におけるエッジを検出する第１のエッジ検出部と、前記デプス画像の撮影対象と同じ撮影対象の近赤外画像におけるエッジを検出する第３のエッジ検出部と、前記デプス画像の信頼度を決定するデプス信頼度決定部とを含み、
前記デプス信頼度決定部は、前記デプス画像におけるエッジが検出された領域に相当する前記近赤外画像における領域においてエッジが検出された場合に、当該領域に相対的に高い信頼度を付与する
付記７または付記８の画像処理装置。
（付記１１）前記デプス信頼度生成手段は、前記デプス画像におけるエッジを検出する第１のエッジ検出部と、前記可視光画像におけるエッジを検出する第２のエッジ検出部と、前記デプス画像の撮影対象と同じ撮影対象の近赤外画像におけるエッジを検出する第３のエッジ検出部と、前記デプス画像の信頼度を決定するデプス信頼度決定部とを含み、
前記デプス信頼度決定部は、前記デプス画像におけるエッジが検出された領域に相当する前記可視光画像における領域および前記近赤外画像における領域においてエッジが検出された場合に、当該領域に相対的に高い信頼度を付与する
付記７または付記８の画像処理装置。
（付記１２）前記デプス信頼度生成手段は、前記デプス画像における測距不能画素を検出する測距不能画素判定部を含み、
前記デプス信頼度決定部は、測距不能画素からなる領域に低い信頼度を与える
請求項８から請求項１１のうちのいずれか１項に記載の画像処理装置。
（付記１３）コンピュータに、
可視光画像から第１の前景尤度を生成する処理と、
前記可視光画像の撮影対象と同じ撮影対象のデプス画像から第２の前景尤度を生成する処理と、
少なくとも前記可視光画像と前記デプス画像とを用いて、前記デプス画像の信頼度を生成する処理と、
前記デプス画像の信頼度を重みとして、前記第１の前景尤度と前記第２の前景尤度とから前記撮影対象の前景尤度を決定する処理と
を実行させるための画像処理プログラム。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
１０，２０，３０ 画像処理装置
１１ 可視光前景尤度生成部
１２ デプス前景尤度生成部
１３，１３Ｂ，１３Ｃ デプス信頼度生成部
１４ 前景検出部
４１ 可視光カメラ
４２ デプスカメラ
４３ 近赤外光カメラ
１００ 画像処理装置
１０１ 第１の尤度生成手段
１０２ 第２の尤度生成手段
１０３ デプス信頼度生成手段
１０４ 前景検出手段
１３１ 観測値勾配算出部
１３２ 測距不能画素判定部
１３３ 第１のエッジ検出部
１３４ 第２のエッジ検出部
１３５ 第３のエッジ検出部
１３６ デプス信頼度決定部
１０００ ＣＰＵ
１００１ 記憶装置
１００２ メモリ

Claims (13)

  1. 可視光画像から第１の前景尤度を生成し、
    前記可視光画像の撮影対象と同じ撮影対象のデプス画像から第２の前景尤度を生成し、
    少なくとも前記可視光画像と前記デプス画像とを用いて、前記デプス画像の信頼度を生成し、
    前記デプス画像の信頼度を重みとして、前記第１の前景尤度と前記第２の前景尤度とから前記撮影対象の前景尤度を決定する
    画像処理方法。
  2. 前記デプス画像における観測値の勾配が所定値以下である領域に相対的に高い信頼度を付与した上で、前記デプス画像の信頼度を生成する
    請求項１記載の画像処理方法。
  3. 前記デプス画像におけるエッジを検出し、
    前記可視光画像におけるエッジを検出し、
    前記デプス画像におけるエッジが検出された領域に相当する前記可視光画像における領域においてエッジが検出された場合に、当該領域に相対的に高い信頼度を付与する
    請求項１または請求項２記載の画像処理方法。
  4. 前記デプス画像におけるエッジを検出し、
    前記デプス画像の撮影対象と同じ撮影対象の近赤外画像におけるエッジを検出し、
    前記デプス画像におけるエッジが検出された領域に相当する前記近赤外画像における領域においてエッジが検出された場合に、当該領域に相対的に高い信頼度を付与する
    請求項１または請求項２記載の画像処理方法。
  5. 前記デプス画像におけるエッジを検出し、
    前記可視光画像におけるエッジを検出し、
    前記デプス画像の撮影対象と同じ撮影対象の近赤外画像におけるエッジを検出し、
    前記デプス画像におけるエッジが検出された領域に相当する前記可視光画像における領域および前記近赤外画像における領域においてエッジが検出された場合に、当該領域に相対的に高い信頼度を付与する
    請求項１または請求項２記載の画像処理方法。
  6. 測距不能画素からなる領域に低い信頼度を与える
    請求項１から請求項５のうちのいずれか１項に記載の画像処理方法。
  7. 可視光画像から第１の前景尤度を生成する第１の尤度生成手段と、
    前記可視光画像の撮影対象と同じ撮影対象のデプス画像から第２の前景尤度を生成する第２の尤度生成手段と、
    少なくとも前記可視光画像と前記デプス画像とを用いて、前記デプス画像の信頼度を生成するデプス信頼度生成手段と、
    前記デプス画像の信頼度を重みとして、前記第１の前景尤度と前記第２の前景尤度とから前記撮影対象の前景尤度を決定する前景検出手段と
    を備えた画像処理装置。
  8. 前記デプス信頼度生成手段は、少なくとも前記デプス画像における観測値の勾配を算出する観測値勾配算出部と、前記デプス画像の信頼度を決定するデプス信頼度決定部とを含み、
    前記デプス信頼度決定部は、前記デプス画像における観測値の勾配が所定値以下である領域に相対的に高い信頼度を付与する
    請求項７記載の画像処理装置。
  9. 前記デプス信頼度生成手段は、前記デプス画像におけるエッジを検出する第１のエッジ検出部と、前記可視光画像におけるエッジを検出する第２のエッジ検出部と、前記デプス画像の信頼度を決定するデプス信頼度決定部とを含み、
    前記デプス信頼度決定部は、前記デプス画像におけるエッジが検出された領域に相当する前記可視光画像における領域においてエッジが検出された場合に、当該領域に相対的に高い信頼度を付与する
    請求項７または請求項８記載の画像処理装置。
  10. 前記デプス信頼度生成手段は、前記デプス画像におけるエッジを検出する第１のエッジ検出部と、前記デプス画像の撮影対象と同じ撮影対象の近赤外画像におけるエッジを検出する第３のエッジ検出部と、前記デプス画像の信頼度を決定するデプス信頼度決定部とを含み、
    前記デプス信頼度決定部は、前記デプス画像におけるエッジが検出された領域に相当する前記近赤外画像における領域においてエッジが検出された場合に、当該領域に相対的に高い信頼度を付与する
    請求項７または請求項８記載の画像処理装置。
  11. 前記デプス信頼度生成手段は、前記デプス画像におけるエッジを検出する第１のエッジ検出部と、前記可視光画像におけるエッジを検出する第２のエッジ検出部と、前記デプス画像の撮影対象と同じ撮影対象の近赤外画像におけるエッジを検出する第３のエッジ検出部と、前記デプス画像の信頼度を決定するデプス信頼度決定部を含み、
    前記デプス信頼度決定部は、前記デプス画像におけるエッジが検出された領域に相当する前記可視光画像における領域および前記近赤外画像における領域においてエッジが検出された場合に、当該領域に相対的に高い信頼度を付与する
    請求項７または請求項８記載の画像処理装置。
  12. 前記デプス信頼度生成手段は、前記デプス画像における測距不能画素を検出する測距不能画素判定部を含み、
    前記デプス信頼度決定部は、測距不能画素からなる領域に低い信頼度を与える
    請求項８から請求項１１のうちのいずれか１項に記載の画像処理装置。
  13. コンピュータに、
    可視光画像から第１の前景尤度を生成する処理と、
    前記可視光画像の撮影対象と同じ撮影対象のデプス画像から第２の前景尤度を生成する処理と、
    少なくとも前記可視光画像と前記デプス画像とを用いて、前記デプス画像の信頼度を生成する処理と、
    前記デプス画像の信頼度を重みとして、前記第１の前景尤度と前記第２の前景尤度とから前記撮影対象の前景尤度を決定する処理と
    を実行させるための画像処理プログラム。
JP2020557043A 2018-11-19 2018-11-19 画像処理方法および画像処理装置 Active JP7036227B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/042673 WO2020105092A1 (ja) 2018-11-19 2018-11-19 画像処理方法および画像処理装置

Publications (2)

Publication Number Publication Date
JPWO2020105092A1 true JPWO2020105092A1 (ja) 2021-09-27
JP7036227B2 JP7036227B2 (ja) 2022-03-15

Family

ID=70774663

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020557043A Active JP7036227B2 (ja) 2018-11-19 2018-11-19 画像処理方法および画像処理装置

Country Status (3)

Country Link
US (1) US20220005203A1 (ja)
JP (1) JP7036227B2 (ja)
WO (1) WO2020105092A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007122507A (ja) * 2005-10-28 2007-05-17 Secom Co Ltd 侵入検知装置
JP2007526453A (ja) * 2004-01-28 2007-09-13 カネスタ インコーポレイテッド 単一チップの赤、緑、青、距離（ｒｇｂ−ｚ）センサー
JP2010256138A (ja) * 2009-04-23 2010-11-11 Canon Inc 撮像装置及びその制御方法
JP2016017799A (ja) * 2014-07-07 2016-02-01 株式会社デンソー 光飛行型測距装置
WO2017057056A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
WO2018042801A1 (ja) * 2016-09-01 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 撮像装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101700595B1 (ko) * 2010-01-05 2017-01-31 삼성전자주식회사 얼굴 인식 장치 및 그 방법
US8787663B2 (en) * 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
CN104662589B (zh) * 2012-08-21 2017-08-04 派力肯影像公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
KR102272254B1 (ko) * 2015-02-13 2021-07-06 삼성전자주식회사 위상 검출 픽셀을 이용하여 깊이 맵을 생성하기 위한 영상 생성 장치
US9955140B2 (en) * 2015-03-11 2018-04-24 Microsoft Technology Licensing, Llc Distinguishing foreground and background with inframed imaging

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007526453A (ja) * 2004-01-28 2007-09-13 カネスタ インコーポレイテッド 単一チップの赤、緑、青、距離（ｒｇｂ−ｚ）センサー
JP2007122507A (ja) * 2005-10-28 2007-05-17 Secom Co Ltd 侵入検知装置
JP2010256138A (ja) * 2009-04-23 2010-11-11 Canon Inc 撮像装置及びその制御方法
JP2016017799A (ja) * 2014-07-07 2016-02-01 株式会社デンソー 光飛行型測距装置
WO2017057056A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
WO2018042801A1 (ja) * 2016-09-01 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 撮像装置

Also Published As

Publication number Publication date
JP7036227B2 (ja) 2022-03-15
WO2020105092A1 (ja) 2020-05-28
US20220005203A1 (en) 2022-01-06

Similar Documents

Publication Publication Date Title
US20200043225A1 (en) Image processing apparatus and control method thereof
KR101283262B1 (ko) 영상 처리 방법 및 장치
KR102336064B1 (ko) 촬상 장치 및 그 촬상 방법, 화상 처리 장치 및 그 화상 처리 방법, 및, 프로그램
JP6239594B2 (ja) ３ｄ情報処理装置及び方法
US9047673B2 (en) Apparatus and method for extracting target, and recording medium storing program for performing the method
US20140198951A1 (en) Image processing apparatus and image processing method
JP2023100611A (ja) 撮像装置、情報処理装置、撮像方法およびプログラム
JPWO2009019887A1 (ja) 画像処理装置および画像処理方法
KR101719431B1 (ko) 화상 처리 장치 및 화상 처리 방법
GB2557035A (en) IR or thermal image enhancement method based on background information for video analysis
JP2016015045A (ja) 画像認識装置、画像認識方法及びプログラム
KR20140088697A (ko) 깊이 영상 처리 장치 및 방법
WO2019102966A1 (ja) 脈波検出装置、脈波検出方法、及び記憶媒体
JP2015175644A (ja) 測距システム、情報処理装置、情報処理方法及びプログラム
KR20150136225A (ko) 관심객체 검출을 위한 관심영역 학습장치 및 방법
US10489928B2 (en) Image processing system for inspecting object distance and dimensions using a hand-held camera with a collimated laser
JP2014048131A (ja) 画像処理装置、方法及びプログラム
JP2015090562A (ja) 画像処理装置、方法、及びプログラム
JP7036227B2 (ja) 画像処理方法および画像処理装置
JP2016051302A5 (ja)
KR102079686B1 (ko) 인텐시티 영상과 깊이 영상을 이용한 컬러 영상 개선 장치 및 방법
JP2020021314A (ja) 画像処理装置及び画像処理方法
JP7279817B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
KR102160583B1 (ko) 이벤트 객체 감시장치 및 방법
JP2017191082A (ja) 輝点画像取得装置および輝点画像取得方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210422

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220214

R151 Written notification of patent or utility model registration

Ref document number: 7036227

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151