JPWO2020183710A1 - 画像処理装置及び3次元計測システム - Google Patents
画像処理装置及び3次元計測システム Download PDFInfo
- Publication number
- JPWO2020183710A1 JPWO2020183710A1 JP2021505460A JP2021505460A JPWO2020183710A1 JP WO2020183710 A1 JPWO2020183710 A1 JP WO2020183710A1 JP 2021505460 A JP2021505460 A JP 2021505460A JP 2021505460 A JP2021505460 A JP 2021505460A JP WO2020183710 A1 JPWO2020183710 A1 JP WO2020183710A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- parallax
- map
- pixels
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Measurement Of Optical Distance (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
画像処理装置が、ステレオマッチングとは異なる方式により前記第1画像と前記第2画像の間の視差を予測する視差予測手段と、第1画像及び第2画像のそれぞれに対し、水平方向及び/又は垂直方向の画素数を減じる変換処理を施す変換手段と、前記予測された視差に基づき、ステレオマッチングにおける対応点の探索範囲を設定する設定手段と、前記設定された探索範囲に限定して前記変換処理後の前記第1画像と前記変換処理後の前記第2画像の間の各画素の対応点を探索する手段とを備える。
Description
本発明は、画像を用いた3次元計測に関する。
従来、対象物の3次元計測を行うための種々の手法が知られており、それらは、光の性質に着目して、光の直進性を用いる手法と光の速度を用いる手法に大別される。これらのうち、光の直進性を用いる手法には、アクティブ計測(能動型計測)及びパッシブ計測(受動型計測)の何れかに分類される方式が含まれ、光の速度を用いる手法には、アクティブ計測(能動型計測)に分類される方式が含まれる。
非特許文献1には、アクティブ計測方式の一例である空間コード化パターン投影方式の具体例として、空間的な符号化(コード化)がなされたパターン照明を対象物に投影し、そのパターンが投影された対象物を撮影した画像を解析することにより3次元形状を取得する方法が記載されている。
また、パッシブ計測方式の一例として、異なる視点から撮影された2つの画像を用いて対象物の3次元形状を計測する、いわゆるステレオマッチング(ステレオビジョンとも呼ばれる)が知られている(特許文献1参照)。図11にステレオマッチングの原理を示す。ステレオマッチングでは、例えば左右に配置した2台のカメラで対象物Oを同時に撮影し、2枚の画像を得る。一方を基準画像I1、他方を比較画像I2とし、基準画像I1中の画素(基準点P1)と画像特徴が最も近い画素(対応点P2)を、比較画像I2中のエピポーラ線Eに沿って探索し、基準点P1と対応点P2の間の座標の差(視差)を求める。各カメラの幾何学的な位置は既知であるので、三角測量の原理により、視差から奥行方向の距離D(デプス)を算出でき、対象物Oの3次元形状を復元することができる。
P. Vuylsteke and A. Oosterlinck, Range Image Acquisition with a Single Binary-Encoded Light Pattern, IEEE PAMI 12(2), pp. 148-164, 1990.
ステレオマッチングは、高解像のカメラを用いることによって、計測精度の向上を図ることができるとともに、計測点(対応点が見つかり、距離情報の取得に成功した画素)の数及び空間分解能を高めることができる、という特性をもつ。しかしその反面、カメラから取り込まれる入力画像の画素数が多くなるほど、対応点の探索に時間を要し、計測時間が著しく増大するというデメリットがある。また、計測点群の数が増えると、後段の処理(例えば物体認識や形状認識など)の開始タイミングが計測点群データの転送時間に律速されてしまったり、後段の処理の演算量が増えてしまったりすることで、システム全体としての処理の遅延を招くおそれがある。特にロボットビジョンやマシンビジョンの分野ではリアルタイム処理のニーズが高く、計測時間及びデータ転送時間の短縮は実用上の重要な技術課題の一つである。とはいえ、処理高速化を優先して、単純に低解像度の画像を用いるだけでは、計測精度及び信頼性の低下を招いてしまい、望ましくない。
本発明は、上記実情に鑑みてなされたものであり、ステレオマッチングによる計測において、高い精度と高速な処理を両立するための技術を提供することを目的とする。
本発明の一側面は、画像ペアを用いたステレオマッチングにより、各画素の座標に距離情報が関連付けられたデータであるデプスマップを生成する画像処理装置であって、異なる視点から撮影された第1画像及び第2画像を取得する画像取得手段と、ステレオマッチングとは異なる方式により前記第1画像と前記第2画像の間の視差を予測する視差予測手段と、前記第1画像及び前記第2画像のそれぞれに対し、水平方向及び/又は垂直方向の画素数を減じる変換処理を施す変換手段と、前記予測された視差に基づき、ステレオマッチングにおける対応点の探索範囲を設定する設定手段と、前記設定された探索範囲に限定して前記変換処理後の前記第1画像と前記変換処理後の前記第2画像の間の各画素の対応点を探索し、その探索結果に基づき、各画素の座標に視差情報が関連付けられたデータである視差マップを生成する視差マップ生成手段と、前記視差マップの視差情報を距離情報に変換し、前記デプスマップを生成するデプスマップ生成手段と、を有することを特徴とする画像処理装置を提供する。
上記構成では、画素数が減じられた画像をステレオマッチングに用いると共に、予測された視差に基づき対応点の探索範囲を限定する。これにより、従来の一般的なステレオマッチングに比べて、対応点探索に要する時間を大幅に短縮することができる。また、ステレオマッチングの結果である、デプスマップのデータ点数(データ量)も削減されるため、データ転送時間の短縮ならびに後段の処理時間の短縮も図ることができるという効果もある。加えて、上記構成では、予測された視差に基づいて探索範囲(つまり、対応点が存在する蓋然性が高い範囲)が絞り込まれることから、対応点探索の精度及び信頼性の低下を抑えつつ、処理の高速化を図ることが可能となる。
前記変換手段は、前記第1画像及び前記第2画像のそれぞれに対し、水平方向と垂直方向の両方向の画素数を減じてもよい。対応点探索処理の前に両方向の画素数を減じておくことで、対応点探索に要する時間を最大限短縮することができるからである。
前記視差マップ生成手段により生成された前記視差マップに対し、水平方向又は垂直方向の画素数を減じる第2変換処理を施す第2変換手段をさらに有してもよい。この場合、前記変換手段は、前記第1画像及び前記第2画像のそれぞれに対し、水平方向及び垂直方向のうちの一方の方向の画素数を減じる前記変換処理を施し、前記第2変換手段は、前記視差マップに対し、前記変換手段とは異なる方向の画素数を減じる前記第2変換処理を施し、前記デプスマップ生成手段は、前記第2変換処理後の前記視差マップから前記デプスマップを生成してもよい。このように、一方の方向の画素数のみを減じた画像を対応点探索に用いることで、従来(画素数を減じない場合)よりも対応点探索に要する時間の短縮を図りつつ、両方向の画素数を減じる場合よりも対応点探索の信頼性を高めることができる。すなわち、高速性と信頼性のバランスがとれた処理を実現できる。
前記一方の方向は、エピポーラ線に対して垂直な方向であってもよい。対応点はエピポーラ線上に存在する。したがって、エピポーラ線に平行な方向の画素数を減じない(つまり、エピポーラ線に平行な方向の情報量を残した)状態で対応点探索を行う方が、対応点探索の精度及び信頼性を維持することができる。
前記変換処理は、画素を間引く処理であってもよい。処理が簡便で高速だからである。また、間引き処理であれば、対応点探索に悪影響を与えるようなアーチファクトも発生しないからである。
前記視差予測手段は、前記ステレオマッチングとは異なる前記方式として、空間コード化パターン投影方式により得られた距離情報に基づいて、視差を予測してもよい。空間コード化パターン投影方式は、ステレオマッチングよりも格段に短い処理時間で距離情報を得ることができるからである。なお、空間コード化パターン投影方式の測距の空間分解能は、ステレオマッチング方式に比べて低いものの、視差の予測に用いる目的であれば必要十分といえる。
この場合に、前記第1画像及び前記第2画像は、空間コード化パターン投影方式のためのパターン照明を投影して撮影された画像であり、前記視差予測手段は、前記第1画像又は前記第2画像を用いた空間コード化パターン投影方式により得られた距離情報に基づいて、視差を予測してもよい。ステレオマッチングに用いる画像と空間コード化パターン投影方式に用いる画像を共通化することにより、撮像及び画像転送の回数を削減できるため、処理全体の効率化及び高速化を図ることができる。また、同じカメラを利用できることから、装置構成の簡易化及び小型化を図ることができるという利点もある。
前記視差予測手段は、前記ステレオマッチングとは異なる前記方式として、TOF(Time of Flight)方式により得られた距離情報に基づいて、視差を予測するものであってもよい。TOF方式は、ステレオマッチングよりも格段に短い処理時間で距離情報を得ることができるからである。なお、TOF方式の測距の空間分解能は、ステレオマッチング方式に比べて低くてもよい。
本発明の一側面は、少なくとも2つのカメラを有するセンサユニットと、前記センサユニットから取り込まれる画像を用いてデプスマップを生成する画像処理装置と、を有することを特徴とする3次元計測システムを提供する。
本発明は、上記手段の少なくとも一部を有する画像処理装置として捉えてもよいし、センサユニットと画像処理装置を有する3次元計測システムとして捉えてもよい。また、本発明は、上記処理の少なくとも一部を含む画像処理、3次元計測方法、測距方法、画像処理装置の制御方法などとして捉えてもよく、または、かかる方法を実現するためのプログラムやそのプログラムを非一時的に記録した記録媒体として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
本発明によれば、ステレオマッチングによる計測において、高い精度と高速な処理を両立することが可能である。
<適用例>
図1は、本発明の適用例の一つである3次元計測システムの構成例を模式的に示す図である。3次元計測システム1は、画像センシングによって対象物12の3次元形状を計測するためのシステムであり、概略、センサユニット10と画像処理装置11から構成される。センサユニット10は、少なくともカメラ(イメージセンサや撮像装置とも呼ばれる)を備えており、必要に応じて他のセンサを備える場合もある。センサユニット10の出力は画像処理装置11に取り込まれる。画像処理装置11は、センサユニット10から取り込まれたデータを用いて各種の処理を行うデバイスである。画像処理装置11の処理としては、例えば、距離計測(測距)、3次元形状認識、物体認識、シーン認識などが含まれてもよい。画像処理装置11の処理結果は、例えば、ディスプレイなどの出力装置に出力されたり、外部に転送されて検査や他の装置の制御等に利用される。このような3次元計測システム1は、例えば、コンピュータビジョン、ロボットビジョン、マシンビジョンをはじめとして、幅広い分野に適用される。
図1は、本発明の適用例の一つである3次元計測システムの構成例を模式的に示す図である。3次元計測システム1は、画像センシングによって対象物12の3次元形状を計測するためのシステムであり、概略、センサユニット10と画像処理装置11から構成される。センサユニット10は、少なくともカメラ(イメージセンサや撮像装置とも呼ばれる)を備えており、必要に応じて他のセンサを備える場合もある。センサユニット10の出力は画像処理装置11に取り込まれる。画像処理装置11は、センサユニット10から取り込まれたデータを用いて各種の処理を行うデバイスである。画像処理装置11の処理としては、例えば、距離計測(測距)、3次元形状認識、物体認識、シーン認識などが含まれてもよい。画像処理装置11の処理結果は、例えば、ディスプレイなどの出力装置に出力されたり、外部に転送されて検査や他の装置の制御等に利用される。このような3次元計測システム1は、例えば、コンピュータビジョン、ロボットビジョン、マシンビジョンをはじめとして、幅広い分野に適用される。
なお、図1の構成はあくまで一例であり、3次元計測システム1の用途に応じてそのハードウェア構成は適宜設計すればよい。例えば、センサユニット10と画像処理装置11は無線で接続されてもよいし、センサユニット10と画像処理装置11が一体の装置で構成されていてもよい。また、センサユニット10と画像処理装置11をLAN又はインターネット等の広域ネットワークを介して接続してもよい。また、1つの画像処理装置11に対し複数のセンサユニット10を設けてもよいし、逆に、1つのセンサユニット10の出力を複数の画像処理装置11に提供してもよい。さらに、センサユニット10をロボットや移動体に取り付けるなどしてセンサユニット10の視点を移動可能にしてもよい。
図2は、3次元計測システム1の機能及び処理の概要を模式的に示す図である。3次元計測システム1は、対象物12の距離を計測するための計測系として、第1の計測系21と第2の計測系22の2つを備えている。各計測系21、22の機能及び処理は、センサユニット10と画像処理装置11とが協働して実現されるものである。
第1の計測系21は、ステレオマッチング(ステレオビジョン、ステレオカメラ方式などとも呼ばれる)によって対象物12までの奥行距離(デプス)を計測する。ステレオマッチングは空間分解能の高い計測が可能であることから、本システム1では第1の計測系21によって生成される距離情報を最終的な出力とする。
他方、第2の計測系22も対象物12の測距を行うものであるが、第2の計測系22で得られる距離情報は、第1の計測系21で観測される視差を大まかに予測しステレオマッチングにおける探索範囲を絞り込むという目的で、補助的に利用される。第2の計測系22としては、ステレオマッチングとは異なる方式で測距を行うものであれば如何なる方式の計測系を用いてもよい。
3次元計測方式のうち光の直進性を用いるアクティブ計測方式としては、例えば、三角測量を基本原理とする空間コード化パターン投影方式、時間コード化パターン投影方式、モアレトポグラフィ方式(等高線方式)、照度差ステレオ方式(照射方向/Photometric Stereo)等、及び、同軸測距を基本原理とする照度差方式、レーザ共焦点方式、白色共焦点方式、光干渉方式等が挙げられる。また、光の直進性を用いるパッシブ計測方式としては、例えば、視体積交差方式(Shape from silhouette)、因子分解方式(factorization)、Depth from Motion(Structure from Motion)方式、Depth from Shading方式等、及び、同軸測距を基本原理とするDepth from focusing方式、Depth from defocus方式、Depth from zoom方式等が挙げられる。さらに、光の速度を用いるアクティブ計測方式としては、例えば、同時測距を基本原理とする光時間差(TOF)測定方式、光位相差(TOF)測定方式、並びに、電波、音波及びミリ波による(TOF)方式等が挙げられる。
上記したいずれの方式を第2の計測系22として採用してもよい。ただし、第2の計測系22は視差の大まかな予測が目的であるため、ステレオマッチングより計測精度や空間分解能が低くて構わないので、ステレオマッチングに比べて計測時間が短い高速な方式を用いることが好ましい。後述する実施形態では、計測時間が短いという利点、及び、第1の計測系21とセンサ及び画像を共用できるという利点から、空間コード化パターン投影方式を用いる。
続いて、図2を参照して、3次元計測システム1による計測処理の大まかな流れを説明する。
(1)第1の計測系21が、センサユニット10から2枚の画像(第1画像、第2画像と呼ぶ)からなるステレオ画像ペアを取得する。この2枚の画像は、対象物12に対する視差が生ずるように、対象物12を異なる視点(視線方向)から撮影したものである。センサユニット10が複数のカメラを備えている場合には、2台のカメラで第1画像と第2画像を同時に撮影してもよい。あるいは、カメラを移動させながら連続的に撮影することで、単一のカメラで第1画像と第2画像を取得してもよい。
(2)第2の計測系22が、対象物12の距離計測を行い、得られた距離情報に基づき第1画像と第2画像の間の視差を予測し、その予測した視差を参考視差マップとして出力する。本明細書では、第1の計測系21のステレオマッチングで生成される視差マップと区別するため、第2の計測系22で生成される視差マップを「参考視差マップ」と呼ぶ。参考視差マップは、第1の計測系21のステレオマッチングにおける探索範囲を絞り込むために補助的に用いられるものであるため、第1画像及び第2画像よりも空間分解能が低い(粗い)もので構わない。なお、参考視差マップは、センサユニット10から得られる画像又はその他のセンシングデータに基づき画像処理装置11側で生成されてもよいし、センサユニット10自身が測距機能を具備する場合(TOF方式のイメージセンサなど)にはセンサユニット10側で参考視差マップが生成されてもよい。
(3)第1の計測系21が、第1画像及び第2画像のそれぞれに対し、画素数を減じる変換処理を施す。ここでは、画像の垂直方向(縦方向)の画素数を減じる処理(水平ラインの数を減じる処理)のみ行ってもよいし、画像の水平方向(横方向)の画素数を減じる処理(垂直ラインの数を減じる処理)のみ行ってもよいし、垂直方向と水平方向の両方の画素数を減じる処理を行ってもよい。変換処理は、例えば、画素(又はライン)を間引く処理でもよい。間引き処理は、処理が簡便で高速であるし、後段のステレオマッチングに悪影響を与えるようなアーチファクトも発生しないからである。縮小率(間引き間隔)は任意に設定でき、例えば、1画素(1ライン)ずつ間引くと画素数は1/2となり、2画素(2ライン)ずつ間引くと画素数は1/3、・・・、n画素(nライン)ずつ間引くと画素数は1/(n+1)となる。変換処理としては、間引き以外にも、補間による解像度低減処理を用いてもよい。補間法としては、ニアレストネイバー、バイリニア、バイキュービックなど如何なる方法を用いてもよい。これ以後の処理には、オリジナルの第1画像及び第2画像の代わりに、変換処理後の第1画像及び第2画像(画素数が削減された第1画像及び第2画像)が用いられる。
(4)第1の計測系21が、第2の計測系22から取得した参考視差マップを用いて、ステレオマッチングにおける対応点の探索範囲を設定する。前述のように参考視差マップの空間分解能ないし精度はそれほど高くないため、予測視差がある程度の誤差を含むことは避けられない。したがって、対応点の探索範囲は、その誤差範囲を包含するように設定するとよい。例えば、予測視差の値がd[画素]であり、誤差が±derr[画素]である場合には、探索範囲をd−derr−c〜d+derr+cのように設定してもよい。cはマージンである。なお、第1画像のすべての画素に対し個別に探索範囲を設定してもよいし、画像内での局所的な視差の変化が大きくない場合などは、第1画像を複数のエリアに分割してエリア単位で探索範囲を設定してもよい。
(5)第1の計測系21が、設定された探索範囲の中から、第1画像と第2画像の間の各画素の対応点を探索する。例えば、第1画像を基準画像、第2画像を比較画像とした場合、第1画像中の画素(基準点)と画像特徴が最も近い第2画像中の画素が対応点として選ばれ、基準点と対応点の座標の差が、当該基準点における視差として求まる。第1画像中のすべての画素について対応点の探索が行われ、その探索結果から視差マップが生成される。視差マップは、各画素の座標に視差情報が関連付けられたデータである。
(6)第1の計測系21は、三角測量の原理を用いて、視差マップの視差情報を距離情報(デプス)に変換し、デプスマップを生成する。
従来の一般的なステレオマッチングでは、比較画像の全体から対応点の探索を行うため、高解像度の画像を用いると不可避的に処理時間が長くなってしまう。これに対し、上記構成では、予測された視差に基づき対応点の探索範囲が限定される。これにより、探索範囲を格段に狭くできるため、対応点の探索に要する時間を大幅に短縮することができる。また、画素数が減じられた画像をステレオマッチングに利用するため、対応点探索に要する時間を一層短縮できる。さらに、画素数を減じることによって、最終的なデプスマップのデータ点数(データ量)も削減されるため、データ転送時間の短縮ならびに後段の処理時間の短縮も図ることができるという効果もある。これらの利点は、リアルタイム処理を実現する上で、極めて有効である。
なお、従来の一般的なステレオマッチングにおいて画像の画素数を単純に減じただけでは、必要な情報量が欠落してしまい、対応点探索の精度が低下したり、対応点が見つからない画素が増加するおそれがある。これに対し、上記構成では、ステレオマッチングとは異なる方式で予測された視差に基づいて探索範囲(つまり、対応点が存在する蓋然性が高い範囲)が絞り込まれることから、対応点探索の精度及び信頼性の低下を抑えつつ、処理の高速化を図ることが可能となる。
<第1実施形態>
図3を参照して、第1実施形態に係る3次元計測システム1の構成例について説明する。図3は、3次元計測システム1の機能ブロック図である。
図3を参照して、第1実施形態に係る3次元計測システム1の構成例について説明する。図3は、3次元計測システム1の機能ブロック図である。
(センサユニット)
センサユニット10は、第1カメラ101、第2カメラ102、パターン投光部103、照明部104、画像転送部105、駆動制御部106を有する。
センサユニット10は、第1カメラ101、第2カメラ102、パターン投光部103、照明部104、画像転送部105、駆動制御部106を有する。
第1カメラ101と第2カメラ102は、いわゆるステレオカメラを構成するカメラ対であり、所定の距離だけ離れて配置されている。2つのカメラ101、102で同時に撮影を行うことで、異なる視点から撮影した画像ペアを得ることができる(第1カメラ101の画像を第1画像、第2カメラ102の画像を第2画像と呼ぶ)。2つのカメラ101、102は、互いの光軸が交差し、且つ、水平ライン(又は垂直ライン)が同一平面上にくるように、配置されるとよい。このような配置をとることで、エピポーラ線が画像の水平ライン(又は垂直ライン)と平行になるため、ステレオマッチングにおける対応点を同じ位置の水平ライン(又は垂直ライン)内から探索すればよく、探索処理の簡易化が図れるからである。なお、カメラ101、102としては、モノクロのカメラを用いてもよいし、カラーのカメラを用いてもよい。
パターン投光部103は、空間コード化パターン投影方式の測距で用いるパターン照明を対象物12に投影するための装置であり、プロジェクタとも呼ばれる。パターン投光部103は、例えば、光源部、導光レンズ、パターン生成部、投写レンズなどから構成される。光源部としては、LED、レーザー、VCSEL(Vertical cavity Surface-emitting Laser)などを用いることができる。導光レンズは光源部からパターン生成部に光を導くための光学素子であり、レンズ又はガラスロッドなどを用いることができる。パターン生成部は、コード化されたパターンを生成する部材ないし装置であり、フォトマスク、回折光学素子(例えばDOE(Diffractive Optical Element))、光変調素子(例えば、DLP(Digital Light Processing)、LCD(Liquid Crystal Display)、LCoS(Liquid Crystal on Silicon)、MEMS(Micro Electro Mechanical Systems))などを用いることができる。投写レンズは生成されたパターンを拡大し投写する光学素子である。
照明部104は、一般的な可視光画像を撮影するために用いられる均一照明である。例えば白色LED照明などが用いられる。もしくはアクティブ投光と同じ波長帯の照明でもよい。
画像転送部105は、第1カメラ101で撮影された第1画像のデータ、及び、第2カメラ102で撮影された第2画像のデータを、画像処理装置11へ転送する。画像転送部105は、第1画像と第2画像を別々の画像データとして転送してもよいし、第1画像と第2画像を繋ぎ合わせてサイドバイサイド画像を生成し単一の画像データとして転送してもよい。駆動制御部106は、第1カメラ101、第2カメラ102、パターン投光部103、及び、照明部104を制御するユニットである。なお、画像転送部105と駆動制御部106は、センサユニット10側ではなく、画像処理装置11側に設けてもよい。
(画像処理装置)
画像処理装置11は、画像取得部110、パターン復号部111、視差予測部112、前処理部113、解像度変換部114、探索範囲設定部115、対応点探索部116、視差マップ後処理部117、デプスマップ生成部118を有する。
画像処理装置11は、画像取得部110、パターン復号部111、視差予測部112、前処理部113、解像度変換部114、探索範囲設定部115、対応点探索部116、視差マップ後処理部117、デプスマップ生成部118を有する。
画像取得部110は、センサユニット10から必要な画像データを取り込む機能を有する。画像取得部110は、パターン復号部111に第1画像を送り、前処理部113に第1画像と第2画像からなるステレオ画像ペアを送る。
パターン復号部111は、空間コード化パターン投影方式によって、第1画像から距離情報を取得する機能をもつ。空間コード化パターン投影方式は、用いる単位パターンのサイズに依存して空間分解能が決まる。例えば、5画素×5画素の単位パターンを用いる場合、距離情報の空間分解能は入力画像の1/25となる。視差予測部112は、パターン復号部111で得られた距離情報に基づき第1画像と第2画像の間の視差を予測し参考視差マップを出力する機能を有する。
前処理部113は、第1画像と第2画像に対して、必要な前処理を行う機能を有する。解像度変換部114は、第1画像と第2画像に対して、画素数を減じる変換処理を行う機能を有する。探索範囲設定部115は、予測視差に基づいて対応点の探索範囲を設定する機能を有する。対応点探索部116は、第1画像と第2画像の間の対応点を探索し、その探索結果に基づき視差マップを生成する機能を有する。視差マップ後処理部117は、視差マップに対して必要な後処理を行う機能を有する。デプスマップ生成部118は、視差マップの視差情報を距離情報に変換し、デプスマップを生成する機能を有する。
画像処理装置11は、例えば、CPU(プロセッサ)、RAM(メモリ)、不揮発性記憶装置(ハードディスク、SSDなど)、入力装置、出力装置などを備えるコンピュータにより構成される。この場合、CPUが、不揮発性記憶装置に格納されたプログラムをRAMに展開し、当該プログラムを実行することによって、上述した各種の機能が実現される。ただし、画像処理装置11の構成はこれに限られず、上述した機能のうちの全部又は一部を、FPGAやASICなどの専用回路で実現してもよいし、クラウドコンピューティングや分散コンピューティングにより実現してもよい。
本例では、第1カメラ101、パターン投光部103、画像転送部105、画像取得部110、駆動制御部106、パターン復号部111、視差予測部112によって、図2の第2の計測系22が構成されており、第1カメラ101、第2カメラ102、パターン投光部103、画像転送部105、駆動制御部106、前処理部113、解像度変換部114、探索範囲設定部115、対応点探索部116、視差マップ後処理部117、デプスマップ生成部118によって、図2の第1の計測系21が構成されている。
(計測処理)
図4を参照して、第1実施形態の計測処理の流れを説明する。図4は、画像処理装置11により実行される処理の流れを示すフロー図である。
図4を参照して、第1実施形態の計測処理の流れを説明する。図4は、画像処理装置11により実行される処理の流れを示すフロー図である。
ステップS400、S401において、画像取得部110が、センサユニット10から第1画像と第2画像を取得する。第1画像及び第2画像はそれぞれ、パターン投光部103から対象物12にパターン照明を投影した状態で、第1カメラ101及び第2カメラ102で撮影された画像である。なお、センサユニット10からサイドバイサイド画像形式のデータが取り込まれた場合は、画像取得部110がサイドバイサイド画像を第1画像と第2画像に分割する。画像取得部110は、パターン復号部111に第1画像を送り、前処理部113に第1画像と第2画像を送る。
ステップS402において、前処理部113が、第1画像及び第2画像に対し平行化処理(レクティフィケーション)を行う。平行化処理とは、2つの画像の間の対応点が画像中の同じ水平ライン(又は垂直ライン)上に存在するように、一方又は両方の画像を幾何変換する処理である。平行化処理によりエピポーラ線が画像の水平ライン(又は垂直ライン)と平行になるため、後段の対応点探索の処理が簡単になる。なお、センサユニット10から取り込まれる画像の平行度が十分高い場合には、ステップS402の平行化処理は省略してもよい。
ステップS403において、前処理部113が、平行化された第1画像及び第2画像の各画素についてハッシュ特徴量を計算し、各画素の値をハッシュ特徴量に置き換える。ハッシュ特徴量は、注目画素を中心とする局所領域の輝度特徴を表すものであり、ここでは、8要素のビット列からなるハッシュ特徴量を用いる。このように、各画像の輝度値をハッシュ特徴量に変換しておくことで、後段の対応点探索における局所的な輝度特徴の類似度計算が極めて効率化される。
ステップS404において、解像度変換部114が、第1画像及び第2画像のそれぞれに対し解像度変換処理を施す。本実施形態では、画像の水平ラインを1ラインおきに間引くことで、各画像の垂直方向の画素数を1/2に削減する。エピポーラ線が画像の水平方向と平行な場合には、本実施形態のように、垂直方向の画素数のみ削減し、水平方向の画像情報は残したままにすることで、対応点探索の精度及び信頼性を維持することができる。
ステップS405において、パターン復号部111が、オリジナルの第1画像を解析しパターンを復号することによって、第1画像上の複数の点における奥行方向の距離情報を取得する。
ステップS406において、視差予測部112が、ステップS405で得られた各点の距離情報に基づき、各点を平行化された第1画像の画像座標系に射影したときの2次元座標と、同じ点を平行化された第2画像の画像座標系に射影したときの2次元座標とを計算し、2つの画像の間での座標の差を計算する。この差が予測視差である。視差予測部112は、ステップS405で距離情報が得られたすべての点についての予測視差を求め、そのデータを参考視差マップとして出力する。
ステップS407において、探索範囲設定部115が、予測視差に基づいて、画素削減後の第1画像及び第2画像に対し、対応点の探索範囲を設定する。探索範囲の大きさは、予測の誤差を考慮して決定される。例えば、予測の誤差が±10画素である場合には、マージンを含めても、予測視差を中心とした±20画素程度を探索範囲に設定すれば十分と考えられる。仮に水平ラインが640画素である場合に、探索範囲を±20画素(つまり40画素)に絞り込むことができれば、水平ライン全体を探索するのに比べて探索処理を単純に1/16に削減することができる。
ステップS408において、対応点探索部116が、画素削減後の第1画像と第2画像の間で対応点の探索を行い、各画素の視差を求める。対応点探索部116は、対応点の検出に成功した点(画素の座標)に視差情報を関連付けた視差データを生成する。この情報が視差マップである。
ステップS409において、視差マップ後処理部117が、視差マップに対し解像度変換処理を施す。本実施形態では、視差マップの垂直ラインを1ラインおきに間引くことで、視差マップの水平方向の画素数を1/2に削減する。
ステップS410において、視差マップ後処理部117が、視差マップの修正を行う。対応点探索によって推定された視差マップには誤計測点や計測抜けなどが含まれるため、周囲の画素の視差情報に基づき誤計測点の修正や計測抜けの補完を行う。なお、ステップS409とS410の処理はどちらを先に行ってもよい。
ステップS411において、デプスマップ生成部118が、視差マップの各画素の視差情報を3次元情報(奥行方向の距離情報)に変換し、デプスマップを生成する。このデプスマップ(3次元点群データ)は、例えば、対象物12の形状認識、物体認識などに利用される。
以上述べた第1実施形態の構成及び処理によれば、従来の一般的なステレオマッチングに比べて、対応点探索に要する時間を大幅に短縮することができる。また、ステレオマッチングの結果である、デプスマップのデータ点数(データ量)も削減されるため、データ転送時間の短縮ならびに後段の認識処理時間の短縮も図ることができるという効果もある。また、本実施形態では、対応点探索の前にエピポーラ線に垂直な方向の画素数のみを減じ、エピポーラ線に平行な方向の情報量を残したままにしているので、対応点探索の精度及び信頼性を低下させることなく、処理の高速化を図ることが可能となる。
図5に、第1実施形態の計測処理の変形例を示す。この変形例では、ステップS406の後に参考視差マップの水平ラインを間引く処理(ステップS500)を加えている。これにより探索範囲設定(ステップS407)の処理時間を短縮でき、計測処理全体として一層の高速化を図ることができる。なお、ステップS500の処理はステップS406の前に行ってもよい。
<第2実施形態>
図6は、第2実施形態の計測処理の流れを示すフロー図である。第1実施形態では、対応点探索の前に水平ラインの間引きを行い、対応点探索の後で視差マップに対して垂直ラインの間引きを行ったのに対し、第2実施形態では、対応点探索の前に垂直ラインの間引きを行い(ステップS604)、対応点探索の後で視差マップに対して水平ラインの間引きを行う(ステップS609)。それ以外の処理は第1実施形態と同様であるため、図4と同一の符号を付して説明を省略する。
図6は、第2実施形態の計測処理の流れを示すフロー図である。第1実施形態では、対応点探索の前に水平ラインの間引きを行い、対応点探索の後で視差マップに対して垂直ラインの間引きを行ったのに対し、第2実施形態では、対応点探索の前に垂直ラインの間引きを行い(ステップS604)、対応点探索の後で視差マップに対して水平ラインの間引きを行う(ステップS609)。それ以外の処理は第1実施形態と同様であるため、図4と同一の符号を付して説明を省略する。
本実施形態の構成及び処理によっても、第1実施形態と同様の作用効果を得ることができる。本実施形態の処理は、垂直方向の情報量を保ったまま対応点探索を行うことができるため、例えば、第1カメラと第2カメラが垂直ラインに平行に並べられ、エピポーラ線が垂直ラインに平行となる構成の場合に好適である。
図7に、第2実施形態の計測処理の変形例を示す。この変形例では、ステップS406の後に参考視差マップの垂直ラインを間引く処理(ステップS700)を加えている。これにより探索範囲設定(ステップS407)の処理時間を短縮でき、計測処理全体として一層の高速化を図ることができる。なお、ステップS700の処理はステップS406の前に行ってもよい。
<第3実施形態>
図8は、第3実施形態の計測処理の流れを示すフロー図である。第1及び第2実施形態では、対応点探索の前に一方のラインの間引きを行い、対応点探索の後で他方のラインの間引きを行ったのに対し、第3実施形態では、対応点探索の前に水平ラインと垂直ラインの両方の間引きを行う(ステップS804)。それ以外の処理は第1実施形態と同様であるため、図4と同一の符号を付して説明を省略する。
図8は、第3実施形態の計測処理の流れを示すフロー図である。第1及び第2実施形態では、対応点探索の前に一方のラインの間引きを行い、対応点探索の後で他方のラインの間引きを行ったのに対し、第3実施形態では、対応点探索の前に水平ラインと垂直ラインの両方の間引きを行う(ステップS804)。それ以外の処理は第1実施形態と同様であるため、図4と同一の符号を付して説明を省略する。
本実施形態の構成及び処理によっても、第1実施形態に準じた作用効果を得ることができる。本実施形態の処理は、第1及び第2実施形態に比べ対応点探索の精度及び信頼性がやや低下する可能性があるが、第1及び第2実施形態よりも対応点探索の処理時間を短縮することができるという利点がある。
図9に、第3実施形態の計測処理の変形例を示す。この変形例では、ステップS406の後に参考視差マップの水平ラインと垂直ラインを間引く処理(ステップS900)を加えている。これにより探索範囲設定(ステップS407)の処理時間を短縮でき、計測処理全体として一層の高速化を図ることができる。なお、ステップS900の処理はステップS406の前に行ってもよい。
<第4実施形態>
図10は、第4実施形態に係る3次元計測システムの構成例を示している。第1〜第3実施形態では、参考視差マップを取得するために空間コード化パターン投影方式を用いたのに対し、本実施形態ではTOF方式を用いる。具体的には、センサユニット10において、パターン投光部103の代わりにTOF用照明部107を設け、画像処理装置11において、パターン復号部111の代わりに距離計算部119を設ける。
図10は、第4実施形態に係る3次元計測システムの構成例を示している。第1〜第3実施形態では、参考視差マップを取得するために空間コード化パターン投影方式を用いたのに対し、本実施形態ではTOF方式を用いる。具体的には、センサユニット10において、パターン投光部103の代わりにTOF用照明部107を設け、画像処理装置11において、パターン復号部111の代わりに距離計算部119を設ける。
TOF方式には、大きく分けて、光時間差測定法と光位相差測定法がある。光時間差測定法はフォトンの到達時間を直接的に検出しTDC(Time to Digital Converter)により距離を計算する手法である。光時間差測定法の場合は、TOF用照明部107として、パルス光を照射する光源を用いる。他方、光位相差測定法はフォトンの強度を周期的に変調し、光の位相差から距離を計算する手法である。光位相差測定法の場合は、TOF用照明部107として、輝度を周期的に変調可能な光源を用いる。距離計算部119は、到達時間あるいは位相差から、対象物までの距離を計算する。
一般的なTOF方式では、計測値をロバストにするために、複数枚の距離画像を時間方向に重畳する必要がある。しかし、本実施形態の場合は、TOF方式での測距結果は視差を大まかに予測する目的で使われるものであり、厳密な精度は要求されないことから、1枚(あるいは少数)の距離画像を得るだけでも十分である。すなわち、TOF方式とステレオマッチングとを組み合わせることで、ロバスト性の低下を抑えつつ、ステレオマッチング方式の高速化を図ることができる。
なお、計測処理の流れについては、前述の実施形態の計測処理(図4〜図9)の中のパターン復号処理(ステップS405)を距離計算部119による距離計算処理に置き換え、他は前述の実施形態のものと同じでよい。
<その他>
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。例えば上記実施形態では、空間コード化パターン投影方式とTOF方式を例示したが、第2の計測系の測距方式はステレオマッチング以外の方式であれば如何なる方式を採用してもよい。また、上記実施形態では、ステレオマッチングにハッシュ特徴量を利用したが、対応点の類似度評価には他の手法を用いてもよい。例えば、類似度の評価指標としてはSAD(Sum of Absolute Difference)、SSD(Sum of Squared Difference)、NC(Normalized Correlation)などによる左右画像の画素の類似度計算法がある。また、上記実施形態では、参考デプスマップの生成(視差の予測)とステレオマッチングとで共通するカメラの画像を用いたが、それぞれ異なる三次元計測用のカメラ画像を用いてもよい。
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。例えば上記実施形態では、空間コード化パターン投影方式とTOF方式を例示したが、第2の計測系の測距方式はステレオマッチング以外の方式であれば如何なる方式を採用してもよい。また、上記実施形態では、ステレオマッチングにハッシュ特徴量を利用したが、対応点の類似度評価には他の手法を用いてもよい。例えば、類似度の評価指標としてはSAD(Sum of Absolute Difference)、SSD(Sum of Squared Difference)、NC(Normalized Correlation)などによる左右画像の画素の類似度計算法がある。また、上記実施形態では、参考デプスマップの生成(視差の予測)とステレオマッチングとで共通するカメラの画像を用いたが、それぞれ異なる三次元計測用のカメラ画像を用いてもよい。
<付記>
(1) 画像ペアを用いたステレオマッチングにより、各画素の座標に距離情報が関連付けられたデータであるデプスマップを生成する画像処理装置(11)であって、
異なる視点から撮影された第1画像及び第2画像を取得する画像取得手段(110)と、
ステレオマッチングとは異なる方式により前記第1画像と前記第2画像の間の視差を予測する視差予測手段(112)と、
前記第1画像及び前記第2画像のそれぞれに対し、水平方向及び/又は垂直方向の画素数を減じる変換処理を施す変換手段(114)と、
前記予測された視差に基づき、ステレオマッチングにおける対応点の探索範囲を設定する設定手段(115)と、
前記設定された探索範囲に限定して前記変換処理後の前記第1画像と前記変換処理後の前記第2画像の間の各画素の対応点を探索し、その探索結果に基づき、各画素の座標に視差情報が関連付けられたデータである視差マップを生成する視差マップ生成手段(116)と、
前記視差マップの視差情報を距離情報に変換し、前記デプスマップを生成するデプスマップ生成手段(118)と、
を有することを特徴とする画像処理装置。
(1) 画像ペアを用いたステレオマッチングにより、各画素の座標に距離情報が関連付けられたデータであるデプスマップを生成する画像処理装置(11)であって、
異なる視点から撮影された第1画像及び第2画像を取得する画像取得手段(110)と、
ステレオマッチングとは異なる方式により前記第1画像と前記第2画像の間の視差を予測する視差予測手段(112)と、
前記第1画像及び前記第2画像のそれぞれに対し、水平方向及び/又は垂直方向の画素数を減じる変換処理を施す変換手段(114)と、
前記予測された視差に基づき、ステレオマッチングにおける対応点の探索範囲を設定する設定手段(115)と、
前記設定された探索範囲に限定して前記変換処理後の前記第1画像と前記変換処理後の前記第2画像の間の各画素の対応点を探索し、その探索結果に基づき、各画素の座標に視差情報が関連付けられたデータである視差マップを生成する視差マップ生成手段(116)と、
前記視差マップの視差情報を距離情報に変換し、前記デプスマップを生成するデプスマップ生成手段(118)と、
を有することを特徴とする画像処理装置。
1:3次元計測システム
10:センサユニット
11:画像処理装置
12:対象物
21:第1の計測系
22:第2の計測系
10:センサユニット
11:画像処理装置
12:対象物
21:第1の計測系
22:第2の計測系
Claims (10)
- 画像ペアを用いたステレオマッチングにより、各画素の座標に距離情報が関連付けられたデータであるデプスマップを生成する画像処理装置であって、
異なる視点から撮影された第1画像及び第2画像からなる画像ペアを取得する画像取得手段と、
ステレオマッチングとは異なる方式により前記第1画像と前記第2画像の間の視差を予測する視差予測手段と、
前記第1画像及び前記第2画像のそれぞれに対し、水平方向及び/又は垂直方向の画素数を減じる変換処理を施す変換手段と、
前記予測された視差に基づき、ステレオマッチングにおける対応点の探索範囲を設定する設定手段と、
前記設定された探索範囲に限定して前記変換処理後の前記第1画像と前記変換処理後の前記第2画像の間の各画素の対応点を探索し、その探索結果に基づき、各画素の座標に視差情報が関連付けられたデータである視差マップを生成する視差マップ生成手段と、
前記視差マップの視差情報を距離情報に変換し、前記デプスマップを生成するデプスマップ生成手段と、
を有することを特徴とする画像処理装置。 - 前記視差マップ生成手段により生成された前記視差マップに対し、水平方向又は垂直方向の画素数を減じる第2変換処理を施す第2変換手段をさらに有し、
前記変換手段は、前記第1画像及び前記第2画像のそれぞれに対し、水平方向及び垂直方向のうちの一方の方向の画素数を減じる前記変換処理を施し、
前記第2変換手段は、前記視差マップに対し、前記変換手段とは異なる方向の画素数を減じる前記第2変換処理を施し、
前記デプスマップ生成手段は、前記第2変換処理後の前記視差マップから前記デプスマップを生成する
ことを特徴とする請求項1に記載の画像処理装置。 - 前記一方の方向は、エピポーラ線に対して垂直な方向である
ことを特徴とする請求項2に記載の画像処理装置。 - 前記変換処理は、画素を間引く処理である
ことを特徴とする請求項1〜3のいずれか1項に記載の画像処理装置。 - 前記視差予測手段は、空間コード化パターン投影方式により得られた距離情報に基づいて、視差を予測する
ことを特徴とする請求項1〜4のいずれか1項に記載の画像処理装置。 - 前記第1画像及び前記第2画像は、空間コード化パターン投影方式のためのパターン照明を投影して撮影された画像であり、
前記視差予測手段は、前記第1画像又は前記第2画像を用いた空間コード化パターン投影方式により得られた距離情報に基づいて、視差を予測する
ことを特徴とする請求項5に記載の画像処理装置。 - 前記視差予測手段は、TOF(Time of Flight)方式により得られた距離情報に基づいて、視差を予測する
ことを特徴とする請求項1〜4のいずれか1項に記載の画像処理装置。 - 少なくとも2つのカメラを有するセンサユニットと、
前記センサユニットから取り込まれる画像を用いてデプスマップを生成する請求項1〜7のいずれか1項に記載の画像処理装置と、
を有することを特徴とする3次元計測システム。 - コンピュータを、請求項1〜7のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
- 画像ペアを用いたステレオマッチングにより、各画素の座標に距離情報が関連付けられたデータであるデプスマップを生成する画像処理方法であって、
異なる視点から撮影された第1画像及び第2画像を取得するステップと、
ステレオマッチングとは異なる方式により前記第1画像と前記第2画像の間の視差を予測するステップと、
前記第1画像及び前記第2画像のそれぞれに対し、水平方向及び/又は垂直方向の画素数を減じる変換処理を施すステップと、
前記予測された視差に基づき、ステレオマッチングにおける対応点の探索範囲を設定するステップと、
前記設定された探索範囲に限定して前記変換処理後の前記第1画像と前記変換処理後の前記第2画像の間の各画素の対応点を探索し、その探索結果に基づき、各画素の座標に視差情報が関連付けられたデータである視差マップを生成するステップと、
前記視差マップの視差情報を距離情報に変換し、前記デプスマップを生成するステップと、
を有することを特徴とする画像処理方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/010582 WO2020183710A1 (ja) | 2019-03-14 | 2019-03-14 | 画像処理装置及び3次元計測システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020183710A1 true JPWO2020183710A1 (ja) | 2021-10-14 |
JP7078172B2 JP7078172B2 (ja) | 2022-05-31 |
Family
ID=72426943
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021505460A Active JP7078172B2 (ja) | 2019-03-14 | 2019-03-14 | 画像処理装置及び3次元計測システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11348271B2 (ja) |
EP (1) | EP3832600A4 (ja) |
JP (1) | JP7078172B2 (ja) |
CN (1) | CN112602117A (ja) |
WO (1) | WO2020183710A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020183711A1 (ja) * | 2019-03-14 | 2020-09-17 | オムロン株式会社 | 画像処理装置及び3次元計測システム |
TWI816166B (zh) * | 2021-04-22 | 2023-09-21 | 滿拓科技股份有限公司 | 偵測物件深度和水平距離的方法及系統 |
JP7113327B1 (ja) * | 2021-07-12 | 2022-08-05 | パナソニックIpマネジメント株式会社 | 撮像装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011013706A (ja) * | 2009-06-30 | 2011-01-20 | Hitachi Ltd | ステレオ画像処理装置およびステレオ画像処理方法 |
US20140015816A1 (en) * | 2011-12-16 | 2014-01-16 | Scott Janus | Driving multiple displays using a single display engine |
US20150178936A1 (en) * | 2013-12-20 | 2015-06-25 | Thomson Licensing | Method and apparatus for performing depth estimation |
JP2017045283A (ja) * | 2015-08-26 | 2017-03-02 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および情報処理方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6055012A (en) * | 1995-12-29 | 2000-04-25 | Lucent Technologies Inc. | Digital multi-view video compression with complexity and compatibility constraints |
JP4337203B2 (ja) * | 2000-01-24 | 2009-09-30 | ソニー株式会社 | 距離画像生成装置および距離画像生成方法、並びにプログラム提供媒体 |
JP2003346130A (ja) * | 2002-05-22 | 2003-12-05 | Saibuaasu:Kk | 3次元情報処理装置および3次元情報処理方法 |
US7561731B2 (en) * | 2004-12-27 | 2009-07-14 | Trw Automotive U.S. Llc | Method and apparatus for enhancing the dynamic range of a stereo vision system |
JP5310594B2 (ja) * | 2010-02-17 | 2013-10-09 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法、およびプログラム |
CN103370943B (zh) * | 2011-02-09 | 2015-11-25 | 富士胶片株式会社 | 成像装置和成像方法 |
JP5158223B2 (ja) | 2011-04-06 | 2013-03-06 | カシオ計算機株式会社 | 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム |
CN104054109A (zh) * | 2012-01-17 | 2014-09-17 | 柯尼卡美能达株式会社 | 图像处理装置、图像处理方法以及图像处理程序 |
CN104584545B (zh) * | 2012-08-31 | 2017-05-31 | 索尼公司 | 图像处理装置、图像处理方法、以及信息处理装置 |
JP5263437B2 (ja) | 2012-09-07 | 2013-08-14 | カシオ計算機株式会社 | 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム |
US9135710B2 (en) | 2012-11-30 | 2015-09-15 | Adobe Systems Incorporated | Depth map stereo correspondence techniques |
CN104065947B (zh) * | 2014-06-18 | 2016-06-01 | 长春理工大学 | 一种集成成像系统的深度图获取方法 |
JP2018133064A (ja) * | 2017-02-17 | 2018-08-23 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム |
-
2019
- 2019-03-14 CN CN201980054083.3A patent/CN112602117A/zh active Pending
- 2019-03-14 JP JP2021505460A patent/JP7078172B2/ja active Active
- 2019-03-14 US US17/272,918 patent/US11348271B2/en active Active
- 2019-03-14 EP EP19918794.9A patent/EP3832600A4/en active Pending
- 2019-03-14 WO PCT/JP2019/010582 patent/WO2020183710A1/ja unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011013706A (ja) * | 2009-06-30 | 2011-01-20 | Hitachi Ltd | ステレオ画像処理装置およびステレオ画像処理方法 |
US20140015816A1 (en) * | 2011-12-16 | 2014-01-16 | Scott Janus | Driving multiple displays using a single display engine |
US20150178936A1 (en) * | 2013-12-20 | 2015-06-25 | Thomson Licensing | Method and apparatus for performing depth estimation |
JP2017045283A (ja) * | 2015-08-26 | 2017-03-02 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および情報処理方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3832600A1 (en) | 2021-06-09 |
WO2020183710A1 (ja) | 2020-09-17 |
CN112602117A (zh) | 2021-04-02 |
JP7078172B2 (ja) | 2022-05-31 |
US20220012905A1 (en) | 2022-01-13 |
EP3832600A4 (en) | 2022-03-09 |
US11348271B2 (en) | 2022-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11302022B2 (en) | Three-dimensional measurement system and three-dimensional measurement method | |
EP3531066A1 (en) | Three-dimensional scanning method including a plurality of lasers with different wavelengths, and scanner | |
CN106875435B (zh) | 获取深度图像的方法及系统 | |
JP7078173B2 (ja) | 画像処理装置及び3次元計測システム | |
JP7078172B2 (ja) | 画像処理装置及び3次元計測システム | |
JP7168077B2 (ja) | 3次元計測システム及び3次元計測方法 | |
JP7227969B2 (ja) | 三次元再構成方法および三次元再構成装置 | |
WO2019184185A1 (zh) | 目标图像获取系统与方法 | |
US10713810B2 (en) | Information processing apparatus, method of controlling information processing apparatus, and storage medium | |
WO2019184184A1 (zh) | 目标图像获取系统与方法 | |
WO2019065536A1 (ja) | 再構成方法および再構成装置 | |
CN113711276A (zh) | 尺度感知单目定位和地图构建 | |
JP2019114842A (ja) | 画像処理装置、コンテンツ処理装置、コンテンツ処理システム、および画像処理方法 | |
JP7184203B2 (ja) | 画像処理装置、3次元計測システム、画像処理方法 | |
JP7489253B2 (ja) | デプスマップ生成装置及びそのプログラム、並びに、デプスマップ生成システム | |
WO2019066724A1 (en) | LIGHT PROJECTION SYSTEMS | |
JP2020042727A (ja) | 画像処理装置および画像処理方法、プログラム、並びに記憶媒体 | |
JP2009237652A (ja) | 画像処理装置および方法並びにプログラム | |
JPH11183142A (ja) | 三次元画像撮像方法及び三次元画像撮像装置 | |
JP2019158776A (ja) | 撮像装置、車両、及び撮像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210308 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220419 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220502 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7078172 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |