JP5574852B2 - 情報処理装置、情報処理方法、システム及びプログラム - Google Patents
情報処理装置、情報処理方法、システム及びプログラム Download PDFInfo
- Publication number
- JP5574852B2 JP5574852B2 JP2010149713A JP2010149713A JP5574852B2 JP 5574852 B2 JP5574852 B2 JP 5574852B2 JP 2010149713 A JP2010149713 A JP 2010149713A JP 2010149713 A JP2010149713 A JP 2010149713A JP 5574852 B2 JP5574852 B2 JP 5574852B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- intersection
- scanning line
- information processing
- corresponding point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Description
仮想物体が現実空間に実在するように利用者が感じるためには、仮想物体と現実空間との間の幾何学的な整合性が重要である。複合現実感における幾何学的な整合性には、現実空間の座標系と仮想空間の座標系とを一致させるための整合性と、現実物体と仮想物体との前後関係を正しく表現するための整合性とがある。前者の整合性を扱う問題は、複合現実感における位置合わせ問題とも呼ばれ、種々の研究報告が行われている。また後者の整合性を扱う問題は「オクルージョン問題」とも呼ばれ、特にカメラで撮影した画像に仮想物体を重畳させるビデオシースルー型のMRシステムでも重要な課題となる。本明細書では、後者のオクルージョン問題を扱う。
本実施形態では、光軸の方向を平行に揃え、また、視点の高さを揃えた2台の撮像装置で撮影した画像に基づいて、撮像装置に対する被写体の一例である現実物体の3次元位置を計測する3次元位置計測装置を例に3次元位置算出方法等を説明する。
図1は、撮像装置の位置及び3次元位置計測装置200のハードウェア構成の一例を示す図である。図1に示した3次元位置計測装置200のハードウェア構成はパーソナルコンピュータ(コンピュータ)の構成と同等である。なお、3次元位置計測装置200は、情報処理装置の一例である。3次元位置計測装置200には、画像取り込み器502、記憶媒体503が接続されている。画像取り込み器502は、撮像装置100及び110で撮影(撮像)された画像をコンピュータ内に取り込むものであり、画像取得部1000に対応する。画像取り込み器502は、例えばビデオキャプチャボード等である。画像取り込み器502は、カメラ(撮像装置)で撮影された画像をコンピュータ内に取り込むものであれば何でもよい。CPU501は、記憶媒体503又はROM504又はRAM505、不図示の外部記憶装置等に保存されているプログラムを実行する。CPU501がプログラムを実行することにより、画像処理部2000、対応付け処理部3000、3次元位置算出部4000の各機能が実現される。夫々の処理部は、記憶媒体503に情報を保存、若しくは情報の読み出しを行う。
図2に示すように、3次元位置計測装置200は、画像取得部1000、画像処理部2000、対応付け処理部3000、3次元位置算出部4000を含む。3次元位置計測装置200は、撮像装置100及び撮像装置110によって撮影された画像に基づいて現実物体の3次元位置を計測(算出)し、3次元位置情報を出力する。
まず、撮像装置100及び撮像装置110は、例えばビデオカメラ等であり、現実物体150が存在するシーンを同時に撮影する。本実施形態では、撮像装置100の焦点距離やレンズ歪み係数等のカメラ内部パラメーターは予め公知の方法で求めておき、既知であるとする。また、撮像装置100及び撮像装置110は、光軸の方向を平行に揃えると共に視点の高さを揃え固定するため、撮像装置間の相対位置姿勢のカメラ外部パラメーターは既知であるとする。
画像取得部1000は、撮像装置100及び撮像装置110によって撮影された画像をコンピュータ内に取り込む。画像取得部1000は、例えば、PCに設置されたビデオキャプチャカード等である。また、本実施形態では、画像取得部1000が、取得した画像に対してレンズ歪み補正を行うことで、画像の歪みはないものとして扱う。
領域分割部2010は、画像取得部1000によって取得された画像から、色情報に基づいて領域分割を行う。より具体的に説明すると、領域分割部2010は、予め設定された現実物体150の色情報に含まれる領域とそれ以外の領域とに分割する。
領域区別設定部2020は、分割された領域にラベル付けを行うことで領域を区別する。より具体的に説明すると、領域区別設定部2020は、領域の面積の大きい順にラベルを付け、閾値以下の面積の領域はノイズとして除去する。領域区別設定部2020は、ノイズ除去を行い、残った領域の画像とラベル情報とを交点検出部2040へ出力する。
走査線設定部2030は、撮像装置100と撮像装置110とによって撮影された各画像に対応する走査線の走査線情報を設定し、走査線情報を交点検出部2040へ出力する。
交点検出部2040は、領域区別設定部2020でラベル付けされた分割領域と走査線設定部2030で設定された走査線情報とを入力として、分割領域の境界線と走査線との交点を検出する。ここで、交点の検出とは、2次元画像上での画像座標を求めることである。交点検出部2040は、検出した交点の画像座標と、前記交点の近傍の分割領域のラベルと、を交点情報保持部2050へ出力する。ここで、交点の近傍の分割領域とは、前記交点より所定の範囲内の分割領域である。
交点情報保持部2050は、交点検出部2040から入力された交点の画像座標と、分割領域のラベルと、を交点情報として保持する。そして、交点情報保持部2050は、交点情報(又は交点の画像座標)と、ラベル付けされた分割領域の画像とを、対応付け処理部3000に出力する。
交点特徴量算出部3010は、画像処理部2000から、交点の画像座標と、ラベル付けされた分割領域の画像と、を入力する。交点特徴量算出部3010は、分割領域の画像から、交点近傍における走査線上の特徴量をラベルに基づいて求め、交点特徴量リスト作成部3020へ出力する。
交点特徴量リスト作成部3020は、交点特徴量算出部3010から分割領域の特徴量を入力し、走査線上に交点の特徴量を並べた交点特徴量リストを作成する。交点特徴量リスト作成部3020は、作成した交点特徴量リストを一致度算出部3030へ出力する。
一致度算出部3030は、撮像装置100で撮影された画像における交点特徴量リストと、第二の撮像装置110で撮影した画像における交点特徴量リストと、の比較を行い、一致度Pを算出する。一致度算出部3030は、算出した一致度Pを第一の対応点判定部3040へ出力する。
第一の対応点判定部3040は、一致度算出部3030から交点特徴量リストの一致度Pを入力し、交点特徴量リストの一致度に基づいて対応点の判定を行う。第一の対応点判定部3040は、対応点の画像座標の組を対応点情報として領域対応付け部3050へ出力する。
第二の対応点判定部3060は、領域対応付け部3050から分割領域の境界線の対応情報を入力する。第二の対応点判定部3060は、領域対応付け部3050で更新された境界線と走査線との交点を、新たな対応点として判定し、対応点情報を交点特徴量リスト分割部3070へ出力する。
交点特徴量リスト分割部3070は、第二の対応点判定部3060から対応点情報を入力し、対応点に基づいて交点特徴量リストを分割する。交点特徴量リスト分割部3070は、分割した交点特徴量リストを第三の対応点判定部3080へ出力する。
第三の対応点判定部3080は、交点特徴量リスト分割部3070から分割した交点特徴量リストを入力する。第三の対応点判定部3080は、分割した交点特徴量リストの一致度に基づいて、対応点の判定を行い、対応点情報を3次元位置算出部4000に出力する。
3次元位置算出部4000は、対応付け処理部3000から対応点情報を入力し、分割領域の撮像装置に対する3次元位置を算出する。3次元位置算出部4000は、算出した3次元位置情報を出力する。
ステップS2011では、領域分割部2010は、予め登録された、被写体となる物体の色情報(物体色情報)を入力する。
ステップS2012では、領域分割部2010は、撮像装置100、及び撮像装置110によって撮影した画像の各画素の色情報と、物体色情報と、を比較する。
ステップS2013では、領域分割部2010は、各画素の色情報が物体色情報に含まれるならば1、それ以外なら0とする。
ステップS2014では、領域分割部2010は、色情報の比較結果に基づいて2値画像を生成する。ここでは、入力した物体色情報に含まれるならば白、それ以外の領域を黒とする。
ステップS2015では、領域区別設定部2020は、2値画像のラベリングを行う。
ステップS2016では、領域区別設定部2020は、ラベリング後の画像から、設定した閾値よりも面積の小さい領域をノイズとして除去する。
上記の方法では、物体領域を検出するために色情報によって領域分割している。そのため、影になる部分や、同系色の領域がある場合には、ステップS2016で行うノイズ処理では、誤検出やノイズを全て取り除くことができない。図6は、ノイズを含んだ領域分割結果の2値画像の一例を示す図である。
領域分割で用いられる色情報は、多次元色空間における座標値として記述することができる。例えば、RGB、YIQ、YCbCr、YUV、HSV、Luv、Lab等様々な種類がある。3次元位置計測装置200は、対象とする被写体の色彩特性に合わせて、領域分割で用いられる色情報を選択可能に構成してもよい。また、領域を分割する方法は上記に限るものではなく、領域分割部2010は、色情報を用いる何れの公知の方法で行ってもよい。
ステップS2018では、交点検出部2040は、分割領域の境界線と走査線との交点を検出し、画像座標を求める。
ステップS2019では、交点情報保持部2050は、交点の画像座標と、分割領域の2値画像のラベルと、をセットにして保持し、対応付け処理部3000へ出力する。
ステップS3011では、交点特徴量算出部3010は、交点の画像座標と分割領域の2値画像とを入力する。
ステップS3012では、交点特徴量算出部3010は、分割領域の2値画像から、走査線上における交点近傍の特徴量を求める。交点特徴量算出部3010は、入力した色情報内の領域として検出されている部分が1、それ以外の未検出部分が0として、図9に示すように、走査線上を探索して、交点上で分割領域のラベルが0から1に変化する場合には正の符号を与える。図9は、走査線上の交点の特徴量の求め方を説明する図である。一方、交点特徴量算出部3010は、1から0に変化する場合には負の符号を与える。即ち、正の符号の場合、走査線上で分割領域の左側であることを意味し、負の符号の場合は、走査線上で分割領域の右側であることを意味する。本実施形態では、この符号を特徴量とする。図10は、交点近傍の特徴量を求め、分割領域に表示した一例を示す図である。ここで、図10において、○は正の符号を表し、△は負の符号を表す。
ステップS3013では、交点特徴量リスト作成部3020は、ステップS3012で求められた特徴量を走査線上で並べ、走査線ごとに特徴量リストを作成する。
ステップS3014では、一致度算出部3030は、撮像装置100及び撮像装置110で撮影した夫々の画像での特徴量リストの一致度Pを算出する。特徴量リストの特徴量を左側から順にスキャンし、特徴量の総数をそれぞれS100、S110とし、一致した特徴量の総数をCとすると、一致度算出部3030は、一致度Pを、次のように求める。
P=C/S110(S100<=S110のとき)
P=C/S100(S110<S100)
一致度の算出方法は、求めた特徴量に基づいて算出するものであれば、これに限るものではない。
ステップS3016では、領域対応付け部3050は、対応点であると判定された交点が存在する分割領域を物体領域とし、その境界ラベルを、撮像装置100及び撮像装置110で撮影した夫々の画像で対応付ける。
ステップS3017では、第二の対応点判定部3060は、ステップS3016で対応付けられた物体領域の境界線と走査線との交点で、かつ、まだ対応点と判定されていない交点を対応点として判定する。
ステップS3018では、交点特徴量リスト分割部3070は、走査線上の交点近傍の特徴量をリスト化した交点特徴量リストを、ステップS3017で対応付けた対応点の位置で分割する。図11は、分割領域の境界線と走査線との交点から、走査線Jを取り出した一例を示す図である。ここで、図中のC1、C2、及びC1'、C2'はステップS3017で対応付けられた対応点である。交点特徴量リスト分割部3070は、走査線J上の交点近傍の特徴量をリスト化した交点特徴量リストを、対応点C1及びC2の位置で分割する。これにより撮像装置100で撮影した画像においてJ1、J2、J3、撮像装置100で撮影した画像においてJ1'、J2'、J3'のように夫々3つに分割することができる。
ステップS3019では、第三の対応点判定部3080は、ステップS3018で算出された一致度に基づいて、まだ対応点であると判定されていない交点を新たな対応点として判定する。図12は、走査線上で対応点を求める処理の一例を説明するための図である。図12では、J1とJ1'の部分の交点が一致するため、例えば、第三の対応点判定部3080は、対応点として判定する。
ステップS3020では、第三の対応点判定部3080は、撮像装置100で撮影された画像における対応点Cn(n=1,2,,,N)と、撮像装置110で撮影された画像における対応点C'n(n=1,2,,,N)と、の画像座標の組を3次元位置算出部4000へ出力する。ここでNは、対応点の組の総数である。
対応付け処理部3000から得た対応点に基づいて3次元位置を計測する。図13は、ステレオ計測の一例を図である。本実施形態では、図13に示すように、2台の撮像装置は光軸の方向を平行に揃えると共に視点の高さを揃えて固定されている。そのため、3次元位置算出部4000は、平行ステレオ、又はベースラインステレオと呼ばれる公知技術を用いて3次元位置を算出する。
3次元位置算出部4000は、図13に示すように座標系をとり、現実物体の点P(X,Y,Z)がそれぞれ左右の画像上の(xl,yl)、(xr,yr)に像を結べば、次式によって3次元位置(X、Y、Z)を求めることができる。
X=b(xl+xr)/2d ・・・式1
Y=by/d ・・・式2
Z=bf/d ・・・式3
但し、fは、撮像装置の焦点距離である。bは、撮像装置間の距離(基線長)である。dは、視差と呼ばれd=xl−xrである。
3次元位置算出部4000は、算出した現実物体の3次元位置値を出力する。
本実施形態に係る3次元位置計測装置200をヘッドマンテッドディスプレイ又はハンドヘルドディスプレイに装着し、MR技術に応用する。すると、このMR技術では、現実物体の3次元位置情報と、仮想物体の3次元位置情報と、を比較して、画像又は仮想物体を手前に描画することができる。
ここで、ヘッドマウンテッドディスプレイとは、頭部に装着するディスプレイのことであり、ハンドヘルドディスプレイとは、手持ちのディスプレイである。これらは、複合現実感を体験する際に一般的によく利用される。ヘッドマウンテッドディスプレイやハンドヘルドディスプレイに撮像装置を装着する場合には、ディスプレイの光軸と、撮像装置の光軸と、を一致させることが望ましい。このようにして、手等の物体領域の奥行きを計測することで複合現実感における、現実物体と仮想物体の前後関係を正しく表現することができ、ユーザーは正しく知覚することができる。
以上のように、本実施形態に係る3次元位置計測装置200は、MR技術おける幾何的整合性を向上させ、違和感の少ないMR体験をユーザーに提供することができる。なお、本実施形態では、現実物体として人間の手の3次元位置を計測(算出)する例を用いて処理を説明したが、このことに限定されるものではない。
実施形態1では、撮像装置100と撮像装置110とは、光軸の方向を平行に揃えると共に視点の高さを揃えて固定されていることを前提として説明した。しかしながら、撮像装置100と撮像装置110とが同じ物体を撮影できれば、撮像装置の配置はこれに限るものではない。
光軸の方向を平行に揃えると共に視点の高さを揃えて固定していない場合(水平に揃え固定していない場合)、走査線は、平行ステレオのように画像のx軸に平行となる線分にならない。そこで、本実施形態では、3次元位置計測装置200は、一般的にエピポーラ線と呼ばれる線を走査線として設定する。
エピポーラ方程式について説明する。撮像装置の位置を3×1ベクトルT=(Tx,Ty,Tz)、回転を3×3行列Rで表す。いま行列Eを次式のように置く。
このようにエピポーラ線は、2台の撮像装置間の相対位置姿勢を求めることができれば簡単に求めることができる。また、2台の撮像装置間の相対位置姿勢は、カメラキャリブレーションの公知技術により求めることができる。カメラキャリブレーションについての詳細な説明は省略する。
焦点距離や主点位置等の内部パラメーターは既知であり、また撮像装置の相対位置姿勢の外部パラメーターも既知であるとする。撮像装置の内部パラメーターと外部パラメーターとを合成した行列Pを次式のように表すことができる。
このように、撮像装置100と撮像装置110の光軸との方向を揃えず、視点の高さも揃えて固定しなくとも、現実物体の3次元位置を計測することができる。
実施形態1では、走査線設定部2030は、画像のy軸方向に均等に走査線を設定していた。しかし、走査線上に物体領域が存在すればこれに限らない。
走査線の位置の設定を制御する手段について図14を用いて説明する。図14は、実施形態3の画像処理部2000の機能構成の一例を示す図である。図14に示すように、走査線位置制御部2035は、領域区別設定部2020からラベル付けられた分割領域の2値画像を入力し、走査線設定部2030が設定する走査線の位置を変更する。
例えば、走査線位置制御部2035の制御に基づき走査線設定部2030が、前フレームで描画された仮想物体が存在する画像領域とその周辺領域とに対して走査線を設定すれば、処理コストを軽減することができる。また、走査線位置制御部2035の制御に基づき走査線設定部2030が、前フレームで描画された仮想物体が存在する領域だけに対して、走査線の間隔の密度を上げれば、より精度の高い3次元位置計測を行うことができる。
ステップS2021では、走査線設定部2030は、均等間隔で走査線を設定する。
ステップS2022では、走査線位置制御部2035は、走査線上に仮想物体領域が存在するか否かで判定フラグを設定する。走査線位置制御部2035は、走査線上に仮想物体領域が存在すれば、その走査線は利用しないため判定フラグを0にする。走査線位置制御部2035は、走査線上に仮想物体領域が存在していれば、その走査線の判定フラグを1にする。
ステップS2023では、走査線位置制御部2035は、走査線の判定フラグが1の走査線が2つ連続で存在すれば、その走査線間の間に指定した数だけ走査線を追加し、走査線の判定フラグを1にする。
ステップS2024では、走査線設定部2030は、判定フラグが1の線を走査線として設定する。
以上のようにして、物体が存在しない領域の走査線は利用せず、更に、物体が存在する領域だけ走査線の密度を上げるように走査線位置を制御することで、より密に、即ち精度よく3次元位置を計測することができる。
実施形態1至乃3では、画像処理部2000によって、予め登録しておいた物体色情報に基づいて領域分割を行い、2値画像を生成した。しかしながら、登録する色情報は、複数であってもよい。
このとき、領域分割部2010では、登録された複数の色情報ごとに領域を分割し、多値画像を生成すればよい。
領域区別設定部2020では、色情報ごとに識別子Li(i=1、2、、、C)を設定し、分割した領域に割り当てる。ここで、Cは、登録した色情報の総数であり、即ち、識別子の総数である。
また、実施形態1至乃3では、対応付け処理部3000で、走査線上を探索して、交点上で分割領域の識別子が0から1に変化する場合には正の符号を与え、1から0に変化する場合には負の符号を与えていた。しかし、複数の色情報に基づいて領域分割を行った場合には、交点特徴量算出部3010は、走査線上の交点近傍における識別子変化する際の、識別子Liの組を特徴量として求める。
交点特徴量リスト作成部3020は、特徴量として求めた識別子Liの組を、走査線上で並べ、リストを作成する。
一致度算出部3030は、走査線上の特徴量である識別子の組を走査し、一致するか否かに基づいて、一致度Pを求める。
以上のように処理することで、複数の色情報を有する物体領域上の点を対応付けることができ、3次元位置を計測することができる。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。
また上述した各実施形態によれば、画像から色情報により領域分割を行い、分割した領域に基づいて求めた特徴量によって、走査線と領域の交点を各画像間で対応付ける。そのため、似たような輝度勾配を持つ複数の対応点候補が存在する場合であっても、直接的に輝度勾配を用いて対応付ける従来例と比べて、誤対応を低減することができる。
これにより、高速、かつ、安定的に、現実物体の3次元位置を計測(算出)することができる。
更に、計測した現実物体の3次元位置情報と仮想物体の3次元位置情報を比較して、画像又は仮想物体を手前に描画することができる。即ち、現実物体と仮想物体の前後関係を正しく表現することができ、MR技術おける幾何的整合性を向上させ、違和感の少ないMR体験をユーザーに提供することができる。
Claims (20)
- 複数の視点から被写体を撮像する撮像装置で撮像された前記被写体の各画像から、予め設定された色情報を含んだ領域を少なくとも1つ抽出する領域抽出手段と、
前記各画像上に設定された走査線と、前記領域抽出手段で抽出された各画像の領域の境界線と、の交点の近傍の領域に基づいて、前記交点における色の変化を表す特徴を取得する特徴取得手段と、
前記取得された前記交点の特徴に基づいて、前記各画像間で対応する走査線上で、前記各画像間の対応点を取得する対応点取得手段と、
前記対応点取得手段で取得された前記対応点の視点に対する3次元位置を導出する3次元位置導出手段と、
を有する情報処理装置。 - 前記対応点取得手段は、前記各画像間で対応する走査線上における交点の特徴を比較することにより、前記各画像において前記対応点を取得する請求項1に記載の情報処理装置。
- 前記走査線を分割する分割手段を更に有し、
前記対応点取得手段は、前記分割された走査線ごとに、前記各画像間の対応点を取得する請求項1又は2に記載の情報処理装置。 - 前記対応点取得手段は、前記各画像間で対応する走査線ごとに、前記取得された特徴を比較し、前記比較された結果が所定の条件を満たす走査線上の交点を対応点として取得し、
前記分割手段は、前記対応点取得手段によって取得された対応点で前記所定の条件を満たさなかった走査線を分割し、
前記対応点取得手段は、前記分割された走査線ごとに、前記分割された走査線上の交点の特徴に基づいて、前記各画像間の対応点を取得する請求項3に記載の情報処理装置。 - 前記対応点取得手段によって取得された対応点に基づいて、前記抽出された領域を前記各画像間で対応付ける領域対応付け手段を更に有し、
前記分割手段は、前記領域対応付け手段で対応付けられた領域に基づいて、前記走査線を分割し、
前記対応点取得手段は、前記分割された走査線ごとに、前記分割された走査線上の交点の特徴に基づいて、前記各画像間の対応点を取得する請求項3に記載の情報処理装置。 - 前記特徴は、前記抽出された予め設定された色情報を含んだ領域と、前記領域以外の領域との境界を表す請求項1乃至5の何れか1項に記載の情報処理装置。
- 前記各画像上に走査線を設定する走査線設定手段を更に有する請求項1乃至6の何れか1項に記載の情報処理装置。
- 前記撮像装置は、ヘッドマンテッドディスプレイ又はハンドヘルドディスプレイに装着された2台の撮像装置である請求項1乃至7の何れか1項に記載の情報処理装置。
- 前記撮像装置は、光軸の方向を平行に揃えると共に視点の高さを揃えた2台の撮像装置であって、
前記走査線設定手段は、前記2台の撮像装置で撮像された前記被写体の各画像に、前記2台の撮像装置を結ぶ線分に対して平行に配した複数の線分である走査線を設定する請求項7に記載の情報処理装置。 - 前記走査線は、エピポーラ線である請求項1乃至8の何れか1項に記載の情報処理装置。
- 前記領域抽出手段で抽出された各画像の領域に応じて、前記走査線設定手段で設定される走査線の位置を制御する走査線位置制御手段を更に有する請求項7又は9に記載の情報処理装置。
- 前記対応点取得手段は、前記特徴取得手段で取得された前記交点の特徴の一致度を算出し、算出した一致度に基づいて前記各画像間の対応点を求める請求項1乃至11の何れか1項に記載の情報処理装置。
- 前記導出された物体の3次元位置を使って、前記各画像と、仮想画像と、を合成する合成手段を更に有する請求項1乃至12の何れか1項に記載の情報処理装置。
- 複数の視点から被写体を含んだ現実空間を撮像する撮像手段と、
前記撮像された各画像から、予め設定された色情報を含む領域を少なくとも1つ抽出する領域抽出手段と、
前記各画像上に設定された走査線と、前記領域抽出手段で抽出された各画像の領域の境界線と、の交点の近傍の領域に基づいて、前記交点における色の変化を表す特徴を取得する特徴取得手段と、
前記取得された前記交点の特徴に基づいて、前記各画像間で対応する走査線上で、前記各画像間の対応点を取得する対応点取得手段と、
前記対応点取得手段で取得された前記対応点の視点に対する3次元位置を導出する3次元位置導出手段と、
前記撮像手段により撮像された現実空間の画像を取得し、前記現実空間の画像と、仮想空間の画像と、を合成する合成手段と、
を有する情報処理装置。 - 表示装置と、前記表示装置に表示される合成画像を生成する情報処理装置と、を含むシステムであって、
前記表示装置は、
複数の視点から被写体を含んだ現実空間を撮像する撮像手段と、
前記撮像された各画像を、前記情報処理装置に出力する第1の出力手段と、
前記情報処理装置から、前記撮像された現実空間の画像と、仮想空間の画像と、が合成された合成画像を取得し、前記取得した合成画像を表示する表示手段と、
を有し、
前記情報処理装置は、
前記撮像された各画像から、予め設定された色情報を含んだ領域を少なくとも1つ抽出する領域抽出手段と、
前記各画像上に設定された走査線と、前記領域抽出手段で抽出された各画像の領域の境界線と、の交点の近傍の領域に基づいて、前記交点における色の変化を表す特徴を取得する特徴取得手段と、
前記取得された前記交点の特徴に基づいて、前記各画像間で対応する走査線上で、前記各画像間の対応点を取得する対応点取得手段と、
前記対応点取得手段で取得された前記対応点の視点に対する3次元位置を導出する3次元位置導出手段と、
前記表示装置から、前記撮像手段により撮像された現実空間の画像を取得し、前記現実空間の画像と、前記仮想空間の画像と、を合成し、前記表示装置へ出力する第2の出力手段と、
を有するシステム。 - 情報処理装置が実行する情報処理方法であって、
複数の視点から被写体を撮像する撮像装置で撮像された前記被写体の各画像から、予め設定された色情報を含んだ領域を少なくとも1つ抽出する領域抽出ステップと、
前記各画像上に設定された走査線と、前記領域抽出ステップで抽出された各画像の領域の境界線と、の交点の近傍の領域に基づいて、前記交点における色の変化を表す特徴を取得する特徴取得ステップと、
前記取得された前記交点の特徴に基づいて、前記各画像間で対応する走査線上で、前記各画像間の対応点を取得する対応点取得ステップと、
前記対応点取得ステップで取得された前記対応点の視点に対する3次元位置を導出する3次元位置導出ステップと、
を含む情報処理方法。 - 情報処理装置が実行する情報処理方法であって、
複数の視点から被写体を含んだ現実空間を撮像する撮像ステップと、
前記撮像された各画像から、予め設定された色情報を含む領域を少なくとも1つ抽出する領域抽出ステップと、
前記各画像上に設定された走査線と、前記領域抽出ステップで抽出された各画像の領域の境界線と、の交点の近傍の領域に基づいて、前記交点における色の変化を表す特徴を取得する特徴取得ステップと、
前記取得された前記交点の特徴に基づいて、前記各画像間で対応する走査線上で、前記各画像間の対応点を取得する対応点取得ステップと、
前記対応点取得ステップで取得された前記対応点の視点に対する3次元位置を導出する3次元位置導出ステップと、
前記撮像ステップにより撮像された現実空間の画像を取得し、前記現実空間の画像と、仮想空間の画像と、を合成する合成ステップと、
を含む情報処理方法。 - 表示装置と、前記表示装置に表示される合成画像を生成する情報処理装置と、を含むシステムが実行する情報処理方法であって、
前記表示装置が、複数の視点から被写体を含んだ現実空間を撮像する撮像ステップと、
前記表示装置が、前記撮像された各画像を、前記情報処理装置に出力する第1の出力ステップと、
前記情報処理装置が、前記撮像された各画像から、予め設定された色情報を含んだ領域を少なくとも1つ抽出する領域抽出ステップと、
前記情報処理装置が、前記各画像上に設定された走査線と、前記領域抽出ステップで抽出された各画像の領域の境界線と、の交点の近傍の領域に基づいて、前記交点における色の変化を表す特徴を取得する特徴取得ステップと、
前記情報処理装置が、前記取得された前記交点の特徴に基づいて、前記各画像間で対応する走査線上で、前記各画像間の対応点を取得する対応点取得ステップと、
前記情報処理装置が、前記対応点取得ステップで取得された前記対応点の視点に対する3次元位置を導出する3次元位置導出ステップと、
前記情報処理装置が、前記表示装置から、前記撮像ステップにより撮像された現実空間の画像を取得し、前記現実空間の画像と、仮想空間の画像と、を合成し、前記表示装置へ出力する第2の出力ステップと、
前記表示装置が、前記情報処理装置から、前記撮像された現実空間の画像と、前記仮想空間の画像と、が合成された合成画像を取得し、前記取得した合成画像を表示する表示ステップと、
を含む情報処理方法。 - コンピュータに、
複数の視点から被写体を撮像する撮像装置で撮像された前記被写体の各画像から、予め設定された色情報を含んだ領域を少なくとも1つ抽出する領域抽出ステップと、
前記各画像上に設定された走査線と、前記領域抽出ステップで抽出された各画像の領域の境界線と、の交点の近傍の領域に基づいて、前記交点における色の変化を表す特徴を取得する特徴取得ステップと、
前記取得された前記交点の特徴に基づいて、前記各画像間で対応する走査線上で、前記各画像間の対応点を取得する対応点取得ステップと、
前記対応点取得ステップで取得された前記対応点の視点に対する3次元位置を導出する3次元位置導出ステップと、
を実行させるためのプログラム。 - コンピュータに、
複数の視点から被写体を含んだ現実空間を撮像する撮像ステップと、
前記撮像された各画像から、予め設定された色情報を含む領域を少なくとも1つ抽出する領域抽出ステップと、
前記各画像上に設定された走査線と、前記領域抽出ステップで抽出された各画像の領域の境界線と、の交点の近傍の領域に基づいて、前記交点における色の変化を表す特徴を取得する特徴取得ステップと、
前記取得された前記交点の特徴に基づいて、前記各画像間で対応する走査線上で、前記各画像間の対応点を取得する対応点取得ステップと、
前記対応点取得ステップで取得された前記対応点の視点に対する3次元位置を導出する3次元位置導出ステップと、
前記撮像ステップにより撮像された現実空間の画像を取得し、前記現実空間の画像と、仮想空間の画像と、を合成する合成ステップと、
を実行させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010149713A JP5574852B2 (ja) | 2010-06-30 | 2010-06-30 | 情報処理装置、情報処理方法、システム及びプログラム |
US13/169,662 US9317924B2 (en) | 2010-06-30 | 2011-06-27 | Information processing apparatus, three-dimensional position calculation method, and program |
EP11171443.2A EP2402907B1 (en) | 2010-06-30 | 2011-06-27 | Information processing apparatus, three-dimensional position calculation method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010149713A JP5574852B2 (ja) | 2010-06-30 | 2010-06-30 | 情報処理装置、情報処理方法、システム及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012013514A JP2012013514A (ja) | 2012-01-19 |
JP2012013514A5 JP2012013514A5 (ja) | 2013-08-15 |
JP5574852B2 true JP5574852B2 (ja) | 2014-08-20 |
Family
ID=44508739
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010149713A Expired - Fee Related JP5574852B2 (ja) | 2010-06-30 | 2010-06-30 | 情報処理装置、情報処理方法、システム及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US9317924B2 (ja) |
EP (1) | EP2402907B1 (ja) |
JP (1) | JP5574852B2 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130083151A1 (en) * | 2011-09-30 | 2013-04-04 | Lg Electronics Inc. | Electronic device and method for controlling electronic device |
US10268731B2 (en) | 2011-10-03 | 2019-04-23 | Black Hills Ip Holdings, Llc | Patent mapping |
JP2013101528A (ja) * | 2011-11-09 | 2013-05-23 | Sony Corp | 情報処理装置、表示制御方法、およびプログラム |
US11493998B2 (en) | 2012-01-17 | 2022-11-08 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
US8693731B2 (en) | 2012-01-17 | 2014-04-08 | Leap Motion, Inc. | Enhanced contrast for object detection and characterization by optical imaging |
US9928497B2 (en) | 2013-01-18 | 2018-03-27 | Wal-Mart Stores, Inc. | System and method for managing prepaid cards |
JP5818857B2 (ja) * | 2013-10-24 | 2015-11-18 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
CN105095028B (zh) * | 2014-04-29 | 2018-11-02 | 国际商业机器公司 | 用于在组件中定位单元的方法和装置 |
JP6376873B2 (ja) * | 2014-07-16 | 2018-08-22 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
EP3190781B1 (en) * | 2014-09-30 | 2019-05-22 | Huawei Technologies Co. Ltd. | Autofocus method, device and electronic apparatus |
TW201909118A (zh) * | 2017-07-20 | 2019-03-01 | 日商倉敷紡績股份有限公司 | 線狀物的三維測量方法與裝置 |
EP3710860A1 (en) * | 2017-11-17 | 2020-09-23 | trinamiX GmbH | Detector for determining a position of at least one object |
JP2019185475A (ja) * | 2018-04-12 | 2019-10-24 | 富士通株式会社 | 特定プログラム、特定方法及び情報処理装置 |
US20190325318A1 (en) * | 2018-04-18 | 2019-10-24 | Ants Technology (Hk) Limited | Method and system for learning in a trustless environment |
JP6959277B2 (ja) | 2019-02-27 | 2021-11-02 | ファナック株式会社 | 3次元撮影装置および3次元撮影条件調整方法 |
JP7321029B2 (ja) * | 2019-08-07 | 2023-08-04 | キヤノン株式会社 | キャリブレーション装置及びその制御方法及びプログラム及び記憶媒体 |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU7989991A (en) * | 1990-05-29 | 1991-12-31 | Axiom Innovation Limited | Machine vision stereo matching |
FR2760554B1 (fr) * | 1997-03-06 | 1999-04-16 | Alsthom Cge Alcatel | Procede de detection de contours de relief dans une paire d'images stereoscopiques |
JP2000028354A (ja) * | 1998-07-13 | 2000-01-28 | Victor Co Of Japan Ltd | 3次元画像処理装置 |
JP3450792B2 (ja) * | 1999-03-25 | 2003-09-29 | キヤノン株式会社 | 奥行き画像計測装置及び方法、並びに複合現実感提示システム |
JP2000276613A (ja) * | 1999-03-29 | 2000-10-06 | Sony Corp | 情報処理装置および情報処理方法 |
US6963661B1 (en) * | 1999-09-09 | 2005-11-08 | Kabushiki Kaisha Toshiba | Obstacle detection system and method therefor |
AU2001239926A1 (en) * | 2000-02-25 | 2001-09-03 | The Research Foundation Of State University Of New York | Apparatus and method for volume processing and rendering |
JP2004522464A (ja) * | 2000-10-02 | 2004-07-29 | ザ リサーチ ファウンデーション オブ ステイト ユニヴァーシティ オブ ニューヨーク | 向上した視覚化、ナビゲーション及び検査 |
US7085409B2 (en) * | 2000-10-18 | 2006-08-01 | Sarnoff Corporation | Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery |
US7151854B2 (en) * | 2001-09-06 | 2006-12-19 | Digimarc Corporation | Pattern recognition of objects in image streams |
US7031525B2 (en) * | 2002-07-30 | 2006-04-18 | Mitsubishi Electric Research Laboratories, Inc. | Edge detection based on background change |
JP2004234423A (ja) * | 2003-01-31 | 2004-08-19 | Seiko Epson Corp | ステレオ画像処理方法およびステレオ画像処理装置、並びにステレオ画像処理プログラム |
GB2399703B (en) | 2003-02-04 | 2006-09-27 | British Broadcasting Corp | Method and system for providing a volumetric representation of a three-dimensional object |
JP2005037378A (ja) * | 2003-06-30 | 2005-02-10 | Sanyo Electric Co Ltd | 奥行計測方法と奥行計測装置 |
US7574070B2 (en) * | 2003-09-30 | 2009-08-11 | Canon Kabushiki Kaisha | Correction of subject area detection information, and image combining apparatus and method using the correction |
US7512262B2 (en) * | 2005-02-25 | 2009-03-31 | Microsoft Corporation | Stereo-based image processing |
US7720282B2 (en) * | 2005-08-02 | 2010-05-18 | Microsoft Corporation | Stereo image segmentation |
US8094928B2 (en) * | 2005-11-14 | 2012-01-10 | Microsoft Corporation | Stereo video for gaming |
US7599547B2 (en) * | 2005-11-30 | 2009-10-06 | Microsoft Corporation | Symmetric stereo model for handling occlusion |
EP1806697B1 (en) * | 2006-01-10 | 2016-08-10 | Microsoft Technology Licensing, LLC | Segmenting image elements |
EP1997070B1 (de) * | 2006-03-22 | 2018-01-03 | Pilz GmbH & Co. KG | Raum-zeitliches verfahren und vorrichtung zur korrespondenzbestimmung, vorzugsweise zur dreidimensionalen rekonstruktion einer szene |
FR2911211B1 (fr) * | 2007-01-05 | 2009-06-12 | Total Immersion Sa | Procede et dispositifs pour inserer en temps reel des objets virtuels dans un flux d'images a partir de donnees issues de la scene reelle representee par ces images |
JP2009074836A (ja) * | 2007-09-19 | 2009-04-09 | Advanced Telecommunication Research Institute International | 画像処理装置、画像処理方法及び画像処理プログラム |
IL191615A (en) * | 2007-10-23 | 2015-05-31 | Israel Aerospace Ind Ltd | A method and system for producing tie points for use in stereo adjustment of stereoscopic images and a method for identifying differences in the landscape taken between two time points |
JP2009236811A (ja) * | 2008-03-28 | 2009-10-15 | Fujifilm Corp | 画像処理装置および画像処理方法並びにプログラム |
US8571303B2 (en) * | 2008-11-25 | 2013-10-29 | Nec System Technologies, Ltd. | Stereo matching processing system, stereo matching processing method and recording medium |
WO2011121117A1 (en) * | 2010-04-02 | 2011-10-06 | Imec | Virtual camera system |
KR101752690B1 (ko) * | 2010-12-15 | 2017-07-03 | 한국전자통신연구원 | 변이 맵 보정 장치 및 방법 |
-
2010
- 2010-06-30 JP JP2010149713A patent/JP5574852B2/ja not_active Expired - Fee Related
-
2011
- 2011-06-27 US US13/169,662 patent/US9317924B2/en not_active Expired - Fee Related
- 2011-06-27 EP EP11171443.2A patent/EP2402907B1/en not_active Not-in-force
Also Published As
Publication number | Publication date |
---|---|
US9317924B2 (en) | 2016-04-19 |
JP2012013514A (ja) | 2012-01-19 |
EP2402907B1 (en) | 2013-04-24 |
EP2402907A1 (en) | 2012-01-04 |
US20120002841A1 (en) | 2012-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5574852B2 (ja) | 情報処理装置、情報処理方法、システム及びプログラム | |
JP5777507B2 (ja) | 情報処理装置、情報処理方法、及びそのプログラム | |
JP6685827B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6700752B2 (ja) | 位置検出装置、位置検出方法及びプログラム | |
JP5818857B2 (ja) | 情報処理装置およびその制御方法 | |
EP2823765B1 (en) | Medical image display device and medical image display method as well as medical image display program | |
US9429418B2 (en) | Information processing method and information processing apparatus | |
JP6368709B2 (ja) | 3次元身体データを生成する方法 | |
US20170024901A1 (en) | Silhouette-based object and texture alignment, systems and methods | |
JP6955369B2 (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
JP2012247364A (ja) | ステレオカメラ装置、ステレオカメラシステム、プログラム | |
JP6723798B2 (ja) | 情報処理装置、方法、プログラム | |
CN102713975B (zh) | 图像整理系统、图像整理方法和计算机程序 | |
JP6202938B2 (ja) | 画像認識装置および画像認識方法 | |
JP5906696B2 (ja) | 車両周辺撮影装置および車両周辺画像の処理方法 | |
JP4982343B2 (ja) | 画像処理装置、画像評価方法、プログラム及び情報記憶媒体 | |
JP5891751B2 (ja) | 画像間差分装置および画像間差分方法 | |
JP5457976B2 (ja) | 3次元形状取得装置および3次元形状取得プログラム | |
JP2014179135A (ja) | 画像処理装置、方法、及びプログラム | |
Wang et al. | 3D surgical overlay with markerless image registration using a single camera | |
CN112395912B (zh) | 一种人脸分割方法、电子设备及计算机可读存储介质 | |
TWI768231B (zh) | 資訊處理裝置、記錄媒體、程式產品以及資訊處理方法 | |
Destrez et al. | Joint detection of anatomical points on surface meshes and color images for visual registration of 3D dental models | |
Garrido et al. | A Computer Application for 3D Craniofacial Reconstruction and Automatic Skull-Photo Identification. | |
CN118447200A (zh) | 信息处理设备、信息处理方法和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130701 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130701 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140304 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140507 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140603 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140701 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5574852 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |