JP7095628B2 - 座標系変換パラメータ推定装置、方法及びプログラム - Google Patents

座標系変換パラメータ推定装置、方法及びプログラム Download PDF

Info

Publication number
JP7095628B2
JP7095628B2 JP2019041629A JP2019041629A JP7095628B2 JP 7095628 B2 JP7095628 B2 JP 7095628B2 JP 2019041629 A JP2019041629 A JP 2019041629A JP 2019041629 A JP2019041629 A JP 2019041629A JP 7095628 B2 JP7095628 B2 JP 7095628B2
Authority
JP
Japan
Prior art keywords
coordinate system
dimensional position
sensor
corresponding point
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019041629A
Other languages
English (en)
Other versions
JP2020144041A (ja
Inventor
康輔 高橋
弾 三上
麻理子 五十川
良規 草地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2019041629A priority Critical patent/JP7095628B2/ja
Priority to US17/435,759 priority patent/US20220156963A1/en
Priority to PCT/JP2020/007288 priority patent/WO2020179526A1/ja
Publication of JP2020144041A publication Critical patent/JP2020144041A/ja
Application granted granted Critical
Publication of JP7095628B2 publication Critical patent/JP7095628B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Description

本発明は、異なる２個の座標系を変換するための座標系変換パラメータ推定する技術に関する。
空間の情報を取得する機器として、カメラだけでなく、IRセンサ、ToF(Time of Flight)センサ、レーザーレンジファインダーなどの様々なセンサが利用されている。これらのカメラ、センサを組み合わせて利用する場合、それぞれのカメラ、センサが持つ座標系の位置合わせを行うこと、言い換えれば、座標系間の変換パラメータを求めることが重要である。
例えば、図５に示すように、バーチャルリアリティ（以下、VRとする。）を体験している動作体であるユーザが、VR空間上に存在する仮想物体であるボールとインタラクションする場合を考える。この場には２種のセンサ（カメラとIRセンサ）が、存在しているとする。
カメラはユーザの各関節のカメラ座標系（＝実世界座標系）における三次元位置を取得し、IRセンサはユーザがVRを体験するために着用しているヘッドマウントディスプレイ（以下、HMDとする。）や付属のコントローラー（以下、マーカとする。）のセンサ座標系（＝仮想世界座標系）における三次元位置を取得する。
なお、センサ座標系と仮想物体を表示する仮想空間の座標系は一致しているか、外部キャリブレーション済みであるとする。
このとき、カメラ座標系とセンサ座標系の位置合わせができていない状態でユーザが手で仮想物体を操作しようとしても、IRセンサではユーザの手の位置は計測できておらず、かつ、カメラ座標系における手の三次元位置をセンサ座標系に変換できない。このため、仮想空間上におけるユーザの手の位置が不明となり、円滑にインタラクションを行うことができない。
このような異なる種類のセンサの座標系の位置合わせを行うためには、それぞれの座標系における共通の点（以下、このような点を対応点と呼ぶ）の三次元位置又は二次元投影位置などの情報を利用することが一般的である。
しかしながら、センサで取得できる情報が異なる場合には、このような共通の点の三次元位置又は二次元投影位置を求めることは難しい。
市販のVR機器ではIRセンサなどでマーカの三次元位置を取得可能である。しかし、マーカのどの位置を出力しているのか外見からはわからないため、カメラ映像と対応付けることは困難である。
非特許文献１などは、チェスボードのような追加のデバイスを導入している。これらのアプローチは安定して推定ができる一方、追加のデバイスが必要なので日常的に簡易に利用することは難しい。
Raposo, Carolina, Joao Pedro Barreto, and Urbano Nunes, "Fast and accurate calibration of a kinect sensor", 2013 International Conference on 3D Vision (3DV) IEEE, 2013.
この発明は、従来よりも容易に座標系変換パラメータを求めることができる座標系変換パラメータ推定装置、方法及びプログラムを提供することを目的とする。
この発明の一態様による座標系変換パラメータ推定装置は、センサによってセンサ座標系の三次元位置が取得可能なマーカを動作体が動作させる様子を映すカメラ映像から動作体の関節のカメラ座標系における三次元位置を推定し、カメラ座標系における対応点の三次元位置とするカメラ座標系対応点推定部と、カメラ映像に対応するマーカの三次元位置系列から、マーカの三次元位置系列の全部又は一部が描く図形の所定の点を推定し、センサ座標系における対応点の三次元位置とするセンサ座標系対応点推定部と、カメラ座標系における対応点の三次元位置と、センサ座標系における対応点の三次元位置とから、カメラ座標系とセンサ座標系との間の座標系変換パラメータを推定する座標系変換パラメータ推定部と、を備えている。
カメラ座標系における対応点の三次元位置、センサ座標系における対応点の三次元位置を利用することで、従来よりも容易にカメラ座標系とセンサ座標系との間の座標系変換パラメータを求めることができる。
図１は、座標系変換パラメータ推定装置の例を説明するためのブロック図である。 図２は、センサ座標系対応点推定部４の例を説明するためのブロック図である。 図３は、座標系変換パラメータ推定方法の処理手続きの例を説明するためのフローチャートである。 図４は、センサ座標系対応点推定部の処理の例を説明するためのフローチャートである。 図５は、ユーザが、VR空間上に存在する仮想物体であるボールとインタラクションする状況を示す図である。 図６は、特定の動作の例を示す図である。 図７は、特定の動作の例を示す図である。 図８は、センサ座標系対応点推定部４の処理の例を示す図である。 図９は、センサ座標系対応点推定部４の変形例の処理を説明するための図である。
以下、本発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
[実施形態]
図１は、座標系変換パラメータ推定装置の例を説明するためのブロック図である。
座標系変換パラメータ推定装置は、Nc(≧１)台のカメラで撮影したカメラ映像と、Ns(≧１)台のセンサで取得したマーカの三次元位置を入力とし、カメラ座標系とセンサ座標系との間の座標系変換パラメータを出力する。
座標系変換パラメータ装置は、入力されたカメラ映像を格納するカメラ映像格納部１と、入力されたカメラ映像からカメラ座標系における対応点の三次元位置を求めるカメラ座標系対応点推定部２と、センサで取得したマーカの三次元位置系列を格納するセンサデータ格納部３と、マーカの三次元位置系列からセンサ座標系における対応点の三次元位置を求めるセンサ座標系対応点推定部４と、各座標系で推定した対応点の三次元位置から座標系間の変換パラメータを推定する座標系変換パラメータ推定部５とを例えば備えている。
座標系変換パラメータ推定方法は、これらの各部が、図３及び以下に示すステップＳ２、Ｓ４、Ｓ５の処理を少なくとも行うことにより例えば実現される。
以下ではこれらの各部について詳しく述べる。
なお、入力として与えられるカメラ映像及びマーカの三次元位置系列は、動作体が図６又は図７に示すような特定の動作したときのものであるとする。
動作体は、関節を有しており、関節を介してマーカを移動させることができるものである。動作体は、例えば人間や、関節を有するロボットである。以下、動作体が人間である場合を例に挙げて説明する。
特定の動作は、「マーカの軌跡から成る図形の中心＝動作体の何れかの関節位置」となる関係を満たしていればどのような動作よい。この関係を満たす可能性のある図形は、例えば、楕円（真円を含む）、直線、多角形などである。
特定の動作の例は、図６に示すようにマーカ６を手に持って手首の周りを回す動作、図７に示すように肩を起点にしてマーカ６を振り回す動作である。
なお、マーカ６を手に持って手首の周りを回すような動作をした場合には、手首の位置が対応点７の位置となる。また、肩を起点にしてマーカ６を振り回す動作をした場合には、肩の位置が対応点７の位置となる。
関節位置は、マーカが軌跡を描く間固定されていることが望ましい。また、カメラ映像には、人体の全体が映っている必要はなく、少なくとも対応点として利用する関節が映っていればよい。また、マーカの三次元位置系列は、一回の動作において図形を検出するために必要な最低点数（直線なら２点以上，楕円なら５点以上など）の異なる三次元位置が含まれることとする。
動作体が行った少なくとも１種類の特定の動作に対応するカメラ映像及びマーカの三次元位置系列は、それぞれカメラ映像格納部１及びセンサデータ格納部３に出力される。ここで、少なくとも１種類の特定の動作は、例えば、互いに対応する対応点が異なる３種類以上の特定の動作である。
なお、センサは、センサ座標系における指定のマーカの三次元位置が取得できるものであればどのようなものでもよく、例えばIRセンサやToFセンサ、レーザーレンジファインダーなどを利用することができる。
[カメラ映像格納部１]
カメラ映像格納部１には、動作体が行った少なくとも１種類の特定の動作に対応するカメラ映像が入力され格納される。
カメラ映像格納部１は、例えば座標系変換パラメータ推定装置に備えられている。カメラ映像格納部１は、オフライン処理を想定する場合は例えばHDDである。カメラ映像格納部１は、オンライン処理を行う場合はメモリである。
一方、カメラ映像格納部１は、座標系変換パラメータ推定装置の外部にあってもよい。例えば、カメラ映像格納部１は、座標系変換パラメータ推定装置とネットワーク接続されたクラウドサーバであってもよい。
カメラ映像は、後述するセンサデータ格納部３に格納されているマーカの三次元位置系列と対応付けられており、かつ、同期が取れているとする。ここで、「対応付けられている」とは、あるシーンに対応するカメラ映像と、そのあるシーンと同じシーンをセンシングしたマーカの三次元位置系とには、そのあるシーンに対応する情報が付与されていることを意味する。
例えば、シーンＳに対応するカメラ映像のファイル名及びマーカの三次元位置系のファイル名には、シーンＳに関する情報が含まれる。
[カメラ座標系対応点推定部２]
カメラ座標系対応点推定部２には、カメラ映像格納部１から読み込んだカメラ映像が入力される。
カメラ座標系対応点推定部２は、入力されたカメラ映像中に映る動作体を解析して対応点の三次元位置を推定する。
推定されたカメラ座標系における対応点の三次元位置は、座標系変換パラメータ推定部５に出力される。
具体的には、カメラ座標系対応点推定部２は、カメラ映像中の動作体の各関節、特に対応点となる関節の三次元位置を推定する。この三次元位置を推定する方法はどのような方法でもよい。
１台のカメラでカメラ映像を撮影した場合には、例えば参考文献１で提案されている、単眼映像から３次元の関節位置を推定する方法を用いることができる。この方法の詳細は、参考文献１を参照のこと。
〔非特許文献２〕Tome, Denis, Christopher Russell, and Lourdes Agapito, "Lifting from the deep: Convolutional 3d pose estimation from a single image", CVPR 2017 Proceedings (2017): 2500-2509.
また、２台以上のカメラでカメラ映像を撮影した場合であって、予めカメラ間の位置関係が参考文献２の技術などを利用して既知である場合、参考文献３の技術を用いて推定した各関節の二次元位置を三角測量の原理を用いることで三次元位置を推定することができる。
２台以上のカメラでカメラ映像を撮影した場合であって、カメラ間の位置関係が未知である場合、参考文献４で提案されているように、動作体の各関節の二次元位置を利用することで位置関係の推定、同期、および関節の三次元位置を得ることが可能である。
これらの技術の詳細に関しては、参考文献３から５を参照のこと。
〔参考文献３〕Zhang, Zhengyou, "A flexible new technique for camera calibration", IEEE Transactions on pattern analysis and machine intelligence 22 (2000).
〔参考文献４〕Cao, Zhe, et al, "Realtime multi-person 2d pose estimation using part affinity fields", arXiv preprint arXiv:1611.08050 (2016).
〔参考文献５〕Takahashi, Kosuke, et al, "Human Pose as Calibration Pattern: 3D Human Pose Estimation with Multiple Unsynchronized and Uncalibrated Cameras", 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). IEEE, 2018.
このようにして、カメラ座標系対応点推定部２は、センサによってセンサ座標系の三次元位置が取得可能なマーカを動作体が動作させる様子を映すカメラ映像から動作体の関節のカメラ座標系における三次元位置を推定し、カメラ座標系における対応点の三次元位置とする（ステップＳ２）。
[センサデータ格納部３]
センサデータ格納部３には、動作体が行った少なくとも１種類の特定の動作に対応するマーカの三次元位置系列が入力され格納される。
センサデータ格納部３は、例えば座標系変換パラメータ推定装置に備えられている。カメラ映像格納部１は、オフライン処理を想定する場合は例えばHDDである。センサデータ格納部３は、オンライン処理を行う場合はメモリである。
一方、センサデータ格納部３は、座標系変換パラメータ推定装置の外部にあってもよい。例えば、センサデータ格納部３は、座標系変換パラメータ推定装置とネットワーク接続されたクラウドサーバであってもよい。
[センサ座標系対応点推定部４]
センサ座標系対応点推定部４には、センサデータ格納部３から読み込んだマーカの三次元位置系列が入力される。
センサ座標系対応点推定部４は、マーカの三次元位置系列から、センサ座標系における対応点の三次元位置を推定する。より詳細には、センサ座標系対応点推定部４は、カメラ映像に対応するマーカの三次元位置系列から、マーカの三次元位置系列の全部又は一部が描く図形の中心を推定し、センサ座標系における対応点の三次元位置とする（ステップＳ４）。
推定されたセンサ座標系における対応点の三次元位置は、座標系変換パラメータ推定部５に出力される。
センサ座標系対応点推定部４は、図２に示すように、平面取得部４１と、平面射影部４２と、図形取得部４３と、中心推定部４４とを例えば備えている。これらの各部は、図４及び以下に示すステップＳ４１からステップＳ４４の処理を行う。以下、これらの各部について説明する。
[[平面取得部４１]]
まず、センサ座標系対応点推定部４の平面取得部４１は、入力されたマーカの三次元位置系列に対して、平面フィッティング処理を行う（ステップＳ４１）。
このときの平面フィッティングアルゴリズムはどのようなものでもよい。平面の方程式は例えばax+by+cz+d=0と表され、未知数は(a,b,c,d)の４個である。このため、４点以上の三次元位置情報を利用して最小二乗法やRANSACを利用することで各未知数を求めることができる。
このようにして、センサ座標系対応点推定部４の平面取得部４１は、マーカの三次元位置系列が形成する平面（マーカの三次元位置系列が形成する面として近似した平面。
以下、近似平面と記載）を求める（ステップＳ４１）。求まった平面についての情報は、平面射影部４２に出力される。
図８（Ａ）は、平面取得部４１の処理の例を表す図である。図８（Ａ）に例示するように、三次元位置系列にフィッティングする平面が平面取得部４１により求められる。
[[平面射影部４２]]
センサ座標系対応点推定部４の平面射影部４２は、平面取得部４１で得られた平面を入力として、入力された平面にマーカの三次元位置系列の各点を射影する。ここでいう射影とは、図８（Ｂ）に示すように、各三次元点から平面取得部４１で得られた求めた平面に対して垂線を下ろし、その垂線とその平面の交点を新たな三次元点列とすることである。以下、新たな三次元点列を射影点列と呼ぶ。この処理により、射影点列は厳密に同一平面上に存在することが保証される。
このようにして、平面射影部４２は、マーカの三次元位置系列を平面に射影することで得られる射影点列を求める（ステップＳ４２）。求まった射影点列は、図形取得部４３に出力される。
図８（Ｂ）は、平面射影部４２の処理の例を表す図である。図８（Ｂ）では、射影点列は中が黒で塗りつぶされた点で表されている。
[[図形取得部４３]]
センサ座標系対応点推定部４の図形取得部４３は、入力された射影点列が形成する図形を求める（ステップＳ４３）。求まった図形についての情報は、中心推定部４４に出力される。
例えば、射影点列が形成する図形が楕円であることが想定される場合には、図形取得部４３は、射影点列に対して楕円フィッティングを行う。このとき、楕円フィッティングはどのような方法でも良い。例えば、参考文献６を用いることで平面上の楕円フィッティングが可能である。
なお、参考文献６は二次元平面に対して適用が可能である。このため、射影点列を一度二次元座標値として表す必要がある。ここで、射影点列は厳密に同一平面上に存在することが保証されている。このため、図形取得部４３は、この平面上の任意の点を原点とする二次元座標系を定め、その二次元座標系における射影点列の二次元座標値を求めてそれらに対して楕円フィッティングを行う。
図８（Ｃ）は、図形取得部４３の処理の例を表す図である。図８（Ｃ）に例示するように、射影点列にフィッティングする楕円が図形取得部４３により求められる。
[[中心推定部４４]]
センサ座標系対応点推定部４の中心推定部４４は、図形取得部４３で求まった図形についての情報を入力とし、図形の中心を推定する（ステップＳ４４）。推定された図形の中心が、センサ座標系における対応点の三次元位置とされる。推定したセンサ座標系における対応点の三次元位置は、座標系変換パラメータ推定部５に出力される。
なお、以下では中心とはそれぞれの図形に置いて、例えば次にあげるような点を表すとする。円の場合は円と同一平面上に存在し、円周上のどの点からでも同一距離にある点、楕円の場合は短軸と長軸の交点，直線の場合はその直線を二等分する点，多角形の場合は重心である。例えば、射影点列が形成する図形が楕円であることが想定される場合には、中心推定部４４は、図形取得部４３で求まった楕円の短軸と長軸の交点を中心位置として求める。そして、中心推定部４４は、その中心位置の座標値をセンサ座標系における対応点の座標値として出力する。
楕円の中心位置を求める手法はどのような方法でもよい。例えば、参考文献６の手法ではフィッティングした際に楕円の長径、短径、傾き、中心位置に関する情報が得られるため、それを利用してもよい。射影点列が形成する図形そのものが楕円でなくてもよい。どのような図形が描かれたとしても、描かれたマーカの軌跡の全てを包含可能な最小の楕円を推定し、その楕円の中心位置の座標値をセンサ座標系における対応点の座標値としてもよい。参考文献６でフィッティングを行った場合は、図形取得部４３の説明で述べたように中心位置の座標値を二次元座標系からセンサ座標系に戻す。
〔参考文献６〕Fitzgibbon, Andrew, Maurizio Pilu, and Robert B. Fisher, "Direct least square fitting of ellipses", IEEE Transactions on pattern analysis and machine intelligence 21.5 (1999): 476-480.
図８（Ｄ）は、中心推定部４４の処理の例を表す図である。図８（Ｄ）に例示するように、楕円の中心が中心推定部４４により求められる。
[座標系変換パラメータ推定部５]
座標系変換パラメータ推定部５には、カメラ座標系対応点推定部２が推定したカメラ座標系における対応点の三次元位置と、センサ座標系対応点推定部４が推定したセンサ座標系における対応点の三次元位置とが入力される。
座標系変換パラメータ推定部５は、カメラ座標系における対応点の三次元位置と、センサ座標系における対応点の三次元位置とから座標系変換パラメータを推定する（ステップＳ５）。座標系変換パラメータを求める手法はどのような手法でも良い。
例えば、座標系変換パラメータ推定部５には、カメラ座標系における対応点の三次元位置と、センサ座標系における対応点の三次元位置とのペアが３個以上入力される。
この場合、座標系変換パラメータ推定部５は、これらのペアを用いて、３×３の回転行列座標系変換パラメータと、３×１の並進ベクトルとから成る座標系変換パラメータを求める。
例えば、これらのペアからAbsolute orientationを求めることでこの座標系変換パラメータを求める手法などが利用できる（例えば、参考文献７参照。）。
〔参考文献７〕Horn, Berthold KP, "Closed-form solution of absolute orientation using unit quaternions", JOSA A 4.4 (1987): 629-642.
このように、関節の三次元位置とマーカの三次元位置の軌跡からなる図形の中心が一致するとみなせるように、マーカが装着された人がある特定の動きを取ったときに発生する位置関係を利用して共通の対応点を作り出す。これにより、従来よりも容易に座標系変換パラメータを求めることができる。
[変形例]
マーカの三次元位置系列の一部が描く図形が線分又は多角形である場合には、例えば、センサ座標系対応点推定部４は、例えば以下のようにしてセンサ座標系における対応点の三次元位置を推定してもよい。
例えば、マーカの軌跡から成る図形が線分であると推定される場合には、センサ座標系対応点推定部４は、例えば以下のようにしてセンサ座標系における対応点の三次元位置を推定してもよい。なお、この場合の特定の動作の例は、例えば図９に例示する肩を中心として互いに１８０度を成す位置にマーカ６を数秒間静止する動作である。
センサ座標系対応点推定部４は、まず、入力として得られるマーカの三次元位置系列の中から、一定時間位置が変化しない点を求める。一定時間は、予め定められた時間であり、例えば１から２秒程度でもよいし、それ以上長い時間であってもよい。
一定時間位置が変化しない点の例は、一定時間内に移動する位置変化の総量が予め定められた閾値以下である場合、その一定時間内の三次元位置系列の位置の平均である。また、一定時間位置が変化しない点の他の例は、一定時間内の三次元位置系列を構成する点の移動速度が予め定められた閾値以下である場合、その一定時間内の三次元位置系列の位置の平均である。
そして、センサ座標系対応点推定部４は、求まった一定時間位置が変化しない点を結ぶ線分の中点をセンサ座標系における対応点の三次元位置として推定する。
また、例えば、マーカの軌跡から成る図形が多角形であると推定される場合には、センサ座標系対応点推定部４は、例えば以下のようにしてセンサ座標系における対応点の三次元位置を推定してもよい。なお、この場合の特定の動作の例は、肩を中心として互いにa度を成す位置にマーカを数秒間静止する動作である。bを所定の3以上の整数として、aは360=a*bを満たす角度である。
センサ座標系対応点推定部４は、まず、マーカの軌跡から成る図形が線分である場合と同様にして、入力として得られるマーカの三次元位置系列の中から、一定時間位置が変化しない点を３個以上求める。
そして、センサ座標系対応点推定部４は、求まった一定時間位置が変化しない３個以上の点を頂点とし、360=a*bを満たすb個の頂点を有する多角形の中心位置を求め、センサ座標系における対応点の三次元位置として推定する。
以上、本発明の実施の形態について説明したが、具体的な構成は、これらの実施の形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜設計の変更等があっても、本発明に含まれることはいうまでもない。
実施の形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
例えば、座標系変換パラメータ推定装置の構成部間のデータのやり取りは直接行われてもよいし、図示していない記憶部を介して行われてもよい。
[プログラム、記録媒体]
上記説明した座標系変換パラメータ推定装置における各種の処理機能をコンピュータによって実現する場合、座標系変換パラメータ推定装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記座標系変換パラメータ推定装置における各種の処理機能がコンピュータ上で実現される。
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
１ カメラ映像格納部
２ カメラ座標系対応点推定部
３ センサデータ格納部
４ センサ座標系対応点推定部
４１ 平面取得部
４２ 平面射影部
４３ 図形取得部
４４ 中心推定部
５ 座標系変換パラメータ推定部
６ マーカ
７ 対応点

Claims (6)

  1. センサによってセンサ座標系の三次元位置が取得可能なマーカを動作体が動作させる様子を映すカメラ映像から前記動作体の関節のカメラ座標系における三次元位置を推定し、前記カメラ座標系における対応点の三次元位置とするカメラ座標系対応点推定部と、
    前記カメラ映像に対応する前記マーカの三次元位置系列から、前記マーカの三次元位置系列の全部又は一部が描く図形の所定の点を推定し、前記センサ座標系における対応点の三次元位置とするセンサ座標系対応点推定部と、
    前記カメラ座標系における対応点の三次元位置と、前記センサ座標系における対応点の三次元位置とから、前記カメラ座標系と前記センサ座標系との間の座標系変換パラメータを推定する座標系変換パラメータ推定部と、
    を含む座標系変換パラメータ推定装置。
  2. 請求項１の座標系変換パラメータ推定装置であって、
    前記センサ座標系対応点推定部は、
    前記マーカの三次元位置系列が形成する近似平面を求める平面取得部と、
    前記マーカの三次元位置系列を前記近似平面に射影することで得られる射影点列を求める平面射影部と、
    前記射影点列が形成する図形を求める図形取得部と、
    前記図形の所定の点を推定する中心推定部と、
    を含む、
    座標系変換パラメータ推定装置。
  3. 請求項１の座標系変換パラメータ推定装置であって、
    前記三次元位置系列の一部が描く図形は、線分又は多角形である、
    座標系変換パラメータ推定装置。
  4. 請求項１から３の座標系変換パラメータ推定装置であって、
    前記所定の点は、前記三次元位置系列の一部が描く図形が円である場合には円と同一平面上に存在する円周上の点から等距離にある点であり、楕円である場合には楕円の短軸と長軸の交点であり、直線である場合には直線を二等分する点であり、多角形の場合は多角形の重心である、
    座標系変換パラメータ推定装置。
  5. カメラ座標系対応点推定部が、センサによってセンサ座標系の三次元位置が取得可能なマーカを動作体が動作させる様子を映すカメラ映像から前記動作体の関節のカメラ座標系における三次元位置を推定し、前記カメラ座標系における対応点の三次元位置とするカメラ座標系対応点推定ステップと、
    センサ座標系対応点推定部が、前記カメラ映像に対応する前記マーカの三次元位置系列から、前記マーカの三次元位置系列の全部又は一部が描く図形の所定の点を推定し、前記センサ座標系における対応点の三次元位置とするセンサ座標系対応点推定ステップと、
    座標系変換パラメータ推定部が、前記カメラ座標系における対応点の三次元位置と、前記センサ座標系における対応点の三次元位置とから、前記カメラ座標系と前記センサ座標系との間の座標系変換パラメータを推定する座標系変換パラメータ推定ステップと、
    を含む座標系変換パラメータ推定方法。
  6. 請求項１から４の何れかの座標系変換パラメータ推定装置の各部としてコンピュータを機能させるためのプログラム。
JP2019041629A 2019-03-07 2019-03-07 座標系変換パラメータ推定装置、方法及びプログラム Active JP7095628B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019041629A JP7095628B2 (ja) 2019-03-07 2019-03-07 座標系変換パラメータ推定装置、方法及びプログラム
US17/435,759 US20220156963A1 (en) 2019-03-07 2020-02-25 Coordinate system conversion parameter estimating apparatus, method and program
PCT/JP2020/007288 WO2020179526A1 (ja) 2019-03-07 2020-02-25 座標系変換パラメータ推定装置、方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019041629A JP7095628B2 (ja) 2019-03-07 2019-03-07 座標系変換パラメータ推定装置、方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2020144041A JP2020144041A (ja) 2020-09-10
JP7095628B2 true JP7095628B2 (ja) 2022-07-05

Family

ID=72338600

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019041629A Active JP7095628B2 (ja) 2019-03-07 2019-03-07 座標系変換パラメータ推定装置、方法及びプログラム

Country Status (3)

Country Link
US (1) US20220156963A1 (ja)
JP (1) JP7095628B2 (ja)
WO (1) WO2020179526A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210118180A1 (en) * 2020-12-23 2021-04-22 Intel Corporation Methods and apparatus to calibrate a multiple camera system based on a human pose
CN117934572B (zh) * 2024-03-21 2024-05-28 南京起源跃动科技有限公司 一种3d骨骼坐标系与vr头显坐标系对齐的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120303336A1 (en) 2009-12-18 2012-11-29 Airbus Operations Gmbh Assembly and method for verifying a real model using a virtual model and use in aircraft construction
WO2015137526A1 (ja) 2015-03-27 2015-09-17 株式会社小松製作所 作業機械の較正装置、及び作業機械の作業機パラメータの較正方法
JP2017037554A (ja) 2015-08-12 2017-02-16 セイコーエプソン株式会社 画像表示装置、コンピュータープログラム、および画像表示システム
JP2017119102A (ja) 2015-12-28 2017-07-06 住友ゴム工業株式会社 運動解析装置、方法及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9289153B2 (en) * 1998-09-14 2016-03-22 The Board Of Trustees Of The Leland Stanford Junior University Joint and cartilage diagnosis, assessment and modeling
US8114172B2 (en) * 2004-07-30 2012-02-14 Extreme Reality Ltd. System and method for 3D space-dimension based image processing
EP3021257A1 (en) * 2014-11-14 2016-05-18 Soundisplay Limited A sensor utilising overlapping signals and method thereof
JP6609327B2 (ja) * 2016-01-28 2019-11-20 日本電信電話株式会社 仮想環境構築装置、仮想環境構築方法、プログラム、および記録媒体
JP6808357B2 (ja) * 2016-05-25 2021-01-06 キヤノン株式会社 情報処理装置、制御方法、及び、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120303336A1 (en) 2009-12-18 2012-11-29 Airbus Operations Gmbh Assembly and method for verifying a real model using a virtual model and use in aircraft construction
WO2015137526A1 (ja) 2015-03-27 2015-09-17 株式会社小松製作所 作業機械の較正装置、及び作業機械の作業機パラメータの較正方法
JP2017037554A (ja) 2015-08-12 2017-02-16 セイコーエプソン株式会社 画像表示装置、コンピュータープログラム、および画像表示システム
JP2017119102A (ja) 2015-12-28 2017-07-06 住友ゴム工業株式会社 運動解析装置、方法及びプログラム

Also Published As

Publication number Publication date
JP2020144041A (ja) 2020-09-10
WO2020179526A1 (ja) 2020-09-10
US20220156963A1 (en) 2022-05-19

Similar Documents

Publication Publication Date Title
JP6198230B2 (ja) 深度カメラを使用した頭部姿勢トラッキング
Scherer et al. Efficient onbard RGBD-SLAM for autonomous MAVs
US20200184726A1 (en) Implementing three-dimensional augmented reality in smart glasses based on two-dimensional data
Geiselhart et al. On the use of multi-depth-camera based motion tracking systems in production planning environments
US11043004B2 (en) Resolving region-of-interest (ROI) overlaps for distributed simultaneous localization and mapping (SLAM) in edge cloud architectures
WO2020179526A1 (ja) 座標系変換パラメータ推定装置、方法及びプログラム
JP2005256232A (ja) ３ｄデータ表示方法、装置、およびプログラム
JP2018014579A (ja) カメラトラッキング装置および方法
Erol et al. Cloud-based Control and vSLAM through cooperative Mapping and Localization
Beyl et al. Time-of-flight-assisted Kinect camera-based people detection for intuitive human robot cooperation in the surgical operating room
Wu et al. Vison-based auxiliary navigation method using augmented reality for unmanned aerial vehicles
Leoncini et al. Multiple NUI device approach to full body tracking for collaborative virtual environments
des Bouvrie Improving rgbd indoor mapping with imu data
Fechteler et al. Real-time avatar animation with dynamic face texturing
Schönauer et al. Wide area motion tracking using consumer hardware
WO2020195875A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6818968B2 (ja) オーサリング装置、オーサリング方法、及びオーサリングプログラム
WO2023088127A1 (zh) 室内导航方法、服务器、装置和终端
Davidson et al. Monocular vision-based range estimation supported by proprioceptive motion
Li et al. A combined vision-inertial fusion approach for 6-DoF object pose estimation
Carozza et al. Robust 6-DOF immersive navigation using commodity hardware
JPWO2021111613A1 (ja) ３次元地図作成装置、３次元地図作成方法、及び３次元地図作成プログラム
JP6948363B2 (ja) 情報処理装置、情報処理方法、およびプログラム
Keshmiri Image based visual servoing using trajectory planning and augmented visual servoing controller
Haige et al. Improved Stereo Vision Robot Locating and Mapping Method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210507

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220606

R150 Certificate of patent or registration of utility model

Ref document number: 7095628

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150