WO2020179526A1 - 座標系変換パラメータ推定装置、方法及びプログラム - Google Patents

座標系変換パラメータ推定装置、方法及びプログラム Download PDF

Info

Publication number
WO2020179526A1
WO2020179526A1 PCT/JP2020/007288 JP2020007288W WO2020179526A1 WO 2020179526 A1 WO2020179526 A1 WO 2020179526A1 JP 2020007288 W JP2020007288 W JP 2020007288W WO 2020179526 A1 WO2020179526 A1 WO 2020179526A1
Authority
WO
WIPO (PCT)
Prior art keywords
coordinate system
dimensional position
sensor
corresponding point
camera
Prior art date
Application number
PCT/JP2020/007288
Other languages
English (en)
French (fr)
Inventor
康輔 高橋
弾 三上
麻理子 五十川
草地　良規
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US17/435,759 priority Critical patent/US20220156963A1/en
Publication of WO2020179526A1 publication Critical patent/WO2020179526A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Definitions

  • the present invention relates to a technique of estimating coordinate system conversion parameters for converting two different coordinate systems.
  • IR sensors Infrared sensors
  • ToF sensors Time of Flight sensors
  • laser range finder When these cameras and sensors are used in combination, it is important to align the coordinate systems of each camera and sensor, in other words, to obtain the conversion parameters between the coordinate systems.
  • VR virtual reality
  • IR sensor IR sensor
  • HMD head mounted display
  • the attached controller hereinafter referred to as a marker
  • the IR sensor cannot measure the position of the user's hand and the camera coordinates.
  • the three-dimensional position of the hand in the system cannot be converted to the sensor coordinate system. Therefore, the position of the user's hand in the virtual space becomes unknown, and the interaction cannot be performed smoothly.
  • the three-dimensional position or two-dimensional projection position of a common point (hereinafter, such a point is referred to as a corresponding point) in each coordinate system, etc. It is common to use the information in.
  • the 3D position of the marker can be acquired with an IR sensor or the like.
  • an IR sensor or the like.
  • Non-Patent Document 1 introduces an additional device such as a chess board. While these approaches provide stable estimates, they require additional devices and are difficult to use on a daily basis.
  • the object of the present invention is to provide a coordinate system conversion parameter estimation device, method and program capable of obtaining coordinate system conversion parameters more easily than before.
  • a coordinate system conversion parameter estimation device provides a third-order coordinate system of a joint of a moving body in a camera coordinate system from a camera image showing a state in which a moving body moves a marker whose three-dimensional position of the sensor coordinate system can be acquired by a sensor.
  • the sensor coordinate system corresponding point estimation unit that estimates a predetermined point of the figure drawn by the section and sets it as the three-dimensional position of the corresponding point in the sensor coordinate system, the three-dimensional position of the corresponding point in the camera coordinate system, and the correspondence in the sensor coordinate system.
  • a coordinate system conversion parameter estimation unit that estimates a coordinate system conversion parameter between the camera coordinate system and the sensor coordinate system from the three-dimensional position of the point.
  • the coordinate system conversion parameter between the camera coordinate system and the sensor coordinate system can be calculated more easily than before.
  • FIG. 1 is a block diagram for explaining an example of a coordinate system conversion parameter estimation device.
  • FIG. 2 is a block diagram for explaining an example of the sensor coordinate system corresponding point estimation unit 4.
  • FIG. 3 is a flowchart for explaining an example of the processing procedure of the coordinate system conversion parameter estimation method.
  • FIG. 4 is a flowchart for explaining an example of processing of the sensor coordinate system corresponding point estimation unit.
  • FIG. 5 is a diagram showing a situation in which a user interacts with a ball, which is a virtual object existing in the VR space.
  • FIG. 6 is a diagram showing an example of a specific operation.
  • FIG. 7 is a diagram showing an example of a specific operation.
  • FIG. 8 is a diagram showing an example of processing of the sensor coordinate system corresponding point estimation unit 4.
  • FIG. 9 is a diagram for explaining a process of a modified example of the sensor coordinate system corresponding point estimation unit 4.
  • FIG. 1 is a block diagram for explaining an example of a coordinate system conversion parameter estimation device.
  • the coordinate system conversion parameter estimation device inputs the camera image taken by Nc ( ⁇ 1) cameras and the three-dimensional position of the marker acquired by the Ns ( ⁇ 1) sensors, and the camera coordinate system and the sensor coordinate system. Outputs the coordinate system conversion parameters between and.
  • the coordinate system conversion parameter device includes a camera image storage unit 1 that stores an input camera image, a camera coordinate system corresponding point estimation unit 2 that obtains a three-dimensional position of a corresponding point in the camera coordinate system from the input camera image, A sensor data storage unit 3 that stores the three-dimensional position series of markers acquired by the sensor, and a sensor coordinate system corresponding point estimation unit 4 that obtains the three-dimensional position of the corresponding point in the sensor coordinate system from the three-dimensional position series of the markers.
  • a coordinate system conversion parameter estimation unit 5 that estimates conversion parameters between coordinate systems from the three-dimensional positions of corresponding points estimated in the coordinate system.
  • the coordinate system conversion parameter estimation method is realized, for example, by performing at least the processing of steps S2, S4, and S5 shown in FIG. 3 and the following for each of these parts.
  • the camera image and the three-dimensional position series of the markers given as inputs are those when the moving body performs a specific operation as shown in FIG. 6 or FIG.
  • the moving body has a joint, and the marker can be moved through the joint.
  • the moving body is, for example, a human being or a robot having joints.
  • a case where the moving body is a human will be described as an example.
  • a figure that may satisfy this relationship is, for example, an ellipse (including a perfect circle), a straight line, a polygon, or the like.
  • Examples of specific movements are the movement of holding the marker 6 in the hand and turning it around the wrist as shown in FIG. 6, and the movement of swinging the marker 6 starting from the shoulder as shown in FIG.
  • the joint position is fixed while the marker draws the locus.
  • the camera image does not have to show the entire human body, but at least the joints used as corresponding points need to be shown.
  • the three-dimensional position series of markers includes three-dimensional positions with different minimum points (2 points or more for straight lines, 5 points or more for ellipses, etc.) required to detect a figure in one operation. ..
  • the camera image and the three-dimensional position series of the markers corresponding to at least one specific operation performed by the moving body are output to the camera image storage unit 1 and the sensor data storage unit 3, respectively.
  • at least one type of specific operation is, for example, three or more types of specific operations having different corresponding points corresponding to each other.
  • the sensor may be any sensor as long as it can acquire the three-dimensional position of the specified marker in the sensor coordinate system, and for example, an IR sensor, a ToF sensor, a laser range finder, or the like can be used.
  • the camera image storage unit 1 receives and stores a camera image corresponding to at least one type of specific operation performed by the operating body.
  • the camera image storage unit 1 is provided in, for example, a coordinate system conversion parameter estimation device.
  • the camera image storage unit 1 is, for example, an HDD when offline processing is assumed.
  • the camera image storage unit 1 is a memory when performing online processing.
  • the camera image storage unit 1 may be outside the coordinate system conversion parameter estimation device.
  • the camera image storage unit 1 may be a cloud server network-connected to the coordinate system conversion parameter estimation device.
  • the camera image is associated with the three-dimensional position series of the markers stored in the sensor data storage unit 3 to be described later and is synchronized.
  • “associated” means that the camera image corresponding to a certain scene and the three-dimensional position system of the marker that senses the same scene as the certain scene are given information corresponding to the certain scene. It means that it has been done.
  • the file name of the camera image corresponding to the scene S and the file name of the three-dimensional position system of the marker include information about the scene S.
  • the camera coordinate system corresponding point estimation unit 2 analyzes the moving body shown in the input camera image and estimates the three-dimensional position of the corresponding point.
  • the estimated three-dimensional position of the corresponding point in the camera coordinate system is output to the coordinate system conversion parameter estimation unit 5.
  • the camera coordinate system corresponding point estimation unit 2 estimates the three-dimensional position of each joint of the moving body in the camera image, in particular, the joint serving as the corresponding point. Any method may be used for estimating the three-dimensional position.
  • Non-Patent Document 2 Tome, Denis, Christopher Russell, and Lourdes Agapito, "Lifting from the deep: Convolutional 3d pose estimation from a single image", CVPR 2017 Proceedings (2017): 2500-2509.
  • the camera image is taken by two or more cameras and the positional relationship between the cameras is known in advance by using the technique of Reference 2, it is estimated by using the technique of Reference 3.
  • the two-dimensional position of each joint can be estimated by using the principle of triangulation.
  • the camera coordinate system corresponding point estimating unit 2 determines, in the camera coordinate system of the joint of the moving body, from the camera image showing how the moving body moves the marker whose three-dimensional position in the sensor coordinate system can be acquired by the sensor.
  • the three-dimensional position is estimated and set as the three-dimensional position of the corresponding point in the camera coordinate system (step S2).
  • the sensor data storage unit 3 receives and stores a three-dimensional position series of markers corresponding to at least one specific motion performed by the motion body.
  • the sensor data storage unit 3 is provided in, for example, a coordinate system conversion parameter estimation device.
  • the camera image storage unit 1 is, for example, a HDD when offline processing is assumed.
  • the sensor data storage unit 3 is a memory when performing online processing.
  • the sensor data storage unit 3 may be external to the coordinate system conversion parameter estimation device.
  • the sensor data storage unit 3 may be a cloud server network-connected to the coordinate system conversion parameter estimation device.
  • the sensor coordinate system corresponding point estimation unit 4 estimates the three-dimensional position of the corresponding point in the sensor coordinate system from the three-dimensional position series of the markers. More specifically, the sensor coordinate system corresponding point estimation unit 4 estimates the center of the figure drawn by all or part of the marker's three-dimensional position series from the marker's three-dimensional position series corresponding to the camera image, and the sensor coordinates. The three-dimensional position of the corresponding point in the system is set (step S4).
  • the estimated three-dimensional position of the corresponding point in the sensor coordinate system is output to the coordinate system conversion parameter estimation unit 5.
  • the sensor coordinate system corresponding point estimation unit 4 includes, for example, a plane acquisition unit 41, a plane projection unit 42, a figure acquisition unit 43, and a center estimation unit 44. Each of these units performs the processing of FIG. 4 and steps S41 to S44 shown below. Each of these parts will be described below.
  • the plane acquisition unit 41 of the sensor coordinate system corresponding point estimation unit 4 performs a plane fitting process on the three-dimensional position series of the input markers (step S41).
  • the plane fitting algorithm at this time may be any.
  • the plane acquisition unit 41 of the sensor coordinate system corresponding point estimation unit 4 is a plane formed by the three-dimensional position series of the marker (a plane approximated as a plane formed by the three-dimensional position series of the marker.
  • an approximate plane To be described) (step S41).
  • Information about the obtained plane is output to the plane projection unit 42.
  • FIG. 8A is a diagram showing an example of processing of the plane acquisition unit 41. As illustrated in FIG. 8A, the plane to be fitted to the three-dimensional position series is obtained by the plane acquisition unit 41.
  • the plane projection unit 42 of the sensor coordinate system corresponding point estimation unit 4 takes the plane obtained by the plane acquisition unit 41 as an input and projects each point of the three-dimensional position series of the marker on the input plane.
  • the projection referred to here is a perpendicular line drawn from each three-dimensional point with respect to the obtained plane obtained by the plane acquisition unit 41, and the intersection of the perpendicular line and the plane is newly defined. It is a three-dimensional sequence of points.
  • the new three-dimensional point sequence is referred to as a projection point sequence.
  • the plane projection unit 42 obtains a projection point sequence obtained by projecting the three-dimensional position sequence of the marker on the plane (step S42).
  • the projection point sequence obtained is output to the figure acquisition unit 43.
  • FIG. 8B is a diagram showing an example of processing of the plane projection unit 42.
  • the projected point sequence is represented by the points filled with black.
  • the figure acquisition unit 43 of the sensor coordinate system corresponding point estimation unit 4 obtains a figure formed by the input projected point sequence (step S43). Information about the figure obtained is output to the center estimation unit 44.
  • the figure acquisition unit 43 performs elliptic fitting on the projected point sequence.
  • any method may be used for elliptical fitting. For example, by using Reference 6, ellipse fitting on a plane is possible.
  • Reference 6 can be applied to a two-dimensional plane. Therefore, it is necessary to once represent the projected point sequence as a two-dimensional coordinate value. Here, it is guaranteed that the projection point sequence exists exactly on the same plane. Therefore, the figure acquisition unit 43 determines a two-dimensional coordinate system having an arbitrary point on this plane as an origin, obtains two-dimensional coordinate values of the projected point sequence in the two-dimensional coordinate system, and performs elliptic fitting on them. I do.
  • FIG. 8C is a diagram showing an example of processing of the figure acquisition unit 43. As illustrated in FIG. 8C, the figure acquisition unit 43 obtains an ellipse fitting to the projected point sequence.
  • the center estimation unit 44 of the sensor coordinate system corresponding point estimation unit 4 receives information about the figure obtained by the figure acquisition unit 43 as input, and estimates the center of the figure (step S44).
  • the estimated center of the figure is the three-dimensional position of the corresponding point in the sensor coordinate system.
  • the estimated three-dimensional position of the corresponding point in the sensor coordinate system is output to the coordinate system conversion parameter estimation unit 5.
  • the center will be placed on each figure to represent, for example, the following points.
  • a circle it exists on the same plane as the circle and is at the same distance from any point on the circumference.
  • an ellipse it is the intersection of the minor axis and the major axis.
  • a point or polygon it is the center of gravity.
  • the center estimation unit 44 obtains the intersection of the short axis and the long axis of the ellipse obtained by the figure acquisition unit 43 as the center position. Then, the center estimation unit 44 outputs the coordinate value of the center position as the coordinate value of the corresponding point in the sensor coordinate system.
  • any method can be used to find the center position of the ellipse.
  • information about the major axis, the minor axis, the inclination, and the center position of the ellipse can be obtained when the fitting is performed, and thus it may be used.
  • the figure itself formed by the projected point sequence may not be an ellipse. No matter what kind of figure is drawn, the smallest ellipse that can contain all the trajectories of the drawn markers is estimated, and the coordinate value of the center position of the ellipse can be used as the coordinate value of the corresponding point in the sensor coordinate system. Good.
  • the coordinate value of the center position is returned from the two-dimensional coordinate system to the sensor coordinate system as described in the description of the figure acquisition unit 43.
  • FIG. 8D is a diagram showing an example of processing of the center estimation unit 44. As illustrated in FIG. 8D, the center of the ellipse is obtained by the center estimation unit 44.
  • the coordinate system conversion parameter estimation unit 5 includes the three-dimensional positions of the corresponding points in the camera coordinate system estimated by the camera coordinate system corresponding point estimation unit 2 and the corresponding points in the sensor coordinate system estimated by the sensor coordinate system corresponding point estimation unit 4. The three-dimensional position of is input.
  • the coordinate system conversion parameter estimation unit 5 estimates the coordinate system conversion parameter from the three-dimensional position of the corresponding point in the camera coordinate system and the three-dimensional position of the corresponding point in the sensor coordinate system (step S5). Any method may be used to obtain the coordinate system conversion parameters.
  • three or more pairs of the three-dimensional position of the corresponding point in the camera coordinate system and the three-dimensional position of the corresponding point in the sensor coordinate system are input to the coordinate system conversion parameter estimation unit 5.
  • the coordinate system conversion parameter estimation unit 5 uses these pairs to obtain a coordinate system conversion parameter composed of a 3 ⁇ 3 rotation matrix coordinate system conversion parameter and a 3 ⁇ 1 translation vector.
  • the sensor coordinate system corresponding point estimation unit 4 may perform the third order of the corresponding points in the sensor coordinate system as follows.
  • the original position may be estimated.
  • the sensor coordinate system corresponding point estimation unit 4 estimates the three-dimensional position of the corresponding point in the sensor coordinate system as follows, for example. May be.
  • An example of a specific operation in this case is, for example, an operation in which the marker 6 is stationary for several seconds at a position forming 180 degrees with each other around the shoulder illustrated in FIG.
  • the sensor coordinate system corresponding point estimation unit 4 first obtains a point whose position does not change for a certain period of time from the three-dimensional position series of the marker obtained as an input.
  • the fixed time is a predetermined time, for example, it may be about 1 to 2 seconds, or it may be a longer time.
  • An example of a point where the position does not change for a certain period of time is the average of the positions of the three-dimensional position series within a certain period of time when the total amount of the position changes that move within a certain period of time is less than or equal to a predetermined threshold value. Further, another example of the point where the position does not change for a certain period of time is, when the moving speed of the points forming the three-dimensional position sequence within a certain period of time is less than or equal to a predetermined threshold, the three-dimensional position sequence within the certain period of time. Is the average of the positions of.
  • the sensor coordinate system corresponding point estimation unit 4 estimates the midpoint of the line segment connecting the obtained points whose position does not change for a certain period of time as the three-dimensional position of the corresponding point in the sensor coordinate system.
  • the sensor coordinate system corresponding point estimation unit 4 sets the three-dimensional position of the corresponding point in the sensor coordinate system as follows, for example. It may be estimated.
  • An example of a specific operation in this case is an operation in which the markers are stationary for several seconds at positions that form a degrees with each other around the shoulder.
  • the sensor coordinate system corresponding point estimation unit 4 determines that the position does not change for a certain period of time from the three-dimensional position series of the marker obtained as an input, in the same way as when the figure consisting of the locus of the marker is a line segment. Find 3 or more.
  • data may be exchanged directly between the components of the coordinate system conversion parameter estimation device, or may be exchanged via a storage unit (not shown).
  • the program describing this processing content can be recorded in a computer-readable recording medium.
  • the computer-readable recording medium may be, for example, a magnetic recording device, an optical disk, a photomagnetic recording medium, a semiconductor memory, or the like.
  • the distribution of this program is carried out, for example, by selling, transferring, or renting a portable recording medium such as a DVD or CD-ROM on which the program is recorded. Further, the program may be stored in a storage device of a server computer and transferred from the server computer to another computer via a network to distribute the program.
  • a computer that executes such a program first stores, for example, a program recorded on a portable recording medium or a program transferred from a server computer in its own storage device. Then, when the process is executed, the computer reads the program stored in its own storage device and executes the process according to the read program. Further, as another execution form of this program, a computer may read the program directly from a portable recording medium and execute processing according to the program, and further, the program is transferred from the server computer to this computer. It is also possible to execute the process according to the received program one by one each time. In addition, the above processing is executed by a so-called ASP (Application Service Provider) type service that realizes the processing function only by the execution instruction and result acquisition without transferring the program from the server computer to this computer. May be
  • the program in this embodiment includes information used for processing by a computer and equivalent to the program (data that is not a direct command to the computer but has a property of defining the processing of the computer, etc.).
  • the present device is configured by executing a predetermined program on the computer, but at least a part of these processing contents may be realized by hardware.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

従来よりも容易に座標系変換パラメータを求めることができる技術を提供する。座標系変換パラメータ推定装置は、センサによってセンサ座標系の三次元位置が取得可能なマーカを動作体が動作させる様子を映すカメラ映像から動作体の関節のカメラ座標系における三次元位置を推定し、カメラ座標系における対応点の三次元位置とするカメラ座標系対応点推定部２と、カメラ映像に対応するマーカの三次元位置系列から、マーカの三次元位置系列の全部又は一部が描く図形の所定の点を推定し、センサ座標系における対応点の三次元位置とするセンサ座標系対応点推定部４と、カメラ座標系における対応点の三次元位置と、センサ座標系における対応点の三次元位置とから、カメラ座標系とセンサ座標系との間の座標系変換パラメータを推定する座標系変換パラメータ推定部５と、を備えている。

Description

座標系変換パラメータ推定装置、方法及びプログラム
　本発明は、異なる２個の座標系を変換するための座標系変換パラメータ推定する技術に関する。
　空間の情報を取得する機器として、カメラだけでなく、IRセンサ、ToF(Time of Flight)センサ、レーザーレンジファインダーなどの様々なセンサが利用されている。これらのカメラ、センサを組み合わせて利用する場合、それぞれのカメラ、センサが持つ座標系の位置合わせを行うこと、言い換えれば、座標系間の変換パラメータを求めることが重要である。
　例えば、図５に示すように、バーチャルリアリティ（以下、VRとする。）を体験している動作体であるユーザが、VR空間上に存在する仮想物体であるボールとインタラクションする場合を考える。この場には２種のセンサ（カメラとIRセンサ）が、存在しているとする。
　カメラはユーザの各関節のカメラ座標系（＝実世界座標系）における三次元位置を取得し、IRセンサはユーザがVRを体験するために着用しているヘッドマウントディスプレイ（以下、HMDとする。）や付属のコントローラー（以下、マーカとする。）のセンサ座標系（＝仮想世界座標系）における三次元位置を取得する。
　なお、センサ座標系と仮想物体を表示する仮想空間の座標系は一致しているか、外部キャリブレーション済みであるとする。
　このとき、カメラ座標系とセンサ座標系の位置合わせができていない状態でユーザが手で仮想物体を操作しようとしても、IRセンサではユーザの手の位置は計測できておらず、かつ、カメラ座標系における手の三次元位置をセンサ座標系に変換できない。このため、仮想空間上におけるユーザの手の位置が不明となり、円滑にインタラクションを行うことができない。
　このような異なる種類のセンサの座標系の位置合わせを行うためには、それぞれの座標系における共通の点（以下、このような点を対応点と呼ぶ）の三次元位置又は二次元投影位置などの情報を利用することが一般的である。
　しかしながら、センサで取得できる情報が異なる場合には、このような共通の点の三次元位置又は二次元投影位置を求めることは難しい。
　市販のVR機器ではIRセンサなどでマーカの三次元位置を取得可能である。しかし、マーカのどの位置を出力しているのか外見からはわからないため、カメラ映像と対応付けることは困難である。
　非特許文献１などは、チェスボードのような追加のデバイスを導入している。これらのアプローチは安定して推定ができる一方、追加のデバイスが必要なので日常的に簡易に利用することは難しい。
Raposo, Carolina, Joao Pedro Barreto, and Urbano Nunes, "Fast and accurate calibration of a kinect sensor", 2013 International Conference on 3D Vision (3DV) IEEE, 2013.
　この発明は、従来よりも容易に座標系変換パラメータを求めることができる座標系変換パラメータ推定装置、方法及びプログラムを提供することを目的とする。
　この発明の一態様による座標系変換パラメータ推定装置は、センサによってセンサ座標系の三次元位置が取得可能なマーカを動作体が動作させる様子を映すカメラ映像から動作体の関節のカメラ座標系における三次元位置を推定し、カメラ座標系における対応点の三次元位置とするカメラ座標系対応点推定部と、カメラ映像に対応するマーカの三次元位置系列から、マーカの三次元位置系列の全部又は一部が描く図形の所定の点を推定し、センサ座標系における対応点の三次元位置とするセンサ座標系対応点推定部と、カメラ座標系における対応点の三次元位置と、センサ座標系における対応点の三次元位置とから、カメラ座標系とセンサ座標系との間の座標系変換パラメータを推定する座標系変換パラメータ推定部と、を備えている。
　カメラ座標系における対応点の三次元位置、センサ座標系における対応点の三次元位置を利用することで、従来よりも容易にカメラ座標系とセンサ座標系との間の座標系変換パラメータを求めることができる。
図１は、座標系変換パラメータ推定装置の例を説明するためのブロック図である。 図２は、センサ座標系対応点推定部４の例を説明するためのブロック図である。 図３は、座標系変換パラメータ推定方法の処理手続きの例を説明するためのフローチャートである。 図４は、センサ座標系対応点推定部の処理の例を説明するためのフローチャートである。 図５は、ユーザが、VR空間上に存在する仮想物体であるボールとインタラクションする状況を示す図である。 図６は、特定の動作の例を示す図である。 図７は、特定の動作の例を示す図である。 図８は、センサ座標系対応点推定部４の処理の例を示す図である。 図９は、センサ座標系対応点推定部４の変形例の処理を説明するための図である。
　以下、本発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
　[実施形態]
　図１は、座標系変換パラメータ推定装置の例を説明するためのブロック図である。
　座標系変換パラメータ推定装置は、Nc(≧１)台のカメラで撮影したカメラ映像と、Ns(≧１)台のセンサで取得したマーカの三次元位置を入力とし、カメラ座標系とセンサ座標系との間の座標系変換パラメータを出力する。
　座標系変換パラメータ装置は、入力されたカメラ映像を格納するカメラ映像格納部１と、入力されたカメラ映像からカメラ座標系における対応点の三次元位置を求めるカメラ座標系対応点推定部２と、センサで取得したマーカの三次元位置系列を格納するセンサデータ格納部３と、マーカの三次元位置系列からセンサ座標系における対応点の三次元位置を求めるセンサ座標系対応点推定部４と、各座標系で推定した対応点の三次元位置から座標系間の変換パラメータを推定する座標系変換パラメータ推定部５とを例えば備えている。
　座標系変換パラメータ推定方法は、これらの各部が、図３及び以下に示すステップＳ２、Ｓ４、Ｓ５の処理を少なくとも行うことにより例えば実現される。
　以下ではこれらの各部について詳しく述べる。
　なお、入力として与えられるカメラ映像及びマーカの三次元位置系列は、動作体が図６又は図７に示すような特定の動作したときのものであるとする。
　動作体は、関節を有しており、関節を介してマーカを移動させることができるものである。動作体は、例えば人間や、関節を有するロボットである。以下、動作体が人間である場合を例に挙げて説明する。
　特定の動作は、「マーカの軌跡から成る図形の中心＝動作体の何れかの関節位置」となる関係を満たしていればどのような動作よい。この関係を満たす可能性のある図形は、例えば、楕円（真円を含む）、直線、多角形などである。
　特定の動作の例は、図６に示すようにマーカ６を手に持って手首の周りを回す動作、図７に示すように肩を起点にしてマーカ６を振り回す動作である。
　なお、マーカ６を手に持って手首の周りを回すような動作をした場合には、手首の位置が対応点７の位置となる。また、肩を起点にしてマーカ６を振り回す動作をした場合には、肩の位置が対応点７の位置となる。
　関節位置は、マーカが軌跡を描く間固定されていることが望ましい。また、カメラ映像には、人体の全体が映っている必要はなく、少なくとも対応点として利用する関節が映っていればよい。また、マーカの三次元位置系列は、一回の動作において図形を検出するために必要な最低点数（直線なら２点以上，楕円なら５点以上など）の異なる三次元位置が含まれることとする。
　動作体が行った少なくとも１種類の特定の動作に対応するカメラ映像及びマーカの三次元位置系列は、それぞれカメラ映像格納部１及びセンサデータ格納部３に出力される。ここで、少なくとも１種類の特定の動作は、例えば、互いに対応する対応点が異なる３種類以上の特定の動作である。
　なお、センサは、センサ座標系における指定のマーカの三次元位置が取得できるものであればどのようなものでもよく、例えばIRセンサやToFセンサ、レーザーレンジファインダーなどを利用することができる。
　[カメラ映像格納部１]
　カメラ映像格納部１には、動作体が行った少なくとも１種類の特定の動作に対応するカメラ映像が入力され格納される。
　カメラ映像格納部１は、例えば座標系変換パラメータ推定装置に備えられている。カメラ映像格納部１は、オフライン処理を想定する場合は例えばHDDである。カメラ映像格納部１は、オンライン処理を行う場合はメモリである。
　一方、カメラ映像格納部１は、座標系変換パラメータ推定装置の外部にあってもよい。例えば、カメラ映像格納部１は、座標系変換パラメータ推定装置とネットワーク接続されたクラウドサーバであってもよい。
　カメラ映像は、後述するセンサデータ格納部３に格納されているマーカの三次元位置系列と対応付けられており、かつ、同期が取れているとする。ここで、「対応付けられている」とは、あるシーンに対応するカメラ映像と、そのあるシーンと同じシーンをセンシングしたマーカの三次元位置系とには、そのあるシーンに対応する情報が付与されていることを意味する。
　例えば、シーンＳに対応するカメラ映像のファイル名及びマーカの三次元位置系のファイル名には、シーンＳに関する情報が含まれる。
　[カメラ座標系対応点推定部２]
　カメラ座標系対応点推定部２には、カメラ映像格納部１から読み込んだカメラ映像が入力される。
　カメラ座標系対応点推定部２は、入力されたカメラ映像中に映る動作体を解析して対応点の三次元位置を推定する。
　推定されたカメラ座標系における対応点の三次元位置は、座標系変換パラメータ推定部５に出力される。
　具体的には、カメラ座標系対応点推定部２は、カメラ映像中の動作体の各関節、特に対応点となる関節の三次元位置を推定する。この三次元位置を推定する方法はどのような方法でもよい。
　１台のカメラでカメラ映像を撮影した場合には、例えば参考文献１で提案されている、単眼映像から３次元の関節位置を推定する方法を用いることができる。この方法の詳細は、参考文献１を参照のこと。
　〔非特許文献２〕Tome, Denis, Christopher Russell, and Lourdes Agapito, "Lifting from the deep: Convolutional 3d pose estimation from a single image", CVPR 2017 Proceedings (2017): 2500-2509.
　また、２台以上のカメラでカメラ映像を撮影した場合であって、予めカメラ間の位置関係が参考文献２の技術などを利用して既知である場合、参考文献３の技術を用いて推定した各関節の二次元位置を三角測量の原理を用いることで三次元位置を推定することができる。
　２台以上のカメラでカメラ映像を撮影した場合であって、カメラ間の位置関係が未知である場合、参考文献４で提案されているように、動作体の各関節の二次元位置を利用することで位置関係の推定、同期、および関節の三次元位置を得ることが可能である。
　これらの技術の詳細に関しては、参考文献３から５を参照のこと。
　〔参考文献３〕Zhang, Zhengyou, "A flexible new technique for camera calibration", IEEE Transactions on pattern analysis and machine intelligence 22 (2000).
　〔参考文献４〕Cao, Zhe, et al, "Realtime multi-person 2d pose estimation using part affinity fields", arXiv preprint arXiv:1611.08050 (2016).
　〔参考文献５〕Takahashi, Kosuke, et al, "Human Pose as Calibration Pattern: 3D Human Pose Estimation with Multiple Unsynchronized and Uncalibrated Cameras", 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). IEEE, 2018.
　このようにして、カメラ座標系対応点推定部２は、センサによってセンサ座標系の三次元位置が取得可能なマーカを動作体が動作させる様子を映すカメラ映像から動作体の関節のカメラ座標系における三次元位置を推定し、カメラ座標系における対応点の三次元位置とする（ステップＳ２）。
　[センサデータ格納部３]
　センサデータ格納部３には、動作体が行った少なくとも１種類の特定の動作に対応するマーカの三次元位置系列が入力され格納される。
　センサデータ格納部３は、例えば座標系変換パラメータ推定装置に備えられている。カメラ映像格納部１は、オフライン処理を想定する場合は例えばHDDである。センサデータ格納部３は、オンライン処理を行う場合はメモリである。
　一方、センサデータ格納部３は、座標系変換パラメータ推定装置の外部にあってもよい。例えば、センサデータ格納部３は、座標系変換パラメータ推定装置とネットワーク接続されたクラウドサーバであってもよい。
　[センサ座標系対応点推定部４]
　センサ座標系対応点推定部４には、センサデータ格納部３から読み込んだマーカの三次元位置系列が入力される。
　センサ座標系対応点推定部４は、マーカの三次元位置系列から、センサ座標系における対応点の三次元位置を推定する。より詳細には、センサ座標系対応点推定部４は、カメラ映像に対応するマーカの三次元位置系列から、マーカの三次元位置系列の全部又は一部が描く図形の中心を推定し、センサ座標系における対応点の三次元位置とする（ステップＳ４）。
　推定されたセンサ座標系における対応点の三次元位置は、座標系変換パラメータ推定部５に出力される。
　センサ座標系対応点推定部４は、図２に示すように、平面取得部４１と、平面射影部４２と、図形取得部４３と、中心推定部４４とを例えば備えている。これらの各部は、図４及び以下に示すステップＳ４１からステップＳ４４の処理を行う。以下、これらの各部について説明する。
　[[平面取得部４１]]
　まず、センサ座標系対応点推定部４の平面取得部４１は、入力されたマーカの三次元位置系列に対して、平面フィッティング処理を行う（ステップＳ４１）。
　このときの平面フィッティングアルゴリズムはどのようなものでもよい。平面の方程式は例えばax+by+cz+d=0と表され、未知数は(a,b,c,d)の４個である。このため、４点以上の三次元位置情報を利用して最小二乗法やRANSACを利用することで各未知数を求めることができる。
　このようにして、センサ座標系対応点推定部４の平面取得部４１は、マーカの三次元位置系列が形成する平面（マーカの三次元位置系列が形成する面として近似した平面。以下、近似平面と記載）を求める（ステップＳ４１）。求まった平面についての情報は、平面射影部４２に出力される。
　図８（Ａ）は、平面取得部４１の処理の例を表す図である。図８（Ａ）に例示するように、三次元位置系列にフィッティングする平面が平面取得部４１により求められる。
　[[平面射影部４２]]
　センサ座標系対応点推定部４の平面射影部４２は、平面取得部４１で得られた平面を入力として、入力された平面にマーカの三次元位置系列の各点を射影する。ここでいう射影とは、図８（Ｂ）に示すように、各三次元点から平面取得部４１で得られた求めた平面に対して垂線を下ろし、その垂線とその平面の交点を新たな三次元点列とすることである。以下、新たな三次元点列を射影点列と呼ぶ。この処理により、射影点列は厳密に同一平面上に存在することが保証される。
　このようにして、平面射影部４２は、マーカの三次元位置系列を平面に射影することで得られる射影点列を求める（ステップＳ４２）。求まった射影点列は、図形取得部４３に出力される。
　図８（Ｂ）は、平面射影部４２の処理の例を表す図である。図８（Ｂ）では、射影点列は中が黒で塗りつぶされた点で表されている。
　[[図形取得部４３]]
　センサ座標系対応点推定部４の図形取得部４３は、入力された射影点列が形成する図形を求める（ステップＳ４３）。求まった図形についての情報は、中心推定部４４に出力される。
　例えば、射影点列が形成する図形が楕円であることが想定される場合には、図形取得部４３は、射影点列に対して楕円フィッティングを行う。このとき、楕円フィッティングはどのような方法でも良い。例えば、参考文献６を用いることで平面上の楕円フィッティングが可能である。
　なお、参考文献６は二次元平面に対して適用が可能である。このため、射影点列を一度二次元座標値として表す必要がある。ここで、射影点列は厳密に同一平面上に存在することが保証されている。このため、図形取得部４３は、この平面上の任意の点を原点とする二次元座標系を定め、その二次元座標系における射影点列の二次元座標値を求めてそれらに対して楕円フィッティングを行う。
　図８（Ｃ）は、図形取得部４３の処理の例を表す図である。図８（Ｃ）に例示するように、射影点列にフィッティングする楕円が図形取得部４３により求められる。
　[[中心推定部４４]]
　センサ座標系対応点推定部４の中心推定部４４は、図形取得部４３で求まった図形についての情報を入力とし、図形の中心を推定する（ステップＳ４４）。推定された図形の中心が、センサ座標系における対応点の三次元位置とされる。推定したセンサ座標系における対応点の三次元位置は、座標系変換パラメータ推定部５に出力される。
　なお、以下では中心とはそれぞれの図形に置いて、例えば次にあげるような点を表すとする。円の場合は円と同一平面上に存在し、円周上のどの点からでも同一距離にある点、楕円の場合は短軸と長軸の交点，直線の場合はその直線を二等分する点，多角形の場合は重心である。例えば、射影点列が形成する図形が楕円であることが想定される場合には、中心推定部４４は、図形取得部４３で求まった楕円の短軸と長軸の交点を中心位置として求める。そして、中心推定部４４は、その中心位置の座標値をセンサ座標系における対応点の座標値として出力する。
　楕円の中心位置を求める手法はどのような方法でもよい。例えば、参考文献６の手法ではフィッティングした際に楕円の長径、短径、傾き、中心位置に関する情報が得られるため、それを利用してもよい。射影点列が形成する図形そのものが楕円でなくてもよい。どのような図形が描かれたとしても、描かれたマーカの軌跡の全てを包含可能な最小の楕円を推定し、その楕円の中心位置の座標値をセンサ座標系における対応点の座標値としてもよい。参考文献６でフィッティングを行った場合は、図形取得部４３の説明で述べたように中心位置の座標値を二次元座標系からセンサ座標系に戻す。
　〔参考文献６〕Fitzgibbon, Andrew, Maurizio Pilu, and Robert B. Fisher, "Direct least square fitting of ellipses", IEEE Transactions on pattern analysis and machine intelligence 21.5 (1999): 476-480.
　図８（Ｄ）は、中心推定部４４の処理の例を表す図である。図８（Ｄ）に例示するように、楕円の中心が中心推定部４４により求められる。
　[座標系変換パラメータ推定部５]
　座標系変換パラメータ推定部５には、カメラ座標系対応点推定部２が推定したカメラ座標系における対応点の三次元位置と、センサ座標系対応点推定部４が推定したセンサ座標系における対応点の三次元位置とが入力される。
　座標系変換パラメータ推定部５は、カメラ座標系における対応点の三次元位置と、センサ座標系における対応点の三次元位置とから座標系変換パラメータを推定する（ステップＳ５）。座標系変換パラメータを求める手法はどのような手法でも良い。
　例えば、座標系変換パラメータ推定部５には、カメラ座標系における対応点の三次元位置と、センサ座標系における対応点の三次元位置とのペアが３個以上入力される。
　この場合、座標系変換パラメータ推定部５は、これらのペアを用いて、３×３の回転行列座標系変換パラメータと、３×１の並進ベクトルとから成る座標系変換パラメータを求める。
　例えば、これらのペアからAbsolute orientationを求めることでこの座標系変換パラメータを求める手法などが利用できる（例えば、参考文献７参照。）。
　〔参考文献７〕Horn, Berthold KP, "Closed-form solution of absolute orientation using unit quaternions", JOSA A 4.4 (1987): 629-642.
　このように、関節の三次元位置とマーカの三次元位置の軌跡からなる図形の中心が一致するとみなせるように、マーカが装着された人がある特定の動きを取ったときに発生する位置関係を利用して共通の対応点を作り出す。これにより、従来よりも容易に座標系変換パラメータを求めることができる。
　[変形例]
　マーカの三次元位置系列の一部が描く図形が線分又は多角形である場合には、例えば、センサ座標系対応点推定部４は、例えば以下のようにしてセンサ座標系における対応点の三次元位置を推定してもよい。
　例えば、マーカの軌跡から成る図形が線分であると推定される場合には、センサ座標系対応点推定部４は、例えば以下のようにしてセンサ座標系における対応点の三次元位置を推定してもよい。なお、この場合の特定の動作の例は、例えば図９に例示する肩を中心として互いに１８０度を成す位置にマーカ６を数秒間静止する動作である。
　センサ座標系対応点推定部４は、まず、入力として得られるマーカの三次元位置系列の中から、一定時間位置が変化しない点を求める。一定時間は、予め定められた時間であり、例えば１から２秒程度でもよいし、それ以上長い時間であってもよい。
　一定時間位置が変化しない点の例は、一定時間内に移動する位置変化の総量が予め定められた閾値以下である場合、その一定時間内の三次元位置系列の位置の平均である。また、一定時間位置が変化しない点の他の例は、一定時間内の三次元位置系列を構成する点の移動速度が予め定められた閾値以下である場合、その一定時間内の三次元位置系列の位置の平均である。
　そして、センサ座標系対応点推定部４は、求まった一定時間位置が変化しない点を結ぶ線分の中点をセンサ座標系における対応点の三次元位置として推定する。
　また、例えば、マーカの軌跡から成る図形が多角形であると推定される場合には、センサ座標系対応点推定部４は、例えば以下のようにしてセンサ座標系における対応点の三次元位置を推定してもよい。なお、この場合の特定の動作の例は、肩を中心として互いにa度を成す位置にマーカを数秒間静止する動作である。bを所定の3以上の整数として、aは360=a*bを満たす角度である。
　センサ座標系対応点推定部４は、まず、マーカの軌跡から成る図形が線分である場合と同様にして、入力として得られるマーカの三次元位置系列の中から、一定時間位置が変化しない点を３個以上求める。
　そして、センサ座標系対応点推定部４は、求まった一定時間位置が変化しない３個以上の点を頂点とし、360=a*bを満たすb個の頂点を有する多角形の中心位置を求め、センサ座標系における対応点の三次元位置として推定する。
　以上、本発明の実施の形態について説明したが、具体的な構成は、これらの実施の形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜設計の変更等があっても、本発明に含まれることはいうまでもない。
　実施の形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
　例えば、座標系変換パラメータ推定装置の構成部間のデータのやり取りは直接行われてもよいし、図示していない記憶部を介して行われてもよい。
　[プログラム、記録媒体]
　上記説明した座標系変換パラメータ推定装置における各種の処理機能をコンピュータによって実現する場合、座標系変換パラメータ推定装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記座標系変換パラメータ推定装置における各種の処理機能がコンピュータ上で実現される。
　この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
　また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
　このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
　また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
１     カメラ映像格納部
２     カメラ座標系対応点推定部
３     センサデータ格納部
４     センサ座標系対応点推定部
４１   平面取得部
４２   平面射影部
４３   図形取得部
４４   中心推定部
５     座標系変換パラメータ推定部
６     マーカ
７     対応点

Claims (6)

  1. 　センサによってセンサ座標系の三次元位置が取得可能なマーカを動作体が動作させる様子を映すカメラ映像から前記動作体の関節のカメラ座標系における三次元位置を推定し、前記カメラ座標系における対応点の三次元位置とするカメラ座標系対応点推定部と、
    　前記カメラ映像に対応する前記マーカの三次元位置系列から、前記マーカの三次元位置系列の全部又は一部が描く図形の所定の点を推定し、前記センサ座標系における対応点の三次元位置とするセンサ座標系対応点推定部と、
    　前記カメラ座標系における対応点の三次元位置と、前記センサ座標系における対応点の三次元位置とから、前記カメラ座標系と前記センサ座標系との間の座標系変換パラメータを推定する座標系変換パラメータ推定部と、
    　を含む座標系変換パラメータ推定装置。
  2. 　請求項１の座標系変換パラメータ推定装置であって、
    　前記センサ座標系対応点推定部は、
    　前記マーカの三次元位置系列が形成する近似平面を求める平面取得部と、
    　前記マーカの三次元位置系列を前記近似平面に射影することで得られる射影点列を求める平面射影部と、
    　前記射影点列が形成する図形を求める図形取得部と、
    　前記図形の所定の点を推定する中心推定部と、
    　を含む、
    　座標系変換パラメータ推定装置。
  3. 　請求項１の座標系変換パラメータ推定装置であって、
    　前記三次元位置系列の一部が描く図形は、線分又は多角形である、
    　座標系変換パラメータ推定装置。
  4. 　請求項１から３の座標系変換パラメータ推定装置であって、
    　前記所定の点は、前記三次元位置系列の一部が描く図形が円である場合には円と同一平面上に存在する円周上の点から等距離にある点であり、楕円である場合には楕円の短軸と長軸の交点であり、直線である場合には直線を二等分する点であり、多角形の場合は多角形の重心である、
    　座標系変換パラメータ推定装置。
  5. 　カメラ座標系対応点推定部が、センサによってセンサ座標系の三次元位置が取得可能なマーカを動作体が動作させる様子を映すカメラ映像から前記動作体の関節のカメラ座標系における三次元位置を推定し、前記カメラ座標系における対応点の三次元位置とするカメラ座標系対応点推定ステップと、
    　センサ座標系対応点推定部が、前記カメラ映像に対応する前記マーカの三次元位置系列から、前記マーカの三次元位置系列の全部又は一部が描く図形の所定の点を推定し、前記センサ座標系における対応点の三次元位置とするセンサ座標系対応点推定ステップと、
    　座標系変換パラメータ推定部が、前記カメラ座標系における対応点の三次元位置と、前記センサ座標系における対応点の三次元位置とから、前記カメラ座標系と前記センサ座標系との間の座標系変換パラメータを推定する座標系変換パラメータ推定ステップと、
    　を含む座標系変換パラメータ推定方法。
  6. 　請求項１から４の何れかの座標系変換パラメータ推定装置の各部としてコンピュータを機能させるためのプログラム。
PCT/JP2020/007288 2019-03-07 2020-02-25 座標系変換パラメータ推定装置、方法及びプログラム WO2020179526A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/435,759 US20220156963A1 (en) 2019-03-07 2020-02-25 Coordinate system conversion parameter estimating apparatus, method and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019041629A JP7095628B2 (ja) 2019-03-07 2019-03-07 座標系変換パラメータ推定装置、方法及びプログラム
JP2019-041629 2019-03-07

Publications (1)

Publication Number Publication Date
WO2020179526A1 true WO2020179526A1 (ja) 2020-09-10

Family

ID=72338600

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/007288 WO2020179526A1 (ja) 2019-03-07 2020-02-25 座標系変換パラメータ推定装置、方法及びプログラム

Country Status (3)

Country Link
US (1) US20220156963A1 (ja)
JP (1) JP7095628B2 (ja)
WO (1) WO2020179526A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12039756B2 (en) * 2020-12-23 2024-07-16 Intel Corporation Methods and apparatus to calibrate a multiple camera system based on a human pose
CN114925333B (zh) * 2022-06-13 2024-05-31 千寻位置网络有限公司 坐标转换的方法及其系统
CN117934572B (zh) * 2024-03-21 2024-05-28 南京起源跃动科技有限公司 一种3d骨骼坐标系与vr头显坐标系对齐的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120303336A1 (en) * 2009-12-18 2012-11-29 Airbus Operations Gmbh Assembly and method for verifying a real model using a virtual model and use in aircraft construction
WO2015137526A1 (ja) * 2015-03-27 2015-09-17 株式会社小松製作所 作業機械の較正装置、及び作業機械の作業機パラメータの較正方法
JP2017037554A (ja) * 2015-08-12 2017-02-16 セイコーエプソン株式会社 画像表示装置、コンピュータープログラム、および画像表示システム
JP2017119102A (ja) * 2015-12-28 2017-07-06 住友ゴム工業株式会社 運動解析装置、方法及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9289153B2 (en) * 1998-09-14 2016-03-22 The Board Of Trustees Of The Leland Stanford Junior University Joint and cartilage diagnosis, assessment and modeling
KR101183000B1 (ko) * 2004-07-30 2012-09-18 익스트림 리얼리티 엘티디. 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및방법
EP3021257A1 (en) * 2014-11-14 2016-05-18 Soundisplay Limited A sensor utilising overlapping signals and method thereof
US10850177B2 (en) * 2016-01-28 2020-12-01 Nippon Telegraph And Telephone Corporation Virtual environment construction apparatus, method, and computer readable medium
JP6808357B2 (ja) * 2016-05-25 2021-01-06 キヤノン株式会社 情報処理装置、制御方法、及び、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120303336A1 (en) * 2009-12-18 2012-11-29 Airbus Operations Gmbh Assembly and method for verifying a real model using a virtual model and use in aircraft construction
WO2015137526A1 (ja) * 2015-03-27 2015-09-17 株式会社小松製作所 作業機械の較正装置、及び作業機械の作業機パラメータの較正方法
JP2017037554A (ja) * 2015-08-12 2017-02-16 セイコーエプソン株式会社 画像表示装置、コンピュータープログラム、および画像表示システム
JP2017119102A (ja) * 2015-12-28 2017-07-06 住友ゴム工業株式会社 運動解析装置、方法及びプログラム

Also Published As

Publication number Publication date
US20220156963A1 (en) 2022-05-19
JP7095628B2 (ja) 2022-07-05
JP2020144041A (ja) 2020-09-10

Similar Documents

Publication Publication Date Title
WO2020179526A1 (ja) 座標系変換パラメータ推定装置、方法及びプログラム
US10936874B1 (en) Controller gestures in virtual, augmented, and mixed reality (xR) applications
JP6198230B2 (ja) 深度カメラを使用した頭部姿勢トラッキング
Scherer et al. Efficient onbard RGBD-SLAM for autonomous MAVs
CN112022355B (zh) 基于计算机视觉的手眼标定方法及装置、存储介质
Geiselhart et al. On the use of multi-depth-camera based motion tracking systems in production planning environments
WO2018140129A1 (en) Systems and methods for tracking a controller
Dorfmüller-Ulhaas Robust optical user motion tracking using a kalman filter
JP2024519940A (ja) データ処理方法、装置、データ処理システム、電子機器及びコンピュータプログラム
US20210347053A1 (en) Virtual presence for telerobotics in a dynamic scene
US10931972B2 (en) Forward channel contextual error concealment and sync for virtual, augmented, or mixed reality (XR) content in connectivity-constrained environments
US11043004B2 (en) Resolving region-of-interest (ROI) overlaps for distributed simultaneous localization and mapping (SLAM) in edge cloud architectures
WO2022014312A1 (ja) ロボット制御装置、およびロボット制御方法、並びにプログラム
Erol et al. Cloud-based Control and vSLAM through cooperative Mapping and Localization
Du et al. Eye-to-hand robotic tracking and grabbing based on binocular vision
Cuevas-Velasquez et al. Hybrid multi-camera visual servoing to moving target
Beyl et al. Time-of-flight-assisted Kinect camera-based people detection for intuitive human robot cooperation in the surgical operating room
KR102456872B1 (ko) 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법
des Bouvrie Improving rgbd indoor mapping with imu data
Deldjoo et al. A low-cost infrared-optical head tracking solution for virtual 3d audio environment using the nintendo wii-remote
Marchand et al. Visual servoing through mirror reflection
Schönauer et al. Wide area motion tracking using consumer hardware
Karrer et al. Real-time dense surface reconstruction for aerial manipulation
Faion et al. Recursive bayesian calibration of depth sensors with non-overlapping views
Niu et al. Eye-in-hand manipulation for remote handling: Experimental setup

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20765844

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20765844

Country of ref document: EP

Kind code of ref document: A1