JP5540583B2 - 位置計測システム、位置計測用演算装置およびプログラム - Google Patents

位置計測システム、位置計測用演算装置およびプログラム Download PDF

Info

Publication number
JP5540583B2
JP5540583B2 JP2009150364A JP2009150364A JP5540583B2 JP 5540583 B2 JP5540583 B2 JP 5540583B2 JP 2009150364 A JP2009150364 A JP 2009150364A JP 2009150364 A JP2009150364 A JP 2009150364A JP 5540583 B2 JP5540583 B2 JP 5540583B2
Authority
JP
Japan
Prior art keywords
marker
action part
marker set
coordinates
attached
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009150364A
Other languages
English (en)
Other versions
JP2011007578A (ja
Inventor
宏之 堀田
和敏 谷田
泰之 佐口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2009150364A priority Critical patent/JP5540583B2/ja
Priority to US12/619,555 priority patent/US8928749B2/en
Priority to CN2010100028051A priority patent/CN101929839A/zh
Publication of JP2011007578A publication Critical patent/JP2011007578A/ja
Application granted granted Critical
Publication of JP5540583B2 publication Critical patent/JP5540583B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、位置計測システム、位置計測用演算装置およびプログラムに関するものである。
従来から物体の3次元位置を計測する手段として種々の技術が提案されている。例えば、特許文献1には、3次元空間で物体の位置及び方向を決定するための技術が開示されている。この技術は、互いに距離及び幾何の既知な基準点が探され、基準点に関してその位置及び方向が知られている任意の点の位置または任意の線の方向が決定される。基準点にマーカー(基本標識)を配置し、コンピュータ装置を使って、マーカーの位置及びマーカーが固定された装置の方向を計算する。マーカーの位置を決定するための方法は、少なくとも一つのカメラでマーカーを写す工程と、マーカーのイメージを生成する工程と、マーカーの画素座標を探す工程と、画素座標からマーカーの位置を計算するべく基準データを使用する工程とから成る。また、特許文献2には、対象物の位置や方向を簡易かつ高精度に測定することができる技術が開示されている。この技術は、例えば矩形状のカードの頂点に配置した複数のLED光源(基本標識)からの光により光リング像を形成し、この光リング像を撮像素子により検出し、その検出情報および各光源の位置関係に基づいて各光源の位置を計測するものである。
特開2005−537583号公報 特開2008−58204号公報
本発明の目的は、作用部を有する領域が回転したり隠れたりした場合でも別領域に配置した基本標識を用いて作用部の3次元位置を求めることができる位置計測システム、位置計測用演算装置およびプログラムを提供することにある。
本発明は、上記目的を達成するために、以下の位置計測システム、位置計測用演算装置およびプログラムを提供する。
(1)作用部を有する第1領域および前記第1領域に続く第2領域を含む物体の前記第2領域に取り付けられる位置関係の分かっている3つ以上の基本標識を有する標識セットと、前記標識セットを撮像する2次元撮像素子を有する撮像装置と、前記標識セットに対する前記作用部の座標を記録する記録装置と、前記撮像装置で撮像した前記標識セットの画像に基づいて求めた前記標識セットの位置および角度と前記記録装置に記録された前記標識セットに対する前記作用部の座標とを用いて前記作用部の3次元位置を演算する演算装置とを備えた位置計測システム。
(2)前記標識セットが、前記第2領域に対して着脱可能な保持部材に取り付けられる上記(1)記載の位置計測システム。
(3)前記標識セットが、前記第1領域の方向に張り出した支持部材を介して前記保持部材に取り付けられる上記(2)記載の位置計測システム。
(4)前記第1領域が人の手であり、前記第2領域が人の前腕である上記(1)〜(3)のいずれかに記載の位置計測システム。
(5)前記標識セットに対する前記作用部の座標が、既知の位置にある補助具の位置に前記作用部を配置したときの前記撮像装置で撮像した前記標識セットの画像に基づいて求めた前記標識セットの位置および角度を用いて計算される上記(1)〜(4)のいずれかに記載の位置計測システム。
(6)前記標識セットに対する前記作用部の座標が、位置関係の分かっている3つ以上の基本標識を有する標識セットを取り付けた補助具の位置に前記作用部を配置したときの前記撮像装置で撮像した前記第2領域に取り付けられた標識セットの画像と、前記撮像装置で撮像した前記補助具に取り付けられた標識セットの画像とに基づいて求めた前記両標識セットの位置および角度を用いて計算される上記(1)〜(4)のいずれかに記載の位置計測システム。
(7)前記標識セットに対する前記作用部の座標を求める計算が、予め決められた時点で実行され、これにより求めた値が前記標識セットに対する前記作用部の座標として前記記録装置に記録される上記(5)または(6)記載の位置計測システム。
(8)前記標識セットに対する前記作用部の座標を求める計算を、予め決められた時点で実行するための指示を表示する表示器を備えた上記(5)または(6)記載の位置計測システム。
(9)前記補助具が、前記標識セットに対する前記作用部の座標の計算の実行開始を指示する指示器を有する上記(5)〜(8)のいずれかに記載の位置計測システム。
(10)作用部を有する第1領域および前記第1領域に続く第2領域を含む物体の前記第2領域に取り付けられる位置関係の分かっている3つ以上の基本標識を有する標識セットを2次元撮像素子を有する撮像装置で撮像した画像に基づいて求めた前記標識セットの位置および角度と、記録装置から読み出した前記標識セットに対する前記作用部の座標とを用いて前記作用部の3次元位置を演算する位置計測用演算装置。
(11)コンピュータに、作用部を有する第1領域および前記第1領域に続く第2領域を含む物体の前記第2領域に取り付けられる位置関係の分かっている3つ以上の基本標識を有する標識セットを2次元撮像素子を有する撮像装置で撮像した画像に基づいて前記標識セットの位置および角度を求める手順、記録装置に記録されている前記標識セットに対する前記作用部の座標を読み出す手順、前記求めた前記標識セットの位置および角度と前記読み出した前記標識セットに対する前記作用部の座標とを用いて前記作用部の3次元位置を演算する手順を実行させるプログラム。
請求項1に記載の位置計測システムによれば、作用部を有する領域が回転したり隠れたりした場合でも別領域に配置した基本標識を用いて作用部の3次元位置を求めることができる。
請求項2に記載の位置計測システムによれば、本構成を有しないものに比べシステムの利用効率を向上することができる。
請求項3に記載の位置計測システムによれば、本構成を有しないものに比べ基本標識が他の物体に遮られる蓋然性を低減することができる。
請求項4に記載の位置計測システムによれば、作用部を有する手が回転したり隠れたりした場合でも基本標識を用いて作用部の3次元位置を求めることができる
請求項5に記載の位置計測システムによれば、本構成を有しないものに比べ標識セットに対する作用部の座標の計算を容易にすることができる。
請求項6に記載の位置計測システムによれば、標識セットに対する作用部の座標の計算に関し自由度を増すことができる。
請求項7に記載の位置計測システムによれば、標識セットに対する作用部の座標を更新することができる。
請求項8に記載の位置計測システムによれば、標識セットに対する作用部の座標の更新を促すことができる。
請求項9に記載の位置計測システムによれば、本構成を有しないものに比べ標識セットに対する作用部の座標の計算開始の指示を容易に出すことができる。
請求項10に記載の位置計測用演算装置によれば、作用部を有する領域が回転したり隠れたりした場合でも別領域に配置した基本標識を用いて作用部の3次元位置を求めることができる。
請求項11に記載のプログラムによれば、作用部を有する領域が回転したり隠れたりした場合でも別領域に配置した基本標識を用いて作用部の3次元位置を求めることができる。
本発明に係る位置計測システムの一実施例を示す図である。 標識セット用の保持部材の前腕への取付け方の一例を示す図で、(a)前腕長手方向の要部断面図、(b)は前腕横方向の要部断面図である。 標識セットの構成例とそれを撮像する撮像装置の一例を示す図である。 3つ以上の基本標識を有する標識セットの3次元位置の演算方法の一例を示す図である。 位置計測用演算装置としてパーソナルコンピュータ(PC)を用いた場合の一例を示すブロック図である。 位置計測用の演算装置で行われる演算の一例を示すフロー図である。 標識セットの保持部材への取付け方の他の例を示す図で、(a)は側面図、(b)は上面図である。 標識セットに対する作用部の座標について説明するための図で、(a)は側面図、(b)は上面図である。 (a)、(b)は、標識セットに対する作用部の座標の求め方の一例を示す図である。 補助具の他の例を示す図である。 補助具のさらに他の例を示す図で、(a)は側面図、(b)は上面図である。 補助具のさらに他の例を示す図で、(a)は側面図、(b)は上面図である。 補助具のさらに他の例を示す図である。
図1は、本発明に係る位置計測システムの一実施例を示す図である。本実施例では、人の手と前腕を例にとって説明するが、これに限定されず、例えば人の足と下腿あるいはロボットの手と腕(アーム)、機械や工具の操作部とそれを支える支持部などでもよい。図1には、作用部10を有する人の手(第1領域)1および手1に続く前腕(第2領域)2を含む上肢(物体)4を示す。前腕2に続く上腕3も上肢4に含まれる。本実施例は、図示のように、前腕2に取り付けられる位置関係の分かっている3つ以上の基本標識を有する標識セット5と、標識セット5を撮像する2次元撮像素子を有する撮像装置6と、標識セット5に対する作用部10の座標を記録する記録装置7と、撮像装置6で撮像した標識セット5の画像に基づいて求めた標識セット5の位置および角度と記録装置7に記録された標識セット5に対する作用部10の座標とを用いて作用部10の3次元位置を演算する演算装置8とを備える。標識セット5の構成例については後述する。標識セット5は、例えば前腕2に対して着脱可能なベルトなどの保持部材9に取り付けられるが、これに限定されない。演算装置8としては、例えばパーソナルコンピュータ(PC)を用いることができるが、これに限定されない。記録装置7は演算装置8と別に設けることもできるが、PC内に一緒に含めることもできる。演算装置8には、その演算結果などを表示する表示装置11を接続することができる。
図1において、作用部10は、例えば手1で物品を把持したときの把持位置であるが、これに限定されず、把持位置に関連付けられる他の位置でもよい。標識セット5の前腕2への取り付け位置は特に限定されないが、前腕2の長手方向中心部よりも上腕3側に取り付けるのが好ましい。これは手1が前腕2の長手方向軸のまわりに回転したとき、その回転動作を前腕2に取り付けられた標識セット5に伝わりにくくするためである。また、標識セット5は、前腕2のとう骨18側の上に設置することが望ましい。これは、手の回転動作に依存せずに、標識セット5を撮像装置6の撮像範囲内に保ち易くするためである。このように本実施例では、撮像装置6により標識セット5を撮像し、その画像に基づいて標識セット5の位置および角度を求め、この値と記録装置7に記録された標識セット5に対する作用部10の座標とを用いて作用部10の3次元位置を計測することができる。仮に、作用部10の位置を計測するのに、手1の甲に標識セット5を取付けた場合、手1が回転すると標識セット5も同様に回転するため、標識セット5は撮像装置6の撮像範囲外となり易いが、前腕2に標識セット5を取付けた場合、手1が回転しても標識セット5の回転の程度は前者に比べて小さいため、標識セット5を撮像装置6の撮像範囲内に保つことができる。また、手1の甲に標識セット5を取付けた場合、手作業中に手1が物陰に隠れると標識セット5は撮像装置6の撮像範囲外となるが、前腕2に標識セット5を取付けた場合、手1が物陰に隠れても前腕2は隠れないため標識セット5を撮像装置6の撮像範囲内に保つことができる。
図2は標識セット用の保持部材の前腕への取付け方の一例を示す図で、(a)前腕長手方向の要部断面図、(b)は前腕横方向の要部断面図である。本例では、前腕2を覆う衣服13側に磁石14を取り付け、標識セット5を取り付けた保持部材9側に磁石15を取り付ける。衣服13に保持部材9を近づけると磁石14と磁石15が互いに引き寄せられ、これにより前腕2と標識セット5との位置合わせができる。この場合、磁石14,15の一方は、鉄などの強磁性体とすることもできる。保持部材9は、前腕2に対して着脱可能に固定することができるように、例えば面ファスナーを両端に備えた帯(ベルト)やゴムなど伸縮自在の輪状部材を用いることができる。標識セット5の保持部材9への取付けは、特に限定されないが、例えば接着剤、磁石、ネジ、嵌合構造、面ファスナーなどを用いて行うことができる。
図3は、標識セットの構成例とそれを撮像する撮像装置の一例を示す図である。図示のように、標識セット5は、例えばカード等の基板53、および基板53の四隅に取り付けられた位置関係の分かっている4つの基本標識a1,a2,a3,a4を有する。基本標識としては、LED等の光源を用いることができるが、これに限定されない。例えば光源の代わりに再帰反射板を用い、その再帰反射板を照明するための照明装置を備えるようにしてもよいし、また特有の形状を持つパターン画像を用いてもよい。撮像装置6は、標識セット5を撮像する2次元撮像素子61を有するものであり、例えば汎用のディジタルカメラを用いることができる。撮像装置6で撮像した標識セット5の画像から標識セット5の位置や角度が演算装置8により演算される。以下、演算装置8における演算の一例を説明する。
図4は、3つ以上の基本標識を有する標識セットの3次元位置の演算方法の一例を示す図である。以下、基本標識をLED等で構成された光源として説明する。本例では、4つの光源を例えば正方形の角に配置し、そのうちの3つの光源の組み合わせを2つ考える。そして、各々の3点を用いて、以下の計算から2つの解を導出する。その2つの解の内一つは光源位置が全く同じ値を示すので、それを正解とする。これにより、標識セットの位置と角度を決定することができる。
まず、図4において、光源(基本標識)a1,a2,a3の画像面(カメラの2次元撮像素子面)62上の画像位置c1,c2,c3とカメラの光学中心63との関係から、カメラ座標系における光源位置の方向ベクトルdi(i=1,2,3)を算出する。diは規格化した単位ベクトルとする。
光源a1,a2,a3の空間の位置ベクトルをp1,p2,p3とすると、これらはdiの延長線上に存在するので、その係数をt1,t2,t3として、
p1=t1・d1
p2=t2・d2 式1
p3=t3・d3
で表すことができる。
三角形の形状は最初からわかっており、その長さを各々
p1p2=L1
p2p3=L2 式2
p3p1=L3
とすると次式が得られる。式中「^」は累乗を表す。
(t1x1-t2x2)^2+(t1y1-t2y2)^2+(t1z1-t2z2)^2=L1^2
(t2x2-t3x3)^2+(t2y2-t3y3)^2+(t2z2-t3z3)^2=L2^2 式3
(t3x3-t1x1)^2+(t3y3-t1y1)^2+(t3z3-t1z1)^2=L3^2
整理すると
t1^2-2t1t2(x1x2+y1y2+z1z2)+t2^2-L1^2=0
t2^2-2t2t3(x2x3+y2y3+z2z3)+t3^2-L2^2=0 式4
t3^2-2t3t1(x3x1+y3y1+z3z1)+t1^2-L3^2=0
が得られ、次式となる。式中「sqrt」は平方根を表す。
t1=A1・t2±sqrt((A1^2-1)・t2^2+L1^2)
t2=A2・t3±sqrt((A2^2-1)・t3^2+L2^2) 式5
t3=A3・t1±sqrt((A3^2-1)・t1^2+L3^2)
ここで、A1,A2,A3は次式のとおりである。
A1=x1x2+y1y2+z1z2
A2=x2x3+y2y3+z2z3 式6
A3=x3x1+y3y1+z3z1
実数解を持つために、式5の平方根の中が正になる。
t1≦ sqrt(L3^2/(1-A3^2))
t2≦ sqrt(L1^2/(1-A1^2)) 式7
t3≦ sqrt(L2^2/(1-A2^2))
この条件を満たす実数t1、t2、t3を順次、式5に代入し、式5が成立するすべてのt1,t2,t3を算出する。次に上記の式1からp1,p2,p3を、すなわち、光源(基本標識)の3次元位置を算出する。光源が3つの場合には2つの解ができるが、本例の場合は光源が4つあるので、他の3つの光源(基本標識)、例えばa1,a3,a4について上記と同様の計算を行い別の2つの解を導出する。その2つの解の内一つは光源位置が全く同じ値を示すので、それを正解とする。このようにして標識セットの位置を決定することができる。光源が3つの場合は例えば2つの解の平均値あるいは既知の初期値に近い方を求める値とすることができる。標識セットの角度は上記で求めた3次元位置から標識セットの向く方向として求めることができる。一方、記録装置7には、標識セット5に対する作用部10の3次元座標(X1,Y1,Z1)(オフセット座標)が記録されている。演算装置8は、この標識セット5に対する作用部10の3次元座標(X1,Y1,Z1)と上記で算出した標識セット5の3次元位置および角度とを用いて作用部10の3次元位置を演算する。標識セット5に対する作用部10の座標(X1,Y1,Z1)の求め方については後述する。なお、基本標識(光源)の3次元位置の算出方法は上記に限定されず、別の方法で行ってもよい。
図5は、位置計測用演算装置としてパーソナルコンピュータ(PC)を用いた場合の一例を示すブロック図である。位置計測用演算装置8は、本例ではPC80として構成され、撮像装置6の2次元撮像素子61で撮像した標識セット5の画像を入力する入力部81と、入力した画像に基づいて標識セット5の3次元位置および角度の少なくとも一方を演算する演算部(CPU)82と、演算した標識セット5の3次元位置および角度の少なくとも一方を例えばモニタ等の表示装置11に出力する出力部83とを備える。PC80には記録装置7が接続され、両者間で情報の授受が行われる。記録装置7は、標識セット5に対する作用部10の座標(X1,Y1,Z1)を記録するものであるが、それ以外にPC80で実行されるプログラムやそこで用いられる各種情報を格納することもできる。また、記録装置7は、本例ではPC80の外部に接続した装置として構成されているが、PC80の内部装置(メモリ)として構成することもできる。
図6は、位置計測用の演算装置で行われる演算の一例を示すフロー図である。本例の演算は、上述の図4の説明にしたがって行われる。まずステップ41にて、撮像装置で撮像した標識セット5の画像情報を入力する。ステップ42にて、標識セット5の画像情報に基づいて各基本標識の3次元位置を算出する。ステップ43にて、各基本標識の3次元位置から標識セット5の位置および角度を算出する。ステップ44にて、標識セット5の位置および角度と標識セット5に対する作用部10の座標とを用いて作用部10の3次元位置を演算する。
図7は標識セットの保持部材への取付け方の他の例を示す図で、(a)は側面図、(b)は上面図である。本例では、標識セット5が手1の方向に張り出した支持部材12を介して保持部材9に取り付けられる。これにより、撮像装置6から標識セット5を見た際に、頭や帽子によって標識セット5に配置された基準標識が遮られないようにすることができる。
図8は標識セットに対する作用部の座標について説明するための図で、(a)は側面図、(b)は上面図である。上述のように作用部10は、例えば手1で物品を把持したときの把持位置である。以下、標識セット5に対する作用部(把持位置)10の算出方法について説明する。上述のように、撮像装置(カメラ)6によって標識セット5の位置および角度を求めることができる。標識セット5の基準点の座標だけでなく、標識セット5の四隅の座標も計算できる。また、標識セット5が特定方向に伸びたときの先端の位置も計算できる。このように標識セット5から見た座標系を「標識セット座標系」と呼ぶことにする。これと区別するためにカメラから見た座標を「カメラ座標系」と呼ぶことにする。ここで、標識セット5を前腕2の上腕側付け根に設置し、作用部10を標識セット座標系における座標(X1,Y1,Z1)として求める。この場合、図8に示すように、前腕2の上腕側付け根に設置してある標識セット5に対する、手の平にある作用部10の3次元X,Y,Z方向への変位を定規などによって計測することは困難かつ不正確である。そこで、標識セットに対する作用部の座標を計算で求める方法について以下説明する。
図9(a)、(b)は、標識セットに対する作用部の座標の求め方の一例を示す図である。本例では、カメラ座標系上で固定され、かつ座標が分かっている把持位置指定冶具(以下「補助具」という)21を掴むことによって、標識セット5と補助具21の相対位置を知るものである。この相対位置を標識セット座標系から見て計算した値が上述した3次元座標(X1,Y1,Z1)となる。本例の補助具21は、マウスのように掴む形状であるが、これに限定されない。補助具21の位置を知るためには、図9(a)に示すように、すでに決まっている位置へ補助具21を設置することができる。この場合、標識セットに対する作用部の座標は、既知の位置にある補助具21の位置に作用部10を配置したときの撮像装置で撮像した標識セットの画像に基づいて求めた標識セットの3次元位置および角度を用いて計算する。あるいは、図9(b)に示すように、補助具21に別の標識セット19を取り付けて補助具21の位置を計測する。この場合、位置関係の分かっている3つ以上の基本標識を有する標識セットを取り付けた補助具21の位置に作用部10を配置したときの撮像装置で撮像した前腕2に取り付けられた標識セット5の画像と、撮像装置で撮像した補助具21に取り付けられた標識セット19の画像とに基づいて求めた両標識セットの3次元位置および角度を用いて計算する。
補助具21の目的は、自由に動く手(指や手首)を補助具に配置することによって、標識セットからのオフセット量をより正確に読み取ることである。そのため、補助具について様々な形態が考えられる。図10は補助具の他の例を示す図である。本例は、棒形の補助具27の長手方向の途中に色または模様をつけた把持部28を設けたものである。この把持部28を既知の位置とした場合、把持部28を手1で握ることにより作用部10を既知の位置に配置することができる。また、把持部28を既知の位置としない場合、把持部28に図9(b)に示す標識セット19を取り付け、撮像装置6を用いて把持部28の位置を計測することができる。以上により、図9の場合と同様に、標識セットに対する作用部の座標を計算することができる。把持位置(作用部)の計算開始は、補助具に取り付けたスイッチ、または、把持位置計算を行わない方の手か足によるスイッチによって行い、規定計測数(100個位の平均を求めるため)を取得するために約2秒以内に終了し、終了したことの提示は、画面表示または音(音声を含む)または補助具の振動、によって行う。なお、前記スイッチは配線を伴っても構わないし、無線(無線マウスを含む)であっても構わない。
図11は補助具のさらに他の例を示す図で、(a)は側面図、(b)は上面図である。本例の補助具22は、拳銃のように握る形状であるが、これに限定されない。補助具22が拳銃のような形状の場合、引き金23の位置は小さな部品を把持するとき(作用部16)、握り部24の位置は大きな部品を把持するとき(作用部17)の位置と考えることができる。この場合も上述と同様な方法で、標識セット5に対する作用部16,17の座標を計算することができる。
図12は補助具のさらに他の例を示す図で、(a)は側面図、(b)は上面図である。本例の補助具25は、ある幅を持った仕切り板を上下左右に配置したものである。仕切り板で囲まれた空間に手(指)を入れることによって、把持位置がある範囲内に限定される。したがって、仕切り板で囲まれた空間の特定位置を把持位置(作用部26)として指定することにより、上述と同様な方法で、標識セットから把持位置までの座標(X1,Y1,Z1)を計算することができる。なお、把持位置(作用部)は実際に物を把持する位置である必要はなく、指や手首の自由度の高い動きに左右されずに手の平近傍のある程度一定の位置を求めることが目的であるので、補助具(仕切り板)25の内側であっても外側であってもよい。また、補助具25は仕切り板ではなく筒状体であってもよい。
図13は補助具のさらに他の例を示す図である。本例の補助具30は、図示のように補助具本体31から板または棒状の部材32を伸ばし、その先に標識セット33を固定する。標識セット33の3次元位置は、図示の作用部(把持位置)34の位置となるように、予め補正値(オフセット値)を設定しておく。標識セット5の3次元位置は、当初は補正値を含まずに標識セット5そのものの位置である。ここで図示のように、補助具本体31を、標識セット33とは反対方向から手の平でつかむことで、標識セット5に補正値を与え作用部34の位置を算出する。なお、標識セット33は、撮像装置(カメラ)から見て手1で隠れないようにするため、作用部34から約10cm以上は離して固定しておくことが好ましい。
次に、把持位置(作用部)の補正について説明する。本例において、標識セット5は前腕2に取り付けて作業を行うものなので、作業中に当初記録した標識セット5に対する作用部10の3次元座標(オフセット座標)から作用部10の位置がずれる可能性がある。これを補正するために、作業の開始時または途中において上述の作用部10の座標を求める計算を再度行い、この新たな3次元座標(X1,Y1,Z1)を用いて作用部10の位置を演算することが望ましい。この場合、標識セット5に対する作用部10の座標を求める計算が、予め決められた時点で実行され、これにより求めた値が標識セット5に対する作用部10の座標として記録装置7に記録される。また、一定時間を経過するか、または作業の区切りのときに、このような補正を行うように指示する表示器を備えることが望ましい。すなわち、この表示器は、標識セット5に対する作用部10の座標を求める計算を、予め決められた時点で実行するための指示を表示する。この場合の指示は、光や音などを発する専用の表示器を設けて実施してもよいが、これに代えて上述のモニタ等の表示装置11に文字や図形等で表示し、またはPCから指示用の音を出すようにしてもよい。なお、標識セットに対する作用部の座標(オフセット座標)の計算は、補助具にスイッチなどの指示器を付加しておき、その指示器が操作された時か、あるいは、補助具に手が近づいた上で標識セットの移動量が特定値以下に減少したことが撮像装置6を介して標識セット5の位置から読み取られた時に開始するようにすることができる。
上述の作用部の位置の演算は、コンピュータに次のプログラムを実行させることで実施することができる。すなわち、このプログラムは、コンピュータに、作用部を有する第1領域および前記第1領域に続く第2領域を含む物体の前記第2領域に取り付けられる位置関係の分かっている3つ以上の基本標識を有する標識セットを2次元撮像素子を有する撮像装置で撮像した画像に基づいて前記標識セットの位置および角度を求める手順、記録装置に記録されている前記標識セットに対する前記作用部の座標を読み出す手順、前記求めた前記標識セットの位置および角度と前記読み出した前記標識セットに対する前記作用部の座標とを用いて前記作用部の3次元位置を演算する手順を実行させるものである。上記の例では、プログラムをPCの外部の記録装置に格納した実施形態として説明したが、このプログラムはPCの内部メモリに格納することもできるし、また通信手段によってネットワークを介して提供することもできる。
1 手(第1領域)
2 前腕(第2領域)
3 上腕
4 上肢
5 標識セット
6 撮像装置
7 記録装置
8 演算装置
9 保持部材
10 作用部
11 表示装置
12 支持部材
13 衣服
14、15 磁石
18 とう骨
21、22、25、27 補助具

Claims (9)

  1. 作用部を有する第1領域および前記第1領域に続く第2領域を含む物体の前記第2領域に取り付けられる位置関係の分かっている3つ以上の基本標識を有する標識セットと、前記標識セットを撮像する2次元撮像素子を有する撮像装置と、前記標識セットに対する前記作用部の座標を記録する記録装置と、前記撮像装置で撮像した前記標識セットの画像に基づいて求めた前記標識セットの位置および角度と前記記録装置に記録された前記標識セットに対する前記作用部の座標とを用いて前記作用部の3次元位置を演算する演算装置とを備え
    前記標識セットに対する前記作用部の座標が、
    既知の位置にある補助具の位置に前記作用部を配置したときの前記撮像装置で撮像した前記標識セットの画像に基づいて求めた前記標識セットの位置および角度を用いて計算され、または
    位置関係の分かっている3つ以上の基本標識を有する標識セットを取り付けた補助具の位置に前記作用部を配置したときの前記撮像装置で撮像した前記第2領域に取り付けられた標識セットの画像と、前記撮像装置で撮像した前記補助具に取り付けられた標識セットの画像とに基づいて求めた前記両標識セットの位置および角度を用いて計算される位置計測システム。
  2. 前記標識セットが、前記第2領域に対して着脱可能な保持部材に取り付けられる請求項1記載の位置計測システム。
  3. 前記標識セットが、前記第1領域の方向に張り出した支持部材を介して前記保持部材に取り付けられる請求項2記載の位置計測システム。
  4. 前記第1領域が人の手であり、前記第2領域が人の前腕である請求項1〜3のいずれかに記載の位置計測システム。
  5. 前記標識セットに対する前記作用部の座標を求める計算が、予め決められた時点で実行され、これにより求めた値が前記標識セットに対する前記作用部の座標として前記記録装置に記録される請求項1〜4のいずれかに記載の位置計測システム。
  6. 前記標識セットに対する前記作用部の座標を求める計算を、予め決められた時点で実行するための指示を表示する表示器を備えた請求項1〜4のいずれかに記載の位置計測システム。
  7. 前記補助具が、前記標識セットに対する前記作用部の座標の計算の実行開始を指示する指示器を有する請求項1〜6のいずれかに記載の位置計測システム。
  8. 作用部を有する第1領域および前記第1領域に続く第2領域を含む物体の前記第2領域に取り付けられる位置関係の分かっている3つ以上の基本標識を有する標識セットを2次元撮像素子を有する撮像装置で撮像した画像に基づいて求めた前記標識セットの位置および角度と、記録装置から読み出した前記標識セットに対する前記作用部の座標とを用いて前記作用部の3次元位置を演算する位置計測用演算装置であって、
    前記標識セットに対する前記作用部の座標が、
    既知の位置にある補助具の位置に前記作用部を配置したときの前記撮像装置で撮像した前記標識セットの画像に基づいて求めた前記標識セットの位置および角度を用いて計算され、または
    位置関係の分かっている3つ以上の基本標識を有する標識セットを取り付けた補助具の位置に前記作用部を配置したときの前記撮像装置で撮像した前記第2領域に取り付けられた標識セットの画像と、前記撮像装置で撮像した前記補助具に取り付けられた標識セットの画像とに基づいて求めた前記両標識セットの位置および角度を用いて計算される位置計測用演算装置。
  9. コンピュータに、作用部を有する第1領域および前記第1領域に続く第2領域を含む物体の前記第2領域に取り付けられる位置関係の分かっている3つ以上の基本標識を有する標識セットを2次元撮像素子を有する撮像装置で撮像した画像に基づいて前記標識セットの位置および角度を求める手順、記録装置に記録されている前記標識セットに対する前記作用部の座標を読み出す手順、前記求めた前記標識セットの位置および角度と前記読み出した前記標識セットに対する前記作用部の座標とを用いて前記作用部の3次元位置を演算する手順を実行させるプログラムであって、
    前記標識セットに対する前記作用部の座標が、
    既知の位置にある補助具の位置に前記作用部を配置したときの前記撮像装置で撮像した前記標識セットの画像に基づいて求めた前記標識セットの位置および角度を用いて計算され、または
    位置関係の分かっている3つ以上の基本標識を有する標識セットを取り付けた補助具の位置に前記作用部を配置したときの前記撮像装置で撮像した前記第2領域に取り付けられた標識セットの画像と、前記撮像装置で撮像した前記補助具に取り付けられた標識セットの画像とに基づいて求めた前記両標識セットの位置および角度を用いて計算されるプログラム。
JP2009150364A 2009-06-24 2009-06-24 位置計測システム、位置計測用演算装置およびプログラム Expired - Fee Related JP5540583B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009150364A JP5540583B2 (ja) 2009-06-24 2009-06-24 位置計測システム、位置計測用演算装置およびプログラム
US12/619,555 US8928749B2 (en) 2009-06-24 2009-11-16 Position measuring system, processing device for position measurement, processing method for position measurement, and computer readable medium
CN2010100028051A CN101929839A (zh) 2009-06-24 2010-01-08 位置测量系统、用于位置测量的处理装置和处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009150364A JP5540583B2 (ja) 2009-06-24 2009-06-24 位置計測システム、位置計測用演算装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2011007578A JP2011007578A (ja) 2011-01-13
JP5540583B2 true JP5540583B2 (ja) 2014-07-02

Family

ID=43369151

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009150364A Expired - Fee Related JP5540583B2 (ja) 2009-06-24 2009-06-24 位置計測システム、位置計測用演算装置およびプログラム

Country Status (3)

Country Link
US (1) US8928749B2 (ja)
JP (1) JP5540583B2 (ja)
CN (1) CN101929839A (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508495B (zh) * 2011-09-28 2014-09-10 三一重工股份有限公司 一种控制执行臂末端运动的方法及控制系统
US9530057B2 (en) * 2013-11-26 2016-12-27 Honeywell International Inc. Maintenance assistant system
US10223798B2 (en) * 2016-05-27 2019-03-05 Intellijoint Surgical Inc. Systems and methods for tracker characterization and verification
JP7127592B2 (ja) 2019-03-27 2022-08-30 オムロン株式会社 報知システム
CN112504137B (zh) * 2020-12-07 2022-07-26 北京智博联科技股份有限公司 基于云计算的多目标数字图像检测方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01180401A (ja) * 1988-01-11 1989-07-18 Komatsu Ltd 視覚センサ付ロボットの物体認識位置の補正方法
JPH0628018A (ja) 1992-07-06 1994-02-04 Fujitsu Ltd 作業位置補正方法
US5826578A (en) * 1994-05-26 1998-10-27 Curchod; Donald B. Motion measurement apparatus
EP0929267B1 (en) 1997-07-03 2008-09-10 Koninklijke Philips Electronics N.V. Image-guided surgery system
JP2000131017A (ja) * 1998-10-23 2000-05-12 Sony Corp 自己位置提示物体、その位置認識装置及びその位置認識方法
US6973202B2 (en) 1998-10-23 2005-12-06 Varian Medical Systems Technologies, Inc. Single-camera tracking of an object
JP4794708B2 (ja) * 1999-02-04 2011-10-19 オリンパス株式会社 3次元位置姿勢センシング装置
JP3668663B2 (ja) 2000-02-21 2005-07-06 日本電信電話株式会社 仮想空間における動作入力方法および装置およびその動作入力プログラムを記録した記録媒体
JP3772063B2 (ja) * 2000-02-28 2006-05-10 オリンパス株式会社 位置検出装置、及び、位置検出システム
JP2003035515A (ja) * 2001-07-23 2003-02-07 Nippon Telegr & Teleph Corp <Ntt> 三次元位置検出方法,装置および三次元位置検出用のマーカ
JP2004264060A (ja) * 2003-02-14 2004-09-24 Akebono Brake Ind Co Ltd 姿勢の検出装置における誤差補正方法及びそれを利用した動作計測装置
JP4290462B2 (ja) * 2003-04-16 2009-07-08 Sriスポーツ株式会社 ゴルフスウィングの診断システム
JPWO2004094943A1 (ja) * 2003-04-22 2006-07-13 博 有澤 モーションキャプチャ方法、モーションキャプチャ装置、及びモーションキャプチャ用マーカ
JP2006250918A (ja) 2005-03-07 2006-09-21 Wise Media Technology Inc 位置情報を持つ複数idのグループ化方法および動線の予測もしくは補間を行う動線管理システム
JP2007061121A (ja) 2005-08-29 2007-03-15 Univ Kansai 身体の動作解析方法、システムおよびプログラム
JP4918830B2 (ja) 2006-08-31 2012-04-18 富士ゼロックス株式会社 位置計測システム
US7637821B2 (en) 2007-09-24 2009-12-29 Johnson Lanny L Visual and tactile confirmation golf grip and system

Also Published As

Publication number Publication date
CN101929839A (zh) 2010-12-29
JP2011007578A (ja) 2011-01-13
US20100328451A1 (en) 2010-12-30
US8928749B2 (en) 2015-01-06

Similar Documents

Publication Publication Date Title
CN109791435B (zh) 虚拟现实或增强现实显示系统中磁传感器和光学传感器的校准
JP5540583B2 (ja) 位置計測システム、位置計測用演算装置およびプログラム
JP5897624B2 (ja) ワークの取出工程をシミュレーションするロボットシミュレーション装置
JP4465476B2 (ja) 磁気式位置姿勢センサを用いた手指用モーションキャプチャ計測方法
JP6092530B2 (ja) 画像処理装置、画像処理方法
CN104897091A (zh) 关节臂坐标测量机
JP2011110621A (ja) ロボットの教示データを作成する方法およびロボット教示システム
JP2014068714A (ja) 関節角度測定システム
WO2011065034A1 (ja) ロボットの動作を制御する方法およびロボットシステム
EP2418562B1 (en) Modelling of hand and arm position and orientation
CN105278673A (zh) 用于辅助操作者测量物体的部分的方法
JP2016514984A (ja) 3次元の画像形成を行うための方法及びシステム
JP2018144144A (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
JP2005038303A5 (ja)
CN104679229A (zh) 一种手势识别方法和装置
CN108780614A (zh) 运动跟踪和仿真装置和方法
Koeda et al. Development of wireless surgical knife attachment with proximity indicators using ArUco marker
JP2002000584A (ja) 関節可動域検査訓練システム
JP2009258884A (ja) ユーザインタフェイス
CN100523727C (zh) 戒指式视频测量手指定位系统及定位方法
CN116610211A (zh) 基于磁敏传感器的指态感知手套
JP2002032784A (ja) 仮想対象物操作装置および仮想対象物操作方法
JPWO2016151667A1 (ja) ティーチング装置及び制御情報の生成方法
CN109692002B (zh) 一种基于背景的手持式三维激光扫描仪快速扫描人手方法
JP2014117409A (ja) 身体関節位置の計測方法および装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120518

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140408

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140421

R150 Certificate of patent or registration of utility model

Ref document number: 5540583

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees