JPH04370704A - 物体の位置、角度等の固有情報の検出方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、例えばロボットハン
ド又は自動機械等により無作為に置かれた物体の位置及
び角度、その他物体固有の情報（品名、材質、大きさ（
形）、固さ、用途等）を得て、物体を種別毎に選別し、
又は同一種類の物体を検出して重ねたり、あるいは特定
の場所に整列させる所謂ハンドリング処理に応用して実
施される検出方法に関する。

【０００２】

【従来の技術】従来、物体の情報を読みとる方法、装置
としては、次のものが知られている。 （１）バーコードを貼付してこれを読み取る方式。 （２）画像処理装置で物体の辺や頂点等をエッジ処理し
、同物体の位置や角度を検出する方法。 （３）３個の輝点をＴＶカメラで撮影し、これを画像処
理しコンピュ−タで演算すると共に光波距離計を使用し
て測距し、物体の位置及び姿勢を検出する方法（特開昭
６２−２９３１１５号公報参照）。 （４）４個の光点を円筒体の一端面に配置し、同円筒の
他端面の中心にも１個の光点を配置したものをターゲッ
トとして物体に取付け、前記のターゲットをＴＶカメラ
で撮影し画像処理すると共にコンピュータで演算して同
物体の姿勢を検知する方法。（実開昭５９−１７９３１
８号公報参照）。

【０００３】

【本発明が解決しようとする課題】上記した（１）のバ
ーコードを読み取る方式は、せいぜい物体の品名、価格
等の固有情報が得られるだけで、情報量が少なく、同物
体の位置や角度の情報まで得ることはできない。上記（
２）の方法では、物体の全体が画像の視野に入ることが
必要であり、そのような条件を整えることが難しい。 また、画像情報量も多いので処理に時間がかかるという
問題がある。

【０００４】上記（３）の方法では、物体の距離情報を
得るための装置（例えば光波距離計等）が必要である。 また、位置、姿勢以外の情報を得ることはできないから
、情報量が不足する。上記（４）の方法は、物体の姿勢
と２次元の位置の検出だけはできるが、それ以上の固有
情報を得ることはできないので、情報量が不足する。

【０００５】従って、この発明の目的は、無作為に置か
れた物体の位置、角度（傾き）、その他の物体の多数の
情報（品名、材質、大きさ、形状、固さ等）を、最低４
個のマークから成るターゲット物体で表示し、このター
ゲット部をテレビカメラで撮影した画像の処理とコンピ
ュータによる演算とで検出し、ロボットハンドや自動機
械等で前記物体を移動させ又は整列などさせるハンドリ
ング処理を行なうための情報を与えられる、物体の位置
、角度等の固有情報の検出方法を提供することである。

【０００６】

【課題を解決するための手段】上記の目的を達成する手
段として、この発明に係る物体の位置、角度等の固有情
報の検出方法は、図面に実施例を示しているとおり、正
三角形又は二等辺三角形の各頂点に位置せしめた３個の
検出用マーク２ａ、２ｂ、２ｃと、その近傍位置に設け
た少なくとも１個の基準点識別用マーク２ｄとから成る
ターゲット部２を物体１に表示すること、前記物体１の
ターゲット部２をテレビカメラ３で撮影し、前記テレビ
カメラ３の映像は処理装置４で画像処理すること、前記
処理装置４で得た画像処理データに基づくコンピュータ
５の演算処理によって物体１の位置、角度、その他の固
有の情報を得ること、をそれぞれ特徴とする。

【０００７】

【作用】テレビカメラ３は物体１の移動経路上に視準線
を持つ配置とし、各物体１に付された３個の検出マーク
２ａ、２ｂ、２ｃ及び少なくとも１個の基準点識別用マ
ーク２ｄから成るターゲット部２を順に撮影する。前記
のテレビカメラ３で撮影した３個の検出マーク２ａ、２
ｂ、２ｃ及び１個の基準点識別用マーク２ｄから成るタ
ーゲット部２の映像は、処理装置４で画像処理し、三角
形の頂点の各検出マーク２ａ、２ｂ、２ｃ及び１個の基
準点識別用マーク２ｄの投影座標を得る。

【０００８】物体１の角度には、ヨーイング角（平面内
の回転角）、ピッチング角（前後の傾き角）、ローリン
グ角（左右の傾き角）があり、それぞれの状態に応じて
、撮影された３個の検出マーク２ａ、２ｂ、２ｃと基準
点識別用マーク２ｄとの位置関係は変化する。前記ヨー
イング角、ピッチング角、ローリング角の３要素が複合
して生じている実際の場合は、前記３個のマーク２ａ〜
２ｃと基準点識別用マーク２ｄとの相互位置関係に基づ
いて、コンピュータ５が演算して各要素の角度が求めら
れる。

【０００９】テレビカメラ３の画像面と平行なＸ、Ｙ平
面のカメラ視準軸ｇからの位置の検出は、基準点識別用
マーク２ｄとの関係で特定された１個の検出マーク２ａ
について計算式で計算される。即ち、１個の検出用マー
ク２ａの上下左右の変化量をＸ、Ｙ座標によって求める
ことにより検出される。テレビカメラ３から特定の検出
用マーク２ａまでの距離Ｌは、テレビカメラ３のレンズ
の画角が一定であるかぎり、画像上の三角形の一辺の長
さの関数として得られる。これは一度テレビカメラ３の
レンズを固定した状態で検定を行なっておけば、実際の
距離が得られるからである。

【００１０】物体１の固有情報は、少なくとも１個付さ
れた基準点識別用マーク２ｄから前記特定の１個の検出
用マーク２ａまでの距離Ｓ、又はこれら二つのマーク２
ａと２ｄがなす角度ｂ、あるいは前記Ｓとｂの複合とし
て画像処理装置４で画像処理した値を用いて得られる。 この固有情報は、基準点識別用マーク２ｄが１個であっ
ても、画像処理装置４の分解能力の範囲で判別できるか
ぎり、かなりの情報量を検出できる。基準点識別用マー
ク２ｄの個数を必要に応じて増やせば、実用上問題無い
範囲で一層たくさんの固有情報を検出できる。

【００１１】

【実施例】次に、図示した本発明の実施例を説明する。 図１は、この発明に係る検出方法の全体構成の概念図を
示している。図中１は矢印Ｋ方向に移動する物体である
。図中２は前記物体１に設けた最低４個のマークから成
るターゲット部、３は物体１の移動経路上に視準線をも
つように設置されたテレビカメラ、４は画像処理装置、
５はコンピュータである。

【００１２】ターゲット部２は、図２Ａに示したような
正三角形（又は図示を省略した二等辺三角形でも可）の
各頂点に位置せしめた３個の検出用マーク２ａ、２ｂ、
２ｃと、その近傍位置に設けた１個の基準点識別用マー
ク２ｄとで構成されている。基準点識別用マーク２ｄは
、３点の検出用マーク２ａ、２ｂ、２ｃにおける特定の
１個のマーク２ａとの関係を決定するため、及び同物体
１の固有情報（例えば品名、大きさ、材質、固さ等）を
示すために設けられている。これら４個のマーク２ａ、
２ｂ、２ｃ、２ｄから成るターゲット部２は、物体１の
表面に印刷物として貼り付けたり、又はペイントする等
の方法により設けられる。

【００１３】図２Ａ、Ｂは上記ターゲット部２を構成す
る４個のマーク２ａ〜２ｄの配置態様の例を示している
。図２Ａは、正三角形の頂点を表わす３個の検出用マー
ク２ａ、２ｂ、２ｃの内、特定の１個の検出用マーク２
ａと基準点識別用マーク２ｄとが距離Ｓだけ離して物体
１の中心線ａ上に並設されている場合を示している。 図２Ｂは、特定の１個の検出用マーク２ａと基準点識別
用マーク２ｄとは距離Ｓだけ離すと共に物体１の中心線
ａ上の検出用マーク２ａの位置に対し基準点識別用マー
ク２ｄが角度ｂだけ横方向へ偏位して設けられた場合を
示している。つまり、前記距離Ｓの大小及び、角度ｂの
大小並びに両者の組合わせの如何により、物体１につい
てたくさんの固有情報を作れるという訳である。

【００１４】図３は物体１の角度要素について示してい
る。物体１には、図中に矢印で示したような前後の傾き
ｃ⌒ｃ’（ピッチング角）と、左右の傾きｄ⌒ｄ’（ロ
ーリング角、及び平面内の回転ｅ⌒ｅ’（ヨーイング角
）が生ずる。テレビカメラ３は、上記した３個の検出用
マーク２ａ、２ｂ、２ｃの様々な位置変化を撮影し、こ
のテレビカメラ３がとらえた３個の検出用マーク２ａ、
２ｂ、２ｃの位置映像は図４Ａ、Ｂに示した画像処理装
置４へ送る。この処理装置４で画像処理した前記３個の
検出用マーク２ａ、２ｂ、２ｃの画像処理データ（座標
位置）はコンピュータ５へ出力される。前記テレビカメ
ラ３により撮影したターゲット部２の画像は、処理装置
４の画像処理画面において、当該テレビカメラ３との位
置の遠近によって図４Ａ、Ｂに示したように小さく又は
大きく検出され、カメラ３までの距離に換算される。

【００１５】（演算処理方法について）図５において、
Ｐ１　、Ｐ２　、Ｐ３　は空間上に正三角形に配置され
た３個の検出用マーク（前記２ａ〜２ｃに相当するもの
）であり、Ｐ１′、Ｐ２′、Ｐ３′はＸ−Ｙ平面上に投
影された前記３個の検出用マークの位置であり、そのＸ
−Ｙ座標は画像処理装置４で得られる。

【００１６】まずＰ１′、Ｐ２′、Ｐ３′の座標値から
Ｐ１　、Ｐ２　、Ｐ３　の座標値を求める。既に述べた
ように、Ｌはテレビカメラ３と特定の検出用マーク２ａ
間の距離、αは水平角、βは垂直角、ＬＬは三角形の一
辺の長さを示す。Ｐ１　（Ｐ１′）を原点とした時のＰ
２（Ｐ２′）、及びＰ３（Ｐ３′）の座標位置関係は、
次の、

【００１７】

【数１】

【００１８】

【数２】

【００１９】

【数３】 で求められる。

【００２０】画像処理装置４で得られたＸ２　、Ｙ２　
及びＸ３　、Ｙ３　に基づいて、Ｚ２　、Ｚ３　が次の
、

【００２１】

【数４】

【００２２】

【数５】 で求められる。ただし、上式におけるα、β、γは、次
の、

【００２３】

【数６】

【００２４】

【数７】

【００２５】

【数８】 により表わされる。次に、画像処理装置４上の正三角形
の一辺の長さＬＬを求める。

【００２６】前記のΔＰ１　Ｐ２　Ｐ３　において、Ｌ
Ｌは次の、

【００２７】

【数９】 で求められる。 （物体の角度の検出について）物体１の角度、姿勢は、
ピッチング角、ローリング角、ヨーイング角から得られ
る。 （１）ピッチング角ＰＰの計算法 図５に示したように、ピッチング角ＰＰは、ΔＰ１　Ｐ
２　Ｐ３　の頂点Ｐ１　と線分Ｐ２　−Ｐ３　の中点Ｍ
′をむすぶ線分Ｐ１　−ＭとＸ−Ｙ平面とがなす角であ
る。

【００２８】線分Ｐ１　−Ｍは次の、

【００２９】

【数１０】 で求められる。線分Ｍ−Ｍ′は次の、

【００３０】

【数１１】 のように計算される。従って、ピッチング角ＰＰは、次
の、

【００３１】

【数１２】 で求められる。 （２）ヨーイング角ＹＹの計算法 図５に示したように、ヨーイング角ＹＹは、ΔＰ１　Ｐ
２　Ｐ３　をＸ−Ｚ平面に投影して出来たΔＰ１　Ｐ２
″Ｐ３″の頂点Ｐ１　と線分Ｐ２″−Ｐ３″の中心Ｍを
むすぶ線分Ｐ１　−ＭがＺ軸となす角である。

【００３２】Ｘ−Ｙ平面上において、Ｐ２″点とＰ３″
点の座標位置は、次の、

【００３３】

【数１３】

【００３４】

【数１４】 で表わされる。従って、Ｍ点とヨーイング角ＹＹは、次
の、

【００３５】

【数１５】

【００３６】

【数１６】 で求められる。 （３）ローリング角ＲＲの計算法 ローリング角ＲＲは、図６に示したように、Ｐ１　を中
心にヨーイング角ＹＹ及びピッチング角ＰＰをそれぞれ
ゼロに戻したときのＰ２　、Ｐ３　の座標より得られる
。Ｘ−Ｙ平面において、Ｐ１　を中心にＰ２　、Ｐ３　
をヨーイング角ＹＹだけ回転させたときの点をＰ２　、
Ｐ３　とし、その座標Ｐ２３′、Ｐ３３′は、次の、

【００３７】

【数１７】

【００３８】

【数１８】 で表わす。すると、Ｘ２′、Ｚ２′、Ｘ３′、Ｚ３′は
、次の、

【００３９】

【数１９】

【００４０】

【数２０】

【００４１】

【数２１】

【００４２】

【数２２】 で表わされる。かくして求めたＰ２　、Ｐ３　を、Ｙ−
Ｚ平面においてピッチング角ＰＰだけ回転

【００４３】させたときのＰ２　、Ｐ３　の座標Ｐ２４
′、Ｐ３４′は、次の、

【００４４】

【数２３】

【００４５】

【数２４】 で表わされる。そうすると、Ｙ２″、Ｚ２″、Ｙ３″、
Ｚ３″は次の、

【００４６】

【数２５】

【００４７】

【数２６】

【００４８】

【数２７】

【００４９】

【数２８】 で表わされる。かくして求めたＰ２　、Ｐ３　は、ヨー
イング角、ピッチング角の成分を含まない点なので、ロ
ーリング角ＲＲは次の、

【００５０】

【数２９】 で求められる。物体１の中心線ａに対する傾き角ｂは、
以上の計算式で得られた値と、テレビカメラ３の視準線
ｇ（図１及び図４に示す）の計画線に対する水平及び垂
直振り角により計算される。 （物体の位置の検出について）ターゲット部２の上下、
左右の移動量は、前記Ｐ１　点のＸ−Ｙ座標によって求
められる。実際のターゲット部２の正三角形の一辺の長
さをＬＬとすると、画像処理装置４上の単位あたりの長
さは、次の、

【００５１】

【数３０】 で求められる。従って、ターゲット部２の変位量Ｘ、Ｙ
は次の、

【００５２】

【数３１】

【００５３】

【数３２】 で求められる。また、テレビカメラ３から特定の検出用
マーク２ａまでの距離Ｌは、カメラの

【００５４】レンズの画角が一定であれば、次の、

【０
０５５】

【数３３】 の如く画像上の三角形の一辺の長さＬＬの関数として得
られる。 （物体の固有情報の検出について）図２Ａ、Ｂに示した
ように、物体１の固有情報は、正三角形の頂点を表わす
３個の検出用マーク２ａ、２ｂ、２ｃの中で特定された
１個のマーク２ａと、少なくとも１個の基準点識別用マ
ーク２ｄとの距離Ｓ、又は角度ｂの大きさ、あるいはこ
れらＳとｂの複合として画像処理した値を用いて判別す
ることができる。例えば、上記両マーク２ａ、２ｄ間の
距離がＳ＝１０ｍｍで、角度がｂ＝５゜の場合は、「一
辺３ｍの立方体で材質はプラスチックである」と言うよ
うな情報が与えられる。この情報は、基準点識別用マー
ク２ｄが１点であっても、画像処理装置４の分解能力の
範囲内でＳとｂの大きさは多様に判別でき、それだけ多
数の情報量を検出できる訳である。従って、基準点識別
用マーク２ｄの数を必要に応じて増やせば、情報量を飛
躍的に増加することが可能である。

【００５６】

【本発明が奏する効果】本発明に係る物体の位置、角度
等の固有情報の検出方法によれば、物体１の位置、角度
及び同物体に固有の色々な情報を自動的に迅速に的確に
得ることができるから、例えばロボットハンドの先にテ
レビカメラ３を設置し、無作為に置かれた物体１のター
ゲット部２を撮影することにより、同物体１の位置、角
度及びその他の固有情報を検出し、例えば同一種類の物
体１を重ねたり、ある場所に整列させたりすることを自
動で行なえるようになる。従って、高精度かつ能率的な
物体の自動的処理（自動的ハンドリング）に寄与するの
である。

【図面の簡単な説明】

【図１】本発明に係る移動物体の位置、角度及び固有情
報の検出装置全体の構成を概念的に示した説明図である
。

【図２】Ａ、Ｂはターゲット部の構成態様の例を示した
平面図である。

【図３】物体に実際に生じるピッチング角、ローリング
角及びヨーイング角を示した説明図である。

【図４】Ａ、Ｂは本発明の検出方法におけるテレビカメ
ラと検出用マーク及び画像処理装置のモニターテレビ画
面の基本的配置を示した説明図である。

【図５】物体のピッチング角とヨーイング角を演算する
ために検出用マークの画像処理の要領を示した説明図で
ある。

【図６】物体のローリング角を演算するために検出用マ
ークの画像処理の要領を示した説明図である。

【符号の説明】

１　　　　　　物体 ２　　　　　　ターゲット部 ２ａ、２ｂ、２ｃ　　　　検出用マーク２ｄ　　　　基
準点識別用マーク ３　　　　　　テレビカメラ ４　　　　　　画像処理装置 ５　　　　　　コンピュータ

Claims (1)

【特許請求の範囲】
1. 【請求項１】　　正三角形又は二等辺三角形の各頂点に
   位置せしめた３個の検出用マークと、その近傍位置に設
   けた少なくとも１個の基準点識別用マークから成るター
   ゲット部を物体に表示すること、前記物体のターゲット
   部をテレビカメラで撮影し、前記テレビカメラの映像は
   処理装置で画像処理すること、前記処理装置で得た画像
   処理データに基づくコンピュータの演算処理によって物
   体の位置、角度、その他の固有情報を得ること、をそれ
   ぞれ特徴とする、物体の位置、角度等の固有情報の検出
   方法