JPH10149435A - 環境認識システム並びに該システムに用いるマーク - Google Patents

環境認識システム並びに該システムに用いるマーク

Info

Publication number
JPH10149435A
JPH10149435A JP34441896A JP34441896A JPH10149435A JP H10149435 A JPH10149435 A JP H10149435A JP 34441896 A JP34441896 A JP 34441896A JP 34441896 A JP34441896 A JP 34441896A JP H10149435 A JPH10149435 A JP H10149435A
Authority
JP
Japan
Prior art keywords
mark
environment
recognized
marks
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP34441896A
Other languages
English (en)
Inventor
Kunikatsu Takase
國克 高瀬
Yoshiro Haneda
芳朗 羽田
Akihiro Amami
明博 雨海
Tsutomu Ayusawa
努 鮎澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP34441896A priority Critical patent/JPH10149435A/ja
Publication of JPH10149435A publication Critical patent/JPH10149435A/ja
Pending legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 複雑で動的に変化する環境を確実に、高速に
認識する。 【解決手段】 環境中のすべての認識対象物体にマーク
26〜39を貼付することにより、物体の発見と同定を
根本的に容易化する。さらにすべての認識対象物体に関
する幾何形状モデルを持つことにより、環境中の物体の
寸法形状と位置姿勢の認識を可能にする。マークは環境
全体を見るテレビカメラ21〜24がとらえる映像によ
り容易に発見される必要があり、そのために環境中には
通常現われない、特徴的な色と明るさを有する複数領域
を一定の位置関係に配置した目印を設ける。マークには
目印とともに、その傍にコード記号を配する。これによ
り、まず目印を発見し、つぎにテレビカメラをズームア
ップし、目印の近傍にあるコード記号を読み取ることで
マークを認識することができる。目印以外の箇所を目印
として誤検出した場合、その近傍にコードがないことか
ら、その誤りを確認できる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、物体が散在する3
次元環境において、認識対象物に目印機能とコード機能
を有するマークを貼付することにより環境を高速に認識
する環境認識システムと該システムに用いるマークに関
する。
【0002】
【従来の技術】従来の環境認識技術の利用は研究室段階
にとどまり、実用的な環境認識システムはほとんど実現
されていない。
【0003】
【発明が解決しようとする課題】従来の、物体の形状計
測に基づく環境認識は、物体相互の境界を定めるセグメ
ンテーションが困難であるため、安定した性能を得るこ
とができない。さらに、形状が正確に分かったとして、
物体の種類が多い場合、その物体が何であるかを同定す
ることは困難である場合が多い。これらの理由により家
庭のように物体が雑多に散在する3次元環境を認識する
実用的システムは存在しない。
【0004】本発明は、家庭のような認識困難な環境に
あっても、そこに含まれる認識対象物体を高速かつ確実
に認識することを可能とし、環境を実用的に認識するシ
ステムを構築することを課題とする。
【0005】
【課題を解決するための手段】環境中のすべての認識対
象物体にマークを貼付することにより、物体の発見と同
定を根本的に容易化する。さらにすべての認識対象物体
に関する幾何形状モデルを持つことにより、環境中の物
体の寸法形状と位置姿勢の認識を可能にする。
【0006】マークは環境全体を見るテレビカメラで得
られた映像により容易に発見される必要があり、そのた
めに環境中には通常現われない、特徴的な色と明るさを
有する複数領域を一定の位置関係に配置した目印を設け
る。マークには目印とともに、その傍にコード記号を配
する。これにより、まず目印を発見し、つぎに目印の近
傍にあるコード記号を読み取ることにより、マークを認
識することができる。目印以外の箇所を目印として誤検
出した場合、その近傍にコードがないことから、その誤
りを確認できる。
【0007】複数のテレビカメラを用い、異なった方向
から同じマークを認識することで、マークの3次元位置
を求めることができる。通常のステレオビジョンにおい
ては左右の視野画像中に対応する領域を捜しだす必要が
あり、このことも環境認識を困難にしている理由の1つ
となっている。本発明においては、単眼でマークの認識
を行ってから、異なった視野中のマークの対応付けを行
うので、その種の困難は全くない。マークに複数の目印
を設けることによりマークの位置のみでなく、姿勢を求
めることも可能である。
【0008】認識対象物に関する幾何形状モデルには物
体の寸法形状の他に、マークの貼付箇所に関する情報を
付加する。これにより、マークの位置と姿勢が認識され
ると物体の位置姿勢も一意に決めることができる。大き
な物体については、マークを複数貼付することにより、
物体の位置姿勢を正確に求めることができる。
【0009】マークが物体の裏側にいったり、他の物体
に隠蔽される場合はマーク認識は不可能になるが、1つ
の物体に複数のマークを貼付し、どの姿勢でもマークが
観察できるようにし、テレビカメラの数を増やし複数方
向から監視するようにすることで問題を解決できる。
【0010】
【発明の実施の形態】図1にマークの形態の1例を示
す。マーク1は目印2、目印3及びコード記号4から構
成される。目印2は等しい面積の領域5及び領域6から
構成され、領域5は赤色、領域6は青色とする。目印3
も同面積の領域7、領域8から構成され、それぞれ赤
色、緑色とする。コード記号はバーコードを用い、2つ
の目印の間に配置する。バーコードにはマークの識別番
号を記載し、マークの同定が可能なようにする。
【0011】目印の認識は、まず情景中から赤色、青
色、緑色の領域を検出し、それらの中心位置と面積を計
測する。つぎに中心位置と面積がほぼ等しい赤色領域と
青色領域の組及び赤色領域と緑色領域の組を選びだし、
それを目印と認識する。
【0012】以上の例では、目印を構成する領域を赤
色、青色、緑色に染め分けたが、一般的に黒色、白色を
含め環境の中で際だつ色を選択することで検出の信頼性
を高めることができる。また目印領域の面積についても
環境に合わせて設定する。
【0013】マークの認識のために、まず目印2とその
近傍にある目印3の可能な組み合わせについて、2つの
目印にはさまれたバーコードを読み取る。誤った組み合
せの場合、バーコードが存在しないことを検出すること
により、その組み合せを棄却することができる。バーコ
ードが存在し正しく読み取られた場合、マークの識別番
号が認識され、そのマークに属する目印2と目印3が特
定される。この処理を情景中のすべての目印2について
実行し、すべてのマークを認識する。正しい組み合わせ
が存在しない目印は廃棄する。
【0014】図2に認識すべき環境と本発明による環境
認識システムの形態の1例を示す。環境中には、ソファ
ー9、10、11、テーブル12、トレイ13、瓶1
4、15、皿16、17、植物ポット18、床19、壁
20が存在する。それら物体の発見と位置姿勢の計測、
そしてそれらの物体が占める空間を割り出すことが環境
認識システムの役割である。
【0015】環境認識システムはテレビカメラ21〜2
4、環境認識処理システム25、及び、認識すべき物体
に貼付したマーク26〜39から構成される。各テレビ
カメラから見た情景の映像信号は環境認識処理システム
25に送られ、画像データとして保持される。この画像
データを処理することにより、先に述べた方法で各情景
中のマークを認識する。
【0016】マークの3次元空間での位置と方向を求め
るために、異なった情景中に現われる同じ識別番号のマ
ークを対応させ、そのマーク上の目印2と目印3の3次
元位置を3角測量の原理で計算する。1つの情景中にし
か現われないマークは除外する。
【0017】各物体には異なる識別番号のマークが貼付
されるので、マークを認識することにより、そこに対応
する物体が存在することが分かる。さらに物体の位置姿
勢と物体が占める空間を正確に割り出すために、幾何形
状モデルを利用する。図3にテーブル12の幾何形状モ
デルの例を示す。テーブルは1つの薄い直方体40と4
つの円柱41〜44から構成されるものとすると、テー
ブルの幾何形状モデルはそれら単純形状体の寸法と、テ
ーブルに固定した座標系45から見た単純形状体の位置
姿勢により構成される。本発明による環境認識システム
においては、座標系45から見たマーク46、47の目
印48〜51の中心位置を幾何形状モデルの中に含めて
おく。
【0018】マーク46、47が認識され、目印48〜
51の3次元位置が測定されると、逆に幾何形状モデル
の座標系の位置姿勢が決定でき、机全体の占める空間を
割り出すことができる。
【0019】ソファー9にはマーク26を1つしか貼付
しておらず、マークだけからはソファーの位置姿勢を一
意に決定することができない。しかし、水平な床の上に
置かれているという拘束条件を与えることでソファーの
位置姿勢は一意に決定することができる。
【0020】床19と壁20に貼付したマーク37、3
8、39についても幾何形状モデルの中で目印の位置を
定義しておく。床と壁は移動しないと見なすことによ
り、これらのマークはテレビカメラのキャリブレーショ
ンや移動ロボットの自己定位に利用することができる。
【0021】
【実施例】本発明による環境認識システムのロボットや
物流への応用を考えると、高速な認識処理が要求され
る。ここでは高速性に重点を置き、環境の一般性を1部
制限した実施例を示す。図4に示すように、平面床上に
重なることなく散在している、等しい高さの物体からな
る環境を対象とする。物体52〜56は任意の多角柱で
あり、その上面にマークが貼付される。図5に真上から
見た物体の1例を示す。マーク65は目印66、67と
バーコード68から構成される。目印66は内側が白
色、外側が黒色に染め分けられた同心円パターンであ
り、目印67は内側が黒色、白側が黒色の同心円パター
ンである。他の物体に貼付されたマークも同じ目印を有
し、バーコードの値のみ異なる。
【0022】物体の2次元幾何形状モデルは、目印66
の中心を原点とし、目印67の中心方向を向くX軸、お
よびそれと直角方向のY軸を持つ座標系69から見た頂
点70〜2と目印66、67の中心点のX−Y座標から
構成される。
【0023】図4において、テレビカメラ57は環境を
真下に見下ろす位置に設置される。物体は床に平行な並
進運動と床の垂直軸まわりの回転運動を行うとすると、
テレビカメラからみたマークの目印のパターンは物体の
位置姿勢に関係なく同じである。
【0024】環境認識処理システム58は、図4に示す
ようにトラッキングビジョン59とワークステーション
60から構成される。トラッキングビジョンは市販(富
士通(株)製)の視覚装置であり、1/30秒毎に、テ
レビカメラ57からのモノクロ映像信号61を画像メモ
リーに読み込み、テンプレートに保存されたパターンと
同じパターンを有する画像中の領域を相関演算に基づき
認識し、その中心座標を求める。テンプレートは最大1
00枚まで設定でき、ここでは、図5の目印66及び目
印67の外側円に内接する正方形の内部の白黒パターン
を2枚のテンプレートに保存する。
【0025】環境認識は次のように行われる。まず環境
全体を見たときの情景の画像データをトラッキングビジ
ョンの画像メモリーに読み込み、画像中のすべての目印
を認識する。次にワークステーション60は、目印の認
識結果64に基づいて目印66とその近傍にある目印6
7の間の中点を計算し、制御信号62を介して、その点
をテレビカメラの光軸が通るようにパン・チルトを制御
し、バーコードを読み取れるようズームを制御する。こ
の情景の画像データをトラッキングビジョンを介してワ
ークステーションの画像メモリに読み込み、2つの目印
の中心間をスキャンしバーコードを読み取る。誤った組
み合せの場合、バーコードは存在せず、読み取りエラー
となるので、この組み合せを棄却する。バーコードが存
在し正しく読み取られた場合、マークの識別番号が認識
され、そのマークに属する目印66及び目印67が特定
される。この処理を全体情景中のすべての目印について
実行し、すべてのマークを認識する。
【0026】以上、初期のマーク認識にはテレビカメラ
操作等で秒オーダーの時間が要するが、一旦すべてのマ
ークを認識した後は、全体情景の中で1/30秒毎に各
目印を認識、追跡することにより、マークの認識、追跡
も1/30秒毎に行えるようになる。
【0027】マークを認識しその上の目印の位置が得ら
れると、例えば、図5の物体に関し、その幾何形状モデ
ルを用いて、物体に固定した座標系69の位置姿勢と、
さらには物体の頂点70、71、72の位置が得られ
る。これにより物体が占める空間が割り出される。環境
中の、マークの貼付されたすべての物体に関し以上の処
理を行うことにより、環境はビデオレート(1/30
秒)で認識される。
【0028】
【発明の効果】本発明は、以上説明したように構成され
ているので、以下に記載されるような効果を奏する。
【0029】環境中の認識すべき物体にマークを貼付
し、物体毎の識別番号を与えることにより、環境中から
物体を容易に、かつ、確実に発見することができる。
【0030】物体に貼付されたマークの識別番号に対応
して、幾何形状モデルを保有することにより、その物体
の位置姿勢及び寸法形状を認識することができる。
【0031】環境中の認識すべきすべての物体にマーク
を貼付することにより、すべての物体が認識でき、セグ
メンテーション等の処理なしに環境認識することができ
る。
【0032】物体の移範囲を平面上に限定すると、現状
技術の組み合わせにより、ビデオレートでの環境認識を
実現することができる。
【0033】本発明による環境認識機能をロボットに付
与することにより、環境全体を考慮した行動制御が可能
になり、ロボットの自律性を大幅に向上することができ
る。
【0034】本発明による環境認識機能を物流システム
に付与することにより、空間的に散在する荷物の識別が
可能になり、従来の定点観測による荷物の識別に比べ、
環境整備を大幅に簡易化することができる。
【図面の簡単な説明】
【図1】マークの形態を示す図である。
【図2】認識すべき環境と本発明による環境認識システ
ムの構成図である。
【図3】机を例とした、物体の幾何形状モデルの構成法
を示す説明図である。
【図4】物体の動きが平面床上に拘束される場合の環境
とそこにおける本発明の実施例を示す構成図である。
【図5】実施例における物体の1例であり、上方から見
た物体の形状、貼付されたマーク及び幾何形状モデルの
座標系を示す図である。
【符号の説明】
1 マーク 2、3 目印 4 コード記号 5、6、7、8 目印を構成する領域 9、10、11 ソファー 12 机 13 トレイ 14、15 瓶 16、17 皿 18 植物ポット 19 床 20 壁 21、22、23、24 テレビカメラ 25 環境認識処理システム 26〜39 マーク 40 薄い直方体 41、42、43、44 円柱 45 物体の基準座標系 46、47 マーク 48、49、50、51 目印 52〜56 多角柱状物体 57 テレビカメラ 58 環境認識処理システム 59 トラッキングビジョン 60 ワークステーション 61 映像信号 62 制御信号 63 画像データ 64 目印の認識結果 65 マーク 66、67 目印 68 バーコード 69 物体の基準座標系 70、71、72 頂点
───────────────────────────────────────────────────── フロントページの続き (71)出願人 596184638 鮎澤 努 神奈川県海老名市杉久保2593番地 (72)発明者 高瀬 國克 東京都調布市小島町1丁目1番地1 調布 宿舎RA−106号 (72)発明者 羽田 芳朗 東京都杉並区下井草4丁目32番地17 第二 陵雲閣403号 (72)発明者 雨海 明博 茨城県土浦市蓮河原新町1丁目30番地 (72)発明者 鮎澤 努 神奈川県海老名市杉久保2593番地

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】3次元環境中の認識対象物に目印機能と識
    別コード機能を有するマークを貼付し、そのマークを視
    覚装置で認識することにより環境を認識する環境認識シ
    ステム。
  2. 【請求項2】認識対象物の幾何形状モデルを持つことに
    より、認識対象物の寸法形状と位置姿勢を認識する請求
    項1記載の環境認識システム。
  3. 【請求項3】特徴的な色と明るさを有する複数領域を一
    定の位置関係に配置することにより情景中から容易に発
    見できるようにした目印とコード記号からなるマーク。
JP34441896A 1996-11-19 1996-11-19 環境認識システム並びに該システムに用いるマーク Pending JPH10149435A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP34441896A JPH10149435A (ja) 1996-11-19 1996-11-19 環境認識システム並びに該システムに用いるマーク

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP34441896A JPH10149435A (ja) 1996-11-19 1996-11-19 環境認識システム並びに該システムに用いるマーク

Publications (1)

Publication Number Publication Date
JPH10149435A true JPH10149435A (ja) 1998-06-02

Family

ID=18369107

Family Applications (1)

Application Number Title Priority Date Filing Date
JP34441896A Pending JPH10149435A (ja) 1996-11-19 1996-11-19 環境認識システム並びに該システムに用いるマーク

Country Status (1)

Country Link
JP (1) JPH10149435A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002023122A1 (fr) * 2000-09-11 2002-03-21 Kunikatsu Takase Systeme de detection de la position d'un corps mobile
JP2002344946A (ja) * 2001-05-16 2002-11-29 Oki Electric Ind Co Ltd 監視装置
JP2005165481A (ja) * 2003-11-28 2005-06-23 Topcon Corp 三次元画像表示装置及び方法
JP2006092271A (ja) * 2004-09-24 2006-04-06 Canon Inc 特徴識別装置およびその方法並びにプログラムコード、記憶媒体
JP2007293717A (ja) * 2006-04-26 2007-11-08 Nippon Telegr & Teleph Corp <Ntt> 位置データ変換装置及び位置データ変換方法
US7746377B2 (en) 2003-11-28 2010-06-29 Topcon Corporation Three-dimensional image display apparatus and method
WO2019031020A1 (ja) * 2017-08-09 2019-02-14 株式会社DSi 計量システム、電子秤及び電子秤用マーカー
JP2019194787A (ja) * 2018-05-02 2019-11-07 戸田建設株式会社 部品情報管理システム、部品情報管理方法および部品情報管理プログラム

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002023122A1 (fr) * 2000-09-11 2002-03-21 Kunikatsu Takase Systeme de detection de la position d'un corps mobile
JP2002344946A (ja) * 2001-05-16 2002-11-29 Oki Electric Ind Co Ltd 監視装置
JP2005165481A (ja) * 2003-11-28 2005-06-23 Topcon Corp 三次元画像表示装置及び方法
US7746377B2 (en) 2003-11-28 2010-06-29 Topcon Corporation Three-dimensional image display apparatus and method
JP2006092271A (ja) * 2004-09-24 2006-04-06 Canon Inc 特徴識別装置およびその方法並びにプログラムコード、記憶媒体
JP2007293717A (ja) * 2006-04-26 2007-11-08 Nippon Telegr & Teleph Corp <Ntt> 位置データ変換装置及び位置データ変換方法
JP4594272B2 (ja) * 2006-04-26 2010-12-08 日本電信電話株式会社 位置データ変換装置及び位置データ変換方法
WO2019031020A1 (ja) * 2017-08-09 2019-02-14 株式会社DSi 計量システム、電子秤及び電子秤用マーカー
JP2019032276A (ja) * 2017-08-09 2019-02-28 株式会社DSi 計量システム、電子秤及び電子秤用マーカー
US11460340B2 (en) 2017-08-09 2022-10-04 Dsi Corporation Weighing system, electronic scale, and electronic scale marker for performing inventory management
JP2019194787A (ja) * 2018-05-02 2019-11-07 戸田建設株式会社 部品情報管理システム、部品情報管理方法および部品情報管理プログラム

Similar Documents

Publication Publication Date Title
CN110568447B (zh) 视觉定位的方法、装置及计算机可读介质
US7003136B1 (en) Plan-view projections of depth image data for object tracking
US7423666B2 (en) Image pickup system employing a three-dimensional reference object
Neumann et al. A self-tracking augmented reality system
Robertson et al. An Image-Based System for Urban Navigation.
US7676079B2 (en) Index identification method and apparatus
JP4739004B2 (ja) 情報処理装置及び情報処理方法
CN101702233B (zh) 视频帧中基于三点共线标记点的三维定位方法
Neumann et al. Augmented reality tracking in natural environments
JP2015158461A (ja) 姿勢推定装置、姿勢推定方法及び姿勢推定用コンピュータプログラム
CA2573728A1 (en) Method and apparatus for machine-vision
US10949980B2 (en) System and method for reverse optical tracking of a moving object
CN109357673A (zh) 基于图像的视觉导航方法和装置
CN105096376B (zh) 一种信息处理方法及电子设备
CN110108269A (zh) 基于多传感器数据融合的agv定位方法
US20200364900A1 (en) Point marking using virtual fiducial elements
CN110807431A (zh) 对象定位方法、装置、电子设备及存储介质
JPH10149435A (ja) 環境認識システム並びに該システムに用いるマーク
Bakhtari et al. Active-vision-based multisensor surveillance-an implementation
US6787750B1 (en) Method and apparatus for robust optical tracking with beacon markers
US20200364895A1 (en) Point tracking using a trained network
TWI812865B (zh) 用於實現相對定位的裝置、方法、存儲介質及電子設備
CN113008135B (zh) 用于确定空间中目标点位置的方法、设备、电子装置及介质
CN112051546B (zh) 一种用于实现相对定位的装置以及相应的相对定位方法
JP2005107964A (ja) 指標識別方法および装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Effective date: 20060915

Free format text: JAPANESE INTERMEDIATE CODE: A971007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060926

A521 Written amendment

Effective date: 20061122

Free format text: JAPANESE INTERMEDIATE CODE: A523

A711 Notification of change in applicant

Effective date: 20061122

Free format text: JAPANESE INTERMEDIATE CODE: A711

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20061122

A02 Decision of refusal

Effective date: 20070507

Free format text: JAPANESE INTERMEDIATE CODE: A02