JPH1030917A - 物体認識方法及び装置並びに記録媒体 - Google Patents
物体認識方法及び装置並びに記録媒体Info
- Publication number
- JPH1030917A JPH1030917A JP8186473A JP18647396A JPH1030917A JP H1030917 A JPH1030917 A JP H1030917A JP 8186473 A JP8186473 A JP 8186473A JP 18647396 A JP18647396 A JP 18647396A JP H1030917 A JPH1030917 A JP H1030917A
- Authority
- JP
- Japan
- Prior art keywords
- coordinate system
- dimensional
- rectangular coordinate
- coordinates
- dimensional rectangular
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 画像処理を利用して非接触にて物体の3次元
情報を得るシステムにおいて、低コストの構成にて処理
速度が速い認識方法を提供する。 【解決手段】 載置台1に置かれた被認識物体Aを単一
のカメラ2にて撮影し、その撮影画像から被認識物体A
の各頂点を抽出し、撮影画像の2次元直交座標系におけ
る座標値を求め、求めた座標値に基づいて実際に被認識
物体Aが置かれている空間の3次元直交座標系における
座標値を算出し、算出した各頂点の3次元座標から、被
認識物体Aの寸法,稜線方向,位置等の3次元情報を求
める。この3次元座標系における座標値の算出処理を簡
便にするために、3次元直交座標系の原点と2次元直交
座標系の原点とを一致させると共に、3次元直交座標系
の直交軸の1つと2次元直交座標系の直交軸の1つとを
同一とする。
情報を得るシステムにおいて、低コストの構成にて処理
速度が速い認識方法を提供する。 【解決手段】 載置台1に置かれた被認識物体Aを単一
のカメラ2にて撮影し、その撮影画像から被認識物体A
の各頂点を抽出し、撮影画像の2次元直交座標系におけ
る座標値を求め、求めた座標値に基づいて実際に被認識
物体Aが置かれている空間の3次元直交座標系における
座標値を算出し、算出した各頂点の3次元座標から、被
認識物体Aの寸法,稜線方向,位置等の3次元情報を求
める。この3次元座標系における座標値の算出処理を簡
便にするために、3次元直交座標系の原点と2次元直交
座標系の原点とを一致させると共に、3次元直交座標系
の直交軸の1つと2次元直交座標系の直交軸の1つとを
同一とする。
Description
【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、物体の3次元情報
(寸法,稜線方向,位置等)を非接触にて認識する物体
認識方法及び装置に関し、特に、1台のカメラを使用す
る単眼視の画像処理システムを用いて物体の3次元情報
を認識する物体認識方法及び装置に関するものである。
(寸法,稜線方向,位置等)を非接触にて認識する物体
認識方法及び装置に関し、特に、1台のカメラを使用す
る単眼視の画像処理システムを用いて物体の3次元情報
を認識する物体認識方法及び装置に関するものである。
【0002】
【従来の技術及び発明が解決しようとする課題】3次元
物体に対してその立体形状,3次元位置を非接触にて認
識する方法として、その認識対象の3次元物体を撮像
し、得られた画像の画像処理を利用する手法が知られて
いる。このような画像処理技術を用いた3次元空間での
物体認識の従来の方法の2例(ステレオ画像法,スリッ
ト光投影法)について以下に説明する。これらの2例
は、「三次元画像計測」(発行元:昭晃堂,井口征士,
佐藤宏介共著)に記載されている。
物体に対してその立体形状,3次元位置を非接触にて認
識する方法として、その認識対象の3次元物体を撮像
し、得られた画像の画像処理を利用する手法が知られて
いる。このような画像処理技術を用いた3次元空間での
物体認識の従来の方法の2例(ステレオ画像法,スリッ
ト光投影法)について以下に説明する。これらの2例
は、「三次元画像計測」(発行元:昭晃堂,井口征士,
佐藤宏介共著)に記載されている。
【0003】図13は、ステレオ画像法の原理を説明する
概略図である。人間は左右両眼で物体を見ることによっ
て立体観を得ることができる。このステレオ画像法は、
左右両眼に対応した1対の画像(ステレオ画像)があれ
ばこれらに応じて3次元情報を抽出できるという概念に
基づく手法であり、人間の両眼のようにありのままの世
界をそのまま観測する受動的な方法である。図13に示す
ように、ITVカメラ等の2台のカメラを左右に配置し
て、得られる画像情報から三角測量法により3次元情報
を認識する。
概略図である。人間は左右両眼で物体を見ることによっ
て立体観を得ることができる。このステレオ画像法は、
左右両眼に対応した1対の画像(ステレオ画像)があれ
ばこれらに応じて3次元情報を抽出できるという概念に
基づく手法であり、人間の両眼のようにありのままの世
界をそのまま観測する受動的な方法である。図13に示す
ように、ITVカメラ等の2台のカメラを左右に配置し
て、得られる画像情報から三角測量法により3次元情報
を認識する。
【0004】このようなステレオ画像より3次元情報を
抽出するためには、一方の画面上の1点が他方の画面上
のどの点に対応するかを検出することが必要である。こ
れがステレオ画像法における対応点決定(マッチング)
と呼ばれる処理であるが、十分正確に対応点を検出する
技術が確立されておらず、結果として不確かな3次元情
報しか得ることができないという問題点がある。
抽出するためには、一方の画面上の1点が他方の画面上
のどの点に対応するかを検出することが必要である。こ
れがステレオ画像法における対応点決定(マッチング)
と呼ばれる処理であるが、十分正確に対応点を検出する
技術が確立されておらず、結果として不確かな3次元情
報しか得ることができないという問題点がある。
【0005】また図14は、スリット光投影法(光切断
法)の原理を説明する概略図である。このスリット光投
影法は、図14に示すように、被認識物体にスリット光を
投影し、これと直交する方向からそのスリット投影像を
TVカメラにて撮影し、その画像を画像処理装置で処理
して物体の3次元情報を認識する手法である。
法)の原理を説明する概略図である。このスリット光投
影法は、図14に示すように、被認識物体にスリット光を
投影し、これと直交する方向からそのスリット投影像を
TVカメラにて撮影し、その画像を画像処理装置で処理
して物体の3次元情報を認識する手法である。
【0006】しかしながら、この方法ではスリット光源
装置が必要であり、また、多量のデータを取り扱わなけ
ればならないので処理時間がかかるという問題点があ
る。
装置が必要であり、また、多量のデータを取り扱わなけ
ればならないので処理時間がかかるという問題点があ
る。
【0007】本発明は斯かる事情に鑑みてなされたもの
であり、2台のカメラを使用する双眼視の画像処理シス
テムを用いるステレオ画像法に比べて低コスト化を図れ
る物体認識方法及び装置を提供することを目的とする。
であり、2台のカメラを使用する双眼視の画像処理シス
テムを用いるステレオ画像法に比べて低コスト化を図れ
る物体認識方法及び装置を提供することを目的とする。
【0008】本発明の他の目的は、スリット光投影法と
比較して処理速度を速めることができる物体認識方法及
び装置を提供することにある。
比較して処理速度を速めることができる物体認識方法及
び装置を提供することにある。
【0009】本発明の更に他の目的は、上述した物体認
識方法を実施するためのコンピュータプログラムを記録
した記録媒体を提供することにある。
識方法を実施するためのコンピュータプログラムを記録
した記録媒体を提供することにある。
【0010】
【課題を解決するための手段】請求項1に係る物体認識
方法は、稜線が直線である物体の3次元情報を、該物体
を撮像して得た画像の画像処理を用いて認識する方法に
おいて、前記物体が設けられている空間の3次元直交座
標系、及び、前記物体の撮像画像の2次元直交座標系
を、前記3次元直交座標系の原点と前記2次元直交座標
系の原点とが一致すると共に、前記3次元直交座標系の
直交軸の1つと前記2次元直交座標系の直交軸の1つと
が同一となるように、設定するステップと、前記撮像画
像の2次元直交座標系における前記物体の頂点の座標を
前記3次元直交座標系における座標に変換するステップ
と、変換した前記3次元直交座標系における前記物体の
頂点の座標に基づいて、前記物体の3次元情報を求める
ステップとを有することを特徴とする。
方法は、稜線が直線である物体の3次元情報を、該物体
を撮像して得た画像の画像処理を用いて認識する方法に
おいて、前記物体が設けられている空間の3次元直交座
標系、及び、前記物体の撮像画像の2次元直交座標系
を、前記3次元直交座標系の原点と前記2次元直交座標
系の原点とが一致すると共に、前記3次元直交座標系の
直交軸の1つと前記2次元直交座標系の直交軸の1つと
が同一となるように、設定するステップと、前記撮像画
像の2次元直交座標系における前記物体の頂点の座標を
前記3次元直交座標系における座標に変換するステップ
と、変換した前記3次元直交座標系における前記物体の
頂点の座標に基づいて、前記物体の3次元情報を求める
ステップとを有することを特徴とする。
【0011】請求項2に係る物体認識方法は、請求項1
において、前記物体の3次元情報は、前記物体の寸法,
稜線方向及び位置の各情報を含むことを特徴とする。
において、前記物体の3次元情報は、前記物体の寸法,
稜線方向及び位置の各情報を含むことを特徴とする。
【0012】請求項3に係る物体認識装置は、稜線が直
線である物体の3次元情報を、該物体を撮像して得た画
像の画像処理を用いて認識する装置において、認識対象
の物体を撮像して撮像画像を得る手段と、前記物体が設
けられている空間の3次元直交座標系、及び、前記物体
の撮像画像の2次元直交座標系を、前記3次元直交座標
系の原点と前記2次元直交座標系の原点とが一致すると
共に、前記3次元直交座標系の直交軸の1つと前記2次
元直交座標系の直交軸の1つとが同一となるように、設
定する手段と、前記物体の撮影画像に画像処理を施して
その2次元直交座標系における前記物体の頂点の座標を
求める手段と、求めた2次元直交座標系における前記物
体の頂点の座標を前記3次元直交座標系における座標に
変換する手段と、変換した前記3次元直交座標系におけ
る前記物体の頂点の座標に基づいて、前記物体の3次元
情報を求める手段とを備えることを特徴とする。
線である物体の3次元情報を、該物体を撮像して得た画
像の画像処理を用いて認識する装置において、認識対象
の物体を撮像して撮像画像を得る手段と、前記物体が設
けられている空間の3次元直交座標系、及び、前記物体
の撮像画像の2次元直交座標系を、前記3次元直交座標
系の原点と前記2次元直交座標系の原点とが一致すると
共に、前記3次元直交座標系の直交軸の1つと前記2次
元直交座標系の直交軸の1つとが同一となるように、設
定する手段と、前記物体の撮影画像に画像処理を施して
その2次元直交座標系における前記物体の頂点の座標を
求める手段と、求めた2次元直交座標系における前記物
体の頂点の座標を前記3次元直交座標系における座標に
変換する手段と、変換した前記3次元直交座標系におけ
る前記物体の頂点の座標に基づいて、前記物体の3次元
情報を求める手段とを備えることを特徴とする。
【0013】請求項4に係る記録媒体は、稜線が直線で
ある物体の3次元情報を、該物体を撮像して得た画像の
画像処理を用いて認識するためのコンピュータプログラ
ムを記録した記録媒体において、前記物体が設けられて
いる空間の3次元直交座標系、及び、前記物体の撮像画
像の2次元直交座標系を、前記3次元直交座標系の原点
と前記2次元直交座標系の原点とが一致すると共に、前
記3次元直交座標系の直交軸の1つと前記2次元直交座
標系の直交軸の1つとが同一となるように、設定するス
テップと、前記撮像画像の2次元直交座標系における前
記物体の頂点の座標を前記3次元直交座標系における座
標に変換するステップと、変換した前記3次元直交座標
系における前記物体の頂点の座標に基づいて、前記物体
の3次元情報を求めるステップとを含むコンピュータプ
ログラムを記録したことを特徴とする。
ある物体の3次元情報を、該物体を撮像して得た画像の
画像処理を用いて認識するためのコンピュータプログラ
ムを記録した記録媒体において、前記物体が設けられて
いる空間の3次元直交座標系、及び、前記物体の撮像画
像の2次元直交座標系を、前記3次元直交座標系の原点
と前記2次元直交座標系の原点とが一致すると共に、前
記3次元直交座標系の直交軸の1つと前記2次元直交座
標系の直交軸の1つとが同一となるように、設定するス
テップと、前記撮像画像の2次元直交座標系における前
記物体の頂点の座標を前記3次元直交座標系における座
標に変換するステップと、変換した前記3次元直交座標
系における前記物体の頂点の座標に基づいて、前記物体
の3次元情報を求めるステップとを含むコンピュータプ
ログラムを記録したことを特徴とする。
【0014】本発明では、認識対象の物体の撮影画像の
2次元直交座標系(カメラ座標系)において示されるそ
の物体の像の頂点の2次元座標を用いて、実際に物体が
置かれている空間の3次元直交座標系(ベース座標系)
において示されるその物体の3次元座標を幾何学的に算
出する。なお、この際、算出処理を簡便にするために、
2次元直交座標系の原点と3次元直交座標系の原点とを
一致させると共に、2次元直交座標系の直交軸の1つと
3次元直交座標系の直交軸の1つとを同一とするよう
に、それぞれの座標系を設定する。そして、算出した各
頂点の3次元座標から、その物体の寸法,稜線方向,位
置等の3次元情報を求める。
2次元直交座標系(カメラ座標系)において示されるそ
の物体の像の頂点の2次元座標を用いて、実際に物体が
置かれている空間の3次元直交座標系(ベース座標系)
において示されるその物体の3次元座標を幾何学的に算
出する。なお、この際、算出処理を簡便にするために、
2次元直交座標系の原点と3次元直交座標系の原点とを
一致させると共に、2次元直交座標系の直交軸の1つと
3次元直交座標系の直交軸の1つとを同一とするよう
に、それぞれの座標系を設定する。そして、算出した各
頂点の3次元座標から、その物体の寸法,稜線方向,位
置等の3次元情報を求める。
【0015】ここで、本発明による2次元座標から3次
元座標への変換のアルゴリズムの詳細について説明す
る。図3は認識対象の直方体状の物体の画像例を示し、
図4はその物体の画像に微分処理,2値化処理,細線化
処理等の画像処理を施して、物体の輪郭を抽出した例を
示す。図4において、物体の6個の頂点P1 〜P6 が抽
出されており、これらの6個の頂点の中で、3個の頂点
P1 ,P2 ,P3 は、物体が置かれている空間(大地基
準)の3次元直交座標系(ベース座標系)の座標平面と
接する輪郭の頂点である。また、撮影画像において直交
する座標軸Xc ,Yc を含む2次元直交座標系(カメラ
座標系)を設定し、両座標軸Xc ,Yc の交点(原点)
をOc とする。
元座標への変換のアルゴリズムの詳細について説明す
る。図3は認識対象の直方体状の物体の画像例を示し、
図4はその物体の画像に微分処理,2値化処理,細線化
処理等の画像処理を施して、物体の輪郭を抽出した例を
示す。図4において、物体の6個の頂点P1 〜P6 が抽
出されており、これらの6個の頂点の中で、3個の頂点
P1 ,P2 ,P3 は、物体が置かれている空間(大地基
準)の3次元直交座標系(ベース座標系)の座標平面と
接する輪郭の頂点である。また、撮影画像において直交
する座標軸Xc ,Yc を含む2次元直交座標系(カメラ
座標系)を設定し、両座標軸Xc ,Yc の交点(原点)
をOc とする。
【0016】まず、カメラ座標系の第1または第2象限
に輪郭の頂点が存在する場合のカメラ座標系からベース
座標系への座標変換について説明する。図5は、カメラ
座標系及びベース座標系の位置関係を示す図である。
に輪郭の頂点が存在する場合のカメラ座標系からベース
座標系への座標変換について説明する。図5は、カメラ
座標系及びベース座標系の位置関係を示す図である。
【0017】図5において、カメラ座標系の座標軸Xc
,Yc による平面を平面Sとする。また、ベース座標
系の互いに直交する3本の座標軸をそれぞれXb ,Yb
,Zbとする。ベース座標系の原点とカメラ座標系の原
点とは同一とし、その点をO1とする。ベース座標系の
座標軸Xb とカメラ座標系の座標軸Xc とは同一とす
る。カメラの先端位置Rと原点O1 とを結ぶ直線O1 R
(カメラ座標系の座標軸Zc)は平面Sに垂直である。カ
メラの高さ、つまり点RからXb −Yb 平面までの距離
(線分ROの長さ)をhとする。原点O1 からXb −Y
b 平面でのカメラ位置Oまでの距離(線分O1 Oの長
さ)をdとして正の数と考える。この線分O1Oは座標
軸Yb 上にある。ベース座標系の任意の点P(xb ,y
b ,0)の平面Sへの写像を点Q(xc ,yc ,0)と
する。そして、xb =SP,yb =O1S,xc =T
Q,yc =O1 Tとする。また、図6に示すように、∠
RO1 O=θ,∠TO1 T1 =αとする。
,Yc による平面を平面Sとする。また、ベース座標
系の互いに直交する3本の座標軸をそれぞれXb ,Yb
,Zbとする。ベース座標系の原点とカメラ座標系の原
点とは同一とし、その点をO1とする。ベース座標系の
座標軸Xb とカメラ座標系の座標軸Xc とは同一とす
る。カメラの先端位置Rと原点O1 とを結ぶ直線O1 R
(カメラ座標系の座標軸Zc)は平面Sに垂直である。カ
メラの高さ、つまり点RからXb −Yb 平面までの距離
(線分ROの長さ)をhとする。原点O1 からXb −Y
b 平面でのカメラ位置Oまでの距離(線分O1 Oの長
さ)をdとして正の数と考える。この線分O1Oは座標
軸Yb 上にある。ベース座標系の任意の点P(xb ,y
b ,0)の平面Sへの写像を点Q(xc ,yc ,0)と
する。そして、xb =SP,yb =O1S,xc =T
Q,yc =O1 Tとする。また、図6に示すように、∠
RO1 O=θ,∠TO1 T1 =αとする。
【0018】図5の△RSP,△RTQについて考える
と、両三角形は相似であり、SP:TQ=RS:RTで
あるので、 xb :xc ={h2 +(d+yb)2 }1/2 :{yc 2 +d2 +h2 }1/2 よって、 xb =[{h2 +(d+yb)2 }1/2 /{yc 2 +d2 +h2 }1/2 ]・xc …(1)
と、両三角形は相似であり、SP:TQ=RS:RTで
あるので、 xb :xc ={h2 +(d+yb)2 }1/2 :{yc 2 +d2 +h2 }1/2 よって、 xb =[{h2 +(d+yb)2 }1/2 /{yc 2 +d2 +h2 }1/2 ]・xc …(1)
【0019】次に、図7に示すように△OSP,△OT
1 Q1 について考えると、両三角形は相似であり、O1
T1 =ya とすると、SP:T1 Q1 =SO:T1 Oで
あるので、 xb :xc =(d+yb):(d+ya) よって、 xb ={(d+yb)/(d+ya)}・xc ここで、図6より、 ya =yc ・cosα =yc ・cos(90°−θ) θ=tan-1(h/d) であるので、 xb ={(d+yb)/(d+yc ・cosα)}・xc …(2)
1 Q1 について考えると、両三角形は相似であり、O1
T1 =ya とすると、SP:T1 Q1 =SO:T1 Oで
あるので、 xb :xc =(d+yb):(d+ya) よって、 xb ={(d+yb)/(d+ya)}・xc ここで、図6より、 ya =yc ・cosα =yc ・cos(90°−θ) θ=tan-1(h/d) であるので、 xb ={(d+yb)/(d+yc ・cosα)}・xc …(2)
【0020】上記(1),(2)式より、β=d+ya
とすると、 (d+yb)/β={h2 +(d+yb)2 }1/2 /{yc 2 +d2 +h2 }1/2 …(3) (3)式の両辺を2乗して、yb について整理すると、
(4)式となる。 (yc 2 +d2 +h2 −β2 )yb 2 +2(dyc 2 +d3 +dh2 −β2 d)yb +(d2 yc 2 +d4 +d2 h2 −β2 h2 −β2 d2 )=0 …(4)
とすると、 (d+yb)/β={h2 +(d+yb)2 }1/2 /{yc 2 +d2 +h2 }1/2 …(3) (3)式の両辺を2乗して、yb について整理すると、
(4)式となる。 (yc 2 +d2 +h2 −β2 )yb 2 +2(dyc 2 +d3 +dh2 −β2 d)yb +(d2 yc 2 +d4 +d2 h2 −β2 h2 −β2 d2 )=0 …(4)
【0021】ここで、(4)式のyb についての2次方
程式における2次(yb 2 ),1次(yb ),定数項の
各係数を、それぞれ、A(=yc 2 +d2 +h2 −
β2 ),B(=dyc 2 +d3 +dh2 −β2 d),C
(=d2 yc 2 +d4 +d2 h2−β2 h2 −β
2 d2 )とすると、yb ,xb はそれぞれ(5),
(6)式のように求められる。 yb ={−B±(B2 −AC)1/2 }/A …(5) xb ={(d+yb)/β}・xc …(6)
程式における2次(yb 2 ),1次(yb ),定数項の
各係数を、それぞれ、A(=yc 2 +d2 +h2 −
β2 ),B(=dyc 2 +d3 +dh2 −β2 d),C
(=d2 yc 2 +d4 +d2 h2−β2 h2 −β
2 d2 )とすると、yb ,xb はそれぞれ(5),
(6)式のように求められる。 yb ={−B±(B2 −AC)1/2 }/A …(5) xb ={(d+yb)/β}・xc …(6)
【0022】以上のようにして、(5),(6)式に従
って、xc ,yc の値からxb ,yb を計算できる。
って、xc ,yc の値からxb ,yb を計算できる。
【0023】カメラ座標系の第1または第2象限に輪郭
の頂点が存在する場合(yc ≧0)について説明した
が、次に、カメラ座標系の第3または第4象限に輪郭の
頂点が存在する場合(yc <0)のカメラ座標系からベ
ース座標系への座標変換について説明する。図8は、こ
の場合のカメラ座標系及びベース座標系の位置関係を示
す図である。
の頂点が存在する場合(yc ≧0)について説明した
が、次に、カメラ座標系の第3または第4象限に輪郭の
頂点が存在する場合(yc <0)のカメラ座標系からベ
ース座標系への座標変換について説明する。図8は、こ
の場合のカメラ座標系及びベース座標系の位置関係を示
す図である。
【0024】図8の△RTQ,△RSPについて考える
と、両三角形は相似であり、TQ:SP=RT:RSで
あるので、yb ≦0を考慮して、 xc :xb ={yc 2 +d2 +h2 }1/2 :{h2 +(d+yb)2 }1/2 よって、 xb =[{h2 +(d+yb)2 }1/2 /{yc 2 +d2 +h2 }1/2 ]・xc …(7)
と、両三角形は相似であり、TQ:SP=RT:RSで
あるので、yb ≦0を考慮して、 xc :xb ={yc 2 +d2 +h2 }1/2 :{h2 +(d+yb)2 }1/2 よって、 xb =[{h2 +(d+yb)2 }1/2 /{yc 2 +d2 +h2 }1/2 ]・xc …(7)
【0025】次に、図9示すように△OT1 Q1 ,△O
SPについて考えると、両三角形は相似であり、T1 Q
1 :SP=T1 O:SOであるので、ya,yb ≦0を考
慮して、 xc :xb =(d+ya):(d+yb) よって、 xb ={(d+yb)/(d+ya)}・xc ここで、 ya =yc ・cosα であるので、 xb ={(d+yb)/(d+yc ・cosα)}・xc …(8)
SPについて考えると、両三角形は相似であり、T1 Q
1 :SP=T1 O:SOであるので、ya,yb ≦0を考
慮して、 xc :xb =(d+ya):(d+yb) よって、 xb ={(d+yb)/(d+ya)}・xc ここで、 ya =yc ・cosα であるので、 xb ={(d+yb)/(d+yc ・cosα)}・xc …(8)
【0026】ところで、この(7),(8)式は、カメ
ラ座標系の第1または第2象限に輪郭の頂点が存在する
場合の前述した(1),(2)式と同様であるので、以
下、全く同様にして、カメラ座標系の第3または第4象
限に輪郭の頂点が存在しても、xc ,yc の値からxb
,yb を計算できる。
ラ座標系の第1または第2象限に輪郭の頂点が存在する
場合の前述した(1),(2)式と同様であるので、以
下、全く同様にして、カメラ座標系の第3または第4象
限に輪郭の頂点が存在しても、xc ,yc の値からxb
,yb を計算できる。
【0027】次に、物体のベース座標の高さを計算する
アルゴリズムについて説明する。上述した(5),
(6)に示す変換アルゴリズムは、ベース座標系のXb
−Yb 平面に限定している。よって、図4に示す頂点の
中で、Xb −Yb 平面上に存在する3個の頂点P1 ,P
2 ,P3 についてはその位置を求めることは可能である
が、Xb −Yb 平面上に存在しない残りの頂点について
はその位置を算出することができない。そこで、それら
の頂点の座標変換アルゴリズムについて説明する。
アルゴリズムについて説明する。上述した(5),
(6)に示す変換アルゴリズムは、ベース座標系のXb
−Yb 平面に限定している。よって、図4に示す頂点の
中で、Xb −Yb 平面上に存在する3個の頂点P1 ,P
2 ,P3 についてはその位置を求めることは可能である
が、Xb −Yb 平面上に存在しない残りの頂点について
はその位置を算出することができない。そこで、それら
の頂点の座標変換アルゴリズムについて説明する。
【0028】以下に、頂点P4 のベース座標を求める場
合の例を説明する。図10に示すようなベース座標系での
位置関係である場合に、点P3 のベース座標を(xb2,
yb2,0)、点P4 のベース座標を(xb2,yb2,z
h)、点P4 に対応する点P4 ′のベース座標を(xb1,
yb1,0)とする。なお、点P4 ′のベース座標値xb
1,yb1は、点P4 のカメラ座標値に基づいて前述の
(5),(6)にて算出する。図10において、(yb1+
d):(yb1−yb2)=h:zh であるので、 zh ={h(yb1−yb2)}/(yb1+d) …(9)
合の例を説明する。図10に示すようなベース座標系での
位置関係である場合に、点P3 のベース座標を(xb2,
yb2,0)、点P4 のベース座標を(xb2,yb2,z
h)、点P4 に対応する点P4 ′のベース座標を(xb1,
yb1,0)とする。なお、点P4 ′のベース座標値xb
1,yb1は、点P4 のカメラ座標値に基づいて前述の
(5),(6)にて算出する。図10において、(yb1+
d):(yb1−yb2)=h:zh であるので、 zh ={h(yb1−yb2)}/(yb1+d) …(9)
【0029】図10の例は、yb1≧0,yb2≦0の場合に
ついて説明したが、yb1,yb2の正負の符号の他の場合
についても同様に行える。
ついて説明したが、yb1,yb2の正負の符号の他の場合
についても同様に行える。
【0030】図11に示すように、yb1≧0,yb2≧0で
ある場合、点P3 ,点P4 ,点P4′のベース座標を上
記と同様に設定すると、全く同様に、(yb1+d):
(yb1−yb2)=h:zh であるので、 zh ={h(yb1−yb2)}/(yb1+d) と、(9)式と同じ算出式になる。
ある場合、点P3 ,点P4 ,点P4′のベース座標を上
記と同様に設定すると、全く同様に、(yb1+d):
(yb1−yb2)=h:zh であるので、 zh ={h(yb1−yb2)}/(yb1+d) と、(9)式と同じ算出式になる。
【0031】また、図12に示すように、yb1≦0,yb2
≦0である場合にも、点P3 ,点P 4 ,点P4 ′のベー
ス座標を上記と同様に設定すると、全く同様に、(yb1
+d):(yb1−yb2)=h:zh であるので、 zh ={h(yb1−yb2)}/(yb1+d) と、(9)式と同じ算出式になる。
≦0である場合にも、点P3 ,点P 4 ,点P4 ′のベー
ス座標を上記と同様に設定すると、全く同様に、(yb1
+d):(yb1−yb2)=h:zh であるので、 zh ={h(yb1−yb2)}/(yb1+d) と、(9)式と同じ算出式になる。
【0032】このようにして、各頂点の高さ(Zb 軸方
向の座標)を、算出した縦,横の長さ(Xb 軸,Yb 軸
方向の座標)を用いて求めることができる。
向の座標)を、算出した縦,横の長さ(Xb 軸,Yb 軸
方向の座標)を用いて求めることができる。
【0033】以上のように、カメラ座標系における認識
対象の物体の各頂点の座標に基づき、前述の(5),
(6),(9)式に従ってベース座標系におけるその各
頂点の座認を計算できる。従って、算出した座標値によ
り、その物体(直方体)の寸法,稜線方向,位置を含む
種々の3次元情報を得ることが可能である。
対象の物体の各頂点の座標に基づき、前述の(5),
(6),(9)式に従ってベース座標系におけるその各
頂点の座認を計算できる。従って、算出した座標値によ
り、その物体(直方体)の寸法,稜線方向,位置を含む
種々の3次元情報を得ることが可能である。
【0034】
【発明の実施の形態】以下、本発明をその実施の形態を
示す図面に基づいて具体的に説明する。
示す図面に基づいて具体的に説明する。
【0035】以下に示す実施の形態では、認識する物体
が直方体であるという既知情報と単眼の画像処理装置か
ら得られる2次元情報とを組み合わせて物体の3次元情
報(物体の寸法,稜線方向及び位置)を検出する手法に
ついて説明する。図1は、本発明の物体認識方法の実施
状態の一例を示す概略図である。
が直方体であるという既知情報と単眼の画像処理装置か
ら得られる2次元情報とを組み合わせて物体の3次元情
報(物体の寸法,稜線方向及び位置)を検出する手法に
ついて説明する。図1は、本発明の物体認識方法の実施
状態の一例を示す概略図である。
【0036】図1において、1は認識対象となる直方体
状の被認識物体Aを載置する載置台である。載置台1の
近傍には、被認識物体Aを撮影してその画像を得るカメ
ラ2が配置されていると共に、カメラ2の撮像位置を照
らすための照明3,3が設けられている。なお、カメラ
2の視野は512 ×480 画素であり一般的な分解能を有し
ている。
状の被認識物体Aを載置する載置台である。載置台1の
近傍には、被認識物体Aを撮影してその画像を得るカメ
ラ2が配置されていると共に、カメラ2の撮像位置を照
らすための照明3,3が設けられている。なお、カメラ
2の視野は512 ×480 画素であり一般的な分解能を有し
ている。
【0037】カメラ2にて得られた画像信号は、物体認
識部4に送られる。物体認識部4は、カメラ2から入力
される画像信号を処理可能な画像情報に変換するカメラ
入力I/F(インターフェース)41と、画像情報に対す
る各種の処理(微分処理,2値化処理,細線化処理等)
を行う画像処理プロセッサ42と、被認識物体Aの原画像
情報及び各種の処理後の画像情報を格納する画像メモリ
43と、被認識物体Aの処理後の画像情報に基づいてその
各頂点のカメラ座標値を求め、求めたカメラ座標値を座
標変換のアルゴリズムに従ってベース座標値に変換し、
その各頂点のベース座標値に基づいて被認識物体Aの3
次元情報(寸法,稜線方向及び位置等の情報)を検出す
るコンピュータ44とを有する。
識部4に送られる。物体認識部4は、カメラ2から入力
される画像信号を処理可能な画像情報に変換するカメラ
入力I/F(インターフェース)41と、画像情報に対す
る各種の処理(微分処理,2値化処理,細線化処理等)
を行う画像処理プロセッサ42と、被認識物体Aの原画像
情報及び各種の処理後の画像情報を格納する画像メモリ
43と、被認識物体Aの処理後の画像情報に基づいてその
各頂点のカメラ座標値を求め、求めたカメラ座標値を座
標変換のアルゴリズムに従ってベース座標値に変換し、
その各頂点のベース座標値に基づいて被認識物体Aの3
次元情報(寸法,稜線方向及び位置等の情報)を検出す
るコンピュータ44とを有する。
【0038】コンピュータ44は、被認識物体Aの頂点の
ベース座標値を算出する座標変換アルゴリズムのプログ
ラム,求めた各頂点のベース座標値から被認識物体Aの
3次元情報を計算するプログラム等を、それらのプログ
ラムが記録されている磁気ディスク等の記録媒体45から
ロードする。また、物体認識部4には、物体認識部4に
おける認識結果を入力して表示するディスプレイ5が接
続されている。
ベース座標値を算出する座標変換アルゴリズムのプログ
ラム,求めた各頂点のベース座標値から被認識物体Aの
3次元情報を計算するプログラム等を、それらのプログ
ラムが記録されている磁気ディスク等の記録媒体45から
ロードする。また、物体認識部4には、物体認識部4に
おける認識結果を入力して表示するディスプレイ5が接
続されている。
【0039】次に、動作について説明する。図2は本発
明の物体認識方法の処理手順を示すフローチャートであ
る。
明の物体認識方法の処理手順を示すフローチャートであ
る。
【0040】まず、ベース座標系の原点とカメラ座標系
の原点とが一致し、かつ、ベース座標系の座標軸Xb と
カメラ座標系の座標軸Xc とが一致するように、両座標
系を設定する(ステップS1)。次に、載置台1に被認
識物体Aを置き、その被認識物体Aをカメラ2で撮影し
て画像信号を得る。得られた画像信号はカメラ入力I/
F41に入力されて画像情報に変換され、その原画像情報
が一旦画像メモリ43に格納される(ステップS2)。次
いで、この原画像に微分処理,2値化処理,細線化処理
を含む画像処理を施して、図4に示すように被認識物体
Aの辺縁のみを抽出する(ステップS3 )。
の原点とが一致し、かつ、ベース座標系の座標軸Xb と
カメラ座標系の座標軸Xc とが一致するように、両座標
系を設定する(ステップS1)。次に、載置台1に被認
識物体Aを置き、その被認識物体Aをカメラ2で撮影し
て画像信号を得る。得られた画像信号はカメラ入力I/
F41に入力されて画像情報に変換され、その原画像情報
が一旦画像メモリ43に格納される(ステップS2)。次
いで、この原画像に微分処理,2値化処理,細線化処理
を含む画像処理を施して、図4に示すように被認識物体
Aの辺縁のみを抽出する(ステップS3 )。
【0041】抽出した辺縁の6個の頂点(図4の頂点P
1 〜P6 )のカメラ座標を求める(ステップS4)。そ
して、載置台1の表面(ベース座標系のXb −Yb 平
面)に接する3個の頂点P1 ,P2 ,P3 について、そ
のカメラ座標値から前述の(5),(6)式に従ってそ
のベース座標値を算出する(ステップS5)。次に、頂
点P4 に対応する点P4 ′(図10,11,12参照)のベー
ス座標値を(5),(6)式に従って算出する(ステッ
プS6)。次に、算出したP3 ,P4 ′のベース座標値
に基づき前述の(9)式に従って頂点P4 のベース座標
値を算出する(ステップS7)。
1 〜P6 )のカメラ座標を求める(ステップS4)。そ
して、載置台1の表面(ベース座標系のXb −Yb 平
面)に接する3個の頂点P1 ,P2 ,P3 について、そ
のカメラ座標値から前述の(5),(6)式に従ってそ
のベース座標値を算出する(ステップS5)。次に、頂
点P4 に対応する点P4 ′(図10,11,12参照)のベー
ス座標値を(5),(6)式に従って算出する(ステッ
プS6)。次に、算出したP3 ,P4 ′のベース座標値
に基づき前述の(9)式に従って頂点P4 のベース座標
値を算出する(ステップS7)。
【0042】そして、以上のようにして算出した頂点P
1 ,P2 ,P3 ,P4 のベース座標値に基づいて、直方
体状をなす被認識物体Aの寸法,稜線方向,位置を含む
種々の3次元情報を得る(ステップS8)。
1 ,P2 ,P3 ,P4 のベース座標値に基づいて、直方
体状をなす被認識物体Aの寸法,稜線方向,位置を含む
種々の3次元情報を得る(ステップS8)。
【0043】1つの被認識物体に対する認識処理が終了
すると、認識すべき被認識物体が残存しているか否かを
判断する(ステップS9)。残存している場合には、ス
テップS2に戻って、再び被認識物体の載置台1への載
置からの処理動作を繰り返す。一方、残存していない場
合には、処理動作を終了する。
すると、認識すべき被認識物体が残存しているか否かを
判断する(ステップS9)。残存している場合には、ス
テップS2に戻って、再び被認識物体の載置台1への載
置からの処理動作を繰り返す。一方、残存していない場
合には、処理動作を終了する。
【0044】
【発明の効果】以上のように、本発明では、設置するカ
メラが1台で良いので、2台のカメラを用いるステレオ
画像法に比べて安価である、また、スリット光投影法に
比べて扱うデータ量が少ないので認識処理速度が速い
等、本発明は優れた効果を奏する。
メラが1台で良いので、2台のカメラを用いるステレオ
画像法に比べて安価である、また、スリット光投影法に
比べて扱うデータ量が少ないので認識処理速度が速い
等、本発明は優れた効果を奏する。
【図1】本発明の物体認識方法の実施状態を示す概略図
である。
である。
【図2】本発明の物体認識方法の手順を示すフローチャ
ートである。
ートである。
【図3】物体の撮影画像を示す図である。
【図4】物体の輪郭を抽出した例を示す図である。
【図5】本発明における座標変換式算出の原理を説明す
るための図である。
るための図である。
【図6】本発明における座標変換式算出の原理を説明す
るための図である。
るための図である。
【図7】本発明における座標変換式算出の原理を説明す
るための図である。
るための図である。
【図8】本発明における座標変換式算出の原理を説明す
るための図である。
るための図である。
【図9】本発明における座標変換式算出の原理を説明す
るための図である。
るための図である。
【図10】本発明における座標変換式算出の原理を説明
するための図である。
するための図である。
【図11】本発明における座標変換式算出の原理を説明
するための図である。
するための図である。
【図12】本発明における座標変換式算出の原理を説明
するための図である。
するための図である。
【図13】従来法(ステレオ画像法)の原理を説明する
ための概略図である。
ための概略図である。
【図14】従来法(スリット光投影法)の原理を説明す
るための概略図である。
るための概略図である。
1 載置台 2 カメラ 3 照明 4 物体認識部 42 画像処理プロセッサ 44 コンピュータ 45 記録媒体 A 被認識物体
Claims (4)
- 【請求項1】 稜線が直線である物体の3次元情報を、
該物体を撮像して得た画像の画像処理を用いて認識する
方法において、前記物体が設けられている空間の3次元
直交座標系、及び、前記物体の撮像画像の2次元直交座
標系を、前記3次元直交座標系の原点と前記2次元直交
座標系の原点とが一致すると共に、前記3次元直交座標
系の直交軸の1つと前記2次元直交座標系の直交軸の1
つとが同一となるように、設定するステップと、前記撮
像画像の2次元直交座標系における前記物体の頂点の座
標を前記3次元直交座標系における座標に変換するステ
ップと、変換した前記3次元直交座標系における前記物
体の頂点の座標に基づいて、前記物体の3次元情報を求
めるステップとを有することを特徴とする物体認識方
法。 - 【請求項2】 前記物体の3次元情報は、前記物体の寸
法,稜線方向及び位置の各情報を含むことを特徴とする
請求項1記載の物体認識方法。 - 【請求項3】 稜線が直線である物体の3次元情報を、
該物体を撮像して得た画像の画像処理を用いて認識する
装置において、認識対象の物体を撮像して撮像画像を得
る手段と、前記物体が設けられている空間の3次元直交
座標系、及び、前記物体の撮像画像の2次元直交座標系
を、前記3次元直交座標系の原点と前記2次元直交座標
系の原点とが一致すると共に、前記3次元直交座標系の
直交軸の1つと前記2次元直交座標系の直交軸の1つと
が同一となるように、設定する手段と、前記物体の撮影
画像に画像処理を施してその2次元直交座標系における
前記物体の頂点の座標を求める手段と、求めた2次元直
交座標系における前記物体の頂点の座標を前記3次元直
交座標系における座標に変換する手段と、変換した前記
3次元直交座標系における前記物体の頂点の座標に基づ
いて、前記物体の3次元情報を求める手段とを備えるこ
とを特徴とする物体認識装置。 - 【請求項4】 稜線が直線である物体の3次元情報を、
該物体を撮像して得た画像の画像処理を用いて認識する
ためのコンピュータプログラムを記録した記録媒体にお
いて、前記物体が設けられている空間の3次元直交座標
系、及び、前記物体の撮像画像の2次元直交座標系を、
前記3次元直交座標系の原点と前記2次元直交座標系の
原点とが一致すると共に、前記3次元直交座標系の直交
軸の1つと前記2次元直交座標系の直交軸の1つとが同
一となるように、設定するステップと、前記撮像画像の
2次元直交座標系における前記物体の頂点の座標を前記
3次元直交座標系における座標に変換するステップと、
変換した前記3次元直交座標系における前記物体の頂点
の座標に基づいて、前記物体の3次元情報を求めるステ
ップとを含むコンピュータプログラムを記録したことを
特徴とする記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8186473A JPH1030917A (ja) | 1996-07-16 | 1996-07-16 | 物体認識方法及び装置並びに記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8186473A JPH1030917A (ja) | 1996-07-16 | 1996-07-16 | 物体認識方法及び装置並びに記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH1030917A true JPH1030917A (ja) | 1998-02-03 |
Family
ID=16189098
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP8186473A Pending JPH1030917A (ja) | 1996-07-16 | 1996-07-16 | 物体認識方法及び装置並びに記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH1030917A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004219255A (ja) * | 2003-01-15 | 2004-08-05 | Matsushita Electric Ind Co Ltd | サイズ測定装置、方法および測定プログラム |
CN102107179A (zh) * | 2010-12-14 | 2011-06-29 | 浙江工业大学 | 一种基于双目视觉的单层皮革涂胶控制方法 |
JP2011138267A (ja) * | 2009-12-28 | 2011-07-14 | Seiko Epson Corp | 三次元画像処理装置、三次元画像処理方法および三次元画像処理プログラムを記録した媒体 |
CN102135417A (zh) * | 2010-12-26 | 2011-07-27 | 北京航空航天大学 | 一种全自动三维特征提取方法 |
CN103344190A (zh) * | 2013-06-26 | 2013-10-09 | 科瑞自动化技术(深圳)有限公司 | 一种基于线扫描的弹性臂姿态测量方法及系统 |
CN109186461A (zh) * | 2018-07-27 | 2019-01-11 | 南京阿凡达机器人科技有限公司 | 一种箱体大小的测量方法及测量设备 |
-
1996
- 1996-07-16 JP JP8186473A patent/JPH1030917A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004219255A (ja) * | 2003-01-15 | 2004-08-05 | Matsushita Electric Ind Co Ltd | サイズ測定装置、方法および測定プログラム |
JP2011138267A (ja) * | 2009-12-28 | 2011-07-14 | Seiko Epson Corp | 三次元画像処理装置、三次元画像処理方法および三次元画像処理プログラムを記録した媒体 |
CN102107179A (zh) * | 2010-12-14 | 2011-06-29 | 浙江工业大学 | 一种基于双目视觉的单层皮革涂胶控制方法 |
CN102135417A (zh) * | 2010-12-26 | 2011-07-27 | 北京航空航天大学 | 一种全自动三维特征提取方法 |
CN103344190A (zh) * | 2013-06-26 | 2013-10-09 | 科瑞自动化技术(深圳)有限公司 | 一种基于线扫描的弹性臂姿态测量方法及系统 |
CN109186461A (zh) * | 2018-07-27 | 2019-01-11 | 南京阿凡达机器人科技有限公司 | 一种箱体大小的测量方法及测量设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2919284B2 (ja) | 物体認識方法 | |
US11039121B2 (en) | Calibration apparatus, chart for calibration, chart pattern generation apparatus, and calibration method | |
JP2874710B2 (ja) | 三次元位置計測装置 | |
JP5713159B2 (ja) | ステレオ画像による3次元位置姿勢計測装置、方法およびプログラム | |
EP3067861A2 (en) | Determination of a coordinate conversion parameter | |
US20150262346A1 (en) | Image processing apparatus, image processing method, and image processing program | |
CN110926330B (zh) | 图像处理装置和图像处理方法 | |
JP2001126051A (ja) | 関連情報呈示装置及び関連情報呈示方法 | |
US20220335649A1 (en) | Camera pose determinations with depth | |
JP2559939B2 (ja) | 3次元情報入力装置 | |
JPH1030917A (ja) | 物体認識方法及び装置並びに記録媒体 | |
JPH0766436B2 (ja) | 連続シルエット画像による3次元モデル構成装置 | |
Tehrani et al. | A new approach to 3D modeling using structured light pattern | |
Aliakbarpour et al. | Multi-sensor 3D volumetric reconstruction using CUDA | |
JP2939577B2 (ja) | 物体認識方法及び装置 | |
Matas et al. | Object recognition using a tag | |
JP3452188B2 (ja) | 2次元動画像中の特徴点の追跡方法 | |
Abdelhamid et al. | Extracting depth information using a correlation matching algorithm | |
Hu | It's all done with mirrors: Calibration-and-correspondence-free 3D reconstruction | |
JP2586454B2 (ja) | 三次元位置抽出方式 | |
JP2003256811A (ja) | 3次元情報復元装置、3次元情報復元方法、3次元情報復元方法のプログラムおよびこのプログラムを記録した記録媒体 | |
Gee et al. | Estimating extrinsic parameters between a stereo rig and a multi-layer lidar using plane matching and circle feature extraction | |
JPH0629695B2 (ja) | ステレオ視覚装置 | |
Zhou et al. | Light Field Stitching Based On Concentric Spherical Modeling | |
JPH0668765B2 (ja) | 円の3次元計測方法 |