JPH1139496A - 平面の姿勢推定方法およびその装置 - Google Patents

平面の姿勢推定方法およびその装置

Info

Publication number
JPH1139496A
JPH1139496A JP9191696A JP19169697A JPH1139496A JP H1139496 A JPH1139496 A JP H1139496A JP 9191696 A JP9191696 A JP 9191696A JP 19169697 A JP19169697 A JP 19169697A JP H1139496 A JPH1139496 A JP H1139496A
Authority
JP
Japan
Prior art keywords
shape
plane
posture
appearance
possibility
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9191696A
Other languages
English (en)
Inventor
Akira Suzuki
章 鈴木
Kimitomo Kobayashi
公知 小林
Osamu Nakamura
修 中村
Kenji Ogura
健司 小倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP9191696A priority Critical patent/JPH1139496A/ja
Publication of JPH1139496A publication Critical patent/JPH1139496A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 平面上に複雑な曲線から構成される図形が存
在する場合にも姿勢の推定ができ、広い範囲で使用でき
る平面の姿勢推定方法及び装置を提供する。 【解決手段】 図形形状抽出手段1により単眼視のカメ
ラ入力画像から平面の姿勢を表すパラメータ空間におけ
る図形形状を表す情報を抽出し、姿勢探索手段2に送
る。姿勢探索手段2は、パラメータ評価結果格納テーブ
ルを有し、パラメータの組み合わせと抽出情報を射影変
換手段3に送る。射影変換手段3は、平面の姿勢を表す
パラメータを用いて図形の形状を表す情報を射影変換す
る。姿勢探索手段2は、射影変換手段3から図形の形状
の情報を受け取り図形形状評価手段4に送る。図形形状
評価手段4はその図形の形状の出現の可能性を評価し、
姿勢探索手段2は得られた評価結果をパラメータ評価結
果格納テーブルに書き込み、全ての組み合わせの評価の
完了時点で、最も高い評価の組み合わせを出力する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】カメラによって撮影された画
像を認識するコンピュータビジョンの技術は、産業用ロ
ボットの視覚として広く利用されてきた。また最近は車
両監視等の新しい分野も広がっている。その中で、カメ
ラが撮影した画像から撮影対象物体の3次元的な姿勢を
認識し図形形状を評価することは重要な課題である。そ
の中でも、平面の姿勢の推定は基本技術である。本発明
は、単一のカメラによる撮影時(単眼視と呼ぶ)の平面
上の図形の歪みを利用して、広い分野で平面の姿勢推定
を実現するための技術に関する。
【0002】
【従来の技術】単眼視の平面の姿勢の推定技術として
は、平面上に存在する図形の幾何学的な性質を利用する
方法が主流である。
【0003】具体的な方法としては、平面上の複数の平
行線の対から消失線を求め、消失線から平面の姿勢を推
定する方法や、角度が既知の2直線の交角から平面の姿
勢を推定する方法がある。
【0004】
【発明が解決しようとする課題】しかしながら、上記従
来の方法には、平行線や交角のような数学的に扱いやす
い性質を用いているため、そのような性質を持たない図
形、例えば複雑な曲線から構成される図形が平面上に存
在する場合には適用できないという問題点があった。
【0005】本発明は、上記事情に鑑みてなされたもの
で、その課題とするところは、従来の技術における、姿
勢の推定できない図形が存在するという問題を解消し、
広い範囲で使用できる平面の姿勢推定法およびその装置
を提供することにある。
【0006】
【課題を解決するための手段】本発明の上述の課題は、
以下の〈1〉〜〈6〉の手段によって解決される。
【0007】〈1〉単眼視のカメラで撮影した画像中の
被撮影平面の3次元空間内の姿勢を推定する方法であっ
て、平面の姿勢を表すパラメータの空間において、画像
中から対象平面上に存在する図形の形状を抽出し、前記
図形の形状を前記パラメータを用いて仮想的に設けた平
面に向かってカメラ視点を投影中心とした射影変換を行
い、前記射影変換の結果として得られた図形について形
状の出現の可能性を評価し、前記評価の結果で高い出現
の可能性を持つパラメータを探索することで平面の姿勢
の推定を行う、ことを特徴とする平面の姿勢推定方法。
【0008】〈2〉前記図形について形状の出現の可能
性の評価では、出現する図形に、互いになす角度が既知
の線分が含まれていることを前提とし、かつ射影変換に
よって得られた図形に含まれる線分のなす角度を前記図
形の形状の出現の可能性の評価に用いることを特徴とす
る平面の姿勢推定方法。
【0009】〈3〉前記画像中から対象平面上に存在す
る図形の形状の抽出については、対象平面上に存在する
イメージは複数行に渡って書かれた文字列であることを
前提とし、かつ文字列を構成する個々の文字パターンを
切り出して、各々の文字パターンを代表する点の座標の
集合を作成し、前記点の座標の集合の輪郭から長方形を
抽出する、ことを特徴とする平面の姿勢推定方法。
【0010】〈4〉単眼視のカメラで撮影した画像中の
被撮影平面の3次元空間内の姿勢を推定する装置であっ
て、画像中から対象平面上に存在する図形の形状を抽出
する図形形状抽出手段と、前記図形の形状に対して射影
変換を行う射影変換手段と、前記射影変換手段から出力
された図形の形状の出現の可能性を評価する図形形状評
価手段と、平面の姿勢を表すパラメータの空間において
高い可能性を持つパラメータを探索する姿勢探索手段
と、から構成されることを特徴とする平面の姿勢推定装
置。
【0011】〈5〉前記図形形状評価手段は、出現する
図形に、互いになす角度が既知の線分が含まれているこ
とを前提とし、かつ射影変換によって得られた図形に含
まれる線分のなす角度を前記図形の形状の出現の可能性
の評価に用いるものである、ことを特徴とする平面の姿
勢推定装置。
【0012】〈6〉前記図形形状抽出手段は、対象平面
上に存在するイメージが複数行に渡って書かれた文字列
であることを前提とし、かつ文字列を構成する個々の文
字パターンを切り出して、各々の文字パターンを代表す
る点の座標の集合を作成し、前記点の座標の集合の輪郭
から長方形を抽出するものである、ことを特徴とする平
面の姿勢推定装置。
【0013】本発明に係わる平面の姿勢推定方法および
その装置においては、平面の姿勢を表すパラメータの空
間において、単眼視のカメラ撮影の画像中から対象平面
上に存在する図形の形状を抽出し、この図形の形状を前
記パラメータを用いて仮想的に設けた平面に向かって射
影変換を行い、その結果として得られた図形について形
状の出現の可能性を評価し、その評価の結果で高い出現
の可能性を持つパラメータを探索して姿勢を推定するこ
とで、従来姿勢の推定ができなかった平行線や交角のよ
うな数学的に扱いやすい性質を持たない図形、例えば複
雑な曲線から構成される図形が平面上に存在するような
場合にも姿勢の推定できるようにし、これによって技術
の適用範囲を拡大可能にする。
【0014】
【発明の実施の形態】以下、図面を用いて本発明の実施
形態例を説明する。
【0015】図1は、本発明の一実施形態例に係わる処
理ブロック図である。図1において、1はカメラより入
力した画像から姿勢推定対象となる平面に含まれる図形
の形状を抽出する図形形状抽出手段、2は平面の姿勢を
表すパラメータの空間において高い可能性を持つパラメ
ータを探索する姿勢探索手段、3は図形の形状に対して
射影変換を行う射影変換手段、4は図形の形状の出現の
可能性を評価する図形形状評価手段である。以下、図1
に示した処理ブロックの詳細な動作について説明する。
【0016】図2は、本実施形態例で前提とするカメラ
の視点、透視平面、対象平面の位置関係を表す図であ
る。
【0017】観測者を中心とする座標系を、視点を原点
Oとする直交座標u−v−wで表す。また、透視平面上
の座標をx−yで表し、カメラの焦点距離をf、対象平
面の原点までの距離をLとする。また、対象平面上の2
次元座標をU−Vで表す。
【0018】平面の姿勢は、3軸の周りの回転の角度と
いう3つのパラメータで表されるが、本実施形態例では
説明の簡単化のためにその中の奥行き方向の軸を除く2
軸について推定するものとする。具体的には、対象平面
は、u−v平面に平行でw軸方向に原点からL離れた平
面(これをu′−v′軸で表す)を、まずv″軸の周り
にθ回転し、その次に平面内に新たにできた水平軸(U
軸)の周りにψ回転したものとする。
【0019】この時、透視平面上で(x,y)で表され
る点を射影変換により対象平面に透視した点をU−V座
標系で表すと、以下のようになる。
【0020】 U=L(x・cosψ−y・sinθ・sinψ)/{−x・sinθ・co sψ+y・sinψ+f・cosθ・cosψ} …(1) V=yL・cosθ/{−x・sinθ・cosψ+y・sinψ+f・co sθ・cosψ} …(2) 図3に図形形状抽出手段1の処理過程の例を示す。本実
施形態例では、対象を長方形として説明するが、これに
限定されるものではない。長方形の場合では、4つの交
角の座標を形状を表す情報として用いる。まず、画像か
ら長方形の4つの辺が抽出される。この処理は、例えば
原画像から微分処理によってエッジの点の集合を検出
し、そのエッジ点集合から直線成分を検出することによ
って行うことができる。エッジ点集合からの直線成分の
検出は、ハフ変換を用いれば容易に可能である。ハフ変
換に関する説明は、例えば「画像解析ハンドブック」
(青木幹雄、下田陽久 監修)に書かれている。次に4
つの辺の交点から4つの交角の座標を求める。こうして
図形形状抽出手段1によって、カメラ入力画像から図形
の形状を表す情報が抽出され、姿勢探索手段2に送られ
る。
【0021】本実施形態例によれば、対象平面上に存在
するイメージが複数行に渡って書かれた文字列であるこ
とを前提とすることもできる、この場合、文字列を構成
する個々の文字パターンを切り出して、各々の文字パタ
ーンを代表する点の座標の集合を作成し、この点の座標
の集合の輪郭から長方形を抽出する。
【0022】姿勢探索手段2は、平面の姿勢を表す2つ
の角度のパラメータθ、ψの値の組み合わせと、各組み
合わせの評価結果を格納するパラメータ評価結果格納テ
ーブルを有する。図4はパラメータ評価結果格納テーブ
ルの初期の状態の例を表す。図4の例では、調べるθ、
ψの範囲は0°〜45°とし、間隔は5°となってい
る。図4において、「未」と表されるのは評価が終わっ
ていない組み合わせである。姿勢探索手段2は、パラメ
ータ評価結果格納テーブルの組み合わせの中で評価が終
わっていない組み合わせを探し、それを評価して値を書
き込む。そして全ての組み合わせの評価が完了した時点
で、最も高く評価されたパラメータの組み合わせを出力
する。
【0023】姿勢探索手段2による各々のパラメータの
組み合わせの評価は、以下のように行う。まず、姿勢探
索手段2は射影変換手段3にパラメータの組み合わせと
図形の形状を表す情報を送り、該パラメータの姿勢の平
面に該図形の形状を射影変換した時にどのような形状に
なるかを求める。例として、パラメータとして(θ,
ψ)=(0,0)が送られたものとする。
【0024】図5は、本実施形態例における射影変換手
段3での処理例を示す図である。射影変換手段3では、
受け取った平面の姿勢を表すパラメータを用いて、図形
の形状を表す情報を射影変換する。この場合には、単に
4つの交点の座標を式(1)と式(2)で変換するだけ
である。(θ,ψ)=(0,0)というパラメータの組
み合わせは、透視平面に平行な平面への射影変換なの
で、図形の形状は透視平面上の図形と変わらず、図5の
ように単に拡大されるだけの変換結果となる。
【0025】姿勢探索手段2は、次に射影変換手段3か
ら受け取った図形の形状の情報を図形形状評価手段4に
送り、その図形の形状の出現の可能性を評価する。
【0026】図形形状評価手段4の処理内容は図形の種
類によって異なるが、この実施形態例では長方形を対象
とするので、全ての交わらない2辺の組を選び、それぞ
れをベクトルとして扱った場合のベクトル差の大きさの
2乗の和を用いる。図5の例では、点(U0,V0)から
点(U3,V3)に向かうベクトルを、
【0027】
【数1】
【0028】とし、点(U1,V1)から点(U2,V2
に向かうベクトルを、
【0029】
【数2】
【0030】とする。両者の差
【0031】
【数3】
【0032】を図6に示す。
【0033】
【数4】
【0034】の大きさの2乗をFABとすると、 FAB={(U2−U1)−(U3−U0)}2+{(V2−V
1)−(V3−V0)}2 で表される。この値が小さいほど図形の形状の出現の可
能性は高いと評価できる。
【0035】この場合、例として評価値が12.3と計
算されたとすると、姿勢探索手段2は、図7に示すよう
にパラメータ評価結果格納テーブルの(θ,ψ)=
(0,0)のフィールドに12.3を書き込み、次のパ
ラメータの組み合わせの評価に移る。
【0036】
【発明の効果】以上、詳細に説明したとおり、本発明に
よれば、平面上に複雑な曲線によって構成される図形が
存在する場合にも姿勢の推定ができるという顕著な効果
を奏する。
【図面の簡単な説明】
【図1】本発明の一実施形態例の処理ブロックを説明す
るための図面である。
【図2】本発明の一実施形態例で前提とするカメラの視
点、透視平面、対象平面の位置関係を表す図面である。
【図3】図1に示した処理ブロックの中の図形形状抽出
手段の処理内容を詳細に説明するための図面である。
【図4】図1に示した処理ブロックの中の姿勢探索手段
が使用するパラメータ評価結果格納テーブルの初期状態
の例を説明するための図面である。
【図5】図1に示した処理ブロックの中の射影変換手段
の処理内容を詳細に説明するための図面である。
【図6】図1に示した処理ブロックの中の図形形状評価
手段の処理内容を詳細に説明するための図面である。
【図7】図1に示した処理ブロックの中の姿勢探索手段
が1組のパラメータの評価を終えた後のパラメータ評価
結果格納テーブルの状態の例を説明するための図面であ
る。
【符号の説明】
1…図形形状抽出手段 2…姿勢探索手段 3…射影変換手段 4…図形形状評価手段
───────────────────────────────────────────────────── フロントページの続き (72)発明者 小倉 健司 東京都新宿区西新宿3丁目19番2号 日本 電信電話株式会社内

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 単眼視のカメラで撮影した画像中の被撮
    影平面の3次元空間内の姿勢を推定する方法であって、 平面の姿勢を表すパラメータの空間において、画像中か
    ら対象平面上に存在する図形の形状を抽出し、 前記図形の形状を前記パラメータを用いて仮想的に設け
    た平面に向かってカメラ視点を投影中心とした射影変換
    を行い、 前記射影変換の結果として得られた図形について形状の
    出現の可能性を評価し、 前記評価の結果で高い出現の可能性を持つパラメータを
    探索することで平面の姿勢の推定を行う、 ことを特徴とする平面の姿勢推定方法。
  2. 【請求項2】 前記図形について形状の出現の可能性の
    評価では、出現する図形に、互いになす角度が既知の線
    分が含まれていることを前提とし、かつ射影変換によっ
    て得られた図形に含まれる線分のなす角度を前記図形の
    形状の出現の可能性の評価に用いる、 ことを特徴とする請求項1に記載の平面の姿勢推定方
    法。
  3. 【請求項3】 前記画像中から対象平面上に存在する図
    形の形状の抽出については、対象平面上に存在するイメ
    ージは複数行に渡って書かれた文字列であることを前提
    とし、かつ文字列を構成する個々の文字パターンを切り
    出して、各々の文字パターンを代表する点の座標の集合
    を作成し、前記点の座標の集合の輪郭から長方形を抽出
    する、 ことを特徴とする請求項1に記載の平面の姿勢推定方
    法。
  4. 【請求項4】 単眼視のカメラで撮影した画像中の被撮
    影平面の3次元空間内の姿勢を推定する装置であって、 画像中から対象平面上に存在する図形の形状を抽出する
    図形形状抽出手段と、 前記図形の形状に対して射影変換を行う射影変換手段
    と、 前記射影変換手段から出力された図形の形状の出現の可
    能性を評価する図形形状評価手段と、 平面の姿勢を表すパラメータの空間において高い可能性
    を持つパラメータを探索する姿勢探索手段と、 から構成されることを特徴とする平面の姿勢推定装置。
  5. 【請求項5】 前記図形形状評価手段は、出現する図形
    に、互いになす角度が既知の線分が含まれていることを
    前提とし、かつ射影変換によって得られた図形に含まれ
    る線分のなす角度を前記図形の形状の出現の可能性の評
    価に用いるものである、 ことを特徴とする請求項4に記載の平面の姿勢推定装
    置。
  6. 【請求項6】 前記図形形状抽出手段は、対象平面上に
    存在するイメージが複数行に渡って書かれた文字列であ
    ることを前提とし、かつ文字列を構成する個々の文字パ
    ターンを切り出して、各々の文字パターンを代表する点
    の座標の集合を作成し、前記点の座標の集合の輪郭から
    長方形を抽出するものである、 ことを特徴とする請求項4に記載の平面の姿勢推定装
    置。
JP9191696A 1997-07-17 1997-07-17 平面の姿勢推定方法およびその装置 Pending JPH1139496A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP9191696A JPH1139496A (ja) 1997-07-17 1997-07-17 平面の姿勢推定方法およびその装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9191696A JPH1139496A (ja) 1997-07-17 1997-07-17 平面の姿勢推定方法およびその装置

Publications (1)

Publication Number Publication Date
JPH1139496A true JPH1139496A (ja) 1999-02-12

Family

ID=16278959

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9191696A Pending JPH1139496A (ja) 1997-07-17 1997-07-17 平面の姿勢推定方法およびその装置

Country Status (1)

Country Link
JP (1) JPH1139496A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6727885B1 (en) 1999-09-07 2004-04-27 Nikon Corporation Graphical user interface and position or attitude detector
JP2011523742A (ja) * 2008-05-20 2011-08-18 本田技研工業株式会社 Rgb及び奥行き計測ハイブリッドカメラセンサを使用する長方形テーブル検知

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6727885B1 (en) 1999-09-07 2004-04-27 Nikon Corporation Graphical user interface and position or attitude detector
JP2011523742A (ja) * 2008-05-20 2011-08-18 本田技研工業株式会社 Rgb及び奥行き計測ハイブリッドカメラセンサを使用する長方形テーブル検知

Similar Documents

Publication Publication Date Title
JP6430064B2 (ja) データを位置合わせする方法及びシステム
US10049277B2 (en) Method and apparatus for tracking object, and method and apparatus for calculating object pose information
Tang et al. 3D mapping and 6D pose computation for real time augmented reality on cylindrical objects
JP2010541065A (ja) 3次元飲料容器位置決定装置
CN106570482B (zh) 人体动作识别方法及装置
CN111696072A (zh) 彩色图像的直线检测方法、装置、电子设备及存储介质
Okada et al. Integration of real-time binocular stereo vision and whole body information for dynamic walking navigation of humanoid robot
Dzwierzynska Reconstructing architectural environment from the perspective image
Ferreira et al. A real-time mosaicking algorithm using binary features for ROVs
JP3288086B2 (ja) 動物体抽出装置
JPH1139496A (ja) 平面の姿勢推定方法およびその装置
CN113609917B (zh) 人手位置信息确定方法及相关设备
JPH0695340B2 (ja) 画像マッチング方法
US20230135674A1 (en) 6d pose measurement method for mechanical parts based on virtual contour feature points
JP2018200175A (ja) 情報処理装置、情報処理方法及びプログラム
WO2024142571A1 (ja) 画像処理装置
David Detection of building facades in urban environments
JPH09330414A (ja) 画像マッチング方法およびその装置
Yeh et al. Model quality aware ransac: A robust camera motion estimator
JPS6228884A (ja) 被検出体像検出方式
Tarel Global 3D planar reconstruction with uncalibrated cameras and rectified stereo geometry
CN118537391A (zh) 一种动态场景下基于物体的slam重定位方法、系统及介质
Lee et al. Vanishing Point Detection using Reference Objects
JP2610625B2 (ja) 3次元空間に存在する物体の姿勢推定方法
Kaur et al. Creation and Implementation of Adaptive Algorithms For Visualization of Stereoscopic Face Mask