JPH10162147A - 被検体内のカメラ開口の位置と向きを決定する装置 - Google Patents

被検体内のカメラ開口の位置と向きを決定する装置

Info

Publication number
JPH10162147A
JPH10162147A JP9181922A JP18192297A JPH10162147A JP H10162147 A JPH10162147 A JP H10162147A JP 9181922 A JP9181922 A JP 9181922A JP 18192297 A JP18192297 A JP 18192297A JP H10162147 A JPH10162147 A JP H10162147A
Authority
JP
Japan
Prior art keywords
camera
feature
image
features
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP9181922A
Other languages
English (en)
Inventor
Kenneth Morris Martin
ケニス・モリス・マーティン
Jr Nelson Raymond Corby
ネルソン・レイモンド・コーバイ，ジュニア
Thomas Dean Verschure
トーマス・ディーン・ヴァースチャー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of JPH10162147A publication Critical patent/JPH10162147A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G01S5/163—Determination of attitude
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

(57)【要約】 【課題】遠隔カメラの位置及び向きを実時間で正確に知
ることが出来る装置を提供する。 【解決手段】オンライン姿勢判定と共にオフラインの特
徴の抽出が用いられる。特徴の抽出により、選ばれた１
組の図で見える、物体のＣＡＤモデルからの特徴が予じ
め計算される。オンライン姿勢判定は、初期の姿勢推定
値から出発し、モデルの見える特徴を決定し、それを２
次元画像座標系に投影し、夫々を現在のカメラ画像と釣
合せ、予測された位置及び釣合せた特徴の位置の間の差
を勾配下降方式で用いて、姿勢推定値を反復的に正確に
していく。装置のオンライン部分は、ビデオ・フレーム
の速度で実行される様に設計されており、ボアスコープ
の先端部の姿勢が絶えず表示される。

Description

【発明の詳細な説明】
【０００１】
【発明の分野】この発明は位置の可視的な判定、更に具
体的に云えば、被検体内の位置を可視的に細かく区別す
ることに関する。
【０００２】
【関連技術の説明】典型的には、遠隔カメラの開口の位
置及び向き（姿勢）を決定する必要がある。ボアスコー
プを使う場合、特にそうである。ボアスコープは可撓性
を持つ管であって、その一端にいるオペレータが管の他
端にある構造を見る事が出来るようにする。これは管の
長さに亘って伸びるコヒーレント・ファイバ束を用い
て、又はボアスコープの先端にある小型のビデオ・カメ
ラと他端にあるビデオ・モニタとを用いて構成すること
が出来る。典型的には、ボアスコープは直径が１センチ
又はそれ以下で、長さが数メートルであり、物体の接近
できない領域を検査するために使われる。例えば、ひび
割れや疲労が無いかどうかジェット機関の内部構造を検
査する時、外側から小さな穴を開けて、機関を飛行機か
ら取り外すことなく、ボアスコープを機関の中に入り込
ませる事が出来る。このような検査では、検査員が機関
内のボアスコープ先端（開口）の正確な位置を知ること
が困難である場合が多く、見つかった新しいひび割れの
場所を確認したり、或いは前に確認された不良箇所に戻
ることが困難になる。
【０００３】ＩＥＥＥ ＣＨ２９３４−８／９０／００
００／０６２６ 第６２６頁ないし６３５頁所載のヨシ
ノリ・クノ、ヤスカズ・オカモト、サトシ・オカダの論
文「３−Ｄモデルから作成された特徴探索方式を用いる
物体の確認」に記載されたカメラの姿勢を判定する方式
は、視野が小さいという問題があり、一度に物体の小さ
な部分しか見る事が出来ない。ジェット機関の内部には
同じように繰り返される構造が大量にあるので、姿勢の
判定は困難である。更に、高レベルの構造の確認を行う
のに必要な時間の間に、ボアスコープが遠くまで動き過
ぎで、一意的に位置を特定する事が出来ない事がある。
【０００４】IEEE ０−８１８６−７０４２（１９９５
年８月） 第１６頁ないし第２３頁所載のポール・ヴァ
イオラ及びウィリアム・ウェルズIIIの論文「相互情報
の最大化による整合」に記載される研究があるが、これ
は特徴の局地性を活用しておらず、予じめ処理された特
徴を全く利用していないので、遅すぎる。従来の方法
は、３Ｄ物体の特徴を、一個の画像から抽出した１組の
２Ｄの特徴と釣り合わせる。これと対照的に、部品は実
時間で検査しなければならないので、複雑な画像の特徴
を抽出して、これらの特徴を必要とするように敏速に釣
合せる事が出来ない。
【０００５】現在、遠隔カメラの位置及び向きを正確に
決定する装置に対する必要がある。
【０００６】
【発明の要約】この発明は被検体内のカメラ開口の位置
及び向きの「姿勢」を決定する為に、計算機モデルと生
のビデオを用いる。計算機モデルから、オフライン過程
で局部的な３Ｄの縁の特徴を決定する。計算機モデルの
３Ｄの縁要素（エッジエル）の特徴を２Ｄに投影し、生
のビデオ画像の画素強度と比較する。現在の姿勢推定値
を使って、３Ｄエッジエルの特徴の処理を、カメラ開口
から見えるものに制限する。
【０００７】投影されたエッジエルの法線方向に沿った
オンラインの反復的な探索により、カメラの画像とエッ
ジエルの投影された画像との間の釣合いのピークを決定
する。これによって、投影されたエッジエル当たりの１
次元又は２次元のオフセット誤差が得られる。オンライ
ンの釣合せは、反復的な過程であって、姿勢推定値を絶
えず調節する。
【０００８】
【発明の目的】この発明の目的は、被検体の内部の視覚
的な場面を被検体の計算機で発生されたモデルから抽出
した特徴と比較する事により、被検体内の遠隔カメラの
開口の位置と向きを決定する装置を提供する事である。
この発明の別の目的は実時間の内部検査装置を提供する
事である。
【０００９】この発明の新規と考えられる特徴は特許請
求の範囲に具体的に記載してあるが、この発明自体の構
成、作用並びにその他の目的及び利点は以下図面につい
て説明するところから最も良く理解されよう。
【００１０】
【発明の詳しい説明】この発明は、図１のオフライン特
徴抽出装置１０とオンライン姿勢判定装置２０の２つの
主な構成要素を用いる。この装置の作用は次に述べる通
りである。
【００１１】
【オフライン特徴抽出装置】この発明はモデル・メモリ
１３に予じめ記憶された、検査しようとする被検体の計
算機モデルを必要とする。モデル発生器１２を使って計
算機モデルを発生する事もできる。１実施例では、モデ
ル発生器１２は密実な物体の計算機モデルを発生する計
算機支援設計（ＣＡＤ）ワークステーションであって良
い。別の実施例ではモデル発生器１２は、医療用作像で
普通に行われているように、被検体を走査して被検体の
構造の計算機モデルを作る計算機ワークステーションに
結合されたＸ線又は磁気共鳴（ＭＲ）スキャナであって
良い。
【００１２】サンプル点発生器１５がモデル・メモリ１
３から計算機モデルを読み取り、カメラの開口又はボア
スコープが移動できるかもしれないような内部の空所を
含む３Ｄサンプル点のリストを作成する。これらの点
は、計算機モデルによって囲まれた３Ｄ領域、即ち空所
の一様な又は一様でない標本化によってサンプル点発生
器１５によって発生する事が出来る。
【００１３】サンプル点発生器１５によって決定された
各々のサンプル点で、画像発生器１７が、このサンプル
点から見たＣＡＤモデルの２Ｄ画像の集合を発生する。
従来の計算機グラフィック方式を画像発生器１７で使っ
て、現在のサンプル点から６つの方形画像を出す事が出
来る。画像の各々の軸線は９０゜を見込んでおり、６つ
の画像全部の組み合わせが、３つの軸線を方位とする閉
じた立方体を形成する。画像が、これらの画像の集合が
選択されたサンプル点を完全に取り囲む事を保証するよ
うに選ばれる。
【００１４】できる限りよい特徴を得るため、計算機モ
デルの材料の鏡面性及び散光性を調節して、画像発生器
１５から計算機によって作られた画像が、現在検査して
いる部品のビデオとよく似ているようにする。物理的な
部品の性質と合う材料の性質をこの画像を出すために選
ぶ。画像発生器１７によって発生された各々の画像に対
し、特徴確認装置１９が大きな強度勾配を持つ縁を検出
して抽出する。特徴確認装置１９は、どの縁が隣接して
いるか、或いは一個の特徴からのものであると確認され
るくらいに接近しているかをも確認する。隣接した縁は
「エッジエル・チエーン」と呼ぶ。次に画像発生器１７
が、最も大きい勾配を持つエッジエル・チエーンの一定
寸法の部分集合を選ぶ。典型的には、カメラ開口の中心
を通る軸線に対して最小限３゜ないし５゜の角度の隔た
りで３０個ないし５０個の特徴が抽出される。最大の勾
配を持つエッジエルが最初に処理され、勾配が一層小さ
いものは後で処理される。典型的には、これによって各
々の図に対して５０個の特徴が得られ、各々のサンプル
点に対して６個の図が得られ、約１００個のサンプル点
によって約３０、０００個の特徴が生じる。これは速度
と精度の良いかね合いになる。
【００１５】選択されたエッジエル勾配の方向並びにそ
の３Ｄの位置が特徴メモリ２１に記憶される。特徴メモ
リ２１は独立の素子又はモデル・メモリ１３の一区画で
あって良い。特徴確認装置１９は、１９９５年にニュー
ヨーク州のマックグローヒル社から出版されたラメシュ
・ジェイン、ランガシャー・カスター及びブライアン・
シャンクの著書「機械視覚」第１６９頁ないし第１７６
頁に記載されたガウス平滑、勾配計算、非最大抑圧、エ
ッジエル・チエーン及び局部二次部分画素位置ぎめをも
用いる事ができる。
【００１６】好ましい実施例では、特徴最適化装置２３
を追加し、それを使って計算機モデルの元の空間を再び
標本化し、特徴メモリ２１に記憶されている特徴の隣り
合うサンプル点からの特徴を組み合わせ、冗長な特徴を
除去し、新たに作り出されたサンプル点の位置によって
割り出されるその結果として得られる１組の特徴を記憶
する為に使う事が出来る。
【００１７】特徴最適化装置２３による特徴の最適化
は、冗長な特徴を除去する事により、装置のオンライン
の性能を改善する。これは選ばれた点の容積の各々の容
積要素を取り、容積要素の８個の頂点に対する特徴を組
み合わせ、冗長な特徴を除去する。特徴最適化装置２３
は、２つの特徴の間のユークリッド距離並びにそれらの
勾配方向の間の角度を使う事により、２つの特徴が冗長
であると判定する。この両方の値が予定の閾値より低い
場合、１つの特徴を除去する。この組み合わせ過程の付
帯効果は、寸法（Ｎ，Ｎ，Ｎ）を持つサンプル点の入力
容積が（Ｎ−１，Ｎ−１，Ｎ−１）の容積に縮小するこ
とである。
【００１８】
【オンライン姿勢判定装置】予じめ計算された特徴を用
い、カメラ画像内のはっきりした特徴の抽出並びに姿勢
の反復的な仕上げの必要性を避ける事により、ビデオ速
度での姿勢の判定を達成する事が出来る。この発明の姿
勢判定装置の重要な特徴は、投影された３Ｄの特徴を正
確に釣り合わせて、２Ｄの位置誤差ベクトルを発生する
か、或いは勾配方向に沿って釣合せて、勾配方向に沿っ
た位置誤差の１Ｄ成分だけを発生する事が出来ることで
ある。
【００１９】オンライン姿勢判定装置２０が図２に示さ
れている。この装置はカメラ又はファイバ光学装置２５
を含み、これを被検体の中に挿入して、その開口から被
検体の内側の生のビデオを収集するか、或いは被検体の
外面の生のビデオを求める為に使う事が出来る。カメラ
２５がファイバ光学系を用いる場合、その開口はファイ
バ光学系の端であり、位置及び向きはこの開口から測定
される。以下明細書では、「カメラの位置及び向き」又
は「姿勢の推定値」という場合は、カメラ開口、又は光
学ファイバの端であって良いが、その機能を持つ開口の
位置と姿勢又は推定値を云う。
【００２０】フレーム捕捉装置２７がカメラ２５からの
生のビデオ・フレームを捕捉してディジタル化する。現
在の姿勢推定値が特徴選択器２９に送られる。最初これ
は、カメラを既知の位置又は標識に位置決めするオペレ
ータ１から来るが、その時その事を特徴選択器２３に知
らせる。その後、これは前のカメラ画像に対して推定さ
れた姿勢の結果から求められる。
【００２１】特徴選択器２９が現在の姿勢推定値（最初
の場合は初期推定値）を用いて前処理の間に発生された
特徴又は最適化特徴の適当な部分集合を選択する。特徴
選択器２９は、現在の姿勢推定値に最も接近した３Ｄサ
ンプル点を決定する。ある構成の容積内の最も接近した
点を見つけるのは、非常に簡単な計算である。特徴選択
器２９は、現在のサンプル点からどの特徴が見えるかを
決定する。現在のサンプル点にあるカメラから見える特
徴だけが選択される。特徴は３Ｄの位置であるから、こ
れはカメラの台形視野の中にあるかどうかを判定する事
を含む。更にこの集合は、カメラ２５の視角より小さな
角度を選ぶ事により、台形視野の縁の近くにある特徴を
除去するように制限される。
【００２２】投影装置３１が現在のサンプル点を受け取
る。投影装置３１が、特徴選択器２９によって選択され
た３Ｄの選択されたＮ個の３Ｄの特徴を現在の姿勢推定
値によって定められた２Ｄ画像座標系に投影する。推定
値調節装置３３が、２Ｄ画像の特徴を捕捉されたディジ
タル・フレームと釣合せ、投影された特徴の位置及びデ
ィジタル・フレームの特徴の位置の間の位置／向きの差
に基づいて、姿勢推定値を改善する。
【００２３】その後、推定値調節装置３３がＮ個の誤差
項を用いて、カメラの姿勢推定値を更新し、それが特徴
選択器２９及び投影装置３１にフィードバックされる。
随意選択により、表示装置３７をカメラ２５に接続して
カメラ２５からの生のビデオを表示することが出来る。
グラフィックス・エンジン３５がモデル・メモリ１３，
推定値調節装置３３及び表示装置３７に結合され、推定
値調節装置３３からの現在の姿勢推定値を受け取り、姿
勢推定値から見た計算機モデルの計算機によって提示さ
れた画像を発生する。これを生のビデオの隣りに表示し
て、オペレータ１がこれらの画像の何れか一方又は両方
を同時に見る事が出来るようにする事が出来る。
【００２４】姿勢推定値は表示装置３７に数字の形で表
示する事が出来るし、或いはグラフィックス・エンジン
３５が、マップとして使う事が出来る被検体の大きな部
分の別の縮尺静止像を合成する事が出来る。このマップ
にイコンを重畳して、推定された現在のカメラ開口の位
置及び向きを示す。
【００２５】
【数１】
【００２６】次に特徴を捕捉されたフレームに釣合せる
裏付けの理論を詳しく説明する。３Ｄの特徴並びに現在
のカメラ画像の画像投影であるＮ個の２Ｄの縁の場所が
ある。各々の２Ｄの場所に対し、エッジエル勾配に沿っ
た向きの１次元の階段関数とその場所のビデオとの間の
初期釣合せ工程が実施される。この過程は、予め定めた
最大距離（例えば９画素の最大距離にするとうまく働い
た）まで、正及び負の縁勾配の方向にある場所で繰り返
される。見つかった最善の相関を閾値（現在は０．５）
と比較する。相関がこれより大きければ、その場所と元
の場所の間の差を使って、誤差ベクトルを形成し、この
誤差ベクトルはこの点では勾配方法に沿って拘束されて
いる。
【００２７】初期釣合せ工程は、特徴の勾配方向に沿っ
た画像の位置に制限される。特徴は場所及び方向を含む
だけであるから、接線方向の移動を制限するものは何も
ない。勾配方向に沿って閾値より高い相関が見つからな
かった場合だけ、探索は接線方向の変位を含む第２の釣
合せ工程に拡張する。例えば、図３に示す特徴を左へ移
動すると、最終的には勾配方向の探索は、前にはあった
縁と交差しなくなる。この場合、横方向の探索によって
必要な誤差ベクトルが得られる。Ｎ個の特徴の全てに対
してこれを独立に繰り返し、その結果、局部的な誤差全
体に対するベクトルが得られる。
【００２８】ブロック図の各々のブロックはアナログ又
はディジタルのハードウェアとして構成しても良いし、
或いは同様な作用をするソフトウェアを働かせるハード
ウェアの組み合わせとして構成されていても良い。
【００２９】
【理論】１つの方向、即ち勾配方向だけで釣合った特徴
は、単一の拘束、即ち最善の釣合いまでの勾配距離しか
定めない。両方の方向で釣合ったこの他の特徴は、２つ
の拘束を与える。カメラの姿勢推定値を導き出す時、全
ての特徴が２つの方向で釣合った場合を最初に検査し、
その後それを拡張して、ある特徴は１つの方向でしか釣
合わない場合を処理する。
【００３０】
【姿勢の導出し方−第１の場合】次のように定義する。
【００３１】
【数２】
【００３２】
【数３】
【００３３】
【姿勢の導出し方−第２の場合】上に述べた導出し方を
拡張して、ある特徴は勾配の特徴であって１つの制約
（その勾配変位）を定め、他の特徴は位置の特徴であっ
て、２つの制約を定める場合を扱う事が出来る。勾配変
位の式から出発する。
【００３４】
【数４】
【００３５】ａを勾配の特徴の数とすると、Ｈは、上に
示した最初の２行と同様なａ行を持つ。これらの行が、
本質的に単位勾配とのドット積を実施する事により、２
Ｄの変位を勾配の変位にマッピングする。同様に、ｂを
位置の特徴の数とすると、Ｈの右下隅は２ｂ恒等行列に
なる。その結果得られるＨの寸法は（ａ＋２ｂ）×２Ｎ
である。これは前と同じ様に解いて次の様になる。
【００３６】
【数５】
【００３７】
【実験結果】この発明の初期の実施は、ＵＮＩＸプラッ
トフォームで開発された。現在の性能に基づいて、オン
ライン装置はＮＴＳＣビデオの３０フレーム／秒を処理
する事が出来ると期待される。図５−８には、Ｆ１１０
Ａジェット機関排気ダクトからの３０フレーム試験順序
の結果を示す。ダクトは本質的に直径が１メートルの円
筒であり、若干それより小さいライナがその中に入れ子
になっている。
【００３８】図５及び６は、この順序の個別のフレーム
を示し、特徴が白の三角形として重ねて示されている。
各々の特徴が三角形の底辺の中心にあり、三角形の方向
が現在の局部的な勾配を示す。ボアスコープの検査は波
状のライナとダクトの間の２センチの領域で行われる。
図５及び６に見られる孔は排気ライナにあり、直径が約
０．５センチである。背景にあるブラケットがライナを
ダクトから約２センチの所に保持している。試験フレー
ムは、特定の場所で、適当なカメラ及び照明パラメータ
を用いて、ＣＡＤモデルを計算機で出したものである。
【００３９】最初の１０フレームの間、ボアスコープを
１フレーム当たり０．２５４センチの速度で前向きに並
進させる。次の１０フレームでは、左へ同じ速度で並進
させる。最後の１０フレームでは、ボアスコープを１フ
レーム当たり１゜の割合でローリングさせる。図７は、
３０フレーム全体に亘って、位置誤差の測定値が２．２
ｍｍ、未満である事を示している。更に重要なこと
は、誤差が単調に増加せず、累積的な誤差である事を示
している事である。ボアスコープの焦点（１０センチ離
れた所にある）は、正しい値に対して同じ様な厳密な対
応性を示している。
【００４０】図８は、合計のローリングが１０゜（全部
最後の１０フレームの間）である運転全体に亘り、ロー
リングの誤差が０．８゜未満に押さえられている事を示
している。この発明の現在好ましいと考えられるいくつ
かの実施例を詳しく説明したが、当業者にはいろいろな
変更が考えられよう。従って、特許請求の範囲は、この
発明の範囲内に属するこのような全ての変更を包括する
事を承知されたい。
【図面の簡単な説明】
【図１】この発明の特徴抽出装置の主な部品を示す簡略
ブロック図。
【図２】この発明のオンライン姿勢判定装置の主な部品
を示す簡略ブロック図。
【図３】この発明による図２の推定値調節装置の更に詳
しいブロック図。
【図４】特徴をカメラの画像と釣合せる様子を示す図。
【図５】ボアスコープからの生のビデオ・フレームに三
角形として示した特徴を重ねた写真。
【図６】ボアスコープからの生のビデオ・フレームに三
角形として示した特徴を重ねた写真。
【図７】フレーム番号に対して距離誤差を示すグラフ。
【図８】フレーム番号に対して向き誤差を示すグラフ。
【符号の説明】
１３ モデル・メモリ １５ サンプル点発生器 １７ 画像発生器 １９ 特徴確認装置 ２０ オンライン姿勢判定装置 ２１ 特徴メモリ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 ＦＩ Ｇ０３Ｂ 15/00 Ｇ０３Ｂ 15/00 Ｌ (72)発明者 ネルソン・レイモンド・コーバイ，ジュニ ア アメリカ合衆国、ニューヨーク州、スコテ ィア、チャールス・ストリート、813番 (72)発明者 トーマス・ディーン・ヴァースチャー アメリカ合衆国、オハイオ州、シンシナテ ィ、グレイブス・ロード、7825番

Claims (7)

    【特許請求の範囲】
  1. 【請求項１】 被検体内のカメラ開口の位置と向き（姿
    勢）を決定する装置において、前記被検体の３Ｄ構造の
    計算機モデルを予じめ記憶したモデル・メモリと、前記
    計算機モデルを読み出して、モデル全体に亘る複数個の
    サンプル点を作るサンプル点発生器と、該サンプル点発
    生器に結合されていて、複数個の向きの角度並びに複数
    個のサンプル点に対し、このサンプル点からみた３Ｄモ
    デル構造の画像を作る画像発生器と、供給された情報を
    記憶する事が出来る特徴メモリと、前記画像発生器から
    の画像を受け取り、強度勾配並びに画像内の対応する位
    置を確認し、どの勾配が隣接しているかを確認し、複数
    個の最も大きい勾配並びにそれらに対応する位置を特徴
    として特徴メモリ内に記憶する特徴確認装置と、前記特
    徴メモリに結合されていて、前記被検体の生の画像フレ
    ームを収集し、前記特徴メモリからの選ばれた特徴を受
    け取り、該特徴を前記生の画像フレームと比較してカメ
    ラ開口の調節された姿勢を決定するオンライン姿勢判定
    装置とを有する装置。
  2. 【請求項２】 前記被検体の計算機モデルを作ると共に
    該モデルを計算機モデル・メモリに記憶するモデル発生
    器を有する請求項１記載の装置。
  3. 【請求項３】 隔たる距離が予定の距離未満である類似
    した冗長な特徴を前記特徴メモリから除去する特徴最適
    化装置を有する請求項１記載の装置。
  4. 【請求項４】 前記オンライン姿勢判定装置が、その開
    口から見た生の画像を収集する為の、開口を持つオペレ
    ータが位置決めし得るカメラ、該カメラの開口の初期位
    置及び向き（姿勢）に対する手作業の入力を受け取り、
    この後の自動化姿勢推定値を受け取り、現在の推定姿勢
    に於けるカメラの予定の台形視野内にある特徴を選択す
    るように作用する特徴選択器、該特徴選択器に結合され
    ていて、選択された特徴を受け取ると共に、それを現在
    の推定姿勢から見た投影２Ｄ画像に投影する投影装置、
    前記カメラに結合されていて、カメラから一度に一個の
    ディジタル画像フレームを選択するフレーム捕捉装置、
    及び前記投影装置及び前記フレーム捕捉装置に結合され
    ていて、投影２Ｄ画像をディジタル・フレームと反復的
    に相関させ、投影２Ｄ画像をディジタル・フレームに対
    して移動して誤差オフセット・ベクトルを決定し、該誤
    差オフセット・ベクトルを用いて現在の姿勢推定値を更
    新して新しい現在の姿勢推定値を発生し、それを更に処
    理するために特徴選択器及び投影装置に供給する推定値
    調節装置で構成されている請求項１記載の装置。
  5. 【請求項５】 前記モデル・メモリ、前記カメラ及び前
    記推定値調節装置に結合されていて、初期及び現在の姿
    勢推定値を受け取り、姿勢推定値から見た計算機モデル
    の計算機グラフィック表示をすると共に、カメラの生の
    ビデオを表示する表示装置を有する請求項１記載の装
    置。
  6. 【請求項６】 オペレータからの手動入力を受け取り、
    それを前記特徴選択器、前記投影装置及び前記表示装置
    に供給する事が出来る手動制御パネルを有する請求１記
    載の装置。
  7. 【請求項７】 被検体内の開口の位置及び向き（姿勢）
    を予じめ記憶されている特徴から決定するオンライン姿
    勢判定装置において、開口を持っていて、その開口から
    見た生の画像を収集するオペレータが位置決めし得るカ
    メラと、手動入力パネルを持っていて、カメラの開口の
    初期位置及び向き（姿勢）に対する手作業の入力を受け
    取り、その後の自動化姿勢推定値を受け取って、現在の
    推定姿勢に於けるカメラの予定の台形視野の中にある特
    徴を選択するように作用する特徴選択器と、該特徴選択
    器に結合されていて、選択された特徴を受け取ると共
    に、それを現在の推定姿勢から見た投影２Ｄ像に投影す
    る投影装置と、前記カメラに結合されていて、カメラか
    らの一度に一個のディジタル画像フレームを選択するフ
    レーム捕捉装置と、前記投影装置及び前記フレーム捕捉
    装置に結合されていて、投影２Ｄ画像をディジタル・フ
    レームと反復的に相関させ、投影２Ｄ画像をディジタル
    ・フレームに対して移動して誤差オフセット・ベクトル
    を決定し、該誤差オフセット・ベクトルを用いて現在の
    姿勢推定値を更新して新しい現在の姿勢推定値を発生
    し、それを更に処理する為に前記特徴選択器及び投影装
    置に供給する推定値調節装置とを有するオンライン姿勢
    判定装置。
JP9181922A 1996-07-09 1997-07-08 被検体内のカメラ開口の位置と向きを決定する装置 Withdrawn JPH10162147A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US2420096P 1996-07-09 1996-07-09
US60/024200 1996-07-09
US08/743068 1996-07-09
US08/743,068 US5850469A (en) 1996-07-09 1996-11-04 Real time tracking of camera pose

Publications (1)

Publication Number Publication Date
JPH10162147A true JPH10162147A (ja) 1998-06-19

Family

ID=26698166

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9181922A Withdrawn JPH10162147A (ja) 1996-07-09 1997-07-08 被検体内のカメラ開口の位置と向きを決定する装置

Country Status (4)

Country Link
US (1) US5850469A (ja)
JP (1) JPH10162147A (ja)
FR (1) FR2751067B1 (ja)
GB (1) GB2315124B (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003271993A (ja) * 2002-03-18 2003-09-26 Hitachi Ltd モニタ画像処理方法及び画像モニタシステム並びに保全作業システム
JP2008286756A (ja) * 2007-05-21 2008-11-27 Canon Inc 位置姿勢計測装置及びその制御方法
JP2009514066A (ja) * 2005-09-12 2009-04-02 タパング，カルロス 「フレーム毎かつピクセル毎コンピュータ映像用カメラフレーム合致モデル生成グラフィックス画像」
JP2010079452A (ja) * 2008-09-24 2010-04-08 Canon Inc 位置姿勢計測装置及び方法
JP2010134649A (ja) * 2008-12-03 2010-06-17 Canon Inc 情報処理装置、その処理方法及びプログラム
JP2014026670A (ja) * 2013-10-21 2014-02-06 Canon Inc 情報処理装置、その処理方法及びプログラム

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6009188A (en) * 1996-02-16 1999-12-28 Microsoft Corporation Method and system for digital plenoptic imaging
US6504957B2 (en) * 1997-07-07 2003-01-07 General Electric Company Method and apparatus for image registration
JP2991163B2 (ja) 1997-07-23 1999-12-20 日本電気株式会社 カメラキャリブレーション装置
DE69823116D1 (de) * 1997-08-05 2004-05-19 Canon Kk Bildverarbeitungsverfahren und -gerät
US6975764B1 (en) * 1997-11-26 2005-12-13 Cognex Technology And Investment Corporation Fast high-accuracy multi-dimensional pattern inspection
WO1999033026A1 (en) * 1997-12-22 1999-07-01 Boesjes Eimar M Acquisition and animation of surface detail images
US6278479B1 (en) * 1998-02-24 2001-08-21 Wilson, Hewitt & Associates, Inc. Dual reality system
US6324299B1 (en) * 1998-04-03 2001-11-27 Cognex Corporation Object image search using sub-models
US6252986B1 (en) 1998-04-03 2001-06-26 Cognex Corporation Locating an image of an object having a concentric profile
US6411734B1 (en) 1998-04-03 2002-06-25 Cognex Corporation Object image search using validated sub-model poses
US6424734B1 (en) 1998-04-03 2002-07-23 Cognex Corporation Fiducial mark search using sub-models
US6516092B1 (en) 1998-05-29 2003-02-04 Cognex Corporation Robust sub-model shape-finder
US7016539B1 (en) 1998-07-13 2006-03-21 Cognex Corporation Method for fast, robust, multi-dimensional pattern recognition
US6963338B1 (en) 1998-07-31 2005-11-08 Cognex Corporation Method for refining geometric description models using images
US6459820B1 (en) 1998-08-25 2002-10-01 Cognex Corporation Gauging using sub-model poses
US6614926B1 (en) 1999-06-29 2003-09-02 Cognex Corporation Methods and apparatuses for generating from an image a model of an object
US6898333B1 (en) 1999-08-06 2005-05-24 Cognex Corporation Methods and apparatus for determining the orientation of an object in an image
US6813377B1 (en) 1999-08-06 2004-11-02 Cognex Corporation Methods and apparatuses for generating a model of an object from an image of the object
US6970591B1 (en) * 1999-11-25 2005-11-29 Canon Kabushiki Kaisha Image processing apparatus
CA2394341A1 (en) * 1999-12-13 2001-06-14 Princeton Video Image, Inc. 2-d/3-d recognition and tracking algorithm for soccer application
SG103253A1 (en) * 2000-01-26 2004-04-29 Kent Ridge Digital Labs Method and apparatus for cancelling lighting variations in object recognition
AU2001250802A1 (en) * 2000-03-07 2001-09-17 Sarnoff Corporation Camera pose estimation
US7522186B2 (en) * 2000-03-07 2009-04-21 L-3 Communications Corporation Method and apparatus for providing immersive surveillance
US6950548B1 (en) 2000-05-17 2005-09-27 Cognex Corporation Creating geometric model descriptions for use in machine vision inspection systems
US6804416B1 (en) 2001-03-16 2004-10-12 Cognex Corporation Method and system for aligning geometric object models with images
JP4573085B2 (ja) 2001-08-10 2010-11-04 日本電気株式会社 位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラム
DE10139846C1 (de) * 2001-08-14 2003-02-06 Daimler Chrysler Ag Geometrisches Matching zur Lösung von Lokalisationsproblemen
US7116825B2 (en) * 2002-03-22 2006-10-03 Lee Shih-Jong J Multilevel chain-and-tree model for image-based decisions
GB0208909D0 (en) * 2002-04-18 2002-05-29 Canon Europa Nv Three-dimensional computer modelling
KR20060009392A (ko) * 2003-06-19 2006-01-31 사르노프 코포레이션 스케일러블 멀티 카메라 분배형 비디오 프로세싱 및 시각화감시 시스템을 제공하는 방법 및 장치
US7259778B2 (en) 2003-07-01 2007-08-21 L-3 Communications Corporation Method and apparatus for placing sensors using 3D models
US7190834B2 (en) 2003-07-22 2007-03-13 Cognex Technology And Investment Corporation Methods for finding and characterizing a deformed pattern in an image
US8081820B2 (en) 2003-07-22 2011-12-20 Cognex Technology And Investment Corporation Method for partitioning a pattern into optimized sub-patterns
US6925403B2 (en) * 2003-09-15 2005-08-02 Eaton Corporation Method and system for calibrating a sensor
GB2411532B (en) * 2004-02-11 2010-04-28 British Broadcasting Corp Position determination
US7831094B2 (en) * 2004-04-27 2010-11-09 Honda Motor Co., Ltd. Simultaneous localization and mapping using multiple view feature descriptors
JP2005334922A (ja) * 2004-05-26 2005-12-08 Yamazaki Mazak Corp レーザ加工機におけるノズルチェック装置
SE527257C2 (sv) * 2004-06-21 2006-01-31 Totalfoersvarets Forskningsins Anordning och metod för att presentera en omvärldsbild
US7349083B2 (en) * 2004-07-21 2008-03-25 The Boeing Company Rotary borescopic optical dimensional mapping tool
US8437502B1 (en) 2004-09-25 2013-05-07 Cognex Technology And Investment Corporation General pose refinement and tracking tool
DE102006009119A1 (de) * 2006-02-24 2007-09-13 Daimlerchrysler Ag 3D-Lageerkennung unter Verwendung komplexen Modellwissens
DE112006004131A5 (de) * 2006-09-15 2009-08-20 Siemens Aktiengesellschaft System und Verfahren zur Bestimmung der Position und der Orientierung eines Anwenders
CN100426317C (zh) * 2006-09-27 2008-10-15 北京中星微电子有限公司 多姿态人脸检测与追踪系统及方法
CN100426318C (zh) * 2006-09-28 2008-10-15 北京中星微电子有限公司 基于aam的对象定位方法
NO327279B1 (no) * 2007-05-22 2009-06-02 Metaio Gmbh Kamerapositurestimeringsanordning og- fremgangsmate for foroket virkelighetsavbildning
US8422777B2 (en) * 2008-10-14 2013-04-16 Joshua Victor Aller Target and method of detecting, identifying, and determining 3-D pose of the target
US8761434B2 (en) * 2008-12-17 2014-06-24 Sony Computer Entertainment Inc. Tracking system calibration by reconciling inertial data with computed acceleration of a tracked object in the three-dimensional coordinate system
KR101199492B1 (ko) * 2008-12-22 2012-11-09 한국전자통신연구원 광역 이동을 고려한 실시간 카메라 트래킹 장치 및 방법
US8125529B2 (en) * 2009-02-09 2012-02-28 Trimble Navigation Limited Camera aiming using an electronic positioning system for the target
US9058063B2 (en) * 2009-05-30 2015-06-16 Sony Computer Entertainment Inc. Tracking system calibration using object position and orientation
US9111347B2 (en) 2009-07-29 2015-08-18 Metaio Gmbh Method for determining the pose of a camera with respect to at least one real object
US8635015B2 (en) * 2009-12-17 2014-01-21 Deere & Company Enhanced visual landmark for localization
US20110153338A1 (en) * 2009-12-17 2011-06-23 Noel Wayne Anderson System and method for deploying portable landmarks
US8224516B2 (en) 2009-12-17 2012-07-17 Deere & Company System and method for area coverage using sector decomposition
DE102011114541A1 (de) 2011-09-30 2013-04-04 Lufthansa Technik Ag Endoskopiesystem und korrespondierendesVerfahren zur Untersuchung von Gasturbinen
US8754887B2 (en) * 2012-07-20 2014-06-17 Google Inc. Determining three-dimensional (3D) object data models based on object movement
US9990726B2 (en) 2012-09-27 2018-06-05 Apple Inc. Method of determining a position and orientation of a device associated with a capturing device for capturing at least one image
US9251582B2 (en) 2012-12-31 2016-02-02 General Electric Company Methods and systems for enhanced automated visual inspection of a physical asset
US20140207406A1 (en) * 2013-01-22 2014-07-24 General Electric Company Self-directed inspection plan
US9612211B2 (en) 2013-03-14 2017-04-04 General Electric Company Methods and systems for enhanced tip-tracking and navigation of visual inspection devices
US9224243B2 (en) * 2013-05-20 2015-12-29 Nokia Technologies Oy Image enhancement using a multi-dimensional model
US9679224B2 (en) 2013-06-28 2017-06-13 Cognex Corporation Semi-supervised method for training multiple pattern recognition and registration tool models
US11060979B2 (en) 2014-12-19 2021-07-13 General Electric Company System and method for engine inspection
US10196927B2 (en) * 2015-12-09 2019-02-05 General Electric Company System and method for locating a probe within a gas turbine engine
US10196922B2 (en) * 2015-12-09 2019-02-05 General Electric Company System and method for locating a probe within a gas turbine engine
US9996936B2 (en) 2016-05-20 2018-06-12 Qualcomm Incorporated Predictor-corrector based pose detection
US10489896B2 (en) 2017-11-14 2019-11-26 General Electric Company High dynamic range video capture using variable lighting
US10488349B2 (en) 2017-11-14 2019-11-26 General Electric Company Automated borescope insertion system
US10636198B2 (en) * 2017-12-28 2020-04-28 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for monocular simultaneous localization and mapping
US10775315B2 (en) 2018-03-07 2020-09-15 General Electric Company Probe insertion system
US11272164B1 (en) * 2020-01-17 2022-03-08 Amazon Technologies, Inc. Data synthesis using three-dimensional modeling
CN116245940B (zh) * 2023-02-02 2024-04-05 中国科学院上海微系统与信息技术研究所 基于结构差异感知的类别级六自由度物体位姿估计方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2965307D1 (en) * 1979-05-09 1983-06-09 Hughes Aircraft Co Scene tracker system
GB2116000B (en) * 1982-03-02 1985-05-01 Elliott Bros Guidance system
GB8925196D0 (en) * 1989-11-08 1990-05-30 Smiths Industries Plc Navigation systems
EP0551274A1 (en) * 1990-05-29 1993-07-21 Axiom Bildverarbeitungssysteme Gmbh Determination of mutually corresponding features in associated two-dimensional partial images of a three-dimensional scene
US5259037A (en) * 1991-02-07 1993-11-02 Hughes Training, Inc. Automated video imagery database generation using photogrammetry
US5210799A (en) * 1991-03-28 1993-05-11 Texas Instruments Incorporated System and method for ranking and extracting salient contours for target recognition
US5606627A (en) * 1995-01-24 1997-02-25 Eotek Inc. Automated analytic stereo comparator
US5699444A (en) * 1995-03-31 1997-12-16 Synthonics Incorporated Methods and apparatus for using image data to determine camera location and orientation

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003271993A (ja) * 2002-03-18 2003-09-26 Hitachi Ltd モニタ画像処理方法及び画像モニタシステム並びに保全作業システム
JP2009514066A (ja) * 2005-09-12 2009-04-02 タパング，カルロス 「フレーム毎かつピクセル毎コンピュータ映像用カメラフレーム合致モデル生成グラフィックス画像」
JP4909991B2 (ja) * 2005-09-12 2012-04-04 タパング，カルロス フレーム毎かつピクセル毎コンピュータ映像用カメラフレーム合致モデル生成グラフィックス画像
JP2008286756A (ja) * 2007-05-21 2008-11-27 Canon Inc 位置姿勢計測装置及びその制御方法
JP2010079452A (ja) * 2008-09-24 2010-04-08 Canon Inc 位置姿勢計測装置及び方法
US8520931B2 (en) 2008-09-24 2013-08-27 Canon Kabushiki Kaisha Position and orientation measurement apparatus and method thereof
JP2010134649A (ja) * 2008-12-03 2010-06-17 Canon Inc 情報処理装置、その処理方法及びプログラム
US8483424B2 (en) 2008-12-03 2013-07-09 Canon Kabushiki Kaisha Information processing apparatus, processing method thereof, and computer-readable storage medium
US8995710B2 (en) 2008-12-03 2015-03-31 Canon Kabushiki Kaisha Information processing apparatus, processing method thereof, and computer-readable storage medium
JP2014026670A (ja) * 2013-10-21 2014-02-06 Canon Inc 情報処理装置、その処理方法及びプログラム

Also Published As

Publication number Publication date
FR2751067B1 (fr) 2000-12-29
GB2315124B (en) 2000-11-15
GB2315124A (en) 1998-01-21
US5850469A (en) 1998-12-15
GB9714202D0 (en) 1997-09-10
FR2751067A1 (fr) 1998-01-16

Similar Documents

Publication Publication Date Title
JPH10162147A (ja) 被検体内のカメラ開口の位置と向きを決定する装置
JP4851239B2 (ja) 画像処理装置及びその処理方法
JP5538667B2 (ja) 位置姿勢計測装置及びその制御方法
US7027628B1 (en) Automated microscopic image acquisition, compositing, and display
Franke et al. Measurement of microdisplacements by machine vision photogrammetry (DISMAP)
US6751338B1 (en) System and method of using range image data with machine vision tools
JP2001506384A (ja) ３次元表面形状再構築のための装置および方法
JP4395689B2 (ja) 画像データ処理方法およびモデリング装置
CN112067233A (zh) 一种用于风洞模型六自由度运动捕获方法
CN114838668B (zh) 一种隧道位移监测方法及系统
CN112991458A (zh) 一种基于体素的快速三维建模方法及系统
CN109242959A (zh) 三维场景重建方法及系统
CN113393439A (zh) 一种基于深度学习的锻件缺陷检测方法
JP4851240B2 (ja) 画像処理装置及びその処理方法
JP4809134B2 (ja) 画像処理装置及びその処理方法
CN114332243A (zh) 一种基于透视投影模型的火箭助推器分离姿态测量方法
Wang et al. Measurement of mirror surfaces using specular reflection and analytical computation
JP3862402B2 (ja) ３次元モデル生成装置および３次元モデル生成プログラムを記録したコンピュータ読取可能な記録媒体
CN111583388A (zh) 一种三维扫描系统的扫描方法及设备
JP4082718B2 (ja) 画像認識方法および画像表示方法および画像認識装置
CN108955562B (zh) 显微视觉系统显微景深数字化扩展方法及系统
JP2004354320A (ja) 撮像対象物品の認識検定システム
JP4813263B2 (ja) 画像処理装置及びその処理方法
JP2001084362A (ja) 光源方向と３次元形状の推定方法および装置並びに記録媒体
US5241607A (en) Method for automatically matching serial cross-sections observed with a microscope

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20041005