JP4025556B2 - 特徴点追跡画像決定装置、特徴点追跡画像決定方法、この方法のプログラム、およびこのプログラムを記録した記録媒体 - Google Patents
特徴点追跡画像決定装置、特徴点追跡画像決定方法、この方法のプログラム、およびこのプログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP4025556B2 JP4025556B2 JP2002052558A JP2002052558A JP4025556B2 JP 4025556 B2 JP4025556 B2 JP 4025556B2 JP 2002052558 A JP2002052558 A JP 2002052558A JP 2002052558 A JP2002052558 A JP 2002052558A JP 4025556 B2 JP4025556 B2 JP 4025556B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- tracking
- feature point
- images
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、連続的に撮影された複数の画像に対し、画像中の特徴点の追跡を行って複数の画像間において特徴点の対応関係を得る際に、最初に設定した特徴点に対し、できるだけ多くの特徴点の追跡を成功させる特徴点追跡画像決定方法に関するものである。
【０００２】
【従来の技術】
映像から対象物体の３次元形状を得たい場合、人間の知覚・認識手法と同様の方法が知られている。つまり、人間が両眼の視差から物体形状を得ることに相当するステレオ画像法や、運動している物体を撮影した映像から、物体の各部分がどのように移動しているかで物体形状を得るオプティカルフローと言う手法がある。（文献１）三次元画像計測 井口征士、佐藤宏介 昭晃堂
いずれの方法においても撮影方向の異なる画像間で特徴点の対応関係をとる必要がある。このような要請に対し、対象物体に対して相対的に位置を変えながら連続的に複数の画像を撮影し、画像間で特徴点の対応関係を見つけだす技術が提案されている。（文献２）コンピュータビジョン：技術評論と将来展望 松山隆司、久野義徳、井宮淳編 新技術コミュニケーションズ９章
連続的に撮影された複数の画像はまとめて時系列画像と呼ばれ、時系列画像中で特徴点の対応関係を見つけだす処理は、特徴点の追跡、と呼ばれている。これら関係を図１２に示す。つまり、映像から対象物体の３次元形状を得る一般的な方法をまとめると以下のようになる。
【０００３】
Ｓｔｅｐ１：対象物体に対して相対的に位置を変えながら連続的に撮影し、時系列画像を作る。
【０００４】
Ｓｔｅｐ２：対象物体の特徴点を時系列画像中のどれか１枚の画像に設定する。
【０００５】
Ｓｔｅｐ３：時系列画像中で特徴点の追跡を行う。
【０００６】
Ｓｔｅｐ４：画像間の特徴点の対応関係から特徴点の３次元位置を求める。
【０００７】
Ｓｔｅｐ５：３次元位置の求まった特徴点の集合に対して面を構成して３次元の形状モデルを得る。
【０００８】
上記のような３次元形状獲得手法を利用している例としては、図１３に示すように、空撮映像から３次元都市モデルを作成する場合などが挙げられる。この文献には以下のものがある。
【０００９】
（文献３）I.Miyagawa,S.Nagai,K.Sugiyama,2000.Shape Recovery from Aerial Images using Factorization Method with Sensor Information,ACCV2000
【００１０】
【発明が解決しようとする課題】
上記の方法において、Ｓｔｅｐ５で３次元形状をできるだけ高精度で得るためには、３次元位置が求まる特徴点の数ができるだけ多いことが望ましい。しかし、特徴点の追跡処理は計算機に行わせる場合、負荷が高く、特徴点の数をあまり増やすことはできない。また、追跡のための特徴点を設定できるところは、画像中で画素値の変化が大きい点だけなので、その観点からもＳｔｅｐ２で設定できる特徴点の数は限られている。よって、少なくともＳｔｅｐ２で設定した特徴点に対しではできるだけ多くの点で３次元位置を求めることが望まれる。
【００１１】
しかし、図１４に例を示すように、対象物体に対する視点が変化すると、最初に設定した特徴点が隠れて見えなくなってしまうことがあり、その様な特徴点に対してはＳｔｅｐ３で追跡に失敗する。
【００１２】
特徴点設定時には、当然のことながら、対象物体の３次元形状が分からないため、どの部分が隠れるかを知ることができない。
【００１３】
具体的に例を使って説明する。図１５のような空撮から得られた時系列映像は図１６のようになる。特徴点は対象物体が写っている最初の画像（撮影時刻００１）に対して設定される。特徴点が設定可能な点は図１７のＡからＪの１０点である。１０点全部を特徴点として設定したとすると、ＥからＪは撮影時刻００２の画像から撮影時刻００３の画像へ追跡する時に失敗する。この場合、ＥからＪに対して行われた処理はすべて無駄になる。
【００１４】
一方、特徴点を設定する数を減らすと、特徴点設定時には対象物体の３次元形状が分からないため、３次元形状を求めるのに必要なＡからＤまでの点に特徴点が（特に計算機により自動で行われる場合には）設定されない可能性がある。
【００１５】
以上のような状況において、時系列映像の中から、特徴点を設定および追跡する画像を、特徴点の隠れによる追跡の失敗を減らすように、適切に選択する必要がある。
【００１６】
なお、これまでの提案としては、複数の画像を用いて３次元形状を獲得することを目的とした、以下の文献がある。
【００１７】
（文献４）特開２０００−６７２１６、３次元構造獲得方法及び装置ならびにその方法の記録媒体 日本電信電話株式会社
（文献５）特開平１０−１１１９３４号公報、３次元形状モデル作成方法及び媒体 株式会社オージス総研
（文献６）特開平１１−８８９１０号公報、３次元モデル生成装置、３次元モデル生成方法、３次元モデル生成プログラムを記録した媒体、３次元モデル再生装置、３次元モデル再生方法及び３次元モデル再生プログラムを記録した媒体、キャノン株式会社
しかし、これらの文献においては、多数の画像のうちのどれに特徴点の設定をし、また、特徴点の追跡を行うかに関しては述べられていない。これとは別に特開２００１−２９１１１６、三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体、ソニー株式会社は、３次元形状モデルに貼付けるテクスチャを取得するための画像を選択する方法を示しているが、３次元形状モデルを得るための特徴点に関する画像選択方法ではない。
【００１８】
本発明の目的は、上記の課題を解決した特徴点追跡画像決定方法、装置、プログラムおよび記録媒体を提供することにある。
【００１９】
【課題を解決するための手段】
上記の課題を解決するための本発明の基本構成を図１に示す。本発明は、時系列画像データベース７０１、中心画像決定装置７０２、追跡画像決定装置７０３、追跡結果統合装置７０４、３次元位置獲得装置７０５からなる。なお、撮影された順番と同じ順番で特徴点を追跡することを「前方に追跡する」、撮影された順番と逆の順番で特徴点を追跡することを「後方に追跡する」と呼ぶことにする。
【００２０】
時系列データベース７０１には、事前に撮影された時系列画像を格納する。中心画像決定装置７０２は、時系列画像データベース７０１から、対象物体が画像の中心にもっとも近い部分に写っている画像を、特徴点を設定する画像として、選び出す。この画像を以後、中心画像と呼ぶ、最後に中心画像に対し、特徴点を設定する。
【００２１】
追跡画像決定装置７０３は、時系列画像データベースの中から追跡を行う画像列を選択する。特徴点の３次元位置の獲得を行うには、撮影方向が大きく異なる画像の間で、特徴点の対応関係が取れている必要がある。そのため、時系列画像の中から対象物体が写る位置が大きく変化するように、追跡を行う画像を選択する。具体的には、対象物体が写る位置が、中心画像に写っている状態から大きく変化するまでの画像の枚数を、中心画像から前方に追跡する場合と、後方に追跡する場合とで、それぞれ数え、追跡画像を決定する。
【００２２】
追跡結果統合装置７０４は、指定された画像列に対して、前方および後方に中心画像の特徴点の追跡を実行する。前方追跡および後方追跡の実行順序はどちらが先でも良く、並列に実行しても良い。前方追跡および後方追跡の追跡結果を、一つの前方追跡の結果にまとめ、特徴点の追跡結果として、３次元位置獲得装置７０５に出力する。
【００２３】
以上のように、対象物体が中心に写し出された画像に対して特徴点を設定し、隠れによる特徴点の損失を削減することができ、同時に、前方および後方に追跡を行うことで、３次元位置の獲得に十分な撮影方向の変化を得ることができるようにしたもので、以下の特徴点追跡画像決定装置、方法、この方法のプログラムおよびこのプログラムを記録した記録媒体を特徴とする。
【００２４】
（装置の発明）
（１）連続的に撮影された時系列の画像を格納したデータ（時系列画像データベース）に対し、撮影対象となった物体の特徴点を、複数の画像の間で追跡する装置であって、
時系列画像の取得時間と同期した外部センサにより得られる撮像装置または移動手段の位置と、対象建物の位置から、撮影位置と建物位置との距離を算出する手段と、
前記距離を最小とする撮影時刻の画像を、前記特徴点を設定するための画像（中心画像）として時系列画像データベースから取り出す手段と、
前記中心画像に設定した特徴点に対し、画像が撮影された順番で、複数の画像の間で特徴点を追跡する手段と、
前記中心画像に設定した特徴点に対し、画像が撮影された順番とは逆の順番で、複数の画像の間で特徴点を追跡する手段と、
それら二つの追跡結果を統合し、一つの追跡結果として、特徴点の移動算出結果を得る手段と、
を備えたことを特徴とする。
【００２６】
（２）上記の（１）において、連続的に撮影された時系列の画像を格納したデータ（時系列画像データベース）に対し、撮影対象となった建物の画面上における画像の中心からのずれに基づいて、前記中心画像より何枚前、および、何枚後の画像まで、特徴点を追跡するかを求める手段を備えたことを特徴とする。
【００２７】
（３）上記の（１）および（２）において、対象建物の画面上における位置の画像中心からのずれＺを、
Ｚ＝（ｘ×ｘ＋ｙ×ｙ） 1/2
ただし、
（ｘ，ｙ）＝（（Ｘｇ−Ｘｔ）／ｃ，Ｙｇ−Ｙｔ）／ｃ）
（Ｘｇ，Ｙｇ）：対象建物の重心位置
（Ｘｔ，Ｙｔ）：ＧＰＳデータによる撮影位置
ｃ：画像の解像度（ｍ／ピクセル）
（ｘ，ｙ）：画面から外れるまでの範囲内
により算出し、前記中心画像の前で前記ずれＺが最大となる画像を特徴点の追跡開始画像とし、前記中心画像の後で前記ずれＺが最大となる画像を特徴点の追跡終了画像とする手段を備えたことを特徴とする。
【００２８】
（方法の発明）
（４）連続的に撮影された時系列の画像を格納したデータ（時系列画像データベース）に対し、撮影対象となった物体の特徴点を、複数の画像の間で追跡するための方法であって、
時系列画像の取得時間と同期した外部センサにより得られる撮像装置または移動手段の位置と、対象建物の位置から、撮影位置と建物位置との距離を算出する過程と、
前記距離を最小とする撮影時刻の画像を、前記特徴点を設定するための画像（中心画像）として時系列画像データベースから取り出す過程と、
前記中心画像に設定した特徴点に対し、画像が撮影された順番で、複数の画像の間で特徴点を追跡する過程と、
前記中心画像に設定した特徴点に対し、画像が撮影された順番とは逆の順番で、複数の画像の間で特徴点を追跡する過程と、
それら二つの追跡結果を統合し、一つの追跡結果として、特徴点の移動算出結果を得る過程と、
を備えたことを特徴とする。
【００３０】
（５）上記の（４）において、連続的に撮影された時系列の画像を格納したデータ（時系列画像データベース）に対し、撮影対象となった建物の画面上における画像の中心からのずれに基づいて、前記中心画像より何枚前、および、何枚後の画像まで、特徴点を追跡するかを求める過程を備えたことを特徴とする。
【００３１】
（６）上記の（４）および（５）において、対象建物の画面上における位置の画像中心からのずれＺを、
Ｚ＝（ｘ×ｘ＋ｙ×ｙ） 1/2
ただし、
（ｘ，ｙ）＝（（Ｘｇ−Ｘｔ）／ｃ，Ｙｇ−Ｙｔ）／ｃ）
（Ｘｇ，Ｙｇ）：対象建物の重心位置
（Ｘｔ，Ｙｔ）：ＧＰＳデータによる撮影位置
ｃ：画像の解像度（ｍ／ピクセル）
（ｘ，ｙ）：画面から外れるまでの範囲内
により算出し、前記中心画像の前で前記ずれＺが最大となる画像を特徴点の追跡開始画像とし、前記中心画像の後で前記ずれＺが最大となる画像を特徴点の追跡終了画像とする過程を備えたことを特徴とする。
【００３２】
（プログラムの発明）
（７）上記の（４）〜（６）のいずれか１項に記載の特徴点追跡画像決定方法における処理過程をコンピュータで実行可能に構成したことを特徴とする。
【００３３】
（記録媒体の発明）
（８）上記の（４）〜（６）のいずれか１項に記載の特徴点追跡画像決定方法における処理過程をコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする。
【００３４】
【発明の実施の形態】
図１の各構成部分についての実施形態を、図１５に示すような空撮映像から対象建物４０１の３次元形状獲得を例にして説明する。
【００３５】
ＮＴＳＣやハイビジョンなどの映像では、１秒間に３０枚の画像が撮れる。そこから適当な間隔で画像を取り出して、時系列データベース７０１に格納する。時系列画像データベースは、撮影した時刻と画像データのファイル名の組を保存することで、時系列画像を管理する。時系列画像データベースの内容の例を図２に示す。
【００３６】
ヘリコプター３０１は、位置測定装置（ＧＰＳ：Global Positioning System）を搭載し、水平に飛行しながら鉛直下向きで撮影しているものとする。よって、ヘリコプター３０１の位置と対象建物４０１の位置から、対象物体が各画像においてどこに写っているかを知ることができる。ＧＰＳデータの例を図３に示す。単位はメートルとし、Ｘ方向を東方向、Ｙ方向を北方向、Ｚ方向を標高方向などと定める。
【００３７】
カメラと対象物の位置関係を使った幾何的な方法以外にも、対象物体の画像中の位置は、事前に用意された対象物体の画像の特徴（外形や色）を使って、画像中を自動的に探索する画像処理的な方法でもよい。
【００３８】
中心画像決定装置７０２の決定処理手順例を図４に示す。カメラはヘリコプターから鉛直下向きに向けられているので、ヘリコプターのｗ平面における位置と、建物のＷ平面における位置が近いほど画面の中心に近いことになる。よって、ステップ１００１で対象建物の重心位置（Ｘｇ，Ｙｇ）を求め、１００２でＧＰＳデータ（Ｘｔ，Ｙｔ，Ｚｔ）から２つの位置の距離Ｄを計算し、Ｄが最小となるヘリコプターの撮影時刻ｔを求める。
【００３９】
【数１】
Ｄ＝｛（Ｘｇ−Ｘｔ）2＋（Ｙｇ−Ｙｔ）2｝1/2
そして、ステップ１００３では時系列画像データベースからｔで撮影された画像を検索して中心画像とし、ステップ１００４ではその画像に対し、特徴点を設定する。
【００４０】
なお、与えられた画像に対して、自動的に特徴点を設定する方法は既存の技術で提案されているものを用いる。たとえば、隣り合う画素値の変化量が閾値を超える点を抜き出したり、画像中の直線を検出して、その交点を求めたり、同じ色の領域を求めて、その境界線が急激に曲がっているところを選ぶ、などさまざまな方法を使うことができる。
【００４１】
次に、追跡画像決定装置７０３の決定処理手順例を図５に示す。最初にステップ１１０１からステップ１１０３までで、対象建物の重心位置（Ｘｇ，Ｙｇ）を求め、全ての画像に対して対象物体が映し出されている画像上の位置（ｘ，ｙ）を求める。
【００４２】
【数２】
（ｘ，ｙ）＝（（Ｘｇ−Ｘｔ）／ｃ，Ｙｇ−Ｙｔ）／ｃ）
ｃ：画像の解像度（ｍ／ピクセル）
この位置の算出では、中心画像決定装置７０２とは異なり、画像の中心からどれだけ離れているかだけでなく、具体的に画像中の位置を求めているのは、画像からはみだして対象物体が写っていない場合を、後の処理で除くためである。
【００４３】
次に、ステップ１１０４からステップ１１０６までは、中心画像より後に撮影された画像を対象にし、ステップ１１０７からステップ１１０９までは中心画像より前に撮影された画像を対象に処理を行う。画像は時系列画像データベース中に撮影時刻とともに記録されているので、こうした画像の検索は容易である。
【００４４】
いずれも、画像中における画像の中心からの距離Ｚを以下の式で算出し、Ｚが最大となる画像を求める。対象物体が時系列画像の途中からはみだす場合には、はみだす直前の画像が選ばれることになる。
【００４５】
【数３】
Ｚ＝（ｘ×ｘ＋ｙ×ｙ）1/2
この処理によって選ばれた画像は中心画像と比べて、対象物体に対する撮影方向が大きく異なるので、これらの画像の間で特徴点の対応関係が求まれば、３次元形状を得ることができる。中心画像より後、および、中心画像より前に撮影された画像からそれぞれ選ばれた、Ｚが最大となる画像ｆ１、ｆ２は追跡結果統合装置７０４へと引き渡される（ステップ１１１０）。
【００４６】
次に、追跡結果統合装置７０４の追跡処理例を図６に示す。追跡画像決定装置７０３で決定された追跡画像の範囲としてｆ１、ｆ２を受け取る（ステップ１２０１）。つまり、前方への追跡は中心画像からｆ１までを、後方への追跡は中心画像からｆ２までを行う（ステップ１２０２．１２０３）。追跡処理終了後、二つの追跡結果を統合するために、追跡結果の方向をそろえる。具体的にはステップ１２０３で得られた後方追跡の結果を、逆順に並べ替えることによって、前方追跡の結果に変換する（ステップ１２０４）。この変換によってｆ２から中心画像までの前方追跡結果が得られたので、ステップ１２０２で得られた結果と結合することにより、ｆ２からｆ１までの前方追跡結果を得ることができる（ステップ１２０５）。
【００４７】
以上のようにして、中心画像に設定した特徴点に対して、撮影方向が大きく変わる画像間において、特徴点の追跡を実行することができ、その結果を一つの前方追跡の結果として得ることができるので、既存の３次元位置獲得装置７０５にそのまま入力できる。また、特徴点を中心画像に設定しているので、特徴点が設定されるのは対象建物４０１の上面だけとなり、隠れによって追跡時に特徴点を見失い、追跡が失敗する可能性を減らすことができる。
【００４８】
（具体例）
以下、図１６の時系列画像を例として用いて、前項で説明した処理をより具体的に説明する。まず、最初に中心画像決定装置７０２の処理が実行される。
【００４９】
図１５に示されるように、撮影時刻００３のとき、ヘリコプターは対象建物４０１の上空にあり、ステップ１００２のＺがもっとも小さくなる。よって、時系列画像データベース７０１を参照し、ｉｍａｇｅ３.ｔｉｆが中心画像として選ばれる。ステップ１００４の結果としてｉｍａｇｅ３.ｔｉｆに特徴点が設定された結果を図７に示す。
【００５０】
次に、追跡画像選択装置７０３の処理が実行される。中心画像より後に撮影された画像はｉｍａｇｅ４.ｔｉｆ，ｉｍａｇｅ５.ｔｉｆの二つであり、ステップ１１０５のＺの値がもっとも大きくなるのはｉｍａｇｅ５.ｔｉｆに対してである。一方、中心画像より前に撮影された画像はｉｍａｇｅ２.ｔｉｆ，ｉｍａｇｅ１.ｔｉｆの二つであり、ステップ１１０８のＺの値がもっとも大きくなるのはｉｍａｇｅ１.ｔｉｆに対してである。よって、ｆ１＝ｉｍａｇｅ５.ｔｉｆ，ｆ２＝ｉｍａｇｅ１.ｔｉｆとなる。
【００５１】
最後に追跡結果統合装置７０４の処理が実行される。前方追跡、後方追跡はそれぞれ図８のように行われる。図８に示しているのは特徴点Ｄの追跡結果であり、前方追跡はＤ４，Ｄ５と追跡され、後方追跡はＤ２，Ｄ１と追跡される。追跡結果は追跡した順に各画像における各特徴点の座標を表にまとめられる。図９に前方追跡の結果を、図１０に後方追跡の結果を、それぞれ示す。ステップ１２０４の処理は図１０の行の順番を逆順にすることで得られる。図９の結果と図１０の結果を逆順にしたものを結合し、ステップ１２０５の処理の結果としたものを、図１１に示す。
【００５２】
結果として、図１７の場合とは異なり、ｉｍａｇｅ１.ｔｉｆの建物上面の部分にだけ特徴点を設定し、前方追跡を行ったのと同じ結果を得ることができた。このため、追跡処理において隠れによる特徴点の損失が無く、特徴点の設定および追跡に関する処理において、無駄を生じることが無かった。
【００５３】
図１１の結果は、３次元位置獲得装置７０５に入力され、各特徴点の３次元の位置が得られる。その後の処理としては、たとえば、点の間に水平面を作成し、それを建物上面とする。そして、標高をもった地表面に、建物上面の各辺から垂直面を下ろせば対象建物の３次元モデルを得ることができる。
【００５４】
以上は空撮によって得られた時系列画像から特徴点の追跡を行う例をあげたが、他の位置測定装置を搭載した、車両や船舶などにおいても同様の方法が利用可能である。また、そういった位置測定装置がなく、対象物体に対して、位置を変えながら撮影した場合でも、画像処理的な手法で画像中の位置を知ることで、本発明の手法は適用可能である。さらに、監視カメラのように、カメラの位置が固定で、対象物体が動いて通り過ぎていくような場合でも、やはり、上記に示した手法を適用することができる。
【００５５】
なお、本発明は、図４〜６に示した方法又は図１に示した装置の一部又は全部の処理機能をプログラムとして構成してコンピュータを用いて実現すること、あるいはこれら処理手順をプログラムとして構成してコンピュータに実行させることができる。また、コンピュータでその各部の処理機能を実現するためのプログラム、あるいはコンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤ（フロッピーディスク：登録商標）、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。
【００５６】
【発明の効果】
以上のとおり、本発明によれば、隠れによって追跡が失敗する特徴点を設定してしまう可能性を減らすことができるので、追跡を行う画像の集合のうち、最初の画像に特徴点を設定する従来の方法に対して、追跡にかかる処理時間を減らすことができる。
【図面の簡単な説明】
【図１】本発明の基本構成図。
【図２】実施形態における時系列画像データベースのデータ例。
【図３】実施形態におけるＧＰＳデータの例。
【図４】実施形態における中心画像決定装置７０２の決定処理手順例。
【図５】実施形態における追跡画像決定装置７０３の決定処理手順例。
【図６】実施形態における追跡結果統合装置７０４の追跡処理例。
【図７】実施形態における設定された特徴点の例。
【図８】実施形態における前方追跡と後方追跡の例。
【図９】図８における前方追跡の結果例。
【図１０】図８における後方追跡の結果例。
【図１１】前方追跡と後方追跡の結合例。
【図１２】時系列画像中と特徴点の対応関係の説明図。
【図１３】空撮映像から３次元都市モデルを作成する例。
【図１４】対象物体に対する視点の変化で特徴点が隠れて見えなくなる例。
【図１５】空撮による時系列映像と対象建物の関係図。
【図１６】図１５による時系列映像の例。
【図１７】映像に設定される特徴点の例。
【符号の説明】
７０１…時系列画像データベース
７０２…中心画像決定装置
７０３…追跡画像決定装置
７０４…追跡結果統合装置
７０５…３次元位置獲得装置
３０１…ヘリコプター
３０２…ビデオカメラ
３０３…市街地
【発明の属する技術分野】
本発明は、連続的に撮影された複数の画像に対し、画像中の特徴点の追跡を行って複数の画像間において特徴点の対応関係を得る際に、最初に設定した特徴点に対し、できるだけ多くの特徴点の追跡を成功させる特徴点追跡画像決定方法に関するものである。
【０００２】
【従来の技術】
映像から対象物体の３次元形状を得たい場合、人間の知覚・認識手法と同様の方法が知られている。つまり、人間が両眼の視差から物体形状を得ることに相当するステレオ画像法や、運動している物体を撮影した映像から、物体の各部分がどのように移動しているかで物体形状を得るオプティカルフローと言う手法がある。（文献１）三次元画像計測 井口征士、佐藤宏介 昭晃堂
いずれの方法においても撮影方向の異なる画像間で特徴点の対応関係をとる必要がある。このような要請に対し、対象物体に対して相対的に位置を変えながら連続的に複数の画像を撮影し、画像間で特徴点の対応関係を見つけだす技術が提案されている。（文献２）コンピュータビジョン：技術評論と将来展望 松山隆司、久野義徳、井宮淳編 新技術コミュニケーションズ９章
連続的に撮影された複数の画像はまとめて時系列画像と呼ばれ、時系列画像中で特徴点の対応関係を見つけだす処理は、特徴点の追跡、と呼ばれている。これら関係を図１２に示す。つまり、映像から対象物体の３次元形状を得る一般的な方法をまとめると以下のようになる。
【０００３】
Ｓｔｅｐ１：対象物体に対して相対的に位置を変えながら連続的に撮影し、時系列画像を作る。
【０００４】
Ｓｔｅｐ２：対象物体の特徴点を時系列画像中のどれか１枚の画像に設定する。
【０００５】
Ｓｔｅｐ３：時系列画像中で特徴点の追跡を行う。
【０００６】
Ｓｔｅｐ４：画像間の特徴点の対応関係から特徴点の３次元位置を求める。
【０００７】
Ｓｔｅｐ５：３次元位置の求まった特徴点の集合に対して面を構成して３次元の形状モデルを得る。
【０００８】
上記のような３次元形状獲得手法を利用している例としては、図１３に示すように、空撮映像から３次元都市モデルを作成する場合などが挙げられる。この文献には以下のものがある。
【０００９】
（文献３）I.Miyagawa,S.Nagai,K.Sugiyama,2000.Shape Recovery from Aerial Images using Factorization Method with Sensor Information,ACCV2000
【００１０】
【発明が解決しようとする課題】
上記の方法において、Ｓｔｅｐ５で３次元形状をできるだけ高精度で得るためには、３次元位置が求まる特徴点の数ができるだけ多いことが望ましい。しかし、特徴点の追跡処理は計算機に行わせる場合、負荷が高く、特徴点の数をあまり増やすことはできない。また、追跡のための特徴点を設定できるところは、画像中で画素値の変化が大きい点だけなので、その観点からもＳｔｅｐ２で設定できる特徴点の数は限られている。よって、少なくともＳｔｅｐ２で設定した特徴点に対しではできるだけ多くの点で３次元位置を求めることが望まれる。
【００１１】
しかし、図１４に例を示すように、対象物体に対する視点が変化すると、最初に設定した特徴点が隠れて見えなくなってしまうことがあり、その様な特徴点に対してはＳｔｅｐ３で追跡に失敗する。
【００１２】
特徴点設定時には、当然のことながら、対象物体の３次元形状が分からないため、どの部分が隠れるかを知ることができない。
【００１３】
具体的に例を使って説明する。図１５のような空撮から得られた時系列映像は図１６のようになる。特徴点は対象物体が写っている最初の画像（撮影時刻００１）に対して設定される。特徴点が設定可能な点は図１７のＡからＪの１０点である。１０点全部を特徴点として設定したとすると、ＥからＪは撮影時刻００２の画像から撮影時刻００３の画像へ追跡する時に失敗する。この場合、ＥからＪに対して行われた処理はすべて無駄になる。
【００１４】
一方、特徴点を設定する数を減らすと、特徴点設定時には対象物体の３次元形状が分からないため、３次元形状を求めるのに必要なＡからＤまでの点に特徴点が（特に計算機により自動で行われる場合には）設定されない可能性がある。
【００１５】
以上のような状況において、時系列映像の中から、特徴点を設定および追跡する画像を、特徴点の隠れによる追跡の失敗を減らすように、適切に選択する必要がある。
【００１６】
なお、これまでの提案としては、複数の画像を用いて３次元形状を獲得することを目的とした、以下の文献がある。
【００１７】
（文献４）特開２０００−６７２１６、３次元構造獲得方法及び装置ならびにその方法の記録媒体 日本電信電話株式会社
（文献５）特開平１０−１１１９３４号公報、３次元形状モデル作成方法及び媒体 株式会社オージス総研
（文献６）特開平１１−８８９１０号公報、３次元モデル生成装置、３次元モデル生成方法、３次元モデル生成プログラムを記録した媒体、３次元モデル再生装置、３次元モデル再生方法及び３次元モデル再生プログラムを記録した媒体、キャノン株式会社
しかし、これらの文献においては、多数の画像のうちのどれに特徴点の設定をし、また、特徴点の追跡を行うかに関しては述べられていない。これとは別に特開２００１−２９１１１６、三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体、ソニー株式会社は、３次元形状モデルに貼付けるテクスチャを取得するための画像を選択する方法を示しているが、３次元形状モデルを得るための特徴点に関する画像選択方法ではない。
【００１８】
本発明の目的は、上記の課題を解決した特徴点追跡画像決定方法、装置、プログラムおよび記録媒体を提供することにある。
【００１９】
【課題を解決するための手段】
上記の課題を解決するための本発明の基本構成を図１に示す。本発明は、時系列画像データベース７０１、中心画像決定装置７０２、追跡画像決定装置７０３、追跡結果統合装置７０４、３次元位置獲得装置７０５からなる。なお、撮影された順番と同じ順番で特徴点を追跡することを「前方に追跡する」、撮影された順番と逆の順番で特徴点を追跡することを「後方に追跡する」と呼ぶことにする。
【００２０】
時系列データベース７０１には、事前に撮影された時系列画像を格納する。中心画像決定装置７０２は、時系列画像データベース７０１から、対象物体が画像の中心にもっとも近い部分に写っている画像を、特徴点を設定する画像として、選び出す。この画像を以後、中心画像と呼ぶ、最後に中心画像に対し、特徴点を設定する。
【００２１】
追跡画像決定装置７０３は、時系列画像データベースの中から追跡を行う画像列を選択する。特徴点の３次元位置の獲得を行うには、撮影方向が大きく異なる画像の間で、特徴点の対応関係が取れている必要がある。そのため、時系列画像の中から対象物体が写る位置が大きく変化するように、追跡を行う画像を選択する。具体的には、対象物体が写る位置が、中心画像に写っている状態から大きく変化するまでの画像の枚数を、中心画像から前方に追跡する場合と、後方に追跡する場合とで、それぞれ数え、追跡画像を決定する。
【００２２】
追跡結果統合装置７０４は、指定された画像列に対して、前方および後方に中心画像の特徴点の追跡を実行する。前方追跡および後方追跡の実行順序はどちらが先でも良く、並列に実行しても良い。前方追跡および後方追跡の追跡結果を、一つの前方追跡の結果にまとめ、特徴点の追跡結果として、３次元位置獲得装置７０５に出力する。
【００２３】
以上のように、対象物体が中心に写し出された画像に対して特徴点を設定し、隠れによる特徴点の損失を削減することができ、同時に、前方および後方に追跡を行うことで、３次元位置の獲得に十分な撮影方向の変化を得ることができるようにしたもので、以下の特徴点追跡画像決定装置、方法、この方法のプログラムおよびこのプログラムを記録した記録媒体を特徴とする。
【００２４】
（装置の発明）
（１）連続的に撮影された時系列の画像を格納したデータ（時系列画像データベース）に対し、撮影対象となった物体の特徴点を、複数の画像の間で追跡する装置であって、
時系列画像の取得時間と同期した外部センサにより得られる撮像装置または移動手段の位置と、対象建物の位置から、撮影位置と建物位置との距離を算出する手段と、
前記距離を最小とする撮影時刻の画像を、前記特徴点を設定するための画像（中心画像）として時系列画像データベースから取り出す手段と、
前記中心画像に設定した特徴点に対し、画像が撮影された順番で、複数の画像の間で特徴点を追跡する手段と、
前記中心画像に設定した特徴点に対し、画像が撮影された順番とは逆の順番で、複数の画像の間で特徴点を追跡する手段と、
それら二つの追跡結果を統合し、一つの追跡結果として、特徴点の移動算出結果を得る手段と、
を備えたことを特徴とする。
【００２６】
（２）上記の（１）において、連続的に撮影された時系列の画像を格納したデータ（時系列画像データベース）に対し、撮影対象となった建物の画面上における画像の中心からのずれに基づいて、前記中心画像より何枚前、および、何枚後の画像まで、特徴点を追跡するかを求める手段を備えたことを特徴とする。
【００２７】
（３）上記の（１）および（２）において、対象建物の画面上における位置の画像中心からのずれＺを、
Ｚ＝（ｘ×ｘ＋ｙ×ｙ） 1/2
ただし、
（ｘ，ｙ）＝（（Ｘｇ−Ｘｔ）／ｃ，Ｙｇ−Ｙｔ）／ｃ）
（Ｘｇ，Ｙｇ）：対象建物の重心位置
（Ｘｔ，Ｙｔ）：ＧＰＳデータによる撮影位置
ｃ：画像の解像度（ｍ／ピクセル）
（ｘ，ｙ）：画面から外れるまでの範囲内
により算出し、前記中心画像の前で前記ずれＺが最大となる画像を特徴点の追跡開始画像とし、前記中心画像の後で前記ずれＺが最大となる画像を特徴点の追跡終了画像とする手段を備えたことを特徴とする。
【００２８】
（方法の発明）
（４）連続的に撮影された時系列の画像を格納したデータ（時系列画像データベース）に対し、撮影対象となった物体の特徴点を、複数の画像の間で追跡するための方法であって、
時系列画像の取得時間と同期した外部センサにより得られる撮像装置または移動手段の位置と、対象建物の位置から、撮影位置と建物位置との距離を算出する過程と、
前記距離を最小とする撮影時刻の画像を、前記特徴点を設定するための画像（中心画像）として時系列画像データベースから取り出す過程と、
前記中心画像に設定した特徴点に対し、画像が撮影された順番で、複数の画像の間で特徴点を追跡する過程と、
前記中心画像に設定した特徴点に対し、画像が撮影された順番とは逆の順番で、複数の画像の間で特徴点を追跡する過程と、
それら二つの追跡結果を統合し、一つの追跡結果として、特徴点の移動算出結果を得る過程と、
を備えたことを特徴とする。
【００３０】
（５）上記の（４）において、連続的に撮影された時系列の画像を格納したデータ（時系列画像データベース）に対し、撮影対象となった建物の画面上における画像の中心からのずれに基づいて、前記中心画像より何枚前、および、何枚後の画像まで、特徴点を追跡するかを求める過程を備えたことを特徴とする。
【００３１】
（６）上記の（４）および（５）において、対象建物の画面上における位置の画像中心からのずれＺを、
Ｚ＝（ｘ×ｘ＋ｙ×ｙ） 1/2
ただし、
（ｘ，ｙ）＝（（Ｘｇ−Ｘｔ）／ｃ，Ｙｇ−Ｙｔ）／ｃ）
（Ｘｇ，Ｙｇ）：対象建物の重心位置
（Ｘｔ，Ｙｔ）：ＧＰＳデータによる撮影位置
ｃ：画像の解像度（ｍ／ピクセル）
（ｘ，ｙ）：画面から外れるまでの範囲内
により算出し、前記中心画像の前で前記ずれＺが最大となる画像を特徴点の追跡開始画像とし、前記中心画像の後で前記ずれＺが最大となる画像を特徴点の追跡終了画像とする過程を備えたことを特徴とする。
【００３２】
（プログラムの発明）
（７）上記の（４）〜（６）のいずれか１項に記載の特徴点追跡画像決定方法における処理過程をコンピュータで実行可能に構成したことを特徴とする。
【００３３】
（記録媒体の発明）
（８）上記の（４）〜（６）のいずれか１項に記載の特徴点追跡画像決定方法における処理過程をコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする。
【００３４】
【発明の実施の形態】
図１の各構成部分についての実施形態を、図１５に示すような空撮映像から対象建物４０１の３次元形状獲得を例にして説明する。
【００３５】
ＮＴＳＣやハイビジョンなどの映像では、１秒間に３０枚の画像が撮れる。そこから適当な間隔で画像を取り出して、時系列データベース７０１に格納する。時系列画像データベースは、撮影した時刻と画像データのファイル名の組を保存することで、時系列画像を管理する。時系列画像データベースの内容の例を図２に示す。
【００３６】
ヘリコプター３０１は、位置測定装置（ＧＰＳ：Global Positioning System）を搭載し、水平に飛行しながら鉛直下向きで撮影しているものとする。よって、ヘリコプター３０１の位置と対象建物４０１の位置から、対象物体が各画像においてどこに写っているかを知ることができる。ＧＰＳデータの例を図３に示す。単位はメートルとし、Ｘ方向を東方向、Ｙ方向を北方向、Ｚ方向を標高方向などと定める。
【００３７】
カメラと対象物の位置関係を使った幾何的な方法以外にも、対象物体の画像中の位置は、事前に用意された対象物体の画像の特徴（外形や色）を使って、画像中を自動的に探索する画像処理的な方法でもよい。
【００３８】
中心画像決定装置７０２の決定処理手順例を図４に示す。カメラはヘリコプターから鉛直下向きに向けられているので、ヘリコプターのｗ平面における位置と、建物のＷ平面における位置が近いほど画面の中心に近いことになる。よって、ステップ１００１で対象建物の重心位置（Ｘｇ，Ｙｇ）を求め、１００２でＧＰＳデータ（Ｘｔ，Ｙｔ，Ｚｔ）から２つの位置の距離Ｄを計算し、Ｄが最小となるヘリコプターの撮影時刻ｔを求める。
【００３９】
【数１】
Ｄ＝｛（Ｘｇ−Ｘｔ）2＋（Ｙｇ−Ｙｔ）2｝1/2
そして、ステップ１００３では時系列画像データベースからｔで撮影された画像を検索して中心画像とし、ステップ１００４ではその画像に対し、特徴点を設定する。
【００４０】
なお、与えられた画像に対して、自動的に特徴点を設定する方法は既存の技術で提案されているものを用いる。たとえば、隣り合う画素値の変化量が閾値を超える点を抜き出したり、画像中の直線を検出して、その交点を求めたり、同じ色の領域を求めて、その境界線が急激に曲がっているところを選ぶ、などさまざまな方法を使うことができる。
【００４１】
次に、追跡画像決定装置７０３の決定処理手順例を図５に示す。最初にステップ１１０１からステップ１１０３までで、対象建物の重心位置（Ｘｇ，Ｙｇ）を求め、全ての画像に対して対象物体が映し出されている画像上の位置（ｘ，ｙ）を求める。
【００４２】
【数２】
（ｘ，ｙ）＝（（Ｘｇ−Ｘｔ）／ｃ，Ｙｇ−Ｙｔ）／ｃ）
ｃ：画像の解像度（ｍ／ピクセル）
この位置の算出では、中心画像決定装置７０２とは異なり、画像の中心からどれだけ離れているかだけでなく、具体的に画像中の位置を求めているのは、画像からはみだして対象物体が写っていない場合を、後の処理で除くためである。
【００４３】
次に、ステップ１１０４からステップ１１０６までは、中心画像より後に撮影された画像を対象にし、ステップ１１０７からステップ１１０９までは中心画像より前に撮影された画像を対象に処理を行う。画像は時系列画像データベース中に撮影時刻とともに記録されているので、こうした画像の検索は容易である。
【００４４】
いずれも、画像中における画像の中心からの距離Ｚを以下の式で算出し、Ｚが最大となる画像を求める。対象物体が時系列画像の途中からはみだす場合には、はみだす直前の画像が選ばれることになる。
【００４５】
【数３】
Ｚ＝（ｘ×ｘ＋ｙ×ｙ）1/2
この処理によって選ばれた画像は中心画像と比べて、対象物体に対する撮影方向が大きく異なるので、これらの画像の間で特徴点の対応関係が求まれば、３次元形状を得ることができる。中心画像より後、および、中心画像より前に撮影された画像からそれぞれ選ばれた、Ｚが最大となる画像ｆ１、ｆ２は追跡結果統合装置７０４へと引き渡される（ステップ１１１０）。
【００４６】
次に、追跡結果統合装置７０４の追跡処理例を図６に示す。追跡画像決定装置７０３で決定された追跡画像の範囲としてｆ１、ｆ２を受け取る（ステップ１２０１）。つまり、前方への追跡は中心画像からｆ１までを、後方への追跡は中心画像からｆ２までを行う（ステップ１２０２．１２０３）。追跡処理終了後、二つの追跡結果を統合するために、追跡結果の方向をそろえる。具体的にはステップ１２０３で得られた後方追跡の結果を、逆順に並べ替えることによって、前方追跡の結果に変換する（ステップ１２０４）。この変換によってｆ２から中心画像までの前方追跡結果が得られたので、ステップ１２０２で得られた結果と結合することにより、ｆ２からｆ１までの前方追跡結果を得ることができる（ステップ１２０５）。
【００４７】
以上のようにして、中心画像に設定した特徴点に対して、撮影方向が大きく変わる画像間において、特徴点の追跡を実行することができ、その結果を一つの前方追跡の結果として得ることができるので、既存の３次元位置獲得装置７０５にそのまま入力できる。また、特徴点を中心画像に設定しているので、特徴点が設定されるのは対象建物４０１の上面だけとなり、隠れによって追跡時に特徴点を見失い、追跡が失敗する可能性を減らすことができる。
【００４８】
（具体例）
以下、図１６の時系列画像を例として用いて、前項で説明した処理をより具体的に説明する。まず、最初に中心画像決定装置７０２の処理が実行される。
【００４９】
図１５に示されるように、撮影時刻００３のとき、ヘリコプターは対象建物４０１の上空にあり、ステップ１００２のＺがもっとも小さくなる。よって、時系列画像データベース７０１を参照し、ｉｍａｇｅ３.ｔｉｆが中心画像として選ばれる。ステップ１００４の結果としてｉｍａｇｅ３.ｔｉｆに特徴点が設定された結果を図７に示す。
【００５０】
次に、追跡画像選択装置７０３の処理が実行される。中心画像より後に撮影された画像はｉｍａｇｅ４.ｔｉｆ，ｉｍａｇｅ５.ｔｉｆの二つであり、ステップ１１０５のＺの値がもっとも大きくなるのはｉｍａｇｅ５.ｔｉｆに対してである。一方、中心画像より前に撮影された画像はｉｍａｇｅ２.ｔｉｆ，ｉｍａｇｅ１.ｔｉｆの二つであり、ステップ１１０８のＺの値がもっとも大きくなるのはｉｍａｇｅ１.ｔｉｆに対してである。よって、ｆ１＝ｉｍａｇｅ５.ｔｉｆ，ｆ２＝ｉｍａｇｅ１.ｔｉｆとなる。
【００５１】
最後に追跡結果統合装置７０４の処理が実行される。前方追跡、後方追跡はそれぞれ図８のように行われる。図８に示しているのは特徴点Ｄの追跡結果であり、前方追跡はＤ４，Ｄ５と追跡され、後方追跡はＤ２，Ｄ１と追跡される。追跡結果は追跡した順に各画像における各特徴点の座標を表にまとめられる。図９に前方追跡の結果を、図１０に後方追跡の結果を、それぞれ示す。ステップ１２０４の処理は図１０の行の順番を逆順にすることで得られる。図９の結果と図１０の結果を逆順にしたものを結合し、ステップ１２０５の処理の結果としたものを、図１１に示す。
【００５２】
結果として、図１７の場合とは異なり、ｉｍａｇｅ１.ｔｉｆの建物上面の部分にだけ特徴点を設定し、前方追跡を行ったのと同じ結果を得ることができた。このため、追跡処理において隠れによる特徴点の損失が無く、特徴点の設定および追跡に関する処理において、無駄を生じることが無かった。
【００５３】
図１１の結果は、３次元位置獲得装置７０５に入力され、各特徴点の３次元の位置が得られる。その後の処理としては、たとえば、点の間に水平面を作成し、それを建物上面とする。そして、標高をもった地表面に、建物上面の各辺から垂直面を下ろせば対象建物の３次元モデルを得ることができる。
【００５４】
以上は空撮によって得られた時系列画像から特徴点の追跡を行う例をあげたが、他の位置測定装置を搭載した、車両や船舶などにおいても同様の方法が利用可能である。また、そういった位置測定装置がなく、対象物体に対して、位置を変えながら撮影した場合でも、画像処理的な手法で画像中の位置を知ることで、本発明の手法は適用可能である。さらに、監視カメラのように、カメラの位置が固定で、対象物体が動いて通り過ぎていくような場合でも、やはり、上記に示した手法を適用することができる。
【００５５】
なお、本発明は、図４〜６に示した方法又は図１に示した装置の一部又は全部の処理機能をプログラムとして構成してコンピュータを用いて実現すること、あるいはこれら処理手順をプログラムとして構成してコンピュータに実行させることができる。また、コンピュータでその各部の処理機能を実現するためのプログラム、あるいはコンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤ（フロッピーディスク：登録商標）、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。
【００５６】
【発明の効果】
以上のとおり、本発明によれば、隠れによって追跡が失敗する特徴点を設定してしまう可能性を減らすことができるので、追跡を行う画像の集合のうち、最初の画像に特徴点を設定する従来の方法に対して、追跡にかかる処理時間を減らすことができる。
【図面の簡単な説明】
【図１】本発明の基本構成図。
【図２】実施形態における時系列画像データベースのデータ例。
【図３】実施形態におけるＧＰＳデータの例。
【図４】実施形態における中心画像決定装置７０２の決定処理手順例。
【図５】実施形態における追跡画像決定装置７０３の決定処理手順例。
【図６】実施形態における追跡結果統合装置７０４の追跡処理例。
【図７】実施形態における設定された特徴点の例。
【図８】実施形態における前方追跡と後方追跡の例。
【図９】図８における前方追跡の結果例。
【図１０】図８における後方追跡の結果例。
【図１１】前方追跡と後方追跡の結合例。
【図１２】時系列画像中と特徴点の対応関係の説明図。
【図１３】空撮映像から３次元都市モデルを作成する例。
【図１４】対象物体に対する視点の変化で特徴点が隠れて見えなくなる例。
【図１５】空撮による時系列映像と対象建物の関係図。
【図１６】図１５による時系列映像の例。
【図１７】映像に設定される特徴点の例。
【符号の説明】
７０１…時系列画像データベース
７０２…中心画像決定装置
７０３…追跡画像決定装置
７０４…追跡結果統合装置
７０５…３次元位置獲得装置
３０１…ヘリコプター
３０２…ビデオカメラ
３０３…市街地
Claims (8)
- 連続的に撮影された時系列の画像を格納したデータ（時系列画像データベース）に対し、撮影対象となった物体の特徴点を、複数の画像の間で追跡する装置であって、
時系列画像の取得時間と同期した外部センサにより得られる撮像装置または移動手段の位置と、対象建物の位置から、撮影位置と建物位置との距離を算出する手段と、
前記距離を最小とする撮影時刻の画像を、前記特徴点を設定するための画像（中心画像）として時系列画像データベースから取り出す手段と、
前記中心画像に設定した特徴点に対し、画像が撮影された順番で、複数の画像の間で特徴点を追跡する手段と、
前記中心画像に設定した特徴点に対し、画像が撮影された順番とは逆の順番で、複数の画像の間で特徴点を追跡する手段と、
それら二つの追跡結果を統合し、一つの追跡結果として、特徴点の移動算出結果を得る手段と、
を備えたことを特徴とする特徴点追跡画像決定装置。 - 請求項１において、連続的に撮影された時系列の画像を格納したデータ（時系列画像データベース）に対し、撮影対象となった建物の画面上における画像の中心からのずれに基づいて、前記中心画像より何枚前、および、何枚後の画像まで、特徴点を追跡するかを求める手段を備えたことを特徴とする特徴点追跡画像決定装置。
- 請求項１および２において、対象建物の画面上における位置の画像中心からのずれＺを、
Ｚ＝（ｘ×ｘ＋ｙ×ｙ） 1/2
ただし、
（ｘ，ｙ）＝（（Ｘｇ−Ｘｔ）／ｃ，Ｙｇ−Ｙｔ）／ｃ）
（Ｘｇ，Ｙｇ）：対象建物の重心位置
（Ｘｔ，Ｙｔ）：ＧＰＳデータによる撮影位置
ｃ：画像の解像度（ｍ／ピクセル）
（ｘ，ｙ）：画面から外れるまでの範囲内
により算出し、前記中心画像の前で前記ずれＺが最大となる画像を特徴点の追跡開始画像とし、前記中心画像の後で前記ずれＺが最大となる画像を特徴点の追跡終了画像とする手段を備えたことを特徴とする特徴点追跡画像決定装置。 - 連続的に撮影された時系列の画像を格納したデータ（時系列画像データベース）に対し、撮影対象となった物体の特徴点を、複数の画像の間で追跡するための方法であって、
時系列画像の取得時間と同期した外部センサにより得られる撮像装置または移動手段の位置と、対象建物の位置から、撮影位置と建物位置との距離を算出する過程と、
前記距離を最小とする撮影時刻の画像を、前記特徴点を設定するための画像（中心画像）として時系列画像データベースから取り出す過程と、
前記中心画像に設定した特徴点に対し、画像が撮影された順番で、複数の画像の間で特徴点を追跡する過程と、
前記中心画像に設定した特徴点に対し、画像が撮影された順番とは逆の順番で、複数の画像の間で特徴点を追跡する過程と、
それら二つの追跡結果を統合し、一つの追跡結果として、特徴点の移動算出結果を得る過程と、
を備えたことを特徴とする特徴点追跡画像決定方法。 - 請求項４において、連続的に撮影された時系列の画像を格納したデータ（時系列画像データベース）に対し、撮影対象となった建物の画面上における画像の中心からのずれに基づいて、前記中心画像より何枚前、および、何枚後の画像まで、特徴点を追跡するかを求める過程を備えたことを特徴とする特徴点追跡画像決定方法。
- 請求項４および５において、対象建物の画面上における位置の画像中心 からのずれＺを、
Ｚ＝（ｘ×ｘ＋ｙ×ｙ） 1/2
ただし、
（ｘ，ｙ）＝（（Ｘｇ−Ｘｔ）／ｃ，Ｙｇ−Ｙｔ）／ｃ）
（Ｘｇ，Ｙｇ）：対象建物の重心位置
（Ｘｔ，Ｙｔ）：ＧＰＳデータによる撮影位置
ｃ：画像の解像度（ｍ／ピクセル）
（ｘ，ｙ）：画面から外れるまでの範囲内
により算出し、前記中心画像の前で前記ずれＺが最大となる画像を特徴点の追跡開始画像とし、前記中心画像の後で前記ずれＺが最大となる画像を特徴点の追跡終了画像とする過程を備えたことを特徴とする特徴点追跡画像決定方法。 - 請求項４〜６のいずれか１項に記載の特徴点追跡画像決定方法における処理過程をコンピュータで実行可能に構成したことを特徴とするプログラム。
- 請求項４〜６のいずれか１項に記載の特徴点追跡画像決定方法における処理過程をコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002052558A JP4025556B2 (ja) | 2002-02-28 | 2002-02-28 | 特徴点追跡画像決定装置、特徴点追跡画像決定方法、この方法のプログラム、およびこのプログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002052558A JP4025556B2 (ja) | 2002-02-28 | 2002-02-28 | 特徴点追跡画像決定装置、特徴点追跡画像決定方法、この方法のプログラム、およびこのプログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003256847A JP2003256847A (ja) | 2003-09-12 |
| JP4025556B2 true JP4025556B2 (ja) | 2007-12-19 |
Family
ID=28664222
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002052558A Expired - Fee Related JP4025556B2 (ja) | 2002-02-28 | 2002-02-28 | 特徴点追跡画像決定装置、特徴点追跡画像決定方法、この方法のプログラム、およびこのプログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4025556B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106228571B (zh) * | 2016-07-15 | 2019-04-19 | 北京光年无限科技有限公司 | 面向机器人的目标物追踪检测方法及装置 |
| JP6869672B2 (ja) * | 2016-09-14 | 2021-05-12 | 株式会社デンソーアイティーラボラトリ | 物体追従システム、物体追従装置、物体追従方法、及び物体追従プログラム |
-
2002
- 2002-02-28 JP JP2002052558A patent/JP4025556B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003256847A (ja) | 2003-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3432212B2 (ja) | 画像処理装置及び方法 | |
| US11748907B2 (en) | Object pose estimation in visual data | |
| Akbarzadeh et al. | Towards urban 3d reconstruction from video | |
| CN111462503B (zh) | 车辆测速方法、装置及计算机可读存储介质 | |
| US11783443B2 (en) | Extraction of standardized images from a single view or multi-view capture | |
| CN102496183B (zh) | 基于互联网照片集的多视角立体重构方法 | |
| CN108399631B (zh) | 一种尺度不变性的倾斜影像多视密集匹配方法 | |
| EP1999685B1 (en) | Method of and system for storing 3d information | |
| CN113853577A (zh) | 图像的处理方法及装置、可移动平台及其控制终端、计算机可读存储介质 | |
| US20230394834A1 (en) | Method, system and computer readable media for object detection coverage estimation | |
| CN110443228A (zh) | 一种行人匹配方法、装置、电子设备及存储介质 | |
| JP2007025863A (ja) | 撮影システム、撮影方法及び画像処理プログラム | |
| JP4025556B2 (ja) | 特徴点追跡画像決定装置、特徴点追跡画像決定方法、この方法のプログラム、およびこのプログラムを記録した記録媒体 | |
| CN109544455B (zh) | 一种超长高清实景长卷无缝融合方法 | |
| CN108090930A (zh) | 基于双目立体相机的障碍物视觉检测系统及方法 | |
| CN113421332A (zh) | 一种三维重建方法、装置、电子设备及存储介质 | |
| JP2009129049A (ja) | 物体位置推定装置、物体位置推定方法、物体位置推定プログラムおよびそのプログラムを記録した記録媒体 | |
| CN105551068B (zh) | 一种三维激光扫描与光学照片的合成方法 | |
| JP2922503B1 (ja) | ３次元座標検出方法 | |
| US20240137477A1 (en) | Method and apparatus for generating 3d image by recording digital content | |
| JP2004030462A (ja) | 画像処理方法、画像処理装置、画像処理プログラム及びそれを記録したコンピュータ読み取り可能な記録媒体 | |
| WO2024001849A1 (zh) | 视觉定位的位姿确定方法、装置以及电子设备 | |
| CN112233228B (zh) | 基于无人机的城市三维重建方法、装置及存储介质 | |
| JP2003256811A (ja) | ３次元情報復元装置、３次元情報復元方法、３次元情報復元方法のプログラムおよびこのプログラムを記録した記録媒体 | |
| JP2005061931A (ja) | ３次元形状の復元方法及びその装置並びに３次元形状の復元プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040121 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070214 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070220 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070410 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071002 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071005 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101012 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101012 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111012 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |