JP4035018B2 - 形状獲得方法、装置、プログラム、およびこのプログラムを記録した記録媒体 - Google Patents
形状獲得方法、装置、プログラム、およびこのプログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP4035018B2 JP4035018B2 JP2002242831A JP2002242831A JP4035018B2 JP 4035018 B2 JP4035018 B2 JP 4035018B2 JP 2002242831 A JP2002242831 A JP 2002242831A JP 2002242831 A JP2002242831 A JP 2002242831A JP 4035018 B2 JP4035018 B2 JP 4035018B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- region
- feature point
- shape
- merging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、特徴量が均一な部分を同一の領域とすることにより、画像から人工物の形状を獲得する方法および装置に関するものである。
【０００２】
【従来の技術】
画像から人工物の形状を自動的に獲得する技術は非常に有用であり、様々に利用されている。例えば、衛星画像から山林の中にある建築物を検出することで、不法建築の発見等に役立てることができる。また、ロボットのカメラに人工物の検出機能を付けることで、作業対象物の発見や障害物の回避などが実現できる。
【０００３】
画像から形状を獲得するには、ある特徴量に注目し、その特徴量が均一な画像領域を抽出し、その領域の輪郭を形状として獲得するという方法が一般的である。例えば、画像における色を特徴量として、画像を領域分割し物体の形状を獲得する研究が行われている（非特許文献２，３参照）。つまり、特徴量として各画素が持つ画素値を用いて、画素値が近い画素をグルーピングすることで領域を分割し、対象物体の形状を獲得する方法である。
【０００４】
撮影方向の異なる複数枚の画像があれば、ステレオ視などの方法によって画像中の点の３次元位置を計測することができる。そこで、別の例として、画像面から奥行き方向の距離を特徴量として形状を獲得するという方法がある（非特許文献１参照）。以下、上空から撮影した複数枚の航空写真から建物の上面形状を獲得する例を図１６を用いて説明する。
【０００５】
複数枚の画像から点の３次元位置を計測する場合、複数の画像間で、計測対象となる点の対応関係を知る必要がある。そのためには点が画像中ではっきりと認識できる点、つまり輝度値の変化が大きな点（特徴点）だけが計測の対象となる。複数枚の画像から特徴点を抽出し、画像間の対応関係をとることは、画素値のパターンを複数枚の画像間で探索することにより自動的に行うことができる（１６０１）。その対応関係から例えばステレオ視を用いて各特徴点の３次元位置を計測できる（１６０２）。ここで計測される３次元位置はカメラからの相対位置として求まるが、カメラの絶対位置（緯度・経度・標高）が分かっていれば・特徴点の３次元位置も絶対位置に変換できる。そして、点の高度を特徴量として同じ高さの特徴点ごとに集合に分ける（１６０３）。その集合を包含するような２次元図形を作ることで、画像から建物上面の領域を抽出し、その領域の輪郭として建物上面形状を獲得できる（１６０４）。図１６では３つの領域が抽出できている。
【０００６】
なお、以下の説明で特徴点の３次元位置について述べる場合は、北緯・東経・標高の絶対座標で位置が与えられており、東方向をｘ軸、北方向をｙ軸、標高の高さ方向をｚ軸とする。また、ｘｙ平面を水平面と呼ぶ。
【０００７】
［非特許文献１］
石川裕治、宮川勲、若林佳織、有川知彦「３次元特徴点集合に基づく建物モデル復元手法の一検討」電子情報通信学会、２００２年度総合大会 情報・システム講演論文集２、２２９ページ
［非特許文献２］
Henricsson,O.,1998.The Role of Color Attributes and Similarity Grouping in 3-D Building Reconstruction.In:Computer Vision and Image Understanding,Vol.72,No.2,pp.163-184.
［非特許文献３］
谷口慶治著「画像処理工学基礎編」共立出版、１９９６年、第５章
［非特許文献４］
東京大学教養学部統計学教室編「統計学入門」東京大学出版会、１９９１年、３２ページ、
【０００８】
【発明が解決しようとする課題】
「高さ」や「色」などの特徴量を使っても、形状獲得に十分な情報を得られない場合がある。上記の例で言えば、高さの計測で誤差が生じたり、同一面の一部分だけ色が違っていたりすることも十分に考えられる。このような状況では特徴量の均一性が失われているので、特徴量の均一な部分で領域を作成しても、最終的に獲得したい形状が一つの領域にまとまらず、複数の断片的な形状の集まりとして獲得されてしまう。
【０００９】
例えば、図１６と同じ手順で建物上面形状を獲得する場合に、図１７のように３次元位置が計測されたとする（１７０１）。この場合は、もともと特徴点はすべて一つの平らな長方形の建物上面に位置していたが、計測誤差により一点がやや低く計測されてしまっている。次に、図１６の１６０３，１６０４と同様に、同じ高さの点を集めて、その集合を包含するような２次元図形を作成することで、形状を抽出する（１７０２）。２次元図形として凸包を使うとして、１７０２において、同じ高さの点だけを含むように領域を形成すると、計測誤差を持つ点のために二つの領域に分割されてしまう。よって、最終的に建物の上面形状も２つに分裂して抽出されてしまう。
【００１０】
別な例として、航空写真から建物の上面形状を抽出するのに、特徴量として色を使う場合を考える。一般に一つの家屋の屋根は全体が同じ色で塗られているため、色の同じ領域を抽出することで家屋の上面形状を獲得できる。しかし、屋根に何か物を置いていたり、高い樹木が屋根に掛かっていたり、近隣の高い建物の陰が屋根に掛かっていたりすると、色のみを用いた方法では領域を十分に抽出できなくなる。
【００１１】
以上に説明したように、特徴量の均一性に基づいた画像領域の作成という方法では、利用する特徴量が形状を完全に反映していないことが原因で、形状をうまく抽出できない場合がある。そのため別の基準を併用して、より正しい領域の決定を行う必要がある。
【００１２】
本発明は、上記の課題を解決するために発明されたものであり、撮影した対象物体が、一部分異なる特徴量（例えば色）を持っている場合や、特徴量（例えば高さ）の計測に誤差を含む場合でも、形状を正しく獲得できるようにすることが課題である。
【００１３】
【課題を解決するための手段】
上記の課題を解決するため本発明は、画像から対象物体の外観形状を獲得する方法であって、画像中の輝度値、あるいは濃淡値が変化する点を特徴点とし、基準平面から前記特徴点の３次元位置までの高さ、あるいは前記画像を取得した撮像視点から前記特徴点の３次元位置までの奥行き方向の距離を特徴量とし、前記画像内において同じ特徴量を備える点のみを含む領域を同一の領域として前記画像から抽出する過程と、前記領域を複数併合して新たな領域を生成する過程と、前記併合前および併合後の領域の各々について輪郭を表わす多角形の２つの辺の長さ、及び前記２つの辺の成す角度、及び前記角度と直角との差異に基づいて当該領域の形状評価値を算出する過程と、前記形状評価値に基づいて前記併合前および併合後の領域のいずれかを前記物体の形状として選択する過程と、を有することを特徴とする形状獲得方法を課題解決の手段とする。
【００１４】
あるいは、画像から対象物体の外観形状を獲得する方法であって、画像中の輝度値、あるいは濃淡値が変化する点を特徴点とし、基準平面から前記特徴点の３次元位置までの高さ、あるいは前記画像を取得した撮像視点から前記特徴点の３次元位置までの奥行き方向の距離を特徴量とし、前記画像内において同じ特徴量を備える点のみを含む領域を同一の領域として前記画像から抽出する過程と、前記領域を複数併合して新たな領域を生成する過程と、前記併合前および併合後の領域の各々について前記領域内の前記特徴点に対する基準平面から前記特徴点の３次元位置までの高さ、あるいは前記画像を取得した撮像視点から前記特徴点の３次元位置までの奥行き方向の距離、あるいは前記特徴点の画素値を特徴量とし、前記特徴量の平均値との差異に基づいて当該領域の均一性評価値を算出する過程と、前記均一性評価値に基づいて前記併合前および併合後の領域のいずれかを前記物体の形状として選択する過程と、を有することを特徴とする形状獲得方法を課題解決の手段とする。
【００１５】
あるいは、画像から対象物体の外観形状を獲得する方法であって、画像中の輝度値、あるいは濃淡値が変化する点を特徴点とし、基準平面から前記特徴点の３次元位置までの高さ、あるいは前記画像を取得した撮像視点から前記特徴点の３次元位置までの奥行き方向の距離を特徴量とし、前記画像内において同じ特徴量を備える点のみを含む領域を同一の領域として前記画像から抽出する過程と、前記領域を複数併合して新たな領域を生成する過程と、前記併合前および併合後の領域の各々について輪郭を表わす多角形の２つの辺の長さ、及び前記２つの辺の成す角度、および前記角度と直角との差異に基づいて当該領域の形状評価値を算出する過程と、前記併合前および併合後の領域の各々について前記領域内の前記特徴点に対する基準平面から前記特徴点の３次元位置までの高さ、あるいは前記画像を取得した撮像視点から前記特徴点の３次元位置までの奥行き方向の距離、あるいは前記特徴点の画素値を特徴量とし、前記特徴量の平均値との差異に基づいて当該領域の均一性評価値を算出する過程と、前記形状評価値と前記均一性評価値の双方に基づいて前記併合前および併合後の領域のいずれかを前記物体の形状として選択する過程と、を有することを特徴とする形状獲得方法を課題解決の手段とする。
【００２０】
あるいは、画像から対象物体の外観形状を獲得する装置であって、画像中の輝度値、あるいは濃淡値が変化する点を特徴点とし、基準平面から前記特徴点の３次元位置までの高さ、あるいは前記画像を取得した撮像視点から前記特徴点の３次元位置までの奥行き方向の距離を特徴量とし、前記画像内において同じ特徴量を備える点のみを含む領域を同一の領域として前記画像から抽出する手段と、前記領域を複数併合して新たな領域を生成する手段と、前記併合前および併合後の領域の各々について輪郭を表わす多角形の２つの辺の長さ、及び前記２つの辺の成す角度、及び前記角度と直角との差異に基づいて当該領域の形状評価値を算出する手段と、前記形状評価値に基づいて前記併合前および併合後の領域のいずれかを前記物体の形状として選択する手段と、を有することを特徴とする形状獲得装置を課題解決の手段とする。
【００２１】
あるいは、画像から対象物体の外観形状を獲得する装置であって、画像中の輝度値、あるいは濃淡値が変化する点を特徴点とし、基準平面から前記特徴点の３次元位置までの高さ、あるいは前記画像を取得した撮像視点から前記特徴点の３次元位置までの奥行き方向の距離を特徴量とし、前記画像内において同じ特徴量を備える点のみを含む領域を同一の領域として前記画像から抽出する手段と、前記領域を複数併合して新たな領域を生成する手段と、前記併合前および併合後の領域の各々について前記領域内の前記特徴点に対する基準平面から前記特徴点の３次元位置までの高さ、あるいは前記画像を取得した撮像視点から前記特徴点の３次元位置までの奥行き方向の距離、あるいは前記特徴点の画素値を特徴量とし、前記特徴量の平均値との差異に基づいて当該領域の均一性評価値を算出する手段と、前記均一性評価値に基づいて前記併合前および併合後の領域のいずれかを前記物体の形状として選択する手段と、を有することを特徴とする形状獲得装置を課題解決の手段とする。
【００２２】
あるいは、画像から対象物体の外観形状を獲得する装置であって、画像中の輝度値、あるいは濃淡値が変化する点を特徴点とし、基準平面から前記特徴点の３次元位置までの高さ、あるいは前記画像を取得した撮像視点から前記特徴点の３次元位置までの奥行き方向の距離を特徴量とし、前記画像内において同じ特徴量を備える点のみを含む領域を同一の領域として前記画像から抽出する手段と、前記領域を複数併合して新たな領域を生成する手段と、前記併合前および併合後の領域の各々について輪郭を表わす多角形の２つの辺の長さ、及び前記２つの辺の成す角度、および前記角度と直角との差異に基づいて当該領域の形状評価値を算出する手段と、前記併合前および併合後の領域の各々について前記領域内の前記特徴点に対する基準平面から前記特徴点の３次元位置までの高さ、あるいは前記画像を取得した撮像視点から前記特徴点の３次元位置までの奥行き方向の距離、あるいは前記特徴点の画素値を特徴量とし、前記特徴量の平均値との差異に基づいて当該領域の均一性評価値を算出する手段と、前記形状評価値と前記均一性評価値の双方に基づいて前記併合前および併合後の領域のいずれかを前記物体の形状として選択する手段と、を有することを特徴とする形状獲得装置を課題解決の手段とする。
【００２７】
あるいは、上記の形状獲得方法における過程を、コンピュータに実行させるためのプログラムとしたことを特徴とする形状獲得プログラムを課題解決の手段とする。
【００２８】
あるいは、上記の形状獲得方法における過程を、コンピュータに実行させるためのプログラムとし、該プログラムを、該コンピュータが読み取りできる記録媒体に記録したことを特徴とする形状獲得プログラムを記録した記録媒体を課題解決の手段とする。
【００２９】
本発明では、領域の輪郭を表す多角形の２つの辺の成す角度と直角の差異に基づいて当該領域の形状評価値を算出し、それに基づいて領域を併合するか否かを決定し、物体の形状を獲得する。あるいは、領域内の点の特徴量と領域内の点の特徴量の平均値との差異に基づいて当該領域の均一性評価値を算出し、それに基づいて領域を併合するか否かを決定し、物体の形状を獲得する。あるいは、上記形状評価値と均一性評価値の双方を算出して、これらの双方の評価値に基づいて領域を併合するか否かを決定し、物体の形状を獲得する。これにより、人工物体が写っている画像領域が、一部異なる特徴量を含んでいる場合でも、形状の評価値を併用して、正しく形状を獲得できるようにする。つまり、撮影した対象物体が、一部分異なる特徴量（例えば色）を持っている場合や、特徴量（例えば高さ）の計測に誤差を含む場合でも、形状を正しく獲得できるようにする。
【００３０】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００３１】
従来の手法の項で述べたように、画像から形状を獲得する方法として、画素値が急に変わる点（特徴点）に対して、ステレオ視によって３次元世界における高さを求め、高さの同じ特徴点を集め、その特徴点の集合の凸包２次元平面を物体の上面形状として抽出する方法がある。以下の例では、特徴点の高さを特徴量として使った場合で説明を行うが、画素値を特徴量として用いた場合もわずかな変更で下記の手法を適用できる。
【００３２】
まず、本発明の一実施形態例による構成を図１に示す。本発明は、領域分割手段１０１、領域併合手段１０２、形状評価手段１０３、および均一性評価手段１０４から成る。
【００３３】
最初に、領域分割手段１０１は入力された画像に対して特徴量を計算し、特徴量が均一な領域を抽出・生成し、領域の集合を出力する。ここでの入力は画像に限らず、要素が２次元配列され、各要素が何らかの特徴量を持つようなデータであってもよい。特徴量としては、各画素に対する画素値や、特徴点に対する画像面から奥行き方向への距離、などが考えられる。
【００３４】
領域併合手段１０２は領域集合を入力として受け取り、形状評価手段１０３より出力される形状評価値、および、均一性評価手段１０４より出力される特徴量の均一性評価値に基づいて、領域の併合を行うかどうかを判定する。判定の方法としては、併合後の領域に対して得られた形状評価値が高く、かつ、特徴量の均一性評価値が高い場合に領域を併合しやすくする。併合処理終了後、領域集合を出力装置１０５に出力する。
【００３５】
形状評価手段１０３では、領域を入力として受け取り、領域の輪郭である多角形を対象に処理を行う。人工物の形状抽出を目的として、二つの辺ａ，ｂが成す角θが直角である場合に高い評価値を返すようにする。さらにａ，ｂの組み合わせは入力された２次元図形において相異なるすべての辺の組み合わせに対してθを求めて評価値に反映する。ａおよびｂの長さが長いほどθの影響が大きくなるように評価値を定めるものとする。
【００３６】
均一性評価手段１０４では、領域分割手段１０１で用いられた特徴量の値が、入力された領域においてどの程度均一であるかに関して評価値を算出し、出力する。具体的な例としては特徴量の集合に対する代表値を算出し、その代表値から各特徴量との差の絶対値を総和し、その総和が小さいほど均一性が高いとする。代表値としては特徴量の平均値、最頻値、中央値（メディアン）などを利用する。
【００３７】
領域分割手段１０１の処理の流れの一例を図２に、実際の処理の例を図３，４，５に示す。
【００３８】
上空から撮影した画像を用いて、建物の上面形状を獲得する例を図３に示す。上空から２つの建物α，γと一本の木βを含む地域を撮影し（３０１）、３０２に示すような画像を得たとする。この画像から特徴点を抽出すると３０３のようになる。特徴点とは画像において明瞭な点を意味し、具体的には輝度値が急激に変化する点が特徴点となる。一般に対象物体の角が特徴点となりやすく、また、建物の上面に模様がある場合もそこで画素値が大きく変化するので特徴点となる。以上のようにして、最初に入力された画像から特徴点を得る（２０１，２０２）。
【００３９】
次に、撮影方向を変えた複数の画像からステレオ視によって各点の３次元位置を計測する（２０３）。なお、３次元位置は画像を使わずにレーザー測定装置による測量など他の測定方法によって求めてもよい。得られた各点の３次元位置を図４に示す。この例では、点ａの高さは実際は１０ｍであるが、計測時の誤差により５ｍとなっている。特徴点の高さを特徴量と考えて、高さが同じ点をグルーピングする（２０４）。各グループでは図４のｘｙ平面において凸包を作成し、その凸包が他の高さの点を含まないようにする（２０５）。これは各グループの凸包が同じ特徴を持つ領域だとして物体の形状を抽出しようとしているので、他の特徴量を持つ点が領域に含まれるのを防ぐためである。
【００４０】
最後に、各グルーブの凸包をそれぞれ一つの領域として出力する（２０６）。なお、特徴点を１つしか含まない場合や点が一直線に並ぶ場合は領域として面積を持たないので、特徴点集合には含まない。
【００４１】
図４のグルーピングの結果を図５に示す。高さが１０ｍで同じ点が１０点あるが、１０ｍより低い点が２つあるため１つの領域にはならずにＡ，Ｂ，Ｃの３つの領域として出力する。特に領域ＢとＣの場合は、点ａが持つ誤差によって本来１つになるべき形状がＢとＣに分割されてしまっている。
【００４２】
形状評価手段１０３での処理の流れの一例を図６に示す。形状評価手段１０３では領域を入力とし（６０１）、この領域の輪郭を表す多角形の２つの辺ｉ，ｊの成す角度θと直角の差異に基づいて当該領域の形状評価値Ｓを算出する。つまり、その角度θが直角に近いほどＳの値が大きくなるようにする。図６の例では、そのｘｙ平面上の２次元形状の相異なる辺の組（ｉ，ｊ）のすべてに対し、ｌiは辺ｉの長さ、ｌjは辺ｊの長さとして、ｌi×ｌjの総和Ｓｕｍ＿Ｌとｌi×ｌj×θの総和Ｓｕｍを計算し（６０２〜６０５）、それらの比Ｓｕｍ／Ｓｕｍ＿Ｌを形状評価値Ｓとして出力する（６０６）。
【００４３】
上記とは別の形状評価値Ｓの算出例として、以下の式（１）で表される形状評価値Ｓを計算して出力する例を示す。
【００４４】
【数１】
【００４５】
ここで、ｌiは辺ｉの長さ、ｌjは辺ｊの長さ、θijは辺ｉと辺ｊの成す角（０＜θij≦π）、βはパラメータである。式（１）における和は、隣り合う辺の組（ｉ，ｊ）だけでなく、相異なる辺の組すべてに対して計算する。二つの辺が互いに直交する位置にあれば、それらが隣り合っていなくても、建物形状の特徴として高く評価するためである。また、辺ｉおよび辺ｊの長さが長いほどＳの値に対するθijの影響が大きくなる。これは長い辺の位置関係ほど形状に大きな影響を与えていると考えられるからである。
【００４６】
β＝０．３としたときの、Ｓの値の例を図７に示す。正方形（形状１）の評価が一番高いが、形状から人工物を検出するという目的にとっては、正方形の評価が高いことは望ましい。形状１に近い形状２の評価も同じくらい高くなっている。形状２は平面図形としては直角を持たないが、長い辺の相対位置が直角なので評価が高くなっている。式（１）において、隣り合う辺の組だけでなく相異なる辺の組すべてに対して計算していることにより、形状Ｂのような角が少し欠けた図形に対しても評価を高くすることができる。形状３は形状２に比べ形状１からの変形が大きいので評価が下がっている。形状４も形状１や形状２に比べて評価が低い。形状４は直角を含むが、一辺が短いので評価値が小さくなっている。このことは、あまりに細長い長方形は建物などの人工物と認めずに評価を低くすることを意味し、式（１）で辺の長さを考慮した効果である。
【００４７】
なお、式（１）は一例であり、定数を乗じたり加算したりした値を用いた場合においても、同様に本発明は成立し、また、式（１）における指数関数ｅｘｐ（）の部分は、θijがπ／２に近いほど大きくなるような任意の関数に置き換えてもよい。
【００４８】
均一性評価手段１０４の処理の流れの一例を図８に示す。均一性評価手段１０４では領域を入力とし（８０１）、領域内の点の特徴量と領域内の点の特徴量の平均値との差異に基づいて当該領域の均一性評価値Ｄを算出する。図８の例では、特徴量として特徴点の高さを用いる。具体的には、領域に含まれる特徴点を集めて（８０２）、それらの特徴点の平均値Ｚを計算する（８０３）。次に、各特徴点の高さについてＺとのずれｄＺを計算し（８０４）、特徴点の高さの分散ρを式（２）で計算して（８０５）、ρの逆数を当該領域の均一性評価値Ｄとして出力する。
【００４９】
ρ＝√（ｄＺ2／（特徴点の数−１）） …（２）
均一性評価手段１０４では、特徴量として特徴点の高さを用いているので、領域に含まれている特徴点の高さがその平均値Ｚからずれていなければ、領域の特徴量は均一であると見なす。例えば、図５の領域Ａ，Ｂ，Ｃはいずれも、領域中のすべての特徴点が同じ高さにあるので、分散ρの値は０、均一性評価値Ｄは∞となる。なお、特徴量として画素値を用いる場合には、領域に含まれるすべての画素値の集合に対して分散を求めることで、同様の評価値を算出することは容易である。
【００５０】
上記とは別の均一性評価値Ｄの算出例としては、分散の代わりに特徴点集合の高さの標準偏差を用いることも考えられる。非特許文献４によれば、平均値からのばらつきを表す量の一つとして標準偏差があり、本例では標準偏差の逆数を均一性評価値Ｄとして用いる。例えば、図５の領域Ａ，Ｂ，Ｃはいずれも、領域中のすべての特徴点が同じ高さにあるので、標準偏差は０、均一性評価値Ｄは∞となる。なお、特徴量として画素値を用いる場合には、領域に含まれるすべての画素値の集合に対して標準偏差を求めることで、同様の評価値を算出することは容易である。
【００５１】
領域併合手段１０２の処理の流れの一例を図９に示す。領域併合手段１０２は、併合後の領域の形状評価値Ｓや均一性評価値Ｄの値を考慮して併合するか判定する。以下に示す例では、領域集合から領域の組を列挙し、各組に判定および併合の処理を行うこととする（９０２）。ただし３つ以上の領域を一度に判定および併合することも容易に考えられる。まだ選択されていない領域の組（Ａi，Ａj）を選択し（９０３）、Ａi，Ａjを併合して領域Ａn+1を作成する（９０４）。具体的には、Ａi，Ａjの両方を包含するような凸包をｘｙ平面で作成し、その領域をＡn+1とする。そしてＡn+1に対して形状評価値Ｓと均一性評価値Ｄを求め（９０５，９０６）、Ｓ×Ｄがある適当な閾値（例えば、０．２と設定）よりも大きければ（９０７）、領域集合からＡi，Ａjを削除してＡn+1を加える（９０８）。このように併合の条件（９０７）を満たす領域の組を順次併合していき、最終的に得られた領域集合を出力して終了する（９０９）。
【００５２】
併合の条件（９０７）について説明する。形状評価値Ｓは大きい方が形状が望ましいことを意味し、均一性評価値Ｄは大きい方が特徴量の均一性が高いことを意味する。よって総合的にはＳとＤがともに大きい領域が望ましく、それを表す評価関数の一つとして併合の条件（９０７）で用いたＳ×Ｄが考えられる。よって、この評価関数値がある閾値より大きな場合に領域を併合することにし、点の位置の誤差により均一性が多少悪くなっていたとしても、形状が望ましい領域を得ることができる。なお、条件式の形は０．２＜Ｓ×Ｄに限るものではなく、ＳおよびＤが大きい時に真となる可能性が高くなる条件式であれば良い。閾値の値は対象物体や３次元位置計測の精度に依存するため、正しい形状を人手で獲得したものを正解サンプルとしていくつか用意し、そのサンプルから閾値を決める方法が考えられる。
【００５３】
ＳおよびＤの値の一例を図１０に示す。図中の「ＡＢ」は、ＡとＢを併合した結果得られる領域を示す。９０４の処理によって、併合後の領域はＡi，Ａjの両方を包含する凸包として得られるので、例えば図５の領域Ｂ，Ｃを併合した結果得られる領域には、Ｂ，Ｃそれぞれに元々含まれていた特徴点の他に、図５の点ａ（高さ５ｍ）も含まれる。同様にＡ，Ｂでも高さの違う点ｂ（高さ８ｍ）を含む。他の特徴点の高さは１０ｍであり、点ｂよりも点ａのほうが高さが大きく異なるので、ＡＢよりもＢＣのほうが均一性が低い。その結果Ｄの値は小さくなる（０．５２９＜１．４１）。しかし、ＡＢよりもＢＣのほうがＳの評価値は高く、その結果Ｓ×Ｄの値も大きくなっている。
【００５４】
図１０の結果をもとに領域併合手段１０２の処理（図９）を説明する。初期の領域集合は｛Ａ，Ｂ，Ｃ｝となる。図９の９０３において、領域の組（Ａi，Ａj）として、（Ａ，Ｂ）、（Ａ，Ｃ）、（Ｂ，Ｃ）という順番で列挙されたとすると、（Ａ，Ｂ）、（Ａ，Ｃ）は９０７の判定でｎｏと判定され、併合（９０８の処理）は行われない。そして（Ｂ，Ｃ）の時に、９０７の判定でｙｅｓとなり、ＢとＣが領域集合から削除されてＢＣが領域集合に加えられる。このときの領域の状態を図１１に示す。
【００５５】
次に、領域の組（Ａi，Ａj）として、（Ａ，ＢＣ）が選択される。この場合は９０７の判定でｎｏと判定され、併合（９０８の処理）は行われない。領域集合は（Ａ，ＢＣ）以外の選択が無いので９０２の判定はｙｅｓとなり、処理を終了し、領域集合として｛Ａ，ＢＣ｝を出力する。
【００５６】
なお、図５の例で点ａの高さが０ｍであったとすると、ＢＣのＳ×Ｄの値は０．１７６＜０．２となり、９０７の判定でｎｏと判定されるためＢとＣは併合されない。つまり高さ０ｍの点ａは１０ｍの建物上面から大きく外れているため、ＢＣの一様性は著しく低く、形状評価関数Ｓの値が良くても、ＢとＣは同一の面とは認められない。点ａの高さが０ｍの場合は、位置測定の誤差によって観測された高さではなく、もともと建物がＢとＣに分割されており点ａは地上の点が観測されたものである、と考えるのがむしろ自然である。よって、ＢとＣを併合しないという結果は本発明の正しさを示していると考えられる。併合判定の結果は閾値によっても変わってくるが、地上付近の点が多く観測された場合に領域を併合しにくくなるという性質は、より正しい形状を与えるために望ましいと考えられる。
【００５７】
最後に出力装置１０５の実施形態例による処理の流れの一例を図１２に示す。出力装置１０５は、領域併合装置１０２から出力された領域集合を入力として受け取り、領域集合の各領域から柱状のモデルデータを作成する（１２０１）。まず、各領域に対して凸包Ｓｉを作成し柱状モデルの上面とする（１２０２）。次に、各領域に含まれる特徴点の高さの平均値を算出し、柱状モデルの高さＺｉとする（１２０３）。Ｓｉを上面とし高さＺｉを持つ柱状モデルを作成した後（１２０４）、ｘｙ平面における元々の凸包の２次元位置に柱状モデルを配置し（１２０５）、全体を一つの形状モデルとして出力する。図１１に示す領域集合｛Ａ，ＢＣ｝を元に作成した３次元形状モデルを図１３に示す。図３の撮影対象となった実世界と比較すると、上面に平面領域をもつ建物に関しては３次元形状モデルを復元できていることが分かる。
【００５８】
本発明の手法により、上空からの画像から得られた３次元点集合から、点の３次元位置に多少の誤差があっても安定して３次元の都市モデル等を構築することができる。実際の画像から３次元の都市モデルを作成した結果を図１４に示す。作成した３次元モデルは様々な数値シミュレーションやカーナビゲーション等のアプリケーションに利用することができる（図１５）。
【００５９】
上述の実施形態例では、形状評価値Ｓと均一性評価値Ｄの双方を用いる例を示したが、どちらか一方の評価値を用いるようにしても良い。その場合には、その一方のみの評価手段や評価の過程を備えれば良い。
【００６０】
なお、図１で示した処理の各部の一部もしくは全部の処理機能を、コンピュータ等の演算処理手段や制御手段を用いて実現できること、あるいは、図２，６，８，９、及び図１２で示した処理の過程をコンピュータ等に実行させることができることは言うまでもなく、コンピュータ等でその各部の処理機能を実現するためのプログラム、あるいは、コンピュータ等にその処理の過程を実行させるためのプログラムを、そのコンピュータ等が読み取り可能な記録媒体、例えば、ＦＤ（フレキシブルディスク）や、ＭＯ，ＲＯＭ、メモリカード、ＣＤ，ＤＶＤ、リムーバルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを通じて、該プログラムを提供したりすることが可能である。このようにして記録媒体や通信ネットワークにより提供されたプログラムを、コンピュータ等の演算処理手段や制御手段にインストールすることで、本発明が実施可能となる。
【００６１】
【発明の効果】
本発明によれば、人工物体が写っている画像領域が、一部異なる特徴量を含んでいる場合でも、形状評価値および均一性評価値の一方もしくは双方を使用して、正しく形状を獲得できる。つまり、撮影した対象物体が、一部分異なる特徴量（例えば色）を持っている場合や、特徴量（例えば高さ）の計測に誤差を含む場合でも形状を正しく獲得できるようになる。
【図面の簡単な説明】
【図１】本発明の一実施形態例による構成を示す図
【図２】上記実施形態例による領域分割手段での処理の流れの一例を示す図
【図３】上記領域分割手段での処理例として、上空から撮影した画像を用いて建物の上面形状を獲得する例を示す図
【図４】（ａ），（ｂ）は、上記領域分割手段での処理例として、得られた各点の３次元位置を示す図
【図５】（ａ），（ｂ）は、上記領域分割手段での処理例として、グルーピングの結果を示す図
【図６】上記実施形態例による形状評価手段での処理の流れの一例を示す図
【図７】（ａ），（ｂ），（ｃ），（ｄ）は、上記形状評価手段での処理例として、形状評価値Ｓの値の例を示す図
【図８】上記実施形態例による均一性評価手段の処理の流れの一例を示す図
【図９】上記実施形態例による領域併合手段の処理の流れの一例を示す図
【図１０】上記領域併合手段の処理例として、形状評価値Ｓおよび均一性評価値Ｄの値の一例を示す図
【図１１】（ａ），（ｂ）は、上記領域併合手段の処理例として、領域集合からの領域の削除と併合による領域の状態の一例を示す図
【図１２】上記実施形態例による出力装置の処理の流れの一例を示す図
【図１３】上記出力装置の処理例として、作成された３次元形状モデルの一例を示す図
【図１４】本発明により実際の画像から３次元の都市モデルを作成した結果の一例を示す図
【図１５】作成した３次元モデルの利用例を説明する図
【図１６】従来技術による、上空から撮影した複数枚の航空写真から建物の上面形状を獲得する例を説明する図
【図１７】上記従来技術の問題点を説明する図
【符号の説明】
１０１…領域分割手段
１０２…領域併合手段
１０３…形状評価手段
１０４…均一性評価手段
１０５…出力装置
【発明の属する技術分野】
本発明は、特徴量が均一な部分を同一の領域とすることにより、画像から人工物の形状を獲得する方法および装置に関するものである。
【０００２】
【従来の技術】
画像から人工物の形状を自動的に獲得する技術は非常に有用であり、様々に利用されている。例えば、衛星画像から山林の中にある建築物を検出することで、不法建築の発見等に役立てることができる。また、ロボットのカメラに人工物の検出機能を付けることで、作業対象物の発見や障害物の回避などが実現できる。
【０００３】
画像から形状を獲得するには、ある特徴量に注目し、その特徴量が均一な画像領域を抽出し、その領域の輪郭を形状として獲得するという方法が一般的である。例えば、画像における色を特徴量として、画像を領域分割し物体の形状を獲得する研究が行われている（非特許文献２，３参照）。つまり、特徴量として各画素が持つ画素値を用いて、画素値が近い画素をグルーピングすることで領域を分割し、対象物体の形状を獲得する方法である。
【０００４】
撮影方向の異なる複数枚の画像があれば、ステレオ視などの方法によって画像中の点の３次元位置を計測することができる。そこで、別の例として、画像面から奥行き方向の距離を特徴量として形状を獲得するという方法がある（非特許文献１参照）。以下、上空から撮影した複数枚の航空写真から建物の上面形状を獲得する例を図１６を用いて説明する。
【０００５】
複数枚の画像から点の３次元位置を計測する場合、複数の画像間で、計測対象となる点の対応関係を知る必要がある。そのためには点が画像中ではっきりと認識できる点、つまり輝度値の変化が大きな点（特徴点）だけが計測の対象となる。複数枚の画像から特徴点を抽出し、画像間の対応関係をとることは、画素値のパターンを複数枚の画像間で探索することにより自動的に行うことができる（１６０１）。その対応関係から例えばステレオ視を用いて各特徴点の３次元位置を計測できる（１６０２）。ここで計測される３次元位置はカメラからの相対位置として求まるが、カメラの絶対位置（緯度・経度・標高）が分かっていれば・特徴点の３次元位置も絶対位置に変換できる。そして、点の高度を特徴量として同じ高さの特徴点ごとに集合に分ける（１６０３）。その集合を包含するような２次元図形を作ることで、画像から建物上面の領域を抽出し、その領域の輪郭として建物上面形状を獲得できる（１６０４）。図１６では３つの領域が抽出できている。
【０００６】
なお、以下の説明で特徴点の３次元位置について述べる場合は、北緯・東経・標高の絶対座標で位置が与えられており、東方向をｘ軸、北方向をｙ軸、標高の高さ方向をｚ軸とする。また、ｘｙ平面を水平面と呼ぶ。
【０００７】
［非特許文献１］
石川裕治、宮川勲、若林佳織、有川知彦「３次元特徴点集合に基づく建物モデル復元手法の一検討」電子情報通信学会、２００２年度総合大会 情報・システム講演論文集２、２２９ページ
［非特許文献２］
Henricsson,O.,1998.The Role of Color Attributes and Similarity Grouping in 3-D Building Reconstruction.In:Computer Vision and Image Understanding,Vol.72,No.2,pp.163-184.
［非特許文献３］
谷口慶治著「画像処理工学基礎編」共立出版、１９９６年、第５章
［非特許文献４］
東京大学教養学部統計学教室編「統計学入門」東京大学出版会、１９９１年、３２ページ、
【０００８】
【発明が解決しようとする課題】
「高さ」や「色」などの特徴量を使っても、形状獲得に十分な情報を得られない場合がある。上記の例で言えば、高さの計測で誤差が生じたり、同一面の一部分だけ色が違っていたりすることも十分に考えられる。このような状況では特徴量の均一性が失われているので、特徴量の均一な部分で領域を作成しても、最終的に獲得したい形状が一つの領域にまとまらず、複数の断片的な形状の集まりとして獲得されてしまう。
【０００９】
例えば、図１６と同じ手順で建物上面形状を獲得する場合に、図１７のように３次元位置が計測されたとする（１７０１）。この場合は、もともと特徴点はすべて一つの平らな長方形の建物上面に位置していたが、計測誤差により一点がやや低く計測されてしまっている。次に、図１６の１６０３，１６０４と同様に、同じ高さの点を集めて、その集合を包含するような２次元図形を作成することで、形状を抽出する（１７０２）。２次元図形として凸包を使うとして、１７０２において、同じ高さの点だけを含むように領域を形成すると、計測誤差を持つ点のために二つの領域に分割されてしまう。よって、最終的に建物の上面形状も２つに分裂して抽出されてしまう。
【００１０】
別な例として、航空写真から建物の上面形状を抽出するのに、特徴量として色を使う場合を考える。一般に一つの家屋の屋根は全体が同じ色で塗られているため、色の同じ領域を抽出することで家屋の上面形状を獲得できる。しかし、屋根に何か物を置いていたり、高い樹木が屋根に掛かっていたり、近隣の高い建物の陰が屋根に掛かっていたりすると、色のみを用いた方法では領域を十分に抽出できなくなる。
【００１１】
以上に説明したように、特徴量の均一性に基づいた画像領域の作成という方法では、利用する特徴量が形状を完全に反映していないことが原因で、形状をうまく抽出できない場合がある。そのため別の基準を併用して、より正しい領域の決定を行う必要がある。
【００１２】
本発明は、上記の課題を解決するために発明されたものであり、撮影した対象物体が、一部分異なる特徴量（例えば色）を持っている場合や、特徴量（例えば高さ）の計測に誤差を含む場合でも、形状を正しく獲得できるようにすることが課題である。
【００１３】
【課題を解決するための手段】
上記の課題を解決するため本発明は、画像から対象物体の外観形状を獲得する方法であって、画像中の輝度値、あるいは濃淡値が変化する点を特徴点とし、基準平面から前記特徴点の３次元位置までの高さ、あるいは前記画像を取得した撮像視点から前記特徴点の３次元位置までの奥行き方向の距離を特徴量とし、前記画像内において同じ特徴量を備える点のみを含む領域を同一の領域として前記画像から抽出する過程と、前記領域を複数併合して新たな領域を生成する過程と、前記併合前および併合後の領域の各々について輪郭を表わす多角形の２つの辺の長さ、及び前記２つの辺の成す角度、及び前記角度と直角との差異に基づいて当該領域の形状評価値を算出する過程と、前記形状評価値に基づいて前記併合前および併合後の領域のいずれかを前記物体の形状として選択する過程と、を有することを特徴とする形状獲得方法を課題解決の手段とする。
【００１４】
あるいは、画像から対象物体の外観形状を獲得する方法であって、画像中の輝度値、あるいは濃淡値が変化する点を特徴点とし、基準平面から前記特徴点の３次元位置までの高さ、あるいは前記画像を取得した撮像視点から前記特徴点の３次元位置までの奥行き方向の距離を特徴量とし、前記画像内において同じ特徴量を備える点のみを含む領域を同一の領域として前記画像から抽出する過程と、前記領域を複数併合して新たな領域を生成する過程と、前記併合前および併合後の領域の各々について前記領域内の前記特徴点に対する基準平面から前記特徴点の３次元位置までの高さ、あるいは前記画像を取得した撮像視点から前記特徴点の３次元位置までの奥行き方向の距離、あるいは前記特徴点の画素値を特徴量とし、前記特徴量の平均値との差異に基づいて当該領域の均一性評価値を算出する過程と、前記均一性評価値に基づいて前記併合前および併合後の領域のいずれかを前記物体の形状として選択する過程と、を有することを特徴とする形状獲得方法を課題解決の手段とする。
【００１５】
あるいは、画像から対象物体の外観形状を獲得する方法であって、画像中の輝度値、あるいは濃淡値が変化する点を特徴点とし、基準平面から前記特徴点の３次元位置までの高さ、あるいは前記画像を取得した撮像視点から前記特徴点の３次元位置までの奥行き方向の距離を特徴量とし、前記画像内において同じ特徴量を備える点のみを含む領域を同一の領域として前記画像から抽出する過程と、前記領域を複数併合して新たな領域を生成する過程と、前記併合前および併合後の領域の各々について輪郭を表わす多角形の２つの辺の長さ、及び前記２つの辺の成す角度、および前記角度と直角との差異に基づいて当該領域の形状評価値を算出する過程と、前記併合前および併合後の領域の各々について前記領域内の前記特徴点に対する基準平面から前記特徴点の３次元位置までの高さ、あるいは前記画像を取得した撮像視点から前記特徴点の３次元位置までの奥行き方向の距離、あるいは前記特徴点の画素値を特徴量とし、前記特徴量の平均値との差異に基づいて当該領域の均一性評価値を算出する過程と、前記形状評価値と前記均一性評価値の双方に基づいて前記併合前および併合後の領域のいずれかを前記物体の形状として選択する過程と、を有することを特徴とする形状獲得方法を課題解決の手段とする。
【００２０】
あるいは、画像から対象物体の外観形状を獲得する装置であって、画像中の輝度値、あるいは濃淡値が変化する点を特徴点とし、基準平面から前記特徴点の３次元位置までの高さ、あるいは前記画像を取得した撮像視点から前記特徴点の３次元位置までの奥行き方向の距離を特徴量とし、前記画像内において同じ特徴量を備える点のみを含む領域を同一の領域として前記画像から抽出する手段と、前記領域を複数併合して新たな領域を生成する手段と、前記併合前および併合後の領域の各々について輪郭を表わす多角形の２つの辺の長さ、及び前記２つの辺の成す角度、及び前記角度と直角との差異に基づいて当該領域の形状評価値を算出する手段と、前記形状評価値に基づいて前記併合前および併合後の領域のいずれかを前記物体の形状として選択する手段と、を有することを特徴とする形状獲得装置を課題解決の手段とする。
【００２１】
あるいは、画像から対象物体の外観形状を獲得する装置であって、画像中の輝度値、あるいは濃淡値が変化する点を特徴点とし、基準平面から前記特徴点の３次元位置までの高さ、あるいは前記画像を取得した撮像視点から前記特徴点の３次元位置までの奥行き方向の距離を特徴量とし、前記画像内において同じ特徴量を備える点のみを含む領域を同一の領域として前記画像から抽出する手段と、前記領域を複数併合して新たな領域を生成する手段と、前記併合前および併合後の領域の各々について前記領域内の前記特徴点に対する基準平面から前記特徴点の３次元位置までの高さ、あるいは前記画像を取得した撮像視点から前記特徴点の３次元位置までの奥行き方向の距離、あるいは前記特徴点の画素値を特徴量とし、前記特徴量の平均値との差異に基づいて当該領域の均一性評価値を算出する手段と、前記均一性評価値に基づいて前記併合前および併合後の領域のいずれかを前記物体の形状として選択する手段と、を有することを特徴とする形状獲得装置を課題解決の手段とする。
【００２２】
あるいは、画像から対象物体の外観形状を獲得する装置であって、画像中の輝度値、あるいは濃淡値が変化する点を特徴点とし、基準平面から前記特徴点の３次元位置までの高さ、あるいは前記画像を取得した撮像視点から前記特徴点の３次元位置までの奥行き方向の距離を特徴量とし、前記画像内において同じ特徴量を備える点のみを含む領域を同一の領域として前記画像から抽出する手段と、前記領域を複数併合して新たな領域を生成する手段と、前記併合前および併合後の領域の各々について輪郭を表わす多角形の２つの辺の長さ、及び前記２つの辺の成す角度、および前記角度と直角との差異に基づいて当該領域の形状評価値を算出する手段と、前記併合前および併合後の領域の各々について前記領域内の前記特徴点に対する基準平面から前記特徴点の３次元位置までの高さ、あるいは前記画像を取得した撮像視点から前記特徴点の３次元位置までの奥行き方向の距離、あるいは前記特徴点の画素値を特徴量とし、前記特徴量の平均値との差異に基づいて当該領域の均一性評価値を算出する手段と、前記形状評価値と前記均一性評価値の双方に基づいて前記併合前および併合後の領域のいずれかを前記物体の形状として選択する手段と、を有することを特徴とする形状獲得装置を課題解決の手段とする。
【００２７】
あるいは、上記の形状獲得方法における過程を、コンピュータに実行させるためのプログラムとしたことを特徴とする形状獲得プログラムを課題解決の手段とする。
【００２８】
あるいは、上記の形状獲得方法における過程を、コンピュータに実行させるためのプログラムとし、該プログラムを、該コンピュータが読み取りできる記録媒体に記録したことを特徴とする形状獲得プログラムを記録した記録媒体を課題解決の手段とする。
【００２９】
本発明では、領域の輪郭を表す多角形の２つの辺の成す角度と直角の差異に基づいて当該領域の形状評価値を算出し、それに基づいて領域を併合するか否かを決定し、物体の形状を獲得する。あるいは、領域内の点の特徴量と領域内の点の特徴量の平均値との差異に基づいて当該領域の均一性評価値を算出し、それに基づいて領域を併合するか否かを決定し、物体の形状を獲得する。あるいは、上記形状評価値と均一性評価値の双方を算出して、これらの双方の評価値に基づいて領域を併合するか否かを決定し、物体の形状を獲得する。これにより、人工物体が写っている画像領域が、一部異なる特徴量を含んでいる場合でも、形状の評価値を併用して、正しく形状を獲得できるようにする。つまり、撮影した対象物体が、一部分異なる特徴量（例えば色）を持っている場合や、特徴量（例えば高さ）の計測に誤差を含む場合でも、形状を正しく獲得できるようにする。
【００３０】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００３１】
従来の手法の項で述べたように、画像から形状を獲得する方法として、画素値が急に変わる点（特徴点）に対して、ステレオ視によって３次元世界における高さを求め、高さの同じ特徴点を集め、その特徴点の集合の凸包２次元平面を物体の上面形状として抽出する方法がある。以下の例では、特徴点の高さを特徴量として使った場合で説明を行うが、画素値を特徴量として用いた場合もわずかな変更で下記の手法を適用できる。
【００３２】
まず、本発明の一実施形態例による構成を図１に示す。本発明は、領域分割手段１０１、領域併合手段１０２、形状評価手段１０３、および均一性評価手段１０４から成る。
【００３３】
最初に、領域分割手段１０１は入力された画像に対して特徴量を計算し、特徴量が均一な領域を抽出・生成し、領域の集合を出力する。ここでの入力は画像に限らず、要素が２次元配列され、各要素が何らかの特徴量を持つようなデータであってもよい。特徴量としては、各画素に対する画素値や、特徴点に対する画像面から奥行き方向への距離、などが考えられる。
【００３４】
領域併合手段１０２は領域集合を入力として受け取り、形状評価手段１０３より出力される形状評価値、および、均一性評価手段１０４より出力される特徴量の均一性評価値に基づいて、領域の併合を行うかどうかを判定する。判定の方法としては、併合後の領域に対して得られた形状評価値が高く、かつ、特徴量の均一性評価値が高い場合に領域を併合しやすくする。併合処理終了後、領域集合を出力装置１０５に出力する。
【００３５】
形状評価手段１０３では、領域を入力として受け取り、領域の輪郭である多角形を対象に処理を行う。人工物の形状抽出を目的として、二つの辺ａ，ｂが成す角θが直角である場合に高い評価値を返すようにする。さらにａ，ｂの組み合わせは入力された２次元図形において相異なるすべての辺の組み合わせに対してθを求めて評価値に反映する。ａおよびｂの長さが長いほどθの影響が大きくなるように評価値を定めるものとする。
【００３６】
均一性評価手段１０４では、領域分割手段１０１で用いられた特徴量の値が、入力された領域においてどの程度均一であるかに関して評価値を算出し、出力する。具体的な例としては特徴量の集合に対する代表値を算出し、その代表値から各特徴量との差の絶対値を総和し、その総和が小さいほど均一性が高いとする。代表値としては特徴量の平均値、最頻値、中央値（メディアン）などを利用する。
【００３７】
領域分割手段１０１の処理の流れの一例を図２に、実際の処理の例を図３，４，５に示す。
【００３８】
上空から撮影した画像を用いて、建物の上面形状を獲得する例を図３に示す。上空から２つの建物α，γと一本の木βを含む地域を撮影し（３０１）、３０２に示すような画像を得たとする。この画像から特徴点を抽出すると３０３のようになる。特徴点とは画像において明瞭な点を意味し、具体的には輝度値が急激に変化する点が特徴点となる。一般に対象物体の角が特徴点となりやすく、また、建物の上面に模様がある場合もそこで画素値が大きく変化するので特徴点となる。以上のようにして、最初に入力された画像から特徴点を得る（２０１，２０２）。
【００３９】
次に、撮影方向を変えた複数の画像からステレオ視によって各点の３次元位置を計測する（２０３）。なお、３次元位置は画像を使わずにレーザー測定装置による測量など他の測定方法によって求めてもよい。得られた各点の３次元位置を図４に示す。この例では、点ａの高さは実際は１０ｍであるが、計測時の誤差により５ｍとなっている。特徴点の高さを特徴量と考えて、高さが同じ点をグルーピングする（２０４）。各グループでは図４のｘｙ平面において凸包を作成し、その凸包が他の高さの点を含まないようにする（２０５）。これは各グループの凸包が同じ特徴を持つ領域だとして物体の形状を抽出しようとしているので、他の特徴量を持つ点が領域に含まれるのを防ぐためである。
【００４０】
最後に、各グルーブの凸包をそれぞれ一つの領域として出力する（２０６）。なお、特徴点を１つしか含まない場合や点が一直線に並ぶ場合は領域として面積を持たないので、特徴点集合には含まない。
【００４１】
図４のグルーピングの結果を図５に示す。高さが１０ｍで同じ点が１０点あるが、１０ｍより低い点が２つあるため１つの領域にはならずにＡ，Ｂ，Ｃの３つの領域として出力する。特に領域ＢとＣの場合は、点ａが持つ誤差によって本来１つになるべき形状がＢとＣに分割されてしまっている。
【００４２】
形状評価手段１０３での処理の流れの一例を図６に示す。形状評価手段１０３では領域を入力とし（６０１）、この領域の輪郭を表す多角形の２つの辺ｉ，ｊの成す角度θと直角の差異に基づいて当該領域の形状評価値Ｓを算出する。つまり、その角度θが直角に近いほどＳの値が大きくなるようにする。図６の例では、そのｘｙ平面上の２次元形状の相異なる辺の組（ｉ，ｊ）のすべてに対し、ｌiは辺ｉの長さ、ｌjは辺ｊの長さとして、ｌi×ｌjの総和Ｓｕｍ＿Ｌとｌi×ｌj×θの総和Ｓｕｍを計算し（６０２〜６０５）、それらの比Ｓｕｍ／Ｓｕｍ＿Ｌを形状評価値Ｓとして出力する（６０６）。
【００４３】
上記とは別の形状評価値Ｓの算出例として、以下の式（１）で表される形状評価値Ｓを計算して出力する例を示す。
【００４４】
【数１】
ここで、ｌiは辺ｉの長さ、ｌjは辺ｊの長さ、θijは辺ｉと辺ｊの成す角（０＜θij≦π）、βはパラメータである。式（１）における和は、隣り合う辺の組（ｉ，ｊ）だけでなく、相異なる辺の組すべてに対して計算する。二つの辺が互いに直交する位置にあれば、それらが隣り合っていなくても、建物形状の特徴として高く評価するためである。また、辺ｉおよび辺ｊの長さが長いほどＳの値に対するθijの影響が大きくなる。これは長い辺の位置関係ほど形状に大きな影響を与えていると考えられるからである。
【００４６】
β＝０．３としたときの、Ｓの値の例を図７に示す。正方形（形状１）の評価が一番高いが、形状から人工物を検出するという目的にとっては、正方形の評価が高いことは望ましい。形状１に近い形状２の評価も同じくらい高くなっている。形状２は平面図形としては直角を持たないが、長い辺の相対位置が直角なので評価が高くなっている。式（１）において、隣り合う辺の組だけでなく相異なる辺の組すべてに対して計算していることにより、形状Ｂのような角が少し欠けた図形に対しても評価を高くすることができる。形状３は形状２に比べ形状１からの変形が大きいので評価が下がっている。形状４も形状１や形状２に比べて評価が低い。形状４は直角を含むが、一辺が短いので評価値が小さくなっている。このことは、あまりに細長い長方形は建物などの人工物と認めずに評価を低くすることを意味し、式（１）で辺の長さを考慮した効果である。
【００４７】
なお、式（１）は一例であり、定数を乗じたり加算したりした値を用いた場合においても、同様に本発明は成立し、また、式（１）における指数関数ｅｘｐ（）の部分は、θijがπ／２に近いほど大きくなるような任意の関数に置き換えてもよい。
【００４８】
均一性評価手段１０４の処理の流れの一例を図８に示す。均一性評価手段１０４では領域を入力とし（８０１）、領域内の点の特徴量と領域内の点の特徴量の平均値との差異に基づいて当該領域の均一性評価値Ｄを算出する。図８の例では、特徴量として特徴点の高さを用いる。具体的には、領域に含まれる特徴点を集めて（８０２）、それらの特徴点の平均値Ｚを計算する（８０３）。次に、各特徴点の高さについてＺとのずれｄＺを計算し（８０４）、特徴点の高さの分散ρを式（２）で計算して（８０５）、ρの逆数を当該領域の均一性評価値Ｄとして出力する。
【００４９】
ρ＝√（ｄＺ2／（特徴点の数−１）） …（２）
均一性評価手段１０４では、特徴量として特徴点の高さを用いているので、領域に含まれている特徴点の高さがその平均値Ｚからずれていなければ、領域の特徴量は均一であると見なす。例えば、図５の領域Ａ，Ｂ，Ｃはいずれも、領域中のすべての特徴点が同じ高さにあるので、分散ρの値は０、均一性評価値Ｄは∞となる。なお、特徴量として画素値を用いる場合には、領域に含まれるすべての画素値の集合に対して分散を求めることで、同様の評価値を算出することは容易である。
【００５０】
上記とは別の均一性評価値Ｄの算出例としては、分散の代わりに特徴点集合の高さの標準偏差を用いることも考えられる。非特許文献４によれば、平均値からのばらつきを表す量の一つとして標準偏差があり、本例では標準偏差の逆数を均一性評価値Ｄとして用いる。例えば、図５の領域Ａ，Ｂ，Ｃはいずれも、領域中のすべての特徴点が同じ高さにあるので、標準偏差は０、均一性評価値Ｄは∞となる。なお、特徴量として画素値を用いる場合には、領域に含まれるすべての画素値の集合に対して標準偏差を求めることで、同様の評価値を算出することは容易である。
【００５１】
領域併合手段１０２の処理の流れの一例を図９に示す。領域併合手段１０２は、併合後の領域の形状評価値Ｓや均一性評価値Ｄの値を考慮して併合するか判定する。以下に示す例では、領域集合から領域の組を列挙し、各組に判定および併合の処理を行うこととする（９０２）。ただし３つ以上の領域を一度に判定および併合することも容易に考えられる。まだ選択されていない領域の組（Ａi，Ａj）を選択し（９０３）、Ａi，Ａjを併合して領域Ａn+1を作成する（９０４）。具体的には、Ａi，Ａjの両方を包含するような凸包をｘｙ平面で作成し、その領域をＡn+1とする。そしてＡn+1に対して形状評価値Ｓと均一性評価値Ｄを求め（９０５，９０６）、Ｓ×Ｄがある適当な閾値（例えば、０．２と設定）よりも大きければ（９０７）、領域集合からＡi，Ａjを削除してＡn+1を加える（９０８）。このように併合の条件（９０７）を満たす領域の組を順次併合していき、最終的に得られた領域集合を出力して終了する（９０９）。
【００５２】
併合の条件（９０７）について説明する。形状評価値Ｓは大きい方が形状が望ましいことを意味し、均一性評価値Ｄは大きい方が特徴量の均一性が高いことを意味する。よって総合的にはＳとＤがともに大きい領域が望ましく、それを表す評価関数の一つとして併合の条件（９０７）で用いたＳ×Ｄが考えられる。よって、この評価関数値がある閾値より大きな場合に領域を併合することにし、点の位置の誤差により均一性が多少悪くなっていたとしても、形状が望ましい領域を得ることができる。なお、条件式の形は０．２＜Ｓ×Ｄに限るものではなく、ＳおよびＤが大きい時に真となる可能性が高くなる条件式であれば良い。閾値の値は対象物体や３次元位置計測の精度に依存するため、正しい形状を人手で獲得したものを正解サンプルとしていくつか用意し、そのサンプルから閾値を決める方法が考えられる。
【００５３】
ＳおよびＤの値の一例を図１０に示す。図中の「ＡＢ」は、ＡとＢを併合した結果得られる領域を示す。９０４の処理によって、併合後の領域はＡi，Ａjの両方を包含する凸包として得られるので、例えば図５の領域Ｂ，Ｃを併合した結果得られる領域には、Ｂ，Ｃそれぞれに元々含まれていた特徴点の他に、図５の点ａ（高さ５ｍ）も含まれる。同様にＡ，Ｂでも高さの違う点ｂ（高さ８ｍ）を含む。他の特徴点の高さは１０ｍであり、点ｂよりも点ａのほうが高さが大きく異なるので、ＡＢよりもＢＣのほうが均一性が低い。その結果Ｄの値は小さくなる（０．５２９＜１．４１）。しかし、ＡＢよりもＢＣのほうがＳの評価値は高く、その結果Ｓ×Ｄの値も大きくなっている。
【００５４】
図１０の結果をもとに領域併合手段１０２の処理（図９）を説明する。初期の領域集合は｛Ａ，Ｂ，Ｃ｝となる。図９の９０３において、領域の組（Ａi，Ａj）として、（Ａ，Ｂ）、（Ａ，Ｃ）、（Ｂ，Ｃ）という順番で列挙されたとすると、（Ａ，Ｂ）、（Ａ，Ｃ）は９０７の判定でｎｏと判定され、併合（９０８の処理）は行われない。そして（Ｂ，Ｃ）の時に、９０７の判定でｙｅｓとなり、ＢとＣが領域集合から削除されてＢＣが領域集合に加えられる。このときの領域の状態を図１１に示す。
【００５５】
次に、領域の組（Ａi，Ａj）として、（Ａ，ＢＣ）が選択される。この場合は９０７の判定でｎｏと判定され、併合（９０８の処理）は行われない。領域集合は（Ａ，ＢＣ）以外の選択が無いので９０２の判定はｙｅｓとなり、処理を終了し、領域集合として｛Ａ，ＢＣ｝を出力する。
【００５６】
なお、図５の例で点ａの高さが０ｍであったとすると、ＢＣのＳ×Ｄの値は０．１７６＜０．２となり、９０７の判定でｎｏと判定されるためＢとＣは併合されない。つまり高さ０ｍの点ａは１０ｍの建物上面から大きく外れているため、ＢＣの一様性は著しく低く、形状評価関数Ｓの値が良くても、ＢとＣは同一の面とは認められない。点ａの高さが０ｍの場合は、位置測定の誤差によって観測された高さではなく、もともと建物がＢとＣに分割されており点ａは地上の点が観測されたものである、と考えるのがむしろ自然である。よって、ＢとＣを併合しないという結果は本発明の正しさを示していると考えられる。併合判定の結果は閾値によっても変わってくるが、地上付近の点が多く観測された場合に領域を併合しにくくなるという性質は、より正しい形状を与えるために望ましいと考えられる。
【００５７】
最後に出力装置１０５の実施形態例による処理の流れの一例を図１２に示す。出力装置１０５は、領域併合装置１０２から出力された領域集合を入力として受け取り、領域集合の各領域から柱状のモデルデータを作成する（１２０１）。まず、各領域に対して凸包Ｓｉを作成し柱状モデルの上面とする（１２０２）。次に、各領域に含まれる特徴点の高さの平均値を算出し、柱状モデルの高さＺｉとする（１２０３）。Ｓｉを上面とし高さＺｉを持つ柱状モデルを作成した後（１２０４）、ｘｙ平面における元々の凸包の２次元位置に柱状モデルを配置し（１２０５）、全体を一つの形状モデルとして出力する。図１１に示す領域集合｛Ａ，ＢＣ｝を元に作成した３次元形状モデルを図１３に示す。図３の撮影対象となった実世界と比較すると、上面に平面領域をもつ建物に関しては３次元形状モデルを復元できていることが分かる。
【００５８】
本発明の手法により、上空からの画像から得られた３次元点集合から、点の３次元位置に多少の誤差があっても安定して３次元の都市モデル等を構築することができる。実際の画像から３次元の都市モデルを作成した結果を図１４に示す。作成した３次元モデルは様々な数値シミュレーションやカーナビゲーション等のアプリケーションに利用することができる（図１５）。
【００５９】
上述の実施形態例では、形状評価値Ｓと均一性評価値Ｄの双方を用いる例を示したが、どちらか一方の評価値を用いるようにしても良い。その場合には、その一方のみの評価手段や評価の過程を備えれば良い。
【００６０】
なお、図１で示した処理の各部の一部もしくは全部の処理機能を、コンピュータ等の演算処理手段や制御手段を用いて実現できること、あるいは、図２，６，８，９、及び図１２で示した処理の過程をコンピュータ等に実行させることができることは言うまでもなく、コンピュータ等でその各部の処理機能を実現するためのプログラム、あるいは、コンピュータ等にその処理の過程を実行させるためのプログラムを、そのコンピュータ等が読み取り可能な記録媒体、例えば、ＦＤ（フレキシブルディスク）や、ＭＯ，ＲＯＭ、メモリカード、ＣＤ，ＤＶＤ、リムーバルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを通じて、該プログラムを提供したりすることが可能である。このようにして記録媒体や通信ネットワークにより提供されたプログラムを、コンピュータ等の演算処理手段や制御手段にインストールすることで、本発明が実施可能となる。
【００６１】
【発明の効果】
本発明によれば、人工物体が写っている画像領域が、一部異なる特徴量を含んでいる場合でも、形状評価値および均一性評価値の一方もしくは双方を使用して、正しく形状を獲得できる。つまり、撮影した対象物体が、一部分異なる特徴量（例えば色）を持っている場合や、特徴量（例えば高さ）の計測に誤差を含む場合でも形状を正しく獲得できるようになる。
【図面の簡単な説明】
【図１】本発明の一実施形態例による構成を示す図
【図２】上記実施形態例による領域分割手段での処理の流れの一例を示す図
【図３】上記領域分割手段での処理例として、上空から撮影した画像を用いて建物の上面形状を獲得する例を示す図
【図４】（ａ），（ｂ）は、上記領域分割手段での処理例として、得られた各点の３次元位置を示す図
【図５】（ａ），（ｂ）は、上記領域分割手段での処理例として、グルーピングの結果を示す図
【図６】上記実施形態例による形状評価手段での処理の流れの一例を示す図
【図７】（ａ），（ｂ），（ｃ），（ｄ）は、上記形状評価手段での処理例として、形状評価値Ｓの値の例を示す図
【図８】上記実施形態例による均一性評価手段の処理の流れの一例を示す図
【図９】上記実施形態例による領域併合手段の処理の流れの一例を示す図
【図１０】上記領域併合手段の処理例として、形状評価値Ｓおよび均一性評価値Ｄの値の一例を示す図
【図１１】（ａ），（ｂ）は、上記領域併合手段の処理例として、領域集合からの領域の削除と併合による領域の状態の一例を示す図
【図１２】上記実施形態例による出力装置の処理の流れの一例を示す図
【図１３】上記出力装置の処理例として、作成された３次元形状モデルの一例を示す図
【図１４】本発明により実際の画像から３次元の都市モデルを作成した結果の一例を示す図
【図１５】作成した３次元モデルの利用例を説明する図
【図１６】従来技術による、上空から撮影した複数枚の航空写真から建物の上面形状を獲得する例を説明する図
【図１７】上記従来技術の問題点を説明する図
【符号の説明】
１０１…領域分割手段
１０２…領域併合手段
１０３…形状評価手段
１０４…均一性評価手段
１０５…出力装置
Claims (8)
- 画像から対象物体の外観形状を獲得する方法であって、
画像中の輝度値、あるいは濃淡値が変化する点を特徴点とし、基準平面から前記特徴点の３次元位置までの高さ、あるいは前記画像を取得した撮像視点から前記特徴点の３次元位置までの奥行き方向の距離を特徴量とし、前記画像内において同じ特徴量を備える点のみを含む領域を同一の領域として前記画像から抽出する過程と、
前記領域を複数併合して新たな領域を生成する過程と、
前記併合前および併合後の領域の各々について輪郭を表わす多角形の２つの辺の長さ、及び前記２つの辺の成す角度、及び前記角度と直角との差異に基づいて当該領域の形状評価値を算出する過程と、
前記形状評価値に基づいて前記併合前および併合後の領域のいずれかを前記物体の形状として選択する過程と、を有する
ことを特徴とする形状獲得方法。 - 画像から対象物体の外観形状を獲得する方法であって、
画像中の輝度値、あるいは濃淡値が変化する点を特徴点とし、基準平面から前記特徴点の３次元位置までの高さ、あるいは前記画像を取得した撮像視点から前記特徴点の３次元位置までの奥行き方向の距離を特徴量とし、前記画像内において同じ特徴量を備える点のみを含む領域を同一の領域として前記画像から抽出する過程と、
前記領域を複数併合して新たな領域を生成する過程と、
前記併合前および併合後の領域の各々について前記領域内の前記特徴点に対する基準平面から前記特徴点の３次元位置までの高さ、あるいは前記画像を取得した撮像視点から前記特徴点の３次元位置までの奥行き方向の距離、あるいは前記特徴点の画素値を特徴量とし、前記特徴量の平均値との差異に基づいて当該領域の均一性評価値を算出する過程と、
前記均一性評価値に基づいて前記併合前および併合後の領域のいずれかを前記物体の形状として選択する過程と、を有する
ことを特徴とする形状獲得方法。 - 画像から対象物体の外観形状を獲得する方法であって、
画像中の輝度値、あるいは濃淡値が変化する点を特徴点とし、基準平面から前記特徴点の３次元位置までの高さ、あるいは前記画像を取得した撮像視点から前記特徴点の３次元位置までの奥行き方向の距離を特徴量とし、前記画像内において同じ特徴量を備える点のみを含む領域を同一の領域として前記画像から抽出する過程と、
前記領域を複数併合して新たな領域を生成する過程と、
前記併合前および併合後の領域の各々について輪郭を表わす多角形の２つの辺の長さ、及び前記２つの辺の成す角度、および前記角度と直角との差異に基づいて当該領域の形状評価値を算出する過程と、
前記併合前および併合後の領域の各々について前記領域内の前記特徴点に対する基準平面から前記特徴点の３次元位置までの高さ、あるいは前記画像を取得した撮像視点から前記特徴点の３次元位置までの奥行き方向の距離、あるいは前記特徴点の画素値を特徴量とし、前記特徴量の平均値との差異に基づいて当該領域の均一性評価値を算出する過程と、
前記形状評価値と前記均一性評価値の双方に基づいて前記併合前および併合後の領域のいずれかを前記物体の形状として選択する過程と、を有する
ことを特徴とする形状獲得方法。 - 画像から対象物体の外観形状を獲得する装置であって、
画像中の輝度値、あるいは濃淡値が変化する点を特徴点とし、基準平面から前記特徴点の３次元位置までの高さ、あるいは前記画像を取得した撮像視点から前記特徴点の３次元位置までの奥行き方向の距離を特徴量とし、前記画像内において同じ特徴量を備える点のみを含む領域を同一の領域として前記画像から抽出する手段と、
前記領域を複数併合して新たな領域を生成する手段と、
前記併合前および併合後の領域の各々について輪郭を表わす多角形の２つの辺の長さ、及び前記２つの辺の成す角度、及び前記角度と直角との差異に基づいて当該領域の形状評価値を算出する手段と、
前記形状評価値に基づいて前記併合前および併合後の領域のいずれかを前記物体の形状として選択する手段と、を有する
ことを特徴とする形状獲得装置。 - 画像から対象物体の外観形状を獲得する装置であって、
画像中の輝度値、あるいは濃淡値が変化する点を特徴点とし、基準平面から前記特徴点の３次元位置までの高さ、あるいは前記画像を取得した撮像視点から前記特徴点の３次元位置までの奥行き方向の距離を特徴量とし、前記画像内において同じ特徴量を備える点のみを含む領域を同一の領域として前記画像から抽出する手段と、
前記領域を複数併合して新たな領域を生成する手段と、
前記併合前および併合後の領域の各々について前記領域内の前記特徴点に対する基準平面から前記特徴点の３次元位置までの高さ、あるいは前記画像を取得した撮像視点から前記特徴点の３次元位置までの奥行き方向の距離、あるいは前記特徴点の画素値を特徴量とし、前記特徴量の平均値との差異に基づいて当該領域の均一性評価値を算出する手段と、
前記均一性評価値に基づいて前記併合前および併合後の領域のいずれかを前記物体の形状として選択する手段と、を有する
ことを特徴とする形状獲得装置。 - 画像から対象物体の外観形状を獲得する装置であって、
画像中の輝度値、あるいは濃淡値が変化する点を特徴点とし、基準平面から前記特徴点の３次元位置までの高さ、あるいは前記画像を取得した撮像視点から前記特徴点の３次元位置までの奥行き方向の距離を特徴量とし、前記画像内において同じ特徴量を備える点のみを含む領域を同一の領域として前記画像から抽出する手段と、
前記領域を複数併合して新たな領域を生成する手段と、
前記併合前および併合後の領域の各々について輪郭を表わす多角形の２つの辺の長さ、及び前記２つの辺の成す角度、および前記角度と直角との差異に基づいて当該領域の形状評価値を算出する手段と、
前記併合前および併合後の領域の各々について前記領域内の前記特徴点に対する基準平面から前記特徴点の３次元位置までの高さ、あるいは前記画像を取得した撮像視点から前記特徴点の３次元位置までの奥行き方向の距離、あるいは前記特徴点の画素値を特徴量とし、前記特徴量の平均値との差異に基づいて当該領域の均一性評価値を算出する手段と、
前記形状評価値と前記均一性評価値の双方に基づいて前記併合前および併合後の領域のいずれかを前記物体の形状として選択する手段と、を有する
ことを特徴とする形状獲得装置。 - 請求項１ないし３のいずれかに記載の形状獲得方法における過程を、コンピュータに実行させるためのプログラムとした
ことを特徴とする形状獲得プログラム。 - 請求項１ないし３のいずれかに記載の形状獲得方法における過程を、コンピュータに実行させるためのプログラムとし、
該プログラムを、該コンピュータが読み取りできる記録媒体に記録した
ことを特徴とする形状獲得プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002242831A JP4035018B2 (ja) | 2002-08-23 | 2002-08-23 | 形状獲得方法、装置、プログラム、およびこのプログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002242831A JP4035018B2 (ja) | 2002-08-23 | 2002-08-23 | 形状獲得方法、装置、プログラム、およびこのプログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004086266A JP2004086266A (ja) | 2004-03-18 |
| JP4035018B2 true JP4035018B2 (ja) | 2008-01-16 |
Family
ID=32051756
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002242831A Expired - Fee Related JP4035018B2 (ja) | 2002-08-23 | 2002-08-23 | 形状獲得方法、装置、プログラム、およびこのプログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4035018B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013054499A1 (ja) | 2011-10-11 | 2013-04-18 | パナソニック株式会社 | 画像処理装置、撮像装置および画像処理方法 |
| KR101909544B1 (ko) * | 2012-01-19 | 2018-10-18 | 삼성전자주식회사 | 평면 검출 장치 및 방법 |
| KR102026903B1 (ko) * | 2012-04-19 | 2019-09-30 | 삼성전자주식회사 | 평면 기반의 ３차원 공간 표현 방법 및 장치 |
| US8908945B2 (en) * | 2012-10-22 | 2014-12-09 | General Electric Company | Biological unit identification based on supervised shape ranking |
| JP6601181B2 (ja) * | 2015-11-19 | 2019-11-06 | 株式会社大林組 | 長尺材測位支援装置 |
| JP6657838B2 (ja) * | 2015-11-19 | 2020-03-04 | 株式会社大林組 | 長尺材測位支援装置 |
| WO2018159468A1 (ja) * | 2017-02-28 | 2018-09-07 | Ｎｅｃソリューションイノベータ株式会社 | 建築物高さ算出装置、建築物高さ算出方法、及びコンピュータ読み取り可能な記録媒体 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2576336B2 (ja) * | 1992-06-26 | 1997-01-29 | 日本電気株式会社 | 画像分割方法、及び装置 |
| JPH09185720A (ja) * | 1995-12-28 | 1997-07-15 | Canon Inc | 画像抽出装置 |
| JP3791186B2 (ja) * | 1998-05-22 | 2006-06-28 | 三菱電機株式会社 | 景観モデリング装置 |
| JP3338823B2 (ja) * | 2000-04-28 | 2002-10-28 | エヌイーシー東芝スペースシステム株式会社 | Ｄｅｍ平滑化装置およびｄｅｍ平滑化方法 |
| JP2002024986A (ja) * | 2000-07-06 | 2002-01-25 | Nippon Signal Co Ltd:The | 歩行者検出装置 |
| JP3776787B2 (ja) * | 2001-11-02 | 2006-05-17 | Ｎｅｃ東芝スペースシステム株式会社 | 三次元データベース生成システム |
| JP2004030461A (ja) * | 2002-06-27 | 2004-01-29 | Starlabo Corp | エッジマッチング方法、エッジマッチングプログラム、エッジマッチングプログラムを記録したコンピュータ読み取り可能な記録媒体、ステレオマッチング方法、ステレオマッチングプログラム及びステレオマッチングプログラムを記録したコンピュータ読み取り可能な記録媒体 |
-
2002
- 2002-08-23 JP JP2002242831A patent/JP4035018B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004086266A (ja) | 2004-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10896540B2 (en) | Systems and methods for rapid three-dimensional modeling with real façade texture | |
| Eltner et al. | Analysis of different methods for 3D reconstruction of natural surfaces from parallel‐axes UAV images | |
| Liang et al. | Forest data collection using terrestrial image-based point clouds from a handheld camera compared to terrestrial and personal laser scanning | |
| US8179393B2 (en) | Fusion of a 2D electro-optical image and 3D point cloud data for scene interpretation and registration performance assessment | |
| Pepe et al. | Techniques, tools, platforms and algorithms in close range photogrammetry in building 3D model and 2D representation of objects and complex architectures | |
| US20090154793A1 (en) | Digital photogrammetric method and apparatus using intergrated modeling of different types of sensors | |
| CN110246221A (zh) | 真正射影像获得方法及装置 | |
| Pepe et al. | Use of SfM-MVS approach to nadir and oblique images generated throught aerial cameras to build 2.5 D map and 3D models in urban areas | |
| CN111383335B (zh) | 一种众筹照片与二维地图结合的建筑物三维建模方法 | |
| Peña-Villasenín et al. | 3-D modeling of historic façades using SFM photogrammetry metric documentation of different building types of a historic center | |
| Georgopoulos | Data acquisition for the geometric documentation of cultural heritage | |
| CN104182757A (zh) | 获取被测目标实际覆盖面积的方法及装置 | |
| JP2018205264A (ja) | 画像処理装置、画像処理方法および画像処理用プログラム | |
| CN109255809A (zh) | 一种光场图像深度估计方法及装置 | |
| JP4035018B2 (ja) | 形状獲得方法、装置、プログラム、およびこのプログラムを記録した記録媒体 | |
| KR101079475B1 (ko) | 포인트 클라우드 필터링을 이용한 3차원 도시공간정보 구축 시스템 | |
| JP6146731B2 (ja) | 座標補正装置、座標補正プログラム、及び座標補正方法 | |
| KR102475790B1 (ko) | 지도제작플랫폼장치 및 이를 이용한 지도제작방법 | |
| KR101079531B1 (ko) | 포인트 클라우드 데이터를 이용한 도로 레이어 생성 시스템 | |
| KR20130002244A (ko) | 도시공간정보모델의 등급정보에 따라 선택된 건물데이터를 이용하는 도시공간정보 생성 시스템 | |
| KR101189167B1 (ko) | 메타정보 없는 단일 영상에서 3차원 개체정보 추출방법 | |
| KR101114904B1 (ko) | 도화원도와 항공 레이저 측량 데이터를 이용한 도시공간정보 구축 시스템 및 그 방법 | |
| Schwind | Comparing and characterizing three-dimensional point clouds derived by structure from motion photogrammetry | |
| KR101083902B1 (ko) | 항공 레이저 측량 데이터의 필터링을 이용한 3차원 공간정보 구축 시스템 | |
| KR101079359B1 (ko) | 항공 사진과 항공 레이저 측량 데이터를 이용한 수치지도 구축 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040726 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070227 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070402 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070731 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070927 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071023 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071026 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111102 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111102 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121102 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |