JP2504641B2 - ３次元形状計測処理方式 - Google Patents
３次元形状計測処理方式Info
- Publication number
- JP2504641B2 JP2504641B2 JP3187156A JP18715691A JP2504641B2 JP 2504641 B2 JP2504641 B2 JP 2504641B2 JP 3187156 A JP3187156 A JP 3187156A JP 18715691 A JP18715691 A JP 18715691A JP 2504641 B2 JP2504641 B2 JP 2504641B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- processing unit
- spatiotemporal
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、カメラなどで撮影した
複数枚の画像から被写体の３次元形状を計測する３次元
形状計測処理方式に関する。
複数枚の画像から被写体の３次元形状を計測する３次元
形状計測処理方式に関する。
【０００２】
【従来の技術】画像を用いた受動的な静止剛体の３次元
形状計測手法として、時空間画像処理(Spatio-temporal
analysis)を用いた３次元形状計測手法があげられる。
（山本“連続ステレオ画像からの３次元情報の抽出”信
学論 D, Vol.169-D, No.11, pp.1631-1638, 1986) 。
形状計測手法として、時空間画像処理(Spatio-temporal
analysis)を用いた３次元形状計測手法があげられる。
（山本“連続ステレオ画像からの３次元情報の抽出”信
学論 D, Vol.169-D, No.11, pp.1631-1638, 1986) 。
【０００３】図４は時空間画像を説明する説明図であ
る。図中の符号１００は時空間画像、１０１は被写体、
１０２はカメラ、１０３はエピポーラ画像、１０４はエ
ピポーラ線、１０５は画像列、１０６は時間軸を表して
いる。図４に示す如く時空間画像１００は、視軸に垂直
な方向に等速直進運動するカメラ１０２から連続的に静
止剛体（被写体１０１）を撮影して得られる画像列１０
５を時間軸方向に積み重ねたものである。この時空間画
像１００をエピポーラ線１０４にそって切断した画像
（すなわち時空間画像の水平切断面）はエピポーラ画像
１０３と呼ばれ、通常ほぼ平行に近い直線群が見られ
る。この直線群は撮影された静止剛体の特徴点の見かけ
の動き（特徴点軌跡）を表しており、この特徴点軌跡の
傾きを求めることで、特徴点までの距離を求めることが
できる。すなわち撮影した静止剛体の３次元形状を計測
することが可能となる。
る。図中の符号１００は時空間画像、１０１は被写体、
１０２はカメラ、１０３はエピポーラ画像、１０４はエ
ピポーラ線、１０５は画像列、１０６は時間軸を表して
いる。図４に示す如く時空間画像１００は、視軸に垂直
な方向に等速直進運動するカメラ１０２から連続的に静
止剛体（被写体１０１）を撮影して得られる画像列１０
５を時間軸方向に積み重ねたものである。この時空間画
像１００をエピポーラ線１０４にそって切断した画像
（すなわち時空間画像の水平切断面）はエピポーラ画像
１０３と呼ばれ、通常ほぼ平行に近い直線群が見られ
る。この直線群は撮影された静止剛体の特徴点の見かけ
の動き（特徴点軌跡）を表しており、この特徴点軌跡の
傾きを求めることで、特徴点までの距離を求めることが
できる。すなわち撮影した静止剛体の３次元形状を計測
することが可能となる。
【０００４】このエピポーラ画像中から直線を検出する
手法として、従来、KalmanfilterやRammer法などの直線
追跡手法が用いられていた。しかし直線追跡法はノイズ
による直線の切れや、被写体同士のオクルージョンによ
って生じる直線の隠れなどに弱いという欠点を有してい
た。しかもこれらの従来手法では、特徴点軌跡がエピポ
ーラ画像上で直線となるようなカメラ運動（すなわち等
速直線運動）にのみ適用可能であり、それ以外の運動を
カメラが行うと特徴点軌跡は時空間画像中の任意の軌跡
となるため適用不可能であった（この特徴点軌跡を追跡
することで該特徴点までの距離を求めることは可能であ
る。しかし、特徴点の３次元空間中での位置とカメラ運
動によって特徴点軌跡は任意の軌跡となる。しかも現実
には画像中のノイズやオクルージョン等によって、特徴
点軌跡は途切れ途切れになるため、これを追跡すること
は非常に困難である）。
手法として、従来、KalmanfilterやRammer法などの直線
追跡手法が用いられていた。しかし直線追跡法はノイズ
による直線の切れや、被写体同士のオクルージョンによ
って生じる直線の隠れなどに弱いという欠点を有してい
た。しかもこれらの従来手法では、特徴点軌跡がエピポ
ーラ画像上で直線となるようなカメラ運動（すなわち等
速直線運動）にのみ適用可能であり、それ以外の運動を
カメラが行うと特徴点軌跡は時空間画像中の任意の軌跡
となるため適用不可能であった（この特徴点軌跡を追跡
することで該特徴点までの距離を求めることは可能であ
る。しかし、特徴点の３次元空間中での位置とカメラ運
動によって特徴点軌跡は任意の軌跡となる。しかも現実
には画像中のノイズやオクルージョン等によって、特徴
点軌跡は途切れ途切れになるため、これを追跡すること
は非常に困難である）。
【０００５】一方、この様な任意のカメラ運動の結果得
られた画像列Ｉi （ｉ＝０，...,ｎ−１）から時空間画
像を構成せずに、３次元形状を計測する手法として次の
様な単純なボーティング手法（ボーティング手法Ｉ）が
考えられる。
られた画像列Ｉi （ｉ＝０，...,ｎ−１）から時空間画
像を構成せずに、３次元形状を計測する手法として次の
様な単純なボーティング手法（ボーティング手法Ｉ）が
考えられる。
【０００６】ボーティング手法Ｉ： まず図５に示すよ
うに世界座標系Ｏ−Ｘ−Ｙ−Ｚ中の点をＡ（Ｘａ，Ｙ
ａ，Ｚａ）、カメラ座標をｏ−ｘ−ｙ−ｚ、スクリーン
面をそのｏ−ｘ−ｙ平面、カメラの焦点距離をｆ、レン
ズ中心位置座標をカメラ座標系で（０，０，−ｆ）とす
る。カメラの運動軌跡をＰｃ＝（Ｐｃ0 , ...,Ｐｃi,
..., Ｐｃn-1 ）とする。ただしＰｃi は撮影位置情報
であって被写体撮影時のカメラのレンズ中心の位置、お
よび姿勢を表す列ベクトル Ｐｃi ＝（Ｘｃi ，Ｙｃi ，Ｚｃi ，Ａｃi ，Ｅｃi ，Ｒｃi ）T （１） であり、カメラ座標系のレンズ中心位置は世界座標系で Ｌi ＝（Ｘｃi ，Ｙｃi ，Ｚｃi ） に一致する。Ａｃi ，Ｅｃi ，Ｒｃi は図６に示すよう
にカメラ座標系と世界座標系の原点を一致させたときの
Ｘ軸とｘ軸、Ｚ軸とｚ軸、Ｙ軸とｙ軸のなす角度であ
る。このときのスクリーン面座標ｏ−ｘ−ｙへの点Ａの
投影座標をａi （ｘａi ，ｙａi ）とする。このスクリ
ーン面が画像Ｉi である。
うに世界座標系Ｏ−Ｘ−Ｙ−Ｚ中の点をＡ（Ｘａ，Ｙ
ａ，Ｚａ）、カメラ座標をｏ−ｘ−ｙ−ｚ、スクリーン
面をそのｏ−ｘ−ｙ平面、カメラの焦点距離をｆ、レン
ズ中心位置座標をカメラ座標系で（０，０，−ｆ）とす
る。カメラの運動軌跡をＰｃ＝（Ｐｃ0 , ...,Ｐｃi,
..., Ｐｃn-1 ）とする。ただしＰｃi は撮影位置情報
であって被写体撮影時のカメラのレンズ中心の位置、お
よび姿勢を表す列ベクトル Ｐｃi ＝（Ｘｃi ，Ｙｃi ，Ｚｃi ，Ａｃi ，Ｅｃi ，Ｒｃi ）T （１） であり、カメラ座標系のレンズ中心位置は世界座標系で Ｌi ＝（Ｘｃi ，Ｙｃi ，Ｚｃi ） に一致する。Ａｃi ，Ｅｃi ，Ｒｃi は図６に示すよう
にカメラ座標系と世界座標系の原点を一致させたときの
Ｘ軸とｘ軸、Ｚ軸とｚ軸、Ｙ軸とｙ軸のなす角度であ
る。このときのスクリーン面座標ｏ−ｘ−ｙへの点Ａの
投影座標をａi （ｘａi ，ｙａi ）とする。このスクリ
ーン面が画像Ｉi である。
【０００７】カメラのレンズ中心Ｌi とスクリーンに投
影された点Ａの像ａi とを結ぶ直線（視線）は、必ず点
Ａを通過する。すなわちカメラの運動軌跡Ｐｃ上の各レ
ンズ中心Ｌi と画像Ｉi 上のａi が含まれる画素とを結
ぶ視線Ｓａi は点Ａで交わる。従って図７に示すように
３次元空間を大きさΔＸ，ΔＹ，ΔＺの体素Ｄ［ｌ］
［ｍ］［ｎ］（ｌ＝０, ...,ｍｘ−１；ｍ＝０, ...,ｍ
ｙ−１；ｎ＝０, ...,ｍｚ−１）ｍｘ・ｍｙ・ｍｚ個に
分割し、Ｄ［ｌ］［ｍ］［ｎ］を３次元配列とする。初
期状態として全てのＤ［ｌ］［ｍ］［ｎ］の内容を０と
しておき、体素で分割された３次元空間中に直線Ｓａi
を通してみる。もし視線Ｓａi が体素Ｄ［ｌ］［ｍ］
［ｎ］を通過したら、 Ｄ［ｌ］［ｍ］［ｎ］＝Ｄ［ｌ］［ｍ］［ｎ］＋１ （２） とする。すなわち視線が体素を通過する毎に、体素にボ
ーティング(Voting)を行う。これを全ての視線Ｓａi に
ついて行えば、各体素の値は視線Ｓａi が通過した回数
となる。従って点Ａを含む体素Ｄ［ｌａ］［ｍａ］［ｎ
ａ］の累積値がピークとなるから、Ｄ［ｌ］［ｍ］
［ｎ］から累積値のピークを検出することで点Ａの３次
元座標を求めることが出来る。
影された点Ａの像ａi とを結ぶ直線（視線）は、必ず点
Ａを通過する。すなわちカメラの運動軌跡Ｐｃ上の各レ
ンズ中心Ｌi と画像Ｉi 上のａi が含まれる画素とを結
ぶ視線Ｓａi は点Ａで交わる。従って図７に示すように
３次元空間を大きさΔＸ，ΔＹ，ΔＺの体素Ｄ［ｌ］
［ｍ］［ｎ］（ｌ＝０, ...,ｍｘ−１；ｍ＝０, ...,ｍ
ｙ−１；ｎ＝０, ...,ｍｚ−１）ｍｘ・ｍｙ・ｍｚ個に
分割し、Ｄ［ｌ］［ｍ］［ｎ］を３次元配列とする。初
期状態として全てのＤ［ｌ］［ｍ］［ｎ］の内容を０と
しておき、体素で分割された３次元空間中に直線Ｓａi
を通してみる。もし視線Ｓａi が体素Ｄ［ｌ］［ｍ］
［ｎ］を通過したら、 Ｄ［ｌ］［ｍ］［ｎ］＝Ｄ［ｌ］［ｍ］［ｎ］＋１ （２） とする。すなわち視線が体素を通過する毎に、体素にボ
ーティング(Voting)を行う。これを全ての視線Ｓａi に
ついて行えば、各体素の値は視線Ｓａi が通過した回数
となる。従って点Ａを含む体素Ｄ［ｌａ］［ｍａ］［ｎ
ａ］の累積値がピークとなるから、Ｄ［ｌ］［ｍ］
［ｎ］から累積値のピークを検出することで点Ａの３次
元座標を求めることが出来る。
【０００８】ボーティング手法Ｉはノイズや切れなどに
対して頑健な手法である。しかし３次元空間中に別の点
Ｂ（Ｘｂ，Ｙｂ，Ｚｂ）がある場合（図８）、いわゆる
誤対応問題が発生する。すなわち点Ｂの像ｂi とレンズ
中心Ｌiを結ぶ視線Ｓｂi が体素Ｄ［ｌ］［ｍ］［ｎ］
を通過しても（２）式で表す累積をＤ［ｌ］［ｍ］
［ｎ］に対して行うから、視線Ｓａi と視線Ｓｂj （ｉ
＝０，...,ｎ−１；ｊ＝０...,ｎ−１；ｉ≠ｊ）との交
点を含むＤ［ｌｅ］［ｍｅ］［ｎｅ］の累積値が増加し
てしまい、ピークとして検出されてしまう。この誤対応
の結果、実際には３次元空間中には存在しない点（誤対
応点）があたかも存在するかの様に求められてしまうと
いう問題点がある。そこで誤対応点を含む体素の累積値
を抑制するために、任意運動するカメラで撮影された画
像列から構成される時空間画像に以下に示す重み付け処
理を行ってからボーティング手法Ｉを適用することで、
誤対応点を検出することなく被写体の３次元形状を計測
可能とするボーティング手法IIが提案されている（特願
平２−１７４７９７号３次元形状計測装置）。
対して頑健な手法である。しかし３次元空間中に別の点
Ｂ（Ｘｂ，Ｙｂ，Ｚｂ）がある場合（図８）、いわゆる
誤対応問題が発生する。すなわち点Ｂの像ｂi とレンズ
中心Ｌiを結ぶ視線Ｓｂi が体素Ｄ［ｌ］［ｍ］［ｎ］
を通過しても（２）式で表す累積をＤ［ｌ］［ｍ］
［ｎ］に対して行うから、視線Ｓａi と視線Ｓｂj （ｉ
＝０，...,ｎ−１；ｊ＝０...,ｎ−１；ｉ≠ｊ）との交
点を含むＤ［ｌｅ］［ｍｅ］［ｎｅ］の累積値が増加し
てしまい、ピークとして検出されてしまう。この誤対応
の結果、実際には３次元空間中には存在しない点（誤対
応点）があたかも存在するかの様に求められてしまうと
いう問題点がある。そこで誤対応点を含む体素の累積値
を抑制するために、任意運動するカメラで撮影された画
像列から構成される時空間画像に以下に示す重み付け処
理を行ってからボーティング手法Ｉを適用することで、
誤対応点を検出することなく被写体の３次元形状を計測
可能とするボーティング手法IIが提案されている（特願
平２−１７４７９７号３次元形状計測装置）。
【０００９】ボーティング手法II： 図８に示すカメラ
軌跡Ｐｃにそって被写体点Ａと点Ｂを撮影した画像列か
ら構成される時空間画像をＴとする。図９に示すよう
に、時空間画像Ｔ中には点Ａと点Ｂとに対応する２本の
軌跡Ｃａ，Ｃｂが含まれる。点Ａと点Ｂとがスクリーン
面に投影された画素値を１、それ以外の画素値を０とす
る。時空間画像Ｔ中のすべての画素ｔに対してまず次の
様な変換ｔ’＝Ｆ（ｔ）を行い、時空間トンネル画像
ｔ’∈ Ｔ’を生成する。
軌跡Ｐｃにそって被写体点Ａと点Ｂを撮影した画像列か
ら構成される時空間画像をＴとする。図９に示すよう
に、時空間画像Ｔ中には点Ａと点Ｂとに対応する２本の
軌跡Ｃａ，Ｃｂが含まれる。点Ａと点Ｂとがスクリーン
面に投影された画素値を１、それ以外の画素値を０とす
る。時空間画像Ｔ中のすべての画素ｔに対してまず次の
様な変換ｔ’＝Ｆ（ｔ）を行い、時空間トンネル画像
ｔ’∈ Ｔ’を生成する。
【００１０】Ｆ（ｔ）＝ １ ： ｔが１である。 ０ ： ｔが０であり、その隣接画素全てが０である。 −１ ： ｔが０であり、その隣接画素に１のものがあ
る。
る。
【００１１】（３） この結果、図１０に示すように時空間トンネル画像Ｔ’
では、軌跡ＣａとＣｂとの周囲に画素値−１のパイプ状
の負領域ＶａとＶｂとが形成される。
では、軌跡ＣａとＣｂとの周囲に画素値−１のパイプ状
の負領域ＶａとＶｂとが形成される。
【００１２】次に時空間トンネル画像Ｔ’を構成する各
画像Ｉi ’に対してボーティング手法Ｉを適用する。た
だし、レンズ中心Ｌi と画素値１の画素を結ぶ視線が体
素Ｄ［ｌ］［ｍ］［ｎ］を通過するなら、 Ｄ［ｌ］［ｍ］［ｎ］ ＝ Ｄ［ｌ］［ｍ］［ｎ］ ＋ １ とするが、レンズ中心Ｌi と画素値−１の画素を結ぶ視
線が体素Ｄ［ｌ］［ｍ］［ｎ］を通過する場合には、 Ｄ［ｌ］［ｍ］［ｎ］ ＝ Ｄ［ｌ］［ｍ］［ｎ］ − １ とする。この様に時空間トンネル画像Ｔ’に基づく正負
の重み付けボーティングを行うことで、ボーティング手
法Ｉで問題となった誤対応点の発生を抑制することがで
きる。ボーティング手法IIによって誤対応点の発生が抑
制されるのは次のような原理による。
画像Ｉi ’に対してボーティング手法Ｉを適用する。た
だし、レンズ中心Ｌi と画素値１の画素を結ぶ視線が体
素Ｄ［ｌ］［ｍ］［ｎ］を通過するなら、 Ｄ［ｌ］［ｍ］［ｎ］ ＝ Ｄ［ｌ］［ｍ］［ｎ］ ＋ １ とするが、レンズ中心Ｌi と画素値−１の画素を結ぶ視
線が体素Ｄ［ｌ］［ｍ］［ｎ］を通過する場合には、 Ｄ［ｌ］［ｍ］［ｎ］ ＝ Ｄ［ｌ］［ｍ］［ｎ］ − １ とする。この様に時空間トンネル画像Ｔ’に基づく正負
の重み付けボーティングを行うことで、ボーティング手
法Ｉで問題となった誤対応点の発生を抑制することがで
きる。ボーティング手法IIによって誤対応点の発生が抑
制されるのは次のような原理による。
【００１３】時空間画像Ｔ中の各軌跡Ｃａ，Ｃｂは３次
元空間中の点ＡおよびＢに対応している。すなわち３次
元空間中の一点と時空間画像中の軌跡とは一対一に対応
する（この様な軌跡を実軌跡と呼ぶことにする）。この
軌跡に沿った画素値の累積値が、ボーティング手法Ｉに
おける体素Ｄ［ｌ］［ｍ］［ｎ］の累積値になるとみな
すことができる。これは誤対応点についても同様であ
る。たとえば図８中のある誤対応点Ｅには、時空間画像
Ｔ中の軌跡Ｃｅが対応する（誤対応点Ｅは実際には存在
しないので、実際は時空間画像Ｔ中にＣｅを見つけるこ
とはできない。Ｃｅはあくまでも仮想的な軌跡として存
在する。Ｃｅのことを虚軌跡と呼ぶ）。点Ｅは視線Ｓａ
i とＳｂj との交点である。すなわち画像Ｉi と画像Ｉ
j とにおいて、点Ａと点Ｂとを誤って同一点とみなした
結果生じた点である。したがって、時空間画像Ｔ中の画
像Ｉi と実軌跡Ｃａの交点をｅａ、画像Ｉj と実軌跡Ｃ
ｂの交点をｅｂとすると、虚軌跡Ｃｅは必ずｅａとｅｂ
とを通過するから、ボーティング手法Ｉにおける誤対応
点を含む体素Ｄ［ｌｅ］［ｍｅ］［ｎｅ］の累積値（す
なわち虚軌跡Ｃｅに沿った画素値の累積値）は、虚軌跡
Ｃｅが実軌跡ＣａとＣｂとを横切った回数となる。すな
わちＣｅが通過する実軌跡の数が多ければ多いほど、誤
対応点として検出されやすくなる。しかし図１０に示す
ように、ボーティング手法IIにおいては実軌跡の周囲に
−１の画素値から構成される負領域を生成しているか
ら、虚軌跡が実軌跡を交差すると必ずこの負領域を通過
することになる。したがって虚軌跡に沿った画素値の累
積値は、正負打ち消されて小さな値となり、誤対応点と
して検出され難くなる。このためボーティング手法IIで
は、従来の時空間画像処理と異なり、任意のカメラ運動
が可能であり、しかも画像間での対応点探索や特徴点軌
跡の追跡が不要である。
元空間中の点ＡおよびＢに対応している。すなわち３次
元空間中の一点と時空間画像中の軌跡とは一対一に対応
する（この様な軌跡を実軌跡と呼ぶことにする）。この
軌跡に沿った画素値の累積値が、ボーティング手法Ｉに
おける体素Ｄ［ｌ］［ｍ］［ｎ］の累積値になるとみな
すことができる。これは誤対応点についても同様であ
る。たとえば図８中のある誤対応点Ｅには、時空間画像
Ｔ中の軌跡Ｃｅが対応する（誤対応点Ｅは実際には存在
しないので、実際は時空間画像Ｔ中にＣｅを見つけるこ
とはできない。Ｃｅはあくまでも仮想的な軌跡として存
在する。Ｃｅのことを虚軌跡と呼ぶ）。点Ｅは視線Ｓａ
i とＳｂj との交点である。すなわち画像Ｉi と画像Ｉ
j とにおいて、点Ａと点Ｂとを誤って同一点とみなした
結果生じた点である。したがって、時空間画像Ｔ中の画
像Ｉi と実軌跡Ｃａの交点をｅａ、画像Ｉj と実軌跡Ｃ
ｂの交点をｅｂとすると、虚軌跡Ｃｅは必ずｅａとｅｂ
とを通過するから、ボーティング手法Ｉにおける誤対応
点を含む体素Ｄ［ｌｅ］［ｍｅ］［ｎｅ］の累積値（す
なわち虚軌跡Ｃｅに沿った画素値の累積値）は、虚軌跡
Ｃｅが実軌跡ＣａとＣｂとを横切った回数となる。すな
わちＣｅが通過する実軌跡の数が多ければ多いほど、誤
対応点として検出されやすくなる。しかし図１０に示す
ように、ボーティング手法IIにおいては実軌跡の周囲に
−１の画素値から構成される負領域を生成しているか
ら、虚軌跡が実軌跡を交差すると必ずこの負領域を通過
することになる。したがって虚軌跡に沿った画素値の累
積値は、正負打ち消されて小さな値となり、誤対応点と
して検出され難くなる。このためボーティング手法IIで
は、従来の時空間画像処理と異なり、任意のカメラ運動
が可能であり、しかも画像間での対応点探索や特徴点軌
跡の追跡が不要である。
【００１４】
【発明が解決しようとする課題】ところがボーティング
手法IIでは、画像上の画素の大きさを無視していた。実
際には画像上の各画素は大きさを有するために、このま
までは誤対応点が完全に抑制されないという問題点があ
った。図１１はこの問題点を説明する図であって、簡単
のために実際には立体である時空間トンネル画像を２次
元画像として表している（すなわち１次元画像を時間軸
方向に積層したものとみなすことができる）。
手法IIでは、画像上の画素の大きさを無視していた。実
際には画像上の各画素は大きさを有するために、このま
までは誤対応点が完全に抑制されないという問題点があ
った。図１１はこの問題点を説明する図であって、簡単
のために実際には立体である時空間トンネル画像を２次
元画像として表している（すなわち１次元画像を時間軸
方向に積層したものとみなすことができる）。
【００１５】図１０において、実軌跡Ｃａは正領域を、
虚軌跡Ｃｅは負領域を通過している。ボーティング手法
IIにおいて空間中に引かれる視線は、同図中の画像を一
枚ずつの１次元画像にスライスし、その画素の中央の点
とレンズ中心とを結ぶ直線である。すなわち、もし画素
の中央の点を軌跡が通過するなら、この画素を通る視線
はこの軌跡に対応する体素を必ず通過する。しかし画素
の中央以外の点を軌跡が通るなら、該視線は該軌跡に対
応する体素を通過するとは限らない。すなわちボーティ
ング手法IIでは画素の大きさを無視しているため、正領
域あるいは負領域を構成する各画素の中央の点だけが真
の正領域あるいは負領域になり、各画素の中央以外の点
は画素値０の領域になってしまう。図１１において軌跡
Ｃｅは必ず負領域を通過するが、画素の中央の点を必ず
通過するとは限らない。したがって図１２に示すよう
に、軌跡Ｃｅに対応する体素Ｄ［ｌｅ］［ｍｅ］［ｎ
ｅ］を、負の画素の中央の点Ｊに対応する負の視線ＳＪ
が通過するとは限らない（ただし軌跡Ｃｅが画素を通過
する点Ｃｅ* とレンズ中心Ｌi を結ぶＳＪ* は必ず体素
Ｄ［ｌｅ］［ｍｅ］［ｎｅ］を通過する）。現実には画
像上の各画素は必ず大きさを持つから、ボーティング手
法IIでは確実に誤対応点の発生を抑制することができな
いという問題点があった。
虚軌跡Ｃｅは負領域を通過している。ボーティング手法
IIにおいて空間中に引かれる視線は、同図中の画像を一
枚ずつの１次元画像にスライスし、その画素の中央の点
とレンズ中心とを結ぶ直線である。すなわち、もし画素
の中央の点を軌跡が通過するなら、この画素を通る視線
はこの軌跡に対応する体素を必ず通過する。しかし画素
の中央以外の点を軌跡が通るなら、該視線は該軌跡に対
応する体素を通過するとは限らない。すなわちボーティ
ング手法IIでは画素の大きさを無視しているため、正領
域あるいは負領域を構成する各画素の中央の点だけが真
の正領域あるいは負領域になり、各画素の中央以外の点
は画素値０の領域になってしまう。図１１において軌跡
Ｃｅは必ず負領域を通過するが、画素の中央の点を必ず
通過するとは限らない。したがって図１２に示すよう
に、軌跡Ｃｅに対応する体素Ｄ［ｌｅ］［ｍｅ］［ｎ
ｅ］を、負の画素の中央の点Ｊに対応する負の視線ＳＪ
が通過するとは限らない（ただし軌跡Ｃｅが画素を通過
する点Ｃｅ* とレンズ中心Ｌi を結ぶＳＪ* は必ず体素
Ｄ［ｌｅ］［ｍｅ］［ｎｅ］を通過する）。現実には画
像上の各画素は必ず大きさを持つから、ボーティング手
法IIでは確実に誤対応点の発生を抑制することができな
いという問題点があった。
【００１６】本発明は、ボーティング手法による３次元
形状計測において、例え画素が大きさを有していても、
誤対応点の発生を確実に抑制するようにすることを目的
としている。
形状計測において、例え画素が大きさを有していても、
誤対応点の発生を確実に抑制するようにすることを目的
としている。
【００１７】
【課題を解決するための手段】図１は本発明の原理構成
図を示す。図中の符号１は画像入力処理部であって、カ
メラを任意に運動させながら被写体を撮影した画像列を
入力し時空間画像として蓄積する。２は撮影位置入力処
理部であって、画像列の撮影位置情報を入力する。
図を示す。図中の符号１は画像入力処理部であって、カ
メラを任意に運動させながら被写体を撮影した画像列を
入力し時空間画像として蓄積する。２は撮影位置入力処
理部であって、画像列の撮影位置情報を入力する。
【００１８】３は負領域生成処理部であって、画像入力
処理部１に入力された時空間画像から特徴点を抽出し、
該特徴点には正の値を、該特徴点に隣接する特徴点以外
の画素には負の値を、それ以外の画素には０の値を出力
することで、時空間画像を時空間トンネル画像に変換す
る。
処理部１に入力された時空間画像から特徴点を抽出し、
該特徴点には正の値を、該特徴点に隣接する特徴点以外
の画素には負の値を、それ以外の画素には０の値を出力
することで、時空間画像を時空間トンネル画像に変換す
る。
【００１９】４は錘体発生処理部であって、負領域生成
処理部３で出力された時空間トンネル画像を構成する０
でない画素値を持つ画素の座標値と、撮影位置入力処理
部２に入力された該画像に対応する撮影位置情報とか
ら、該画素の外郭を通過し撮影時のカメラレンズ中心を
頂点とする錘体情報、および該画素の画素値を出力す
る。
処理部３で出力された時空間トンネル画像を構成する０
でない画素値を持つ画素の座標値と、撮影位置入力処理
部２に入力された該画像に対応する撮影位置情報とか
ら、該画素の外郭を通過し撮影時のカメラレンズ中心を
頂点とする錘体情報、および該画素の画素値を出力す
る。
【００２０】５は体素累算処理部であって錘体発生処理
部４が発生した錘体情報の示す錘体に含まれる体素蓄積
部６内の全ての体素の値に、画素値を加算する。６は体
素蓄積部であって、被写体が存在する空間を仮想的に微
小な体素に分割し、３次元配列とする。
部４が発生した錘体情報の示す錘体に含まれる体素蓄積
部６内の全ての体素の値に、画素値を加算する。６は体
素蓄積部であって、被写体が存在する空間を仮想的に微
小な体素に分割し、３次元配列とする。
【００２１】７はピーク値検出部であって、体素蓄積部
６からピーク値を持つ体素を抽出し、その座標情報を出
力する。８は出力部である。
６からピーク値を持つ体素を抽出し、その座標情報を出
力する。８は出力部である。
【００２２】
【作用】従来手法（ボーティング手法II）では、画像上
の画素の大きさをまったく考慮せず、画素中央の点とレ
ンズ中心を結ぶ視線が通過する体素の累積値に、該視線
が通過する画像上の画素値を加えていた。このため、画
素が大きさを有する場合には、ボーティング手法IIにお
ける実際の正領域や負領域は画素中央の点だけとなる。
したがって図１１に示すように虚軌跡Ｃｅは負領域を通
過するにもかかわらず、誤対応点における累積値を必ず
しも抑制できるという保証はなかった。
の画素の大きさをまったく考慮せず、画素中央の点とレ
ンズ中心を結ぶ視線が通過する体素の累積値に、該視線
が通過する画像上の画素値を加えていた。このため、画
素が大きさを有する場合には、ボーティング手法IIにお
ける実際の正領域や負領域は画素中央の点だけとなる。
したがって図１１に示すように虚軌跡Ｃｅは負領域を通
過するにもかかわらず、誤対応点における累積値を必ず
しも抑制できるという保証はなかった。
【００２３】本発明ではボーティング手法IIにおける視
線を図１２に示すように画素中央の点とレンズ中心とを
結ぶ直線ではなく、図１３に示すようにレンズ中心Ｌi
を頂点とし、時空間画像Ｔ’をスライスした画像Ｉi ’
の画素ｔ’の外郭を通過する錘体とし、該錘体内に含ま
れる各体素に画素ｔ’の画素値を加える（画素値１なら
１を−１なら−１を加える）ことを特徴としている。該
錘体は、該画素中の全ての点とレンズ中心を結ぶ全ての
直線から構成されるとみなすことができる。これは図１
１の様に虚軌跡Ｃｅがたとえ画素の中央を通過していな
くても、該画素内のどこかを通過するなら、確実に虚曲
線Ｃｅに対応する体素Ｄ［ｌｅ］［ｍｅ］［ｎｅ］は該
錘体内に含まれることを意味している。したがってボー
ティング手法IIにおける視線を直線ではなく上述した様
な錘体とし、体素Ｄ［ｌ］［ｍ］［ｎ］にボーティング
を行うことで、たとえ画素が大きさを有していても確実
に誤対応点の累積値を抑制することができる。
線を図１２に示すように画素中央の点とレンズ中心とを
結ぶ直線ではなく、図１３に示すようにレンズ中心Ｌi
を頂点とし、時空間画像Ｔ’をスライスした画像Ｉi ’
の画素ｔ’の外郭を通過する錘体とし、該錘体内に含ま
れる各体素に画素ｔ’の画素値を加える（画素値１なら
１を−１なら−１を加える）ことを特徴としている。該
錘体は、該画素中の全ての点とレンズ中心を結ぶ全ての
直線から構成されるとみなすことができる。これは図１
１の様に虚軌跡Ｃｅがたとえ画素の中央を通過していな
くても、該画素内のどこかを通過するなら、確実に虚曲
線Ｃｅに対応する体素Ｄ［ｌｅ］［ｍｅ］［ｎｅ］は該
錘体内に含まれることを意味している。したがってボー
ティング手法IIにおける視線を直線ではなく上述した様
な錘体とし、体素Ｄ［ｌ］［ｍ］［ｎ］にボーティング
を行うことで、たとえ画素が大きさを有していても確実
に誤対応点の累積値を抑制することができる。
【００２４】
【実施例】図２は本発明の実施例であって、１は画像入
力処理部、１−１は画像入力部、１−２は時空間画像蓄
積部、２は撮影位置入力処理部、２−１は撮影位置入力
部、２−２は撮影位置蓄積部、３は負領域生成処理部、
３−１は特徴点抽出部、３−２は時空間特徴点画像蓄積
部、３−３は負領域生成部、３−４は時空間トンネル画
像蓄積部、４は錘体発生処理部、４−１は画像蓄積部、
４−２は非零画素検出部、４−３は錘体発生部、５は体
素累算処理部、６は体素蓄積部、７はピーク値検出部、
８は出力部である。
力処理部、１−１は画像入力部、１−２は時空間画像蓄
積部、２は撮影位置入力処理部、２−１は撮影位置入力
部、２−２は撮影位置蓄積部、３は負領域生成処理部、
３−１は特徴点抽出部、３−２は時空間特徴点画像蓄積
部、３−３は負領域生成部、３−４は時空間トンネル画
像蓄積部、４は錘体発生処理部、４−１は画像蓄積部、
４−２は非零画素検出部、４−３は錘体発生部、５は体
素累算処理部、６は体素蓄積部、７はピーク値検出部、
８は出力部である。
【００２５】本装置を動作するには、カメラを運動させ
ながら連続的に被写体を撮影した画像列Ｉi （ｉ＝０,
...,ｎ−１）を画像入力部１−１に入力し、カメラの
撮影位置情報Ｐｃi （ｉ＝０，...,ｎ−１）を撮影位置
入力部２−１に入力する。画像入力部１−１に入力され
た画像列は、時空間画像として時空間画像蓄積部１−２
に、また撮影位置入力部２−１に入力された撮影位置情
報は撮影位置蓄積部２−２に蓄積される。
ながら連続的に被写体を撮影した画像列Ｉi （ｉ＝０,
...,ｎ−１）を画像入力部１−１に入力し、カメラの
撮影位置情報Ｐｃi （ｉ＝０，...,ｎ−１）を撮影位置
入力部２−１に入力する。画像入力部１−１に入力され
た画像列は、時空間画像として時空間画像蓄積部１−２
に、また撮影位置入力部２−１に入力された撮影位置情
報は撮影位置蓄積部２−２に蓄積される。
【００２６】図３に示すように時空間画像蓄積部１−２
に蓄積された時空間画像を構成する画像Ｉi の蓄積位置
と、これに対応する撮影位置情報Ｐｃiの蓄積位置とは
相互に対応可能なように同じ順番に並んでいる。これは
時空間特徴点画像蓄積部３−２、および時空間トンネル
画像蓄積部３−４についても同様である。
に蓄積された時空間画像を構成する画像Ｉi の蓄積位置
と、これに対応する撮影位置情報Ｐｃiの蓄積位置とは
相互に対応可能なように同じ順番に並んでいる。これは
時空間特徴点画像蓄積部３−２、および時空間トンネル
画像蓄積部３−４についても同様である。
【００２７】特徴点抽出部３−１は３次元のエッジ抽出
フィルタなどであり、時空間画像蓄積部１−２に蓄積さ
れた時空間画像を読みだし、エッジ部には正の画素値を
それ以外の画素には０の画素値を出力することで、該時
空間画像を二値の時空間特徴点画像に変換して時空間特
徴点画像蓄積部３−２に蓄積する。負領域生成部３−３
は該時空間特徴点画像蓄積部３−２に蓄積された時空間
特徴点画像を読みだし、（３）式に示す変換Ｆを該時空
間特徴点画像に行って時空間トンネル画像を生成し、時
空間トンネル画像蓄積部３−４に蓄積する。
フィルタなどであり、時空間画像蓄積部１−２に蓄積さ
れた時空間画像を読みだし、エッジ部には正の画素値を
それ以外の画素には０の画素値を出力することで、該時
空間画像を二値の時空間特徴点画像に変換して時空間特
徴点画像蓄積部３−２に蓄積する。負領域生成部３−３
は該時空間特徴点画像蓄積部３−２に蓄積された時空間
特徴点画像を読みだし、（３）式に示す変換Ｆを該時空
間特徴点画像に行って時空間トンネル画像を生成し、時
空間トンネル画像蓄積部３−４に蓄積する。
【００２８】該時空間トンネル画像蓄積部３−４は該時
空間トンネル画像蓄積部３−４に蓄積された該時空間ト
ンネル画像を構成する第一の画像（すなわち撮影位置情
報Ｐｃ０に対応する画像）を読みだして、画像蓄積部４
−１に蓄積する。非零画素検出部４−２は該画像蓄積部
４−１に蓄積された画像を走査し、画素値が０でない画
素を見つけると、該画素値と該画素の座標値とを錘体発
生部４−３に出力する。該錘体発生部４−３は該画素値
と該座標値とを入力されると、撮影位置蓄積部２−２か
ら第一の画像に対応する撮影位置情報を読みだし、カメ
ラのレンズ中心を頂点とし、該画像上の該画素の外郭を
通る錘体情報を発生し、該錘体情報と該画素値とを体素
累算処理部５に出力する。該体素累算処理部５は、該錘
体情報と該画素値とを入力されると、該錘体情報が示す
ところの錘体内に含まれる体素を順次、体素蓄積部６か
ら読みだし、該体素の値に該画素値を加算した値を該体
素蓄積部６の該体素に出力する。体素累算処理部５が上
記の処理を該時空間トンネル画像蓄積部３−４に蓄積さ
れたすべての画像について順次実行すると、ピーク値検
出部７は体素蓄積部６からピーク値を持つ体素をしきい
値処理などによって抽出し、該体素の座標値を出力部８
に出力する。
空間トンネル画像蓄積部３−４に蓄積された該時空間ト
ンネル画像を構成する第一の画像（すなわち撮影位置情
報Ｐｃ０に対応する画像）を読みだして、画像蓄積部４
−１に蓄積する。非零画素検出部４−２は該画像蓄積部
４−１に蓄積された画像を走査し、画素値が０でない画
素を見つけると、該画素値と該画素の座標値とを錘体発
生部４−３に出力する。該錘体発生部４−３は該画素値
と該座標値とを入力されると、撮影位置蓄積部２−２か
ら第一の画像に対応する撮影位置情報を読みだし、カメ
ラのレンズ中心を頂点とし、該画像上の該画素の外郭を
通る錘体情報を発生し、該錘体情報と該画素値とを体素
累算処理部５に出力する。該体素累算処理部５は、該錘
体情報と該画素値とを入力されると、該錘体情報が示す
ところの錘体内に含まれる体素を順次、体素蓄積部６か
ら読みだし、該体素の値に該画素値を加算した値を該体
素蓄積部６の該体素に出力する。体素累算処理部５が上
記の処理を該時空間トンネル画像蓄積部３−４に蓄積さ
れたすべての画像について順次実行すると、ピーク値検
出部７は体素蓄積部６からピーク値を持つ体素をしきい
値処理などによって抽出し、該体素の座標値を出力部８
に出力する。
【００２９】この様な構成になっているから、カメラ運
動が既知であるならば、それが任意の運動であり、しか
も撮影画像の画素が大きさを有していても、誤対応点に
相当する体素の累積値を負領域生成部によって生成され
た負の領域によって確実に抑制することができ、被写体
の３次元形状を正確に抽出することができる。
動が既知であるならば、それが任意の運動であり、しか
も撮影画像の画素が大きさを有していても、誤対応点に
相当する体素の累積値を負領域生成部によって生成され
た負の領域によって確実に抑制することができ、被写体
の３次元形状を正確に抽出することができる。
【００３０】
【発明の効果】本発明によれば、カメラ運動が既知であ
るならば、それが任意の運動であり、しかも撮影画像の
画素が大きさを有していても、被写体の形状を誤対応点
を発生することなく正確に計測することが可能である。
しかも本発明では、画像間での対応点探索や特徴点追跡
を一切必要としないため、複雑な形状の被写体であって
も容易にその３次元形状を計測することができる。
るならば、それが任意の運動であり、しかも撮影画像の
画素が大きさを有していても、被写体の形状を誤対応点
を発生することなく正確に計測することが可能である。
しかも本発明では、画像間での対応点探索や特徴点追跡
を一切必要としないため、複雑な形状の被写体であって
も容易にその３次元形状を計測することができる。
【図１】本発明の原理構成図である。
【図２】本発明の実施例を示す。
【図３】画像Ｉi の蓄積位置と撮影位置情報Ｐｃi の蓄
積位置との関係を示す図である。
積位置との関係を示す図である。
【図４】時空間画像を説明する説明図である。
【図５】世界座標系とカメラ座標系とを説明する図であ
る。
る。
【図６】カメラ座標系と世界座標系との原点を一致させ
たときの説明図である。
たときの説明図である。
【図７】体素を考慮した場合の説明図である。
【図８】３次元空間中に別の点が存在する場合の説明図
である。
である。
【図９】２本の軌跡が含まれる状態を表す説明図であ
る。
る。
【図１０】時空間トンネル画像の説明図である。
【図１１】問題点を説明する説明図である。
【図１２】画素の中央の点とレンズ点とを直線で結ぶ場
合の説明図である。
合の説明図である。
【図１３】レンズの中心を頂点として錘体を考慮する場
合の説明図である。
合の説明図である。
１ 画像入力処理部 ２ 撮影位置入力処理部 ３ 負領域生成処理部 ４ 錘体発生処理部 ５ 体素累算処理部 ６ 体素蓄積部 ７ ピーク値検出部 ８ 出力部
Claims (1)
- 【請求項１】 カメラを任意に運動させながら被写体を
撮影した画像列を入力し時空間画像として蓄積する画像
入力処理部と、 該画像列の撮影位置情報を入力する撮影位置入力処理部
と、 該画像入力処理部に入力された時空間画像から特徴点を
抽出し、該特徴点には正の値を、該特徴点に隣接する特
徴点以外の画素には負の値を、それ以外の画素には０の
値を出力することで、該時空間画像を時空間トンネル画
像に変換する負領域生成処理部と、 該負領域生成処理部で出力された時空間トンネル画像を
構成する各画像の０でない画素値を持つ画素の座標値
と、該撮影位置入力処理部に入力された該画像に対応す
る撮影位置情報とから、該画素の外郭を通過し撮影時の
カメラレンズ中心を頂点とする錘体情報、および該画素
の画素値を出力する錘体発生処理部と、 被写体が存在する空間を仮想的に微小な体素に分割し、
３次元配列とした体素蓄積部と、 該錘体発生処理部が発生した錘体情報の示す錘体に含ま
れる体素蓄積部内の全ての体素の値に該画素値を加算す
る体素累算処理部と、 該体素蓄積部からピーク値を持つ体素を抽出し、その座
標情報を出力部に出力するピーク値検出部とから構成さ
れ、 カメラを任意に運動させながら撮影した画像列から被写
体の３次元形状を求めることを特徴とする３次元形状計
測処理方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3187156A JP2504641B2 (ja) | 1991-07-26 | 1991-07-26 | ３次元形状計測処理方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3187156A JP2504641B2 (ja) | 1991-07-26 | 1991-07-26 | ３次元形状計測処理方式 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0535854A JPH0535854A (ja) | 1993-02-12 |
| JP2504641B2 true JP2504641B2 (ja) | 1996-06-05 |
Family
ID=16201109
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3187156A Expired - Fee Related JP2504641B2 (ja) | 1991-07-26 | 1991-07-26 | ３次元形状計測処理方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2504641B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102011108468A1 (de) * | 2011-07-23 | 2013-01-24 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zur Generierung von dreidimensionalen Umfeldinformationen |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5148096B2 (ja) * | 2006-10-13 | 2013-02-20 | オリンパスメディカルシステムズ株式会社 | 医療用画像処理装置及び医療用画像処理装置の作動方法 |
-
1991
- 1991-07-26 JP JP3187156A patent/JP2504641B2/ja not_active Expired - Fee Related
Non-Patent Citations (2)
| Title |
|---|
| １９９０年電子情報通信学会秋季全国大会講演論文集、Ｐ．６−４３９ |
| 電子情報通信学会技術研究報告ＰＲＵ９１−１２８，９１〜４７８！（１９９２−２−２１），Ｐ１７−２４ |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102011108468A1 (de) * | 2011-07-23 | 2013-01-24 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zur Generierung von dreidimensionalen Umfeldinformationen |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0535854A (ja) | 1993-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11205298B2 (en) | Method and system for creating a virtual 3D model | |
| US7680323B1 (en) | Method and apparatus for three-dimensional object segmentation | |
| JP4177826B2 (ja) | 画像処理装置および画像処理方法 | |
| JP5682065B2 (ja) | ステレオ画像処理装置及びステレオ画像処理方法 | |
| US7769227B2 (en) | Object detector | |
| US6839081B1 (en) | Virtual image sensing and generating method and apparatus | |
| US11727637B2 (en) | Method for generating 3D skeleton using joint-based calibration acquired from multi-view camera | |
| CN104700355A (zh) | 室内二维平面图的生成方法、装置和系统 | |
| CN105934757A (zh) | 一种用于检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的方法和装置 | |
| Islam et al. | Stereo vision-based 3D positioning and tracking | |
| Moroni et al. | Underwater scene understanding by optical and acoustic data integration | |
| JP2504641B2 (ja) | ３次元形状計測処理方式 | |
| JP2003346130A (ja) | ３次元情報処理装置および３次元情報処理方法 | |
| Georgopoulos | Photogrammetric automation: is it worth? | |
| Yang et al. | Design flow of motion based single camera 3D mapping | |
| JP3253328B2 (ja) | 距離動画像入力処理方法 | |
| JP6606340B2 (ja) | 画像検出装置、画像検出方法およびプログラム | |
| JP2938520B2 (ja) | ３次元形状計測装置 | |
| CN107610170B (zh) | 多目图像重聚焦的深度获取方法及系统 | |
| Pollok et al. | Computer vision meets visual analytics: Enabling 4D crime scene investigation from image and video data | |
| JPH0624000B2 (ja) | 複合立体視装置 | |
| JP4622889B2 (ja) | 画像処理装置、及び画像処理方法 | |
| JP3055721B2 (ja) | 左，右カメラの撮像画像の対応点検索方法 | |
| JP2511082B2 (ja) | 移動物体の三次元位置測定装置 | |
| Tsou et al. | Depth Measurement for a Mobile Robot using Camera Rotation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |