JPH0674731A - ３次元形状の復元方法とその装置 - Google Patents
３次元形状の復元方法とその装置Info
- Publication number
- JPH0674731A JPH0674731A JP4248802A JP24880292A JPH0674731A JP H0674731 A JPH0674731 A JP H0674731A JP 4248802 A JP4248802 A JP 4248802A JP 24880292 A JP24880292 A JP 24880292A JP H0674731 A JPH0674731 A JP H0674731A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- depth
- dimensional object
- inclination
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】簡単かつ高精度に３次元物体の形状を復元する
ことができ、２次元画像上のエッジが３次元世界の対応
点において実際のエッジであるか、あるいはオクルーデ
ィングなのかを決定できるようにすることである。 【構成】撮像制御手段では、３次元物体と撮像手段を相
対的に移動させ３次元物体を異なる位置で撮像可能に
し、上記３次元物体を撮像手段で撮像する。傾き推測手
段では、撮像したデータから対応点の時間経過に対する
傾きを推測する。奥行き算出手段では、推測手段で推測
した傾きから判断して有効な傾きデータを求め、その傾
きデータより３次元物体の奥行きを算出する。奥行き算
出手段により算出された奥行きデータに基づいて３次元
物体の３次元形状を復元する。
ことができ、２次元画像上のエッジが３次元世界の対応
点において実際のエッジであるか、あるいはオクルーデ
ィングなのかを決定できるようにすることである。 【構成】撮像制御手段では、３次元物体と撮像手段を相
対的に移動させ３次元物体を異なる位置で撮像可能に
し、上記３次元物体を撮像手段で撮像する。傾き推測手
段では、撮像したデータから対応点の時間経過に対する
傾きを推測する。奥行き算出手段では、推測手段で推測
した傾きから判断して有効な傾きデータを求め、その傾
きデータより３次元物体の奥行きを算出する。奥行き算
出手段により算出された奥行きデータに基づいて３次元
物体の３次元形状を復元する。
Description
【０００１】
【産業上の利用分野】本発明は、３次元形状の復元方法
とその装置に係り、特にカメラなどを相対的に移動させ
ながら３次元物体を撮影し、そのとき得られる２次元画
像を時間軸方向にスライスしながら演算処理を行い３次
元形状に復元する３次元形状の復元方法とその装置に関
する。
とその装置に係り、特にカメラなどを相対的に移動させ
ながら３次元物体を撮影し、そのとき得られる２次元画
像を時間軸方向にスライスしながら演算処理を行い３次
元形状に復元する３次元形状の復元方法とその装置に関
する。
【０００２】
【従来の技術】静止している３次元物体をカメラなどを
用いて２地点から撮影し、そのとき得られる２枚の２次
元画像上の対応点から２次元画像上の移動量を求める
と、三角測量の原理から３次元物体の奥行きを求めるこ
とができる。ところが、実際には二枚の２次元画像上に
おける対応点を正しくもとめることは困難で、例えば対
応点を探すときに、明るさを特徴点と考えて同じ明るさ
を持つ所を対応させようとすると、そういった所が無数
に存在してしまうので、最良の特徴を使わないかぎり、
誤対応をおこしてしまう。この誤対応の問題を解決する
ためには、撮影する２地点間の距離を短くして、対応点
を探す範囲を近傍のみに限定する方法があるが、この方
法ではいたずらに距離を短くすると２次元画像上の移動
量から奥行きを求める際に、幾何学的に精度が得られな
くなる。そこで、一般的には、静止している３次元物体
をカメラを微小距離移動させながら多数枚にわたって２
次元画像上における対応点をトレースしていくという方
法が採られてきた。
用いて２地点から撮影し、そのとき得られる２枚の２次
元画像上の対応点から２次元画像上の移動量を求める
と、三角測量の原理から３次元物体の奥行きを求めるこ
とができる。ところが、実際には二枚の２次元画像上に
おける対応点を正しくもとめることは困難で、例えば対
応点を探すときに、明るさを特徴点と考えて同じ明るさ
を持つ所を対応させようとすると、そういった所が無数
に存在してしまうので、最良の特徴を使わないかぎり、
誤対応をおこしてしまう。この誤対応の問題を解決する
ためには、撮影する２地点間の距離を短くして、対応点
を探す範囲を近傍のみに限定する方法があるが、この方
法ではいたずらに距離を短くすると２次元画像上の移動
量から奥行きを求める際に、幾何学的に精度が得られな
くなる。そこで、一般的には、静止している３次元物体
をカメラを微小距離移動させながら多数枚にわたって２
次元画像上における対応点をトレースしていくという方
法が採られてきた。
【０００３】
【発明が解決しようとする課題】しかしながら、この従
来の３次元形状の奥行き算出方法及びその装置では、多
数の処理データから奥行きを求めるときに、カルマン・
フィルタなどを使い非常に複雑なフィルタリングを行う
必要があった。また、従来のフィルタリング方法に２次
元スライス面の傾きが変化するオクルーディング（occu
luding) の概念を組み入れることが困難なので、オクル
ーディングに対処することが不可能になっていた。
来の３次元形状の奥行き算出方法及びその装置では、多
数の処理データから奥行きを求めるときに、カルマン・
フィルタなどを使い非常に複雑なフィルタリングを行う
必要があった。また、従来のフィルタリング方法に２次
元スライス面の傾きが変化するオクルーディング（occu
luding) の概念を組み入れることが困難なので、オクル
ーディングに対処することが不可能になっていた。
【０００４】本発明は、簡単かつ高精度に３次元物体の
形状を復元することができるとともに２次元画像上のエ
ッジが３次元世界の対応点において実際のエッジである
か、あるいはオクルーディングなのかを決定できる３次
元形状の奥行き算出方法及びその装置を提供することを
目的とする。
形状を復元することができるとともに２次元画像上のエ
ッジが３次元世界の対応点において実際のエッジである
か、あるいはオクルーディングなのかを決定できる３次
元形状の奥行き算出方法及びその装置を提供することを
目的とする。
【０００５】
【課題を解決するための手段】上記課題を解決するため
の手段として本発明は、３次元物体と撮像手段を相対的
に移動させ３次元物体を異なる位置で撮像可能とする撮
像制御手段と、上記３次元物体を撮像する撮像手段と、
その撮像手段で撮像したデータから対応点の時間経過に
対する傾きを推測する推測手段と、この推測手段で推測
した傾きから判断して有効な傾きデータを求め、その傾
きデータより３次元物体の奥行きを算出する奥行き算出
手段とを設けた。
の手段として本発明は、３次元物体と撮像手段を相対的
に移動させ３次元物体を異なる位置で撮像可能とする撮
像制御手段と、上記３次元物体を撮像する撮像手段と、
その撮像手段で撮像したデータから対応点の時間経過に
対する傾きを推測する推測手段と、この推測手段で推測
した傾きから判断して有効な傾きデータを求め、その傾
きデータより３次元物体の奥行きを算出する奥行き算出
手段とを設けた。
【０００６】好ましくは、上記奥行き算出手段により算
出された奥行きデータに基づいて３次元物体の３次元形
状を復元する。また好ましくは、上記傾き推測手段は、
２次元スライス面上の傾きより３次元物体までの距離を
算出する。さらに好ましくは、上記傾き推測手段は、２
次元スライス面上の曲線を復元するときハフ変換を用い
て３次元物体までの距離を求める。
出された奥行きデータに基づいて３次元物体の３次元形
状を復元する。また好ましくは、上記傾き推測手段は、
２次元スライス面上の傾きより３次元物体までの距離を
算出する。さらに好ましくは、上記傾き推測手段は、２
次元スライス面上の曲線を復元するときハフ変換を用い
て３次元物体までの距離を求める。
【０００７】好ましくは、上記傾き推測手段には、２次
元スライス面上の２次元画像のエッジが３次元画像に復
元されるとき実際のエッジであるかスライス面の傾きを
変化するオクルーディングであるかの状態を判断する手
段を設け、オクルーディングのとき３次元物体の奥行き
推測手段で３次元物体の奥行きを算出せずに撮像手段の
位置をあらたに決定し、３次元物体が実際のエッジであ
るとき３次元物体の奥行き推測手段で繰り返し得られた
３次元物体までの奥行き情報に応じて３次元物体を復元
する。また好ましくは、撮像したデータから対応点の時
間経過に対する傾きを求め、それらの傾きから３次元物
体の奥行きを推測して３次元物体の形状に復元する。
元スライス面上の２次元画像のエッジが３次元画像に復
元されるとき実際のエッジであるかスライス面の傾きを
変化するオクルーディングであるかの状態を判断する手
段を設け、オクルーディングのとき３次元物体の奥行き
推測手段で３次元物体の奥行きを算出せずに撮像手段の
位置をあらたに決定し、３次元物体が実際のエッジであ
るとき３次元物体の奥行き推測手段で繰り返し得られた
３次元物体までの奥行き情報に応じて３次元物体を復元
する。また好ましくは、撮像したデータから対応点の時
間経過に対する傾きを求め、それらの傾きから３次元物
体の奥行きを推測して３次元物体の形状に復元する。
【０００８】
【作用】撮像制御手段では、３次元物体と撮像手段を相
対的に移動させ３次元物体を異なる位置で撮像可能に
し、上記３次元物体を撮像手段で撮像する。傾き推測手
段では、撮像したデータから対応点の時間経過に対する
傾きを推測する。奥行き算出手段では、推測手段で推測
した傾きから判断して有効な傾きデータを求め、その傾
きデータより３次元物体の奥行きを算出する。好ましく
は、奥行き算出手段により算出された奥行きデータに基
づいて３次元物体の３次元形状を復元する。また傾き推
測手段は、２次元スライス面上の傾きより３次元物体ま
での距離を算出する。さらに傾き推測手段は、２次元ス
ライス面上の曲線を復元するときハフ変換を用いて３次
元物体までの距離を求める。また傾き推測手段には、２
次元スライス面上の２次元画像のエッジが３次元画像に
復元されるとき実際のエッジであるかスライス面の傾き
を変化するオクルーディングであるかの状態を判断する
手段を設け、オクルーディングのとき３次元物体の奥行
き推測手段で３次元物体の奥行きを算出せずに撮像手段
の位置をあらたに決定し、３次元物体が実際のエッジで
あるとき３次元物体の奥行き推測手段で繰り返し得られ
た３次元物体までの奥行き情報に応じて３次元物体を復
元する。
対的に移動させ３次元物体を異なる位置で撮像可能に
し、上記３次元物体を撮像手段で撮像する。傾き推測手
段では、撮像したデータから対応点の時間経過に対する
傾きを推測する。奥行き算出手段では、推測手段で推測
した傾きから判断して有効な傾きデータを求め、その傾
きデータより３次元物体の奥行きを算出する。好ましく
は、奥行き算出手段により算出された奥行きデータに基
づいて３次元物体の３次元形状を復元する。また傾き推
測手段は、２次元スライス面上の傾きより３次元物体ま
での距離を算出する。さらに傾き推測手段は、２次元ス
ライス面上の曲線を復元するときハフ変換を用いて３次
元物体までの距離を求める。また傾き推測手段には、２
次元スライス面上の２次元画像のエッジが３次元画像に
復元されるとき実際のエッジであるかスライス面の傾き
を変化するオクルーディングであるかの状態を判断する
手段を設け、オクルーディングのとき３次元物体の奥行
き推測手段で３次元物体の奥行きを算出せずに撮像手段
の位置をあらたに決定し、３次元物体が実際のエッジで
あるとき３次元物体の奥行き推測手段で繰り返し得られ
た３次元物体までの奥行き情報に応じて３次元物体を復
元する。
【０００９】
【実施例】本発明の実施例について図に基づいて説明す
る。図１は本発明の一実施例を示すブロック図、図２は
本発明の一実施例の制御系を示すブロック図である。こ
れらの図において、１は３次元対象物体の奥行き推測装
置である。
る。図１は本発明の一実施例を示すブロック図、図２は
本発明の一実施例の制御系を示すブロック図である。こ
れらの図において、１は３次元対象物体の奥行き推測装
置である。
【００１０】画像前処理部２は、映像信号が入力するイ
ンターフェースからなる画像入力部８と、入力画像信号
をアナログ信号からディジタル信号に変換するＡＤ変換
部８と、ディジタル信号に変換された画像信号を記憶す
る画像記憶部１０と、カラービデオカメラ５のポジショ
ンをコントロールするカメラ・ポジションニング決定器
１６と、画像前処理部２内の制御を行う制御部１１と、
３次元スライス面上で対応点の傾きを求める傾き検出部
３と、２次元画像をディジタル演算処理するデータ演算
部１２で推測された３次元復元形状を画像記憶部１０よ
り呼出して出力する画像出力部１４とから構成される。
ンターフェースからなる画像入力部８と、入力画像信号
をアナログ信号からディジタル信号に変換するＡＤ変換
部８と、ディジタル信号に変換された画像信号を記憶す
る画像記憶部１０と、カラービデオカメラ５のポジショ
ンをコントロールするカメラ・ポジションニング決定器
１６と、画像前処理部２内の制御を行う制御部１１と、
３次元スライス面上で対応点の傾きを求める傾き検出部
３と、２次元画像をディジタル演算処理するデータ演算
部１２で推測された３次元復元形状を画像記憶部１０よ
り呼出して出力する画像出力部１４とから構成される。
【００１１】上記画像出力部１４と接続されるのは、パ
ーソナル・コンピュータ１５で、対象３次元物体の復元
形状がキーボードの操作によりディスプレイに画像表示
される。上記３次元対象物体の奥行き推測装置１では、
取り込まれた時系列画像を図１に示すデータ演算部１２
で演算することにより、奥行き情報の高精度の推測が可
能になる。
ーソナル・コンピュータ１５で、対象３次元物体の復元
形状がキーボードの操作によりディスプレイに画像表示
される。上記３次元対象物体の奥行き推測装置１では、
取り込まれた時系列画像を図１に示すデータ演算部１２
で演算することにより、奥行き情報の高精度の推測が可
能になる。
【００１２】次に、図２の本発明の３次元形状の復元方
法とその装置の一実施例の制御ブロック図に基づいて奥
行き情報の復元の方法を説明する。ここでは図１を参照
して説明する。先ず、スライス方向、速度決定部２４で
スライス方向とスライス速度が決定される。制御部１１
とポジション決定部１６とで構成されるポジション・コ
ントローラ手段１６ａでは、スライス方向とスライス速
度がスライス方向、速度決定部２４で決定され、それに
応じたカラービデオカメラ５のポジションが決定され
る。
法とその装置の一実施例の制御ブロック図に基づいて奥
行き情報の復元の方法を説明する。ここでは図１を参照
して説明する。先ず、スライス方向、速度決定部２４で
スライス方向とスライス速度が決定される。制御部１１
とポジション決定部１６とで構成されるポジション・コ
ントローラ手段１６ａでは、スライス方向とスライス速
度がスライス方向、速度決定部２４で決定され、それに
応じたカラービデオカメラ５のポジションが決定され
る。
【００１３】画像入力部８には、カラービデオカメラ１
から画像データ８ａが入力し、ＡＤ変換部９では２次元
離散画像データに変換し、画像記憶部１０に記憶する。
このとき、輝度に応じた２次元離散画像データ１０ａを
順次画像データとして画像記憶部１０に取り込み、３次
元状のイメージ・ボリーム１０ａを取り込む。制御部１
１とデータ演算部１２で構成されるスライスイメージボ
リーム手段１２では画像記憶部１０に取り込まれたイメ
ージ・ボリームのスライスを行い、２次元スライス面を
生成する。
から画像データ８ａが入力し、ＡＤ変換部９では２次元
離散画像データに変換し、画像記憶部１０に記憶する。
このとき、輝度に応じた２次元離散画像データ１０ａを
順次画像データとして画像記憶部１０に取り込み、３次
元状のイメージ・ボリーム１０ａを取り込む。制御部１
１とデータ演算部１２で構成されるスライスイメージボ
リーム手段１２では画像記憶部１０に取り込まれたイメ
ージ・ボリームのスライスを行い、２次元スライス面を
生成する。
【００１４】次に、制御部１１と傾き検出部３で構成さ
れる傾き検出手段３ａでは、２次元スライス上の対応点
のトレースの傾きを検出する。また制御部１１とデータ
判断部１３で構成されるオクルージョン排除手段１３ａ
では、オクルージョンがあるかあるいは実際のエッジで
あるかの判断を行う。データ演算部１２と制御部１１か
ら構成されるデータ演算手段では、以下に説明する式３
により対象３次元物体の奥行きが計算され、さらに３次
元形状シンセサイザ２７により対象３次元物体の３次元
形状が合成される。
れる傾き検出手段３ａでは、２次元スライス上の対応点
のトレースの傾きを検出する。また制御部１１とデータ
判断部１３で構成されるオクルージョン排除手段１３ａ
では、オクルージョンがあるかあるいは実際のエッジで
あるかの判断を行う。データ演算部１２と制御部１１か
ら構成されるデータ演算手段では、以下に説明する式３
により対象３次元物体の奥行きが計算され、さらに３次
元形状シンセサイザ２７により対象３次元物体の３次元
形状が合成される。
【００１５】上記方法では、静止している３次元物体を
カラービデオカメラ５を微小距離ずつ移動させながら多
数枚撮影し、そのとき得られる２次元画像上の対応点を
複数枚にわたりトレースし、対応点の移動速度から３次
元物体の奥行きを求めることができる。
カラービデオカメラ５を微小距離ずつ移動させながら多
数枚撮影し、そのとき得られる２次元画像上の対応点を
複数枚にわたりトレースし、対応点の移動速度から３次
元物体の奥行きを求めることができる。
【００１６】以下にこの方法を図３(A),(B) 〜図５(A),
(B) に基づいて説明する。この説明においては、図１及
び図２を参照する。今、静止した物体３０をカラービデ
オカメラ５を移動させながら撮影する場合の、対象物体
３０とカラービデオカメラ５の位置関係、移動方向と座
標系のとりかたを図３(A) に示す。この図において、カ
ラービデオカメラ５の観察方向はｚ軸方向、移動方向は
Ｘ軸方向に座標系がとられている。
(B) に基づいて説明する。この説明においては、図１及
び図２を参照する。今、静止した物体３０をカラービデ
オカメラ５を移動させながら撮影する場合の、対象物体
３０とカラービデオカメラ５の位置関係、移動方向と座
標系のとりかたを図３(A) に示す。この図において、カ
ラービデオカメラ５の観察方向はｚ軸方向、移動方向は
Ｘ軸方向に座標系がとられている。
【００１７】このときカラービデオカメラ５から撮像
し、画像入力部８、ＡＤ変換部９を介して取り込まれる
２次元画像を時間方向に重ねていくと、時空間の２次元
画像の時系列データ３１が構成される（図３(B) ）。こ
の図３(B) において、ｘｙ平面が２次元画像平面、Ｔ軸
が時間軸方向を示すものである。ここでイメージ・ボリ
ウムを時間方向にスライスすると、図４(A) のようなカ
ラービデオカメラ５で取り込まれた２次元画像のｘ軸方
向、Ｔ軸を時系列方向とする帯状の２次元スライスした
時系列データ３１（図４(B) ）ができる。この時系列デ
ータ３１上の対応点をトレースし、その傾き３ａを求め
ることにより、ある点の物体の奥行きを求めることが可
能になる。
し、画像入力部８、ＡＤ変換部９を介して取り込まれる
２次元画像を時間方向に重ねていくと、時空間の２次元
画像の時系列データ３１が構成される（図３(B) ）。こ
の図３(B) において、ｘｙ平面が２次元画像平面、Ｔ軸
が時間軸方向を示すものである。ここでイメージ・ボリ
ウムを時間方向にスライスすると、図４(A) のようなカ
ラービデオカメラ５で取り込まれた２次元画像のｘ軸方
向、Ｔ軸を時系列方向とする帯状の２次元スライスした
時系列データ３１（図４(B) ）ができる。この時系列デ
ータ３１上の対応点をトレースし、その傾き３ａを求め
ることにより、ある点の物体の奥行きを求めることが可
能になる。
【００１８】次に、この２次元スライス２面上の対応点
のトレースと対象物体３０の奥行きとの関係を考えるた
めに、静止した対象物体３０をカラービデオカメラ５を
移動させながら撮影した場合の３次元対象物体３０を鉛
直方向から観察したようすを図５(A) に示す。図５(A)
においてＸa は図３（Ａ）におけるＸ軸、Ｄは３次元対
象物体の奥行き、ｆはカメラ１の焦点距離、ｖはカラー
ビデオカメラ５の移動速度、ｘは２次元画像上での中心
からの距離を表している。図５(A) を参照すると、カラ
ービデオカメラ５の移動にともない対象物体上の全ての
点に対するカラービデオカメラ５の移動にともない対象
物体上の全ての点に対するカラービデオカメラ５の投影
面４上を移動することがわかる。従って、２次元スライ
ス３上では、３次元対象物体３０上の全ての点は、ある
曲線３１ａとして記録され（図５(B) ）、この曲線の傾
きを観察することで物体の奥行きが推測でき、さらに全
てのポイントで奥行きを求めることで、最終的に３次元
形状に復元することができる。
のトレースと対象物体３０の奥行きとの関係を考えるた
めに、静止した対象物体３０をカラービデオカメラ５を
移動させながら撮影した場合の３次元対象物体３０を鉛
直方向から観察したようすを図５(A) に示す。図５(A)
においてＸa は図３（Ａ）におけるＸ軸、Ｄは３次元対
象物体の奥行き、ｆはカメラ１の焦点距離、ｖはカラー
ビデオカメラ５の移動速度、ｘは２次元画像上での中心
からの距離を表している。図５(A) を参照すると、カラ
ービデオカメラ５の移動にともない対象物体上の全ての
点に対するカラービデオカメラ５の移動にともない対象
物体上の全ての点に対するカラービデオカメラ５の投影
面４上を移動することがわかる。従って、２次元スライ
ス３上では、３次元対象物体３０上の全ての点は、ある
曲線３１ａとして記録され（図５(B) ）、この曲線の傾
きを観察することで物体の奥行きが推測でき、さらに全
てのポイントで奥行きを求めることで、最終的に３次元
形状に復元することができる。
【００１９】次に、この二次元スライス面上の対応点の
トレースと３次元対象物体３０の奥行きとの関係を数式
化する。このとき、カラービデオカメラ５の移動速度
ｖ、時間の変分ｄｔ、カラービデオカメラ５のレンズか
ら対象物体までの距離Ｄ、ｘの時間Δｔにおける変分ｄ
ｘ、レンズの焦点距離ｆとすると３角形の相似の関係よ
り、式１が成立する。 ｖ・Δｔ：Ｄ＝Δｘ：ｆ ・・・・（式１）
トレースと３次元対象物体３０の奥行きとの関係を数式
化する。このとき、カラービデオカメラ５の移動速度
ｖ、時間の変分ｄｔ、カラービデオカメラ５のレンズか
ら対象物体までの距離Ｄ、ｘの時間Δｔにおける変分ｄ
ｘ、レンズの焦点距離ｆとすると３角形の相似の関係よ
り、式１が成立する。 ｖ・Δｔ：Ｄ＝Δｘ：ｆ ・・・・（式１）
【００２０】この式１から対象物体までの距離Ｄを求め
ると、 Ｄ＝ｖ・ｆ・Δｔ／Δｘ ・・・・（式２） 従って、この距離Ｄから３次元対象物体の奥行きが判
る。さらに、Δｔを０に近ずけたとき、２次元スライス
面上の対応点のトレースと３次元対象物体の奥行きとの
関係式が式３より定義される。 Ｄ＝ｖ・ｆ・ｄｔ／ｄｘ ・・・・（式３） この式によると、カラービデオカメラ５の移動速度ｖが
一定であれば、２次元スライス面上の曲線の傾きｄｔ／
ｄｘが物体の奥行きに比例し、カラービデオカメラ５の
移動速度ｖとレンズの焦点距離ｆが既知であれば、傾き
かｄｔ／ｄｘから物体の奥行きを推測することができる
ことが判る。
ると、 Ｄ＝ｖ・ｆ・Δｔ／Δｘ ・・・・（式２） 従って、この距離Ｄから３次元対象物体の奥行きが判
る。さらに、Δｔを０に近ずけたとき、２次元スライス
面上の対応点のトレースと３次元対象物体の奥行きとの
関係式が式３より定義される。 Ｄ＝ｖ・ｆ・ｄｔ／ｄｘ ・・・・（式３） この式によると、カラービデオカメラ５の移動速度ｖが
一定であれば、２次元スライス面上の曲線の傾きｄｔ／
ｄｘが物体の奥行きに比例し、カラービデオカメラ５の
移動速度ｖとレンズの焦点距離ｆが既知であれば、傾き
かｄｔ／ｄｘから物体の奥行きを推測することができる
ことが判る。
【００２１】この手法により物体の奥行きを推測する
と、２次元画像のフレーム間での対応点を求める際に誤
対応の問題が生じることがなくなり、スライス面上の曲
線を長い時間、カーブフィットさせることで、高精度な
３次元形状に復元することができる。このカーブフィッ
トの方法には、例えばハフ変換（Hough Transformatio
n）などのアルゴリズムを用いる計算ユニットを用いる
ことにより、高精度でしかも少ない演算で３次元形状に
復元することができる。
と、２次元画像のフレーム間での対応点を求める際に誤
対応の問題が生じることがなくなり、スライス面上の曲
線を長い時間、カーブフィットさせることで、高精度な
３次元形状に復元することができる。このカーブフィッ
トの方法には、例えばハフ変換（Hough Transformatio
n）などのアルゴリズムを用いる計算ユニットを用いる
ことにより、高精度でしかも少ない演算で３次元形状に
復元することができる。
【００２２】ハフ変換を示す式が式４である。 ｘsin(θ)t＋ycos( θ) ＝ρ・・・・（４） この式（４）において、Ｘ及びＹは直線状の座標系、例
えば、３次元直交座標系における所定のライン上の任意
の点の座標であり、θ及びρは極座標系における原点に
最も近いライン上に位置が規定される。
えば、３次元直交座標系における所定のライン上の任意
の点の座標であり、θ及びρは極座標系における原点に
最も近いライン上に位置が規定される。
【００２３】さらに、図５(A) に示すように３次元形状
の物体がオクルーディングを持つ場合、スライス面上で
の物体上の軌跡が移動速度ｖに対して、一定の傾きでな
くなることを図５(B) に示す。この性質を利用すると、
カラービデオカメラ５の移動速度ｖが一定であるのにも
かかわらず、スライス面上での軌跡の傾きが図５(B) に
示すように変化してしまう場合にオクルーディングと判
断して、奥行きを求めないようにする。
の物体がオクルーディングを持つ場合、スライス面上で
の物体上の軌跡が移動速度ｖに対して、一定の傾きでな
くなることを図５(B) に示す。この性質を利用すると、
カラービデオカメラ５の移動速度ｖが一定であるのにも
かかわらず、スライス面上での軌跡の傾きが図５(B) に
示すように変化してしまう場合にオクルーディングと判
断して、奥行きを求めないようにする。
【００２４】次に、本発明の一実施例の奥行き復元装置
の動作について図６のフローチャートに基づいて説明す
る。なお、図１〜図５を参照して説明する。上記ｘ方向
あるいはｙ方向にカラービデオカメラ５を移動しながら
シーケンシャルに図１に示す画像入力部８より画像を取
り込み、画像記憶部１０にイメージ・ボリーム１０ａを
取り込む（ステップ１、以下ＳＴ１という）。画像記憶
部１０にイメージ・ボリーム１０ａを取り込んだ後に
は、ｘ−ｔ面に平行な面でイメージ・ボリームの最上部
を図１に示す制御部１１とデータ演算部１２によりスラ
イス１２する（ＳＴ２）。そして、ｘ−ｔ面に平行な面
でイメージ・ボリームの最上部をスライス１２ａして得
られた２次元スライス面上で、３次元物体に対応する軌
跡の傾きｄｔ／ｄｘ３ａを図１に示す制御部１１と傾き
検出部３で求める（ＳＴ３）。
の動作について図６のフローチャートに基づいて説明す
る。なお、図１〜図５を参照して説明する。上記ｘ方向
あるいはｙ方向にカラービデオカメラ５を移動しながら
シーケンシャルに図１に示す画像入力部８より画像を取
り込み、画像記憶部１０にイメージ・ボリーム１０ａを
取り込む（ステップ１、以下ＳＴ１という）。画像記憶
部１０にイメージ・ボリーム１０ａを取り込んだ後に
は、ｘ−ｔ面に平行な面でイメージ・ボリームの最上部
を図１に示す制御部１１とデータ演算部１２によりスラ
イス１２する（ＳＴ２）。そして、ｘ−ｔ面に平行な面
でイメージ・ボリームの最上部をスライス１２ａして得
られた２次元スライス面上で、３次元物体に対応する軌
跡の傾きｄｔ／ｄｘ３ａを図１に示す制御部１１と傾き
検出部３で求める（ＳＴ３）。
【００２５】３次元物体に対応する軌跡の傾きｄｔ／ｄ
ｘの変化のばらつきからオクルーディングか実際のエッ
ジであるかを図１に示す制御部１１とデータ判断部１３
で判断する（ＳＴ４）。実際のエッジであると判断する
場合には、実際のエッジである部分の傾き３ａをカーブ
フィットさせ３次元物体の奥行きを求める（ＳＴ５）。
次に、イメージボリーム１０ａのスライスする場所を１
ラインさげる（ＳＴ６）。このようにして、ＳＴ３から
ＳＴ６までの処理を繰り返し行うことにより、すべての
ラインについて実際のエッジである部分の傾き３ａをカ
ーブフィットさせ３次元物体の奥行きを求めることがで
きる。次に、各点における奥行きをｘ回繰り返し合成２
７することにより、３次元形状に復元する（ＳＴ７）。
またＳＴ４において、オクルーディングであると判断す
るときには上記ＳＴ１にジャンプしてＳＴ１〜ＳＴ３を
繰り返す。データ演算部１２と制御部１１から構成され
るデータ演算手段では、以下に説明する式３により対象
３次元物体の奥行きが計算され、さらに３次元形状シン
セサイザ２７により対象３次元物体の３次元形状が合成
される（ＳＴ８）。以上のようにして３次元対象物体を
３次元形状にパーソナルコンピュータ１５を用いて復元
することができる。
ｘの変化のばらつきからオクルーディングか実際のエッ
ジであるかを図１に示す制御部１１とデータ判断部１３
で判断する（ＳＴ４）。実際のエッジであると判断する
場合には、実際のエッジである部分の傾き３ａをカーブ
フィットさせ３次元物体の奥行きを求める（ＳＴ５）。
次に、イメージボリーム１０ａのスライスする場所を１
ラインさげる（ＳＴ６）。このようにして、ＳＴ３から
ＳＴ６までの処理を繰り返し行うことにより、すべての
ラインについて実際のエッジである部分の傾き３ａをカ
ーブフィットさせ３次元物体の奥行きを求めることがで
きる。次に、各点における奥行きをｘ回繰り返し合成２
７することにより、３次元形状に復元する（ＳＴ７）。
またＳＴ４において、オクルーディングであると判断す
るときには上記ＳＴ１にジャンプしてＳＴ１〜ＳＴ３を
繰り返す。データ演算部１２と制御部１１から構成され
るデータ演算手段では、以下に説明する式３により対象
３次元物体の奥行きが計算され、さらに３次元形状シン
セサイザ２７により対象３次元物体の３次元形状が合成
される（ＳＴ８）。以上のようにして３次元対象物体を
３次元形状にパーソナルコンピュータ１５を用いて復元
することができる。
【００２６】上記実施例では、カラービデオカメラ５を
相対的に移動させながら３次元対象物体３０を撮像し、
そのとき得られる２次元画像を時間方向にスライスして
演算処理することにより簡単に３次元物体の形状を求め
ることができ、またパーソナルコンピュータ１５などを
用いて対象３次元物体の３次元形状が合成されるので、
高精度に３次元物体形状を求めることができる。また上
記実施例では、２次元画像上のエッジが３次元画像の対
応点において、実際のエッジであるか、あるいはオクル
ーディングであるかを決定し、実際のエッジであるとき
に傾き３ａをカーブフィットさせ３次元物体の奥行きを
求めることができるので、例えば３次元形状を記述して
視点によらない認識学習を行う際に優れた効果を得るこ
とができる。
相対的に移動させながら３次元対象物体３０を撮像し、
そのとき得られる２次元画像を時間方向にスライスして
演算処理することにより簡単に３次元物体の形状を求め
ることができ、またパーソナルコンピュータ１５などを
用いて対象３次元物体の３次元形状が合成されるので、
高精度に３次元物体形状を求めることができる。また上
記実施例では、２次元画像上のエッジが３次元画像の対
応点において、実際のエッジであるか、あるいはオクル
ーディングであるかを決定し、実際のエッジであるとき
に傾き３ａをカーブフィットさせ３次元物体の奥行きを
求めることができるので、例えば３次元形状を記述して
視点によらない認識学習を行う際に優れた効果を得るこ
とができる。
【００２７】
【発明の効果】上記のように本発明によれば、カメラを
移動させながら３次元対象物体を撮影し、そのとき得ら
れる２次元画像を時間方向にスライスして演算処理する
ことにより、簡単に３次元物体の形状を求めることがで
きるだけでなく、高精度に３次元物体形状を求めること
ができる。また本発明によれば、２次元画像上のエッジ
が３次元画像の対応点において、実際のエッジである
か、あるいはオクルーディングであるかを決定し、実際
のエッジであるときに傾きをカーブフィットさせ３次元
物体の奥行きを求めることができる。
移動させながら３次元対象物体を撮影し、そのとき得ら
れる２次元画像を時間方向にスライスして演算処理する
ことにより、簡単に３次元物体の形状を求めることがで
きるだけでなく、高精度に３次元物体形状を求めること
ができる。また本発明によれば、２次元画像上のエッジ
が３次元画像の対応点において、実際のエッジである
か、あるいはオクルーディングであるかを決定し、実際
のエッジであるときに傾きをカーブフィットさせ３次元
物体の奥行きを求めることができる。
【図面の簡単な説明】
【図１】本発明の３次元形状の復元方法とその装置の一
実施例を示すブロック図である。
実施例を示すブロック図である。
【図２】本発明の３次元形状の復元方法とその装置の一
実施例の制御系を示すブロック
実施例の制御系を示すブロック
【図３】本発明の３次元形状の復元方法とその装置の一
実施例を示す図で、図３(A) は物体とカメラの位置関係
を示す図で、図３(B) は２次元画像を時間方向に重ねて
いくとき、時系列データが構成されることを示す図であ
る。
実施例を示す図で、図３(A) は物体とカメラの位置関係
を示す図で、図３(B) は２次元画像を時間方向に重ねて
いくとき、時系列データが構成されることを示す図であ
る。
【図４】本発明の３次元形状の復元方法とその装置の一
実施例を示す図で、図４(A) は２次元画像のｘ軸方向、
Ｔ軸を時系列方向を示す図で、図４(B) は帯状の２次元
スライスを示す図である。
実施例を示す図で、図４(A) は２次元画像のｘ軸方向、
Ｔ軸を時系列方向を示す図で、図４(B) は帯状の２次元
スライスを示す図である。
【図５】本発明の３次元形状の復元方法とその装置の一
実施例を示す図で、図５(A) はオクルーディングを持つ
場合を示す図、図５(B) は軌跡が移動速度ｖに対して、
一定の傾きでなくなることを示す図である。
実施例を示す図で、図５(A) はオクルーディングを持つ
場合を示す図、図５(B) は軌跡が移動速度ｖに対して、
一定の傾きでなくなることを示す図である。
【図６】本発明の３次元形状の復元方法とその装置の一
実施例の動作を説明するうためのフローチャートであ
る。
実施例の動作を説明するうためのフローチャートであ
る。
１ 奥行き推測装置 ２ 画像前処理部 ３ 傾き検出部 ５ カラービデオカメラ ８ 画像入力部 ９ Ａ−Ｄ変換部 １０ 画像記憶部 １１ 制御部 １２ データ演算部 １３ データ判断部 １４ 画像出力部 １５ パーソナルコンピュータ １６ ポジション決定部 １６ａ ポジションコントロール部 １８ａ ３次元形状シンセサイザ
Claims (7)
- 【請求項１】３次元物体と撮像手段を相対的に移動させ
３次元物体を異なる位置で撮像可能とする撮像制御手段
と、 上記３次元物体を撮像する撮像手段と、 その撮像手段で撮像したデータから対応点の時間経過に
対する傾きを推測する推測手段と、 この推測手段で推測した傾きから判断して有効な傾きデ
ータを求め、その傾きデータより３次元物体の奥行きを
算出する奥行き算出手段とを設けた３次元形状の復元装
置。 - 【請求項２】上記奥行き算出手段により算出された奥行
きデータに基づいて３次元物体の３次元形状を復元する
請求項１記載の３次元形状の復元装置。 - 【請求項３】上記傾き推測手段は、２次元スライス面上
の傾きより３次元物体までの距離を算出する請求項１記
載の３次元形状の復元装置。 - 【請求項４】上記傾き推測手段は、２次元スライス面上
の曲線を復元するときハフ変換を用いて３次元物体まで
の距離を求める請求項１記載の３次元形状の復元装置。 - 【請求項５】上記傾き推測手段には、２次元スライス面
上の２次元画像のエッジが３次元画像に復元されるとき
実際のエッジであるかスライス面の傾きを変化するオク
ルーディングであるかの状態を判断する手段を設け、オ
クルーディングのとき３次元物体の奥行き推測手段で３
次元物体の奥行きを算出せずに撮像手段の位置をあらた
に決定し、３次元物体が実際のエッジであるとき３次元
物体の奥行き推測手段で繰り返し得られた３次元物体ま
での奥行き情報に応じて３次元物体を復元する請求項５
記載の３次元形状の復元装置。 - 【請求項６】撮像したデータから対応点の時間経過に対
する傾きを求め、それらの傾きから３次元物体の奥行き
を推測して３次元物体の形状に復元する３次元形状の復
元方法。 - 【請求項７】算出された奥行きデータに応じて３次元物
体の３次元形状を復元する請求項６記載の３次元形状の
復元方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24880292A JP3230292B2 (ja) | 1992-08-25 | 1992-08-25 | ３次元物体の形状測定装置、３次元物体の形状復元装置、３次元物体の形状測定方法、および、３次元物体の形状復元方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24880292A JP3230292B2 (ja) | 1992-08-25 | 1992-08-25 | ３次元物体の形状測定装置、３次元物体の形状復元装置、３次元物体の形状測定方法、および、３次元物体の形状復元方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0674731A true JPH0674731A (ja) | 1994-03-18 |
| JP3230292B2 JP3230292B2 (ja) | 2001-11-19 |
Family
ID=17183624
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24880292A Expired - Fee Related JP3230292B2 (ja) | 1992-08-25 | 1992-08-25 | ３次元物体の形状測定装置、３次元物体の形状復元装置、３次元物体の形状測定方法、および、３次元物体の形状復元方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3230292B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1974972A1 (en) | 2007-03-30 | 2008-10-01 | HONDA MOTOR CO., Ltd. | Cooling device for motorcycle engine |
| US20090190852A1 (en) * | 2008-01-28 | 2009-07-30 | Samsung Electronics Co., Ltd. | Image inpainting method and apparatus based on viewpoint change |
| CN116168163A (zh) * | 2023-03-29 | 2023-05-26 | 湖北工业大学 | 三维模型构建方法、装置及存储介质 |
-
1992
- 1992-08-25 JP JP24880292A patent/JP3230292B2/ja not_active Expired - Fee Related
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1974972A1 (en) | 2007-03-30 | 2008-10-01 | HONDA MOTOR CO., Ltd. | Cooling device for motorcycle engine |
| US7987938B2 (en) | 2007-03-30 | 2011-08-02 | Honda Motor Co., Ltd. | Cooling device for motorcycle engine |
| US20090190852A1 (en) * | 2008-01-28 | 2009-07-30 | Samsung Electronics Co., Ltd. | Image inpainting method and apparatus based on viewpoint change |
| US8218893B2 (en) | 2008-01-28 | 2012-07-10 | Samsung Electronics Co., Ltd. | Image inpainting method and apparatus based on viewpoint change |
| CN116168163A (zh) * | 2023-03-29 | 2023-05-26 | 湖北工业大学 | 三维模型构建方法、装置及存储介质 |
| CN116168163B (zh) * | 2023-03-29 | 2023-11-17 | 湖北工业大学 | 三维模型构建方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3230292B2 (ja) | 2001-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3420530B1 (en) | A device and method for determining a pose of a camera | |
| US10755422B2 (en) | Tracking system and method thereof | |
| KR101410273B1 (ko) | 증강현실 응용을 위한 환경 모델링 방법 및 장치 | |
| Nair et al. | Moving obstacle detection from a navigating robot | |
| CN110926330A (zh) | 图像处理装置和图像处理方法 | |
| JP2018113021A (ja) | 情報処理装置およびその制御方法、プログラム | |
| JP2002008040A (ja) | 三次元情報検出装置及び三次元情報検出方法 | |
| JP6922348B2 (ja) | 情報処理装置、方法、及びプログラム | |
| JP3577875B2 (ja) | 移動物体抽出装置 | |
| KR100574227B1 (ko) | 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법 | |
| JP6659095B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP4559375B2 (ja) | 対象物位置追跡方法、装置、およびプログラム | |
| CN111199533B (zh) | 图像处理装置 | |
| Vincze et al. | Edge-projected integration of image and model cues for robust model-based object tracking | |
| JPH0674731A (ja) | ３次元形状の復元方法とその装置 | |
| JP2000348181A (ja) | 移動物体追跡装置 | |
| JP5293429B2 (ja) | 移動物体検出装置、及び移動物体検出方法 | |
| JP2001012946A (ja) | 動画像処理装置及び方法 | |
| Micheloni et al. | Zoom on target while tracking | |
| JPH0973543A (ja) | 画像処理装置 | |
| JP2021174089A (ja) | 情報処理装置、情報処理システム、情報処理方法およびプログラム | |
| JP2832333B2 (ja) | 物体の形状・姿勢検出装置 | |
| CN111522299A (zh) | 机械控制装置 | |
| US20230011093A1 (en) | Adjustment support system and adjustment support method | |
| Marimon et al. | Combination of video-based camera trackers using a dynamically adapted particle filter |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |