JPH08287253A - 物体形状の推定方法および物体形状推定装置 - Google Patents
物体形状の推定方法および物体形状推定装置Info
- Publication number
- JPH08287253A JPH08287253A JP7085819A JP8581995A JPH08287253A JP H08287253 A JPH08287253 A JP H08287253A JP 7085819 A JP7085819 A JP 7085819A JP 8581995 A JP8581995 A JP 8581995A JP H08287253 A JPH08287253 A JP H08287253A
- Authority
- JP
- Japan
- Prior art keywords
- value
- depth
- estimation
- shadow image
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
(57)【要約】
【目的】 陰影画像から三次元形状を高精度に推定する
装置を提供する。 【構成】 画像入力端子１より対象物体のアナログ画像
を入力する。このアナログ画像は、標本化量子化回路５
でデジタルデータ（画像データ）に変換され、画像デー
タメモリ６に蓄積される。また、奥行き推定初期値ｒ0、
光源ベクトルＬ1，Ｌ2、パラメタ係数λを含む初期デー
タを各入力端子２，３，４を介して形状推定処理部９及
び評価処理部１０に入力する。輝度勾配演算処理部７
は、画像データメモリ３から画像データを読み出し、画
像表面の各点について、空間輝度勾配を計算する。形状
推定処理部９では、空間輝度勾配と各種初期データを用
いて奥行き推定値を演算する。この演算には、緩和法を
用いる。評価処理部１０では、演算結果に基づく所定の
評価関数を算出するとともに、この評価関数を最小にす
る奥行き推定値を最適解として出力する。
装置を提供する。 【構成】 画像入力端子１より対象物体のアナログ画像
を入力する。このアナログ画像は、標本化量子化回路５
でデジタルデータ（画像データ）に変換され、画像デー
タメモリ６に蓄積される。また、奥行き推定初期値ｒ0、
光源ベクトルＬ1，Ｌ2、パラメタ係数λを含む初期デー
タを各入力端子２，３，４を介して形状推定処理部９及
び評価処理部１０に入力する。輝度勾配演算処理部７
は、画像データメモリ３から画像データを読み出し、画
像表面の各点について、空間輝度勾配を計算する。形状
推定処理部９では、空間輝度勾配と各種初期データを用
いて奥行き推定値を演算する。この演算には、緩和法を
用いる。評価処理部１０では、演算結果に基づく所定の
評価関数を算出するとともに、この評価関数を最小にす
る奥行き推定値を最適解として出力する。
Description
【０００１】
【産業上の利用分野】本発明は、機械に人間の目の機能
を実現することを狙うコンピュータビジョンの技術に関
し、特に、テレビジョン画面等の二次元平面上に投影さ
れた陰影画像からそのシーンに存在する物体の三次元形
状を推定する技術に関する。コンピュータビジョンは、
二次元画像から、三次元形状の推定、三次元運動の推
定、被写体の表面の物理情報（反射係数、色など）の推
定、シーンの環境情報（光源の位置、方向、光源の色、
映り込みなど）の推定を行うことが大きな役割となって
いる。本発明は、これらのうち、シーンに存在する被写
体の三次元形状を推定する技術に関するものである。
を実現することを狙うコンピュータビジョンの技術に関
し、特に、テレビジョン画面等の二次元平面上に投影さ
れた陰影画像からそのシーンに存在する物体の三次元形
状を推定する技術に関する。コンピュータビジョンは、
二次元画像から、三次元形状の推定、三次元運動の推
定、被写体の表面の物理情報（反射係数、色など）の推
定、シーンの環境情報（光源の位置、方向、光源の色、
映り込みなど）の推定を行うことが大きな役割となって
いる。本発明は、これらのうち、シーンに存在する被写
体の三次元形状を推定する技術に関するものである。
【０００２】
【従来の技術】テレビジョン画面等の二次元平面上に投
影された陰影画像を対象として、シーン中の物体の三次
元形状を推定する技術が従来より提案されている。ま
ず、従来のこの種の技術の概要を、図４を参照して説明
する。図４は、カメラの画像面に投影された陰影画像か
ら被写体である三次元物体までの奥行きｒを推定するシ
ーン例を示すものである。便宜上、この対象シーンに以
下のような仮定を設ける。
影された陰影画像を対象として、シーン中の物体の三次
元形状を推定する技術が従来より提案されている。ま
ず、従来のこの種の技術の概要を、図４を参照して説明
する。図４は、カメラの画像面に投影された陰影画像か
ら被写体である三次元物体までの奥行きｒを推定するシ
ーン例を示すものである。便宜上、この対象シーンに以
下のような仮定を設ける。
【０００３】＜仮定１＞：被写体である三次元物体の表
面は完全拡散反射面である。即ち、画像面におけるｘ−
ｙ平面上の任意の点（ｉ，ｊ）の輝度をＩi,j 、あるい
は簡単にＩとする。ｉはｘ軸の空間的位置、ｊはｙ軸の
空間的位置を示す。また、被写体表面の拡散反射係数を
Ｒd、被写体表面への入射光の強さ（照度）をＩf、被写
体表面の単位法線ベクトルをＮ、単位入射光ベクトルを
ｌとする。この場合の輝度Ｉは下記（１）式で表され
る。
面は完全拡散反射面である。即ち、画像面におけるｘ−
ｙ平面上の任意の点（ｉ，ｊ）の輝度をＩi,j 、あるい
は簡単にＩとする。ｉはｘ軸の空間的位置、ｊはｙ軸の
空間的位置を示す。また、被写体表面の拡散反射係数を
Ｒd、被写体表面への入射光の強さ（照度）をＩf、被写
体表面の単位法線ベクトルをＮ、単位入射光ベクトルを
ｌとする。この場合の輝度Ｉは下記（１）式で表され
る。
【０００４】
【数１】Ｉ＝ＲdＩf（Ｎ・ｌ） (1) 但し、（Ｎ・ｌ）＝Ｎ1ｌ1＋Ｎ2ｌ2＋Ｎ3ｌ3であり、ｌ
＝（ｌ1ｌ2ｌ3）t，Ｎ＝（Ｎ1Ｎ2Ｎ3）t＝（−ｐ／ｓ，
−ｑ／ｓ，１／ｓ）t は、各ベクトルのワールド座標に
おける要素である。さらに、ｐ＝ｄｒ／ｄｘ，ｑ＝ｄｒ
／ｄｙ，ｓ＝√（ｐ2＋ｑ2−１）である。ｔはベクトル
転置を表す。なお、以下、ｄ／ｄｘ，ｄ／ｄｙは偏微分
であることを示す。 ＜仮定２＞：被写体表面の拡散反射係数Ｒdは一定かつ
既知である。 ＜仮定３＞：被写体の形状は滑らかである。 ＜仮定４＞：光源の方向ｌ、及び照度Ｉfは既知であ
る。 このような仮定のもとで、被写体の形状は、輝度Ｉに基
づいて推定することができる。以下、この原理を説明す
る。
＝（ｌ1ｌ2ｌ3）t，Ｎ＝（Ｎ1Ｎ2Ｎ3）t＝（−ｐ／ｓ，
−ｑ／ｓ，１／ｓ）t は、各ベクトルのワールド座標に
おける要素である。さらに、ｐ＝ｄｒ／ｄｘ，ｑ＝ｄｒ
／ｄｙ，ｓ＝√（ｐ2＋ｑ2−１）である。ｔはベクトル
転置を表す。なお、以下、ｄ／ｄｘ，ｄ／ｄｙは偏微分
であることを示す。 ＜仮定２＞：被写体表面の拡散反射係数Ｒdは一定かつ
既知である。 ＜仮定３＞：被写体の形状は滑らかである。 ＜仮定４＞：光源の方向ｌ、及び照度Ｉfは既知であ
る。 このような仮定のもとで、被写体の形状は、輝度Ｉに基
づいて推定することができる。以下、この原理を説明す
る。
【０００５】従来は、被写体形状、特に陰影画像から被
写体までの奥行きを推定する際に、その過程を２段階に
分けて処理している。第１段階の処理では、被写体の表
面各点の法線方向を推定し、第２段階の処理では、推定
した法線方向から実際の奥行きｒを推定する。各段階の
処理は各々独立している。
写体までの奥行きを推定する際に、その過程を２段階に
分けて処理している。第１段階の処理では、被写体の表
面各点の法線方向を推定し、第２段階の処理では、推定
した法線方向から実際の奥行きｒを推定する。各段階の
処理は各々独立している。
【０００６】まず、第１段階の処理について説明する。
上記（１）式は、光源方向ベクトルをＬとすれば（２）
式に書き換えられる。
上記（１）式は、光源方向ベクトルをＬとすれば（２）
式に書き換えられる。
【数２】Ｉ＝−ｐＬ1−ｑＬ2＋Ｌ3 (2) 但し、Ｌ＝（Ｌ1Ｌ2Ｌ3）t ＝（ＲdＩfｌ1／ｓ，ＲdＩfｌ2／ｓ，ＲdＩfｌ2／ｓ）t
で表される。すると、法線方向の推定アルゴリズムは、
輝度の観測値と陰影モデルに基づく算出値（奥行き推定
値）との差を表す評価関数Ｅｄと、被写体の表面の滑ら
かさを表す評価関数Ｅｐとの和を最小にする勾配ｐ，ｑ
を求める問題に帰着される。この場合のトータルの評価
関数Ｅは（３）式で表される。
で表される。すると、法線方向の推定アルゴリズムは、
輝度の観測値と陰影モデルに基づく算出値（奥行き推定
値）との差を表す評価関数Ｅｄと、被写体の表面の滑ら
かさを表す評価関数Ｅｐとの和を最小にする勾配ｐ，ｑ
を求める問題に帰着される。この場合のトータルの評価
関数Ｅは（３）式で表される。
【０００７】
【数３】
【０００８】但し、ｐx，ｑyは、勾配ｐのｘ方向微分，
勾配ｑのｙ方向微分であり、Ａは、被写体の画像面上の
領域を示す。ここで、パラメタ係数λには、画像のＳ／
Ｎ（信号対雑音比）などに応じて適当な値が選択され
る。
勾配ｑのｙ方向微分であり、Ａは、被写体の画像面上の
領域を示す。ここで、パラメタ係数λには、画像のＳ／
Ｎ（信号対雑音比）などに応じて適当な値が選択され
る。
【０００９】次に、具体的に勾配ｐ，ｑを得るための処
理手順を図３（ａ）を参照して説明する。なお、Ｓは処
理ステップを示すものである。まず陰影画像と初期デー
タ（ｐ0，ｑ0，Ｌ1，Ｌ2，λ）とを入力し（Ｓ２０１，
２０２）、繰り返し数ｎを”１”にセットする（Ｓ２０
３）。その後、被写体表面の各点の勾配ｐ，ｑを求める
（Ｓ２０４）。この場合、求める勾配ｐ，ｑは、上記
（３）式を最小にする勾配ｐ，ｑなので、トータルの評
価関数Ｅを勾配ｐ，ｑについて偏微分して０とする連立
方程式を解けばよい。これは、例えば緩和法を用いて解
くことができる。第ｎ回目のステップにおける画素
（ｉ，ｊ）の勾配ｐ，ｑは、（４）式で与えられる。
理手順を図３（ａ）を参照して説明する。なお、Ｓは処
理ステップを示すものである。まず陰影画像と初期デー
タ（ｐ0，ｑ0，Ｌ1，Ｌ2，λ）とを入力し（Ｓ２０１，
２０２）、繰り返し数ｎを”１”にセットする（Ｓ２０
３）。その後、被写体表面の各点の勾配ｐ，ｑを求める
（Ｓ２０４）。この場合、求める勾配ｐ，ｑは、上記
（３）式を最小にする勾配ｐ，ｑなので、トータルの評
価関数Ｅを勾配ｐ，ｑについて偏微分して０とする連立
方程式を解けばよい。これは、例えば緩和法を用いて解
くことができる。第ｎ回目のステップにおける画素
（ｉ，ｊ）の勾配ｐ，ｑは、（４）式で与えられる。
【００１０】
【数４】
【００１１】この（４）式を評価し（Ｓ２０５）、評価
結果が閾値に達していない場合は（Ｓ２０５：No）繰り
返し数ｎを”ｎ＋１”にセットし（Ｓ２０６）、緩和法
を用いた演算処理（Ｓ２０４）を繰り返す。（４）式の
評価関数が目的値に達した場合は（Ｓ２０５：Yes）、
このときの勾配ｐ，ｑを保持して（Ｓ２０７）処理を終
える。
結果が閾値に達していない場合は（Ｓ２０５：No）繰り
返し数ｎを”ｎ＋１”にセットし（Ｓ２０６）、緩和法
を用いた演算処理（Ｓ２０４）を繰り返す。（４）式の
評価関数が目的値に達した場合は（Ｓ２０５：Yes）、
このときの勾配ｐ，ｑを保持して（Ｓ２０７）処理を終
える。
【００１２】次に、第２段階の処理を図３（ｂ）を参照
して説明する。ここでは、まず、第１段階の処理で得た
勾配ｐ，ｑと初期データ（ｒ0，μ）とを入力するとと
もに（Ｓ２０８，Ｓ２０９）、繰り返し数ｎを”１”に
セットする（Ｓ２１０）。次にこれらのデータに基づい
て奥行きｒの推定値を演算する（Ｓ２１１）。この推定
値の演算には（５）式のような評価関数が用いられる。
なお、ｒ0は奥行き推定初期値、μは前述のλと同様、
対象物体の滑らかさ等を表すパラメタ係数であり、それ
ぞれ任意の値を設定することができる。
して説明する。ここでは、まず、第１段階の処理で得た
勾配ｐ，ｑと初期データ（ｒ0，μ）とを入力するとと
もに（Ｓ２０８，Ｓ２０９）、繰り返し数ｎを”１”に
セットする（Ｓ２１０）。次にこれらのデータに基づい
て奥行きｒの推定値を演算する（Ｓ２１１）。この推定
値の演算には（５）式のような評価関数が用いられる。
なお、ｒ0は奥行き推定初期値、μは前述のλと同様、
対象物体の滑らかさ等を表すパラメタ係数であり、それ
ぞれ任意の値を設定することができる。
【００１３】
【数５】
【００１４】この式も第１段階の処理と同様に緩和法を
用いて解くことができる。以後、繰り返し数ｎを順次大
きくして（Ｓ２１３）、推定値演算を繰り返す。そして
最終的な奥行き推定値が得られた場合は、これを後段処
理部に出力して（Ｓ２１４）処理を終える。
用いて解くことができる。以後、繰り返し数ｎを順次大
きくして（Ｓ２１３）、推定値演算を繰り返す。そして
最終的な奥行き推定値が得られた場合は、これを後段処
理部に出力して（Ｓ２１４）処理を終える。
【００１５】
【発明が解決しようとする課題】上述のように、従来
は、奥行き推定値を得るための処理を２段階に分け、第
１段階の処理で入力画像から対象シーンの法線方向を推
定し、第２段階の処理でその法線方向のデータから対象
の奥行きｒを推定していた。このような推定手法におい
ては、第１段階の処理、第２段階の処理でそれぞれ推定
誤差を生じるが、第１段階の処理における推定誤差が第
２段階の処理に影響を及ぼす。そして、第１段階の処理
で推定誤差を生じた場合、第２段階の処理ではこれを真
の値として推定するしかないので、第１段階の処理で推
定した値を修正する手段がない。従って、推定誤差が段
階を追って増大するという問題があった。本発明の課題
は、上記問題点に鑑み、対象物体に対応する陰影画像か
ら該物体までの奥行きを推定する際に、推定誤差の増大
を抑制することにある。
は、奥行き推定値を得るための処理を２段階に分け、第
１段階の処理で入力画像から対象シーンの法線方向を推
定し、第２段階の処理でその法線方向のデータから対象
の奥行きｒを推定していた。このような推定手法におい
ては、第１段階の処理、第２段階の処理でそれぞれ推定
誤差を生じるが、第１段階の処理における推定誤差が第
２段階の処理に影響を及ぼす。そして、第１段階の処理
で推定誤差を生じた場合、第２段階の処理ではこれを真
の値として推定するしかないので、第１段階の処理で推
定した値を修正する手段がない。従って、推定誤差が段
階を追って増大するという問題があった。本発明の課題
は、上記問題点に鑑み、対象物体に対応する陰影画像か
ら該物体までの奥行きを推定する際に、推定誤差の増大
を抑制することにある。
【００１６】
【課題を解決するための手段】本発明は、上記課題を解
決するために、対象物体に対応する陰影画像から該物体
までの奥行きを推定する課程を段階的に分けず、一段の
処理で推定するようにした。そのための手順としては、
陰影画像の各点について空間輝度勾配を導出し、導出し
た空間輝度勾配および所定の初期データに基づいて前記
陰影画像から対象物体までの奥行きの推定演算を行う。
そして、陰影画像の輝度の観測値と奥行き推定値との差
を表す第１の評価関数および前記対象物体の表面の滑ら
かさを表す第２の評価関数の和が所定基準に達するまで
前記推定演算を繰り返す。
決するために、対象物体に対応する陰影画像から該物体
までの奥行きを推定する課程を段階的に分けず、一段の
処理で推定するようにした。そのための手順としては、
陰影画像の各点について空間輝度勾配を導出し、導出し
た空間輝度勾配および所定の初期データに基づいて前記
陰影画像から対象物体までの奥行きの推定演算を行う。
そして、陰影画像の輝度の観測値と奥行き推定値との差
を表す第１の評価関数および前記対象物体の表面の滑ら
かさを表す第２の評価関数の和が所定基準に達するまで
前記推定演算を繰り返す。
【００１７】上記手順を実現する具体的な構成として
は、推定対象となる奥行きの初期値，および前記対象物
体の表面形状の滑らかさや前記陰影画像に含まれる雑音
などを考慮したパラメタ係数を含む初期データを設定す
る初期データ設定手段と、前記陰影画像の各点について
空間輝度勾配を導出する輝度勾配導出手段と、前記導出
した空間輝度勾配および前記初期データに基づいて前記
奥行きの推定演算を行う緩和演算手段と、前記推定演算
により得た奥行き推定値が所定基準に達しているか否か
を評価する評価処理手段と、を備える。評価処理手段
は、例えば、前記陰影画像の輝度の観測値と前記奥行き
推定値との差を表す第１の評価関数および前記対象物体
の表面の滑らかさを表す第２の評価関数の和を演算する
演算手段と、前記和の上限値を定めた閾値を保持する閾
値保持手段と、前記演算された和と前記閾値とを比較す
る比較手段とを備え、前記演算された和が閾値以下のと
きの奥行き推定値を最適値として出力するようにする。
は、推定対象となる奥行きの初期値，および前記対象物
体の表面形状の滑らかさや前記陰影画像に含まれる雑音
などを考慮したパラメタ係数を含む初期データを設定す
る初期データ設定手段と、前記陰影画像の各点について
空間輝度勾配を導出する輝度勾配導出手段と、前記導出
した空間輝度勾配および前記初期データに基づいて前記
奥行きの推定演算を行う緩和演算手段と、前記推定演算
により得た奥行き推定値が所定基準に達しているか否か
を評価する評価処理手段と、を備える。評価処理手段
は、例えば、前記陰影画像の輝度の観測値と前記奥行き
推定値との差を表す第１の評価関数および前記対象物体
の表面の滑らかさを表す第２の評価関数の和を演算する
演算手段と、前記和の上限値を定めた閾値を保持する閾
値保持手段と、前記演算された和と前記閾値とを比較す
る比較手段とを備え、前記演算された和が閾値以下のと
きの奥行き推定値を最適値として出力するようにする。
【００１８】
【作用】本発明の作用を従来手法と同様、図４のモデル
を例にとって説明する。輝度Ｉは（６）式で表される。
を例にとって説明する。輝度Ｉは（６）式で表される。
【数６】Ｉ＝ＲdＩf（Ｎ・ｌ） ＝−ｐＬ1−ｑＬ2＋Ｌ3 (6) ここで、勾配ｐ，ｑをそれぞれｐ＝ｒx，ｑ＝ｒy とし
て（６）式を書き換えると式（７）が得られる。
て（６）式を書き換えると式（７）が得られる。
【数７】Ｉ＝−ｒxＬｒ1−ｒyＬ2＋Ｌ3 (7) また、被写体の表面の滑らかさ条件は、次のように表す
ことができる。
ことができる。
【数８】 但し、ｒx，ｒyは、奥行きｒのｘ方向微分、ｙ方向微分
である。
である。
【００１９】すると、奥行きｒの推定アルゴリズムは、
被写体に対応する画像の輝度の観測値と陰影画像から算
出される値との差を表す評価関数Ｅｄ′と、被写体の表
面の滑らかさを表す評価関数Ｅｐ′との和を最小にする
奥行きｒを求める問題に帰着される。この場合のトータ
ルの評価関数Ｅ′は、（８）式で表される。
被写体に対応する画像の輝度の観測値と陰影画像から算
出される値との差を表す評価関数Ｅｄ′と、被写体の表
面の滑らかさを表す評価関数Ｅｐ′との和を最小にする
奥行きｒを求める問題に帰着される。この場合のトータ
ルの評価関数Ｅ′は、（８）式で表される。
【００２０】
【数９】
【００２１】（８）式を最小にするｒは、この評価関数
のｒに関するオイラー方程式を求め、これを緩和法で計
算すればよい。このオイラー方程式は（９）式で表さ
れ、この（９）式から（１０）式が得られる。
のｒに関するオイラー方程式を求め、これを緩和法で計
算すればよい。このオイラー方程式は（９）式で表さ
れ、この（９）式から（１０）式が得られる。
【００２２】
【数１０】
【００２３】但し、Ａは対象とする被写体画像の領域で
あり、また、ｒxx＝ｄ2ｒ／ｄｘ2、ｒxy＝ｄ2ｒ／ｄｘ
ｄｙ，ｒyy＝ｄ2ｒ／ｄｙ2とする。この方程式は、前述
の緩和法により解くことができ、二次元画像上の各点
ｉ，ｊに対し、奥行きｒi,jは、（１１）式で与えられ
る。
あり、また、ｒxx＝ｄ2ｒ／ｄｘ2、ｒxy＝ｄ2ｒ／ｄｘ
ｄｙ，ｒyy＝ｄ2ｒ／ｄｙ2とする。この方程式は、前述
の緩和法により解くことができ、二次元画像上の各点
ｉ，ｊに対し、奥行きｒi,jは、（１１）式で与えられ
る。
【００２４】
【数１１】
【００２５】但し、（ｎ）は、緩和演算の繰り返し数を
表す。このような演算を繰り返すことにより、奥行きｒ
は、（８）式をより小さくする解に近づいていく。そこ
で、各ステップにおいて（８）式を評価して、（８）式
の値が所定の値Ｔより小さくなれば、繰り返し演算を終
了する。この時の奥行き推定値を最適解として採用す
る。このようにして、陰影画像から直接三次元の形状を
推定することができる。
表す。このような演算を繰り返すことにより、奥行きｒ
は、（８）式をより小さくする解に近づいていく。そこ
で、各ステップにおいて（８）式を評価して、（８）式
の値が所定の値Ｔより小さくなれば、繰り返し演算を終
了する。この時の奥行き推定値を最適解として採用す
る。このようにして、陰影画像から直接三次元の形状を
推定することができる。
【００２６】
【実施例】以下、図面を参照して本発明の好適な実施例
を詳細に説明する。図１は、本発明の一実施例に係る物
体形状推定装置の構成図である。図１に示されるよう
に、この物体形状推定装置は、画像入力端子１、初期デ
ータ入力端子２、ベクトル入力端子３、パラメタ入力端
子４、及びデータ出力端子１２を備えている。画像入力
端子１の後段には、標本化量子化回路５、画像データメ
モリ６、輝度勾配演算処理部７をこの順に縦続してお
り、初期データ入力端子２の後段には奥行きデータメモ
リ８を接続している。奥行きデータメモリ８に蓄積され
るデータは、形状推定処理部９に随時出力されるように
構成している。形状推定処理部８には、上記奥行きデー
タメモリ８からの出力データのほか、輝度勾配演算処理
部７の出力データ、ベクトル入力端子３及びパラメタ入
力端子４からのデータが入力される。形状推定処理部９
は、加減乗除演算回路のみで実現することができる。こ
の形状推定処理部９の出力データは、後段の評価処理部
１０に入力されるとともに、奥行きデータメモリ８にフ
ィードバックされ、さらに出力ゲート回路１１にも入力
される。形状推定処理部９の後段には、評価処理部１０
を配置してある。評価処理部１０は、加算器，乗算器，
及び累算器により構成することができる。この評価処理
部１０には、上記形状推定処理部９の出力データのほ
か、ベクトル入力端子３及びパラメタ入力端子４からの
データや各種パラメタが入力され、その出力データは、
出力ゲート回路１１を介して奥行きデータ出力端子１２
に導かれるようになっている。
を詳細に説明する。図１は、本発明の一実施例に係る物
体形状推定装置の構成図である。図１に示されるよう
に、この物体形状推定装置は、画像入力端子１、初期デ
ータ入力端子２、ベクトル入力端子３、パラメタ入力端
子４、及びデータ出力端子１２を備えている。画像入力
端子１の後段には、標本化量子化回路５、画像データメ
モリ６、輝度勾配演算処理部７をこの順に縦続してお
り、初期データ入力端子２の後段には奥行きデータメモ
リ８を接続している。奥行きデータメモリ８に蓄積され
るデータは、形状推定処理部９に随時出力されるように
構成している。形状推定処理部８には、上記奥行きデー
タメモリ８からの出力データのほか、輝度勾配演算処理
部７の出力データ、ベクトル入力端子３及びパラメタ入
力端子４からのデータが入力される。形状推定処理部９
は、加減乗除演算回路のみで実現することができる。こ
の形状推定処理部９の出力データは、後段の評価処理部
１０に入力されるとともに、奥行きデータメモリ８にフ
ィードバックされ、さらに出力ゲート回路１１にも入力
される。形状推定処理部９の後段には、評価処理部１０
を配置してある。評価処理部１０は、加算器，乗算器，
及び累算器により構成することができる。この評価処理
部１０には、上記形状推定処理部９の出力データのほ
か、ベクトル入力端子３及びパラメタ入力端子４からの
データや各種パラメタが入力され、その出力データは、
出力ゲート回路１１を介して奥行きデータ出力端子１２
に導かれるようになっている。
【００２７】次に、上記構成の物体形状推定装置の動作
を図２を参照して詳細に説明する。本実施例では、あら
かじめ画面上の奥行き推定初期値ｒ0と、光源方向ベク
トルＬ1、Ｌ2とを設定しておく。光源方向ベクトル
Ｌ1、Ｌ2は、入射光強度及び対象物体の表面反射率を考
慮に入れて予め計測されたものを用いる。また、対象物
体の表面形状の滑らかさ、対象画像に含まれる雑音など
を考慮したパラメタ係数λを設定しておく。
を図２を参照して詳細に説明する。本実施例では、あら
かじめ画面上の奥行き推定初期値ｒ0と、光源方向ベク
トルＬ1、Ｌ2とを設定しておく。光源方向ベクトル
Ｌ1、Ｌ2は、入射光強度及び対象物体の表面反射率を考
慮に入れて予め計測されたものを用いる。また、対象物
体の表面形状の滑らかさ、対象画像に含まれる雑音など
を考慮したパラメタ係数λを設定しておく。
【００２８】推定処理時には、図２に示すように、画像
入力端子１より対象物体のアナログ画像を入力する（Ｓ
１０１）。このアナログ画像は、標本化量子化回路５で
デジタルデータ（画像データ）に変換され、画像データ
メモリ６に蓄積される。また、奥行き推定初期値ｒ0を
初期データ入力端子２を介して奥行きデータメモリ８に
蓄積し、光源方向ベクトルＬ1，Ｌ2をベクトル入力端子
３を介して形状推定処理部９及び評価処理部１０に入力
する。さらに、上記パラメタ係数λを、パラメタ入力端
子４を介して形状推定処理部９及び評価処理部１０に入
力する（Ｓ１０２）。
入力端子１より対象物体のアナログ画像を入力する（Ｓ
１０１）。このアナログ画像は、標本化量子化回路５で
デジタルデータ（画像データ）に変換され、画像データ
メモリ６に蓄積される。また、奥行き推定初期値ｒ0を
初期データ入力端子２を介して奥行きデータメモリ８に
蓄積し、光源方向ベクトルＬ1，Ｌ2をベクトル入力端子
３を介して形状推定処理部９及び評価処理部１０に入力
する。さらに、上記パラメタ係数λを、パラメタ入力端
子４を介して形状推定処理部９及び評価処理部１０に入
力する（Ｓ１０２）。
【００２９】輝度勾配演算処理部７は、画像データメモ
リ３から画像データを読み出し、画像表面の各点（ｉ，
ｊ）について、空間輝度勾配Ｉx，Ｉy を計算する（Ｓ
１０２）。形状推定処理部９では、まず、繰り返し数ｎ
を”１”にセットし（Ｓ１０４）、空間輝度勾配Ｉx，
Ｉyを用いて奥行き推定値ｒijを演算する（Ｓ１０
５）。この演算は、具体的には（１１）式の緩和演算で
ある。
リ３から画像データを読み出し、画像表面の各点（ｉ，
ｊ）について、空間輝度勾配Ｉx，Ｉy を計算する（Ｓ
１０２）。形状推定処理部９では、まず、繰り返し数ｎ
を”１”にセットし（Ｓ１０４）、空間輝度勾配Ｉx，
Ｉyを用いて奥行き推定値ｒijを演算する（Ｓ１０
５）。この演算は、具体的には（１１）式の緩和演算で
ある。
【００３０】評価処理部１０では、形状推定処理部９の
演算結果をもとに（８）式の評価関数Ｅを算出するとと
もに（Ｓ１０６）、この評価関数Ｅと予め設定した閾値
Ｔと比較し（Ｓ１０７）、評価関数Ｅが閾値Ｔを越える
場合（Ｓ１０７：No）は繰り返し数ｎを”ｎ＋１”にセ
ットし（Ｓ１０８）、Ｓ１０５以降の処理を繰り返す。
そして評価関数Ｅが閾値Ｔ以下になった時点（Ｓ１０
７：Yes）で演算を終了し、そのときの奥行き推定値を
出力ゲート回路１１を介して奥行きデータ出力端子１２
より出力する（Ｓ１０８）。
演算結果をもとに（８）式の評価関数Ｅを算出するとと
もに（Ｓ１０６）、この評価関数Ｅと予め設定した閾値
Ｔと比較し（Ｓ１０７）、評価関数Ｅが閾値Ｔを越える
場合（Ｓ１０７：No）は繰り返し数ｎを”ｎ＋１”にセ
ットし（Ｓ１０８）、Ｓ１０５以降の処理を繰り返す。
そして評価関数Ｅが閾値Ｔ以下になった時点（Ｓ１０
７：Yes）で演算を終了し、そのときの奥行き推定値を
出力ゲート回路１１を介して奥行きデータ出力端子１２
より出力する（Ｓ１０８）。
【００３１】このように、本実施例では、陰影画像から
奥行きｒを直接推定するようにしたので、従来手法のよ
うに段階的な処理を経る必要がなくなり、累積誤差が排
除されて精度の良い三次元形状の推定が可能となる。
奥行きｒを直接推定するようにしたので、従来手法のよ
うに段階的な処理を経る必要がなくなり、累積誤差が排
除されて精度の良い三次元形状の推定が可能となる。
【００３２】
【発明の効果】以上の説明から明らかなように、本発明
によれば、対象物体に対応する陰影画像から該物体まで
の奥行きを推定する際の推定誤差の増大が抑制される効
果がある。また、推定のための処理手順が従来よりも簡
略化されるので、奥行き推定値が得られるまでの処理時
間が従来よりも格段に短縮される効果もある。
によれば、対象物体に対応する陰影画像から該物体まで
の奥行きを推定する際の推定誤差の増大が抑制される効
果がある。また、推定のための処理手順が従来よりも簡
略化されるので、奥行き推定値が得られるまでの処理時
間が従来よりも格段に短縮される効果もある。
【図１】本発明の一実施例に係る物体形状推定装置のブ
ロック構成図。
ロック構成図。
【図２】本実施例の物体形状推定装置における全体的な
処理の手順説明図。
処理の手順説明図。
【図３】（ａ）は従来の第１段階の処理の手順説明図、
（ｂ）は第２段階の処理の手順説明図。
（ｂ）は第２段階の処理の手順説明図。
【図４】従来例および本実施例の処理手順を説明するた
めに設定したシーンの説明図。
めに設定したシーンの説明図。
１ 画像入力端子 ２ 初期データ入力端子 ３ ベクトル入力端子 ４ パラメタ入力端子 ５ 標本化量子化回路 ６ 画像データメモリ ７ 輝度勾配演算処理部 ８ 奥行きデータメモリ ９ 形状推定処理部 １０ 評価処理部 １１ 出力ゲート回路
Claims (3)
- 【請求項１】 対象物体に対応する陰影画像から該物体
までの奥行きを推定する際に、前記陰影画像の各点につ
いて空間輝度勾配を導出し、導出した空間輝度勾配およ
び所定の初期データに基づいて前記陰影画像から前記対
象物体までの奥行きの推定演算を行うとともに、前記陰
影画像の輝度の観測値と奥行き推定値との差を表す第１
の評価関数および前記対象物体の表面の滑らかさを表す
第２の評価関数の和が所定基準に達するまで前記推定演
算を繰り返すことを特徴とする物体形状の推定方法。 - 【請求項２】 対象物体に対応する陰影画像から該物体
までの奥行きを推定する手段を備えた物体形状推定装置
において、 前記推定対象となる奥行きの初期値，および前記対象物
体の表面形状の滑らかさや前記陰影画像に含まれる雑音
などを考慮したパラメタ係数を含む初期データを設定す
る初期データ設定手段と、 前記陰影画像の各点について空間輝度勾配を導出する輝
度勾配導出手段と、 前記導出した空間輝度勾配および前記初期データに基づ
いて前記奥行きの推定演算を行う緩和演算手段と、 前記推定演算により得た奥行き推定値が所定基準に達し
ているか否かを評価する評価処理手段と、 を有することを特徴とする物体形状推定装置。 - 【請求項３】 評価処理手段は、前記陰影画像の輝度の
観測値と前記奥行き推定値との差を表す第１の評価関数
および前記対象物体の表面の滑らかさを表す第２の評価
関数の和を演算する演算手段と、前記和の上限値を定め
た閾値を保持する閾値保持手段と、前記演算された和と
前記閾値とを比較する比較手段とを備え、前記演算され
た和が閾値以下のときの奥行き推定値を最適値として出
力することを特徴とする請求項２記載の物体形状推定装
置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7085819A JPH08287253A (ja) | 1995-04-11 | 1995-04-11 | 物体形状の推定方法および物体形状推定装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7085819A JPH08287253A (ja) | 1995-04-11 | 1995-04-11 | 物体形状の推定方法および物体形状推定装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH08287253A true JPH08287253A (ja) | 1996-11-01 |
Family
ID=13869474
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7085819A Pending JPH08287253A (ja) | 1995-04-11 | 1995-04-11 | 物体形状の推定方法および物体形状推定装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH08287253A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006080982A (ja) * | 2004-09-10 | 2006-03-23 | Kazunari Era | 立体視画像生成装置およびプログラム |
| JP2006208187A (ja) * | 2005-01-27 | 2006-08-10 | Nagoya Electric Works Co Ltd | 形状良否判定装置および形状良否判定方法 |
| JP2007522589A (ja) * | 2004-02-17 | 2007-08-09 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 奥行きマップの生成 |
| JP2015524915A (ja) * | 2012-05-10 | 2015-08-27 | サムスン エレクトロニクス カンパニー リミテッド | ３ｄ情報処理装置及び方法 |
| CN113916906A (zh) * | 2021-09-03 | 2022-01-11 | 江苏理工学院 | 视觉检测系统led光源照度优化方法及所用实验设备 |
-
1995
- 1995-04-11 JP JP7085819A patent/JPH08287253A/ja active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007522589A (ja) * | 2004-02-17 | 2007-08-09 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 奥行きマップの生成 |
| JP4898459B2 (ja) * | 2004-02-17 | 2012-03-14 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 奥行きマップの生成 |
| JP2006080982A (ja) * | 2004-09-10 | 2006-03-23 | Kazunari Era | 立体視画像生成装置およびプログラム |
| JP4523368B2 (ja) * | 2004-09-10 | 2010-08-11 | 株式会社マーキュリーシステム | 立体視画像生成装置およびプログラム |
| US7945088B2 (en) | 2004-09-10 | 2011-05-17 | Kazunari Era | Stereoscopic image generation apparatus |
| JP2006208187A (ja) * | 2005-01-27 | 2006-08-10 | Nagoya Electric Works Co Ltd | 形状良否判定装置および形状良否判定方法 |
| JP2015524915A (ja) * | 2012-05-10 | 2015-08-27 | サムスン エレクトロニクス カンパニー リミテッド | ３ｄ情報処理装置及び方法 |
| CN113916906A (zh) * | 2021-09-03 | 2022-01-11 | 江苏理工学院 | 视觉检测系统led光源照度优化方法及所用实验设备 |
| CN113916906B (zh) * | 2021-09-03 | 2024-01-09 | 江苏理工学院 | 视觉检测系统led光源照度优化方法及所用实验设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6229578B1 (en) | Edge-detection based noise removal algorithm | |
| US9311901B2 (en) | Variable blend width compositing | |
| US8712095B2 (en) | Digital processing method and system for determination of optical flow | |
| RU2658874C1 (ru) | Устройство удаления тумана и способ формирования изображений | |
| KR100681320B1 (ko) | 헬름홀츠 교환조건으로부터 유도되는 편미분 방정식의레벨셋 풀이 방법을 이용한 물체의 3차원 형상 모델링 방법 | |
| TWI405147B (zh) | 單張影像的階層式去動態模糊方法 | |
| EP1400924B1 (en) | Pseudo three dimensional image generating apparatus | |
| Mohan et al. | Editing soft shadows in a digital photograph | |
| Monobe et al. | Dynamic range compression preserving local image contrast for digital video camera | |
| US7221778B2 (en) | Image processing apparatus and method, and image pickup apparatus | |
| JP2000036052A5 (ja) | 複数人物が存在する場合の人間の顔のロバスト追跡システム | |
| EP2089852A1 (en) | Methods and systems for color correction of 3d images | |
| JP4721285B2 (ja) | ピクセルごとに差分的に準規則的にデジタルイメージを修正するための方法およびシステム | |
| CN110415193A (zh) | 煤矿低照度模糊图像的复原方法 | |
| JPH08287253A (ja) | 物体形状の推定方法および物体形状推定装置 | |
| Lei et al. | An investigation of retinex algorithms for image enhancement | |
| JP2010506482A (ja) | ビデオストリームの視差回復方法及びフィルタ | |
| JP3543103B2 (ja) | カラー画像処理方法および処理装置 | |
| KR20140000833A (ko) | 스테레오 매칭 장치 및 그 방법 | |
| CN109961422B (zh) | 数字图像的对比度值的确定 | |
| JP2005038119A (ja) | 画像処理装置および方法 | |
| JPH11234701A (ja) | ステレオ画像処理装置 | |
| JPH02273876A (ja) | 画像処理方式 | |
| Georgiev | Vision, healing brush, and fiber bundles | |
| Gevrekci et al. | Image acquisition modeling for super-resolution reconstruction |