JP3047017B2 - 画像処理方法 - Google Patents
画像処理方法Info
- Publication number
- JP3047017B2 JP3047017B2 JP3191478A JP19147891A JP3047017B2 JP 3047017 B2 JP3047017 B2 JP 3047017B2 JP 3191478 A JP3191478 A JP 3191478A JP 19147891 A JP19147891 A JP 19147891A JP 3047017 B2 JP3047017 B2 JP 3047017B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- point
- processing
- distance
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
- Image Analysis (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、対象物の３次元形状情
報を演算して立体表示を行う画像処理方法に関するもの
である。
報を演算して立体表示を行う画像処理方法に関するもの
である。
【０００２】
【従来の技術】３次元立体の対象物に対してより現実に
近い質感を与えるような画像表示を行う場合、例えば特
開平２−２９８７８号公報に示されているような画像処
理が行われる。これは、例えば撮像面が実質的に同一面
で光軸が互いに平行な２台のカメラにより同一の対象物
を撮像し、各テクスチャ領域を構成する画素についてそ
れぞれ対応付けを行い、その結果から視差を求めること
により対象物までの距離を求め、これを立体的な画像に
再現するようにしたものである。
近い質感を与えるような画像表示を行う場合、例えば特
開平２−２９８７８号公報に示されているような画像処
理が行われる。これは、例えば撮像面が実質的に同一面
で光軸が互いに平行な２台のカメラにより同一の対象物
を撮像し、各テクスチャ領域を構成する画素についてそ
れぞれ対応付けを行い、その結果から視差を求めること
により対象物までの距離を求め、これを立体的な画像に
再現するようにしたものである。
【０００３】また、従来では光源を利用して対象物の形
状を決定する際、対象となる面の反射率の性質と光源の
特性とから面の法線方向を求めている。これは、結果と
して面の法線方向のデータしか求まらないので、あらか
じめ面の凹凸などの情報を与えておく必要がある。この
方法は、陰影からの形状決定(shape from shading)と呼
ばれている。
状を決定する際、対象となる面の反射率の性質と光源の
特性とから面の法線方向を求めている。これは、結果と
して面の法線方向のデータしか求まらないので、あらか
じめ面の凹凸などの情報を与えておく必要がある。この
方法は、陰影からの形状決定(shape from shading)と呼
ばれている。
【０００４】
【発明が解決しようとする課題】ところで、上記のよう
な従来の画像処理方法にあっては、形状決定に利用する
光源を限定する必要があり、また対象となる面の反射率
を求めなければならず、処理が複雑になると共に、結果
として面の法線方向のデータしか求まらないので実距離
を計測することができないという問題点があった。
な従来の画像処理方法にあっては、形状決定に利用する
光源を限定する必要があり、また対象となる面の反射率
を求めなければならず、処理が複雑になると共に、結果
として面の法線方向のデータしか求まらないので実距離
を計測することができないという問題点があった。
【０００５】本発明は、上記のような問題点に着目して
なされたもので、光源が限定されることなく、簡単な処
理でハードウエア化にも適し、また精度の高い処理が可
能な画像処理方法を提供することを目的としている。
なされたもので、光源が限定されることなく、簡単な処
理でハードウエア化にも適し、また精度の高い処理が可
能な画像処理方法を提供することを目的としている。
【０００６】
【課題を解決するための手段】本発明の画像処理方法
は、シェーディングにより対象物の左右のステレオ画像
からそれぞれ等輝度線を抽出し、その等輝度線のステレ
オ対応データを求めて対象物の各点の視差を抽出し、そ
れらの視差データから対象物の各点の距離を計測して該
対象物の３次元形状情報を演算するようにしたものであ
る。
は、シェーディングにより対象物の左右のステレオ画像
からそれぞれ等輝度線を抽出し、その等輝度線のステレ
オ対応データを求めて対象物の各点の視差を抽出し、そ
れらの視差データから対象物の各点の距離を計測して該
対象物の３次元形状情報を演算するようにしたものであ
る。
【０００７】また、前記対象物の距離の計測を複数方向
からの光源を利用して行うようにし、さらに前記対象物
の３次元形状情報を演算する際に遮蔽輪郭、遮蔽領域の
検出を行うようにしたものである。
からの光源を利用して行うようにし、さらに前記対象物
の３次元形状情報を演算する際に遮蔽輪郭、遮蔽領域の
検出を行うようにしたものである。
【０００８】
【作用】本発明の画像処理方法においては、対象物の左
右のステレオ画像からシェーディングによる等輝度線が
抽出され、その等輝度線のステレオ対応データが求めら
れる。そして、その対応データから対象物の各点の視差
が抽出され、それらの視差データから対象物の各点の距
離が計測される。これにより、対象物の３次元形状情報
が求められる。
右のステレオ画像からシェーディングによる等輝度線が
抽出され、その等輝度線のステレオ対応データが求めら
れる。そして、その対応データから対象物の各点の視差
が抽出され、それらの視差データから対象物の各点の距
離が計測される。これにより、対象物の３次元形状情報
が求められる。
【０００９】その際、上記対象物の距離の計測は、例え
ば、複数方向からの光源を利用して行われる。また、対
象物の３次元形状情報の演算の際に遮蔽輪郭、遮蔽領域
が検出され、偽の面が生成されるのが防止される。
ば、複数方向からの光源を利用して行われる。また、対
象物の３次元形状情報の演算の際に遮蔽輪郭、遮蔽領域
が検出され、偽の面が生成されるのが防止される。
【００１０】
【実施例】図１は本発明に係る画像処理を実施するため
の装置構成を示すブロック図であり、また図２はそのカ
メラ構成を模式的に示したものである。この装置は、マ
イクロコンピュータ１により制御される二つのＩＴＶカ
メラユニット２，３を有しており、さらにに画像データ
を記憶する画像メモリ４、ディスプレイユニット５、プ
リンタ６、フロッピーディスク７及びキーボードターミ
ナル８が備えられている。また、データバス９を介して
ホストコンピュータも接続されており、ここから与えら
れた指示あるいはキーボードターミナル８から与えられ
た支持により上述の各部が制御され、対応する処理が行
われるようになっている。
の装置構成を示すブロック図であり、また図２はそのカ
メラ構成を模式的に示したものである。この装置は、マ
イクロコンピュータ１により制御される二つのＩＴＶカ
メラユニット２，３を有しており、さらにに画像データ
を記憶する画像メモリ４、ディスプレイユニット５、プ
リンタ６、フロッピーディスク７及びキーボードターミ
ナル８が備えられている。また、データバス９を介して
ホストコンピュータも接続されており、ここから与えら
れた指示あるいはキーボードターミナル８から与えられ
た支持により上述の各部が制御され、対応する処理が行
われるようになっている。
【００１１】上記二つのＩＴＶカメラユニット２，３
は、それぞれアナログ撮像データを出力するＩＴＶカメ
ラ２１，３１と、そのアナログデータをデジタルデータ
に変換するＡ／Ｄコンバータ２２，３２とから構成され
ている。また２台のＩＴＶカメラ２１と３１は、図２に
示すように左右に水平に配置され、各々の光軸２１ａと
３１ａは平行であり、かつ座標系も平行である。そし
て、各ＩＴＶカメラ２１，３１の投影中心点ＯL ，ＯR
に対して３次元上の点Ｐの投影像の点ＰL ，ＰR の各々
のＸ座標地とＹ座標には次式の関係がある。
は、それぞれアナログ撮像データを出力するＩＴＶカメ
ラ２１，３１と、そのアナログデータをデジタルデータ
に変換するＡ／Ｄコンバータ２２，３２とから構成され
ている。また２台のＩＴＶカメラ２１と３１は、図２に
示すように左右に水平に配置され、各々の光軸２１ａと
３１ａは平行であり、かつ座標系も平行である。そし
て、各ＩＴＶカメラ２１，３１の投影中心点ＯL ，ＯR
に対して３次元上の点Ｐの投影像の点ＰL ，ＰR の各々
のＸ座標地とＹ座標には次式の関係がある。
【００１２】ＸL ＞ＸR ＹL ＝ＹR すなわち、一方の画像上のある点に対するもう一方の画
像上の対応点は、同じ走査（ラスタスキャン）線の半直
線上に存在することになり、いわゆるエピポーラ条件が
成立している。
像上の対応点は、同じ走査（ラスタスキャン）線の半直
線上に存在することになり、いわゆるエピポーラ条件が
成立している。
【００１３】また、画像メモリ４は読み書き自在であ
り、左（Ｌ）側のＩＴＶカメラ２１で撮像した左画像お
よび右（Ｒ）側のＩＴＶカメラ３１で撮像した右画像の
原画像データや、種々の処理データを記憶するようにな
っている。ディスプレイユニット５及びプリンタ６は、
コンピュータ１の処理結果等を出力し、その処理結果等
をフロッピーディスク７に登録するように構成されてい
る。
り、左（Ｌ）側のＩＴＶカメラ２１で撮像した左画像お
よび右（Ｒ）側のＩＴＶカメラ３１で撮像した右画像の
原画像データや、種々の処理データを記憶するようにな
っている。ディスプレイユニット５及びプリンタ６は、
コンピュータ１の処理結果等を出力し、その処理結果等
をフロッピーディスク７に登録するように構成されてい
る。
【００１４】次に上記構成の装置による本発明の画像処
理、すなわち距離計測による立体処理の動作について説
明する。この立体処理は、コンピュータ１により行われ
るものであり、先ずシェーディングにより対象物の左右
のステレオ画像から等輝度線を抽出し、次にその等輝度
線のステレオ対応データを求めて対象物の各点の視差を
抽出し、それらの視差データから対象物の各点の距離を
計測して該対象物の３次元形状情報を演算するようにし
たものである。以下、図３のフローチャートを参照しな
がら上記処理の詳細を手順を追って説明する。
理、すなわち距離計測による立体処理の動作について説
明する。この立体処理は、コンピュータ１により行われ
るものであり、先ずシェーディングにより対象物の左右
のステレオ画像から等輝度線を抽出し、次にその等輝度
線のステレオ対応データを求めて対象物の各点の視差を
抽出し、それらの視差データから対象物の各点の距離を
計測して該対象物の３次元形状情報を演算するようにし
たものである。以下、図３のフローチャートを参照しな
がら上記処理の詳細を手順を追って説明する。
【００１５】（１）ステップＳ１で立体処理が開始され
ると、コンピュータ１は先ず画像メモリ４及びこの処理
で用いるレジスタ（図示せず）をステップＳ２にて初期
化する。そして、ステップＳ３でＩＴＶカメラユニット
２，３により量子化された左右の原画像データを画像メ
モリ４に書き込み、左右の画像入力を行う。
ると、コンピュータ１は先ず画像メモリ４及びこの処理
で用いるレジスタ（図示せず）をステップＳ２にて初期
化する。そして、ステップＳ３でＩＴＶカメラユニット
２，３により量子化された左右の原画像データを画像メ
モリ４に書き込み、左右の画像入力を行う。
【００１６】（２）上記２台のＩＴＶカメラ２１，３１
（２台のカメラの光学的特性が若干異なる）により左右
それぞれ入力された画像に対し、ステップＳ４でグレー
スケールのテストパターンを用いて同じ明るさに対して
等しい輝度値となるように画像の各点の輝度値を調整
し、入力画像の調整を行う。これにより、図４に示すよ
うなシェーディングによる対象物の左右のステレオ画像
が得られる。
（２台のカメラの光学的特性が若干異なる）により左右
それぞれ入力された画像に対し、ステップＳ４でグレー
スケールのテストパターンを用いて同じ明るさに対して
等しい輝度値となるように画像の各点の輝度値を調整
し、入力画像の調整を行う。これにより、図４に示すよ
うなシェーディングによる対象物の左右のステレオ画像
が得られる。
【００１７】（３）次に、ステップＳ５で輝度しきい値
を一定間隔毎に変化させながら設定し、ステップＳ６で
２値化する。これにより得られる画像は、図５に示すよ
うな輝度切断面を表す画像となる。
を一定間隔毎に変化させながら設定し、ステップＳ６で
２値化する。これにより得られる画像は、図５に示すよ
うな輝度切断面を表す画像となる。
【００１８】（４）上記輝度切断面の各領域は、境界線
付近にノイズを含んでいるため、ステップＳ７で平滑化
処理を行い、ノイズを除去する。この平滑化処理では、
収縮膨張処理が複数回行われ、結果として図６に示すよ
うな画像が得られる。
付近にノイズを含んでいるため、ステップＳ７で平滑化
処理を行い、ノイズを除去する。この平滑化処理では、
収縮膨張処理が複数回行われ、結果として図６に示すよ
うな画像が得られる。
【００１９】（５）各領域の境界を追跡しながら、該領
域のラベル付けを行う。その際、注目画素の近傍画素を
探索し、それらの画素データから境界線の傾きと座標を
調べる。このようにして、ステップＳ８で等輝度線（領
域の境界線）を抽出し、図７に示すような等輝度線の画
像を得る。ここで、他の輝度しきい値による切断面との
間には、図８に示すような包含関係がある。図８は輝度
値ｔ１，ｔ２，ｔ３のしきい値による包含関係を領域の
ラベル番号を用いた木構造のリストで示したものであ
る。
域のラベル付けを行う。その際、注目画素の近傍画素を
探索し、それらの画素データから境界線の傾きと座標を
調べる。このようにして、ステップＳ８で等輝度線（領
域の境界線）を抽出し、図７に示すような等輝度線の画
像を得る。ここで、他の輝度しきい値による切断面との
間には、図８に示すような包含関係がある。図８は輝度
値ｔ１，ｔ２，ｔ３のしきい値による包含関係を領域の
ラベル番号を用いた木構造のリストで示したものであ
る。
【００２０】（６）次に、ステップＳ９で等輝度線の対
応付けを行う。これは、等輝度線のステレオ対応データ
を求めるもので、ここでは先ず、領域間でその領域内に
上述のエピポーラ条件を満足する点が存在するか否かを
判定する。この判定には、簡略化のために領域の外接長
方形の頂点座標が使用される。またこの対応は、上記
（５）の処理で得られた包含関係の情報からも取ること
ができる。そして、このようにして、領域間の対応を取
ると、次にその境界線（等輝度線）の対応点を図９に示
すようにエピポーラ条件や（５）の処理で得られた等輝
度線の傾きから求める。
応付けを行う。これは、等輝度線のステレオ対応データ
を求めるもので、ここでは先ず、領域間でその領域内に
上述のエピポーラ条件を満足する点が存在するか否かを
判定する。この判定には、簡略化のために領域の外接長
方形の頂点座標が使用される。またこの対応は、上記
（５）の処理で得られた包含関係の情報からも取ること
ができる。そして、このようにして、領域間の対応を取
ると、次にその境界線（等輝度線）の対応点を図９に示
すようにエピポーラ条件や（５）の処理で得られた等輝
度線の傾きから求める。
【００２１】（７）ステップＳ１０にて、上記の対応の
取れた各点の視差（主走査方向のずれ）をそれぞれの座
標値から演算し、視差の抽出を行う。これは、等輝度線
のステレオ対応データから対象物の各点の視差を抽出す
るものである。
取れた各点の視差（主走査方向のずれ）をそれぞれの座
標値から演算し、視差の抽出を行う。これは、等輝度線
のステレオ対応データから対象物の各点の視差を抽出す
るものである。
【００２２】（８）輝度しきい値を変化させながら全濃
度範囲にわたって上記（３）〜（７）の処理を繰り返
す。すなわち、ステップＳ１１で全ての視差の抽出が完
了するまでステップＳ５〜ステップＳ１０の動作を繰り
返す。 （９）そしてステップＳ１２で、上記等輝度線上に求ま
った視差から線の間の部分を補間する。
度範囲にわたって上記（３）〜（７）の処理を繰り返
す。すなわち、ステップＳ１１で全ての視差の抽出が完
了するまでステップＳ５〜ステップＳ１０の動作を繰り
返す。 （９）そしてステップＳ１２で、上記等輝度線上に求ま
った視差から線の間の部分を補間する。
【００２３】（１０）次にステップＳ１３で、上述の抽
出された視差データから対象物の各点の距離の計測、つ
まり各画素の距離の演算を行う。その際、図２に示すよ
うに同一の対象物上の点Ｐを左右のＩＴＶカメラ２１，
３１で撮像し、その画像について上述の処理を行った結
果、左画像の画素ＰL と右画像の画素ＰR とが対応して
いるとすると、点Ｐは、左側のＩＴＶカメラ２１の焦点
ＯL とその投影面の画素の点ＰL とを結ぶ直線と、右側
のＩＴＶカメラ３１の焦点ＯR とその投影面の画素の点
ＰR とを結ぶ直線との交点に存在することになる。した
がって、ＩＴＶカメラ２１と３１の光軸間距離を２ａ、
各ＩＴＶカメラ２１，３１の焦点距離をｆ，また点ＰL
とＰR の視差をＤとすると、対象物上の点Ｐまでの距離
Ｚは次式より求まる。 Ｚ＝２ａｆ／Ｄ （１１）上記の距離データから対象物の３次元形状情報
が演算されると、ステップＳ１４にてその対象物の立体
表示を行う。この時、図１０に示すような表示画像が得
られる。
出された視差データから対象物の各点の距離の計測、つ
まり各画素の距離の演算を行う。その際、図２に示すよ
うに同一の対象物上の点Ｐを左右のＩＴＶカメラ２１，
３１で撮像し、その画像について上述の処理を行った結
果、左画像の画素ＰL と右画像の画素ＰR とが対応して
いるとすると、点Ｐは、左側のＩＴＶカメラ２１の焦点
ＯL とその投影面の画素の点ＰL とを結ぶ直線と、右側
のＩＴＶカメラ３１の焦点ＯR とその投影面の画素の点
ＰR とを結ぶ直線との交点に存在することになる。した
がって、ＩＴＶカメラ２１と３１の光軸間距離を２ａ、
各ＩＴＶカメラ２１，３１の焦点距離をｆ，また点ＰL
とＰR の視差をＤとすると、対象物上の点Ｐまでの距離
Ｚは次式より求まる。 Ｚ＝２ａｆ／Ｄ （１１）上記の距離データから対象物の３次元形状情報
が演算されると、ステップＳ１４にてその対象物の立体
表示を行う。この時、図１０に示すような表示画像が得
られる。
【００２４】以上、対象物の撮像から立体表示までの処
理について説明したが、ここで実際の対象物には多少の
正反対成分が含まれていると考えられる。そこで、この
点を改善するために、図１１に示すように対象物の距離
の計測を複数方向からの光源を利用して行うことが有効
となる。以下、図１２のフローチャートによりその処理
動作を手順を追って説明する。
理について説明したが、ここで実際の対象物には多少の
正反対成分が含まれていると考えられる。そこで、この
点を改善するために、図１１に示すように対象物の距離
の計測を複数方向からの光源を利用して行うことが有効
となる。以下、図１２のフローチャートによりその処理
動作を手順を追って説明する。
【００２５】（１２）先ず、ステップＳ１５ａで図１１
の（ａ）に示すように左側の第１光源１１から対象物を
照明し、図１３に示すような第１方向のステレオ画像を
得る。そして、ステップＳ１６ａで前述と同様の処理を
行い、対象物までの距離データを演算する。
の（ａ）に示すように左側の第１光源１１から対象物を
照明し、図１３に示すような第１方向のステレオ画像を
得る。そして、ステップＳ１６ａで前述と同様の処理を
行い、対象物までの距離データを演算する。
【００２６】（１３）次に、ステップＳ１５ｂで図１１
の（ｂ）に示すように右側の第２光源１２から対象物を
照明し、図１４に示すような第２方向のステレオ画像を
得る。そして、ステップＳ１６ｂで同様に対象物までの
距離データを演算する。
の（ｂ）に示すように右側の第２光源１２から対象物を
照明し、図１４に示すような第２方向のステレオ画像を
得る。そして、ステップＳ１６ｂで同様に対象物までの
距離データを演算する。
【００２７】（１４）上記のようにして得られた各点Ｐ
（ｉｊ）の距離データをステップＳ１７で次式の条件に
より統合する。即ち、もし｜Ｉ１（ｉ，ｊ）−Ｔmax/２
｜＜｜Ｉ２（ｉ，ｊ）−Ｔmax/２｜であれば、Ｄ（ｉ，
ｊ）＝Ｄ１（ｉ，ｊ） あるいは、Ｄ（ｉ，ｊ）＝Ｄ２（ｉ，ｊ） とする。ここで、 Ｄ１：対応点の距離（第１光源） Ｉ１：対応点の輝度値（第１光源） Ｄ２：対応点の距離（第２光源） Ｉ２：対応点の輝度値（第２光源） Ｔmax:最大輝度値 である。
（ｉｊ）の距離データをステップＳ１７で次式の条件に
より統合する。即ち、もし｜Ｉ１（ｉ，ｊ）−Ｔmax/２
｜＜｜Ｉ２（ｉ，ｊ）−Ｔmax/２｜であれば、Ｄ（ｉ，
ｊ）＝Ｄ１（ｉ，ｊ） あるいは、Ｄ（ｉ，ｊ）＝Ｄ２（ｉ，ｊ） とする。ここで、 Ｄ１：対応点の距離（第１光源） Ｉ１：対応点の輝度値（第１光源） Ｄ２：対応点の距離（第２光源） Ｉ２：対応点の輝度値（第２光源） Ｔmax:最大輝度値 である。
【００２８】これは、画像の非常に明るい部分は正反射
成分の影響が多くあると考えられ、また画像の非常に暗
い部分は等輝度線が得られないことを考慮したものであ
り、距離データの統合は画像の各点の明るさを比較し
て、輝度のダイナミックレンジの中間値に近い方から得
られた距離を最終値としている。そして、ステップＳ１
８でその距離データに基づいて対象物の立体表示を行
う。この時、図１５に示すような表示画像が得られる。
成分の影響が多くあると考えられ、また画像の非常に暗
い部分は等輝度線が得られないことを考慮したものであ
り、距離データの統合は画像の各点の明るさを比較し
て、輝度のダイナミックレンジの中間値に近い方から得
られた距離を最終値としている。そして、ステップＳ１
８でその距離データに基づいて対象物の立体表示を行
う。この時、図１５に示すような表示画像が得られる。
【００２９】このように、シェーディングから得られる
等輝度線のステレオ対応を求め、その結果から視差を抽
出して対象物の３次元形状情報を非接触により演算する
ようにしている。そして、複数方向からの光源を利用す
ることにより、さらに高精度となり、実距離も容易に計
測することができる。また、各切断面毎に処理を独立に
行うこともでき、並列処理にも適し、個々の処理は簡単
でハードウエア化にも適している。
等輝度線のステレオ対応を求め、その結果から視差を抽
出して対象物の３次元形状情報を非接触により演算する
ようにしている。そして、複数方向からの光源を利用す
ることにより、さらに高精度となり、実距離も容易に計
測することができる。また、各切断面毎に処理を独立に
行うこともでき、並列処理にも適し、個々の処理は簡単
でハードウエア化にも適している。
【００３０】ここで、上述の３次元形状情報を演算する
際、遮蔽輪郭あるいは遮蔽領域を検出するようにしても
良い。すなわち、ステレオ画像ではオクルージョン（遮
蔽）のために一方のカメラでは見えても他方のカメラで
は見えない部分で出てくる。そして、このような部分を
オクルージョンとして検出できないと、為の面を生成す
る原因となってしまう。そこで、上述の等輝度線を利用
してオクルージョンを検出する。
際、遮蔽輪郭あるいは遮蔽領域を検出するようにしても
良い。すなわち、ステレオ画像ではオクルージョン（遮
蔽）のために一方のカメラでは見えても他方のカメラで
は見えない部分で出てくる。そして、このような部分を
オクルージョンとして検出できないと、為の面を生成す
る原因となってしまう。そこで、上述の等輝度線を利用
してオクルージョンを検出する。
【００３１】図１６はオクルージョンの発生例を示すも
ので、図１６の（ａ）のように一方の画像の同一エピポ
ーラ線上で等輝度線の部分は２点になるが、他方の画像
では１点になる。すなわち、Ａ点における視差がＤ点に
おける視差より小さい時、図１６の（ｂ）のように左画
像の少なくともＡL ，ＢL ，ＣL ，ＤL の点で囲まれた
領域は右画像では見えないオクルージョン領域となる。
ので、図１６の（ａ）のように一方の画像の同一エピポ
ーラ線上で等輝度線の部分は２点になるが、他方の画像
では１点になる。すなわち、Ａ点における視差がＤ点に
おける視差より小さい時、図１６の（ｂ）のように左画
像の少なくともＡL ，ＢL ，ＣL ，ＤL の点で囲まれた
領域は右画像では見えないオクルージョン領域となる。
【００３２】また、円柱などで生じる遮蔽輪郭部による
オクルージョンの検出は、図１７に示すように対応する
部分が存在しない部分を検出すればよい。図１７では、
Ａが対応している部分、Ｂの領域がオクルージョン部分
を示している。
オクルージョンの検出は、図１７に示すように対応する
部分が存在しない部分を検出すればよい。図１７では、
Ａが対応している部分、Ｂの領域がオクルージョン部分
を示している。
【００３３】図１８はこのようなオクルージョンのある
対象物のステレオ画像の一例を示し、図１９はその等輝
度線の画像を示している。また、この対象物に対し、左
画像についてオクルージョンの検出を行った結果得られ
る表示画像を図２０に示す。
対象物のステレオ画像の一例を示し、図１９はその等輝
度線の画像を示している。また、この対象物に対し、左
画像についてオクルージョンの検出を行った結果得られ
る表示画像を図２０に示す。
【００３４】このように、輝度情報や等輝度線の傾きな
どの情報により、左右の対応付けによる距離計測と同時
にオクルージョンの検出もでき、偽の面を生成するのを
防止することができる。
どの情報により、左右の対応付けによる距離計測と同時
にオクルージョンの検出もでき、偽の面を生成するのを
防止することができる。
【００３５】
【発明の効果】以上のように、本発明によれば、対象物
の左右のステレオ画像からシェーディングによる等輝度
線を抽出し、その等輝度線のステレオ対応データを求め
て対象物の各点の視差を抽出し、それらの視差データか
ら距離計測を行って対象物の３次元形状情報を演算する
ようにしたため、光源が限定されることなく、また実距
離を容易に計測することができ、しかも簡単な処理でハ
ードウエア化にも適し、精度の高い処理ができるという
効果がある。
の左右のステレオ画像からシェーディングによる等輝度
線を抽出し、その等輝度線のステレオ対応データを求め
て対象物の各点の視差を抽出し、それらの視差データか
ら距離計測を行って対象物の３次元形状情報を演算する
ようにしたため、光源が限定されることなく、また実距
離を容易に計測することができ、しかも簡単な処理でハ
ードウエア化にも適し、精度の高い処理ができるという
効果がある。
【００３６】また、複数方向からの光源を利用すること
で正反射成分の影響を防ぐことができ、さらに遮蔽輪
部、遮蔽領域を検出することで偽の面を生成するのを防
止することができる。
で正反射成分の影響を防ぐことができ、さらに遮蔽輪
部、遮蔽領域を検出することで偽の面を生成するのを防
止することができる。
【図１】 本発明に係る画像処理を実施するための装置
構成を示すブロック図
構成を示すブロック図
【図２】 図１のＩＴＶカメラの構成を示す模式図
【図３】 図１のコンピュータによる処理動作を示すフ
ローチャート
ローチャート
【図４】 図３の処理で得られるステレオ画像の表示例
を示す説明図
を示す説明図
【図５】 図３の処理で得られる輝度切断面の表示例を
示す説明図
示す説明図
【図６】 図５の画像を平滑化した例を示す説明図
【図７】 図３の処理で等輝度線を抽出した画像例を示
す説明図
す説明図
【図８】 図７のラベル画像でしきい値による切断面の
包含関係を示す説明図
包含関係を示す説明図
【図９】 図３の処理で等輝度線の対応点を求める様子
を示す説明図
を示す説明図
【図１０】 図３の処理による立体表示画像の一例を示
す説明図
す説明図
【図１１】 図１の装置で複数方向からの光源を利用す
る例を示す構成図
る例を示す構成図
【図１２】 図１１の構成の装置の処理動作を示すフロ
ーチャート
ーチャート
【図１３】 図１２の処理で得られるステレオ画像の表
示例を示す説明図
示例を示す説明図
【図１４】 図１２の処理で得られるステレオ画像の表
示例を示す説明図
示例を示す説明図
【図１５】 図１２の処理による立体表示画像の一例を
示す説明図
示す説明図
【図１６】 遮蔽領域の検出の様子を示す説明図
【図１７】 遮蔽輪郭の検出の様子を示す説明図
【図１８】 オクルージョンのあるステレオ画像例を示
す説明図
す説明図
【図１９】 図１８の画像に対して等輝度線を抽出した
画像例を示す説明図
画像例を示す説明図
【図２０】 図１８の画像に対してオクルージョンの検
出を行った結果を示す説明図
出を行った結果を示す説明図
１ コンピュータ ２ ＩＴＶカメラユニット ３ ＩＴＶカメラユニット ４ 画像メモリ ５ ディスプレイユニット ６ プリンタ ７ プロッピーディスク ８ キーボードターミナル ２１，３１ ＩＴＶカメラ ２２，３２ Ａ／Ｄコンバータ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 石山 豊 東京都港区高輪３−２−１ 審査官 柴田 和雄 (56)参考文献 特開 昭64−62777（ＪＰ，Ａ) 特開 平３−148776（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G01B 11/00 - 11/30
Claims (4)
- 【請求項１】 シェーディングにより対象物の左右のス
テレオ画像からそれぞれ等輝度線を抽出し、その等輝度
線のステレオ対応データを求めて対象物の各点の視差を
抽出し、それらの視差データから対象物の各点の距離を
計測して該対象物の３次元形状情報を演算することを特
徴とする画像処理方法。 - 【請求項２】 前記対象物の距離の計測を複数方向から
の光源を利用して行うことを特徴とする請求項１記載の
画像処理方法。 - 【請求項３】 前記対象物の３次元形状情報を演算する
際に遮蔽輪郭の検出を行うことを特徴とする請求項１ま
たは２記載の画像処理方法。 - 【請求項４】 前記対象物の３次元形状情報を演算する
際に遮蔽領域の検出を行うことを特徴とする請求項１な
いし３いずれか記載の画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3191478A JP3047017B2 (ja) | 1991-07-31 | 1991-07-31 | 画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3191478A JP3047017B2 (ja) | 1991-07-31 | 1991-07-31 | 画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0534117A JPH0534117A (ja) | 1993-02-09 |
| JP3047017B2 true JP3047017B2 (ja) | 2000-05-29 |
Family
ID=16275319
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3191478A Expired - Lifetime JP3047017B2 (ja) | 1991-07-31 | 1991-07-31 | 画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3047017B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4337203B2 (ja) * | 2000-01-24 | 2009-09-30 | ソニー株式会社 | 距離画像生成装置および距離画像生成方法、並びにプログラム提供媒体 |
| JP4568877B2 (ja) * | 2004-11-01 | 2010-10-27 | 独立行政法人産業技術総合研究所 | 画像処理方法、装置及びプログラム |
| GB2458927B (en) * | 2008-04-02 | 2012-11-14 | Eykona Technologies Ltd | 3D Imaging system |
| JP5907405B2 (ja) * | 2011-11-24 | 2016-04-26 | 株式会社リコー | 画像解析装置及びこれを用いた物体検出装置 |
-
1991
- 1991-07-31 JP JP3191478A patent/JP3047017B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0534117A (ja) | 1993-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7711182B2 (en) | Method and system for sensing 3D shapes of objects with specular and hybrid specular-diffuse surfaces | |
| JP3054681B2 (ja) | 画像処理方法 | |
| EP2339292A1 (en) | Three-dimensional measurement apparatus and method thereof | |
| US4776692A (en) | Testing light transmitting articles | |
| JP2001067463A (ja) | 異なる視点からの複数のフェイシャル画像に基づき新たな視点からのフェイシャル画像を生成するフェイシャル画像生成装置及び方法並びにその応用装置及び記録媒体 | |
| JP3236362B2 (ja) | 皮膚表面に関する画像からの３次元形状の復元に基づく皮膚表面形状の特徴抽出装置 | |
| US5717782A (en) | Method and apparatus for restoring digitized video pictures generated by an optical surface-height profiler | |
| JP3350822B2 (ja) | 画像上のエッジ検出方法 | |
| JP2565885B2 (ja) | 空間パタ−ンコ−ド化方法 | |
| JP3047017B2 (ja) | 画像処理方法 | |
| JPH08292014A (ja) | パターン位置の計測方法および計測装置 | |
| Prieto et al. | Visual system for fast and automated inspection of 3D parts | |
| JP2961140B2 (ja) | 画像処理方法 | |
| JP2001338280A (ja) | ３次元空間情報入力装置 | |
| JP3228436B2 (ja) | 干渉縞の縞本数増加方法 | |
| JPH0875454A (ja) | 測距装置 | |
| JP3912638B2 (ja) | ３次元画像処理装置 | |
| JPH076777B2 (ja) | パターンの輪郭検出方法及びこの方法を用いた測長装置 | |
| JPH0737106A (ja) | エッジ認識方法 | |
| JPH10320560A (ja) | 画像測定装置 | |
| JPS61241612A (ja) | ３次元形状計測システム | |
| JPH09229648A (ja) | 画像情報入出力装置及び画像情報入出力方法 | |
| JP2002031511A (ja) | ３次元デジタイザ | |
| JPH06243258A (ja) | 奥行き検出装置 | |
| JP2881530B2 (ja) | 画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20000118 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees | ||
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313114 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080324 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100324 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120324 Year of fee payment: 12 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120324 Year of fee payment: 12 |