JPH05256613A - ステレオ画像からの視差演算方法と装置並びに奥行き測定装置 - Google Patents
ステレオ画像からの視差演算方法と装置並びに奥行き測定装置Info
- Publication number
- JPH05256613A JPH05256613A JP4055141A JP5514192A JPH05256613A JP H05256613 A JPH05256613 A JP H05256613A JP 4055141 A JP4055141 A JP 4055141A JP 5514192 A JP5514192 A JP 5514192A JP H05256613 A JPH05256613 A JP H05256613A
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- reliability
- depth
- window
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 ステレオマッチングを用いた３次元測定に関
するもので、特に最小エネルギー原理を応用し、視差の
不連続を反映した適応的窓を設定することによって視差
が不連続付近での分解能の向上を計り、視差の確率分布
を求めることによって、サブピクセル単位までの視差計
測を可能にし、視差に信頼度の付与を可能とする奥行き
測定手段並びに装置を提供する。 【構成】 入力された画像は、右画像左画像として画像
メモリ８に蓄えられる。窓決定器９は、画像メモリ８に
蓄えられた輝度値から、窓の大きさに依存した視差の確
からしさを信頼度付与器１０を使い演算を行い、もっと
も確からしさの高い窓の大きさを視差演算器１１へ出力
する。視差演算器１１は、窓決定器９からの窓の大きさ
と画像メモリ８からの輝度値から視差を更新し窓決定器
９へわたす。これを繰り返すことにより得られた視差か
ら奥行き決定器１２は奥行きを演算し最終の奥行データ
とする。
するもので、特に最小エネルギー原理を応用し、視差の
不連続を反映した適応的窓を設定することによって視差
が不連続付近での分解能の向上を計り、視差の確率分布
を求めることによって、サブピクセル単位までの視差計
測を可能にし、視差に信頼度の付与を可能とする奥行き
測定手段並びに装置を提供する。 【構成】 入力された画像は、右画像左画像として画像
メモリ８に蓄えられる。窓決定器９は、画像メモリ８に
蓄えられた輝度値から、窓の大きさに依存した視差の確
からしさを信頼度付与器１０を使い演算を行い、もっと
も確からしさの高い窓の大きさを視差演算器１１へ出力
する。視差演算器１１は、窓決定器９からの窓の大きさ
と画像メモリ８からの輝度値から視差を更新し窓決定器
９へわたす。これを繰り返すことにより得られた視差か
ら奥行き決定器１２は奥行きを演算し最終の奥行データ
とする。
Description
【０００１】
【産業上の利用分野】本発明は、複数の２次元画像から
奥行きデータを得る奥行き測定方法及び装置に関するも
のである。
奥行きデータを得る奥行き測定方法及び装置に関するも
のである。
【０００２】
【従来の技術】領域ベースのステレオ法を使った奥行き
測定技術としては、たとえば文献Ａ「ア ステレオ マ
ッチング アルゴリズム ウイズ アン アダプティブ
ウインドウ（Ａ Ｓｔｅｒｅｏ Ｍａｔｃｈｉｎｇ
Ａｌｇｏｒｉｔｈｍ ｗｉｔｈ ａｎ Ａｄａｐｔｉｖ
ｅ Ｗｉｎｄｏｗ）： セオリー アンド イクスペリ
メント（Ｔｈｅｏｒｙ ａｎｄ Ｅｘｐｅｒｉｍｅｎ
ｔ）」（Ｐｒｏｃ． ＩＥＥＥ Ｉｎｔ． Ｃｏｎｆ．
ｏｎ ロボティクス ＆ オートメーション（Ｒｏｂ
ｏｔｉｃｓ ＆ Ａｕｔｏｍａｔｉｏｎ）， ｐｐ １
０８８−１０９５．１９９１）、文献Ｂ「コンバイニン
グ ステレオ アンド モノキュラー インフォメーシ
ョン トゥ コンピュート デンス デプス マツプス
ザットプリザーブ デプス ディスコンティニューイ
ティーズ （ＣｏｍｂｉｎｉｎｇＳｔｅｒｅｏ ａｎｄ
Ｍｏｎｏｃｕｌａｒ Ｉｎｆｏｒｍａｔｉｏｎ ｔｏ
Ｃｏｍｐｕｔｅ Ｄｅｎｓｅ Ｄｅｐｔｈ Ｍａｐｓ
ｔｈａｔ Ｐｒｅｓｅｒｖｅ Ｄｅｐｔｈ Ｄｉｓｃｏ
ｎｔｉｎｕｉｔｉｅｓ）」（１２ｔｈ ＩＪＣＡＩ，ｖ
ｏｌ．２，ｐｐ．１２９２−１２９８，１９９１）が上
げられる。前記文献Ａでは、窓内の視差、雑音と画像の
微分の分布を正規分布と仮定したＭＡＰ推定によって視
差の分散とその平均値を求め、視差の分散を最小にする
窓を相関演算を行う窓とし、視差の平均値をその点の視
差の値としている。また、後記文献Ｂでは、固定窓で得
られた視差を画像の輝度値の勾配に着目して修正した
後、視差の勾配と輝度値の勾配の２つを考慮にいれて再
度修正することにより視差を求めている。
測定技術としては、たとえば文献Ａ「ア ステレオ マ
ッチング アルゴリズム ウイズ アン アダプティブ
ウインドウ（Ａ Ｓｔｅｒｅｏ Ｍａｔｃｈｉｎｇ
Ａｌｇｏｒｉｔｈｍ ｗｉｔｈ ａｎ Ａｄａｐｔｉｖ
ｅ Ｗｉｎｄｏｗ）： セオリー アンド イクスペリ
メント（Ｔｈｅｏｒｙ ａｎｄ Ｅｘｐｅｒｉｍｅｎ
ｔ）」（Ｐｒｏｃ． ＩＥＥＥ Ｉｎｔ． Ｃｏｎｆ．
ｏｎ ロボティクス ＆ オートメーション（Ｒｏｂ
ｏｔｉｃｓ ＆ Ａｕｔｏｍａｔｉｏｎ）， ｐｐ １
０８８−１０９５．１９９１）、文献Ｂ「コンバイニン
グ ステレオ アンド モノキュラー インフォメーシ
ョン トゥ コンピュート デンス デプス マツプス
ザットプリザーブ デプス ディスコンティニューイ
ティーズ （ＣｏｍｂｉｎｉｎｇＳｔｅｒｅｏ ａｎｄ
Ｍｏｎｏｃｕｌａｒ Ｉｎｆｏｒｍａｔｉｏｎ ｔｏ
Ｃｏｍｐｕｔｅ Ｄｅｎｓｅ Ｄｅｐｔｈ Ｍａｐｓ
ｔｈａｔ Ｐｒｅｓｅｒｖｅ Ｄｅｐｔｈ Ｄｉｓｃｏ
ｎｔｉｎｕｉｔｉｅｓ）」（１２ｔｈ ＩＪＣＡＩ，ｖ
ｏｌ．２，ｐｐ．１２９２−１２９８，１９９１）が上
げられる。前記文献Ａでは、窓内の視差、雑音と画像の
微分の分布を正規分布と仮定したＭＡＰ推定によって視
差の分散とその平均値を求め、視差の分散を最小にする
窓を相関演算を行う窓とし、視差の平均値をその点の視
差の値としている。また、後記文献Ｂでは、固定窓で得
られた視差を画像の輝度値の勾配に着目して修正した
後、視差の勾配と輝度値の勾配の２つを考慮にいれて再
度修正することにより視差を求めている。
【０００３】
【発明が解決しようとする課題】しかしながら、上記文
献Ａの方法では、画像に対して先験的に窓内での視差、
雑音と輝度値の微分の分布を正規分布と仮定しているの
で、そうでない画像には、使えないと言う欠点がある。
また計算料が膨大で、実時間での計算には向かない。一
方、上記文献Ｂでは、輝度値の勾配という、本来視差の
勾配とは、無関係なものを使っているので、正しく視差
の不連続を修正する保証がないという欠点を有してい
た。
献Ａの方法では、画像に対して先験的に窓内での視差、
雑音と輝度値の微分の分布を正規分布と仮定しているの
で、そうでない画像には、使えないと言う欠点がある。
また計算料が膨大で、実時間での計算には向かない。一
方、上記文献Ｂでは、輝度値の勾配という、本来視差の
勾配とは、無関係なものを使っているので、正しく視差
の不連続を修正する保証がないという欠点を有してい
た。
【０００４】本発明は、対象画像に先験的な仮定を置か
ず、より高速にかつ視差の不連続を反映する適応的窓を
設定することにより視差の不連続の付近での分解能をあ
げ、視差をサブピクセルまで求めることにより奥行き測
定の精度を上げ、さらにその求めた視差に信頼度を与え
ることにより視差の確からしさを得る手法並び、装置を
提供することを目的とする。
ず、より高速にかつ視差の不連続を反映する適応的窓を
設定することにより視差の不連続の付近での分解能をあ
げ、視差をサブピクセルまで求めることにより奥行き測
定の精度を上げ、さらにその求めた視差に信頼度を与え
ることにより視差の確からしさを得る手法並び、装置を
提供することを目的とする。
【０００５】
【課題を解決するための手段】本発明の奥行き測定方法
によれば、複数の視点より被写体を撮像した複数の画像
に対して相関演算を行う領域を決定する適応的窓決定工
程と、画像の類似度を現すエネルギー関数を視差の関数
として与え、最小エネルギー原理に基づき視差の確率分
布を得、調和平均をとることにより視差を求める視差演
算行程と、エネルギー関数の期待値である平均エネルギ
ー及び、視差の確率より決まるエントロピーにより確か
らしさを求める信頼度付与工程と、得られた視差を元に
奥行きを決定する奥行き決定工程を備え、前記適応的窓
決定工程では、信頼度に応じて窓を決定する。
によれば、複数の視点より被写体を撮像した複数の画像
に対して相関演算を行う領域を決定する適応的窓決定工
程と、画像の類似度を現すエネルギー関数を視差の関数
として与え、最小エネルギー原理に基づき視差の確率分
布を得、調和平均をとることにより視差を求める視差演
算行程と、エネルギー関数の期待値である平均エネルギ
ー及び、視差の確率より決まるエントロピーにより確か
らしさを求める信頼度付与工程と、得られた視差を元に
奥行きを決定する奥行き決定工程を備え、前記適応的窓
決定工程では、信頼度に応じて窓を決定する。
【０００６】
【作用】エネルギー関数を定義し、平均エネルギー最小
かつエントロピー一定の条件を課すことを最小エネルギ
ー原理と呼び、エネルギー関数を含む形で確率分布を求
めることができる。これを応用して視差の確率分布を
得、この確率分布を使い調和平均を取ることによりサブ
ピクセルまで視差を求めることができる。また、この視
差の確率分布がもっとも確からしいのは、平均エネルギ
ーとエンロトピーとの差が最小である場合であり、これ
を基に適応的窓を決定して、画像に対する仮定無しに適
応的窓の設定を可能にする。この適応的窓は、視差の不
連続を越えて広がらないので視差の不連続を正しく決定
できる。また、この平均エネルギーとエントロピーの差
が小さい方が視差の信頼性が高いとすることができこれ
により信頼度の決定を可能にする。
かつエントロピー一定の条件を課すことを最小エネルギ
ー原理と呼び、エネルギー関数を含む形で確率分布を求
めることができる。これを応用して視差の確率分布を
得、この確率分布を使い調和平均を取ることによりサブ
ピクセルまで視差を求めることができる。また、この視
差の確率分布がもっとも確からしいのは、平均エネルギ
ーとエンロトピーとの差が最小である場合であり、これ
を基に適応的窓を決定して、画像に対する仮定無しに適
応的窓の設定を可能にする。この適応的窓は、視差の不
連続を越えて広がらないので視差の不連続を正しく決定
できる。また、この平均エネルギーとエントロピーの差
が小さい方が視差の信頼性が高いとすることができこれ
により信頼度の決定を可能にする。
【０００７】
【実施例】まず最小エネルギー原理から導かれる本手法
を説明する。
を説明する。
【０００８】右目及び左目に対応した２つのカメラから
画像を入力し、右画像と左画像、２つの画像上での一致
点を決定するために２乗差平均Ｈ(δd)
画像を入力し、右画像と左画像、２つの画像上での一致
点を決定するために２乗差平均Ｈ(δd)
【０００９】
【数２】
【００１０】を画像の類似度として使う。ここで、
ｆ1、ｆ2はそれぞれ右画像と左画像の輝度値、x,yは画
像の座標、x0,y0は視差を求めたい画像上の座標を表し
ている。また積分は、x0,y0を含むある領域Ｍでとる。
この領域を窓と呼ぶ。また、d0(x0,y0)とδd(x0,y0)
は、それぞれ、ある与えられた仮の視差とそれを真の視
差の方向に補正する視差補正を表している。この画像の
類似度である２乗差平均Ｈ(δd)を最小にするd0(x0,y0)
+δd(x0,y0)が対象物体の同一点を現していると考える
ことができる。そこでこれをエネルギー関数と考える
と、平均エネルギー最小、エントロピー一定の最小エネ
ルギー原理から視差補正δd(x0,y0)の確率分布は、
ｆ1、ｆ2はそれぞれ右画像と左画像の輝度値、x,yは画
像の座標、x0,y0は視差を求めたい画像上の座標を表し
ている。また積分は、x0,y0を含むある領域Ｍでとる。
この領域を窓と呼ぶ。また、d0(x0,y0)とδd(x0,y0)
は、それぞれ、ある与えられた仮の視差とそれを真の視
差の方向に補正する視差補正を表している。この画像の
類似度である２乗差平均Ｈ(δd)を最小にするd0(x0,y0)
+δd(x0,y0)が対象物体の同一点を現していると考える
ことができる。そこでこれをエネルギー関数と考える
と、平均エネルギー最小、エントロピー一定の最小エネ
ルギー原理から視差補正δd(x0,y0)の確率分布は、
【００１１】
【数３】
【００１２】で与えられる。ここで、Ｔはラグランジュ
の未定乗数でこれを温度と呼ぶ。また、視差補正δd
(x0,y0)の期待値Ｅ(δd(x0,y0))はこれから調和平均を
取ることにより、（数１）で得ることができる。ここ
で、ｆ2のx方向への２階微分の項は、雑音の影響が大き
いのでこれを無視した。
の未定乗数でこれを温度と呼ぶ。また、視差補正δd
(x0,y0)の期待値Ｅ(δd(x0,y0))はこれから調和平均を
取ることにより、（数１）で得ることができる。ここ
で、ｆ2のx方向への２階微分の項は、雑音の影響が大き
いのでこれを無視した。
【００１３】次に窓の決定手法を示す。エネルギー最小
化原理によれば平均エネルギーを最小化しかつエントロ
ピーを最大化することが最適化である。平均エネルギー
最小は、エネルギー関数のピークの鋭さを示し、エント
ロピー最大は、エネルギー関数の一様性すなわち大きい
窓の優位を示す。従って、エントロピーＳは、
化原理によれば平均エネルギーを最小化しかつエントロ
ピーを最大化することが最適化である。平均エネルギー
最小は、エネルギー関数のピークの鋭さを示し、エント
ロピー最大は、エネルギー関数の一様性すなわち大きい
窓の優位を示す。従って、エントロピーＳは、
【００１４】
【数４】
【００１５】であるから、
【００１６】
【数５】
【００１７】を最小にすることによりピークの鋭さと確
率の一様性の競合関係の最適化がはかられる。すなわち
この値が最小である窓がもっとも確からしい視差を演算
できる窓であるといえる。適応的窓では、この窓を使い
（数１）によって視差補正を繰り返し行うことにより最
終的な視差を得る。
率の一様性の競合関係の最適化がはかられる。すなわち
この値が最小である窓がもっとも確からしい視差を演算
できる窓であるといえる。適応的窓では、この窓を使い
（数１）によって視差補正を繰り返し行うことにより最
終的な視差を得る。
【００１８】このようにして求めた視差ｄ(x.y)は、視
差が不連続の領域で、それを正しく反映したものとなっ
ている。なぜなら、視差の不連続な領域にまたがって窓
が存在すると、＜Ｈ＞がＳに比べて大きくなってしま
い、相対的に＜Ｈ＞ーＴＳが大きくなってしまうからで
ある。最後にこの視差から奥行きは、
差が不連続の領域で、それを正しく反映したものとなっ
ている。なぜなら、視差の不連続な領域にまたがって窓
が存在すると、＜Ｈ＞がＳに比べて大きくなってしま
い、相対的に＜Ｈ＞ーＴＳが大きくなってしまうからで
ある。最後にこの視差から奥行きは、
【００１９】
【数６】
【００２０】で求められる。ここで、Ｂは２つのカメラ
の基線長でＦは焦点距離である。以下、この手法を使っ
た本発明の実施例について図面を参照して説明する。
の基線長でＦは焦点距離である。以下、この手法を使っ
た本発明の実施例について図面を参照して説明する。
【００２１】図２は、本発明の第１の実施例における視
差演算装置の構成図を模式的に示すものである。図２に
おいて、１は、異なる画像間の輝度値の差を計算する差
分器、２は、１つの画像中での輝度の微分を行う微分
器、３は、これらを元に視差補正を計算する視差補正演
算器、４は、視差と窓の大きさを元に相関領域を決める
相関点設定器である。
差演算装置の構成図を模式的に示すものである。図２に
おいて、１は、異なる画像間の輝度値の差を計算する差
分器、２は、１つの画像中での輝度の微分を行う微分
器、３は、これらを元に視差補正を計算する視差補正演
算器、４は、視差と窓の大きさを元に相関領域を決める
相関点設定器である。
【００２２】以上のように構成された、本実施例の視差
演算装置について、以下その動作を説明し、それととも
に、本発明にかかる視差演算方法についても説明する。
演算装置について、以下その動作を説明し、それととも
に、本発明にかかる視差演算方法についても説明する。
【００２３】異なる視点でとられたステレオペア画像の
輝度値信号が入力されると相関点設定器４は、視差と窓
の大きさから相関演算を行う領域の輝度値を２乗差分器
１と微分器２に出力する。差分器１では、ステレオペア
画像の輝度値信号から
輝度値信号が入力されると相関点設定器４は、視差と窓
の大きさから相関演算を行う領域の輝度値を２乗差分器
１と微分器２に出力する。差分器１では、ステレオペア
画像の輝度値信号から
【００２４】
【数７】
【００２５】の演算を行い結果を視差補正演算器３へ出
力する。また、微分器２では、
力する。また、微分器２では、
【００２６】
【数８】
【００２７】の演算を行い結果を視差補正演算器３へ出
力する。次に、この２つの入力から視差補正演算器３で
は、（数１）の演算を行い、視差補正δd(x0,y0)を求
め、
力する。次に、この２つの入力から視差補正演算器３で
は、（数１）の演算を行い、視差補正δd(x0,y0)を求
め、
【００２８】
【数９】
【００２９】を新しい視差として、相関点設定器４へ出
力する。相関点設定器では、この入力を元に相関領域を
設定し、その領域内の輝度値を差分器１と微分器２へ出
力する。このようにして繰り返し演算を行うことにより
より確からしい視差を得ることができる。この様子を図
３に示す。図３は、、真の視差から遠く離れた更新途中
の視差が上記の繰り返し演算を行うことにより、最終的
に真の視差に近い値に収束する様子である。参考として
破線で、１画素単位で求めた視差を示している。
力する。相関点設定器では、この入力を元に相関領域を
設定し、その領域内の輝度値を差分器１と微分器２へ出
力する。このようにして繰り返し演算を行うことにより
より確からしい視差を得ることができる。この様子を図
３に示す。図３は、、真の視差から遠く離れた更新途中
の視差が上記の繰り返し演算を行うことにより、最終的
に真の視差に近い値に収束する様子である。参考として
破線で、１画素単位で求めた視差を示している。
【００３０】以上のように本実施例によれば、視差に重
みとして最小エネルギー原理より決まる確率をかけて平
均を取ることで、サブピクセル単位で文献Ａの方法より
計算量を少なく視差を得ることができる。
みとして最小エネルギー原理より決まる確率をかけて平
均を取ることで、サブピクセル単位で文献Ａの方法より
計算量を少なく視差を得ることができる。
【００３１】図４は、本発明の第２の実施例における信
頼度付与装置の構成図を模式的に示すものである。図４
において、５は、与えられた視差と窓の大きさから決め
られた相関領域の輝度値信号からエントロピーを計算す
るエントロピー演算器、６は、与えられた視差と窓の大
きさから決められた相関領域の輝度値信号から平均エネ
ルギーを計算する平均エネルギー演算器は、７は、平均
エネルギーとエントロピーから信頼度を計算する信頼度
演算器である。
頼度付与装置の構成図を模式的に示すものである。図４
において、５は、与えられた視差と窓の大きさから決め
られた相関領域の輝度値信号からエントロピーを計算す
るエントロピー演算器、６は、与えられた視差と窓の大
きさから決められた相関領域の輝度値信号から平均エネ
ルギーを計算する平均エネルギー演算器は、７は、平均
エネルギーとエントロピーから信頼度を計算する信頼度
演算器である。
【００３２】以上のように構成された、本実施例の信頼
度付与装置について、以下その動作を説明し、それとと
もに、本発明にかかる信頼度付与方法についても説明す
る。
度付与装置について、以下その動作を説明し、それとと
もに、本発明にかかる信頼度付与方法についても説明す
る。
【００３３】与えられた視差と窓の大きさから決められ
た相関領域の輝度値信号を入力として、エントロピー演
算器５でエントロピー
た相関領域の輝度値信号を入力として、エントロピー演
算器５でエントロピー
【００３４】
【数１０】
【００３５】を演算し信頼度演算器７へ出力する。ま
た、与えられた視差と窓の大きさから決められた相関領
域の輝度値信号を入力として、平均エネルギー演算器６
で、平均エネルギー
た、与えられた視差と窓の大きさから決められた相関領
域の輝度値信号を入力として、平均エネルギー演算器６
で、平均エネルギー
【００３６】
【数１１】
【００３７】を演算し信頼度演算器７へ出力する。信頼
度演算器７では、この２つの入力からその差を（数５）
で演算しこの結果を出力する。この出力が大きいと確か
らしさは低く、小さいと高い。図５で視差の変化と信頼
度演算器７の出力の関係を示す。この図は、視差が不連
続に変わっている付近やオクリュージョンがある付近で
信頼度演算器７の出力が大きくなり、得られた視差の確
からしさが低下していることを示している。これは、視
差が不連続のところで平均エネルギー＜Ｈ＞が、大きく
なることによる。
度演算器７では、この２つの入力からその差を（数５）
で演算しこの結果を出力する。この出力が大きいと確か
らしさは低く、小さいと高い。図５で視差の変化と信頼
度演算器７の出力の関係を示す。この図は、視差が不連
続に変わっている付近やオクリュージョンがある付近で
信頼度演算器７の出力が大きくなり、得られた視差の確
からしさが低下していることを示している。これは、視
差が不連続のところで平均エネルギー＜Ｈ＞が、大きく
なることによる。
【００３８】以上のように本実施例によれば、平均エネ
ルギーとエンロトルピーからなる信頼度を用いることに
より、確からしさが低いところが、視差の不連続また
は、オクリュージョンがあるところであると言うことが
可能である。
ルギーとエンロトルピーからなる信頼度を用いることに
より、確からしさが低いところが、視差の不連続また
は、オクリュージョンがあるところであると言うことが
可能である。
【００３９】図１は、本発明の第３の実施例における奥
行き測定装置の構成図を模式的に示すものである。図１
において８は、入力画像を蓄えておく画像メモリであ
る。９は、窓領域を指定する窓決定器である。１０は、
窓を設定するのに使用するその窓の信頼度を与える信頼
度付与器である。１１は、９で決定された窓で視差補正
演算を行い視差を決定する視差演算器である。１２は、
１１で得られた視差から奥行きデータを作成する奥行き
決定器である。
行き測定装置の構成図を模式的に示すものである。図１
において８は、入力画像を蓄えておく画像メモリであ
る。９は、窓領域を指定する窓決定器である。１０は、
窓を設定するのに使用するその窓の信頼度を与える信頼
度付与器である。１１は、９で決定された窓で視差補正
演算を行い視差を決定する視差演算器である。１２は、
１１で得られた視差から奥行きデータを作成する奥行き
決定器である。
【００４０】以上のように構成された、本実施例の奥行
き測定装置について、以下その動作を説明し、それとと
もに、本発明にかかる奥行き測定方法についても説明す
る。
き測定装置について、以下その動作を説明し、それとと
もに、本発明にかかる奥行き測定方法についても説明す
る。
【００４１】入力された画像は、右画像左画像として画
像メモリ８に蓄えられる。まず窓決定器９では、この画
像メモリ８に蓄えられた輝度値を入力として、窓をいろ
いろ変えたときの視差の信頼度を本実施例２に記載の通
り動作する信頼度付与器１０を使い演算を行い、この入
力（信頼度）を元に、もっとも確からしさの高いすなわ
ち（数５）を最小とする窓の大きさを視差演算器１１へ
出力する。視差演算器１１は、窓決定器９からの出力の
窓の大きさと画像メモリからの輝度値を入力として図２
の点線の枠内のような動作を行い、更新された視差を出
力として窓決定器９へわたす。これを受け、窓決定器９
は、また上記と同じように窓を決定しこの窓の大きさを
視差演算器１１へわたす。これを繰り返すことにより確
からしい視差を求め、この視差を奥行き決定器１２へ渡
す。奥行き決定器１２は、入力から、（数６）で奥行き
を演算し最終の奥行データとする。
像メモリ８に蓄えられる。まず窓決定器９では、この画
像メモリ８に蓄えられた輝度値を入力として、窓をいろ
いろ変えたときの視差の信頼度を本実施例２に記載の通
り動作する信頼度付与器１０を使い演算を行い、この入
力（信頼度）を元に、もっとも確からしさの高いすなわ
ち（数５）を最小とする窓の大きさを視差演算器１１へ
出力する。視差演算器１１は、窓決定器９からの出力の
窓の大きさと画像メモリからの輝度値を入力として図２
の点線の枠内のような動作を行い、更新された視差を出
力として窓決定器９へわたす。これを受け、窓決定器９
は、また上記と同じように窓を決定しこの窓の大きさを
視差演算器１１へわたす。これを繰り返すことにより確
からしい視差を求め、この視差を奥行き決定器１２へ渡
す。奥行き決定器１２は、入力から、（数６）で奥行き
を演算し最終の奥行データとする。
【００４２】この信頼度付与手段を使った窓の広がりの
様子を図６に示す。視差が不連続の所を乗り越えないよ
うに窓が広がっている。これは、視差が不連続な領域に
またがる窓では著しく確からしさが低くなることによ
る。
様子を図６に示す。視差が不連続の所を乗り越えないよ
うに窓が広がっている。これは、視差が不連続な領域に
またがる窓では著しく確からしさが低くなることによ
る。
【００４３】以上のように本実施例によれば、平均エネ
ルギーとエントロピーから得られる信頼度関数を導入
し、また、最小エネルギー原理から得られる視差の確率
分布を用いることで、サブピクセルのオーダーまで従来
より高速で、かつ視差の不連続を正しく測定できる。
ルギーとエントロピーから得られる信頼度関数を導入
し、また、最小エネルギー原理から得られる視差の確率
分布を用いることで、サブピクセルのオーダーまで従来
より高速で、かつ視差の不連続を正しく測定できる。
【００４４】なお、本実施例２、３において温度は、Ｔ
＝１としてよいが、雑音が大きければ大きく、視差の不
連続が大きければ小さい関数を温度としても良い。
＝１としてよいが、雑音が大きければ大きく、視差の不
連続が大きければ小さい関数を温度としても良い。
【００４５】また本発明の上記実施例は、専用演算器を
用いた構成で示したが、汎用のコンピューターを用いて
ソフトウエア的に演算を実現したり、専用のＣＰＵを用
いたファームウエアで実現しても良いことは当然であ
る。また本発明の各演算器を、１チップマイコンで実現
して良いのも当然である。
用いた構成で示したが、汎用のコンピューターを用いて
ソフトウエア的に演算を実現したり、専用のＣＰＵを用
いたファームウエアで実現しても良いことは当然であ
る。また本発明の各演算器を、１チップマイコンで実現
して良いのも当然である。
【００４６】さらに、上記実施例では、画像の類似度と
して（数１）の２乗差平均を用いたが、エネルギー関数
としては、複数画像の対応点で最小値を与えるものなら
ば何でもよく、例えば、絶対平均
して（数１）の２乗差平均を用いたが、エネルギー関数
としては、複数画像の対応点で最小値を与えるものなら
ば何でもよく、例えば、絶対平均
【００４７】
【数１２】
【００４８】や内積
【００４９】
【数１３】
【００５０】などでエネルギー関数を定義しこれによっ
て決まる確率を重みとして調和平均を取ることによって
視差を求めても良い。
て決まる確率を重みとして調和平均を取ることによって
視差を求めても良い。
【００５１】上記実施例１では、（数３）で示される確
率分布を用いたが、これを簡単にして
率分布を用いたが、これを簡単にして
【００５２】
【数１４】
【００５３】を用いても良い。ここで、Ａは、１からー
１までとる。また、Ｈ(δd)に対して単調減少の確率な
ら何を使っても良い。当然これに対して、視差の期待値
の関数形も変わる。
１までとる。また、Ｈ(δd)に対して単調減少の確率な
ら何を使っても良い。当然これに対して、視差の期待値
の関数形も変わる。
【００５４】
【発明の効果】本発明によれば、画像に対して先験的仮
定を与えること無しに、相関値のピークの鋭さと相関値
の一様性を競合させる適応的窓で視差が不連続の領域す
なわち距離が不連続の領域の明確な判定をすることによ
り分解能を向上させることができ、かつその視差にどの
程度確からしいかの基準を与え、またサブピクセルまで
視差を従来より高速に決定できその実用的効果は大き
い。
定を与えること無しに、相関値のピークの鋭さと相関値
の一様性を競合させる適応的窓で視差が不連続の領域す
なわち距離が不連続の領域の明確な判定をすることによ
り分解能を向上させることができ、かつその視差にどの
程度確からしいかの基準を与え、またサブピクセルまで
視差を従来より高速に決定できその実用的効果は大き
い。
【図１】奥行き測定装置の構成図
【図２】視差演算装置の構成図
【図３】視差演算の様子を示す図
【図４】信頼度付与装置の構成図
【図５】視差と信頼度の関係を示す図
【図６】窓の設定の様子を示す図
１ 差分器 ２ 微分器 ３ 視差補正演算器 ４ 相関点設定器 ５ エントロピー演算器 ６ 平均エネルギー演算器 ７ 信頼度演算器 ８ 画像メモリ ９ 窓決定器 １０ 信頼度付与器 １１ 視差演算器 １２ 奥行き決定器
Claims (12)
- 【請求項１】複数の視点より被写体を撮像した複数の画
像から、画像の類似度を現すエネルギー関数を視差の関
数として与え、最小エネルギー原理に基づき視差の確率
分布を得、調和平均をとることにより視差を求めること
を特徴とする視差演算方法。 - 【請求項２】複数の視点より被写体を撮像した複数の画
像から、（数１）に基づき最初に与えた仮の視差を逐次
更新することにより視差を求めることを特徴とする請求
項１記載の視差演算方法。 【数１】 - 【請求項３】複数の視点より被写体を撮像した複数の画
像に対して、与えられた領域を相関演算することにより
得られた視差に対して、エネルギー関数の期待値を演算
する平均エネルギー演算工程と、視差の確率より決まる
エントロピーを計算するエントロピー演算工程を持つこ
とを特徴とする信頼度付与方法。 - 【請求項４】平均エネルギーからエントロピーを減算し
たものを信頼度とする請求項３記載の信頼度付与方法。 - 【請求項５】複数の視点より被写体を撮像した複数の画
像に対して相関演算を行う領域を決定する適応的窓決定
工程と、この領域の画像の輝度値を用いた請求項１記載
の視差演算手段により視差を求める視差演算行程と、請
求項３記載の視差に信頼度を与える信頼度付与工程と、
得られた視差を元に奥行きを決定する奥行き決定工程を
備え、前記適応的窓決定工程では、信頼度に応じて窓を
決定することを特徴とする奥行き測定方法。 - 【請求項６】複数の視点より被写体を撮像した複数の画
像に対して相関演算を行う領域を決定する適応的窓決定
工程と、この領域の画像の輝度値を用いた請求項２記載
の視差演算手段により視差を求める視差演算行程と、請
求項４記載の視差に信頼度を与える信頼度付与工程と、
得られた視差を元に奥行きを決定する奥行き決定工程を
備え、前記適応的窓決定工程では、信頼度に応じて窓を
決定することを特徴とする請求項５記載の奥行き測定方
法。 - 【請求項７】複数の視点より被写体を撮像した複数の画
像から、画像の類似度を現すエネルギー関数を視差の関
数として与え、最小エネルギー原理に基づき視差の確率
分布を得、調和平均をとることにより視差を求めること
を特徴とする視差演算器。 - 【請求項８】複数の視点より被写体を撮像した複数の画
像から、（数１）に基づき最初に与えた仮の視差を逐次
更新することにより視差を求めることを特徴とする請求
項７記載の視差演算装置。 - 【請求項９】複数の視点より被写体を撮像した複数の画
像に対して、与えられた領域を相関演算することにより
得られた視差に対して、エネルギー関数の期待値を演算
する平均エネルギー演算手段と、視差の確率より決まる
エントロピーを計算するエントロピー演算手段を持つこ
とを特徴とする視差の信頼度付与装置。 - 【請求項１０】平均エネルギーからエントロピーを減算
したものを信頼度とする請求項９記載の信頼度付与装
置。 - 【請求項１１】複数の視点より被写体を撮像した複数の
画像に対して相関演算を行う領域を決定する適応的窓決
定手段と、この領域の画像の輝度値を用いた視差演算手
段と、視差に信頼度を与える信頼度付与手段と、得られ
た視差を元に奥行きを決定する奥行き決定手段を備え、
前記適応的窓決定手段では、信頼度に応じて窓を決定す
ることを特徴とする奥行き測定装置。 - 【請求項１２】複数の視点より被写体を撮像した複数の
画像に対して相関演算を行う領域を決定する適応的窓決
定手段と、この領域の画像の輝度値を用いた請求項８記
載の視差演算手段と、視差に信頼度を与える請求項１０
記載の信頼度付与手段と、得られた視差を元に奥行きを
決定する奥行き決定手段を備え、前記適応的窓決定手段
では、信頼度に応じて窓を決定することを特徴とする請
求項１１記載の奥行き測定装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4055141A JPH05256613A (ja) | 1992-03-13 | 1992-03-13 | ステレオ画像からの視差演算方法と装置並びに奥行き測定装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4055141A JPH05256613A (ja) | 1992-03-13 | 1992-03-13 | ステレオ画像からの視差演算方法と装置並びに奥行き測定装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH05256613A true JPH05256613A (ja) | 1993-10-05 |
Family
ID=12990503
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4055141A Pending JPH05256613A (ja) | 1992-03-13 | 1992-03-13 | ステレオ画像からの視差演算方法と装置並びに奥行き測定装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH05256613A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07174555A (ja) * | 1993-12-17 | 1995-07-14 | Mitsui Constr Co Ltd | 写真測量装置及び写真測量方法 |
| JP2008508513A (ja) * | 2004-07-30 | 2008-03-21 | イーグル・ヴィジョン・システムズ・ベスローテン・フェンノートシャップ | 容器を検査する装置及び方法 |
| JP2011013706A (ja) * | 2009-06-30 | 2011-01-20 | Hitachi Ltd | ステレオ画像処理装置およびステレオ画像処理方法 |
| JP2011210246A (ja) * | 2010-03-12 | 2011-10-20 | Mitsubishi Electric Research Laboratories Inc | ステレオ画像においてオクルージョンをハンドリングするための方法 |
| JP2016081088A (ja) * | 2014-10-09 | 2016-05-16 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| CN109816710A (zh) * | 2018-12-13 | 2019-05-28 | 中山大学 | 一种双目视觉系统高精度且无拖影的视差计算方法 |
-
1992
- 1992-03-13 JP JP4055141A patent/JPH05256613A/ja active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07174555A (ja) * | 1993-12-17 | 1995-07-14 | Mitsui Constr Co Ltd | 写真測量装置及び写真測量方法 |
| JP2008508513A (ja) * | 2004-07-30 | 2008-03-21 | イーグル・ヴィジョン・システムズ・ベスローテン・フェンノートシャップ | 容器を検査する装置及び方法 |
| JP4724182B2 (ja) * | 2004-07-30 | 2011-07-13 | イーグル・ヴィジョン・システムズ・ベスローテン・フェンノートシャップ | 容器を検査する方法及び装置 |
| JP2011013706A (ja) * | 2009-06-30 | 2011-01-20 | Hitachi Ltd | ステレオ画像処理装置およびステレオ画像処理方法 |
| US8548226B2 (en) | 2009-06-30 | 2013-10-01 | Hitachi, Ltd. | Stereo image processing device and method |
| JP2011210246A (ja) * | 2010-03-12 | 2011-10-20 | Mitsubishi Electric Research Laboratories Inc | ステレオ画像においてオクルージョンをハンドリングするための方法 |
| JP2016081088A (ja) * | 2014-10-09 | 2016-05-16 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| CN109816710A (zh) * | 2018-12-13 | 2019-05-28 | 中山大学 | 一种双目视觉系统高精度且无拖影的视差计算方法 |
| CN109816710B (zh) * | 2018-12-13 | 2023-08-29 | 中山大学 | 一种双目视觉系统高精度且无拖影的视差计算方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8755630B2 (en) | Object pose recognition apparatus and object pose recognition method using the same | |
| US10706567B2 (en) | Data processing method, apparatus, system and storage media | |
| JP3151284B2 (ja) | 標識認識のための突極部輪郭等級付け抽出装置並びに方法 | |
| US10477178B2 (en) | High-speed and tunable scene reconstruction systems and methods using stereo imagery | |
| CN110276768B (zh) | 图像分割方法、图像分割装置、图像分割设备及介质 | |
| CN111144213B (zh) | 一种对象检测方法和相关设备 | |
| CN112241718B (zh) | 车辆信息的检测方法、检测模型的训练方法和装置 | |
| CN113947768A (zh) | 一种基于单目3d目标检测的数据增强方法和装置 | |
| CN112907557A (zh) | 道路检测方法、装置、计算设备及存储介质 | |
| CN110428461B (zh) | 结合深度学习的单目slam方法及装置 | |
| CN110738730A (zh) | 点云匹配方法、装置、计算机设备和存储介质 | |
| US6304603B1 (en) | Block matching method using a moving target window | |
| JP5178538B2 (ja) | 深度マップを画像から決定する方法、深度マップを決定する装置 | |
| CN111881985A (zh) | 立体匹配方法、装置、终端和存储介质 | |
| JP4394487B2 (ja) | ステレオ画像処理装置 | |
| JP2009530701A5 (ja) | ||
| JPH05256613A (ja) | ステレオ画像からの視差演算方法と装置並びに奥行き測定装置 | |
| US20230114785A1 (en) | Device and method for predicted autofocus on an object | |
| CN114821280A (zh) | 一种基于滑动窗口的slam局部实时重定位方法 | |
| JP2726366B2 (ja) | 視点・物点位置決定方法 | |
| CN112308897A (zh) | 一种基于邻域信息约束与自适应窗口的立体匹配方法 | |
| CN113312979B (zh) | 图像处理方法、装置、电子设备、路侧设备及云控平台 | |
| CN114463409B (zh) | 图像深度信息的确定方法、装置、电子设备和介质 | |
| CN114937123B (zh) | 基于多源影像融合的建筑建模方法、装置 | |
| JP4053282B2 (ja) | 画像処理装置および画像処理方法 |