JP3242529B2 - ステレオ画像対応付け方法およびステレオ画像視差計測方法 - Google Patents

ステレオ画像対応付け方法およびステレオ画像視差計測方法

Info

Publication number
JP3242529B2
JP3242529B2 JP12534694A JP12534694A JP3242529B2 JP 3242529 B2 JP3242529 B2 JP 3242529B2 JP 12534694 A JP12534694 A JP 12534694A JP 12534694 A JP12534694 A JP 12534694A JP 3242529 B2 JP3242529 B2 JP 3242529B2
Authority
JP
Japan
Prior art keywords
pixels
image
window
parallax
ternary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP12534694A
Other languages
English (en)
Other versions
JPH07336669A (ja
Inventor
勝政 恩田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Mobile Communications Co Ltd
Original Assignee
Matsushita Communication Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Communication Industrial Co Ltd filed Critical Matsushita Communication Industrial Co Ltd
Priority to JP12534694A priority Critical patent/JP3242529B2/ja
Priority to US08/460,712 priority patent/US5719954A/en
Priority to DE69512709T priority patent/DE69512709T2/de
Priority to EP95303841A priority patent/EP0686942B1/en
Priority to CA002151078A priority patent/CA2151078C/en
Publication of JPH07336669A publication Critical patent/JPH07336669A/ja
Application granted granted Critical
Publication of JP3242529B2 publication Critical patent/JP3242529B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0096—Synchronisation or controlling aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、ステレオ画像の対応付
け方法およびステレオ画像の視差計測方法に関するもの
であり、特に、例えば踏切内の障害物検知装置や侵入者
検知装置などさまざまな監視装置に利用することができ
るものである。
【０００２】
【従来の技術】まず、ステレオ画像計測の原理について
図10を用いて説明する。図10において、実空間を表す座
標としてｘ，ｙ，ｚを用い、画像面(カメラの撮像面)上
の位置を表す座標としてＸ，Ｙを用いる。ただし、２台
のカメラ10Ｌ，10Ｒを区別するために、左カメラの画像
面上の位置を表す座標としてＸL，ＹLを用い、右カメラ
の画像面上の位置を表す座標としてＸR，ＹRを用いる。
ｘ軸とＸL軸，ｘ軸とＸR軸，ｙ軸とＹL軸，ｙ軸とＹR軸
は各々互いに平行であり、ｚ軸は２台のカメラの光軸に
共に平行であるものとする。実空間座標系の原点を左右
カメラの投影中心の中点にとり、投影中心間の距離を基
線長と呼び、その長さを２aで表すことにする。また、
投影中心と画像面との距離(焦点距離)をｆで表す。
【０００３】いま、実空間内の点ｐが左画像面上の点Ｐ
L(ＸL，ＹL)，右画像面上の点ＰR(ＸR，ＹR)にそれぞれ
投影されたものとする。ステレオ画像計測では、画像面
上においてＰL，ＰRを決定し、三角測量の原理に基づい
て点ｐの実空間座標(ｘ，ｙ，ｚ)を求める。ここでは、
２台のカメラの光軸が同一平面上にありｘ軸とＸ軸とを
平行にとっていることから、ＹLとＹRとは同じ値をと
る。画像面上の座標ＸL，ＹL，ＸR，ＹRと実空間内の座
標ｘ，ｙ，ｚとの関係は、
【０００４】
【数２】
【０００５】あるいは、
【０００６】
【数３】
【０００７】と求められる。ここで、
【０００８】
【数４】ｄ＝ＸL−ＸR は視差を表している。(数３)から、ａ＞０であるので、
【０００９】
【数５】ＸL＞ＸR かつ ＹL＝ＹR これは、一方の画像面上の１点の他方の画像面上での対
応点は、エピポーラ線である同じ走査線上、かつＸL＞
ＸRの範囲に存在することを表す。したがって、一方の
画像上の１点に対応した他方の画像上の点は、対応点が
存在する可能性のある直線に沿ったある小領域について
画像の類似性を調べて見出すことができる。
【００１０】次に、類似性の評価方法について説明す
る。一例として、尾上守夫他編「画像処理ハンドブッ
ク」(昭晃堂)に記載の方法で、両画像間の相互相関値を
調べる方法について図11を用いて説明する。いま、対応
点を決定したい画素を中心とする大きさｎ×ｍの矩形小
領域を設定し、その内部における各点の明るさをそれぞ
れΙL(ｉ,ｊ)，ΙR(ｉ,ｊ)とする。それぞれの小領域に
ついての明るさの平均と分散をμL，μR，σL 2，σR 2と
すると、これらの小領域間の相互相関値は次式で与えら
れる。
【００１１】
【数６】
【００１２】対応点が存在する可能性のある直線に沿っ
てこの値を計算し、この値が最大となる部分を対応点と
する。この方法では、対応点を画素単位に決定すること
ができ、また対応点が決まれば、その対応点の座標位置
から即座に(数４)を用いて視差ｄが求まることになる。
【００１３】
【発明が解決しようとする課題】上述した例からも対応
点の決定には非常に多くの演算量を要することが分か
る。すなわち、対応点を決定するすべての画素につい
て、上式の演算を対応点が存在する可能性のある範囲全
域にわたって実行することとなる。相関計算のための小
領域の大きさを小さくすれば演算速度は速くできるが、
画像の歪みや雑音の影響を受けやすくなり、対応点検出
の安定性が悪くなる。これとは逆に、小領域の大きさを
大きくすると、多くの演算時間を要するのみでなく、相
関値の変化が緩やかになりすぎ、対応点検出の精度が低
下する。小領域の大きさは、対象とする画像の性質によ
り適切に設定することが必要である。さらにこの方法で
は(数４)より明らかなように、対応付けの結果が即座に
視差に反映されるため、誤った対応付けが発生すると、
その誤りは計測される視差に直接影響する。すなわち対
応付けでの誤りは視差の誤りとなる。
【００１４】なお、左右画像間の対応点を求める方法の
別例としては、例えば、実吉他“三次元画像認識技術を
用いた運転支援システム”，自動車技術会学術講演会前
刷集924，pp.169-172(1992-10)や、坂上他“ステレオ画
像処理を用いた測距アルゴリズムの開発”，自動車技術
会学術講演会前刷集924，pp.153-156(1992-10)がある
が、その具体的方法についてはここでは述べない。
【００１５】したがって、従来のステレオ画像対応付け
方法およびステレオ画像視差計測方法では、膨大な演算
量を必要とするため処理時間が膨大となるのみならず、
ハードウェアコストが高くなりすぎ実用化に向かないと
いう問題があった。
【００１６】本発明は上記問題点に鑑み、できるだけ少
ない演算量でステレオ画像の対応付けおよびステレオ画
像の視差を決定する方法を提供することを目的とする。
また、対応付けで発生した誤りを吸収できるような視差
計測方法を提供することを目的とする。
【００１７】
【課題を解決するための手段】本発明は、上記目的を達
成するために、左右２つの画像(ステレオ画像)からエッ
ジ成分を抽出しこれを２つの閾値ＴＨ１、ＴＨ２によっ
て３値化し、左右３値化画像間で対応付けを行うことに
よって、また画像全体を、例えばＮ×Ｍ画素のサイズの
ブロックで分割し、ブロック単位に視差を計測すること
によって格段に演算量を低減する。さらに前記ブロック
単位の視差を決定する際に、ブロックに包含されるウィ
ンドゥの対応付けによって得られる視差を基にヒストグ
ラムを生成し、その最頻値をブロックの視差とすること
により、ウィンドゥ単位での対応付けおよびその結果得
られる視差で発生した誤りが、最終的に計測されるブロ
ック単位の視差に影響を与えないようにすることによっ
て、計測視差の信頼性を向上する。
【００１８】
【作用】したがって、本発明のステレオ画像対応付け方
法あるいはステレオ画像視差計測方法によれば、従来方
法に比べ格段に演算量が低減されるため、逐次入力され
るステレオ画像からごく短時間のうちに画面全体の視差
を計測することができる。しかも安価な装置構成で実現
できる。さらに最終的に計測される視差の信頼性を向上
することが可能となる。したがって、逐次入力されるス
テレオ画像より常に視差を計測し続けることによって視
差の変化を監視し、これによって踏切内での障害物検知
や侵入者検知などの産業用監視装置の実用化が可能とな
る。
【００１９】
【実施例】図１は本発明の一実施例におけるステレオ画
像獲得からブロック単位の視差計測までの流れを説明す
るフロー図である。まず撮像フェーズ(Ａ)では２台の撮
像装置にて左右の２画像を得る(Ｓ1，Ｓ2)。次に、撮像
フェーズ(Ａ)で得られた左右画像は、それぞれ特徴抽出
フェーズ(Ｂ)にて特徴抽出が施され(Ｓ3，Ｓ4)、後段の
対応付けフェーズ(Ｃ)にて左右２つの特徴画像間で対応
付けが行われる(Ｓ5)。対応付けフェーズ(Ｃ)では、基
準とする一方の特徴画像上をある走査規則に従ってウィ
ンドゥを走査させることによって、対応付けの単位であ
る前記ウィンドゥを順次設定し、設定した前記ウィンド
ゥごとに他方の特徴画像との間で対応付けを行う。次
に、視差決定フェーズ(Ｄ)では、基準とする一方の特徴
画像をある大きさのブロックにて分割し、各ブロックご
とにブロック内に包含されるウィンドゥの対応付けによ
って得られた視差を用いてヒストグラムを生成し、その
最頻値をブロックの視差とする(Ｓ6)。以下、各フェー
ズで行われる処理について詳細に説明する。
【００２０】(Ａ) 撮像フェーズ ステレオカメラの構成方法としてはさまざまな方法が考
えられるが、本実施例においては左右平行配置(２台の
カメラを水平方向に左右配置し、２台のカメラの光軸が
平行になるよう配置)とした。図10が左右平行配置の理
想配置モデルを表している。しかし、実際には２台のカ
メラ10Ｌ，10Ｒを理想配置モデルとまったくズレること
なく構成することは困難であり、したがってステレオ画
像の対応付け方法あるいは視差計測方法自体に、これら
の多少のズレを許容できるような柔軟性を持たせること
が重要である。
【００２１】また、以降の実施例の説明においては、撮
像フェーズ(Ａ)で得られる左右画像は一例として、画像
サイズが768×480のモノクロ画像として説明するが、本
発明はこれらに限定されるものではない。撮像フェーズ
(Ａ)にて得られる左右画像を 、 左画像：ＩＬ(ｘ,ｙ) 右画像：ＩＲ(ｘ,ｙ) とする。ただし、 １≦ｘ≦768，１≦ｙ≦480 ０≦ＩＬ(ｘ,ｙ)≦255，０≦ＩＲ(ｘ,ｙ)≦255 であり、図２に示すようにｘは画像水平方向へのインデ
ックス、ｙは画像ライン方向へのインデックスを示す。
【００２２】(Ｂ) 特徴抽出フェーズ 図３は特徴抽出フェーズ(Ｂ)での処理の流れを示すフロ
ーであり、特徴抽出フェーズ(Ｂ)に入力される画像は撮
像フェーズ(Ａ)にて得られる画像である。
【００２３】まず、入力された画像は平滑化フィルタに
より高周波のノイズ成分が低減される平滑処理(Ｓ7)が
行われる。この平滑化フィルタとしては、例えば、 １ １ １ １ ２ １ １ １ １ のような係数をもった空間フィルタや、
【００２４】
【数７】
【００２５】のようなガウシアンフィルタなどを用いて
もよい。ただし、本平滑化処理(Ｓ7)は、入力画像のＳ
／Ｎが良好な場合には省略してもよい。
【００２６】次に、エッジ抽出フィルタにより垂直エッ
ジを抽出するエッジ抽出処理(Ｓ8)(微分処理)が行われ
る。このエッジ抽出フィルタとしては、下記のような係
数をもつソーベルフィルタ(一次微分) １ ０ −１ ２ ０ −２ １ ０ −１ や、下記のような係数をもつラプラシアンフィルタ(二
次微分) ０ １ ０ １ −４ １ ０ １ ０ などを用いることができる。
【００２７】前記平滑化処理(Ｓ7)およびエッジ抽出処
理(Ｓ8)を施された画像は直流成分および高周波成分(主
にノイズ成分)が除去されている。すなわち、上記の平
滑化処理とエッジ抽出処理の組み合わせは、バンドパス
フィルタを施したことと等価である。したがって、例え
ば下記のようなバンドパスフィルタを施した後に３値化
してもよい。
【００２８】
【数８】
【００２９】ここで、垂直エッジを抽出しているのは、
ステレオカメラの配置を左右平行配置としているため視
差は水平方向にのみ発生することによる。
【００３０】さらに、エッジ抽出処理された画像は、正
の閾値ＴＨ１および負の閾値ＴＨ２によって画素単位に
例えば以下のように３値化処理(Ｓ9)が行われる。
【００３１】図３の右側に例示するように、 ＴＨ２未満のとき、 −１ ＴＨ２以上ＴＨ１未満のとき、 ０ ＴＨ１より大きいとき、 １ ３値化された画像(３値化画像)は、エッジ部で−１また
は１、非エッジ部で０となる。すなわち、３値化画像
は、 左３値化画像：ＦＬ(ｘ,ｙ) 右３値化画像：ＦＲ(ｘ,ｙ) ここで、 １≦ｘ≦768，１≦ｙ≦480 −１≦ＦＬ(ｘ,ｙ)≦１，−１≦ＦＲ(ｘ,ｙ)≦１ である。３値化画像は、後段の対応付けフェーズ(Ｃ)へ
と送られ、左右３値化画像間の対応付けが行われる。
【００３２】(Ｃ) 対応付けフェーズ 対応付けフェーズ(Ｃ)では、特徴抽出フェーズ(Ｂ)にて
３値化された左右３値化画像を用いて左右画像の対応付
けを行う。対応付けを行う際には、どちらか一方の画像
を基準にし、他方の画像から対応領域を探索する。本実
施例では左画像を基準とした場合について説明する。ま
ず基準となる左３値化画像を、図４に示すようにＮ×Ｍ
画素のサイズのブロックで分割する。本実施例では、Ｎ
およびＭを16とし、16×16画素のサイズのブロックで分
割する。したがって、左３値化画像は水平方向48，垂直
方向30の領域、すなわち1440のブロックに分割される。
ブロックの識別子として、以下、ＢＬ(Ｘ，Ｙ)を用いる
ことにする。すなわち、 左ブロック識別子：ＢＬ(Ｘ，Ｙ)，１≦Ｘ≦48，１≦Ｙ
≦30 対応付けの具体的方法の一例について説明する。本実施
例では、対応付けは奇数ラインについてのみ行い(対応
付けの対象となる走査線のことを、特に対象走査線とい
う)、しかも対応付けフェーズ(Ｃ)以降、偶数ラインの
情報は全く利用しない。
【００３３】まず、図５に示すように左３値化画像の奇
数ライン(対象走査線)上、水平方向16画素のサイズの一
次元ウィンドゥを、８画素ずつオーバーラップさせなが
ら移動させる。これにより、対象走査線１ライン当たり
のウィンドゥ走査によって95のウィンドゥが設定され、
設定されたウィンドゥごとに、右３値化画像中より対応
候補領域を決定する。
【００３４】対応候補領域は図６(A)に示すように、各
ウィンドゥごとに第二候補まで決定し、最も一致度の高
い領域での視差(disp)を第一候補視差(disp１)、次に一
致度の高い領域での視差(disp)を第二候補視差(disp２)
とする。
【００３５】また、各ウィンドゥごとにウィンドゥ内で
のエッジ分布を表すフラグを生成する。上述のごとく各
ウィンドゥごとの対応付けによって得られる第一候補視
差および第二候補視差は最終的な視差ではなく視差の候
補である。最終的な視差は後段の視差決定フェーズにて
前記分割されたブロック単位に前記第一候補視差および
第二候補視差を用いて決定される。
【００３６】次に、一致度の評価方法およびフラグの生
成方法について説明する。
【００３７】一致度の評価方法について図６(B)を用い
て説明する。一致度の評価は基準となる左３値化画像上
に設定された水平方向16画素のサイズの一次元ウィンド
ゥ内の16画素と、右３値化画像中の対応領域存在可能範
囲内における水平方向16画素の比較により行う。具体的
には、図６(B)に示した評価方法に基づいてウィンドゥ
内の16画素について各画素ごとの評価を行い、16画素の
評価結果から、
【００３８】
【数９】一致度評価関数Ｅ＝(Ｐの数)＋(Ｚの数)≦16 を求める。一致度評価関数Ｅが大きいほど一致度が高い
と評価する。また、(数９)における(Ｐの数)は対応付け
のための特徴であるエッジにおける一致画素数を表して
おり、この数が大きいほど対応付け結果の信頼性は高
く、小さい場合は信頼性が低いと考えられる。したがっ
て、第一候補視差における一致度評価結果において(Ｐ
の数)がある閾値ＴＨ３より小さいときには、その候補
視差を無効とすることにより、誤った対応付けを減少す
ることができる。
【００３９】この一致度評価方法は、(数６)の従来方法
における評価方法に比べ、次の３点において格段に演算
量が削減されている。
【００４０】(1) ウィンドゥごとの対応付け (数６)の方法では、画素ごとに視差を計測する。すなわ
ち視差計測の対象となる画素を中心としたｎ×ｍの領域
を設定し、他方の画像中より最も類似した(類似度の評
価は式６による)領域を決定し、その座標位置から計測
対象画素の視差を決定する。
【００４１】一方、本方法では、８画素ずつオーバーラ
ップしたウィンドゥごとに視差の候補を決定する。
【００４２】(2) 一次元の評価 (数６)の従来方法では、ｎ×ｍの２次元領域の一致度を
評価するのに対して、本方法では一次元領域(例えば水
平方向16画素)の比較である。
【００４３】(3) ３値の比較 (数６)の従来方法では、８ビットの加減乗除算が必要で
あるが、本方法では基本演算は２ビットの単純比較であ
る。
【００４４】次に、対応付け単位であるウィンドゥのフ
ラグの生成方法について図７を用いて説明する。左３値
化画像上を８画素ずつオーバーラップさせながら移動す
るサイズ16画素の一次元ウィンドゥごとに実行される対
応領域探索において、最も一致度が高いと判定された領
域での視差、すなわち第一候補視差(disp１)における一
致度評価結果において、16画素中、左半分の８画素中で
Ｐと判定された画素の数をestl、右半分の８画素中でＰ
と判定された画素の数をestrとする。このとき、以下に
よってフラグを生成する。
【００４５】estl≧estrのとき、フラグdispＦ＝０ estl＜estrのとき、フラグdispＦ＝１ こうして生成されたフラグは大まか、対応探索の対象と
なる左３値化画像に設定されたウィンドゥ内におけるエ
ッジの分布を表している。
【００４６】dispＦ＝０のとき、ウィンドゥ内16画素
中、エッジは左８画素中に多い dispＦ＝１のとき、ウィンドゥ内16画素中、エッジは右
８画素中に多い フラグ生成の別な方法としては、一次元ウィンドゥ内の
16画素中、左半分の８画素中に存在する−１および１の
画素の数をedgl、右半分の８画素中に存在する−１およ
び１の画素の数をedgrとし、以下に従ってフラグを生成
する。
【００４７】edgl≧edgrのとき、フラグdispＦ＝０ edgl＜edgrのとき、フラグdispＦ＝１ 生成されたフラグは、後段の視差決定フェーズにてブロ
ックの視差を決定する際に利用される。
【００４８】さて、左３値化画像の奇数ライン上を８画
素ずつオーバーラップしながら走査される各ウィンドウ
ごとに決定された第一候補視差(disp１)，第二候補視差
(disp２)，フラグ(dispＦ)は、例えば図８に示すように
格納用メモリに格納される。ただし、図では格納領域
を、画像イメージとの対応がわかりやすくなるように描
いてあるが、実際には空白の部分は必要ない。
【００４９】(Ｄ) 視差決定フェーズ 視差決定フェーズ(Ｄ)では、対応付けフェーズ(Ｃ)にて
ウィンドゥごとに決定された第一候補視差(disp１)，第
二候補視差(disp２)，フラグ(dispＦ)を用いて各ブロッ
クごと(1440のブロック)に視差を決定する。
【００５０】次に、ブロックの視差決定方法について説
明する。図９はブロックＢＬ(Ｘ,Ｙ)の視差を決定する
方法を説明する図であり、ブロックＢＬ(Ｘ,Ｙ)の視差
を決定するためには図９(A)の破線内に格納されている
第一候補視差(disp１)，第二候補視差(disp２)，フラグ
(dispＦ)を用いる(本実施例では全24組)。破線内に存在
する第一候補視差(disp１)，第二候補視差(disp２)は、
ブロックＢＬ(Ｘ,Ｙ)内に存在する画素を少なくとも８
画素含んだウィンドゥの対応付けによって決定されたも
のである。
【００５１】ただし、破線内のすべての第一候補視差(d
isp１)，第二候補視差(disp２)を使用するのではなく、
フラグ(dispＦ)情報に基づいて破線内の第一候補視差(d
isp１)，第二候補視差(disp２)を選択して使用する。
【００５２】図９(A)，(B)を用いて具体的方法について
説明する。ここで説明の便宜上、ブロックＢＬ(Ｘ,Ｙ)
内の16画素を含んだウィンドゥの対応付けによって決定
された第一候補視差，第二候補視差，フラグをそれぞ
れ、disp１(Ｘ,Ｙ)，disp２(Ｘ,Ｙ)，dispＦ(Ｘ,Ｙ)と
記すことにする。本実施例では、奇数ラインのみを対象
走査線としているので、ブロック内には８組のdisp１
(Ｘ,Ｙ)，disp２(Ｘ,Ｙ)，dispＦ(Ｘ,Ｙ)が存在する。
また、ブロックＢＬ(Ｘ,Ｙ)内の左８画素を含んだウィ
ンドゥの対応付けによって決定された第一候補視差，第
二候補視差，フラグを、それぞれdisp１(Ｘ-0.5,Ｙ)，d
isp２(Ｘ-0.5,Ｙ)，dispＦ(Ｘ-0.5,Ｙ)と記すことにす
る。これも同様に８組存在する。さらに、ブロックＢＬ
(Ｘ,Ｙ)内の右８画素を含んだウィンドゥの対応付けに
よって決定された第一候補視差，第二候補視差，フラグ
を、それぞれdisp１(Ｘ+0.5,Ｙ)，disp２(Ｘ+0.5,Ｙ)，
dispＦ(Ｘ+0.5,Ｙ)と記すことにする。これも同様に８
組存在する。
【００５３】破線内の第一候補視差，第二候補視差，フ
ラグから、以下の手順に従ってヒストグラムを生成す
る。
【００５４】(1) disp１(Ｘ,Ｙ)，disp２(Ｘ,Ｙ)は無条
件にヒストグラムに組み込む。
【００５５】→disp１(Ｘ,Ｙ)，disp２(Ｘ,Ｙ)は、ブロ
ックＢＬ(Ｘ,Ｙ)内に存在する16画素を包含するウィン
ドゥの対応付けによって得られた視差情報である。
【００５６】(2) dispＦ(Ｘ,Ｙ)＝０のとき、disp１(Ｘ
-0.5,Ｙ)，disp２(Ｘ-0.5,Ｙ)をヒストグラムに組み込
む。
【００５７】→dispＦ(Ｘ,Ｙ)＝０ということは、ブロ
ックＢＬ(Ｘ,Ｙ)の左８画素中にエッジが多いことを表
しており、一致度の評価ではエッジの一致度が重要であ
るため、ブロックＢＬ(Ｘ,Ｙ)の左８画素を包含し、か
つブロックＢＬ(Ｘ-1,Ｙ)の右８画素を包含するウィン
ドゥの対応付けによって得られた視差情報をブロックの
視差決定に用いる。
【００５８】(3) dispＦ(Ｘ,Ｙ)＝１のとき、disp１(Ｘ
+0.5,Ｙ)，disp２(Ｘ+0.5,Ｙ)をヒストグラムに組み込
む。
【００５９】→dispＦ(Ｘ,Ｙ)＝１ということは、ブロ
ックＢＬ(Ｘ,Ｙ)の右８画素中にエッジが多いことを表
しており、ブロックＢＬ(Ｘ,Ｙ)の右８画素を包含し、
かつブロックＢＬ(Ｘ+1,Ｙ)の左８画素を包含するウィ
ンドゥの対応付けによって得られた視差情報をブロック
の視差決定に用いる。
【００６０】(4) (1)〜(3)の処理を、破線内の対象走査
線８ラインについて実施する。
【００６１】以上説明した手順に従って視差のヒストグ
ラムを生成し、生成したヒストグラムの最頻値をブロッ
クＢＬ(Ｘ,Ｙ)の視差とする。
【００６２】ヒストグラムの最頻値をブロックＢＬ(Ｘ,
Ｙ)の視差とすることによって、ウィンドゥごとに実行
された対応付けに誤りの対応付けが発生しても(誤った
候補視差が計測されても)、この誤りを吸収することが
可能となる。
【００６３】以上、本発明の一実施例についてステレオ
画像の獲得から視差計測までについて説明した。本実施
例においては、対象走査線として奇数ラインのみを用い
た場合について説明したが、偶数ラインのみを用いた場
合にも同様の結果を期待できる。また、すべてのライン
を対象走査線とした場合には、処理量は本実施例の約２
倍になるが計測視差の信頼性向上が期待できる。さらに
本実施例では、ウィンドゥサイズは水平方向Ｎ＝16画
素、ブロックのサイズをＮ×Ｍ＝16×16画素としたが、
本発明はこれに限定されるものでは当然ない。
【００６４】
【発明の効果】以上説明したように、本発明のステレオ
画像対応付け方法およびステレオ画像視差計測方法によ
れば、従来方法に比べ格段に演算量が低減されるため、
逐次入力されるステレオ画像から、ごく短時間のうちに
画面全体の視差を計測することができる。しかも安価な
装置構成で実現できる。さらに最終的に計測される視差
の信頼性を向上することが可能となる。したがって、逐
次入力されるステレオ画像より常に視差を計測し、視差
の変化を監視し続けることによって、踏切内での障害物
を検知したり、侵入者を検知したりするなど、産業用監
視装置の実用化が可能となる。
【図面の簡単な説明】
【図１】本発明の一実施例におけるステレオ画像獲得か
らブロック単位視差計測までの流れを説明するフロー図
である。
【図２】本発明の一実施例で使用する画像例を示す図で
ある。
【図３】本発明の特徴抽出フェードの処理の流れを示す
フロー図である。
【図４】本発明の視差計測単位であるブロックの分割方
法を説明する図である。
【図５】本発明の対応付け単位であるウィンドゥの設定
方法を説明する図である。
【図６】本発明の対応付け単位であるウィンドゥの対応
領域探索および一致度の評価方法を説明する図である。
【図７】本発明の対応付け単位であるウィンドゥのフラ
グ生成方法を説明する図である。
【図８】本発明の対応付け単位であるウィンドゥの第一
候補視差，第二候補視差，フラグの格納方法を説明する
図である。
【図９】本発明の視差決定単位であるブロックの視差決
定方法を説明する図である。
【図１０】ステレオ画像計測の原理を説明するための図
である。
【図１１】従来方法のステレオ画像対応付け方法および
視差計測方法について説明するための図である。
【符号の説明】
(Ａ)…撮像フェーズ、 (Ｂ)…特徴抽出フェーズ、
(Ｃ)…対応付けフェーズ、(Ｄ)…視差決定フェーズ、
(Ｓ1)…撮像(左画像)、 (Ｓ2)…撮像(右画像)、(Ｓ
3)，(Ｓ4)…特徴抽出、 (Ｓ5)…視差決定、 (Ｓ6)…
平滑化処理、 (Ｓ7)…エッジ抽出処理、 (Ｓ8)…３値
処理、 10Ｌ，10Ｒ…カメラ。
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 7/18 H04N 13/00

Claims (11)

    (57)【特許請求の範囲】
  1. 【請求項１】 所定間隔を隔てて水平方向に配置した２
    台の撮像装置により撮影された左右の２画像のステレオ
    画像に対し、一次微分処理あるいは二次微分処理を施す
    ことによって画像中のエッジを抽出し、これを正の閾値
    ＴＨ１および負の閾値ＴＨ２によって３値化し、前記３
    値化処理によって得られる左右２つの３値化画像のうち
    の一方の３値化画像上に水平方向Ｎ画素のサイズの一次
    元ウィンドゥを設定し、前記ウィンドゥ内Ｎ画素の３値
    パターンと類似する領域を他方の３値化画像中より探索
    することを特徴とするステレオ画像対応付け方法。
  2. 【請求項２】 所定間隔を隔てて水平方向に配置した２
    台の撮像装置により撮影された左右の２画像のステレオ
    画像に対し、ローパスフィルタを施すことによってノイ
    ズ成分を低減した後、一次微分処理あるいは二次微分処
    理を施すことによって画像中のエッジを抽出し、これを
    正の閾値ＴＨ１および負の閾値ＴＨ２によって３値化
    し、前記３値化処理によって得られる左右２つの３値化
    画像のうちの一方の３値化画像上に水平方向Ｎ画素のサ
    イズの一次元ウィンドゥを設定し、前記ウィンドゥ内Ｎ
    画素の３値パターンと類似する領域を他方の３値化画像
    中より探索することを特徴とするステレオ画像対応付け
    方法。
  3. 【請求項３】 所定間隔を隔てて水平方向に配置した２
    台の撮像装置により撮影された左右の２画像のステレオ
    画像に対し、バンドパスフィルタを施すことによって通
    過帯域外の高周波ノイズ成分を低減しつつ通過帯域内の
    周波数成分を有する画像中のエッジを抽出し、これを正
    の閾値ＴＨ１および負の閾値ＴＨ２によって３値化し、
    前記３値化処理によって得られる左右２つの３値化画像
    のうちの一方の３値化画像上に水平方向Ｎ画素のサイズ
    の一次元ウィンドゥを設定し、前記ウィンドゥ内Ｎ画素
    の３値パターンと類似する領域を他方の３値化画像中よ
    り探索することを特徴とするステレオ画像対応付け方
    法。
  4. 【請求項４】 前記３値化処理は、正の閾値ＴＨ１以上
    の画素をｐ、負の閾値ＴＨ２以上正の閾値ＴＨ１未満の
    画素をｚ、負の閾値ＴＨ２未満の画素をｍのごとく量子
    化するとき、前記一次元ウィンドゥごとにウィンドゥ内
    各画素の一致度を評価するにあたり、左右共にｐの画素
    または左右共にｍの画素をＰ、また左右共にｚの画素を
    Ｚと記号化するとき、ウィンドゥ内Ｎ画素の３値化パタ
    ーンの 一致度評価式Ｅとして、 【数１】 Ｅ＝(Ｐの数)＋(Ｚの数) を用いる ことを特徴とする請求項１乃至３のいずれかに
    記載のステレオ画像対応付け方法。
  5. 【請求項５】 前記一致度評価式ＥにおいてＰの数があ
    る閾値ＴＨ３以上のときのみ、ウィンドゥの対応付け結
    果を有効とすることを特徴とする請求項４記載のステレ
    オ画像対応付け方法。
  6. 【請求項６】 請求項１または請求項２または請求項３
    に記載の３値化画像において、一方の３値化画像上に水
    平方向Ｎ画素のサイズの一次元ウィンドゥを設定し、前
    記ウィンドゥ内Ｎ画素の３値パターンと最も一致度の高
    い領域と２番目に一致度の高い領域を他方の３値化画像
    中より探索し、最も一致度の高い領域における視差を第
    一候補視差、２番目に一致度の高い領域における視差を
    第二候補視差とし、前記第一候補視差および第二候補視
    差を用いてステレオ画像の視差を決定することを特徴と
    するステレオ画像視差計測方法。
  7. 【請求項７】 水平方向Ｎ画素の請求項１乃至６のいず
    れかに記載の一次元ウィンドゥを、一方の３値化画像上
    をＮ／２画素ずつオーバーラップさせながら、かつ走査
    線(ライン)上を画面全体について順次走査させながら設
    定し、前記設定したウィンドゥごとに対応付けを行うこ
    とを特徴とするステレオ画像対応付け方法。
  8. 【請求項８】 水平方向Ｎ画素の請求項１乃至６のいず
    れかに記載の一次元ウィンドゥを、一方の３値化画像上
    をＮ／２画素ずつオーバーラップさせながら、かつ奇数
    ラインあるいは偶数ラインのいずれか一方のライン上の
    みを画面全体について順次走査させながら設定し、前記
    設定したウィンドゥごとに対応付けを行うことを特徴と
    するステレオ画像対応付け方法。
  9. 【請求項９】 画像全体をＮ×Ｍ画素の大きさのブロッ
    クで分割し、このブロック単位に各ブロックの視差を決
    定するステレオ画像視差計測方法において、各ブロック
    に包含される請求項７または請求項８記載の一次元ウィ
    ンドゥの対応付けによって決定される請求項６記載の第
    一候補視差およびまたは第二候補視差 を用いてヒストグ
    ラムを生成し、ヒストグラムの最頻値をそのブロックの
    視差として決定することを特徴とするステレオ画像視差
    計測方法。
  10. 【請求項１０】 請求項１乃至３のいずれかまたは請求
    項７または請求項８記載の水平方向Ｎ画素の一次元ウィ
    ンドゥごとのステレオ画像対応付け方法において、請求
    項４記載の一致度評価式Ｅに基づき最も一致度が高いと
    判定された領域での視差(第一候補視差)における一致度
    評価結果で、このウィンドゥ内Ｎ画素中、左半分のＮ／
    ２画素中でＰと判定された画素の数をest ｌ 、右半分の
    Ｎ／２画素中でＰと判定された画素の数をest ｒ とし、e
    st ｌ ，est ｒ を用いて請求項９記載のヒストグラムを生
    成することを特徴とするステレオ画像視差計測方法。
  11. 【請求項１１】 請求項１乃至３のいずれかまたは請求
    項７または請求項８記載の水平方向Ｎ画素の一次元ウィ
    ンドゥごとのステレオ画像対応付け方法において、請求
    項４記載のｐ，ｚ，ｍのいずれかに３値化された後の左
    右２つの３値化画像のうち基準とする一方の３値化画像
    上に設定した一次元ウィンドゥ内のＮ画素中、左半分の
    Ｎ／２画素中に存在するｐおよびｍの画素の数をed
    g ｌ 、右半分のＮ／２画素中に存在するｐおよびｍの画
    素の数をedg ｒ とし、edg ｌ ，edg ｒ を用いて請求項９記
    載のヒストグラムを生成することを特徴とするステレオ
    画像視差計測方法。
JP12534694A 1994-06-07 1994-06-07 ステレオ画像対応付け方法およびステレオ画像視差計測方法 Expired - Lifetime JP3242529B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP12534694A JP3242529B2 (ja) 1994-06-07 1994-06-07 ステレオ画像対応付け方法およびステレオ画像視差計測方法
US08/460,712 US5719954A (en) 1994-06-07 1995-06-02 Stereo matching method and disparity measuring method
DE69512709T DE69512709T2 (de) 1994-06-07 1995-06-06 Verfahren zur Stereoübereinstimmung und Umgleichheitsmessung
EP95303841A EP0686942B1 (en) 1994-06-07 1995-06-06 Stereo matching method and disparity measuring method
CA002151078A CA2151078C (en) 1994-06-07 1995-06-06 Stereo matching method and disparity measuring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP12534694A JP3242529B2 (ja) 1994-06-07 1994-06-07 ステレオ画像対応付け方法およびステレオ画像視差計測方法

Publications (2)

Publication Number Publication Date
JPH07336669A JPH07336669A (ja) 1995-12-22
JP3242529B2 true JP3242529B2 (ja) 2001-12-25

Family

ID=14907848

Family Applications (1)

Application Number Title Priority Date Filing Date
JP12534694A Expired - Lifetime JP3242529B2 (ja) 1994-06-07 1994-06-07 ステレオ画像対応付け方法およびステレオ画像視差計測方法

Country Status (5)

Country Link
US (1) US5719954A (ja)
EP (1) EP0686942B1 (ja)
JP (1) JP3242529B2 (ja)
CA (1) CA2151078C (ja)
DE (1) DE69512709T2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6810362B2 (en) 2000-03-31 2004-10-26 Hitachi Construction Machinery Co., Ltd. Construction machine managing method and system, and arithmetic processing device
JP2009211561A (ja) * 2008-03-05 2009-09-17 Ntt Comware Corp 奥行きデータ生成装置及び奥行きデータ生成方法ならびにそのプログラム
US7818146B2 (en) 2004-09-29 2010-10-19 Abb Ag Method and device for the diagnosis of technical devices disposed within an industrial installation

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3539788B2 (ja) * 1995-04-21 2004-07-07 パナソニック モバイルコミュニケーションズ株式会社 画像間対応付け方法
JPH0962840A (ja) * 1995-08-30 1997-03-07 Sony Corp 画像照合方法と画像照合装置
US6222939B1 (en) 1996-06-25 2001-04-24 Eyematic Interfaces, Inc. Labeled bunch graphs for image analysis
WO1998003021A1 (en) 1996-06-28 1998-01-22 Sri International Small vision module for real-time stereo and motion analysis
US5652616A (en) * 1996-08-06 1997-07-29 General Instrument Corporation Of Delaware Optimal disparity estimation for stereoscopic video coding
DE19636028C1 (de) * 1996-09-05 1997-11-20 Daimler Benz Ag Verfahren zur Stereobild-Objektdetektion
US6693666B1 (en) * 1996-12-11 2004-02-17 Interval Research Corporation Moving imager camera for track and range capture
US5917937A (en) * 1997-04-15 1999-06-29 Microsoft Corporation Method for performing stereo matching to recover depths, colors and opacities of surface elements
US6215898B1 (en) * 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
US6381355B1 (en) * 1997-08-19 2002-04-30 The Hong Kong University Of Science And Technology Inspection method for comparison of articles
US6246784B1 (en) 1997-08-19 2001-06-12 The United States Of America As Represented By The Department Of Health And Human Services Method for segmenting medical images and detecting surface anomalies in anatomical structures
DE19810014C2 (de) * 1998-03-09 2000-04-06 Deutsch Zentr Luft & Raumfahrt Verfahren zum Auswerten eines Stereobildpaares zum Zweck der Erstellung von Disparitätskarten
US6272231B1 (en) 1998-11-06 2001-08-07 Eyematic Interfaces, Inc. Wavelet-based facial motion capture for avatar animation
KR100530812B1 (ko) 1998-04-13 2005-11-28 네브엔지니어링 인코포레이티드 아바타 애니메이션을 위한 웨이브렛-기반 얼굴 움직임 캡쳐
US6301370B1 (en) 1998-04-13 2001-10-09 Eyematic Interfaces, Inc. Face recognition from video images
US6222938B1 (en) * 1998-05-20 2001-04-24 Canon Kabushiki Kaisha Compensating pixel records of related images for detecting images disparity, apparatus and method
US6141440A (en) * 1998-06-04 2000-10-31 Canon Kabushiki Kaisha Disparity measurement with variably sized interrogation regions
US6519358B1 (en) * 1998-10-07 2003-02-11 Sony Corporation Parallax calculating apparatus, distance calculating apparatus, methods of the same, and information providing media
US7050655B2 (en) * 1998-11-06 2006-05-23 Nevengineering, Inc. Method for generating an animated three-dimensional video head
US6714661B2 (en) 1998-11-06 2004-03-30 Nevengineering, Inc. Method and system for customizing facial feature tracking using precise landmark finding on a neutral face image
US7050624B2 (en) * 1998-12-04 2006-05-23 Nevengineering, Inc. System and method for feature location and tracking in multiple dimensions including depth
US6721446B1 (en) * 1999-04-26 2004-04-13 Adobe Systems Incorporated Identifying intrinsic pixel colors in a region of uncertain pixels
DE19934904C2 (de) * 1999-07-21 2003-06-05 Deutsch Zentr Luft & Raumfahrt Verfahren und Vorrichtung zur Bildzuordnung
US6466695B1 (en) 1999-08-04 2002-10-15 Eyematic Interfaces, Inc. Procedure for automatic analysis of images and image sequences based on two-dimensional shape primitives
JP3263931B2 (ja) * 1999-09-22 2002-03-11 富士重工業株式会社 ステレオマッチング装置
US6975755B1 (en) * 1999-11-25 2005-12-13 Canon Kabushiki Kaisha Image processing method and apparatus
US6606406B1 (en) * 2000-05-04 2003-08-12 Microsoft Corporation System and method for progressive stereo matching of digital images
US6917703B1 (en) 2001-02-28 2005-07-12 Nevengineering, Inc. Method and apparatus for image analysis of a gabor-wavelet transformed image using a neural network
US7392287B2 (en) * 2001-03-27 2008-06-24 Hemisphere Ii Investment Lp Method and apparatus for sharing information using a handheld device
US6834115B2 (en) 2001-08-13 2004-12-21 Nevengineering, Inc. Method for optimizing off-line facial feature tracking
US6876364B2 (en) 2001-08-13 2005-04-05 Vidiator Enterprises Inc. Method for mapping facial animation values to head mesh positions
US6853379B2 (en) * 2001-08-13 2005-02-08 Vidiator Enterprises Inc. Method for mapping facial animation values to head mesh positions
US7715591B2 (en) * 2002-04-24 2010-05-11 Hrl Laboratories, Llc High-performance sensor fusion architecture
JP4216021B2 (ja) * 2002-08-30 2009-01-28 富士重工業株式会社 侵入物検出装置
JP4156893B2 (ja) * 2002-09-27 2008-09-24 富士フイルム株式会社 画像処理装置、方法及びプログラム
US7260250B2 (en) * 2002-09-30 2007-08-21 The United States Of America As Represented By The Secretary Of The Department Of Health And Human Services Computer-aided classification of anomalies in anatomical structures
KR100503820B1 (ko) * 2003-01-30 2005-07-27 학교법인 포항공과대학교 시스톨릭 어레이를 이용한 멀티레이어 실시간 입체 영상정합 시스템 및 방법
JP4406381B2 (ja) * 2004-07-13 2010-01-27 株式会社東芝 障害物検出装置及び方法
KR100601958B1 (ko) 2004-07-15 2006-07-14 삼성전자주식회사 3차원 객체 인식을 위한 양안차 추정 방법
US7248968B2 (en) * 2004-10-29 2007-07-24 Deere & Company Obstacle detection using stereo vision
US7473884B2 (en) * 2005-04-21 2009-01-06 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Orientation determination utilizing a cordless device
US7609249B2 (en) * 2005-04-21 2009-10-27 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Position determination utilizing a cordless device
JP4967250B2 (ja) * 2005-04-27 2012-07-04 カシオ計算機株式会社 距離測定装置及びその距離測定方法、及び距離測定装置を備えたプロジェクタ又はカメラ
US7505841B2 (en) * 2005-09-02 2009-03-17 Delphi Technologies, Inc. Vision-based occupant classification method and system for controlling airbag deployment in a vehicle restraint system
KR101185870B1 (ko) 2005-10-12 2012-09-25 삼성전자주식회사 3ｄ 입체 영상 처리 장치 및 방법
US20070109527A1 (en) * 2005-11-14 2007-05-17 Wenstrand John S System and method for generating position information
US7747068B1 (en) * 2006-01-20 2010-06-29 Andrew Paul Smyth Systems and methods for tracking the eye
US7796119B2 (en) * 2006-04-03 2010-09-14 Avago Technologies General Ip (Singapore) Pte. Ltd. Position determination with reference
KR100762670B1 (ko) 2006-06-07 2007-10-01 삼성전자주식회사 스테레오 이미지로부터 디스패리티 맵을 생성하는 방법 및장치와 그를 위한 스테레오 매칭 방법 및 장치
US8199975B2 (en) * 2006-12-12 2012-06-12 Cognex Corporation System and method for side vision detection of obstacles for vehicles
KR20080076628A (ko) * 2007-02-16 2008-08-20 삼성전자주식회사 영상의 입체감 향상을 위한 입체영상 표시장치 및 그 방법
US7986321B2 (en) * 2008-01-02 2011-07-26 Spatial Integrated Systems, Inc. System and method for generating structured light for 3-dimensional image rendering
CN101680756B (zh) * 2008-02-12 2012-09-05 松下电器产业株式会社 复眼摄像装置、测距装置、视差算出方法以及测距方法
EP2133726B1 (en) 2008-06-10 2011-06-01 Thomson Licensing Multi-image capture system with improved depth image resolution
US20100094936A1 (en) * 2008-10-15 2010-04-15 Nokia Corporation Dynamic Layering of an Object
CN101790103B (zh) * 2009-01-22 2012-05-30 华为技术有限公司 一种视差计算方法及装置
DE102009006125A1 (de) * 2009-01-26 2009-09-10 Daimler Ag Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten in stereoskopisch aufgenommenen Bildern
JP4934701B2 (ja) * 2009-06-30 2012-05-16 株式会社日立製作所 ステレオ画像処理装置およびステレオ画像処理方法
US20110025830A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
US8508580B2 (en) 2009-07-31 2013-08-13 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3D) images of a scene
WO2011014420A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional (3d) images
US9380292B2 (en) 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
US8284235B2 (en) * 2009-09-28 2012-10-09 Sharp Laboratories Of America, Inc. Reduction of viewer discomfort for stereoscopic images
GB2479410A (en) * 2010-04-09 2011-10-12 Tektronix Uk Ltd Measuring perceived stereoscopic visual depth
US8970672B2 (en) * 2010-05-28 2015-03-03 Qualcomm Incorporated Three-dimensional image processing
US8488870B2 (en) 2010-06-25 2013-07-16 Qualcomm Incorporated Multi-resolution, multi-window disparity estimation in 3D video processing
US9344701B2 (en) 2010-07-23 2016-05-17 3Dmedia Corporation Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3D) content creation
US9185388B2 (en) 2010-11-03 2015-11-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
CN102184540B (zh) * 2011-05-03 2013-03-20 哈尔滨工程大学 基于尺度空间的亚像素级立体匹配方法
CN103310482B (zh) * 2012-03-12 2016-08-10 山东智慧生活数据系统有限公司 一种三维重建方法及系统
US9183461B2 (en) 2012-05-11 2015-11-10 Intel Corporation Systems and methods for row causal scan-order optimization stereo matching
JP5982298B2 (ja) * 2013-02-21 2016-08-31 シャープ株式会社 障害物検出装置および障害物検出方法
JP6376474B2 (ja) 2013-05-29 2018-08-22 日本電気株式会社 多眼撮像システム、取得画像の合成処理方法、及びプログラム
CN103606162A (zh) * 2013-12-04 2014-02-26 福州大学 一种基于图像分割的立体匹配算法
CN103714543A (zh) * 2013-12-26 2014-04-09 南京理工大学 基于不变矩空间信息的简单树动态规划的双目立体匹配方法
KR102161785B1 (ko) 2014-10-14 2020-10-06 코닌클리케 필립스 엔.브이. ３차원 이미지의 시차의 프로세싱
US10504235B2 (en) * 2016-12-27 2019-12-10 Inuitive Ltd. Method for generating three dimensional images

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60217472A (ja) * 1984-04-13 1985-10-31 Hitachi Ltd 画像処理におけるエツジ抽出方法
US4825393A (en) * 1986-04-23 1989-04-25 Hitachi, Ltd. Position measuring method
US5220441A (en) * 1990-09-28 1993-06-15 Eastman Kodak Company Mechanism for determining parallax between digital images
JP3034975B2 (ja) * 1991-03-26 2000-04-17 株式会社東芝 パターン特徴抽出方法
US5179441A (en) * 1991-12-18 1993-01-12 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Near real-time stereo vision system
JPH05189570A (ja) * 1992-01-08 1993-07-30 Hitachi Ltd 濃淡画像パターンマッチング方法及びその装置並びに欠陥検出装置と文字認識装置と位置決め装置
JPH0621747A (ja) * 1992-07-03 1994-01-28 Hitachi Ltd 表面波フィルタ
US5606627A (en) * 1995-01-24 1997-02-25 Eotek Inc. Automated analytic stereo comparator

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6810362B2 (en) 2000-03-31 2004-10-26 Hitachi Construction Machinery Co., Ltd. Construction machine managing method and system, and arithmetic processing device
US7818146B2 (en) 2004-09-29 2010-10-19 Abb Ag Method and device for the diagnosis of technical devices disposed within an industrial installation
JP2009211561A (ja) * 2008-03-05 2009-09-17 Ntt Comware Corp 奥行きデータ生成装置及び奥行きデータ生成方法ならびにそのプログラム

Also Published As

Publication number Publication date
DE69512709D1 (de) 1999-11-18
DE69512709T2 (de) 2000-02-10
EP0686942A2 (en) 1995-12-13
CA2151078A1 (en) 1995-12-08
CA2151078C (en) 1999-07-27
JPH07336669A (ja) 1995-12-22
EP0686942B1 (en) 1999-10-13
EP0686942A3 (ja) 1996-01-17
US5719954A (en) 1998-02-17

Similar Documents

Publication Publication Date Title
JP3242529B2 (ja) ステレオ画像対応付け方法およびステレオ画像視差計測方法
JP3539788B2 (ja) 画像間対応付け方法
US7680323B1 (en) Method and apparatus for three-dimensional object segmentation
US7430312B2 (en) Creating 3D images of objects by illuminating with infrared patterns
EP2064675B1 (en) Method for determining a depth map from images, device for determining a depth map
Rashidi et al. Innovative stereo vision-based approach to generate dense depth map of transportation infrastructure
JP2000207693A (ja) 車載用障害物検出装置
JPH03200007A (ja) ステレオ計測装置
JPH0991436A (ja) 画像処理方法及びその装置
JP2807137B2 (ja) 立体形状検出方法
JPH08329110A (ja) 画像処理方法
Foggia et al. A real-time stereo-vision system for moving object and obstacle detection in AVG and AMR applications
JP2000331160A (ja) 画像マッチング装置、画像マッチング方法及び画像マッチング用プログラムを記録した記録媒体
CN107610170B (zh) 多目图像重聚焦的深度获取方法及系统
JPH05122602A (ja) 距離動画像入力処理方法
JP3525712B2 (ja) 三次元画像撮像方法及び三次元画像撮像装置
Ghita et al. Epipolar line extraction using feature matching
JPH06101024B2 (ja) 障害物検出装置
KR20180051241A (ko) 직사각형 윈도우를 이용한 스테레오 정합 방법 및 스테레오 정합 시스템
JPH0973554A (ja) ３次元シーン復元方法とその装置
JPH06215111A (ja) 視差検出処理方法
CN118447048A (zh) 位于比硬件立体系统最小距离更近的对象的检测
JPS62162175A (ja) ステレオ視覚装置
JPH10228542A (ja) 三次元計測方法及びその装置
CN110706334A (zh) 一种基于三目视觉的工业部件三维重构方法

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081019

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091019

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091019

Year of fee payment: 8

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091019

Year of fee payment: 8

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091019

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101019

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111019

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121019

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131019

Year of fee payment: 12

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term