JPH07287762A - ３次元参照画像切り出し方法および装置 - Google Patents
３次元参照画像切り出し方法および装置Info
- Publication number
- JPH07287762A JPH07287762A JP6266511A JP26651194A JPH07287762A JP H07287762 A JPH07287762 A JP H07287762A JP 6266511 A JP6266511 A JP 6266511A JP 26651194 A JP26651194 A JP 26651194A JP H07287762 A JPH07287762 A JP H07287762A
- Authority
- JP
- Japan
- Prior art keywords
- image
- fourier transform
- local
- reference image
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 従来の参照画像切り出し方式を３次元画像を
扱えるように拡張する。 【構成】 左右眼で見た場合に相当する左右画像に対
し、オーバーラップを許して小領域に分割した領域ごと
にフーリエ変換を実行する局所フーリエ変換を算出する
手段２を有し、記憶装置３にあらかじめ記憶されている
参照画像の左右の局所フーリエ変換像からフーリエ変換
の位相差を求める手段４またはフーリエ変換パワースペ
クトルを求める手段５を用いて、視差を位相差またはフ
ーリエ変換パワースペクトルのパタンとして表現してお
く。この両者いずれかの結果と参照画像を含む入力画像
の局所フーリエ変換像とから同一物体画像を予測する手
段６、局所逆フーリエ変換を算出する手段７および画像
間の相乗平均を求める手段８を使って、参照画像と視差
を含めて一致する画像の切り出しを行う。
扱えるように拡張する。 【構成】 左右眼で見た場合に相当する左右画像に対
し、オーバーラップを許して小領域に分割した領域ごと
にフーリエ変換を実行する局所フーリエ変換を算出する
手段２を有し、記憶装置３にあらかじめ記憶されている
参照画像の左右の局所フーリエ変換像からフーリエ変換
の位相差を求める手段４またはフーリエ変換パワースペ
クトルを求める手段５を用いて、視差を位相差またはフ
ーリエ変換パワースペクトルのパタンとして表現してお
く。この両者いずれかの結果と参照画像を含む入力画像
の局所フーリエ変換像とから同一物体画像を予測する手
段６、局所逆フーリエ変換を算出する手段７および画像
間の相乗平均を求める手段８を使って、参照画像と視差
を含めて一致する画像の切り出しを行う。
Description
【０００１】
【産業上の利用分野】本発明は、３次元入力画像からあ
らかじめ記憶されている３次元参照画像のみを切り出す
方法および装置に関する。
らかじめ記憶されている３次元参照画像のみを切り出す
方法および装置に関する。
【０００２】
【従来の技術】従来の参照画像を入力画像から切り出す
方式（「画像信号の処理方法」，特開平２−１５６３８
７号公報）は、入力画像のオーバーラップを許して小領
域に分割し、各領域ごとにフーリエ変換を施し、参照画
像の切り出しを行いながら切り出された画像の判定を行
うため、参照画像以外の画像が入力画像に含まれる場合
も正確に参照画像のみを切り出すことが可能であった。
方式（「画像信号の処理方法」，特開平２−１５６３８
７号公報）は、入力画像のオーバーラップを許して小領
域に分割し、各領域ごとにフーリエ変換を施し、参照画
像の切り出しを行いながら切り出された画像の判定を行
うため、参照画像以外の画像が入力画像に含まれる場合
も正確に参照画像のみを切り出すことが可能であった。
【０００３】この種の、参照画像を入力画像から切り出
すことは、心理学において、２つ以上の像を含む入力画
像から特定の像に対する選択的注意をおこない、選択さ
れた像とそれ以外の像とを区別する、物体のセグメンテ
ーションとして知られている。Ｆｕｋｕｓｈｉｍａら
は、選択的注意と物体のセグメンテーションを計算機上
で実行するための、いわゆるニューラルネットワークを
使ったモデルを提唱している［Ｆｕｋｕｓｈｉｍａ
Ｋ， Ｂｉｏｌ． Ｃｙｂｅｒｎ． ５５， ５−５５
（１９８６）， Ｆｕｋｕｓｈｉｍａ Ｋ ａｎｄ Ｉ
ｍａｇａｗａ Ｔ，Ｎｅｕｒａｌ Ｎｅｔｏｗｏｒｋ
ｓ， Ｖｏｌ． ６，３３−４１（１９９３）］。この
方法は、ネオコグニトロン（Ｎｅｏｃｏｇｎｉｔｏｒｏ
ｎ）と呼ばれる、階層型のニューラルネットワークを用
いることを特徴としており、あらかじめ切り出しの対象
となる画像を入力し、ある程度の変形、位置ずれ、大き
さの違いに対してロバストな出力を出すように、ネット
ワークを学習させておく。次に、学習に使用した画像を
含む入力画像を入力し、このとき想起された画像の情報
を上位層から入力に近い下位層へ送る。次に、切り出し
（ゼグメンテーション）の対象となる画像のテンプレー
ト情報を、入力画像と想起された画像に関する情報とか
ら、下層のニューロンへの入力重み付け学習によって求
め、対象画像のみの切り出しを実行する。また、この方
法は、前述したように参照画像に対する学習をおこなっ
ているため、入力画像と記憶画像がある程度異なってい
る場合であっても、正確に切り出しを実行することが可
能である。
すことは、心理学において、２つ以上の像を含む入力画
像から特定の像に対する選択的注意をおこない、選択さ
れた像とそれ以外の像とを区別する、物体のセグメンテ
ーションとして知られている。Ｆｕｋｕｓｈｉｍａら
は、選択的注意と物体のセグメンテーションを計算機上
で実行するための、いわゆるニューラルネットワークを
使ったモデルを提唱している［Ｆｕｋｕｓｈｉｍａ
Ｋ， Ｂｉｏｌ． Ｃｙｂｅｒｎ． ５５， ５−５５
（１９８６）， Ｆｕｋｕｓｈｉｍａ Ｋ ａｎｄ Ｉ
ｍａｇａｗａ Ｔ，Ｎｅｕｒａｌ Ｎｅｔｏｗｏｒｋ
ｓ， Ｖｏｌ． ６，３３−４１（１９９３）］。この
方法は、ネオコグニトロン（Ｎｅｏｃｏｇｎｉｔｏｒｏ
ｎ）と呼ばれる、階層型のニューラルネットワークを用
いることを特徴としており、あらかじめ切り出しの対象
となる画像を入力し、ある程度の変形、位置ずれ、大き
さの違いに対してロバストな出力を出すように、ネット
ワークを学習させておく。次に、学習に使用した画像を
含む入力画像を入力し、このとき想起された画像の情報
を上位層から入力に近い下位層へ送る。次に、切り出し
（ゼグメンテーション）の対象となる画像のテンプレー
ト情報を、入力画像と想起された画像に関する情報とか
ら、下層のニューロンへの入力重み付け学習によって求
め、対象画像のみの切り出しを実行する。また、この方
法は、前述したように参照画像に対する学習をおこなっ
ているため、入力画像と記憶画像がある程度異なってい
る場合であっても、正確に切り出しを実行することが可
能である。
【０００４】３次元画像を直接扱うことが可能な、参照
画像を入力画像から切り出す方式は提案されていない
が、被写体を左右眼で見たときに相当する画像から３次
元的な物体形状を再構成する技術が提唱されている。こ
の技術を使って、あらかじめ記憶してある参照画像から
再構成した立体形状と、入力画像から再構成した立体形
状との比較をおこなうことによって、３次元的な像の切
り出しをおこなうことが可能である。そこで、被写体を
左右眼でみたときに相当する画像から３次元的な物体形
状を再構成する技術について述べる。
画像を入力画像から切り出す方式は提案されていない
が、被写体を左右眼で見たときに相当する画像から３次
元的な物体形状を再構成する技術が提唱されている。こ
の技術を使って、あらかじめ記憶してある参照画像から
再構成した立体形状と、入力画像から再構成した立体形
状との比較をおこなうことによって、３次元的な像の切
り出しをおこなうことが可能である。そこで、被写体を
左右眼でみたときに相当する画像から３次元的な物体形
状を再構成する技術について述べる。
【０００５】Ｍａｒｒらは、ランダムドット・ステレオ
グラムを入力画像とし、人間が知覚する立体的な像の再
構成をおこなう方法を提案した［Ｍａｒｒ Ｄ， ＶＩ
ＳＩＯＮ，ｐｐ１１１−１２２，Ｗ．Ｈ．Ｆｒｅｍａｎ
ａｎｄ ＣｏｍｐａｎｙＮｅｗ Ｙｏｒｋ （１９８
２）］。この方法は、（１）適合性（ｃｏｍｐａｔｉｂ
ｉｌｉｔｙ）：対応する点は類似の性質を持つ（黒ドッ
トは黒ドットのみと整合する）、（２）一意性（ｕｎｉ
ｑｕｅｎｅｓｓ）：一方の画像上の点は、他方の画像上
の２点以上とは対応しない（一つのドットは一つのドッ
トのみと整合する）、（３）連続性（ｃｏｎｔｉｎｕｉ
ｔｙ）：視差は、滑らかに変化する、といった３条件を
満たしながら、左右画像の各ドット間の対応をとり、そ
のドット間の位置の差を視差とすることによって、立体
像の再構成をおこなうものである。
グラムを入力画像とし、人間が知覚する立体的な像の再
構成をおこなう方法を提案した［Ｍａｒｒ Ｄ， ＶＩ
ＳＩＯＮ，ｐｐ１１１−１２２，Ｗ．Ｈ．Ｆｒｅｍａｎ
ａｎｄ ＣｏｍｐａｎｙＮｅｗ Ｙｏｒｋ （１９８
２）］。この方法は、（１）適合性（ｃｏｍｐａｔｉｂ
ｉｌｉｔｙ）：対応する点は類似の性質を持つ（黒ドッ
トは黒ドットのみと整合する）、（２）一意性（ｕｎｉ
ｑｕｅｎｅｓｓ）：一方の画像上の点は、他方の画像上
の２点以上とは対応しない（一つのドットは一つのドッ
トのみと整合する）、（３）連続性（ｃｏｎｔｉｎｕｉ
ｔｙ）：視差は、滑らかに変化する、といった３条件を
満たしながら、左右画像の各ドット間の対応をとり、そ
のドット間の位置の差を視差とすることによって、立体
像の再構成をおこなうものである。
【０００６】Ｍａｒｒは、この方法を使った場合に「点
対点の対応が屡々誤った対応となる」ことを指摘し、こ
の点を改良するため、異なる３つの空間周波数特性をも
つフィルタを使って左右画像の明暗の境界線（０交差
線）を求め、次に左右画像間の明暗の境界線の対応を同
一の空間周波数フィルタで求めた画像同士で行った後
に、各点の視差の和を求める方法を提案した［Ｍａｒｒ
Ｄ， ＶＩＳＩＯＮ，ｐｐ１２２−１４０，Ｗ．Ｈ．
Ｆｒｅｍａｎ ａｎｄ Ｃｏｍｐａｎｙ ＮｅｗＹｏｒ
ｋ（１９８２）］。Ｎｉｓｈｉｈａｒａは、「特徴点の
少ない画像では、明暗の境界が少ないため視差が求めに
くい」点を改良した方法を提案している［Ｎｉｓｈｉｈ
ａｒａ Ｈ．Ｋ．， Ｓｅｐ．／Ｏｃｔ． ｉｓｓｕｅ
ｏｆ Ｏｐｔｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ，ｖ
ｏｌ．２３，Ｎｏ．５，（１９８４）］。これは、原画
像全体に仮想的なランダムドットを置き、仮想的な明暗
を境界線を増加させる方法である。ＷｏｏｄとＮａｓｈ
ｕａは、画像上に人工的なテクスチャを作り左右眼にお
けるテクスチャの見え方の違いを利用することによっ
て、像の立体的な形状を調べる方法を提案している［Ｇ
ｅｏｒｇｅ Ａ．Ｗｏｏｄ， Ｎａｓｈｕａ Ｎ．
Ｈ．， ＵＳ４８４２４１１（１９８９）］。この方法
は、広義には、画像上の特徴点を仮想的に増加させる方
法といえる。
対点の対応が屡々誤った対応となる」ことを指摘し、こ
の点を改良するため、異なる３つの空間周波数特性をも
つフィルタを使って左右画像の明暗の境界線（０交差
線）を求め、次に左右画像間の明暗の境界線の対応を同
一の空間周波数フィルタで求めた画像同士で行った後
に、各点の視差の和を求める方法を提案した［Ｍａｒｒ
Ｄ， ＶＩＳＩＯＮ，ｐｐ１２２−１４０，Ｗ．Ｈ．
Ｆｒｅｍａｎ ａｎｄ Ｃｏｍｐａｎｙ ＮｅｗＹｏｒ
ｋ（１９８２）］。Ｎｉｓｈｉｈａｒａは、「特徴点の
少ない画像では、明暗の境界が少ないため視差が求めに
くい」点を改良した方法を提案している［Ｎｉｓｈｉｈ
ａｒａ Ｈ．Ｋ．， Ｓｅｐ．／Ｏｃｔ． ｉｓｓｕｅ
ｏｆ Ｏｐｔｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ，ｖ
ｏｌ．２３，Ｎｏ．５，（１９８４）］。これは、原画
像全体に仮想的なランダムドットを置き、仮想的な明暗
を境界線を増加させる方法である。ＷｏｏｄとＮａｓｈ
ｕａは、画像上に人工的なテクスチャを作り左右眼にお
けるテクスチャの見え方の違いを利用することによっ
て、像の立体的な形状を調べる方法を提案している［Ｇ
ｅｏｒｇｅ Ａ．Ｗｏｏｄ， Ｎａｓｈｕａ Ｎ．
Ｈ．， ＵＳ４８４２４１１（１９８９）］。この方法
は、広義には、画像上の特徴点を仮想的に増加させる方
法といえる。
【０００７】上述した３次元的な物体形状の再構成方法
と異なる方法として、動的計画法（ｄｙｎａｍｉｃ ｐ
ｒｏｇｒａｍｍｉｎｇ）を利用した方法がある。この方
法は、まず被写体を左右眼で見たときに相当する画像を
得る装置の、左右のレンズ中心と被写体の任意の点を結
ぶ３角形が作るエピポーラ面が、左右の画像面と交わっ
てできる交線（エピポーラ線）を求める。ここで、「左
右一方のエピポーラ線上の点は、他方の画像上での対応
点がある場合は、対をなすエピポーラ線上に存在する」
という性質を利用し、左右２次元画像の対応点をとる問
題を１次元的な対応点の問題へと置き換える。すなわ
ち、左右画像間の視差を求める問題は、左画像の各エポ
ピラー線上の点と右画像の各エピポーラ線上の点の組み
合わせに関するコスト関数を定義し、その値を最小にす
るペアを求める動的計画法の問題に帰着させることがで
きる。ＯｈｔａとＫａｎａｄｅは、このコストに関数
を、前述したＭａｒｒらの３条件を含むように再定義
し、自然画像に対して３次元形状の再構成を試みている
［Ｏｈｔａ Ｙ， Ｋａｎａｄｅ Ｔ， ＩＥＥＥ Ｔ
ｒａｎｓ． Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎ
ｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ＰＡ
ＭＩ−７（２）：１３９−１５４， Ｍａｒ（１９８
５）］。また、ＡｎｄｅｒｓｏｎとＭａｔｔｈｉｅｓ
は、エピポーラ線上の代表点を中心とした２次元的な窓
を作り、左右画像の対応する窓ごとの画像に対して、左
画像をｘ軸方向にずらした画像と右画像との差をとるこ
とによって、ある種の画像相関を計算し、その相関強度
から判断される視差と、ＯｈｔａとＫａｎａｄｅらの方
法とを組み合わせた方法を提案している［Ｃｈａｒｌｅ
ｓ Ｈ．Ａｎｄｅｒｓｅｎ， Ｌａｒｒｙ Ｈ． Ｍａ
ｔｔｈｉｅｓ， ＵＳ５１７９４４１（１９９３）］。
この方法は、隣接するエポピラー線における対応結果と
の整合性を強化した方法といえる。
と異なる方法として、動的計画法（ｄｙｎａｍｉｃ ｐ
ｒｏｇｒａｍｍｉｎｇ）を利用した方法がある。この方
法は、まず被写体を左右眼で見たときに相当する画像を
得る装置の、左右のレンズ中心と被写体の任意の点を結
ぶ３角形が作るエピポーラ面が、左右の画像面と交わっ
てできる交線（エピポーラ線）を求める。ここで、「左
右一方のエピポーラ線上の点は、他方の画像上での対応
点がある場合は、対をなすエピポーラ線上に存在する」
という性質を利用し、左右２次元画像の対応点をとる問
題を１次元的な対応点の問題へと置き換える。すなわ
ち、左右画像間の視差を求める問題は、左画像の各エポ
ピラー線上の点と右画像の各エピポーラ線上の点の組み
合わせに関するコスト関数を定義し、その値を最小にす
るペアを求める動的計画法の問題に帰着させることがで
きる。ＯｈｔａとＫａｎａｄｅは、このコストに関数
を、前述したＭａｒｒらの３条件を含むように再定義
し、自然画像に対して３次元形状の再構成を試みている
［Ｏｈｔａ Ｙ， Ｋａｎａｄｅ Ｔ， ＩＥＥＥ Ｔ
ｒａｎｓ． Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎ
ｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ＰＡ
ＭＩ−７（２）：１３９−１５４， Ｍａｒ（１９８
５）］。また、ＡｎｄｅｒｓｏｎとＭａｔｔｈｉｅｓ
は、エピポーラ線上の代表点を中心とした２次元的な窓
を作り、左右画像の対応する窓ごとの画像に対して、左
画像をｘ軸方向にずらした画像と右画像との差をとるこ
とによって、ある種の画像相関を計算し、その相関強度
から判断される視差と、ＯｈｔａとＫａｎａｄｅらの方
法とを組み合わせた方法を提案している［Ｃｈａｒｌｅ
ｓ Ｈ．Ａｎｄｅｒｓｅｎ， Ｌａｒｒｙ Ｈ． Ｍａ
ｔｔｈｉｅｓ， ＵＳ５１７９４４１（１９９３）］。
この方法は、隣接するエポピラー線における対応結果と
の整合性を強化した方法といえる。
【０００８】
【発明が解決しようとする課題】上述した従来の参照画
像を入力画像から切り出す方式［特開平２−１５６３８
７号公報］は、２次元画像しか扱えなかったため、あら
かじめ記憶されている３次元参照画像を３次元入力画像
から切り出す場合には適用できなかった。
像を入力画像から切り出す方式［特開平２−１５６３８
７号公報］は、２次元画像しか扱えなかったため、あら
かじめ記憶されている３次元参照画像を３次元入力画像
から切り出す場合には適用できなかった。
【０００９】Ｆｕｋｓｈｉｍａら［Ｆｕｋｕｓｈｉｍａ
Ｋ， Ｂｉｏｌ．Ｃｙｂｅｒｎ．５５， ５−５５
（１９８６），Ｆｕｋｕｓｈｉｍａ Ｋ ａｎｄ Ｉｍ
ａｇａｗａ Ｔ， Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，
Ｖｏｌ． ６， ３３−４１（１９９３）］によって
提案されている方法を用い、左画像と右画像を独立に扱
うことによって、本発明と同様の効果を得ることは可能
であるが、左眼像と右眼像の対応関係が全く独立である
ため、左右画像に対応しない画像が含まれる場合であっ
ても、誤った画像を切り出す問題がある。また、Ｆｕｋ
ｕｓｈｉｍａのモデルを３次元画像を扱えるように誇張
するためには、左右画像の対応点を求め、視差を検出す
る手段が必要となる。
Ｋ， Ｂｉｏｌ．Ｃｙｂｅｒｎ．５５， ５−５５
（１９８６），Ｆｕｋｕｓｈｉｍａ Ｋ ａｎｄ Ｉｍ
ａｇａｗａ Ｔ， Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，
Ｖｏｌ． ６， ３３−４１（１９９３）］によって
提案されている方法を用い、左画像と右画像を独立に扱
うことによって、本発明と同様の効果を得ることは可能
であるが、左眼像と右眼像の対応関係が全く独立である
ため、左右画像に対応しない画像が含まれる場合であっ
ても、誤った画像を切り出す問題がある。また、Ｆｕｋ
ｕｓｈｉｍａのモデルを３次元画像を扱えるように誇張
するためには、左右画像の対応点を求め、視差を検出す
る手段が必要となる。
【００１０】ＭａｒｒとＰｏｇｇｉｏの方法を発展させ
た、Ｎｉｓｈｉｈａｒａの方法［Ｎｉｓｈｉｈａｒａ
Ｈ．Ｋ．，Ｓｅｐ．／Ｏｃｔ． ｉｓｓｕｅ ｏｆ Ｏ
ｐｔｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ， ｖｏｌ．２
３， Ｎｏ．５，（１９８４）］は、特徴点の少ない実
画像に対してどのような方法でランダムドットを置くか
が問題となり、正しい視差が得られない場合は、３次元
的な物体形状の再構成が正確に求められない欠点があ
る。また、ＷｏｏｄとＮａｓｈｕａ方法［Ｇｅｏｒｇｅ
Ａ． Ｗｏｏｄ，Ｎａｓｈｕｒａ Ｎ．Ｈ．， ＵＳ
４８４２４１１（１９８９）］は、実画像に対して画像
表面に特徴線を与える方法を提供しているが、起状のな
い平板が飛び出している場合には、左右画像の表面に作
られるテクスチャに有為な差がないため、視差を正確に
求めることが不可能となり、正しい視差が得られない場
合は、３次元的な物体形状の再構成が正確に求められな
い欠点がある。
た、Ｎｉｓｈｉｈａｒａの方法［Ｎｉｓｈｉｈａｒａ
Ｈ．Ｋ．，Ｓｅｐ．／Ｏｃｔ． ｉｓｓｕｅ ｏｆ Ｏ
ｐｔｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ， ｖｏｌ．２
３， Ｎｏ．５，（１９８４）］は、特徴点の少ない実
画像に対してどのような方法でランダムドットを置くか
が問題となり、正しい視差が得られない場合は、３次元
的な物体形状の再構成が正確に求められない欠点があ
る。また、ＷｏｏｄとＮａｓｈｕａ方法［Ｇｅｏｒｇｅ
Ａ． Ｗｏｏｄ，Ｎａｓｈｕｒａ Ｎ．Ｈ．， ＵＳ
４８４２４１１（１９８９）］は、実画像に対して画像
表面に特徴線を与える方法を提供しているが、起状のな
い平板が飛び出している場合には、左右画像の表面に作
られるテクスチャに有為な差がないため、視差を正確に
求めることが不可能となり、正しい視差が得られない場
合は、３次元的な物体形状の再構成が正確に求められな
い欠点がある。
【００１１】ＯｈｔａとＫａｎａｄｅの方法［Ｏｈｔａ
Ｙ， Ｋａｎａｄｅ Ｔ， ＩＥＥＥ Ｔｒａｎｓ．
Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃ
ｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ＰＡＭＩ−７
（２）： １３９−１５４，Ｍａｒ（１９８５）］や、
ＡｎｄｅｒｓｏｎとＭａｔｔｈｉｅｓの方法［Ｃｈａｒ
ｌｅｓ Ｈ． Ａｎｄｅｒｓｅｎ， Ｌａｒｒｙ Ｈ．
Ｍａｔｔｈｉｅｓ，ＵＳ５１７９４４１（１９９
３）］は、水平線に近い線分が画像内にある場合、左右
画像のエピポーラ線上の正しい視差を表す対応点がとり
にくいため、３次元的な物体形状の再構成が正確に求め
られない欠点がある。
Ｙ， Ｋａｎａｄｅ Ｔ， ＩＥＥＥ Ｔｒａｎｓ．
Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃ
ｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ＰＡＭＩ−７
（２）： １３９−１５４，Ｍａｒ（１９８５）］や、
ＡｎｄｅｒｓｏｎとＭａｔｔｈｉｅｓの方法［Ｃｈａｒ
ｌｅｓ Ｈ． Ａｎｄｅｒｓｅｎ， Ｌａｒｒｙ Ｈ．
Ｍａｔｔｈｉｅｓ，ＵＳ５１７９４４１（１９９
３）］は、水平線に近い線分が画像内にある場合、左右
画像のエピポーラ線上の正しい視差を表す対応点がとり
にくいため、３次元的な物体形状の再構成が正確に求め
られない欠点がある。
【００１２】上述した、被写体を左右眼で見たときに相
当する画像から３次元的な物体形状を再構成する方法を
使って、参照画像を入力画像から切り出すことを試みる
場合、まず参照画像から再構成した立体形状をあらかじ
め記憶しておき、次に入力画像から再構成した立体形状
と類似の形状をもつ記憶像を推測し、入力画像から再構
成した立体形状から推測された参照画像と類似の画像を
取り出すことが必要となる。従って、立体形状の再構成
は左右画像の視差情報のみを使っているため、３次元的
な物体の形状が正確に求められない場合は、誤った切り
出しを実行する問題がある。また、正確な立体形状が再
現された場合であっても、入力画像から参照画像と類似
の画像のテンプレート情報を得るには、例えば、参照画
像と入力画像の立体形状間で３次元的な相関をとり、位
置や奥行き方向のズレの推定をおこない、さらに同一の
特徴を持つ物体であるか判定を行う必要がある。３次元
的な画像同士の相関は、画像の規模が大きくなると、計
算量が飛躍的に増大し、記憶容量も多大になる問題があ
る。
当する画像から３次元的な物体形状を再構成する方法を
使って、参照画像を入力画像から切り出すことを試みる
場合、まず参照画像から再構成した立体形状をあらかじ
め記憶しておき、次に入力画像から再構成した立体形状
と類似の形状をもつ記憶像を推測し、入力画像から再構
成した立体形状から推測された参照画像と類似の画像を
取り出すことが必要となる。従って、立体形状の再構成
は左右画像の視差情報のみを使っているため、３次元的
な物体の形状が正確に求められない場合は、誤った切り
出しを実行する問題がある。また、正確な立体形状が再
現された場合であっても、入力画像から参照画像と類似
の画像のテンプレート情報を得るには、例えば、参照画
像と入力画像の立体形状間で３次元的な相関をとり、位
置や奥行き方向のズレの推定をおこない、さらに同一の
特徴を持つ物体であるか判定を行う必要がある。３次元
的な画像同士の相関は、画像の規模が大きくなると、計
算量が飛躍的に増大し、記憶容量も多大になる問題があ
る。
【００１３】本発明の目的は、上述した問題点を解決す
る３次元参照画像の切り出し方法を提供することにあ
る。
る３次元参照画像の切り出し方法を提供することにあ
る。
【００１４】本発明の他の目的は、上記方法を実施する
３次元参照画像の切り出し装置を提供することにある。
３次元参照画像の切り出し装置を提供することにある。
【００１５】
【課題を解決するための手段】本発明の３次元参照画像
切り出し方法は、被写体を左右眼で見たときに相当する
画像を、画像入力装置から取り入れ、得られた左右２つ
の入力画像に対してオーバーラップを許して小領域に分
割した上で各領域ごとにフーリエ変換を施した局所フー
リエ変換像のデータと、あらかじめ用意した参照画像の
左右画像の局所フーリエ変換像のデータとから、参照画
像と視差を含めて一致する物体の画像を、左右画像の視
差を左画像、右画像の局所フーリエ変換像の位相差で表
すことで予測し、予測された物体の画像のみを入力した
画像から切り出す。
切り出し方法は、被写体を左右眼で見たときに相当する
画像を、画像入力装置から取り入れ、得られた左右２つ
の入力画像に対してオーバーラップを許して小領域に分
割した上で各領域ごとにフーリエ変換を施した局所フー
リエ変換像のデータと、あらかじめ用意した参照画像の
左右画像の局所フーリエ変換像のデータとから、参照画
像と視差を含めて一致する物体の画像を、左右画像の視
差を左画像、右画像の局所フーリエ変換像の位相差で表
すことで予測し、予測された物体の画像のみを入力した
画像から切り出す。
【００１６】また、本発明の３次元参照画像切り出し装
置は、フーリエ変換の位相差を求める手段またはフーリ
エ変換パワースペクトルのパタンを算出する手段、およ
び同一物体画像を予測する手段を有している。前記フー
リエ変換の位相差を求める手段またはフーリエ変換パワ
ースペクトルのパタンを算出する手段によって、左右の
画像間の視差を位相差で表現し３次元画像を扱えるよう
に拡張している。また、前記同一物体を予測する手段に
よって、参照画像と視差を含めて一致する物体の画像を
入力画像から予測することによって、３次元参照画像の
みを、入力した３次元画像から切り出すことを可能にし
ている。
置は、フーリエ変換の位相差を求める手段またはフーリ
エ変換パワースペクトルのパタンを算出する手段、およ
び同一物体画像を予測する手段を有している。前記フー
リエ変換の位相差を求める手段またはフーリエ変換パワ
ースペクトルのパタンを算出する手段によって、左右の
画像間の視差を位相差で表現し３次元画像を扱えるよう
に拡張している。また、前記同一物体を予測する手段に
よって、参照画像と視差を含めて一致する物体の画像を
入力画像から予測することによって、３次元参照画像の
みを、入力した３次元画像から切り出すことを可能にし
ている。
【００１７】
【実施例】次に、本発明の実施例について図面を参照し
て説明する。
て説明する。
【００１８】（実施例１）図１は、本発明の３次元参照
画像切り出し装置の一構成例を示す。この３次元参照画
像切り出し装置は、画像入力手段１と、局所フーリエ変
換を算出する手段２と、記憶装置３と、フーリエ変換の
位相差を求める手段４と、フーリエ変換パワースペクト
ルのパタンを算出する手段５と、同一物体画像を予測す
る手段６と、局所逆フーリエ変換を算出する手段７と、
画像間の相乗平均を求める手段８と、画像を出力する手
段９とから構成される。
画像切り出し装置の一構成例を示す。この３次元参照画
像切り出し装置は、画像入力手段１と、局所フーリエ変
換を算出する手段２と、記憶装置３と、フーリエ変換の
位相差を求める手段４と、フーリエ変換パワースペクト
ルのパタンを算出する手段５と、同一物体画像を予測す
る手段６と、局所逆フーリエ変換を算出する手段７と、
画像間の相乗平均を求める手段８と、画像を出力する手
段９とから構成される。
【００１９】まず、参照画像データの作成方法について
説明する。
説明する。
【００２０】初めに、切り出しの対象となる参照画像を
左右眼で見た場合に相当する左右の画像を、画像入力手
段１から入力する。次に、局所フーリエ変換を算出する
手段２を用いて、入力された参照画像の左右の画像に対
してオーバーラップを許して小領域に分割した上で各領
域ごとのフーリエ変換を実行する。この局所フーリエ変
換は次式で示される。
左右眼で見た場合に相当する左右の画像を、画像入力手
段１から入力する。次に、局所フーリエ変換を算出する
手段２を用いて、入力された参照画像の左右の画像に対
してオーバーラップを許して小領域に分割した上で各領
域ごとのフーリエ変換を実行する。この局所フーリエ変
換は次式で示される。
【００２１】
【数１】
【００２２】ここで、μは左画像と右画像を分ける指示
を示し、
を示し、
【００２３】
【数２】
【００２４】は入力された画像を示している。また、
【００２５】
【数３】
【００２６】はガウシアンウィンドウを示し、Ｘは入力
された画像の空間におけるガウシアンウィンドウの中心
座標である。（１）式から得られた結果を記憶装置３に
格納する。
された画像の空間におけるガウシアンウィンドウの中心
座標である。（１）式から得られた結果を記憶装置３に
格納する。
【００２７】次に、入力画像から参照画像と同一物体の
画像を切り出す方法について説明する。
画像を切り出す方法について説明する。
【００２８】まず、参照画像を含む入力画像を左右眼で
見た場合に相当する左右の画像を、画像入力手段１から
入力する。次に、この左右の画像それぞれに対して、局
所フーリエ変換を算出する手段２で、（１）式に基づい
て局所フーリエ変換を実行する。この結果は、同一物体
を予測する手段６に送られる。
見た場合に相当する左右の画像を、画像入力手段１から
入力する。次に、この左右の画像それぞれに対して、局
所フーリエ変換を算出する手段２で、（１）式に基づい
て局所フーリエ変換を実行する。この結果は、同一物体
を予測する手段６に送られる。
【００２９】ここで、フーリエ変換の位相差を求める手
段４およびフーリエ変換パワースペクトルのパタンを算
出する手段５のアルゴリズムについて簡単に説明する。
はじめに、右画像と左画像の局所フーリエ変換像間の位
相差をδφとし、両者の大きさがほぼ等しいと仮定する
と、
段４およびフーリエ変換パワースペクトルのパタンを算
出する手段５のアルゴリズムについて簡単に説明する。
はじめに、右画像と左画像の局所フーリエ変換像間の位
相差をδφとし、両者の大きさがほぼ等しいと仮定する
と、
【００３０】
【数４】
【００３１】と書くことができる。一方、右画像と左画
像に視差Δがある場合、すなわちｆR（ｘ）＝ｆL（ｘ−
Δ）と表すことができる場合には、右画像の局所フーリ
エ変換像は左画像の局所フーリエ変換像を使って、
像に視差Δがある場合、すなわちｆR（ｘ）＝ｆL（ｘ−
Δ）と表すことができる場合には、右画像の局所フーリ
エ変換像は左画像の局所フーリエ変換像を使って、
【００３２】
【数５】
【００３３】と書くことができる。（２）式と（３）式
は、δφ＝ｋΔ（ｍｏｄ２π）を満たすときに等価とな
るため、右画像と左画像の局所フーリエ変換像間の位相
差δφから視差Δを求めることが可能である。また、次
に示すような左画像の局所フーリエ変換と右画像の局所
フーリエ変換に位相項を付加したものの和から、フーリ
エ変換パワースペクトルを求める。
は、δφ＝ｋΔ（ｍｏｄ２π）を満たすときに等価とな
るため、右画像と左画像の局所フーリエ変換像間の位相
差δφから視差Δを求めることが可能である。また、次
に示すような左画像の局所フーリエ変換と右画像の局所
フーリエ変換に位相項を付加したものの和から、フーリ
エ変換パワースペクトルを求める。
【００３４】
【数６】
【００３５】（３）式を（４）式に代入すると、Ｐ
B（ｋ，Ｘ，δφ）は、δφ＝ｋΔ（ｍｏｄ２π）を満
たす場合に最大となり、このようなフーリエ変換パワー
スペクトルのパタンからも視差Δを求めることが可能で
ある。前述のフーリエ変換の位相差を求める手段４は、
（２）式からδφを算出する手段であり、また前述のフ
ーリエ変換パワースペクトルのパタンを求める手段５
は、（４）式からＰB（ｋ，Ｘ，δφ）を算出する手段
である。
B（ｋ，Ｘ，δφ）は、δφ＝ｋΔ（ｍｏｄ２π）を満
たす場合に最大となり、このようなフーリエ変換パワー
スペクトルのパタンからも視差Δを求めることが可能で
ある。前述のフーリエ変換の位相差を求める手段４は、
（２）式からδφを算出する手段であり、また前述のフ
ーリエ変換パワースペクトルのパタンを求める手段５
は、（４）式からＰB（ｋ，Ｘ，δφ）を算出する手段
である。
【００３６】同一物体画像を予測する手段６は、記憶装
置３に保持している参照画像の局所フーリエ変換像と入
力画像の局所フーリエ変換像を使って、参照画像と同一
物体の画像の局所フーリエ変換像を予測し出力する手段
である。ここで、参照画像の左右画像の局所フーリエ変
換像を
置３に保持している参照画像の局所フーリエ変換像と入
力画像の局所フーリエ変換像を使って、参照画像と同一
物体の画像の局所フーリエ変換像を予測し出力する手段
である。ここで、参照画像の左右画像の局所フーリエ変
換像を
【００３７】
【数７】
【００３８】、入力画像の左右画像の局所フーリエ変換
像を
像を
【００３９】
【数８】
【００４０】、また予測される左右画像の局所フーリエ
変換像を
変換像を
【００４１】
【数９】
【００４２】とおくと、
【００４３】
【数１０】
【００４４】を予測するアルゴリズムとしては例えば次
の３種が考えられる。
の３種が考えられる。
【００４５】（第１のアルゴリズム）記憶装置３に保持
されている左右画像の局所フーリエ変換像と、フーリエ
変換の位相差を求める手段４とから、
されている左右画像の局所フーリエ変換像と、フーリエ
変換の位相差を求める手段４とから、
【００４６】
【数１１】
【００４７】を満たすようなδφ1を求める。同一物体
画像を予測する手段６は、このδφ1と入力画像の局所
フーリエ変換像とから、
画像を予測する手段６は、このδφ1と入力画像の局所
フーリエ変換像とから、
【００４８】
【数１２】
【００４９】を求め出力する。
【００５０】（第２のアルゴリズム）（第１のアルゴリ
ズム）と同様に、
ズム）と同様に、
【００５１】
【数１３】
【００５２】を満たすようなδφ1を求める。同一物体
画像を予測する手段６は、このδφ1と参照画像の局所
フーリエ変換の振幅と入力画像の局所フーリエ変換像と
から、
画像を予測する手段６は、このδφ1と参照画像の局所
フーリエ変換の振幅と入力画像の局所フーリエ変換像と
から、
【００５３】
【数１４】
【００５４】を求め出力する。δは小さい正の定数であ
る。（６）式は、一種の局所空間周波数フィルタリング
処理になっており、参照画像には含まれていない局所空
間周波数成分をもつような背景パタンは、この処理によ
って除去される。例えば、ある（ｋ，Ｘ）において、背
景パタンのために
る。（６）式は、一種の局所空間周波数フィルタリング
処理になっており、参照画像には含まれていない局所空
間周波数成分をもつような背景パタンは、この処理によ
って除去される。例えば、ある（ｋ，Ｘ）において、背
景パタンのために
【００５５】
【数１５】
【００５６】が大きな値をとる場合であっても、
【００５７】
【数１６】
【００５８】となりこの（ｋ，Ｘ）成分は０となること
がわかる。また、（６）式から例えば、Ｆ’R（ｋ，
Ｘ）の位相はＦL（ｋ，Ｘ）に対して参照画像の左右画
像と同一の位相差、すなわち同一の視差を与えるように
設定される。もし入力画像が参照画像と同一の物体から
得られるものとすると、
がわかる。また、（６）式から例えば、Ｆ’R（ｋ，
Ｘ）の位相はＦL（ｋ，Ｘ）に対して参照画像の左右画
像と同一の位相差、すなわち同一の視差を与えるように
設定される。もし入力画像が参照画像と同一の物体から
得られるものとすると、
【００５９】
【数１７】
【００６０】の関係が成り立つはずである。ここで、δ
φ1は視差による位相差、δφ’は入力像と参照画像と
の奥行方向に垂直な面内における位置ズレに起因する位
相差である。この場合（６）式の処理によって入力画像
の局所フーリエ変換象は変化しない。すなわち、
φ1は視差による位相差、δφ’は入力像と参照画像と
の奥行方向に垂直な面内における位置ズレに起因する位
相差である。この場合（６）式の処理によって入力画像
の局所フーリエ変換象は変化しない。すなわち、
【００６１】
【数１８】
【００６２】が成り立ち、入力画像そのものが得られ
る。入力画像と参照画像の視差が異なっている場合は、
入力画像の局所フーリエ変換は（６）式の処理によって
位相成分が変化するため、局所逆フーリエ変換を算出す
る手段７によって、入力画像内の対象画像とは異なる位
置に像が再生される。従って、画像間の相乗平均を求め
る手段８による処理を施すことによって、入力画像と参
照画像の視差が異なる場合には切り出しが行われないこ
とがわかる。
る。入力画像と参照画像の視差が異なっている場合は、
入力画像の局所フーリエ変換は（６）式の処理によって
位相成分が変化するため、局所逆フーリエ変換を算出す
る手段７によって、入力画像内の対象画像とは異なる位
置に像が再生される。従って、画像間の相乗平均を求め
る手段８による処理を施すことによって、入力画像と参
照画像の視差が異なる場合には切り出しが行われないこ
とがわかる。
【００６３】（第３のアルゴリズム）記憶装置３に保持
されている左右画像の局所フーリエ変換像とフーリエ変
換パワースペクトルのパタンを求める手段５とから、参
照画像に対するフーリエ変換パワースペクトルのパタン
されている左右画像の局所フーリエ変換像とフーリエ変
換パワースペクトルのパタンを求める手段５とから、参
照画像に対するフーリエ変換パワースペクトルのパタン
【００６４】
【数１９】
【００６５】を求める。同一物体画像を予測する手段６
は、この
は、この
【００６６】
【数２０】
【００６７】と入力画像の局所フーリエ変換像とから、
次式のエネルギー関数の値を最小とするような局所フー
リエ変換像Ｆ’L（ｋ，Ｘ），Ｆ’R（ｋ，Ｘ）および正
の補助関数λL，λRを求め、Ｆ’L（ｋ，Ｘ），Ｆ’
R（ｋ，Ｘ）を出力する。
次式のエネルギー関数の値を最小とするような局所フー
リエ変換像Ｆ’L（ｋ，Ｘ），Ｆ’R（ｋ，Ｘ）および正
の補助関数λL，λRを求め、Ｆ’L（ｋ，Ｘ），Ｆ’
R（ｋ，Ｘ）を出力する。
【００６８】
【数２１】
【００６９】ここで、（第１のアルゴリズム）あるいは
（第２のアルゴリズム）を採用する場合は、フーリエ変
換パワースペクトルのパタンを算出する手段５は省略で
き、（第３のアルゴリズム）を採用する場合はフーリエ
変換の位相差を求める手段４は省略できる。
（第２のアルゴリズム）を採用する場合は、フーリエ変
換パワースペクトルのパタンを算出する手段５は省略で
き、（第３のアルゴリズム）を採用する場合はフーリエ
変換の位相差を求める手段４は省略できる。
【００７０】また、（第１のアルゴリズム）を使って、
ある特定視差Δが外部から与えられた場合、視差Δに対
応する位相差δφ1を算出することによって、入力画像
から特定視差をもつ画像を直接切り出すことも可能であ
る。
ある特定視差Δが外部から与えられた場合、視差Δに対
応する位相差δφ1を算出することによって、入力画像
から特定視差をもつ画像を直接切り出すことも可能であ
る。
【００７１】次に、局所逆フーリエ変換を算出する手段
７を用いて、局所フーリエ変換像Ｆ’L（ｋ，Ｘ）およ
びＦ’R（ｋ，Ｘ）から逆変換像ｆ’L（ｘ）およびｆ’
R（ｘ）を次式から求める。
７を用いて、局所フーリエ変換像Ｆ’L（ｋ，Ｘ）およ
びＦ’R（ｋ，Ｘ）から逆変換像ｆ’L（ｘ）およびｆ’
R（ｘ）を次式から求める。
【００７２】
【数２２】
【００７３】Ｎは規格化定数である。次に、画像間の相
乗平均を求める手段８を用いて、ここで得られた逆変換
像ｆ’L（ｘ）およびｆ’R（ｘ）と入力画像ｆL（ｘ）
およびｆR（ｘ）の相乗平均を次式から求める。
乗平均を求める手段８を用いて、ここで得られた逆変換
像ｆ’L（ｘ）およびｆ’R（ｘ）と入力画像ｆL（ｘ）
およびｆR（ｘ）の相乗平均を次式から求める。
【００７４】
【数２３】
【００７５】この相乗平均をとる操作は、予測された画
像
像
【００７６】
【数２４】
【００７７】を入力画像
【００７８】
【数２５】
【００７９】から切り出す処理を意味している。参照画
像中に含まれていない背景パタンは、この処理によって
除去される。また、入力画像中に含まれる物体画像と参
照画像の物体画像とが異なる視差をもつ場合も、（１
１）式の処理によって除去される。
像中に含まれていない背景パタンは、この処理によって
除去される。また、入力画像中に含まれる物体画像と参
照画像の物体画像とが異なる視差をもつ場合も、（１
１）式の処理によって除去される。
【００８０】次に、ここで求められた
【００８１】
【数２６】
【００８２】を画像を出力する手段９から取り出す。ま
た、
た、
【００８３】
【数２７】
【００８４】を新たに入力画像として上述した手順を繰
り返し実行することによって、入力画像から参照画像の
みを切り出す。
り返し実行することによって、入力画像から参照画像の
みを切り出す。
【００８５】（実施例２）実施例１の場合において、参
照画像の物体画像が入力画像に含まれているが、その奥
行方向の位置が異なる場合は奥行方向の位置の違いに対
する補正が必要となる。図２は、この奥行方向の違いを
補正する手段を具備した３次元参照画像切り出し方式を
実現するための一構成図である。図２は、画像入力手段
１と、局所フーリエ変換を算出する手段２と、記憶装置
３と、フーリエ変換の位相差を求める手段４と、奥行方
向の位置の違いを求める手段１０と、同一物体画像を予
測する手段６と、局所逆フーリエ変換を算出する手段７
と、画像間の相乗平均を求める手段８と、画像を出力す
る手段９とから構成される。
照画像の物体画像が入力画像に含まれているが、その奥
行方向の位置が異なる場合は奥行方向の位置の違いに対
する補正が必要となる。図２は、この奥行方向の違いを
補正する手段を具備した３次元参照画像切り出し方式を
実現するための一構成図である。図２は、画像入力手段
１と、局所フーリエ変換を算出する手段２と、記憶装置
３と、フーリエ変換の位相差を求める手段４と、奥行方
向の位置の違いを求める手段１０と、同一物体画像を予
測する手段６と、局所逆フーリエ変換を算出する手段７
と、画像間の相乗平均を求める手段８と、画像を出力す
る手段９とから構成される。
【００８６】はじめに、実施例１と全く同じ方式で切り
出しの対象となる参照画像を左右眼で見た場合に相当す
る左右の画像を、画像入力手段１から入力した後、局所
フーリエ変換を算出する手段２を用いて（１）式に基づ
き局所フーリエ変換を実行し、結果を記憶装置３に格納
する。次に、実施例１と全く同じ方式で参照画像を含む
入力画像を左右眼で見た場合に相当する左右の画像を入
力手段１から入力する。
出しの対象となる参照画像を左右眼で見た場合に相当す
る左右の画像を、画像入力手段１から入力した後、局所
フーリエ変換を算出する手段２を用いて（１）式に基づ
き局所フーリエ変換を実行し、結果を記憶装置３に格納
する。次に、実施例１と全く同じ方式で参照画像を含む
入力画像を左右眼で見た場合に相当する左右の画像を入
力手段１から入力する。
【００８７】次に、奥行方向の位置の違いを求める手段
１０のアルゴリズムについて簡単に説明する。まず、
１０のアルゴリズムについて簡単に説明する。まず、
【００８８】
【数２８】
【００８９】がつぎの関係にあると仮定する。
【００９０】
【数２９】
【００９１】ｄは参照画像と入力画像の奥行方向の位置
の違いに由来する見かけ上の視差の差である。また、
（１２）式のもとに、記憶装置３に記載されている参照
画像の局所フーリエ変換像と入力画像の局所フーリエ変
換像には、近似的に次の関係が成り立つ。
の違いに由来する見かけ上の視差の差である。また、
（１２）式のもとに、記憶装置３に記載されている参照
画像の局所フーリエ変換像と入力画像の局所フーリエ変
換像には、近似的に次の関係が成り立つ。
【００９２】
【数３０】
【００９３】“切り出しの対象となる物体の画像は変形
していない”ことを仮定すると、（１３）式の関係をあ
らゆるｋ，Ｘについて満たすようなｄが、見かけ上の視
差の差ｄを与えることがわかる。
していない”ことを仮定すると、（１３）式の関係をあ
らゆるｋ，Ｘについて満たすようなｄが、見かけ上の視
差の差ｄを与えることがわかる。
【００９４】次に、ここで説明した奥行方向の位置の違
いを求める手段１０を使って、参照画像と同一物体の画
像の局所フーリエ変換像を求める手段について説明す
る。はじめに、記憶装置３に格納されている参照が像の
局所フーリエ変換像からフーリエ変換の位相差を求める
手段４を使って参照画像の視差を位相差δφ1で表す。
次に、奥行方向の位置の違いを求める手段１０は、（１
３）式の関係をあらゆるｋ，Ｘについて満たすようなｄ
を求める。次に、同一物体画像を予測する手段６は、視
差をΔ’＝Δ＋ｄと置き直すことによって、すなわち位
相差をδφ’＝δφ1＋ｋｄと書き直すことによって、
実施例１と同一のアルゴリズムを使って参照画像と同一
物体の画像の局所フーリエ変換像を算出する。
いを求める手段１０を使って、参照画像と同一物体の画
像の局所フーリエ変換像を求める手段について説明す
る。はじめに、記憶装置３に格納されている参照が像の
局所フーリエ変換像からフーリエ変換の位相差を求める
手段４を使って参照画像の視差を位相差δφ1で表す。
次に、奥行方向の位置の違いを求める手段１０は、（１
３）式の関係をあらゆるｋ，Ｘについて満たすようなｄ
を求める。次に、同一物体画像を予測する手段６は、視
差をΔ’＝Δ＋ｄと置き直すことによって、すなわち位
相差をδφ’＝δφ1＋ｋｄと書き直すことによって、
実施例１と同一のアルゴリズムを使って参照画像と同一
物体の画像の局所フーリエ変換像を算出する。
【００９５】以降、実施例１と全く同じ方式で、ここで
得られた局所フーリエ変換像に対して局所逆フーリエ変
換像を算出する手段７を用い（１０）式に基づいて逆変
換像を求めた後、画像間の相乗平均を求める手段８を用
い（１１）式に基づいて入力画像との相乗平均を求め
る。この結果を、画像を出力する手段９を用いて出力す
る。また、（実施例１）と同様に、ここで得られた出力
結果を新たに入力像とし、上述した手順を繰り返すこと
によって、入力画像から参照画像のみを切り出す。
得られた局所フーリエ変換像に対して局所逆フーリエ変
換像を算出する手段７を用い（１０）式に基づいて逆変
換像を求めた後、画像間の相乗平均を求める手段８を用
い（１１）式に基づいて入力画像との相乗平均を求め
る。この結果を、画像を出力する手段９を用いて出力す
る。また、（実施例１）と同様に、ここで得られた出力
結果を新たに入力像とし、上述した手順を繰り返すこと
によって、入力画像から参照画像のみを切り出す。
【００９６】
【発明の効果】以上説明したように本発明は、左右の画
像の視差をフーリエ変換の位相差として表現することに
よって３次元画像を扱えるように拡張でき、参照画像と
同一物体の画像を入力画像から予測することによって、
あらかじめ記憶された３次元参照画像のみを、入力され
た３次元画像から切り出すことが可能となる効果があ
る。また、本発明は対象物体の奥行方向に垂直な面内の
位置ズレに対しても強い切り出しが可能である。さら
に、対象物体の奥行方向の位置ズレに対しても強い切り
出しが可能である。
像の視差をフーリエ変換の位相差として表現することに
よって３次元画像を扱えるように拡張でき、参照画像と
同一物体の画像を入力画像から予測することによって、
あらかじめ記憶された３次元参照画像のみを、入力され
た３次元画像から切り出すことが可能となる効果があ
る。また、本発明は対象物体の奥行方向に垂直な面内の
位置ズレに対しても強い切り出しが可能である。さら
に、対象物体の奥行方向の位置ズレに対しても強い切り
出しが可能である。
【００９７】本発明は前述したように、左右画像の視差
をフーリエ変換の位相差として表現することによって３
次元画像を扱えるように拡張しているが、同一物体画像
を予測する手段は、２次元的な画像情報の計算のみをお
こなうことによって、入力画像内から参照画像と同一と
判断された画像の局所フーリエ変換像を得ることができ
るため、３次元的な物体形状を直接扱う方法と比較し、
計算量が少なくてすむという効果がある。
をフーリエ変換の位相差として表現することによって３
次元画像を扱えるように拡張しているが、同一物体画像
を予測する手段は、２次元的な画像情報の計算のみをお
こなうことによって、入力画像内から参照画像と同一と
判断された画像の局所フーリエ変換像を得ることができ
るため、３次元的な物体形状を直接扱う方法と比較し、
計算量が少なくてすむという効果がある。
【００９８】さらに、本発明において、水平に近い線分
に対する視差は、必ずしも正確に表現されていない可能
性が考えられるが、参照画像の情報と入力画像の情報と
から切り出し対象となる画像の局所フーリエ変換像を作
成する場合、左右画像の視差情報だけでなく、パワース
ペクトルの大きさを使っているため、視差が正しく表現
されていない部分であっても、入力画像内の類似のパワ
ースペクトルパタンをもつ物体の画像の切り出しを可能
にしている。
に対する視差は、必ずしも正確に表現されていない可能
性が考えられるが、参照画像の情報と入力画像の情報と
から切り出し対象となる画像の局所フーリエ変換像を作
成する場合、左右画像の視差情報だけでなく、パワース
ペクトルの大きさを使っているため、視差が正しく表現
されていない部分であっても、入力画像内の類似のパワ
ースペクトルパタンをもつ物体の画像の切り出しを可能
にしている。
【図１】本発明の一実施例の構成図である。
【図２】本発明の他の実施例の構成図である。
１ 画像入力手段 ２ 局所フーリエ変換をする手段 ３ 記憶装置 ４ フーリエ変換の位相差を求める手段 ５ フーリエ変換パワースペクトルのパタンを算出する
手段 ６ 同一視差像を予測する手段 ７ 局所逆フーリエ変換を求める手段 ８ 画像間の相乗平均を求める手段 ９ 画像を出力する手段 １０ 奥行方向の位置の違いを求める手段
手段 ６ 同一視差像を予測する手段 ７ 局所逆フーリエ変換を求める手段 ８ 画像間の相乗平均を求める手段 ９ 画像を出力する手段 １０ 奥行方向の位置の違いを求める手段
Claims (5)
- 【請求項１】被写体を左右眼で見たときに相当する画像
を、画像入力装置から取り入れ、得られた左右２つの入
力画像に対してオーバーラップを許して小領域に分割し
た上で各領域ごとにフーリエ変換を施した局所フーリエ
変換像のデータと、あらかじめ用意した参照画像の左右
画像の局所フーリエ変換像のデータとから、参照画像と
視差を含めて一致する物体の画像を、左右画像の視差を
左画像，右画像の局所フーリエ変換像の位相差を表すこ
とで予測し、予測された物体の画像のみを入力した画像
から切り出すことを特徴とする３次元参照画像切り出し
方法。 - 【請求項２】参照画像と入力画像内の切り出しの対象と
なる画像について、奥行方向の位置が異なっている場
合、奥行方向の位置の違いを予測しながら切り出しを行
うことを特徴とする請求項１記載の３次元参照画像の切
り出し方法。 - 【請求項３】切り出しの対象となる参照画像を左右眼で
見た場合に相当する左右の画像を入力する手段と、 入力された参照画像の左右の画像に対してオーバーラッ
プを許して小領域に分割した領域ごとにフーリエ変換を
実行し、局所フーリエ変換を算出する手段と、 参照画像の左右の局所フーリエ変換像をあらかじめ記憶
しておく記憶装置と、 前記記憶装置にあらかじめ記憶されている参照画像の左
右の局所フーリエ変換像からフーリエ変換の位相差を求
める手段と、 前記局所フーリエ変換を算出する手段で算出された、参
照画像を含む入力画像の局所フーリエ変換像と、前記フ
ーリエ変換の位相差を求める手段で求められた位相差と
から同一物体画像を予測する手段と、 前記同一物体画像を予測する手段で予測された同一物体
画像から局所逆フーリエ変換を算出する手段と、 前記画像を入力する手段で入力された入力画像と、前記
局所逆フーリエ変換を算出する手段で算出された局所逆
フーリエ変換像とから、画像間の相乗平均を求める手段
と、 を備え、参照画像と視差を含めて一致する画像の切り出
しを行うことを特徴とする３次元参照画像切り出し装
置。 - 【請求項４】切り出しの対象となる参照画像を左右眼で
見た場合に相当する左右の画像を入力する手段と、 入力された参照画像の左右の画像に対してオーバーラッ
プを許して小領域に分割した領域ごとにフーリエ変換を
実行し、局所フーリエ変換を算出する手段と、 参照画像の左右の局所フーリエ変換像をあらかじめ記憶
しておく記憶装置と、 前記記憶装置にあらかじめ記憶されている参照画像の左
右の局所フーリエ変換像からフーリエ変換のパワースペ
クトルを求める手段と、 前記局所フーリエ変換を算出する手段で算出された、参
照画像を含む入力画像の局所フーリエ変換像と、前記フ
ーリエ変換のパワースペクトルを求める手段で求められ
たパワースペクトルとから同一物体画像を予測する手段
と、 前記同一物体画像を予測する手段で予測された同一物体
画像から局所逆フーリエ変換を算出する手段と、 前記画像を入力する手段で入力された入力画像と、前記
局所逆フーリエ変換を算出する手段で算出された局所逆
フーリエ変換像とから、画像間の相乗平均を求める手段
と、 を備え、参照画像と視差を含めて一致する画像の切り出
しを行うことを特徴とする３次元参照画像切り出し装
置。 - 【請求項５】参照画像の物体画像が入力画像に含まれて
いるが、その奥行方向の位置が異なる場合に、奥行方向
の位置の違いに対する補正を行う手段をさらに備えるこ
とを特徴とする３次元参照画像切り出し装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6266511A JP2725613B2 (ja) | 1994-02-28 | 1994-10-31 | ３次元参照画像切り出し方法および装置 |
| US08/394,278 US5684890A (en) | 1994-02-28 | 1995-02-24 | Three-dimensional reference image segmenting method and apparatus |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6-29335 | 1994-02-28 | ||
| JP2933594 | 1994-02-28 | ||
| JP6266511A JP2725613B2 (ja) | 1994-02-28 | 1994-10-31 | ３次元参照画像切り出し方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07287762A true JPH07287762A (ja) | 1995-10-31 |
| JP2725613B2 JP2725613B2 (ja) | 1998-03-11 |
Family
ID=26367522
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6266511A Expired - Fee Related JP2725613B2 (ja) | 1994-02-28 | 1994-10-31 | ３次元参照画像切り出し方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2725613B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09159442A (ja) * | 1995-12-04 | 1997-06-20 | Honda Motor Co Ltd | 車両用環境認識装置 |
| US5917940A (en) * | 1996-01-23 | 1999-06-29 | Nec Corporation | Three dimensional reference image segmenting method and device and object discrimination system |
| JP2012147409A (ja) * | 2010-12-21 | 2012-08-02 | National Institute Of Advanced Industrial & Technology | 画像生成装置、画像生成方法、及びプログラム |
| CN103983212A (zh) * | 2014-05-28 | 2014-08-13 | 中国科学院上海光学精密机械研究所 | 基于gpu并行计算小波变换的光学条纹图相位提取方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02100589A (ja) * | 1988-10-07 | 1990-04-12 | Nippon Telegr & Teleph Corp <Ntt> | 両眼視差検出方法 |
-
1994
- 1994-10-31 JP JP6266511A patent/JP2725613B2/ja not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02100589A (ja) * | 1988-10-07 | 1990-04-12 | Nippon Telegr & Teleph Corp <Ntt> | 両眼視差検出方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09159442A (ja) * | 1995-12-04 | 1997-06-20 | Honda Motor Co Ltd | 車両用環境認識装置 |
| US5917940A (en) * | 1996-01-23 | 1999-06-29 | Nec Corporation | Three dimensional reference image segmenting method and device and object discrimination system |
| JP2012147409A (ja) * | 2010-12-21 | 2012-08-02 | National Institute Of Advanced Industrial & Technology | 画像生成装置、画像生成方法、及びプログラム |
| CN103983212A (zh) * | 2014-05-28 | 2014-08-13 | 中国科学院上海光学精密机械研究所 | 基于gpu并行计算小波变换的光学条纹图相位提取方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2725613B2 (ja) | 1998-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5684890A (en) | Three-dimensional reference image segmenting method and apparatus | |
| Mescheder et al. | Occupancy networks: Learning 3d reconstruction in function space | |
| Lee et al. | Robust exemplar-based inpainting algorithm using region segmentation | |
| CN111161349A (zh) | 物体姿态估计方法、装置与设备 | |
| CN111898172A (zh) | 虚拟世界中的经验学习 | |
| CN112102303A (zh) | 基于单图像生成对抗网络的语义图像类比方法 | |
| Orts-Escolano et al. | 3d surface reconstruction of noisy point clouds using growing neural gas: 3d object/scene reconstruction | |
| CN113593001A (zh) | 目标对象三维重建方法、装置、计算机设备和存储介质 | |
| Najgebauer et al. | Inertia‐based Fast Vectorization of Line Drawings | |
| Yu et al. | End-to-end partial convolutions neural networks for Dunhuang grottoes wall-painting restoration | |
| Xiao | Research on visual image texture rendering for artistic aided design | |
| Li et al. | Topology-change-aware volumetric fusion for dynamic scene reconstruction | |
| JP2725613B2 (ja) | ３次元参照画像切り出し方法および装置 | |
| Wang et al. | A framework for digital sunken relief generation based on 3D geometric models | |
| Liang et al. | Exact visual hull from marching cubes | |
| Kawamura et al. | A strategy of automatic hexahedral mesh generation by using an improved whisker-weaving method with a surface mesh modification procedure | |
| Reddy et al. | Exploration of image inpainting approaches and challenges: A survey | |
| Azariadis et al. | Product design using point-cloud surfaces: A recursive subdivision technique for point parameterization | |
| Naouai et al. | Line extraction algorithm based on image vectorization | |
| Wang et al. | Segmentation-driven feature-preserving mesh denoising | |
| Hernández Farías et al. | Modification of the marching cubes algorithm to obtain a 3D representation of a planar image | |
| JP2679634B2 (ja) | ３次元参照画像切り出し方法および装置 | |
| JP3782239B2 (ja) | 画像部品化方法及び画像部品化プログラムを記録した記録媒体 | |
| Bindu et al. | Novel bound setting algorithm for occluded region reconstruction for reducing the inpainting complexity under extreme conditions | |
| JP4043629B2 (ja) | 画像データ変換方法、画像部品化方法、画像データ変換プログラムを記録した記録媒体及び画像部品化プログラムを記録した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071205 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081205 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091205 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091205 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101205 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101205 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 14 |
|
| LAPS | Cancellation because of no payment of annual fees |