JP3938122B2 - 擬似３次元画像生成装置および生成方法並びにそのためのプログラムおよび記録媒体 - Google Patents

Description

本発明は、画像から擬似３次元画像を生成する画像生成装置および方法並びにそのためのプログラムおよび記録媒体に関する。

従来から、物体の３次元画像を入力するために様々な方法が用いられている。３次元画像入力方法はパッシブ法とアクティブ法の２つに大別することができ、例えばパッシブ法の代表例としてステレオ法、アクティブ法の代表例として光切断法がある。

ステレオ法は２台の撮影装置をある間隔で配置し、同一の撮影対象に対する両者の画像内における投影位置の違い、すなわち対応点の差から三角測量の原理によって撮影対象の位置を求める方法である。また光切断法はスリット光投影装置と撮影装置をある間隔で配置し、撮影対象に投影したスリット光が撮影装置の画像内に投影される位置から三角測量の原理によって撮影対象の位置を求める方法である。

被写体に照明光を照射し奥行き値を得る技術としては、被写体に対して少なくとも被写体上の位置によって明るさが変化する照明（例えば、左から右に明るさが増加するような照明）を照射して、各光強度ごとの反射光を検出し、三角測量の原理を用いて奥行き値を求める方法がある。しかし、この技術では、奥行き値の算出に三角測量の原理を用いているため、カメラと照明装置との間に一定の距離を設ける必要があり、装置の小型化は困難である（例えば特許文献１参照。）。

また、上記と別の技術として、被写体に対して光強度が時間とともに変化する強度変調照明光を照射して、その反射光の強度から、光の伝搬時間によって被写体までの距離を算出するいわゆるＴｉｍｅ ｏｆ ｆｌｉｇｈｔの原理を用いて奥行き値を求める方法がある。しかし、この技術では、強度変調照明光を投影するための特殊な照明装置と強度変調照明光の変化を捉えるための高速シャッターを備えたカメラとが必要であり、装置の低コスト化には向いていない（例えば特許文献２参照。）。

さらに、被写体の擬似奥行き値を得る技術としては、Ｘ線ＣＴ装置などを用いて得られた被写体の離散的な奥行き値ごとの分割画像に対して、分割画像作成に用いた透過画像の濃淡値から隣接する分割画像に滑らかにつながるよう奥行き値を擬似的に算出する方法がある。しかし、この技術では、Ｘ線ＣＴ装置などによって予め被写体の離散的な奥行き値ごとに分割された透過画像が得られていることが前提であり、医療などの特殊な用途以外への適用は困難である（例えば特許文献３参照。）。
特開２０００−３２９５２４号公報 特開２０００−１２１３３９号公報 特開平２−０７９１７９号公報

近年、携帯端末にカメラを搭載することが一般的になっている。カメラから取得される画像は２次元画像のみであるが、３次元画像の入力が可能になれば画像の活用の幅が広がり画像の利用分野が増大する。しかしながら従来法はパッシブ法・アクティブ法ともに三角測量の原理を用いているため、撮影装置やスリット光投影装置などの装置間にある程度の長い距離が必要であり小型化が難しく携帯端末向きではない。また一般的にパッシブ法は計測時間が短いが精度が低いため、入力された奥行き値から生成される画像のクオリティが低くなり、アクティブ法は精度が高いが計測時間が長いため工業用途向きである。さらに上述のその他の方法も特殊な装置が必要であるなどの理由から限定された用途向けである。

本発明は上記の課題を鑑みて発明されたものであり、小型で手軽に使用できる擬似３次元画像生成装置、３次元画像生成方法を提供することを目的とする。なお、本発明では真の距離が分からないときに、真の距離の代わりに当てはめる距離を擬似と定義する。

本発明による擬似３次元画像生成装置は、複数の照明状態において撮影対象を撮影した複数の画像から、前記撮影対象の擬似的な３次元画像を生成する擬似３次元画像生成装置であって、前記複数の画像を記録する画像記録手段と、前記複数の画像における対応する画素の画素値の比較演算に基づいて、前記対応する画素の離散的奥行きデータを算出する画像演算手段と、前記離散的奥行きデータに基づいて、前記対応する画素の擬似的な奥行き値を算出する奥行き値算出手段とを備えることを特徴とするものである。

本発明による３次元画像生成装置は、撮影対象に対して異なる照明条件での複数の画像を入力する。この複数の画像を比較することにより奥行き値を算出する。比較方法として例えば、照明条件として「照明有り」と「照明無し」を設定し、各条件下での画像の差分を取ったときに輝度差が大きいほど照明に近いとする。このとき算出される奥行き値は離散的であり、離散的奥行きをもった擬似３次元画像を生成することができる。また奥行き値が離散的にならないように、すべての奥行きが滑らかにつながる適当な連続関数を用いて算出すれば、書割現象を防ぎ観察者にクオリティの高い立体感を与える画像を生成することが可能である。

本発明の他の目的、特長は図面を参照しながら以下の詳細な説明を読めば明らかとなる。

以上述べたように本発明によれば以下に示すような効果が生じる。

本発明の一態様によれば、撮影装置と照明手段の距離を隣接させても良いため、従来の装置より小型化が可能となる。

本発明の別の態様によれば、奥行きを算出するために用いる画像の解像度を低下させて、演算を行う画素数を減らすことができるため、計算負荷が少ない高速な処理が可能になる。

本発明のさらに別の態様によれば、単純な２値化処理の結果を擬似的な距離とすることにより、計算負荷が少ない高速な処理が可能となる。

本発明のさらに別の態様によれば、複雑な計測処理をすることなく簡便に連続した擬似的な奥行き値を得ることができる。

本発明のさらに別の態様によれば、擬似的に計算した奥行き値の急激な変化による観察者の違和感を軽減することができる。

以下、本発明を実施するための最良の形態について詳しく説明する。
［第1の実施形態］
図１は、本発明の第１の実施形態の擬似３次元画像生成装置を示すブロック図である。図１に示した擬似３次元画像生成装置１０は、撮影対象を照明する照明手段１２を備えたあるいは接続した撮影装置１１に接続されている。擬似３次元画像生成装置１０は、撮影対象の画像データを取り込み保持する画像記録手段１３、照明の強弱が異なる撮影対象の複数の画像を比較することにより、撮影対象の擬似的な奥行き値の算出を行う演算手段１４、上記各手段を制御する制御手段１５により構成される。

図２は、図１に示した擬似３次元画像生成装置１０が実行する擬似３次元画像生成方法を説明するためのフローチャートである。以下、擬似３次元画像生成装置１０の動作を、図２に示す擬似３次元画像生成方法のフローチャートを用いて説明する。

ある撮影対象の擬似３次元画像を生成する場合、まず照明条件と撮影枚数ｋを入力する（ステップＳ２１）。照明条件および撮影枚数は予め決めておいても良い。次に照明手段１２を用いて撮影対象をｊ番目の照明条件で照明し、撮影装置１１により撮影した画像を入力する（ステップＳ２２）。照明条件は照明の強弱で決定され、撮影装置１１からの照明信号（例えば撮影のシャッターに同期したパルス）にあわせて照明を行う。ｊ番目に入力された画像信号は画像記録手段１３のフレームメモリｊに画像データとして格納される（ステップＳ２３）。ステップＳ２２からステップＳ２３までの処理を撮影枚数ｋに達するまで繰り返す（ステップＳ２４、Ｓ２５）。

画像の入力が終了すると、制御手段１５の指令により、撮影された画像データはフレームメモリ１３１〜１３３から演算手段１４の画像演算手段１４１に転送される（ステップＳ２６）。画像演算手段１４１は照明条件の異なる複数の画像に基づき、対応する画素の画素値に減算、除算等の演算、所定の閾値との比較等を行い、離散的奥行きデータを生成する（ステップＳ２７）。離散的奥行きデータについては、後で詳しく説明する。

また、画像演算手段１４１は、複数画像間の色情報の合成や奥行き値計算のための前処理も行う。色情報の合成処理としては、各画像のコントラストが最大になるように変換し最もコントラストが高いものを抽出する方法や、それらを適当な重み付けで合成する方法などがある。また奥行き値計算のための前処理としてエッジ検出・色によるオブジェクト検出・２値化後の膨張／収縮処理などがある。これらの処理の組み合わせを制御手段１５の命令により選択させても良い。

画像演算手段１４１により生成された離散的奥行きデータを用いて、奥行き値算出手段１４２により各画素ごとの擬似的な奥行き値が計算される（ステップＳ２８）。

上記、奥行き値計算処理を行うためには、撮影対象に照明を当てることが出来さえすれば良く、撮影装置と照明手段の距離を隣接させてもよい。したがって従来の装置より小型化が可能であり、携帯端末への搭載が可能となる。

図３は、図２の離散的奥行きデータを生成する過程（ステップＳ２７）を示すフローチャートである。なお、離散的奥行きデータは定性的に奥行きを表すものであり、奥行きの前後関係のみを表す。また、奥行き値は定量的に奥行きを表すものである。本実施形態では説明を容易にするため奥行き値として前後２値の奥行きとする。照明条件として「照明有り」「照明無し」の２つを設定し、撮影枚数は２枚とする。このとき「照明有り」のときの画像データのｉ番目の画素の画素値をＡｉ、「照明無し」のときの画像データのｉ番目の画素の画素値をＢｉ、定性的に離散的奥行きを示す２値データをＣｉで表す。

奥行き値を計算するとき、まず閾値ｎ・画像サイズｓを決定する（ステップＳ３１）。閾値ｎは画像の各画素を、撮影装置１１に近いものと遠いものの２種類に分けるときのパラメータで、任意に決定が可能である。閾値ｎの決定方法については後述する。また画像サイズｓは入力する画像データの横方向画素数ｘと縦方向画素数ｙを掛け合わせた値とする。次に画素値ＡｉとＢｉの差分を取り、閾値ｎ以上であればＣｉを１、そうでなければ０とする（ステップＳ３２〜Ｓ３４）。ステップＳ３２〜Ｓ３４の処理を画像データの全画素分繰り返す（ステップＳ３５〜Ｓ３６）。

２値の離散的奥行きデータＣｉの値が１の画素は撮影装置の近くにあると判断し、その他の画素は遠くにあると判断する。このように、２値データＣｉは、各画素の離散的奥行きを、閾値ｎとの比較において定性的に表すデータである。単純な２値化処理の結果を擬似的な奥行き値とすれば、計算負荷が少ない高速な処理によって擬似３次元画像を生成することが可能である。

照明光量が異なる複数の画像に基づく２値化処理、または複数の異なる閾値を用いた２値化処理の組み合わせによって、多段階の奥行き値を得る事もできる。この場合、演算は、複数の画像の任意の一枚を基準画像とし、その他の画像と基準画像の間で演算を行えばよい。

図４は、図３を参照して説明した離散的奥行きデータを生成する過程（図２のステップＳ２７）の変形例を示すフローチャートである。図４のフローチャートに示した離散的奥行きデータ生成過程は、図３に示した離散的奥行きデータ生成過程と比較して、画素ｉの２値データＣｉを求めるとき、画素データＡｉおよびＢｉの代わりにその近傍数画素の平均値Ａ’ｉおよびＢ’ｉを使用する点で相違する。平均値を使うことによって、比較を行う複数の画像のデータがずれてしまう場合も、ずれによる影響を軽減することが出来る。また、平均値を計算する画素の範囲を適当に決めれば、動画に対応することも可能となる。さらに平均値をとることによりＳ／Ｎ比が向上するため、比較演算の結果が安定する効果もある。
［第２の実施形態］
本発明の第２の実施形態について説明する。第２の実施形態の擬似３次元画像生成装置および擬似３次元画像生成方法は、離散的奥行きデータ生成過程を除いて、第1の実施形態と同一である。したがって、相違点のみ説明する。

図５は本発明の第２の実施形態の離散的奥行きデータを生成する過程を示すフローチャートである。本実施形態でも、奥行き値は前後２値の奥行きとする。照明条件として「照明有り」「照明無し」の２つを設定し、撮影枚数は２枚とする。このとき「照明有り」のときの画像データのｉ番目の画素の画素値をＡｉ、「照明無し」のときの画像データのｉ番目の画素の画素値をＢｉ、離散的奥行きを定性的に示す２値データをＣｉで表す。

奥行き値を計算するとき、まず閾値ｍ・画像サイズｓを決定する（ステップＳ５１）。閾値ｍは画像を２値に分けるときのパラメータで任意に決定が可能である。また画像サイズｓは入力する画像データの横方向画素数ｘと縦方向画素数ｙを掛け合わせた値とする。次に画素値Ａｉの画像データＢｉに対する変化の割合がｍ以上であればＣｉを１、そうでなければ０とする（ステップＳ５２〜Ｓ５４）。ステップＳ５２〜Ｓ５４の処理を画像データの全画素分繰り返す（ステップＳ５５〜Ｓ５６）。

２値データＣｉの値が１の画素は撮影装置の近くにあると判断し、その他の画素は遠くにあると判断する。

ここで、図５に示したとおり、第２の実施形態における離散的奥行きデータを生成する過程では、画素値ＡｉおよびＢｉの除算を用いている。複数の反射率が異なる撮影対象がある場合、第２の実施形態のごとく画素値ＡｉおよびＢｉの除算を用いれば、反射率の違いが離散的奥行きデータＣｉに影響しないからである。

第1の実施形態のごとく画素値ＡｉおよびＢｉの減算を用いると、反射率の違いが離散的奥行きデータＣｉに影響してしまう場合がある。撮影対象によって反射率は異なるため、反射率が高い撮影対象は、実際の距離よりも近くにあると判定されたり、反射率が低い撮影対象は、実際の距離よりも遠くにあると判定される場合がある。しかし、遠近分離のように非常に低い距離分解能しか求められない用途では、多くの場合、この影響は無視できる。

図６は、複数の反射率が異なる撮影対象がある場合に、反射率の違いが離散的奥行きデータＣｉに与える影響を説明するための図である。図６において、撮影対象６２１および６２２は、撮影装置６１および照明手段６３から等距離にある。それぞれの反射率はr_aおよびr_bで、相異なる。撮影装置６１によって、撮影対象６２１および撮影対象６２２を撮影すると、その画像が表示装置６４に表示されるものとする。照明手段６３から撮影対象６２１および６２２に到達する光量をXとすると、撮影対象６２１は輝度r_a×Xの物体６４１、撮影対象６２２は輝度r_b×Xの物体６４２として、表示装置６４上に表示される。同様に、照明手段６３から撮影対象６２１および６２２に到達する光量がYならば、撮影対象６２１および６２２は、それぞれ輝度r_a×Yおよびr_b×Yの物体として、表示装置６４上に表示される。この場合、撮影対象６２１の輝度の差はr_a×(X−Y)であり、撮影対象６２２の輝度の差はr_b×(X−Y)である。撮影対象６２１および６２２は、撮影装置６１から等距離にあるにもかかわらず、それぞれの輝度の差は異なる。

離散的奥行きデータＣｉを、第２の実施形態の通り、除算で求めた場合、撮影対象６２１の輝度の比はX/Y、撮影対象６２２の輝度の比もX/Yとなる。反射率の違いはキャンセルされ、距離が同じ撮影対象の輝度の比は等しくなる。

照明をあまり反射しない材質であるために画像データ内で輝度が暗い部分は輝度の差分そのものは小さいが、輝度の比を用いることにより正しい離散的奥行きデータを求めることができる。

照明光量が異なる複数の画像に基づく２値化処理、または複数の異なる閾値を用いた２値化処理の組み合わせによって、多段階の奥行き値を得ることができるのは、第1の実施形態と同様である。

図７は、図５を参照して説明した第２の実施形態に係る離散的奥行きデータを生成する過程（図２のステップＳ２７）の変形例を示すフローチャートである。図７のフローチャートに示した離散的奥行きデータ生成過程は、図５に示した離散的奥行きデータ生成過程と比較して、画素ｉの２値データＣｉを求めるとき、画素データＡｉおよびＢｉの代わりにその近傍数画素の平均値Ａ’ｉおよびＢ’ｉを使用する点で相違する。平均値を使うことによって、比較を行う複数の画像のデータがずれてしまう場合も、ずれによる影響を軽減することが出来る。また、平均値を計算する画素の範囲を適当に決めれば、動画に対応することも可能となる。さらに平均値をとることによりＳ／Ｎ比が向上するため、比較演算の結果が安定する効果もある。

ここで、図１３を参照して、第１の実施形態および第２の実施形態で使用した閾値の決定方法について説明する。図１３は、撮影対象の距離と照度の関係を示すグラフである。曲線１３１０および１３２０は、強度の異なる照明状態による撮影対象の照度の距離による変化を表す。照明から撮影対象に到達する光量は距離の２乗に反比例することをグラフは示している。

照明光量１３１０の場合、距離Ｌの撮影対象に届く光量をＹとすると、距離２Ｌの撮影対象に届く光量はＹ／４となる。閾値ｎをグラフの通りとすると、照度が閾値ｎ以上の画素は、距離１３１１よりも近くにある。同様に撮影対象が照明光量１３２０のとき、距離１３２１よりも近くにある。従って、第１の実施形態のように離散的奥行きデータを画素値の差分で求める場合は、距離に対する閾値が照明光量に応じて決定できる。この際、撮影対象の反射率として適当な値を仮定しなければならない。なお、このときは撮影対象への外光からの入射光量（本実施形態の場合は、照明無しの場合の撮影対象への光量に相当する）の影響は差分により相殺されるため考慮する必要はない。離散的奥行きデータを生成した結果に基づき仮定した反射率を調整することによって、より適当な閾値を決定することができる。

一方、第２の実施形態のように離散的奥行きデータを画素値の除算で求める場合は、距離に対する閾値が撮影対象への照明からの入射光量と外光(例えば室内の蛍光灯)からの入射光量から決定できる。

撮影対象への外光からの入射光量がどれだけであっても、その量が一定ならば図1３の照度の最低値が増えて一定量のオフセットが付くだけである。したがって除算により相対的な距離を得ることが出来る。例えば、照明からの光量は距離の２乗で減衰するので、ある画素の除算により得た変化の割合に対して、別の画素の除算により得た変化の割合が1/4ならば、ある画素のカメラからの距離に比べて別の画素の距離は２倍になる。

この際、撮影対象への外光からの入射光量として一定の適当な値を仮定してやれば、距離に対する閾値が決定できる。なお、このときは撮影対象の反射率の影響は除算により相殺されるため考慮する必要は無い。

離散的奥行きデータを生成した結果に基づき仮定した入射光量を調整することによって、より適当な閾値を決定することが出来る。
［第３の実施形態］
本発明の第３の実施形態について説明する。第３の実施形態の擬似３次元画像生成装置および擬似３次元画像生成方法は、離散的奥行きデータ生成過程を除いて、第1の実施形態と同一である。したがって、相違点のみ説明する。

図８は本発明の第３の実施形態の離散的な奥行きデータを生成する過程を示すフローチャートである。本実施例では奥行き値として前後２値の奥行きとする。照明条件として「照明有り」「照明無し」の２つを設定し、撮影枚数は２枚とする。このとき「照明有り」のときの画像データのｉ番目の画素の画素値をＡｉ、「照明無し」のときの画像データのｉ番目の画素値をＢｉ、離散的奥行きを示す２値データをＣｉで表す。

奥行き値を計算するとき、まず差分演算の閾値ｎ・除算演算の閾値ｍ・分割値ｐ・画像サイズｓを決定する（図８のステップＳ８１）。差分演算の閾値ｎ・除算演算の閾値ｍ・分割値ｐは画像を２値に分けるときのパラメータで任意に決定が可能である。また画像サイズｓは入力する画像データの横方向画素数ｘと縦方向画素数ｙを掛け合わせた値とする。次に画素値Ａｉが分割値ｐ以上であれば第１の実施形態に記載の閾値ｎによる離散的奥行きデータ生成過程、そうでなければ第２の実施形態に記載の閾値ｍによる離散的奥行きデータ生成過程を行う（図８のステップＳ８２〜Ｓ８６）。

２値データＣｉが１の画素は撮影装置の近くにあると判断し、その他の画素は遠くにあると判断する。

このように分割値ｐ以上の輝度値を持つ画素に対しては、差分による２値化処理の結果を擬似的な距離とすることにより、計算負荷が少ない高速な処理が可能となる。また画像データ内で輝度が暗い部分は照明をあまり反射しない材質なので、分割値ｐ以下の輝度値を持つ画素に対しては、除算による２値化処理の結果を用いることにより正しく手前部分を分離できる。

照明光量が異なる複数の画像に基づく２値化処理、または複数の異なる閾値を用いた２値化処理の組み合わせによって、多段階の奥行き値を得ることができるのは、第1の実施形態と同様である。

図９は、図８を参照して説明した第３の実施形態に係る離散的奥行きデータを生成する過程（図２のステップＳ２７）の変形例を示すフローチャートである。図９のフローチャートに示した離散的奥行きデータ生成過程は、図８に示した離散的奥行きデータ生成過程と比較して、画素ｉの２値データＣｉを求めるとき、画素データＡｉおよびＢｉの替わりにその近傍数画素の平均値Ａ’ｉおよびＢ’ｉを使用する点で相違する。平均値を使うことによって、比較を行う複数の画像のデータがずれてしまう場合も、ずれによる影響を軽減することが出来る。また、平均値を計算する画素の範囲を適当に決めれば、動画に対応することも可能となる。さらに平均値をとることによりＳ／Ｎ比が向上するため、比較演算の結果が安定する効果もある。

さらに第３の実施形態の変形例として複数の分割値を用いてもよい。例えばp1>p２なる２つの分割値を定めた場合、画素値がp1より大きい場合は差分の閾値n1での差分演算、画素値がp２より大きい場合は差分の閾値n２での差分演算、画素値がp２以下の場合は差分の閾値n３での差分演算などの処理を行う。このように画素値に応じて予め決めておいた閾値を変更しても良い。また閾値は適応２値化のように局所領域ごとに随時演算を行い決めても良い。
［第４の実施形態］
以上説明した通り、第１から第３までの実施形態においては、離散的奥行きデータを生成し（図２のステップＳ２７）、そのデータをそのまま擬似３次元画像の奥行きとして使用する（図２のステップＳ２８）。具体的には、近景として予め決めておいた距離および遠景として予め決めておいた距離を当てはめる。本発明の第４の実施形態においては、図２のステップ２８にて、生成した離散的奥行きデータをさらに処理し、より現実感のある擬似３次元画像を生成する。

図１０は本発明の第４の実施形態の擬似３次元画像生成方法を説明するための図である。以下、図１０を用いて処理アルゴリズムを説明する。

元の画像１０１を、第１から第３までのいずれかの実施形態において生成された離散的奥行きデータ１０２に基づいて分割する。離散的奥行きデータＣｉは２値データなので、Ｃｉを２次元画像として表した離散的奥行きデータ画像は白黒の２値で表される。元の画像１０１は離散的奥行きデータ画像に基づき、２枚の画像に分けられる。分割画像をそれぞれ前面画像１０３および後面画像１０４と呼ぶ。なお奥行きデータ画像１０２の作成は第１から第３の実施形態に記載の方法などを用いればよい。

次に前面画像１０３に注目し組分けを行うことにより、オブジェクトを抽出する。前面画像１０３上で黒色の部分は他の分割画像（すなわち後面画像１０４）上に存在する領域であるから、残った領域上で隣接する画素を連結した部分画像（１０３１、１０３２）を求めれば、これらが各撮影対象に対応したいわゆるオブジェクトとなる。なお、ここでは画素の連結により組分けを行ったが、色情報で領域分割を行い各領域を組分けされた部分画像、すなわちオブジェクトとするなどの方法を取ってもよい。この２つのオブジェクト（１０３１、１０３２）の奥行き値が隣接する分割画像（後面画像１０４）の奥行き値と連続的につながるように手前側の分割画像（前面画像１０３）に属するオブジェクト（１０３１、１０３２）の奥行き値を再計算する。具体的には、任意の関数で奥行き値の置換を行う。

図１０では任意の関数の例として、オブジェクトの奥行き値を横方向に変化する２次関数で置換した画像１０５、オブジェクトの奥行き値を中心部を一定とし周辺部を横方向に変化する２次関数で置換した画像１０６、オブジェクトの奥行き値を中心部を一定とし周辺部を重心から放射状に延びたラインに沿って変化する２次関数で置換した画像１０７を示している。

オブジェクトの奥行き値を横方向に変化する２次関数で置換した画像１０５を生成する場合は画像の横方向の各ラインごとに走査し擬似の奥行き値を与える。例えばライン１０５１を走査した場合、そのオブジェクトのライン１０５１上での左端と右端を検出し、後面画像１０４につながる奥行き値をｍｉｎ、前面画像１０３上で後面画像１０４から最も離れる奥行き値をｍａｘとして、オブジェクトの左端と右端でｍｉｎ、中心でｍａｘを通る２次関数１０５２で置換する。このような簡便な処理によって擬似的な奥行き値を与えることにより、計測を行うことなく実写の３次元画像が作成可能になる。

オブジェクトの奥行き値を中心部を一定とし周辺部を横方向に変化する２次関数で置換した画像１０６を生成する場合は画像の横方向の各ラインごとに走査し擬似の奥行き値を与える。例えばライン１０６１を走査した場合、そのオブジェクトのライン１０６１上での左端と右端を検出し、後面画像１０４につながる奥行き値をｍｉｎ、前面画像１０３上で後面画像１０４から最も離れる奥行き値をｍａｘとして、オブジェクトの左端（右端）でｍｉｎ、中心から左（右）へ１５％離れた位置でｍａｘを通る２次関数と、中心区間の３０％でｍａｘ一定となる直線とを組合せた関数１０６２で置換する。このようにオブジェクトの中心付近がより強調して飛び出る擬似的な奥行き値を与えることにより、観察者にオブジェクトがより近くあるように感じさせることができる。

オブジェクトの奥行き値を中心部を一定とし周辺部を重心から放射状に延びたラインに沿って変化する２次関数で置換した画像１０７を生成する場合は各オブジェクトの重心を計算し重心とオブジェクトの境界を通るラインごとに擬似の奥行き値を与える。例えばライン１０７１の奥行き値を計算する場合、そのオブジェクトの境界とライン１０７１の交点を検出し、後面画像１０４につながる奥行き値をｍｉｎ、前面画像１０３上で後面画像１０４から最も離れる奥行き値をｍａｘとして、前記交点でｍｉｎ、二つの前記交点間の長さのうち重心を中心とした３０％の長さでｍａｘを通る１０６２と同様にして得られる関数１０７２で置換する。

このようにオブジェクトの中心付近がより強調して飛び出る擬似的な奥行き値を与えることにより、観察者にオブジェクトがより近くにあるように感じさせることができる。またオブジェクトの重心から放射状に延びたラインに沿って奥行き値を計算するため、境界線の傾きによらず均等に丸みを付けることができ、観察者により自然な立体感を与えることができる。
［第５の実施形態］
図１１は本発明の第５の実施形態に係る擬似３次元画像生成方法を示す図である。第４の実施形態に係る擬似３次元画像生成方法によって計算されたある分割画像の各画素の元の奥行き値１１１０に、その画素を中心とした７×７の範囲を平均化する平滑化処理を行い、平滑化した奥行き値１１３０を得た。

図１２に本実施形態の平滑化処理で用いた平滑化フィルタの係数を示す。ここでは、平滑化フィルタとして、処理対象の画素を中心としたフィルタサイズ（７×７）の範囲内の全ての画素の画素値に係数としてフィルタサイズの逆数（１／４９）を掛けて足し合わせる、単純移動平均フィルタを適用した。なお、フィルタサイズは任意に変更可能であり、また、平滑化の効果を持つ他のフィルタを適用しても良い。平滑化の効果を持つ他のフィルタの例としては、フィルタ内の各マトリクスに随時重み付けを行う加重移動平均フィルタや、正規分布に従った重み付けを行うガウシアンフィルタなどがある。

元の奥行き値１１１０の顎の部分１１１１の拡大図１１１２と、平滑化した奥行き値１１３０の顎の部分１１３１の拡大図１１３２とを比較すると明らかなように、平滑化処理を行うことによって奥行き値の急激な変化が緩和される。

第１~第４の実施形態に係る擬似３次元画像生成方法によって、オブジェクトの内部に急激な奥行き値の変化が生じた場合、観察者に違和感を与えることがある。またオブジェクトの境界線部において急激な奥行き値の変化が生じた場合、隣接する他の奥行き値の分割画像と乖離し同様に違和感を与えることがある。

しかしこのように一度計算した奥行き値を平滑化することにより、あるオブジェクト内に奥行き値の急激な変化が存在する場合に観察者に違和感を与えることを防止できる。またオブジェクトの境界線部において急激な奥行き値の変化が生じる場合も、隣接する他の分割画像の奥行き値とのつながりが緩やかになり、他の分割画像とのつながりにおいて観察者に違和感を与えることを防止できる。

なお、前記フローチャートに示された手順をコンピュータに実行させるためのプログラムが実現可能なことは明らかであり、また、そのプログラムをコンピュータ読取り可能な記録媒体に記録できることも明らかである。

第１~第５の実施形態においては、離散的奥行きデータに基づき撮影対象をオブジェクトとして抽出し、抽出したオブジェクトに擬似的な奥行き値を与えた。本発明の別の実施形態では、オブジェクトの抽出は従来から利用されているエッジ検出や色により行い、従来のオブジェクト抽出法によって抽出したオブジェクトに、離散的奥行きデータに基づき擬似的な奥行き値を与えてもよい。ここで、エッジ検出は、例えば1次微分フィルタや２次微分フィルタによる抽出方法がある。また、色によるオブジェクト抽出には、例えば色空間を用いた抽出方法や彩度を用いた抽出方法がある。

また、離散的奥行きデータに基づき抽出したオブジェクトを、エッジ検出や色により抽出したオブジェクトによって、補正してもよい。図１４を用いて処理の例を説明する。１４１０は例えばエッジ検出で抽出したオブジェクトの輪郭線、１４２０は、離散的奥行きデータに基づいて抽出された領域とする。離散的奥行きデータ画像は、撮影対象の反射率の影響や撮影対象の移動などにより、実際とずれる場合がある。このとき輪郭線１４１０を用いて補正を行う。具体的には、離散的奥行きデータに基づいて抽出された領域１４２０の輪郭線を、一番近い輪郭線１４１０に補正する。例えば点１４３１を点１４４１に、点１４３２を点１４４２に補正する。

また、輪郭線の補正だけではなく、離散的奥行きデータ画像において、面積が小さな領域を削除したり、画像に開いた面積が小さい穴を埋める補正も可能である。例えば、撮影対象の一部（例えば、人物の目の部分やボタン）がオブジェクトとして表れていない場合に、その部分を追加したり、逆に表れている場合に削除することができる。削除したり穴埋めを行う領域の面積は、別途経験則に基づき指定すればよい。上記に類似する補正として、オブジェクトとオブジェクトの隙間が狭い場合は、隙間を埋めてオブジェクトを連結してもよい。隙間を埋める領域の幅は、穴埋めの面積と同様に、別途経験則に基づき指定すればよい。

また、計算負荷をより減少させるため、離散的奥行きデータを生成する前に、画像の解像度を低下させてもよい。解像度を下げることにより、計算量を減らすことができる。また実際に抽出したオブジェクトに、反射率の影響や撮影対象の移動などにより、ずれが生じた場合にも、テクスチャに比べて奥行き値の解像度が粗くなるので、実際とずれた領域の奥行き値の輪郭線をぼかして、ずれを少なく見せる効果がある。

さらに解像度を低下させるときに、解像度を低下させる前の周辺画素の平均値を取ったもので解像度を低下させれば、平滑化フィルタをかけたのと同様に、Ｓ／Ｎ比を向上させる効果を得ることができる。

ここでシグナルSはノイズ０かつ無限階調で撮像された画像情報を示す。またノイズNは光学的または電気的なノイズや有限長量子化に起因して起こる量子化ノイズなどの全てのノイズ要因を含んだノイズ量を示す。

なお、平均値をとる画素は、解像度を低下させる場合に必要な画素のみでよい。例えば、平均値を縦横共に一画素飛びで求めることによって画素数を１／４に削減できる。第２の実施形態で説明した除算を用いた離散的奥行きデータの生成は、画像のノイズに敏感である。この場合でも、解像度を低下させることによって、Ｓ／Ｎ比を向上することができる。

なお、上記の処理をすべて行う必要はなく、制御手段１５の命令に基づいて、必要に応じて実行すればよい。

以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。

本願発明により、従来法による３次元画像生成装置と比較して、より小型でより手軽な擬似３次元画像生成装置を実現することが可能となる。

本発明の第１の実施形態による擬似３次元画像生成装置を示す図である。 本発明の第１の実施形態による処理のフローチャートを示す図である。 本発明の第１の実施形態による離散的奥行きデータ生成過程を示すフローチャートである。 図３に示す例で平均値を比較に用いる場合のフローチャートである。 本発明の第２の実施形態による離散的奥行きデータ生成過程を示すフローチャートである。 離散的奥行きデータに対する撮影対象の反射率の影響を説明するための図である。 図５に示す例で平均値を比較に用いる場合のフローチャートである。 本発明の第３の実施形態による離散的奥行きデータ生成過程を示すフローチャートである。 図８に示す例で平均値を比較に用いる場合のフローチャートである。 本発明の第４の実施形態を説明するための図である。 本発明の実施形態による平滑化フィルタによる処理を説明するための図である。 本発明の実施形態による平滑化フィルタの一例を示す図である。 本発明の実施形態による離散的奥行きデータを生成するための閾値の考え方を説明するグラフである。 本発明の実施形態によるオブジェクトの補正を説明するための図である。

符号の説明

１１…撮影装置、１１１…固体撮像素子、１１２…Ａ／Ｄ変換手段、１２…照明手段、１３…画像記録手段、１３１…フレームメモリ１、１３２…フレームメモリ２，１３３…フレームメモリｋ、１４…演算手段、１４１…画像演算手段、１４２…奥行き値算出手段、１５…制御手段、６１…撮影装置、６２１…撮影対象、６２２…撮影対象、６３…照明手段、６４…表示装置、６４１…画像、６４２…画像、１０１…元の画像、１０２…奥行き値、１０３…前面画像、１０３１…前面画像上の部分画像、１０３２…前面画像上の部分画像、１０４…後面画像、１０５…奥行き値を横方向に変化する２次関数で置換した画像、１０５１…ライン、１０５２…関数、１０６…奥行き値を中心部を一定とし周辺部を横方向に変化する２次関数で置換した画像、１０６１…ライン、１０６２…関数、１０７…奥行き値を中心部を一定とし周辺部を部分画像の重心から放射状に延びるラインに沿って変化する２次関数で置換した画像、１０７１…ライン、１０７２…関数、１１１０…元の奥行き値、１１１１…注目部分、１１１２…拡大図、１１３０…平滑化した奥行き値、１１３１…注目部分、１１３２…拡大図、１３１０…照度グラフ、１３２０…照度グラフ、１３１１…閾値ｎを満たす距離、１３２１…閾値ｎを満たす距離、１４１０…離散的奥行きデータによる輪郭線、１４２０…他のオブジェクト抽出法による輪郭線、１４３１、１４４１…輪郭線上の対応する点、１４３２、１４４２…輪郭線上の対応する点

Claims (14)

1. 複数の照明状態において撮影対象を撮影した複数の画像から、前記撮影対象の擬似的な３次元画像を生成する擬似３次元画像生成装置であって、
   前記複数の画像を記録する画像記録手段と、
   前記複数の画像における対応する画素の画素値の比較演算に基づいて、前記対応する画素の離散的奥行きデータを算出して前記撮影対象のオブジェクトを抽出する画像演算手段と、
   前記離散的奥行きデータに基づいて、前記対応する画素の擬似的な奥行き値を算出して前記オブジェクトに奥行き関数をあてはめる奥行き値算出手段と
   を備えることを特徴とする擬似３次元画像生成装置。
2. 請求項１記載の擬似３次元画像生成装置であって、
   前記画像演算手段は、前記複数の画像の解像度を低下させ、解像度を低下させた複数の画像における対応する画素の画素値の比較演算に基づいて、前記対応する画素の離散的奥行きデータを算出することを特徴とする擬似３次元画像生成装置。
3. 請求項２記載の擬似３次元画像生成装置であって、
   前記画像演算手段は、前記複数の画像を平滑化し、かつ解像度を低下させることを特徴とする擬似３次元画像生成装置。
4. 請求項１乃至３いずれか一項記載の擬似３次元画像生成装置であって、
   前記画像演算手段は、前記複数の画像における対応する画素の画素値の差または比を当該画素ごとの閾値と比較することにより、画素ごとに離散的奥行きデータを割り当てることを特徴とする擬似３次元画像生成装置。
5. 請求項１乃至４いずれか一項記載の擬似３次元画像生成装置であって、
   前記画像演算手段は、前記複数の画像における対応する画素の画素値の差または比を当該画素値に応じた所定の閾値と比較することにより、画素ごとに離散的奥行きデータを割り当て、前記複数の画像のいずれかにおいて、前記離散的奥行きデータが等しくかつ隣接する画素を前記オブジェクトとして抽出することを特徴とする擬似３次元画像生成装置。
6. 請求項１乃至５いずれか一項記載の擬似３次元画像生成装置であって、
   前記奥行き値算出手段は、前記画像全体、前記オブジェクトの隣接部分、および前記オブジェクト内のいずれかにおいて、画素の位置に対する奥行き値の平滑化処理を行うことを特徴とする擬似３次元画像生成装置。
7. 複数の照明状態において撮影対象を撮影した複数の画像から、前記撮影対象の擬似的な３次元画像を生成する擬似３次元画像生成方法であって、
   前記複数の画像を記録する画像記録過程と、
   前記複数の画像における対応する画素の画素値の比較演算に基づいて、前記対応する画素の離散的奥行きデータを算出して前記撮影対象のオブジェクトを抽出する離散的奥行きデータ算出過程と、
   前記算出された離散的奥行きデータに基づいて、前記対応する画素の擬似的な奥行き値を算出する奥行き値算出過程と、
   前記奥行き値算出過程において、前記離散的奥行きデータに基づき、前記オブジェクトに奥行き関数をあてはめる奥行き関数あてはめ過程と
   を有することを特徴とする擬似３次元画像生成方法。
8. 請求項７記載の擬似３次元画像生成方法であって、
   前記離散的奥行きデータ算出過程は、
   前記複数の画像の解像度を下げる過程と、
   解像度を下げた複数の画像における対応する画素の画素値の比較演算に基づいて、前記対応する画素の離散的奥行きデータを算出する過程と
   を有することを特徴とする擬似３次元画像生成方法。
9. 請求項８記載の擬似３次元画像生成方法であって、
   前記複数の画像の解像度を下げる過程において、前記複数の画像を平滑化し、かつ解像度を下げることを特徴とする擬似３次元画像生成方法。
10. 請求項７乃至９いずれか一項記載の擬似３次元画像生成方法であって、
    前記離散的奥行きデータ算出過程において、前記複数の画像における対応する画素の画素値の差または比を当該画素ごとの閾値と比較することにより、画素ごとに離散的奥行きデータを割り当てることを特徴とする擬似３次元画像生成方法。
11. 請求項７乃至１０いずれか一項記載の擬似３次元画像生成方法であって、
    前記離散的奥行きデータ算出過程において、前記複数の画像における対応する画素の画素値の差または比を当該画素ごとの閾値と比較することにより、画素ごとに離散的奥行きデータを割り当て、前記複数の画像のいずれかにおいて、前記離散的奥行きデータが等しくかつ隣接する画素を前記オブジェクトとして抽出することを特徴とする擬似３次元画像生成方法。
12. 請求項７乃至１１いずれか一項記載の擬似３次元画像生成方法であって、
    前記画像全体、前記オブジェクトの隣接部分、および前記オブジェクト内のいずれかにおいて、画素の位置に対する奥行き値の平滑化処理を行う過程
    をさらに含むことを特徴とする擬似３次元画像生成方法。
13. 請求項７乃至１２いずれか一項記載の擬似３次元画像生成方法における過程をコンピュータに実行させるためのプログラムとした
    ことを特徴とする擬似３次元画像生成プログラム。
14. 請求項７乃至１２のいずれか一項記載の擬似３次元画像生成方法における過程をコンピュータに実行させるためのプログラムとし、
    前記プログラムを前記コンピュータで読取り可能な記録媒体に記録した
    ことを特徴とする擬似３次元画像生成プログラムを記録した記録媒体。