JP6908025B2 - 画像処理装置と画像処理方法 - Google Patents

Description

この技術は、画像処理装置と画像処理方法に関し、デプス画像の時空間方向の安定性を改善できるようにする。

近年、被写体までの距離を画像で表現したデプス画像を生成して、ジェスチャユーザインタフェース等に利用することが行われている。また、デプス画像の生成では、例えば特許文献１に開示されているように、左眼画像と右眼画像を用いてマッチング等を行うことで生成されている。

また、画像処理では、時空間方向の安定性を改善する提案がなされている。例えば特許文献２の発明では、入力画像と空間的な相関を有する参照画像の空間情報に基づいて動き補償を行い、補間出力画像を生成する。また、参照画像の時間方向の変化に基づいて算出したフィードバック調整量に基づき入力画像と補間出力画像を混合してノイズの少ない画像が生成している。

特開２０１２−２４４３９６号公報 特開２０１３−０５９０１６号公報

ところで、特許文献２のような処理を行うと、前景と背景の境界領域などにおいてデプス値が平均化されて、前景と背景のいずれとも異なるデプス値となり、時空間方向の安定性を改善することができない。

そこで、この技術ではデプス画像の時空間方向の安定性を改善できる画像処理装置と画像処理方法を提供することを目的とする。

この技術の第１の側面は、
入力画像の注目画素に対する周辺領域内画素の画素値とデプス値に基づいた入力画像デプス分布特徴情報と、前記入力画像より過去の画像である過去画像における前記注目画素の画素位置の対応画素に対する周辺領域内画素の画素値とデプス値および前記注目画素の画素値に基づいた過去画像デプス分布特徴情報の合成を行い、生成した合成デプス分布特徴情報から算出したデプス代表値を前記注目画素のデプス値とするデプス値処理部
を備える画像処理装置にある。

この技術において、入力画像情報生成処理部は、入力画像における注目画素に対する周辺領域内画素の画素値とデプス値に基づいて、例えば周辺領域内画素毎に、注目画素との画素情報の類似度に応じた重みをデプス値に関連付けて、デプス値毎に重みを累積したデプスヒストグラムまたはデプス値毎に重みを示すデプステーブルを入力画像デプス分布特徴情報として生成する。

過去画像情報生成処理部は、入力画像より過去の画像である過去画像における注目画素の画素位置を対応画素として、対応画素に対する周辺領域内画素の画素値とデプス値および注目画素の画素値に基づいて、例えば過去画像周辺領域内画素毎に、注目画素との画素情報の類似度に応じた重みをデプス値に関連付けて、デプス値毎に重みを累積したデプスヒストグラムまたはデプス値毎に重みを示すデプステーブルを過去画像デプス分布特徴情報として生成する。

また、入力画像情報生成処理部と過去画像情報生成処理部は、画素情報例えば輝度や色の類似度が高くなるに伴い重みを大きくする。

合成制御部は、注目画素と対応画素との画素情報の相違量に応じて合成比率の設定を行い、注目画素と対応画素との画素情報の相違量が大きくなるともない、入力画像情報生成処理部で生成された入力画像デプス分布特徴情報の合成比率を高くする。

デプス値処理部は、合成制御部で設定された合成比率で、入力画像情報生成処理部で生成された入力画像デプス分布特徴情報と過去画像情報生成処理部で生成された過去画像デプス分布特徴情報を合成して合成デプス分布特徴情報を生成する。デプス値処理部は、例えばデプスヒストグラムまたはデプステーブルの重みを合成比率に応じた重みとして、デプスヒストグラムまたはデプステーブルの合成を行い、合成デプスヒストグラムまたは合成デプステーブルを生成する。デプス値処理部は、合成デプス分布特徴情報から算出したデプス代表値、例えば合成デプス分布特徴情報をデプス値順の情報として、重み累積値が中間値となるデプス値をデプス代表値とする。また、デプス値処理部は、合成デプス分布特徴情報の重みの総和に対するデプス代表値を基準とした所定デプス範囲の重みの総和の割合をデプス代表値の信頼度として算出する。デプス値処理部は、デプス体表値の信頼度が予め設定された判定閾値以上である場合に、デプス代表値を注目画素のデプス値として、信頼度が予め設定された判定閾値未満である場合に、注目画素のデプス値を無効値とする。さらに、デプス値処理部は、判定閾値を変更可能とする。

また、過去画像情報生成処理部は、対応画素に対する周辺領域内画素から無効値を示す画素を除いてデプス分布特徴情報を生成する。さらに、過去画像情報生成処理部は、対応画素に対する周辺領域内画素の画素値とデプス値と信頼度および注目画素の画素値に基づいて、過去画像デプス分布特徴情報を生成するようにしてもよい。

また、入力画像と過去画像の少なくとも一方の画像を他方の画像と視点が一致する画像に変換する視点変換処理部を設けて、入力画像情報生成処理部と過去画像情報生成処理部は、視点変換処理部によって視点を一致させた画像を用いて入力画像デプス分布特徴情報と過去画像デプス分布特徴情報を生成する。

この技術の第２の側面は、
入力画像の注目画素に対する周辺領域内画素の画素値とデプス値に基づいた入力画像デプス分布特徴情報と、前記入力画像より過去の画像である過去画像における前記注目画素の画素位置の対応画素に対する周辺領域内画素の画素値とデプス値および前記注目画素の画素値に基づいた過去画像デプス分布特徴情報の合成を行い、生成した合成デプス分布特徴情報から算出したデプス代表値を前記注目画素のデプス値とすること
を含む画像処理方法にある。

この技術によれば、入力画像の注目画素に対する周辺領域内画素の画素値とデプス値に基づいた入力画像デプス分布特徴情報と、前記入力画像より過去の画像である過去画像における前記注目画素の画素位置の対応画素に対する周辺領域内画素の画素値とデプス値および前記注目画素の画素値に基づいた過去画像デプス分布特徴情報の合成を行い、生成した合成デプス分布特徴情報から算出したデプス代表値が前記注目画素のデプス値とされる。このため、注目画像に対して時空間方向の画素の画素情報とデプス値に基づき確実性の高いデプス値が注目画像のデプス値とされて、デプス画像の時空間方向の安定性を改善できる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

デプス画像生成システムの構成を例示した図である。 第１の実施の形態の構成を例示した図である。 入力ガイド画像を用いた重みの算出動作を説明するための図である。 過去ガイド画像を用いた重みの算出動作を説明するための図である。 相違量と合成比率の関係を例示した図である。 合成デプスヒストグラムを例示した図である。 第１の実施の形態の動作を示すフローチャートである。 画像処理装置の効果を模式化して示した図である。 過去画像分布特徴情報生成部の動作を例示した図である。 デプス値処理部の動作を説明するための図である。 第３の実施の形態の構成を例示している。 第４の実施の形態の構成を例示した図である。 視点変換を説明するための図である。 視点変換動作を示すフローチャートである。 視点と前景物の動きを例示した図である。 第４の実施の形態の動作を例示した図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．デプス画像生成システムの構成
２．第１の実施の形態
３．第２の実施の形態
４．第３の実施の形態
５．第４の実施の形態

＜１．デプス画像生成システムの構成＞
図１は、本技術の画像処理装置を用いたデプス画像生成システムの構成を例示している。デプス画像システム１０は、デプス画像生成装置１５と画像処理装置２０を有している。

デプス画像生成装置１５は、右視点画像と左視点画像を用いてマッチング処理を行い、右視点画像と左視点画像のいずれか一方を基準として、基準とした視点画像（以下「ガイド画像」という）における被写体までの距離（デプス値）を示すデプス画像（デプスマップともいう）を生成する。なお、図１では、右視点画像をガイド画像とした場合を例示している。マッチング処理は、領域ベースマッチングや特徴ベースマッチングテンプレートマッチングなどいずれの手法を用いてもよい。デプス画像生成装置１５は、マッチング処理を実行して、右視点画像（ガイド画像）における注目画素に対して左視点画像における対応画素位置のずれ量に基づき、右視点画像の注目画素の被写体までの距離（デプス値）を算出する。また、デプス画像生成装置１５は、右視点画像上における注目画素の画素位置を順次移動してマッチング処理を行い、各画素位置で算出したデプス値またはデプス値に応じた画素情報（例えば輝度）を示すデプス画像を生成する。デプス画像生成装置１５は、生成したデプス画像を画像処理装置２０へ出力する。

画像処理装置２０は、入力画像における注目画素に対する周辺領域内画素の画素値とデプス値に基づいて、デプス分布特徴情報を生成する。また、入力画像より過去の画像である過去画像における注目画素の画素位置を対応画素として、対応画素に対する過去画像周辺領域内画素の画素値とデプス値および注目画素の画素値に基づいて、デプス分布特徴情報を生成する。さらに、注目画素と対応画素との画素情報の相違量に応じて設定した合成比率で、入力画像と過去画像のそれぞれから生成されたデプス分布特徴情報の合成を行い、生成した合成デプス分布特徴情報から算出したデプス代表値を注目画素のデプス値とすることで、デプス画像の時空間方向の安定性を改善する。また、画像処理装置２０は安定性が改善されたデプス画像における各画素のデプス値の信頼度を示す信頼度マップを生成する。

＜２．第１の実施の形態＞
次に画像処理装置の第１の実施の形態について説明する。図２は、画像処理装置の第１の実施の形態の構成を例示している。画像処理装置２０は、入力画像情報生成処理部２１、過去ガイド画像記憶部２２、過去画像情報生成処理部２４、合成制御部２５、デプス値処理部２６、過去デプス画像記憶部２７を有している。

入力画像情報生成処理部２１は、入力画像における注目画素に対する周辺領域内画素（以下「入力画像周辺領域内画素」という）の画素値とデプス値に基づき、デプス分布特徴情報（以下「入力画像デプス分布特徴情報」という）を生成する。入力画像情報生成処理部２１は、入力画像類似度算出部２１１と入力画像分布特徴情報生成部２１２を有している。なお、周辺領域は注目画素を基準とした注目領域を含む所定領域であり、周辺領域内画素には注目画素も含まれる。また、入力画像（入力ガイド画像と入力デプス画像）における周辺領域を入力画像周辺領域とする。

入力画像類似度算出部２１１は、注目画素毎に、入力ガイド画像における注目画素と入力画像周辺領域内画素との画素情報の類似度に応じた重みの算出を行い、画素情報の類似度が高くなるに伴い重みを大きくする。例えば、入力画像類似度算出部２１１は、注目画素と入力画像周辺領域内画素の輝度を画素情報として用いて、式（１）に基づき重みＷpresent（ｎ，ｘ，ｘ’）を算出する。式（１）において、入力ガイド画像のフレーム番号を「ｎ」、入力ガイド画像の輝度をＩ（ｎ）として示している。また、注目画素の位置を表す二次元ベクトルを「ｘ」、入力画像周辺領域内画素の位置を表す二次元ベクトルを「ｘ’」として示している（二次元ベクトルの基準は例えば左上端の画素とする）。また、式（１）ではガウシアン係数「σ」を用いることで、輝度差に対してガウス分布に応じた重みを設定している。なお、ガウシアン係数σの値は、予め設定されている。

図３は、入力ガイド画像を用いた重みの算出動作を説明するための図である。図３の（ａ）は、入力ガイド画像における注目画素と入力画像周辺領域内画素の輝度を示している。また、図３の（ｂ）は、式（１）に示す輝度差と重みの関係を示しており、輝度差が少なくなるほどすなわち類似度が高くなるほど重みを大きくする。入力画像類似度算出部２１１は、入力ガイド画像の注目画素と入力画像周辺領域内画素との輝度差に応じた重みを、式（１）に基づき算出する。図３の（ｃ）は、入力画像周辺領域内画素毎に算出した重みＷpresentを例示している。

なお、入力画像類似度算出部２１１は、画素情報として輝度のみを利用して重みを算出する場合に限らず、色またはテクスチャ形状などの情報から重みを算出してもよく、複数の情報を用いて重みを算出してもよい。

入力画像分布特徴情報生成部２１２は、注目画素毎に、入力画像周辺領域内画素のデプス値と入力画像類似度算出部２１１で求めた重みを関連付けて入力画像デプス分布特徴情報を生成する。入力画像デプス分布特徴情報は、入力画像周辺領域内のデプス値と重みの関係を示した情報である。例えば第１の実施の形態では、入力画像デプス分布特徴情報として、デプス値毎の重み累積値を示す現在デプスヒストグラムを生成する。入力画像分布特徴情報生成部２１２は、式（２）に基づき現在デプスヒストグラムＨpresent（ｎ，ｘ，ｄ）を生成する。式（２）において、入力ガイド画像における注目画素のデプス値を「Ｄ（ｎ，ｘ）」、デプス値を表す整数値を「ｄ（例えば０≦ｄ≦２５５）」としている。また、注目画素ｘを基準とする入力画像周辺領域をローカルウィンドウ関数Ｗ(x)で指定して、ローカルウィンドウ関数Ｗ(x)で示される領域内の画素のデプス値と重みを用いて現在デプスヒストグラムを生成する。なお、デプス値を表す整数値ｄは、現在デプスヒストグラムの階級（ｂｉｎｓ）に相当しており、式（３）に基づき整数値ｄとデプス値が等しい周辺画素の重みを加算して整数値ｄに対する度数としている。

過去ガイド画像記憶部２２は、入力ガイド画像より過去の画像を示す過去ガイド画像（例えば１フレーム前のガイド画像）を記憶する。また、過去ガイド画像記憶部２２は、記憶している過去ガイド画像を過去画像情報生成処理部２４と合成制御部２５へ出力する。

過去画像情報生成処理部２４は、入力ガイド画像と過去ガイド画像と過去ガイド画像における被写体までの距離を示す過去デプス画像を用いる。過去画像情報生成処理部２４は、入力ガイド画像より過去の画像である過去ガイド画像における注目画素の画素位置を対応画素とする。過去画像情報生成処理部２４は、対応画素に対する過去画像周辺領域内画素の画素値とデプス値および注目画素の画素値に基づいて、デプス分布特徴情報（以下「過去デプス分布特徴情報」という）を生成する。過去画像情報生成処理部２４は、過去画像類似度算出部２４１と過去画像分布特徴情報生成部２４２を有している。

過去画像類似度算出部２４１は、注目画素毎に、入力ガイド画像における注目画素と過去ガイド画像における過去画像周辺領域内画素との画素情報の類似度に応じた重みの算出を行い、画素情報の類似度が高くなるに伴い重みを大きくする。例えば、過去画像類似度算出部２４１は、注目画素と過去画像周辺領域内画素の輝度を画素情報として用いて、式（４）に基づき重みＷprevious（ｎ，ｘ，ｘ’）を算出する。式（４）において、入力ガイド画像のフレーム番号を「ｎ」、入力ガイド画像の輝度をＩ（ｎ）、過去ガイド画像（例えば１フレーム前のガイド画像）のフレーム番号を「ｎ−１」、過去ガイド画像の輝度をＩ（ｎ−１）として示している。また、注目画素の位置を表す二次元ベクトルを「ｘ」、過去画像周辺領域内画素の位置を表す二次元ベクトルを「ｘ’」として示している（二次元ベクトルの基準は例えば左上端の画素とする）。また、式（４）では式（１）と同様にガウシアン係数「σ」を用いることで、輝度差に対してガウス分布に応じた重みを設定している。なお、ガウシアン係数σの値は、式（１）と等しい値とする場合に限らず、式（１）と異なる値に設定してもよい。また、過去画像周辺領域は、注目画素に対して入力画像周辺領域と等しい位置で等しい領域サイズに設定する場合に限らず、例えば異なる領域サイズとしてもよい。

図４は、過去ガイド画像を用いた重みの算出動作を説明するための図である。図４の（ａ）は、過去画像周辺領域のガイド画像（例えば輝度画像）を示している。また、図４の（ｂ）は、式（４）に示す輝度差と重みの関係を示しており、輝度差が小さくなるほど重みが大きくなる。過去画像類似度算出部２４１は、過去画像周辺領域内画素毎に、入力ガイド画像の注目画素と過去画像周辺領域内画素との輝度差に応じた重みを、式（４）に基づき求める。図４の（ｃ）は、過去画像周辺領域内画素毎に算出した重みＷpresentを例示している。

なお、過去画像類似度算出部２４１は、入力画像類似度算出部２１１と同様に、輝度のみを利用して重みを算出する場合に限らず、色またはテクスチャ形状などの情報から重みを算出してもよく、複数の情報を用いて重みを算出してもよい。

過去画像分布特徴情報生成部２４２は、過去デプス画像記憶部２７に記憶されている過去デプス画像の過去画像周辺領域内画素のデプス値と過去画像類似度算出部２４１で求めた重みを関連付けて過去画像デプス分布特徴情報を生成する。過去画像デプス分布特徴情報は、過去画像周辺領域内のデプス値と重みの関係を示した情報である。例えば第１の実施の形態では、過去画像デプス分布特徴情報として、過去デプス画像における過去画像周辺領域内画素のデプス値とデプス値毎の重み累積値を示す過去デプスヒストグラムを生成する。過去画像分布特徴情報生成部２４２は、式（５）に基づき過去デプスヒストグラムＨprevious（ｎ，ｘ，ｄ）を生成する。式（５）において、過去画像周辺領域内である位置「ｘ’」の画素のデプス値を「Ｄfilterted（ｎ−１，ｘ’）」、デプス値を表す整数値を「ｄ（例えば０≦ｄ≦２５５）」としている。また、注目画素ｘを基準とする過去画像周辺領域をローカルウィンドウ関数Ｗ(x)で指定して、ローカルウィンドウ関数Ｗ(x)で示される領域内の画素のデプス値と重みを用いて過去デプスヒストグラムを生成する。なお、デプス値を表す整数値ｄは、過去デプスヒストグラムの階級（ｂｉｎｓ）に相当しており、式（６）に基づき整数値ｄとデプス値が等しい周辺画素の重みを加算して整数値ｄに対する度数とする。

合成制御部２５は、入力ガイド画像における注目画素と過去ガイド画像における注目画素に対応する対応画素との画素情報の相違に応じて、入力画像デプス分布特徴情報と過去画像デプス分布特徴情報との合成比率を注目画素毎に設定する。合成制御部２５は、相違量算出部２５１と合成比率設定部２５２を有している。

相違量算出部２５１は、入力ガイド画像と過去ガイド画像記憶部２２に記憶されている過去ガイド画像を用いて、入力ガイド画像の注目画素と注目画素の位置に対応する過去画像の対応画素との画素情報の相違量を算出する。例えば相違量算出部２５１は、式（７）に基づき注目画素の輝度Ｉ（ｎ，ｘ）と対応画素との輝度（ｎ−１，ｘ）から相違量Ｉdiff（ｎ，ｘ）を生成する。相違量Ｉdiff（ｎ，ｘ）は、例えば対応画素が被写体領域の画素であり、被写体が移動したことで注目画素が背景領域の画素となると、被写体が移動していない場合に比べて大きな値となる。なお、相違量算出部２５１は、画素情報として輝度のみを利用して相違量を算出する場合に限らず、色などの情報から相違量を算出してもよく、複数の情報を用いて相違量を算出してもよい。

合成比率設定部２５２は、相違量算出部２５１で算出された相違量Ｉdiff（ｎ，ｘ）に基づき、注目画素と対応画素との相違量が大きくなるともない、入力画像情報生成処理部２１で生成された入力画像デプス分布特徴情報の割合が高くなるように合成比率を設定する。例えば、合成比率設定部２５２は、合成比率α（ｎ，ｘ）を、式（８）に基づき設定する。式（８）において、閾値Ｔｈ0，Ｔｈ1は、複数視点の入力画像のノイズ等を考慮して時空間方向に安定したデプス画像が得られるように予め設定されている。また、式（７）に示す相違量Ｉdiff（ｎ，ｘ）と合成比率α（ｎ，ｘ）の関係は、図５に示す関係となる。合成比率設定部２５２は、注目画素毎に設定した合成比率α（ｎ，ｘ）をデプス値処理部２６へ出力する。なお、合成比率はα０，α１は、予め設定されており「０≦α０＜α１」の値となっている。

このように、合成比率設定部２５２は、注目画素と対応画素との画素情報の相違量が大きくなるともない、入力画像デプス分布特徴情報の割合が高くなるように合成比率を設定する。したがって、例えば被写体が動きを生じて相違量が大きくなったとき、移動前のデプス分布特徴情報の割合が少なくされて、被写体の動きによる影響を防止できる。

デプス値処理部２６は、合成制御部２５で設定された合成比率で、入力画像情報生成処理部２１で生成された入力画像デプス分布特徴情報と過去画像情報生成処理部２４で生成された過去画像デプス分布特徴情報を注目画素毎に合成する。また、デプス値処理部２６は、合成後のデプス分布特徴情報（以下「合成デプス分布特徴情報」という）から算出したデプス代表値を注目画素のデプス値として出力デプス画像を生成する。デプス値処理部２６は、情報合成部２６１と合成情報解析部２６２を有している。

情報合成部２６１は、例えば入力画像情報生成処理部２１で生成された現在デプスヒストグラムと、過去画像情報生成処理部２４で生成された過去デプスヒストグラムを、合成制御部２５で設定された合成比率α（ｎ，ｘ）で合成する。式（９）は、合成処理式を示しており、情報合成部２６１は、式（９）に示す演算を行い、現在デプスヒストグラムと過去デプスヒストグラムの重みを合成比率に応じて重みとしてデプス値毎に合成することで、合成デプス分布特徴情報である合成デプスヒストグラムを生成する。

図６は、合成デプスヒストグラムを例示しており、デプス値を階級（ｂｉｎｓ）として、階級毎に合成比率に応じて現在デプスヒストグラムと過去デプスヒストグラムの重みを加算して度数としている。

合成情報解析部２６２は、合成デプスヒストグラムに基づき統計分析を行い、デプス代表値を算出する。また、合成情報解析部２６２は、デプス代表値の信頼度を算出して、信頼度が予め設定されている判定閾値以上であるデプス代表値を注目画素のデプス値として、信頼度が判定閾値未満である場合は注目画素のデプス値を無効値とする。合成情報解析部２６２は、例えば合成デプスヒストグラムのデプス中間値をデプス代表値として算出する。また、合成情報解析部２６２は、合成デプスヒストグラムにおける全階級幅の重みの和に対してデプス代表値を基準とした信頼度判定領域（所定階級幅）の重みの和の割合を信頼度として算出する。

例えば、合成情報解析部２６２は、合成デプスヒストグラムＨmerged（ｎ，ｘ）のデプス中間値Ｄmedian（ｎ，ｘ）をデプス代表値として算出する。なお、デプス中間値Ｄmedian（ｎ，ｘ）の算出において、合成情報解析部２６２は、無効値Ｄinvalidを除外する。合成情報解析部２６２は、図６に示すように、算出したデプス中間値Ｄmedian（ｎ，ｘ）を基準とした信頼度判定領域（Ｄmedian（ｎ，ｘ）−Ｄthr）≦ｄ≦（Ｄmedian（ｎ，ｘ）＋Ｄthr）における重みの和Ｗsum_around_med（ｎ，ｘ）を、式（１０）を用いて算出する。また、合成情報解析部２６２は、式（１１）に基づき、全階級幅の重みの和Ｗtotal（ｎ，ｘ）を算出する。

合成情報解析部２６２は、式（１２）に示すように、全階級幅の重みの和Ｗtotal（ｎ，ｘ）に対する信頼度判定領域の重み和Ｗsum_around_med（ｎ，ｘ）の割合を信頼度Ｄconfidence（ｎ，ｘ）として算出する。

さらに、合成情報解析部２６２は、予め設定されている判定閾値Ｔｈhist_ratioを用いて式（１３）に示す処理を行い、信頼度Ｄconfidence（ｎ，ｘ）が判定閾値Ｔｈhist_ratio以上であるデプス中間値Ｄmedian（ｎ，ｘ）を注目画素のデプス値Ｄfiltered（ｎ，ｘ）とする。また、合成情報解析部２６２は、信頼度Ｄconfidence（ｎ，ｘ）が判定閾値Ｔｈhist_ratio未満である場合、注目画素のデプス値Ｄfiltered（ｎ，ｘ）は無効値Ｄinvalidとする。なお、無効値Ｄinvalidは、デプス画像で示されているデプス値と区別可能な値とする。

また、合成情報解析部２６２は、判定閾値Ｔｈhist_ratioを変更可能する。例えば信頼度の高い出力デプス画像を生成する場合、合成情報解析部２６２は、判定閾値Ｔｈhist_ratioを高くして、信頼度の高いデプス代表値のみを注目画素のデプス値とする。また、出力デプス画像においてデプス値が得られていない画素を少なくする場合、合成情報解析部２６２は、判定閾値Ｔｈhist_ratioを低くして、算出されたデプス代表値が注目画素のデプス値とされやすくする。

合成情報解析部２６２は、注目画素毎にデプス値Ｄfiltered（ｎ，ｘ）を算出して出力デプス画像を生成する。合成情報解析部２６２は、注目画素毎に算出した信頼度Ｄconfidence（ｎ，ｘ）を出力デプス画像に関連付けて出力する。また、合成情報解析部２６２は、生成した出力デプス画像を過去デプス画像として過去デプス画像記憶部２７に記憶させる。なお、過去デプス画像記憶部２７に記憶されている過去デプス画像は、過去ガイド画像記憶部２２に記憶されている過去ガイド画像における被写体までの距離を示すデプス画像である。

次に、第１の実施の形態の動作について説明する。図７は、第１の実施の形態の動作を示すフローチャートである。ステップＳＴ１で画像処理装置は周辺領域内画素毎に重みを設定する。画像処理装置２０における入力画像情報生成処理部２１の入力画像類似度算出部２１１は、入力ガイド画像における注目画素と入力画像周辺領域内画素との画素情報の類似度を算出して、算出した類似度に応じた重みを入力画像周辺領域内画素毎に設定する。同様に、過去画像情報生成処理部２４の過去画像類似度算出部２４１は、注目画素と過去ガイド画像における過去画像周辺領域内画素との画素情報の類似度を算出して、算出した類似度に応じた重みを過去画像周辺領域内画素毎に設定する。画像処理装置２０は、入力画像周辺領域内画素と過去画像周辺領域内画素の画素毎に重みを設定してステップＳＴ２に進む。

ステップＳＴ２で画像処理装置はデプス分布特徴情報を生成する。画像処理装置２０における入力画像情報生成処理部２１の入力画像分布特徴情報生成部２１２は、入力画像周辺領域内画素のデプス値と入力画像類似度算出部２１１で求めた入力画像周辺領域内画素の重みを関連付けて入力画像デプス分布特徴情報を生成する。例えば、入力画像分布特徴情報生成部２１２は、デプス値を階級としてデプス値毎の重みの累積値を度数とする現在デプスヒストグラムを入力画像デプス分布特徴情報として生成する。過去画像情報生成処理部２４の過去画像分布特徴情報生成部２４２は、過去デプス画像における過去画像周辺領域内画素のデプス値と過去画像類似度算出部２４１で算出した過去画像周辺領域内画素の重みを関連付けて過去画像デプス分布特徴情報を生成する。例えば、過去画像分布特徴情報生成部２４２は、デプス値を階級としてデプス値毎の重みの累積値を度数とする過去デプスヒストグラムを過去画像デプス分布特徴情報として生成する。画像処理装置２０は入力画像デプス分布特徴情報と過去画像デプス分布特徴情報を生成してステップＳＴ３に進む。

ステップＳＴ３で画像処理装置は合成比率を設定する。画像処理装置２０における合成制御部２５は、入力ガイド画像の注目画素と過去ガイド画像における対応画素の画素情報の相違量に応じて入力画像デプス分布特徴情報と過去画像デプス分布特徴情報の合成比率を設定する。合成制御部２５は、注目画素と対応画素との画素情報の相違量が大きくなるともない、入力画像デプス分布特徴情報の割合が高くなるように合成比率を設定してステップＳＴ４に進む。

ステップＳＴ４で画像処理装置は合成デプス分布特徴情報を生成する。画像処理装置２０の情報合成部２６１は、ステップＳＴ２で生成した入力画像デプス分布特徴情報と過去画像デプス分布特徴情報を、ステップＳＴ３で設定した合成比率で合成して合成デプス分布特徴情報を生成する。例えば、情報合成部２６１は、デプス値毎に現在デプスヒストグラムと過去デプスヒストグラムの重みを合成比率で合成することで合成デプスヒストグラムを生成してステップＳＴ５に進む。

ステップＳＴ５で画像処理装置はデプス代表値を算出する。画像処理装置２０の合成情報解析部２６２は、ステップＳＴ４で生成した合成デプス分布特徴情報からデプス代表値を算出する。例えば、合成情報解析部２６２は、合成デプスヒストグラムのデプス中間値をデプス代表値として算出してステップＳＴ６に進む。

ステップＳＴ６で画像処理装置は注目画素のデプス値を決定する。画像処理装置２０の合成情報解析部２６２は、ステップＳＴ５で算出したデプス代表値の信頼度を算出して、信頼度が判定閾値以上であるデプス代表値を注目画素のデプス値とする。例えば、合成情報解析部２６２は、合成デプスヒストグラムの全階級幅の重みの和に対する信頼度判定領域の重み和の割合を信頼度として算出する。合成情報解析部２６２は、信頼度が予め設定されている判定閾値以上である場合はステップＳＴ５で算出したデプス代表値を注目画素のデプス値とする。また、合成情報解析部２６２は、信頼度が予め設定されている判定閾値未満であると判別した場合には注目画素のデプス値を無効値とする。

画像処理装置は、注目画素毎にステップＳＴ１からステップＳＴ６の処理を行い、注目画素のデプス値を算出する。なお、図７に示す処理は、ステップ順に処理を行う順序処理に限らず、パイプライン処理や並列処理等で行うようにしてもよい。

このような第１の実施の形態によれば、入力画像デプス分布特徴情報と過去画像デプス分布特徴情報を合成した合成デプス分布特徴情報からデプス代表値が算出されて、判定閾値よりも信頼度の高いデプス代表値が注目画素のデプス値とされる。したがって、注目画像に対して時空間方向の画素の画素情報とデプス値に基づき確実性の高いデプス値が注目画像のデプス値とされて、デプス画像の時空間方向の安定性を改善できる。例えば、マッチング処理に用いる右視点画像や左視点画像に撮像素子のショットノイズ等が生じると、ノイズ等の影響によってマッチング処理に誤りが生じてデプス画像に誤ったデプス値を示すノイズが生じる場合がある。このような場合、画像処理装置では、入力画像デプス分布特徴情報と過去画像デプス分布特徴情報を合成した合成デプス分布特徴情報からデプス代表値が選択されて、信頼度の高いデプス代表値がデプス値とされる。このため、画像処理装置は、デプス画像のノイズを除去することが可能となる。このように、画像処理装置では、入力デプス画像に対してガイド画像や過去デプス画像を用いて時空間方向のフィルタ処理が行われて、入力デプス画像よりも時空間方向の安定性が改善された出力デプス画像を生成できる。

また、デプス値を算出する際にマッチング処理のウィンドウサイズを大きく設けると、例えばデプス値の算出画素位置が前景物の輪郭から離れても、ウィンドウ内の画像が一致して算出画素位置のデプス値が前景物のデプス値とされてしまう場合がある。このため、デプス画像は、前景物の輪郭が膨張した画像となってしまうおそれがある。しかし、画像処理装置では、入力ガイド画像における入力画像周辺領域内画素の画素値に基づいた重みを用いて入力画像デプス分布特徴情報を生成している。また、画像処理装置は、過去ガイド画像における過去画像周辺領域内画素の画素値に基づいた重みを用いて過去画像デプス分布特徴情報を生成している。このため、合成デプス分布特徴情報から選択されたデプス代表値は、ガイド画像における周辺領域の画像を考慮された値となる。すなわち、前景物の境界部分において背景を示す画素が前景物のデプス値を示すことがないようにエッジ形状のリファイメントが可能となる。図８は、画像処理装置の効果を模式化して示した図であり、図８の（ａ）は画像処理装置に入力されたガイド画像、図８の（ｂ）は画像処理装置に入力されたデプス画像、図８の（ｃ）は画像処理装置から出力される出力デプス画像を示している。画像処理装置に入力されたデプス画像では、ガイド画像に対して前景物の輪郭が膨張したデプス画像となっている。画像処理装置は、入力されたデプス画像に対して上述の処理を行うことで、前景物の輪郭が膨張していない出力デプス画像を生成できる。このように、画像処理装置では、過去画像（過去ガイド画像と過去デプス画像）を再帰的に利用していることから、時空間的に広範囲に渡るフィルタを適応することが可能となる。なお、デプス代表値はデプス中間値に限らず他の統計値を用いてもよい。例えばデプスヒストグラムが最大となるデプス値であるデプス最頻値をデプス代表値としてもよい。また、複数の統計値から最も信頼度が高い統計値をデプス代表値としてもよい。

また、画像処理装置は、出力デプス画像の信頼度マップを同時に生成することができるので、アプリケーションとして要求される精度に応じて、出力デプス画像を利用することが可能となる。また、画像処理装置は、過去画像（過去ガイド画像と過去デプス画像）を再帰的に利用する構成であることから、例えば単位フレームあたりの演算量を削減しつつ、時間空間方向に関して広範囲な統合を実現できる。また、画像処理装置は、出力デプス画像の生成を、注目画素および入力画像周辺領域内画素と過去画像周辺領域内画素を用いて注目画素毎に行う。すなわち、出力デプス画像の生成は、局所処理のみで構成されていることから、ＧＰＵ（Graphics Processing Unit）等での実装において並列演算リソースを効果的に活用できる。

さらに、画像処理装置は、入力ガイド画像の注目画素と過去ガイド画像における注目画素に対応する対応画素の画素情報の相違量に応じて、入力画像デプス分布特徴情報と過去画像デプス分布特徴情報の合成比率が制御される。したがって、出力デプス画像において動きを生じた被写体の形状破綻を回避することも可能である。

＜３．第２の実施の形態＞
次に画像処理装置の第２の実施の形態について説明する。第２の実施の形態では、デプス分布特徴情報としてデプステーブルを生成する場合について説明する。

第２の実施の形態は、第１の実施の形態と同様に構成されている。また、第２の実施の形態において、入力画像情報生成処理部２１の入力画像分布特徴情報生成部２１２と過去画像情報生成処理部２４の過去画像分布特徴情報生成部２４２は、デプス値と重みの関係を示すデプステーブルを生成する。

入力画像分布特徴情報生成部２１２は、入力画像周辺領域内画素毎に、デプス値と入力画像類似度算出部２１１で算出された重みを関連付けて現在デプステーブルを生成する。また、過去画像分布特徴情報生成部２４２は、過去画像周辺領域内画素毎に、デプス値と過去画像類似度算出部２４１で算出された重みを関連付けて過去デプステーブルを生成する。

図９は、過去画像分布特徴情報生成部の動作を例示している。図９の（ａ）は、過去デプス画像における過去画像周辺領域内画素のデプス値を例示している。なお、図９の（ａ）において「×」の画素は、デプス値が無効値であることを示している。図９の（ｂ）は、過去画像周辺領域内画素について過去画像類似度算出部２４１で算出された重みを例示している。過去画像分布特徴情報生成部２４２は、過去画像周辺領域内画素から無効値の画素を場外して、残りの画素のデプス値と重みの関係を示す図９の（ｃ）に示す過去デプステーブルを生成する。

デプス値処理部２６の情報合成部２６１は、現在デプステーブルと過去デプステーブルの重みを合成制御部２５で設定された合成比率に応じた重みとしてデプステーブルを合成する。例えば、情報合成部２６１は、過去デプステーブルの重みに対して合成比率α（ｎ，ｘ）を乗算して、現在デプステーブルの重みに対して合成比率（１−α（ｎ，ｘ））を乗算する。情報合成部２６１は、合成比率に応じた重みとされた現在デプステーブルと過去デプステーブルを結合した合成デプステーブルを合成デプス分布特徴情報として生成する。

合成情報解析部２６２は、合成デプステーブルからデプス代表値を算出して、信頼度が予め設定されている判定閾値以上であるデプス代表値を注目画素のデプス値として、信頼度が判定閾値未満である場合は注目画素のデプス値を無効値とする。

図１０は、デプス値処理部の動作を説明するための図である。図１０の（ａ）は現在デプステーブル、図１０の（ｂ）は過去デプスデーブル、図１０の（ｃ）は合成デプステーブルを例示している。また、現在デプステーブルと過去デプスデーブルでは、例えば合成比率「α（ｎ，ｘ）＝０．２」の場合の重みを合成比率分として示している。また、図１０の「×」は、デプス値が無効値であることを示している。

デプス値処理部２６は、無効値を除き、現在デプステーブルと過去デプスデーブルを連結して合成デプステーブルを生成する。また、デプス値処理部２６はデプス中央値を求めるため、例えばデプス値順にデータを並べ替える。図１０の（ｃ）はデプス値順とされた合成デプステーブルを示している。デプス値処理部２６は、例えばデプス値の小さい順から重みの累積値を算出する。

ここで、重みの累積値は「８．３６」であるからデプス中間値Ｄmedian（ｎ，ｘ）＝９６となる。また、領域設定幅「Ｄthr＝２」とすると、信頼度判定領域は「９４〜９８」となり、信頼度判定領域の和「Ｗsum_around_med（ｎ，ｘ）＝６．１６」となる。全階級幅の重みの和Ｗtotal（ｎ，ｘ）は、重みの累積値「８．９」に対して無効値の重みの和「０．２」を加えて「Ｗtotal（ｎ，ｘ）＝９．１」となる。信頼度Ｄconfidence（ｎ，ｘ）は「Ｄconfidence（ｎ，ｘ）＝Ｗsum_around_med/Ｗtotal≒０．６７」となる。また、判定閾値「Ｔｈhist_ratio＝０．５」とした場合、信頼度Ｄconfidence（ｎ，ｘ）は判定閾値Ｔｈhist_ratioよりも大きいことから注目画素のデプス値は「９６」となる。

このような第２の実施の形態によれば、第１の実施の形態と同様な効果を得られるだけでなく、デプスヒストグラムに替えてデプステーブルを用いる構成であることからデプス代表値の算出等を容易に行える。

＜４．第３の実施の形態＞
次に画像処理装置の第３の実施の形態について説明する。第３の実施の形態では、過去デプス画像の信頼度を用いて過去画像デプス分布特徴情報を生成する場合について説明する。

第３の実施の形態は、第１の実施の形態の構成に加えて、過去信頼度マップ記憶部２８を設けている。

図１１は、第３の実施の形態の構成を例示している。なお、図１１において、第１の実施の形態と等しい構成部分については同一符号を付している。第３の実施の形態において、画像処理装置２０は、入力画像情報生成処理部２１、過去ガイド画像記憶部２２、過去画像情報生成処理部２４、合成制御部２５、デプス値処理部２６、過去デプス画像記憶部２７を有している。また、画像処理装置２０は、過去信頼度マップ記憶部２８を有している。

入力画像情報生成処理部２１は、入力ガイド画像と入力デプス画像を用いて、入力画像周辺領域内画素の画素値とデプス値に基づき入力画像デプス分布特徴情報を注目画素毎に生成する。

過去ガイド画像記憶部２２は、過去ガイド画像（例えば１フレーム前のガイド画像）を記憶する。また、過去ガイド画像記憶部２２は、記憶している過去ガイド画像を過去画像情報生成処理部２４と合成制御部２５へ出力する。

過去画像情報生成処理部２４は、注目画素の画素値、過去画像周辺領域内画素の画素値とデプス値、および過去画像周辺領域内画素に対する信頼度に基づき過去画像デプス分布特徴情報を注目画素毎に生成する。過去画像情報生成処理部２４は、過去画像類似度算出部２４１と過去画像分布特徴情報生成部２４２ａを有している。

過去画像類似度算出部２４１は、注目画素毎に、入力ガイド画像における注目画素と過去ガイド画像における過去画像周辺領域内画素との画素情報の類似度に応じた重みの算出を行い、画素情報の類似度が高くなるに伴い重みを大きくする。例えば、過去画像類似度算出部２４１は、注目画素と過去画像周辺領域内画素の輝度値を用いて、上述の式（４）に基づき重みＷprevious（ｎ，ｘ，ｘ’）を算出する。

過去画像分布特徴情報生成部２４２ａは、過去画像周辺領域内画素のデプス値と信頼度および過去画像類似度算出部２４１で求めた重みを関連付けて過去画像デプス分布特徴情報を生成する。過去画像デプス分布特徴情報は、過去画像周辺領域内のデプス値と信頼度に応じた重みの関係を示した情報である。例えば、過去画像分布特徴情報生成部２４２ａは、式（１４）に基づき過去デプスヒストグラムＨprevious（ｎ，ｘ，ｄ）を生成する。式（１４）において、過去画像周辺領域内である位置「ｘ’」の画素の信頼度を「Ｄconfidence（ｎ−１，ｘ’）」、この画素のデプス値を「Ｄfilterted（ｎ−１，ｘ’）」、デプス値を表す整数値を「ｄ（例えば０≦ｄ≦２５５）」としている。また、注目画素ｘに対する過去画像周辺領域をローカルウィンドウ関数Ｗ(x)で指定して、ローカルウィンドウ関数Ｗ(x)で示される領域内の画素のデプス値と重みと信頼度を用いて過去デプスヒストグラムを生成する。なお、デプス値を表す整数値ｄは、過去デプスヒストグラムの階級（ｂｉｎｓ）に相当しており、式（１５）に基づき整数値ｄとデプス値が等しい周辺画素の重みを加算して整数値ｄに対する度数とする。信頼度は、過去信頼度マップ記憶部２８に記憶されている信頼度マップを用いる。

合成制御部２５は、入力ガイド画像における注目画素と過去画像における対応画素との画素情報の相違量に応じて合成比率を設定してデプス値処理部２６へ出力する。

デプス値処理部２６は、合成制御部２５で設定された合成比率で、入力画像情報生成処理部２１で生成された入力画像デプス分布特徴情報と過去画像情報生成処理部２４で生成された過去画像デプス分布特徴情報を合成する。また、デプス値処理部２６は、合成デプス分布特徴情報に基づいてデプス代表値を算出する。さらに、デプス値処理部２６は、デプス代表値の信頼度が判定閾値以上である場合、デプス代表値を注目画素のデプス値とする。また、デプス値処理部２６は、注目画素毎に算出したデプス値を示す出力デプス画像を過去デプス画像として過去デプス画像記憶部２７に記憶させる。さらに、デプス値処理部２６は、注目画素毎に算出した信頼度を示す信頼度マップを、過去デプス画像記憶部２７に記憶した過去デプス画像に対応する信頼度マップとして過去信頼度マップ記憶部２８に記憶させる。

また、第３の実施の形態では、図７に示すフローチャートと同様な処理を注目画素毎に行い、ステップＳＴ２の処理では、過去画像周辺領域内画素のデプス値と信頼度と重みに基づき過去画像デプス分布特徴情報を生成する。

このような第３の実施の形態によれば、第１の実施の形態と同様な効果を得られる。また、第３の実施の形態では、過去デプス画像に対応する信頼度マップを、過去画像デプス分布特徴情報へ反映させていることから、信頼度マップを用いていない場合に比べて、より適切なデプス値となる。また出力デプス画像と同時に出力する信頼度マップの精度の改善も期待できる。

＜５．第４の実施の形態＞
ところで、被写体の撮像は、視点を移動して行われる場合もある。そこで、第４の実施の形態では、視点が移動する場合でもデプス画像の時空間方向の安定性を改善できるようにする。第４の実施の形態において、画像処理装置は、入力画像（入力ガイド画像と入力デプス画像）と過去画像（過去ガイド画像と過去デプス画像）の少なくとも一方の画像を他方の画像と視点が一致する画像に変換する視点変換処理を行う。また、画像処理装置は、視点が一致した入力画像と過去画像を用いて、上述の第１乃至第３の実施の形態のいずれかと同様な処理を行い、出力デプス画像を生成する。以下、過去画像の視点を入力画像の視点に一致させる視点変換処理部を第１の実施の形態の構成に設けた場合について説明する。

図１２は、第４の実施の形態の構成を例示している。なお、図１２において、第１の実施の形態と等しい構成部分については同一符号を付している。画像処理装置２０は、入力画像情報生成処理部２１、過去ガイド画像記憶部２２、過去画像情報生成処理部２４、合成制御部２５、デプス値処理部２６、過去デプス画像記憶部２７を有している。さらに、第４の実施の形態の画像処理装置２０は、視点変換処理部２３を有している。

入力画像情報生成処理部２１は、入力画像周辺領域内画素の画素値とデプス値に基づき入力画像デプス分布特徴情報を生成する。

過去ガイド画像記憶部２２は、入力ガイド画像よりも過去方向である過去ガイド画像を記憶する。また、過去ガイド画像記憶部２２は、記憶している過去ガイド画像を視点変換処理部２３へ出力する。

視点変換処理部２３は、過去ガイド画像記憶部２２から出力された過去ガイド画像を入力画像の視点の画像に変換する。また、視点変換処理部２３は、過去デプス画像記憶部２７に記憶されている過去デプス画像を入力画像の視点のデプス画像に変換する。

視点変換処理部２３は、位置姿勢検出部２３１、過去位置姿勢記憶部２３２、視点変換パラメータ生成部２３３、ガイド画像視点変換部２３４、デプス画像視点変換部２３５を有している。

位置姿勢検出部２３１は、入力ガイド画像に基づいてガイド画像を生成した撮像装置の自己位置と姿勢を検出する。位置姿勢検出部２３１は、例えば文献「Davison, Andrew J. "Real-time simultaneous localisation and mapping with a single camera." Computer Vision, 2003. Proceedings. Ninth IEEE International Conference on. IEEE, 2003.」等に開示されている手法を用いて、入力ガイド画像を生成した撮像装置の自己位置と姿勢を検出して、検出結果を過去位置姿勢記憶部２３２と視点変換パラメータ生成部２３３へ出力する。

過去位置姿勢記憶部２３２は、位置姿勢検出部２３１から出力された検出結果を記憶する。また、過去位置姿勢記憶部２３２は、記憶している検出結果すなわち過去ガイド画像に基づく検出結果を視点変換パラメータ生成部２３３へ出力する。

視点変換パラメータ生成部２３３は、過去ガイド画像と過去デプス画像を、入力画像と同じ視点となるように視点変換処理を行う視点変換パラメータを生成する。視点変換パラメータ生成部２３３は、生成した視点変換パラメータをガイド画像視点変換部２３４とデプス画像視点変換部２３５へ出力する。

図１３は、視点変換を説明するための図である。図１３の（ａ）は視点変換前の二次元デプス画像、図１３の（ｂ）は撮像装置の移動状態、図１３の（ｃ）は視点変換後の二次元デプス画像を示している。なお、図１３は、時点ｔ＝ｔ0から時点ｔ＝ｔ1の期間に撮像装置ＣＡＭ（視点）が移動しており、時点ｔ＝ｔ0のデプス画像（過去デプス画像）を時点ｔ＝ｔ1の視点（入力デプス画像の視点）のデプス画像に変換する場合を例示している。

時点ｔ＝ｔ0における二次元デプス画像の点Ｚ0（ｘ0，ｙ0）は、式（１６）（１７）に基づき三次元点（Ｘ0，Ｙ0，Ｚ0）に変換できる。なお、「Ｚ0」は位置（ｘ0，ｙ0）のデプス値、「ｆ」は焦点距離、「Ｃx，Ｃy」は画像中心を示している。

時点ｔ＝ｔ0における三次元点（Ｘ0，Ｙ0，Ｚ0）は、視点移動前の外部パラメータＲ0，Ｔ0と視点移動後の外部パラメータＲ1，Ｔ1を用いることで、式（１８）に基づき時点ｔ＝ｔ1における三次元点（Ｘ1，Ｙ1，Ｚ1）に変換できる。なお、外部パラメータＲ0，Ｒ1は視点の回転に関するパラメータであり、外部パラメータＴ0，Ｔ1は視点の並進に関するパラメータである。

また、時点ｔ＝ｔ1における三次元点（Ｘ1，Ｙ1，Ｚ1）は、式（１９），（２０）に基づき、時点ｔ＝ｔ1における二次元デプス画像の点Ｚ1（ｘ1，ｙ1）に変換できる。なお「Ｚ1」は位置（ｘ1，ｙ1）のデプス値である。

このようにして、時点ｔ＝ｔ0のデプス画像を時点ｔ＝ｔ1の視点のデプス画像に変換できる。したがって、視点変換パラメータ生成部２３３は、予め取得した焦点距離ｆと位置姿勢検出部２３１から出力された検出結果（視点移動後の外部パラメータＲ1，Ｔ1に相当）と過去位置姿勢記憶部２３２に記憶している検出結果（視点移動前の外部パラメータＲ0，Ｔ0に相当）に基づき、二次元デプス画像の点Ｚ0（ｘ0，ｙ0）を点Ｚ1（ｘ1，ｙ1）に変換する視点変換パラメータを生成する。

ガイド画像視点変換部２３４は、変換パラメータを用いて視点変換を行い、過去ガイド画像記憶部２２に記憶されている過去ガイド画像を、入力ガイド画像と等しい視点のガイド画像に変換して過去画像情報生成処理部２４へ出力する。

デプス画像視点変換部２３５は、変換パラメータを用いて視点変換を行い、過去デプス画像記憶部２７に記憶されている過去デプス画像を、入力デプス画像と等しい視点のデプス画像に変換して過去画像情報生成処理部２４へ出力する。

過去画像情報生成処理部２４は、視点変換後の過去ガイド画像過去デプス画像を用いて、注目画素の画素値と過去画像周辺領域領域内画素の画素値とデプス値および重みに基づき、注目画素に対する過去画像デプス分布特徴情報を生成する。

合成制御部２５は、入力ガイド画像における注目画素と視点変換後の過去ガイド画像における対応画素との画素情報の相違量に応じて合成比率を設定してデプス値処理部２６へ出力する。

デプス値処理部２６は、入力画像情報生成処理部２１で生成された入力画像デプス分布特徴情報と過去画像情報生成処理部２４で生成された過去画像デプス分布特徴情報を、合成制御部２５で設定された合成比率で合成する。また、デプス値処理部２６は、合成デプス分布特徴情報に基づいてデプス代表値を算出する。さらに、デプス値処理部２６は、デプス代表値の信頼度が判定閾値以上である場合、デプス代表値を注目画素のデプス値とする。また、デプス値処理部２６は、注目画素毎に算出したデプス値を示す出力デプス画像を過去デプス画像として過去デプス画像記憶部２７に記憶させる。また、デプス値処理部２６は、算出した信頼度を示す信頼度マップを過去信頼度マップ記憶部２８に記憶させる。

図１４は、視点変換動作を示すフローチャートである。ステップＳＴ１１で画像処理装置は位置姿勢検出を行う。画像処理装置２０の視点変換処理部２３は、入力画像を生成した撮像装置の位置と姿勢を入力画像に基づき検出してステップＳＴ１２に進む。

ステップＳＴ１２で画像処理装置は、視点変換パラメータを生成する。視点変換処理部２３は、ステップＳＴ１１で検出した位置と姿勢の検出結果および過去ガイド画像に基づいて算出されている位置と姿勢の検出結果に基づき、入力画像と過去画像の視点を一致させる視点変換パラメータを生成してステップＳＴ１３に進む。

ステップＳＴ１３で画像処理装置は視点変換を行う。視点変換処理部２３は、ステップＳＴ１２で生成された視点変換パラメータを用いて視点変換を行い、の検出結果および過去ガイド画像に基づいて算出されている位置と姿勢の検出結果に基づき、入力画像と過去画像の視点を一致させる。

画像処理装置は、図１４の視点変換動作を行うことで、入力画像と過去画像の視点を一致させたのち、入力画像に対して順次設定した注目画素毎に、図７に示すフローチャートの処理を行い、時空間方向の安定性を改善した出力デプス画像を生成する。また、新たな画像が入力される毎に図１４に示すフローチャートの処理と図７に示すフローチャートの処理を行う。

図１５は、視点と前景物の動きを例示しており、図１６は、図１５のように視点と前景物が移動したときの第４の実施の形態の動作を例示している。

図１４において、時点ｔ＝ｔ0から時点ｔ＝ｔ1の期間に撮像装置ＣＡＭ（視点）と前景被写体が移動している。

図１５は、時点ｔ＝ｔ1の入力画像に対して時空間方向の安定性を改善する場合を例示している。この場合、過去ガイド画像記憶部には、時点ｔ＝ｔ0のガイド画像が過去ガイド画像として記憶されている。また、過去デプス画像記憶部には、時点ｔ＝ｔ0のデプス画像に対して時空間方向の安定性を改善する処理を行って生成された出力デプス画像が過去デプス画像として記憶されている。さらに、視点変換処理部には、時点ｔ＝ｔ0のガイド画像に基づき、ガイド画像を生成した撮像装置の位置と姿勢の検出結果が記憶されている。なお、図１５に示すブロックに対しては、図１２において対応する処理を行うブロックの符号を示している。

位置姿勢検出処理では、時点ｔ＝ｔ1のガイド画像に基づき、ガイド画像を生成した撮像装置の位置と姿勢を検出する。姿勢変換パラメータ生成処理では、時点ｔ＝ｔ0のガイド画像に基づく位置姿勢検出結果と、時点ｔ＝ｔ1のガイド画像に基づく位置姿勢検出結果に基づき、過去ガイド画像と過去デプス画像を、時点ｔ＝ｔ1のガイド画像とデプス画像の視点の画像に変換する視点変換パラメータを生成する。

視点変換処理では、視点変換パラメータを用いて過去ガイド画像と過去デプス画像の視点変換を行い、時点ｔ＝ｔ1のガイド画像とデプス画像の視点の過去ガイド画像と過去デプス画像を生成する。

合成制御処理では、時点ｔ＝ｔ1のガイド画像と視点変換後の過去ガイド画像を用いて注目画素毎に画素情報の相違量に基づき重みを算出する。なお、図１５では相違量検出結果を示しており、黒色領域は画素情報の相違を生じた画素領域、他の領域は画素情報が一致している画素領域であることを示している。

デプス画像時空間統合処理では、合成制御部で設定された合成比率で、入力画像デプス分布特徴情報と過去画像デプス分布特徴情報を合成して、合成デプス分布特徴情報から算出したデプス代表値を注目画素のデプス値として出力デプス画像を生成する。

このような第４の実施の形態によれば、第１の実施の形態と同様な効果を得ることができる。また、第４の実施の形態では、視点が変化してもデプス画像の時空間方向の安定性を改善できるので、例えばフレーム間の撮像装置の位置姿勢変化を補償することによって、モバイル機器（例えばスマートフォンやフィーチャーフォンなどの携帯端末）やウェアラブルデバイス（例えばヘッドマウントディスプレイなど）に撮像装置を搭載するような用途に対しても対応することが可能となる。

明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。

また、本技術の画像処理装置は以下のような構成も取ることができる。
（１） 入力画像の注目画素に対する周辺領域内画素の画素値とデプス値に基づいた入力画像デプス分布特徴情報と、前記入力画像より過去の画像である過去画像における前記注目画素の画素位置の対応画素に対する周辺領域内画素の画素値とデプス値および前記注目画素の画素値に基づいた過去画像デプス分布特徴情報の合成を行い、生成した合成デプス分布特徴情報から算出したデプス代表値を前記注目画素のデプス値とするデプス値処理部
を備える画像処理装置。
（２） 前記入力画像デプス分布特徴情報を生成する入力画像情報生成処理部と、
前記過去画像デプス分布特徴情報を生成する過去画像情報生成処理部をさらに備え、
前記入力画像情報生成処理部は、前記周辺領域内画素毎に、前記注目画素との画素情報の類似度に応じた重みを前記デプス値に関連付けて前記入力画像デプス分布特徴情報を生成して、
前記過去画像情報生成処理部は、前記対応画素に対する周辺領域内画素毎に、前記注目画素との画素情報の類似度に応じた重みをデプス値に関連付けて前記過去画像デプス分布特徴情報を生成する（１）に記載の画像処理装置。
（３） 前記注目画素と前記対応画素との画素情報の相違量に応じて合成比率を設定する合成制御部をさらに備え、
前記デプス値処理部は、前記合成制御部で設定された合成比率で、前記入力画像デプス分布特徴情報と前記過去画像デプス分布特徴情報を合成する（２）に記載の画像処理装置。
（４） 前記合成制御部は、前記注目画素と前記対応画素との画素情報の相違量が大きくなるともない、前記入力画像情報生成処理部で生成された前記入力画像デプス分布特徴情報の合成比率を高くする（３）に記載の画像処理装置。
（５） 前記画素情報は、輝度または色の情報を含む（３）または（４）に記載の画像処理装置。
（６） 前記入力画像情報生成処理部と前記過去画像情報生成処理部は、前記注目画素との画素情報の類似度が高くなるに伴い重みを大きくする（２）乃至（５）のいずれかに記載の画像処理装置。
（７） 前記デプス値処理部は、前記デプス代表値の信頼度を算出して、前記信頼度が予め設定された判定閾値以上である場合に、前記デプス代表値を前記注目画素のデプス値とする（２）乃至（６）のいずれかに記載の画像処理装置。
（８） 前記デプス値処理部は、前記合成デプス分布特徴情報の重みの総和に対する前記デプス代表値を基準とした所定デプス範囲の重みの総和の割合を前記信頼度とする（７）に記載の画像処理装置。
（９） 前記デプス値処理部は、前記信頼度が予め設定された判定閾値未満である場合に、前記注目画素のデプス値を無効値として、
過去画像情報生成処理部は、前記対応画素に対する周辺領域内画素から前記無効値を示す画素を除いて前記過去画像デプス分布特徴情報を生成する（７）乃至（８）のいずれかに記載の画像処理装置。
（１０） 前記デプス値処理部は、前記判定閾値を変更可能とする（７）乃至（９）のいずれかに記載の画像処理装置。
（１１） 前記デプス値処理部は、前記合成デプス分布特徴情報をデプス値順の情報として、重み累積値が中間値となるデプス値を前記デプス代表値とする（２）乃至（１０）のいずれかに記載の画像処理装置。
（１２） 前記入力画像情報生成処理部は、前記デプス分布特徴情報として、前記注目画素に対する周辺領域内画素のデプス値と重みに基づき、デプス値毎に重みを累積したデプスヒストグラムを生成して、
前記過去画像情報生成処理部は、前記過去画像デプス分布特徴情報として、前記対応画素に対する周辺領域内画素のデプス値と重みに基づき、デプス値毎に重みを累積したデプスヒストグラムを生成して、
前記デプス値処理部は、前記入力画像情報生成処理部と前記過去画像情報生成処理部で生成されたヒストグラムの重みを前記合成制御部で設定された合成比率に応じた重みとして合成を行い、生成した合成デプスヒストグラムを前記合成デプス分布特徴情報とする（２）乃至（１１）のいずれかに記載の画像処理装置。
（１３） 前記入力画像情報生成処理部は、前記デプス分布特徴情報として、前記注目画素に対する周辺領域内画素のデプス値と重みに基づき、デプス値毎に重みを示すデプステーブルを生成して、
前記過去画像情報生成処理部は、前記デプス分布特徴情報として、前記対応画素に対する過去画像周辺領域内画素のデプス値と重みに基づき、デプス値毎に重みを示すデプステーブルを生成して、
前記デプス値処理部は、前記入力画像情報生成処理部と前記過去画像情報生成処理部で生成されたデプステーブルの重みを前記合成制御部で設定された合成比率に応じた重みとして合成を行い、生成した合成デプステーブルを前記合成デプス分布特徴情報とする（２）乃至（１１）のいずれかに記載の画像処理装置。
（１４） 前記デプス値処理部は、前記注目画素のデプス値としたデプス代表値について算出した信頼度を前記注目画素の信頼度として、
前記過去画像情報生成処理部は、前記対応画素に対する周辺領域内画素の画素値とデプス値と信頼度および前記注目画素の画素値に基づいて、前記過去画像デプス分布特徴情報を生成する（２）乃至（１３）のいずれかに記載の画像処理装置。
（１５） 前記入力画像と前記過去画像の少なくとも一方の画像を他方の画像と視点が一致する画像に変換する視点変換処理部をさらに備え、
前記入力画像情報生成処理部と前記過去画像情報生成処理部は、前記視点変換処理部で視点を一致させた画像を用いて、前記入力画像デプス分布特徴情報と前記過去画像デプス分布特徴情報を生成する（２）乃至（１４）のいずれかに記載の画像処理装置。

この技術の画像処理装置によれば、注目画像に対して時空間方向の画素の画素情報とデプス値に基づき確実性の高いデプス値が注目画像のデプス値とされる。したがって、デプス画像の時空間方向の安定性を改善できる。このため、時空間方向の安定したデプス画像が必要とされる分野、例えば三次元ユーザインタフェースやＳＬＡＭ（Simultaneous Localization and Mapping）等に利用可能な電子機器（モバイル機器やウェアラブルデバイス等）に適用できる。

１０・・・デプス画像システム
１５・・・デプス画像生成装置
２０・・・画像処理装置
２１・・・入力画像情報生成処理部
２２・・・過去ガイド画像記憶部
２３・・・視点変換処理部
２４・・・過去画像情報生成処理部
２５・・・合成制御部
２６・・・デプス値処理部
２７・・・過去デプス画像記憶部
２８・・・過去信頼度マップ記憶部
２１１・・・入力画像類似度算出部
２１２・・・入力画像分布特徴情報生成部
２３１・・・位置姿勢検出部
２３２・・・過去位置姿勢記憶部
２３３・・・視点変換パラメータ生成部
２３４・・・ガイド画像視点変換部
２３５・・・デプス画像視点変換部
２４１・・・過去画像類似度算出部
２４２，２４２ａ・・・過去画像分布特徴情報生成部
２５１・・・相違量算出部
２５２・・・合成比率設定部
２６１・・・情報合成部
２６２・・・合成情報解析部

Claims (16)

1. 入力画像の注目画素に対する周辺領域内画素の画素値とデプス値に基づいた入力画像デプス分布特徴情報と、前記入力画像より過去の画像である過去画像における前記注目画素の画素位置の対応画素に対する周辺領域内画素の画素値とデプス値および前記注目画素の画素値に基づいた過去画像デプス分布特徴情報の合成を行い、生成した合成デプス分布特徴情報から算出したデプス代表値を前記注目画素のデプス値とするデプス値処理部
   を備える画像処理装置。
2. 前記入力画像デプス分布特徴情報を生成する入力画像情報生成処理部と、
   前記過去画像デプス分布特徴情報を生成する過去画像情報生成処理部をさらに備え、
   前記入力画像情報生成処理部は、前記周辺領域内画素毎に、前記注目画素との画素情報の類似度に応じた重みを前記デプス値に関連付けて前記入力画像デプス分布特徴情報を生成して、
   前記過去画像情報生成処理部は、前記対応画素に対する周辺領域内画素毎に、前記注目画素との画素情報の類似度に応じた重みをデプス値に関連付けて前記過去画像デプス分布特徴情報を生成する
   請求項１に記載の画像処理装置。
3. 前記注目画素と前記対応画素との画素情報の相違量に応じて合成比率を設定する合成制御部をさらに備え、
   前記デプス値処理部は、前記合成制御部で設定された合成比率で、前記入力画像デプス分布特徴情報と前記過去画像デプス分布特徴情報を合成する
   請求項２に記載の画像処理装置。
4. 前記合成制御部は、前記注目画素と前記対応画素との画素情報の相違量が大きくなるともない、前記入力画像情報生成処理部で生成された前記入力画像デプス分布特徴情報の合成比率を高くする
   請求項３に記載の画像処理装置。
5. 前記画素情報は、輝度または色の情報を含む
   請求項３または請求項４に記載の画像処理装置。
6. 前記入力画像情報生成処理部と前記過去画像情報生成処理部は、前記注目画素との画素情報の類似度が高くなるに伴い重みを大きくする
   請求項２乃至請求項５のいずれかに記載の画像処理装置。
7. 前記デプス値処理部は、前記デプス代表値の信頼度を算出して、前記信頼度が予め設定された判定閾値以上である場合に、前記デプス代表値を前記注目画素のデプス値とする
   請求項２乃至請求項６のいずれかに記載の画像処理装置。
8. 前記デプス値処理部は、前記合成デプス分布特徴情報の重みの総和に対する前記デプス代表値を基準とした所定デプス範囲の重みの総和の割合を前記信頼度とする
   請求項７に記載の画像処理装置。
9. 前記デプス値処理部は、前記信頼度が予め設定された判定閾値未満である場合に、前記注目画素のデプス値を無効値として、
   過去画像情報生成処理部は、前記対応画素に対する周辺領域内画素から前記無効値を示す画素を除いて前記過去画像デプス分布特徴情報を生成する
   請求項７乃至請求項８のいずれかに記載の画像処理装置。
10. 前記デプス値処理部は、前記判定閾値を変更可能とする
    請求項７乃至請求項９のいずれかに記載の画像処理装置。
11. 前記デプス値処理部は、前記合成デプス分布特徴情報をデプス値順の情報として、重み累積値が中間値となるデプス値を前記デプス代表値とする
    請求項２乃至請求項１０のいずれかに記載の画像処理装置。
12. 前記入力画像情報生成処理部は、前記入力画像デプス分布特徴情報として、前記注目画素に対する周辺領域内画素のデプス値と重みに基づき、デプス値毎に重みを累積したデプスヒストグラムを生成して、
    前記過去画像情報生成処理部は、前記過去画像デプス分布特徴情報として、前記対応画素に対する周辺領域内画素のデプス値と重みに基づき、デプス値毎に重みを累積したデプスヒストグラムを生成して、
    前記デプス値処理部は、前記入力画像情報生成処理部と前記過去画像情報生成処理部で生成されたヒストグラムの重みを前記合成制御部で設定された合成比率に応じた重みとして合成を行い、生成した合成デプスヒストグラムを前記合成デプス分布特徴情報とする
    請求項３に記載の画像処理装置。
13. 前記入力画像情報生成処理部は、前記入力画像デプス分布特徴情報として、前記注目画素に対する周辺領域内画素のデプス値と重みに基づき、デプス値毎に重みを示すデプステーブルを生成して、
    前記過去画像情報生成処理部は、前記過去画像デプス分布特徴情報として、前記対応画素に対する過去画像周辺領域内画素のデプス値と重みに基づき、デプス値毎に重みを示すデプステーブルを生成して、
    前記デプス値処理部は、前記入力画像情報生成処理部と前記過去画像情報生成処理部で生成されたデプステーブルの重みを前記合成制御部で設定された合成比率に応じた重みとして合成を行い、生成した合成デプステーブルを前記合成デプス分布特徴情報とする
    請求項３に記載の画像処理装置。
14. 前記デプス値処理部は、前記注目画素のデプス値としたデプス代表値について算出した信頼度を前記注目画素の信頼度として、
    前記過去画像情報生成処理部は、前記対応画素に対する周辺領域内画素の画素値とデプス値と信頼度および前記注目画素の画素値に基づいて、前記過去画像デプス分布特徴情報を生成する
    請求項２乃至請求項１３のいずれかに記載の画像処理装置。
15. 前記入力画像と前記過去画像の少なくとも一方の画像を他方の画像と視点が一致する画像に変換する視点変換処理部をさらに備え、
    前記入力画像情報生成処理部と前記過去画像情報生成処理部は、前記視点変換処理部で視点を一致させた画像を用いて、前記入力画像デプス分布特徴情報と前記過去画像デプス分布特徴情報を生成する
    請求項２乃至請求項１４のいずれかに記載の画像処理装置。
16. 入力画像の注目画素に対する周辺領域内画素の画素値とデプス値に基づいた入力画像デプス分布特徴情報と、前記入力画像より過去の画像である過去画像における前記注目画素の画素位置の対応画素に対する周辺領域内画素の画素値とデプス値および前記注目画素の画素値に基づいた過去画像デプス分布特徴情報の合成を行い、生成した合成デプス分布特徴情報から算出したデプス代表値を前記注目画素のデプス値とすること
    を含む画像処理方法。

Images