JP6613605B2 - 深度画像の深度値復元方法及びシステム - Google Patents

Description

本発明は深度画像に対し深度値の復元を行う方法とシステムに関するものである。

現在、マンマシン・インタラクティブ・システムは、幅広く関心を集めている。マンマシン・インタラクティブ・システムでは、手振り制御システムが大いに流行している。有効な手振り制御システムは自然で便利な操作方式を提供する。

良く知られているように、画像/視覚による手振り識別システムは、入力した画像の品質が直接的に識別結果の精度を決定し、特に、手話や、指先の位置点などのような特殊な手振りを識別する時にそうである。このため、画像中の特定対象を識別するのに都合の良い良質の画像を如何に取得するかがマンマシン・インタラクティブ・システムの直面する最重要問題になっている。最初に、マンマシン・インタラクティブ・システムでは、入力された画像中の識別を要する特定対象、例えば人の手あるいは他の部位の位置を比較的正確に定め、分割の処理を施すためにシステムを起動させるには、ユーザーがやや特殊なカラー手袋、例えば手袋の各指を違う色にした手袋をはめる必要があった。当該方法は比較的容易かつ有効に各指の位置を定めることができるが、当該方法は環境に対する要求が比較的高い。当該システムでは、手袋の色は必ず背景の色と差異性が無ければならず、このため、操作範囲に制約を受ける。同時に、使用工程で、ユーザーは必ず当該手袋をはめなければならないため、システムの運用コストが高くなり、ユーザーに不便を感じさせるものであった。

画像処理技術の発展に伴い、現在でも多くの研究者がカラー画像を用いて手の分割や識別を行っており、方法が簡単で有効であるため、多くの人々に認められている。しかし、当該方法は背景の似たような色や光線条件の影響を受けやすい。

3Dカメラの性能アップに伴い、ますます多くの3Dカメラがマン・マシン・インタラクティブ・システムに使用されている。3Dカメラの取得した深度画像により、人々は比較的便利に深度閾値により深度画像から人体の一部を分割できる。YuriA.Ivanovに授与された米国特許US6911995B2は、仮想平面を用いて深度画像の分割を行う分割方式を開示している。まず、ステレオカメラを用いて当該場面の背景画像と現在画像を取得する。それから、現在画像を用いて背景画像を除去し現在画像中の前景画像を取得し、その後再び、設定した深度閾値により指の位置点の分割を行う。当該特許は深度閾値だけを使用して指のエリアの分割を行うので、多角度画像に対し画素点マッチングを行い深度画像を取得するプロセスでは、深度画像周縁がノイズの影響を受けやすく、深度値の消失あるいは誤った深度値の発生を招くおそれがある。元の深度画像中にこれらのノイズが存在しているので、指の位置を定める精度に影響を受ける。このため、当該特許も先に画像のノイズ除去あるいは画像平滑処理を施す必要がある。深度画像上のノイズの影響を減少させるため、今でも多くの研究者がこの方面で幾つかの解決方法を提案している。

Michael Van den Berghの提出した、「depth seeds: recovering incomplete depth data using superpixels」(WACV 2013: workshop on application of computer vision)という標題の論文はシード画素点の拡張方式を用いて消失した深度情報に補充を行い、より真実に近い深度画像を取得するようにする。該方法は画素の塊レベルによる更新と画素の点レベルによる更新を含む。分塊層では、色ヒストグラムの統計情報を用い、画素層では、色情報と深度情報を同時に使用する。当該論文は大きな塊の物体の処理には有効性があるが、細部情報の復元にはまだ不十分である。

生成される元の深度画像は、深度測定基準や物体表面属性の制約を受けるため、光学的ノイズやマッチングしない周縁部を含むか、空隙が形成されることになる。このように手振りに対する検出や識別で一定の影響が引き起こされ、これにより、手話識別システム、バーチャル・インタラクティブ・ホワイトボード・システム等のようなシステムの性能低下を招く。このため、手振り識別システムのロバスト性を強化するため、まず現在の画像に対しノイズ低減あるいは復元処理を施す必要がある。

本発明の目的は、深度画像に対して深度値の復元を行う方法及びシステムを提供することにある。

前述の問題あるいは問題の一つを解決するために、本発明は、初期の深度画像にノイズ低減あるいは深度値復元を行う処理方法を提供する。具体的に言うと、本発明は、同時取得した深度画像と対応するカラー画像に画像前処理を施し、深度画像とカラー画像中の前景画像を含む候補目標エリアを取得すること；深度画像上の無効深度エリアと候補目標エリアの面積比例により、候補目標エリアに領域拡張処理を施すか否かを確定すること；ならびに候補目標エリアに領域拡張処理を施す必要があると確定した時は、深度画像とカラー画像の画像情報により、候補目標エリアに領域拡張処理を施すこと；そして、候補目標エリアに領域拡張処理を行った後、拡張された候補目標エリアについて、深度画像とカラー画像の画像情報により、候補エリアに深度データ復元処理を施すことを含む深度画像の深度値復元方法を提供する。

本発明による深度値復元方法は、候補目標エリアに領域拡張処理を施す必要がないと確定した時は、直接、深度画像とカラー画像の画像情報により、候補エリアに深度データ復元処理を施すことも含む。

本発明の深度値復元方法によれば、前記の深度画像とカラー画像の画像情報により候補目標エリアに対し領域拡張処理を施すことは、深度画像上で、前景画像中で有効な深度値を有するシード点を選択すること、前記シード点の所定近傍領域内で前記候補目標エリア中の候補拡張点を選択し、当該候補拡張点の深度情報あるいは色情報により当該候補拡張点が拡張できるか否かを確定し、拡張できれば、当該候補拡張点を拡張領域に繰り入れること、ならびに当該候補目標エリア中の全候補拡張点について前記ステップを繰り返すことを含む。

本発明による深度値復元方法は、前記の、当該候補拡張点の深度情報あるいは色情報により当該候補拡張点が拡張できるか否かを確定することが、まず候補拡張点の深度値が有効か否かを判断すること、ならびに候補拡張点の深度値が有効である場合は、候補拡張点の深度値とシード点の深度値の間の深度値の差を計算し、前記深度値の差が所定閾値以下の時には、前記候補拡張点を拡張領域に繰り入れ、そうでなければ処理を行わないこと、あるいは候補拡張点の深度値が無効である場合は、候補拡張点の色とシード点の色の間の差値を計算し、前記色の差値が所定の色類似度閾値以下の時には、深度画像中で、前記シード点の深度値を前記候補拡張点に与え、それを拡張領域に繰り入れ、そうでなければ処理を行わないことを含む。

本発明による深度値復元方法は、前記の、深度画像とカラー画像の画像情報により候補エリアに対し深度データ復元処理を施すことが、前記候補エリアから任意の画素点を選択することにより前記画素点を中心画素点として所定近傍領域を構築すること、前記所定近傍領域内の各画素点と中心画素点間の関係により、各画素点の深度値の中心画素点に対する深度値の加重係数を計算すること、ならびに計算した加重係数を用いて、前記所定近傍領域内の各画素点による深度値を基礎として、中心画素点の深度値を計算し、計算した深度値を前記中心画素点に与えそれを新しい深度値とすることを含む。

本発明の深度値復元方法によれば、前記所定領域内の各画素点と中心画素点間の関係には、空間関係、色関係、深度関係およびグラデーション関係を含む。

本発明による深度値復元方法は、前記各画素点の深度値の中心画素点に対する深度値の加重係数が、両者の間の空間加重係数、色加重係数、グラデーション加重係数および/または深度加重係数をそれぞれ計算し、それに対し掛け算を行うことにより得られる。

本発明による深度値復元方法は、前記の、空間加重係数、色加重係数、グラデーション加重係数、深度加重係数が、それぞれ各自のガウスカーネル関数により計算される。

本発明による深度値復元方法は、構築した所定近傍領域の面積と選択した画素点の深度値の大きさが反比例する。

本発明の別の面により、同時取得した深度画像と対応するカラー画像に対して画像前処理を施し、深度画像とカラー画像中の前景画像を含む候補目標エリアを取得する画像前処理ユニット、深度画像上の無効深度エリアと候補目標エリアの面積比例により、候補目標エリアに領域拡張処理を施すか否かを確定する領域拡張確定ユニット、ならびに候補目標エリアに領域拡張処理を施す必要があると確定した時に、深度画像とカラー画像の画像情報により、候補目標エリアに領域拡張処理を施す領域拡張処理ユニット、そして候補目標エリアに領域拡張処理を行った後、拡張された候補目標エリアについて、深度画像とカラー画像の画像情報により、候補エリアに深度データ復元処理を施す復元処理ユニットを含む深度値復元システムも提供する。

本発明は主として画像のノイズ低減に用い、部分的に消失した深度データを復元する。

添付図と組み合わせて以下の本発明の好適実施例の詳細説明を読むことにより、本発明の上記の、およびその他の目標、長所そして技術や工業的重要性がより良く理解できる。
本発明による深度値復元方法を用いたプロセスの概念説明図である。 本発明の実施例による、元の深度画像における深度値の復元に用いる方法のフローチャートである。 本発明の実施例による、深度画像への領域拡張処理のフローチャートである。 RGB-D情報により深度画像上で領域拡張を行う１実例を示す図である。 RGB-D情報により深度画像上で領域拡張を行う１実例を示す図である。 手の細部を復元する実例を示した図である。 手の細部を復元する実例を示した図である。 手の細部を復元する実例を示した図である。 本発明の実施例による、元の深度画像における深度値の復元に用いるシステムの概念図である。

当業者の本発明へのより容易な理解のために、以下、添付図と具体的な実施形態を組み合わせて、本発明を更に詳細に説明する。

図1に示すのは本発明による深度値復元方法を用いたプロセスの概念説明である。図1に示すように、元の深度画像の深度情報とカラー画像の色情報を組み合わせ、本発明の深度値復元方法を用いて元の深度画像に処理を施すことで、図1右側の復元処理後の深度画像が得られる。図1左側の元の深度画像からは、周縁ノイズの影響により、五本の指の深度画像が一つにつながっていることが分かる。本発明による処理後は、不完全な深度データが補充され、五本の指が全部、はっきりと開き、同時に、図1右側に示すように、指の深度値が保持される。図1左側に示すのは以下に述べる深度画像とカラー画像の候補エリアである。

図2に示すのは本発明の実施例により元の深度画像中で深度値復元に用いる方法のフローチャートである。図2に示すように、まず、ステップS11で、本発明の深度値復元システム10（以下で図6を参照し詳細に説明する）の画像入力ユニット101（以下で詳細に説明する）が深度カメラの撮影した深度画像（ここではD画像と呼ぶ）とカラー画像（ここではRGB画像と呼ぶ）を入力する。入力した画像はこの後、まとめてRGBD画像と呼ぶ。入力したRGBD画像は他の画像採取装置が同時採取した深度画像とカラー画像でも良い。

続いて、ステップS12で、画像前処理ユニット102（以下で詳細に説明する）により入力したRGBD画像に対し画像前処理を施し、これにより画像の部分的ノイズを低減する。現在、中央値フィルタ、平均値フィルタ等、多くの常用的画像ノイズ低減方法がある。入力したRGBD画像中のカラー画像と深度画像の異なる特性を考慮して、本発明では、深度画像上で中央値フィルタを用いて部分的深度ノイズ、特にランダムなノイズ点のフィルタリングを行う。カラー画像上では、ヒストグラム均等化方法を使用し、これにより光線条件の影響を低減する。中央値フィルタは非線形平準化技術であり、それは各画素点のグレースケール度値を当該点のある領域ウィンドウ内の全画素点のグレースケール度の中央値に設定する。ヒストグラム均等化は光線条件の変化がもたらす影響を消去する常用的方法であり、ヒストグラム均等化の基本的考え方は原画像のヒストグラムを一様な分布形式に変換し、このようにして画素のグレースケール度の動態範囲を増やし、これにより画像全体の対比度を増やす効果を得、以て局部的光線条件の影響を消去できるようにするものである。しかし、指摘すべきことは、入力したRGBD画像は上記前処理を経なくても、直接、後続処理に用いられることである。

前処理を経た後のRGBD画像に対し、ステップS13で、領域拡張判断ユニット103（以下で詳細に説明する）が候補エリアに領域拡張を行う必要があるか否かを判断する。深度画像の形成工程であるため、画素点の深度値にマッチングを行い画素点に一つの深度値を与えるようにする。大多数の画素点は全て正確にマッチングできるが、依然として正確にマッチングできず深度値を与えられないかもしれない画素が存在する。これらの深度値を与えられない画素は深度画像上の「黒穴」、即ち深度画像中の深度データが失われた部分を形成する。本発明の行う領域拡張処理の主要な目的は、近傍領域画素点により、深度画像上の「黒穴」に対し補充を行うことである。通常、深度画像中の「黒穴」の出現はランダム性を有する。このため、本発明で述べる領域拡張を行う前に、まず候補エリアが領域拡張、即ちステップS13で行う処理を施す必要があるか否かを判断する。本発明では、候補エリア内の全ての無効深度値画素点の個数を集計し、全ての無効深度値画素点の総面積を計算する。候補エリアが領域拡張を行う必要があるか否かの判断は、無効深度エリア（即ち黒穴）の識別された候補目標エリアの面積に占める比率が一定の閾値より大きいか否かを判断することにより行うが、閾値の設定は実際の復元対象により定めることができる。例えば、識別された候補目標が手である時は、当該閾値を1/5に設定する。即ち、無効深度エリアの識別された候補目標エリアの面積に占める比率が1/5より大きければ、候補エリア全体に領域拡張処理を施す必要があると確定し、そうでなければ、直接、手の細部の復元処理を行って良い。

具体的に言うと、ステップS13で候補エリア全体に領域拡張処理を施す必要があると判断した場合は、処理はステップS14に進む。ステップS14では、拡張処理ユニット104（以下で詳細に説明する）が深度画像上で領域拡張処理を施す。

図3に示すのは本発明の実施例により深度画像に領域拡張処理を施すフローチャートである。領域拡張法は通用的な技術である。領域拡張条件、即ち領域内の任意の画素点に対してどのように領域拡張を行うかについて判断する。どのように領域拡張を行うかの判断が領域拡張工程で非常に重要な部分であり、それは画素点が当該拡張領域に付け加えられるか否かを決定する。領域拡張処理を施すエリア内のある画素点に対して領域拡張を行うか否かについては、通常、二つの評価方式、「最小面積閾値」と「類似度閾値」がある。「最小面積閾値」は候補拡張領域の面積が設定した面積閾値より小さい場合に、当該候補拡張領域が拡張されないことを指す。「類似度閾値」は、2点間の画素差あるいは平均画素値差が、設定した類似度閾値より大きい場合に、当該画素点が拡張領域に付け加えられないことを指す。類似度の判断は領域拡張についても非常に重要であり、当該条件の設定は、通常、元の画像と分割したい目標結局により決定される。このため、通常の場合について言えば、領域拡張の実行は、まずシード点を選択し、それから、シード点に基づき領域拡張計算を行う。しかし、異なる具体的な使用場面では、使用方法に大きな違いがある。本発明の領域拡張は正にRGBD画像に対するものなので明確な違いのある領域拡張方法を採用する。

領域拡張処理では、シード点の合理的な選択が非常に重要である。シード点の選択はユーザーあるいは具体的な応用環境に依存する。例えば稲光の画像で、稲光を当該画像から分割しようとするなら、ヒストグラム統計方法を用いてシード点の選択を行うことができる。図3に示すように、ステップS141で、シード点選択ユニット1041（以下の文で詳細に説明する）が前処理を経た深度画像からシード点を選択し当該点の対応する深度値を取得する。本発明の目的は画像のノイズ低減に用いることであり、このため本発明では、候補分割対象を用い、例えば手の中心点を第一シード点とし、また当該点は有効な深度値を有するものとする。シード点の選択処理は前景エリアについてのみ行うが、このようにすれば計算量を最大限、減らすことができる。勿論、いわゆる中心点は必ずしも手の幾何学的中心あるいは質量の中心ではなく、幾何学的中心あるいは質量の中心から一定の半径の範囲内の如何なる点でも良く、あるいは手に属する如何なる有効深度値を有する如何なる点でも良い。

シード点を選択した後、ステップS142で、深度値判断ユニット1042（以下で詳細に説明する）が当該シード点の所定個数の画素領域内（例えば4、8あるいは16等の画素近傍領域内）の任意の現在の画素点の深度値が有効であるか否かを判断する。画像深度値の有効範囲はカメラの性能で決定する。例えば、当該カメラが採取できる深度範囲を〔T1,T2〕とし、当該画素の深度値が〔T1,T2〕の範囲内にあれば、当該深度値は有効値であり、そうでなければ当該深度値は無効である。例えば、カメラの有効深度値範囲が〔1,5000〕であれば、ある画素点の対応する深度値が5000より大きく、あるいは0に等しいなら、当該画素点の深度値は無効であり、反対であれば、当該深度値は有効値である。

ステップS142で現在の画素点の深度値が有効な深度値であると判断したなら、処理はステップS143に進み、深度差比較ユニット1043（以下で詳細に説明する）がシード点と現在の画素点の深度値に基づき領域拡張条件の判断を行う。そうでないなら、処理はステップS144に進み、色差比較ユニット1044（以下で詳細に説明する）が色情報により当該画素点が領域拡張をする必要があるか否かを判断する。具体的に言うと、ステップS143で、深度差比較ユニット1043が深度差の条件により現在の画素点が拡張するか否かを判断する。本発明は深度相似閾値Dを使用し、現在の画素点の深度値が有効深度値である場合に、拡張されるか否かの判断条件とする。即ち、現在の画素点（即ち候補拡張点）の深度値とシード点の深度値の差を計算し、当該深度値の差が深度相似閾値Dより小さいか否かを判断する。当該深度値の差が深度相似閾値D以下の場合、前記候補拡張点は現在の拡張領域に拡張され、処理はステップS145に進み、領域拡張ユニット1045（以下で詳細に説明する）が現在の画素点の領域拡張を行う。これに反し、当該深度値の差が深度相似閾値Dより大きければ、当該現在の画素点は拡張条件に一致せず、拡張されない、即ち当該点は前景エリアに属さない可能性があり、捨てて放っておいて良い。深度相似閾値Dはカメラの精度レベルに基づき確定する。カメラの精度レベルがミリメートルレベルであれば、当該深度閾値Dの単位はミリメートルとなる。深度相似閾値Dの設定は対象を拡張する物理的特性により決定することができ、例えば人の手のエリアに領域拡張を行う時は、深度相似閾値Dは通常、10-50ミリメートルの間に設定し、最終閾値は具体的なテストにより調節して得られる。例えば、深度相似閾値Dは10、15、20、50などに設定することができる。

同時に、ステップS144で、色差比較ユニット1044が色差条件により現在の画素点が拡張するか否かを判断する。本発明は色類似度閾値Cを使用して、現在の画素点の深度値が無効深度値である場合に、拡張されるか否かの判断条件とする。即ち、現在の画素点（即ち候補拡張点）の色値とシード点の色値の差を計算し、当該色差値が色類似度閾値Cより小さいか否かを判断する。当該色差値が色類似度閾値C以下の場合、前記候補拡張点は現在の拡張領域まで拡張されるので、処理はステップS145に進み現在の画素点の領域拡張を行う。反対に、当該色差値が色類似度閾値Cより大きければ、当該現在の画素点は拡張条件に一致しないので、拡張されず、当該点は前景エリアに属さない可能性があり、捨てて放っておいて良い。テストにより、色類似度閾値Cは、通常、5〜30に設定する。例えば、色類似度閾値Cは5、 8、 10等に設定できる。

ステップS143で、現在の拡張待ち画素点が有効な深度値を有し、深度の領域拡張条件を満たしているなら、ステップS145で当該拡張点を現在の拡張領域に加える。同様にして、ステップS144で、現在の拡張待ち画素点は有効な深度値がないと確定したが、当該拡張点とシード点の間で色類似度閾値の拡張条件を満たしているならば、ステップS145で当該拡張点を現在の拡張領域に加え、シード点の深度値を当該拡張点に与える。現在の拡張画素点が深度拡張条件を満たさずかつ色拡張条件も満たしていない場合は、当該拡張画素点は拡張領域に加えることができない。

各現在の画素点について、領域拡張が完成するまでステップS141〜145を繰り返す。図4Aと4BはRGB-D情報により深度画像上で領域拡張を行う実例を示す。図4Aに示すように、このうち上側は候補エリアの深度画像であり、下側は候補エリアのカラー画像である。図4Aのd1は現在のシード点で、有効な深度値を有する。現在の画素点d2は候補拡張画素点で、有効な深度値も有している。このため、図4Aの実例画像中では、まずテストして、深度相似閾値Dを50ミリメートルに確定する。その後、シード点d1と拡張待ちの点d2の間の深度差を計算すると、当該深度差は30で、深度相似閾値Dより小さい。このため、画素点d2は拡張領域に付け加えられる。画素点d2は有効深度値を有するので、領域拡張エリアで、画素点d2の深度値は新たに値を与える必要がない。シード点d1と拡張待ちの点d2の間の深度差が50ミリメートルより大きければ、拡張待ちの点d2は拡張領域に加えることができない。同じ理由で、図4Aの他の現在の画素点d3を拡張待ち画素点とすると、それは有効な深度値を有していないので、現在の領域拡張判断条件は色差により計算する。図4Aに示す実例で、色類似度閾値Cを30と確定する。計算により、現在の画素点d3とシード点d1の間の色差は15で、色類似度閾値Cより小さいことが分かる。このため、画素点d3は当該拡張領域に加えられ、深度値が画素点d1の深度値と等しくなる。画素点d1と画素点d3の間で深度拡張条件を満たしておらず、かつ色拡張条件も満たしていないなら、画素点d3が当該拡張領域に加えられることはできない。拡張待ちエリア内の全ての現在の点に対して上記処理を施すことにより、最終的に図4Bの示す拡張処理を経た結果を取得する。図4Bに示すように、この中で、格子状の陰影エリアが領域拡張により補充して得られた有効深度エリアである。

図4Bから、失われた深度点が補充されていることがわかるが、この拡張処理は幾つかのノイズ点も持ち込まれている。このため、これらの持ち込まれたノイズ点を消去し、拡張処理を経たエリアに対し細部復元処理を施す必要がある。このため、戻って図2を参照していただきたい。ステップS15では、深度画像上で、識別された対象に対する深度値復元処理を施す。以下、手の部分を具体的実例として、ステップS15で行う処理について詳細に説明する。

ステップS15で、復元処理ユニット105（以下で詳細に説明する）が深度画像上の画素点の深度値を復元する。当該復元工程は、各画素点に対応する深度値は、対応する近傍領域エリアの全画素点の深度値によって決まるという規則に基づくものである。図5A-5Cが示すのは手の細部を復元するのに用いた実例である。

復元処理工程で、各画素点の対応する深度値は当該画素点の近傍領域中の全ての画素点により計算して得られる。図5Aに示すように、画素点iに対応する近傍領域エリアをエリア(i)と表示する。当該画素点の深度値は、エリア(i)内の全ての画素点の深度値から求められる。前記近傍領域エリアを画素点iの4、8あるいは16近傍領域エリアとする。本発明では、エリア(i)の面積と現在の手の深度値は反比例する。近傍領域エリアの面積が大きすぎると、計算コストが増大し、同時に余分のノイズが引き入れられる。近傍領域エリアの面積が小さすぎると、利用できる有効画素が減少する。このためノイズ低減性能が弱められる。合理的に近傍領域エリアの大きさを設定するために、現在の画素点の対応する近傍領域エリアを手の深度値に反比例させる。手がカメラから比較的近い場合は、近傍領域エリアの面積は比較的大きく、手がカメラから遠い場合は、近傍領域エリアの面積は減少する。このため、エリア(i)の具体的大きさは実際の必要性により確定される。

候補エリアで、任意の画素点を中心点とし、当該画素点の対応する近傍領域エリアの位置を定める。このため当該画素点の対応する新深度値は公式(1)により計算で得られる。公式(2)はパラメータωの計算方法である。

D(j)は近傍領域内の各画素点の深度値。

公式(1)で、ω_ijは加重係数で、それはエリア（i）内の任意の近傍領域画素点jと中心画素点iの間の類似度の程度を表す。加重係数が大きいほど、画素点iと画素点jの間の類似度が高くなる。本発明では、加重係数は、空間位置関係、色情報、深度情報ならびにグラデーション情報により計算して得られ、計算式は公式(3)のように示される。

公式(3)で、画素点iが有効な深度値D(i)を有していれば、加重係数は空間加重、色加重、深度加重、グラデーション加重の組み合わせにより計算で得られる。深度値D(i)が無効値であれば、加重係数の計算において深度加重は不要である。

空間加重は中心画素点i(x_i,
y_i)とその近傍領域画素点j(x_j, y_j)の間の空間位置関係を表示する。空間加重係数は空間カーネル関数g_s(i−j)により計算で得られる。本発明では、空間カーネル関数は画素点iを中心位置点とするガウスカーネル関数であり、公式(4)のように示される。

公式(4)に示すように、画素点jが画素点iから遠く離れている時は、空間加重値g_s(i−j)が減少し、画素点jが画素点iに近いほど、空間加重値は増大する。公式(4)で、σ_sはガウスカーネル関数のバンド幅である。

本発明では、公式(4)で、σ_sは下記公式を用いて計算する。

このうち、widthとheightは近傍領域エリア(i)の幅と高さを表示する。公式(5)はただ経験を表現しただけの式であり、具体的な環境によってもバンド幅の調整をすることができる。本発明で使用するガウス関数は古典的なカーネル関数であり、既に幾つかの分野で使用されており、リンクhttp://en/wikipedia.org/wiki/Gaussian_functionの説明を参考にすることができる。

色加重は画素点iと任意の近傍領域画素点jのカラー画像あるいはグレースケール画像上の色類似度を表示する。同様に、色加重値はガウスカーネル関数g_I(I(i)−I(j))を用いて計算する。この中で、現在の画像がグレースケール画像（1チャンネル）であれば、色加重値は公式(6)により計算で得られる。現在の画像がカラー画像（多チャンネル）であれば、色加重値は公式(7)により計算で得られる。

このうち、R(i),
G(i), B(i)はそれぞれ赤、緑、青の3つのチャンネルを表す。公式(6)と公式(7)で、σ_I、σ_R、σ_G、σ_Bはガウスカーネル関数のバンド幅で、全て0.2に等しいが、当該値は具体的環境で調節することもできる。

深度加重は画素点iと近傍領域画素点jの深度画像上で対応する深度値の類似度を表示する。深度加重値は深度域カーネル関数g_d(D(i)−D(j))を用いて計算する。通常の場合、物体は連続した深度値範囲を有するので、中心画素点iとその近傍領域画素点jの間の深度差が大きすぎる時は、この二つの画素点は同一の物体に属していないと考えることができる。このため、深度カーネル関数の計算公式は式(7)のように示される。

このうちTは定数閾値で、テストで試してみて得られる。ここでは、手の深度値復元を事例としているので、本発明はT=200mmと設定する。勿論、Tは100〜200mmの間の任意の値、例えば、100mm、150mm、200mm等を設定することもできる。深度値がTより大きい時は、近傍領域画素点jと中心画素点iは同一の物体に属していない可能性があり、このため深度加重値は0と設定する。深度差が閾値Tより小さい時は、深度カーネル関数もガウス関数を用いて表示する。σ_Dは関数のバンド幅で、本発明では、識別する対象が手であれば、テストにより0.5と設定することができる。

グラデーション加重は画素点iと画素点jがグレースケール画像（カラー画像）上で現れるグラデーション類似度である。グラデーション加重はグラデーション・カーネル関数g_g(G(i)−G(j))を用いて計算する。関数もガウスカーネル関数である。公式(8)は本発明で用いたグラデーション・カーネル関数である。

グラデーション・カーネル関数計算式で、G(i)は画素点iの周囲のエリアのグラデーション分布で、G(j)は画素点jの周囲のエリアのグラデーション分布である。本発明では、当該エリア内の水平方向と垂直方向のグラデーション分布を用いて当該画素点の対応するグラデーション成分とする。公式(9)で、σ_gはグラデーション関数のバンド幅で2に等しく、グラデーション加重はエッジ情報の復元に役立つ。

公式(3)により、本発明は多くの加重係数を使用して画素点の対応する新深度値を計算する。加重係数には空間加重値、色加重値、深度加重値ならびにグラデーション加重値を含む。例えば、現在の画素点iが処理を必要とし、画素点pと画素点qが画素点iの近傍領域エリアに属しているとする。その場合、画素点iの新深度値を計算する工程では、まず画素点iと画素点p、画素点qの間の空間加重値、色加重値、深度加重値およびグラデーション加重値をそれぞれ計算する必要がある。このため、画素pと画素点qが同じ空間加重値と深度加重値有していたとしても、それらの色加重値あるいはグラデーション加重値が異なっていれば、画素点pと画素点qは画素点iの新深度値の生成について異なる作用を果たすことになる。このため、当該発明は深度ノイズを有効に低減し物体の細部情報を復元し、これにより画像品質を改善することができる。

最後に、画像出力ユニット106を経由して深度値の復元した深度画像を出力する。

図6に示すのは本発明の実施例により元の深度画像中で深度値を復元するのに用いるシステムの概念図である。図6に示すように、深度値復元ユニット10は、画像入力ユニット101、画像前処理ユニット102、領域拡張判断ユニット103、拡張処理ユニット104、復元処理ユニット105、ならびに画像出力ユニット106を含む。このうち拡張処理ユニット104は、シード点選択ユニット1041、深度値判断ユニット1042、深度差比較ユニット1043、色差比較ユニット1044、ならびに領域拡張ユニット1045を含む。各々は上記で述べたような処理を施すが、ここでは重複説明は割愛する。

以上のように本発明が詳細に説明してきたのは、本発明がRGBD画像情報を利用し、領域拡張を用いて現在、部分的に消失した深度データに対し補充を行うことである。このうち、領域拡張条件は色情報あるいは深度情報により判断する。深度情報により領域拡張条件の判断を行うので、色の相似した物体の影響を有効に阻止することができる。色情報により領域拡張条件の判断を行うので、消失した部分的深度情報に対し初期の補充を行うことができる。

第二に、本発明は画素層の加重により計算し、有効に深度ノイズを低減し、エッジ情報、輪郭情報等、深度画像の細部情報を復元する。加重値には空間加重、色加重、深度加重およびグラデーション加重を含む。

以上、具体的実施例と結び合わせて本発明の基本原理を説明したが、指摘すべきことは、本分野の普通の技術者にとって、本発明の方法と装置の全部あるいはどのステップないし部材も理解可能なものであり、どのコンピュータ（プロセッサー、記憶媒体等を含む）あるいはコンピュータ・ネットワーク中でも、ハードウェア、ファームウェア、ソフトウェアあるいはそれらの組合せによって実現できることで、これは本分野の普通の技術者が本発明の説明を読んだならば彼らの基本的コンピュータプログラム技術を使って実現することができる。

このため、本発明の目的はどのコンピュータ上でもプログラムあるいはプログラムの組合せによって実現することができる。前記コンピュータは通用している公知の通用的装置で構わない。このため、本発明の目的は前記方法あるいは装置を実現するプログラム・コードを含むプログラム製品を提供するだけで実現することができる。つまり、このようなプログラム製品も本発明を構成しており、このようなプログラム製品を有する記憶媒体も本発明を構成する。前記記憶媒体が公知のあるいは将来開発されて来る如何なる記憶媒体でもよいことは言うまでもない。

更に指摘すべきことは、本発明の装置と方法において、明らかに、各部材あるいは各ステップが分解および/または新たな組合せが可能なことである。これらの分解および/または新たな組み合わせは本発明と同等の効果を有する方案と見做されなければならない。かつ、上記一連の処理を実行するステップはそのまま説明順序に従い時間を追って実行することができるが、必ずしも一定の時間順序で実行する必要はない。あるステップは平行して、あるいは互いに独立して実行することができる。

上記の具体的実施方式は、本発明の保護範囲に対する制限となるものではない。本分野の技術者に明らかなことは、設計要求や他の要因如何で、各種各様の修正、組合せ、サブ組合せおよび代替が起こり得ることである。本発明の考え方と原則の中で行われる如何なる修正、同等の代替や改良等は、全て本発明の保護範囲に含まれなければならない。

Claims (18)

1. 同時取得した深度画像と対応するカラー画像に対して画像前処理を施し、深度画像とカラー画像中の前景画像を含む候補目標エリアを取得すること、
   深度画像上の候補目標エリアにおける無効深度エリアの面積と、候補目標エリアの面積との比率により、候補目標エリアに領域拡張処理を施すか否かを確定すること、
   候補目標エリアに領域拡張処理を施す必要があると確定した時は、深度画像とカラー画像の画像情報により、深度画像上の候補目標エリアに領域拡張処理を施すこと、及び
   候補目標エリアに領域拡張処理を行った後、拡張された候補目標エリアについて、深度画像とカラー画像の画像情報により、深度データ復元処理を施すことを含む、深度値復元方法。
2. 候補目標エリアに領域拡張処理を施す必要がないと確定した場合は、直接、深度画像とカラー画像の画像情報により、候補目標エリアに深度データ復元処理を施すことをさらに含む、請求項1に記載の深度値復元方法。
3. 前記の深度画像とカラー画像の画像情報により候補目標エリアに領域拡張処理を施すことが、
   深度画像上で、前景画像中の有効な深度値を有するシード点を選択すること、
   前記シード点の所定近傍領域内で前記候補目標エリア中の候補拡張点を選択し、当該候補拡張点の深度情報あるいは色情報により、当該候補拡張点が前記シード点に基づく深度値の拡張領域として拡張できるか否かを確定し、拡張できれば、当該候補拡張点を前記拡張領域に繰り入れること、及び
   当該候補目標エリア中の全候補拡張点について前記ステップを繰り返すことを含む、請求項１または2に記載の深度値復元方法。
4. 前記の当該候補拡張点の深度情報あるいは色情報により当該候補拡張点が前記シード点に基づく深度値の拡張領域として拡張できるか否かを確定することが、
   まず候補拡張点の深度値が有効か否かを判断すること、及び
   候補拡張点の深度値が有効である場合は、候補拡張点の深度値とシード点の深度値の間の深度値の差を計算し、前記深度値の差が所定閾値以下の時には、前記候補拡張点を前記拡張領域に繰り入れ、そうでなければ処理を行わないこと、あるいは候補拡張点の深度値が無効である場合は、候補拡張点の色とシード点の色の間の差値を計算し、前記色の差値が所定の色類似度閾値以下の時には、深度画像中で、前記シード点の深度値を前記候補拡張点に与えるとともに、それを前記拡張領域に繰り入れ、そうでなければ処理を行わないことを含む、請求項3に記載の深度値復元方法。
5. 前記の深度画像とカラー画像の画像情報により深度画像上の候補目標エリアに対し深度データ復元処理を施すことが、
   前記候補目標エリアから任意の画素点を選択することにより、前記画素点を中心画素点として所定近傍領域を構築すること、
   前記所定近傍領域内の各画素点と中心画素点間の関係により、各画素点の深度値の中心画素点に対する深度値の加重係数を計算すること、及び
   計算した加重係数を用いて、前記所定近傍領域内の各画素点による深度値を基礎として、中心画素点の深度値を計算し、計算した深度値を前記中心画素点に与えるとともに、新しい深度値とすることを含む、請求項1または2に記載の深度値復元方法。
6. 前記所定近傍領域内の各画素点と中心画素点間の関係は、空間関係、色関係、深度関係およびグラデーション関係を含む、請求項5に記載の深度値復元方法。
7. 前記各画素点の深度値の中心画素点に対する深度値の加重係数が、両者の間の空間加重係数、色加重係数、グラデーション加重係数および/または深度加重係数をそれぞれ計算し、それらの掛け算を行うことにより得られる、請求項6に記載の深度値復元方法。
8. 前記の空間加重係数、色加重係数、グラデーション加重係数、深度加重係数が、それぞれ各自の加重カーネル関数により計算される、請求項7に記載の深度値復元方法。
9. 構築した所定近傍領域の面積と選択した画素点の深度値の大きさが反比例する、請求項5に記載の深度値復元方法。
10. 同時取得した深度画像と対応するカラー画像に対して画像前処理を施し、深度画像とカラー画像中の前景画像を含む候補目標エリアを取得する画像前処理ユニット、
    深度画像上の候補目標エリアにおける無効深度エリアの面積と、候補目標エリアの面積との比率により、候補目標エリアに領域拡張処理を施すか否かを確定する領域拡張確定ユニット、
    候補目標エリアに領域拡張処理を施す必要があると確定した時に、深度画像とカラー画像の画像情報により、深度画像上の候補目標エリアに領域拡張処理を施す領域拡張処理ユニット、及び
    候補目標エリアに領域拡張処理を行った後、拡張された候補目標エリアについて、深度画像とカラー画像の画像情報により、深度データ復元処理を施す復元処理ユニットを含む、深度値復元システム。
11. 前記領域拡張処理ユニットが、さらに、
    候補目標エリアに領域拡張処理を施す必要がないと確定した時に、直接、深度画像とカラー画像の画像情報により、候補目標エリアに深度データ復元処理を施す、請求項10に記載の深度値復元システム。
12. 前記の深度画像とカラー画像の画像情報により候補目標エリアに領域拡張処理を施すことが、
    深度画像上で、前景画像中の有効な深度値を有するシード点を選択すること、
    前記シード点の所定近傍領域内で前記候補目標エリア中の候補拡張点を選択し、当該候補拡張点の深度情報あるいは色情報により、当該候補拡張点が前記シード点に基づく深度値の拡張領域として拡張できるか否かを確定し、拡張できれば、当該候補拡張点を前記拡張領域に繰り入れること、及び
    当該候補目標エリア中の全候補拡張点について前記ステップを繰り返すことを含む、請求項10または11に記載の深度値復元システム。
13. 前記の当該候補拡張点の深度情報あるいは色情報により当該候補拡張点が前記シード点に基づく深度値の拡張領域として拡張できるか否かを確定することが、
    まず候補拡張点の深度値が有効か否かを判断すること、及び
    候補拡張点の深度値が有効である場合は、候補拡張点の深度値とシード点の深度値の間の深度値の差を計算し、前記深度値の差が所定閾値以下の時には、前記候補拡張点を前記拡張領域に繰り入れ、そうでなければ処理を行わないこと、あるいは候補拡張点の深度値が無効である場合は、候補拡張点の色とシード点の色の間の差値を計算し、前記色の差値が所定の色類似度閾値以下の時には、深度画像中で、前記シード点の深度値を前記候補拡張点に与えるとともに、それを前記拡張領域に繰り入れ、そうでなければ処理を行わないことを含む、請求項12に記載の深度値復元システム。
14. 前記の深度画像とカラー画像の画像情報により深度画像上の候補目標エリアに対し深度データ復元処理を施すことが、
    前記候補目標エリアから任意の画素点を選択することにより、前記画素点を中心画素点として所定近傍領域を構築すること、
    前記所定近傍領域内の各画素点と中心画素点間の関係により、各画素点の深度値の中心画素点に対する深度値の加重係数を計算すること、及び
    計算した加重係数を用いて、前記所定近傍領域内の各画素点による深度値を基礎として、中心画素点の深度値を計算し、計算した深度値を前記中心画素点に与えるとともに、新しい深度値とすることを含む、請求項10または11に記載の深度値復元システム。
15. 前記所定近傍領域内の各画素点と中心画素点間の関係は、空間関係、色関係、深度関係およびグラデーション関係を含む、請求項14に記載の深度値復元システム。
16. 前記各画素点の深度値の中心画素点に対する深度値の加重係数が、両者の間の空間加重係数、色加重係数、グラデーション加重係数および/または深度加重係数をそれぞれ計算し、それらの掛け算を行うことにより得られる、請求項15に記載の深度値復元システム。
17. 前記の空間加重係数、色加重係数、グラデーション加重係数、深度加重係数が、それぞれ各自の加重カーネル関数により計算される、請求項16に記載の深度値復元システム。
18. 構築した所定近傍領域の面積と選択した画素点の深度値の大きさが反比例する、請求項14に記載の深度値復元システム。