JP6577565B2 - 深度画像処理用の方法及び装置 - Google Patents

Description

本出願は、２０１５年５月１１日に提出された中国特許出願２０１５１０２３６７１７.０号の優先権を要求する。ここで、本願の一部として上記中国特許出願に開示された内容を全文引用する。

本発明は、深度画像処理用の方法及び装置に関する。

現在では、市場で取得可能な主導の運動感知設備、例えばｋｉｎｅｃｔ、ＰｒｉｍｅＳｅｎｃｅ は、通常、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ、飛行時間法３Ｄ画像形成）原理を採用する深度カメラにより画像を形成し、そして、取得した深度画像をミドルウェア、例えばＮＩＴＥ（ＮＩＴＥはジェスチャ認識及び運動キャプチャ等の機能を実現できる）に伝送し、ソフトウェアの計算により人体の骨格及び関節の情報を取得するのであり、これにより、運動感知制御が実現される。この従来技術は赤外線装置を用いるので、コストが高い。

ＴＯＦ原理以外に、深度画像を取得するその他の技術が存在する。例えば双眼カメラにより深度画像を取得することは、低価の解決案である。然し、双眼カメラは、その画像形成原理の制約により、深度画像を取得するときに一定の情報が欠落して、画像ノイズが大きい問題が存在するので、深度画像の品質が悪い。したがって、深度画像処理の解決案を改進する要求がある。

本発明の第一の側面は、深度画像処理用の方法を提供する。前記方法は、深度画像及び前記深度画像に対応する撮像画像を取得することと、前記深度画像を分割し、複数の分割ユニットを得ることと、各分割ユニットに対して対応する深度参照値を計算することと、前記対応する深度参照値により各分割ユニットの深度値基準範囲を確定することと、前記深度画像の各画素の深度値を前記各画素が位置する分割ユニットに対応する深度値基準範囲内に調整することと、を備える。

本発明実施例に係る方法では、深度画像を分割し、複数の分割ユニットを得て、各分割ユニットに対して対応する深度参照値及び深度値基準範囲を計算し、そして、深度画像の画素をトラバースし、画素の深度値を分割ユニットに対応する深度値基準範囲内に調整する。この方法によれば、深度画像に対してノイズ除去処理を行うことができ、処理後の深度画像の輪郭がはっきりしており、認識しやすくなるので、深度画像の品質を向上できる。

１つの実施例によれば、上述した前記深度画像を分割して複数の分割ユニットを得ることは、前記撮像画像に対して輪郭分割を行い、輪郭分割情報を得ることと、前記輪郭分割情報により前記深度画像を分割し、複数の分割ユニットを得ることと、を備える。

１つの実施例によれば、上述した前記撮像画像に対して輪郭分割を行い、輪郭分割情報を得ることは、前記撮像画像に対して階調処理を行い、階調画像を得ることと、前記階調画像に対してエッジ抽出を行い、輪郭画像を得ることと、前記輪郭画像に対して輪郭膨張処理を行い、輪郭膨張画像を得ることと、前記輪郭膨張画像を反転し、反転画像を得ることと、ウォーターシェッドアルゴリズムにより前記反転画像の輪郭分割情報を計算することと、を備える。

上記実施例により、短時間内にリアタイム撮像画像の輪郭分割情報を算出することができ、深度画像に対してノイズ除去処理を行う速度の向上に有利である。

１つの実施例によれば、前記各分割ユニットに対して対応する深度参照値を算出することは、前記分割ユニットにおける黒点画素及び輝点画素を除去することと、黒点画素及び輝点画素を除去した分割ユニットに対して、深度値によって画素数を統計することと、画素数の最も多い深度値を前記分割ユニットの深度参照値として確定することと、を備える。

上述実施例により、分割ユニットにおける黒点画素及び輝点画素、即ち、ノイズポイント画素を除去することができ、計算結果の正確度を高めることができる。

１つの実施例によれば、各分割ユニットに対して、前記深度値基準範囲は０.５~１.３倍の深度参照値である。

１つの実施例によれば、前記深度画像の各画素に対して、前記各画素の深度値を前記各画素が位置する分割ユニットに対応する深度値基準範囲に調整することは、設定方向に沿って前記深度画像の画素をトラバースし、トラバース中に、現在画素の深度値はそれが位置する分割ユニットに対応する深度値基準範囲を越えると、設定方向に沿って深度画像のうち現在画素を中心とする周辺画素の深度値を順次に読み取ってループを外部に設定回数広げることと、現在の読取画素は前記分割ユニット内にあり、且つ深度値はそれが位置する分割ユニットに対応する深度値基準範囲内にあると、ループから脱して前記現在画素の深度値を現在読取画素の深度値に調整することと、前記ループ設定回数が終了して前記現在画素の深度値が調整されないなら、前記現在画素の深度値をそれが位置する分割ユニットに対応する深度参照値に調整することと、を備える。

上記実施例により、調整される画素と周辺の画素との深度値の遷移をよりスムーズにすることができ、処理後の深度画像の品質向上に有利である。

１つの実施例によれば、前記周辺画素は前記現在画素の十字方向にある。

上記実施例により、計算処理の速度が向上され、深度画像に対してノイズ除去処理を行う速度が向上される。

１つの実施例によれば、前記ループ設定回数は５回であり、前記設定方向は、行方向において左から右へ、又は右から左へであり、或いは列方向において上から下へ、又は下から上へである。

上記実施例により、より少ない計算量により、より短い時間内に画素を効果的に充填することができ、深度画像に対してノイズ除去処理を行う速度の向上に有利である。

本発明の第二の側面は、深度画像処理用の装置を提供する。前記装置は、深度画像及び前記深度画像に対応する撮像画像を取得するように構成される取得モジュールと、前記深度画像を分割して複数の分割ユニットを得るように構成される分割モジュールと、各分割ユニットに対して対応する深度参照値を計算するように構成される計算モジュールと、前記対応する深度参照値に従って各分割ユニットの深度値基準範囲を確定するように構成される確定モジュールと、前記深度画像の各画素の深度値を前記各画素が位置する分割ユニットに対応する深度値基準範囲内に調整するように構成される調整モジュールと、を備える。

１つの実施例によれば、前記分割モジュールは、さらに、前記撮像画像に対して輪郭分割を行い、輪郭分割情報を得て、前記輪郭分割情報により前記深度画像を分割し、複数の分割ユニットを得るように構成される。

１つの実施例によれば、前記分割モジュールは、さらに、前記撮像画像に対して階調処理を行い、階調画像を得て、前記階調画像に対してエッジ抽出を行い、輪郭画像を得て、前記輪郭画像に対して輪郭膨張処理を行い、輪郭膨張画像を得て、前記輪郭膨張画像を反転して、反転画像を得て、ウォーターシェッドアルゴリズムを用いて前記反転画像の輪郭分割情報を計算するように構成される。

１つの実施例によれば、前記計算モジュールは、さらに、前記分割ユニットの中の黒点画素及び輝点画素を除去し、黒点画素及び輝点画素を除去した分割ユニットに対して、深度値によって画素数を統計し、画素数の最も多い深度値を前記分割ユニットの深度参照値として確定するように構成される。

１つの実施例によれば、各分割ユニットに対して、前記深度値基準範囲は、０.５~ １.３倍の深度参照値である。

１つの実施例によれば、前記調整モジュールは、さらに、設定方向に沿って前記深度画像の画素をトラバースし、トラバース中に、現在画素の深度値はそれが位置する分割ユニットに対応する深度値基準範囲を越えると、設定方向に沿って深度画像において現在画素を中心とする周辺画素の深度値を順次に読み取ってループを外部に設定回数広げ、現在の読取画素は前記分割ユニット内にあり、且つ深度値はそれが位置する分割ユニットに対応する深度値基準範囲にあると、ループから脱して前記現在画素の深度値を現在の読取画素の深度値に調整し、前記ループ設定回数が終了して、且つ前記現在画素の深度値が調整されないと、前記現在画素の深度値をそれが位置する分割ユニットに対応する深度参照値に調整するように構成される。

１つの実施例によれば、前記周辺画素は前記現在画素の十字方向に位置する。

１つの実施例によれば、前記ループ設定回数は５回であり、前記設定方向は、行方向では、左から右へ、又は右から左へであり、或いは、列方向では、上から下へ、又は下から上へである。

本発明の実施例に提供される処理装置によれば、深度画像に対してノイズ除去処理を行うことができ、処理後の深度画像の輪郭がよりはっきりしており、認識し易くなるので、深度画像の品質を向上することができる。

以下は、本発明の実施例の技術案をより明確に説明するために、実施例の図面を簡単に説明する。明らかなように、下記の説明における図面は本発明の若干の実施例だけに関し、本発明を限定するものではない。

本発明実施例に係る深度画像処理用の方法を示すフローチャートである。 本発明実施例に係る撮像画像に対して輪郭分割を行う概略図である。 本発明実施例に係る分割ユニットの深度値及び画素数のヒストグラムである。 本発明実施例に係る画素充填原理の概略図である。 本発明実施例に係る深度画像のノイズ除去処理前後の比較図である。 本発明実施例に係る深度画像処理用の装置を示すブロック図である。

以下、本開示の実施例の目的、技術案及びメリットを当業者によりよく理解させるために、本開示の実施例の図面を組み合わせて本開示の実施例の技術案を明確で完全に説明する。明らかなように、説明される実施例は、本開示の実施例の一部に過ぎず、全ての実施例ではない。説明される本開示の実施例に基づき、当業者は、創造性付けの労働を必要としない前提で得られる全てのその他の実施例は、何れも本開示の保護範囲に該当する。

下記の実施例は主に双眼カメラの深度画像の処理を例として説明するが、当業者が理解できるように、本開示はこれに限らない。実際に、本開示の各種の実施例は、任意の適当な深度画像の処理にも用いられる。例えば、深度画像はその他の任意の適当な画像形成装置から得られるものであってもよく、或いはその他の方法から生成される深度画像等であってもよい。

本発明実施例は深度画像の処理方法及び装置を提供する。以下、本発明の目的、技術案及びメリットをより明確にさせるために、本発明についてさらに具体的に説明する。

図１に示すように、本発明実施例に提供される深度画像処理用の方法は、以下のステップを備える。
ステップＳ１０１、深度画像、及び深度画像に対応する撮像画像を取得し、
ステップＳ１０２、深度画像を分割し、複数の分割ユニットを得て、
ステップＳ１０３、各分割ユニットに対して対応する深度参照値を計算し、
ステップＳ１０４、対応する深度参照値により各分割ユニットの深度値基準範囲を確定し、
ステップＳ１０５、深度画像の各画素の深度値を各画素が位置する分割ユニットに対応する深度値基準範囲内に調整する。

ステップＳ１０１では、深度画像及び撮像画像は双眼カメラから取得されてもよいし、その他の方式により取得されてもよく、例えば、その他の任意の適当な解決案により取得した深度画像及び撮像画像であってもよい。双眼カメラは主カメラ及び副カメラを有し、副カメラの座標系と主カメラの座標系との間に一定の位置偏差があり、双眼カメラの制御チップは目標体の空間での深度情報画像、即ち深度画像を計算により取得する。通常、双眼カメラに用いられる深度画像は、主カメラの撮像画像と一致する座標系を採用する。双眼カメラの２つのカメラに撮像される画像は、通常、ＲＧＢカラー画像であるが、その他の任意の適当なカラー画像であってもよい。

深度画像を分割することは、複数種の方式により実現できる。１つの実施例では、ステップＳ１０２は、
撮像画像に対して輪郭分割を行い、輪郭分割情報を得ることと、
輪郭分割情報に応じて深度画像を分割して、複数の分割ユニットを得ることと、を備えてもよい。

主カメラの撮像画像に対して、小輪郭範囲毎は現実で同じ物体又はある物体の同じ部位に対応するなら、この輪郭範囲内における深度値は近いはずである。従って、主カメラの撮像画像に対して輪郭分割を行い、得た輪郭分割情報に応じて、深度画像を分割し、複数の分割ユニットを得てもよい。ステップＳ１０５では、「調整」は、深度画像の画素に対して深度値を改めて充填することを含んでもよい。

主カメラの撮像画像に対して輪郭分割を行うことに用いられる具体的なアルゴリズムは、限定されず、例えば、ピラミッド分割アルゴリズム、平均値シフト分割アルゴリズム、ウォーターシェッド分割アルゴリズム等を用いられる。１つの実施例では、運動感知設備は、短時間内にリアタイム深度画像を処理する必要がある（輪郭分割及び画素充填は３０mＳ内に完成される必要がある）ので、ウォーターシェッドアルゴリズムを用いてもよい。

図２に示すように、本発明の１つの実施例では、ステップＳ１０２は、下記のサブステップを備えてもよい。
撮像画像を階調処理し、階調画像を得て（即ち図２の中の第２図）、
階調画像をエッジ抽出し、輪郭画像を得て（即ち、図２の中の第３図）、
輪郭画像に対して輪郭膨張処理を行い、輪郭膨張画像を得て（即ち図２の第４図）、
輪郭膨張画像を反転し、反転画像を得て（即ち、図２の中の第５図）、
ウォーターシェッドアルゴリズムを用いて反転画像の輪郭分割情報を計算する（即ち、図２の中の第６図）。

上記方法によれば、短時間内に主カメラのリアタイム撮像画像の輪郭分割情報を算出でき、深度画像に対してノイズ除去処理を行う速度の向上に有利である。ここで、輪郭分割情報は、分割ユニットの輪郭位置情報及び符号化情報を有してもよい。階調画像をエッジ抽出することは、ｃａｎｎｙエッジ抽出アルゴリズムを用いてもよい。ｃａｎｎｙエッジ抽出アルゴリズムは、画像のエッジ検出を快速に実現するアルゴリズムであり、ｃａｎｎｙエッジ抽出アルゴリズムによる結果は、白色輪郭線と黒色背景の二値画像である。

本発明の１つの実施例では、ステップＳ１０３は、以下のサブステップを有してもよい。
分割ユニットの中の黒点画素及び輝点画素を除去し、
黒点画素及び輝点画素を除去した分割ユニットに対して、異なる深度値に対して画素数を統計し、画素数の最も多い深度値を該分割ユニットの深度参照値とする。

分割ユニットの中の黒点画素（例えば、深度値が０である）及び輝点画素（例えば、深度値が２５５である）を除去することは、ノイズポイント画素を除去することであり、これらの画素は信頼度が低くて、除去された後、計算結果の正確度が向上される。

図３に示すように、本発明の１つの実施例では、深度参照値は下記のように確定されてもよい。黒点画素及び輝点画素を除去した分割ユニットに対して、深度値を横座標として、深度値の画素数を縦座標として、ヒストグラムを作成し、画素数の最も多い深度値（即ち、ヒストグラムのピーク値）を該分割ユニットに対応する深度参照値ｄｅｐｔｈ（ｉ）とする。

ステップＳ１０４では、分割ユニットに対応する深度参照値ｄｅｐｔｈ（ｉ）を算出した後、対応する深度参照値ｄｅｐｔｈ（ｉ）に従って各分割ユニットの深度値基準範囲を確定してもよい。具体的に、各分割ユニットに対して、深度値基準範囲は０.５~１.３倍のｄｅｐｔｈ（ｉ）である。本出願の発明者は大量な統計分析を経て、同一の分割ユニットの有効深度値は一般的に上記範囲に集中することを得た。よって、この範囲を深度値基準範囲として分割ユニットの画素を充填することにより、深度画像の処理結果がより正確になる。

本発明の１つの実施例では、ステップＳ１０５は、以下のことを備えてもよい。
設定方向に沿ってトラバース深度画像の画素をトラバースし、トラバース中に、
現在画素の深度値はそれが位置する分割ユニットに対応する深度値基準範囲を越えると、設定方向に沿って深度画像において現在画素を中心とする周辺画素の深度値を順次に読取り、ループを外部に設定回数広げ、
現在の読取画素は分割ユニット内にあり、且つ深度値はそれが位置する分割ユニットに対応する深度値基準範囲にあると、ループから脱して現在画素の深度値を現在の読取画素の深度値に調整し、
ループ設定回数が終了して現在画素の深度値が調整されないと、現在画素の深度値をそれが位置する分割ユニットに対応する深度参照値に調整する。

深度画像に対して処理を行い、処理後の深度画像を得ることは、下記の３つの方式により実現されてもよい。
一、１つの空白画像を作り、深度画像に応じてステップＳ１０５により空白画像の画素を一点一点に対応して充填し、最終に処理後の深度画像を得る。
二、深度画像のコピー画像を作り、深度画像に応じてステップＳ１０５によりコピー画像の画素を一点一点に対応してリフレッシュし、最終に処理後の深度画像を得る。
三、深度画像の画素深度値の情報に応じてステップＳ１０５により処理後の深度画像情報を一点一点に改めて確定し、記憶素子、例えば、メモリーに記憶し、深度画像全体の画素をトラバースした後、メモリーに記憶される改めて確定された情報を深度画像に覆い、最終に処理後の深度画像を得る。

深度画像において、周辺画素は現在画素の斜め方向、例えば３０°、４５°等の斜め方向にあってもよい。１つの実施例では、周辺画素は、現在画素の十字方向にあり、これにより、計算処理速度が向上され、深度画像に対してノイズ除去処理を行う速度が向上される。

１つの実施例では、設備の計算処理速度を考慮すると、ループ設定回数は５回である。トラバースが従う設定方向は、行方向に左から右へ、又は右から左へ、或いは列方向に上から下へ、又は下から上へ等であってもよい。また、十字方向に画素の読取順次について特に限定せず、時計回りまたは逆時計回りに沿って読取ってもよい。本発明の１つの実施例では、設定方向は行方向に左から右へであり、現在画素を中心とする十字方向上の画素の深度値を右、下、左、上の順次で読み取る。

具体的に、図４に示すように、行方向に沿って左から右へ順次に双眼カメラに収集される深度画像の各画素にアクセスし、現在アクセスする画素の深度値はそれが位置する分割ユニットに対応する深度値基準範囲内にあるとき、次の画素にアクセスする。現在画素の深度値がその位置する分割ユニットに対応する深度値基準範囲を越えるとき（例えば、図におけるＡ１画素）、右、下、左、上の順次によって深度画像の中の現在画素を中心とする十字方向上の画素の深度値を読取り、ループを外部に５回広げ、即ち、第一回にＢ１、Ｂ２、Ｂ３、Ｂ４を読み取り、第二回にＣ１、Ｃ２、Ｃ３、Ｃ４を読取り、これによって類推する。このループ読取過程に、現在の読取画素は分割ユニット内にあり、且つ深度値がそれが位置する分割ユニットに対応する深度値基準範囲内にあるとき、ループから脱して現在画素の深度値を現在の読取画素の深度値に調整する。図４に示すように、ループ読取過程に、Ｃ２は分割ユニット外にあるので、条件を満足せず、Ｃ３は分割ユニット内にあり、且つ深度値がその位置する分割ユニットに対応する深度値基準範囲内にあるので、Ｃ３を読み取った後、ループから脱し、Ａ１の深度値をＣ３の深度値に調整する。仮に５回のループが終了した後に上記条件を満足する画素をまだ読み取っていないなら、現在画素の深度値をそれが位置する分割ユニットに対応する深度参照値ｄｅｐｔｈ（ｉ）に調整する。

上記技術案により、分割ユニット全体内において、深度値の遷移がよりスムーズになり、ホールが減少され、深度画像の品質の向上に有利である。

本発明実施例の技術案では、深度画像を分割し、複数の分割ユニットを得て、各分割ユニットに対して対応する深度参照値及び深度値基準範囲を算出し、そして、深度画像の画素をトラバースし、画素の深度値を分割ユニットに対応する深度値基準範囲内に調整する。この技術案により、深度画像に対してノイズ除去処理を行え、処理後の深度画像の輪郭がよりはっきりしており（例えば、図５に示す）、認識し易くなるので、例えば、双眼カメラにより取得した深度画像の品質を向上することができる。

本発明実施例は、同じ発明構想に基づき、さらに、深度画像処理用の装置を提供する。以下、図６を参照して該装置を説明し、上記実施例に説明されたもの同じ部分又は機能について、簡潔のために省略する。図６を参照して、該装置は、
深度画像、及び深度画像に対応する撮像画像を取得するように構成される取得モジュール２１と、
深度画像を分割し、複数の分割ユニットを得るように構成される分割モジュール２２と、
各分割ユニットに対して対応する深度参照値を計算するように構成される計算モジュール２３と、
対応する深度参照値により各分割ユニットの深度値基準範囲を確定するように構成される確定モジュール２４と、
深度画像の各画素の深度値を各画素が位置する分割ユニットに対応する深度値基準範囲内に調整するように構成される調整モジュール２５と、を備える。

１つの実施例では、分割モジュール２２は、さらに、撮像画像に対して輪郭分割を行い、輪郭分割情報を得て、輪郭分割情報により深度画像を分割し、複数の分割ユニットを得るように構成される。

本発明の１つの実施例では、分割モジュール２２は、さらに、撮像画像を階調処理し、階調画像を得て、階調画像をエッジ抽出し、輪郭画像を得て、輪郭画像に対して輪郭膨張処理を行い、輪郭膨張画像を得て、輪郭膨張画像を反転し、反転画像を得て、ウォーターシェッドアルゴリズムを用いて反転画像の輪郭分割情報を計算するように構成される。

本発明の１つの実施例では、計算モジュール２３は、さらに、分割ユニットの中の黒点画素及び輝点画素を除去し、黒点画素及び輝点画素を除去した分割ユニットに対して、深度値によって画素数を統計し、画素数の最も多い深度値を該分割ユニットの深度参照値として確定する。

本発明の１つの実施例では、各分割ユニットに対して、深度値基準範囲は、０.５~ １.３倍の深度参照値である。

本発明の１つの実施例では、調整モジュール２５は、さらに、設定方向に沿って深度画像の画素をトラバースし、トラバース中に、現在画素の深度値はそれが位置する分割ユニットに対応する深度値基準範囲を越えると、設定方向に沿って深度画像の中の現在画素を中心とする周辺画素の深度値を順次に読取り、ループを外部に設定回数広げ、現在の読取画素が分割ユニット内にあり、且つ深度値はそれが位置する分割ユニットに対応する深度値基準範囲にあると、ループから脱して現在画素の深度値を現在の読取画素の深度値に調整し、ループ設定回数が終了して現在画素の深度値が調整されないと、現在画素の深度値をその分割ユニットに対応する深度参照値に調整する。

本発明の１つの実施例では、周辺画素は現在画素の十字方向上にある。

本発明の１つの実施例では、ループ設定回数は５回であり、設定方向は行方向に左から右へ、または右から左へ、或いは列方向に上から下へ、又は下から上へである。

上記実施例における深度画像処理用の装置によれば、深度画像に対してノイズ除去処理を行え、処理後の深度画像の輪郭がよりはっきりしており、認識し易くなるので、例えば、双眼カメラによる深度画像の品質を向上することができる。

当然ながら、当業者は、本発明の趣旨及び範囲から逸脱しない前提で本発明に対して各種の変更及び変形することができる。上述は本発明の例示的な実施形態に過ぎず、本発明の保護範囲を限定するものではない。本発明の保護範囲は添付の特許請求の範囲に確定される。

２１ 取得モジュール
２２ 分割モジュール
２３ 計算モジュール
２４ 画定モジュール
２５ 調整モジュール

Claims (14)

1. 深度画像処理用の方法であって、
   深度画像、及び前記深度画像に対応する撮像画像を取得することと、
   前記深度画像を分割し、複数の分割ユニットを得ることと、
   各分割ユニットに対して対応する深度参照値を計算することと、
   前記対応する深度参照値に応じて各分割ユニットの深度値基準範囲を確定することと、
   前記深度画像の各画素の深度値を前記各画素が位置する分割ユニットに対する深度値基準範囲内に調整することと、を備え、
   前記深度画像の各画素に対して、前記各画素の深度値を前記各画素が位置する分割ユニットに対応する深度値基準範囲に調整することは、
   設定方向に沿って前記深度画像の画素をトラバースし、トラバース中に、
   現在画素の深度値はそれが位置する分割ユニットに対応する深度値基準範囲を越えると、設定方向に従って深度画像において現在画素を中心とする周辺画素の深度値を順次に読み取り、ループを外部に設定回数広げることと、
   現在の読取画素は前記分割ユニット内にあり、且つ深度値はそれが位置する分割ユニットに対応する深度値基準範囲にあると、ループから脱して前記現在画素の深度値を現在の読取画素の深度値に調整ことと、
   前記ループ設定回数が終了して前記現在画素の深度値が調整されないと、前記現在画素の深度値をそれが位置する分割ユニットに対応する深度参照値に調整することとを備える、方法。
2. 前記深度画像を分割し、複数の分割ユニットを得ることは、
   前記撮像画像に対して輪郭分割を行い、輪郭分割情報を得ることと、
   前記輪郭分割情報に応じて前記深度画像を分割し、複数の分割ユニットを得ることと、を備える、請求項１に記載の方法。
3. 上述した前記撮像画像に対して輪郭分割を行い、輪郭分割の情報を得ることは、
   前記撮像画像に対して階調処理を行い、階調画像を得ることと、
   前記階調画像に対してエッジ抽出を行い、輪郭画像を得ることと、
   前記輪郭画像に対して輪郭膨張処理を行い、輪郭膨張画像を得ることと、
   前記輪郭膨張画像を反転し、反転画像を得ることと、
   ウォーターシェッドアルゴリズムを用いて前記反転画像の輪郭分割情報を計算することと、を備える、請求項２に記載の方法。
4. 前記各分割ユニットに対して対応する深度参照値を算出することは、
   前記分割ユニットの中の黒点画素及び輝点画素を除去することと、
   黒点画素及び輝点画素を除去した分割ユニットに対して、深度値によって画素数を統計することと、
   画素数の最も多い深度値を前記分割ユニットの深度参照値として確定することと、を備える、請求項１〜３の何れか１項に記載の方法。
5. 各分割ユニットに対して、前記深度値基準範囲は０.５〜１.３倍の深度参照値である、請求項１〜４の何れか１項に記載の方法。
6. 前記周辺画素は前記現在画素の十字方向に位置する、請求項１に記載の方法。
7. 前記ループ設定回数は５回であり、前記設定方向は行方向に左から右へ、又は右から左へ、或いは列方向に上から下へ、又は下から上へである、請求項１又は６に記載の方法。
8. 深度画像処理用の装置であって、
   深度画像、及び前記深度画像に対応する撮像画像を取得するように構成される取得モジュールと、
   前記深度画像を分割し、複数の分割ユニットを得るように構成される分割モジュールと、
   各分割ユニットに対して対応する深度参照値を計算する計算モジュールと、
   前記対応する深度参照値に応じて各分割ユニットの深度値基準範囲を確定するように構成される確定モジュールと、
   前記深度画像の各画素の深度値を前記各画素が位置する分割ユニットに対応する深度値基準範囲内に調整するように構成される調整モジュールと、を備え、
   前記調整モジュールは、さらに、設定方向に沿って前記深度画像の画素をトラバースし、トラバース中に、
   現在画素の深度値はそれが位置する分割ユニットに対応する深度値基準範囲を越えると、設定方向に沿って深度画像において現在画素を中心とする周辺画素の深度値を順次に読み取ってループを外部に設定回数広げ、
   現在の読取画素は前記分割ユニット内にあり、且つ深度値はそれが位置する分割ユニットに対応する深度値基準範囲内にあると、ループから脱して前記現在画素の深度値を現在の読取画素の深度値に調整し、
   前記ループ設定回数が終了して前記現在画素の深度値が調整されないと、前記現在画素の深度値をそれが位置する分割ユニットに対応する深度参照値に調整するように構成される、装置。
9. 前記分割モジュールは、さらに、前記撮像画像に対して輪郭分割を行い、輪郭分割情報を得て、前記輪郭分割情報に応じて前記深度画像を分割して、複数の分割ユニットを得るように構成される、請求項８に記載の装置。
10. 前記分割モジュールは、さらに、前記撮像画像に対して階調処理を行い、階調画像を得て、前記階調画像に対してエッジ抽出を行い、輪郭画像を得て、前記輪郭画像に対して輪郭膨張処理を行い、輪郭膨張画像を得て、前記輪郭膨張画像を反転し、反転画像を得て、ウォーターシェッドアルゴリズムを用いて前記反転画像の輪郭分割情報計算するように構成される、請求項９に記載の装置。
11. 前記計算モジュールは、さらに、前記分割ユニットの中の黒点画素及び輝点画素を除去し、黒点画素及び輝点画素を除去した分割ユニットに対して、深度値によって画素数を統計し、画素数の最も多い深度値を前記分割ユニットの深度参照値として確定するように構成される、請求項８〜１０の何れか１項に記載の装置。
12. 各分割ユニットに対して、前記深度値基準範囲は０.５〜１.３倍の深度参照値である、請求項８〜１１の何れか１項に記載の装置。
13. 前記周辺画素は、前記現在画素の十字方向に位置する、請求項８に記載の装置。
14. 前記ループ設定回数は５回であり、前記設定方向は、行方向に左から右へ、又は右から左へ、或いは列方向に上から下へ、又は下から上へである、請求項８又は１３に記載の装置。

Images