JP6332982B2

JP6332982B2 - 画像処理装置およびその方法

Info

Publication number: JP6332982B2
Application number: JP2014014744A
Authority: JP
Inventors: 暁艶戴
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-01-29
Filing date: 2014-01-29
Publication date: 2018-05-30
Anticipated expiration: 2034-01-29
Also published as: JP2015141615A

Description

本発明は、距離情報を有する画像データの画像処理に関する。

単眼カメラに搭載された距離画像センサや複数カメラから取得される多視点画像情報などを利用して、画像における距離情報（奥行情報）の推定が可能になった。奥行情報は、二次元画像から三次元画像への変換、医療関係、ロボット制御、3Dテレビ立体視の関係技術など、幅広い分野に応用されている。

距離情報の推定の多くは、複数の画像を利用して距離を推定する方法を用いる。この方法は、複数のカメラを用いて、違う視点や異なる距離から被写体（物体や風景）を撮影し、カメラと被写体の間の幾何学的な関係や、画像における被写体画素の変位から距離を推定する。

一方、一枚の二次元静止画像から距離を推定する単眼視法が研究されている。単眼視法は、画像のテクスチャ、コントラストなどを利用して距離を推定する。

しかし、何れの方法も、距離情報の推定精度に影響する幾つかの要因が挙げられる。
(1) 物体内のテクスチャが存在しない領域において、同じ色をもつ画素の一致度が曖昧になり、距離推定精度が低下する。
(2) 鏡面反射をする物体または輝度が低い領域は、視点が変わると大きく輝度値や色が変化するため色による一致度の計測が困難であり、距離推定に影響する。
(3) 被写体には観察位置によって隠れて見えない領域がある。つまり、手前にある物体が背後にある物体を隠すような状態（occlusion）があると、すべての画素に対応点があるわけではなく、隠された領域の対応点を探すと距離推定の誤差が大きくなる。
(4) 物体の輪郭が不鮮明な場合、輪郭付近の距離推定が不正確になる。

要因1から3に関しては、多くの研究があり、距離推定精度の向上が図られている。しかし、要因4に関する距離推定の課題は未だ改善されていない。

図1により距離推定の課題を説明する。図1(A)は物体領域と背景領域からなる画像例を示し、撮影装置から遠い背景領域に、撮影装置に近い物体領域が重なり、物体領域がテクスチャ模様を有し、物体領域の一部と背景が近い色情報をもつ画像例である。このような画像においては、要因4により、輪郭付近の距離推定が不正確になる。

図1(B)は理想的な距離情報の推定結果を示し、撮影装置との遠近が明度の違いとして提示され、明度が高い被写体ほど撮影装置に近い位置にある。図1(B)において背景領域と物体領域はそれぞれ一様な距離値をもつ。図1(B)に示す黒線は、背景領域と物体領域の距離情報の境界を表わす境界線であり、境界線は基本的に背景領域と物体領域の境界に相当する。

図1(C)は距離情報の推定結果の一例を示す。距離情報の推定結果は、図1(B)に近いほど良好と言える。しかし、図1(C)に示すように、背景領域と物体領域の境界付近において、物体領域が背景領域に侵入したり、逆に、背景領域が物体領域に侵入したりして、距離推定精度が充分とは言えない領域がある。

特開2012-079251号公報

本発明は、画像の前景領域と背景領域の間の境界付近における距離情報の推定精度を向上することを目的とする。

本発明は、前記の目的を達成する一手段として、以下の構成を備える。

本発明にかかる画像処理装置は、
被写体を撮影した画像データ、並びに、前記被写体および前記被写体の背景の距離情報を入力する入力手段と、
前記画像データの前景領域と背景領域との境界情報を生成する生成手段と、
前記境界情報に基づき前記距離情報を補正する補正領域を設定する設定手段と、
前記補正領域の画素の透明度を算出する算出手段と、
前記補正領域の画素の透明度に基づき、当該画素に対応する距離情報を補正する補正手段と、
前記補正手段によって補正された距離情報を前記画像データに付加し、前記距離情報を付加した画像データを出力する出力手段とを有する。

本発明によれば、画像の前景領域と背景領域の間の境界付近における距離情報の推定精度を向上することができる。

距離推定の課題を説明する図。実施例の画像処理機能を備える撮影装置の構成例を説明するブロック図。画像処理部の処理構成例を説明するブロック図。画像処理部による距離情報の補正処理を説明するフローチャート。補正領域の設定例を示す図。透明度計算部の処理を説明するフローチャート。透明度αの一例を示す図。距離情報補正部の処理を説明するフローチャート。距離情報の補正例を示す図。注目画素に対応する距離情報を段階的に補正する距離情報補正部の処理を説明するフローチャート。実施例2における画像処理部による距離情報の補正処理を説明するフローチャート。補正領域設定部の処理を説明するフローチャート。実施例3における画像処理部による距離情報の補正処理を説明するフローチャート。補正領域設定部による補正領域の修正を説明するフローチャート。

以下、本発明にかかる実施例の画像処理を図面を参照して詳細に説明する。なお、以下では、本発明にかかる距離情報の推定精度を向上する画像処理について説明するが、実施例に記載する構成要素は例示であり、本発明の範囲は特許請求の範囲によって確定され、以下の個別の実施例によって限定されるわけではない。

［撮像装置］
図2のブロック図により実施例の画像処理機能を備える撮影装置の構成例を説明する。

マイクロプロセッサ(CPU)1101は、内部メモリ1111のRAMをワークメモリとして、内部メモリ1111のROMに格納されたプログラムを実行し、システムバス1103を介して、後述する各構成を統括的に制御する。

撮影部1102は、被写体の画像を撮影するとともに、従来の距離推定手法を用いて被写体および被写体の背景の距離情報を取得する。距離情報は、撮影画像の各画素ごとに、被写体または背景と撮影装置の間の距離を表す。被写体の距離情報を取得は、撮影部1102の一部として距離測定部を設けることで実現してもよい。

表示部1104は、撮影画像、文字列、ユーザインタファイス(UI)などを表示する液晶ディスプレイ(LCD)である。表示制御部1105は、CPU1101の指示に従い、表示部104に撮影画像、文字列、UIなどを表示する表示制御を行う。

操作部1106は、ユーザ指示を入力するボタン、ダイヤル、テンキーである。CPU1101は、操作部1106を介して、ユーザ指示を受け取る。また、表示部104に付加されたタッチスクリーン機能を操作部1106の一部として利用することができる。

撮像部制御部1107は、CPU1101の指示に従い、撮影部1102の撮像光学系を制御して、フォーカシング、シャッタの開閉、絞り調節などを行う。ディジタル信号処理部1108は、撮影部1102から入力される撮像データにデモザイキングを含む現像処理、ホワイトバランス調整、ガンマ補正、ノイズ低減などの各種処理を施す。

画像処理部1109は、撮像部102から出力される撮像データまたはディジタル信号処理部108から出力される画像データを標準的な色空間にマッピングする色域マッピングなどの画像処理またはユーザ指示に応じた画像処理を施す。画像処理部1109は、表示部1104に表示する画像データを内部メモリ1111の所定領域に格納し、メディア（例えばHDD、メモリカード、USBメモリなどの記録媒体）1113に格納する画像データを圧縮/伸長部1110に入力する。また、画像処理部1109は、CPU1101の指示に従い、詳細は後述するが、画像データの前景領域と背景領域の境界情報を取得する。

圧縮/伸長部1110は、撮像データまたは画像処理された画像データにデータ圧縮を伴うフォーマット変換や符号化などの各種処理を施す。また、圧縮/伸長部1110は、CPU1101の指示に従い、画像フォーマットの所定領域（例えばExifのメーカタグ）に距離情報や境界情報を記録する。

外部メモリ制御部1112は、圧縮/伸長部1110から出力される画像データを各種メディア1113に格納する。また、外部メモリ制御部1112は、CPU1101の指示に従い、各種メディア1113に格納された画像データを読み込み、読み込んだ画像データを圧縮/伸長部1110や画像処理部1109に供給することができきる。その場合、CPU1101の指示に従い、圧縮/伸長部1110は復号やデータ伸長を伴うフォーマット変換を行い、画像処理部1109は現像処理、色域マッピング、解像度変換、ガンマ補正などの各種処理を行う。

［画像処理部］
図3のブロック図により画像処理部1109の処理構成例を説明する。

入力部11は、撮影部1102から画像データおよび画像データが表す画像に含まれる被写体と背景の距離情報を入力する。境界情報生成部12は、入力画像データに含まれる前景領域と背景領域の間の境界を示す境界情報を生成する。

補正領域設定部14は、境界情報に基づき、距離情報を補正すべき入力画像データの領域（以下、補正領域）を設定する。透明度計算部15は、補正領域に含まれる、入力画像データの各画素の透明度を計算する。

距離情報補正部16は、補正領域の画素ごとに透明度を用いて、距離情報を補正する。出力部17は、距離情報補正部16によって補正された距離情報を画像データに付加して内部メモリ1111やメディア1113に格納する。

図4のフローチャートにより画像処理部1109による距離情報の補正処理を説明する。

入力部11は、処理対象の画像データおよび距離情報を入力する(S11)。境界情報生成部12は、入力画像データから前景領域として物体画像の領域（以下、物体領域）を抽出し(S12)、抽出した物体領域と物体領域以外の領域（背景領域）の間の境界を示す境界情報を生成する(S13)。境界情報は、境界線を示すベクトルデータでもよいし、境界に対応する画素のリストでもよい。

また、境界情報生成部12は、画像データが表す画像を表示部1104に表示し、操作部1106を介して、ユーザが画像を参照して入力する物体領域と背景領域の境界線を取得し、取得した境界線を境界情報とすることもできる。

次に、補正領域設定部14は、境界情報に基づき、距離情報の補正領域を設定する(S14)。透明度計算部15は、補正領域に含まれる画素の透明度を計算する(S15)。そして、距離情報補正部16は、透明度に基づき補正領域の補正後の距離情報を計算する(S16)。

本実施例において、透明度（以下「アルファチャネル」とも呼ぶ）は、画素が前景に対応するか背景に対応するかの確率を表す。また、以下では、補正領域の設定、透明度の計算、距離情報の補正を詳細に説明する。

●補正領域の設定
図5により補正領域の設定例を示す。補正領域設定部14は、境界線を略中央とする所定幅の領域を補正領域に設定する。図5においては、物体領域を白色、背景領域を濃い灰色で表す。また、境界線を黒実線で表すが、実際の境界線に色があるわけではない。境界線の両側に広がる淡い灰色領域が補正領域である。

●透明度の計算
透明度計算部15は、境界付近の画像データの画素値は前景色と背景色の線形混合（式(1)）とする理論に基づき透明度を計算する（「マッティング処理」とも呼ぶ）。
I = αF + (1-α)B …(1)
ここで、Iは画素の値、
Fは前景色、
Bは背景色、
αは透明度（アルファチャネル）。

境界付近にある画素は、前景領域に属すか背景領域に属すかが不明確なため、前景色と背景色の混合（ブレンド）を考慮する必要である。透明度計算部15は、補正領域の画素の値は前景色Fと背景色Bによる線形混合であるという仮定に基づき、補正領域の画素の透明度αを推定する。

透明度の範囲を0≦α≦1とすると、前景領域に属す画素はα=1であり、背景領域に属す画素はα=0である。また、透明度が0＜α＜1の画素は、前景が背景の一部を遮蔽する領域に対応することを意味する。

図6のフローチャートにより透明度計算部15の処理を説明する。

透明度計算部15は、補正領域の注目画素Iから最短距離にある、背景領域の画素I_Bと物体領域の画素I_Fを探索する(S151)。そして、それら画素I_BとI_Fの画素値BとFを取得し(S152)、式(1)に基づき、注目画素Iの透明度αを計算する(S153)。

次に、透明度計算部15は、ステップS154の判定により、補正領域のすべての画素について透明度αの計算が終了するまでステップS151からS153の処理を繰り返す。

図7により透明度αの一例を示す。図7(A)は入力画像の一例を示し、図7(B)はマッティング処理によって生成されたアルファチャネルの画像例を示す。図7(B)において、白色で示す領域は補正領域設定部14によって物体領域に設定された領域であり、当該領域の透明度はα=1に設定される。また、濃い灰色で示す領域は、補正領域設定部14によって背景領域に設定された領域であり、当該領域の透明度はα=0に設定される。

図7(B)において、淡い灰色で示す領域は補正領域設定部14によって補正領域に設定された領域であり、当該領域の各画素の透明度が透明度計算部15によって計算され、0≦α≦1の範囲の透明度が設定される。

●距離情報の補正
図8のフローチャートにより距離情報補正部16の処理を説明する。

距離情報補正部16は、補正領域の注目画素Iの透明度αを取得する(S161)。そして、注目画素Iから最短距離にある、背景領域の画素I_Bと物体領域の画素I_Fを探索する(S162)。そして、探索結果の画素I_BとI_F（以下、非補正画素）に対応する距離情報D_BとD_Fを取得する(S163)。

次に、距離情報補正部16は、注目画素Iの透明度αと非補正画素に対応する距離情報を用いて、式(2)により、注目画素Iにおける補正後の距離情報D'を計算する。つまり、透明度αが所定の閾値Th（例えばTh=0.5）か否かを判定し(S164)、透明度が閾値以上（α≧Th）の場合は注目画素Iが物体領域寄りの画素として注目画素Iにおける補正距離情報D'を計算する(S165)。また、透明度が閾値未満（α＜Th）の場合は注目画素Iが背景領域寄りの画素として、注目画素における補正距離情報D'を計算する(S166)。
if (α≧ Th)
D' = αD_F + (1-α)D_B；
else
D' = (1-α)D_F + αD_B； …(2)

つまり、距離情報補正部16は、注目画素Iの透明度αと(1-α)を重みとして、二つの非補正画素に対応する距離情報を加算した結果を注目画素Iにおける補正距離情報D'とする。

次に、距離情報補正部16は、ステップS167の判定により、補正領域のすべての画素について補正距離情報D'の計算が終了するまでステップS161からS166の処理を繰り返す。

図9により距離情報の補正例を示す。図9(A)は物体領域と背景領域からなる画像例を示し、撮影装置から遠い背景領域に、撮影装置に近い物体領域が重なり、物体領域がテクスチャ模様を有す。なお、背景領域と物体領域はそれぞれほぼ一様な距離値をもつ。図9(B)は補正前の距離推定結果を示し、背景領域が物体領域に侵入し、境界付近の距離推定精度が低い状態を表している。図9(C)は補正後の距離情報の一例を示し、補正によって境界付近の距離推定精度が向上する。

このように、物体領域と背景領域の境界付近において距離推定精度が低い問題に対して、境界付近に距離情報の補正領域を設定し、透明度に基づき距離情報を補正することで距離推定精度の向上を図ることができる。従って、物体の輪郭が不鮮明な場合も、輪郭付近の距離推定精度を向上することができる。

このようにして得られる距離推定精度が向上した距離情報は、画像データに付加されて例えば内部メモリ1111やメディア1113に格納される。そして、画像処理部1109や外部のコンピュータ機器が実行する、複数の視点画像を用いて自由視点合成画像を生成する処理や、物体や背景など任意の部分に焦点を合わせ、その他を暈すリフォーカス処理などに利用される。

［変形例］
境界情報生成部12は、境界情報を生成する代わりに、物体領域と背景領域の二値分離画像を生成してもよい。また、入力画像データに複数の物体領域が含まれ、それら物体領域が互いに重畳する場合、それら物体領域の間においては、物体領域の間の境界情報を生成し、上記と同様に距離情報を補正すればよい。

また、上記では、注目画素から最短距離にある非補正画素を探索する例を説明した。別の探索方法として、注目画素を中心として例えば左右上下および斜め方向の八方向に画素を探索し、探索された物体領域の画素と背景領域の画素の中で注目画素により近い画素を非補正画素に採用してもよい。こうすれば、距離推定精度の向上は若干低下するが、全方向について非補正画素を探索する場合に比べて、探索時間の短縮が可能になる。

また、上記では、補正領域の全画素について、注目画素の透明度αと近傍の非補正画素に対応する距離情報を用いて、注目画素に対応する距離情報を補正する例を説明した。この補正方法によれば、補正領域の画素に対応する距離情報は、当該画素の透明度αを重みとして、物体領域の距離情報と背景領域の距離情報の間の距離情報に補正される。もし、透明度が物体領域から背景領域に向って滑らかに変化すれば、補正後の距離情報も物体領域から背景領域に向って滑らかに変化することになる。一方、注目画素に対応する距離情報を段階的に補正することもできる。

図10のフローチャートにより注目画素に対応する距離情報を段階的に補正する距離情報補正部16の処理を説明する。

距離情報補正部16は、補正領域の注目画素Iの透明度αを取得し(S261)、透明度αと所定の閾値Th'（例えばTh'=0.5）を比較し(S262)、比較結果に基づき非補正画素を選択する。つまり、透明度が閾値以上（α≧Th'）の場合は(S263)、注目画素Iの近傍（例えば最短距離）にある、物体領域の画素を選択する(S264)。また、透明度が閾値未満（α＜Th'）の場合は(S263)、注目画素Iの近傍（例えば最短距離）にある、背景領域の画素を選択する(S265)。そして選択画素に対応する距離情報から注目画素における補正距離情報D'を算出する(S266)。

距離情報補正部16は、例えば、注目画素から最短距離にある物体領域または背景領域の画素を選択してもよいし、注目画素を中心とする所定の距離範囲に含まれる物体領域または背景領域の一画素または複数画素を選択してもよい。複数画素を選択した場合は、それら選択画素に対応する距離情報の平均値を補正距離情報D'としてもよいし、注目画素と各選択画素の距離（画素数）を重みとする距離情報の加重平均値を補正距離情報D'としてもよい。

次に、距離情報補正部16は、ステップS267の判定により、補正領域のすべての画素について補正距離情報D'の計算が終了するまでステップS261からS266の処理を繰り返す。

このように、補正領域の画素の透明度に基づき、当該画素に対応する距離情報を物体領域または背景領域に段階的補正することで、距離推定精度の向上を図ることができる。

以下、本発明にかかる実施例2の画像処理を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。

実施例1では、境界線を略中央とする所定幅の領域を距離情報の補正領域として設定した。実施例2では、距離情報の信頼度に基づき補正領域を設定する。

図11のフローチャートにより実施例2における画像処理部1109による距離情報の補正処理を説明する。

入力部11は、処理対象の画像データ、距離情報および信頼度情報を入力する(S21)。境界情報生成部12は、入力画像データから物体領域を抽出し(S22)、抽出した物体領域とその他の領域（背景領域）の間の境界を示す境界情報を生成する(S23)。境界情報は、境界線を示すベクトルデータでもよいし、境界に対応する画素のリストでもよい。

次に、補正領域設定部14は、境界情報および信頼度情報に基づき、距離情報の補正領域を設定する(S24)。透明度計算部15は、補正領域に含まれる画素の透明度を計算する(S25)。そして、距離情報補正部16は、透明度に基づき補正領域の距離情報を補正する(S26)。

以下では、補正領域の設定を詳細に説明する。なお、透明度の計算、距離情報の補正は実施例1と同様であり、その詳細説明を省略する。

●補正領域の設定
図12のフローチャートにより補正領域設定部14の処理を説明する。

補正領域設定部14は、境界情報が示す境界線上の一画素を注目画素に決定し(S241)、注目画素に対応する距離情報の信頼度情報（以下、信頼度R）を取得し(S242)、信頼度Rと所定の閾値Rthを比較して比較結果を記録する(S243)。そして、ステップS244の判定により、境界線上の全画素について信頼度Rと閾値Rthの比較結果を記録するまで、ステップS241からS243の処理を繰り返す。なお、以下では、距離情報の信頼度が閾値未満（R＜Rth）の画素を「低信頼度画素」と呼ぶ。

境界線上の全画素について距離情報の信頼度の高低が決まると、補正領域設定部14は、境界線上の低信頼度画素を中心に低信頼度領域の領域拡大を行い、距離情報の補正領域を決定する。

つまり、境界線上の低信頼度画素を中心として、一画素隣りの画素（隣接画素）に対応する距離情報の信頼度Rと閾値Rthの比較（以下、信頼度判定）を行い判定結果をビットマップ画像として記録する。続いて、二画素隣りの画素の信頼度判定を行い判定結果を記録し、…、n画素隣りの画素の信頼度判定を行い判定結果を記録する(S245)、…、領域拡大を繰り返す。そして、境界線上のある低信頼度画素について、一回の信頼度判定における判定対象の全画素がR≧Rthになると(S246)、当該画素を中心とする領域拡大を終了する。

次に、領域拡大が未実行の境界線上の低信頼度画素があるか否かを判定し(S247)、あれば中心画素を移動し(S248)、処理をステップS245に戻して領域拡大を行う。

なお、実施例1と同様に、境界線を中央とする所定幅の暫定補正領域を設定し、ステップS246において、一回の信頼度判定における判定対象の全画素が暫定補正領域外になった場合は、その領域拡大を終了してもよい。また、境界線上の各低信頼度画素を中心とする領域拡大において、既に、ビットマップ画像に判定結果が記録された画素（および暫定補正領域外の画素）は信頼度判定の対象にする必要はない。

領域拡大が未実行の境界線上の低信頼度画素がなくなり、領域拡大が終了すると、境界線上の低信頼度画素を含む低信頼度画素が記録されたビットマップ画像が得られる。補正領域設定部14は、ビットマップ画像が示す、低信頼度画素が構成する画素領域を距離情報の補正領域とする。

実施例2においては、信頼度情報に基づき補正領域を決定するため、距離情報の信頼度が高い領域においては補正領域が狭くなり、信頼度が高い領域においては補正領域が広くなるように、補正領域の幅が領域によって変化する場合がある。

このように、距離情報の信頼度が低い領域を距離情報の補正領域として抽出するため、境界付近の距離情報の信頼度が高い領域まで距離情報を補正することがなく、距離推定精度をより高めることができる。

以下、本発明にかかる実施例3の画像処理を説明する。なお、実施例3において、実施例1、2と略同様の構成については、同一符号を付して、その詳細説明を省略する。

実施例1では、境界線を中心に所定幅の領域を距離情報の補正領域として設定し、実施例2では、距離情報の信頼度に基づき補正領域を設定した。実施例3では、補正領域を設定し、補正領域に含まれる画素の透明度αに基づき補正領域を修正する。

図13のフローチャートにより実施例3における画像処理部1109による距離情報の補正処理を説明する。

入力部11は、処理対象の画像データおよび距離情報を入力する(S31)。境界情報生成部12は、入力画像データから物体領域を抽出し(S32)、抽出した物体領域とその他の領域（背景領域）の間の境界を示す境界情報を生成する(S33)。境界情報は、境界線を示すベクトルデータでもよいし、境界に対応する画素のリストでもよい。

次に、補正領域設定部14は、境界情報に基づき、距離情報の暫定補正領域を設定する(S34)。透明度計算部15は、暫定補正領域に含まれる画素の透明度αを計算する(S35)。補正領域設定部14は、透明度αに基づき暫定補正領域を修正した補正領域を設定する(S36)。そして、距離情報補正部16は、透明度αに基づき補正領域の距離情報を補正する(S37)。

●補正領域の設定
図14のフローチャートにより補正領域設定部14による補正領域の修正を説明する。

補正領域設定部14は、暫定補正領域の注目画素の透明度αを取得し(S361)、取得した透明度αと所定の範囲を比較する(S362)。所定の範囲は、例えば、0.1超0.9未満（0.1＜α＜0.9）や0.2超0.8未満（0.2＜α＜0.8）などである。

補正領域設定部14は、注目画素の透明度αが所定の範囲に含まれる場合は(S363)、当該画素を補正領域に残す(S364)。また、注目画素の透明度αが所定の範囲に含まれない場合は(S363)、補正領域から当該画素を除外する(S365)。つまり、透明度αが所定の範囲に含まれる画素は境界領域に含まれる画素として補正領域に残留させ、透明度αが所定の範囲に含まれない画素は背景領域または物体領域の画素として補正領域から除外する。

次に、補正領域設定部14は、ステップS366の判定により、暫定補正領域のすべての画素について透明度αに基づく残留・除外処理が終了するまでステップS361からS365の処理を繰り返す。残留・除外処理が終了すると、残留した画素が修正後の補正領域に相当することになる。

このように、透明度αに基づき補正領域を修正するため、暫定補正領域に含まれる透明度αが0または1の画素、あるいは、0または1に近い画素まで距離情報を補正することがなく、距離推定精度をより高めるとともに、補正処理を高速化することができる。

［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステムあるいは装置のコンピュータ（又はCPUやMPU等）がプログラムを読み出して実行する処理である。

Claims

被写体を撮影した画像データ、並びに、前記被写体および前記被写体の背景の距離情報を入力する入力手段と、
前記画像データの前景領域と背景領域との境界情報を生成する生成手段と、
前記境界情報に基づき前記距離情報を補正する補正領域を設定する設定手段と、
前記補正領域の画素の透明度を算出する算出手段と、
前記補正領域の画素の透明度に基づき、当該画素に対応する距離情報を補正する補正手段と、
前記補正手段によって補正された距離情報を前記画像データに付加し、前記距離情報を付加した画像データを出力する出力手段とを有する画像処理装置。
前記生成手段は、前記画像データから前記前景領域として物体画像の領域を抽出し、前記物体画像の領域以外の領域を前記背景領域とする請求項１に記載された画像処理装置。
前記設定手段は、前記境界情報が示す境界線を略中央とする所定幅の領域を前記補正領域として設定する請求項１または請求項２に記載された画像処理装置。
前記入力手段は、さらに前記距離情報の信頼度を入力し、
前記設定手段は、前記境界情報が示す境界線から、前記信頼度が所定の第一の閾値未満の距離情報に対応する画素領域の領域拡大によって得られる領域を前記補正領域として設定する請求項１または請求項２に記載された画像処理装置。
前記設定手段は、前記境界情報が示す境界線を略中央とする所定幅の領域を暫定補正領域に設定し、前記透明度が所定の範囲に含まれない画素を前記暫定補正領域から除外した領域を前記補正領域として設定する請求項１または請求項２に記載された画像処理装置。
前記算出手段は、前記前景領域の画素の透明度を１、前記背景領域の画素の透明度を０として、前記補正領域の画素について０から１の間の透明度を算出する請求項１から請求項５の何れか一項に記載された画像処理装置。
前記補正手段は、前記補正領域の注目画素の近傍の前記前景領域の画素に対応する前記距離情報、前記注目画素の近傍の前記背景領域の画素に対応する前記距離情報、および、前記注目画素の透明度に基づき、前記補正後の距離情報を計算する請求項１から請求項６の何れか一項に記載された画像処理装置。
前記補正手段は、前記注目画素から最短距離にある前記前景領域の画素、および、前記注目画素から最短距離にある前記背景領域の画素を探索し、前記注目画素の透明度を重みとして、探索結果の画素に対応する前記距離情報を加算した結果を前記補正後の距離情報とする請求項７に記載された画像処理装置。
前記補正手段は、前記注目画素の透明度が所定の第二の閾値以上の場合は前記注目画素の近傍の前記前景領域の画素を選択し、前記透明度が前記第二の閾値未満の場合は前記注目画素の近傍の前記背景領域の画素を選択し、前記選択した画素に対応する前記距離情報から前記補正後の距離情報を計算する請求項７に記載された画像処理装置。
前記補正手段は、前記前景領域または前記背景領域の複数の画素を選択し、それら選択画素に対応する前記距離情報の平均値を前記補正後の距離情報とする請求項９に記載された画像処理装置。
前記補正手段は、前記前景領域または前記背景領域の複数の画素を選択し、それら選択画素と前記注目画素の間の距離を重みとして、前記選択画素に対応する前記距離情報を加重平均した結果を前記補正後の距離情報とする請求項９に記載された画像処理装置。
被写体を撮影した画像データ、並びに、前記被写体および前記被写体の背景の距離情報を入力し、
前記画像データの前景領域と背景領域との境界情報を生成し、
前記境界情報に基づき前記距離情報を補正する補正領域を設定し、
前記補正領域の画素の透明度を算出し、
前記補正領域の画素の透明度に基づき、当該画素に対応する距離情報を補正し、
補正された前記距離情報を前記画像データに付加し、前記距離情報を付加した画像データを出力する画像処理方法。
コンピュータを請求項１から請求項１１の何れか一項に記載された画像処理装置の各手段として機能させるためのプログラム。
請求項１３に記載されたプログラムが記録されたコンピュータが読み取り可能な記録媒体。