JP7417166B2 - デプスマップの精度向上装置、方法、およびプログラム - Google Patents

デプスマップの精度向上装置、方法、およびプログラム Download PDF

Info

Publication number
JP7417166B2
JP7417166B2 JP2022538554A JP2022538554A JP7417166B2 JP 7417166 B2 JP7417166 B2 JP 7417166B2 JP 2022538554 A JP2022538554 A JP 2022538554A JP 2022538554 A JP2022538554 A JP 2022538554A JP 7417166 B2 JP7417166 B2 JP 7417166B2
Authority
JP
Japan
Prior art keywords
image
depth map
segmentation
accuracy
regions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022538554A
Other languages
English (en)
Other versions
JPWO2022018857A1 (ja
Inventor
真二 深津
卓 佐野
由実 菊地
正人 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2022018857A1 publication Critical patent/JPWO2022018857A1/ja
Application granted granted Critical
Publication of JP7417166B2 publication Critical patent/JP7417166B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、デプスマップの精度向上装置、方法、およびプログラムに関する。
一般的に、デプス推定では、RGB画像の各ピクセルのデプス値をそれぞれ推定する。デプス推定で得られたデプスマップをRGB画像と比較した場合、推定精度が低いためノイズが多く、特に各オブジェクトの境界部分のデプスが曖昧になっており、外れ値や揺らぎの除去などデプスマップの精度を向上させる後処理が必要となっている。
デプスマップを3D変換で利用する場合、RGB画像中のオブジェクトとデプスマップ中のオブジェクトのデプスの関係が精緻であるほど、よりクリアな3D画像を生成できる。
RGB画像のエッジ情報(画素値境界)をデプスに転写することにより、デプスマップにおける画素値境界を明確化する手法として、RGB画像を用いたエッジ保持平滑化が知られている。
Johannes Kopf, Michael F. Cohen, Dani Lischinski, and Matt UyttenDaele,"Joint Bilateral Upsampling" Takuya Matsuo, Norishige Fukushima, and Yutaka Ishibashi,"Weighted Joint Bilateral Filter with Slope Depth Compensation Filter for Depth Map Refinement"
しかしながら、従来技術では、オブジェクト周辺のエッジとオブジェクト内部のエッジに区別はなく、オブジェクトの境界を明確化しようとフィルタを強くかけると、オブジェクト内部でのエッジ部分にも強くフィルタがかかるという問題があった。結果として、オブジェクト内部でのデプス情報が推定結果から大きく外れた値となり、デプスマップとしての精度を下げてしまう。
本発明は、上記に鑑みてなされたものであり、デプスマップの精度向上を実現することを目的とする。
本発明の一態様の精度向上装置は、デプスマップの精度を向上するための精度向上装置であって、処理対象の画像を複数の領域に分割したセグメンテーション結果に基づき、前記領域のそれぞれを指定の色で塗分けたセグメンテーション画像を生成する塗分け処理部と、前記セグメンテーション画像をガイド画像として用い、前記処理対象の画像から推定されたデプスマップにエッジ保持平滑化処理を実施する平滑化処理部を備える。
本発明の一態様の精度向上方法は、コンピュータが実行する精度向上方法であって、処理対象の画像を複数の領域に分割したセグメンテーション結果に基づき、前記領域のそれぞれを指定の色で塗分けたセグメンテーション画像を生成し、前記セグメンテーション画像をガイド画像として用い、前記処理対象の画像から推定されたデプスマップにエッジ保持平滑化処理を実施する。
本発明によれば、デプスマップの精度向上を実現できる。
図1は、本実施形態の精度向上装置の構成の一例を示すブロック図である。 図2は、RGB画像の一例を示す図である。 図3は、図2のRGB画像から推定したデプスマップの一例を示す図である。 図4は、図2のRGB画像から検出した物体の領域ごとに分けたセグメンテーション結果の一例を示す図である。 図5は、本実施形態の精度向上装置の出力するデプスマップの一例を示す図である。 図6は、本実施形態の精度向上装置の処理の流れを示すフローチャートである。 図7は、RGB画像をガイドにしてさらにエッジ保持平滑化を行ったデプスマップの一例を示す図である。 図8は、精度向上装置のハードウェア構成の一例を示す図である。
以下、本発明の実施の形態について図面を用いて説明する。
[構成]
図1は、本実施形態の精度向上装置1の構成の一例を示すブロック図である。図1に示す精度向上装置1は、デプス推定部11、セグメンテーション部12、塗分け処理部13、サイズ変更部14、平滑化処理部15、およびポスト処理部16を備える。精度向上装置1は、処理対象のRGB画像を入力し、RGB画像からデプスマップを推定するとともに、RGB画像を領域に分割して領域を塗分けたセグメンテーション画像を生成し、塗分けされたセグメンテーション画像をガイド画像として用いてエッジ保持平滑化したデプスマップを出力する。
デプス推定部11は、RGB画像を入力してデプスマップを推定し、デプスマップを出力する。デプスマップは、各画素の奥行きを0から255のグレーの256階調で表現した画像データである。例えば、一番奥を0、手前を255とする。デプスマップは、256階調以外の階調でもよい。図2に入力するRGB画像の一例を示し、図3に図2のRGB画像から推定したデプスマップの一例を示す。デプスマップの推定には、例えば、Depth from Videos in the Wildという手法を用いることができる。なお、精度向上装置1は、デプス推定部11を備えずに、外部の装置でRGB画像から推定されたデプスマップを入力してもよい。
セグメンテーション部12は、RGB画像を入力して、画像内の物体を検出し、物体がある領域をピクセル単位で分割したセグメンテーション結果を出力する。セグメンテーション結果は、検出された物体ごとに分割された各領域にセグメントIDが付与されたデータである。例えば、セグメンテーション結果は、ピクセル単位で対応するセグメントIDが付与されたデータである。図4にセグメンテーション結果の一例を示す。図4の例では、RGB画像が9つの領域に分割されており、各領域に1から9のセグメントIDが付与されている。セグメンテーション処理には、例えば、Mask R-CNNという手法を用いることができる。なお、精度向上装置1は、セグメンテーション部12を備えずに、外部の装置でRGB画像がセグメンテーション処理されたセグメンテーション結果を入力してもよい。
塗分け処理部13は、セグメンテーション結果とRGB画像を入力し、セグメンテーション結果における各領域を、RGB画像における各領域内の画素値の平均値の色で塗りつぶし、塗分けされたセグメンテーション画像を出力する。塗分ける色としてRGB画像における各領域内の画素値の平均値を用いることで、RGB画像での各オブジェクトの色の違いがエッジ判定に反映される。色相差の大きい領域間の輪郭はエッジが際立ち、色相差の小さい領域間の輪郭はエッジが際立たない。これにより、RGB画像の色情報を反映しつつ、オブジェクト境界をより強めたデプスマップを生成できる。塗分け処理部13は、セグメンテーション結果において領域として抽出されていないエリアは黒で塗りつぶす。黒の代わりに他のセグメントで用いられていない色を用いてもよい。
サイズ変更部14は、デプスマップと塗分けされたセグメンテーション画像を入力し、デプスマップと塗分けされたセグメンテーション画像のサイズを変更して、同一のサイズのデプスマップと塗分けされたセグメンテーション画像を出力する。サイズ変更部14は、デプスマップと塗分けされたセグメンテーション画像を元のRGB画像と同じサイズに変更してよい。デプス推定処理およびセグメンテーション処理の多くは、処理コストを小さくするために、元画像を縮小した画像を用いて処理を行う。なお、デプスマップおよび塗分けされたセグメンテーション画像のサイズが同じであれば、サイズ変更部14の処理は不要である。縮小したデプスマップおよびセグメンテーション結果を推定することで、デプスマップの推定処理とセグメンテーション処理の各処理時間が短縮されるので、結果的に、システム全体での処理時間の短縮が可能となる。
平滑化処理部15は、デプスマップと塗分けされたセグメンテーション画像を入力し、塗分けされたセグメンテーション画像をガイドにデプスマップをエッジ保持平滑化し、エッジ保持平滑化したデプスマップを出力する。ここで、塗分けされたセグメンテーション画像をガイドにするとは、デプスマップに対して平滑化処理を実施するに際して、デプスマップの情報(色の違いや距離の近さ)をもとに処理するのではなく、塗分けされたセグメンテーション画像の情報をもとに処理することである。具体的には、平滑化処理部15は、塗分けされたセグメンテーション画像をガイド画像として用い、Joint Bilateral FilterまたはGuided Filterを利用して、デプスマップに対してエッジ保持平滑化処理を実施する。フィルタ処理は繰り返し実施することで精度向上するが、実施しすぎると平滑化が過度に実施される。そのため、輪郭部分のエッジの際立ち方とオブジェクト内部の平滑化の程度をもとに、適切な回数を判断する。
ポスト処理部16は、エッジ保持平滑化処理が実施されたデプスマップを入力し、デプスマップにボケ除去フィルタを適用し、オブジェクトの境界部分をよりくっきりとさせたデプスマップを出力する。平滑化処理部15で平滑化が実施されると、デプスマップではオブジェクト周辺にボケ・霞が発生する。そこで、本実施形態では、ポスト処理部16を備えて、境界部分がくっきりとしたデプスマップを生成する。ボケ・霞を除去するボケ除去フィルタとしてDetail Enhance Filterを用いることができる。なお、ポスト処理部16による処理は必須ではない。ポスト処理部16による処理をしなくても、平滑化処理部15までの処理によって十分に精度の高いデプスマップを生成できる。図5にデプスマップの出力の一例を示す。
[動作]
図6のフローチャートを参照し、本実施形態の精度向上装置1の処理の流れについて説明する。
ステップS11にて、デプス推定部11は、RGB画像からデプスマップを推定する。精度向上装置1は、外部の装置で推定したデプスマップを入力してもよい。
ステップS12にて、セグメンテーション部12は、RGB画像内の物体を検出し、RGB画像を検出された物体ごとの領域に分割する。精度向上装置1は、外部の装置で求めたセグメンテーション結果を入力してもよい。
ステップS13にて、塗分け処理部13は、セグメンテーション結果で分割された領域のそれぞれを、RGB画像における各領域内の画素値の平均値の色で塗りつぶす。
ステップS14にて、サイズ変更部14は、デプスマップと塗分けされたセグメンテーション画像のサイズを変更する。
ステップS15にて、平滑化処理部15は、塗分けされたセグメンテーション画像をガイドにデプスマップにエッジ保持平滑化処理を施す。
ステップS16にて、ポスト処理部16は、デプスマップにボケ除去フィルタを適用する。
[変形例]
次に、塗分け処理とデプスマップの平滑化処理の変形例について説明する。
塗分け処理部13による、RGB画像を複数の領域に分割したセグメンテーション結果に基づいて、領域のそれぞれを指定の色で塗分ける処理では、各領域をランダムな色で塗分けてもよいし、セグメンテーション結果をデプスマップと照合し、各領域のデプスマップでのデプスを示す値の平均値のグレースケールで塗分けてもよい。このとき、セグメンテーション結果として抽出されていない領域は黒で塗分ける。
あるいは、塗分け処理部13は、隣接する領域の色の差が大きくなるように各領域を塗分ける色を選択してもよい。例えば、隣接する領域を、色相環で反対に位置する色(補色)で塗りつぶす。セグメントIDを、例えば左上の領域から横に向かって順番に付与し、右端まで付与し終えたら左端に戻って次の行を処理する。そして、色相環で反対に位置する色をセグメントID順に順番に選択して領域を塗りつぶす。
あるいは、塗分け処理部13は、セグメンテーション処理で検出された物体のカテゴリに基づいて各領域を塗分ける色を選択してもよい。例えば、塗分け処理部13は、空、海、壁などの背景の領域を寒色系の色で塗りつぶし、人、船などの物体(被写体)の領域を暖色系の色で塗りつぶす。これにより、被写体と背景の境界部分のエッジを際立たせて、被写体と背景が分離され、被写体が際立たったデプスマップの生成が期待できる。
平滑化処理部15は、セグメンテーション画像をガイドにデプスマップのエッジ保持平滑化を実施する処理に加えて、さらにRGB画像をガイドにエッジ保持平滑化を実施してもよい。RGB画像をガイドに用いたエッジ保持平滑化は従来技術と同様に実施できる。これにより、オブジェクトの境界部分がより鮮明になったデプスマップを生成できるが、図7に示すように、オブジェクト内部のデプス情報も変化するため、それを加味しての適用が必要である。
以上説明したように、本実施形態の精度向上装置1は、処理対象のRGB画像を複数の領域に分割したセグメンテーション結果に基づき、領域のそれぞれを指定の色で塗分けたセグメンテーション画像を生成する塗分け処理部13と、セグメンテーション画像をガイド画像として用い、処理対象のRGB画像から推定されたデプスマップにエッジ保持平滑化処理を実施する平滑化処理部15を備える。これにより、デプスマップにおいてオブジェクトの境界を明確化しつつ、オブジェクト内部での意図しないデプスの誤処理を防ぐことができる。その結果、デプスマップの精度向上を実現でき、クリアな3D画像を生成できる。
上記説明した精度向上装置1には、例えば、図8に示すような、中央演算処理装置(CPU)901と、メモリ902と、ストレージ903と、通信装置904と、入力装置905と、出力装置906とを備える汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、CPU901がメモリ902上にロードされた所定のプログラムを実行することにより、精度向上装置1が実現される。このプログラムは磁気ディスク、光ディスク、半導体メモリ等のコンピュータ読み取り可能な記録媒体に記録することも、ネットワークを介して配信することもできる。
1…精度向上装置
11…デプス推定部
12…セグメンテーション部
13…塗分け処理部
14…サイズ変更部
15…平滑化処理部
16…ポスト処理部

Claims (7)

  1. デプスマップの精度を向上するための精度向上装置であって、
    処理対象の画像を複数の領域に分割したセグメンテーション結果に基づき、前記領域のそれぞれを指定の色で塗分けたセグメンテーション画像を生成する塗分け処理部と、
    前記セグメンテーション画像をガイド画像として用い、前記処理対象の画像から推定されたデプスマップにエッジ保持平滑化処理を実施する平滑化処理部を備える
    精度向上装置。
  2. 請求項1に記載の精度向上装置であって、
    前記塗分け処理部は、前記領域のそれぞれを
    前記処理対象の画像における当該領域内の画素値の平均値で塗分ける
    精度向上装置。
  3. 請求項1に記載の精度向上装置であって、
    前記塗分け処理部は、前記領域のそれぞれを隣接する領域間で色の差が大きくなるような補色で塗分ける
    精度向上装置。
  4. 請求項1ないし3のいずれかに記載の精度向上装置であって、
    前記平滑化処理部は、さらに、前記デプスマップに前記処理対象の画像をガイド画像として用いたエッジ保持平滑化処理を実施する
    精度向上装置。
  5. 請求項1ないし4のいずれかに記載の精度向上装置であって、
    前記デプスマップと前記セグメンテーション画像の大きさを同じにするサイズ変更部を備える
    精度向上装置。
  6. コンピュータが実行する精度向上方法であって、
    処理対象の画像を複数の領域に分割したセグメンテーション結果に基づき、前記領域のそれぞれを指定の色で塗分けたセグメンテーション画像を生成し、
    前記セグメンテーション画像をガイド画像として用い、前記処理対象の画像から推定されたデプスマップにエッジ保持平滑化処理を実施する
    精度向上方法。
  7. 請求項1ないし5のいずれかに記載の精度向上装置の各部としてコンピュータを動作させるプログラム。
JP2022538554A 2020-07-22 2020-07-22 デプスマップの精度向上装置、方法、およびプログラム Active JP7417166B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/028444 WO2022018857A1 (ja) 2020-07-22 2020-07-22 デプスマップの精度向上装置、方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2022018857A1 JPWO2022018857A1 (ja) 2022-01-27
JP7417166B2 true JP7417166B2 (ja) 2024-01-18

Family

ID=79729146

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022538554A Active JP7417166B2 (ja) 2020-07-22 2020-07-22 デプスマップの精度向上装置、方法、およびプログラム

Country Status (3)

Country Link
US (1) US20230281759A1 (ja)
JP (1) JP7417166B2 (ja)
WO (1) WO2022018857A1 (ja)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5949314B2 (ja) * 2012-08-20 2016-07-06 株式会社日本自動車部品総合研究所 視差マップ生成装置および視差マップ生成装置用のプログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
常セン 他2名,セグメントバイラテラルフィルタによる画像平滑化と雑音除去,画像ラボ,2012年03月10日,Vol.23, No.3,pp.25-29
松尾琢也 他2名,奥行き推定精度向上のための重み付きジョイントバイラテラルフィルタ,情報処理学会第74回全国大会講演論文集(2)人工知能と認知科学,2012年03月06日,pp.2-243 - 2-244
福嶋慶繁 他1名,Depth Image Based Renderingのための奥行画像へのポストフィルタリング,電子情報通信学会論文誌,2011年12月01日,Vol.J94-D, No.12,pp.1992-1995

Also Published As

Publication number Publication date
US20230281759A1 (en) 2023-09-07
WO2022018857A1 (ja) 2022-01-27
JPWO2022018857A1 (ja) 2022-01-27

Similar Documents

Publication Publication Date Title
JP6355346B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記憶媒体
US9542728B2 (en) Apparatus and method for processing color image using depth image
US10515438B2 (en) System and method for supporting image denoising based on neighborhood block dimensionality reduction
CN107451976B (zh) 一种图像处理方法及装置
KR20130060150A (ko) 깊이 영상을 고해상도로 변환하는 방법 및 장치
US9438769B1 (en) Preserving smooth-boundaried objects of an image
CN111340732B (zh) 一种低照度视频图像增强方法及装置
TW201327474A (zh) 視差估計深度產生方法
KR20220139292A (ko) 문자 분할 방법, 장치 및 컴퓨터 판독 가능 저장 매체
US20200380641A1 (en) Image processing apparatus, image processing method, and storage medium
CN110880001A (zh) 一种语义分割神经网络的训练方法、设备和存储介质
CN112053302A (zh) 高光谱图像的去噪方法、装置及存储介质
JP6592992B2 (ja) 画像の背景輝度画像の抽出装置及び方法、並びに影除去装置及び方法
EP3046074A1 (en) Method and apparatus for color correction in an alpha matting process
CN113011433B (zh) 一种滤波参数调整方法及装置
KR101028699B1 (ko) 회화적 렌더링 장치 및 방법
CN110880183A (zh) 一种图像分割方法、设备和计算机可存储介质
JP7417166B2 (ja) デプスマップの精度向上装置、方法、およびプログラム
CN103618904B (zh) 基于像素的运动估计方法及装置
US20210365675A1 (en) Method, apparatus and device for identifying body representation information in image, and computer readable storage medium
EP3070669A1 (en) Method and apparatus for color smoothing in an alpha matting process
KR101760463B1 (ko) 깊이 지도 보정 방법 및 그 장치
JP4708866B2 (ja) ルックアップテーブル作成装置および方法,ならびにルックアップテーブル作成プログラム
EP3032497A2 (en) Method and apparatus for color correction
Saxena et al. An efficient single image haze removal algorithm for computer vision applications

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231218

R150 Certificate of patent or registration of utility model

Ref document number: 7417166

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150