JP5695186B2 - ３次元ビデオのコンフォートノイズ及びフィルム粒子処理 - Google Patents

Description

本発明は、ディジタル画像へのノイズの付加に関する。

時の経過に従って、テレビジョンは、白黒画像からカラー画像となり、そして今、高精細度に発展してきた。現在、テレビジョン機器のいくつかのメーカが３次元（３Ｄ）で画像を生成して表示することが可能な製品を市場に出し始めている。その新たに出現する３Ｄテレビジョンディスプレイ装置は、台形歪み、奥行き面湾曲、倍率、小型化効果、せん断歪み、クロストーク、ピケットフェンス効果、画像フリッピングを含むいくつかの視覚的な不快感の根源を招く。加えて、視覚的な違和感は不鮮明の結果、奥行き手掛かり、例えば、高速の動きの画像領域の不足から生じる可能性がある。鑑賞者は奥行き手がかりの欠如を有する画像内の領域を見るときにしばしば不快感を覚える。３Ｄ画像を左目及び右目で見る際におけるフィルム粒子に関連付けられたランダムノイズの違いは奇妙な視覚効果を表現させることができる。

ディジタル画像に対するディザ信号の付加は、輪郭アーティファクトやブロッキングアーティファクト等の符号化アーティファクトに対する人間の感性を低下させることができ、主観品質を向上させることができる。一般的には、ビデオに「コンフォートノイズ(Comfort noise)」と呼ばれるノイズを付加することは、本目的を達成することに役に立つ。２次元画像にコンフォートノイズを付加する技術が存在するが、３Ｄ画像にコンフォートノイズを付加する良く知られた技術は存在しない。

簡単に記述すると、本発明の原理の好適な実施形態によれば、画像の深度に応じて、画像の異なる領域にノイズを加える工程を含む、３次元画像にノイズを付加する方法が提供される。

本発明の原理に従って３次元画像にノイズを付加するために本発明の原理による装置の例示的な実施形態を示している。 本発明の原理の第１の例示的な実施形態に応じて３次元画像にノイズを付加する方法のステップをフロー図として示している。 第２の好適な実施形態に応じて３次元画像にノイズを付加する方法のステップをフロー図として示している。 本発明の原理の第２の好適な実施形態に応じて３次元画像にフィルム粒子を付加する方法のステップをフロー図として示している。

図１は、本発明の原理の好適な実施形態に応じて３次元画像、通常、ディジタル画像にノイズを付加する装置１０の概略ブロック図を示している。以下でより詳細に説明されるように、ノイズはアーティファクトを低減するために画像に付加された種類の「コンフォート」ノイズの形をとることができる。或いは、映画フィルムに基づいたビデオを含むディジタル画像の場合には、ノイズは、映画フィルムの状態を模倣するために、フィルム粒子の形をとることができる。以下では、ノイズ付加に言及するときに、付加されたノイズは、フィルム粒子又はコンフォートノイズを含む可能性がある。

装置１０は様々な形態を取ることができる。例示的な実施形態では、装置１０は、ケーブルシステムのヘッドエンド等のデータソース１２からビデオと深さ情報を含むビットストリームを受信するセットトップボックスを備えている。デマルチプレクサ１４はビデオデコーダ１６及び深さデコーダ１７各々によって復号化するためにビデオと深さ情報とを分離する。コンフォートノイズモジュール１８は、復号化されたビデオと深さ情報からコンフォートノイズを生成して３Ｄテレビ受像機（図示せず）による受信のために３次元（３Ｄ）ビデオ出力信号を得る。

コンフォートノイズモジュール１８は、ビデオデコーダ１６及び深さデコーダ１７各々から供給された復号化ビデオ及び深さ情報に応じてコンフォートノイズを生成するコンフォートノイズ発生器２０を備えている。実際には、ノイズ発生器２０は、プログラム命令を実行するためにプロセッサ（図示せず）の形を取ることができる。コンフォートノイズ生成器２０が復号化されたビデオ及び深さ情報に応じてコンフォートノイズを生成する方法は、図２及びその付随説明を参照することにより以下において理解され得る。コンフォートノイズ及びビデオミキサ２２は、コンフォートノイズ発生器２０からコンフォートノイズを、復号化されたビデオ及び深さ情報と組み合わせて３Ｄビデオ出力信号を生成する。

図２は、本発明の原理の好ましい実施形態に応じてコンフォートノイズを生成する方法のステップをフロー図の形式で示している。換言すれば、図２の方法は、ノイズ発生器２０内のプロセッサの命令を構成する。図２の方法は、初期化が発生した時に開始ステップ２００で始まる。その後、ステップ２０２は、左ビューのためにコンフォートノイズ値Ｎ_Lを生成することを実行する。以下、より良く理解されるように、動きを含む一般的な３Ｄビデオ画像はピクチャのペアを含んでおり、各ペアは左右のビューを含む。本発明の原理の技術のノイズ発生は、ペアの左ビューピクチャについて先ず快適さを生成し、その値を使用してペアの右ビューピクチャについてのコンフォートノイズを生成する。

ペアの左ビューピクチャについてのノイズを生成するために、図１のコンフォートノイズ生成器２０は、特定のピクチャ（以下、「ノイズ」ピクチャと称する）Ｎを次の関係式：
Ｎ(k,x,y)=α(k,x,y)×Ｎ(k-1,x,y)＋(1-α(k,x,y))×β(k,x,y)×R(k,x,y) 式(1)
によって数学的に表すことができる付加ノイズモデルを利用する。ここで、ｋはフレーム番号であり、ｘ，ｙはピクセルの水平及び垂直座標である。R(k,x,y)は一般的にガウス分布又はラプラシアン分布のランダムな数値である。α(k,x,y)及びβ(k,x,y)はそれぞれ時間的な相関係数及び輝度係数であり、０と１の間の範囲の値をとる。α(k,x,y)は再構成画像の画素又はそれに対応するブロックと、前に表示された画像の同一位置にある画素又はブロックとの間の時間的な相関に依存し、一方、β(k,x,y)は現在の画素又はそれに関連したブロックの明るさに依存する。式(1)を用いたステップ２０２の間の左ビューピクチャについてのコンフォートノイズピクチャ（Ｎ_L）の生成に続いて、このノイズピクチャはステップ２０４の間に左ビューピクチャに付加される。

ステップ２０４に続いて、右ビューピクチャについてのノイズピクチャ（Ｎ_R）の合成が生じる。右ビューノイズピクチャＮ_Rの合成はいくつかのステップで生じる。先ず、ステップ２０６の間に、左ノイズピクチャＮ_Lは、一般的に「ホール」又は欠損値を有する右ビューノイズピクチャ（Ｎ_RwithHoles）を得るためにワーピング（Warping）を受ける。そのようなホールの埋め方法は、図３を参照することにより以下に明らかになる。

３Ｄピクチャをワーピングする処理は、通常、１つ以上の画像から新しい視点（ビューポイント）及び基準面にピクセルを投影することを伴う。図１のビデオデコーダ１６及び深さデコーダ１７から得ることができるように、シーン及び深さ情報を用いて３Ｄ画像ワーピングを達成するために当該技術分野において様々な技術が存在する。例えば、深さベースの画像レンダリングはマトリックス乗算を使用して、参照画像及び関連付けられた深さ情報から仮想ビューを合成するためのよく知られた処理を構成している。

ステップ２０６に続いて、図２のステップ２０８は、右ビューノイズピクチャ（Ｎ_RwithHoles）のホールを埋めることを実行してより完全な右ビューノイズピクチャ（Ｎ_R）を生み出す。ホール埋めが生じる処理は図３を参照することによってより良く理解され得る。右ビューノイズピクチャ（Ｎ_R）は、ステップ２１０の間に右ノイズビューに付加される。次に、ステップ２１２は、付加のピクチャが処理のために画像内に存在するか否かをチェックすることを実行する。付加の画像が処理のために存在しない場合には、処理はステップ２１４で終了する。そうでなければ、更なるピクチャが存在しなくなるまでステップ２０２ないし２１２は再び実行を受ける。

図２に示されたコンフォートノイズ付加方法は、左右のノイズピクチャがビデオ画像と同じ視差（disparity）を有することを前提としている。単に左右のビューに同一のノイズを付加すること、又はノイズピクチャを個別に付加することと比べて、ノイズピクチャを合成するために深さ情報に依存している本発明の原理のコンフォートノイズ付加技術は、最適な鑑賞品質を経験的に提供する。

図３は右ビューノイズピクチャ（Ｎ_RwithHoles）内のホール（欠損値）を埋めるための本発明の原理による方法のステップをフロー図の形式で示している。ホールの領域内にグラウンドトルース(ground truth)情報が存在し他の視点から閉塞されずに残る従来のホール埋め問題とは異なり、そのようなグラウンドトルース情報はワーピングされたノイズピクチャのホール領域内に存在しない。この問題を克服するために、本発明の原理のホール埋め方法は、バックグラウンドノイズを伝搬するのではなく、代わりに新たなノイズ情報を生成する。新しいノイズの生成は左右のビューピクチャがコンフォートノイズの付加に続いてより自然に見えるように低減アーティファクトの結果となる。

図３の方法は、初期化の間にステップ３００で始まる。次に、ステップ３０２は埋めることが必要な右ビューノイズピクチャ（Ｎ_RwithHoles）内の領域（すなわち、ホール）、すなわち、補正が必要な欠損値を有する領域をマーク、又は別の方法で識別することを実行する。ステップ３０４の間には、図１のコンフォートノイズ発生器２０１は、そのホールを含むピクセルについての画像及び深さ情報に基づいて「ホール」毎にコンフォートノイズを生成する。その後、ステップ３０４の間にホールのために生成されたノイズ値は、右ビューノイズピクチャ（Ｎ_RwithHoles）にコピーされてより完全な右ノイズピクチャ（Ｎ_R）を得る。その後、処理はステップ３０８で終了する。

映画フィルムに記録された画像は、通常、目に見える粒子を示す。そのような粒子は、十分に光子を受けているハロゲン化銀から開発された金属銀の小さな粒子の存在のために処理された写真フィルムのランダム光学組織を構成している。よって、異なるピクチャ又はビュー内のフィルム粒子は互いに独立して残っている。３Ｄモードでフィルムを見るときに、無関係なノイズが不快な視覚効果を引き起こす。

本発明の原理の別の実施形態によれば、画像に本来存在するフィルム粒子は、抽出されて、不快な視覚効果を避けるために３Ｄ鑑賞用に特に合成されたフィルム粒子と置換される。図４は、本来の粒子を抽出し、深さ情報に基づいてフィルム粒子を合成する方法のステップをフロー図の形式で示している。

図４の方法は、初期化が生じた間に開始ステップ４００の実行の際に開始する。その後、左ビューピクチャに存在するフィルム粒子（Ｇｒａｉｎ_L）はステップ４０２の間に抽出される。既存のフィルム粒子抽出器（図示せず）はその粒子を抽出するために機能することができる。フィルム粒子がいくつかの空間相関と時間的に相互に関連を持たされていないようであるので、１以上の時間的なフィルタ（図示せず）がフィルム粒子を除去することができる。フィルタリング後の一時的な平滑化画像と原画像との差分は抽出されたフィルム粒子を含む。ステップ４０２の後、ステップ４０４の実行でその間にフィルム粒子（Ｇｒａｉｎ_R）が同様の技術を用いて右ビューピクチャから抽出される。

ステップ４０４に続いて、ステップ４０６は、右ビューピクチャからフィルム粒子を除去するために実行される。その後、左ビューピクチャ用の抽出されたフィルム粒子（Ｇｒａｉｎ_R）は、ステップ４０８の間にワーピングを受けて右ビューピクチャ用の合成粒度（Ｇｒａｉｎ_RwithHoles）を得る。左ビュー用の抽出されたフィルム粒子（Ｇｒａｉｎ_L）のワーピングは図２のステップ２０６について前述された左ビューコンフォートノイズピクチャをワーピングする処理と同様の方法で生じる。合成粒子（Ｇｒａｉｎ_RwithHoles）に存在するホールは図２のステップ２０８と関連して説明された方法と同様の方法でステップ４１０の間に埋められて右ビューピクチャ用のより多くのフィルム粒子（Ｇｒａｉｎ_R）を得る。ステップ４１０の後に、ステップ４１２の実行でその間に、より完全な右粒子（Ｇｒａｉｎ_R）が右ビューピクチャに対して付加される。ステップ４１２に続くステップ４１４は、その間に、付加のピクチャが処理のためにビデオ画像に存在するか否か判別するためにチェックを行う。付加のピクチャが処理のために存在しない場合にはその処理はステップ４１６で終了する。そうでなければ、ステップ４０２ないし４１２は更なるピクチャが処理のために存在しなくなるまで再び実行される。

上述されたように、図４のフィルム粒子ノイズ付加技術は、左右のビューピクチャ内のフィルム粒子を抽出して除去することによって機能する。左ビューから右ビューへ抽出されたフィルム粒子をワーピングすることに代えて、図２及び図３について説明された技術を用いて左右のビューにコンフォートノイズを付加することができる。

本明細書に記載された全ての実施形態ついては、本発明の原理のノイズ付加技術は、左ビューノイズ及びフィルム粒子をワーピングすることに反対にするように、右ビューピクチャコンフォートノイズ及びフィルム粒子をワーピングして左ビューノイズ及びコンフォート粒子を各々得るように動作することができる。

上記したことはディジタル画像にノイズを付加する技術の説明である。
本発明は、以下の態様を含む。
［付記１］
３次元画像にノイズを付加する方法であって、
画像深さに応じて前記画像の異なる領域にノイズを付加するステップを含む、方法。
［付記２］
前記ノイズはコンフォートノイズを含む、付記１記載の方法。
［付記３］
前記ノイズはフィルム粒子を含む、付記１記載の方法。
［付記４］
前記３次元画像は第１のビュー及び第２のビューを有し、前記ノイズは前記画像深さに応じて前記第１のビュー及び前記第２のビューに付加される、付記１記載の方法。
［付記５］
前記ノイズを付加するステップは、
前記画像内の第１のビューについてのノイズを計算するステップと、
当該計算されたノイズを前記第１のビューピクチャに付加するステップと、
前記画像深さに応じて前記第１のビューピクチャについて前記計算されたノイズから第２のビューピクチャについてのノイズを合成するステップと、
当該合成されたノイズを前記第２のビューピクチャに付加するステップと、
を更に含む、付記１記載の方法。
［付記６］
前記第２のビューピクチャについてのノイズを合成するステップは、
前記合成されたノイズのうちの値が欠損している領域を識別するステップと、
当該識別された領域をノイズで埋めるステップと、
を更に含む、付記５記載の方法。
［付記７］
第１のビューピクチャ及び第２のビューピクチャを有する３次元画像にフィルム粒子を付加する方法であって、
前記第１のビューピクチャからフィルム粒子を抽出するステップと、
前記第２のビューピクチャから粒子を除去するステップと、
画像深さに基づいて前記第１のビューピクチャについて当該抽出されたフィルム粒子から前記第２のビューピクチャについてフィルム粒子を合成するステップと、
当該合成されたフィルム粒子を前記第２のビューピクチャに付加するステップと、
を含む、方法。
［付記８］
前記第２のビューピクチャについてフィルム粒子を合成するステップは、
前記合成されたフィルムのうちの値が欠損している領域を識別するステップと、
当該識別された領域をフィルム粒子で埋めるステップと、
を更に含む、付記７記載の方法。
［付記９］
第１のビューピクチャ及び第２のビューピクチャを有する３次元画像にフィルム粒子を付加する方法であって、
前記第１のビューピクチャからフィルム粒子を除去するステップと、
前記第２のビューピクチャから粒子を除去するステップと、
前記第１のビューピクチャのためにコンフォートノイズ及びフィルム粒子のいずれか一方を生成するステップと、
画像深さに基づいて前記第１のビューピクチャのために当該生成されたコンフォートノイズ及びフィルム粒子のいずれか一方から前記第２のビューピクチャのためにコンフォートノイズ及びフィルム粒子のいずれか一方を合成するステップと、
当該合成されたコンフォートノイズ及びフィルム粒子のいずれか一方を前記第２のビューピクチャに付加するステップと、
を含む、方法。
［付記１０］
前記第２のビューピクチャのためにコンフォートノイズ及びフィルム粒子のいずれか一方を合成するステップは、
前記合成されたコンフォートノイズ及びフィルム粒子のいずれか一方のうちの値が欠損している領域を識別するステップと、
当該識別された領域をコンフォートノイズ及びフィルム粒子のいずれか一方で埋めるステップと、
を更に含む、付記９記載の方法。
［付記１１］
３次元画像にノイズを付加する装置であって、
画像深さに応じて前記画像の異なる領域にノイズを付加するノイズ発生器を含む、装置。
［付記１２］
前記ノイズ発生器は、
前記画像内の第１のビューについてのノイズを計算する手段と、
当該計算されたノイズを前記第１のビューピクチャに付加する手段と、
前記画像深さに応じて前記第１のビューピクチャについて前記計算されたノイズから第２のビューピクチャについてのノイズを合成する手段と、
当該合成されたノイズを前記第２のビューピクチャに付加する手段と、
を更に含む、付記１１記載の装置。
［付記１３］
前記第２のビューピクチャについてのノイズを合成する手段は、
前記合成されたノイズのうちの値が欠損している領域を識別する手段と、
当該識別された領域をノイズで埋める手段と、
を更に含む、付記１２記載の装置。
［付記１４］
第１のビューピクチャ及び第２のビューピクチャを有する３次元画像にフィルム粒子を付加する装置であって、
前記第１のビューピクチャからフィルム粒子を抽出する手段と、
前記第２のビューピクチャから粒子を除去する手段と、
画像深さに基づいて前記第１のビューピクチャについて当該抽出されたフィルム粒子から前記第２のビューピクチャについてフィルム粒子を合成する手段と、
当該合成されたフィルム粒子を前記第２のビューピクチャに付加する手段と、
を含む、装置。
［付記１５］
前記第２のビューピクチャについてフィルム粒子を合成する手段は、
前記合成されたフィルムのうちの値が欠損している領域を識別する手段と、
当該識別された領域をフィルム粒子で埋める手段と、
を更に含む、付記１４記載の装置。

Claims (12)

1. 第１のビューピクチャ及び第２のビューピクチャを有する３次元画像にノイズを付加する方法であって、
   前記第１のビューピクチャ及び前記第２のビューピクチャが前記３次元画像と同じ３次元画像深さを有するように前記第１のビューピクチャについてのノイズをワーピングすることによって前記第２のビューピクチャについてのノイズを生成することにより、前記第１のビューピクチャ及び前記第２のビューピクチャに、コンフォートノイズ又はフィルム粒子を含むノイズを付加するステップを含む、前記方法。
2. 前記ノイズを付加するステップは、
   前記３次元画像内の前記第１のビューピクチャについてのノイズを計算するステップと、
   当該計算されたノイズを前記第１のビューピクチャに付加するステップと、
   前記３次元画像のワーピングにより前記３次元画像深さに応じて前記第１のビューピクチャについて前記計算されたノイズから前記第２のビューピクチャについてのノイズを生成するステップと、
   当該生成されたノイズを前記第２のビューピクチャに付加するステップと、
   を更に含む、請求項１記載の方法。
3. 前記第２のビューピクチャについてのノイズを生成するステップは、
   前記３次元画像のワーピングにより前記ノイズを生成した後に、前記生成されたノイズにおいて値が欠損している領域を識別するステップと、
   当該識別された領域をノイズで埋めるステップと、
   を更に含む、請求項２記載の方法。
4. 第１のビューピクチャ及び第２のビューピクチャを有する３次元画像にフィルム粒子を付加する方法であって、
   前記第１のビューピクチャからフィルム粒子を抽出するステップと、
   前記第２のビューピクチャからフィルム粒子を除去するステップと、
   前記第１のビューピクチャ及び前記第２のビューピクチャが前記３次元画像と同じ３次元画像深さを有するように前記第１のビューピクチャについての当該抽出されたフィルム粒子をワーピングすることによって前記第１のビューピクチャについて前記抽出されたフィルム粒子から前記第２のビューピクチャについてのフィルム粒子を生成するステップと、
   当該生成されたフィルム粒子を前記第２のビューピクチャに付加するステップと、
   を含む、前記方法。
5. 前記第２のビューピクチャについてのフィルム粒子を生成するステップは、
   前記３次元画像のワーピングにより前記フィルム粒子を生成した後に、前記生成されたフィルム粒子において値が欠損している領域を識別するステップと、
   当該識別された領域をフィルム粒子で埋めるステップと、
   を更に含む、請求項４記載の方法。
6. 第１のビューピクチャ及び第２のビューピクチャを有する３次元画像にフィルム粒子を付加する方法であって、
   前記第１のビューピクチャからフィルム粒子を除去するステップと、
   前記第２のビューピクチャからフィルム粒子を除去するステップと、
   前記第１のビューピクチャのためにコンフォートノイズ及びフィルム粒子のいずれか一方を生成するステップと、
   前記第１のビューピクチャ及び前記第２のビューピクチャが前記３次元画像と同じ３次元画像深さを有するように前記第１のビューピクチャについての当該生成されたコンフォートノイズ及びフィルム粒子のいずれか一方をワーピングすることによって前記第１のビューピクチャについて前記生成されたコンフォートノイズ及びフィルム粒子のいずれか一方から前記第２のビューピクチャについてのコンフォートノイズ及びフィルム粒子のいずれか一方を生成するステップと、
   当該生成されたコンフォートノイズ及びフィルム粒子のいずれか一方を前記第２のビューピクチャに付加するステップと、
   を含む、前記方法。
7. 前記第２のビューピクチャのためにコンフォートノイズ及びフィルム粒子のいずれか一方を生成するステップは、
   前記３次元画像のワーピングによりコンフォートノイズ及びフィルム粒子のいずれか一方を生成した後に、前記生成されたコンフォートノイズ及びフィルム粒子のいずれか一方において値が欠損している領域を識別するステップと、
   当該識別された領域をコンフォートノイズ及びフィルム粒子のいずれか一方で埋めるステップと、
   を更に含む、請求項６記載の方法。
8. 第１のビュー及び第２のビューを有する３次元画像にノイズを付加する装置であって、
   前記第１のビュー及び前記第２のビューが前記３次元画像と同じ３次元画像深さを有するように前記第１のビューについてのノイズをワーピングすることによって前記第２のビューについてのノイズを生成することにより、前記第１のビュー及び前記第２のビューに、コンフォートノイズ又はフィルム粒子を含むノイズを付加するノイズ発生器を含む、前記装置。
9. 前記ノイズ発生器は、
   前記３次元画像内の前記第１のビューについてのノイズを計算する手段と、
   当該計算されたノイズを前記第１のビューに付加する手段と、
   前記３次元画像のワーピングにより前記３次元画像深さに応じて前記第１のビューについて前記計算されたノイズから前記第２のビューについてのノイズを生成する手段と、
   当該生成されたノイズを前記第２のビューに付加する手段と、
   を更に含む、請求項８記載の装置。
10. 前記第２のビューについてのノイズを生成する手段は、
    前記３次元画像のワーピングにより前記ノイズを生成した後に、前記生成されたノイズにおいて値が欠損している領域を識別する手段と、
    当該識別された領域をノイズで埋める手段と、
    を更に含む、請求項９記載の装置。
11. 第１のビューピクチャ及び第２のビューピクチャを有する３次元画像にフィルム粒子を付加する装置であって、
    前記第１のビューピクチャからフィルム粒子を抽出する手段と、
    前記第２のビューピクチャからフィルム粒子を除去する手段と、
    前記第１のビューピクチャ及び前記第２のビューピクチャが前記３次元画像と同じ３次元画像深さを有するように前記第１のビューピクチャについての当該抽出されたフィルム粒子をワーピングすることによって前記第１のビューピクチャについて前記抽出されたフィルム粒子から前記第２のビューピクチャについてフィルム粒子を生成する手段と、
    当該生成されたフィルム粒子を前記第２のビューピクチャに付加する手段と、
    を含む、前記装置。
12. 前記第２のビューピクチャについてフィルム粒子を生成する手段は、
    前記３次元画像のワーピングにより前記フィルム粒子を生成した後に、前記生成されたフィルム粒子において値が欠損している領域を識別する手段と、
    当該識別された領域をフィルム粒子で埋める手段と、
    を更に含む、請求項１１記載の装置。

Images