JP6042525B2 - 画像強調 - Google Patents
画像強調 Download PDFInfo
- Publication number
- JP6042525B2 JP6042525B2 JP2015501680A JP2015501680A JP6042525B2 JP 6042525 B2 JP6042525 B2 JP 6042525B2 JP 2015501680 A JP2015501680 A JP 2015501680A JP 2015501680 A JP2015501680 A JP 2015501680A JP 6042525 B2 JP6042525 B2 JP 6042525B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixels
- map
- constituent
- perceptual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000000470 constituent Substances 0.000 claims description 95
- 238000000034 method Methods 0.000 claims description 88
- 238000012545 processing Methods 0.000 claims description 84
- 230000002708 enhancing effect Effects 0.000 claims description 26
- 238000001914 filtration Methods 0.000 claims description 13
- 238000009499 grossing Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 14
- 230000008447 perception Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 230000006837 decompression Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[C1]画像処理のための方法であって、前記方法は以下を備える、
画像を受信することと、
前記画像内のピクセルの相対深度を示す、前記画像のデプスマップのデプスマップ値を決定することと、
前記画像の知覚マップの知覚マップ値を決定することと、
少なくとも前記デプスマップ値および前記知覚マップ値に基づいて前記画像の第1の部分を前記画像の第2の部分に対して強調すること。
[C2]前記画像の前記第1の部分を前記画像の前記第2の部分に対して強調することは、
前記第1の部分内のピクセルを強調し、前記第2の部分内のピクセルは強調しないことと、
前記第2の部分内の前記ピクセルをぼかし、前記第1の部分内の前記ピクセルはぼかさないことと、
前記第1の部分内の前記ピクセルを強調し、前記第2の部分内の前記ピクセルをぼかすことと、
のうちの少なくとも1つを備える、[C1]に記載の方法。
[C3]前記デプスマップのデプス値を決定することは、いずれのピクセルが前記画像の前景にある物体のためのものであるかを決定することを備え、
前記知覚マップの知覚マップ値を決定することは、前記画像内の物体の動き情報を決定することを備え、
前記画像の前記第1の部分を前記画像の前記第2の部分に対して強調することは、前記動き情報によって決定される、前記画像の前記前景にあって遅く動いている物体のピクセルを、前記動き情報によって決定される、前記画像の背景にあって速く動いている物体のピクセルに対して強調することを備える、[C1]に記載の方法。
[C4]前記デプスマップのデプス値を決定することは、いずれのピクセルが前記画像の前景にある物体のためのものであるかを決定することを備え、
知覚マップ値を求めることは、前記画像内のピクセルの顕著性情報を求めることを備え、
前記画像の前記第1の部分を前記第2の部分に対して強調することは、より目立つ、前記画像の前記前景にある物体のピクセルを、より目立たない、前記画像の背景にある物体のピクセルに対して強調することを備える、[C1]に記載の方法。
[C5]前記知覚マップは、前記画像内の物体の知覚速度を示す動き情報マップ、および、前記画像内のピクセルの顕著性を示す顕著性マップを備える、[C1]に記載の方法。
[C6]前記画像は、第1の目に対する立体ビデオの第1の画像を備え、前記方法は、
第2の目に対する前記立体ビデオの第2の画像を受信すること、ここにおいて、前記第1の画像および前記第2の画像の画像内容は実質的に同様である、と、
少なくとも前記第1の画像の前記デプスマップ値および前記第1の画像の前記知覚マップ値に基づいて前記第2の画像の第1の部分を前記第2の画像の第2の部分に対して強調することと、
を備える、[C1]に記載の方法。
[C7]前記方法は、
強調マップの強調マップ値を生成するために、前記デプスマップ値および前記知覚マップ値に対して加重和を実行することをさらに備え、
前記画像の前記第1の部分を前記画像の前記第2の部分に対して強調することは、前記強調マップ値に基づいて、前記画像の前記第1の部分を前記画像の前記第2の部分に対して強調することをさらに備える、[C1]に記載の方法。
[C8]前記デプスマップの前記デプス値をフィルタリングすることと、
前記デプスマップの前記デプス値を平滑化することと、
前記デプスマップの前記デプス値をヒストグラム伸張することと、
のうちの少なくとも1つをさらに備える、[C1]に記載の方法。
[C9]デバイスであって、前記デバイスは以下を備える、
画像を記憶するように構成されているメモリと、
1つまたは複数の処理ユニット、ここで、前記1つまたは複数の処理ユニットは、
前記画像を受信し、
前記画像内のピクセルの相対深度を示す、前記画像のデプスマップのデプスマップ値を決定し、
前記画像の知覚マップの知覚マップ値を決定し、
少なくとも前記デプスマップ値および前記知覚マップ値に基づいて前記画像の第1の部分を前記画像の第2の部分に対して強調する。
[C10]前記画像の前記第1の部分を前記第2の部分に対して強調するために、前記1つまたは複数の処理ユニットは、
前記第1の部分内のピクセルを強調し、前記第2の部分内のピクセルは強調しない、
前記第2の部分内の前記ピクセルをぼかし、前記第1の部分内の前記ピクセルはぼかさない、および
前記第1の部分内の前記ピクセルを強調し、前記第2の部分内の前記ピクセルをぼかす、
のうちの少なくとも1つを行うように構成されている、[C9]に記載のデバイス。
[C11]前記1つまたは複数の処理ユニットは、いずれのピクセルが前記画像の前景にある物体のためのものであるかを決定し、前記画像内の前記物体の動き情報を決定し、前記動き情報によって決定される、前記画像の前記前景にあって遅く動いている物体のピクセルを、前記動き情報によって決定される、前記画像の背景にあって速く動いている物体のピクセルに対して強調するように構成されている、[C9]に記載のデバイス。
[C12]前記1つまたは複数の処理ユニットは、いずれのピクセルが前記画像の前景にある物体のためのものであるかを決定し、前記画像内のピクセルの顕著性情報を求め、より目立つ、前記画像の前記前景にある物体のピクセルを、より目立たない、前記画像の背景にある物体のピクセルに対して強調するように構成されている、[C9]に記載のデバイス。
[C13]前記知覚マップは、前記画像内の物体の知覚速度を示す動き情報マップ、および、前記画像内のピクセルの顕著性を示す顕著性マップを備える、[C9]に記載のデバイス。
[C14]前記画像は、第1の目に対する立体ビデオの第1の画像を備え、前記1つまたは複数の処理ユニットは、
第2の目に対する前記立体ビデオの第2の画像を受信し、ここで、前記第1の画像および前記第2の画像の画像内容は実質的に同様であり、
少なくとも前記第1の画像の前記デプスマップ値および前記第1の画像の前記知覚マップ値に基づいて前記第2の画像の第1の部分を前記第2の画像の第2の部分に対して強調するように構成されている、[C9]に記載のデバイス。
[C15]前記1つまたは複数の処理ユニットは、
強調マップの強調マップ値を生成するために、前記デプスマップ値および前記知覚マップ値に対して加重和を実行し、
少なくとも前記強調マップ値に基づいて前記画像の前記第1の部分を前記画像の前記第2の部分に対して強調する
ように構成されている、[C9]に記載のデバイス。
[C16]前記1つまたは複数の処理ユニットは、
前記デプスマップの前記デプス値をフィルタリングする、
前記デプスマップの前記デプス値を平滑化する、および
前記デプスマップの前記デプス値をヒストグラム伸張する、
のうちの少なくとも1つを行うように構成されている、[C9]に記載のデバイス。
[C17]デバイスであって、前記デバイスは以下を備える、
画像を受信するための手段と、
前記画像内のピクセルの相対深度を示す、前記画像のデプスマップのデプスマップ値を決定するための手段と、
前記画像の知覚マップの知覚マップ値を決定するための手段と、
少なくとも前記デプスマップ値および前記知覚マップ値に基づいて前記画像の第1の部分を前記画像の第2の部分に対して強調するための手段。
[C18]前記画像の前記第1の部分を前記画像の前記第2の部分に対して強調するための前記手段は、
前記第1の部分内のピクセルを強調し、前記第2の部分内のピクセルは強調しないための手段と、
前記第2の部分内の前記ピクセルをぼかし、前記第1の部分内の前記ピクセルはぼかさないための手段と、
前記第1の部分内の前記ピクセルを強調し、前記第2の部分内の前記ピクセルをぼかすための手段と、
のうちの少なくとも1つを備える、[C17]に記載のデバイス。
[C19]前記デプスマップのデプス値を求めるための前記手段は、いずれのピクセルが前記画像の前景にある物体のためのものであるかを決定するための手段を備え、
前記知覚マップの知覚マップ値を求めるための前記手段は、前記画像内の物体の動き情報を決定するための手段を備え、
前記画像の前記第1の部分を前記第2の部分に対して強調するための前記手段は、前記動き情報によって決定される、前記画像の前記前景にあって遅く動いている物体のピクセルを、前記動き情報によって決定される、前記画像の背景にあって速く動いている物体のピクセルに対して強調するための手段を備える、[C17]に記載のデバイス。
[C20]前記デプスマップのデプス値を求めるための前記手段は、いずれのピクセルが前記画像の前景にある物体のためのものであるかを決定するための手段を備え、
前記知覚マップ値を求めるための前記手段は、前記画像内のピクセルの顕著性情報を決定するための手段を備え、
前記画像の前記第1の部分を前記第2の部分に対して強調するための前記手段は、より目立つ、前記画像の前記前景にある物体のピクセルを、より目立たない、前記画像の背景にある物体のピクセルに対して強調するための手段を備える、[C17]に記載のデバイス。
[C21]前記知覚マップは、前記画像内の物体の知覚速度を示す動き情報マップ、および、前記画像内のピクセルの顕著性を示す顕著性マップを備える、[C17]に記載のデバイス。
[C22]前記画像は、第1の目に対する立体ビデオの第1の画像を備え、前記デバイスは、
第2の目に対する前記立体ビデオの第2の画像を受信するための手段、ここにおいて、前記第1の画像および前記第2の画像の画像内容は実質的に同様である、と、
少なくとも前記第1の画像の前記デプスマップ値および前記第1の画像の前記知覚マップ値に基づいて前記第2の画像の第1の部分を前記第2の画像の第2の部分に対して強調するための手段と、
をさらに備える、[C17]に記載のデバイス。
[C23]前記デバイスは、
強調マップの強調マップ値を生成するために、前記デプスマップ値および前記知覚マップ値に対して加重和を実行するための手段をさらに備え、
ここにおいて、前記画像の前記第1の部分を前記画像の前記第2の部分に対して強調するための前記手段は、前記強調マップ値に基づいて、前記画像の前記第1の部分を前記画像の前記第2の部分に対して強調するための手段をさらに備える、[C17]に記載のデバイス。
[C24]前記デプスマップの前記デプス値をフィルタリングするための手段と、
前記デプスマップの前記デプス値を平滑化するための手段と、
前記デプスマップの前記デプス値をヒストグラム伸張するための手段と、
のうちの少なくとも1つをさらに備える、[C17]に記載のデバイス。
[C25]命令を備えるコンピュータ可読記憶媒体であって、前記命令は1つまたは複数のプロセッサに以下をさせる、
画像を受信すること、
前記画像内のピクセルの相対深度を示す、前記画像のデプスマップのデプスマップ値を決定すること、
前記画像の知覚マップの知覚マップ値を決定すること、
少なくとも前記デプスマップ値および前記知覚マップ値に基づいて前記画像の第1の部分を前記画像の第2の部分に対して強調すること。
[C26]前記画像の前記第1の部分を前記第2の部分に対して強調するための前記命令は、
前記第1の部分内のピクセルを強調し、前記第2の部分内のピクセルは強調しない、
前記第2の部分内の前記ピクセルをぼかし、前記第1の部分内の前記ピクセルはぼかさない、および
前記第1の部分内の前記ピクセルを強調し、前記第2の部分内の前記ピクセルをぼかす
のうちの少なくとも1つのための命令を備える、[C25]に記載のコンピュータ可読記憶媒体。
[C27]前記デプスマップのデプス値を求めるための前記命令は、いずれのピクセルが前記画像の前景にある物体のためのものであるかを決定するための命令を備え、
前記知覚マップの知覚マップ値を決定するための前記命令は、前記画像内の物体の動き情報を決定するための命令を備え、
前記画像の前記第1の部分を前記第2の部分に対して強調するための前記命令は、前記動き情報によって決定される、前記画像の前記前景にあって遅く動いている物体のピクセルを、前記動き情報によって決定される、前記画像の背景にあって速く動いている物体のピクセルに対して強調するための命令を備える、[C25]に記載のコンピュータ可読記憶媒体。
[C28]前記デプスマップのデプス値を求めるための前記命令は、いずれのピクセルが前記画像の前景にある物体のためのものであるかを決定するための命令を備え、
前記知覚マップ値を決定するための前記命令は、前記画像内のピクセルの顕著性情報を決定するための命令を備え、
前記画像の前記第1の部分を前記第2の部分に対して強調するための前記命令は、より目立つ、前記画像の前記前景にある物体のピクセルを、より目立たない、前記画像の背景にある物体のピクセルに対して強調するための命令を備える、[C25]に記載のコンピュータ可読記憶媒体。
[C29]前記知覚マップは、前記画像内の物体の知覚速度を示す動き情報マップ、および、前記画像内のピクセルの顕著性を示す顕著性マップを備える、[C25]に記載のコンピュータ可読記憶媒体。
[C30]前記画像は、第1の目に対する立体ビデオの第1の画像を備え、前記命令は、前記1つまたは複数のプロセッサに、
第2の目に対する前記立体ビデオの第2の画像を受信させ、ここで、前記第1の画像および前記第2の画像の画像内容は実質的に同様であり、
少なくとも前記第1の画像の前記デプスマップ値および前記第1の画像の前記知覚マップ値に基づいて前記第2の画像の第1の部分を前記第2の画像の第2の部分に対して強調させる、
命令をさらに備える、[C25]に記載のコンピュータ可読記憶媒体。
[C31]前記命令は、前記1つまたは複数のプロセッサに、
強調マップの強調マップ値を生成するために、前記デプスマップ値および前記知覚マップ値に対して加重和を実行させ、
前記画像の前記第1の部分を前記画像の前記第2の部分に対して強調するための前記手段は、前記強調マップ値に基づいて、前記画像の前記第1の部分を前記画像の前記第2の部分に対して強調させる、
命令をさらに備える、[C25]に記載のコンピュータ可読記憶媒体。
[C32]前記1つまたは複数のプロセッサに、
前記デプスマップの前記デプス値をフィルタリングする、
前記デプスマップの前記デプス値を平滑化する、および
前記デプスマップの前記デプス値をヒストグラム伸張する、
のうちの少なくとも1つを行わせる命令をさらに備える、[C25]に記載のコンピュータ可読記憶媒体。
Claims (29)
- 画像処理のための方法であって、前記方法は以下を備える、
第1の部分および第2の部分を含む構成画像を受信することと、
少なくとも、いずれのピクセルが前記構成画像の前景にある物体のためのものであるかを決定することによって、前記構成画像内のピクセルの相対深度を示す、前記構成画像のデプスマップのデプスマップ値を決定することと、
少なくとも、前記構成画像内の物体のピクセルの動き情報を決定することによって、前記構成画像の知覚マップの知覚マップ値を決定することと、
前記構成画像の強調されたバージョンを生成するために少なくとも前記デプスマップ値および前記知覚マップ値に基づいて前記構成画像の前記第1の部分を前記構成画像の前記第2の部分に対して強調すること、ここにおいて、前記構成画像の前記第1の部分は、前記知覚マップ値によって決定される、前記構成画像の前記前景にあって、閾値より遅く動いている物体のピクセルを含み、前記構成画像の前記第2の部分は、前記知覚マップ値によって決定される、前記構成画像の背景にある物体のピクセルと前記閾値より速く動いている物体のピクセルとを含む。 - 前記構成画像の前記第1の部分を前記構成画像の前記第2の部分に対して強調することは、
前記第1の部分内のピクセルを強調し、前記第2の部分内のピクセルは強調しないことと、
前記第2の部分内の前記ピクセルをぼかし、前記第1の部分内の前記ピクセルはぼかさないことと、
前記第1の部分内の前記ピクセルを強調し、前記第2の部分内の前記ピクセルをぼかすことと、
のうちの少なくとも1つを備える、請求項1に記載の方法。 - 知覚マップ値を決定することは、前記構成画像内のピクセルの顕著性情報を決定することを備え、
前記構成画像の前記第1の部分を前記第2の部分に対して強調することは、より目立つ、前記構成画像の前記前景にある物体のピクセルを、より目立たない、前記構成画像の背景にある物体のピクセルに対して強調することを備える、請求項1に記載の方法。 - 前記知覚マップは、前記構成画像内の物体の知覚速度を示す動き情報マップ、または、前記構成画像内の物体の知覚速度を示す前記動き情報マップおよび前記構成画像内のピクセルの顕著性を示す顕著性マップを備える、請求項1に記載の方法。
- 前記構成画像は、第1の目に対する立体ビデオの第1の構成画像を備え、前記方法は、
第2の目に対する前記立体ビデオの第2の構成画像を受信すること、ここにおいて、前記第1の構成画像および前記第2の構成画像の画像内容は実質的に同様である、と、
少なくとも前記第1の構成画像の前記デプスマップ値および前記第1の構成画像の前記知覚マップ値に基づいて前記第2の構成画像の第1の部分を前記第2の構成画像の第2の部分に対して強調することと、
をさらに備える、請求項1に記載の方法。 - 強調マップの強調マップ値を生成するために、前記デプスマップ値および前記知覚マップ値に対して加重和を実行することをさらに備え、
前記構成画像の前記第1の部分を前記構成画像の前記第2の部分に対して強調することは、前記強調マップ値に基づいて、前記構成画像の前記第1の部分を前記構成画像の前記第2の部分に対して強調することを備える、請求項1に記載の方法。 - 前記デプスマップの前記デプスマップ値をフィルタリングすることと、
前記デプスマップの前記デプスマップ値を平滑化することと、
前記デプスマップの前記デプスマップ値をヒストグラム伸張することと、
のうちの少なくとも1つをさらに備える、請求項1に記載の方法。 - 前記構成画像および前記構成画像の前記強調されたバージョンは、同じビューからのものである、請求項1に記載の方法。
- デバイスであって、前記デバイスは以下を備える、
第1の部分および第2の部分を含む構成画像を記憶するように構成されているメモリと、
1つまたは複数の処理ユニット、ここで、前記1つまたは複数の処理ユニットは、以下を行うように構成されている、
前記構成画像を受信することと、
少なくとも、いずれのピクセルが前記構成画像の前景にある物体のためのものであるかを決定することによって、前記構成画像内のピクセルの相対深度を示す、前記構成画像のデプスマップのデプスマップ値を決定することと、
少なくとも、前記構成画像内の物体の動き情報を決定することによって、前記構成画像の知覚マップの知覚マップ値を決定することと、
前記構成画像の強調されたバージョンを生成するために少なくとも前記デプスマップ値および前記知覚マップ値に基づいて前記構成画像の前記第1の部分を前記構成画像の前記第2の部分に対して強調すること、ここにおいて、前記構成画像の前記第1の部分は、前記知覚マップ値によって決定される、前記構成画像の前記前景にあって、閾値より遅く動いている物体のピクセルを含み、前記構成画像の前記第2の部分は、前記知覚マップ値によって決定される、前記構成画像の背景にある物体のピクセルと、前記閾値より速く動いている物体のピクセルとを含む。 - 前記構成画像の前記第1の部分を前記第2の部分に対して強調するために、前記1つまたは複数の処理ユニットは、
前記第1の部分内のピクセルを強調し、前記第2の部分内のピクセルは強調しないことと、
前記第2の部分内の前記ピクセルをぼかし、前記第1の部分内の前記ピクセルはぼかさないことと、
前記第1の部分内の前記ピクセルを強調し、前記第2の部分内の前記ピクセルをぼかすことと、
のうちの少なくとも1つを行うように構成されている、請求項9に記載のデバイス。 - 前記1つまたは複数の処理ユニットは、
少なくとも、前記構成画像内のピクセルの顕著性情報を決定することによって前記知覚マップの知覚マップ値を決定することと、
少なくとも、より目立つ、前記構成画像の前記前景にある物体のピクセルを、より目立たない、前記構成画像の背景にある物体のピクセルに対して強調することによって、前記構成画像の前記第1の部分を前記第2の部分に対して強調することと、
を行うように構成されている、請求項9に記載のデバイス。 - 前記知覚マップは、前記構成画像内の物体の知覚速度を示す動き情報マップ、または、前記構成画像内の物体の知覚速度を示す前記動き情報マップおよび前記構成画像内のピクセルの顕著性を示す顕著性マップを備える、請求項9に記載のデバイス。
- 前記構成画像は、第1の目に対する立体ビデオの第1の構成画像を備え、前記1つまたは複数の処理ユニットは、
第2の目に対する前記立体ビデオの第2の構成画像を受信すること、ここにおいて、前記第1の構成画像および前記第2の構成画像の画像内容は実質的に同様である、と、
少なくとも前記第1の構成画像の前記デプスマップ値および前記第1の構成画像の前記知覚マップ値に基づいて前記第2の構成画像の第1の部分を前記第2の構成画像の第2の部分に対して強調することと、
を行うように構成されている、請求項9に記載のデバイス。 - 前記1つまたは複数の処理ユニットは、
強調マップの強調マップ値を生成するために、前記デプスマップ値および前記知覚マップ値に対して加重和を実行することと、
前記強調マップ値に基づいて、前記構成画像の前記第1の部分を前記構成画像の前記第2の部分に対して強調することと、
を行うように構成されている、請求項9に記載のデバイス。 - 前記1つまたは複数の処理ユニットは、
前記デプスマップの前記デプスマップ値をフィルタリングすることと、
前記デプスマップの前記デプスマップ値を平滑化することと、
前記デプスマップの前記デプスマップ値をヒストグラム伸張することと、
のうちの少なくとも1つを行うように構成されている、請求項9に記載のデバイス。 - デバイスであって、前記デバイスは以下を備える、
第1の部分および第2の部分を含む構成画像を受信するための手段と、
少なくとも、いずれのピクセルが前記構成画像の前景にある物体のためのものであるかを決定することによって、前記構成画像内のピクセルの相対深度を示す、前記構成画像のデプスマップのデプスマップ値を決定するための手段と、
少なくとも、前記構成画像内の物体の動き情報を決定することによって、前記構成画像の知覚マップの知覚マップ値を決定するための手段と、
前記構成画像の強調されたバージョンを生成するために少なくとも前記デプスマップ値および前記知覚マップ値に基づいて前記構成画像の前記第1の部分を前記構成画像の前記第2の部分に対して強調するための手段、ここにおいて、前記構成画像の前記第1の部分は、前記知覚マップ値によって決定される、前記構成画像の前記前景にあって、閾値より遅く動いている物体のピクセルを含み、前記構成画像の前記第2の部分は、前記知覚マップ値によって決定される、前記構成画像の背景にある物体のピクセルと、前記閾値より速く動いている物体のピクセルとを含む。 - 前記構成画像の前記第1の部分を前記構成画像の前記第2の部分に対して前記強調するための手段は、
前記第1の部分内のピクセルを強調し、前記第2の部分内のピクセルは強調しないための手段と、
前記第2の部分内の前記ピクセルをぼかし、前記第1の部分内の前記ピクセルはぼかさないための手段と、
前記第1の部分内の前記ピクセルを強調し、前記第2の部分内の前記ピクセルをぼかすための手段と、
のうちの少なくとも1つを備える、請求項16に記載のデバイス。 - 知覚マップ値を前記決定するための手段は、前記構成画像内のピクセルの顕著性情報を決定するための手段を備え、
前記構成画像の前記第1の部分を前記第2の部分に対して前記強調するための手段は、より目立つ、前記構成画像の前記前景にある物体のピクセルを、より目立たない、前記構成画像の背景にある物体のピクセルに対して強調するための手段を備える、請求項16に記載のデバイス。 - 前記知覚マップは、前記構成画像内の物体の知覚速度を示す動き情報マップ、または、前記構成画像内の物体の知覚速度を示す前記動き情報マップおよび前記構成画像内のピクセルの顕著性を示す顕著性マップを備える、請求項16に記載のデバイス。
- 前記構成画像は、第1の目に対する立体ビデオの第1の構成画像を備え、前記デバイスは、
第2の目に対する前記立体ビデオの第2の構成画像を受信するための手段、ここにおいて、前記第1の構成画像および前記第2の構成画像の画像内容は実質的に同様である、と、
少なくとも前記第1の構成画像の前記デプスマップ値および前記第1の構成画像の前記知覚マップ値に基づいて前記第2の構成画像の第1の部分を前記第2の構成画像の第2の部分に対して強調するための手段と、
をさらに備える、請求項16に記載のデバイス。 - 強調マップの強調マップ値を生成するために、前記デプスマップ値および前記知覚マップ値に対して加重和を実行するための手段をさらに備え、
前記構成画像の前記第1の部分を前記構成画像の前記第2の部分に対して前記強調するための手段は、前記強調マップ値に基づいて、前記構成画像の前記第1の部分を前記構成画像の前記第2の部分に対して強調するための手段を備える、請求項16に記載のデバイス。 - 前記デプスマップの前記デプスマップ値をフィルタリングするための手段と、
前記デプスマップの前記デプスマップ値を平滑化するための手段と、
前記デプスマップの前記デプスマップ値をヒストグラム伸張するための手段と、
のうちの少なくとも1つをさらに備える、請求項16に記載のデバイス。 - 命令を備える非一時的なコンピュータ可読記憶媒体であって、前記命令は1つまたは複数のプロセッサに以下をさせる、
第1の部分および第2の部分を含む構成画像を受信することと、
少なくとも、いずれのピクセルが前記構成画像の前景にある物体のためのものであるかを決定することによって、前記構成画像内のピクセルの相対深度を示す、前記構成画像のデプスマップのデプスマップ値を決定することと、
少なくとも、前記構成画像内の物体の動き情報を決定することによって、前記構成画像の知覚マップの知覚マップ値を決定することと、
前記構成画像の強調されたバージョンを生成するために少なくとも前記デプスマップ値および前記知覚マップ値に基づいて前記構成画像の第1の部分を前記構成画像の第2の部分に対して強調すること、ここにおいて、前記構成画像の前記第1の部分は、前記知覚マップ値によって決定される、前記構成画像の前記前景にあって、閾値より遅く動いている物体のピクセルを含み、前記構成画像の前記第2の部分は、前記知覚マップ値によって決定される、前記構成画像の背景にある物体のピクセルと、前記閾値より速く動いている物体のピクセルとを含む。 - 前記構成画像の前記第1の部分を前記第2の部分に対して強調するための前記命令は、
前記第1の部分内のピクセルを強調し、前記第2の部分内のピクセルは強調しないことと、
前記第2の部分内の前記ピクセルをぼかし、前記第1の部分内の前記ピクセルはぼかさないことと、
前記第1の部分内の前記ピクセルを強調し、前記第2の部分内の前記ピクセルをぼかすことと、
のうちの少なくとも1つのための命令を備える、請求項23に記載の非一時的なコンピュータ可読記憶媒体。 - 知覚マップ値を決定するための前記命令は、前記構成画像内のピクセルの顕著性情報を決定するための命令を備え、
前記構成画像の前記第1の部分を前記第2の部分に対して強調するための前記命令は、より目立つ、前記構成画像の前記前景にある物体のピクセルを、より目立たない、前記構成画像の背景にある物体のピクセルに対して強調するための命令を備える、請求項23に記載の非一時的なコンピュータ可読記憶媒体。 - 前記知覚マップは、前記構成画像内の物体の知覚速度を示す動き情報マップ、または、前記構成画像内の物体の知覚速度を示す前記動き情報マップおよび前記構成画像内のピクセルの顕著性を示す顕著性マップを備える、請求項23に記載の非一時的なコンピュータ可読記憶媒体。
- 前記構成画像は、第1の目に対する立体ビデオの第1の構成画像を備え、前記命令は、前記1つまたは複数のプロセッサに、
第2の目に対する前記立体ビデオの第2の構成画像を受信すること、ここにおいて、前記第1の構成画像および前記第2の構成画像の画像内容は実質的に同様である、と、
少なくとも前記第1の構成画像の前記デプスマップ値および前記第1の構成画像の前記知覚マップ値に基づいて前記第2の構成画像の第1の部分を前記第2の構成画像の第2の部分に対して強調することと、
をさせる命令をさらに備える、請求項23に記載の非一時的なコンピュータ可読記憶媒体。 - 前記命令は、前記1つまたは複数のプロセッサに、
強調マップの強調マップ値を生成するために、前記デプスマップ値および前記知覚マップ値に対して加重和を実行させる命令をさらに備え、
前記構成画像の前記第1の部分を前記構成画像の前記第2の部分に対して強調するための前記命令は、前記強調マップ値に基づいて、前記構成画像の前記第1の部分を前記構成画像の前記第2の部分に対して強調するための命令を備える、請求項23に記載の非一時的なコンピュータ可読記憶媒体。 - 前記1つまたは複数のプロセッサに、
前記デプスマップの前記デプスマップ値をフィルタリングすることと、
前記デプスマップの前記デプスマップ値を平滑化することと、
前記デプスマップの前記デプスマップ値をヒストグラム伸張することと、
のうちの少なくとも1つをさせるための命令をさらに備える、請求項23に記載の非一時的なコンピュータ可読記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/427,167 | 2012-03-22 | ||
US13/427,167 US9286658B2 (en) | 2012-03-22 | 2012-03-22 | Image enhancement |
PCT/US2013/026927 WO2013141997A1 (en) | 2012-03-22 | 2013-02-20 | Image enhancement |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015516627A JP2015516627A (ja) | 2015-06-11 |
JP2015516627A5 JP2015516627A5 (ja) | 2016-06-23 |
JP6042525B2 true JP6042525B2 (ja) | 2016-12-14 |
Family
ID=47843423
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015501680A Expired - Fee Related JP6042525B2 (ja) | 2012-03-22 | 2013-02-20 | 画像強調 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9286658B2 (ja) |
EP (1) | EP2828823A1 (ja) |
JP (1) | JP6042525B2 (ja) |
CN (1) | CN104246822B (ja) |
WO (1) | WO2013141997A1 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SE536510C2 (sv) * | 2012-02-21 | 2014-01-14 | Flir Systems Ab | Bildbehandlingsmetod för detaljförstärkning och brusreduktion |
KR101934261B1 (ko) * | 2012-07-09 | 2019-01-03 | 삼성전자 주식회사 | 이미지 해상도 변화 방법과 장치, 및 상기 장치를 포함하는 전자 장치 |
CN102970548B (zh) * | 2012-11-27 | 2015-01-21 | 西安交通大学 | 一种图像深度感知装置 |
US20150228106A1 (en) * | 2014-02-13 | 2015-08-13 | Vixs Systems Inc. | Low latency video texture mapping via tight integration of codec engine with 3d graphics engine |
US20150287174A1 (en) * | 2014-04-04 | 2015-10-08 | Digital Signal Corporation | System and Method for Improving an Image Characteristic of Image Frames in a Video Stream |
US20160189355A1 (en) * | 2014-12-29 | 2016-06-30 | Dell Products, Lp | User controls for depth based image editing operations |
CN107851309A (zh) * | 2016-04-05 | 2018-03-27 | 华为技术有限公司 | 一种图像增强方法及装置 |
CN108230444B (zh) * | 2016-12-14 | 2021-06-01 | 中国航空工业集团公司西安航空计算技术研究所 | 一种通用的增强型合成视景计算平台 |
CN109002750B (zh) * | 2017-12-11 | 2021-03-30 | 罗普特科技集团股份有限公司 | 一种基于显著性检测与图像分割的相关滤波跟踪方法 |
CN109360222B (zh) * | 2018-10-25 | 2021-07-16 | 北京达佳互联信息技术有限公司 | 图像分割方法、装置及存储介质 |
CN109598753B (zh) * | 2018-11-28 | 2021-02-19 | 联想(北京)有限公司 | 图像处理方法及装置 |
CN110189340B (zh) | 2019-06-03 | 2022-01-21 | 北京达佳互联信息技术有限公司 | 图像分割方法、装置、电子设备及存储介质 |
JP7354686B2 (ja) | 2019-08-27 | 2023-10-03 | 株式会社リコー | 出力制御装置、表示制御システム、出力制御方法およびプログラム |
CN112784704A (zh) * | 2021-01-04 | 2021-05-11 | 上海海事大学 | 一种面向小样本视频动作分类的方法 |
CN112887605B (zh) * | 2021-01-26 | 2022-09-30 | 维沃移动通信有限公司 | 图像防抖方法、装置及电子设备 |
US11800056B2 (en) | 2021-02-11 | 2023-10-24 | Logitech Europe S.A. | Smart webcam system |
US11800048B2 (en) | 2021-02-24 | 2023-10-24 | Logitech Europe S.A. | Image generating system with background replacement or modification capabilities |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6108005A (en) * | 1996-08-30 | 2000-08-22 | Space Corporation | Method for producing a synthesized stereoscopic image |
AUPO894497A0 (en) * | 1997-09-02 | 1997-09-25 | Xenotech Research Pty Ltd | Image processing method and apparatus |
US9129381B2 (en) | 2003-06-26 | 2015-09-08 | Fotonation Limited | Modification of post-viewing parameters for digital images using image region or feature information |
EP1709617A2 (en) * | 2003-12-30 | 2006-10-11 | Trustees Of The Stevens Institute Of Technology | Three-dimensional imaging system using optical pulses, non-linear optical mixers and holographic calibration |
WO2007063478A2 (en) * | 2005-12-02 | 2007-06-07 | Koninklijke Philips Electronics N.V. | Stereoscopic image display method and apparatus, method for generating 3d image data from a 2d image data input and an apparatus for generating 3d image data from a 2d image data input |
KR100873638B1 (ko) * | 2007-01-16 | 2008-12-12 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
US7911513B2 (en) | 2007-04-20 | 2011-03-22 | General Instrument Corporation | Simulating short depth of field to maximize privacy in videotelephony |
CN101287143B (zh) * | 2008-05-16 | 2010-09-15 | 清华大学 | 基于实时人机对话的平面视频转立体视频的方法 |
CN101587586B (zh) | 2008-05-20 | 2013-07-24 | 株式会社理光 | 一种图像处理装置及图像处理方法 |
WO2009152769A1 (zh) | 2008-06-17 | 2009-12-23 | 深圳华为通信技术有限公司 | 视频通讯方法、装置及系统 |
WO2010087955A1 (en) | 2009-01-30 | 2010-08-05 | Thomson Licensing | Coding of depth maps |
US8180178B2 (en) * | 2009-06-24 | 2012-05-15 | Hewlett-Packard Development Company, L.P. | Autocropping and autolayout method for digital images |
US8711204B2 (en) * | 2009-11-11 | 2014-04-29 | Disney Enterprises, Inc. | Stereoscopic editing for video production, post-production and display adaptation |
US9218644B2 (en) | 2009-12-17 | 2015-12-22 | Broadcom Corporation | Method and system for enhanced 2D video display based on 3D video input |
KR101630444B1 (ko) * | 2009-12-22 | 2016-06-14 | 톰슨 라이센싱 | 스테레오스코픽 디지털 영화에서의 최적화된 모션 재생을 위한 방법과 장치 |
CN105915880B (zh) * | 2010-08-10 | 2018-02-23 | 株式会社尼康 | 图像处理装置和图像处理方法 |
JP5609425B2 (ja) * | 2010-08-24 | 2014-10-22 | 株式会社ニコン | 画像処理装置、撮像装置、及び画像処理プログラム |
JP5150698B2 (ja) * | 2010-09-30 | 2013-02-20 | 株式会社東芝 | デプス補正装置及び方法 |
US9094660B2 (en) * | 2010-11-11 | 2015-07-28 | Georgia Tech Research Corporation | Hierarchical hole-filling for depth-based view synthesis in FTV and 3D video |
JP2013012045A (ja) * | 2011-06-29 | 2013-01-17 | Nippon Telegr & Teleph Corp <Ntt> | 画像処理方法、画像処理装置及びコンピュータプログラム |
-
2012
- 2012-03-22 US US13/427,167 patent/US9286658B2/en not_active Expired - Fee Related
-
2013
- 2013-02-20 CN CN201380015702.0A patent/CN104246822B/zh not_active Expired - Fee Related
- 2013-02-20 JP JP2015501680A patent/JP6042525B2/ja not_active Expired - Fee Related
- 2013-02-20 EP EP13708307.7A patent/EP2828823A1/en not_active Withdrawn
- 2013-02-20 WO PCT/US2013/026927 patent/WO2013141997A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JP2015516627A (ja) | 2015-06-11 |
CN104246822A (zh) | 2014-12-24 |
CN104246822B (zh) | 2017-06-06 |
WO2013141997A1 (en) | 2013-09-26 |
US20130251281A1 (en) | 2013-09-26 |
US9286658B2 (en) | 2016-03-15 |
EP2828823A1 (en) | 2015-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6042525B2 (ja) | 画像強調 | |
KR101775253B1 (ko) | 2차원 이미지 또는 비디오의 3차원 스테레오 이미지 또는 비디오로의 실시간 자동 변환 | |
US9922681B2 (en) | Techniques for adding interactive features to videos | |
US10095953B2 (en) | Depth modification for display applications | |
US20160301868A1 (en) | Automated generation of panning shots | |
US10935788B2 (en) | Hybrid virtual 3D rendering approach to stereovision | |
US10713760B2 (en) | Configuration for rendering virtual reality with an adaptive focal plane | |
EP2755187A2 (en) | 3d-animation effect generation method and system | |
US10957063B2 (en) | Dynamically modifying virtual and augmented reality content to reduce depth conflict between user interface elements and video content | |
KR20160045561A (ko) | 이미지 안티 에일리어싱 방법 및 장치 | |
Kellnhofer et al. | Optimizing disparity for motion in depth | |
JP2012100116A (ja) | 表示処理装置、表示処理方法およびプログラム | |
US8817081B2 (en) | Image processing apparatus, image processing method, and program | |
TW202303374A (zh) | 具有訊框外插的高品質ui元素 | |
Cheng et al. | 51.3: An Ultra‐Low‐Cost 2‐D/3‐D Video‐Conversion System | |
US20170168687A1 (en) | Image processing method and apparatus for operating in low-power mode | |
JP2015149547A (ja) | 画像処理方法、画像処理装置、及び電子機器 | |
Rößing et al. | Real‐Time Disparity Map‐Based Pictorial Depth Cue Enhancement | |
Tariq et al. | Perceptually adaptive real-time tone mapping | |
Shin et al. | Flickering Elimination Method for Background Region in Depth Video | |
Shen et al. | 3-D perception enhancement in autostereoscopic TV by depth cue for 3-D model interaction | |
Popkin et al. | Efficient depth blurring with occlusion handling | |
CN118355405A (zh) | 利用单目深度估计的分割 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160122 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160426 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20160426 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20160714 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160726 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160907 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161011 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161109 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6042525 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |