JP7004493B2 - 映像処理方法及び装置 - Google Patents

映像処理方法及び装置 Download PDF

Info

Publication number
JP7004493B2
JP7004493B2 JP2016167768A JP2016167768A JP7004493B2 JP 7004493 B2 JP7004493 B2 JP 7004493B2 JP 2016167768 A JP2016167768 A JP 2016167768A JP 2016167768 A JP2016167768 A JP 2016167768A JP 7004493 B2 JP7004493 B2 JP 7004493B2
Authority
JP
Japan
Prior art keywords
color
hole
image
target
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016167768A
Other languages
English (en)
Other versions
JP2017050866A (ja
Inventor
良 鎬 趙
孝 錫 黄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2017050866A publication Critical patent/JP2017050866A/ja
Application granted granted Critical
Publication of JP7004493B2 publication Critical patent/JP7004493B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0077—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Description

本発明の実施形態は、映像を処理するための方法及び装置に関し、より詳しくは、視点が変更された映像を生成する方法及び装置に関する。
３次元ディスプレイ装置は３Ｄ立体映像を出力する。
様々な視点で映像を視聴する視聴者に３Ｄ効果を提供するためには、様々な視点に対する出力映像を生成しなければならない。出力映像は、入力映像を内挿又は１つの入力映像を外挿することにより生成される。ここで、少数の入力映像を用いることで複数の出力映像を生成する場合、入力映像では見られないが、出力映像には必要な領域（すなわち、出力映像では可視領域）を処理する方法が求められる。このような領域をホールといい、ホール処理方式の１つとして、このようなホールフィリング（ｈｏｌｅ－ｆｉｌｌｉｎｇ）を出力映像それぞれに対して独立的に行う方式を採用している。
一実施形態の目的は、複数のカラーイメージ間の変換関係に基づいて映像を処理する方法及び装置を提供する。
一実施形態の目的は、ターゲット参照レイヤを用いて出力カラーイメージ内のホールを復元する方法及び装置を提供する。
一側面に係る映像処理方法は、第１視点のカラーイメージを前記第１視点のカラーイメージに対応する深度イメージを用いて第２視点にワーピングして前記第２視点のターゲットカラーイメージを生成するステップと、前記第２視点のターゲットカラーイメージを含む第２視点の複数のカラーイメージのうち、時間的に隣接するカラーイメージ間の変換関係を決定するステップと、前記変換関係に基づいて前記ターゲットカラーイメージ内の第１ホールを復元するステップとを含む。
前記映像処理方法は、前記ターゲットカラーイメージ内の残余ホールを前記ターゲットカラーイメージを用いて復元するステップをさらに含んでもよい。
前記変換関係は、前記時間的に隣接するカラーイメージ間のホモグラフィを示してもよい。
前記変換関係を算出するステップは、前記複数のカラーイメージの背景特徴を抽出するステップと、前記背景特徴に基づいて前記変換関係を算出するステップとを含んでもよい。
前記背景特徴を抽出するステップは、前記複数のカラーイメージの特徴を抽出するステップと、前記特徴を前記特徴に対応する深度値に基づいて深度ごとに整列するステップと、前記深度ごとに整列した特徴のうち予め設定された個数の特徴を前記背景特徴として決定するステップとを含んでもよい。
前記特徴を抽出するステップは、前記複数のカラーイメージ内の構造体を前記特徴として抽出してもよい。
前記背景特徴に基づいて前記変換関係を算出するステップは、前記背景特徴に基づいて第１カラーイメージの第１背景特徴を検出するステップと、前記背景特徴に基づいて第２カラーイメージの第２背景特徴を検出するステップと、前記第１背景特徴及び前記第２背景特徴をマッチングするステップと、前記マッチングに基づいて前記変換関係を算出するステップとを含んでもよい。
前記第１カラーイメージ及び前記第２カラーイメージは、前記時間的に隣接するカラーイメージであってもよい。
前記第１ホールを復元するステップは、前記変換関係を用いて前記複数のカラーイメージを前記ターゲットカラーイメージのターゲット平面にそれぞれ変換するステップと、前記ターゲット平面に変換された複数のカラーイメージに基づいて前記第１ホールを復元するステップとを含んでもよい。
前記ターゲット平面に変換された複数のカラーイメージに基づいて前記第１ホールを復元するステップは、前記ターゲットカラーイメージに対応するターゲット深度イメージの第２ホールに、前記第２ホールに隣接する背景領域の深度値を割り当てるステップ（前記第２ホールは、前記第１ホールに対応する）と、前記ターゲット平面に変換された複数のカラーイメージに対応する複数の深度イメージのうち前記第２ホールに対応する深度参照領域を検出するステップと、前記深度参照領域に対応する前記ターゲット平面に変換された複数のカラーイメージのカラー参照領域を検出するステップと、前記カラー参照領域に基づいて前記第１ホールを復元するステップとを含んでもよい。
前記深度参照領域を検出するステップは、前記複数の深度イメージのうち前記第２ホールの座標と同一の座標を有する領域を検出するステップと、前記検出された領域のうち前記第２ホールに割り当てられた深度値との深度値の差が閾値以下である領域を前記深度参照領域として決定するステップとを含んでもよい。
前記カラー参照領域に基づいて前記第１ホールを復元するステップは、前記カラー参照領域のカラー値の平均を前記第１ホールのカラー値に設定して前記第１ホールを復元するステップであってもよい。
前記カラー参照領域に基づいて前記第１ホールを復元するステップは、前記カラー参照領域のカラー値のうち出現頻度が最も大きいカラー値を前記第１ホールのカラー値に設定して前記第１ホールを復元するステップであってもよい。
他の一実施形態に係る映像処理装置は、映像処理を行う命令語セットを格納するメモリと、前記メモリに格納された前記命令語セットにより、第１視点のカラーイメージを前記第１視点のカラーイメージに対応する深度イメージを用いて第２視点にワーピングして前記第２視点のターゲットカラーイメージを生成し、前記ターゲットカラーイメージを含む第２視点の複数のカラーイメージのうち時間的に隣接するカラーイメージ間の変換関係を決定し、前記変換関係に基づいて前記ターゲットカラーイメージ内の第１ホールを復元するように制御するプロセッサとを含む。
更なる一実施形態に係る映像処理方法は、複数の入力カラーイメージの複数の視点に基づいて参照視点を決定するステップと、前記複数の入力カラーイメージに基づいて前記参照視点に対応するターゲット参照レイヤを生成するステップと、前記ターゲット参照レイヤを含む前記参照視点の複数の参照レイヤのうち時間的に隣接する参照レイヤの間の変換関係を決定するステップと、前記ターゲット参照レイヤをワーピングすることによって発生する最大ホールを前記ターゲット参照レイヤに割り当てるステップと、前記変換関係に基づいて前記最大ホールを復元するステップと、前記複数の入力カラーイメージのうち少なくとも１つを出力視点にワーピングして出力カラーイメージを生成するステップと、前記ターゲット参照レイヤを用いて前記出力カラーイメージ内のホールを復元するステップとを含む。
前記映像処理方法は、前記ターゲット参照レイヤ内の残余ホールを前記ターゲット参照レイヤを用いて復元するステップをさらに含んでもよい。
前記変換関係は、前記時間的に隣接する参照レイヤの間のホモグラフィを示してもよい。
前記変換関係を算出するステップは、前記ターゲット参照レイヤの背景特徴を抽出するステップと、前記背景特徴に基づいて前記変換関係を算出するステップとを含んでもよい。
前記最大ホールを復元するステップは、前記変換関係を用いて前記複数の参照レイヤを前記ターゲット参照レイヤのターゲット平面に変換するステップと、前記ターゲット平面に変換された複数の参照レイヤに基づいて前記最大ホールを復元するステップとを含んでもよい。
更なる一実施形態に係る映像処理方法は、１つ以上の視点それぞれの１つ以上の入力カラーイメージを受信するステップと、前記一つ以上の視点のうち参照視点を設定するステップと、前記一つ以上の入力カラーイメージのうちターゲット参照レイヤとして参照レイヤを設定するステップ（前記ターゲット参照レイヤは前記参照視点に対応する）と、前記ターゲット参照レイヤを含む前記参照視点の複数の参照レイヤのうち時間的に隣接する参照レイヤの間の変換関係を決定するステップと、前記参照レイヤが１つ以上のホールを含むように前記ターゲット参照レイヤを１つ以上の視点にワーピングするステップと、前記複数の変換関係に基づいて前記ターゲット参照レイヤの前記一つ以上のホールを復元することによって前記ターゲット参照レイヤを復元するステップと、前記入力カラーイメージのうちの１つを第１視点にワーピングすることによって出力イメージを生成するステップ（前記出力イメージはホールを含む）と、前記復元されたターゲット参照レイヤに基づいて前記出力イメージの前記ホールを復元するステップとを含む。
前記一つ以上の入力カラーイメージは同じ時間的位置を有し、前記複数の参照レイヤは互いに異なる時間的位置を有してもよい。
前記変換関係のそれぞれは、時間的に隣接する参照レイヤの対のホモグラフィを示してもよい。
前記ターゲット参照レイヤの前記一つ以上のホールを復元するステップは、前記複数変換関係に基づいて前記複数の参照レイヤを前記ターゲット参照レイヤの平面に変換することによって複数の変換された参照レイヤを生成するステップと、前記複数の変換された参照レイヤに基づいて前記ターゲット参照レイヤの前記一つ以上のホールを復元するステップとを含んでもよい。
前記復元されたターゲット参照レイヤに基づいて前記出力イメージのホールを復元するステップは、前記出力カラーイメージのホールを前記復元されたターゲット参照レイヤの部分に代替するステップを含んでもよい。
前記復元されたターゲット参照レイヤの前記の部分は、前記出力カラーイメージ内の前記ホールの位置に対応する位置を有してもよい。
本発明によると、複数のカラーイメージ間の変換関係に基づいて映像を処理する方法及び装置を提供することができる。
本発明によると、ターゲット参照レイヤを用いて出力カラーイメージ内のホールを復元する方法及び装置を提供することができる。
一実施形態に係る入力イメージに基づいて生成された新しい視点のイメージを示す。 一実施形態に係る複数の入力イメージを示す。 一実施形態に係る映像処理装置の構成図である。 一実施形態に係る映像処理方法のフローチャートである。 一実施形態に係る新しい視点の複数のカラーイメージを示す。 一実施形態に係る複数のカラーイメージの変換関係を示す。 一実施形態に係る変換関係を算出する方法のフローチャートである。 一実施形態に係る背景特徴を抽出する方法のフローチャートである。 一実施形態に係る背景特徴に基づいて変換関係を算出する方法のフローチャートである。 一実施形態に係るターゲットカラーイメージ内のホールを復元する方法のフローチャートである。 一実施形態に係る背景特徴を示す。 一実施形態に係るターゲット平面に変換された複数のカラーイメージに基づいてターゲットカラーイメージ内のホールを復元する方法のフローチャートである。 一実施形態に係るターゲット深度イメージを示す。 一実施形態に係る深度参照領域を検出する方法のフローチャートである。 他の一実施形態に係る映像処理方法のフローチャートである。 一実施形態に係るターゲット参照レイヤを示す。 一実施形態に係る最大ホールをターゲット参照レイヤに割り当てる方法を示す。 一実施形態に係るホールマップを生成する方法を示す。 一実施形態に係る最大ホールが割り当てられたターゲット参照レイヤを示す。 一実施形態に係る複数の参照レイヤの間の変換関係を示す。 一実施形態に係る最大ホールが復元されたターゲット参照レイヤを示す。 一実施形態に係る出力イメージ内のホールを復元する方法のフローチャートを示す。 一実施形態に係るホールが復元された出力イメージを示す。 一実施形態に他のイメージの領域を分割して変換関係を算出する方法を示す。
以下、本発明を実施するための形態の具体例を、図面を参照しながら、詳細に説明する。各図面で提示された同一の参照符号は同一の部材を示す。
本実施形態で用いる用語は、単に特定の実施形態を説明するために用いるものであって、実施形態を限定しようとする意図はない。単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
異なる定義がされない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
また、図面を参照して説明する際に、図面符号に関係なく同一の構成要素には同一の参照符号を付与し、それに対する重複説明を省略する。本実施形態の説明において関連する公知技術に対する具体的な説明が実施形態の要旨を不要に曖昧にすると判断される場合、その詳細な説明を省略する。
以下では、用語「イメージ」はスチール映像であってもよく、動画フレームであってもよい。用語「イメージ」及び「映像」は同じ意味で、相互交換して使用し得る。
「カラーイメージ」はイメージ内のピクセルがカラーの値を有するイメージである。
「深度イメージ」はイメージ内のピクセルが深度値を有するイメージである。
一側面によると、カラーイメージに対応する深度イメージは、カラーイメージのピクセルに対する深度値を示すピクセルを含む。例えば、深度イメージは、深度カメラ又はレーザーによって生成され得る。他の例として、深度イメージは深度推測方法を用いて生成されてもよい。
深度及び視差は、互いに定数項によって逆相関される。追加的に、以下の実施形態において用語「深度」及び「視差」は相互交換して使用してもよい。また、深度を視差に変換したり視差を深度に変換するステップ又は動作が下記の実施形態に付加され得る。
図１は、一実施形態に係る入力イメージに基づいて生成された新しい視点のイメージを示す。
入力イメージ１１２は、特定視点で場面を撮影したイメージであり得る。特定視点は、第１視点１１０と命名する。例えば、入力イメージ１１２は、第１視点１１０のカメラを用いて撮影される。入力イメージ１１２はカラーイメージである。入力イメージ１１２に対応する深度イメージは、第１視点１１０で撮影した場面の深度を示す。
図１は、１つの入力イメージ１１２のみを示しているが、これに限定されることはない。例えば、第１視点１１０と異なる視点で撮影した異なる入力イメージが入力イメージ１１２にさらに追加的に提供され得る。
第１視点１１０と異なる新しい視点１２０～１３０のイメージが入力イメージ１１２に基づいて生成される。例えば、新しい視点１２０～１３０は、カメラを用いて直接撮影できない視点であってもよい。新しい視点１２０～１３０は、仮想視点であってもよい。
出力イメージ１２２及び１３２は、新しい視点１２０及び１３０で場面を撮影したイメージであり得る。以下では、特定の視点でキャプチャーされたイメージ又は特定の視点でキャプチャーされたように生成されたイメージは、特定視点のイメージ又は特定視点に対応するイメージと命名する。類似に、イメージに対応する視点はイメージの視点と命名する。
一側面によると、出力イメージ１２２及び１３２は、入力イメージ１１２をワーピングすることによって生成される。例えば、入力イメージ１１２及び入力イメージ１１２に対応する深度イメージを用いて出力イメージ１２２及び１３２が生成される。
ここで、ワープ（ｗａｒｐ）又はワーピングは、イメージ内のピクセルそれぞれの座標を、イメージの深度情報を用いてシフトすることを意味する。深度が小さいピクセルであるほど、深度の大きいピクセルに比べてより多くシフトされる。イメージの深度情報は、深度イメージによって取得され得る。例えば、第１視点でキャプチャーされた第１イメージは、第２視点の第２イメージを生成するためにワーピングされる。第１視点及び第２視点はそれぞれ異なってもよい。
入力イメージ１１２の視点をワーピングさせる場合、生成された出力イメージ１２２及び１３２内にはホールが存在する。ホールは、ホールピクセル又はホールピクセルの領域を意味する。
ワーピングによるホールの発生は、イメージ内の前景及び背景間の深度差によって発生する。図１に示す入力イメージ１１０は前景としてサッカーボールを含み、背景としてサッカーゴールポストを含む。入力イメージ１１２内でサッカーボールが背景よりもカメラに近く位置しているため、視点を移動した場合、サッカーボールに遮られたボールの形態の背景が出力イメージ１２２及び１３２でホールとして示される。
一側面によると、出力イメージ１２２及び１３２のホールを復元するために出力イメージ１２２及び１３２と時間的に関ったイメージを用いることができる。例えば、時間的に関ったイメージは出力イメージ１２２及び１３２を含む出力動画のイメージであり得る。
例えば、入力イメージ１１２が入力動画で複数のフレームのうちｔ番目のフレームである場合、出力イメージ１２２及び１３２は、出力動画で複数のフレームのうちｔ番目のフレームであり得る。この場合、出力イメージ１２２及び１３２の時間的に関ったイメージは、出力動画に含まれたフレームであり得る。動画フレームは、時間的な昇順（すなわち、ディスプレイ時刻に応じて）に整列される。例えば、ｔ番目のフレームの次にはｔ＋１番目のフレームであり、その次にはｔ＋２番目のフレームである。以下は、「ｔ」、「ｔ＋１」、「ｔ＋２」、及び「ｔ＋ｎ」などはイメージ又はフレームの時間的な位置を示す。
以下は図２～図２４を参照して出力イメージ１２２及び１３２内のホールを復元する方法を説明する。
図２は、一実施形態に係る複数の入力イメージを示す。
複数の入力イメージ２００は、前述した入力動画に含まれた複数のフレームである。入力動画２００は、ｔ－１番目の入力イメージ２１０、ｔ番目の入力イメージ１１２、及びｔ＋１番目の入力イメージ２２０を含む。
ｔ－１番目の入力イメージ２１０及びｔ番目の入力イメージ１１２は、時間的に隣接するイメージである。ｔ番目の入力イメージ１１２及びｔ＋１番目の入力イメージ２２０は時間的に隣接するイメージである。
出力動画は、入力動画の各イメージを第２視点に変換することによって生成される。以下で図５を参照して出力動画が詳細に説明する。
図３は、一実施形態に係る映像処理装置の構成図である。
映像処理装置３００（以下、映像処理装置３００は装置３００と称する）は、通信部３１０、プロセッサ３２０、及び格納部３３０を含む。
通信部３１０は、入力動画又は入力イメージを他の装置から受信する。例えば、通信部３１０は、「通信回路３１０」であってもよく、データを送信又は受信する回路又は回路網であり得る。
プロセッサ３２０は、通信部３１０が受信したデータ及び格納部３３０のデータを処理する。
「プロセッサ」は目的とする動作を実行するための物理的な構造を有する回路を有するハードウェアから具現されたデータ処理装置である。例えば、目的とする動作は、プログラムに含まれたコード又は命令を含む。例えば、ハードウェアで具現されたデータ処理装置は、マイクロプロセッサー、中央処理装置、プロセッサコア、マルチ－コアプロセッサ、マルチプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含む。
プロセッサ３２０は、メモリ（例えば、メモリ３３０）に格納されたコンピュータで読み出すことのできるコード（例えば、ソフトウェア）及びプロセッサ３２０によって誘発された命令を実行する。
格納部３３０は、通信部３１０が受信したデータ及びプロセッサ３２０が処理したデータを格納する。例えば、格納部３３０は入力動画及び入力イメージを格納することができる。
一側面によると、格納部３３０は、１つ以上の揮発性メモリ、不揮発性メモリ、及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ、ハードディスクドライブ、及び光学ディスクドライブを含む。
格納部３３０は、映像処理を行う命令語セット（例えば、ソフトウェア）を格納することができる。映像処理を行う命令語セットは、プロセッサ３２０によって実行され得る。
プロセッサ３２０は、命令語セットにより映像処理を行う。
以下では図４～図２４を参照して通信部３１０、プロセッサ３２０、及び格納部３３０を詳細に説明する。
図４は、一実施形態に係る映像処理方法のフローチャートである。
以下のステップＳ４１０が実行される前に、通信部３１０は、他の装置から入力動画又は入力イメージを受信する。例えば、他の装置は入力動画及び入力イメージを撮影するカメラであり得る。
ステップＳ４１０において、プロセッサ３２０は、第１視点のカラーイメージを第１視点のカラーイメージに対応する深度イメージを用いて第２視点にワーピングし、第２視点のターゲットカラーイメージを生成する。
第１視点は、カメラが撮影した視点、第２視点は出力視点である。ターゲットカラーイメージは、出力イメージのカラー値を示す。
ステップＳ４１０において、プロセッサ３２０は、第１視点のカラーイメージに対応する深度イメージを第２視点にワーピングして第２視点のターゲット深度イメージを生成する。第２視点のターゲットカラーイメージ及び第２視点のターゲット深度イメージは互いに対応する。例えば、イメージ内の同じ位置を有する第２視点のターゲットカラーイメージのピクセル及び第２視点のターゲット深度イメージのピクセルは互いに対応する。
ワーピングを用いて第２視点のターゲットカラーイメージを生成する方法は、仮想視点のイメージを生成する分野で広く知られた技術であるため、その説明を省略する。
生成された第２視点のターゲットカラーイメージはホールを含む。生成された第２視点のターゲット深度イメージは第２ホールを含む。ホール及び第２ホールは互いに対応する。例えば、ターゲットカラーイメージ内のホールピクセルの座標と同一の座標を有するターゲット深度イメージのピクセルは第２ホールピクセルであり得る。
ステップＳ４２０において、プロセッサ３２０は、第２視点のターゲットカラーイメージを含む第２視点の複数のカラーイメージのうち時間的に隣接するカラーイメージ間の変換関係を算出する。
一側面によると、変換関係は、時間的に隣接するカラーイメージイメージ間のホモグラフィであり得る。
以下では、図６～図９を参照して変換関係を算出する方法が詳細に説明する。
ステップＳ４３０において、プロセッサ３２０は、変換関係に基づいて第２視点のターゲットカラーイメージ内のホールを復元する。
プロセッサ３２０は、変換関係に基づいて第２視点のターゲット深度イメージ内の第２ホールを復元する。
前述したステップＳ４１０～Ｓ４３０によって第２視点のターゲットカラーイメージ内のホールが復元され得る。
以下のステップＳ４４０は、ステップＳ４１０～４３０によって復元されていない残余ホールが存在する場合、追加的に実行され得る。
ステップＳ４４０において、プロセッサ３２０は、第２視点のターゲットカラーイメージ内の残余ホールを含むパッチを設定する。プロセッサ３２０は、第２視点のターゲットカラーイメージ内で最適なパッチを検出する。最適なパッチは、設定されたパッチと最も類似のパッチである。プロセッサ３２０は、第２視点のターゲットカラーイメージ内の残余ホールを最適パッチに基づいて復元する。例えば、最適なパッチは、設定されたパッチと閾値を超過する類似度を有するパッチであり得る。
図５は、一実施形態に係る新しい視点の複数のカラーイメージを示す。
プロセッサ３２０は、入力動画２００を第２視点にワーピングして出力動画５００を生成する。例えば、プロセッサ３２０は、入力動画２００の各イメージを第２視点にワーピングして出力動画５００を生成する。
ｔ－１番目の入力イメージ２１０、ｔ番目の入力イメージ１１２、及びｔ＋１番目の入力イメージ２２０は、ｔ－１番目の出力イメージ５１０、ｔ番目の出力イメージ５０１、及びｔ＋１番目の出力イメージ５２０にそれぞれ対応する。ｔ番目の出力イメージ５０１は、ターゲットカラーイメージ５０１と命名する。
出力動画５００は、ターゲットカラーイメージ５０１を含んでいる複数のカラーイメージを含む。例えば、出力動画５００は複数のカラーイメージ５００と命名する。
図６は、一実施形態に係る複数のカラーイメージの変換関係を示す。
プロセッサ３２０は、複数のカラーイメージ５００のうち時間的に隣接するカラーイメージ間の変換関係を算出する。算出された変換関係は複数であり得る。
例えば、第１カラーイメージ６１０及び第２カラーイメージ６２０は、時間的に隣接するカラーイメージである。プロセッサ３２０は、第１カラーイメージ６１０及び第２カラーイメージ６２０間の変換関係を算出する。第１カラーイメージ６１０及び第２カラーイメージ６２０間の変換関係はＨ１であり得る。
第２カラーイメージ６２０及び第２カラーイメージ６２０と時間的に隣接する第３カラーイメージ間の変換関係はＨ２であり得る。
図７は、一実施形態に係る変換関係を算出する方法のフローチャートである。
前述したステップＳ４２０は、以下のステップＳ７１０及び７２０を含む。
ステップＳ７１０において、プロセッサ３２０は、複数のカラーイメージの背景特徴を抽出する。
一側面によると、プロセッサ３２０は、複数のカラーイメージのうち少なくともいずれか１つに含まれた背景特徴を抽出する。
他の一側面によると、プロセッサ３２０は、ターゲットカラーイメージの背景特徴を抽出する。
複数のカラーイメージの背景特徴を抽出する方法については、以下で図８を参照して詳細に説明する。
ステップＳ７２０において、プロセッサ３２０は、背景特徴に基づいて複数のカラーイメージのうち時間的に隣接するカラーイメージ間の変換関係を算出する。
以下で図９を参照して背景特徴に基づいて変換関係を算出する方法を詳細に説明する。
図８は、一実施形態に係る背景特徴を抽出する方法のフローチャートである。
前述したステップＳ７１０は、以下のステップＳ８１０～Ｓ８３０を含む。
ステップＳ８１０において、プロセッサ３２０は、複数のカラーイメージの特徴を抽出する。例えば、プロセッサ３２０は、複数のカラーイメージのうち少なくともいずれか１つに含まれた特徴を抽出し得る。
一側面によると、プロセッサ３２０は、複数のカラーイメージ内の構造体を特徴として抽出することができる。例えば、構造体は、テクスチャ、コーナー、及びエッジを含んでもよい。
抽出された特徴は、特徴に対応する深度値を有する。例えば、カラーイメージの特徴は、特徴の座標と同一の座標を有する深度イメージのピクセルの深度値に対応する。
他の一側面によると、プロセッサ３２０は、複数のカラーイメージ内の勾配を特徴として抽出することができる。
ステップＳ８１５において、プロセッサ３２０は、ターゲットカラーイメージの特徴を抽出する。
一側面によると、ステップＳ８１０及びステップＳ８１５は選択的に実行される。
ステップＳ８２０において、プロセッサ３２０は、抽出された特徴を深度ごとに整列する。
一側面によると、プロセッサ３２０は、特徴に対応する深度値を用いて抽出された特徴を深度ごとに整列する。例えば、プロセッサ３２０は、深度値が大きい順に特徴を整列する。
ステップＳ８３０において、プロセッサ３２０は、抽出された特徴のうち一部を背景特徴として決定する。
一側面によると、プロセッサ３２０は、深度ごとに整列した特徴のうち予め設定された個数の特徴を背景特徴として決定する。
他の一側面によると、プロセッサ３２０は、深度ごとに整列した特徴を深度値に基づいてセグメンテーションする。プロセッサ３２０は、特徴の深度値に基づいて背景深度を決定する。プロセッサ３２０は、背景深度に基づいて特徴のうち背景特徴を決定する。
例えば、プロセッサ３２０は、特徴を深度値に基づいて予め設定された範囲のグループに分類してもよい。プロセッサ３２０は、グループのうち閾値以上の深度値を有するグループを背景グループとして選定する。プロセッサ３２０は、背景グループに含まれた特徴を背景特徴として決定する。
以下で図１１を参照して背景特徴について詳細に説明する。
図９は、一実施形態に係る背景特徴に基づいて変換関係を算出する方法のフローチャートである。
前述したステップＳ７２０は、以下のステップＳ９１０～Ｓ９４０を含む。
ステップＳ９１０において、プロセッサ３２０は、第１カラーイメージの第１背景特徴を検出する。第１カラーイメージは、複数のカラーイメージ５００のいずれか１つである。
第１背景特徴は、抽出された背景特徴に対応する。例えば、プロセッサ３２０は、第１カラーイメージの特徴を抽出し、抽出された特徴のうち背景特徴との差が閾値以下である特徴を第１背景特徴として検出する。
ステップＳ９２０において、プロセッサ３２０は、第２カラーイメージの第２背景特徴を検出する。第２カラーイメージは、複数のカラーイメージ５００のいずれか１つである。第２カラーイメージは、第１カラーイメージと時間的に隣接する。例えば、第１カラーイメージがｔ番目のイメージである場合、第２カラーイメージはｔ＋１番目イメージである。
第２背景特徴は、抽出された背景特徴に対応する。例えば、プロセッサ３２０は、第２カラーイメージの特徴を抽出し、抽出された特徴のうち背景特徴との差が閾値以下である特徴を第２背景特徴として検出する。
ステップＳ９３０において、プロセッサ３２０は、第１背景特徴及び第２背景特徴をマッチングする。
一側面によると、プロセッサ３２０は、第１背景特徴に関する座標及び第２背景特徴に関する座標をマッチングする。
ステップＳ９４０において、プロセッサ３２０は、マッチングに基づいて第１カラーイメージ及び第２カラーイメージ間の変換関係を算出する。
一側面によると、プロセッサ３２０は、マッチングされた座標に基づいて第１カラーイメージ及び第２カラーイメージ間の変換関係を算出する。
例えば、第１カラーイメージの第１背景特徴がＦｔであり、第２カラーイメージの第２背景特徴がＦｔ＋１である場合、以下の数式（１）を用いて変換関係を算出することができる。
Figure 0007004493000001
 Ｈｔは第１カラーイメージ及び第２カラーイメージ間の変換関係である。変換関係は、３ｘ３ホモグラフィ行列である。
第１背景特徴Ｆｔが以下の数式（２）のように表現される。第１背景特徴は、第１カラーイメージ内で（ｘ、ｙ）の座標を有する。
Figure 0007004493000002
 第２背景特徴Ｆｔ＋１が以下の数式（３）のように表現される。第２背景特徴は、第２カラーイメージ内で（ｘ’、ｙ’）の座標を有する。
Figure 0007004493000003
 変換関係は数式（４）のように表現される。
Figure 0007004493000004
 プロセッサ３２０は、複数の背景特徴がマッチングされた場合、Ｈｔの最小平均自乗誤差（ｌｅａｓｔ ｍｅａｎ ｓｑｕａｒｅ ｅｒｒｏｒ）が最小になるｈ１～ｈ９の値を算出する。
一側面によると、ステップＳ９１０～Ｓ９４０は、処理されるカラーイメージを変更しながら繰り返し実行され得る。例えば、プロセッサ３２０は、第１カラーイメージ及び第２カラーイメージ間の変換関係Ｈｔを算出した後、第２カラーイメージ及び第３カラーイメージ間の変換関係Ｈｔ＋１を算出する。
一側面によると、プロセッサ３２０は、カラーイメージを複数のサブカラーイメージに分割した後、サブカラーイメージに対する変換関係を算出する。サブカラーイメージに対する変換関係を算出する方法については、以下で図２４を参照して詳細に説明する。
図１０は、一実施形態に係るターゲットカラーイメージ内のホールを復元する方法のフローチャートである。
前述したステップＳ４３０は、下記のステップＳ１０１０～Ｓ１０２０を含む。
ステップＳ１０１０において、プロセッサ３２０は、変換関係を用いて複数のカラーイメージをターゲットカラーイメージのターゲット平面にそれぞれ変換する。
プロセッサ３２０は、変換関係を用いて複数のカラーイメージをターゲットカラーイメージと同一の平面に変換させ得る。
例えば、ターゲットカラーイメージがｔ番目のイメージである場合、ｔ－１番目のカラーイメージは以下の数式（５）を用いてターゲットカラーイメージと同一の平面に変換される。
Figure 0007004493000005
 Ｉｔ－１はｔ－１番目のカラーイメージに関する情報である。例えば、Ｉｔ－１はｔ－１番目のカラーイメージ内のピクセルの座標によるカラー値を含む。
Ｉｔ（ｔ－１）はｔ－１番目のカラーイメージがターゲット平面に変換されたイメージに関する情報である。
時間的に隣接するカラーイメージ間の変換関係が算出されたため、ターゲットカラーイメージと時間的に隣接していないカラーイメージもターゲット平面に変換される。
例えば、ターゲットカラーイメージがｔ番目のイメージである場合、ｔ－Ｎ番目のカラーイメージは以下の数式（６）を用いてターゲットカラーイメージと同一の平面に変換される。
Figure 0007004493000006
 Ｉｔ（ｔ－Ｎ）はｔ－Ｎ番目のカラーイメージがターゲット平面に変換されたイメージに関する情報である。
例えば、ターゲットカラーイメージがｔ番目のイメージである場合、ｔ＋Ｎ番目のカラーイメージは以下の数式（７）を用いてターゲットカラーイメージと同一の平面に変換される。
Figure 0007004493000007
 Ｉｔ（ｔ＋Ｎ）はｔ＋Ｎ番目のカラーイメージがターゲット平面に変換されたイメージに関する情報である。
一実施形態によると、特定のカラーイメージ（又は深度イメージ）をターゲット平面に変換することは、隣接するイメージ間の変換関係を用いて特定のカラーイメージ（又は深度イメージ）の平面をターゲットカラーイメージと同一の平面に変換することである。
ステップＳ１０１０において、プロセッサ３２０は、変換関係を用いて複数の深度イメージをターゲット深度イメージのターゲット平面に変換する。複数の深度イメージをターゲット深度イメージのターゲット平面に変換する方法は、前述した複数のカラーイメージをターゲットカラーイメージのターゲット平面に変換する方法と類似する。
ステップＳ１０２０において、プロセッサ３２０は、ターゲット平面に変換された複数のカラーイメージに基づいてターゲットカラーイメージ内のホールを復元する。ホールを復元する方法に対して以下で図１２～図１４を参照して詳細に説明する。
図１１は、一実施形態に係る背景特徴を示す。
ターゲットカラーイメージ５０１は、前景１１０３及び背景１１０１を含む。ホール１１０５は、前景１１０３によって示される背景である。ホール１１０７は、ターゲットカラーイメージ５０１では示されないホールである。
プロセッサ３２０は、ターゲットカラーイメージ５０１の特徴１１０３、１１０９及び１１１１を抽出する。前景１１０３は特徴から抽出され得る。
プロセッサ３２０は、抽出された特徴１１０３、１１０９及び１１１１の深度値に基づいて特徴１１０３、１１０９及び１１０１のうち背景特徴１１０９及び１１１１を決定する。決定された背景特徴１１０９及び１１１１に対応する深度値は、予め設定された深度値以上である。
例えば、背景特徴１１０９及び１１１１は１つのピクセル座標に対応してもよい。
他の例として、背景特徴１１０９及び１１１１は予め設定された大きさの領域であってもよい。
図１２は、一実施形態に係るターゲット平面に変換された複数のカラーイメージに基づいてターゲットカラーイメージ内のホールを復元する方法のフローチャートである。
前述したステップＳ１０２０は、以下のステップＳ１２１０～Ｓ１２４０を含む。
ステップＳ１２１０において、プロセッサ３２０は、第２視点のターゲット深度イメージの第２ホールに第２ホールと隣接する背景領域の深度値を割り当てる。ターゲット深度イメージは、前述したステップＳ４１０で予め生成される。
前景が移動することにより示される深度イメージの第２ホールは、背景である可能性が最も高い。プロセッサ３２０は、第２ホールに第２ホールと隣接する背景領域の深度値を割り当てる。
ステップＳ１２２０において、プロセッサ３２０は、複数の深度イメージのうち、第２ホールに対応する深度参照領域を検出する。前記複数の深度イメージは、ターゲット平面に変換された深度イメージであり得る。前記複数の深度イメージは、ターゲット平面に変換された複数のカラーイメージに対応する。
一側面によると、深度参照領域は、第２ホールの座標と同一の座標を有する複数の深度イメージの領域である。
深度参照領域を検出する方法については、以下で図１４を参照して詳細に説明する。
ステップＳ１２３０において、プロセッサ３２０は、検出された深度参照領域に対応するターゲット平面に変換された複数のカラーイメージのカラー参照領域を検出する。
一側面によると、深度参照領域及びカラー参照領域は互いに対応する。例えば、互いに対応する深度参照領域及びカラー参照領域は、イメージ内の座標が互いに同一であり得る。
一側面によると、ステップＳ１２３０で、プロセッサ３２０は検出された深度参照領域に対応するカラー参照領域であって、検出された深度参照領域の全てのピクセルに対応する複数のカラー参照領域の全てのピクセルを検出し得る。
一側面によると、ステップＳ１２３０で、プロセッサ３２０は、全ての検出された深度参照領域のそれぞれについて上記で説明した動作を実行し得る。
ステップＳ１２４０において、プロセッサ３２０は、検出されたカラー参照領域に基づいてターゲットカラーイメージ内のホールを復元する。
一側面によると、プロセッサ３２０は、カラー参照領域のカラー値の平均をホールのカラー値に設定することによってホールを復元し得る。
他の一側面によると、プロセッサ３２０は、カラー参照領域のカラー値のうち出現頻度が最も大きいカラー値をホールのカラー値に設定することでホールを復元し得る。
一側面によると、ステップＳ１２４０で、プロセッサ１２４０は、ピクセルごとにホールを復元し得る。例えば、プロセッサ３２０は、ホールの選択されたピクセルに対応する複数のピクセルの平均値又はホールの選択されたピクセルに対応する複数のピクセルのうち最も頻繁に発生する値をホールの選択されたピクセル値に決定し得る。
ステップＳ１２４０で、ホールの選択されたピクセルに対応する複数のピクセルは、ターゲット平面に変換された複数のカラーイメージのカラー参照領域に定義することができる。ホールの選択されたピクセルに対応する複数のピクセルは、ホールの選択されたピクセルと同じ位置（例えば、座標）を有する。
一側面によると、ステップＳ１２４０で、プロセッサ３２０は、ホール内の全てのピクセルのそれぞれについて上記で説明した動作を実行し得る。
図１３は、一実施形態に係るターゲット深度イメージを示す。
ターゲット深度イメージ１３０１は、前述したターゲットカラーイメージ５０１に対応する。
ターゲット深度イメージ１３０１は、第２ホール１３０５及び１０３０７を含む。
例えば、プロセッサ３２０は、第２ホール１３０５に隣接する背景領域１３０９の深度値を第２ホール１３０５の深度値に設定する。
他の例として、プロセッサ３２０は、第２ホール１３０７に隣接する背景領域１３０８又は１３０９の深度値を第２ホール１３０７の深度値に設定することもできる。
図１４は、一実施形態に係る深度参照領域を検出する方法のフローチャートである。
前述したステップＳ１２２０は以下のステップ１４１０及び１４２０を含む。
ステップＳ１４１０において、プロセッサ３２０は、複数の深度イメージのうち第２ホールの座標と同一の座標を有する領域を検出する。
ステップＳ１４２０において、プロセッサ３２０は、検出された領域のうち第２ホールに割り当てられた深度値との深度値の差が閾値以下である領域を深度参照領域として決定する。
図４～図１４を参照して説明した映像処理方法により、出力イメージ内のホールが復元され得る。
他の一実施形態に係る出力イメージ内のホールを復元する方法については、以下で図１５～図２３を参照して説明する。
図１５は、他の一実施形態に係る映像処理方法のフローチャートである。
以下のステップＳ１５１０が実行される前に、通信部３１０は、他の装置から入力動画又は入力イメージを受信する。例えば、他の装置は、入力動画及び入力イメージを撮影するカメラであり得る。
通信部３１０は、１つ以上の視点で生成された１つ以上の入力カラーイメージ及び１つ以上の入力深度イメージを受信する。前記の１つ以上の入力カラーイメージは、互いに異なる視点で同一の時刻に撮影されたイメージである。１つ以上の深度イメージは１つ以上のカラーイメージにそれぞれ対応する。
ｔ番目の１つ以上の入力カラーイメージを用いてｔ番目の仮想視点の出力カラーイメージが生成される。仮想視点の出力カラーイメージはホールを含む。ｔ番目の背景レイヤが存在する場合、ｔ番目の背景レイヤを用いて出力カラーイメージのホールを復元することができる。
ｔ番目の背景レイヤを生成し、生成された背景レイヤを用いてｔ番目の出力カラーイメージのホールを復元する方法については以下で説明される。
ｔ番目の背景レイヤは以下でターゲット参照レイヤと称する。
ステップＳ１５１０において、プロセッサ３２０は、１つ以上の入力カラーイメージの１つ以上の視点に基づいて参照視点を決定する。
参照視点は、後述される参照レイヤ、ターゲット参照レイヤ、及びホールマップの視点であり得る。
参照視点を決定する方法の一実施形態については、以下で図１６を参照して詳細に説明する。
ステップＳ１５１５において、プロセッサ３２０は、１つ以上の入力カラーイメージに基づいて参照視点に対応するターゲット参照レイヤを生成する。ステップＳ１５１５は、プロセッサ３２０がステップＳ１５１０で決定された参照視点の入力カラーイメージを参照視点レイヤに設定するステップを含む。ターゲット参照レイヤは、ｔ番目の１つ以上の入力カラーイメージを用いて仮想視点の出力カラーイメージを生成するため、生成されるｔ番目の参照レイヤであり得る。
ステップＳ１５２０において、プロセッサ３２０は、ターゲット参照レイヤを特定の視点にワーピングすることによって発生し得る最大ホールをターゲット参照レイヤに割り当てる。
最大ホールをターゲット参照レイヤに割り当てる方法については、以下で図１７～１９を参照して詳細に説明する。
ステップＳ１５２５において、プロセッサ３２０は、ターゲット参照レイヤを含む参照視点の複数の参照レイヤのうち時間的に隣接する参照レイヤの間の変換関係を算出する。
複数の参照レイヤそれぞれは、複数の入力カラーイメージと時間的に隣接する複数の入力カラーイメージそれぞれに対するターゲット参照レイヤである。複数の参照レイヤのそれぞれは、互いに異なる時間的位置を有する。例えば、ｔ－１番目の参照レイヤはｔ－１番目の複数の入力カラーイメージに対するターゲット参照レイヤである。
変換関係は、時間的に隣接する参照レイヤ間のホモグラフィを示す。
複数の参照レイヤのうち時間的に隣接する参照レイヤの間の変換関係を算出する方法については、以下で図１６を参照して詳細に説明する。
ステップＳ１５２０～ステップＳ１５２５は並列的に実行されてもよい。
ステップＳ１５３０において、プロセッサ３２０は、変換関係に基づいてターゲット参照レイヤに割り当てられた最大ホールを復元する。
最大ホールを復元する方法については、以下で図２２を参照して詳細に説明する。
ステップＳ１５３５において、プロセッサ３２０は、ターゲット参照レイヤに残余ホールが存在する場合、残余ホールをターゲット参照レイヤを用いて復元する。プロセッサ３２０は、ターゲット参照レイヤ内の残余ホールを含むパッチを設定する。プロセッサ３２０は、ターゲット参照レイヤ内の最適なパッチを検出することができる。最適なパッチは、設定されたパッチと最大類似度を有する。プロセッサ３２０は、最適なパッチを用いてターゲット参照レイヤ内の残余ホールを復元し得る。
一側面によると、プロセッサ３２０は、残余ホールを含むパッチを設定し、設定されたパッチと最も類似の最適なパッチをターゲット参照レイヤから検索する。例えば、最適なパッチは、設定されたパッチと閾値を超過する類似度を有するパッチであり得る。
ステップＳ１５３５において、残余ホールが存在するか否かに応じて選択的に実行される。
ステップＳ１５４０において、前述したステップＳ１５１０～Ｓ１５３５と並列的に実行されてもよい。
ステップＳ１５４０において、プロセッサ３２０は、複数の入力カラーイメージのうち少なくとも１つを出力視点にワーピングして出力カラーイメージを生成する。
例えば、プロセッサ３２０は、ワーピングに用いられる入力カラーイメージに対応する入力深度イメージに基づいて出力カラーイメージを生成する。
出力カラーイメージ内にはホールが存在する。
ステップＳ１５４５において、プロセッサ３２０は、最大ホールが復元されたターゲット参照レイヤを用いて出力イメージ内のホールを復元する。
出力イメージ内のホールを復元する方法については、以下で図２２～２３を参照して詳細に説明する。
図１６は、一実施形態に係るターゲット参照レイヤを示す。
一側面によると、複数の入力カラーイメージは２ｎ－１個である。ここで、ｎは自然数である。
参照視点は、複数の入力カラーイメージのうち中間に位置する入力カラーイメージの視点である。プロセッサ３２０は、２ｎ－１個の入力カラーイメージのうち、ｎ番目の中心入力カラーイメージ１６２０の視点を参照視点として決定する。
参照視点が複数の入力カラーイメージのうち特定の入力カラーイメージの視点と同一の場合、前記の特定の入力カラーイメージがターゲット参照レイヤ１６４０に設定（又は、使用）される。例えば、参照視点が中心入力カラーイメージ１６２０の視点である場合、中心入力カラーイメージ１６２０がターゲット参照レイヤ１６４０に設定され得る。
他の一側面によると、複数の入力カラーイメージは２ｎ個であってもよい。
プロセッサ３２０は、複数の入力カラーイメージが２ｎ個である場合、ｎ番目の入力カラーイメージ及びｎ＋１番目の入力カラーイメージの中間視点を参照視点として決定する。
プロセッサ３２０は、複数の入力カラーイメージが２ｎ個である場合、参照視点のターゲット参照レイヤを複数の入力カラーイメージに基づいて生成する。
図１７は、一実施形態に係る最大ホールをターゲット参照レイヤに割り当てる方法を示す。
前述したステップＳ１５２０は、以下のステップＳ１７１０～Ｓ１７４０を含む。
ステップＳ１７１０において、プロセッサ３２０は、ターゲット参照レイヤを１つ以上の視点にワーピングする。１つ以上の視点は、出力視点に決定される視点である。
ステップＳ１７２０において、プロセッサ３２０は、１つ以上の視点にワーピングされたターゲット参照レイヤ内のホールを検出する。例えば、プロセッサ３２０は、カラー値が割り当てられないピクセルのグループ又は領域をホールとして検出する。
ステップＳ１７３０において、プロセッサ３２０は、検出されたホールに基づいてホールマップを生成する。ホールマップについては、以下で図１８を参照して詳細に説明する。
ステップＳ１７４０において、プロセッサ３２０は、ホールマップをターゲット参照レイヤに適用することによって最大ホールをターゲット参照レイヤに割り当てる。
図１８は、一実施形態に係るホールマップを生成する方法を示す。
プロセッサ３２０は、ターゲット参照レイヤ１８１０を１つ以上の視点にワーピングする。ターゲット参照レイヤ１８１０は前景１８１２を含む。
プロセッサ３２０は、参照視点に比べて左側視点にターゲット参照レイヤ１８１０をワーピングして第１ワーピングされたターゲット参照レイヤ１８２０を生成する。第１ワーピングされたターゲット参照レイヤ１８２０はホール１８２４を含む。
プロセッサ３２０は、参照視点に比べて右側視点にターゲット参照レイヤ１８１０をワーピングして第２ワーピングされたターゲット参照レイヤ１８３０を生成する。第２ワーピングされたターゲット参照レイヤ１８３０はホール１８３４を含む。
プロセッサ３２０は、ホール１８２４及びホール１８３４をそれぞれ検出する。
プロセッサ３２０は、検出されたホール１８２４及びホール１８３４を１つのレイヤに集めることでホールマップ１８４０を生成する。ホールマップ１８４０は、ターゲット参照レイヤ１８１０をワーピングすることで発生する最大ホールを示す。ホールマップ１８４０は、ターゲット参照レイヤ１８１０を他の視点にワーピングすることで発生する他の視点のイメージ内のホール位置を、ターゲット参照レイヤ１８１０に対応する視点にホールとして表示したものである。すなわち、ターゲット参照レイヤ１８１０内のホールは、１つ以上の他の視点のイメージでホールとして表示される。最大ホールは、ターゲット参照レイヤ１８０を１つ以上の他の視点にワーピングすることで１つ以上の他の視点のイメージ内で発生する全てのホールに対応する領域を意味する。
図１９は、一実施形態に係る最大ホールが割り当てられたターゲット参照レイヤを示す。
プロセッサ３２０は、ターゲット参照レイヤ１８１０にホールマップ１８４０を適用することで最大ホールが割り当てられたターゲット参照レイヤ１９１０を生成する。
その後、最大ホールが割り当てられたターゲット参照レイヤ１９１０のホールが背景に復元されることによって背景レイヤが生成され得る。
図２０は、一実施形態に係る複数の参照レイヤの間の変換関係を示す。
複数の参照レイヤ２０００は、ターゲット参照レイヤ２０１０を含む。例えば、複数の参照レイヤ２０００のうちｔ－ｎ番目の参照レイヤは、ｔ－ｎ番目の複数の入力カラーイメージのターゲット参照レイヤであり得る。
複数の参照レイヤ間の変換関係を算出する方法に対する説明は、前述したステップＳ４２０の説明が類似に適用される。ステップＳ４２０に対する説明のうち、「第２視点の複数のカラーイメージ」に対する説明が、ステップＳ１５２５の「複数の参照レイヤ」に対する説明に代替され得る。
例えば、第１参照レイヤ２０２０及び第２参照レイヤ２０３０は、時間的に隣接する参照レイヤであってもよい。プロセッサ３２０は、第１参照レイヤ２０２０と第２参照レイヤ２０３０との間の変換関係を算出する。第１参照レイヤ２０２０と第２参照レイヤ２０３０との間の変換関係はＨ１であってもよい。
第２参照レイヤ２０３０及び第２参照レイヤ２０３０と時間的に隣接する第３参照レイヤ間の変換関係はＨ２であってもよい。
図２１は、一実施形態に係る最大ホールが復元されたターゲット参照レイヤを示す。
プロセッサ３２０は、最大ホールが割り当てられたターゲット参照レイヤ１９１０のホールを復元する。
プロセッサ３２０は、ターゲット参照レイヤ１９１０のホール１９１４及び１９１６を背景に復元する。
ホール１９１４及び１９１６を復元する方法に対する説明は、前述したステップＳ４３０に対する説明が類似に適用され得る。ステップＳ４３０に対する説明のうち「第２視点のターゲットカラーイメージ」に対する説明が、ステップＳ１５３０の「ターゲット参照レイヤ」に対する説明に代替され得る。
図２２は、一実施形態に係る出力イメージ内のホールを復元する方法のフローチャートを示す。
前述したステップＳ１５４５は、以下のステップＳ２２１０～Ｓ２２３０を含む。
ステップＳ２２１０において、プロセッサ３２０は、前述したステップＳ１５４０で生成された出力イメージ内のホールを検出する。
ステップＳ２２２０において、プロセッサ３２０は、ターゲット参照レイヤを出力イメージの視点にワーピングする。
ステップＳ２２３０において、プロセッサ３２０は、ワーピングされたターゲット参照レイヤで出力イメージのホールに対応する領域を用いてホールを復元する。
ホールを復元する方法については、以下の図２４を参照して詳細に説明する。
図２３は、一実施形態に係るホールが復元された出力イメージを示す。
ワーピングされた出力イメージ２３１０はホール２３１４を含む。
プロセッサ３２０は、ターゲット参照レイヤを出力イメージ２３１０の視点にワーピングしてワーピングされたターゲット参照レイヤ２３２０を生成する。
プロセッサ３２０は、ホール２３１４に対応する領域２３２４をワーピングされたターゲット参照レイヤ２３２０から検出する。例えば、領域２３２４は、ホール２３１４とイメージ内の座標が同一であり得る。
一側面によると、プロセッサ３２０は、領域２３２４をコピーして出力イメージ２３１０のホール２３１４に貼り付けることによってホール２３１４を復元する。
プロセッサ３２０は、ホール２３１４を復元することでホール復元された出力イメージ２３３０を生成する。
図２４は、一実施形態に係るカラーイメージをサブカラーイメージに分割して変換関係を算出する方法を示す。
一側面に係る前述したステップＳ４２０及びステップＳ１５２５の変換関係は、以下の一実施形態を用いて算出され得る。
例えば、プロセッサ３２０は、第１参照レイヤ２０２０を複数のサブカラーイメージ２０２１～２０２４に分割してもよい。プロセッサ３２０は、第２参照レイヤ２０３０を複数のサブカラーイメージ２０３１～２０３４に分割してもよい。
プロセッサ３２０は、対応するサブカラーイメージ間のサブ変換関係を算出する。例えば、プロセッサ３２０は、第１参照レイヤ２０２０のサブカラーイメージ２０２１と第２参照レイヤ２０３０のサブカラーイメージ２０３１との間のサブ変換関係を算出する。
プロセッサ３２０は、算出されたサブ変換関係に基づいてターゲット参照レイヤの最大ホールを復元する。
本実施形態による方法は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で行われる１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当該技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが分かる。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、又はこれらのうちの１つ以上の組合せを含み、希望通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び／又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、或いは送信される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは１つ以上のコンピュータ読み取り可能な記録媒体に格納される。
本実施形態による方法は、多様なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明の動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
以上、本発明の実施形態について図面を参照しながら詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。
３１０：通信部
３２０：プロセッサ
３３０：格納部

Claims (11)

  1. 第１視点のカラーイメージを前記第１視点のカラーイメージに対応する深度イメージを用いて第２視点にワーピングして前記第２視点のターゲットカラーイメージを生成するステップと、
    前記第２視点のターゲットカラーイメージを含む第２視点の複数のカラーイメージのうち、時間的に隣接するカラーイメージ間の変換関係を決定するステップと、
    前記変換関係に基づいて前記ターゲットカラーイメージ内の第１ホールを復元するステップと、
    を含み、
    前記第１ホールを復元するステップは、
    前記変換関係を用いて前記複数のカラーイメージを前記ターゲットカラーイメージのターゲット平面にそれぞれ変換するステップと、
    前記ターゲット平面に変換された複数のカラーイメージに基づいて前記第１ホールを復元するステップと、
    を含み、
    前記ターゲット平面に変換された複数のカラーイメージに基づいて前記第１ホールを復元するステップは、
    前記ターゲットカラーイメージに対応するターゲット深度イメージの第２ホールに、前記第２ホールに隣接する背景領域の深度値を割り当てるステップ（前記第２ホールは、前記第１ホールに対応する）と、
    前記ターゲット平面に変換された複数のカラーイメージに対応する複数の深度イメージのうち前記第２ホールに対応する深度参照領域を検出するステップと、
    前記深度参照領域に対応する前記ターゲット平面に変換された複数のカラーイメージのカラー参照領域を検出するステップと、
    前記カラー参照領域に基づいて前記第１ホールを復元するステップと、
    を含む、
    映像処理方法。
  2. 前記ターゲットカラーイメージ内の残余ホールを前記ターゲットカラーイメージを用いて復元するステップをさらに含む、
    請求項１に記載の映像処理方法。
  3. 前記変換関係は、前記時間的に隣接するカラーイメージ間のホモグラフィを示す、
    請求項１または２に記載の映像処理方法。
  4. 前記変換関係を決定するステップは、
    前記複数のカラーイメージの背景特徴を抽出するステップと、
    前記背景特徴に基づいて前記変換関係を算出するステップと、
    を含む、
    請求項１乃至３いずれか一項に記載の映像処理方法。
  5. 前記背景特徴を抽出するステップは、
    前記複数のカラーイメージの特徴を抽出するステップと、
    前記特徴を前記特徴に対応する深度値に基づいて深度ごとに整列するステップと、
    前記深度ごとに整列した特徴のうち予め設定された個数の特徴を前記背景特徴として決定するステップと、
    を含む、請求項４に記載の映像処理方法。
  6. 前記特徴を抽出するステップは、前記複数のカラーイメージ内の構造体を前記特徴として抽出する、
    請求項５に記載の映像処理方法。
  7. 前記背景特徴に基づいて前記変換関係を算出するステップは、
    前記背景特徴に基づいて第１カラーイメージの第１背景特徴を検出するステップと、
    前記背景特徴に基づいて第２カラーイメージの第２背景特徴を検出するステップと、
    前記第１背景特徴及び前記第２背景特徴をマッチングするステップと、
    前記マッチングに基づいて前記変換関係を算出するステップと、
    を含み、
    前記第１カラーイメージ及び前記第２カラーイメージは、前記時間的に隣接するカラーイメージである、
    請求項４に記載の映像処理方法。
  8. 前記深度参照領域を検出するステップは、
    前記複数の深度イメージのうち前記第２ホールの座標と同一の座標を有する領域を検出するステップと、
    前記検出された領域のうち前記第２ホールに割り当てられた深度値との深度値の差が閾値以下である領域を前記深度参照領域として決定するステップと、
    を含む、請求項１に記載の映像処理方法。
  9. 前記カラー参照領域に基づいて前記第１ホールを復元するステップは、前記カラー参照領域のカラー値の平均を前記第１ホールのカラー値に設定して前記第１ホールを復元するステップである、
    請求項１に記載の映像処理方法。
  10. 前記カラー参照領域に基づいて前記第１ホールを復元するステップは、前記カラー参照領域のカラー値のうち出現頻度が最も大きいカラー値を前記第１ホールのカラー値に設定して前記第１ホールを復元するステップである、
    請求項１に記載の映像処理方法。
  11. 映像処理を行う命令語セットを格納するメモリと、
    前記メモリに格納された前記命令語セットにより、第１視点のカラーイメージを前記第１視点のカラーイメージに対応する深度イメージを用いて第２視点にワーピングして前記第２視点のターゲットカラーイメージを生成し、かつ、
    前記ターゲットカラーイメージを含む第２視点の複数のカラーイメージのうち時間的に隣接するカラーイメージ間の変換関係を決定し、前記変換関係に基づいて前記ターゲットカラーイメージ内の第１ホールを復元するように制御するプロセッサと、
    を含み、
    前記第１ホールの復元は、
    前記変換関係を用いて前記複数のカラーイメージを前記ターゲットカラーイメージのターゲット平面にそれぞれ変換し、かつ、
    前記ターゲット平面に変換された複数のカラーイメージに基づいて前記第１ホールを復元すること、
    を含み、
    前記ターゲット平面に変換された複数のカラーイメージに基づいて前記第１ホールを復元することは、
    前記ターゲットカラーイメージに対応するターゲット深度イメージの第２ホールに、前記第２ホールに隣接する背景領域の深度値を割り当て（前記第２ホールは、前記第１ホールに対応する）、
    前記ターゲット平面に変換された複数のカラーイメージに対応する複数の深度イメージのうち前記第２ホールに対応する深度参照領域を検出し、
    前記深度参照領域に対応する前記ターゲット平面に変換された複数のカラーイメージのカラー参照領域を検出し、
    前記カラー参照領域に基づいて前記第１ホールを復元すること、
    を含む、
    映像処理装置。
JP2016167768A 2015-09-01 2016-08-30 映像処理方法及び装置 Active JP7004493B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0123363 2015-09-01
KR1020150123363A KR102380862B1 (ko) 2015-09-01 2015-09-01 영상 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
JP2017050866A JP2017050866A (ja) 2017-03-09
JP7004493B2 true JP7004493B2 (ja) 2022-01-21

Family

ID=56883581

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016167768A Active JP7004493B2 (ja) 2015-09-01 2016-08-30 映像処理方法及び装置

Country Status (5)

Country Link
US (1) US10063832B2 (ja)
EP (1) EP3139602B1 (ja)
JP (1) JP7004493B2 (ja)
KR (1) KR102380862B1 (ja)
CN (1) CN106488215B (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101760639B1 (ko) 2017-03-31 2017-07-24 한국과학기술원 입력영상의 주변뷰 영상을 생성하는 몰입형 디스플레이 장치 및 방법
IL304881B1 (en) * 2017-11-14 2024-03-01 Magic Leap Inc Discovering and describing a fully complex point of interest using homographic processing
JP6980496B2 (ja) * 2017-11-21 2021-12-15 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP7202087B2 (ja) * 2018-06-29 2023-01-11 日本放送協会 映像処理装置
GB2576548B (en) * 2018-08-23 2021-11-03 Sony Interactive Entertainment Inc Method and system for reconstructing colour and depth information of a scene
US10907954B2 (en) * 2018-09-28 2021-02-02 Hand Held Products, Inc. Methods and systems for measuring dimensions of a 2-D object
EP3824432A4 (en) 2018-11-09 2021-11-03 Samsung Electronics Co., Ltd. IMAGE RESYNTHESIS USING DIRECT DEFORMATION, SPACE DISCRIMINATORS AND COORDINATE-BASED RETOUCHING
CN112995641B (zh) * 2021-02-08 2022-09-27 东莞埃科思科技有限公司 一种3d模组成像装置及方法、电子设备
CN113766130B (zh) * 2021-09-13 2023-07-28 维沃移动通信有限公司 视频拍摄方法、电子设备及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010239440A (ja) 2009-03-31 2010-10-21 Casio Computer Co Ltd 画像合成装置及びプログラム
US20110069237A1 (en) 2009-09-23 2011-03-24 Demin Wang Image Interpolation for motion/disparity compensation
US8045242B2 (en) 2007-10-24 2011-10-25 Kabushiki Kaisha Toshiba Color conversion apparatus and color conversion method
WO2013049388A1 (en) 2011-09-29 2013-04-04 Dolby Laboratories Licensing Corporation Representation and coding of multi-view images using tapestry encoding
JP2013134788A (ja) 2011-12-23 2013-07-08 Samsung Electronics Co Ltd 多視点生成方法及び装置
JP2013196160A (ja) 2012-03-16 2013-09-30 Kddi Corp 多視点画像を用いた自由視点画像生成方法、装置及びプログラム
US8704875B2 (en) 2011-03-25 2014-04-22 Chung Hua University Apparatus for generating real-time stereoscopic image and method thereof
JP2014515197A (ja) 2011-01-13 2014-06-26 サムスン エレクトロニクス カンパニー リミテッド 背景ピクセル拡張及び背景優先パッチマッチングを用いるマルチビューレンダリング装置及び方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1101198A1 (en) * 1999-06-04 2001-05-23 Koninklijke Philips Electronics N.V. A method and apparatus for three-dimensional image-rendering
JP2002072998A (ja) * 2000-08-25 2002-03-12 Internatl Business Mach Corp <Ibm> 輝度制御装置、輝度調節システム、コンピュータシステム、液晶ディスプレイ装置、輝度制御方法、コンピュータプログラム及び記憶媒体
EP1211640A3 (en) * 2000-09-15 2003-10-15 Canon Kabushiki Kaisha Image processing methods and apparatus for detecting human eyes, human face and other objects in an image
US7089790B2 (en) * 2004-10-18 2006-08-15 Silverbrook Research Pty Ltd Pressure sensor with laminated membrane
JP2009522591A (ja) * 2005-12-30 2009-06-11 ノキア コーポレイション 関心領域を追跡することによってビデオカメラの自動焦点を制御するための方法および装置
US7636151B2 (en) * 2006-01-06 2009-12-22 Qualcomm Mems Technologies, Inc. System and method for providing residual stress test structures
KR101093316B1 (ko) * 2008-04-15 2011-12-14 주식회사 만도 차량주행중 영상정합 방법 및 그 시스템
KR101468267B1 (ko) 2008-10-02 2014-12-15 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 중간 뷰 합성 및 멀티-뷰 데이터 신호 추출
US8351084B2 (en) * 2009-10-13 2013-01-08 Xerox Corporation Vector error diffusion with edge control
JP5271970B2 (ja) * 2010-06-04 2013-08-21 京セラドキュメントソリューションズ株式会社 走査光学装置及びこれを搭載した画像形成装置
KR101089344B1 (ko) 2010-07-26 2011-12-02 주식회사 에이스엠이 이퀄라이징 깊이지도 생성 기법을 이용한 단일영상의 입체영상 변환 방법
US9013634B2 (en) 2010-09-14 2015-04-21 Adobe Systems Incorporated Methods and apparatus for video completion
KR101210625B1 (ko) 2010-12-28 2012-12-11 주식회사 케이티 빈공간 채움 방법 및 이를 수행하는 3차원 비디오 시스템
KR20130086911A (ko) * 2012-01-26 2013-08-05 삼성전자주식회사 3차원 비디오를 위한 영상 처리 방법 및 장치
KR101415147B1 (ko) 2012-08-10 2014-07-08 광운대학교 산학협력단 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법
US8923652B2 (en) 2012-10-25 2014-12-30 Nvidia Corporation Methods and apparatus for registering and warping image stacks
KR20140058744A (ko) 2012-11-05 2014-05-15 한국전자통신연구원 영상 이동 영역의 메움 처리 기능을 구비한 입체 영상 제작 시스템 및 그 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8045242B2 (en) 2007-10-24 2011-10-25 Kabushiki Kaisha Toshiba Color conversion apparatus and color conversion method
JP2010239440A (ja) 2009-03-31 2010-10-21 Casio Computer Co Ltd 画像合成装置及びプログラム
US20110069237A1 (en) 2009-09-23 2011-03-24 Demin Wang Image Interpolation for motion/disparity compensation
JP2014515197A (ja) 2011-01-13 2014-06-26 サムスン エレクトロニクス カンパニー リミテッド 背景ピクセル拡張及び背景優先パッチマッチングを用いるマルチビューレンダリング装置及び方法
US8704875B2 (en) 2011-03-25 2014-04-22 Chung Hua University Apparatus for generating real-time stereoscopic image and method thereof
WO2013049388A1 (en) 2011-09-29 2013-04-04 Dolby Laboratories Licensing Corporation Representation and coding of multi-view images using tapestry encoding
JP2013134788A (ja) 2011-12-23 2013-07-08 Samsung Electronics Co Ltd 多視点生成方法及び装置
JP2013196160A (ja) 2012-03-16 2013-09-30 Kddi Corp 多視点画像を用いた自由視点画像生成方法、装置及びプログラム

Also Published As

Publication number Publication date
KR102380862B1 (ko) 2022-03-31
CN106488215B (zh) 2020-10-23
EP3139602B1 (en) 2023-11-15
EP3139602A1 (en) 2017-03-08
US20170064280A1 (en) 2017-03-02
CN106488215A (zh) 2017-03-08
US10063832B2 (en) 2018-08-28
JP2017050866A (ja) 2017-03-09
KR20170027002A (ko) 2017-03-09

Similar Documents

Publication Publication Date Title
JP7004493B2 (ja) 映像処理方法及び装置
JP6767743B2 (ja) 映像補正方法及び装置
EP3026627B1 (en) Image processing method and apparatus
KR102137264B1 (ko) 카메라 포즈 추정 장치 및 방법
KR102483641B1 (ko) 양안 시차 영상의 처리 방법 및 장치
US9532036B2 (en) Stereo source image calibration method and apparatus
US20160224864A1 (en) Object detecting method and apparatus based on frame image and motion vector
US9948913B2 (en) Image processing method and apparatus for processing an image pair
US10582179B2 (en) Method and apparatus for processing binocular disparity image
KR102362345B1 (ko) 이미지 처리 방법 및 장치
Junayed et al. HiMODE: A hybrid monocular omnidirectional depth estimation model
KR20200052206A (ko) 플렌옵틱 영상 처리 장치, 그것을 포함하는 플렌옵틱 영상 처리 시스템 및 그것의 객체 분할 방법
KR101511315B1 (ko) 스테레오스코픽 컨텐츠를 위한 다이나믹 플로팅 윈도우 생성 방법 및 시스템
US11176678B2 (en) Method and apparatus for applying dynamic effect to image
JP6601893B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US11900607B2 (en) Method and apparatus for framing three dimensional target object for generation of virtual camera layout
KR101831138B1 (ko) 비디오를 이용한 애니메이션 스티커 제작 방법 및 장치
KR20200103527A (ko) 영상 처리 방법 및 그 장치
KR102667946B1 (ko) 깊이 정보 기반 경계선 생성 행렬을 활용한 영상 스티칭 장치 및 방법
Bojar Automatic Subtitling for Live 3D TV Transmissions by Real-Time Analysis of Spatio-Temporal Depth Map of the Scene
JP2018195190A (ja) 画像処理装置、画像処理方法
JP2017092821A (ja) 動画像符号化装置、動画像符号化方法、及び、動画像符号化プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190828

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200917

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201223

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210924

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210924

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20211004

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20211005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220104

R150 Certificate of patent or registration of utility model

Ref document number: 7004493

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150