TWI702568B - 影像處理裝置、編碼裝置、解碼裝置、影像處理方法、程式、編碼方法及解碼方法 - Google Patents

影像處理裝置、編碼裝置、解碼裝置、影像處理方法、程式、編碼方法及解碼方法 Download PDF

Info

Publication number
TWI702568B
TWI702568B TW108105536A TW108105536A TWI702568B TW I702568 B TWI702568 B TW I702568B TW 108105536 A TW108105536 A TW 108105536A TW 108105536 A TW108105536 A TW 108105536A TW I702568 B TWI702568 B TW I702568B
Authority
TW
Taiwan
Prior art keywords
image
images
model
viewpoint
stroboscopic
Prior art date
Application number
TW108105536A
Other languages
English (en)
Other versions
TW201946027A (zh
Inventor
菅野尚子
田中潤一
Original Assignee
日商索尼股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼股份有限公司 filed Critical 日商索尼股份有限公司
Publication of TW201946027A publication Critical patent/TW201946027A/zh
Application granted granted Critical
Publication of TWI702568B publication Critical patent/TWI702568B/zh

Links

Images

Classifications

    • G06T3/16—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/564—Depth or shape recovery from multiple images from contours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

一種影像處理設備，其回應於由兩或多個間隔開的影像拍攝裝置同時拍攝之物體的影像的連續群組及指示該物體相對於至少一距離測量裝置的三維位置的深度資訊，該影像處理設備包含： 訊框選擇單元，其組態以選擇一組該等連續影像群組； 模型產生單元，其組態以從由兩或多個間隔開的影像拍攝裝置同時拍攝的影像及該深度資訊，對於在該組影像群組中每一影像產生一三維模型，並且將紋理映射到該產生的三維模型；以及 合成單元，其組態以藉由將由該模型產生單元產生的該等三維模型疊加至一預定背景上來產生相對於頻閃影像視點的頻閃影像。

Description

影像處理裝置、編碼裝置、解碼裝置、影像處理方法、程式、編碼方法及解碼方法
本揭露係關於影像處理裝置、編碼裝置、解碼裝置、影像處理方法、程式、編碼方法、以及解碼方法。
提出各種用於產生頻閃合成影像的處理(例如，參見PTL 1)。 [引證表] [專利文獻] [PTL 1] JP 2007-259477A
[技術問題] 在此領域中，期望執行用於產生所需的頻閃合成影像的適當處理。 例如，期望提供例如用於產生包括3D模型之頻閃合成視訊的影像處理裝置、編碼裝置、解碼裝置、影像處理方法、程式、編碼方法、以及解碼方法。 [解決問題的方法] 本揭露提供(例如)， 一種影像處理裝置，其包括： 獲取單元，其獲取藉由在第一時間點拍攝主體而獲得的複數個視點影像、藉由在第二時間點拍攝該主體而獲得的複數個視點影像、以及藉由在第三時間點拍攝該主體而獲得的複數個視點影像；以及 影像產生單元，其產生合成3D模型，該合成3D模型包括在該等個別時間之該等主體位置的基礎上在基於該第一至第三時間點的至少兩個時間點的各別時間點的該複數個視點影像產生之在該各別時間點處該主體的3D模型。 本揭露提供(例如)， 一種編碼裝置，其包括： 編碼單元，其根據預定編碼方法基於該第一至第三時間點的該個別時間點處的該主體位置藉由編碼基於第一、第二、第三時間點中的至少兩時間點之各別時間點的複數個視點影像產生的每一時間點的主體的3D模型、從該3D模型及指示包括在該2D影像中的主體之深度的深度影像資料轉換來的至少一2D影像資料、以及指示該等各別時間點的3D模型不互相干擾的旗標來產生編碼的資料。 本揭露提供(例如)， 一種解碼裝置，其包括： 解碼單元，其基於該第一至第三時間點的該個別點處的該主體位置解碼包括藉由編碼基於第一、第二、第三時間點中的至少兩時間點之各別時間點的複數個視點影像產生的每一時間點的主體的3D模型、從該3D模型及指示包括在該2D影像中的主體之深度的深度影像資料轉換來的至少一2D影像資料、獲取該視點影像之影像拍攝裝置的相機參數、以及該視點影像之背景影像的編碼的資料，其中 該解碼單元基於該背景影像與該相機參數產生包括該3D模型的合成3D模型並且基於該合成3D模型從影像分離預定時間點的該主體。 本揭露提供(例如)， 一種影像處理方法，其包括： 導致獲取單元獲取藉由在第一時間點拍攝主體而獲得的複數個視點影像、藉由在第二時間點拍攝該主體而獲得的複數個視點影像、以及藉由在第三時間點拍攝該主體而獲得的複數個視點影像；以及 導致影像產生單元產生合成3D模型，該合成3D模型包括在該等個別時間之該等主體位置的基礎上在基於該第一至第三時間點的至少兩個時間點的各別時間點的該複數個視點影像產生之在該各別時間點處該主體的3D模型。 本揭露提供(例如)， 一種程式，其導致一電腦執行一種影像處理方法，其包括： 導致獲取單元獲取藉由在第一時間點拍攝主體而獲得的複數個視點影像、藉由在第二時間點拍攝該主體而獲得的複數個視點影像、以及藉由在第三時間點拍攝該主體而獲得的複數個視點影像；以及 導致影像產生單元產生合成3D模型，該合成3D模型包括在該等個別時間之該等主體位置的基礎上在基於該第一至第三時間點的至少兩個時間點的各別時間點的該複數個視點影像產生之在該各別時間點處該主體的3D模型。 本揭露提供(例如)， 一種編碼方法，其包括： 導致編碼單元根據預定編碼方法基於該第一至第三時間點的該個別時間點處的該主體位置藉由編碼基於第一、第二、第三時間點中的至少兩時間點之各別時間點的複數個視點影像產生的每一時間點的主體的3D模型、從該3D模型及指示包括在該2D影像中的主體之深度的深度影像資料轉換來的至少一2D影像資料、以及指示該等各別時間點的3D模型不互相干擾的旗標來產生編碼的資料。 本揭露提供(例如)， 一種解碼方法，其包括： 導致解碼單元基於該第一至第三時間點的該個別點處的該主體位置解碼包括藉由編碼基於第一、第二、第三時間點中的至少兩時間點之各別時間點的複數個視點影像產生的每一時間點的主體的3D模型、從該3D模型及指示包括在該2D影像中的主體之深度的深度影像資料轉換來的至少一2D影像資料、獲取該視點影像之影像拍攝裝置的相機參數、以及該視點影像之背景影像的編碼的資料；以及 導致該解碼單元基於該背景影像與該相機參數產生包括該3D模型的合成3D模型並且基於該合成3D模型從影像分離預定時間點的該主體。 本揭露亦提供一種影像處理設備，其回應於含有一物體之表示的連續影像，該影像處理設備包含： 用以檢測干擾的干擾檢測單元，其表示在該等連續影像之該物體之該等表示之間一重疊； 訊框選擇單元，其組態以選擇一組該等連續影像，使得在該等影像的選擇組中該物體的表示之間的該檢測的干擾係小於一臨限干擾；以及 合成單元，其組態以從該等影像的選擇組產生頻閃影像。 本揭露亦提供一種影像處理方法，其包括： 接收含有物體之表示的連續影像； 檢測表示在該等連續影像之該物體之該等表示之間一重疊的干擾； 選擇一組該等連續影像，使得在該等影像的選擇組中該物體的表示之間的該檢測的干擾係小於一臨限干擾；以及 從該等影像的選擇組產生頻閃影像。 本揭露亦提供一種影像處理設備，其回應於物體的連續拍攝的影像及指示該物體相對於至少一距離測量裝置的三維位置的深度資訊，該影像處理設備包含： 訊框選擇單元，其組態以選擇一組該等連續影像；以及 合成單元，其組態以藉由疊加該等影像的選擇組的至少一部分來產生關於頻閃影像視點的頻閃影像，使得在該物體的該等影像的選擇組中，該物體的影像按照該物體與該頻閃影像視點的距離順序配置，其中對於不同時間點的該物體的影像對，該物體的較早影像與該頻閃影像視點的距離小於該物體的較晚影像與該頻閃影像視點的距離，較接近該頻閃影像視點之該物體的該較早影像比該物體的該較晚影像顯示於更靠近前景。 本揭露亦提供一種影像處理方法，其包括： 接收物體的連續拍攝的影像及指示該物體相對於至少一距離測量裝置的三維位置的深度資訊； 選擇一組該等連續影像；以及 藉由疊加該等影像的選擇組的至少一部分來產生關於頻閃影像視點的頻閃影像，使得在該物體的該等影像的選擇組中，該物體的影像按照該物體與該頻閃影像視點的距離順序配置，其中對於不同時間點的該物體的影像對，該物體的較早影像與該頻閃影像視點的距離小於該物體的較晚影像與該頻閃影像視點的距離，較接近該頻閃影像視點之該物體的該較早影像比該物體的該較晚影像顯示於更靠近前景。 本揭露亦提供一種影像處理設備，其回應於由兩或多個間隔開的影像拍攝裝置同時拍攝的一物體的影像的連續群組及指示該物體相對於至少一距離測量裝置的三維位置的深度資訊，該影像處理設備包含： 訊框選擇單元，其組態以選擇一組該等連續影像群組；以及 模型產生單元，其組態以從由兩或多個間隔開的影像拍攝裝置同時拍攝的影像及該深度資訊，對於在該組影像群組中每一影像產生一三維模型，並且將紋理映射到該產生的三維模型； 合成單元，其組態以藉由將由該模型產生單元產生的該等三維模型疊加至一預定背景上來產生相對於頻閃影像視點的頻閃影像。 本揭露亦提供一種影像處理方法，其包括： 接收由兩或多個間隔開的影像拍攝裝置同時拍攝的一物體的影像的連續群組及指示該物體相對於至少一距離測量裝置的三維位置的深度資訊； 選擇一組該等連續影像群組；以及 從由兩或多個間隔開的影像拍攝裝置同時拍攝的影像及該深度資訊，對於在該組影像群組中每一影像群組產生一三維模型； 將一紋理映射到該產生的三維模型； 藉由將該等三維模型疊加至一預定背景上來產生相對於頻閃影像視點的頻閃影像。 本揭露亦提供一種影像處理設備，其回應於提供物體表示的連續影像及指示該物體相對於至少一距離測量裝置的三維位置的深度資訊，該影像處理設備包含： 訊框選擇單元，其組態以選擇一組該等連續影像；以及 合成單元，其組態以從該等影像的選擇組產生關於頻閃影像視點的頻閃影像； 其中，當該物體的該三維位置比至少一對該選擇影像組的臨限分離更接近時，該合成單元係組態以使用用於與各別拍攝的影像之顯示位置不同的那些影像之該物體的至少一些表示的顯示位置來產生該頻閃影像。 本揭露亦提供一種影像處理方法，其包括： 接收提供物體表示的連續影像及指示該物體相對於至少一距離測量裝置的三維位置的深度資訊； 選擇一組該等連續影像；以及 從該等影像的選擇組產生關於頻閃影像視點的頻閃影像； 其中，當該物體的該三維位置比至少一對該選擇影像組的臨限分離更接近時，該產生步驟包含使用用於與各別拍攝的影像之顯示位置不同的那些影像之該物體的至少一些表示的顯示位置來產生該頻閃影像。 上面界定的方法可以由電腦軟體實現，當由電腦執行時，電腦軟體使電腦執行各別的方法。此種電腦軟體可例如由非暫態機器可讀取媒體儲存。 [發明的有益效果] 根據本揭露的至少一實施例，其能夠產生包括3D模型的頻閃合成視訊。注意，本揭露不限於本文敘述的有利效果，並且可具有本揭露中敘述的任何有利效果。此外，示例性的有利效果不旨在限制本揭露的內容。
在下文中，將參考附圖描述本揭露的實施例等。注意將按以下順序給出敘述。 ＜與實施例有關的技術與要考慮的問題＞ ＜實施例＞ [影像處理單元的組態實例] [實施例的處理流程] [傳輸系統] [顯示實例] ＜變化＞ ＜與實施例有關的技術與要考慮的問題＞ 首先，將敘述與實施例相關之技術與要考慮的問題，以便於理解本揭露。注意，還將在敘述所需的範圍內討論實施例的概述。 通常，執行使用影像拍攝裝置(相機)的頻閃攝影。頻閃攝影係一種疊加和合成由定點相機拍攝之視訊的某個時間點t和t’之間的訊框(例如，包括物體或多物體之表示或影像)以便表達及理解移動住體的軌跡的方法。藉由頻閃攝影獲得的2維影像(下文中適當地稱為2D頻閃合成視訊)被顯示給使用者。 獲得2D頻閃合成視訊時要考慮的問題之一是它會招致手動操作。例如，儘管在主體的移動速度恆定的情況下藉由以恆定的時間間隔稀疏訊框來表達主體的移動而沒有任何重疊，但是當主體的移動速度降低時可能發生不適當的重疊。在此情況下，使用者必須手動執行將被稀疏之選擇訊框的操作。因此，期望在沒有這種手動操作的情況下自動產生頻閃合成視訊。 順便提及，可以使用從配置成圍繞主體的複數個影像拍攝裝置獲得的二維影像資料片等等來產生對應於主體之三維形狀的3D資料。在本實施例中，可以使用為主體之三維形狀的3D模型產生頻閃合成視訊(下文中適當地稱為3D頻閃合成視訊)(稍後將敘述這些處理的細節)。 如一實例，可以使用藉由基於時間資訊在各別時間點疊加3D模型來產生3D頻閃合成視訊的方法。將敘述在該方法中要考慮的問題。如圖1A所繪示，將考慮在時間點t1至t3處物體(三維物體)AA朝向觀看者移動的情況。注意，時間點t1在時間點t2和t3之前，時間點t2在時間點t3之前。此外，儘管圖1A與1B示意性地繪示圓柱形物體AA，但物體AA可具有任意形狀。 圖1B繪示3D頻閃合成視訊，其中在各別時間點的物體AA係基於時間資訊而疊加。在物體AA朝向觀看者移動的情況下，即使僅基於時間資訊產生3D頻閃合成視訊也不會出現問題。 接著，如圖2A所繪示，將考慮在時間點t1至t3處物體AA遠離觀看者的情況。在這種情況下，如果僅基於時間資訊建立3D頻閃合成視訊，則獲得其中後來的物體被序列地重寫的3D頻閃合成視訊。例如，如圖2B所繪示，在較早時間點處位於觀看者附近的物體AA係顯示在3D頻閃合成視訊的後側，並且在稍後時間點遠離觀看者的物體AA係顯示在其前側，這是不合適的。因此，需要考慮這一點。 圖3係繪示在基於時間資訊優先產生3D頻閃合成視訊的情況下，以疊加的方式不正確地表示物體的三維位置之狀態的圖。如圖3所繪示，將考慮球形物體AB隨著時間流逝(時間點t0、t1、¼、t4)而遠離觀看者的位置的情況。當基於時間資訊優先產生3D頻閃合成視訊時，獲得其中在時間點t4處的物體AB(即，遠離觀看者的物體AB)係顯示為主要主體的視訊。 因此，在本實施例中，如圖4所繪示，位於距觀看者的最近主體之物體(在此實例中在時間點t0處的物體AB)係顯示在前側。儘管稍後敘述細節，但在本實施例中，物體AB的深度資訊係用於產生3D頻閃合成視訊。下面將進一步敘述的這種技術提供了一種影像處理方法的實例，其包括：接收物體的連續拍攝的影像與指示該物體相對於至少一距離測量裝置的三維位置的深度資訊；選擇一組連續影像；以及藉由疊加該等影像的選擇組的至少一部分來產生關於頻閃影像視點的頻閃影像，使得在該物體的該等影像的選擇組中，該物體的影像按照該物體與該頻閃影像視點的距離順序配置，其中對於不同時間點的該物體的影像對，該物體的較早影像與該頻閃影像視點的距離小於該物體的較晚影像與該頻閃影像視點的距離，較接近該頻閃影像視點之該物體的該較早影像比該物體的該較晚影像顯示於更靠近前景。 將敘述僅使用時間資訊產生3D頻閃合成視訊時要考慮的另一個問題。如圖5A所繪示，將考慮物體AB的移動速度改變的情況。例如，如圖5A所繪示，將考慮物體AB的移動速度在時間點t3改變的情況(具體地，移動速度降低的情況)。圖5B係圖5A中所繪示之物體AB之軌蹟的側視圖。在這種情況下，當藉由簡單地以恆定間隔疊加物體AB來產生3D頻閃合成視訊時，在物體AB的移動速度改變的情況下，各別時間點處的物體AB彼此干擾，並獲得部分不適當的視訊。 因此，在本實施例中，例如，判定在各別時間點的物體AB(或者換句話說，連續影像中的物體AB的表示)是否三維地相互干擾，以及判定是否在其中干擾發生的情況下不疊加物體以及是否在其中不發生干擾的情況下疊加物體。這是檢測表示在該等連續影像之該物體之該等表示之間一重疊之干擾的實例。藉由此處理，如在圖6A與6B示意性地繪示，能夠獲得3D頻閃合成視訊，例如藉由選擇一組連續影像，使得在影像的選擇組中物體表示之間的所偵測的干擾係小於臨限干擾。應注意到沒有干擾可意味著干擾程度為零，並且可能意味著干擾程度等於或小於臨限(例如，10%)。因此，在實例中，臨限干擾可以表示零干擾。在其它實例中，臨限干擾可以表示物體之表示的影像區域的預定比例(例如，在表示之間的物體尺寸不同的情況下的較大影像區域)的重疊。例如，預定比例可以為10%。 頻閃影像可接著從影像的選擇組產生。 因此，這提供了一種影像處理方法的實例，其包括：接收含有物體之表示的連續影像；檢測表示在該等連續影像之該物體之該等表示之間一重疊的干擾； 選擇一組該等連續影像，使得在該等影像的選擇組中該物體的表示之間的該檢測的干擾係小於一臨限干擾；以及從該等影像的選擇組產生頻閃影像。 另外，通常，已知一種稱為縮時攝影(子彈時間)的視訊表示方法，其切割特定時間點t，使得觀看者可以從自由視點觀看該時刻。在相關領域中，觀看者僅在自由視點的某個時間點t處觀看主體。然而，根據本實施例，因為產生了由時間點t到t’之合成3D模型獲得的3D頻閃合成視訊，因此能夠在時間點t到t’實現縮時攝影表示。 考慮到要考量上述問題，將詳細敘述本揭露的實施例。 ＜實施例＞ [影像處理裝置的組態實例] 在本實施例中，使用包括配置在圍繞主體之複數個(至少兩個)影像拍攝裝置的自由視點拍攝系統。如一實例，自由視點拍攝系統具有六個影像拍攝裝置。六個影像拍攝裝置藉由拍攝在同步時序處至少部分相同之主體的移動影像的2維影像資料來獲得對應於各別影像拍攝裝置之配置位置(視點)的影像(視點影像)。 此外，根據本實施例的自由視點拍攝系統具有能夠測量主體之距離的距離測量裝置。例如，距離測量裝置係設置在影像拍攝裝置中並產生與例如如影像拍攝裝置相同的深度影像資料。只有一些六個影像拍攝裝置可具有距離測量裝置。此外，距離測量裝置可以是與影像拍攝裝置不同的裝置。在此情況中，距離測量裝置可從影像拍攝裝置產生不同視點的深度影像資料。根據本實施例的自由視點拍攝系統具有四個距離測量裝置。例如，距離測量裝置可為飛行時間(time-of-flight, TOF)或光檢測和測距(light detection and ranging, LiDAR)。獲得距離資訊的相機(立體相機)可以用作距離測量裝置。 因此，這提供一包含一組裝置的實例，其提供：兩或多個影像拍攝裝置，其經配置成使得該等連續影像包含從不同的各別影像拍攝視點拍攝的影像群組；以及一或多個距離測量裝置。應注意到在該組裝置內，一或多個影像拍攝裝置可包括距離測量裝置的功能(例如，以立體或其他深度相機的形式)及/或(多個)距離測量裝置可以是與影像拍攝裝置分離的(多個)裝置。 多個影像拍攝裝置可拍攝可一起同步的連續影像群組(諸如在任何時間的一個影像預裝置)，或者在下文將敘述的設備之間可以檢測同步移位。 每個影像拍攝裝置具有影像處理裝置以及諸如影像拍攝元件的已知構成元件、以及諸如CPU的控制單元、以及顯示器。應注意到僅一些影像拍攝裝置可具有影像處理裝置。此外，影像處理裝置可為一獨立裝置，諸如能夠與影像拍攝裝置以有線或無線方式通訊而不是嵌入在影像拍攝裝置中的個人電腦。 圖7為根據本實施例敘述影像處理裝置(影像處理裝置1)之組態實例的方塊圖。例如，影像處理裝置可實施為在電腦軟體的控制下操作的可編程處理器或處理設備，當由這樣的裝置執行時，導致裝置執行本文敘述的一或多個方法。電腦軟體可由非暫態機器可讀取媒體儲存，諸如磁碟或光碟、快閃記憶體、唯讀記憶體等等。例如，影像處理裝置1具有相機校準單元11、訊框同步單元12、背景差異提取單元13、3D頻閃合成判定單元14、干擾檢測單元15、訊框選擇單元16、3D模型產生單元17以及3D頻閃合成單元18。 相機校準單元11接收在預定時間點處的六片2維影像資料(由六個影像拍攝裝置獲取的2維影像資料)。例如，相機校準單元11接收藉由在某個時間點t1拍攝主體而獲得複數個(例如，在本實施例中為六個)視點影像、藉由在另一時間點t2拍攝影像而獲得的六個視點影像、以及藉由在又一個視點t3處拍攝主體而獲得的六個視點影像。應注意到，在本實施例中，儘管相機校準單元11用作為獲取單元，但是輸入視點影像的介面可以用作獲取單元。此外，在本實施例中，儘管假設藉由在時間點t1處拍攝主體而獲得的複數個視點影像沒有同步移位，但是視點影像可以具有同步移位。對於藉由在時間點t2和t3拍攝主體而獲得的複數個視點影像也是如此。 3D頻閃合成視訊係從3D頻閃合成單元18輸出。亦即，3D頻閃合成單元18產生包括在各別時間點(時間點t1至t3的至少兩時間點)處基於時間點t1至t3處主體之位置、基於時間點t1至t3中的至少兩個時間點的複數個視點影像產生之主體之3D模型的合成3D模型(亦即，3D頻閃合成視訊)。 將敘述各別組成元件。相機校準單元11使用關於輸入的二維影像資料的相機參數來執行校準。應注意到相機參數的實例包括內部參數與外部參數。內部參數係相機特有的參數，並且內部參數係例如藉由計算相機鏡頭的失真、影像感測器與鏡頭之間的傾斜度(失真像差係數)、影像中心與影像(像素)尺寸來獲得。內部參數的使用使得由鏡頭光學系統失真的影像能夠被校正為正確的影像。另一方面，如本實施例中那樣，當存在複數個相機時，藉由計算複數個相機之間的位置關係來獲得外部參數。藉由計算鏡頭的中心坐標(平移)與世界坐標系統中的鏡頭光軸的方向(旋轉)來獲得外部參數。 使用棋盤的之張的方法(Zhang’s method)被稱為與相機校準相關的方法。當然，除張的方法之外的方法也可用作為相機校準方法。例如，可使用一種拍攝3維物體之影像以獲得參數的方法、一種拍攝直接朝向相機之兩個發射光束之影像以獲得參數的方法、一種使用投影機投影特徵點以使用投影影像獲得參數的方法、一種掃描發光二極體(LED)光以拍攝點光源之影像以獲得參數的方法等等。 訊框同步單元12將六個影像拍攝裝置中的一個設置為基本影像拍攝裝置，並將剩餘的影像拍攝裝置設置為參考影像拍攝裝置。訊框同步單元12基於從相機校準單元11供應的基本相機之2維影像資料以及參考相機之2維影像資料針對每個參考相機以毫秒級檢測參考相機的2維影像資料相對於基本相機的同步移位。儲存關於檢測到的同步移位的資訊，並且適當地執行基於該資訊的校正處理。(因此，在這些實例中，訊框同步單元12可以用於檢測影像群組之間的同步偏移。) 背景差異提取單元13從每一片2維影像資料的背景分離主體，以產生稱為輪廓影像的2值影像，例如其中主體的輪廓表示為黑色，而其他區域表示為白色。背景差異提取單元13可即時地產生輪廓影像，並且可以在拍攝移動影像結束之後產生形成移動影像的每個訊框的輪廓影像。 3D頻閃合成判定單元14判定3D頻閃合成是否可以在後級上由3D頻閃合成單元18執行。在本實施例中，在其中存在主體之移動的情況下，3D頻閃合成判定單元14判定可以執行3D頻閃合成。存在主體移動的情況是主體的移動量是預定量或更多的情況。注意，根據對主體的尺寸、形狀等適當地設置用於判定移動之存在的臨限。注意，即使在不存在主體之移動的情況下，也可以產生3D頻閃合成視訊。 因此在實例中，可以提供根據主體的位置中的改變來判定主體之移動之存在的判定單元，其中該合成單元係組態以在其中該判定單元判定存在該主體之移動的情況下產生該頻閃影像。 干擾檢測單元15基於由背景差異提取單元13產生的輪廓影像或基於輪廓影像的3D模型來檢測主體的干擾程度。在本實施例中，3D頻閃合成視訊係在其中干擾程度為0(意即，物體彼此不干擾)的情況下以及其中干擾程度等於或小於預定值(在下文中，這些情況將統稱為干擾程度等於或小於預定值的情況)的情況下產生。 訊框選擇單元16選擇其中干擾檢測單元15已判定干擾程度等於或小於預定值的訊框。 3D模型產生單元17使用基於各別影像拍攝裝置之視點的2維影像資料及深度影像資料以及各別影像拍攝裝置的參數基於視覺外型等等執行建模，以建立網格。然後，3D模型產生單元17基於預定顏色資訊在網格上執行紋理映射，以產生為映射結果的3D模型。例如，3D模型產生單元17使用基於各別影像拍攝裝置之視點的2維影像資料與深度影像資料以及在預定時間點處各別影像拍攝裝置的參數，即時地產生3D模型。 因此，在實例中，模型產生單元17可經組態以檢測與一影像群組之各別影像對應於視覺外型的交集。 在實例中，模型產生單元17可經組態以產生表示物體的網格，以及在產生的網格上執行紋理映射。 因此，在此上下文中，裝置1提供回應於由兩個或更多個間隔開的影像拍攝裝置同時拍攝的物體的連續影像群組以及回應於指示相對於至少一距離測量裝置之物體的三維位置的深度資訊的影像處理設備的一實例，影像處理設備包含：訊框選擇單元16，其組態以選擇一組連續影像群組；以及模型產生單元17，其組態以對於在該組影像群組中的每一影像群組從由兩個或多個間隔開的影像拍攝裝置同時拍攝的影像以及從深度資訊產生三維模型，並將紋理映射至產生的三維模型；合成單元18，其組態以藉由將由模型產生單元產生的三維模型疊加在預定背景上，相對於頻閃影像視點產生頻閃影像。 在實例中，裝置1可執行一種影像處理方法，其包含：接收由兩或多個間隔開的影像拍攝裝置同時拍攝的一物體的影像的連續群組及指示該物體相對於至少一距離測量裝置的三維位置的深度資訊；從由兩或多個間隔開的影像拍攝裝置同時拍攝的影像及該深度資訊，對於在該組影像群組中每一影像群組產生一三維模型； 將紋理映射至該產生的三維模型；藉由將該等三維模型疊加至一預定背景上來產生相對於頻閃影像視點的頻閃影像。 3D頻閃合成單元18顯示由3D模型生成單元17產生的複數個3D模型，以便疊加在預定背景上，從而產生並輸出3D頻閃合成視訊。 因此圖7之設備提供回應於含有物體之表示之連續影像之影像處理設備的實例，該影像處理設備包含：用以檢測干擾的干擾檢測單元(諸如單元15)，其表示在該等連續影像之該物體之該等表示之間一重疊；訊框選擇單元(諸如單元16)，其組態以選擇一組該等連續影像，使得在該等影像的選擇組中該物體的表示之間的該檢測的干擾係小於一臨限干擾；以及合成單元(諸如單元18)，其組態以從該等影像的選擇組產生頻閃影像。 注意產生的3D頻閃合成視訊係顯示於例如包括在影像拍攝裝置中的顯示器上。3D頻閃合成視訊以顯示於包括在與影像拍攝裝置不同之裝置中的顯示器上。此種顯示器包括個人電腦顯示器、電視裝置顯示器、建立虛擬實境(VR)之裝置的顯示器等等。此外，顯示器可以是所謂的投影映射裝置，其投影存在於空間中的物體並在物體上投影視訊。 [實施例的處理流程] 接下來，將敘述在本實施例中執行之處理流程的實例。圖8係繪示處理流程之流程圖。除非特別以其它方式說明，在圖8所繪示之流程圖中的處理係由影像處理裝置1執行。 (處理的概述) 在步驟ST11，包括由自由視點拍攝系統(下文中合適地稱為資料組)獲取之2維影像資料的資料係輸入至影像處理裝置1。在步驟ST12，影像處理裝置1判定主體之移動。在步驟ST13，影像處理裝置1判定3D頻閃合成是否可基於在步驟ST12中的判定結果執行。此處，在未判定其中判定3D頻閃合成的情況下，流程前進到步驟ST16，並且不執行與3D頻閃合成相關的處理。在其中於步驟ST13中判定可執行3D頻閃合成的情況中，流程前進到步驟ST14。在步驟ST14，影像處理裝置1選擇建模目標訊框。在步驟ST15，影像處理裝置1基於在步驟ST14中選擇的訊框執行3D頻閃合成，以產生3D頻閃合成視訊。 (步驟ST11的處理) 各別處理將詳細地敘述。在步驟ST11，資料組係輸入至影像處理裝置1。本實施例的資料組包括由自由視點拍攝系統獲取的2維影像資料、由距離測量裝置獲取之主體的深度資訊、以及相機參數。 圖9繪示由自由視點拍攝系統獲取之2維影像資料的一實例。圖9繪示在時間點t0與t7之間的一區段以同步方式執行拍攝的六個影像拍攝裝置獲得的2維影像資料的實例。在此實例中，主體AD為人。例如，二維影像資料片IM10、IM20、¼、IM60係藉由在時間點t0處由六個影像拍攝裝置同步拍攝而獲得。二維影像資料片IM17、IM27、¼、IM67係藉由在時間點t7處由六個影像拍攝裝置同步拍攝而獲得。注意時間點t係根據影像拍攝裝置的訊框率(例如，60訊框每秒(fps)、120fps等等)設置。(所以在這些實例中，該兩或多個影像拍攝裝置係配置以彼此同步地拍攝影像。) (步驟ST12的處理) 在步驟ST12，影像處理裝置1判定主體之移動。具體地，3D頻閃合成判定單元14基於包括在資料組中主體之深度資訊(距離資訊)判定主體的移動。 圖10A與10B係用於敘述由3D頻閃合成判定單元14執行之主體之移動判定之處理之實例的圖。在圖10A與10B中的AS1至AS4分別表示距離測量裝置。此外，在圖10A與10B中，繪示為在溜冰場上的滑冰者之主體AE作為實例。 如圖10A所繪示，在某個時間點t0，深度資訊d1係由距離測量裝置AS1測量。類似地，深度資訊d2係由距離測量裝置AS2測量、深度資訊d3係由距離測量裝置AS3測量、以及深度資訊d4係由距離測量裝置AS4測量。 接著，如圖10B所示，在其中主體AE在比時間點0(t=0)晚的時間點t’(t=t’)移動的情況下，深度資訊d1、d2、d3與d4變化。藉由檢測這變化，可以判定主體AE之移動的存在。例如，在深度資訊d1、d2、d3與d4中的至少一個的變化等於或大於臨限的情況下，判定主體AE的移動存在。另一方面，如圖11A與11B所繪示，判定在時間點0與t’處由距離測量裝置AS1至AS4獲取的距離資訊沒有變化的情況下不存在主體AE的移動(包括變化等於或小於臨限的情況)。 注意，用於判定移動的存在的深度資訊的變化程度(即，用於判定移動的存在的深度資訊的臨限)根據主體的形狀和大小適當地設置。 注意，在本實施例中，儘管敘述使用四個距離測量裝置AS1至AS4的實例，但是可使用一個距離測量裝置，並且可以基於由距離測量裝置獲得的深度資訊的變化來判定主體之移動的存在。此外，可以基於點狀資料(也稱為點雲)的出現頻率而不是深度資訊來判定主體之移動的存在。藉由使用距離測量裝置或點雲資訊檢測作為三維物體之主體的移動或位置，可以以簡單的方式判定主體的移動。 將敘述在自由視點拍攝系統不具有諸如距離測量裝置之感測器的情況下判定主體AE之移動的方法。例如，如圖12所繪示，產生基於時間點t與t’的2維影像資料的輪廓影像。在此情況下，可以適當地稀疏t與t’之間的時間點，以限制用於產生輪廓影像的二維影像資料。此外，可以在輪廓影像中主體AE沒有重疊的情況下判定主體AE已經移動。 此外，在某個影像拍攝裝置的位置處之尺寸係使用透視投影原理測量。例如，如圖13中所繪示，根據透視圖投影，以大尺寸拍攝近處物體(例如，圓柱形物體BB)並以小尺寸拍攝遠處物體。在輪廓之尺寸變化等於或大於臨限的情況下，可以判定物體已經移動。 除了這些方法之外，在主體是人的情況下，可以藉由執行面部檢測處理等來檢測人的特徵點，並且可以基於特徵點的移動結果來判定主體之移動的存在。此外，可以基於已知方法檢測主體的運動向量，並且可以根據檢測結果判定主體之移動的存在。此外，主體可具有標記，並且可以藉由檢測標記的移動來判定主體的移動。這種標記的實例包括在除可見光區域以外的波長區域中清晰可見的反光材料、傳輸器等。 此外，可以使用僅由自由視點拍攝系統的複數個影像拍攝裝置中的預定影像拍攝裝置獲得的2維影像資料(包括基於其的輪廓影像)來判定主體的移動。 (步驟ST13的處理) 在步驟ST13，3D頻閃合成判定單元14判定是否可執行3D頻閃合成。無論視訊是2維(2D)還是3維(3D)，頻閃合成視訊的優點之一是可以了解主體移動的軌跡。因此，3D頻閃合成判定單元14判定在步驟ST12中判定存在主體之移動的情況下可以執行3D頻閃合成。 注意，即使在不存在主體之移動的情況下，仍可執行3D頻閃合成視訊。然而，在這種情況下，所獲得的3D頻閃合成視訊具有在特定區域中重疊的數個3D模型，並且不可能獲得有意義的3D頻閃合成視訊。然而，即使在這種情況下，也可以藉由修改顯示方法來獲得有意義的3D頻閃合成視訊。注意，稍後將描敘述顯示方法的細節。 (步驟ST14的處理) 在步驟ST14，選擇在產生(建模)3D模型時要使用的複數個視點影像(即，訊框)。例如，步驟ST14係由影像處理裝置1之干擾檢測單元15與訊框選擇單元16執行。儘管3D模型可使用形成資料組的所有2維影像資料片產生，但是在本實施例中，藉由考慮處理負荷、要獲得的3D頻閃合成視訊的可見性等來選擇在產生3D模型時要使用的訊框。具體地，形成資料組的2維影像資料片在時間方向上被稀疏化。注意稀疏了與某個時間點t同步拍攝的六片2維影像資料。換句話說，使用在某個時間點t的一組六個2維影像資料作為單位來選擇要用於產生3D模型的資料組與要稀疏的訊框組。 例如，干擾檢測單元15藉由參考輪廓影像中主體之位置來檢測指示在不同時間點(例如，前一時間點和後一時間點)處拍攝的主體之間之重疊程度的干擾程度。圖14A繪示主體之間沒有重疊的情況(干擾程度＝0)。圖14B繪示主體之間有重疊的情況。干擾檢測單元15將檢測的干擾程度至輸出至訊框選擇單元16。 訊框選擇單元16藉由參考干擾程度適當地稀疏資料組的2維影像資料，更具體地，使得從干擾檢測單元15輸出的干擾程度等於或小於臨限(例如，10%)。此外，在本實施例中，訊框選擇單元16將指示主體之間沒有干擾(即，干擾程度等於或小於臨限)的旗標附加到稀疏化之後的資料組(即，包括要用於3D建模的2維影像資料的資料組)。 注意，在上述實例中，儘管已經敘述使用輪廓影像的輪廓檢測干擾程度的實例，但是較佳地使用主體之間3維干擾程度判定3維空間中主體的重疊程度。例如，3D模型產生單元17基於在某個時間點t處的六個輪廓影像產生3D模型。在其它時間點處的3D模型也已類似方式產生。藉由比較在3維空間中3D模型的位置，而能夠檢測在3維空間3D模型之間的干擾程度。 注意當使用3D模型判定在3維空間中的重疊時，3D模型可為偽3D模型。例如，偽3D模型係基於與所有視點(在本實施例中，六個影像拍攝裝置)中的一些視點對應之輪廓影像的3D模型，並且可以從中計算干擾程度。偽3D模型具有比3D模型更粗糙的形狀，並且可以比3D模型更快地產生，但是可以高速判定干擾程度。此外，可以在邊界盒的位置(可以建立3D模型之空間並且其對應於影像拍攝裝置的影像拍攝範圍作為一實例)中判定干擾程度，並且在這種情況下，獲得了類似的優點。這提供其中模型產生單元17係組態以從該連續影像產生該物體的一三維模型的一模型產生器，以及其中該干擾檢測單元係組態以檢測關於圍繞該產生的三維模型的一或多個邊界盒的干擾的一實例。 此外，對應於各別2維影像資料片的輪廓影像可在藉由訊框選擇單元16選擇2維影像資料片之後產生。 此外，訊框選擇單元16可首先在時間方向上以相等間隔稀疏訊框，然後基於干擾程度稀疏訊框。這提供其中該訊框選擇單元16係組態以根據中間影像組的預定時間間隔選擇該等中間影像組，其為該等影像中的一些而不是全部，並且根據該等中間影像組的影像之間的該檢測的干擾從該等中間影像組選擇該等影像組的一實例。 此外，干擾程度可基於在3維空間中重疊的存在來判定(即，0或1的邏輯判定)並可基於類似於上述實施之臨限(例如，重疊程度為10%或更小)來判定。然而，因為可以控制主體的干擾程度，使用臨限的方法係較佳的。此外，干擾程度的臨限可基於面部識別等的結果(主體的尺寸、形狀等)及設置到影像拍攝裝置之模式動態地變化。 此外，如圖15所繪示，例如，即使在從側向方向觀察主體AE的情況下判定主體AE彼此干擾，在從上方觀察主體AE的情況下可以判定主體AE的干擾程度等於或小於臨限。因此，主體之間的干擾程度可基於藉由能夠在複數個影像拍攝裝置中適當地判定主體之干擾程度的影像拍攝裝置(例如，設置在天花板上能夠從上方拍攝主體之影像的影像拍攝裝置)所獲得的2維影像資料(或基於其的輪廓影像)來判定。因此這提供一實例(其中兩個或更多個相機從各別視點拍攝影像)，其中該干擾檢測單元15係組態以對於一或多個該等影像拍攝視點，檢測在該等影像的選擇組中該物體的表示之間的該檢測的干擾是否小於該臨限干擾。 因此，在實施例中，該訊框選擇單元可經組態以選擇影像群組，以供該模型產生單元使用來產生包含在該頻閃影像中的各別3D模型，其在三維空間中不會互相干擾。在實施例中，該訊框選擇單元係組態以檢測干擾程度，其為指示在基於複數個預定視點影像產生的3D模型與基於複數個其他視點影像產生的3D模型之間的在三維空間中的重疊程度的資訊。 (步驟ST15的處理) 在步驟ST15，執行3D頻閃合成處理。例如，3D頻閃合成處理係由3D模型產生單元17與3D頻閃合成單元18執行。3D模型產生單元17使用對應於在某個時間點t藉由訊框選擇單元16選擇的六片2維影像資料的六個輪廓影像來產生3D模型。類似地，3D模型產生單元17使用對應於在另一時間點藉由訊框選擇單元16選擇的六片2維影像資料的六個輪廓影像來產生3D模型。3D頻閃合成單元18接著將產生的各別3D模型映射在預定先前技術的預定位置處，以產生如圖16所繪示之3D頻閃合成視訊。注意，儘管圖16由於圖式的限制而繪示作為二維模型的主體AE，但是主體實際上被顯示為3D模型。此外，儘管圖16繪示其中3D模型在3D頻閃合成視訊中彼此不干擾的實例，但是一些3D模型可能彼此干擾。如上所述，在3D頻閃合成視訊之3維空間中的干擾程度僅需要等於或小於預定值。 注意，3D頻閃合成單元18可合成在t與t’之間之時間點的合成影像，以在一時間處產生3D模型。例如，對應於由訊框選擇單元16選擇之訊框(2維影像資料)的輪廓影像係沿著時間方向合成用於各別對應的影像拍攝裝置(各別視點)。接著，獲得為各別影像拍攝裝置合成的六個輪廓影像(下文中適當地稱為合成輪廓影像)。3D模型可在一時間處使用這些六個合成輪廓影像產生。在本實施例中，因為3D模型在其中主體之間的干擾程度等於或小於預定值的情況下產生，所以可以在一時間處基於合成輪廓影像產生3D模型。由於該處理可以執行並行處理，所以可以縮短處理。 如上所敘述，根據本實施例，能夠自動地產生3D頻閃合成視訊。此外，因為3D頻閃合成視訊係考量主體之間的干擾程度所產生，所以能夠產生適當的3D頻閃合成視訊而無需手動選擇要稀疏的訊框。此外，觀看者可以從自由視角觀察時間點t與t’之間的主體變化。 在圖3與4之討論的上下文中，裝置10提供一種影像處理設備的實例，其回應於物體的連續拍攝的影像及指示該物體相對於至少一距離測量裝置的三維位置的深度資訊，該影像處理設備包含：訊框選擇單元16，其組態以選擇一組該等連續影像；以及 合成單元18，其組態以藉由疊加該等影像的選擇組的至少一部分來產生關於頻閃影像視點的頻閃影像，使得在該物體的該等影像的選擇組中，該物體的影像按照該物體與該頻閃影像視點的距離順序配置，其中對於不同時間點的該物體的影像對，該物體的較早影像與該頻閃影像視點的距離小於該物體的較晚影像與該頻閃影像視點的距離，較接近該頻閃影像視點之該物體的該較早影像比該物體的該較晚影像顯示於更靠近前景。 [傳輸系統] 接著，將敘述根據本實施例之傳輸系統。本發明申請人已提出在WO 2017/082076A揭露為一種有效地傳輸3D資料之方法的一技術。提案中揭露的內容可以應用於本揭露。 (傳輸系統的概述) 考慮到先前提出的技術，將敘述根據本實施例之傳輸系統。圖17根據一實施例繪示傳輸系統(下文中適當地稱為傳輸系統100)。傳輸系統100包括作為傳輸側裝置的3維資料拍攝裝置101、轉換裝置102、以及編碼裝置103。此外，傳輸系統100包括作為接收側裝置的解碼裝置201、轉換裝置202、以及3維資料顯示裝置203。 自由視點拍攝系統可用作為3維資料拍攝裝置101。意即，由各別影像拍攝裝置拍攝之2維影像資料與深度影像資料係由3維資料拍攝裝置101獲得。 此外，包括在每一影像拍攝裝置中的影像處理裝置1使用各別影像拍攝裝置之視點的2維影像資料與深度影像資料以及各別影像拍攝裝置的內部參數與外部參數基於視覺外型等等執行建模，以建立網格。影像處理裝置1產生作為主體之3維資料之指示形成所建立之網格之各別點(頂點)之3維位置的幾何資訊(幾何)以及各別點的連接(多邊形)以及網格之2維影像資料。 注意，例如在加州大學聖地亞哥分校之Saied Moezzi、Li-Cheng Tai、Philippe Gerard 的"Virtual View Generation for 3D Digital Video"以及Takeo Kanade and Peter Rander、P. J. Narayanan的 "Virtualized Reality: Constructing Virtual Worlds from Real Scenes"中已揭露用於從2維影像資料與複數個視點的深度影像資料產生3維資料之方法的細節。 轉換裝置102將對應於預定顯示影像產生方法之複數個視點之虛擬相機的內部參數與外部參數設置為相機參數。然後，轉換裝置102基於相機參數將從各別影像拍攝裝置提供的3維資料轉換成2維影像資料及深度影像資料，並產生對應於預定的顯示影像產生方法之複數個視點的2維影像資料與深度影像資料。轉換裝置102將產生的2維影像資料與深度影像資料提供至編碼裝置103。 注意，例如在Masayuki Tanimoto的"Realizing the Ultimate Visual Communication", IEICE technical report, CS, Communication Scheme, 110(323), 73-78, 2010-11-25中揭露了從3維資料產生複數個視點之2維影像資料與深度影像資料之3D CG技術的細節。 在本說明書中，儘管假設2維影像資料的視點與深度影像資料的視點相同，但是2維影像資料與深度影像資料之視點與視點的數量可能會有所不同。此外，2維影像資料與深度影像資料之視點與視點的數量可以與影像拍攝裝置之相機之視點與視點的數量相同或不同。 編碼裝置103從各別影像拍攝裝置提供的3維資料中提取對應於預定顯示影像產生方法的複數個視點不可見的遮擋區域的3維資料(下文稱為遮擋3維資料)。然後，包括在編碼裝置103中的編碼單元(未繪示)基於關於包括2維影像資料與對應於預定顯示影像產生方法、遮檔3維資料以及為諸如關於每一視點之相機參數的虛擬相機之資訊的相機相關資訊之複數個視點之深度影像資料之後設資料的預定編碼方法執行編碼處理。編碼方法的實例包括多視圖與深度視訊編碼(MVCD)方法、AVC方法、HEVC方法等。 在編碼方法為MVCD方法的情況下，對所有視點之2維影像資料與深度影像資料進行共同編碼。結果，產生包括2維影像資料與深度影像資料的後設資料(metadata)與編碼資料的一個編碼流。在這種情況下，後設資料內的相機參數係設置在編碼流的參考顯示資訊SEI中。此外，關於後設資料內的深度影像資料的資訊係設置在深度表示資訊SEI中。 另一方面，在編碼方法為AVC方法或HEVC方法的情況下，各別視點之深度影像資料與2維影像資料係分開地編碼。結果，產生包括2維影像資料與各別視點之後設資料之各別視點的編碼流以及包括各別視點之深度影像資料的後設資料與編碼資料之各別視點的編碼流。在這種情況下，例如，後設資料係設置在每一編碼流的使用者未註冊的SEI中。此外，與編碼流及相機參數等等關聯的資訊包括在後設資料中。 注意與編碼流及相機參數等等關聯的資訊可不包括在後設資料中，但是僅對應於編碼流的後設資料可包括在編碼流中。 編碼裝置103將編碼流傳輸至解碼裝置201。注意，在本說明書中，儘管以設置在編碼流中的狀態傳輸後設資料，但是後設資料可以與編碼流分開地傳輸。 包括在解碼裝置201中的解碼單元(未繪示)接收從編碼裝置103傳輸的編碼流並根據對應於編碼方法之方法解碼編碼流。解碼單元將複數個視點的2維影像資料與深度影像資料以及作為解碼結果獲得的後設資料解碼至轉換裝置202。 轉換裝置202從複數個視點之2維影像資料與深度影像資料產生3D模型，以產生其中3D模型係映射在預定先前技術上的顯示影像資料。然後，轉換裝置202將影像資料提供至3維資料顯示裝置203。 3維資料顯示裝置203係組態為2維頭戴式顯示器、2維監視器、3維頭戴式顯示器、3維監視器等等。3維資料顯示裝置203基於提供的顯示影像資料顯示3D頻閃合成視訊。注意，單一3D模型可表示(例如，顯示)為獨立模型而不是3D頻閃合成視訊。 (在傳輸系統中產生3D模型) 圖18以更簡化的方式繪示傳輸系統100。在傳輸側上，產生3D模型並將3D模型轉換為2維影像資料(包括RGB等等的顏色資訊)與深度影像資料。藉由編碼裝置103編碼並傳輸2維影像資料、深度影像資料等等。 當3D模型在傳輸側上產生時，可使用上述3D模型產生方法。在傳輸側上判定傳輸段由3D頻閃合成視訊表示的情況下，可以減少訊框數量。意即，如上所述，在本實施例中，因為在產生3D模型時訊框選擇單元16選擇要用於產生3D模型的訊框，因此可以減少傳輸資料的數量。例如，即使在自由視點拍攝系統中獲個得120訊框的情況下，因為訊框被稀疏用於3D頻閃合成，所以要傳輸的訊框之數量很少(例如，12個訊框)。注意，在所示的實例中，儘管編碼並傳輸2維影像資料、深度影像資料與後設資料，但是可以根據預定的編碼方法對3D模型本身(即，可以在接收側再現3D模型的3維資料)進行編碼並傳輸。在接收側上，在其中傳輸3D模型的情況下，可基於對應的2維影像資料執行紋理映射。 注意，在接收側上，能夠藉由基於從傳輸側傳輸的2維影像資料與深度影像資料產生3維資料以及執行關於自由視點對應於3維資料的3維物體的透視投影來產生自由視點之2維影像資料。因此，即使在從傳輸側傳輸3D模型的情況下，也可以在接收側產生對應於3D模型的2維影像資料。 注意，如圖19所繪示，3D頻閃合成旗標可包括在傳輸資料(編碼資料)中。接收側僅在其中3D頻閃合成旗標係包括在從傳輸側傳輸的資料中的情況下、或其中旗標為「1」(或「0」)的情況下可執行產生3D頻閃合成視訊的處理。 此外，在其中不存在3D頻閃合成旗標的情況下，可以判定接收側是否可以產生3D頻閃合成視訊。例如，如圖20所繪示，2維影像資料僅從傳輸側傳輸。接收側使用已知影像處理獲得在2維影像資料中主體的深度資訊。此外，接收側執行產生3D模型的處理並判定是否可產生3D頻閃合成視訊。3D頻閃合成視訊可在可產生3D頻閃合成視訊的情況下產生。 (分離物體的方法) 注意，如圖21所繪示，如上所述，指示主體在3維空間中不互相干擾的旗標可在主體之間的干擾程度等於或小於預定值的情況下附加。藉由傳輸此旗標，能夠在接收側上分離主體。下面將更詳細地敘述此分離。 圖22A繪示球形主體AF如何在時間點t0與t2之間移動。圖22B繪示在各別時間點對應於主體AF的輪廓影像。通常，產生對應於各別時間點處的主體AF之位置的輪廓影像SI1至SI3。 圖23A繪示類似於圖22A之球形主體AF如何在時間點t0與t2之間移動。在本實施例中，如圖23B所繪示，例如，可以產生合成輪廓影像SI1至SI3的合成輪廓影像SI4。 這裡，如圖24所繪示，將考慮使用圍繞主體AF的五個影像拍攝裝置拍攝隨著時間流逝而移動之主體AF的自由視點拍攝系統。當傳輸由自由視點拍攝系統獲得的2維影像資料等時，背景影像也與指示如圖25所繪示之主體在3維空間不互相干擾之旗標一起傳輸。注意，相機參數包括各別影像拍攝裝置在3維位置中的位置。此外，在圖25中的2維影像資料與深度影像資料可為包括顏色資訊的3D模型。 在接收側上，能夠藉由參考背景影像與相機參數產生對應於3D頻閃合成視訊的輪廓影像。輪廓影像的實例係繪示為在圖26A中的輪廓影像SI5至SI9。此外，在接收側上，還可以例如藉由參考背景影像來將對應於某個時間點處之主體AF的輪廓從輪廓影像SI5分離。 藉由在相機視點上重新投影3D模型可以實現輪廓的分離。將敘述分離輪廓之方法的實例。視覺外型方法(視覺體積交叉方法)使用由複數個相機拍攝的輪廓影像來產生3D物體(網格)。例如，如使用由使用圖24中所繪示之五個影像拍攝裝置之自由視點拍攝系統獲得的合成輪廓影像SI5產生。在這種狀態下，三個物體粘在一起(三個圓柱體水平地粘住)。隨後，使用合成輪廓影像SI6切割視覺外型。以這種方式，3D物體被分成三個物體。直到合成輪廓影像SI9的輪廓影像以此順序投影到視覺外型的立方體，由此獲得三個球體。如果可以從影像資料(物體的光線資訊)產生視覺外型，如果已知相機參數則可以將3D物體的深度重新投影到相機。意即，當每一物體的深度資訊係重新投影至相機時，能夠識別由相機拍攝的形狀。此外，當深度係轉換為0與1的邏輯2值資訊時，獲得分離的輪廓。通以這種方式，輪廓可被分離。 此外，能夠基於包括在某個時間點處之分離輪廓的輪廓影像產生獨立3D模型。此外，在能夠檢測主體AF之運動向量的情況下，可以在某個時間點插入主體AF的位置。以這種方式，可以產生包括在主體AF之插入位置處的輪廓的輪廓圖像，並且可以基於輪廓影像產生3D模型。 以這種方式，當傳輸系統100附加指示主體不互相干擾的旗標時，傳輸側僅需要傳輸某個時間點t至t’的一個合成輪廓影像，例如，並且能夠減少傳輸資料量。接收側可以基於一個合成輪廓影像產生其中各別時間點之主體被分離的輪廓影像。此外，能夠基於產生的輪廓影像產生3D模型。接收側可以將產生的3D模型顯示為獨立模型，並且可顯示藉由在預定背景上的各別時間點處疊加產生的3D模型來產生的3D頻閃合成視訊。 [顯示實例] 接著，將敘述3D頻閃合成視訊之各別3D模型的顯示實例。注意，稍後敘述之與顯示相關的控制係由例如3D頻閃合成單元18執行。在本實施例中，僅關3D頻閃合成單元18係敘述為顯示控制單元的實例，但是影像處理裝置1可具有不同於3D頻閃合成單元18的顯示控制單元。 在一些實例中，顯示控制單元在顯示裝置上顯示頻閃影像，其中顯示控制單元係組態以在其中主體的位置中的變化量等於或小於預定值的情況下顯示藉由在距原始位置的不同位置處配置3D模型的顯示位置而產生頻閃影像。 (第一顯示實例) 在第一顯示實例中，在其中主體遠離觀看者移動的情況下，顯示最新的主體(物體)(即，位於較深側的主體)以比其他主體更清晰可見。例如，在圖27所繪示的3D頻閃合成視訊中，最新的主體(在所繪示實例中時間點t4的主體)不可見或不容易看到。因此，如圖28所繪示，最新的主體係被顯示清晰可見。例如，由較早時間點拍攝的主體(在所示的實例中，時間點t0至t3的主體)被顯示為有線訊框、辦透明或粗點雲。此外，主體的密度可以逐漸增加，使得最新主體的密度(時間點t4的主體)高於先前主體的密度(時間點t0的主體)。藉由這顯示，觀看者可以清楚地觀看更深側的3D模型。 (第二顯示實例) 在第二顯時實例中，產生的3D模型係在不同於它們原始位置的位置處顯示。如上所敘述，即使在不存在主體之移動的情況下、或者在主體之移動量等於或小於預定值的情況下，也可以產生3D頻閃合成視訊。在這種情況下，當產生的3D模型簡單地設置在它們的原始位置時，3D模型可以集中在特定區域，如圖29A中示意性所示。 因此，在各別時間點產生3D模型，並且重新配置3D模型，使得3D模型之顯示位置與其原始位置不同(即，3D模型之間的干擾程度等於或小於預定值)從而產生3D頻閃合成視訊。例如，如在圖29B中所示，產生3D頻閃合成視訊，其中產生的3D模型係以圓形方向排列以使位於與其原始位置不同的位置。(這是一實例，其中該合成單元係組態以使用用於沿著一預定顯示路徑(諸如圓形路徑)的那些影像之該物體的表示的顯示位置來產生該頻閃影像。) 除此之外，如在圖29C中所示，可產生3D頻閃合成視訊，其中產生的3D模型係以側向方向排列以使位於與其原始位置不同的位置。注意，在以這種方式調整複數個3D模型之配置的情況下，一些3D模型的位置可以與它們的原始位置相同。 因此這些配置提供一種影像處理設備1的實例，其回應於提供物體表示的連續影像及指示該物體相對於至少一距離測量裝置的三維位置的深度資訊，該影像處理設備包含： 訊框選擇單元，其組態以選擇一組該等連續影像；以及合成單元，其組態以從該等影像的選擇組產生關於頻閃影像視點的頻閃影像；其中，當該物體的該三維位置比至少一對該選擇影像組的臨限分離更接近時，該合成單元係組態以使用用於與各別拍攝的影像之顯示位置不同的那些影像之該物體的至少一些表示的顯示位置來產生該頻閃影像。 此影像處理裝置可執行一種影像處理方法，其包含：接收提供物體表示之連續影像和指示相對於至少一距離測量裝置之該物體的三維位置的深度資訊；選擇一組該等連續影像；以及從該等影像的選擇組產生關於頻閃影像視點的頻閃影像；其中，當該物體的該三維位置比至少一對該選擇影像組的臨限分離更接近時，該產生步驟包含使用用於與各別拍攝的影像之顯示位置不同的那些影像之該物體的至少一些表示的顯示位置來產生該頻閃影像。 注意，在存在複數個不同主體(例如，足球或籃球運動員)的情況下，可以通過追蹤特定主體或設置用於識別每一主體等的旗標來產生各別主體的3D頻閃合成視訊。 ＜變化＞ 雖然已經詳細敘述了本揭露的實施例，但是本揭露的內容不限於這些實施例，並且可以基於本揭露的技術精神實現各種改變與修改。 本揭露可以藉由裝置、方法、程式、系統等來實現。例如，用於執行實施例中敘述之功能的程式可為可下載的，並且不具有實施例中敘述之功能的裝置可下載並安裝程式。藉由這樣做，裝置可執行實施例中所敘述的控制。本揭露可藉由分散此程式的伺服器來實現。另外，實施例與修改中敘述的內容可以適當地彼此組合。 本揭露可採用由以下編號條款定義的組成元件： [第1條] 一種影像處理裝置，其包含： 獲取單元，其獲取藉由在第一時間點拍攝主體而獲得的複數個視點影像、藉由在第二時間點拍攝該主體而獲得的複數個視點影像、以及藉由在第三時間點拍攝該主體而獲得的複數個視點影像；以及 影像產生單元，其產生合成3D模型，該合成3D模型包括在該等個別時間之該等主體位置的基礎上在基於該第一至第三時間點的至少兩個時間點的各別時間點的該複數個視點影像產生之在該各別時間點處該主體的3D模型。 [第2條] 如第1條所述之影像處理裝置，其更包含： 判定單元，其根據在該主體之該位置中的變化來判定該主體之移動的存在，其中 該影像產生單元在其中該判定單元判定存在該主體之移動的情況下產生該3D模型。 [第3條] 如第1條所述之影像處理裝置，其更包含： 選擇單元，其當產生該等3D模型時選擇將被使用的該複數個視點影像。 [第4條] 如第3條所述之影像處理裝置，其中 當產生該等3D模型時將被使用的該複數個視點影像係由選擇單元藉由參考至少不同時間點的主體之間的干擾程度來選擇的影像。 [第5條] 如第4條所述之影像處理裝置，其中 該干擾程度係指示在基於複數個預定視點影像產生的3D模型與基於複數個其他視點影像產生的3D模型之間的在三維空間中的重疊程度的資訊。 [第6條] 如第4條所述之影像處理裝置，其中 該干擾程度係指示在基於複數個預定視點影像中的一些視點影像產生的偽3D模型與基於複數個其他視點影像中的一些視點影像產生的偽3D模型之間的在三維空間中的重疊程度的資訊。 [第7條] 如第1條所述之影像處理裝置，其中 包括在該合成3D模型中的各別3D模型之間的三維空間中的干擾程度等於或小於預定值。 [第8條] 如第7條所述之影像處理裝置，其中 包括在該合成3D模型中的該等各別3D模型在3維空間中彼此不干擾。 [第9條] 如第1條所述之影像處理裝置，其中 該3D模型係基於在相應的時間點處即時基礎上獲得複數個視點影像產生的。 [第10條] 如第1條所述之影像處理裝置，其中 該3D模型係基於藉由合成在各別視點處個別時間點的複數個視點影像而獲得的合成影像產生的。 [第11條] 如第1條所述之影像處理裝置，其中 該3D模型係基於藉由從該視點影像分離該主體與背景獲得的輪廓影像產生的。 [第12條] 如第1條所述之影像處理裝置，其更包含： 顯示控制單元，其在顯示裝置上顯示該合成3D模型。 [第13條] 如第12條所述之影像處理裝置，其中 該顯示控制單元在該合成3D模型中包括的複數個3D模型中稍後顯示3D模型以便比其他3D模型更清晰可見。 [第14條] 如第12條所述之影像處理裝置，其中 該顯示控制單元在其中該主體的位置中的變化量等於或小於預定值的情況下顯示藉由在距原始位置的不同位置處配置該3D模型的顯示位置而產生的該合成3D模型。 [第15條] 一種編碼裝置，其包含： 編碼單元，其根據預定編碼方法基於該第一至第三時間點的該個別時間點處的該主體位置藉由編碼基於第一、第二、第三時間點中的至少兩時間點之各別時間點的複數個視點影像產生的每一時間點的主體的3D模型、從該3D模型及指示包括在該2D影像中的主體之深度的深度影像資料轉換來的至少一2D影像資料、以及指示該等各別時間點的3D模型不互相干擾的旗標來產生編碼的資料。 [第16條] 一種解碼裝置，其包含： 解碼單元，其基於該第一至第三時間點的該個別點處的該主體位置解碼包括藉由編碼基於第一、第二、第三時間點中的至少兩時間點之各別時間點的複數個視點影像產生的每一時間點的主體的3D模型、從該3D模型及指示包括在該2D影像中的主體之深度的深度影像資料轉換來的至少一2D影像資料、獲取該視點影像之影像拍攝裝置的相機參數、以及該視點影像之背景影像的編碼的資料，其中 該解碼單元基於該背景影像與該相機參數產生包括該3D模型的合成3D模型並且基於該合成3D模型從影像分離預定時間點的該主體。 [第17條] 一種影像處理方法，其包含： 導致獲取單元獲取藉由在第一時間點拍攝主體而獲得的複數個視點影像、藉由在第二時間點拍攝該主體而獲得的複數個視點影像、以及藉由在第三時間點拍攝該主體而獲得的複數個視點影像；以及 導致影像產生單元產生合成3D模型，該合成3D模型包括在該等個別時間之該等主體位置的基礎上在基於該第一至第三時間點的至少兩個時間點的各別時間點的該複數個視點影像產生之在該各別時間點處該主體的3D模型。 [第18條] 一種程式，其導致一電腦執行一種影像處理方法，包含： 導致獲取單元獲取藉由在第一時間點拍攝主體而獲得的複數個視點影像、藉由在第二時間點拍攝該主體而獲得的複數個視點影像、以及藉由在第三時間點拍攝該主體而獲得的複數個視點影像；以及 導致影像產生單元產生合成3D模型，該合成3D模型包括在該等個別時間之該等主體位置的基礎上在基於該第一至第三時間點的至少兩個時間點的各別時間點的該複數個視點影像產生之在該各別時間點處該主體的3D模型。 [第19條] 一種編碼方法，其包含： 導致編碼單元根據預定編碼方法基於該第一至第三時間點的該個別時間點處的該主體位置藉由編碼基於第一、第二、第三時間點中的至少兩時間點之各別時間點的複數個視點影像產生的每一時間點的主體的3D模型、從該3D模型及指示包括在該2D影像中的主體之深度的深度影像資料轉換來的至少一2D影像資料、以及指示該等各別時間點的3D模型不互相干擾的旗標來產生編碼的資料。 [第20條] 一種解碼方法，其包含： 導致解碼單元基於該第一至第三時間點的該個別點處的該主體位置解碼包括藉由編碼基於第一、第二、第三時間點中的至少兩時間點之各別時間點的複數個視點影像產生的每一時間點的主體的3D模型、從該3D模型及指示包括在該2D影像中的主體之深度的深度影像資料轉換來的至少一2D影像資料、獲取該視點影像之影像拍攝裝置的相機參數、以及該視點影像之背景影像的編碼的資料；以及 導致該解碼單元基於該背景影像與該相機參數產生包括該3D模型的合成3D模型並且基於該合成3D模型從影像分離預定時間點的該主體。 本揭露可採用由以下另外的編號條款定義的組成元件： 1. 一種影像處理設備，其回應於含有一物體之表示的連續影像，該影像處理設備包含： 用以檢測干擾的干擾檢測單元，其表示在該等連續影像之該物體之該等表示之間一重疊； 訊框選擇單元，其組態以選擇一組該等連續影像，使得在該等影像的選擇組中該物體的表示之間的該檢測的干擾係小於一臨限干擾；以及 合成單元，其組態以從該等影像的選擇組產生頻閃影像。 2. 如第1條所述之設備，其中該臨限干擾表示零干擾。 3. 如第1條所述之設備，其中該臨限干擾表示該物體之該等表示之該影像區域的一預定比例的一重疊。 4. 如第1條所述之設備，其中該預定比例為10%。 5. 如前面幾條任一條所述之設備，其中該訊框選擇單元係組態以根據中間影像組的預定時間間隔選擇該等中間影像組，其為該等影像中的一些而不是全部，並且根據該等中間影像組的影像之間的該檢測的干擾從該等中間影像組選擇該等影像組。 6. 如前面幾條任一條所述之設備，其包含用以從該連續影像產生該物體的一三維模型的一模型產生器，以及其中該干擾檢測單元係組態以檢測關於圍繞該產生的三維模型的一或多個邊界盒的干擾。 7. 如前面幾條任一條所述之設備，其包含一組裝置，該組裝置提供： 兩或多個影像拍攝裝置，其經配置成使得該等連續影像包含從不同的各別影像拍攝視點拍攝的影像群組；以及 一或多個距離測量裝置。 8. 如第7條所述之設備，其中該干擾檢測單元係組態以對於一或多個該等影像拍攝視點，檢測在該等影像的選擇組中該物體的表示之間的該檢測的干擾是否小於該臨限干擾。 9. 一種影像處理方法，其包含： 接收含有物體之表示的連續影像； 檢測表示在該等連續影像之該物體之該等表示之間一重疊的干擾； 選擇一組該等連續影像，使得在該等影像的選擇組中該物體的表示之間的該檢測的干擾係小於一臨限干擾；以及 從該等影像的選擇組產生頻閃影像。 10. 一種電腦軟體，當其由電腦執行時，導致該電腦執行第10條的方法。 11. 一種非暫態機器可讀取媒體，其儲存根據第10條的電腦軟體。 12. 一種影像處理設備，其回應於物體的連續拍攝的影像及指示該物體相對於至少一距離測量裝置的三維位置的深度資訊，該影像處理設備包含： 訊框選擇單元，其組態以選擇一組該等連續影像；以及 合成單元，其組態以藉由疊加該等影像的選擇組的至少一部分來產生關於頻閃影像視點的頻閃影像，使得在該物體的該等影像的選擇組中，該物體的影像按照該物體與該頻閃影像視點的距離順序配置，其中對於不同時間點的該物體的影像對，該物體的較早影像與該頻閃影像視點的距離小於該物體的較晚影像與該頻閃影像視點的距離，較接近該頻閃影像視點之該物體的該較早影像比該物體的該較晚影像顯示於更靠近前景。 13. 如第12條所述之設備，其包含一組裝置，該組裝置提供： 兩或多個影像拍攝裝置，其經配置成使得該等連續影像包含從不同的各別影像拍攝視點拍攝的影像群組；以及 一或多個距離測量裝置。 14. 一種影像處理方法，其包含： 接收物體的連續拍攝的影像及指示該物體相對於至少一距離測量裝置的三維位置的深度資訊； 選擇一組該等連續影像；以及 藉由疊加該等影像的選擇組的至少一部分來產生關於頻閃影像視點的頻閃影像，使得在該物體的該等影像的選擇組中，該物體的影像按照該物體與該頻閃影像視點的距離順序配置，其中對於不同時間點的該物體的影像對，該物體的較早影像與該頻閃影像視點的距離小於該物體的較晚影像與該頻閃影像視點的距離，較接近該頻閃影像視點之該物體的該較早影像比該物體的該較晚影像顯示於更靠近前景。 15. 一種電腦軟體，當其由電腦執行時，導致該電腦執行第14條的方法。 16. 一種非暫態機器可讀取媒體，其儲存根據第15條的電腦軟體。 17. 一種影像處理設備，其回應於由兩或多個間隔開的影像拍攝裝置同時拍攝的一物體的影像的連續群組及指示該物體相對於至少一距離測量裝置的三維位置的深度資訊，該影像處理設備包含： 訊框選擇單元，其組態以選擇一組該等連續影像群組；以及 模型產生單元，其組態以從由兩或多個間隔開的影像拍攝裝置同時拍攝的影像及該深度資訊，對於在該組影像群組中每一影像產生一三維模型，並且將紋理映射到該產生的三維模型； 合成單元，其組態以藉由將由該模型產生單元產生的該等三維模型疊加至一預定背景上來產生相對於頻閃影像視點的頻閃影像。 18. 如第17條所述之設備，其包含一組裝置，該組裝置提供： 兩或多個影像拍攝裝置，其經配置成使得該等連續影像包含從不同的各別影像拍攝視點拍攝的影像群組；以及 一或多個距離測量裝置。 19. 如第18條所述之設備，其中該兩或多個影像拍攝裝置係配置以彼此同步地拍攝影像。 20. 如第18條所述之設備，其包含用以檢測一群組的該等影像之間的一同步偏移的一訊框同步單元。 21. 如第17至20條中任一條所述之設備，其中該模型產生單元係組態以檢測與一影像群組之各別影像對應於視覺外型的交集。 22. 如第17至21條中任一條所述之設備，其中該模型產生單元係組態以產生表示該物體的一網格並且對該產生的網格執行紋理映射。 23. 一種影像處理方法，其包含： 接收由兩或多個間隔開的影像拍攝裝置同時拍攝的一物體的影像的連續群組及指示該物體相對於至少一距離測量裝置的三維位置的深度資訊； 選擇一組該等連續影像群組；以及 從由兩或多個間隔開的影像拍攝裝置同時拍攝的影像及該深度資訊，對於在該組影像群組中每一影像群組產生一三維模型； 將一紋理映射到該產生的三維模型； 藉由將該等三維模型疊加至一預定背景上來產生相對於頻閃影像視點的頻閃影像。 24. 一種電腦軟體，當其由電腦執行時，導致該電腦執行第23條的方法。 25. 一種非暫態機器可讀取媒體，其儲存根據第24條的電腦軟體。 26. 一種影像處理設備，其回應於提供物體表示的連續影像及指示該物體相對於至少一距離測量裝置的三維位置的深度資訊，該影像處理設備包含： 訊框選擇單元，其組態以選擇一組該等連續影像；以及 合成單元，其組態以從該等影像的選擇組產生關於頻閃影像視點的頻閃影像； 其中，當該物體的該三維位置比至少一對該選擇影像組的臨限分離更接近時，該合成單元係組態以使用用於與各別拍攝的影像之顯示位置不同的那些影像之該物體的至少一些表示的顯示位置來產生該頻閃影像。 27. 如第26條所述之設備，其包含一組裝置，該組裝置提供： 兩或多個影像拍攝裝置，其經配置成使得該等連續影像包含從不同的各別影像拍攝視點拍攝的影像群組；以及 一或多個距離測量裝置。 28. 如第26或27條所述之設備，其中該合成單元係組態以使用用於沿著一預定顯示路徑的那些影像之該物體的表示的顯示位置來產生該頻閃影像。 29. 一種影像處理方法，其包含： 接收提供物體表示的連續影像及指示該物體相對於至少一距離測量裝置的三維位置的深度資訊； 選擇一組該等連續影像；以及 從該等影像的選擇組產生關於頻閃影像視點的頻閃影像； 其中，當該物體的該三維位置比至少一對該選擇影像組的臨限分離更接近時，該產生步驟包含使用用於與各別拍攝的影像之顯示位置不同的那些影像之該物體的至少一些表示的顯示位置來產生該頻閃影像。 30. 一種電腦軟體，當其由電腦執行時，導致該電腦執行第29條的方法。 31. 一種非暫態機器可讀取媒體，其儲存根據第30條的電腦軟體。 本揭露可採用由以下另外的編號條款定義的組成元件：[第1條] 一種影像處理設備，其回應於由兩或多個間隔開的影像拍攝裝置同時拍攝的一物體的影像的連續群組及指示該物體相對於至少一距離測量裝置的三維位置的深度資訊，該影像處理設備包含： 訊框選擇單元，其組態以選擇一組該等連續影像群組； 模型產生單元，其組態以從由兩或多個間隔開的影像拍攝裝置同時拍攝的影像及該深度資訊，對於在該組影像群組中每一影像產生一三維模型，並且將紋理映射到該產生的三維模型；以及 合成單元，其組態以藉由將由該模型產生單元產生的該等三維模型疊加至一預定背景上來產生相對於頻閃影像視點的頻閃影像。 [第2條] 如第1條所述之影像處理裝置，其中 該訊框選擇單元係組態以選擇影像群組，以供該模型產生單元使用來產生包含在該頻閃影像中的各別3D模型，其在三維空間中不會互相干擾。 [第3條] 如第4條所述之影像處理裝置，其中 該訊框選擇單元係組態以檢測干擾程度，其為指示在基於複數個預定視點影像產生的3D模型與基於複數個其他視點影像產生的3D模型之間的在三維空間中的重疊程度的資訊。 [第4條] 如第1條所述之影像處理裝置，其更包含： 判定單元，其根據在該主體之該位置中的變化來判定該主體之移動的存在，其中 該合成單元係組態以在其中該判定單元判定存在該主體之移動的情況下產生該頻閃影像。 [第5條] 如第1條所述之影像處理裝置，其更包含： 顯示控制單元，其在顯示裝置上顯示該頻閃影像，其中該顯示控制單元係組態以在其中該主體的位置中的變化量等於或小於預定值的情況下顯示藉由在距原始位置的不同位置處配置該3D模型的顯示位置而產生的該頻閃影像。 [第6條] 如第1條所述之設備，其包含一組裝置，該組裝置提供： 兩或多個影像拍攝裝置，其經配置成使得該等連續影像包含從不同的各別影像拍攝視點拍攝的影像群組；以及 一或多個距離測量裝置。 [第7條] 如第6條所述之設備，其中該兩或多個影像拍攝裝置係配置以彼此同步地拍攝影像。 [第8條] 如第6條所述之設備，其包含用以檢測一群組的該等影像之間的一同步偏移的一訊框同步單元。 [第9條] 如第1、6、7及8條中任一條所述之設備，其中該模型產生單元係組態以檢測與一影像群組之各別影像對應於視覺外型的交集。 [第10條] 如第1、6、7、8及9條中任一條所述之設備，其中該模型產生單元係組態以產生表示該物體的一網格並且對該產生的網格執行紋理映射。 [第11條] 一種影像處理方法，其包含： 接收由兩或多個間隔開的影像拍攝裝置同時拍攝的一物體的影像的連續群組及指示該物體相對於至少一距離測量裝置的三維位置的深度資訊； 選擇一組該等連續影像群組；以及 從由兩或多個間隔開的影像拍攝裝置同時拍攝的影像及該深度資訊，對於在該組影像群組中每一影像群組產生一三維模型； 將一紋理映射到該產生的三維模型； 藉由將該等三維模型疊加至一預定背景上來產生相對於頻閃影像視點的頻閃影像。 [第12條] 一種影像處理裝置，其包含： 獲取單元，其獲取藉由在第一時間點拍攝主體而獲得的複數個視點影像、藉由在第二時間點拍攝該主體而獲得的複數個視點影像、以及藉由在第三時間點拍攝該主體而獲得的複數個視點影像；以及 影像產生單元，其產生合成3D模型，該合成3D模型包括在該等個別時間之該等主體位置的基礎上在基於該第一至第三時間點的至少兩個時間點的各別時間點的該複數個視點影像產生之在該各別時間點處該主體的3D模型。 [第13條] 一種影像處理設備，其回應於物體的連續拍攝的影像及指示該物體相對於至少一距離測量裝置的三維位置的深度資訊，該影像處理設備包含： 訊框選擇單元，其組態以選擇一組該等連續影像；以及 合成單元，其組態以藉由疊加該等影像的選擇組的至少一部分來產生關於頻閃影像視點的頻閃影像，使得在該物體的該等影像的選擇組中，該物體的影像按照該物體與該頻閃影像視點的距離順序配置，其中對於不同時間點的該物體的影像對，該物體的較早影像與該頻閃影像視點的距離小於該物體的較晚影像與該頻閃影像視點的距離，較接近該頻閃影像視點之該物體的該較早影像比該物體的該較晚影像顯示於更靠近前景。 [第14條] 如第13條所述之設備，其包含一組裝置，該組裝置提供： 兩或多個影像拍攝裝置，其經配置成使得該等連續影像包含從不同的各別影像拍攝視點拍攝的影像群組；以及 一或多個距離測量裝置。 [第15條] 一種影像處理設備，其回應於提供物體表示的連續影像及指示該物體相對於至少一距離測量裝置的三維位置的深度資訊，該影像處理設備包含： 訊框選擇單元，其組態以選擇一組該等連續影像；以及 合成單元，其組態以從該等影像的選擇組產生關於頻閃影像視點的頻閃影像； 其中，當該物體的該三維位置比至少一對該選擇影像組的臨限分離更接近時，該合成單元係組態以使用用於與各別拍攝的影像之顯示位置不同的那些影像之該物體的至少一些表示的顯示位置來產生該頻閃影像。 [第16條] 如第15或16條所述之設備，其中該合成單元係組態以使用用於沿著一預定顯示路徑的那些影像之該物體的表示的顯示位置來產生該頻閃影像。 [第17條] 一種影像處理設備，其回應於含有一物體之表示的連續影像，該影像處理設備包含： 用以檢測干擾的干擾檢測單元，其表示在該等連續影像之該物體之該等表示之間一重疊； 訊框選擇單元，其組態以選擇一組該等連續影像，使得在該等影像的選擇組中該物體的表示之間的該檢測的干擾係小於一臨限干擾；以及 合成單元，其組態以從該等影像的選擇組產生頻閃影像。 [第18條] 如第17條所述之設備，其包含用以從該連續影像產生該物體的一三維模型的一模型產生器，以及其中該干擾檢測單元係組態以檢測關於圍繞該產生的三維模型的一或多個邊界盒的干擾。 [第19條] 如第17條所述之設備，其中該臨限干擾表示該物體之該等表示之該影像區域的一預定比例的一重疊。 [第20條] 如第17條所述之設備，其包含一組裝置，該組裝置提供： 兩或多個影像拍攝裝置，其經配置成使得該等連續影像包含從不同的各別影像拍攝視點拍攝的影像群組；以及 一或多個距離測量裝置。 所屬技術領域中具有通常知識者應該理解可以根據設計要求和其他因素進行各種修改、組合、子組合與變更，只要它們在所附申請專利範圍與其均等物的範圍內即可。
1‧‧‧影像處理裝置 11‧‧‧相機校準單元 12‧‧‧訊框同步單元 13‧‧‧背景差異提取單元 14‧‧‧3D頻閃合成判定單元 15‧‧‧干擾檢測單元 16‧‧‧訊框選擇單元 17‧‧‧3D模型產生單元 18‧‧‧3D頻閃合成單元 100‧‧‧傳輸系統 101‧‧‧3維資料拍攝裝置 102、202‧‧‧轉換裝置 103‧‧‧編碼裝置 201‧‧‧解碼裝置 203‧‧‧3維資料顯示裝置 ST11、ST12、ST13、ST14、ST15、ST16‧‧‧步驟
[圖1A與圖1B] 圖1A與1B係提到當在實施例中敘述要考慮的問題時的圖。 [圖2A與圖2B] 圖2A與2B係當在實施例中敘述要考慮的問題時參考的圖。 [圖3] 圖3係提到當在實施例中敘述要考慮的問題時的圖。 [圖4] 圖4係當在實施例中敘述要考慮的問題時參考的圖。 [圖5A與圖5B] 圖5A與5B係提到當在實施例中敘述要考慮的問題時的圖。 [圖6A與圖6B] 圖6A與6B係提到當在實施例中敘述要考慮的問題時的圖。 [圖7] 圖7為根據實施例敘述影像處理裝置之組態實例的方塊圖。 [圖8] 圖8為根據實施例繪示由影像處理裝置執行的處理實例之處理的流程圖。 [圖9] 圖9為根據實施例敘述資料組之實例的圖。 [圖10A與圖10B] 圖10A與10B係提到當敘述判定主體之移動的存在之處理時的圖。 [圖11A與圖11B] 圖11A和11B係示意性地繪示判定不存在主體的移動之情況的圖。 [圖12] 圖12係提到當敘述判定主體之運動的存在之處理的另一實例時的圖。 [圖13] 圖13係當敘述判定主體之運動的存在之流程的另一實例時參考的圖。 [圖14A與圖14B] 圖14A與14B係示意性地繪示其中主體之間的干擾程度等於或小於預定值之實例的圖。 [圖15] 圖15係示意性地繪示其中主體之間的干擾程度大於預定值之實例的圖。 [圖16] 圖16係繪示由實施例之處理獲得的3D頻閃合成視訊之一實例的圖。 [圖17] 圖17係根據實施例繪示傳輸系統之組態實例的方塊圖。 [圖18] 圖18係根據實施例敘述由傳輸系統執行之處理之實例的圖。 [圖19] 圖19係根據實施例敘述由傳輸系統執行之處理之另一實例的圖。 [圖20] 圖20係根據實施例敘述由傳輸系統執行之處理之另一實例的圖。 [圖21] 圖21係根據實施例敘述由傳輸系統執行之處理之另一實例的圖。 [圖22A與圖22B] 圖22A與22B係繪示尋常輪廓影像之實例的圖。 [圖23A與圖23B] 圖23A與23B係根據實施例繪示輪廓影像之實例的圖。 [圖24] 圖24係示意地繪示自由視點拍攝系統之實例的圖。 [圖25] 圖25係敘述提到當在傳輸系統之接收側執行處理時的圖。 [圖26A至圖26C] 圖26A至26C係提到當敘述從構成複數個輪廓影像中的一輪廓影像提取特定輪廓的處理時的圖。 [圖27] 圖27係敘述當使用尋常方法顯示3D模型時要考慮之問題的圖。 [圖28] 圖28係根據實施例提及當敘述顯示3D頻閃合成視訊之方法的實例時的圖。 [圖29A至圖29C] 圖29A至29C係根據實施例提及當敘述顯示3D頻閃合成視訊之方法的另一實例時的圖。
1‧‧‧影像處理裝置
11‧‧‧相機校準單元
12‧‧‧訊框同步單元
13‧‧‧背景差異提取單元
14‧‧‧3D頻閃合成判定單元
15‧‧‧干擾檢測單元
16‧‧‧訊框選擇單元
17‧‧‧3D模型產生單元
18‧‧‧3D頻閃合成單元

Claims (18)

  1. 一種影像處理裝置，其回應於由兩或多個間隔開的影像拍攝裝置同時拍攝的一物體的影像的連續群組及指示該物體相對於至少一距離測量裝置的三維位置的深度資訊，該影像處理裝置包含：訊框選擇單元，其組態以選擇一組該等連續影像群組，並且該訊框選擇單元係組態以檢測干擾程度，其為指示在基於複數個預定視點影像產生的3D模型與基於複數個其他視點影像產生的3D模型之間的在三維空間中的重疊程度的資訊；模型產生單元，其組態以從該由兩或多個間隔開的影像拍攝裝置同時拍攝的影像及該深度資訊，對於在該組影像群組中每一影像產生一三維模型，並且將紋理映射到該產生的三維模型；以及合成單元，其組態以藉由將由該模型產生單元產生的該等三維模型疊加至一預定背景上來產生相對於頻閃影像視點的頻閃影像。
  2. 如申請專利範圍第1項所述之影像處理裝置，其中該訊框選擇單元係組態以選擇影像群組，以供該模型產生單元使用來產生包含在該頻閃影像中的各別3D模型，其在三維空間中不會互相干擾。
  3. 如申請專利範圍第1項所述之影像處理裝置，其更包含：判定單元，其根據在該主體之該位置中的變化來判定該主體之移動的存在，其中該合成單元係組態以在其中該判定單元判定存在主體之移動的情況下產生該頻閃影像。
  4. 如申請專利範圍第1項所述之影像處理裝置，其更包含：顯示控制單元，其在顯示裝置上顯示該頻閃影像，其中該顯示控制單元係組態以在其中主體的位置中的變化量等於或小於預定值的情況下顯示藉由在距原始位置的不同位置處配置該3D模型的顯示位置而產生的該頻閃影像。
  5. 如申請專利範圍第1項所述之影像處理裝置，其包含一組裝置，該組裝置提供：兩或多個影像拍攝裝置，其經配置成使得該等連續影像包含從不同的各別影像拍攝視點拍攝的影像群組；以及一或多個距離測量裝置。
  6. 如申請專利範圍第5項所述之影像處理裝置，其中該兩或多個影像拍攝裝置係配置以彼此同步地拍攝影像。
  7. 如申請專利範圍第5項所述之影像處理裝置，其包含 用以檢測一群組的該等影像之間的一同步偏移的一訊框同步單元。
  8. 如申請專利範圍第1項所述之影像處理裝置，其中該模型產生單元係組態以檢測與一影像群組之各別影像對應於視覺外型的交集。
  9. 如申請專利範圍第1項所述之影像處理裝置，其中該模型產生單元係組態以產生表示該物體的一網格並且對該產生的網格執行紋理映射。
  10. 一種影像處理方法，其包含：接收由兩或多個間隔開的影像拍攝裝置同時拍攝的一物體的影像的連續群組及指示該物體相對於至少一距離測量裝置的三維位置的深度資訊；選擇一組該等連續影像群組；以及檢測干擾程度，其為指示在基於複數個預定視點影像產生的3D模型與基於複數個其他視點影像產生的3D模型之間的在三維空間中的重疊程度的資訊；從由該兩或多個間隔開的影像拍攝裝置同時拍攝的影像及該深度資訊，對於在該組影像群組中每一影像群組產生一三維模型；將一紋理映射到該產生的三維模型；藉由將該等三維模型疊加至一預定背景上來產生相對 於頻閃影像視點的頻閃影像。
  11. 一種影像處理裝置，其包含：獲取單元，其獲取藉由在第一時間點拍攝主體而獲得的複數個視點影像、藉由在第二時間點拍攝該主體而獲得的複數個視點影像、以及藉由在第三時間點拍攝該主體而獲得的複數個視點影像；影像產生單元，其產生合成3D模型，該合成3D模型包括在該等個別時間之該等主體位置的基礎上在基於該第一至第三時間點的至少兩個時間點的各別時間點的該複數個視點影像產生之在該各別時間點處該主體的3D模型；以及選擇單元，其藉由參考至少不同時間點的主體之間的干擾程度來選擇的影像，該干擾程度係指示在基於複數個預定視點影像產生的3D模型與基於複數個其他視點影像產生的3D模型之間的在三維空間中的重疊程度的資訊。
  12. 一種影像處理設備，其回應於物體的連續拍攝的影像及指示該物體相對於至少一距離測量裝置的三維位置的深度資訊，該影像處理設備包含：訊框選擇單元，其組態以選擇一組該等連續影像，並且該訊框選擇單元係組態以檢測干擾程度，其為指示在基於複數個預定視點影像產生的3D模型與基於複數個其他視點影像產生的3D模型之間的在三維空間中的重疊程度的資 訊；以及合成單元，其組態以藉由疊加該等影像的選擇組的至少一部分來產生關於頻閃影像視點的頻閃影像，使得在該物體的該等影像的選擇組中，該物體的影像按照該物體與該頻閃影像視點的距離順序配置，其中對於不同時間點的該物體的影像對，該物體的較早影像與該頻閃影像視點的距離小於該物體的較晚影像與該頻閃影像視點的距離，較接近該頻閃影像視點之該物體的該較早影像比該物體的該較晚影像顯示於更靠近前景。
  13. 如申請專利範圍第12項所述之設備，其包含一組裝置，該組裝置提供：兩或多個影像拍攝裝置，其經配置成使得該等連續影像包含從不同的各別影像拍攝視點拍攝的影像群組；以及一或多個距離測量裝置。
  14. 一種影像處理設備，其回應於提供物體表示的連續影像及指示該物體相對於至少一距離測量裝置的三維位置的深度資訊，該影像處理設備包含：訊框選擇單元，其組態以選擇一組該等連續影像，並且該訊框選擇單元係組態以檢測干擾程度，其為指示在基於複數個預定視點影像產生的3D模型與基於複數個其他視點影像產生的3D模型之間的在三維空間中的重疊程度的資訊；以及 合成單元，其組態以從該選擇的影像組產生關於頻閃影像視點的頻閃影像；其中，當該物體的該三維位置比至少一對該選擇影像的臨限分離更接近時，該合成單元係組態以使用用於與各別拍攝的影像之顯示位置不同的那些影像之該物體的至少一些表示的顯示位置來產生該頻閃影像。
  15. 如申請專利範圍第14項所述之設備，其中該合成單元係組態以使用用於沿著一預定顯示路徑的那些影像之該物體的表示的顯示位置來產生該頻閃影像。
  16. 一種影像處理設備，其回應於含有一物體之表示的連續影像，該影像處理設備包含：用以檢測干擾的干擾檢測單元，其表示在該等連續影像之該物體之該等表示之間的一重疊，該干擾檢測單元係組態以檢測關於圍繞該產生的三維模型的一或多個邊界盒的干擾；訊框選擇單元，其組態以選擇一組該等連續影像，使得在該等影像的選擇組中該物體的表示之間的該檢測的干擾係小於一臨限干擾；合成單元，其組態以從該等影像的選擇組產生頻閃影像；以及一模型產生器，其用以從該連續影像產生該物體的一三維模型。
  17. 如申請專利範圍第16項所述之設備，其中該臨限干擾表示該物體之該等表示之該影像區域的一預定比例的一重疊。
  18. 如申請專利範圍第16項所述之設備，其包含一組裝置，該組裝置提供：兩或多個影像拍攝裝置，其經配置成使得該等連續影像包含從不同的各別影像拍攝視點拍攝的影像群組；以及一或多個距離測量裝置。
TW108105536A 2018-03-01 2019-02-20 影像處理裝置、編碼裝置、解碼裝置、影像處理方法、程式、編碼方法及解碼方法 TWI702568B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-036225 2018-03-01
JP2018036225A JP7119425B2 (ja) 2018-03-01 2018-03-01 画像処理装置、符号化装置、復号化装置、画像処理方法、プログラム、符号化方法及び復号化方法

Publications (2)

Publication Number Publication Date
TW201946027A TW201946027A (zh) 2019-12-01
TWI702568B true TWI702568B (zh) 2020-08-21

Family

ID=63174359

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108105536A TWI702568B (zh) 2018-03-01 2019-02-20 影像處理裝置、編碼裝置、解碼裝置、影像處理方法、程式、編碼方法及解碼方法

Country Status (8)

Country Link
US (1) US11508123B2 (zh)
EP (1) EP3759683B1 (zh)
JP (1) JP7119425B2 (zh)
KR (1) KR20200116947A (zh)
CN (1) CN111788601A (zh)
BR (1) BR112020017315A2 (zh)
TW (1) TWI702568B (zh)
WO (1) WO2019167300A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7285834B2 (ja) * 2018-06-19 2023-06-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元再構成方法および三次元再構成装置
CN110012310B (zh) * 2019-03-28 2020-09-25 北京大学深圳研究生院 一种基于自由视点的编解码方法及装置
WO2020213426A1 (ja) * 2019-04-18 2020-10-22 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
WO2020242047A1 (en) * 2019-05-30 2020-12-03 Samsung Electronics Co., Ltd. Method and apparatus for acquiring virtual object data in augmented reality
WO2021006047A1 (ja) * 2019-07-08 2021-01-14 ソニー株式会社 表示制御装置、表示制御方法、及び、プログラム
WO2021064925A1 (ja) * 2019-10-02 2021-04-08 富士通株式会社 生成方法、生成プログラムおよび情報処理装置
WO2022075078A1 (ja) * 2020-10-06 2022-04-14 ソニーグループ株式会社 画像処理装置および方法
EP4323969A2 (en) * 2021-04-16 2024-02-21 Hover Inc. Systems and methods for generating or rendering a three-dimensional representation
WO2023282619A1 (ko) * 2021-07-06 2023-01-12 주식회사 메디트 3차원 모델 상에 텍스트를 추가하는 방법 및 3차원 모델 처리 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030085992A1 (en) * 2000-03-07 2003-05-08 Sarnoff Corporation Method and apparatus for providing immersive surveillance
EP2031562A2 (en) * 2007-08-30 2009-03-04 Casio Computer Co., Ltd. Moving body image extraction apparatus and computer readable storage medium storing program
TWI466062B (zh) * 2012-10-04 2014-12-21 Ind Tech Res Inst 重建三維模型的方法與三維模型重建裝置
TWI508027B (zh) * 2013-08-08 2015-11-11 Huper Lab Co Ltd 三維偵測裝置及其偵測影像之方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6665342B1 (en) * 1999-07-02 2003-12-16 International Business Machines Corporation System and method for producing a still image representation of a motion video
CA2372602A1 (en) * 2000-04-07 2001-10-18 Inmotion Technologies Ltd. Automated stroboscoping of video sequences
JP4340836B2 (ja) 2002-07-18 2009-10-07 富士フイルム株式会社 画像合成装置及び画像合成プログラム
JP2004164563A (ja) * 2002-09-26 2004-06-10 Toshiba Corp 画像解析方法、画像解析装置、画像解析プログラム
JP2007259477A (ja) 2002-09-30 2007-10-04 Toshiba Corp 画像合成方法、画像合成装置、画像合成プログラム
EP1862969A1 (en) * 2006-06-02 2007-12-05 Eidgenössische Technische Hochschule Zürich Method and system for generating a representation of a dynamically changing 3D scene
JP4971813B2 (ja) 2007-01-31 2012-07-11 日本放送協会 映像生成装置及び映像生成プログラム
JP2008217593A (ja) 2007-03-06 2008-09-18 Nippon Hoso Kyokai <Nhk> 被写体領域抽出装置及び被写体領域抽出プログラム
JP4886645B2 (ja) 2007-09-20 2012-02-29 日本放送協会 仮想顔モデル変形装置及び仮想顔モデル変形プログラム
JP4735693B2 (ja) * 2008-09-22 2011-07-27 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP4821846B2 (ja) 2008-12-26 2011-11-24 日本ビクター株式会社 画像符号化装置、画像符号化方法およびそのプログラム
JP4947389B2 (ja) * 2009-04-03 2012-06-06 ソニー株式会社 画像信号復号装置、画像信号復号方法、および画像信号符号化方法
JP5581728B2 (ja) 2010-02-24 2014-09-03 カシオ計算機株式会社 画像処理装置及び方法、並びにプログラム
JP2010200360A (ja) 2010-04-26 2010-09-09 Casio Computer Co Ltd 撮像装置、ストロボ画像生成方法、および、プログラム
JP5577823B2 (ja) 2010-04-27 2014-08-27 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US20120002112A1 (en) 2010-07-02 2012-01-05 Sony Corporation Tail the motion method of generating simulated strobe motion videos and pictures using image cloning
US9210468B2 (en) * 2011-03-22 2015-12-08 Sony Corporation System and method for effectively implementing a stroboscopic visual effect
US8736704B2 (en) * 2011-03-25 2014-05-27 Apple Inc. Digital camera for capturing an image sequence
JP5978580B2 (ja) * 2011-09-26 2016-08-24 日本電気株式会社 電子機器、その制御方法及びプログラム
US8719687B2 (en) * 2011-12-23 2014-05-06 Hong Kong Applied Science And Technology Research Method for summarizing video and displaying the summary in three-dimensional scenes
US9001737B2 (en) 2012-03-29 2015-04-07 Qualcomm Incorporated EMBMS service activation and maintenance procedure in multi-frequency networks
JP5945255B2 (ja) 2013-08-27 2016-07-05 日本電信電話株式会社 仮想視点映像生成装置、仮想視点映像生成方法、及び仮想視点映像生成プログラム
KR101538947B1 (ko) 2014-03-03 2015-07-29 서울과학기술대학교 산학협력단 실감형 자유시점 영상 제공 장치 및 방법
CN106104418B (zh) * 2014-03-20 2019-12-20 索尼公司 生成针对视频数据的轨迹数据的方法以及用户设备
CN104243819B (zh) 2014-08-29 2018-02-23 小米科技有限责任公司 照片获取方法及装置
KR102516992B1 (ko) 2015-11-11 2023-04-04 소니그룹주식회사 부호화 장치 및 부호화 방법, 복호 장치 및 복호 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030085992A1 (en) * 2000-03-07 2003-05-08 Sarnoff Corporation Method and apparatus for providing immersive surveillance
EP2031562A2 (en) * 2007-08-30 2009-03-04 Casio Computer Co., Ltd. Moving body image extraction apparatus and computer readable storage medium storing program
TWI466062B (zh) * 2012-10-04 2014-12-21 Ind Tech Res Inst 重建三維模型的方法與三維模型重建裝置
TWI508027B (zh) * 2013-08-08 2015-11-11 Huper Lab Co Ltd 三維偵測裝置及其偵測影像之方法

Also Published As

Publication number Publication date
TW201946027A (zh) 2019-12-01
WO2019167300A1 (en) 2019-09-06
JP7119425B2 (ja) 2022-08-17
US20200410754A1 (en) 2020-12-31
US11508123B2 (en) 2022-11-22
EP3759683A1 (en) 2021-01-06
BR112020017315A2 (pt) 2020-12-15
KR20200116947A (ko) 2020-10-13
CN111788601A (zh) 2020-10-16
EP3759683B1 (en) 2024-02-14
JP2019153863A (ja) 2019-09-12

Similar Documents

Publication Publication Date Title
TWI702568B (zh) 影像處理裝置、編碼裝置、解碼裝置、影像處理方法、程式、編碼方法及解碼方法
US11354840B2 (en) Three dimensional acquisition and rendering
JP4804256B2 (ja) 情報処理方法
US11010958B2 (en) Method and system for generating an image of a subject in a scene
US7573475B2 (en) 2D to 3D image conversion
US20130071012A1 (en) Image providing device, image providing method, and image providing program for providing past-experience images
WO2015098807A1 (ja) 被写体と３次元仮想空間をリアルタイムに合成する撮影システム
US20110216160A1 (en) System and method for creating pseudo holographic displays on viewer position aware devices
US10560683B2 (en) System, method and software for producing three-dimensional images that appear to project forward of or vertically above a display medium using a virtual 3D model made from the simultaneous localization and depth-mapping of the physical features of real objects
US11514654B1 (en) Calibrating focus/defocus operations of a virtual display based on camera settings
KR102281462B1 (ko) 전자 디스플레이 앞에 또는 위에 투사한 것처럼 보이는 가상의 3차원 이미지를 생성하는 시스템, 방법 및 소프트웨어
CN102938844A (zh) 利用立体成像生成自由视点视频
JP2019046077A (ja) オブジェクト情報の複数面への投影によって視点映像を合成する映像合成装置、プログラム及び方法
KR20120078949A (ko) 배경 지형 장면의 입체 이미지 생성 방법, 시스템 및 이를 위한 기록매체
TW201921318A (zh) 用於產生場景之舖磚式三維影像表示之設備及方法
CN108876840A (zh) 一种使用虚拟3d模型产生垂直或前向投影三维图像的方法
JP6775669B2 (ja) 情報処理装置
Louis et al. Rendering stereoscopic augmented reality scenes with occlusions using depth from stereo and texture mapping
KR20210090180A (ko) 화상 처리 디바이스, 화상 처리 방법, 프로그램, 및 표시 디바이스
WO2018187743A1 (en) Producing three-dimensional images using a virtual 3d model
US20220174259A1 (en) Image signal representing a scene
JP2005250748A (ja) 映像合成装置、映像合成プログラムおよび映像合成システム
de Sorbier et al. Depth Camera to Generate On-line Content for Auto-Stereoscopic Displays