TW202027500A - 影像產生設備及其方法 - Google Patents

影像產生設備及其方法 Download PDF

Info

Publication number
TW202027500A
TW202027500A TW108138217A TW108138217A TW202027500A TW 202027500 A TW202027500 A TW 202027500A TW 108138217 A TW108138217 A TW 108138217A TW 108138217 A TW108138217 A TW 108138217A TW 202027500 A TW202027500 A TW 202027500A
Authority
TW
Taiwan
Prior art keywords
eye
posture
depth
image
difference
Prior art date
Application number
TW108138217A
Other languages
English (en)
Inventor
克莉斯汀 維爾甘
Original Assignee
荷蘭商皇家飛利浦有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 荷蘭商皇家飛利浦有限公司 filed Critical 荷蘭商皇家飛利浦有限公司
Publication of TW202027500A publication Critical patent/TW202027500A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/371—Image reproducers using viewer tracking for tracking viewers with different interocular distances; for tracking rotational head movements around the vertical axis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

一種設備包含判定一第一眼觀看姿勢及一第二眼觀看姿勢之一判定器(305)。一接收器(301)接收具有相關聯深度值之一參考第一眼影像及具有相關聯深度值之一參考第二眼影像，該參考第一眼影像係針對一第一眼參考姿勢，且該參考第二眼影像係針對一第二眼參考姿勢。一深度處理器(311)判定一參考深度值，及一修改器(307)藉由使介於該等所接收深度值與該參考深度值之間的一差減少達取決於介於該第二或第一眼觀看姿勢與該第二或第一眼參考姿勢之間的一差的一量，來產生經修改之深度值。一合成器(303)藉由視圖偏移該參考第一眼影像來合成用於該第一眼觀看姿勢之一輸出第一眼影像，及基於該等經修改之深度值來視圖偏移該參考第二眼影像而合成用於該第二眼觀看姿勢之一輸出第二眼影像。 用語第一(first)及第二(second)可分別被左及右所取代，或反之亦然。例如用語第一眼觀看姿勢(first-eye view pose)、第二眼觀看姿勢(second-eye view pose)、參考第一眼影像(reference first-eye image)、及參考第二眼影像(reference second-eye image)可分別被左眼觀看姿勢、右眼觀看姿勢、參考左眼影像、及參考右眼影像所取代。

Description

影像產生設備及其方法
本發明係關於來自第一眼影像、第二眼影像、及相關聯深度的影像產生，且具體而言但非排他地，係關於用於例如有限的虛擬實境應用及服務的影像產生。
近年來，影像及視訊應用之種類及範圍實質上增加，且持續發展及推出利用及消耗視訊的新服務及方式。
例如，一項越來越流行的服務係依使觀看者能夠主動地且動態地與系統互動以改變演現參數的方式來提供影像序列。在許多應用中，一項非常吸引人的特徵係改變觀看者的有效觀看位置及觀看方向（觀看姿勢）的能力，諸如，例如允許觀看者在所呈現的場景中移動及「環視」。此類特徵可具體地能夠提供虛擬實境體驗給使用者。
亦希望，對於許多應用，所呈現的影像係三維影像。實際上，為最佳化觀看者的融入，使用者將所呈現場景體驗為三維場景一般而言係較佳的。
支援基於場景的表示（特別係三維表示）之各種服務上的一個主要問題係需要大量的資料。此導致高資源需求，諸如需要大的儲存資源。然而，在許多情景中，最大的局限非係儲存或處理需求而係通訊需求。若表示場景的資料必須透過頻寬受限的通訊頻道（無論是內部或外部）傳達係必要的，嘗試減少需要傳達的資料量係高度所欲的。
例如，在許多情景中且對於許多應用，可使用主從方法，其中執行例如虛擬實境應用的遠端用戶端透過頻寬受限鏈路耦接至提供所需場景資料的中央服務。
特定提出的服務試圖藉由允許3D體驗適應使用者的移動來提供有限的虛擬實境體驗，只要這些移動小且與一給定參考點不會相差太遠。例如，可針對給定的虛擬視點提供場景的3D體驗，其中該體驗適應於使用者基本上停留在相同點時的小幅頭部移動。例如，該服務可提供一體驗，其中所演現3D視圖跟隨諸如點頭或搖頭之移動，但若使用者將其頭部實質上移動至側面則不跟隨。一服務可提供一完整3D體驗，只要使用者的眼睛保持在一小甜蜜點(sweet spot)內。此甜蜜點針對各眼可具有僅數公分的程度。
就擷取及傳達資料兩者而言，此類方法可允許基於有限資料量來提供高品質3D體驗。一般而言，具有相關聯深度圖的一左眼影像及一右眼影像可提供至本機演現器。然後，該演現器可基於所接收影像及非常接近標稱位置（之該甜蜜點區內）的位置之深度圖而產生目前視圖的視圖影像。在許多情景中，這可提供非常自然的體驗，同時維持非常低的資料速率。例如，對於一會議應用，提供兩個影像串流（各眼一個）及相關聯之深度資料可允許遠端的3D表示具有一致的立體視覺及運動視差，只要使用者保持在相同位置且僅進行小幅的頭部移動。因此，可提供非常自然且高品質的體驗。
然而，此類服務的問題是在於使用者可能移動至甜蜜點外。此將傾向導致影像品質快速且顯著劣化，包括引入可感知的假影（例如，由於缺乏解除遮擋資料）。在許多情況中，品質可非常快速地劣化，導致非常非所欲的使用者體驗。
已對此問題提出不同解決方案。許多系統經配置以隨著使用者移動遠離較佳位置及甜蜜點而使影像逐漸模糊或暗化。在許多情況中，當使用者移動至甜蜜點外時，觀看者被呈現一模糊圖片或一黑色圖片。此當然隱藏品質劣化，且亦傾向讓使用者偏向保持在甜蜜點中。
然而，目前的解決方案在使用者體驗、資料速率、複雜度等方面傾向不係最佳的。
因此，用於合成影像的改善方法將係有利的。尤其是允許改善操作、促進操作、改善品質、增加靈活性、促進實施方案、促進操作、減少資料速率、減少資料儲存、散佈、及/或處理資源需求、改善適應性、改善影像品質、改善使用者體驗、及/或改善效能的方法將係有利的。
因此，本發明尋求單獨或採用任何組合較佳地緩和、減輕、或消除上文提及之缺點的一或多者。
根據本發明之一態樣，提供一種影像產生設備，其包含：一判定器，其用於判定一第一眼觀看姿勢及一第二眼觀看姿勢；一接收器，其用於接收具有相關聯第一深度值之一參考第一眼影像及具有相關聯第二深度值之一參考第二眼影像，該參考第一眼影像係針對一第一眼參考姿勢，且該參考第二眼影像係針對一第二眼參考姿勢；一深度處理器，其用於判定一參考深度值；一第一修改器，其用於藉由使介於該等第一深度值與該參考深度值之間的一差減少達取決於介於該第一眼觀看姿勢與該第一眼參考姿勢之間的一差的一第一量，來產生經修改之第一深度值；一第二修改器，其用於藉由使介於該等第二深度值與該參考深度值之間的一差減少達取決於介於該第二眼觀看姿勢與該第二眼參考姿勢之間的一差的一第二量，來產生經修改之第二深度值；及一合成器，其用於藉由基於該等經修改之第一深度值來視圖偏移該參考第一眼影像來合成用於該第一眼觀看姿勢之一輸出第一眼影像，及藉由基於該等經修改之第二深度值來視圖偏移該參考第二眼影像來合成用於該第二眼觀看姿勢之一輸出第二眼影像。
本發明可允許在許多實施例及情景中之一經改善的使用者體驗。該方法可在許多情景中允許一增加的觀看者之移動自由度，且當一觀看者移動至該甜蜜點外時，可減少所感知的劣化。該方法可允許介於來自視圖偏移的影像品質劣化與空間失真之間的一改善權衡。在許多情景中，隨著從觀看姿勢至針對其提供之影像資料之一參考觀看姿勢的距離增加，該方法可允許所感知之影像品質的改善漸進劣化。該方法可進一步允許有利的操作，同時具有低複雜度及/或資源使用及/或可允許促進實施方案。
該方法可例如允許場景之三維感知，即使對於相差達視圖偏移可傾向係不可靠或引入實質假影之一量的觀看場景或位置。
一姿勢可係一位置及/或定向。姿勢之間的一差可例如係介於該等對應位置之間的歐氏距離(Euclidian distance)及/或可例如係介於對應定向之間的一角距離（或當然，歐氏距離與角距離兩者的一組合測量）。
介於該觀看姿勢與對於該第一眼及/或第二眼的該參考姿勢之間的該差可根據任何合適的距離或差測量來判定。該差可例如係判定為介於該觀看姿勢之一位置與該參考姿勢之一位置之間的一距離之一單調遞增函數、及/或介於該觀看姿勢之一定向與該參考姿勢之一定向之間的一角度差（之一絕對值）的一單調遞增函數。
例如，可相對於該等參考姿勢來判定該觀看姿勢。例如，在一給定時間瞬間，目前的該觀看姿勢可係指定為對應於該參考觀看姿勢。因此，對於該觀看姿勢，不需要視圖偏移以產生該輸出影像，或等效地，可設定所接收之該影像以表示該觀看姿勢的視圖影像。然後，可相對於指定為對應於該參考姿勢的該觀看姿勢來判定後續觀看姿勢。連結該等參考姿勢至觀看姿勢的此一程序可例如在一服務的初始化時執行、及/或在該服務期間在不同時間瞬間被迭代地執行。應理解，該接收器不需接收指示一第一眼或第二眼參考姿勢的特定資訊，而是該等影像固有地對應於此類姿勢。該等參考姿勢可係藉由將其等設定為等於在一時間瞬間的一目前觀看姿勢來判定，且後續觀看姿勢可係相對於此一標稱/參考觀看姿勢來判定。
該第一量及該第二量可係絕對量或相對量。例如，該第一量及該第二量可係用於縮放介於該等第一深度值及（各別地）該等第二深度值與該參考深度值之間的該差的第一因子及第二因子。
該第一眼可係一觀看者之一左眼及一右眼中之一者，且該第二眼可係該觀看者之該左眼及該右眼中之另一者。在一些實施例中，該第一眼可係該左眼，且該第二眼可係該右眼，或反之亦然。在一些實例中，對該第一眼及該左眼的所有參考可分別被對該左眼及右眼的參考所取代，或在一些實例中，分別被對該右眼及該左眼的參考所取代。
根據本發明之一可選特徵，該深度處理器經配置以判定該參考深度值為一預定參考深度值。
在許多情景中，這可允許低複雜度、資源使用、及/或促進實施方案，同時提供高效能及有利的使用者體驗。在一些實施例中，該參考深度值可係恆定或固定深度值，及/或可獨立於該第一深度值或該第二深度值的任何性質。
根據本發明之一可選特徵，該深度處理器經配置以：判定在該參考第一眼影像及該參考第二眼影像中之至少一者中的一觀看者之一凝視點；及針對該凝視點，回應於該等第一深度值及該等第二深度值中之至少一者的一深度值而判定該參考深度值。
在許多實施例中，此可提供有利的效能，並且在許多情景中，可特別減少例如深度失真的該可感知影響。
根據本發明之一可選特徵，該第一修改器經配置以針對介於該第一眼觀看姿勢與該第一眼參考姿勢之間的該差之至少一些值，將介於該等第一深度值與該參考深度值之間的該差減少至實質上零。
在許多實施例中，此可提供一特別有利的使用者體驗。該第二修改器亦可採用該對應的特徵。
該特徵可特別允許具體地減少針對介於觀看姿勢與參考姿勢之間的較大差而引入的解除遮擋假影的一低複雜度方法。
在一些實施例中，該第二修改器經配置以針對介於該第二眼觀看姿勢與該第二眼參考姿勢之間的該差之至少一些值，將介於該等第二深度值與該參考深度值之間的該差減少至實質上零
根據本發明之一可選特徵，該第一修改器經配置以針對介於該第一眼觀看姿勢與該第一眼參考姿勢之間的該差之至少一些值，不減少介於該等第一深度值與該參考深度值之間的該差。
在許多實施例中，此可提供一特別有利的使用者體驗。該第二修改器亦可採用該對應的特徵。
該特徵可特別允許針對介於觀看姿勢與參考姿勢之間的較小差而減少所感知深度/空間失真的一低複雜度方法。
在一些實施例中，該第二修改器經配置以針對介於該第二眼觀看姿勢與該第二眼參考姿勢之間的該差之至少一些值，不減少介於該等第二深度值與該參考深度值之間的該差。
根據本發明之一可選特徵，該第一修改器經配置以判定該第一量為該第一眼觀看姿勢與該第一眼參考姿勢之間的該差之一單調遞增函數。
在許多實施例中，此可提供一特別有利的使用者體驗。該第二修改器亦可採用該對應的特徵。
此可提供介於視圖偏移劣化與深度調適失真之間的一有利漸進權衡。
在一些實施例中，該第二修改器經配置以依據該第二眼觀看姿勢與該第二眼參考姿勢之間的該差之一單調遞增函數來判定該第二量。
根據本發明之一可選特徵，該第一修改器經配置以藉由針對介於該第一眼觀看姿勢與該第一眼參考姿勢之間的該差之至少一些值，依據具有介於零與一之間的一值之一比例因子來縮放介於該等第一深度值與該參考深度值之間的一差，來產生經修改之深度值。
在一些實施例中，該第二修改器經配置以藉由針對介於該第二眼觀看姿勢與該第二眼參考姿勢之間的該差之至少一些值，依據具有介於零與一之間的一值之一比例因子來縮放介於該等第二深度值與該參考深度值之間的一差，來產生經修改之深度值。
在許多實施例中，此可提供一特別有利的使用者體驗。該第二修改器亦可採用該對應的特徵。
根據本發明之一可選特徵，針對介於該第一眼觀看姿勢與該第一眼參考姿勢之間的該差之至少一範圍，該比例因子係介於該第一眼觀看姿勢與該第一眼參考姿勢之間的該差之一單調遞減函數。
在許多實施例中，此可提供一特別有利的使用者體驗。該第二修改器亦可採用該對應的特徵。
此可提供介於視圖偏移劣化與深度調適失真之間的一有利漸進權衡。
根據本發明之一可選特徵，針對介於該第一眼觀看姿勢與該第一眼參考姿勢之間的該差低於一臨限，該比例因子具有介於0.95與1.05之間的一值。
在許多實施例中，針對介於該第一眼觀看姿勢與該第一眼參考姿勢之間的該差低於一臨限，該比例因子具有實質上一的一值。
在許多實施例中，此可提供一特別有利的使用者體驗。該第二修改器亦可採用該對應的特徵。
該特徵可特別允許針對介於觀看姿勢與參考姿勢之間的較小差而減少所感知深度/空間失真的一低複雜度方法。
根據本發明之一可選特徵，該合成器經配置以使該參考第一眼影像及該參考第二眼影像在相同方向偏移。
根據本發明之一可選特徵，該第一修改器經配置以限制介於該等第一經修改深度值與該參考深度值之間的該差。
在一些實施例中，該第一修改器經配置以限制介於該等第一經修改之深度值與該參考深度值之間的該差至（低於）一限值。
在許多實施例中，此可提供一特別有利的使用者體驗。該第二修改器亦可採用該對應的特徵。
該限值可僅應用在一方向及/或可在該向前及向後方向不對稱且不同。
在許多實施例中，該第一修改器可經配置以限制介於該等第一經修改之深度值與該參考深度值之間的該差，使得該等第一經修改之深度值被限制成與一限值相比不從該參考深度值更向前。
在許多實施例中，該第一修改器可經配置以限制介於該等第一經修改之深度值與該參考深度值之間的該差，使得該等第一經修改之深度值被限制成與一限值相比不從該參考深度值更向後。
在許多實施例中，該第一修改器可經配置以限制介於該等第一經修改深度值與該等參考深度值之間的該差之一絕對值至低於一限值。
根據本發明之一可選特徵，該第一修改器經配置以應用一關係於該第一量與介於該第一眼觀看姿勢與該第一眼參考姿勢之間的該差之間，該關係相同於由該第二修改器應用於該第二量與介於該第二眼觀看姿勢與該第二眼參考姿勢之間的該差之間的該關係。
在許多實施例中，此可提供有利的操作。
根據本發明之一態樣，提供一種影像產生方法，該方法包含：判定一第一眼觀看姿勢及一第二眼觀看姿勢；接收具有相關聯第一深度值之一參考第一眼影像及具有相關聯第二深度值之一參考第二眼影像，該參考第一眼影像係針對一第一眼參考姿勢，且該參考第二眼影像係針對一第二眼參考姿勢；判定一參考深度值；藉由使介於該等第一深度值與該參考深度值之間的一差減少達取決於介於該第一眼觀看姿勢與該第一眼參考姿勢之間的一差的一第一量，來產生經修改之第一深度值；藉由使介於該等第二深度值與該參考深度值之間的一差減少達取決於介於該第二眼觀看姿勢與該第二眼參考姿勢之間的一差的一第二量，來產生經修改之第二深度值；及藉由基於該等經修改之第一深度值來視圖偏移該參考第一眼影像來合成用於該第一眼觀看姿勢之一輸出第一眼影像，及藉由基於該等經修改之第二深度值來視圖偏移該參考第二眼影像來合成用於該第二眼觀看姿勢之一輸出第二眼影像。
本發明的此等及其他態樣、特徵、及優點將參考下文描述的（一或多個）實施例闡明且將係顯而易見的。
圖1繪示可實施本發明概念之實施例的實例及變體之系統的實例。
在實例中，影像產生設備101的形式的用戶端經配置以基於從影像源設備103接收的影像來本端地合成影像。在實例中，可在從操作為一遠端伺服器的影像源設備103傳輸（或可能廣播）影像資料串流中提供影像。影像源設備103經配置以經由可例如係網際網路的網路105提供影像資料串流。該配置可對應於用戶端伺服器配置，且據此影像產生設備101亦可稱為用戶端，且影像源設備103亦可稱為伺服器。
舉實例而言，該方法可用以提供一遠端會議服務或應用，且影像源設備103可例如操作為提供一視訊串流給影像產生設備101的一會議橋接器，該影像產生設備可操作為一會議用戶端。應理解，在一些實施例中，影像產生設備101亦可經配置以擷取本端視訊並將此傳輸至操作為一會議橋接器的影像源設備103。亦將理解，在許多應用中（諸如在一會議應用中），影像資料串流具備一相關聯之音訊串流，因此提供全影音表示。
亦將理解的是，所述方法不依賴用戶端伺服器組態，而是可用於任何組態。例如，在一些實施例中，兩個相同的會議設備可直接通訊以實現一會議服務。在此一實例中，各設備可包含如下文針對影像產生設備101及針對影像源設備103兩者所述之功能。
影像源設備103提供影像資料串流，該影像資料串流包含從不同姿勢擷取之場景的影像。具體而言，其包括對應於一第一眼姿勢的至少一第一眼（攝影機）影像及對應於一第二眼姿勢的一第二眼（攝影機）影像。該影像資料串流可特定提供包含該第一眼影像與該第二眼影像的一立體影像或立體影像的移動序列（立體視訊）。
在下列實例及圖式中，對第一眼及第二眼的參考將分別主要指觀看者之左眼及右眼，但是將理解的是，這可不是所有實例中的情況。例如，在其他實例中，對第一眼及第二眼的參考可分別指觀看者的右眼及左眼
在該領域中，用語擺置或姿勢使用為位置及/或方向/定向的共同用語，且例如物體、攝影機、或視圖的位置及方向/定向的組合實際上一般稱為姿勢或擺置。因此，擺置或姿勢指示可包含六個值/分量/自由度，其中每個值/分量通常描述對應的物體之位置/定位或定向/方向之個別性質。當然，在許多情形中，擺置或姿勢可用更少的分量予以考量及表示，例如，若認為一或多個分量係被視為固定的或不相關的（例如，若認為所有物體處於同一高度或具有水平定向，則四個分量可提供物體之姿勢之全面表示）。在下文中，用語姿勢(pose)用於指稱可由一至六個值（對應於最大可能自由度）表示的位置及/或定向。本說明將聚焦在其中姿勢具有最大自由度的實施例及實例，亦即，位置及定向之各者的三個自由度導致總共六個自由度(6DoF)。因此該姿勢可藉由代表六個自由度的一組六個值或六個值的向量表示，且因此姿勢向量可提供三維位置及/或三維方向指示。然而，應理解，在其他實施例中，姿勢可由較少之值予以表示。
應理解，在一些實施例中，可提供多於兩個同時影像。例如，可從一線性攝影機陣列提供影像，且第一眼影像及第二眼影像可經選擇作為來自這些攝影機之兩者的影像，（其中該選擇一般係由影像產生設備101基於觀看者的位置而執行。
除了第一眼影像及第二眼影像之外，影像資料串流包含第一眼影像的一組深度值（此後稱為第一深度值）及第二眼影像的一組深度值（此後稱為第二深度值）。深度值可係任何合適的值且呈任何合適形式。具體而言，深度值可呈分別用於第一眼影像及第二眼影像的第一眼深度圖及第二眼深度圖的形式。深度圖可直接包含距離（在z方向，即，垂直於影像平面）或像差值。
第一眼影像及第二眼影像針對其而提供的姿勢（即，所接收之第一眼姿勢及第二眼姿勢）係參考姿勢，針對該等參考姿勢的所接收第一眼影像及第二眼影像直接提供場景之立體視圖。
在許多實施例中，影像資料串流可僅包含參考第一眼影像及參考第二眼影像，其中沒有特定相關聯參考姿勢之特定指示，惟其等對應於分別針對觀看者之第一眼及第二眼（例如，（標稱）觀看者之左眼及右眼）的相同場景之視圖除外。據此，影像產生設備101可連結該等影像與經本端判定之參考姿勢，該等參考姿勢可用作判定觀看姿勢改變的基礎。例如，在一服務開始時，觀看者的目前姿勢可視為標稱姿勢（所接收影像係直接針對該標稱姿勢呈現），即，針對第一眼及第二眼所標稱本端判定之觀看姿勢係視為對應於所接收之參考影像的姿勢。因此，第一眼參考姿勢經判定為標稱第一眼觀看姿勢，且第二眼參考姿勢經判定為標稱第二眼觀看姿勢，例如，第一眼參考姿勢經判定為標稱左眼觀看姿勢，且第二眼參考姿勢經判定為標稱右眼觀看姿勢。據此，使用者從此標稱姿勢的移動導致相對於標稱/參考姿勢所判定的動態改變之觀看姿勢。
對於直接對應於參考姿勢的觀看姿勢，影像產生設備101可直接產生對應於所接收第一眼影像及第二眼影像的輸出影像（其據此亦可稱為參考影像），且當呈現至使用者的左眼及右眼時（例如，藉由專用的頭戴裝置或立體顯示器（例如，需要使用者配戴眼鏡）），其等可直接提供場景之3D視圖。
然而，若使用者移動其頭部，則視點及觀看姿勢將改變，並且對於自然體驗，希望呈現給使用者的影像改變以反映此改變。此可藉由使用相關聯之深度資料來執行對應於從參考觀看姿勢的觀看姿勢改變的視點偏移來達成。然而，此類經合成影像的品質可實質上劣化，除非姿勢改變非常小。因此，在許多情景中，視點偏移較佳地受限於相對小的甜蜜點。
例如，當使用多個攝影機以擷取場景之3D表示時，在虛擬實境頭戴裝置上的播放經常空間上受限於位於靠近原始攝影機位置的虛擬視點。此確保虛擬視點的演現品質不顯示假影（一般而言，缺失資訊（經遮擋資料）或3D估計誤差的結果）。在所謂的甜蜜點內部，可使用與視圖融合組合的標準紋理映射而直接從一或多個參考攝影機影像與相關聯之深度圖或網格來進行演現。
此可藉由圖2的實例來說明。在實例中，由三角形繪示眼睛位置/姿勢。在實例中，第一眼觀看姿勢201（在實例中，係左眼觀看姿勢）及第二眼觀看姿勢203（在實例中，係右眼觀看姿勢）位於相距於參考第一眼姿勢205（在實例中，係參考左眼姿勢）及參考第二眼姿勢207（在實例中，係左眼觀看姿勢）2 cm之距離處。據此，影像可藉由所接收影像針對參考姿勢205、207之視圖偏移來針對觀看姿勢201、203產生。在實例中，考慮到目前的觀看姿勢201、203位於影像之影像品質對其視為可接受的甜蜜點邊緣處。據此，若觀看者任何進一步移動遠離，則由於影像品質降低而將引發問題，且假影可變成不可接受。
可設想對於此種問題的不同解決方案。一種方法可係切換參考姿勢以與目前的觀看姿勢重合，即，從提供經視圖偏移影像切換至提供針對目前觀看姿勢的所接收參考影像。因此，有效地，對於緊接在甜蜜點外的姿勢，觀看姿勢與參考姿勢係重新對準，然後在新的參考姿勢周圍的移動後續接著相對於新的參考姿勢的視圖偏移。然而，此種方法將導致使用者的感知觀看姿勢的突然跳躍（顯著視差偏移），其傾向被感知為具有高度不自然且令人不悅的體驗。
其他解決方案可包括當觀看姿勢移動至甜蜜點外時呈現模糊或暗化（或黑色）的影像。然而，此亦傾向提供不自然的體驗，並且使移動自由度限制於一般非常小區域。
圖3繪示影像產生設備101的實例，在許多實施例及情景中，該影像產生設備可提供改善的使用者體驗，並且在許多情景中可提供上述問題的改善解決方案（以及一般其他優點及益處）。
影像產生設備101包含接收器301，該接收器接收來自影像源設備103之影像資料串流。因此，接收器301至少接收具有第一深度值的一第一眼影像及具有第二深度值的第二眼影像。據此，影像及深度係針對至少一參考第一眼姿勢及一參考第二眼姿勢提供。在下文中，將為了簡潔及清晰，考慮深度值係在深度圖中針對影像之各者提供的距離值。
下文將描述其中接收第一眼影像與第二眼影像的實例，該等影像被視為已藉由例如在其等之間具有適當距離的兩個攝影機來直接擷取。然而，將理解的是，可以任何合適的方式產生第一眼影像及第二眼影像，且例如可接收針對不同姿勢的較高數目個影像，且第一眼影像及第二眼影像可自這些影像選擇或實際上產生。
例如，該方法可用於具有許多攝影機的擷取承架(rig)。然後，可加入攝影機選擇邏輯，使得一眼影像係自一附近參考攝影機影像子集來合成。然後，甜蜜點可定義為相距於多個參考攝影機位置的一距離函數。
接收器301耦接至一合成器303，該合成器經配置以產生針對觀看者姿勢之輸出影像。據此，影像合成器303被饋送第一眼影像及第二眼影像，以產生輸出第一眼影像及輸出第二眼影像，且具體而言，可產生輸出左眼影像及輸出右眼影像。
合成器303耦接至一姿勢判定器305，該姿勢判定器經配置以判定一第一眼觀看姿勢及一第二眼觀看姿勢。第一眼觀看姿勢係對應於意欲觀看者第一眼（例如，左）的姿勢，且第二眼觀看姿勢係對應於意欲觀看者第二眼（例如，右）的姿勢。因此，第一眼觀看姿勢及第二眼觀看姿勢對應於待由影像產生設備101演現針對其之視圖影像的姿勢，以提供對應於觀看者之目前姿勢的3D影像感知。
在一些實施例中，可例如基於追蹤個別眼姿勢的個別測量來個別地且分開地判定第二眼觀看姿勢及第一眼觀看姿勢。然而，在許多實施例中，可藉由與例如觀看者之眼睛之間的相對姿勢差之預定資訊組合的共同資料來一起判定及表示第一眼觀看姿勢及第二眼觀看姿勢。例如，單一觀看者位置（及可能的頭部旋轉）可經判定並且可指示第一眼觀看姿勢及第二眼觀看姿勢。例如，可假設使用者的眼睛具有一預定距離（例如，在圖2之實例中，6.3 cm），且因此第一眼觀看姿勢及第二眼觀看姿勢係獨特地從指示眼睛位置的頭部位置及指示頭部定向的頭部旋轉得知。據此，在一些實施例中，可估計單一觀看姿勢，且可藉由此觀看姿勢來判定及給定第一眼觀看姿勢及第二眼觀看姿勢。因此，為了簡化，描述亦可指稱單一觀看姿勢為表示第一眼觀看姿勢及第二眼觀看姿勢，但將理解到，對單一觀看姿勢的參考包括對分開的第一眼觀看姿勢及第二眼觀看姿勢的參考。
在不同應用中，可以不同方式判定觀看姿勢輸入。在許多實施例中，可直接追蹤使用者之實體移動。例如，監測使用者區域的攝影機可偵測且追蹤使用者頭部（或甚至眼睛）。在許多實施例中，使用者可配戴可被外部及/或內部構件追蹤的VR頭戴裝置。例如，該頭戴裝置可包含提供有關該頭戴裝置（且因此，頭部）之移動及旋轉之資訊的加速計及陀螺儀。在一些實例中，該VR頭戴裝置可傳輸信號或包含使外部感測器能夠判定該VR頭戴裝置之位置的（例如，視覺）識別符。
在一些系統中，演現觀看姿勢可藉由手動手段提供，例如，由使用者手動控制搖桿或類似的手動輸入。例如，使用者可藉由以一手來手動控制第一操縱桿而使虛擬觀看者在虛擬場景內四處移動，且以另一手來手動移動第二操縱桿而手動控制虛擬觀看者的注視方向。
在一些應用中，可使用手動及自動化方法的組合以產生演現觀看姿勢。例如，頭戴裝置可追蹤頭部定向，且可由使用者使用操縱桿來控制觀看者在場景中的移動/位置。
姿勢判定器305耦接至影像合成器303，該影像合成器被饋送第一眼觀看姿勢及第二眼觀看姿勢。影像合成器303經配置以從參考第一眼影像來合成針對第一眼姿勢的輸出第一眼影像。具體而言，基於適當的深度資料，影像合成器303可執行視圖偏移操作以修改參考第一眼影像以對應於針對目前第一眼姿勢的視圖影像。此類視圖偏移係基於適當深度資料來執行且包括基於其等深度的影像物體之水平偏移，如所屬技術領域中具有通常知識者所知者。
類似地，影像合成器303經配置以從參考第二眼影像來合成針對第二眼姿勢的輸出第二眼影像。具體而言，基於適當的深度資料，影像合成器303可執行視圖偏移操作以修改參考第二眼影像以對應於用於目前第二眼姿勢的視圖影像。
將理解所屬技術領域中具有通常知識者將察覺用於此類視圖偏移/合成之許多不同方法並可使用任何合適的方法。亦應理解，雖然在許多實施例中，輸出第一眼影像係僅從參考第一眼影像產生，且輸出第二眼影像係僅從參考第二眼影像產生，但是在一些實施例中，亦可考慮其他影像。例如，對於單一眼睛，輸出影像可係藉由組合/使用/融合多個參考影像來產生。
因此，輸出第一眼影像及輸出第二眼影像的產生可係分開的程序。輸出第一眼影像係基於對應的第一眼姿勢及深度值而從參考第一眼影像產生，而輸出第二眼影像係基於對應的第二眼姿勢及深度值而從參考第二眼影像產生。因此，參考第一眼影像經偏移以提供輸出第一眼影像，且參考第二影像經偏移以提供輸出第二眼影像。
在一些情況中，第一眼影像及第二眼影像兩者的視圖偏移可相同，且因此介於輸出第一眼姿勢與參考第一眼姿勢之間的差可相同於介於輸出第二眼姿勢與參考第二眼影像之間的差（例如，諸如在圖2中的實例中）。然而，一般而言，姿勢差可不同，例如，頭部繞靠近第一眼之點周圍的旋轉將導致第一眼影像沒有或極少的位置改變，但第二眼影像的位置有顯著改變。個別產生輸出第一眼影像及第二眼影像可允許易於在所產生的輸出影像中反映此類差。
可使用指示兩個姿勢之間的差的任何差測量。例如，可使用判定為兩個姿勢之間的（例如，歐氏及/或角）距離的一差測量。在大多數實施例中，該差測量可係指示該差之量值或絕對值的純量值（例如，諸如一簡單距離測量）。
介於觀看姿勢與對於第一及/或第二眼的參考姿勢之間的差可根據任何合適的距離或差測量來判定。該差可例如係判定為介於該觀看姿勢之一位置與該參考姿勢之一位置之間的距離之一單調遞增函數、及/或介於該觀看姿勢之一定向與該參考姿勢之一定向之間的一角度差（之一絕對值）的一單調遞增函數。
例如，在一些實施例中，介於觀看姿勢與參考姿勢之間的差可係介於觀看位置與參考位置之間的差。在此情況中，可使用任何空間距離測量。例如，可判定歐氏距離，或可使用沿特定軸/方向之距離（例如，僅可使用在x方向或z方向的距離）。
在一些實施例中，介於觀看姿勢與參考姿勢之間的差可係介於觀看定向與參考定向之間的差。在此情況中，可例如使用任何角度差或距離測量。例如，定向之各者可由向量形式的方向來表示，並且差測量可係判定為在包含兩個向量的平面中的兩個向量之間的角度（之絕對值）（或判定為其等之單調函數）。
在一些實施例中，介於觀看姿勢與參考姿勢之間的差可反映介於觀看定向與參考定向之間及介於觀看位置與參考位置之間兩者的差。例如，前文段落所提及之距離測量可係中間差測量，該等中間差測量係經組合以產生最終距離測量，例如，藉由以介於角與位置距離差測量之間適當設定的權重之加權總和。權重可例如反映測量之各者的預期相對感知重要性（且考慮該等值的單位以提供合適之轉換）。在一些實施例中，當然可使用更多複雜的組合函數。例如，加權組合之權重本身可取決於角度差及位置距離測量。
舉另一實例，在觀看姿勢及參考姿勢係藉由包含數個位置及/或定向座標的向量而給出的實施例中，該差可例如經判定為：
Figure 02_image001
其中n 係向量中的座標數量減一，
Figure 02_image003
係觀看姿勢向量之座標i，
Figure 02_image005
係參考姿勢向量之座標i，
Figure 02_image007
係
Figure 02_image009
之絕對值的單調函數，且
Figure 02_image011
係針對座標i的權重因子。在此一實施例中，可例如藉由針對所有定向座標來設定權重因子為零而將差測量減少至一位置距離測量，且可例如藉由針對所有位置座標來設定權重因子為零而將差測量減少至一定向差。
因此，影像合成器303產生對應於目前觀看姿勢的輸出立體影像。只要介於參考與輸出/合成觀看姿勢之間的差足夠小（在甜蜜點內），此可達成而具有高影像品質，且一般而言，觀看者不會感知到影像係藉由視圖偏移來合成。據此，在動態、即時應用中，可據此動態更新輸出立體影像以跟隨使用者的小幅頭部移動。例如，可針對使用者點頭或搖頭等來提供正確立體視覺及運動視差。
然而，圖3之設備進一步包含用於基於介於參考姿勢與觀看姿勢之間的差來調適操作之構件。具體而言，設備可取決於介於參考與合成/輸出觀看姿勢之間的差而調適/修改深度值，而非當合成影像時直接使用所接收之深度值。
具體而言，設備包含：第一修改器307，其經配置以從所接收之第一深度值產生經修改之第一深度值；及一第二修改器309，其經配置以從所接收之第二深度值產生經修改之第二深度值。該等經修改之深度值被饋送至影像合成器303，其中該等經修改之深度值係用於分別合成輸出第一眼影像及輸出第二眼影像。
修改係基於參考深度值，且據此設備進一步包含深度處理器311，該深度處理器經配置以判定參考深度值並將其饋送至第一修改器307及第二修改器309。
第一修改器307經配置以藉由使介於所接收之參考第一深度值與參考深度值之間的一差減少達取決於介於第一眼觀看姿勢與第一眼參考姿勢之間的差的量，來產生經修改之第一深度值。類似地，第二修改器309經配置以藉由使介於所接收之參考第二深度值與參考深度值之間的一差減少達取決於介於第二眼觀看姿勢與第二眼參考姿勢之間的差的量，來產生經修改之第二深度值。在一些情景中，減少之量可相同但一般不會完全相同（且實際上，介於觀看姿勢與參考姿勢之間的差一般將不同）。
在設備中，因此，用於合成的深度值可被修改，使得對參考深度值的差係減少達取決於介於觀看姿勢與對於該眼睛的參考姿勢之間的差的量。減少的量一般可係差（例如，距離）之（絕對值）的單調函數。因此，介於觀看姿勢與對於該眼睛的參考姿勢之間的差愈大，可使給定影像的深度值愈靠近參考深度值。
然而，該減少係個別地應用至第一眼影像及第二眼影像的深度值。因此，關於該等影像中之一者的參考深度值的深度減少可減少應用至個別影像的視圖偏移量。然而，並未移除不同的眼影像之間的像差，且因此保持深度的3D感知。
作為低複雜性實例，參考深度值可係設定為預定深度值。例如，對於一會議應用，可假設從立體攝影機至所擷取之人的典型距離係比如說1.2m。據此，參考深度值可係設定為對應於此距離的深度值，即，對應於1.2m。
第一修改器307及第二修改器309一般可應用相同的功能以判定待應用之減少量，使得介於觀看姿勢與參考姿勢之間的相同差導致相同的減少（無論是就絕對或相對而論）。作為低複雜性實例，可考慮在甜蜜運動內的姿勢，不應用減少，並且對於甜蜜點外的姿勢，所有深度值係設定為等於參考深度值。因此，若第一眼觀看姿勢在參考第一眼姿勢的甜蜜點內（比如說，距離小於2 cm），則沒有改變係應用至第一深度值。然而，若在甜蜜點外，則所有深度值係設定恆定為參考深度值，例如，對應於1.2m之距離的深度值。
據此，當對參考第一眼影像進行視圖偏移時，在甜蜜點內的第一眼觀看姿勢將導致一全觀看姿勢偏移，而導致產生對應於新姿勢的影像。然而，若第一眼觀看姿勢在甜蜜點外，則視圖偏移可基於用於所有像素及影像物體的相同深度值。此將單純導致所產生之輸出影像對應於參考輸入影像，但其中所有像素在相同方向偏移且偏移相同量。
針對第二眼影像獨立地執行相同方法。
因此，為了增加對參考姿勢的距離，深度變化係針對第一眼影像及第二眼影像之各者個別地減少。此導致影像中之物體偏移的較少差異化，從而減少影像品質劣化及假影引入（例如，更少的解除遮擋）。
然而，深度減少不會導致產生缺乏深度的輸出立體影像，即，不會導致產生2D立體影像。而是，就影像內的個別變化而論，針對第一眼影像及第二眼影像的所產生輸出影像可各自在其等內具有較少深度變化，但維持藉由介於所接收之參考第一眼影像與第二眼影像之間的像差所表示的深度差。
事實上，實務上已發現，雖然當介於觀看姿勢與參考姿勢之間的距離增加太多時該方法可引入一些失真，但是整體效果被感知為高度有利的。實際上，效果係描述為自然感知及漸進劣化。已發現，對於較大的姿勢變化，可感知令人滿意的3D使用者體驗。具體而言，已發現對於甜蜜點外的姿勢，該方法可提供介於運動視差與立體視覺線索之間的改善感知一致性。
應注意，對於介於參考姿勢與觀看姿勢之間的差之相同方向，影像合成器303使參考第一眼影像及參考第二眼影像在相同方向偏移。據此，通常頭部移動導致第一眼觀看姿勢及第二眼觀看姿勢在相同方向移動，並且由影像合成器303應用的所得偏移可據此在相同方向。因此，有效觀看姿勢據此改變。此例如對比於其中介於第一眼影像與第二眼影像之間的像差位移經調適以改變對應於顯示/影像平面的深度（即，使事物相對於螢幕向前或向後移動）的情形。在此類情況中，藉由使對應的像素/影像物體在相反方向移動而改變像差。
在許多實施例中，關於參考深度位準的減少量相對於介於觀看姿勢與參考姿勢之間的差針對該差之至少一些值而逐漸改變。因此，針對該差之至少一些值，減少量可係該差的一對一函數，反之亦然，即，其可具有一對一對應並且係對射函數。因此，對於差之一值範圍，可存在對減少量之相對應範圍的一對一映射。具體而言，該一對一映射可係對該量之一範圍的單調地遞增一對一映射。因此，遞增的差導致增加的減少量（及因此減少的介於經修改值與參考深度值之間的差）。具體而言，該一對一映射可係從沒有減少（即，深度值沒有改變）至100%減少（設定經修改之深度值等於參考深度值）的量之一範圍。
在許多實施例中，可藉由依據小於一的正值縮放介於深度值與參考深度值之間的差，而達成減少介於所接收之深度值與參考深度值之間的差。因此，第一修改器307可經配置以藉由針對介於該第一眼觀看姿勢與該第一眼參考姿勢之間的該差之至少一些值，依據具有介於零與一之間的一值之一比例因子來縮放介於該等第一深度值與該參考深度值之間的一差，來產生經修改之深度值。類似地，第二修改器309可經配置以藉由針對介於該觀看第二眼姿勢與該第二眼參考姿勢之間的該差之至少一些值，依據具有介於零與一之間的一值之一比例因子來縮放介於該等第二深度值與該參考深度值之間的一差，來產生經修改之深度值。
該縮放對於第一修改器307及第二修改器309兩者一般可相同，即，其等可相同且針對相同差應用相同縮放。
該方法的實例係示於圖4中。在實例中，藉由深度線3指示參考深度值，而藉由深度線1指示輸入深度。如實例所繪示，當觀看姿勢使得其等與參考姿勢重合（情形1）時，然後，輸出深度值可係產生以與輸入深度值相同，即，應用比例因子1。當觀看姿勢非常遠離參考姿勢時（情形3），經修改之深度值可全部設定為相同於參考深度值，即，將零之比例因子應用於介於所接收之深度值與參考深度值之間的差。對於在間的觀看姿勢（實例中的情形2，正好在甜蜜運動外），可應用0與1之間的比例值，從而使深度值偏向朝向參考深度值。
在許多實施例中，介於參考深度值與經減少之深度值之間的差可係減少至實質上零，即，對於該差之至少一些值，經修改之深度值可係設定為實質上相同於參考深度值。具體而言，若介於觀看姿勢與參考姿勢之間的差（之量值/絕對值）超過臨限，則可將經修改之深度值設定為相同於參考深度值。例如，此可藉由針對這些值而將比例因子設定為零來達成。因此，經修改之深度值將全部係恆定的，且由影像合成器303所執行之視圖偏移將導致全部像素偏移相同量。
在許多實施例中，第一修改器307及第二修改器309可經配置以針對介於對應觀看姿勢與參考姿勢之間的差之至少一些值，不修改深度值。具體而言，第一修改器307可經配置以針對介於該第一眼觀看姿勢與該第一眼參考姿勢之間的該差之至少一些值，不減少介於該等第一深度值與該參考深度值之間的該差。類似地，第二修改器309可經配置以針對介於該第二眼觀看姿勢與該第二眼參考姿勢之間的該差之至少一些值，不減少介於該等第二深度值與該參考深度值之間的該差。具體而言，若差（之量值/絕對值）小於臨限，則修改器307、309可產生與所接收之深度值完全相同的經修改之深度值。該臨限可經選擇以對應於考慮到從視圖偏移的所得影像品質對於其係足夠（例如，其中沒有可感知的劣化）的區域，即，其可係選擇以對應於甜蜜點。
具體而言，此可藉由針對介於觀看姿勢與參考姿勢之間的差符合標準（諸如該差低於對應於甜蜜點之臨限）而將比例因子設定為等於一來達成。
在下文中，將提供其中使用此種方法來修改深度值的具體實例。在實例中，
Figure 02_image013
係用來表示介於觀看姿勢與參考姿勢之間的差，在具體實例中，該差係判定為介於目前眼睛（第一或第二）3D位置與用於合成此眼睛之新視圖的攝影機的參考攝影機視圖位置之間的歐氏距離。現在引入球狀甜蜜點之半徑參數
Figure 02_image015
。當演現具有如0.25 m般近之物體的擷取場景時，一般值為
Figure 02_image017
。亦引入第二半徑參數
Figure 02_image019
，其具有一般值為
Figure 02_image021
，其係超過其將深度圖縮放回平面（無剩餘深度變化）的距離。
使
Figure 02_image023
表示假設的參考平面，希望朝向該參考平面縮放深度圖，即，其表示參考深度值。請注意，參考深度可係對應於觀看者之凝視方向之所觀察深度的恆定改變之值。對於深度圖中的各像素
Figure 02_image025
（即，對於深度圖中的各深度值），現計算與參考深度的差：
Figure 02_image027
。 亦計算取決於眼睛至甜蜜點中心的距離而應用的比例因子：
Figure 02_image029
。 當
Figure 02_image031
時，比例因子s減少至0。圖5展示比例因子隨著差
Figure 02_image013
而變動。
現將深度改變為：
Figure 02_image033
。 在實例中，介於減少量（比例因子）與姿勢差之間的相同關係用於第一眼影像及第二眼影像兩者，即，上述描述可視為個別應用至第一修改器307及第二修改器309兩者。
應理解，雖然具體實例使用比例因子來減少介於深度值與參考深度值之間的差，但是在其他實施例中，可使用其他方法。例如，可從所接收深度值減去一可變深度位移，其中此位移取決於介於觀看姿勢與參考姿勢之間的差。
在先前實例中，參考深度值係判定為取決於特定設定而選擇的預定固定值。例如，對於0.75 m之典型會議距離係0.75 m，對於1.5 m之典型會議距離係1.5 m。然而，在許多實施例中，參考深度值可係動態判定之值。
例如，在許多實施例中，深度處理器311可經配置以回應於參考影像的第一深度值及/或第二深度值來判定參考深度值。例如，參考深度值可判定為影像物體之平均深度值或深度值。例如，可使用臉部偵測以偵測對應於臉部的影像物體，且參考深度值可設定為經識別影像物體之平均深度值。
在許多實施例中，深度處理器311可經配置以基於觀看者的凝視來判定參考深度值。
具體而言，深度處理器311可包含一凝視估計器，該凝視估計器經配置以估計第一眼影像及/或第二眼影像中的凝視點。凝視點指示影像內的觀看者凝視，且因此反映使用者正在注視影像中的何處。
凝視點可係例如藉由擷取觀察者之攝影機影像及在臉部偵測之後提取眼影像區域來判定。然後，可偵測瞳孔，因為此係相對暗區域。瞳孔相對於眼睛區域之位置可係用以計算3D空間中的凝視方向。此可使用整合於顯示器中的攝影機或使用整合至虛擬實境頭戴裝置中的攝影機來完成。甚至更簡單之方法是假設凝視方向對應於觀看者方向（頭部定向）。然後，可假設凝視點對應於各第一/第二眼影像的中心點。
然後，可將參考深度值設定為凝視點的深度值。例如，若考慮凝視點以定義特定像素，則可將參考深度值設定為該像素的深度值。若考慮凝視點具有空間延伸，則參考深度值可例如設定為對應於凝視點的區內的深度值之平均。在一些實施例中基於第一眼影像、及在其他實施例中基於第二眼影像、或可實際上基於兩者，來判定參考深度值。例如，可判定第一眼影像及第二眼影像兩者中的凝視點，且可將參考深度值設定為兩個影像中之對應深度值的平均。
在許多實施例中，此可提供實質上改善的使用者體驗，並且可實質上減少由對參考姿勢之較大距離而深度值修改所導致的任何失真之可感知性。
具體而言，該方法反映認知到，空間失真之感知效果極度取決於觀看者正在注視場景中的何處。例如，當觀看者恰巧在注視遠方物體時，其不會觀察到由於觀看姿勢偏移的視差改變。影像的最重要部分係集中在凝視方向/點周圍的小立體角中。因此，減少視差失真及凝視方向的變化可實質上改善所感知的影像品質。
圖6繪示對應於圖5的情形，但其中觀看者將其凝視點改變至場景的最向前部分。因此，參考深度值改變至最向前深度，且取決於姿勢差的縮放現在係相對於此深度，即，相對於該場景之最向前部分。因此，該實例可反映對應於一人凝視方向（一般係所注意之物體）的深度周圍之比例因子應用。因此，當一人移動至甜蜜點外時，所感知的視差改變在凝視方向減少。
應注意，特別有利的效果是，甚至對於介於觀看姿勢與參考姿勢之間的較大差，未移除場景之所感知3D體驗及深度。因此，雖然個別影像的深度變化被減少，從而減少個別視圖偏移操作的假影及劣化（例如，由於解除遮擋），維持介於輸出第一眼影像與第二眼影像之間的像差，從而在呈現觀看者的兩眼時保持立體3D效果。
簡言之，可藉由考慮下述情況而例示：雖然對各個別影像的效果係減少朝向「平」影像的深度，但兩個影像仍然係一起以介於左影像與右影像之間（介於第一影像與第二影像之間，或反之亦然）的像差而提供立體影像，且因此提供場景中的深度之感知。據此，輸出第一眼影像及輸出第二眼影像包括立體視覺線索。
此可藉由考慮具體實例來說明。
圖7展示其中傳統的立體顯示器可在距觀看者給定距離處的合適顯示器面板701上呈現立體影像的情景。在此情況中，對應於物體上的一個點的兩個影像點
Figure 02_image035
及
Figure 02_image037
係分別呈現給觀看者的左眼及右眼。具有眼睛在位置(
Figure 02_image039
)處的使用者將感知點/物體在深度位置
Figure 02_image041
處。在此實例中，不存在與立體影像一起提供的深度資料，且據此未執行視圖偏移，且影像點不會改變位置。因此，若觀看者使其眼睛從位置(
Figure 02_image039
)移動至位置
Figure 02_image043
，則虛擬3D物體點亦從位置
Figure 02_image041
移動至位置
Figure 02_image045
。據此，包括物體深度變化的位置變化發生在使用者改變視點時。然而，對於正確的運動視差，當觀看者移動其頭部時，物體點應保持靜止。在此類傳統方法中，立體與運動視差線索不一致。
圖8繪示對應的實例，但是其中深度資料係可用的，且基於觀看者姿勢之變化來執行合適的視圖偏移。在此實例中，當觀看者移動其頭部時，影像點據此在顯示面板上移動（彎曲箭頭）。因此，當觀看者移動其頭部且立體與運動視差線索一致時，物體點
Figure 02_image041
維持靜止。然而，對於較大偏移，視圖偏移可引入誤差、劣化、或假影。
圖9繪示圖8的實例，但進一步考慮到在不同深度
Figure 02_image047
處的第二物體點
Figure 02_image049
。當觀看者移動頭部時，再次使用深度資料以執行視圖偏移。然而，所需偏移的大小取決於該點的深度，且由於第二點位於較大深度處，對於各眼的其運動視差（彎曲箭頭）將小於第一點者。立體及運動視差線索對物體點兩者皆保持一致，但是對於較大視圖偏移，由於視圖偏移而劣化。
圖10繪示所描述之設備的方法，其中已針對各個別影像減少深度變化。由於在參考深度值周圍之經減少深度變化，對於在場景中之不同深度處之點的所應用視圖偏移之變化的差被減少，且具體而言，若針對所有值將深度設定為相同（即，經修改之深度值設定為等於參考深度值），則偏移將係相同。此之一實質進展係在於其可減少由視圖偏移所導致的影像品質劣化。具體而言，其可所有像素在相同方向移動且可能移動相同量時減少或實際上移除解除遮擋。
然而，如圖10中所繪示，對於深度
Figure 02_image047
，第二物體點
Figure 02_image049
將偏移達錯誤量。此將導致經偏移之物體點被感知係在不同位置
Figure 02_image051
處，包括在不同深度
Figure 02_image053
處。據此，立體及運動視差線索對於第一點而言一致，但是對於第二點而言不一致。
然而，所感知場景仍係三維場景，且實際上，經感知位置偏移通常可相對小。此外，在所述方法中，介於影像品質劣化與位置一致性之間的權衡可取決於介於觀看姿勢與參考姿勢之間的差而靈活調適。
此外，若參考深度值係基於凝視點而調適，則可實質上減少對在其他深度處之物體的失真可感知影響，且實際上一般而言，在該實例中，若觀看者凝視第一點的方向，則觀看者可能甚至未注意到關於第二點的不一致性。
在許多實施例中，第一修改器307可經配置以應用限值至介於所產生之第一經修改之深度值與參考深度值之間的差。類似地，第二修改器309可經配置以應用限值至介於所產生之第二經修改之深度值與參考深度值之間的差。因此，藉由應用最大深度值及/或最小深度值，深度值可相對於參考深度值而被約束。在一些實施例中，可僅在一個方向應用限值（例如，可定義最大向前或向後值），但是在其他實施例中，可應用限值以用於增加及減少深度值。
圖11繪示具有深度限值之情景的實例。在實例中，應用深度值對介於zfar 與znear 之間的值的裁剪(clipping)，以進一步減少視圖偏移假影。
在具體實例中，顯示靠近觀看者的物體連同其等真實深度引起的動作視差，此係因為與近裁剪平面比最接近之物體更接近觀看者。然而，在遠裁剪平面zfar 處，將裁剪剛好在參考平面後方的極小距離的物體之深度。因此，在參考平面後方將不會允許太多深度變化，這將減少演現誤差及解除遮擋假影。
由於參考深度可取決於觀察者之動態觀看方向或凝視方向而持續地改變，所以近裁剪平面及遠裁剪平面亦可如此。例如，可迫使所得視圖的深度變化總是具有10個像素的最大失真（翹曲距離(warp distance)），並且選擇近及遠深度裁剪範圍使得保持此最大翹曲距離。實務上，此可意指當參考深度靠近觀察者（附近物體給出更大的視差）時，近及遠裁剪範圍靠近此參考深度，且反之，當此深度愈大時，其等較遠離參考深度。以此方式，可獨立於參考深度來控制影像演現品質。在一些實施例中，裁剪平面亦可以（作為縮放之）漸進方式引入，從而例如從甜蜜點偏差愈多，各裁剪平面愈移動接近其最終固定值。
用語「第一(first)」及「第二(second)」可分別被左及右所取代，或反之亦然。例如用語第一眼觀看姿勢(first-eye view pose)、第二眼觀看姿勢(second-eye view pose)、參考第一眼影像(reference first-eye image)、及參考第二眼影像(reference second-eye image)可分別被左眼觀看姿勢、右眼觀看姿勢、參考左眼影像、及參考右眼影像來取代（或反之亦然）。
應理解，所描述之方法及原理可應用於許多不同及變化的應用及情景，並且應理解，為了清楚，前文描述已聚焦於較不複雜的實例。
例如，該方法可用於播放廣泛使用之360度全向立體(omnidirectional stereo, ODS)格式。實際上，即使未傳輸密集深度圖，仍然可使用所描述之原理。例如，ODS播放器可包括圖形卡著色器程式碼，該圖形卡著色器程式碼可對在立體眼對(stereo eye-pair)中心的小影像塊(image patch)（例如，32×32像素區域）執行單一像差測量，在演現期間（即，基本上在演現管線之結尾處）已從ODS格式提取該小影像塊。然後，可使用另一著色器將此單一深度值應用至所有像素（對該兩個影像的全域偏移）。當360度環視時，將對在某一方向的整體深度採用運動視差效果（例如，站得很近的人對在另一方向離很遠的一切事物）。
本發明能以包括硬體、軟體、韌體、或彼等之任何組合的任何合適形式實作。本發明可任選地至少部分地實作為在一或多個資料處理及/或數位信號處理器上運行的電腦軟體。本發明之實施例的元件及組件可以任何合適方式實體地、功能地、及邏輯地實作。實際上，功能可以單一單元實施、以複數個單元實施、或實施為其他功能單元的部分。因此，本發明可以單一單元實作，或可實體地及功能地分布在不同單元、電路、及處理器之間。
雖然本發明已相關於一些實施例描述，未意圖受限於本文陳述的具體形式。更確切地說，本發明的範圍僅由隨附的申請專利範圍限制。額外地，雖然特徵可顯現為結合特定實施例描述，所屬技術領域中具有通常知識者會認知所描述之實施例的各種特徵可根據本發明組合。在申請專利範圍中，用語包含不排除其他元件或步驟的存在。
另外，雖然個別地列舉，複數個構件、元件、電路、或方法步驟可藉由，例如，單一電路、單元、或處理器實作。額外地，雖然個別特徵可包括在不同的申請專利範圍中，可能有有利的組合，且包括在不同申請專利範圍中不暗示特徵的組合係可行及/或有利的。特徵包括在一類別之請求項中並未暗示對此類別的限制，反而指示該特徵可視需要同等地適用於其他請求項。另外，在申請專利範圍中的特徵次序並未暗示特徵必須以該次序作用的任何具體次序，且方法項中之個別步驟的次序未特別暗示步驟必須以此次序執行。更確切地說，步驟可以任何合適次序執行。此外，單數型參照未排除複數型。因此，對「一(a、an)」、「第一(first)」及「第二(second)」等的指涉不排除複數。在申請專利範圍中的元件符號僅提供作為一闡明實例，且不應解讀為依任何方式限制申請專利範圍之範疇。
1:深度線/情形 2:情形 3:深度線/情形 101:影像產生設備 103:影像源設備 105:網路 201:觀看姿勢 203:觀看姿勢 205:參考第一眼姿勢/參考姿勢 207:參考第二眼姿勢/參考姿勢 301:接收器 303:合成器 305:判定器 307:修改器 309:修改器 311:深度處理器 701:顯示器面板
Figure 02_image055
…差
Figure 02_image057
…影像點
Figure 02_image059
…影像點
Figure 02_image061
…深度位置/物體點
Figure 02_image063
…位置
Figure 02_image065
…物體點
Figure 02_image049
…位置 (
Figure 02_image051
,
Figure 02_image067
) …位置
Figure 02_image069
…位置
Figure 02_image043
…半徑參數
Figure 02_image015
…半徑參數
Figure 02_image019
…深度
Figure 02_image047
…深度 zfar …深度值/遠裁剪平面 znear …深度值
Figure 02_image053
…參考平面
將僅以舉例之方式參考圖式描述本發明的實施例，其中 〔圖1〕繪示根據本發明的一些實施例之影像處理系統之元件的實例； 〔圖2〕繪示觀看姿勢的實例； 〔圖3〕繪示根據本發明一些實施例之影像產生設備之元件的實例； 〔圖4〕繪示深度變化及觀看姿勢的實例； 〔圖5〕繪示介於觀看姿勢與參考姿勢之間的差及比例因子之間關係的實例； 〔圖6〕繪示深度變化及觀看姿勢的實例； 〔圖7〕繪示影像位置與影像物體之位置及深度感知之間的關係的實例； 〔圖8〕繪示影像位置與影像物體之位置及深度感知之間的關係的實例； 〔圖9〕繪示影像位置與影像物體之位置及深度感知之間的關係的實例； 〔圖10〕繪示影像位置與影像物體之位置及深度感知之間的關係的實例； 〔圖11〕繪示深度變化及觀看姿勢的實例。
101:影像產生設備
301:接收器
303:合成器
305:判定器
307:修改器
309:修改器
311:深度處理器

Claims (14)

  1. 一種影像產生設備，其包含： 一判定器(305)，其用於判定一第一眼觀看姿勢及一第二眼觀看姿勢； 一接收器(301)，其用於接收具有相關聯第一深度值之一參考第一眼影像及具有相關聯第二深度值之一參考第二眼影像，該參考第一眼影像係針對一第一眼參考姿勢，且該參考第二眼影像係針對一第二眼參考姿勢； 一深度處理器(311)，其用於判定一參考深度值； 一第一修改器(307)，其用於藉由使介於該等第一深度值與該參考深度值之間的一差減少達取決於介於該第一眼觀看姿勢與該第一眼參考姿勢之間的一差的一第一量，來產生經修改之第一深度值； 一第二修改器(309)，其用於藉由使介於該等第二深度值與該參考深度值之間的一差減少達取決於介於該第二眼觀看姿勢與該第二眼參考姿勢之間的一差的一第二量，來產生經修改之第二深度值；及 一合成器(303)，其用於藉由基於該等經修改之第一深度值來視圖偏移該參考第一眼影像來合成用於該第一眼觀看姿勢之一輸出第一眼影像，及藉由基於該等經修改之第二深度值來視圖偏移該參考第二眼影像來合成用於該第二眼觀看姿勢之一輸出第二眼影像。
  2. 如請求項1之影像設備，其中該深度處理器(311)經配置以判定該參考深度值為一預定參考深度值。
  3. 如請求項1之影像設備，其中該深度處理器(311)經配置以：判定在該參考第一眼影像及該參考第二眼影像中之至少一者中的一觀看者之一凝視點；及針對該凝視點，回應於該等第一深度值及該等第二深度值中之至少一者的一深度值而判定該參考深度值。
  4. 如前述請求項中任一項之影像設備，其中該第一修改器(307)經配置以針對介於該第一眼觀看姿勢與該第一眼參考姿勢之間的該差之至少一些值，將介於該等第一深度值與該參考深度值之間的該差減少至實質上零。
  5. 如前述請求項中任一項之影像設備，其中該第一修改器(307)經配置以針對介於該第一眼觀看姿勢與該第一眼參考姿勢之間的該差之至少一些值，不減少介於該等第一深度值與該參考深度值之間的該差。
  6. 如前述請求項中任一項之影像設備，其中該第一修改器(307)經配置以判定該第一量為該第一眼觀看姿勢與該第一眼參考姿勢之間的該差之一單調遞增函數。
  7. 如前述請求項中任一項之影像設備，其中該第一修改器經配置以藉由針對介於該第一眼觀看姿勢與該第一眼參考姿勢之間的該差之至少一些值，依據具有介於零與一之間的一值之一比例因子來縮放介於該等第一深度值與該參考深度值之間的一差，來產生經修改之深度值。
  8. 如請求項7之影像設備，其中針對介於該第一眼觀看姿勢與該第一眼參考姿勢之間的該差之至少一範圍，該比例因子係介於該第一眼觀看姿勢與該第一眼參考姿勢之間的該差之一單調遞減函數。
  9. 如請求項7或8之影像設備，其中針對介於該第一眼觀看姿勢與該第一眼參考姿勢之間的該差低於一臨限，該比例因子具有介於0.95與1.05之間的一值。
  10. 如前述請求項中任一項之影像設備，其中該合成器(303)經配置以使該參考第一眼影像及該參考第二眼影像在相同方向偏移。
  11. 如前述請求項中任一項之影像設備，其中該第一修改器(307)經配置以限制介於該等第一經修改深度值與該參考深度值之間的該差。
  12. 如前述請求項中任一項之影像設備，其中該第一修改器(307)經配置以應用一關係於該第一量與介於該第一眼觀看姿勢與該第一眼參考姿勢之間的該差之間，該關係相同於由該第二修改器(309)應用於該第二量與介於該第二眼觀看姿勢與該第二眼參考姿勢之間的該差之間的該關係。
  13. 一種影像產生之方法，該方法包含： 判定一第一眼觀看姿勢及一第二眼觀看姿勢； 接收具有相關聯第一深度值之一參考第一眼影像及具有相關聯第二深度值之一參考第二眼影像，該參考第一眼影像係針對一第一眼參考姿勢，且該參考第二眼影像係針對一第二眼參考姿勢； 判定一參考深度值； 藉由使介於該等第一深度值與該參考深度值之間的一差減少達取決於介於該第一眼觀看姿勢與該第一眼參考姿勢之間的一差的一第一量，來產生經修改之第一深度值； 藉由使介於該等第二深度值與該參考深度值之間的一差減少達取決於介於該第二眼觀看姿勢與該第二眼參考姿勢之間的一差的一第二量，來產生經修改之第二深度值；及 藉由基於該等經修改之第一深度值來視圖偏移該參考第一眼影像來合成用於該第一眼觀看姿勢之一輸出第一眼影像，及藉由基於該等經修改之第二深度值來視圖偏移該參考第二眼影像來合成用於該第二眼觀看姿勢之一輸出第二眼影像。
  14. 一種包含電腦程式碼構件之電腦程式產品，其經調適以當在一電腦上運行該程式時執行如請求項13之所有步驟。
TW108138217A 2018-10-23 2019-10-23 影像產生設備及其方法 TW202027500A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18202085.9A EP3644604A1 (en) 2018-10-23 2018-10-23 Image generating apparatus and method therefor
EP18202085.9 2018-10-23

Publications (1)

Publication Number Publication Date
TW202027500A true TW202027500A (zh) 2020-07-16

Family

ID=63965395

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108138217A TW202027500A (zh) 2018-10-23 2019-10-23 影像產生設備及其方法

Country Status (8)

Country Link
US (1) US11368663B2 (zh)
EP (2) EP3644604A1 (zh)
JP (1) JP7377861B2 (zh)
KR (1) KR102659115B1 (zh)
CN (1) CN112913230B (zh)
BR (1) BR112021007522A2 (zh)
TW (1) TW202027500A (zh)
WO (1) WO2020083950A1 (zh)

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69417824D1 (de) * 1993-08-26 1999-05-20 Matsushita Electric Ind Co Ltd Stereoskopischer Abtastapparat
KR101539935B1 (ko) * 2008-06-24 2015-07-28 삼성전자주식회사 3차원 비디오 영상 처리 방법 및 장치
JP5449162B2 (ja) * 2008-07-31 2014-03-19 三菱電機株式会社 映像符号化装置、映像符号化方法、映像再生装置、及び映像再生方法
KR20110136326A (ko) * 2010-06-14 2011-12-21 (주)누리스코프 삼차원 입체안경의 수평각 정보를 반영한 삼차원 스테레오스코픽 렌더링 시스템
JP5494283B2 (ja) * 2010-06-24 2014-05-14 ソニー株式会社 立体表示装置及び立体表示装置の制御方法
JP5059922B2 (ja) * 2010-09-15 2012-10-31 シャープ株式会社 立体画像生成装置、立体画像表示装置、立体画像調整方法、立体画像調整方法をコンピュータに実行させるためのプログラム、及びそのプログラムを記録した記録媒体
US9865083B2 (en) * 2010-11-03 2018-01-09 Industrial Technology Research Institute Apparatus and method for inpainting three-dimensional stereoscopic image
TR201819457T4 (tr) * 2011-06-22 2019-01-21 Koninklijke Philips Nv Bir sunum ekranı için bir sinyal oluşturmak üzere yöntem ve cihaz.
JP6178326B2 (ja) * 2011-11-11 2017-08-09 ジーイー ビデオ コンプレッション エルエルシー デプスマップの推定および更新を用いる効率的なマルチビュー符号化
KR101470693B1 (ko) * 2012-07-31 2014-12-08 엘지디스플레이 주식회사 영상 데이터 처리 방법과 이를 이용한 입체 영상 표시장치
JP5903023B2 (ja) * 2012-10-04 2016-04-13 株式会社ジオ技術研究所 立体視地図表示システム
KR20150093946A (ko) * 2014-02-10 2015-08-19 한국전자통신연구원 시점 변경 시에 기존 값을 유지하는 뎁스 맵 구조
EP3001680A1 (en) 2014-09-24 2016-03-30 Thomson Licensing Device, method and computer program for 3D rendering
KR20180019671A (ko) * 2015-06-16 2018-02-26 코닌클리케 필립스 엔.브이. 이미지에 대한 깊이 맵을 결정하기 위한 방법 및 장치
KR101835434B1 (ko) * 2015-07-08 2018-03-09 고려대학교 산학협력단 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
WO2017007166A1 (ko) * 2015-07-08 2017-01-12 고려대학교 산학협력단 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
BR112019005855A2 (pt) 2016-09-29 2019-06-11 Koninklijke Philips Nv aparelho de processamento de imagens, sistema de processamento de imagens, e método para fornecer uma imagem
WO2018075053A1 (en) * 2016-10-21 2018-04-26 Siemens Aktiengesellschaft Object pose based on matching 2.5d depth information to 3d information
US20180173300A1 (en) * 2016-12-19 2018-06-21 Microsoft Technology Licensing, Llc Interactive virtual objects in mixed reality environments
EP3422711A1 (en) 2017-06-29 2019-01-02 Koninklijke Philips N.V. Apparatus and method for generating an image
JP7167633B2 (ja) 2018-10-31 2022-11-09 住友電気工業株式会社 レーダセンサ用アンテナシステム及びレーダセンサ

Also Published As

Publication number Publication date
EP3644604A1 (en) 2020-04-29
US20210385422A1 (en) 2021-12-09
BR112021007522A2 (pt) 2021-07-27
EP3871408A1 (en) 2021-09-01
EP3871408B1 (en) 2024-05-22
CN112913230A (zh) 2021-06-04
KR102659115B1 (ko) 2024-04-23
JP7377861B2 (ja) 2023-11-10
CN112913230B (zh) 2023-09-12
WO2020083950A1 (en) 2020-04-30
KR20210076975A (ko) 2021-06-24
JP2022504883A (ja) 2022-01-13
US11368663B2 (en) 2022-06-21

Similar Documents

Publication Publication Date Title
CN106165415B (zh) 立体观看
TW201921922A (zh) 用於產生影像之設備及方法
JP7480163B2 (ja) 画像の奥行きマップの処理
KR102531767B1 (ko) 이미지를 생성하기 위한 장치 및 방법
US11582384B2 (en) Methods and apparatus for encoding, communicating and/or using images
TW202029742A (zh) 影像合成
KR20200128661A (ko) 뷰 이미지를 생성하기 위한 장치 및 방법
JP2022518285A (ja) シーンを表す画像信号
US11734875B2 (en) Image representation of a scene
KR102659115B1 (ko) 이미지 생성 장치 및 그를 위한 방법
WO2017141139A1 (en) A method for image transformation
EP4030752A1 (en) Image generation system and method