TW201528208A - 影像控制系統及方法 - Google Patents

影像控制系統及方法 Download PDF

Info

Publication number
TW201528208A
TW201528208A TW103134357A TW103134357A TW201528208A TW 201528208 A TW201528208 A TW 201528208A TW 103134357 A TW103134357 A TW 103134357A TW 103134357 A TW103134357 A TW 103134357A TW 201528208 A TW201528208 A TW 201528208A
Authority
TW
Taiwan
Prior art keywords
frame
mth
nth
frames
composite
Prior art date
Application number
TW103134357A
Other languages
English (en)
Inventor
Gary D Sharp
David A Coleman
Jianmin Chen
Original Assignee
Reald Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Reald Inc filed Critical Reald Inc
Publication of TW201528208A publication Critical patent/TW201528208A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/16—Spatio-temporal transformations, e.g. video cubism
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/911—Television signal processing therefor for the suppression of noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Television Systems (AREA)

Abstract

本文揭示之系統、裝置及方法可應用一計算空間-時間分析以評估時間及/或透視圖影像間之像素，以確定可用來產生具有增加之信號雜訊比之影像資料的成像細節。

Description

影像控制系統及方法
本揭示案一般係關於影像系統及程序，且更特定而言之，係關於可操作以產生單透視或多透視影像資料之系統及處理。
不論是擷取在膠片上之影像或是數位影像均可具有固有之雜訊假影，此係由於擷取該等影像之膠片或感測器對於一定量之光在其靈敏度上具有某些限制，此將造成其信號中之雜訊。其它假影之來源可包括擷取後處理，包括：重調大小、色彩調整、變形、壓縮、多工，或任何其它針對該影像之操作。此外，就所擷取之資料中所得的對比度而言，由於該擷取系統組件(例如：透鏡、感測器或任何其它光學組件)之繞射限制，該擷取系統可具有固有的解析度限制。該擷取資料中之對比度可根據該擷取資料中所得之每毫米線對來表徵。
本揭示案之一示例性影像處理系統可包括一介面，其經組態以接收具有第一與第二相對高變異區域(RHVRs)及第一與第二相對低變異區域(RLVRs)之影像，以及一處理器，其經組態以產生具有客觀計算修正之影像。在一實施例中，該客觀計算修正可包括以下各項及任何組合：1)該第一RHVR之信號雜訊比(μ1st RHVR/σ1st RHVR)之增加，其中μ1st RHVR係第一RHVR 之平均像素值且σ1st RHVR係第一RHVR之像素值之標準差；2)該第二RHVR之信號雜訊比(μ2nd RHVR/σ2nd RHVR)之減少，其中μ2nd RHVR係第二RHVR之平均像素值且σ2nd RHVR係第二RHVR之像素值之標準差；3)該第一RLVR之信號雜訊比(μ1st RLVR/σ1st RLVR)之增加，其中μ1st RLVR係第一RLVR之平均像素值且σ1st RLVR係第一RLVR之像素值之標準差；及4)該第二RLVR之信號雜訊比(μ2nd RLVR/σ2nd RLVR)之減少，其中μ2nd RLVR係第二RLVR之平均像素值且σ2nd RLVR係第二RLVR之像素值之標準差。在一實施例中，該客觀計算修正係基於在複數個時間圖框及透視圖間之像素之空間-時間分析。
建構一圖框之方法的一示例性實施例包括接收複數個具有第一線對頻率及第一信號雜訊比之圖框以及基於該等複數個圖框中之影像資料而產生至少一生成圖框。該至少一個生成圖框具有第二線對頻率及第二信號雜訊比。該第二信號雜訊比可大於第一信號雜訊比，且該第二線對可為該第一線對頻率之至少90%。在一實施例中，該第二線對頻率可係第一線對頻率之至少95%。在另一實施例中，該第二線對頻率可大於第一線對頻率。
用於建構一影像之方法的一示例性實施例可包括接收複數個圖框以及產生至少一生成圖框。產生可包括：a)對於M為Y且N為X，其中X與Y各係大於零之數，測定針對該等複數個圖框之第M圖框的第N向量，該第N向量使第M圖框與不為該第M圖框之該等複數個圖框之一第N比較圖框相關；b)基於與該第M圖框不同之第N比較圖框及針對該第M圖框之第N向量建立第M圖框之第N生成圖框；c)將該第M圖框之第N生成圖框的像素與該第M圖框的像素作比較；d)識別該第M圖框之第N生成圖框的低可信度 像素，其中該等低可信度像素與該第M圖框之對應像素之間之一相對差大於一臨限值；及e)將該第N生成圖框的該等低可信度像素以基於該第M圖框之像素測定之該等像素替代。
100~108‧‧‧圖框
110~116‧‧‧生成圖框
200~218‧‧‧圖框
300‧‧‧影像處理系統
302‧‧‧影像來源
304‧‧‧影像產生模組
306‧‧‧影像混合模組
308‧‧‧影像效果模組
310‧‧‧壓縮模組
312‧‧‧影像資料儲存器
400‧‧‧程序
402‧‧‧確定單元
404‧‧‧建立單元
406‧‧‧比較單元
408‧‧‧識別單元
410‧‧‧替代單元
500‧‧‧圖框
502‧‧‧比較圖框
504’‧‧‧場景元素
504”‧‧‧場景元素
504'''‧‧‧場景元素
506‧‧‧向量
508‧‧‧生成圖框
510‧‧‧低可信度像素
600‧‧‧程序
602‧‧‧確定單元
604‧‧‧建立單元
606‧‧‧比較單元
608‧‧‧識別單元
610‧‧‧替代單元
612‧‧‧建立單元
614‧‧‧應用單元
616‧‧‧壓縮單元
650~658‧‧‧圖框
660~668‧‧‧生成圖框
670~678‧‧‧複合圖框
700‧‧‧程序
702‧‧‧確定單元
704‧‧‧建立單元
706‧‧‧比較單元
708‧‧‧識別單元
710‧‧‧替代單元
712‧‧‧建立單元
714‧‧‧應用單元
716‧‧‧壓縮單元
750~758‧‧‧圖框
760-768‧‧‧生成圖框
770‧‧‧複合圖框
800‧‧‧程序
802‧‧‧確定單元
804‧‧‧建立單元
806‧‧‧比較單元
808‧‧‧識別單元
810‧‧‧替代單元
812‧‧‧建立單元
816‧‧‧壓縮單元
830~838‧‧‧圖框
840~888‧‧‧生成圖框
890~898‧‧‧複合圖框
900‧‧‧程序
902‧‧‧確定單元
904‧‧‧建立單元
906‧‧‧比較單元
908‧‧‧識別單元
910‧‧‧替代單元
912‧‧‧建立單元
914‧‧‧應用單元
916‧‧‧壓縮單元
920‧‧‧更新單元
922‧‧‧確定單元
924‧‧‧建立單元
926‧‧‧比較單元
928‧‧‧識別單元
930‧‧‧替代單元
1000‧‧‧程序
1002‧‧‧確定單元
1004‧‧‧建立單元
1006‧‧‧比較單元
1008‧‧‧識別單元
1010‧‧‧替代單元
1012‧‧‧建立單元
1014‧‧‧應用單元
1016‧‧‧壓縮單元
1020‧‧‧迭代產生單元
1022‧‧‧確定單元
1024‧‧‧建立單元
1026‧‧‧比較單元
1028‧‧‧識別單元
1030‧‧‧替代單元
1100‧‧‧程序
1102‧‧‧確定單元
1104‧‧‧建立單元
1106‧‧‧比較單元
1108‧‧‧識別單元
1110‧‧‧替代單元
1152‧‧‧建立單元
1154‧‧‧重定向單元
1156‧‧‧比較單元
1158‧‧‧識別單元
1160‧‧‧替代單元
1162‧‧‧混合單元
1164‧‧‧中介圖框
1166‧‧‧反向量
1168‧‧‧向量
1170‧‧‧中介圖框
1172‧‧‧向量
1180‧‧‧比較圖框
1182‧‧‧圖框
1200‧‧‧程序
1202‧‧‧確定單元
1204‧‧‧建立單元
1206‧‧‧比較單元
1208‧‧‧識別單元
1210‧‧‧替代單元
1280‧‧‧調整單元
1282‧‧‧應用單元
1284‧‧‧建立單元
1302~1306‧‧‧圖框
1308,1310‧‧‧生成圖框
1402~1426‧‧‧圖框
1402’~1426’‧‧‧生成圖框
1502‧‧‧曲線
1504‧‧‧曲線
1506‧‧‧曲線
1600‧‧‧影像處理系統
1602‧‧‧介面
1604‧‧‧處理器
實施例以實例之方式在隨附圖式中說明，其中相同參考數字指示類似部件，且其中：第一圖係根據本揭示案說明時間圖框之一示例性向量分析的一示意圖；第二圖係根據本揭示案說明透視圖框之一示例性向量分析的一示意圖；第三圖係根據本揭示案說明一示例性影像處理系統之一示意圖；第四圖係根據本揭示案說明用於建構一影像之程序之一示例性實施例的一流程圖；第五a圖至第五e圖係根據本揭示案說明複數個影像圖框之一向量分析及一棄卻分析之一示例性實施例的示意圖；第六a圖係根據本揭示案說明用於建構一影像之程序之一示例性實施例的一流程圖；第六b圖係根據本揭示案示範第六a圖之程序之一示例性操作的一示意圖；第七a圖係根據本揭示案說明用於建構一影像之程序之一示例性實施例的一流程圖； 第七b圖係根據本揭示案示範第七a圖之程序之一示例性操作的一示意圖；第八a圖係根據本揭示案說明用於建構一影像之程序之一示例性實施例的一流程圖；第八b圖係根據本揭示案示範第六a圖之程序之一示例性操作的一示意圖；第九a圖係根據本揭示案說明用於建構一影像之程序之一示例性實施例的一流程圖；第九b圖係根據本揭示案說明第九a圖之程序之更新單元之一示例性實施例的一示意圖；第十a圖係根據本揭示案說明用於建構一影像之程序之一示例性實施例的一流程圖；第十b圖係根據本揭示案說明第十a圖之程序之迭代產生單元之一示例性實施例的一示意圖；第十一a圖係根據本揭示案說明用於建構一影像之程序之一示例性實施例的一流程圖；第十一b圖係根據本揭示案示範第十一a圖之程序之操作的一示意圖；第十二圖係根據本揭示案說明用於建構一影像之程序之一示例性實施例的一流程圖；第十三a圖至第十三c圖係根據本揭示案示範第十二圖之程序之一示例性操作的一示意圖； 第十四a圖至第十四d圖係根據本揭示案示範第十二圖之程序之另一示例性操作的一示意圖；第十五圖係根據本揭示案說明本揭示案之示例性程序之特性的一示意圖；第十六圖係根據本揭示案顯示可操作以產生具有客觀計算修正之一影像之一影像處理系統的一示意圖；及第十七圖係根據本揭示案比較可由第十六圖之處理器實行之該等客觀計算修正的一表。
技術擷取極限可來自於擷取系統內之組件，該等組件可包括：透鏡/光學件、感測器、底片、化學、電子學、濾光器、影像處理、大氣干擾、照明、曝光量、快門、內容媒體年份、資料退化或遺失等等。該擷取極限可以各種方式表示。例如，在一實施例中，一擷取極限可用以可測量之信號雜訊比(「SNR」)及/或線對頻率(以每毫米之線對(lp/mm)測量)定義之整體影像解析能力來表徵。在此態樣中，本揭示案之一些實施例可包含應用一計算空間-時間分析以評估時間及/或透視圖影像間之像素來確定可用來產生具有增加之SNR及/或線對頻率之影像資料之成像細節的系統、裝置及方法。
在另一實施例中，一擷取極限可用一可測得量之所得雜訊來表徵。儘管某些刻意之雜訊結構或顆粒可係一所欲之影像美學，但非刻意或不連貫之雜訊假影或結構可非技術上所欲者。本揭示案之一些實施例可使得非所欲之雜訊假影減少。此種非所欲或不連貫之雜訊假影亦減少有用 之像素資訊，該像素資訊可另外經擷取於一圖框中，因而防止該圖框最大化其解析度並減少該整體影像效果。因此，非所欲之雜訊假影之減少可允許恢復由該非所欲雜訊假影所佔用之一些解析度。
本揭示案之一些實施例可包含應用一計算空間-時間分析以評估時間及/或透視圖影像間之像素來確定由雜訊假影所阻擋之成像細節的系統、裝置及方法。此外，空間-時間分析之應用可使得時間一致性增加、透視影像間之相關性增加，及壓縮演算效率增加。
本揭示案之一些實施例可經由一獨特之空間-時間內容分析以補償並修正通常與基於數位或膠片之擷取相關之假影。所得影像可提供增加之信號雜訊比、舒適度、沈浸感及整體影像品質，而不使用傳統之銳化或去雜訊演算法，該等演算法犠牲像素資訊或使影像降級。本揭示案之一些可為全自動或半自動之2D及3D控制程序之實施例使得結果改善。一些實施例可適用於針對最具識別力之專業人士基於每一序列攝影或每一拍攝之先進藝術者驅動控制，其允許創造以達成進一步精緻化之成像結果。
第一圖係說明複數個圖框100、102、104、106、108的一示意圖。該等圖框100、102、104、106、108可包括以可呈現一影像之任何形式定義完整或部份影像之影像資料，包括：像素值、向量等。儘管圖1中僅示出圖框100、102、104、106、108，應了解本揭示案之一實施例可包括可用於本文所揭示之分析之任何數目之圖框，包括2、3、4、5、6、7、8、9、10、100、1000或任何其它之大數目。該等圖框100、102、104、106、108可係一較大影像圖框組之子組。在第一圖之實施例中，圖框100、102、104、106、108可依一序列順序使得圖框100係時間為零之一圖框，圖框102及104 分別係時間為-2及-1之居前圖框，且圖框106及108分別為時間係1及2之居後圖框。應了解儘管圖框100、102、104、106、108可依某種序列順序，該等圖框100、102、104、106、108中之一些或全部可為或可不為直接連續圖框。
針對M數目之t=-2、-1、0、1或2圖框中之每一者，可基於在該等圖框100、102、104、106、108中之全部或一些中之影像資料產生N數目之圖框。M係等於Y之一數，其係大於0之任何數目，且N係等於X之一數，其係大於0之任何數。在一實施例中，X可為1或大於1，且可針對該M數目之t=-2、-1、0、1或2之圖框中之每一者建構至少一個生成圖框。在一實施例中，X可大於1，且可針對該M數目之t=-2、-1、0、1或2圖框中之每一者建構至少兩個生成圖框。在一實施例中，Y可為1或大於1，且可根據本揭示案之原理使用該等圖框100、102、104、106、108中之一些或全部中之影像資料來產生針對t=-2、-1、0、1或2圖框中之至少一者之N數目之圖框。在一實施例中，Y可為大於1之任何數，且可根據本揭示案之原理使用該等圖框100、102、104、106、108中之一些或全部中之影像資料來產生針對t=-2、-1、0、1或2圖框中之至少兩者之N數目之圖框。在一實施例中，Y可為大於2之任何數，且可根據本揭示案之原理使用該等圖框100、102、104、106、108中之一些或全部中之影像資料來產生針對t=-2、-1、0、1或2圖框中之至少三者之N數目之圖框。可針對t=-2、-1、0、1或2圖框中之任一者產生N數目之圖框。例如，該等圖框100、102、104、106、108中之一些或全部中之影像資料可用來產生新的t=-2及t=1圖框。在再另一實例中，可根據本揭示案之原理使用該等圖框100、102、104、106、108中之一些或全部中之影像資料來產生t=-2、-1、0、1或2圖框。應了解，該等實例經提供以說明可針 對t=-2、-1、0、1或2圖框中之各種組合以產生N數目之圖框。
在第一圖所示之該示例性實施例中，X為4，但其在另一實施例中可係任何其它數字。由於X為4，產生4個生成圖框110、112、114及116。在第一圖所示之該示例性實施例中，Y為1，但其在另一實施例中可係任何其它數字。由於Y為1，針對t=-2、-1、0、1或2圖框之一者產生該等圖框110、112、114及116，且在所說明之實施例中，針對t=0圖框產生該等圖框110、112、114及116。
第二圖係說明複數個圖框200、202、204、206、208及210的一示意圖。該等圖框200、202、204、206、208、210、212、214、216及218可包括以可呈現一影像之任何形式定義完整或部份影像之影像資料，包括：像素資訊、向量等。該等圖框200、202、204、206、208、210、212、214、216及218可係一較大圖框組之子組。在第二圖之實施例中，圖框200、202、204、206、208、210、212、214、216及218可包括來自不同透視且依一序列順序之圖框。
在第二圖之實施例中，圖框204及214係時間為零之第一與第二透視圖框，圖框200及202分別係時間為-2及-1之居前第二透視圖框，圖框210及212分別為時間係-2及-1之居前第一透視圖框，圖框206及208分別係時間為1及2之居後第二透視圖框，及圖框216及218分別為時間係1及2之居後第一透視圖框。該等圖框200及206分別係t=0圖框之第一與第二透視。應了解儘管圖框200、202、204、206、208及210可依某種序列順序，該等圖框200、202、204、206、208、210、212、214、216及218中之一些或全部可為或可不為直接連續圖框。亦應了解，儘管僅說明了第一及第二透視圖 200及206，亦可使用序列透視圖框之其它組合，包括針對多於兩個透視之圖框。在一實施例中，該等圖框200、202、204、206、208、210、212、214、216及218全部可包含即時且因此不依任何序列順序之相同時刻之不同透視圖的影像資料。
針對任一透視之M數目之t=-2、-1、0、1或2圖框中之每一者，可基於在該等圖框200、202、204、206、208、210、212、214、216及218中之全部或一些中之影像資料產生N數目之圖框。M係等於Y之一數，其係大於0之任何數目，且N係等於X之一數，其係大於0之任何數。在一實施例中，X可為1或大於1，且可針對任一透視之該M數目之t=-2、-1、0、1或2圖框中之每一者建構至少一個生成圖框。在一實施例中，X可大於1，且可針對任一透視之該M數目之t=-2、-1、0、1或2圖框中之每一者建構至少兩個生成圖框。在一實施例中，Y可為1或大於1，且可根據本揭示案之原理使用該等圖框200、202、204、206、208、210、212、214、216及218中之一些或全部中之影像資料來產生針對任一透視之t=-2、-1、0、1或2圖框中之至少一者之N數目之圖框。在一實施例中，Y可為大於1之任何數，且可根據本揭示案之原理使用該等圖框200、202、204、206、208、210、212、214、216及218中之一些或全部中之影像資料來產生針對任一透視之t=-2、-1、0、1或2圖框中之至少兩者之N數目之圖框。在一實施例中，Y可為大於2之任何數，且可根據本揭示案之原理使用該等圖框200、202、204、206、208、210、212、214、216及218中之一些或全部中之影像資料來產生針對任一透視之t=-2、-1、0、1或2圖框中之至少三者之N數目之圖框。可針對任一透視之t=-2、-1、0、1或2圖框中之任一者產生N數目之圖框。例如，該等圖框200、 202、204、206、208、210、212、214、216及218中之一些或全部中之影像資料可用來產生針對第一透視之新的t=-2及t=1圖框。在再另一實例中，可根據本揭示案之原理使用該等圖框200、202、204、206、208、210、212、214、216及218中之一些或全部中之影像資料來產生針對第二透視之t=-2、-1、0、1或2圖框。應了解，該等實例經提供以說明可針對任一透視之t=-2、-1、0、1或2圖框中之各種組合產生N數目之圖框。
在第二圖所示之該示例性實施例中，X為5，但在另一實施例中其可係任何其它數字。由於X為5，產生5個生成圖框220、222、224、226及228。在第一圖所示之該示例性實施例中，Y為1，但在另一實施例中其可係任何其它數字。由於Y為1，針對任一透視之t=-2、-1、0、1或2圖框中之一者產生圖框220、222、224、226及228，且在所說明之實施例中，針對第一透視之t=0圖框產生圖框220、222、224、226及228。
第三圖係一影像處理系統300之一示意圖。該影像處理系統可併入適於處理影像資料之任何裝置中，包括：桌上型電腦、膝上型電腦、平板電腦、智慧型手機、影像擷取裝置、家庭與劇院媒體接收器或處理器(如電視)、機上盒、影像投影系統、DCP伺服器或其任何組合。
在一實施例中，該影像處理系統300可包括可操作以提供影像資料之一影像來源302。在一實施例中，該影像來源302可包含一擷取裝置，其可操作以提供來自該擷取裝置之一感測器之影像資料。在一實施例中，該擷取裝置可經操作以將影像資料儲存在一暫存記憶體中，例如：隨機存取記憶體(RAM)，並自該RAM提供影像資料。
在一實施例中，該影像來源302可包括一記憶裝置，其可併 入一擷取裝置或與其分離。例如，該影像來源302可包括一記憶裝置、一磁碟、卡帶、硬碟、快閃驅動器、膠片或可經操作以儲存影像或影像資料之任何其它媒體。在一實施例中，該影像來源302可包括區域連接或遠端連接至一或多個擷取裝置之感測器之一磁碟或記憶裝置。在一實施例中，該擷取裝置可經操作以擷取影像資料，其可經儲存在包含一磁碟或一區域記憶體之一影像來源302中。該經擷取影像資料可以即時或以延時或離線的方式自該磁碟或該區域記憶體傳輸至一遠端記憶體。在另一實施例中，該擷取裝置亦可以即時或以延時或離線方式傳輸經擷取之影像資料至包含一遠端記憶體之一影像來源302，而不用事先儲存在一磁碟或區域記憶體中。該影像來源302可定位於一或多個位置中或於雲端中。
在一實施例中，該影像來源302可經操作以提供非由一擷取裝置擷取之電腦生成影像資料(CG影像資料)。該影像來源302可經操作以經由磁帶或磁碟，或經由區域或遠端電子通訊自一CG引擎接收該CG影像資料。該CG引擎可包括一遊戲引擎、模擬引擎、一渲染引擎、虛擬引擎或用於產生2D或3D空間之數位影像資料之任何其它已知處理器或引擎。該影像來源302可經操作以即時或以延時或離線的方式提供CG影像資料。
該影像處理系統300可包括通訊連接至該影像來源302之一影像產生模組304。該影像產生模組304可包括至少一處理器，其可包括一電腦、一微處理器、一程控機器、一伺服器之任何組合或可操作以經組態而實施本揭示案之程序之任何其它硬體。可在廣域網路(WAN)、區域網路(LAN)、光纖、電纜通道、天線網路、蜂巢式網路、無線電網路、紅外線連結、雲端、網際網路或任何其它本技藝已知之有線或無線通訊連接上存取 及通訊連接該影像產生模組304。該影像產生模組304可定位於一或多個位置中或於雲端中。
在一實施例中，該影像產生模組304可經操作以接收影像資料並基於複數個影像圖框之影像資料產生至少一個影像圖框。例如，該影像產生模組304可經操作以自該影像來源302接收如相對於第一圖討論之圖框100、102、104、106、108或如相對於第二圖討論之圖框200、202、204、206、208、210、212、214、216及218。可經由一磁碟或任何有線或無線通訊網路(諸如：WAN、LAN、光纖、電纜通道、天線網路、蜂巢式網路、無線電網路、紅外線連結、雲端、網際網路或任何媒體傳送或通訊網路)區域地或遠端地自該影像來源302接收該影像資料。在一實施例中，該影像產生模組304可經操作以直接自一擷取裝置接收影像資料而不事先儲存在一影像來源中。
在一實施例中，該影像產生模組304可經組態以基於所接收之序列、透視，或序列-透視圖框中之一些或全部而產生N數目之圖框。N可係等於X之一數，其可係大於0之任何數目。例如，在第一圖之實施例中，該影像產生模組304可經操作以基於如以上討論相對於第一圖之該等圖框100、102、104、106或108中之一些或全部中之影像資料而產生圖框110、112、114及116。在另一實例中，在第二圖之實施例中，該影像產生模組304可經操作以基於如以上相對於第一圖所討論之該等圖框200、202、204、206、208、210、212、214、216及218中之一些或全部中之影像資料而產生圖框220、222、224、226及228。該影像產生模組304可根據本文所揭示之任何程序操作以基於針對複數個影像圖框之影像資料而產生至少一個影像 圖框。
第四圖說明程序400之示例性實施例，其可藉由該影像產生模組304實施以基於針對複數個影像圖框之影像資料而產生至少一個影像圖框。在一方法中，至少一影像圖框之產生可係基於該影像資料之一向量分析。該程序400可包括一確定單元402，其中針對M為Y及N為X，第N向量係針對複數個影像圖框之第M圖框確定。X及Y各係大於零之一數。複數個影像圖框之第M圖框可係序列、透視，或序列-透視圖框。參照相對第一圖所討論之實施例，第M圖框可係該等序列圖框100、102、104、106或108中之任一者，且在該說明之實施例中，針對M=Y之第M圖框係t=0圖框100，如第一圖所示。參照相對第二圖所討論之實施例，第M圖框可係該等序列-透視圖框200、202、204、206、208、210、212、214、216或218中之任一者，且在該說明之實施例中，針對M=Y之第M圖框係第一透視t=0圖框214，如第二圖所示。
第N向量可係一移動向量、一透視向量，或一移動-透視向量，其用於使第M圖框與不為該第M圖框之該等複數個影像圖框之一第N比較圖框相關。換句話說，第N向量可包括用於匹配第N圖框中之一或多個像素之第M圖框中之一或多個像素之座標。參照相對第一圖所討論之實施例，第N比較圖框可係不為第M圖框之該等圖框102、104、106或108中之任一者，且在該說明之實施例中，針對N=X之第N比較圖框係t=-1圖框104，如第一圖所示。參照相對第二圖所討論之實施例，第N比較圖框可係該等圖框200、202、204、206、208、210、212、216或218中之任一者，且在該說明之實施例中，針對N=X之第N比較圖框係第二透視t=-2圖框104，如第二圖 所示。
參照回第四圖，在確定第N向量之後，該程序400可包括一建立單元404，其中第M圖框之一第N生成圖框係基於與第M圖框不同之第N比較圖框及針對第M圖框之第N向量而建立。第N向量之座標允許自該第N比較圖框重建第M圖框。參照相對第一圖所討論之實施例，第N生成圖框可係針對t=0圖框生成之該等圖框110、112、114或116中之任一者，且在該說明之實施例中，針對N=X之第N生成圖框係如第一圖所示之圖框112。參照相對第二圖所討論之實施例，第N生成圖框可係針對該第一透視圖之t=0圖框生成之該等圖框220、222、224、226及228中之任一者，且在該說明之實施例中，針對N=X之第N生成圖框係如第二圖所示之圖框220。
在一實施例中，該程序400可包括針對第M圖框之第N生成圖框之像素的一棄卻分析。針對第M圖框之第N生成圖框可包含以一臨限值量自第M圖框之對應像素偏離並因此可因低可信度而經棄卻之像素。在一實施例中，該程序400可包括一比較單元406，其中將第M圖框之第N生成圖框的像素與第M圖框的像素作比較。該程序400亦可包括一識別單元408，當該等低可信度像素與該第M複合圖框之對應像素之間之一相對差大於一臨限值，識別該第M複合圖框之該第N生成圖框的低可信度像素。一相對差可理解為一低可信度像素值與對應像素值間之絕對差除以第M圖框中之對應像素值。換言之，該相對差可理解為|PVNthGenerated-PVMth|/PVMth之值，其中PVNthGenerated係該低可信度像素值，且PVMth係該第M圖框中之一對應像素值。在一實施例中，該臨限值可介於0至95%之間。在一較佳實施例中，該臨限值可介於0至75%之間。在一最佳實施例中，該臨限值可介於0至50%之 間。可進行該比較單元406，且可將本揭示案之臨限值應用在適於本文之實施例之任何色彩空間或伽瑪範圍中。例如，可將該等臨限值應用於對數或線性空間中。應了解可基於對應像素之相對差將一額外之臨限值應用在該臨限值之組合中。該額外之臨限值可基於各種內容分析因數。例如，在一實施例中，該額外之臨限值可基於針對第N向量之一最大值。照此，諸如實現場景切換之圖框之不相關內容將不參與程序400中之生成圖框之產生。
棄卻第N生成圖框中之像素將引起第N生成圖框在該經棄卻像素之位置處呈現暗像素。照此，該程序400可包括一替代單元410，其中針對第M圖框之第N生成圖框之低可信度像素可經替代為基於第M圖框之像素及/或不被識別為低可信度像素之第N生成圖框之像素而確定之像素。在一實施例中，該替代像素可基於第M圖框之像素及第N生成圖框之像素而確定。在一實施例中，該替代單元410可包括混合來自第M圖框之選定像素以替代一低可信度像素。可將一低可信度像素替代為第M圖框中之對應像素。在一些實施例中，可將一低可信度像素替代為第M圖框中之對應像素及相鄰像素之平均值。應了解本文所用之取平均可係任何類型已知之取平均，包括線性平均及針對各種因數之加權平均，例如接近該低可信度像素之位置。上文討論之像素混合亦可包括混合來自接近該低可信度像素之第N生成圖框之像素。
參照第五a圖至第五e圖提供程序400之一示例性說明。第五a圖說明一第M圖框500及一第N比較圖框502。第M圖框500及第N比較圖框502可包括類似場景元素。一場景元素504’可包括在第M圖框500中，且一場景元素504”可包括在第N比較圖框502中。該等場景元素504’及504”可描述 相同物件，但該等場景元素504’及504”之位置及定向在圖框500及502中可係不同的。若第M圖框500及第N比較圖框502係立體圖框，則該等場景元素504’及504”之位置及定向中之不同可意欲描述該等圖框500及502間之移動及/或不同之透視。
第五b圖係說明針對第五a圖之該等場景元素504’及504”之一示例性向量分析的一示意圖。根據第四圖之程序400之確定單元402，可使用一向量分析來分析該等圖框500及502中之該等場景元素504’及504”以確定一第N向量506，其使第M圖框500與第N比較圖框502相關。第N向量506可包括空間座標，其中在第N比較圖框502中針對該場景元素504”之一像素或複數個像素最接近地匹配第M圖框500中之該場景元素504’之對應像素或複數個像素。
第五c圖係根據第四圖之程序400之建立單元404說明建立針對第M圖框500之一第N生成圖框508之一示意圖。使用第N向量506之座標，可將在第N比較圖框502中該場景元素504”之像素重新定向至第五c圖所示之座標，因而建立針對第N生成圖框508之場景元素504'''。
第五d圖係說明包含低可信度像素之第N生成圖框508的一示意圖。在建立第N生成圖框508之後，可使用第N生成圖框508之像素的一棄卻分析來識別並替代具一低正確可信度之像素。根據第四圖之程序400之比較單元406，可將第五c圖之第N生成圖框508與第五a圖之第M圖框500作比較。根據第四圖之程序400之識別單元408，可識別及棄卻針對第M圖框500之第N生成圖框508之低可信度像素510。該第M圖框500之低可信度像素510及對應像素可具有大於如上討論之臨限值之一相對差。棄卻低可信度像素 將在第N生成圖框508中留下空洞並如第五d圖中所說明具有暗色外觀。在一實施例中，可發現該低可信度像素510最靠近該場景元素504'''之邊緣。儘管如此，該等低可信度像素510可存在於第N生成圖框508中任一處。
第五e圖係說明具有代替第五d圖中所識別之低可信度像素510之替代像素之一第N生成圖框508的一示意圖。該等替代像素可根據第四圖之程序400之替代單元410基於第M圖框500之像素而確定。
參照第五b圖至第五e圖，可藉由分別主觀評估圖框500及502中之該等場景元素504’及504”確定第N向量506。在一實施例中，較佳地藉由應用客觀標準客觀地確定第N向量506。第N向量506之客觀確定可使用一演算法實施。在一實施例中，可統計上實施該等圖框500及502之像素分析與第N向量506之空間座標之確定以識別匹配像素。可基於逐像素或逐區塊進行第N向量506之空間座標之確定。由於像素區塊提供多個匹配之參考點，將針對該場景元素504’之像素區塊與針對該場景元素504”之像素區塊匹配允許較高之匹配正確性，並增加正確地匹配之機率。然而，自該場景元素504”重定向像素區塊以在第N生成圖框508中形成該場景元素504'''意指在重定向之像素區塊中之任何假影將經攜載至第N生成圖框508。照此，當使用該等場景元素504’及504”之像素區塊用以確定第N向量506時可不最大化假影之去除。另一方面，將該場景元素504’之個別像素或小區塊(例如：2x1、2x2)像素匹配至針對該場景元素504”之個別像素或小區塊像素允許更精細之向量分析及因此允許更精細之假影去除。然而，此方法可具有較低之匹配正確性，因為單一像素不具有多個參考點以增加正確匹配之機率。由於同樣理由，匹配較小之像素區塊可較匹配較大之像素區塊具有較低之 匹配正確性。
應了解本揭示案之任何程序(包括：一向量之確定、基於該向量之一生成圖框之建立，及如相對第四圖及第五圖之示例性實施例描述之生成圖框之棄卻分析)可部分地或全部在任何色彩空間中實行。在一實施例中，本揭示案之程序可在針對提供於RGB色彩空間中之影像圖框之線性RGB色彩空間中進行。可將諸如圖框500及502之影像圖框提供於一非線性RGB色彩空間中，且可將該等圖框500及502轉化至一線性RGB色彩空間以供進一步處理。
在一實施例中，在任何RGB色彩空間中提供之影像圖框可經轉化至非RGB色彩空間，使得本揭示案之處理單元中之一些或全部可在該非RGB色彩空間中進行。一非RGB空間之一實例係一DCI XYZ空間。在一實施例中，最初可將影像資料提供在一線性RGB空間中。可藉由將一色彩矩陣應用至來自該RGB空間之該影像資料以將該影像資料轉譯至一XYZ空間。可在該XYZ空間中進行相對第四圖及第五圖討論之該向量分析及棄卻分析中之一些及全部。在一實施例中，可在該XYZ空間中進行第五b圖之向量分析及第五c圖之重新定向。應了解進行該向量分析且在相對該RGB空間之XYZ空間中重新定向可允許更聚焦於包括高及低頻率資料之一圖框的一區域中，因而改良該向量分析及重新定向之正確性。應了解，可在不同色彩空間中進行第五b圖之向量分析及第五c圖之重新定向以允許進一步改良之正確性。在一實施例中，可在一非演算XYZ空間中進行之第五b圖之向量分析，且可將第N比較圖框502自該非對數XYZ空間轉化至一對數XYZ空間以允許在該對數XYZ空間中進行第五c圖之重新定向。此方法可允許各種 子像素過濾重新定向演算法而不具有在第五c圖中之所得第N生成圖框508中未預期負值的可能性。
在一實施例中，若需要，本揭示案之程序之一產物(如在一非RGB空間中生成及修正之一影像圖框)可轉化回一RGB色彩空間。例如，可將第五c圖之第N生成圖框508轉譯回該RGB色彩空間以用於相對第五d圖及第五e圖討論之棄卻分析。可在該RGB色彩空間中進行將第五d圖中說明之低可信度像素510替代為在第M圖框500及第N生成圖框508間混合之像素，使得在第五e圖中之最終第N生成圖框508中之經混合色彩值可較佳地反映該場景之所欲色彩。此外，可希望進行一線性RGB色彩空間中第五d圖之棄卻分析，因為可線性地應用用於識別低可信度像素之臨限值。
應了解，在另一實施例中，在一向量之確定、基於該向量之一生成圖框之建立，或相對第四圖及第五圖之示例性實施例描述之生成圖框之棄卻分析後，該所得圖框可因未在本文揭示之其它理由轉譯至該RGB色彩空間。
參照回第四圖，在完成該確定單元402、建立單元404、比較單元406、識別單元408、及替代單元410時，針對M=Y及N=X產生針對第M圖框之一第N生成圖框。應了解，針對大於一之X值，可重覆該程序400以產生複數個針對第M圖框之第N生成圖框(例如：針對N=X-1、X-2、....1之第M圖框之第N生成圖框)。應了解，針對大於一之Y值，可重覆程序400以產生一或多個針對複數個第M圖框之第N生成圖框(例如：M=Y-1、Y-2、....1之第M圖框)。
第六a圖係程序600之一示例性實施例，其可藉由該影像處理 系統300實施以基於針對複數個影像圖框之影像資料而產生至少一個影像圖框。該程序600可包括一確定單元602，其可類似於以上討論之程序400之確定單元402。在該確定單元602中，針對M係Y且N係X，可使用本文所述之該等向量分析之任何實施例針對該等複數個影像圖框之一第M圖框確定一第N向量。X及Y各係大於零之一數。該等複數個影像圖框之第M圖框可為一序列、透視，或序列-透視。參照相對於第一圖所討論之實施例，針對M係Y之第M圖框可係該等序列圖框100、102、104、106或108中之任一者，且在所說明實施例中，針對M=Y之第M圖框係如第一圖所示之t=0圖框100。參照相對第二圖所討論之實施例，第M圖框可係該等序列-透視圖框200、202、204、206、208、210、212、214、216或218中之任一者，且在該說明之實施例中，針對M=Y之第M圖框係第一透視t=0圖框214，如第二圖所示。
第N向量可係一移動向量、一透視向量或一移動-透視向量，其用於使第M圖框與不為第M圖框之該等複數個影像圖框之一第N比較圖框相關。參照相對第一圖所討論之實施例，第N比較圖框可係不為第M圖框之該等圖框102、104、106或108中之任一者，且在該說明之實施例中，針對N=X之第N比較圖框係t=-1圖框104，如第一圖所示。參照相對第二圖所討論之實施例，第N比較圖框可係該等圖框200、202、204、206、208、210、212、216或218中之任一者，且在該說明之實施例中，針對N=X之第N比較圖框係第二透視t=-2圖框104，如第二圖所示。
參照回第六a圖，在確定第N向量後，該程序600可包括一建立單元604，其可類似於如上討論之該程序400之建立單元404。在該建立單 元604中，基於與第M圖框不同之第N比較圖框及針對第M圖框之第N向量，建立該第M圖框之第N生成圖框。參照相對第一圖所討論之實施例，第N生成圖框可係針對t=0圖框生成之該等圖框110、112、114或116中之任一者，且在該說明之實施例中，針對N=X之第N生成圖框係如第一圖所示之圖框112。參照相對第二圖所討論之實施例，第N生成圖框可係針對該第一透視圖之t=0圖框生成之該等圖框220、222、224、226及228中之任一者，且在該說明之實施例中，針對N=X之第N生成圖框係如第二圖所示之圖框220。
該程序600可包括針對第M圖框之第N生成圖框之像素的一棄卻分析。在一實施例中，該程序600可包括一比較單元606，其中該第M圖框之第N生成圖框之像素係與第M圖框之像素比較。該程序600亦可包括一識別單元608，其中當第M圖框之低可信度像素與對應像素間之一相對差大於一臨限值時，識別出該第M圖框之第N生成圖框之低可信度像素。該比較單元606及該識別單元608可分別類似於如上討論之程序400之該比較單元406及該識別單元408。
該程序600可包括一替代單元610，其可類似於程序400之替代單元410。在該替代單元610中，針對第M圖框之該第N生成圖框之低可信度像素可用基於第M圖框之像素及/或未被識別為低可信度像素之第N生成圖框之像素確定之像素替代。在一實施例中，該替代單元610可包括將來自第M圖框之選定像素及/或未被識別為低可信度像素之第N生成圖框之像素取平均以替代一低可信度像素。針對每一低可信度像素，可選擇該第M圖框中之該對應像素及(在一些實施例中)相鄰像素以用於取平均。應了解本文所用之取平均可係已知之任何類型之取平均，包括線性平均及針對各種因數 之加權平均，例如接近低可信度像素之位置。
在完成該確定單元602、建立單元604、比較單元606、識別單元608、及替代單元610時(其可藉由該影像處理模組304進行)，針對M=Y及N=X產生針對第M圖框之一第N生成圖框。在一實施例中，Y可大於一，且該程序600可包含重覆確定單元602、建立單元604、比較單元606、識別單元608、及替代單元610以產生針對M=Y-1之第M圖框之一第N生成圖框，因而建立針對該等複數個圖框之至少兩個圖框之生成影像。在一實施例中，Y可大於二，且該程序600可包含重覆確定單元602、建立單元604、比較單元606、識別單元608、及替代單元610以產生針對M=Y-1、Y-2、....、1之第M圖框之一第N生成圖框。
第六b圖係說明基於複數個圖框650、652、654、656及658之影像資料產生針對M=Y-1、Y-2、....、1之第M圖框之一第N生成圖框之一示意圖。在一實施例中，圖框650、652、654、656及658中之該等複數個圖框可包含類似於第一圖之圖框100、102、104、106及108之時間圖框。該等複數個圖框650、652、654、656及658可依照一序列順序，使得圖框654係時間為零之圖框，圖框650及652分別係時間為-2及-1之居前圖框，且圖框656及658分別為時間係1及2之居後圖框。應了解儘管圖框650、652、654、656及658可依一肯定的序列順序，該等圖框650、652、654、656及658中之一些或全部可為或可不為直接連續圖框。儘管未於第六b圖中說明，應了解在一實施例中，該等圖框650、652、654、656及658中之一些或全部可包含類似於第二圖中所說明之透視圖框。
可進行程序600之確定單元602以確定針對第M圖框之一第 N向量，其可係該等圖框650、652、654、656或658中之任一者，且在該說明之實施例中，針對M=Y之第M圖框係如第六b圖所示之t=0圖框654。在所說明之實施例中，針對第M圖框654之第N比較圖框係該圖框650，但在另一實施例中，針對N=X之第N比較圖框可係不為針對M=Y之第M圖框654之該等圖框650、652、656及658中之任一者。可進行程序600之建立單元604、比較單元606、識別單元608、及替代單元610以產生針對M=Y及N=X之第M圖框654之一第N生成圖框664。可重覆程序600以確定針對一第M圖框656之一第N向量及針對M=Y-1及N=X之一第N生成圖框666。可重覆程序600以確定針對一第M圖框658之一第N向量及產生針對M=Y-2及N=X之一第N生成圖框668。如所說明，可將圖框650用作第N比較圖框以確定針對第M圖框658之第N向量。亦可將該等圖框652、654及656用作第N比較圖框。可重覆程序600以確定針對一第M圖框652之一第N向量及產生針對M=Y-1及N=X之一第N生成圖框662。如所說明，可將圖框650用作第N比較圖框以確定針對第M圖框652之第N向量。亦可將該等圖框654、656及658用作第N比較圖框。可重覆程序600以確定針對一第M圖框650之一第N向量及產生針對M=1及N=X之一第N生成圖框660。如所說明，可將圖框654用作第N比較圖框以確定針對第M圖框650之第N向量。亦可將該等圖框652、656及658用作第N比較圖框。
藉由針對M=Y、Y-1、Y-2、...、1重覆程序600，可分別針對第M圖框650、652、654、656或658之每一者產生生成圖框660、662、664、666及668。應了解，可依任何順序產生該等生成圖框660、662、664、666及668。換言之，可平行、依序或其任何組合產生該等圖框660、662、664、 666或668。應進一步了解，可指派該等圖框650、652、654、656或658為針對M=Y、Y-1、Y-2、...、1中之任一者之第M圖框，且第六b圖中所示之指派僅係照此說明。
參照第三圖、第六a圖及第六b圖，該程序600可進一步包括一建立單元612，其用於分別針對第M圖框650、652、654、656或658中每一者建立複合圖框670、672、674、676或678。在一實施例中，該影像處理系統300可包括經組態以實施該程序600之建立單元612之一影像混合模組306。可操作該影像混合模組306以接收第M圖框及針對該第M圖框之生成圖框，並將其等混合以建立針對該第M圖框之一複合圖框。在一實施例中，可操作該影像混合模組306以接收並將第M圖框650、652、654、656或658與針對M=Y、Y-1、Y-2、...、1之各別生成圖框660、662、664、666或668混合以產生該等複合第M圖框670、672、674、676及678。應了解，可變化包括在該混合中之各圖框的比重。例如，在一實施例中，可以相同比重混合第M圖框654及生成圖框664。在另一示例性實施例中，可以不同比重混合第M圖框654及生成圖框664。在一實施例中，可排除該等圖框中之任意者且不給予比重。在一實施例中，由於第M圖框654包含不想要之雜訊假影，可對其給予減少之比重或不給予比重。
在一實施例中，具有各別生成圖框660、662、664、666及668之該等第M圖框650、652、654、656或658之混合，允許該等複合第M圖框670、672、674、676或678中之一些或全部具有與該等各別之第M圖框650、652、654、656或658相同之一解析度、移動模糊及/或輸出圖框率。在另一實施例中，具有各別生成圖框660、662、664、666及668之該等第M圖框650、 652、654、656或658之混合，允許該等複合第M圖框670、672、674、676及678中之一些或全部具有與該等各別之第M圖框650、652、654、656或658不同之一解析度、移動模糊及/或輸出圖框率。在一實施例中，該混合可包括結合第M圖框650、652、654、656或658及該等各別生成圖框660、662、664、666及668中之像素或向量資訊以造成具有一不同之解析度、移動模糊及/或輸出圖框率之該等複合第M圖框670、672、674、676或678中之至少一者。
該影像混合模組306可包括至少一處理器，其可包括一電腦、一微處理器、一程控機器、一伺服器或可操作以經組態而實施本揭示案之程序之任何其它硬體的任何組合。可在廣域網路(WAN)、區域網路(LAN)、光纖、電纜通道、天線網路、蜂巢式網路、無線電網路、紅外線連結、雲端、網際網路或任何其它本技藝已知之有線或無線通訊連接上存取該影像混合模組306及將其通訊連接至該系統300之其它子系統。該影像混合模組306可定位於一或多個位置中或於雲端中。
根據本文所揭示之程序中之任一者所生成之該等複合圖框670、672、674、676或678包括來自複數個時間及/或透視圖框之影像資料，且如上所討論相對於第四圖及第五圖之棄卻分析允許該等複合圖框670、672、674、676或678包括較具減少之假影之原始場景更正確之影像資料。
在建立該等複合圖框670、672、674、676及678後，該等複合圖框670、672、674、676或678可經儲存於影像資料儲存器312中或可在可選影像效果模組308中及/或該可選壓縮模組310中進行進一步處理。根據程序600之一應用單元614，在該可選影像效果模組308處修正該複合圖框 670以包括刻意之雜訊假影，其在某些場景環境中為美學上所欲的。亦可藉由該影像效果模組308將本技藝中所知之其它視覺效果應用於該複合圖框670上，例如：顆粒匹配、底片圖案化、銳化、模糊化、移動模糊調整等。
依據該程序600之一壓縮單元616，可在將該等複合圖框670、672、674、676或678儲存於該影像資料儲存器312之前或將其向下游傳輸之前於該可選壓縮模組310處壓縮。該壓縮模組310可應用任何本技藝中已知之標準壓縮演算法，例如：MPEG、JPEG、JPEG 2000、H264、H265、TIFF、MOV、AVI等。應了解由於在該複合圖框600中假影減少，可更有效且協同地進行該等複合圖框670、672、674、676或678之壓縮。
第七a圖係程序700之一示例性實施例，其可藉由該影像處理系統300實施以基於針對複數個影像圖框之影像資料而產生至少一個影像圖框。該程序700可包括一確定單元702，其可類似於以上討論之程序400之確定單元402。在該確定單元702中，針對M係Y且N係X，可使用本文所述之該等向量分析之任何實施例針對該等複數個影像圖框之一第M圖框確定一第N向量。X及Y各係大於零之一數。該等複數個影像圖框之第M圖框可為序列、透視，或序列-透視。參照相對於第一圖所討論之實施例，針對M係Y之第M圖框可係該等序列圖框100、102、104、106或108中之任一者，且在所說明實施例中，針對M=Y之第M圖框係如第一圖所示之t=0圖框100。參照相對第二圖所討論之實施例，第M圖框可係該等序列-透視圖框200、202、204、206、208、210、212、214、216或218中之任一者，且在該說明之實施例中，針對M=Y之第M圖框係第一透視t=0圖框214，如第二圖所示。
第N向量可係一移動向量、一透視向量，或一移動-透視向量，其用於使第M圖框與不為該第M圖框之該等複數個影像圖框之一第N比較圖框相關。參照相對第一圖所討論之實施例，第N比較圖框可係不為第M圖框之該等圖框102、104、106或108中之任一者，且在該說明之實施例中，針對N=X之第N比較圖框係t=-1圖框104，如第一圖所示。參照相對第二圖所討論之實施例，第N比較圖框可係該等圖框200、202、204、206、208、210、212、216或218中之任一者，且在該說明之實施例中，針對N=X之第N比較圖框係第二透視t=-2圖框104，如第二圖所示。
參照回第七a圖，在確定第N向量後，該程序700可包括一建立單元704，其可類似於如上討論之該程序400之建立單元404。在該建立單元704中，基於與第M圖框不同之第N比較圖框及針對第M圖框之第N向量，建立該第M圖框之一第N生成圖框。參照相對第一圖所討論之實施例，第N生成圖框可係針對t=0圖框生成之該等圖框110、112、114或116中之任一者，且在該說明之實施例中，針對N=X之第N生成圖框係如第一圖所示之圖框112。參照相對第二圖所討論之實施例，第N生成圖框可係針對該第一透視之t=0圖框生成之該等圖框220、222、224、226或228中之任一者，且在該說明之實施例中，針對N=X之第N生成圖框係如第二圖所示之圖框220。
該程序700可包括針對第M圖框之第N生成圖框之像素的一棄卻分析。在一實施例中，該程序700可包括一比較單元706，其中該第M圖框之第N生成圖框之像素係與第M圖框之像素比較。該程序700亦可包括一識別單元708，其中當該第M圖框之低可信度像素與對應像素之間之一相對差大於一臨限值時，識別出該第M圖框之第N生成圖框之低可信度像素。 該比較單元706及該識別單元708可分別類似於如上討論之程序400之該比較單元406及該識別單元408。
該程序700可包括一替代單元710，其可類似於程序400之替代單元410。在該替代單元710中，針對第M圖框之該第N生成圖框之低可信度像素可用基於第M圖框之像素及/或未被識別為低可信度像素之第N生成圖框之像素確定之像素替代。在一實施例中，該替代單元710可包括將來自第M圖框之選定像素及/或未被識別為低可信度像素之第N生成圖框之像素取平均以替代一低可信度像素。針對每一低可信度像素，可選擇該第M圖框中之對應像素及(在一些實施例中)相鄰像素以用於取平均。應了解本文所用之取平均可係已知之任何類型之取平均，包括線性平均及針對各種因數之加權平均，例如接近低可信度像素之位置。
在完成該確定單元702、建立單元704、比較單元706、識別單元708、及替代單元710時(其可藉由該影像處理模組304進行)，針對M=Y及N=X產生針對第M圖框之一第N生成圖框。在一實施例中，X可大於一，且該程序700可包含重覆確定單元702、建立單元704、比較單元706、識別單元708、及替代單元710以針對M=Y及N=X-1產生針對第M圖框之複數個第N生成圖框。在一實施例中，X可大於二，且該程序700可包含重覆確定單元702、建立單元704、比較單元706、識別單元708、及替代單元710以產生針對N=X-1、X-2、....、1之第M圖框之一第N生成圖框。
第七b圖係說明基於針對複數個圖框750、752、754、756及758之影像資料產生針對N=X、X-1、X-2、....、1之第M圖框之一第N生成圖框之一示意圖。在一實施例中，圖框750、752、754、756及758中之該等複 數個圖框可包含類似於第一圖之圖框100、102、104、106及108之時間圖框。該等複數個圖框750、752、754、756及758可依照一序列順序，使得圖框754係時間為零之圖框，圖框750及752分別係時間為-2及-1之居前圖框，且圖框756及758分別為時間係1及2之居後圖框。應了解儘管圖框750、752、754、756及758可依某種序列順序，該等圖框750、752、754、756及758中之一些或全部可為或可不為直接連續圖框。儘管未於第七b圖中說明，應了解在一實施例中，該等圖框750、752、754、756及758中之一些或全部可包含類似於第二圖中所說明之透視圖框。
可進行程序700之確定單元702以確定針對一第M圖框之一第N向量，其可係該等圖框750、752、754、756或758中之任一者，且在該說明之實施例中，針對M=Y之第M圖框係如第七b圖所示之t=0圖框754。針對N=X之第N比較圖框可係不為針對M=Y之第M圖框754之該等圖框750、752、756或758中之任一者，且在該說明之實施例中，針對N=X之第N比較圖框係如第七b圖所示之t=-1圖框752。可進行程序700之建立單元704、比較單元706、識別單元708、及替代單元710以產生針對M=Y及N=X之第M圖框754之一第N生成圖框762。可重覆程序700以確定針對M=Y及N=X-1、X-2、1之第M圖框754之一第N向量。針對N=X-1、X-2、1，該第N比較圖框可分別係圖框756、750及758，且可針對N=X-1、X-2、1分別產生第N生成圖框766、760及768。照此，該程序700已基於該等圖框750、752、754、756或758產生第N生成圖框760、762、766及768。應了解，可依任何順序產生該等生成圖框760、762、764、766及768。換言之，可平行、依序或其任何組合產生該等圖框760、762、766及768。應進一步了解，可指派該等圖框750、 752、754、756或758中之任一者為第M圖框，且可指派該等圖框750、752、754、756或758中之其餘者作為針對N=X、X-1、X-2、...、1之任一者之第N比較圖框，且第七b圖中所示之指派僅係照此說明。
參照第三圖、第七a圖及第七b圖，該程序700可進一步包括用於建立針對第M圖框754之一複合圖框770的一建立單元712。該影像混合模組306可經組態以實施該程序700之建立單元712。可操作該影像混合模組306以接收第M圖框及針對該第M圖框之生成圖框，並將其等混合以建立針對該第M圖框之一複合圖框。在一實施例中，可操作該影像混合模組306以接收並混合第M圖框754之一些或全部，與針對M=Y及N=X、X-1、X-2及1之第N生成圖框760、762、766及768以產生針對M=Y之複合第M圖框770。應了解，可變化用於在該影像混合模組306處混合之欲包括之圖框之數目及選擇，且可變化包括在該混合中之各圖框之比重。例如，在一實施例中，可以相同比重混合第M圖框754及第N生成圖框760、762、766及768。在另一示例性實施例中，可以不同比重混合第M圖框754及第N生成圖框760、762、766及768。在一實施例中，可排除該等圖框中之任一者且不給予比重。在一實施例中，由於第N生成圖框762及765係基於可更類似於第M圖框754之圖框752及756，可給予其等更多比重。在一實施例中，由於第M圖框754包含不想要之雜訊假影，可給予其減少之比重或不給予比重。
在一實施例中，第M圖框754及第N生成圖框760、762、766及768中之一些或全部之混合，允許該複合第M圖框770具有與第M圖框754相同之一解析度、移動模糊及/或輸出圖框率。在另一實施例中，第M圖框754及第N生成圖框760、762、766及768中之一些或全部之混合，允許該複 合第M圖框770具有與第M圖框754不同之一解析度、移動模糊及/或輸出圖框率。在一實施例中，該混合可包括結合第M圖框754及該等第N生成圖框760、762、766及768中之像素或向量資訊，以造成具有一不同之解析度、移動模糊及/或輸出圖框率之該等複合第M圖框770中之至少一者。
根據本文所揭示之程序中之任一者所生成之該複合圖框770包括來自複數個時間及/或透視圖框之影像資料，且如上所討論相對第四圖及第五圖之棄卻分析允許該複合圖框700包括較原始場景更正確之影像資料且具減少之假影。
在建立該複合圖框770後，可儲存該複合圖框770於影像資料儲存器312中或可在可選影像效果模組308中及/或該可選壓縮模組310中進行進一步處理。根據程序700之一應用單元714，可在可選影像效果模組308處修正該複合圖框770以包括刻意之雜訊假影，其在某些場景環境中為美學上所欲的。亦可藉由該影像效果模組308將本技藝中所知之其它視覺效果應用於該複合圖框770上，例如：顆粒匹配、底片圖案化、銳化、模糊化、移動模糊調整等。
依據該程序700之一壓縮單元716，可在將該複合圖框770儲存於該影像資料儲存器312之前或將其向下游傳輸之前，於該可選壓縮模組310處壓縮該複合圖框770。該壓縮模組310可應用任何本技藝中已知之標準壓縮演算法，例如：MPEG、JPEG、JPEG 2000、H264、H265、TIFF、MOV、AVI等。應了解由於在該複合圖框700中假影減少，可更有效且協同地進行該圖框770之壓縮。
第八a圖係程序800之一示例性實施例，其可藉由該影像處理 系統300實施以基於針對複數個影像圖框之影像資料而產生至少一個影像圖框。該程序800可包括一確定單元802，其可類似於以上討論之程序400之確定單元402。在該確定單元802中，針對M係Y且N係X，可使用本文所述之該等向量分析之任何實施例針對該等複數個影像圖框之一第M圖框確定一第N向量。X及Y各係大於零之一數。該等複數個影像圖框之第M圖框可為序列、透視，或序列-透視。參照相對於第一圖所討論之實施例，針對M係Y之第M圖框可係該等序列圖框100、102、104、106或108中之任一者，且在所說明實施例中，針對M=Y之第M圖框係如第一圖所示之t=0圖框100。參照相對第二圖所討論之實施例，第M圖框可係該等序列-透視圖框200、202、204、206、208、210、212、214、216或218中之任一者，且在該說明之實施例中，針對M=Y之第M圖框係第一透視t=0圖框214，如第二圖所示。
第N向量可係一移動向量、一透視向量，或一移動-透視向量，其用於使第M圖框與不為該第M圖框之該等複數個影像圖框之一第N比較圖框相關。參照相對第一圖所討論之實施例，第N比較圖框可係不為第M圖框之該等圖框102、104、106或108中之任一者，且在該說明之實施例中，針對N=X之第N比較圖框係t=-1圖框104，如第一圖所示。參照相對第二圖所討論之實施例，第N比較圖框可係該等圖框200、202、204、206、208、210、212、216或218中之任一者，且在該說明之實施例中，針對N=X之第N比較圖框係第二透視t=-2圖框104，如第二圖所示。
參照回第八a圖，在確定第N向量後，該程序800可包括一建立單元804，其可類似於如上討論之該程序400之建立單元404。在該建立單 元804中，基於與第M圖框不同之第N比較圖框及針對第M圖框之第N向量，建立該第M圖框之一第N生成圖框。參照相對第一圖所討論之實施例，第N生成圖框可係針對t=0圖框生成之該等圖框110、112、114或116中之任一者，且在該說明之實施例中，針對N=X之第N生成圖框係如第一圖所示之圖框112。參照相對第二圖所討論之實施例，第N生成圖框可係針對該第一透視之t=0圖框生成之該等圖框220、222、224、226及228中之任一者，且在該說明之實施例中，針對N=X之第N生成圖框係如第二圖所示之圖框220。
該程序800可包括針對第M圖框之第N生成圖框之像素的一棄卻分析。在一實施例中，該程序800可包括一比較單元806，其中第M圖框之第N生成圖框的像素與第M圖框的像素作比較。該程序800亦可包括一識別單元808，其中當該第M圖框之低可信度像素與對應像素之間之一相對差大於一臨限值時，識別出該第M圖框之第N生成圖框之該等低可信度像素。該比較單元806及該識別單元808可分別類似於如上討論之程序400之該比較單元406及該識別單元408。
該程序800可包括一替代單元810，其可類似於程序400之替代單元410。在該替代單元810中，針對第M圖框之該第N生成圖框之低可信度像素可用基於第M圖框之像素及/或未被識別為低可信度像素之第N生成圖框之像素確定之像素替代。在一實施例中，該替代單元810可包括將來自第M圖框之選定像素及/或未被識別為低可信度像素之第N生成圖框之像素取平均以替代一低可信度像素。針對每一低可信度像素，可選擇該第M圖框中之該對應像素及(在一些實施例中)相鄰像素以用於取平均。應了解本文所用之取平均可係已知之任何類型之取平均，包括線性平均及針對各種因數 之加權平均，例如接近低可信度像素之位置。
在完成該確定單元802、建立單元804、比較單元806、識別單元808、及替代單元810時(其等可藉由該影像處理模組304實行)，針對M=Y及N=X產生針對第M圖框之一第N生成圖框。在一實施例中，X可大於一，且該程序800可包含針對M=Y及N=X-1重覆確定單元802、建立單元804、比較單元806、識別單元808、及替代單元810以產生針對第M圖框之複數個第N生成圖框。在一實施例中，X可大於二，且該程序800可包含重覆確定單元802、建立單元804、比較單元806、識別單元808、及替代單元810以產生針對N=X-1、X-2、....、1之第M圖框之一第N生成圖框。此外，在一實施例中，Y可大於一，且該程序800可包含重覆確定單元802、建立單元804、比較單元806、識別單元808、及替代單元810以產生針對M=Y-1之第M圖框之一第N生成圖框，因而建立針對該等複數個圖框之至少兩個圖框之生成影像。在一實施例中，Y可大於二，且該程序800可包含重覆確定單元802、建立單元804、比較單元806、識別單元808、及替代單元810以產生針對M=Y-1、Y-2、....、1之第M圖框之一第N生成圖框。
第八b圖係說明基於針對複數個圖框830、832、834、836及838之影像資料產生針對N=X、X-1、X-2、....、1及針對M=Y、Y-1、Y-2、....、1之第M圖框之一第N生成圖框之一示意圖。在一實施例中，圖框830、832、834、836及838中之該等複數個圖框可包含類似於第一圖之圖框100、102、104、106及108之時間圖框。該等複數個圖框830、832、834、836及838可依照一序列順序，使得圖框834係時間為零之圖框，圖框830及832分別係時間為-2及-1之居前圖框，且圖框836及838分別為時間係1及2之居後圖框。應 了解儘管圖框830、832、834、836及838可依某種序列順序，該等圖框830、832、834、836及838中之一些或全部可為或可不為直接連續圖框。儘管未於第八b圖中說明，應了解在一實施例中，該等圖框830、832、834、836及838中之一些或全部可包含類似於第二圖中所說明之透視圖框。
可進行程序800之確定單元802以確定針對一第M圖框之一第N向量，其可係該等圖框830、832、834、836及838中之任一者，且在該說明之實施例中，針對M=Y之第M圖框係如第七b圖所示之t=0圖框834。針對N=X之第N比較圖框可係不為針對M=Y之第M圖框834之該等圖框830、832、836或838中之任一者，且在該說明之實施例中，針對N=X之第N比較圖框係如第七b圖所示之t=-1圖框832。可進行程序800之建立單元804、比較單元806、識別單元808、及替代單元810以產生針對M=Y及N=X之第M圖框834之一第N生成圖框842。可重覆程序800以確定針對M=Y及N=X-1、X-2、1之第M圖框834之一第N向量。針對N=X-1、X-2、1，該第N比較圖框可分別係圖框836、830及838，且可針對N=X-1、X-2、1分別產生第N生成圖框846、840及848。照此，該程序800已基於該等圖框830、832、834、836或838產生第N生成圖框840、842、846及848。
在一實施例中，該程序800可進一步包含重覆上述之程序800之建立單元804、比較單元806、識別單元808、及替代單元810以產生針對M=Y-1、Y-2、....、1及N=X-1、X-2、....、1之第M圖框之一第N生成圖框。可重覆程序800以確定針對M=Y-1及N=X、X-1、X-2、....、1之一第M圖框836之一第N向量並產生第N生成圖框850、852、854及858。同樣也可以進行確定針對M=Y-2及N=X、X-1、X-2、....、1之一第M圖框832之一第N向量 並產生第N生成圖框860、864、866及868。同樣也可以進行確定針對M=Y-3及N=X、X-1、X-2、....、1之一第M圖框838之一第N向量並產生第N生成圖框870、872、874及876。同樣也可以進行確定針對M=1及N=X、X-1、X-2、....、1之一第M圖框830之一第N向量並產生第N生成圖框882、884、886及888。
藉由針對M=Y、Y-1、Y-2、....、1及N=X、X-1、X-2、....、1重覆程序800之建立單元804、比較單元806、識別單元808、及替代單元810，產生針對每一第M圖框之複數個第N生成圖框。特定而言，針對第M圖框834產生生成圖框840、842、846及848，針對第M圖框836產生生成圖框850、852、854及858，針對第M圖框832產生生成圖框860、864、866及868，針對第M圖框838產生生成圖框870、872、874及876，及針對圖框830產生生成圖框882、884、886及888。
應了解，可依任何順序產生該等生成圖框840、842、846、848、850、852、854、858、860、864、866、868、870、872、874、876、882、884、886或888。換言之，可平行、依序或其任何組合產生該等圖框840、842、846、848、850、852、854、858、860、864、866、868、870、872、874、876、882、884、886或888。應進一步了解，可指派該等圖框830、832、834、836或838中之任一者為第M圖框，且可指派該等圖框830、832、834、836或838中之其餘者作為針對N=X、X-1、X-2、...、1之任一者之第N比較圖框，且第八b圖中所示之指派僅係照此說明。
參照第三圖、第八a圖及第八b圖，該程序800可進一步包括用於建立針對第M圖框834之一複合圖框894的一建立單元812。該影像混合模組306可經組態以實施該程序800之建立單元812。可操作該影像混合模組 306以接收第M圖框及針對該第M圖框之生成圖框，並將其等混合以建立針對該第M圖框之一複合圖框。在一實施例中，可操作該影像混合模組306以接收並混合第N生成圖框840、842、846、848、850、852、854、858、860、864、866、868、870、872、874、876、882、884、886或888中之一些或全部以產生針對各別之第M圖框之一複合第M圖框。換言之，可混合該等生成圖框840、842、846及848及第M圖框834以產生針對第M圖框834之一複合第M圖框894。可混合該等生成圖框850、852、854及858及第M圖框836以產生針對第M圖框836之一複合第M圖框896，可混合該等生成圖框860、864、866及868及第M圖框832以產生針對第M圖框832之一複合第M圖框892，可混合該等生成圖框870、872、874及876及第M圖框838以產生針對第M圖框838之一複合第M圖框898，及可混合該等生成圖框882、884、886及888及第M圖框830以產生針對第M圖框830之一複合第M圖框890。
應了解，可變化在該影像混合模組306處用於混合之欲包括圖框之數目及選擇，且可變化在該混合中所包括之各圖框之比重。例如，在一實施例中，可以相同比重混合第M圖框834及第N生成圖框840、842、846及848。在另一示例性實施例中，可以不同比重混合第M圖框834及第N生成圖框840、842、846及848。在一實施例中，可排除該等圖框中之任意者且不給予比重。在一實施例中，由於第N生成圖框842及846係基於可更類似於第M圖框834之圖框832及836，可給予其等更多比重。在一實施例中，由於第M圖框834包含不想要之雜訊假影，可給予其減少之比重或不給予比重。
根據本文所揭示之程序中之任一者所生成之該等複合圖框 (諸如：複合圖框890、892、894、896或898)包括來自複數個時間及/或透視圖框之影像資料。得益自複數個圖框以及相對第四圖及第五圖如上討論之棄卻分析，允許該等複合圖框包括較原始場景更正確之影像資料且具有減少之假影。
在建立該等複合圖框890、892、894、896或898後，可將該等複合圖框890、892、894、896或898儲存於影像資料儲存器312中或可在可選影像效果模組308中及/或該可選壓縮模組310中進行進一步處理。依據該程序800之一壓縮單元816，可在將該等複合圖框890、892、894、896及898儲存於該影像資料儲存器312之前或將其等向下游傳輸之前於該可選壓縮模組310處將其等壓縮。
第九a圖係程序900之一示例性實施例，其可併入本文所揭示之該等程序400、600、700、800中之一些或全部，且可藉由該影像處理系統300實施以基於針對複數個影像圖框之影像資料而產生至少一個影像圖框。該程序900可包括一確定單元902，其可類似於程序400之確定單元402、程序600之確定單元602、程序700之確定單元702及程序800之確定單元802。在該確定單元902中，針對M係Y且N係X，可根據本文所述之該等向量分析之任何實施例針對該等複數個影像圖框之第M圖框確定一第N向量。X及Y各係大於零之一數。在確定第N向量之後，該程序900可包括一建立單元904，其可類似於如上討論之程序400之建立單元404、程序600之建立單元604、程序700之建立單元704及程序800之建立單元804。在該建立單元904中，基於與第M圖框不同之第N比較圖框及針對第M圖框之第N向量，建立該第M圖框之一第N生成圖框。根據本文所述之棄卻分析之任何實施 例，該程序900可包括一比較單元906，其中第M圖框之第N生成圖框之像素與第M圖框之像素比較，以及一識別單元908，其中當該第M圖框之低可信度像素與該對應像素之間之一相對差大於一臨限值時，識別出該第M圖框之第N生成圖框的低可信度像素。該比較單元906可分別類似於如上討論之程序400、600、700及800之該比較單元406、606、706及806。該識別單元908可分別類似於如上討論之程序400、600、700及800之該比較單元408、608、708及808。
該程序900可包括一替代單元910，其可分別類似於如上討論之程序400、600、700及800之該替代單元410、610、710及810。在該替代單元910中，針對第M圖框之該第N生成圖框之低可信度像素可用基於第M圖框之像素及/或未被識別為低可信度像素之第N生成圖框之像素確定之像素替代。在一實施例中，該替代單元910可包括將來自第M圖框之選定像素及/或未被識別為低可信度像素之第N生成圖框之像素取平均以替代一低可信度像素。針對每一低可信度像素，可選擇該第M圖框中之對應像素及(在一些實施例中)相鄰像素以用於取平均。
在一實施例中，X可大於一，且該程序900可包含重覆確定單元902、建立單元904、比較單元906、識別單元908、及替代單元910以產生針對M=Y及N=X-1之第M圖框之複數個第N生成圖框。在一實施例中，X可大於二，且該程序900可包含重覆確定單元902、建立單元904、比較單元906、識別單元908、及替代單元910以產生針對N=X-1、X-2、....、1之第M圖框之一第N生成圖框。此外，在一實施例中，Y可大於一，且該程序900可包含重覆確定單元902、建立單元904、比較單元906、識別單元908、及 替代單元910以產生針對M=Y-1之第M圖框之第N生成圖框，因而建立針對該等複數個圖框之至少兩個圖框之生成影像。在一實施例中，Y可大於二，且該程序900可包含重覆確定單元902、建立單元904、比較單元906、識別單元908、及替代單元910以產生針對M=Y-1、Y-2、....、1之第M圖框之第N生成圖框。
參照第三圖及第九a圖，該程序900可進一步包括用於建立針對M=Y、Y-1、Y-2、....、1之第M圖框之一複合圖框的一建立單元912。該影像混合模組306可經組態以進行該程序900之建立單元912。如藉由如上討論之程序900之確定單元902、建立單元904、比較單元906、識別單元908、及替代單元910所籌劃，可操作該影像混合模組306以接收第M圖框及針對該第M圖框之生成圖框，並將其等混合以建立針對M=Y、Y-1、Y-2、....、1之第M圖框之一複合圖框。
在建立針對第M圖框之一複合圖框後，可將該複合圖框儲存於該影像資料儲存器312中或可依據一應用單元914在可選影像效果模組308中及/或依據一壓縮單元916在該可選壓縮模組310中進行進一步處理。在程序900之應用單元914中，可在可選影像效果模組308處修正一複合圖框以包括刻意之雜訊假影及或其它本技藝已知之視覺效果。在該程序900之壓縮單元916中，可在將一複合圖框儲存於該影像資料儲存器312之前或將其向下游傳輸之前於該可選壓縮模組310處壓縮該複合圖框。
該程序900可進一步經組態以包括一更新單元920，其用於迭代更新在該程序900之建立單元912中產生之該等複合圖框。該更新單元920可藉由第三圖之影像產生模組304進行。在一實施例中，可藉由根據本文所 述之向量分析及棄卻分析之任何實施例分析針對M=Y、Y-1、Y-2、....、1之第M圖框之該等複合圖框本身以更新該等複合圖框。
第九b圖係說明該更新單元920之一示例性實施例的一流程圖。在一實施例中，該更新單元920可包括一確定單元922，其中可針對M為Y且N為X確定針對如上討論所產生之該等複合圖框之一第M複合圖框之一第N向量。X及Y可各為大於零之一數，及該第N向量使第M複合圖框與和該第M複合圖框不同之該等複合圖框之一第N比較複合圖框相關。在一實施例中，可用如上討論相對於第五a圖及第五b圖確定針對第M圖框之第N向量之相同方式確定針對第M複合圖框之該第N向量。
該更新單元920可進一步包括一建立單元924，其中可基於與該第M複合圖框不同之第N比較複合圖框及針對第M複合圖框之第N向量建立第M複合圖框之一第N生成圖框。該第M複合圖框之第N向量之座標允許自該第N比較複合圖框重建第M複合圖框。在一實施例中，可用如上討論相對於第五c圖建立第M圖框之第N生成圖框之相同方式建立第M複合圖框之該第N生成圖框。
該更新單元920可包括針對第M複合圖框之第N生成圖框之像素的一棄卻分析。在一實施例中，該更新單元920可包括一比較單元926，其中將該第M複合圖框之第N生成圖框之像素與第M複合圖框之像素比較。該更新單元920亦可包括一識別單元928，其中當該第M圖框之低可信度像素與該對應像素之間之一相對差大於一臨限值時，識別出該第M複合圖框之第N生成圖框的低可信度像素。在一實施例中，可將第M複合圖框之第N生成圖框之像素與第M複合圖框之像素比較，且可用如上討論相對於第五d 圖進行該比較單元406及該識別單元408之相同方式識別出該低可信度像素。
該更新單元920可包括一替代單元930，其中可將針對第M複合圖框之第N生成圖框之低可信度像素替代為基於第M複合圖框之像素及/或針對該第M複合圖框之第N生成圖框之像素所確定之像素。在一實施例中，該替代單元930可包括將來自第M複合圖框之選定像素及/或針對第M複合圖框之第N生成圖框之像素取平均以替代一低可信度像素。針對每一低可信度像素，可選擇該第M複合圖框中之該對應像素及(在一些實施例中)相鄰像素以用於取平均。
在一實施例中，X可大於一，且可針對N為X-1重覆該更新單元920，因而建立針對該第M複合圖框之至少兩個生成圖框。在一實施例中，X可大於二，且可針對N=X-1、X-2、....、1重覆該程序920以產生針對N=X-1、X-2、....、1之第M複合圖框之一第N生成圖框。在進行該更新單元920以建立複數個第N生成圖框後，可重覆該建立單元912以混合該第M複合圖框之至少兩個生成圖框以建立針對該第M圖框之一已更新之複合圖框。
可針對M不為Y之第M圖框建立針對第M圖框之一已更新複合圖框。在Y大於一之一實施例中，可針對M=Y-1重覆該更新單元920，因而建立針對至少兩個第M複合圖框之生成圖框。在Y大於二之一實施例中，可針對M=Y-1、Y-2、...、1重覆該更新單元920。在進行該更新單元920以建立複數個第N生成圖框後，可重覆該建立單元912以混合該等第M複合圖框之生成圖框以建立針對該等第M圖框之已更新複合圖框。
應了解可依任何順序進行以上所討論針對不同值之N與M 之單元920之重覆，諸如依序、平行或其任何組合。
亦應了解，可將完成重覆該建立單元912以建立已更新之複合圖框視為建立針對第M圖框之複合圖框之一第二迭代。在一實施例中，針對第M圖框之已更新複合圖框之一或多個部分具有較針對第M圖框之該等複合圖框之第一迭代更少之雜訊假影及更正確之像素資料，此係因為經由該向量及棄卻分析之一額外迭代允許本揭示案之向量及棄卻分析之益處累進地增加。照此，吾人可了解可重覆該更新單元920超過一次以供額外之迭代以進一步減少假影並改善第M圖框之複合圖框之至少一些部份中之像素資料之正確性。然而，經由該更新單元920之每一額外之迭代可需要額外之計算動力及延長之計算時間。
應了解，可將該迭代更新單元920調適及併入本揭示案之任何實施例中，包括程序400、600、700及800，以用於協同結果。可針對程序400、600、700及800之全部或一些部份調適該更新單元920。
第十a圖係程序1000之一示例性實施例，其可併入本文所揭示之該等程序400、600、700、800及900中之一些或全部，且可藉由該影像處理系統300實施以基於針對複數個影像圖框之影像資料而產生至少一個影像圖框。該程序1000可包括一確定單元1002，其可類似於程序400之確定單元402、程序600之確定單元602、程序700之確定單元702、程序800之確定單元802，以及程序900之確定單元902。在該確定單元1002中，針對M係Y且N係X，可根據本文所述之該等向量分析之任何實施例針對該等複數個影像圖框之一第M圖框確定一第N向量。X及Y各係大於零之一數。在確定第N向量之後，該程序1000可包括一建立單元1004，其可類似於如以上所討 論之程序400之建立單元404、程序600之建立單元604、程序700之建立單元704、程序800之建立單元804，及程序900之建立單元904。在該建立單元1004中，基於與第M圖框不同之第N比較圖框及針對第M圖框之第N向量，建立該第M圖框之一第N生成圖框。根據本文所述之棄卻分析之任何實施例，該程序1000可包括一比較單元1006，其中第M圖框之第N生成圖框之像素與第M圖框之像素比較，以及一識別單元1008，其中當該第M圖框之低可信度像素與該對應像素之間之一相對差大於一臨限值時，識別出該第M圖框之第N生成圖框的低可信度像素。該比較單元1006可分別類似於如上討論之程序400、600、700、800及900之該比較單元406、606、706、806及906。該識別單元1008可分別類似於如上討論之程序400、600、700、800及900之該比較單元408、608、708、808及908。
該程序1000可包括一替代單元1010，其可分別類似於如上討論之程序400、600、700、800及900之該替代單元410、610、710、810及910。在該替代單元1010中，針對第M圖框之該第N生成圖框之低可信度像素可用基於第M圖框之像素及/或未被識別為低可信度像素之第N生成圖框之像素確定之像素替代。在一實施例中，該替代單元1010可包括將來自第M圖框之選定像素及/或未被識別為低可信度像素之第N生成圖框之像素取平均以替代一低可信度像素。針對每一低可信度像素，可選擇該第M圖框中之對應像素及(在一些實施例中)相鄰像素以用於取平均。
在一實施例中，X可大於一，且該程序1000可包含重覆確定單元1002、建立單元1004、比較單元1006、識別單元1008、及替代單元1010以產生針對M=Y及N=X-1之第M圖框之複數個第N生成圖框。在一實施例 中，X可大於二，且該程序1000可包含重覆確定單元1002、建立單元1004、比較單元1006、識別單元1008、及替代單元1010以產生針對M=Y及N=X-1、X-2、...、1之第M圖框之複數個第N生成圖框。此外，在一實施例中，Y可大於一，且該程序1000可包含重覆確定單元1002、建立單元1004、比較單元1006、識別單元1008、及替代單元1010以產生針對M=Y-1之第M圖框之至少一個第N生成圖框，因而建立針對該等複數個圖框之至少兩個圖框之生成圖框。在一實施例中，Y可大於二，且該程序1000可包含重覆確定單元1002、建立單元1004、比較單元1006、識別單元1008、及替代單元1010以產生針對M=Y-1、Y-2、....、1之第M圖框之至少一個第N生成圖框。
參照第三圖及第十a圖，該程序1000可進一步包括用於建立針對M=Y、Y-1、Y-2、....、1之第M圖框之一複合圖框的一建立單元1012。該影像混合模組306可經組態以進行該程序1000之建立單元1012。可操作該影像混合模組306以針對M=Y、Y-1、Y-2、....、1及N=X、X-1、X-2、....、1接收第M圖框及針對該第M圖框之第N生成圖框。可進一步操作該影像混合模組306以混合第M圖框及針對該第M圖框之第N生成圖框中之一些或全部以建立針對該第M圖框之一複合圖框。
在建立針對第M圖框之一複合圖框後，可將該複合圖框儲存於該影像資料儲存器312中或可依據一應用單元1014在可選影像效果模組308中及/或依據一壓縮單元1016在該可選壓縮模組310中進行進一步處理。在程序1000之應用單元1014中，可在可選影像效果模組308處修正一複合圖框以包括刻意之雜訊假影及/或其它本技藝已知之視覺效果。在該程序1000之壓縮單元1016中，可在將一複合圖框儲存於該影像資料儲存器312之前或 將其向下游傳輸之前於該可選壓縮模組310處壓縮該複合圖框。
為了解類似於與如上所討論之迭代更新一複合圖框相關者之協同益處，在一實施例中，可根據本文所揭示之原理調適該程序1000以包括一或多個迭代單元。在一示例性實施例中，該程序1000可包括用於迭代產生至少一額外生成圖框之一迭代產生單元1020。在一實施例中，可使用如上討論所產生之針對M=Y、Y-1、Y-2、....、1及N=X、X-1、X-2、....、1之第M圖框之第N生成圖框中之影像資料以產生針對第M圖框之第N生成圖框之一新的迭代。在一實施例中，該額外之迭代生成圖框可替代該生成圖框之先前迭代，並可經混合以建立針對M=Y、Y-1、Y-2、....、1之第M圖框之一複合圖框。在另一實施例中，該額外之迭代生成圖框可與生成圖框之先前迭代混合以建立針對M=Y、Y-1、Y-2、....、1之第M圖框之一複合圖框。可藉由根據本文所述之向量分析及棄卻分析之任何實施例分析該等生成圖框之一先前迭代而在該影像產生模組304處產生該等迭代生成圖框。
第十b圖係說明該迭代產生單元1020之一示例性實施例的一流程圖。在一實施例中，該迭代產生單元1020可包括一確定單元1022，其中可針對M為Y且N為X確定一第M生成圖框之一第N向量。X及Y可各為大於零之一數，及該第N向量可使第M生成圖框與針對第M生成圖框之一第N比較圖框相關。該第N比較圖框可係不為第M圖框之複數個圖框中之一者或係不為第M生成圖框之複數個生成圖框中之一者。在一實施例中，可用如上討論相對於第五a圖及第五b圖確定針對第M圖框之第N向量之相同方式確定針對第M生成圖框之該第N向量。
該迭代產生單元1020可進一步包括一建立單元1024，其中可 基於針對第M生成圖框之第N比較圖框及針對第M生成圖框之第N向量建立第M生成圖框之一第N迭代生成圖框。針對該第M生成圖框之第N向量之座標允許自針對第M生成圖框之該第N比較圖框重建第M生成圖框。在一實施例中，可用如上討論相對於第五c圖建立第M圖框之第N生成圖框之相同方式建立針對第M生成圖框之該第N迭代生成圖框。
該迭代產生單元1020可包括針對第M生成圖框之第N迭代生成圖框之像素的一棄卻分析。在一實施例中，該迭代產生單元1020可包括一比較單元1026，其中將該第M生成圖框之第N迭代生成圖框之像素與第M生成圖框之像素作比較。該迭代產生單元1020亦可包括一識別單元1028，其中當該第M生成圖框之低可信度像素與該對應像素之間之一相對差大於一臨限值時，識別出該第M圖框之第N迭代生成圖框的低可信度像素。在一實施例中，可將第M生成圖框之第N迭代生成圖框之像素與第M生成圖框之像素作比較，且可用如上討論相對於第五d圖進行該比較單元406及該識別單元408之相同方式識別出該低可信度像素。
該迭代產生單元1020可包括一替代單元1030，其中可將針對第M生成圖框之第N迭代生成圖框之低可信度像素替代為基於第M生成圖框之像素及/或針對第M生成圖框之第N迭代生成圖框之像素所確定之像素。在一實施例中，該替代單元1030可包括將來自第M生成圖框之選定像素及/或針對第M生成圖框之第N迭代生成圖框之像素取平均以替代一低可信度像素。針對每一低可信度像素，可選擇該第M生成圖框中之對應像素及(在一些實施例中)相鄰像素以用於取平均。
在一實施例中，X可大於一，且可針對N為X-1重覆該迭代產 生單元1020，因而建立針對該第M生成圖框之至少兩個生成圖框。在一實施例中，X可大於二，且可針對N=X-1、X-2、....、1重覆該單元1020以產生針對N=X-1、X-2、....、1之第M生成圖框之一第N生成圖框。在進行該迭代產生單元1020以建立複數個第N迭代生成圖框後，該建立單元1012可混合該第M生成圖框之複數個第N迭代生成圖框中之至少兩者以建立針對該第M圖框之一複合圖框。如上所討論，在一實施例中，該第N迭代生成圖框可替代該生成圖框之先前迭代，並可經混合以建立針對第M圖框之一複合圖框。在另一實施例中，該第N迭代生成圖框可與該生成圖框之先前迭代(例如：第N生成圖框)混合以建立針對第M圖框之一複合圖框。
可針對M不為Y之第M圖框建立第M圖框之一第N迭代生成圖框。在Y大於一之一實施例中，可針對M=Y-1重覆該迭代產生單元1020，因而建立針對至少兩個第M生成圖框之生成圖框。在Y大於二之一實施例，針對M=Y-1、Y-2、...、1重覆該迭代產生單元1020。
應了解可依任何順序進行以上討論針對不同值之N與M之單元1020之重覆，諸如依序、平行或其任何組合。
第十一a圖係顯示程序1100之一示例性實施例之一流程圖，其可藉由該影像處理模組304實施以基於針對複數個影像圖框之影像資料產生至少一個影像圖框。該程序1100可包括一確定單元1102、建立單元1104、比較單元1106、識別單元1108及替代單元1110，其分別類似於程序400之確定單元402、建立單元404、比較單元406、識別單元408及替代單元410。可調適該程序1100以包括額外之程序單元，其等可經操作以修正用於N=X及M=Y之複數個圖框之第M圖框之第N向量，並允許改善第N向量使第M圖 框與一第N比較圖框相關之正確性。
第十一b圖係說明針對第M圖框之第N向量之一示例性修正之一示意圖。在如第十一b圖所示之該實施例中，圖框1180可包含針對一第一透視之影像資料，且圖框1182可包含針對一第二透視之影像資料。將該第二透視圖框1182指派為針對M=Y之第M圖框並將該第一透視圖框1180指派為針對N=X之第N比較圖框。應了解儘管在第十一b圖之實例中說明透視圖框以驗證程序1100之操作，可根據本文所揭示之原理將該程序1100應用於時間圖框或時間及透視圖框之一組合。應進一步了解儘管作為說明目的在第十一b圖中僅提供兩個圖框，在一實施例中，可根據本文揭示之原理藉由程序1100處理額外之時間及/或透視圖框。
現參照第十一a圖及第十一b圖，在一實施例中，可在該程序1100之確定單元1102中確定將第M圖框1182與第N比較圖框1180相關之第N向量1168。該程序1100可進一步包括用於建立第N比較圖框1180之一中介圖框1164的一建立單元1152。該中介圖框可包括使該第N比較圖框1180與該第M圖框1182相關之一第N反向量1166。該程序1100亦可包括用於重定向第N反向量1166之一重定向單元1154。該第N反向量之重定向建立具有一經修正第N向量1172之該第M圖框1182之一第N中介圖框1170，其係該第N反向量1166之一反向量。如同該第N向量1168，該經修正第N向量1172亦使第M圖框1182與第N比較圖框1180相關。
在一實施例中，該程序1100可包括在該重定向單元1154之後之一比較單元1156，以用於將第N向量1168之值與已修正之第N向量1168之值作比較。類似於程序400，就像可在第N生成圖框508之像素上進行一棄卻 分析般，可在該已修正之第N向量1168之值上進行一棄卻分析以識別及替代具有低正確性可信度之像素。以類似於將第五c圖之第N生成圖框508之像素與第五a圖之第M圖框500之像素作比較的方式，可將第N向量1168之值與經修正之第N向量1172之值作比較。
在一實施例中，該程序1100可包括用於識別已修正之第N向量1172之低可信度值之一識別單元1158。類似於程序400之識別單元408，在該識別單元1158中，該已修正第N向量1172之低可信度值與第N向量之對應值之間之一相對差可大於一臨限值，且可棄卻該經已正第N向量1172之低可信度值。
在一實施例中，該程序1100可包括一替代單元1160，其用於將該已修正之第N向量1172的低可信度值以基於該第N向量1168之值確定之值替代。在一些實施例中，可將經修正之第N向量1172之一低可信度值替代為在該第N向量1168中之對應值及相鄰值之一平均值。應了解本文所用之取平均可係已知之任何類型之取平均，包括線性平均及針對各種因數之加權平均，例如接近低可信度值之位置。
在一實施例中，該程序1100可包括一混合單元1162，其用於將該已修正之第N向量1172與第N向量1168混合。現可在該建立單元1104使用已修正之複合第N向量以更正確地建立第M圖框之一第N生成圖框，此係因為使用已修正複合第N向量不僅在建立第N生成圖框，同時也在建立用來建立第N生成圖框之向量上體現向量分析及棄卻分析之益處。藉由調適程序1100以包括建立單元1152、重定向單元1154、比較單元1156、識別單元1158、替代單元1160及混合單元1162所允許之協同益處可體現在藉由類似調適以 包括該等單元之本揭示案之其它程序中。例如，可修正程序400、600、700、800、900及1000中之任一者以將建立單元1152、重定向單元1154、比較單元1156、識別單元1158、替代單元1160及混合單元1162包括在該等程序之各別向量及棄卻分析中。
應了解，可在該影像產生模組304處實施程序1100中之大多數，包括：確定單元1102、建立單元1104、比較單元1106、識別單元1108、替代單元1110、建立單元1152、重定向單元1154、比較單元1156、識別單元1158、替代單元1160。可在影像混合模組306處實施該混合單元1162。
在一實施例中，X可大於一，且可針對M=Y及N=X-1重覆程序1100以產生針對該第M圖框之複數個第N生成圖框。在一實施例中，X可大於二，且可重覆該程序1100以產生針對N=X-1、X-2、....、1之第M圖框之一第N生成圖框。
第十二圖係顯示程序1200之一示例性實施例之一流程圖，其可藉由該影像處理系統300實施以基於針對複數個影像圖框之影像資料而產生至少一個影像圖框。在一實施例中，該程序1200可包括一確定單元1202，其可類似於以上討論之程序400之確定單元402。在該確定單元1202中，針對M係Y且N係X，可使用本文所述之該等向量分析之任何實施例針對該等複數個影像圖框之一第M圖框確定一第N向量。X及Y各係大於零之一數。該等複數個影像圖框之第M圖框可為序列、透視，或序列-透視。第N向量可係一移動向量、一透視向量，或一移動-透視向量，其用於使第M圖框與不為該第M圖框之該等複數個影像圖框之一第N比較圖框相關。該程序1200可進一步包括一建立單元1204、比較單元1206、識別單元1208及替 代單元1210，其分別類似於程序400之建立單元404、比較單元406、識別單元408及替代單元410。可操作該確定單元1202、建立單元1204、比較單元1206、識別單元1208、及替代單元1210以根據本揭示案之向量及棄卻分析產生針對第M圖框之一第N生成圖框。可調適該程序1200以包括額外之程序單元以用於具有不同曝光量之複數個圖框的實施。
在一實施例中，第M圖框及第N比較圖框可具有不同之曝光量，且該程序1200可包括在該確定單元1202之前之一調整單元1280，其用於將第N比較圖框之一第一曝光量調整至相對地匹配該等複數個圖框之一第M圖框之曝光量的一第二曝光量。該第M圖框與第N比較圖框之實質上匹配之曝光量允許第N向量之一有意義之確定。在該調整單元1280之後，使用確定單元1202、建立單元1204、比較單元1206、識別單元1208及替代單元1210之向量及棄卻分析產生第N生成圖框。該第N生成圖框可具有實質上匹配第M圖框之曝光量及第N比較圖框之第二曝光量之一曝光量。
參照第十三a圖至第十三c圖提供程序1200之一示例性說明。
第十三a圖係說明具有不同曝光量之圖框1302、1304及1306的一示意圖。該圖框1302可係具有一透視(P=-1)及約1.5z之一曝光量的一第一透視圖框。該圖框1304可係具有一透視(P=0)及約z之一曝光量的一第二透視圖框。該圖框1306可係具有一透視(P=0)及約0.5z之一曝光量的一第三透視圖框。儘管在第十三a圖中之示例性實施例中僅顯示三個透視圖框1302、1304及1306，應了解程序1200可根據本文所揭示之原理與以任何數目及任何組合之時間及/或透視圖框操作。在一實施例中，可將圖框1304指派為針對M=Y之第M圖框，且可將其它兩個圖框指派為針對N=X,X-1之第N比較圖 框。應了解可重覆程序1200以用於指派為針對M=Y-1及1之第M圖框之另一圖框以及指派為針對N=X,X-1之第N比較圖框之其餘兩個圖框。
第十三b圖係說明具有實質上匹配之曝光量之圖框1302、1304及1306的一示意圖。在該說明實施例中，可對圖框1302應用-0.5z之調整以將該圖框1302之曝光量調整至約1.5z-0.5z。可對圖框1306應用+0.5z之調整以將該圖框1306之曝光量調整至約0.5z+0.5z。照此，該等圖框1302、1304及1306可具有與約z之值實質上匹配之曝光量。
第十三c圖係說明第一及第二生成圖框1308及1310的一示意圖。可根據確定單元1202、建立單元1204、比較單元1206、識別單元1208及替代單元1210使用該等曝光量調整圖框1302、1304及1306之向量及棄卻分析而產生該等圖框1308及1310。由於圖框1308及1310係自第十三b圖之曝光量調整圖框1302、1304及1306產生，該等圖框1308及1310亦可具有實質上匹配第十三b圖之曝光量調整圖框1302、1304及1306之曝光量的一曝光量。照此，該圖框1308可具有約1.5z-0.5z之一曝光量，且該圖框1310可具有約0.5z+0.5z之一曝光量。
現參照回第十二圖，在替代單元1210之後，該程序1200可進一步包括一應用單元1282，其用於對該第N生成圖框之曝光量應用一反向調整使得該第N生成圖框之一經調整曝光量實質上匹配第N比較圖框之第一曝光量。
該程序1200可進一步包括一建立單元1284，其用於藉由混合該第N生成圖框及第M圖框而建立針對第M圖框之一複合圖框。在一實施例中，可進行第N生成圖框及第M圖框之混合，同時實質上保留第N生成圖框 及第M圖框兩者之像素資訊。照此，該複合圖框可具有較第N生成圖框或第M圖框任一者之一動態範圍寬之一動態範圍。
藉由調適程序1200以包括調整單元1280、應用單元1282及建立單元1284所允許之協同益處可體現在藉由類似調適以包括該等單元之本揭示案之其它程序中。例如，可修正程序400、600、700、800、900、1000、1100中之任一者以包括調整單元1280、應用單元1282及建立單元1284以產生具有一變寬動態範圍之複合圖框。
應了解，可在該影像產生模組304處實施程序1200中之大多數，包括：確定單元1202、建立單元1204、比較單元1206、識別單元1208、替代單元1210、調整單元1280及應用單元1282。可在該影像混合模組306處實施建立單元1284，其可分別經調適於程序600、700、800、900、1000及1100之該等建立單元612、712、812、912、1012及1112中。
參照第十四a圖至第十四d圖提供程序1200之另一示例性說明。
第十四a圖係說明3x3矩陣之圖框1402、1404、1406、1412、1414、1416、1422、1424及1426的一示意圖。該等圖框1402、1404、1406、1412、1414、1416、1422、1424及1426可包括時間-透視影像資料及具有不同之曝光量。在第一列中，圖框1402、1404及1406可分別係來自第一透視(P=-1)之t=-1,0及1圖框。該等圖框1402、1404及1406可分別具有約z、1.5z及0.5z之曝光量。在第二列中，圖框1412、1414及1416可分別係來自第二透視(P=-0)之t=-1,0及1圖框。該等圖框1412、1414及1416可分別具有約0.5z、z及1.5z之曝光量。在第三列中，圖框1422、1424及1426可分別係來自第三 透視(P=-0)之t=-1,0及1圖框。該等圖框1422、1424及1426可分別具有約1.5z、0.5z及z之曝光量。儘管在第十四a圖之示例性實施例中顯示3x3矩陣之圖框，應了解可根據本文所揭示之原理，該程序1200可以任何數目及任何組合之時間及/或透視圖框操作。在一實施例中，可將p=0，t=0圖框1414指派為針對M=Y之第M圖框，且可將在該3x3矩陣之其餘圖框指派為針對N=X，X-1，...，1之第N比較圖框。
第十四b圖係說明具有實質上匹配第M圖框1414之曝光量的曝光量之比較圖框1402、1404、1406、1412、1416、1422、1424、及1426的一示意圖。根據程序1200之調整單元1280，可對該等圖框1404、1416及1422應用-0.5z之調整以將該等圖框1404、1416及1422之曝光量調整至約1.5z-0.5z。可對該等圖框1406、1412及1424應用+0.5z之調整，以將該等圖框1406、1412及1424之曝光量調整至約0.5z+0.5z。對該等圖框1402及1426不應用調整，此係由於該等兩個圖框已具有實質上匹配第M圖框1414之曝光量的約z之一曝光量。照此，該等比較圖框1402、1404、1406、1412、1416、1422、1424及1426可具有約z之值之實質上匹配之曝光量。
第十四c圖係說明針對t=0及p=0第M圖框1414之生成圖框1402’、1404’、1406’、1412’、1416’、1422’、1424’及1426’的一示意圖。可根據確定單元1202、建立單元1204、比較單元1206、識別單元1208及替代單元1210使用該等曝光量匹配之圖框1402、1404、1406、1412、1416、1422、1424及1426之向量及棄卻分析產生該等圖框1402’、1404’、1406’、1412’、1416’、1422’、1424’及1426’。由於圖框1308及1310係產生自第十三b圖之該等曝光量匹配之圖框1402、1404、1406、1412、1414、1416、1422、1424 及1426，該等生成圖框1402’、1404’、1406’、1412’、1416’、1422’、1424’及1426’亦可具有實質上匹配第十四b圖之曝光量匹配圖框1402、1404、1406、1412、1414、1416、1422、1424及1426之曝光量的一曝光量。照此，該等生成圖框1406’、1412’及1424’可具有約1.5z-0.5z之一曝光量，且該等生成圖框1406’、1412’及1424’可具有約0.5z+0.5z之一曝光量。
第十四d圖係說明生成圖框1402’、1404’、1406’、1412’、1416’、1422’、1424’、及1426’的一示意圖，該等生成圖框具有實質上匹配比較圖框1402、1404、1406、1412、1416、1422、1424、及1426之原始曝光量之曝光量。根據程序1200之應用單元1282，可對該等生成圖框1404’、1406’、1412’、1416’、1422’、1424’之曝光量應用一反向調整，使得該等生成圖框1406’、1412’及1424’可具有約1.5z之一曝光量，且該等生成圖框1406’、1412’及1424’可具有約0.5z之一曝光量。對該等生成圖框1402’及1426’不應用反向調整，此係由於該等對應比較圖框1402及1426之曝光量在程序1200之調整單元1282中不作調整。照此，該等生成圖框1402’、1404’、1406’、1412’、1416’、1422’、1424’及1426’連同原始第M圖框1414現在包括介於1.5z至0.5z之間之全動態範圍的影像資料。根據程序1200之建立單元1284，可混合該原始第M圖框1414及該等生成圖框1402’、1404’、1406’、1412’、1416’、1422’、1424’及1426’以建立針對t=0及p=0之第M圖框1414之一複合圖框1430。由於生成圖框與原始第M圖框之混合，該複合圖框1430可具有較該等生成圖框1402’、1404’、1406’、1412’、1416’、1422’、1424’及1426’中任一者或僅第M圖框1414之一動態範圍寬之一動態範圍。
第十五圖係將本揭示案之實施例與習知雜訊去除技術(例 如：模糊化)作比較之一示意圖1500。圖1500在垂直軸上繪示一影像圖框之信號雜訊比(SNR)及在平行軸上繪示該影像圖框之線對頻率(LPF)。一影像圖框之SNR係針對真實場景之影像資料之量與針對圖框中雜訊之影像資料之量間之比例的一測量值。該SNR可具有分貝之單位。一圖框之LPF係本技術已知之一測量值，其用於表徵一圖框之解析度且可具有每毫米之線對的一單位。
給定一預處理之影像圖框，此一圖框之LPF可用數個不同方式確定。在一第一實例中，用於擷取該預處理影像圖框之場景之透鏡的一透鏡表可包括該LPF規格。在另一實例中，可自基於數個測量值之一計算確定一圖框之LPF，該等測量值包括：焦距、該影像圖框中之選定物體至該擷取透鏡之距離、已知物體之實體尺寸及該擷取裝置之感測器尺寸。該焦距及感測器尺寸可包括在該擷取設備之公開規格中。亦可自包含該選定物體之所擷取場景之一電腦分析確定焦距。可使用在多個擷取場景中之選定物體之一電腦分析確定該選定物體之尺寸及該選定物體與擷取透鏡間之距離。
在第十五圖中，曲線1502說明一習知雜訊移除程序，而曲線1504及1506各可表示本文揭示之一示例性實施例，諸如系統300及程序400、600、700、800、900、1000、1100及1200。一預處理影像圖框在該曲線1502上之點A處可具有一SNR值及LPF值。使用一習知雜訊去除程序(諸如：模糊化)以移除雜訊將在犧牲該影像圖框之解析度下增加SNR值。照此，一後處理影像圖框之SNR值及LPF值將係在該曲線1502上之點B處，在該處該LPF值已減少至少10%。
與習知雜訊去除程序相反，由曲線1504表示之本揭示案之一實施例可經組態以增加一圖框的SNR值且LPF減少不超過10%。在一實施例中，本揭示案之一示例性程序可包括在一影像產生模組處接收複數個圖框，該等圖框在曲線1504上之點A處具有第一LPF及第一SNR。本揭示案之示例性程序亦可包括以該影像產生模組產生基於複數個圖框中之影像資料之至少一個圖框，且該至少一個生成圖框可在曲線1504上之點C處具有第二LPF及第二SNR。點C處之第二SNR大於點A處之第一SNR，且點C處之第二LPF係點A處之第一LPF之至少90%。在一實施例中，點C處之該第二LPF較佳地可係點A處之第一LPF的至少95%。
本揭示案之另一程序係以曲線1506表示，且其可操作以增加一圖框之SNR值，同時LPF亦增加。在一實施例中，本揭示案之一示例性程序可包括在一影像產生模組處接收複數個圖框，該等圖框在曲線1506上之點A處具有第一LPF及第一SNR。本揭示案之示例性程序亦可包括以該影像產生模組產生基於該等複數個圖框中之影像資料之至少一個圖框，且該至少一個生成圖框可在曲線1506上之點D處具有第二LPF及第二SNR。點D處之第二SNR大於點A處之第一SNR，且點D處之第二LPF大於點A處之第一LPF。在一實施例中，該第二SNR甚至可在一擷取裝置之一繞射極限處或在該極限之上。
第十六圖係一示例性影像處理系統1600之一示意圖。系統1600可包括一介面1602，其經組態以接收具有第一與第二相對高變異區域(RHVRs)及第一與第二相對低變異區域(RLVRs)之影像。系統1600亦可包括一處理器1604，其經組態以在該第一與第二RHVRs及第一與第二RLVRs 中之信號雜訊比之客觀計算修正而產生一影像。
第十七圖係比較可由第十六圖之處理器影響之該等客觀計算修正的一表。應了解，該RHVR係具有高變異且因此具有低信號雜訊比之區域。如第十七圖所示，該RHVR可包括富含雜訊或細節信號(細節信號在該邊緣處具有低SNR)之區域。該RLVR係具有低變異且因此具有高信號雜訊比之區域。如第十七圖所示，該RLVR可包括具有低雜訊或遺失細節信號之區域。
參照第十六圖及第十七圖，在一實施例中，該客觀計算修正可包括以下各項之任何組合：1)該第一RHVR之信號雜訊比(μ1st RHVR/σ1st RHVR)之增加，其中μ1st RHVR係第一RHVR之平均像素值且σ1st RHVR係第一RHVR之像素值之標準差；2)該第二RHVR之信號雜訊比(μ2nd RHVR/σ2nd RHVR)之減少，其中μ2nd RHVR係第二RHVR之平均像素值且σ2nd RHVR係第二RHVR之像素值之標準差；3)該第一RLVR之信號雜訊比(μ1st RLVR/σ1st RLVR)之增加，其中μ1st RLVR係第一RLVR之平均像素值且σ1st RLVR係第一RLVR之像素值之標準差；及4)該第二RLVR之信號雜訊比(μ2nd RLVR/σ2nd RLVR)之減少，其中μ2nd RLVR係第二RLVR之平均像素值且σ2nd RLVR係第二RLVR之像素值之標準差。
該第一RHVR(其中其富含雜訊)之信號雜訊比(μ1st RHVR/σ1st RHVR)增加的效應為可減少雜訊。該第二RHVR(其中其富含細節)之信號雜訊比(μ2nd RHVR/σ2nd RHVR)減少的效應為可進一步改善細節信號。第一RLVR(其中其具有低雜訊)之信號雜訊比(μ1st RLVR/σ1st RLVR)增加之效應係可進一步減少雜訊。該第二RLVR(其中其具有遺失之細節信號)之信號雜訊比(μ2nd RLVR/σ2nd RLVR)減少之效應係可復原某些細節信號。
在一實施例中，該程序1604經組態以產生具有客觀計算修正之一影像，該等客觀計算修正包括第一RHVR之信號雜訊比的增加及該第二RHVR之信號雜訊比的減少。在一實施例中，該程序1604經組態以產生具有客觀計算修正之一影像，該等客觀計算修正包括第一RHVR之信號雜訊比的增加及該第二RLVR之信號雜訊比的減少。在一實施例中，該處理器1604經組態以產生具有客觀計算修正之一影像，該等客觀計算修正包括第二RHVR之信號雜訊比的減少及該第一RLVR之信號雜訊比的增加。在一實施例中，該處理器1604經組態以產生具有客觀計算修正之一影像，該等客觀計算修正包括第一RLVR之信號雜訊比的增加以及第二RLVR之訊號雜訊比的減少。在一實施例中，該處理器1604經組態以產生具有客觀計算修正之一影像，該等客觀計算修正包括第一RHVR之信號雜訊比的增加、第二RHVR之信號雜訊比的減少、第一RLVR之信號雜訊比的增加及該第二RLVR之信號雜訊比的減少。
為產生具有第十七圖所示之客觀計算修正的影像，該處理器1604可經組態以包括上述之第三圖中所示之系統之單元中的一些或全部。如所組態之處理器可在獨立於識別場景特徵下，基於在複數個時間圖框及透視圖間之像素之一空間-時間分析而產生具有該等客觀計算修正之一影像。在不識別諸如場景元素、前景、背景等之場景特徵下，不需要主觀評估且可達成計算效率。用於客觀計算修正之空間-時間分析可係任何在本揭示案中討論之空間-時間分析。
應注意本揭示案之實施例可用在各種光學系統及投影系統。該實施例可包括各種投影機、投影系統、光學組件、電腦系統、處理 器、自容式投影機系統、視覺及/或視聽系統以及電氣及/或光學裝置，或與其等一起運作。可將本揭示案之諸態樣與相關於光學及電氣裝置、光學系統、簡報系統或可包含任何類型之光學系統之任何設備的實際上任何設備一起使用。因此，本揭示案之實施例可運用在光學系統、用於視覺及/或光學簡報中之裝置、視覺周邊設備等等，且在包括網際網路、網內網路、區域網路、廣域網路等等之一些計算環境中。
此外，應了解該實施例不將其應用或建立限制在所示之特定配置之細節上，此係因該實施例可具有其它變化。此外，可以不同之組合及配置闡明該等實施例之態樣以定義就其本身方面獨有之實施例。並且，本文所用術語係僅出於描述之目的而非意欲限制本發明。
如本文所用，術語「實質上」及「大約」提供針對其對應術語之一工業上可接受的公差及/或項目間之相關性。此一工業上可接受之公差係介於0%至10%，且對應於(但不限於)組件值、角度等等。項目間之此種相關性介於約0%至10%之間。
儘管以上已描述根據本文揭示之原理之各種實施例，應了解其等僅以實例方式表示，而非作為限制。因此，本揭示案之廣度及範圍不應受限於任何上述之示例性實施例，而是應僅根據由本揭示案提出之任何申請專利範圍及其同等物來定義。此外，在所述實施例中提供以上優點及特徵，但不應將此等提出之申請專利範圍之應用限制在任何或全部以上優點之程序及結構上。
另外，提供本文章節標題以與37 CFR 1.77之建議保持一致性或是提供組織線索。該等標題不應限制或表徵可由本揭示案提出並闡述 在任何申請專利範圍中之該(等)實施例。特定而言且作為實例，僅管該等標題參照為「發明所屬之技術領域(Technical Field)」，申請專利範圍不應受此標題所選擇之語言限制來描述該所謂之領域。此外，在「發明背景(Background)」中技術之描述不應解釋為承認某種技術係本揭示案中之任何實施例之先前技術。「發明內容(Summary)」同樣不應視為在所述之申請專利範圍中闡述之實施例的特徵。此外，本說明書中對單數形式之「發明」之任何參照不應用來爭議本說明書中僅有單點之新穎性。可根據多個由本說明書提出之申請專利範圍的限制來闡述多個實施例，且此等申請專利範圍因此定義該(等)實施例及其同等物，因而使其等受到保護。在所有情況中，應根據此揭示案依其自身之優勢考量此申請專利範圍之範疇，但不應受本文所提出之標題限制。
100~108‧‧‧圖框
110~116‧‧‧生成圖框

Claims (101)

  1. 一種用於建構一影像之方法，其包含：接收複數個圖框；及產生至少一個生成圖框，其中產生包括：a)對於M為Y且N為X，其中X與Y各係大於零之數，確定針對該等複數個圖框之一第M圖框的一第N向量，該第N向量使該第M圖框與不為該第M圖框之該等複數個圖框之一第N比較圖框相關；b)基於與該第M圖框不同之該第N比較圖框及針對該第M圖框之該第N向量，建立該第M圖框之一第N生成圖框；c)將該第M圖框之該第N生成圖框的像素與該第M圖框的像素作比較；d)識別該第M圖框之該第N生成圖框的低可信度像素，其中該等低可信度像素與該第M圖框之對應像素之間之一相對差大於一臨限值；及e)將該第N生成圖框的該等低可信度像素以基於該第M圖框之像素確定之該等像素替代。
  2. 如申請專利範圍第1項之方法，其中X大於1，且其中產生進一步包含：f)針對N為X-1，重覆a)至e)，因而針對該第M圖框建立至少兩個生成圖框；及g)針對該第M圖框建立一複合圖框，其中建立包含混合針對該第 M圖框之至少兩個生成圖框。
  3. 如申請專利範圍第2項之方法，其中Y大於1，且產生進一步包含：h)針對M為Y-1，重覆a)至g)，因而建立至少兩個複合圖框。
  4. 如申請專利範圍第2項之方法，其中Y大於2，且產生進一步包含：h)針對M介於Y-1至1，重覆a)至g)，因而建立至少Y個複合圖框。
  5. 如申請專利範圍第2項之方法，其中建立一複合圖框包含混合該第M圖框及針對該第M圖框之至少兩個生成圖框。
  6. 如申請專利範圍第2項之方法，其中該方法進一步包含壓縮該複合圖框。
  7. 如申請專利範圍第2項之方法，其中該方法進一步包含對該複合圖框應用一影像效果。
  8. 如申請專利範圍第7項之方法，其中該影像效果包含雜訊結構。
  9. 如申請專利範圍第2項之方法，其中針對該第M圖框之複合圖框具有與該等複數個圖框之該第M圖框之解析度不同之解析度。
  10. 如申請專利範圍第9項之方法，其中該複合影像結合來自該第N生成圖框之像素或向量資訊。
  11. 如申請專利範圍第2項之方法，其中該複合影像具有與該等複數個圖框之該第M圖框之移動模糊不同之移動模糊。
  12. 如申請專利範圍第11項之方法，其中該複合影像結合來自該第N生成圖框之像素或向量資訊。
  13. 如申請專利範圍第2項之方法，其中該複合影像具有與該等複數個圖 框之該第M圖框之輸出圖框率不同之輸出圖框率。
  14. 如申請專利範圍第13項之方法，其中該複合影像結合來自該第N生成圖框之像素或向量資訊以造成不同之輸出圖框率。
  15. 如申請專利範圍第1項之方法，其中X大於2，且其中產生進一步包含：f)針對N介於X-1至1，重覆a)至e)，因而建立針對該第M圖框之至少X個生成圖框；及g)針對該第M圖框建立一複合圖框，其中建立包含混合針對該第M圖框之該至少X個生成圖框之至少二者。
  16. 如申請專利範圍第15項之方法，其中Y大於1，且產生進一步包含：h)針對M為Y-1，重覆a)至g)，因而建立至少兩個複合圖框。
  17. 如申請專利範圍第15項之方法，其中Y大於2，且產生進一步包含：h)針對M為介於Y-1至1，重覆a)至g)，因而建立至少Y個複合圖框。
  18. 如申請專利範圍第15項之方法，其中建立一複合圖框包含混合該第M圖框及針對該第M圖框之至少X個生成圖框之至少二者。
  19. 如申請專利範圍第1項之方法，其中產生進一步包含：f)針對該第M圖框建立一複合圖框，其中建立包含混合該第N生成圖框及該第M圖框。
  20. 如申請專利範圍第19項之方法，其中Y大於1，且產生進一步包含：g)針對M為Y-1，重覆a)至f)，因而建立至少兩個複合圖框。
  21. 如申請專利範圍第19項之方法，其中Y大於2，且產生進一步包含： g)針對M介於Y-1至1，重覆a)至f)，因而建立至少Y個複合圖框。
  22. 如申請專利範圍第1項之方法，其中該等複數個圖框包含像素資料、向量資料或兩者。
  23. 如申請專利範圍第1項之方法，其中接收包含自一影像擷取系統接收複數個圖框。
  24. 如申請專利範圍第23項之方法，其中接收包含即時接收複數個圖框。
  25. 如申請專利範圍第1項之方法，其中接收包含自一圖框儲存器接收複數個圖框。
  26. 如申請專利範圍第1項之方法，其中接收包含自一內容提供者遠端地接收複數個圖框。
  27. 如申請專利範圍第1項之方法，其中確定包含使用至少一個客觀標準評估該等複數個圖框之該第M圖框之像素及該第N比較圖框之像素。
  28. 如申請專利範圍第1項之方法，其中確定包含使用至少一個主觀標準評估該等複數個圖框之該第M圖框之像素及該第N比較圖框之像素。
  29. 如申請專利範圍第1項之方法，其中該等複數個圖框之該第M圖框及該第N比較圖框係依時間順序，且該第N向量係一移動向量。
  30. 如申請專利範圍第29項之方法，其中該第M圖框及該第N比較圖框包含連續圖框。
  31. 如申請專利範圍第29項之方法，其中該第M圖框及該第N比較圖框包含非連續圖框。
  32. 如申請專利範圍第1項之方法，其中該等複數個圖框之該第M圖框及 該第N比較圖框定義不同透視，且該第N向量包含一透視向量。
  33. 如申請專利範圍第1項之方法，其中該等複數個圖框之該第M圖框及該第N比較圖框係依時間順序並定義不同透視，且該第N向量包含一透視-移動向量。
  34. 如申請專利範圍第1項之方法，其中該相對差係|PVNthGenerated-PVMth|/PVMth之值，其中PVNthGenerated係一低可信度像素值，且PVMth係該第M圖框中之一對應像素值。
  35. 如申請專利範圍第34項之方法，其中該臨限值介於0與95%之間。
  36. 如申請專利範圍第35項之方法，其中該臨限值介於0與75%之間。
  37. 如申請專利範圍第36項之方法，其中該臨限值介於0與50%之間。
  38. 如申請專利範圍第1項之方法，其中基於該第M圖框之像素而確定之像素係藉由將該第M圖框之像素取平均來確定。
  39. 如申請專利範圍第38項之方法，其中取平均包含線性平均。
  40. 如申請專利範圍第38項之方法，其中取平均包含加權平均。
  41. 一種用於建構一圖框之方法，其包含：接收複數個圖框；及產生複數個生成圖框，其中產生包括：a)對於M為Y且N為X，其中X係大於零之數及Y為大於1之數，確定針對該等複數個圖框之一第M圖框的一第N向量，該第N向量使該第M圖框與不為該第M圖框之該等複數個圖框之一第N比較圖框相關。b)基於與該第M圖框不同之該第N比較圖框及針對該第M 圖框之該第N向量，建立該第M圖框之一第N生成圖框；c)將該第M圖框之該第N生成圖框的像素與該第M圖框的像素作比較；d)識別該第M圖框之該第N生成圖框的低可信度像素，其中該等低可信度像素與該第M圖框之對應像素之間之一相對差大於一臨限值；e)將該第N生成圖框的該等低可信度像素以基於該第M圖框之像素確定之該等像素替代；及f)針對M為Y-1，重覆a)至e)，因而針對該等複數個圖框之至少兩個圖框建立複數個生成圖框；及迭代產生至少一個額外之生成圖框，其中迭代產生包括：a)對於M為Y且N為X，確定針對一第M生成圖框之一第N向量，該第N向量使該第M生成圖框與針對第M生成圖框之一第N比較圖框相關，該第N比較圖框係不為該第M圖框之複數個圖框中之一者或係不為該第M生成圖框之複數個生成圖框中之一者；b)基於針對該第M生成圖框之該第N比較圖框及針對該第M生成圖框之該第N向量，建立一第N迭代生成圖框；c)將該第N迭代生成圖框之像素與該第M生成圖框之像素作比較；d)識別該第N迭代生成圖框之低可信度像素，其中該第N迭代生成圖框之該等低可信度像素與該第M生成圖框之對應像素之 間之一相對差大於一臨限值；及e)將該第M生成圖框之該第N迭代生成圖框的該等低可信度像素以基於該第M生成圖框之像素確定之該等像素替代。
  42. 如申請專利範圍第41項之方法，其中該方法進一步包含重複迭代產生至少一次。
  43. 如申請專利範圍第41項之方法，其中：X大於1；產生進一步包含：g)針對N為X-1，重覆產生之a)至f)，因而針對該第M圖框建立至少兩個生成圖框；及迭代產生包含：f)針對N為X-1，重覆迭代產生之a)至e)，因而針對該第M生成圖框建立至少兩個迭代生成圖框。
  44. 如申請專利範圍第43項之方法，其中產生進一步包含：h)針對該第M圖框建立一複合圖框，其中建立該複合圖框包含混合針對該第M生成圖框之至少兩個迭代生成圖框。
  45. 如申請專利範圍第44項之方法，其中：迭代產生包含針對M為Y-1，重覆迭代產生之a)至e)；及產生進一步包含針對M為Y-1，重覆產生之g)及h)，因而建立複數個複合圖框。
  46. 如申請專利範圍第44項之方法，其中Y大於2，且其中：迭代產生包含針對M介於Y-1至1，重覆迭代產生之a)至e)；及 產生進一步包含針對M介於Y-1至1，重覆產生之g)及h)，因而建立複數個複合圖框。
  47. 如申請專利範圍第41項之方法，其中：X大於2；產生進一步包含：h)針對N介於X-1至1，重覆產生之a)至f)，因而針對該第M圖框建立至少X個生成圖框；及迭代產生包含：g)針對N介於X-1至1，重覆迭代產生之a)至e)，因而針對該第M生成圖框建立至少X個迭代生成圖框。
  48. 如申請專利範圍第47項之方法，其中產生進一步包含：h)針對該第M圖框建立一複合圖框，其中建立該複合圖框包含混合針對該第M生成圖框之該等至少X個迭代生成圖框之至少二者。
  49. 如申請專利範圍第48項之方法，其中：迭代產生包含針對M為Y-1，重覆迭代產生之a)至e)；及產生進一步包含針對M為Y-1，重覆產生之g)及h)，因而建立複數個複合圖框。
  50. 如申請專利範圍第48項之方法，其中Y大於2，且其中：迭代產生包含針對M介於Y-1至1，重覆迭代產生之a)至e)；及產生進一步包含針對M介於Y-1至1，重覆產生之g)及h)，因而建立複數個複合圖框。
  51. 如申請專利範圍第41項之方法，其中產生進一步包含：g)針對該第M圖框建立一複合圖框，其中建立包含混合該第M生成圖框之該第N迭代生成圖框及該第M圖框。
  52. 如申請專利範圍第51項之方法，其中：迭代產生進一步包含針對M為Y-1重覆迭代產生之a)至e)；及產生進一步包含針對M為Y-1，重覆產生之a)至g)，因而建立複數個複合圖框。
  53. 如申請專利範圍第51項之方法，其中Y大於2，且其中：迭代產生進一步包含針對M為Y-1重覆迭代產生之a)至e)；及產生進一步包含針對M為Y-1，重覆產生之a)至g)，因而建立複數個複合圖框。
  54. 一種用於建構一圖框之方法，其包含：接收複數個圖框；及產生至少一個生成圖框，其中產生包括：a)對於M為Y且N為X，其中X係大於零之數及Y為大於1之數，確定針對該等複數個圖框之一第M圖框的一第N向量，該第N向量使該第M圖框與和該第M圖框不同之該等複數個圖框之一第N比較圖框相關；b)基於與該第M圖框不同之該第N比較圖框及針對該第M圖框之該第N向量，建立該第M圖框之一第N生成圖框；c)將該第M圖框之該第N生成圖框的像素與該第M圖框的像素作比較； d)識別該第M圖框之該第N生成圖框的低可信度像素，其中該等低可信度像素與該第M圖框之對應像素之間之一相對差大於一臨限值；及e)將該第N生成圖框的該等低可信度像素以基於該第M圖框之像素確定之該等像素替代；f)針對N為X-1，重覆a)至e)，因而針對該第M圖框建立至少兩個生成圖框；及g)建立針對該第M圖框之一複合圖框，其中建立包含混合針對該第M圖框之至少兩個生成圖框；h)針對M為Y-1，重覆a)至g)，因而建立至少兩個複合圖框；及迭代更新該等複合圖框，其中更新包含：a)對於M為Y且N為X，確定針對該等複合圖框之一第M複合圖框的一第N向量，該第N向量使該第M複合圖框與和該第M複合圖框不同之該等複合圖框之一第N比較複合圖框相關；b)基於與該第M複合圖框不同之該第N比較複合圖框及針對該第M複合圖框之第N向量，建立第M複合圖框之一第N生成圖框；c)將該第M複合圖框之該第N生成圖框的像素與該第M複合圖框的像素作比較；d)識別該第M複合圖框之該第N生成圖框的低可信度像素，其中該等低可信度像素與該第M複合圖框之對應像素之間之一相 對差大於一臨限值；e)將該第M複合圖框之該第N生成圖框的該等低可信度像素以基於該第M複合圖框之像素確定之該等像素替代；f)針對N為X-1，重覆更新之a)至e)，因而建立針對該第M複合圖框之至少兩個生成圖框；g)混合該第M複合圖框之至少兩個生成圖框，以建立針對該第M圖框之一已更新之複合圖框。
  55. 如申請專利範圍第54項之方法，重覆迭代更新至少一次。
  56. 如申請專利範圍第54項之方法，其中更新進一步包含針對M為Y-1，重覆更新之a)至g)，因而建立至少兩個經更新之複合圖框。
  57. 如申請專利範圍第54項之方法，其中Y大於2，且更新進一步包含針對M介於Y-1至1，重覆更新之a)至g)，因而建立至少Y個經更新之複合圖框。
  58. 如申請專利範圍第54項之方法，其中X大於2，且其中：更新之f)包含針對N介於X-1至1，重覆更新之a)至e)，因而建立針對該第M複合圖框之至少X個生成圖框；及更新之g)包含混合該第M複合圖框之至少X個生成圖框中之至少兩者，以建立針對該第M圖框之已更新之複合圖框。
  59. 如申請專利範圍第58項之方法，其中更新進一步包含針對M為Y-1，重覆更新之a)至g)，因而建立至少兩個經更新之複合圖框。
  60. 如申請專利範圍第58項之方法，其中Y大於2，且更新進一步包含針對M介於Y-1至1，重覆更新之a)至g)，因而建立至少Y個經更新之 複合圖框。
  61. 一種用於建構一影像之方法，其包含：接收複數個圖框；及產生至少一個圖框，其中產生包括：a)對於M為Y且N為X，其中X與Y各係大於零之數，確定針對該等複數個圖框之一第M圖框的一第N向量，該第N向量使該第M圖框與不為該第M圖框之該等複數個圖框之一第N比較圖框相關；b)針對該等複數個圖框之該第M圖框修正該第N向量，其中修正包含：i 建立該第N比較圖框之一中介圖框，該中介圖框包含使該第N比較圖框與該第M圖框相關之一第N反向量；ii 重新定向該第N反向量，藉以建立該第M圖框之一第N中介圖框，該第M圖框之該第N中介圖框包含一已修正之第N向量，其係該第N反向量之一反向量且使該第M圖框與該第N比較圖框相關；iii 將該第N向量之值與該已修正之第N向量之值作比較；iv 識別該已修正之第N向量之低可信度值，其中該已修正之第N向量之低可信度值與該第N向量之對應值之間之一相對差大於一臨限值；v.將該已修正之第N向量的低可信度值以基於該第N向 量之值確定之值替代；及vi 藉由將該已修正之第N向量與該第N向量混合以建立一已修正之複合第N向量；c)基於與該第M圖框不同之該第N比較圖框及針對該第M圖框之已修正複合第N向量，建立該第M圖框之一第N生成圖框；d)將該第M圖框之該第N生成圖框的像素與該第M圖框的像素作比較；e)識別該第M圖框之該第N生成圖框的低可信度像素，其中該等低可信度像素與該第M圖框之對應像素之間之一相對差大於一臨限值；及f)將該第N生成圖框之該等低可信度像素以基於該第M圖框之像素確定之該等像素替代。
  62. 如申請專利範圍第61項之方法，其中X大於1，且其中產生進一步包含：g)針對N為X-1，重覆a)至f)，因而針對該第M圖框建立至少兩個生成圖框；及h)建立針對該第M圖框之一複合圖框，其中建立包含混合針對該第M圖框之至少兩個生成圖框。
  63. 如申請專利範圍第62項之方法，其中Y大於1，且產生進一步包含：i)針對M為Y-1，重覆a)至g)，因而建立至少兩個複合圖框。
  64. 如申請專利範圍第62項之方法，其中Y大於2，且產生進一步包含：i)針對M介於Y-1至1，重覆a)至g)，因而建立至少Y個複合圖 框。
  65. 如申請專利範圍第61項之方法，其中X大於2，且其中產生進一步包含：g)針對N介於X-1至1，重覆a)至e)，因而建立針對該第M圖框之至少X個生成圖框；及h)建立針對該第M圖框之一複合圖框，其中建立包含混合針對該第M圖框之至少X個生成圖框之至少二者。
  66. 如申請專利範圍第65項之方法，其中Y大於1，且產生進一步包含：h)針對M為Y-1，重覆a)至g)，因而建立至少兩個複合圖框。
  67. 如申請專利範圍第65項之方法，其中Y大於2，且產生進一步包含：h)針對M介於Y-1至1，重覆a)至g)，因而建立至少Y個複合圖框。
  68. 如申請專利範圍第65項之方法，其中建立一複合圖框包含混合該第M圖框及針對該第M圖框之至少X個生成圖框之至少二者。
  69. 如申請專利範圍第61項之方法，其中產生進一步包含：g)針對該第M圖框建立一複合圖框，其中建立包含混合該第N生成圖框及該第M圖框。
  70. 如申請專利範圍第19項之方法，其中Y大於1，且產生進一步包含：h)針對M為Y-1，重覆a)至g)，因而建立至少兩個複合圖框。
  71. 如申請專利範圍第19項之方法，其中Y大於2，且產生進一步包含：h)針對M介於Y-1至1，重覆a)至g)，因而建立至少Y個複合圖框。
  72. 一種用於建構一影像之方法，其包含：接收複數個具有不同曝光量之圖框；及產生至少一個生成圖框，其中產生包括：a)對於M為Y且N為X，其中X與Y各係大於零之數，將一第N比較圖框之一第一曝光量調整至實質上匹配該等複數個圖框之一第M圖框之曝光量的一第二曝光量；b)確定針對該第M圖框之一第N向量，該第N向量使該第M圖框與該第N比較圖框相關；c)基於與該第M圖框不同之該第N比較圖框及針對該第M圖框之該第N向量，建立該第M圖框之一第N生成圖框，該第N生成圖框具有實質上匹配第M圖框之曝光量及該第N比較圖框之該第二曝光量的一曝光量；d)將該第M圖框之第N生成圖框的像素與該第M圖框的像素作比較；e)識別該第M圖框之該第N生成圖框的低可信度像素，其中該等低可信度像素與該第M圖框之對應像素之間之一相對差大於一臨限值；f)將該第N生成圖框之該等低可信度像素以基於該第M圖框之像素確定之該等像素替代；g)對該第N生成圖框之該曝光量施加一反向調整，使得該第N生成圖框之經調整曝光量實質上匹配該第N比較圖框之該第一曝光量； h)針對該第M圖框建立一複合圖框，其中建立包含混合該第N生成圖框及該第M圖框，且其中混合包含實質上保留該第N生成圖框及該第M圖框兩者之像素資訊，藉以該複合圖框具有較該第N生成圖框或該第M圖框任一者之動態範圍更寬之動態範圍。
  73. 一種用於建構一圖框之方法，其包含：接收具有第一線對頻率及第一信號雜訊比之複數個圖框；及基於該等複數個圖框中之影像資料產生至少一個生成圖框；其中該至少一個生成圖框具有一第二線對頻率及一第二信號雜訊比，該第二信號雜訊比大於第一信號雜訊比，且該第二線對頻率係第一線對頻率之至少90%。
  74. 一種建構一圖框之方法，其包含：接收具有一第一線對頻率及一第一信號雜訊比之複數個圖框；及基於該等複數個圖框中之影像資料產生至少一個圖框；其中該產生之至少一個圖框具有一第二線對頻率及一第二信號雜訊比，該第二信號雜訊比大於該第一信號雜訊比，且該第二線對頻率係該第一線對頻率之至少95%。
  75. 一種建構一圖框之方法，其包含：接收具有一第一線對頻率及一第一信號雜訊比之複數個圖框；及基於該等複數個圖框中之影像資料產生至少一個圖框；其中該產生之至少一個圖框具有一第二線對頻率及一第二信號雜訊比，該第二信號雜訊比大於該第一信號雜訊比，且該第二線對頻率大於該第一線對頻率。
  76. 一種建構一圖框之方法，其包含：接收具有一第一線對頻率及一第一信號雜訊比之複數個圖框；及基於該等複數個圖框中之影像資料產生至少一個圖框；其中該產生之至少一個圖框具有一第二線對頻率及一第二信號雜訊比，該第二信號雜訊比大於該第一信號雜訊比，且該第二線對頻率大於該第一線對頻率且係位於一擷取裝置之一繞射極限或高於該繞射極限。
  77. 一種影像處理系統，其包含一影像產生模組，該影像產生模組經組態為：接收複數個圖框；及藉由以下各項產生至少一個生成圖框：a)對於M為Y且N為X，其中X與Y各係大於零之數，確定針對該等複數個圖框之一第M圖框的一第N向量，該第N向量使該第M圖框與不為該第M圖框之該等複數個圖框之一第N比較圖框相關；b)基於與該第M圖框不同之該第N比較圖框及針對該第M圖框之該第N向量建立第M圖框之一第N生成圖框；c)將該第M圖框之該第N生成圖框的像素與該第M圖框的像素作比較；d)識別該第M圖框之該第N生成圖框的低可信度像素，其中該等低可信度像素與該第M圖框之對應像素之間之一相對差大於一臨限值；及 e)將該第N生成圖框的該等低可信度像素以基於該第M圖框之像素確定之該等像素替代。
  78. 如申請專利範圍第77項之影像處理系統，其進一步包含可操作以將該等複數個圖框提供至該影像產生模組之一影像來源。
  79. 申請專利範圍第77項之影像處理系統，其進一步包含一影像混合模組，該影像混合模組可操作以接收該第M圖框及該第M圖框之該第N生成圖框並藉由混合該第N生成圖框及該第M圖框而建立針對該第M圖框之一複合圖框。
  80. 如申請專利範圍第79項之影像處理系統，其進一步包含可操作以對該複合圖框應用一影像效果之一影像效果模組。
  81. 如申請專利範圍第79項之影像處理系統，其進一步包含可操作以壓縮該複合圖框之一壓縮模組。
  82. 如申請專利範圍第79項之影像處理系統，其進一步包含可操作以儲存該複合圖框之一影像資料儲存器。
  83. 如申請專利範圍第79項之影像處理系統，其中：該影像產生模組經組態以針對N為X-1重覆a)至e)，因而對於M=Y建立針對該第M圖框之至少兩個生成圖框，並針對M=Y-1及N係X及X-1，重覆a)至e)，因而對於M=Y-1建立針對該第M圖框之至少兩個生成圖框；及該影像混合模組經組態以對於M=Y及Y-1混合針對該第M圖框之至少兩個生成圖框，因而建立至少兩個複合圖框。
  84. 如申請專利範圍第83項之影像處理系統，其中： 該影像產生模組經組態以藉由以下各項建立針對一第M複合圖框之至少兩個生成圖框：a)對於M為Y且N為X，確定針對該等複合圖框之該第M複合圖框的一第N向量，該第N向量使該第M複合圖框與和該第M複合圖框不同之該等複合圖框之一第N比較圖框相關；b)基於與該第M複合圖框不同之該第N比較複合圖框及針對該第M複合圖框之該第N向量，建立該第M複合圖框之一第N生成圖框；c)將該第M複合圖框之該第N生成圖框的像素與該第M複合圖框的像素作比較；d)識別該第M複合圖框之該第N生成圖框的低可信度像素，其中該等低可信度像素與該第M複合圖框之對應像素之間之一相對差大於一臨限值；e)將該第M複合圖框之該第N生成圖框的該等低可信度像素以基於該第M複合圖框之像素確定之該等像素替代；f)針對N為X-1，重覆a)至e)，因而建立針對該第M複合圖框之至少兩個生成圖框；及該影像混合模組經組態以混合該第M複合圖框之至少兩個生成圖框以建立針對該第M圖框之一已更新之複合圖框。
  85. 如申請專利範圍第77項之影像處理系統，其該影像產生模組經組態以藉由以下各項迭代產生至少一個額外之生成圖框：a)對於M為Y且N為X，確定針對一第M生成圖框之一第N向 量，該第N向量使該第M生成圖框與針對該第M生成圖框之一第N比較圖框相關，該第N比較圖框係不為該第M圖框之複數個圖框中之一者或係不為該第M生成圖框之複數個生成圖框中之一者；b)基於針對該第M生成圖框之該第N比較圖框及針對該第M生成圖框之該第N向量建立一第N迭代生成圖框；c)將該第N迭代生成圖框之像素與該第M生成圖框之像素作比較；d)識別該第N迭代生成圖框之低可信度像素，其中該第N迭代生成圖框之該等低可信度像素與該第M生成圖框之對應像素之間之一相對差大於一臨限值；及e)將該第M生成圖框之該第N迭代生成圖框的該等低可信度像素以基於該第M生成圖框之像素確定之該等像素替代。
  86. 如申請專利範圍第85項之影像處理系統，其進一步包含一影像混合模組，該影像混合模組可操作以混合該第M生成圖框之該第N迭代生成圖框及該第M圖框，並藉由混合該第M生成圖框之該第N迭代生成圖框及該第M圖框而建立針對該第M圖框之一複合圖框。
  87. 一種影像處理系統，其包含：一影像產生模組，其經組態以：接收複數個具有不同曝光量之圖框；及藉由以下各項產生至少一個生成圖框：a)對於M為Y且N為X，其中X與Y各係大於零之數，將一第N比較圖框之一第一曝光量調整至實質上匹配該等複 數個圖框之一第M圖框之曝光量的一第二曝光量；b)確定針對該第M圖框之一第N向量，該第N向量使該第M圖框與該第N比較圖框相關；c)基於與該第M圖框不同之該第N比較圖框及針對該第M圖框之該第N向量，建立第M圖框之一第N生成圖框，該第N生成圖框具有實質上匹配第M圖框之曝光量及第N比較圖框之該第二曝光量的一曝光量；d)將該第M圖框之該第N生成圖框的像素與該第M圖框的像素作比較；e)識別該第M圖框之該第N生成圖框的低可信度像素，其中該等低可信度像素與該第M圖框之對應像素之間之一相對差大於一臨限值；f)將該第N生成圖框的該等低可信度像素以基於該第M圖框之像素確定之該等像素替代；及g)對該第N生成圖框之曝光量施加一反向調整，使得該第N生成圖框之已調整曝光量實質上匹配第N比較圖框之該第一曝光量；及一種影像混合模組，其經組態以藉由混合該第N生成圖框及該第M圖框從而實質上保留該第N生成圖框及該第M圖框兩者之像素資訊以針對該第M圖框建立一複合圖框，且該複合圖框具有較該第N生成圖框或該第M圖框任一者之動態範圍更寬之動態範圍。
  88. 一種影像處理系統，其包含：一介面，其經組態以接收具有第一與第二相對高變異區域(RHVRs)及第一與第二相對低變異區域(RLVRs)之影像；及一處理器，其經組態以產生具有客觀計算修正之一影像，該計算修正包含以下之任何組合：該第一RHVR之信號雜訊比的增加；該第二RHVR之信號雜訊比的減少；該第一RLVR之信號雜訊比的增加；及該第二RLVR之信號雜訊比的減少。
  89. 如申請專利範圍第88項之系統，其中該客觀計算修正係基於在複數個時間圖框及透視圖框間之像素之空間-時間分析。
  90. 如申請專利範圍第88項之系統，其中該客觀計算修正包含該第一RHVR之信號雜訊比的增加及該第二RHVR之信號雜訊比的減少。
  91. 如申請專利範圍第88項之系統，其中該客觀計算修正包含該第一RHVR之信號雜訊比的增加及該第二RLVR之信號雜訊比的減少。
  92. 如申請專利範圍第88項之系統，其中該客觀計算修正包含該第二RHVR之信號雜訊比的減少及該第一RLVR之信號雜訊比的增加。
  93. 如申請專利範圍第88項之系統，其中該客觀計算修正包含該第一RLVR之信號雜訊比的增加及該第二RLVR之信號雜訊比的減少。
  94. 如申請專利範圍第88項之系統，其中該客觀計算修正包含以下各項之全部：該第一RHVR之信號雜訊比的增加； 該第二RHVR之信號雜訊比的減少；該第一RLVR之信號雜訊比的增加；及該第二RLVR之信號雜訊比的減少。
  95. 一種用於建構一影像之方法，其包含：接收具有第一與第二相對高變異區域(RHVRs)及第一與第二相對低變異區域(RLVRs)之一影像；及產生具有客觀計算修正之一影像，該等計算修正包含以下各項之任何組合：該第一RHVR之信號雜訊比的增加；該第二RHVR之信號雜訊比的減少；該第一RLVR之信號雜訊比的增加；及該第二RLVR之信號雜訊比的減少。
  96. 如申請專利範圍第95項之方法，其中該等客觀計算修正係基於在複數個時間圖框及透視圖框間之像素之空間-時間分析。
  97. 如申請專利範圍第95項之方法，其中該等客觀計算修正包含該第一RHVR之信號雜訊比的增加及該第二RHVR之信號雜訊比的減少。
  98. 如申請專利範圍第95項之方法，其中該客觀計算修正包含該第一RHVR之信號雜訊比的增加及該第二RLVR之信號雜訊比的減少。
  99. 如申請專利範圍第95項之方法，其中該等客觀計算修正包含該第二RHVR之信號雜訊比的減少及該第一RLVR之信號雜訊比的增加。
  100. 如申請專利範圍第95項之方法，其中該等客觀計算修正包含該第一RLVR之信號雜訊比的增加及該第二RLVR之信號雜訊比的減少。
  101. 如申請專利範圍第95項之方法，其中該等客觀計算修正包含以下各項之全部：該第一RHVR之信號雜訊比的增加；該第二RHVR之信號雜訊比的減少；該第一RLVR之信號雜訊比的增加；及該第二RLVR之信號雜訊比的減少。
TW103134357A 2013-10-04 2014-10-02 影像控制系統及方法 TW201528208A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361887175P 2013-10-04 2013-10-04
US201361887160P 2013-10-04 2013-10-04
US14/498,770 US9558421B2 (en) 2013-10-04 2014-09-26 Image mastering systems and methods

Publications (1)

Publication Number Publication Date
TW201528208A true TW201528208A (zh) 2015-07-16

Family

ID=52779053

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103134357A TW201528208A (zh) 2013-10-04 2014-10-02 影像控制系統及方法

Country Status (4)

Country Link
US (1) US9558421B2 (zh)
EP (1) EP3053333A4 (zh)
TW (1) TW201528208A (zh)
WO (1) WO2015050795A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210278836A1 (en) * 2018-11-07 2021-09-09 Autel Robotics Co., Ltd. Method and device for dual-light image integration, and unmanned aerial vehicle

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170132476A1 (en) * 2015-11-08 2017-05-11 Otobrite Electronics Inc. Vehicle Imaging System
DE102015224176A1 (de) * 2015-12-03 2017-06-08 Siemens Healthcare Gmbh Tomografieanlage und Verfahren zum Erzeugen einer Abfolge von Volumenbildern eines Gefäßsystems
KR102187211B1 (ko) * 2018-04-23 2020-12-04 코그넥스코오포레이션 스테레오-시간적 이미지 시퀀스들로부터 향상된 3-d 데이터 재구성을 위한 방법들 및 장치

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6731818B1 (en) * 1999-06-30 2004-05-04 Realnetworks, Inc. System and method for generating video frames
US6665448B1 (en) 2000-09-29 2003-12-16 Hewlett-Packard Development Company, L.P. Selective smoothing and sharpening of images by generalized unsharp masking
JP3898606B2 (ja) * 2002-09-12 2007-03-28 株式会社東芝 動きベクトル検出方法及び装置並びにフレーム補間画像作成方法及び装置
US7403568B2 (en) 2003-08-13 2008-07-22 Apple Inc. Pre-processing method and system for data reduction of video sequences and bit rate reduction of compressed video sequences using temporal filtering
US7346109B2 (en) 2003-12-23 2008-03-18 Genesis Microchip Inc. Motion vector computation for video sequences
US7535517B2 (en) * 2005-04-14 2009-05-19 Samsung Electronics Co., Ltd. Method of motion compensated temporal noise reduction
KR100870115B1 (ko) * 2005-12-21 2008-12-10 주식회사 메디슨 블록정합 및 움직임 보상 보간을 이용한 영상 형성 방법
US7657113B2 (en) 2005-12-21 2010-02-02 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Auto-regressive method and filter for denoising images and videos
US7587099B2 (en) 2006-01-27 2009-09-08 Microsoft Corporation Region-based image denoising
JP4886850B2 (ja) * 2007-06-28 2012-02-29 パナソニック株式会社 画像処理装置、画像処理方法、プログラム
US20090161982A1 (en) * 2007-12-19 2009-06-25 Nokia Corporation Restoring images
US8396538B2 (en) * 2009-11-30 2013-03-12 Biotronik Crm Patent Ag Method and apparatus for improving signal to noise ratio of ECG signals to facilitate cardiac beat detection
WO2012110894A1 (en) * 2011-02-18 2012-08-23 DigitalOptics Corporation Europe Limited Dynamic range extension by combining differently exposed hand-held device-acquired images
JP2012227791A (ja) 2011-04-20 2012-11-15 Sony Corp 画像処理装置および方法、プログラム、並びに記録媒体
JP5816511B2 (ja) 2011-10-04 2015-11-18 オリンパス株式会社 画像処理装置、内視鏡装置及び画像処理装置の作動方法
US9124869B2 (en) 2012-01-11 2015-09-01 Futurewei Technologies, Inc. Systems and methods for video denoising
WO2013117959A1 (en) * 2012-02-06 2013-08-15 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi System and method for stabilizing digital image sequences

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210278836A1 (en) * 2018-11-07 2021-09-09 Autel Robotics Co., Ltd. Method and device for dual-light image integration, and unmanned aerial vehicle
US11840357B2 (en) * 2018-11-07 2023-12-12 Autel Robotics Co., Ltd. Method and device for dual-light image integration, and unmanned aerial vehicle

Also Published As

Publication number Publication date
EP3053333A1 (en) 2016-08-10
US20150178585A1 (en) 2015-06-25
US9558421B2 (en) 2017-01-31
WO2015050795A1 (en) 2015-04-09
EP3053333A4 (en) 2017-08-02

Similar Documents

Publication Publication Date Title
US11960639B2 (en) Virtual 3D methods, systems and software
US11995902B2 (en) Facial signature methods, systems and software
Bovik Automatic prediction of perceptual image and video quality
Winkler Perceptual video quality metrics—A review
US20110080466A1 (en) Automated processing of aligned and non-aligned images for creating two-view and multi-view stereoscopic 3d images
Fernandez-Sanchez et al. Background subtraction model based on color and depth cues
WO2016183380A1 (en) Facial signature methods, systems and software
US20120307023A1 (en) Disparity distribution estimation for 3d tv
TW201342885A (zh) 使用網際網路的整合立體轉換裝置
US11415935B2 (en) System and method for holographic communication
TW201528208A (zh) 影像控制系統及方法
KR101630444B1 (ko) 스테레오스코픽 디지털 영화에서의 최적화된 모션 재생을 위한 방법과 장치
Tang et al. A universal optical flow based real-time low-latency omnidirectional stereo video system
Xian et al. A content-oriented no-reference perceptual video quality assessment method for computer graphics animation videos
JP2012238932A (ja) ３ｄ自動色補正装置とその色補正方法と色補正プログラム
Adhikarla et al. Real-time adaptive content retargeting for live multi-view capture and light field display
US20120127265A1 (en) Apparatus and method for stereoscopic effect adjustment on video display
US20230122149A1 (en) Asymmetric communication system with viewer position indications
Ekmekcioglu et al. Visual attention model aided non-uniform asymmetric coding of stereoscopic video
KR101295782B1 (ko) 스테레오 이미지 색 보정 장치 및 방법
Shan et al. Research on subjective quality assessment of light field images
Xu Capturing and post-processing of stereoscopic 3D content for improved quality of experience
Dehkordi 3D Video Quality Assessment
Gadia et al. Local color correction of stereo pairs
Zhang Image Quality Assessment and Saliency Detection: human visual perception modeling and applications