TW201703526A - 適應線性亮度域視頻管線架構 - Google Patents
適應線性亮度域視頻管線架構 Download PDFInfo
- Publication number
- TW201703526A TW201703526A TW105105327A TW105105327A TW201703526A TW 201703526 A TW201703526 A TW 201703526A TW 105105327 A TW105105327 A TW 105105327A TW 105105327 A TW105105327 A TW 105105327A TW 201703526 A TW201703526 A TW 201703526A
- Authority
- TW
- Taiwan
- Prior art keywords
- image data
- color
- image
- color space
- input image
- Prior art date
Links
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 87
- 241000023320 Luma <angiosperm> Species 0.000 title abstract 3
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 title abstract 3
- 238000000034 method Methods 0.000 claims abstract description 83
- 239000000872 buffer Substances 0.000 claims abstract description 55
- 238000005286 illumination Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims description 177
- 238000006243 chemical reaction Methods 0.000 claims description 138
- 239000000463 material Substances 0.000 claims description 119
- 230000002829 reductive effect Effects 0.000 claims description 118
- 238000000926 separation method Methods 0.000 claims description 77
- 230000009467 reduction Effects 0.000 claims description 57
- 238000007781 pre-processing Methods 0.000 claims description 29
- 238000012937 correction Methods 0.000 claims description 25
- 230000007547 defect Effects 0.000 claims description 10
- 238000003705 background correction Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 description 25
- 230000007246 mechanism Effects 0.000 description 16
- 238000004891 communication Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 230000005055 memory storage Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 239000004065 semiconductor Substances 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000004984 smart glass Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
- G09G5/028—Circuits for converting colour display signals into monochrome display signals
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/39—Control of the bit-mapped memory
- G09G5/393—Arrangements for updating the contents of the bit-mapped memory
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/39—Control of the bit-mapped memory
- G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/465—Conversion of monochrome to colour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
- H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2300/00—Aspects of the constitution of display devices
- G09G2300/04—Structural and physical details of display devices
- G09G2300/0439—Pixel structures
- G09G2300/0452—Details of colour pixel setup, e.g. pixel composed of a red, a blue and two green components
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0242—Compensation of deficiencies in the appearance of colours
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0613—The adjustment depending on the type of the information to be displayed
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
- G09G2330/02—Details of power systems and of start or stop of display operation
- G09G2330/021—Power management, e.g. power saving
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/06—Colour space transformation
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2350/00—Solving problems of bandwidth in display systems
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/08—Power processing, i.e. workload management for processors involved in display operations, such as CPUs or GPUs
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/12—Frame memory handling
- G09G2360/127—Updating a frame memory using a transfer of data from a source area to a destination area
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/18—Use of a frame buffer in a display terminal, inclusive of the display panel
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
揭示有關於用於影像或視頻管線架構之在亮度彩度分離色彩空間中產生縮減的影像或影像框資料的技術。此種技術可包括基於與輸入影像資料關聯之照度指示器決定的適應性色彩轉換係數將該輸入影像資料轉換至亮度彩度分離色彩空間,並將縮減的色彩轉換的影像資料儲存至該影像或視頻管線的輸入影像緩衝器。
Description
本發明係關於適應線性亮度域視頻管線架構。
拍攝視訊的裝置可需要,諸如,每秒30、60、或120框的視訊拍攝框速率。此種框速率視訊拍攝可需要該裝置提供高計算負載及使用大量電力。此外,由該裝置實施的多數視訊及影像處理可需要比由該裝置之影像感測器拍攝之影像更低解析度的影像。在部分實作中,影像信號處理器(ISP)架構可在影像處理管線早期及將該影像資料儲存在裝置的主影像記憶體(例如,動態隨機存取記憶體或DRAM)之前提供縮減拍攝影像或視訊框。此種早期縮減可為處理鏈或管線的其餘部分節省記憶體、記憶體存取帶寬、及不必要的計算負載。
在部分範例中,來自該裝置的影像感測器之拍攝的影像採用拜耳模式、相似紅-綠-藍(RGB)模式、或紅-綠-藍-白(RGBW)模式等。然後可將拍攝的影像去馬賽克以產生遺失色彩(例如,可實施內插等以從來自影像感測器
的不完整色彩樣本產生全彩影像)、縮減、重馬賽克(例如,圈點以形成拜耳或相似模式影像)、及儲存至主影像記憶體等。此種處理可提供用於經由在記憶體使用、記憶體負載、計算需求、及實作成本上節省的影像處理管線之處理的較低解析度(及較低記憶體使用)影像。然而,此種處理可依據解析度、內插偽影、及鋸齒化等劇烈地影響拍攝的影像或框的影像品質(IQ)。
可有利地提供低計算複雜度、低記憶體使用、及維持較高影像品質的低功率影像處理。其相關於已需要本發明之改善的此等及其他考慮。當提供高品質視訊的期望變得更廣泛時,此種改善可變為關鍵的。
100、200、700‧‧‧裝置
101、201、619‧‧‧影像感測器
102、202‧‧‧影像拍攝處理模組
103、110‧‧‧色彩轉換模組
104‧‧‧控制器模組
105‧‧‧縮減模組
106‧‧‧水平彩度縮減模組
107‧‧‧垂直彩度縮減模組
108‧‧‧輸入影像緩衝器
109‧‧‧亮度彩度分離影像處理模組
111、211‧‧‧原始影像資料
112、212‧‧‧輸入影像資料
113、213‧‧‧照度指示器
114‧‧‧適應性色彩轉換係數(ACCC)
115‧‧‧亮度彩度分離影像資料
116‧‧‧縮減的影像資料(DSI)
117‧‧‧處理的影像資料
118‧‧‧線性色彩空間影像(LCI)資料
300、400‧‧‧處理
500、600‧‧‧系統
501‧‧‧中央處理單元(CPU)
502‧‧‧影像處理單元
503‧‧‧記憶體儲存器
602‧‧‧平台
605‧‧‧晶片組
610‧‧‧處理器
612‧‧‧記憶體
613‧‧‧天線
614‧‧‧儲存器
615‧‧‧圖形次系統
616‧‧‧應用程式
617‧‧‧影像信號處理器
618‧‧‧無線電
620、704‧‧‧顯示器
622‧‧‧使用者介面
630‧‧‧內容服務裝置
640‧‧‧內容傳遞裝置
650‧‧‧導航控制器
660‧‧‧網路
701‧‧‧正面
702‧‧‧背面
705、715‧‧‧照相機
706‧‧‧輸入/輸出(I/O)裝置
708‧‧‧積集天線
710‧‧‧閃光燈
712‧‧‧導航特徵
描述於本文的工具在該等隨附圖式中係經由範例之方式而非限制的方式說明。為使說明簡化及明確,描繪於該等圖式中的元件不必按比例繪製。例如,部分元件的尺寸可為了清楚而相對於其他元件誇大。另外,在適當的情形下,參考標籤已於該等圖式之間重複,以指示對應或類似元件。在該等圖式中:圖1描繪用於產生縮減的影像資料的範例裝置;圖2描繪用於從多個影像感測器產生縮減的影像資料的範例裝置;圖3描繪產生用於視訊序列之縮減的影像資料的範例處理;
圖4係描繪用於產生縮減的影像資料之範例處理的流程圖;圖5係用於產生縮減的影像資料之範例系統的說明圖圖6係範例系統的說明圖;且圖7描繪範例小尺寸裝置,全部依據本揭示發明的至少部分實作配置。
現在參考附圖描述一或多個實施例或實作。在討論具體組態及配置的同時,應理解其僅針對說明目的而完成。熟悉本技術的人士將認知可使用其他組態及配置而不脫離本描述的精神及範圍。也可將本文描述的技術及/或配置使用在本文描述之系統及應用外的各式各樣的其他系統及應用中對熟悉本技術的人士將係明顯的。
在下文描述陳述可出現在,諸如,系統單晶片(SoC)架構之架構中的各種實作的同時,本文描述之技術及/或配置的實作並未受限於特定架構及/或計算系統,並可針對相似目的藉由任何架構及/或計算系統實作。例如,使用多積體電路(IC)晶片及/或封裝的各種架構,及/或各種計算裝置及/或消費性電子(CE)裝置,諸如,多功能裝置、平板電腦、智慧型手機等,可實作本文描述的技術及/或配置。另外,當下文描述可陳述許多特定細節,諸如,邏輯實作、系統組件的種類及相互關係、邏輯
分割/積體選擇等的同時,所聲明的專利標的可無需此等具體細節而實踐。在其他實例中,部分工具,諸如,控制結構及全軟體指令序列,可不詳細地顯示,以避免混淆本文揭示的工具。
本文揭示的工具可用硬體、韌體、軟體、或彼等的任何組合實作。本文揭示的工具也可實作為儲存在機器可讀取媒體上的指令,彼等可藉由一或多個處理器讀取及執行。機器可讀取媒體可包括用於以可由機器(例如,計算裝置)讀取之形式儲存或傳輸資訊的任何媒體及/或機制。例如,機器可讀取媒體可包括唯讀記憶體(ROM);隨機存取記憶體(RAM);磁碟儲存媒體;光學儲存媒體;快閃記憶體裝置;電、光、聲、或其他形式的傳播信號(例如,載波、紅外線信號、數位信號等)、及其他。
引用於本說明書中的「一實作」、「實作」、「範例實作」等指示所描述的實作可包括特定特性、結構、或特徵,但可不係每個實施例均需包括該特定特性、結構、或特徵。此外,此種片語不必然指相同的實作。另外,當特定特性、結構、或特徵關聯於實施例描述時,無論是否明顯地於本文中描述,認為其係在熟悉本發明之人士的知識內,以影響與其他實作關聯之此種特性、結構、或特徵。
本文描述的方法、裝置、設備、計算平台、及物品相關於視訊管線架構,且特別相關於基於使用適應性色彩轉換係數的色彩轉換在彩度亮度分離色彩空間中產生縮減的影像資料。
如上文所述,在視訊管線架構中,諸如,影像信號處理器架構,拍攝的影像或視訊框可從拜耳模式等去馬賽克、縮減、重馬賽克、及儲存在主影像記憶體中,諸如,輸入緩衝器、或輸入影像緩衝器等。此種技術可依據解析度、內插偽影、及鋸齒化等不利地影響影像品質。本文討論的技術可提供節省實作中的計算資源、記憶體交易、及晶片面積(且因此節省成本),同時也提供改善的影像品質的視訊管線架構。此種技術可對影像(例如,與靜態影像關聯的影像)及/或視訊影像或框(例如,與視訊序列之視訊框關聯的影像資料)提供。如本文所使用的,術語影像資料或相似術語可指示靜態影像或視訊框的影像資料或與之關聯。
在部分實施例中,可接收輸入影像資料,諸如,來自影像感測器的影像資料,或來自影像感測器之已受預處理的影像資料。輸入影像資料可在色彩空間中,諸如,紅-綠-藍(RGB)色彩空間或紅-綠-藍-白(RGBW)等。例如,此種輸入影像資料可包括來自影像感測器之採用拜耳模式或相似模式之已去馬賽克以產生輸入影像資料的原始影像資料。可決定與輸入影像資料關聯的適應性色彩轉換係數。例如,適應性色彩轉換係數可基於輸入影像資料的特徵而係適應性的,諸如,與輸入影像資料關聯的照度指示器。該照度指示器可係白平衡參數、或場景類型參數等。基於該適應性色彩轉換係數,該輸入影像資料可在亮度彩度分離色彩空間中轉換為色彩轉換的影像資料。例
如,如本文所使用的,術語亮度彩度分離色彩空間可包括其中亮度及彩度成分實質分離的任何色彩空間,諸如,YUV色彩空間等。
亮度彩度分離色彩空間影像資料可縮減並儲存在主影像記憶體中,諸如,輸入影像緩衝器等。所儲存的亮度彩度分離色彩空間影像資料可經由使用任何合適技術(等),諸如,去雜訊、銳化、或色彩變化等,的管線(例如,影像或視訊處理管線)處理。此外,亮度彩度分離色彩空間中的此種處理的影像資料隨後可針對進一步處理,諸如,色彩校正、或灰階校正等,色彩轉換至另一色彩空間,諸如,線性RGB色彩空間等。例如,此種線性RGB色彩空間資料可轉換至標準色彩空間,諸如,sRGB色彩空間等。此種處理可提供,諸如,影像資料在輸入影像緩衝器中的較低覆蓋區(節省記憶體交易及記憶體線)、及改善影像品質(例如,具有較少偽影)等的優點。此外,此種管線架構可擴展以容納多個影像感測器(例如,來自前及後裝置照相機等),使得可僅複製影像感測器及選擇性的影像拍攝處理模組(例如,其他模組可橫跨多個影像感測器共享)。
本文討論的技術可不使用重馬賽克操作而將亮度彩度分離色彩空間影像資料提供至後續影像或視訊管線處理。此種技術可依據輸入影像緩衝器(例如,DRAM)帶寬以低成本提供高影像品質。例如,輸入影像資料可從與影像感測器關聯的線性RGB域(例如,3通道)線性轉移至亮
度彩度分離色彩域。例如,線性轉移可基於輸入影像資料的照度係適應性的。此外,亮度彩度分離色彩空間影像資料的彩度通道可縮減(例如,在水平及垂直軸上以2縮減為4:2:0格式)並針對進一步處理儲存在影像緩衝器中。
圖1描繪用於產生縮減的影像資料的範例裝置100,其根據本揭示發明的至少部分實作配置。如圖1所示,裝置100可包括影像感測器101、影像拍攝處理模組102、色彩轉換模組103、控制器模組104、縮減模組105、輸入影像緩衝器108、亮度彩度分離影像處理模組109、及色彩轉換模組110。此外,縮減模組105可包括水平彩度縮減模組106及垂直彩度縮減模組107。裝置100可係任何合適形狀因子的裝置。例如,裝置100可係電腦、膝上型電腦、平板電腦、智慧型手機、平板手機、數位相機、顯示裝置、遊戲裝置、可穿戴裝置,諸如,智慧型手錶、或智慧型眼鏡等。例如,裝置100可實作影像或視訊管線以產生縮減的影像資料並提供如本文討論的影像處理。
如圖所示,影像感測器101可產生原始影像資料111。例如,如經由照相機模組或光學器材等實作的影像感測器101可對場景曝光,且影像感測器101可產生代表該場景的原始影像資料111。影像感測器101可包括任何合適的影像感測器。此外,原始影像資料111可包括採用任何合適格式的影像資料。在部分範例中,原始影像資料111可特徵化為影像感測器資料、或拍攝的影像資料等。
在部分範例中,原始影像資料111可包括採用代表拜耳模式或其他相似模式之格式的影像資料。例如,影像感測器101可具有與感測器重疊的彩色濾波器陣列(CFA)。在部分範例中,CFA可採用具有格狀的標準拜耳模式,該格狀採用具有G出現二次的2×2像素(例如,50%的綠色、25%的紅色、25%藍色)之尺寸的四元RGB。在其他範例中,原始影像資料111可採用具有任何次序RGBC(例如,紅、綠、藍、及任何色彩)之多達4×4像素的格狀。例如,原始影像資料111可對原始影像資料111的各像素包括對應於與像素關聯之彩色濾波器的像素值。例如,原始影像資料111在部分實作(例如,RGB範例)中可對各像素位置包括紅色、綠色、或藍色值,且原始影像資料111可在部分實作中(例如,RGBC範例)對各像素位置包括紅色、綠色、藍色、或任何其他值。例如,原始影像資料111可包括RGBC影像資料,其中C可指任何其他色彩(例如,白色(W)或亮度(Y)等)。雖然本文在部分實作中相關於RGB及RGBW色彩空間討論,原始影像資料111可在任何合適色彩空間中。影像感測器101可提供原始影像資料111至裝置100的影像拍攝處理模組102及/或記憶體(未圖示)。
影像拍攝處理模組102可從影像感測器101或記憶體接收原始影像資料111,且影像拍攝處理模組102可產生輸入影像資料112及/或照度指示器(ill.ind.)113。影像拍攝處理模組102可使用任何合適技術(等)產生輸入影
像資料112。例如,影像拍攝處理模組102可實作去馬賽克(例如,彩色濾波器陣列重構)以基於原始影像資料111產生全彩影像。例如,此種去馬賽克可對原始影像資料111的各像素位置決定3個色彩值(例如,3個色彩通道)。例如,假設特定像素位置係紅色像素位置(例如,具有關聯的紅色濾波器),該像素位置的3個色彩通道可包括:在該像素位置感測的關聯紅色值、近似或重構綠色值、及近似或重構藍色值。使用此種技術,可對各像素位置決定3個色彩值以產生全彩影像。
此外,影像拍攝處理模組102可實施與影像拍攝及/或影像預處理關聯的額外處理,諸如,像素格式化、正規化、線性化、光學黑平衡或校正、陰影校正、像素缺陷校正(例如,校正失效及/或離群像素值)、白平衡校正、或縮放等。此外,輸入影像資料112可包括在任何合適色彩空間中的任何合適影像資料。例如,輸入影像資料112可在RGB色彩空間或RGBW色彩空間中。在部分範例中,輸入影像資料112可在線性RGB或線性RGBW色彩空間中。然而,如所討論的,輸入影像資料112可在任何合適的色彩空間中。此外,當輸入至用於色彩轉換至亮度彩度分離色彩空間的色彩轉換模組103時,輸入影像資料112可特徵化為輸入影像資料。然而,在其他範例中,輸入影像資料112可特徵化為影像資料、原始影像資料、或預處理的影像資料等。又,輸入影像資料112可與靜態影像或視訊序列的影像框關聯。例如,在部分實作中,輸入
影像資料112可特徵化為影像框、框、或視訊序列的框等。影像拍攝處理模組102可提供輸入影像資料112至裝置100的色彩轉換模組103及/或記憶體。
也如所示的,影像拍攝處理模組102可產生與輸入影像資料112關聯的照度指示器113。照度指示器113可包括代表輸入影像資料112之照度的任何合適指示器或資料等。在部分範例中,照度指示器113可包括一或多個白平衡參數。例如,白平衡參數(等)可包括用於相關於輸入影像資料112實施色彩平衡的參數(等)或係數(等)。在其他範例中,照度指示器113可包括指示器(例如,值或參數),諸如,指示場景之照度的場景類型參數。此種場景類型參數可包括或指示場景類型,諸如,明亮、昏暗、室內、室外、或螢光照明等。如圖所示,在部分範例中,影像拍攝處理模組102可產生照度指示器113。影像拍攝處理模組102可使用任何合適技術(等)產生照度指示器113。在其他範例中,照度指示器113可接收為或可係至裝置100的輸入(例如,經由使用者基於場景環境選擇影像拍攝模式),或照度指示器113可經由裝置100的另一模組產生,諸如,白平衡模組等。影像拍攝處理模組102可提供照度指示器113至裝置100的控制器模組104及/或記憶體。
控制器模組104可接收照度指示器113,且控制器模組104可決定適應性色彩轉換係數(ACCC)114。例如,適應性色彩轉換係數114可基於照度指示器113決定。控
制器模組104可使用任何合適技術(等)決定適應性色彩轉換係數114。例如,適應性色彩轉換係數組可在訓練相位或校準相位中預決定並提供至裝置100的記憶體。此種適應性色彩轉換係數組可經由基於照度指示器113的查找表或多個查找表存取(例如,照度指示器113可包括用於索引一或多個查找表的一或多個值),且適應性色彩轉換係數114可基於此種存取及/或內插技術決定。
例如,可基於照度指示器113存取二或多個最接近的適應性色彩轉換係數組(例如,基於照度指示器113及關聯的查找表索引),且適應性色彩轉換係數114可基於該二或多個最接近適應性色彩轉換係數組的內插等決定。在其他範例中,適應性色彩轉換係數114可基於單一存取決定,使得將最接近的適應性色彩轉換係數組使用為適應性色彩轉換係數114。此外,雖然相關於查找表技術討論,適應性色彩轉換係數114可使用任何合適技術決定。
適應性色彩轉換係數114可包括任何合適數目的係數。例如,如本文討論的,輸入影像資料112可包括3或4個通道(例如,具有3個色彩通道的RGB色彩空間或具有4個色彩通道的RGBW色彩空間)等。此外,亮度彩度分離影像資料115可包括3個通道等(例如,一個亮度通道及二個彩度通道)。在輸入影像資料112具有3個通道且亮度彩度分離影像資料115具有3個通道的範例中,適應性色彩轉換係數114可包括採用3×3矩陣的9個係數。在輸入影像資料112具有4個通道且亮度彩度分離影
像資料115具有3個通道的範例中,適應性色彩轉換係數114可包括採用4×3矩陣的9個係數。例如,適應性色彩轉換係數114可包括N×M個係數,其中N係輸入影像資料112的色彩通道數,且M係亮度彩度分離影像資料115的數目。
控制器模組104可使用任何合適技術(等)實作。例如,控制器模組104可用硬體或軟體或其組合實作。在部分範例中,控制器模組104可經由驅動器實作,諸如,適應性色彩轉換係數驅動器等。此外,控制器模組104可特徵化為控制器、色彩轉換控制器、驅動器、或色彩轉換驅動器等。控制器模組104可將適應性色彩轉換係數114提供至裝置100的色彩轉換模組103及/或記憶體。
色彩轉換模組103可從影像拍攝處理模組102或記憶體接收輸入影像資料112並從控制器模組104或記憶體接收適應性色彩轉換係數114。色彩轉換模組103可基於輸入影像資料112及適應性色彩轉換係數114產生亮度彩度分離影像資料115。例如,色彩轉換模組103可基於適應性色彩轉換係數114在輸入影像資料112上實施線性轉移。例如,可將如藉由適應性色彩轉換係數114提供的係數矩陣施用至RGB或RGBW等與輸入影像資料關聯的影像信號以產生亮度彩度分離影像資料115。亮度彩度分離影像資料115可包括任何合適影像資料,諸如,一個亮度通道及二個彩度通道(例如,亮度彩度分離影像資料115的各像素位置具有3個值:一者用於亮度且二者用於彩
度)。例如,與亮度彩度分離影像資料115關聯的亮度彩度色彩空間可經由訓練或校準相位界定及/或校準。在部分範例中,亮度彩度色彩空間可特徵化為線性亮度域等。此外,亮度彩度分離色彩空間可與可用於將來自亮度彩度分離色彩空間的影像資料轉換至標準色彩空間,諸如,其可提供給裝置100以基於共同色彩空間或域與其他裝置通訊的sRGB,的色彩轉換參數或係數關聯。色彩轉換模組103可將亮度彩度分離影像資料115提供至裝置100的縮減模組105及/或記憶體。
縮減模組105可從裝置100的色彩轉換模組103或記憶體接收亮度彩度分離影像資料115,且縮減模組105能產生縮減的影像資料(DSI)116。縮減模組105可使用任何合適技術(等)產生縮減的影像資料116。例如,縮減模組105的水平彩度縮減模組106可在水平方向或軸上縮減亮度彩度分離影像資料115的彩度通道,且縮減模組105的垂直彩度縮減模組107可在垂直方向或軸上縮減亮度彩度分離影像資料115的彩度通道。例如,水平彩度縮減模組106及垂直彩度縮減模組107的一或二者可將有限脈衝響應(FIR)濾波器及削減施用至亮度彩度分離影像資料115。此外,亮度彩度分離影像資料115的亮度通道在部分範例中可不縮減。
如圖所示,在部分範例中,水平及垂直彩度縮減二者可用先施用水平彩度縮減的方式施用。例如,亮度彩度分離影像資料115的彩度通道可在水平及垂直方向二者上藉
由二的因子縮減以產生4:2:0格式化影像資料。然而,亮度彩度分離影像資料115可使用任何合適技術(等)縮減至任何合適格式。在部分範例中,僅施用水平彩度縮減,且在其他範例中,僅施用垂直彩度縮減。在其他範例中,垂直彩度縮減可在水平彩度縮減之前施用。此外,在部分範例中,縮減因子在水平及垂直方向上可不同。如所討論的,在部分範例中,縮減的影像資料116可採用4:2:0格式。在其他範例中,縮減的影像資料116可採用4:2:2格式、4:2:1格式、4:1:1格式、或4:0:0格式等的任一者。如所討論的,縮減的影像資料116可包括縮減的亮度彩度分離影像資料。如圖所示,縮減模組105可提供縮減的影像資料116至輸入影像緩衝器108。
輸入影像緩衝器108可儲存縮減的影像資料116並可使縮減的影像資料116可用於藉由裝置100實作之影像或視訊管線的其他部分。例如,相較於輸入影像資料112,縮減的影像資料116可對節省記憶體線、記憶體交易、晶片尺寸、及功率等的進一步處理提供減少的記憶體覆蓋區。此外,所討論的處理技術可依據解析度、內插偽影、及鋸齒化等提供具有高影像品質(IQ)的縮減的影像資料116。
如圖所示,亮度彩度分離影像處理模組109可取得縮減的影像資料116(例如,在亮度彩度分離色彩空間中的影像資料),且亮度彩度分離影像處理模組109可產生處理的影像資料117。亮度彩度分離影像處理模組109可基
於縮減的影像資料116實施任何合適影像處理。例如,亮度彩度分離影像處理模組109可實施其可有利地在感知色彩空間中在影像資料上實施的影像處理。例如,亮度彩度分離影像處理模組109可實施去雜訊、銳化、或色彩變化(例如,色彩扭曲)等。處理的影像資料117可包括任何合適的影像資料,諸如,採用與縮減的影像資料116相同之格式的影像資料(例如,縮減的亮度彩度分離影像資料)。亮度彩度分離影像處理模組109可提供處理的影像資料117至裝置100的色彩轉換模組110及/或記憶體。
色彩轉換模組110可接收處理的影像資料117(例如,亮度彩度分離色彩空間中的影像資料),且色彩轉換模組109可產生線性色彩空間影像(LCI)資料118。例如,色彩轉換模組110可針對進一步處理將處理的影像資料轉換至色彩空間,諸如,線性色彩空間。例如,線性色彩空間影像資料可在RGB或RGBW色彩空間等中。此外,裝置100可更經由影像或視訊管線等使用任何合適技術(等)處理線性色彩空間影像資料118。例如,裝置100可實施可有利地在線性色彩空間中在影像資料上實施的進一步處理。例如,此種處理可包括色彩校正、或灰階校正等。此種處理的影像資料可針對各式各樣應用由裝置100進一步處理及/或使用。例如,處理的資料可針對經由裝置100或外部顯示裝置等顯示而轉換至標準色彩空間,諸如,用於傳輸至另一裝置的sRGB(例如,經由視訊編碼或視訊會議技術等)。
如所討論的,裝置100可實作影像及/或視訊管線。例如,模組102-110的一或多者及/或額外模組可係影像處理管線的一部分。在部分範例中,輸入影像緩衝器108可係管線中的接點等,使得輸入影像緩衝器108之前的處理可視為係前端影像處理。在部分範例中,此種前端處理可在與整體影像關聯的影像資料上實施。此外,輸入影像緩衝器108之後的處理可視為係後端處理。在部分範例中,此種後端處理可在與影像之切片(例如,在切片基礎上等)關聯的影像資料上實施。
此外,裝置100可如所說明地包括單一照相機及關聯影像感測器101。然而,如所討論的,在其他範例中,裝置可包括多個照相機及關聯影像感測器。在此種範例中,所描述的影像處理管線的部分可在多個照相機之中共享以節省實作成本及複雜性。
圖2描繪用於從多個影像感測器產生縮減的影像資料的範例裝置,其根據本揭示發明的至少部分實作配置。如圖2所示,裝置200可包括影像感測器101、影像拍攝處理模組102、色彩轉換模組103、控制器模組104、縮減模組105、輸入影像緩衝器108、亮度彩度分離影像處理模組109、及色彩轉換模組110。此種模組的操作已相關於圖1討論,且為了清晰地呈現,將不重複。如也於圖2中所示的,裝置200可包括影像感測器201及影像拍攝處理模組202。裝置200可係如相關於裝置100或本文他處討論的任何裝置,諸如,電腦、膝上型電腦、平板電腦、
智慧型手機、平板手機、數位相機、顯示裝置、遊戲裝置、可穿戴裝置,諸如,智慧型手錶等。
如圖所示,影像感測器201可產生原始影像資料211。例如,影像感測器101可經由第一照相機模組(例如,前置照相機)實作,且影像感測器201可經由裝置200的第二照相機模組(例如,後置照相機)實作。影像感測器201可包括任何合適的影像感測器,且原始影像資料211可包括採用任何合適格式的影像資料,諸如,相關於原始影像資料111討論的格式。影像感測器201可提供原始影像資料211至裝置200的影像拍攝處理模組202及/或記憶體(未圖示)。
影像拍攝處理模組202可從影像感測器201或記憶體接收原始影像資料211,且影像拍攝處理模組202可產生輸入影像資料212及/或照度指示器(ill.ind.)213。影像拍攝處理模組202可使用任何合適技術(等),諸如,相關於裝置100討論的技術,產生輸入影像資料112及照度指示器213。例如,影像拍攝處理模組202可實施去馬賽克(例如,彩色濾波器陣列重構)以基於原始影像資料211及/或與影像拍攝關聯的額外處理及/或影像預處理,諸如,像素格式化、正規化、線性化、光學黑平衡或校正、陰影校正、像素缺陷校正(例如,校正失效及/或離群像素值)、白平衡校正、或縮放等,產生全彩影像。輸入影像資料212可包括任何合適色彩空間中的任何合適影像資料,諸如,相關於輸入影像資料112討論的影像資
料。影像拍攝處理模組202可提供輸入影像資料212至裝置100的色彩轉換模組103及/或記憶體。此外,照度指示器213可包括代表輸入影像資料212之照度的任何合適的指示器或資料等,諸如,相關於包括,例如,白平衡參數(等)、或場景類型參數等之照度指示器113討論的指示器或參數等。如圖所示,影像拍攝處理模組202可提供照度指示器213至裝置100的控制器模組104及/或記憶體。
如相關於裝置100所討論的,控制器模組104可接收照度指示器213,且控制器模組104可基於照度指示器213決定適應性色彩轉換係數114。此外,色彩轉換模組103可接收輸入影像資料212及適應性色彩轉換係數114,且色彩轉換模組103可產生亮度彩度分離影像資料115,如相關於裝置100所討論的。例如,取決於影像感測器101、201之何影像感測器係作用的,預處理可藉由影像拍攝處理模組102或影像拍攝處理模組202實施以產生至控制器模組104的輸入(例如,照度指示器113或照度指示器213的任一者)及至色彩轉換模組103的輸入(例如,輸入影像資料112或輸入影像資料212的任一者)。基於此種輸入,可實施進一步處理(例如,適應性色彩轉換係數114的決定、亮度彩度分離影像資料115的產生、縮減至縮減的影像資料116、儲存至輸入影像緩衝器108、及任何後續處理)。
例如,裝置200可提供影像或視訊管線架構以節省重
複的模組實作。例如,控制器模組104、色彩轉換模組103、縮減模組105、輸入影像緩衝器108、亮度彩度分離影像處理模組109、色彩轉換模組110、及管線中的任何後續處理模組的重複。在所說明的範例中,當該等模組可分別與影像感測器101及影像感測器201緊密地關聯時,影像拍攝處理模組102及影像拍攝處理模組202可重複。然而,在其他範例中,可提供單一影像拍攝處理模組。例如,可消除影像拍攝處理模組202,且在此種範例中,原始影像資料211可從影像感測器201提供至影像拍攝處理模組102。
相關於圖1及2討論的影像或視訊管線架構可連同高影像品質(IQ)提供相關於輸入影像緩衝器108的實質記憶體節省。例如,所討論的影像或視訊管線架構可消除將影像資料儲存至輸入影像緩衝器之前的去馬賽克操作,並可針對處理提供在感知色彩空間(例如,亮度彩度分離色彩空間)中的影像資料。此種架構可提供以相對低的記憶體帶寬的使用維持高IQ的影像處理技術,其可在實作成本及電力消耗上節省。
圖3描繪產生用於視訊序列的縮減的影像資料的範例處理300,其根據本揭示發明的至少部分實作配置。如圖3所描繪的,處理300可包括一或多個操作301-312。處理300可藉由裝置(例如,本文討論的裝置100、裝置200、或任何其他裝置或系統)實施,或處理300的部分可藉由裝置實施以產生用於視訊序列的縮減的影像資料。
處理300或其部分可對任何數目的影像、影像框、視訊序列、或其部分等重複。
如圖所示,處理300可從開始操作301開始,在操作302「得到視訊序列的影像框」可得到視訊序列的影像框。影像框可使用任何合適技術(等)得到。例如,影像框或視訊框或框等可經由影像感測器,諸如,影像感測器101或影像感測器201等,得到。影像框可包括影像資料,諸如,具有任何合適格式的原始影像資料,諸如,具有拜耳模式或相似模式的影像資料,如本文所討論的。
處理可在操作303「實施影像拍攝預處理」繼續,其中影像拍攝預處理可在操作302得到的原始影像資料上實施。影像拍攝預處理可包括任何合適的影像處理。例如,影像預處理可包括去馬賽克以產生全彩影像,及/或與影像拍攝關聯的額外處理及/或影像預處理,諸如,像素格式化、正規化、線性化、光學黑平衡或校正、陰影校正、像素缺陷校正(例如,校正失效及/或離群像素值)、白平衡校正、或縮放等。例如,經由操作303產生的影像資料可包括在,諸如,RGB或RGBW等之色彩空間中的全彩影像資料。
處理可在操作304「產生適應性色彩轉換係數」繼續,其中適應性色彩轉換係數可基於輸入影像決定。適應性色彩轉換係數可使用任何合適技術(等)決定。例如,適應性色彩轉換係數可基於與輸入影像關聯的照度指示器決定。在部分範例中,查找表(或多個查找表)可基於可
包括一或多個參數等的照度指示器存取。查找表(等)可藉由照度指示器索引並可提供一或多個最接近的適應性色彩轉換係數或適應性色彩轉換係數組。例如,最接近的適應性色彩轉換係數或適應性色彩轉換係數組可係與最接近照度指示器之查找表值(等)關聯的適應性色彩轉換係數(組)。若單一組適應性色彩轉換係數係經由查找表存取提供,此等適應性色彩轉換係數可經由操作304提供。在二或多組適應性色彩轉換係數經由查找表存取提供的範例中,經由操作304提供的適應性色彩轉換係數可基於內插技術等的二或多組適應性色彩轉換係數決定。
處理可在操作305「色彩轉換影像框至線性亮度彩度分離色彩空間」繼續,其中影像框可轉換至線性亮度彩度分離色彩空間。例如,代表或關聯於影像框的影像資料可經由線性轉換操作等基於在操作304產生的適應性色彩轉換係數轉換。如所討論的,亮度彩度分離色彩空間可係將亮度及彩度通道分離(例如,分離為單一亮度通道及二或多個彩度通道)的任何合適的色彩空間,且亮度彩度分離色彩空間可在訓練或校準相位等中界定。例如,亮度彩度分離色彩空間可相似於或特徵化為YUV色彩空間等。經由操作305產生的影像資料可包括任何合適的影像資料,諸如,用於影像框之各像素位置的通道值(例如,3個通道)。
處理可在操作306「縮減色彩轉換的影像框」繼續,其中可縮減色彩轉換的影像框。色彩轉換的影像框可使用
任何合適技術(等)縮減。在部分範例中,色彩轉換的影像框的色彩通道可在水平及垂直方向上以2的因子縮減,以產生4:2:0格式的影像或影像資料。例如,水平及垂直縮減可包括將有限脈衝響應(FIR)濾波器及削減操作應用至色彩轉換的影像框的色彩通道。
處理可在操作307「儲存縮減的色彩轉換的影像框至輸入影像緩衝器」繼續,其中可將縮減的色彩轉換的影像框或影像資料儲存至輸入影像緩衝器。例如,縮減的色彩轉換的影像框或影像資料可提供降低的儲存需求(在縮減後)及高影像品質(IQ)。輸入影像緩衝器可特徵化為主影像記憶體、或影像緩衝器等,且輸入影像緩衝器可經由DRAM實作。例如,輸入影像緩衝器可提供由用於持續的影像處理之影像或視訊管線的其他模組取得之縮減的色彩轉換的影像框或影像資料。
處理可在操作308「從輸入影像緩衝器取得縮減的色彩轉換的影像框」繼續,其中可取的縮減的色彩轉換的影像框或影像資料。例如,縮減的色彩轉換的影像框或影像資料可經由用於進一步處理的視訊或影像管線的任何模組取得。例如,如相關於圖1及2及操作309於本文討論的,縮減的色彩轉換的影像框或影像資料可由亮度彩度分離影像處理模組等存取。然而,縮減的色彩轉換的影像框或影像資料可由用於任何合適影像或視訊處理,諸如,物件偵測或辨識、電腦視覺、影像強化、影像編碼、或視訊編碼等,之任何合適的影像處理模組等存取或取得。
處理可在操作309「實施亮度彩度分離影像處理」繼續,其中亮度彩度分離影像處理可基於取得的縮減的色彩轉換的影像框或影像資料實施。此種影像處理可包括任何合適的影像處理,且特別係可在感知色彩域中有利地實施的影像處理。例如,在操作309實施的亮度彩度分離影像處理可包括去雜訊、銳化、或色彩變化(例如,色彩扭曲)等。例如,亮度彩度分離色彩空間中的處理的影像框或影像資料可經由操作309產生。
處理可在操作310「色彩轉換影像框」繼續,其中亮度彩度分離色彩空間中的處理的影像框或影像資料可色彩轉換至,諸如,RGB色彩空間或RGBW色彩空間等的色彩空間。例如,可將處理的影像框或影像資料從線性亮度彩度分離色彩空間轉換至線性色彩空間,諸如,線性RGB色彩空間或線性RGBW色彩空間等。例如,轉換至此種色彩空間(例如,線性色彩空間)的影像框或影像資料可經由可在線性色彩空間中有利地實施的操作,諸如,色彩校正、或灰階校正等,受進一步處理。此外,轉換至此種線性色彩空間的影像框或影像資料可針對經由裝置100或外部顯示裝置等的顯示轉換至標準色彩空間,諸如,用於傳輸至另一裝置的sRGB等。
處理可在決定操作311「所處理的視訊序列的最後影像框?」繼續,其中可產生目前影像框是否係視訊序列之最後影像框的決定。若為真,處理300可在結束操作312結束。若為否,處理300可在操作302繼續,其中可得到
視訊序列的另一(例如,後續)影像框且,例如,處理可如相關於操作303-310於本文討論地繼續。
如所討論的,處理300可用於產生用於視訊序列的縮減的影像資料。處理300可對不同影像、影像框、視訊序列、或其部分等重複任何次數。此外,處理300可針對影像或影像框序列地、平行地、或部分平行地實施。
例如,相關於處理300討論的技術可對如本文討論的影像或視訊管線架構提供高影像品質及低影像帶寬實作。
圖4係描繪用於產生縮減的影像資料的範例處理400的流程圖,其根據本揭示發明的至少部分實作配置。如圖4所描繪的,處理400可包括一或多個操作401-403。處理400可形成影像處理技術的至少一部分。藉由非限制範例,處理400可形成藉由如本文討論的裝置100或200實施之影像處理技術的至少一部分。此外,處理400將參考圖5的系統500於本文描述。
圖5係用於產生縮減的影像資料的範例系統500的說明圖,其根據本揭示發明的至少部分實作配置。如圖5所示,系統500可包括一或多個中央處理單元(CPU)501、影像處理單元502、及記憶體儲存器503。也如所示的,影像處理單元502可包括影像拍攝處理模組102、色彩轉換模組103、控制器模組104、縮減模組105、亮度彩度分離影像處理模組109、及色彩轉換模組109。再者,記憶體儲存器503可包括輸入影像緩衝器108。此種模組可實作成實施如本文討論的操作。在系統500的範例
中,記憶體儲存器503可包括輸入影像緩衝器108以儲存縮減的影像資料,諸如,亮度彩度分離色彩空間中的縮減的影像資料,且記憶體暫存器503可儲存影像資料或其他關聯資料,諸如,原始影像資料、輸入影像資料、亮度彩度分離色彩空間影像資料、縮減的影像資料、處理的影像資料、線性色彩空間影像資料、照度指示器、適應性色彩轉換係數或參數、查找表資料、或適應性色彩轉換係數組等。
如圖所示,在部分範例中,影像拍攝處理模組102、色彩轉換模組103、控制器模組104、縮減模組105、亮度彩度分離影像處理模組109、及色彩轉換模組109可經由影像處理單元502實作。在其他範例中,影像拍攝處理模組102、色彩轉換模組103、控制器模組104、縮減模組105、亮度彩度分離影像處理模組109、及色彩轉換模組109的一或多個部分可經由中央處理單元501或圖形處理單元實作。在其他範例中,影像拍攝處理模組102、色彩轉換模組103、控制器模組104、縮減模組105、亮度彩度分離影像處理模組109、及色彩轉換模組109的一或多個部分可經由成像處理管線或單元實作。
影像處理單元502可包括可提供如本文討論的操作之任何數目及種類的圖形或影像處理單元。在部分範例中,影像處理單元可係影像信號處理器。此種操作可經由軟體或硬體或彼等組合實作。例如,影像處理單元502可包括專用於操控從記憶體儲存器503得到之影像資料的電路。
中央處理單元501可包括可對系統500提供控制及其他高階功能及/或提供如本文討論的任何操作之任何數目及種類的處理單元或模組。記憶體儲存器503可能係任何種類的記憶體,諸如,揮發性記憶體(諸如,靜態隨機存取記憶體(SRAM)、及動態隨機存取記憶體(DRAM)等)或非揮發性記憶體(例如,快閃記憶體等)等。在非限制性範例中,記憶體儲存器503可能藉由快取記憶體實作。在實施例中,影像拍攝處理模組102、色彩轉換模組103、控制器模組104、縮減模組105、亮度彩度分離影像處理模組109、及色彩轉換模組109的一或多個部分可經由影像處理單元502的執行單元(EU)實作。EU可包括,例如,可程式化邏輯或電路,諸如,可提供可程式化邏輯功能之寬陣列的邏輯核心(等)。在實施例中,影像拍攝處理模組102、色彩轉換模組103、控制器模組104、縮減模組105、亮度彩度分離影像處理模組109、及色彩轉換模組109的一或多個部分可經由專用硬體,諸如,固定功能電路等,實作。固定功能電路可包括專用邏輯或電路,並可提供可映射至用於固定目的或功能之專用邏輯的一組固定功能進入點。在部分實施例中,影像拍攝處理模組102、色彩轉換模組103、控制器模組104、縮減模組105、亮度彩度分離影像處理模組109、及色彩轉換模組109的一或多個部分可經由特定應用積體電路(ASIC)實作。ASIC可包括客製化以實施本文討論之操作的積體電路。
返回至圖4的討論,處理400可在操作401「基於與輸入影像資料關聯的照度指示器決定用於輸入影像資料的適應性色彩轉換係數」開始,其中與第一色彩空間中之輸入影像資料關聯的適應性色彩轉換係數可基於與輸入影像資料關聯的照度指示器決定。例如,第一色彩空間可如本文討論的係紅-綠-藍(RGB)色彩空間或紅-綠-藍-白(RGBW)色彩空間。此外,該照度指示器可係白平衡參數、或場景類型參數等。在部分範例中,基於與輸入影像資料關聯的照度指示器決定適應性色彩轉換係數可包括基於照度指示器存取查找表。例如,如經由影像處理單元502實作的控制器模組104可基於與輸入影像資料關聯的照度指示器決定適應性色彩轉換係數。
此外,在部分範例中,輸入影像資料可基於從影像感測器接收拍攝的影像資料,並基於拍攝的影像資料實施影像拍攝預處理以產生輸入影像資料而產生。例如,拍攝的影像資料可係來自影像感測器的原始影像資料等,且影像拍攝預處理可包括去馬賽克拍攝的影像資料、基於拍攝的影像資料實施像素缺陷校正、或基於拍攝的影像資料實施陰影校正等以產生全彩影像資料(例如,輸入影像資料)。例如,拍攝的影像資料可經由影像感測器101或影像感測器201等拍攝,且影像拍攝預處理可藉由如藉由影像處理單元502實作的影像拍攝處理模組102實施。
處理可在操作402「基於適應性色彩轉換係數在亮度彩度分離色彩空間中將輸入影像資料轉換為色彩轉換的影
像資料」繼續,其中輸入影像資料可基於適應性色彩轉換係數在亮度彩度分離色彩空間中轉換為色彩轉換的影像資料。例如,輸入影像資料可基於適應性色彩轉換係數經由線性轉換操作在亮度彩度分離色彩空間中轉換為色彩轉換的影像資料。亮度彩度分離色彩空間可係將亮度及彩度通道分離(例如,分離為單一亮度通道及二或多個彩度通道)的任何合適的色彩空間,且亮度彩度分離色彩空間可在訓練或校準相位等中界定。例如,如經由影像處理單元502實作的色彩轉換模組103可基於適應性色彩轉換係數在亮度彩度分離色彩空間中將輸入影像資料轉換為色彩轉換的影像資料。
處理可在操作403「將與色彩轉換的影像資料關聯的縮減的色彩轉換的影像資料儲存至輸入影像緩衝器」繼續,其中可將與色彩轉換的影像資料關聯的縮減的色彩轉換的影像資料儲存至輸入影像緩衝器。例如,色彩轉換的影像資料可經由如經由影像處理單元502實作的縮減模組105縮減以產生縮減的色彩轉換的影像資料。例如,可在水平及垂直方向的一或二者上將色彩轉換的影像資料的彩度通道縮減以產生縮減的色彩轉換的影像資料。此外,可將縮減的色彩轉換的影像資料儲存至輸入影像緩衝器,諸如,如經由記憶體儲存器503實作的輸入影像緩衝器108。
此種處理可如本文討論的在亮度彩度分離色彩空間中產生高影像品質及低記憶體覆蓋區影像資料。此種影像資
料可針對進一步影像處理存取。例如,縮減的色彩轉換的影像資料可從輸入影像緩衝器取得。去雜訊、銳化、或色彩變化以產生處理的影像資料的一或多者可基於縮減的色彩轉換的影像資料實施以產生處理的影像資料。此外,處理的影像資料可轉換至線性色彩空間,諸如,線性紅-綠-藍(RGB)色彩空間等。例如,如經由影像處理單元502實作的亮度彩度分離影像處理模組109可從輸入影像緩衝器取得縮減的色彩轉換的影像資料,並在縮減的色彩轉換的影像資料上實施影像處理以產生處理的影像資料。此外,如藉由影像處理單元502實作的色彩轉換模組110可將處理的影像資料色彩轉換至線性色彩空間。
如所討論的,在部分範例中,也可實作多個影像感測器及/或多個影像拍攝處理模組。例如,與第二輸入影像資料關聯的第二適應性色彩轉換係數可基於與第二輸入影像資料關聯的第二照度指示器決定。例如,影像資料可來自第一影像感測器(例如,影像感測器101),且第二輸入影像資料可來自第二影像感測器(例如,影像感測器201)。第二輸入影像資料可基於第二適應性色彩轉換係數在第二色彩空間(例如,亮度彩度分離色彩空間)中轉換為第二色彩轉換的影像資料。例如,如經由影像處理單元502實作的色彩轉換模組103可將第二輸入影像資料轉換至第二色彩轉換的影像資料。例如,如經由影像處理單元502實作的影像拍攝處理模組102可產生第二照度指示器,或影像拍攝處理模組202可經由影像處理單元502實
作以產生第二照度指示器。此外,可將與第二色彩轉換的影像資料關聯之第二縮減的色彩轉換的影像資料儲存至輸入影像緩衝器(例如,如經由記憶體儲存器503實作的輸入影像緩衝器108)。
處理400可針對任何數目的輸入影像或輸入影像的部分序列地或平行地重複任何次數。處理400可提供高品質縮減的色彩轉換的影像資料。例如,處理400可提供供視訊及/或影像處理管線的後續模組或級使用的高品質縮減的色彩轉換的影像資料。
本文描述之系統的各種組件可用軟體、韌體、及/或硬體、及/或彼等的任何組合實作。例如,裝置100、裝置200、系統500、系統600、或裝置700的各種組件可,至少部分,藉由計算系統單晶片(SoC)的硬體提供,諸如,可在多功能裝置或計算系統,諸如,膝上型電腦、平板電腦、或智慧型手機,中發現的系統單晶片。熟悉本技術的人士可認知本文描述的系統可包括尚未描畫在對應圖式中的額外組件。例如,本文討論的系統可包括額外組件,諸如,為清楚起見尚未描畫的掃描器(例如,實施光學掃描以產生掃描的輸入影像)、列印機(例如,將輸出影像轉移至紙或相似實體媒體)、影像預處理電路等。
在本文討論之範例處理的實作可包括以所說明之次序顯示的所有操作之實行的同時,本揭示發明並未受限於此方面,在各種範例中,本文之範例處理的實作可僅包括所示操作的子集、以與說明不同的次序實施操作、或額外操
作。
此外,本文討論之操作的任何一或多者可響應於藉由一或多個電腦程式產品提供的指令而實行。此種程式產品可包括提供指令的信號承載媒體,當指令,例如,由處理器執行時,可提供本文描述的功能。電腦程式產品可用任何形式的一或多個機器可讀媒體提供。因此,例如,包括一或多個圖形處理單元(等)或處理器核心(等)的處理器可回應於藉由一或多個機器可讀媒體運送至處理器的程式碼及/或指令或指令集實行本文的範例處理之方塊的一或多者。通常,機器可讀媒體可實行採用可導致本文描述的任何裝置及/或系統以實作裝置100、裝置200、系統500、系統600、或系統700的、或本文討論的任何其他模組或組件之至少部分的程式碼及/或指令或指令集之形式的軟體。
如在本文描述之任何實作中所使用的,術語「模組」係指組態成提供本文描述之功能的軟體邏輯、韌體邏輯、硬體邏輯、及/或電路的任何組合。可將該軟體具現為套裝軟體、碼、及/或指令集或指令,且「硬體」,如在本文描述之任何實作中所使用的,可包括,例如,單獨地或以任何組合地,硬接電路、可程式化電路、狀態機電路、固定功能電路、執行單元電路、及/或儲存藉由可程式化電路執行之指令的韌體。可將該等模組,共同地或獨立地,具現為形成較大系統之一部分的電路,例如,積體電路(IC)、及系統單晶片(SoC)等。
圖6係範例系統600的說明圖,全部依據本揭示發明的至少部分實作配置。在各種實作中,系統600可能係計算系統,雖然系統600並未受限於此背景。例如,系統600可併入個人電腦(PC)、膝上型電腦、超輕薄膝上型電腦、平板電腦、觸控板、可攜式電腦、手持電腦、掌上型電腦、個人數位助理(PDA)、行動電話、組合式行動電話/PDA、電視、智慧型裝置(例如,智慧型手機、智慧型平板電腦、或智慧型電視)、可穿戴裝置(例如,智慧型手錶或智慧型眼鏡)、行動網際網路裝置(MID)、發訊裝置、資料通訊裝置、周邊裝置、掃描器、列印機、及多功能裝置等。
在各種實作中,系統600包括耦接至顯示器620的平台602。平台602可從內容裝置接收內容,諸如,內容服務裝置(等)630或內容傳遞裝置(等)640或其他內容來源,諸如,影像感測器619。例如,平台602可從影像感測器619或任何其他內容源接收原始影像資料。可將包括一或多個導航特徵的導航控制器650用於與,例如,平台602及/或顯示器620互動。此等組件各者於下文更細詳地描述。
在各種實作中,平台602可包括晶片組605、處理器610、記憶體612、天線613、儲存器614、圖形次系統615、應用程式616、影像信號處理器617、及/或無線電618的任何組合。晶片組605可提供在處理器610、記憶體612、儲存器614、圖形次系統615、應用程式616、影
像信號處理器617、及/或無線電618之間的內部通訊。例如,晶片組605可包括能提供與儲存器614之內部通訊的儲存器配接器(未描畫)。
可將處理器610實作為複雜指令集電腦(CISC)或精簡指令集電腦(RISC)處理器、x86指令集相容處理器、多核心、或任何其他微處理器或中央處理單元(CPU)。在各種實作中,處理器610可係雙核心處理器(等)、及雙核心行動處理器(等)等。
可將記憶體612實作為揮發性記憶體裝置,諸如,但未受限於,隨機存取記憶體(RAM)、動態隨機存取記憶體(DRAM)、或靜態RAM(SRAM)。
可將儲存器614實作為非揮發性儲存裝置,諸如,但未受限於,磁碟機、光碟機、磁帶機、內部儲存裝置、附接儲存裝置、快閃記憶體、電池備援SDRAM(同步DRAM)、及/或可網路存取儲存裝置。在各種實作中,例如,當包括多個硬碟機時,儲存器614可對有價值的數位媒體包括增加儲存效能增強保護的技術。
影像信號處理器617可實作為用於影像處理的特殊化數位信號處理器等。在部分範例中,影像信號處理器617可基於單指令多資料或多指令多資料架構等實作。在部分範例中,影像信號處理器617可特徵化為媒體處理器。如本文討論的,影像信號處理器617可基於系統單晶片架構及/或基於多核心架構實作。
圖形次系統615可針對顯示實施,諸如,靜態或視訊
影像的步驟。例如,圖形次系統615可係圖形處理單元(GPU)、視覺處理單元(VPU)、或影像處理單元。在部分範例中,圖形次系統615可實施如本文討論的掃描影像呈現。可使用類比或數位介面以通訊地耦接圖形次系統615及顯示器620。例如,該介面可係高解析多媒體介面、顯示埠(DisplayPort)、無線HDMI、及/或無線HD相容技術的任何一者。可將圖形次系統615積集至處理器610或晶片組605中。在部分實作中,圖形次系統615可係通訊地耦接至晶片組605的獨立裝置。
本文描述的圖形及/或視訊處理技術可用各種硬體架構實作。例如,可將圖形及/或視訊功能積集在晶片組內。或者,可使用獨立圖形及/或影像處理器及/或特定應用積體電路。作為另一實作,圖形及/或視訊功能可藉由通用處理器提供,包括多核心處理器。在另一實作中,可將該等功能實作在消費性電子裝置中。
無線電618可包括能使用各種合適無線通訊技術傳輸及接收信號的一或多個無線電。此種技術可包含跨越一或多個無線網路的通訊。範例無線網路包括(但未受限於)無線區域網路(WLAN)、無線個人區域網路(WPAN)、無線都會區域網路(WMAN)、蜂巢式網路、及人造衛星網路。在跨越此種網路的通訊中,無線電618可依據任何版本的一或多個可應用標準操作。
在部分實作中,顯示器620可包括任何平面型監視器或顯示器。顯示器620可包括,例如,電腦顯示器螢幕、
觸控螢幕顯示器、視訊監視器、電視狀裝置、及/或電視。顯示器620可係數位及/或類比的。在各種實作中,顯示器620可係全像顯示器。又,顯示器620可係可接收虛擬投影的透明表面。此種投影可傳達各種形式的資訊、影像、及/或物件。例如,此種投影可係用於行動式擴增實境(MAR)應用的視覺重疊。在一或多個軟體應用程式616的控制下,平台602可將使用者介面622顯示在顯示器620上。
在各種實作中,例如,內容服務裝置(等)630可由任何國家、國際、及/或獨立服務所託管,且因此可經由網際網路為平台602所存取。可將內容服務裝置(等)630耦接至平台602及/或顯示器620。可將平台602及/或內容服務裝置(等)630耦接至網路660,以與網路660通訊(例如,傳送及/或接收)媒體資訊。也可將內容傳遞裝置(等)640耦接至平台602及/或顯示器620。
在各種實作中,內容服務裝置(等)630可包括有線電視盒、個人電腦、網路、電視、能傳遞數位資訊及/或內容的網際網路致能裝置或器具、及能經由網路660或直接在內容供應商及平台602及/或顯示器620之間單向或雙向地通訊內容的任何其他相似裝置。將理解可經由網路660將內容單向地及/或雙向地通訊至系統600中之組件的任何一者及內容供應商或從彼等接收。內容的範例可包括任何媒體資訊,包括,例如,視訊、音樂、醫學、及遊戲資訊等。
內容服務裝置(等)630可接收內容,諸如,包括媒體資訊、數位資訊、及/或其他內容的有線電視節目。內容供應商的範例可包括任何有線或人造衛星電視或無線電或網際網路內容供應商。所提供的範例並未意圖以任何方式限制依據本揭示發明的實作。
影像感測器619可包括可基於場景提供原始影像資料的任何合適影像感測器。例如,影像感測器619可包括半導體電荷耦合裝置(CCD)為基的感測器、互補式金屬氧化物半導體(CMOS)為基的感測器、或N-型金屬氧化物半導體(NMOS)為基的感測器等。例如,影像感測器619可包括可偵測場景的資訊以產生原始影像資料的任何裝置。如所討論的,在部分範例中,系統600可包括多個影像感測器,彼等可相同或不同。在部分範例中,影像感測器619可提供影像拍攝處理,或與影像感測器619關聯的邏輯(未圖示)可提供此種影像拍攝處理。在其他範例中,本文討論的影像拍攝處理可經由平台602實施。
在各種實作中,平台602可從具有一或多個導航特徵的導航控制器650接收控制信號。例如,導航控制器650的導航特徵可用於與使用者介面622互動。在各種實施例中,導航控制器650可係指標裝置,該指標裝置可係允許使用者將空間(例如,連續及多維的)資料輸入電腦中的電腦硬體組件(具體地說,人機介面裝置)。許多系統,諸如,圖形使用者介面(GUI)、及電視及監視器,允許使用者使用實際手勢控制及提供資料給電腦或電視。
可藉由指標、游標、聚焦環、或顯示在顯示器上的其他視覺指引器的移動將導航控制器650之導航特徵的移動複製在顯示器(例如,顯示器620)上。例如,在軟體應用程式616的控制下,可將位於導航控制器650上的導航特徵映射成顯示在使用者介面622上的虛擬導航特徵。在各種實施例中,導航控制器650可不係分離組件而可被積集入平台602及/或顯示器620中。然而,本揭示發明並未受限於本文顯示或描述的該等元件或背景中。
在各種實作中,驅動器(未圖示)可包括當致能時,在最初開機之後,致能使用者以觸碰按鍵立即開啟及關閉平台602,像是電視,的技術。即使當將平台「關閉」時,程式邏輯可容許平台602將內容串流至媒體配接器或其他內容服務裝置(等)630或內容傳遞裝置(等)640。此外,例如,晶片組605可包括支援5.1環繞音效及/或高解析度7.1環繞音效的硬體及/或軟體。驅動器可包括用於積集圖形平台的圖形驅動器。在各種實施例中,圖形驅動器可包含週邊組件互連(PCI)快速圖形卡。
在各種實作中,可將顯示於系統600中的任何一或多個組件積體。例如,可將平台602及內容服務裝置(等)630積集、或可將平台602及內容傳遞裝置(等)640積集,或可將平台602、內容服務裝置(等)630、及內容傳遞裝置(等)640積集。在各種實施例中,平台602及顯示器620可係積集單元。例如,可將顯示器620及內容服務裝置(等)630積集,或可能將顯示器620及內容傳
遞裝置(等)640積集。此等範例未意圖限制本揭示發明。
在各種實施例中,可將系統600實作為無線系統、有線系統、或二者之組合。當實作為無線系統時,系統600可包括適合透過無線共享媒體通訊的組件及介面,諸如,一或多個天線、傳輸器、接收器、收發器、放大器、濾波器、控制邏輯等。無線共享媒體的範例可包括部分無線頻譜,諸如,RF頻譜等。當實作為有線系統時,系統600可包括適合透過有線通訊媒體通訊的組件及介面,諸如,輸入/輸出(I/O)配接卡、實體連接器,以將I/O配接卡與對應的有線通訊媒體連接、網路介面卡(NIC)、磁碟控制器、視訊控制器、音訊控制器等。有線通訊媒體的範例可包括佈線、纜線、金屬引緣、印刷電路板(PCB)、背板、交換結構、半導體材料、雙扭線、同軸電纜、及光纖等。
平台602可建立一或多個邏輯或實體通道以通訊資訊。該資訊可包括媒體資訊及控制資訊。媒體資訊可指代表對使用者有意義之內容的任何資料。內容的範例可包括,例如,來自語音交談、視訊會議、串流視訊、電子郵件(「email」)訊息、語音郵件訊息、文數字符號、圖形、影像、視訊、及文字等的資料。來自語音交談的資料可係,例如,語音資訊、靜默期、背景雜訊、舒適雜訊、及腔調等。控制資訊可指代表對自動化系統有意義之命令、指令、或控制字組的任何資料。例如,控制資訊可用
於路由媒體資訊通過系統,或指示節點以預定方式處理媒體資訊。然而,實施例並未受限於圖6所顯示或描述的該等元件或背景中。
如上文所述,系統600可用各種實體樣式或形狀因子具現。圖7描繪範例小尺寸裝置700,依據本揭示發明的至少部分實作配置。在部分範例中,系統600可經由裝置700實作。在其他範例中,裝置100、裝置200、系統500、或系統600、或彼等的部分可經由裝置700實作。在各種實施例中,例如,可將裝置700實作為具有無線能力的行動計算裝置。例如,行動計算裝置可指具有處理系統及行動電源或電源供應,諸如,一或多個電池,的任何裝置。
行動計算裝置的範例可能包個人電腦(PC)、膝上型電腦、超輕薄膝上型電腦、平板電腦、觸控板、可攜式電腦、手持電腦、掌上型電腦、個人數位助理(PDA)、行動電話、組合式行動電話/PDA、智慧型裝置(例如,智慧型手機、智慧型平板電腦、或智慧型行動電視)、行動網際網路裝置(MID)、發訊裝置、資料通訊裝置、及照相機等。
行動計算裝置的範例也可包括配置成由個人穿戴的電腦、諸如,腕上型電腦、指上型電腦、戒指型電腦、眼鏡型電腦、皮帶夾型電腦、臂章型電腦、鞋上型電腦、衣物型電腦、及其他可穿戴電腦。在各種實施例中,例如,可將行動計算裝置實作為能執行電腦應用程式、及語音通訊
及/或資料通訊的智慧型手機。雖然部分實施例可藉由範例以實作為智慧型手機的行動計算裝置描述,可理解其他實施例也可使用其他無線行動計算裝置實作。實施例並未受限於此背景。
如圖7所示,裝置700可包括具有正面701及背面702的外殼。裝置700可包括顯示器704、輸入/輸出(I/O)裝置706、及積集天線708。裝置700也可包括導航特徵712。I/O裝置706可包括用於將資訊輸入至行動計算裝置中的任何合適I/O裝置。I/O裝置706的範例可包括文數字鍵盤、數字鍵盤、觸控板、輸入鍵、按鍵、開關、麥克風、揚聲器、語音辨識裝置、及軟體等。資訊也可藉由麥克風(未圖示)輸入裝置700中,或可藉由語音辨識裝置數位化。如圖所示,裝置700可包括照相機705(例如,包括鏡頭、孔徑、及成像感測器)及積集至裝置700之背面702(或他處)的閃光燈710、及積集至裝置700之正面701的照相機715。照相機705及閃光燈710及/或照相機715可係照相機模組的組件,以產生處理為輸出至顯示器704及/或經由天線708從裝置700遠端地通訊之串流視訊的影像資料。例如,照相機705可包括影像感測器101且照相機715可包括影像感測器102。
各種實施例可使用硬體元件、軟體元件、或二者之組合實作。硬體元件的範例可包括處理器、微處理器、電路、電路元件(例如,電晶體、電阻器、電容器、及電感器等)、積體電路、特定應用積體電路(ASIC)、可程
式化邏輯裝置(PLD)、數位信號處理器(DSP)、場效可規劃閘極陣列(FPGA)、邏輯閘、暫存器、半導體裝置、晶片、微晶片、及晶片組等。軟體的範例可包括軟體組件、程式、應用軟體、電腦程式、應用程式、系統程式、機器程式、作業系統軟體、中介軟體、韌體、軟體模組、常式、次常式、函數、方法、程序、軟體介面、應用程式發展介面(API)、指令集、計算碼、電腦碼、碼段、電腦碼段、字、值、符號、或彼等的任何組合。決定實施例是否以硬體元件及/或軟體元件實作可根據任何數量的因子改變,諸如,期望計算速率、功率等級、耐熱性、處理週期預算、輸入資料速率、輸出資料速率、記憶體資源、資料匯流排速度、及其他設計或效能限制。
至少一實施例的一或多個樣態可藉由儲存在機器可讀媒體上之代表處理器內的各種邏輯的代表性指令實作,當其由機器讀取時,導致機器製造邏輯以進行本文描述的技術。可將稱為IP核心的此種代表儲存在實體機器可讀媒體中,並供應至各種客戶或製造設施,以載入至實際產生邏輯或處理器的製造機器中。
雖然已參考各種實作描述本文陳述的特定特性,此描述並未企圖以限制方式構成。因此,本文描述之實作的各種修改、以及其他實作被視為在本揭示發明的精神及範圍內對熟悉本發明之人士係明顯的。
在一或多個第一實施例中,一種用於產生縮減的影像資料的方法包含基於與輸入影像資料關聯的照度指示器在
第一色彩空間中決定與該輸入影像資料關聯的適應性色彩轉換係數、基於該適應性色彩轉換係數在第二色彩空間中將該輸入影像資料轉換為色彩轉換的影像資料,其中該第二色彩空間係亮度彩度分離色彩空間、及將與該色彩轉換的影像資料關聯的縮減的色彩轉換的影像資料儲存至輸入影像緩衝器。
繼第一實施例,將該輸入影像資料轉換為該色彩轉換的影像資料包含線性轉換操作。
繼第一實施例,決定該適應性色彩轉換係數包含基於該照度指示器存取查找表。
繼第一實施例,該方法更包含從影像感測器接收拍攝的影像資料,並基於拍攝的影像資料實施影像拍攝預處理以產生輸入影像資料。
繼第一實施例,該方法更包含從影像感測器接收拍攝的影像資料,並基於拍攝的影像資料實施影像拍攝預處理以產生輸入影像資料,且該影像拍攝預處理包含將該拍攝影像的資料去馬賽克、基於該拍攝影像的資料實施像素缺陷校正、或基於該拍攝影像的資料實施陰影校正的至少一者。
繼第一實施例,該方法更包含從影像感測器接收拍攝的影像資料,並基於拍攝的影像資料實施影像拍攝預處理以產生輸入影像資料,及/或其中該影像拍攝預處理包含將該拍攝影像的資料去馬賽克、基於該拍攝影像的資料實施像素缺陷校正、或基於該拍攝影像的資料實施陰影校正
的至少一者。
繼第一實施例,該方法更包含縮減該色彩轉換的影像資料以產生該縮減的色彩轉換的影像資料,其中該縮減包含水平縮減或垂直縮減該色彩轉換的影像資料之色彩通道的至少一者。
繼第一實施例,該第一色彩空間包含紅-綠-藍(RGB)色彩空間或紅-綠-藍-白(RGBW)色彩空間的至少一者。
繼第一實施例,該照度指示器包含白平衡參數或場景類型參數的至少一者。
繼第一實施例,該第一色彩空間包含紅-綠-藍(RGB)色彩空間或紅-綠-藍-白(RGBW)色彩空間的至少一者,及/或該照度指示器包含白平衡參數或場景類型參數的至少一者。
繼第一實施例,該方法更包含從該輸入影像緩衝器取得該縮減的色彩轉換的影像資料、基於該縮減的色彩轉換的影像資料實施去雜訊、銳化、或色彩變化的至少一者以產生處理的影像資料、及將該處理的影像資料轉換至線性紅-綠-藍(RGB)色彩空間。
繼第一實施例,該方法更包含基於與第二輸入影像資料關聯的第二照度指示器決定與該第二輸入影像資料關聯的第二適應性色彩轉換係數,其中該影像資料係來自第一影像感測器且該第二輸入影像資料係來自第二影像感測器、基於該第二適應性色彩轉換係數在該第二色彩空間中
將該第二輸入影像資料轉換為第二色彩轉換的影像資料、及將與該第二色彩轉換的影像資料關聯的第二縮減的色彩轉換的影像資料儲存至該輸入影像緩衝器。
在一或多個第二實施例中,一種用於提供視頻管線的系統包含控制器,用於基於與輸入影像資料關聯的照度指示器在第一色彩空間中決定與該輸入影像資料關聯的適應性色彩轉換係數、色彩轉換模組,用於基於該適應性色彩轉換係數在第二色彩空間中將該輸入影像資料轉換為色彩轉換的影像資料,其中該第二色彩空間係亮度彩度分離色彩空間、及輸入影像緩衝器,用以儲存與該色彩轉換的影像資料關聯的縮減的色彩轉換的影像資料。
繼第二實施例,該色彩轉換模組將該輸入影像資料轉換為該色彩轉換的影像資料包含該色彩轉換模組實施線性轉換操作。
繼第二實施例,該控制器決定該適應性色彩轉換係數包含該控制器基於該照度指示器存取查找表。
繼第二實施例,該系統更包含影像感測器,用以拍攝與影像場景關聯的影像資料、及影像拍攝預處理模組,用以去馬賽克該拍攝影像的資料、基於該拍攝影像的資料實施像素缺陷校正、或基於該拍攝影像的資料實施陰影校正以產生該輸入影像資料。
繼第二實施例,該系統更包含縮減模組,用以產生該縮減的色彩轉換的影像資料,其中該縮減模組實施該色彩轉換的影像資料之該色彩通道的水平縮減或垂直縮減的至
少一者。
繼第二實施例,該第一色彩空間包含紅-綠-藍(RGB)色彩空間或紅-綠-藍-白(RGBW)色彩空間的至少一者。
繼第二實施例,該照度指示器包含白平衡參數或場景類型參數的至少一者。
繼第二實施例,該第一色彩空間包含紅-綠-藍(RGB)色彩空間或紅-綠-藍-白(RGBW)色彩空間的至少一者,及該照度指示器包含白平衡參數或場景類型參數的至少一者。
繼第二實施例,該系統更包含亮度彩度分離影像處理模組,用以從該輸入影像緩衝器接收該縮減的色彩轉換的影像資料,並去雜訊、銳化、或色彩變化該縮減的色彩轉換的影像資料以產生處理的影像資料。
繼第二實施例,該系統更包含第二色彩轉換模組,用以將該處理的影像資料轉換至線性紅-綠-藍(RGB)色彩空間。
繼第二實施例,該系統更包含第一影像感測器,用以拍攝與影像場景關聯的第一影像資料、第一拍攝影像的預處理模組,用於產生該輸入影像資料、第二影像感測器,用以拍攝與第二影像場景關聯的第二影像資料、第二拍攝影像的預處理模組,用於產生第二輸入影像資料,且該色彩轉換模組係用於基於第二適應性色彩轉換係數在該第二色彩空間中將該第二輸入影像資料轉換為第二色彩轉換的
影像資料,且該輸入影像緩衝器係用於儲存與該第二色彩轉換的影像資料關聯的第二縮減的色彩轉換的影像資料。
在一或多個第三實施例中,一種用於提供視頻管線的系統包含用於基於與輸入影像資料關聯的照度指示器在第一色彩空間中決定與該輸入影像資料關聯的適應性色彩轉換係數的機構、用於基於該適應性色彩轉換係數在第二色彩空間中將該輸入影像資料轉換為色彩轉換的影像資料的機構,其中該第二色彩空間係亮度彩度分離色彩空間、及用於將與該色彩轉換的影像資料關聯的縮減的色彩轉換的影像資料儲存至輸入影像緩衝器的機構。
繼第三實施例,用於將該輸入影像資料轉換為該色彩轉換的影像資料的該機構包含用於實施線性轉換操作的機構。
繼第三實施例,用於決定該適應性色彩轉換係數的該機構包含用於基於該照度指示器存取查找表的機構。
繼第三實施例,該系統更包含影像感測器,用以拍攝與影像場景關聯的影像資料,及用於基於該拍攝影像的資料實施影像拍攝預處理以產生該輸入影像資料的機構。
繼第三實施例,該系統更包含影像感測器,用以拍攝與影像場景關聯的影像資料,及用於基於該拍攝影像的資料實施影像拍攝預處理以產生該輸入影像資料的機構,且用於影像拍攝預處理的該機構包含用於將該拍攝影像的資料去馬賽克的機構、用於基於該拍攝影像的資料實施像素缺陷校正的機構、或用於基於該拍攝影像的資料實施陰影
校正的機構的至少一者。
繼第三實施例,該系統更包含用於縮減該色彩轉換的影像資料以產生該縮減的色彩轉換的影像資料的機構,其中該用於縮減的機構包含用於實施該色彩轉換的影像資料之色彩通道的水平縮減的機構或用於實施該色彩轉換的影像資料之色彩通道的垂直縮減的機構的至少一者。
繼第三實施例,該第一色彩空間包含紅-綠-藍(RGB)色彩空間或紅-綠-藍-白(RGBW)色彩空間的至少一者。
繼第三實施例,該照度指示器包含白平衡參數或場景類型參數的至少一者。
繼第三實施例,該系統更包含用於從該輸入影像緩衝器取得該縮減的色彩轉換的影像資料的機構、用於基於該縮減的色彩轉換的影像資料實施去雜訊、銳化、或色彩變化的至少一者以產生處理的影像資料的機構、及用於將該處理的影像資料轉換至線性紅-綠-藍(RGB)色彩空間的機構。
繼第三實施例,該系統更包含用於基於與第二輸入影像資料關聯的第二照度指示器決定與該第二輸入影像資料關聯的第二適應性色彩轉換係數的機構,其中該影像資料係來自第一影像感測器且該第二輸入影像資料係來自第二影像感測器、用於基於該第二適應性色彩轉換係數在該第二色彩空間中將該第二輸入影像資料轉換為第二色彩轉換的影像資料的機構、及用於將與該第二色彩轉換的影像資
料關聯的第二縮減的色彩轉換的影像資料儲存至該輸入影像緩衝器的機構。
在一或多個第四實施例中,至少一種機器可讀媒體包含回應於在裝置上執行,導致該裝置藉由基於與輸入影像資料關聯的照度指示器在第一色彩空間中決定與該輸入影像資料關聯的適應性色彩轉換係數、基於該適應性色彩轉換係數在第二色彩空間中將該輸入影像資料轉換為色彩轉換的影像資料,其中該第二色彩空間係亮度彩度分離色彩空間、及將與該色彩轉換的影像資料關聯的縮減的色彩轉換的影像資料儲存至輸入影像緩衝器而產生縮減的影像資料的複數個指令。
繼第四實施例,將該輸入影像資料轉換為該色彩轉換的影像資料包含線性轉換操作,且產生該適應性色彩轉換係數包含基於該照度指示器存取查找表。
繼第四實施例,該機器可讀媒體更包含回應於在該裝置上執行,導致該裝置藉由從影像感測器接收拍攝影像的資料及基於該拍攝影像的資料實施影像拍攝預處理以產生該輸入影像資料產生縮減的影像資料的指令。
繼第四實施例,該機器可讀媒體更包含回應於在該裝置上執行,導致該裝置藉由縮減該色彩轉換的影像資料以產生該縮減的色彩轉換的影像資料,其中該縮減包含水平縮減或垂直縮減該色彩轉換的影像資料之色彩通道的至少一者產生縮減的影像資料的指令。
繼第四實施例,該第一色彩空間包含紅-綠-藍
(RGB)色彩空間或紅-綠-藍-白(RGBW)色彩空間的至少一者,及該照度指示器包含白平衡參數或場景類型參數的至少一者。
繼第四實施例,該機器可讀媒體更包含回應於在該裝置上執行,導致該裝置藉由從該輸入影像緩衝器取得該縮減的色彩轉換的影像資料、基於該縮減的色彩轉換的影像資料實施去雜訊、銳化、或色彩變化的至少一者以產生處理的影像資料、及將該處理的影像資料轉換至線性紅-綠-藍(RGB)色彩空間產生縮減的影像資料的指令。
在一或多個第五實施例中,至少一機器可讀取媒體可能包括複數個指令,回應於在計算裝置上執行,導致該計算裝置實施根據上述實施例之任一者的方法。
在一或多個第六實施例中,一種設備可包括用於實作根據上述實施例之任一者的方法的機構。
將認知實施例並未受限於如此描述的實施例,而能以修改及變化實踐而不脫離隨附之申請專利範圍的範圍。例如,上述實施例可包括特性的具體組合。然而,上述實施例並未受限於此方面,且在各種實作中,上述實施例可包括僅實行此種特性之子集、實行此種特性的不同次序、實施此種特性的不同組合、及/或實施明顯列示之該等特性以外的額外特性。因此,實施例的範疇應參考隨附的申請專利範圍,連同參考給予此種申請專利範圍的權利之等效實體的完整範圍而決定。
100‧‧‧裝置
101‧‧‧影像感測器
102‧‧‧影像拍攝處理模組
103、110‧‧‧色彩轉換模組
104‧‧‧控制器模組
105‧‧‧縮減模組
106‧‧‧水平彩度縮減模組
107‧‧‧垂直彩度縮減模組
108‧‧‧輸入影像緩衝器
109‧‧‧亮度彩度分離影像處理模組
111‧‧‧原始影像資料
112‧‧‧輸入影像資料
113‧‧‧照度指示器
114‧‧‧適應性色彩轉換係數(ACCC)
115‧‧‧亮度彩度分離影像資料
116‧‧‧縮減的影像資料(DSI)
117‧‧‧處理的影像資料
118‧‧‧線性色彩空間影像(LCI)資料
Claims (23)
- 一種用於產生縮減的影像資料的方法,包含:基於與輸入影像資料關聯的照度指示器在第一色彩空間中決定與該輸入影像資料關聯的適應性色彩轉換係數;基於該適應性色彩轉換係數在第二色彩空間中將該輸入影像資料轉換為色彩轉換的影像資料,其中該第二色彩空間係亮度彩度分離色彩空間;及將與該色彩轉換的影像資料關聯的縮減的色彩轉換的影像資料儲存至輸入影像緩衝器。
- 如申請專利範圍第1項的方法,其中將該輸入影像資料轉換為該色彩轉換的影像資料包含線性轉換操作。
- 如申請專利範圍第1項的方法,其中決定該適應性色彩轉換係數包含基於該照度指示器存取查找表。
- 如申請專利範圍第1項之方法,更包含:從影像感測器接收拍攝影像的資料;及基於該拍攝影像的資料實施影像拍攝預處理以產生該輸入影像資料。
- 如申請專利範圍第4項的方法,其中該影像拍攝預處理包含將該拍攝影像的資料去馬賽克、基於該拍攝影像的資料實施像素缺陷校正、或基於該拍攝影像的資料實施陰影校正的至少一者。
- 如申請專利範圍第1項之方法,更包含:縮減該色彩轉換的影像資料以產生該縮減的色彩轉換的影像資料,其中該縮減包含水平縮減或垂直縮減該色彩 轉換的影像資料之色彩通道的至少一者。
- 如申請專利範圍第1項的方法,其中該第一色彩空間包含紅-綠-藍(RGB)色彩空間或紅-綠-藍-白(RGBW)色彩空間的至少一者。
- 如申請專利範圍第1項的方法,其中該照度指示器包含白平衡參數或場景類型參數的至少一者。
- 如申請專利範圍第1項之方法,更包含:從該輸入影像緩衝器取得該縮減的色彩轉換的影像資料;基於該縮減的色彩轉換的影像資料實施去雜訊、銳化、或色彩變化的至少一者以產生處理的影像資料;及將該處理的影像資料轉換至線性紅-綠-藍(RGB)色彩空間。
- 如申請專利範圍第1項之方法,更包含:基於與第二輸入影像資料關聯的第二照度指示器決定與該第二輸入影像資料關聯的第二適應性色彩轉換係數,其中該影像資料係來自第一影像感測器且該第二輸入影像資料係來自第二影像感測器;基於該第二適應性色彩轉換係數在該第二色彩空間中將該第二輸入影像資料轉換為第二色彩轉換的影像資料;及將與該第二色彩轉換的影像資料關聯的第二縮減的色彩轉換的影像資料儲存至該輸入影像緩衝器。
- 一種用於提供視頻管線的系統,包含: 控制器,用於基於與輸入影像資料關聯的照度指示器在第一色彩空間中決定與該輸入影像資料關聯的適應性色彩轉換係數;色彩轉換模組,用於基於該適應性色彩轉換係數在第二色彩空間中將該輸入影像資料轉換為色彩轉換的影像資料,其中該第二色彩空間係亮度彩度分離色彩空間;及輸入影像緩衝器,用以儲存與該色彩轉換的影像資料關聯的縮減的色彩轉換的影像資料。
- 如申請專利範圍第11項的系統,更包含:影像感測器,用以拍攝與影像場景關聯的影像資料;及影像拍攝預處理模組,用以去馬賽克該拍攝影像的資料、基於該拍攝影像的資料實施像素缺陷校正、或基於該拍攝影像的資料實施陰影校正以產生該輸入影像資料。
- 如申請專利範圍第11項的系統,更包含:縮減模組,用以產生該縮減的色彩轉換的影像資料,其中該縮減模組實施該色彩轉換的影像資料之色彩通道的水平縮減或垂直縮減的至少一者。
- 如申請專利範圍第11項的系統,更包含:亮度彩度分離影像處理模組,用以從該輸入影像緩衝器接收該縮減的色彩轉換的影像資料,並去雜訊、銳化、或色彩變化該縮減的色彩轉換的影像資料以產生處理的影像資料。
- 如申請專利範圍第14項之系統,另外包含: 第二色彩轉換模組,用以將該處理的影像資料轉換至線性紅-綠-藍(RGB)色彩空間。
- 如申請專利範圍第11項的系統,更包含:第一影像感測器,用以拍攝與影像場景關聯的第一影像資料;第一拍攝影像的預處理模組,用於產生該輸入影像資料;第二影像感測器,用以拍攝與第二影像場景關聯的第二影像資料;及第二拍攝影像的預處理模組,用於產生第二輸入影像資料,其中該色彩轉換模組係用於基於第二適應性色彩轉換係數在該第二色彩空間中將該第二輸入影像資料轉換為第二色彩轉換的影像資料,且該輸入影像緩衝器係用於儲存與該第二色彩轉換的影像資料關聯的第二縮減的色彩轉換的影像資料。
- 如申請專利範圍第11項的系統,其中該第一色彩空間包含紅-綠-藍(RGB)色彩空間或紅-綠-藍-白(RGBW)色彩空間的至少一者,且該照度指示器包含白平衡參數或場景類型參數的至少一者。
- 至少一種機器可讀媒體,其包含回應於在裝置上執行,導致該裝置藉由下列步驟產生縮減的影像資料的複數個指令:基於與輸入影像資料關聯的照度指示器在第一色彩空 間中決定與該輸入影像資料關聯的適應性色彩轉換係數;基於該適應性色彩轉換係數在第二色彩空間中將該輸入影像資料轉換為色彩轉換的影像資料,其中該第二色彩空間係亮度彩度分離色彩空間;及將與該色彩轉換的影像資料關聯的縮減的色彩轉換的影像資料儲存至輸入影像緩衝器。
- 如申請專利範圍第18項的機器可讀媒體,其中將該輸入影像資料轉換為該色彩轉換的影像資料包含線性轉換操作,且產生該適應性色彩轉換係數包含基於該照度指示器存取查找表。
- 如申請專利範圍第18項的機器可讀媒體,更包含回應於在該裝置上執行,導致該裝置藉由下列步驟產生縮減的影像資料的指令:從影像感測器接收拍攝影像的資料;及基於該拍攝影像的資料實施影像拍攝預處理以產生該輸入影像資料。
- 如申請專利範圍第18項的機器可讀媒體,更包含回應於在該裝置上執行,導致該裝置藉由下列步驟產生縮減的影像資料的指令:縮減該色彩轉換的影像資料以產生該縮減的色彩轉換的影像資料,其中該縮減包含該色彩轉換的影像資料之色彩通道的水平縮減或垂直縮減的至少一者。
- 如申請專利範圍第18項的機器可讀媒體,其中該第一色彩空間包含紅-綠-藍(RGB)色彩空間或紅-綠- 藍-白(RGBW)色彩空間的至少一者,且該照度指示器包含白平衡參數或場景類型參數的至少一者。
- 如申請專利範圍第18項的機器可讀媒體,更包含回應於在該裝置上執行,導致該裝置藉由下列步驟產生縮減的影像資料的指令:從該輸入影像緩衝器取得該縮減的色彩轉換的影像資料;基於該縮減的色彩轉換的影像資料實施去雜訊、銳化、或色彩變化的至少一者以產生處理的影像資料;及將該處理的影像資料轉換至線性紅-綠-藍(RGB)色彩空間。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/669,269 US9697796B2 (en) | 2015-03-26 | 2015-03-26 | Adaptive linear luma domain video pipeline architecture |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201703526A true TW201703526A (zh) | 2017-01-16 |
TWI593275B TWI593275B (zh) | 2017-07-21 |
Family
ID=56974244
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW105105327A TWI593275B (zh) | 2015-03-26 | 2016-02-23 | 適應性線性亮度域視頻管線架構、系統與機器可讀媒體 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9697796B2 (zh) |
CN (1) | CN107431770B (zh) |
TW (1) | TWI593275B (zh) |
WO (1) | WO2016153638A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI734406B (zh) * | 2019-03-15 | 2021-07-21 | 日商索尼半導體解決方案公司 | 用於組織節點之網路之方法 |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3982626A1 (en) | 2016-06-06 | 2022-04-13 | SZ DJI Osmo Technology Co., Ltd. | Carrier-assisted tracking |
US10638055B2 (en) * | 2018-01-15 | 2020-04-28 | Qualcomm Incorporated | Aperture simulation |
US11227435B2 (en) | 2018-08-13 | 2022-01-18 | Magic Leap, Inc. | Cross reality system |
WO2020056622A1 (zh) * | 2018-09-19 | 2020-03-26 | 深圳市汇顶科技股份有限公司 | 图像校验系数的读取方法、闪存控制器、系统及存储介质 |
US11232635B2 (en) | 2018-10-05 | 2022-01-25 | Magic Leap, Inc. | Rendering location specific virtual content in any location |
US11503310B2 (en) * | 2018-10-31 | 2022-11-15 | Ati Technologies Ulc | Method and apparatus for an HDR hardware processor inline to hardware encoder and decoder |
KR102669938B1 (ko) | 2019-01-09 | 2024-05-27 | 삼성전자주식회사 | 이미지 처리 프로세서, 이미지 처리 시스템 및 이미지 처리 프로세서의 동작 방법 |
EP4046139A4 (en) | 2019-10-15 | 2023-11-22 | Magic Leap, Inc. | EXTENDED REALITY SYSTEM WITH LOCATION SERVICE |
JP2022551734A (ja) * | 2019-10-15 | 2022-12-13 | マジック リープ, インコーポレイテッド | 複数のデバイスタイプをサポートするクロスリアリティシステム |
WO2021087065A1 (en) | 2019-10-31 | 2021-05-06 | Magic Leap, Inc. | Cross reality system with quality information about persistent coordinate frames |
CN114762008A (zh) | 2019-12-09 | 2022-07-15 | 奇跃公司 | 简化的虚拟内容编程的交叉现实系统 |
EP4104001A4 (en) | 2020-02-13 | 2024-03-13 | Magic Leap, Inc. | CROSS-REALLY SYSTEM WITH MAP PROCESSING USING MULTIPLE RESOLUTION FRAME DESCRIPTORS |
CN112203064B (zh) * | 2020-09-30 | 2023-03-28 | 普联技术有限公司 | 一种不同照度颜色映射关系的构建方法及装置 |
CN116420105A (zh) * | 2020-09-30 | 2023-07-11 | 斯纳普公司 | 用于增强现实护目镜中的计算机视觉模式的低功耗相机管线 |
US12015842B2 (en) | 2020-09-30 | 2024-06-18 | Snap Inc. | Multi-purpose cameras for simultaneous capture and CV on wearable AR devices |
CN115767287B (zh) * | 2021-09-03 | 2023-10-27 | 荣耀终端有限公司 | 图像处理方法与电子设备 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7158668B2 (en) * | 2003-08-01 | 2007-01-02 | Microsoft Corporation | Image processing using linear light values and other image processing improvements |
KR100648310B1 (ko) * | 2004-09-24 | 2006-11-23 | 삼성전자주식회사 | 영상의 휘도 정보를 이용한 색변환장치 및 이를 구비하는디스플레이 장치 |
KR101092539B1 (ko) * | 2005-02-18 | 2011-12-14 | 삼성전자주식회사 | 화이트 밸런스를 자동 조정하는 영상장치 및 그의 화이트밸런스 조정 방법 |
US8605167B2 (en) * | 2010-09-01 | 2013-12-10 | Apple Inc. | Flexible color space selection for auto-white balance processing |
US9554156B2 (en) * | 2010-09-03 | 2017-01-24 | Dolby Laboratories Licensing Corporation | Method and system for illumination compensation and transition for video coding and processing |
US8786625B2 (en) * | 2010-09-30 | 2014-07-22 | Apple Inc. | System and method for processing image data using an image signal processor having back-end processing logic |
US20140152687A1 (en) | 2011-10-17 | 2014-06-05 | Travis Liu | Color management system based on universal gamut mapping method |
US9332239B2 (en) * | 2012-05-31 | 2016-05-03 | Apple Inc. | Systems and methods for RGB image processing |
US9025867B2 (en) * | 2012-05-31 | 2015-05-05 | Apple Inc. | Systems and methods for YCC image processing |
-
2015
- 2015-03-26 US US14/669,269 patent/US9697796B2/en active Active
-
2016
- 2016-02-17 CN CN201680012198.2A patent/CN107431770B/zh active Active
- 2016-02-17 WO PCT/US2016/018288 patent/WO2016153638A1/en active Application Filing
- 2016-02-23 TW TW105105327A patent/TWI593275B/zh not_active IP Right Cessation
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI734406B (zh) * | 2019-03-15 | 2021-07-21 | 日商索尼半導體解決方案公司 | 用於組織節點之網路之方法 |
Also Published As
Publication number | Publication date |
---|---|
US9697796B2 (en) | 2017-07-04 |
CN107431770A (zh) | 2017-12-01 |
WO2016153638A1 (en) | 2016-09-29 |
US20160284314A1 (en) | 2016-09-29 |
TWI593275B (zh) | 2017-07-21 |
CN107431770B (zh) | 2021-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI593275B (zh) | 適應性線性亮度域視頻管線架構、系統與機器可讀媒體 | |
EP4024323A1 (en) | Image processing method and apparatus | |
US10885384B2 (en) | Local tone mapping to reduce bit depth of input images to high-level computer vision tasks | |
CN108352059B (zh) | 从高动态范围视频生成标准动态范围视频的方法和装置 | |
CN109660782B (zh) | 减少立体深度传感器成像中的纹理化ir图案 | |
CN107851307B (zh) | 对用于图像处理的拜耳类型图像数据去马赛克的方法和系统 | |
CN108885785B (zh) | 用于时间噪声减少的运动自适应流处理 | |
WO2018000126A1 (en) | Method and system of multi-dynamic range multi-layer video blending with alpha channel sideband for video playback | |
US9704083B2 (en) | Optical communication using differential images | |
US9659354B2 (en) | Color matching for imaging systems | |
US20190043220A1 (en) | Multi-camera processor with feature matching | |
CN111565260A (zh) | 用于图像处理的薄雾减少方法和系统 | |
US10127887B2 (en) | Acceleration of color conversion | |
EP2910020A1 (en) | Color enhancement via gamut expansion | |
US20220358754A1 (en) | Deep learning based distributed machine vision camera system | |
US10104373B2 (en) | Content based video encoding for wireless display | |
WO2014101081A1 (en) | Content aware video resizing | |
CN117440241A (zh) | 一种视频处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |