TWI712003B - 處理即時影像的影像處理電路與方法以及包含上述電路、方法的裝置 - Google Patents

處理即時影像的影像處理電路與方法以及包含上述電路、方法的裝置 Download PDF

Info

Publication number
TWI712003B
TWI712003B TW104129085A TW104129085A TWI712003B TW I712003 B TWI712003 B TW I712003B TW 104129085 A TW104129085 A TW 104129085A TW 104129085 A TW104129085 A TW 104129085A TW I712003 B TWI712003 B TW I712003B
Authority
TW
Taiwan
Prior art keywords
image
pipelines
memory
information
scale
Prior art date
Application number
TW104129085A
Other languages
English (en)
Other versions
TW201616444A (zh
Inventor
尹晟瞮
金玟秀
Original Assignee
南韓商三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商三星電子股份有限公司 filed Critical 南韓商三星電子股份有限公司
Publication of TW201616444A publication Critical patent/TW201616444A/zh
Application granted granted Critical
Publication of TWI712003B publication Critical patent/TWI712003B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/373—Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/391—Resolution modifying circuits, e.g. variable screen formats
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/393—Arrangements for updating the contents of the bit-mapped memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/52—Parallel processing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0492—Change of orientation of the displayed image, e.g. upside-down, mirrored

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Image Processing (AREA)

Abstract

一種應用處理器包括用以處理即時影像的影像處理電路。所述影像處理電路包含：N個管線，其中N是至少為2的自然數；以及賦能控制電路，用以接收第一資訊及第二資訊，並用以基於所述第一資訊及所述第二資訊來賦能所述N個管線中的M個管線，所述第一資訊表示儲存於記憶體中的所述影像的大小，所述第二資訊表示所述影像是否旋轉，其中2£M£N。所述被賦能的M個管線將所述影像劃分成M個影像段且並列地處理所述M個影像段。

Description

處理即時影像的影像處理電路與方法以及包含上述電路、方法的裝置
本申請案主張於2014年10月31日在韓國智慧財產局提出申請的韓國專利申請案第10-2014-0149744號的優先權，所述專利申請案的內容全文併入本文供參考。
本發明概念的實施例是有關於一種處理即時影像的影像處理電路以及包含所述電路的裝置。更具體而言，本發明概念的實施例是有關於一種基於行記憶體(line memory)的寬度而將影像劃分成影像段且並列地即時處理所述影像段的影像處理電路。
在使用行動應用處理器的終端中，支援顯示高解析度影像(例如，超高解析度(ultra-high-definition，UHD)影像)的顯示裝置。為了使高解析度影像能夠被顯示於顯示裝置上，用於讀取或提取高解析度影像的直接記憶體存取(direct memory access， DMA)控制器的頻寬已增加至高達2十億位元組(GB)/秒。當高解析度影像例如由於終端的旋轉而被即時旋轉並顯示於顯示裝置上時，所述終端難以使所述高解析度影像即時旋轉並將經旋轉影像顯示於顯示裝置上。
根據本發明概念的各種實施例，提供一種包括用以處理即時影像的影像處理電路的應用處理器。所述影像處理電路包含：N個管線，其中N是至少為2的自然數；以及賦能控制電路(enable control circuit)，用以接收第一資訊及第二資訊，並用以基於所述第一資訊及所述第二資訊來賦能所述N個管線中的M個管線，所述第一資訊表示儲存於記憶體中的所述影像的大小，所述第二資訊表示所述影像是否旋轉，其中2
Figure 104129085-A0305-02-0004-7
M
Figure 104129085-A0305-02-0004-8
N。所述被賦能的M個管線將所述影像劃分成M個影像段且並列地處理所述M個影像段。
所述影像的大小可包括所述影像的寬度與所述影像的高度中的至少一者。所述賦能控制電路可基於表示所述影像未旋轉的所述第二資訊、根據所述影像的所述寬度對比例換算器行記憶體(scaler line memory)的寬度的比率來賦能所述M個管線。所述賦能控制電路可基於表示所述影像旋轉的所述第二資訊、根據所述影像的所述高度對所述比例換算器行記憶體的所述寬度的比率來賦能所述M個管線。
所述被賦能的M個管線中的每一者可包括：直接記憶體存取(DMA)控制器，用以自所述記憶體提取所述M個影像段中的對應一個影像段；比例換算器(scaler)，用以對自所述直接記憶體存取控制器輸出的所述影像段進行垂直及水平比例換算，並輸出經垂直及水平比例換算的影像段；以及修剪電路(crop circuit)，用以對自所述比例換算器輸出的所述經垂直及水平比例換算的影像段進行修剪並輸出經修剪影像段。所述比例換算器行記憶體可包括於所述比例換算器中。
所述直接記憶體存取控制器可根據表示所述影像旋轉的所述第二資訊而輸出已經過旋轉的所述影像段。所述影像處理電路可更包括合併器，所述合併器用以對自分別包括於所述被賦能的M個管線中的所述修剪電路輸出的經修剪影像段進行合併。
作為另一選擇，所述被賦能的M個管線中的一者可包括：直接記憶體存取控制器，各自用以自所述記憶體提取所述M個影像段中的對應一個影像段；修剪電路，各自用以對分別自所述直接記憶體存取控制器輸出的所述影像段進行修剪並輸出經修剪的影像段；合併器，用以對分別自所述修剪電路輸出的經修剪影像段進行合併；以及比例換算器，用以對自所述合併器輸出的經合併影像進行垂直及水平比例換算。所述比例換算器行記憶體可包括於所述比例換算器中，且所述比例換算器行記憶體的所述寬度可對應於分別包括於所述直接記憶體存取控制器中的各行記憶體的寬度之和。
根據本發明概念的其他實施例，提供一種單晶片系統，所述單晶片系統包括：影像處理電路，用以處理即時影像；以及中央處理單元(CPU)，用以產生第一資訊及第二資訊，所述第一資訊表示儲存於記憶體中的所述影像的大小，所述第二資訊表示所述影像是否旋轉。所述影像處理電路包括：N個管線，其中N是至少為2的自然數；以及賦能控制電路，用以基於自所述中央處理單元輸出的所述第一資訊及所述第二資訊來賦能所述N個管線中的M個管線，其中2
Figure 104129085-A0305-02-0006-9
M
Figure 104129085-A0305-02-0006-10
N。所述被賦能的M個管線將所述影像劃分成M個影像段且並列地處理所述M個影像段。
所述影像的大小可包括所述影像的寬度與所述影像的高度中的至少一者。所述賦能控制電路可基於表示所述影像未旋轉的所述第二資訊、根據所述影像的所述寬度對比例換算器行記憶體的寬度的比率來賦能所述M個管線。所述賦能控制電路可基於表示所述影像旋轉的所述第二資訊、根據所述影像的所述高度對所述比例換算器行記憶體的所述寬度的比率來賦能所述M個管線。
根據本發明概念的其他實施例，提供一種行動計算裝置，所述行動計算裝置包括：記憶體，用以儲存影像；影像處理電路，用以即時處理儲存於所述記憶體中的影像；感測器，用以偵測所述行動計算裝置的旋轉並輸出表示所述所偵測旋轉的偵測訊號；以及中央處理單元，用以產生第一資訊及第二資訊，所述第一資訊表示儲存於所述記憶體中的所述影像的大小，所述第二 資訊對應於所述偵測訊號。所述影像處理電路包括：N個管線，其中N是至少為2的自然數；以及賦能控制電路，用以基於自所述中央處理單元輸出的所述第一資訊及所述第二資訊來賦能所述N個管線中的M個管線，其中2
Figure 104129085-A0305-02-0007-1
M
Figure 104129085-A0305-02-0007-2
N。所述被賦能的M個管線將所述影像劃分成M個影像段且並列地處理所述M個影像段。
所述影像的大小可包括所述影像的寬度與所述影像的高度中的至少一者。所述賦能控制電路可基於表示所述影像未旋轉的所述第二資訊、根據所述影像的所述寬度對比例換算器行記憶體的寬度的比率來賦能所述M個管線。所述賦能控制電路可基於表示所述影像旋轉的所述第二資訊、根據所述影像的所述高度對所述比例換算器行記憶體的所述寬度的比率來賦能所述M個管線。
根據本發明概念的其他實施例，提供一種利用資料處理裝置中的影像處理電路來處理即時影像的方法，所述影像處理電路包括N個管線，所述管線中的每一者包括直接記憶體存取控制器、比例換算器及修剪電路。所述方法包括：接收表示所述影像的大小的第一資訊；接收表示所述影像是否旋轉的第二資訊；當所述影像旋轉時，判斷所述影像的高度是否大於所述N個管線的每一者中的所述比例換算器的比例換算器行記憶體的最大寬度；以及當所述影像的所述高度大於所述比例換算器行記憶體的所述最大寬度時，將所述影像的所述高度除以所述比例換算器行記憶體的所述最大寬度並基於除法結果而賦能所述N個管線中的M個 管線，其中2
Figure 104129085-A0305-02-0008-3
M
Figure 104129085-A0305-02-0008-4
N。所述方法更包括：使用分別包括於所述被賦能的M個管線中的所述直接記憶體存取控制器來提取儲存於所述記憶體中的所述影像的影像段；使用分別包括於所述被賦能的M個管線中的所述比例換算器對所述被提取的影像段進行比例換算；使用分別包括於所述被賦能的M個管線中的所述修剪電路來修剪所述經比例換算的影像段；以及將所述經修剪的影像段合併成經旋轉的合併影像。
所述第二資訊可基於由用於偵測所述資料處理裝置是否旋轉的感測器所產生的偵測訊號。
當所述影像的所述高度不大於所述比例換算器行記憶體的所述最大寬度時，所述方法可更包括：基於所述除法結果來賦能所述N個管線中的一個管線；使用包括於所述被賦能管線中的所述直接記憶體存取控制器來提取儲存於所述記憶體中的所述影像；以及使用包括於所述被賦能的管線中的所述比例換算器對所述被提取影像進行比例換算。
當所述影像未旋轉時，所述方法可更包括：判斷所述影像的寬度是否大於所述N個管線的每一者中的所述比例換算器中的比例換算器行記憶體的最大寬度；當所述影像的所述寬度大於所述比例換算器行記憶體的所述最大寬度時，將所述影像的所述寬度除以所述比例換算器行記憶體的所述最大寬度並基於除法結果而賦能所述N個管線中的M個管線，其中2
Figure 104129085-A0305-02-0008-11
M
Figure 104129085-A0305-02-0008-12
N；使用分別包括於所述被賦能的M個管線中的所述直接記憶體存取控制器來 提取儲存於所述記憶體中的所述影像的影像段；使用分別包括於所述被賦能的M個管線中的所述比例換算器對所述被提取的影像段進行比例換算；使用分別包括於所述被賦能的M個管線中的所述修剪電路對所述經比例換算的影像段進行修剪；以及將所述經修剪的影像段合併成未經旋轉的合併影像。
當所述影像的寬度不大於所述比例換算器行記憶體的所述最大寬度時，所述方法可更包括：基於所述除法結果來賦能所述N個管線中的一個管線；使用包括於所述被賦能管線中的所述直接記憶體存取控制器來提取儲存於所述記憶體中的所述影像；以及使用包括於所述被賦能的管線中的所述比例換算器來對所述被提取影像進行比例換算。
根據本發明概念的其他實施例，提供一種利用資料處理裝置中的影像處理電路來處理即時影像的方法，所述影像處理電路包括N個管線，所述管線中的每一者包括兩個直接記憶體存取控制器、兩個修剪電路、一個合併器及一個比例換算器。所述方法包括：接收表示所述影像的大小的第一資訊；接收表示所述影像是否旋轉的第二資訊；當所述影像旋轉時，判斷所述影像的高度是否大於所述N個管線的每一者中的所述比例換算器中的比例換算器行記憶體的最大寬度；以及當所述影像的所述高度大於所述比例換算器行記憶體的所述最大寬度時，將所述影像的所述高度除以所述比例換算器行記憶體的所述最大寬度以基於除法結果來確定M個直接記憶體存取控制器，並藉由賦能M/2個管線而賦 能M個直接記憶體存取控制器，其中2
Figure 104129085-A0305-02-0010-13
M
Figure 104129085-A0305-02-0010-14
N且M及N為偶數。所述方法更包括：使用分別包括於所述被賦能的M/2個管線中的所述直接記憶體存取控制器來提取儲存於所述記憶體中的所述影像的影像段；使用分別包括於所述被賦能的M/2個管線中的所述修剪電路來修剪所述經比例換算的影像段；使用分別包括於所述M/2個管線中的所述合併器來將所述經修剪的影像段合併成經旋轉的合併影像；以及使用分別包括於所述被賦能的M/2個管線中的所述比例換算器來將所述經合併的影像段比例換算成經旋轉及比例換算的影像。所述方法可更包括將來自所述M/2個管線中的每一者的經旋轉及比例換算的影像混合。
當所述影像的所述高度不大於所述比例換算器行記憶體的所述最大寬度時，所述方法可更包括：基於所述除法結果來賦能所述N個管線中的一個管線；使用包括於所述被賦能管線中的所述直接記憶體存取控制器中的一者來提取儲存於所述記憶體中的所述影像；以及使用包括於所述被賦能的管線中的所述比例換算器來對所述被提取影像進行比例換算，而不對所述影像進行修剪或合併。
當影像未旋轉時，所述方法可更包括：判斷所述影像的寬度是否大於所述N個管線的每一者中的所述比例換算器中的比例換算器行記憶體的最大寬度；當所述影像的所述寬度大於所述比例換算器行記憶體的所述最大寬度時，將所述影像的所述寬度除以所述比例換算器行記憶體的所述最大寬度以基於除法結果來 確定M個直接記憶體存取控制器，並藉由賦能M/2個管線而賦能M個直接記憶體存取控制器，其中2
Figure 104129085-A0305-02-0011-5
M
Figure 104129085-A0305-02-0011-6
N且M及N為偶數；使用分別包括於所述被賦能的M/2個管線中的所述直接記憶體存取控制器來提取儲存於記憶體中的所述影像的影像段；使用分別包括於所述被賦能的M/2個管線中的所述修剪電路來修剪所述經比例換算的影像段；使用分別包括於所述M/2個管線中的所述合併器來將所述經修剪的影像段合併成經旋轉的合併影像；以及使用分別包括於所述被賦能的M/2個管線中的所述比例換算器來將所述經合併的影像段比例換算成經旋轉及比例換算的影像。
100:資料處理系統
200:資料處理裝置
201:照相機
203:顯示器
210:匯流排架構
220:中央處理單元(CPU)
230:感測器
240:相機介面
250:數據機
260:使用者介面
270:記憶體
280:顯示控制器
290、290A、290B:影像處理電路
291-1:第一管線
291-2、291-3、291-4、291-N:管線
292:賦能控制電路
293-1:第一直接記憶體存取(DMA)控制器
293-2:第二直接記憶體存取(DMA)控制器
293-3:第三直接記憶體存取(DMA)控制器
293-4:第四直接記憶體存取(DMA)控制器
293-N、293-(2N-1)、293-2N:直接記憶體存取(DMA)控制器
295-1:第一比例換算器
295-2:第二比例換算器
295-3、295-4、295-N:比例換算器
297-1:第一修剪電路
297-2:第二修剪電路
297-3、297-4、297-N、297-(2N-1)、297-2N:修剪電路
299-1:合併器
299A、299B:混合器
310:特殊功能暫存器(SFR)
311:讀/寫控制電路
312:直接記憶體存取(DMA)行記憶體
314:讀取控制電路
320:垂直比例換算器
322:比例換算器行記憶體
324:水平比例換算器
330-1:第一管線
330-2:第二管線
330-N:第N管線
340-1、340-2、340-N:合併器
DET:偵測訊號
DIM1:第一影像段
DIM2:第二影像段
DIM1’、DIM2’:影像段
DIM3:第一影像段
DIM4:第二影像段
DIM3’、DIM4’:影像段
EN:賦能訊號
H:影像的高度
H1、H2、H1’、H2’:影像的高度的一半
IM:影像
IM’:經合併影像
IM1:第一影像段
IM1’:經修剪的影像段
IM2:第二影像段
IM2’:經修剪的影像段
IM3:第三影像段
IM3’:經修剪的影像段
IM4:第四影像段
IM4’:經修剪的影像段
IM5:第五影像段
IM5’:經修剪的影像段
IM6:第六影像段
IM6’:經修剪的影像段
INT1:第一資訊
INT2:第二資訊
LMW:比例換算器行記憶體的最大寬度
RIM:影像
RIM’:合併影像
S110、S112、S114、S116、S118、S120、S122、S130、S132、S134、S210、S220、S230:操作
SR1:將被第一修剪電路修剪掉的部分/被修剪部分
SR1’:將被第一修剪電路修剪掉的部分/被修剪部分
SR2:將被第二修剪電路修剪掉的部分/被修剪部分
SR2’:將被第二修剪電路修剪掉的部分/被修剪部分
W:影像的寬度
W1、W2、W1’、W2’:影像的寬度的一半
結合附圖閱讀以下說明，本發明概念的示例性實施例將變得更加顯而易見，在附圖中：圖1是根據本發明概念的各種實施例，資料處理系統的方塊圖。
圖2是根據本發明概念的實施例，圖1中所說明的影像處理電路的實例的方塊圖。
圖3是根據本發明概念的實施例，圖2中所說明的直接記憶體存取(DMA)控制器的方塊圖。
圖4是根據本發明概念的實施例，圖2中所說明的比例換算器的方塊圖。
圖5A及圖5B是根據本發明概念的實施例，用於解釋一種利 用圖2中所說明的影像處理電路來處理未經旋轉的影像的方法的概念圖。
圖6A至圖6C概念是根據本發明的實施例，用於解釋一種利用圖2中所說明的影像處理電路來處理經旋轉的影像的方法的概念圖。
圖7A至圖7D是根據本發明概念的實施例，用於解釋圖2中所說明的影像處理電路的運作的概念圖。
圖8是根據本發明的實施例，圖1中所說明的影像處理電路的另一實例的方塊圖。
圖9是根據本發明概念的各種實施例，圖2中所說明的影像處理電路的運作的流程圖。
圖10是根據本發明概念的各種實施例，圖8中所說明的影像處理電路的運作的流程圖。
將參照以下說明及附圖來詳細闡述本發明概念的實施例。然而，本發明概念可實施為諸多不同形式，而不應被視為僅限於所說明的實施例。更確切而言，提供該些實施例作為實例是為了使本發明的揭露內容透徹及完整，並向此項技術中具有通常知識者充分傳達本發明的概念。因此，不針對所述實施例中的某些實施例闡述已知的過程、元件、及技術。在圖式中，為清晰起見，可誇大層及區域的大小及相對大小。除非另有說明，否則附 圖及書面說明通篇中相同的參考編號指示相同的元件。
應理解，當稱一個元件「連接」或「耦合」至另一元件時，所述元件可直接連接或耦合至所述另一元件，抑或可存在中間元件。相反，當稱一個元件「直接連接」或「直接耦合」至另一元件時，不存在中間元件。本文中所用的用語「及/或」包含相關列出項其中一或多個項的任意及所有組合，且可被縮寫為「/」。
應理解，儘管本文中可能使用第一、第二等用語來解釋各種元件，但該等元件不應受該些用語限制。該些用語僅用於區分各個元件。舉例而言，第一訊號可被稱為第二訊號，且類似地，第二訊號可被稱為第一訊號，而此並不背離本發明揭露內容的教示內容。
本文中所用的用語僅用於闡述具體實施例的目的，而並非旨在限制本發明。除非上下文清楚地另外指明，否則單數形式「一(a、an)」及「所述(the)」旨在亦包括複數形式。更應理解，當在本說明中使用用語「包括(comprises及/或comprising)」或「包含(includes及/或including)」時，表示所陳述特徵、區域、整數、步驟、操作、元件、及/或組件的存在，但不排除一或多個其他特徵、區域、整數、步驟、操作、元件、組件、及/或其群組的存在或添加。用語「示例性」旨在指代實例或例證。
除非進行不同定義，否則本文中所用的全部用語(包括技術用語及科學用語)的意義皆與本發明所屬技術領域中的通常知識者所通常理解的意義相同。更應理解，用語(例如在常用字 典中所定義的用語)應被解釋為具有與其在相關技術及/或本申請案的上下文中的意義一致的意義，且除非在本文中進行明確定義，否則不應將其解釋為具有理想化或過於正式的意義。
圖1是根據本發明概念的各種實施例，資料處理系統100的方塊圖。參照圖1，資料處理系統100包括資料處理裝置200、照相機201、及顯示器203。
舉例而言，資料處理系統100可實作為個人電腦(personal computer，PC)或行動計算裝置，但在不背離本發明教示內容的範圍的條件下可包括其他實作形式。舉例而言，所述行動計算裝置可為膝上型電腦、蜂巢式電話、智慧型電話、平板個人電腦、個人數位助理(personal digital assistant，PDA)、企業數位助理(enterprise digital assistant，EDA)、數位靜物相機、數位視訊相機、可攜式多媒體播放機(portable multimedia player，PMP)、個人導航裝置或可攜式導航裝置(personal navigation device/portable navigation device，PND)、手持式遊戲機、行動網際網路裝置(mobile internet device，MID)、穿戴式電腦、物聯網(internet of things，IoT)裝置、萬物聯網(internet of everything，IoE)裝置、或電子書(e-book)。
資料處理裝置200可包括中央處理單元(central processing unit，CPU)220、感測器230、相機介面240、數據機(modem)250、使用者介面260、記憶體270、及顯示控制器280。
當記憶體270是由靜態隨機存取記憶體(static random access memory，SRAM)形成時，包括記憶體270的資料處理裝置200可實作為積體電路(integrated circuit，IC)、母板、應用處理器(application processor，AP)、行動應用處理器、或單晶片系統(system on chip，SoC)。當記憶體270是由動態隨機存取記憶體(dynamic random access memory，DRAM)形成的且資料處理裝置200被實作為AP、行動AP、或SoC時，所述AP、行動AP、或SoC可不包括記憶體270。更確切而言，所述AP、行動AP、或SoC可封裝於第一封裝中，而記憶體270可封裝於第二封裝中。所述第二封裝可堆疊於所述第一封裝上。所述第一封裝及所述第二封裝可實作為堆疊式封裝(package on package，PoP)、封裝系統(system on package，SoP)、或系統級封裝(system in package，SiP)，但本發明概念並非僅限於該等實例。
CPU 220可用以經由匯流排架構210來控制感測器230、相機介面240、數據機250、使用者介面260、記憶體270、及顯示控制器280的運作。匯流排架構210可為高級微控制器匯流排架構(advanced microcontroller bus architecture，AMBA)、高級可擴展介面(advanced extensible interface，AXI)、高級周邊匯流排(advanced peripheral bus，APB)、或高級高效能匯流排(advanced high-performance bus，AHB)，但本發明概念並非僅限於此。
根據各種實施例，CPU 220用以產生表示儲存於記憶體270中的影像的大小的第一資訊以及表示所述影像是否旋轉的第 二資訊。CPU 220經由匯流排架構210將所述第一資訊及所述第二資訊傳送至例如在顯示控制器280中實作的影像處理電路290。應注意，本發明揭露內容中的影像或影像資料可指代例如靜止影像、移動影像、或立體影像。
感測器230用以偵測資料處理系統100或資料處理裝置200的旋轉方向及/或旋轉角度，並產生對應於偵測結果的偵測訊號DET。舉例而言，CPU 220可基於偵測訊號DET而產生第二資訊。
相機介面240用以處理自相機201傳送的影像並輸出經處理影像。舉例而言，相機介面240可支援行動行業處理器介面(MIPI®)相機串列介面(camera serial interface，CSI)，但本發明概念並非僅限於此實例。根據至少一個示例性實施例，相機介面240可實作為影像訊號處理器(image signal processor，ISP)。相機210可實作為互補性金屬氧化物半導體(complementary metal-oxide-semiconductor，CMOS)影像感測器。
數據機250用以經由匯流排架構210而將經由有線或無線網路接收的影像儲存於記憶體270中。舉例而言，無線網路可為無線網際網路或Wi-Fi，但無線網路的類型並非僅限於此。
使用者介面260用以處理由資料處理系統100的使用者所參與的使用者輸入，並將經處理的使用者輸入傳送至匯流排架構210。舉例而言，使用者介面260可為可處理音訊訊號的介面、或可處理使用者的觸控輸入的介面，但使用者介面260並非僅限 於此。當使用者介面260為可處理觸控輸入的介面(例如，觸控螢幕或觸控螢幕控制器)時，使用者介面260可處理藉由顯示器203輸入的觸控輸入。
記憶體270可儲存經由相機介面240傳送的影像及/或經由數據機250傳送的影像。數據機250及記憶體270可發揮影像源的作用。
記憶體270可由揮發性記憶體及/或非揮發性記憶體形成。揮發性記憶體可為隨機存取記憶體(RAM)、SRAM、或DRAM。非揮發性記憶體可為硬碟驅動機(hard disk drive，HDD)、反及(NAND)快閃記憶體、反或(NOR)快閃記憶體、相變隨機存取記憶體(phase-change RAM，PRAM)、磁阻隨機存取記憶體(magnetoresistive RAM，MRAM)、自旋轉移矩磁性隨機存取記憶體(spin-transfer torque magnetic RAM，STT-MRAM)、鐵電式隨機存取記憶體(ferroelectric RAM，FRAM)、或電阻式隨機存取記憶體(resistive RAM，RRAM)。儘管在圖1中所說明的實施例中說明瞭一個記憶體270，但記憶體270可表示一組記憶體(其可為不同種類的記憶體)，而此並不背離本發明教示內容的範圍。
顯示控制器280用以處理待被顯示於顯示器203上的影像，並在CPU 220的控制下將經處理影像傳送至顯示器203。舉例而言，顯示控制器280可利用MIPI®顯示器串列介面(display serial interface，DSI)、顯示埠(DisplayPort，DP)介面、或嵌入式顯示埠(embedded DisplayPort，eDP)介面而與顯示器203進 行資料通訊。
顯示控制器280可包括影像處理電路290，影像處理電路290將儲存於記憶體270中的影像(或影像資料)劃分成影像段(或經劃分影像)，且並列地或同時地即時處理所述影像段。在各種實施例中，顯示控制器280可將儲存於記憶體270中的影像(或影像資料)劃分成影像段，且基於根據資料處理裝置200的運作所產生的熱量(例如，自資料處理裝置200中所包括的至少一個溫度感測器(圖中未示出)輸出的偵測訊號)而並列地即時處理所述影像段。
影像處理電路290包含N個管線(其中N是至少為2的自然數)以及賦能控制電路。所述賦能電路接收第一資訊及第二資訊，並基於所述第一資訊及所述第二資訊來賦能所述N個管線中的M個管線(其中2
Figure 104129085-A0305-02-0018-15
M
Figure 104129085-A0305-02-0018-16
N)，所述第一資訊表示儲存於記憶體270中的影像的大小，所述第二資訊表示所述影像是否旋轉。所述被賦能的M個管線可將所述影像劃分成M個影像段且可並列地即時處理所述M個影像段。
儘管在圖1中所說明的實施例中影像處理電路290實作於顯示控制器280內，但在其他實施例中影像處理電路290可實作於顯示控制器280外。換言之，影像處理電路290可實作於資料處理裝置200中的任何地方及/或可實作為獨立的周邊電路或晶片。
舉例而言，顯示器203可實作為平板顯示器。舉例而言， 平板顯示器可為薄膜電晶體-液晶顯示器(thin film transistor-liquid crystal display，TFT-LCD)、發光二極體(light emitting diode，LED)顯示器、有機發光二極體(organic LED，OLED)顯示器、主動矩陣有機發光二極體(active-matrix OLED，AMOLED)顯示器、撓性顯示器、雙面顯示器、或透明顯示器。
圖2是圖1中所說明的影像處理電路290的實例(表示為影像處理電路290A)的方塊圖。參照圖2，影像處理電路290A包括N個管線291-1至291-N(其中N是至少為2的自然數)、賦能控制電路292、以及混合器(blender)299A。混合器299A可被稱為混合機(mixer)。如上所述，影像處理電路290A是影像處理電路290的實例。
當所述N個管線291-1至291-N被賦能時，所述N個管線291-1至291-N可並列地即時處理影像段。
賦能控制電路292接收表示儲存於記憶體270中的影像的大小的第一資訊INT1、以及表示所述影像是否旋轉的第二資訊INT2。賦能控制電路292基於第一資訊INT1及第二資訊INT2來選擇性地賦能N個管線291-1至291-N中的M個管線(其中2
Figure 104129085-A0305-02-0019-17
M
Figure 104129085-A0305-02-0019-18
N)。
根據各種實施例，賦能控制電路292可為暫存器(例如，特殊功能暫存器(special function register，SFR))，但賦能控制電路292並非僅限於此。賦能控制電路292基於自CPU 220接收的第一資訊INT1及第二資訊INT2而產生賦能訊號EN，並將賦能訊 號EN傳送至N個管線291-1至291-N。
在產生賦能訊號EN時，賦能控制電路292亦可使用關於圖4中所說明的比例換算器行記憶體322的寬度(或大小)的資訊、以及第一資訊INT1及第二資訊INT2。關於比例換算器行記憶體322的寬度(或大小)的資訊可設定於賦能控制電路292中。
舉例而言，賦能訊號EN可包括多個位元。N個管線291-1至291-N中的每一者可因應於所述位元被賦能或去能。賦能訊號EN亦可包括對應於第二資訊INT2的至少一個位元。
儲存於記憶體270中的影像的大小可根據所述影像的寬度或高度而被確定。舉例而言，當所述影像是由3480*2160界定的4K超高解析度(UHD)影像時，所述4K UHD影像的寬度可為3480，且所述影像的高度可為2160。換言之，所述4K UHD影像可為3480畫素寬乘2160畫素高的8.3百萬畫素影像。此處，畫素指代可以多個位元表示的畫素資料。舉例而言，可以RGB資料格式、YUV資料格式、或YCbCr資料格式來表示畫素資料，但本發明概念並非僅限於該等實例。
在所繪示的實施例中，第一管線291-1包括第一直接記憶體存取(DMA)控制器293-1、第一比例換算器295-1、及第一修剪電路297-1。在被賦能時，第一DMA控制器293-1可提取或讀取儲存於記憶體270中的影像的第一影像段，且可將所述第一影像段輸出至第一比例換算器295-1。第一DMA控制器293-1可 因應於表示影像是否旋轉的至少一個位元而確定自記憶體270提取影像的次序，且可根據所確定的次序來提取影像的一部分。
圖3是根據本發明概念的實施例，圖2中所說明的DMA控制器293-1的方塊圖。由於DMA控制器293-1至293-N的結構及運作實質上相同或類似，故將僅參照圖2及圖3闡述第一DMA控制器293-1的結構及運作。
在所繪示的實施例中，第一DMA控制器293-1包括SFR 310、讀/寫控制電路311、DMA行記憶體312、及讀取控制電路314。SFR 310可接收並儲存包括表示賦能或去能的至少一個位元及表示影像是否旋轉的至少一個位元的賦能訊號EN。舉例而言，賦能控制電路292及SFR 310可實作於單個暫存器中。
在被賦能時，讀/寫控制電路311可基於設定於SFR 310中的至少一個位元而產生用於讀取儲存於記憶體270中的影像的一部分(例如，第一影像段)的位址，可利用所產生的位址來讀取所述第一影像段，且可將已被讀取的第一影像段(例如，未經旋轉的第一影像段或經旋轉的第一影像段)寫入DMA行記憶體312中。
在影像未被旋轉時由讀/寫控制電路311產生的位址的順序(或次序)可不同於在影像被旋轉時由讀/寫控制電路311產生的位址的順序(或次序)。舉例而言，DMA行記憶體312可由具有預定寬度的SRAM形成，但本發明概念並非僅限於此實例。當DMA行記憶體312的大小為2048*1024時，舉例而言，寬度可 為2048畫素寬。
讀取控制電路314可基於設定於SFR 310中的至少一個位元來讀取儲存於DMA行記憶體312中的第一影像段(例如，未經旋轉的第一影像段或經旋轉的第一影像段)，並可將已被讀取的第一影像段傳送至第一比例換算器295-1。
在被賦能時，第一比例換算器295-1可對由第一DMA控制器293-1提取的第一影像段進行垂直及水平比例換算(例如，按比例放大或按比例縮小)。第一比例換算器295-1可將經垂直及水平比例換算的第一影像段輸出至第一修剪電路297-1。
圖4是根據本發明概念的實施例，圖2中所說明的比例換算器295-1的方塊圖。由於比例換算器295-1至295-N的結構及運作實質上相同或類似，故將僅參照圖2及圖4闡述第一比例換算器295-1的結構及運作。第一比例換算器295-1包括垂直比例換算器(vertical scaler)320、比例換算器行記憶體322、及水平比例換算器(horizontal scaler)324。
垂直比例換算器320可接收自第一DMA控制器293-1輸出的第一影像段(例如，未經旋轉的第一影像段或經旋轉的第一影像段)，並可將所述第一影像段儲存於比例換算器行記憶體322中。舉例而言，比例換算器行記憶體322可由具有預定寬度的SRAM形成。當比例換算器行記憶體322的大小為2048*1024時，舉例而言，寬度可為2048畫素寬。
垂直比例換算器320可以多條線為單位自比例換算器行 記憶體322讀取第一影像段，可根據垂直比例換算比率而對每一單位的所述多條線進行垂直比例換算(例如，按比例放大或按比例縮小)，且可將經垂直比例換算的第一影像段輸出至水平比例換算器324。舉例而言，垂直比例換算器320可包括儲存垂直比例換算比率的暫存器。
水平比例換算器324可根據水平比例換算比率而對經垂直比例換算的第一影像段進行水平比例換算(例如，按比例放大或按比例縮小)，且可將經水平比例換算的第一影像段傳送至第一修剪電路297-1。舉例而言，水平比例換算器324可包括儲存水平比例換算比率的暫存器。
作為另一選擇，第一比例換算器295-1可根據水平比例換算比率而對自第一DMA控制器293-1輸出的第一影像段(例如，未經旋轉的第一影像段或經旋轉的第一影像段)進行水平比例換算，並可將經水平比例換算的第一影像段輸出至垂直比例換算器320。
在此種情形中，垂直比例換算器320可將經水平比例換算的第一影像段儲存於比例換算器行記憶體322中，可以多條線為單位自比例換算器行記憶體322讀取第一影像段，可根據垂直比例換算比率對每一單位的所述多條線進行垂直比例換算，且可將經垂直比例換算的第一影像段傳送至第一修剪電路297-1。
換言之，第一比例換算器295-1可首先對第一影像段或第一影像段中所包括的畫素進行水平或垂直比例換算。比例換算 器行記憶體322的寬度可被用作劃分儲存於記憶體270中的影像時所使用的因數。
在被賦能時，第一修剪電路297-1可對已由第一比例換算器295-1比例換算的影像段進行修剪。此處，「修剪」指代將經比例換算的影像段剪短。
圖5A及圖5B是根據本發明概念的實施例，用於解釋一種利用圖2中所說明的影像處理電路290A來處理未經旋轉的影像(或未正在旋轉的影像)的方法的概念圖。出於說明目的，假定儲存於記憶體270中的影像IM是4K UHD影像(具有3480*2160的解析度)、比例換算器行記憶體322的最大寬度是2048、且影像IM未旋轉。在此種情形中，感測器230可產生表示資料處理系統100未旋轉的偵測訊號DET。
CPU 220產生表示儲存於記憶體270中的影像IM的大小(例如，3480*2160)的第一資訊INT1及表示影像IM未旋轉的第二資訊INT2。CPU 220將第一資訊INT1及第二資訊INT2傳送至賦能控制電路292。
賦能控制電路292基於第一資訊INT1及第二資訊INT2而將用於賦能N個管線291-1至291-N(例如，N=8)中的M(例如，2)個管線291-1及291-2的賦能訊號EN輸出至所述八個管線291-1至291-N。
此時，賦能控制電路292可將所述4K UHD影像的寬度(例如，3840)除以比例換算器行記憶體322的最大寬度(例如， 2048)，並可根據除法結果(例如，2)而產生用於賦能八個管線291-1至291-8中的兩個管線291-1及291-2的賦能訊號EN。賦能訊號EN包括表示影像IM未旋轉的至少一個位元。
如圖5A所示，第一DMA控制器293-1提取影像IM的第一影像段DIM1。第二DMA控制器293-2與第一DMA控制器293-1的運作並列地或同時地提取影像IM的第二影像段DIM2。
換言之，整個影像IM中的具體畫素被DMA控制器293-1及293-2中的每一者提取或讀取，以使得可產生影像段。因此，影像段並不表示原始被分段的影像，而是表示與根據提取或讀取操作而界定的影像IM的具體區域對應的影像。每一影像段包括多個畫素。
在圖5A及圖5B中，參考字符W表示影像IM的寬度(例如，3840)，參考字符H表示影像IM的高度(例如，2160)，參考字符LMW表示比例換算器行記憶體322的最大寬度(例如，2048)，且參考字符W1及W2表示影像IM的寬度(例如，3840)的一半(例如，1920)。此外，參考字符SR1表示將被第一修剪電路297-1修剪掉的部分，且參考字符SR2表示將被第二修剪電路297-2修剪掉的部分。例如寬度3840、高度2160、最大寬度2048、及寬度的一半1920等各種數目是為說明的清晰起見提供的實例。
可考量寬度的一半W1(例如，1920)而將被修剪部分SR1的寬度確定為位於比例換算器行記憶體322的最大寬度(例如，2048)以內。可考量寬度的一半W2(例如，1920)而將被修 剪部分SR2的寬度確定為位於比例換算器行記憶體322的最大寬度(例如，2048)以內。換言之，被修剪部分SR1及SR2的最大值可為128(即，2048與1920之間的差)。例如寬度3840、高度2160、寬度的一半1920、及被修剪部分128等數目可為畫素的數目。
舉例而言，當期望參照第1919個畫素及第1921個畫素來處理第一影像段DIM1中的第1920個畫素、而包括於被修剪部分SR1中的第1921個畫素未被參照時，可能無法恰當地執行對第1920個畫素的影像處理(例如，內插(interpolation))。為此，在本發明概念的實施例中，第一DMA控制器293-1可提取包括寬度的一半W1及被修剪部分SR1的第一影像段DIM1。
此外，當期望參照第1920個畫素及第1922個畫素來處理第二影像段DIM2中的第1921個畫素、而包括於被修剪部分SR2中的第1920個畫素未被參照時，可能無法恰當地執行對第1921個畫素的影像處理(例如，內插)。為此，在本發明概念的實施例中，第二DMA控制器293-2可提取包括被修剪部分SR2及寬度的一半W2的第二影像段DIM2。
第一DMA控制器293-1自記憶體270提取未被施加旋轉的包括對應於寬度的一半W1的畫素及對應於被修剪部分SR1的畫素的第一影像段DIM1，並將第一影像段DIM1傳送至第一比例換算器295-1。第二DMA控制器293-2與第一DMA控制器293-1的運作並列地自記憶體270提取未被施加旋轉的包括對應於被修 剪部分SR2的畫素及對應於寬度的一半W2的畫素的第二影像段DIM2，並將第二影像段DIM2傳送至第二比例換算器295-2。
第一比例換算器295-1可對未被施加旋轉的第一影像段DIM1進行垂直比例換算然後進行水平比例換算，並可將經垂直及水平比例換算的影像段傳送至第一修剪電路297-1。第二比例換算器295-2可與第一比例換算器295-1的運作並列地對未被施加旋轉的第二影像段DIM2進行垂直比例換算然後進行水平比例換算，並可將經垂直及水平比例換算的影像段傳送至第二修剪電路297-2。
作為另一選擇，第一比例換算器295-1可對未被施加旋轉的第一影像段DIM1進行水平比例換算然後進行垂直比例換算，並可將經水平及垂直比例換算的影像段傳送至第一修剪電路297-1。第二比例換算器295-2可與第一比例換算器295-1的運作並列地對未被施加旋轉的第二影像段DIM2進行水平比例換算然後進行垂直比例換算，並可將經水平及垂直比例換算的影像段傳送至第二修剪電路297-2。
如圖5B所示，第一修剪電路297-1自經比例換算的影像段修剪掉對應於被修剪部分SR1的經比例換算的畫素，所述經比例換算的影像段是自第一比例換算器295-1輸出的且包括對應於寬度的一半W1的經比例換算的畫素及對應於被修剪部分SR1的經比例換算的畫素。第一修剪電路297-1將僅包括對應於寬度的一半W1的經比例換算的畫素的影像段DIM1’輸出至混合器 299A中所包括的合併器299-1。
第二修剪電路297-2與第一修剪電路297-1的運作並列地自經比例換算的影像段修剪掉對應於被修剪部分SR2的經比例換算的畫素，所述經比例換算的影像段是自第二比例換算器295-2輸出的且包括對應於寬度的一半W2的經比例換算的畫素及對應於被修剪部分SR2的經比例換算的畫素。第二修剪電路297-2將僅包括對應於寬度的一半W2的經比例換算的畫素的影像段DIM2’輸出至混合器299A中所包括的合併器299-1。
合併器299-1將自第一修剪電路297-1輸出的影像段DIM1’與自第二修剪電路297-2輸出的影像段DIM2’進行合併以產生經合併影像IM’。W1與W1’可彼此相同或不同。W2與W2’可彼此相同或不同。
圖6A至圖6C是根據本發明概念的實施例，用於解釋一種利用圖2中所說明的影像處理電路290A來處理經旋轉的影像(或正在旋轉的影像)的方法的概念圖。假定儲存於記憶體270中的影像IM是4K UHD影像(具有3480*2160的解析度)、比例換算器行記憶體322的最大寬度是2048、且影像IM旋轉。在此實例中，感測器230產生表示資料處理系統100順時針旋轉90度從而導致對應的影像旋轉的偵測訊號DET。
CPU 220產生表示儲存於記憶體270中的影像IM的大小(例如，3480*2160)的第一資訊INT1及表示影像IM旋轉的第二資訊INT2。CPU 220將第一資訊INT1及第二資訊INT2傳送至 賦能控制電路292。
賦能控制電路292基於第一資訊INT1及第二資訊INT2而將用於賦能N個管線291-1至291-N(例如，N=8)中的M(例如，2)個管線291-1及291-2的賦能訊號EN輸出至所述八個管線291-1至291-N。
此時，賦能控制電路292可因應於表示影像IM的旋轉的第二資訊INT2而將所述4K UHD影像的高度(例如，2160)除以比例換算器行記憶體322的最大寬度(例如，2048)，並可根據除法結果(例如，2)而產生用於賦能八個管線291-1至291-8中的兩個管線291-1及291-2的賦能訊號EN。賦能訊號EN包括表示影像IM旋轉的至少一個位元。
如圖6A及圖6B所示，參考字符IM表示未經旋轉的影像，且參考字符RIM表示經旋轉的影像(例如，影像IM旋轉90度)。此處，經旋轉的影像RIM可不表示儲存於記憶體270中的影像IM被實際上物理旋轉，而是可表示根據DMA控制器293-1及293-2提取畫素的提取次序而形成的影像。
如圖6B所示，第一DMA控制器293-1可根據提取次序來提取影像RIM的第一影像段DIM3中所包括的畫素。第二DMA控制器293-2可與第一DMA控制器293-1的運作並列地或同時地根據提取次序來提取影像RIM的第二影像段DIM4中所包括的畫素。
在圖6A至圖6C中，參考字符W表示影像IM的寬度 (例如，3840)，參考字符H表示影像IM的高度(例如，2160)，參考字符LMW表示比例換算器行記憶體322的最大寬度(例如，2048)，參考字符H1及H2表示影像IM的高度(例如，2160)的一半(例如，1080)，參考字符SR1’表示將被第一修剪電路297-1修剪掉的部分，且參考字符SR2’表示將被第二修剪電路297-2修剪掉的部分。當影像IM被旋轉時，高度的一半H1與H2的和對應於經旋轉的影像RIM的寬度。
可考量高度的一半H1而將被修剪部分SR1’的寬度確定為位於比例換算器行記憶體322的最大寬度(例如，2048)以內。可考量高度的一半H2而將被修剪部分SR2’的寬度確定為位於比例換算器行記憶體322的最大寬度(例如，2048)以內。換言之，被修剪部分SR1’及SR2’的最大值可為968(即，2048與1080之間的差)。例如寬度3840、高度2160、高度的一半1080、被修剪部分968等數目可為畫素的數目。
舉例而言，當期望參照第1079個畫素及第1081個畫素來處理第一影像段DIM3中的第1080個畫素、而包括於被修剪部分SR1’中的第1081個畫素未被參照時，可能無法恰當地執行對第1080個畫素的影像處理(例如，內插)。為此，在本發明概念的實施例中，第一DMA控制器293-1可提取包括高度的一半H1及被修剪部分SR1’的第一影像段DIM3。
此外，當期望參照第1080個畫素及第1082個畫素來處理第二影像段DIM4中的第1081個畫素、而包括於被修剪部分 SR2’中的第1080個畫素未被參照時，可能無法恰當地執行對第1081個畫素的影像處理(例如，內插)。為此，在本發明概念的實施例中，第二DMA控制器293-2可提取包括高度的一半H2及被修剪部分SR2’的第二影像段DIM4。
第一DMA控制器293-1自記憶體270提取被施加旋轉的包括對應於高度的一半H1的畫素及對應於被修剪部分SR1’的畫素的第一影像段DIM3，並將第一影像段DIM3傳送至第一比例換算器295-1。第二DMA控制器293-2與第一DMA控制器293-1的運作並列地自記憶體270提取被施加旋轉的包括對應於被修剪部分SR2’的畫素及對應於高度的一半H2的畫素的第二影像段DIM4，並將第二影像段DIM4傳送至第二比例換算器295-2。
第一比例換算器295-1可對第一影像段DIM3進行垂直比例換算然後進行水平比例換算，並可將經垂直及水平比例換算的影像段傳送至第一修剪電路297-1。第二比例換算器295-2可與第一比例換算器295-1的運作並列地對第二影像段DIM4進行垂直比例換算然後進行水平比例換算，並可將經垂直及水平比例換算的影像段傳送至第二修剪電路297-2。
作為另一選擇，第一比例換算器295-1可對第一影像段DIM3進行水平比例換算然後進行垂直比例換算，並可將經水平及垂直比例換算的影像段傳送至第一修剪電路297-1。第二比例換算器295-2可與第一比例換算器295-1的運作並列地對第二影像段DIM4進行水平比例換算然後進行垂直比例換算，並可將經水平及 垂直比例換算的影像段傳送至第二修剪電路297-2。
如圖6C所示，第一修剪電路297-1自經比例換算的影像段修剪掉對應於被修剪部分SR1’的經比例換算的畫素，所述經比例換算的影像段是自第一比例換算器295-1輸出的且包括分別對應於高度的一半H1及被修剪部分SR1’的經比例換算的畫素。第一修剪電路297-1將僅包括對應於高度的一半H1的經比例換算的畫素的影像段DIM3’輸出至混合器299A中所包括的合併器299-1。
第二修剪電路297-2與第一修剪電路297-1的運作並列地自經比例換算的影像段修剪掉對應於被修剪部分SR2’的經比例換算的畫素，所述經比例換算的影像段是自第二比例換算器295-2輸出的且包括分別對應於高度的一半H2及被修剪部分SR2’的經比例換算的畫素。第二修剪電路297-2將僅包括對應於高度的一半H2的經比例換算的畫素的影像段DIM4’輸出至混合器299A中所包括的合併器299-1。
合併器299-1將自第一修剪電路297-1輸出的影像段DIM3’與自第二修剪電路297-2輸出的影像段DIM4’進行合併以產生(經旋轉的)合併影像RIM’。H1與H1’可彼此相同或不同。H2與H2’可彼此相同或不同。
圖7是根據本發明概念的實施例，用於解釋圖2中所說明的影像處理電路290A的運作的概念圖。參照圖1、圖2、及圖7，假定儲存於記憶體270中的影像IM是4K UHD影像(具有 3480*2160的解析度)、比例換算器行記憶體322的最大寬度是2048、比例換算器行記憶體322的高度是360、且影像IM未旋轉。此時，感測器230可產生表示資料處理系統100未旋轉的偵測訊號DET。
CPU 220產生表示儲存於記憶體270中的影像IM的大小(例如，3480*2160)的第一資訊INT1及表示影像IM未旋轉的第二資訊INT2，並將第一資訊INT1及第二資訊INT2傳送至賦能控制電路292。
賦能控制電路292基於第一資訊INT1及第二資訊INT2而將用於賦能N個管線291-1至291-N(例如，N=8)中的M(例如，M=6)個管線291-1至291-6的賦能訊號EN輸出至所述八個管線291-1至291-8。
此時，賦能控制電路292可將所述4K UHD影像的寬度(例如，3840)除以比例換算器行記憶體322的最大寬度(例如，2048)，可將所述4K UHD影像的高度(例如，2160)除以比例換算器行記憶體322的高度(例如，360)，並根據除法結果的乘積(即，2*3=6)而產生用於賦能八個管線291-1至291-8中的六個管線291-1至291-6的賦能訊號EN。賦能訊號EN包括表示影像IM未旋轉的至少一個位元。
如圖7A及圖7B所示，第一DMA控制器293-1可提取影像IM的第一影像段IM1。第二DMA控制器293-2可提取影像IM的第二影像段IM2。第三DMA控制器293-3可提取影像IM的 第三影像段IM3。第四DMA控制器293-4可提取影像IM的第四影像段IM4。第五DMA控制器293-5可提取影像IM的第五影像段IM5。第六DMA控制器293-6可提取影像IM的第六影像段IM6。
如以上參照圖3所闡述，六個被賦能的DMA控制器293-1至293-6每一者中所包括的讀/寫控制電路311可計算影像段IM1至IM6中的對應一個影像段的開始位址，且可提取儲存於與所述開始位址對應的記憶體區域中的畫素。因此，單個影像IM藉由六個被賦能的DMA控制器293-1至293-6而被劃分成六個影像段IM1至IM6，且所述六個影像段IM1至IM6可利用六個管線291-1至291-6而被並列地即時處理。
由包括於每一被賦能的管線中的DMA控制器提取的段的資料藉由各自的比例換算器而被垂直及水平比例換算。
如圖7C所示，包括於每一被賦能的管線中的修剪電路對自比例換算器輸出的經比例換算的影像段進行修剪，並輸出各經修剪的影像段IM1’至IM6’中的一者。如圖7D所示，合併器299-1將經修剪的影像段IM1’至IM6’合併成經合併的影像並輸出所述經合併的影像。
圖8是圖1中所說明的影像處理電路290的實例(表示為影像處理電路290B)的方塊圖。參照圖8，影像處理電路290B包括N個管線330-1至330-N、賦能控制電路292、以及混合器(或混合機)299B。
DMA控制器293-1至293-2N的結構及運作實質上相同 或類似。此外，DMA控制器293-1至293-2N的結構及運作實質上相同或類似於參照圖2及圖3闡述的DMA控制器293-1的結構及運作。
第一管線330-1可包括兩個DMA控制器293-1及293-2、兩個修剪電路297-1及297-2、一個合併器340-1、以及一個比例換算器295-1。當包括於DMA控制器293-1及293-2的每一者中的DMA行記憶體312具有寬度(或大小)A時，包括於比例換算器295-1中的比例換算器行記憶體322可具有寬度(或大小)2×A。
DMA控制器293-1及293-2中的每一者可提取儲存於記憶體270中的影像的一部分作為影像段，如以上參照圖5至圖7D所闡述。
修剪電路297-1及297-2可分別對分別自DMA控制器293-1及293-2輸出的影像段進行修剪，並可分別輸出經修剪的影像段，如以上參照圖5至圖7D所闡述。合併器340-1可將分別自修剪電路297-1及297-2輸出的經修剪的影像段合併成經合併的影像，並可將所述經合併的影像輸出至比例換算器295-1。
比例換算器295-1可對自合併器340-1輸出的經合併的影像進行垂直比例換算然後進行水平比例換算，並可將經垂直及水平比例換算的影像輸出至混合器299B。作為另一選擇，比例換算器295-1可對自合併器340-1輸出的經合併的影像進行水平比例換算然後進行垂直比例換算，並可將經水平及垂直比例換算的影 像輸出至混合器299B。
儘管在圖8中所說明的實施例中第一管線330-1包括兩個DMA控制器293-1及293-2、兩個修剪電路297-1及297-2、一個合併器340-1、以及一個比例換算器295-1，但在其他實施例中，第一管線330-1更一般而言可包括B(其中B是至少為2的自然數)個DMA控制器、B個修剪電路、一個合併器340-1、以及一個比例換算器295-1。當包括於B個DMA控制器的每一者中的DMA行記憶體312具有寬度(或大小)A時，包括於比例換算器295-1中的比例換算器行記憶體322可具有寬度(或大小)A×B。
第二管線330-2可包括兩個DMA控制器293-3及293-4、兩個修剪電路297-3及297-4、一個合併器340-2、以及一個比例換算器295-2。當包括於DMA控制器293-3及293-4的每一者中的DMA行記憶體312具有寬度(或大小)A時，包括於比例換算器295-2中的比例換算器行記憶體322可具有寬度(或大小)2×A。
DMA控制器293-3及293-4中的每一者可提取儲存於記憶體270中的影像的一部分作為影像段，如以上參照圖5至圖7D所闡述。
修剪電路297-3及297-4可分別對分別自DMA控制器293-3及293-4輸出的影像段進行修剪，並可分別輸出經修剪的影像段，如以上參照圖5至圖7D所闡述。合併器340-2可將分別自修剪電路297-3及297-4輸出的經修剪的影像段合併成經合併的影 像，並可將所述經合併的影像輸出至比例換算器295-2。
比例換算器295-2可對自合併器340-2輸出的經合併的影像進行垂直比例換算然後進行水平比例換算，並可將經垂直及水平比例換算的影像輸出至混合器299B。作為另一選擇，比例換算器295-2可對自合併器340-2輸出的經合併的影像進行水平比例換算然後進行垂直比例換算，並可將經水平及垂直比例換算的影像輸出至混合器299B。
儘管在圖8中所說明的實施例中第二管線330-2包括兩個DMA控制器293-3及293-4、兩個修剪電路297-3及297-4、一個合併器340-2、以及一個比例換算器295-2，但在其他實施例中，第二管線330-2可包括B(其中B是至少為3的自然數)個DMA控制器、B個修剪電路、一個合併器340-2、以及一個比例換算器295-2。當包括於B個DMA控制器的每一者中的DMA行記憶體312具有寬度(或大小)A時，包括於比例換算器295-2中的比例換算器行記憶體322可具有寬度(或大小)A×B。
第N管線330-N可包括兩個DMA控制器293-(2N-1)及293-2N、兩個修剪電路297-(2N-1)及297-2N、一個合併器340-N、以及一個比例換算器295-N。當包括於DMA控制器293-(2N-1)及293-2N的每一者中的DMA行記憶體312具有寬度(或大小)A時，包括於比例換算器295-N中的比例換算器行記憶體322可具有寬度(或大小)2×A。
DMA控制器293-(2N-1)及293-2N中的每一者可提取儲 存於記憶體270中的影像的一部分作為影像段，如以上參照圖5至圖7D所闡述。
修剪電路297-(2N-1)及297-2N可分別對分別自DMA控制器293-(2N-1)及293-2N輸出的影像段進行修剪，並可分別輸出經修剪的影像段，如以上參照圖5至圖7D所闡述。合併器340-N可將分別自修剪電路297-(2N-1)及297-2N輸出的經修剪的影像段合併成經合併的影像，並可將所述經合併的影像輸出至比例換算器295-N。
比例換算器295-N可對自合併器340-N輸出的經合併的影像進行垂直比例換算然後進行水平比例換算，並可將經垂直及水平比例換算的影像輸出至混合器299B。作為另一選擇，比例換算器295-N可對自合併器340-N輸出的經合併的影像進行水平比例換算然後進行垂直比例換算，並可將經水平及垂直比例換算的影像輸出至混合器299B。
儘管在圖8中所說明的實施例中第N管線330-N包括兩個DMA控制器293-(2N-1)及293-2N、兩個修剪電路297-(2N-1)及297-2N、一個合併器340-N、以及一個比例換算器295-N，但在其他實施例中，第N管線330-N可包括B(其中B是至少為3的自然數)個DMA控制器、B個修剪電路、一個合併器340-N、以及一個比例換算器295-N。當包括於B個DMA控制器的每一者中的DMA行記憶體312具有寬度(或大小)A時，包括於比例換算器295-N中的比例換算器行記憶體322可具有寬度(或大小) A×B。
在圖2中所說明的實施例中兩個管線291-1及291-2被賦能的情況下，在圖8中所說明的實施例中一個管線330-1將被賦能。此外，在圖2中所說明的實施例中六個管線被賦能的情況下，在圖8中所說明的實施例中三個管線將被賦能。
圖9是根據本發明概念的各種實施例，圖2中所說明的影像處理電路290A的運作的流程圖。將參照圖1至圖7D以及圖9詳細闡述影像處理電路290A的運作。
首先，感測器230偵測資料處理系統100或資料處理裝置200的旋轉方向及/或旋轉角度(若存在)，並產生偵測訊號DET。
CPU 220基於儲存於記憶體270中的影像的寬度及高度中的至少一者來確定所述影像的大小，並根據確定結果而產生第一資訊INT1。此外，CPU 220基於偵測訊號DET來確定資料處理系統100或資料處理裝置200的旋轉方向及/或旋轉角度，並根據確定結果而產生第二資訊INT2。
參照圖9，在操作S110中，賦能控制電路292基於第二資訊INT2來判斷影像是否旋轉。當在操作S110中影像未旋轉時(在「否」的情形中)，賦能控制電路292在操作S112中將影像的寬度與比例換算器行記憶體322的最大寬度MS進行比較。
當在操作S112中影像的寬度WIDTH等於或小於比例換算器行記憶體322的最大寬度MS時(在「否」的情形中)，影像處理電路290A可在操作S130中利用N個管線291-1至291-N中 的一個管線(例如，第一管線291-1)來處理所述影像。舉例而言，第一DMA控制器293-1自記憶體270提取影像並將所述影像傳送至比例換算器295-1。比例換算器295-1對所述影像進行垂直及水平比例換算，並將經垂直及水平比例換算的影像輸出至修剪電路297-1。修剪電路297-1在不執行修剪的情況下將經比例換算的影像輸出至混合器299A。在操作S130中，混合器299A將經比例換算的影像混合並輸出經混合的影像。
然而，當在操作S112中影像的寬度WIDTH大於比例換算器行記憶體322的最大寬度MS時(在「是」的情形中)，賦能控制電路292在操作S114中將影像的寬度WIDTH除以比例換算器行記憶體322的最大寬度MS並基於除法結果(例如，至少為2的自然數)而將賦能訊號EN輸出至N個管線291-1至291-N。賦能訊號EN賦能N個管線291-1至291-N中的M(2
Figure 104129085-A0305-02-0040-19
M
Figure 104129085-A0305-02-0040-20
N)個管線。所述除法結果可為較寬度WIDTH(3840)除以最大寬度MS(2048)的商(例如，3840/2048=1.875)大的自然數中的最小值(即，2)。
當M個管線被賦能時，在操作S116中對分別包括於所述M個管線中的M個DMA控制器賦能。在操作S116中，M個DMA控制器中的每一者可提取儲存於記憶體270中的影像中所包括的某些畫素作為影像段。如圖5A所示，由M個DMA控制器中的每一者提取的影像段可不被旋轉。
在操作S118中，分別包括於被賦能的M個管線中的M 個比例換算器中的每一者可對自M個DMA控制器中的對應一個DMA控制器輸出的影像段(或影像段中所包括的畫素)進行垂直及水平比例換算(例如，按比例放大或按比例縮小)。
在操作S120中，分別包括於被賦能的M個管線中的M個修剪電路分別對分別自M個比例換算器輸出的經比例換算的影像段執行修剪。在操作S122中，合併器299-1將分別自M個修剪電路輸出的經修剪的影像段合併成經合併影像。
當在操作S110中影像旋轉時(在「是」的情形中)，賦能控制電路292在操作S132中將影像的高度HEIGHT與比例換算器行記憶體322的最大寬度MS進行比較。當影像的高度HEIGHT等於或小於比例換算器行記憶體322的最大寬度MS時，影像處理電路290A可如上所述在操作S130中利用N個管線291-1至291-N中的一個管線(例如，第一管線291-1)來處理所述影像。
然而，當在操作S132中影像的高度HEIGHT大於比例換算器行記憶體322的最大寬度MS時(在「是」的情形中)，賦能控制電路292在操作S134中將影像的高度HEIGHT除以比例換算器行記憶體322的最大寬度MS並基於除法結果(例如，至少為2的自然數)而將用於賦能N個管線291-1至291-N中的M(2
Figure 104129085-A0305-02-0041-21
M
Figure 104129085-A0305-02-0041-22
N)個管線的賦能訊號EN輸出至所述N個管線291-1至291-N。
當M個管線被賦能時，在操作S116中對分別包括於所述M個管線中的M個DMA控制器賦能。在操作S116中，M個 DMA控制器中的每一者可提取儲存於記憶體270中的影像的影像段。如圖6B所示，由M個DMA控制器中的每一者提取的影像段已經過旋轉。
在操作S118中，分別包括於被賦能的M個管線中的M個比例換算器中的每一者可對自M個DMA控制器中的對應一個DMA控制器輸出的經旋轉的影像段進行垂直及水平比例換算。在操作S120中，分別包括於被賦能的M個管線中的M個修剪電路分別對分別自M個比例換算器輸出的經比例換算的影像段進行修剪。在操作S122中，混合器299-1將分別自M個修剪電路輸出的經修剪的影像段合併成經合併影像。
圖10是根據本發明概念的各種實施例，圖8中所說明的影像處理電路290B的運作的流程圖。將參照圖1、圖3至圖8、以及圖10詳細闡述影像處理電路290B的運作。
首先，感測器230偵測資料處理系統100或資料處理裝置200的旋轉方向及/或旋轉角度，並產生偵測訊號DET。CPU 220基於儲存於記憶體270中的影像的寬度及高度中的至少一者來確定所述影像的大小，並根據確定結果而產生第一資訊INT1。此外，CPU 220基於偵測訊號DET來確定資料處理系統100或資料處理裝置200的旋轉方向及/或旋轉角度，並根據確定結果而產生第二資訊INT2。
參照圖10，在操作S110中，賦能控制電路292基於第二資訊INT2來判斷影像是否旋轉。當在操作S110中影像未旋轉 時(在「否」的情形中)，賦能控制電路292在操作S112中將影像的寬度WIDTH與比例換算器行記憶體322的最大寬度MS進行比較。
當在操作S112中影像的寬度WIDTH等於或小於比例換算器行記憶體322的最大寬度MS時(在「否」的情形中)，影像處理電路290B可在操作S130中利用N個管線330-1至330-N中的一個管線(例如，第一管線330-1)來處理所述影像。
舉例而言，第一DMA控制器293-1自記憶體270提取影像並將所述影像傳送至修剪電路297-1。修剪電路297-1在不執行修剪的情況下將所述影像輸出至合併器340-1。合併器340-1將所述影像傳送至比例換算器295-1。比例換算器295-1對所述影像進行垂直及水平比例換算，並將經垂直及水平比例換算的影像輸出至混合器299B。在操作S130中，混合器299B將經比例換算的影像混合並輸出經混合的影像。
然而，當在操作S112中影像的寬度WIDTH大於比例換算器行記憶體322的最大寬度MS時(在「是」的情形中)，賦能控制電路292在操作S114中將所述影像的寬度除以比例換算器行記憶體322的最大寬度MS並基於除法結果(例如，至少為2的自然數)而將用於賦能N個管線330-1至330-N中的M/2(其中2
Figure 104129085-A0305-02-0043-23
M
Figure 104129085-A0305-02-0043-24
N且M及N為偶數)個管線的賦能訊號EN輸出至所述N個管線330-1至330-N。在M及/或N不為偶數的情況下，賦能訊號EN賦能N個管線330-1至330-N中的最小數目的管線以提供 M個DMA控制器及對應的修剪電路。舉例而言，若確定M為「3」，則M/2等於「1.5」，需要使N個管線330-1至330-N中的最少兩個管線被賦能以提供三個DMA控制器及對應的修剪電路。
當M/2個管線被賦能時，在操作S116中對包括於所述M/2個管線中的總共M個DMA控制器賦能。在操作S116中，M個DMA控制器中的每一者可提取儲存於記憶體270中的影像的影像段。如圖5A所示，由M個DMA控制器中的每一者提取的影像段未被旋轉。
在操作S210中，包括於被賦能的M/2個管線中的M個修剪電路分別對分別自M個DMA控制器輸出的影像段進行修剪。在操作S220中，M/2個合併器中的每一者將分別自M個修剪電路中的至少一者輸出的一或多個經修剪的影像段合併成經合併影像。在操作S230中，分別包括於被賦能的M/2個管線中的M/2個比例換算器中的每一者可對自M/2個合併器中的對應一個合併器輸出的經合併的影像進行垂直及水平比例換算。經比例換算的合併影像可藉由混合器299B而與來自其他被賦能的M/2個管線的一或多個經比例換算的合併影像(若存在)進行混合。
當在操作S110中影像旋轉時(在「是」的情形中)，賦能控制電路292在操作S132中將影像的高度HEIGHT與比例換算器行記憶體322的最大寬度MS進行比較。
當在操作S132中影像的高度HEIGHT等於或小於比例換算器行記憶體322的最大寬度MS時(在「否」的情形中)，影 像處理電路290B可在操作S130中利用N個管線330-1至330-N中的一個管線(例如，第一管線330-1)來處理所述影像。
然而，當在操作S132中影像的高度HEIGHT大於比例換算器行記憶體322的最大寬度MS時(在「是」的情形中)，賦能控制電路292在操作S134中將所述影像的高度除以比例換算器行記憶體322的最大寬度MS並基於除法結果(例如，至少為2的自然數)而將用於賦能N個管線330-1至330-N中的M/2(其中2
Figure 104129085-A0305-02-0045-25
M
Figure 104129085-A0305-02-0045-26
N)個管線的賦能訊號EN輸出至所述N個管線330-1至330-N。
當M/2個管線被賦能時，在操作S116中賦能包括於所述M/2個管線中的總共M個DMA控制器。在操作S116中，M個DMA控制器中的每一者提取儲存於記憶體270中的影像的影像段。如圖6B所示，由M個DMA控制器中的每一者提取的影像段已經過旋轉。
在操作S210中，包括於被賦能的M/2個管線中的M個修剪電路分別對分別自M個DMA控制器輸出的影像段進行修剪。在操作S220中，M/2個合併器中的每一者將分別自M個修剪電路中的至少一者輸出的一個或多個經修剪的影像段合併成經合併影像。在操作S230中，分別包括於被賦能的M/2個管線中的M/2個比例換算器中的每一者可對自M/2個合併器中的對應一個合併器輸出的經合併的影像進行垂直及水平比例換算。經比例換算的合併影像可藉由混合器299B而與來自其他被賦能的M/2個管 線的一個或多個經比例換算的合併影像(若存在)進行混合。
此處，影像段表示一或多個影像段，且M/2個管線表示一或多個管線。
舉例而言，當在圖8中所說明的實施例中利用三個DMA控制器293-1至293-3對儲存於記憶體270中的影像進行劃分並即時處理時，僅使用了兩個管線330-1及330-2中所包括的DMA控制器293-1至293-4中的三個DMA控制器293-1至293-3，而可能未使用剩餘的一個DMA控制器293-4。
如上所述，根據本發明概念的各種實施例，包括比例換算器的影像處理電路基於比例換算器中所包括的比例換算器行記憶體的寬度而將儲存於記憶體中的影像劃分成影像段，且並列地即時處理所述影像段。
儘管已參照各示例性實施例闡述了本發明概念，但熟習此項技術者將理解可在不背離本發明概念的精神及範圍的條件下作出各種變化及潤飾。因此應理解，上述實施例並非為限制性的而為說明性的。
S110、S112、S114、S116、S118、S120、S122、S130、S132、S134‧‧‧操作

Claims (25)

  1. 一種應用處理器，包括：影像處理電路，用以處理即時影像，所述影像處理電路包含：N個管線，其中N是至少為2的自然數；以及賦能控制電路，用以接收第一資訊及第二資訊，並用以基於所述第一資訊、所述第二資訊及比例換算器行記憶體的寬度來產生賦能訊號以賦能所述N個管線中的M個管線，所述第一資訊表示儲存於第一記憶體中的所述影像的大小，所述第二資訊表示所述影像是否旋轉，其中2
    Figure 104129085-A0305-02-0051-27
    M
    Figure 104129085-A0305-02-0051-28
    N，其中響應所述賦能訊號，所述被賦能的M個管線的每一者讀取儲存在所述第一記憶體中的所述影像的M個影像段中的對應影像段，其中所述被賦能的M個管線並列地處理所述M個影像段。
  2. 如申請專利範圍第1項所述的應用處理器，其中所述影像的大小包括所述影像的寬度與所述影像的高度中的至少一者。
  3. 如申請專利範圍第2項所述的應用處理器，其中所述賦能控制電路基於表示所述影像未旋轉的所述第二資訊、根據所述影像的所述寬度對所述比例換算器行記憶體的所述寬度的比率來產生所述賦能訊號，且其中所述賦能控制電路基於表示所述影像旋轉的所述第二資訊、根據所述影像的所述高度對所述比例換算器行記憶體的所述 寬度的比率來產生所述賦能訊號。
  4. 如申請專利範圍第3項所述的應用處理器，其中所述被賦能的M個管線中的每一者包括：直接記憶體存取控制器，用以自所述第一記憶體提取所述M個影像段中的對應一個影像段；比例換算器，用以對自所述直接記憶體存取控制器輸出的所述影像段進行垂直及水平比例換算，並輸出經垂直及水平比例換算的影像段；以及修剪電路，用以對自所述比例換算器輸出的所述經垂直及水平比例換算的影像段進行修剪並輸出經修剪影像段。
  5. 如申請專利範圍第4項所述的應用處理器，其中所述比例換算器行記憶體包括於所述比例換算器中。
  6. 如申請專利範圍第4項所述的應用處理器，其中所述直接記憶體存取控制器根據表示所述影像旋轉的所述第二資訊而輸出已經過旋轉的所述影像段。
  7. 如申請專利範圍第4項所述的應用處理器，其中所述影像處理電路更包括合併器，所述合併器用以對自分別包括於所述被賦能的M個管線中的所述修剪電路輸出的經修剪影像段進行合併。
  8. 如申請專利範圍第3項所述的應用處理器，其中所述被賦能的M個管線中的一者包括：直接記憶體存取控制器，各自用以自所述第一記憶體提取所 述M個影像段中的對應一個影像段；修剪電路，各自用以對分別自所述直接記憶體存取控制器輸出的所述影像段進行修剪並輸出經修剪的影像段；合併器，用以對分別自所述修剪電路輸出的經修剪影像段進行合併；以及比例換算器，用以對自所述合併器輸出的經合併影像進行垂直及水平比例換算。
  9. 如申請專利範圍第8項所述的應用處理器，其中所述比例換算器行記憶體包括於所述比例換算器中，且所述比例換算器行記憶體的所述寬度對應於分別包括於所述直接記憶體存取控制器中的各行記憶體的寬度之和。
  10. 一種單晶片系統，包括：影像處理電路，用以處理即時影像；以及中央處理單元，用以產生第一資訊及第二資訊，所述第一資訊表示儲存於記憶體中的所述影像的大小，所述第二資訊表示所述影像是否旋轉，其中所述影像處理電路包括：N個管線，其中N是至少為2的自然數；以及賦能控制電路，用以基於自所述中央處理單元輸出的所述第一資訊及所述第二資訊來賦能所述N個管線中的M個管線，其中2
    Figure 104129085-A0305-02-0053-29
    M
    Figure 104129085-A0305-02-0053-30
    N，其中所述被賦能的M個管線將所述影像劃分成M個影像段且 並列地處理所述M個影像段。
  11. 如申請專利範圍第10項所述的單晶片系統，其中所述影像的大小包括所述影像的寬度與所述影像的高度中的至少一者，且其中所述賦能控制電路基於表示所述影像未旋轉的所述第二資訊、根據所述影像的所述寬度對比例換算器行記憶體的寬度的比率來賦能所述M個管線，且所述賦能控制電路基於表示所述影像旋轉的所述第二資訊、根據所述影像的所述高度對所述比例換算器行記憶體的所述寬度的比率來賦能所述M個管線。
  12. 如申請專利範圍第11項所述的單晶片系統，其中所述被賦能的M個管線中的每一者包括：直接記憶體存取控制器，用以自所述記憶體提取所述M個影像段中的對應一個影像段；比例換算器，用以對自所述直接記憶體存取控制器輸出的所述影像段進行垂直及水平比例換算，並輸出經垂直及水平比例換算的影像段；以及修剪電路，用以對自所述比例換算器輸出的所述經垂直及水平比例換算的影像段進行修剪並輸出經修剪影像段。
  13. 如申請專利範圍第12項所述的單晶片系統，其中所述直接記憶體存取控制器根據表示所述影像旋轉的所述第二資訊而提取所述影像段以使所述影像段旋轉。
  14. 如申請專利範圍第12項所述的單晶片系統，其中所 述影像處理電路更包括合併器，所述合併器用以對自分別包括於所述被賦能的M個管線中的所述修剪電路輸出的經修剪影像段進行合併。
  15. 如申請專利範圍第11項所述的單晶片系統，其中所述被賦能的M個管線中的一者包括：直接記憶體存取控制器，各自用以自所述記憶體提取所述M個影像段中的對應一個影像段；修剪電路，各自用以對分別自所述直接記憶體存取控制器輸出的所述影像段進行修剪並輸出經修剪的影像段；合併器，用以對分別自所述修剪電路輸出的經修剪影像段進行合併；以及比例換算器，用以對自所述合併器輸出的經合併影像進行垂直及水平比例換算。
  16. 如申請專利範圍第15項所述的單晶片系統，其中所述比例換算器行記憶體包括於所述比例換算器中，且所述比例換算器行記憶體的所述寬度對應於分別包括於所述直接記憶體存取控制器中的各行記憶體的寬度之和。
  17. 一種行動計算裝置，包括：第一記憶體，用以儲存影像；影像處理電路，用以即時處理儲存於所述第一記憶體中的影像；感測器，用以偵測所述行動計算裝置的旋轉並輸出表示所述 所偵測旋轉的偵測訊號；以及中央處理單元，用以產生第一資訊及第二資訊，所述第一資訊表示儲存於所述第一記憶體中的所述影像的大小，所述第二資訊對應於所述偵測訊號，其中所述影像處理電路包括：N個管線，其中N是至少為2的自然數；以及賦能控制電路，用以基於由所述中央處理單元產生的所述第一資訊及所述第二資訊來產生賦能訊號以賦能所述N個管線中的M個管線，其中2
    Figure 104129085-A0305-02-0056-31
    M
    Figure 104129085-A0305-02-0056-32
    N，其中響應所述賦能訊號，所述被賦能的M個管線的每一者讀取儲存在所述第一記憶體中的所述影像的M個影像段中的對應影像段，其中所述被賦能的M個管線並列地處理所述M個影像段。
  18. 如申請專利範圍第17項所述的行動計算裝置，其中所述影像的大小包括所述影像的寬度與所述影像的高度中的至少一者，且其中所述賦能控制電路基於表示所述影像未旋轉的所述第二資訊、根據所述影像的所述寬度對所述比例換算器行記憶體的所述寬度的比率來產生所述賦能訊號，且所述賦能控制電路基於表示所述影像旋轉的所述第二資訊、根據所述影像的所述高度對所述比例換算器行記憶體的所述寬度的比率來產生所述賦能訊號。
  19. 如申請專利範圍第18項所述的行動計算裝置，其中 所述被賦能的M個管線中的每一者包括：直接記憶體存取控制器，用以自所述第一記憶體提取所述M個影像段中的對應一個影像段；比例換算器，包括所述比例換算器行記憶體，所述比例換算器用以對自所述直接記憶體存取控制器輸出的所述影像段進行垂直及水平比例換算，並輸出經垂直及水平比例換算的影像段；以及修剪電路，用以對自所述比例換算器輸出的所述經垂直及水平比例換算的影像段進行修剪並輸出經修剪影像段。
  20. 如申請專利範圍第19項所述的行動計算裝置，其中所述影像處理電路更包括合併器，所述合併器用以對自分別包括於所述被賦能的M個管線中的所述修剪電路輸出的經修剪影像段進行合併。
  21. 如申請專利範圍第18項所述的行動計算裝置，其中所述被賦能的M個管線中的一者包括：直接記憶體存取控制器，用以自所述第一記憶體提取對應的M個影像段；修剪電路，各自用以對分別自所述直接記憶體存取控制器輸出的所述影像段進行修剪並輸出經修剪的影像段；合併器，用以對分別自所述修剪電路輸出的經修剪影像段進行合併；以及比例換算器，用以對自所述合併器輸出的經合併影像進行垂 直及水平比例換算。
  22. 如申請專利範圍第21項所述的行動計算裝置，其中所述比例換算器行記憶體包括於所述比例換算器中，且所述比例換算器行記憶體的所述寬度對應於分別包括於所述直接記憶體存取控制器中的各行記憶體的寬度之和。
  23. 一種利用資料處理裝置中的影像處理電路來處理即時影像的方法，所述影像處理電路包括N個管線，所述管線中的每一者包括直接記憶體存取控制器、比例換算器及修剪電路，所述方法包括：接收表示所述影像的大小的第一資訊；接收表示所述影像是否旋轉的第二資訊；當所述影像旋轉時，判斷所述影像的高度是否大於所述N個管線的每一者中的所述比例換算器的比例換算器行記憶體的最大寬度；當所述影像的所述高度大於所述比例換算器行記憶體的所述最大寬度時，將所述影像的所述高度除以所述比例換算器行記憶體的所述最大寬度並基於除法結果而賦能所述N個管線中的M個管線，其中2
    Figure 104129085-A0305-02-0058-33
    M
    Figure 104129085-A0305-02-0058-34
    N；使用分別包括於所述被賦能的M個管線中的所述直接記憶體存取控制器來提取儲存於記憶體中的所述影像的影像段；使用分別包括於所述被賦能的M個管線中的所述比例換算器對所述被提取的影像段進行比例換算； 使用分別包括於所述被賦能的M個管線中的所述修剪電路來修剪所述經比例換算的影像段；以及將所述經修剪的影像段合併成經旋轉的合併影像。
  24. 如申請專利範圍第23項所述的利用資料處理裝置中的影像處理電路來處理即時影像的方法，其中所述第二資訊是基於由用於偵測所述資料處理裝置是否旋轉的感測器所產生的偵測訊號。
  25. 如申請專利範圍第23項所述的利用資料處理裝置中的影像處理電路來處理即時影像的方法，其中當所述影像的所述高度不大於所述比例換算器行記憶體的所述最大寬度時，所述方法更包括：基於所述除法結果來賦能所述N個管線中的一個管線；使用包括於所述被賦能管線中的所述直接記憶體存取控制器來提取儲存於所述記憶體中的所述影像；以及使用包括於所述被賦能的管線中的所述比例換算器對所述被提取影像進行比例換算。
TW104129085A 2014-10-31 2015-09-03 處理即時影像的影像處理電路與方法以及包含上述電路、方法的裝置 TWI712003B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0149744 2014-10-31
KR1020140149744A KR102254676B1 (ko) 2014-10-31 2014-10-31 이미지를 실시간으로 처리할 수 있는 이미지 처리 회로와 이를 포함하는 장치들

Publications (2)

Publication Number Publication Date
TW201616444A TW201616444A (zh) 2016-05-01
TWI712003B true TWI712003B (zh) 2020-12-01

Family

ID=55853190

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104129085A TWI712003B (zh) 2014-10-31 2015-09-03 處理即時影像的影像處理電路與方法以及包含上述電路、方法的裝置

Country Status (4)

Country Link
US (1) US9965825B2 (zh)
KR (1) KR102254676B1 (zh)
CN (1) CN105574804B (zh)
TW (1) TWI712003B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2544333B (en) * 2015-11-13 2018-02-21 Advanced Risc Mach Ltd Display controller
CN109196548B (zh) 2016-07-02 2023-09-01 英特尔公司 用于在高分辨率显示器上提供多个屏幕区域的机制
US10474408B2 (en) * 2017-09-07 2019-11-12 Apple Inc. Image data processing pipeline bypass systems and methods
CN107895389A (zh) * 2017-11-30 2018-04-10 广东欧珀移动通信有限公司 一种图片显示方法、装置、移动终端及存储介质
US20190139184A1 (en) * 2018-08-01 2019-05-09 Intel Corporation Scalable media architecture for video processing or coding
US11941783B2 (en) * 2020-08-28 2024-03-26 Apple Inc. Scaler de-ringing in image processing circuitry
KR20220033768A (ko) 2020-09-10 2022-03-17 부산대학교 산학협력단 7-메톡시-루테올린을 유효성분으로 함유하는 알러지성 피부질환 예방 또는 치료용 조성물

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120120256A1 (en) * 2010-11-12 2012-05-17 Qualcomm Incorporated Parallel image processing using multiple processors
US20120162262A1 (en) * 2010-12-27 2012-06-28 Kabushiki Kaisha Toshiba Information processor, information processing method, and computer program product
TWM461845U (zh) * 2013-02-08 2013-09-11 Nat Applied Res Laboratories 條狀影像分時並行壓縮之裝置
US20140253598A1 (en) * 2013-03-07 2014-09-11 Min Woo Song Generating scaled images simultaneously using an original image
TW201440521A (zh) * 2012-12-28 2014-10-16 Nvidia Corp 實施影像處理管線於高動態範圍影像的系統、方法，及電腦程式產品

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS518690B1 (zh) 1970-10-08 1976-03-19
JPH09223102A (ja) 1995-12-14 1997-08-26 Ricoh Co Ltd ダイレクトメモリアクセスコントローラ
US6260081B1 (en) 1998-11-24 2001-07-10 Advanced Micro Devices, Inc. Direct memory access engine for supporting multiple virtual direct memory access channels
DE69923219T2 (de) 1998-11-26 2005-12-29 Matsushita Electric Industrial Co., Ltd., Kadoma Bildverarbeitungsgerät
JP3258300B2 (ja) 1999-09-03 2002-02-18 松下電器産業株式会社 Ｄｍａ転送装置および画像復号装置
JP3781634B2 (ja) 2001-04-26 2006-05-31 シャープ株式会社 画像処理装置および画像処理方法並びに携帯用映像機器
JP2003256356A (ja) 2002-03-04 2003-09-12 Toshiba Corp Ｄｍａコントローラ
US6999105B2 (en) * 2003-12-04 2006-02-14 International Business Machines Corporation Image scaling employing horizontal partitioning
KR100617658B1 (ko) 2004-01-29 2006-08-28 엘지전자 주식회사 표시 데이터 출력 장치 및 방법
US7512287B2 (en) * 2005-07-25 2009-03-31 Seiko Epson Corporation Method and apparatus for efficient image rotation
JP4499008B2 (ja) 2005-09-15 2010-07-07 富士通マイクロエレクトロニクス株式会社 Ｄｍａ転送システム
JP5546593B2 (ja) * 2011-09-02 2014-07-09 キヤノン株式会社 画像表示装置及びその制御方法
US8687922B2 (en) * 2012-02-24 2014-04-01 Apple Inc. Parallel scaler processing
KR102091005B1 (ko) * 2013-06-17 2020-03-19 삼성전자주식회사 디스플레이 시스템 및 그 제어방법
KR102023501B1 (ko) * 2013-10-02 2019-09-20 삼성전자주식회사 설정가능한 이미지 처리 파이프라인을 포함하는 시스템 온 칩과, 상기 시스템 온 칩을 포함하는 시스템
KR102095272B1 (ko) * 2013-10-10 2020-04-01 삼성디스플레이 주식회사 표시 장치 및 그 구동 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120120256A1 (en) * 2010-11-12 2012-05-17 Qualcomm Incorporated Parallel image processing using multiple processors
US20120162262A1 (en) * 2010-12-27 2012-06-28 Kabushiki Kaisha Toshiba Information processor, information processing method, and computer program product
TW201440521A (zh) * 2012-12-28 2014-10-16 Nvidia Corp 實施影像處理管線於高動態範圍影像的系統、方法，及電腦程式產品
TWM461845U (zh) * 2013-02-08 2013-09-11 Nat Applied Res Laboratories 條狀影像分時並行壓縮之裝置
US20140253598A1 (en) * 2013-03-07 2014-09-11 Min Woo Song Generating scaled images simultaneously using an original image

Also Published As

Publication number Publication date
CN105574804A (zh) 2016-05-11
KR20160052002A (ko) 2016-05-12
US20160125567A1 (en) 2016-05-05
US9965825B2 (en) 2018-05-08
CN105574804B (zh) 2020-09-11
KR102254676B1 (ko) 2021-05-21
TW201616444A (zh) 2016-05-01

Similar Documents

Publication Publication Date Title
TWI712003B (zh) 處理即時影像的影像處理電路與方法以及包含上述電路、方法的裝置
US8797359B2 (en) Inline image rotation
JP6078173B2 (ja) アイドル状態の構成要素の電力を落とすことによるディスプレイパイプラインにおける電力節約方法及び機器
US9858635B2 (en) Application processor sharing resource based on image resolution and devices including same
US9811873B2 (en) Scaler circuit for generating various resolution images from single image and devices including the same
US11710213B2 (en) Application processor including reconfigurable scaler and devices including the processor
US20140253598A1 (en) Generating scaled images simultaneously using an original image
US10445851B2 (en) Image processing apparatus and method
JP2019521369A (ja) 高解像度ディスプレイ上に複数の画面領域を提供するためのメカニズム
US20120195503A1 (en) Image processing device
US10079004B2 (en) Display controller and display system including the same
US9558536B2 (en) Blur downscale
US9147237B2 (en) Image processing method and device for enhancing image quality using different coefficients according to regions