TWI772933B - 影像處理裝置及多畫面顯示的影像處理方法 - Google Patents

影像處理裝置及多畫面顯示的影像處理方法 Download PDF

Info

Publication number
TWI772933B
TWI772933B TW109136790A TW109136790A TWI772933B TW I772933 B TWI772933 B TW I772933B TW 109136790 A TW109136790 A TW 109136790A TW 109136790 A TW109136790 A TW 109136790A TW I772933 B TWI772933 B TW I772933B
Authority
TW
Taiwan
Prior art keywords
image
information
image information
bandwidth
packet
Prior art date
Application number
TW109136790A
Other languages
English (en)
Other versions
TW202218434A (zh
Inventor
陳奕任
Original Assignee
宏正自動科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏正自動科技股份有限公司 filed Critical 宏正自動科技股份有限公司
Priority to TW109136790A priority Critical patent/TWI772933B/zh
Priority to CN202011548881.2A priority patent/CN114500880A/zh
Priority to US17/383,452 priority patent/US11798518B2/en
Publication of TW202218434A publication Critical patent/TW202218434A/zh
Application granted granted Critical
Publication of TWI772933B publication Critical patent/TWI772933B/zh

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/373Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00Solving problems of bandwidth in display systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/12Frame memory handling
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/18Use of a frame buffer in a display terminal, inclusive of the display panel

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Endoscopes (AREA)
  • Digital Computer Display Output (AREA)

Abstract

一種影像處理裝置及多畫面顯示的影像處理方法。影像處理裝置包括影像處理電路、傳輸安排電路以及影像合併電路。影像處理電路以第一頻寬接收第一影像資訊,以第二頻寬接收第二影像資訊,對第一影像資訊以及第二影像資訊進行處理後產生第一影像資訊封包以及第二影像資訊封包,再傳送至傳輸安排電路。影像合併電路以第三頻寬從傳輸安排電路接收第一影像資訊封包以及第二影像資訊封包後還原成第一影像資訊以及第二影像資訊,並共同輸出至顯示器。當第一影像資訊以及第二影像資訊都為全螢幕模式時,第三頻寬小於第一頻寬以及第二頻寬的和。

Description

影像處理裝置及多畫面顯示的影像處理方法
本發明是有關於一種影像處理技術,且特別是有關於一種降低頻寬需求以達成多畫面顯示的影像處理裝置及影像處理方法。
現有的電視牆或多畫面顯示器,通常是從多個影像來源接收多個影像畫面,並將這些影像畫面以部分重疊或縮小顯示畫面等方式輸出至同一個螢幕上。特別是,因顯示畫面重疊而被遮蓋未顯示的影像部分仍然亦會占用硬體設備的記憶體與傳輸頻寬。例如,隨著影像來源的數量增加,硬體設備的頻寬需求便會成正比增長,並大幅度地占用硬體設備的運算資源,從而影響顯示影像的品質,無法將這些影像畫面都使用接近全螢幕的尺寸進行顯示。
有鑑於此,本發明提供一種影像處理裝置及多畫面顯示的影像處理方法,能夠降低硬體結構的成本,且在全螢幕情況下可以降低頻寬的需求。
本發明的影像處理裝置包括影像處理電路、傳輸安排電路以及影像合併電路。影像處理電路以第一頻寬接收第一影像資訊,以第二頻寬接收第二影像資訊,並對第一影像資訊以及第二影像資訊進行處理後產生第一影像資訊封包以及第二影像資訊封包。傳輸安排電路接收第一影像資訊封包以及第二影像資訊封包。影像合併電路以第三頻寬從傳輸安排電路接收第一影像資訊封包以及第二影像資訊封包,並將第一影像資訊封包以及第二影像資訊封包還原成第一影像資訊以及第二影像資訊,並將第一影像資訊以及第二影像資訊共同輸出至顯示器。其中當第一影像資訊以及第二影像資訊都為全螢幕模式時,第三頻寬小於第一頻寬以及第二頻寬的和。
本發明的多畫面顯示的影像處理方法,適用於包括影像合併電路的影像處理裝置以及顯示器,其包括下列步驟。以第一頻寬獲得第一影像資訊,以第二頻寬獲得第二影像資訊,並對第一影像資訊以及第二影像資訊進行處理後產生第一影像資訊封包以及第二影像資訊封包。以第三頻寬傳輸第一影像資訊封包以及第二影像資訊封包至影像合併電路。藉由影像合併電路以將第一影像資訊封包以及第二影像資訊封包還原成第一影像資訊以及第二影像資訊。共同輸出第一影像資訊以及第二影像資訊至顯示器。其中當第一影像資訊以及第二影像資訊都為全螢幕模式時,第三頻寬小於第一頻寬以及第二頻寬的和。
基於上述,本發明實施例所述的影像處理裝置及多畫面顯示的影像處理方法可以將多個影像來源進行處理,以減少因為顯示畫面重疊而被遮蔽的未顯示影像的資料量,讓這些未顯示影像不會佔用到硬體設備的傳輸頻寬。如此一來,可以在同時維持更新率且不影響顯示影像品質的前提下,不限制輸入影像的疊加數量與影像畫面的顯示大小,並且可將這些影像畫面都使用接近全螢幕的尺寸進行顯示,且不需要增加影像處理裝置處理及傳輸這些影像畫面的傳輸頻寬以及暫存空間,進而節省成本和降低硬體設計的複雜度。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
圖1是依照本發明的一實施例的影像處理裝置100的方塊圖。請參照圖1,影像處理裝置100主要包括影像處理電路110、傳輸安排電路120以及影像合併電路130。影像處理電路110、傳輸安排電路120以及影像合併電路130可以各自內建於或外接於影像處理裝置100之上,其連接方式可以為有線或無線傳輸,本發明不在此設限。換言之,影像處理裝置100可整合為單一設備而實現,以節省電路板的佈線面積且增加這些電路元件的工作效率。或者,影像處理裝置100可由多台相互連接的電子裝置來實現。顯示器140的種類可以是液晶顯示器(Liquid Crystal Display,LCD)、發光二極體(Light Emitting Diode,LED)顯示器、場發射顯示器(Field Emission Display,FED)、有機發光二極體(Organic Light Emitting Diode,OLED)或其他種類的顯示器。
影像處理電路110用以接收與處理多個影像來源,當多個影像來源在顯示器140的顯示畫面上互相層疊的時候,可以減少這些影像因為層疊而被遮蔽的影像像素的資料量,進而降低需要的傳輸頻寬。在本實施例及圖1中是以兩個影像來源做舉例,本發明具有通常技術人員可以依據設計需求增加影像來源。例如在圖2中是以四個影像來源做舉例,本發明實施例不在此設限。在本實施例中,影像處理電路110可以分別依據第一頻寬BW1來接收第一影像資訊IMG1,依據第二頻寬BW2來接收第二影像資訊IMG2,並對第一影像資訊IMG1以及第二影像資訊IMG2進行處理(例如以遮罩的方式)後產生第一影像資訊封包PKG1以及第二影像資訊封包PKG2,以降低第一影像資訊封包PKG1以及第二影像資訊封包PKG2的傳輸頻寬需求。在本實施例中,影像處理電路110同時地從第一來源接收第一影像資訊IMG1,以及從第二來源接收第二影像資訊IMG2。在其他實施例中,影像處理電路110可以不同時從第一來源與第二來源接收第一影像資訊IMG1與第二影像資訊IMG2。前述第一頻寬BW1與第二頻寬BW2可以彼此相同或不同,第一來源與第二來源也可以彼此相同或不同。
傳輸安排電路120可以接收並安排傳輸多個影像資訊封包至影像合併電路130。在本實施例中,傳輸安排電路120可以依據第三頻寬BW3傳輸第一影像資訊封包PKG1以及第二影像資訊封包PKG2至影像合併電路130。
影像合併電路130可以接收並還原多個影像資訊封包,再共同輸出至顯示器140以進行顯示。在本實施例中,影像合併電路130可以接收並將第一影像資訊封包PKG1以及第二影像資訊封包PKG2還原成經處理後的第一影像資訊IMG1以及經處理後的第二影像資訊IMG2,再共同輸出至顯示器140。在此請特別注意,此時經處理後的第一影像資訊IMG1以及經處理後的第二影像資訊IMG2的影像像素之資料量已經少於原先未經處理的第一影像資訊IMG1以及第二影像資訊IMG2,例如在第一影像資訊IMG與第二影像資訊IMG2在顯示器140上若有層疊的部分,被遮罩的區域(不可視區域)之影像像素可以不被傳輸以減少其資料量,如此一來,其在處理及傳輸所需的頻寬及暫存空間仍維持在相當於僅傳輸單一個影像資訊的狀態。因此,當第一影像資訊IMG1以及第二影像資訊IMG2都為全螢幕模式時,第三頻寬BW3小於第一頻寬BW1以及第二頻寬BW2的和(BW1+BW2>BW3)。換言之,本發明的影像處理裝置100在多個輸入來源有相互層疊或皆為全螢幕模式時,可以在不影響顯示品質的前提下,使傳輸頻寬小於多個輸入頻寬的和,進而達到節省成本並降低硬體設計複雜度的功效。特別一提的是,上述的第一、第二以及第三頻寬可以是在傳輸規格上的最大頻寬,例如皆為5Gbps,然而實際在傳輸資料時所使用的頻寬並不一定會完全使用到頻寬的上限,需視資料量而定。
在其他實施例中,影像處理裝置100除了圖1中實線所繪示的影像處理電路110、傳輸安排電路120以及影像合併電路130之外,還可以包括虛線所繪示的控制器150、第一影像緩衝器160、第二影像緩衝器170以及影像縮放器180。或像是鍵盤、揚聲器以及各式通信介面等等,本發明對此不限制。
在一實施例中,影像處理電路110可以耦接至控制器150。控制器150可以具有輸入與輸出功能。例如可以具有顯示視窗,供使用者查看與調整多個影像來源在顯示器140上進行顯示的影像尺寸與相對位置,並依據使用者的調整來減少需要輸出的影像像素。例如在本實施例中,控制器150可以依據顯示視窗上的調整操作(即圖1中的顯示視窗調整操作)來調整第一影像資訊IMG1以及第二影像資訊IMG2分別對應的遮罩。以透過遮罩的方式減少需要輸出的影像像素之資料量,即降低第一影像資訊封包PKG1以及第二影像資訊封包PKG2在傳輸時的頻寬需求。另一方面,使用者也可以透過滑鼠(圖未示)調整圖1中顯示器140所顯示的影像畫面之顯示視窗大小時,控制器會即時地接收到顯示視窗大小的調整資訊,進而通知影像處理電路110即時地調整所對應之遮罩的大小,以減少被遮罩住之不可視區域的影像像素之資料量。
在一實施例中,影像處理電路110可以耦接第一影像緩衝器160來暫存輸入的影像資訊。在一實施例中,傳輸安排電路120會持續傳送影像封包至影像合併電路130,影像合併電路130可以耦接第二影像緩衝器170來暫存這些影像資訊封包,待接收完畢之後再進行後續的處理。上述第一影像緩衝器160可以設置在影像處理電路110內,第二影像緩衝器170可以設置在影像合併電路130內,本發明對此不限制。第一影像緩衝器160與第二影像緩衝器170的種類可以是任意型式的固定式或可移動式隨機存取記憶體(random access memory,RAM)、唯讀記憶體(read-only memory,ROM)、快閃記憶體(flash memory)或其組合。
在一實施例中,影像合併電路130可以包括影像縮放器180,用以進行輸入影像的影像縮放及調整在顯示器140上的顯示位置。依照不同的設計需求,上述影像處理電路110、傳輸安排電路120、影像合併電路130、控制器150以及影像縮放器180的實現方式可以是硬體(hardware)、韌體(firmware)、軟體(software,即程式)或是前述三者中的多種組合形式。
以硬體形式而言,上述影像處理電路110、傳輸安排電路120、影像合併電路130、控制器150以及影像縮放器180等元件可以是實現於積體電路(integrated circuit)上的邏輯電路。或者,前述元件可以利用硬體描述語言(hardware description languages,例如Verilog HDL或VHDL)或其他合適的編程語言來實現為硬體。舉例來說,上述影像處理電路110、傳輸安排電路120、影像合併電路130、控制器150以及(或是)影像縮放器180的相關功能可以被實現於一或多個微控制器、微處理器、特殊應用積體電路(Application-specific Integrated Circuit, ASIC)、數位訊號處理器(digital signal processor, DSP)、現場可程式邏輯閘陣列(Field Programmable Gate Array, FPGA)、複雜可程式邏輯裝置(Complex Programmable Logic Device, CPLD)及/或其他處理單元中的各種邏輯區塊、模組和電路。
以軟體形式及/或韌體形式而言,上述影像處理電路110、傳輸安排電路120、影像合併電路130、控制器150以及(或是)影像縮放器180可以被實現為編程碼(programming codes)。例如,利用一般的編程語言(programming languages,例如C、C++或組合語言)或其他合適的編程語言來實現。所述編程碼可以被記錄/存放在記錄媒體中,所述記錄媒體中例如包括唯讀記憶體(Read Only Memory,ROM)、存儲裝置及/或隨機存取記憶體(Random Access Memory,RAM)。電腦、中央處理器(Central Processing Unit,CPU)、微控制器或微處理器可以從所述記錄媒體中讀取並執行所述編程碼,從而達成相關功能。作為所述記錄媒體,可使用「非臨時的電腦可讀取媒體(non-transitory computer readable medium)」,例如可使用帶(tape)、碟(disk)、卡(card)、半導體記憶體、可程式設計的邏輯電路等。而且,所述程式也可經由任意傳輸媒體(通信網路或廣播電波等)而提供給所述電腦(或CPU)。所述通信網路例如是互聯網(Internet)、有線通信(wired communication)、無線通信(wireless communication)或其它通信介質。
以下列舉實施例來對本發明進行說明。請參照圖2。圖2繪示本發明一實施例的影像處理裝置200的情境示意圖。在圖2中,影像處理裝置200的各元件與顯示器240適用於圖1中的影像處理裝置100的各元件與顯示器140。影像處理裝置200包括影像處理電路210、傳輸安排電路220、影像合併電路230、控制器250、第一影像緩衝器260、第二影像緩衝器270以及影像縮放器280。其中控制器250與第一影像緩衝器260各自耦接於影像處理電路210,第二影像緩衝器270耦接於影像合併電路230。
在本實施例中,影像處理電路210接收影像資訊IMG3~IMG6,並將其暫存在第一影像緩衝器260中。控制器250可以依據使用者輸入的顯示視窗調整操作來調整遮罩MSK1~MSK4,以使影像資訊IMG3~IMG6可以分別透過路徑PTH1~PTH4和遮罩MSK1~MSK4來減少輸出的影像像素之資料量,並產生影像資訊封包PKG3~PKG6。例如。在一實施例中,遮罩MSK1~MSK4可以用以表示相對於全螢幕區域的多個不同的影像可視區域,且多個不同的影像可視區域之間互不重疊。於此,全螢幕區域可以為顯示器240的最大顯示範圍,影像可視區域可以為顯示器240上的影像資訊IMG3~IMG6未被遮蔽的顯示範圍。換言之,遮罩MSK1~MSK4可以濾除影像資訊IMG3~IMG6在顯示器240上因為影像層疊而被遮蔽的影像像素,以節省傳輸時的頻寬需求。
傳輸安排電路220會接收影像處理電路210產生的影像資訊封包PKG3~PKG6,並傳輸到影像合併電路230。影像合併電路230可以利用第二影像緩衝器270暫存影像資訊封包PKG3~PKG6,並將其還原成經處理後的多個影像資訊(此時的影像像素之資料量會少於原輸入的影像資訊IMG3~IMG6),再透過影像縮放器280調整大小與顯示位置後合併為輸出影像OP。換言之,對於使用者而言,輸出影像OP在視覺上是顯示影像資訊IMG3~IMG6層疊後的畫面,但實際上經由本發明的影像處理裝置200的處理,被遮蔽的影像像素資料可以被減少或是不被傳輸,因此可以減少影像資訊封包PKG3~PKG6在傳輸時所需的傳輸頻寬,也可以減少影像資訊封包PKG3~PKG6在暫存時所需的暫存空間。基於上述,雖然影像處理裝置200接收了四個影像資訊IMG3~IMG6,但在其內部所需的傳輸頻寬實質上僅相當於傳輸任一個單一影像資訊IMG3~IMG6的影像資料量,如此一來,在影像資訊IMG3~IMG6都在顯示器240上顯示為全螢幕模式時,影像處理裝置200內部所需的傳輸頻寬會小於影像資訊IMG3~IMG6的輸入頻寬的總和,相對於先前技術在接收的影像資訊越多時需要藉由對應增加內部傳輸頻寬以及暫存空間來說,本發明可以進而節省成本及降低硬體設計複雜度。
在本實施例中,影像資訊封包PKG3~PKG6可以包括影像資訊IMG3~IMG6對應的顯示影像以及影像設定資訊。影像縮放器280可以依據這些影像設定資訊,在輸出影像OP中配置這些顯示影像的顯示位置,以將經處理後的影像資訊整合在輸出影像OP中。例如,影像縮放器280可以先依據影像資訊封包PKG3中的影像設定資訊,在輸出影像OP中配置影像資訊IMG3對應的顯示影像的顯示位置,再依序配置影像資訊IMG4~IMG6對應的多個顯示影像的顯示位置,以整合為完整的輸出影像OP。於此,顯示影像可以為影像資訊IMG3~IMG6在顯示器240上未被層疊遮蔽的可視影像。在一實施例中,影像設定資訊可以用以表示顯示影像位於顯示器240的全螢幕區域中的不同區域,這些區域互不重疊。在一實施例中,影像設定資訊還可以包括這些區域相對於全螢幕區域的位移資訊以及尺寸資訊。換言之,影像縮放器280可以依據影像設定資訊中各自對應的區域的位移資訊以及尺寸資訊,來配置這些顯示影像在輸出影像OP上的顯示位置。如此一來,可以不限制影像來源的疊加數量,甚至可以在維持更新率且不影響顯示影像品質的前提下,將產生輸出影像OP的頻寬需求實質上維持在單一個影像的頻寬需求,可以大幅節省硬體的成本。
請參照圖3。圖3是依照本發明應用在不同實施例上的情境示意圖。在本實施例中,顯示器340被匹配為顯示四進一出的顯示畫面,其中四個影像來源可以依據使用者做放大縮小以及移動的調整,且影像來源的數量只是為了方便說明,在其他實施例中可以為其他數量。假設接收這四個影像來源時的頻寬都是1單位。在沒有考慮到對這四個影像來源互相遮蔽的部分進行處理的情況下,以圖3左邊示例來說,四個影像來源顯示於顯示器340上時互不重疊,並且各自縮小而在顯示器340上顯示佔滿一個全螢幕畫面,則在處理及傳輸這些影像時的所需頻寬等同單一影像來源進行全螢幕顯示所需的1單位。以圖3中間示例來說,其中一個影像來源是以全螢幕顯示且另外三個影像來源是縮小顯示,假設處理及傳輸這些縮小的影像來源的所需頻寬約為0.3單位,則在處理及傳輸這些影像時的所需頻寬約為1.3單位。以圖3右邊示例來說,其中一個影像來源是以全螢幕顯示且另外三個影像來源是接近全螢幕顯示,則在處理及傳輸這些影像時的所需頻寬將接近4單位。因此,隨著影像來源的數量或相互層疊的部分增加,硬體設備的頻寬需求便會成正比增長,並大幅度地占用硬體設備的運算資源。若硬體設備的頻寬不足即會發生顯示異常或是有需要降低畫面更新率的問題。
相較之下,本發明圖3右邊示例因為可以將多個影像畫面因為層疊而被遮蔽的部分之影像像素的資料量減少或是省略不傳輸,因此在產生顯示畫面的時候僅需要實質上與顯示單一畫面相同的傳輸頻寬以及暫存空間。如此一來,即便在顯示畫面當中有多個接近全螢幕的影像資訊互相層疊(在本實施例中的影像來源例如是4個,但其數量不以為限),也不需要提升硬體資源就能夠正常顯示。若是圖3中間示例與左邊示例的作法,當有越多個接近全螢幕的影像資訊互相層疊時,如果沒有對應增加硬體資源且沒有針對輸入影像進行調整的話,則會有無法正常顯示或是有需要降低畫面更新率的問題出現。
請參照圖4。圖4繪示本發明一實施例的分時多工傳輸的情境示意圖。其中傳輸安排電路420、影像合併電路430與第二影像緩衝器470適用於圖2中的傳輸安排電路220、影像合併電路230與第二影像緩衝器270。在本實施例中,傳輸安排電路420可以利用分時多工的方式,將影像資訊封包PKG3~PKG6分割為多個子封包,並依序傳送給影像合併電路330。在本實施例中,影像合併電路430可以利用第二影像緩衝器470來暫存影像資訊封包PKG3~PKG6的多個子封包,並可以在顯示器的顯示畫面更新時,自第二影像緩衝器470中讀取影像資訊封包PKG3~PKG6的全部子封包,以進行後續的封包還原與合併為輸出影像OP的動作。
在此請特別注意,本實施例的分時多工傳輸是指傳輸安排電路420會利用顯示器的影像更新時間,對不同的影像資訊封包PKG3~PKG6的子封包安排不同的傳輸時間間隔,再依序傳輸至影像合併電路430。例如,在本實施例中,輸出影像OP的完整顯示畫面由18個子封包所組成,其中包含影像資訊封包PKG3~PKG6分別佔用的7、3、4、4個子封包。則傳輸安排電路420可以利用顯示器的影像更新時間(例如,16.6毫秒/60赫茲),計算出影像資訊封包PKG3~PKG6各自的子封包的傳送時間間隔(例如,影像資訊封包PKG3的子封包的傳送時間間隔可以為16.6毫秒/7=2.37毫秒),以平均傳送影像資訊封包PKG3~PKG6的多個子封包。如此一來,本實施例所述的分時多工傳輸方式,可以避免可能會因為影像資訊封包PKG3~PKG6被分割成不同數量的子封包又同時發送,而造成在一開始過於集中傳送導致子封包丟失,以及在部分影像資訊封包PKG3~PKG6的子封包傳完後(例如在圖4中的影像資訊封包PKG4會最先傳完)會有傳輸頻寬被浪費等問題。另一方面,由於本發明是透過減少或是不傳輸顯示畫面中層疊而被遮蔽部份的影像像素資料的方式來產生輸出影像OP,因此在傳輸安排電路420傳送影像資訊封包至影像合併電路430時所需的傳輸頻寬相當於僅有一個影像資訊的傳輸頻寬,且第二影像緩衝器470所需的傳輸頻寬與暫存空間最多也僅需相當於傳輸單一個以全螢幕顯示的影像資訊所需的硬體資源。
請同時參照圖5A與圖5B。圖5A至圖5B繪示本發明另一實施例的影像處理裝置的操作示意圖。其中影像處理電路510、影像合併電路530與顯示器540適用於圖2中的影像處理電路210、影像合併單元230與顯示器240。於圖5A中繪示了顯示器540上的影像變化,圖5B則繪示影像處理裝置針對不可視影像資料的處理動作。
在本實施例中,影像處理電路510可以分開傳輸在顯示器540的顯示畫面上未因層疊而被遮蔽的可視影像、以及被遮蔽的不可視影像所分別對應的影像資訊封包(例如不可視影像像素的位置、位移資訊以及尺寸資訊),以利影像合併電路530還原成完整的輸出影像。例如,在本實施例中,當圖5A中的顯示器540的顯示影像由輸出影像OP_1進行縮放變為輸出影像OP_2時,其可視影像與不可視影像皆會被放大。則圖5B中的影像處理電路510可以選擇先將輸出影像OP_1中的可視影像的影像像素資料傳遞至影像合併電路530。然後將輸出影像OP_1中的不可視影像資料拆成多個矩形(例如圖5A中的三塊矩形),並依照相對於輸出影像OP_1的原點(例如在本實施例中為左上角)紀錄其位置資訊、位移資訊以及尺寸資訊,再將這些不可視影像的位置資訊、位移資訊以及尺寸資訊傳送至影像合併電路530。如此一來,在影像合併電路530需要進行顯示器540的顯示畫面縮放處理時,可以依照這些不可視影像的影像資訊,將顯示畫面還原成正常大小。
請參照圖6。圖6繪示本發明一實施例的影像處理方法的流程圖。此影像處理方法適用於圖1包括影像合併電路130的影像處理裝置100以及顯示器140來實現。於步驟S610中,影像處理裝置100以第一頻寬接收第一影像資訊,以第二頻寬接收第二影像資訊,並對第一影像資訊以及第二影像資訊進行處理後產生第一影像資訊封包以及第二影像資訊封包。
於步驟S620中,影像處理裝置100以第三頻寬傳輸第一影像資訊封包以及第二影像資訊封包至影像合併電路130。於步驟S630中,藉由影像合併電路130以將第一影像資訊封包以及第二影像資訊封包還原成第一影像資訊以及第二影像資訊。於步驟S640中,藉由影像合併電路130共同輸出第一影像資訊以及第二影像資訊至顯示器140,當第一影像資訊以及第二影像資訊都為全螢幕模式時,第三頻寬小於第一頻寬以及第二頻寬的和。關於上述影像處理方法的步驟的實施細節,請參照前述實施例的說明。
綜上所述,於本發明的實施例中,所述的影像處理裝置及多畫面顯示的影像處理方法可以將多個影像來源進行處理,以減少因為顯示畫面重疊而被遮蔽的未顯示影像的資料量,讓這些未顯示影像不會佔用到硬體設備的傳輸頻寬。如此一來,可以在同時維持更新率且不影響顯示影像品質的前提下,不限制輸入影像的疊加數量與影像畫面的顯示大小,並且可將這些影像畫面都使用接近全螢幕的尺寸進行顯示且不增加影像處理裝置在處理以及傳輸這些影像畫面時所需的傳輸頻寬以及暫存空間,進而節省成本和降低硬體設計的複雜度。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100、200:影像處理裝置 110、210、510:影像處理電路 120、220、420:傳輸安排電路 130、230、430、530:影像合併電路 140、240、340、540:顯示器 150、250:控制器 160、260:第一影像緩衝器 170、270、470:第二影像緩衝器 180、280:影像縮放器 BW1~BW3:頻寬 IMG1~IMG6:影像資訊 MSK1~MSK4:遮罩 OP、OP_1、OP_2:輸出影像 PKG1~PKG6:封包 PTH1~PTH4:路徑 S610~S640:步驟
圖1是依照本發明一實施例的影像處理裝置的方塊圖。 圖2是依照本發明一實施例的影像處理裝置的情境示意圖。 圖3是依照本發明應用在不同實施例上的情境示意圖。 圖4是依照本發明一實施例的分時多工傳輸的情境示意圖。 圖5A至圖5B是依照本發明另一實施例的影像處理裝置的操作示意圖。 圖6是依照本發明一實施例的影像處理方法的流程圖。
200:影像處理裝置
210:影像處理電路
220:傳輸安排電路
230:影像合併電路
240:顯示器
250:控制器
260:第一影像緩衝器
270:第二影像緩衝器
280:影像縮放器
IMG3~IMG6:影像資訊
MSK1~MSK4:遮罩
OP:輸出影像
PKG3~PKG6:影像資訊封包
PTH1~PTH4:路徑

Claims (16)

  1. 一種影像處理裝置,包括: 一影像處理電路,以一第一頻寬接收一第一影像資訊,以一第二頻寬接收一第二影像資訊,並對該第一影像資訊以及該第二影像資訊進行處理後產生一第一影像資訊封包以及一第二影像資訊封包; 一傳輸安排電路,接收該第一影像資訊封包以及該第二影像資訊封包,以及 一影像合併電路,以一第三頻寬從該傳輸安排電路接收該第一影像資訊封包以及該第二影像資訊封包,並將該第一影像資訊封包以及該第二影像資訊封包還原成該第一影像資訊以及該第二影像資訊,並將該第一影像資訊以及該第二影像資訊輸出至一顯示器; 其中,該第三頻寬小於該第一頻寬以及該第二頻寬的和。
  2. 如申請專利範圍第1項所述的影像處理裝置,其中該傳輸安排電路利用分時多工的方式以該第三頻寬將該第一影像資訊封包以及該第二影像資訊封包傳送給該影像合併電路。
  3. 如申請專利範圍第1項所述的影像處理裝置,還包括: 一控制器,耦接該影像處理電路; 其中該控制器用以依據一顯示視窗調整操作調整與該第一影像資訊對應的一第一遮罩以及與該第二影像資訊對應的一第二遮罩; 其中該影像處理電路依據該第一遮罩以對該第一影像資訊進行處理後產生該第一影像資訊封包,且依據該第二遮罩以對該第二影像資訊進行處理後產生該第二影像資訊封包。
  4. 如申請專利範圍第3項所述的影像處理裝置,其中該第一遮罩與該第二遮罩分別用以表示相對於一全螢幕區域的一第一影像致能區域與一第二影像致能區域,該第一遮罩中的該第一影像致能區域與該第二遮罩中的該第二影像致能區域互不重疊。
  5. 如申請專利範圍第1項所述的影像處理裝置,其中該第一影像資訊封包包括一第一影像以及一第一影像設定資訊,該第二影像資訊封包包括一第二影像以及一第二影像設定資訊; 其中該影像合併電路包括一影像縮放器(scalar),該影像縮放器依據該第一影像設定資訊以及該第二影像設定資訊以在一輸出影像中配置該第一影像與該第二影像的顯示位置,以將該第一影像資訊以及該第二影像資訊整合在該輸出影像中; 其中該影像合併電路提供該輸出影像至該顯示器,以使該顯示器進行顯示。
  6. 如申請專利範圍第5項所述的影像處理裝置,其中該第一影像設定資訊用以表示該第一影像位於一全螢幕區域中的一第一區域,該第二影像設定資訊用以表示該第二影像位於該全螢幕區域中的一第二區域,其中該第一區域與該第二區域互不重疊。
  7. 如申請專利範圍第6項所述的影像處理裝置,其中該第一影像設定資訊包括該第一區域相對於該全螢幕區域的位移資訊以及尺寸資訊,該第二影像設定資訊包括該第二區域對於該全螢幕區域的位移資訊以及尺寸資訊; 其中該影像縮放器依據該第一影像設定資訊與該第二影像設定資訊中該第一區域與該第二區域各自的位移資訊以及尺寸資訊以在該輸出影像中配置該第一影像與該第二影像的顯示位置。
  8. 如申請專利範圍第1項所述的影像處理裝置,還包括: 一第一影像緩衝器,耦接該影像處理電路, 其中該影像處理電路利用該第一影像緩衝器來暫存該第一影像資訊與該第二影像資訊。
  9. 如申請專利範圍第1項所述的影像處理裝置,還包括: 一第二影像緩衝器,耦接該影像合併電路, 其中該影像合併電路利用該第二影像緩衝器來暫存該第一影像資訊封包與該第二影像資訊封包。
  10. 一種多畫面顯示的影像處理方法,適用於包括一影像合併電路的一影像處理裝置,該影像處理方法包括: 以一第一頻寬獲得一第一影像資訊,以一第二頻寬獲得一第二影像資訊,並對該第一影像資訊以及該第二影像資訊進行處理後產生一第一影像資訊封包以及一第二影像資訊封包; 以一第三頻寬傳輸該第一影像資訊封包以及該第二影像資訊封包至該影像合併電路;以及 藉由該影像合併電路以將該第一影像資訊封包以及該第二影像資訊封包還原成該第一影像資訊以及該第二影像資訊;以及 共同輸出該第一影像資訊以及該第二影像資訊至一顯示器; 其中,該第三頻寬小於該第一頻寬以及該第二頻寬的和。
  11. 如申請專利範圍第10項所述的影像處理方法,其中利用分時多工的方式以該第三頻寬將該第一影像資訊封包以及該第二影像資訊封包傳送給該影像合併電路。
  12. 如申請專利範圍第10項所述的影像處理方法,其中對該第一影像資訊以及該第二影像資訊進行處理後產生該第一影像資訊封包以及該第二影像資訊封包的步驟包括: 依據一顯示視窗調整操作調整與該第一影像資訊對應的一第一遮罩以及該第二影像資訊對應的一第二遮罩;以及 依據該第一遮罩以對該第一影像資訊進行處理後產生該第一影像資訊封包,且依據該第二遮罩以對該第二影像資訊進行處理後產生該第二影像資訊封包。
  13. 如申請專利範圍第12項所述的影像處理方法,其中該第一遮罩與該第二遮罩分別用以表示相對於一全螢幕區域的一第一影像致能區域與一第二影像致能區域,該第一遮罩中的該第一影像致能區域與該第二遮罩中的該第二影像致能區域互不重疊。
  14. 如申請專利範圍第10項所述的影像處理方法,其中該第一影像資訊封包包括一第一影像以及一第一影像設定資訊,該第二影像資訊封包包括一第二影像以及一第二影像設定資訊; 其中,將該第一影像資訊封包以及該第二影像資訊封包還原成該第一影像資訊以及該第二影像資訊的步驟包括: 依據該第一影像設定資訊以及該第二影像設定資訊以在一輸出影像中配置該第一影像與該第二影像的顯示位置,以將該第一影像資訊以及該第二影像資訊整合在該輸出影像中,其中該輸出影像用以提供至該顯示器,以使該顯示器進行顯示。
  15. 如申請專利範圍第14項所述的影像處理方法,其中該第一影像設定資訊用以表示該第一影像位於一全螢幕區域中的一第一區域,該第二影像設定資訊用以表示該第二影像位於該全螢幕區域中的一第二區域,其中該第一區域與該第二區域互不重疊。
  16. 如申請專利範圍第15項所述的影像處理方法,其中該第一影像設定資訊包括該第一區域相對於該全螢幕區域的位移資訊以及尺寸資訊,該第二影像設定資訊包括該第二區域對於該全螢幕區域的位移資訊以及尺寸資訊; 其中,將該第一影像資訊以及該第二影像資訊整合在該輸出影像中的步驟包括: 依據該第一影像設定資訊與該第二影像設定資訊中該第一區域與該第二區域各自的位移資訊以及尺寸資訊以在該輸出影像中配置該第一影像與該第二影像的顯示位置。
TW109136790A 2020-10-23 2020-10-23 影像處理裝置及多畫面顯示的影像處理方法 TWI772933B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW109136790A TWI772933B (zh) 2020-10-23 2020-10-23 影像處理裝置及多畫面顯示的影像處理方法
CN202011548881.2A CN114500880A (zh) 2020-10-23 2020-12-24 图像处理装置及多画面显示的图像处理方法
US17/383,452 US11798518B2 (en) 2020-10-23 2021-07-23 Image processing device and image processing method for displaying multi-screen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109136790A TWI772933B (zh) 2020-10-23 2020-10-23 影像處理裝置及多畫面顯示的影像處理方法

Publications (2)

Publication Number Publication Date
TW202218434A TW202218434A (zh) 2022-05-01
TWI772933B true TWI772933B (zh) 2022-08-01

Family

ID=81257083

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109136790A TWI772933B (zh) 2020-10-23 2020-10-23 影像處理裝置及多畫面顯示的影像處理方法

Country Status (3)

Country Link
US (1) US11798518B2 (zh)
CN (1) CN114500880A (zh)
TW (1) TWI772933B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201010436A (en) * 2008-08-19 2010-03-01 Tech Advance Ind Co Ltd Data transmission method and device, data receiving method and device, and computer program products thereof
TW201304502A (zh) * 2011-07-13 2013-01-16 Nueteq Technology Inc 影像訊號傳送裝置、接收裝置、傳輸系統及其方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1343315A1 (en) 2002-03-08 2003-09-10 Synelec Telecom Multimedia Video wall
CN101820524A (zh) * 2010-03-22 2010-09-01 中兴通讯股份有限公司 用于电视会议的视频播放方法
WO2013142803A1 (en) * 2012-03-23 2013-09-26 On-Net Surveillance Systems, Inc. Method and system for receiving surveillance video from multiple cameras
EP2893529B1 (en) * 2012-09-05 2020-01-15 ATI Technologies ULC Method and device for selective display refresh
US20190089759A1 (en) * 2017-09-18 2019-03-21 Novatek Microelectronics Corp. Video encoding circuit and wireless video transmission apparatus and method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201010436A (en) * 2008-08-19 2010-03-01 Tech Advance Ind Co Ltd Data transmission method and device, data receiving method and device, and computer program products thereof
TW201304502A (zh) * 2011-07-13 2013-01-16 Nueteq Technology Inc 影像訊號傳送裝置、接收裝置、傳輸系統及其方法

Also Published As

Publication number Publication date
CN114500880A (zh) 2022-05-13
TW202218434A (zh) 2022-05-01
US20220130349A1 (en) 2022-04-28
US11798518B2 (en) 2023-10-24

Similar Documents

Publication Publication Date Title
WO2020199575A1 (zh) Oled阵列基板、显示面板及显示装置
US8907962B2 (en) Display system with display panel and display controller and driver having moving picture interface
CN106128357B (zh) 显示驱动器和驱动显示面板的方法
US10593298B2 (en) Display control device, display control method, and display apparatus
US10810958B2 (en) Display panel and drive method thereof, and display device
TW546627B (en) Display devices and driving method therefor
US20210208834A1 (en) Image Display Method and Video Processing Device
KR20150019884A (ko) 디스플레이 구동 회로 및 디스플레이 장치
US20070262944A1 (en) Apparatus and method for driving a display panel
JP2010256921A (ja) 表示装置およびその駆動方法、並びに電子機器
TWI772933B (zh) 影像處理裝置及多畫面顯示的影像處理方法
WO2020082499A1 (zh) 一种电子装置
US20220208073A1 (en) Method for displaying image in multi display drive circuit system and electronic device
JP2006235233A (ja) 大画面の映像表示方法、映像表示装置及び大画面映像表示装置
CN115240578A (zh) 命令模式与视频模式间无缝切换的方法和装置及显示装置
CN109036247B (zh) 显示设备与栅极驱动电路
CN114125182A (zh) 一种基于fpga实现4k高清显示的方法
KR20130048491A (ko) 데이터 라인들간의 슬루 레이트 편차를 감소시키는 디스플레이 패널 구동장치
JP6143477B2 (ja) 映像処理システム、映像処理装置、およびそれらの制御方法
KR101642841B1 (ko) 재생성 클럭신호 기반 멀티비전 시스템 용 영상신호 지터 제거 장치 및 방법
JP3838900B2 (ja) 多画面表示装置とその表示方法
WO2022001392A1 (zh) 显示装置及其显示方法
TWI783625B (zh) 用於圖框率控制的晶片組與相關的影像處理方法
CN220324123U (zh) 液晶驱动板、液晶显示模组及液晶显示系统
US20240046877A1 (en) Display device, display system and distributed function system