TWI825954B - 具有輸出時序調整機制的影像處理電路及方法 - Google Patents

具有輸出時序調整機制的影像處理電路及方法 Download PDF

Info

Publication number
TWI825954B
TWI825954B TW111132387A TW111132387A TWI825954B TW I825954 B TWI825954 B TW I825954B TW 111132387 A TW111132387 A TW 111132387A TW 111132387 A TW111132387 A TW 111132387A TW I825954 B TWI825954 B TW I825954B
Authority
TW
Taiwan
Prior art keywords
image
output
image processing
circuit
timing
Prior art date
Application number
TW111132387A
Other languages
English (en)
Other versions
TW202410680A (zh
Inventor
葉梓民
張凱焯
吳柏賢
童旭榮
Original Assignee
瑞昱半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞昱半導體股份有限公司 filed Critical 瑞昱半導體股份有限公司
Priority to TW111132387A priority Critical patent/TWI825954B/zh
Priority to US18/224,339 priority patent/US20240070824A1/en
Application granted granted Critical
Publication of TWI825954B publication Critical patent/TWI825954B/zh
Publication of TW202410680A publication Critical patent/TW202410680A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Television Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

一種具有輸出時序調整機制的影像處理電路。影像輸入介面接收輸入影像。影像強化電路對輸入影像進行影像強化產生強化影像。第一及第二影像處理路徑分別對具有第一及第二時序的強化影像進行處理，以產生第一及第二輸出影像。時序控制電路依第一及第二影像處理路徑的處理需求對強化影像的原始時序進行調整，以產生具有第一時序的強化影像以及具有第二時序的強化影像。第一影像輸出介面輸出第一輸出影像。第二影像輸出介面輸出第二輸出影像。

Description

具有輸出時序調整機制的影像處理電路及方法
本發明是關於影像處理技術，尤其是關於一種具有輸出時序調整機制的影像處理電路及方法。
現代人的生活中，影視作品、電玩或是直播節目是不可或缺的娛樂。然而，部分影像來源並無法提供較佳的影像品質或是流暢度，亦無法依不同電子裝置的需求提供不同格式的影像。如果沒有相應的影像處理機制，不論是影像播放裝置或是影像錄製裝置均無法呈現最佳的播放或是錄製結果。
鑑於先前技術的問題，本發明之一目的在於提供一種具有輸出時序調整機制的影像處理電路及方法，以改善先前技術。
本發明包含一種具有輸出時序調整機制的影像處理電路，包含：影像輸入介面、影像強化電路、第一影像處理路徑、第二影像處理路徑、時序控制電路、第一影像輸出介面以及第二影像輸出介面。影像輸入介面 配置以接收輸入影像。影像強化電路配置以對輸入影像進行影像強化產生強化影像。第一影像處理路徑配置以對具有第一時序的強化影像進行處理，以產生第一輸出影像。第二影像處理路徑配置以對具有第二時序的強化影像進行處理，以產生第二輸出影像。時序控制電路配置以依第一影像處理路徑以及第二影像處理路徑的處理需求對強化影像的原始時序進行調整，以產生具有第一時序的強化影像以及具有第二時序的強化影像。第一影像輸出介面配置以將輸出第一輸出影像輸出至第一電子裝置。第二影像輸出介面配置以將輸出第二輸出影像輸出至第二電子裝置。
本發明更包含一種具有輸出時序調整機制的影像處理方法，應用於影像處理電路中，包含：使影像輸入介面接收輸入影像；使影像強化電路對輸入影像進行影像強化產生強化影像；使時序控制電路依第一影像處理路徑以及第二影像處理路徑的處理需求對強化影像的原始時序進行調整，以產生具有第一時序的強化影像以及具有第二時序的強化影像；使第一影像處理路徑對具有第一時序的強化影像進行處理，以產生第一輸出影像；使第二影像處理路徑對具有第二時序的強化影像進行處理，以產生第二輸出影像；使第一影像輸出介面輸出第一輸出影像；以及使第二影像輸出介面輸出第二輸出影像。
有關本案的特徵、實作與功效，茲配合圖式作較佳實施例詳細說明如下。
100、200:影像處理電路
110:影像輸入介面
120:影像強化電路
130A:第一影像處理路徑
130B:第二影像處理路徑
140:時序控制電路
150A:第一影像輸出介面
150B:第二影像輸出介面
160A、160B:解析度調整電路
170A、170B:畫面更新率調整電路
180A、180B:畫面緩衝電路
190A:第一電子裝置
190B:第二電子裝置
300:影像處理方法
S310~S370:步驟
EMI、EM1、EM2:強化影像
IMI:輸入影像
OM1:第一輸出影像
OM2:第二輸出影像
〔圖1〕顯示本發明一實施例中，一種具有輸出時序調整機制的影像處理電路的方塊圖；〔圖2〕顯示本發明另一實施例中，影像處理電路的方塊圖；以及〔圖3〕顯示本發明一實施例中，一種具有輸出時序調整機制的影像處理方法的流程圖。
本發明之一目的在於提供一種具有輸出時序調整機制的影像處理電路及方法，先藉由共通路徑進行影像強化，再針對不同影像處理路徑的需求設置不同的時序，對不同輸出介面產生不同的影像輸出。
請參照圖1。圖1顯示本發明一實施例中，一種具有輸出時序調整機制的影像處理電路100的方塊圖。影像處理電路100包含：影像輸入介面110、影像強化電路120、第一影像處理路徑130A、第二影像處理路徑130B、時序控制電路140、第一影像輸出介面150A以及第二影像輸出介面150B。
影像輸入介面110配置以接收輸入影像IMI。於一實施例中，影像輸入介面110為高畫質多媒體介面(high definition multimedia interface；HDMI)，並自例如但不限於遊戲家用主機或是電腦接收輸入影像IMI。
影像強化電路120配置以對輸入影像IMI進行影像強化產生強化影像EMI。於一實施例中，影像強化電路120配置以對輸入影像IMI進行影像放大、邊緣強化、銳利度強化、人工智慧超解析度放大(artificial intelligence super resolution)或其組合，來產生強化影像EMI。
舉例而言，影像強化電路120可將輸入影像IMI進行影像放大，以放大至例如但不限於4K的大小。影像強化電路120亦可對輸入影像IMI中較為模糊的影像邊緣做強化及銳利度提升。並且，影像強化電路120可根據例如，但不限於美國專利US20210264566A1中所敘述的人工智慧超解析度放大技術，將輸入影像IMI的內容分成不同特性，例如但不限於天空、建築物與地面等，再依不同的區域做不一樣的影像強化。
第一影像處理路徑130A配置以對具有第一時序的強化影像EM1進行處理，以產生第一輸出影像OM1。第二影像處理路徑130B配置以對具有第二時序的強化影像EM2進行處理，以產生第二輸出影像OM2。
第一影像處理路徑130A以及第二影像處理路徑130B可依據輸出對象以及輸出介面的不同，而具有不同的處理需求，進而選擇性包含解析度調整電路、畫面更新率(frame rate)調整電路或其組合。
舉例而言，在圖1中，第一影像處理路徑130A是將第一輸出影像OM1透過第一影像輸出介面150A輸出至第一電子裝置190A。其中，第一電子裝置190A為影像播放裝置，第一影像輸出介面150A為高畫質多媒體介面。
在這樣的狀況下，第一影像處理路徑130A具有的處理需求可包含即時播放需求以及高畫質多媒體介面的第一介面需求。此時，第一影像處理路徑130A可包含解析度調整電路160A以及畫面更新率調整電路170A。其中，解析度調整電路160A配置以對解析度進行調整。畫面更新率調整電路170A配置以對畫面更新率進行調整。
在實際應用的場景中，如果處理需求是希望有清楚的畫面，則可由畫面更新率調整電路170A降低畫面更新率，並使解析度調整電路160A保 持原本的解析度。而如果處理需求是希望畫面流暢，則畫面更新率調整電路170A可保持畫面更新率，並使解析度調整電路160A降低解析度。
第二影像處理路徑130B是將第二輸出影像OM2透過第二影像輸出介面150B輸出至第二電子裝置190B。其中，第二電子裝置190B為非影像播放裝置，第二影像輸出介面150B為通用序列匯流排(universal serial bus；USB)介面。
在這樣的狀況下，第二影像處理路徑130B具有的處理需求可包含錄製需求以及通用序列匯流排介面的第二介面需求。此時，第二影像處理路徑130B可包含解析度調整電路160B以及畫面更新率調整電路170B。其中，解析度調整電路160B配置以對解析度進行調整，例如但不限於調低解析度，或是選擇性地不調整解析度。畫面更新率調整電路170B配置以對畫面更新率進行調整，例如但不限於提高畫面更新率增加影像流暢度。而如受限於例如非影像播放裝置的解析度或通用序列匯流排介面的頻寬，畫面更新率調整電路170B亦可調降畫面更新率而使影像的傳輸不受上述限制影響。
時序控制電路140配置以依第一影像處理路徑130A以及第二影像處理路徑130B的處理需求對強化影像EMI的原始時序進行調整，以產生上述具有第一時序的強化影像EM1以及具有第二時序的強化影像EM2。
於一實施例中，時序控制電路140藉由改變強化影像EMI的垂直同步訊號、水平同步訊號、垂直空白間隙、水平空白間隙、主動資料位置或其組合來調整原始時序，並產生具有第一時序的強化影像EM1以及具有第二時序的強化影像EM2。
由於處理需求的不同，時序控制電路140可藉由產生具有第一時序的強化影像EM1，使第一影像處理路徑130A的路徑延遲小於一個畫面延遲時間(frame delay)。另一方面，為了使畫面更新率調整電路170A、170B得以調整畫面更新率，第一影像處理路徑130A以及第二影像處理路徑130B可分別包含畫面緩衝電路180A及180B，配置以對應畫面更新率調整電路170A及畫面更新率調整電路170B暫存強化影像EM1及強化影像EM2。
第一影像處理路徑130A處理完成後，將產生第一輸出影像OM1。第二影像處理路徑130B處理完成後，將產生第二輸出影像OM2。第一影像輸出介面150A配置以將第一輸出影像OM1輸出至第一電子裝置190A。第二影像輸出介面150B配置以將第二輸出影像OM2輸出至第二電子裝置190B。
須注意的是，上述的實施方式僅為一範例。在不同的實施例中，第一影像處理路徑130A以及第二影像處理路徑130B可包含上述電路的不同組合，並可視需求執行解析度的提高或調降以及畫面更新率的提高或調降。本發明並不限於特定的實施方式。
圖2顯示本發明另一實施例中，影像處理電路200的方塊圖。類似於圖1的影像處理電路100，影像處理電路200亦包含：影像輸入介面110、影像強化電路120、第一影像處理路徑130A、第二影像處理路徑130B、時序控制電路140、第一影像輸出介面150A以及第二影像輸出介面150B。
於本實施例中，第一影像處理路徑130A僅包含解析度調整電路160A，以對具有第一時序的強化影像EM1進行解析度的調整。而第二影像處理路徑130B包含畫面更新率調整電路170B以及對應暫存強化影像EM2的 畫面緩衝電路180B，以對具有第二時序的強化影像EM2進行畫面更新率的調整。
在部分實施例中，為使第一影像處理路徑130A具有最快速的輸出，第一影像處理路徑可不設置任何對強化影像EM1處理的電路，而直接將強化影像EM1透過第一影像輸出介面150A輸出至第一電子裝置190A。
於一實施例中，當第一影像處理路徑130A以及第二影像處理路徑130B其中之一經由畫面更新率調整電路處理，例如圖2中，僅第二影像處理路徑130B是經由畫面更新率調整電路170B處理，則經過畫面更新率調整電路170B調整而產生的第二輸出影像OM2將具有較未經畫面更新率調整電路調整而產生的第一輸出影像OM1的時序為晚。
因此，本發明具有輸出時序調整機制的影像處理電路可先藉由共通路徑進行影像強化，再針對不同影像處理路徑的需求設置不同的時序，對不同輸出介面產生不同的影像輸出。這樣的設計不僅可使不同路徑共用影像強化電路達到節省成本的功效，亦可對應不同路徑設置個別的時序進行不同的處理，具有彈性的影像輸出機制。
圖3顯示本發明一實施例中，一種具有輸出時序調整機制的影像處理方法300的流程圖。
除前述裝置外，本發明另揭露一種具有輸出時序調整機制的影像處理方法300的流程圖，應用於例如，但不限於圖1的影像處理電路100中。影像處理方法300的之一實施例如圖3所示，包含下列步驟。
於步驟S310，使影像輸入介面110接收輸入影像IMI。
於步驟S320，使影像強化電路120對輸入影像進行影像強化產生強化影像。
於步驟S330，使時序控制電路依第一影像處理路徑130A以及第二影像處理路徑130B的處理需求對強化影像EMI的原始時序進行調整，以產生具有第一時序的強化影像EM1以及具有第二時序的強化影像EM2。
於步驟S340，使第一影像處理路徑130A對具有第一時序的強化影像EM1進行處理，以產生第一輸出影像OM1。
於步驟S350，使第二影像處理路徑130B對具有第二時序的強化影像EM2進行處理，以產生第二輸出影像OM2。
於步驟S360，使第一影像輸出介面150A輸出第一輸出影像OM1。
於步驟S370，使第二影像輸出介面150B輸出第二輸出影像OM2。
需注意的是，上述的實施方式僅為一範例。於其他實施例中，本領域的通常知識者當可在不違背本發明的精神下進行更動。
綜合上述，本發明中具有輸出時序調整機制的影像處理電路及方法先藉由共通路徑進行影像強化，再針對不同影像處理路徑的需求設置不同的時序，對不同輸出介面產生不同的影像輸出。這樣的設計不僅可使不同路徑共用影像強化電路達到節省成本的功效，亦可對應不同路徑設置個別的時序進行不同的處理，具有彈性的影像輸出機制。
雖然本案之實施例如上所述，然而該些實施例並非用來限定本案，本技術領域具有通常知識者可依據本案之明示或隱含之內容對本案之技術特徵施以變化，凡此種種變化均可能屬於本案所尋求之專利保護範 疇，換言之，本案之專利保護範圍須視本說明書之申請專利範圍所界定者為準。
100:影像處理電路
110:影像輸入介面
120:影像強化電路
130A:第一影像處理路徑
130B:第二影像處理路徑
140:時序控制電路
150A:第一影像輸出介面
150B:第二影像輸出介面
160A、160B:解析度調整電路
170A、170B:畫面更新率調整電路
180A、180B:畫面緩衝電路
190A:第一電子裝置
190B:第二電子裝置
EMI、EM1、EM2:強化影像
IMI:輸入影像
OM1:第一輸出影像
OM2:第二輸出影像

Claims (10)

  1. 一種具有輸出時序調整機制的影像處理電路，包含：一影像輸入介面，配置以接收一輸入影像；一影像強化電路，配置以對該輸入影像進行影像強化產生一強化影像；一第一影像處理路徑，配置以對具有一第一時序的一第一時序強化影像進行處理，以產生一第一輸出影像；一第二影像處理路徑，配置以對具有一第二時序的一第二時序強化影像進行處理，以產生一第二輸出影像；一時序控制電路，配置以依該第一影像處理路徑以及該第二影像處理路徑的一處理需求對該強化影像的一原始時序進行調整，以產生該第一時序強化影像以及該第二時序強化影像；一第一影像輸出介面，配置以輸出該第一輸出影像；以及一第二影像輸出介面，配置以輸出該第二輸出影像。
  2. 如請求項1所述之影像處理電路，其中該時序控制電路配置以改變該強化影像的一垂直同步訊號、一水平同步訊號、一垂直空白間隙、一水平空白間隙、一主動資料位置或其組合來調整該原始時序。
  3. 如請求項1所述之影像處理電路，其中該影像強化電路配置以對該輸入影像進行影像放大、邊緣強化、銳利度強化、人工智慧超解析度放大(artificial intelligence super resolution)或其組合。
  4. 如請求項1所述之影像處理電路，其中該第一影像輸出介面配置以將該第一輸出影像輸出至一第一電子裝置，該第一電子裝置為一影像播放裝置且該第一影像處理路徑的該處理需求包含一即時播放需求以及該第一影像輸出介面的一第一介面需求。
  5. 如請求項4所述之影像處理電路，其中該第二影像輸出介面配置以將該第二輸出影像輸出至一第二電子裝置，該第二電子裝置為一非影像播放裝置且該第二影像處理路徑的該處理需求包含一錄製需求以及該第二影像輸出介面的一第二介面需求。
  6. 如請求項1所述之影像處理電路，其中該第一影像處理路徑的一路徑延遲小於一個畫面延遲時間(frame delay)。
  7. 如請求項1所述之影像處理電路，其中該第一影像處理路徑以及該第二影像處理路徑包含一解析度調整電路、一畫面更新率調整電路或其組合。
  8. 如請求項7所述之影像處理電路，其中該第二影像處理路徑包含一畫面緩衝電路，配置以對應該畫面更新率調整電路暫存該第二時序強化影像。
  9. 如請求項7所述之影像處理電路，其中該第一影像處理路徑以及該第二影像處理路徑其中之一設置有該畫面更新率調整電路，以使該第一輸出 影像以及該第二輸出影像中，經過該畫面更新率調整電路調整而產生的一第一者具有較未經該畫面更新率調整電路調整而產生的一第二者晚的時序。
  10. 一種具有輸出時序調整機制的影像處理方法，應用於一影像處理電路中，包含：使一影像輸入介面接收一輸入影像；使一影像強化電路對該輸入影像進行影像強化產生一強化影像；使一時序控制電路依一第一影像處理路徑以及一第二影像處理路徑的一處理需求對該強化影像的一原始時序進行調整，以產生具有一第一時序的一第一時序強化影像以及具有一第二時序的一第二時序強化影像；使該第一影像處理路徑對該第一時序強化影像進行處理，以產生一第一輸出影像；使該第二影像處理路徑對該第二時序強化影像進行處理，以產生一第二輸出影像；使一第一影像輸出介面輸出該第一輸出影像；以及使一第二影像輸出介面輸出該第二輸出影像。
TW111132387A 2022-08-26 2022-08-26 具有輸出時序調整機制的影像處理電路及方法 TWI825954B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW111132387A TWI825954B (zh) 2022-08-26 2022-08-26 具有輸出時序調整機制的影像處理電路及方法
US18/224,339 US20240070824A1 (en) 2022-08-26 2023-07-20 Image processing circuit and method having output timing adjustment mechanism

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111132387A TWI825954B (zh) 2022-08-26 2022-08-26 具有輸出時序調整機制的影像處理電路及方法

Publications (2)

Publication Number Publication Date
TWI825954B true TWI825954B (zh) 2023-12-11
TW202410680A TW202410680A (zh) 2024-03-01

Family

ID=89997378

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111132387A TWI825954B (zh) 2022-08-26 2022-08-26 具有輸出時序調整機制的影像處理電路及方法

Country Status (2)

Country Link
US (1) US20240070824A1 (zh)
TW (1) TWI825954B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200621035A (en) * 2004-12-07 2006-06-16 Intervideo Digital Technology Corp Architecture of computer system for simultaneously recording video signal with play control signal and method thereof
TW200743380A (en) * 2006-05-10 2007-11-16 Benq Corp Video access system and recording method
TW200840355A (en) * 2007-03-16 2008-10-01 Realtek Semiconductor Corp Digital video apparatus and method thereof for video playing and recording

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200621035A (en) * 2004-12-07 2006-06-16 Intervideo Digital Technology Corp Architecture of computer system for simultaneously recording video signal with play control signal and method thereof
TW200743380A (en) * 2006-05-10 2007-11-16 Benq Corp Video access system and recording method
TW200840355A (en) * 2007-03-16 2008-10-01 Realtek Semiconductor Corp Digital video apparatus and method thereof for video playing and recording

Also Published As

Publication number Publication date
TW202410680A (zh) 2024-03-01
US20240070824A1 (en) 2024-02-29

Similar Documents

Publication Publication Date Title
US10803826B2 (en) Apparatus, system, and method for mitigating motion-to-photon latency in headmounted displays
JP4306671B2 (ja) 動画像表示装置および動画像表示方法
CN105744358A (zh) 视频播放的处理方法及装置
JP2012027154A (ja) 画像表示システム
US10706813B1 (en) Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays
US20130038684A1 (en) System, method, and computer program product for receiving stereoscopic display content at one frequency and outputting the stereoscopic display content at another frequency
US8593575B2 (en) Video display apparatus for shortened-delay processing of a video signal and video processing method
JP2009239483A (ja) 画素変換装置とその変換方法
US9239697B2 (en) Display multiplier providing independent pixel resolutions
TWI825954B (zh) 具有輸出時序調整機制的影像處理電路及方法
US8885939B2 (en) Image processing apparatus configured to perform image processing for plural images and control method thereof
JP3269000B2 (ja) 映像信号処理回路
WO2018040599A1 (zh) 一种视频帧的处理方法、装置和计算机可读存储介质
US8570435B2 (en) Video processing method and device thereof
CN117692578A (zh) 具有输出时序调整机制的影像处理电路及方法
EP3522150A2 (en) Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays
US9070198B2 (en) Methods and systems to reduce display artifacts when changing display clock rate
JP7271492B2 (ja) 画像処理装置、および画像処理方法
JP5259867B2 (ja) 映像表示装置及び映像処理方法
TW202002604A (zh) 影像處理方法及電子設備
US20210400230A1 (en) Video display system, video conversion device, and video display method
TWI835567B (zh) 不固定幀速率的影像幀讀寫方法與系統
TWI739377B (zh) 字幕影像產生裝置及方法
US20230379525A1 (en) Video stream processing system and video stream processing method
WO2021042661A1 (zh) 一种显示设备及图像输出方法