TWI831517B - 電子裝置與相關的影像處理方法 - Google Patents

電子裝置與相關的影像處理方法 Download PDF

Info

Publication number
TWI831517B
TWI831517B TW111148038A TW111148038A TWI831517B TW I831517 B TWI831517 B TW I831517B TW 111148038 A TW111148038 A TW 111148038A TW 111148038 A TW111148038 A TW 111148038A TW I831517 B TWI831517 B TW I831517B
Authority
TW
Taiwan
Prior art keywords
image data
processed image
generate
transmission interval
circuit
Prior art date
Application number
TW111148038A
Other languages
English (en)
Other versions
TW202425610A (zh
Inventor
張文林
沛基 梁
鄭景升
Original Assignee
瑞昱半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞昱半導體股份有限公司 filed Critical 瑞昱半導體股份有限公司
Priority to TW111148038A priority Critical patent/TWI831517B/zh
Priority to US18/237,380 priority patent/US20240205443A1/en
Application granted granted Critical
Publication of TWI831517B publication Critical patent/TWI831517B/zh
Publication of TW202425610A publication Critical patent/TW202425610A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635—HDMI

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本發明揭露了一種電子裝置，其包含解碼器、影像處理電路、偵測電路、傳輸區間決定電路、輔助資料擷取電路以及編碼器。解碼器用以對輸入訊號進行解碼以產生解碼後訊號；影像處理電路用以對解碼後訊號進行影像處理以產生處理後影像資料；偵測電路用以偵測該處理後影像資料中主動顯示區域以及垂直同步訊號的時序，以產生偵測結果；傳輸區間決定電路用以根據偵測結果以決定出處理後影像資料的傳輸區間；輔助資料擷取電路用以自解碼後訊號中擷取輔助資料；以及編碼器將輔助資料置放於處理後影像資料中的傳輸區間，並進行編碼以產生輸出訊號。

Description

電子裝置與相關的影像處理方法
本發明係有關於高畫質多媒體介面(High Definition Multimedia Interface，HDMI)的訊號處理方法。
在HDMI的規格書(例如版本2.1)中，定義了一個用來傳送擴充元資料封包(Extended Metadata Packet)的圖框準確封包區域(Frame Accurate Packet Area，FAPA)，其中FAPA的範圍為圖框之主動顯示區域的第一列(row)的水平空白間隙(Horizontal Blanking Interval)到垂直空白間隙(Vertical Blanking Interval，VBI)的一半。詳細來說，如第1圖所示之由垂直同步訊號Vsync與水平同步訊號Hsync所界定之兩個圖框F1、F2，圖框F1之主動顯示區域與圖框F2之主動顯示區域之間的區域為垂直空白間隙，而FAPA的底部則為第1圖所示之垂直空白間隙之列數量的一半。
然而，若是影像來源支援可變圖框率(Variable Frame Rate)或是可變刷新率(Variable Refresh Rate)，則由於垂直空白間隙的列數量會隨著不同圖框而變化，故FAPA的範圍也會跟著變動，此時電子裝置需要使用軟體來不斷地設定用來傳送擴充元資料封包的區間以產生符合規格書要求的HDMI訊號，造成系統 的負擔。
因此，本發明的目的在於提出一種電子裝置，其可以透過偵測圖框之主動顯示區域與垂直同步訊號，以決定出FAPA的範圍供傳送輔助資料，以解決先前技術的問題。
在本發明的一個實施例中，揭露了一種電子裝置，其包含有一解碼器、一影像處理電路、一偵測電路、一傳輸區間決定電路、一輔助資料擷取電路以及一編碼器。該解碼器用以對一輸入訊號進行解碼以產生一解碼後訊號；該影像處理電路用以對該解碼後訊號進行影像處理以產生一處理後影像資料；該偵測電路用以偵測該處理後影像資料中一主動顯示區域以及一垂直同步訊號的時序，以產生一偵測結果；該傳輸區間決定電路用以根據該偵測結果以決定出該處理後影像資料的一傳輸區間；該輔助資料擷取電路用以自該解碼後訊號中擷取一輔助資料；以及該編碼器用以將該輔助資料置放於該處理後影像資料中的該傳輸區間，並進行編碼以產生一輸出訊號。
在本發明的一個實施例中，揭露了一種訊號處理方法，其包含有以下步驟：對一輸入訊號進行解碼以產生一解碼後訊號；對該解碼後訊號進行影像處理以產生一處理後影像資料；偵測該處理後影像資料中一主動顯示區域以及一垂直同步訊號的時序，以產生一偵測結果；根據該偵測結果以決定出該處理後影像資料的一傳輸區間；自該解碼後訊號中擷取一輔助資料；以及將該輔助資料置放於該處理後影像資料中的該傳輸區間，並進行編碼以產生一輸出訊號。
200:電子裝置
210:HDMI解碼器
220:影像處理電路
230:偵測電路
240:傳輸區間決定電路
250:輔助資料擷取電路
260:緩衝器
270:HDMI編碼器
310,320:主動顯示區域
400~412:步驟
F1,F2:圖框
Hsync:水平同步訊號
Vsync:垂直同步訊號
VBI:垂直空白間隙
第1圖為圖框及所對應之圖框準確封包區域的示意圖。
第2圖為根據本發明一實施例之電子裝置的示意圖。
第3圖為處理後影像資料中主動顯示區域與垂直同步訊號的時序圖。
第4圖為根據本發明一實施例之訊號處理方法的流程圖。
第2圖為根據本發明一實施例之電子裝置200的示意圖。如第2圖所示，電子裝置200包含了一HDMI解碼器210、一影像處理電路220、一偵測電路230、一傳輸區間決定電路240、一輔助資料擷取電路250、一緩衝器260以及一HDMI編碼器270。在本實施例中，電子裝置200係為一HDMI中繼器(repeater)，亦即電子裝置200會接收來自一外部裝置的HDMI輸入訊號，並對所接收的HDMI訊號做處理後，透過一HDMI傳輸線傳送一HDMI輸出訊號至另一電子裝置，例如一顯示裝置來進行影像播放。
在電子裝置200的操作中，HDMI解碼器210接收一HDMI輸入訊號，並對HDMI輸入訊號進行解碼操作以及解序列(de-serialize)操作以產生一解碼後訊號，其中該解碼後訊號包含了如第1圖所示之圖框內容，亦即包含了垂直同步訊號Vsync、水平同步訊號Hsync、主動顯示區域之影像資料、位於FAPA的輔助資料、以及其他的圖框資訊。在本實施例中，HDMI輸入訊號係支援可變圖框率或是可變刷新率，因此，該解碼後訊號中的每一個圖框之垂直空白間隙的寬度(亦即，列數量)並不一定相同。接著，影像處理電路220對該解碼後訊號進行影像處 理操作以產生一處理後影像資料，其中影像處理電路220可以對該解碼後訊號進行影像放大操作(例如，增加原有影像的解析度)、影像縮小操作(例如，降低原有影像的解析度)、或是直接將該解碼後訊號作為該處理後影像資料。
接著，偵測電路230對該處理後影像資料進行偵測以取得垂直同步訊號Vsync與主動顯示區域的時序資訊。具體來說，參考第3圖，其繪示了該處理後影像資料中主動顯示區域與垂直同步訊號Vsync的時序圖，其中第一圖框的主動顯示區域310與其後之垂直同步訊號Vsync之間的區域為前肩區域(front porch)、而垂直同步訊號Vsync與位於其後之第二圖框的主動顯示區域320之間的區域為後肩區域(back porch)，而偵測電路230會偵測主動顯示區域310的結束時間以及垂直同步訊號Vsync的時間以產生一偵測結果。在一實施例中，偵測電路230偵測主動顯示區域310之訊號的一下緣(falling edge)及垂直同步訊號Vsync的一上緣(rising edge)以產生一偵測結果，其中該偵測結果係指出主動顯示區域310之下緣與垂直同步訊號Vsync之上緣的時序資訊，而在一範例中，該偵測結果可以指出主動顯示區域310之下緣到垂直同步訊號Vsync之上緣之間的寬度(例如，前肩區域的列數量)。在另一實施例中，偵測電路230偵測主動顯示區域310之訊號的一下緣及垂直同步訊號Vsync的一下緣以產生一偵測結果，其中該偵測結果係指出主動顯示區域310之下緣與垂直同步訊號Vsync之下緣的時序資訊，而在一範例中，該偵測結果可以指出主動顯示區域310之下緣到垂直同步訊號Vsync之下緣之間的寬度。在一實施例中，垂直同步訊號Vsync的寬度是固定的。
傳輸區間決定電路240根據偵測電路230所產生的該偵測結果以產生一傳輸區間，其中該傳輸區間係為HDMI輸入訊號中位於FAPA之輔助資料可以傳送的區間，亦即傳輸區間決定電路240所產生的該傳輸區間可以是HDMI規格 書中的FAPA。在一實施例中，由於在可變圖框率或是可變刷新率設計下，只有第3圖所示的前肩區域會隨著圖框率不同而跟著變動，而後肩區域對於每一個圖框來說都是一個固定寬度，因此，透過偵測電路230所產生的該偵測結果便可以準確地得知垂直空白間隙(VBI)的寬度，亦即將所偵測到之主動顯示區域310之下緣到垂直同步訊號Vsync之下緣之間的寬度加上後肩區域的固定寬度以得到垂直空白間隙的寬度。接著，在決定出垂直空白間隙的寬度之後，傳輸區間決定電路240便可以根據垂直空白間隙的寬度來決定出傳輸區間，以HDMI規格書中的FAPA為例，由於FAPA的範圍為圖框之主動顯示區域的第一列(row)的水平空白間隙到垂直空白間隙的一半，故傳輸區間決定電路240可以決定出主動顯示區域結束後至垂直空白間隙的一半來作為傳輸區間。舉例來說，假設所決定出的垂直空白間隙的寬度為180列，則傳輸區間為主動顯示區域結束後的90列。
需注意的是，上述傳輸區間的計算僅是作為範例說明，而非是本發明的限制。在其他的實施例中，只要傳輸區間的寬度需要隨著垂直空白間隙的寬度而跟著變動，傳輸區間決定電路240便可以決定出適當的傳輸區間，而並不限定是目前HDMI規格書中之FAPA所描述之垂直空白間隙的一半。
另一方面，輔助資料擷取電路250可以自HDMI解碼器210所輸出的該解碼後訊號來取得位於FAPA的至少一輔助資料，其中該至少一輔助資料可以包含高動態範圍(High Dynamic Range，HDR)元資料(metadata)、壓縮視訊傳輸擴充元資料(Compressed Video Transport Extended Metadata，CVTEM)、及/或其他任何關於視訊或是音訊的輔助資料。接著，所擷取出的輔助資料被儲存至緩衝器260。
接著，在傳輸區間決定電路240決定出傳輸區間之後，HDMI編碼器270便可以知道影像處理電路220所產生之該處理後影像資料中可以用來傳送輔助資料的傳輸區間，因此，HDMI編碼器270可以將緩衝器260內所儲存的輔助資料放置在該處理後影像資料的傳輸區間，並進行編碼以及序列化(serialize)操作以產生HDMI輸出訊號至後端的電子裝置。
在以上的實施例中，由於電子裝置200係使用偵測電路230來偵測主動顯示區域與垂直同步訊號的時序，以供與傳輸區間決定電路240決定出可以用來傳送輔助資料的傳輸區間，因此，可以快速有效率地產生HDMI輸出訊號，以解決先前技術中需要由軟體來進行動態設定的問題。
需注意的是，在以上的實施例中，電子裝置200係以HDMI中繼器來做為說明，但本發明並不以此為限。在其他的實施例中，電子裝置200可以應用於其他的規格，亦即第2圖的HDMI解碼器210與HDMI編碼器270可以分別是符合其他規格的解碼器與編碼器。
第4圖為根據本發明一實施例之訊號處理方法的流程圖。同時參考以上實施例所述的內容，訊號處理方法的流程如下所述。
步驟400：流程開始。
步驟402：對一輸入訊號進行解碼以產生一解碼後訊號。
步驟404：對該解碼後訊號進行影像處理以產生一處理後影像資料。
步驟406：偵測該處理後影像資料中一主動顯示區域以及一垂直同步訊號的時序，以產生一偵測結果。
步驟408：根據該偵測結果以決定出該處理後影像資料的一傳輸區 間。
步驟410：自該解碼後訊號中擷取一輔助資料。
步驟412：將該輔助資料置放於該處理後影像資料中的該傳輸區間，並進行編碼以產生一輸出訊號。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
200:電子裝置
210:HDMI解碼器
220:影像處理電路
230:偵測電路
240:傳輸區間決定電路
250:輔助資料擷取電路
260:緩衝器
270:HDMI編碼器

Claims (9)

  1. 一種電子裝置，包含有：一解碼器，用以對一輸入訊號進行解碼以產生一解碼後訊號；一影像處理電路，用以對該解碼後訊號進行影像處理以產生一處理後影像資料；一偵測電路，用以偵測該處理後影像資料中一主動顯示區域以及一垂直同步訊號的時序，以產生一偵測結果；一傳輸區間決定電路，耦接於該偵測電路，用以根據該偵測結果以決定出該處理後影像資料的一傳輸區間；一輔助資料擷取電路，用以自該解碼後訊號中擷取一輔助資料；以及一編碼器，用以將該輔助資料置放於該處理後影像資料中的該傳輸區間，並進行編碼以產生一輸出訊號；其中該偵測電路偵測該處理後影像資料中該主動顯示區域之下緣以及該垂直同步訊號之上緣的時序，以產生該偵測結果。
  2. 一種電子裝置，包含有：一解碼器，用以對一輸入訊號進行解碼以產生一解碼後訊號；一影像處理電路，用以對該解碼後訊號進行影像處理以產生一處理後影像資料；一偵測電路，用以偵測該處理後影像資料中一主動顯示區域以及一垂直同步訊號的時序，以產生一偵測結果；一傳輸區間決定電路，耦接於該偵測電路，用以根據該偵測結果以決定出該處理後影像資料的一傳輸區間； 一輔助資料擷取電路，用以自該解碼後訊號中擷取一輔助資料；以及一編碼器，用以將該輔助資料置放於該處理後影像資料中的該傳輸區間，並進行編碼以產生一輸出訊號；其中該偵測電路偵測該處理後影像資料中該主動顯示區域之下緣以及該垂直同步訊號之下緣的時序，以產生該偵測結果。
  3. 如申請專利範圍第1或2項所述之電子裝置，其中該傳輸區間決定電路根據該偵測結果以計算出該處理後影像資料之一垂直空白間隙(Vertical Blanking Interval，VBI)的寬度，以供決定出該處理後影像資料的該傳輸區間。
  4. 一種電子裝置，包含有：一解碼器，用以對一輸入訊號進行解碼以產生一解碼後訊號；一影像處理電路，用以對該解碼後訊號進行影像處理以產生一處理後影像資料；一偵測電路，用以偵測該處理後影像資料中一主動顯示區域以及一垂直同步訊號的時序，以產生一偵測結果；一傳輸區間決定電路，耦接於該偵測電路，用以根據該偵測結果以決定出該處理後影像資料的一傳輸區間；一輔助資料擷取電路，用以自該解碼後訊號中擷取一輔助資料；以及一編碼器，用以將該輔助資料置放於該處理後影像資料中的該傳輸區間，並進行編碼以產生一輸出訊號；其中該偵測電路偵測該處理後影像資料中該主動顯示區域之下緣以及該垂直同步訊號之下緣的時序，以產生該偵測結果；該傳輸區間決定電路 根據該偵測結果以得到該處理後影像資料之一前肩區域(front porch)的寬度，以計算出該處理後影像資料之一垂直空白間隙的寬度，以供決定出該處理後影像資料的該傳輸區間。
  5. 如申請專利範圍第4項所述之電子裝置，其中該傳輸區間為該處理後影像資料中該主動顯示區域結束後的該垂直空白間隙的一部份。
  6. 如申請專利範圍第5項所述之電子裝置，其中該傳輸區間為該處理後影像資料中該主動顯示區域結束後至該垂直空白間隙的一半。
  7. 如申請專利範圍第1、2或4項所述之電子裝置，其中該輔助資料包含一高動態範圍(High Dynamic Range，HDR)元資料(metadata)或是一壓縮視訊傳輸擴充元資料(Compressed Video Transport Extended Metadata，CVTEM)。
  8. 如申請專利範圍第1、2或4項所述之電子裝置，其中該電子裝置支援一高畫質多媒體介面(High Definition Multimedia Interface，HDMI)規格，該解碼器為一HDMI解碼器，且該編碼器為一HDMI編碼器。
  9. 一種訊號處理方法，包含有：對一輸入訊號進行解碼以產生一解碼後訊號；對該解碼後訊號進行影像處理以產生一處理後影像資料；偵測該處理後影像資料中一主動顯示區域以及一垂直同步訊號的時序，以產生一偵測結果； 根據該偵測結果以決定出該處理後影像資料的一傳輸區間；自該解碼後訊號中擷取一輔助資料；以及將該輔助資料置放於該處理後影像資料中的該傳輸區間，並進行編碼以產生一輸出訊號；其中該偵測電路偵測該處理後影像資料中該主動顯示區域之下緣以及該垂直同步訊號之上緣或下緣的時序，以產生該偵測結果。
TW111148038A 2022-12-14 2022-12-14 電子裝置與相關的影像處理方法 TWI831517B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW111148038A TWI831517B (zh) 2022-12-14 2022-12-14 電子裝置與相關的影像處理方法
US18/237,380 US20240205443A1 (en) 2022-12-14 2023-08-23 Electronic device and associated signal processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111148038A TWI831517B (zh) 2022-12-14 2022-12-14 電子裝置與相關的影像處理方法

Publications (2)

Publication Number Publication Date
TWI831517B true TWI831517B (zh) 2024-02-01
TW202425610A TW202425610A (zh) 2024-06-16

Family

ID=90824594

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111148038A TWI831517B (zh) 2022-12-14 2022-12-14 電子裝置與相關的影像處理方法

Country Status (2)

Country Link
US (1) US20240205443A1 (zh)
TW (1) TWI831517B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109981926A (zh) * 2013-06-21 2019-07-05 索尼公司 显示装置、接收装置和方法及计算机可读存储介质
TW202126034A (zh) * 2019-12-17 2021-07-01 瑞昱半導體股份有限公司 顯示埠對高畫質多媒體介面轉換器以及訊號轉換方法
CN113114967A (zh) * 2018-01-22 2021-07-13 美国莱迪思半导体公司 多媒体通信桥接器
EP3968318A1 (en) * 2020-09-14 2022-03-16 LG Electronics Inc. Display device and method of operating the same
TW202222079A (zh) * 2020-11-25 2022-06-01 瑞昱半導體股份有限公司 視訊處理方法及視訊處理器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109981926A (zh) * 2013-06-21 2019-07-05 索尼公司 显示装置、接收装置和方法及计算机可读存储介质
CN113114967A (zh) * 2018-01-22 2021-07-13 美国莱迪思半导体公司 多媒体通信桥接器
TW202126034A (zh) * 2019-12-17 2021-07-01 瑞昱半導體股份有限公司 顯示埠對高畫質多媒體介面轉換器以及訊號轉換方法
EP3968318A1 (en) * 2020-09-14 2022-03-16 LG Electronics Inc. Display device and method of operating the same
TW202222079A (zh) * 2020-11-25 2022-06-01 瑞昱半導體股份有限公司 視訊處理方法及視訊處理器

Also Published As

Publication number Publication date
US20240205443A1 (en) 2024-06-20
TW202425610A (zh) 2024-06-16

Similar Documents

Publication Publication Date Title
US11335297B2 (en) Method for displaying projection picture and method for rotating projection picture
US6927746B2 (en) Apparatus and method for detecting display mode
US9578210B2 (en) A/V Receiving apparatus and method for delaying output of audio signal and A/V signal processing system
US8199780B2 (en) Multimedia apparatus and synchronization method thereof
US8925003B2 (en) Mechanism for facilitating synchronization of audio and video between multiple media devices
US10788946B2 (en) Display apparatus, source apparatus, and methods of providing content
KR102402247B1 (ko) 영상 표시 장치, 및 그것의 신호 처리 방법
CN102077585A (zh) 影像加工装置、影像加工方法、影像加工集成电路、影像再现装置
US20050008323A1 (en) Apparatus and method of signal reproduction using a digital visual interface/high definition multimedia interface compatible connector
WO2004107746A1 (ja) デジタルインターフェイスデコード受信装置
TWI749855B (zh) 訊號傳輸裝置、連接裝置與轉接線
JP2015130662A (ja) Ａｖ機器及びその制御方法
US10785386B1 (en) DP to HDMI converter and associated signal conversion method
CN113612938A (zh) 一种多类型自适应分辨率的图像转换方法及装置
TWI831517B (zh) 電子裝置與相關的影像處理方法
CN105491368A (zh) 基于fpga的4k裸眼3d一体机及其播放视频的方法
US20240119910A1 (en) Image capture device with variable refresh rate signal processing capability and image processing method thereof
JP2009047698A (ja) シリアル・データ・コミュニケーションのチャネル間スキュー測定方法及び装置
CN113055744A (zh) 一种视频解码方法及装置
US9456180B2 (en) Image processing apparatus, communication system, and computer program
CN115514988A (zh) 处理设备、电子设备和输出视频的方法
CN118233584A (zh) 电子装置与相关的影像处理方法
KR20220089273A (ko) 전자 장치 및 그 제어 방법
US20120147142A1 (en) Image transmitting apparatus and control method thereof, and image receiving apparatus and control method thereof
US8203651B2 (en) Video signal synchronization