TWI554095B - 影像處理晶片與影像處理系統 - Google Patents

Description

影像處理晶片與影像處理系統

本發明是有關於一種影像處理晶片與影像處理系統，且特別是有關於一種利用串列封包傳輸介面的影像處理晶片與影像處理系統。

在習知的技術領域中，透過串列封包的方式來進行傳輸的高速傳輸介面具有高傳輸速率以及低傳輸腳位的優點。為增加資料傳輸的可靠度，還可以利用差動信號的方式來進行傳輸，以降低電磁干擾(Electromagnetic Interference,EMI)的影響。另一方面，對於某些影像處理系統來說，往往需要透過額外的影像處理晶片來強化影像品質或對原始影像進行額外的影像處理，例如雜訊抑制或深度計算等等。然而，在某些應用情境當中，影像處理晶片並不需要進行影像處理並只負責將收到的原始影像傳送到另一處理晶片。

為了將原始影像數據傳送至另一處理晶片，習知的作法包括在影像處理晶片內之影像處理引擎的輸入端與輸出端增設一 旁路，好讓原始影像數據可以繞過影像處理引擎而不改變。然而，在此作法下，影像處理晶片的傳輸介面控制器還是接收電源供應而處於致能狀態，以解封包化與封包化經由串列封包傳輸介面而傳輸的原始影像數據。除此之外，藉由在影像處理晶片外部增設切換器或是在影像處理晶片內部設置類比的切換器也是可以將原始影像數據傳送至後端的處理晶片。然而，在影像處理晶片外部增設切換器會不僅會造成製造成本的上升，也會使整體電路面積明顯增加。若是在影像處理晶片內部設置類比的切換器，則會有頻寬與阻抗匹配隨製程而改變的問題。

有鑑於此，本發明提供一種影像處理晶片與影像處理系統，藉由增設介面橋接器以將原始影像數據直接傳送至後端晶片，並大幅減少功率消耗與設計複雜度。

本發明提出一種影像處理晶片，其包括接收介面實體層、介面橋接器以及傳送介面實體層。接收介面實體層依據介面傳輸協定接收至少一第一影像資料封包，介面橋接器經由第一介面耦接接收介面實體層。傳送介面實體層經由第二介面耦接介面橋接器。當操作於第一模式，介面橋接器經由第一介面接收第一影像資料封包。並且，介面橋接器將第一影像資料封包經由第二介面傳輸至傳送介面實體層，致使傳送介面實體層輸出第一影像資料封包。

在本發明的一實施例中，上述的影像處理晶片更包括接收介面控制器、傳送介面控制器以及影像處理模組。接收介面控制器經由第一介面耦接接收介面實體層，而傳送介面控制器經由第二介面耦接傳送介面實體層。影像處理模組耦接於接收介面控制器以及傳送介面控制器之間。當操作於第二模式，接收介面控制器從接收介面實體層接收至少一第一影像資料封包並解封包化第一影像資料封包而獲取原始影像數據。影像處理模組對原始影像數據進行影像處理而產生經處理影像數據，而傳送介面控制器接收經處理影像數據並封包化經處理影像數據而產生至少一第二影像資料封包，致使傳送介面實體層經由第二介面接收第二影像資料封包以輸出第二影像資料封包。

在本發明的一實施例中，上述的影像處理晶片更包括多工器，且多工器包括第一輸入端、第二輸入端以及輸出端。第一輸入端耦接介面橋接器，第二輸入端耦接傳送介面控制器，而輸出端耦接傳送介面實體層。當操作於第一模式，多工器的輸出端輸出第一影像資料封包。當操作於第二模式，多工器的輸出端輸出第二影像資料封包。

在本發明的一實施例中，當操作於第一模式，上述的接收介面控制器、傳送介面控制器以及影像處理模組被禁能。

在本發明的一實施例中，上述的介面傳輸協定為行動產業處理器介面(Mobile Industry Processor Interface，MIPI)協定。

在本發明的一實施例中，上述的第一介面與第二介面為 實體層協定介面(Physical Protocol Interface，PPI)。

在本發明的一實施例中，上述的介面橋接器包括一緩衝器，該緩衝器接收該至少一第一影像資料封包，並以一先進先出規則輸出暫存於該緩衝器的該至少一第一影像資料封包。

本發明提出一種影像處理系統，包括影像感測器、應用處理器以及影像處理晶片。影像感測器依據介面傳輸協定輸出至少一第一影像資料封包。應用處理器輸出控制指令。影像處理晶片耦接於影像感測器與應用處理器之間，此影像處理晶片包括接收介面實體層、介面橋接器以及傳送介面實體層。接收介面實體層依據介面傳輸協定接收第一影像資料封包，而介面橋接器經由第一介面耦接接收介面實體層。傳送介面實體層經由第二介面耦接介面橋接器。當影像處理晶片響應於控制指令操作於第一模式，介面橋接器經由第一介面接收的第一影像資料封包。介面橋接器將第一影像資料封包傳輸至傳送介面實體層，致使傳送介面實體層輸出第一影像資料封包。

基於上述，透過增設介面橋接器於接收介面實體層以及傳送介面實體層之間，可在停止供應電力至影像處理模組、傳輸介面控制器與接收介面控制器的條件下將原始影像數據傳送至後端晶片。如此，當影像處理晶片操作於第一模式，本發明可大幅降低影像處理晶片的功耗。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

100、200‧‧‧影像處理晶片

110、210‧‧‧接收介面實體層

120、220‧‧‧介面橋接器

130、230‧‧‧傳送介面實體層

240‧‧‧接收介面控制器

250‧‧‧影像處理模組

260‧‧‧傳送介面控制器

270‧‧‧多工器

280、290‧‧‧緩衝器

300‧‧‧影像感測器

400‧‧‧應用處理器

20‧‧‧影像處理系統

P1‧‧‧第一影像資料封包

P2‧‧‧第二影像資料封包

I1‧‧‧第一介面

I2‧‧‧第二介面

D1‧‧‧原始影像數據

D2‧‧‧經處理影像數據

cmd‧‧‧控制指令

40‧‧‧封包格式

410‧‧‧封包標頭

420‧‧‧有效數據

430‧‧‧封包標尾

410a、410b、410c‧‧‧封包欄位

圖1是依據本發明一實施例所繪示的影像處理晶片的示意圖。

圖2是依據本發明一實施例所繪示的影像處理系統的示意圖。

圖3是依據本發明一實施例所繪示的影像資料封包的封包格式的示意圖。

為了使本發明之內容更為明瞭，以下列舉實施例作為本發明確實能夠據以實施的範例。

圖1是依據本發明一實施例所繪示的影像處理晶片的示意圖。請參照圖1，影像處理(Image Signal Processor，ISP)晶片100是一種具有影像處理能力的晶片，可接收外來的影像資料並提供影像處理功能，並因此適於設置於影像擷取裝置或影像顯示裝置內。舉例而言，影像處理晶片100可具有雜訊抑制、深度計算、影像強化等功能，本發明對此並不限制。一般來說，影像處理晶片100可經由各式傳輸介面與其他晶片或電子元件相互連結，並依據對應的介面傳輸協定進行影像數據的交換與傳輸。

於一實施例中，影像處理晶片100包括接收介面實體層(Physical Layer，PHY)110、介面橋接器120以及傳送介面實體層(PHY)130。影像處理晶片100可透過接收介面實體層110接收外來的資料，並透過傳送介面實體層130傳送資料至影像處理 晶片100外部。接收介面實體層110依據介面傳輸協定接收至少一第一影像資料封包P1，介面橋接器120經由第一介面I1耦接接收介面實體層110。傳送介面實體層130經由第二介面I2耦接介面橋接器120。

需先說明的是，在影像處理晶片操作於第一模式下，影像處理晶片100可將未經影像處理的原始影像數據輸出至其他晶片或其他電子元件。於是，當影像處理晶片100操作於第一模式時，介面橋接器120經由第一介面I1接收第一影像資料封包P1。之後，介面橋接器120直接將第一影像資料封包P1傳輸至傳送介面實體層130。於本實施例中，由於對應於接收介面實體層110的接收器介面與對應於傳送介面實體層130的傳送介面分別與相異的其他晶片或電子元件相連，因此對應於接收介面實體層110的接收器介面與對應於傳送介面實體層130的傳送介面為不同的介面。此外，對應於接收介面實體層110的接收器介面與對應於傳送介面實體層130的傳送介面的資料傳輸速度可以相同或不同。也就是說，第一介面I1與第二介面I2的位元傳輸速率(bit rate)可能相同或不相同。

基此，介面橋接器120可對透過第一介面I1所接收的第一影像資料封包P1進行緩存，以補償第一介面I1的位元傳輸速率與第二介面I2的位元傳輸速率之間的差異。值得一提的是，於本實施例中，介面橋接器120並不會解封包化第一影像資料封包P1，也不會對第一影像資料封包P1進行其他的資料處理。接著， 介面橋接器120經由第二介面I2傳輸第一影像資料封包P1至傳送介面實體層130，致使傳送介面實體層130輸出第一影像資料封包P1。如此，影像處理晶片100可將未經影像處理的原始影像數據輸出至其他晶片或電子元件。相較於習知技術，本實施例之影像處理晶片100不僅可降低製造成本與節省電路板面積，更不會遭遇類比電路設計中頻寬與阻抗匹配隨製程改變的問題。

圖2是依據本發明一實施例所繪示的影像處理系統的示意圖。請參照圖2，影像處理系統20包括影像處理晶片200、影像感測器300以及應用處理器400。影像處理系統20例如是由一行動電子裝置內的多個電子元件而組成。上述行動電子裝置例如是智慧型手機、平板電腦或數位相機等具有拍照功能的電子裝置。需先說明的是，以下將以介面傳輸協定為行動產業處理器介面(Mobile Industry Processor Interface，MIPI)協定的為例進行說明，但本發明並不以此為限。

影像感測器300可包括鏡頭以及感光元件。感光元件例如是電荷耦合元件(Charge Coupled Device，CCD)、互補性氧化金屬半導體(Complementary Metal-Oxide Semiconductor，CMOS)元件或其他元件，影像感測器300還可包括光圈元件等，在此皆不設限。於本實施例中，影像感測器300具有影像擷取功能且同樣具有基於MIPI協定的傳輸介面，以將擷取到的原始影像數據傳送給影像處理晶片200。基此，影像感測器300依據MIPI協定輸出第一影像資料封包P1至影像處理晶片200。

應用處理器(Application Processor，AP)400用以操作各種功能與其周邊設備如影像感測器、顯示器或記憶體等等。於本實施例中，應用處理器400藉由已定義的MIPI協定以及MIPI介面與影像處理晶片200進行通訊。應用處理器400可藉由使用積體電路(Integrated Circuit，IC)或系統晶片(System On Chip，SoC)來實施，本發明對此不限制。於本實施例中，應用處理器400輸出控制指令cmd至影像處理晶片200，以控制影像處理晶片200操作於第一模式或第二模式。

影像處理晶片200耦接於影像感測器300以及應用處理器400之間。當影像處理晶片200操作於第一模式時，影像處理晶片200可直接將影像感測器300所輸出的原始影像數據直接傳送給應用處理器400。另外，當影像處理晶片200操作於第二模式時，影像處理晶片200可輸出對原始影像數據執行影像處理功能而產生的影像數據給應用處理器400。

進一步來說，於本實施例中，影像處理晶片200包括接收介面實體層210、介面橋接器220、傳送介面實體層230、接收介面控制器240、影像處理模組250、傳送介面控制器260、多工器270、緩衝器280、緩衝器290。接收介面實體層210、介面橋接器220以及傳送介面實體層230的耦接關係與功能與圖1所示的接收介面實體層110、介面橋接器120以及傳送介面實體層130的耦接關係與功能相同或相似。接收介面實體層210依據MIPI協定接收第一影像資料封包P1，而介面橋接器220經由第一介面I1 耦接接收介面實體層210。傳送介面實體層230經由第二介面I2耦接介面橋接器220。可以知道的是，當影像處理晶片200係基於MIPI協定與影像感測器300以及應用處理器400近行溝通時，接收介面實體層210以及傳送介面實體層230可以為MIPI D-PHY電路，而所述的MIPI D-PHY電路可包括一時脈通道(clock lane)與至少一資料通道(data lane)。

接收介面控制器240經由第一介面I1耦接接收介面實體層210，而傳送介面控制器260經由第二介面I2耦接傳送介面實體層230。可以知道的是，當影像處理晶片200係基於MIPI協定與影像感測器300以及應用處理器400近行溝通時，接收介面控制器240與接收介面實體層210之間的第一介面I1為MIPI協定所定義的實體層協定介面(Physical Protocol Interface，PPI)。此外，傳送介面控制器260與傳送介面實體層230之間的第二介面I2也為MIPI協定所定義的PPI。

於本實施例中，當影像處理晶片200響應於控制指令cmd而操作於第一模式時，介面橋接器220經由第一介面I1接收的第一影像資料封包P1。於本實施例中，介面橋接器220可包括緩衝器，上述緩衝器接收第一影像資料封包P1以對第一影像資料封包P1進行緩存，並以一先進先出(First in First out，FIFO)規則輸出暫存於上述緩衝器的第一影像資料封包P1。根據這樣的特性，介面橋接器220便可以用來平衡相異介面之資料傳輸速率之間的差異，使得透過第一介面I1與第二介面I2傳輸的資料不會有錯漏 或其他問題的發生。

之後，介面橋接器220經由第二介面I2傳輸第一影像資料封包P1至傳送介面實體層230，致使傳送介面實體層230輸出第一影像資料封包P1。值得一提的是，當影像處理晶片200響應於控制指令cmd而操作於第一模式時，由於影像數據流不需要經過接收介面控制器240、傳送介面控制器260以及影像處理模組250，因此接收介面控制器240、傳送介面控制器260以及影像處理模組250被禁能(disabled)。

具體來說，影像處理晶片200內的電力供應裝置或外來電源可停止提供電力至接收介面控制器240、傳送介面控制器260以及影像處理模組250。如此，當影像處理晶片200響應於控制指令cmd而操作於第一模式時，藉由關閉接收介面控制器240、傳送介面控制器260、影像處理模組250及其他相關電路模組的電力供應可大幅降低影像處理晶片200於第一模式下的功耗。

另一方面，影像處理模組250耦接於接收介面控制器240以及傳送介面控制器260之間。緩衝器280與緩衝器290為線緩衝器，用以暫存影像數據。接收介面控制器240可依據MIPI協定解封包化第一影像資料封包P1，以將原始影像數據D1輸出至緩衝器280進行緩存。緩衝器280耦接於接收介面控制器240與之間影像處理模組250，影像處理模組250例如可包括一或多個影像處理引擎與資料管線(data pipeline)，以對原始影像數據D1進行影像處理而產生經處理影像數據D2。影像處理模組250可將經處 理影像數據D2傳送至緩衝器290進行緩存，而緩衝器290再將經處理影像數據D2傳送至傳送介面控制器260。

詳細來說，當影像處理晶片200響應於控制指令cmd而操作於第二模式時，接收介面控制器240從接收介面實體層210接收第一影像資料封包P1並解封包化第一影像資料封包P1而獲取原始影像數據D1。影像處理模組250對原始影像數據D1進行影像處理而產生經處理影像數據D2，而傳送介面控制器260接收經處理影像數據D2並封包化經處理影像數據D2而產生第二影像資料封包P2，致使傳送介面實體層230經由第二介面I2接收第二影像資料封包P2以輸出第二影像資料封包P2至應用處理器400。

舉例來說，圖3是依據本發明一實施例所繪示的影像資料封包的封包格式的示意圖。請參照圖3，MIPI協定所規範的影像資料封包40包括封包標頭(Packet Header，PH)410、有效數據(Payload data)420以及封包標尾(Packet Footer，PF)430。因此，接收介面控制器240可依據MIPI協定所規範的封包格式解封包化第一影像資料封包P1，並據以獲取第一影像資料封包P1中的有效數據，好讓影像處理模組250可對原始影像數據D1進行影像處理。此外，封包標頭410包括封包欄位410a、封包欄位410b以及封包欄位410c。封包欄位410a存放影像資料封包40的資料識別碼(Data Identifier，DI)，封包欄位410b存放影像資料封包40的資料串總數(Word Count，WC)，封包欄位410c存放影像資料封包40的錯誤修正碼(Error Correction Code，ECC)。相似的， 傳送介面控制器260可依據MIPI協定所規範的封包格式封包化經處理影像數據D2而產生至少一第二影像資料封包P2。需說明的是，圖3所示之範例與修改資料識別碼僅為示範性說明，並非用以限定本發明。

需要特別說明的是，在本實施例中，基於MIPI協定的規範，係為MIPI傳送器中之PPI的第二介面I2屬於訊號交握(handshake)介面，因此多工器270經配置以選擇將介面橋接器220或傳送介面控制器260電性連結至傳送介面實體層230。詳細來說，多工器270包括第一輸入端、第二輸入端以及輸出端。第一輸入端耦接介面橋接器220，第二輸入端耦接傳送介面控制器260，而輸出端耦接傳送介面實體層230。當影像處理晶片200操作於第一模式，多工器270的輸出端輸出第一影像資料封包P1。當影像處理晶片200操作於第二模式，多工器的輸出端輸出第二影像資料封包P2。

綜上所述，藉由增設介面橋接器於接收介面實體層以及傳送介面實體層之間，可在停止供應電力至影像處理模組、傳輸介面控制器與接收介面控制器的條件下將原始影像數據傳送至後端晶片。如此，當影像處理晶片操作於第一模式，本發明可大幅降低影像處理晶片的功耗。除此之外，由於不需要在影像處理晶片外設置切換器，本發明的可有效降低晶片製作成本並節省電路面積。由於不需要在影像處理晶片內設置類比的切換器，本發明不會遭遇類比電路設計中頻寬與阻抗匹配隨製程改變的問題。對 於介面傳輸協定為MIPI協定的實施例來說，第一介面與第二介面為MIPI協定所規範的PPI，因此本發明之介面橋接器與各家廠商所出產的MIPI D-PHY之間的相容性高。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100‧‧‧影像處理晶片

110‧‧‧接收介面實體層

120‧‧‧介面橋接器

130‧‧‧傳送介面實體層

P1‧‧‧第一影像資料封包

I1‧‧‧第一介面

I2‧‧‧第二介面

Claims (8)

1. 一種影像處理晶片，包括：一接收介面實體層，依據一介面傳輸協定接收至少一第一影像資料封包；一介面橋接器，經由一第一介面耦接該接收介面實體層；一傳送介面實體層，經由一第二介面耦接該介面橋接器；一接收介面控制器，經由該第一介面耦接該接收介面實體層；一傳送介面控制器，經由該第二介面耦接該傳送介面實體層；以及一影像處理模組，耦接於該接收介面控制器以及該傳送介面控制器之間，其中，當操作於一第一模式，該介面橋接器經由該第一介面接收的該至少一第一影像資料封包，該介面橋接器將該至少一第一影像資料封包經由該第二介面傳輸至該傳送介面實體層，致使該傳送介面實體層輸出該至少一第一影像資料封包，其中，當操作於一第二模式，該接收介面控制器從該接收介面實體層接收該至少一第一影像資料封包並解封包化該至少一第一影像資料封包而獲取原始影像數據，該影像處理模組對該原始影像數據進行影像處理而產生經處理影像數據，該傳送介面控制器接收該經處理影像數據並封包化該經處理影像數據而產生至少一第二影像資料封包，致使該傳送介面實體層經由該第二介面接收該至少一第二影像資料封包以輸出該至少一第二影像資料封 包。
2. 如申請專利範圍第1項所述的影像處理晶片，更包括：一多工器，包括一第一輸入端、一第二輸入端以及一輸出端，其中該第一輸入端耦接該介面橋接器，該第二輸入端耦接該傳送介面控制器，該輸出端耦接該傳送介面實體層，其中，當操作於該第一模式，該多工器的該輸出端輸出該至少一第一影像資料封包，當操作於該第二模式，該多工器的該輸出端輸出該至少一第二影像資料封包。
3. 如申請專利範圍第1項所述的影像處理晶片，其中當操作於該第一模式，該接收介面控制器、該傳送介面控制器以及該影像處理模組被禁能。
4. 如申請專利範圍第1項所述的影像處理晶片，其中該介面傳輸協定為行動產業處理器介面(Mobile Industry Processor Interface，MIPI)協定。
5. 如申請專利範圍第4項所述的影像處理晶片，其中該第一介面與該第二介面為實體層協定介面(Physical Protocol Interface，PPI)。
6. 如申請專利範圍第1項所述的影像處理晶片，其中該介面橋接器包括一緩衝器，該緩衝器接收該至少一第一影像資料封包，並以一先進先出規則輸出暫存於該緩衝器的該至少一第一影像資料封包。
7. 一種影像處理系統，包括： 一影像感測器，依據一介面傳輸協定輸出至少一第一影像資料封包；一應用處理器，輸出一控制指令；以及一影像處理晶片，耦接於該影像感測器與該應用處理器之間，該影像處理晶片包括：一接收介面實體層，依據該介面傳輸協定接收該至少一第一影像資料封包；一介面橋接器，經由一第一介面耦接該接收介面實體層；一傳送介面實體層，經由一第二介面耦接該介面橋接器，其中當該影像處理晶片響應於該控制指令操作於一第一模式，該介面橋接器經由該第一介面接收的該至少一第一影像資料封包，該介面橋接器將該至少一第一影像資料封包經由該第二介面傳輸至該傳送介面實體層，致使該傳送介面實體層輸出該至少一第一影像資料封包；一接收介面控制器，經由該第一介面耦接該接收介面實體層；一傳送介面控制器，經由該第二介面耦接該傳送介面實體層；以及一影像處理模組，耦接於該接收介面控制器以及該傳送介面控制器之間，其中當該影像處理晶片響應於該控制指令而操作於一第二模式，該接收介面控制器從該接收介面實體層接收該 第一影像資料封包並解封包化該第一影像資料封包而獲取原始影像數據，該影像處理模組對該原始影像數據進行影像處理而產生經處理影像數據，該傳送介面控制器接收該經處理影像數據並封包化該經處理影像數據而產生至少一第二影像資料封包，致使該傳送介面實體層經由該第二介面接收該至少一第二影像資料封包以輸出該至少一第二影像資料封包。
8. 如申請專利範圍第7項所述的影像處理系統，其中該影像處理晶片更包括：一多工器，包括一第一輸入端、一第二輸入端以及一輸出端，其中該第一輸入端耦接該介面橋接器，該第二輸入端耦接該傳送介面控制器，該輸出端耦接該傳送介面實體層，其中，當該影像處理晶片響應於該控制指令操作於該第一模式，該多工器的該輸出端輸出該至少一第一影像資料封包，當操作於該第二模式，該多工器的該輸出端輸出該至少一第二影像資料封包。