TWI307055B - Wireless device having a configurable camera interface to support digital image processing - Google Patents

Description

130705.5 九、發明說明： 【發明所屬之技術領域】 本發明涉及蜂窩無線通信系統，更具體地，涉及一種獨特的可配 置的相機介面’歧援蜂g無線通信彡賴無_翻的數位圖像處 理。 【先前技術】 在世界上的許多居民區’蜂窩無線通信系統支援無線通信服務。 雖然蜂窩無線通信系統最初構造是用於提供聲音通信業務，但現在也 用來支援資料和視頻（多媒體)通信。隨著人們對具有視頻功能的無線 終端和因特_認可和普遍使用’對視頻和資料通信業務的要求也迅 速增長。過去’視頻和資料聽是通财線連接而提供的；現在，蜂 窩無線用戶要求他們所使用的無線設備也能支援視頻和資料通信。隨 著時間的推移，對無線通信系統中的視頻和資料通信的需求只會增 長。因此，業内正在對蜂窩無線通信系統進行創建/修改，以滿足這些 萌發的需求。 蜂窩無線網路包括“網路基礎設施”，它可以與位於各自的服務 覆蓋區内的無線終端進行無線通信。該網路基礎設施通常包括多個散 佈于服務覆舰㈣基站，每個基站支援各自蜂寫（或區域）内的無線 通仏。這些基站連接到基站控制器（BSC)上，每個BSC服務於多個基 站。每個BSC連接到移動交換中心（MSC)。每個BSC通常也直接或間 接地連接到因特網上。 在運订中’每個基站與在它的蜂窩/區域内運行的多個無線終端通 1307055 時間大約爲577//s。每個時隙對應一個射頻脈衝。一細來傳送資訊 的標準Rm衝’通常包括—個左邊，一個中間碼和一個右邊。該中間 '碼通常包括—個訓練序列，該訓練序列確切的配置取決於所使用的調 -製格式。但是，其他類型的即脈衝也被本技術領域的人所熟知。在前 *向鏈結中的每一組的四個脈衝攜帶了部分鏈結層f料塊全鏈結層資料 _•塊、或多鏈結層資料塊。同樣包括在這四個脈衝中的還有控制資訊， 該控㈣訊不僅可縣要該龍塊的無線終端個，也可供其他的無 鲁線終端使用。 GPRS和EDGE包括多種編碼/壓縮(puncture)方案⑽⑽)和多種 調製格式’如’高斯最小相移鍵控（GMSK)調製或八相柿鍵控(隨) 調製。在任何時間所使用的具體的編碼/壓縮方案和調製格式取決於業 務前向鏈結通道的跡如，通道的信姐⑽）或雜谓比（卿、 通道的誤碼率、通道的誤塊料。由於任何—個rf脈衝可使用多 製格式’無線通信系統要求強大的處理能力，輯包括在靠衝中的 資訊進行編碼和解碼。這個決定還受到與通信相騎無線電狀態的變 化及所需要的質量水平的影響。 視頻編碼標準—般以二維矩職序列的形式提供視細像。逢 改進的微電子技術提供了新的可編程處卿，軟體功能正變得日羞 =，添加了附加魏。這些功能包括在軸連接中多媒體内容或可 貝況的翻。今天無線終端已經不只限於聲音通信。也可以 類型資料的通信’包括即時或多媒n '、 當移動無線設備用於多樣環境中時，對可視通信的需求變得更 1307055 強烈。用戶想要即時接入這種視聽資訊。相應地，製造商已經選擇提 供帶有變化能力（with varying capabili1;ies)的圖像捕獲裝置。例 如’可崎具有較大變化能力_機侧H或圖像捕獲裝置結合到利 用-個共同或類似的基礎平臺的無線終_。這使得製造商能夠提供 —具有變化能力的最終産品的系列產品。 多媒體在足夠低的速率時必須具有可接受的質量，使其能夠在蜂 寓無線環境中有效地傳送。活動圖像專#組（MpEG)標準滿足了這些 需要。這些標準包括，如舰G4和脈G7，其規定了描述不同類型多 媒體資訊的方法，這些多媒體資訊包括靜態圖片、視頻、語音、音頻、 ，形、3D模型以及合成的音頻和視頻。猶⑷票準想達到的目標是獲 得比常規編竭支術好很多的壓縮率。但是，爲了達到低資料速率，^ 常要求處理器進行計算密集操作。使這些問題變得更加複雜的是，可 能要求在域_器_像捕賴置與在板的―d)或預覽的顯 不和圖像、_器之間進行格式變換。另外，猶G—1/2/4和H. _•挪 視頻壓縮“準姐A程度域賴於在計算上較苛求的演算法。 的圖像格式和多媒體標準使得對無線環境中的處理器的需求 m。與通過陸上通信線連接到網路上的臺式電腦不同，移動無 線終端在它本身與服務基站之間有—個有_f料鱗。另外，料 線終端内的處理器被委任了多個處理任務。這些增 增的、 圖像格式_，响些料& /、要求的 一^像秸式與不同的客戶設備相關，這些增加的 處理而要附加的處理能力， 肉的、士此牵 罐持即時或流音頻/視覺通信。無線終端 理縣_加條件需要使⑽的紐來平衡系統處理器的 1307055 處理要求，同時保持這些即時音頻/視覺通信。 【發明内容】 爲了克服現有技術設備的缺點，本發明提供了—種終端内的 具有可配置相機介面_機，該無線終端處理多種資料格式的圖像。 該相機介面設有高級精簡指令集電腦⑽c)機器（纖）和可操作地 連接到該纖賴像處理加速器。該纖和加速器的組合從可用來從 連接至相機介面爾㈣输㈣料格她峨捕獲的 數位圖像。基於包括在該被捕獲的數位圖像中的資訊，對該加速器進 订配置。對該被捕獲的數位圖像進行處理以生成第二資料格式的第二 資^像。該第-資料格式與該第二資料格式不相同。被捕獲的數位 ^该㈣位圖像被提供給兩個分開的設備。在—個具體實施例 中，該第-資料格式和第二資料格式從格式、隨格式職 格式YUV格式或者其他爲本領域的技術人員所熟知的袼式中選取。 另外，該第-設備和第二設傷可岐預覽顯示器和數位圖像編碼器。 因此’相機介面對該被捕獲的數位圖像和歸格式進行處理 數位圖像編碼器生成娜格式的第二數位圖像。 4 類似地，峨爾__槪咖 RGB、YUV格式等。告盔綠攸糾丄 又口m如 禮隸熱 I、，、、、'良、Ά中用LCD顯示器來預覽被捕獲的數位圖 ’並使難嘱爾發錄·_情況 感測器提朗被顧數位圖像，有鮮將其轉換成至少另外 式。 α 第個實知例提供了—種無線終端，它具有麵（即）前端及通 1307055 信地連接至該RF㈣的基帶處理器。圖像捕獲裝置可用來捕獲數位圖 像’通過可配置的相機介面處理後，該被捕獲的數位圖像可顯示在顯 *示器上，以便預覽。該可配置的相機介面還包括纖和圖像處理加速 -器’其中該械介面可用來接收第-㈣格式的被捕義數位圖像。 •基於包括在被捕獲的數位圖像中的資訊，對該加速器進行配置。該相 機介面對被捕獲的數位®像進行處理，從而生成與該第—資料格式不 -同的第二資料格式的第二數位圖像。該被捕獲的數位圖像被提供給第 • -設備，同時，該第二數位圖像被提供給第二設備。如前面所陳㈣， 該第-和第二資料格式可包括RGB格式、υγνγ格式、刪2格式或而 格式。該第-和第二設備可包括但不限於如預覽顯示器或數位圖像編 碼器之類的設備。 另外’被捕獲_像的解析度和那些將使用該數位編碼圖像的預 覽顯示器或其他最終設備的崎度之間存在差別，這使得人們期望該 相機介面能_取概_像，從而無需對將要提供給職顯示器的 •圖像進行不必要的處理，或無需對將由與數位圖像編碼器相聯的其他 最終使用設備處理的圖像進行不必要的處理。這種抽取操作可在相機 '介面的歷與加速器之間進行分配。因此，可對該加速器進行配置， .使其能夠將以上所述的任何一種格式轉換成以上所述的任何其他格 式’同時能夠抽取數位圖像。 、另個實施例提供了一種在無線終端内處理翻獲的數位圖像的 方法。爲了達到該目的，數位圖像首先被—個圖像捕獲裝置(如相 測盗或圖像捕獲裝置)捕獲。可配置相機介面的操作模式由被捕獲的數 1307055 位圖像的m格摘蚊。然後，根據被m的資侧像的格式 ^可配置域介面編_爾處與繼職數 理在該圖像處理加速器之間進行分配，據被 捕獲的數位圖像的資料格式對圖像處理加速器進行配置。接下來，該 被捕獲的數簡賴可配置的域埠鄕—齡式歧，以生成財 第-種格式的第二數位圖像。該被捕獲的數位圖像或第二數位圖像可 峨跑細贿位圖像的 面， 括： 根據本發明的—個方面’提供—種無線終端⑽可配置的相機介 其中所述無線終端可處理多種㈣格式_像，所述相機介面包 高級精簡指令集電腦(RISC)機器（ARM);以及 可#作地連接到所述高級精簡指令集電腦(RISC)機器（纖）的圖 像處理加速盗’其中所述高級精簡指令集電腦機器（纖）和所述加速 •器的組合用來： 接收來自可操作鱗接至所述可配置_機介社_像感測器 '的輸出’其中所述圖像感測器可捕獲具有第一資料格式的數位圖像； - 根據包含在被捕獲的數位圖像中的資訊對所述加速器進行配置； 處理所述被捕獲的數位圖像，以生成具有第二資料格式的第二數 位圖像’其中所述第一資料格式與第二資料格式不相同； 將捕獲的數位圖像輸出至第一設備；以及 將第二數位圖像輸出至第二設備。

12 j3〇7〇55 (ALU) ’其中所述至少一個算術邏輯單元連接到至少一個寄存器上， 邊寄存器可用來暫時存儲所述至少一個算術邏輯單元（腳）的輸入或 輸出。 優選地，本發明所述的可配置的相機介面中，還包括可操作地連 接到該高級精簡指令集電職器（腦）和加速器上的多個寄存器，其 .中所述多個寄存器還包括： 配置寄存器，能使所述高級精簡指令集電腦機器（ARM)命令所述 鲁加速器執行一項特定的操作；以及 緩衝存取寄存H ’可用來寫㈣至加速器，或從加速器讀數據。 優選地，所述無線終端根據GSM標準運行。 根據本發明的個方面，提供—種無線終端，包括： 射頻前端； 通信地連接至所述射頻前端的基帶處理器； 可用來捕獲數位圖像的圖像捕獲裝置； _ 抑來雜被職的數賴像的顯示器； 可配置的相機介面，所述相機介面包括高級精簡指令集電腦機器 ' (ARM)以及可操作地連接至所述高級精簡指令集電腦機器（ARM)的 .圖像處理加速器，其中所述可配置的相機介面可用來： 接收具有第一資料格式的被捕獲的數位圖像； 根據包含在所述被捕獲的數位圖像中的資訊對加速器進行配置； 處理所述被捕獲的數位圖像，以生成具有第二資料格式的第二數 位圖像’其中所述第—資料格式與第二資料格式不相同； 1307055 將捕獲的數位圖像輸出至第-設備；以及 將第二數位圖像輪出至第二設備。 所述第一資料格式和第二資 優選地，本發明所述的無線終端中， 料格式包括： RGB格式； UYVY格式； YUV12格式；或者 YUV格式。 哭，=2發_嶋_巾，戶卿—職括預覽顯示 °°，斤述弟一设備包括數位圖像編碼器。 優選地’本發日騎述的無祕端巾，配置魏 獲的圖像。 優選地’本發騎義無線終端巾，所述加速㈣包括至少一個 可用來執行至少-個數位圖像處理任務的算術邏輯單元_，其中 籲所輕少-縛㈣輯單元連制至少—個寄存紅，所述寄存器可 用來暫時存儲所述至少一個算術邏輯單元⑽）的輸入或輸出。 、優選地’本發明所述的無線終端中’所述可配置的相機介面還包 -括可操作地連接到所述高級精簡指令集電腦機器（腦）和加速器上的 多個寄存器’其中所述多個寄存器還包括： 配置寄存器，能使所述高級精簡指令集電腦機器（ARM)命令所述 加速器執行一項特定的操作；以及 緩衝存取寄存器’可用來寫資料至加速器，或從加速器讀數據。 15 1307055 優選地，本發明所述的無線終端根據GSM標準運行。 獲的數 根據本發明的-個方面，提供一種在無線終端内處理所捕 位圖像的方法’包括： 用圖像捕獲裝置捕獲數位圖像； .從被捕_數_像的雜格式確定可配置相機介面的操作模 根據被捕獲的數賴像的資料袼式，將對被捕獲的數位圖像的户 #理在高級精簡指令㈣腦機器⑽)或圖像處理加速器之間進行分配; 根據被麵的數位圖像的資料格式配置所述圖像處理加速哭刀.， 處理所述被捕獲的數位圖像，以生成具有第二資料格式的第。二數 將被捕獲的數位圖像輸出至第一設備；以及 將所述第二触圖像輸註第二設備。 優選地，本發明的方法中，所述圖像處理加速器還包括： 至少個可用來執行至少—她位圖·雖務的

10;以及 心科平7L 輸入或 至^個可用來暫時存儲至少-個算術賴單元（ALU)的 輸出的寄存器。 優選地， 理加速器。 優選地， 括： 本^明的方法中’計算密集圖像處理任務分配給圖像處 本發月的方法中，所述第―資料格式和第二資料格式包 16 Ι3Ό7055 RGB格式； UYVY格式； - YUV12格式；或者 . YUV格式。 . 優選地’本發_方法巾’所述第-設備包括預覽顯示器，所述 ..第二設備包括數位圖像編碼器。 優選地’本發·方法中，所述加速H還可用來抽取被捕獲的數 籲位圖像。 優選地’本發明的方法中，無線終端根據GSM標準運行。 以下參照附圖對本發明做出的詳細描述，將會使本發明的其他特 徵和優點變得更加明顯。 【實施方式】 圖1是根據本發韻支援無線終端運行的蜂窩無線通信系統 100的-部分的系統圖。該蜂窩無線通信系統剛包括一個移動交換 籲中心(MSC)101、、GPRS業務支援節點/EDGE業務支援節點（SGSN/S脚) 102、基站控制器⑽）152和154、以及基站⑽、遍、1()5和⑽。 、該SGS_SN 102通過一個搬閑道支援節點（GGSN) 112連接至因 特網114。-個常規的支板多媒體的終端121連接至刪⑽。多媒 體終端122和個人賴125連接至因特網114。随〇1連接至公共電 話交換網路（PSTN) 110。 、 每-基站1G3-1G6喊蓋-轉⑸區域，支援其蜂窩/區域中的 無線通信。無線鏈路包括前向鏈路部分和反向鏈路部分，這些鍵路用 1307055 於支援基站及其所服務的無線終端之間的無線通信。這些無線鏈路支 援數位聲音、視頻、多媒體和資料通信。蜂窩無線通信系統100在支 援類比操作中也可以向後相容。蜂窩無線通信系統1〇〇支援全球移動 通仏系統（GSM)標準’也支援擴充的GSM (或全球）增強型資料速率 演進（EDGE)技術。該蜂窩無線通信系統1〇〇也支援通用無線分組業 務對GSM的擴充。但是’本發明也適用於其他的標準，例如，標 準、CDMA標準等。 無線終端 116、118、120、122、124、126、128 和 130 通過與基 站103-106的無線鏈路連接到蜂窩無線通信系統1〇〇。如圖所示，無 線終端包括支援視頻和多媒體的蜂窩電話丨16和118、膝上電腦12〇 和122、臺式電腦124和126 ’以及資料終端128和130。但是，本領 域的技術人員知道’該無線线也支援與其他_的無線終端的通 如通常所知道的，諸如膝上電腦⑽和122、臺式電腦⑼和取、 1 貝1料終端128和130、蜂离電話116和118之類的設備能夠在因特網 衝浪發送和接收資料、音頻和視頻通信。這些資料操作 ]夕都要求很N的下載資料速率（前向鏈路）和上 ^路）財援視頻和多雜通信。因此無鱗端116-⑽中的^ s、P月匕夠支援EDGE運行標準、GSM標準，並且可支援娜標準。 脈衝===支鑛接㈣_物(slGts)中物 仃机水線式處理，因此，每個GSM巾貞的副巾貞内的多個時 _許!::==端進行前向鏈路傳輸。在-個實施例中’-個GSM 多時隙刀配至—個無線終端進行前向鏈路傳送，這樣無線 1307055 通過蜂窩網路支援視頻服務以及音頻服務。 圖3示出了圖2中無線終端更詳細的方框圖，特別線 的數位處理部件。該數位處理部件2〇4包括系統處理器咖、基帶處 理器3G4和多個支援部件。這些支援部件包括外部存儲介面寫 驅動器及介面（I/F)308、相機I/F31〇 '運動處理加速器3ιι、立頻 I/F312、聲音頻帶C0DEC314、輔助功能部件316、調製/解調器9微， M324、_6以及多個處理模組。在某些實施例中該調製/解調 藝器322不是單獨構造的部件，其功能是在基帶處理器謝内部實現的。 上述多個處理1 组在這裏也稱爲加速器、輔助運算器、處理模电 或其他名稱，包括輔助功能部件、等化器模組318、編碼 (CODEC)處理模組32〇和視頻處理加速器模組卿。圖3所示的互相 連接關係是這些部件相互連接方式的一個例子。其他的實施例支援另目 外的/替代的連接。這些連接可以是直接連接、間接連接，和或可姑由 一個或多個中間部件間接連接。運動(mGti〇n)處理加速器3ιι、可選 >擇的視頻處理加速謂以及卿4在處理視·射的操作將參照 圖9至圖21做更詳細的描述。這些處理加速器可進一步包括可用來執 行特殊任務(如運動處理）的算術邏輯單元⑽）。彻從寄存器處接 收資料’並將資料輸出至寄存器，寄存器用來暫時存儲至少一個則 的輸入或輸出。這些寄存器能使即將被處理的資料在縦與加速 間傳送。 ° 麵和臟服務於系、統處理器3〇2和基帶處理器3〇4。系統處理哭 3〇2和基帶處理器綱都可以連接至共用的膽咖和腦微、可連 20 1307055 接至單獨的讓、可連接至單獨的丽、也可連接至多個麵塊，某些 共用、某些不制’或者可以被記舰叫同的方式服務。在一個具 體的實施例中’系統處理器302和基帶處理器3Q4連接至各自單獨的 RAM和丽，也連接至在這麵件之間進行控制和㈣傳送的共用的 RAM。處理模組316、318、320、322和328可如圖3所示連接，也可 以在不同實施例中以其他方式連接。 系統處理器302爲所服務的協定棧(如，GSM/GpRs/EDGE協定機） 籲的至少-部分提供服務。基帶處理器謝與調製/解調器微、即收發 器、等化器模組318和/或編碼器/解碼器模組32〇結合，共同服務於 由數位處理部件204執行的物理層⑽）操作。基帶處理器綱也服 務於該GSM/GPRS/EDGE協定棧的一部分。 *仍參…、圖3基帶處理器3〇4控制該基帶處理器謝與該等化】 模、、且318的乂互作用。如將會進—步描述的該基帶處理器猶負 318 C0DEC 320 ^ ^ ==7^。彻和目3_彻种，使用單1 :2，無線終物可接收和處理每一 _ t多達四個·

Z GSM n 個實施例中，無線終端200包括-個以上的RF前端 這貞=斷恤幽增_喻端·。在 由第二前端執字使用第二RF前端來執行，而細⑽ 有足夠的辭隔離度向鏈路傳輸侧不同的、具 …、、，襄〜鳊也支援全雙工操作時，該無 1307055 線終端可同時接收和發送。 RF前端202與可包括可選的⑽Ec處理模組的基帶處理器綱相 -組合’從服務基站接收包括音頻柯視:#訊的RF通信資訊。在一個實 -施例中，㈣端202和絲處理器204接收和處理來自服務基站的^ .脈衝。RF前端202和基帶處理器204的組合可絲接收根據一種發送 .方案發达的RF脈衝，其中該發送方案包括調製格式和編碼格式。爲了 生成資料塊，基帶處理器204對從RF脈衝中抽取的軟決策序列進行解 _碼。該軟絲的相可成功解碼成如糾錯編碼結果所示的資料塊。 圖4示出了 GSM _-般結構以及GSM巾貞所攜帶的包括音頻、視 頻和資料通信的資料塊的方式的框圖。該娜鴨的持續時間是 4. 615ms ’包括防護時間。每個咖巾貞包括8個時隙 每個時隙的持續時間大約是577us，包括左邊、中間碼、以及右邊。 -個時隙的正常的RF脈衝的左邊和右邊攜帶資料，而中間碼是一個訓 練序列。 験、根據所支朗_和編碼方案⑽）模式，GpRs資料塊的四個 時隙的RF脈衝攜帶了一個分段虹塊，一個完整臟塊，或兩個 RLC塊。例如’資料塊A攜帶在副中貞1的時隙〇、_ 2的時隙0、副 鴨3的時隙0，貞4的時隙◦中。資料塊A可攜帶一個繼LC塊， 個RLC塊’或兩個RLC塊。同樣地，資料塊b攜帶在副幅1的時隙 ，2物卜副鴨3的時隙卜副巾貞4的時隙i中。GSM巾貞的 :組㈣(也就是每個副幢的時隙模式是一致的。另外. 、的不同Μ時隙的MCS模式，例如，每個副鴨的時隙〇與每個副巾貞的 1307055 時隙1-7中的任何-侧可以是不同的。這種能力使以得以實現。如 稍後將參照圖5所描述的’可分配多個時隙給無線終端進行前向 -鏈路傳輸’其中這些前向鏈路傳輸必須被無線終端2⑻接收和處理。

- ® 5描繪了將資料映射到RF脈衝的不同階段。資料塊報頭和資料 .最初是未編碼的。區塊編碼操作對資料塊進行外部編碼，並支援資料 •塊的查錯/糾錯。外部編碼操作通常使用迴圈冗餘校驗（CRC)或FIRE 編碼。如®所示，外部編碼操作增加了尾位元和/或塊編碼序列（㈣， 籲其附加在所述資料上。在塊編碼已經給資料補充了查錯的冗餘位後， 計算附加的糾錯冗餘，以糾正無線通道引起的傳輸。娜的内部糾錯 或編碼方案基於卷積編碼。 某些由卷積編碼器産生的編碼位元在傳輸之前要進行壓縮。壓縮 增加了卷積編碼的比率，減少了每個被傳送的資料塊的冗餘。壓縮還 降低了帶寬需求，使得卷積編碼信號適合可用的通道位元元流(bit stream)。該卷積編碼壓縮位元被傳遞到交錯s(interlever)，該交錯 鲁器將不同的位元流改變位置（shuffle)，並將位置改變後的位元流分段 到所示的4個脈衝中。 - 每個脈衝有一個左邊、一個中間碼和一個右邊。左邊和右邊包含 資料。中間碼包括預定的、已知位元模型，訓練序列，其用於通道估 计以優化等化器的接收，並用於同步。在這些訓練序列的幫助下，該 等化器將符號間的干涉消除或減小，其中該符號間的干涉由多重路徑 傳播的傳播時間差異而引起。GSM標準中，爲正常即脈衝定義了許多 個訓練序列。但是，該訓練序列的精確配置取決於所使用的調製格式。 1307055 練序列，可確定 每組四個脈衝-般_姻_祕式。通過分析訓 調製格式。 °

圖6示出了㈣脈衝恢復細㈣階段 衝構成的資魏__理。— q _RFM 脈衝合併觀-個編碼靖塊。财, 卞尼接卜术該編碼貧料塊被解壓縮（如果 =’根據内部解碼方案解碼’然後根_^

-CS M , , t^Mcs 5_g ? J ⑽和報頭塊是分開編碼的。解碼成功可通過附加在卷積解碼(糾錯編 碼)後的資料上的合適尾位元來給出信號表示。 圖7和圖8示出了在接收和處理㈣衝以恢復資料塊的過程中， ^中的早個RF脈衝相對應。圖3中示出的RF脈衝前端挪、基帶 處理器編和等化器模謂執行這些操作。這些操作通常看作 ㈣件中的-崎行。但是’可娜她的細，使這— 部分之間的處理任務的分配不同。 可操作地連接到記憶體上的單倾理裝置或多做理裝置執行* 些處理任務。這樣的處理裝置可以是微處理器、微控制器、數位作= 處理器、微電腦、中央處理單元、現場可編程閘陣列、可編程邏= :、狀_、邏輯電路、類比電路、數位電路和/或任何根據操作指^ 處理錄触置。存儲裝置可以是單個的存儲裝置❹個存儲裝置: 化樣的存儲裝置可以是唯讀記憶體、隨機存取記憶體、易失型記情體、 非易失性記憶體、靜態記憶體、_記鐘、_記紐、高魏衝 24 !307055 记k體和/或任何存儲數位資訊的裝置。注意到當該處理任務通過狀態 機、類比電路、數位電路和/或邏輯電路執行時，存儲相應的操作指令 的記憶體可被嵌在該狀態機、触電路、數位和/或賴電路的内 或連接在其外部。該處.務包括運行鋪後描述的步驟和/或功能 中的至少一些相對應的操作指令。 特別參如圖7，才呆作從RF如端202接收GSM φ貞的對應時隙内的rf 脈衝（步驟702)開始。接下來RF前端搬將該RF脈衝轉換成基帶 •信號⑽)。轉換一旦完成’ RF 端搬存儲該轉換後的基帶信 號。當需要時’基帶處理ϋ對來自RF前端的轉換後的基帶信號進行取 樣。因此，如圖7所示，RF前端2〇2執行步驟7〇2_7〇4。 。操作繼續，基帶處理器謝接收該基帶信號（步驟观）。在典型 、喿作中RF別端202、基f處理器3〇4或調製器/解調器322對該類 =帶信號獅樣，細簡域_。刪絲信號(數 =式碰，基__執行__號_格式的檢測 ^驟別）。_製格式的檢測確認了對應的基帶信號的調製格式。 爲了攸通道的《來適當地評價通道質量，對婦格柄正確顧、是 =的。根據GSM標準，調製格式是高斯最小相移鍵控 ^相移鍵控(卿)。基帶處理㈣4對靖格·行確定= ’雜據所檢_製袼式對_衝進行適當地處理。 在步謂中基帶處理器執行_衝的網衡處理。該 理知作產生-個被處理的基帶信號。這些預均衡 处 基帶處理謂向等化器模組318發出一個命人Μ 一旦完成’ 25 1307055 式(如根的命令’在步驟714中’等化器模組318根攄調製模 理。等化或8PSK；^式）準備對處理後的絲信號進行均衡處 和/¾結、318從基帶處理器304接收被處理的基帶信號、設置 或，數’並對處理後的基帶信號進行均衡操作。 ，财__謂祕輸請發出一個中 曰不KF脈衝的均衡操作完成。然後基 模組接收軟決$。 : J04以化即 k μ 水基耶處理态3〇4執行如步驟716所示 :上衡處理”。這可包括根據從等化器模組陶收到的軟決策 23=邊的平均相位，以及根據從等化器模組⑽收到的軟決 戒進仃頻率估計和跟縱。 料通’蝴相被解碼，以産生包括音頻、視頻和資 的貝料位元。一種解碼該軟決策的具體方法將在圖8中進一步 詳 目7中不出的每些操作由無線終端的特定部件來執行，這些 操作的各部分可由不同的部件來執行。例如，在其他實施例中，基帶 處理器施或系統處理器302可執行均衡操作。進-步，在雜的實 施例中，基帶處理器304或系統處理器3〇2也可執行解碼獅。 圖8不出了對資料塊進行解碼操作的流程圖。操作從在步驟腹 中接收和處理㈣衝⑽脈衝的前端處理）開始，如參見圖7的步 驟702-716所做的描述。組成一個_或咖資料塊的四傭脈衝 被接收後’如步驟804所確定的，操作繼續至步驟·。 資料恢復在步驟議中開始，財，如果必要，資料塊被解密。 接下來，根據資料塊的特定格式，例如似―至㈣―9，對資料塊進

26 Ι3Ό7055 行解交錯（步驟808)。然後資料塊被解壓縮（步驟810)。在步驟812 中對解父錯和解壓縮的資料塊進行解碼。解碼操作可包括將之前接 收的資料塊的備f讀資料塊的當前備份合併。然後解碼資料塊的資料 位元被進一步處理（步驟814)。這些資料位元具有將在無線終端上顯 示^編碼視頻資料的形式。圖9_19解決了（祕卿）包括在前向鍵路 通仏中的即時視頻通信的解碼，和反向鏈路通信中的即時視頻通信的 編碼。 •圖9示出了在無線終__義數位圖像進行處理的框圖。 相機感測器902或其他類似的圖像捕獲裝置捕獲數位圖像，該數位圖 像被提供給相機介面_。可配师目機介面⑽簡健式由包含 爾⑽麵編_終賴獲的數位圖 ^彳。式和解析度賴細咖㈣2決定。纖議和圖像 Ϊ==ϋ8根據被捕獲獅麟_格式和解析度共同處理 該被驗魄賴像。可根_砸醜位_的_格絲配置該 紐，綱舰崎域可配置的相機介面 的至少一個HZ數位格賴像生献有至少—種獨的資料格式 被發送:：:圖像。該被捕獲的數位圖像或另外的數位圖像 機==="?繼繼目輪細。齡，如果相 则。.902輪出一個㈣格式的被捕獲 =要求_式，影像處理加速_二=^ 糾科异挽集操作將被捕獲的RGB格式的數位圖像轉換成㈣提 27 1307055 圖像編碼益910的YUV格式的數位圖像。在這種情況下，如果顯 不1§ 904要求職格式的數位圖像，則相機介面31〇將被捕獲的數位 S像&ί、給顯示益904。當相機感測器9Q2與顯示器904之間的解析 度不同時，提供給顯示器的數位圖像可被相機介面31〇抽取 (decimate)。在其他的實施例中，該第一和第二資料格式可從格 弋UYVY才。式、γυνΐ2格式、γυν才各式或本技術領域的技術人員所知 悉的其他任何格式中選取。 >圖像編碼器/解碼器91〇可按照JPEG、MpEG_1/2/4、H. 261/H挪、 八他類似的圖像/視頻壓縮標準、或任何其他類似視頻編碼/解碼操作 進订編、解碼。MPEG4尤其適於鱗視頻電話，因蘭pEG4能以相對 較低的資料率合理地再現視頻幀。 相機902和顯示器904設置在無線終端内，並與圖3中的l⑶和 機322相對應相機介面綱處理包括格式轉換(例如將爾γ格式 抽樣從相機介面輸出轉換至聰2格式）、將圖像處理成顯示器所要求 的解析度、抖動、和/或從麵2格式轉換成廳色彩格式、以及減小 策音。圖像編碼器⑽執行的編碼器功能包括運動處理操作，立中視 頻是由械感測器9〇2捕捉的。這個編碼器包括專用硬體.，如 圖3中所示的運動處理加速器和可選的視頻處理加速器微。這些任 務分配的方式將在稍後描述。 圖1〇示出了—個特殊實施例中被捕獲的數位圖像是職2格式的 框圖。顯示器要求所接受的被捕獲數位圖像916是RGB格式。爲了做 到這樣’被捕制數位_將從觀格式轉換成格式，並提供 28 1307055 給顯示器。雜捕獲雜位圖像被傳送給編碼器， 麵2格式的數位圖像。選擇性地 二:、、扁L要未 + 各戶3又備如顯不器或編碼器都可 要未圖像提供給客戶雜之前，魏原始格式轉換絲二_三種格 式。在這種情況下’加速器在_處理其他圖像之前， 設備處理一幅圖像。

將參照圖η對被猶的巾貞的一種典型圖像格式和資_士構时 描述。該資料結構的細節可告知相機介面即將執行哪種要求的操作丁。 在巨集塊層（level)，每個宏塊包括四個亮度塊训、打 . 1 ^ Ϊ 0 5 陶 個色度塊U和V。每個塊包括8X8圖元資訊。被捕獲的雨格式幢的 圖磁存儲在記憶體中’其中使用了 QCIF巾貞的-個例子。每個宏塊被 其在記憶體中的位置（X_pQS，y』GS)唯—確定。相應的γ亮度塊和 兩個色度塊_ it被它們各自的起始存儲位址所確定。例如，如果被 捕獲巾貞的Y、騰的存齡址分別在pY、pU、pV處開始，宏塊（X卿， y—pos)的Y1-Y4、U、v塊的地址指標如下： ~ --Y1 : pY+y_p〇s*16*幀寬+x_p〇s*16 —Y2 : pY+y—ρ〇θΐ6*φ貞寬+x—p〇s*16+8 -Y3 : PY+y_pos*i6*幀寬+x_p〇s*16+8)(c幀寬 --Υ4 : pY+y』os*16*巾貞寬+x—p〇s*16+8*鴨寬+8 -ϋ : pU+y_p〇s*8*幀寬/2+x_pos*8 、 --V ·· pV+y—pOS*8*幅寬/2+χ—pos*8 歷的介面控制寄存器用來確定圖像處理加速器的操作模式。纖 可用配置寄存ϋ來命令該加速ϋ執行給定的操作模式。當加速器正在 當前宏塊上執行給糾操作時，纖可同時在前一個宏塊上執行其他 29 1307055 =因此’與使用完全軟體方案的編碼運算法則相比，對於一個給 疋的視頻幀’節省了總的編碼時間。 對t置寄存錢行寫人操作麵發加速11的—個特定的模組或 ’以理資料。該模組執行配置寄存器的内容所指示的處理。當圖 像處理加速器完成該處理時，發出中斷传號。 ._器編碼對硬體加速器的用戶是透明的。將圖像從第一資料格 二轉換成第—貝料格式時，可斷言方如丨㈣不同的參數以將相關的 •二訊傳遞給加速器或從加速器接收相關的資訊。在命令介面功能之 前，相機介面或趣會將記憶體分派給被捕獲的鴨，以及保持結果的 輸出緩衝器。 圖12示出了纖内的視頻麵莫組與圖像處理器之間的控制程式 的邏輯流程圖。這些操作從步驟中相機感測器或圖像捕獲裝置捕 獲了-健位圖像開始。在步驟聰中相機介面爲圖像處理加速器模 組設置參數，從而在巨集塊上執行圖像處理操作。這些圖像處理操作 籲可包括格式轉換、將圖像處理成客戶設備所要求的解析度、抖動、和/ 或從丽2格式轉換成RGB色彩格式，以及減㈣音。這包括爲圖像 處理加速②設置合適的參數。這些參數配置該加速器以就的方式運 作。然後’纖命令執行與在步驟聰中的設定參數相對應的特定功 能。在步驟1206中’加速器執行與專用加速器硬體中的參數相對應的 所命令的功能。接下來’在步驟中，將在—崎出加速器寄存器 或指定的記憶體位置中’提供該命令功能的結果。與步驟12〇2至12肋 同時發生的是，視頻處理模組的ARM自由執行其他任務，然後在必要 30 1307055 . 邛件、部件、電路或模組的間接連接，其 號_，可：^ ‘可用的連接，，相同的方式直接或間接的連 : 的技也人員將進-步理解的叫 的是兩個或多個部件、專案、作/乂錢，如文中所用到的，指 >關係。例如，相得間的比較，提供—種想得到的 量級比信號2的量級大時或者伸2的、/號2大^號1的 想得到的比較。阳以2的魏峨1小時，就獲得了 =說明和描述，給出了對本發明較佳實施例的在前描述 的’或用來將本發明限於所揭露的精確形式，根據以上的 1發明的實踐中可做出修改和變化。選擇和描述實施例的目 =^_她輸•咖賣她賴的人員以 问的實施例來利用本發明，並作出各種適於職的特定用途的修 :意味著本發_範圍由附在後__要求以及它們的等同條 件來限定。 、 【圖式簡單說明】 =不出了根據本發_支援無線終端運行的蜂—線通信系統 分系統示意圖； 圖2從功能上示出了根據本發明構造的-個無線終端的方框圖； 圖3示出了圖2中的無線終端更詳細的方框圖，特別強調了無線終端 32 1307055 的數位處理部件； 圖4示出了 GSM _-般結構以及GSM賴帶資料塊的方式的框圖； 圖5示出了下行鏈路傳輸的形成的框圖； 圖6示出了下行鏈路傳輸中的資料塊的恢復的框圖； 圖7不出了無線終端在接收和處理一個RF脈衝時的操作流程圖； 圖8示出了恢復一個資料塊的操作流程圖； 圖9不出了一個可配置的相機介面的功能模組框圖； 圖10不出了無線終端内的可配置的相機介面的功能模組框圖； 圖11提供了本發明中討論的圖像資訊所利用的資料結構或者潛在資 料結構的示意圖； 圖12示出了當執行格式轉換或解析度轉換操作時，圖像處理器和加速 器之間的處理控制流程的邏輯流程圖。 【主要元件符號說明】 蜂窩無線通信系統 100 移動交換中心（MSC) 101 GPRS業務支援節點/ EDGE業務支援節點(SGSN/SESN) 102 基站 103、104、105、106 公共電話交換網路（PSTN) 110 GPRS閘道支援節點（GGSN) 112 因特網 114 蜂窩電話 116、118 膝上電腦 120、122 終端 121 臺式電腦 124Ί26 個人電腦 125 資料終端 128、130 基站控制器（BSC) 152、154 無線終端 200 RF收發器 202 天線 203 1307055

數位處理部件 ?M 物理層處理、語音蝙媽/解碼器（c〇dec)及基帶⑽EC功 協定處理、人機介面功能塊 袖珍鍵盤 208個人計算/資料終端設備介面210 212用戶識別模組（SIM)埠 213 相機 214快閃RAM 21fi SRAM 218 LCD 220 LED 222電池 224 話筒 226揚聲器 228 系統處理恶 _____ 302基帶處理器 304 外部存儲介® ___ _____ 腿1驅動器及介面（i/f) 308 相機I/P _ «310運動處理加速器 311 音頻 I/P _ . 312聲音頻帶CODEC 314 輔助功能部件 316等化器模組 318 編碼/解碼器（CODEC)處理模組 320 調製/解調器 322 ROM 324 RAM 326視頻處理加速器模組 328 相機感測器 902顯示器 904 ARM 906圖像處理加速器 908 圖像編碼器 910被捕獲數位圖像 916 34

Claims (1)

1. J307055 . 十、申請專利範圍： 、—種無線終翻的可配置的相機介面，其中所述無線終端可處 理多種資料格式的圖像，所述相機介面包括： 高級精簡指令集電腦機器（ARM);以及 可操作地連接到所述高級精簡指令集電腦機器（ARM)的圖 像處理加速器，射所述高級精簡指令錢職器（纖）和所 述加速器的組合用來： 、接收來自可操作地連接至所述可配置的相機介面上的圖像 感測器的輸出’其中所述圖像感·可捕獲具有第—資料格式的 根據包含在被捕獲的數位圖像中㈣訊對所述加速器進行 配置； 一處理所述被捕獲的數位圖像，以生成具有第二資料格式 -數位圖像’其中所述第—資料格式與第二資料格、. 將捕獲的數位圖像輸出至第一設備；以及；目同； 將第二數位圖像輸出至第二設備。 、如申請專利範圍第丨項所述的可配置的相機介面，其 第-貧料格式和第二資料格式包括： 斤述 RGB格式； UYVY格式； YUV12格式；或者 YUV格式。 35 1307055 3、 如申請專利範圍第2項所述的可配置的相齡面，其中：所、十 第一設傷包括預_示器，所述第二設備包括數位編瑪= 4、 如=請專利範圍第2項所述的可配置的相機介面，其中：當第 貝料格式是RGB格式時，配置所述加速器以將被捕獲的數位圖 像從RGB格式轉換成Yuv格式。 5、 一種可處理多種資料格式的圖像的無線終端，包括： 射頻前端；

   通信地連接至所述射頻前端的基帶處理器； 可用來捕獲數位圖像的圖像捕獲裝置； 可用來預覽被捕獲的數位圖像的顯示器； 可配置的相機介面，所述相機介面包括高級精簡指令集電腦 機器⑽)以及可操作地連接至所述高級精簡指令集電腦機器 URM)的圖像處理加速器，其中所述可配置的相機介面可用來： 接收具有第一資料格式的被捕獲的數位圖像； 根據包含在所述被捕獲的數位圖像中的資訊對加速器進行 配置； 處理所述被捕獲的數位圖像，以生成具有第二資料格式的第 -數位圖像，其巾所述第-資料格式與第二資料格式不相同； 將捕獲的數位圖像輸出至第一設備；以及 將第二數位圖像輸出至第二設備。 如申睛專利範圍第5項所述的無線終端，其中：所述第一資料 格式和第二資料格式包括： 36 1307055 RGB格式； UYVY格式； YUV12格式；或者 YUV格式。 、如申請專利範圍第6項所述的無線終端，其#徵在於：所述第 -設傷包括預_示器，所述第二設備包括數位圖像編碼器。 、-齡無線終端_輯捕獲的數位圖像的方法，包括： 用圖像捕獲裝置捕獲數位圖像； 操 從被捕獲的數位圖像的資料格式確定可配置相機介面的 作模式； 根據被捕義脑K像的_格式姻麵制數位圖像 的處ί!在高級精簡指令集電腦機器⑽）或圖像處理加速 間進行分配； ° ES · u§ f 根據被捕翻触目像的㈣赋配置職圖像處理加速 第 處理所述被捕獲的數位圖像，以生成具有第二資料格式的 二數位圖像； 將被捕獲的數位圖像輸出至第一設備；以及 將所述第二數位圖像輸出至第二設備。 如申請專利範圍第8項所述的方法，其特徵在於：所_ 理加速器還包括： 至少-個可用來執行至少一個數位圖像處理任務的算術邏 1307055

   輯單元（ALU);以及 至少一個可用來暫時存儲至少一個算術邏輯單元（ALU)的 輸入或輸出的寄存器。 10、如申請專利範圍第9項所述的方法，其特徵在於：計算密集圖像 處理任務分配給圖像處理加速器。

   38 1307055 Jf

   <N_