201251459 六、發明說明： 【發明所屬之技術領域】 本發明係關於一種因應對象物的動作而進行資訊處理之 技術。 【先前技術】 先則，已知有由攝像機拍攝使用者的頭部等身體的一部 分，並擷取眼睛、嘴、手等之特定的區域，將該區域以其 他圖像置換而顯示於顯示器上之遊戲（例如專利文獻丨）。 又，亦知有將由攝像機所拍攝之嘴或手的動作作為應用程 式的操作指示接收之使用者介面系統。 [先前技術文獻] [專利文獻] [專利文獻1]歐洲專利申請案公開第〇999518號說明書 【發明内容】 [發明所欲解決之問題] 在如上述之技術中，為擷取使用者的嘴或手等之特定的 區域會需要高解析度的圖像。然而，會有愈將攝像機的攝 像元件高性能化愈會增大高解析度化等資料量，且會使以 適切規模提供傳送用的壓縮、擴展處理或辨識、檢測、計 _ w處理等所需之資訊之過濾或定標、裁切等之資料採集處 理成本增加，使自相機輸入至各處理輸出為止之延遲增加 之問題。又，在將相機作為使用者介面使用之情形下，會 有延遲的增加使使用性顯著下降之問題。如此，會有即便 攝像機之攝像元件的性能提高，亦會導致作為系統整體之 162796.doc 201251459 性能惡化之顧慮。 本發明係鑒於此等問題而完成者，其目的在於提供一種 可在使用高性能的攝像元件之下，可抑制自攝像後至使用 該資料之圖像顯示為止之延遲之圓像處理技術。 [解決問題之技術手段] 本發明之某態様係關於一種動畫像攝影裝置。該動晝像 攝影裝置之特徵為包♦··圖 <象資料生成冑，其係將藉由將 拍攝對象物而獲得之動畫像的各訊框以多段縮小而成不同 解析度的複數個圖像之資料分別按特定的像素順序生成， 並作為串流依序輸出；圖像合成部，其係藉由將自圖像資 料生成部輸出之複數個圖像之資料中特定的複數個圖像之 資料，連接於圖像之一行份的像素行或較其為小之範圍的 每個像素行而作為串流輸出，而生成包含特定的複數個圖 像之虛擬的合成圖像；及圖像送出部，其係自所連接之主 機終端接受資料的傳送請求，並自圖像資料生成部及圖像 合成部輸出之複數個串流藉由擷取所請求之圖像及區域中 所含之像素的資料而生成應傳送之資料的串流，並傳送至 主機終端。 本發明之其他態様亦是關於一種動畫像攝影裝置。該動 畫像攝影裝置之特徵為：其係包含自左右不同之視點拍攝 相同對象物之一對相機者，且一對相機各自包含：圖像資 料生成部，其係將藉由將拍攝對象物而獲得之動畫像的各 訊框以多段縮小而成不同解析度的複數個圖像之資料分別 按特定的像素順序生成，並作為串流依序輸出；及圖像合 162796.doc 201251459 Π ’其：藉由將自圖像資料生成部輸出之複數個圖像之 德特疋的複數個圖像之資料，連接於圖像之一行份的 、订或較其為小之範圍的每個像素行而作為串流進行輸 ’而生成包含特定的複數個圖像之虛擬的合成圖像，·動 攝办裝置進而包含：立體匹配處理部，其係藉由對於 對相機所生成之視點不同之圖像的資料令特定的解析 圖像的資料進行立體匹配，而按特定的像素順序生成 不對象物的3維空間之位置之深度圖像，並作為串流依 序輸出圖像送出部，其係自所連接之主機終端接受資 料的傳送請求，並自圖像資料生成部、圖像合成部及立體 ，配處理部所輸出之複數個串流藉由棟取所請求之圖像及 區域中所含之像素的資料而生成應傳送之資料的串流，並 傳送至主機終端。 .本發明進一步之其他態様係關於一種資訊處理系統。該 資讯處理系統之特徵為：其係包含拍攝對象物而生成動畫 像的資料之動畫像攝影裝置、及自該動畫像攝影裝置獲取 動畫像的資料之-部分’並在利用其進行特定的圖像處理 之後顯不圖像之主機終端者，且動畫像攝影裝置包含：圖 像資料生成部，其係將藉由將拍攝對象物而獲得之動晝像 的各訊框以多段縮小而成不同解析度的複數個圖像之資料 分別按特定的像素順序生成，並作為串流依序輸出；圖像 合成部，其係藉由將自圖像資料生成部輸出之複數個圖像 之資料中特定的複數個圖像之資料，連接於圖像之一行份 的像素行或較其為小之範圍的每個像素行而作為串流進行 162796.doc 201251459 輸出，而生成包含特定的複數個圖像之虛擬的合成圖像； 及圖像送出。卩，其係藉由自圖像資料生成部及圖像合成部 所輸出之複數個串流，擷取自主機終端所請求之圖像及區 域中所含之像素的資料而生成應傳送之資料的串流後，傳 送至主機終端》 本發明之進一步其他態様係關於一種資訊處理裝置❹該 資訊處理裝置之特徵為包含：資料請求部，其係對於拍攝 對象物之相機指定解析度及圖像内的區域而請求動畫像之 訊框的圖像資料之傳送；資料展開部，其係將根據請求而 自相機傳送之於每個像素行連接所指定之區域的像素值之 串流之狀態的圖像資料，在主記憶體中作為2維的圖像資 料進行展開；及資料處理部，其係在利用2維的圖像資料 進行特定的圖像處理後顯示圖I;且資料冑求部係指定相 機内生成之、將藉由以多段縮小動畫像的訊框而獲得之不 同解析度之複數個圖像配置於各自特定的矩形區域之合成 圖像；f料展開部係將自相機所傳送之合成圖像藉由按每 個合成對象的圖像展開成個別的2維圖像資料而進行圖像 的辨別。 本發明進一步之其他態様係關於一種圖像資料處理方 法。該圖像資料處理方法之特徵為：其係由動晝像攝影裝 置進行者，且包含：將藉由將拍攝對象物而獲得之動畫像 的各訊框以多段縮小而成不同解析度的複數個圖像之資料 分別按特定的像素順序生成，並作為串流依序輸出之步 驟；藉由將在輸出之步驟中所輸出之複數個圖像之資料中 162796.doc 201251459 特定的複數個圖像之資料，連接於圖像之一行份 或較其為小之範圍的每個像素# '、仃 1豕京仃而作為串流進行輸出，而 生成包含特定的複數個圖像之虛擬的合成圖像之步 自所連接之主機終端接受資料的傳送請求並自在輸出之 步驟及生成之步驟中所輸出之複數個串流，藉由梅取所妹 求之圖像及區域中所含之像素的諸而生成應傳送之資： 的串流，並傳送至主機終端之步驟。 另，將以上之構成要素的任意組合、本發明之表現，於 方法、裝置、系統、電腦程式及記錄電腦程式之記錄媒體 等之間進行變換者亦是作為本發明之態様有效者。 [發明之效果] 根據本發明，可抑制攝像後至使㈣資料之圖像的顯示 為止之延遲。 【實施方式】 實施形態1 圖1係顯示本實施形態之低延遲相機 成。在該系統中，將使用者6的動晝像由相機刚= 像，並基於該資料由主機終端2〇進行圖像處理，而於顯示 态4上反映出其結果，或經由網際網路、"Μ
Network，局部區域網路）等之網路12傳送至特定的通信 處。 相機100係包含CCD(Charge coupled Device，電荷耦合 裝置）或 CMOS(C〇mPlementary Metal 〇xide Semic〇nduct〇r， 互補型金屬氧化半導體）等之攝像元件之數位攝像機，其 162796.doc 201251459 係如圖示般，設置於顯示器4的外殼之上部。顯示器4係例 如液晶電視、電漿電視、PC顯示器等，通常使用者6係位 於顯示器4的前方而藉由相機1〇〇攝像使用者的全身或一部 分。 反映於顯示器4上之像將隨由低延遲相機系統丨〇執行之 應用程式不同而不同。例如在將低延遲相機系統i 〇作為辨 識使用者6的動作或表情而作為某些操作指示予以解釋之 使用者介面（UI)使用之情形下’反映於顯示器4上之像8係 使用者6的臉部或手等之身體的一部分或全身。在將低延 遲相機系統1 0作為視頻聊天使用之情形下，反映於顯示器 4上之像8係聊天對象的臉部，使用者6自身之像係經由網 路12而反映於聊天對象的顯示器上。 根據如上述之使用態様，相機1 〇〇設置於顯示器4的上部 最佳。然而’只要能夠攝像使用者6的全身或一部分，則 除顯示器4的附近以外，亦可配置於例如主機終端2〇的附 近或使用者的周圍等。又，相機1〇〇並非是單體的構成， 其亦可埋入於顯示器4的外殼等中。代替於相機100使用攝 像元件，亦可將類比圖像進行A/D變換而使用。 主機終端20係包含圖像處理功能之個人電腦或遊戲裝置 等之電腦終端。主機終端20係將由相機1 〇〇拍攝使用者6而 獲得之動畫像的各訊框或自各訊框所獲得之各種資料以時 間序列連續取入，而進行特定的圖像處瑋。視頻聊天應用 程式之情形係將使用者6的圖像經由網路丨2而即時地傳送 至聊天對象。使用者介面應用程式之情形係基於使用者6 162796.doc 201251459 的圖像、自該等獲得之各種資料等而實施特定的資訊處 理，並將其結果輸出至顯示器4上。 例如將根據❹者6的㈣而移動之關的圖像或使使 用者6的手持有劍等之項目之圖像即時地輸出至顯示器4 上。在此種應用程式中所需之使用者6的臉部檢測處理或 特定部位的追蹤處理既可由主機終端2〇進行，亦可如後述 般由相機100進行，並將其結果作為上述“各種資料，，的一 部分傳送至主機終端20 » 另，即便在上述之視頻聊天應用程式中，亦可進行以高 解析度僅表不臉部檢測處理之結果所獲得之使用者6的臉 部之區域等之加工。主機終端2〇除上述之圖像處理以外， 亦可合成用以執行各種應用程式之選單或游標等之目標物 圖像而顯示於顯示器4上。 如此，在低延遲相機系統10中，利用相機1〇〇所拍攝之 動畫像而完成之處理可有各種考量，其内容並無特別限 定。在本實施形態中進行任意處理之情形下，皆可使相機 100不僅進行動畫像之攝影，而且進行使用其之某些處 理，而生成複數種類的資料。根據相機1〇〇進行之處理、 甚至其構成、應用程式或相機及主機終端的處理能力等可 有各種考量。 在本實施形態中’相機100係生成將自身所拍攝之影像 以複數個解析度顯示之動晝像資料，並根據來自主機終端 20的請求，僅將其中所需的資料即時地向主機终端2〇送 出。此處，主機終端20除可指定解析度、表色系統或其要 162796.doc 201251459 素等圖像整體的顯示方法以夕卜，亦可指定訊框内的區域。 例如自相機100中獲取低解析度的整體圖像之資料與高 解析度之圖像中僅應被注目之區域的圖像資料，並藉由在 圖像平面上合成該等圖像，可在抑制資料傳輸負載之下， 對於應被注目之區域顯示詳細地表現之動晝像。該例若將 在主機終端20中#自進行臉部檢測處理而獲得之臉部的區 域作為應被注目之區域時，則在視頻聊天等之應用程式中 係有效者。 圖2係顯示本實施形態之相機1〇〇的構成。該圖及後述之 圖3、4、8〜η在硬體方面可由⑶叭“⑽以ρ⑺“⑷叩 Unit，中央處理單元）、RAM(Rand〇m A⑼ess Mem〇ry，隨 機存取5己憶體）、R〇M(Read Only Memory，唯讀記憶體）、 描繪電路等構成實現，在軟體方面可由發揮資料輸入功 能、資料保持功能、圖像處理功能、描繪功能等之各功能 之程式實現。在1¾等圖中，㈣藉由該等聯合而實現之功 能方塊。因而’該等功能方塊可藉由硬體、軟體之組合而 以各種形式予以實現。$，於圖2中為容易説明亦包含由 各功能方塊進行處理之圖像部分的示意圖。 相機100包含：圖像獲取部1〇2、解馬赛克部1〇4、角錐 濾波裔部170、圖像合成部156、圖像送出部151及通信部 108。圖像獲取部102係於特定的時間點（例如⑹次/秒）讀出 由CCD或CMOS等之攝像元件曝光之圖像。在以下之説明 t ’該圖像將在横向上具有像素w個份、縱向上具有像素 Η個份之寬度。該圖像係為所謂的“RAw圖像，、圖像獲取 162796.doc 201251459 部102係每當RAW圖像的横—行份之曝光完成時’即將該 等傳送至解馬赛克部104及圖像送出部丨5 i。 解馬赛克部104包含具有像素貿個份的容量之FIF〇(First
In First Out，先進先出）緩衝器1〇5及簡易解馬赛克處理部 106。於FIFO緩衝器1〇5中輸入RAW圖像的横一行份之像 素資甙，並直至下一横一行份的像素輸入至解馬赛克部 104之則保持該等。簡易解馬賽克處理部1〇6當接收横二行 份的像素時，會利用該等對於各像素執行基於其周邊像素 補充顏色資訊而製作出全彩圖像之解馬赛克“卜爪的“勹處 理。 如本技藝者所周知，在該解馬赛克處理中雖存在多數種 手法，但此處藉由僅利用横二行份的像素之簡單的解馬賽 克處理即已足夠。作為—例，在欲算出對應之YCbCr値的 像素僅具有G値之情形下，R値係將左右瞵接之尺値予以平 均而使用，G値則直接使用該G値，B値則使用位於上方或 下方之B値而作成RGB値，並將該等代入特定的變換式中 算出YCbCr値等。由於此種解馬赛克處理已周知，因此會 省略其以上之詳細説明。另，由解馬赛克部1〇4及以下之 處理所生成之圖像資料的顏色空間並不限定於YCbCr。 利用簡單的解馬赛克處理即足夠之理由係因在需要高品 質的圖像之情形下可使用RAW圖像之故。作為簡單的解馬 赛克處理之變形例，亦可使用由RGB的4像素構成一像素 的YCbCr値之手法。在該情形下，由於可獲得圖像之 1 /4尺寸的解馬赛克後圖像，因此無需後述之第1濾波器 162796.doc 201251459 110 ° 簡易解馬赛克處理部10 6係例如圖示艇，將横2 x縱2之 RGB的4像素變換為YCbCr色彩信號。而後，包含該4像素 之方塊係作為1/1解馬赛克圖像傳遞至圖像送出部15 i，且 傳送至角錐濾波器部170。 角錐濾波器部170具有將某圖像以複數個解析度階層化 而輸出之功能。角錐濾波器雖具備因應通常所需之解析度 的位準之個數的1 /4縮小濾波器’但在本實施形態中具有 第1濾波器110〜第3濾波器130的3階層之濾波器。各濾波器 係執行使彼此鄰接之4個像素雙線性内插而演算4像素的平 均像素值之處理。因而，處理後的圖像尺寸會變成處理前 的圖像之1/4。另，本技藝者當可容易理解本實施形態同 樣可應用3階層以外之濾波器數。 於第1滤波器110的前段，對應於γ、、Cr之各者的信 號’而逐一配置像素W個份的FIF〇緩衝器112。該等之 FIFO緩衝器in具有將横一行份的素保持至下一 横行伤的像素自簡易解馬赛克處理部i〇6輸出為止之功 能。像素的保持時間係因應攝像元件之線掃描的速度而決 定备輸入横二行份的像素時，第1濾波器110將横2χ縱2 之4像素伤的γ、Cb、Cr的像素值予以平均。藉由重複該 處理’會使1/1解馬赛克後圖像成為縱橫各成為1/2的長 度且以整體變換為1 /4之尺寸。所變換之〗/4解馬赛克後 圖像係傳送至圖像合成部156，且傳遞至下-段之第2滤波 器 120 〇 I62796.doc 201251459 於第2濾波器120的前階層對應於γ、Cb、Cr之各者的信 號’而逐一配置像素W/2個份的FIFO緩衝器122 »該等之 FIFO緩衝器122亦具有將橫一行份的YCbCr像素保持至下 一橫一行份的像素自第1濾波器Π0輸出為止之功能。當輸 入横二行份的像素時，第2濾波器12〇將横2χ縱2的4像素份 之Υ、Cb、Cr的像素值予以平均。藉由重複該處理，會使 1/4解馬赛克後圖像成為縱橫均為i/2的長度，且以整體變 換為1/16的尺寸。所變換之ιη6解馬赛克後圖像係傳送至 圖像合成部156，且傳遞至下一段之第3濾波器13〇。 關於第3濾波器1 30 ’亦是除於前段配置w/4個份的FIFO 緩衝器13 2以外，重複與上述相同之處理。而後對圖像合 成部156輸出1/64尺寸的解馬赛克後圖像。另，由於如上 述之角錐濾波器亦記載於專利文獻丨中而為周知，因此在 本說明書中將省略其以上之詳細説明。 如此，自角錐濾波器部170的各濾波器使每次縮小1/4之 圖像輸出輸入至圖像合成部丨56。如由此所了解般，使各 濾波器的前段所需之FIF0緩衝器的大小減小至通過角錐濾 波器部170内的濾波器之程度。另，濾波器的個數並不限 定於3個，宜因應所要求之解析度的寬度適宜決定。 圖像合成部156係自第丨濾波器11〇、第2濾波器12〇、第3 遽波器130分別接收1/4、1/16、1/64解馬赛克後圖像的
的像素行或小於一行份之範圍的像素行，而對於γ、cb、 Cr的像素值之各者生成1/4、1/16、1/64解馬赛克後圖像的 之横一行份 162796.doc 201251459 像素行所連接之新的像素行β 像送出部15 1 ^ 將所生成之像素行傳送至圖 圖像送出部151係在所輸人之複數種類的圖像資料中， 因應自主機終端20經由通信部1〇8而接收之資料請求而選 士所需的資料。而|，將所選出之資料封包化而傳送至通 信部108。在本實施形態中’相機刚進行之處理係以圖像 的左上方為起點，並以向圖像的下方重複自左向右之處理 之光柵順序執行，並將横一行的像素作為基本的處理單 位。而後，向圖像送出部151輸入之各種圖像的資料形式 及向主機終端20傳送之圖像的資料形式基本上係成為自上 方依序連結圖像的横一行之資料之串流。 通信部108係根據例如USB〗.〇/2〇等之特定的協定將 封包送出至主機終端20。與主機終端2〇之通信並不限定於 有線，其亦可是例如IEEE8〇2 lu/b/g等之無線乙觸通信、 IrDA等之紅外線通信。另，圖2中雖將γ、Cb、Cr的資料 個別表現’並對於其各者標示用以資料輸人輸出之箭頭， 但以下為防止圖變得煩雜，將以丨組表示該等之要素。 在本實施形態中，圖像合成部156所生成之資料係3個解 馬赛克後圖像的像素行混合存在之一連串的像素值之串 流。因而並非是嚴密地將連結3個解馬赛克後圖像之結果 作為2維平面的圖像生成者。然而如其後詳述般，對於圖 像合成部156所輸出之串流，當定義與圖像的横一行份之 像素數相當之像素數時，以下之處理會與未經由圖像合成 部156之RAW圖像或ln圖像的資料相同。其結果是圖像合 Ι 62796.doc • Μ 201251459 成部156會生成實質上合成1/4、i/16、1/64解馬賽克後圖 像之圖像。以下，將該虚擬的圖像稱為“合成圖像’’。 圖3係顯示相機100的圖像合成部156及圖像送出部151的 構成之詳細圖。圖像合成部156包含將自第2濾波器120及 第3濾波器130獲取之1/16、1/64解馬赛克後圖像的横一行 份之資料各自暫時保存之FIFO緩衝器149、150。 而後，如其後詳述般’對於來自第1濾波器11〇的1/4解 馬赛克後圖像之横一行份的像素之資料，將來自第2濾波 器120的1/16解馬賽克後圖像之横一行份的像素行之一半 的像素之資料與來自第3遽波器13〇的1 /64解馬赛克後圖像 之横一行份的像素行之4分之1的份之像素的資料，以該順 序連結而成為虛擬的合成圖像之横一行份的資料。 圖像送出部15 1具有資料選擇部154、封包化部162及控 制邛164。圖像送出部1 5 1的控制部164係基於來自主機終 =〇的吻求而對於資料選擇部丨54指示是否將各種圖像資 料中之任一者作為封包送出。資料選擇部154係將自圖像 獲取4 102輸入之RAW圖像、自解馬賽克部ι〇4輸入之w ::賽克後圖像及自圖像合成部156輸入之合成圖像的像 仃之資料作為輪人資料，並選擇、操取自控制部164指 不之貧料，而傳送至封包化部162。 根據來自主機終端2q的請求，如上述般，有直接 中所1固圖像㈣的串流之情形、與僅傳送應注目之區域 T所含之—部分 ^ 藉由連結傳送部分資料之情形。在後者之情形下， 的貢料而重建串流。封包化部162係將 162796.doc -15· 201251459 資料選擇。卩1 54輸入之串流，按對應於通信部108的協定 每個尺寸封包化，並寫入内部的封包緩衝器（未圖示）。 J如在USB之情形下，係將串流按每個終點的尺寸進行封 包化。 通信部1G8係將該封包緩衝器内的封包根據特定的通信 協定而傳送至主機終端2〇β另，若請求RAW圖像' ^解 馬赛克後圖像、合成圖像的資料中複數個圖像的資料之情 形下，資料選擇部154將對應於該等之複數個串流輸入至 封包化邓162 »藉由對資料選擇部154之輸出、及封包化部 162之輸入輸出、通信部1〇8之輸入輸出設置複數個通道， 且並列地傳送所請求之複數個資料，亦可實現更低延遲的 資料送出。關於該情形將容後詳述。 圖4顯示主機終端2〇的内部電路構成。主機終端川包 含：CPU(Central Processing Unit，中央處理單元）5〇、 GPU(GraphiCS Processing Unit，圖形處理單元）52、顯示控 制部54、記憶部56、主記憶體58及通信部6〇〇 cpU5〇係基 於作業系統或應用程式等之程式，控制信號處理或内部構 成要素。GPU52係根據來自CPU50之請求而進行圖像處 理。顯不控制部54係生成用以將由GPU52描繪於訊框緩衝 器（未圖示）上之圖像資料顯示於顯示器4上之視頻信號。 記憶部56係由硬磁碟驅動器或非揮發性記憶體等構成， 並儲存用以使低延遲相機系統10進行動作之程式或必要的 資料。主記憶體58係由RAM(隨機存取記憶體）等構成，且 除程式或資料之載入以外’亦儲存自相機100傳送之資 162796.doc -16- 201251459 料。通信部60係USB或IEEE 1394等之周邊機器介面、或是 有線或無線LAN之網路介面，在本實施形態中’尤其進行 向相機100之資料請求信號的傳送、自相機100傳送之資料 的接收。該等之各部分經由匯流排62而彼此連接。另， GPU52可經由匯流排62而自主記憶體58直接讀出貼圖資料 等處理上所需的資料。 圖5係顯示相機！ 00及主機終端2〇之資料的形態之基本變 遷之示意圖。此處，作為例子，可考慮將在横方向上具有 像素W個份、縱方向上具有像素η個份的寬度之訊框圖像 2〇〇整體的資料自相機100傳送至主機終端2〇之情形。如上 述般，在本貫施形態中係以像素的光柵順序進行圖像資料 的生成、選擇、傳送，並依序連結横一行份的像素行而以 串流的形式進行處理。 在此種狀況下，資料選擇部154所輸出之資料為串流 2〇2。該圖中’串流202的横軸表示時間經過，構成串流 202之各矩㈣' L2、·.·、LH分別表示訊框圖像細的第！ 行、第2行、…、第Η行之像素的資料。若將】像素的資料 尺寸作為“d位元組”，則各矩形的f料尺寸係為μ位元 封包化㈣2係將串流2〇2以每個特定尺寸封包囊集，而 生成封包 PI、P2、P3、P4、P5、 # ' °藉此自相機100向主 機終端20以封包PI、P2、P3、P4、ρς , 5、··.的順序傳送。當 主機終端20將封包PI、Ρ2、Ρ3、ρ4、 、Ρ5、...經由通信部60 進行接收時，會根據CPU50的抑杰丨^ 的控制而儲存於主記憶體58 162796.doc •17· 201251459 中。 此時’係以原本的訊框圖像2〇〇之横方向的像素數w為 寬度之方式將封包的資料以光柵順序排列於主記憶體5 8 中’並藉由於WxdxH位元組連續之位址展開資料，而將圖 像204復原。該圖中構成圖像2〇4之矩形表示各封包的資 料。GPU52係根據CPU50的控制，而對於主記憶體58中展 開之圖像204施加加工，或與其他圖像合成而描繪欲顯示 於顯示器4上之圓像。 其次’兹就圖像合成部I%合成1/4、1/16、1/64解馬赛 克後圖像之手法進行説明。圖6係顯示1/4解馬赛克後圖 像、1/16解馬赛克後圖像、1/64解馬赛克後圖像的像素值 之自角錐濾波器部170的各濾波器之輸入時間點之時序 圖。該圖中，時間步驟S1、S2、S3、S4、·分別表示輸入 1M解馬赛克後圖像的第”丨】、第2列、第3列、第々列 '"的 像素值之期間。 如上述之1/4解馬赛克後圖像般，在合成圖像中所含之 圖像中最高解像度之圖像在角料波器部⑺之資料的生 成率最高。是以’以輸入該圖像的横一行份之像素值之期 間設為基準的時間步驟，使該時間步驟與合成圖像的横一 打份之像素行對應。亦即，以輸人最高解像度的圖像之横 二讀的像素值之期間設為基準週期，两生成合成圖像的 橫一仃份之資料。 圖的上段、中段、 1/16解馬赛克後圖像 下段分別表示1/4解馬賽克後圖像、 、1/64解馬赛克後圖像的輸入時間 162796.doc 201251459 點’ 1個矩形對應於1像素份之輸入。首先，在時間步驟si 中’自左方之像素依序輸入1/4解馬賽克後圖像之第1行的 像素行L(W4)1之像素值。在該時間步驟中，由於並未生成 1/16解馬赛克後圖像、1/64解馬賽克後圖像，因此未輸 入0 在下一時間步驟S2中，自左方之像素依序輸入1/4解馬 賽克後圖像之第2行的像素行^丨^一之像素值。此時，於角 錐濾波器部170，由於係使用1/4解馬赛克圖像之第丨行的 像素行1^/4)1及第2行的像素行之像素值，生成ι/ΐ6 解馬赛克後圖像之第1行的像素行L(m6)1，因此在時間步 驟S2中，亦會輸入該像素行的像素值。 例如於1/16解馬赛克後圖像之第丨行的像素行的 左端之期間210輸入之像素值，係利用1/4解馬赛克後圖像 之第1行的像素行L(1/4)i中於期間2〇6輸入之2個像素的像素 值、及第2行的像素行l(i/4)2中於期間2〇8輸入之2個像素的 像素值而生成。因此，在時間步驟S2中，像素行L(1/l6)1的 像素值之輸人時間點相較於像素行L(1/4)2#應之像素的像 素值之輸入時間點會延遲至少2像素份。 在下-時間步驟S3中，輸入1/4解馬赛克後圖像之第3行 的像素仃Ln/4)3的像素值。在該時間步驟中，由於並未生 ^16解馬赛克後圖像之第2行的像素值且未生成⑽解 後圖像，因此其任―者皆未輸人。於下—時間步驟 素:即輸人1/4解馬赛克圖像的請之像素行的 像素值之期間’係與時間步驟S2相同，亦會輸入ι/ΐ6解馬 162796.doc 201251459 赛克後圖像的第2行之像素行l(i/i6)2的像素值。 再者，於角錐濾波器部17〇，由於係利用1/16解馬赛克 圖像的第1行之像素行L(l/】6)1及第2行的像素行l(i i6)2的像 素值’生成1/64解馬赛克後圖像的第1行之像素行 L⑴64)1，因此在時間步驟84中，亦會輸入該像素行的像素 值。例如於1/64解馬赛克後圖像的第1行之像素行l(i/64)i 申於最初的輸入期間21 8輸入之像素值，係利用1 /1 6解 馬赛克圖像的第1行之像素行令於期間21〇及期間 212輸入之2個像素的像素值及第2行的像素行L(…中於 期間214及期間216輸入之2個像素的像素值而生成。 因此，在時間步驟S4中，像素行乙⑴叫丨的輸入時間點相 較於像素行L(W16)2對應之像素的像素值之輸入時間點會延 遲至少2像素份。以下，藉由同樣地重複各圖像的像素值 輸入，而使1/4解馬赛克後圖像、1/16解馬赛克後圖像、 1/64解馬赛克後圖像的全像素值向圖像合成部156輸入。 如此，各圖像之像素值係自角錐濾波器部丨7〇對應之濾 波器作為個別的串流而以光栅順序輸入。圖像合成部〗56 係以連結該等而成為1個串流之方式向圖像送出部丨5〖輸 出。最簡單而言，可考慮的是，無論原本之圖像如何，皆 可以輸入之時間順序連結像素值的資料。在該情形下，雖 合成處理自身較容易，但在其後之處理中會產生對每個圖 像之各行分類、擷取資料之需要，而使處理複雜化。 又，在各時間步驟中亦可考慮對每個圖像彙集像素值而 生成像素行，並串聯地連結該等。在該情形下，於時間步 162796.doc .20· 201251459 驟S1或S3中，對於輸入之像素值僅為1/4解馬赛克後圖像 的資料，在例如時間步驟S4中，會成為1/4解馬赛克圖 像、1/16解馬赛克圖像、1/64解馬赛克圖像的3個圖像之資 料等，由時間步驟輸出之資料長度產生較大地變化。是 以，在本實施形態中，關於具有未輸入資料之時間步驟之 圖像，係利用該時間步驟，而以將先前輸入之像素值的一 部分予以輸出之方式，將於各時間步驟中輸出之資料長大 致均等化。 圖7係顯示圖像合成部156連結複數圖像的像素行之資料 之情況之示意圖。圖中，s〇、S1、S2、S3、…係與圖6相 同之時間步驟，於各期間輸入1/4解馬赛克後圖像的一行 份之像素值。該圖中對每個圖像以不同之陰影矩形顯示於 各時間步驟中輸出資料之像素行。如參照圖6所説明般， 由於時間步驟S1中僅輸入1/4解馬賽克後圖像的第〖行之像 素行Ln/4)1的像素值，因此圖像合成部156係直接將其等輸 出。若原本之RAW圖像的横方向之像素數為w，則1/4解 馬赛克後圖像的一行份之像素數係如該圖所示般為w/2。 在下一時間步驟S2中，使1/4解馬赛克後圖像的第2行之 像素行L〇/4)2的像素值及1/16解馬賽克後圖像的第丨行之像 素行L((m6)l的像素值於圖6所示般之時間點並列地輸入。 圖像合成部156其後會將1/16解馬賽克後圖像的第丨行之像 素仃Ln/16)l的像素值暫時保存於FIF〇緩衝器149中，並連 續地先輸出解馬賽克㈣像的第2行之像素行£_2的 像素值^ 162796.doc 201251459 當1/4解馬赛克圖像的第2行之傻去 素仃L(1/4)2的像素值全 錢出時，接著將1/16解馬赛克後圖像的第丨行之像素行 L(⑽)UFIF0緩衝器149讀Α ’並輸出。此時考量於下一 時間步驟S3輸出之份’僅輸出1/16解馬#克後圖像的第i 行之像素行L(,/16)l的全像素中前半部分（圖像平面之左半 部幻之像素值’騎部份制㈣存_卩⑽衝器⑷ 中。 在下-時間步驟S3中，僅輸入1/4解馬賽克後圖像的第 行之像素行L⑽)3的像素值。圖像合成部156係將該像素^ 的像素值直接輸出’接著將1/16解馬赛克後圖像的第Μ 之像素行L(1/16)1中未輸出之後半部分（圖像平面之右半部 分）之像素值自内部記憶體讀出，並輸出。 ° 在下-時間步驟S4中，使1/4解馬赛克後圖像的第4行之 像素行L(1/4)4的像素值及1/16解馬赛克後圖像的第2行之像 素行L(n/16)2、1/64解馬赛克後圖像的第i行之像素行 L(w4)l的像素值於圖6所示般之時間點並列地輸入。圖像 合成部156其後會將1/16解馬赛克後圖像的第2行之像素行 匕⑴^^及1/64解馬赛克後圖像的第丨行之像素行l⑴叫丨的像 素值分別暫時保存於FIF0緩衝器149、15〇中，並連續地先 輸出i/4解馬赛克後圖像的第4行之像素行l⑽)4的像素 值。 ’ 當1/4解馬赛克圖像的第4行之像素行^⑽)4的像素值全 部輸出時，接著將1/16解馬赛克後圖像的第2行之像素行 L(m6)2的前半部分自FIFO緩衝器149讀出，並輸出。其後 162796.doc -22- 201251459 輸出1/64解馬赛克後圖像的第1行之像音rT , u ^ 去旦认仕从 像素仃L(丨/64)1。此時 考里於其後之3個時間步驟S5、 Λ ^ M 輸出之份，而將 1/64解馬赛克後圖像的第i t 盯：像素仃L(丨m)l分割4分之 1 ’且僅輸出其最初部分的像音 的像素值。剩餘部分則保存於 FIFO緩衝器15〇中。 在下一時間步驟S5中，僅銓λ】“ — _ 僅輸入1/4解馬赛克後圖像的第5 行之像素行L(丨⑷5的像素值。圖像人 y^ 固诼0成部156將該像素行的 像素值直接輸出，接著將1/16艋 — 〇解馬赛克後圓像的第2行之 像素行L( ] /, ¢)2中未輸出之接本八 更牛0Ρ 77的像素值自FIFO緩衝器 149讀出，並輸出。再者，鈐山 — 輸出1/64解馬賽克後圖像的第i 行之像素行L(in6)l的未輸出之資料中分割4分之^之第 分的像素值。 同様地’在下-時間步驟86中，輸出1/4解馬赛克後圖 像的第6打之像素行l(1/4)6的像素值、"辦馬赛克後圖像 的第3行之像素行L(im)3的前半部分之像素值、㈣解馬 赛克後圖像的P行之像素行l(i/64)1的未輸出之資料中分 割4分之!之第3部分的像素值。在下一時間步驟s”，輸 出1/4解馬赛克後圖像的第7行之像素叫―的像素值、 1/16解馬賽克後圖像的第3行之像素行l(_)3的後半部分 之像素值、1/64解馬赛克後圖像的第丨行之像素行 中分割4分之1之最後部分的像素值。 亦即，1/16解馬賽克後圖像的第1行之像素行l(1/16)1係 於時間步驟82及83之2個時間步驟各輸出一半。又，η" 解馬賽克後圖像的第1行之像素行L⑽4)1係於時間步驟 162796.doc -23. 201251459 S4、S5、S6、S7之4個時間步驟各輸出4分之1。當raw圖 像的横方向之像素數為W時，由於丨/丨6解馬赛克後圖像及 1、64解馬赛克後圖像的横一行份之像素數分別為w/4、 W/8，因此如該圖所示般，分別輸出每個時間步驟 個、（W/8)/4個之像素的資料。 將以上之輸出處理重複至圖像的最下段之行。此時於 輸出1/4解馬赛克後圖像的最下段之像素行的資料之時間 點’ 1/16解馬赛克後圖像的最下段之像素行的後半部分之 資料及1/64解馬赛克後圖像的最下段之剩餘4分之3的像素 之資料為未輸出之狀態。是以，在其後之時間步驟 S(H/2+l)巾，冑出1/16解馬赛克後圖像的最下段之像素行 的後半部分之資料及將1/64解馬賽克後圖像的最下段之像 素行分割4分之1之第2部分的資料。 此時，㈣先前輸出1/4解馬赛克後圖像的資料之w/2像 素份的資料’首先會輸出益放眘姐， …、双貢料’接耆輸出1/16解馬赛 克後圖像、1 /64解馬赛券接乂金& & ,, ’赘見傻圖像的資料。在接續2個時間 步驟聊2+2)、S(H/2+3)中，作Μ前輸出Μ解馬赛克後 圖像及1/16解馬赛克後圖像的資料之w/2 + (w/4)/2像素份 的資料’首先會輸出無效資料，其 貝了寸具後分別輸出將1/64解馬 赛克後圖像的最下段之像紊粁八划1八 1豕京仃刀割4分之1之第3部分、第4 部分的資料。 % 咏冏始的：MSI时Γί 步驟與結尾的3個時間步驟以外，經常會輸d W/2+(W/4)/2+(W/8)/4=21 W/32個像素的眘 因诼素的資料。又，由於套 162796.doc •24- 201251459 出1行份的像素值，1/4解馬賽克後圖像需要丨時間步驟 "16解馬赛克後圖像需要2時間步驟、"“解馬赛克後圖像 需要4時間步驟，因此輸出丨訊框份的圖像資料所需之時間 步驟數為Ρί/2=(Η/4)χ2=(Η/8)χ4，全部相等。社 τ 、°°禾，輸出3 個圖像之1訊框份的資料所需之總時間步驟數為Η / 2 Η。 如上述般，圖像合成部156所輸出之資料雖係像素值的 羅列，但藉由將對應於各時間步驟之像素的個數，亦即將 21W/32作為横一行份的像素之個數賦予，可在圖像送出部 151中與RAW圖像或1/1解馬赛克後圖像相同，將各時間步 驟中輸出之資料作為圖像的一行份之資料處置。 / 因而，可使各時間步驟對應於圖像的縱方向之像素結 果，會生成於圖7之整體的矩形區域所示般之合成圖= 220。如上述般，藉由於各時間步驟輸出之像素行中固定 各圖像的資料佔有之範圍，可在合成圖像22〇中使1/4解馬 赛克後圖像、1/16解馬赛克後圖像、1/64解馬赛克後圖像 的資料構成各自彙集之矩形區域。因此，若利用其局部 性’則會谷易進行每個圖像的資料之裁取。 圖8係顯示主機終端20的資料請求處理及相機1〇〇的資料 傳送處理之構成。另，該圖中，對與圖3及4所示之功能方 塊重複者標註以相同符號，而將其説明省略一部分。又， 主機終端20與相機100雖如上述般經由彼此之通信部而進 行各種資料的傳送接收，但該圖中予以省略。主機終端2〇 的CPU50包含：資料請求部64、資料處理部託及資料展開 部68。相機1 〇〇的圖像送出部15丨之資料選擇部丨54包含： 162796.doc -25- 201251459 串流選擇部16 6及裁切部16 8。 CPU50的資料請求部64係對於相機⑽傳送請求傳送之 圖像及指定該區域之資料請求信號。作為請求傳送之圖像 係指定例如RAW圖像或各尺寸之解馬赛克後圖像中之任一 者。區域係指㈣如圖像平面之該區域的左上方的座標與 横方向、縱方向的寬度。CPU5_f料請求部崎此以外 會將請求攝影m結束之信號、指定攝影條件之信號 等亦傳送至相機100 ^此處，所謂“攝影條件，，係例如訊框 率、快門速率、白平衡、視角等，其係因應相機1〇〇具有 之性能或CPU50執行之應用程式等而決定。 圖像送出部15 1的控制部164當接收來自資料請求部64的 資料請求信號時’會對資料選擇部154供給其資訊。在接 收請求攝影之開始或結束之信號、指定攝影條件之信號等 之情形下，控制部1 64雖會對相機1 〇〇的圖像獲取部1 〇2等 適宜地提供其資訊’但此處由於可應用—般的技術，因此 省略詳細的説明。 資料選擇部154的串流選擇部166在自圖像獲取部1〇2、 解馬賽克部1 04、圖像合成部15 6分別並列地讀出raw圖 像、1/1解馬赛克後圖像、合成圖像資料的串流之後，會 僅選擇由資料請求信號指定之圖像的資料而輪出至裁切部 168。裁切部168係在所輸入之像素的資料中，僅掘取由資 料請求信號指定之矩形區域所含之像素的資料，而輸出至 封包化部162。 裁切部168進行之處理係與裁取圖像内指定之矩形區域 162796.doc -26- 201251459 而將多餘的區域除外之一般的裁切處理相同。在本實施形 態中’雖處理對象並非是圖像平面而是成為像素行單位， 但若賦予原本之圖像的横—行份之像素數的資訊，則容易 將圖像平面的2維座標與串流之一維座標加以對應，且裁 取之像素之特定可同樣進行。 在本實施形態中，由於係將1/4解馬賽克後圖像、 馬赛克後圖像、1/64解馬赛克後圖像的資料彙集於圖7所 不般之合成圖像上的矩㈣域，因此藉由該裁切處理可容 易進行3個圖像的切開。在例如圖7所示之合成圖像中，若 指定以座標(W/2、”為左上方的頂點之横方向的寬度 侧、縱方向的寬度H/2的區域，則能夠僅裁取⑽解馬賽 克後圖像的整體區域。 >藉由資料選擇部154重複以上的處理，可使由資料請求 信號指定之圖像内的區域之f料以連結像素行之串流形式 連續地輸出至封包化部162。封包化部162所接收之^錢 以FIFO之f略封包化為每個特定的尺寸，並依序傳送至主 機終端20。 主機終端20的資料展開部68係將自相機1〇〇接收之封包 如圖5所示般在主記憶體58中作為圖像平面進行展開。資 料處理部66係使用所展開之圖像，而進行因應執行中的應 用程式之處理。此時’只要因應需要而對Gpu52請求圖像 處理’使GPU52自主記憶體58讀出圖像，並進行加工或合 成即可。由於展開於主記憶體58中之圖像資料與—般的圖 像資料相同’因此亦可作為貼圖讀出。 162796.doc -27- 201251459 資料處理部66亦可解析展開於主記憶體58中之圖像而獲 取臉部區域或追蹤對象的位置，並將該區域的資訊供給於 資料請求部64 ^此時，資料請求部64亦可指定該區域而將 新的資料请求信號傳送至相機1〇〇。在該情形下，相機1〇〇 的裁切部168係以處理新的圖像訊框之時間點，將擷取之 區域根據指定進行變更。 圖9係顯示圖像送出部的構成之變形例。該圖中，對於 與圖8所示之功此方塊具有相同的功能之方塊標註以相同 '而P刀省略其説明。在該例中，_像送出部1 5 1的 輸出及通信部108的輸入輸出具有複數個通道。藉由設置 複數個通道，可並々,丨从& ^ 地擷取不同之圖像、不同之區域的資 料，且並列地向主機終端2〇傳送。 在該通隋形下，通道數雖無特別限定，但在該圖中藉由設 傳送3種資料。因此，圖像送出部⑸ 選擇邱154 #。”54&、第2資料選擇部15仆、第3資料 =::的3個資料選擇部，及第i封包化㈣ 封包化部162b、第3封包 弟2 料選擇部154a與第!封包 …個封包化部。第1資 _包化部】_、第3資：=第2資料選擇⑽與 162c係分別串聯地連接，並 =54C與第3封包化部 取及封包化。 貞責<資料的選擇、擷 竹进擇部154a、弟 資料選擇部154c各自^ ± 資枓選擇部154b、第 串流選擇部166b與栽# < °P 16以與裁切部168a、 抖哉切部168b、串今、西伽 率凌選擇部】66c與裁切旬 162796.doc -28 201251459 168c之組》控制部164係將由來自主機終端20的資料請求 信號所指定之最大3個圖像及區域的資訊逐一分配於3個資 料選擇部。 、 此處’分配於其他通道之圖像及區域的資訊既可是全部 不同之圖像’亦可是相同圖像之不同區域。進行各資料選 擇部及封包化部之組之處理係與圖8所示之資料選擇部1 54 及封包化部162相同。以上述方式自圖像送出部！ 5 1並列地 輸出之3個串流的封包係分別輸入至設置於通信部1 〇8之3 個通道’亦即第i通道172a、第2通道172b及第3通道 172c，並向主機終端2〇並列地進行傳送。所傳送之資料係 在主機終端20的主記憶體58中作為個別的圖像進行展開。 根據以上敘述之本實施形態，在包含拍攝使用者等之動 作之相機及利用其進行圖像顯示之主機終端之系統中，將 所拍攝之動畫像在相機内部設為複數個解像度的資料。而 後，以每個圖像的種類及解像度設為按照像素的光柵順序 連結像素值之串流《而後，根據主機終端的請求傳送其一 部分，並在主機終端的記憶體中構築訊框圖像。如此，可 無須在相機内部作為訊框圖像進行展開之下藉由以像素行 之狀態依序進行處理，而將用以設置於相機上之記憶體尺 寸抑制為最低限度4，在自攝影至向主機終端傳送為止 之期間，由於不會產生需要等待i訊框份的資料對齊，因 此可作為系統整體以低延遲進行因應動作之圖像顯示。 又，使複數個解像度的每—行份之像素值連 結而包含於— 162796.doc -29- 201251459 行份的像素值，’之比率不π 〈比+不冋’因此以較低比率 低解像度的圖像亦可包含夫吐 〜Α 〜未生成資料之期間，並以均等地 包含於串流中之方式分配拉 ^配藉此，用以於每單位時間進行 2理=送之資料尺寸變得大致均等，且不僅至輸 Γ 使用之傳遞頻帶、傳送所需之時間的估算變得 谷易’而且因突發的資料ρ + 货们育枓尺寸之增加而壓迫傳 能性降低。 ::生成之串流在後段之處理中，由於可與僅包含1個 解像度的圖像資料之串流同等地處置，因此實質上會 包含複數個解像度的圖像之合成圖像。而後，由於藉由如 上述般連結，而使合成對象的圖像各自構成合成圖像中的 矩形區域’因此藉由指定合成圖像内的區域，而利用“裁 切”卜般的圖像處理’可容易分別在1傭串流中混合存在 之複數個圖像的資料。 再者，藉由在相機上設置複數個進行依據來自主機终端 的指定之串流的選擇、一部分資料之掏取及封包化之機 構，可並列地傳送複數個資料，且可縮趄傳送時間。又， 由於各者之機構擔負一個串流’且以每個串流傳送至主機 終端，因此可於主機終端省略資料分別之處理。 實施形態2 在實施形態！中，相機100係由所拍攝 <影像生成複數個 解像度的動畫像資料，並根據來自主機終㈣的請求，僅 將其中必要的資料即時地送出至主機終端2〇。在本實施形 態中，進而生成訊框間的動作差值圖㈣作為主機終端2〇 162796.doc -30· 201251459 的請求對象》再者， 將其結果作為中繼資 資料中。 在相機100中解析任—者之圖像，並 料，附加於傳送至主機終端20之圖像 本實施形4可藉由與圖1所示之低延遲相機系統10相同 之系統實現。X，主機終端20亦與圖4所示之構成相同。 以下’主要注目於與實施形態i不同之點進行説明，關於 重複之部分則適宜地省略其説明。 _顯示本實施之相機的構成。相機100a係與實施形 態1之相機100相同，包含：圖像獲取部1〇2、解馬赛克部 104、角錐濾波器部170、圖像合成部156、圖像送出部 151a及通信部108。相機1〇〇a進而包含差值圖像生成部174 及圖像解析部1 76。 圖像獲取部102、解馬赛克部1〇4及角錐據波器部17〇係 與實施形態1中對應之功能方塊同樣地進行動作。差值圖 像生成部174係生成角錐濾波器部17〇所輸出之特定的解像 度之圖像與以前所輸出之相同的解像度之其他訊框的圖像 之差值圖像。因此，差值圖像生成部174包含暫時保存丨訊 框份的圖像資料之内部記憶體（未圖示）。 而後，重新獲得自角錐濾波器部17〇輸出之像素值與保 存於該内部記憶體中之以前的訊框所對應之像素的像素值 之差值，並將該結果作為差值圖像的像素值而輸出至圖像 合成部156。由於該處理亦是以像素的光柵順序進行者， 因此輸出之資料係與其他圖像相同之串流。 大致估算存在動作之區域之情形等、根據主機終端2〇使 162796.doc -31 - 201251459 用差值圖像之目的’大多情況亦不對差值圖像要求較高之 解像度。因此，自角錐渡波器部17〇所生成之最低解像度 的圖像生成差值圖像，而作為由圖像合成部156產生之合 成對象。右將差值圖像作為合成圖像的一部分，則之後藉 由使圖像送出部151a及通信部⑽與實施形態丄敛述者同樣 地進行動作，可將該差值圖像的資料向主機終端2〇傳送。 圖像解析部176係對於角錐濾波器部17〇所輸出之特定的 解像度之圖像進行特定的圖像解析，並將其結果傳遞至圖 像送出部151a。另，該圖中，雖將差值圖像生成部m與 圖像解析部m的處理對象作為相同解像度的圖像，但本 實施形態主旨並非限定於該等，亦可獨立地進行相互之處 理。 圖像解析部176所進行之圖像解析係臉部檢測處理或具 有特定的形狀之對象物的追蹤等。因而，傳遞至圖像送出 部15la之解析，结果係臉部區域或對象物㈣域之位置或大 小之資訊與顯示檢測/追蹤精度之評估値等。進行何種解 析及對象物的形狀資訊等之解析條件係依據執行之應用程 式，而在應用程式起動時等自主機終端2〇通知至相機 100 ° 圖像送出部ISla的封包化部！62(圖示於圖3中）係在傳送 ^主機終端20之圖像資料的！訊框份的串流之後或於！訊框 份的串流中之特定的位置將利用圖像解析部Μ之圖像解 析結果作為中繼資料插入。而後，與未蹲行圖像解析之情 形相同以特定的尺寸進行封包化。 I62796.doc -32- 201251459 在該情形下，主機終端20係將自相機100傳送之資料中 圖像資料部分作為圖像展開於主記憶體中，且使中繼資料 在該圖像的加工或合成等之處理中加以利用。又，亦可利 用中繼資料，對於其以後之訊框向相機100重新進行請求 之資料的指定》圖像資料與中繼資料之區別係能夠在將所 接收之串流全部作為圖像之情形的圖像平面中預先決定附 加中繼資料之區域，或對中繼資料自身附加辨別該等之資 訊。 另’在本實施形態中，雖在相機100a上設置差值圖像生 成部174與圖像解析部176之兩者，但亦可僅設置任一者之 一方。又’作為中繼資料附加之資訊亦可不是圖像解析之 結果’而是例如獲取原先的RAW圖像之時的時間戳記等。 在該情形下’只要圖像獲取部1 〇2將以每個訊框所生成之 時間戳記的資訊由圖像送出部151&直接獲取，並與上述同 様地插入於串流中即可。 根據以上敘述之本實施形態，除實施形態1之構成以 外’於相機内部設置生成差值圖像之機構。在利用差值圖 像檢測存在動作之區域之態様中，由於即便為低解像度的 圖像亦具有充分功能之情形較多，因此可將例如最低解像 度的圖像作為對象’並使所生成之差值圖像包含於合成圖 像中。藉此’除實施形態1中敘述之效果以外，關於差值 圖像亦可藉由裁切處理而容易進行分別。其結果，即便在 欲檢測存在動作之區域之情形下’亦可將應於主機終端進 行之處理設為最小限度。 162796.doc -33- 201251459 再者，於相機内部設置追蹤臉部區域的檢測或特定的形 狀之對象物之機構，並將其結果作為中繼資料以訊框單位 插入至圖像資料的串流中。藉此，對臉部區域或對象物之 區域施加加工或欲獲得該區域的詳細資訊之情形等可將 應於主機終端進行之處理設為最小限度。 實施形態3 在本實施形態中，將圖1所示之低延遲相機系統1〇的相 機100由包含自左右不同之視點拍攝相同對象物之一對相 機之立體照相機構成。而後，在該立體照相機中，使用自 左右拍攝之2個動畫像的訊框進行立體匹配，並生成顯示 對象物的深度方向之位置之深度圖像。該深度圖像與其他 圖像相同，係根據來自主機終端2〇的請求而隨時進行傳 送。此處，主機終端20宜與實施形態！相同之構成。以 下主要/主目於與實施形態1及2不同之點進行説明，關於 重複之部分則省略其説明。 圖11係顯示本實施之相機的構成。立體照相機100b包 含：第1相機190a、第2相機190b、立體匹配處理部192、 圖像送出部1 5 1 b及通信部1 〇8。第1相機190a及第2相機 19〇b雖各自具有實施形態1所示之相機1Φ0或與實施形態2 所示之相機100a大致相同之構成，但關於圖像送出部151b 及通信部108，係由第1相機i9〇a、第2相機190b及立體匹 配處理部192共有。 第1相機190a包含：圖像獲取部i〇^a、解馬赛克部 W4a、角錐濾波器部17〇a、圖像合成部156a及圖像解析部 162796.doc -34- 201251459 176a。同様地，第2相機190b包含：圖像獲取部102b、解 馬赛克部l〇4b、角錐濾波器部170b、圖像合成部156b及圖 像解析部1 76b。分別設置於圖像獲取部1 〇2a及圖像獲取部 102b之攝像元件會自左右不同之視點拍攝相同的對象物。 作為該攝像元件的硬體之構成只要是與一般的立體照相機 相同即可。 又，第1相機190a、第2相機190b所具有之上述功能方塊 係與實施形態1及2中所説明之對應功能方塊相同地動作。 立體匹配處理部192係將特定的解像度之左右的動畫像訊 框之一者自第1相機HOa的解馬赛克部i〇4a或角錐濾波器 部170a以特定的比率獲取，另一者自第2相機19〇b的解馬 赛克部104b或角錐濾波器部170b以特定的比率獲取。 而後，利用以相同的時間點獲取之左右的圖像進行立體 匹配’而生成深度圖像。深度圖像係將表示對象物的深度 方向之位置之値作為圖像平面上的像素值之圖像，其係表 示對象物之3維空間中之位置資訊。此處實施之立體匹配 處里亦了使用先則提案之各種手法之任一者。例如於左右 的圖像之一方設定相關窗口，並藉由一面移動另一方之圖 像的搜索窗口 一面算出與相關窗口的圖像之彼此相關係 數，而獲取對應點之後，可使用基於該等對應點的視差而 利用二角測量原理求出3維的位置資訊之面積相關法等。 任—者之情形皆是將所輸入之左右的圖像資料以每一行 進打處理而以光栅順序決定深度圖像的像素值，並依序向 圖像送出部15 lb輸出。圖像送出部15 lb係與該資料一起， 162796.doc •35· 201251459 自第1相機190a及第2相機190b獲取左右的RAW圖像、1/1 解馬赛克後圖像及合成圖像之資料。 又’自第1相機190a的圖像解析部176a及第2相機190b的 圖像解析部1 76b接收與實施形態2中所説明者相同之圖像 解析的結果。而後，與實施形態1中所説明者相同，選擇 自主機終端20所請求之資料，並依據需要僅擷取所請求之 區域而進行封包化。此時，如實施形態2十所説明般，根 據主機終.端20的請求，將自圖像解析部176a、17补所獲取 之圖像解析的結果作為中繼資料插入。 通信部108進行之處理係與先前所説明者相同。另，該 圖中雖各由1個箭頭顯示圖像送出部15丨匕的輸出及通信部 108的輸入輸出，但亦可如圖9所示般設置複數個通道而 並列地傳送複數個資料。 接著，顯示可由先前敘述之構成實現之低延遲相機系統 10的動作例。此處所示之動作例雖主要可由包含實施形態 3中所説明之立體照相機1〇〇b之系統實現但關於實施形 態1或2敘述之構成亦可適宜地組合。 圖12係顯示主機終端2〇與立體照相機1〇扑協同作用而進 行圖像處理之處理程序之例之流㈣與域之圖像例。圖 12〜14之流程圖係藉由使用者對主機終⑽輸人應用程式 的起動^日7F而開始。又’為容易理解，各步驟雖係以串聯 連接之矩形表示，但在拍攝動畫像之期間，係對於各像 素行、各訊框重複該等之步驟，且並_執行。 首先’主機終㈣係指定設定於應用程式等中之初始條 162796.doc -36 · 201251459 件及必要資料，並對於立體照相機祕進行攝影開始 個相機所拍攝之動4像的解像度或訊框率、立體匹配處理 部192進行立體匹配之圖像的解像度或訊框率、追蹤對象 的形狀資訊等。另’相機拍攝之動畫像的解像度或訊框率 既:使利用攝像元件之曝光自身的條件設^產生變化，亦 可藉由將來自攝像元件的f料於後段進行絲樣處理等之 調整而產生變化。 此處，係例如以下述般進行指定。 第1相機：解像度USOXUO、訊框率6〇fps 第2相機：解像度128〇x72〇、訊框率6〇 fps 立體匹配：解像度128〇x72〇、訊框率6〇印3 必要的資料之指定係、如上述般，除指定圖像的種類 '解 像度' ®像内的區域以彳’亦可指定中繼資料。此處，係 例如以下述般指定3個資料。 資料 1 :(左圖像，YUV422: 16 位元，〇 128〇 72〇) 資料2:(左合成圖像，YUV422: 16位元，〇,〇85〇 367, 臉部區域’對象物區域，時間戮記） 資料3 .(冰度圖像、z : 16位元，〇, 〇，128〇, 72〇) 資料1係立體照相機100b中左側的相機所拍攝之圖像的 1/1解馬赛克後圖像（YUV422:⑹立元）之左上方的座標為 (0, 0) ’横方向及縱方向之寬度為（128〇, 72〇)之區域。可知 該區域若考量以上述初始條件指定之解像度，則係所拍攝 之圖像的全域β 162796.doc •37· 201251459 資料2係左側的相機所拍攝之圖像的合成圖像 (YUV422 . 16位7L)之左上方的座標為（()，0)、横方向及縱 方向之寬度為（850, 357)之區域。圖12〜14之例中的合成圖 像係在圖7所示之1/4解馬赛克後圖像、1/16解馬赛.克後圖 像、1/64解馬赛克後圖像中進而包含將1/256解馬赛克後圖 像的訊框間差值作為進行之結果而獲得之差值圖像。該差 值圖像係作為（W/16)/8xH/2的圖像區域而以與其他相同之 規則附加於圖7的合成圖像之右端。 由上述資料2指定之區域為該合成圖像的全域。資料2中 係以進而將進行臉部檢測處理之結果獲得之臉部的區域、 進行追縱處理之結果獲得之對象物的區域及拍攝合成圖像 的原本圖像時的時間戳記作為中繼資料附加於合成圖像中 之方式指定。資料3係立體匹配處理部i %所生成之深度圖 像（以深度方向的16位元之位置資訊為像素）之左上方的座 標為（0,0)’横方向及縱方向的寬度為（1280，72〇)的區域， 亦即全域。 接受初始條件的指定及資料請求之立體照相機丨〇〇b的第 1相機190a及第2相機190b係以該初始條件開始動畫像的拍 攝（S12)。第1相機190a、第2相機190b、立體匹配處理部 192係藉由使用所拍攝之圖像訊框如上述般進行處理，而 生成左側的RAW圖像及1/1解馬赛克後圖像230、左侧的合 成圖像232、深度圖像234、右側的RAW圖像及1/1解馬赛 克後圖像236及左側的合成圖像238之資料（S14)。 另’該圖中雖顯示各圖像的全域，但實際的圖像資料係 162796.doc •38· 201251459 义像素值的串流之狀態依序輸人至圖像送出部⑸b。圖 13、圖14亦相同。接著’圖像送出部藉由僅選擇、 掘取S10中所衫之賴而作為_流進行封包化*生成傳 送資料並進行傳送（S16)。 接收資料之主機終端20係在主記憶體58中展開圖像。其 、··。果’於主記憶體58中儲存ln解馬赛克後圖像的全域 0 1/4解馬赛克後圖像的全域242、1/16解馬賽克後圖像 的全域244、1/64解馬赛克後圖像的全域246、1/256解馬赛 克後圖像的差值圖像248、包含：臉部之區域、對象物之 區域、時間戳記之中繼資料250及深度圖像252 ^ 主機終端20的CPU50及GPU52係利用該等資料而生成應 顯不之圖像’並顯示於顯示器4上（S18、S2〇)。例如，自 動作差值圖像248檢測存在動作之區域，並自深度圖像252 獲取該部分之對象物的深度資訊。藉由使該等繼續複數個 訊框份而辨識作為被攝物之使用者的手勢。而後，於ιη 解馬赛克後圖像的全域240中臉部區域等顯示施加因應手 勢之特定的加工之圖像。 該實施例中，由於自立體照相機丨00b向主機終端2〇傳送 之每單位時間的資料尺寸為 資料 1: 1280x720像素x60fps><16 位元=885 Mbps 資料2 . 850x370像素 x60 fpsxl6位元=300 Mbps 資料3 : 1280x720像素 χ60 fpsxl6位元=885 Mbps 因此合計成為2.1 Gbps。 圖13係顯示主機終端20與立體照相機l〇〇b協同作用而進 162796.doc •39- 201251459 行圖像處理之處理程序的其他例之流程圖與生成之圖像 例。首先，與圖12相同，主機終端20指定初始條件及必要 之資料，而對於立體照相機100b進行攝影開始指示及資料 傳送請求（S22)。 該例之初始條件與圖12之例相同。作為必要資料，係如 以下般指定1個資料。 資料1 :(左合成圖像，YUV422 : 16位元，〇, 〇, 85〇, 367， 臉部區域’對象物區域，時間戳記） 該資料係與圖12之例的資料2相同。 接受初始條件的指定及資料請求之立體照相機1 〇〇b的第 1相機190a及第2相機190b係以該初始條件開始動晝像的拍 攝（S24)’並使第丨相機190a、第2相機19〇b、立體匹配處 理部192各自生成圖像資料（S26)e此時之圖像資料係與由 圖12的S14生成之圖像資料相同。 接著，圖像送出部151b係藉由僅選擇、擷取S22中所指 定之資料而作為串流進行封包化而生成傳送資料並進行傳 送（S28) »接收資料之主機終端2〇係在主記憶體58中展開 圖像。其結果，於主記憶體58中儲存1/4解馬赛克後圖像 的全域242、1/16解馬賽克後圖像的全域244、1/64解馬赛 克後圖像的全域246、1/256解馬赛克後圖像的差值圖像 248及包含臉部之區域、對象物之區域、時間戳記之中繼 資料250。 主機終端20的CPU50係將自差值圖像248存在特定的動 作之區域或中繼資料250中所含之臉部的區域或包含對象 162796.doc -40· 201251459 物的區域之特定範圍的區域作為注目區域進行決定 (S30)。而後。指定該注目區域而重新進行資料請求 (S32)。此處，係例如下述指定2個資料。 資料2 .(左圖像 ’ RAW : 16位元，Fx，Fy，Fw，Fh) 資料3 .(深度圖像’ Z : 8位元，Hx，Hy，Hw，Hh) 資料2係立體照相機1 〇〇b中左側的相機所拍攝之raw圖 像（16位元）中作為包含臉部的區域之注目區域而決定之左 上方的座標為（Fx，Fy)’横方向及縱方向之寬度為（Fw，Fh) 之區域。資料3係立體匹配處理部192生成之深度圖像（以 深度方向的8位元之位置資訊為像素）中作為包含對象物的 區域之注目區域而決定之左上方的座標為（Ηχ，Hy)，横方 向及縱方向的寬度為（Hw，Hh)之區域。 立體照相機100b的圖像送出部151b係以各圖像之新的訊 框輸入之時間點擷取RAW圖像及深度圖像中所指定之區域 的資料，而藉由作為串流進行封包化而生成傳送資料，並 進行傳送（S34)。接收資料之主機終端2〇係在主記憶體58 中展開圖像。其結果’於主記憶體58中儲存包含臉部之區 域的RAW圖像254及包含對象物之區域的深度圖像256 〇 主機終端20的CPU50及GPU52係利用該等資料，生成應 顯示之圖像，而顯示於顯示器4上（S36、S38)。例如，藉 由以！/4解馬賽克後圖像242為背景，並合成包含臉部之區 域的RAW圖像254 ’可在抑制資料尺寸之下僅使顯示表情 的變化等之臉部區域顯示鮮明圖像。再者，亦可自深度圖 像256獲取對象物的深度f訊而辨識使用者的手勢二施 162796.doc 201251459 加因應該等之特定的加工β 藉由重複S30〜S38之處理，即便臉部或對象物移動，亦 可使該等之必要資料無浪費地穩定地獲取而反映於圖像顯 不中°結果’可抑制應自立體照相機1〇〇b向主機終端2〇傳 送之資料的尺寸。 在上述之資料指定中，若假設為（Fw，Fh)=(400，600)、 (Hw，Hh) = (320，450)，則在該實施例中自立體照相機1〇〇13 向主機終端20傳送之每單位時間的資料尺寸為 資料 1 . 85〇χ3 70像素 x60 fpSx 16位元=300 Mbps 資料 2 . 400x600像素 x6〇 fpsx 16位元=230 Mbps 資料3 . 320x450像素 x60 fpSx 16位元=70 Mbps 合計成為600 Mbps。 圖14係顯示主機終端2〇與立體照相機1〇〇b協同作用而進 行圖像處理之處理程序的其他例之流程圖與生成之圖像 例。首先，與圖12相同，主機終端2〇指定初始條件及必要 資料，而對於立體照相機100b進行攝影開始指 送請求(S40” 、及資料傳 s亥例之初始條件係如以下般指定。 第1相機：解像度1280x720、訊框率30 fps 第2相機：解像度1280x720、訊框率15 fps 立體匹配：解像度32〇xl80、訊框率15 fps 必要資料係如以下般指定。 資料1:(左合成圖像，Y(動作差值）：8位元，84〇 8 360，時間戳記） ，， 162796.doc -42- 201251459 資料2:(左合成圖像，YIjV422 : 16位元，800, 4，40, 3 60 ’臉部區域，時間戳記） 資料3 .(深度圖像，z : 8位元，20，1 5，280, 150，時間戳 記） 資料1係左側的相機所拍攝之圖像的合成圖像中γ圖像之 差值圖像的區域，亦即左上方的座標為（840，8)，横方向 及縱方向的寬度為（10，360)之區域。再者，資料1中，係 將拍攝原本圖像時的時間戳記作為中繼資料予以附加之方 式進行指定。 資料2係左側的相機所拍攝之圖像的合成圖像 (YUV422 : 16位元）之左上方的座標為（8〇〇, 4)，横方向及 縱方向的寬度為（40，360)之區域，亦即1/64解馬赛克後圖 像的區域。再者，資料2中，係將進行臉部檢測處理之結 果獲得之臉部的區域、拍攝原本圖像時的時間戳記作為中 繼資料予以附加之方式進行指定4㈣以資❼指定之 合成圖像所含之各圖像的區域資訊可根據圖7所示之配置 的規則進行特定。 資料3係立體匹配處理部192生成之深度圖像（將深度方 向的8位&之位置資訊作為像素）之左上方的座標為（2〇, 横方向及縱方向的寬度為_，15())之區域。該區域 係將深度圖像的上端下端分別除去15像素份，將左端右端 分別除去20像素份而成者，亦可考慮具有料深度資訊之 意義之區域。如上述亦可抑制資料尺寸。再者，資料3 中，係將拍攝原先圖像時的時間戮記作為中繼資料予以附 162796.doc •43· 201251459 加之方式進行指定。 接受初始條件的指定及資料請求之立體照相機丨00b的第 1相機190a及第2相機190b係以該初始條件開始動畫像的攝 影（S42) ’並使第1相機190a、第2相機190b、立體匹配處理 部192各自生成圖像資料（S44)。此時之圖像在圖像的尺 寸、色空間及訊框率等之方面上，相較於圖丨2及圖丨3之例 較簡單。 接著，圖像送出部1 5 1 b係藉由僅選擇、擷取S40中所指 定之資料而作為串流進行封包化而生成傳送資料並進行傳 送（S46”接收資料之主機終端2〇係在主記憶體58中展開 圖像。其結果，於主記憶體58中儲存1/256解馬赛克後圖 像的差值圖像260、其原先圖像之時間戳記262、1/64解馬 赛克後圖像的全域260、包含臉部之區域及時間戳記之中 繼資料266 '除去周圍之深度圖像268及其原先圖像之時間 戳記270。 主機終端20的CPU50及GPU52係使用該等資料，而生成 應顯示之圖像，並顯示於顯示器4上（S4$、S50)。例如， 自差值圖像260檢測存在動作之區域，並自深度圖像268獲 取”亥。卩分之對象物的深度資訊。藉此，辨識作為被攝物之 使用者的手勢’並在1/64解馬赛克後圖像的全域26〇中， 於自中繼資料266獲得之臉部區域等顯示施加因應手勢之 特定的加工之圖像。 6亥例中’亦可以降低訊框率或僅傳送解像度較低之圖像 之方式，在以區域整體為傳送對象、處璋對象之下，抑制 162796.doc 201251459 匕3傳遞頻帶之資源的消耗量。因係傳送區域整體，故可 省圖13之例中所示之適合的區域指定之步驟。又，如 此，即便傳送之3個冑料的每1訊框之資料尺寸不同’且1 . m框份的資料到達至主機終端20之時間點因資料不同而不 同亦可藉由將原先圖像之攝影時的時間戳記以每訊框進 - 行附加，而容易特定資料的對應關係。 "亥貫施例中，自立體照相機丨〇〇b向主機終端2〇傳送之每 單位時間的資料尺寸為 資料 1 · 10x360像素 X30 fpsx8位元=864 Mbps 資料2.160><90像素><15[?”16位元=3.5]^匕？3 資料3 . 280x150像素 xi5 fpSx8位元=5 Mbps 合计成為9.5 Mbps。 根據以上敘述之本實施形態’將實施形態1及2之特徵應 用於立體照相機中。而後，於該立體照相機上設置進行立 體匹配之機構。在該情形下，可自各相機所生成之RAW圖 像、1 /1解馬赛克後圖像、合成圖像及立體匹配之結果獲 得之深度圖像、臉部檢測之結果獲得之臉部區域的資訊、 追蹤處理之結果獲得之對象物的區域之資訊之多種資料 中，以低延遲傳送主機終端所指定之資料。因此，可減輕 '主機終端的處理之負載，並以與自相機的資料傳送之效率 化之相乘效果，實現以低延遲追隨被攝物的動作之圖像顯 不 0 以上，基於實施形態說明了本發明《上述實施形態係為 例示，在該等之各構成要素或各處理程式之組合中可有各 162796.doc • 45- 201251459 種變形例’且本技藝者當可理解的是該等之變形例亦在本 發明之範圍内。 [產業上之可利用性] 如以上，本發明可應用於電腦、相機、遊戲裝置、圖像 顯示裝置等之資訊處理裝置中。 【圖式簡單說明】 圖1係顯示實施形態1之低延遲相機系統的整體構成之 圖。 圖2係顯示實施形態1之相機的構成之圖。 圖3係顯示實施形態1之相機的圖像合成部及圖像送出部 之構成之詳細圖。 圖4係顯示實施形態1之主機終端的内部電路構成之圖。 圖5係顯示實施形態1之相機及主機終端之資料的形態之 基本的變遷之示意圖。 圖6係顯示實施形態1之1 /4解馬赛克後圖像、丨/丨6解馬赛 克後圖像及1 /64解馬赛克後圖像的像素镝之來自角錐滤波 器部的輸入時間點之時序圓。 圖7係顯示實施形態1中圖像合成部連結複數個圖像之像 素行的資料之情況之示意圖。 圖8係顯示實施形態1之主機終端的資料請求處理及相機 的資料傳送處理之構成之圖。 圖9係顯示實施形態1之圖像送出部的構成之變形例之 圖。 圖10係顯示實施形態2之相機的構成之圖。 162796.doc •46· 201251459 圖11係顯示實施形態3之相機的構成之圖。 圖12係顯示實施形態3之主機終端與立體照相機協同作 用而進行圖像處理之處理程序之例之流程圖及顯示所生成 之圖像例之圖。 圖13係顯示實施形態3之主機終端與立體照相機協同作 用而進行圖像處理之處理程序的其他例之流程圖及顯示_ 生成之圖像例之圖。 同作 示所 圖14係顯示實施形態3之主機終端與立體照相機協 用而進行圖像處理之處理程序的其他例之流程圖及顯 生成之圖像例之圖。 【主要元件符號說明】 4 顯示器 10 低延遲相機系統 20 主機終端 50 CPU 52 GPU 58 主記憶體 60 通信部 64 資料請求部 66 資料處理部 68 資料展開部 100 相機 104 解馬赛克部 108 通信部 162796.doc 201251459 149 FIFO緩衝器 150 FIFO緩衝器 151 圖像送出部 156 圖像合成部 154 資料選擇部 162 封包化部 164 控制部 166 串流選擇部 168 裁切部 170 角錐濾波器部 172a 第1通道 172b 第2通道 172c 第3通道 174 差值圖像生成部 176 圖像解析部 190a 第1相機 190b 第2相機 192 立體匹配處理部 162796.doc -48-