TWI496471B - An image processing apparatus, an information processing system, an information processing apparatus, and an image data processing method - Google Patents

An image processing apparatus, an information processing system, an information processing apparatus, and an image data processing method Download PDF

Info

Publication number
TWI496471B
TWI496471B TW101115653A TW101115653A TWI496471B TW I496471 B TWI496471 B TW I496471B TW 101115653 A TW101115653 A TW 101115653A TW 101115653 A TW101115653 A TW 101115653A TW I496471 B TWI496471 B TW I496471B
Authority
TW
Taiwan
Prior art keywords
image
data
unit
images
stream
Prior art date
Application number
TW101115653A
Other languages
English (en)
Other versions
TW201251459A (en
Inventor
大場章男
勢川博之
Original Assignee
新力電腦娛樂股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 新力電腦娛樂股份有限公司 filed Critical 新力電腦娛樂股份有限公司
Publication of TW201251459A publication Critical patent/TW201251459A/zh
Application granted granted Critical
Publication of TWI496471B publication Critical patent/TWI496471B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)

Description

動畫像攝影裝置、資訊處理系統、資訊處理裝置及圖像資料處理方法
本發明係關於一種因應對象物的動作而進行資訊處理之技術。
先前，已知有由攝像機拍攝使用者的頭部等身體的一部分，並擷取眼睛、嘴、手等之特定的區域，將該區域以其他圖像置換而顯示於顯示器上之遊戲(例如專利文獻1)。又，亦知有將由攝像機所拍攝之嘴或手的動作作為應用程式的操作指示接收之使用者介面系統。
[先前技術文獻] [專利文獻]
[專利文獻1]歐洲專利申請案公開第0999518號說明書
在如上述之技術中，為擷取使用者的嘴或手等之特定的區域會需要高解析度的圖像。然而，會有愈將攝像機的攝像元件高性能化愈會增大高解析度化等資料量，且會使以適切規模提供傳送用的壓縮、擴展處理或辨識、檢測、計測處理等所需之資訊之過濾或定標、裁切等之資料採集處理成本增加，使自相機輸入至各處理輸出為止之延遲增加之問題。又，在將相機作為使用者介面使用之情形下，會有延遲的增加使使用性顯著下降之問題。如此，會有即便攝像機之攝像元件的性能提高，亦會導致作為系統整體之 性能惡化之顧慮。
本發明係鑒於此等問題而完成者，其目的在於提供一種可在使用高性能的攝像元件之下，可抑制自攝像後至使用該資料之圖像顯示為止之延遲之圖像處理技術。
本發明之某態様係關於一種動畫像攝影裝置。該動畫像攝影裝置之特徵為包含：圖像資料生成部，其係將藉由將拍攝對象物而獲得之動畫像的各訊框以多段縮小而成不同解析度的複數個圖像之資料分別按特定的像素順序生成，並作為串流依序輸出；圖像合成部，其係藉由將自圖像資料生成部輸出之複數個圖像之資料中特定的複數個圖像之資料，連接於圖像之一行份的像素行或較其為小之範圍的每個像素行而作為串流輸出，而生成包含特定的複數個圖像之虛擬的合成圖像；及圖像送出部，其係自所連接之主機終端接受資料的傳送請求，並自圖像資料生成部及圖像合成部輸出之複數個串流藉由擷取所請求之圖像及區域中所含之像素的資料而生成應傳送之資料的串流，並傳送至主機終端。
本發明之其他態様亦是關於一種動畫像攝影裝置。該動畫像攝影裝置之特徵為：其係包含自左右不同之視點拍攝相同對象物之一對相機者，且一對相機各自包含：圖像資料生成部，其係將藉由將拍攝對象物而獲得之動畫像的各訊框以多段縮小而成不同解析度的複數個圖像之資料分別按特定的像素順序生成，並作為串流依序輸出；及圖像合 成部，其係藉由將自圖像資料生成部輸出之複數個圖像之資料中特定的複數個圖像之資料，連接於圖像之一行份的像素行或較其為小之範圍的每個像素行而作為串流進行輸出，而生成包含特定的複數個圖像之虛擬的合成圖像；動畫像攝影裝置進而包含：立體匹配處理部，其係藉由對於由一對相機所生成之視點不同之圖像的資料中特定的解析度之圖像的資料進行立體匹配，而按特定的像素順序生成表示對象物的3維空間之位置之深度圖像，並作為串流依序輸出；及圖像送出部，其係自所連接之主機終端接受資料的傳送請求，並自圖像資料生成部、圖像合成部及立體匹配處理部所輸出之複數個串流藉由擷取所請求之圖像及區域中所含之像素的資料而生成應傳送之資料的串流，並傳送至主機終端。
本發明進一步之其他態様係關於一種資訊處理系統。該資訊處理系統之特徵為：其係包含拍攝對象物而生成動畫像的資料之動畫像攝影裝置、及自該動畫像攝影裝置獲取動畫像的資料之一部分，並在利用其進行特定的圖像處理之後顯示圖像之主機終端者，且動畫像攝影裝置包含：圖像資料生成部，其係將藉由將拍攝對象物而獲得之動畫像的各訊框以多段縮小而成不同解析度的複數個圖像之資料分別按特定的像素順序生成，並作為串流依序輸出；圖像合成部，其係藉由將自圖像資料生成部輸出之複數個圖像之資料中特定的複數個圖像之資料，連接於圖像之一行份的像素行或較其為小之範圍的每個像素行而作為串流進行 輸出，而生成包含特定的複數個圖像之虛擬的合成圖像；及圖像送出部，其係藉由自圖像資料生成部及圖像合成部所輸出之複數個串流，擷取自主機終端所請求之圖像及區域中所含之像素的資料而生成應傳送之資料的串流後，傳送至主機終端。
本發明之進一步其他態様係關於一種資訊處理裝置。該資訊處理裝置之特徵為包含：資料請求部，其係對於拍攝對象物之相機指定解析度及圖像內的區域而請求動畫像之訊框的圖像資料之傳送；資料展開部，其係將根據請求而自相機傳送之於每個像素行連接所指定之區域的像素值之串流之狀態的圖像資料，在主記憶體中作為2維的圖像資料進行展開；及資料處理部，其係在利用2維的圖像資料進行特定的圖像處理後顯示圖像；且資料請求部係指定相機內生成之、將藉由以多段縮小動畫像的訊框而獲得之不同解析度之複數個圖像配置於各自特定的矩形區域之合成圖像；資料展開部係將自相機所傳送之合成圖像藉由按每個合成對象的圖像展開成個別的2維圖像資料而進行圖像的辨別。
本發明進一步之其他態様係關於一種圖像資料處理方法。該圖像資料處理方法之特徵為：其係由動畫像攝影裝置進行者，且包含：將藉由將拍攝對象物而獲得之動畫像的各訊框以多段縮小而成不同解析度的複數個圖像之資料分別按特定的像素順序生成，並作為串流依序輸出之步驟；藉由將在輸出之步驟中所輸出之複數個圖像之資料中 特定的複數個圖像之資料，連接於圖像之一行份的像素行或較其為小之範圍的每個像素行而作為串流進行輸出，而生成包含特定的複數個圖像之虛擬的合成圖像之步驟；及自所連接之主機終端接受資料的傳送請求，並自在輸出之步驟及生成之步驟中所輸出之複數個串流，藉由擷取所請求之圖像及區域中所含之像素的資料而生成應傳送之資料的串流，並傳送至主機終端之步驟。
另，將以上之構成要素的任意組合、本發明之表現，於方法、裝置、系統、電腦程式及記錄電腦程式之記錄媒體等之間進行變換者亦是作為本發明之態様有效者。
根據本發明，可抑制攝像後至使用該資料之圖像的顯示為止之延遲。
 實施形態1
圖1係顯示本實施形態之低延遲相機系統10的整體構成。在該系統中，將使用者6的動畫像由相機100進行攝像，並基於該資料由主機終端20進行圖像處理，而於顯示器4上反映出其結果，或經由網際網路、LAN(Local Area Network，局部區域網路)等之網路12傳送至特定的通信處。
相機100係包含CCD(Charge Coupled Device，電荷耦合裝置)或CMOS(Complementary Metal Oxide Semiconductor，互補型金屬氧化半導體)等之攝像元件之數位攝像機，其 係如圖示般，設置於顯示器4的外殼之上部。顯示器4係例如液晶電視、電漿電視、PC顯示器等，通常使用者6係位於顯示器4的前方而藉由相機100攝像使用者的全身或一部分。
反映於顯示器4上之像將隨由低延遲相機系統10執行之應用程式不同而不同。例如在將低延遲相機系統10作為辨識使用者6的動作或表情而作為某些操作指示予以解釋之使用者介面(UI)使用之情形下，反映於顯示器4上之像8係使用者6的臉部或手等之身體的一部分或全身。在將低延遲相機系統10作為視頻聊天使用之情形下，反映於顯示器4上之像8係聊天對象的臉部，使用者6自身之像係經由網路12而反映於聊天對象的顯示器上。
根據如上述之使用態様，相機100設置於顯示器4的上部最佳。然而，只要能夠攝像使用者6的全身或一部分，則除顯示器4的附近以外，亦可配置於例如主機終端20的附近或使用者的周圍等。又，相機100並非是單體的構成，其亦可埋入於顯示器4的外殼等中。代替於相機100使用攝像元件，亦可將類比圖像進行A/D變換而使用。
主機終端20係包含圖像處理功能之個人電腦或遊戲裝置等之電腦終端。主機終端20係將由相機100拍攝使用者6而獲得之動畫像的各訊框或自各訊框所獲得之各種資料以時間序列連續取入，而進行特定的圖像處理。視頻聊天應用程式之情形係將使用者6的圖像經由網路12而即時地傳送至聊天對象。使用者介面應用程式之情形係基於使用者6 的圖像、自該等獲得之各種資料等而實施特定的資訊處理，並將其結果輸出至顯示器4上。
例如將根據使用者6的動作而移動之圖標的圖像或使使用者6的手持有劍等之項目之圖像即時地輸出至顯示器4上。在此種應用程式中所需之使用者6的臉部檢測處理或特定部位的追蹤處理既可由主機終端20進行，亦可如後述般由相機100進行，並將其結果作為上述“各種資料”的一部分傳送至主機終端20。
另，即便在上述之視頻聊天應用程式中，亦可進行以高解析度僅表示臉部檢測處理之結果所獲得之使用者6的臉部之區域等之加工。主機終端20除上述之圖像處理以外，亦可合成用以執行各種應用程式之選單或游標等之目標物圖像而顯示於顯示器4上。
如此，在低延遲相機系統10中，利用相機100所拍攝之動畫像而完成之處理可有各種考量，其內容並無特別限定。在本實施形態中進行任意處理之情形下，皆可使相機100不僅進行動畫像之攝影，而且進行使用其之某些處理，而生成複數種類的資料。根據相機100進行之處理、甚至其構成、應用程式或相機及主機終端的處理能力等可有各種考量。
在本實施形態中，相機100係生成將自身所拍攝之影像以複數個解析度顯示之動畫像資料，並根據來自主機終端20的請求，僅將其中所需的資料即時地向主機終端20送出。此處，主機終端20除可指定解析度、表色系統或其要 素等圖像整體的顯示方法以外，亦可指定訊框內的區域。
例如自相機100中獲取低解析度的整體圖像之資料與高解析度之圖像中僅應被注目之區域的圖像資料，並藉由在圖像平面上合成該等圖像，可在抑制資料傳輸負載之下，對於應被注目之區域顯示詳細地表現之動畫像。該例若將在主機終端20中藉由進行臉部檢測處理而獲得之臉部的區域作為應被注目之區域時，則在視頻聊天等之應用程式中係有效者。
圖2係顯示本實施形態之相機100的構成。該圖及後述之圖3、4、8~11在硬體方面可由CPU(Central Processing Unit，中央處理單元)、RAM(Random Access Memory，隨機存取記憶體)、ROM(Read Only Memory，唯讀記憶體)、描繪電路等構成實現，在軟體方面可由發揮資料輸入功能、資料保持功能、圖像處理功能、描繪功能等之各功能之程式實現。在該等圖中，描繪藉由該等聯合而實現之功能方塊。因而，該等功能方塊可藉由硬體、軟體之組合而以各種形式予以實現。另，於圖2中為容易說明亦包含由各功能方塊進行處理之圖像部分的示意圖。
相機100包含：圖像獲取部102、解馬賽克部104、角錐濾波器部170、圖像合成部156、圖像送出部151及通信部108。圖像獲取部102係於特定的時間點(例如60次/秒)讀出由CCD或CMOS等之攝像元件曝光之圖像。在以下之說明中，該圖像將在横向上具有像素W個份、縱向上具有像素H個份之寬度。該圖像係為所謂的“RAW圖像”。圖像獲取 部102係每當RAW圖像的横一行份之曝光完成時，即將該等傳送至解馬賽克部104及圖像送出部151。
解馬賽克部104包含具有像素W個份的容量之FIFO(First In First Out，先進先出)緩衝器105及簡易解馬賽克處理部106。於FIFO緩衝器105中輸入RAW圖像的横一行份之像素資訊，並直至下一横一行份的像素輸入至解馬賽克部104之前保持該等。簡易解馬賽克處理部106當接收横二行份的像素時，會利用該等對於各像素執行基於其周邊像素補充顏色資訊而製作出全彩圖像之解馬賽克(de-mosaic)處理。
如本技藝者所周知，在該解馬賽克處理中雖存在多數種手法，但此處藉由僅利用横二行份的像素之簡單的解馬賽克處理即已足夠。作為一例，在欲算出對應之YCbCr值的像素僅具有G值之情形下，R值係將左右隣接之R值予以平均而使用，G值則直接使用該G值，B值則使用位於上方或下方之B值而作成RGB值，並將該等代入特定的變換式中算出YCbCr值等。由於此種解馬賽克處理已周知，因此會省略其以上之詳細說明。另，由解馬賽克部104及以下之處理所生成之圖像資料的顏色空間並不限定於YCbCr。
利用簡單的解馬賽克處理即足夠之理由係因在需要高品質的圖像之情形下可使用RAW圖像之故。作為簡單的解馬賽克處理之變形例，亦可使用由RGB的4像素構成一像素的YCbCr值之手法。在該情形下，由於可獲得RAW圖像之1/4尺寸的解馬賽克後圖像，因此無需後述之第1濾波器 110。
簡易解馬賽克處理部106係例如圖示般，將横2×縱2之RGB的4像素變換為YCbCr色彩信號。而後，包含該4像素之方塊係作為1/1解馬賽克圖像傳遞至圖像送出部151，且傳送至角錐濾波器部170。
角錐濾波器部170具有將某圖像以複數個解析度階層化而輸出之功能。角錐濾波器雖具備因應通常所需之解析度的位準之個數的1/4縮小濾波器，但在本實施形態中具有第1濾波器110~第3濾波器130的3階層之濾波器。各濾波器係執行使彼此鄰接之4個像素雙線性內插而演算4像素的平均像素值之處理。因而，處理後的圖像尺寸會變成處理前的圖像之1/4。另，本技藝者當可容易理解本實施形態同樣可應用3階層以外之濾波器數。
於第1濾波器110的前段，對應於Y、Cb、Cr之各者的信號，而逐一配置像素W個份的FIFO緩衝器112。該等之FIFO緩衝器112具有將横一行份的YCbCr像素保持至下一横一行份的像素自簡易解馬賽克處理部106輸出為止之功能。像素的保持時間係因應攝像元件之線掃描的速度而決定。當輸入横二行份的像素時，第1濾波器110將横2×縱2之4像素份的Y、Cb、Cr的像素值予以平均。藉由重複該處理，會使1/1解馬賽克後圖像成為縱横各成為1/2的長度，且以整體變換為1/4之尺寸。所變換之1/4解馬賽克後圖像係傳送至圖像合成部156，且傳遞至下一段之第2濾波器120。
於第2濾波器120的前階層對應於Y、Cb、Cr之各者的信號，而逐一配置像素W/2個份的FIFO緩衝器122。該等之FIFO緩衝器122亦具有將横一行份的YCbCr像素保持至下一横一行份的像素自第1濾波器110輸出為止之功能。當輸入横二行份的像素時，第2濾波器120將横2×縱2的4像素份之Y、Cb、Cr的像素值予以平均。藉由重複該處理，會使1/4解馬賽克後圖像成為縱横均為1/2的長度，且以整體變換為1/16的尺寸。所變換之1/16解馬賽克後圖像係傳送至圖像合成部156，且傳遞至下一段之第3濾波器130。
關於第3濾波器130，亦是除於前段配置W/4個份的FIFO緩衝器132以外，重複與上述相同之處理。而後對圖像合成部156輸出1/64尺寸的解馬賽克後圖像。另，由於如上述之角錐濾波器亦記載於專利文獻1中而為周知，因此在本說明書中將省略其以上之詳細說明。
如此，自角錐濾波器部170的各濾波器使每次縮小1/4之圖像輸出輸入至圖像合成部156。如由此所了解般，使各濾波器的前段所需之FIFO緩衝器的大小減小至通過角錐濾波器部170內的濾波器之程度。另，濾波器的個數並不限定於3個，宜因應所要求之解析度的寬度適宜決定。
圖像合成部156係自第1濾波器110、第2濾波器120、第3濾波器130分別接收1/4、1/16、1/64解馬賽克後圖像的YCbCr像素值。接著以特定的規則連結各圖像之横一行份的像素行或小於一行份之範圍的像素行，而對於Y、Cb、Cr的像素值之各者生成1/4、1/16、1/64解馬賽克後圖像的 像素行所連接之新的像素行。將所生成之像素行傳送至圖像送出部151。
圖像送出部151係在所輸入之複數種類的圖像資料中，因應自主機終端20經由通信部108而接收之資料請求而選出所需的資料。而後，將所選出之資料封包化而傳送至通信部108。在本實施形態中，相機100進行之處理係以圖像的左上方為起點，並以向圖像的下方重複自左向右之處理之光柵順序執行，並將横一行的像素作為基本的處理單位。而後，向圖像送出部151輸入之各種圖像的資料形式及向主機終端20傳送之圖像的資料形式基本上係成為自上方依序連結圖像的横一行之資料之串流。
通信部108係根據例如USB1.0/2.0等之特定的協定，將封包送出至主機終端20。與主機終端20之通信並不限定於有線，其亦可是例如IEEE802.11a/b/g等之無線LAN通信、IrDA等之紅外線通信。另，圖2中雖將Y、Cb、Cr的資料個別表現，並對於其各者標示用以資料輸入輸出之箭頭，但以下為防止圖變得煩雜，將以1組表示該等之要素。
在本實施形態中，圖像合成部156所生成之資料係3個解馬賽克後圖像的像素行混合存在之一連串的像素值之串流。因而並非是嚴密地將連結3個解馬賽克後圖像之結果作為2維平面的圖像生成者。然而如其後詳述般，對於圖像合成部156所輸出之串流，當定義與圖像的横一行份之像素數相當之像素數時，以下之處理會與未經由圖像合成部156之RAW圖像或1/1圖像的資料相同。其結果是圖像合 成部156會生成實質上合成1/4、1/16、1/64解馬賽克後圖像之圖像。以下，將該虛擬的圖像稱為“合成圖像”。
圖3係顯示相機100的圖像合成部156及圖像送出部151的構成之詳細圖。圖像合成部156包含將自第2濾波器120及第3濾波器130獲取之1/16、1/64解馬賽克後圖像的横一行份之資料各自暫時保存之FIFO緩衝器149、150。
而後，如其後詳述般，對於來自第1濾波器110的1/4解馬賽克後圖像之横一行份的像素之資料，將來自第2濾波器120的1/16解馬賽克後圖像之横一行份的像素行之一半的像素之資料與來自第3濾波器130的1/64解馬賽克後圖像之横一行份的像素行之4分之1的份之像素的資料，以該順序連結而成為虛擬的合成圖像之横一行份的資料。
圖像送出部151具有資料選擇部154、封包化部162及控制部164。圖像送出部151的控制部164係基於來自主機終端20的請求而對於資料選擇部154指示是否將各種圖像資料中之任一者作為封包送出。資料選擇部154係將自圖像獲取部102輸入之RAW圖像、自解馬賽克部104輸入之1/1解馬賽克後圖像及自圖像合成部156輸入之合成圖像的像素行之資料作為輸入資料，並選擇、擷取自控制部164指示之資料，而傳送至封包化部162。
此時，根據來自主機終端20的請求，如上述般，有直接傳送某個圖像資料的串流之情形、與僅傳送應注目之區域中所含之一部分的範圍之資料之情形。在後者之情形下，藉由連結傳送部分的資料而重建串流。封包化部162係將 自資料選擇部154輸入之串流，按對應於通信部108的協定之每個尺寸封包化，並寫入內部的封包緩衝器(未圖示)。例如在USB之情形下，係將串流按每個終點的尺寸進行封包化。
通信部108係將該封包緩衝器內的封包根據特定的通信協定而傳送至主機終端20。另，若請求RAW圖像、1/1解馬賽克後圖像、合成圖像的資料中複數個圖像的資料之情形下，資料選擇部154將對應於該等之複數個串流輸入至封包化部162。藉由對資料選擇部154之輸出、及封包化部162之輸入輸出、通信部108之輸入輸出設置複數個通道，且並列地傳送所請求之複數個資料，亦可實現更低延遲的資料送出。關於該情形將容後詳述。
圖4顯示主機終端20的內部電路構成。主機終端20包含：CPU(Central Processing Unit，中央處理單元)50、GPU(Graphics Processing Unit，圖形處理單元)52、顯示控制部54、記憶部56、主記憶體58及通信部60。CPU50係基於作業系統或應用程式等之程式，控制信號處理或內部構成要素。GPU52係根據來自CPU50之請求而進行圖像處理。顯示控制部54係生成用以將由GPU52描繪於訊框緩衝器(未圖示)上之圖像資料顯示於顯示器4上之視頻信號。
記憶部56係由硬磁碟驅動器或非揮發性記憶體等構成，並儲存用以使低延遲相機系統10進行動作之程式或必要的資料。主記憶體58係由RAM(隨機存取記憶體)等構成，且除程式或資料之載入以外，亦儲存自相機100傳送之資 料。通信部60係USB或IEEE1394等之周邊機器介面、或是有線或無線LAN之網路介面，在本實施形態中，尤其進行向相機100之資料請求信號的傳送、自相機100傳送之資料的接收。該等之各部分經由匯流排62而彼此連接。另，GPU52可經由匯流排62而自主記憶體58直接讀出貼圖資料等處理上所需的資料。
圖5係顯示相機100及主機終端20之資料的形態之基本變遷之示意圖。此處，作為例子，可考慮將在横方向上具有像素W個份、縱方向上具有像素H個份的寬度之訊框圖像200整體的資料自相機100傳送至主機終端20之情形。如上述般，在本實施形態中係以像素的光柵順序進行圖像資料的生成、選擇、傳送，並依序連結横一行份的像素行而以串流的形式進行處理。
在此種狀況下，資料選擇部154所輸出之資料為串流202。該圖中，串流202的横軸表示時間經過，構成串流202之各矩形L1、L2、...、LH分別表示訊框圖像200的第1行、第2行、...、第H行之像素的資料。若將1像素的資料尺寸作為“d位元組”，則各矩形的資料尺寸係為W×d位元組。
封包化部162係將串流202以每個特定尺寸封包彙集，而生成封包P1、P2、P3、P4、P5、...。藉此自相機100向主機終端20以封包P1、P2、P3、P4、P5、...的順序傳送。當主機終端20將封包P1、P2、P3、P4、P5、...經由通信部60進行接收時，會根據CPU50的控制而儲存於主記憶體58 中。
此時，係以原本的訊框圖像200之横方向的像素數W為寬度之方式將封包的資料以光柵順序排列於主記憶體58中，並藉由於W×d×H位元組連續之位址展開資料，而將圖像204復原。該圖中構成圖像204之矩形表示各封包的資料。GPU52係根據CPU50的控制，而對於主記憶體58中展開之圖像204施加加工，或與其他圖像合成而描繪欲顯示於顯示器4上之圖像。
其次，茲就圖像合成部156合成1/4、1/16、1/64解馬賽克後圖像之手法進行說明。圖6係顯示1/4解馬賽克後圖像、1/16解馬賽克後圖像、1/64解馬賽克後圖像的像素值之自角錐濾波器部170的各濾波器之輸入時間點之時序圖。該圖中，時間步驟S1、S2、S3、S4、...分別表示輸入1/4解馬賽克後圖像的第1列、第2列、第3列、第4列、...的像素值之期間。
如上述之1/4解馬賽克後圖像般，在合成圖像中所含之圖像中最高解像度之圖像在角錐濾波器部170之資料的生成率最高。是以，以輸入該圖像的横一行份之像素值之期間設為基準的時間步驟，使該時間步驟與合成圖像的横一行份之像素行對應。亦即，以輸入最高解像度的圖像之横一行份的像素值之期間設為基準週期，而生成合成圖像的横一行份之資料。
圖的上段、中段、下段分別表示1/4解馬賽克後圖像、1/16解馬賽克後圖像、1/64解馬賽克後圖像的輸入時間 點，1個矩形對應於1像素份之輸入。首先，在時間步驟S1中，自左方之像素依序輸入1/4解馬賽克後圖像之第1行的像素行L(1/4) 1之像素值。在該時間步驟中，由於並未生成1/16解馬賽克後圖像、1/64解馬賽克後圖像，因此未輸入。
在下一時間步驟S2中，自左方之像素依序輸入1/4解馬賽克後圖像之第2行的像素行L(1/4) 2之像素值。此時，於角錐濾波器部170，由於係使用1/4解馬賽克圖像之第1行的像素行L(1/4) 1及第2行的像素行L(1/4) 2之像素值，生成1/16解馬賽克後圖像之第1行的像素行L(1/16) 1，因此在時間步驟S2中，亦會輸入該像素行的像素值。
例如於1/16解馬賽克後圖像之第1行的像素行L(1/16) 1的左端之期間210輸入之像素值，係利用1/4解馬賽克後圖像之第1行的像素行L(1/4) 1中於期間206輸入之2個像素的像素值、及第2行的像素行L(1/4) 2中於期間208輸入之2個像素的像素值而生成。因此，在時間步驟S2中，像素行L(1/16) 1的像素值之輸入時間點相較於像素行L(1/4) 2對應之像素的像素值之輸入時間點會延遲至少2像素份。
在下一時間步驟S3中，輸入1/4解馬賽克後圖像之第3行的像素行L(1/4) 3的像素值。在該時間步驟中，由於並未生成1/16解馬賽克後圖像之第2行的像素值，且未生成1/64解馬賽克後圖像，因此其任一者皆未輸入。於下一時間步驟S4、亦即輸入1/4解馬賽克圖像的第4行之像素行L(1/4) 4的像素值之期間，係與時間步驟S2相同，亦會輸入1/16解馬 賽克後圖像的第2行之像素行L(1/16) 2的像素值。
再者，於角錐濾波器部170，由於係利用1/16解馬賽克圖像的第1行之像素行L(1/16) 1及第2行的像素行L(1/16) 2的像素值，生成1/64解馬賽克後圖像的第1行之像素行L(1/64) 1，因此在時間步驟S4中，亦會輸入該像素行的像素值。例如於1/64解馬賽克後圖像的第1行之像素行L(1/64) 1中，於最初的輸入期間218輸入之像素值，係利用1/16解馬賽克圖像的第1行之像素行L(1/16) 1中於期間210及期間212輸入之2個像素的像素值及第2行的像素行L(1/16) 2中於期間214及期間216輸入之2個像素的像素值而生成。
因此，在時間步驟S4中，像素行L(1/64) 1的輸入時間點相較於像素行L(1/16) 2對應之像素的像素值之輸入時間點會延遲至少2像素份。以下，藉由同樣地重複各圖像的像素值輸入，而使1/4解馬賽克後圖像、1/16解馬賽克後圖像、1/64解馬賽克後圖像的全像素值向圖像合成部156輸入。
如此，各圖像之像素值係自角錐濾波器部170對應之濾波器作為個別的串流而以光柵順序輸入。圖像合成部156係以連結該等而成為1個串流之方式向圖像送出部151輸出。最簡單而言，可考慮的是，無論原本之圖像如何，皆可以輸入之時間順序連結像素值的資料。在該情形下，雖合成處理自身較容易，但在其後之處理中會產生對每個圖像之各行分類、擷取資料之需要，而使處理複雜化。
又，在各時間步驟中亦可考慮對每個圖像彙集像素值而生成像素行，並串聯地連結該等。在該情形下，於時間步 驟S1或S3中，對於輸入之像素值僅為1/4解馬賽克後圖像的資料，在例如時間步驟S4中，會成為1/4解馬賽克圖像、1/16解馬賽克圖像、1/64解馬賽克圖像的3個圖像之資料等，由時間步驟輸出之資料長度產生較大地變化。是以，在本實施形態中，關於具有未輸入資料之時間步驟之圖像，係利用該時間步驟，而以將先前輸入之像素值的一部分予以輸出之方式，將於各時間步驟中輸出之資料長大致均等化。
圖7係顯示圖像合成部156連結複數圖像的像素行之資料之情況之示意圖。圖中，S0、S1、S2、S3、...係與圖6相同之時間步驟，於各期間輸入1/4解馬賽克後圖像的一行份之像素值。該圖中對每個圖像以不同之陰影矩形顯示於各時間步驟中輸出資料之像素行。如參照圖6所說明般，由於時間步驟S1中僅輸入1/4解馬賽克後圖像的第1行之像素行L(1/4) 1的像素值，因此圖像合成部156係直接將其等輸出。若原本之RAW圖像的横方向之像素數為W，則1/4解馬賽克後圖像的一行份之像素數係如該圖所示般為W/2。
在下一時間步驟S2中，使1/4解馬賽克後圖像的第2行之像素行L(1/4) 2的像素值及1/16解馬賽克後圖像的第1行之像素行L((1/16) 1的像素值於圖6所示般之時間點並列地輸入。圖像合成部156其後會將1/16解馬賽克後圖像的第1行之像素行L(1/16) 1的像素值暫時保存於FIFO緩衝器149中，並連續地先輸出1/4解馬賽克後圖像的第2行之像素行L(1/4) 2的像素值。
當1/4解馬賽克圖像的第2行之像素行L(1/4) 2的像素值全部輸出時，接著將1/16解馬賽克後圖像的第1行之像素行L(1/16) 1自FIFO緩衝器149讀出，並輸出。此時考量於下一時間步驟S3輸出之份，僅輸出1/16解馬賽克後圖像的第1行之像素行L(1/16) 1的全像素中前半部分(圖像平面之左半部分)之像素值，剩餘部份則繼續保存於FIFO緩衝器149中。
在下一時間步驟S3中，僅輸入1/4解馬賽克後圖像的第3行之像素行L(1/4) 3的像素值。圖像合成部156係將該像素行的像素值直接輸出，接著將1/16解馬賽克後圖像的第1行之像素行L(1/16) 1中未輸出之後半部分(圖像平面之右半部分)之像素值自內部記憶體讀出，並輸出。
在下一時間步驟S4中，使1/4解馬賽克後圖像的第4行之像素行L(1/4) 4的像素值及1/16解馬賽克後圖像的第2行之像素行L((1/16) 2、1/64解馬賽克後圖像的第1行之像素行L(1/64) 1的像素值於圖6所示般之時間點並列地輸入。圖像合成部156其後會將1/16解馬賽克後圖像的第2行之像素行L(1/16) 2及1/64解馬賽克後圖像的第1行之像素行L(1/64) 1的像素值分別暫時保存於FIFO緩衝器149、150中，並連續地先輸出1/4解馬賽克後圖像的第4行之像素行L(1/4) 4的像素值。
當1/4解馬賽克圖像的第4行之像素行L(1/4) 4的像素值全部輸出時，接著將1/16解馬賽克後圖像的第2行之像素行L(1/16) 2的前半部分自FIFO緩衝器149讀出，並輸出。其後 輸出1/64解馬賽克後圖像的第1行之像素行L(1/64) 1。此時考量於其後之3個時間步驟S5、S6、S7輸出之份，而將1/64解馬賽克後圖像的第1行之像素行L(1/16) 1分割4分之1，且僅輸出其最初部分的像素值。剩餘部分則保存於FIFO緩衝器150中。
在下一時間步驟S5中，僅輸入1/4解馬賽克後圖像的第5行之像素行L(1/4) 5的像素值。圖像合成部156將該像素行的像素值直接輸出，接著將1/16解馬賽克後圖像的第2行之像素行L(1/16) 2中未輸出之後半部分的像素值自FIFO緩衝器149讀出，並輸出。再者，輸出1/64解馬賽克後圖像的第1行之像素行L(1/16) 1的未輸出之資料中分割4分之1之第2部分的像素值。
同様地，在下一時間步驟S6中，輸出1/4解馬賽克後圖像的第6行之像素行L(1/4) 6的像素值、1/16解馬賽克後圖像的第3行之像素行L(1/16) 3的前半部分之像素值、1/64解馬賽克後圖像的第1行之像素行L(1/64) 1的未輸出之資料中分割4分之1之第3部分的像素值。在下一時間步驟S7中，輸出1/4解馬賽克後圖像的第7行之像素行L(1/4) 7的像素值、1/16解馬賽克後圖像的第3行之像素行L(1/16) 3的後半部分之像素值、1/64解馬賽克後圖像的第1行之像素行L(1/64) 1中分割4分之1之最後部分的像素值。
亦即，1/16解馬賽克後圖像的第1行之像素行L(1/16) 1係於時間步驟S2及S3之2個時間步驟各輸出一半。又，1/64解馬賽克後圖像的第1行之像素行L(1/64) 1係於時間步驟 S4、S5、S6、S7之4個時間步驟各輸出4分之1。當RAW圖像的横方向之像素數為W時，由於1/16解馬賽克後圖像及1、64解馬賽克後圖像的横一行份之像素數分別為W/4、W/8，因此如該圖所示般，分別輸出每個時間步驟(W/4)/2個、(W/8)/4個之像素的資料。
將以上之輸出處理重複至圖像的最下段之行。此時，於輸出1/4解馬賽克後圖像的最下段之像素行的資料之時間點，1/16解馬賽克後圖像的最下段之像素行的後半部分之資料及1/64解馬賽克後圖像的最下段之剩餘4分之3的像素之資料為未輸出之狀態。是以，在其後之時間步驟S(H/2+1)中，輸出1/16解馬賽克後圖像的最下段之像素行的後半部分之資料及將1/64解馬賽克後圖像的最下段之像素行分割4分之1之第2部分的資料。
此時，作為先前輸出1/4解馬賽克後圖像的資料之W/2像素份的資料，首先會輸出無效資料，接著輸出1/16解馬賽克後圖像、1/64解馬賽克後圖像的資料。在接續2個時間步驟S(H/2+2)、S(H/2+3)中，作為先前輸出1/4解馬賽克後圖像及1/16解馬賽克後圖像的資料之W/2+(W/4)/2像素份的資料，首先會輸出無效資料，其後分別輸出將1/64解馬賽克後圖像的最下段之像素行分割4分之1之第3部分、第4部分的資料。
若如此進行輸出，則如該圖所示般，除開始的3個時間步驟與結尾的3個時間步驟以外，經常會輸出W/2+(W/4)/2+(W/8)/4=21W/32個像素的資料。又，由於輸 出1行份的像素值，1/4解馬賽克後圖像需要1時間步驟、1/16解馬賽克後圖像需要2時間步驟、1/64解馬賽克後圖像需要4時間步驟，因此輸出1訊框份的圖像資料所需之時間步驟數為H/2=(H/4)×2=(H/8)×4，全部相等。結果，輸出3個圖像之1訊框份的資料所需之總時間步驟數為H/2+3。
如上述般，圖像合成部156所輸出之資料雖係像素值的羅列，但藉由將對應於各時間步驟之像素的個數，亦即將21W/32作為横一行份的像素之個數賦予，可在圖像送出部151中與RAW圖像或1/1解馬賽克後圖像相同，將各時間步驟中輸出之資料作為圖像的一行份之資料處置。
因而，可使各時間步驟對應於圖像的縱方向之像素，結果，會生成於圖7之整體的矩形區域所示般之合成圖像220。如上述般，藉由於各時間步驟輸出之像素行中固定各圖像的資料佔有之範圍，可在合成圖像220中使1/4解馬賽克後圖像、1/16解馬賽克後圖像、1/64解馬賽克後圖像的資料構成各自彙集之矩形區域。因此，若利用其局部性，則會容易進行每個圖像的資料之裁取。
圖8係顯示主機終端20的資料請求處理及相機100的資料傳送處理之構成。另，該圖中，對與圖3及4所示之功能方塊重複者標註以相同符號，而將其說明省略一部分。又，主機終端20與相機100雖如上述般經由彼此之通信部而進行各種資料的傳送接收，但該圖中予以省略。主機終端20的CPU50包含：資料請求部64、資料處理部66及資料展開部68。相機100的圖像送出部151之資料選擇部154包含： 串流選擇部166及裁切部168。
CPU50的資料請求部64係對於相機100傳送請求傳送之圖像及指定該區域之資料請求信號。作為請求傳送之圖像係指定例如RAW圖像或各尺寸之解馬賽克後圖像中之任一者。區域係指定例如圖像平面之該區域的左上方的座標與横方向、縱方向的寬度。CPU50的資料請求部64除此以外會將請求攝影之開始或結束之信號、指定攝影條件之信號等亦傳送至相機100。此處，所謂“攝影條件”係例如訊框率、快門速率、白平衡、視角等，其係因應相機100具有之性能或CPU50執行之應用程式等而決定。
圖像送出部151的控制部164當接收來自資料請求部64的資料請求信號時，會對資料選擇部154供給其資訊。在接收請求攝影之開始或結束之信號、指定攝影條件之信號等之情形下，控制部164雖會對相機100的圖像獲取部102等適宜地提供其資訊，但此處由於可應用一般的技術，因此省略詳細的說明。
資料選擇部154的串流選擇部166在自圖像獲取部102、解馬賽克部104、圖像合成部156分別並列地讀出RAW圖像、1/1解馬賽克後圖像、合成圖像資料的串流之後，會僅選擇由資料請求信號指定之圖像的資料而輸出至裁切部168。裁切部168係在所輸入之像素的資料中，僅擷取由資料請求信號指定之矩形區域所含之像素的資料，而輸出至封包化部162。
裁切部168進行之處理係與裁取圖像內指定之矩形區域 而將多餘的區域除外之一般的裁切處理相同。在本實施形態中，雖處理對象並非是圖像平面而是成為像素行單位，但若賦予原本之圖像的横一行份之像素數的資訊，則容易將圖像平面的2維座標與串流之一維座標加以對應，且裁取之像素之特定可同樣進行。
在本實施形態中，由於係將1/4解馬賽克後圖像、1/16解馬賽克後圖像、1/64解馬賽克後圖像的資料彙集於圖7所示般之合成圖像上的矩形區域，因此藉由該裁切處理可容易進行3個圖像的切開。在例如圖7所示之合成圖像中，若指定以座標(W/2、1)為左上方的頂點之横方向的寬度W/8、縱方向的寬度H/2的區域，則能夠僅裁取1/16解馬賽克後圖像的整體區域。
藉由資料選擇部154重複以上的處理，可使由資料請求信號指定之圖像內的區域之資料以連結像素行之串流形式連續地輸出至封包化部162。封包化部162所接收之串流係以FIFO之策略封包化為每個特定的尺寸，並依序傳送至主機終端20。
主機終端20的資料展開部68係將自相機100接收之封包如圖5所示般在主記憶體58中作為圖像平面進行展開。資料處理部66係使用所展開之圖像，而進行因應執行中的應用程式之處理。此時，只要因應需要而對GPU52請求圖像處理，使GPU52自主記憶體58讀出圖像，並進行加工或合成即可。由於展開於主記憶體58中之圖像資料與一般的圖像資料相同，因此亦可作為貼圖讀出。
資料處理部66亦可解析展開於主記憶體58中之圖像而獲取臉部區域或追蹤對象的位置，並將該區域的資訊供給於資料請求部64。此時，資料請求部64亦可指定該區域而將新的資料請求信號傳送至相機100。在該情形下，相機100的裁切部168係以處理新的圖像訊框之時間點，將擷取之區域根據指定進行變更。
圖9係顯示圖像送出部的構成之變形例。該圖中，對於與圖8所示之功能方塊具有相同的功能之方塊標註以相同符號，而部分省略其說明。在該例中，圖像送出部151的輸出及通信部108的輸入輸出具有複數個通道。藉由設置複數個通道，可並列地擷取不同之圖像、不同之區域的資料，且並列地向主機終端20傳送。
在該情形下，通道數雖無特別限定，但在該圖中藉由設置3個通道，而同時傳送3種資料。因此，圖像送出部151設置第1資料選擇部154a、第2資料選擇部154b、第3資料選擇部154c的3個資料選擇部，及第1封包化部162a、第2封包化部162b、第3封包化部162c之3個封包化部。第1資料選擇部154a與第1封包化部162a、第2資料選擇部154b與第2封包化部162b、第3資料選擇部154c與第3封包化部162c係分別串聯地連接，並進行所負責之資料的選擇、擷取及封包化。
因而，第1資料選擇部154a、第2資料選擇部154b、第3資料選擇部154c各自具有串流選擇部166a與裁切部168a、串流選擇部166b與裁切部168b、串流選擇部166c與裁切部 168c之組。控制部164係將由來自主機終端20的資料請求信號所指定之最大3個圖像及區域的資訊逐一分配於3個資料選擇部。
此處，分配於其他通道之圖像及區域的資訊既可是全部不同之圖像，亦可是相同圖像之不同區域。進行各資料選擇部及封包化部之組之處理係與圖8所示之資料選擇部154及封包化部162相同。以上述方式自圖像送出部151並列地輸出之3個串流的封包係分別輸入至設置於通信部108之3個通道，亦即第1通道172a、第2通道172b及第3通道172c，並向主機終端20並列地進行傳送。所傳送之資料係在主機終端20的主記憶體58中作為個別的圖像進行展開。
根據以上敘述之本實施形態，在包含拍攝使用者等之動作之相機及利用其進行圖像顯示之主機終端之系統中，將所拍攝之動畫像在相機內部設為複數個解像度的資料。而後，以每個圖像的種類及解像度設為按照像素的光柵順序連結像素值之串流。而後，根據主機終端的請求傳送其一部分，並在主機終端的記憶體中構築訊框圖像。如此，可無須在相機內部作為訊框圖像進行展開之下藉由以像素行之狀態依序進行處理，而將用以設置於相機上之記憶體尺寸抑制為最低限度。又，在自攝影至向主機終端傳送為止之期間，由於不會產生需要等待1訊框份的資料對齊，因此可作為系統整體以低延遲進行因應動作之圖像顯示。
又，使複數個解像度的圖像資料以每一行份之像素值連結而包含於1個串流中。此時，由於藉由解像度而生成“一 行份的像素值”之比率不同，因此以較低比率生成資料之低解像度的圖像亦可包含未生成資料之期間，並以均等地包含於串流中之方式分配。藉此，用以於每單位時間進行處理及傳送之資料尺寸變得大致均等，且不僅至輸出前所需之時間、使用之傳遞頻帶、傳送所需之時間的估算變得容易，而且因突發的資料尺寸之增加而壓迫傳遞頻帶之可能性降低。
如此生成之串流在後段之處理中，由於可與僅包含1個解像度的圖像資料之串流同等地處置，因此實質上會生成包含複數個解像度的圖像之合成圖像。而後，由於藉由如上述般連結，而使合成對象的圖像各自構成合成圖像中的矩形區域，因此藉由指定合成圖像內的區域，而利用“裁切”之一般的圖像處理，可容易分別在1個串流中混合存在之複數個圖像的資料。
再者，藉由在相機上設置複數個進行依據來自主機終端的指定之串流的選擇、一部分資料之擷取及封包化之機構，可並列地傳送複數個資料，且可縮短傳送時間。又，由於各者之機構擔負一個串流，且以每個串流傳送至主機終端，因此可於主機終端省略資料分別之處理。
實施形態2
在實施形態1中，相機100係由所拍攝之影像生成複數個解像度的動畫像資料，並根據來自主機終端20的請求，僅將其中必要的資料即時地送出至主機終端20。在本實施形態中，進而生成訊框間的動作差值圖像而作為主機終端20 的請求對象。再者，在相機100中解析任一者之圖像，並將其結果作為中繼資料，附加於傳送至主機終端20之圖像資料中。
本實施形態可藉由與圖1所示之低延遲相機系統10相同之系統實現。又，主機終端20亦與圖4所示之構成相同。以下，主要注目於與實施形態1不同之點進行說明，關於重複之部分則適宜地省略其說明。
圖10係顯示本實施之相機的構成。相機100a係與實施形態1之相機100相同，包含：圖像獲取部102、解馬賽克部104、角錐濾波器部170、圖像合成部156、圖像送出部151a及通信部108。相機100a進而包含差值圖像生成部174及圖像解析部176。
圖像獲取部102、解馬賽克部104及角錐濾波器部170係與實施形態1中對應之功能方塊同樣地進行動作。差值圖像生成部174係生成角錐濾波器部170所輸出之特定的解像度之圖像與以前所輸出之相同的解像度之其他訊框的圖像之差值圖像。因此，差值圖像生成部174包含暫時保存1訊框份的圖像資料之內部記憶體(未圖示)。
而後，重新獲得自角錐濾波器部170輸出之像素值與保存於該內部記憶體中之以前的訊框所對應之像素的像素值之差值，並將該結果作為差值圖像的像素值而輸出至圖像合成部156。由於該處理亦是以像素的光柵順序進行者，因此輸出之資料係與其他圖像相同之串流。
大致估算存在動作之區域之情形等、根據主機終端20使 用差值圖像之目的，大多情況亦不對差值圖像要求較高之解像度。因此，自角錐濾波器部170所生成之最低解像度的圖像生成差值圖像，而作為由圖像合成部156產生之合成對象。若將差值圖像作為合成圖像的一部分，則之後藉由使圖像送出部151a及通信部108與實施形態1敘述者同樣地進行動作，可將該差值圖像的資料向主機終端20傳送。
圖像解析部176係對於角錐濾波器部170所輸出之特定的解像度之圖像進行特定的圖像解析，並將其結果傳遞至圖像送出部151a。另，該圖中，雖將差值圖像生成部174與圖像解析部176的處理對象作為相同解像度的圖像，但本實施形態主旨並非限定於該等，亦可獨立地進行相互之處理。
圖像解析部176所進行之圖像解析係臉部檢測處理或具有特定的形狀之對象物的追蹤等。因而，傳遞至圖像送出部151a之解析結果係臉部區域或對象物的區域之位置或大小之資訊與顯示檢測/追蹤精度之評估值等。進行何種解析及對象物的形狀資訊等之解析條件係依據執行之應用程式，而在應用程式起動時等自主機終端20通知至相機100。
圖像送出部151a的封包化部162(圖示於圖3中)係在傳送至主機終端20之圖像資料的1訊框份的串流之後或於1訊框份的串流中之特定的位置將利用圖像解析部176之圖像解析結果作為中繼資料插入。而後，與未進行圖像解析之情形相同以特定的尺寸進行封包化。
在該情形下，主機終端20係將自相機100傳送之資料中圖像資料部分作為圖像展開於主記憶體中，且使中繼資料在該圖像的加工或合成等之處理中加以利用。又，亦可利用中繼資料，對於其以後之訊框向相機100重新進行請求之資料的指定。圖像資料與中繼資料之區別係能夠在將所接收之串流全部作為圖像之情形的圖像平面中預先決定附加中繼資料之區域，或對中繼資料自身附加辨別該等之資訊。
另，在本實施形態中，雖在相機100a上設置差值圖像生成部174與圖像解析部176之兩者，但亦可僅設置任一者之一方。又，作為中繼資料附加之資訊亦可不是圖像解析之結果，而是例如獲取原先的RAW圖像之時的時間戳記等。在該情形下，只要圖像獲取部102將以每個訊框所生成之時間戳記的資訊由圖像送出部151a直接獲取，並與上述同様地插入於串流中即可。
根據以上敘述之本實施形態，除實施形態1之構成以外，於相機內部設置生成差值圖像之機構。在利用差值圖像檢測存在動作之區域之態様中，由於即便為低解像度的圖像亦具有充分功能之情形較多，因此可將例如最低解像度的圖像作為對象，並使所生成之差值圖像包含於合成圖像中。藉此，除實施形態1中敘述之效果以外，關於差值圖像亦可藉由裁切處理而容易進行分別。其結果，即便在欲檢測存在動作之區域之情形下，亦可將應於主機終端進行之處理設為最小限度。
再者，於相機內部設置追蹤臉部區域的檢測或特定的形狀之對象物之機構，並將其結果作為中繼資料以訊框單位插入至圖像資料的串流中。藉此，對臉部區域或對象物之區域施加加工或欲獲得該區域的詳細資訊之情形等，可將應於主機終端進行之處理設為最小限度。
實施形態3
在本實施形態中，將圖1所示之低延遲相機系統10的相機100由包含自左右不同之視點拍攝相同對象物之一對相機之立體照相機構成。而後，在該立體照相機中，使用自左右拍攝之2個動畫像的訊框進行立體匹配，並生成顯示對象物的深度方向之位置之深度圖像。該深度圖像與其他圖像相同，係根據來自主機終端20的請求而隨時進行傳送。此處，主機終端20宜與實施形態1相同之構成。以下，主要注目於與實施形態1及2不同之點進行說明，關於重複之部分則省略其說明。
圖11係顯示本實施之相機的構成。立體照相機100b包含：第1相機190a、第2相機190b、立體匹配處理部192、圖像送出部151b及通信部108。第1相機190a及第2相機190b雖各自具有實施形態1所示之相機100或與實施形態2所示之相機100a大致相同之構成，但關於圖像送出部151b及通信部108，係由第1相機190a、第2相機190b及立體匹配處理部192共有。
第1相機190a包含：圖像獲取部102a、解馬賽克部104a、角錐濾波器部170a、圖像合成部156a及圖像解析部 176a。同様地，第2相機190b包含：圖像獲取部102b、解馬賽克部104b、角錐濾波器部170b、圖像合成部156b及圖像解析部176b。分別設置於圖像獲取部102a及圖像獲取部102b之攝像元件會自左右不同之視點拍攝相同的對象物。作為該攝像元件的硬體之構成只要是與一般的立體照相機相同即可。
又，第1相機190a、第2相機190b所具有之上述功能方塊係與實施形態1及2中所說明之對應功能方塊相同地動作。立體匹配處理部192係將特定的解像度之左右的動畫像訊框之一者自第1相機190a的解馬賽克部104a或角錐濾波器部170a以特定的比率獲取，另一者自第2相機190b的解馬賽克部104b或角錐濾波器部170b以特定的比率獲取。
而後，利用以相同的時間點獲取之左右的圖像進行立體匹配，而生成深度圖像。深度圖像係將表示對象物的深度方向之位置之值作為圖像平面上的像素值之圖像，其係表示對象物之3維空間中之位置資訊。此處實施之立體匹配處理亦可使用先前提案之各種手法之任一者。例如於左右的圖像之一方設定相關窗口，並藉由一面移動另一方之圖像的搜索窗口一面算出與相關窗口的圖像之彼此相關係數，而獲取對應點之後，可使用基於該等對應點的視差而利用三角測量原理求出3維的位置資訊之面積相關法等。
任一者之情形皆是將所輸入之左右的圖像資料以每一行進行處理而以光柵順序決定深度圖像的像素值，並依序向圖像送出部151b輸出。圖像送出部151b係與該資料一起， 自第1相機190a及第2相機190b獲取左右的RAW圖像、1/1解馬賽克後圖像及合成圖像之資料。
又，自第1相機190a的圖像解析部176a及第2相機190b的圖像解析部176b接收與實施形態2中所說明者相同之圖像解析的結果。而後，與實施形態1中所說明者相同，選擇自主機終端20所請求之資料，並依據需要僅擷取所請求之區域而進行封包化。此時，如實施形態2中所說明般，根據主機終端20的請求，將自圖像解析部176a、176b所獲取之圖像解析的結果作為中繼資料插入。
通信部108進行之處理係與先前所說明者相同。另，該圖中雖各由1個箭頭顯示圖像送出部151b的輸出及通信部108的輸入輸出，但亦可如圖9所示般設置複數個通道，而並列地傳送複數個資料。
接著，顯示可由先前敘述之構成實現之低延遲相機系統10的動作例。此處所示之動作例雖主要可由包含實施形態3中所說明之立體照相機100b之系統實現，但關於實施形態1或2敘述之構成亦可適宜地組合。
圖12係顯示主機終端20與立體照相機100b協同作用而進行圖像處理之處理程序之例之流程圖與生成之圖像例。圖12~14之流程圖係藉由使用者對主機終端20輸入應用程式的起動指示而開始。又，為容易理解，各步驟雖係以串聯地連接之矩形表示，但在拍攝動畫像之期間，係對於各像素行、各訊框重複該等之步驟，且並列地執行。
首先，主機終端20係指定設定於應用程式等中之初始條 件及必要資料，並對於立體照相機100b進行攝影開始指示及資料傳送請求(S10)。“初始條件”係立體照相機100b的2個相機所拍攝之動畫像的解像度或訊框率、立體匹配處理部192進行立體匹配之圖像的解像度或訊框率、追蹤對象的形狀資訊等。另，相機拍攝之動畫像的解像度或訊框率既可使利用攝像元件之曝光自身的條件設定產生變化，亦可藉由將來自攝像元件的資料於後段進行次取樣處理等之調整而產生變化。
此處，係例如以下述般進行指定。
第1相機：解像度1280×720、訊框率60 fps
第2相機：解像度1280×720、訊框率60 fps
立體匹配：解像度1280×720、訊框率60 fps
必要的資料之指定係如上述般，除指定圖像的種類、解像度、圖像內的區域以外，亦可指定中繼資料。此處，係例如以下述般指定3個資料。
資料1：(左圖像，YUV422：16位元，0,0,1280,720)
資料2：(左合成圖像，YUV422：16位元，0,0,850,367，臉部區域，對象物區域，時間戳記)
資料3：(深度圖像、Z：16位元，0,0,1280,720)
資料1係立體照相機100b中左側的相機所拍攝之圖像的1/1解馬賽克後圖像(YUV422：16位元)之左上方的座標為(0,0)，横方向及縱方向之寬度為(1280,720)之區域。可知該區域若考量以上述初始條件指定之解像度，則係所拍攝之圖像的全域。
資料2係左側的相機所拍攝之圖像的合成圖像(YUV422：16位元)之左上方的座標為(0,0)、横方向及縱方向之寬度為(850,357)之區域。圖12~14之例中的合成圖像係在圖7所示之1/4解馬賽克後圖像、1/16解馬賽克後圖像、1/64解馬賽克後圖像中進而包含將1/256解馬賽克後圖像的訊框間差值作為進行之結果而獲得之差值圖像。該差值圖像係作為(W/16)/8×H/2的圖像區域而以與其他相同之規則附加於圖7的合成圖像之右端。
由上述資料2指定之區域為該合成圖像的全域。資料2中係以進而將進行臉部檢測處理之結果獲得之臉部的區域、進行追蹤處理之結果獲得之對象物的區域及拍攝合成圖像的原本圖像時的時間戳記作為中繼資料附加於合成圖像中之方式指定。資料3係立體匹配處理部192所生成之深度圖像(以深度方向的16位元之位置資訊為像素)之左上方的座標為(0,0)，横方向及縱方向的寬度為(1280,720)的區域，亦即全域。
接受初始條件的指定及資料請求之立體照相機100b的第1相機190a及第2相機190b係以該初始條件開始動畫像的拍攝(S12)。第1相機190a、第2相機190b、立體匹配處理部192係藉由使用所拍攝之圖像訊框如上述般進行處理，而生成左側的RAW圖像及1/1解馬賽克後圖像230、左側的合成圖像232、深度圖像234、右側的RAW圖像及1/1解馬賽克後圖像236及左側的合成圖像238之資料(S14)。
另，該圖中雖顯示各圖像的全域，但實際的圖像資料係 以像素值的串流之狀態依序輸入至圖像送出部151b。圖13、圖14亦相同。接著，圖像送出部151b係藉由僅選擇、擷取S10中所指定之資料而作為串流進行封包化而生成傳送資料並進行傳送(S16)。
接收資料之主機終端20係在主記憶體58中展開圖像。其結果，於主記憶體58中儲存1/1解馬賽克後圖像的全域240、1/4解馬賽克後圖像的全域242、1/16解馬賽克後圖像的全域244、1/64解馬賽克後圖像的全域246、1/256解馬賽克後圖像的差值圖像248、包含：臉部之區域、對象物之區域、時間戳記之中繼資料250及深度圖像252。
主機終端20的CPU50及GPU52係利用該等資料而生成應顯示之圖像，並顯示於顯示器4上(S18、S20)。例如，自動作差值圖像248檢測存在動作之區域，並自深度圖像252獲取該部分之對象物的深度資訊。藉由使該等繼續複數個訊框份而辨識作為被攝物之使用者的手勢。而後，於1/1解馬賽克後圖像的全域240中臉部區域等顯示施加因應手勢之特定的加工之圖像。
該實施例中，由於自立體照相機100b向主機終端20傳送之每單位時間的資料尺寸為
資料1：1280×720像素×60 fps×16位元=885 Mbps
資料2：850×370像素×60 fps×16位元=300 Mbps
資料3：1280×720像素×60 fps×16位元=885 Mbps
因此合計成為2.1 Gbps。
圖13係顯示主機終端20與立體照相機100b協同作用而進 行圖像處理之處理程序的其他例之流程圖與生成之圖像例。首先，與圖12相同，主機終端20指定初始條件及必要之資料，而對於立體照相機100b進行攝影開始指示及資料傳送請求(S22)。
該例之初始條件與圖12之例相同。作為必要資料，係如以下般指定1個資料。
資料1：(左合成圖像，YUV422：16位元，0,0,850,367，臉部區域，對象物區域，時間戳記)
該資料係與圖12之例的資料2相同。
接受初始條件的指定及資料請求之立體照相機100b的第1相機190a及第2相機190b係以該初始條件開始動畫像的拍攝(S24)，並使第1相機190a、第2相機190b、立體匹配處理部192各自生成圖像資料(S26)。此時之圖像資料係與由圖12的S14生成之圖像資料相同。
接著，圖像送出部151b係藉由僅選擇、擷取S22中所指定之資料而作為串流進行封包化而生成傳送資料並進行傳送(S28)。接收資料之主機終端20係在主記憶體58中展開圖像。其結果，於主記憶體58中儲存1/4解馬賽克後圖像的全域242、1/16解馬賽克後圖像的全域244、1/64解馬賽克後圖像的全域246、1/256解馬賽克後圖像的差值圖像248及包含臉部之區域、對象物之區域、時間戳記之中繼資料250。
主機終端20的CPU50係將自差值圖像248存在特定的動作之區域或中繼資料250中所含之臉部的區域或包含對象 物的區域之特定範圍的區域作為注目區域進行決定(S30)。而後。指定該注目區域而重新進行資料請求(S32)。此處，係例如下述指定2個資料。
資料2：(左圖像，RAW：16位元，Fx,Fy,Fw,Fh)
資料3：(深度圖像，Z：8位元，Hx,Hy,Hw,Hh)
資料2係立體照相機100b中左側的相機所拍攝之RAW圖像(16位元)中作為包含臉部的區域之注目區域而決定之左上方的座標為(Fx,Fy)，横方向及縱方向之寬度為(Fw,Fh)之區域。資料3係立體匹配處理部192生成之深度圖像(以深度方向的8位元之位置資訊為像素)中作為包含對象物的區域之注目區域而決定之左上方的座標為(Hx,Hy)，横方向及縱方向的寬度為(Hw,Hh)之區域。
立體照相機100b的圖像送出部151b係以各圖像之新的訊框輸入之時間點擷取RAW圖像及深度圖像中所指定之區域的資料，而藉由作為串流進行封包化而生成傳送資料，並進行傳送(S34)。接收資料之主機終端20係在主記憶體58中展開圖像。其結果，於主記憶體58中儲存包含臉部之區域的RAW圖像254及包含對象物之區域的深度圖像256。
主機終端20的CPU50及GPU52係利用該等資料，生成應顯示之圖像，而顯示於顯示器4上(S36、S38)。例如，藉由以1/4解馬賽克後圖像242為背景，並合成包含臉部之區域的RAW圖像254，可在抑制資料尺寸之下僅使顯示表情的變化等之臉部區域顯示鮮明圖像。再者，亦可自深度圖像256獲取對象物的深度資訊而辨識使用者的手勢，並施 加因應該等之特定的加工。
藉由重複S30~S38之處理，即便臉部或對象物移動，亦可使該等之必要資料無浪費地穩定地獲取而反映於圖像顯示中。結果，可抑制應自立體照相機100b向主機終端20傳送之資料的尺寸。
在上述之資料指定中，若假設為(Fw,Fh)=(400,600)、(Hw,Hh)=(320,450)，則在該實施例中自立體照相機100b向主機終端20傳送之每單位時間的資料尺寸為
資料1：850×370像素×60 fps×16位元=300 Mbps
資料2：400×600像素×60 fps×16位元=230 Mbps
資料3：320×450像素×60 fps×16位元=70 Mbps
合計成為600 Mbps。
圖14係顯示主機終端20與立體照相機100b協同作用而進行圖像處理之處理程序的其他例之流程圖與生成之圖像例。首先，與圖12相同，主機終端20指定初始條件及必要資料，而對於立體照相機100b進行攝影開始指示及資料傳送請求(S40)。
該例之初始條件係如以下般指定。
第1相機：解像度1280×720、訊框率30 fps
第2相機：解像度1280×720、訊框率15 fps
立體匹配：解像度320×180、訊框率15 fps
必要資料係如以下般指定。
資料1：(左合成圖像，Y(動作差值)：8位元，840,8,10,360，時間戳記)
資料2：(左合成圖像，YUV422：16位元，800,4,40,360，臉部區域，時間戳記)
資料3：(深度圖像，Z：8位元，20,15,280,150，時間戳記)
資料1係左側的相機所拍攝之圖像的合成圖像中Y圖像之差值圖像的區域，亦即左上方的座標為(840,8)，横方向及縱方向的寬度為(10,360)之區域。再者，資料1中，係將拍攝原本圖像時的時間戳記作為中繼資料予以附加之方式進行指定。
資料2係左側的相機所拍攝之圖像的合成圖像(YUV422：16位元)之左上方的座標為(800,4)，横方向及縱方向的寬度為(40,360)之區域，亦即1/64解馬賽克後圖像的區域。再者，資料2中，係將進行臉部檢測處理之結果獲得之臉部的區域、拍攝原本圖像時的時間戳記作為中繼資料予以附加之方式進行指定。由資料1或資料2指定之合成圖像所含之各圖像的區域資訊可根據圖7所示之配置的規則進行特定。
資料3係立體匹配處理部192生成之深度圖像(將深度方向的8位元之位置資訊作為像素)之左上方的座標為(20,15)，横方向及縱方向的寬度為(280,150)之區域。該區域係將深度圖像的上端下端分別除去15像素份，將左端右端分別除去20像素份而成者，亦可考慮具有作為深度資訊之意義之區域。如上述亦可抑制資料尺寸。再者，資料3中，係將拍攝原先圖像時的時間戳記作為中繼資料予以附 加之方式進行指定。
接受初始條件的指定及資料請求之立體照相機100b的第1相機190a及第2相機190b係以該初始條件開始動畫像的攝影(S42)，並使第1相機190a、第2相機190b、立體匹配處理部192各自生成圖像資料(S44)。此時之圖像在圖像的尺寸、色空間及訊框率等之方面上，相較於圖12及圖13之例較簡單。
接著，圖像送出部151b係藉由僅選擇、擷取S40中所指定之資料而作為串流進行封包化而生成傳送資料並進行傳送(S46)。接收資料之主機終端20係在主記憶體58中展開圖像。其結果，於主記憶體58中儲存1/256解馬賽克後圖像的差值圖像260、其原先圖像之時間戳記262、1/64解馬賽克後圖像的全域260、包含臉部之區域及時間戳記之中繼資料266、除去周圍之深度圖像268及其原先圖像之時間戳記270。
主機終端20的CPU50及GPU52係使用該等資料，而生成應顯示之圖像，並顯示於顯示器4上(S48、S50)。例如，自差值圖像260檢測存在動作之區域，並自深度圖像268獲取該部分之對象物的深度資訊。藉此，辨識作為被攝物之使用者的手勢，並在1/64解馬賽克後圖像的全域260中，於自中繼資料266獲得之臉部區域等顯示施加因應手勢之特定的加工之圖像。
該例中，亦可以降低訊框率或僅傳送解像度較低之圖像之方式，在以區域整體為傳送對象、處理對象之下，抑制 包含傳遞頻帶之資源的消耗量。因係傳送區域整體，故可省略圖13之例中所示之適合的區域指定之步驟。又，如此，即便傳送之3個資料的每1訊框之資料尺寸不同，且1訊框份的資料到達至主機終端20之時間點因資料不同而不同，亦可藉由將原先圖像之攝影時的時間戳記以每訊框進行附加，而容易特定資料的對應關係。
該實施例中，自立體照相機100b向主機終端20傳送之每單位時間的資料尺寸為
資料1：10×360像素×30 fps×8位元=864 Mbps
資料2：160×90像素×15 fps×16位元=3.5 Mbps
資料3：280×150像素×15 fps×8位元=5 Mbps
合計成為9.5 Mbps。
根據以上敘述之本實施形態，將實施形態1及2之特徵應用於立體照相機中。而後，於該立體照相機上設置進行立體匹配之機構。在該情形下，可自各相機所生成之RAW圖像、1/1解馬賽克後圖像、合成圖像及立體匹配之結果獲得之深度圖像、臉部檢測之結果獲得之臉部區域的資訊、追蹤處理之結果獲得之對象物的區域之資訊之多種資料中，以低延遲傳送主機終端所指定之資料。因此，可減輕主機終端的處理之負載，並以與自相機的資料傳送之效率化之相乘效果，實現以低延遲追隨被攝物的動作之圖像顯示。
以上，基於實施形態說明了本發明。上述實施形態係為例示，在該等之各構成要素或各處理程式之組合中可有各 種變形例，且本技藝者當可理解的是該等之變形例亦在本發明之範圍內。
[產業上之可利用性]
如以上，本發明可應用於電腦、相機、遊戲裝置、圖像顯示裝置等之資訊處理裝置中。
4‧‧‧顯示器
10‧‧‧低延遲相機系統
20‧‧‧主機終端
50‧‧‧CPU
52‧‧‧GPU
58‧‧‧主記憶體
60‧‧‧通信部
64‧‧‧資料請求部
66‧‧‧資料處理部
68‧‧‧資料展開部
100‧‧‧相機
104‧‧‧解馬賽克部
108‧‧‧通信部
149‧‧‧FIFO緩衝器
150‧‧‧FIFO緩衝器
151‧‧‧圖像送出部
156‧‧‧圖像合成部
154‧‧‧資料選擇部
162‧‧‧封包化部
164‧‧‧控制部
166‧‧‧串流選擇部
168‧‧‧裁切部
170‧‧‧角錐濾波器部
172a‧‧‧第1通道
172b‧‧‧第2通道
172c‧‧‧第3通道
174‧‧‧差值圖像生成部
176‧‧‧圖像解析部
190a‧‧‧第1相機
190b‧‧‧第2相機
192‧‧‧立體匹配處理部
圖1係顯示實施形態1之低延遲相機系統的整體構成之圖。
圖2係顯示實施形態1之相機的構成之圖。
圖3係顯示實施形態1之相機的圖像合成部及圖像送出部之構成之詳細圖。
圖4係顯示實施形態1之主機終端的內部電路構成之圖。
圖5係顯示實施形態1之相機及主機終端之資料的形態之基本的變遷之示意圖。
圖6係顯示實施形態1之1/4解馬賽克後圖像、1/16解馬賽克後圖像及1/64解馬賽克後圖像的像素值之來自角錐濾波器部的輸入時間點之時序圖。
圖7係顯示實施形態1中圖像合成部連結複數個圖像之像素行的資料之情況之示意圖。
圖8係顯示實施形態1之主機終端的資料請求處理及相機的資料傳送處理之構成之圖。
圖9係顯示實施形態1之圖像送出部的構成之變形例之圖。
圖10係顯示實施形態2之相機的構成之圖。
圖11係顯示實施形態3之相機的構成之圖。
圖12係顯示實施形態3之主機終端與立體照相機協同作用而進行圖像處理之處理程序之例之流程圖及顯示所生成之圖像例之圖。
圖13係顯示實施形態3之主機終端與立體照相機協同作用而進行圖像處理之處理程序的其他例之流程圖及顯示所生成之圖像例之圖。
圖14係顯示實施形態3之主機終端與立體照相機協同作用而進行圖像處理之處理程序的其他例之流程圖及顯示所生成之圖像例之圖。
102‧‧‧圖像獲取部
104‧‧‧解馬賽克部
108‧‧‧通信部
110‧‧‧第1濾波器
120‧‧‧第2濾波器
130‧‧‧第3濾波器
149‧‧‧FIFO緩衝器
150‧‧‧FIFO緩衝器
151‧‧‧圖像送出部
154‧‧‧資料選擇部
156‧‧‧圖像合成部
162‧‧‧封包化部
164‧‧‧控制部

Claims (14)

  1. 一種動畫像攝影裝置，其特徵為包含：圖像資料生成部，其係將藉由對拍攝對象物而獲得之動畫像的各訊框以多段縮小而成不同解像度的複數個圖像之資料分別按特定的像素順序生成，並作為串流依序輸出；圖像合成部，其係藉由將自前述圖像資料生成部輸出之前述複數個圖像之資料中特定的複數個圖像之資料，連接於圖像之一行份的像素行或較其為小之範圍的每個像素行而作為串流輸出，而生成包含前述特定的複數個圖像之虛擬的合成圖像；及圖像送出部，其係自所連接之主機終端接受資料的傳送請求，並自前述圖像資料生成部及前述圖像合成部輸出之複數個串流，藉由擷取所請求之圖像及區域中所含之像素的資料而生成應傳送之資料的串流，並傳送至前述主機終端。
  2. 如請求項1之動畫像攝影裝置，其中前述圖像合成部係以生成合成對象的圖像中最高解像度的圖像之像素一行份的資料之期間為基準週期而輸出應作為前述合成圖像的像素一行份之資料，且以將較該基準週期長之週期生成一行份的資料之其他解像度的圖像，係以於該生成週期中均等地輸出資料之方式調整連接之像素行的範圍。
  3. 如請求項1或2之動畫像攝影裝置，其中前述圖像送出部包含以構成串流之像素行單位裁取自 前述主機終端請求資料的傳送之圖像內的矩形區域之裁切部；前述圖像合成部係以由合成對象的各圖像構成前述合成圖像之矩形區域之方式連接各圖像的資料；前述裁切部係因應來自前述主機終端的請求，而自前述合成圖像以像素行單位裁取合成對象的圖像中之任一者，並傳送至前述主機終端。
  4. 如請求項1或2之動畫像攝影裝置，其中進而包含藉由使前述不同之解像度的複數個圖像中特定的解像度之圖像進行訊框間差值，而生成該解像度的差值圖像之差值圖像生成部；前述圖像合成部將前述差值圖像亦包含於合成對象中。
  5. 如請求項1或2之動畫像攝影裝置，其中前述圖像送出部係並列地讀出自圖像資料生成部及前述圖像合成部輸出之複數個串流，並利用該等串流中因應來自前述主機終端的請求而選擇之串流之至少一部分，而生成應傳送之串流。
  6. 如請求項1或2之動畫像攝影裝置，其中前述圖像送出部包含用以向主機終端進行資料傳送之複數個輸出通道，且在自前述主機終端請求複數個區域的資料之情形下，自前述複數個輸出通道並列地傳送按每個該資料所生成之串流。
  7. 如請求項1或2之動畫像攝影裝置，其中進而包含對前述 複數個圖像中之任一者施加臉部檢測處理，而特定出作為對象物之人的臉部區域之臉部檢測部；前述圖像送出部係因應來自前述主機終端的請求，而於所生成之圖像資料的串流之特定位置，插入特定出前述臉部檢測部之臉部區域之資料作為中繼資料後，傳送至前述主機終端。
  8. 如請求項1或2之動畫像攝影裝置，其中進而包含自前述主機終端獲取追蹤對象的對象物之形狀資訊，並基於其進行該對象物的追蹤處理之追蹤部；前述圖像送出部係因應來自前述主機終端的請求，而於所生成之圖像資料的串流之特定位置，插入前述追蹤部所特定之對象物的位置之資料作為中繼資料後，傳送至前述主機終端。
  9. 一種動畫像攝影裝置，其特徵為：其係包含自左右不同之視點拍攝相同對象物之一對相機者；前述一對相機各自包含：圖像資料生成部，其係將藉由將拍攝前述對象物而獲得之動畫像的各訊框以多段縮小而成不同解像度的複數個圖像之資料分別按特定的像素順序生成，並作為串流依序輸出；及圖像合成部，其係藉由將自前述圖像資料生成部輸出之前述複數個圖像之資料中特定的複數個圖像之資料，連接於圖像之一行份的像素行或較其為小之範圍 的每個像素行而作為串流進行輸出，而生成包含前述特定的複數個圖像之虛擬的合成圖像；前述動畫像攝影裝置進而包含：立體匹配處理部，其係藉由對於由前述一對相機所生成之視點不同之圖像資料中特定的解像度之圖像的資料進行立體匹配，而按特定的像素順序生成表示前述對象物的3維空間之位置的深度圖像，並作為串流依序輸出；及圖像送出部，其係自所連接之主機終端接受資料的傳送請求，並自前述圖像資料生成部、前述圖像合成部及前述立體匹配處理部輸出之複數個串流，藉由擷取所請求之圖像及區域中所含之像素的資料而生成應傳送之資料的串流，並傳送至前述主機終端。
  10. 一種資訊處理系統，其特徵為，其係包含拍攝對象物而生成動畫像的資料之動畫像攝影裝置、及自該動畫像攝影裝置獲取動畫像的資料之一部分，並利用其進行特定的圖像處理而顯示圖像之主機終端者，且前述動畫像攝影裝置包含：圖像資料生成部，其係將藉由將拍攝而獲得之動畫像的各訊框以多段縮小而成不同解像度的複數個圖像之資料分別按特定的像素順序生成，並作為串流依序輸出；圖像合成部，其係藉由將自前述圖像資料生成部輸出之前述複數個圖像之資料中特定的複數個圖像之資 料，連接於圖像之一行份的像素行或較其為小之範圍的每個像素行而作為串流進行輸出，而生成包含前述特定的複數個圖像之虛擬的合成圖像；及圖像送出部，其係藉由自前述圖像資料生成部及前述圖像合成部輸出之複數個串流，擷取自前述主機終端所請求之圖像及區域中所含之像素的資料而生成應傳送之資料的串流後，傳送至前述主機終端。
  11. 一種資訊處理裝置，其特徵為包含：資料請求部，其係對於拍攝對象物之相機指定解像度及圖像內的區域而請求動畫像之訊框的圖像資料之傳送；資料展開部，其係將根據請求而自前述相機傳送之於每個像素行連接所指定之區域的像素值之串流之狀態的圖像資料，在主記憶體中作為2維的圖像資料進行展開；及資料處理部，其係在利用前述2維的圖像資料進行特定的圖像處理後顯示圖像；且前述資料請求部係指定前述相機內生成之、將藉由以多段縮小動畫像的訊框而獲得之不同解像度之複數個圖像配置於各自特定的矩形區域之合成圖像；前述資料展開部係將自前述相機所傳送之前述合成圖像藉由按每個合成對象的圖像展開成個別的2維圖像資料而進行圖像的辨別。
  12. 一種圖像資料處理方法，其特徵為其係由動畫像攝影裝 置所執行者，且包含：將藉由將拍攝對象物而獲得之動畫像的各訊框以多段縮小而成不同解像度的複數個圖像之資料分別按特定的像素順序生成，並作為串流依序輸出之步驟；藉由將在前述輸出之步驟中輸出之前述複數個圖像之資料中特定的複數個圖像之資料，連接於圖像之一行份的像素行或較其為小之範圍的每個像素行而作為串流進行輸出，而生成包含前述特定的複數個圖像之虛擬的合成圖像之步驟；及自所連接之主機終端接受資料的傳送請求，並自在前述輸出之步驟及生成之步驟中所輸出之複數個串流，藉由擷取所請求之圖像及區域中所含之像素的資料而生成應傳送之資料的串流，並傳送至前述主機終端之步驟。
  13. 一種電腦程式，其係以電腦實現以下功能：將由拍攝元件拍攝對象物而獲得之動畫像的各訊框以多段縮小而成不同解像度的複數個圖像之資料分別按特定的像素順序生成，並作為串流依序輸出之功能；藉由將在前述輸出之功能中輸出之前述複數個圖像之資料中特定的複數個圖像之資料，連接於圖像之一行份的像素行或較其為小之範圍的每個像素行而作為串流進行輸出，而生成包含前述特定的複數個圖像之虛擬的合成圖像之功能；及自所連接之主機終端接受資料的傳送請求，並自利用前述輸出之功能及生成之功能所輸出之複數個串流，藉 由擷取所請求之圖像及區域中所含之像素的資料而生成應傳送之資料的串流，並傳送至前述主機終端之功能。
  14. 一種記錄媒體，其係記錄有以電腦實現以下功能之電腦程式者：將藉由將拍攝元件拍攝對象物而獲得之動畫像的各訊框以多段縮小而成不同解像度的複數個圖像之資料分別按特定的像素順序生成，並作為串流依序輸出之功能；藉由將在前述輸出之功能中所輸出之前述複數個圖像之資料中特定的複數個圖像之資料，連接於圖像之一行份的像素行或較其為小之範圍的每個像素行而作為串流進行輸出，而生成包含前述特定的複數個圖像之虛擬的合成圖像之功能；及自所連接之主機終端接受資料的傳送請求，並自利用前述輸出之功能及生成之功能所輸出之複數個串流，藉由擷取所請求之圖像及區域中所含之像素的資料而生成應傳送之資料的串流，並傳送至前述主機終端之功能。
TW101115653A 2011-05-19 2012-05-02 An image processing apparatus, an information processing system, an information processing apparatus, and an image data processing method TWI496471B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011112931A JP5629642B2 (ja) 2011-05-19 2011-05-19 動画像撮影装置、情報処理システム、情報処理装置、および画像データ処理方法

Publications (2)

Publication Number Publication Date
TW201251459A TW201251459A (en) 2012-12-16
TWI496471B true TWI496471B (zh) 2015-08-11

Family

ID=47176533

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101115653A TWI496471B (zh) 2011-05-19 2012-05-02 An image processing apparatus, an information processing system, an information processing apparatus, and an image data processing method

Country Status (10)

Country Link
US (1) US9247132B2 (zh)
EP (1) EP2712177B1 (zh)
JP (1) JP5629642B2 (zh)
KR (1) KR101451734B1 (zh)
CN (1) CN103518368B (zh)
BR (1) BR112013029656B1 (zh)
MX (1) MX2013013313A (zh)
RU (1) RU2570195C2 (zh)
TW (1) TWI496471B (zh)
WO (1) WO2012157178A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5701707B2 (ja) * 2011-07-25 2015-04-15 株式会社ソニー・コンピュータエンタテインメント 動画像撮影装置、情報処理システム、情報処理装置、および画像データ処理方法
KR20130024504A (ko) * 2011-08-31 2013-03-08 삼성전기주식회사 삼차원 카메라 시스템 및 주시각 조정 방법
WO2014014238A1 (en) * 2012-07-17 2014-01-23 Samsung Electronics Co., Ltd. System and method for providing image
JP6121787B2 (ja) * 2013-04-26 2017-04-26 株式会社ソニー・インタラクティブエンタテインメント 撮像装置、情報処理システム、および画像データ処理方法
US9232177B2 (en) * 2013-07-12 2016-01-05 Intel Corporation Video chat data processing
JP2015195562A (ja) * 2014-03-20 2015-11-05 村上　幹次 送信信号処理装置及び方法、受信信号処理装置
JP6390245B2 (ja) * 2014-07-31 2018-09-19 カシオ計算機株式会社 画像格納装置、画像管理方法及びプログラム
US9706114B2 (en) * 2014-09-12 2017-07-11 Sony Corporation Image pickup apparatus, information processing apparatus, display apparatus, information processing system, image data sending method, image displaying method, and computer program
JP6218787B2 (ja) * 2015-09-29 2017-10-25 株式会社ソニー・インタラクティブエンタテインメント 撮像装置、情報処理装置、表示装置、情報処理システム、画像データ送出方法、および画像表示方法
US11144553B2 (en) 2015-11-30 2021-10-12 International Business Machines Corporation Streaming programmable point mapper and compute hardware
JP2017158123A (ja) 2016-03-04 2017-09-07 ソニー株式会社 信号処理装置および撮像装置
JP6662745B2 (ja) * 2016-10-04 2020-03-11 株式会社ソニー・インタラクティブエンタテインメント 撮影装置、情報処理システム、および偏光画像処理方法
RU2647664C1 (ru) * 2017-03-31 2018-03-16 Общество С Ограниченной Ответственностью "Заботливый Город" Способ обработки видеосигнала
CN109002185B (zh) * 2018-06-21 2022-11-08 北京百度网讯科技有限公司 一种三维动画处理的方法、装置、设备及存储介质
US10491760B1 (en) * 2018-07-05 2019-11-26 Delta Electronics, Inc. Image transmission device, image transmission method, and image transmission system
KR102147125B1 (ko) * 2019-04-05 2020-08-24 (주)루먼텍 Ip워크플로우 기반 비디오 송수신 방법 및 그 시스템
KR102067191B1 (ko) * 2019-06-28 2020-02-11 배경 상세영상 생성장치
CN114009006A (zh) * 2019-06-28 2022-02-01 索尼半导体解决方案公司 传输装置、接收装置和传输系统
JP7351140B2 (ja) * 2019-08-26 2023-09-27 富士通株式会社 配信装置、配信システムおよび配信プログラム
JP7308694B2 (ja) * 2019-08-27 2023-07-14 キヤノン株式会社 放射線撮像装置の制御装置及び制御方法並びに放射線撮像システム
CA3198976A1 (en) * 2019-09-22 2021-03-25 Vayavision Sensing Ltd. Methods and systems for training and validating a perception system
KR102312933B1 (ko) * 2020-07-31 2021-10-14 한화시스템 주식회사 360도 파노라마 영상 획득용 상황 감시장치 및 상황 감시방법
CN112419361B (zh) * 2020-11-20 2024-04-05 中国科学院上海微系统与信息技术研究所 一种目标追踪方法和仿生视觉装置
RU2768797C1 (ru) * 2021-10-19 2022-03-24 Публичное Акционерное Общество "Сбербанк России" (Пао Сбербанк) Способ и система для определения синтетически измененных изображений лиц на видео

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0690444A (ja) * 1992-09-07 1994-03-29 Nippon Telegr & Teleph Corp <Ntt> 人物像伝送方式
WO2009093136A2 (en) * 2008-01-24 2009-07-30 Areograph Ltd Image capture and motion picture generation
TW201108723A (en) * 2009-06-19 2011-03-01 Elmo Co Ltd Combining synchronised video and audio data
JP2011097521A (ja) * 2009-11-02 2011-05-12 Sony Computer Entertainment Inc 動画像処理プログラム、装置および方法、動画像処理装置を搭載した撮像装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4709394A (en) * 1985-08-23 1987-11-24 Rca Corporation Multiplexed real-time pyramid signal processing system
US4849810A (en) * 1987-06-02 1989-07-18 Picturetel Corporation Hierarchial encoding method and apparatus for efficiently communicating image sequences
WO1997009818A1 (en) * 1995-08-21 1997-03-13 Starcam Systems, Inc. High-speed high-resolution multi-frame real-time digital camera
US6879341B1 (en) * 1997-07-15 2005-04-12 Silverbrook Research Pty Ltd Digital camera system containing a VLIW vector processor
RU2000102890A (ru) * 1998-05-19 2002-03-27 Сони Компьютер Энтертейнмент Инк. (Jp) Устройство и способ обработки изображений и распространяемый носитель
US20030123738A1 (en) * 2001-11-30 2003-07-03 Per Frojdh Global motion compensation for video pictures
JP2005176233A (ja) * 2003-12-15 2005-06-30 Canon Inc 通信装置及び通信システム
US8456515B2 (en) * 2006-07-25 2013-06-04 Qualcomm Incorporated Stereo image and video directional mapping of offset
JP2009146197A (ja) 2007-12-14 2009-07-02 Hitachi Ltd 画像信号処理装置、画像信号処理方法、画像信号処理プログラムおよび表示装置
EP2592838B1 (en) * 2010-07-08 2015-12-16 Panasonic Intellectual Property Management Co., Ltd. Image capture device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0690444A (ja) * 1992-09-07 1994-03-29 Nippon Telegr & Teleph Corp <Ntt> 人物像伝送方式
WO2009093136A2 (en) * 2008-01-24 2009-07-30 Areograph Ltd Image capture and motion picture generation
TW201108723A (en) * 2009-06-19 2011-03-01 Elmo Co Ltd Combining synchronised video and audio data
JP2011097521A (ja) * 2009-11-02 2011-05-12 Sony Computer Entertainment Inc 動画像処理プログラム、装置および方法、動画像処理装置を搭載した撮像装置

Also Published As

Publication number Publication date
RU2570195C2 (ru) 2015-12-10
BR112013029656B1 (pt) 2022-05-03
BR112013029656A2 (pt) 2020-07-21
KR20130140174A (ko) 2013-12-23
KR101451734B1 (ko) 2014-10-16
WO2012157178A1 (ja) 2012-11-22
JP2012244438A (ja) 2012-12-10
EP2712177A1 (en) 2014-03-26
JP5629642B2 (ja) 2014-11-26
EP2712177A4 (en) 2014-11-12
US20140078265A1 (en) 2014-03-20
EP2712177B1 (en) 2020-11-04
US9247132B2 (en) 2016-01-26
CN103518368A (zh) 2014-01-15
CN103518368B (zh) 2016-08-03
TW201251459A (en) 2012-12-16
RU2013156453A (ru) 2015-06-27
MX2013013313A (es) 2014-02-10

Similar Documents

Publication Publication Date Title
TWI496471B (zh) An image processing apparatus, an information processing system, an information processing apparatus, and an image data processing method
JP5701707B2 (ja) 動画像撮影装置、情報処理システム、情報処理装置、および画像データ処理方法
JP5774889B2 (ja) 情報処理装置、情報処理システム、および情報処理方法
JP5781353B2 (ja) 情報処理装置、情報処理方法、および位置情報のデータ構造
JP6121787B2 (ja) 撮像装置、情報処理システム、および画像データ処理方法
JP6062512B2 (ja) 撮像装置、情報処理システム、および画像データ送出方法
KR101295441B1 (ko) 기록 매체, 동화상 처리 장치 및 방법, 촬상 장치, 호스트 단말기 및 촬상 시스템
JP2008228281A (ja) 撮像装置、撮像方法、及びプログラム