TWI479318B - Information processing apparatus, information processing method and location information - Google Patents

Description

資訊處理裝置、資訊處理方法及位置資訊之資料結構

本發明係關於一種進行與動態拍攝之對象物之動態相配合之處理的資訊處理裝置、資訊處理方法、及所生成之位置資訊之資料結構。

近年來，發展為通常於個人電腦或遊戲機等中搭載相機，拍攝使用者之姿態而以各種形式加以利用。例如電視電話、視訊聊天等將使用者之圖像經由網路直接傳送給對方者、或藉由圖像解析來識別使用者之動態而設為遊戲或資訊處理之輸入資訊者等不斷實用化(例如參照專利文獻1)。

[先前技術文獻] [專利文獻]

[專利文獻1]WO 2007/050885 A2公報

為了利用拍攝圖像而以良好之應答性且高精度地實現各種處理，要求與其處理內容相應之畫質。然而，就製造成本、圖像之傳送頻帶、自拍攝起至輸出為止之應答性等方面而言，難以實現僅藉由提高相機之性能或畫質而使資訊處理裝置之功能充實化。例如，使相機之攝像元件越高性能化，則越會壓迫相機與主機之間之圖像資料傳送之頻帶，且圖像解析所需之時間增大。

本發明係鑒於此種課題而完成者，其目的在於提供一種能以良好之應答性實現利用拍攝圖像之資訊處理之技術。

本發明之某一態樣係關於一種資訊處理裝置。該資訊處理裝置之特徵在於：其係藉由使用自不同視點同時地視訊拍攝對象物而得之立體動態圖像進行立體匹配，而以特定速率輸出對象物之位置資訊者，且包括：位置資訊取得部，其使用分別以特定之複數個解像度表示立體動態圖像中所包含之圖像圖框對之複數個拍攝圖像中、基於對象物之像之大小之資訊而選擇之解像度之圖像進行立體匹配，藉此取得對象物之位置資訊；以及深度圖像資料生成部，其將儲存於記憶體之以上述複數個解像度表示於圖像平面上將對象物之深度方向之位置表示為像素值之深度圖像之複數個深度圖像中、具有上述位置資訊取得部進行立體匹配所使用之圖像之解像度之深度圖像，基於所取得之位置資訊進行更新，藉此輸出對象物之位置資訊。

本發明之另一態樣係關於一種資訊處理方法。該資訊處理方法之特徵在於：其係藉由使用自不同視點同時地視訊拍攝對象物而得之立體動態圖像進行立體匹配，而以特定速率輸出對象物之位置資訊者，且包括如下步驟：使用分別以特定之複數個解像度表示立體動態圖像中所包含之圖像圖框對之複數個拍攝圖像中、基於對象物之像之大小之資訊而選擇之解像度之圖像進行立體匹配，藉此取得對象物之位置資訊；以及將儲存於記憶體之以複數個解像度表 示於圖像平面上將對象物之深度方向之位置表示為像素值之深度圖像之複數個深度圖像中、具有立體匹配中所使用之圖像之解像度之深度圖像，基於所取得之位置資訊進行更新，藉此輸出對象物之位置資訊。

本發明之又一態樣係關於一種資料結構。該資料結構之特徵在於：其係表示動態拍攝中之對象物之位置資訊且每當取得位置資訊時更新者；且以可切換於與動態圖像之圖框相對應之圖像平面上將對象物之深度方向之位置表示為像素值之深度圖像、且藉由位置資訊之取得中所使用之圖框之解像度來反映作為取得結果之位置資訊之深度圖像的解像度之方式，將具有與為取得位置資訊而生成之圖框之複數個解像度相對應之解像度的複數個深度圖像建立關聯。

再者，以上構成要素之任意組合、於方法、裝置、系統、電腦程式、記錄有電腦程式之記錄媒體等之間轉換本發明之表現所得者作為本發明之態樣亦有效。

根據本發明，能以良好之應答性實現將拍攝圖像用作輸入資訊之資訊處理。

圖1表示可應用本實施形態之資訊處理系統之構成例。資訊處理系統10包括：攝像裝置12，其搭載有拍攝使用者1等對象物之2個相機；資訊處理裝置14，其基於所拍攝到之圖像，進行根據使用者之請求之資訊處理；以及顯示裝 置16，其輸出資訊處理裝置14進行處理後所獲得之圖像資料。又，資訊處理裝置14可與網際網路等網路18連接。

資訊處理裝置14與攝像裝置12、顯示裝置16、網路18可由有線電纜連接，又，亦可藉由無線LAN(Local Area Network，區域網路)等進行無線連接。亦可將攝像裝置12、資訊處理裝置14、顯示裝置16中之任意兩個、或全部加以組合而一體性地安裝。又，攝像裝置12亦可不必設置於顯示裝置16之上方。進而，使用者1亦可並非人，且其數量亦不受限定。

攝像裝置12具有以既知之間隔左右配置分別包含CCD(Charge Coupled Device，電荷耦合器件)或CMOS(Complementary Metal Oxide Semiconductor，互補金氧半導體)等攝像元件之2個數位視訊相機而成之構成。2個數位視訊相機分別自左右之位置以特定之圖框率拍攝存在於同一空間之對象物。以下，將以此方式拍攝到之圖框對亦稱為「立體圖像」。攝像裝置12進而自拍攝後所獲得之一對RAW(未經處理的圖像格式)圖像中分別生成不同解像度之複數個圖像資料。

資訊處理裝置14以特定速率特定相對於相機之視場之縱、橫、深之三維空間內之對象物的位置座標。此時，基於自攝像裝置12中所取得之立體圖像之資料進行立體匹配。如此而獲得之位置座標之時間變化係利用於將對象物之動態用作輸入資訊之後段處理中。例如，可用於反映作為對象物之使用者1之動作之人物出場之遊戲、或將使用 者1之動態轉換為命令輸入之資訊處理等中，但其內容不受限定。

顯示裝置16視需要將資訊處理裝置14所進行之處理之結果顯示為圖像。顯示裝置16可為包含輸出圖像之顯示器及輸出聲音之揚聲器的電視，例如為液晶電視、電漿電視、PC(Personal Computer，個人電腦)顯示器等。由於如上所述般資訊處理裝置14最終執行之處理內容或應顯示之圖像並不根據其使用目的而受到特別限定，故而以下重點說明資訊處理裝置14所進行之對象物之位置特定處理。

圖2表示攝像裝置12與資訊處理裝置14之構成。圖2~圖5中所示之各功能區塊中，就硬體而言，可由CPU(Central Processing Unit，中央處理單元)、RAM(Random Access Memory，隨機存取記憶體)、ROM(Read Only Memory，唯讀記憶體)、繪圖電路等構成實現，就軟體而言，可由發揮資料輸入功能、資料保持功能、圖像解析功能、繪圖功能等諸功能之程式實現。因此，對業者而言，可理解該等功能區塊可僅藉由硬體或軟體、或者藉由該等之組合而以各種形式實現，並不限定為任一種形式。

攝像裝置12包含第1相機22、第2相機24。各相機分別自隔開既知寬度之左右位置以相同之時序、相同之圖框率拍攝對象物。而且，將所拍攝到之各圖框圖像轉換為特定之複數個解像度之圖像資料。於同圖中模式性地表示以此方式而生成之圖像，於第2相機中，按照圖像2、圖像4、圖像6、圖像8之順序，階段性地增加解像度。於同圖中係設 為4個階段之解像度，但其數量並不受限定。第1相機22所生成之圖像亦同樣。

由於各圖像係針對每個拍攝時序而生成，故而結果以各解像度生成對於時間軸之圖像行。於同圖中沿深度方向模式性地表示該時間軸。同一時刻所生成之圖像可理解為構成具有與各解像度相對應之階層之階層結構。於以下說明中將該等圖像自最低解像度之圖像起按照解像度順序而稱為第0階層之圖像、第1階層之圖像、第2階層之圖像、...。於圖2之例中，圖像2成為第0階層，圖像4成為第1階層，圖像6成為第2階層，圖像8成為第3階層之圖像。

資訊處理裝置14包含取得來自使用者之指示輸入之輸入資訊取得部26、基於拍攝圖像生成使用者1等對象物之位置資訊之位置資訊生成部28、基於對象物之位置進行所需之處理而生成輸出資訊之輸出資訊生成部32、及進行對於攝像裝置12之圖像資料之請求及取得之介面即通訊部30。

輸入資訊取得部26受理來自使用者之指示輸入，並將根據指示輸入之處理請求信號發送至其他功能區塊。輸入資訊取得部26藉由按鈕、鍵盤、滑鼠、軌跡球、觸控面板等通常之輸入裝置、與對該輸入裝置中所進行之操作內容進行解釋而生成處理請求信號之CPU等之協動而實現。

位置資訊生成部28利用第1相機22及第2相機24所生成之立體圖像之資料進行立體匹配，而特定對象物之三維位置。此時，藉由對成為處理對象之圖像資料於時間上、空間上進行取捨選擇並設為所需最低限，而減少對精度之影 響，且減輕處理之負載。

具體而言，將低解像度、寬範圍之圖像中對象物之區域或具有動態之區域大致估計為對象區域，僅於該區域內以高解像度之圖像進行立體匹配。於立體匹配中，通常進行用以擷取2個圖像之對應點之搜索，藉由縮小該搜索範圍而提高立體匹配之效率。再者，本實施形態中，為了實現將動態圖像用作輸入資訊之資訊處理，而主要對獲得對象物之具有「動態」之部分之位置資訊之方法進行說明。

此時，藉由預測對象物之具有動態之區域直至特定時間後為止，而與進行立體匹配之時序分開進行估計該區域之處理。例如於由多線程對應之電腦實現資訊處理裝置14之情形時，將該等中之2個作為不同線程而獨立地執行。藉此，可於必需精度之立體匹配處理中花費更多時間。例如，相對於立體匹配處理中將拍攝圖像之所有圖框設為處理對象，而每隔特定之多個圖框進行估計區域之處理，其次，對直至進行估計區域之處理為止之各圖框進行預測。

又，估計區域之處理中亦包含選擇用以進行立體匹配之適當階層。由於對象物位於越靠近前則視差越大，故而即便為解像度相對較小之圖像，左右圖像之偏移寬度亦較大，從而易於維持立體匹配之精度。相反地，由於對象物越靠深處則視差變得越小，故而於解像度較小之圖像中難以將左右之偏移限制於誤差範圍內而確保立體匹配之精度。

因此，於本實施形態中，根據具有動態之區域之大小而 選擇立體匹配中所使用之圖像之階層。由於即便使用解像度較大之圖像，為獲得對應點而應搜索之區域亦如上所述般存在於局部，故而作為結果，不論對象物之深度方向之位置如何，處理對象之圖像尺寸均等同，從而計算量不會產生大的變化。因此，亦可容易地估計計算時間。

位置資訊生成部28進而生成將藉由立體匹配而得之對象物之深度方向之位置座標設為包含縱向、橫向之圖像平面上之像素值的深度圖像。該深度圖像係為由與相機所生成之拍攝圖像之階層結構相同之複數個解像度表示之階層結構。如上所述，對象物之動態中存在根據深度方向之位置而將其判定為動態所需之空間解像度。即，依據於後段由輸出資訊生成部32進行之處理所要求之空間解像度，有時忽視此種動態反倒會提高精度。對此，將深度圖像設為階層結構，且根據後段之處理所要求之解像度而切換參照之階層，藉此提高該處理之效率及精度。

輸出資訊生成部32取得位置資訊生成部28所生成之位置資訊，而適當地進行根據其使用目的之處理。如上所述，此處所進行之處理並無特別限定，可根據輸入資訊取得部26所受理之來自使用者之指示而適當地進行切換。此時，如上所述，參照與預先規定之解像度相對應之階層之深度圖像，而僅取得對所要進行之處理而言具有意義之動態。處理結果所獲得之資料被顯示於顯示裝置16、或經由網路18而發送至其他裝置。

根據使用目的，輸出資訊生成部32亦可對攝像裝置12之 任一個相機所拍攝到之圖像實施基於位置資訊生成部28所生成之位置資訊之加工而顯示於顯示裝置16。例如自位置資訊生成部28取得所拍攝到之使用者1之手或握持之控制器等之動態，且對所有圖框進行於拍攝圖像之該位置上重疊劍之圖像之加工，藉此可表現使用者握劍揮舞之情況。

於此情形時，位置資訊生成部28既可同時取得立體匹配中所使用之立體圖像之其中一方之圖框並分別實施加工而輸出至顯示裝置16，亦可獨立於立體匹配而取得其中一方之相機所拍攝到之各圖框之圖像資料並進行加工。進行立體匹配之速率、進行對象區域之估計處理之速率、輸出圖像之生成中所使用之圖框率可分別獨立地決定。

各處理之速率越增加，則就時間解像度之觀點而言，可進行越詳細之處理，但通訊頻帶或處理之負載會增加。因此，亦可根據資訊處理系統10本來之性能、或有無平行進行之處理等而進行選擇。亦可藉由預先準備使可使用之通訊頻帶或處理資源、與該等之速率建立關聯所得之表，且根據實際之處理環境參照該表而決定。

通訊部30自輸入資訊取得部26、位置資訊生成部28中取得第1相機22、第2相機24所生成之階層結構之圖像中資訊處理裝置14中之處理中所需之階層及區域之資訊並向攝像裝置12發送請求。據此將自攝像裝置12發送之圖像資料適當地供給至位置資訊生成部28、輸出資訊生成部32。

圖3詳細地表示第1相機22之構成。再者，第2相機24亦具有相同之構成。第1相機22包括圖像取得部102、解馬賽 克部104、圖像傳送部150、錐式濾波器部170及通訊部108。圖像取得部102以特定之時序(例如，60次/秒)讀出由CCD或CMOS等攝像元件曝光之圖像。於以下說明中，該圖像係設為於橫向上具有h個像素之寬度。該圖像為所謂之RAW圖像。圖像取得部102每當完成RAW圖像之橫向一行之曝光，則將其發送至解馬賽克部104及圖像傳送部150。

解馬賽克部104包含具有h個像素之容量之FIFO(First In First Out，先進先出)緩衝器105與簡易解馬賽克處理部106。於FIFO緩衝器105中輸入RAW圖像之橫向一行之像素資訊，且保持該像素資訊直至對解馬賽克部104輸入橫向下一行之像素為止。簡易解馬賽克處理部106係若接收橫向兩行之像素，則使用該等像素，對各像素執行基於其周邊像素補充顏色資訊而作出全彩圖像之解馬賽克(de-mosaic)處理。

如對業者而言已眾所周知般，該解馬賽克處理中存在多種方法，但此處藉由僅利用橫向兩行之像素之簡易之解馬賽克處理即可。作為一例，於應算出對應之YCbCr值之像素僅具有G值之情形時，R值係使用左右鄰接之R值之平均值，G值係直接使用該G值，B值係使用位於上或下之B值，而設為RGB(Red、Green、Blue，紅綠藍)值，並將其代入至特定之轉換式中而算出YCbCr值等。由於此種解馬賽克處理已眾所周知，故而省略進一步之詳細說明。

作為簡易之解馬賽克處理之變形例，亦可使用由RGB之 4個像素構成一個像素之YCbCr值之方法。於此情形時，由於可獲得RAW圖像之1/4尺寸之解馬賽克後圖像，故而無需下述第1濾波器110。例如，如圖示般，簡易解馬賽克處理部106將橫2×縱2之RGB之4個像素轉換為YCbCr彩色信號。而且，包含該4個像素之區塊係作為1/1解馬賽克圖像而傳送至圖像傳送部150，並且發送至錐式濾波器部170。

錐式濾波器部170具有將某個圖像以複數個解像度階層化而輸出之功能。錐式濾波器包含根據通常所需之解像度之位準之數量的縮小1/4之濾波器，於本實施形態中包含第1濾波器110~第4濾波器140之4個階層之濾波器。各濾波器執行對互相鄰接之4個像素進行雙線性內插而對4個像素之平均像素值進行運算之處理。因此，處理後之圖像尺寸變為處理前之圖像之1/4。

於第1濾波器110之前段，與Y、Cb、Cr之各個信號相對應地逐一配置h個像素之FIFO緩衝器112。該等FIFO緩衝器112具有保持橫向一行之YCbCr像素直至自簡易解馬賽克處理部106輸出橫向下一行之像素為止之作用。像素之保持時間係根據攝像元件之線掃描之速度而決定。

若輸入橫向兩行之像素，則第1濾波器110將橫2×縱2之4個像素之Y、Cb、Cr之像素值加以平均。藉由重複進行該處理，從而1/1解馬賽克後圖像之縱橫分別成為1/2之長度，而整體上轉換為1/4之尺寸。經轉換所得之1/4解馬賽克後圖像係發送至圖像傳送部150，並且傳送至下一段之 第2濾波器120。

於第2濾波器120之前階段，與Y、Cb、Cr之各個信號相對應地逐一配置2/h個像素之FIFO緩衝器122。該等FIFO緩衝器122亦具有保持橫向一行之YCbCr像素直至自第1濾波器110輸出橫向下一行之像素為止之作用。

若輸入橫向兩行之像素，則第2濾波器120將橫2×縱2之4個像素之Y、Cb、Cr之像素值加以平均。藉由重複進行該處理，從而1/4解馬賽克後圖像之縱橫分別成為1/2之長度，而整體上轉換為1/16之尺寸。經轉換所得之1/16解馬賽克後圖像係發送至圖像傳送部150，並且傳送至下一段之第3濾波器130。

關於第3濾波器130及第4濾波器140，除於各者之前段配置h/4個FIFO緩衝器132或h/8個FIFO緩衝器142以外，重複進行與上述相同之處理。而且，對圖像傳送部150輸出1/64及1/256尺寸之解馬賽克後圖像。再者，由於如上所述之錐式濾波器如歐洲專利申請公開第0999518號說明書等中所記載般已眾所周知，故而於本說明書中省略進一步之詳細說明。

如此，自錐式濾波器部170之各濾波器對圖像傳送部150輸入以1/4為單位縮小之圖像輸出。由此可知，各濾波器之前段所需之FIFO緩衝器之大小減小至通過錐式濾波器部170內之濾波器之程度即可。

圖像傳送部150於包含自圖像取得部102接收之RAW圖像、自解馬賽克部104接收之1/1解馬賽克後圖像、及自錐 式濾波器部170接收之1/4~1/256解馬賽克後圖像之階層圖像中，根據自資訊處理裝置14之通訊部30經由通訊部108所接收之指示而選出所需之階層及區域。而且，由該等圖像構成封包而發送至通訊部108。

通訊部108按照例如USB(Universal Serial Bus，通用串列匯流排)1.0/2.0等特定之協定，將封包傳送至資訊處理裝置14。與資訊處理裝置14之通訊並不限定為有線，亦可為例如IEEE(Institute of Electrical and Electronic Engineers，電氣與電子工程師協會)802.11a/b/g等無線LAN通訊、IrDA等紅外線通訊。

圖4表示圖像傳送部150之構成。圖像傳送部150包含區塊寫入部152、緩衝器154、區塊讀出部156、編碼部158、封包化部160、封包緩衝器162及控制部164。控制部164基於來自資訊處理裝置14之指示，而指示將各種圖像資料中之哪一個作為封包傳送至區塊寫入部152及區塊讀出部156。

經由解馬賽克部104及錐式濾波器部170，對區塊寫入部152輸入1/1~1/256尺寸之解馬賽克後圖像。又，根據資訊處理裝置14之輸出資訊生成部32所執行之處理內容，而自圖像取得部102輸入RAW圖像。區塊寫入部152之階層選擇部152A基於來自控制部164之指示，而選擇解馬賽克後圖像之任一個階層。

裁取區塊選擇部152B接收自資訊處理裝置14傳來之處理中所需之區域之位置資訊，且自該區域中選擇僅以特定之 像素數內包較寬之區域之區塊作為特定區塊。再者，一個區塊之大小較佳為配合後段之JPEG編碼而為8×8個像素之區塊。裁取區塊選擇部152B僅裁取所選擇之解馬賽克後圖像之一部分之區塊，並寫入至緩衝器154中。

此時，以每2×2個像素為單位接收圖像，並依序寫入至緩衝器154中。區塊讀出部156按照可於緩衝器154上準備相當於一個區塊之像素之順序，讀出各圖像區塊並發送至編碼部158。區塊寫入部152及區塊讀出部156係藉由控制部164以同步動作之方式予以調整。亦即，區塊寫入部152之讀寫係每當自圖像取得部102、解馬賽克部104及錐式濾波器部170輸出像素時進行，相對於此，區塊讀出部156之讀出係每當緩衝器154中儲存相當於一個區塊之像素時進行。該同步時序係根據相機之曝光速度而決定。

於本實施形態中，並非於RAW圖像之整體或縮小圖像之整體之像素一致後才發送至資訊處理裝置14，而是以區塊單位進行傳送，故而緩衝器154最大只要為可儲存RAW圖像及縮小圖像之所有圖像區塊之大小即可。根據圖像之使用目的，只要可儲存2~3個圖像區塊即可。如此，可使所要緩衝之資料減少，且每當區塊準備好即可依序封包化並傳輸，故而可削減伴隨攝像裝置12內之處理之等待時間。

又，由於每當攝像元件曝光結束時便自圖像取得部102之像素之輸出及自錐式濾波器部170依序對區塊寫入部152輸出像素，故而於結構上不會產生將不同圖框之區塊寫入至緩衝器154、或以不同順序將區塊封包化而發送等之情 況。

編碼部158對RAW圖像以外之圖像之圖像區塊執行JPEG等眾所周知之壓縮編碼，並發送至封包化部160。封包化部160將編碼後之圖像之圖像區塊按照送達至封包化部160之順序進行封包化並寫入至封包緩衝器162中。通訊部108按照特定之通訊協定將封包緩衝器162內之封包傳輸至資訊處理裝置14。再者，關於RAW圖像以外之圖像，亦可不進行編碼部158之壓縮編碼，而由封包化部160直接將自區塊讀出部156取得之區塊封包化。

再者，亦可使用LLVC(Low Latency Video Coding，低潛時視頻編碼)、AVC(Advanced Video Coding，高級視頻編碼)等其他眾所周知之編碼，但較佳為能以區塊單位進行編碼者。又，由區塊讀出部156所讀出之區塊之大小亦可與編碼相配合而進行變更，例如亦可以256×256單位之區塊進行讀出與編碼。

圖5詳細地表示資訊處理裝置14之位置資訊生成部28之構成。位置資訊生成部28包含決定立體匹配中所使用之對象區域及階層之對象區域決定部40、及進行立體匹配而取得對象物之位置資訊之位置資訊取得部42。對象區域決定部40包含整體圖像取得部44、動態區域檢測部46、區域預測部48、區域整合部50、及階層決定部52。

整體圖像取得部44以特定速率取得攝像裝置12之第1相機22及第2相機24分別所生成之立體圖像之階層資料中之解像度最低之第0階層之整個區域的圖像。此處所取得之 圖像亦可僅設為Y圖像。然而，可根據處理能力或通訊速度等而適當地選擇所使用之階層、圖像之種類。

動態區域檢測部46對於整體圖像取得部44所取得之立體圖像之各者檢測動態區域。例如，於將對象物設為人之情形時，首先檢測臉部，估計認為存在人之像之區域。而且，對於所估計之區域取得與前一個時間步驟中所使用之圖像之差量圖像，將具有特定閾值以上之差量之區域、或與其外切之區域等作為動態區域進行檢測。

區域預測部48對於立體圖像之各者，基於動態區域檢測部46所檢測出之動態區域，而預測將來之立體匹配處理中應搜索之對象區域。區域整合部50將區域預測部48所預測之立體圖像中之對象區域以統一座標系統整合，且對於各時刻決定1個對象區域。階層決定部52可基於該對象區域之大小，以良好之精度進行立體匹配，且選擇無用的解像度不高之階層。

位置資訊取得部42包含對象區域圖像取得部53、位置特定部54、無效資料檢測部56、及資料生成部58。對象區域圖像取得部53指定對象區域決定部40所決定之對象區域及階層且自攝像裝置12中取得立體圖像資料。位置特定部54對對象區域圖像取得部53所取得之立體圖像進行立體匹配，而特定包含深度方向之位置之三維位置資訊。

此處實施之立體匹配處理亦可使用目前為止所提出之各種方法之任一種。例如，可使用面積關聯法等，該面積關聯法係對左右圖像之一者設定關聯窗，且一面使另一者之 圖像之搜索窗移動一面算出與關聯窗之圖像之互相關聯係數，藉此取得對應點，其後基於該等對應點之視差使用三角測量之原理而求出三維位置資訊。

無效資料檢測部56特定位置特定部54所特定之位置資訊中之應設為無效之資料。如上所述般由於對象物之位置越靠深處則其視差變得越小，故而即便於解像度較小之圖像中算出深度方向之位置，其誤差亦較大。即，可根據立體匹配中所使用之圖像之解像度而適當地算出之深度方向之範圍不同，解像度越低則其界限位於越近前側。

因此，預先對於各階層，將可將資料設為有效之界限作為深度界限而對深度方向設定，且與位置特定部54所特定之深度方向之位置進行比較，藉此特定無效之資料。藉由如此，可防止產生如下異常：攝像裝置12本身產生搖晃，或於背後產生有本來應追蹤動態之對象物以外之大的動態時將其作為資料而於後段之處理中使用。

資料生成部58基於將無效資料檢測部56所特定之無效之資料排除在外後所剩餘之位置資訊而作成深度圖像。深度圖像係如上所述般，設為具有與攝像裝置12中所生成之複數個解像度相對應之解像度的階層結構。深度圖像之階層資料係預先對所有像素值賦予0等初始值，且預先儲存至深度圖像資料記憶部60中。

而且，每當位置特定部54特定對象物之位置，則將與立體匹配中所使用之拍攝圖像之階層相對應之階層之對應位置之像素設為深度方向之座標值，藉此更新深度圖像。作 為結果，深度圖像資料係以與立體匹配之處理速率相同之速率進行更新。資訊處理裝置14之輸出資訊生成部32根據本身所進行之處理中所需之空間解像度，於深度圖像資料中選擇階層而讀出位置資訊，從而適當地利用於處理中。

圖6模式性地表示攝像裝置12、位置資訊取得部42、及對象區域決定部40所進行之處理之時間關係，且同圖中橫向表示時間軸。若於時刻0時開始所有處理，則攝像裝置12於時刻t1、t2、t3、...、t18、...時以特定之圖框率拍攝對象物，生成複數個解像度之圖像資料而將所需之資料傳送至資訊處理裝置14。於圖6中以整個期間內之連續矩形表示攝像裝置12所進行之圖像資料生成處理，但實際上可於各拍攝時刻所拍攝到之圖像之資料生成、資料傳送結束後待機直至下一個拍攝時刻為止。位置資訊取得部42所進行之處理亦同樣。

初次之時刻t1之拍攝圖像中之低解像度之整體圖像係供給至資訊處理裝置14之對象區域決定部40(S1)。此時，亦對位置資訊取得部42供給特定階層之整體圖像(S2)。此時之階層係假定對象物位於標準位置時而於可充分獲得立體匹配之精度之範圍內預先設定解像度較低之階層。由於圖像之解像度越低則尺寸越小，故而可有效率地進行對應點之搜索。

位置資訊取得部42中，使用S2中所供給之立體圖像而依序進行立體匹配、無效資料之排除、深度圖像更新之處理。藉此於時刻t1時以具有階層結構之深度圖像之形式輸 出對應之對象物之位置資訊。另一方面，對象區域決定部40中，使用S1中所供給之立體圖像而依序進行動態區域檢測、區域預測、區域整合、階層決定之處理。而且，將所決定之對象區域與階層之資訊通知給位置資訊取得部42(S3)。

此時，所決定之對象區域與階層之資訊係相對於時刻t2、t3、t4、t5、t6、t7時所拍攝之圖像者。因此，對象區域決定部40之區域預測部48考慮至各時刻為止之時間，推斷對象物自現在之動態區域之可動範圍，以包含該範圍之方式對各時刻預測對象區域。位置資訊取得部42基於S3中所通知之資訊，每當生成時刻t2、t3、t4、t5、t6、t7時之拍攝圖像之資料，即取得與各時刻相對應而決定之對象區域及階層之立體圖像資料(S4、S5、S6、S7、S8、S9)。

以與S9相同之時序，將時刻t7之拍攝圖像中之最低解像度之整體圖像供給至對象區域決定部40(S10)。對象區域決定部40再次依序進行動態區域檢測、區域預測、區域整合、階層決定之處理，其結果，將所決定之對象區域與階層之資訊通知給位置資訊取得部42(S11)。此時，所決定之對象區域與階層之資訊係相對於時刻t8、t9、t10、t11、t12、t13時所拍攝之圖像者。

以下，藉由重複進行相同之處理，而將於各時刻所拍攝到之圖像中之對象物之位置資訊作為深度圖像輸出。再者，於同圖中，對於攝像裝置12所拍攝到之所有圖框取得位置資訊，但如上所述般，亦可根據於輸出資訊生成部32 所進行之後段之處理中位置資訊所要求之時間解像度、或資訊處理系統10之處理能力，而擴大處理之時間間隔。例如亦可以與對象區域決定部40中之處理相同之速率進行處理。

圖7模式性地表示資訊處理裝置14之動態區域檢測部46、區域預測部48、區域整合部50所進行之處理之情況。圖像61係第1相機22所拍攝到之圖像，圖像62係第2相機24所拍攝到之圖像。由於各相機係相對於時刻t以特定速率進行拍攝，故而如同圖所示般相對於時間t而生成圖像行。該例中，於某一時刻之圖像61與圖像62中，如以同圖之實線所示般拍攝到人。

由於第1相機22與第2相機24係自左右並列之不同視點拍攝人，故而圖像61及圖像62中之人像會產生左右視差。對象區域決定部40利用如此自左右之視點拍攝到之立體圖像而求出對象區域。首先，動態區域檢測部46對圖像61及圖像62獨立地決定動態區域。

具體而言，首先，若對象物為人則進行臉部檢測處理，藉此對圖像61檢測臉部區域64a，對圖像62檢測臉部區域64b。臉部檢測處理亦可應用圖案匹配等一般進行之各種方法中之任一種。即便對象物並非人，只要形狀既知且可準備模板圖像則可進行相同之處理。例如即便為手、作為被攝體之使用者所握持之標記物等，亦可藉由預先於記憶體等中準備表示其形狀之模板圖像而以相同之方式進行處理。

其次，基於臉部區域64a、64b之大小及位置，對於各圖像61、62，將作為動態區域之可能性較高之區域分別決定為動態檢測對象區域66a、66b。所謂作為動態區域之可能性較高之區域，亦即人之身體所觸及之範圍，若臉部之位置既知則預測較為容易。例如，預先準備以矩形表示基準之臉部之輪廓線與應對該臉部設定之動態檢測對象區域之範圍所得之基準圖像，且以使基準之臉部之輪廓線與臉部檢測處理中所獲得之臉部區域64a、64b內之臉部之輪廓大致重疊之方式放大或縮小基準圖像。此時之基準圖像之矩形成為動態檢測對象區域66a、66b。

其次，關於動態檢測對象區域66a、66b，於左側之圖像間、右側之圖像間分別取得與上一次之對象區域決定處理時所取得之整體圖像中之對應之區域的差量圖像後，擷取差量大於特定之閾值之部位。於同圖中，將上一次所取得之整體圖像中所拍攝到之左手以虛線表示於圖像61、62上。若設為其他部分未產生變化，則僅於左手部分明顯地表示差量。如此擷取差量為閾值以上之部位，且將與該部位外切之矩形決定為動態區域68a、68b。

其次，區域預測部48基於對圖像61及圖像62之各者所決定之動態區域68a、68b，進行假定成為立體匹配之對象之圖像之拍攝時刻的區域預測。該處理既可僅以與經過時間成比例之量，將動態區域68a、68b於縱向、橫向上以相同之比率放大，亦可於自上一次之前之對象區域決定處理時所取得之複數個圖像中基於自我回歸模型等預測對象物之 移動方向後，將動態區域68a、68b僅於該方向上放大。或者，亦可將該等加以組合。

如此，對圖像61、圖像62之各者決定預測區域70a、70b。再者，於同圖中關於各圖像僅表示1個預測區域，但如上所述般，對於拍攝立體匹配之對象圖像之各時刻決定預測區域。其次，區域整合部50藉由使對左右圖像之各者所決定之預測區域70a、70b於構成圖像平面之歸一化座標系統中重疊並求出成為其和之區域(包含於至少任一區域內之區域)而整合。

由於自左右不同之視點拍攝到之圖像於橫向上產生視差，故而預測區域70a、70b如同圖所示般於構成圖像平面之座標系統中沿x方向(橫向)產生偏移。如此自2個圖像中決定對象區域係根據如下理由。即，由於對象物越靠近前則其像於外觀上變得越大，故而其動態所遍及之範圍變得越寬，如上所述般超出所決定之預測區域之可能性提高。

因此，為了根據依存於對象物之深度方向之位置之外觀上之動態的大小變化，來調整對象區域之寬度，而利用視差。由於若視差較大則預測區域70a、70b之偏移變大，故而成為其和之區域變寬，由於若視差較小則其偏移變小，故而成為其和之區域不會變得過於寬。藉由如此考慮對象物之深度方向之位置來調整區域之寬度，而防止對象物自對象區域產生偏移，並且使其不含多餘之區域。

再者，區域整合部50進而將以特定之放大率使成為和之區域於縱橫雙向上放大所得之區域決定為最終之對象區域 72。藉由如此，可進一步降低對象物自對象區域產生偏移之可能性。

圖8模式性地表示階層決定部52基於對象區域之大小而選擇立體匹配中所使用之階層之情況。於同圖中，矩形80a、80b、80c、80d表示拍攝圖像之階層中第3階層、第2階層、第1階層、第0階層之圖像尺寸。於圖7中由圖像之歸一化座標系統所決定之對象區域72相對於各圖像尺寸而成為如矩形72a、72b、72c、72d之大小。

如此將使對象區域72與各階層之圖像尺寸相對應而獲得之矩形72a、72b、72c、72d與基準尺寸矩形82進行比較，而選擇對象區域之尺寸接近於基準尺寸矩形82之尺寸的階層。基準尺寸矩形82係為了於立體匹配時獲得較佳之精度而必需之規定對象物之外觀上之大小者，且藉由實驗等而預先設定。

尺寸之大小係既可將2個矩形具有內包關係時之被內包之矩形看作「較小」，亦可以面積進行比較。或者，亦可僅以縱、橫之其中一方之邊之長度進行比較。又，於選擇階層時，既可於與各階層相對應之矩形72a、72b、72c、72d中按照尺寸排列而選擇基準尺寸矩形82與前後之2個矩形之任一者，亦可不必為尺寸最接近之矩形。

例如，於圖8之情形時，由於基準尺寸矩形82具有矩形72a、72b、72c、72d中之矩形72b與矩形72c之間之尺寸，故而選擇與矩形72b相對應之第2階層、或與矩形72c相對應之第1階層。例如，亦可於自作為最大尺寸之第3階層之 矩形72a起按照尺寸之大小順序進行比較(S20、S22、S24、S26之順序)後，才選擇與內包於基準尺寸矩形82之矩形相對應之階層。於同圖之例中，選擇與矩形72c相對應之第1階層。

若設為此種順序，則可選擇能獲得接近於基準尺寸矩形之矩形的階層中之解像度更低之階層，且可進一步抑制計算量。不論為哪一者，均可藉由以如此之方式選擇可獲得接近於基準尺寸矩形82之尺寸之對象區域的階層，而如上所述般，與對象物之外觀上之大小相配合，而調整立體匹配中所使用之圖像之解像度。作為結果，可防止無用地搜索所需程度以上之詳細之圖像資料，並且可確保其精度。

圖9表示攝像裝置12所生成之拍攝圖像之階層、與位置資訊取得部42之資料生成部58所生成之深度圖像之階層之對應。於同圖中，上側之4組圖像82a、82b、82c、82d為於某一時刻所拍攝到之立體圖像，下側之4個圖像84a、84b、84c、84d為相對於該立體圖像所生成之深度圖像，且分別自左側起依序為第0階層、第1階層、第2階層、第3階層之圖像。

例如，若拍攝人將棒狀之物在面前晃動之情況，則於某一時刻時相對於2個視點以1張為單位而生成如圖像82a、82b、82c、82d之拍攝圖像。若設為對象區域決定部40對此種拍攝圖像所決定之階層為第2階層，且對象區域為區域86，則位置資訊取得部42取得該階層、該區域之左右之圖像資料而進行立體匹配。

而且，若獲得該區域內之對象物之位置資訊，則更新深度圖像之階層資料中對應階層中之對應之區域、即區域88之像素值。此時，於對區域86所獲得之深度方向之位置座標中之最小值(近前之位置)位於較設定於第2階層之深度界限更深處時不進行更新處理。其原因在於，如上所述般，將因某些要因而導致產生有本來以該解像度不會作為對象物之位置而準確地獲得之深度方向之位置上之大的動態之情形作為誤差而排除。階層與深度界限係預先建立關聯而以表之形式儲存至記憶體等中。

如此，將深度圖像設為階層結構，且於各時刻時更新與立體匹配中所使用之拍攝圖像之階層相對應之階層之資料。圖像之解像度與自該圖像中精度良好地獲得之對象物之深度方向之位置之範圍相對應。因此，針對立體匹配中所使用之每一個圖像之解像度使深度圖像階層化，且使所獲得之位置資訊僅反映至對應之階層，藉此亦於深度方向之位置之範圍內劃分對象物之位置。

使用該深度圖像進行處理之輸出資訊生成部32根據所進行之處理之內容或求出之精度等而適當地選擇並參照深度圖像之階層，藉此確實地取得所需之資訊，並且可防止將多餘之資料編入處理中而使處理精度下降或使處理速度變慢。

例如於欲忽視離相機較遠之對象物之動態時僅參照第0階層、第1階層等低解像度之圖像。相反地於僅著眼於深處之對象物之動態之情形時，僅參照第2階層、第3階層等 高解像度之圖像。於欲取得近前至深處為止之寬範圍內之所有動態之情形時，亦可依序參照第0階層至第3階層。應參照之深度圖像之階層亦可藉由實際上進行處理並驗證，而對處理內容、所假定之對象物之位置、大小等進行設定。

根據以上所敍述之本實施形態，於攝像裝置中設置2個相機，自不同視點同時地拍攝對象物之動態。所拍攝到之圖像係藉由錐式濾波器而轉換為解像度不同之複數個階層圖像。而且，使用低解像度之整體圖像來檢測動態區域，且選擇與其大小相當之階層後，僅取得預測為對象物具有動態之對象區域而進行立體匹配。

藉此，不論對象物位於深度方向上之哪個位置，均可於能維持立體匹配之精度之範圍內省去無用之資料處理，而可兼具精度與處理效率。又，由於即便對象物之位置產生變化，對象區域之圖像尺寸亦不會產生較大變化，故而計算量係不論對象物之位置如何，均可實現穩定之位置資訊輸出。

又，藉由基於對象物之動態等預測將來之對象區域，而以獨立之時序進行決定對象區域之處理與立體匹配。藉此，可鑒於處理資源或處理能力、所要求之應答性、精度等，而自由地決定以何種頻度進行該等2個處理。

又，於決定對象區域時，一併使用2個由2個相機所拍攝到之立體圖像，且基於兩者中成為所獲得之動態區域之和之區域決定對象區域。藉此，使動態所遍及之範圍較大， 關於近前之對象物可使對象區域進一步擴大，且降低對象物自對象區域露出之可能性。另一方面，露出之可能性原本較低，深處之對象物抑制對象區域之擴展，而減少於對象區域內包含無用之區域之情況。

進而，所獲得之位置資訊係設為以複數個解像度表示將深度方向之位置設為像素值之深度圖像所得之階層結構。而且，於各時刻時更新與立體匹配中所使用之圖像相對應之階層之區域的像素值。藉此，可根據使用位置資訊而進行之後段之處理中所要求之精度、解像度、對象物之深度方向之位置之假定範圍等而切換參照之階層，從而可使參照處理、及使用所參照之資訊之各種處理效率化。

以上，基於實施形態對本發明進行了說明。對業者而言，可理解上述實施形態為例示，可於該等各構成要素或各處理製程之組合中實施各種變形例，又，此種變形例亦屬於本發明之範圍。

例如，於本實施形態中，藉由對對象區域決定部40所決定之對象區域進行立體匹配，而取得對象物之三維位置資訊，但決定對象區域之技術亦可應用於立體匹配以外之處理中。例如，亦可為臉部之表情識別處理等無需深度方向之詳細位置資訊之處理。於此情形時，亦可使用立體圖像，根據臉部之深度方向之位置來調整對象區域之寬度，而選擇最佳解像度之圖像，故而可兼具其後處理之精度及效率。

又，於本實施形態中，作為用以特定具有動態之區域、 即對象區域之初始處理，資訊處理裝置14之動態區域檢測部46進行了臉部檢測處理。另一方面，亦可於攝像裝置12之各相機中設置該臉部檢測處理之功能。圖10表示此種情形之第1相機22之構成。此處第1相機22所具備之圖像取得部102、解馬賽克部104、圖像傳送部150、錐式濾波器部170及通訊部108與圖3中之各功能區塊相同，於該變形例中更具備對象物檢測部180。第2相機24亦具有相同之構成。

對象物檢測部180在資訊處理裝置14中自圖像傳送部150之區塊讀出部156取得由對象區域決定部40設為處理對象之圖像，例如解像度最低之第0階層之整個區域之圖像，並對其進行臉部檢測處理而特定臉部區域。而且，將該區域之位置及大小之資訊通知給圖像傳送部150之封包化部160，與檢測對象之圖像資料本體一併封包化而發送至資訊處理裝置14。或者，與檢測對象之圖像之識別資訊等建立關聯而自通訊部108發送至資訊處理裝置14。

於此情形時，資訊處理裝置14之動態區域檢測部46藉由將各時刻之圖像中之臉部區域之資訊與圖像資料一併自攝像裝置12取得，而無需進行檢測圖7中所示之臉部區域64a、64b之處理。此時，動態區域檢測部46自決定動態檢測對象區域66a、66b之處理開始進行。如此藉由根據攝像裝置12之處理能力而改變處理之分擔，可有效率地進行對象區域特定，結果可生成應答性及精度良好之位置資訊。

此處，對象物檢測部180所進行之檢測處理係如上所述 般導入既存之模板匹配技術而準備適當之模板圖像，藉此其對象不侷限於人之臉部，亦可為手、標記物、特定之物體等之任一者。例如於資訊處理裝置14中，根據使用者指定開始之遊戲名稱或資訊處理之種類等，輸入資訊取得部26特定與其相對應之對象物，並將識別資訊通知給攝像裝置12。

攝像裝置12之各相機自未圖示之記憶體中所準備之複數個模板圖像中讀出與所通知之對象物相對應之模板圖像，並進行模板匹配，藉此檢測對象物。或者，資訊處理裝置14亦可將模板圖像之資料本身發送至攝像裝置12。藉由如此方式，可按照使用者之指示輸入等使對象物產生各種變化。

[產業上之可利用性]

如上所述般本發明可利用於電腦、相機、遊戲裝置、圖像顯示裝置等之資訊處理裝置。

2、4、6、8‧‧‧圖像

10‧‧‧資訊處理系統

12‧‧‧攝像裝置

14‧‧‧資訊處理裝置

16‧‧‧顯示裝置

18‧‧‧網路

22‧‧‧第1相機

24‧‧‧第2相機

26‧‧‧輸入資訊取得部

28‧‧‧位置資訊生成部

30‧‧‧通訊部

32‧‧‧輸出資訊生成部

40‧‧‧對象區域決定部

42‧‧‧位置資訊取得部

44‧‧‧整體圖像取得部

46‧‧‧動態區域檢測部

48‧‧‧區域預測部

50‧‧‧區域整合部

52‧‧‧階層決定部

53‧‧‧對象區域圖像取得部

54‧‧‧位置特定部

56‧‧‧無效資料檢測部

58‧‧‧資料生成部

60‧‧‧深度圖像資料記憶部

102‧‧‧圖像取得部

104‧‧‧解馬賽克部

108‧‧‧通訊部

150‧‧‧圖像傳送部

151‧‧‧區塊選擇部

164‧‧‧控制部

170‧‧‧錐式濾波器部

180‧‧‧對象物檢測部

圖1係表示可應用本實施形態之資訊處理系統之構成例之圖。

圖2係表示本實施形態中之攝像裝置與資訊處理裝置之構成之圖。

圖3係詳細地表示本實施形態中之第1相機之構成之圖。

圖4係表示本實施形態中之圖像傳送部之構成之圖。

圖5係詳細地表示本實施形態中之資訊處理裝置之位置資訊生成部之構成之圖。

圖6係模式性地表示本實施形態中之攝像裝置、位置資訊取得部、及對象區域決定部所進行之處理之時間關係之圖。

圖7係模式性地表示本實施形態中之資訊處理裝置之動態區域檢測部、區域預測部、區域整合部所進行之處理之情況之圖。

圖8係模式性地表示本實施形態中之階層決定部基於對象區域之大小選擇立體匹配中所使用之階層之情況之圖。

圖9係表示本實施形態中之攝像裝置所生成之拍攝圖像之階層、與位置資訊取得部之資料生成部所生成之深度圖像之階層之對應之圖。

圖10係詳細地表示本實施形態之變形例中之第1相機之構成之圖。

2‧‧‧圖像

4‧‧‧圖像

6‧‧‧圖像

8‧‧‧圖像

12‧‧‧攝像裝置

14‧‧‧資訊處理裝置

16‧‧‧顯示裝置

18‧‧‧網路

22‧‧‧第1相機

24‧‧‧第2相機

26‧‧‧輸入資訊取得部

28‧‧‧位置資訊生成部

30‧‧‧通訊部

32‧‧‧輸出資訊生成部

Claims (10)

1. 一種資訊處理裝置，其特徵在於：其係藉由使用自不同視點同時地視訊拍攝對象物而得之立體動態圖像進行立體匹配，而以特定速率輸出對象物之位置資訊者，且包括：位置資訊取得部，其使用分別以特定之複數個解像度表示上述立體動態圖像中所包含之圖像圖框對之複數個拍攝圖像中、基於對象物之像之大小之資訊而選擇之解像度之圖像進行立體匹配，藉此取得對象物之位置資訊；以及深度圖像資料生成部，其將儲存於記憶體之以上述複數個解像度表示於圖像平面上將對象物之深度方向之位置表示為像素值之深度圖像之複數個深度圖像中、具有上述位置資訊取得部進行立體匹配所使用之圖像之解像度之深度圖像，基於所取得之位置資訊進行更新，藉此輸出對象物之位置資訊。
2. 如請求項1之資訊處理裝置，其中上述深度圖像資料生成部於上述位置資訊取得部所取得之位置資訊中深度方向之位置位於對立體匹配中所使用之圖像之解像度所設定之應為有效之深度方向之位置之範圍外時，將該位置資訊設為無效。
3. 如請求項1或2之資訊處理裝置，其中上述位置資訊取得部基於藉由使用上述拍攝圖像中之任一者求出動態差分而特定之動態區域，決定應設為立體匹配之處理對象之 對象區域，並根據該對象區域之大小而選擇立體匹配中所使用之解像度。
4. 如請求項1或2之資訊處理裝置，其中更包括輸出資訊生成部，該輸出資訊生成部基於使處理內容與參照對象之深度圖像之解像度建立關聯之設定資訊，切換參照對象之深度圖像而取得對象物之位置資訊，並使用該位置資訊進行特定之處理，藉此輸出對應於對象物之動態之處理結果。
5. 如請求項3之資訊處理裝置，其中上述位置資訊取得部使對上述圖像圖框對之各者所特定之上述動態區域於統一座標系統中重疊，且將成為其和之區域決定為上述對象區域。
6. 如請求項5之資訊處理裝置，其中上述位置資訊取得部於包含表示以上述特定之複數個解像度表示上述對象區域時之圖像之大小的複數個矩形、與具有預先規定之基準大小之矩形的大小之排列中，選擇與大小僅次於具有上述基準大小之矩形的矩形相對應之解像度作為立體匹配之對象。
7. 一種資訊處理方法，其特徵在於：其係藉由使用自不同視點同時地視訊拍攝對象物而得之立體動態圖像進行立體匹配，而以特定速率輸出對象物之位置資訊者，且包括如下步驟：使用分別以特定之複數個解像度表示上述立體動態圖像中所包含之圖像圖框對之複數個拍攝圖像中、基於對 象物之像之大小之資訊而選擇之解像度之圖像進行立體匹配，藉此取得對象物之位置資訊；以及將儲存於記憶體之以上述複數個解像度表示於圖像平面上將對象物之深度方向之位置表示為像素值之深度圖像之複數個深度圖像中、具有立體匹配中所使用之圖像之解像度之深度圖像，基於所取得之位置資訊進行更新，藉此輸出對象物之位置資訊。
8. 一種電腦程式，其係使電腦實現如下功能者，即，藉由使用自不同視點同時地視訊拍攝對象物而得之立體動態圖像進行立體匹配，而以特定速率輸出對象物之位置資訊；且使電腦實現如下功能：使用分別以特定之複數個解像度表示上述立體動態圖像中所包含之圖像圖框對之複數個拍攝圖像中、基於對象物之像之大小之資訊而選擇之解像度之圖像進行立體匹配，藉此取得對象物之位置資訊；以及將儲存於記憶體之以上述複數個解像度表示於圖像平面上將對象物之深度方向之位置表示為像素值之深度圖像之複數個深度圖像中、具有立體匹配中所使用之圖像之解像度之深度圖像，基於所取得之位置資訊進行更新，藉此輸出對象物之位置資訊。
9. 一種記錄媒體，其係記錄有使電腦實現如下功能之電腦程式者，即，藉由使用自不同視點同時地視訊拍攝對象物而得之立體動態圖像進行立體匹配，而以特定速率輸出對象物之位置資訊；且該電腦程式使電腦實現如下功 能：使用分別以特定之複數個解像度表示上述立體動態圖像中所包含之圖像圖框對之複數個拍攝圖像中、基於對象物之像之大小之資訊而選擇之解像度之圖像進行立體匹配，藉此取得對象物之位置資訊；以及將儲存於記憶體之以上述複數個解像度表示於圖像平面上將對象物之深度方向之位置表示為像素值之深度圖像之複數個深度圖像中、具有立體匹配中所使用之圖像之解像度之深度圖像，基於所取得之位置資訊進行更新，藉此輸出對象物之位置資訊。
10. 一種位置資訊之資料結構，其特徵在於：其係表示動態拍攝中之對象物之位置資訊且每當取得位置資訊時更新者；且以可切換於與動態圖像之圖框相對應之圖像平面上將對象物之深度方向之位置表示為像素值之深度圖像、且藉由位置資訊之取得中所使用之圖框之解像度來反映作為取得結果之位置資訊之深度圖像的解像度之方式，將具有與為取得位置資訊而生成之圖框之複數個解像度相對應之解像度的複數個深度圖像建立關聯。