TWI716874B - 影像處理裝置、影像處理方法、及影像處理程式 - Google Patents

影像處理裝置、影像處理方法、及影像處理程式 Download PDF

Info

Publication number
TWI716874B
TWI716874B TW108116873A TW108116873A TWI716874B TW I716874 B TWI716874 B TW I716874B TW 108116873 A TW108116873 A TW 108116873A TW 108116873 A TW108116873 A TW 108116873A TW I716874 B TWI716874 B TW I716874B
Authority
TW
Taiwan
Prior art keywords
vector
unit
image
aforementioned
coordinates
Prior art date
Application number
TW108116873A
Other languages
English (en)
Other versions
TW202004664A (zh
Inventor
川口英世
Original Assignee
日商艾庫塞爾股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商艾庫塞爾股份有限公司 filed Critical 日商艾庫塞爾股份有限公司
Publication of TW202004664A publication Critical patent/TW202004664A/zh
Application granted granted Critical
Publication of TWI716874B publication Critical patent/TWI716874B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)

Abstract

[課題]提升利用景深資訊時的計算效率。 [解決手段]具備：將影像分割成格子網目狀的頂點資料取得部(117)；關於各格子的頂點取得景深資訊(D)與影像上的X座標及Y座標的頂點資料取得部(117)；將頂點資料變換成以預定的座標系表現的三維空間座標的座標變換部(119)；基於各頂點的三維空間座標，算出構成各格子的線分向量及法線向量的向量算出部(125)；對獨特的向量分別賦予相互識別其等的索引，生成將獨特的向量與索引建立對應的向量清單的向量清單管理部(131)；對各格子，將關於構成各格子的向量的索引建立對應並儲存的網目資料儲存部(141)。

Description

影像處理裝置、影像處理方法、及影像處理程式
本發明係有關於處理具有從景深攝影機等得到的景深資訊的影像的處理裝置、方法、及程式，特別是從二維影像復原三維空間，將景深資訊變換成幾何資訊，能達到計算效率的提升與資料量的刪減的影像處理裝置、影像處理方法、及影像處理程式。
具有對應各畫素從基準點起算的距離(或景深)的畫素值的景深影像，在汽車或機器人所致的障礙物的檢出與迴避、AR(擴張實境)、VR(虛擬實境)等各種領域中被活用。 專利文獻1揭示關於：藉由基於景深影像作成在三維空間上配置對象物的對象物配置模型，將景深影像活用於車輛周圍的監視的車輛周圍監視方法、及其系統。 [先前技術文獻] [專利文獻]
[專利文獻1]特開2006-344009公報
[發明所欲解決的問題]
雖也關於景深影像的利用領域，但從景深影像得到的未加工的景深資訊，也有為了得到最終的計算結果而包含不必要的資訊的情形。又，從未加工的景深資訊每次都執行必要的計算時，計算會變複雜，需要處理膨大的量的資料，計算效率惡化。 本發明為鑑於上述情事完成者，目的為提升利用景深資訊時的計算效率。 [解決問題的手段]
為解決上述課題，本發明為一種影像處理裝置，係處理在各畫素包含景深資訊的影像，具備：將前述影像藉由複數多角形分割成網目狀的影像分割單元；將對應前述各多角形的頂點的前述景深資訊與前述影像上的X座標及Y座標，作為關於前述各頂點的第一座標取得的頂點資料取得單元；將關於前述各頂點的第一座標變換成以預定的座標系表現的三維空間座標的座標變換單元；基於前述各頂點的前述三維空間座標，算出構成前述各多角形的要素向量的向量算出單元；對獨特的前述要素向量分別賦予相互識別其等的要素索引，生成將獨特的前述要素向量與前述要素索引建立對應的向量清單的向量清單生成單元；對前述各多角形，將關於構成前述各多角形的前述要素向量的前述要素索引建立對應並儲存的網目資料儲存單元。 [發明的效果]
根據一實施態樣，因為將從影像得到的三維空間座標變換成幾何資訊的要素向量，能夠提升利用景深資訊時的計算效率。
以下，利用圖所示的實施形態詳細說明本發明。但是，該實施形態記載的構成要素、種類、組合、形狀、其相對配置等只要沒有界定的記載，就不代表將本發明的範圍僅限於其，而僅為單純的說明例而已。
本發明的一實施形態的影像處理裝置，其特徵點在於：藉由從景深影像(距離影像、或Depth Map)復原將特定的位置(例如景深攝影機的視點)作為基準的世界空間，將關於復原的世界空間的資訊變換成幾何資訊(向量資訊)變換並進行清單化，能有效地進行該資訊的儲存及利用該資訊的各種計算。
[第一實施形態] 圖1為表示本發明的一實施形態的包含影像處理裝置的影像處理系統的區塊構成圖。 圖2為說明關於影像處理裝置處理的影像的圖，(a)表示藉由攝影機攝像的被攝物體的可見光影像的圖、(b)表示對應(a)的景深影像的圖。 影像處理系統1具備：影像處理裝置100A、連接至影像處理裝置100A的景深攝影機10A及設定輸入部20。以下，先就景深攝影機(Depth-sensing camera)10A及設定輸入部20進行說明，關於影像處理裝置100A後述。
景深攝影機(距離影像感測器)10A為攝影包含圖2(b)所示的那種被攝物體的景深資訊(縱深資訊)的影像即景深影像的單元。景深影像為在各畫素作為景深資訊對應景深值的影像。各畫素具有的景深值，為表示從景深攝影機10A的視點到被攝物體的距離的資訊，景深值可以是以公尺等物理單位直接表現者、也可以是從景深攝影機10A的視點到被攝物體的距離以0～1的範圍正規化表現者。在圖示的景深影像中，以接近景深攝影機10A之側為0(黑)~遠方為1(白)的方式進行正規化表現。 景深攝影機10A能攝影景深影像即可。景深攝影機10A取得景深值的原理沒有限定。例如，景深攝影機10A為基於被攝物體的視差影像藉由三角測量法量測到被攝物體的距離的立體攝影機也可以。或者，景深攝影機10A為對被攝物體照射雷射光，基於檢出該反射光的時間量測到被攝物體的距離的TOF(Time Of Flight)方式的攝影機也可以。當然，景深攝影機10A藉由其他方法量測到被攝物體的距離也可以。 景深攝影機10A例如可以是如雷射測距儀那種僅取得景深值的單元也可以、如RGB景深攝影機(附景深感測器攝影機)那種，同時取得被攝物體的可見光像(RGB影像)與被攝物體的景深資訊的單元也可以。景深攝影機10A更具備取得被攝物體的溫度資訊及放射線量資訊等的構成也可以。在景深攝影機10A輸出的影像的各畫素中，包含景深資訊以外的資訊(附加資訊)也可以。
設定輸入部20為對影像處理裝置100A輸入網目設定參數的單元。設定輸入部20例如由鍵盤、滑鼠、觸控面板、或各種按鍵構成。
[影像處理裝置的硬體構成] 影像處理裝置100A作為一般的電腦構成。 圖3為表示本發明的一實施形態的影像處理裝置的硬體構成的區塊圖。 影像處理裝置100A具備：CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、輸入輸出I/F104、儲存器105、及匯流排106等。各構成要素通過匯流排106電連接。
CPU101使用儲存於ROM102的程式等控制影像處理裝置100A的全體。ROM102為記憶用來使CPU101執行控制影像處理裝置100A的處理的控制程式的非揮發性記憶單元。 上述控制程式記憶於影像處理裝置100A具備的儲存器105也可以。上述控制程式記憶於通過輸入輸出I/F104連接的外部記憶裝置或記錄媒體也可以。外部記憶裝置，例如，為HDD(Hard Disk Drive)及SSD(Solid State Drive)等非揮發性記憶單元。記錄媒體，例如，為SD記憶卡(SD Memory Card)、FD(Floppy Disk)、CD(Compact Disc)、DVD(Digital Versatile Disk)、BD(Blu-ray(註冊商標) Disk)、及快閃記憶體等非揮發性記錄媒體。 RAM103為將從ROM102讀出的程式及資料等暫時儲存的揮發性記憶單元。CPU101在啟動時從ROM102將控制程式讀出並在RAM103展開，藉由將RAM103作為工作空間執行控制程式，實現各種機能。 輸入輸出I/F104為對影像處理裝置100A連接景深攝影機10A及設定輸入部20的介面。 儲存器105，例如，為HDD及SSD等非揮發性的記憶單元。儲存器105記憶上述控制程式、及各種設定等。
[影像處理裝置的機能構成] 回到圖1，影像處理裝置100A具備：網目設定部111、網目設定記憶部113、訊框緩衝器115、頂點資料取得部(影像分割單元、頂點資料取得單元)117、座標變換部(座標變換單元)119、向量算出部(向量算出單元)125、向量管理部(向量清單生成單元)131、及網目資料儲存部(網目資料儲存單元)141。 網目設定部111、訊框緩衝器115、頂點資料取得部117、座標變換部119、向量算出部125、及向量管理部131，藉由圖3所示的CPU101將控制程式在RAM103展開並執行來實現，網目設定記憶部113、及網目資料儲存部141藉由圖3所示的儲存器105來實現。
＜網目設定部、網目設定記憶部＞ 網目設定部111從設定輸入部20受理網目設定參數的輸入，並使輸入的網目設定參數記憶於網目設定記憶部113。又，網目設定部111將輸入的網目設定參數供應至頂點資料取得部117。 網目設定參數為指定將景深影像藉由複數多角形分割成網目狀時的分割方法的資訊。例如，將景深影像分割成格子狀(複數矩形)時，網目設定參數能夠具有關於景深影像的X方向的分割數與Y方向的分割數的資訊。 網目設定參數為用來將景深影像分割成格子以外的多角形網目(三角形、五角形、六角形…等)的資訊也可以。網目設定參數，作為將景深影像分割成預定形狀的複數多角形的資訊，包含分割的多角形的形狀、大小、分割開始的基準畫素的座標、X方向及Y方向的分割數等影像分割的必要資訊。
＜訊框緩衝器＞ 訊框緩衝器115將從景深攝影機10A輸入的景深影像(圖2(b))暫時保持。訊框緩衝器115為用來儲存景深影像的各畫素具有的景深值而準備的記憶體區域(景深緩衝器)。 訊框緩衝器115儲存例如以0～1的範圍正規化的景深值。景深值以接近景深攝影機10A之側為0(黑)~遠方為1(白)的方式表現也可以、接近景深攝影機10A之側為1(白)~遠方為0(黑)的方式表現也可以。 此外，在訊框緩衝器115中，儲存從景深攝影機10A的視點到被攝物體的距離以公尺等物理單位直接表現的景深值也可以。
＜頂點資料取得部＞ 頂點資料取得部117依照網目設定參數，將從訊框緩衝器115取得的景深影像藉由複數多角形分割成網目狀，對由分割生成的各多角形賦予識別其等的識別資訊(例如識別編號)。 接著，頂點資料取得部117，從分割的景深影像取得位於各多角形的頂點的畫素座標(頂點座標、第一座標)。其中，頂點座標藉由位於頂點的畫素的畫面上(螢幕上)的X座標(螢幕座標Sx、單位：畫素)與Y座標(螢幕座標Sy、單位：畫素)、及該畫素具有的景深值D(0≦D≦1)而構成。 頂點資料取得部117，就構成一個多角形的複數頂點之中的至少1個頂點，將該頂點座標作為關於屬於該多角形的頂點的座標與識別多角形的識別資訊建立對應。特別是頂點資料取得部117，將關於在多角形的預定位置的頂點的頂點座標作為關於表示該多角形的原點的頂點(或代表該多角形的頂點)的資料，與多角形的識別資訊建立對應。
例如，景深影像為640×480畫素、網目設定參數為「X方向的分割數：64、Y方向的分割數：48」時，頂點資料取得部117依照網目設定參數將景深影像分割成10×10畫素的正方格子狀。頂點資料取得部117對由分割得到的各格子賦予識別其的格子編號(識別資訊)。 接著，頂點資料取得部117將位於各格子頂點的畫素的螢幕座標(Sx，Sy)與景深值D作為頂點座標取得。再來頂點資料取得部117，將位於各格子左上的頂點作為表示該格子的原點的頂點，將該頂點座標與格子編號建立對應。
＜座標變換部＞ 座標變換部119為藉由對頂點座標執行預定的座標變換，基於景深影像將特定的視點作為基準(原點)的世界空間復原的單元。座標變換部119具備：正規化部(正規化單元)121及逆射影變換部(逆射影變換單元)123。
正規化部121藉由將頂點座標的各值進行正規化，將頂點座標變換成以正規化裝置座標系表現的三維空間座標。亦即，正規化部121利用景深影像的影像寬度與影像高度(單位：畫素)，將各頂點的螢幕座標(Sx，Sy)變換成以-1～1的範圍正規化的正規化座標(Nx，Ny)。又，正規化部121將以0～1的範圍正規化表現的景深值D，變換成以-1～1的範圍正規化的正規化座標(Nz)。此外，景深值D與從景深攝影機10A的視點到被攝物體的距離以公尺等物理單位直接表現的值的情形一樣，正規化部121利用景深攝影機10A的剪輯距離將景深值D變換成正規化座標Nz。 藉此正規化部121，生成作為各頂點的座標以正規化裝置座標系表現的三維空間座標(Nx，Ny，Nz)。
逆射影變換部123藉由對變換成正規化裝置座標系的頂點座標(Nx，Ny，Nz)執行逆射影變換(逆投影變換)，將頂點座標變換成將特定的視點作為基準(原點)表現的視點座標系(觀看座標系)的座標。此外，視點座標系為正交座標系。藉由該座標變換將特定的視點作為基準，復原包含拍攝為景深影像的物件的世界空間。 例如，逆射影變換部123將正規化的頂點座標(Nx，Ny，Nz)，變換成將景深攝影機10A的視點作為基準的攝影機座標系的頂點座標(Cx，Cy，Cz)。逆射影變換部123將生成的各頂點的座標資料(Cx，Cy，Cz)，對應至各頂點所屬的多角形，亦即，對應至識別多角形的識別資訊(多角形為格子時為格子編號)並儲存於網目資料儲存部141。
圖4為說明關於復原的世界空間的網目的狀態、頂點座標、及算出的向量的示意圖。 例如，逆射影變換部123，將相當於在圖4的格子編號00所示的格子的左上的以頂點P00 的攝影機座標系表現的頂點座標(x00 ，y00 ，z00 )對應至格子編號00，儲存於網目資料儲存部141(圖8參照)。逆射影變換部123就格子編號01、02…也一樣，將相當於該格子的左上的頂點P01 、P02 …的頂點座標，依序對應各格子並儲存於網目資料儲存部141。 又、逆射影變換部123將生成的各頂點的座標資料(Cx，Cy，Cz)輸出至向量算出部125的線分向量算出部127。
＜＜關於射影變換＞＞ 其中，說明有關座標系的射影變換。 圖5為說明關於射影變換的示意圖。(a)為表示攝影機與視錐台的關係的斜視圖、(b)為表示攝影機與視錐台的關係的俯視圖((a)為E箭頭方向視圖)。 一般在3DCG中，將處理的三維空間全體稱為世界空間200，將表現世界空間200的座標系稱為世界座標系。 圖將在5(b)所示的世界空間200存在的物件201(201a，201b，201c)從基準點202(視點)觀察時，如圖2(a)所示，接近基準點的物件201a會較大地被觀察到、遠離基準點的物件201b、201c會較小地被觀察到。在這裡，將存在於世界空間200的物件201，在生成藉由將基準點202作為視點的攝影機203攝影到的那種影像時，如圖5所示執行藉由包含物件201a，201b，201c的視錐台204(視野容體)切出世界空間200的一部分的座標變換(射影變換或投影變換)。三維空間座標的變換中，使用在x，y，z包含w(擴大率)的4×4行列。 其中，將從攝影機203到視錐台204的前方剪輯面205的距離設為Zn、從攝影機203到視錐台204的後方剪輯面206的距離設為Zf、將前方剪輯面205的寬度設為Sw、將前方剪輯面205的高度設為Sh。 將世界空間200中的座標，變換成從攝影機203觀察到的螢幕影像上的座標(螢幕座標)變換的射影變換行列(投影行列)，以式(1)表示。
Figure 02_image001
其中，將攝影機203的攝角設為φ、將攝影機203的縱橫比(Sw/Sh)設為aspect時，式(1)變形成如下。
Figure 02_image003
藉此，若指定攝影機203的攝角φ(視野角資訊)、縱橫比、及攝影機203攝影的空間的縱深(剪輯距離)，射影變換成為可能。
＜＜關於逆射影變換＞＞ 但是，影像處理裝置100A從景深攝影機10A取得的景深影像，相當於藉由上述射影變換得到的螢幕影像。亦即，藉由使用將攝影機的視點作為基準的縱深資訊即景深值執行與上述射影變換相反的操作，能夠從景深影像復原世界空間。 從景深影像復原世界空間時，執行與射影變換相反的操作即逆射影變換即可。此時使用的行列，為在式(1)或式(2)表示的射影變換行列的逆行列(逆射影變換行列)。亦即，若指定攝影機203的攝角φ、縱橫比、及攝影機203攝影的空間的縱深(剪輯距離)，逆射影變換是可能的。
＜向量算出部＞ 回到圖1，向量算出部125為算出關於構成各多角形的要素向量的單元。在從頂點座標求出的第一要素向量中，例如，可以包含：表示對應多角形的邊的線分的線分向量、垂直於多角形的面的面法線向量、加算共有各頂點的多角形的面法線的頂點法線向量等。 在本例中，向量算出部125，作為算出第一要素向量的單元，具有線分向量算出部(線分向量算出單元)127、及法線向量算出部(法線向量算出單元)129。
線分向量算出部127，將各多角形分別分割成相互獨立的(不重複也不交叉)複數三角形，基於各多角形的頂點座標，算出表示對應各三角形的邊的線分的線分向量。亦即，線分向量算出部127，藉由將構成多角形的頂點彼此以不相互交叉的線分連接，將多角形分割成複數三角形。 例如，線分向量算出部127，藉由連接設定成多角形的原點的頂點與構成多角形的其他頂點的線分，將多角形分割成複數三角形。線分向量算出部127將算出的線分向量對應至各多角形並輸出至法線向量算出部129與向量管理部131。 將景深影像分割成格子網目狀時，線分向量算出部127將各格子分別分割成二個三角形，利用各頂點的座標，算出表示對應各個三角形的邊的線分的線分向量。
關於線分向量算出部127所進行的線分向量的算出，基於圖4說明。 首先，線分向量算出部127從設定成格子00的原點的頂點P00 ，分別算出朝向構成該格子的其他頂點P01 、P10 、P11 的向量U00 、V00 、W00 。向量W00相當於將格子00分別成二個三角形的線分。線分向量算出部127將算出的線分向量U00 、V00 、W00 對應至格子00並輸出至法線向量算出部129與向量管理部131。線分向量算出部127就其他格子01～也進行一樣的處理。
法線向量算出部129基於從線分向量算出部127輸出的線分向量，算出垂直於線分向量算出部127形成的各三角形的面的法線向量。又，法線向量算出部129將算出的法線向量對應至各多角形並輸出至向量管理部131。 景深影像分割成格子網目狀時，如圖4所示，法線向量算出部129基於線分向量U，V，W，算出垂直於各三角形的面的法線向量A、B。法線向量A從線分向量U與W的外積，法線向量B從線分向量W與V的外積算出。 格子00的情形，法線向量算出部129藉由計算線分向量U00 ，W00 的外積來算出三角形P00 P01 P11 的面法線向量A00 、藉由計算線分向量V00 ，W00 的外積算出三角形P00 P11 P10 的面法線向量B00 。又，法線向量算出部129將算出的法線向量A00 與B00 對應至格子00並輸出至向量管理部131。法線向量算出部129就其他格子01～也進行一樣的處理。
此外，法線向量算出部129將線分向量彼此的外積維持原狀作為面法線向量輸出至向量管理部131也可以、進行單位向量化(正規化)輸出至向量管理部131也可以。此外，上述正規化處理由向量管理部131執行也可以。
＜向量管理部＞ 向量管理部131為管理從向量算出部125輸出的要素向量的資料的單元。亦即，首先向量管理部131從由向量算出部125輸出的要素向量中，抽出重複乃至單一的(獨特的)要素向量。向量管理部131對抽出的要素向量，生成分別賦予相互識別獨特的要素向量彼此的單一的(獨特的)要素索引的向量清單。向量清單為對獨特的要素向量以一對一對應獨特的索引的清單。 又，向量管理部131，將從向量算出部125輸出的全部的要素向量置換成要素索引，同時將置換的要素索引對應至多角形的識別資訊(格子編號)並佔存至網目資料儲存部141。
索引的記憶所需的記憶體區域的大小，能小至比要素向量的生資料的記憶所需的記憶體區域的大小還充分地小。因此，將要素向量的索引對應至格子編號並儲存至網目資料儲存部141時，與將要素向量的生資料對應至格子編號並儲存至網目資料儲存部141的情形相比，能夠刪減網目資料儲存部141的容量。又，將為了儲存索引而準備的記憶體區域的大小，藉由以因應產生的索引的個數以可能的範圍小的方式設定，能夠將索引的儲存所需的容量最適化並刪減。
本例所示的向量管理部131，作為管理關於線分向量的資訊的單元，具有線分向量管理部(線分向量清單生成單元)133及線分向量清單135。向量管理部131，作為管理關於法線向量的資訊的單元，具有法線向量管理部(法線向量清單生成單元)137及法線向量清單139。
圖6(a)為表示對應各格子而輸出的線分向量的生資料的圖、(b)為表示基於(a)生成的線分向量清單的圖。
圖6(a)表示線分向量算出部127對線分向量管理部133輸出的資料的一例。線分向量算出部127將算出的線分向量依序與各格子(格子編號)建立對應並輸出至線分向量管理部133。 線分向量管理部133判定從線分向量算出部127取得的各線分向量是否包含於線分向量清單135，亦即從線分向量算出部127取得的各線分向量是否為獨特的線分向量。 從線分向量算出部127取得的線分向量未儲存於線分向量清單135時，亦即為獨特的線分向量時，線分向量管理部133對取得的線分向量賦予新穎的索引(線分向量索引)，生成將該索引與原來的線分向量的資料建立對應的線分向量清單(圖6(b))。 從線分向量算出部127取得的線分向量與儲存於線分向量清單135的線分向量的任一者一致時，亦即取得的線分向量並非獨特的線分向量時，線分向量管理部133將賦予至一致的線分向量的索引從線分向量清單135抽出，將該索引賦予至從線分向量算出部127取得的線分向量。
圖8為表示儲存於網目資料儲存部的資料網目一例的圖。線分向量管理部133將對線分向量賦予的索引，對應至表示格子編號與格子網目內的線分向量的位置(U、V、W)的資訊並儲存於網目資料儲存部141。藉由以上的處理，從線分向量算出部127輸出的全部的線分向量被置換成索引。
圖7(a)為表示對應各格子而輸出的法線向量的生資料的圖、(b)為表示基於(a)生成的法線向量清單的圖。
圖7(a)表示法線向量算出部129對法線向量管理部137輸出的資料的一例。法線向量算出部129將算出的法線向量依序與各格子(格子編號)建立對應並輸出至法線向量管理部137。 法線向量管理部137判定從法線向量算出部129取得的各法線向量是否包含於法線向量清單139，亦即從法線向量算出部129取得的各法線向量是否為獨特的法線向量。 從法線向量算出部129取得的法線向量未儲存於法線向量清單139時，亦即為獨特的法線向量時，法線向量管理部137對取得的法線向量賦予新穎的索引(法線向量索引)，生成將該索引與原來的法線向量的資料建立對應的法線向量清單(圖7(b))。 從法線向量算出部129取得的法線向量與儲存於法線向量清單139的法線向量的任一者一致時，亦即取得的法線向量並非獨特的法線向量時，法線向量管理部137將賦予至一致的法線向量的索引從法線向量清單139抽出，將該索引賦予至從法線向量算出部129取得的法線向量。
法線向量管理部137將對法線向量賦予的索引，對應至表示是否有格子編號與分割格子網目的三角形的任何法線向量(A、B)的資訊並儲存於網目資料儲存部141(圖8參照)。藉由以上的處理，從法線向量算出部129輸出的全部的法線向量被置換成索引。
如同上述，因為在網目資料儲存部141中不記憶線分向量及法線向量的生資料而記憶索引，與在每個格子儲存線分向量及法線向量的生資料的情形相比較，能夠更加降低記憶體容量。例如如圖2所示，因為從攝影地點看在車(物件201b)的後方的建築物的牆壁(物件201c)相對於攝影地點為具有預定角度的平面，該牆壁的部分的各格子網目中的線分向量及法線向量為略相同(亦即，表示向量的成份的X、Y、Z值為略相同)，在複數格子網目中會利用相同索引，使用少的記憶體容量就可以了。
此外，作成線分向量清單或法線向量清單時，線分向量管理部133及法線向量管理部137，在線分向量及法線向量的各個的X、Y、Z值為完全獨特時不賦予新穎的索引，而使在判定成獨特時的X、Y、Z值具有多少寬度而賦予索引的方式構成也可以。 亦即，景深攝影機等感測器輸出多少會有產生偏差的情形，又因向世界空間的座標變換的演算中的進位、捨去處理等的影響，即便本來應算出具有相同的X、Y、Z值的向量也會有算出具有不同的X、Y、Z值的向量的情形。在這樣的情形中，即便是的X、Y、Z值有多少不同的向量彼此，藉由對X、Y、Z值的差異在預定的閾值範圍內的向量賦予相同的索引能更加降低記憶體容量。此外，上述閾值能夠因應景深影像的利用用途適宜設定。又，上述閾值，例如，能夠將最初賦予索引的向量的X、Y、Z值作為基準設定。 將成份不同的線分向量彼此視為相同的線分向量，對該等賦予相同的索引並彙整資料雖不是忠實地重現三維空間，但例如在實裝於汽車等的障礙物檢出利用本案發明的景深資訊處理時，因為比起障礙物的正確形狀辨識，障礙物的有無的檢測為更重要的要素，嚴格上即便將不同的線分向量彼此彙整成相同索引在實用上也不會產生問題。
[流程圖] 圖9為表示本發明的一實施形態的影像處理裝置執行的影像處理順序的流程圖。以下，藉由將景深影像分割成多角形網目之一例的格子網目時的例子說明。
在步驟S1中，頂點資料取得部117從訊框緩衝器115取得景深影像(圖2(b))。
在步驟S3中，頂點資料取得部117依照從網目設定部111取得的網目設定參數將圖2(b)所示的景深影像分割成格子網目狀(影像分割步驟)。又，頂點資料取得部117對由分割形成的各格子網目賦予識別其的格子編號。 在步驟S5中，頂點資料取得部117將位於由分割得到的各格子的頂點的畫素的螢幕座標(Sx，Sy)及景深值D作為頂點座標取得(頂點資料取得步驟)。此外，螢幕座標為將景深影像的影像寬度與影像高度(單位：畫素)作為基準表現的值。例如，景深影像為480×640畫素的影像時，Sx與Sy分別以0≦Sx≦479、0≦Sy≦639的範圍的整數值表現。又，景深值D為具有以0～1的範圍正規化的值的實數值。頂點資料取得部117，將位於各格子左上的頂點作為該格子的格子原點，將該頂點座標與格子編號建立對應。
在步驟S7中，正規化部121，將各頂點座標(Sx，Sy，D)變換成正規化裝置座標(Nx，Ny，Nz)(座標變換步驟)。亦即，正規化部121將各頂點座標的X座標與Y座標(Sx，Sy)，變換成分別使用影像寬度與影像高度在-1～+1的範圍正規化的實數值表現的座標(Nx，Ny)。又，正規化部121將景深值D變換成以-1～+1的範圍正規化的實數值表現的座標Nz。藉此，各頂點配置於一邊的長度為2的立方體的內部。
在步驟S9中，逆射影變換部123藉由對正規化的頂點的三維空間座標(Nx，Ny，Nz)執行逆射影變換(逆投影變換)，將各頂點的座標變換成將景深攝影機10A的視點作為基準的攝影機視點系的三維空間座標(Cx，Cy，Cz)(攝影機視點系座標、或觀看座標)(座標變換步驟，圖5)。藉由該處理，拍攝為景深影像的物件以原來的立體形狀表現。亦即，藉由本處理，世界空間藉由將攝影機視點作為基準的座標重現。 在步驟S11中，逆射影變換部123將格子編號與對應各格子的頂點的三維空間座標(Cx，Cy，Cz)建立對應的資料儲存於網目資料儲存部141(圖4、圖8)。又，逆射影變換部123將該資料輸出至線分向量算出部127。
在步驟S13中，線分向量算出部127，將各格子網目分別分割成2個三角形。 在步驟S15中，線分向量算出部127，基於各頂點的三維空間座標(Cx，Cy，Cz)算出表示各多角形的各邊的線分向量U，V，W(向量算出步驟，圖4)。線分向量算出部127將線分向量U，V，W輸出至線分向量管理部133及法線向量算出部129。 在步驟S17中，線分向量管理部133對獨特的線分向量賦予新穎的索引，生成將索引與線分向量的原來的值建立對應的線分向量清單(向量清單生成步驟，圖6)。又，對包含於線分向量清單135的線分向量與重複的線分向量，賦予線分向量清單中的對應的索引。藉由該處理，從線分向量算出部127輸出的全部的線分向量被置換成索引。 在步驟S19中，線分向量管理部133將對線分向量賦予的索引，將格子編號與格子網目內的線分向量的位置(U、V、W)建立對應並儲存於網目資料儲存部141(網目資料儲存步驟，圖8)。
在步驟S21中，法線向量算出部129，基於各線分向量(U、V、W)算出各三角形的面法線向量A，B(向量算出步驟，圖4)。法線向量算出部129將面法線向量A，B輸出至法線向量管理部137。 在步驟S23中，法線向量管理部137對獨特的法線向量賦予新穎的索引，生成將索引與法線向量的原來的值建立對應的法線向量清單(向量清單生成步驟，圖7)。又，對包含於法線向量清單139的法線向量與重複的法線向量，賦予法線向量清單中的對應的索引。藉由該處理，從法線向量算出部129輸出的全部的法線向量被置換成索引。 在步驟S25中，法線向量管理部137將對法線向量賦予的索引，對應至表示是否有表示格子編號與分割格子網目的三角形的任何法線向量(A、B)的資訊並儲存於網目資料儲存部141(網目資料儲存步驟，圖8)。
＜效果＞ 如同以上根據本實施形態，因為將影像分割成複數多角形，並取得多角形的各頂點的資料，能夠有效地取得之後計算所需的資訊，能夠刪減計算量及資料的儲存所需的容量。
又，因為將從景深影像得到的景深資訊變換成幾何資訊(向量資訊)，提升了利用變換成向量資訊的景深資訊的各種計算效率。例如，在拍攝為景深影像內的複數被攝物體彼此的衝突判定中，面法線向量為必要。如同本例，藉由預先算出面法線向量，提升了衝突判定的計算效率。 又，因為將向量資訊藉由獨特的值進行清單化，與就全部的向量保存生資料的情形相比能夠大幅地刪減資訊量。因此，能夠刪減景深資訊的儲存所需要的記憶體容量。 再來，將向量資訊正規化後藉由獨特的值進行清單化，能夠更加刪減景深資訊的儲存所需要的記憶體容量。特別是在衝突判定中不需要面法線向量的大小資訊。在該情形中，藉由將向量單位向量化(或正規化)，能夠降低獨特的向量之數，刪減景深資訊的儲存所需要的記憶體容量。
因為從至少1個頂點的三維空間座標(Cx，Cy，Cz)與表示各頂點間的關係的線分向量，算出全部的頂點的三維空間座標(Cx，Cy，Cz)，在網目資料儲存部141中，儲存全頂點之中的至少1個頂點的三維空間座標(Cx，Cy，Cz)即可。 本實施形態中所示的線分向量U、V、W的方向為一例，該方向為相反方向也可以。又，將各格子分割成2個三角形的對角線(向量W)，如圖4所示也可以是向右下方向(或左上方向)者、也可以是向左下方向(或右上方向)者。 將線分向量清單與法線向量清單一體化也可以。亦即，從全部的線分向量與全部的法線向量之中抽出獨特的向量生成賦予索引的向量清單也可以。 線分向量管理部133將各線分向量基於大小與方向的2個要素生成特定的那種清單也可以。亦即，線分向量管理部133，生成將線分向量藉由獨特的大小進行清單化的大小清單、及將線分向量藉由獨特的角度進行清單化的單位線分向量清單也可以。 基於景深影像而中間或最終算出的三維空間(座標系)不限於本實施形態所示者，能因應目的任意地選定。
[第二實施形態] 圖10為表示本發明的二實施形態的包含影像處理裝置的影像處理系統的區塊構成圖。
以下，在與第一實施形態相同的位置附加相同的符號，主要說明關於與第一實施形態不同的點。本實施形態的影像處理裝置，其特徵點在於：從攝影機取得與景深資訊不同的資訊進行處理。
構成影像處理系統2的攝影機10B，除了取得景深資訊的感測器以外還具備取得附加資訊的感測器，生成包含景深資訊與附加資訊的影像。在攝影機10B輸出的影像的各畫素中，除了景深值以外，還對應附加資訊(輝度值、溫度、放射線強度等附加資料)。 攝影機10B作為取得附加資訊的機能，例如，具備：取得關於被攝物體的可見光像的輝度資訊(灰度計、或Red、Green、blue各者的輝度資訊(色資訊))的機能、取得被攝物體的溫度分佈的機能(例如作為紅外線熱成像攝像機的機能)、取得放射線的空間強度分佈的放射線量測機能(例如作為康普頓攝影機的機能)、取得其他與被攝物體有關的空間資訊的機能。
影像處理裝置100B的訊框緩衝器115將從攝影機10B輸入的影像暫時保存。訊框緩衝器115為用來儲存景深影像的各畫素具有的景深值及附加資料而準備的記憶體區域。 頂點資料取得部117依照網目設定參數，將從訊框緩衝器115取得的影像藉由複數多角形分割成網目狀，對由分割生成的各多角形賦予識別其等的識別資訊。頂點資料取得部117取得位於各多角形的頂點的畫素的頂點座標與附加資料，將頂點座標與附加資料對應至多角形的識別資訊。 影像處理裝置100B具備：管理線分向量及法線向量的向量管理部131、管理附加資料的附加資料管理部(附加資料清單生成單元)151、及關於附加資料的清單即附加資料清單153。 附加資料管理部151與向量管理部131進行一樣的動作。亦即，附加資料管理部151，對從頂點資料取得部117輸入的附加資料之中獨特的附加資料賦予新穎的索引(附加資料索引)，生成將索引與附加資料建立對應付的附加資料清單153。又，對與包含於附加資料清單153的附加資料重複的附加資料，賦予附加資料清單153中的對應的索引。藉由該處理，從頂點資料取得部117輸入的全部的附加資料被置換成索引。 附加資料管理部151將對附加資料賦予的索引，對應至多角形的識別資訊並儲存於網目資料儲存部141。
如同以上，根據本實施形態，藉由對獨特的附加資料賦予索引並進行清單化，能夠刪減儲存於網目資料存放單元的資料量。 此外，影像處理裝置100B，將頂點資料取得部117輸出的附加資訊，作為預先變換成之後容易利用的形態(例如正規化資料)的單元，在附加資料管理部151的前段具備附加資料變換部也可以。藉此，能夠省略附加資料的利用時必要的計算，能夠達到影像處理裝置的處理負載的降低及處理的高速化。 又，影像處理裝置100B將同種的一組附加資料作為一個要素向量(第二要素向量)進行處理也可以。例如，將以各種表色系統作為色向量表現的R、G、B等的各輝度值作為一個色向量處理也可以。
[本發明的實施態樣例與作用、效果的整理] ＜第一實施態樣＞ 本態樣為一種影像處理裝置100，係處理在各畫素包含景深資訊的影像，具備：將影像藉由複數多角形分割成網目狀的影像分割單元(頂點資料取得部117)；將對應各多角形的頂點的景深資訊與影像上的X座標及Y座標，作為關於各頂點的第一座標取得的頂點資料取得單元(頂點資料取得部117)；將關於各頂點的第一座標變換成以預定的座標系表現的三維空間座標的座標變換單元(座標變換部119)；基於各頂點的三維空間座標，算出構成各多角形的要素向量(線分向量、法線向量)的向量算出單元(向量算出部125)；對獨特的要素向量分別賦予相互識別其等的要素索引，生成將獨特的要素向量與要素索引建立對應的向量清單的向量清單生成單元(向量管理部131)；對各多角形，將關於構成各多角形的要素向量的要素索引建立對應並儲存的網目資料儲存單元(網目資料儲存部141)。
本態樣的影像處理裝置，處理在各畫素作為景深資訊對應景深值的景深影像。 影像分割單元也可以將影像分割成格子狀(矩形狀)、也可以分割成格子以外的多角形狀。 頂點資料取得單元，就對應由分割形成的多角形的頂點的畫素，取得影像上的X座標Sx及Y座標Sy、還有記錄在該畫素的景深資訊(景深值D)。景深資訊為表示從攝像影像的景深攝影機的攝影機視點到被攝物體的距離的資訊。頂點資料取得單元，取得至少能從景深影像復原世界空間的3個座標(第一座標)。 座標變換單元基於第一座標，算出例如垂直座標系即表現世界空間的三維空間座標。座標變換單元在算出三維空間座標時，因應之後執行的演算處理的內容設定最適的座標系，設定最適的基準點。 向量算出單元基於各頂點的三維空間座標，算出構成各多角形的要素向量。向量算出單元將三維空間座標，變換成之後計算預先利用的態樣的要素向量(幾何資訊)。在此，作為要素向量的一例，可以是表示對應多角形的線分的線分向量、表示相對於多角形的面的法線的面法線向量、表示多角形的頂點的法線的頂點法線向量。此外，線分向量為表示頂點彼此關係的幾何資訊之一例。 向量清單生成單元藉由生成向量清單，對相同要素向量賦予共通的要素索引。 網目資料儲存單元儲存對應至各要素向量的要素索引。與儲存要素向量的生資料的情形相比，能夠刪減資料的儲存所需要的容量。
在本態樣中，因為將影像分割成複數多角形，並取得多角形的各頂點的資料，能夠有效地取得之後計算所需的資訊，能夠刪減計算量及資料的儲存所需的容量。 亦即，根據包含景深資訊的影像的利用領域，也有僅需一部分的畫素的景深資訊等就足夠，不需要到全畫素的景深資訊等的情形。例如，在拍攝為影像的物件彼此的衝突判定中，能將物件的形狀辨識成可衝突判定的程度、且能夠辨識物件彼此的位置關係就足夠了。如同本態樣藉由將影像分割成複數多角形取得對應各頂點的畫素資料，能夠有效地處理資料。
又，在本態樣中，因為將從影像得到的三維空間座標變換成幾何資訊的要素向量，能夠提升利用景深資訊的各種計算的效率。 例如，利用未加工的景深資訊進行物件彼此的衝突判定時，跳過每次而進行計算(為了衝突判定而設定假想直線進行計算)時計算量變得膨大是沒效率的。又，在衝突判定中，雖需要法線向量，但在衝突判定中關於法線向量的大小的資訊是不需要的。這樣未加工的景深資訊，有根據景深資訊的利用態樣而包含計算不需要的資訊的情形。如同本態樣，將景深資訊等預先變換成之後的計算利用的態樣的幾何資訊，能夠達到之後的計算量的刪減與效率化。
＜第二實施態樣＞ 在本態樣的影像處理裝置100中，座標變換單元(座標變換部119)具備：基於攝像影像的景深攝影機10的視野角資訊、影像的縱橫比、及表示景深攝影機攝像的景深的範圍的剪輯距離，藉由將各頂點的座標進行逆射影變換，生成作為各頂點的三維空間座標以將特定的視點作為基準(原點)的視點座標系表現的三維空間座標(Cx，Cy，Cz)的逆射影變換單元(逆射影變換部123)。
景深攝影機攝像的影像為物件以因應縱深的大小表現的螢幕影像。在影像的各畫素包含景深資訊時，藉由對於各畫素的影像上的X-Y座標與記錄於各畫素的景深資訊及關於景深攝影機的攝像範圍的資訊執行逆射影變換，能夠復原以三維垂直座標系表現的世界空間。在世界空間內，物件作為原來的大小(不含相同縮尺的、或因應縱深的應變)的三維的物體重現。 此外，復原的世界空間，作為將景深攝影機的視點作為基準點(原點)表現的視點座標系(攝影機座標系)的三維座標空間也可以，將其他的點作為基準點表現也可以。
＜第三實施態樣＞ 本態樣的影像處理裝置100中，座標變換單元(座標變換部119)具備：將各頂點的座標進行正規化，生成作為各頂點的三維空間座標以正規化裝置座標系表現的三維空間座標(Nx，Ny，Nz)的正規化單元(正規化部121)；逆射影變換單元(逆射影變換部123)將以正規化裝置座標系表現的各頂點的前述三維空間座標進行逆射影變換，生成以將特定的視點作為基準(原點)的視點座標系(正確為攝影機座標系)表現的三維空間座標(Cx，Cy，Cz)。
正規化裝置座標系為將螢幕影像中的物件重現成例如一邊為2的立方體中的座標系。藉由使正規化裝置座標系介於其中，關於世界空間的復原的計算變得容易。
＜第四實施態樣＞ 本態樣的影像處理裝置100中，網目資料儲存單元(網目資料儲存部141)，就複數多角形的頂點之中的至少1頂點，儲存三維空間座標。
這裡所述的三維空間座標意味著生的座標資料。在設定於影像上的多角形的頂點之中，就至少1個頂點若得知生的座標資料，關於其他的頂點能基於表示頂點彼此的關係的幾何資訊(向量資訊)算出生的座標資料。藉此，在網目資料儲存單元中，就至少1個頂點儲存三維空間座標即可。此時，能夠大幅地刪減儲存於網目資料儲存單元的資料量。 此外，作為代表各多角形的頂點將在每個多角形關於1個頂點的生的座標資料儲存於網目資料儲存單元，能夠在每個多角形獨立執行各種計算(能進行並列處理)，提升了計算效率。
＜第五實施態樣＞ 本態樣的影像處理裝置100中，向量算出單元(向量算出部125)具備：將各多角形分別分割成複數三角形並算出表示各三角形的各邊的線分向量(U，V，W)的線分向量算出單元(線分向量算出部127)、及基於各線分向量算出各三角形的法線向量(面法線向量A，B)的法線向量算出單元(法線向量算出部129)。
例如，進行基於影像重現的世界空間內存在的物件彼此的衝突判定時，三角形的法線向量是必要的。藉此，藉由先算出之後的計算中利用的態樣的要素向量，能夠提升之後的計算效率。
＜第六實施態樣＞ 本態樣的影像處理裝置100中，向量清單生成單元(向量管理部131)，具備：對獨特的線分向量分別賦予相互識別其等的線分向量索引，生成將獨特的線分向量與線分向量索引建立對應的線分向量清單的線分向量清單生成單元(線分向量管理部133)；對獨特的法線向量分別賦予相互識別其等的法線向量索引，生成將獨特的法線向量與線分向量索引建立對應的法線向量清單的法線向量清單生成單元(法線向量管理部137)。
向量清單生成單元，因為對獨特的線分向量與獨特的法線向量生成分別賦予索引的向量清單，能夠刪減儲存於網目資料儲存單元的資料量。
＜第七、第八實施態樣＞ 本態樣的影像處理裝置10B處理的影像，在各畫素中包含與景深資訊不同的附加資料(輝度值、溫度、放射線強度等可數值化的值)。 本態樣的影像處理裝置中，頂點資料取得單元(頂點資料取得部117)取得對應各多角形的頂點的附加資料。影像處理裝置具備：對獨特的附加資料賦予相互識別其等的附加資料分度尺寸，生成將獨特的附加資料與附加資料索引建立對應的附加資料清單的附加資料清單生成單元(附加資料管理部151)。網目資料儲存單元(網目資料儲存部141)，對各多角形，將關於對應各多角形的頂點的附加資料的附加資料索引建立對應並儲存。 本影像處理裝置中，附加資料包含：拍攝為影像的被攝物體的色資訊、溫度資訊、或放射線資訊的任一者。
如同本態樣，影像的各畫素包含景深資訊以外的資料(附加資料)也可以。這種情形也與要素向量一樣，因為附加資料清單生成資料生成對獨特的附加資料分別賦予索引的附加資料清單，能夠刪減儲存於網目資料儲存單元的資料量。
1、2‧‧‧影像處理系統 10A‧‧‧景深攝影機 10B‧‧‧攝影機 20‧‧‧設定輸入部 100A、100B‧‧‧影像處理裝置 101‧‧‧CPU 102‧‧‧ROM 103‧‧‧RAM 104‧‧‧輸入輸出I/F 105‧‧‧儲存器 106‧‧‧匯流排 111‧‧‧網目設定部 113‧‧‧網目設定記憶部 115‧‧‧訊框緩衝器 117‧‧‧頂點資料取得部(影像分割單元、頂點資料取得單元) 119‧‧‧座標變換部(座標變換單元) 121‧‧‧正規化部(正規化單元) 123‧‧‧逆射影變換部(逆射影變換單元) 125‧‧‧向量算出部(向量算出單元) 127‧‧‧線分向量算出部(線分向量算出單元) 129‧‧‧法線向量算出部(法線向量算出單元) 131‧‧‧向量管理部(向量清單生成單元) 133‧‧‧線分向量管理部(線分向量清單生成單元) 135‧‧‧線分向量清單 137‧‧‧法線向量管理部(法線向量清單生成單元) 139‧‧‧法線向量清單 141‧‧‧網目資料儲存部(網目資料儲存單元) 151‧‧‧附加資料管理部(附加資料清單生成單元) 153‧‧‧附加資料清單 200‧‧‧世界空間 201、201a、201b、201c‧‧‧物件 202‧‧‧基準點 203‧‧‧攝影機 204‧‧‧視錐台 205‧‧‧前方剪輯面 206‧‧‧後方剪輯面
[圖1]表示本發明的一實施形態的包含影像處理裝置的影像處理系統的區塊構成圖。 [圖2]說明關於影像處理裝置處理的影像的圖，(a)表示藉由攝影機攝像的被攝物體的可見光影像的圖、(b)表示對應(a)的景深影像的圖。 [圖3]表示本發明的一實施形態的影像處理裝置的硬體構成的區塊圖。 [圖4]說明關於復原的世界空間的網目的狀態、頂點座標、及算出的向量的示意圖。 [圖5](a)(b)為說明關於射影變換的示意圖。 [圖6](a)為表示對應各格子而輸出的線分向量的生資料的圖、(b)為表示基於(a)生成的線分向量清單的圖。 [圖7](a)為表示對應各格子而輸出的法線向量的生資料的圖、(b)為表示基於(a)生成的法線向量清單的圖。 [圖8]表示儲存於網目資料儲存部的資料網目一例的圖。 [圖9]表示本發明的一實施形態的影像處理裝置執行的影像處理順序的流程圖。 [圖10]表示本發明的二實施形態的包含影像處理裝置的影像處理系統的區塊構成圖。
1‧‧‧影像處理系統
10A‧‧‧景深攝影機
20‧‧‧設定輸入部
100A‧‧‧影像處理裝置
111‧‧‧網目設定部
113‧‧‧網目設定記憶部
115‧‧‧訊框緩衝器
117‧‧‧頂點資料取得部(影像分割單元、頂點資料取得單元)
119‧‧‧座標變換部(座標變換單元)
121‧‧‧正規化部(正規化單元)
123‧‧‧逆射影變換部(逆射影變換單元)
125‧‧‧向量算出部(向量算出單元)
127‧‧‧線分向量算出部(線分向量算出單元)
129‧‧‧法線向量算出部(法線向量算出單元)
131‧‧‧向量管理部(向量清單生成單元)
133‧‧‧線分向量管理部(線分向量清單生成單元)
135‧‧‧線分向量清單
137‧‧‧法線向量管理部(法線向量清單生成單元)
139‧‧‧法線向量清單
141‧‧‧網目資料儲存部(網目資料儲存單元)

Claims (9)

  1. 一種影像處理裝置，係處理在各畫素包含景深資訊的影像，具備：將前述影像藉由複數多角形分割成網目狀的影像分割單元；將對應前述各多角形的頂點的前述景深資訊與前述影像上的X座標及Y座標，作為關於前述各頂點的第一座標取得的頂點資料取得單元；將關於前述各頂點的第一座標變換成以預定的座標系表現的三維空間座標的座標變換單元；基於前述各頂點的前述三維空間座標，算出構成前述各多角形的要素向量的向量算出單元；對獨特的前述要素向量分別賦予相互識別其等的要素索引，生成將獨特的前述要素向量與前述要素索引建立對應的向量清單的向量清單生成單元；對前述各多角形，將關於構成前述各多角形的前述要素向量的前述要素索引建立對應並儲存的網目資料儲存單元；前述座標變換單元具備：基於攝像前述影像的景深攝影機的視野角資訊、前述影像的縱橫比、及表示前述景深攝影機攝像的景深的範圍的剪輯距離，藉由將前述各頂點的座標進行逆射影變換，生成以將特定的視點作為基準的視點座標系表現的前述各頂點的前述三維空間座標的逆射 影變換單元。
  2. 如請求項1記載的影像處理裝置，其中，前述座標變換單元具備：將前述各頂點的座標進行正規化，生成以正規化裝置座標系表現的前述各頂點的前述三維空間座標的正規化單元；前述逆射影變換單元，將以前述正規化裝置座標系表現的前述各頂點的前述三維空間座標進行逆射影變換。
  3. 如請求項1或請求項2記載的影像處理裝置，其中，前述網目資料儲存單元，就前述複數多角形的頂點之中的至少1頂點，儲存前述三維空間座標。
  4. 如請求項1或請求項2記載的影像處理裝置，其中，前述向量算出單元具備：將前述各多角形分別分割成複數三角形並算出表示前述各三角形的各邊的線分向量的線分向量算出單元、及基於前述各線分向量算出前述各三角形的法線向量的法線向量算出單元。
  5. 如請求項4記載的影像處理裝置，其中，前述向量清單生成單元，具備：對獨特的前述線分向量分別賦予相互識別其等的線分向量索引，生成將獨特的前述線分向量與前述線分向量索引建立對應的線分向量清單的線分向量清單生成單元； 對獨特的前述法線向量分別賦予相互識別其等的法線向量索引，生成將獨特的前述法線向量與前述線分向量索引建立對應的法線向量清單的法線向量清單生成單元。
  6. 如請求項1或請求項2記載的影像處理裝置，其中，前述影像的前述各畫素包含與前述景深資訊不同的附加資料；前述頂點資料取得單元取得對應前述各多角形的前述頂點的前述附加資料；前述影像處理裝置具備：對獨特的前述附加資料分別賦予相互識別其等的附加資料索引，生成將獨特的前述附加資料與前述附加資料索引建立對應的附加資料清單的附加資料清單生成單元；前述網目資料儲存單元，對前述各多角形，將關於對應前述各多角形的前述頂點的前述附加資料的前述附加資料索引建立對應並儲存。
  7. 如請求項6記載的影像處理裝置，其中，前述附加資料包含：拍攝為前述影像的被攝物體的色資訊、溫度資訊、或放射線資訊的任一者。
  8. 一種影像處理方法，係處理在各畫素包含景深資訊的影像，係執行：將前述影像藉由複數多角形分割成網目狀的影像分割 步驟；將對應前述各多角形的頂點的前述景深資訊與前述影像上的X座標及Y座標，作為關於前述各頂點的第一座標取得的頂點資料取得步驟；將關於前述各頂點的第一座標變換成以預定的座標系表現的三維空間座標的座標變換步驟；基於前述各頂點的前述三維空間座標，算出構成前述各多角形的要素向量的向量算出步驟；對獨特的前述要素向量分別賦予相互識別其等的要素索引，生成將獨特的前述要素向量與前述要素索引建立對應的向量清單的向量清單生成步驟；對前述各多角形，將關於構成前述各多角形的前述要素向量的前述要素索引建立對應並儲存的網目資料儲存步驟；前述座標變換步驟具備：基於攝像前述影像的景深攝影機的視野角資訊、前述影像的縱橫比、及表示前述景深攝影機攝像的景深的範圍的剪輯距離，藉由將前述各頂點的座標進行逆射影變換，生成以將特定的視點作為基準的視點座標系表現的前述各頂點的前述三維空間座標的逆射影變換步驟。
  9. 一種影像處理程式產品，使電腦執行以下機能：將在各畫素包含景深資訊的影像藉由複數多角形分割成網目狀的影像分割單元； 將對應前述各多角形的頂點的前述景深資訊與前述影像上的X座標及Y座標，作為關於前述各頂點的第一座標取得的頂點資料取得單元；將關於前述各頂點的第一座標變換成以預定的座標系表現的三維空間座標的座標變換單元；基於前述各頂點的前述三維空間座標，算出構成前述各多角形的要素向量的向量算出單元；對獨特的前述要素向量分別賦予相互識別其等的要素索引，生成將獨特的前述要素向量與前述要素索引建立對應的向量清單的向量清單生成單元；對前述各多角形，將關於構成前述各多角形的前述要素向量的前述要素索引建立對應並儲存的網目資料儲存單元；前述座標變換單元具備：基於攝像前述影像的景深攝影機的視野角資訊、前述影像的縱橫比、及表示前述景深攝影機攝像的景深的範圍的剪輯距離，藉由將前述各頂點的座標進行逆射影變換，生成以將特定的視點作為基準的視點座標系表現的前述各頂點的前述三維空間座標的逆射影變換單元。
TW108116873A 2018-06-04 2019-05-16 影像處理裝置、影像處理方法、及影像處理程式 TWI716874B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018106963A JP6762570B2 (ja) 2018-06-04 2018-06-04 画像処理装置、画像処理方法、及び画像処理プログラム
JP2018-106963 2018-06-04

Publications (2)

Publication Number Publication Date
TW202004664A TW202004664A (zh) 2020-01-16
TWI716874B true TWI716874B (zh) 2021-01-21

Family

ID=66668705

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108116873A TWI716874B (zh) 2018-06-04 2019-05-16 影像處理裝置、影像處理方法、及影像處理程式

Country Status (4)

Country Link
US (1) US10902674B2 (zh)
EP (1) EP3579195A1 (zh)
JP (1) JP6762570B2 (zh)
TW (1) TWI716874B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2586869B (en) 2019-09-06 2023-02-15 Imperial College Innovations Ltd Scene representation using image processing
US11373339B2 (en) * 2020-03-18 2022-06-28 Sony Group Corporation Projection-based mesh compression
CN111915686B (zh) * 2020-09-18 2022-07-26 深圳市商汤科技有限公司 标定方法及装置、测温人脸识别装置
CN113034696B (zh) * 2021-05-21 2021-08-06 潍坊幻视软件科技有限公司 弧线网格模型生成方法
US20230290037A1 (en) * 2022-03-10 2023-09-14 Streem, Llc Real-time progressive texture mapping of a 3d mesh

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130106852A1 (en) * 2011-11-02 2013-05-02 Ben Woodhouse Mesh generation from depth images
US20130271459A1 (en) * 2012-04-13 2013-10-17 IntegrityWare, Inc. Systems and methods of editing graphical data
US20140185669A1 (en) * 2012-06-26 2014-07-03 Wenhao Zhang Inter-layer coding unit quadtree pattern prediction

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005196505A (ja) * 2004-01-07 2005-07-21 Ritsumeikan ３次元画像ボリュームデータの適応的かつ階層的な四面体格子構造表現生成方法、プログラム及び装置
JP4847051B2 (ja) 2005-06-09 2011-12-28 クラリオン株式会社 車両周囲監視方法およびシステム
WO2014076868A1 (ja) * 2012-11-19 2014-05-22 パナソニック株式会社 画像処理装置及び画像処理方法
JP2014211822A (ja) * 2013-04-19 2014-11-13 株式会社Ｎｔｔファシリティーズ 接触面検出システム、状態変化算出システム、内包判定システム、接触面検出方法およびプログラム
JP6569389B2 (ja) * 2015-08-24 2019-09-04 大日本印刷株式会社 ポリゴンモデル構造化装置および立体物造形用データ削減装置
US9978173B2 (en) * 2016-07-27 2018-05-22 Adobe Systems Incorporated Generating views of three-dimensional models illustrating defects

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130106852A1 (en) * 2011-11-02 2013-05-02 Ben Woodhouse Mesh generation from depth images
US20130271459A1 (en) * 2012-04-13 2013-10-17 IntegrityWare, Inc. Systems and methods of editing graphical data
US20140185669A1 (en) * 2012-06-26 2014-07-03 Wenhao Zhang Inter-layer coding unit quadtree pattern prediction

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Jingliang Peng et al., "Technologies for 3D mesh compression: A survey, " J. Vis. Commun. Image R., 16 (2005) pp. 688–733, 16 April 2005.^&rn^https://www.researchgate.net/publication/222656093_Technologies_for_3D_mesh_compression_A_survey^&rn^
Jingliang Peng et al., "Technologies for 3D mesh compression: A survey, " J. Vis. Commun. Image R., 16 (2005) pp. 688–733, 16 April 2005.^&rn^https://www.researchgate.net/publication/222656093_Technologies_for_3D_mesh_compression_A_survey^&rn^ *

Also Published As

Publication number Publication date
EP3579195A1 (en) 2019-12-11
JP2019211965A (ja) 2019-12-12
TW202004664A (zh) 2020-01-16
US20190371058A1 (en) 2019-12-05
JP6762570B2 (ja) 2020-09-30
US10902674B2 (en) 2021-01-26

Similar Documents

Publication Publication Date Title
TWI716874B (zh) 影像處理裝置、影像處理方法、及影像處理程式
US10701332B2 (en) Image processing apparatus, image processing method, image processing system, and storage medium
JP7205613B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5713159B2 (ja) ステレオ画像による３次元位置姿勢計測装置、方法およびプログラム
US7903111B2 (en) Depth image-based modeling method and apparatus
CN111985036B (zh) 户型框线图绘制方法和装置、存储介质、电子设备
TWI810818B (zh) 提供三維模型的電腦實施方法與系統及其相關之儲存媒體
EP3756163B1 (en) Methods, devices, and computer program products for gradient based depth reconstructions with robust statistics
US10719975B2 (en) Information processing apparatus and method of generating three-dimensional model
WO2020075252A1 (ja) 情報処理装置、プログラム及び情報処理方法
CN115439607A (zh) 一种三维重建方法、装置、电子设备及存储介质
JP2022031304A (ja) 動画変換システム、動画変換方法及び動画変換プログラム
CN114066999A (zh) 基于三维建模的目标定位系统及方法
CN117635875B (zh) 一种三维重建方法、装置及终端
CN113132708B (zh) 利用鱼眼相机获取三维场景图像的方法和装置、设备和介质
CN114219958A (zh) 一种多视角遥感影像的分类方法、装置、设备和存储介质
JP7298687B2 (ja) 物体認識装置及び物体認識方法
US20230316640A1 (en) Image processing apparatus, image processing method, and storage medium
JP2012105019A (ja) 画像処理装置、方法およびそのプログラム
KR101619486B1 (ko) 좌표변환 매트릭스를 이용한 3차원 큐브 파노라마 장치
KR102587298B1 (ko) 멀티뷰 어안 렌즈들을 이용한 실시간 전방위 스테레오 매칭 방법 및 그 시스템
CN111489384A (zh) 基于互视角的遮挡评估方法及装置、设备、系统和介质
CN114332356A (zh) 一种虚实画面结合方法和装置
JP2013200840A (ja) 映像処理装置、映像処理方法、映像処理プログラム、及び映像表示装置
JP5865092B2 (ja) 画像処理装置、画像処理方法及びプログラム