TWI505693B - 攝像裝置 - Google Patents

Description

攝像裝置 技術領域

本發明係有關於一種取得具有視差之多數影像之單眼式三次元攝像技術。

背景技術

近年來使用CCD或CMOS等固態攝像元件(以下有稱為「攝像元件」之情形。)之數位照相機或數位電影之高功能化、高性能化上有令人瞠目結舌之技術。尤其透過半導體製造技術的進步，固態攝像元件中之像素構造的微細化持續演進。結果能謀求到固態攝像元件之像素及驅動電路之高積體化。為此，就在這短短幾年，攝像元件之像素數就明顯地從100萬像素增加到1000萬像素以上。進而，藉攝像所得到之影像之品質亦有飛躍性的提昇。另一方面，有關於顯示裝置，經由薄型液晶或電漿所構成之顯示器，不佔空間，能以高影像解析度做到高對比之顯示，實現了很高的性能。如此影像之高品質化的演變是從二次元影像漸漸擴展到三次元影像。到目前為止是需要偏光眼鏡，最近也開始研發高畫質之三次元顯示裝置。

有關於三次元攝像技術，以具有單純構成之有代表性的技術來說，有一種使用由兩個相機構成之攝像系，分別取得右眼用的影像及左眼用的影像之技術。像這種亦即兩眼攝像方式是使用2個相機，因此攝像裝置大型化，成本亦變高。在此，研究了一種使用一個相機取得具有視差之多數影像(以下有稱為「複數視點影像」之情形。)之方式(單眼攝像方式)。例如在專利文獻1揭示有一種使用濾色器而同時取得具有視差之2個影像之方式。第11圖係模式地顯示依該方式所構成之攝像系之圖。該技術中的攝像系包含有透鏡3、透鏡光圈19、配置有穿透波長域相異之2個濾色器20a、20b之光束限制板20、及感光膜片21。在此，濾色器20a、20b是讓諸如紅系統、藍系統的光線分別穿透之濾波器。

藉以上的構成，入射光線係穿透透鏡3、透鏡光圈19及光束限制板20，而聚像於感光膜片21。此時，在光束限制板20中的2個濾色器20a、20b，各自只讓紅系統、藍系統的光線穿透。結果使得在感光膜片21上形成有各穿透過這些2個濾色器之光線所造成之洋紅系統的色彩成分的像。在此，濾色器20a、20b的位置不同，因此在感光膜片21上所形成之像產生視差。在此，由感光膜片21製作照片，使用將紅色膜片及藍色膜片各作為右眼用及左眼用而貼上之眼鏡，能看到具有深度感覺之影像。如此，依專利文獻1所揭示之技術，可使用2個濾色器製作複數視點影像。

專利文獻1所揭示之技術是在感光膜片上聚像而製作具有視差之多數影像者，另一方面，將具有視差之影像轉換成電氣訊號來取得之技術係揭示於專利文獻2。第12圖係模式地顯示該技術中之光束限制板22之圖。在該技術中，是使用在與攝像光學系之光軸垂直之平面上設有讓紅光穿透之R領域22R、讓綠光穿透之G領域22G、及讓藍光穿透之B領域22B之光束限制板22。藉將穿透其等領域之光線由具有檢測紅光之R像素、檢測綠光之G像素及檢測藍光之B像素之彩色攝像元件接收，取得由穿透各領域之光線所得到之影像。

又，專利文獻3亦揭示有使用與第12圖的構成同樣之構成而取得具有視差之多數影像之技術。第13圖係模式地顯示專利文獻3所揭示之光束限制板23之圖。在該技術中，亦藉使入射光線穿透光束限制板23所設之R領域23R、G領域23G、B領域23B，可製作具有視差之多數影像。

同樣，專利文獻4亦揭示有使用相對於光軸對稱配置且色彩相異之一對濾波器而產生具有視差之多數影像之技術。藉利用紅色的濾波器及藍色的濾波器當作為一對濾波器，使檢測紅光之R像素係觀測已穿透紅色濾色器之光線，檢測藍光之B像素觀測已穿透藍色濾色器之光線。紅色濾色器與藍色濾色器的位置相異，因此R像素所接收之光線之入射方向與B像素所接收之光線的入射方向相異。結果使得在R像素所觀測之影像及在B像素所觀測之影像成為視點相異之影像。從這些影像，按每一像素求出對應點，可算出視差量。由所算出之視差量與相機之焦距資訊，能求出從相機到被照體之間的距離。

專利文獻5係揭示有一種技術，即，由使用安裝有口徑尺寸相異之濾色器(例如紅色及藍色)之光圈、或色彩相異之2枚濾色器安裝在相對於光軸左右對稱之位置之光圈所取得之2個影像，求取被照體之距離資訊。在該技術中，在觀測各穿透口徑尺寸相異之紅色及藍色的濾色器之光線時，按顏色不同所觀測到的模糊的程度亦有所不同。為此，分別對應於紅色及藍色之濾色器之2個影像係依被照體的距離，成為模糊程度不同之影像。求其等影像求出對應點，比較模糊的程度，能得到從相機到被照體之間的距離資訊。此外，在觀測各穿透安裝在相對於光軸左右對稱之位置之色彩相異之2枚濾色器之光線時，按顏色所觀測之入射光線之方向有所不同。為此，各對應於紅色及藍色之濾色器之2個影像成為具有視差之影像。由其等影像求出對應點，且求出對應點間之距離，因此能得到從相機到被照體間之距離資訊。

依上述專利文獻1~5所揭示之技術，在光束限制板或光圈配置RGB系統之濾色器，可產生具有視差之多數影像。惟，要使用RGB系統之濾色器，因此大大地減少了入射光量。又，為了增加視差量，所以將多數濾色器配置在互相離開之位置，而必須將其等面積縮小。惟，一將濾色器之面積縮小，使入射光量更少。

對以上之習知技術，使用配置有RGB之多數濾色器之光圈，能得到具有視差之多數影像與光量上沒有問題之通常影像之技術乃揭示於專利文獻6。依該技術，攝像元件係於關閉光圈之狀態下，只接受穿透RGB之濾色器之光線，在打開光圈之狀態下，RGB之濾色器領域脫離光路，因此能接受入射光全部。藉此，在關閉光圈之狀態下取得複數視點影像，在打開光圈之狀態下可取得光利用率高之通常影像。

先行技術文獻 [專利文獻]

[專利文獻1]日本發明專利申請案公開公報第H02-171737號

[專利文獻2]日本發明專利申請案公開公報第2002-344999號

[專利文獻3]日本發明專利申請案公開公報第2009-276294號

[專利文獻4]日本發明專利申請案公開公報第2010-38788號

[專利文獻5]日本發明專利申請案公開公報第2010-79298號

[專利文獻6]日本發明專利申請案公開公報第2003-134533號

依專利文獻1~5所揭示之技術，可取得複數視點影像，但使用原色(RGB系統)之濾色器，使攝像元件之受光量大大地減少。另一方面，依專利文獻6所揭示之技術，藉使用機械式的驅動而使濾色器脫離濾色器，可取得光利用率高之通常影像。惟，在該技術中，也為了取得複數視點影像，而使用原色的濾色器，因此不能得到光利用率高之複數視點影像。又，該技術亦有造成裝置的大型化及高成本化之課題。

在習知技術中，使用因應射入攝像元件之各像素之光線的量所產生之光電轉換訊號(像素訊號)，且使該光電轉換訊號不變之狀態下產生複數視點影像，進行其等影像間之對應點匹配等，而算出距離資訊。為此，使用具有原色型之濾色器排列之一般攝像元件時，光束限制板或光圈亦必須設置原色型的濾色器。光束限制板或光圈之濾色器為原色型時，各濾色器只讓本身的穿透波長域所含之波長的光線穿透，因此在攝影具彩色之被照體時，就會在穿透左右濾色器之光線的量產生差異。例如，在攝影主要將紅色波長域之光線反射之物體時，由物體入射之光線會穿透紅濾色器但幾乎不穿透藍(B)濾色器，因此攝像元件中之R像素之像素訊號變得比B像素之像素訊號大。即，由R像素之像素訊號所產生之影像與由B像素之像素訊號所產生之影像雖然是在三次元空間中表示同一點之對應點同伴，但像素訊號(濃淡)有很大的不同。結果造成其等2枚影像看起來有很大的異樣感覺，又，被照體的顏色不同時，對應點的濃淡也不同，透過匹配所進行之距離推定也變得困難。如此一來，使用配置有多數原色濾色器之光圈或光束限制板之習知技術係於有接近單色光線之光線入射時，不能取得視差資訊，因此有適用範圍受限之課題。

本發明係提供一種攝像技術，無須進行機械驅動，就算由被照體入射之光線為單色光線，亦能取得複數視點影像，可取得光利用率高之複數視點影像。

為達成前述目的，本發明之三次元攝像裝置係包含有：光線穿透部，係具有穿透率之波長相依性相異之m個(m為2以上之整數)之穿透區；固態攝像元件，係配置成接收穿透前述光線穿透部之光線者，具有感光胞元陣列及與前述感光胞元陣列對向配置之穿透濾波器陣列，前述感光胞元陣列及前述穿透濾波器陣列係由多數單位要素所構成，各前述單位要素含有n個(n為m以上之整數)感光胞元及與前述n個感光胞元對向配置且穿透率之波長相依性相異之n個穿透濾波器；及聚像部，係於前述固態攝像元件之攝像面形成像者。且令波長為λ，顯示前述m個穿透區中之任意2個穿透區之穿透率之函數為Tc1(λ)及Tc2(λ)，顯示前述n個穿透濾波器中任意2個穿透濾波器之穿透率之函數為Td1(λ)及Td2(λ)，積分區間為可見光整體之波長域時，有下列式子成立：

∫Tc 1(λ )Td 1(λ )dλ >0；

∫Tc 1(λ )Td 2(λ )dλ >0；

∫Tc 2(λ )Td 1(λ )dλ >0；

∫Tc 2(λ )Td 2(λ )dλ >0；及

∫Tc 1(λ )Td 1(λ )dλ ∫Tc 2(λ )Td 2(λ )dλ ≠∫Tc 2(λ )Td 1(λ )dλ ∫Tc 1(λ )Td 2(λ )dλ 。

在某一實施形態中進而包含有影像產生部，使用由前述n個感光胞元中至少m個感光胞元所輸出之光電轉換訊號，產生藉入射於前述m個穿透區之光線所得到之m個複數視點影像。

在某一實施形態中，前述影像產生部係藉使用根據各穿透區之穿透率及各穿透濾波器之穿透率所決定之n列m行之矩陣之運算，產生前述m個複數視點影像。

在某一實施形態中，m=2、n=2，前述影像產生部係使用將∫Tc1(λ)Td1(λ)、∫Tc1(λ)Td2(λ)dλ、∫Tc2(λ)Td1(λ)dλ及∫Tc2(λ)Td2(λ)dλ作為前述矩陣之要素之2列2行矩陣，產生前述複數視點影像。

在某一實施形態中，前述m個穿透區之至少1者之穿透率及前述n個穿透濾波器之至少1者之穿透率係設計成在可見光之波長域中不具波長相依性者。

在某一實施形態中，前述m個穿透區之至少1者及前述n個穿透濾波器之至少1者為透明。

依本發明，無須進行機械性驅動，且由被照體入射之光線即使為單色光線，亦能取得複數視點影像者。進而，依本發明之較佳的實施形態，可取得光利用率比習知高之複數視點影像者。

圖式簡單說明

第1圖係顯示實施形態1之整體構成之方塊圖。

第2圖係顯示實施形態1中之透光板、光學系及攝像元件之概略構成之模式圖。

第3圖係顯示實施形態1中之透光板之穿透區之配置之圖。

第4圖係顯示實施形態1中之攝像元件之穿透濾波器之基本構成之圖。

第5圖係顯示透光板中之穿透濾波器之分光穿透率之例之圖。

第6圖係顯示攝像元件中之穿透濾波器之分光穿透率之例之圖。

第7圖係顯示透光板中之穿透濾波器之分光穿透率之另一例之圖。

第8圖係顯示攝像元件中之穿透濾波器之分光穿透率之另一例之圖。

第9圖係顯示具有m個穿透區之透光板之一例之圖。

第10圖係顯示攝像元件之各單位要素中之n個濾色器之配置之一例之圖。

第11圖係專利文獻1中之攝像系之構成圖。

第12圖係專利文獻2中之光束限制板之外觀圖。

第13圖係專利文獻3中之光束限制板之外觀圖。

用以實施發明之形態

以下一邊參考附圖一邊說明本發明之實施形態。在以下的說明中，對共通或對應之要素附有相同之符號。此外，在本說明書中，也有將顯示影像之訊號或資訊只稱為「影像」之情形。

(實施形態1)

第1圖係顯示本發明第1實施形態之攝像裝置之整體構成之方塊圖。本實施形態之攝像裝置為數位式電子相機，包含有攝像部100及訊號處理部200，係根據由攝像部100所輸出之訊號，產生顯示影像之訊號(影像訊號)。

攝像部100包含有：攝像元件(影像感應器)1，係具有排列在攝像面上之多數感光胞元(像素)者；透光板(光線穿透部)2，具有穿透率之波長相依性(分光穿透率)相異之2個穿透區；光學透鏡3，係用以於攝像元件1之攝像面上形成像者；及紅外線截止濾波器4。攝像部100又包含有：訊號產生接收部5，係產生用以將攝像元件1驅動之基本訊號，並接收來自攝像元件1之輸出訊號而送出至訊號處理部200者；及元件驅動部6，係根據藉訊號產生接收部5所產生之基本訊號而驅動攝像元件1者。攝像元件1典型上是CCD或CMOS感應器，藉公知之半導體製造技術所製得者。訊號產生接收部5及元件驅動部30係由諸如CCD驅動器等之LSI所構成者。

訊號處理部200包含有：影像訊號產生部7，係處理由攝像部100所輸出之訊號，產生影像訊號者；記憶體30，係儲存影像訊號產生用之各種資料者；界面(IF)部8，係將所產生之影像訊號送出至外部者。影像訊號產生部7係藉公知之數位訊號處理器(DSP)等之硬體與執行包括影像訊號產生處理之影像處理之軟體之組合而適宜地得予實現。記憶體30係藉DRAM等所構成者。記憶體30係記錄由攝像部100所得到之訊號，並暫時地記錄藉影像訊號產生部7所產生之影像資料或業經壓縮之影像資料。其等影像資料係經由界面部8而送出至未示於圖中之記錄媒體或顯示部。

此外，本實施形態之攝像裝置可具有電子快門、取景器(viewfinder)、電源(電池)、閃光等之公知構成要素，但其等說明對本發明之理解上並不特地需要，因此予以省略。

其次，一邊參考第2~4圖，一邊更詳細說明攝像部100之構成。

第2圖係模式地顯示攝像部100中之光線穿透部2、光學透鏡3及攝像元件1之配置關係之圖。此外，第2圖中省略了透光板2、光學透鏡3及攝像元件1以外之構成要素。透光板2具有分光穿透率相異之2個穿透區C1、C2，讓入射光穿透。光學透鏡3為公知之透鏡，將穿透透光板2之光線聚集，在攝像元件1之攝像面1a成像。在透光板2中在穿透區C1、C2以外之區域是以遮光性構件所形成，構成為光線不通過透光板2之穿透區C1、C2以外之區域者。在以下說明中，如第2圖所示，使用由穿透區C1朝向穿透區C2之方向為x方向，在與攝像面1a平行之平面上與x方向垂直之方向為y方向之座標。此外，第2圖所示之各構成要素之配置關係到底只是一個例子，本發明並不限於如此配置關係者。例如，透鏡3係於能在攝像面1a形成像時，亦可配置在靠近透光板2而遠離攝像元件1者。又，亦可使透鏡3與透光板2一體構成者。

第3圖係本實施形態中之透光板2之前視圖。本實施形態中之透光板2之形狀係與透鏡3之形狀同樣，為圓形，亦可為其他形狀。穿透區C1及C2係配置有針對可見光W之波長域所含之任意波長之光線至少讓一部分穿透之穿透濾波器。每一穿透濾波器亦可讓可見光之波長域所含之任意波長之光線穿透，其等之分光穿透率不同，因此相同光線通過穿透區C1時與通過穿透區C2時穿透光線之明度(亮度)相異。針對各穿透區之分光穿透率容後詳述。此外，各穿透濾波器只要具有以所望穿透率讓光線穿透之功能時，亦可以任一種構件所構成者。各穿透濾波器得以諸如玻璃、塑膠、玻璃紙(cellophane)等所構成。此外，在本實施形態中，在穿透區C1、C2配置有分光穿透率相異之穿透濾波器，但各穿透區只要是具有所望分光穿透率之構件，用何者來構成都可以。例如，將其中一邊的穿透區做成透明時，該穿透區亦可以空氣來代用。在此，「透明」係指在可見光之波長域中沒有穿透率之波長相依性，不發生光的吸收或散射之狀態者。

穿透區C1及穿透區C2係於x方向間隔著一定距離L配置者。距離L係按透鏡3之尺寸，且使所取得之影像具有適當的視差而所決定的。距離L得設定為諸如數mm~數cm者。穿透區C1、C2係如第3圖所示，宜相對於光軸左右(x方向)對稱配置，具有相同面積者。藉該構成，入射於左右的各穿透區C1、C2之光線的量略同。此外，穿透區C1、C2之配置不限於第3圖所示之配置，可按用途適當地決定。例如，欲取得上下(y方向)之視差資訊時，亦可將穿透區C1、C2排列在y方向。又，在穿透區C1、C2之穿透率之差值很大時，由於所觀測之像素值之差值變大，因此所取得之2個影像之明度產生差異。為此，穿透區C1、C2之穿透率之差值很大時，亦可調整穿透區C1、C2之面積，以使所取得之2個影像之明度接近者。

第2圖所示之攝像元件1之攝像面1a形成有排列成二次元狀之感光胞元陣列及與感光胞元陣列對向配置之穿透濾波器陣列。感光胞元陣列及穿透濾波器陣列係由多數單位要素所構成者。在本實施形態中，各單位要素含有2個感光胞元及與其等對向之2個穿透濾波器。各感光胞元典型上是含有光二極體，藉光電轉換而輸出因應各受光量之電氣訊號(稱為「光電轉換訊號」或「像素訊號」)。各穿透濾波器係使用公知之顏料或介電質多層膜等所製作，設計成針對可見光之波長域所含之任意波長的光線至少有一部分穿透者。

第4圖係模式地顯示本實施形態中之穿透濾波器陣列之局部俯視圖。如圖所示，在攝像面1a上有多數穿透濾波器110呈矩陣狀排列。如上述，相靠近的2個穿透濾波器110及與其等對向之2個感光胞元120包含在一個單位要素。各單位要素所具有之2個穿透濾波器D1、D2每一個都是讓可見光之波長域所含之任意波長之光線穿透，但穿透率之波長相依性相異。其等穿透濾波器D1、D2之穿透率之設定係與透光板2之穿透區C1、C2之穿透率一起在後面說明。

此外，在第4圖所示之例中，將2個感光胞元橫向(x方向)排列，但感光胞元120之排列亦可為其等任一種排列。例如可為縱向(y方向)排列，亦可為斜向排列。又，一個單位要素所含之感光胞元120之數量不限於2個，亦可為3個以上。進而，感光胞元120及穿透濾波器110無須沿x方向及y方向排列，亦可相對於x方向及y方向斜向排列。

藉以上的構成，在曝光中入射於攝像裝置之光線通過透光板2、透鏡3、紅外線截止濾波器4、穿透濾波器110而入射於感光胞元120。各感光胞元120係接收穿透透光板2之每一穿透區C1、C2之光線中通過對向之穿透濾波器之光線，且輸出按所接收之光線的量之光電轉換訊號。

藉各感光胞元120所輸出之光電轉換訊號係經由訊號產生接收部5而送出至訊號處理部200。訊號處理部200中之影像訊號產生部7係根據由攝像部100所送出之訊號，產生複數視點影像。

以下說明由各感光胞元所輸出之光電轉換訊號。假設穿透區C1、C2及穿透濾波器D1、D2之穿透率對於哪一波長都是100%的時候，令表示通過穿透區C1而入射於所著眼之一個像素之光線的強度之訊號為Ci1、通過穿透區C2而入射於所著眼之一個像素之光線的強度之訊號為Ci2。又，假設一個單位要素所含之各感光胞元有相同強度之光線入射者，且入射的光線全部為可見光者為前提。為簡化說明，乃忽視入射於穿透區C1、C2之光線之強度之波長相依性。即，假設被照體是無彩色。又，將透鏡3及紅外線截止濾波器4組合成之分光穿透率表示為Tw、穿透區C1之分光穿透率為Tc1、穿透區C2之分光穿透率為Tc2。同樣，令攝像元件1中之穿透濾波器D1、D2之分光穿透率各為Td1、Td2。

在此，Tw、Tc1、Tc2、Td1、Td2係與入射之光線之波長λ相依之函數，各表示為Tw(λ)、Tc1(λ)、Tc2(λ)、Td1(λ)、Td2(λ)。顯示穿透於穿透濾波器D1、D2而在與其對向之感光胞元所接收之光線的強度之訊號各為d1、d2。又，令可見光之波長域中之分光穿透率之積分運算以記號Σ表示。例如，將針對波長λ之積分運算∫Tw(λ)Tc1(λ)Td1(λ)dλ等表示為ΣTwTc1Td1等。在此，令積分是跨越可見光之全波長域進行者。如此一來，d1是和將Ci1ΣTwTc1Td1、Ci2ΣTwTc2Td2相加之結果成正比。同樣，d2是和將Ci1ΣTwTc1Td2、Ci2ΣTwTc2Td2相加之結果成正比。令其等關係中之比例係數為1時，d1、d2分別可以下列式1、式2表示。

(式1)　d1=Ci1ΣTwTc1Td1+Ci2ΣTwTc2Td1

(式2)　d2=Ci1ΣTwTc1Td2+Ci2ΣTwTc2Td2

在式1、式2中，令ΣTwTc1Td1、ΣTwTc2Td1、ΣTwTc1Td2、ΣTwTc2Td2各表示為Mx11、Mx12、Mx21、Mx22。如此一來，式1能使用矩陣，以下列式3表示。

[數1]

在此，令由式3中之要素Mx11~Mx22所構成之矩陣之逆矩陣之要素為iM11~iM22，式3能變形成下列式4。即，使用光電轉換訊號d1、d2能表示顯示入射於穿透區C1、C2之光線的強度之訊號Ci1、Ci2。

[數2]

藉以上之構成，可將顯示各像素之入射光量之訊號d1、d2(觀測像素值)轉換成各入射於穿透區C1、C2之光線之強度訊號Ci1、Ci2。

第1圖所示之影像訊號產生部7係執行根據式4之訊號運算，依每一單位要素產生訊號Ci1、Ci2。依每單位要素所產生之訊號Ci1、Ci2係表示藉分別入射於穿透區C1、C2之光線而所形成之2個影像。其等2個影像係具有起因於穿透區C1、C2之位置不同所造成之視差。如此，藉根據式4之運算，可產生複數視點影像。

如習知所示，在穿透區C1、C2只讓特定波長之光線穿透時(在穿透區C1、C2配置有原色之濾色器等時候)，當未包含在穿透區C1、C2中之至少一者之穿透波長域中之波長之單色光線由被照體入射，d1、d2的至少一者變成0，因此不能求出Ci1、Ci2。在此，在本實施形態中，藉式4所求出之Ci1及Ci2能滿足Ci1＞0且Ci2＞0之狀態下構成穿透區C1、C2及穿透濾波器D1、D2。藉此，由被照體入射之光線即使為單色光線，亦可做到視差視差(左右光線之強度訊號)之取得。

以下說明本實施形態之攝像裝置中成為對象之場景、被照體之條件及穿透區C1、C2、穿透濾波器D1、D2之分光穿透率須滿足之條件。

＜條件1＞：觀測像素值d1、d2之條件

在本實施形態中，如上述，穿透板2之穿透區C1、C2之穿透率及攝像元件1之穿透濾波器D1、D2之穿透率係針對可見光之波長域所含之任意波長之光線，具有比0大之值。藉此，在可見光之全波長域光量成為0之光線入射之形態除外，觀測像素值始終成為正值。因此，觀測像素值d1、d2中哪一者成為0是僅限於被照體之顏色為黑色或者是場景很暗之形態。

觀測像素值為d1=d2=0(被照體或攝影場景為全黑)時，透過式4，形成Ci1=Ci2=0，因此不能得到複數視點影像。又，在d1=0且d2≠0時，透過式4，變成Ci1=d2iMx12、Ci2=d2iMx22，Ci1＞0且Ci2＞0。惟，Ci1成為Ci2之定数倍，因此雖然有明亮度之不同，但不能得到視差資訊。d1≠0且d2=0之情況亦同樣。

由以上說明可知，本實施形態之攝像裝置係於成為對象之場景中，觀測像素值必須為d1＞0且d2＞0者。

＜條件2＞：由觀測像素值轉換成複數視點影像訊號之變換矩陣之條件

其次，說明使用透光板2之穿透區C1、C2及攝像元件1之穿透濾波器D1、D2之分光穿透率所規定之變換矩陣(Mx11、Mx12、Mx21、Mx22)，由觀測像素值d1、d2求出複數視點影像訊號Ci1、Ci2之條件。求出複數視點影像訊號Ci1、Ci2之基本條件須為可由式3變換成式4者。以式3之變數表示式4則可得到下列式5。

[數3]

為使式5成立，行列式必須為0以外之值。即，必須滿足以下之式6。

(式6)　det=Mx11Mx22-Mx12Mx21=ΣTwTc1Td1ΣTwTc2Td2-ΣTwTc2Td1ΣTwTc1Td2≠0

＜條件3＞：有關於入射光線強度訊號Ci1、Ci2可取得之範圍之條件

訊號Ci1、Ci2係顯示光線之強度之訊號，因此必須滿足Ci1＞0且Ci2＞0。在式3中針對任意之d1、d2，求出成為Ci1＞0且Ci2＞0之條件，因此進行下列式變形。首先，在式5的兩邊由左邊乘上式5之右邊之2×2矩陣之轉置矩陣，而得到下列式7。

[數4]

將式7之右邊變形，可得到式8。

[數5]

式8之右邊之矩陣為實對稱矩陣。如下列式9所示，將該實對稱矩陣表示為Mat。

[數6]

在此，為了使式8之兩邊變成正的，只要讓矩陣Mat為正值對稱矩陣時即可。在此，對應於實對稱矩陣Mat之二次形式x^T (Mat)x為正時(即，相對於任意實數向量x，x^T (Mat)x＞0時)，將其對稱矩陣Mat稱為正值對稱矩陣。因此，透過顯示矩陣Mat之二次形式成為正之條件，可以導出對於任意d1、d2而Ci1、Ci2成為正之條件。

當以二次形式表示式9之對稱矩陣Mat時，由上述條件可得到下列式10。

[數7]

將式10展開後可得到下列式11。

[數8]

在任意的d1、d2中，為了使式11成立，只要下述式12成立即可。

(式12)　det^-1 (Mx12Mx22+Mx21Mx11)＜0

Mx12、Mx22、Mx21、Mx11為屬於正值之分光穿透率之積分值，因此始終為正。因此，只要求出能成為det^-1 ＜0之條件，即，能求出成為det＜0之條件時即可。在此，det=Mx11Mx22-Mx12Mx21，因此成為det＜0是滿足下述式13之條件的時候。

(式13)　Mx11Mx22＜Mx12Mx21

在此，設定各穿透濾波器之分光穿透率，決定了Mx11~Mx22之後，在不滿足Mx11Mx22＜Mx12Mx21時(Mx11Mx22＞Mx12Mx21時)，將列交換，就能變換矩陣，以滿足式13者。即，只要是det≠0，針對任意的分光穿透率之濾波器，藉行列式之列的交換，而可變換成正值。

由以上之說明，為使訊號Ci1、Ci2滿足Ci1＞0且Ci2＞0，只要det≠0時即可。這是與式6之條件相同。因此，本實施形態中之穿透區C1、C2及穿透濾波器D1、D2之分光穿透率被設計為滿足det≠0之值。

在此，使用積分記號而將式6變形，即得到下述之式14。

[數9]

(式14)det=∫Tw (λ )Tc 1(λ )Td 1(λ )∫Tw (λ )Tc 2(λ )Td 2(λ )-∫Tw (λ )Tc 2(λ )Td 1(λ )∫Tw (λ )Tc 1(λ )Td 2(λ )≠0

Tw(λ)為透鏡3及紅外線截止濾波器4相配合之分光穿透率，因此可想到說在可見光之波長域上是一定的，是不因波長λ而有所改變。因此，式14可變形成下列之式15。

[數10]

(式15)∫Tc 1(λ)Td 1(λ)∫Tc 2(λ)Td 2(λ)≠∫Tc 2(λ)Td 1(λ)∫Tc 1(λ)Td 2(λ)因此，本實施形態中之穿透濾波器C1、C2、C3、C4

係設計成滿足式15。藉此，藉根據式4之運算，可求出影像訊號Ci1、Ci2。

此外，藉同樣的議論，亦可使用將Tw除去之∫Tc1(λ)Td1(λ)dλ、∫Tc1(λ)Td2(λ)dλ、∫Tc2(λ)Td1(λ)dλ、∫Tc2(λ)Td2(λ)dλ為要素之矩陣，代替式3中之矩陣，來進行上述之運算處理。此時，由於Tw單純只是常數，因此對於上述之結論沒有改變。

簡單地說明具有滿足以上條件之分光穿透率之穿透區C1、C2及穿透濾波器D1、D2之例。第5圖係顯示透光板2中之穿透區C1、C2之分光穿透率之例之圖。在該例中，穿透區C1之分光穿透率Tc1係以諸如在可見光之波長域(約400nm~約700nm)成為100%之矩形波之波形表示，穿透區C2之分光穿透率Tc2係以在可見光之波長域中如cos曲線般之波形表示。另一方面，第6圖係顯示攝像元件1之穿透濾波器D1、D2之分光穿透率之例之圖。在該例中，穿透濾波器D1之分光穿透率Td1係以如矩形波之波形表示，穿透濾波器D2之分光穿透率Td2係以如sin曲線般之波形表示。各分光穿透率係如上述設計時，則使ΣTc1Td1＞0、ΣTc1Td2＞0、ΣTc2Td1＞0及ΣTc2Td2＞0得以成立。進而，Tc1及Td1在哪一波長上穿透率都是100%，沒有光線的衰減。如此，如果是透光板2及攝像元件1含有穿透率成為100%之穿透區(穿透濾波器)之構成時，光利用率最好，因此採用如此之分光穿透率，希望以此為基準來設計另一分光穿透率者。此外，在上述例中，令Tc1、Td1在可見光之波長域整體為100%，但嚴密地說無須為100%，例如只要有90%以上之穿透率，就能得到夠高之特性。

各濾波器，不限於第5及6圖所示之例，只要設計成針對可見光之波長域所含之任意波長之光線中至少有一部分穿透，使Tc1與Tc2相異，且使Td1與Td2相異時即可。例如，如第7及8圖所示，即使Tc1、Tc2、Td1、Td2是以矩形波或三角函數以外之波形所顯示時，亦可適用本發明。

上述之具有所望之分光特性之穿透濾波器，例如藉介電質多層膜所製作者。藉使用介電質多層膜，可構成例如在450nm、550nm、650nm之波長具有穿透率之尖峰之多頻帶通濾波器。又，藉將穿透率高之R、G、B濾波器多枚重疊，雖然透明的話是波長相依性不同，可構成穿透率高之穿透濾波器。

如上述說明，依本實施形態，透光板2具有2個穿透區C1、C2，穿透區C1、C2配置有穿透濾波器。穿透區C1、C2都可讓可見光之波長域所含之任意波長之光線穿透，但其等的穿透率之波長相依性相異。又，攝像元件1之感光胞元陣列及穿透濾波器陣列係由多數單位要素所構成，各單位要素含有2個像素及與其等對向配置之2個穿透濾波器D1、D2。對於穿透濾波器D1、D2，也都是讓可見光之波長域所含之任意波長之光線穿透，但其等的穿透率之波長相依性相異。進而，穿透區C1、C2及穿透濾波器D1、D2之穿透率係設計成藉使影像訊號產生部7根據式4之運算，可算出影像訊號Ci1、Ci2，而滿足行列式det≠0者。藉如此之構成，入射之光線就算是單色光線，亦可以產生複數視點影像。

此外，本實施形態之攝像裝置係由藉攝像所得到之光電轉換訊號，透過訊號運算而產生影像訊號，但亦可將經由訊號運算之影像訊號之產生處理在與攝像裝置無關之獨立的其他裝置執行者。例如，藉本實施形態中之具有攝像部100之攝像裝置所取得之訊號讀入於其他裝置，在該其他裝置執行規定上述訊號運算處理之程式，亦能得到與本實施形態同樣之效果。

(實施形態2)

其次，說明本發明之第2實施形態。

在實施形態1之攝像裝置中，透光板2具有穿透率之波長相依性相異之2個穿透濾波器，攝像元件1之各單位要素同樣地亦具有穿透率之波長相依性相異之2個穿透濾波器。惟，本發明並非受限於如此之實施形態。透光板2及攝像元件1之各單位要素亦可具有3個以上之穿透濾波器，其等之數量亦可為不同。以下說明一構成例，其係將實施形態1之構成一般化，在透光板2配置m個(m為2以上之整數)之穿透濾波器，且在攝像元件1之各單位要素配置n個(n為m以上之整數)之穿透濾波器。本實施形態之攝像裝置係除了透光板2及攝像元件1之構成及影像訊號產生部7之處理外，其餘與實施形態1相同。在以下的說明中，以與實施形態1不同的事項為中心進行說明，將針對重複之事項之說明予以省略。

第9圖係模式地顯示本實施形態中之透光板2之構成例之圖。本實施形態中之透光板2具有m個穿透區C1、C2、‧‧‧、Cm，在各穿透區配置有穿透濾波器。m個穿透區C1~Cm每一個都被設計成讓可見光之波長域所含之任意波長之光線穿透者，其等的穿透區之波長相依性相異。透光板2之中配置有m個穿透濾波器之區域以外是不讓光線穿透之遮光區。此外，在第9圖的構成中，各穿透區為圓形，全都描繪成具有相同之面積者，但各穿透區之形狀及尺寸不是限於該例者。又，各穿透區之配置亦不限於圖中所示之例，可為任一種配置。針對透光板2之形狀，同樣亦無須為圓形者。進而，在本實施形態中具有遮光區，但將遮光區之部分以透光性構件形成，將該區亦可當作為穿透區對待。

第10圖係模式地顯示本實施形態中之攝像元件1之各單位要素40所含之n個穿透濾波器之配置例之圖。攝像元件1之各單位要素40具有n個感光胞元及與其等對向之n個穿透濾波器。n個穿透濾波器D1、D2、‧‧‧、Dn每一個都被設計成讓可見光之波長域所含之任意波長之光線穿透者，其等之穿透率之波長相依性相異。此外，第10圖所示之排列到底只是一例，單位要素40內之像素排列亦可為其他的排列方式。

在以上的構成中，令由攝像元件1之穿透濾波器D1、D2、‧‧‧、Dn所輸出之像素訊號各為d1、d2、‧‧‧、dn。又，假設穿透區C1~Cm及穿透濾波器D1~Dn之穿透率為100%時，令顯示由穿透區C1、C2、‧‧‧、Cm入射於各感光胞元之光線的強度之訊號各為Ci1、Ci2、‧‧‧、Cim。如此一來，像素訊號d1、d2、‧‧‧、dn與影像訊號Ci1、Ci2、‧‧‧、Cim之關係能以下列的式16表示。

[數11]

在式16中各要素為正，且行列式det≠0時，就能求出由透光板2之各穿透濾波器入射之光線的強度。與實施形態1同樣，透光板2之各穿透區及攝像元件1之各穿透濾波器係構成為可讓可見光之波長域所含之任意波長之光線穿透者，因此根據像素訊號d1~dn，就能算出入射於透光板2之各穿透區之光線所得到之影像訊號Ci1~Cin。

以下，說明能求出對用以取得影像訊號Ci1~Cin之運算上所需之逆矩陣之條件。首先在m＞n時，獨立的式子只有n個，不能求出Ci1~Cim。即，因為矩陣的階數小於m，因此不能得到式16之解。另一方面，在n≧m時，只要獨立的式子存在有m個以上時，就能得到其解。因此，只要選擇矩陣的階數成為m之獨立的式子n’個(m≦n’≦n)時，藉最小二乘法，即可得解。

如式16中之矩陣所示，在多次元之矩陣中，也只要是行列式det≠0，則階數成為m，就能判斷是否能根據行列式之值算出解答。又，計算階數之方法還有其他方法，例如藉固有值解析(主成分分析或奇異值(singular value decomposition)、QR分解等)所得到之固有值中其值不是0之個數成為階數者。因此，藉矩陣之固有值解析所得到之固有值中其值不是0之個數是m者亦是與上述條件(det≠0)同值。此外，n＞m時，式16中之矩陣(令其為A)與A之轉置矩陣(A^t )之固有值相等，因此將A與A^t 相乘而形成矩形矩陣(square matrix)後，進行固有值解析，就可進行階數之計算。

在此，令波長為λ，透光板2之m個穿透濾波器中任意2個穿透濾波器之穿透率為Tc1(λ)、Tc2(λ)，攝像元件1之各單位要素所含之n個穿透濾波器中任意2個穿透濾波器之穿透率為Td1(λ)、Td2(λ)。本實施形態中之各穿透濾波器係設計成滿足∫Tc1(λ)Td1(λ)dλ＞0、∫Tc1(λ)Td2(λ)dλ＞0、∫Tc2(λ)Td1(λ)dλ＞0、∫Tc2(λ)Td2(λ)dλ＞0者。進而，各穿透濾波器係設計成滿足以下的式17者。

[數12]

(式17)∫Tc 1(λ )Td 1(λ )dλ ∫Tc 2(λ )Td 2(λ )dλ ≠∫Tc 2(λ )Td 1(λ )dλ ∫Tc 1(λ )Td 2(λ )dλ

惟，積分區間為可見光整體之波長域。藉滿足以上的條件，就能根據式14求出影像訊號Ci1~Cim。

此外，本實施形態之攝像裝置亦可構成為不產生訊號Ci1~Cim全部，而產生其等訊號中至少2個訊號者。就算是如此之構成，亦可得到具有視差之2個影像資料。又，亦可構成為使矩陣的階數成為m之狀態下選擇使用m個像素訊號，而非使用n個像素訊號全部，產生m個複數視點影像者。

本實施形態中，m個穿透區之至少1個及n個穿透濾波器之至少1個亦可為不具波長相依性之濾波器。尤其是由提高光利用率之觀點，其等為透明者為佳。

最後對於以上之各實施形態之攝像裝置中，說明由觀測像素值算出多數入射光線強度時之算出解答的安定性。此外，以下是想定實施形態1之構成，但如實施形態2所示業經通化之構成亦可使同樣議論成立。首先，對於式5考慮雜訊再次式子化。在此，令觀測像素值d1、d2各所附加之雜訊量為Δd1、Δd2。雜訊中除了影像之熱雜訊、傳送路或攝像元件之散粒雜訊(shot noise)等之外亦包括有分光穿透率之測量誤差等。此時，式5係變形成下列式18、19。

(式18) Ci1=det^-1 [Mx22(d1+Δd1)-Mx12(d2+Δd2)]

(式19) Ci2=det^-1 [Mx21(d1+Δd1)-Mx11(d2+Δd2)]

在此，det是行列式，det=Mx11Mx22-Mx12Mx21。與式18中之原訊號d1、d2有關之項移到左邊時，就得到下列式20。

(式20)　Ci1-det^-1 (Mx22d1-Mx12d2)=det^-1 (Mx22Δd1-Mx12Δd2)

式20是表示誤差，如果沒有誤差，應該會變為0。右邊的雜訊量是成為起因於攝像元件1的話是與訊號量成正比，起因於分光穿透率之測量誤差的話，則成為一定的偏移(offset)。哪一邊的雜訊量較多是依攝影環境而定，因此在此單純地設定為(Mx22Δd1-Mx12Δd2)=N。如此一來就得到下列式21。

(式21)　Ci1-det^-1 (Mx22d1-Mx12d2)=det^-1 N

由式21可知誤差是和行列式成反比者。即，行列式的絕對值愈小，誤差的影響愈大，行列式的絕對值愈大，誤差的影響愈小。由以上的情況可知，雜訊量的測量雖有困難，但藉各穿透濾波器之分光穿透率之設計以使∣det∣=∣Mx11Mx22-Mx12Mx21∣能盡可能地變大者，即可構築穩健地對抗雜訊之攝像裝置。例如在將相機的靈敏度設定於ISO100且在螢光燈下攝影時，由經驗上明白，只要行列式的絕對值在0.1以上時就可穩定地得到解答了。在設定大多於如此條件下使用之攝像裝置中，只要能使行列式之絕對值成為0.1以上的狀態下設定Tc1、Tc2、Td1、Td2時即可。此外，進而在假設雜訊變多之環境下所使用之攝像裝置時，就在將行列式之絕對值變得更大之狀態下設定Tc1、Tc2、Td1、Td2者為佳。

如此，按攝影場景的明亮度或ISO靈敏度等之相機的設定而造成雜訊增減之攝影環境中，宜設定各穿透濾波器之分光穿透率，以使行列式的絕對值為所定之極限值以上者。為此，為能選擇最適合的分光穿透率之組合，亦可將穿透特性相異之多種透光板設在攝像裝置。構成為因應由攝影環境所設想之雜訊量而從多數透光板中以自動或手動選擇一個透光板時，可將行列式的絕對值始終大於所定極限值者。

產業之可利用性

本發明之三次元攝像裝置對於全部使用固態攝像元件之相機有效。例如可利用於數位相機(digital still camera；攝影靜態影像用之數位相機)或數位攝影機(digital video camera)等之民生用相機以及產業用之固態監視用相機等。

1．．．固態攝像元件

1a．．．固態攝像元件之攝像面

2．．．透光板

3．．．光學透鏡

3a．．．光學元件

4．．．紅外線截止濾波器

5．．．訊號產生接收部

6．．．元件驅動部

7．．．影像訊號產生部

8．．．界面部

19．．．透鏡光圈

20、22、23．．．光束限制板

20a．．．濾色器

20b．．．濾色器

21．．．感光膜片

22B、23B．．．B光穿透區

22G、23G．．．G光穿透區

22R、23R．．．R光穿透區

30．．．記憶體

40．．．單位要素

100．．．攝像部

110．．．穿透濾波器

120．．．感光胞元

200．．．訊號處理部

C1,C2．．．穿透區

第1圖係顯示實施形態1之整體構成之方塊圖。

第2圖係顯示實施形態1中之透光板、光學系及攝像元件之概略構成之模式圖。

第3圖係顯示實施形態1中之透光板之穿透區之配置之圖。

第4圖係顯示實施形態1中之攝像元件之穿透濾波器之基本構成之圖。

第5圖係顯示透光板中之穿透濾波器之分光穿透率之例之圖。

第6圖係顯示攝像元件中之穿透濾波器之分光穿透率之例之圖。

第7圖係顯示透光板中之穿透濾波器之分光穿透率之另一例之圖。

第8圖係顯示攝像元件中之穿透濾波器之分光穿透率之另一例之圖。

第9圖係顯示具有m個穿透區之透光板之一例之圖。

第10圖係顯示攝像元件之各單位要素中之n個濾色器之配置之一例之圖。

第11圖係專利文獻1中之攝像系之構成圖。

第12圖係專利文獻2中之光束限制板之外觀圖。

第13圖係專利文獻3中之光束限制板之外觀圖。

1．．．攝像元件

1a．．．攝像面

2．．．透光板

3．．．光學透鏡

C1,C2．．．穿透區

x,y．．．方向

Claims (6)

1. 一種三次元攝像裝置，包含有：光線穿透部，係具有穿透率之波長相依性相異之m個(m為2以上之整數)之穿透區；固態攝像元件，係配置成接收穿透了前述光線穿透部之光線者，具有感光胞元陣列、及與前述感光胞元陣列對向配置之穿透濾波器陣列，前述感光胞元陣列及前述穿透濾波器陣列係由多數單位要素所構成，各單位要素含有n個(n為m以上之整數)感光胞元、及與前述n個感光胞元對向配置且穿透率之波長相依性相異之n個穿透濾波器；及聚像部，係於前述固態攝像元件之攝像面形成像者；且令波長為λ，顯示前述m個穿透區中任意2個穿透區之穿透率之函數為Tc1(λ)及Tc2(λ)，顯示前述n個穿透濾波器中任意2個穿透濾波器之穿透率之函數為Td1(λ)及Td2(λ)，積分區間為可見光整體之波長域時，滿足下列式子：ʃTc 1(λ )Td 1(λ )dλ >0；ʃTc 1(λ )Td 2(λ )dλ >0；ʃTc 2(λ )Td 1(λ )dλ >0；ʃTc 2(λ )Td 2(λ )dλ >0；及ʃTc 1(λ )Td 1(λ )dλ ʃTc 2(λ )Td 2(λ )dλ ≠ʃTc 2(λ )Td 1(λ )dλ ʃTc 1(λ )Td 2(λ )dλ 。
2. 如申請專利範圍第1項之三次元攝像裝置，更包含有影像產生部，係使用由前述n個感光胞元中至少m個感光胞元所輸出之光電轉換訊號，產生依入射於前述m個穿透區之光線所得到之m個複數視點影像。
3. 如申請專利範圍第2項之三次元攝像裝置，其中前述影像產生部係藉使用了根據各穿透區之穿透率及各穿透濾波器之穿透率所決定之n列m行之矩陣的運算，產生前述m個複數視點影像。
4. 如申請專利範圍第2或3項之三次元攝像裝置，其中前述m=2，前述n=2，前述影像產生部係使用以ʃTc1(λ)Td1(λ)、ʃTc1(λ)Td2(λ)d λ、ʃTc2(λ)Td1(λ)d λ及ʃTc2(λ)Td2(λ)d λ作為前述矩陣之要素之2列2行矩陣，產生前述複數視點影像。
5. 如申請專利範圍第1至3項中任一項之三次元攝像裝置，其中前述m個穿透區中至少1者之穿透率及前述n個穿透濾波器中至少1者之穿透率係設計成在可見光之波長域中不具波長相依性。
6. 如申請專利範圍第5項之三次元攝像裝置，其中前述m個穿透區中至少1者及前述n個穿透濾波器中至少1者為透明。