TWI682671B - 影像處理裝置和影像處理方法及攝像元件 - Google Patents

影像處理裝置和影像處理方法及攝像元件 Download PDF

Info

Publication number
TWI682671B
TWI682671B TW105103146A TW105103146A TWI682671B TW I682671 B TWI682671 B TW I682671B TW 105103146 A TW105103146 A TW 105103146A TW 105103146 A TW105103146 A TW 105103146A TW I682671 B TWI682671 B TW I682671B
Authority
TW
Taiwan
Prior art keywords
polarized
unit
normal information
pixel
image processing
Prior art date
Application number
TW105103146A
Other languages
English (en)
Other versions
TW201705758A (zh
Inventor
近藤雄飛
平澤康孝
陸穎
中谷文香
Original Assignee
日商新力股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商新力股份有限公司 filed Critical 日商新力股份有限公司
Publication of TW201705758A publication Critical patent/TW201705758A/zh
Application granted granted Critical
Publication of TWI682671B publication Critical patent/TWI682671B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/514—Depth or shape recovery from specularities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

攝像部(20)係為，將由同一偏光方向之複數像素所成之同一偏光像素區塊按照複數偏光方向一一設置，而在同一偏光像素區塊中設置所定之每種色彩之像素的構成。補正處理部(31)，係對攝像部(20)所生成之偏光影像，進行白平衡補正等之補正處理。偏光影像處理部(32)，係使用補正處理後的偏光影像來進行反射成分之分離或抽出。藉由使用分離或抽出後的反射成分之偏光影像，就可生成例如精度佳的法線資訊。

Description

影像處理裝置和影像處理方法及攝像元件
本技術係有關於影像處理裝置和影像處理方法及攝像元件，可生成高精度的法線資訊。
先前，使用攝像部與偏光件來生成偏光影像的方法，已被揭露。例如，在專利文獻1中係揭露，在攝像部之前配置偏光件，藉由旋轉該偏光件而進行攝影，以生成複數偏光方向之偏光影像的方法。又揭露，藉由設置每一像素不同偏光方向之偏光件，以1次的攝像就能生成不同的複數偏光方向之偏光影像的方法。
再者，從複數偏光方向之偏光影像來生成被攝體之法線資訊，已被進行。例如，在非專利文獻1或非專利文獻2中，藉由將複數偏光方向之偏光影像擬合至模型式以生成法線資訊。
[先前技術文獻] [專利文獻]
[專利文獻1]國際公開第2008/099589號
[非專利文獻]
[非專利文獻1]Lawrence B.Wolff and Terrance E.Boult："Constraining Object Features Using a Polarization Reflectance Model", IEEE Transaction on pattern analysis and machine intelligence,Vol.13、No.7,July 1991
[非專利文獻2]Gary A. Atkinson and Edwin R. Hancock："Recovery of surface orientation from diffuse polarization",IEEE Transactions of Image Processing, Vol.15, Issue.6, pp.1653-1664, 2006
可是，在物體表面之反射中，存在有鏡面反射與擴散反射，在各個反射中，偏光的方式係不同。因此，針對偏光影像必須要考慮到反射成分的處理。
於是，在本技術中，提供一種進行反射成分之分離或抽出的影像處理裝置和影像處理方法及攝像元件。
本技術之第1側面係為，一種影像處理裝置，係具備：偏光影像處理部，係使用藉由將由同一偏光方向之複 數像素所成之同一偏光像素區塊按照複數偏光方向一一設置而在前記同一偏光像素區塊中設置所定之每種色彩之像素而構成的攝像元件所生成的偏光影像，來進行反射成分之分離或抽出。
於本技術中，偏光影像處理部，係使用藉由將由同一偏光方向之複數像素所成之同一偏光像素區塊按照例如3方向以上之偏光方向一一設置而在同一偏光像素區塊中設置所定之每種色彩之像素而構成的攝像元件所生成的偏光影像，來進行反射成分之分離或擴散反射成分之抽出。又，設置法線資訊生成部，以從反射成分之分離或抽出後的偏光影像，生成法線資訊。法線資訊生成部係例如在將反射成分予以分離成擴散反射成分和鏡面反射成分的情況下，從表示擴散反射成分的偏光影像與表示鏡面反射成分的偏光影像之每一者來生成法線資訊，進行把因偏光角之差異而產生的亮度變化較大的反射成分、或對因偏光角之差異而產生的所定之亮度變化的誤差較少的反射成分視為優勢性之反射成分的加權，以整合法線資訊。又，法線資訊生成部，係在例如擴散反射成分為已被抽出的情況下，則從表示擴散反射成分的偏光影像來生成法線資訊。又，設置補正處理部，以對偏光影像進行每種色彩之增益調整，對增益調整後的偏光影像進行反射成分之分離或抽出。再者，設置無偏光影像生成部，以從偏光影像生成無偏光之影像。
本技術之第2側面係為， 一種影像處理方法，係含有：使用藉由將由同一偏光方向之複數像素所成之同一偏光像素區塊按照複數偏光方向一一設置，而在前記同一偏光像素區塊中設置各色之像素而構成的攝像元件所生成的所定之每種色彩之偏光影像，以偏光影像處理部來進行反射成分之分離或抽出。
本技術之第3側面係為，一種攝像元件，係具備：偏光件，係將由同一偏光方向之複數像素所成之同一偏光像素區塊，按照複數偏光方向一一設置；和彩色濾光片，係在前記偏光件之前記同一偏光像素區塊中，設置所定之每種色彩之像素；和感測器部，係基於穿透了前記偏光件與前記彩色濾光片的被攝體光而生成影像訊號。
於本技術中，彩色濾光片，係例如將所定之色彩排列之像素區塊也就是色彩圖案單位區塊，在像素之行方向與列方向上重複設置而構成；偏光件，係將同一偏光像素區塊按照複數偏光方向一一設置而成的像素區塊也就是偏光圖案單位區塊，在像素之行方向與列方向上重複設置而構成。色彩圖案單位區塊與偏光圖案單位區塊係使其產生位置差異，而在同一偏光像素區塊中設置所定之每種色彩之像素。
又，偏光件之同一偏光像素區塊係亦可與色彩圖案單位區塊的尺寸相等。又，偏光件係亦可為例如將偏光方向為正交之同一偏光像素區塊，在像素之列方向或 行方向上交互設置之構成，而彩色濾光片係亦可在同一偏光像素區塊中設置所定之每種色彩之像素。又，偏光件係為，例如將偏光方向為不同的同一偏光像素區塊，在像素之行方向(或列方向)上以所定之順序重複設置，在後一行(或列)中，相對於前一行(或列)而使區塊位置之位置差異產生於行方向(或列方向)上，而將與前一行(或列)不同偏光方向的同一偏光像素區塊，在行方向(或列方向)上以所定之順序重複設置之構成。彩色濾光片係亦可在同一偏光像素區塊中設置所定之每種色彩之像素。又，偏光件係亦可為例如在同一偏光像素區塊中設置無偏光之影像之構成，彩色濾光片，係亦可以使得在選擇了無偏光之像素時的色彩排列會是所定之色彩排列的方式，來對無偏光之影像，設定色彩。甚至，彩色濾光片係亦可為例如，在同一偏光像素區塊中設置三原色之像素與白色之像素的構成。
若依據本技術，則對於將由同一偏光方向之複數像素所成之同一偏光像素區塊按照複數偏光方向一一設置而在同一偏光像素區塊中設置所定之每種色彩之像素而構成的攝像元件所生成的偏光影像，會進行反射成分之分離或抽出的處理。因此，例如可考慮反射成分而生成高精度的法線資訊。此外，本說明書中所記載之效果僅為例示並非限定，亦可還有附加性的效果。
10‧‧‧攝像系統
20‧‧‧攝像部
21‧‧‧偏光件
22‧‧‧彩色濾光片
30‧‧‧影像處理部
31‧‧‧補正處理部
32‧‧‧偏光影像處理部
33‧‧‧鏡面反射去除部
34‧‧‧反射成分分離部
35‧‧‧法線資訊生成部
36‧‧‧鏡面反射法線資訊生成部
37‧‧‧擴散反射法線資訊生成部
38‧‧‧法線資訊整合部
39‧‧‧無偏光影像生成部
80‧‧‧車輛
90‧‧‧車輛控制系統
920‧‧‧通訊網路
931‧‧‧驅動系控制部
932‧‧‧車體系控制部
933‧‧‧電池控制部
934‧‧‧車外資訊偵測部
935‧‧‧無線通訊部
940‧‧‧整合控制部
951‧‧‧輸入部
952‧‧‧聲音輸出部
953‧‧‧顯示部
9311‧‧‧車輛狀態偵測部
9331‧‧‧充電電池
[圖1]攝像系統之基本構成的圖示。
[圖2]攝像部之構成的例示圖。
[圖3]偏光影像之生成動作的說明圖。
[圖4]攝像影像與反射成分的圖示。
[圖5]4個偏光方向之像素的亮度值之擬合的說明圖。
[圖6]偏光影像之亮度變化的說明圖。
[圖7]亮度與偏光角之關係的例示圖。
[圖8]偏光度與天頂角之關係(擴散反射之情況)的例示圖。
[圖9]偏光度與天頂角之關係(鏡面反射之情況)的例示圖。
[圖10]無偏光影像生成部之動作的說明圖。
[圖11]攝像系統之基本動作的流程圖。
[圖12]偏光影像之補正處理的流程圖。
[圖13]第1實施形態之構成的圖示。
[圖14]色差之算出的說明圖。
[圖15]使用HSV空間來去除鏡面反射成分之處理的說明圖。
[圖16]第1實施形態之動作的流程圖。
[圖17]鏡面反射之去除處理的流程圖。
[圖18]鏡面反射之其他去除處理的流程圖。
[圖19]第2實施形態之構成的圖示。
[圖20]第2實施形態之動作的流程圖。
[圖21]攝像部之其他構成的例示圖。
[圖22]攝像部之其他構成的例示圖。
[圖23]攝像部之其他構成的例示圖。
[圖24]攝像部之其他構成的例示圖。
[圖25]設置白色像素時之構成與動作的說明圖。
[圖26]在攝像部之其他構成中設置白色像素時的例示圖。
[圖27]車輛控制系統之概略構成之例示的區塊圖。
[圖28]攝像部之設置例的圖示。
以下，說明用以實施本技術的形態。此外，說明係用以下順序來進行。
1.攝像系統之基本構成
2.攝像系統的第1實施形態
3.攝像系統的第2實施形態
4.攝像部之其他構成
5.適用例
<1.攝像系統之基本構成>
圖1係圖示使用了本技術之影像處理裝置的攝像系統 之基本構成。攝像系統10係具有攝像部20和影像處理部30。又，影像處理部30係具有例如：補正處理部31、偏光影像處理部32、法線資訊生成部35、無偏光影像生成部39。
攝像部20，係以高消光比之偏光，來生成複數偏光方向之偏光影像。攝像部20係使用CMOS(Complementary Metal Oxide Semiconductor)或CCD(Charge Coupled Device)等之攝像元件而被構成。攝像部20，係在藉由光電轉換而生成相應於被攝體光之影像訊號的感測器部之攝像面，設置有偏光件和彩色濾光片。偏光件，係為了能夠生成高消光比之偏光影像，而是將由同一偏光方向之複數像素所成之同一偏光像素區塊按照複數偏光方向一一設置而成的構成。彩色濾光片係為，在偏光件之同一偏光像素區塊中設置所定之每種色彩之像素的構成。攝像部20，係將基於穿透過偏光件與彩色濾光片的被攝體光而被感測器部所生成的影像訊號，輸出至影像處理部30。
圖2係例示了攝像部之構成。圖2的(A)係例示了攝像部之偏光件之構成。偏光件21，係以偏光方向為相等的2×2像素單位視為同一偏光像素區塊，是將偏光方向為彼此不同的4個同一偏光像素區塊所構成的4×4像素之偏光圖案單位區塊，在像素之行方向與列方向上重複設置而成的構成。此外，在圖2的(A)及後述的圖21乃至圖26中，係將偏光方向以陰影線的線方向來表示。 又，在圖2、圖10、圖14及圖21乃至圖26中係例示了，攝像部中的一部分之像素領域。
圖2的(B)係例示了攝像部之彩色濾光片之構成。彩色濾光片22，係將例如紅色像素R與綠色像素G與藍色像素B分別設成2×2像素單位。又，彩色濾光片22，係將如圖所示般地由1個紅色像素R與藍色像素B及2個綠色像素G所構成的色彩圖案單位區塊，在像素之行方向與列方向上重複設置而將色彩排列設成拜耳排列。
攝像部20，係如圖2的(C)所示，對偏光圖案單位區塊色彩圖案單位區塊是在水平方向及垂直方向上分別產生1像素份之位置差異的方式，來設置偏光件與彩色濾光片。一旦如此設置偏光件與彩色濾光片，則在1個同一偏光像素區塊中會含有1個紅色像素R與1個藍色像素B及2個綠色像素G。又，同一色的2×2像素之像素區塊中係含有4個偏光方向之像素。若將攝像部如此構成，則相較於使用以1×1像素單位來改變偏光方向之偏光件的情形，可生成高消光比的複數偏光方向之偏光影像。
影像處理部30的補正處理部31，係為了對攝像部20所生成之偏光影像，不受照明光之差異或攝像元件之參差等之影響，就可以偏光影像處理部32進行處理，而進行每種色彩之增益調整。補正處理部31，作為補正處理係進行例如：攝像元件之感度參差補正或鏡頭的蔭影補正、白平衡補正等。
感度參差或鏡頭的蔭影係為個體所特有，會 隨像素位置或每種色彩而不同。因此，補正處理部31，係使用預先藉由計測等所得的補正值(增益)GM，根據式(1)來進行感測器參差補正與蔭影補正。
BBij=(BAij-BK)×GM．．．(1)
此外，於式(1)中，「BAij」係為像素位置(i、j)上的像素值，「BK」係為黑位準值，「BBij」係為補正後的像素值。又，黑位準值，係可以是在畫面全體中使用相同值，也可使用預先計測的每一像素而不同的值。
白平衡補正，係使照明的顏色變成白色的調整補正。補正處理部31，係可使用和先前的攝像裝置之自動白平衡補正機構同樣地被算出的補正值，也可使用藉由讓使用者自己指定照明狀況的機構而被算出的補正值。又，亦可從攝像部20所生成之偏光影像來算出補正值。
圖3係偏光影像之生成動作的說明圖。如圖3所示，使用光源LT來進行被攝體OB之照明，將被攝體OB以攝像部20進行攝像。圖4係攝像影像與反射成分的圖示。圖4的(A)係表示由攝像部所生成的攝像影像，攝像影像係具有圖4的(B)所示的擴散反射成分與圖4的(C)所示的鏡面反射成分。此外，隨著偏光方向，擴散反射成分與鏡面反射成分的位準會有所變化。鏡面反射，係經常是由照明所產生，如後述之說明中使用的圖8、9所示，鏡面反射係偏光度高於擴散反射而容易進行偏光。又，使用4個偏光方向之像素的亮度值，如圖5所 示，使其擬合於表示對偏光角之亮度變化的偏光模型式(例如cos函數)的情況下，擬合後的函數中的振幅成分係相當於偏光成分。此外，於圖5中，黑點記號係表示4個偏光方向之像素的亮度值。因此，在補正處理部31中，將該偏光成分視為鏡面反射成分而對每種色彩進行處理，在所有色彩中若偵測到偏光成分之亮度較高的像素位置，則可偵測出照明的像素位置。因此，以使得該偵測到的像素位置會變成白色的方式，算出補正值。
白平衡補正之補正值，係例如以綠色像素為基準，算出對紅色像素的補正值(增益)GWred與對藍色像素的補正值(增益)GWblue，然後根據式(2)(3)來補正紅色像素與藍色像素的像素值。此外，於式(2)中，「BDred」係表示補正後的紅色像素之像素值，「BCred」係表示補正前的紅色像素之像素值。又，於式(3)中，「BDblue」係表示補正後的藍色像素之像素值，「BCblue」係表示補正前的藍色像素之像素值。
B Dred=B Cred×G Wred．．．(2)
B Dblue=B Cblue×G Wblue．．．(3)
補正處理部31，係如此而進行偏光影像之白平衡補正，將補正後的偏光影像輸出至偏光影像處理部32。
偏光影像處理部32，係從補正後的偏光影像進行反射成分之分離或抽出，將所分離或抽出的反射成分之偏光影像，輸出至法線資訊生成部35。
法線資訊生成部35，係從所分離或抽出的反射成分之偏光影像，生成法線資訊。法線資訊生成部35，係求出已分離之每種反射成分或已抽出之反射成分的偏光模型式。然後，法線資訊生成部35，係根據偏光模型式而求出方位角與天頂角而當作法線資訊。
圖6係偏光影像之亮度變化的說明圖。如圖6所示，使用光源LT來進行被攝體OB之照明，透過偏光板PL而將被攝體OB以攝像部CM進行攝像。此情況下，已知由攝像部CM所生成的偏光影像，係會隨應於偏光板PL之旋轉，被攝體OB之亮度會有所變化。此處，令使偏光板PL旋轉時的最高亮度為Imax、最低亮度為Imin。又，將2維座標上的x軸與y軸當作偏光板PL之平面方向時，使偏光板PL旋轉時的對x軸之xy平面上之角度，假設為偏光角υpol。偏光板PL，係一旦旋轉180度則會回到原本的偏光狀態，具有180度之週期。
圖7係例示了亮度與偏光角之關係。圖7的(A)係圖示了擴散反射中的亮度與偏光角之關係，圖7的(B)係圖示了鏡面反射中的亮度與偏光角之關係。
擴散反射的情況下，最大亮度Idmax被觀測到時的偏光角υpol，假設為方位角
Figure 105103146-A0202-12-0012-64
d。若進行如此定義，則使偏光板PL旋轉時所被觀測的亮度Idpol之變化，亦即表示因偏光角之差異而產生的所定之亮度變化的偏光模型式，係可表示如式(4)。
Figure 105103146-A0202-12-0013-1
在式(4)中，偏光角υpol係在偏光影像之生成時為已知，最大亮度Idmax與最小亮度Idmin及方位角
Figure 105103146-A0202-12-0013-60
d係為變數。因此，法線資訊生成部35，係由於變數係有3個，因此使用表示偏光方向為3方向以上之擴散反射成分的偏光影像之亮度而對式(4)所示的函數進行擬合，根據表示亮度與偏光角之關係的函數來判別呈現最大亮度的方位角
Figure 105103146-A0202-12-0013-61
d。
又，將物體表面法線以極座標系來表現，令法線資訊為方位角
Figure 105103146-A0202-12-0013-62
d與天頂角θd。此外，假設天頂角θd係為從z軸往法線的角度，方位角
Figure 105103146-A0202-12-0013-63
d係如上述是相對於x軸的y軸方向之角度。此處，即使使用將偏光板PL予以旋轉所得到的最小亮度Idmin與最大亮度Idmax，也可藉由進行式(5)之演算而算出偏光度ρd。
Figure 105103146-A0202-12-0013-2
偏光度與天頂角之關係，係根據菲涅耳的式子而具有例如圖8所示之特性這件事情已為公知，由圖8 所示的特性可基於偏光度ρd來判別天頂角θd。此外，圖8所示的特性係為例示，特性係會依存於被攝體之折射率而變化。
又，鏡面反射的情況下，假設最小亮度Ismin被觀測到時的偏光角υpol為方位角
Figure 105103146-A0202-12-0014-54
s。若進行如此定義，則使偏光板PL旋轉時所被觀測的亮度Ispol，亦即表示因偏光角之差異而產生的所定之亮度變化的偏光模型式，係可表示如式(6)。
Figure 105103146-A0202-12-0014-3
在式(6)中，偏光角υpol係在偏光影像之生成時為已知，最大亮度Ismax與最小亮度Ismin及方位角
Figure 105103146-A0202-12-0014-56
s係為變數。因此，法線資訊生成部35，係由於變數係有3個，因此使用表示偏光方向為3方向以上之鏡面反射成分的偏光影像之亮度而對式(6)所示的函數進行擬合，根據表示亮度與偏光角之關係的函數來判別呈現最小亮度的方位角
Figure 105103146-A0202-12-0014-57
s。
又，將物體表面法線以極座標系來表現，令法線資訊為方位角
Figure 105103146-A0202-12-0014-58
s與天頂角θs。此外，假設天頂角θs係為從z軸往法線的角度，方位角
Figure 105103146-A0202-12-0014-59
s係如上述是相對於x軸的y軸方向之角度。此處，即使使用將偏光板PL予以旋轉所得到的最小亮度Ismin與最大亮度Ismax，也可藉 由進行式(7)之演算而算出偏光度ρs。
Figure 105103146-A0202-12-0015-4
偏光度與天頂角之關係，係具有圖9所示之特性這件事情已為公知，由圖9所示的特性可基於偏光度ρs而將天頂角判別為1或2個。此外，圖9所示的特性係為例示，特性係會依存於被攝體之折射率而變化。又，在圖9中係例示，被判別出2個天頂角θs1、θs2的情形。此外，關於天頂角被判別為2個時的處理，係在後述的攝像系統的第2實施形態中做說明。
因此，法線資訊生成部35，係基於偏光方向為3方向以上的每一反射成分之偏光影像，從偏光方向與偏光影像之亮度，求出亮度與偏光角之關係而判別方位角
Figure 105103146-A0202-12-0015-53
d、
Figure 105103146-A0202-12-0015-52
s。又，法線資訊生成部35，係使用從亮度與偏光角之關係所得到的最大亮度與最小亮度而算出偏光度，基於表示偏光度與天頂角之關係的特性曲線，而判別對應於所算出之偏光度的天頂角θd、θs。如此，法線資訊生成部35，係基於偏光方向為3方向以上的偏光影像，將被攝體之法線資訊(方位角與天頂角)，按照每一像素位置而予以求出而生成法線資訊。
又，法線資訊生成部35係從偏光方向為3方向以上的偏光影像生成出法線資訊，因此攝像部之偏光件 係設為，在偏光圖案單位區塊內，含有偏光方向為不同的至少3方向以上之同一偏光像素區塊的構成。
攝像系統10，係在輸出對應於法線資訊之影像時，設有無偏光影像生成部39。無偏光影像生成部39，係從已被影像處理部30的補正處理部31進行過補正處理的偏光影像，來生成出相當於沒有設置偏光件時的無偏光影像。圖10係無偏光影像生成部之動作的說明圖。無偏光影像生成部39，係在攝像部20是被構成為例如圖10的(A)所示的情況下(和圖2相同)，在2×2像素尺寸的同一色彩之區塊內，係含有偏光方向為不同的4方向之偏光像素。因此，無偏光影像生成部39，係如圖10的(B)所示，係針對2×2像素尺寸之同一色彩的每一區塊而算出像素值之平均值，而當作無偏光影像之像素值。若進行如此的處理，則水平方向及垂直方向之像素數會分別變成略(1/2)倍，而可生成色彩排列為拜耳排列的無偏光影像。
圖11係攝像系統之基本動作的流程圖。在步驟ST1中攝像系統10係生成偏光影像。攝像系統10的攝像部20，係以高消光比之偏光來生成複數偏光方向之偏光影像然後前進至步驟ST2。
在步驟ST2中攝像系統10係進行偏光影像之補正處理。攝像系統10的補正處理部31，係為了對偏光影像，不受照明光之差異或攝像元件之特性參差等之影響，就可進行偏光影像之處理，而進行每種色彩之增益調 整。
圖12係偏光影像之補正處理的流程圖。在步驟ST11中補正處理部31係取得偏光影像。補正處理部31，係取得攝像部20所生成之偏光影像然後前進至步驟ST12。
在步驟ST12中補正處理部31係進行感測器參差補正與蔭影補正。補正處理部31，係使用預先藉由計測等所得的補正值(增益)來進行感測器參差補正與蔭影補正然後前進至步驟ST13。
在步驟ST13中補正處理部31係算出白平衡補正的補正值。補正處理部31，係基於先前之攝像裝置中所進行的自動白平衡補正之機構或讓使用者自己指定照明狀況的機構、或基於鏡面反射成分而算出白平衡補正的補正值(增益)，然後前進至步驟ST14。
在步驟ST14中補正處理部31係進行白平衡補正。補正處理部31，係使用步驟ST13中所算出的補正值來進行偏光影像的白平衡補正，然後前進至圖11的步驟ST3。
在步驟ST3中攝像系統10係對偏光影像進行反射成分處理。攝像系統10的偏光影像處理部32，係對步驟ST2中進行補正處理的偏光影像，進行將反射成分予以分離或抽出的處理，前進至步驟ST4。
在步驟ST4中攝像系統10係生成法線資訊。攝像系統10的法線資訊生成部35，係從所分離或抽出的 反射成分之偏光影像，生成法線資訊。
在步驟ST5中攝像系統10係生成輸出影像。攝像系統10的無偏光影像生成部39，係從步驟ST2中進行過補正處理的偏光影像，來生成出相當於沒有設置偏光件時的無偏光影像。
如此，由於在攝像部中可同時生成複數偏光方向之偏光影像，因此可以防止偏光影像的時間解析度之劣化。因此，例如可以容易取得正在發生運動中的被攝體之偏光特性。又，攝像部係被設計成，將同一偏光方向之複數像素視為同一偏光像素區塊，在同一偏光像素區塊中含有各色之像素的構成，因此可用高消光比之偏光來生成偏光影像。再者，使用以高消光比之偏光所生成的偏光影像來進行有考慮到反射成分的法線資訊之生成，因此可生成高精度的法線資訊。
<2.攝像系統的第1實施形態>
接著，說明攝像系統的第1實施形態。在第1實施形態中係說明，藉由從已經去除了鏡面反射的偏光影像來生成法線資訊，以生成在屋外等會造成問題的鏡面反射之影響係被減輕的法線資訊之情形。
圖13係第1實施形態之構成的圖示。攝像系統10係具有攝像部20和影像處理部30。又，影像處理部30係具有例如：補正處理部31、偏光影像處理部32、法線資訊生成部35、無偏光影像生成部39，作為偏光影 像處理部32是使用鏡面反射去除部33。
攝像部20，係如上述般地以高消光比之偏光，來生成複數偏光方向之偏光影像。攝像部20，係在感測器部之攝像面，設置有偏光件和彩色濾光片。偏光件，係為了能夠生成高消光比之偏光影像，而是將由同一偏光方向之複數像素所成之同一偏光像素區塊按照複數偏光方向一一設置而成的構成。彩色濾光片係為，在偏光件之同一偏光像素區塊中設置所定之每種色彩之像素的構成。攝像部20，係將所生成的偏光影像，輸出至影像處理部30。
影像處理部30的補正處理部31，係為了對攝像部20所生成之偏光影像，不受照明光之差異或攝像元件的特性參差等之影響，就可以鏡面反射去除部33進行處理，而進行每種色彩之增益調整。補正處理部31，作為補正處理係進行例如：攝像元件之感度參差補正或鏡頭的蔭影補正、白平衡補正等，將補正後的偏光影像，輸出至鏡面反射去除部33。
鏡面反射去除部33，係為了減輕鏡面反射之影響，而從補正後的偏光影像，去除鏡面反射成分。鏡面反射去除部33，係將鏡面反射成分已被去除的偏光影像亦即已經抽出擴散反射成分的偏光影像，輸出至法線資訊生成部35。
鏡面反射，係於攝像情境中，由於優勢性的光源而產生。又，在白平衡之補正中係配合照明的色彩來 調整補正值，因此會產生鏡面反射的照明的色彩係可想成是無彩色。此情況下，表示照明之色彩的RGB值係為相同值，藉由求出色差就可去除鏡面反射成分。因此，鏡面反射去除部33，係從藉由補正處理部31而進行過白平衡補正等的偏光影像根據式(8)，如圖14所示般地針對每個同一偏光像素區塊亦即黑點記號之位置，求出色差I'υpol。鏡面反射去除部33，係將如此的處理針對每個同一偏光像素區塊，使用區塊內的紅色像素之像素值Rυpol與綠色影像之像素值Gυpol與藍色像素之像素值Bυpol來進行之，生成鏡面反射成分已被去除之影像也就是只有擴散反射成分的偏光影像。此外，如圖14所示般地色彩排列是以拜耳排列而被構成的情況下，綠色像素之像素值Gυpol，係為例如2個綠色像素之像素值Gυ1、Gυ2的平均值。
Figure 105103146-A0202-12-0020-5
又，鏡面反射去除部33係生成，例如，假設光源為白色而去除了光源所致之鏡面反射成分的偏光影像。鏡面反射成分之去除，係亦可採用文獻「D.Miyazaki,R.Tan,K.Hara,and K.Ikeuchi.Polarization-based inverse rendering from a single view.Proceedings of International Conference on Computer Vision,pages 982-987,2003」等 所揭露的手法。亦即，根據式(9)而將色彩空間從RGB空間轉換成M空間然後根據式(10)而生成鏡面反射成分已被去除之影像。藉由將鏡面反射成分已被去除之影像根據式(11)而從M空間轉回RGB空間，就可生成鏡面反射成分已被去除的偏光影像。
Figure 105103146-A0202-12-0021-6
甚至，鏡面反射去除部33，係亦可採用文獻「社團法人影像處理學會研究報告2006-CVIM-155.2006/9/9.基於二色性反射模型的即時鏡面反射成分去除；肥後智明、宮崎大輔、池內克史」等所記載的手 法，來去除鏡面反射成分。在該手法中係利用，在投影至HSV空間時在一個色相(hue)空間中，擴散反射成分係有彩度(saturation)與亮度(intensity)會呈現比例之關係。圖15係使用HSV空間來去除鏡面反射成分之處理的說明圖。鏡面反射去除部33，係使用將RGB空間予以轉換而成的圖15的(A)所示的HSV空間，對每一色相將彩度與亮度之關係如圖15的(B)般地予以作圖。又，鏡面反射去除部33，係如圖15的(C)所示，對已被近似的直線LA，將亮度高於預先設定之所定量的成分，當作鏡面反射成分而予以去除。
法線資訊生成部35，係從鏡面反射成分已被去除之偏光影像亦即僅表示擴散反射成分的偏光影像，生成法線資訊。法線資訊生成部35，係由於偏光影像是僅表示擴散反射成分，因此使用此偏光影像中的4偏光方向之像素之亮度而對式(4)所示之函數進行擬合，基於表示亮度與偏光角之關係的函數來判別呈現最大亮度的方位角
Figure 105103146-A0202-12-0022-49
d。又，藉由進行式(5)的演算以算出偏光度ρd，基於偏光度ρd來判別天頂角θ。法線資訊生成部35，係將表示所判別出來之方位角
Figure 105103146-A0202-12-0022-50
d與天頂角θd的資訊，當作法線資訊。
圖16係第1實施形態之動作的流程圖。在步驟ST21中攝像系統10係生成偏光影像。攝像系統10的攝像部20，係和圖11的步驟ST1同樣地，以高消光比之偏光來生成複數偏光方向之偏光影像然後前進至步驟 ST22。
在步驟ST22中攝像系統10係進行偏光影像之補正處理。攝像系統10的補正處理部31，係和圖11的步驟ST2同樣地，為了對偏光影像，不受照明光之差異或攝像元件之特性參差等之影響，就可進行偏光影像之處理，而進行每種色彩之增益調整，前進至步驟ST23。
在步驟ST23中攝像系統10係對偏光影像進行鏡面反射去除處理。攝像系統10的鏡面反射去除部33，係從步驟ST22中進行補正處理的偏光影像使用上述手法而進行鏡面反射成分之去除處理，生成擴散反射成分的偏光影像而前進至步驟ST24。
圖17係鏡面反射之去除處理的流程圖。此外，圖17係圖示了算出每種偏光方向之色差的情形。在步驟ST31中鏡面反射去除部33係取得偏光影像。鏡面反射去除部33，係在補正處理部31中取得已被進行過補正處理的偏光影像，然後前進至步驟ST32。
在步驟ST32中鏡面反射去除部33係算出色差。鏡面反射去除部33，係使用偏光方向為相同的同一偏光像素區塊中的紅色像素與綠色像素G與藍色像素B之像素值來算出色差然後前進至步驟ST33。
在步驟ST33中鏡面反射去除部33係進行色差之輸出處理。如上述，色差係會是不受鏡面反射成分之影響的值，因此鏡面反射去除部33，係將表示步驟ST32中所算出之色差的偏光影像，輸出至法線資訊生成部 35。
圖18係鏡面反射之其他去除處理的流程圖。此外，圖18係圖示了生成鏡面反射成分已被去除之偏光影像的情形。在步驟ST41中鏡面反射去除部33係取得偏光影像。鏡面反射去除部33，係在補正處理部31中取得已被進行過補正處理的偏光影像，然後前進至步驟ST42。
在步驟ST42中鏡面反射去除部33係生成鏡面反射去除影像。鏡面反射去除部33，係使用上述之文獻所揭露之手法，生成鏡面反射成分已被去除之偏光影像，然後前進至步驟ST43。
在步驟ST43中鏡面反射去除部33係進行偏光影像之輸出處理。鏡面反射去除部33，係將步驟ST42中所生成之偏光影像，亦即擴散反射成分之偏光影像，輸出至法線資訊生成部35。
在圖16的步驟ST24中攝像系統10係生成法線資訊。攝像系統10的法線資訊生成部35，係從表示擴散反射成分的偏光影像，生成法線資訊。
在步驟ST25中攝像系統10係生成輸出影像。攝像系統10的無偏光影像生成部39，係從步驟ST22中進行過補正處理的偏光影像，來生成出相當於沒有設置偏光件時的無偏光影像。
如此，在第1實施形態中，可從偏光影像去除鏡面反射成分。又，從偏光影像去除鏡面反射成分所得 之表示擴散反射成分的偏光影像，生成法線資訊。因此，雖然在物體表面會發生鏡面反射與擴散反射，但可去除鏡面反射之影響而生成精度良好的法線資訊。甚至，和上述的基本構成之情況相同，可防止偏光影像的時間解析度之劣化。又，可以高消光比之偏光來生成偏光影像，從偏光影像來生成法線資訊。
<3.攝像系統的第2實施形態>
接著，說明攝像系統的第2實施形態。在第2實施形態中係說明，進行鏡面反射成分與擴散反射成分之分離，將對分離後的每種反射成分所生成的法線資訊加以整合的情形。
圖19係第2實施形態之構成的圖示。攝像系統10係具有攝像部20和影像處理部30。影像處理部30係具有例如：補正處理部31、偏光影像處理部32、法線資訊生成部35、無偏光影像生成部39。又，影像處理部30，作為偏光影像處理部32係採用反射成分分離部34，作為法線資訊生成部35係採用鏡面反射法線資訊生成部36與擴散反射法線資訊生成部37與法線資訊整合部38。
攝像部20，係如上述般地以高消光比之偏光，來生成複數偏光方向之偏光影像。攝像部20，係在感測器部之攝像面，設置有偏光件和彩色濾光片。偏光件，係為了能夠生成高消光比之偏光影像，而是將由同一偏光方向之複數像素所成之同一偏光像素區塊按照複數偏 光方向一一設置而成的構成。彩色濾光片係為，在偏光件之同一偏光像素區塊中設置所定之每種色彩之像素的構成。攝像部20，係將所生成的偏光影像，輸出至影像處理部30。
影像處理部30的補正處理部31，係為了對攝像部20所生成之偏光影像，不受照明光之差異或攝像元件的特性參差等之影響，就可以鏡面反射去除部33進行處理，而進行每種色彩之增益調整。補正處理部31，作為補正處理係進行例如：攝像元件之感度參差補正或鏡頭的蔭影補正、白平衡補正等，將補正後的偏光影像，輸出至反射成分分離部34。
反射成分分離部34，係將鏡面反射成分與擴散反射成分予以分離。在反射成分分離部34中，藉由使用如上述的手法，就可分離鏡面反射成分。因此，反射成分分離部34，係藉由使用與鏡面反射去除部33相同的手法，將偏光影像分離成擴散反射成分之偏光影像與鏡面反射成分之偏光影像。反射成分分離部34，係將鏡面反射成分之偏光影像輸出至鏡面反射法線資訊生成部36，將擴散反射成分之偏光影像輸出至擴散反射法線資訊生成部37。
鏡面反射法線資訊生成部36，係使用偏光方向為3方向以上的鏡面反射成分之偏光影像的亮度來對上述的式(6)所示之偏光模型式進行擬合，基於表示亮度與偏光角之關係的擬合後的函數，來判別呈現最小亮度的 方位角
Figure 105103146-A0202-12-0027-46
s。又，鏡面反射法線資訊生成部36，係使用最小亮度Ismin與最大亮度Ismax來進行上述的式(7)之演算以算出偏光度ρs，根據圖9所示的特性基於偏光度ρs來判別天頂角θs為1或2個。鏡面反射法線資訊生成部36，係將表示所判別出來之方位角
Figure 105103146-A0202-12-0027-47
s與天頂角θs的資訊，當作法線資訊而輸出至法線資訊整合部38。此外，鏡面反射法線資訊生成部36，係如後述，以法線資訊整合部38之整合處理，使用因偏光角之差異而產生的亮度變化來進行加權的情況下，是將最小亮度Ismin與最大亮度Ismax，輸出至法線資訊整合部38。又，鏡面反射法線資訊生成部36，係以法線資訊整合部38之整合處理，使用對因偏光角之差異而產生的所定之亮度變化的誤差來進行加權的情況下，則是將擬合誤差Es，輸出至法線資訊整合部38。擬合誤差Es，係為對表示所定之亮度變化的式(6)之偏光模型式進行擬合時的函數值與偏光影像之亮度的差異，係採用例如針對每種偏光方向的函數值與亮度之誤差所計算的積算值或平均值等。
擴散反射法線資訊生成部37，係使用偏光方向為3方向以上的擴散反射成分之偏光影像的亮度來對上述的式(4)所示之偏光模型式進行擬合，基於表示亮度與偏光角之關係的擬合後的函數，來判別呈現最大亮度的方位角
Figure 105103146-A0202-12-0027-48
d。又，擴散反射法線資訊生成部37，係使用最小亮度Idmin與最大亮度Idmax來進行上述的式(5)之演算以算出偏光度ρd，根據圖8所示的特性基於偏光度 ρd來判別天頂角θd。擴散反射法線資訊生成部37，係將表示所判別出來之方位角
Figure 105103146-A0202-12-0028-43
d與天頂角θd的資訊，當作法線資訊而輸出至法線資訊整合部38。此外，擴散反射法線資訊生成部37，係如後述，以法線資訊整合部38之整合處理，使用因偏光角之差異而產生的亮度變化來進行加權的情況下，是將最小亮度Idmin與最大亮度Idmax，輸出至法線資訊整合部38。又，擴散反射法線資訊生成部37，係以法線資訊整合部38之整合處理，使用對因偏光角之差異而產生的所定之亮度變化的誤差來進行加權的情況下，則是將擬合誤差Ed，輸出至法線資訊整合部38。擬合誤差Ed，係為對表示所定之亮度變化的式(4)之函數進行擬合時的函數值與偏光影像之亮度的差異，係採用例如每種偏光方向的函數值與亮度之誤差的積算值或平均值等。
法線資訊整合部38，係進行鏡面反射法線資訊生成部36所生成之法線資訊與擴散反射法線資訊生成部37所生成之法線資訊的整合處理。法線資訊整合部38，作為法線資訊之整合處理，係例如將所取得的法線資訊進行平均化。具體而言係根據式(12)而進行整合處理，生成方位角
Figure 105103146-A0202-12-0028-45
ds。又，在鏡面反射法線資訊生成部36中係有判別出天頂角θs1、θs2的情形，因此根據式(13)或式(14)來進行整合處理，以決定天頂角θds。
Figure 105103146-A0202-12-0029-7
法線資訊整合部38，係亦可對鏡面反射法線資訊生成部36所生成之法線資訊與擴散反射法線資訊生成部37所生成之法線資訊，以擴散反射與鏡面反射之任一者為優勢性所相應的加權來進行整合處理。加權係可使用例如因偏光角之差異而產生的亮度變化，也可使用對因偏光角之差異而產生的所定之亮度變化的誤差。
接著，說明使用因偏光角之差異而產生的亮度變化來進行加權的情形。法線資訊整合部38，係將因偏光角之差異而產生的亮度變化較大的反射成分，視為優勢性的反射成分。亦即，法線資訊整合部38，係算出每種反射成分的亮度之振幅然後選擇振幅較大者，藉此以整合法線資訊。又，於鏡面反射成分中，由於會有判別出2個天頂角的情形，因此選擇較接近針對擴散反射成分所求出所求之天頂角的一方。式(15)係表示擴散反射成分之振幅Ad的算出式，式(16)係表示鏡面反射成分之振幅As的算出式。
Ad=I dmax-I dmin．．．(15)
As=I smax-I smin．．．(16)
法線資訊整合部38，係如式(17)所示，以 使用到擴散反射成分之振幅與鏡面反射成分之振幅的加權進行整合處理，生成方位角
Figure 105103146-A0202-12-0030-41
ds。又，法線資訊整合部38，係如式(18)(19)所示，以使用到擴散反射成分之振幅與鏡面反射成分之振幅的加權進行整合處理，生成天頂角θds。
Figure 105103146-A0202-12-0030-8
接著，說明使用對因偏光角之差異而產生的所定之亮度變化的誤差來進行加權的情形。法線資訊整合部38，係藉由選擇對所定之亮度變化的誤差亦即擬合誤差較少的一方，以整合法線資訊。又，於鏡面反射成分中，由於會有判別出2個天頂角的情形，因此選擇較接近針對擴散反射成分所求出所求之天頂角的一方。法線資訊整合部38，係如式(20)所示，以使用到擴散反射成分之擬合誤差Ed與鏡面反射成分之擬合誤差Es的加權進行整合處理，生成方位角
Figure 105103146-A0202-12-0030-42
ds。又，法線資訊整合部38，係如式(21)(22)所示，以使用到擴散反射成分之擬合誤差Ed與鏡面反射成分之擬合誤差Es的加權進行整合處理，生成天頂角θds。
Figure 105103146-A0202-12-0031-9
又，法線資訊整合部38，作為法線資訊之整合係亦可選擇從擴散反射成分之偏光影像所生成之法線資訊與從鏡面反射成分之偏光影像所生成之法線資訊之任一者。此處，法線資訊整合部38係選擇，擴散反射與鏡面反射之其中屬於優勢性之反射的法線資訊。法線資訊整合部38，係例如，將因偏光角之差異而產生的亮度變化較大的反射視為優勢性，選擇擴散反射成分之振幅Ad與鏡面反射成分之振幅As的其中振幅較大之一方的法線資訊。又，法線資訊整合部38，係將對因偏光角之差異而產生的所定之亮度變化的誤差較少的反射視為優勢性，選擇擴散反射成分之擬合誤差Ed與鏡面反射成分之擬合誤差Es的其中誤差較少之一方的法線資訊。又，法線資訊整合部38，係亦可判別與周圍之法線資訊的誤差，而選擇誤差較少之一方的法線資訊。又，法線資訊整合部38，係亦可將這些方法加以組合來進行法線資訊之選擇，亦可與其他方法組合來進行法線資訊之選擇。再者，鏡面反射成分之法線資訊被選擇，如上述般地判別出2個天頂 角θs1、θs2的情況下，則法線資訊整合部38，係將與擴散反射成分之法線資訊所示之天頂角θd的角度差較少之一方的天頂角，從天頂角θs1、θs2中選擇出來。
圖20係第2實施形態之動作的流程圖。在步驟ST51中攝像系統10係生成偏光影像。攝像系統10的攝像部20，係和圖11的步驟ST1同樣地，以高消光比之偏光來生成複數偏光方向之偏光影像然後前進至步驟ST52。
在步驟ST52中攝像系統10係進行偏光影像之補正處理。攝像系統10的補正處理部31，係和圖11的步驟ST2同樣地，為了對偏光影像，不受照明光之差異或攝像元件之特性參差等之影響，就可進行偏光影像之處理，而進行每種色彩之增益調整，前進至步驟ST53。
在步驟ST53中攝像系統10係對偏光影像進行反射成分分離處理。攝像系統10的反射成分分離部34，係從步驟ST52中進行補正處理的偏光影像使用上述手法而將鏡面反射成分與擴散反射成分予以分離，然後前進至步驟ST54、55。
在步驟ST54中攝像系統10係基於鏡面反射成分而生成法線資訊。攝像系統10的鏡面反射法線資訊生成部36，係從鏡面反射成分之偏光影像，生成法線資訊，然後前進至步驟ST56。
在步驟ST55中攝像系統10係基於擴散反射成分而生成法線資訊。攝像系統10的擴散反射法線資訊 生成部37，係從擴散反射成分之偏光影像，生成法線資訊，然後前進至步驟ST56。
在步驟ST56中攝像系統10係進行法線資訊整合處理。攝像系統10的法線資訊整合部38，係將步驟ST54中所取得之法線資訊與步驟ST55中所取得之法線資訊，加以整合。
在步驟ST57中攝像系統10係生成無偏光影像。攝像系統10的無偏光影像生成部39，係從步驟ST52中進行過補正處理的偏光影像，來生成出相當於沒有設置偏光件時的無偏光影像。
如此，在第2實施形態中，可從偏光影像分離出鏡面反射成分與擴散反射成分。又，可生成每種反射成分的法線資訊。又，隨每種反射成分而被生成的法線資訊，會被整合。再者，在法線資訊之整合中，隨應於物體表面之反射是鏡面反射成分與擴散反射成分之哪一者為優勢性，來進行法線資訊之整合。因此，可考慮鏡面反射而生成精度良好的法線資訊。甚至，和上述的基本構成之情況相同，可防止偏光影像的時間解析度之劣化。又，可以高消光比之偏光來生成偏光影像，從偏光影像來生成法線資訊。
<4.攝像部之其他構成>
順便一提，攝像部之構成，係不限於圖2所示的構成。圖21~圖24係例示攝像部之其他構成，彩色濾光 片，係將所定之色彩排列之單位也就是色彩圖案單位區塊，在像素之行方向與列方向上重複設置。又，偏光件係為，將同一偏光像素區塊設成與色彩圖案單位區塊相等的尺寸。
於圖21中，攝像部的偏光件21，係如圖21的(A)所示，將偏光方向相等的2×2像素單位，視為同一偏光像素區塊。又，偏光件21係為，將由偏光方向為彼此不同的4個同一偏光像素區塊所成之4×4像素的偏光圖案單位區塊，在像素之行方向與列方向上重複設置的構成。
又，彩色濾光片22，係如圖21的(B)所示，將由1個紅色像素R與藍色像素B及2個綠色像素G所成之2×2像素之區塊，視為色彩圖案單位區塊。又，彩色濾光片22係為，將該色彩圖案單位區塊在像素之行方向與列方向上重複設置而成的拜耳排列之構成。
再者，偏光件與彩色濾光片，係如圖21的(C)所示，同一偏光像素區塊與色彩圖案單位區塊之位置係為一致的構成。此外，在圖21的(C)(D)及後述的圖22的(C)(D)、圖23的(C)(D)、圖24的(C)中，為了容易判別像素之構成而將像素放大圖示。
在如此構成攝像部的情況下，同一偏光像素區塊係和圖2所示的情況同樣地是2×2像素單位，因此可和圖2所示的攝像部同樣地以高消光比之偏光來生成偏光影像。
又，採用此構成的攝像部的情況下，無偏光影像生成部，係如圖21的(D)所示，對所定之每種色彩，算出偏光方向為不同的最附近的4個像素之像素值平均，當作無偏光影像的每種色彩之像素值。此外，在圖21的(D)中係例示了紅色像素之情形。此情況下，無偏光影像的像素數，係不會像是如圖10的(B)所示水平及垂直方向的像素數變成略(1/2)倍。又，因為是每種色彩地依序算出偏光方向為不同的最附近的4個像素之像素值平均來當作無偏光影像之像素值，因此可容易生成色彩排列為拜耳排列的無偏光影像。
於圖22中，攝像部的偏光件21，係如圖22的(A)所示，將偏光方向相等的2×2像素單位，視為同一偏光像素區塊。又，偏光件21係為，將由偏光方向為彼此不同的4個同一偏光像素區塊所成之4×4像素的偏光圖案單位區塊，在像素之行方向與列方向上重複設置。又，偏光件21係為例如，在水平方向上相鄰的同一偏光像素區塊之偏光方向，是具有90度之差異的構成。
又，彩色濾光片22，係如圖22的(B)所示，將由1個紅色像素R與藍色像素B及2個綠色像素G所成之2×2像素之區塊，視為色彩圖案單位區塊。又，彩色濾光片22係為，將該色彩圖案單位區塊在像素之行方向與列方向上重複設置而成的拜耳排列之構成。
再者，偏光件與彩色濾光片，係如圖22的(C)所示，同一偏光像素區塊與色彩圖案單位區塊之位 置係為一致的構成。
如此構成了攝像部的情況下，無偏光影像生成部係如圖22的(D)所示，針對每種色彩算出偏光方向具有90度之差異而在水平方向上最靠近的2個像素值之平均值，當作無偏光影像之像素值。因此，無偏光影像的像素數，係不會像是如圖10的(B)所示水平及垂直方向變成略(1/2)倍。又，由於每種色彩地將2個像素值之平均值當作無偏光之像素值來使用，因此可容易生成色彩排列為拜耳排列的無偏光影像。
此外，在圖22中，雖然例示了將偏光方向為90度不同的同一偏光像素區塊在水平方向上相鄰設置的情形，但亦可為在垂直方向上相鄰設置的構成。此情況下，無偏光影像生成部39係每種色彩地將偏光方向具有90度之差異而在垂直方向上最靠近的2個像素值之平均值，當作無偏光影像之像素值。
於圖23中，攝像部的偏光件21，係如圖23的(A)所示，在2×2像素單位的同一偏光像素區塊中，設置無偏光的1像素。又，偏光件21係為，將由偏光方向為彼此不同的4個同一偏光像素區塊所成之4×4像素的偏光圖案單位區塊，在像素之行方向與列方向上重複設置。
又，彩色濾光片22，係如圖23的(B)所示，同一偏光像素區塊內的3個偏光像素係為紅色像素R與綠色像素G與藍色像素B。再者，同一偏光像素區塊內 的1個無偏光像素，係以使得從各同一偏光像素區塊選擇了無偏光像素時的色彩排列會是所望之色彩排列，例如圖23的(C)所示的拜耳排列的方式，來設定像素的色彩。
如此構成了攝像部的情況下，無偏光影像生成部係如圖23的(D)所示，藉由從各同一偏光像素區塊選擇出無偏光影像，就可容易生成水平及垂直方向的尺寸為略(1/2)倍且色彩排列為拜耳排列的無偏光影像。又，由於不使用偏光像素，因此可生成不受偏光所致之影響的無偏光影像。
於圖24中，攝像部的偏光件21，係將偏光方向為不同的同一偏光像素區塊，在像素之行方向上以所定之順序重複設置。又，在後一行中，相對於前一行而使區塊位置之差異產生於行方向上，而將與前一行不同偏光方向的同一偏光像素區塊，在行方向上以所定之順序重複設置。偏光件21，係例如圖24的(A)所示，將偏光方向為相等的2×2像素單位，視為同一偏光像素區塊。又，偏光件21係為，在水平方向上相鄰的同一偏光像素區塊之偏光方向，是具有90度之差異的構成。又，偏光件21係為，對水平方向上排列的同一偏光像素區塊，後一行的同一偏光像素區塊群亦即在垂直方向下側相鄰的同一偏光像素區塊，係與前一行的同一偏光像素區塊不同偏光方向且在水平方向上相鄰的同一偏光像素區塊的偏光方向是具有90度之差異的構成。然後，偏光件21係為，後一行的同一偏光像素區塊群，係對前一行的同一偏光像素區塊群在 水平方向上產生1像素份的區塊位置之差異的構成。
又，彩色濾光片22，係如圖24的(B)所示，將由1個紅色像素R與藍色像素B及2個綠色像素G所成之2×2像素之區塊，視為色彩圖案單位區塊。又，彩色濾光片22係為，將該色彩圖案單位區塊在像素之行方向與列方向上重複設置而成的拜耳排列之構成。
再者，偏光件與彩色濾光片，係如圖24的(C)所示，同一偏光像素區塊與色彩圖案單位區塊之位置係為一致的構成。
如此構成了攝像部的情況下，無偏光影像生成部係和圖22的(D)的情形同樣地，針對每種色彩算出偏光方向具有90度之差異而在水平方向上最靠近的2個像素值之平均值，當作無偏光影像之像素值。因此，無偏光影像的像素數，係不會像是如圖10的(B)所示水平及垂直方向之像素數會變成略(1/2)倍。又，由於每種色彩地將2個像素值之平均值當作無偏光之像素值來使用，因此可容易生成色彩排列為拜耳排列的無偏光影像。
此外，在圖24中，雖然例示了將偏光方向具有90度之差異的同一偏光像素區塊在行方向(水平方向)上排列設置的情形，但亦可在列方向(垂直方向)上排列設置，後一列的同一偏光像素區塊群係在垂直方向上移動了1像素份的位置。此情況下，無偏光影像生成部係每種色彩地算出偏光方向具有90度之差異而在垂直方向上最靠近的2個像素值之平均值，當作無偏光影像之像素 值。
然後，由於後一行(列)的同一偏光像素區塊係在水平方向(垂直方向)上移動了1像素份的區塊位置，因此相較於圖22的構成，可提高法線資訊的空間解析度。
再者，在圖2及圖21乃至圖24中，雖然例示了同一偏光像素區塊是由紅色像素與綠色像素與藍色像素所構成的情形，但亦可為在同一偏光像素區塊設置有白色像素的構成。圖25係設置白色像素時之構成與動作的說明圖。圖25的(A)係例示了，在圖2所示的攝像部20中設置了白色像素(W)的情形。攝像部20中，由於設置偏光件而容易導致感度降低。因此，在預先設定之亮度位準以下的較暗影像部分中，係如圖25的(B)所示般地以白色像素來進行偏光解析。又，在比所設定之亮度位準還亮的影像部分中係如圖25的(C)所示般地使用紅色像素與綠色像素與藍色像素來進行偏光解析，生成法線資訊。又，較暗影像部分係由於鏡面反射成分較少，因此作為僅擴散反射成分之影像而生成法線資訊。若如此設置，則在法線資訊之生成時的動態範圍，可以比未設置白色像素時還要擴大。
又，以鏡面反射成分之去除處理來算出色差的情況下，若假設W=R+G+B，則式(8)係係可置換成式(23)。又，白色像素係由於S/N比為良好，因此在色差之算出時，難以受到雜訊之影響。
Figure 105103146-A0202-12-0040-10
圖26係例示了在攝像部之其他構成中設置白色像素的情形。圖26的(A)係圖示了，在圖21所示之構成的攝像部中設置了白色像素的情形。圖26的(B)係圖示了，在圖22所示之構成的攝像部中設置了白色像素的情形。圖26的(C)係圖示了，在圖24所示之構成的攝像部中設置了白色像素的情形。
即使如此的攝像部的其他構成，仍可同時生成複數偏光方向之偏光影像，因此可以防止偏光影像的時間解析度之劣化。又，攝像部係被設計成，將同一偏光方向之複數像素視為同一偏光像素區塊，在同一偏光像素區塊中含有各色之像素的構成，因此可用高消光比之偏光來生成偏光影像。再者，藉由使用以高消光比之偏光所生成之偏光影像，就可精度良好地生成法線資訊。此外，攝像部的色彩排列係不限於拜耳排列，亦可為其他色彩排列。
又，在上述之實施形態中雖然將同一偏光像素區塊之尺寸設成2×2像素，但若隨著攝像部的高解析度化而像素尺寸變小，則即使2×2像素之尺寸仍有可能無法獲得充分的消光比。此種情況下，例如若將同一偏光像素區塊放大而設成4×4像素，則可取得充分的消光比之偏光影像。此情況下也是，無偏光影像，係只要進行偏光方向 為正交的同一色之2個近鄰像素之平均值、偏光方向為正交的同一色之4個近鄰像素之平均值的算出，從針對已算出平均值的像素位置間之像素而算出的平均值進行像素值算出處理等，即可容易生成。
此外，上述流程圖所示的處理，係不限於按照步驟依序進行處理的順序處理，亦可以管線處理或平行處理來進行之。又，彩色濾光片係不限於如上述的原色系，亦可使用補色系之彩色濾光片。
<5.適用例>
接著，說明影像處理裝置(影像處理方法)之適用例。圖27係使用該技術之影像處理裝置的車輛控制系統之概略構成的例示的區塊圖。車輛控制系統90，係具備透過通訊網路920而連接的複數控制部或偵測部。在圖27所示的例子中，車輛控制系統90係具備：驅動系控制部931、車體系控制部932、電池控制部933、車外資訊偵測部934、無線通訊部935及整合控制部940。通訊網路920係可為符合例如：CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)或FlexRay(註冊商標)等之任意規格的車載通訊網路。又，整合控制部940上係連接有輸入部951、聲音輸出部952、顯示部953。
各控制部係具備：依照各種程式而進行演算處理的微電腦；和記憶被微電腦所執行之程式或被使用於 各種演算之參數等的記憶部；和驅動各種控制對象之裝置的驅動電路。
驅動系控制部931，係依照各種程式來控制與車輛之驅動系有關連的裝置之動作。例如，驅動系控制部931成為：內燃機或驅動用馬達等之用來產生車輛之驅動力所需之驅動力產生裝置、用來將驅動力傳達至車輪所需之驅動力傳達機構、調節車輛之舵角的駕駛機構而發揮機能。又，驅動系控制部931係亦可具有：用來產生車輛之制動力的作為制動裝置等之控制裝置的機能、ABS(Antilock Brake System)或ESC(Electronic Stability Control)等之作為控制裝置的機能。
對驅動系控制部931係連接有車輛狀態偵測部9311。車輛狀態偵測部9311中係包含有，例如：偵測車體之軸旋轉運動之角速度的陀螺儀感測器、偵測車輛之加速度的加速度感測器、或者是用來偵測油門踏板的操作量、煞車踏板的操作量、方向盤的操舵角、引擎旋轉數或行走速度等所需之感測器的其中至少一者。驅動系控制部931係使用從車輛狀態偵測部9311所輸入之訊號來進行演算處理，以控制內燃機、驅動用馬達、電動動力操舵裝置或煞車裝置等。
車體系控制部932，係依照各種程式來控制被裝備於車體的各種裝置之動作。例如，車體系控制部932係成為：免鑰匙進入系統、智能鑰匙系統、動力車窗裝置、或者是頭燈、尾燈、煞車燈、方向燈或霧燈等之各種 燈具的控制裝置而發揮機能。此情況下，對車體系控制部932係可輸入，從替代鑰匙的攜行機所發出之電波或各種開關之訊號。車體系控制部932，係受理這些電波或訊號之輸入，以控制車輛的門鎖裝置、動力車窗裝置、燈具等。
電池控制部933，係依照各種程式來控制驅動用馬達之電力供給源也就是充電電池9331。例如，對電池控制部933，係從具備充電電池9331的電池裝置，輸入著電池溫度、電池輸出電壓或電池之剩餘容量等之資訊。電池控制部933，係使用這些訊號來進行演算處理，進行充電電池9331之溫度調節控制或電池裝置所具備之冷却裝置等之控制。
車外資訊偵測部934，係偵測搭載車輛控制系統90的車輛的外部資訊。在車外資訊偵測部934中，會利用使用到本技術之影像處理裝置的攝像系統。
圖28係攝像部之設置例的圖示。攝像系統的攝像部20係被設置在例如：車輛80的前車鼻、側後照鏡、後保險桿、後車門及車室內的前擋風玻璃之上部的其中至少一個位置。具備在前車鼻的攝像部20-A及具備在車室內之前擋風玻璃之上部的攝像部20-B，係主要取得車輛80前方的影像。具備在側後照鏡的攝像部20-C、20-D，係主要取得車輛80側方的影像。具備在後保險桿或後車門的攝像部20-E，係主要取得車輛80後方的影像。此外，圖28中係圖示了，各個攝像部20-A乃至20-E的攝 影範圍之一例。攝像範圍AR-a係表示被設在前車鼻的攝像部20-A的攝像範圍，攝像範圍AR-c、AR-d係分別表示被設在側後照鏡的攝像部20-C、20-D的攝像範圍，攝像範圍AR-e係表示被設在後保險桿或後車門的攝像部20-E的攝像範圍。
回到圖27，車外資訊偵測部934，係拍攝車輛之週邊領域並取得偏光影像。又，車外資訊偵測部934係從所取得之偏光影像進行反射成分之分離或抽出，進行可利用於車輛控制等的資訊，例如將反射成分予以分離去除之影像的生成等。
無線通訊部935，係透過DSRC(註冊商標)(Dedicated Short Range Communication)等之無線通訊網而與車外、例如其他車輛或管理道路狀況等的管理中心進行通訊，將所接收到的資訊，輸出至整合控制部940。又，無線通訊部935係亦可將車外資訊偵測部934所取得的資訊，發送往其他車輛或管理中心等。此外，無線通訊部935，係亦可透過無線LAN之無線通訊網、3G、LTE、4G等之行動電話用之無線通訊網等之無線通訊網，而與管理中心進行通訊。又，無線通訊部935，係亦可接收全地球測位系統(GNSS：Global Navigation Satellite System)之訊號等而進行測位，將測位結果輸出至整合控制部940。
對整合控制部940係連接有：輸入部951、聲音輸出部952、顯示部953。輸入部951係藉由例如：觸 控面板、按鈕、麥克風、開關或搖桿等，被搭乘者進行輸入操作的裝置來實現。輸入部951，係基於搭乘者等所輸入的資訊而生成輸入訊號，輸出至整合控制部940。
聲音輸出部952，係基於來自整合控制部940的聲音訊號而輸出聲音，藉此以對車輛之搭乘者以聽覺性來通知資訊。顯示部953，係基於來自整合控制部940的影像訊號而進行影像顯示，藉此以對車輛之搭乘者以視覺性來通知資訊。
整合控制部940係具有：CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等。ROM(Read Only Memory)係記憶被CPU(Central Processing Unit)所執行的各種程式。RAM(Random Access Memory)係記憶各種參數、演算結果或感測器值等之資訊。CPU，係執行被記憶在ROM中的各種程式，隨應於來自輸入部951的輸入訊號及透過通訊網路920之各控制部或藉由與車外資訊偵測部及無線通訊部之通訊而取得之資訊、及RAM中所記憶的資訊等，來控制車輛控制系統90內之動作全體。又，整合控制部940，係對車輛之搭乘者，生成表示以聽覺性通知資訊的聲音訊號而輸出至聲音輸出部952，並生成以視覺性通知資訊的影像訊號而輸出至顯示部953。又，整合控制部940，係使用無線通訊部935而與其他車輛或管理中心等之存在於車外的各種機器，進行通訊。又，整合控制部940，係基於ROM或RAM中所記憶 的地圖資訊與從無線通訊部935所取得的測位結果，來進行車輛之行走支援。
此外，在圖27所示的例子中，透過通訊網路920而被連接的至少二個控制部，係亦可被一體化成為一個控制部。或者，每個控制部，亦可由複數控制部所構成。甚至，車輛控制系統90亦可還具備未圖示的其他控制部。又，於上記的說明中，亦可使任一控制部所負責的機能之部分或全部，讓其他控制部來持有。亦即，只要是透過通訊網路920而進行資訊之收送訊，則所定之演算處理係亦可由任何控制部來進行。
在此種車輛控制系統中，將本技術之影像處理裝置適用於例如車外資訊偵測部的情況下，在車外資訊偵測部中，例如基於將反射成分予以分離去除後的周邊領域之影像來進行被攝體辨識，就可使得因為反射光而難以辨識的被攝體，可以容易辨識。因此，藉由使用本技術的影像處理裝置(影像處理方法)，就可架構出能夠安全行走的車輛控制系統。又，由於可容易辨識因為反射光而難以辨識的被攝體，因此亦可適用於監視系統等。
又，於說明書中所說明之一連串處理，係可藉由硬體、或軟體、或兩者的複合構成來執行。執行軟體所致之處理的情況下，是將記錄有處理程序的程式，安裝至組裝有專用硬體的電腦內的記憶體而執行。或者，亦可在能夠執行各種處理的通用電腦中，安裝進行上述處理的程式來執行。
例如，程式係可被預先記錄在作為記錄媒體的硬碟機或SSD(Solid State Drive)、ROM(Read Only Memory)中。或者，程式係可暫時性或永久性地，被儲存(記錄)在軟碟片、CD-ROM(Compact Disc Read Only Memory)、MO(Magneto optical)碟、DVD(Digital Versatile Disc)、BD(Blu-Ray Disc(註冊商標))、磁碟、半導體記憶卡等可移除式記錄媒體中待用。此種可移除式記錄媒體，係可以所謂套裝軟體的方式來提供。
又，程式係除了從可移除式記錄媒體安裝至電腦以外，還可從下載網站，透過LAN(Local Area Network)或網際網路等之網路，以無線或有線方式傳輸至電腦。在電腦中，係可將如此所被傳輸過來的程式予以接收，安裝在內建的硬碟等之記錄媒體。
此外，本說明書中所記載之效果僅為例示並非限定，亦可還有未被記載的附加性的效果。又，本技術係不應被上述的實施形態所限定而解釋。該實施形態，係以例示之形態來揭露本技術，在不脫離本技術之要旨的範圍內，當業者可進行實施形態之修正或代用，此乃自明事項。亦即，要判斷本技術之要旨，應要參酌申請專利範圍。
又，本技術的影像處理裝置係亦可採取如以下之構成。
(1)一種影像處理裝置，係具備：偏光影像處理部，係使用藉由將由同一偏光方向之複數像素所成之同一 偏光像素區塊按照複數偏光方向一一設置而在前記同一偏光像素區塊中設置所定之每種色彩之像素而構成的攝像元件所生成的偏光影像，來進行反射成分之分離或抽出。
(2)如(1)所記載之影像處理裝置，其中，前記偏光影像處理部，係使用前記偏光影像來進行擴散反射成分之抽出。
(3)如(1)所記載之影像處理裝置，其中，前記偏光影像處理部，係使用前記偏光影像來進行擴散反射成分與鏡面反射成分之分離。
(4)如(1)所記載之影像處理裝置，其中，還具備：法線資訊生成部，係從已被前記偏光影像處理部進行過前記反射成分之分離或抽出的偏光影像，生成法線資訊。
(5)如(4)所記載之影像處理裝置，其中，前記偏光影像處理部，係使用前記偏光影像來進行擴散反射成分之抽出；前記法線資訊生成部，係從表示已被前記偏光影像處理部所抽出之擴散反射成分的偏光影像，生成前記法線資訊。
(6)如(4)所記載之影像處理裝置，其中，前記偏光影像處理部，係使用前記偏光影像來進行擴散反射成分與鏡面反射成分之分離；前記法線資訊生成部，係將從表示已被前記偏光影像處理部所分離之擴散反射成分的偏光影像所生成的法線資 訊、和從表示已被前記偏光影像處理部所分離之鏡面反射成分的偏光影像所生成的法線資訊，予以整合。
(7)如(6)所記載之影像處理裝置，其中，前記法線資訊生成部，係對表示前記擴散反射成分的偏光影像與表示前記鏡面反射成分的偏光影像，進行加權以將前記法線資訊予以整合。
(8)如(7)所記載之影像處理裝置，其中，前記法線資訊生成部，係進行擴散反射與鏡面反射之任一者為優勢性所相應的加權，以將前記法線資訊予以整合。
(9)如(8)所記載之影像處理裝置，其中，前記法線資訊生成部，係將因偏光角之差異而產生的亮度變化較大的反射成分，視為前記優勢性的反射成分。
(10)如(8)所記載之影像處理裝置，其中，前記法線資訊生成部，係將對因偏光角之差異而產生的所定之亮度變化的誤差較少的反射成分，視為前記優勢性的反射成分。
(11)如(1)乃至(10)之任一項所記載之影像處理裝置，其中，具備：補正處理部，係對前記偏光影像進行前記所定之每種色彩之增益調整；前記偏光影像處理部，係對已被前記補正處理部進行過增益調整的偏光影像，進行前記反射成分之分離或抽出。
(12)如(1)乃至(11)之任一項所記載之影像處理裝置，其中，還具備：無偏光影像生成部，係從前記偏 光影像，每種色彩地，使用偏光方向為正交之像素來生成無偏光之影像。
[產業上利用之可能性]
若依據本技術的影像處理裝置與影像處理方法及攝像元件，則對於將由同一偏光方向之複數像素所成之同一偏光像素區塊按照複數偏光方向一一設置而在前記同一偏光像素區塊中設置所定之每種色彩之像素而構成的攝像元件所生成的偏光影像，會進行反射成分之分離或抽出的處理。因此，例如可考慮反射成分而生成高精度的法線資訊。因此，適合於取得被攝體之3維形狀的機器等。
10‧‧‧攝像系統
20‧‧‧攝像部
30‧‧‧影像處理部
31‧‧‧補正處理部
32‧‧‧偏光影像處理部
35‧‧‧法線資訊生成部
39‧‧‧無偏光影像生成部

Claims (16)

  1. 一種影像處理裝置，係具備：偏光影像處理部，係使用藉由將由同一偏光方向之複數像素所成之同一偏光像素區塊按照複數偏光方向一一設置而在前記同一偏光像素區塊中設置所定之每種色彩之像素而構成的攝像元件所生成的偏光影像，來進行反射成分之分離或抽出；法線資訊生成部，係從已被前記偏光影像處理部進行過前記反射成分之分離或抽出的偏光影像，生成法線資訊；前記偏光影像處理部，係使用前記偏光影像來進行擴散反射成分與鏡面反射成分之分離；前記法線資訊生成部，係對表示前記擴散反射成分的偏光影像與表示前記鏡面反射成分的偏光影像，進行加權以將前記法線資訊予以整合。
  2. 如請求項1所記載之影像處理裝置，其中，前記偏光影像處理部，係使用前記偏光影像來進行擴散反射成分之抽出。
  3. 如請求項1所記載之影像處理裝置，其中，前記偏光影像處理部，係使用前記偏光影像來進行擴散反射成分之抽出；前記法線資訊生成部，係從表示已被前記偏光影像處理部所抽出之擴散反射成分的偏光影像，生成前記法線資訊。
  4. 如請求項1所記載之影像處理裝置，其中，前記偏光影像處理部，係使用前記偏光影像來進行擴散反射成分與鏡面反射成分之分離；前記法線資訊生成部，係將從表示已被前記偏光影像處理部所分離之擴散反射成分的偏光影像所生成的法線資訊、和從表示已被前記偏光影像處理部所分離之鏡面反射成分的偏光影像所生成的法線資訊，予以整合。
  5. 如請求項1所記載之影像處理裝置，其中，前記法線資訊生成部，係進行擴散反射與鏡面反射之任一者為優勢性所相應的加權，以將前記法線資訊予以整合。
  6. 如請求項5所記載之影像處理裝置，其中，前記法線資訊生成部，係將因偏光角之差異而產生的亮度變化較大的反射成分，視為前記優勢性的反射成分。
  7. 如請求項5所記載之影像處理裝置，其中，前記法線資訊生成部，係將對因偏光角之差異而產生的所定之亮度變化的誤差較少的反射成分，視為前記優勢性的反射成分。
  8. 如請求項1所記載之影像處理裝置，其中，具備：補正處理部，係對前記偏光影像進行前記所定之每種色彩之增益調整；前記偏光影像處理部，係對已被前記補正處理部進行過增益調整的偏光影像，進行前記反射成分之分離或抽出。
  9. 如請求項1所記載之影像處理裝置，其中，還具備：無偏光影像生成部，係從前記偏光影像，每種色彩地，使用偏光方向為正交之像素來生成無偏光之影像。
  10. 一種影像處理方法，係含有：使用藉由將由同一偏光方向之複數像素所成之同一偏光像素區塊按照複數偏光方向一一設置，而在前記同一偏光像素區塊中設置各色之像素而構成的攝像元件所生成的所定之每種色彩之偏光影像，以偏光影像處理部來進行反射成分之分離或抽出；從已被前記偏光影像處理部進行過前記反射成分之分離或抽出的偏光影像，生成法線資訊；以前記偏光影像處理部，使用前記偏光影像來進行擴散反射成分與鏡面反射成分之分離；以前記法線資訊生成部，對表示前記擴散反射成分的偏光影像與表示前記鏡面反射成分的偏光影像，進行加權以將前記法線資訊予以整合。
  11. 一種攝像元件，係具備：偏光件，係將由同一偏光方向之複數像素所成之同一偏光像素區塊，按照複數偏光方向一一設置；和彩色濾光片，係在前記偏光件之前記同一偏光像素區塊中，設置所定之每種色彩之像素；和感測器部，係基於穿透了前記偏光件與前記彩色濾光片的被攝體光而生成影像訊號； 前記彩色濾光片，係將所定之色彩排列之單位也就是色彩圖案單位區塊，在像素之行方向與列方向上重複設置而構成；前記偏光件的前記同一偏光像素區塊係與前記色彩圖案單位區塊的尺寸相等。
  12. 如請求項11所記載之攝像元件，其中，前記彩色濾光片，係將所定之色彩排列之像素區塊也就是色彩圖案單位區塊，在像素之行方向與列方向上重複設置而構成；前記偏光件，係將前記同一偏光像素區塊按照複數偏光方向一一設置而成的像素區塊也就是偏光圖案單位區塊，在像素之行方向與列方向上重複設置而構成；使其產生前記色彩圖案單位區塊與前記偏光圖案單位區塊之位置差異，而在前記同一偏光像素區塊中設置所定之每種色彩之像素。
  13. 如請求項11所記載之攝像元件，其中，前記偏光件，係將偏光方向為正交之前記同一偏光像素區塊，在像素之行方向或列方向上交互設置。
  14. 如請求項11所記載之攝像元件，其中，前記偏光件，係將偏光方向為不同的前記同一偏光像素區塊，在像素之行方向(或列方向)上以所定之順序重複設置，在後一行(或列)中，相對於前一行(或列)而使區塊位置之差異產生於行方向(或列方向)上，而將與前一行(或列)不同偏光方向的前記同一偏光像素區塊， 在行方向(或列方向)上以所定之順序重複設置。
  15. 如請求項11所記載之攝像元件，其中，前記偏光件，係在前記同一偏光像素區塊中設置無偏光之像素；前記彩色濾光片，係以使得在選擇了前記無偏光之像素時的色彩排列會是所望之排列的方式，來對前記無偏光之像素，設定色彩。
  16. 如請求項11所記載之攝像元件，其中，前記彩色濾光片，係在前記同一偏光像素區塊中，設置三原色之像素與白色之像素。
TW105103146A 2015-02-27 2016-02-01 影像處理裝置和影像處理方法及攝像元件 TWI682671B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015038164 2015-02-27
JP2015-038164 2015-02-27

Publications (2)

Publication Number Publication Date
TW201705758A TW201705758A (zh) 2017-02-01
TWI682671B true TWI682671B (zh) 2020-01-11

Family

ID=56789644

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105103146A TWI682671B (zh) 2015-02-27 2016-02-01 影像處理裝置和影像處理方法及攝像元件

Country Status (6)

Country Link
US (1) US10362280B2 (zh)
EP (1) EP3264754B1 (zh)
JP (1) JP6673327B2 (zh)
CN (1) CN107251553B (zh)
TW (1) TWI682671B (zh)
WO (1) WO2016136085A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2929648T3 (es) * 2015-04-30 2022-11-30 Sony Group Corp Dispositivo de procesamiento de imágenes, método de procesamiento de imágenes y programa
JP6697681B2 (ja) * 2016-08-17 2020-05-27 ソニー株式会社 検査装置、検査方法、およびプログラム
WO2018061508A1 (ja) * 2016-09-28 2018-04-05 ソニー株式会社 撮像素子、画像処理装置、および画像処理方法、並びにプログラム
WO2018207661A1 (ja) * 2017-05-11 2018-11-15 ソニー株式会社 光センサ、及び、電子機器
US10168273B1 (en) * 2017-07-01 2019-01-01 Kla-Tencor Corporation Methods and apparatus for polarizing reticle inspection
JP7230824B2 (ja) * 2017-11-21 2023-03-01 ソニーグループ株式会社 画像処理装置、画像処理方法およびプログラム
CN111356895A (zh) * 2017-11-24 2020-06-30 索尼公司 检测装置以及生产电子装置的方法
US11637967B2 (en) 2018-04-09 2023-04-25 Sony Corporation Information processing apparatus, information processing method, and calibration apparatus
US20210211619A1 (en) * 2018-06-05 2021-07-08 Sony Corporation Information generation device, information generation method and program
US11796308B2 (en) * 2018-08-24 2023-10-24 Yamaha Hatsudoki Kabushiki Kaisha Three-dimensional measuring apparatus, three-dimensional measuring method
JP2020038107A (ja) * 2018-09-04 2020-03-12 株式会社三井フォトニクス 温度計測装置
US11004253B2 (en) * 2019-02-21 2021-05-11 Electronic Arts Inc. Systems and methods for texture-space ray tracing of transparent and translucent objects
CN113557709A (zh) * 2019-04-19 2021-10-26 索尼集团公司 成像装置、图像处理装置和图像处理方法
WO2021033326A1 (ja) * 2019-08-22 2021-02-25 オリンパス株式会社 撮像素子、内視鏡および内視鏡システム
JP2021056164A (ja) * 2019-10-01 2021-04-08 富士ゼロックス株式会社 情報処理装置、発光装置、情報処理システム、及びプログラム
TW202131671A (zh) * 2019-10-07 2021-08-16 日商索尼半導體解決方案公司 電子機器
JPWO2021084907A1 (zh) * 2019-10-30 2021-05-06
CN110708453A (zh) * 2019-11-12 2020-01-17 Oppo广东移动通信有限公司 图像传感器、相机模组、终端和成像方法
CN110784633B (zh) * 2019-11-12 2021-07-16 Oppo广东移动通信有限公司 图像传感器、相机模组、终端和成像方法
CN110995968B (zh) * 2019-11-25 2021-08-20 Oppo广东移动通信有限公司 图像传感器、摄像装置、电子设备和成像方法
US20230342963A1 (en) * 2019-12-13 2023-10-26 Sony Group Corporation Imaging device, information processing device, imaging method, and information processing method
CN113516607B (zh) * 2021-04-23 2024-02-13 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备及存储介质
CN113286067B (zh) * 2021-05-25 2023-05-26 Oppo广东移动通信有限公司 图像传感器、摄像装置、电子设备及成像方法
JP2022182346A (ja) * 2021-05-28 2022-12-08 ソニーセミコンダクタソリューションズ株式会社 信号処理装置および方法、並びにプログラム
WO2023105961A1 (ja) * 2021-12-08 2023-06-15 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2023111625A (ja) * 2022-01-31 2023-08-10 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、信号処理方法、プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090279807A1 (en) * 2007-02-13 2009-11-12 Katsuhiro Kanamorl System, method and apparatus for image processing and image format
US20100282945A1 (en) * 2009-05-11 2010-11-11 Sony Corporation Two-dimensional solid-state image capture device and polarization-light data processing method therefor
US20130270421A1 (en) * 2011-09-02 2013-10-17 Panasonic Corporation Polarization image sensor and endoscope

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090279807A1 (en) * 2007-02-13 2009-11-12 Katsuhiro Kanamorl System, method and apparatus for image processing and image format
US20100282945A1 (en) * 2009-05-11 2010-11-11 Sony Corporation Two-dimensional solid-state image capture device and polarization-light data processing method therefor
US20130270421A1 (en) * 2011-09-02 2013-10-17 Panasonic Corporation Polarization image sensor and endoscope

Also Published As

Publication number Publication date
EP3264754A4 (en) 2018-09-05
JPWO2016136085A1 (ja) 2017-12-07
EP3264754B1 (en) 2022-02-16
JP6673327B2 (ja) 2020-03-25
CN107251553B (zh) 2019-12-17
US20180013988A1 (en) 2018-01-11
WO2016136085A1 (ja) 2016-09-01
CN107251553A (zh) 2017-10-13
US10362280B2 (en) 2019-07-23
EP3264754A1 (en) 2018-01-03
TW201705758A (zh) 2017-02-01

Similar Documents

Publication Publication Date Title
TWI682671B (zh) 影像處理裝置和影像處理方法及攝像元件
US11405603B2 (en) Imaging device, image processing device and image processing method
US10460422B2 (en) Image processing device and image processing method
CN109804621B (zh) 图像处理装置、图像处理方法和图像拾取装置
JP6693530B2 (ja) 画像処理装置と画像処理方法
US20170228606A1 (en) Information processing apparatus, information processing method, and recording medium
JP6029954B2 (ja) 撮像装置
WO2018179671A1 (ja) 画像処理装置と画像処理方法および撮像装置
CN111357282B (zh) 图像处理装置、图像处理方法、程序和固态成像装置
US11172173B2 (en) Image processing device, image processing method, program, and imaging device
JP6874315B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6825299B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN112241935B (zh) 图像处理方法、装置及设备、存储介质
WO2022249562A1 (ja) 信号処理装置および方法、並びにプログラム