TW202147258A - 影像處理裝置、及影像處理方法、以及程式 - Google Patents

影像處理裝置、及影像處理方法、以及程式 Download PDF

Info

Publication number
TW202147258A
TW202147258A TW110115854A TW110115854A TW202147258A TW 202147258 A TW202147258 A TW 202147258A TW 110115854 A TW110115854 A TW 110115854A TW 110115854 A TW110115854 A TW 110115854A TW 202147258 A TW202147258 A TW 202147258A
Authority
TW
Taiwan
Prior art keywords
image
skin
unit
analysis
department
Prior art date
Application number
TW110115854A
Other languages
English (en)
Inventor
五味信一郎
栗田哲平
Original Assignee
日商索尼集團公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼集團公司 filed Critical 日商索尼集團公司
Publication of TW202147258A publication Critical patent/TW202147258A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/21—Polarisation-affecting properties
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • G01N21/57—Measuring gloss
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mathematical Physics (AREA)
  • Dentistry (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

可生成高精度地反映出使用者的臉部之已去除體毛或斑點等之雜訊的皮膚的凹凸的雜訊去除皮膚影像，實現可將高精度的皮膚之3維形狀予以解析的構成。具有：影像取得部，係取得臉部等之皮膚影像；和影像解析部，係將影像取得部所取得之皮膚影像，予以解析；和3維形狀解析部，係利用影像解析部之解析結果而將皮膚的3維形狀予以解析。影像取得部，係取得不同之波長光的複數個偏光影像；影像解析部，係將偏光影像予以解析，而生成皮膚表面的鏡面反射成分影像、與黑色素濃度指標值影像；使用已生成的這些影像，而生成已去除體毛或斑點等之雜訊的雜訊去除皮膚影像。3維形狀解析部，係利用該雜訊去除皮膚影像而將皮膚之高精度的3維形狀予以解析。

Description

影像處理裝置、及影像處理方法、以及程式
本揭露係有關於影像處理裝置、及影像處理方法、以及程式。更詳言之係有關於，執行人類皮膚之解析處理的影像處理裝置、及影像處理方法、以及程式。
使用近拍攝影相機來拍攝人類皮膚表面之像素，基於攝影影像來觀察/診斷皮膚狀態的處理、或藉由解析攝影影像，而將皮膚之細紋/毛孔等之狀態予以數值化，基於結果而從健康、美容的觀點來進行護理，係被廣泛進行。
例如，在將皮膚表面之細紋或毛孔進行解析的情況下，必需要將皮膚表面之滑順度或凹凸形狀，以高精度進行解析。如此的皮膚表面之滑順度或凹凸形狀的解析精度，係隨著相機影像攝影時的照明或表面凹凸形狀所產生的陰影之程度而變化。再者，皮膚表面上會有陰影與容易錯誤辨識的斑點或體毛等，由於這些錯誤辨識，有時會導致解析結果中產生錯誤。
因此，為了實現高精度的解析處理，需要將起因於實際之皮膚之凹凸形狀的陰影、與起因於其他斑點或體毛等的陰影成分予以分離的處理。
作為揭露了解決該課題之手法的先前技術，係有例如專利文獻1(日本特開2015-187849號公報)、或專利文獻2(日本特開2013-188341號公報)。
專利文獻1(日本特開2015-187849號公報)係揭露藉由對灰階影像與邊緣影像之差分進行二值化處理，而將體毛(睫毛)領域與皮膚領域予以分離的構成。 又，專利文獻2(日本特開2013-188341號公報)係揭露，藉由影像的色彩成分而將體毛領域與皮膚領域予以分離的構成。
可是，在這些手法中，會發生把皮膚表面之皮溝所致之陰影錯誤辨識成體毛的錯誤、或無法區別斑點領域之皮溝所致之陰影的問題。 [先前技術文獻] [專利文獻]
[專利文獻1]日本特開2015-187849號公報 [專利文獻2]日本特開2013-188341號公報
[發明所欲解決之課題]
本揭露係有鑑於例如上記問題點而研發，例如拍攝人類皮膚的偏光影像，將所拍攝到的偏光影像進行解析，將鏡面反射與內部散射等予以分離，藉此以排除痣或斑點等之影響。 其後，進行分光影像之攝影，藉由分光影像之解析，將含有較多黑色素的領域，例如體毛或斑點予以偵測並從解析對象予以排除，藉此而只選擇並取得起因於皮膚表面之凹凸的陰影成分，將該已被選擇之資料進行解析，而生成皮膚表面之細紋、或凹凸之解析資料。 本揭露目的在於提供一種，藉由這些處理，以實現人類皮膚之高精度的解析處理的影像處理裝置、及影像處理方法、以及程式。 [用以解決課題之手段]
本揭露之第1側面，係在於一種影像處理裝置，其係 具有： 影像取得部，係取得皮膚影像；和 影像解析部，係將前記影像取得部所取得之影像，予以解析；和 3維形狀解析部，係利用前記影像解析部之解析結果而將皮膚的3維形狀予以解析； 前記影像取得部係 取得不同之波長光的複數個偏光影像； 前記影像解析部係 將前記偏光影像予以解析，而生成已去除雜訊之雜訊去除皮膚影像； 前記3維形狀解析部係 利用前記雜訊去除皮膚影像而將皮膚的3維形狀予以解析。
再者，本揭露之第2側面係為， 在於一種影像處理方法，係屬於影像處理裝置中所執行的影像處理方法，其係， 執行： 影像取得處理，係由影像取得部來取得皮膚影像；和 影像解析處理，係由影像解析部來將前記影像取得部所取得之影像予以解析；和 3維形狀解析處理，係由3維形狀解析部，利用前記影像解析部之解析結果而將皮膚的3維形狀予以解析； 前記影像取得部係 取得不同之波長光的複數個偏光影像； 前記影像解析部係 將前記偏光影像予以解析，而生成已去除雜訊之雜訊去除皮膚影像； 前記3維形狀解析部係 利用前記雜訊去除皮膚影像而將皮膚的3維形狀予以解析。
再者，本揭露之第3側面係為， 在於一種程式，係屬於在影像處理裝置中令其執行影像處理的程式，其係， 執行： 影像取得處理，係令影像取得部取得皮膚影像；和 影像解析處理，係令影像解析部，將前記影像取得部所取得之影像予以解析；和 3維形狀解析處理，係令3維形狀解析部，利用前記影像解析部之解析結果而將皮膚的3維形狀予以解析； 於前記影像取得處理中，係 令其取得不同之波長光的複數個偏光影像； 於前記影像解析處理中，係 令其將前記偏光影像予以解析，而生成已去除雜訊之雜訊去除皮膚影像； 於前記3維形狀解析處理中，係 令其利用前記雜訊去除皮膚影像而將皮膚的3維形狀予以解析。
此外，本揭露的程式，係對例如可執行各種程式碼的資訊處理裝置或電腦系統，藉由以電腦可讀取之形式而提供的記憶媒體、通訊媒體，來加以提供的程式。藉由將此種程式以電腦可讀取形式來提供，就可在資訊處理裝置或電腦系統上實現相應於程式的處理。
本揭露的更多其他目的、特徵或優點，係可基於後述本揭露之實施例或添附圖式所作的更詳細說明來理解。此外，於本說明書中，所謂的系統，係為複數裝置的邏輯集合構成，各構成之裝置係不限於位在同一框體內者。
若依據本揭露的一實施例之構成，則可生成高精度地反映出使用者的臉部之已去除體毛或斑點等之雜訊的皮膚的凹凸的雜訊去除皮膚影像，實現可將高精度的皮膚之3維形狀予以解析的構成。 具體而言，例如，具有：影像取得部，係取得臉部等之皮膚影像；和影像解析部，係將影像取得部所取得之皮膚影像，予以解析；和3維形狀解析部，係利用影像解析部之解析結果而將皮膚的3維形狀予以解析。影像取得部，係取得不同之波長光的複數個偏光影像；影像解析部，係將偏光影像予以解析，而生成皮膚表面的鏡面反射成分影像、與黑色素濃度指標值影像；使用已生成的這些影像，而生成已去除體毛或斑點等之雜訊的雜訊去除皮膚影像。3維形狀解析部，係利用該雜訊去除皮膚影像而將皮膚之高精度的3維形狀予以解析。 藉由本構成，則可生成高精度地反映出使用者的臉部之已去除體毛或斑點等之雜訊的皮膚的凹凸的雜訊去除皮膚影像，實現可將高精度的皮膚之3維形狀予以解析的構成。 此外，本說明書中所記載之效果僅為例示並非限定，亦可還有附加性的效果。
以下，參照圖式，說明本揭露的影像處理裝置、及影像處理方法、以及程式的細節。此外，說明是按照以下項目來進行。 1.關於本揭露的影像處理裝置所執行的處理之概要 2.關於本揭露的影像處理裝置的構成例 3.關於影像處理裝置的各構成要素的構成、所執行之處理的細節 3-(1).關於影像取得部的構成與處理的細節 3-(2).關於影像解析部的構成與處理的細節 3-(3).關於3維(3D)形狀解析部的構成與處理的細節 3-(4).關於顯示部的構成與處理的細節 4.關於影像處理裝置所執行的處理之程序 5.關於在像素單位的法線資訊之算出中所使用的學習器的生成所需之學習處理的例子 6.關於影像取得部(相機)的其他構成例 7.關於影像處理裝置的硬體構成例 8.本揭露之構成的總結
[1.關於本揭露的影像處理裝置所執行的處理之概要] 首先，以下參照圖1來說明本揭露的影像處理裝置所執行的處理之概要。
本揭露的影像處理裝置，係例如將人的臉部之皮膚以近拍相機予以拍攝，並進行該相機攝影影像之解析，並進行生成高精度的解析結果而加以顯示的處理。
本揭露的影像處理裝置所執行的處理之概要係如以下所述。 例如使用偏光感測器相機，拍攝人的臉部之皮膚的偏光影像，將所拍攝到的偏光影像進行解析，將鏡面反射與內部散射等予以分離，藉此以排除痣或斑點等之影響。
其後，進行分光影像之攝影，藉由分光影像之解析，將含有較多黑色素的領域，例如體毛或斑點領域予以偵測並從解析對象予以排除，藉此而只選擇並取得起因於皮膚表面之凹凸的陰影成分，將該已被選擇之資料進行解析，而生成皮膚表面之細紋、或凹凸之解析資料。 本揭露係藉由這些處理，而不受體毛或斑點之影響，將皮膚表面之形狀亦即皮膚之3維(3D)形狀予以解析，根據解析結果而生成皺紋、細紋等人類皮膚之高精度的解析資料並提供給使用者。
圖1、圖2係為本揭露的影像處理裝置的顯示部中所被顯示的UI(使用者介面)之例子的圖示。
圖1係為對使用者所顯示的初期畫面之例子。 如圖1所示，在初期畫面中，係有： (a)使用者動作指引影像 (b)相機攝影皮膚影像 (c)攝影開始小圖示 係含有這些顯示資料。
(a)使用者動作指引影像，係為用來說明需要由使用者來進行的動作所需的說明影像。圖示的例子係為，正在說明請將相機對著臉頰而進行攝影的例。 (b)相機攝影皮膚影像，係藉由使用者對準使用者之臉頰而用相機所正在拍攝的實際的攝影影像。 (c)攝影開始小圖示係為，藉由使用者的觸碰，就會進行相機所致之攝影所需之相當於開關(快門)的小圖示。
依照該初期畫面而使用者一旦觸碰攝影開始小圖示，則使用者的臉部之皮膚影像就被拍攝。 一旦影像被拍攝，影像處理裝置就開始攝影影像的解析處理。 影像處理裝置，係一旦解析處理結束，就生成解析結果並顯示在顯示部。
圖2係為解析結果的顯示資料之一例的圖示。 圖2所示的例子係為，使用者的皮膚之細紋解析結果的顯示例。此外，解析資料係有各式各樣的種類，圖2所示的例子係為其中一例。
在圖2所示的例子中係為，基於使用者的額頭、臉頰、下巴之3個皮膚領域的攝影影像，而將3處各自的細紋評價值、與綜合評價值加以顯示的例子。 除此以外，使用者的皮膚影像、或皮膚影像對應之解析結果的影像等，也被顯示。 此外，如前述，解析資料，係不限於該圖2所示的資料，而有各式各樣的資料。
[2.關於本揭露的影像處理裝置的構成例] 接著說明本揭露的影像處理裝置的構成例。
圖3係為本揭露的影像處理裝置的構成例的圖示。 如圖3所示，本揭露的影像處理裝置100係具有：影像取得部(相機)110、影像解析部120、3維(3D)形狀解析部130、顯示部140。
影像取得部(相機)110，係為例如拍攝人的臉部之皮膚的近拍相機，具有複數色彩對應偏光影像取得部111。 影像解析部120係具有：偏光訊號解析部121、色素訊號解析部122、訊號判定部123。 3維(3D)形狀解析部130係具有：法線資訊推定部131、距離資訊轉換部132、距離資訊解析部133。 顯示部140係具有：測定資訊顯示部141、訊號資訊顯示部142、3維形狀顯示部143、測定狀況顯示部144。
首先說明這些構成部所執行的處理之概要。 關於各構成部所執行的處理的細節則是在後段依序說明。
影像取得部(相機)110，係將測定對象，例如使用者的臉部之皮膚(=測定對象)之影像，予以拍攝。影像取得部(相機)110，係將在後段的影像解析部120中進行解析所需之影像資料，加以取得。
影像取得部110的複數色彩對應偏光影像取得部111係進行，將複數色彩，具體而言係為例如白色光、紅色光、近紅外(NIR)光之各者的偏光影像加以取得的處理。
影像解析部120，係將影像取得部110的測定結果予以輸入並進行訊號解析。 影像解析部120的偏光訊號解析部121，係利用影像取得部110的複數色彩對應偏光影像取得部111所取得的偏光影像，進行將偏光成分訊號分離成鏡面反射光成分和其以外之成分(內部散射光等)的處理。
影像解析部120的色素訊號解析部122，係將影像取得部110的複數色彩對應偏光影像取得部111所取得的紅色(R)光、或近紅外(NIR)光對應之偏光影像予以解析，進行將人類皮膚以外之外在干擾的色素訊號予以解析的處理。
影像解析部120的訊號判別部123，係將偏光訊號解析部121與色素訊號解析部122的解析結果予以輸入，並生成例如去除了體毛或斑點等之外在干擾之影響的反映出皮膚表面之凹凸形狀的影像訊號。
3維(3D)形狀解析部130，係使用從影像解析部120所被輸出之訊號，而將相機攝影影像中所含之皮膚的3維(3D)形狀予以解析。
3維(3D)形狀解析部130的法線資訊推定部131，係推定皮膚表面的法線資訊。此外，所謂法線，係為正交於物件表面的線。在本揭露的處理中，是相當於正交於皮膚表面的線。
3維(3D)形狀解析部130的距離資訊轉換部132，係將法線資訊推定部131所推定出來的皮膚表面的法線資訊，轉換成表示皮膚表面之凹凸形狀的距離資訊。 3維(3D)形狀解析部130的距離資訊解析部133，係使用距離資訊轉換部132所生成的距離資訊，而將皮膚表面之粗度係數等，可當作皮膚的細紋等之評價指標的指標值，予以算出、解析。
顯示部140，係將影像取得部(相機)110、影像解析部120、3維(3D)形狀解析部130之各者中所被取得、解析的資料，加以顯示。 顯示部140的測定資訊顯示部141，係將影像取得部110所取得、或所測定出來的資訊，加以顯示。 顯示部140的訊號資訊顯示部142，係將影像解析部120所解析出來的資訊，加以顯示。
顯示部140的3維形狀顯示部143，係將3維(3D)形狀解析部130所解析出來的人類皮膚的3維形狀資訊，加以顯示。 顯示部140的測定狀況顯示部144，係將影像取得部110～3維(3D)形狀解析部130中正在執行中的處理之進度資訊等，加以顯示。
[3.關於影像處理裝置的各構成要素的構成、所執行之處理的細節] 接著說明，本揭露的影像處理裝置100的各構成要素的構成、所執行之處理的細節。
針對以下所示的各構成部的構成與處理的細節，依序加以說明。 (1)關於影像取得部的構成與處理的細節 (2)關於影像解析部的構成與處理的細節 (3)關於3維(3D)形狀解析部的構成與處理的細節 (4)關於顯示部的構成與處理的細節
(3-(1).關於影像取得部的構成與處理的細節) 首先說明，影像取得部(相機)110的構成與處理的細節。
如前述，影像取得部(相機)110，係將藉由將影像取得部(相機)110之近拍相機所拍攝的測定對象，例如，使用者的臉部之皮膚(=測定對象)之影像，進行攝影。
影像取得部(相機)110的複數色彩對應偏光影像取得部111係進行，將複數色彩，具體而言係為例如白色光、紅色光、近紅外(NIR)光之各者的偏光影像加以取得的處理。
圖4係影像取得部(相機)110之構成例的圖示。 如圖4所示，影像取得部(相機)110，係具有攝像部210、和攝像部之周圍的照明部220。
攝像部210周圍的照明部220，係如圖示，是由以下3種類之照明所構成。 (a)照明A=在白色LED前面設置某種方向之偏光濾光片的照明A221； (b)照明B=由紅色LED所構成的照明B222； (c)照明C=由近紅外(NIR)LED所構成的照明C223。
此外，照明A221，係由輸出約400～700nm之可見光領域之波長光的LED所構成。 照明B，係由輸出約660nm之紅(R)色光領域之波長光的LED所構成。 照明C，係由輸出約880nm之近紅外(NIR)光領域之波長光的LED所構成。
影像取得部(相機)110，係針對同一皮膚領域，將這3種類的照明A～C依序點亮，而取得在3種類之不同照明環境下所拍攝到的3張影像。
攝像部210，係由偏光感測器相機所構成。此外，許多一般的相機所被裝著的紅外(IR)光截除濾光片係被去除。
參照圖5、圖6，說明攝像部210的詳細構成。 如圖5所示，攝像部210的構成攝像元件的各像素上，係分別設有只讓朝特定方向而偏光的光線通過的作為濾光片而發揮機能的偏光件。在偏光件之下設有，將通過了偏光件的光線予以受光的光電轉換元件。
構成攝像元件的各像素上所被設定的偏光件，係例如以2×2=4像素為一單位，這些4像素係為只讓各自不同之偏光方向的光線通過的構成。 圖5右下所示的攝像元件之各像素中所示的網點係表示偏光方向。 例如，圖5右下所示的4個像素a231、b232、c233、d234的偏光方向係設定如下。
像素a231的偏光方向係為水平方向，像素a係僅受光水平偏光。亦即，像素a231係為0度偏光像素。 像素b232的偏光方向係為左下斜方向，像素b係僅受光左下斜方向之偏光。亦即，像素b232係為45度偏光像素。 像素c233的偏光方向係為垂直方向，像素c係僅受光垂直方向的偏光。亦即，像素c233係為90度偏光像素。 像素d234的偏光方向係為左上斜方向，像素d係僅受光左上斜偏光。亦即，像素d234係為135度偏光像素。
在圖5所示的例子中，攝像元件係為，以2×2=4像素為一單位而讓各自不同的偏光方向光通過的構成，如此的4像素單位之構成係被重複設定，構成了攝像部210的全像素。
圖6係為攝像部210的攝像元件之剖面構成的圖示。 如圖6右下的剖面放大圖所示，攝像元件之剖面，係從上(攝像元件表面)往下(攝像元件內部)，具有由以下之各層所構成的層積構成。 (1)矽透鏡， (2)偏光件， (3)光電轉換元件， 攝像部210，係為具有這些(1)～(3)之各層的層積構成。
藉由影像攝影而輸入至攝像元件的光，係透過矽透鏡，通過偏光件，而被光電轉換元件所受光。
攝像部210，係如圖6所示，具有： (a)讓複數個不同的偏光方向之偏光通過的複數個偏光件；和 (b)對應於複數個偏光件之各者而被設定的光電轉換元件，其係將透過各偏光件的入射光予以受光，並取得偏光影像的光電轉換元件。 各像素的光電轉換元件，係僅將特定之偏光影像予以受光。 因此，特定之偏光影像，係在攝像元件之4像素中，只能被1像素所受光。
基於該只有一部分像素的偏光影像，而生成全像素之偏光影像的處理(去馬賽克處理)，係於後段的影像解析部120的偏光訊號解析部211中被執行。 關於該處理(去馬賽克處理)將於後段中說明。
如參照圖4～圖6所說明，影像取得部(相機)110，係用以下3種類的不同之波長光，亦即： (a)照明A=在白色LED前面設置某種方向之偏光濾光片的照明A221； (b)照明B=由紅色LED所構成的照明B222； (c)照明C=由近紅外(NIR)LED所構成的照明C223； 在這3書種類的不同的照明之下，拍攝4種類(0度、45度、90度、135度)之偏光影像。攝影影像係被輸入至後段的影像解析部120。
(3-(2).關於影像解析部的構成與處理的細節) 接著說明，影像解析部120的構成與處理的細節。
如前述，影像解析部120，係將影像取得部110的測定結果予以輸入並進行訊號解析。 影像解析部120的偏光訊號解析部121，係利用影像取得部110的複數色彩對應偏光影像取得部111所取得的偏光影像，進行將偏光成分訊號分離成鏡面反射光成分和其以外之成分(內部散射光等)的處理。
影像解析部120的色素訊號解析部122，係將影像取得部110的複數色彩對應偏光影像取得部111所取得的紅色(R)光、或近紅外(NIR)光對應之偏光影像予以解析，進行將人類皮膚以外之外在干擾的色素訊號予以解析的處理。
影像解析部120的訊號判別部123，係將偏光訊號解析部121與色素訊號解析部122的解析結果予以輸入，並生成例如去除了體毛或斑點等之外在干擾之影響的反映出皮膚表面之凹凸形狀的影像訊號。
首先，說明影像解析部120的偏光訊號解析部121所執行的處理。 偏光訊號解析部121，係利用影像取得部110的複數色彩對應偏光影像取得部111所取得的偏光影像，進行將偏光成分訊號分離成鏡面反射光成分和其以外之成分(內部散射光等)的處理。
偏光訊號解析部121，係具有去馬賽克部、和偏光模型推定部。 偏光訊號解析部121的去馬賽克部，係影像取得部110的複數色彩對應偏光影像取得部111所取得的偏光影像，亦即如之前所說明，在攝像元件的4像素中，只有1像素能夠受光的4種類之偏光影像(0度偏光影像、45度偏光影像、90度偏光影像、135度偏光影像)，針對其各者，執行生成4種類之全像素之偏光影像(0度偏光影像、45度偏光影像、90度偏光影像、135度偏光影像)的處理(去馬賽克處理)。
偏光模型推定部，係藉由利用了去馬賽克部所生成的4種類之全像素之偏光影像(0度偏光影像、45度偏光影像、90度偏光影像、135度偏光影像)的影像解析處理，而執行從像素值中所含之光成分，僅取得被皮膚表面所反射之鏡面反射成分光的處理，亦即，去除了鏡面反射光成分以外之成分(內部散射光等)的鏡面反射成分抽出處理。
首先，參照圖7，說明偏光訊號解析部121的去馬賽克部所執行的去馬賽克處理。
如之前參照圖5所說明，影像取得部110的複數色彩對應偏光影像取得部111所取得的偏光影像，係以攝像元件之4像素單位而拍攝的各像素為不同的4種類之偏光影像(0度偏光影像、45度偏光影像、90度偏光影像、135度偏光影像)。
因此，各偏光影像(0度偏光影像、45度偏光影像、90度偏光影像、135度偏光影像)係只在攝像部的攝像元件的4像素中的1像素中被拍攝。4像素中的剩餘之3像素係拍攝別的偏光影像。
去馬賽克部，係使用4像素之1像素中所被攝影的特定之偏光影像的像素值而執行像素值補插處理，執行將特定之偏光影像的像素值設定至全像素的去馬賽克處理。
參照圖7說明具體的去馬賽克處理之例子。 去馬賽克處理係為，利用某個像素的像素值，來推定像素值的未被設定之像素的像素值並加以設定的像素值補插處理，係有各式各樣的手法。 圖7所示的例子係為，像素值補插處理之代表例的雙線性補插的說明圖。
例如在圖7所示的例子中，90度偏光影像的像素值，係被設定至攝像部210的攝像元件的4像素中的只有1像素。對圖7所示的a、b、c、d各像素係被設定有90度偏光影像的像素值。 例如對圖7所示的左上端的4像素中a像素以外的P、Q、R各像素，係不會被設定90度偏光影像的像素值。
在如此的設定下，將像素P、Q、R各像素的90度偏光影像的像素值加以推定並設定。 如圖7所示，依照雙線性補插的像素值補插演算法，而可將P、Q、R各像素的90度偏光影像的像素值，依照以下的算出式而予以算出(推定)。
Figure 02_image001
如此，未被設定像素值之像素的像素值，係可利用周圍像素的像素值來加以算出(推定)。 針對攝像部的全像素，進行和上記算出處理相同的處理，針對全部的像素算出4種類之偏光影像(0度偏光影像、45度偏光影像、90度偏光影像、135度偏光影像)的像素值。
藉由該去馬賽克處理而被生成的4種類之偏光影像(0度偏光影像、45度偏光影像、90度偏光影像、135度偏光影像)，係被輸入至偏光訊號解析部121的後段之處理部也就是偏光模型推定部。
偏光模型推定部，係藉由利用了去馬賽克部所生成的4種類之全像素之偏光影像(0度偏光影像、45度偏光影像、90度偏光影像、135度偏光影像)的影像解析處理，而執行從像素值中所含之光成分，僅取得皮膚表面所反射之鏡面反射成分光的處理，亦即，去除了鏡面反射光成分以外之成分(內部散射光等)的鏡面反射成分抽出處理。
參照圖8，說明偏光模型推定部所執行的處理，亦即，僅將皮膚表面所反射之鏡面反射成分光加以取得的處理。
圖8所示的圖形係為，對橫軸設定偏光角(α)，對縱軸設定亮度I(α)的圖形，係為表示偏光模型的圖形。已知藉由相機而被攝影的偏光影像的某1個點的亮度，係會隨著偏光角度，而如圖8所示的圖形般地變化。 圖8所示的偏光模型圖形係表示，偏光角度每變化180度就會出現相同的亮度變化。亦即可知帶有180度之偏光角度週期而呈現亮度變化。
此處，將亮度變化範圍內的最高的亮度令作Imax，最低的亮度令作Imin。 又，將最大亮度Imax被觀測到時的偏光角α=ψ，令作方位角。 例如，將皮膚表面等的被攝體表面所反射的鏡面反射成分，令作Is。 被攝體表面所反射的鏡面反射成分Is，係為偏光模型中的最大亮度值Imax與最小亮度值Imin之差分，亦即，
Figure 02_image003
可藉由上式而算出。
此外，圖8所示的圖形的曲線，係可在例如圖9所示的構成中，藉由相機250的攝影影像的亮度解析而取得。 使用圖9所示的相機(CM)250來進行被攝體(OB)251之攝影。 但是，相機(CM)250，係隔著相機(CM)250之前方的偏光板(PL)252而進行影像攝影，以拍攝偏光影像。
已知由相機(CM)250所生成的偏光影像，係會隨應於偏光板(PL)252之旋轉，被攝體(OB)251的亮度會有所變化。此處，使偏光板(PL)252旋轉時的最高亮度令作Imax，將最低亮度令作Imin。又，如圖示，將2維座標上的x軸與y軸當作偏光板(PL)52的平面方向時，將使偏光板(PL)252旋轉時的對x軸的xy平面上之角度，令作偏光角α。偏光板(PL)252係一旦旋轉180度就會回到原本的偏光狀態，具有180度之週期。又，擴散反射之模型的情況下，將最大亮度Imax被觀測到時的偏光角α，令作方位角ψ。若進行如此的定義，則令偏光板(PL)252旋轉時所被觀測到的亮度I(α)，係會呈現如圖8所示的圖形。
此外，偏光角α下的亮度I(α)，係使用： 最大亮度值Imax、 最小亮度值Imin、 偏光角α、 呈最大亮度值Imax時的偏光角α，亦即方位角ψ， 是使用這4個參數而藉由以下的式子，而被定義。
Figure 02_image005
於圖8所示的圖形中， (a)偏光角度=0度時的亮度I(0°) (b)偏光角度=45度時的亮度I(45°) (c)偏光角度=90度時的亮度I(90°) (d)偏光角度=135度時的亮度I(135°) 這些亮度值資料，係可從去馬賽克部所生成的去馬賽克影像，而加以取得。 又，亮度I(0°)、亮度I(45°)、亮度I(90°)、亮度I(135°)，這些亮度被取得之際的偏光角α，係分別為0度、45度、90度、135度。
亦即，於上記(式1)中，未知參數係為： 最大亮度值Imax、 最小亮度值Imin、 呈最大亮度值Imax時的偏光角α，亦即方位角ψ， 這3個參數。
另一方面，已知參數係為亮度I(0°)、亮度I(45°)、亮度I(90°)、亮度I(135°)這些亮度被取得之際的偏光角α，使用這些已知參數，來解出上記(式1)，就可將3個未知數，亦即： 最大亮度值Imax、 最小亮度值Imin、 呈最大亮度值Imax時的偏光角α，亦即方位角ψ， 可將這3個參數予以算出。
然後，根據最大亮度值Imax、最小亮度值Imin， 將被攝體表面(皮膚表面)所反射的鏡面反射成分Is： Is=Imax-Imin 可藉由上式而予以算出。 偏光訊號解析部121的偏光模型推定部，係藉由這些處理，而算出被攝體表面(皮膚表面)所反射的鏡面反射成分Is。
說明偏光訊號解析部121的偏光模型推定部所執行的具體的處理例。 上記(式1)，係藉由使用亮度I(0°)、亮度I(45°)、亮度I(90°)、亮度I(135°)、和這些亮度被取得之際的偏光角α(0度、45度、90度、135度)這些已知資料，就可用以下所示的行列式，亦即，(式2)所示的「已知矩陣」、「未知參數構成式」、「攝影資料」，以這些資料所構成的矩陣之行列式來表示。
Figure 02_image007
然後，將未知參數Imax、Imin、ψ分別設定作為x1、x2、x3而成的矩陣x，亦即：
Figure 02_image009
若定義上記矩陣x，則上記(式2)係變成：
Figure 02_image011
其中，A、b係可作為已知參數而表現。
然後基於上記(式3)，導出以下的(式4)。
Figure 02_image013
藉由解出上記(式4)，就可將3個未知數，亦即： 最大亮度值Imax、 最小亮度值Imin、 呈最大亮度值Imax時的偏光角α，亦即方位角ψ， 可將這3個參數予以算出。各參數係可藉由以下的(式5)而加以算出。
Figure 02_image015
偏光訊號解析部121的偏光模型推定部，係進一步根據藉由上記(式5)而被算出的最大亮度值Imax、最小亮度值Imin， 將被攝體表面(皮膚表面)所反射的鏡面反射成分Is：
Figure 02_image017
藉由上式而予以算出。
如此，偏光訊號解析部121的偏光模型推定部，係藉由利用了去馬賽克部所生成的4種類之全像素之偏光影像(0度偏光影像、45度偏光影像、90度偏光影像、135度偏光影像)的影像解析處理，而執行從像素值中所含之光成分，僅取得皮膚表面所反射之鏡面反射成分光的處理，亦即，去除了鏡面反射光成分以外之成分(內部散射光等)的鏡面反射成分抽出處理。
接著說明影像解析部120的色素訊號解析部122所執行的處理的細節。 如前述，影像解析部120的色素訊號解析部122，係將影像取得部110的複數色彩對應偏光影像取得部111所取得的紅色(R)光、或近紅外(NIR)光對應之偏光影像予以解析，進行將人類皮膚以外之外在干擾的色素訊號予以解析的處理。
色素訊號解析部122係首先針對，根據之前參照圖4所說明的影像取得部(相機)110的照明部220中的照明B222，亦即，紅色LED點亮時所拍攝到的影像所被計算出來的4方向之偏光成分影像(I(r0°)、I(r45°)、I(r90°)、I(r135°))之各影像的各個對應像素，依照以下的(式21)，而算出紅色偏光影像像素值平均(I(r))。 亦即，
Figure 02_image019
依照上記(式21)，而算出各像素的紅色偏光影像像素值平均(I(r))。
然後，針對根據之前參照圖4所說明的影像取得部(相機)110的照明部220中的照明C223，亦即，近紅外(NIR)LED點亮時所拍攝到的影像所被計算出來的4方向之偏光成分影像(I(nir0°)、I(nir45°)、I(nir90°)、I(nir135°))之各影像的各個對應像素，依照以下的(式22)，算出近紅外(NIR)偏光影像像素值平均(I(nir))。 亦即，
Figure 02_image021
依照上記(式22)，而算出各像素之近紅外(NIR)偏光影像像素值平均(I(nir))。
然後，色素訊號解析部122，係使用依照上記(式21)所算出的各像素之紅色偏光影像像素值平均(I(r))、和依照上記(式22)所算出的各像素之近紅外(NIR)偏光影像像素值平均(I(nir))，依照以下的(式23)，而算出黑色素濃度指標值(MI：MeraninIndex)。
Figure 02_image023
此外，於上記(式23)中，α、β係為預先規定的定數。
黑色素濃度指標值(MI：MeraninIndex)，係於例如體毛、或斑點等之領域中，會呈現較高的值。 圖10中表示具體例。
圖10中係圖示了以下的各影像。 (a)相機攝影影像 (b)黑色素濃度指標值(MI：MeraninIndex)輸出影像
(a)相機攝影影像中的「斑點」領域、或體毛領域等，黑色素濃度較高的領域，係於(b)黑色素濃度指標值(MI：MeraninIndex)輸出影像中，被設定成與其他皮膚領域(黑色素濃度較低的領域)不同的像素值(例如較濃的紅色像素值)。
此外，黑色素濃度指標值(MI：MeraninIndex)輸出影像，係為設定了相應於黑色素濃度之像素值的影像，像素值輸出態樣係可有各式各樣的設定。
例如亦可以用亮度影像的方式來輸出，黑色素濃度越高就設成越高亮度值(白色)的影像、或黑色素濃度越高就設成越低亮度值(黑色)的影像等，可生成各式各樣設定之影像。
色素訊號解析部122，係將如此的黑色素濃度指標值(MI：MeraninIndex)輸出影像，加以生成。
說明影像解析部120的訊號判別部123所執行的處理的細節。 如前述，影像解析部120的訊號判別部123，係將偏光訊號解析部121與色素訊號解析部122的解析結果予以輸入，並生成例如去除了體毛或斑點等之外在干擾之影響的反映出皮膚表面之凹凸形狀的影像訊號。
訊號判別部123，係使用偏光訊號解析部121所求出的鏡面反射成分訊號與色素訊號解析部122所求出的黑色素濃度指標值(MI：MeraninIndex)，來執行起因於皮膚表面之微小凹凸的陰影成分的選擇抽出處理。
參照圖11、圖12，說明影像解析部120的訊號判別部123所執行的處理的細節。 圖11中係圖示了以下的各影像。 (a)相機攝影影像 (b)鏡面反射(Specular)成分影像(明亮度調整後)
此外，「(b)鏡面反射(Specular)成分影像(明亮度調整後)」係為，僅將之前參照圖8所說明的偏光影像予以解析而被生成的鏡面反射成分予以抽出所生成的影像。 亦即，是藉由影像解析部120的偏光訊號解析部121所執行的偏光影像解析處理而被取得的鏡面反射成分影像。
雖然從圖11所示的影像不太容易看出，但「(a)相機攝影影像」係為，體毛或斑點、痣等之影像領域是像素值為較低(低亮度)，而皮溝或皺紋等之陰影也是同樣地，像素值為較低(低亮度)。 另一方面，藉由偏光影像之解析處理所被求出的「(b)鏡面反射(Specular)成分影像」係為，僅將表面的陰影與表面的體毛反映至像素值的影像。其係為，位於皮膚的深處至表面附近的斑點/痣等之影響是幾乎不會反映至像素值的影像。
又，如之前參照圖10所說明，影像解析部120的色素訊號解析部122所生成的黑色素濃度指標值輸出影像，係將黑色素濃度為較高的體毛或斑點/痣部分，輸出成與其他皮膚領域有所區別之像素值的影像。
如前述，影像解析部120的色素訊號解析部122係可輸出例如，將黑色素濃度為較高的體毛或斑點/痣部分，設定成較其他皮膚領域還高的像素值(高亮度)而成的黑色素濃度指標值輸出影像。 又，亦可反之而輸出，將黑色素濃度為較高的體毛或斑點/痣部分，設定成較其他皮膚領域還低的像素值(低亮度)而成的黑色素濃度指標值輸出影像。
影像解析部120的訊號判別部123，係使用以下3種類之影像，而生成例如已去除體毛或斑點等之外在干擾等之雜訊的反映出皮膚表面之凹凸形狀的影像，亦即，雜訊去除皮膚影像。 (a)影像取得部(相機)110所取得的相機攝影影像 (b)藉由影像解析部120的偏光訊號解析部121所執行的偏光影像解析處理而被生成的鏡面反射成分影像 (c)藉由影像解析部120的色素訊號解析部122所執行的色素訊號解析處理而被生成的黑色素濃度指標值輸出影像
參照圖12，說明影像解析部120的訊號判別部123所執行的處理程序。 訊號判別部123，係首先將圖12所示的(b)鏡面反射成分影像、與(c)黑色素濃度指標值輸出影像加以合成，而生成(d)合成影像。 (d)合成影像係為，將鏡面反射成分為低，且黑色素濃度指標值為高的像素領域，設成低像素值(低亮度)(以下稱作暗部)而予以輸出的影像。
接著，訊號判別部123，係先根據圖12所示的(b)鏡面反射成分影像、與(d)合成影像，而生成(e)雜訊去除皮膚影像。 (e)雜訊去除皮膚影像係為例如，已去除體毛或斑點等之外在干擾等之雜訊的反映出皮膚表面之凹凸形狀的影像。
(e)在雜訊去除皮膚影像的生成時，例如，針對(d)合成影像的暗部以外之部分(以下稱作明部)，是使用對應的(b)鏡面反射成分影像之亮度值。又，(d)影像的暗部，亦即鏡面反射成分為低，且黑色素濃度指標值為高的像素領域，係若該當像素附近有明部的話就是明部的像素值，換言之，是用對應的(b)像素之亮度值來進行補插。另一方面，在該當像素附近沒有明部的情況下，則不進行補插處理，而直接使用該當像素的像素值。
如此，影像解析部120係將偏光訊號解析部121與色素訊號解析部122的解析結果予以輸入，並生成例如去除了體毛或斑點等之外在干擾之影響的反映出皮膚表面之凹凸形狀的影像訊號。
(3-(3).關於3維(3D)形狀解析部的構成與處理的細節) 接著，說明3維(3D)形狀解析部130的構成與處理的細節。
如前述，3維(3D)形狀解析部130，係使用從影像解析部120所被輸出之訊號，而將相機攝影影像中所含之皮膚的3維(3D)形狀予以解析。
亦即，使用參照圖12所說明的去除了體毛或斑點等之外在干擾之影響的反映出皮膚表面之凹凸形狀的影像訊號「(e)雜訊去除皮膚影像」，將相機攝影影像中所含之皮膚之3維(3D)形狀予以解析。
3維(3D)形狀解析部130的法線資訊推定部131，係推定皮膚表面的法線資訊。此外，所謂法線，係為正交於物件表面亦即皮膚表面的線。 3維(3D)形狀解析部130的距離資訊轉換部132，係將法線資訊推定部131所推定出來的皮膚表面的法線資訊，轉換成表示皮膚表面之凹凸形狀的距離資訊。 3維(3D)形狀解析部130的距離資訊解析部133，係使用距離資訊轉換部132所生成的距離資訊，而將皮膚表面之粗度係數等，可當作皮膚的細紋等之評價指標的指標值，予以算出、解析。
首先，參照圖13，說明3維(3D)形狀解析部130的法線資訊推定部131所執行的皮膚表面的法線資訊推定處理。
3維(3D)形狀解析部130的法線資訊推定部131，係將影像解析部120所生成的雜訊去除皮膚影像，亦即參照圖12所說明的去除了體毛或斑點等之外在干擾之影響的反映出皮膚表面之凹凸形狀的影像訊號也就是「(e)雜訊去除皮膚影像」，輸入至學習器301。
學習器301係為例如利用了CNN (Convolutional Neural Network)等的學習器，學習器301的輸入係為「(e)雜訊去除皮膚影像」)，輸出係為輸入影像「(e)雜訊去除皮膚影像」的像素單位的法線資訊。
像素單位的法線資訊中係含有例如以下的參數。 p：已算出之法線的x方向成分值(nx) q：已算出之法線的y方向成分值(ny) 此外，上記的x方向、y方向係對應於之前說明的圖9所示的座標井的x、y方向。
如此，法線資訊推定部131，係將從影像解析部120所被輸出之訊號「(e)雜訊去除皮膚影像」，輸入至學習器(CNN)301，並將每一像素的法線資訊予以輸出。
此外，學習器(CNN)301，係事前藉由利用各式各樣的影像資料而被執行的學習處理，而被生成。在學習時，準備多數組拍攝實際的皮膚或複製品的影像與將另外用3D掃描裝置所測定的凹凸資訊轉換成法線資訊(GT(Ground Truth)資料)之配對，使用最小平方誤差(L2)損失函數來令其學習網路的權重。 該學習處理的具體例將在後段說明。
如此，3維(3D)形狀解析部130的法線資訊推定部131，係使用圖13所示的學習器301來推定皮膚表面的法線資訊。此外，所謂法線，係為正交於物件表面亦即皮膚表面的線。
接著說明，3維(3D)形狀解析部130的距離資訊轉換部132所執行的處理。 3維(3D)形狀解析部130的距離資訊轉換部132，係將法線資訊推定部131所推定出來的皮膚表面的法線資訊，轉換成表示皮膚表面之凹凸形狀的距離資訊。
參照圖14，說明距離資訊轉換部132所執行的處理。 距離資訊轉換部132，係使用從法線資訊推定部131所被輸出之像素單位的法線資訊(p=nx、q=ny)，而算出該像素的距離資訊(Z)。
作為根據像素的法線資訊來求出距離資訊的距離算出式，係可使用例如以下的(式31)所示的Frankot-Chellappa演算法。
Figure 02_image025
此外，上記(式31)中的各參數係如以下所述。 F：傅立葉轉換 εx：空間頻率(x) εy：空間頻率(y) p：法線的x方向成分值(nx) q：法線的y方向成分值(ny)
此外，上記(式31)並非用來算出相機與被攝體的絕對距離。藉由上記(式31)而被算出的距離資訊(Z)係相當於，設置某個基準點，從其開始將梯度場進行積分所被算出的距離(形狀)。以使得梯度場與形狀的微分呈一致的方式，算出距離(Z)。 為了得知相機至被攝體的絕對距離，必須另外取得到基準點為止之距離。
如此，3維(3D)形狀解析部130的距離資訊轉換部132，係將法線資訊推定部131所推定出來的皮膚表面的法線資訊，轉換成表示皮膚表面之凹凸形狀的距離資訊。
接著說明，3維(3D)形狀解析部130的距離資訊解析部133所執行的處理。 距離資訊解析部133，係進行距離資訊轉換部132所算出之距離資訊的解析。例如，使用距離資訊轉換部132所生成的距離資訊，而將皮膚表面之粗度係數等，可當作皮膚的細紋等之評價指標的指標值，予以算出、解析。
參照圖15、圖16，說明距離資訊解析部133所執行的處理。 圖15所示的景深地圖(距離影像)係為，基於已被距離資訊轉換部132所算出之距離資訊而被生成的地圖。亦即以影像取得部(相機)110所拍攝到的皮膚影像的像素單位，設定了相應於距離之像素值的景深地圖(距離影像)。
距離資訊解析部133，係例如，從該景深地圖，解析出中央部的線AB所示之部分的距離資訊(側寫)。 圖15的右側之圖形，係為距離資訊解析部133所生成的距離(景深)解析資料之一例，是表示景深地圖(距離影像)中的線AB中所含之各像素的距離(景深)之變化的圖形。
線AB中所含之各像素的距離之變化越大，就意味著皮膚的凹凸越大。另一方面，線AB中所含之各像素的距離之變化越小，就意味著皮膚的凹凸越小而為光滑的皮膚。
距離資訊解析部133，係進一步使用圖15所示的表示各像素之距離(景深)之變化的距離(景深)解析資料，來算出皮膚的「平均粗度」、或「最大高度」等之皮膚粗度指標值。 參照圖16說明具體例。
圖16中係圖示，距離資訊解析部133所算出之皮膚粗度指標值也就是皮膚的「平均粗度」、皮膚的「最大高度」的算出例。
皮膚的平均粗度(Za)，係如圖所示，藉由以下的(式32)而被算出。
Figure 02_image027
於上記(式32)中，各參數係如以下所述。 N：算出領域之像素數 Zn：算出領域之像素n之距離值
然後，皮膚的最大高度(Zz)，係藉由以下的(式8)而被算出。
Figure 02_image029
於上記(式8)中，各參數係如以下所述。 Zp：算出領域的最大距離與平均距離(Zave)之差分 Zn：算出領域的最小距離與平均距離(Zave)之差分
如此，3維(3D)形狀解析部130，係使用從影像解析部120所被輸出之訊號，而將相機攝影影像中所含之皮膚的3維(3D)形狀予以解析。 亦即，使用參照圖12所說明的去除了體毛或斑點等之外在干擾之影響的反映出皮膚表面之凹凸形狀的影像訊號「(e)雜訊去除皮膚影像」，將相機攝影影像中所含之皮膚之3維(3D)形狀予以解析。
(3-(4).關於顯示部的構成與處理的細節) 接著說明，顯示部140的構成與處理的細節。
如前述，顯示部140，係將影像取得部110、影像解析部120、3維(3D)形狀解析部130之各者中所被取得、解析的資料，加以顯示。 顯示部140的測定資訊顯示部141，係將影像取得部110所取得、或所測定出來的資訊，加以顯示。 顯示部140的訊號資訊顯示部142，係將影像解析部120所解析出來的資訊，加以顯示。 顯示部140的3維形狀顯示部143，係將3維(3D)形狀解析部130所解析出來的人類皮膚的3維形狀資訊，加以顯示。 顯示部140的測定狀況顯示部144，係將影像取得部110～3維(3D)形狀解析部130中正在執行中的處理之進度資訊等，加以顯示。
參照圖17～圖19說明顯示部140所顯示的資料之例子。 圖17所示的顯示資料之例子係為， (a)相機攝影影像 (b)景深地圖(距離影像) (c)3維(3D)影像 將這些影像資料予以顯示的例子。
(a)相機攝影影像，係為從影像取得部(相機)110所取得的影像。 (b)景深地圖(距離影像)、與(c)3維(3D)影像，係為3維(3D)形狀解析部130所生成的影像。 使用者，係觀看這些影像，就可正確地判斷自己的皮膚之形狀、凹凸狀態。
圖18所示的顯示資料之例子係為， (a)相機攝影影像 (b)景深地圖(距離影像) (c)距離(景深)解析資料 將這些資料予以顯示的例子。
(a)相機攝影影像，係為從影像取得部(相機)110所取得的影像。 (b)景深地圖(距離影像)、與(c)距離(景深)解析資料，係為3維(3D)形狀解析部130所生成的影像。 使用者，係觀看這些影像或圖形，就可正確地判斷自己的皮膚之形狀、凹凸狀態。
圖19所示的顯示資料之例子係為， (a)相機攝影影像 (b)黑色素濃度指標值輸出影像 將這些影像資料予以顯示的例子。
(a)相機攝影影像，係為從影像取得部(相機)110所取得的影像。 (b)黑色素濃度指標值輸出影像，係為影像解析部120所生成的影像。 使用者，係觀看這些影像，就可正確地判斷自己的皮膚之狀態，例如斑點之狀態等。
[4.關於影像處理裝置所執行的處理之程序] 接著，說明本揭露的影像處理裝置100所執行的處理之程序。
圖20係為說明本揭露的影像處理裝置100所執行的處理之程序的流程圖的圖示。 此外，依照圖20以下所示之流程圖的處理，係可依照影像處理裝置100的記憶部中所被儲存之程式而執行。例如可作為具有程式執行機能的CPU等之處理器所致之程式執行處理而進行。 以下，針對流程的各步驟之處理，依序加以說明。
(步驟S101～S106) 步驟S101～S106之處理，係為影像取得部(相機)110所執行的處理。 首先，影像取得部(相機)110，係於步驟S101中，將照明部的偏光白色LED予以點亮，於步驟S102中拍攝皮膚影像。
此外，影像取得部(相機)110的攝像部，係如之前參照圖5、圖6所說明，例如以2×2=4像素為一單位，這些4像素係為只讓各自不同之偏光方向的光線通過的構成。 藉由使用如此的相機來拍攝影像，就可以用攝像元件的4種類之像素單位來拍攝4種類之偏光影像(0度偏光影像、45度偏光影像、90度偏光影像、135度偏光影像)。
接著，影像取得部(相機)110，係於步驟S103中，將照明部的紅色(R)LED予以點亮，於步驟S104中拍攝皮膚影像。
接著，影像取得部(相機)110，係於步驟S105中，將照明部的近紅外(NIR)LED予以點亮，於步驟S106中拍攝皮膚影像。
這些攝影影像，係全部被輸入至影像解析部120。
(步驟S107) 步驟S107～S109之處理，係由影像解析部120所執行的處理。
首先，影像解析部120，係於步驟S107中，執行偏光訊號解析處理。 該處理，係由影像解析部120的偏光訊號解析部121所執行。 影像解析部120的偏光訊號解析部121，係於步驟S107中，利用影像取得部110的複數色彩對應偏光影像取得部111所取得的偏光影像，進行將偏光成分訊號分離成鏡面反射光成分和其以外之成分(內部散射光等)的處理。
該處理，係為之前參照圖7、圖8所說明的處理，包含去馬賽克處理、或偏光模型推定處理。
首先，如參照圖7所說明，使用4像素之1像素中所被攝影的特定之偏光影像之像素值而執行像素值補插處理，執行將特定之偏光影像的像素值設定至全像素的去馬賽克處理。
接著，利用參照圖8所說明的對橫軸設定偏光角(α)，對縱軸設定亮度I(α)的圖形，算出被攝體表面(皮膚表面)所反射的鏡面反射成分Is。 亦即，參照圖8所說明的偏光模型的最大亮度值Imax與最小亮度值Imin之差分，亦即，
Figure 02_image031
使用上式，而算出被攝體表面(皮膚表面)所反射的鏡面反射成分Is。
(步驟S108) 接著，影像解析部120，係於步驟S108中，執行色彩訊號解析處理。 該處理，係由影像解析部120的色彩訊號解析部122所執行。
色素訊號解析部122，係將影像取得部110的複數色彩對應偏光影像取得部111所取得的紅色(R)光、或近紅外(NIR)光對應之偏光影像予以解析，進行將人類皮膚以外之外在干擾的色素訊號予以解析的處理。
色素訊號解析部122係針對影像取得部(相機)110的照明部220中的照明B222，亦即，紅色LED點亮時所拍攝到的影像所被計算出來的4方向之偏光成分影像(I(r0°)、I(r45°)、I(r90°)、I(r135°))之各影像的各個對應像素，依照以下的式子，而算出紅色偏光影像像素值平均(I(r))。 亦即，
Figure 02_image033
然後，針對根據影像取得部(相機)110的照明部220中的照明C223，亦即，近紅外光(NIR)LED點亮時所拍攝到的影像所被計算出來的4方向之偏光成分影像(I(nir0°)、I(nir45°)、I(nir90°)、I(nir135°))之各影像的各個對應像素，依照以下的(式22)，算出近紅外(NIR)偏光影像像素值平均(I(nir))。
Figure 02_image035
然後，使用依照上記各式所算出的各像素之紅色偏光影像像素值平均(I(r))、和各像素之近紅外(NIR)偏光影像像素值平均(I(nir))，依照以下的式子，而算出黑色素濃度指標值(MI：MeraninIndex)。
Figure 02_image037
此外，於上記(式23)中，α、β係為預先規定的定數。
如之前參照圖10所說明，黑色素濃度指標值(MI：MeraninIndex)，係於例如體毛、或斑點等之領域中，會呈現較高的值。 由圖10可以理解，(a)相機攝影影像中的「斑點」領域係為，(b)黑色素濃度指標值(MI：MeraninIndex)輸出影像的像素值是被設定成特定之色彩的像素值為較高的像素值(例如較濃的紅色像素值)。 色素訊號解析部122，係將如此的黑色素濃度指標值(MI：MeraninIndex)輸出影像，加以生成。
(步驟S109) 接著，影像解析部120，係於步驟S109中，執行訊號判別處理。 該處理，係由影像解析部120的訊號判別部123所執行。
訊號判別部123，係使用偏光訊號解析部121所求出的鏡面反射成分訊號與色素訊號解析部122所求出的黑色素濃度指標值(MI：MeraninIndex)，來執行起因於皮膚表面之微小凹凸的陰影成分的選擇抽出處理，生成雜訊去除皮膚影像。 生成之前參照圖12所說明的「(e)雜訊去除皮膚影像」。
訊號判別部123，係首先將圖12所示的(b)鏡面反射成分影像、與(c)黑色素濃度指標值輸出影像加以合成，而生成(d)合成影像。 (d)合成影像係為，將鏡面反射成分為低，且黑色素濃度指標值為高的像素領域，設成低像素值(低亮度)而予以輸出的影像。
接著，訊號判別部123，係使用圖12所示的(b)鏡面反射成分影像、與(d)合成影像，而生成(e)雜訊去除皮膚影像。 (e)雜訊去除皮膚影像係為例如，已去除體毛或斑點等之外在干擾等之雜訊的反映出皮膚表面之凹凸形狀的影像。
此外，(b)鏡面反射成分影像的亮度值特別高的部分，係被推定為是汗水或化粧品(亮粉)等之影響，因此關於這些像素領域，也是作為(d)合成影像的低像素值(低亮度)而予以輸出，亦可進行根據如此所生成的(d)合成影像與(b)鏡面反射成分影像，來生成(e)雜訊去除皮膚影像的處理。
如此，影像解析部120係將偏光訊號解析部121與色素訊號解析部122的解析結果予以輸入，並生成例如去除了體毛或斑點等之外在干擾之影響的反映出皮膚表面之凹凸形狀的影像訊號。
(步驟S110) 步驟S110～S112之處理，係由3維(3D)形狀解析部130所執行的處理。
首先，於步驟S110中，執行法線推定處理。 該處理係由3維(3D)形狀解析部130的法線資訊推定部131所執行。 3維(3D)形狀解析部130的法線資訊推定部131，係推定皮膚表面的法線資訊。此外，所謂法線，係為正交於物件表面亦即皮膚表面的線。
如之前參照圖13所說明，3維(3D)形狀解析部130的法線資訊推定部131，係將影像解析部120所生成的雜訊去除皮膚影像，亦即，參照圖12所說明的去除了體毛或斑點等之外在干擾之影響的反映出皮膚表面之凹凸形狀的影像訊號也就是「(e)雜訊去除皮膚影像」，輸入至學習器301，作為學習器301之輸出是取得「(e)雜訊去除皮膚影像」的像素單位之法線資訊。
此外，學習器301係例如，利用了CNN (Convolutional Neural Network)等的學習器。
如此，3維(3D)形狀解析部130的法線資訊推定部131，係使用圖13所示的學習器301來推定皮膚表面的法線資訊。此外，所謂法線，係為正交於物件表面亦即皮膚表面的線。
(步驟S111) 接著，於步驟S111中，執行距離轉換處理。 該處理係由3維(3D)形狀解析部130的距離資訊轉換部132所執行。
距離資訊轉換部132，係將法線資訊推定部131所推定出來的皮膚表面的法線資訊，轉換成表示皮膚表面之凹凸形狀的距離資訊。 該處理，係為之前參照圖14所說明的處理。 距離資訊轉換部132，係使用從法線資訊推定部131所被輸出之像素單位的法線資訊(p=nx、q=ny)，而算出該像素的距離資訊(Z)。 作為用來求出距離資訊的距離算出式，係可使用例如之前所說明的(式31)所示的Frankot-Chellappa演算法。
(步驟S112) 接著，於步驟S112中，執行距離解析處理。 該處理係由3維(3D)形狀解析部130的距離資訊解析部133所執行。
距離資訊解析部133，係進行距離資訊轉換部132所算出之距離資訊的解析。例如，使用距離資訊轉換部132所生成的距離資訊，而將皮膚表面之粗度係數等，可當作皮膚的細紋等之評價指標的指標值，予以算出、解析。
該處理，係為之前參照圖15、圖16所說明的處理。 例如參照圖15所說明，距離資訊解析部133，係從景深地圖，解析出中央部的線AB所示之部分的距離資訊(側寫)。 圖15的右側之圖形，係為距離資訊解析部133所生成的距離(景深)解析資料之一例，是表示景深地圖(距離影像)中的線AB中所含之各像素的距離(景深)之變化的圖形。
線AB中所含之各像素的距離之變化越大，就意味著皮膚的凹凸越大。另一方面，線AB中所含之各像素的距離之變化越小，就意味著皮膚的凹凸越小而為光滑的皮膚。
距離資訊解析部133，係進一步使用圖15所示的表示各像素之距離(景深)之變化的距離(景深)解析資料，如參照圖16所說明，算出皮膚的「平均粗度」、或「最大高度」等之皮膚粗度指標值。
如此，3維(3D)形狀解析部130，係於步驟S112中，使用從影像解析部120所被輸出之訊號，而將相機攝影影像中所含之皮膚的3維(3D)形狀予以解析。 亦即，使用參照圖12所說明的去除了體毛或斑點等之外在干擾之影響的反映出皮膚表面之凹凸形狀的影像訊號「(e)雜訊去除皮膚影像」，將相機攝影影像中所含之皮膚之3維(3D)形狀予以解析。
(步驟S113) 最後，於步驟S113中，在顯示部中顯示出解析結果。 該處理係由顯示部140所執行的處理。
如前述，顯示部140，係將影像取得部110、影像解析部120、3維(3D)形狀解析部130之各者中所被取得、解析的資料，加以顯示。
具體而言係進行例如，之前參照圖17～圖19所說明的各式各樣的解析資料之顯示。 圖17所示的顯示資料之例子係為， (a)相機攝影影像 (b)景深地圖(距離影像) (c)3維(3D)影像 將這些影像資料予以顯示的例子。
圖18所示的顯示資料之例子係為， (a)相機攝影影像 (b)景深地圖(距離影像) (c)距離(景深)解析資料 將這些資料予以顯示的例子。
圖19所示的顯示資料之例子係為， (a)相機攝影影像 (b)黑色素濃度指標值輸出影像 將這些影像資料予以顯示的例子。
如此，顯示部140，係將影像取得部110、影像解析部120、3維(3D)形狀解析部130之各者中所被取得、解析的資料，加以顯示。
使用者，係觀看這些顯示資料，就可正確地判斷自己的皮膚之狀態，例如皮膚的形狀、凹凸狀態、斑點之狀態等。
[5.關於在像素單位的法線資訊之算出中所使用的學習器的生成所需之學習處理的例子] 接著說明，關於在像素單位的法線資訊之算出中所使用的學習器的生成所需之學習處理的例子。
如之前參照圖13所說明，3維(3D)形狀解析部130的法線資訊推定部131，係將影像解析部120所生成的雜訊去除皮膚影像，亦即，參照圖12所說明的去除了體毛或斑點等之外在干擾之影響的反映出皮膚表面之凹凸形狀的影像訊號也就是「(e)雜訊去除皮膚影像」，輸入至學習器301，作為學習器301之輸出是取得「(e)雜訊去除皮膚影像」的像素單位之法線資訊。
此外，學習器301係例如，利用了CNN (Convolutional Neural Network)等的學習器。 學習器(CNN)301，係事前藉由利用各式各樣的影像資料而被執行的學習處理，而被生成。在學習時，準備多數組拍攝實際的皮膚或複製品的影像與將另外用3D掃描裝置所測定的凹凸資訊轉換成法線資訊(GT(Ground Truth)資料)之配對，使用最小平方誤差(L2)損失函數來令其學習網路的權重。 說明該學習處理的具體例。
圖21係為學習器(CNN)401的生成例，亦即機械學習處理之一例的說明圖。 在圖21所示的例子中，係將樣本影像411輸入至學習器(CNN)401。學習器(CNN)401的輸出係為像素單位法線資訊412。
將樣本影像411輸入至學習器401時的輸出也就是像素單位法線資訊412、與學習之真值(Ground Truth)也就是法線資訊413之間的類似度，會被算出。例如，於最小平方誤差(L2)算出部402中，係將像素單位法線資訊412、與學習之真值(Ground Truth)也就是法線資訊413的最小平方誤差(L2)予以算出，將L2當作損失而進行學習處理。
例如藉由將已算出之損失進行反向傳播，以更新學習器(CNN)401的權重。藉此，就生成學習器(CNN)401。
此外，此處作為機械學習之一例雖然是利用CNN來生成學習器，但並非限定於此。作為機械學習亦可使用CNN以外像是例如RNN(Recurrent Neural Network)等各種手法，來生成學習器300。又，在上述的例子中，雖然是藉由將已算出之損失進行反向傳播，來更新學習器的權重，但並非限定於此。除了反向傳播以外也可使用例如機率的梯度下降法等之任意的學習手法來更新學習器的權重。
圖22係為學習器生成所需之學習處理的處理程序的說明用流程圖。 圖22所示的流程的步驟S201～S209之處理，係為和之前參照圖20所說明的流程的步驟S101～S109之處理相同的處理。 但是，於步驟S209中所被生成的影像，係為學習處理所需之樣本影像。
將該樣本影像適用於步驟S210中所執行的學習處理，以進行學習處理。
藉由依照該程序而進行學習處理，就可生成學習器。 亦即，可生成之前參照圖13所說明的3維(3D)形狀解析部130的法線資訊推定部131所要利用的學習器(CNN)301。
學習器(CNN)301係為，將影像解析部120所生成的雜訊去除皮膚影像，亦即參照圖12所說明的去除了體毛或斑點等之外在干擾之影響的反映出皮膚表面之凹凸形狀的影像訊號也就是「(e)雜訊去除皮膚影像」予以輸入，而作為輸出是可取得「(e)雜訊去除皮膚影像」的像素單位之法線資訊的學習器。
[6.關於影像取得部(相機)的其他構成例] 接著說明，作為影像處理裝置100之構成要素的影像取得部(相機)110之其他構成例。
之前參照圖4，說明了影像取得部(相機)110的一構成例。 影像取得部(相機)110，係亦可為圖4所示的構成以外之構成。
與圖4所示的構成不同的影像取得部(相機)110之構成例，示於圖23。 圖23所示的影像取得部(相機)500，也是具有攝像部510、和攝像部之周圍的照明部520。
攝像部510周圍的照明部520，係如圖示，是由以下4種類之照明所構成。 (a)照明A=在白色LED前面，設置有與攝像部510所被設定之偏光濾光片呈平行方向之偏光濾光片的照明A521； (b)照明B=在白色LED前面，設置有與攝像部510所被設定之偏光濾光片呈垂直方向之偏光濾光片的照明B522； (c)照明C=由紅色LED所構成的照明C523； (d)照明D=由近紅外光(NIR)LED所構成的照明D524。
此外，照明A、B，係由輸出約400～700nm之可見光領域之波長光的LED所構成。 照明C，係由輸出約660nm之紅(R)色光領域之波長光的LED所構成。 照明D，係由輸出約880nm之近紅外(NIR)光領域之波長光的LED所構成。
影像取得部(相機)500，係針對同一皮膚領域，將這4種類的照明A～D依序點亮，而取得在4種類之不同照明環境下所拍攝到的4張影像。
攝像部510，係由將偏光濾光片裝著在前面的相機所構成。此外，許多一般的相機所被裝著的紅外(IR)光截除濾光片係被去除。 攝像部510的影像感測器，係為和通常的相機相同的影像感測器，在其前面被設置有偏光濾光片。
此外，使用該影像取得部(相機)500之情況下的處理，係與參照圖4所說明的使用影像取得部(相機)110的情況，有以下的不同點的處理。 在影像攝影處理中，是將白LED(平行方向濾光片)、白LED(正交方向濾光片)、紅LED、近紅外(NIR)LED，依序點亮而進行之。
又，偏光訊號解析部121中的鏡面反射成分Is的算出處理，亦即， 將被攝體表面所反射的鏡面反射成分Is，以最大亮度值Imax與最小亮度值Imin之差分，亦即， Is=Imax-Imin 藉由上式而予以算出的處理中，最大亮度值Imax與最小亮度值Imin係利用以下的各像素值。
最大亮度值Imax係利用，白LED與相機的偏光方向呈平行的情況下所拍攝到的影像之像素。 最小亮度值Imin係利用，白LED與相機的偏光方向呈正交的情況下所拍攝到的影像。
然後，與圖4所示的構成不同的影像取得部(相機)110的另一構成例，示於圖24。 圖24所示的影像取得部(相機)600，也是具有攝像部610、和攝像部之周圍的照明部620。
攝像部610周圍的照明部620，係如圖示，是由以下3種類之照明所構成。 (a)照明A=在白色LED前面，設置有與攝像部610所被設定之偏光濾光片呈平行方向之偏光濾光片的照明A621； (b)照明B=在白色LED前面，設置有與攝像部610所被設定之偏光濾光片呈垂直方向之偏光濾光片的照明B622； (c)照明C=由白色LED所構成的照明C623。
此外，照明A、B、C係均為由輸出約400～700nm之可見光領域之波長光的LED所構成。 影像取得部(相機)600，係針對同一皮膚領域，將這3種類的照明A～C依序點亮，而取得在3種類之不同照明環境下所拍攝到的3張影像。
攝像部610，係由將偏光濾光片裝著在前面的相機所構成。此外，許多一般的相機所被裝著的紅外(IR)光截除濾光片係被去除。 攝像部610的影像感測器，係為和通常的相機相同的影像感測器，在其前面被設置有偏光濾光片。 然後，在偏光濾光片的前面，係被裝著有彩色濾光片611。
彩色濾光片611，係如圖所示， 讓660nm附近之波長光選擇性穿透的紅色(R)濾光片； 讓880nm附近之波長光選擇性穿透的近紅外(NIR)濾光片； 讓400～700nm附近之波長光選擇性穿透的可見光(Vis)濾光片； 具有將這些3種類之濾光片做排列之構成。
此外，使用該影像取得部(相機)600之情況下的處理，係與參照圖4所說明的使用影像取得部(相機)110的情況，有以下的不同點的處理。 在影像攝影處理中，係將設置在攝像部610之前的彩色濾光片611，依序使其移動，將入射至攝像部610之光線的波長頻帶依序改變，而取得可見光成分偏光影像、紅色彩成分偏光影像、近紅外(NIR)成分偏光影像。
在影像解析部120中，係使用這些3種類不同之色彩成分偏光影像，來執行偏光訊號解析部121中的偏光訊號解析處理、色素訊號解析部122中的色素訊號解析處理、訊號判定部123中的訊號判定處理。
[7.關於影像處理裝置的硬體構成例] 接著說明，本揭露的影像處理裝置100的硬體構成例。 圖25係為影像處理裝置的硬體構成例的圖示。 說明圖25所示的硬體構成之各構成部。
CPU(Central Processing Unit)701，係成為依照ROM(Read Only Memory)702、或記憶部708中所記憶之程式，來執行各種處理的資料處理部而發揮機能。例如，依照上述的實施例中所說明的程序而執行處理。
RAM(Random Access Memory)703中係記憶有讓CPU701執行的程式或資料等。這些CPU701、ROM702、及RAM703，係藉由匯流排704而被彼此連接。
CPU701係透過匯流排704而被連接至輸出入介面705，輸出入介面705上係除了相機以外，還被連接有：由各種操作部、開關等所成之輸入部706、由顯示部也就是顯示器或揚聲器等所成之輸出部707。
CPU701係將從輸入部706所被輸入的相機攝影影像、或操作資訊等予以輸入，執行各種處理，將處理結果輸出至例如輸出部707。 輸出入介面705上所連接的記憶部708，係由例如硬碟等所成，記憶著CPU701所執行的程式或各種資料。通訊部709，係透過網際網路或區域網路等之網路而成為資料通訊之收送訊部而發揮機能，與外部裝置通訊。
被連接在輸出入介面705上的驅動機710，係驅動磁碟、光碟、光磁碟、或記憶卡等之半導體記憶體等之可移除式媒體711，執行資料記錄或讀取。
[8.本揭露之構成的總結] 以上，一面參照特定實施例，一面詳解本揭露的實施例。可是在此同時，在不脫離本揭露之宗旨的範圍內，當業者可以對實施例進行修正或代用，此乃自明事項。亦即，這些僅為以例示形態來揭露本發明，不應做限定性解釋。要判斷本揭露之宗旨，應要參酌申請專利範圍欄。
此外，本說明書中所揭露的技術，係可採取如下之構成。 (1)　一種影像處理裝置，係 具有： 影像取得部，係取得皮膚影像；和 影像解析部，係將前記影像取得部所取得之影像，予以解析；和 3維形狀解析部，係利用前記影像解析部之解析結果而將皮膚的3維形狀予以解析； 前記影像取得部係 取得不同之波長光的複數個偏光影像； 前記影像解析部係 將前記偏光影像予以解析，而生成已去除雜訊之雜訊去除皮膚影像； 前記3維形狀解析部係 利用前記雜訊去除皮膚影像而將皮膚的3維形狀予以解析。
(2)　如(1)所記載之影像處理裝置，其中， 前記影像解析部係 將前記偏光影像予以解析，而生成皮膚表面的鏡面反射成分影像、與黑色素濃度指標值影像； 利用已生成之鏡面反射成分影像、與黑色素濃度指標值影像，而生成前記雜訊去除皮膚影像。
(3)　如(1)或(2)所記載之影像處理裝置，其中，前記雜訊係為體毛、或是斑點、或是痣之至少任一者。
(4)　如(1)～(3)之任一項所記載之影像處理裝置，其中， 前記影像取得部係 具有：照明部，係選擇性地輸出不同之波長光。
(5)　如(1)～(4)之任一項所記載之影像處理裝置，其中， 前記影像取得部係 具有：照明部，係選擇性地輸出白色光、紅色光、近紅外光之3種類的不同之波長光； 將白色光、紅色光、近紅外光之3種類的不同之波長光所對應之偏光影像，加以取得。
(6)　如(1)～(5)之任一項所記載之影像處理裝置，其中， 前記影像取得部係 具有：將複數個不同之偏光影像以像素單位進行攝像的構成。
(7)　如(6)所記載之影像處理裝置，其中， 前記影像解析部係 執行以像素單位而被攝像之複數個不同之偏光影像的去馬賽克處理。
(8)　如(1)～(7)之任一項所記載之影像處理裝置，其中， 前記影像解析部係 利用從前記影像取得部所輸入的影像，而生成複數個不同之偏光影像； 基於已生成之複數個偏光影像、和偏光角與亮度之對應關係資料，而生成皮膚表面的鏡面反射成分影像。
(9)　如(1)～(8)之任一項所記載之影像處理裝置，其中， 前記影像解析部係 利用從前記影像取得部所輸入的影像，而生成複數個不同之偏光影像； 基於已生成之複數個偏光影像、與偏光角與亮度之對應關係資料也就是偏光模型，而將偏光成分訊號，分離成鏡面反射光成分和其以外之成分訊號，而生成皮膚表面的鏡面反射成分影像。
(10)　如(9)所記載之影像處理裝置，其中， 前記影像解析部係 將前記鏡面反射光成分Is， 以前記偏光模型中的最大亮度值Imax與最小亮度值Imin之差分，
Figure 02_image039
依照上式而予以算出。
(11)　如(1)～(10)之任一項所記載之影像處理裝置，其中， 前記影像解析部係 利用從前記影像取得部所輸入的紅色光照明下的攝影影像、與近紅外光照明下的攝影影像，而生成黑色素濃度指標值影像。
(12)　如(1)～(11)之任一項所記載之影像處理裝置，其中， 前記影像解析部係 將解析前記偏光影像而生成之皮膚表面的鏡面反射成分影像、與黑色素濃度指標值影像的合成影像，加以生成； 從已生成之合成影像與前記鏡面反射成分影像，生成前記雜訊去除皮膚影像。
(13)　如(1)～(12)之任一項所記載之影像處理裝置，其中， 前記3維形狀解析部係具有： 法線資訊推定部，係推定皮膚表面的法線資訊；和 距離資訊轉換部，係將前記法線資訊推定部所推定出來的皮膚表面的法線資訊，轉換成表示皮膚表面之凹凸形狀的距離資訊；和 距離資訊解析部，係使用距離資訊轉換部所生成之距離資訊，算出基於皮膚表面之凹凸形狀評價的評價指標值。
(14)　如(13)所記載之影像處理裝置，其中， 前記距離資訊解析部係 利用表示皮膚之凹凸的景深地圖，而算出皮膚的平均粗度、或最大高度之至少任一者。
(15)　如(13)或(14)所記載之影像處理裝置，其中， 前記法線資訊推定部係 將前記影像解析部所生成之前記雜訊去除皮膚影像輸入至學習器，將作為學習器之輸出的皮膚表面的法線資訊加以取得。
(16)　如(1)～(15)之任一項所記載之影像處理裝置，其中， 前記影像處理裝置係還具有： 顯示部，係將前記影像解析部的解析結果、或前記3維形狀解析部的解析結果之至少任一解析結果，加以顯示。
(17)　如(16)所記載之影像處理裝置，其中， 前記顯示部係 將皮膚表面的3維影像、或表示皮膚表面之凹凸的景深地圖、或黑色素濃度指標值影像之至少任一者之資料，加以顯示。
(18)　一種影像處理方法，係屬於影像處理裝置中所執行的影像處理方法，其特徵為， 執行： 影像取得處理，係由影像取得部來取得皮膚影像；和 影像解析處理，係由影像解析部來將前記影像取得部所取得之影像予以解析；和 3維形狀解析處理，係由3維形狀解析部，利用前記影像解析部之解析結果而將皮膚的3維形狀予以解析； 前記影像取得部係 取得不同之波長光的複數個偏光影像； 前記影像解析部係 將前記偏光影像予以解析，而生成已去除雜訊之雜訊去除皮膚影像； 前記3維形狀解析部係 利用前記雜訊去除皮膚影像而將皮膚的3維形狀予以解析。
(19)　一種程式，係屬於在影像處理裝置中令其執行影像處理的程式，其特徵為， 執行： 影像取得處理，係令影像取得部取得皮膚影像；和 影像解析處理，係令影像解析部，將前記影像取得部所取得之影像予以解析；和 3維形狀解析處理，係令3維形狀解析部，利用前記影像解析部之解析結果而將皮膚的3維形狀予以解析； 於前記影像取得處理中，係 令其取得不同之波長光的複數個偏光影像； 於前記影像解析處理中，係 令其將前記偏光影像予以解析，而生成已去除雜訊之雜訊去除皮膚影像； 於前記3維形狀解析處理中，係 令其利用前記雜訊去除皮膚影像而將皮膚的3維形狀予以解析。
此外，於說明書中所說明之一連串處理係可藉由硬體、或軟體、或兩者的複合構成來執行。在執行軟體所致之處理的情況下，雖然是將記錄有處理程序的程式，安裝至組裝有專用硬體的電腦內的記憶體而執行，但或者亦可在能夠執行各種處理的通用電腦中安裝程式來執行。例如，程式係可預先記錄在記錄媒體中。除了從記錄媒體安裝至電腦外，還可透過LAN(Local Area Network)、網際網路這類網路而接收程式，安裝至內建的硬碟等之記錄媒體裡。
又，說明書中所記載的各種處理，係不只是依照記載的時間順序來進行，亦可隨著執行處理之裝置的處理能力或必要，而平行或個別地進行。又，於本說明書中，所謂的系統，係為複數裝置的邏輯集合構成，各構成之裝置係不限於位在同一框體內者。 [產業上利用之可能性]
如以上所說明，若依據本揭露的一實施例之構成，則可生成高精度地反映出使用者的臉部之已去除體毛或斑點等之雜訊的皮膚的凹凸的雜訊去除皮膚影像，實現可將高精度的皮膚之3維形狀予以解析的構成。 具體而言，例如，具有：影像取得部，係取得臉部等之皮膚影像；和影像解析部，係將影像取得部所取得之皮膚影像，予以解析；和3維形狀解析部，係利用影像解析部之解析結果而將皮膚的3維形狀予以解析。影像取得部，係取得不同之波長光的複數個偏光影像；影像解析部，係將偏光影像予以解析，而生成皮膚表面的鏡面反射成分影像、與黑色素濃度指標值影像；使用已生成的這些影像，而生成已去除體毛或斑點等之雜訊的雜訊去除皮膚影像。3維形狀解析部，係利用該雜訊去除皮膚影像而將皮膚之高精度的3維形狀予以解析。 藉由本構成，則可生成高精度地反映出使用者的臉部之已去除體毛或斑點等之雜訊的皮膚的凹凸的雜訊去除皮膚影像，實現可將高精度的皮膚之3維形狀予以解析的構成。
100:影像處理裝置 110:影像取得部(相機) 111:複數色彩對應偏光影像取得部 120:影像解析部 121:偏光訊號解析部 122:色素訊號解析部 123:訊號判定部 130:3維(3D)形狀解析部 131:法線資訊推定部 132:距離資訊轉換部 133:距離資訊解析部 140:顯示部 141:測定資訊顯示部 142:訊號資訊顯示部 143:3維形狀顯示部 144:測定狀況顯示部 210:攝像部 220:照明部 221:照明A 222:照明B 223:照明C 231:像素a 232:像素b 233:像素c 234:像素d 250:相機 251:被攝體 252:偏光板 301:學習器 401:學習器 402:最小平方誤差(L2)算出部 411:法線資訊 412:像素單位法線資訊 413:法線資訊 500:影像取得部(相機) 510:攝像部 520:照明部 521:照明A 522:照明B 523:照明C 524:照明D 600:影像取得部(相機) 610:攝像部 611:彩色濾光片 620:照明部 621:照明A 622:照明B 623:照明C 701:CPU 702:ROM 703:RAM 704:匯流排 705:輸出入介面 706:輸入部 707:輸出部 708:記憶部 709:通訊部 710:驅動機 711:可移除式媒體
[圖1]本揭露的影像處理裝置所執行的處理的說明圖。 [圖2]本揭露的影像處理裝置所執行的處理的說明圖。 [圖3]本揭露的影像處理裝置的構成例的說明圖。 [圖4]本揭露的影像處理裝置的影像取得部之構成例的說明圖。 [圖5]本揭露的影像處理裝置的影像取得部之構成例的說明圖。 [圖6]本揭露的影像處理裝置的影像取得部之構成例的說明圖。 [圖7]本揭露的影像處理裝置的影像解析部所執行的去馬賽克處理的說明圖。 [圖8]本揭露的影像處理裝置的影像解析部所執行的偏光訊號解析處理的說明圖。 [圖9]本揭露的影像處理裝置的影像解析部所執行的偏光訊號解析處理的說明圖。 [圖10]本揭露的影像處理裝置的影像解析部所執行的色素訊號解析處理的說明圖。 [圖11]本揭露的影像處理裝置的影像解析部所執行的訊號判別處理的說明圖。 [圖12]本揭露的影像處理裝置的影像解析部所執行的訊號判別處理的說明圖。 [圖13]本揭露的影像處理裝置的3維形狀解析部所執行的法線資訊算出處理的說明圖。 [圖14]本揭露的影像處理裝置的3維形狀解析部所執行的距離轉換處理的說明圖。 [圖15]本揭露的影像處理裝置的3維形狀解析部所執行的距離解析處理的說明圖。 [圖16]本揭露的影像處理裝置的3維形狀解析部所執行的距離解析處理的說明圖。 [圖17]本揭露的影像處理裝置的顯示部所執行的解析資料顯示處理例的說明圖。 [圖18]本揭露的影像處理裝置的顯示部所執行的解析資料顯示處理例的說明圖。 [圖19]本揭露的影像處理裝置的顯示部所執行的解析資料顯示處理例的說明圖。 [圖20]說明本揭露的影像處理裝置所執行的處理之程序的流程圖。 [圖21]本揭露的影像處理裝置所執行的學習處理的說明圖。 [圖22]說明本揭露的影像處理裝置所執行的處理程序的流程圖。 [圖23]本揭露的影像處理裝置的影像取得部之構成例的說明圖。 [圖24]本揭露的影像處理裝置的影像取得部之構成例的說明圖。 [圖25]本揭露的影像處理裝置的硬體構成例的說明圖。
100:影像處理裝置
110:影像取得部(相機)
111:複數色彩對應偏光影像取得部
120:影像解析部
121:偏光訊號解析部
122:色素訊號解析部
123:訊號判定部
130:3維(3D)形狀解析部
131:法線資訊推定部
132:距離資訊轉換部
133:距離資訊解析部
140:顯示部
141:測定資訊顯示部
142:訊號資訊顯示部
143:3維形狀顯示部
144:測定狀況顯示部

Claims (19)

  1. 一種影像處理裝置，係具有： 影像取得部，係取得皮膚影像；和 影像解析部，係將前記影像取得部所取得之影像，予以解析；和 3維形狀解析部，係利用前記影像解析部之解析結果而將皮膚的3維形狀予以解析； 前記影像取得部係 取得不同之波長光的複數個偏光影像； 前記影像解析部係 將前記偏光影像予以解析，而生成已去除雜訊之雜訊去除皮膚影像； 前記3維形狀解析部係 利用前記雜訊去除皮膚影像而將皮膚的3維形狀予以解析。
  2. 如請求項1所記載之影像處理裝置，其中， 前記影像解析部係 將前記偏光影像予以解析，而生成皮膚表面的鏡面反射成分影像、與黑色素濃度指標值影像； 利用已生成之鏡面反射成分影像、與黑色素濃度指標值影像，而生成前記雜訊去除皮膚影像。
  3. 如請求項1所記載之影像處理裝置，其中，前記雜訊係為體毛、或是斑點、或是痣之至少任一者。
  4. 如請求項1所記載之影像處理裝置，其中， 前記影像取得部係 具有：照明部，係選擇性地輸出不同之波長光。
  5. 如請求項1所記載之影像處理裝置，其中， 前記影像取得部係 具有：照明部，係選擇性地輸出白色光、紅色光、近紅外光之3種類的不同之波長光； 將白色光、紅色光、近紅外光之3種類的不同之波長光所對應之偏光影像，加以取得。
  6. 如請求項1所記載之影像處理裝置，其中， 前記影像取得部係 具有：將複數個不同之偏光影像以像素單位進行攝像的構成。
  7. 如請求項6所記載之影像處理裝置，其中， 前記影像解析部係 執行以像素單位而被攝像之複數個不同之偏光影像的去馬賽克處理。
  8. 如請求項1所記載之影像處理裝置，其中， 前記影像解析部係 利用從前記影像取得部所輸入的影像，而生成複數個不同之偏光影像； 基於已生成之複數個偏光影像、和偏光角與亮度之對應關係資料，而生成皮膚表面的鏡面反射成分影像。
  9. 如請求項1所記載之影像處理裝置，其中， 前記影像解析部係 利用從前記影像取得部所輸入的影像，而生成複數個不同之偏光影像； 基於已生成之複數個偏光影像、與偏光角與亮度之對應關係資料也就是偏光模型，而將偏光成分訊號，分離成鏡面反射光成分和其以外之成分訊號，而生成皮膚表面的鏡面反射成分影像。
  10. 如請求項9所記載之影像處理裝置，其中， 前記影像解析部係 將前記鏡面反射光成分Is， 以前記偏光模型中的最大亮度值Imax與最小亮度值Imin之差分， Is=Imax-Imin 依照上式而予以算出。
  11. 如請求項1所記載之影像處理裝置，其中， 前記影像解析部係 利用從前記影像取得部所輸入的紅色光照明下的攝影影像、與近紅外光照明下的攝影影像，而生成黑色素濃度指標值影像。
  12. 如請求項1所記載之影像處理裝置，其中， 前記影像解析部係 將解析前記偏光影像而生成之皮膚表面的鏡面反射成分影像、與黑色素濃度指標值影像的合成影像，加以生成； 從已生成之合成影像與前記鏡面反射成分影像，生成前記雜訊去除皮膚影像。
  13. 如請求項1所記載之影像處理裝置，其中， 前記3維形狀解析部係具有： 法線資訊推定部，係推定皮膚表面的法線資訊；和 距離資訊轉換部，係將前記法線資訊推定部所推定出來的皮膚表面的法線資訊，轉換成表示皮膚表面之凹凸形狀的距離資訊；和 距離資訊解析部，係使用距離資訊轉換部所生成之距離資訊，算出基於皮膚表面之凹凸形狀評價的評價指標值。
  14. 如請求項13所記載之影像處理裝置，其中， 前記距離資訊解析部係 利用表示皮膚之凹凸的景深地圖，而算出皮膚的平均粗度、或最大高度之至少任一者。
  15. 如請求項13所記載之影像處理裝置，其中， 前記法線資訊推定部係 將前記影像解析部所生成之前記雜訊去除皮膚影像輸入至學習器，將作為學習器之輸出的皮膚表面的法線資訊加以取得。
  16. 如請求項1所記載之影像處理裝置，其中， 前記影像處理裝置係還具有： 顯示部，係將前記影像解析部的解析結果、或前記3維形狀解析部的解析結果之至少任一解析結果，加以顯示。
  17. 如請求項16所記載之影像處理裝置，其中， 前記顯示部係 將皮膚表面的3維影像、或表示皮膚表面之凹凸的景深地圖、或黑色素濃度指標值影像之至少任一者之資料，加以顯示。
  18. 一種影像處理方法，係屬於影像處理裝置中所執行的影像處理方法，其特徵為， 執行： 影像取得處理，係由影像取得部來取得皮膚影像；和 影像解析處理，係由影像解析部來將前記影像取得部所取得之影像予以解析；和 3維形狀解析處理，係由3維形狀解析部，利用前記影像解析部之解析結果而將皮膚的3維形狀予以解析； 前記影像取得部係 取得不同之波長光的複數個偏光影像； 前記影像解析部係 將前記偏光影像予以解析，而生成已去除雜訊之雜訊去除皮膚影像； 前記3維形狀解析部係 利用前記雜訊去除皮膚影像而將皮膚的3維形狀予以解析。
  19. 一種程式，係屬於在影像處理裝置中令其執行影像處理的程式，其特徵為， 執行： 影像取得處理，係令影像取得部取得皮膚影像；和 影像解析處理，係令影像解析部，將前記影像取得部所取得之影像予以解析；和 3維形狀解析處理，係令3維形狀解析部，利用前記影像解析部之解析結果而將皮膚的3維形狀予以解析； 於前記影像取得處理中，係 令其取得不同之波長光的複數個偏光影像； 於前記影像解析處理中，係 令其將前記偏光影像予以解析，而生成已去除雜訊之雜訊去除皮膚影像； 於前記3維形狀解析處理中，係 令其利用前記雜訊去除皮膚影像而將皮膚的3維形狀予以解析。
TW110115854A 2020-05-15 2021-05-03 影像處理裝置、及影像處理方法、以及程式 TW202147258A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-086294 2020-05-15
JP2020086294 2020-05-15

Publications (1)

Publication Number Publication Date
TW202147258A true TW202147258A (zh) 2021-12-16

Family

ID=78525719

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110115854A TW202147258A (zh) 2020-05-15 2021-05-03 影像處理裝置、及影像處理方法、以及程式

Country Status (2)

Country Link
TW (1) TW202147258A (zh)
WO (1) WO2021229984A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000193527A (ja) * 1998-12-25 2000-07-14 Kao Corp 三次元シミュレ―ション画像の形成方法
EP2328111B1 (en) * 2002-05-09 2018-12-12 Sony Corporation Blood vessel authentication
JP5818091B2 (ja) * 2011-12-27 2015-11-18 ソニー株式会社 画像処理装置、画像処理システム、画像処理方法、および、プログラム
WO2013114891A1 (ja) * 2012-02-03 2013-08-08 パナソニック株式会社 撮像装置および撮像システム

Also Published As

Publication number Publication date
WO2021229984A1 (ja) 2021-11-18

Similar Documents

Publication Publication Date Title
JP4762369B2 (ja) 画像処理装置
CN102973242B (zh) 图像处理设备、图像处理方法、图像处理系统、程序和记录介质
Labati et al. Toward unconstrained fingerprint recognition: A fully touchless 3-D system based on two views on the move
TWI509565B (zh) 基於樣式匹配及立體資訊的深度製圖
US11068700B2 (en) Polarization imaging for facial recognition enhancement system and method
WO2017082100A1 (ja) 生体情報を用いた認証装置及び認証方法
CN111649690A (zh) 一种能够手持的3d信息采集的设备及方法
CN101960859A (zh) 图像处理方法、图像处理装置、图像处理程序、图像合成方法和图像合成装置
Cao et al. Sparse photometric 3D face reconstruction guided by morphable models
US20120206581A1 (en) Image processing apparatus
EP3382645B1 (en) Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images
WO2014125831A1 (ja) 電子ミラー装置
CN109583304A (zh) 一种基于结构光模组的快速3d人脸点云生成方法及装置
JP6799155B2 (ja) 情報処理装置、情報処理システム、および被写体情報特定方法
CN110520768B (zh) 高光谱光场成像方法和系统
CN110740679A (zh) 用于对皮肤光泽定量估计的皮肤光泽测量
Pouli et al. Image statistics in visual computing
CN110986768B (zh) 一种用于目标物3d信息高速采集测量设备
US20210059533A1 (en) Variable polarization and skin depth analysis methods and apparatuses
JP2017051474A (ja) 肌の光沢評価装置、光沢評価方法および光沢評価プログラム
JP2015080647A (ja) 撮影画像表示装置
KR102679397B1 (ko) 생체 인증 장치 및 생체 인증 방법
JP2008167853A (ja) 試験シート、物体診断装置および方法並びにプログラム
JP2009082338A (ja) エントロピーを用いた肌の鑑別方法
JP7039616B2 (ja) 情報処理装置および表面粗さ取得方法