TW201446215A - 圖像解析裝置、圖像解析方法、及圖像解析程式 - Google Patents

圖像解析裝置、圖像解析方法、及圖像解析程式 Download PDF

Info

Publication number
TW201446215A
TW201446215A TW103110363A TW103110363A TW201446215A TW 201446215 A TW201446215 A TW 201446215A TW 103110363 A TW103110363 A TW 103110363A TW 103110363 A TW103110363 A TW 103110363A TW 201446215 A TW201446215 A TW 201446215A
Authority
TW
Taiwan
Prior art keywords
image
analysis
skin
unit
tracking
Prior art date
Application number
TW103110363A
Other languages
English (en)
Other versions
TWI612938B (zh
Inventor
Yusuke Hara
Ichiro Iwai
Hiroyuki Ohnishi
Original Assignee
Shiseido Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shiseido Co Ltd filed Critical Shiseido Co Ltd
Publication of TW201446215A publication Critical patent/TW201446215A/zh
Application granted granted Critical
Publication of TWI612938B publication Critical patent/TWI612938B/zh

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/442—Evaluating skin mechanical properties, e.g. elasticity, hardness, texture, wrinkle assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Abstract

一種圖像解析裝置，其根據利用攝像單元所拍攝的被試驗者的臉部的活動圖像來對皮膚狀態進行解析，其特徵在於，具有：追蹤單元，其基於該活動圖像中包含的該臉部的表情變化，來對預先排列在該臉部的解析區域中的複數個追蹤點的變化量進行追蹤，並根據該變化量來取得該解析區域中的皮膚的壓縮率；以及皮膚狀態解析單元，其基於利用該追蹤單元所得到的壓縮率，來對該被試驗者的皮膚狀態進行解析。

Description

圖像解析裝置、圖像解析方法、及圖像解析程式
本發明的一個實施方式係關於一種圖像解析裝置、圖像解析方法、以及圖像解析程式，特別係關於用於根據被試驗者的表情皺紋來恰當地對皮膚狀態進行解析的圖像解析裝置、圖像解析方法、以及圖像解析程式。
以往，在被試驗者的臉部(例如外眼角或臉頰等)上產生的皺紋，是隨著由於臉部的表情變化(例如笑紋、怒紋)或按壓皮膚而引起的扭曲而產生的。此外，皺紋由於年齡增長、或者皮膚肌理或張力的衰老等，即使表情復原，皺紋也會變成無法消失的狀態(所謂的殘留皺紋)，並最終變成與表情無關而產生的皺紋(所謂的定形皺紋)。因此，作為外表上的老化現象的特徵，成為美容上的大問題，對於在皺紋的預防及改善上有效的製品的開發，消費者寄予了巨大的期待。此外，對於抗皺紋製品開發，利用科學且可信的評價方法來實證其性能、效果非常重要。
因此，在以往，製作了進行以外眼角的皺紋為對象的抗皺紋製品的功能評價的規範並進行各種皺紋評價法的標準化(例如參見非專利文獻1)。此外，在以往，存在一種方法，其根據外眼角的三維形狀資料來計算出各個皺紋的深度或面積，並基於加上目視評價結果的分布解析來評價皺紋(例如參見非專利文獻2)。
<先前技術文獻>
<非專利文獻>
非專利文獻1：抗老化功能評價專門委員會，“用於取得新功能的抗皺紋製品評價規範”日本香妝品學會雜誌，Vol.30，No.4，pp.316-332
非專利文獻2：原祐輔等，“利用外眼角皺紋的三維個別解析的新分類法的開發”，日本香妝品學會雜誌，Vol.35，No.2，pp.93-98
然而，上述的以往手法對於所謂的定形皺紋進行評價等，並不存在針對作為定形皺紋根本的表情皺紋的解析或評價手法等。
此外，通常皺紋隨著表情或用手指沿一個方向按壓皮膚時的扭曲而變化，並且變化量或皺紋的位置也因人而異。因此，難以根據圖像來對表情皺紋或扭曲進行恰當的評價，無法根據表情皺紋、或者由於針對扭曲的恰當的判斷、表型變化或普通的打理而產生的潛在的皺紋等來對皮膚狀態進行解析。
本發明的一個實施方式鑑於上述問題，其目的在於提供一種用於根據被試驗者的表情皺紋或打理時的皮膚的扭曲來恰當地對皮膚狀態進行解析的圖像解析裝置、圖像解析方法、以及圖像解析程式。
為了解決上述問題，本發明的一個實施方式採用具有以下特徵的、用於解決上述問題的手段。
本發明的一個方式提供一種圖像解析裝置，其根據利用攝像單元所拍攝的被試驗者的臉部的活動圖像來對皮膚狀態進行解析，其特徵在於，具有：追蹤單元，其基於該活動圖像中包含的該臉部的表情變化，來對預先排列在該臉部的解析區域中的複數個追蹤點的變化量進行追蹤，並根據該變化量來取得該解析區域中的皮膚的壓縮率；以 及皮膚狀態解析單元，其基於利用該追蹤單元所得到的壓縮率，來對該被試驗者的皮膚狀態進行解析。
根據本發明的實施例，可根據被試驗者的表情皺紋或打理時的皮膚的扭曲來恰當地對皮膚狀態進行解析。
10‧‧‧圖像解析裝置
11‧‧‧輸入單元
12‧‧‧輸出單元
13‧‧‧記憶單元
14‧‧‧圖像取得單元
15‧‧‧追蹤單元
16‧‧‧皮膚狀態解析單元
17‧‧‧圖像生成單元
18‧‧‧發送接收單元
19‧‧‧控制單元
21‧‧‧壓力(stress)解析單元
22‧‧‧皺紋參數計算單元
30‧‧‧攝像單元
41‧‧‧輸入裝置
42‧‧‧輸出裝置
43‧‧‧驅動裝置
44‧‧‧輔助記憶裝置
45‧‧‧記憶體
46‧‧‧CPU
47‧‧‧網路連接裝置
48‧‧‧記憶媒體
50‧‧‧圖像
51‧‧‧追蹤點(標記)
52‧‧‧解析區域
S01‧‧‧步驟
S02‧‧‧步驟
S03‧‧‧步驟
S04‧‧‧步驟
S05‧‧‧步驟
S06‧‧‧步驟
S07‧‧‧步驟
S11‧‧‧步驟
S12‧‧‧步驟
S13‧‧‧步驟
S14‧‧‧步驟
S21‧‧‧步驟
S22‧‧‧步驟
S23‧‧‧步驟
S24‧‧‧步驟
S25‧‧‧步驟
S26‧‧‧步驟
S27‧‧‧步驟
第1圖是表示圖像解析裝置的功能構成的一個例子的圖。
第2圖是表示圖像解析裝置的硬體構成的一個例子的圖。
第3圖是表示本實施方式中的圖像解析裝置的處理的一個例子的流程圖。
第4圖是表示實施例1中的圖像解析處理的一個例子的流程圖。
第5圖(A)、(B)是用於對排列在解析區域中的追蹤點進行說明的圖。
第6圖是用於對形變計算例2進行說明的圖。
第7圖是用於對形變計算例3進行說明的圖。
第8圖(A)、(B)是用於對形變計算例4進行說明的圖。
第9圖(A)、(B)是用於對壓力資訊的取得例子進行說明的圖。
第10圖是表示實施例1中的解析結果的一個例子的圖(其1)。
第11圖是表示實施例1中的解析結果的一個例子的圖(其2)。
第12圖(A)~(C)是表示實施例1中的解析結果的一個例子的圖(其3)。
第13圖是表示實施例2中的皮膚狀態解析處理的一個例子的圖。
第14圖(A)、(B)是用於對表情皺紋的褶痕進行說明的圖。
第15圖是表示實施例2中的解析結果的一個例子的圖(其1)。
第16圖是表示實施例2中的解析結果的一個例子的圖(其2)。
第17圖表示出前額的皺紋解析結果的一個例子。
第18圖(A)~(C)是表示實施例3中的解析結果的一個例子的圖(其1)。
第19圖(A)~(C)是表示實施例3中的解析結果的一個例子的圖(其2)。
<關於本發明的一個實施方式>
在本發明的一個實施方式中，為了根據被試驗者的動態的皺紋(例如笑紋、怒紋、或哭紋等表情皺紋、打理時的皮膚的扭曲)來對皮膚狀態進行解析，在臉部的預定的部分設定追蹤點並特別指定解析區域，例如使用高速攝影機等攝像單元來拍攝伴隨表情變化的皺紋的變動，一邊按時間序列追蹤拍攝的結果一邊進行皺紋的解析。
此外，在本發明的一個實施方式中，可使用預先設定的皺紋過濾器等從提取的圖像中提取皺紋，並計算出皺紋參數(例如皺紋的面積、長度、或比率)。此外，可進行所得到的圖像的形變解析、或形變和壓力解析，製作應力圖等。由此，可恰當地對被試驗者的皮膚狀態進行解析、評價。以下，使用圖示，對本發明中的圖像解析裝置、圖像解析方法、以及圖像解析程式的優選實施方式進行說明。
<圖像解析裝置的功能構成例>
第1圖是表示圖像解析裝置的功能構成的一個例子的圖。第1圖所示的圖像解析裝置10具有輸入單元11、輸出單元12、記憶單元13、圖像取得單元14、追蹤單元15、皮膚狀態解析單元16、圖像生成單元17、發送接收單元18、以及控制單元19。此外，皮膚狀態解析單元16具有壓力(stress)解析單元21以及皺紋參數計算單元22。需要說明的是，第1圖所示的圖像解析裝置10與攝像單元30在外部連接，但並不限定於此，圖像解析裝置10也可內藏攝像單元30。
輸入單元11接受來自圖像解析裝置10的使用者等的各種指示的輸入。輸入單元11例如由鍵盤或滑鼠等指示設備等構成。
輸出單元12進行基於由輸入單元11所輸入的內容、或輸入內容而執行的內容等的顯示或輸出。輸出單元12由顯示器或揚聲器等構成。此外，輸出單元12也可具有打印機等的功能，此時可將圖像解析結果 等印刷到紙等印刷媒體上，提供給使用者等。
需要說明的是，輸入單元11和輸出單元12可以是例如觸控面板等一體型的輸入輸出單元。此時，可利用使用者的手指或觸控筆等接觸畫面上的預定位置而進行輸入。
記憶單元13記憶在本實施方式的圖像解析中所需的各種資料。例如記憶單元13記憶圖像取得單元14利用攝像單元30等取得的拍攝圖像(時間序列圖像、動畫)、由追蹤單元15得到的追蹤結果、由皮膚狀態解析單元16得到的解析結果、由圖像生成單元17得到得圖像等各種資料，所記憶的資料例子並不限定於此。
記憶單元13例如亦可記憶用於進行圖像解析的設定資訊、利用發送接收單元18而從通過通信網路而連接的外部裝置取得的各種資料(拍攝圖像等)。此外，記憶單元13可根據需要將所記憶的各種資料讀出或寫入。
圖像取得單元14取得由外部連接的攝像單元30所拍攝的被試驗者的臉部圖像。需要說明的是，臉部圖像可以是臉部正面的全部區域的圖像，可以是橫向臉部圖像，可以是臉部的一部分區域的圖像，也可以是組合上述圖像的圖像。
在此，在本實施方式中圖像取得單元14取得的圖像例如是包含預先設定的解析區域的時間序列圖像，是具有複數個圖框圖像的動畫。此外，在預先設定的解析區域中，以預定的間隔排列有預定的追蹤點。追蹤點例如是具有三角形、四邊形、星形等預定形狀的記號(標記)，但並不限定於此。追蹤點是在根據圖像資料進行預定的圖像處理後用可追蹤其位置的顏色等而被付予到解析對象的皮膚表面。
因此，圖像取得單元14從攝像單元30取得包括上述追蹤點的時間序列圖像(動畫)。再有，在本實施方式中，為了進行表情皺紋的解析，例如讓被試驗者按時間序列從真實臉(普通臉)的狀態變化到 預先設定的臉部表情、或者從預先設定的臉部表情變化到真實臉的狀態。此變化可反復進行。攝像單元30對該變化表情的臉部的活動圖像進行拍攝。
在此，作為攝像單元30，例如可使用可以影像速率(30fps)以上的圖框速率進行動畫拍攝的高速攝影機(High speed camera)等，但並不限定於此。作為高速攝影機，例如可使用株式會社KEYENCE公司製的“microscope VW-6000”等來拍攝，但並不限定於此。此外，攝像單元30取得被試驗者的臉部圖像時，例如以在增強臉部皺紋的照明條件下進行拍攝為佳，但並不限定於此。
圖像取得單元14透過對攝像單元30生成並輸出上述拍攝範圍(例如視角、焦距等)、照明條件、拍攝條件(圖框間的時間間隔)、或解像度等各種攝影機參數，從而可取得所希望的活動圖像(時間序列圖像)。此外，圖像取得單元14可使記憶單元13記憶從拍攝單元30取得的活動圖像，並直接輸出到追蹤單元15。
追蹤單元15利用記憶在記憶單元13中的活動圖像、由圖像取得單元14得到的活動圖像、或者利用發送接收單元18從外部裝置等取得的活動圖像等，對解析區域的皮膚的變動進行追蹤。需要說明的是，解析區域的追蹤是對包含在時間序列圖像中的上述一個或複數個追蹤點(標記)的變動進行取得，但並不限定於此。此外，追蹤單元15基於根據臉部圖像的時間序列而產生的追蹤點的移動距離的變化量來取得被試驗者的皮膚的壓縮率。所謂的壓縮率是所追蹤的各點間的移動距離的變化量(縮短情況)，但並不限定於此。此外，作為壓縮率的一個例子，追蹤單元15根據所追蹤的各點間的距離的變化來取得形變量。所謂的形變量例如是由於表情變化而引起的由各點間所包圍的面區域的壓縮或擴張量，但並不限定於此。
皮膚狀態解析單元16基於上述追蹤點的時間序列上的變動(壓 縮率)，對皮膚狀態進行解析。所謂的皮膚狀態的解析是例如對表情皺紋進行解析，根據其結果對針對皮膚的壓力(stress)進行解析、或者計算出用於用數值來表現表情皺紋的皺紋參數等，但並不限定於此，例如也可對因打理時的用手指按壓而產生的皮膚扭曲進行解析。
例如，皮膚狀態解析單元16中的壓力解析單元21根據由複數個追蹤點的點群資料得到的對應於表情變化的形變量，來限定對解析區域內受到強力壓力的部分。此外，壓力解析單元21進行對肌膚(皮膚)的柔軟性(硬度)等進行定量化的皮膚力學測定，並利用其結果將形變作為壓力來解析。所謂的皮膚力學測定例如是對具有皮膚的2點間的沖擊波的傳播時間等進行測定，並基於其結果對肌膚(皮膚)的柔軟性或張力的狀態、方向等進行定量化，但並不限定於此。
皮膚狀態解析單元16中的皺紋參數計算單元22基於設置在解析區域內的追蹤點，來將區域內的皺紋分類成預先設定的一個或複數個皺紋種類。此外，皮膚狀態解析單元16進行在圖像中所識別的皺紋的噪音處理，當具有在活動圖像中的前後圖像中不存在的皺紋時，將該皺紋刪除。
再有，皺紋參數計算單元22針對由上述處理得到的皺紋計算出參數。需要說明的是，皺紋參數是皺紋面積、皺紋長度、以及皺紋比率等之中至少一個，但並不限定於此。
圖像生成單元17基於由上述皮膚狀態解析單元16得到的解析結果來生成在輸出單元12等的畫面上顯示的圖像。
例如，圖像生成單元17生成對由壓力解析單元21得到的壓力產生的部分進行增強顯示的圖像或壓力圖等，或者生成顯示由皺紋參數計算單元22所計算出的參數的圖像，或者生成對由於臉部的表情變化而引起的皺紋的部分進行增強顯示的圖像等，但並不限定於此。例如，圖像生成單元17例如也可生成設定畫面等，該設定畫面用於輸入 用於使用者進行本實施方式的圖像解析的各種設定資訊。
需要說明的是，圖像生成單元17當將所生成的圖像顯示在輸出單元12的畫面上時，為了使使用者或被試驗者更容易看到，例如可將預定區域放大顯示，或者在進行了亮度反轉等處理之後再進行顯示。
再有，圖像生成單元17可按活動圖像的各圖框來進行上述表現皺紋或壓力的圖像、並生成動畫。使用者透過觀看該動畫，可更恰當地把握隨著表情變化而引起的皺紋或壓力的變化。因此，可進行恰當的皮膚狀態的評價等。
發送接收單元18是用於例如通過互聯網或LAN(Local Area Network：區域網路)等代表的通信網路所連接的外部裝置等進行資料的發送接收的通信單元。需要說明的是，發送接收單元18可接收已在外部裝置等中記憶的臉部圖像資料、被試驗者資訊或處理程式等，也可將由圖像解析裝置10所解析的結果通過通信網路發送到外部裝置。
控制單元19進行圖像解析裝置10的各構成部整體的控制。具體而言，控制單元19例如基於根據使用者等的來自輸入單元11的指示等，進行使圖像取得單元14取得圖像，使追蹤單元15追蹤圖像中的一個或複數個追蹤點，使皮膚狀態解析單元16解析皮膚狀態，使圖像生成單元17生成圖像等的控制，但控制內容並不限定於此。
圖像解析裝置10例如可以是個人電腦(PC：Personal Computer)或伺服器等，也可以是平板終端、智慧型手機等通信終端、或遊戲設備等，但並不限定於此。
<圖像解析裝置10的硬體構成例子>
第2圖是表示圖像解析裝置的硬體構成的一個例子的圖。第2圖中的圖像解析裝置10具有輸入裝置41、輸出裝置42、驅動裝置43、輔助記憶裝置44、主記憶裝置45、CPU(Central Processing Unit：中央 處理器)46、以及網路連接裝置47，並透過系統匯流排B將其相互連接。
輸入裝置41具有使用者等所操作的鍵盤及滑鼠等指示設備、或麥克風等聲音輸入設備，接受來自使用者等的程式的執行指示、各種操作信號、用於啟動軟體等的資訊等。
輸出裝置42具有顯示對操作圖像解析裝置10所需的各種窗口或資料等的顯示器，可透過CPU46執行控制程式而顯示程式的執行經過或結果等。
在此，在本實施方式中安裝於作為圖像解析裝置10的電腦中的執行程式例如由通用串列匯流排(USB：Universal Serial Bus)記憶體、CD-ROM、DVD等可搬運型記錄媒體48等提供。記錄有程式的記錄媒體48可安裝於驅動裝置43中，基於來自CPU46的控制信號，包含於記錄媒體48中的執行程式借助驅動裝置43從記錄媒體48被安裝於輔助記憶裝置44中。
輔助記憶裝置44例如是硬碟(HDD：Hard Disk Drive)或固態硬碟(SSD：Solid State Drive)等存儲單元等。輔助記憶裝置44基於來自CPU46的控制信號，記憶本實施方式中的執行程式、設於電腦中的控制程式，並根據需要進行輸入輸出。輔助記憶裝置44可基於來自CPU46的控制信號等，從所記憶的各資訊讀出或寫入所需的資訊。
主記憶裝置45儲存利用CPU46從輔助記憶裝置44中讀出的執行程式等。需要說明的是，主記憶裝置45例如是唯讀記憶體(ROM：Read Only Memory)及隨機存取記憶體(RAM：Random Access Memory)。需要說明的是，輔助記憶裝置44及主記憶裝置45例如對應於上述記憶單元13。
CPU46可根據作業系統(OS：Operating System)等控制程式、及主記憶裝置45中儲存的執行程式，來控制各種演算或與硬體構成部的 資料的輸入輸出等圖像解析裝置10整體的處理，並實現各處理。需要說明的是，程式的執行中所需的各種資訊等可從輔助記憶裝置44取得，並可儲存執行結果等。
具體而言，CPU46例如透過基於從輸入裝置41所取得的程式的執行指示等而使輔助記憶裝置44執行所安裝的程式，從而在主記憶裝置45上進行對應於程式的處理。例如，CPU46透過執行本實施方式中的圖像解析程式，從而進行上述利用圖像取得單元14進行的圖像的取得、利用追蹤單元15進行的追蹤點的追蹤、利用皮膚狀態解析單元16進行的皮膚狀態的解析、利用圖像生成單元17進行的圖像生成等處理。需要說明的是，CPU46中的處理內容並不限定於此。對於由CPU46所執行的內容，可根據需要使輔助記憶裝置44記憶。
網路連接裝置47透過基於來自CPU46的控制信號而與通信網路等連接，從而從與通信網路連接的外部裝置等取得執行程式、軟體或設定資訊等。此外，網路連接裝置47可向外部裝置等提供透過執行程式所得到的執行結果或本實施方式中的執行程式本身。
利用上述硬體構成，可執行本實施方式中的圖像解析處理。此外，透過將可使電腦執行上述各功能的執行程式(圖像解析程式)安裝於例如通用的PC、智慧型手機等通信終端、或遊戲設備中，從而可實現本實施方式中的圖像解析處理。
<圖像解析裝置10的處理的例子>
在此，使用流程圖對本實施方式中的圖像解析裝置10的處理的一個例子進行說明。第3圖是表示本實施方式中的圖像解析裝置的處理的一個例子的流程圖。
在第3圖的例子中，圖像解析裝置10的圖像取得單元14所拍攝的包括解析區域的皮膚圖像的活動圖像(S01)。需要說明的是，所拍攝的活動圖像，用高速攝影機來拍攝為佳，但並不限定於此。
接著，圖像解析裝置10的追蹤單元15針對在S01處理中得到得活動圖像來追蹤在解析區域內排列的各點(S02)。需要說明的是，所謂的各點，是在被試驗者的臉部的解析區域內預先付予的追蹤點(標記)。在本實施方式中，例如將複數個點以預定的間隔排列在區域內。
接著，圖像解析裝置10的皮膚狀態解析單元16根據追蹤的結果來對皮膚狀態進行解析(S03)。S03的處理例如可以是皮膚的壓力的解析，可以是皺紋參數的計算，也可以是其組合等，但並不限定於此。
接著，圖像解析裝置10的圖像生成單元17基於在S03的處理中得到的皮膚解析結果來生成圖像(S04)，並將生成的圖像顯示在輸出單元12等的畫面上(S05)。在S05的處理中，圖像生成單元17可將其顯示在通過通信網路等連接的外部裝置的畫面上。此外，在S04、S05的處理中，也可生成將圖像按時間序列排列的動畫，並使輸出單元12等顯示所生成的動畫。
圖像解析裝置10的記憶單元13對在S03處理中得到的皮膚解析結果等進行記憶(S06)。在此，圖像解析裝置10判斷是否結束圖像解析處理(S07)，當不結束處理(S07中為否)時，返回到S01的處理。此外，當根據使用者等的指示結束處理(S07中為是)時，圖像解析裝置10結束圖像解析處理。
<皮膚狀態解析處理：實施例1(壓力解析)>
接著，對上述皮膚狀態解析單元16中的皮膚狀態解析處理的實施例1進行說明。在實施例1中，對利用表情皺紋的壓力解析例子進行說明。需要說明的是，在以下說明中，作為表情皺紋的一個例子使用笑紋，但並不限定於此，例如也可以是怒紋、哭紋等。
在實施例1中，例如將被試驗者的臉部的解析區域內預先設定的 追蹤點(標記)以1mm間隔在外眼角打點100個點以上。需要說明的是，上述打點可直接附著於皮膚上，也可以透過使用在預先設定的位置上進行打點的打印機(stamp)等來容易地付予追蹤點。
此外，在實施例1中，使用打印機在外眼角進行打點，並用高速攝影機來拍攝被試驗者笑時的外眼角的皮膚的變動。此外，在實施例1中，根據追蹤點間的距離的變化來取得二維的形變，並顯示所取得的形變。再有，在實施例1中，透過進行對肌膚(皮膚)的柔軟性等進行定量化的皮膚力學測定、並參考其結果，從而將形變作為壓力來顯示、並進行解析。皮膚力學測定例如可使用「沖擊波測定裝置‘Reviscometer(登記商標)’」(Courage+Khazaka electronic GmbH)等，但並不限定於此。
第4圖是表示實施例1中的圖像解析處理的一個例子的流程圖。需要說明的是，在第4圖的例子中，利用預先製造的打印機等，將在用於解析被試驗者的皮膚狀態的解析區域內以預定間隔排列的追蹤點打印到外眼角。需要說明的是，在打點時，例如考慮針對皮膚的負荷或可容易區別皮膚的顏色的易選擇性等，相比墨水以使用睫毛膏或眼線筆等預定的化妝料為佳。需要說明的是，關於區域內的打點數，例如以在解析區域內以相等間隔排列100個以上的點為佳，但並不限定於此。
第5圖是用於對排列在解析區域中的追蹤點進行說明的圖。第5(A)圖表示所排列的追蹤點的一個例子，第5(B)圖表示包括追蹤點的點群的解析區域。在第5(A)圖所示的例子中，在被試驗者的右外眼角附近的圖像50中以預定的間個表示出縱橫11×11=121個點的追蹤點(標記)51。此外，如第5(B)圖所示，追蹤點被排列標記在解析區域52中。
需要說明的是，在本實施方式中，由於將以預定的間隔排列追 蹤點51的部分作為解析區域52即可，因此例如可將比第5(B)圖所示的區域更小的區域(例如第5(B)圖所示的解析區域52的右半部或左半部等)作為解析對象。再有，可將由各追蹤點所包圍的區域的內部的一部分區域作為解析區域52。
在實施例1中，透過在各追蹤點51由真實臉(普通臉)變化至笑臉時、或由笑臉變化至真實臉時，對發生了何變動進行追蹤，從而可解析因表情變化而引起的皮膚的壓力資訊。
在第4圖的例子中，壓力解析單元21取得被試驗者的笑紋的活動圖像(S11)。在S11的處理中，例如使用高速攝影機進行增強皺紋的照明條件的調整、或者以不產生抖動圖像的程度取得所拍攝的活動圖像為佳，但並不限定於此。此外，在S11的處理中，讓被試驗者從真正臉做出滿臉的笑臉，並取得此時的拍攝包括解析區域(外眼角附近)的皮膚變化的動畫。
接著，壓力解析單元21例如基於PIV(Particle Image Velocimetry：粒子影像測速)法來進行利用追蹤點的追蹤的解析(S12)。所謂的PIV法是例如根據拍攝時間不同的粒子圖像，使用型態匹配等來測量速度場的技術，是根據數字圖像等測定粒子速度或位移的手法。
在基於PIV法的追蹤點的追蹤例如可使用株式會社Library公司的「二維動畫測量軟體‘Move-tr/2D’」等，但並不限定於此，也可使用其他軟體。
壓力解析單元21也可以將透過利用追蹤的解析來將動畫中的各場景(圖框)的追蹤點的位置設成csv文件或txt文件等保存在記憶單元13中。此外，可進行將動畫(例如avi文件)分解成連續靜止圖像(例如bmp文件)的圖像處理。
接著，壓力解析單元21取得解析區域內的追蹤點間的距離的變化，並根據其變化量進行形變解析(S13)。需要說明的是，形變解析 例如可使用株式會社Library公司的「形變計測軟體‘Strain-mp’」等，但並不限定於此，也可使用其他軟體。
接著，壓力解析單元21在解析區域內進行上述的皮膚力學測定，基於該皮膚力學測定值與在S14的處理中得到的形變解析結果，取得壓力資訊(S14)。在S14的處理中，例如透過將由皮膚力學測定得到的皮膚的硬度乘以形變解析結果，從而取得由笑紋引起的壓力(應力)資訊。具體而言，為“Stress(應力)=E(硬度)×Strain(形變)”，但並不限定於此。在實施例1中，若利用壓力解析單元21取得壓力資訊，則在圖像生成單元17中，可生成並顯示使用壓力資訊將皮膚受到的強力壓力的部位可視化後的壓力(應力)圖等。
<關於PIV法>
在此，對本實施方式中的PIV法具體進行說明。需要說明的是，在以下說明中，使用作為PIV法的一個例子的PTV(Particle Tracking Velocimetry：粒子追蹤)法，但並不限定於此。
在實施例1中的PTV法中，以在解析區域內附著化妝料等並實施打點的部位(追蹤點)為圖像中的追蹤對象，首先作為初始設定，設定追蹤點的特徵(例如顏色、形狀、大小)等。此時，可基於亮度值、RGB值等來提取盡量不與追蹤對象週邊部位不重複的追蹤對象的特徵，並基於其像素數(檢查區域尺寸)、重心等進行追蹤對象的自動的特徵設定。此外，在實施例1中，在圖像中設定追蹤的面積(解析區域尺寸)。
接著，基於所設定的內容來進行所拍攝圖像的解析。在此，將F(t-1)定義為追蹤對象(追蹤點)的XY值固定的圖像的圖像，將F(t)定義為追蹤對象的XY值不固定的F(t-1)的下一個圖框的圖像。此時，在F(t)的圖像中，以F(t-1)中的追蹤對象的XY值為中心，針對解析區域所有尺寸，計算出與追蹤對象之間的相關係數， 並將表示相關值最高的值的XY值作為F(t)中的追蹤對象的XY值。
<關於形變解析>
接著，對上述形變解析具體進行說明。在實施例1中，使用高速攝影機用動畫拍攝打點了追蹤點的皮膚的變動，按構成該動畫的每個圖框來進行利用PTV法的追蹤點的追蹤，例如將由打點所包圍的解析區域(例如四邊形)從預先設定的最初的框(初始位置)變形何種程度作為形變值來計算。需要說明的是，壓縮形變值並不限定為將壓縮的情形設為正(plus)。
接著，對形變計算方法的例子進行說明。
<形變計算例1>
在形變計算例1中，平面的形變相對於位移量u,v為以下所示的(1)式。
然而，x,y表示平面座標。
此時，主形變可利用以下所示的(2)~(4)式來計算。
<形變計算例2>
在形變計算例2中，利用外積求出作為解析區域的一個例子的四邊形的面積，根據改變表情前後的面積比來計算出形變值。在此，第6圖是用於對形變計算例2進行說明的圖。
在第6圖的例子中，當解析區域為四邊形時，若將該四邊形的頂點的xy座標設為(0,0)、(a,b)、(c,d)、(e,f)，則四邊形的面積為“面積=1/2×((√(a×d-b×c)2)+(√(c×f-d×e)2))”。
基於上述的計算內容，形變值可作為“形變值=(作為對象的表情變形時的圖框的四邊形面積)/(最初(真正臉)的圖框的四邊形面積)”計算出。
<形變計算例3>
在形變計算例3中，計算重心P的形變(εx，εy)。第7圖是用於對形變計算例3進行說明的圖。
在此，如第7圖所示，若將四邊形的頂點的初始座標設為(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)，將節點1~4的位移設為(u1,v1)、(u2,v2)、(u3,v3)、(u4,v4)，則重心P的形變可由以下所示的(5)式、(6)式計算出。
<形變計算例4>
第8圖是用於對形變計算例4進行說明的圖。在形變計算例4中，例如如第8(A)圖所示，將局部座標系(物理座標系)轉換為一般座標 系(自然座標系)。在此，使四邊形的四個頂點(1)~(4)分別對應於(-1,-1)、(1,-1)、(1,1)、(-1,1)。換言之，將局部座標系的四邊形映射為一般座標系的正方形。
在此，將形狀函數(位移內插函數)如以下所示的(7)式定義。
在如第8(A)圖所示的一般化座標系中的形變如以下所示的(8)式變為位移內插函數的偏微分的導函數，將其展開後為(9)式。
在平面問題中，一般化座標系與局部座標系的變分的關係為如下所示的(10)式。
需要說明的是，在上述的(10)式中，J表示賈可比矩陣(Jacobian matrix)。因此，賈可比矩陣的逆矩陣為以下所示的(11)式。
在此，若將形變設為ε，將形變-位移轉換矩陣(線形)設為B(也稱為[B]矩陣)，將u設為要素端面內位移矢量，則形變-位移關係式被定義為“ε=Bu”。此時的形變ε可用以下所示的(12)式來表示。
某一點i的形變-位移轉換矩陣([B]矩陣)可利用以下所示的(13)式計算出(每個點上存在[B]矩陣)。
在此，在製作矩陣時，需要進行面積積分。然而，只要要素不是很單純的形狀，則被積分函數的形變得複雜，解析上積分幾乎不可 能。因此，在形變計算例4中，例如使用高斯(Gauss)積分。
高斯積分是用拉格朗日(Lagrange)多項式來近似被積分函數，將拉格朗日多項式的性質復原在數值上求出積分的方法之一。在本實施例中的四邊形要素(節點1~4)中，為了保證充分精度的高斯積分點(採樣點)例如可以如第8(B)圖所示的(ri,si)的座標值為基準設為4個。例如，r=±1/，s=±1/的2×2的4點，此時的重量為W1=W2=1。此時，形變ε可利用以下所示的(14)式來計算。
上述的形變計算例1~4可使用預先設定的手法來計算，也可組合上述的複數個計算例。
<壓力(應力)資訊σ的取得例>
接著，對壓力(應力)資訊σ的計算例具體進行說明。對於壓力(應力)資訊σ，例如可透過假定並模擬表示平面應力狀態或平面形變來取得壓力(應力)資訊σ。在此，第9圖是用於對壓力資訊的取得例子進行說明的圖。需要說明的是，第9(A)圖表示出平面應力狀態，第9(B)圖表示出平面形變狀態。
例如，若假定為平面應力狀態(z方向的應力為0)，則可考慮為第9(A)圖所示的薄板樣的情況。此時，設σz=0、γzx=0、γyz=0，ε由 以下所示(15)式計算出。
需要說明的是，在上述(15)式中，v表示柏松比，E表示楊氏模數。此外，在本實施方式中，作為柏松比例如使用0.4。這是因為考慮由於高含水性的生物體其非壓縮性高因此為0.5~4.0左右。此外，楊氏模數E例如用由Revisco meter等得到的皮膚力學測定值的倒數來推定。
需要說明的是，在第9(A)圖的平面應力狀態下，由於Z方向的形變不為零，因此為“εz=-v(σx+σy)/E”。
此外，若假定為平面形變狀態Z方向之形變為零，則可考慮為第9(B)圖所示的厚的構造的剖面。此時，設σz=0、γzx=0、γyz=0，ε由以下所示(16)式計算出。
在此，由於z方向的應力不為零，因此為“σz=vE(εx+εy)/((1+v)(1-2v))”。
需要說明的是，在上述例子中，簡易地考慮上述v、ε充分小，則 可代替為σ=εE。因此，上述例子中σ與ε同樣可輸出主應力。
<實施例1中的解析結果的一個例子>
在此，第10圖~第12圖是表示實施例1中的解析結果的一個例子的圖(其1~其3)。在第10圖的例子中，表示出透過複數次重複表情變化而得到的定形皺紋和殘留皺紋的樣子。此外，在第10圖的例子中，表示出在乾燥環境(10%RH(Relative Humidity：相對濕度))和高濕環境(80%RH)下實施時的結果。需要說明的是，在第10圖的例子中作為皮膚的一個例子使用複製品。
在第10圖的例子中，若比較箭頭部分中的乾燥環境(10%RH)及高濕環境(80%RH)的皺紋的體積[mm3]，可知道在乾燥環境下殘留皺紋增加，在高濕環境下定形皺紋及殘留皺紋均不怎麼變化。
在第11圖的例子中，是將在乾燥(低濕)環境(10%RH)和高濕環境(80%RH)下實施的外眼角的皺紋壓力可視化顯示。需要說明的是，在第11圖的例子中，圖像生成單元17根據解析區域52內的壓力的大小(負荷程度)(a.u.)用預先設定的顏色來生成區分顏色的圖像，但並不限定於此，也可以對圖案等附加變化來顯示、或者進行其他的增強顯示。
在第12圖的例子中，在第12(A)圖中表示出低濕度(乾燥環境(10%RH))和高濕度(高濕環境(80%RH))下的形變和壓力的標準偏差值的關係，表示出值越高則越局部地負荷有形變或壓力。此外，在第12(B)圖中，表示出低濕度(乾燥環境(10%RH))和高濕度(高濕環境(80%RH))下的最大形變和最大應力的關係。此外，在第12(C)圖中，表示出最大形變(前10個平均)和最大應力(前10個平均)的關係。
根據第12(A)~(C)圖的解析結果，可知無論何種情況，比起高濕度，低濕度的形變或壓力的值大是殘留皺紋的一個原因。
<皮膚狀態解析處理：實施例2(皺紋參數計算)>
接著，對上述皮膚狀態解析單元16中的皮膚狀態解析處理的實施例2進行說明。在實施例2中，對利用表情皺紋的皺紋參數計算例進行說明。需要說明的是，在以下說明中也與實施例1同樣作為表情皺紋的一個例子使用笑紋來進行說明，但並不限定於此，例如也可以是怒紋、哭紋等。
在實施例2中，例如將預先設定的追蹤點(標記)在外眼角以大約1.5cm的間隔上下打2點，用高速攝影機對被試驗者笑時的外眼角的變動方式進行拍攝。此外，將動畫按每一場景(圖框)分解，使用預先設定的皺紋提取程式來提取皺紋。需要說明的是，在實施例2中，例如可以對不明顯的笑紋或明顯的笑紋等分類為皺紋種類並進行解析。
此外，在實施例2中，可以對皺紋和年齡的關係進行解析，由此可找出隨著年齡增長明顯皺紋的比率增加等的知識。需要說明的是，上述追蹤點與實施例1同樣，可使用睫毛膏或眼線筆等化妝料，但並不限定於此。
在此，第13圖是表示實施例2中的皮膚狀態解析處理的一個例子的圖。在第13圖中，皺紋參數計算單元22如上所述使用在被試驗者的解析區域內付予的追蹤點(標記)，與實施例1同樣地，取得被試驗者做出滿臉笑容的表情時的活動圖(S21)像。
接著，皺紋參數計算單元22，根據由S21的處理得到的活動圖像來進行基於PIV法的追蹤點的追蹤(S22)。需要說明的是，在S22的處理中，與實施例1同樣可動畫中的按各場景的點的位置以csv文件或txt文件保存在記憶單元13中。此外，在S22處理中，可以進行將動畫(例如avi文件形式)分解成連續靜止圖像(例如bmp文件)的圖像處理。
接著，皺紋參數計算單元22使上述csv文件和bmp文件圖像同步，識別各bmp文件圖像中的追蹤點的位置(例如xy座標)，確定解析位置(S23)，提取預定圖像(例如200×200像素、例如大約1cm的四方)(S24)。需要說明的是，在S23的處理中，將兩個追蹤點的正中作為解析位置來識別，但並不限定於此。此外，在實施例2中，隨著表情的變化追蹤點轉動時，以使用逆仿射變換等使解析中的位置也轉動為佳，但並不限定於此。
接著，皺紋參數計算單元22進行預先設定的噪音處理(S25)，進一步使用預先設定的皺紋提取過濾器等進行皺紋的提取(S26)。在S26的處理中，例如使用3種皺紋提取過濾器，來將解析區域中包含的皺紋分成例如“細皺紋”、“大皺紋”、“明顯大皺紋”任意一者，但對於種類並不限定於此。此外，在S26的處理中，當針對提取的皺紋進行噪音處理、並具有在前後的圖框圖像中不存在的皺紋時，由於其為噪音的可能性很大，因此可將該皺紋刪除。
接著，皺紋參數計算單元22根據在S26的處理中提取的皺紋來計算皺紋參數(S27)。需要說明的是，作為皺紋參數，例如有皺紋面積、皺紋長度、皺紋比率等，但並不限定於此。
在實施例2中，可使用在上述處理中得到的結果利用圖像生成單元17將連續靜止圖像(例如bmp)再構建成動畫(例如avi、wmv)等並生成動畫，並再生所生成的動畫。此時，圖像生成單元17以將在S26處理中所提取的皺紋按每個所分類的類別來進行顏色劃分、並在原圖像上進行可視化並增強顯示為佳，但對於所生成的圖像並不限定於此。
在此，皺紋依賴皮膚的褶痕程度。第14圖是用於對表情皺紋的褶痕進行說明的圖。如第14(A)圖所示，在輕輕睜開眼時與嘴角上翹做出滿臉笑容時，皮膚的褶痕的週期不同。所謂的褶痕的週期，例 如如第14(A)圖所示是兩個皺褶的寬度(間隔)，但並不限定於此。
如第14(A)圖所示，對於不明顯的褶痕，皮膚被細細地折疊。此外，如第14(B)圖所示，在輕輕睜開眼時與嘴角上翹做出滿面笑容時，若將皮膚的褶痕設為深度D、週期L，則當將皮膚沿水平方向壓縮15%折成半橢圓形狀時，對於如第14(A)圖所示褶痕明顯的樣板(被試驗者)，由於其週期L為1.0mm深度D為100μm因此為“皺紋”的程度。此外，對於不明顯的樣板，由於其週期L為0.2mm深度D為20μm因此為“肌理”的程度。需要說明的是，在上述例子中，設皮膚的初始狀態為平，假定各個角質細胞未由於壓縮而變形。換言之，若如第14圖的例子所示皮膚被輕輕地折疊時，褶痕較淺並不明顯。
在此，第15圖及第16圖是表示實施例2中的解析結果的一個例子的圖(其1、其2)。需要說明的是，在第15圖、第16圖中，利用預先設定的皺紋提取過濾器來按“非常明顯”、“明顯”、“不明顯”3種皺紋來表示結果。再有，在第15圖、第16圖的例子中，排列6個追蹤點51，對於在該些點中，正中四角內的解析區域52內來計算出皺紋參數。
在第15圖的例子中，表示出各壓縮率[%]、與粗折“明顯笑紋”、細折“不明顯笑紋”的關係。根據該解析結果，可知笑時的皮膚折得越細，則越成為不明顯的笑紋。
在第16圖的例子中，針對分類成“非常明顯皺紋”、“明顯皺紋”、“不明顯笑紋”的各皺紋，劃分顏色來表示。此外，在第16圖的例子中，表示出年齡與不明顯笑紋比率[%]的關係，根據該解析結果可知年齡越小，則越成為皮膚被細折的不明顯笑紋。
在上述實施例2的解析結果中，並不限定於上述圖像例子，例如可以表示皺紋長度等參數。
需要說明的是，上述使用表示皺紋等的皮膚狀態的解析，例如 可以適用於前額、外眼角、外眼角下、臉頰、眼睛周圍、鼻唇溝、眉間、鼻子上等。第17圖表示出前額的皺紋解析結果的一個例子。
在第17圖的例子中，例如表示2名被試驗者(被試驗者A、被試驗者B)的解析對象皮膚的壓縮率0%(真實臉)的狀態和壓縮率20%(向上抬起前額的表情)下的皺紋的解析結果。
在第17圖的例子中，在解析區域52內，表示出根據皺紋的種類劃分顏色的皺紋。此外，在第17圖的例子中，僅表示出圖像，但並不限定於此，也可以將複數個被試驗者的皺紋的解析結果根據動畫按時間序列表示。需要說明的是，上述圖像或動畫可由上述的圖像生成單元17生成。
<皮膚狀態解析處理：實施例3(皮膚的扭曲解析)>
需要說明的是，透過適用本實施方式，除了根據上述實施例1所示的表情皺紋的壓力解析以外，例如還可對由外力活動皮膚時產生的皮膚的扭曲狀態進行定量解析。在實施例3中，例如可使用上述實施例2所示的皺紋參數的計算手法等，對按摩或塗布物(粉底等)的塗布等打理時引起的被試驗者的皮膚(肌膚)的扭曲狀態進行定量解析。
在此，第18圖、第19圖是表示實施例3中的解析結果的一個例子的圖(其1、其2)。需要說明的是，第18圖表示出由於按摩而引起的基於被試驗者的年齡的肌膚扭曲的解析結果的一個例子，第19圖表示出護膚前後的皮膚扭曲的解析結果的一個例子。
第18(A)圖表示出年齡不同的複數個被試驗者的按摩前(初始狀態)的皮膚圖像，第18(B)圖表示出對該複數個被試驗者的皮膚用手指等施加最大荷重按摩狀態(最大荷重中)的皮膚狀態，第18(C)圖表示出對第18(B)圖的狀態下的明顯褶皺面積(pixel)進行合計的結果。需要說明的是，在第18圖中，作為年齡不同的皮膚圖 像的一個例子，表示出20多歲、50多歲前半、及50多歲後半的例子，但對於圖像的種類並不限定於此。
在第18(A)圖、第18(B)圖的例子中，在被試驗者的外眼角和臉頰上用眼線筆等打上追蹤點51，之後，對在追蹤點51內設定的預定的解析區域52用手指等以一定的力沿預定的方向(例如在第18圖的例子中，從圖像的下方(臉頰)向上方(外眼角)的方向)按壓對皮膚按摩時的外眼角附近(解析區域52)的皮膚(肌膚)扭曲進行解析。
在實施例3中，皮膚狀態解析單元16透過例如基於第18(A)圖、第18(B)圖所示的各皮膚圖像和由追蹤單元15等得到的壓縮率等，取得作為明顯皺褶的解析面積(像素數：pixel)，從而可取得第18(C)圖所示的解析結果。需要說明的是，例如如第18(B)圖所示，圖像生成單元17可生成使用預定的顏色等將明顯皺褶部分增強表示的圖像，或者生成表示第18(C)圖所示的解析結果的圖像，並輸出圖像。
此外，第19(A)圖表示出同一被試驗者(50多歲後半)的未化妝及護膚後的皮膚狀態(初始狀態)，第19(B)圖表示出對未化妝及護膚後的皮膚用手指等施加最大荷重按摩狀態(最大荷重中)的皮膚圖像，第19(C)圖表示出對第19(B)圖的狀態下的明顯褶皺面積(pixel)進行合計的結果。需要說明的是，在第19圖中，表示出50多歲後半的被試驗者的例子，但對於圖像的種類並不限定於此。
在第19(A)圖、第19(B)圖的例子中，在未化妝和護膚後的皮膚上，對被試驗者的外眼角上用眼線筆等打上追蹤點51，之後，對在追蹤點51內設定的預定的解析區域52用手指等以一定的力沿預定的方向(例如在第18圖的例子中，從圖像的下方(臉頰)向上方(外眼角)的方向)按壓對皮膚按摩時的外眼角附近(解析區域52)的皮膚 (肌膚)扭曲進行解析。
在實施例3中，皮膚狀態解析單元16透過例如基於第19(A)圖、第19(B)圖所示的各皮膚圖像和由追蹤單元15等得到的壓縮率等，取得作為明顯皺褶的解析面積(像素數：pixel)，從而可取得第19(C)圖所示的解析結果。需要說明的是，例如如第19(B)圖所示，圖像生成單元17可生成使用預定的顏色等將明顯皺褶部分增強表示的圖像，或者生成表示第19(C)圖所示的解析結果的圖像，並輸出圖像。
在實施例3中，可使用上述解析結果，進行對例如按年齡更好的按摩方法、與按摩組合的塗布物的評價等。
<其他實施例>
需要說明的是，對於用於上述各皮膚狀態解析處理的圖像，例如可使用利用上述高速攝影機等所拍攝的二維圖像，但並不限定於此，例如可使用組合一邊改變皮膚的拍攝方向一邊取得的複數個二維圖像的三維圖像等來進行上述解析或評價。需要說明的是，對於上述皮膚狀態解析處理的各實施例，可組合複數個實施例的一部分或全部。
如上所述，根據本發明，可根據被試驗者的表情皺紋或打理時皮膚的扭曲等來恰當地對皮膚狀態進行解析。由此，可提供針對被試驗者的新的護膚諮商或化妝品提供等服務。需要說明的是，在上述實施方式中，特別對於臉部的皮膚狀態的解析進行了說明，但並不限定於此，例如也可適用於身體其他部位(例如手等)的皮膚狀態的解析。
以上對本發明之較佳實施例進行了詳細說明，然而本發明並不限定於特定之實施方式，於申請專利範圍所記載之本發明之主旨之範圍內，可進行各種變形、變更。
本申請案係主張基於2013年3月28日申請之日本專利申請案第2013-070061號之優先權，該日本專利申請案之全部內容係藉由參照而併入本文中。
10‧‧‧圖像解析裝置
11‧‧‧輸入單元
12‧‧‧輸出單元
13‧‧‧記憶單元
14‧‧‧圖像取得單元
15‧‧‧追蹤單元
16‧‧‧皮膚狀態解析單元
17‧‧‧圖像生成單元
18‧‧‧發送接收單元
19‧‧‧控制單元
21‧‧‧壓力(stress)解析單元
22‧‧‧皺紋參數計算單元
30‧‧‧攝像單元

Claims (15)

  1. 一種圖像解析裝置，其根據利用攝像單元所拍攝的被試驗者的臉部的活動圖像來對皮膚狀態進行解析，其特徵在於，具有：追蹤單元，其基於該活動圖像中包含的該臉部的表情變化，來對預先排列在該臉部的解析區域中的複數個追蹤點的變化量進行追蹤，並根據該變化量來取得該解析區域中的皮膚的壓縮率；以及皮膚狀態解析單元，其基於利用該追蹤單元所得到的壓縮率，來對該被試驗者的皮膚狀態進行解析。
  2. 如請求項1之圖像解析裝置，其中，該皮膚狀態解析單元基於該壓縮率，對針對該解析區域的壓力進行解析。
  3. 如請求項1之圖像解析裝置，其中，該皮膚狀態解析單元基於該壓縮率，計算出針對該解析區域的皺紋參數。
  4. 如請求項1之圖像解析裝置，其中，該皮膚狀態解析單元基於該壓縮率，對針對該解析區域的皮膚扭曲進行解析。
  5. 如請求項1之圖像解析裝置，其中，該追蹤單元基於該臉部的表情變化取得該解析區域的形變量。
  6. 如請求項1之圖像解析裝置，其中，該圖像解析裝置具有圖像生成單元，該圖像生成單元生成將利用該皮膚狀態解析單元所得到的解析結果反映到利用該攝像單元拍攝的該被試驗者的臉部圖像上的圖像。
  7. 如請求項1之圖像解析裝置，其中，該攝像單元使用高速攝影機。
  8. 一種圖像解析方法，其根據利用攝像單元所拍攝的被試驗者的臉部的活動圖像來對皮膚狀態進行解析，其特徵在於，具有：追蹤步驟，其基於該活動圖像中包含的該臉部的表情變化，來對預先排列在該臉部的解析區域中的複數個追蹤點的變化量進行追蹤，並根據該變化量來取得該解析區域中的皮膚的壓縮率；以及皮膚狀態解析步驟，其基於利用該追蹤步驟所得到的壓縮率，來對該被試驗者的皮膚狀態進行解析。
  9. 如請求項8之圖像解析方法，其中，該皮膚狀態解析步驟基於該壓縮率，對針對該解析區域的壓力進行解析。
  10. 如請求項8之圖像解析方法，其中，該皮膚狀態解析步驟基於該壓縮率，計算出針對該解析區域的皺紋參數。
  11. 如請求項8之圖像解析方法，其中，該皮膚狀態解析步驟基於該壓縮率，對針對該解析區域的皮膚扭曲進行解析。
  12. 如請求項8之圖像解析方法，其中，該追蹤步驟基於該臉部的表情變化取得該解析區域的形變量。
  13. 如請求項8之圖像解析方法，其中，該圖像解析方法具有圖像生成步驟，該圖像生成步驟生成將利用該皮膚狀態解析步驟所得到的解析結果反映到利用該攝像單元拍攝的該被試驗者的臉部圖像上的圖像。
  14. 如請求項8之圖像解析方法，其中，該攝像單元使用高速攝影機。
  15. 一種圖像解析程式，其用於使電腦起到根據請求項1之圖像解析裝置所具有的各單元的功能。
TW103110363A 2013-03-28 2014-03-19 圖像解析裝置、圖像解析方法、及圖像解析程式 TWI612938B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013070061A JP6251489B2 (ja) 2013-03-28 2013-03-28 画像解析装置、画像解析方法、及び画像解析プログラム

Publications (2)

Publication Number Publication Date
TW201446215A true TW201446215A (zh) 2014-12-16
TWI612938B TWI612938B (zh) 2018-02-01

Family

ID=51623455

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103110363A TWI612938B (zh) 2013-03-28 2014-03-19 圖像解析裝置、圖像解析方法、及圖像解析程式

Country Status (8)

Country Link
US (1) US9607208B2 (zh)
EP (1) EP2979634B1 (zh)
JP (1) JP6251489B2 (zh)
KR (1) KR20150135776A (zh)
CN (1) CN105101874B (zh)
HK (1) HK1211452A1 (zh)
TW (1) TWI612938B (zh)
WO (1) WO2014156461A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11025961B2 (en) 2015-08-04 2021-06-01 Dolby Laboratories Licensing Corporation Improving processing for high-dynamic range images

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201540264A (zh) * 2014-04-18 2015-11-01 Sony Corp 資訊處理裝置、資訊處理方法、及程式
KR102262307B1 (ko) * 2014-07-02 2021-06-09 (주)아모레퍼시픽 주름 측정 장치 및 주름 측정 방법
JP2016101365A (ja) * 2014-11-28 2016-06-02 パナソニックＩｐマネジメント株式会社 皺ケア支援装置および皺ケア支援方法
KR102429838B1 (ko) * 2016-03-11 2022-08-05 (주)아모레퍼시픽 피부결 블랍을 기초로한 피부결 평가 장치 및 그 방법
TWI585711B (zh) * 2016-05-24 2017-06-01 泰金寶電通股份有限公司 獲得保養信息的方法、分享保養信息的方法及其電子裝置
JP7040889B2 (ja) * 2016-06-02 2022-03-23 ポーラ化成工業株式会社 肌状態の鑑別のための画像解析方法
JP6245590B1 (ja) * 2016-06-20 2017-12-13 公立大学法人大阪市立大学 皮膚診断装置、皮膚状態出力方法、プログラムおよび記録媒体
JP6993087B2 (ja) * 2017-01-17 2022-02-04 花王株式会社 皮膚の歪み測定方法
CN107049326B (zh) * 2017-03-15 2019-10-25 英华达（南京）科技有限公司 单边咀嚼监测设备及其方法
CN109034399A (zh) * 2017-06-09 2018-12-18 丽宝大数据股份有限公司 保养评估方法及其电子装置
CN109493310A (zh) * 2017-09-08 2019-03-19 丽宝大数据股份有限公司 身体信息分析装置及其手部肌肤分析方法
JP7183005B2 (ja) * 2017-12-01 2022-12-05 ポーラ化成工業株式会社 肌解析方法及び肌解析システム
CN112581512A (zh) * 2019-09-27 2021-03-30 鲁班嫡系机器人（深圳）有限公司 图像匹配、3d成像及姿态识别方法、装置及系统
KR102183310B1 (ko) 2020-03-02 2020-11-26 국민대학교산학협력단 전문성 이식을 통한 딥러닝 기반의 전문 이미지 해석 장치 및 방법
US11589803B2 (en) * 2020-05-04 2023-02-28 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and systems for improving human facial skin conditions by leveraging vehicle cameras and skin data AI analytics
CN111839681A (zh) * 2020-07-08 2020-10-30 胡飞青 利用内容解析的压迫区域识别平台及方法
KR102274330B1 (ko) * 2020-09-18 2021-07-07 가천대학교 산학협력단 뇌졸중 정도의 진단을 위한 얼굴이미지 분석방법 및 시스템
WO2024021000A1 (en) * 2022-07-29 2024-02-01 L'oreal System and method for evaluating dynamic wrinkles on keratin material of a user to be tested
KR20240019548A (ko) * 2022-08-04 2024-02-14 안가람 피부 시술 가이딩 및 피드백 시스템

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2942502B2 (ja) * 1996-08-08 1999-08-30 鐘紡株式会社 皮膚のたるみ量測定装置及び測定方法
JPH11108630A (ja) * 1997-09-30 1999-04-23 Shiseido Co Ltd 三次元形状測定方法及びそれを用いた皮膚表面の歪と応力の解析方法
US6571003B1 (en) * 1999-06-14 2003-05-27 The Procter & Gamble Company Skin imaging and analysis systems and methods
JP4001549B2 (ja) * 2002-12-10 2007-10-31 株式会社コーセー 肌状態の評価方法
JP4761924B2 (ja) * 2004-10-22 2011-08-31 株式会社 資生堂 肌状態診断システムおよび美容のためのカウンセリングシステム
JP4799104B2 (ja) * 2005-09-26 2011-10-26 キヤノン株式会社 情報処理装置及びその制御方法、コンピュータプログラム、記憶媒体
CN1961820B (zh) * 2005-11-08 2011-03-16 株式会社资生堂 肌肤状态分析方法以及肌肤状态分析装置
US20070125390A1 (en) 2005-12-07 2007-06-07 Isabelle Afriat Method of evaluating the effects of exogenous and endogenous factors on the skin
TW200829027A (en) * 2006-12-19 2008-07-01 Chung Shan Inst Of Science Image compression device and method therefore
US20080176077A1 (en) * 2007-01-23 2008-07-24 The Gillette Company Pattern transferable to skin for optical measurements during shaving
JP5204477B2 (ja) * 2007-12-25 2013-06-05 パナソニック株式会社 健康管理システム
WO2009100020A2 (en) * 2008-01-31 2009-08-13 University Of Southern California Facial performance synthesis using deformation driven polynomial displacement maps
JP5538786B2 (ja) * 2009-09-14 2014-07-02 株式会社 資生堂 一過性シワの評価方法及び装置
JP2011101663A (ja) * 2009-11-10 2011-05-26 Shiseido Co Ltd シワの形成し易さの評価方法
JP5733032B2 (ja) * 2011-06-06 2015-06-10 ソニー株式会社 画像処理装置および方法、画像処理システム、プログラム、および、記録媒体

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11025961B2 (en) 2015-08-04 2021-06-01 Dolby Laboratories Licensing Corporation Improving processing for high-dynamic range images
TWI735036B (zh) * 2015-08-04 2021-08-01 美商杜比實驗室特許公司 用於在高動態範圍信號中色彩轉換的方法、設備及非暫態電腦可讀儲存媒體
US11570480B2 (en) 2015-08-04 2023-01-31 Dolby Laboratories Licensing Corporation Signal reshaping for high dynamic range signals
US11582490B2 (en) 2015-08-04 2023-02-14 Dolby Laboratories Licensing Corporation Signal reshaping for high dynamic range signals
US11785263B2 (en) 2015-08-04 2023-10-10 Dolby Laboratories Licensing Corporation Signal reshaping for high dynamic range signals
US11910025B1 (en) 2015-08-04 2024-02-20 Dolby Laboratories Licensing Corporation Signal reshaping for high dynamic range signals
US11924477B2 (en) 2015-08-04 2024-03-05 Dolby Laboratories Licensing Corporation Signal reshaping for high dynamic range signals
US11979615B1 (en) 2015-08-04 2024-05-07 Dolby Laboratories Licensing Corporation Signal reshaping for high dynamic range signals

Also Published As

Publication number Publication date
WO2014156461A1 (ja) 2014-10-02
KR20150135776A (ko) 2015-12-03
EP2979634A1 (en) 2016-02-03
US9607208B2 (en) 2017-03-28
JP6251489B2 (ja) 2017-12-20
EP2979634A4 (en) 2016-11-30
CN105101874B (zh) 2017-08-15
US20160063312A1 (en) 2016-03-03
HK1211452A1 (zh) 2016-05-27
TWI612938B (zh) 2018-02-01
JP2014193197A (ja) 2014-10-09
CN105101874A (zh) 2015-11-25
EP2979634B1 (en) 2023-10-11

Similar Documents

Publication Publication Date Title
TWI612938B (zh) 圖像解析裝置、圖像解析方法、及圖像解析程式
Li et al. Facial performance sensing head-mounted display
Murtaza et al. Analysis of face recognition under varying facial expression: a survey.
JP4886645B2 (ja) 仮想顔モデル変形装置及び仮想顔モデル変形プログラム
US10949716B2 (en) Methods and systems of real time movement classification using a motion capture suit
Grady et al. Pressurevision: Estimating hand pressure from a single rgb image
CN112190921A (zh) 一种游戏交互方法及装置
Varona et al. Toward natural interaction through visual recognition of body gestures in real-time
Chan et al. Human motion classification using 2D stick-model matching regression coefficients
Song et al. Real-time 3D face-eye performance capture of a person wearing VR headset
JP6850194B2 (ja) 肌状態評価方法及び肌状態評価装置
JP7408562B2 (ja) プログラム、情報処理装置、定量化方法及び情報処理システム
Wang et al. Expression dynamic capture and 3D animation generation method based on deep learning
Purps et al. Reconstructing facial expressions of HMD users for avatars in VR
Guan et al. Resolution-independent liveness detection via computational ghost imaging
Emrith et al. Real-time recovery of moving 3D faces for emerging applications
JP2010166939A (ja) 表情測定方法、表情測定プログラムならびに表情測定装置
JP7198892B2 (ja) 動画再生装置、動画再生方法、及び動画配信システム
JP2012185624A (ja) 三次元顔モデルデータ生成装置
JP4049708B2 (ja) 描画支援装置および描画システム
Koujan 3D Face Modelling, Analysis and Synthesis
Agrawal et al. Real-World Applications for PIFuHD: In 3D Digitization of Humans
JP2022024565A (ja) 顔変化出力方法
Gou et al. Computer Image Intelligent Recognition System Based on Visual Communication Technology
Guo From Seeing Better to Understanding Better: Deep Learning for Modern Computer Vision Applications

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees