KR20150135776A - 이미지 해석 장치, 이미지 해석 방법 및 이미지 해석 프로그램 - Google Patents

이미지 해석 장치, 이미지 해석 방법 및 이미지 해석 프로그램 Download PDF

Info

Publication number
KR20150135776A
KR20150135776A KR1020157027070A KR20157027070A KR20150135776A KR 20150135776 A KR20150135776 A KR 20150135776A KR 1020157027070 A KR1020157027070 A KR 1020157027070A KR 20157027070 A KR20157027070 A KR 20157027070A KR 20150135776 A KR20150135776 A KR 20150135776A
Authority
KR
South Korea
Prior art keywords
image
analysis
skin
skin condition
analyzing
Prior art date
Application number
KR1020157027070A
Other languages
English (en)
Inventor
유스케 하라
이치로 이와이
히로유키 오니시
Original Assignee
가부시키가이샤 시세이도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 시세이도 filed Critical 가부시키가이샤 시세이도
Publication of KR20150135776A publication Critical patent/KR20150135776A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/442—Evaluating skin mechanical properties, e.g. elasticity, hardness, texture, wrinkle assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/204—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Abstract

본 발명은, 촬상 수단에 의해 촬영된 피험자 얼굴의 동영상으로부터 피부 상태를 해석하는 이미지 해석 장치에 있어서, 상기 동영상에 포함되는 상기 얼굴의 표정 변화에 의거하여, 상기 얼굴의 해석 영역에 미리 배열된 복수의 추적점의 변화량을 추적하고, 상기 변화량으로부터 상기 해석 영역에서의 피부 압축률을 취득하는 추적 수단과, 상기 추적 수단에 의해 얻어지는 압축률에 의거하여, 상기 피험자의 피부 상태를 해석하는 피부 상태 해석 수단을 포함하는 것을 특징으로 하는 이미지 해석 장치에 대한 것이다.

Description

이미지 해석 장치, 이미지 해석 방법 및 이미지 해석 프로그램{IMAGE ANALYSIS DEVICE, IMAGE ANALYSIS METHOD, AND IMAGE ANALYSIS PROGRAM}
본 발명의 일 실시형태는 이미지 해석 장치, 이미지 해석 방법 및 이미지 해석 프로그램에 관한 것인데, 특히 피험자의 표정 주름으로부터 적절히 피부 상태를 해석하기 위한 이미지 해석 장치, 이미지 해석 방법 및 이미지 해석 프로그램에 관한 것이다.
종래에 피험자의 안면(예를 들어, 눈꼬리, 뺨 등)에 생기는 주름은 얼굴 표정의 변화(예를 들어, 웃음 주름, 화남 주름)나 피부의 눌림에 의한 구김살에 따라 생긴다. 또한, 주름은, 노화, 피부의 결이나 탄력의 감퇴 등에 의해, 표정을 원래대로 하여도 주름이 없어지지 않는 상태(이른바, 잔류 주름)가 되고, 최종적으로는 표정에 관계 없이 생기는 주름(이른바, 정착 주름)이 된다. 그러므로, 외견상 노화 현상의 상징으로서 미용상의 큰 과제로 되어 있고, 주름의 예방, 개선에 효과를 가지는 제품의 개발에 소비자로부터 큰 기대가 모아지고 있다. 또한, 주름 방지 제품의 개발에는, 그 성능·효과를 과학적이고 신뢰도가 높은 평가법에 의해 실증하는 것이 중요하다.
그리하여, 종래에는, 눈꼬리의 주름을 대상으로 한 주름 방지 제품의 기능을 평가하는 가이드라인을 작성하여, 다종다양한 주름 평가법을 기준화하고 있다(예를 들어, 비특허문헌 1을 참조). 또한, 종래에는, 눈꼬리의 3차원 형상 데이터로부터 주름 하나하나의 깊이나 면적을 산출하고 육안 평가의 결과도 가미한 분포 해석에 기초하여 주름을 평가하는 방법이 존재한다(예를 들어, 비특허문헌 2를 참조).
노화방지 기능평가 전문위원회, 「신규 효능 취득을 위한 주름방지 제품 평가 가이드라인」, 일본 향장품 학회지, Vol.30, No.4, pp.316-332 하라 유스케 외, 「눈꼬리 주름의 3차원 개별 해석에 의한 신규 분류법의 개발」, 일본 향장품 학회지, Vol.35, No.2, pp.93-98
그러나, 전술한 것과 같은 종래 방법은 이른바, 정착 주름의 평가 등을 행하고 있고, 정착 주름의 근원이라고 생각되는 표정 주름에 대한 해석, 평가 방법 등은 존재하지 않는다.
또한, 통상적으로, 주름은, 표정이나, 손가락으로 피부를 일방향으로 눌렀을 때의 구김살에 따라 변화하고, 또한 변화량이나 주름의 위치도 사람에 따라 다르다. 그러므로, 이미지로부터 표정 주름이나 구김살을 적절하게 평가하는 것이 곤란하여, 표정 주름이나 구김살에 대한 적절한 판단이나, 표정 변화나 평소의 손질에 의해 발생하는 잠재적 주름 등으로부터, 피부 상태를 해석할 수 없었다.
본 발명의 일 실시형태는, 전술한 과제를 고려하여 이루어진 것으로서, 피험자의 표정 주름이나 손질시 피부의 구겨짐으로부터 적절하게 피부 상태를 해석하기 위한 이미지 해석 장치, 이미지 해석 방법 및 이미지 해석 프로그램을 제공하는 것을 목적으로 한다.
전술한 과제를 해결하기 위하여, 본 발명의 일 실시형태는 이하의 특징을 가지는 과제 해결 수단을 채용하고 있다.
일 태양에서의 이미지 해석 장치는, 촬상 수단에 의해 촬영된 피험자 얼굴의 동영상으로부터 피부 상태를 해석하는 이미지 해석 장치에 있어서, 상기 동영상에 포함되는 상기 얼굴의 표정 변화에 의거하여 상기 얼굴의 해석 영역에 미리 배열된 복수의 추적점의 변화량을 추적하고, 상기 변화량으로부터 상기 해석 영역에서의 피부 압축률을 취득하는 추적 수단과, 상기 추적 수단에 의해 얻어지는 압축률에 의거하여 상기 피험자의 피부 상태를 해석하는 피부 상태 해석 수단을 포함하는 것을 특징으로 한다.
본 발명의 실시예에 의하면, 피험자의 표정 주름이나 손질시의 피부 구겨짐으로부터 적절하게 피부 상태를 해석할 수 있다.
도 1은 이미지 해석 장치의 기능 구성의 일 예를 나타내는 도면이다.
도 2는 이미지 해석 장치의 하드웨어 구성의 일 예를 나타내는 도면이다.
도 3은 본 실시형태 이미지 해석 장치의 처리의 일 예를 나타내는 플로우 차트이다.
도 4는 실시예 1에서 이미지 해석 처리의 일 예를 나타내는 플로우 차트이다.
도 5는 해석 영역에 배열된 추적점을 설명하기 위한 도면이다.
도 6은 왜곡의 산출예2를 설명하기 위한 도면이다.
도 7은 왜곡의 산출예3을 설명하기 위한 도면이다.
도 8은 왜곡의 산출예4를 설명하기 위한 도면이다.
도 9는 응력 정보의 취득예에 대해 설명하기 위한 도면이다.
도 10은 실시예 1에서의 해석 결과의 일 예를 나타내는 도면(1)이다.
도 11은 실시예 1에서의 해석 결과의 일 예를 나타내는 도면(2)이다.
도 12는 실시예 1에서의 해석 결과의 일 예를 나타내는 도면(3)이다.
도 13은 실시예 2에서의 피부 상태 해석 처리의 일 예를 나타내는 도면이다.
도 14는 표정 주름의 접힘 자국에 대해 설명하기 위한 도면이다.
도 15는 실시예 2에서의 해석 결과의 일 예를 나타내는 도면(1)이다.
도 16은 실시예 2에서의 해석 결과의 일 예를 나타내는 도면(2)이다.
도 17은 이마의 주름 해석 결과의 일 예를 나타내고 있다.
도 18은 실시예 3에서의 해석 결과의 일 예를 나타내는 도면(1)이다.
도 19는 실시예 3에서의 해석 결과의 일 예를 나타내는 도면(2)이다.
<본 발명의 일 실시형태에 대하여>
본 발명의 일 실시형태에서는, 피험자의 동적인 주름(예를 들어, 웃음 주름, 화남 주름, 울음 주름 등의 표정 주름, 손질시의 피부 구김살)으로부터 피부 상태를 해석하기 위하여, 얼굴의 소정 부분에 추적점을 설정하여 해석 영역을 특정하고, 예를 들어, 고속 카메라 등의 촬상 수단을 이용하여 표정의 변화에 따른 주름의 움직임을 촬영하여, 촬영한 결과를 시계열적으로 추적하면서 주름을 해석한다.
또한, 본 발명의 일 실시형태에서는, 추출한 이미지로부터 미리 설정된 주름 필터 등을 이용하여 주름을 추출하여, 주름 파라미터(예를 들어, 주름의 면적, 길이, 비율)를 산출할 수 있다. 또한, 얻어진 이미지의 왜곡 해석 또는 왜곡-응력 해석을 행하여, 응력 맵 등을 작성할 수 있다. 이로써, 피험자의 피부 상태를 적절히 해석하고 평가할 수 있다. 이하에서, 본 발명에서의 이미지 해석 장치, 이미지 해석 방법 및 이미지 해석 프로그램을 호적(好適)하게 실시한 형태에 대하여, 도면을 이용하여 설명한다.
<이미지 해석 장치의 기능 구성예>
도 1은 이미지 해석 장치의 기능 구성의 일 예를 나타내는 도면이다. 도 1에 나타내는 이미지 해석 장치(10)는 입력 수단(11), 출력 수단(12), 기억 수단(13), 이미지 취득 수단(14), 추적 수단(15), 피부 상태 해석 수단(16), 이미지 생성 수단(17), 송수신 수단(18), 제어 수단(19)을 가진다. 또한, 피부 상태 해석 수단(16)은 응력 해석 수단(21), 주름 파라미터 산출 수단(21)을 가진다. 한편, 도 1에 나타내는 이미지 해석 장치(10)는 촬상 수단(30)에 외부 접속되어 있으나, 이에 한정되는 것은 아니고, 이미지 해석 장치(10)에 촬상 수단(30)이 내장되어 있어도 된다.
입력 수단(11)은 이미지 해석 장치(10)의 사용자 등으로부터 각종 지시의 입력을 접수한다. 입력 수단(11)은, 예를 들어 키보드, 마우스 등의 포인팅 디바이스 등으로 이루어진다.
출력 수단(12)은 입력 수단(11)에 의해 입력된 내용, 입력 내용에 의거하여 실행된 내용 등을 표시, 출력한다. 출력 수단(12)은 디스플레이, 스피커 등으로 이루어진다. 또한, 출력 수단(12)은 프린터 등의 기능을 가질 수 있는데, 그 경우에는 이미지 해석 결과 등을 종이 등의 인쇄 매체에 인쇄하여 사용자 등에게 제공할 수 있다.
또한, 입력 수단(11)과 출력 수단(12)은, 예를 들어 터치 패널 등과 같이 일체형 입출력 수단일 수도 있다. 이 경우에는, 사용자의 손가락, 터치 펜 등을 이용하여 화면상의 소정 위치를 터치하여 입력할 수 있다.
기억 수단(13)은 본 실시형태에서의 이미지 해석에 필요한 각종 데이터를 기억한다. 예를 들어, 기억 수단(13)은 이미지 취득 수단(14)이 촬상 수단(30) 등으로부터 취득한 촬영 이미지(시계열적 이미지, 동영상), 추적 수단(15)에 의한 추적 결과, 피부 상태 해석 수단(16)에 의한 해석 결과, 이미지 생성 수단(17)에 의한 이미지 등 각종 데이터를 기억하나, 기억하는 데이터의 예는 이에 한정되지 않는다.
기억 수단(13)은, 예를 들어 이미지 해석을 행하기 위한 설정 정보, 송수신 수단(18)에 의해 통신 네트워크를 통해 접속된 외부 장치로부터 취득한 각종 데이터(촬영 이미지 등)를 기억할 수 있다. 또한, 기억 수단(13)은 필요에 따라, 축적되어 있는 각종 데이터를 읽어내거나 기록할 수 있다.
이미지 취득 수단(14)은 외부 접속된 촬상 수단(30)에서 촬영된 피험자의 얼굴 이미지를 취득한다. 얼굴 이미지는, 얼굴의 정면 전체 영역의 이미지일 수도 있고, 옆얼굴 이미지일 수도 있고, 얼굴의 일부 영역의 이미지일 수도 있고, 이러한 이미지들을 조합한 이미지일 수도 있다.
여기에서, 본 실시형태의 이미지 취득 수단(14)이 취득하는 이미지는, 예를 들어, 미리 설정된 해석 영역을 포함하는 시계열적 이미지이고, 복수의 프레임 이미지를 가지는 동영상이다. 또한, 미리 설정되는 해석 영역에는, 소정의 추적점이 소정 간격으로 배열되어 있다. 추적점은, 예를 들어 점이나, 삼각, 사각, 별 등 소정 형상을 가지는 표시(마크)이나, 이에 한정되는 것은 아니다. 추적점은, 이미지 데이터로부터 소정의 이미지 처리를 행한 상태에서 그 위치를 추적할 수 있는 색 등으로 해석 대상의 피부 표면에 부여되어 있다.
따라서, 이미지 취득 수단(14)은 촬상 수단(30)으로부터 전술한 추적점을 포함하는 시계열적 이미지(동영상)를 취득한다. 또한, 본 실시형태에서는, 표정 주름을 해석하기 위하여, 예를 들어, 피험자에게 원래 얼굴(평소 얼굴)의 상태로부터 미리 설정된 얼굴 표정으로 또는 미리 설정된 얼굴 표정으로부터 원래 얼굴로 시계열적으로 변화시킨다. 이러한 변화는 반복하여 실시할 수 있다. 촬상 수단(30)은 그 변화된 표정의 얼굴 동영상을 촬영한다.
여기에서, 촬상 수단(30)으로는, 예를 들어 비디오 레이트(30fps) 이상의 프레임 레이트로 동영상 촬영할 수 있는 고속 카메라(High Speed Camera) 등을 이용할 수 있으나, 이에 한정되는 것은 아니다. 고속 카메라로는, 예를 들어 (주)키옌스(Keyence) 제조의 「마이크로스코프 "VW-6000"」 등을 이용하여 촬영할 수 있으나, 이에 한정되는 것은 아니다. 또한, 촬상 수단(30)은 피험자의 얼굴 이미지를 취득할 때에, 예를 들어 얼굴의 주름이 강조되는 조명 조건에서 촬영되는 것이 바람직하나, 이에 한정되는 것은 아니다.
이미지 취득 수단(14)은 촬상 수단(30)에 대하여 전술한 촬영 범위(예를 들어, 화각(畵角), 핀트 등), 조명 조건, 촬영 조건(프레임 간의 시간 간격), 해상도 등 각종 카메라 파라미터를 생성하여 출력함으로써, 원하는 동영상(시계열적 이미지)을 취득할 수 있다. 또한, 이미지 취득 수단(14)은 촬상 수단(30)으로부터 취득한 동영상을 기억 수단(13)에 기억시킬 수도 있고, 추적 수단(15)에 직접 출력할 수도 있다.
추적 수단(15)은, 기억 수단(13)에 기억된 동영상, 이미지 취득 수단(14)으로부터 얻어지는 동영상, 또는 송수신 수단(18)에 의해 외부 장치 등으로부터 취득된 동영상 등을 이용하여, 해석 영역의 피부 움직임을 추적한다. 한편, 해석 영역의 추적은, 시계열적 이미지에 포함되어 있는 전술한 하나 또는 복수의 추적점(마크)의 움직임을 추적하나, 이에 한정되는 것은 아니다. 또한, 추적 수단(15)은, 얼굴 이미지의 시계열에 의한 추적점의 이동 거리의 변화량에 의거하여, 피험자의 피부 압축률을 취득한다. 압축률이란, 추적한 각 점 간 이동 거리의 변화량(수축 상태)이나, 이에 한정되는 것은 아니다. 또한, 추적 수단(15)은 압축률의 일예로서, 추적한 각 점 간 거리 변화로부터 왜곡량을 취득할 수도 있다. 왜곡량이란, 예를 들어, 표정 변화에 의해 각 점 사이에서 둘러싸이는 면 영역의 압축, 인장량이나, 이에 한정되는 것은 아니다.
피부 상태 해석 수단(16)은, 전술한 추적점의 시계열상 움직임(압축률 등)에 의거하여 피부 상태를 해석한다. 피부 상태의 해석이란, 예를 들어, 표정 주름을 해석하고 그 결과로부터 피부에 대한 응력을 해석하거나, 표정 주름을 수치로 표현하기 위한 주름 파라미터 등을 산출하는 것을 의미하나, 이에 한정되는 것은 아니고, 예를 들어, 손질시에 손가락으로 누름에 의한 피부의 구겨짐을 해석할 수도 있다.
예를 들어, 피부 상태 해석 수단(16)에서의 응력 해석 수단(21)은, 복수의 추적점의 점 그룹 데이터로부터 얻어지는 표정 변화에 대응하는 왜곡량 등으로부터, 해석 영역 내에서 강하게 응력이 작용하고 있는 부분을 특정한다. 또한, 응력 해석 수단(21)은 피부의 유연성(강직도) 등을 정량화하는 피부 역학 측정을 실시하고, 그 결과를 이용하여 왜곡을 응력으로 하여 해석한다. 피부 역학 측정이란, 예를 들어, 피부의 어느 두 점 사이에서 충격파가 전달되는 시간 등을 측정하고, 그 결과에 의거하여 피부의 유연성이나 탄력의 상태, 방향 등을 정량화하는 것이나, 이에 한정되는 것은 아니다.
피부 상태 해석 수단(16)의 주름 파라미터 산출 수단(22)은, 해석 영역 내에 배치된 추적점에 의거하여 영역 내의 주름을 미리 설정된 하나 또는 복수의 주름 종류로 분류한다. 또한, 피부 상태 해석 수단(16)은, 이미지 안에서 인식된 주름의 노이즈 처리를 행하는데, 동영상에서의 앞뒤 이미지에 존재하지 않는 주름이 있는 경우에 그 주름을 삭제한다.
또한, 주름 파라미터 산출 수단(22)은 전술한 처리에 의해 얻어지는 주름에 대하여 파라미터를 산출한다. 주름 파라미터는 주름 면적, 주름 길이 및 주름 비율 중 적어도 하나이나, 이에 한정되는 것은 아니다.
이미지 생성 수단(17)은 전술한 피부 상태 해석 수단(16)에 의해 얻어진 해석 결과에 의거하여 출력 수단(12) 등의 화면에 표시할 이미지를 생성한다.
예를 들어, 이미지 생성 수단(17)은, 응력 해석 수단(21)에 의해 얻어지는 응력이 발생하고 있는 부분을 강조하여 표시한 이미지, 응력 맵 등을 생성하거나, 주름 파라미터 산출 수단(22)에 의해 산출된 파라미터를 표시한 이미지를 생성하거나, 얼굴의 표정 변화에 의한 주름 부분을 강조하여 표시하는 이미지를 생성할 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 이미지 생성 수단(17)은, 예를 들어 사용자가 본 실시형태에서의 이미지 해석을 행하기 위한 각종 설정 정보를 입력하기 위한 설정 화면 등을 생성할 수도 있다.
또한, 이미지 생성 수단(17)은, 생성된 이미지를 출력 수단(12)의 화면에 표시할 때에 사용자나 피험자가 보기 쉽도록 하기 위하여, 예를 들어, 소정 영역을 확대 표시하거나 휘도 반전 등의 처리를 행한 후에 표시시킬 수도 있다.
또한, 이미지 생성 수단(17)은 전술한 주름이나 응력을 표현한 이미지를 동영상의 각 프레임마다 실시하여 동영상을 생성할 수도 있다. 사용자는 이 동영상을 봄으로써, 표정 변화에 의한 주름이나 응력의 변화를 보다 적절하게 파악할 수 있다. 이로써, 적절한 피부 상태의 평가 등을 행할 수 있다.
송수신 수단(18)은, 예를 들어, 인터넷, LAN(Local Area Network) 등으로 대표되는 통신 네트워크를 통해 접속되는 외부 장치 등과 데이터 송수신을 하기 위한 통신 수단이다. 한편, 송수신 수단(18)은, 외부 장치 등에 이미 기억되어 있는 얼굴 이미지 데이터, 피험자 정보, 처리 프로그램 등을 수신할 수 있고, 이미지 해석 장치(10)에서 해석된 결과를 통신 네트워크를 통해 외부 장치에 송신할 수도 있다.
제어 수단(19)은 이미지 해석 장치(10)의 각 구성부 전체를 제어한다. 구체적으로, 제어 수단(19)은 예를 들어, 사용자 등에 의한 입력 수단(11)으로부터의 지시 등에 의거하여, 이미지 취득 수단(14)으로 하여금 이미지를 취득하도록 한다. 추적 수단(15)으로 하여금 이미지 안의 하나 또는 복수의 추적점을 추적하도록 한다. 피부 상태 해석 수단(16)으로 하여금 피부 상태를 해석하도록 한다. 이미지 생성 수단(17)으로 하여금 이미지를 생성하도록 하는 등의 제어를 하나, 제어 내용이 이에 한정되는 것은 아니다.
이미지 해석 장치(10)는 예를 들어, 퍼스널 컴퓨터(PC), 서버 등일 수도 있고, 또한 태블릿 단말, 스마트폰 등의 통신 단말기, 게임 기기일 수도 있으나, 이에 한정되는 것은 아니다.
<이미지 해석 장치(10)의 하드웨어 구성예>
도 2는 이미지 해석 장치의 하드웨어 구성의 일 예를 나타내는 도면이다. 도 2에서의 이미지 해석 장치(10)는, 입력 장치(41), 출력 장치(42), 드라이브 장치(43), 보조 기억 장치(44), 주기억 장치(45), 각종 제어를 행하는 CPU(Central Processing Unit, 46), 네트워크 접속 장치(47)를 가지도록 구성되어 있으며, 이들은 시스템 버스(B)에 의해 상호 접속되어 있다.
입력 장치(41)는, 사용자 등이 조작하는 키보드 및 마우스 등의 포인팅 디바이스, 마이크로폰 등의 음성 입력 디바이스를 가지며, 사용자 등으로부터의 프로그램의 실행 지시, 각종 조작 정보, 소프트웨어 등을 기동(起動)하기 위한 정보 등의 입력을 접수한다.
출력 장치(42)는 이미지 해석 장치(10)를 조작하는데에 필요한 각종 윈도우, 데이터 등을 표시하는 디스플레이를 가지고, CPU(46)가 갖는 제어 프로그램에 의해 프로그램의 실행 경과, 결과 등을 표시한다.
여기에서, 본 실시형태에서 이미지 해석 장치(10)로서의 컴퓨터에 인스톨되는 실행 프로그램은, 예를 들어, USB(Universal Serial Bus) 메모리, CD-ROM, DVD 등 운반 가능형의 기록 매체(48) 등에 의해 제공된다. 프로그램을 기록한 기록 매체(48)는 드라이브 장치(43)에 세팅 가능하고, CPU(46)으로부터의 제어 신호에 의거하여 기록 매체(48)에 포함되는 실행 프로그램이 기록 매체(48)로부터 드라이브 장치(43)를 통해 보조 기억 장치(44)에 인스톨된다.
보조 기억 장치(44)는, 예를 들어 하드 디스크 드라이브, SSD(Solid State Drive) 등의 스토리지 수단 등이다. 보조 기억 장치(44)는 CPU(46)로부터의 제어 신호에 의거하여, 본 실시형태에서의 실행 프로그램, 컴퓨터에 설치된 제어 프로그램 등을 기억하며, 필요에 따라 입출력할 수 있다. 보조 기억 장치(44)는 CPU(46)로부터의 제어 신호 등에 의거하여, 기억된 각 정보로부터 필요한 정보를 읽어내거나 기록할 수 있다.
주기억 장치(45)는 CPU(46)에 의해 보조 기억 장치(44)로부터 읽어들여진 실행 프로그램 등을 저장한다. 또한, 주기억 장치(45)는 ROM(Read Only Memory), RAM(Random Access Memory) 등이다. 한편, 보조 기억 장치(44)와 주기억 장치(45)는, 예를 들어, 전술한 기억 수단(13)에 대응한다.
CPU(46)는 오퍼레이팅 시스템 등의 제어 프로그램 및 주기억 장치(45)에 저장되어 있는 실행 프로그램에 의거하여, 각종 연산, 각 하드웨어 구성부와의 데이터 입출력 등, 이미지 해석 장치(10) 전체의 처리를 제어하여 각 처리를 실현할 수 있다. 한편, 프로그램 실행 중에 필요한 각종 정보 등은 보조 기억 장치(44)로부터 취득할 수 있고, 또한 실행 결과 등을 저장할 수도 있다.
구체적으로, CPU(46)는 예를 들어, 입력 장치(41)로부터 얻어지는 프로그램의 실행 지시 등에 의거하여, 보조 기억 장치(44)에 인스톨된 프로그램을 실행시킴으로써, 주기억 장치(45) 상에서 프로그램에 대응하는 처리를 행한다. 예를 들어, CPU(46)는 본 실시형태에서의 이미지 해석 프로그램을 실행시킴으로써, 전술한 이미지 취득 수단(14)에 의한 이미지의 취득, 추적 수단(15)에 의한 추적점의 추적, 피부 상태 해석 수단(16)에 의한 피부 상태의 해석, 이미지 생성 수단(17)에 의한 이미지 생성 등의 처리를 행한다. 한편, CPU(46)에서의 처리 내용이 이에 한정되는 것은 아니다. CPU(46)에 의해 실행된 내용은 필요에 따라 보조 기억 장치(44)에 기억시킬 수 있다.
네트워크 접속 장치(47)는 CPU(46)로부터의 제어 신호에 의거하여, 통신 네트워크 등에 접속함으로써, 실행 프로그램, 소프트웨어, 설정 정보 등을 통신 네트워크에 접속되어 있는 외부 장치 등으로부터 취득한다. 또한, 네트워크 접속 장치(47)는, 프로그램을 실행함으로써 얻어진 실행 결과 또는 본 실시형태에서의 실행 프로그램 자체를 외부 장치 등에 제공할 수 있다.
전술한 것과 같은 하드웨어 구성에 의해, 본 실시형태에서의 이미지 해석 처리를 실행할 수 있다. 또한, 전술한 각 기능을 컴퓨터로 하여금 실행시킬 수 있는 실행 프로그램(이미지 해석 프로그램)을, 예를 들어 범용의 PC, 스마트폰 등의 통신 단말기, 게임 기기 등에 인스톨함으로써, 본 실시형태에서의 이미지 해석 처리를 실현할 수 있다.
<이미지 해석 장치(10)의 처리예>
여기에서, 본 실시형태 이미지 해석 장치(10)의 처리의 일 예에 대하여, 플로우 차트를 이용하여 설명한다. 도 3은 본 실시형태 이미지 해석 장치의 처리의 일 예를 나타내는 플로우 차트이다.
도 3의 예에서, 이미지 해석 장치(10)의 이미지 취득 수단(14)은, 해석 영역을 포함하는 피부 이미지를 촬영한 동영상을 취득한다(S01). 한편, 촬영되는 동영상은 고속 카메라로 촬영되는 것이 바람직하나, 이에 한정되는 것은 아니다.
이어서, 이미지 해석 장치(10)의 추적 수단(15)은, S01의 처리에서 얻어진 동영상에 대하여 해석 영역 내에 배열된 각 점을 추적한다(S02). 한편, 각 점이란, 피험자 얼굴의 해석 영역 내에 미리 부여된 추적점(마크)이다. 본 실시형태에서는, 예를 들어, 복수의 점이 소정 간격으로 영역 내에 배열되어 있다.
이어서, 이미지 해석 장치(10)의 피부 상태 해석 수단(16)은, 추적된 결과로부터 피부 상태를 해석한다(S03). S03의 처리는, 예를 들어 피부의 응력 해석일 수도 있고, 주름 파라미터의 산출일 수도 있으며, 이들의 조합 등일 수도 있으나, 이에 한정되는 것은 아니다.
이어서, 이미지 해석 장치(10)의 이미지 생성 수단(17)은, S03의 처리에서 얻어진 피부 해석 결과에 의거하여 이미지를 생성하고(S04), 생성된 이미지를 출력 수단(12) 등의 화면에 표시시킨다(S05). S05의 처리에서 이미지 생성 수단(17)은 통신 네트워크 등에 의해 접속된 외부 장치의 화면에 표시시킬 수도 있다. 또한, S04, S05의 처리에서는, 이미지를 시계열적으로 배열한 동영상을 생성하고, 생성된 동영상을 출력 수단(12) 등에 표시시킬 수도 있다.
이미지 해석 장치(10)의 기억 수단(13)은, S03의 처리에서 얻어진 피부 해석 결과 등을 기억한다(S06). 여기에서, 이미지 해석 장치(10)는 이미지 해석 처리를 종료할지 말지를 판단하고(S07), 처리를 종료하지 않는 경우(S07에서 NO), S01의 처리로 돌아간다. 또한, 이미지 해석 장치(10)는 사용자 등의 지시에 의해 처리를 종료하는 경우(S07에서 YES), 이미지 해석 처리를 종료한다.
<피부 상태 해석 처리 : 실시예 1 (응력 해석)>
이어서, 전술한 피부 상태 해석 수단(16)에서의 피부 상태 해석 처리의 실시예 1에 대하여 설명한다. 실시예 1에서는, 표정 주름에 의한 응력의 해석예에 대하여 설명한다. 한편, 이하의 설명에서는, 표정 주름의 일 예로서 웃음 주름을 이용하나, 이에 한정되는 것은 아니고, 예를 들어, 화남 주름, 울음 주름 등일 수도 있다.
실시예 1에서는, 예를 들어, 피험자 얼굴의 해석 영역 내에, 미리 설정된 추적점(마크)을 1mm 간격으로 100개 이상 눈꼬리에 찍는다. 한편, 추적점을 찍는 것은, 피부에 직접 부착시킬 수도 있으나, 미리 전술한 위치에 찍는 스탬프 등을 이용함으로써 용이하게 추적점을 부여할 수 있다.
또한, 실시예 1에서는, 스탬프를 이용하여 눈꼬리에 추적점을 찍고, 피험자가 웃을 때의 눈꼬리의 피부 움직임을 고속 카메라로 촬영한다. 또한, 실시예 1에서는, 추적점 간 거리의 변화로부터 2차원적 왜곡을 취득하여, 취득된 왜곡을 표시한다. 또한, 실시예 1에서는, 피부의 유연성 등을 정량화하는 피부 역학 측정을 실시하고 그 결과를 가미함으로써, 왜곡을 응력으로 표시하여 해석을 행한다. 피부 역학 측정은, 예를 들어「충격파 측정 장치 "Reviscometer(등록상표)"」 (Courage + Khazaka electronic GmbH) 등을 이용할 수 있으나, 이에 한정되는 것은 아니다.
도 4는 실시예 1에서의 이미지 해석 처리의 일 예를 나타내는 플로우 차트이다. 그리고, 도 4의 예에서는, 미리 제작된 스탬프 등을 이용하여, 피험자의 피부 상태를 해석하는 해석 영역 내에 소정 간격으로 배열된 추적점을 눈꼬리에 찍는다. 한편, 추적점을 찍을 때에는, 예를 들어, 피부에 대한 부하, 피부와 용이하게 구별될 수 있는 색의 선택 용이성 등을 고려하여, 잉크 등보다는 마스카라, 아이라이너 등 소정의 화장료를 이용하는 것이 바람직하다. 또한, 영역 내 추적점의 갯수에 대해서는, 예를 들어, 해석 영역 내에 100개 이상의 점을 등간격으로 배열하는 것이 바람직하나, 이에 한정되지는 않는다.
도 5는 해석 영역에 배열된 추적점을 설명하기 위한 도면이다. 도 5(A)는 배열된 추적점의 일 예를 나타내고, 도 5(B)는 추적점의 점 그룹을 포함하는 해석 영역을 나타내고 있다. 도 5(A)에 나타내는 예에서는, 피험자의 오른쪽 눈꼬리 부근의 이미지(50)에, 종횡 11×11=121개의 추적점(마크, 51)이 소정 간격으로 표시되어 있다. 또한, 도 5(B)에 나타내는 바와 같이, 추적점이 해석 영역(52) 안에 배열되어 부여되어 있다.
또한, 본 실시형태에서는, 추적점(51)이 소정 간격으로 배열되어 있는 부분을 해석 영역(52)으로 하면 되기 때문에, 예를 들어 도 5(B)에 나타내는 영역보다 좁은 영역(예를 들어, 도 5(B)에 나타내는 해석 영역(52)의 우측 절반 또는 좌측 절반 등)을 해석 대상으로 할 수도 있다.
실시예 1에서는, 각 추적점(51)이, 원래 얼굴(평소 얼굴)로부터 웃는 얼굴로 변화되는 경우와 웃는 얼굴로부터 원래 얼굴로 변화되는 경우에, 어떻게 움직이는지를 추적함으로써, 표정 주름의 변화에 의한 피부의 응력 정보를 해석한다.
도 4의 예에서, 응력 해석 수단(21)은 피험자의 웃음 주름의 동영상을 취득한다(S11). S11의 처리에서는, 예를 들어 고속 카메라를 이용하여, 주름이 강조되는 조명 조건으로 조정하거나, 이미지가 흔들리지 않도록 촬영한 동영상을 취득하는 것이 바람직하나, 이에 한정되는 것은 아니다. 또한, S11의 처리에서는, 피험자의 원래 얼굴에서부터 활짝 웃는 얼굴을 짓게 하고, 그 때 해석 영역(눈꼬리 부근)을 포함하는 피부의 변화를 촬영한 동영상을 취득한다.
이어서, 응력 해석 수단(21)은, 예를 들어, PIV(Particle Image Velocimetry, 입자 이미지 유속 측정)법 등에 따른 추적점의 추적에 의한 해석을 행한다(S12). PIV법이란, 예를 들어, 촬영 시간이 다른 입자 이미지로부터 패턴 매칭법 등을 이용하여 속도장을 계측하는 기술인데, 디지털 이미지 등으로부터 입자의 속도, 변위를 측정하는 방법이다.
PIV법에 따른 추적점의 추적에는, 예를 들어 (주)라이브러리의 「2차원 동영상 계측 소프트웨어 "Move-tr/2D"」 등을 사용할 수 있으나, 이에 한정되는 것은 아니고, 다른 소프트웨어를 사용할 수도 있다.
응력 해석 수단(21)은, 추적에 의한 해석에 의해 동영상의 각 장면(프레임)의 추적점의 위치를 csv 파일, txt 파일 등으로 하여 기억 수단(13)에 보존할 수도 있다. 또한, 동영상(예를 들어, avi 파일)을 연속 정지 화면(예를 들어, bmp 파일)으로 분해하는 이미지 처리를 행할 수도 있다.
이어서, 응력 해석 수단(21)은 해석 영역 내 추적점 간 거리의 변화를 취득하고, 그 변화량으로부터 왜곡 해석을 행한다(S13). 한편, 왜곡 해석은, 예를 들어 (주)라이브러리의 「왜곡 계측 소프트웨어 "Strain-mp"」 등을 이용할 수 있으나, 이에 한정되는 것은 아니고, 다른 소프트웨어를 이용할 수도 있다.
이어서, 응력 해석 수단(21)은 해석 영역 내에서 전술한 피부 역학 측정을 행하고, 그 피부 역학 측정값과 S14의 처리에서 얻어진 왜곡 해석 결과에 의거하여, 응력 정보를 취득한다(S14). S14의 처리에서는, 예를 들어 피부 역학 측정에 의해 얻어지는 피부의 강직도와 왜곡 해석 결과를 곱함으로써, 웃음 주름에 의한 응력 정보를 취득한다. 구체적으로, 「Stress(응력)=E(강직도)×Strain(왜곡)」이 되나, 이에 한정되는 것은 아니다. 실시예 1에서는, 응력 해석 수단(21)에 의해 응력 정보를 취득하면, 이미지 생성 수단(17)에서 응력 정보를 이용하여 피부에 응력이 강하게 작용하고 있는 부분을 시각화한 응력 맵 등을 생성하여 표시할 수 있다.
<PIV법에 대하여>
여기에서, 본 실시형태에서의 PIV법에 대하여 구체적으로 설명한다. 한편, 이하의 설명에서는, PIV법의 일 예인 PTV(Particle Tracking Velocimetry, 입자 추적)법을 이용하나, 이에 한정되는 것은 아니다.
실시예 1의 PTV법에서는, 해석 영역 내에 화장료 등을 부착시켜 추적점을 찍은 개소(추적점)를 이미지 안의 추적 대상으로 하고, 우선은 초기 설정으로서 추적점의 특징(예를 들어, 색, 형상, 크기) 등을 설정한다. 이 때, 가급적 추적 대상 주변 부위와 중복되지 않는 추적 대상의 특징을 휘도값, RGB값 등에 의거하여 추출하고, 그 화소값(검사 영역 크기), 중심 등에 의거하여 추적 대상의 특징 설정을 자동적으로 행할 수 있다. 또한, 실시예 1에서는, 이미지 안에서 추적하는 면적(해석 영역 크기)를 설정한다.
이어서, 설정된 내용에 의거하여, 촬영된 동영상을 해석한다. 여기에서, F(t-1)를 추적 대상(추적점)의 XY값이 정해져 있는 프레임의 이미지로 하고, F(t)를 추적 대상의 XY값이 정해져 있지 않은 F(t-1)의 다음 프레임의 이미지로 정의한다. 이 때, F(t)의 이미지에서, F(t-1)에서의 추적 대상의 XY값을 중심으로 하여, 해석영역 크기 전체에 대해 추적 대상과의 상관 계수를 산출하고, 가장 상관값이 높은 값을 나타내는 XY값을 F(t)에서의 추적 대상의 XY값으로 한다.
<왜곡 해석에 대하여>
이어서, 전술한 왜곡 해석에 대하여 구체적으로 설명한다. 실시예 1에서는, 추적점을 찍은 피부의 움직임을 고속 카메라를 이용하여 동영상으로 촬영하고, 그 동영상을 구성하는 프레임마다 PTV법에 의해 추적점을 추적하여, 예를 들어, 추적점으로 둘러싸인 해석 영역(예를 들어, 사각형)이 미리 설정된 최초 프레임(초기 위치)으로부터 어느 정도 변형되어 있는지를 왜곡값으로서 산출한다. 한편, 압축 왜곡의 값은, 압축된 경우를 정(플러스)으로 하나, 이에 한정되는 것은 아니다.
이어서, 왜곡 산출 방법의 예에 대하여 설명한다.
<왜곡의 산출예 1>
왜곡의 산출예 1에서는, 변위량(u,v)에 대해 평면 왜곡은 이하에 나타내는 식(1)이 된다.
[수학식 1]
Figure pct00001
한편, x,y는 평면 좌표를 나타낸다.
이 때, 주왜곡은 이하에 나타내는 식(2)∼(4)에 의해 산출할 수 있다.
[수학식 2]
Figure pct00002
<왜곡의 산출예 2>
왜곡의 산출예 2에서는, 외적(外積)을 이용하여 해석 영역의 일 예인 사각형의 면적을 구하고, 표정을 바꾸기 전과 후의 면적비로부터 왜곡값을 산출한다. 여기에서, 도 6은 왜곡의 산출예 2를 설명하기 위한 도면이다.
도 6의 예에서는, 해석 영역이 사각형인 경우, 그 사각형의 정점의 xy 좌표를 (0,0), (a,b), (c,d), (e,f)로 하면, 사각형의 면적은 「면적=1/2×((√(a×d-b×c)2)+(√(c×f-d×e)2))」이 된다.
전술한 산출 내용에 의거하여, 왜곡값은 「왜곡값=(대상으로 하고 있는 표정 변형시의 프레임의 사각형 면적)/(최초(원래 얼굴)의 프레임의 사각형 면적)」으로서 산출할 수 있다.
<왜곡의 산출예 3>
왜곡의 산출예 3에서는, 중심(P)의 왜곡(εx,εy)을 산출한다. 도 7은 왜곡의 산출예 3을 설명하기 위한 도면이다.
여기에서, 도 7에 나타내는 바와 같이, 사각형의 정점의 초기 좌표를 (x1,y1),(x2,y2),(x3,y3),(x4,y4)로 하고, 절점1∼4의 변위를 (u1,v1),(u2,v2),(u3,v3),(u4,v4)로 하면, 중심(P)의 왜곡은 이하에 나타내는 식(5), 식(6)에 의해 산출할 수 있다.
[수학식 3]
Figure pct00003
<왜곡의 산출예 4>
도 8은 왜곡의 산출예 4를 설명하기 위한 도면이다. 왜곡의 산출예 4에서는, 예를 들어 도 8(A)에 나타내는 바와 같이, 국소 좌표계(물리 좌표계)를 일반화 좌표계(자연 좌표계)로 변환한다. 여기에서, 사각형의 4개의 정점 (1)∼(4)를 각각 (-1,-1),(1,-1),(1,1),(-1,1)에 대응시킨다. 즉, 국소 좌표계의 사각형을 일반화 좌표계의 정사각형으로 변환한다.
여기에서, 형상 함수(변위 보간 함수)를 이하에 나타내는 식(7)과 같이 정의한다.
[수학식 4]
Figure pct00004
도 8(A)에 나타내는 일반화 좌표계에서의 왜곡은, 이하에 나타내는 식(8)과 같이 변위 보간 함수의 편미분의 도함수가 되고, 이를 전개한 것이 식(9)가 된다.
[수학식 5]
Figure pct00005
평면 문제에서는, 일반화 좌표계와 국소 좌표계의 변분(變分) 관계는 이하에 나타내는 식(10)이 된다.
[수학식 6]
Figure pct00006
한편, 전술한 식(10)에서, J는 야코비안 행렬(Jacobian matrix)을 나타낸다. 따라서, 야코비안 행렬의 역행렬은 이하에 나타내는 식(11)이 된다.
[수학식 7]
Figure pct00007
여기에서, 왜곡-변위 관계식은, 왜곡을 ε, 왜곡-변위 변환 행렬(선형)([B]행렬이라고도 함), u를 요소 단면 내 변위 벡터라고 하면, 「ε=Bu」로서 정의된다. 이 때의 왜곡 ε은 이하의 식(12)로 나타낼 수 있다.
[수학식 8]
Figure pct00008
어떤 점(i)의 왜곡-변위 변환 행렬([B]행렬)은, 이하에 나타내는 식(13)에 의해 산출된다(점마다 [B]행렬이 존재).
[수학식 9]
Figure pct00009
여기에서, 행렬의 작성에 있어서는, 면적 적분을 행할 필요가 있다. 그러나, 요소가 어지간히 단순한 형상이 아니라면, 피적분 함수의 형태가 복잡하게 되어, 해석적으로 적분하는 것은 거의 불가능하다. 그러므로, 왜곡의 산출예 4에서는, 예를 들어 가우스(Gauss) 적분을 이용한다.
가우스 적분은, 피적분 함수를 라그랑쥬(Lagrange) 다항식으로 근사하고, 라그랑쥬 다항식의 성질을 근거로 수치적으로 적분을 구하는 방법의 하나이다. 본 실시예에서의 사각형 요소(절점 1∼4)에 있어서, 충분한 정확도를 보증하기 위한 가우스 적분점(표본점)은, 예를 들어 도 8(B)에 나타내는 (ri,si)의 좌표값을 기준으로 4개로 할 수 있다. 예를 들어, r=±1/√3, s=±1/√3의 2×2의 4점이며, 이 경우의 가중치는 W1=W2=1이다. 이 때, 왜곡 ε은 이하에 나타내는 식(14)에 의해 산출할 수 있다.
[수학식 10]
Figure pct00010
전술한 왜곡의 산출예 1∼4는, 미리 설정된 방법을 이용하여 산출할 수도 있고, 전술한 복수의 산출예를 조합할 수도 있다.
<응력 정보(σ)의 취득예>
이어서, 응력 정보(σ)의 산출예에 대하여 구체적으로 설명한다. 응력 정보(σ)는, 예를 들어 평면 응력 상태, 또는 평면 왜곡이라고 가정하여 의사(擬似)적으로 표시함으로써 응력 정보(σ)를 취득할 수 있다. 여기에서, 도 9는 응력 정보의 취득예에 대하여 설명하기 위한 도면이다. 한편, 도 9(A)는 평면 응력 상태를 나타내고, 도 9(B)는 평면 왜곡 상태를 나타내고 있다.
예를 들어, 평면 응력 상태(z방향 응력이 0)라고 가정하면, 도 9(A)에 나타내는 얇은 판과 같은 경우라고 생각할 수 있다. 그 경우, σz=0, γzx=0, γyz=0로 하여, ε은 이하에 나타내는 식(15)로 산출된다.
[수학식 11]
Figure pct00011
한편, 전술한 식(15)에서, v는 포아송비를 나타내고, E는 영률을 나타낸다. 또한, 본 실시형태에서는, 포와송비(v)로서 예를 들어 0.4를 이용한다. 이것은, 고함수성(高含水性)의 생체는 비압축성이 높기 때문에, 약 0.4∼0.5 정도가 된다고 생각되기 때문이다. 또한, 영률(E)은, 예를 들어 Reviscometer 등으로부터 얻어지는 피부 역학 측정값의 역수로 추정한다.
한편, 도 9(A)의 평면 응력 상태에서, z방향의 왜곡이 0은 아니기 때문에, 「εz=-v(σx+σy)/E」가 된다.
또한, 평면 왜곡 상태(z방향의 왜곡이 0)라고 가정하면, 도 9(B)에 나타내는 두꺼운 구조의 단면이라고 생각할 수 있다. 그 경우, σz=0, γzx=0, γyz=0으로 하여, ε은 이하에 나타내는 식(16)으로 산출된다.
[수학식 12]
Figure pct00012
여기에서, z방향의 응력이 0은 아니기 때문에, 「σz=vE(εx+εy)/((1+v)(1-2v))」가 된다.
한편, 전술한 예에서는, 간이하게는 전술한 v, ε을 충분히 작다고 보아, σ=εE로 대체할 수도 있다. 따라서, 전술한 예에서는, ε과 마찬가지로 σ도 주응력을 출력할 수 있다.
<실시예 1에서의 해석 결과의 일 예>
여기에서, 도 10∼도 12는, 실시예 1에서의 해석 결과의 일 예를 나타내는 도면(1∼3)이다. 도 10의 예에서는, 표정의 변화를 복수회 반복함으로써 얻어지는 정착 주름과 잔류 주름의 모습을 나타내고 있다. 또한, 도 10의 예에서는, 건조 환경(10% RH(Relative Humidity))과 고습도 환경(80% RH)에서 실시한 경우의 결과를 나타내고 있다. 한편, 도 10의 예에서는, 피부의 일 예로서 레플리카(replica)를 이용하고 있다.
도 10의 예에서, 화살표 부분에서의 건조 환경(10% RH) 및 고습도 환경(80% RH)의 주름 체적(mm3)을 비교하면, 건조 환경에서는 잔류 주름이 증가하고, 고온 환경에서는 정착 주름도 잔류 주름도 그다지 변화하지 않음을 알 수 있다.
도 11의 예에서는, 건조(저습도) 환경(10% RH)과 고습도 환경(80% RH)에서 실시한 눈꼬리의 주름 응력을 시각화하여 표시한 것이다. 한편, 도 11의 예에서는, 이미지 생성 수단(17)이 해석 영역(52) 내에서의 응력 크기(부하 레벨)(a.u.)에 따라 미리 설정된 색상으로 분류한 이미지를 생성하고 있으나, 이에 한정되는 것은 아니고, 모양 등에 변화를 가하여 표시하거나 다르게 강조하여 표시할 수도 있다.
도 12의 예에서, 도 12(A)에서는 저습도(건조 환경(10% RH))와 고습도(고습도 환경(80% RH))에서의 왜곡과 응력의 표준 편차값의 관계를 나타내고 있는데, 값이 높을수록 왜곡, 응력이 국소적으로 작용되고 있음을 나타내고 있다. 또한, 도 12(B)에서는, 저습도(건조 환경(10% RH))와 고습도(고습도 환경(80% RH))에서의 최대 왜곡과 최대 응력의 관계를 나타내고 있다. 또한, 도 12(C)에서는, 최대 왜곡(상위 10개 평균)과 최대 응력(상위 10개 평균)의 관계를 나타내고 있다.
도 12(A)∼(C)의 해석 결과에 의하면, 어느 경우에도, 저습도의 경우가 고습도의 경우보다 왜곡, 응력의 값이 크다는 점이 잔류 주름의 일 원인이 되어 있음을 알 수 있다.
<피부 상태 해석 처리 : 실시예 2(주름 파라미터 산출)>
이어서, 전술한 피부 상태 해석 수단(16)에서의 피부 상태 해석 처리의 실시예 2에 대하여 설명한다. 실시예 2에서는, 표정 주름에 의한 주름 파라미터의 산출예에 대하여 설명한다. 한편, 이하의 설명에서도 실시예 1과 마찬가지로, 표정 주름의 일 예로 웃음 주름을 이용하여 설명하나, 이에 한정되는 것은 아니고, 예를 들어 화남 주름, 울음 주름 등일 수도 있다.
실시예 2에서는, 예를 들어, 미리 설정된 추적점(마크)을 눈꼬리에 약 1.5cm 간격으로 상하로 2개 찍고, 피험자가 웃었을 때의 눈꼬리의 움직임을 고속 카메라로 촬영한다. 또한, 동영상을 1장면(프레임)마다 분해하여, 미리 설정된 주름 추출 프로그램으로 주름을 추출한다. 한편, 실시예 2에서는, 예를 들어, 잘 보이지 않는 웃음 주름, 잘 보이는 웃음 주름 등, 주름의 종류를 분류하여 해석할 수도 있다.
또한, 실시예 2에서는, 주름과 연령의 관계를 해석할 수도 있고, 이로써 노화에 따라 잘 보이는 주름의 비율이 증가하는 등의 발견을 이룰 수 있다. 한편, 전술한 추적점은, 실시예 1과 마찬가지로, 마스카라, 아이라이너 등의 화장료를 이용할 수 있으나, 이에 한정되는 것은 아니다.
여기에서, 도 13은, 실시예 2에서의 피부 상태 해석 처리의 일 예를 나타내는 도면이다. 도 13에 있어서, 주름 파라미터 산출 수단(22)은, 전술한 바와 같이 피험자의 해석 영역에 부여된 추적점(마크)을 이용하여, 실시예 1과 마찬가지로 피험자가 활짝 웃는 표정을 지었을 때의 동영상을 취득한다(S21).
이어서, 주름 파라미터 산출 수단(22)은, S21의 처리에 의해 얻어지는 동영상으로부터 PIV법에 따른 추적점의 추적에 의한 해석을 행한다(S22). 한편, S22의 처리에서는, 실시예 1과 마찬가지로, 동영상의 각 장면마다의 점의 위치를 csv파일이나 txt파일로 기억 수단(13)에 보존할 수도 있다. 또한, S22의 처리에서는, 동영상(예를 들어, avi 파일 형식)을 연속 정지 화면(예를 들어, bmp 파일)로 분해하는 이미지 처리를 행할 수도 있다.
이어서, 주름 파라미터 산출 수단(22)은, 전술한 csv 파일과 bmp 파일 이미지를 동기(同期)시켜, 각 bmp 파일 이미지에서의 추적점의 위치(예를 들어, xy 좌표)를 인식시키고, 해석 위치를 결정하여(S23), 소정의 이미지(예를 들어, 200×200 화소(예를 들어 네방향 약 1cm))를 추출한다(S24). 한편, S23의 처리에서는, 예를 들어 2개의 추적점의 한가운데를 해석 위치로 하여 인식하나, 이에 한정되는 것은 아니다. 또한, 실시예 2에서는, 표정의 변화에 의해 추적점이 회전된 경우에는, 해석 중인 위치도 역아핀(逆affine) 변환 등을 이용하여 회전시키는 것이 바람직하나, 이에 한정되는 것은 아니다.
이어서, 주름 파라미터 산출 수단(22)은, 미리 설정된 노이즈 처리를 행하고(S25), 미리 설정된 주름 추출 필터 등을 이용하여 주름을 추출한다(S26). S26의 처리에서는, 예를 들어 3종류의 주름 추출 필터를 이용하여, 해석 영역에 포함되는 주름을, 예를 들어 「가는 주름」, 「큰 주름」, 「현저히 큰 주름」 중 어느 하나로 분류하나, 종류에 대해서는 이에 한정되는 것은 아니다. 또한, S26의 처리에서는, 추출된 주름에 대해 노이즈 처리를 행하는데, 앞뒤 프레임의 이미지에 존재하지 않는 주름이 존재하는 경우에는, 노이즈일 가능성이 크기 때문에, 그 주름을 삭제할 수도 있다.
이어서, 주름 파라미터 산출 수단(22)은, S26의 처리에서 추출된 주름으로부터 주름 파라미터를 산출한다(S27). 한편, 주름 파라미터로는, 예를 들어, 주름 면적, 주름 길이, 주름 비율 등이 있으나, 이에 한정되는 것은 아니다.
실시예 2에서는, 전술한 처리에서 얻어진 결과를 이용하여 이미지 생성 수단(17)에 의해 연속 정지 화면(예를 들어, bmp)을 동영상(예를 들어, avi, wmv) 등으로 재구축하여 동영상을 생성하고, 생성된 동영상을 재생할 수 있다. 이 경우, 이미지 생성 수단(17)은, S26의 처리에서 추출된 주름에 대해, 분류된 종류별로 색상을 지정하고, 원래의 이미지 위에 시각화하여 강조하여 표시하는 것이 바람직하나, 생성되는 이미지에 대해서는 이에 한정되는 것은 아니다.
여기에서, 주름은 피부의 접힘 자국의 정도에 의존한다. 도 14는 표정 주름의 접힘 자국에 대해 설명하기 위한 도면이다. 도 14(A)에 나타내는 바와 같이, 눈을 가볍게 뜨고 있는 경우와 입꼬리를 올려서 활짝 웃음을 짓고 있는 경우에서는, 피부의 접힘 자국의 주기가 다르다. 접힘 자국의 주기란, 예를 들어 도 14(A)에 나타내는 바와 같이 2개의 접힘 폭(간격)이나, 이에 한정되는 것은 아니다.
도 14(A)에 나타내는 바와 같이, 잘 보이지 않는 접힘 자국은, 피부가 잘게 접혀져 있다. 또한, 도 14(B)에 나타내는 바와 같이, 눈을 가볍게 뜨고 있는 경우와 입꼬리를 올려서 활짝 웃음을 짓고 있는 경우에 있어서, 피부의 접힘 자국을 깊이(D),주기(L)로 하면, 예를 들어 피부가 수평 방향으로 15%만큼 압축되어 반타원 형상으로 접힐 때, 도 14(A)에 나타내는 바와 같이, 접힘 자국이 잘 보이는 패널(피험자)은, 주기(L)가 1.0mm이고 깊이(D)가 100㎛가 되기 때문에 「주름」수준이 된다. 또한, 잘 안보이는 패널은, 주기(L)가 0.2mm이고 깊이(D)가 20㎛가 되기 때문에 「결」수준이 된다. 한편, 전술한 예에서는, 피부의 초기 상태를 평평하다고 하고, 개개의 각질 세포는 압축에 의해 변형하지 않는다고 가정하고 있다. 즉, 도 14의 예에서 나타내는 바와 같이, 피부가 잘게 접혀져 있으면, 접힘 자국은 얕아서 잘 안 보이게 된다.
여기에서, 도 15, 도 16은 실시예 2에서의 해석 결과의 일 예를 나타내는 도면(1∼2)이다. 한편, 도 15, 도 16에서는, 미리 설정된 주름 추출 필터에 의해 「현저히 잘 보임」, 「잘 보임」, 「잘 보이지 않음」의 3종류의 주름별로 결과를 나타내고 있다. 또한, 도 15, 도 16의 예에서는, 추적점(51)을 6개 배열하고, 그 점 중 한가운데의 사각 해석 영역(52) 내에 대하여 주름 파라미터를 산출하고 있다.
도 15의 예에서는, 각각의 압축률(%)과, 크게 접혀서 「잘 보이는 웃음 주름」, 잘게 접혀서 「잘 보이지 않는 웃음 주름」과의 관계를 나타낸다. 이 해석 결과로부터, 웃을 때에 피부가 잘게 접힐수록 잘 보이지 않는 웃음 주름이 되는 것을 알 수 있다.
도 16의 예에서는, 「현저히 잘 보이는 주름」, 「잘 보이는 주름」, 「잘 보이지 않는 주름」으로 분류된 각각의 주름에 대하여, 색상이 지정되어 표시되어 있다. 또한, 도 16의 예에서는, 연령과 잘 보이지 않는 웃음 주름의 비율(%)과의 관계가 나타나 있는데, 이 해석 결과로부터, 연령이 젊을수록 피부가 잘게 접혀서 잘 보이지 않는 웃음 주름이 되어 있는 것을 알 수 있다.
전술한 실시예 2의 해석 결과에 있어서는, 전술한 이미지의 예에 한정되는 것은 아니고, 예를 들어, 주름의 길이 등 파라미터를 표시할 수도 있다.
한편, 전술한 표시 주름 등을 이용한 피부 상태의 해석은, 예를 들어, 이마, 눈꼬리, 눈꼬리 아래, 뺨, 눈 주위, 눈 아래, 법령선(法令線), 미간, 코 위 등에 적용할 수 있다. 도 17은 이마의 주름 해석 결과의 일 예를 나타내고 있다.
도 17의 예에서는, 예를 들어 2명의 피험자(피험자A, 피험자B)가 해석 대상의 피부 압축률 0%(원래 얼굴)의 상태와 피부 압축률 20%(이마를 위로 올린 표정)의 상태에서의 주름 해석 결과를 나타낸 것이다.
도 17의 예에서는, 해석 영역(52) 내에서 주름의 종류에 따라 색상이 지정된 주름이 표시되어 있다. 또한, 도 17의 예에서는, 이미지만을 표시하고 있으나, 이에 한정되는 것은 아니고, 복수 피험자의 주름 해석 결과를 동영상에 의해 시계열적으로 표시할 수도 있다. 한편, 전술한 이미지나 동영상은 전술한 이미지 생성 수단(17)에 의해 생성된다.
<피부 상태 해석 처리 : 실시예 3(피부의 구김살 해석)>
한편, 본 실시형태를 적용함으로써, 전술한 실시예 1에 나타내는 표정 주름에 의한 응력 해석 이외에도, 예를 들어, 외력으로 피부를 움직였을 때 생기는 피부의 구김살 상태를 정량적으로 해석할 수 있다. 실시예 3에서는, 예를 들어 전술한 실시예 2에 나타내는 것과 같은 주름 파라미터의 산출 방법 등을 이용하여, 마사지나 도포물(파운데이션 등)의 도포 등 손질시에 발생하는 피험자 피부의 구김살 상태를 정량적으로 해석할 수 있다.
여기에서, 도 18, 도 19는, 실시예 3에서의 해석 결과의 일 예를 나타내는 도면(1∼2)이다. 한편, 도 18은 마사지에 의한 피험자의 연령에 따른 피부 구김살 해석 결과의 일 예를 나타내고, 도 19는 스킨케어 전후의 피부 구김살 해석 결과의 일 예를 나타낸다.
도 18(A)는 연령이 다른 복수 피험자의 마사지 이전(초기 상태)의 피부 이미지를 나타내고, 도 18(B)는 그 복수 피험자의 피부에 대하여 손가락 등으로 최대 하중을 가하여 마사지하고 있는 상태(최대 하중 상태)의 피부 이미지를 나타내며, 도 18(C)는 도 18(B)의 상태에서 잘 보이는 접힘의 면적(pixel)을 집계한 결과를 나타내고 있다. 한편, 도 18에서는, 연령이 다른 피부 이미지의 일 예로, 20대, 50대 전반, 50대 후반의 예를 나타내고 있으나, 이미지의 종류에 있어서 이에 한정되는 것은 아니다.
도 18(A), 도 18(B)의 예에서는, 피험자의 눈꼬리와 뺨에 아이라이너 등으로 추적점(51)을 찍고, 그 후 추적점(51) 내에 설정한 소정의 해석 영역(52)에 대하여 손가락 등으로 일정한 힘으로 소정 방향(예를 들어, 도 18의 예에서는 이미지의 아래(뺨)에서 위(눈꼬리) 방향)으로 눌러서 피부를 마사지했을 때의 눈꼬리 부근(해석 영역(52))의 피부 구김살을 해석한다.
실시예 3에서, 피부 상태 해석 수단(16)은, 예를 들어, 도 18(A), 도 18(B)에 나타내는 각각의 피부 이미지와 추적 수단(15) 등에 의해 얻어지는 압축률 등에 의거하여, 잘 보이는 접힘으로 해석된 면적(화소수:pixel)을 취득함으로써, 도 18(C)에 나타내는 것과 같은 해석 결과를 취득할 수 있다. 한편, 이미지 생성 수단(17)은, 예를 들어, 도 18(B)에 나타내는 바와 같이 잘 보이는 접힘 부분을 소정의 색상 등을 이용하여 강조하여 표시한 이미지를 생성하거나, 도 18(C)에 나타내는 해석 결과를 표시하는 이미지를 생성하여, 화면에 출력할 수 있다.
또한, 도 19(A)는 동일 피험자(50대 후반)의 맨살 및 스킨케어 후의 피부 상태(초기 상태)를 나타내고, 도 19(B)는 맨살 및 스킨케어 후의 피부에 대해 손가락 등으로 최대 하중을 가한 상태(최대 하중 상태)의 피부 이미지를 나타내며, 도 19(C)는 도 19(B)의 상태에서 잘 보이는 접힘의 면적(pixel)을 집계한 결과를 나타내고 있다. 한편, 도 19에서는 50대 후반 피험자의 예를 나타내고 있으나, 이미지의 종류에 있어서 이에 한정되는 것은 아니다.
도 19(A), 도 19(B)의 예에서는, 맨살 및 스킨케어 후의 피부에 있어서, 피험자의 눈꼬리에 아이라이너 등으로 추적점(51)을 찍고, 그 후 추적점(51) 내에 설정한 소정의 해석 영역(52)에 대하여 손가락 등으로 일정한 힘으로 소정 방향(예를 들어, 도 18의 예에서는 이미지의 아래(뺨)에서 위(눈꼬리) 방향)으로 눌렀을 때의 눈꼬리 부근(해석 영역(52))의 피부 구김살을 해석한다.
실시예 3에서, 피부 상태 해석 수단(16)은, 예를 들어 도 19(A), 도 19(B)에 나타내는 각각의 피부 이미지와 추적 수단(15) 등에 의해 얻어지는 압축률 등에 의거하여, 잘 보이는 접힘으로 해석된 면적(화소수:pixel)을 취득함으로써, 도 19(C)에 나타내는 것과 같은 해석 결과를 취득할 수 있다. 한편, 이미지 생성 수단(17)은, 예를 들어, 도 19(B)에 나타내는 바와 같이 잘 보이는 접힘 부분을 소정의 색상 등을 이용하여 강조하여 표시한 이미지를 생성하거나, 도 19(C)에 나타내는 해석 결과를 표시하는 이미지를 생성하여, 화면에 출력할 수 있다.
실시예 3에서는, 전술한 것과 같은 해석 결과를 이용하여, 예를 들어, 연령별로 보다 좋은 마사지 방법, 마사지에 조합하는 도포물의 평가 등을 행할 수 있다.
<기타 실시예>
한편, 전술한 각각의 피부 상태 해석 처리에 이용되는 이미지는, 예를 들어 전술한 고속 카메라 등을 이용하여 촬영된 2차원 이미지를 이용하고 있으나, 이에 한정되는 것은 아니고, 예를 들어, 피부의 촬영 방향을 바꾸면서 취득한 복수의 2차원 이미지를 조합한 3차원 이미지 등을 이용하여 전술한 해석, 평가를 행할 수 있다. 또한, 전술한 피부 상태 해석 처리의 각 실시예는, 복수의 실시예의 일부 또는 전부를 조합할 수도 있다.
전술한 것과 같이, 본 발명에 의하면, 피험자의 표정 주름, 손질시의 피부 구김살 등으로부터 적절히 피부 상태를 해석할 수 있다. 이로써, 피험자에 대한 새로운 피부 케어 카운셀링이나 화장품 제공 등의 서비스를 제공할 수 있다. 한편, 전술한 실시 형태에서는, 특히 얼굴의 피부 상태 해석에 대해 설명하였으나, 이에 한정되는 것은 아니고, 예를 들어, 신체의 다른 부위(예를 들어, 손 등)의 피부 상태 해석에 적용할 수도 있다.
이상, 본 발명의 바람직한 실시형태에 대해 자세히 기술하였으나, 본 발명은 전술한 특정의 실시형태에 한정되는 것은 아니고, 특허청구범위에 기재된 본 발명의 요지 범위 내에서 다종다양한 변형·변경이 가능한 것이다.
본 국제출원은 2013년 3월 28일에 출원된 일본국 특허출원 제2013-070061호에 기초하여 그 우선권을 주장하는 것이며, 당해 제2013-070061호의 내용 전체를 본 국제출원에 원용한다.
10 : 이미지 해석 장치 11 : 입력 수단
12 : 출력 수단 13 : 기억 수단
14 : 이미지 취득 수단 15 : 추적 수단
16 : 피부 상태 해석 수단 17 : 이미지 생성 수단
18 : 송수신 수단 19 : 제어 수단
21 : 응력 해석 수단 22 : 주름 파라미터 산출 수단
30 : 촬상 수단 41 : 입력 장치
42 : 출력 장치 43 : 드라이브 장치
44 : 보조 기억 장치 45 : 메모리
46 : CPU 47 : 네트워크 접속 장치
48 : 기억 수단 50 : 이미지
51 : 추적점(마크) 52 : 해석 영역

Claims (15)

  1. 촬상 수단에 의해 촬영된 피험자 얼굴의 동영상으로부터 피부 상태를 해석하는 이미지 해석 장치에 있어서,
    상기 동영상에 포함되는 상기 얼굴의 표정 변화에 의거하여, 상기 얼굴의 해석 영역에 미리 배열된 복수의 추적점의 변화량을 추적하고, 상기 변화량으로부터 상기 해석 영역에서의 피부 압축률을 취득하는 추적 수단과,
    상기 추적 수단에 의해 얻어지는 압축률에 의거하여, 상기 피험자의 피부 상태를 해석하는 피부 상태 해석 수단을 포함하는 것을 특징으로 하는 이미지 해석 장치.
  2. 제1항에 있어서,
    상기 피부 상태 해석 수단은, 상기 압축률에 의거하여, 상기 해석 영역에 대한 응력을 해석하는 것을 특징으로 하는 이미지 해석 장치.
  3. 제1항에 있어서,
    상기 피부 상태 해석 수단은, 상기 압축률에 의거하여, 상기 해석 영역에 대한 주름 파라미터를 산출하는 것을 특징으로 하는 이미지 해석 장치.
  4. 제1항에 있어서,
    상기 피부 상태 해석 수단은, 상기 압축률에 의거하여, 상기 해석 영역에 대한 피부 구김살을 해석하는 것을 특징으로 하는 이미지 해석 장치.
  5. 제1항에 있어서,
    상기 추적 수단은 상기 얼굴의 표정 변화에 따른 상기 해석 영역의 왜곡량을 취득하는 것을 특징으로 하는 이미지 해석 장치.
  6. 제1항에 있어서,
    상기 피부 상태 해석 수단에 의해 얻어지는 해석 결과를 상기 촬영 수단에 의해 촬영된 상기 피험자의 얼굴 이미지에 반영시킨 이미지를 생성하는 이미지 생성 수단을 포함하는 것을 특징으로 하는 이미지 해석 장치.
  7. 제1항에 있어서,
    상기 촬상 수단은 고속 카메라를 이용하는 것을 특징으로 하는 이미지 해석 장치.
  8. 촬상 수단에 의해 촬영된 피험자 얼굴의 동영상으로부터 피부 상태를 해석하는 이미지 해석 방법에 있어서,
    상기 동영상에 포함되는 상기 얼굴의 표정 변화에 의거하여, 상기 얼굴의 해석 영역에 미리 배열된 복수의 추적점의 변화량을 추적하고, 상기 변화량으로부터 상기 해석 영역에서의 피부 압축률을 취득하는 추적 단계와,
    상기 추적 단계에서 얻어지는 압축률에 의거하여, 상기 피험자의 피부 상태를 해석하는 피부 상태 해석 단계를 포함하는 것을 특징으로 하는 이미지 해석 방법.
  9. 제8항에 있어서,
    상기 피부 상태 해석 단계는, 상기 압축률에 의거하여, 상기 해석 영역에 대한 응력을 해석하는 것을 특징으로 하는 이미지 해석 방법.
  10. 제8항에 있어서,
    상기 피부 상태 해석 단계는, 상기 압축률에 의거하여, 상기 해석 영역에 대한 주름 파라미터를 산출하는 것을 특징으로 하는 이미지 해석 방법.
  11. 제8항에 있어서,
    상기 피부 상태 해석 단계는, 상기 압축률에 의거하여, 상기 해석 영역에 대한 피부 구김살을 해석하는 것을 특징으로 하는 이미지 해석 방법.
  12. 제8항에 있어서,
    상기 추적 단계는 상기 얼굴의 표정 변화에 따른 상기 해석 영역의 왜곡량을 취득하는 것을 특징으로 하는 이미지 해석 방법.
  13. 제8항에 있어서,
    상기 피부 상태 해석 단계에서 얻어지는 해석 결과를 상기 촬영 수단에 의해 촬영된 상기 피험자의 얼굴 이미지에 반영시킨 이미지를 생성하는 이미지 생성 단계를 포함하는 것을 특징으로 하는 이미지 해석 방법.
  14. 제8항에 있어서,
    상기 촬상 수단은 고속 카메라를 이용하는 것을 특징으로 하는 이미지 해석 방법.
  15. 컴퓨터를 제1항에 기재된 이미지 해석 장치가 포함하는 각 수단으로서 기능시키기 위한 이미지 해석 프로그램.
KR1020157027070A 2013-03-28 2014-02-27 이미지 해석 장치, 이미지 해석 방법 및 이미지 해석 프로그램 KR20150135776A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2013-070061 2013-03-28
JP2013070061A JP6251489B2 (ja) 2013-03-28 2013-03-28 画像解析装置、画像解析方法、及び画像解析プログラム
PCT/JP2014/054938 WO2014156461A1 (ja) 2013-03-28 2014-02-27 画像解析装置、画像解析方法、及び画像解析プログラム

Publications (1)

Publication Number Publication Date
KR20150135776A true KR20150135776A (ko) 2015-12-03

Family

ID=51623455

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157027070A KR20150135776A (ko) 2013-03-28 2014-02-27 이미지 해석 장치, 이미지 해석 방법 및 이미지 해석 프로그램

Country Status (8)

Country Link
US (1) US9607208B2 (ko)
EP (1) EP2979634B1 (ko)
JP (1) JP6251489B2 (ko)
KR (1) KR20150135776A (ko)
CN (1) CN105101874B (ko)
HK (1) HK1211452A1 (ko)
TW (1) TWI612938B (ko)
WO (1) WO2014156461A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102183310B1 (ko) 2020-03-02 2020-11-26 국민대학교산학협력단 전문성 이식을 통한 딥러닝 기반의 전문 이미지 해석 장치 및 방법
KR102274330B1 (ko) * 2020-09-18 2021-07-07 가천대학교 산학협력단 뇌졸중 정도의 진단을 위한 얼굴이미지 분석방법 및 시스템
WO2024029663A1 (ko) * 2022-08-04 2024-02-08 안가람 피부 시술 가이딩 및 피드백 시스템

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201540264A (zh) * 2014-04-18 2015-11-01 Sony Corp 資訊處理裝置、資訊處理方法、及程式
KR102262307B1 (ko) * 2014-07-02 2021-06-09 (주)아모레퍼시픽 주름 측정 장치 및 주름 측정 방법
JP2016101365A (ja) * 2014-11-28 2016-06-02 パナソニックＩｐマネジメント株式会社 皺ケア支援装置および皺ケア支援方法
JP6320440B2 (ja) 2015-08-04 2018-05-09 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ信号のための信号再構成
KR102429838B1 (ko) * 2016-03-11 2022-08-05 (주)아모레퍼시픽 피부결 블랍을 기초로한 피부결 평가 장치 및 그 방법
TWI585711B (zh) * 2016-05-24 2017-06-01 泰金寶電通股份有限公司 獲得保養信息的方法、分享保養信息的方法及其電子裝置
JP7040889B2 (ja) * 2016-06-02 2022-03-23 ポーラ化成工業株式会社 肌状態の鑑別のための画像解析方法
JP6245590B1 (ja) * 2016-06-20 2017-12-13 公立大学法人大阪市立大学 皮膚診断装置、皮膚状態出力方法、プログラムおよび記録媒体
JP6993087B2 (ja) * 2017-01-17 2022-02-04 花王株式会社 皮膚の歪み測定方法
CN107049326B (zh) * 2017-03-15 2019-10-25 英华达（南京）科技有限公司 单边咀嚼监测设备及其方法
CN109034399A (zh) * 2017-06-09 2018-12-18 丽宝大数据股份有限公司 保养评估方法及其电子装置
CN109493310A (zh) * 2017-09-08 2019-03-19 丽宝大数据股份有限公司 身体信息分析装置及其手部肌肤分析方法
JP7183005B2 (ja) * 2017-12-01 2022-12-05 ポーラ化成工業株式会社 肌解析方法及び肌解析システム
CN112581512A (zh) * 2019-09-27 2021-03-30 鲁班嫡系机器人（深圳）有限公司 图像匹配、3d成像及姿态识别方法、装置及系统
US11589803B2 (en) * 2020-05-04 2023-02-28 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and systems for improving human facial skin conditions by leveraging vehicle cameras and skin data AI analytics
CN111839681A (zh) * 2020-07-08 2020-10-30 胡飞青 利用内容解析的压迫区域识别平台及方法
WO2024021000A1 (en) * 2022-07-29 2024-02-01 L'oreal System and method for evaluating dynamic wrinkles on keratin material of a user to be tested

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2942502B2 (ja) * 1996-08-08 1999-08-30 鐘紡株式会社 皮膚のたるみ量測定装置及び測定方法
JPH11108630A (ja) * 1997-09-30 1999-04-23 Shiseido Co Ltd 三次元形状測定方法及びそれを用いた皮膚表面の歪と応力の解析方法
US6571003B1 (en) * 1999-06-14 2003-05-27 The Procter & Gamble Company Skin imaging and analysis systems and methods
JP4001549B2 (ja) * 2002-12-10 2007-10-31 株式会社コーセー 肌状態の評価方法
JP4761924B2 (ja) * 2004-10-22 2011-08-31 株式会社 資生堂 肌状態診断システムおよび美容のためのカウンセリングシステム
JP4799104B2 (ja) * 2005-09-26 2011-10-26 キヤノン株式会社 情報処理装置及びその制御方法、コンピュータプログラム、記憶媒体
CN1961820B (zh) * 2005-11-08 2011-03-16 株式会社资生堂 肌肤状态分析方法以及肌肤状态分析装置
US20070125390A1 (en) 2005-12-07 2007-06-07 Isabelle Afriat Method of evaluating the effects of exogenous and endogenous factors on the skin
TW200829027A (en) * 2006-12-19 2008-07-01 Chung Shan Inst Of Science Image compression device and method therefore
US20080176077A1 (en) * 2007-01-23 2008-07-24 The Gillette Company Pattern transferable to skin for optical measurements during shaving
JP5204477B2 (ja) * 2007-12-25 2013-06-05 パナソニック株式会社 健康管理システム
WO2009100020A2 (en) * 2008-01-31 2009-08-13 University Of Southern California Facial performance synthesis using deformation driven polynomial displacement maps
JP5538786B2 (ja) * 2009-09-14 2014-07-02 株式会社 資生堂 一過性シワの評価方法及び装置
JP2011101663A (ja) * 2009-11-10 2011-05-26 Shiseido Co Ltd シワの形成し易さの評価方法
JP5733032B2 (ja) * 2011-06-06 2015-06-10 ソニー株式会社 画像処理装置および方法、画像処理システム、プログラム、および、記録媒体

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102183310B1 (ko) 2020-03-02 2020-11-26 국민대학교산학협력단 전문성 이식을 통한 딥러닝 기반의 전문 이미지 해석 장치 및 방법
KR102274330B1 (ko) * 2020-09-18 2021-07-07 가천대학교 산학협력단 뇌졸중 정도의 진단을 위한 얼굴이미지 분석방법 및 시스템
WO2024029663A1 (ko) * 2022-08-04 2024-02-08 안가람 피부 시술 가이딩 및 피드백 시스템

Also Published As

Publication number Publication date
WO2014156461A1 (ja) 2014-10-02
EP2979634A1 (en) 2016-02-03
US9607208B2 (en) 2017-03-28
JP6251489B2 (ja) 2017-12-20
TW201446215A (zh) 2014-12-16
EP2979634A4 (en) 2016-11-30
CN105101874B (zh) 2017-08-15
US20160063312A1 (en) 2016-03-03
HK1211452A1 (en) 2016-05-27
TWI612938B (zh) 2018-02-01
JP2014193197A (ja) 2014-10-09
CN105101874A (zh) 2015-11-25
EP2979634B1 (en) 2023-10-11

Similar Documents

Publication Publication Date Title
KR20150135776A (ko) 이미지 해석 장치, 이미지 해석 방법 및 이미지 해석 프로그램
Sandbach et al. Static and dynamic 3D facial expression recognition: A comprehensive survey
Li et al. Facial performance sensing head-mounted display
Nagano et al. Skin microstructure deformation with displacement map convolution.
Poppe et al. AMAB: Automated measurement and analysis of body motion
Murtaza et al. Analysis of face recognition under varying facial expression: a survey.
CN106169082A (zh) 训练分类器以检测目标环境图像中的对象的方法和系统
JP4886645B2 (ja) 仮想顔モデル変形装置及び仮想顔モデル変形プログラム
JP6207210B2 (ja) 情報処理装置およびその方法
WO2007010893A1 (ja) 関節物体位置姿勢推定装置及びその方法ならびにプログラム
JPWO2020170299A1 (ja) 疲労判定装置、疲労判定方法、および疲労判定プログラム
Grady et al. Pressurevision: Estimating hand pressure from a single rgb image
Varona et al. Toward natural interaction through visual recognition of body gestures in real-time
CN112190921A (zh) 一种游戏交互方法及装置
KR20220054570A (ko) 다차원 반응형 영상 생성장치, 방법 및 프로그램, 및 다차원 반응형 영상 재생방법 및 프로그램
JP7408562B2 (ja) プログラム、情報処理装置、定量化方法及び情報処理システム
JP6709868B1 (ja) 解析方法、解析システム及び解析プログラム
Cretu et al. Neural network mapping and clustering of elastic behavior from tactile and range imaging for virtualized reality applications
JP5276454B2 (ja) 表情測定方法、表情測定プログラムならびに表情測定装置
Lucero et al. Empirical modeling of human face kinematics during speech using motion clustering
Boonbrahm et al. Transforming 2D human data into 3D model for augmented reality applications
Emrith et al. Real-time recovery of moving 3D faces for emerging applications
Xie et al. Data-driven motion estimation with low-cost sensors
JP2019046096A (ja) 情報処理装置及びその方法
Pan Skin Image Processing and Skin Characterizations

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application