KR102503872B1 - 정보 처리 장치, 정보 처리 방법 및 프로그램 - Google Patents

정보 처리 장치, 정보 처리 방법 및 프로그램 Download PDF

Info

Publication number
KR102503872B1
KR102503872B1 KR1020177011988A KR20177011988A KR102503872B1 KR 102503872 B1 KR102503872 B1 KR 102503872B1 KR 1020177011988 A KR1020177011988 A KR 1020177011988A KR 20177011988 A KR20177011988 A KR 20177011988A KR 102503872 B1 KR102503872 B1 KR 102503872B1
Authority
KR
South Korea
Prior art keywords
image
captured image
unit
skin
information processing
Prior art date
Application number
KR1020177011988A
Other languages
English (en)
Other versions
KR20170085494A (ko
Inventor
토루 이가미
유스케 나카무라
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20170085494A publication Critical patent/KR20170085494A/ko
Application granted granted Critical
Publication of KR102503872B1 publication Critical patent/KR102503872B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

비피부(非肌) 영역이 촬영되어 버린 경우에, 비피부 영역이 촬영되어 버린 것이 출력되는 것이 바람직하다.
적어도 촬영 화상이 비피부 영역에 대한 촬영에 의해 얻어진 비피부 영역 화상인지의 여부를 판별하는 판별부와, 상기 촬영 화상이 상기 비피부 영역 화상이라고 판별된 경우에, 소정의 제1의 출력을 행하는 출력부를 구비하는, 정보 처리 장치가 제공된다.

Description

정보 처리 장치, 정보 처리 방법 및 프로그램{INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM}
본 개시는, 정보 처리 장치, 정보 처리 방법 및 프로그램에 관한 것이다.
유저는 피부(肌)나 두발(髮) 등의 부위를 카메라에 의해 촬영하고 있을 때에, 피부 해석이나 전문가에 의한 진단에 부적당한 화상을 촬영하여 버리는 케이스가 있다. 이와 같은 케이스에 대응하기 위한 기술로서 다양한 기술이 개시되어 있다. 1번째의 기술로서, 동일 환부(患部)를 정기 촬영하기 위해, 같은 환부를 촬영 가능한 카메라의 위치 및 구도(構圖)를 특정하고, 이러한 카메라의 위치 및 구도를 유저에게 피드백하는 기술이 개시되어 있다(예를 들면, 특허 문헌 1 참조).
2번째의 기술로서, 유저가 손에 쥔 카메라에 의해 피부나 치아(齒) 등의 부위를 촬영하고 있을 때에 손떨림이 검출된 경우, 필요한 조치를 유저에게 촉구하기 위한 얼러트(alert) 표시를 출력하는 기술이 개시되어 있다(예를 들면, 특허 문헌 2 참조). 또한, 3번째의 기술로서, 스트리밍 촬영에 의해 버퍼링된 화상 중에서, 명료도의 관점에서 적절한 화상을 선택하는 기술이 있다(예를 들면, 특허 문헌 3 참조).
특허 문헌 1 : 일본 특개2012-254221호 공보 특허 문헌 2 : 일본 특개2008-118635호 공보 특허 문헌 3 : 일본 특개2010-88863호 공보
그렇지만, 비피부(非肌) 영역이 촬영되어 버린 경우에, 비피부 영역이 촬영되어 버린 것이 출력되는 것이 바람직하다.
본 개시에 의하면, 적어도 촬영 화상이 비피부 영역에 대한 촬영에 의해 얻어진 비피부 영역 화상인지의 여부를 판별하는 판별부와, 상기 촬영 화상이 상기 비피부 영역 화상이라고 판별된 경우에, 소정의 제1의 출력을 행하는 출력부를 구비하는, 정보 처리 장치가 제공된다.
본 개시에 의하면, 적어도 촬영 화상이 비피부 영역에 대한 촬영에 의해 얻어진 비피부 영역 화상인지의 여부를 판별하는 것과, 프로세서에 의해 상기 촬영 화상이 상기 비피부 영역 화상이라고 판별된 경우에, 소정의 제1의 출력을 행하는 것을 구비하는, 정보 처리 방법이 제공된다.
본 개시에 의하면, 컴퓨터를, 적어도 촬영 화상이 비피부 영역에 대한 촬영에 의해 얻어진 비피부 영역 화상인지의 여부를 판별하는 판별부와, 상기 촬영 화상이 상기 비피부 영역 화상이라고 판별된 경우에, 소정의 제1의 출력을 행하는 출력부를 구비하는 정보 처리 장치로서 기능시키기 위한 프로그램이 제공된다.
이상 설명한 바와 같이 본 개시에 의하면, 비피부 영역이 촬영되어 버린 경우에, 비피부 영역이 촬영되어 버린 것이 출력되는 것이 가능하다. 또한, 상기한 효과는 반드시 한정적인 것이 아니라, 상기한 효과와 함께, 또는 상기한 효과에 대신하여, 본 명세서에 나타나는 어느 하나의 효과, 또는 본 명세서로부터 파악할 수 있는 다른 효과가 이루어져도 좋다.
도 1은 본 개시의 실시 형태에 관한 피부 해석 시스템의 구성례를 도시하는 도면.
도 2는 카메라의 구성례를 도시하는 도면.
도 3은 조명부의 구성례를 도시하는 도면.
도 4는 서버의 기능 구성례를 도시하는 블록도.
도 5는 판별부의 기능 구성례를 도시하는 블록도.
도 6은 떨림·흐림 검출부의 기능 구성례를 도시하는 블록도.
도 7은 휘도 화상을 동일 사이즈의 6개의 블록으로 분할한 예를 도시한 도면.
도 8은 비피부 영역 촬영 검출부의 기능 구성례를 도시하는 블록도.
도 9는 위치 어긋남 검출부의 기능을 설명하기 위한 도면.
도 10은 연속해서 복수의 화상을 촬영하는 예를 설명하기 위한 도면.
도 11은 비밀착 검출부의 기능을 설명하기 위한 도면.
도 12는 자외선광 조사시에 촬영된 촬영 화상의 예를 도시하는 도면.
도 13은 동 실시 형태에 관한 정보 처리 장치의 하드웨어 구성례를 도시하는 도면.
이하에 첨부 도면을 참조하면서, 본 개시의 알맞은 실시의 형태에 관해 상세히 설명한다. 또한, 본 명세서 및 도면에서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 관해서는, 동일한 부호를 붙임에 의해 중복 설명을 생략한다.
또한, 본 명세서 및 도면에서, 실질적으로 동일한 기능 구성을 갖는 복수의 구성 요소를, 동일한 부호의 뒤에 다른 알파벳 또는 숫자를 붙여서 구별하는 경우도 있다. 단, 실질적으로 동일한 기능 구성을 갖는 복수의 구성 요소의 각각을 특히 구별할 필요가 없는 경우, 동일 부호만을 붙인다.
또한, 설명은 이하의 순서로 행하는 것으로 한다.
1. 실시 형태의 개요
2. 피부 해석 시스템의 기능 구성례
3. 정보 처리 장치의 하드웨어 구성례
4. 결론
<1. 실시 형태의 개요>
우선, 본 개시의 실시 형태의 개요에 관해 설명한다. 도 1은, 본 개시의 실시 형태에 관한 피부 해석 시스템의 구성례를 도시하는 도면이다. 도 1에 도시하는 바와 같이, 본 개시의 실시 형태에 관한 피부 해석 시스템(1)은, 서버(10)와, 정보 처리 단말(20)과, 카메라(30)를 구비한다. 정보 처리 단말(20)은, PC(Personal Computer), 스마트 폰, 휴대 전화기, 태블릿 PC, PDA(Personal Digital Assistant), HMD 등이라도 좋다. 또한, 도 1에 도시하는 바와 같이, 서버(10)와 정보 처리 단말(20)과 카메라(30)는, 중계 장치(40)를 통하여 상호 통신 가능하여도 좋다. 예를 들면, 중계 장치(40)는, Wi-fi(등록상표) 루터 등이라도 좋다.
여기서, 카메라(30)의 구성례에 관해 간단히 설명한다. 도 2는, 카메라(30)의 구성례를 도시하는 도면이다. 도 2에 도시하는 바와 같이, 카메라(30)는, 조명부(31)와, 통부(筒部)(32)와, 몸체(筐體)(33)와, 렌즈(34)와, 이미지 센서(35)를 구비한다. 렌즈(34) 및 이미지 센서(35)는, 몸체(33)의 내부에 마련되어 있다. 또한, 조명부(31)는, 통부(32)의 내부에 마련되어 있다.
도 2에 도시한 예에서, 조명부(31)로부터 조사된 광은, 피부 표면(Fa)에 도달한다. 또한, 피부 표면(Fa)에 의해 반사된 광은, 렌즈(34)를 통과하여 이미지 센서(35)에 도달한다. 이 때, 통부(32)가 피부 표면(Fa)에 밀착되어 있으면, 조명부(31)로부터 조사된 광이 카메라(30)의 외측으로 새어 버릴 가능성을 저감하는 것이 가능하고, 카메라(30)의 내측으로 들어 오는 광이 이미지 센서(35)에 도달하여 버릴 가능성도 저감하는 것이 가능하다.
이미지 센서(35)에 의해 촬영된 촬영 화상(정지화)은, 서버(10)에 송신되고, 서버(10)에 의해 촬영 화상에 대한 피부 해석 처리가 이루어질 수 있다. 또한, 피부 해석 처리에 의해 얻어진 피부 해석 결과는, 정보 처리 단말(20)에 송신되고, 정보 처리 단말(20)에 의해 피부 해석 결과가 유저에게 피드백될 수 있다. 또한, 본 개시의 실시 형태에서는, 피부 해석 처리가 서버(10)에 의해 이루어지는 예를 주로 설명하지만, 피부 해석 처리는, 후에 설명하는 바와 같이, 정보 처리 단말(20)에 의해 이루어져도 좋다.
계속해서, 조명부(31)의 구성례에 관해 설명한다. 도 3은, 조명부(31)의 구성례를 도시하는 도면이다. 예를 들면, 조명부(31)는, 복수의 조명 광원을 가져도 좋다. 도 3에 도시한 예에서는, 조명부(31)는, 복수의 조명 광원으로서, LED1, LED2, LEDi, …, LEDN를 갖고 있지만, 조명 광원의 종류는, LED(Organic Light Emitting Diode)로 한정되지 않는다. 이와 같이 조명부(31)가 복수의 조명 광원을 갖는 경우에는, 복수의 조명 광원 각각에 의해 다른 촬영 조건(예를 들면, 파장, 노광 시간 등)의 광을 조사 가능하다.
본 개시의 실시 형태에서는, 유저가 카메라(30)에 의해 피부 영역을 촬영하려고 하고 있는 장면을 상정한다. 이러한 장면에서, 피부 해석 시스템(1)은, 카메라(30)에 의해 촬영된 촬영 화상이 피부 해석 처리에 부적절한 경우(또는 촬영 상황이 부적절한 경우), 그 취지를 출력한다. 이러한 구성에 의하면, 카메라(30)에 의해 촬영된 촬영 화상이 피부 해석 처리에 부적절한 경우(또는 촬영 상황이 부적절한 경우)에, 그 취지가 출력되게 된다.
이상, 본 개시의 실시 형태의 개요에 관해 설명하였다.
<2. 피부 해석 시스템의 기능 구성례>
계속해서, 서버(정보 처리 장치)(10)의 기능 구성례에 관해 설명한다. 도 4는, 서버(10)의 기능 구성례를 도시하는 블록도이다. 도 4에 도시하는 바와 같이, 서버(10)는, 데이터 클렌징 처리부(100)를 구비한다. 데이터 클렌징 처리부(100)는, 판별부(105)와, 출력부(160)를 구비한다. 판별부(105)는, 카메라(30)로부터 입력된 촬영 화상에 의거하여, 카메라(30)로부터 입력된 촬영 화상이 피부 해석 처리에 부적절한지의 여부(또는 촬영 상황이 부적절한지의 여부)를 판별한다. 또한, 출력부(160)는, 피드백부(170)와, 메타데이터 부여부(180)를 구비한다. 이들의 출력부(160)의 상세에 관해서는 후에 설명한다.
또한, 본 명세서에서는, 서버(10)가 데이터 클렌징 처리부(100)의 전부를 갖고 있는 예를 설명하지만, 데이터 클렌징 처리부(100)의 일부 또는 전부는, 다른 장치(예를 들면, 정보 처리 단말(20), 전용의 장치 등)에 구비되어 있어도 좋다. 또한, 본 명세서에서는, 정보 처리 단말(20)이 유저 인터페이스부(50)를 갖고 있는 예를 설명하지만, 유저 인터페이스부(50)는, 다른 장치(예를 들면, 전용의 단말 등)에 구비되어 있어도 좋다. 또한, 본 명세서에서는, 서버(10)가 피부 해석 처리부(60)를 갖고 있는 예를 설명하지만, 피부 해석 처리부(60)는, 다른 장치(예를 들면, 정보 처리 단말(20), 전용의 장치 등)에 구비되어 있어도 좋다.
계속해서, 판별부(105)의 기능 구성례에 관해 설명한다. 도 5는, 판별부(105)의 기능 구성례를 도시하는 블록도이다. 도 5에 도시하는 바와 같이, 판별부(105)는, 떨림·흐림 검출부(110)와, 비피부 영역 촬영 검출부(120)와, 위치 어긋남 검출부(130)와, 비밀착 검출부(140)와, 검출 결과 정형부(150)를 구비한다. 또한, 본 명세서에서는, 판별부(105)가 이들의 블록의 전부를 구비하는 예를 설명하지만, 판별부(105)가 이들의 블록의 일부를 갖지 않아도 좋다.
예를 들면, 판별부(105)는, 떨림·흐림 검출부(110), 비피부 영역 촬영 검출부(120), 위치 어긋남 검출부(130) 및 비밀착 검출부(140) 중, 어느 하나를 갖고 있어도 좋다. 또는, 판별부(105)는, 이들의 블록 중, 어느 2개 또는 3개의 조합을 갖고 있어도 좋다. 계속해서, 떨림·흐림 검출부(110), 비피부 영역 촬영 검출부(120), 위치 어긋남 검출부(130) 및 비밀착 검출부(140) 각각이 갖는 기능에 관해 순차적으로 설명한다.
도 6은, 떨림·흐림 검출부(110)의 기능 구성례를 도시하는 블록도이다. 여기서, 유저가 손에 쥔 카메라(30)에 의해 피부를 촬영하고 있을 때에는, 손떨림이 발생하는 경우가 있다. 또한, 카메라(30)의 피부에의 꽉누름이 부족하여 있는 경우 또는 과잉한 경우에는, 초점 흐림이 발생하는 경우가 있다. 떨림·흐림 검출부(110)에 의하면, 촬영 화상에 떨림 또는 흐림이 생기고 있는지의 여부가 판별될 수 있다. 도 6에 도시하는 바와 같이, 떨림·흐림 검출부(110)는, 특징량 추출부(111)와, 분류기(112)와, 사전 데이터 기억부(113)를 갖는다. 떨림·흐림 검출부(110)는, 제1 특징량 추출부(111a), 제2 특징량 추출부(111b) 및 제3 특징량 추출부(111c)를 갖는다.
여기서, 제1 특징량 추출부(111a)는, 촬영 화상의 전체에서의 흐림이나 떨림을 검출하기 위한 제1 특징량을 추출한다. 보다 구체적으로는, 제1 특징량 추출부(111a)는, 백색광 조사시에 있어서의 촬영 화상을 휘도(輝度) 화상으로 변환한다. 그리고, 제1 특징량 추출부(111a)는, 휘도 화상의 파워 스펙트럼을 산출한다. 계속해서, 제1 특징량 추출부(111a)는, 그 파워 스펙트럼의 각 방향에의 진폭을 주파수 대역마다 적산(積算)한다. 계속해서, 제1 특징량 추출부(111a)는, 주파수 대역마다의 적산 결과를 각각 요소로 하는 특징 벡터를 제1 특징량으로서 생성한다.
또한, 카메라(30)의 편측(片側)만이 들떠올라 피부에 밀착하지 않는 등이 원인이 되고, 촬영 화상의 1영역만에 초점 흐림이 발생하는 일이 있다. 제2 특징량 추출부(111b)는, 이와 같은 초점 흐림을 검출하기 위한 제2 특징량을 추출한다. 보다 구체적으로는, 제2 특징량 추출부(111b)는, 백색광 조사시에 있어서의 촬영 화상을 휘도 화상으로 변환한다. 그리고, 제2 특징량 추출부(111b)는, 휘도 화상을 동일 사이즈의 6개의 블록으로 분할한다. 도 7은, 휘도 화상을 동일 사이즈의 6개의 블록으로 분할한 예를 도시한 도면이다.
또한, 피부에 밀착시켜서 촬영하는 카메라(30)가 사용되는 경우, 1영역만의 초점 흐림은 촬영 화상의 4구석(隅)에 발생하기 쉽다는 특징이 있다. 이 특징을 이용하여, 제2 특징량 추출부(111b)는, 휘도 화상을 동일 사이즈의 4구석의 블록으로 분할하여도 좋다. 또는, 제2 특징량 추출부(111b)는, 이와 같은 4구석의 블록을 포함하는 동일 사이즈의 복수의 블록으로 휘도 화상을 분할하여도 좋다.
그리고, 제2 특징량 추출부(111b)는, 휘도 화상의 파워 스펙트럼을 산출한다. 계속해서, 제2 특징량 추출부(111b)는, 그 파워 스펙트럼의 각 방향에의 진폭을 주파수 대역마다 적산하는 처리를 각 블록에 관해 행한다. 이에 의해, 각 주파수 대역의 적산 결과를 요소로 하는 특징 벡터가 블록의 수만큼 얻어진다. 계속해서, 제2 특징량 추출부(111b)는, 각 블록 사이에서의 특징 벡터의 동일 차원 요소의 분산치(分散値)를 새로운 요소로 하는 특징 벡터를 제2 특징량으로서 생성한다.
또한, 제3 특징량 추출부(111c)는, 상기한 바와 같은 제2 특징량의 추출과 같은 목적에 의해, 초점 흐림을 검출하기 위한 제3 특징량을 추출한다. 보다 구체적으로는, 제3 특징량 추출부(111c)는, 백색광 조사시에 있어서의 촬영 화상을 휘도 화상으로 변환한다. 그리고, 제3 특징량 추출부(111c)는, 휘도 화상을 동일 사이즈의 6개의 블록으로 분할한다(도 7 참조).
또한, 상기한 바와 같은 제2 특징량의 추출시와 마찬가지로, 제3 특징량 추출부(111c)는, 휘도 화상을 동일 사이즈의 4구석의 블록으로 분할하여도 좋다. 또는, 제3 특징량 추출부(111c)는, 이와 같은 4구석의 블록을 포함하는 동일 사이즈의 복수의 블록으로 휘도 화상을 분할하여도 좋다. 그리고, 제3 특징량 추출부(111c)는, 블록마다의 휘도 평균치를 산출한다. 계속해서, 제3 특징량 추출부(111c)는, 블록 사이에서의 휘도 평균치의 차분(差分)을 요소로 하는 특징 벡터를 제3 특징량으로서 생성한다.
분류기(112)는, 백색광 조사시에 있어서의 촬영 화상에 흐림 또는 떨림이 생기고 있는지의 여부를 판별함에 의해 판별 결과를 얻는다. 보다 상세하게는, 분류기(112)는, 촬영 화상에 생기고 있는 흐림 정도 또는 떨림 정도를 나타내는 평가치(이하, 「적합도」라고도 한다.)를 산출하고, 평가치가 소정의 범위 내인지의 여부에 의해, 촬영 화상에 흐림 또는 떨림이 생기고 있는지의 여부를 판별하면 좋다.
평가치의 산출의 수법은 특히 한정되지 않는다. 예를 들면, 떨림 또는 흐림이 생기고 있는 화상군으로부터 추출되는 제1∼제3 특징량에 의거하여 학습 기능에 의해 얻어진 사전 데이터를 미리 사전 데이터 기억부(113)에 등록하여 두는 경우를 상정한다. 이러한 경우, 사전 데이터 기억부(113)에 의해 기억되어 있는 사전 데이터에 의거하여 판별 함수를 구축하여 두고, 분류기(112)는, 이 판별 함수에 특징량 추출부(111)에 의해 추출된 제1∼제3 특징량을 입력함에 의해 평가치를 얻으면 좋다.
또한, 도 6에 도시한 예에서는, 사전 데이터의 작성에 사용되는 특징량 및 촬영 화상으로부터 추출되는 특징량으로서, 제1∼제3 특징량을 추출하는 예를 주로 설명하였다. 그러나, 제1∼제3 특징량이 전부 사용되지 않아도 좋다. 예를 들면, 제1∼제3 특징량 중, 어느 하나가 사용되어도 좋다. 또는, 제1∼제3 특징량 중, 어느 2개의 조합이 사용되어도 좋고, 여기에 설명한 제1∼제3 특징량 이외의 특징량이 사용되어도 좋다.
예를 들면, 상기에서 제1 및 제2 특징량으로서, 휘도 화상의 파워 스펙트럼의 주파수 대역마다의 진폭을 이용하는 것으로 하였다. 그러나, 화상의 주파수에 관한 어느 하나의 정보(화상의 주파수 공간에서의 양상이 기술된 특징량)가 특징량으로서 사용되어도 좋다. 예를 들면, 카메라(30)의 내부에서의 ISP(Image Signal Processor)에 의해 화상이 JPEG(Joint Photographic Experts Group) 형식으로 인코드될 때의 DCT(discrete cosine transform) 계수가 특징량으로서 사용되어도 좋다.
도 8은, 비피부 영역 촬영 검출부(120)의 기능 구성례를 도시하는 블록도이다. 여기서, 유저가 카메라(30)에 의해 피부 영역을 촬영하려고 하고 있어도, 비피부 영역이 촬영되어 버리는 케이스가 있다. 예를 들면, 비피부 영역이 촬영되어 버리는 케이스로서, 피부 영역 대신에, 공중이나 카메라 크레이들, 의복, 책상 등이라는 피부 영역 이외가 촬영 범위에 찍혀져 버리는 케이스가 있다. 또한, 비피부 영역이 촬영되어 버리는 다른 케이스로서, 촬영 범위에 찍혀진 피부 영역이 머리털이나 패치 등의 이물에 의해 숨겨져 버리는 케이스 등이 있다.
비피부 영역 촬영 검출부(120)에 의하면, 촬영 화상이 비피부 영역에 대한 촬영에 의해 얻어진 비피부 영역 화상인지의 여부가 판별될 수 있다. 비피부 영역은, 유저의 피부 영역 이외의 영역에 상당할 수 있다. 도 8에 도시하는 바와 같이, 비피부 영역 촬영 검출부(120)는, 특징량 추출부(121)와, 분류기(122)와, 사전 데이터 기억부(123)를 갖는다. 비피부 영역 촬영 검출부(120)는, 제1 특징량 추출부(121a), 제2 특징량 추출부(121b) 및 제3 특징량 추출부(121c)를 갖는다.
여기서, 제1 특징량 추출부(121a)는, 제1 특징량을 추출한다. 보다 구체적으로는, 제1 특징량 추출부(121a)는, 백색광 조사시에 있어서의 촬영 화상을 HSV 색공간(Hue, Saturation 및 Value의 조합에 의해 색을 지정하는 색공간)으로 변환한다. 그리고, 제1 특징량 추출부(121a)는, 색상 및 채도 각각에서의 평균치 및 분산치와 색상-채도 공간에서의 공분산(共分散)을 제1 특징량으로서 생성한다.
또한, 제2 특징량 추출부(121b)는, 제2 특징량을 추출한다. 보다 구체적으로는, 제2 특징량 추출부(121b)는, 백색광 조사시에 있어서의 촬영 화상을 HSV 색공간으로 변환한다. 그리고, 제1 특징량 추출부(121a)는, HSV 색공간에 의거하여, 색상[0,360]-채도[0,1] 공간에서의 출현 빈도에 관한 맵을 제2 특징량으로서 생성한다. 제1 특징량 추출부(121a)에 의해 생성되는 맵은, 예를 들면, 색상 및 채도 각각이 1유닛 이라도 좋다.
또한, 제3 특징량 추출부(121c)는, 제3 특징량을 추출한다. 보다 구체적으로는, 제3 특징량 추출부(121c)는, 백색광 조사시에 있어서의 촬영 화상을 HSV 색공간으로 변환한다. 그리고, 제3 특징량 추출부(121c)는, 색상[0,360]에 관한 히스토그램을 제3 특징량으로서 생성한다.
분류기(122)는, 백색광 조사시에 있어서의 촬영 화상이 비피부 영역 화상인지의 여부를 판별함에 의해 판별 결과를 얻는다. 보다 상세하게는, 분류기(112)는, 촬영 화상의 비피부 영역 화상다움을 나타내는 평가치를 산출하고, 평가치가 소정의 범위 내인지의 여부에 의해, 촬영 화상이 비피부 영역 화상인지의 여부를 판별하면 좋다.
평가치의 산출의 수법은 특히 한정되지 않는다. 예를 들면, 비피부 영역 화상군으로부터 추출되는 제1∼제3 특징량에 의거하여 학습 기능에 의해 얻어진 사전 데이터를 미리 사전 데이터 기억부(123)에 등록하여 두는 경우를 상정한다. 이러한 경우, 사전 데이터 기억부(123)에 의해 기억되어 있는 사전 데이터에 의거하여 판별 함수를 구축하여 두고, 분류기(122)는, 이 판별 함수에 특징량 추출부(121)에 의해 추출된 제1∼제3 특징량을 입력함에 의해 평가치를 얻으면 좋다.
또한, 도 8에 도시한 예에서는, 사전 데이터의 작성에 사용되는 특징량 및 촬영 화상으로부터 추출되는 특징량으로서, 제1∼제3 특징량을 추출하는 예를 주로 설명하였다. 그러나, 제1∼제3 특징량이 전부 사용되지 않아도 좋다. 예를 들면, 제1∼제3 특징량 중, 어느 하나가 사용되어도 좋다. 또는, 제1∼제3 특징량 중, 어느 2개의 조합이 사용되어도 좋고, 여기에 설명한 제1∼제3 특징량 이외의 특징량이 사용되어도 좋다.
예를 들면, 상기에서는, 특징량으로서 백색광 조사시에 있어서의 촬영 화상의 색상의 평균치나 분산치 등을 사용하는 것으로 하였다. 그러나, 색상에 관한 어느 하나의 정보가 특징량으로서 사용되어도 좋다.
또한, 분류기(122)는, 다른 파장의 광이 조사된 때에 촬영된 2개의 촬영 화상끼리의 대응하는 화소치의 차분이 임계치를 초과하는 영역이 소정의 비율보다도 많이 존재하는 경우에, 촬영 화상이 비피부 영역 화상이라고 판별하여도 좋다. 예를 들면, 파장이 다른 광으로서는, 적색광 및 백색광이 사용되어도 좋다. 이러한 경우, 2개의 촬영 화상끼리의 대응하는 화소치의 차분이 임계치를 초과하는 영역은, 털(毛)이 존재하는 영역으로 간주하는 것이 가능하고, 당해 영역이 소정의 비율보다도 많이 존재하는 상태는, 털이 존재하는 영역이 소정의 비율보다도 많은 상태라고 간주하는 것이 가능하다.
도 9는, 위치 어긋남 검출부(130)의 기능을 설명하기 위한 도면이다. 여기서, 카메라(30)는, 분광 조건이나 노광 시간 등이라는 촬영 조건을 변경하면서, 연속해서 복수의 화상을 촬영하는 것을 상정하고 있다. 도 10은, 연속해서 복수의 화상을 촬영하는 예를 설명하기 위한 도면이다. 이 때, 촬영 시간이 늘어날수록 유저의 손떨림에 의한 위치 어긋남이 발생하기 쉽게 된다. 또한, 촬영 시간이 늘어날수록 촬영이 종료되었다고 착각한 유저가, 촬영 도중에 촬영 부위로부터 카메라(30)를 떼어 버릴 가능성도 높아진다.
위치 어긋남 검출부(130)에 의하면, 연속 촬영시에 촬영 개소의 위치 어긋남이 생겼는지의 여부가 판별될 수 있다. 도 9에 도시하는 바와 같이, 위치 어긋남 검출부(130)는, 화상의 차분 추출(131a)과, 임계치에 의한 판별(131b)을 기능으로서 갖는다. 우선, 특징량 추출부(131)는, 카메라(30)에 의해 연속 촬영되는 복수의 화상(이하, 「위치 어긋남 검출 대상 구간」이라고도 한다.)의 전후에 촬영된 2개의 화상을 휘도 화상으로 변환한다. 그리고, 특징량 추출부(131)는, 각 휘도 화상의 거리 또는 유사도를 산출한다.
계속해서, 분류기(132)는, 각 휘도 화상의 거리 또는 유사도에 의거하여 위치 어긋남이 생겼는지의 여부를 판별한다. 구체적으로는, 분류기(132)는, 각 휘도 화상의 거리가 미리 사전 데이터로서 사전 데이터 기억부(133)에 의해 기억된 임계치를 상회하는 경우에는(각 휘도 화상의 유사도가 임계치를 하회하는 경우에는), 위치 어긋남이 생겼다고 판별한다. 한편, 분류기(132)는, 각 휘도 화상의 거리가 임계치를 하회하는 경우에는(각 휘도 화상의 유사도가 임계치를 상회하는 경우에는), 위치 어긋남이 생기지 않았다고 판별한다.
거리로부터 임계치를 뺀 값(임계치로부터 유사도를 뺀 값)은, 적합도(위치 어긋남 정도)로서 출력되어도 좋다. 또한, 각 휘도 화상의 거리는, 2개의 휘도 화상에서의 대응하는 화소끼리의 제곱 오차 합이라도 좋고, 2개의 휘도 화상 각각으로부터 생성되는 휘도 히스토그램 사이의 거리라도 좋다.
여기서, 위치 어긋남 검출 대상 구간의 전후에 촬영된 2개의 화상은, 동일한 촬영 조건에서 촬영된 화상이라도 좋다. 도 10에는, 위치 어긋남 검출 대상 구간의 전후에 촬영된 2개의 화상이 모두 백색 무편광 조사시에 촬영된 화상인 예가 도시되어 있다. 그러나, 위치 어긋남 검출 대상 구간의 전후에 촬영된 2개의 화상은, 다른 촬영 조건(조명광의 파장 등)에서 촬영된 화상이라도 좋다. 이러한 경우에는, 위치 어긋남 검출용으로 화상을 추가 촬영하지 않고서 끝나기 때문에, 보다 간이하게 위치 어긋남이 검출 가능해진다.
예를 들면, 백색광 조사시에 촬영된 화상의 G요소만을 발출한 화상과, 녹색광 조사시에 촬영된 화상의 G요소만을 발출한 화상이, 위치 어긋남 검출 대상 구간의 전후에 촬영된 2개의 화상으로서 사용되어도 좋다. 이러한 수법에 의하면, 분류기(132)는, 상기한 바와 마찬가지의 순서에 의해, 위치 어긋남을 검출하는 것이 가능해진다.
또한, 특징량 추출부(131)는, 다른 촬영 조건에서 촬영된 2개의 화상 쌍방에 초점 흐림이 없다면, 이들 2개의 화상을 국소 특징량에 의해 기술하고, 국소 특징량끼리의 거리 또는 유사도를 산출하면 좋다. 그리고, 분류기(132)는, 국소 특징량끼리의 거리가 임계치를 상회하는 경우에는(국소 특징량끼리의 유사도가 임계치를 하회하는 경우에는), 위치 어긋남이 생겼다고 판별하면 좋다. 한편, 분류기(132)는, 국소 특징량끼리의 거리가 임계치를 하회하는 경우에는(국소 특징량끼리의 유사도가 임계치를 상회하는 경우에는), 위치 어긋남이 생기지 않았다고 판별하면 좋다.
또한, 국소 특징량으로서는, HOG(Histogram of Oriented Gradients)나 SIFT(Scale Invariant Feature Transform) 등이 사용될 수 있다.
또한, 분류기(132)는, 화상 이외의 데이터를 사용하여, 연속 촬영시에 촬영 개소의 위치 어긋남이 생겼는지의 여부를 판별하여도 좋다. 예를 들면, 분류기(132)는, 소정의 센서 데이터의 변화가 임계치를 초과하는지의 여부에 의해 위치 어긋남이 생겼는지의 여부를 판별하여도 좋다. 예를 들면, 센서 데이터의 변화는, 센서 데이터의 단위 시간당의 변화량이라도 좋다.
예를 들면, 카메라(30) 중 피부 표면(Fa)에 접촉하는 면에 접촉 센서가 마련되어 있는 경우, 분류기(132)는, 접촉 센서로부터 얻어지는 센서 데이터의 변화가 임계치를 초과하지 않는 경우에는, 촬영 중에 카메라(30)의 위치가 안정되어 있고 위치 어긋남이 생기지 않았다고 판별하는 것이 가능하다. 한편, 분류기(132)는, 접촉 센서로부터 얻어지는 센서 데이터의 변화가 임계치를 초과한 경우에는, 촬영 중에 카메라(30)의 위치가 불안정하게 되어 위치 어긋남이 생기고 있다고 판별하는 것이 가능하다.
도 11은, 비밀착 검출부(140)의 기능을 설명하기 위한 도면이다. 여기서, 카메라(30)의 선단이 피부 표면(Fa)에 밀착되지 않은 상태라면, 카메라(30)의 내부에 외부광이 들어온 상태에서 촬영이 이루어져 버린다. 비밀착 검출부(140)에 의하면, 피부 표면(Fa)에 카메라(30)의 선단이 밀착되지 않은 상태에서 촬영 화상이 촬영되었는지의 여부가 판별될 수 있다. 도 11에 도시하는 바와 같이, 비밀착 검출부(140)는, 명도의 차분 산출(141a)과, 임계치에 의한 판별(141b)을 기능으로서 갖는다.
우선, 특징량 추출부(141)는, 자외선광 조사시 또는 적외선광 조사시에 있어서의 촬영 화상을 HSV 색공간으로 변환한다. 그리고, 특징량 추출부(141)는, 이 촬영 화상의 전체의 명도 히스토그램(ha)을 생성한다. 명도의 치역(値域)은, [0,100]이면 좋다. 또한, 명도 히스토그램의 Bin 폭은 한정되지 않지만, 예를 들면, 명도 히스토그램의 Bin 폭은 「1」이면 좋다.
한편, 카메라(30)의 선단이 피부에 밀착된 상태에서 촬영된 밀착 화상군에 의거하여 생성된 명도 히스토그램(hb)이 미리 사전 데이터 기억부(143)에 등록되어 있다. 마찬가지로, 카메라(30)의 선단이 피부에 밀착되지 않은 상태에서 촬영된 비밀착 화상군에 의거하여 생성된 명도 히스토그램(hc)이 미리 사전 데이터 기억부(143)에 등록되어 있다. 그래서, 특징량 추출부(141)는, 명도 히스토그램(hb 및 hc)과 명도 히스토그램(ha)과의 거리(d1 및 d2)를, 이하의 식(1) 및 (2)에 의해 산출한다.
d1=dist(ha, hb) …(1)
d2=dist(ha, hc) …(2)
단, dist(x, y)는, x, y에 대한 적당한 거리 함수를 나타내고 있다. 계속해서, 분류기(142)는, 명도 히스토그램(ha)에 의거하여 카메라(30)의 선단이 피부에 밀착된 상태에서 촬영 화상이 촬영되었는지의 여부를 판별한다. 보다 구체적으로는, 분류기(142)는, 명도 히스토그램(ha)과 명도 히스토그램(hc 및 hb) 각각과의 거리의 차분에 의거하여, 카메라(30)의 선단이 피부에 밀착된 상태에서 촬영 화상이 촬영되었는지의 여부를 판별한다. 보다 구체적으로는, 분류기(142)는, 스코어(s)를 이하의 식(3)에 의해 산출한다.
s=d1-d2 …(3)
그리고, 분류기(142)는, 스코어(s)가 임계치보다도 작은 경우에는, 피부 표면(Fa)에 카메라(30)의 선단이 밀착되지 않은 상태에서 촬영 화상이 촬영되었다고 판별할 수 있다. 한편, 분류기(142)는, 스코어(s)가 임계치 이상인 경우에는, 피부 표면(Fa)에 카메라(30)의 선단이 밀착된 상태에서 촬영 화상이 촬영되었다고 판별할 수 있다. 임계치로부터 스코어(s)를 뺀 값은, 적합도(비밀착 정도)로서 출력되어도 좋다.
또한, 일반적인 실내 조명에는, 400㎚부터 900㎚의 파장의 광과 비교하면, 400㎚ 이하의 파장의 광(자외선광)이나 900㎚ 이상의 파장의 광이 포함되는 양은 적다. 이와 같은 경향에 입각하고, 상기한 바와 같이, 촬영 화상으로서 자외선광 조사시 또는 적외선광 조사시에 있어서의 촬영 화상을 사용함으로써, 피부 표면(Fa)에의 카메라(30)의 밀착시와 비밀착시와의 상위(相違)가 보다 현저하게 된다. 도 12는, 자외선광 조사시에 촬영된 촬영 화상의 예를 도시하는 도면이다.
도 12에 도시하는 바와 같이, 자외선광 조사시에 카메라(30)의 선단이 피부 표면(Fa)에 밀착된 상태에서 촬영된 촬영 화상은, 명도가 전체적으로 개략 균일하게 되어 있는 것이 파악된다. 한편, 자외선광 조사시에 카메라(30)의 선단이 피부 표면(Fa)에 밀착되지 않은 상태에서 촬영된 촬영 화상은, 명도에 편차가 있는 것이 파악된다.
또한, 도 12에는, 자외선광 조사시에 촬영된 촬영 화상의 예를 나타냈지만, 파장 650㎚의 광을 조사하는 적색 LED나 파장 450㎚의 광을 조사하는 청색 LED가, 자외선광을 조사하는 LED 대신에 사용되어도 좋다. 이러한 경우라도, 상기한 수법과 같은 수법에 의해, 피부 표면(Fa)에 카메라(30)의 선단이 밀착되지 않은 상태에서 촬영 화상이 촬영되었는지의 여부가 판별될 수 있다.
도 4 및 도 5로 되돌아와 설명을 계속한다. 출력부(160)는, 촬영 화상이 피부 해석 처리에 부적절하다(또는 촬영 상황이 부적절하다)라고 판별된 경우에, 소정의 출력을 행한다. 예를 들면, 출력부(160)는, 비피부 영역 촬영 검출부(120)에 의해 촬영 화상이 비피부 영역 화상이라고 판별된 경우에, 소정의 제1의 출력을 행하여도 좋다. 또한, 출력부(160)는, 위치 어긋남 검출부(130)에 의해 위치 어긋남이 생겼다고 판별된 경우에, 소정의 제2의 출력을 행하여도 좋다.
또한, 출력부(160)는, 피부 표면(Fa)에 카메라(30)가 밀착되지 않은 상태에서 촬영 화상이 촬영되었다고 판별된 경우에, 소정의 제3의 출력을 행하여도 좋다. 또한, 출력부(160)는, 떨림·흐림 검출부(110)에 의해 촬영 화상에 흐림 또는 떨림이 생기고 있다고 판별된 경우에, 소정의 제4의 출력을 행하여도 좋다. 이들의 출력은 어떻게 이루어져도 좋다. 예를 들면, 피드백부(170)는, 출력의 예로서, 유저 인터페이스부(50)에 유저에게의 소정의 피드백을 행하여도 좋다. 소정의 피드백도 특히 한정되지 않는다.
예를 들면, 소정의 피드백은, 정보 처리 단말(20)로의 얼러트 표시라도 좋고, 카메라(30)의 표시용 LED를 점등이라도 좋고, 카메라(30)의 바이브레이터 기능의 기동이라도 좋고, 카메라(30) 또는 정보 처리 단말(20)에 마련된 스피커로부터의 얼러트음(音) 출력이라도 좋다. 또한, 상기한 제1∼제4의 출력은, 동일하여도 좋고 달라도 좋다. 제1∼제4의 출력을 다르게 하면, 촬영 화상이 피부 해석 처리에 부적절한 이유(이하, 단지 「이유」라고도 한다.)에 응하여 다른 출력이 되도록 되기 때문에, 유저는 이유를 파악하는 것이 가능해진다.
예를 들면, 피드백부(170)는, 이유에 대응시켜진 발색(發色)을 카메라(30)의 표시용 LED에 실행시켜도 좋고, 이유에 대응시켜진 점멸 패턴을 카메라(30)의 표시용 LED에 실행시켜도 좋다. 또한, 피드백부(170)는, 이유에 대응하는 얼러트 표시를 정보 처리 단말(20)에 표시시켜도 좋다. 예를 들면, 피드백부(170)는, 적합도가 클수록, 표시되는 얼러트의 정보량을 크게 하여도 좋다.
또한, 피드백부(170)는, 적합도에 응한 피드백을 행하여도 좋다. 그러면, 유저는 촬영 화상의 적합도를 파악하는 것이 가능하다. 예를 들면, 피드백부(170)는, 적합도에 대응하는 얼러트 표시를 정보 처리 단말(20)에 표시시켜도 좋고, 적합도에 의거하여 정보 처리 단말(20)에의 얼러트의 표시 및 비표시를 제어하여도 좋다. 예를 들면, 피드백부(170)는, 적합도가 임계치보다도 큰 경우에는, 얼러트 표시를 행하게 하고, 적합도가 임계치보다도 작은 경우에는, 얼러트를 비표시로 하게 하여도 좋다.
또한, 검출 결과 정형부(150)는, 떨림·흐림 검출부(110), 비피부 영역 촬영 검출부(120), 위치 어긋남 검출부(130) 및 비밀착 검출부(140) 각각으로부터 출력된 판별 결과를 그대로 출력부(160)에 출력하여도 좋고, 정형(整形)하고 나서 출력부(160)에 출력하여도 좋다. 예를 들면, 검출 결과 정형부(150)는, 복수의 이유로 촬영 화상이 피부 해석 처리에 부적절하다고 판별된 경우에, 제1∼제4의 출력과는 다른 출력을 하여도 좋다.
보다 구체적으로는, 떨림·흐림 검출부(110)에 의해 촬영 화상에 흐림 또는 떨림이 생기고 있다고 판별된 경우, 또한, 비밀착 검출부(140)에 의해 피부 표면(Fa)에 카메라(30)의 선단이 밀착되지 않은 상태에서 촬영 화상이 촬영되었다고 판별된 경우가 상정된다. 이러한 경우에는, 카메라(30)가 피부 표면(Fa)으로부터 떨어져 있는 것이 생각되기 때문에, 피드백부(170)는, 카메라(30)가 피부 표면(Fa)으로부터 떨어져 있는 취지를 출력하여도 좋다.
또한, 떨림·흐림 검출부(110)에 의해 촬영 화상에 흐림 또는 떨림이 생기고 있다고 판별되었지만, 비밀착 검출부(140)에 의해 피부 표면(Fa)에 카메라(30)의 선단이 밀착되어 있는 상태에서 촬영 화상이 촬영되었다고 판별된 경우가 상정된다. 이러한 경우에는, 카메라(30)가 피부 표면(Fa)에 과잉하게 꽉 눌려 있는 것이 생각되기 때문에, 피드백부(170)는, 카메라(30)가 피부 표면(Fa)에 과잉하게 꽉 눌려 있는 취지를 출력하여도 좋다.
또한, 피드백부(170)는, 유저 조작 이력에 응한 피드백을 행하여도 좋다. 예를 들면, 피드백부(170)는, 유저가 실시한 재촬영 회수에 응하여, 얼러트 표시를 행한다고 판단하기 위한 임계치(범위)의 엄격함을 변동시켜도 좋다. 보다 구체적으로는, 유저가 실시한 재촬영 회수가 상한치를 초과하는 경우에는, 얼러트 표시를 행한다고 판단하기 위한 적합도의 범위를 좁게 하면 좋다. 이에 의해, 유저에게 주는 번거로움이 억제될 수 있다.
또는, 피드백부(170)는, 얼러트 표시를 과거에 거부한 이력이 있는 유저에게는 얼러트를 내지 않아도 좋다. 이에 의해, 유저에게 주는 번거로움이 억제될 수 있다.
또한, 피드백부(170)는, 판별부(105)에 의해 촬영 화상이 피부 해석 처리에 적절하다(또는 촬영 상황이 적절하다)고 판별되었지만, 유저에 의해 촬영 화상이 피부 해석 처리에 부적절하다(또는 촬영 상황이 부적절하다)는 취지가 입력된 경우, 얼러트 표시를 행한다고 판단하기 위한 적합도의 범위를 넓게 하여 좋다.
한편, 피드백부(170)는, 판별부(105)에 의해 촬영 화상이 피부 해석 처리에 부적절하다(또는 촬영 상황이 부적절하다)라고 판별되었지만, 유저에 의해 촬영 화상이 피부 해석 처리에 적절하다(또는 촬영 상황이 적절하다)는 취지가 입력된 경우, 얼러트 표시를 행한다고 판단하기 위한 적합도의 범위를 좁게 하면 좋다.
메타데이터 부여부(180)는, 출력의 예로서, 촬영 화상을 해석하는 피부 해석 처리부(60)에 대해 촬영 화상이 피부 해석 처리에 부적절한(또는 촬영 상황이 부적절한) 것을 메타데이터로서 출력하여도 좋다. 예를 들면, 메타데이터 부여부(180)는, 피부 해석 처리부(60)에 대해 촬영 화상이 피부 해석 처리에 부적절한지의 여부를 나타내는 값(또는 촬영 상황이 부적절한지의 여부를 나타내는 값)을 이유마다 메타데이터로서 출력하여도 좋다. 또는, 메타데이터 부여부(180)는, 적합도를 이유마다 메타데이터로서 출력하여도 좋다.
피부 해석 처리부(60)는, 피부 해석 처리에 이용한 파라미터를 메타데이터에 의거하여 제어하는 것이 가능하다. 한 예로서, 피부 해석 처리부(60)는, 촬영 화상에 흐림 또는 떨림이 생기고 있다고 판별된 것이 메타데이터로서 입력된 경우에는, 피부가 섬세함을 판정하기 위한 스코어를 증가시켜도 좋다.
또는, 피부 해석 처리부(60)에서는, 통계 데이터 산출시의 데이터에의 무게 부여를 메타데이터에 의거하여 제어하는 것이 가능하다. 예로서, 피부 해석 처리부(60)는, 피부 해석 처리에 부적절하다라고 판별된 촬영 화상을, 통계 데이터 산출에 이용하지 않아도 좋다. 또한, 피부 해석 처리부(60)는, 피부 해석 처리에 부적절하다고 판별된 촬영 화상의 무게 부여를 저하시켜도 좋다.
또한, 유저가 촬영 화상을 피부 해석에 사용하는지의 여부를 판단하고, 판단한 결과에 따라 조작을 입력한 경우, 메타데이터 부여부(180)는, 유저 조작 이력을 화상과 연결시켜도 좋다. 이들의 유저 조작 이력은, 피부 해석에 부적절한 화상을 검출하기 위한 사전 데이터 작성용의 레이블링 데이터로서도 사용될 수 있다.
또한, 메타데이터 부여부(180)로부터 출력된 메타데이터는, 메타데이터 부여부(180)에 의해 피부 해석 처리부(60)에서 취급할 수 있는 형식으로 정형되어도 좋다. 또한, 메타데이터 부여부(180)는, 도 4에 도시되는 바와 같이, 메타데이터와 함께 화상 id를 피부 해석 처리부(60)에 출력하여도 좋다. 또는, 메타데이터 부여부(180)는, 메타데이터와 함께 피부 해석용 화상을 피부 해석 처리부(60)에 출력하여도 좋다.
이상, 본 개시의 실시 형태에 관한 피부 해석 시스템(1)의 기능 구성례에 관해 설명하였다.
<3. 정보 처리 장치의 하드웨어 구성례>
계속해서, 본 개시의 실시 형태에 관한 정보 처리 장치(10)의 하드웨어 구성례에 관해 설명한다. 도 13은, 본 개시의 실시 형태에 관한 정보 처리 장치(10)의 하드웨어 구성례를 도시하는 도면이다. 단, 도 13에 도시한 하드웨어 구성례는, 정보 처리 장치(10)의 하드웨어 구성의 한 예를 나타낸 것에 지나지 않는다. 따라서 정보 처리 장치(10)의 하드웨어 구성은, 도 13에 도시한 예로 한정되지 않는다.
도 13에 도시한 바와 같이, 정보 처리 장치(10)는, CPU(Central Processing Unit)(901)와, ROM(Read Only Memory)(902)과, RAM(Random Access Memory)(903)과, 기억 장치(911)와, 드라이브(912)와, 통신 장치(915)를 구비한다.
CPU(901)는, 연산 처리 장치 및 제어 장치로서 기능하여, 각종 프로그램에 따라 정보 처리 장치(10) 내의 동작 전반을 제어한다. 또한, CPU(901)는, 마이크로 프로세서라도 좋다. ROM(902)은, CPU(901)가 사용하는 프로그램이나 연산 파라미터 등을 기억한다. RAM(903)은, CPU(901)의 실행에서 사용하는 프로그램이나, 그 실행에서 적절히 변화하는 파라미터 등을 일시 기억한다. 이들은 CPU 버스 등으로구성되는 호스트 버스(156)에 의해 상호 접속되어 있다.
기억 장치(911)는, 정보 처리 장치(10)의 기억부의 한 예로서 구성된 데이터 격납용의 장치이다. 기억 장치(911)는, 기억 매체, 기억 매체에 데이터를 기록하는 기록 장치, 기억 매체로부터 데이터를 판독하는 파녹 장치 및 기억 매체에 기록된 데이터를 삭제하는 삭제 장치 등을 포함하여도 좋다. 이 기억 장치(911)는, CPU(901)가 실행하는 프로그램이나 각종 데이터를 격납한다.
드라이브(912)는, 기억 매체용 리더 라이터이고, 정보 처리 장치(10)에 내장, 또는 외장된다. 드라이브(912)는, 장착되어 있는 자기 디스크, 광디스크, 광자기 디스크, 또는 반도체 메모리 등의 리무버블 기억 매체에 기록되어 있는 정보를 판독하여, RAM(903)에 출력한다. 또한, 드라이브(912)는, 리무버블 기억 매체에 정보를 기록할 수도 있다.
통신 장치(915)는, 네트워크를 통하여(또는, 직접적으로) 외부 장치와 통신한다. 통신 장치(915)는, 무선 통신용의 인터페이스라도 좋고, 예를 들면, 통신 안테나, RF(Radio Frequency) 회로, 베이스 밴드 프로세서 등을 포함하여도 좋다. 무선 통신용의 인터페이스의 구체례로서는, CDMA(Code Division Multiple Access), W-CDMA(Wideband Code Division Multiple Access), LTE(Long Term Evolution), Wi-fi(등록상표)(Wireless Fidelity)와 같은 통신 방식에 대응한 모뎀 등의 통신 유닛을 들 수 있다.
또한, 통신 장치(915)는, 유선 통신용의 인터페이스라도 좋고, 예를 들면, 접속 단자, 전송 회로 및 기타의 통신 처리용의 회로를 포함하여도 좋다. 또한, CPU(901)와 통신 장치(915)는 하나의 칩에 의해 구성되어도 좋고, 별개의 디바이스로서 실현되어도 좋다. 또한, 도 13에는 도시하지 않지만, 정보 처리 장치(10)는, 예를 들면, 충전식 전지와 같은 전력원으로부터 공급되는 전력에 의해 구동하여도 좋고, 당해 전력원은, 정보 처리 장치(10)에 대해 착탈 가능하게 구성되어 있어도 좋다.
이상, 본 개시의 실시 형태에 관한 정보 처리 장치(10)의 하드웨어 구성례에 관해 설명하였다.
<4. 결론>
이상 설명한 바와 같이, 본 개시의 실시 형태에 의하면, 적어도 촬영 화상이 비피부 영역에 대한 촬영에 의해 얻어진 비피부 영역 화상인지의 여부를 판별하는 판별부(105)와, 촬영 화상이 비피부 영역 화상이라고 판별된 경우에, 소정의 제1의 출력을 행하는 출력부(160)를 구비하는, 정보 처리 장치(10)가 제공된다. 이러한 구성에 의하면, 유저가 카메라(30)에 의해 피부 영역을 촬영하려고 하고 있는 장면에서 비피부 영역이 촬영되어 버린 경우에, 비피부 영역이 촬영되어 버린 것이 출력될 수 있다.
이하에, 선행 기술 문헌에 기재된 기술과 본 개시의 실시 형태에 관한 기술과의 차이에 관해 상세히 설명한다. 우선, 1번째의 기술로서, 동일 환부를 정기 촬영하기 때문에, 같은 환부를 촬영 가능한 카메라의 위치 및 구도를 특정하고, 이러한 카메라의 위치 및 구도를 유저에게 피드백하는 기술이 개시되어 있다(예를 들면, 특허 문헌 1 참조). 그러나, 특허 문헌 1에 기재된 기술은, 같은 환부가 촬영되었는지의 여부를 판단하기 위한 기술이고, 떨림 또는 흐림 화상이나 비피부 영역 촬영 화상, 위치 어긋남 등을 검출하고, 검출 결과를 유저에게 피드백할 수는 없다.
2번째의 기술로서, 유저가 손에 쥔 카메라에 의해 피부나 치아 등의 부위를 촬영하고 있을 때에 손떨림이 검출된 경우, 필요한 조치를 유저에게 촉구하기 위한 얼러트 표시를 출력하는 기술이 개시되어 있다(예를 들면, 특허 문헌 2 참조). 그러나, 특허 문헌 2에 기재된 기술은, 비피부 영역 촬영 화상, 위치 어긋남, 카메라(30)의 피부에의 비밀착 등을 검출할 수는 없다. 또한, 특허 문헌 2에 기재된 기술은, 촬영 화상의 부적절함을 고려한 유저에게의 피드백을 행할 수는 없다.
또한, 3번째의 기술로서, 스트리밍 촬영에 의해 버퍼링된 화상의 중에서, 명료도의 관점에서 적절한 화상을 선택하는 기술이 있다(예를 들면, 특허 문헌 3 참조). 그러나, 특허 문헌 3에 기재된 기술은, 스트리밍 촬영시의 촬영 조건과 같은 촬영 조건으로 촬영된 화상밖에 취득하는 것을 할 수가 없다. 그 때문에, 광의 파장이나 노광 시간 등의 설정을 전환하면서, 연속 촬영하고 싶은 경우에는 적용할 수가 없다. 한편, 본 개시의 실시 형태에 의하면, 스트리밍 촬영시의 촬영 조건과 다른 촬영 조건으로 촬영된 화상을 피부 해석에 이용하는 것이 가능하다.
또한, 특허 문헌 3에 기재된 기술은, 스트리밍 촬영시의 촬영 조건과 같은 촬영 조건으로 촬영된 화상을 취득한 경우라도, 스트리밍 촬영시에 있어서의 메모리 I/O나 전송 속도, 명료도 판정의 데이터 처리량의 제약에 의해, 화상의 해상도 등이라는 데이터 사이즈에 관한 부분에 제약이 나올 가능성이 있다.
이상, 첨부 도면을 참조하면서 본 개시의 알맞은 실시 형태에 관해 상세히 설명하였지만, 본 개시의 기술적 범위는 이러한 예로 한정되지 않는다. 본 개시의 기술 분야에서의 통상의 지식을 갖는 자라면, 청구의 범위에 기재된 기술적 사상의 범주 내에서, 각종의 변경례 또는 수정례에 상도할 수 있음은 분명하고, 이것들에 관해서도, 당연히 본 개시의 기술적 범위에 속하는 것으로 이해된다.
또한, 컴퓨터에 내장되는 CPU, ROM 및 RAM 등의 하드웨어를, 상기한 정보 처리 장치(10)가 갖는 기능과 동등한 기능을 발휘시키기 위한 프로그램도 작성 가능하다. 또한, 그 프로그램을 기록한, 컴퓨터에 판독 가능한 기록 매체도 제공될 수 있다.
또한, 본 명세서에 기재된 효과는, 어디까지나 설명적 또는 예시적인 것으로서 한정적이 아니다. 즉, 본 개시에 관한 기술은, 상기한 효과와 함께, 또는 상기한 효과에 대신하여, 본 명세서의 기재로부터 당업자에게는 분명한 다른 효과를 이룰 수 있다.
또한, 이하와 같은 구성도 본 개시의 기술적 범위에 속한다.
(1) 적어도 촬영 화상이 비피부 영역에 대한 촬영에 의해 얻어진 비피부 영역 화상인지의 여부를 판별하는 판별부와, 상기 촬영 화상이 상기 비피부 영역 화상이라고 판별된 경우에, 소정의 제1의 출력을 행하는 출력부를 구비하는, 정보 처리 장치.
(2) 상기 출력부는, 상기 촬영 화상이 상기 비피부 영역 화상이라고 판별된 경우에, 유저에게의 소정의 피드백을 행하는 피드백부를 구비하는, 상기 (1)에 기재된 정보 처리 장치.
(3) 상기 출력부는, 상기 촬영 화상이 상기 비피부 영역 화상이라고 판별된 경우에, 상기 촬영 화상을 해석하는 피부 해석 처리부에 대해 상기 촬영 화상이 상기 비피부 영역 화상인 것을 출력하는 메타데이터 부여부를 구비하는, 상기 (1)에 기재된 정보 처리 장치.
(4) 상기 판별부는, 상기 촬영 화상의 비피부 영역 화상다움을 나타내는 평가치를 산출하고, 상기 평가치가 소정의 범위 내인지의 여부에 의해, 상기 촬영 화상이 상기 비피부 영역 화상인지의 여부를 판별하는, 상기 (1)∼(3)의 어느 한 항에 기재된 정보 처리 장치.
(5) 상기 판별부는, 미리 생성된 판별 함수에 상기 촬영 화상으로부터 얻어지는 적어도 색상에 관한 정보를 입력함에 의해 상기 평가치를 얻는, 상기 (4)에 기재된 정보 처리 장치.
(6) 상기 판별부는, 다른 파장의 광이 조사된 때에 촬영된 2개의 촬영 화상끼리의 대응하는 화소치의 차분이 임계치를 초과하는 영역이 소정의 비율보다도 많이 존재하는 경우에, 상기 촬영 화상이 상기 비피부 영역 화상이라고 판별하는, 상기 (1)∼(3)의 어느 한 항에 기재된 정보 처리 장치.
(7) 상기 판별부는, 연속 촬영시에 촬영 개소의 위치 어긋남이 생겼는지의 여부를 판별하고, 상기 출력부는, 상기 위치 어긋남이 생겼다고 판별된 경우에, 소정의 제2의 출력을 행하는, 상기 (1)∼(6)의 어느 한 항에 기재된 정보 처리 장치.
(8) 상기 판별부는, 연속 촬영되는 복수의 화상의 전후에 촬영된 2개의 화상 각각의 휘도 화상의 거리 또는 유사도에 의거하여 상기 위치 어긋남이 생겼는지의 여부를 판별하는, 상기 (7)에 기재된 정보 처리 장치.
(9) 상기 판별부는, 소정의 센서 데이터의 변화가 임계치를 초과하는지의 여부에 의해 상기 위치 어긋남이 생겼는지의 여부를 판별하는, 상기 (7)에 기재된 정보 처리 장치.
(10) 상기 판별부는, 피부에 카메라가 밀착되지 않은 상태에서 상기 촬영 화상이 촬영되었는지의 여부를 또한 판별하고, 상기 출력부는, 상기 피부에 상기 카메라가 밀착되지 않은 상태에서 상기 촬영 화상이 촬영되었다고 판별된 경우에, 소정의 제3의 출력을 행하는, 상기 (1)∼(9)의 어느 한 항에 기재된 정보 처리 장치.
(11) 상기 판별부는, 상기 촬영 화상으로부터 얻어지는 명도 히스토그램에 의거하여 상기 피부에 상기 카메라가 밀착되지 않은 상태에서 상기 촬영 화상이 촬영되었는지의 여부를 판별하는, 상기 (10)에 기재된 정보 처리 장치.
(12) 상기 판별부는, 상기 촬영 화상으로부터 얻어지는 명도 히스토그램와 미리 등록된 상기 피부에의 상기 카메라의 비밀착시에 있어서의 명도 히스토그램 및 상기 피부에의 상기 카메라의 밀착시에 있어서의 명도 히스토그램 각각과의 거리의 차분에 의거하여, 상기 피부에 상기 카메라가 밀착되지 않은 상태에서 상기 촬영 화상이 촬영되었는지의 여부를 판별하는, 상기 (11)에 기재된 정보 처리 장치.
(13) 상기 판별부는, 상기 촬영 화상에 흐림 또는 떨림이 생기고 있는지의 여부를 또한 판별하고, 상기 출력부는, 상기 촬영 화상에 흐림 또는 떨림이 생기고 있다고 판별된 경우에, 소정의 제4의 출력을 행하는, 상기 (1)∼(12)의 어느 한 항에 기재된 정보 처리 장치.
(14) 상기 판별부는, 상기 촬영 화상에 생기고 있는 흐림 정도 또는 떨림 정도를 나타내는 평가치를 산출하고, 상기 평가치가 소정의 범위 내인지의 여부에 의해, 상기 촬영 화상에 흐림 또는 떨림이 생기고 있는지의 여부를 판별하는, 상기 (13)에 기재된 정보 처리 장치.
(15) 상기 판별부는, 미리 생성된 판별 함수에 상기 촬영 화상으로부터 얻어지는 적어도 주파수에 관한 정보를 입력함에 의해 상기 평가치를 얻는, 상기 (14)에 기재된 정보 처리 장치.
(16) 상기 판별부는, 미리 생성된 판별 함수에 상기 촬영 화상으로부터 얻어지는 적어도 블록 사이에서의 휘도 평균치의 차분을 입력함에 의해 상기 평가치를 얻는, 상기 (14)에 기재된 정보 처리 장치.
(17) 상기 판별부는, 상기 촬영 화상의 비피부 영역 화상다움을 나타내는 평가치를 산출하고, 상기 평가치가 소정의 범위 내인지의 여부에 의해, 상기 촬영 화상이 상기 비피부 영역 화상인지의 여부를 판별하고, 상기 피드백부는, 상기 평가치에 응한 피드백을 행하는, 상기 (2)에 기재된 정보 처리 장치.
(18) 상기 판별부는, 상기 촬영 화상의 비피부 영역 화상다움을 나타내는 평가치를 산출하고, 상기 평가치가 소정의 범위 내인지의 여부에 의해, 상기 촬영 화상이 상기 비피부 영역 화상인지의 여부를 판별하고, 상기 메타데이터 부여부는, 상기 피부 해석 처리부에 대해 상기 평가치 또는 상기 평가치에 응한 데이터를 출력하는, 상기 (3)에 기재된 정보 처리 장치.
(19) 적어도 촬영 화상이 비피부 영역에 대한 촬영에 의해 얻어진 비피부 영역 화상인지의 여부를 판별하는 것과, 프로세서에 의해 상기 촬영 화상이 상기 비피부 영역 화상이라고 판별된 경우에, 소정의 제1의 출력을 행하는 것을 구비하는, 정보 처리 방법.
(20) 컴퓨터를, 적어도 촬영 화상이 비피부 영역에 대한 촬영에 의해 얻어진 비피부 영역 화상인지의 여부를 판별하는 판별부와, 상기 촬영 화상이 상기 비피부 영역 화상이라고 판별된 경우에, 소정의 제1의 출력을 행하는 출력부를 구비하는 정보 처리 장치로서 기능시키기 위한 프로그램.
1 : 피부 해석 시스템 10 : 서버(정보 처리 장치)
20 : 정보 처리 단말 30 : 카메라
31 : 조명부 32 : 통부
33 : 몸체 34 : 렌즈
35 : 이미지 센서 40 : 중계 장치
50 : 유저 인터페이스부 60 : 피부 해석 처리부
100 : 데이터 클렌징 처리부 105 : 판별부
110 : 떨림·흐림 검출부 111 : 특징량 추출부
111a : 제1 특징량 추출부 111b : 제2 특징량 추출부
111c : 제3 특징량 추출부 112 : 분류기
113 : 사전 데이터 기억부 120 : 비피부 영역 촬영 검출부
121 : 특징량 추출부 121a : 제1 특징량 추출부
121b : 제2 특징량 추출부 121c : 제3 특징량 추출부
122 : 분류기 123 : 사전 데이터 기억부
130 : 위치 어긋남 검출부 131 : 특징량 추출부
132 : 분류기 133 : 사전 데이터 기억부
140 : 비밀착 검출부 141 : 특징량 추출부
143 : 사전 데이터 기억부 142 : 분류기
150 : 검출 결과 정형부 160 : 출력부
170 : 피드백부 180 : 메타데이터 부여부

Claims (20)

  1. 적어도 촬영 화상이 비피부 영역에 대한 촬영에 의해 얻어진 비피부 영역 화상인지의 여부를 판별하는 판별부와,
    상기 촬영 화상이 상기 비피부 영역 화상이라고 판별된 경우에, 소정의 제1의 출력을 행하는 출력부를 구비하고,
    상기 판별부는, 다른 파장의 광이 조사된 때에 촬영된 2개의 촬영 화상끼리의 대응하는 화소치의 차분이 임계치를 초과하는 영역이 소정의 비율보다도 많이 존재하는 경우에, 상기 촬영 화상이 상기 비피부 영역 화상이라고 판별하는 것을 특징으로 하는 정보 처리 장치.
  2. 제1항에 있어서,
    상기 출력부는, 상기 촬영 화상이 상기 비피부 영역 화상이라고 판별된 경우에, 유저에게의 소정의 피드백을 행하는 피드백부를 구비하는 것을 특징으로 하는 정보 처리 장치.
  3. 제1항에 있어서,
    상기 출력부는, 상기 촬영 화상이 상기 비피부 영역 화상이라고 판별된 경우에, 상기 촬영 화상을 해석하는 피부 해석 처리부에 대해 상기 촬영 화상이 상기 비피부 영역 화상인 것을 출력하는 메타데이터 부여부를 구비하는 것을 특징으로 하는 정보 처리 장치.
  4. 제1항에 있어서,
    상기 판별부는, 상기 촬영 화상의 비피부 영역 화상다움을 나타내는 평가치를 산출하고, 상기 평가치가 소정의 범위 내인지의 여부에 의해, 상기 촬영 화상이 상기 비피부 영역 화상인지의 여부를 판별하는 것을 특징으로 하는 정보 처리 장치.
  5. 제4항에 있어서,
    상기 판별부는, 미리 생성된 판별 함수에 상기 촬영 화상으로부터 얻어지는 적어도 색상에 관한 정보를 입력함에 의해 상기 평가치를 얻는 것을 특징으로 하는 정보 처리 장치.
  6. 삭제
  7. 제1항에 있어서,
    상기 판별부는, 연속 촬영시에 촬영 개소의 위치 어긋남이 생겼는지의 여부를 판별하고,
    상기 출력부는, 상기 위치 어긋남이 생겼다고 판별된 경우에, 소정의 제2의 출력을 행하는 것을 특징으로 하는 정보 처리 장치.
  8. 제7항에 있어서,
    상기 판별부는, 연속 촬영되는 복수의 화상의 전후에 촬영된 2개의 화상 각각의 휘도 화상의 거리 또는 유사도에 의거하여 상기 위치 어긋남이 생겼는지의 여부를 판별하는 것을 특징으로 하는 정보 처리 장치.
  9. 제7항에 있어서,
    상기 판별부는, 소정의 센서 데이터의 변화가 임계치를 초과하는지의 여부에 의해 상기 위치 어긋남이 생겼는지의 여부를 판별하는 것을 특징으로 하는 정보 처리 장치.
  10. 제1항에 있어서,
    상기 판별부는, 피부에 카메라가 밀착되지 않은 상태에서 상기 촬영 화상이 촬영되었는지의 여부를 또한 판별하고,
    상기 출력부는, 상기 피부에 상기 카메라가 밀착되지 않은 상태에서 상기 촬영 화상이 촬영되었다고 판별된 경우에, 소정의 제3의 출력을 행하는 것을 특징으로 하는 정보 처리 장치.
  11. 제10항에 있어서,
    상기 판별부는, 상기 촬영 화상으로부터 얻어지는 명도 히스토그램에 의거하여 상기 피부에 상기 카메라가 밀착되지 않은 상태에서 상기 촬영 화상이 촬영되었는지의 여부를 판별하는 것을 특징으로 하는 정보 처리 장치.
  12. 제11항에 있어서,
    상기 판별부는, 상기 촬영 화상으로부터 얻어지는 명도 히스토그램과 미리 등록된 상기 피부에의 상기 카메라의 비밀착시에 있어서의 명도 히스토그램 및 상기 피부에의 상기 카메라의 밀착시에 있어서의 명도 히스토그램 각각과의 거리의 차분에 의거하여, 상기 피부에 상기 카메라가 밀착되지 않은 상태에서 상기 촬영 화상이 촬영되었는지의 여부를 판별하는 것을 특징으로 하는 정보 처리 장치.
  13. 제1항에 있어서,
    상기 판별부는, 상기 촬영 화상에 흐림 또는 떨림이 생기고 있는지의 여부를 또한 판별하고,
    상기 출력부는, 상기 촬영 화상에 흐림 또는 떨림이 생기고 있다고 판별된 경우에, 소정의 제4의 출력을 행하는 것을 특징으로 하는 정보 처리 장치.
  14. 제13항에 있어서,
    상기 판별부는, 상기 촬영 화상에 생기고 있는 흐림 정도 또는 떨림 정도를 나타내는 평가치를 산출하고, 상기 평가치가 소정의 범위 내인지의 여부에 의해, 상기 촬영 화상에 흐림 또는 떨림이 생기고 있는지의 여부를 판별하는 것을 특징으로 하는 정보 처리 장치.
  15. 제14항에 있어서,
    상기 판별부는, 미리 생성된 판별 함수에 상기 촬영 화상으로부터 얻어지는 적어도 주파수에 관한 정보를 입력함에 의해 상기 평가치를 얻는 것을 특징으로 하는 정보 처리 장치.
  16. 제14항에 있어서,
    상기 판별부는, 미리 생성된 판별 함수에 상기 촬영 화상으로부터 얻어지는 상기 촬영 화상을 분할한 각각의 블록 사이에서의 휘도 평균치의 차분을 입력함에 의해 상기 평가치를 얻는 것을 특징으로 하는 정보 처리 장치.
  17. 제2항에 있어서,
    상기 판별부는, 상기 촬영 화상의 비피부 영역 화상다움을 나타내는 평가치를 산출하고, 상기 평가치가 소정의 범위 내인지의 여부에 의해, 상기 촬영 화상이 상기 비피부 영역 화상인지의 여부를 판별하고,
    상기 피드백부는, 상기 평가치에 응한 피드백을 행하는 것을 특징으로 하는 정보 처리 장치.
  18. 제3항에 있어서,
    상기 판별부는, 상기 촬영 화상의 비피부 영역 화상다움을 나타내는 평가치를 산출하고, 상기 평가치가 소정의 범위 내인지의 여부에 의해, 상기 촬영 화상이 상기 비피부 영역 화상인지의 여부를 판별하고,
    상기 메타데이터 부여부는, 상기 피부 해석 처리부에 대해 상기 평가치 또는 상기 평가치에 응한 데이터를 출력하는 것을 특징으로 하는 정보 처리 장치.
  19. 다른 파장의 광이 조사된 때에 촬영된 2개의 촬영 화상끼리의 대응하는 화소치의 차분이 임계치를 초과하는 영역이 소정의 비율보다도 많이 존재하는 경우에, 상기 촬영 화상이 비피부 영역에 대한 촬영에 의해 얻어진 비피부 영역 화상이라고 판별하는 것과,
    프로세서에 의해 상기 촬영 화상이 상기 비피부 영역 화상이라고 판별된 경우에, 소정의 제1의 출력을 행하는 것을 구비하는 것을 특징으로 하는 정보 처리 방법.
  20. 컴퓨터를,
    적어도 촬영 화상이 비피부 영역에 대한 촬영에 의해 얻어진 비피부 영역 화상인지의 여부를 판별하는 판별부와,
    상기 촬영 화상이 상기 비피부 영역 화상이라고 판별된 경우에, 소정의 제1의 출력을 행하는 출력부를 구비하는 정보 처리 장치로서 기능시키기 위한 것이고,
    상기 판별부는, 다른 파장의 광이 조사된 때에 촬영된 2개의 촬영 화상끼리의 대응하는 화소치의 차분이 임계치를 초과하는 영역이 소정의 비율보다도 많이 존재하는 경우에, 상기 촬영 화상이 상기 비피부 영역 화상이라고 판별하는 것을 특징으로 하는 프로그램이 저장된 기록 매체.
KR1020177011988A 2014-11-12 2015-08-24 정보 처리 장치, 정보 처리 방법 및 프로그램 KR102503872B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2014-229891 2014-11-12
JP2014229891 2014-11-12
PCT/JP2015/073751 WO2016075978A1 (ja) 2014-11-12 2015-08-24 情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
KR20170085494A KR20170085494A (ko) 2017-07-24
KR102503872B1 true KR102503872B1 (ko) 2023-02-27

Family

ID=55954073

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177011988A KR102503872B1 (ko) 2014-11-12 2015-08-24 정보 처리 장치, 정보 처리 방법 및 프로그램

Country Status (5)

Country Link
US (1) US11189024B2 (ko)
KR (1) KR102503872B1 (ko)
CN (1) CN107148237B (ko)
TW (1) TWI680747B (ko)
WO (1) WO2016075978A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6582276B2 (ja) * 2017-11-07 2019-10-02 株式会社Ａｖｅｎｔｉｎｏ 頭部画像評価装置
CN110547866B (zh) * 2018-06-01 2022-01-11 福美生技有限公司 反馈式能量释放系统及其操作方法
CN110393508B (zh) * 2019-08-06 2022-08-30 中南大学湘雅医院 皮瓣图像获取方法、装置、存储介质及电子设备
JP2022163244A (ja) * 2019-09-25 2022-10-26 株式会社ニコン 解析装置、解析方法、及びプログラム
KR20210075673A (ko) 2019-12-13 2021-06-23 삼성전자주식회사 사용자의 피부 상태를 측정하는 전자 장치와 이의 동작 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001259056A (ja) * 2000-03-21 2001-09-25 Ya Man Ltd レーザ光照射プローブ
JP2007081682A (ja) * 2005-09-13 2007-03-29 Canon Inc 画像処理装置、画像処理方法、及び、情報処理装置が実行可能なプログラム
JP2007108941A (ja) * 2005-10-12 2007-04-26 Sharp Corp 機器制御装置、リモートコントローラ、機器、機器制御方法、機器制御プログラム、および機器制御プログラムを記録したコンピュータ読取り可能な記録媒体
WO2013035847A1 (ja) * 2011-09-09 2013-03-14 株式会社ニコン 形状測定装置、構造物製造システム、形状測定方法、構造物製造方法、形状測定プログラム、コンピュータ読み取り可能な記録媒体

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020085219A1 (en) * 2000-08-11 2002-07-04 Victor Ramamoorthy Method of and system for generating and viewing multi-dimensional images
JP3960223B2 (ja) * 2002-12-27 2007-08-15 トヨタ自動車株式会社 物体認識装置および物体認識方法
JP4482021B2 (ja) 2004-01-23 2010-06-16 オリンパス株式会社 カメラ
US8154612B2 (en) * 2005-08-18 2012-04-10 Qualcomm Incorporated Systems, methods, and apparatus for image processing, for color classification, and for skin color detection
JP2009015749A (ja) * 2007-07-09 2009-01-22 Seiko Epson Corp 画像表示装置、画像表示方法、およびプログラム
JP4683031B2 (ja) * 2007-10-17 2011-05-11 ソニー株式会社 電子機器、コンテンツ分類方法及びそのプログラム
US20090231356A1 (en) * 2008-03-17 2009-09-17 Photometria, Inc. Graphical user interface for selection of options from option groups and methods relating to same
JP5077956B2 (ja) 2008-04-23 2012-11-21 Ｋｄｄｉ株式会社 情報端末装置
DE112008003959T5 (de) * 2008-07-31 2011-06-01 Hewlett-Packard Development Co., L.P., Houston Wahrnehmungssegmentierung von Bildern
US8406482B1 (en) * 2008-08-28 2013-03-26 Adobe Systems Incorporated System and method for automatic skin tone detection in images
JP5216641B2 (ja) 2008-09-12 2013-06-19 株式会社モリテックス 拡大撮像装置及び撮像方法
JP4730431B2 (ja) * 2008-12-16 2011-07-20 日本ビクター株式会社 目標追尾装置
US8659622B2 (en) * 2009-08-31 2014-02-25 Adobe Systems Incorporated Systems and methods for creating and editing seam carving masks
JP5635770B2 (ja) * 2009-12-24 2014-12-03 京セラ株式会社 障害物検出装置
US8406519B1 (en) * 2010-03-10 2013-03-26 Hewlett-Packard Development Company, L.P. Compositing head regions into target images
WO2012073421A1 (ja) 2010-11-29 2012-06-07 パナソニック株式会社 画像分類装置、画像分類方法、プログラム、記録媒体、集積回路、モデル作成装置
JP5822545B2 (ja) 2011-06-09 2015-11-24 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、およびプログラム
US8879800B2 (en) * 2011-06-15 2014-11-04 Honeywell International Inc. Quality driven image processing for ocular recognition system
WO2013128291A2 (en) * 2012-02-29 2013-09-06 Robert Bosch Gmbh Method of fusing multiple information sources in image-based gesture recognition system
JP2014179756A (ja) * 2013-03-14 2014-09-25 Canon Inc 画像処理装置、その制御方法、および制御プログラム
WO2015103388A1 (en) * 2014-01-02 2015-07-09 Metritrack, Inc. System and method for tracking completeness of co-registered medical image data
JP6433187B2 (ja) * 2014-08-07 2018-12-05 キヤノン株式会社 情報処理装置、その制御方法およびコンピュータプログラム
JP6664163B2 (ja) * 2015-08-05 2020-03-13 キヤノン株式会社 画像識別方法、画像識別装置及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001259056A (ja) * 2000-03-21 2001-09-25 Ya Man Ltd レーザ光照射プローブ
JP2007081682A (ja) * 2005-09-13 2007-03-29 Canon Inc 画像処理装置、画像処理方法、及び、情報処理装置が実行可能なプログラム
JP2007108941A (ja) * 2005-10-12 2007-04-26 Sharp Corp 機器制御装置、リモートコントローラ、機器、機器制御方法、機器制御プログラム、および機器制御プログラムを記録したコンピュータ読取り可能な記録媒体
WO2013035847A1 (ja) * 2011-09-09 2013-03-14 株式会社ニコン 形状測定装置、構造物製造システム、形状測定方法、構造物製造方法、形状測定プログラム、コンピュータ読み取り可能な記録媒体

Also Published As

Publication number Publication date
CN107148237B (zh) 2021-04-30
US20170316564A1 (en) 2017-11-02
US11189024B2 (en) 2021-11-30
KR20170085494A (ko) 2017-07-24
CN107148237A (zh) 2017-09-08
WO2016075978A1 (ja) 2016-05-19
TW201617028A (zh) 2016-05-16
TWI680747B (zh) 2020-01-01

Similar Documents

Publication Publication Date Title
US8055067B2 (en) Color segmentation
KR102503872B1 (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
JP4709147B2 (ja) デジタル画像から赤目現象を除去するシステム及びその方法
US8254630B2 (en) Subject extracting method and device by eliminating a background region using binary masks
JP4078334B2 (ja) 画像処理装置および画像処理方法
CN108737728B (zh) 一种图像拍摄方法、终端及计算机存储介质
US10331015B2 (en) Method for automatically focusing on specific movable object, photographic apparatus including automatic focus function, and computer readable storage medium for storing automatic focus function program
US11315360B2 (en) Live facial recognition system and method
CN107018407B (zh) 信息处理装置、评价用图、评价系统、以及性能评价方法
US8498496B2 (en) Method and apparatus for filtering red and/or golden eye artifacts
US20100123802A1 (en) Digital image signal processing method for performing color correction and digital image signal processing apparatus operating according to the digital image signal processing method
CN112106102A (zh) 图像处理方法、系统、设备、可移动平台和存储介质
CN110381247B (zh) 摄像装置以及摄像装置的控制方法
JP2007312206A (ja) 撮像装置及び、画像再生装置
JP2008059534A (ja) 画像トリミング装置、画像トリミング方法およびそのプログラム
JP6878826B2 (ja) 撮影装置
JP2006074498A (ja) 画像処理装置及び撮像装置
JP2011134019A (ja) 画像処理装置及びその制御方法
CN111263065A (zh) 一种眼球检测提示方法、计算机装置及计算机可读存储介质
JP6776532B2 (ja) 画像処理装置、撮像装置、電子機器及び画像処理プログラム
JP2011147076A (ja) 画像処理装置、撮像装置およびプログラム
US20220343092A1 (en) Apparatus and methods for preprocessing images having elements of interest
JP5631181B2 (ja) 画像処理装置及びその制御方法、及びプログラム
JP2008147714A (ja) 画像処理装置およびその方法
KR101308656B1 (ko) 컬러 증명용 사진의 얼굴후보영역 또는 피부영역 검색 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant