KR20120039498A - 정보 처리 장치, 정보 처리 방법, 프로그램 및 전자 장치 - Google Patents

정보 처리 장치, 정보 처리 방법, 프로그램 및 전자 장치 Download PDF

Info

Publication number
KR20120039498A
KR20120039498A KR1020117004443A KR20117004443A KR20120039498A KR 20120039498 A KR20120039498 A KR 20120039498A KR 1020117004443 A KR1020117004443 A KR 1020117004443A KR 20117004443 A KR20117004443 A KR 20117004443A KR 20120039498 A KR20120039498 A KR 20120039498A
Authority
KR
South Korea
Prior art keywords
skin
region
user
light
image
Prior art date
Application number
KR1020117004443A
Other languages
English (en)
Inventor
노부히로 사이조
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20120039498A publication Critical patent/KR20120039498A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Abstract

본 발명은, 유저의 손의 이동을 용이하게 검출할 수 있는 정보 처리 장치, 정보 처리 방법, 프로그램 및 전자 장치에 관한 것이다. 발광 장치(23)는, 제1 파장의 광 및 제2 파장의 광을 유저에게 조사하고, 2치화부(42)는, 유저에게 조사된 제1 파장의 광의 반사광을 수광하여 얻어지는 제1 화상 및 유저에게 조사된 제2 파장의 광의 반사광을 수광하여 얻어지는 제2 화상을 취득하고, 2치화부(42) 내지 형상 추출부(46)는, 제1 및 제2 화상에 기초하여, 유저의 피부가 표시되어 있는 피부 표시 영역을 포함하는 표시 화상 상의 피부 표시 영역으로부터, 오브젝트가 표시되어 있는 오브젝트 영역을 추출하고, 형상 추출부(46)는, 오브젝트 영역을 구성하는 화소의 휘도값의 변화에 따라, 조사 수단부터 오브젝트까지의 상대적인 거리의 변화를 검출한다. 본 발명은, 예를 들어 유저를 촬상한 촬상 화상으로부터, 유저의 신체의 부위의 형상을 추출하는 컴퓨터에 적용할 수 있다.

Description

정보 처리 장치, 정보 처리 방법, 프로그램 및 전자 장치{INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, PROGRAM, AND ELECTRONIC DEVICE}
본 발명은, 정보 처리 장치, 정보 처리 방법, 프로그램 및 전자 장치에 관한 것으로, 특히, 예를 들어 유저를 촬상하여 얻어지는 촬상 화상으로부터, 유저의 손의 형상 등을 추출하는 경우에 적합한 정보 처리 장치, 정보 처리 방법, 프로그램 및 전자 장치에 관한 것이다.
최근, 퍼스널 컴퓨터 등에 대하여 데이터를 입력하는 입력 디바이스로서, 마우스, 펜 타블렛 및 터치 패드 외에, 유저의 제스처(동작)나 태도(자세)에 의해 데이터를 입력하는 데이터 입력 기술이 연구되고 있다.
이 데이터 입력 기술에서는, 예를 들어 유저의 손에 의한 제스처나 태도에 의해 데이터의 입력을 행하기 때문에, 유저를 촬상하여 얻어지는 촬상 화상으로부터, 유저의 손의 형상이나 움직임을 정확하게 추출할 필요가 있다.
유저의 손의 형상을 추출하기 위한 추출 기술로서는, 화상의 패턴 매칭을 사용하는 패턴 매칭 방법, 유저의 피부 영역을 추출하는 피부 영역 추출 방법 등이 존재한다.
패턴 매칭 방법에서는, 예를 들어 여러 형상이나 크기의 손을 촬상하여 얻어지는 복수의 형상 화상을 미리 학습해 두고, 촬상 화상과 가장 유사한 형상 화상(예를 들어, 대응하는 화소의 화소값끼리의 차의 총합이 최소가 되는 형상 화상)으로 표시된 손의 형상을 유저의 손의 형상으로서 추출한다.
그러나 이 패턴 매칭 방법에서는, 형상 화상의 촬상 시와는 상이한 조건(예를 들어, 촬상 방향, 조명의 정도, 배경 및 촬상 시의 피사체의 크기 등)에 의해, 촬상 화상이 촬상된 경우, 유저의 손의 형상을 정확하게 추출할 수 없는 일이 발생할 수 있다.
특히, 손의 형상을 추출하는 경우에 있어서, 촬상 화상 내의 손의 형상과, 형상 화상 내의 손의 형상이 크게 상이할 때나, 촬상 화상 내의 손이 얼굴 등과 겹친 상태로 되어 있을 때 등에는, 예를 들어 얼굴의 형상을 추출하는 경우 등과 비교하여, 정확하게 추출하는 것이 곤란하다.
또한, 실시간으로, 손의 형상을 추출하는 것이 요구되는 경우에는, 패턴 매칭에 필요한 계산량이 방대해져 버리기 때문에, 지장을 초래하는 경우가 많다.
이어서, 피부 영역 추출 방법에서는, 인간의 피부의 색을 나타내는 피부색 정보를 사용하여, 촬상 화상 내의, 유저의 피부를 나타내는 피부 영역이 추출된다.
그러나 피부색 정보를 사용하는 피부 영역 추출 방법에서는, 피부의 색과 그것에 가까운 색의 분리가 어렵다. 또한, 인종에 따라 피부의 색은 상이하기 때문에, 모든 인종에 대하여 피부 영역을 적절하게 추출할 수 없다.
따라서, 요즘 파장에 대한 피부의 반사율 변화가, 인종과 상관없이 마찬가지인 것을 사용하여, 촬상 화상 내의 피부 영역을 추출하는 분광 반사율 특성을 사용한 추출 기술이 제안되고 있다(예를 들어, 비특허문헌 1을 참조).
스즈키 야스히로 등 저, 전학론 C(근적외 멀티밴드에 의한 피부 검출 방법의 제안), 일본, 2007년, 127권 4호
그러나 상술한 종래의 분광 반사율 특성을 사용한 추출 기술에서는, 예를 들어 촬상 화상 내에 피부 영역으로서, 피사체의 얼굴과 손이 존재하는 경우, 얼굴과 손 양쪽의 형상을 피부 영역으로서 추출해 버려, 손의 형상만을 피부 영역으로서 추출하는 것이 곤란하다.
본 발명은, 이러한 상황을 감안하여 이루어진 것이며, 일련의 처리에 필요로 하는 연산량의 증가를 억제하면서, 유저를 촬상하여 얻어지는 촬상 화상으로부터, 유저의 정확한 손의 형상 등을 고속으로 추출할 수 있도록 하는 것이다. 또한, 본 발명은, 예를 들어 유저가 표시되어 있는 표시 화상 상의, 추출한 유저의 손 등의 형상에 대응하는 영역을 구성하는 화소의 휘도값 등의 변화에 기초하여, 유저의 손 등의 이동을 용이하게 검출할 수 있도록 하는 것이다.
본 발명의 제1 측면에 있어서의 제1 정보 처리 장치는, 제1 파장의 광 및 상기 제1 파장과는 상이한 제2 파장의 광을 상기 유저에게 조사하는 조사 수단과, 상기 유저에게 조사된 상기 제1 파장의 광의 반사광을 수광하여 얻어지는 제1 화상 및 상기 유저에게 조사된 상기 제2 파장의 광의 반사광을 수광하여 얻어지는 제2 화상을 취득하는 취득 수단과, 상기 제1 및 제2 화상에 기초하여, 상기 유저의 피부가 표시되어 있는 피부 표시 영역을 포함하는 표시 화상 상의 상기 피부 표시 영역으로부터, 상기 유저의 신체의 소정의 피부의 부위를 나타내는 오브젝트가 표시되어 있는 오브젝트 영역을 추출하는 오브젝트 영역 추출 수단과, 상기 표시 화상 상의 상기 오브젝트 영역을 구성하는 화소의 휘도값, 또는 상기 휘도값에 기초하여 산출되는 값의 한쪽의 변화에 따라, 상기 조사 수단부터 상기 오브젝트까지의 상대적인 거리의 변화를 검출하는 거리 변화 검출 수단을 포함하는 정보 처리 장치이다.
상기 표시 화상 상의 상기 오브젝트 영역을 구성하는 화소 중 휘도값이 큰 상위 n퍼센트에 포함되는 화소에 의해 구성되어 있는 영역을, 상기 오브젝트의 일부분이 표시되어 있는 상기 부분 표시 영역으로서 검출하는 부분 표시 영역 검출 수단을 더 설치하도록 할 수 있다.
상기 거리 변화 검출 수단에서는, 상기 표시 화상 상의 상기 오브젝트 영역 중 상기 부분 표시 영역을 구성하는 화소의 휘도값, 또는 상기 휘도값에 기초하여 산출되는 값의 한쪽의 변화에 따라, 상기 부분 표시 영역에 표시되어 있는, 상기 오브젝트의 일부분까지의 상대적인 거리의 변화를 검출할 수 있다.
상기 오브젝트 영역 추출 수단에서는, 상기 표시 화상 상의 상기 피부 표시 영역을 구성하는 화소의 휘도값의 분포에 기초하여, 상기 피부 표시 영역 상의 상기 오브젝트의 형상을 나타내는 형상 영역을 검출하고, 상기 피부 표시 영역으로부터, 상기 형상 영역에 대응하는 상기 오브젝트 영역을 추출할 수 있다.
상기 거리 변화 검출 수단에서는, 상기 표시 화상 상의 상기 오브젝트 영역을 구성하는 화소의 휘도값의 평균값의 변화에 따라, 상기 조사 수단부터 상기 오브젝트까지의 상대적인 거리의 변화를 검출할 수 있다.
상기 제1 파장(λ1) 및 상기 제2 파장(λ2)은 다음 식의 관계를 만족
λ1<λ2
630nm≤λ1≤1000nm
900nm≤λ2≤1100nm
하도록 할 수 있다.
본 발명의 제1 측면에 있어서의 제1 정보 처리 방법은, 유저와의 거리의 변화를 검출하는 정보 처리 장치의 정보 처리 방법으로서, 상기 정보 처리 장치는, 조사 수단과, 취득 수단과, 오브젝트 영역 추출 수단과, 거리 변화 검출 수단을 포함하고, 상기 조사 수단이, 제1 파장의 광 및 상기 제1 파장과는 상이한 제2 파장의 광을 상기 유저에게 조사하고, 상기 취득 수단이, 상기 유저에게 조사된 상기 제1 파장의 광의 반사광을 수광하여 얻어지는 제1 화상 및 상기 유저에게 조사된 상기 제2 파장의 광의 반사광을 수광하여 얻어지는 제2 화상을 취득하고, 상기 오브젝트 영역 추출 수단이, 상기 제1 및 제2 화상에 기초하여, 상기 유저의 피부가 표시되어 있는 피부 표시 영역을 포함하는 표시 화상 상의 상기 피부 표시 영역으로부터, 상기 유저의 신체의 소정의 피부의 부위를 나타내는 오브젝트가 표시되어 있는 오브젝트 영역을 추출하고, 상기 거리 변화 검출 수단이, 상기 표시 화상 상의 상기 오브젝트 영역을 구성하는 화소의 휘도값, 또는 상기 휘도값에 기초하여 산출되는 값의 한쪽의 변화에 따라, 상기 조사 수단부터 상기 오브젝트까지의 상대적인 거리의 변화를 검출하는 스텝을 포함하는 정보 처리 방법이다.
본 발명의 제1 측면에 있어서의 제1 프로그램은, 제1 파장의 광 및 상기 제1 파장과는 상이한 제2 파장의 광을 상기 유저에게 조사하는 조사 수단을 포함하는 정보 처리 장치를 제어하는 컴퓨터를, 상기 유저에게 조사된 상기 제1 파장의 광의 반사광을 수광하여 얻어지는 제1 화상 및 상기 유저에게 조사된 상기 제2 파장의 광의 반사광을 수광하여 얻어지는 제2 화상을 취득하는 취득 수단과, 상기 제1 및 제2 화상에 기초하여, 상기 유저의 피부가 표시되어 있는 피부 표시 영역을 포함하는 표시 화상 상의 상기 피부 표시 영역으로부터, 상기 유저의 신체의 소정의 피부의 부위를 나타내는 오브젝트가 표시되어 있는 오브젝트 영역을 추출하는 오브젝트 영역 추출 수단과, 상기 표시 화상 상의 상기 오브젝트 영역을 구성하는 화소의 휘도값, 또는 상기 휘도값에 기초하여 산출되는 값의 한쪽의 변화에 따라, 상기 조사 수단부터 상기 오브젝트까지의 상대적인 거리의 변화를 검출하는 거리 변화 검출 수단으로서 기능시키기 위한 프로그램이다.
본 발명의 제1 측면에 있어서의 제1 전자 장치는, 제1 파장의 광 및 상기 제1 파장과는 상이한 제2 파장의 광을 상기 유저에게 조사하는 조사 수단과, 상기 유저에게 조사된 상기 제1 파장의 광의 반사광을 수광하여 얻어지는 제1 화상 및 상기 유저에게 조사된 상기 제2 파장의 광의 반사광을 수광하여 얻어지는 제2 화상을 취득하는 취득 수단과, 상기 제1 및 제2 화상에 기초하여, 상기 유저의 피부가 표시되어 있는 피부 표시 영역을 포함하는 표시 화상 상의 상기 피부 표시 영역으로부터, 상기 유저의 신체의 소정의 피부의 부위를 나타내는 오브젝트가 표시되어 있는 오브젝트 영역을 추출하는 오브젝트 영역 추출 수단과, 상기 표시 화상 상의 상기 오브젝트 영역을 구성하는 화소의 휘도값, 또는 상기 휘도값에 기초하여 산출되는 값의 한쪽의 변화에 따라, 상기 조사 수단부터 상기 오브젝트까지의 상대적인 거리의 변화를 검출하는 거리 변화 검출 수단과 상기 조사 수단부터 상기 오브젝트까지의 상대적인 거리의 변화가 검출된 것에 대응하여, 소정의 처리를 실행하는 실행 수단을 포함하는 전자 장치이다.
본 발명의 제1 측면에 의하면, 상기 유저에게 조사된 상기 제1 파장의 광의 반사광을 수광하여 얻어지는 제1 화상 및 상기 유저에게 조사된 상기 제2 파장의 광의 반사광을 수광하여 얻어지는 제2 화상이 취득되고, 취득된 상기 제1 및 제2 화상에 기초하여, 상기 유저의 피부가 표시되어 있는 피부 표시 영역을 포함하는 표시 화상 상의 상기 피부 표시 영역으로부터, 상기 유저의 신체의 소정의 피부의 부위를 나타내는 오브젝트가 표시되어 있는 오브젝트 영역이 추출되고, 상기 표시 화상 상의 상기 오브젝트 영역을 구성하는 화소의 휘도값, 또는 상기 휘도값에 기초하여 산출되는 값의 한쪽의 변화에 따라, 상기 조사 수단부터 상기 오브젝트까지의 상대적인 거리의 변화가 검출된다.
본 발명의 제2 측면에 있어서의 제2 정보 처리 장치는, 유저의 신체의 소정의 피부의 부위를 나타내는 오브젝트의 형상을, 상기 유저를 촬상하여 얻어지는 촬상 화상으로부터 추출하는 정보 처리 장치로서, 제1 파장의 광 및 상기 제1 파장과는 상이한 제2 파장의 광을 상기 유저에게 조사하는 조사 수단과, 상기 유저에게 조사된 상기 제1 파장의 광의 반사광을 수광하여 얻어지는 제1 화상 및 상기 유저에게 조사된 상기 제2 파장의 광의 반사광을 수광하여 얻어지는 제2 화상을 취득하는 취득 수단과, 상기 제1 또는 제2 화상을 구성하는 화소마다, 상기 제1 파장의 광과 상기 제2 파장의 광의 반사율의 차이를 나타내는 차이값을 산출하는 차이값 산출 수단과, 상기 제1 또는 제2 화상을 구성하는 화소마다 산출된 상기 차이값이 소정의 임계값 이상인지의 여부에 기초하여, 상기 유저의 피부를 나타내는 피부 영역을 추출하는 피부 영역 추출 수단과, 상기 피부 영역 상의 상기 오브젝트의 형상을 나타내는 형상 영역을 추출하는 형상 영역 추출 수단을 포함하고, 상기 형상 영역 추출 수단은, 상기 오브젝트와, 상기 피부 영역 상의 상기 형상 영역 이외의 영역에 대응하는 상기 유저의 부위가 표시된 표시 화상 상의 상기 피부 영역에 대응하는 영역을 구성하는 화소의 휘도값의 분포에 기초하여, 상기 형상 영역을 추출하는 정보 처리 장치이다.
상기 차이값 산출 수단에서는, 상기 제1 화상의 휘도값으로부터, 상기 제2 화상의 휘도값을 차감하여 얻어지는 차분을 정규화하여 얻어지는 상기 차이값을 산출할 수 있다.
상기 차이값 산출 수단에서는, 상기 차이값으로서, 상기 제1 화상의 휘도값과, 상기 제2 화상의 휘도값의 비를 산출할 수 있다.
본 발명의 제2 측면에 있어서의 제2 정보 처리 방법은, 유저의 신체의 소정의 피부의 부위를 나타내는 오브젝트의 형상을, 상기 유저를 촬상하여 얻어지는 촬상 화상으로부터 추출하는 정보 처리 장치의 정보 처리 방법으로서, 상기 정보 처리 장치는, 조사 수단과, 취득 수단과, 차이값 산출 수단과, 피부 영역 추출 수단과, 형상 영역 추출 수단을 포함하고, 상기 조사 수단이, 제1 파장의 광 및 상기 제1 파장과는 상이한 제2 파장의 광을 상기 유저에게 조사하고, 상기 취득 수단이, 상기 유저에게 조사된 상기 제1 파장의 광의 반사광을 수광하여 얻어지는 제1 화상 및 상기 유저에게 조사된 상기 제2 파장의 광의 반사광을 수광하여 얻어지는 제2 화상을 취득하고, 상기 차이값 산출 수단이, 상기 제1 또는 제2 화상을 구성하는 화소마다, 상기 제1 파장의 광과 상기 제2 파장의 광의 반사율의 차이를 나타내는 차이값을 산출하고, 상기 피부 영역 추출 수단이, 상기 제1 또는 제2 화상을 구성하는 화소마다 산출된 상기 차이값이 소정의 임계값 이상인지의 여부에 기초하여, 상기 유저의 피부를 나타내는 피부 영역을 추출하고, 상기 형상 영역 추출 수단이, 상기 피부 영역 상의 상기 오브젝트의 형상을 나타내는 형상 영역을 추출하는 스텝을 포함하고, 상기 형상 영역 추출 수단은, 상기 오브젝트와, 상기 피부 영역 상의 상기 형상 영역 이외의 영역에 대응하는 상기 유저의 부위가 표시된 표시 화상 상의 상기 피부 영역에 대응하는 영역을 구성하는 화소의 휘도값의 분포에 기초하여, 상기 형상 영역을 추출하는 정보 처리 방법이다.
본 발명의 제2 측면에 있어서의 제2 프로그램은, 유저의 신체의 소정의 피부의 부위를 나타내는 오브젝트의 형상을, 상기 유저를 촬상하여 얻어지는 촬상 화상으로부터 추출하는 정보 처리 장치로서, 제1 파장의 광 및 상기 제1 파장과는 상이한 제2 파장의 광을 상기 유저에게 조사하는 조사 수단을 포함하는 정보 처리 장치를 제어하는 컴퓨터를, 상기 유저에게 조사된 상기 제1 파장의 광의 반사광을 수광하여 얻어지는 제1 화상 및 상기 유저에게 조사된 상기 제2 파장의 광의 반사광을 수광하여 얻어지는 제2 화상을 취득하는 취득 수단과, 상기 제1 또는 제2 화상을 구성하는 화소마다, 상기 제1 파장의 광과 상기 제2 파장의 광의 반사율의 차이를 나타내는 차이값을 산출하는 차이값 산출 수단과, 상기 제1 또는 제2 화상을 구성하는 화소마다 산출된 상기 차이값이 소정의 임계값 이상인지의 여부에 기초하여, 상기 유저의 피부를 나타내는 피부 영역을 추출하는 피부 영역 추출 수단과, 상기 피부 영역 상의 상기 오브젝트의 형상을 나타내는 형상 영역을 추출하는 형상 영역 추출 수단으로서 기능시키고, 상기 형상 영역 추출 수단은, 상기 오브젝트와, 상기 피부 영역 상의 상기 형상 영역 이외의 영역에 대응하는 상기 유저의 부위가 표시된 표시 화상 상의 상기 피부 영역에 대응하는 영역을 구성하는 화소의 휘도값의 분포에 기초하여, 상기 형상 영역을 추출하는 프로그램이다.
본 발명의 제2 측면에 있어서의 제2 전자 장치는, 유저의 신체의 소정의 피부의 부위를 나타내는 오브젝트의 형상을, 상기 유저를 촬상하여 얻어지는 촬상 화상으로부터 추출하는 전자 장치로서, 제1 파장의 광 및 상기 제1 파장과는 상이한 제2 파장의 광을 상기 유저에게 조사하는 조사 수단과, 상기 유저에게 조사된 상기 제1 파장의 광의 반사광을 수광하여 얻어지는 제1 화상 및 상기 유저에게 조사된 상기 제2 파장의 광의 반사광을 수광하여 얻어지는 제2 화상을 취득하는 취득 수단과, 상기 제1 또는 제2 화상을 구성하는 화소마다, 상기 제1 파장의 광과 상기 제2 파장의 광의 반사율의 차이를 나타내는 차이값을 산출하는 차이값 산출 수단과, 상기 제1 또는 제2 화상을 구성하는 화소마다 산출된 상기 차이값이 소정의 임계값 이상인지의 여부에 기초하여, 상기 유저의 피부를 나타내는 피부 영역을 추출하는 피부 영역 추출 수단과, 상기 피부 영역 상의 상기 오브젝트의 형상을 나타내는 형상 영역을 추출하는 형상 영역 추출 수단과, 추출된 상기 형상 영역에 따른 처리를 실행하는 실행 수단을 포함하고, 상기 형상 영역 추출 수단은, 상기 오브젝트와, 상기 피부 영역 상의 상기 형상 영역 이외의 영역에 대응하는 상기 유저의 부위가 표시된 표시 화상 상의 상기 피부 영역에 대응하는 영역을 구성하는 화소의 휘도값의 분포에 기초하여, 상기 형상 영역을 추출하는 전자 장치이다.
본 발명의 제2 측면에 의하면, 상기 유저에게 조사된 상기 제1 파장의 광의 반사광을 수광하여 얻어지는 제1 화상 및 상기 유저에게 조사된 상기 제2 파장의 광의 반사광을 수광하여 얻어지는 제2 화상이 취득되고, 취득된 상기 제1 또는 제2 화상을 구성하는 화소마다, 상기 제1 파장의 광과 상기 제2 파장의 광의 반사율의 차이를 나타내는 차이값이 산출되고, 상기 제1 또는 제2 화상을 구성하는 화소마다 산출된 상기 차이값이 소정의 임계값 이상인지의 여부에 기초하여, 상기 유저의 피부를 나타내는 피부 영역이 추출되고, 상기 피부 영역 상의 상기 오브젝트의 형상을 나타내는 형상 영역이 추출된다.
본 발명의 제1 측면에 의하면, 유저의 손 등의 이동을 용이하게 검출할 수 있다. 또한, 본 발명의 제2 측면에 의하면, 일련의 처리에 필요로 하는 연산량의 증가를 억제하면서, 유저의 정확한 손의 형상 등을 고속으로 추출할 수 있다.
도 1은 정보 처리 시스템의 구성예를 도시하는 블록도이다.
도 2는 정보 처리 장치의 구성예를 도시하는 블록도이다.
도 3은 인간의 피부의 반사 특성의 일례를 도시하는 도면이다.
도 4는 제1 및 제2 촬상 화상의 일례를 도시하는 도면이다.
도 5는 2치화부에 의해 생성되는 2치화 피부 화상의 일례를 도시하는 도면이다.
도 6은 피부 추출부에 의해 추출되는 피부 화상의 제1 예를 나타내는 도면이다.
도 7은 피부 화상의 히스토그램의 제1 예를 나타내는 도면이다.
도 8은 마스크 화상 생성부에 의해 생성되는 마스크 화상의 일례를 도시하는 도면이다.
도 9는 형상 추출부에 의해 생성되는 추출 화상의 일례를 도시하는 도면이다.
도 10은 형상 추출 처리를 설명하기 위한 흐름도이다.
도 11은 피부 추출부에 의해 추출되는 피부 화상의 제2 예를 나타내는 도면이다.
도 12는 피부 화상의 히스토그램의 제2 예를 나타내는 도면이다.
도 13은 피부 추출부에 의해 추출되는 피부 화상의 제3 예를 나타내는 도면이다.
도 14는 피부 화상의 히스토그램의 제3 예를 나타내는 도면이다.
도 15는 좌표 검출 처리를 설명하기 위한 흐름도이다.
도 16은 FFT 임계값 결정 처리에 사용하는 제1 촬상 화상을 도시하는 도면이다.
도 17은 FFT 임계값 결정 처리를 설명하기 위한 흐름도이다.
도 18은 카메라의 상대 감도 특성을 도시하는 도면이다.
도 19는 LED의 배치 방법을 도시하는 도면이다.
도 20은 본 발명을 적용한 모바일 기기의 일례를 도시하는 도면이다.
도 21은 본 발명을 적용한 다른 모바일 기기의 일례를 도시하는 도면이다.
도 22는 본 발명을 적용한 다른 모바일 기기를 사용한 경우에 관한 일례를 도시하는 도면이다.
도 23은 본 발명을 적용한 텔레비전 수상기의 일례를 도시하는 도면이다.
도 24는 컴퓨터의 구성예를 도시하는 블록도이다.
이하, 발명을 실시하기 위한 형태(이하, 본 실시 형태라고 한다)에 대하여 설명한다. 또한, 설명은 이하의 순서로 행한다.
1. 본 실시 형태(유저의 손의 형상을 추출하는 예)
2. 변형예
<1. 본 실시 형태>
[정보 처리 시스템(1)의 구성예]
도 1은, 본 실시 형태인 정보 처리 시스템(1)의 구성예를 도시하고 있다.
이 정보 처리 시스템(1)은, 유저의 손을 사용한 제스처(또는 태도)에 따라 소정의 처리를 실행하는 것이며, 정보 처리 장치(21), 카메라(22) 및 발광 장치(23)에 의해 구성된다.
정보 처리 시스템(1)에 대하여 소정의 처리를 실행시키기 위해, 유저는 (카메라(22)의 렌즈면 앞에서) 자신의 손의 형상을 변화시키거나, 손을 움직이거나 한다.
이때, 정보 처리 시스템(1)에서는, 유저의 손의 형상이나 손의 움직임을 인식하고, 그 인식 결과에 대응하여 소정의 처리를 실행한다.
또한, 본 실시 형태에서는, 유저는 카메라(22)의 렌즈면 앞에서 손을 움직이거나 손의 형상을 변화시키는 것으로 하고, 유저는 자신의 손을, 얼굴이나 가슴 등보다 카메라(22)의 렌즈면에 가까운 위치에 내밀어 제스처(또는 태도)를 행하는 것으로 한다.
정보 처리 장치(21)는, 카메라(22) 및 발광 장치(23)를 제어한다. 또한, 정보 처리 장치(21)는, 카메라(22)의 촬상에 의해 얻어지는 촬상 화상에 기초하여, 유저의 손의 형상이나 움직임을 인식하고, 그 인식 결과에 대응하여 소정의 처리를 실행한다.
카메라(22)는, 유저 등의 피사체의 촬상에 사용하는 렌즈를 갖고 있으며, 그 렌즈의 전방면은, 가시광을 차단하는 가시광 커트 필터(22a)에 의해 덮어져 있다.
이로 인해, 햇볕, 혹은 형광등의 적외 성분을 제외하면, 카메라(22)는, 발광 장치(23)에 의해 피사체에 조사되는 불가시광의 반사광만을 수광하고, 그 결과 얻어지는 촬상 화상을 정보 처리 장치(21)에 공급하게 된다.
즉, 예를 들어 카메라(22)는, 발광 장치(23)에 의해 피사체에 조사되는 불가시광인 제1 파장의 광(예를 들어, 870[nm]의 근적외선)의 반사광만을 수광하고, 그 결과 얻어지는 제1 촬상 화상을, 정보 처리 장치(21)에 공급한다.
또한, 카메라(22)는, 발광 장치(23)에 의해 피사체에 조사되는 불가시광이며, 제1 파장과는 상이한 제2 파장의 광(예를 들어, 950[nm]의 근적외선)의 반사광만을 수광하고, 그 결과 얻어지는 제2 촬상 화상을 정보 처리 장치(21)에 공급한다.
또한, 본 실시 형태에서는, 햇볕, 혹은 형광등 등의 외광에 의한 적외 성분(예를 들어, 870[nm]의 근적외선이나 950[nm]의 근적외선)의 영향은 실질적으로 무시할 수 있는 조건에서 카메라(22)에 의한 촬상이 행하여지는 것으로 한다.
일반적인 카메라에서는, 가시광 영역쪽이 적외 영역과 비교하여 수광 감도가 높기 때문에, 가시광 커트 필터(22a)를 설치함으로써, 가시광의 영향을 저감할 수 있다. 이로 인해, 가시광의 영향을 거의 받지 않고, 발광 장치(23)로부터 피사체에 조사한 광의 반사광을 수광할 수 있으므로, 분광 반사율 특성을 이용한 피부 검출의 강건성을 향상시키는 것이 가능하게 된다.
또한, 이하에 있어서, 카메라(22)의 렌즈의 전방면은, 가시광 커트 필터(22a)에 의해 덮어져 있는 것으로서 설명하지만, 예를 들어 가시광에 의한 영향을 실질적으로 무시할 수 있는 상황 하에서는, 카메라(22)의 렌즈의 전방면을 가시광 커트 필터(22a)에 의해 가리지 않도록 구성하도록 해도 좋다.
발광 장치(23)는, 제1 파장의 광을 발광하는 LED(light emitting diode)(23a1 및 23a2), 및 제2 파장의 광을 발광하는 LED(23b1 및 23b2)에 의해 구성된다.
또한, 이하에 있어서, LED(23a1 및 23a2)를 구별할 필요가 없는 경우에는 LED(23a1 및 23a2)를 간단히 LED(23a)라고 한다. 또한, LED(23b1 및 23b2)를 구별할 필요가 없는 경우에는 LED(23b1 및 23b2)를 간단히 LED(23b)라고 한다.
LED(23a)와 LED(23b)는 정보 처리 장치(21)의 제어에 따라 교대로 발광한다.
또한, 제1 파장의 광의 반사광 및 제2 파장의 광의 반사광 각각에 있어서, 카메라(22)에 의해 수광되는 반사광의 강도(광량)가 동일해지도록 LED(23a)와 LED(23b)의 출력은 조정되어 있다.
즉, 제1 파장의 광에 대한 카메라(22)의 상대 감도 특성과, 제2 파장의 광에 대한 카메라(22)의 상대 감도 특성이 동일한 경우, 제1 및 제2 파장 각각의 광에 있어서의 반사율이 동일한 물체(예를 들어, 경면 등)에 대하여, 제1 파장의 광을 조사했을 때에 얻어지는 휘도값과, 제2 파장의 광을 조사했을 때에 얻어지는 휘도값을 동일값으로 하기 위해, 카메라(22)에 의해 수광되는 반사광의 강도(광량)가 동일해지도록 조정된다.
그런데 도 18을 참조하여 후술하는 바와 같이, 카메라(22)의 상대 감도 특성은, 통상 가시광 영역으로부터 이격될수록 감도가 작아지는 경향이 있고, 예를 들어 870[nm]에 있어서의 감도와 비교하여, 950[nm]에 있어서의 감도가 1/2 이하로 된다.
이로 인해, 일반적으로는, 제1 및 제2 파장 각각의 광에 있어서의 반사율이 동일한 물체에 대하여, 제1 파장의 광을 조사한 경우에 얻어지는 휘도값과, 제2 파장의 광을 조사한 경우에 얻어지는 휘도값이 동일해지도록, LED(23a)와 LED(23b)의 출력은, 예를 들어 카메라(22)의 상대 감도 특성 등에 따라서 조정되게 된다.
또한, LED(23a)와 LED(23b)는 도 1에 도시한 바와 같이 교대로 바둑판의 눈 형상으로 배치되어 있고, LED(23a 및 23b)의 전방면에는 LED(23a 및 23b)에 의해 발광되는 광을 균일하게 확산시키는 확산판(23c)이 설치되어 있다. 이에 의해, 피사체에는 제1 또는 제2 파장의 광이 불균일없이 조사된다.
또한, LED(23a 및 23b)에 의해서만, 제1 및 제2 파장의 광이 불균일없이 조사되는 경우에는 LED(23a 및 23b)의 전방면에 확산판(23c)을 설치하지 않도록 해도 좋다.
또한, 발광 장치(23)는 LED(23a)나 LED(23b)로부터 발광되는 광이, 적어도 유저의 손에 확실하게 조사되는 위치에 배치된다. 본 실시 형태에서는, 유저는, 카메라(22)의 렌즈면 앞에서 손의 형상을 변화시키는 점에서, 발광 장치(23)는, 예를 들어 카메라(22)와 근접된 상태로 배치된다.
본 실시 형태에서는, 발광 장치(23)는, 카메라(22)와 근접된 상태로 배치되어 있는 것으로서 설명하지만, 발광 장치(23)와 카메라(22)의 위치 관계는 이것에 한정되지 않는다. 즉, 카메라(22)의 렌즈면 앞에 위치하는 유저의 손을 조사할 수 있고, 그 조사에 의해 얻어지는 반사광을 카메라(22)에 더욱 확실하게 수광할 수 있는 위치 관계이면, 어느 위치 관계이든 좋다.
구체적으로는, 예를 들어 근접된 발광 장치(23)와 카메라(22)를 분리하여, 발광 장치(23)를, 카메라(22)보다 유저의 손에 가까운 위치에 배치하도록 하면, 발광 장치(23)와 카메라(22)를 근접한 상태로 배치하는 경우와 비교하여, 발광 장치(23)와 유저의 손의 거리를 짧게 할 수 있다.
이 경우, 발광 장치(23)와 카메라(22)를 근접한 상태로 배치하는 경우와 비교하여, 발광 장치(23)와 유저의 손의 거리가 짧아지기 때문에, 발광 장치(23)의 소비 전력을 저감하는 것이 가능하게 된다.
[정보 처리 장치(21)의 구성예]
도 2는, 정보 처리 장치(21)의 구성예를 도시하고 있다.
정보 처리 장치(21)는, 제어부(41), 2치화부(42), 피부 추출부(43), 임계값 결정부(44), 마스크 화상 생성부(45) 및 형상 추출부(46)에 의해 구성된다.
제어부(41)는, 발광 장치(23)를 제어하여, LED(23a)와 LED(23b)를 교대로 발광시킨다.
2치화부(42)에는, 카메라(22)로부터 제1 촬상 화상 및 제2 촬상 화상이 공급된다. 2치화부(42)는, 카메라(22)로부터 공급되는 제1 및 제2 촬상 화상에 기초하여, 제1 촬상 화상으로부터, 유저의 피부를 나타내는 피부 영역과, 피부 영역 이외의 영역을 추출(검출)한다.
또한, 2치화부(42)는, 피부 영역과, 피부 영역 이외의 영역을 추출하는 대상으로서 제1 촬상 화상을 채용하도록 했지만, 그 외, 예를 들어 후술하는 바와 같이, 추출하는 대상으로서 제2 촬상 화상 등을 채용할 수 있다.
그리고 2치화부(42)는, 추출한 피부 영역을 구성하는 화소의 화소값과, 피부 영역 이외의 영역을 구성하는 화소의 화소값이 각각 다른 값(예를 들어, 0과 1)으로 2치화된 2치화 피부 화상을 생성하여, 피부 추출부(43) 및 형상 추출부(46)에 공급한다.
피부 추출부(43) 및 마스크 화상 생성부(45)에는 카메라(22)로부터 제1 촬상 화상이 공급된다.
피부 추출부(43)는, 2치화부(42)로부터 공급되는 2치화 피부 화상에 기초하여, 카메라(22)로부터의 제1 촬상 화상으로부터, 2치화 피부 화상 내의 피부 영역에 대응하는 영역(유저의 피부 부분이 표시된 영역)을 추출한다.
그리고 피부 추출부(43)는, 추출한 영역을 포함하는 피부 화상을 생성하여, 임계값 결정부(44)에 공급한다. 또한, 피부 추출부(43)는, 추출한 영역을 피부 화상으로서, 임계값 결정부(44)에 공급하도록 해도 좋다.
임계값 결정부(44)는, 피부 추출부(43)로부터의 피부 화상에 기초하여, 피부 화상(을 구성하는 화소의 휘도값)의 히스토그램을 작성한다. 그리고 임계값 결정부(44)는, 작성한 피부 화상의 히스토그램에 기초하여, 후술하는 마스크 화상을 생성하기 위하여 사용되는 마스크 임계값을 결정하여, 마스크 화상 생성부(45)에 공급한다.
또한, 본 실시 형태에 있어서, 임계값 결정부(44)는, 마스크 임계값을 결정하기 위해, 피부 화상을 구성하는 화소의 휘도값의 분포를 나타내는 것으로서, 예를 들어 피부 화상의 히스토그램을 사용하도록 하고 있지만, 피부 화상을 구성하는 화소의 휘도값의 분포를 나타내는 것이면, 피부 화상의 히스토그램에 한정되지 않고, 어떤 정보든 좋다.
또한, 임계값 결정부(44)는, 도 7을 참조하여 후술하는 바와 같이, 피부 화상의 히스토그램에 기초하여, 피부 화상을 구성하는 화소의 휘도값의 최대값이나 극소값을 산출하여, 마스크 임계값으로 결정하도록 하고 있지만, 이것에 한정되지 않는다.
즉, 예를 들어 임계값 결정부(44)는, 피부 화상의 히스토그램에 기초하여, 피부 화상을 구성하는 화소의 휘도값에 관한 평균값, 분산값, 최소값, 최대값 등을 산출하고, 산출한 평균값, 분산값, 최소값, 최대값 등을 사용하여, 마스크 임계값을 결정하도록 해도 좋다.
마스크 화상 생성부(45)는, 임계값 결정부(44)로부터의 마스크 임계값에 기초하여, 카메라(22)로부터 공급되는 제1 촬상 화상으로부터 마스크 화상을 생성하여, 형상 추출부(46)에 공급한다.
또한, 마스크 화상이란, 제1 촬상 화상 내의 영역 중 마스크 임계값에 의해 특정되는 휘도값의 범위에 포함되는 휘도값의 화소에 의해 구성되는 마스크 영역과, 그 이외의 영역인 비마스크 영역으로 2치화된 화상을 의미한다.
형상 추출부(46)는, 마스크 화상 생성부(45)로부터의 마스크 화상에 기초하여, 2치화부(42)로부터의 2치화 피부 화상으로부터, 마스크 화상 내의 마스크 영역에 대응하는 영역으로서, 예를 들어 유저의 손의 형상을 나타내는 형상 영역을 추출한다.
그리고 형상 추출부(46)는, 추출한 형상 영역에 기초하여, 손의 형상을 인식하고, 그 인식 결과에 따른 처리를 행하여, 그 처리 결과를 후단에 출력한다.
또한, 2치화부(42)는, 제1 촬상 화상으로부터, 피부 영역과, 피부 영역 이외의 영역을 추출하도록 했지만, 제2 촬상 화상으로부터, 피부 영역과, 피부 영역 이외의 영역을 추출하도록 해도 좋다. 이 경우, 피부 추출부(43) 및 마스크 화상 생성부(45)에는 제1 촬상 화상 대신에, 카메라(22)로부터 제2 촬상 화상이 공급된다.
그리고 피부 추출부(43)는, 제2 촬상 화상으로부터 피부 화상을 생성하고, 마스크 화상 생성부(45)는, 제2 촬상 화상으로부터 마스크 화상을 생성하게 된다.
그 외, 예를 들어 피부 추출부(43)는, 제1 촬상 화상과, 제2 촬상 화상을 소정의 비율로 합성하여 얻어지는 새로운 합성 화상(예를 들어, 제1 및 제2 촬상 화상 각각의, 대응하는 화소의 휘도값의 평균을, 휘도값으로서 갖는 합성 화상(1대1의 비율로 합성한 합성 화상) 등)을 대상으로 하여, 피부 영역과, 피부 영역 이외의 영역을 추출하도록 해도 좋다.
즉, 피부 추출부(43)는, 제1 또는 제2 촬상 화상 상에 표시되어 있는 피사체와 동일한 피사체가 동일한 위치에 표시된 표시 화상이면, 피부 영역과, 피부 영역 이외의 영역을 추출하는 대상의 화상으로서 채용할 수 있다.
[2치화 피부 화상의 생성]
이어서, 도 3 내지 도 5를 참조하여, 2치화부(42)가 2치화 피부 화상을 생성하는 처리의 상세를 설명한다.
또한, 도 3 및 도 4에서는, 카메라(22)의 촬상에 의해 얻어지는 제1 촬상 화상 및 제2 촬상 화상에 대하여 설명한다. 또한, 도 5에서는, 제1 촬상 화상 및 제2 촬상 화상에 기초하여, 2치화부(42)에 의해 생성되는 2치화 피부 화상에 대하여 설명한다.
도 3은, 파장의 다른 조사광에 대한 인간의 피부의 반사 특성을 나타내고 있다.
또한, 이 반사 특성은, 인간의 피부의 색의 차이(인종의 차이)나 상태(햇볕에 그을림 등) 등과 상관없이, 일반성이 있는 것이다.
도 3에 있어서, 횡축은, 인간의 피부에 조사하는 광의 파장을 나타내고 있고, 종축은, 인간의 피부에 조사된 광의 반사율을 나타내고 있다.
인간의 피부에 조사된 광의 반사율은, 800[nm] 부근을 피크로 하여, 900[nm] 부근부터 급격하게 감소하다가, 1000[nm] 부근을 극소값으로 하여 다시 상승하는 것이 알려져 있다.
구체적으로는, 예를 들어 도 3에 도시한 바와 같이, 인간의 피부에 대하여, 870[nm]의 광을 조사하여 얻어지는 반사광의 반사율은 약 63[%]이며, 950[nm]의 광을 조사하여 얻어지는 반사광의 반사율은 약 50[%]이다.
이것은, 인간의 피부에 대하여 특유한 것이며, 인간의 피부 이외의 물체(예를 들어, 두발이나 의복 등)에서는, 800 내지 1000[nm] 부근에서 반사율의 변화는 완만해지는 경우가 많다. 또한, 도시는 생략하고 있지만, 두발의 예에서는, 800 내지 1000[nm] 부근에서 파장이 길어질수록 반사율도 완만하게 상승한다. 그리고 두발의 예에서는, 870[nm]의 광을 조사하여 얻어지는 반사광의 반사율은 약 6[%]이며, 950[nm]의 광을 조사하여 얻어지는 반사광의 반사율은 약 8[%]이다.
이어서, 도 4를 참조하여, 카메라(22)의 촬상에 의해 얻어지는 제1 및 제2 촬상 화상을 설명한다.
도 4는, 유저에게 조사되는 870[nm]의 광의 반사광을 수광하여 얻어지는 제1 촬상 화상 및 유저에게 조사되는 950[nm]의 광의 반사광을 수광하여 얻어지는 제2 촬상 화상 각각의 일례를 나타내고 있다.
도 4의 A에는, 유저의 피부 영역으로서, 유저의 얼굴(61) 및 사람(62)이 표시되어 있으며, 유저의 피부 영역 이외의 영역으로서, 유저가 착용하고 있는 셔츠(63) 및 배경(64)이 표시된 제1 촬상 화상이 표시되어 있다.
또한, 도 4의 B에는, 유저의 피부 영역으로서, 유저의 얼굴(81) 및 손(82)이 표시되어 있으며, 유저의 피부 영역 이외의 영역으로서, 유저가 착용하고 있는 셔츠(83) 및 배경(84)이 표시된 제2 촬상 화상이 표시되어 있다.
여기서, 도 3에 있어서 상술한 바와 같이, 유저의 피부 부분에 있어서의 반사 특성에서는, 파장이 870[nm]인 광의 반사율은, 파장이 950[nm]인 광의 반사율보다 크게 되어 있다.
따라서, 870[nm]의 광을 유저에게 조사하는 경우, 카메라(22)의 렌즈에는 유저의 피부 부분에 조사된 광의 반사광으로서, 950[nm]의 광을 조사하는 경우의 반사광의 밝기보다 밝은 광이 입사된다.
이로 인해, 제1 촬상 화상 내의, 유저의 피부 영역(얼굴(61) 및 손(62))을 구성하는 화소의 휘도값은, 각각, 제2 촬상 화상 내의, 유저의 피부 영역(얼굴(81) 및 손(82))을 구성하는 화소의 휘도값보다 큰 값으로 된다.
따라서, 제1 촬상 화상 내의, 유저의 피부 영역을 구성하는 화소의 휘도값으로부터, 제2 촬상 화상 내의, 대응하는 유저의 피부 영역을 구성하는 화소의 휘도값 각각을 차감하여 얻어지는 차분은, 양의 값으로 된다.
이에 대해, 유저의 피부 부분 이외의 부분에 있어서의 반사 특성에서는, 파장이 870[nm]인 광의 반사율은, 파장이 950[nm]인 광의 반사율과 변함없거나, 그보다 작게 되어 있는 경우가 많다.
따라서, 870[nm]의 광을 유저에게 조사하는 경우, 카메라(22)의 렌즈에는, 유저의 피부 부분 이외의 부분에 조사된 광의 반사광으로서, 950[nm]의 광을 조사하는 경우의 반사광의 밝기와 동일한 밝기의 광이거나, 그보다 어두운 광이 입사된다.
이로 인해, 제1 촬상 화상 내의, 유저의 피부 영역 이외의 영역(셔츠(63) 및 배경(64))을 구성하는 화소의 휘도값은, 각각 제2 촬상 화상 내의, 유저의 피부 영역 이외의 영역(셔츠(83) 및 배경(84))을 구성하는 화소의 휘도값과 동일값이나, 그 값보다 작은 값으로 된다.
따라서, 제1 촬상 화상 내의, 유저의 피부 부분 이외의 부분을 구성하는 화소의 휘도값으로부터, 제2 촬상 화상 내의, 대응하는 유저의 피부 부분의 부분을 구성하는 화소의 휘도값 각각을 차감하여 얻어지는 차분은 값 0 이하의 값(양이 아닌 값)으로 된다.
이로 인해, 2치화부(42)는, 제1 촬상 화상과 제2 촬상 화상의, 대응하는 화소의 휘도값끼리의 차분을 산출하고, 산출한 차분에 기초하여, 유저의 피부 영역과, 유저의 피부 영역 이외의 영역을 추출한다. 그리고 2치화부(42)는, 추출한 유저의 피부 영역을 값 1로 하고 추출한 유저의 피부 영역 이외의 영역을 값 0으로 한 2치화 피부 화상을 생성한다.
즉, 예를 들어 2치화부(42)는, 산출한 차분(제1 촬상 화상을 구성하는 화소의 휘도값으로부터, 대응하는 제2 촬상 화상을 구성하는 화소의 휘도값을 감하여 얻어지는 차분)이 양인 경우, 대응하는 화소를 유저의 피부 영역을 구성하는 화소로서 추출하고, 산출한 차분이 양이 아닌 경우, 대응하는 화소를 유저의 피부 영역 이외의 영역을 구성하는 화소로서 추출한다.
그리고 2치화부(42)는, 유저의 피부 영역을 구성하는 화소로서 추출한 화소의 화소값을 1로 설정하고, 유저의 피부 영역 이외의 영역을 구성하는 화소로서 추출한 화소의 화소값을 0으로 설정함으로써, 2치화 피부 화상을 생성하여, 피부 추출부(43) 및 형상 추출부(46)에 공급한다.
또한, 유저의 피부 부분 이외의 부분에 있어서의 반사율에 따라서는, 피부 부분 이외의 부분에 있어서 산출된 차분이, 피부 부분에 있어서 산출된 차분보다는 작지만, 양의 값으로 되는 경우가 발생할 수 있다. 따라서, 차분이 양이어도, 소정의 임계값 미만인 경우에는 유저의 피부 부분 이외의 부분으로서, 화소값 0을 설정하도록 구성하는 것이 바람직하다.
즉, 2치화부(42)는, 산출한 차분이, 미리 결정된 소정의 임계값 이상인지의 여부를 판정하여, 소정의 임계값 이상인 경우, 대응하는 화소를 유저의 피부 영역을 구성하는 화소로서 추출하고, 소정의 임계값 이상이 아닌 경우, 대응하는 화소를 유저의 피부 영역 이외의 영역을 구성하는 화소로서 추출하도록 하여, 2치화 피부 화상을 생성하는 것이 바람직하다.
여기서, 제1 촬상 화상을 구성하는 화소의 휘도값(L1)과, 그 화소에 대응하는, 제2 촬상 화상을 구성하는 화소의 휘도값(L2)의 차분(L1-L2)은, 피사체에 있어서의, 제1 파장의 광의 반사율과 제2 파장의 광의 반사율의 차이에 대응하는 것이 되므로, 피부 영역에 있어서의 차분(L1-L2)은, 이상적으로는 일정값(C1(L1-L2=63[%]-50[%]=13))으로 된다.
그러나 실제로는, 피부 영역에 있어서의 휘도값(L1 및 L2)은 발광 장치(23)부터 피사체까지의 거리 및 카메라(22)의 촬상 조건 등에 기인하여 변화할 수 있으므로, 피부 영역에 있어서의 차분(L1-L2)은 일정값(C1)은 되지 않는 경우가 발생할 수 있다.
이 경우, 2치화부(42)는, 차분(L1-L2)마다 상이한 임계값을 사용해야 하므로, 매우 번잡한 처리로 되어 버린다.
따라서, 2치화부(42)는, 차분(L1-L2)을 정규화하도록 하고, 차분(L1-L2)을 제1 파장의 광의 반사율과 제2 파장의 광의 반사율의 차이에 대응한 일정값(C2)으로 함으로써, 복수의 차분(L1-L2)에 있어서 동일한 임계값을 사용하도록 할 수 있다.
이와 같이, 예를 들어 2치화부(42)는, 차분(L1-L2)을 휘도값(L1 또는 L2)의 한쪽으로 정규화(제산)하면, 정규화 후의 차분((L1-L2)/L1 또는 (L1-L2)/L2)에 대하여, 미리 준비되어 있는 동일한 임계값을 사용할 수 있으므로, 차분(L1-L2)마다 상이한 임계값을 준비할 필요가 없다. 또한, 여기에서는 휘도값(L1 또는 L2)의 한쪽으로 정규화한 예를 나타냈지만, 차분을 휘도값(L1 또는 L2)에 관련한 휘도값 관련값으로 정규화하면 되는데, 예를 들어 (L1+L2)/2나 (L1+L2)로 정규화해도 좋다.
따라서, 2치화부(42)가, 임계값을 미리 유지해 두기 위하여 내장하고 있는 메모리(도시하지 않음)의 용량을 적게 할 수 있다. 또한, 2치화부(42)는, 차분(L1-L2)과 무관하게, 동일한 임계값을 사용하도록 하면, 차분(L1-L2)마다 임계값을 변경하는 수고를 줄일 수 있으므로, 2치화 피부 화상을 생성하기 위한 연산량을 억제하여, 더욱 신속하게 2치화 피부 화상을 생성하는 것이 가능하게 된다.
또한, 다른 방법으로서, 2치화부(42)는, 차분(L1-L2)이 아니라, 비(L1/L2)에 기초하여, 피부 영역과 비피부 영역을 추출하도록 구성할 수 있다. 이것은, 발광 장치(23)부터 피사체까지의 거리 및 카메라(22)의 촬상 조건 등에 기인하여 피부 영역에 있어서의 휘도값(L1 및 L2)이 변화했다고 해도 피부 영역에 있어서의 비(L1/L2)(=63[%]/50[%])는 일정값(C3)으로 되는 것을 이용한 것이다.
또한, 비(L1/L2)를 사용하는 경우에는, 비(L1/L2)와 비교되는 임계값으로서, 예를 들어 일정값(C3-α(α>0))이 채용되는데, 2치화부(42)는 비(L1/L2)가 임계값 이상인 경우 피부 영역으로서 추출하고, 비(L1/L2)가 임계값 미만인 경우 비피부 영역으로서 추출하게 된다.
또한, 2치화부(42)는, 제1 촬상 화상과 제2 촬상 화상의, 대응하는 화소의 휘도값끼리의 차분 절대값을 산출하고, 산출한 차분 절대값이 소정의 임계값 이상인지의 여부에 기초하여, 유저의 피부 부분(피부 영역)과, 그 이외의 부분(피부 영역 이외의 영역)을 추출하여, 2치화 피부 화상을 생성하도록 해도 좋다.
이것은, 반사 특성에 의해, 유저의 피부 부분에 대응하는 차분 절대값은 비교적 큰 값으로 되고, 유저의 피부 부분 이외의 부분에 대응하는 차분 절대값은 비교적 작은 값으로 되는 것을 이용하고 있다.
또한, 차분 절대값을 사용하는 경우에도, 휘도값(L1 또는 L2) 등에 의해 정규화함으로써, 어느 한쪽의 차분 절대값에 있어서도, 동일한 임계값을 사용할 수 있게 된다.
또한, 차분 절대값을 사용하는 방법에서는, 피부와 두발과 같이, 제1 및 제2 파장 부근에서의 반사율의 증감이 반대인 것을 오검출할 우려가 있으므로, 휘도값도 가미하여 피부 영역을 추출하는 것이 바람직하다. 즉, 예를 들어 차분 절대값을 사용하여 추출된 피부 영역 중 휘도값(L1)(또는 휘도값(L2))의 높은 부분만을 최종적인 피부 영역으로서 추출하면 된다.
이어서, 도 5는, 2치화부(42)에 의해 생성되는 2치화 피부 화상의 일례를 나타내고 있다.
도 5에 도시한 2치화 피부 화상에 있어서, 흑색으로 표시되는 부분은, 화소값 1로 표시되는 피부 영역을 나타내고 있다. 이 피부 영역은, 유저의 얼굴의 피부 부분을 나타내는 얼굴 영역(101) 및 유저의 손의 피부 부분을 나타내는 손 영역(102)에 의해 구성되어 있다.
또한, 도면의 사정상, 도 5에 도시한 얼굴 영역(101)에는, 얼굴의 피부 부분 외에, 눈썹이나 눈, 머리카락 등도 기재하고 있지만, 실제로는 얼굴 영역(101)은, 얼굴의 피부 부분으로만 구성된다.
또한, 도 5에 도시한 2치화 피부 화상에 있어서, 백색으로 표시되는 부분은, 화소값 0으로 표시되는, 피부 영역 이외의 영역을 나타내고 있다.
2치화부(42)는, 생성한 2치화 피부 화상을, 피부 추출부(43) 및 형상 추출부(46)에 공급한다.
피부 추출부(43)는, 2치화부(42)로부터의 2치화 피부 화상에 기초하여, 카메라(22)로부터 공급되는 제1 촬상 화상으로부터, 2치화 피부 화상 내의 얼굴 영역(101) 및 손 영역(102)에 대응하는 영역(얼굴(61)과 손(62)이 표시된 영역)을 추출한다. 그리고 피부 추출부(43)는, 추출한 영역을 포함하는 피부 화상을 생성한다.
[피부 화상의 생성]
이어서, 도 6을 참조하여, 피부 추출부(43)가, 2치화부(42)로부터의 2치화 피부 화상에 기초하여, 제1 촬상 화상으로 피부 화상을 생성하는 처리를 설명한다.
도 6은, 피부 추출부(43)에 의해 추출되는 피부 화상의 일례를 나타내고 있다. 도 6에 도시한 피부 화상에는, 유저의 얼굴(61) 및 손(62)이 표시되어 있다.
또한, 도면의 사정상, 도 6에 도시한 피부 화상에는, 유저의 얼굴(61)로서, 얼굴의 피부 부분 외에, 눈썹이나 눈, 머리카락 등도 기재하고 있지만, 실제로는 도 6에 도시한 얼굴(61)은 얼굴의 피부 부분만을 나타내고 있다.
피부 추출부(43)는, 2치화부(42)로부터의 2치화 피부 화상과, 카메라(22)로부터의 제1 촬상 화상의 대응하는 화소의 휘도값끼리를, 각각 승산한다.
그리고 피부 추출부(43)는, 제1 촬상 화상을 구성하는 화소 중 그 승산 결과가 0이 아닌 화소에 의해 구성되는 영역(얼굴(61)과 손(62)이 표시된 영역)을 추출하고, 추출한 영역을 포함하는 피부 화상을 생성한다.
이에 의해, 제1 촬상 화상 내의 영역 중 2치화 피부 화상의 얼굴 영역(101)에 대응하는 영역에 포함되는 얼굴(61) 및 2치화 피부 화상의 손 영역(102)에 대응하는 영역에 포함되는 손(62)에 대해서는, 그대로 추출되고, 2치화 피부 화상의 피부 영역 이외의 영역에 대응하는 영역(도 6에 있어서 백색으로 표시된다)에 대해서는, 예를 들어 그 휘도값이 값 255로 되어, 제1 촬상 화상으로부터, 도 6에 도시한 바와 같은 피부 화상이 생성된다.
피부 추출부(43)는, 생성한 피부 화상을 임계값 결정부(44)에 공급한다.
임계값 결정부(44)는, 피부 추출부(43)로부터의 피부 화상에 기초하여, 마스크 화상을 생성하기 위하여 사용되는 마스크 임계값을 결정한다.
[마스크 임계값의 결정]
이어서, 도 7을 참조하여, 임계값 결정부(44)가 마스크 임계값을 결정하는 처리의 상세를 설명한다.
도 7은, 피부 화상의 히스토그램의 일례를 나타내고 있다.
도 7에 있어서, 횡축은, 피부 화상을 구성하는 화소의 휘도값을 나타내고 있다. 또한, 종축은, 횡축의 휘도값에 대응하는 화소의 화소 수를 나타내고 있다.
또한, 도 7의 히스토그램에 있어서, 본래는, 도 6의 피부 화상에 있어서, 백색 부분으로 표시된 영역을 구성하는 화소의 휘도값 255에 관한 화소 수도 표시되지만, 휘도값 255에 관한 화소 수는, 마스크 임계값을 결정하기 위하여 사용되지 않기 때문에, 도시를 생략하고 있다.
임계값 결정부(44)는, 피부 추출부(43)로부터의 피부 화상을 구성하는 화소의 휘도값에 대해, 도 7에 도시된 바와 같은 히스토그램을 작성한다.
도 7의 히스토그램에서는, 휘도값 0부터 휘도값 54까지의 사이와, 휘도값 55부터 휘도값 110까지의 사이에, 많은 화소 수가 치우쳐 표시되어 있다.
그런데 상술한 바와 같이, 카메라(22)로부터 가까운 위치에 손이 존재하고, 카메라(22)로부터 먼 위치에 얼굴이나 가슴 등이 존재하는 것을 전제로 하고 있다.
또한, 예를 들어 발광 장치(23)의 LED(23a) 및 LED(23b)는, 카메라(22)에 근접한 상태에서 발광하기 때문에, 카메라(22)(발광 장치(23))로부터 가까운 위치에 존재하는 유저의 부위(지금의 경우, 손)일수록 휘도값이 커지고, 카메라(22)로부터 먼 위치에 존재하는 유저의 부위(지금의 경우, 얼굴 등)일수록 휘도값이 작아진다.
따라서, 카메라(22)로부터 가까운 위치에 존재하는 손의 피부 부분을 구성하는 화소의 휘도값은, 카메라(22)로부터 먼 위치에 존재하는 얼굴의 피부 부분을 구성하는 화소의 휘도값보다 큰 값으로 된다.
이로 인해, 휘도값 0부터 휘도값 54까지의 휘도값은 얼굴(61)(의 영역)을 구성하는 화소의 휘도값이며, 휘도값 55부터 휘도값 110까지의 휘도값은 손(62)을 구성하는 화소의 휘도값이다.
임계값 결정부(44)는, 화소 수가 극소로 될 때의 휘도값(이 예에서는 휘도값 55)을 하한 임계값(Th_L)으로 결정함과 함께, 최대의 휘도값(이 예에서는 휘도값 110)을 상한 임계값(Th_H)으로 결정한다.
또한, 하한 임계값(Th_L)은, 예를 들어 다음과 같이 하여 구해도 좋다. 즉, 예를 들어 임계값 결정부(44)는, 도 7에 도시된 바와 같은 히스토그램을 나타내는 함수 y=f(x)(y는 화소 수를 나타내고, x는 휘도값을 나타낸다)를 생성한다. 그리고 임계값 결정부(44)는, 생성한 함수 f(x)를 1회 미분하여 1차 도함수 f'(x)를 생성하여, 1차 도함수 f'(x)가 음의 값으로부터 양의 값으로 변화할 때이며, 함수 f'(x)=0이 될 때의 x(예를 들어, x=55), 즉 함수 f(x)가 극소로 될 때의 x를, 하한 임계값(Th_L)으로 결정한다.
또한, 상한 임계값(Th_H)을 최대의 휘도값으로 결정했지만, 그 외, 예를 들어 1차 도함수 f'(x)가 음의 값으로부터 값 0으로 될 때의 x의 값(예를 들어, x=110)을 상한 임계값(Th_H)으로 결정하도록 해도 좋다.
그런데 상술한 바와 같이, 임계값 결정부(44)는, 피부 화상을 구성하는 화소의 휘도값에 관한 평균값, 분산값, 최소값, 최대값 등을 사용하여, 마스크 임계값을 결정할 수도 있다.
즉, 예를 들어 임계값 결정부(44)는, 피부 화상을 구성하는 화소의 휘도값에 관한 평균값을, 하한 임계값(Th_L)으로 결정하도록 해도 좋고, 피부 화상을 구성하는 화소의 휘도값에 관한 최대값의 1/2을 하한 임계값(Th_L)으로 결정하도록 해도 좋다. 또한, 예를 들어 임계값 결정부(44)는, 피부 화상을 구성하는 화소의 휘도값에 관한 최소값과 최대값의 평균을 하한 임계값(Th_L)으로 결정하도록 해도 좋다.
또한, 임계값 결정부(44)는, 예를 들어 분산값마다 하한 임계값(Th_L)을 결정하기 위한 임계값 결정용 함수를 미리 준비해 두고, 피부 화상을 구성하는 화소의 휘도값에 관한 분산값에 대응하는 임계값 결정용 함수에 의해, 하한 임계값(Th_L)을 결정하도록 해도 좋다. 또한, 임계값 결정용 함수는, 예를 들어 피부 화상을 구성하는 화소의 휘도값에 관한 최소값이나 최대값 등을 변수로서 갖는 함수 등을 채용할 수 있다.
이 경우, 함수 f(x)를 생성하고, 생성한 함수 f(x)로부터 1차 도함수 f'(x)를 더 생성하도록 하고, 그 1차 도함수 f'(x)에 기초하여 하한 임계값(Th_L)을 결정하는 경우와 비교하여, 하한 임계값(Th_L)으로 결정되는 값을 용이하게 산출할 수 있으므로, 더욱 신속하게 하한 임계값(Th_L)을 결정하는 것이 가능하게 된다.
또한, 임계값 결정부(44)는, 예를 들어 피부 화상을 구성하는 화소의 휘도값에 관한 최대값을 상한 임계값(Th_H)으로 결정하도록 하고 있지만, 하한 임계값(Th_L)의 경우와 마찬가지로 하여, 피부 화상을 구성하는 화소의 휘도값에 관한 평균값, 분산값, 최소값, 최대값 등을 사용하여, 상한 임계값(Th_H)을 결정할 수 있다.
즉, 예를 들어 도 6의 피부 화상에 있어서, 얼굴(61) 및 손(62) 이외에 다른 피부 부분이 표시되어 있기 때문에, 도 7의 히스토그램에 있어서, 값 110보다 큰 휘도값이 존재함으로써, 휘도값 55와 마찬가지로, 휘도값 110이 극소로 되어 있는 경우 등에는, 상한 임계값(Th_H)을 하한 임계값(Th_L)과 마찬가지로 하여 결정할 수 있다.
임계값 결정부(44)는, 결정한 하한 임계값(Th_L) 및 상한 임계값(Th_H)을 마스크 임계값으로서, 마스크 화상 생성부(45)에 공급한다.
마스크 화상 생성부(45)는, 임계값 결정부(44)로부터의 마스크 임계값(하한 임계값(Th_L) 및 상한 임계값(Th_H))에 기초하여, 카메라(22)로부터의 제1 촬상 화상으로부터, 마스크 영역과 비마스크 영역을 검출하고, 검출한 마스크 영역과 비마스크 영역이, 각각 다른 값으로 2치화된 마스크 화상을 생성한다.
즉, 예를 들어 마스크 화상 생성부(45)는, 발광 장치(23)로부터 가까운 위치에 존재하기 때문에, 휘도값이 크게 되어 있는 유저의 부위(지금의 경우, 손)에 대응하는 영역으로서, 하한 임계값(Th_L) 이상이며 상한 임계값(Th_H) 이하의 휘도값을 갖는 화소에 의해 구성되는 마스크 영역을 검출한다.
또한, 예를 들어 마스크 화상 생성부(45)는, 발광 장치(23)로부터 먼 위치에 존재하기 때문에, 휘도값이 작게 되어 있는 유저의 부위(지금의 경우, 얼굴 등)에 대응하는 영역으로서, 하한 임계값(Th_L) 이상이며 상한 임계값(Th_H) 이하의 범위에 포함되지 않는 휘도값을 갖는 화소에 의해 구성되는 비마스크 영역을 검출한다.
그리고 마스크 화상 생성부(45)는, 검출한 마스크 영역과 비마스크 영역이, 각각 다른 값으로 2치화된 마스크 화상을 생성한다.
[마스크 화상의 생성]
이어서, 도 8을 참조하여, 마스크 화상 생성부(45)가, 임계값 결정부(44)로부터의 마스크 임계값에 기초하여, 마스크 화상을 생성하는 처리의 상세를 설명한다.
도 8은 마스크 화상의 일례를 나타내고 있다. 도 8에 도시한 마스크 화상에 있어서, 흑색으로 표시되는 마스크 영역(121)은, 대응하는 제1 촬상 화상 내의 영역에 있어서, 휘도값이 하한 임계값(Th_L) 이상이며, 상한 임계값(Th_H) 이하인 영역을 나타내고 있다.
또한, 도 8에 도시한 마스크 화상에 있어서, 백색으로 표시되는 비마스크 영역은, 대응하는 제1 촬상 화상 내의 영역에 있어서, 하한 임계값(Th_L) 미만이거나, 또는 상한 임계값(Th_H)보다 큰 영역을 나타내고 있다.
마스크 화상 생성부(45)는, 카메라(22)로부터의 제1 촬상 화상을 구성하는 화소의 휘도값이, 하한 임계값(Th_L) 이상이며, 상한 임계값(Th_H) 이하인 경우에는, 그 휘도값의 화소를 마스크 영역에 포함되는 화소로서 검출하고, 그 휘도값을 화소값 1로 변환한다.
또한, 마스크 화상 생성부(45)는 카메라(22)로부터의 제1 촬상 화상을 구성하는 화소의 휘도값이, 하한 임계값(Th_L) 미만이거나, 또는 상한 임계값(Th_H)보다 큰 경우에는 그 휘도값의 화소를 비마스크 영역에 포함되는 화소로서 검출하고, 그 휘도값을 화소값 0으로 변환한다.
또한, 변환 후의 화소값은, 휘도값과는 다른 값이며, 0 또는 1 중 어느 하나로 되어 있는 값을 나타낸다.
이에 의해, 마스크 화상 생성부(45)는, 값 1을 갖는 화소에 의해 구성되는 마스크 영역(121)(흑색으로 표시된다)과, 값 0을 갖는 화소에 의해 구성되는 비마스크 영역(백색으로 표시된다)에 의해 구성되는 마스크 화상을 생성하여, 형상 추출부(46)에 공급한다.
여기서, 임계값 결정부(44)에 있어서, 하한 임계값(Th_L) 및 상한 임계값(Th_H)을 결정하도록 했지만, 예를 들어 마스크 임계값으로서, 하한 임계값(Th_L) 또는 상한 임계값(Th_H)의 한쪽을 결정하도록 해도 좋다.
즉, 예를 들어 카메라(22)로부터 마스크 화상 생성부(45)에 공급되는 제1 촬상 화상을 구성하는 화소의 휘도값의 최대값이, 인간의 피부에 대응하는 휘도값(예를 들어, 도 7의 휘도값 110)인 경우에는, 임계값 결정부(44)는 마스크 임계값으로서, 하한 임계값(Th_L)(예를 들어, 휘도값 55)만을 결정하도록 해도 좋다.
이 경우, 마스크 화상 생성부(45)는, 카메라(22)로부터의 제1 촬상 화상을 구성하는 화소의 휘도값이, 하한 임계값(Th_L) 이상인 경우에는 그 휘도값의 화소를 마스크 영역에 포함되는 화소로서 검출하고, 그 휘도값을 화소값 1로 변환하게 된다. 또한, 마스크 화상 생성부(45)는 카메라(22)로부터의 제1 촬상 화상을 구성하는 화소의 휘도값이, 하한 임계값(Th_L) 미만인 경우에는 그 휘도값의 화소를 비마스크 영역에 포함되는 화소로서 검출하고, 그 휘도값을 화소값 0으로 변환하게 된다.
또한, 임계값 결정부(44)가, 마스크 임계값으로서, 상한 임계값(Th_H)만을 결정하는 경우에는, 예를 들어 손(62)의 형상 대신에, 얼굴(61)의 형상을 추출할 때 등을 생각할 수 있다. 이때, 예를 들어 임계값 결정부(44)는, 도 7에 도시된 휘도값 55를, 마스크 임계값으로서의 상한 임계값(Th_H)으로 결정하게 된다.
형상 추출부(46)는, 마스크 화상 생성부(45)로부터의 마스크 화상에 기초하여, 2치화부(42)로부터의 2치화 피부 화상 내의 얼굴 영역(101) 및 손 영역(102)으로부터, 마스크 화상 내의 마스크 영역(121)에 대응하는 영역으로서, 예를 들어 유저의 손의 형상을 나타내는 형상 영역을 추출한다.
즉, 예를 들어 형상 추출부(46)는, 마스크 화상 생성부(45)로부터의 마스크 화상을 구성하는 마스크 영역(121) 및 비마스크 영역에 기초하여, 발광 장치(23)로부터 가까운 위치에 존재하기 때문에, 휘도값이 크게 되어 있는 유저의 부위(지금의 경우, 손(62))(마스크 영역(121)에 대응하는 유저의 부위)와, 발광 장치(23)로부터 먼 위치에 존재하기 때문에, 휘도값이 작게 되어 있는 유저의 부위(지금의 경우, 얼굴(61))(비마스크 영역에 대응하는 유저의 부위)의, 발광 장치(23)로부터의 상대적인 거리의 차이를 구별한다.
그리고 형상 추출부(46)는, 구별한 발광 장치(23)로부터의 상대적인 거리의 차이로부터, 예를 들어 발광 장치(23)로부터 가까운 위치에 존재하기 때문에, 휘도값이 크게 되어 있는 유저의 부위(지금의 경우, 손(62))를 구별하여, 형상 영역(지금의 경우, 손의 형상을 나타내는 영역)을 추출한다.
[손의 형상의 추출]
이어서, 도 9를 참조하여, 형상 추출부(46)가, 2치화 피부 화상으로부터, 유저의 손의 형상 등을 추출하는 처리의 상세를 설명한다.
도 9는, 형상 추출부(46)에 의해 추출되는 형상 영역을 포함하는 추출 화상의 표시예를 나타내고 있다.
도 9에 도시한 추출 화상에 있어서, 형상 영역(141)은, 유저의 손의 형상을 나타내고 있다.
형상 추출부(46)는, 마스크 화상 생성부(45)로부터의 마스크 화상을 구성하는 화소의 값과, 대응하는 2치화부(42)로부터의 2치화 피부 화상을 구성하는 화소의 값을 각각 승산한다.
그리고 형상 추출부(46)는, 그 승산 결과가 0이 아닌 2치화 피부 화상 내의 영역, 즉 2치화 피부 화상 내의 얼굴 영역(101) 및 손 영역(102)(도 5) 중 마스크 화상 내의 마스크 영역(121)(도 8)과 겹치는 부분을 형상 영역(141)으로서 추출한다.
또한, 형상 추출부(46)는, 추출한 형상 영역(141)에 기초하여, 유저의 손의 형상을 인식하고, 그 인식 결과에 따른 처리를 행한다.
또한, 도 8에 도시된 마스크 화상 내의 마스크 영역(121)에는, 유저의 손 외에, 유저가 착용하고 있는 셔츠가 포함되어 있다.
그러나 2치화 피부 화상 내의 얼굴 영역(101) 및 손 영역(102)에는, 유저가 착용하고 있는 셔츠는 포함되지 않기 때문에, 형상 추출부(46)에서는, 셔츠의 형상을 나타내는 영역을 추출하지 않고, 손의 형상만을 나타내는 형상 영역(141)을 정확하게 추출할 수 있다.
[형상 추출 처리의 동작 설명]
이어서, 정보 처리 시스템(1)이, 유저의 손의 형상 등을 추출하는 형상 추출 처리의 상세를 설명한다.
도 10은, 형상 추출 처리를 설명하기 위한 흐름도이다. 또한, 이 형상 추출 처리는, 정보 처리 시스템(1)의 전원이 온되었을 때부터 반복하여 실행된다.
이하, 유저가, 카메라(22) 앞에 존재할 때에 행해진 형상 추출 처리에 대하여 설명한다.
스텝 S1에 있어서, 제어부(41)는, 발광 장치(23)의 LED(23a)를 제어하여, 제1 파장의 광의 발광을 개시시킨다. 또한, 제어부(41)는, LED(23b)가 발광하고 있는 경우에는 LED(23b)의 발광을 정지한 후, LED(23a)의 발광을 개시시킨다.
스텝 S2에 있어서, 카메라(22)는 제1 파장의 광이 조사되어 있는 유저를 촬상하고, 그 결과 얻어지는 제1 촬상 화상을 정보 처리 장치(21)에 공급한다.
스텝 S3에 있어서, 제어부(41)는, 발광 장치(23)의 LED(23a)를 제어하여, 제1 파장의 광의 발광을 정지시키고, 발광 장치(23)의 LED(23b)를 제어하여, 제2 파장의 광의 발광을 개시시킨다.
스텝 S4에 있어서, 카메라(22)는 제2 파장의 광이 조사되어 있는 유저를 촬상하고, 그 결과 얻어지는 제2 촬상 화상을 정보 처리 장치(21)에 공급한다.
스텝 S5에 있어서, 2치화부(42)는, 카메라(22)로부터 공급되는 제1 촬상 화상과 제2 촬상 화상의, 대응하는 화소의 휘도값끼리의 차분에 기초하여, 도 5에 도시된 바와 같은 2치화 피부 화상을 생성하여, 피부 추출부(43) 및 형상 추출부(46)에 공급한다.
스텝 S6에 있어서, 피부 추출부(43)는, 2치화부(42)로부터 공급되는 2치화 피부 화상에 기초하여, 카메라(22)로부터의 제1 촬상 화상으로부터, 2치화 피부 화상 내의 피부 영역에 대응하는 영역(유저의 피부 부분이 표시된 영역)을 추출한다.
그리고 피부 추출부(43)는 추출한 영역을 포함하는 피부 화상을 생성하여, 임계값 결정부(44)에 공급한다.
스텝 S7에 있어서, 임계값 결정부(44)는 피부 추출부(43)로부터의 피부 화상을 구성하는 화소의 휘도값에 기초하여, 도 7에 도시된 바와 같은 피부 화상의 히스토그램을 작성한다.
스텝 S8에 있어서, 임계값 결정부(44)는, 작성한 피부 화상의 히스토그램에 기초하여, 화소 수가 극소로 될 때의 휘도값을 하한 임계값(Th_L)으로 결정함과 함께, 최대의 휘도값을 상한 임계값(Th_H)으로 결정한다.
그리고 임계값 결정부(44)는, 결정한 하한 임계값(Th_L) 및 상한 임계값(Th_H)을 마스크 임계값으로서 마스크 화상 생성부(45)에 공급한다.
스텝 S9에 있어서, 마스크 화상 생성부(45)는, 임계값 결정부(44)로부터의 마스크 임계값(하한 임계값(Th_L) 및 상한 임계값(Th_H))에 기초하여, 카메라(22)로부터의 제1 촬상 화상을 2치화하고, 도 8에 도시된 바와 같은 마스크 화상을 생성하여, 형상 추출부(46)에 공급한다.
스텝 S10에 있어서, 형상 추출부(46)는, 마스크 화상 생성부(45)로부터의 마스크 화상에 기초하여, 2치화부(42)로부터의 2치화 피부 화상으로부터, 마스크 화상 내의 마스크 영역에 대응하는 영역으로서, 예를 들어 유저의 손의 형상을 나타내는 추출 영역을 추출한다.
그리고 형상 추출부(46)는, 추출한 추출 영역에 의한 사람의 형상을 인식하고, 그 인식 결과에 따른 처리를 행하여, 그 처리 결과를 후단에 출력한다.
이상으로 형상 추출 처리는 종료된다.
이상 설명한 바와 같이, 형상 추출 처리에서는, 마스크 임계값에 기초하여, 1대의 카메라(22)에 의해 촬상된 제1 촬상 화상으로 마스크 화상을 생성하고, 생성한 마스크 화상에 기초하여, 2치화 피부 화상으로부터 유저의 손의 형상을 추출하도록 했다.
따라서, 예를 들어 복수의 카메라에 의해 촬상된 복수의 촬상 화상에 기초하여, 카메라와 유저의 손 등의 거리를 나타내는 거리 화상을 생성하고, 그 거리 화상을 마스크 화상으로서 사용하여, 유저의 손의 형상을 추출하는 경우와 비교하여, 마스크 화상을 생성하기 위하여 필요로 하는 계산량을 적게 할 수 있음과 함께, 보다 적은 부품 수로, 유저의 손의 형상 등을 추출하는 것이 가능하게 된다.
또한, 형상 추출 처리에서는, 카메라(22)부터 유저의 얼굴까지의 거리와, 카메라(22)부터 손까지의 거리의 차이에 기초하여, 피부 부분으로서, 얼굴의 피부 부분이 포함되지 않고, 손의 피부 부분만이 포함되는 마스크 영역(121)과, 비마스크 영역으로 이루어지는 마스크 화상을 생성하도록 했다.
이로 인해, 2치화 피부 화상에 있어서, 추출해야 할 손을 포함하는 손 영역(102)과, 손 이외의 피부 부분인 얼굴을 포함하는 얼굴 영역(101)이 겹쳐 있는 경우에도, 마스크 영역(121)에는 피부 부분으로서, 얼굴의 피부 부분은 포함되지 않고 손의 피부 부분만이 포함되기 때문에, 2치화 피부 화상으로부터 손 영역(102)만을 추출할 수 있다.
따라서, 정확하게, 유저의 손의 형상을 추출하는 것이 가능하게 된다.
또한, 형상 추출 처리에서는, LED(23a) 및 LED(23b)로부터, 인간에게는 볼 수 없는 불가시의 근적외선(의 광)을 발광시키도록 했다.
따라서, 유저는, LED(23a) 및 LED(23b)로부터 발광되는 광을 시인할 수 없기 때문에, LED(23a) 및 LED(23b)로부터 발광되는 광이 눈부신 것에 의해 유저에게 불쾌한 생각이 들게 하지 않는다.
또한, 정보 처리 시스템(1)의 발광 장치(23)에 있어서, LED(23a) 및 LED(23b)의 전방면에 확산판(23c)을 설치하도록 했다.
이로 인해, LED(23a 및 23b)에 의해 발광되는 불가시광이 균일하게 확산되기 때문에, 광량에 의한 불균일이 없는 균일한 광이 피사체에 조사된다.
이에 의해, 피사체에 조사되는 불가시광의 반사광이, 광량에 의한 불균일이 없는 균일한 광으로서 카메라(22)에 의해 수광되기 때문에, 카메라(22)에 있어서, 광량에 의한 불균일이 없는 제1 및 제2 촬상 화상을 얻을 수 있다.
따라서, 정보 처리 시스템(1)에서는, 손의 형상 등을 추출하기 위해, 광량에 의한 불균일이 없는 제1 및 제2 촬상 화상을 사용하기 때문에, 예를 들어 광량에 의한 불균일한 제1 및 제2 촬상 화상을 사용하는 경우와 비교하여, 더욱 정확하게 손의 형상 등을 추출하는 것이 가능하게 된다.
또한, 정보 처리 시스템(1)에서는, 유저가 손의 형상을 변화시킬 때마다, 변화 후의 손의 형상을 인식할 수 있도록, 예를 들어 형상 추출 처리를 개시했을 때부터 80[ms] 정도에서 손의 형상을 추출할 수 있도록 구성하는 것이 바람직하다.
더욱 적합하게는, 예를 들어 형상 추출 처리를 개시했을 때부터 80[ms] 이내에서 손의 형상을 추출하도록 구성하는 것이 바람직하다. 이것은, 손의 형상을 추출하기 위한 처리 시간이 80[ms] 이내이면, 유저가 조작을 했을 때에 스트레스를 거의 느끼지 않는 것을, 미리 행한 실험 등에 의해 알 수 있었기 때문이다.
본원 발명에서는, 상술한 바와 같이, 예를 들어 차분(L1-L2)을 산출하여 정규화한 것을, 임계값과 비교한다는 매우 단순한 처리로 손의 형상을 추출하도록 하고 있기 때문에, 비교적 저렴하고 저속의 CPU(Central Processing Unit)를 사용한 경우에도 80[ms] 이내의 처리 시간을 용이하게 실현할 수 있다.
이에 반하여, 종래의 패턴 매칭 방법을 사용하여 피부를 검출하는 경우에는, 미리 학습된 복수의 형상 화상을, 각각 촬상 화상 상의 복수의 영역과 비교한다는 매우 복잡한 처리를 행할 필요가 있기 때문에, 고가이고 고속의 CPU를 사용했다고 해도 처리 시간을 80[ms] 이내로 하는 것은 곤란하게 되어 있다.
이와 같이, 본원 발명에 의하면, 비교적 저렴하고 저속의 CPU를 사용한 경우에도 80[ms] 이내의 처리 시간을 용이하게 실현할 수 있으므로, 제조 비용을 억제할 수 있음과 함께, 유저에게 스트레스를 느끼게 하지 않고, 손의 형상을 추출하는 처리 등을 신속히 행하는 것이 가능하게 된다.
이상 설명한 본 실시 형태에서는, 예를 들어 피부 영역으로서 얼굴(61)과 손(62)이 겹쳐 있는 경우에도 손(62)의 형상을 정확하게 추출할 수 있는 것을 설명했다. 그러나 예를 들어 유저가 반소매 셔츠 등을 착용하고 있는 경우, 유저의 얼굴(61)과 손(62) 외에, 팔 등이 겹쳐 있는 경우도 생각할 수 있다.
즉, 예를 들어 피부 추출부(43)에 의해, 도 11에 도시된 바와 같은, 얼굴(61) 및 손(62) 외에, 팔(63)이 표시된 피부 화상이 추출된 경우에는 임계값 결정부(44)는, 도 12에 도시된 바와 같은 히스토그램을 생성한다.
이어서, 도 12는, 도 11에 도시된 바와 같은 피부 화상에 기초하여 생성되는 히스토그램의 일례를 나타내고 있다.
도 11에 도시되는 피부 화상에 표시된 얼굴(61), 손(62) 및 팔(63)에 있어서, 발광 장치(23)부터 손(62)까지의 거리가 가장 가깝게(짧게) 되어 있으며, 발광 장치(23)부터 팔(63)까지의 거리가 2번째로 가깝게 되어 있고, 발광 장치(23)부터 얼굴(61)까지의 거리가 3번째로 가깝게 되어 있다.
따라서, 도 11에 도시된 피부 화상의 히스토그램은, 도 12의 가장 상측에 도시된(실선으로 나타낸) 바와 같이, 휘도값 0부터 휘도값 75까지의 화소가 유저의 얼굴(61)에 대응하는 화소이며, 휘도값 76부터 휘도값 150까지의 화소가 유저의 팔(63)에 대응하는 화소이며, 휘도값 151부터 휘도값 250의 화소가 유저의 손(62)에 대응하는 화소로 되어 있다.
예를 들어, 임계값 결정부(44)는, 도 12에 도시된 히스토그램(실선으로 나타낸다)을 나타내는 함수 y=g(x)에 기초하여, 하한 임계값(Th_L)을 결정한다.
그런데 도 12에 도시된 히스토그램에서는, 얼굴(61)과 손(62) 사이에 팔(63)이 있기 때문에, 팔(63)에 대응하는 휘도값 76 내지 150에 있어서의 히스토그램이 평탄해진다. 이로 인해, 도 7에 도시된 히스토그램과 같이, 얼굴(61)과 손(62)을 구별하는 명확한 극소값(도 7에서 말하는 휘도값 55)이 존재하지 않는다. 이로 인해, 도 7을 참조하여 설명한 경우와 마찬가지로 하여, 하한 임계값(Th_L)을 결정할 수 없다.
따라서, 임계값 결정부(44)는, 생성하는 히스토그램에 기초하여, 그 히스토그램의 형상을 판별하고, 판별한 히스토그램의 형상에 따라, 다른 방법(예를 들어, 도 7에서 설명한 방법이나, 도 12를 참조하여 설명하는 방법 등)으로 하한 임계값(Th_L) 등을 결정하도록 하고 있다.
이하, 임계값 결정부(44)가, 도 12에 도시된 히스토그램에 기초하여, 예를 들어 하한 임계값(Th_L) 등을 결정하는 경우에 대하여 설명한다.
여기서, 본 발명자가 행한 실험에 의하면, 얼굴(61)에 대응하는 휘도값과, 팔(63)에 대응하는 휘도값의 경계를 나타내는 휘도값(지금의 경우, 값 75 부근의 휘도값) 및 팔(63)에 대응하는 휘도값과, 손(62)에 대응하는 휘도값의 경계를 나타내는 휘도값(지금의 경우, 값 150 부근의 휘도값)은, 함수 g(x)의 변극점, 즉 1차 도함수 g'(x)가 극대값 또는 극소값으로 될 때의 x로 되어 있는 것을 알 수 있다.
따라서, 예를 들어 임계값 결정부(44)는, 생성한 함수 g(x)를 1회 미분하여 1차 도함수 g'(x)를 생성한다. 임계값 결정부(44)는, 1차 도함수 g'(x)가 극대값 또는 극소값일 때의 x=x0, 즉 함수 g'(x)가 양으로부터 음, 또는 음으로부터 양으로 변화할 때의 x=x0을 산출한다.
또한, 임계값 결정부(44)는, 예를 들어 함수 g(x)가 극대값으로 될 때의 2개의 x1 및 x2(x1<x2)를 산출한다(예를 들어, x1=53, x2=181). 그리고 임계값 결정부(44)는, 1차 도함수 g'(x)가 극대값 또는 극소값일 때의 x=x0 중 x=x2보다 작은 x=x0이며, x=x2에 가장 가까운 값(예를 들어, x2-x0이 가장 작아질 때의 x0)(지금의 경우, 휘도값 150)을 하한 임계값(Th_L)으로 결정한다.
또한, 예를 들어 임계값 결정부(44)는, 예를 들어 상한 임계값(Th_H)을, 도 12에 도시된 히스토그램에 있어서의 휘도값의 최대값(지금의 경우, 휘도값 250)으로 결정한다.
이와 같이 결정한 하한 임계값(Th_L) 및 상한 임계값(Th_H)은, 손(62)의 형상을 추출할 때에 사용하는 마스크 화상을 생성하기 위하여 사용되게 된다.
또한, 임계값 결정부(44)는, 1차 도함수 g'(x)가 극대값 또는 극소값일 때의 x=x0 중 x=x1보다 큰 x=x0이며, x=x1에 가장 가까운 값(예를 들어, x0-x1이 가장 작아질 때의 x0)(지금의 경우, 휘도값 75)을 하한 임계값(Th_L)으로 결정하고, 상한 임계값(Th_H)을, 도 12에 도시된 히스토그램에 있어서의 휘도값의 최대값(지금의 경우, 휘도값 250)으로 결정하도록 해도 좋다.
이렇게 결정한 하한 임계값(Th_L) 및 상한 임계값(Th_H)은, 손(62) 및 팔(63)에 의해 형성되는 형상을 추출할 때에 사용하는 마스크 화상을 생성하기 위하여 사용되게 된다.
또한, 예를 들어 임계값 결정부(44)는, 팔(63)의 형상을 추출할 때에 사용하는 마스크 화상을 생성하기 위한 하한 임계값(Th_L) 및 상한 임계값(Th_H)을 결정하는 경우에는, 하한 임계값(Th_L)을 휘도값 75로, 상한 임계값(Th_H)을 휘도값 150으로 각각 결정하게 된다.
도 11 및 도 12를 참조하여 설명하도록 하고, 하한 임계값(Th_L) 및 상한 임계값(Th_H)를 결정하도록 하면, 예를 들어 얼굴(61), 손(62) 및 팔(63) 각각의 일부분이 겹쳐 있었다고 해도, 예를 들어 손(62)의 형상 등을 정확하게 추출할 수 있다.
그런데 임계값 결정부(44)는, 1차 도함수 g'(x)가 극대값 또는 극소값일 때의 x=x0을 산출하는 경우, 1차 도함수 g'(x)를 미분하고, 2차 도함수 g''(x)를 산출하여, 2차 도함수 g''(x)=0으로 될 때의 점 x를, x=x0으로서 산출하도록 할 수 있다. 이것은, 2차 도함수 g''(x)=0으로 될 때의 점 x는 1차 도함수 g'(x)가 극대값 또는 극소값일 때의 x=x0, 즉 함수 g(x)의 변극점과 일치하는 것에 의한다.
이 경우, 임계값 결정부(44)는, 2차 도함수 g''(x)=0이 될 때의 변극점 x=x0을 산출하도록 했으므로, 1차 도함수 g'(x)에 기초하여 x=x0을 산출하는 경우와 비교하여, 보다 용이하게 x=x0을 산출할 수 있게 된다.
또한, 예를 들어 피부 추출부(43)가, 추출한 피부 화상을, 형상 추출부(46)에 공급하도록 하면, 형상 추출부(46)는 피부 추출부(43)로부터의 피부 화상으로부터, 추출한 형상 영역에 대응하는 대응 영역을 검출하고, 검출한 대응 영역을 구성하는 화소의 휘도값의 분포를 나타내는 것으로서, 예를 들어 대응 영역의 히스토그램에 기초하여, 대응 영역에 표시되어 있는 중 발광 장치(23)에 가장 가까운 위치에 존재하는 것에 대응하는 영역만을 추출할 수 있다.
즉, 예를 들어 피부 추출부(43)가, 도 13에 도시된 바와 같은 피부 화상을 추출한 경우에는, 형상 추출부(46)는, 손(62)의 영역 중 집게 손가락의 손끝에 대응하는 영역만을 추출할 수 있다. 또한, 도 13에서는, 손(62)의 집게 손가락의 손끝이, 발광 장치(23)에 가장 가까운 위치에 존재하고 있다.
이어서, 도 14는 대응 영역의 히스토그램의 일례를 나타내고 있다.
또한, 도 14의 가장 상측에 도시된 히스토그램(실선으로 나타낸다)에서는, 예를 들어 손(62)이 표시되어 있는 대응 영역을 구성하는 화소의 휘도값에 관해서만 히스토그램을 나타내고 있다. 그 이외는, 도 12와 마찬가지이다.
예를 들어, 피부 추출부(43)는, 2치화부(42)로부터의 2치화 피부 화상 및 카메라(22)로부터의 제1 촬상 화상에 기초하여, 도 13에 도시된 바와 같은 피부 화상을 생성하여, 임계값 결정부(44) 외에, 형상 추출부(46)에 공급한다. 그리고 형상 추출부(46)는, 피부 추출부(43)로부터의 피부 화상으로부터, 추출한 형상 영역에 대응하는 대응 영역을 검출하고, 검출한 대응 영역을 구성하는 화소의 휘도값에 기초하여, 도 14에 도시된 바와 같은 히스토그램을 생성한다. 형상 추출부(46)는, 생성한 히스토그램을 구성하는 휘도값 중 휘도값이 높아지고 있는 범위를, 집게 손가락의 손끝을 나타내는 선단 영역으로서, 피부 추출부(43)로부터의 피부 화상(의 대응 영역)으로부터 추출할 수 있다.
지금의 경우, 유저의 피부의 각 부위 중 발광 장치(23)와 집게 손가락의 손끝의 거리가 가장 가까운 것으로 되어 있다. 이로 인해, 도 14에 도시된 히스토그램에서는, 집게 손가락의 손끝에 대응하는 휘도값이 가장 높은 것으로 되어 있다.
또한, 집게 손가락의 손끝 부분의 면적은, 비교적 작은 것으로 되어 있다. 따라서, 도 14의 히스토그램에 있어서 대응하는 부분은, 도 12의 팔(63)에 대응하는 부분과 마찬가지로, 극값을 갖지 않고 평탄한 것으로 되어 있다.
예를 들어, 형상 추출부(46)는, 히스토그램을 구성하는 복수의 휘도값 중 휘도값이 큰 상위 n[%](예를 들어, n=10)의 휘도값 각각에 대응하는 화소에 의해 구성되는 영역을, 유저의 집게 손가락의 손끝(선단)이 표시되어 있는 선단 영역으로서, 피부 추출부(43)로부터의 피부 화상으로부터 추출한다. 또한, n[%]는, 미리 행하여지는 실험 등에 의해, 추출하는 부위 등에 따라 결정되어 있는 것으로 한다.
그리고 형상 추출부(46)는, 추출한 선단 영역(의 형상 등)에 따라, 대응하는 처리를 행한다.
그런데 발광 장치(23)부터 유저의 집게 손가락의 손끝까지의 상대적인 거리(d1)와, 예를 들어 발광 장치(23)부터 유저의 집게 손가락의 연결 부분까지의 상대적인 거리(d2)의 비(d2/d1)는, 발광 장치(23)와 유저의 손의 거리가 가까울수록 커진다.
즉, 발광 장치(23)와 유저의 손의 거리가 가까울수록, 거리(d1)와 거리(d2)의 차는 상대적으로 큰 것이 된다. 이로 인해, 발광 장치(23)와 유저의 손의 거리가 비교적 가까운 경우에는 발광 장치(23)와 유저의 손의 거리가 먼 경우와 비교하여, 예를 들어 유저의 집게 손가락의 손끝에 있어서의 휘도값과, 유저의 집게 손가락의 연결 부분에 있어서의 휘도값은 크게 다른, 즉 거리에 의한 휘도값의 변화가 큰 것이 된다.
이와 같이, 거리에 의한 휘도값의 변화가 커질수록, 도 13에 도시된 바와 같이 집게 손가락의 손끝 부분에 있어서의 화소는 적기는 하나, 그 화소의 휘도값이, 집게 손가락의 연결 부분에 있어서의 화소의 휘도값 등과 비교하여 충분히 큰 것이 되는(예를 들어, 상위 n[%]에 포함되는 휘도값으로 된다) 히스토그램이 얻어지므로, 비교적 정확하게, 유저의 집게 손가락의 손끝 부분을 추출할 수 있다.
또한, 상술한 설명에서는, 형상 추출부(46)는, 피부 추출부(43)로부터의 피부 화상으로부터, 추출한 형상 영역에 대응하는 대응 영역을 검출하도록 했으나, 대응 영역을 검출하는 화상의 대상은, 이것에 한정되지 않는다.
즉, 예를 들어 형상 추출부(46)에는, 카메라(22)로부터 제1 촬상 화상이 공급되도록 해 두고, 그 제1 촬상 화상을 대상으로 하여, 대응 영역을 검출하도록 해도 좋고, 그 외, 예를 들어 제2 촬상 화상을 대상으로 하도록 해도 좋다. 즉, 형상 추출부(46)는, 제1 또는 제2 촬상 화상 상에 표시되어 있는 피사체와 동일한 피사체가 동일한 위치에 표시된 표시 화상이면, 어떤 화상을 대상으로 하든 좋다.
또한, 상술한 설명에서는, 피부 추출부(43)가 추출한 피부 화상을 형상 추출부(46)에 공급하도록 했으나, 형상 추출부(46)가 추출한 형상 영역을 피부 추출부(43)에 공급하도록 하고, 피부 추출부(43)가 추출한 피부 화상으로부터 형상 추출부(46)로부터의 형상 영역에 대응하는 대응 영역을 검출하도록 하여, 대응 영역에 표시되어 있는 중에 발광 장치(23)에 가장 가까운 위치에 존재하는 것에 대응하는 영역만을 추출하도록 해도 좋다.
또한, 예를 들어 임계값 결정부(44)에 있어서, 피부 추출부(43)로부터의 피부 화상에 기초하여 생성한 히스토그램이, 도 14에 도시된 바와 같이, 집게 손가락의 손끝에 대응하는 휘도값이 명확하게 나타나 있는(예를 들어, 도 14에 도시된 바와 같이, 집게 손가락의 손끝에 대응하는 히스토그램의 휘도값이 평탄하게 되어 있다) 경우에는, 상위 n[%]의 휘도값에 대응하는 영역을, 마스크 영역으로 하기 위한 마스크 임계값을 결정할 수 있다.
구체적으로는, 예를 들어 임계값 결정부(44)는, 생성한 히스토그램이, 도 14에 도시된 바와 같은 히스토그램(특히, 휘도값이 높은 부분)으로 되어 있는 경우에는, 상위 n[%]에 포함되는 복수의 휘도값 중 최소의 휘도값을, 하한 임계값(Th_L)으로 결정하고, 히스토그램을 구성하는 복수의 휘도값 중 최대값을 상한 임계값(Th_H)으로 결정한다. 이 경우, 형상 추출부(46)에서는, 2치화부(42)로부터의 2치화 피부 화상으로부터, 유저의 피부 영역 중 발광 장치(23)의 가장 가까이에 존재하는 집게 손가락의 손끝 부분의 형상이 추출되게 된다.
이어서, 정보 처리 시스템(1)은, 예를 들어 발광 장치(23)에 가까울수록 유저의 피부 영역의 휘도값이 커지고, 발광 장치(23)로부터 멀수록 휘도값이 작아지는 것을 이용하여, 유저의 손의 발광 장치 방향의 움직임 등을 인식하도록 하여, 대응하는 처리를 행할 수 있다.
예를 들어 유저의 손의 좌우 상하의 움직임(움직임에 따라 변화하는 손의 위치(x, y))에 연동시켜, 표시 장치 상의 포인터를 xy 방향으로 이동시키고, 화면 상의 복수의 콘텐츠 등 중에서 포인터가 이동된 앞선 1개의 콘텐츠를 선택한 후, 유저의 손의 전후 방향 즉 발광 장치(23) 방향(z 방향)의 움직임에 연동시켜, 소위 마우스의 클릭 조작 즉 결정 조작을 행할 수 있다. 그러나 손을 z 방향으로 움직인 경우, xy 방향으로도 움직여 버려, 원하는 콘텐츠를 선택할 수 없다는 문제가 발생하지만, 예를 들어 이하의 방법으로 해결이 가능하다.
즉, 예를 들어 형상 추출부(46)가, 카메라(22)의 촬상에 의해 얻어진 제1 촬상 화상으로부터, 추출한 형상 영역(예를 들어, 손의 형상을 나타내는 영역)에 대응하는 대응 영역(예를 들어, 손이 표시되어 있는 영역)을 추출한다. 그리고 형상 추출부(46)는, 추출한 대응 영역을 구성하는 화소의 휘도값에 기초하여, 손의 위치를 검출한다. 또한, 형상 추출부(46)는, 대응 영역을 추출하는 대상으로서 제1 촬상 화상 외에, 제2 촬상 화상을 채용할 수 있다. 즉, 형상 추출부(46)는, 제1 또는 제2 촬상 화상 상에 표시되어 있는 피사체와 동일한 피사체가 동일한 위치에 표시된 표시 화상(제1 및 제2 촬상 화상을 포함한다)을 대상으로 하여, 대응 영역을 추출할 수 있다.
이어서, 도 15를 참조하여, 형상 추출부(46)가 행하는 좌표 검출 처리에 대하여 설명한다.
스텝 S21에 있어서, 정보 처리 장치(21)의 제어부(41) 내지 형상 추출부(46), 카메라(22) 및 발광 장치(23)는, 도 10을 참조하여 설명한 형상 추출 처리를 행한다. 이에 의해, 형상 추출부(46)는, 마스크 화상 생성부(45)로부터의 마스크 화상에 기초하여, 2치화부(42)로부터의 2치화 피부 화상으로부터 형상 영역을 추출한다.
스텝 S22에 있어서, 형상 추출부(46)는 추출한 형상 영역에 기초하여, 좌표(x, y)t를 검출한다. 구체적으로는, 예를 들어 형상 추출부(46)는, 추출한 형상 영역의 무게 중심(x, y)을 좌표(x, y)t로서 산출한다.
스텝 S23에 있어서, 형상 추출부(46)는, 카메라(22)로부터의 제1 촬상 화상 상의 전체 영역 중 추출한 형상 영역에 대응하는 대응 영역(예를 들어, 손이 표시된 영역)을 검출한다. 또한, 형상 추출부(46)에는, 카메라(22)로부터 제1 촬상 화상이 공급되는 것으로 한다.
형상 추출부(46)는, 검출한 대응 영역을 구성하는 화소의 휘도값에 기초하여, 그 대응 영역을 구성하는 화소의 휘도값의 평균값(평균 휘도값)(Yt)을 산출한다.
스텝 S24에 있어서, 형상 추출부(46)는, 산출한 좌표(x, y)t 및 평균 휘도값(Yt)을, 산출한 t번째의 순서에 대응시켜, 내장하는 메모리에 기억시킨다.
스텝 S25에 있어서, 형상 추출부(46)는 내장하는 메모리에 기억되어 있는 평균 휘도값(Y1 내지 Yt -1) 중 전회의 스텝 S24에서 기억한 평균 휘도값(Yt-1)을 판독한다. 또한, 내장하는 메모리에 아직 평균 휘도값(Yt -1), 즉 Y1이 기억되어 있지 않은 경우, 형상 추출부(46)는, 스텝 S25를 스킵하여 처리를 스텝 S26으로 진행시킨다.
스텝 S25에 있어서, 형상 추출부(46)는, 산출한 평균 휘도값(Yt)의 대소, 즉 예를 들어 산출한 평균 휘도값(Yt)으로부터, 내장하는 메모리에 의해 판독한 평균 휘도값(Yt-1)을 차감하여 얻어지는 차분(Yt-Yt -1)의 절대값이 소정의 임계값 미만인지의 여부에 기초하여, 발광 장치(23)부터 피사체까지의 상대적인 거리가 크게 변화했는지의 여부를 판정한다.
또한, 형상 추출부(46)는, 차분(Yt-Yt-1)이 양인지의 여부에 기초하여, 발광 장치(23)부터 피사체까지의 상대적인 거리가 가까워지도록 변화했는지, 멀어지도록 변화했는지에 대하여 판정하도록 할 수도 있다.
스텝 S25에 있어서, 형상 추출부(46)는, 발광 장치(23)부터 피사체까지의 상대적인 거리가 크게 변화하고 있지 않다고 판단한 경우, 처리를 스텝 S26으로 진행시킨다. 스텝 S26에서는, 형상 추출부(46)는, 산출한 좌표(x, y)t에 기초하여, 도시하지 않은 표시 장치의 표시를 제어한다. 구체적으로는, 예를 들어 형상 추출부(46)는, 표시 장치의 화면 상에 표시된 포인터를, 산출한 좌표(x, y)t에 대응하는 위치로 이동시킨다.
스텝 S26의 처리의 종료 후, 처리는 스텝 S21로 되돌아가고, 그 이후 마찬가지의 처리가 행해진다.
또한, 스텝 S25에 있어서, 형상 추출부(46)는, 발광 장치(23)부터 피사체까지의 상대적인 거리가 크게 변화했다고 판정한 경우, 처리를 스텝 S27로 진행시킨다.
스텝 S27에 있어서, 형상 추출부(46)는, 내장하는 메모리에 기억되어 있는 좌표(x, y)t-k로서, 예를 들어 좌표(x, y)t-5에 대응하는, 도시하지 않은 표시 장치의 화면 상의 위치에 있어서, 소위 클릭 동작이 행하여진 것으로 하고, 그 클릭 동작에 기초하는 처리를 행하고, 처리는 스텝 S21로 되돌아가고, 그 이후 마찬가지의 처리가 행하여진다.
또한, 이 좌표 검출 처리는, 정보 처리 시스템(1)의 전원이 오프되었을 때 등에 종료된다.
이상 설명한 바와 같이, 좌표 검출 처리에서는, 형상 추출부(46)가, 평균 휘도값(Yt)에 기초하여, 발광 장치(23)부터 피사체까지의 상대적인 거리가 크게 변화했는지의 여부를 판정하도록 했으므로, 유저에 의한 클릭 동작 등의 제스처에 대해서도 인식하는 것이 가능하게 된다.
또한, 좌표 검출 처리에서는, 유저에 의한 클릭 동작이 행해졌다고 판정한 경우, 스텝 S27에 있어서, 형상 추출부(46)는, 예를 들어 좌표(x, y)t-5에 대응하는, 도시하지 않은 표시 장치의 화면 상의 위치에 있어서, 클릭 동작이 행하여진 것으로 하고, 클릭 동작에 기초하는 처리를 행하도록 했다.
따라서, 예를 들어 카메라(22)에 대하여, 유저가, 클릭 동작에 의해 자신의 손 등을 근접한 경우, 좌표(x, y)t 중 x 또는 y 중 적어도 한쪽이 변화해 버렸을 때에도 변화 전의 x 및 y에 기초하는 클릭 동작이 행하여진 것으로서 다루어지기 때문에, 형상 추출부(46)에 의해 산출된 좌표(x, y)t를 그대로 사용하는 경우와 비교하여, 유저에 의한 클릭 동작을 더욱 정확하게 인식하는 것이 가능하게 된다.
또한, 좌표 검출 처리에서는, 형상 영역으로서, 손의 형상을 나타내는 영역 외에, 손과 팔에 의해 형성되는 형상을 나타내는 영역을 채용하도록 하여, 상술한 처리를 행하도록 해도 좋다.
또한, 좌표 검출 처리에서는, 형상 추출부(46)가, 형상 영역으로서 추출된 손의 형상 중 집게 손가락의 손끝(선단) 부분만을 도 13 및 도 14를 참조하여 설명한 바와 같이 추출하고, 추출한 손끝 부분이 표시된 영역을 구성하는 화소의 휘도값에 관한 평균 휘도값(Yt)에 기초하여, 발광 장치(23)와 손끝 부분의 상대적인 거리가 크게 변화했는지의 여부를 판정하도록 해도 좋다.
또한, 좌표 검출 처리에서는, 평균 휘도값(Yt)을 사용하도록 했으므로, 형상 추출부(46)에 의해 추출되는, 형상 영역에 대응하는 영역(예를 들어, 손(62)이 표시되어 있는 영역)이 어떻게 변화하든 반드시 평균 휘도값(Yt)을 산출할 수 있다.
이로 인해, 예를 들어 발광 장치(23)가 존재하는 방향에 대한, 예를 들어 손(62)의 움직임(예를 들어, 클릭 동작 등)을 정확하게 추출하는 것이 가능하게 된다.
또한, 스텝 S23에서는, 형상 추출부(46)는, 추출한 대응 영역을 구성하는 화소의 휘도값에 기초하여, 그 대응 영역을 구성하는 화소의 휘도값의 평균 휘도값(Yt)을 산출하도록 했지만, 그 외, 예를 들어 평균 휘도값(Yt) 대신에, 그 대응 영역을 구성하는 화소의 휘도값의 최대값이나 최소값, 분산값 등을 사용하도록 구성해도 좋다.
또한, 예를 들어 스텝 S25에 있어서, 형상 추출부(46)는, 차분(Yt-Yt -1)의 절대값이 소정의 임계값 미만인지의 여부에 기초하여, 발광 장치(23)부터 피사체까지의 상대적인 거리가 크게 변화했는지의 여부를 판정하도록 했으나, 그 외, 예를 들어 발광 장치(23)부터 소정의 거리에 있어서 얻어지는 평균 휘도값(Ys)을 미리 준비해 두고, 산출된 평균 휘도값(Yt)과, 미리 준비된 평균 휘도값(Ys)을 비교함으로써, 발광 장치(23)부터 소정의 거리의 위치를 기준 위치로 하여, 그 기준 위치부터 어느 정도 이격되었는지에 따라, 발광 장치(23)로부터의 상대적인 거리의 변화를 검출하도록 해도 좋다.
<2. 변형예>
상술한 형상 추출 처리에서는, 형상 추출 처리가 행해질 때마다, 스텝 S6 내지 스텝 S8의 처리에 의해, 피부 화상을 추출하고, 추출한 피부 화상의 히스토그램에 기초하여, 마스크 임계값(하한 임계값(Th_L) 및 상한 임계값(Th_H))을 결정하도록 했지만, 이것에 한정되지 않는다.
즉, 예를 들어 형상 추출 처리에서는, 형상 추출 처리가 행해진 경우에, 이전의 스텝 S6 내지 스텝 S8에 있어서 결정한 마스크 임계값을 그대로 사용하도록 해도 좋다.
이 경우, 스텝 S6 내지 스텝 S8에 의한 처리를 생략할 수 있기 때문에, 형상 추출 처리에 의한 손의 형상 등의 추출을 신속히 행하는 것이 가능하게 된다.
또한, 형상 추출 처리를 행하기 전에, 스텝 S6 내지 스텝 S8에 의한 처리와 마찬가지의 처리를 행함으로써, 미리 마스크 임계값을 결정하도록 해 두어도, 형상 추출 처리에 있어서, 스텝 S6 내지 스텝 S8에 의한 처리를 생략하는 것이 가능하게 된다.
또한, 형상 추출 처리를 행하기 전에, 미리 마스크 임계값을 결정하는 처리로서, 그 외, 예를 들어 유저의 손 영역의 일부를 구성하는 화소의 휘도값의 평균값에 기초하여, 마스크 임계값을 결정하는 것이 가능하다.
[마스크 임계값의 결정 방법]
이어서, 도 16을 참조하여, 임계값 결정부(44)가, 유저의 손 영역을 구성하는 화소의 휘도값의 평균값에 기초하여, 마스크 임계값을 결정하는 FFT(fast fourier transform, 고속 푸리에 변환) 임계값 결정 처리를 설명한다.
도 16은, 870[nm]의 광이 조사되어 있는 유저를 촬상하여 얻어지는 제1 촬상 화상의 일례를 나타내고 있다.
또한, FFT 임계값 결정 처리를 행하는 경우, 임계값 결정부(44)에는 손을 흔들고 있는 유저를 카메라(22)에 의해 촬상하여 얻어지는, 복수의 제1 촬상 화상이 카메라(22)로부터 공급된다.
임계값 결정부(44)는, 복수의 제1 촬상 화상에 대하여, FFT 처리를 행하여, 일정한 주파수에서 움직이고 있는, 제1 촬상 화상 내의 손 영역의 일부를 검출한다.
그리고 임계값 결정부(44)는, 검출한 손 영역의 일부인 직사각형 영역(161)을 구성하는 화소의 휘도값의 평균값(ave_L)을 산출한다.
또한, 임계값 결정부(44)는, 평균값(ave_L)으로부터 조정값(a)을 차감하여 얻어지는 값(ave_L-a)을 하한 임계값(Th_L)으로 결정하고, 평균값(ave_L)으로부터 조정값(b)을 가산하여 얻어지는 값(ave_L+b)을 상한 임계값(Th_H)으로 결정한다.
또한, 조정값(a 및 b)은, 평균값(ave_L)을 조정하여, 하한 임계값(Th_L) 및 상한 임계값(Th_H)을 결정하기 위하여 사용되는 값이다.
이 조정값(a 및 b)은, LED(23a나 23b)로부터 발광되는 광의 강도(광량), 카메라(22)부터 유저까지의 거리 및 카메라(22)에 사용되는 CCD(charge coupled device image sensor)에 의한 광의 감도에 따라 산출되는 변수이지만, 실제로는 실험적으로 산출되는 경우가 많다.
[FFT 임계값 결정 처리에 의한 동작 설명]
이어서, 임계값 결정부(44)가, 유저의 손 영역을 구성하는 화소의 휘도값의 평균값에 기초하여, 마스크 임계값을 결정하는 FFT 임계값 결정 처리를 설명한다.
도 17은, FFT 임계값 결정 처리를 설명하기 위한 흐름도이다. 이 FFT 임계값 결정 처리는, 예를 들어 정보 처리 시스템의 전원을 온했을 때이며, 형상 추출 처리가 행해지기 전에 개시된다.
스텝 S31에 있어서, 제어부(41)는, 발광 장치(23)의 LED(23a)를 제어하여, 제1 파장의 광의 발광을 개시시킨다.
스텝 S32에 있어서, 제어부(41)는, 정보 처리 장치(21)에 설치된 도시하지 않은 디스플레이나 스피커 등을 제어하여, 유저에게 손을 흔드는 동작의 개시를 지시한다.
스텝 S33에 있어서, 카메라(22)는, 손을 흔드는 동작을 행하고 있는 유저를 촬상하고, 그 결과 얻어지는 복수의 제1 촬상 화상을 정보 처리 장치(21)의 임계값 결정부(44)에 공급한다.
스텝 S34에 있어서, 임계값 결정부(44)는, 복수의 제1 촬상 화상에 대하여, FFT 처리를 행하여, 일정한 주파수에서 움직이고 있는, 제1 촬상 화상 내의 손 영역을 검출한다.
스텝 S35에 있어서, 임계값 결정부(44)는, 검출한 손 영역의 일부인 직사각형 영역(161)을 구성하는 화소의 휘도값의 평균값(ave_L)을 산출한다.
스텝 S36, 임계값 결정부(44)는, 평균값(ave_L)으로부터 조정값(a)을 차감하여 얻어지는 값(ave_L-a)을 하한 임계값(Th_L)으로 결정하고, 평균값(ave_L)으로부터 조정값(b)을 가산하여 얻어지는 값(ave_L+b)을 상한 임계값(Th_H)으로 결정한다.
이상에서 FFT 임계값 결정 처리는 종료된다. FFT 임계값 결정 처리에서는, 상술한 바와 같이, 형상 추출 처리가 행해지기 전에, 마스크 임계값을 결정하도록 했으므로, 형상 추출 처리에 있어서, 스텝 S6 내지 스텝 S8의 처리를 생략할 수 있어, 더욱 신속하게 손의 형상 등을 추출하는 것이 가능하게 된다.
또한, FFT 임계값 결정 처리에서는, 복수의 제1 촬상 화상에 대하여, FFT 처리를 행함으로써, 제1 촬상 화상 내의 손 영역을 검출하고, 그 수단 영역 내의 화소를 구성하는 휘도값의 평균값에 기초하여 마스크 임계값(하한 임계값(Th_L) 및 상한 임계값(Th_H))을 결정하도록 했지만, 이것에 한정되지 않는다.
즉, 예를 들어 FFT 임계값 결정 처리에서는, 손을 흔들고 있는 유저를 카메라(22)에 의해 촬상하여 얻어지는, 복수의 제2 촬상 화상에 대하여, FFT 처리를 행함으로써, 제2 촬상 화상 내의 손 영역을 검출하고, 그 수단 영역 내의 화소를 구성하는 휘도값의 평균값에 기초하여 마스크 임계값을 결정하도록 해도 좋다.
본 실시 형태에 있어서, 2치화부(42)는, 제1 촬상 화상으로부터, 유저의 피부 영역 및 유저의 피부 영역 이외의 영역을 추출하고, 추출한 피부 영역 및 피부 영역 이외의 영역에 의해 구성되는 2치화 피부 화상을, 피부 추출부(43) 및 형상 추출부(46)에 공급하도록 했으나, 이것에 한정되지 않는다.
즉, 예를 들어 2치화부(42)는, 제1 촬상 화상으로부터, 유저의 피부 영역을 추출하고, 적어도 추출한 피부 영역을 포함하는 2치화 피부 화상을 피부 추출부(43) 및 형상 추출부(46)에 공급하도록 해도 좋다.
이 경우, 피부 추출부(43)는, 카메라(22)로부터의 제1 촬상 화상으로부터, 2치화부(42)로부터의 2치화 피부 화상에 포함되는 피부 영역에 대응하는 영역을 추출한다. 또한, 형상 추출부(46)는, 2치화부(42)로부터의 2치화 피부 화상에 포함되는 피부 영역으로부터 형상 영역을 추출한다.
본 실시 형태에 있어서, 마스크 화상 생성부(45)는, 예를 들어 제1 촬상 화상으로부터, 마스크 영역 및 비마스크 영역을 검출하고, 검출한 마스크 영역 및 비마스크 영역에 의해 구성되는 마스크 화상을 생성하도록 했지만, 이것에 한정되지 않는다.
즉, 예를 들어 마스크 화상 생성부(45)는, 2치화 피부 화상으로부터 형상 영역을 추출하기 위한 추출용 영역으로서 마스크 영역만을 검출하고, 적어도 검출한 마스크 영역을 포함하는 마스크 화상을 생성하도록 해도 좋다. 이 경우, 형상 추출부(46)에서는, 2치화부(42)로부터의 2치화 피부 화상 내의 피부 영역 중 마스크 화상 내의 마스크 영역에 대응하는 영역이 형상 영역으로서 추출된다.
또한, 예를 들어 마스크 화상 생성부(45)는, 추출용 영역으로서 비마스크 영역만을 검출하고, 적어도 검출한 비마스크 영역을 포함하는 마스크 화상을 생성하도록 해도 좋다. 이 경우, 형상 추출부(46)에서는, 2치화부(42)로부터의 2치화 피부 화상 내의 피부 영역 중 마스크 화상 내의 비마스크 영역 이외의 영역에 대응하는 영역이 형상 영역으로서 추출된다.
[카메라(22), LED(23a) 및 LED(23b)의 성능]
이어서, 도 18 및 도 19를 참조하여, 본 출원인이, 실제로 형상 추출 처리 및 FFT 임계값 결정 처리를 행했을 때의, 정보 처리 시스템(1)을 구성하는 카메라(22)나 발광 장치(23)의 성능을 설명한다.
본 출원인은, 카메라(22)로서, 소니 가부시끼가이샤에 의해 제조된 비디오 카메라를 사용했다. 그 카메라(22)는, 형식 번호가 XC-EI50이며, 촬상 소자로서 1/2IT 방식의 CCD를 사용하고 있다.
또한, 유효 화소 수는 가로×세로가 768×494화소이며, 렌즈 마운트로서 C 마운트, 주사 방식으로서 525개의 라인을 인터레이스에 의해 주사하는 방식을 채용하고 있다.
또한, 감도는 F11(400[lx])이며, 최저 피사체 심도는 0.1[lx]이다. 또한, 카메라(22)의 촬상에 의해 얻어지는 촬상 화상의 S/N(signal to noise)비는 60[dB]이다.
또한, 카메라(22)에 있어서, 카메라(22)에 미리 설정된 셔터 버튼(노멀 셔터)에 의한 셔터 속도는 1/100 내지 1/10000[sec]이며, 카메라(22)의 외부에 접속된 릴리즈 스위치(외부 트리거 셔터)에 의한 셔터 속도는 1/4 내지 1/10000[sec]이다.
또한, 카메라(22)의 외형 치수는 폭×높이×깊이가 29×29×32[mm]이며, 카메라(22)의 중량은 약 50[g]이다. 또한, 카메라(22)의 내진동성은 70[G]이다.
또한, 카메라(22)는 400[nm]의 가시광 영역부터 1000[nm]의 근적외 영역까지의 대역의 범위 내의 감도를 갖는다.
도 18은, 카메라(22)의 상대 감도 특성의 일례를 나타내고 있다.
또한, 도 18에 있어서, 횡축은, 카메라(22)의 렌즈에 입사되는 파장을 나타내고 있으며, 종축은 파장에 대응하는 상대 감도를 나타내고 있다.
또한, 본 출원인은, 발광 장치(23)로서, 도 19에 도시된 바와 같이 8개의 LED(23a) 및 8개의 LED(23b)를 서로 바둑판의 눈 형상으로 배치한 것을 사용했다.
본 출원인에 의해 실제로 사용된 LED(23a)로서는, 870[nm]의 광을 발광하는 것을 사용함과 함께, LED(23b)로서는 950[nm]의 광을 발광하는 것을 사용했다.
또한, LED(23a) 및 LED(23b)로서, 직류 순전류(절대 최대 정격)가 100[mA]이며, 순전압이 1.6[V]인 것을 사용했다.
본 출원인은, 상술한 성능의 카메라(22)나, 도 19에 도시된 바와 같이 배치된 LED(23a) 및 LED(23b)를 사용하여, 형상 추출 처리나 FFT 임계값 결정 처리를 실제로 행하여, 상술한 현저한 작용 효과를 확인할 수 있었다.
본 실시 형태에서는, 마스크 화상 생성부(45)는, 임계값 결정부(44)로부터의 마스크 임계값에 기초하여, 카메라(22)로부터의 제1 촬상 화상으로부터, 마스크 화상을 생성하도록 했지만, 마스크 화상의 생성 방법은 이것에 한정되지 않는다.
즉, 예를 들어 마스크 화상 생성부(45)는, 각각 다른 방향을 촬상하는 복수의 카메라에 의해 얻어지는 촬상 화상에 기초하여, 카메라부터 유저까지의 거리를 나타내는 거리 화상을 생성하는 스테레오 처리를 행하고, 그 결과 얻어지는 거리 화상을 마스크 화상으로서 채용하는 것이 가능하다.
이 경우, 형상 추출부(46)는, 마스크 화상 생성부(45)로부터 공급되는 거리 화상 내의, 카메라부터 손까지의 거리를 나타내는 영역과, 2치화부(42)로부터 공급되는 2치화 피부 화상 내의 얼굴 영역(101) 및 손 영역(102)이 겹치는 부분을, 유저의 손의 형상을 나타내는 형상 영역(141)으로서 추출한다.
또한, 마스크 화상으로서, 거리 화상을 생성하는 방법으로서는, 스테레오 처리 외에, 적외선 등을 조사했을 때부터 유저에게 반사하여 되돌아올 때까지의 시간에 기초하여 유저까지의 거리를 산출하는 레이저 레인지 파인더 등을 사용하여, 유저의 거리 화상을 생성하는 것이 가능하다.
또한, 본 실시 형태에서는, LED(23a)에 의해 발광되는 제1 파장을 870[nm]로 하고, LED(23b)에 의해 발광되는 제2 파장을 950[nm]로 했지만, 파장의 조합은 이것에 한정되지 않는다.
즉, 파장의 조합으로서는, 제1 파장에 있어서의 반사율과, 제2 파장에 있어서의 반사율의 차분 절대값이, 유저의 피부 이외의 것에 대하여 얻어지는 반사율의 차분 절대값과 비교하여, 충분히 커지는 조합이면, 어떤 조합이든 상관없다. 구체적으로는, 도 3으로부터 명백해진 바와 같이, 예를 들어 870[nm]와 950[nm]의 조합 외에, 800[nm]와 950[nm]의 조합, 870[nm]와 1000[nm]의 조합, 800[nm]와 1000[nm]의 조합 등이 가능하다.
또한, 제1 파장(λ1)과 제2 파장(λ2)의 조합은, 예를 들어 이하에 기재한 관계식을 만족하는 조합으로 하는 것이 바람직하다.
λ1<λ2
630[nm]≤λ1≤1000[nm]
900[nm]≤λ2≤1100[nm]
또한, LED(23a)로부터 발광되는 광으로서, 가시광을 사용하는 경우에는 가시광 커트 필터(22a) 대신에, LED(23a)로부터 발광되는 가시광만을 통과시켜, 카메라(22)의 렌즈에 입사시키는 필터가 사용된다. 이것은, LED(23b)에 대해서도 마찬가지라고 할 수 있다.
또한, 본 실시 형태에 있어서, 형상 추출 처리에서는, LED(23a) 및 LED(23b)를 각각 개별로 발광시키도록 했지만, LED(23a) 및 LED(23b)를 동시에 발광시킴으로써, 제1 촬상 화상 및 제2 촬상 화상을 취득하도록 구성하는 것이 가능하다.
즉, 예를 들어 카메라(22) 대신에, 카메라(22)와 마찬가지의 기능을 갖는 2대의 카메라를 근접시킨 상태에서 설치하도록 하여, 2대의 카메라 중 한쪽의 카메라의 전방면에는 제1 파장의 광만을 통과시키는 필터를 설치함과 함께, 다른 쪽의 카메라의 전방면에는 제2 파장의 광만을 통과시키는 필터를 설치하도록 구성한다.
이 경우, LED(23a) 및 LED(23b)를 동시에 발광시켰다고 해도, 한쪽의 카메라에는, 제1 파장의 광만이 입사되는 점에서, 한쪽의 카메라에 있어서, 제1 촬상 화상을 얻는 것이 가능하게 된다. 또한, 다른 쪽의 카메라에는, 제2 파장의 광만이 입사되는 점에서, 다른 쪽의 카메라에 있어서, 제2 촬상 화상을 얻는 것이 가능하게 된다.
본 실시 형태에 있어서, LED(23a)의 개수 및 LED(23b)의 개수는 각각 2개라고 설명했지만, 그들 개수는 이것에 한정되지 않는다.
즉, LED(23a)의 개수 및 LED(23b)의 개수는, 유저 등의 피사체에 대하여, 피부 검출에 필요한 파워(강도)의 광을 균일하게 조사할 수 있도록 적절히 결정된다.
또한, 본 실시 형태에 있어서, 정보 처리 장치(21)에 소정의 처리를 실행시키기 위해, 유저의 신체의 부위를 나타내는 오브젝트로서, 손(의 형상)을 변화시키도록 했지만, 오브젝트는 손 외에, 예를 들어 유저의 발 등을 채용하는 것이 가능하다.
또한, 본 실시 형태에서는, 화소의 휘도값에 기초하여, 상한 임계값(Th_H) 및 하한 임계값(Th_L)을 결정하거나, 소위 클릭 동작을 검출하도록 했으나, 예를 들어 휘도값 대신에, 화소의 RGB(Red, Green, Blue)값 중 R값, G값, 또는 B값 중 어느 하나를 사용하도록 해도 좋다.
즉, 휘도값에 비례하는 값이면, 휘도값 대신에, 어떤 값을 사용하도록 하든 상관없다.
본 발명은, 정보 처리 시스템(1) 외에, 도 20에 도시된 바와 같이 카메라(22)와 마찬가지의 기능을 갖는 카메라부(261), LED(23a)와 마찬가지의 기능을 갖는 LED부(262), LED(23b)와 마찬가지의 기능을 갖는 LED부(263) 및 구도 결정용의 화상(소위 스루화) 등을 표시하는 표시부(264)에 의해 구성되어 있는 모바일 기기(241)(예를 들어, 디지털 카메라나 휴대 전화기 등)에 적용할 수 있다.
모바일 기기(241)를 사용하는 경우, LED부(263 및 264)와, 유저의 손(62)의 상대적인 거리가 비교적 가까운 상태에서, 태도나 제스처가 행해지게 된다. 도 14를 참조하여 상술한 바와 같이, LED부(263 및 264)와, 유저의 손(62)의 상대적인 거리가 가까울수록 거리에 의한 휘도값의 변화가 큰 것이 되므로, 모바일 기기(241)를 사용하는 경우에는, 예를 들어 유저의 집게 손가락의 손끝 부분을 비교적 정확하게 추출할 수 있다.
이러한 구성으로 함으로써, 소위 터치 패널과 같이 유저의 손가락이 표시부에 접촉할 필요가 없고, 표시부의 근방에서의 손가락의 움직임으로 모바일 기기를 조작할 수 있으므로, 표시부에 지문 등의 오염이 부착되는 일도 없다.
또한 여기에서는 집게 손가락의 손끝 부분을 추출하는 예를 들었지만, 집게 손가락과 엄지 손가락의 선단이 LED부(263 및 264)에 모두 가까운 경우에 양자를 동시에 추출하여, 조작에 사용하는 것도 가능하다.
또한, 도 21에 도시된 바와 같이, 표시부(264)가 설치된 면과는 반대인 면에, 카메라부(261), LED부(262 및 263)가 설치되어 있는 모바일 기기(241')를 사용하는 경우, 유저는, 도 22에 도시된 바와 같이 하여 태도나 제스처를 행하게 된다.
모바일 기기를 이러한 구성으로 함으로써, 표시부가 유저의 손이나 손가락으로 가리는 일이 없게 되어, 조작하기 쉬워진다. 특히 모바일 기기에서는 표시부가 작으므로, 표시부에 표시된 복수의 콘텐츠 등으로부터 1개를 선택하는 경우, 손가락이 표시부 상에 있으면 선택하고 싶은 콘텐츠가 손가락으로 가려져 버린다. 이에 대해, 본원 발명에서는, 유저로부터 보아 표시부와 조작하는 손가락이 겹치지 않도록 하므로, 조작성을 향상시킬 수 있다. 또한, 이러한 구성으로 함으로써, 햇볕 등의 외광의 영향도 경감시킬 수도 있다.
또한, 이러한 모바일 기기에서는, 통상의 카메라가 내장되는 경우가 많다. 이 카메라와는 별도로 피부 검출용의 카메라를 설치해도 좋고, 카메라는 통상의 카메라와 공통으로 하여, 피부 검출을 행하는 모드인 경우만 가시광 커트 필터를 유효하게 하는 위치로 이동시키도록 해도 좋다.
도 22에 도시되는 경우, 모바일 기기(241')의 카메라부(261)에서는, 유저(281)의 손(62) 외에, 유저(281) 이외의 인물(301)의 피부도 촬상되게 되지만, 상술한 방법을 사용함으로써, 인물(301)의 피부 부분과, 유저(281)의 손(62)을 구별하여, 손(62)을 정확하게 추출할 수 있다.
또한, 본 발명은, 도 23에 도시된 바와 같이, 디스플레이(321a)의 상측에, 정보 처리 시스템(1)과 마찬가지의 기능을 갖는 인식 처리부(341)가 내장되어 있는 텔레비전 수상기(321)에 적용할 수 있다.
이 경우, 유저(281)는, 텔레비전 수상기(321)의 디스플레이(321a) 앞에서, 손(62) 등의 형상을 변화시키거나, 손(62) 등을 이동시키는 동작을 행함으로써, 텔레비전 수상기(321)의 채널이나 음량 등을 변경시키는 처리를 텔레비전 수상기 (321)에 실행시킬 수 있다.
또한, 이 경우, 손(62)을 퍼스널 컴퓨터의 마우스와 같이 사용하여 조작할 수도 있다. 즉 텔레비전 수상기의 화면에 표시된 복수의 콘텐츠 등의 선택지 중에서 마우스를 이동시키도록 손을 상하좌우로 움직여 특정한 것을 선택하고, 또한 마우스를 클릭하도록, 손을 전후(유저로부터 보아 텔레비전 수상기의 방향)로 움직임으로써, 결정의 조작을 할 수 있다. 이들의 조작은 직감적으로도 이해하기 쉬운 것이다.
결정할 때의 손의 전후의 움직임은, 유저의 피부의 부위인 손의 휘도값의 변화에 기초하여 검출할 수 있다.
즉, 유저에 제1 파장의 광을 조사했을 때의 반사광을 수광하여 얻어지는 제1 화상과, 제1 파장과는 상이한 제2 파장의 광을 조사했을 때의 반사광을 수광하여 얻어지는 제2 화상에 기초하여, 유저의 얼굴이나 손 등의 피부 영역을 추출하고, 추출한 피부 영역으로부터 피부 영역을 구성하는 화소의 휘도값의 분포에 기초하여 유저의 손을 추출한다. 또한, 유저의 손의 영역의 휘도의 변화에 기초하여, 조사 수단(발광 장치(23))부터 손까지의 상대적인 거리의 변화를 검출하고, 검출한 상대적인 거리의 변화 즉 손의 전후 방향의 움직임에 기초하여, 결정의 조작을 실행한다.
이들의 조작은 퍼스널 컴퓨터에 마찬가지의 기능을 내장한 경우에도 적용할 수 있는 것은 물론이다.
그런데 상술한 일련의 처리는, 전용의 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다. 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 소위 내장형의 컴퓨터, 또는 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어 범용의 퍼스널 컴퓨터 등에 기록 매체로부터 인스톨된다.
[컴퓨터의 구성예]
이어서, 도 24는, 상술한 일련의 처리를 프로그램에 의해 실행하는 퍼스널 컴퓨터의 구성예를 도시하고 있다.
CPU(361)는, ROM(Read Only Memory)(362), 또는 기억부(368)에 기억되어 있는 프로그램에 따라 각종 처리를 실행한다. RAM(Random Access Memory)(363)에는, CPU(361)가 실행하는 프로그램이나 데이터 등이 적절히 기억된다. 이들의 CPU(361), ROM(362) 및 RAM(363)은 버스(364)에 의해 서로 접속되어 있다.
CPU(361)에는 또한, 버스(364)를 통하여 입출력 인터페이스(365)가 접속되어 있다. 입출력 인터페이스(365)에는 키보드, 마우스, 마이크로폰 등으로 이루어지는 입력부(366), 디스플레이, 스피커 등으로 이루어지는 출력부(367)가 접속되어 있다. CPU(361)는, 입력부(366)로부터 입력되는 명령에 대응하여 각종 처리를 실행한다. 그리고 CPU(361)는 처리의 결과를 출력부(367)에 출력한다.
입출력 인터페이스(365)에 접속되어 있는 기억부(368)는, 예를 들어 하드 디스크로 이루어지고, CPU(361)가 실행하는 프로그램이나 각종 데이터를 기억한다. 통신부(369)는, 인터넷이나 근거리 네트워크 등의 네트워크를 통하여 외부의 장치와 통신한다.
또한, 통신부(369)를 통하여 프로그램을 취득하여, 기억부(368)에 기억해도 좋다.
입출력 인터페이스(365)에 접속되어 있는 드라이브(370)는, 자기 디스크, 광 디스크, 광자기 디스크, 혹은 반도체 메모리 등의 리무버블 미디어(371)가 장착되었을 때, 그들을 구동하여, 거기에 기록되어 있는 프로그램이나 데이터 등을 취득한다. 취득된 프로그램이나 데이터는, 필요에 따라 기억부(368)에 전송되어, 기억된다.
컴퓨터에 인스톨되어, 컴퓨터에 의해 실행 가능한 상태로 되는 프로그램을 기록(기억)하는 기록 매체는, 도 24에 도시한 바와 같이 자기 디스크(플렉시블 디스크를 포함한다), 광 디스크(CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc)를 포함한다), 광자기 디스크(MD(Mini-Disc)를 포함한다), 혹은 반도체 메모리 등으로 이루어지는 패키지 미디어인 리무버블 미디어(371), 또는 프로그램이 일시적 혹은 영속적으로 저장되는 ROM(362)이나, 기억부(368)를 구성하는 하드 디스크 등에 의해 구성된다. 기록 매체에의 프로그램의 기록은, 필요에 따라 라우터, 모뎀 등의 인터페이스인 통신부(369)를 통하여, 근거리 네트워크, 인터넷, 디지털 위성 방송이라는, 유선 또는 무선의 통신 매체를 이용하여 행해진다.
또한, 본 명세서에 있어서, 상술한 일련의 처리를 기술하는 스텝은, 기재된 순서를 따라 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않아도, 병렬적 혹은 개별로 실행되는 처리까지 포함하는 것이다.
또한, 본 명세서에 있어서, 시스템이란, 복수의 장치에 의해 구성되는 장치 전체를 나타내는 것이다.
또한, 본 발명의 실시 형태는, 상술한 본 실시 형태에 한정되는 것이 아니라, 본 발명의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.
1: 정보 처리 시스템
21: 정보 처리 장치
22: 카메라
23: 발광 장치
41: 제어부
42: 2치화부
43: 피부 추출부
44: 임계값 결정부
45: 마스크 화상 생성부
46: 형상 추출부

Claims (15)

  1. 정보 처리 장치로서,
    제1 파장의 광 및 상기 제1 파장과는 상이한 제2 파장의 광을 상기 유저에게 조사하는 조사 수단과,
    상기 유저에게 조사된 상기 제1 파장의 광의 반사광을 수광하여 얻어지는 제1 화상 및 상기 유저에게 조사된 상기 제2 파장의 광의 반사광을 수광하여 얻어지는 제2 화상을 취득하는 취득 수단과,
    상기 제1 및 제2 화상에 기초하여, 상기 유저의 피부가 표시되어 있는 피부 표시 영역을 포함하는 표시 화상 상의 상기 피부 표시 영역으로부터, 상기 유저의 신체의 소정의 피부의 부위를 나타내는 오브젝트가 표시되어 있는 오브젝트 영역을 추출하는 오브젝트 영역 추출 수단과,
    상기 표시 화상 상의 상기 오브젝트 영역을 구성하는 화소의 휘도값, 또는 상기 휘도값에 기초하여 산출되는 값의 한쪽의 변화에 따라, 상기 조사 수단부터 상기 오브젝트까지의 상대적인 거리의 변화를 검출하는 거리 변화 검출 수단을 포함하는, 정보 처리 장치.
  2. 제1항에 있어서, 상기 표시 화상 상의 상기 오브젝트 영역을 구성하는 화소 중 휘도값이 큰 상위 n퍼센트에 포함되는 화소에 의해 구성되어 있는 영역을, 상기 오브젝트의 일부분이 표시되어 있는 상기 부분 표시 영역으로서 검출하는 부분 표시 영역 검출 수단을 더 포함하는, 정보 처리 장치.
  3. 제2항에 있어서, 상기 거리 변화 검출 수단은, 상기 표시 화상 상의 상기 오브젝트 영역 중 상기 부분 표시 영역을 구성하는 화소의 휘도값, 또는 상기 휘도값에 기초하여 산출되는 값의 한쪽의 변화에 따라, 상기 부분 표시 영역에 표시되어 있는, 상기 오브젝트의 일부분까지의 상대적인 거리의 변화를 검출하는, 정보 처리 장치.
  4. 제1항에 있어서, 상기 오브젝트 영역 추출 수단은,
    상기 표시 화상 상의 상기 피부 표시 영역을 구성하는 화소의 휘도값의 분포에 기초하여, 상기 피부 표시 영역 상의 상기 오브젝트의 형상을 나타내는 형상 영역을 검출하고,
    상기 피부 표시 영역으로부터, 상기 형상 영역에 대응하는 상기 오브젝트 영역을 추출하는, 정보 처리 장치.
  5. 제1항에 있어서, 상기 거리 변화 검출 수단은, 상기 표시 화상 상의 상기 오브젝트 영역을 구성하는 화소의 휘도값의 평균값의 변화에 따라, 상기 조사 수단부터 상기 오브젝트까지의 상대적인 거리의 변화를 검출하는, 정보 처리 장치.
  6. 제1항에 있어서, 상기 제1 파장(λ1) 및 상기 제2 파장(λ2)은 다음 식의 관계를 만족하는, 정보 처리 장치.
    λ1<λ2
    630nm≤λ1≤1000nm
    900nm≤λ2≤1100nm
  7. 유저와의 거리의 변화를 검출하는 정보 처리 장치의 정보 처리 방법으로서,
    상기 정보 처리 장치는,
    조사 수단과,
    취득 수단과,
    오브젝트 영역 추출 수단과,
    거리 변화 검출 수단을 포함하고,
    상기 조사 수단이, 제1 파장의 광 및 상기 제1 파장과는 상이한 제2 파장의 광을 상기 유저에게 조사하고,
    상기 취득 수단이, 상기 유저에게 조사된 상기 제1 파장의 광의 반사광을 수광하여 얻어지는 제1 화상 및 상기 유저에게 조사된 상기 제2 파장의 광의 반사광을 수광하여 얻어지는 제2 화상을 취득하고,
    상기 오브젝트 영역 추출 수단이, 상기 제1 및 제2 화상에 기초하여, 상기 유저의 피부가 표시되어 있는 피부 표시 영역을 포함하는 표시 화상 상의 상기 피부 표시 영역으로부터, 상기 유저의 신체의 소정의 피부의 부위를 나타내는 오브젝트가 표시되어 있는 오브젝트 영역을 추출하고,
    상기 거리 변화 검출 수단이, 상기 표시 화상 상의 상기 오브젝트 영역을 구성하는 화소의 휘도값, 또는 상기 휘도값에 기초하여 산출되는 값의 한쪽의 변화에 따라, 상기 조사 수단부터 상기 오브젝트까지의 상대적인 거리의 변화를 검출하는 스텝을 포함하는, 정보 처리 방법.
  8. 프로그램으로서,
    제1 파장의 광 및 상기 제1 파장과는 상이한 제2 파장의 광을 상기 유저에게 조사하는 조사 수단을 포함하는 정보 처리 장치를 제어하는 컴퓨터를,
    상기 유저에게 조사된 상기 제1 파장의 광의 반사광을 수광하여 얻어지는 제1 화상 및 상기 유저에게 조사된 상기 제2 파장의 광의 반사광을 수광하여 얻어지는 제2 화상을 취득하는 취득 수단과,
    상기 제1 및 제2 화상에 기초하여, 상기 유저의 피부가 표시되어 있는 피부 표시 영역을 포함하는 표시 화상 상의 상기 피부 표시 영역으로부터, 상기 유저의 신체의 소정의 피부의 부위를 나타내는 오브젝트가 표시되어 있는 오브젝트 영역을 추출하는 오브젝트 영역 추출 수단과,
    상기 표시 화상 상의 상기 오브젝트 영역을 구성하는 화소의 휘도값, 또는 상기 휘도값에 기초하여 산출되는 값의 한쪽의 변화에 따라, 상기 조사 수단부터 상기 오브젝트까지의 상대적인 거리의 변화를 검출하는 거리 변화 검출 수단으로서 기능시키기 위한 프로그램.
  9. 전자 장치로서,
    제1 파장의 광 및 상기 제1 파장과는 상이한 제2 파장의 광을 상기 유저에게 조사하는 조사 수단과,
    상기 유저에게 조사된 상기 제1 파장의 광의 반사광을 수광하여 얻어지는 제1 화상 및 상기 유저에게 조사된 상기 제2 파장의 광의 반사광을 수광하여 얻어지는 제2 화상을 취득하는 취득 수단과,
    상기 제1 및 제2 화상에 기초하여, 상기 유저의 피부가 표시되어 있는 피부 표시 영역을 포함하는 표시 화상 상의 상기 피부 표시 영역으로부터, 상기 유저의 신체의 소정의 피부의 부위를 나타내는 오브젝트가 표시되어 있는 오브젝트 영역을 추출하는 오브젝트 영역 추출 수단과,
    상기 표시 화상 상의 상기 오브젝트 영역을 구성하는 화소의 휘도값, 또는 상기 휘도값에 기초하여 산출되는 값의 한쪽의 변화에 따라, 상기 조사 수단부터 상기 오브젝트까지의 상대적인 거리의 변화를 검출하는 거리 변화 검출 수단과
    상기 조사 수단부터 상기 오브젝트까지의 상대적인 거리의 변화가 검출된 것에 대응하여, 소정의 처리를 실행하는 실행 수단을 포함하는, 전자 장치.
  10. 유저의 신체의 소정의 피부의 부위를 나타내는 오브젝트의 형상을, 상기 유저를 촬상하여 얻어지는 촬상 화상으로부터 추출하는 정보 처리 장치로서,
    제1 파장의 광 및 상기 제1 파장과는 상이한 제2 파장의 광을 상기 유저에게 조사하는 조사 수단과,
    상기 유저에게 조사된 상기 제1 파장의 광의 반사광을 수광하여 얻어지는 제1 화상 및 상기 유저에게 조사된 상기 제2 파장의 광의 반사광을 수광하여 얻어지는 제2 화상을 취득하는 취득 수단과,
    상기 제1 또는 제2 화상을 구성하는 화소마다, 상기 제1 파장의 광과 상기 제2 파장의 광의 반사율의 차이를 나타내는 차이값을 산출하는 차이값 산출 수단과,
    상기 제1 또는 제2 화상을 구성하는 화소마다 산출된 상기 차이값이 소정의 임계값 이상인지의 여부에 기초하여, 상기 유저의 피부를 나타내는 피부 영역을 추출하는 피부 영역 추출 수단과,
    상기 피부 영역 상의 상기 오브젝트의 형상을 나타내는 형상 영역을 추출하는 형상 영역 추출 수단을 포함하고,
    상기 형상 영역 추출 수단은, 상기 오브젝트와, 상기 피부 영역 상의 상기 형상 영역 이외의 영역에 대응하는 상기 유저의 부위가 표시된 표시 화상 상의 상기 피부 영역에 대응하는 영역을 구성하는 화소의 휘도값의 분포에 기초하여, 상기 형상 영역을 추출하는, 정보 처리 장치.
  11. 제10항에 있어서, 상기 차이값 산출 수단은, 상기 제1 화상의 휘도값으로부터, 상기 제2 화상의 휘도값을 차감하여 얻어지는 차분을 정규화하여 얻어지는 상기 차이값을 산출하는, 정보 처리 장치.
  12. 제10항에 있어서, 상기 차이값 산출 수단은, 상기 차이값으로서, 상기 제1 화상의 휘도값과, 상기 제2 화상의 휘도값의 비를 산출하는, 정보 처리 장치.
  13. 유저의 신체의 소정의 피부의 부위를 나타내는 오브젝트의 형상을, 상기 유저를 촬상하여 얻어지는 촬상 화상으로부터 추출하는 정보 처리 장치의 정보 처리 방법으로서,
    상기 정보 처리 장치는,
    조사 수단과,
    취득 수단과,
    차이값 산출 수단과,
    피부 영역 추출 수단과,
    형상 영역 추출 수단을 포함하고,
    상기 조사 수단이, 제1 파장의 광 및 상기 제1 파장과는 상이한 제2 파장의 광을 상기 유저에게 조사하고,
    상기 취득 수단이, 상기 유저에게 조사된 상기 제1 파장의 광의 반사광을 수광하여 얻어지는 제1 화상 및 상기 유저에게 조사된 상기 제2 파장의 광의 반사광을 수광하여 얻어지는 제2 화상을 취득하고,
    상기 차이값 산출 수단이, 상기 제1 또는 제2 화상을 구성하는 화소마다, 상기 제1 파장의 광과 상기 제2 파장의 광의 반사율의 차이를 나타내는 차이값을 산출하고,
    상기 피부 영역 추출 수단이, 상기 제1 또는 제2 화상을 구성하는 화소마다 산출된 상기 차이값이 소정의 임계값 이상인지의 여부에 기초하여, 상기 유저의 피부를 나타내는 피부 영역을 추출하고,
    상기 형상 영역 추출 수단이, 상기 피부 영역 상의 상기 오브젝트의 형상을 나타내는 형상 영역을 추출하는 스텝을 포함하고,
    상기 형상 영역 추출 수단은, 상기 오브젝트와, 상기 피부 영역 상의 상기 형상 영역 이외의 영역에 대응하는 상기 유저의 부위가 표시된 표시 화상 상의 상기 피부 영역에 대응하는 영역을 구성하는 화소의 휘도값의 분포에 기초하여, 상기 형상 영역을 추출하는, 정보 처리 방법.
  14. 프로그램으로서,
    유저의 신체의 소정의 피부의 부위를 나타내는 오브젝트의 형상을, 상기 유저를 촬상하여 얻어지는 촬상 화상으로부터 추출하는 정보 처리 장치로서, 제1 파장의 광 및 상기 제1 파장과는 상이한 제2 파장의 광을 상기 유저에게 조사하는 조사 수단을 포함하는 정보 처리 장치를 제어하는 컴퓨터를,
    상기 유저에게 조사된 상기 제1 파장의 광의 반사광을 수광하여 얻어지는 제1 화상 및 상기 유저에게 조사된 상기 제2 파장의 광의 반사광을 수광하여 얻어지는 제2 화상을 취득하는 취득 수단과,
    상기 제1 또는 제2 화상을 구성하는 화소마다, 상기 제1 파장의 광과 상기 제2 파장의 광의 반사율의 차이를 나타내는 차이값을 산출하는 차이값 산출 수단과,
    상기 제1 또는 제2 화상을 구성하는 화소마다 산출된 상기 차이값이 소정의 임계값 이상인지의 여부에 기초하여, 상기 유저의 피부를 나타내는 피부 영역을 추출하는 피부 영역 추출 수단과,
    상기 피부 영역 상의 상기 오브젝트의 형상을 나타내는 형상 영역을 추출하는 형상 영역 추출 수단으로서 기능시키고,
    상기 형상 영역 추출 수단은, 상기 오브젝트와, 상기 피부 영역 상의 상기 형상 영역 이외의 영역에 대응하는 상기 유저의 부위가 표시된 표시 화상 상의 상기 피부 영역에 대응하는 영역을 구성하는 화소의 휘도값의 분포에 기초하여, 상기 형상 영역을 추출하는, 프로그램.
  15. 유저의 신체의 소정의 피부의 부위를 나타내는 오브젝트의 형상을, 상기 유저를 촬상하여 얻어지는 촬상 화상으로부터 추출하는 전자 장치로서,
    제1 파장의 광 및 상기 제1 파장과는 상이한 제2 파장의 광을 상기 유저에게 조사하는 조사 수단과,
    상기 유저에게 조사된 상기 제1 파장의 광의 반사광을 수광하여 얻어지는 제1 화상 및 상기 유저에게 조사된 상기 제2 파장의 광의 반사광을 수광하여 얻어지는 제2 화상을 취득하는 취득 수단과,
    상기 제1 또는 제2 화상을 구성하는 화소마다, 상기 제1 파장의 광과 상기 제2 파장의 광의 반사율의 차이를 나타내는 차이값을 산출하는 차이값 산출 수단과,
    상기 제1 또는 제2 화상을 구성하는 화소마다 산출된 상기 차이값이 소정의 임계값 이상인지의 여부에 기초하여, 상기 유저의 피부를 나타내는 피부 영역을 추출하는 피부 영역 추출 수단과,
    상기 피부 영역 상의 상기 오브젝트의 형상을 나타내는 형상 영역을 추출하는 형상 영역 추출 수단과,
    추출된 상기 형상 영역에 따른 처리를 실행하는 실행 수단을 포함하고,
    상기 형상 영역 추출 수단은, 상기 오브젝트와, 상기 피부 영역 상의 상기 형상 영역 이외의 영역에 대응하는 상기 유저의 부위가 표시된 표시 화상 상의 상기 피부 영역에 대응하는 영역을 구성하는 화소의 휘도값의 분포에 기초하여, 상기 형상 영역을 추출하는, 전자 장치.
KR1020117004443A 2009-06-30 2010-05-24 정보 처리 장치, 정보 처리 방법, 프로그램 및 전자 장치 KR20120039498A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2009-154921 2009-06-30
JP2009154921A JP4548542B1 (ja) 2009-06-30 2009-06-30 情報処理装置、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
KR20120039498A true KR20120039498A (ko) 2012-04-25

Family

ID=42457840

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020127004619A KR20120031309A (ko) 2009-06-30 2010-05-21 정보 처리 장치 및 정보 처리 방법
KR1020117004443A KR20120039498A (ko) 2009-06-30 2010-05-24 정보 처리 장치, 정보 처리 방법, 프로그램 및 전자 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020127004619A KR20120031309A (ko) 2009-06-30 2010-05-21 정보 처리 장치 및 정보 처리 방법

Country Status (7)

Country Link
US (3) US20110142349A1 (ko)
EP (2) EP2384485A1 (ko)
JP (2) JP4548542B1 (ko)
KR (2) KR20120031309A (ko)
CN (1) CN102138148B (ko)
TW (1) TW201112168A (ko)
WO (2) WO2011001593A1 (ko)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4910923B2 (ja) * 2007-07-20 2012-04-04 ソニー株式会社 撮像装置、撮像方法及び撮像プログラム
JP2011039812A (ja) * 2009-08-12 2011-02-24 Sony Corp 画像処理装置及び電子機器
US9754155B2 (en) * 2009-12-18 2017-09-05 Tandent Vision Science, Inc. Method and system for generating intrinsic images using a single reflectance technique
KR20160042461A (ko) * 2010-05-28 2016-04-19 퀄컴 인코포레이티드 동적으로 변화하는 부분들을 갖는 타겟들을 추적하기 위한 데이터셋트 형성
JP2012063824A (ja) * 2010-09-14 2012-03-29 Sony Corp 情報処理装置、情報処理方法、及びプログラム
EP2512121B1 (en) * 2011-04-13 2013-06-05 Axis AB Illumination device
JP2013084228A (ja) * 2011-10-12 2013-05-09 Sony Corp 情報処理装置、情報処理方法、プログラム、及び電子機器
JP2013164834A (ja) 2012-01-13 2013-08-22 Sony Corp 画像処理装置および方法、並びにプログラム
TWI479430B (zh) * 2012-10-08 2015-04-01 Pixart Imaging Inc 以自然影像進行的手勢辨識方法
CN103777741B (zh) * 2012-10-19 2017-08-01 原相科技股份有限公司 基于物件追踪的手势辨识方法及系统
CN108334204B (zh) * 2012-12-10 2021-07-30 因维萨热技术公司 成像装置
JP5971108B2 (ja) 2012-12-18 2016-08-17 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
CN103268499B (zh) * 2013-01-23 2016-06-29 北京交通大学 基于多光谱成像的人体皮肤检测方法
US20140240477A1 (en) * 2013-02-26 2014-08-28 Qualcomm Incorporated Multi-spectral imaging system for shadow detection and attenuation
JP5782061B2 (ja) * 2013-03-11 2015-09-24 レノボ・シンガポール・プライベート・リミテッド 移動物体の動作を認識する方法および携帯式コンピュータ
CN110045824B (zh) * 2014-02-10 2022-06-17 苹果公司 使用光学传感器检测到的运动手势输入
WO2015188146A2 (en) 2014-06-05 2015-12-10 Edward Hartley Sargent Sensors and systems for the capture of scenes and events in space and time
US9692968B2 (en) 2014-07-31 2017-06-27 Invisage Technologies, Inc. Multi-mode power-efficient light and gesture sensing in image sensors
US10736517B2 (en) * 2014-10-09 2020-08-11 Panasonic Intellectual Property Management Co., Ltd. Non-contact blood-pressure measuring device and non-contact blood-pressure measuring method
EP3276448B1 (en) * 2015-05-20 2020-01-15 Konica Minolta, Inc. Wearable electronic device, gesture detection method for wearable electronic device, and gesture detection program for wearable electronic device
US10354383B2 (en) * 2016-12-30 2019-07-16 Skinio, Llc Skin abnormality monitoring systems and methods
JP6501806B2 (ja) 2017-01-05 2019-04-17 キヤノン株式会社 情報処理装置、操作検出方法、及びコンピュータプログラム
CN107506687B (zh) * 2017-07-17 2020-01-21 Oppo广东移动通信有限公司 活体检测方法及相关产品
JP2019032395A (ja) * 2017-08-07 2019-02-28 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
CN108416333B (zh) * 2018-03-30 2020-01-17 百度在线网络技术（北京）有限公司 图像处理的方法和装置
CN109145803B (zh) * 2018-08-14 2022-07-22 京东方科技集团股份有限公司 手势识别方法及装置、电子设备、计算机可读存储介质
CN109124587A (zh) * 2018-08-14 2019-01-04 上海常仁信息科技有限公司 一种基于机器人的皮肤检测系统和方法
CN113614487A (zh) * 2019-03-26 2021-11-05 索尼集团公司 图像处理装置、图像处理方法和图像处理程序

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5031049A (en) * 1984-05-25 1991-07-09 Canon Kabushiki Kaisha Automatic object image follow-up device
US5418574A (en) * 1992-10-12 1995-05-23 Matsushita Electric Industrial Co., Ltd. Video signal correction apparatus which detects leading and trailing edges to define boundaries between colors and corrects for bleeding
JPH06304142A (ja) * 1993-04-22 1994-11-01 Canon Inc 視線検出装置
EP0957750A1 (en) * 1995-10-23 1999-11-24 Cytometrics, Inc. Method and apparatus for reflected imaging analysis
US5771033A (en) * 1996-05-24 1998-06-23 Microsoft Corporation Method and system for dissolving an image displayed on a computer screen
JPH10150572A (ja) * 1996-09-18 1998-06-02 Fuji Xerox Co Ltd 画像処理装置、画像処理方法、画像処理プログラムを記録した媒体
US6292576B1 (en) * 2000-02-29 2001-09-18 Digital Persona, Inc. Method and apparatus for distinguishing a human finger from a reproduction of a fingerprint
JP2003216955A (ja) * 2002-01-23 2003-07-31 Sharp Corp ジェスチャ認識方法、ジェスチャ認識装置、対話装置及びジェスチャ認識プログラムを記録した記録媒体
JP4074464B2 (ja) * 2002-02-26 2008-04-09 学校法人 中央大学 周期性を有する動きの検出方法および装置
KR101035667B1 (ko) * 2002-05-09 2011-05-19 소니 주식회사 생체 인식 패턴 검출 장치, 개인 인증 장치 및 방법
ATE476908T1 (de) * 2003-04-18 2010-08-15 Medispectra Inc System und diagnoseverfahren zur optischen detektion von verdächtigen stellen einer gewebeprobe
JP4479194B2 (ja) * 2003-08-29 2010-06-09 富士ゼロックス株式会社 動作識別装置、及び対象物の姿勢識別装置
JP4102318B2 (ja) * 2004-03-03 2008-06-18 日本電信電話株式会社 道具動作認識装置および道具動作認識方法
US7379562B2 (en) * 2004-03-31 2008-05-27 Microsoft Corporation Determining connectedness and offset of 3D objects relative to an interactive surface
US7427981B2 (en) * 2004-04-15 2008-09-23 Avago Technologies General Ip (Singapore) Pte. Ltd. Optical device that measures distance between the device and a surface
JP4537143B2 (ja) * 2004-07-30 2010-09-01 キヤノン株式会社 画像処理装置及びその方法、撮像装置、プログラム
US7469060B2 (en) * 2004-11-12 2008-12-23 Honeywell International Inc. Infrared face detection and recognition system
JP4442472B2 (ja) * 2005-03-07 2010-03-31 株式会社豊田中央研究所 対象物の部位判別装置
US20070140553A1 (en) * 2005-12-19 2007-06-21 Olympus Corporation Dental colorimetry apparatus
US9696808B2 (en) * 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
JP2008182360A (ja) * 2007-01-23 2008-08-07 Funai Electric Co Ltd 皮膚領域検出撮像装置
US20080304736A1 (en) * 2007-02-20 2008-12-11 Masahiro Nakagawa Method of estimating a visual evaluation value of skin beauty
JP4853414B2 (ja) * 2007-07-18 2012-01-11 ソニー株式会社 撮像装置、画像処理装置およびプログラム
JP5156365B2 (ja) 2007-12-27 2013-03-06 ライオン株式会社 プラスチックボトル
US8174611B2 (en) * 2009-03-26 2012-05-08 Texas Instruments Incorporated Digital image segmentation using flash

Also Published As

Publication number Publication date
WO2011001593A1 (en) 2011-01-06
EP2384485A1 (en) 2011-11-09
US8107706B2 (en) 2012-01-31
KR20120031309A (ko) 2012-04-02
US20110194774A1 (en) 2011-08-11
EP2378759A1 (en) 2011-10-19
CN102138148B (zh) 2013-07-24
JP4548542B1 (ja) 2010-09-22
US20110216941A1 (en) 2011-09-08
WO2011001761A1 (ja) 2011-01-06
EP2378759A4 (en) 2012-11-07
US20110142349A1 (en) 2011-06-16
JP2014064047A (ja) 2014-04-10
JPWO2011001761A1 (ja) 2012-12-13
CN102138148A (zh) 2011-07-27
US8285054B2 (en) 2012-10-09
TW201112168A (en) 2011-04-01
JP4831267B2 (ja) 2011-12-07

Similar Documents

Publication Publication Date Title
JP4831267B2 (ja) 情報処理装置、情報処理方法、プログラム及び電子装置
WO2017082100A1 (ja) 生体情報を用いた認証装置及び認証方法
JP5800175B2 (ja) 画像処理装置、画像処理方法、プログラム、及び電子機器
JP6799155B2 (ja) 情報処理装置、情報処理システム、および被写体情報特定方法
JP2012014668A (ja) 画像処理装置、画像処理方法、プログラム、および電子装置
US11380138B2 (en) Device and method for touchless palm print acquisition
US20190213436A1 (en) Color identification using infrared imaging
JP6984724B2 (ja) なりすまし検知装置、なりすまし検知方法、及びプログラム
CN109461186A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
US11837029B2 (en) Biometric authentication device and biometric authentication method
JP5419757B2 (ja) 顔画像合成装置
US9684828B2 (en) Electronic device and eye region detection method in electronic device
JP5287792B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR101146017B1 (ko) 정보 처리 장치 및 정보 처리 방법
JP2022075288A (ja) 撮影装置、認証装置及び生体撮影方法
JP7207506B2 (ja) なりすまし検知装置、なりすまし検知方法、及びプログラム
JPWO2019077863A1 (ja) 識別装置及び電子機器
CN113916377B (zh) 用于基于色度差的对象验证的被动图像深度感测
JP2011158447A (ja) 画像処理装置、画像処理方法、プログラム、及び電子機器
KR20220037473A (ko) 촬영 장치 및 인증 장치

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid