KR20200003352A - 정보처리 장치, 프로그램 및 정보처리 시스템 - Google Patents

정보처리 장치, 프로그램 및 정보처리 시스템 Download PDF

Info

Publication number
KR20200003352A
KR20200003352A KR1020187032997A KR20187032997A KR20200003352A KR 20200003352 A KR20200003352 A KR 20200003352A KR 1020187032997 A KR1020187032997 A KR 1020187032997A KR 20187032997 A KR20187032997 A KR 20187032997A KR 20200003352 A KR20200003352 A KR 20200003352A
Authority
KR
South Korea
Prior art keywords
level
smile
mood
micro
minute
Prior art date
Application number
KR1020187032997A
Other languages
English (en)
Inventor
토모코 이시카와
Original Assignee
가부시키가이샤 시세이도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 시세이도 filed Critical 가부시키가이샤 시세이도
Publication of KR20200003352A publication Critical patent/KR20200003352A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06K9/00228—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G06K9/00308—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Psychiatry (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Child & Adolescent Psychology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Neurology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Dermatology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Neurosurgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

촬상화상에 포함되는 유저의 미소값을 계측하는 미소값 계측수단과, 미소값 계측수단에 의해 계측 가능한 미소값의 범위를 복수로 나누고, 각각의 미소값의 범위를 미소 레벨과 대응시키는 미소 레벨 정보를 기억하는 미소 레벨 정보 기억수단과, 미소값 계측수단에 의해 계측된 미소값과 미소 레벨 정보 기억수단에 기억된 미소 레벨 정보에 의거하여, 촬상화상에 포함되는 유저의 미소값을 미소 레벨로 변환하는 미소 레벨 변환수단과, 얼굴화상 제시부에 제시하는 얼굴화상의 미소 레벨이 미소 레벨 변환수단에 의해 변환된 유저의 미소 레벨보다 높게 되도록 보정하는 미소 레벨 보정수단을 갖는 정보처리 장치이다.

Description

정보처리 장치, 프로그램 및 정보처리 시스템
본 발명은 정보처리 장치, 프로그램 및 정보처리 시스템에 관한 것이다.
인간이 행한 감정 표현 또는, 행한 감정 표현의 정도 등을 생각해 내기 위해서, 행한 감정 표현을 기록하는 기록 장치는 종래부터 알려져 있다(예를 들면 특허문헌 1 참조).
일본 특허공개 2012-174258호 공보
종래의 기록 장치는, 유저에 예를 들면 「노여움」의 감정 표현을 행한 일시를 인식시킴으로써 금후의 생활의 개선을 예상하는 것이다. 그러나, 종래의 기록 장치는 유저가 행한 감정 표현을 기록하는 것이며, 유저의 감정 상태를 향상시키는 것은 아니었다.
본 발명은 상기한 과제를 감안하여 이루어진 것으로서, 유저의 감정 상태를 향상시킬 수 있는 정보처리 장치, 프로그램 및 정보처리 시스템을 제공하는 것을 목적으로 한다.
상기한 과제를 해결하기 위해서, 본원 청구항 1의 정보처리 장치는, 촬상화상에 포함되는 유저의 미소값을 계측하는 미소값 계측수단과, 상기 미소값 계측수단에 의해 계측 가능한 미소값의 범위를 복수로 나누고, 각각의 미소값의 범위를 미소 레벨과 대응시키는 미소 레벨 정보를 기억하는 미소 레벨 정보 기억수단과, 상기 미소값 계측수단에 의해 계측된 미소값과 상기 미소 레벨 정보 기억수단에 기억된 미소 레벨 정보에 의거하여, 촬상화상에 포함되는 유저의 미소값을 미소 레벨로 변환하는 미소 레벨 변환수단과, 얼굴화상 제시부에 제시하는 얼굴화상의 미소 레벨이 상기 미소 레벨 변환수단에 의해 변환된 유저의 미소 레벨보다 높게 되도록 보정하는 미소 레벨 보정수단을 갖는 것을 특징으로 한다.
(발명의 효과)
본 발명에 의하면 유저의 감정 상태를 향상시킬 수 있다.
도 1a는 본 실시형태에 따른 정보처리 시스템의 일례의 구성도이다.
도 1b는 본 실시형태에 따른 정보처리 시스템의 일례의 구성도이다.
도 2a는 본 실시형태에 따른 정보처리 장치의 일례의 하드웨어 구성도이다.
도 2b는 본 실시형태에 따른 정보처리 장치의 일례의 하드웨어 구성도이다.
도 3은 본 실시형태에 따른 정보처리 장치의 일례의 하드웨어 구성도이다.
도 4는 본 실시형태에 따른 미소 피드백 장치의 일례의 처리 블럭도이다.
도 5는 미소 레벨 정보의 일례의 구성도이다.
도 6은 컨텐츠 화상의 일례의 이미지도이다.
도 7은 기분 아이콘의 일례의 이미지도이다.
도 8은 본 실시형태에 따른 미소 피드백 장치의 전체 처리의 일례를 나타낸 플로우차트이다.
도 9는 미소 피드백 장치가 표시하는 화면의 이미지도이다.
도 10은 기록화면 표시처리의 일례의 플로우차트이다.
도 11a는 캐릭터의 얼굴화상을 이용한 컨텐츠 화상의 일례의 이미지도이다.
도 11b는 캐릭터의 얼굴화상을 이용한 컨텐츠 화상의 일례의 이미지도이다.
도 12a는 유저 본인의 얼굴화상을 이용한 컨텐츠 화상의 일례의 이미지도이다.
도 12b는 유저 본인의 얼굴화상을 이용한 컨텐츠 화상의 일례의 이미지도이다.
도 13은 미소값에 대응하는 인상평가 워드의 일례의 설명도이다.
도 14는 종료화면 표시처리의 일례의 플로우차트이다.
도 15는 제 2 실시형태에 따른 미소 피드백 장치의 일례의 처리 블럭도이다.
도 16은 종료화면 표시처리의 일례의 플로우차트이다.
도 17은 본 실시형태에 따른 미소 피드백 장치의 일례의 처리 블럭도이다.
도 18은 미소 레벨 정보의 일례의 구성도이다.
도 19는 기록화면 표시처리의 일례의 플로우차트이다.
도 20은 미소값과 기분값을 파라미터로 하는 2차원의 표이다.
이어서, 본 발명의 실시형태에 대해서 상세하게 설명한다.
[제 1 실시형태]
<시스템 구성>
도 1a 및 도 1b는 본 실시형태에 따른 정보처리 시스템의 일례의 구성도이다. 본 실시형태에 따른 정보처리 시스템은, 도 1a에 나타내는 바와 같이 미소 피드백 장치(10) 단체로 구성해도 좋고, 도 1b에 나타낸 바와 같이 네트워크(16)로 접속된 미소 피드백 서버 장치(12) 및 미소 피드백 클라이언트 장치(14)로 구성해도 좋다.
도 1a의 미소 피드백 장치(10)는 예를 들면 본 실시형태의 미소 어플리케이션이 탑재된 정보처리 장치에 의해 실현된다. 또한, 미소 피드백 장치(10)라고 하는 명칭 및 미소 어플리케이션이라고 하는 명칭은 일례이며, 다른 명칭이라도 된다. 미소 피드백 장치(10)는 유저가 조작하는 PC, 스마트폰, 태블릿 등의 정보처리 장치이다.
도 1b의 정보처리 시스템은 1대 이상의 미소 피드백 클라이언트 장치(14)와 미소 피드백 서버 장치(12)가 인터넷 등의 네트워크(16)를 통해서 접속되어 있다. 미소 피드백 클라이언트 장치(14)의 명칭과 미소 피드백 서버 장치(12)의 명칭은 일례이며, 다른 명칭이라도 된다. 미소 피드백 클라이언트 장치(14)는 유저가 조작하는 PC, 스마트폰, 태블릿 등의 정보처리 장치이다. 미소 피드백 서버 장치(12)는 미소 피드백 클라이언트 장치(14)에서 유저에 의해 조작되는 미소 어플리케이션의 관리나 제어 등을 행한다.
이와 같이, 본 실시형태에 따른 정보처리 시스템은, 도 1a에 나타내는 바와 같이 단체의 정보처리 장치로 실현해도, 도 1b에 나타내는 바와 같이 클라이언트·서버형으로 실현해도 좋다. 또한, 도 1a 및 도 1b의 정보처리 시스템은 일례이며, 용도나 목적에 따라서 다양한 시스템 구성예가 있는 것은 말할 필요도 없다. 예를 들면 도 1b의 미소 피드백 서버 장치(12)는 복수의 정보처리 장치에 분산해서 구성해도 좋다.
<하드웨어 구성>
《미소 피드백 장치, 미소 피드백 클라이언트 장치》
미소 피드백 장치(10), 미소 피드백 클라이언트 장치(14)는, 예를 들면 도 2a 및 도 2b에 나타내는 하드웨어 구성의 정보처리 장치에 의해 실현된다. 도 2a 및 도 2b는 본 실시형태에 따른 정보처리 장치의 일례의 하드웨어 구성도이다.
도 2a의 정보처리 장치는 입력 장치(501), 표시 장치(502), 외부 I/F(503), RAM(504), ROM(505), CPU(506), 통신 I/F(507), HDD(508), 촬영 장치(509) 등을 구비하고 있고, 각각이 버스(B)로 서로 접속되어 있다. 또한, 입력 장치(501) 및 표시 장치(502)는 내장되어 있는 형태이여도, 필요할 때에 접속해서 이용하는 형태 이여도 좋다.
입력 장치(501)는 유저가 각종 신호를 입력하는데에 사용하는 터치패널, 조작 키나 버튼, 키보드나 마우스 등이다. 표시 장치(502)는 화면을 표시하는 액정이나 유기 EL 등의 디스플레이다. 통신 I/F(507)는 로컬 에어리어 네트워크(LAN)나 인터넷 등의 네트워크(16)에 접속하는 인터페이스이다. 정보처리 장치는 통신 I/F(507)를 이용하여, 미소 피드백 서버 장치(12) 등과 통신을 행할 수 있다.
또한, HDD(508)는 프로그램 등을 격납하는 비휘발성의 기억 장치의 일례이다. 격납되는 프로그램에는 기본 소프트웨어인 OS, 미소 어플리케이션 등의 어플리케이션이 포함된다. 또한, HDD(508)는 기억매체로서 플래시 메모리를 사용하는 드라이브 장치(예를 들면 솔리드 스테이트 드라이브: SSD)나 메모리 카드 등의 기억 장치로 치환되어 있어도 좋다. 외부 I/F(503)는 기록매체(503a) 등의 외부 장치와의 인터페이스이다. 도 2a의 정보처리 장치는 외부 I/F(503)를 이용해서 기록매체(503a)의 판독 및/또는 기록을 행할 수 있다.
기록매체(503a)에는 플랙시블 디스크, CD, DVD, SD 메모리 카드, USB 메모리 등이 있다. ROM(505)은 전원을 꺼도 프로그램 등을 유지할 수 있는 비휘발성의 반도체 메모리(기억 장치)의 일례이다. ROM(505)에는 기동시에 실행되는 BIOS 등의 프로그램, OS 설정이나 네트워크 설정 등의 각종 설정이 격납되어 있다. RAM(504)은 프로그램 등을 일시 유지하는 휘발성의 반도체 메모리(기억 장치)의 일례이다. CPU(506)는 ROM(505)이나 HDD(508) 등의 기억 장치로부터 프로그램을 RAM(504) 상에 판독하고, 처리를 실행하는 연산 장치이다. 촬영 장치(509)는 카메라에 의해 촬영을 행한다.
본 실시형태에 따른 미소 피드백 장치(10) 및 미소 피드백 클라이언트 장치(14)는 상기한 하드웨어 구성에 있어서 미소 어플리케이션을 실행함으로써 후술하는 바와 같은 각종 처리를 실현할 수 있다. 또한, 도 2a의 정보처리 장치는 촬영 장치(509)를 구비하는(내장된) 구성이지만, 예를 들면 도 2b에 나타내는 바와 같이, 외부 I/F(503)를 통해서 접속한 촬영 장치(509)를 이용하는 구성이라도 된다. 도 2b의 정보처리 장치는 촬영 장치(509)가 외부 부착되어 있는 점에서 도 2a에 나타낸 정보처리 장치와 다르다.
《미소 피드백 서버 장치》
미소 피드백 서버 장치(12)는 예를 들면 도 3에 나타내는 하드웨어 구성의 정보처리 장치에 의해 실현된다. 도 3은 본 실시형태에 따른 정보처리 장치의 일례의 하드웨어 구성도이다. 또한, 도 2a 및 도 2b와 동일한 부분에 대한 설명은 생략한다.
도 3의 정보처리 장치는, 입력 장치(601), 표시 장치(602), 외부 I/F(603), RAM(604), ROM(605), CPU(606), 통신 I/F(607), 및 HDD(608) 등을 구비하고 있고, 각각이 버스(B)로 서로 접속되어 있다. 도 3의 정보처리 장치는 도 2a의 정보처리 장치의 촬영 장치(509)가 없는 구성이다. 도 3의 정보처리 장치는 통신 I/F(607)를 이용하여, 미소 피드백 클라이언트 장치(14) 등과 통신을 행한다. 본 실시형태에 따른 미소 피드백 서버 장치(12)는 상기한 하드웨어 구성에 있어서 프로그램을 실행함으로써 미소 피드백 클라이언트 장치(14)와 제휴해서 후술하는 각종 처리를 실현할 수 있다.
<본 실시형태의 개요>
여기에서는 도 1a에 나타낸 미소 피드백 장치(10)를 예로 해서, 본 실시형태의 개요에 대하여 설명한다. 본 실시형태의 미소 피드백 장치(10)는 촬영 장치(509)에 의해 촬영된 유저의 미소값을 계측한다. 미소 피드백 장치(10)는 촬영 장치(509)에 의해 촬영된 유저의 얼굴화상을 표시 장치(502)에 표시함과 아울러, 그 얼굴화상으로부터 계측한 유저의 미소값을 표시 장치(502)에 표시한다. 또한 미소 피드백 장치(10)는 계측한 유저의 미소값을 미소 레벨로 변환하고, 미소 레벨에 대응지어져서 기억되어 있는 얼굴화상을 표시 장치(502)에 표시한다. 미소 레벨에 대응지어져서 기억되어 있는 얼굴화상은, 그 미소 레벨에 있어서의 미소의 정도(강도)를 나타내는 얼굴화상으로 된다. 예를 들면 가장 낮은 미소 레벨에 대응지어지는 얼굴화상은 진지한 얼굴이 된다. 또한, 가장 높은 미소 레벨에 대응지어지는 얼굴화상은 「치아를 보여 구각을 최대로 올린 얼굴」이 된다.
또한, 미소 레벨에 대응지어져서 기억되어 있는 얼굴화상은 캐릭터, 본인, 탤런트, 모델, 친구, 가족 등의 얼굴화상이라도 된다. 이와 같이, 본 실시형태의 미소 피드백 장치(10)는 촬영 중의 유저의 미소 레벨을 리얼타임 표시하고, 또한 미소 레벨에 대응지어져서 있는 얼굴화상을 표시한다. 따라서, 유저는 표시 장치(502)에 표시되는 미소 레벨과, 그 미소 레벨에 대응지어져 있는 얼굴화상을 확인함으로써 현재의 미소의 정도를 알 수 있다.
또한, 본 실시형태의 미소 피드백 장치(10)는 기록 버튼을 구비하고, 기록 버튼의 누름을 트리거로 해서 촬영한 유저의 얼굴화상과, 그 얼굴화상의 미소값으로부터 변환한 미소 레벨을 기록한다. 또한, 본 실시형태의 미소 피드백 장치(10)는 유저로부터 기분의 입력도 접수한다. 그리고, 촬영한 유저의 얼굴화상과, 그 얼굴화상의 미소값으로부터 변환한 미소 레벨과, 유저로부터 입력된 기분의 등록이 종료하면, 본 실시형태의 미소 피드백 장치(10)는 미소 레벨에 대응지어져 있는 얼굴화상을 표시한다.
그런데, 사람은 일반적으로 표정모방이라고 하는 행위가 구비되어 있다. 표정모방은 다른 사람의 표정을 보고, 자기도 같은 표정을 자동적·반사적으로 행하는 현상이다. 또한, 사람은 웃는얼굴로 됨으로써 미소를 뇌가 모방하고, 감정 상태가 향상되어, 스트레스가 해소된다.
그래서, 본 실시형태의 미소 피드백 장치(10)는 미소 레벨에 대응지어져 있는 얼굴화상을 표시할 경우에, 실제로 계측한 미소값의 미소 레벨보다 높은 미소 레벨의 얼굴화상을 표시한다. 이와 같이 함으로써 유저는 자기의 미소 레벨보다 높은 미소 레벨의 얼굴화상을 보게 되고, 표정모방에 의해 미소 레벨이 높아진다. 따라서, 본 실시형태에 따른 미소 피드백 장치(10)의 사용에 의해 유저는 감정 상태가 향상하고, 스트레스가 해소된다.
또한, 실제로 계측한 미소값의 미소 레벨보다 높은 미소 레벨의 얼굴화상의 표시는 시간이나 피로도 등의 조건을 만족시켰을 경우에 행하도록 하여도 좋다. 또한, 본 실시형태에 따른 미소 피드백 장치(10)는, 미소 레벨에 대응지어져 있는 얼굴화상을 표시하는 장면이 복수 있을 경우에, 적어도 하나의 장면에 있어서 실제로 계측한 미소값의 미소 레벨보다 높은 미소 레벨의 얼굴화상으로 표시하도록 하여도 좋다.
<소프트웨어 구성>
여기에서는 도 1a에 나타낸 미소 피드백 장치(10)를 예로 해서, 본 실시형태의 소프트웨어 구성에 대하여 설명한다. 도 4는 본 실시형태에 따른 미소 피드백 장치의 일례의 처리 블럭도이다. 미소 피드백 장치(10)는 화상 입력부(100), 입력화상 제시부(101), 미소값 계측부(102), 미소 레벨 변환부(103), 미소 레벨 보정부(104), 시계부(105), 리얼타임용 컨텐츠 생성부(106), 리얼타임용 컨텐츠 제시부(107), 기분 입력부(108), 기분-미소 레벨 변환부(109), 종료화면용 컨텐츠 생성부(110), 종료화면용 컨텐츠 제시부(111), 컨텐츠 기억부(112), 미소 레벨 정보 기억부(113), 기분-미소 레벨 정보 기억부(114)를 갖는 구성이다.
화상 입력부(100)는 촬영 장치(509)가 촬영한 화상(입력화상)을 취득한다. 화상 입력부(100)는 입력화상을 입력화상 제시부(101)와 미소값 계측부(102)에 제공한다. 입력화상 제시부(101)는 화상 입력부(100)로부터 취득한 입력화상을, 후술하는 기록화면(1000)의 입력화상 표시란(1002)에 표시한다. 미소값 계측부(102)는 화상 입력부(100)로부터 취득한 입력화상에 포함되는 얼굴화상의 미소값을 계측한다. 또한, 얼굴화상으로부터 미소값을 계측하는 기술은 공지이며, 설명을 생략한다.
미소 레벨 정보 기억부(113)는 미소값 계측부(102)가 계측 가능한 미소값의 범위를 복수로 나누고, 각각의 미소값의 범위를 미소 레벨과 대응시키는, 예를 들면 도 5에 나타내는 미소 레벨 정보를 기억한다. 도 5는 미소 레벨 정보의 일례의 구성도이다. 도 5의 미소 레벨 정보는 미소값 계측부(102)가 계측 가능한 미소값의 범위를 7개로 나누고, 7단계의 미소 레벨과 대응시키고 있다.
미소 레벨 변환부(103)는 미소값 계측부(102)가 계측한 미소값과 도 5의 미소 레벨 정보에 의거하여, 미소값 계측부(102)가 계측한 미소값을 미소 레벨로 변환한다. 시계부(105)는 현재시각을 제공한다. 미소 레벨 보정부(104)는 시계부(105)로부터 취득한 현재시각이 미소 레벨을 보정하는 시간대이면, 미소 레벨 변환부(103)에서 변환한 미소 레벨보다 미소 레벨이 높아지도록 미소 레벨을 보정한다. 또한, 본 실시형태에서는 미소 레벨 보정부(104)가 미소 레벨을 1단계 끌어올리도록 미소 레벨을 보정하는 예를 설명하지만, 1단계의 인상에 한정하는 것은 아니다. 미소 레벨 보정부(104)에 있어서 보정하는 미소 레벨의 정도는 다양하게 고려된다.
컨텐츠 기억부(112)는 미소 레벨마다 대응지어져 있는 얼굴화상(컨텐츠 화상)을 기억한다. 이하에서는 입력화상에 포함되는 얼굴화상과 구별하기 위해서, 컨텐츠 기억부(112)가 기억하는 얼굴화상을 컨텐츠 화상이라고 부른다. 컨텐츠 화상은 예를 들면 도 6에 나타내는 바와 같은 것이다. 도 6은 컨텐츠 화상의 일례의 이미지도이다. 도 6의 컨텐츠 화상은 미소 레벨마다 그 미소 레벨에 있어서의 미소의 정도를 유저 자신의 얼굴화상으로 나타낸 것이다. 리얼타임용 컨텐츠 생성부(106)는 미소 레벨 보정부(104)로부터 미소 레벨을 취득하면, 그 미소 레벨의 컨텐츠 화상을 컨텐츠 기억부(112)로부터 판독한다. 리얼타임용 컨텐츠 제시부(107)는 리얼타임용 컨텐츠 생성부(106)로부터 취득한 컨텐츠 화상을, 후술하는 기록화면(1000)의 리얼타임용 컨텐츠 표시란(1004)에 표시한다.
기분 입력부(108)는 유저로부터 현재의 기분의 입력을 접수한다. 예를 들면 기분 입력부(108)는 도 7에 나타내는 바와 같은 기분 아이콘을 사용하고, 유저에게 현재의 기분을 자기신고로 선택시키도록 하여도 좋다. 도 7은 기분 아이콘의 일례의 이미지도이다. 도 7의 기분 아이콘은 기분을 6단계로 나눈 예를 나타내고 있다.
기분-미소 레벨 정보 기억부(114)는 유저에게 선택시키는 기분 아이콘을 미소 레벨과 대응시킨 기분-미소 레벨 정보를 기억한다. 기분-미소 레벨 변환부(109)는 유저가 선택한 기분 아이콘과 기분-미소 레벨 정보에 의거하여, 유저의 현재의 기분을 미소 레벨로 변환한다. 종료화면용 컨텐츠 생성부(110)는 기분-미소 레벨 변환부(109)로부터 미소 레벨을 취득하면, 그 미소 레벨의 컨텐츠 화상을 컨텐츠 기억부(112)로부터 판독한다. 종료화면용 컨텐츠 제시부(111)는 종료화면용 컨텐츠 생성부(110)로부터 취득한 컨텐츠 화상을, 후술하는 종료화면(1100)의 종료화면용 컨텐츠 표시란(1102)에 표시한다.
<처리>
《전체 처리》
본 실시형태에 따른 미소 피드백 장치(10)는, 예를 들면 도 8에 나타내는 바와 같은 순서로 처리를 행한다. 도 8은 본 실시형태에 따른 미소 피드백 장치의 전체 처리의 일례를 나타낸 플로우차트이다. 미소 피드백 장치(10)는 유저에 의해 미소 어플리케이션이 실행된 뒤, 기록화면을 표시하는 조작을 접수하면, 스텝 S11로 진행하고, 예를 들면 도 9에 나타내는 기록화면(1000)을 표시하기 위한 기록화면 표시처리를 행한다.
도 9는 미소 피드백 장치가 표시하는 화면의 이미지도이다. 도 9는 기록화면(1000) 및 종료화면(1100)의 일례를 나타내고 있다. 도 9의 기록화면(1000)은 입력화상 표시란(1002), 리얼타임용 컨텐츠 표시란(1004), 기분 선택란(1006) 및 기록 버튼(1008)을 구비하고 있다.
입력화상 표시란(1002)은 촬영 장치(509)에 의해 촬영된 화상(입력화상)이 리얼타임으로 표시된다. 리얼타임용 컨텐츠 표시란(1004)은 컨텐츠 기억부(112)로부터 상술한 바와 같이 판독된 컨텐츠 화상이 표시된다. 기분 선택란(1006)은 도 7에 나타낸 기분 아이콘을 표시하고, 유저에게 현재의 기분을 선택시키는 선택란이다. 기록 버튼(1008)은 유저로부터 입력화상, 미소 레벨, 기분 등의 기록 개시의 지시를 접수하는 버튼이다.
또한 도 9의 종료화면(1100)은 입력화상, 미소 레벨, 기분 등의 기록이 종료된 후에 표시되는 화면의 일례이다. 도 9의 종료화면(1100)은 종료화면용 컨텐츠 표시란(1102)을 구비하고 있다. 종료화면용 컨텐츠 표시란(1102)은 컨텐츠 기억부(112)로부터 상술한 바와 같이 판독된 컨텐츠 화상이 표시된다.
도 8로 되돌아와서, 미소 피드백 장치(10)는 기록 버튼(1008)이 유저에 의해 눌릴 때까지 스텝 S11의 처리를 반복한다. 따라서, 기록화면(1000)의 입력화상 표시란(1002)은 입력화상이 리얼타임으로 표시된다. 또한, 기록화면(1000)의 리얼타임용 컨텐츠 표시란(1004)에는 입력화상에 포함되는 유저의 미소 레벨(보정된 미소 레벨을 포함한다)과 대응지어진 컨텐츠 화상이 표시된다. 기록 버튼(1008)이 눌리면 미소 피드백 장치(10)는 스텝 S13으로 진행되고, 종료화면(1100)을 표시하기 위한 종료화면 표시처리를 행한다.
《S11: 기록화면 표시처리》
도 10은 기록화면 표시처리의 일례의 플로우차트이다. 스텝 S21에 있어서 입력화상 제시부(101)는 기록화면(1000)의 입력화상 표시란(1002)에 대하여 입력화상의 표시를 행한다. 스텝 S22로 진행하여, 미소값 계측부(102)는 입력화상에 포함되는 얼굴화상의 미소값을 계측한다. 스텝 S23으로 진행하여, 미소 레벨 변환부(103)는 스텝 S22에서 계측된 미소값을, 미소 레벨 정보 기억부(113)에 기억되어 있는, 예를 들면 도 5에 나타내는 미소 레벨 정보를 이용하여, 미소 레벨로 변환한다.
스텝 S24로 진행하여, 미소 레벨 보정부(104)는 시계부(105)로부터 취득한 현재시각이 미소 레벨을 보정하는 시간대(보정 적용 시각)이면, 스텝 S25에 있어서 미소 레벨을 보정하는 처리를 행한다. 스텝 S25에 있어서 행하는 미소 레벨을 보정하는 처리에서는, 예를 들면 스텝 S23에서 변환한 미소 레벨을 1단계 끌어올리도록 미소 레벨을 보정한다. 또한, 보정 적용 시각이 아니면, 미소 레벨 보정부(104)는 스텝 S25의 처리를 스킵한다.
스텝 S26에 있어서, 리얼타임용 컨텐츠 생성부(106)는 보정 적용 시각이면 스텝 S25에서 보정된 미소 레벨의 컨텐츠 화상을 컨텐츠 기억부(112)로부터 판독한다. 또한, 보정 적용 시각이 아니면 리얼타임용 컨텐츠 생성부(106)는 스텝 S23에서 변환된 미소 레벨의 컨텐츠 화상을 컨텐츠 기억부(112)로부터 판독한다. 그리고, 스텝 S27로 진행하여, 리얼타임용 컨텐츠 제시부(107)는 스텝 S26에서 판독한 컨텐츠 화상을, 기록화면(1000)의 리얼타임용 컨텐츠 표시란(1004)에 표시한다.
도 10의 기록화면 표시처리에 의하면, 미소 피드백 장치(10)는 도 11a, 도 11b, 도 12a 및 도 12b에 나타내는 바와 같이, 보정 적용 시각인지의 여부에 따라 다른 미소 레벨에 대응지어진 컨텐츠 화상을 표시할 수 있다. 도 11a 및 도 11b는 캐릭터의 얼굴화상을 이용한 컨텐츠 화상의 일례의 이미지도이다. 또한, 도 12a 및 도 12b는 유저 본인의 얼굴화상을 이용한 컨텐츠 화상의 일례의 이미지도이다. 도 11a 및 도 12a는 보정 적용 시각이 아닐 경우에 표시되는 컨텐츠 화상(통상의 피드백 화상)이며, 스텝 S23에서 변환된 미소 레벨의 컨텐츠 화상이 된다. 도 11b 및 도 12b는 보정 적용 시각일 경우에 표시되는 컨텐츠 화상(1단계 위의 피드백 화상)이며, 스텝 S25에서 1단계 끌어올리도록 보정된 미소 레벨의 컨텐츠 화상이 된다. 즉 도 10의 기록화면 표시처리에 의하면, 미소 피드백 장치(10)는 보정 적용 시각일 경우에, 실제로 계측한 미소값의 미소 레벨보다 높은 미소 레벨의 컨텐츠 화상을 표시할 수 있다. 예를 들면, 보정 적용 시각으로서 야간 등, 스트레스가 쌓이기 쉬운 시간대를 설정해 둠으로써 유저는 스트레스가 쌓이기 쉬운 시간대에 자기의 미소 레벨보다 높은 미소 레벨의 컨텐츠 화상을 보게 되고, 감정 상태의 향상에 의한 스트레스 해소의 효과가 기대된다.
또한, 스텝 S27의 리얼타임용 컨텐츠의 제시의 때, 리얼타임용 컨텐츠 제시부(107)는 도 13에 나타내는 미소값에 대응하는 인상평가 워드를 표시하도록 하여도 좋다. 도 13은 미소값에 대응하는 인상평가 워드의 일례의 설명도이다. 「타카노 루리꼬: 얼굴의 인상평가에 있어서의 메이크업과 미소도의 영향, 일본 얼굴학회지, 10권 1호, pp.37-48」에는 얼굴의 인상평가에 있어서의 미소도의 영향이 보고되어 있다. 도 13은 이러한 보고에 의거하여, 미소값과 인상평가 워드를 대응시킨 것이다.
《S13: 종료화면 표시처리》
도 14는 종료화면 표시처리의 일례의 플로우차트이다. 스텝 S31에 있어서 기분-미소 레벨 변환부(109)는 유저가 기분 선택란(1006)으로부터 선택한 기분 아이콘을 기분-미소 레벨 정보를 이용하여 미소 레벨로 변환한다. 스텝 S32로 진행하여, 기분-미소 레벨 변환부(109)는 스텝 S31에서 변환한 미소 레벨을 보정하는 처리를 행한다. 스텝 S32에 있어서 행하는 미소 레벨을 보정하는 처리에서는, 예를 들면 스텝 S31에서 변환한 미소 레벨을 1단계 끌어올리도록 미소 레벨을 보정한다.
스텝 S33에 있어서, 종료화면용 컨텐츠 생성부(110)는 스텝 S32에서 보정된 미소 레벨의 컨텐츠 화상을 컨텐츠 기억부(112)로부터 판독한다. 스텝 S34로 진행하여, 종료화면용 컨텐츠 제시부(111)는 스텝 S33에서 판독한 컨텐츠 화상을, 종료화면(1100)의 종료화면용 컨텐츠 표시란(1102)에 표시한다.
도 14의 종료화면 표시처리에 의하면, 미소 피드백 장치(10)는 유저의 현재의 기분에 대응하는 미소 레벨이 1단계 끌어올린 미소 레벨의 컨텐츠 화상을 종료화면용 컨텐츠 표시란(1102)에 표시할 수 있다. 즉 도 14의 종료화면 표시처리에 의하면, 미소 피드백 장치(10)는 유저의 현재의 기분보다 높은 미소 레벨의 컨텐츠 화상을 표시할 수 있다. 유저는 현재의 기분보다 높은 미소 레벨의 컨텐츠 화상을 보게 되고, 감정 상태의 향상에 의한 스트레스 해소의 효과가 기대된다.
[제 2 실시형태]
제 1 실시형태는 유저가 기분 입력부(108)로부터 입력한 현재의 기분을 미소 레벨로 변환하고, 그 미소 레벨을 1단계 끌어올리도록 보정한 뒤, 보정 후의 미소 레벨의 컨텐츠 화상을 종료화면(1100)의 종료화면용 컨텐츠 표시란(1102)에 표시하고 있었다. 제 2 실시형태는 입력화상에 포함되는 얼굴화상의 미소 레벨을 1단계 끌어올리도록 보정한 보정 후의 미소 레벨의 컨텐츠 화상을, 종료화면(1100)의 종료화면용 컨텐츠 표시란(1102)에 표시한다.
또한, 제 2 실시형태는 제 1 실시형태와 일부를 제외하고 같기 때문에, 동일 부분에 대한 설명을 적당하게 생략한다. 도 15는 제 2 실시형태에 따른 미소 피드백 장치의 일례의 처리 블럭도이다.
도 15의 미소 피드백 장치(10)는 도 4의 미소 피드백 장치(10)의 기분-미소 레벨 변환부(109)가 없는 구성이다. 또한, 도 15의 미소 피드백 장치(10)의 미소 레벨 보정부(104)는 리얼타임용 컨텐츠 생성부(106)에 제공하는 미소 레벨의 보정을 제 1 실시형태에 나타낸 바와 같이 행하는 것 외에, 종료화면용 컨텐츠 생성부(110)에 제공하는 미소 레벨의 보정을 행한다. 종료화면용 컨텐츠 생성부(110)에 제공하는 미소 레벨의 보정은, 시계부(105)로부터 제공되는 현재시각에 관계되지 않고 행하도록 하여도 좋고, 시계부(105)로부터 제공되는 현재시각이 미소 레벨을 보정하는 시간대일 때에 행하도록 하여도 좋다. 그리고, 도 15의 미소 피드백 장치(10)의 종료화면용 컨텐츠 생성부(110)는, 미소 레벨 보정부(104)에 있어서 1단계 끌어올리도록 보정된 미소 레벨을 취득한다. 또한, 도 15의 종료화면용 컨텐츠 생성부(110)는 유저가 선택한 기분을 기분 입력부(108)로부터 취득한다.
종료화면용 컨텐츠 생성부(110)는 미소 레벨 보정부(104)로부터 1단계 끌어올리도록 보정된 미소 레벨을 취득하면, 그 미소 레벨의 컨텐츠 화상을 컨텐츠 기억부(112)로부터 판독한다. 종료화면용 컨텐츠 제시부(111)는 종료화면용 컨텐츠 생성부(110)로부터 취득한 컨텐츠 화상을, 후술하는 종료화면(1100)의 종료화면용 컨텐츠 표시란(1102)에 표시한다.
도 16은 종료화면 표시처리의 일례의 플로우차트이다. 스텝 S41에 있어서 종료화면용 컨텐츠 생성부(110)는 미소 레벨 보정부(104)에 있어서 1단계 끌어올리도록 보정된 미소 레벨을 취득한다. 스텝 S42로 진행하여, 종료화면용 컨텐츠 생성부(110)는 스텝 S41에서 취득한 미소 레벨의 컨텐츠 화상을 컨텐츠 기억부(112)로부터 판독한다. 스텝 S43으로 진행하여, 종료화면용 컨텐츠 제시부(111)는 스텝 S42에서 판독한 컨텐츠 화상을, 종료화면(1100)의 종료화면용 컨텐츠 표시란(1102)에 표시한다.
도 16의 종료화면 표시처리에 의하면, 미소 피드백 장치(10)는 입력화상에 포함되는 유저의 얼굴화상의 미소 레벨을 1단계 끌어올린 미소 레벨의 컨텐츠 화상을 종료화면용 컨텐츠 표시란(1102)에 표시할 수 있다. 미소 피드백 장치(10)는 입력 화면에 포함되는 유저의 미소 레벨보다 높은 미소 레벨의 컨텐츠 화상을 표시하고, 유저의 감정 상태를 향상시킴으로써 유저의 스트레스를 해소하는 효과를 실현한다.
[제 3 실시형태]
제 1 및 제 2 실시형태는, 입력화상에 포함되는 유저의 얼굴화상의 미소값,또는, 기분 입력부(108)로부터 유저가 입력한 현재의 기분을 미소 레벨로 변환하고 있다. 제 3 실시형태는 입력화상에 포함되는 유저의 얼굴화상의 미소값, 및 유저의 현재의 기분을 나타내는 기분값에 의거하여, 종합적인 미소값(기분 적응 미소값)을 산출하고, 그 기분 적응 미소값을 미소 레벨로 변환하는 것이다.
또한, 제 3 실시형태도 제 1 및 제 2 실시형태와 동일 부분을 포함하기 때문에, 동일 부분에 대한 설명을 적당하게 생략한다. 여기에서도, 도 1a에 나타낸 미소 피드백 장치(10)를 예로 해서, 제 3 실시형태의 소프트웨어 구성에 대하여 설명한다. 도 17은 본 실시형태에 따른 미소 피드백 장치의 일례의 처리 블럭도이다. 미소 피드백 장치(10)는 화상 입력부(100), 입력화상 제시부(101), 미소값 계측부(102), 미소 레벨 변환부(103), 미소 레벨 보정부(104), 시계부(105), 컨텐츠 기억부(112), 미소 레벨 정보 기억부(113), 기분 적응 미소값 계산부(121), 컨텐츠 생성부(122), 컨텐츠 제시부(123)를 갖는 구성이다.
화상 입력부(100)는 촬영 장치(509)가 촬영한 화상(입력화상)을 취득한다. 또한, 화상 입력부(100)는 입력화상이 동화상일 경우, 어떤 시점의 1프레임을 입력화상으로서 사용한다. 이와 같이, 본 실시형태에서는 정지화상으로부터 미소값을 계측한다. 화상 입력부(100)는 입력화상을 입력화상 제시부(101)와 미소값 계측부(102)에 제공한다. 입력화상 제시부(101)는 화상 입력부(100)로부터 취득한 입력화상을, 기록화면(1000)의 입력화상 표시란(1002)에 표시한다. 미소값 계측부(102)는 화상 입력부(100)로부터 취득한 입력화상에 포함되는 얼굴화상의 미소 인식을 행하고, 예를 들면 0.0∼1.0까지의 정규화 된 미소값을 계측한다.
기분 입력부(108)는 예를 들면 도 7에 나타낸 기분 아이콘을 사용하여, 유저에게 현재의 기분을 자기신고로 선택시킨다. 예를 들면, 도 7의 기분 아이콘에서는 제일 왼쪽의 슬픈 얼굴을 0.0, 제일 오른쪽의 미소를 1.0으로서 설정한다. 또한, 도 7의 기분 아이콘에서는 제일 왼쪽의 기분 아이콘과 제일 오른쪽의 기분 아이콘 사이에 있는 기분 아이콘의 기분값으로서 균등 간격의 수치를 설정하고 있다.
기분 적응 미소값 계산부(121)는 미소값 계측부(102)가 계측한 미소값에 대하여, 기분 입력부(108)에서 유저에 의해 선택된 기분 아이콘의 기분값을 적응시킨 기분 적응 미소값을 산출한다. 예를 들면, 기분 적응 미소값 계산부(121)는 예를 들면 이하의 식(1)에 의해 기분 적응 미소값을 계산한다.
[수 1]
Figure pct00001
식(1)에 있어서 S는 미소값을 나타낸다. M은 기분값을 나타낸다. Ws는 미소값의 가중계수를 나타낸다. Wm은 기분값의 가중계수를 나타낸다. 식(1)에 있어서는 기분값의 영향을 어느 정도 크게 하는 것일지를 가중계수 Ws, Wm에 의해 조정한다. 또한, 2개의 가중계수 Ws, Wm의 합계값은 1.0으로 하고, 또한 각각의 가중계수 Ws, Wm의 값을 0 이상 1 이하로 한다.
예를 들면, 미소값(S)이 0.75, 기분값(M)이 0.4, 가중계수(Ws)가 0.8, 가중계수(Wm)가 0.2인 경우에는,
기분 적응 미소값(T)=0.8×0.75+0.2×0.4=0.68이 된다.
또한, 미소값(S)이 0.75, 기분값(M)이 0.4, 가중계수(Ws 및 Wm)가 같은 가중 0.5인 경우에는,
기분 적응 미소값(T)=0.5×0.75+0.5×0.4=0.575가 된다.
또한, 가중계수(Wm)를 0으로 하면, 식(1)은 기분값(M)을 가미하지 않고, 미소값(S)이 기분 적응 미소값(T)이 된다. 식(1)에서는 미소값(S) 및 기분값(M)을 0 이상 1 이하로 정규화하고 있고, 또한, 2개의 가중계수(Ws, Wm)의 합계값을 1.0으로 함으로써, 산출되는 기분 적응 미소값(T)도 0 이상 1 이하의 정규화 된 값으로 된다.
미소 레벨 정보 기억부(113)는 기분 적응 미소값 계산부(121)가 산출하는 기분 적응 미소값(T)의 범위 0∼1을 복수로 나누고, 각각의 기분 적응 미소값(T)의 범위를 미소 레벨과 대응시키는, 예를 들면 도 18에 나타내는 바와 같은 미소 레벨 정보를 기억한다. 도 18은 미소 레벨 정보의 일례의 구성도이다. 도 18의 미소 레벨 정보는 기분 적응 미소값 계산부(121)가 산출하는 기분 적응 미소값(T)의 범위 0∼1을 7개로 나누고, 범위 0∼1을 미소 레벨의 수의 7로 제산한 간격(≒ 0.143)으로 균등하게 분할하고 있다.
또한, 미소 레벨 정보는 기분 적응 미소값 계산부(121)가 산출하는 기분 적응 미소값(T)의 범위 0∼1을 반드시 균등하게 분할하지 않아도 좋고, 불균등하게 분할해도 좋다. 예를 들면, 미소가 서툰 유저의 연습에는 낮은 기분 적응 미소값(T)이 높은 미소 레벨로 변환되는 미소 레벨 정보를 이용하도록 하여도 좋다.
미소 레벨 변환부(103)는 기분 적응 미소값 계산부(121)가 계산한 기분 적응 미소값과 도 18의 미소 레벨 정보에 의거하여, 기분 적응 미소값(T)을 미소 레벨로 변환한다. 시계부(105)는 현재시각을 제공한다. 미소 레벨 보정부(104)는 시계부(105)로부터 취득한 현재시각이 미소 레벨을 보정하는 시간대이면, 미소 레벨 변환부(103)에서 변환한 미소 레벨보다 미소 레벨이 높아지도록 미소 레벨을 보정한다. 또한, 본 실시형태에서는 미소 레벨 보정부(104)가 미소 레벨을 1단계 끌어올리도록 미소 레벨을 보정하는 예를 설명한다. 미소 레벨 변환부(103)가 변환한 미소 레벨이 최고 레벨(예를 들면, 도 18의 미소 레벨 6)이었을 경우, 미소 레벨 보정부(104)는 미소 레벨 변환부(103)가 변환한 미소 레벨을 유지한다. 또한 미소 레벨 보정부(104)는 시계부(105)로부터 취득한 현재시각이 미소 레벨을 보정하는 시간대가 아니면, 미소 레벨의 보정을 행하지 않는다.
미소 레벨 보정부(104)에 의한 미소 레벨의 보정은 유저의 실제의 미소값이나 기분값보다 미소 레벨이 높은 컨텐츠 화상을 유저에게 피드백함으로써 유저의 기분을 조금씩 포지티브로 하고, 유저의 스트레스를 해소하는 효과를 노려서 행하여진다. 본 실시형태에 따른 미소 피드백 장치(10)는, 예를 들면 1일의 끝인 취침전이나 기상시에 1단계 위의 미소 레벨의 컨텐츠 화상을 유저에의 피드백 화상으로 하는 것을 상정하고 있다.
컨텐츠 기억부(112)는, 미소 레벨마다 대응지어져 있는 컨텐츠 화상을 기억한다. 또한, 컨텐츠 생성부(122)는 미소 레벨 보정부(104)로부터 미소 레벨을 취득하면, 그 미소 레벨의 컨텐츠 화상을 컨텐츠 기억부(112)로부터 판독한다. 컨텐츠 제시부(123)는 컨텐츠 생성부(122)로부터 취득한 컨텐츠 화상을, 기록화면(1000)의 리얼타임용 컨텐츠 표시란(1004)에 표시한다.
또한, 도 17의 미소 피드백 장치(10)는 반드시 컨텐츠 기억부(112)에 미리 미소 레벨과 대응시킨 컨텐츠 화상을 준비해 둘 필요는 없고, 모핑이라고 불리는 기술을 이용하여 1매의 유저의 얼굴화상으로부터 미소 레벨에 따른 표정변화를 붙이는 화상처리를 행하고, 미소 레벨과 대응시킨 컨텐츠 화상을 준비해도 좋다.
도 19는 기록화면 표시처리의 일례의 플로우차트이다. 스텝 S51에 있어서 입력화상 제시부(101)는 기록화면(1000)의 입력화상 표시란(1002)에 대하여 입력화상의 표시를 행한다. 스텝 S52로 진행하여, 미소값 계측부(102)는 입력화상에 포함되는 얼굴화상의 미소값을 계측한다.
스텝 S53으로 진행하여, 기분 적응 미소값 계산부(121)는 유저에 의해 최후에 선택된 기분 아이콘의 기분값을 기분 입력부(108)로부터 취득한다. 또한, 스텝 S53의 처리는 유저에 의한 기분 아이콘의 선택을 기다리는 것이 아니라, 유저가 최후에 선택한 기분 아이콘의 기분값을 취득하는 것으로 한다. 또한, 유저는 도 19에 나타내는 기록화면 표시처리와 관계없이, 도 9의 기분 선택란(1006)으로부터 임의의 타이밍에서 기분 아이콘을 선택할 수 있는 것으로 한다.
유저가 기분 선택란(1006)으로부터 기분 아이콘을 선택완료하지 않아, 유저에 의해 최후에 선택된 기분 아이콘의 기분값을 취득할 수 없는 경우에는, 디폴트의 기분값을 이용해도 좋고, 제 1 실시형태와 같이 미소값을 미소 레벨로 변환해도 좋다.
스텝 S54로 진행하여, 기분 적응 미소값 계산부(121)는 미소값 계측부(102)가 계측한 미소값에 대하여, 기분 입력부(108)에서 유저에 의해 선택된 기분 아이콘의 기분값을 적응시킨 기분 적응 미소값을 산출한다. 스텝 S55로 진행하여, 미소 레벨 변환부(103)는 스텝 S54에서 계산된 기분 적응 미소값을, 미소 레벨 정보 기억부(113)에 기억되어 있는, 예를 들면 도 18에 나타내는 미소 레벨 정보를 이용하여 미소 레벨로 변환한다.
스텝 S56으로 진행하여, 미소 레벨 보정부(104)는 시계부(105)로부터 취득한 현재시각이 미소 레벨을 보정하는 시간대(보정 적용 시각 내)이면, 스텝 S57에 있어서 미소 레벨을 1단계 위로 보정하는 처리를 행하고, 스텝 S58로 진행한다. 스텝 S58에 있어서, 미소 레벨 보정부(104)는 스텝 S57에서 변환한 보정 후의 미소 레벨이 최고 레벨을 넘은 것인지의 여부를 판정한다. 보정 후의 미소 레벨이 최고 레벨을 넘어 있으면 미소 레벨 보정부(104)는 스텝 S59로 진행하고, 보정 후의 미소 레벨을 최고 레벨로 보정해서 스텝 S60으로 진행한다. 또한, 보정 후의 미소 레벨이 최고 레벨을 넘고 있지 않으면 미소 레벨 보정부(104)는 스텝 S58에서 스텝 S60으로 진행한다.
스텝 S60에 있어서 컨텐츠 생성부(122)는 보정 적용 시각이면 스텝 S25에서 보정된 미소 레벨(최고 레벨 이하)의 컨텐츠 화상을 컨텐츠 기억부(112)로부터 판독한다. 또한, 보정 적용 시각이 아니면, 컨텐츠 생성부(122)는 스텝 S55에서 변환된 미소 레벨의 컨텐츠 화상을 컨텐츠 기억부(112)로부터 판독한다. 그리고, 스텝 S61로 진행하여, 컨텐츠 제시부(123)는 스텝 S60에서 판독한 컨텐츠 화상을, 기록화면(1000)의 리얼타임용 컨텐츠 표시란(1004)에 표시한다.
도 19의 기록화면 표시처리에 의하면, 미소 피드백 장치(10)는 도 11a, 도 11b, 도 12a 및 도 12b에 나타낸 바와 같이, 보정 적용 시각인지의 여부에 따라 다른 미소 레벨에 대응지어진 컨텐츠 화상을 표시할 수 있다. 미소 피드백 장치(10)는 보정 적용 시각일 경우에, 실제로 계측한 미소값의 미소 레벨보다 높은 미소 레벨의 컨텐츠 화상을 표시한다. 예를 들면, 보정 적용 시각으로서 야간 등, 스트레스가 쌓이기 쉬운 시간대를 설정해 둠으로써 유저는 스트레스가 쌓이기 쉬운 시간대에 자기의 미소 레벨보다 높은 미소 레벨의 컨텐츠 화상을 볼 수 있고, 스트레스 해소의 효과를 기대할 수 있다.
또한, 종료화면 표시처리는 제 1 실시형태에 나타낸 바와 같이, 유저의 기분에 대응지어진 미소 레벨을 1단계 끌어올린 미소 레벨의 컨텐츠 화상을 표시하도록 하여도 좋다. 또한, 종료화면 표시처리는 제 2 실시형태에 나타낸 바와 같이, 입력화상에 포함되는 유저의 얼굴화상의 미소 레벨을 1단계 끌어올린 미소 레벨의 컨텐츠 화상을 표시하도록 하여도 좋다. 또한, 종료화면 표시처리는 미소 레벨 변환부(103)에 의해 기분 적응 미소값으로부터 변환된 미소 레벨을 1단계 끌어올린 미소 레벨의 컨텐츠 화상을 표시하도록 하여도 좋다.
또한, 피드백 화상을 표시하는 처리는 미소 피드백 장치(10)가 입력화상을 취득한 뒤, 유저가 기분을 입력한 타이밍에서 행하고 있었다. 그러나, 본 실시형태의 미소 피드백 장치(10)는 유저의 기분을 사용하지 않거나, 또는 입력화상에 포함되는 유저의 얼굴화상이나 생체정보로부터 자동적으로 기분값을 취득할 수 있게 하면, 일련의 처리를 자동으로 반복하여 행하는 것도 가능해진다.
예를 들면, 미소 피드백 장치(10)는 입력화상으로부터 연속적으로 얼굴화상을 취득하고, 리얼타임으로 미소값을 계측함으로써 피드백 화상의 표시까지의 일련의 처리를 단시간에 반복하여 행할 수 있다. 또한, 얼굴화상으로부터 기분값을 계측하는 기술로서는, 얼굴화상으로부터 감정의 추정을 행하는 기술이나 음성으로부터 감정의 추정을 행하는 기술 등을 이용할 수 있다.
[다른 실시형태]
본 실시형태의 미소 피드백 장치(10)는 유저로부터 현재의 기분의 입력을 수동입력으로 접수하는 것 외에, 얼굴화상이나 생체정보로부터 자동적으로 취득한 현재의 유저의 기분값을 입력으로서 접수해도 좋다. 또한, 본 실시형태의 미소 피드백 장치(10)는 미소값과 기분값 뿐만 아니라, 피로도, 긴장도 등, 보다 많은 파라미터를 입력으로서 접수하는 기분 적응 미소값 계산부(121)를 구성해도 좋다. 예를 들면, 정규화 완료된 파라미터(P)가 n종류 있을 경우에, 각각의 파라미터에 가중을 행한 최종적인 파라미터 적응 미소값을 일반화하면 식(2)로 표현할 수 있다.
[수 2]
Figure pct00002
또한, 단순한 선형의 가중이 어려운 파라미터의 경우에는 파라미터의 종류수에 맞춰서 n차원의 표를 작성하고, 그 표에 파라미터 적응 미소값을 설정해 두어도 좋다. 실제로 취득한 n종류의 파라미터 값으로부터 대응하는 표의 항목을 참조함으로써 본 실시형태에 따른 미소 피드백 장치(10)는 파라미터 적응 미소값을 취득할 수 있다. 이 방식의 이점은 선형의 가중에서는 표현이 어려운 미소값의 분포를 표현할 수 있는 것에 있다.
도 20은 미소값과 기분값을 파라미터로 하는 2차원의 표이다. 이 방식에서는 도 20에 나타내는 바와 같이, 기분값이 최대(1.0)이면, 미소값에 의하지 않고 파라미터 적응 미소값도 최대(1.0)로 되는 극단적인 표의 작성도 가능해진다. 인간의 감각은 기계에 의한 계측과 다른 경우도 많고, 실시에 피험자를 사용해서 실험을 행하면, 선형이 아닌 결과가 나오는 경우도 많이 있다. 이 때문에, 도 20과 같은 비선형의 표를 이용해서 파라미터 적응 미소값을 얻을 수 있는 방식은 유용하다.
또한, 피드백 화상은 상기 실시형태에 나타낸 얼굴화상 이외에, 동화상 소재나 음성을 이용하는 것도 생각된다. 예를 들면, 피드백 화상은 진지한 얼굴로부터 특정한 미소 레벨의 미소로 변화되는 동화상이여도 좋고, 동시에 「내일도 미소로」라고 하는 것 같은 음성을 재생하도록 하여도 좋다. 또한, 피드백 화상은 미소 레벨에 맞추어 배경의 음악이나 효과음(SE)을 변화시키는 제시 방법도 고려된다.
또한, 피드백 화상은 미소 레벨에 대응시킨 인상적인 말(도 13에 나타낸 인상평가 워드 등)을 동시에 표시하도록 하여도 좋다. 예를 들면, 미소 피드백 장치(10)는 미소 레벨이 최고일 경우에 「활발한 미소입니다」라고 하는 말, 미소 레벨이 최저일 경우에 「신뢰감이 있는 표정입니다」라고 하는 말, 미소 레벨이 중간의 경우에 「매력적인 미소입니다」라고 하는 말,과 같이 특정의 인상을 나타내는 키워드를 피드백 화상에 표시해도 좋다.
또한, 본 실시형태의 미소 피드백 장치(10)는 시간대에 따라 미소 레벨을 1단계 끌어올리는 보정을 행하는 예를 설명했다. 그러나, 보정을 행하는 조건은 시간대에 한하는 것이 아니라, 예를 들면 유저의 피로도에 따라 미소 레벨의 보정을 행하는 것도 생각된다. 피로도는 유저에 의한 자기신고이여도 좋고, 자동적으로 입력하도록 하여도 좋다. 웨어러블의 활동량계와 연동해서 운동량의 대소로부터 추측하는 방법이나, 플리커값이라고 불리는 지표를 이용한 피로도 계측 등을 이용하는 방법에 의해, 피로도는 자동적으로 입력할 수 있다.
또한, 시간대에 따라 미소 레벨을 1단계 끌어올리는 보정을 행하는 방식에서는, 취침 전의 시간에 효과적인 피드백 화상을 되돌리는 것이 바람직하다. 한편으로, 취침 시간은 개인차가 크기 때문에, 미소 레벨을 보정하는 시간대를 유저에 따라 가변할 수 있는 것이 바람직하다. 예를 들면, 날마다 취침 시간을 학습하는 기능을 이용함으로써 취침 전의 시간의 정확도를 높일 수 있다. 최근의 웨어러블 활동계는 수면 상태를 계측할 수 있는 기능이 붙어 있는 것이 많이 있고, 유저가 몇시에 취침하고, 몇시에 기상했는지의 데이터를 취득할 수 있으므로, 웨어러블 활동계가 계측한 데이터를 활용해도 좋다.
본 발명은, 구체적으로 개시된 상기 실시형태에 한정되는 것은 아니고, 특허청구범위로부터 일탈하지 않고 여러 가지 변형이나 변경이 가능하다. 예를 들면, 상기 실시형태에서는 미소 피드백 장치(10)를 예로 해서 설명했지만, 도 4 등에 나타낸 처리 블록을 도 1b에 나타낸 미소 피드백 서버 장치(12) 및 미소 피드백 클라이언트 장치(14)에 분산 배치한 구성이여도 되는 것은 말할 필요도 없는 것이다.
예를 들면, 도 1b의 구성에 의하면, 유저가 미소 레벨 및 기분을 기록할 수 있는 클라우드 서비스 등에 있어서 실제의 유저의 미소 레벨보다 높은 미소 레벨의 얼굴화상을 유저에게 제시함으로써 유저의 감정 상태를 향상시키는(포지티브로 하는) 멘탈헬스 기능을 실현할 수 있다.
이상, 본 발명을 실시형태에 의거하여 설명했지만, 본 발명은 상기 실시형태에 한정되는 것은 아니고, 특허청구범위에 기재된 범위 내에서 다양한 변형이 가능하다. 본원은 일본 특허청에 2016년 3월 31일에 출원된 기초출원 2016-071232호의 우선권을 주장하는 것이며, 그 전체 내용을 참조에 의해 여기에 원용한다.
10 : 미소 피드백 장치
12 : 미소 피드백 서버 장치
14 : 미소 피드백 클라이언트 장치
16 : 네트워크
100 : 화상 입력부
101 : 입력화상 제시부
102 : 미소값 계측부
103 : 미소 레벨 변환부
104 : 미소 레벨 보정부
105 : 시계부
106 : 리얼타임용 컨텐츠 생성부
107 : 리얼타임용 컨텐츠 제시부
108 : 기분 입력부
109 : 기분-미소 레벨 변환부
110 : 종료화면용 컨텐츠 생성부
111 : 종료화면용 컨텐츠 제시부
112 : 컨텐츠 기억부
113 : 미소 레벨 정보 기억부
114 : 기분-미소 레벨 정보 기억부
121 : 기분 적응 미소값 계산부
122 : 컨텐츠 생성부
123 : 컨텐츠 제시부
501, 601 : 입력 장치
502, 602 : 표시 장치
503, 603 : 외부 I/F
503a, 603a : 기록매체
504, 604 : RAM
505, 605 : ROM
506, 606 : CPU
507, 607 : 통신 I/F
508, 608 : HDD
509 : 촬영 장치
B : 버스

Claims (9)

  1. 촬상화상에 포함되는 유저의 미소값을 계측하는 미소값 계측수단과,
    상기 미소값 계측수단에 의해 계측 가능한 미소값의 범위를 복수로 나누고, 각각의 미소값의 범위를 미소 레벨과 대응시키는 미소 레벨 정보를 기억하는 미소 레벨 정보 기억수단과,
    상기 미소값 계측수단에 의해 계측된 미소값과 상기 미소 레벨 정보 기억수단에 기억된 미소 레벨 정보에 의거하여, 촬상화상에 포함되는 유저의 미소값을 미소 레벨로 변환하는 미소 레벨 변환수단과,
    얼굴화상 제시부에 제시하는 얼굴화상의 미소 레벨이 상기 미소 레벨 변환수단에 의해 변환된 유저의 미소 레벨보다 높게 되도록 보정하는 미소 레벨 보정수단을 갖는 정보처리 장치.
  2. 제 1 항에 있어서,
    미소 레벨마다 얼굴화상을 기억하는 얼굴화상 기억수단과,
    상기 미소 레벨 보정수단에 의해 보정된 유저의 미소 레벨의 얼굴화상을 상기 얼굴화상 기억수단으로부터 판독하여 상기 얼굴화상 제시부에 제시시키는 얼굴화상 생성수단을 더 갖는 것을 특징으로 하는 정보처리 장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    유저의 기분을 나타내는 기분값의 범위를 복수로 나누고, 각각의 기분값의 범위를 미소 레벨과 대응시키는 기분-미소 정보를 기억하는 기분-미소 레벨 정보 기억수단과,
    상기 기분-미소 레벨 정보 기억수단에 기억된 기분-미소 정보에 의거하여, 촬상화상에 포함되는 유저의 기분값을 미소 레벨로 변환하는 기분-미소 레벨 변환수단을 더 갖고,
    상기 기분-미소 레벨 변환수단은 상기 얼굴화상 제시부에 제시하는 얼굴화상의 미소 레벨이 유저의 기분값의 미소 레벨보다 높게 되도록, 촬상화상에 포함되는 유저의 기분값을 미소 레벨로 변환하는 것을 특징으로 하는 정보처리 장치.
  4. 제 1 항 또는 제 2 항에 있어서,
    상기 미소값 계측수단에 의해 계측된 미소값에 유저의 기분을 나타내는 기분값을 적응시킨 기분 적응 미소값을 계산하는 기분 적응 미소값 계산수단을 더 갖고,
    상기 미소 레벨 정보 기억수단은 상기 미소값 계측수단에 의해 계측 가능한 범위의 미소값에 유저의 기분을 나타내는 기분값을 적응시킨 기분 적응 미소값의 범위를 복수로 나누고, 각각의 기분 적응 미소값의 범위를 미소 레벨과 대응시키는 미소 레벨 정보를 기억하고,
    상기 미소 레벨 변환수단은 상기 기분 적응 미소값 계산수단에 의해 계산된 기분 적응 미소값과 상기 미소 레벨 정보 기억수단에 기억된 미소 레벨 정보에 의거하여, 촬상화상에 포함되는 유저의 기분 적응 미소값을 미소 레벨로 변환하는 것을 특징으로 하는 정보처리 장치.
  5. 제 2 항에 있어서,
    상기 얼굴화상 기억수단은 촬상화상에 포함되는 유저의 얼굴화상을 미소 레벨마다 기억하고 있는 것을 특징으로 하는 정보처리 장치.
  6. 제 2 항에 있어서,
    상기 얼굴화상 생성수단은 상기 얼굴화상 제시부에 제시시키는 얼굴화상으로서 상기 미소 레벨 변환수단에 의해 변환된 유저의 미소 레벨보다 미소 레벨이 높은 얼굴화상을, 촬상화상에 포함되는 유저의 얼굴화상으로부터 모핑 기법에 의해 작성하는 것을 특징으로 하는 정보처리 장치.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 미소 레벨 보정수단은 보정 적용 시각 내이면, 상기 얼굴화상 제시부에 제시하는 얼굴화상의 미소 레벨이 상기 미소 레벨 변환수단에 의해 변환된 유저의 미소 레벨보다 높게 되도록 보정하는 것을 특징으로 하는 정보처리 장치.
  8. 컴퓨터를,
    촬상화상에 포함되는 유저의 미소값을 계측하는 미소값 계측수단,
    상기 미소값 계측수단에 의해 계측 가능한 미소값의 범위를 복수로 나누고, 각각의 미소값의 범위를 미소 레벨과 대응시키는 미소 레벨 정보를 기억하는 미소 레벨 정보 기억수단,
    상기 미소값 계측수단에 의해 계측된 미소값과 상기 미소 레벨 정보 기억수단에 기억된 미소 레벨 정보에 의거하여, 촬상화상에 포함되는 유저의 미소값을 미소 레벨로 변환하는 미소 레벨 변환수단,
    얼굴화상 제시부에 제시하는 얼굴화상의 미소 레벨이 상기 미소 레벨 변환수단에 의해 변환된 유저의 미소 레벨보다 높게 되도록 보정하는 미소 레벨 보정수단으로서 기능시키기 위한 프로그램.
  9. 서버 장치와 클라이언트 장치가 네트워크를 통해서 접속된 정보처리 시스템으로서,
    촬상화상에 포함되는 유저의 미소값을 계측하는 미소값 계측수단과,
    상기 미소값 계측수단에 의해 계측 가능한 미소값의 범위를 복수에 나누고, 각각의 미소값의 범위를 미소 레벨과 대응시키는 미소 레벨 정보를 기억하는 미소 레벨 정보 기억수단과,
    상기 미소값 계측수단에 의해 계측된 미소값과 상기 미소 레벨 정보 기억수단에 기억된 미소 레벨 정보에 의거하여, 촬상화상에 포함되는 유저의 미소값을 미소 레벨로 변환하는 미소 레벨 변환수단과,
    얼굴화상 제시부에 제시하는 얼굴화상의 미소 레벨이 상기 미소 레벨 변환수단에 의해 변환된 유저의 미소 레벨보다 높게 되도록 보정하는 미소 레벨 보정수단을 갖는 정보처리 시스템.
KR1020187032997A 2016-03-31 2017-05-31 정보처리 장치, 프로그램 및 정보처리 시스템 KR20200003352A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016071232A JP6778006B2 (ja) 2016-03-31 2016-03-31 情報処理装置、プログラム及び情報処理システム
PCT/IB2017/000653 WO2017168260A1 (ja) 2016-03-31 2017-05-31 情報処理装置、プログラム及び情報処理システム

Publications (1)

Publication Number Publication Date
KR20200003352A true KR20200003352A (ko) 2020-01-09

Family

ID=59962673

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187032997A KR20200003352A (ko) 2016-03-31 2017-05-31 정보처리 장치, 프로그램 및 정보처리 시스템

Country Status (5)

Country Link
US (1) US20190108390A1 (ko)
EP (1) EP3438850A4 (ko)
JP (1) JP6778006B2 (ko)
KR (1) KR20200003352A (ko)
WO (1) WO2017168260A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7496514B2 (ja) 2019-06-06 2024-06-07 パナソニックＩｐマネジメント株式会社 コンテンツ選択方法、コンテンツ選択装置及びコンテンツ選択プログラム
JP7388077B2 (ja) * 2019-09-18 2023-11-29 大日本印刷株式会社 顔日記管理システム、顔日記記録装置、サーバ、顔日記管理方法、及びプログラム
CN111639511B (zh) * 2019-09-26 2021-01-26 广州万燕科技文化传媒有限公司 舞台效果现场识别系统及方法
CN114710553A (zh) * 2020-12-30 2022-07-05 本田技研工业(中国)投资有限公司 信息获取方法、信息推送方法以及终端设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005242567A (ja) * 2004-02-25 2005-09-08 Canon Inc 動作評価装置及び方法
KR20050101006A (ko) * 2004-04-16 2005-10-20 삼성전자주식회사 멀티캐스트 멀티미디어 방송 서비스를 지원하는 이동통신시스템에서 제어 정보를 효율적으로 전송하는 방법
JP4197019B2 (ja) * 2006-08-02 2008-12-17 ソニー株式会社 撮像装置および表情評価装置
JP5304294B2 (ja) * 2009-02-10 2013-10-02 株式会社ニコン 電子スチルカメラ
JP5353293B2 (ja) * 2009-02-23 2013-11-27 株式会社ニコン 画像処理装置及び電子スチルカメラ
JP2010219740A (ja) * 2009-03-16 2010-09-30 Nikon Corp 画像処理装置およびデジタルカメラ
JP2010226485A (ja) * 2009-03-24 2010-10-07 Nikon Corp 画像加工装置およびデジタルカメラ
JP2013080464A (ja) * 2011-09-21 2013-05-02 Nikon Corp 画像処理装置、撮像装置、及びプログラム
US10365716B2 (en) * 2013-03-15 2019-07-30 Interaxon Inc. Wearable computing apparatus and method

Also Published As

Publication number Publication date
JP6778006B2 (ja) 2020-10-28
US20190108390A1 (en) 2019-04-11
EP3438850A1 (en) 2019-02-06
WO2017168260A1 (ja) 2017-10-05
JP2017182594A (ja) 2017-10-05
EP3438850A4 (en) 2019-10-02

Similar Documents

Publication Publication Date Title
KR20200003352A (ko) 정보처리 장치, 프로그램 및 정보처리 시스템
US20200275848A1 (en) Virtual reality guided meditation with biofeedback
CN104768049B (zh) 一种用于同步音频数据和视频数据的方法、系统及计算机可读存储介质
CN103959761B (zh) 摄像装置以及信息处理装置
CN108133709A (zh) 语音识别装置和语音识别方法
JP2013138870A (ja) 運動量測定方法およびそれを適用したディスプレイ装置
JP6941800B2 (ja) 感情推定装置、感情推定方法及びプログラム
GB2541582A (en) Hint based spot healing techniques
JP6198530B2 (ja) 画像処理装置
JP2017164215A (ja) 関心度推定装置、関心度推定方法、プログラムおよび記録媒体
US11163822B2 (en) Emotional experience metadata on recorded images
JP5556194B2 (ja) 表示制御装置及び表示制御プログラム
CN110545386A (zh) 用于拍摄图像的方法和设备
WO2015074626A1 (zh) 热像分析装置、配置装置和热像分析方法、配置方法
WO2021192991A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6515899B2 (ja) 音声対話装置及びその制御方法
JP2014104132A (ja) 肌画像分析装置及び肌画像分析方法
DE112019003050T5 (de) Endgerätvorrichtung, Informationsverarbeitungsverfahren und Programm
JP6838739B2 (ja) 近時記憶支援装置
TWM584894U (zh) 記憶喚醒系統
WO2022113276A1 (ja) 情報処理装置、制御方法及び記憶媒体
JP2013042333A (ja) 画像処理装置、撮像装置、画像処理プログラム、および、記録媒体
JP6965114B2 (ja) 情報処理装置
WO2023135632A1 (ja) ストレス推定装置、ストレス推定方法及び記憶媒体
Kumar et al. Speaking system for deaf and dumb people using hand gestures