KR20120107033A - 스마트폰을 이용한 얼굴 이미지의 감정상태 검색방법 및 그 시스템 - Google Patents

스마트폰을 이용한 얼굴 이미지의 감정상태 검색방법 및 그 시스템 Download PDF

Info

Publication number
KR20120107033A
KR20120107033A KR1020110024350A KR20110024350A KR20120107033A KR 20120107033 A KR20120107033 A KR 20120107033A KR 1020110024350 A KR1020110024350 A KR 1020110024350A KR 20110024350 A KR20110024350 A KR 20110024350A KR 20120107033 A KR20120107033 A KR 20120107033A
Authority
KR
South Korea
Prior art keywords
image
smartphone
face
emotional state
display unit
Prior art date
Application number
KR1020110024350A
Other languages
English (en)
Inventor
신기철
Original Assignee
신기철
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 신기철 filed Critical 신기철
Priority to KR1020110024350A priority Critical patent/KR20120107033A/ko
Publication of KR20120107033A publication Critical patent/KR20120107033A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole

Landscapes

  • Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 스마트폰을 이용한 얼굴 이미지의 감정상태 검색방법 및 그 시스템에 관한 것이다. 본 발명의 스마트폰을 이용한 얼굴 이미지의 감정상태 검색방법은, (a) 스마트폰을 통해 얼굴 이미지의 감정상태 모드를 실행시키는 단계; (b) 상기 스마트폰에 구비된 카메라를 통해 사용자의 얼굴을 직접 촬영하여 촬영 이미지를 제작하는 단계; (c) 상기 촬영 이미지를 상기 스마트폰에 구비된 디스플레이부에 게재하는 단계; (d) 상기 디스플레이부에 게재된 상기 촬영 이미지를 상기 스마트폰의 메모리에 미리 저장된 다수의 감정상태별 이미지들과 매칭 모듈(matching module)을 통해 비교하고 가장 비슷한 매칭 이미지를 찾는 단계; 및 (e) 상기 매칭 이미지를 상기 디스플레이부에 게재하면서 상기 촬영 이미지의 감정상태를 표시하는 단계를 포함한다. 이에 의해, 자신의 얼굴 이미지의 감정상태를 보다 효율적으로 검색하여 명확하게 찾아낼 수 있도록 함으로써 재미와 흥미를 유발시킬 수 있도록 하는 한편, 인간관계에서나 비즈니스에서 자신의 모습을 관리할 수 있다.

Description

스마트폰을 이용한 얼굴 이미지의 감정상태 검색방법 및 그 시스템{Method for detecting face feeling situation using smart phone and system thereof}
본 발명은, 스마트폰을 이용한 얼굴 이미지의 감정상태 검색방법 및 그 시스템에 관한 것으로서, 보다 상세하게는, 자신의 얼굴 이미지의 감정상태를 보다 효율적으로 검색하여 명확하게 찾아낼 수 있도록 함으로써 재미와 흥미를 유발시킬 수 있도록 하는 한편, 인간관계에서나 비즈니스에서 자신의 모습을 관리할 수 있는 스마트폰을 이용한 얼굴 이미지의 감정상태 검색방법 및 그 시스템에 관한 것이다.
스마트폰(smart phone)은, 휴대폰과 개인휴대단말기(personal digital assistant; PDA)의 장점을 결합한 것으로, 휴대폰 기능에 일정관리, 팩스 송ㅇ수신 및 인터넷 접속 등의 데이터 통신기능을 통합시킨 것이다.
스마트폰의 가장 큰 특징은 완제품으로 출시되어 주어진 기능만 사용하던 기존의 휴대폰과는 달리 수백여 종의 다양한 애플리케이션(응용프로그램)을 사용자가 원하는 대로 설치하고 추가 또는 삭제할 수 있다는 점이다.
이러한 장점에 기인하여 근래에는 다양한 애플리케이션 등이 등장하고 있는데, 그 중의 하나가 얼굴 인식 애플리케이션이다.
얼굴 인식 애플리케이션은 자신의 얼굴을 촬영한 후, 다른 사람들, 예컨대 연예인이나 운동선수들과 비교하여 자신의 얼굴이 누구와 닮았는지를 확인하는 재미와 흥미를 위한 애플리케이션이다.
하지만, 현재 출시된 얼굴 인식 애플리케이션은 단순히 재미와 흥미를 위한 것일 뿐 자신의 얼굴(혹은 얼굴 이미지, 사진)의 감정상태가 어떠한 지, 예컨대 슬픈지, 기쁜지를 알 수는 없는데, 만약 자신의 얼굴 이미지의 감정상태를 보다 효율적으로 검색하여 명확하게 찾아낼 수 있도록 한다면 인간관계에서나 비즈니스에서 자신의 모습을 관리할 수 있어 유효한 애플리케이션이 될 수 있을 것이다.
본 발명의 목적은, 자신의 얼굴 이미지의 감정상태를 보다 효율적으로 검색하여 명확하게 찾아낼 수 있도록 함으로써 재미와 흥미를 유발시킬 수 있도록 하는 한편, 인간관계에서나 비즈니스에서 자신의 모습을 관리할 수 있는 스마트폰을 이용한 얼굴 이미지의 감정상태 검색방법 및 그 시스템을 제공하는 것이다.
상기 목적은, (a) 스마트폰을 통해 얼굴 이미지의 감정상태 모드를 실행시키는 단계; (b) 상기 스마트폰에 구비된 카메라를 통해 사용자의 얼굴을 직접 촬영하여 촬영 이미지를 제작하는 단계; (c) 상기 촬영 이미지를 상기 스마트폰에 구비된 디스플레이부에 게재하는 단계; (d) 상기 디스플레이부에 게재된 상기 촬영 이미지를 상기 스마트폰의 메모리에 미리 저장된 다수의 감정상태별 이미지들과 매칭 모듈(matching module)을 통해 비교하고 가장 비슷한 매칭 이미지를 찾는 단계; 및 (e) 상기 매칭 이미지를 상기 디스플레이부에 게재하면서 상기 촬영 이미지의 감정상태를 표시하는 단계를 포함하는, 스마트폰을 이용한 얼굴 이미지의 감정상태 검색방법에 의해 달성된다.
상기 (a) 단계는 상기 스마트폰에 구비된 얼굴 이미지의 감정상태 모드 버튼을 통해 물리적으로 실행되거나 상기 스마트폰에 구비된 음성 인식부를 통한 음성 인식에 의해 자동으로 실행될 수 있다.
상기 (a) 단계의 실행 시 상기 디스플레이부에는 거울이 표시되며, 상기 거울에 자신의 얼굴을 비출 때, 상기 카메라가 동작되어 사용자의 얼굴을 촬영할 수 있다.
한편, 상기 목적은, (a) 스마트폰을 통해 얼굴 이미지의 감정상태 모드를 실행시키는 단계; (b) 상기 스마트폰의 메모리에 미리 저장된 다수의 얼굴 사진 이미지 중에서 하나의 이미지를 선택하는 단계; (c) 선택된 선택 이미지를 상기 스마트폰에 구비된 디스플레이부에 게재하는 단계; (d) 상기 디스플레이부에 게재된 상기 선택 이미지를 상기 스마트폰의 메모리에 미리 저장된 다수의 감정상태별 이미지들과 매칭 모듈(matching module)을 통해 비교하고 가장 비슷한 매칭 이미지를 찾는 단계; 및 (e) 상기 매칭 이미지를 상기 디스플레이부에 게재하면서 상기 선택 이미지의 감정상태를 표시하는 단계를 포함하는, 스마트폰을 이용한 얼굴 이미지의 감정상태 검색방법에 의해서도 달성된다.
상기 (e) 단계 실행 시 표시되는 감정상태는 상기 스마트폰에 구비되는 스피커에 의한 음성 전달 방식일 수 있다.
상기 (e) 단계 실행 시 표시되는 감정상태는 상기 디스플레이부에 나타나는 아바타에 의한 시각 전달 또는 음성 전달 방식일 수 있다.
한편, 상기 목적은, 스마트폰의 일면에 마련되어 화면이 표시되는 디스플레이부; 상기 스마트폰에 마련되어 얼굴 이미지를 촬영하는 적어도 하나의 카메라; 상기 스마트폰에 마련되는 음성 인식부; 상기 스마트폰에 마련되는 스피커; 상기 스마트폰에 내장되며, 다수의 감정상태별 이미지들과 얼굴 사진 이미지들이 미리 저장되는 메모리; 상기 카메라에 의해 촬영된 촬영 이미지 또는 상기 메모리에 미리 저장된 상기 얼굴 사진 이미지들 중에서 선택된 선택 이미지를 상기 메모리에 미리 저장된 상기 감정상태별 이미지들과 비교하여 가장 비슷한 매칭 이미지를 찾는 매칭 모듈(matching module); 및 상기 디스플레이부, 상기 카메라, 상기 음성 인식부, 상기 스피커, 상기 메모리 및 상기 매칭 모듈을 제어하는 제어부를 포함하는, 스마트폰을 이용한 얼굴 이미지의 감정상태 검색시스템에 의해서도 달성된다.
본 발명에 따르면, 자신의 얼굴 이미지의 감정상태를 보다 효율적으로 검색하여 명확하게 찾아낼 수 있도록 함으로써 재미와 흥미를 유발시킬 수 있도록 하는 한편, 인간관계에서나 비즈니스에서 자신의 모습을 관리할 수 있는 효과가 있다.
도 1은 본 발명의 제1 실시예에 따른 스마트폰을 이용한 얼굴 이미지의 감정상태 검색시스템의 제어블록도,
도 2는 도 1의 검색시스템에 기초한 얼굴 이미지의 감정상태 검색방법의 플로차트,
도 3 내지 도 6은 얼굴 이미지의 감정상태 검색방법을 수행하는 스마트폰의 단계별 구성도,
도 7은 본 발명의 제1 실시예에 따른 스마트폰을 이용한 얼굴 이미지의 감정상태 검색방법의 플로차트이다.
이하, 첨부도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.
도 1은 본 발명의 제1 실시예에 따른 스마트폰을 이용한 얼굴 이미지의 감정상태 검색시스템의 제어블록도, 도 2는 도 1의 검색시스템에 기초한 얼굴 이미지의 감정상태 검색방법의 플로차트, 그리고 도 3 내지 도 6은 얼굴 이미지의 감정상태 검색방법을 수행하는 스마트폰의 단계별 구성도이다.
이들 도면에 도시된 바와 같이, 본 실시예의 스마트폰을 이용한 얼굴 이미지의 감정상태 검색시스템은 스마트폰(1)을 이용한 것으로서, 카메라(10), 디스플레이부(20), 음성 인식부(30), 스피커(40), 매칭 모듈(matching module, 50), 그리고 이들을 제어하는 제어부(60)를 포함한다.
카메라(10)는 사용자의 얼굴 이미지를 촬영하는 역할을 한다. 셀프 기능을 가질 수도 있고 아니면 스마트폰(1)의 전후면 모두에 다수 개 마련될 수도 있다.
도면에는 스마트폰(1)의 상단부에 카메라(10)가 위치되고 있지만 반드시 그러할 필요는 없다.
디스플레이부(20)는 도 5 및 도 6처럼 화면이 표시되는 부분이다. LCD를 비롯하여 PDP, OLED 등 다양한 기판으로 제작될 수 있다.
디스플레이부(20)의 주변에는 다수의 버튼(1a)이 마련된다. 버튼(1a)은 특정 모드를 실행시키는데 사용될 수 있다.
물론, 본 실시예는 스마트폰(1)에 적용되기 때문에 버튼은 디스플레이부(20)의 화면에 터치스크린 방식으로 표현될 수 있다. 도 4에서 참조부호 1b는 디스플레이부(20)에 나타날 수 있는 거울에 해당한다.
음성 인식부(30)는 사용자의 음성을 인식하는 부분이다. 통상 마이크라 불릴 수 있으며, 디스플레이부(20)의 하단부에 마련된다.
스피커(40)는 소리 신호가 스마트폰(1)의 바깥쪽으로 전달되는 장소이다. 음성 인식부(30)와는 반대편에 배치되는 것이 일반적이다. 스피커(40)는 도시된 것을 떠나서 여러 곳에 다수 개 마련될 수 있다.
메모리(62, MEMORY)는 다수의 감정상태별 이미지들과 얼굴 사진 이미지들이 미리 저장되는 장소이다. 내장형 또는 외장형일 수 있으며, 내장형인 경우, 제어부(60)에 마련될 수 있다. 이에 대해서는 후술한다.
메모리(62)에 저장되는 이미지들 중에서, 다수의 감정상태별 이미지들이란, 슬픈 상태의 얼굴 이미지, 기쁜 상태의 얼굴 이미지, 화난 상태의 얼굴 이미지, 놀란 상태의 얼굴 이미지, 우울한 상태의 얼굴 이미지 등을 포함한다.
스마트폰(1)을 통해 본 발명이 구현되기 위해서는 위의 다양한 이미지들, 즉 다수의 감정상태별 이미지들이 미리 촬영되어 메모리(62)에 저장되어 있어야 하며, 감정상태가 세분화되면 될 수록 유리하다.
이에 반해, 얼굴 사진 이미지들이란 카메라(10)를 통해 촬영되어 미리 저장되어 있던 사진들, 즉 야외에서 찍은 사진들, 명함 사진들 등을 모두 포함한다.
자신의 얼굴을 촬영한 경우라면 얼굴 사진 이미지들이 메모리(62)에 저장되어 있을 수 있지만, 경우에 따라서는 메모리(62)에 아무런 얼굴 사진 이미지들이 없을 수도 있다.
매칭 모듈(50)은, 카메라(10)에 의해 촬영된 촬영 이미지 또는 메모리(62)에 미리 저장된 얼굴 사진 이미지들 중에서 선택된 선택 이미지를 메모리(62)에 미리 저장된 감정상태별 이미지들과 비교하여 가장 비슷한 매칭 이미지를 찾는 역할을 한다. 제어부(60)에 의해 제어된다.
제어부(60)는, 카메라(10), 디스플레이부(20), 음성 인식부(30), 스피커(40), 그리고 매칭 모듈(50)들을 제어한다.
이러한 제어부(60)는, 도 1에 도시된 바와 같이, 중앙처리장치(61, CPU), 메모리(62, MEMORY), 서포트 회로(63, SUPPORT CIRCUIT)를 포함한다.
중앙처리장치(61)는 본 실시예의 얼굴 이미지의 감정상태 검색방법을 구현 또는 제어하기 위해서 산업적으로 적용될 수 있는 다양한 컴퓨터 프로세서들 중 하나일 수 있다.
메모리(62)는 중앙처리장치(61)와 동작으로 연결된다. 메모리(62)는 컴퓨터로 읽을 수 있는 기록매체로서 로컬 또는 원격지에 설치될 수 있으며, 예를 들면 랜덤 액세스 메모리(RAM), ROM, 플로피 디스크, 하드 디스크 또는 임의의 디지털 저장 형태와 같이 쉽게 이용가능한 적어도 하나 이상의 메모리이다. 앞서 기술한 바와 같이, 메모리(62)에는 다수의 감정상태별 이미지들과 얼굴 사진 이미지들이 저장된다.
서포트 회로(63)는 중앙처리장치(61)와 작용적으로 결합되어 프로세서의 전형적인 동작을 지원한다. 이러한 서포트 회로(63)는 캐시, 파워 서플라이, 클록 회로, 입/출력 회로, 서브시스템 등을 포함할 수 있다.
예를 들면, 본 실시예에 따른 얼굴 이미지의 감정상태 검색방법을 구현하는 일련의 프로세스 등이 메모리(62)에 저장될 수 있다. 전형적으로는 소프트웨어 루틴이 메모리(62)에 저장될 수 있다. 소프트웨어 루틴은 또한 다른 CPU(미도시)에 의해서 저장되거나 실행될 수 있다.
본 발명에 따른 프로세스는 소프트웨어 루틴에 의해 실행되는 것으로 설명하였지만, 본 발명의 프로세스들 중 적어도 일부는 하드웨어에 의해 수행되는 것도 가능하다. 이처럼, 본 발명의 프로세스들은 컴퓨터 시스템 상에서 수행되는 소프트웨어로 구현되거나 또는 집적 회로와 같은 하드웨어로 구현되거나 또는 소프트웨어와 하드웨어의 조합에 의해서 구현될 수 있다.
이하, 도 2 내지 도 6을 참조하여 본 실시예에 따른 얼굴 이미지의 감정상태 검색방법에 대해 설명한다.
우선, 스마트폰(1)을 통해 얼굴 이미지의 감정상태 모드를 실행시킨다(S11). 얼굴 이미지의 감정상태 모드 실행은, 스마트폰(1)에 구비된 얼굴 이미지의 감정상태 모드 버튼(미도시)을 통해 물리적으로 실행될 수도 있고, 스마트폰(1)에 구비된 음성 인식부(30)를 통해 자동으로 실행될 수도 있다.
후자의 경우, "거울아, 거울아 지금 나는 어떤 모습이니?" 등의 미리 설정된 멘트를 음성 인식부(30)에 입력함으로써 얼굴 이미지의 감정상태 모드가 실행되도록 할 수 있다.
도 3과 같은 상태에서 얼굴 이미지의 감정상태 모드가 실행되면, 도 4와 같이 디스플레이부(20)에 거울(1b)이 나타날 수 있다.
거울(1b)이 나타나는 하나의 예에 불과한데, 거울(1b)이 나타나면 현재 자신의 얼굴을 한 번 더 관찰할 수 있어 유리하며, 거울(1b)에 자신의 얼굴을 비출 때, 자동으로 카메라(10)가 동작되어 사용자의 얼굴을 촬영할 수 있다. 물론, 카메라(10)의 동작은 사용자의 직접 선택에 의해 이루어질 수도 있다.
다음, 카메라(10)를 통해 사용자의 얼굴을 직접 촬영하여 촬영 이미지를 제작하게 되며(S12), 이후에, 도 5에 도시된 바와 같이, 촬영 이미지가 스마트폰(1)에 구비된 디스플레이부(20)에 게재된다(S13).
이후, 매칭 모듈(50)이 디스플레이부(20)에 게재된 촬영 이미지를 스마트폰(1)의 메모리(62)에 미리 저장된 다수의 감정상태별 이미지들과 비교하고 가장 비슷한 매칭 이미지를 찾는다(S14).
그런 다음에, 찾아진 매칭 이미지를 도 6처럼 디스플레이부(20)에 게재하면서 촬영 이미지의 감정상태를 표시한다(S15).
도 6은 메모리(62)에 미리 저장되어 있던 감정상태별 이미지들 중에서 기쁜 상태의 얼굴 이미지를 디스플레이부(20)에 게재시킨 것인데, 이러한 이미지를 통해 현재 자신의 얼굴 상태가 기쁜 상태라는 것을 육안으로 쉽게 확인할 수 있다.
하지만, S15의 단계는, 찾아진 매칭 이미지를 도 6처럼 디스플레이부(20)에 게재하는 것에 국한되지 않는다.
예컨대, 도 6처럼 매칭 이미지를 디스플레이부(20)에 게재하면서 스피커(40)를 통해 현재 자신의 얼굴 상태를 음성 전달할 수도 있다. 다시 말해, 도 6처럼 매칭 이미지가 디스플레이부(20)에 게재됨과 동시에 "네!! 지금 당신은 기쁜 상태입니다."라는 멘트가 스피커(40)를 통해 외부로 전달될 수도 있다.
뿐만 아니라 이러한 방식 외에도, 아바타에 의한 시각 전달 또는 음성 전달 방식이 더 적용될 수도 있다. 즉 기쁜 표정을 한 아바타가 더 표시되면서 "기쁜 모습이 보기가 좋습니다."라거나 "걱정 마세요. 잘 될 겁니다."라는 등의 문구나 소리가 출력될 수도 있을 것이다.
그러면, 본 실시예에 따른 얼굴 이미지의 감정상태 검색방법에 대해 보다 알기 쉽게 좀 더 구체적으로 설명하면 다음과 같다.
사용자가 스마트폰(1)을 들고 음성 인식부(30)에 "거울아, 거울아 지금 나는 어떤 모습이니?"라는 미리 설정된 멘트를 입력한다.
물론, "거울아, 거울아 지금 나는 어떤 모습이니?"라는 멘트 외에도 멘트의 형식은 다양할 수 있다. 멘트가 입력되면 제어부(60)의 제어를 통해, 디스플레이부(20)에 거울(1b)이 표시된다.
이후에, 사용자는 거울(1b)을 보면서 현재 자신의 얼굴 상태를 눈으로 확인한다. 그러면, 제어부(60)에 의해 카메라(10)가 동작되어 사용자의 얼굴을 촬영한다. 촬영된 이미지, 즉 촬영 이미지는 디스플레이부(20)에 표시된다.
그 다음, 매칭 모듈(50)이 디스플레이부(20)에 게재된 촬영 이미지를 스마트폰(1)의 메모리(62)에 미리 저장된 다수의 감정상태별 이미지들과 비교하고 가장 비슷한 매칭 이미지를 찾는다.
즉 매칭 모듈(50)은 메모리(62)에 미리 저장되어 있던 각종 얼굴 이미지들, 예컨대 즐거움, 행복, 걱정, 짜증, 놀람, 배신, 지루함 등등의 얼굴 이미지들 중에서 촬영 이미지와 가장 비슷한 것을 찾는다. 찾아진 매칭 이미지는 디스플레이부(20)에 게재된다.
앞서 기술한 바와 같이, 찾아진 매칭 이미지가 디스플레이부(20)에 게재되는 것만으로도 사용자가 자신의 현재 얼굴 상태를 눈으로 확인할 수 있다.
하지만, "네!! 지금 당신은 기쁜 상태입니다."라는 멘트가 스피커(40)를 통해 외부로 전달되거나, 아니면 아바타에 의해 "기쁜 모습이 보기가 좋습니다."라거나 "걱정 마세요. 잘 될 겁니다."라는 등의 문구나 소리가 출력될 수도 있으며, 이와 같은 리액션과 멘트가 출력되는 경우라면 현재 자신의 얼굴 상태를 파악하는데 보다 쉬워질 수 있어, 인간관계에서나 비즈니스에서 자신의 모습을 관리하기에 유리하다.
이와 같이, 본 실시예에 따르면, 자신의 얼굴 이미지의 감정상태를 보다 효율적으로 검색하여 명확하게 찾아낼 수 있도록 함으로써 재미와 흥미를 유발시킬 수 있도록 하는 한편, 인간관계에서나 비즈니스에서 자신의 모습을 관리할 수 있게 된다.
도 7은 본 발명의 제1 실시예에 따른 스마트폰을 이용한 얼굴 이미지의 감정상태 검색방법의 플로차트이다.
전술한 실시예의 경우, 카메라(10)를 이용하여 현재 자신의 얼굴에 대한 이미지, 즉 영상을 촬영하여 자신의 현재 얼굴 상태가 어떠한 감정을 가지고 있는지를 찾아내는 방법을 개시하였다.
하지만, 메모리(62)에 저장되어 있던 다양한 과거 사진들, 예컨대 과거 휴양지에서 촬영한 사진 이미지를 선택하여 그 당시의 감정상태가 어떠했는지를 확인하고자 할 때에도 본 발명이 적용될 수 있다.
도 7을 참조하여, 얼굴 이미지의 감정상태 검색방법의 다른 실시예에 대해 설명한다.
우선, 스마트폰(1)을 통해 얼굴 이미지의 감정상태 모드를 실행시킨다(S21). 그리고는 스마트폰(1)의 메모리(62)에 미리 저장된 다수의 얼굴 사진 이미지 중에서 하나의 이미지를 선택한다(S22).
그러면, 선택된 선택 이미지가 스마트폰(1)에 구비된 디스플레이부(20)에 게재된다(S23).
다음, 매칭 모듈(50)이 디스플레이부(20)에 게재된 선택 이미지를 스마트폰(1)의 메모리(62)에 미리 저장된 다수의 감정상태별 이미지들과 비교하고 가장 비슷한 매칭 이미지를 찾는다(S24).
찾아진 매칭 이미지는 앞서 기술한 것처럼 디스플레이부(20)에 게재되어 선택 이미지의 감정상태를 표시하게 된다(S25).
물론, 이 단계에서 앞서 기술한 것처럼 스피커(40)를 통해 기존 사진의 얼굴 상태를 음성 전달할 수도 있다. 다시 말해, 매칭 이미지가 디스플레이부(20)에 게재됨과 동시에 "네!! 당신은 기쁜 상태입니다."라는 멘트가 스피커(40)를 통해 외부로 전달될 수도 있다.
뿐만 아니라 이러한 방식 외에도, 아바타에 의한 시각 전달 또는 음성 전달 방식이 더 적용될 수도 있다. 즉 기쁜 표정을 한 아바타가 더 표시되면서 "기쁜 모습이 보기가 좋습니다."라거나 "걱정 마세요. 잘 될 겁니다."라는 등의 문구나 소리가 출력될 수도 있을 것이다.
이러한 방법이 적용되더라도, 자신의 얼굴 이미지의 감정상태를 보다 효율적으로 검색하여 명확하게 찾아낼 수 있도록 함으로써 재미와 흥미를 유발시킬 수 있도록 하는 한편, 인간관계에서나 비즈니스에서 자신의 모습을 관리할 수 있게 된다.
이와 같이 본 발명은 기재된 실시예에 한정되는 것이 아니고, 본 발명의 사상 및 범위를 벗어나지 않고 다양하게 수정 및 변형할 수 있음은 이 기술의 분야에서 통상의 지식을 가진 자에게 자명하다. 따라서 그러한 수정예 또는 변형예들은 본 발명의 특허청구범위에 속한다 하여야 할 것이다.
10 : 카메라 20 : 디스플레이부
30 : 음성 인식부 40 : 스피커
50 : 매칭 모듈 60 : 제어부
62 : 메모리

Claims (6)

  1. (a) 스마트폰을 통해 얼굴 이미지의 감정상태 모드를 실행시키는 단계;
    (b) 상기 스마트폰에 구비된 카메라를 통해 사용자의 얼굴을 직접 촬영하여 촬영 이미지를 제작하는 단계;
    (c) 상기 촬영 이미지를 상기 스마트폰에 구비된 디스플레이부에 게재하는 단계;
    (d) 상기 디스플레이부에 게재된 상기 촬영 이미지를 상기 스마트폰의 메모리에 미리 저장된 다수의 감정상태별 이미지들과 매칭 모듈(matching module)을 통해 비교하고 가장 비슷한 매칭 이미지를 찾는 단계; 및
    (e) 상기 매칭 이미지를 상기 디스플레이부에 게재하면서 상기 촬영 이미지의 감정상태를 표시하는 단계를 포함하는, 스마트폰을 이용한 얼굴 이미지의 감정상태 검색방법.
  2. 제1항에 있어서,
    상기 (a) 단계는 상기 스마트폰에 구비된 얼굴 이미지의 감정상태 모드 버튼을 통해 물리적으로 실행되거나 상기 스마트폰에 구비된 음성 인식부를 통한 음성 인식에 의해 자동으로 실행되는 것을 특징으로 하는, 스마트폰을 이용한 얼굴 이미지의 감정상태 검색방법.
  3. 제1항에 있어서,
    상기 (a) 단계의 실행 시 상기 디스플레이부에는 거울이 표시되며, 상기 거울에 자신의 얼굴을 비출 때, 상기 카메라가 동작되어 사용자의 얼굴을 촬영하는 것을 특징으로 하는, 스마트폰을 이용한 얼굴 이미지의 감정상태 검색방법.
  4. (a) 스마트폰을 통해 얼굴 이미지의 감정상태 모드를 실행시키는 단계;
    (b) 상기 스마트폰의 메모리에 미리 저장된 다수의 얼굴 사진 이미지 중에서 하나의 이미지를 선택하는 단계;
    (c) 선택된 선택 이미지를 상기 스마트폰에 구비된 디스플레이부에 게재하는 단계;
    (d) 상기 디스플레이부에 게재된 상기 선택 이미지를 상기 스마트폰의 메모리에 미리 저장된 다수의 감정상태별 이미지들과 매칭 모듈(matching module)을 통해 비교하고 가장 비슷한 매칭 이미지를 찾는 단계; 및
    (e) 상기 매칭 이미지를 상기 디스플레이부에 게재하면서 상기 선택 이미지의 감정상태를 표시하는 단계를 포함하는, 스마트폰을 이용한 얼굴 이미지의 감정상태 검색방법.
  5. 제1항 또는 제4항에 있어서,
    상기 (e) 단계 실행 시 표시되는 감정상태는 상기 디스플레이부에 나타나는 아바타에 의한 시각 전달 또는 음성 전달 방식인 것을 특징으로 하는, 스마트폰을 이용한 얼굴 이미지의 감정상태 검색방법.
  6. 스마트폰의 일면에 마련되어 화면이 표시되는 디스플레이부;
    상기 스마트폰에 마련되어 얼굴 이미지를 촬영하는 적어도 하나의 카메라;
    상기 스마트폰에 마련되는 음성 인식부;
    상기 스마트폰에 마련되는 스피커;
    상기 스마트폰에 내장되며, 다수의 감정상태별 이미지들과 얼굴 사진 이미지들이 미리 저장되는 메모리;
    상기 카메라에 의해 촬영된 촬영 이미지 또는 상기 메모리에 미리 저장된 상기 얼굴 사진 이미지들 중에서 선택된 선택 이미지를 상기 메모리에 미리 저장된 상기 감정상태별 이미지들과 비교하여 가장 비슷한 매칭 이미지를 찾는 매칭 모듈(matching module); 및
    상기 디스플레이부, 상기 카메라, 상기 음성 인식부, 상기 스피커, 상기 메모리 및 상기 매칭 모듈을 제어하는 제어부를 포함하는, 스마트폰을 이용한 얼굴 이미지의 감정상태 검색시스템.
KR1020110024350A 2011-03-18 2011-03-18 스마트폰을 이용한 얼굴 이미지의 감정상태 검색방법 및 그 시스템 KR20120107033A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110024350A KR20120107033A (ko) 2011-03-18 2011-03-18 스마트폰을 이용한 얼굴 이미지의 감정상태 검색방법 및 그 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110024350A KR20120107033A (ko) 2011-03-18 2011-03-18 스마트폰을 이용한 얼굴 이미지의 감정상태 검색방법 및 그 시스템

Publications (1)

Publication Number Publication Date
KR20120107033A true KR20120107033A (ko) 2012-09-28

Family

ID=47113301

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110024350A KR20120107033A (ko) 2011-03-18 2011-03-18 스마트폰을 이용한 얼굴 이미지의 감정상태 검색방법 및 그 시스템

Country Status (1)

Country Link
KR (1) KR20120107033A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101480669B1 (ko) * 2014-03-24 2015-01-26 충남대학교산학협력단 얼굴 표정을 이용한 감정 인식 어플리케이션이 구비된 단말기 및 그 제어방법
WO2019151689A1 (ko) * 2018-01-31 2019-08-08 삼성전자주식회사 전자 장치 및 이의 제어 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101480669B1 (ko) * 2014-03-24 2015-01-26 충남대학교산학협력단 얼굴 표정을 이용한 감정 인식 어플리케이션이 구비된 단말기 및 그 제어방법
WO2019151689A1 (ko) * 2018-01-31 2019-08-08 삼성전자주식회사 전자 장치 및 이의 제어 방법
US11521424B2 (en) 2018-01-31 2022-12-06 Samsung Electronics Co., Ltd. Electronic device and control method therefor

Similar Documents

Publication Publication Date Title
CN109637518B (zh) 虚拟主播实现方法及装置
US10565763B2 (en) Method and camera device for processing image
US9953212B2 (en) Method and apparatus for album display, and storage medium
US10152207B2 (en) Method and device for changing emoticons in a chat interface
RU2664003C2 (ru) Способ и устройство для определения ассоциированного пользователя
US20220021742A1 (en) Content push method and apparatus, and device
KR102193029B1 (ko) 디스플레이 장치 및 그의 화상 통화 수행 방법
WO2022188305A1 (zh) 信息展示方法及装置、电子设备、存储介质及计算机程序
CN107133354B (zh) 图像描述信息的获取方法及装置
WO2019153925A1 (zh) 一种搜索方法及相关装置
EP3125164A1 (en) Method and device for presenting ticket information
WO2021047069A1 (zh) 人脸识别方法和电子终端设备
WO2022198934A1 (zh) 卡点视频的生成方法及装置
US11335348B2 (en) Input method, device, apparatus, and storage medium
JP2007080057A (ja) 顔による属性判定娯楽装置
US20180173394A1 (en) Method and apparatus for inputting expression information
JP6964671B2 (ja) 通信装置、その方法及びそのコンピュータプログラム
CN110648657B (zh) 一种语言模型训练方法、构建方法和装置
CN109933389B (zh) 数据对象信息处理、页面展示方法及装置
CN113553946A (zh) 信息提示方法及装置、电子设备和存储介质
US20230267282A1 (en) Poetry generation
KR20120107033A (ko) 스마트폰을 이용한 얼굴 이미지의 감정상태 검색방법 및 그 시스템
CN107341000B (zh) 一种显示指纹录入图像的方法及装置、终端
KR102616156B1 (ko) 컨텐츠를 생성하기 위한 전자 장치
US10871832B2 (en) Method and device for obtaining operation entry, and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E601 Decision to refuse application