KR101933281B1 - 게임플레이어의 얼굴 인식을 통한 게임운영 방법 - Google Patents

게임플레이어의 얼굴 인식을 통한 게임운영 방법 Download PDF

Info

Publication number
KR101933281B1
KR101933281B1 KR1020160162258A KR20160162258A KR101933281B1 KR 101933281 B1 KR101933281 B1 KR 101933281B1 KR 1020160162258 A KR1020160162258 A KR 1020160162258A KR 20160162258 A KR20160162258 A KR 20160162258A KR 101933281 B1 KR101933281 B1 KR 101933281B1
Authority
KR
South Korea
Prior art keywords
game
game player
emotion
smart device
face
Prior art date
Application number
KR1020160162258A
Other languages
English (en)
Other versions
KR20180062221A (ko
Inventor
유환수
류승택
장재건
Original Assignee
주식회사 트라이캐치미디어
한신대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 트라이캐치미디어, 한신대학교 산학협력단 filed Critical 주식회사 트라이캐치미디어
Priority to KR1020160162258A priority Critical patent/KR101933281B1/ko
Publication of KR20180062221A publication Critical patent/KR20180062221A/ko
Application granted granted Critical
Publication of KR101933281B1 publication Critical patent/KR101933281B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/58—Controlling game characters or game objects based on the game progress by computing conditions of game characters, e.g. stamina, strength, motivation or energy level
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 게임플레이어의 얼굴 인식을 통한 게임운영 방법에 관한 것으로, 스마트 장치가 온(on)된 상태에서, 모바일 기기와 스마트 장치가 서로 연결되어 게임을 실행하는 게임플레이어의 얼굴 인식을 통한 게임운영 방법에 있어서, 스마트 장치에 설치된 모듈을 통해 게임 플레이어의 표정을 읽어들여 게임 플레이어의 얼굴 영역을 스캔하여 얼굴을 인식하는 단계, 상기 스마트 장치는 게임플레이어의 표정 변화에 관한 정보를 바탕으로 사용자의 성향을 파악해 내는 단계, 상기 스마트 장치는 저장된 사용자의 성향 정보 및/또는 실시간으로 획득된 사용자의 현재 감정 상태 정보를 활용하여 다른 상황의 캐릭터들 중 하나를 표시하는 단계, 및 상기 스마트 장치는 게임플레이어에게 게임변경여부를 묻는 메시지를 출력하여 표시하는 단계;를 포함한다.

Description

게임플레이어의 얼굴 인식을 통한 게임운영 방법{Game Managing Method through Face Recognition of Game Player}
게임플레이어의 얼굴 인식을 통한 게임운영 방법에 관한 것으로, 더욱 상세하게는 게임플레이어의 얼굴 인식을 통해 실시간으로 게임플레이어의 감정을 표현하는 캐릭터를 표시함으로써 게임플레이어의 교감하는 게임을 구현할 수 있고 이로인해 게임을 지루하지 않게 수행할 수 있는 게임플레이어의 얼굴 인식을 통한 게임운영 방법에 관한 것이다.
최근 스마트폰을 비롯한 스마트기기 관련기술이 발달하고 있다. 예를 들면, 스마트(smart) TV는 TV에 인터넷 접속기능을 결합, 각종 앱(application: 응용프로그램)을 설치해 웹 서핑 및 VOD 시청, 소셜 네트워크 서비스(Social Networking Service, 이하 SNS), 게임 등의 다양한 기능을 활용할 수 있는 다기능 TV이다. 스마트TV의 가장 큰 특징은 사용자와 TV가 서로 정보를 주고받을 수 있는 기능을 갖췄다는 점이다. 이는 정보를 일방적으로 전달하기만 하는 기존의 TV와의 가장 큰 차이점이다. 스마트TV가 대두되면서, 사용자와 TV가 서로 정보를 주고받을 수 있는 방식에 관한 기술들이 제안되었는데, 이와 같은 기술 중 대표적인 것이 음성인식 기술이다. 즉, 종래에는 사용자가 채널변경 등 TV를 제어하고 싶을 때, 리모컨 등을 사용하였으나, 점차 음성인식과 같이 사용자 친화적인 인터페이스를 갖추게 되었다. 그러나, 음성인식과 같은 기술만으로는 사용자의 성향이나 감정에 따라, 사용자에게 필요한 컨텐츠 등을 제공할 수 없다는 문제점이 있었다.
한편, 스마트 TV와 같은 스마트기기를 이용하여 스마트폰과의 연결을 통해 다양한 종류의 게임을 즐길 수 있게 되었다.
[선행기술문헌]
대한민국특허 공개번호 제10-2015-0013394(발명의 명칭: 인간의 감정 또는 성향기반으로 한 사용자 인터페이스를 구비한 스마트 기기 및 사용자 인터페이스 방법)
본 발명의 목적은 상기한 바와 같은 종래기술에서의 문제점을 개선하기 위하여 제안된 것으로서, 게임플레이어의 얼굴 인식을 통해 실시간으로 게임플레이어의 감정을 표현하는 캐릭터를 표시함으로써 게임플레이어의 교감하는 게임을 구현할 수 있고 이로인해 게임을 지루하지 않게 수행할 수 있는 게임플레이어의 얼굴 인식을 통한 게임운영 방법을 제공함에 있다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따르면, 스마트 장치가 온(on)된 상태에서, 모바일 기기와 스마트 장치가 서로 연결되어 게임을 실행하는 게임플레이어의 얼굴 인식을 통한 게임운영 방법으로서, 스마트 장치에 설치된 모듈을 통해 게임 플레이어의 표정을 읽어들여 게임 플레이어의 얼굴 영역을 스캔하여 얼굴을 인식하는 단계, 상기 스마트 장치가 게임플레이어의 표정 변화에 관한 정보를 바탕으로 사용자의 성향을 파악해 내는 단계, 상기 스마트 장치가 저장된 사용자의 성향 정보 및/또는 실시간으로 획득된 사용자의 현재 감정 상태 정보를 활용하여 다른 상황의 캐릭터들 중 하나를 표시하는 단계, 및 상기 스마트 장치가 게임플레이어에게 게임변경여부를 묻는 메시지를 출력하여 표시하는 단계;를 포함하는 게임플레이어의 얼굴 인식을 통한 게임운영 방법에 있어서,
얼굴 표정 데이터베이스인 Cohn-Kanade, JAFFE(Japanese Female Facial Expression), TFEID(Taiwanese Facial Expression Image Database)을 활용하여 자체 얼굴 표정 데이터베이스를 구축하고, 이와 같이 구축된 데이터베이스를 SVM(Support Vector Machine)을 이용한 기계학습 시스템에 사용하며,
얼굴 표정 분류를 통해 추출된 기본표정(화남, 혐오, 공포, 기쁨, 슬픔, 놀람)을 개인 반응 감성으로 정의하고, 인간의 다양한 감성 모델을 쾌-불쾌, 각성-이완의 2차원 값으로 매핑하여 목표 감성을 추천하되,
쾌-불쾌 차원에서는 쾌의 방향으로, 각성-이완 차원에서는 각성의 방향으로 목표 감성을 추천하고,
상기 스마트 장치에는 저장된 게임 플레이어의 성향 정보 및/또는 실시간으로 획득된 사용자의 현재 감정 상태 정보를 활용하여 게임 플레이어에게 적합한 컨텐츠/채널/응용프로그램을 추천하고, 게임 플레이어의 성향 및/또는 감정상태 정보를 기초로 그에 상응하는 서비스나 상품에 관한 광고를 제공하는 것을 특징으로 하는 게임플레이어의 얼굴 인식을 통한 게임운영 방법이 제공된다.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
이상 설명한 바와 같이, 본 발명에 따른 게임플레이어의 얼굴 인식을 통한 게임운영 방법에 의하면, 게임플레이어의 얼굴 인식을 통해 실시간으로 게임플레이어의 감정을 표현하는 캐릭터를 표시함으로써 게임플레이어의 교감하는 게임을 구현할 수 있고 이로인해 게임을 지루하지 않게 수행할 수 있는 효과가 있다.
또한 게임중에 실시간으로 게임플레이어의 감정상태를 알 수 있으므로 게임사용에 흥미를 더하게 되고 게임을 더욱더 재미있게 즐길 수 있는 효과가 있다.
또한 게임플레이어가 여러명인 경우 상대방의 감정상태를 실시간으로 스마트 장치를 통해 볼 수 있어서 게임 진행에 박진감을 느낄 수 있는 효과가 있다.
도 1은 본 발명에 따른 게임플레이어의 얼굴 인식을 통한 게임운영 방법을 수행하기 위한 게임운영 시스템으로서, 클라우드 서버와 스마트 빅 스크린(smart big screen)과 모바일장치가 네트워크 연결을 통한 서로 연결된 게임운영 시스템의 개략적인 시스템 구성도이다.
도 2는 본 발명에 따른 게임운영 시스템에서의 운영자 시스템장치내의 개략적인 구성을 나타낸 도면이다.
도 3은 종래기술에 따른 게임플레이어의 얼굴 인식을 통한 게임운영방법에서 사용되는 감성에 대한 개념을 설명하기 위한 개념도이다.
도 4는 종래 기술에 따른 동작 단위의 예를 나타낸 도면이다.
도 5는 종래 기술에 따른 감성모델의 예들을 나타낸 도면이다.
도 6은 종래 기술에 따른 감성모델의 구체적 구분의 예를 나타낸 도면이다.
도 7은 얼굴영역 검출, 얼굴특징점 추출, SVM을 이용한 기계학습 및 개인 감정 분류 과정을 개별적으로 나타낸 개념도이다.
도 8은 본 발명에서 추출하는 감정의 예를 나타낸 도면이다.
도 9는 본 발명에 따른 개인 반응 감성 및 목표 감성 추천과정의 예를 나타낸 도면이다.
도 10은 본 발명에 따른 게임플레이어의 얼굴 인식을 통한 게임운영 방법을 개략적으로 설명한 흐름도이다.
이하, 본 발명의 바람직한 실시예에 따른 게임플레이어의 얼굴 인식을 통한 게임운영 방법에 대하여 첨부도면을 참조로 상세히 설명한다.
도 1은 본 발명에 따른 게임플레이어의 얼굴 인식을 통한 게임운영 방법을 수행하기 위한 게임운영 시스템으로서, 클라우드 서버와 스마트 빅 스크린(smart big screen)과 모바일장치가 네트워크 연결을 통한 서로 연결된 게임운영 시스템의 개략적인 시스템 구성도이고, 도 2는 본 발명에 따른 게임운영 시스템에서의 운영자 시스템장치내의 개략적인 구성을 나타낸 도면이고, 도 3은 종래기술에 따른 게임플레이어의 얼굴 인식을 통한 게임운영방법에서 사용되는 감성에 대한 개념을 설명하기 위한 개념도이고, 도 4는 종래 기술에 따른 동작 단위의 예를 나타낸 도면이고, 도 5는 종래 기술에 따른 감성모델의 예들을 나타낸 도면이고, 도 6은 종래 기술에 따른 감성모델의 구체적 구분의 예를 나타낸 도면이고, 도 7은 얼굴영역 검출, 얼굴특징점 추출, SVM을 이용한 기계학습 및 개인 감정 분류 과정을 개별적으로 나타낸 개념도이고, 도 8은 본 발명에서 추출하는 감정의 예를 나타낸 도면이고, 도 9는 본 발명에 따른 개인 반응 감성 및 목표 감성 추천과정의 예를 나타낸 도면이고, 도 10은 본 발명에 따른 게임플레이어의 얼굴 인식을 통한 게임운영 방법을 개략적으로 설명한 흐름도이다.
도 1을 참조하면, 도 1은 본 발명에 따른 게임플레이어의 얼굴 인식을 통한 게임운영 방법을 수행하기 위한 게임운영 시스템으로서, 클라우드 서버와 스마트 빅 스크린(smart big screen)과 모바일장치가 네트워크 연결을 통한 서로 연결된 게임운영 시스템의 개략적인 시스템 구성도에 있어서,
스마트 빅 스크린(스마트 기기 혹은 스마트 장치임, 이하 스마트 장치라 함)(1-1)은 일종의 스마트 TV라고도 할 수 있다. 이는 모바일 기기(2-1)와 예를 들면 와이파이망을 통해 연결되고 아울러 클라우드 서버등의 장치를 포함하는 운영자시스템장치(3)와 연결된다. 또한, 다른 스마트 장치(1-2)는 네트워크를 통해 운영자시스템장치(3)와 연결되고, 또한 또 다른 모바일 기기(2-2)는 와이파이(WiFi), 3G, LTE, LTE-A, BLE 중 하나의 망연결방식을 통해 연결되는 것을 특징으로 한다.
도 2는 본 발명에 따른 게임운영 시스템에서의 운영자 시스템장치내의 개략적인 구성을 나타낸 도면으로서,
포탈과 커뮤니티 지원 서비스를 위한 모듈과, SDK 및 계산을 위한 모듈과, 론처(Launcher)및 스마트TV 어플리케이션 모듈을 포함하는 서비스 모듈(31),
게임패드, 에어마우스, 비컨 장치, 감정센서등을 제어하는 모듈을 포함하는 게임웨어 인터페이스모듈(32),
네트워크 서비스, 장치 연결서버, 게임서비스를 지원하기 위한 클라우드 서버(33),
HTTP 커넥터, AJP 커넥터, Servlet/JSP 컨테이너 등을 포함하는 어플리케이션 서버(34),
데이터베이스(350), 인식모듈(360), 분류모듈(370)을 포함하는 감정분석엔진모듈(35)을 포함한다.
상기 데이터베이스(350)는 FACS(FACS) 및 감정(Emotion) 데이터베이스를 포함하며,
상기 인식모듈(360)은 얼굴 영역(Face Area)인식 모듈, 감정인식모듈을 포함하며,
상기 분류모듈(370)은 SVM(SVM)모듈, 감정모델 모듈, 분석모듈, 감정매핑 모듈을 포함한다.
도 3은 본 발명에 따른 게임플레이어의 얼굴 인식을 통한 게임운영방법에서 사용되는 감성에 대한 개념을 설명하기 위한 개념도이다.
도 3을 참조하면, 감성의 종류로서 예를 들어, 게임플레이어가 느끼는 감성을 표현하고자 한다. 예를 들어, 감성을 중심으로 하여 국문학, 감성공학, 디자인, 뇌신경학, 심리학 적 측면으로 감정, 감각, 정서, Emotion, Sensability, Affect, Mood, Feeling을 동심원상에 표시하였다.
한편, 에크만/프리젠(P. Ekman& W.V. Friesen, 1976)은 효르츠외의 연구를 토대로 안면동작 코드체계(FACS)를 개발하였다(도 4 참조).
예를 들어, 안면근육이 수축하는 방식을 패턴으로 분류하고 특정한 근육을 할당하여 58개의 동작단위(AU: Action Unit)를 구별하며 이때 머리와 눈의 위치도 감안되었다.
도 4를 참조하면, 본 발명에 따른 게임플레이어의 얼굴 인식을 통한 게임운영방법에서 사용될 수 있는 감성에 대한 종류를 열거한 도면이다.
도 4를 참조하면, 상부 얼굴활동 유닛(upper face action units)의 예로서,
Inner Brow Raiser, Outer Brow Raiser, Brow Lowerer, Upper Lid Raiser, Cheek Raiser, Lid Tightener, Lid Droop, Slit, Eyes Closed, Squint, Blink, Wink가 있을 수 있다. 각각 동작단위 AU1~AU46을 표시한다.
또한, 하부 얼굴활동 유닛(Lower Face Action Unit)로서, Nose Wrinkler, Upper Lip Raiser, Nasolabial Deepener, Lip Corner Puller, Cheek Puffer, Dimpler, Lip Corner Depressor, Lower Lip Depressor, Chin Raiser, Lip Puckerer, Lip Stretcher, Lip Funneler, Lip Tighetener, Lip Pressor, Lips Part, Jaw Drop, Mouth Stretch, Lip Suck가 있을 수 있다. 각각 동작단위 AU 9~AU 28을 각각 표시한다.
한편, 표정별 AU의 특징에 따른 얼굴 표정 데이터베이스를 구축한다.
기본 표정은 인종과 국경, 문화를 초월하여 공유하는 것으로 현대문명과 격리되어 살았던 사람들도 얼굴표정을 같다고 증명되었다.
이에 따라 정의된 얼굴표정을 토대로 한국인의 얼굴표정 또한 같이 정의할 수 있으며, 얼굴표정 데이터베이스 구축을 위해 위의 방법을 따라 실내 흰 벽을 배경으로 자체적으로 촬영한 예를 보여준다(도 8참조).
- SVM (Support Vector Machine)을 이용한 얼굴 표정 분류 기술 개발
SVM은 통계학자인 Vladimir Vapnik이 처음 제안한 방법의 기계학습 알고리즘 중 하나로 2개의 클래스를 구분하는데 사용되는 이진 분류기이다.
본 발명에서는 SVM을 사용하기 위하여 해당하는 알고리즘이 구현된 libSVM을 사용하며 SVM은 고차원 또는 무한공간에서의 초평면 또는 초평면 세트로 구성된다.
초평면에는 데이터들이 분포하고 있으며 각각의 클래스가 존재하며 이때 각각의 클래스를 구분하는 가장 최상의 방법은 서로 다른 두개의 클래스의 데이터 중 서로 가장 가까운 데이터 사이의 거리를 가장 멀게 하는 것이다.
데이터 사이의 거리를 마진이라 부르며 SVM은 마진을 가장 크게 하며 일반화의 오류를 가장 작게하는 것이 목표이다.
- 표정별 특성에 따른 개인 반응 감성 매핑 및 목표 감성 추천 기술 개발
-본 발명에서는 얼굴 표정 분류를 통해 추출된 기본표정(화남, 혐오, 공포, 기쁨, 슬픔, 놀람)을 개인 반응 감성으로 정의하고 제안된 휴먼 감성 모델에 매핑한다.
-실감 미디어 서비스를 위해 매핑된 개인 반응 감성에 따라 목표 감성 추천 기법을 개발하고 목표 감성 추천에 따라 실감 미디어 변환 기술을 개발하였다.
-표정별 특성에 따른 개인 반응 감성 매핑
-휴먼 감성 모델은 인간의 다양한 감성을 쾌-불쾌, 각성-이완의 2차원 값으로 표현한다-
-구분된 쾌-불쾌, 각성-이완과 얼굴 표정 분류를 통해 추출된 6가지 기본 표정을 인간의 기본적인 감성으로 매핑할 수 있다.
-휴먼 감성 모델은 감성을 표현하는 용어에 따른 범주 모델과 쾌-불쾌, 각성-이완으로 표현되는 차원 모델을 결합할 예정이고, 이를 통해 얼굴 표정 분류를 통한 기본 표정을 차원 모델에 매핑하였다.
개인 반응 감성에 따른 목표 감성 추천기술
-매핑된 개인 반응 감성에 따라 사용자가 어떠한 목표 감성을 원하는 지를 설정하고 이러한 지침에 따라 목표 감성을 추천하는 기법을 개발하였다.
-사용자의 보편적인 욕구는 더 증가되는 방향을 원하는 경우 쾌-불쾌 차원에서는 쾌의 방향으로, 각성-이완 차원에서는 각성의 방향으로 목표 감성을 추천하도록 하였다.
-사용자가 상황에 따라 다른 욕구가 존재할 시에는 휴식이 필요할 경우 각성-이완 차원에서 이완의 방향으로, 집중 또는 활동이 필요할 경우에는 각성의 방향으로 목표 감성을 추천하였다(도 9참조).
얼굴 표정 분류를 위한 기계학습 시스템에 활용
- 수집된 얼굴 표정 데이터베이스를 사용하여 일반적으로 기계학습의 학습과 테스트 비율에 따라 70%는 학습에 30%는 테스트에 사용되며, 각각 랜덤으로 선택된다.
이미지는 서로 중복되지 않도록 하여 추출되어야 한다. 본 발명에서는 SVM을 이용한 기계학습 시스템에 사용하기 위해 기존의 얼굴 표정 데이터베이스인 Cohn-Kanade, JAFFE(Japanese Female Facial Expression), TFEID(Taiwanese Facial Expression Image Database) 등을 활용하며, 500장 이상의 자체 얼굴 표정 데이터베이스를 구축한다.
-얼굴 영역 검출 기술 개발
-얼굴 표정 추출 기법들은 얼굴 위치에서 가까운 공간에서만 제대로 작동.
-따라서 대략적인 얼굴의 위치를 찾기 위해서 Viola와 Jones가 제안한 방법을 사용하며 이 알고리즘은 Harr-like Feature라고 하는 흰색, 검정색 두 부분으로 이루어진 사각형으로 이미지에서 특징을 추출한다.
　Haar-like Feature 검출 기술 연구
-국소 특징량으로서 영역의 명도차를 특징으로 하는 Haar-like 특징량을 다수 조합시켜 얼굴 검출기를 구축한다.
- 검출기에는 AdaBoost를 사용하는 것으로 국소 특징량의 다수 조합 가운데에서 식별에 최적의 특징량을 자동 선택하고 있으며 이로써 큰 특징 차원수라도 고속 처리가 가능해지며 고정밀도의 얼굴 검출을 실현하였다.
-Cascade 알고리즘을 사용한 학습 시스템 개발
-Integral Image 방식을 이용하여 빠르게 구한 각 영역의 특징값을 이용하여 구한 Harr-Feaure을 기계학습을 통하여 학습을 시키는데, 이때는 Cascade 알고리즘을 사용하여 학습한다.
-이미지의 부분마다 각 단계별로 하나의 Harr-Feaure를 사용 하는데 매 단계마다 이미지의 각 영역을 Harr-Feaure로 추출한 특징값이 기계학습을 통하여 얻은 얼굴 이미지의 특징값과 비교하여 얼굴영역이 아니라고 판명되면 그 부분은 다음 단계의 필터를 적용하지 않는 방식으로 연산량을 줄여 빠르고 강인하게 얼굴을 검출할 수 있다.
-얼굴 표정 추출을 위한 기반 데이터로 활용
-추출한 얼굴의 위치를 얼굴 표정 추출에 사용되는 ASM의 초기 위치로 설정하고 초기값에 따라 큰 차이가 나는 ASM의 낮은 정확도를 크게 상승시킨다.
-본 발명에서는 이러한 방법을 사용한 Stasm 라이브러리를 사용하여 학습기와 분류기의 Landmark 추출 부분단계에서 Landmark를 추출한다.
-얼굴의 위치와 형태를 벡터로 만들고 각 Landmark의 x와 y 좌표를 모두 0∼100 사이의 값으로 정규화한다.
- 얼굴 표정 추출 기술 개발
-ASM을 얼굴의 추적 등에 사용하기 위해서는 우선 얼굴이미지를 학습시켜야 하며 얼굴이미지 데이터베이스를 만들고 여기에 각각의 Landmark 점을 지정하여 shape 데이터를 정의한다.
-shape 데이터가 준비되면 이것들을 정렬하고 이렇게 얻어진 shape에 PCA 분석을 통하여 다양한 shape에서 주요 왜곡을 찾을 수 있다.
-본 발명에서는 정확도 향상을 위해 LDA를 이용한 FisherFace 방법이 사용된다. PCA가 각 클래스 내에서 관측값의 차이를 가장 크게 하는 초평면에 투영하는 통계적 방법이지만 LDA는 클래스간 차이를 크게 하여 서로 다른 클래스를 비교하기 쉽게 하기 위한 방법이다.
-ASM을 이용한 표정별 패러미터 추출 기술
-본 발명에서는 통계학적 모델링 기법으로 미리 정의된 특징점의 위치를 벡터화하여 각 표정별 파라미터를 얻는 방법인 ASM(Active Shape Model)을 사용한다.
-ASM을 이용하여 파라미터와 PCA로 추출한 고유 벡터와의 조합을 통해 다양한 표정을 생성할 수 있게 된다.
-ASM을 사용하기 위해 얼굴이미지 데이터베이스를 만들고 여기에 각각의 Landmark 점을 지정하여 shape 데이터를 정의하며 shape 데이터들을 “Procrustes Distance based Alignment”라 불리는 방법으로 정렬한다.
-최종적으로 shape는 평균에 맞게 크기, 회전, 이동에 대하여 평균 shape에 맞추어 정렬이 되게 됨. 이를 이용하여 테스트 데이터의 얼굴 이미지에서 Landmark를 추정하며 shape 데이터에 대한 정렬을 끝마치면 아래와 같은 결과를 얻을 수 있다.
PCA와 LDA를 통한 고유얼굴(EigenFace) 획득 기술
-이렇게 얻어진 shape에 PCA 분석을 통하여 다양한 shape에서 주요 왜곡을 찾을 수 있다. 이때 얼굴로써 수용할 수 있는 파라미터 값의 한계를 정함 이후 Landmark를 찾는 방법은 각각의 학습된 Landmark의 주위 분포를 이용해서 학습시킨 후 이를 이용하여 새로운 이미지에서 얼굴의 위치를 찾는다.
-LDA를 통한 FisherFace 획득 기술 : FisherFace는 LDA를 이용하는 방법으로 이 또한 얼굴인식에서 사용되는 방법이다. 이는 본래 PCA가 각 클래스 내에서 관측값의 차이를 가장 크게 하는 초평면에 투영하는 통계적 방법이지만 LDA는 클래스간 차이를 크게 하여 서로 다른 클래스를 비교하기 쉽게 하기 위한 방법이다.
개인 감성의 반응 분석 및 평가
- 본 발명에서는 미디어 콘텐츠 변환이 인간 감성에 미치는 영향을 판단하기 위해 영상 변환에 따른 개인 감성의 변화를 알아볼 수 있도록 설문 조사 시스템을 구축하고 이를 분석하여 영상 변환이 인간 감성에 미치는 영향을 비교하였다.-
-영상 변환이 인간 감성에 미치는 영향을 비교하기 위해 개인 감성 반응 조사 시스템을 구축한다. 먼저 원본 영상에 대해 느끼는 개인 감성을 조사한 후 형태 변환된 영상을 보여주고 변화된 감성을 조사하였다.
영상에 따른 감성 변화를 일반화하기 위해 입력 영상으로 노말, 쾌, 불쾌, 각성, 이완의 감성을 가지는 총 5개의 원본 영상을 사용하며 영상 변환에 사용한 알고리즘으로는 영상 처리 필터링, 형태변환, 스트로크 변환을 사용하였다.
콘텐츠 변환에 따른 SAM(Self Assessment Model)을 이용한 감성 반응 측정
-본 발명에서는 노말, 쾌, 불쾌, 각성, 이완의 감성을 가지는 총 5개의 원본 영상을 가지고 감성의 변화정도를 확인한다. 각 감성에 따른 입력 영상을 선택하기 위해 IAPS에서 제공하는 표준 감성 영상을 사용하였다.
-선택된 원본 영상과 원본 영상으로부터 쾌-불쾌, 각성-이완의 정도를 SAM(Self Assessment Model) 방법을 통해 설문하였다.
5개의 원본 영상의 쾌-불쾌, 각성-이완의 평균과 각각의 변환 영상의 쾌-불쾌, 각성-이완의 평균을 통해 원본 영상으로부터 변환 영상의 감성 변화와 각각의 변환영상의 감성의 평균의 변화량을 알아보았다.
원본과 변환 콘텐츠의 개인 감성 변화(쾌-불쾌, 각성-이완) 비교 및 정규화 분석
-본 발명에서는 개인 감성 변화를 분석하기 위해 원본 영상과 변환 영상의 감성 비교 방법과 영상간의 감성 변화량 비교 방법을 사용하였다.
-원본 영상과 변환 영상의 감성 비교를 위해 노말, 쾌, 불쾌, 각성, 이완의 감성을 가지는 총 5개의 원본영상으로 설문 조사한 결과를 이차원 감성 모델에 매핑하여 분석하고 쾌-불쾌, 각성-이완으로 나누어 원본 영상에서 조사된 감성과 비교하였다.
영상간의 감성 변화량 비교를 위해 변환 알고리즘별 원본과의 감성 변화량을 사용하여 개인 감성의 변화 정도를 정규화하여 비교하며 이를 위해 감성의 평균 변화량(M)을 정의하였다. 아래 수학식 1 참조.
Figure 112016117802820-pat00001
n은 사용한 영상 변환 알고리즘의 수를 말하며, vi는 각 알고리즘별 감성설문조사 시스템에서 조사된 개인 감성들의 쾌-불쾌(Valence)의 평균값을, ai는 각성-이완(Arousal)의 평균값을 말한다. 상기 감성설문조사 시스템에서 조사된 개인 감성들에 대한 값을 디폴트로 데이터베이스에 저장될 수 있다(미도시). 이러한 데이터베이스를 일종의 룩업테이블 형식으로 사용될 수 있으며, 프로그램 제어부의 제어하에 이후 개개인의 감정에 대한 평균값과 연계하여 사용될 수 있다(특정 개인의 평균값에 대응하여 그보다 더 높은값에 대응되는 값을 룩업테이블에서 찾아 그 값으로 해당 개인의 감정을 표현하도록 할 수 있을 것이다).
-일반화를 위해 계산된 감성의 평균 변화량을 알고리즘별 개인감성의 평균값(vi, ai)에 반영하여 각 알고리즘별 감성을 정규화(N)하였으며 정규화된 감성을 이용하여 쾌-불쾌, 각성-이완에 따른 감성을 비교하였다. 본 발명에서 구체적인 알고리즘을 제시되지 않았으나 영상 변환 알고리즘으로 잘 알려진 일반적인 알고리즘을 사용할 수 있으며, 이에 대하여는 구체적인 설명은 생략하기로 한다(다만 그 목적은 개인
도 10을 통해 본 발명에 따른 게임플레이어의 얼굴 인식을 통한 게임운영 방법을 개략적으로 설명한다.
먼저 스마트 장치(1-1)가 온(on)된 상태에서(S2),
모바일 기기(2-1)와 스마트 장치(1-1)가 서로 연결된 경우(S4), 게임을 실행한다(S6).
게임 진행이 시작되면, 스마트 장치(1-1)에 설치된 모듈을 통해 게임 플레이어의 표정을 읽어들여 게임 플레이어의 얼굴 영역을 스캔하여 얼굴을 인식한다(S8).
게임 컨텐츠는 게임 플레이어의 모바일 기기(2-1)에 표출된다. 스마트 장치(1-1)는 표출된 컨텐츠에 따른 게임 플레이어의 표정 변화에 관한 정보를 획득한다.
스마트 장치(1-1)는 게임 플레이어의 표정 변화에 관한 정보를 바탕으로 사용자의 성향을 파악해 낸다. 예를 들어, 사용자의 성향이 외향적인 것으로 판정하거나, 내향적인 것으로 판정하거나 혹은 두가지 성향이 혼합된 것으로 판정할 수 있다.
이와 같이, 판정된 게임 플레이어 정보는 스마트 장치(1-1) 및 운영자시스템장치(3)(특히 클라우드 서버)의 메모리에 저장된다.
스마트 장치(1-1)는 저장된 게임 플레이어의 성향 정보 및/또는 실시간으로 획득된 사용자의 현재 감정 상태 정보를 활용하여 게임 플레이어에게 적합한 컨텐츠/채널/응용프로그램을 추천할 수 있다. 이때, 게임 플레이어의 성향 및/또는 감정상태 정보를 기초로 그에 상응하는 서비스나 상품에 관한 광고를 제공할 수 있다.
또한, 게임 플레이어에게 적합한 게임을 추천할 수도 있다. 또한, 게임 플레이어의 현재 감정 상태 정보는 스마트 장치(1-1) 상에 각각 다른 상황의 캐릭터들 중 하나로 표시된다.
게임 플레이어의 현재 감성 상태 정보는 두 단계로 순차적으로 판단되는데, 예를 들면, 개인 반응 감성단계에서의 수치가 0(Normal)에 가까우면 목표감성 추천 단계에서의 수치를 3~5사이로 추천한다. 구체적으로 편안한 감정의 캐릭터나, 신비한 감정의 캐릭터를 추천할 수 있다.
만약 개인 반응 감성단계에서의 수치가 -5(Very Bad)에 가까우면 목표감성 추천 단계에서의 수치를 0~2사이로 추천한다. 구체적으로 화나는 감정의 캐릭터나, 우울한 감정의 캐릭터를 추천한다. 지루한 감정의 캐릭터를 추천할 수 있다. 공포감정이나 혐오감정의 캐릭터를 추천할 수 있다. 혹은 슬픈 감정의 캐릭터를 추천할 수 있다.
만약 개인 반응 감성단계에서의 수치가 +5(Very Good)에 가까우면 목표감성 추천 단계에서의 수치를 1~4사이로 추천한다. 구체적으로 신나는 감정의 캐릭터나, 놀라운 감정의 캐릭터를 추천한다. 기쁜 감정의 캐릭터를 추천할 수 있다.
상기에 표현된 수치는 단지 예시에 불과하며 미리 설정된 값에 대응하는 개인 반응 감성단계에서의 수치는 디폴트 값으로 미리 저장되어 있다(미도시). 이를 통해 측정된 개인 감성 단계에서의 수치를 디폴트 값으로 미리 저장된 값과 비교하여 그 보다 한 단계 더높은 값에 해당하는 감정의 캐릭터를 추전받는 것이다. 이와 같은 과정은 위에도 설명하였지만 룩업테이블 형식으로 미리 저장된 데이터를 기반으로 가능한 것이며, 구체적으로 감정의 단계는 5단계로 예시하였으나 이에 제한되지 않는다.
본 발명의 게임 플레이어는 한 명도 가능하고 여러명이 동시에 진행될 수 있으므로, 스마트 장치에는 한 명이상의 게임플레이어의 감정상태를 나타내는 캐릭터가 표시될 수 있다. 물론 이때 감정상태를 나타내는 캐릭터는 모바일 기기에도 표시될 수 있음은 물론 가능하다.
본 발명에 따른 게임플레이어의 얼굴 인식을 통한 게임운영 방법에 의하면, 게임플레이어의 얼굴 인식을 통해 실시간으로 게임플레이어의 감정을 표현하는 캐릭터를 표시함으로써 게임플레이어의 교감하는 게임을 구현할 수 있고 이로인해 게임을 지루하지 않게 수행할 수 있다.
또한 게임중에 실시간으로 게임플레이어의 감정상태를 알 수 있으므로 게임사용에 흥미를 더하게 되고 게임을 더욱더 재미있게 즐길 수 있다.
또한 게임플레이어가 여러명인 경우 상대방의 감정상태를 실시간으로 스마트 장치를 통해 볼 수 있어서 게임 진행에 박진감을 느낄 수 있다.
1-1,1-2: 스마트 장치
2-1,2-2: 모바일 기기
3: 운영자시스템장치

Claims (2)

  1. 스마트 장치가 온(on)된 상태에서, 모바일 기기와 스마트 장치가 서로 연결되어 게임을 실행하는 게임플레이어의 얼굴 인식을 통한 게임운영 방법으로서, 스마트 장치에 설치된 모듈을 통해 게임 플레이어의 표정을 읽어들여 게임 플레이어의 얼굴 영역을 스캔하여 얼굴을 인식하는 단계, 상기 스마트 장치가 게임플레이어의 표정 변화에 관한 정보를 바탕으로 사용자의 성향을 파악해 내는 단계, 상기 스마트 장치가 저장된 사용자의 성향 정보 및/또는 실시간으로 획득된 사용자의 현재 감정 상태 정보를 활용하여 다른 상황의 캐릭터들 중 하나를 표시하는 단계, 및 상기 스마트 장치가 게임플레이어에게 게임변경여부를 묻는 메시지를 출력하여 표시하는 단계;를 포함하는 게임플레이어의 얼굴 인식을 통한 게임운영 방법에 있어서,
    얼굴 표정 데이터베이스인 Cohn-Kanade, JAFFE(Japanese Female Facial Expression), TFEID(Taiwanese Facial Expression Image Database)을 활용하여 자체 얼굴 표정 데이터베이스를 구축하고, 이와 같이 구축된 데이터베이스를 SVM(Support Vector Machine)을 이용한 기계학습 시스템에 사용하며,
    얼굴 표정 분류를 통해 추출된 기본표정(화남, 혐오, 공포, 기쁨, 슬픔, 놀람)을 개인 반응 감성으로 정의하고, 인간의 다양한 감성 모델을 쾌-불쾌, 각성-이완의 2차원 값으로 매핑하여 목표 감성을 추천하되,
    쾌-불쾌 차원에서는 쾌의 방향으로, 각성-이완 차원에서는 각성의 방향으로 목표 감성을 추천하고,
    상기 스마트 장치에는 저장된 게임 플레이어의 성향 정보 및/또는 실시간으로 획득된 사용자의 현재 감정 상태 정보를 활용하여 게임 플레이어에게 적합한 컨텐츠/채널/응용프로그램을 추천하고, 게임 플레이어의 성향 및/또는 감정상태 정보를 기초로 그에 상응하는 서비스나 상품에 관한 광고를 제공하는 것을 특징으로 하는 게임플레이어의 얼굴 인식을 통한 게임운영 방법.
  2. 삭제
KR1020160162258A 2016-11-30 2016-11-30 게임플레이어의 얼굴 인식을 통한 게임운영 방법 KR101933281B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160162258A KR101933281B1 (ko) 2016-11-30 2016-11-30 게임플레이어의 얼굴 인식을 통한 게임운영 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160162258A KR101933281B1 (ko) 2016-11-30 2016-11-30 게임플레이어의 얼굴 인식을 통한 게임운영 방법

Publications (2)

Publication Number Publication Date
KR20180062221A KR20180062221A (ko) 2018-06-08
KR101933281B1 true KR101933281B1 (ko) 2018-12-27

Family

ID=62600195

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160162258A KR101933281B1 (ko) 2016-11-30 2016-11-30 게임플레이어의 얼굴 인식을 통한 게임운영 방법

Country Status (1)

Country Link
KR (1) KR101933281B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200053163A (ko) 2018-11-08 2020-05-18 백으뜸 무안경식 가상현실 콘텐츠 제공 장치 및 방법
US10835823B2 (en) 2018-12-27 2020-11-17 Electronic Arts Inc. Sensory-based dynamic game-state configuration
CN110363187B (zh) * 2019-08-29 2020-12-25 上海云从汇临人工智能科技有限公司 一种人脸识别方法、装置、机器可读介质及设备
KR102365620B1 (ko) * 2019-09-18 2022-02-21 인하대학교 산학협력단 감정 표정을 이용한 게임의 스토리 제어 장치 및 방법
US20210271356A1 (en) * 2020-03-02 2021-09-02 Nec Laboratories America, Inc. Personalized user experience using facial recognition
KR102361883B1 (ko) * 2021-07-28 2022-02-14 주식회사 코모컴퍼니 온라인 플랫폼에서 사용자 맞춤형 캐릭터 상품을 제공하는 방법 및 그 서버

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020038618A (ko) * 2002-02-27 2002-05-23 김상근 감성 기반의 동적인 개인 캐릭터 실시간 자동생성 기법
KR101708682B1 (ko) * 2010-03-03 2017-02-21 엘지전자 주식회사 영상표시장치 및 그 동작 방법.

Also Published As

Publication number Publication date
KR20180062221A (ko) 2018-06-08

Similar Documents

Publication Publication Date Title
KR101933281B1 (ko) 게임플레이어의 얼굴 인식을 통한 게임운영 방법
KR101680995B1 (ko) 생물 물리학적 신호의 수집된 시간적 및 공간적 패턴에 기초한 뇌-컴퓨터 인터페이스(bci) 시스템
US20180129870A1 (en) Identifying facial expressions in acquired digital images
US10223838B2 (en) Method and system of mobile-device control with a plurality of fixed-gradient focused digital cameras
US10474875B2 (en) Image analysis using a semiconductor processor for facial evaluation
CN106909896A (zh) 基于人物性格与人际关系识别的人机交互系统及工作方法
US20160144278A1 (en) Affect usage within a gaming context
Szwoch et al. Facial emotion recognition using depth data
JP2014516490A (ja) パーソナライズされたプログラム選択のシステムおよび方法
KR101265466B1 (ko) 얼굴표정을 이용한 감정인식 장치, 감정인식 방법 및 그 기록매체
US11430561B2 (en) Remote computing analysis for cognitive state data metrics
KR101445923B1 (ko) 대화형 전시 서비스 제공 방법
WO2010133661A1 (en) Identifying facial expressions in acquired digital images
Saeed Facial micro-expressions as a soft biometric for person recognition
Afriansyah et al. Facial expression classification for user experience testing using K-nearest neighbor
JP6320844B2 (ja) パーツの影響度に基づいて感情を推定する装置、プログラム及び方法
Srivastava et al. Utilizing 3D flow of points for facial expression recognition
Ding et al. Towards mesh saliency in 6 degrees of freedom
Bacivarov et al. Facial expression modeling using component AAM models—Gaming applications
Libralon et al. Geometrical facial modeling for emotion recognition
CN111079472A (zh) 图像对比方法和装置
Gupta et al. Intelligent Music Recommendation System Based on Face Emotion Recognition
Mäkinen Face Analysis Techniques for Human-Computer Interaction
Haritha et al. Smart Entertainer System Using Deep Learning
Geetha Emotion Recognition from Facial Expression and Voice for Single User

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant