KR20110035585A - 눈 영상을 통해 판단한 사용자 상태에 반응하는 게임기 및 그의 게임 제공방법 - Google Patents

눈 영상을 통해 판단한 사용자 상태에 반응하는 게임기 및 그의 게임 제공방법 Download PDF

Info

Publication number
KR20110035585A
KR20110035585A KR1020090093376A KR20090093376A KR20110035585A KR 20110035585 A KR20110035585 A KR 20110035585A KR 1020090093376 A KR1020090093376 A KR 1020090093376A KR 20090093376 A KR20090093376 A KR 20090093376A KR 20110035585 A KR20110035585 A KR 20110035585A
Authority
KR
South Korea
Prior art keywords
eye
game
user
state
pupil
Prior art date
Application number
KR1020090093376A
Other languages
English (en)
Other versions
KR101051433B1 (ko
Inventor
정용무
박강령
황민철
이의철
김지애
신대교
임기택
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020090093376A priority Critical patent/KR101051433B1/ko
Publication of KR20110035585A publication Critical patent/KR20110035585A/ko
Application granted granted Critical
Publication of KR101051433B1 publication Critical patent/KR101051433B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/219—Input arrangements for video game devices characterised by their sensors, purposes or types for aiming at specific areas on the display, e.g. light-guns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

눈 영상을 통해 판단한 사용자 상태에 반응하는 게임기 및 그의 게임 제공방법이 제공된다. 본 게임기는, 외부 촬영장치로부터 게임 사용자의 눈을 촬영한 눈-영상을 수신하고, 수신한 눈-영상을 기초로 측정한 눈-상태를 기초로 사용자-상태를 판단하며, 판단한 사용자-상태를 기초로 게임 내용을 제어한다. 이에 의해, 게임 사용자의 기분에 맞고 피로를 유발하지 않는 지능형 게임을 제공할 수 있게 된다. 또한, 게임 사용자의 감성 정보를 실시간으로 측정하여, 감성에 맞는 게임 컨텐츠를 제공함으로써, 게임의 흥미 요소를 극대화할 수 있다.
게임-시스템, 동공, 눈 깜빡임, 감성, 피로도

Description

눈 영상을 통해 판단한 사용자 상태에 반응하는 게임기 및 그의 게임 제공방법{Game apparatus for interacting according to user's status determined by eye image and method for providing game}
본 발명은 게임기 및 그의 게임 제공방법에 관한 것으로, 더욱 상세하게는 사용자의 상태에 따라 지능적으로 반응하는 게임기 및 그의 게임 제공방법에 관한 것이다.
감성뇌파신호를 이용한 실시간 멀티미디어 컨텐츠 출력시스템 및 방법(출원번호: 10-2007-0060599)은 멀티미디어 콘텐츠 사용자로부터 뇌파를 측정하고, 미리 정의된 모델에 적용하여 감성 상태를 측정하며, 그에 맞는 멀티미디어 신호 (음악 또는 영상)를 제공하는 방법에 대해 개시하고 있다.
하지만, 이는 멀티미디어 콘텐츠를 즐기기 위해서, 즉 뇌파를 측정하기 위한 추가적인 센서가 사용자의 신체 각 부위에 부착되어야 하므로 사용자가 불편을 느낄 수 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 게임 사용자의 눈-영상을 기초로 측정한 눈-상태를 기초로 판단된 사용자-상태를 기초로 게임 내용을 제어하는 게임기를 제공함에 있다.
또한, 본 발명은, 착용형 눈-영상 촬영 장치를 통해 객관적인 감성 및 피로도 측정이 가능함을 목적으로 한다. 그리고, 본 발명은, 측정된 감성에 맞는 게임 컨텐츠를 제공하여 사용자의 현재 기분 상태에 부합하는 게임을 즐길 수 있도록 함에 있다.
그리고, 본 발명은, 측정된 피로도에 맞는 게임 화면 구성 및 화질 변수 조절을 통해 피로를 느끼지 않는 게임을 즐길 수 있도록 함에 있다.
상기 목적을 달성하기 위한 본 발명에 따른, 게임기는, 외부 촬영장치로부터 게임 사용자의 눈을 촬영한 눈-영상을 수신하는 수신부; 상기 수신부가 수신한 눈-영상을 기초로 눈-상태를 측정하는 측정부; 상기 측정부에서 측정된 눈-상태를 기초로 사용자-상태를 판단하는 판단부; 및 상기 판단부가 판단한 사용자-상태를 기초로 게임 내용을 제어하는 제어부;를 포함한다.
상기 눈-상태는, 동공 크기, 동공 적응 속도, 눈 깜빡임 빈도 및 눈 깜빡임 속도 중 적어도 하나를 포함하는 것이 바람직하다.
상기 사용자-상태는, 감성 및 피로도 중 적어도 하나를 포함하는 것이 바람직하다.
상기 판단부는, 상기 동공 크기 및 상기 눈 깜빡임 속도를 참조하여 상기 게 임 사용자의 감성을 판단하고, 상기 눈 깜빡임 빈도 및 상기 동공 적응 속도를 참조하여 상기 게임 사용자의 피로도를 판단하는 것이 바람직하다.
상기 판단부는, 게임 시작전 캘리브레이션 과정을 통해, 상기 감성 및 상기 피로도 판단을 위한 상기 동공 크기, 상기 눈 깜빡임 속도, 상기 눈 깜빡임 빈도 및 상기 동공 적응 속에 대한 임계치를 설정할 수 있다.
상기 제어부는, 상기 사용자-상태를 기초로 게임 컨텐츠의 구성 및 화면 상태 중 적어도 하나를 조정하는 것이 바람직하다.
한편, 본 발명에 따른, 게임 제공 방법은, 외부 촬영장치로부터 게임 사용자의 눈을 촬영한 눈-영상을 수신하는 단계; 상기 수신단계에서 수신한 눈-영상을 기초로 눈-상태를 측정하는 단계; 상기 측정단계에서 측정된 눈-상태를 기초로 사용자-상태를 판단하는 단계; 및 상기 판단단계에서 판단한 사용자-상태를 기초로 게임 내용을 제어하는 단계;를 포함한다.
상기 눈-상태는, 동공 크기, 동공 적응 속도, 눈 깜빡임 빈도 및 눈 깜빡임 속도 중 적어도 하나를 포함하는 것이 바람직하다.
상기 사용자-상태는, 감성 및 피로도 중 적어도 하나를 포함하는 것이 바람직하다.
상기 판단단계는, 상기 동공 크기 및 상기 눈 깜빡임 속도를 참조하여 상기 게임 사용자의 감성을 판단하고, 상기 눈 깜빡임 빈도 및 상기 동공 적응 속도를 참조하여 상기 게임 사용자의 피로도를 판단하는 것이 바람직하다.
상기 판단단계는, 게임 시작전 캘리브레이션 과정을 통해, 상기 감성 및 상 기 피로도 판단을 위한 상기 동공 크기, 상기 눈 깜빡임 속도, 상기 눈 깜빡임 빈도 및 상기 동공 적응 속에 대한 임계치를 설정할 수 있다.
상기 제어단계는, 상기 사용자-상태를 기초로 게임 컨텐츠의 구성 및 화면 상태 중 적어도 하나를 조정하는 것이 바람직하다.
한편, 본 발명에 따른, 눈-영상 촬영장치는, 게임 사용자의 눈에 적외선을 출사하는 적외선 조명; 상기 적외선 조명에 의해 적외선이 출사된 게임 사용자의 눈을 촬영하여 눈-영상을 생성하는 적외선 카메라; 및 상기 적외선 카메라가 생성한 눈-영상을 외부 게임기로 전송하는 전송부;를 포함한다.
그리고, 상기 적외선 조명 및 상기 적외선 카메라는, 상기 게임 사용자의 눈을 향하도록 상기 눈-영상 촬영장치에 설치될 수 있다.
상기 눈-영상 촬영장치는, HMD, 스테레오 안경, 고글 및 헬멧 중 적어도 하나의 형태로 구현될 수 있다.
한편, 본 발명에 따른, 눈-영상 촬영방법은, 게임 사용자의 눈에 적외선을 출사하는 단계; 상기 적외선이 출사된 게임 사용자의 눈을 촬영하여 눈-영상을 생성하는 단계; 및 상기 눈-영상을 외부 게임기로 전송하는 단계;를 포함한다.
이상 설명한 바와 같이, 본 발명에 따르면, 게임 사용자의 기분에 맞고 피로를 유발하지 않는 지능형 게임을 제공할 수 있게 된다. 또한, 게임 사용자의 감성 정보를 실시간으로 측정하여, 감성에 맞는 게임 컨텐츠를 제공함으로써, 게임의 흥미 요소를 극대화할 수 있다.
기존의 감성 및 피로도 분석은 주관적인 설문을 통해 이루어진 경우가 많았으나, 본 발명에서는 사용자의 눈 영상을 통해 실시간으로 판단하여, 사용자의 선입견 등으로 인해 훼손되지 않는 감성 및 피로도 정보를 측정할 수 있다.
그리고, 본 발명에 따르면, 게임 사용자의 피로도를 실시간으로 측정하여, 피로도를 덜어줄 수 있는 방법을 제공하거나 휴식을 권장함으로써, 상황 인식 (context awareness)이 가능한 지능형 게임 시스템을 구축할 수 있게 된다.
아울러, 피로도 및 감성 측정을 위한 장치 및 방법은 피로도 및 감성 정보 측정을 필요로 하는 타 분야에서도 유용하게 사용될 수 있다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은 본 발명이 적용가능한 게임-시스템을 도시한 도면이다. 도 1에 도시된 바와 같이, 게임-시스템은 눈-영상 촬영장치(100), 게임기(200) 및 TV(300)가 상호 통신가능하도록 연결되어 구축된다.
도 1에서, 눈-영상 촬영장치(100)와 게임기(200)는 무선으로 통신가능하도록 연결되는 것으로 도시되어 있다. 하지만, 이들을 무선으로 연결할 수 없는 경우에는, 눈-영상 촬영장치(100)와 게임기(200)를 유선으로 통신가능하도록 연결하는 것도 가능하다.
또한, 게임기(200)와 TV(300)는 유선으로 통신가능하도록 연결되는 것으로 도시되어 있다. 하지만, 이들 역시 무선으로 통신가능하도록 연결하는 것도 가능하다.
눈-영상 촬영장치(100)는 게임 사용자의 눈을 촬영하여 획득한 눈-영상을 게임기(200)로 전달한다. 눈-영상 촬영장치(100)는 다양한 형태로 구현 가능한데, HMD(Head Mounted Display), 스테레오 안경, 고글 및 헬멧 등에 적외선 기반의 조명과 카메라를 부착한 장치의 형태로 구현가능하다.
그리고, 만약 눈-영상 촬영장치(100)를 HMD 형태로 구현하는 경우에는, TV(300)를 생략하고 그 기능을 HMD에 흡수시킬 수 있다.
도 2에는 눈-영상 촬영장치의 일 예로, 눈-영상 촬영을 위해 적외선 조명과 적외선 카메라를 부착한 HMD를 도시하였다. 도 2에 도시된 눈-영상 촬영장치(110)는 HMD(111), 적외선 조명(112) 및 적외선 카메라(113)를 구비한다.
HMD(111)는 게임 사용자에게 게임 영상을 제공하는 디스플레이로 기능한다. 그리고, 적외선 조명(112)은 사용자의 눈을 향하고 있으며, 게임 사용자의 눈에 적외선을 출사한다. 또한, 적외선 카메라(113) 역시 사용자의 눈을 향하고 있으며, 게임 사용자의 눈을 촬영하여 눈-영상을 생성한다.
그리고, 도 2에 도시되지는 않았지만, 적외선 카메라(113)에 의해 생성된 눈-영상은 전송수단을 통해 게임기(200)로 전달된다.
한편, 도 3에는 눈-영상 촬영장치의 다른 예로, 눈-영상 촬영을 위해 적외선 조명과 적외선 카메라를 부착한 스테레오 안경을 도시하였다. 도 3에 도시된 눈-영상 촬영장치(120)는 스테레오 안경(121), 적외선 조명(122), 적외선 카메라(123) 및 미러(124)를 구비한다.
스테레오 안경(121)의 한쪽 렌즈 앞면에는 미러(124)가 45도 각도로 부착되 어 있다. 미러(124)는 적외선을 게임 사용자의 눈으로 반사하되, 가시광선은 투과시킨다.
미러(124)는 가시광선을 투과시켜 사용자의 눈에는 투명하게 보이므로, 게임 사용자가 전방을 주시하는데 아무런 문제가 없다.
적외선 조명(122)은 미러(124) 쪽으로 적외선을 출사하여, 궁극적으로 게임 사용자의 눈으로 적외선을 조사한다.
그리고, 적외선 카메라(123)는 적외선 조명(122)에서 출사되어 게임 사용자의 눈에서 반사된 후 미러(124)에서 재반사되는 적외선을 입사 받아 게임 사용자의 눈을 촬영한다.
또한, 도 3에 도시되지는 않았지만, 적외선 카메라(123)에 의해 생성된 눈-영상은 전송수단을 통해 게임기(200)로 전달된다.
본 실시예에서는 사용자의 눈을 촬영하는데 적외선을 이용하는데, 이는 동공의 확대 축소를 관장하는 홍채 근육의 멜라닌 색소에 따라서 동공과 홍채의 경계 부분의 가시성 저하 현상을 최소화하기 위함이다. 또한, 적외선은 사용자의 눈에 감지되지 않으므로 후술할 사용자의 감성 및 피로도 측정에도 적합하다.
또한, 전술한 적외선 카메라(113, 123)는 기존의 카메라에서 적외선 차단 필터를 제거하고, 가시광선을 차단하는 적외선 투과필터를 부착하여 구현할 수 있다.
이하에서는, 게임기(200)에 대해, 도 4를 참조하여 상세히 설명한다. 도 4는, 도 1에 도시된 게임기의 상세 블럭도이다.
도 4에 도시된 바와 같이, 게임기(200)는 수신부(210), 눈-상태 측정 부(220), 사용자-상태 판단부(230), 게임-제어부(240), 비디오 생성부(250), 비디오 출력부(260), 오디오 생성부(270) 및 오디오 출력부(280)를 구비한다.
수신부(210)는 눈-영상 촬영장치(110)로부터 눈-영상을 수신하여 눈-상태 측정부(220)로 전달한다.
눈-상태 측정부(220)는 수신부(210)로부터 전달받은 눈-영상을 이용하여, 게임 사용자의 눈-상태를 측정한다. 구체적으로, 눈-상태 측정부(220)는 눈-상태로서, 1) 동공 크기, 2) 동공 적응 속도, 3) 눈 깜빡임 빈도 및 4) 눈 깜빡임 속도를 측정하는데, 이하에서 보다 구체적으로 설명한다.
1) 동공 크기 측정
눈-상태 측정부(220)는 동공 크기 특정을 위해, 먼저 눈-영상에서 동공을 추출하며, 도 5에는 동공 추출 과정이 도시되어 있다.
눈-영상에서 동공의 위치를 검출하기 위해, 눈-상태 측정부(220)는 동공이 원 형태라는 가정 하에 원형검출 알고리즘을 수행한다. 원형검출 알고리즘은 2개의 원으로 구성된 템플릿을 그 크기를 바꿔가면서 눈-영상 전체에 대해 원 형태를 검출하는 방법이다.
눈-상태 측정부(220)는 템플릿의 내부 원과 외부 원의 밝기 차이가 가장 큰 곳을 동공의 위치로 결정하는데, 이는 도 5의 (가)에 나타나 있다.
한편, 동공의 형태가 타원이나 찌그러진 형태일 경우는 원형검출 알고리즘이 정확하지 않다. 따라서, 도 5의 (나)에 도시된 바와 같이, 눈-상태 측정부(220)는 원형검출 알고리즘을 통해 검출된 영역을 중심으로 영역을 설정하고, 설정된 영역에서 이진화를 수행한다.
이때, 영역은 어두운 동공 영역과 상대적으로 밝은 홍채 영역의 두 가지로 분류될 수 있으므로, 이진화에 대한 임계치는 Gonzalez나 Otzu에 의해 제안된 자동 임계치 결정 방법을 통해 가능하다.
이진화 수행시에는, 눈썹이나 그림자에 의해 동공이 아닌 영역이 흑화소로 결정될 수 있는데, 이러한 노이즈 요소를 제거하기 위해, 상태 측정부(220)는 이진화 결과를 라벨링하고, 가장 큰 연속 영역만 남긴 후 나머지를 제거하여, 도 5의 (다)에 도시된 바와 같은 결과를 얻을 수 있다.
하지만, 조명의 반사광으로 인해 동공 내부에 구멍이 뚫린 결과가 얻어지므로, 눈-상태 측정부(220)는 '닫힘(closing)'과 같은 모폴로지 연산(morphological operation)을 통해 '영역 채우기(region filling)' 과정을 수행하여, 도4의 (라)와 같은 정확한 동공 영역을 추출할 수 있다.
또한, 눈-상태 측정부(220)는 추출된 동공 영역에서 흑화소의 개수를 세어, 동공 영역의 크기를 측정할 수 있다.
2) 동공 적응 속도 측정
눈-상태 측정부(220)는 실시간으로 추출된 동공 영역 면적을 아래의 수학식 1에 대입하여, 단위 시간당 동공 적응 속도를 측정한다.
Figure 112009060432211-PAT00001
위 수학식 1에서, p는 동공 적응 속도, Sn은 n번째 눈-영상에서 추촐된 동공 영역 면적이고, r은 단위시간당 눈-영상 취득 속도를 의미한다.
3) 눈 깜빡임 빈도 측정
사용자가 눈을 뜨고 있는 경우에는 동공 영역이 추출되지만, 사용자가 눈을 감은 경우는 상대적으로 어두운 밝기를 가지는 동공 영역이 밝게 관찰되는 눈꺼플 피부 영역에 의해 가려지기 때문에 추출되지 않는다.
즉, 사용자가 눈을 감은 경우는 설정된 영역의 이진화 결과 흑화소의 개수가 현저하게 작다. 따라서 이 경우, 눈-상태 측정부(220)는 게임 사용자가 눈을 감고 있는 것으로 판단한다.
그리고, 눈-상태 측정부(220)는 게임 사용자가 눈을 감았다가 다시 떴다고 판단되는 순간, 게임 사용자가 1회 눈을 깜빡인 것으로 판단한다.
이와 같은 방법으로, 눈-상태 측정부(220)는 눈 깜빡임의 회수를 관측 시간으로 나누어 단위 시간당 눈 깜빡임 빈도를 측정하게 된다.
4) 눈 깜빡임 속도 측정
눈-상태 측정부(220)는 단위 시간 동안 눈을 감고 있다고 판단되는 눈-영상의 개수를 단위 시간에 취득된 눈-영상의 총 개수로 나누어, 눈 깜빡임의 속도를 측정한다.
이는, 눈 깜빡임 속도가 느린 경우, 동공이 오랜 시간 가려져서 안 보인다는 점을 이용한 방법이다.
지금까지, 눈-상태 측정부(220)에 대해 상세히 설명하였다. 이하에서는, 도 4를 다시 참조하여, 사용자-상태 판단부(230)부터 다시 설명한다.
사용자-상태 판단부(230)는 눈-상태 측정부(220)가 측정한 눈-상태를 기초로, 게임 사용자의 상태를 판단한다. 구체적으로, 사용자-상태 판단부(230)는 사용자-상태로서, 1) 감성 및 2) 피로도를 판단하는데, 이하에서 보다 구체적으로 설명한다.
1) 감성 판단
사용자-상태 판단부(230)는 동공 크기와 눈 깜빡임 속도를 참조하여, 게임 사용자의 감성을 판단한다.
일반적으로, 사람은 혐오스러운 것을 보았을 때 동공의 크기가 줄어들며, 호감이 있는 대상을 봤을 때 동공의 크기가 커진다고 알려져 있기 때문이다. 따라서, 사용자-상태 판단부(230)는 동공의 크기를 통해 '거부감'과 '호감'의 상반되는 감성을 판단할 수 있다.
구체적으로, 사용자-상태 판단부(230)는, i) 동공 크기가 작아지는 것을 게임 사용자가 거부감을 느끼는 것으로 판단하고, ii) 동공 크기가 커지는 것을 게임 사용자가 호감을 느끼는 것으로 판단한다.
한편, 수면욕을 느끼는 경우 눈을 감고 있는 시간이 늘어나, 눈 깜빡임의 속도가 현저하게 느려진다. 따라서, 사용자-상태 판단부(230)는 동공의 크기를 통해 '지루함'과 '흥미로움'의 상반되는 감성을 판단할 수 있다.
구체적으로, 사용자-상태 판단부(230)는, i) 눈 깜빡임의 속도가 느려지는 것을 수면욕 증가, 즉 게임 사용자가 지루함을 느끼는 것으로 판단하고, ii) 눈 깜빡임의 속도가 빨라지는 것을 수면욕 감소, 즉 게임 사용자가 흥미로움을 느끼는 것으로 판단한다.
2) 피로도 판단
사용자-상태 판단부(230)는 눈 깜빡임 빈도 및 동공 적응 속도를 참조하여, 사용자의 피로도를 판단한다.
눈 깜빡임이 빈번하고, 동공 적응 속도가 느려지는 경우는 피로도의 양이 큰 경우이다. 따라서, 사용자-상태 판단부(230)는 눈 깜빡임 빈도가 빈번해질수록 시각 피로도가 증가한 것으로 판단한다. 눈 깜빡임 빈도를 이용한 피로도 판단의 임계치는 일반인의 경우 5초당 1회 가량 깜빡이는 것으로 설정 가능하며, 이에 가까운 값으로 설정하거나, 게임 시작전 캘리브레이션 과정을 통해 설정될 수 있다.
한편, 사람의 운동 근육이 피로해질 경우 수축 및 이완의 속도가 느려지며, 동공의 크기를 관장하는 홍채 또한 근육이므로 위와 같은 원리가 적용된다. 따라서, 사용자-상태 판단부(230)는 동공 적응 속도가 느려지면 피로도가 증가한 것으로 판단한다.
동공 적응 속도를 이용한 피로도 판단의 임계치 또한 기존의 관련 연구에 기초하여 설정 가능하며, 게임 시작전 캘리브레이션 과정을 통해 설정될 수 있다.
한편, 게임-제어부(240)는 사용자-상태 판단부(230)에서 판단된 사용자-상태인 게임 사용자의 감성 및 피로도에 기초하여 게임 내용을 제어한다. 이 과정에서 게임-제어부(240)는 게임 구성 및 화면 상태 등을 조정하게 된다.
구체적으로, 사용자-상태 판단부(230)에서 게임 사용자가 거부감을 느낀다고 판단된 경우, 게임-제어부(240)는 게임 컨텐츠의 내용을 가리거나 모자이크 처리되도록 제어한다.
또한, 사용자-상태 판단부(230)에서 게임 사용자가 지루함을 느낀다고 판단된 경우, 게임-제어부(240)는 게임 컨텐츠의 종류를 변경하거나, 화면의 구성을 변경하는 등의 흥미를 유발할 수 있는 요소가 늘어나도록 제어한다.
그리고, 사용자-상태 판단부(230)에서 게임 사용자가 피로하다고 판단될 경우, 게임-제어부(240)는 밝기, 대비, 색조, 채도 등의 게임 화면의 화질 변수를 변경하여, 사용자의 피로도가 줄어들도록 한다.
뿐만 아니라, 게임 사용자의 피로도의 정도가 심하다고 판단될 경우, 게임-제어부(240)는 게임 사용자에게 휴식을 권장하는 메시지를 출력할 수 있다.
비디오 생성부(250)는 게임-제어부(240)의 제어 내용에 따른 게임 내용이 나타난 비디오를 생성한다. 그리고, 비디오 생성부(250)는 생성한 비디오를 비디오 출력부(260)를 통해 TV(300)로 출력한다. 이에 따라, TV(300)에는 비디오 생성부(250)에서 생성된 비디오가 디스플레이 된다.
한편, 오디오 생성부(270)는 게임-제어부(240)의 제어 내용에 따른 게임 내용의 오디오를 생성하고, 생성한 오디오를 오디오 출력부(280)를 통해 TV(300)로 출력한다. 이에 따라, TV(300)에는 오디오 생성부(270)에서 생성된 오디오가 출력된다.
이하에서는, 지금까지 설명한 게임-시스템에서 게임이 수행되는 과정에 대해, 도 6을 참조하여 상세히 설명한다. 도 6은, 본 발명의 일 실시예에 따른 게임 제공방법의 설명에 제공되는 도면이다.
눈-영상 촬영장치(100)는 게임 사용자의 눈을 촬영하여 눈-영상을 획득한다(S310). 그리고, 눈-영상 촬영장치(100) 획득한 눈-영상을 게임기(200)로 전달한다(S320).
게임기(200)의 눈-상태 측정부(220)는 S320단계에서 전달받은 눈-영상을 이용하여, 동공 크기를 측정하고(S330), 동공 적응 속도(S340)를 측정한다.
또한, 눈-상태 측정부(220)는 S320단계에서 전달받은 눈-영상을 이용하여, 눈 깜빡임 빈도(S350)를 측정하고, 눈 깜빡임 속도를 측정한다(S360).
이후, 사용자-상태 판단부(230)는 S330단계에서 측정된 동공 크기와 S360단계에서 측정된 눈 깜빡임 속도를 참조하여, 게임 사용자의 감성을 판단한다(S370).
그리고, 사용자-상태 판단부(230)는 S340단계에서 측정된 동공 적응 속도와 S350단계에서 측정된 눈 깜빡임 빈도를 참조하여, 게임 사용자의 피로도를 판단한다(S380).
그러면, 게임-제어부(240)는 S370단계에서 판단된 게임의 감성과 S380단계에서 판단된 게임 사용자의 피로도에 기초하여 게임 내용을 제어한다(S390).
이후, 비디오 생성부(250)와 오디오 생성부(270)는 게임-제어부(240)의 제어 내용에 따른 게임 내용의 비디오와 오디오를 생성하여, TV(300)로 전달한다(S400).
한편, 지금까지 본 실시예에서 감성 및 피로도 측정에 관한 기술은, 게임 뿐만 아니라 디스플레이 화질 평가에 사용 가능하다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
도 1은 본 발명이 적용가능한 게임-시스템을 도시한 도면,
도 2는 눈-영상 촬영장치의 일 예로, 눈-영상 촬영을 위해 적외선 조명과 적외선 카메라를 부착한 HMD를 도시한 도면,
도 3은 눈-영상 촬영장치의 다른 예로, 눈-영상 촬영을 위해 적외선 조명과 적외선 카메라를 부착한 스테레오 안경을 도시한 도면,
도 4는, 도 1에 도시된 게임기의 상세 블럭도,
도 5는 동공 추출 과정을 도시한 도면, 그리고,
도 6은, 본 발명의 일 실시예에 따른 게임 제공방법의 설명에 제공되는 도면이다.

Claims (16)

  1. 외부 촬영장치로부터 게임 사용자의 눈을 촬영한 눈-영상을 수신하는 수신부;
    상기 수신부가 수신한 눈-영상을 기초로 눈-상태를 측정하는 측정부;
    상기 측정부에서 측정된 눈-상태를 기초로 사용자-상태를 판단하는 판단부; 및
    상기 판단부가 판단한 사용자-상태를 기초로 게임 내용을 제어하는 제어부;를 포함하는 것을 특징으로 하는 게임기.
  2. 제 1항에 있어서,
    상기 눈-상태는,
    동공 크기, 동공 적응 속도, 눈 깜빡임 빈도 및 눈 깜빡임 속도 중 적어도 하나를 포함하는 것을 특징으로 하는 게임기.
  3. 제 2항에 있어서,
    상기 사용자-상태는,
    감성 및 피로도 중 적어도 하나를 포함하는 것을 특징으로 하는 게임기.
  4. 제 3항에 있어서,
    상기 판단부는,
    상기 동공 크기 및 상기 눈 깜빡임 속도를 참조하여 상기 게임 사용자의 감성을 판단하고, 상기 눈 깜빡임 빈도 및 상기 동공 적응 속도를 참조하여 상기 게임 사용자의 피로도를 판단하는 것을 특징으로 하는 게임기.
  5. 제 4항에 있어서,
    상기 판단부는,
    게임 시작전 캘리브레이션 과정을 통해, 상기 감성 및 상기 피로도 판단을 위한 상기 동공 크기, 상기 눈 깜빡임 속도, 상기 눈 깜빡임 빈도 및 상기 동공 적응 속에 대한 임계치를 설정하는 것을 특징으로 하는 게임기.
  6. 제 1항에 있어서,
    상기 제어부는,
    상기 사용자-상태를 기초로 게임 컨텐츠의 구성 및 화면 상태 중 적어도 하나를 조정하는 것을 특징으로 하는 게임기.
  7. 외부 촬영장치로부터 게임 사용자의 눈을 촬영한 눈-영상을 수신하는 단계;
    상기 수신단계에서 수신한 눈-영상을 기초로 눈-상태를 측정하는 단계;
    상기 측정단계에서 측정된 눈-상태를 기초로 사용자-상태를 판단하는 단계; 및
    상기 판단단계에서 판단한 사용자-상태를 기초로 게임 내용을 제어하는 단계;를 포함하는 것을 특징으로 하는 게임 제공 방법.
  8. 제 7항에 있어서,
    상기 눈-상태는,
    동공 크기, 동공 적응 속도, 눈 깜빡임 빈도 및 눈 깜빡임 속도 중 적어도 하나를 포함하는 것을 특징으로 하는 게임 제공 방법.
  9. 제 8항에 있어서,
    상기 사용자-상태는,
    감성 및 피로도 중 적어도 하나를 포함하는 것을 특징으로 하는 게임 제공 방법.
  10. 제 9항에 있어서,
    상기 판단단계는,
    상기 동공 크기 및 상기 눈 깜빡임 속도를 참조하여 상기 게임 사용자의 감성을 판단하고, 상기 눈 깜빡임 빈도 및 상기 동공 적응 속도를 참조하여 상기 게임 사용자의 피로도를 판단하는 것을 특징으로 하는 게임 제공 방법.
  11. 제 10항에 있어서,
    상기 판단단계는,
    게임 시작전 캘리브레이션 과정을 통해, 상기 감성 및 상기 피로도 판단을 위한 상기 동공 크기, 상기 눈 깜빡임 속도, 상기 눈 깜빡임 빈도 및 상기 동공 적응 속에 대한 임계치를 설정하는 것을 특징으로 하는 게임 제공 방법.
  12. 제 7항에 있어서,
    상기 제어단계는,
    상기 사용자-상태를 기초로 게임 컨텐츠의 구성 및 화면 상태 중 적어도 하나를 조정하는 것을 특징으로 하는 게임 제공 방법.
  13. 게임 사용자의 눈에 적외선을 출사하는 적외선 조명;
    상기 적외선 조명에 의해 적외선이 출사된 게임 사용자의 눈을 촬영하여 눈-영상을 생성하는 적외선 카메라; 및
    상기 적외선 카메라가 생성한 눈-영상을 외부 게임기로 전송하는 전송부;를 포함하는 것을 특징으로 하는 눈-영상 촬영장치.
  14. 제 13항에 있어서,
    상기 적외선 조명 및 상기 적외선 카메라는,
    상기 게임 사용자의 눈을 향하도록 상기 눈-영상 촬영장치에 설치되는 것을 특징으로 하는 눈-영상 촬영장치.
  15. 제 13항에 있어서,
    상기 눈-영상 촬영장치는,
    HMD, 스테레오 안경, 고글 및 헬멧 중 적어도 하나의 형태로 구현되는 것을 특징으로 하는 눈-영상 촬영장치.
  16. 게임 사용자의 눈에 적외선을 출사하는 단계;
    상기 적외선이 출사된 게임 사용자의 눈을 촬영하여 눈-영상을 생성하는 단계; 및
    상기 눈-영상을 외부 게임기로 전송하는 단계;를 포함하는 것을 특징으로 하는 눈-영상 촬영방법.
KR1020090093376A 2009-09-30 2009-09-30 눈 영상을 통해 판단한 사용자 상태에 반응하는 게임기 및 그의 게임 제공방법 KR101051433B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090093376A KR101051433B1 (ko) 2009-09-30 2009-09-30 눈 영상을 통해 판단한 사용자 상태에 반응하는 게임기 및 그의 게임 제공방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090093376A KR101051433B1 (ko) 2009-09-30 2009-09-30 눈 영상을 통해 판단한 사용자 상태에 반응하는 게임기 및 그의 게임 제공방법

Publications (2)

Publication Number Publication Date
KR20110035585A true KR20110035585A (ko) 2011-04-06
KR101051433B1 KR101051433B1 (ko) 2011-07-22

Family

ID=44043915

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090093376A KR101051433B1 (ko) 2009-09-30 2009-09-30 눈 영상을 통해 판단한 사용자 상태에 반응하는 게임기 및 그의 게임 제공방법

Country Status (1)

Country Link
KR (1) KR101051433B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101272811B1 (ko) * 2011-08-03 2013-06-10 동국대학교 산학협력단 인터페이스 시스템 및 방법
KR20150019351A (ko) * 2013-08-13 2015-02-25 삼성전자주식회사 동영상 콘텐트에 대한 사용자 피로도 예측 장치 및 방법
KR101498593B1 (ko) * 2013-08-26 2015-03-04 허진만 게임 또는 인터넷 중독 평가 장치 및 방법
KR101585830B1 (ko) * 2015-06-22 2016-01-15 이호석 시청자 감정에 따른 스토리 전개 시스템 및 방법
KR101643744B1 (ko) * 2015-03-17 2016-08-11 동국대학교 산학협력단 시선고정 눈 반응 감지장치 및 방법
WO2019054632A3 (ko) * 2017-09-14 2019-05-09 정승일 집중력 향상을 위한 안경 장치
KR20200048904A (ko) * 2018-10-31 2020-05-08 주식회사 엔씨소프트 게임 플레이 데이터 제공 단말 및 게임 플레이 데이터 제공 방법
US10725538B2 (en) 2018-06-19 2020-07-28 Igt Interacting with game elements using eye movement tracking
US11016565B2 (en) 2016-09-22 2021-05-25 Apple Inc. Postponing the state change of an information affecting the graphical user interface until during the condition of inattentiveness

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101610525B1 (ko) 2014-10-20 2016-04-07 현대자동차주식회사 조도를 고려한 동공 검출 장치 및 그 방법
KR102041685B1 (ko) 2017-11-28 2019-11-06 숭실대학교산학협력단 눈 깜빡임 정보를 이용한 사용자 단말 제어 방법 및 이를 수행하기 위한 기록매체

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000008812A (ko) * 1998-07-16 2000-02-15 손욱 향 발생방법 및 그 장치
CA2561287C (en) * 2004-04-01 2017-07-11 William C. Torch Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US7878910B2 (en) 2005-09-13 2011-02-01 Igt Gaming machine with scanning 3-D display system

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101272811B1 (ko) * 2011-08-03 2013-06-10 동국대학교 산학협력단 인터페이스 시스템 및 방법
KR20150019351A (ko) * 2013-08-13 2015-02-25 삼성전자주식회사 동영상 콘텐트에 대한 사용자 피로도 예측 장치 및 방법
KR101498593B1 (ko) * 2013-08-26 2015-03-04 허진만 게임 또는 인터넷 중독 평가 장치 및 방법
KR101643744B1 (ko) * 2015-03-17 2016-08-11 동국대학교 산학협력단 시선고정 눈 반응 감지장치 및 방법
KR101585830B1 (ko) * 2015-06-22 2016-01-15 이호석 시청자 감정에 따른 스토리 전개 시스템 및 방법
US11016565B2 (en) 2016-09-22 2021-05-25 Apple Inc. Postponing the state change of an information affecting the graphical user interface until during the condition of inattentiveness
KR20210095747A (ko) * 2016-09-22 2021-08-02 애플 인크. 무주의 조건 동안 그래픽 사용자 인터페이스에 영향을 미치는 정보의 상태 변화 연기
US11334156B2 (en) 2016-09-22 2022-05-17 Apple Inc. Postponing the state change of an information affecting the graphical user interface until during the condition of inattentiveness
KR20220078715A (ko) * 2016-09-22 2022-06-10 애플 인크. 무주의 조건 동안 그래픽 사용자 인터페이스에 영향을 미치는 정보의 상태 변화 연기
WO2019054632A3 (ko) * 2017-09-14 2019-05-09 정승일 집중력 향상을 위한 안경 장치
US10725538B2 (en) 2018-06-19 2020-07-28 Igt Interacting with game elements using eye movement tracking
KR20200048904A (ko) * 2018-10-31 2020-05-08 주식회사 엔씨소프트 게임 플레이 데이터 제공 단말 및 게임 플레이 데이터 제공 방법

Also Published As

Publication number Publication date
KR101051433B1 (ko) 2011-07-22

Similar Documents

Publication Publication Date Title
KR101051433B1 (ko) 눈 영상을 통해 판단한 사용자 상태에 반응하는 게임기 및 그의 게임 제공방법
CN103458770B (zh) 照射特性能够调节的用于捕获至少一个眼睛的至少一个参数的光学测量装置和方法
CN103648366B (zh) 用于远程测量光学焦点的系统和方法
Lee et al. The comparative measurements of eyestrain caused by 2D and 3D displays
CN102596005B (zh) 自动测量人双眼的至少一个折射特性的方法和设备
US20170092007A1 (en) Methods and Devices for Providing Enhanced Visual Acuity
CN111603134B (zh) 眼球运动测试的装置及方法
KR20180121594A (ko) 생체 인증 보안을 위한 청색 광 조정
KR101094766B1 (ko) 시선 위치 추적 장치 및 방법
CN107077593A (zh) 用于显示屏增强的系统和方法
JPH07249197A (ja) 人物状態検出装置
KR20190141684A (ko) 사용자의 건강 상태를 평가하기 위한 시스템(system for assessing a health condition of a user)
KR20160115501A (ko) 생체 정보 획득 방법 및 이를 위한 장치
JP2018032198A (ja) 視線検出装置、視線検出方法、及びコンピュータプログラム
CN107169309A (zh) 基于头戴式检测设备的视野检测方法、系统及检测装置
CN109528156A (zh) 一种自助式智能化视功能筛查系统
CN105996986B (zh) 一种基于多光谱检测人眼睑板腺模型的装置及其方法
CN115171024A (zh) 一种基于视频序列的面部多特征融合疲劳检测方法及系统
CN105380590B (zh) 一种具有眼位检测功能的设备及其实现方法
US20200074150A1 (en) Method and device for modifying the affective visual information in the field of vision of an user
US10188291B2 (en) Device for screening convergence insufficiency and related methods
JP2004120377A (ja) 画像表示装置および画像表示システムの利用方法
CN111557643A (zh) 一种肌肤健康报告的展示方法、装置及护肤设备
WO2021034951A1 (en) Systems and methods for evaluating pupillary response
Chung Development of a wearable eye tracker

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140708

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150626

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160711

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190531

Year of fee payment: 9