KR20120071287A - 웹캠을 이용하여 위치를 추적하는 방법 및 그 장치 - Google Patents

웹캠을 이용하여 위치를 추적하는 방법 및 그 장치 Download PDF

Info

Publication number
KR20120071287A
KR20120071287A KR1020110037422A KR20110037422A KR20120071287A KR 20120071287 A KR20120071287 A KR 20120071287A KR 1020110037422 A KR1020110037422 A KR 1020110037422A KR 20110037422 A KR20110037422 A KR 20110037422A KR 20120071287 A KR20120071287 A KR 20120071287A
Authority
KR
South Korea
Prior art keywords
user
tracking
screen
webcam
pointing point
Prior art date
Application number
KR1020110037422A
Other languages
English (en)
Inventor
성만규
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US13/332,638 priority Critical patent/US20120165084A1/en
Publication of KR20120071287A publication Critical patent/KR20120071287A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/216—Input arrangements for video game devices characterised by their sensors, purposes or types using geographical information, e.g. location of the game device or player using GPS
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/219—Input arrangements for video game devices characterised by their sensors, purposes or types for aiming at specific areas on the display, e.g. light-guns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8076—Shooting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Environmental & Geological Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

1인칭 슈팅 게임(FPS)과 연동하여 동작하는 위치 추적 장치는 웹캠을 이용하여 사용자 및 레이저 포인터의 위치를 동시에 추적한다. 위치 추적 장치는 제1 웹캠을 이용하여 게임 화면이 표시되는 스크린으로부터 사용자를 촬영하여 사용자의 헤드의 위치, 3DOF(3Degrees Of Freedom) 및 방향을 추출하고, 추출한 결과를 토대로 사용자의 시선을 추적한다. 또한, 위치 추적 장치는 제2 웹캠을 이용하여 스크린을 촬영하고, 촬영한 결과를 토대로 스크린에 투영되는 레이저 포인터의 포인팅 지점을 추적한다.

Description

웹캠을 이용하여 위치를 추적하는 방법 및 그 장치{Apparatus and method for tracking position using Webcam}
본 발명은 웹캠을 이용하여 위치를 추적하는 방법 및 그 장치에 관한 것이다. 보다 상세하게는 웹캠을 이용하여 사용자 및 레이져 포인터의 위치를 추적하는 방법 및 그 장치에 관한 것이다.
휴먼 컴퓨터 인터렉션(Human Computer Interaction, HCI)은 인간이 컴퓨터와 더불어 수행하면서 벌어지는 여러 사건들 즉, 을 파악하고, 인간이 컴퓨터를 더 편리하고 안전하게 사용할 수 있도록 그 방식을 설계하는 기술에 관한 것이다.
이러한, 휴먼 컴퓨터 인터렉션에서의 오브젝트 트래킹(object tracking)은 연속적인 이미지로부터 관심오브젝트의 궤적을 예측하는 것을 의미한다.
오브젝트 트래킹은 세가지 보조 기술 즉, 오브젝트의 특징을 컴퓨터가 인식하도록 하는 모델링 기술, 입력영상 상의 오브젝트를 감지(detect)하는 오브젝트 검출 기술 및 카메라로부터 들어오는 이미지 프레임간의 상관관계(correlation)을 고려하여, 현재 프레임상으로부터 얻어진 오브젝트의 위치로부터 다음 프레임상의 오브젝트의 위치를 추정하는 위치 예측 기술을 포함한다.
일반적으로, 모델링 기술에서 사용하는 이미지 상의 오브젝트 모델은 크게 포인트, 기본기하학 모양, 실루엣/윤곽(Contour), 조인트로 엮어진 Articulated shape 모델 등으로 구분된다. 이와 같은 모델 즉, 특징점을 이용하여 이미지 상에 해당 오브젝트가 존재하는지 여부를 분할(segmentation) 및 배경 차분(Background Subtraction) 방법을 이용하여 판별한다.
해당 오브젝트가 존재하는 경우에는 오브젝트 모델의 겉모습(appearance)을 통계적 방법에 기반하는 기계 학습(machine learning) 알고리즘을 이용하여 미리 트레이닝(tranining)을 하여 오브젝트를 추적한다. 여기서, 트레이닝된 모델에 새로운 데이터가 들어왔을 경우에는 복수개의 프레임에 걸쳐 위치를 추적한다. 이때, 앞 프레임의 정보를 이용하여 다음 프레임의 오브젝트 위치를 추측하는 위치 예측 기술이 이용된다. 위치 예측 기술은 가장 대표적인 트래킹(tracking) 및 트레이닝(training) 알고리즘에 해당하는 것으로, meanshift, kalman filtering, particle filtering, haar-like training 기법 등을 사용할 수 있다.
이러한, 위치 예측 기술은 슈팅게임 등 일차 시점 게임에서 흔히 사용되는 빠른 사용자 시점 변환과 타겟 변화를 동시에 예측할 수 없는 문제점이 있다.
본 발명의 목적은, 웹캠을 이용하여 사용자의 시점 변환과 타겟 변화를 동시에 예측하는 사용자 및 레이져 포인터의 위치를 추적하는 방법 및 그 장치를 제공하는 것이다.
상기 과제를 해결하기 위한 본 발명의 실시예에 따른, 1인칭 슈팅 게임(FPS)과 연동하여 동작하는 장치가 상기 게임을 수행하는 사용자와 상기 사용자가 소지하는 레이저 포인터의 위치를 추적하는 방법은
제1 웹캠을 이용하여 상기 게임 화면이 표시되는 스크린으로부터 사용자를 촬영하여 상기 사용자의 헤드의 위치, 3DOF(3Degrees Of Freedom) 및 방향을 추출하고, 추출한 결과를 토대로 사용자의 시선을 추적하는 단계; 및 제2 웹캠을 이용하여 상기 스크린을 촬영하고, 촬영한 결과를 토대로 상기 스크린에 투영되는 상기 레이저 포인터의 포인팅 지점을 추적하는 단계를 포함한다.
상기 위치를 추적하는 방법은 상기 사용자의 시선과 상기 레이저 포인터의 포인팅 지점을 동시에 추적하는 것을 특징으로 한다.
상기 사용자의 시선을 추적하는 단계는 상기 스크린 위에 설치되어 있는 상기 제1 웹캠이 사용자의 헤드를 캡쳐한 결과들을 토대로 특징점을 추출하는 단계; 상기 특징점을 기계학습 알고리즘에 적용하여 통계적 모델을 구성하는 단계; 및 상기 통계적 모델을 기반으로 하여 상기 사용자의 헤드의 위치, 3DOF(3Degrees Of Freedom) 및 방향을 추출하는 단계를 포함한다.
상기 특징점은 상기 사용자의 얼굴 색깔, 눈, 코, 입 중 적어도 하나를 포함하는 것을 특징으로 한다.
상기 포인팅 지점을 추적하는 단계는 상기 포인팅 지점을 포함하는 프레임에 대하여 캘리브레이션을 수행하는 단계; 캘리브레이션된 프레임의 픽셀 강도를 측정하는 단계; 및 상기 픽셀 강도와 임계값을 비교하고, 비교 결과에 따라 상기 포인팅 지점의 추적여부를 결정하는 단계를 포함한다.
상기 픽셀 강도가 상기 임계값 이상인 경우, 상기 임계값 이상인 픽셀들을 그룹핑하는 단계; 그룹핑한 픽셀들에 대하여 칼만 필터링하는 단계; 및 상기 칼만 필터링한 결과를 평활화하여 상기 포인팅 지점을 추적하는 단계를 더 포함한다.
상기 픽셀 강도가 상기 임계값보다 작은 경우, 상기 캘리브레이션된 프레임의 픽셀 강도를 재측정하는 단계를 더 포함한다.
상기 포인팅 지점을 추적하는 단계는 추적한 포인팅 지점을 상기 게임에서 슈팅 타겟에 해당하는 크로스 헤어로 지정하는 것을 특징으로 한다.
상기 과제를 해결하기 위한 본 발명의 다른 실시예에 따른, 위치 추적 장치는
제1 웹캠을 이용하여 상기 게임 화면이 표시되는 스크린으로부터 사용자를 촬영하여, 상기 사용자 헤드의 위치, 3DOF(3Degrees Of Freedom) 및 방향을 추출하고, 추출한 결과를 토대로 사용자의 시선을 추적하는 헤드 트래킹부; 및 제2 웹캠을 이용하여 상기 스크린을 촬영하여 상기 상기 스크린에 투영되는 레이저 포인터의 포인팅 지점을 추적하고, 상기 포인팅 지점을 슈팅 타겟에 해당하는 크로스 헤어로 지정하는 포인터 트래킹부를 포함하고,
상기 헤드 트래킹부와 상기 포인터 트래킹부는 상기 사용자의 시선과 상기 포인팅 지점을 동시에 추적하는 것을 특징으로 한다.
상기 헤드 트래킹부는 상기 스크린 위에 설치되어 있는 상기 제1 웹캠이 캡쳐한 결과들을 토대로 통계적 모델을 구성하고, 상기 통계적 모델을 토대로 상기 사용자의 헤드를 캡쳐한 결과를 판별하여 상기 사용자의 헤드의 위치, 3DOF(3Degrees Of Freedom) 및 방향을 추출하는 것을 특징으로 한다.
상기 포인터 트래킹부는 상기 포인팅 지점을 포함하는 프레임에 대하여 캘리브레이션을 수행하고, 캘리브레이션된 프레임의 픽셀 강도를 측정하여, 상기 픽셀 강도와 임계값을 비교한 결과에 따라 상기 포인팅 지점의 추적여부를 결정하는 것을 특징으로 한다.
상기 픽셀 강도가 상기 임계값 이상인 경우, 상기 임계값 이상인 픽셀들을 그룹핑하고, 그룹핑한 픽셀들에 대하여 칼만 필터링하여, 칼만 필터링한 결과를 평활화하여 상기 포인팅 지점을 추적하는 것을 특징으로 한다.
상기 픽셀 강도가 상기 임계값보다 작은 경우, 상기 캘리브레이션된 프레임의 픽셀 강도를 재측정하는 것을 특징으로 한다.
본 발명의 실시예에 따르면, 위치 추적 장치는 웹캠을 이용하여 사용자의 시점 변화 및 레이져 포인터의 타겟 변화를 동시에 예측할 수 있다.
도 1은 본 발명의 실시예에 따른 웹캠을 이용하여 위치를 추적하는 장치를 적용하는 서비스 환경을 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 위치 추적 장치(200)를 나타내는 구성도이다.
도 3은 본 발명의 실시예에 따른 웹캠을 이용하여 위치를 추적하는 방법을 나타내는 흐름도이다.
도 4는 본 발명의 실시예에 따른 사용자의 시선을 추적하는 방법을 나타내는 흐름도이다.
도 5는 본 발명의 실시예에 따른 레이저 포인터를 추적하는 방법을 나타내는 흐름도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하에서는, 본 발명의 실시예에 따른 웹캠을 이용하여 위치를 추적하는 방법 및 그 장치에 대하여 첨부한 도면을 참고로 하여 상세히 설명한다.
먼저, 본 발명의 실시예에 따른, 웹캠을 이용하여 위치를 추적하는 방법 및 그 장치는 휴먼 컴퓨터 인터렉션(Human Computer Interaction, HCI) 기술 즉, 마우스와 키보드와 같은 사용자 인터페이스를 벗어나 사용자의 의도를 직관적으로 센싱하여 게임 등 어플리케이션에 전달해주는 기술 분야에 속할 수 있으며, 이에 한정되지 않는다.
도 1은 본 발명의 실시예에 따른 웹캠을 이용하여 위치를 추적하는 장치를 적용하는 서비스 환경을 나타내는 도면이다.
먼저, 본 발명의 실시예에 따른 웹캠을 이용하여 위치를 추적하는 장치(이하, “위치 추적 장치”라고 함.)는 1인칭 슈팅 게임(First-person-shooter, FPS)과 연동하여 인터페이스와 같은 장치에 해당하며, 이에 한정되지 않는다.
도 1을 참고하면, 본 발명의 실시예에 따른 서비스 환경은 두 개의 웹캠(10, 20), 두 개의 웹캠(10, 20)이 각각 위치하는 스크린(30), 프로젝터(40) 및 레이저 포인터(50)를 포함한다.
프로젝터(40)는 예를 들어, 게임을 실행하는 컴퓨터와 연결되어 있으며, 게임 화면을 스크린(30)에 투영한다.
스크린(30) 위에 설치되어 있는 웹캠(10)은 스크린(30) 앞의 게임 참여자 즉, 사용자의 얼굴을 연속적으로 캡쳐한다.
프로젝터(40) 앞의 웹캠(20)은 게임 화면이 실행되고 있는 스크린(30)을 연속적으로 캡쳐한다. 즉, 웹캠(20)은 사용자가 소지하는 레이저 포인터(50)가 스크린(30)에 오브레이되는 지점을 연속적으로 캡쳐한다.
이러한, 본 발명의 실시예에 따른 서비스 환경에서 위치 추적 장치(200)는 두 개의 웹캠(10, 20)의 촬영 결과를 이용하여 사용자의 헤드와 레이저 포인터(50)를 동시에 추적함으로써, 사용자의 의도를 실시간으로 반영할 수 있다.
다음, 웹캠을 이용하여 사용자 및 레이져 포인터의 위치를 추적하는 위치 추적 장치(200)를 도 2를 참조하여 상세하게 설명한다.
도 2는 본 발명의 실시예에 따른 위치 추적 장치(200)를 나타내는 구성도이다.
도 2를 참고하면, 위치 추적 장치(200)는 헤드 트래킹부(210) 및 포인터 트래킹부(220)를 포함한다.
헤드 트래킹부(210)는 스크린(30) 위에 설치되어 있는 웹캠(10)을 이용하여 1인칭 슈팅 게임에서의 사용자 시선을 추적한다.
포인터 트래킹부(220)는 프로젝터(40) 앞의 웹캠(20)을 이용하여 레이저 포인터(50)의 포인팅 지점을 추적한다.
이와 같이, 위치 추적 장치(200)는 슈팅 게임 등과 같이 1차 시점 게임에서 사용자의 시점 변환을 위하여 마우스 또는 키보드를 이용하지 않고, 헤드 트래킹을 통해 사용자의 시점 변환을 추적함으로써, 게임에 그대로 반영할 수 있다. 또한, 위치 추적 장치(200)는 헤드 트래킹과 동시에 레이저 포인터(50)가 지시하는 지점을 추적하고, 이 지점을 슈팅 타겟에 해당하는 크로스 헤어(cross-hair)로 지정한다.
다음, 웹캠을 이용하여 위치를 추적하는 방법을 도 3 내지 도 5를 참조하여 상세하게 설명한다.
도 3은 본 발명의 실시예에 따른 웹캠을 이용하여 위치를 추적하는 방법을 나타내는 흐름도이다. 또한, 도 4는 본 발명의 실시예에 따른 사용자의 시선을 추적하는 방법을 나타내는 흐름도이고, 도 5는 본 발명의 실시예에 따른 레이저 포인터를 추적하는 방법을 나타내는 흐름도이다.
먼저, 본 발명의 실시예에 따른 웹캠을 이용하여 위치를 추적하는 방법을 적용하는 환경은 두 개의 웹캠(10, 20), 두 개의 웹캠(10, 20)이 각각 위치하는 스크린(30), 프로젝터(40) 및 레이저 포인터(50)를 포함한다. 여기서, 위치 추적 장치(200)는 두 개의 웹캠(10, 20)을 이용하여 사용자의 헤드 및 레이저 포인터의 위치를 추적한다.
예를 들어, 프로젝터(40)는 게임 화면을 스크린(30)에 투영한다.
도 3을 참고하면, 위치 추적 장치(200)는 스크린(30) 위에 설치되어 있는 웹캠(10)을 이용하여 1인칭 슈팅 게임에서의 사용자 시선을 추적한다(S100). 여기서, 스크린(30) 위에 설치되어 있는 웹캠(10)은 스크린 앞에 위치하는 사용자의 헤드를 연속적으로 캡쳐한다.
도 4를 참고하면, 위치 추적 장치(200)는 사용자의 헤드를 캡쳐한 결과들을 토대로 헤드의 특징점을 추출한다(S110). 여기서, 헤드의 특징점은 얼굴 색깔, 눈, 코, 입 등 특징에 해당하는 곳을 포함한다.
위치 추적 장치(200)는 추출한 헤드의 특징점을 기계학습 알고리즘(machine learning algorithm)에 적용하여 통계적 모델을 구성한다(S120). 위치 추적 장치(200)는 통계적 모델을 구성하기 이전에, 사용자들의 트레이닝 데이터들(training data)을 포함한다. 다음, 위치 추적 장치(200)는 기계학습 알고리즘을 이용하여 트레이닝 테이터들을 통해 트레이닝하여 통계적 모델을 구성한다.
위치 추적 장치(200)는 스크린(30) 위에 설치되어 있는 웹캠(10)으로부터 캡쳐 결과를 전달받은 경우, 이를 판별하여 사용자의 헤드의 위치(Positon), 3DOF 및 방향(orientation)을 추출한다(S130).
구체적으로, 위치 추적 장치(200)는 웹캠(10)으로부터 사용자의 얼굴 이미지를 전달받은 경우, 얼굴 이미지를 판별하여 얼굴의 위치를 파악하고, 눈, 코 및 입의 위치와 방향을 판별한 다음, 얼굴의 방향을 추출한다.
즉, 위치 추적 장치(200)는 웹캠(10)을 이용하여 추출한 사용자의 헤드의 위치, 3자 유도(3Degrees Of Freedom, 이하 “3DOF”라고 함) 및 방향(orientation)을 토대로 사용자의 시선을 추적할 수 있다. 여기서, 3DOF는 X(수평), Y(수직) 및Z(깊이)를 포함한다.
다음, 위치 추적 장치(200)는 프로젝터(40) 앞의 웹캠(20)을 이용하여 레이저 포인터(50)의 포인팅 지점을 추적한다(S200). 여기서, 프로젝터(40) 앞의 웹캠(20)은 초당 30 프레임 이상을 캡쳐할 수 있다.
도 5를 참고하면, 위치 추적 장치(200)는 스크린에 투영되는 레이저 포인터(50)가 지시하는 포인팅 지점을 포함하는 프레임(640 x 480)에 대하여 캘리브레이션(calibration)을 수행한다(S210).
위치 추적 장치(200)는 프레임에 대한 픽셀 강도(intensity)를 측정하고(S220), 측정한 픽셀 강도가 임계값보다 큰지를 판단한다(S230).
위치 추적 장치(200)는 픽셀 강도가 임계값보다 작은 경우, 프레임에 대한 픽셀 강도를 재측정한다. 반면에, 위치 추적 장치(200)는 픽셀 강도가 임계값 이상인 경우, 임계값 이상인 픽셀들을 그룹핑(grouping)한다(S240).
위치 추적 장치(200)는 그룹핑한 픽셀들을 예측-교정 알고리즘(prediction-correction algorithm)에 해당하는 칼만 필터링(Kalman filtering)한다(S250).
위치 추적 장치(200)는 칼만 필터링을 수행한 결과를 평활화(smoothing)하여 레이저 포인터(50)의 포인팅 지점을 추적한다(S260). 또한, 위치 추적 장치(200)는 추적한 포인팅 지점을 슈팅 타겟에 해당하는 크로스 헤어로 지정한다.
이로써, 본 발명의 실시예에 따른 위치 추적 장치(200)는 스크린(30) 위에 설치되어 있는 웹캠(10)과 프로젝터(40) 앞의 웹캠(20)을 이용하여 사용자의 시점 변화 및 레이져 포인터의 타겟 변화를 동시에 예측할 수 있다.
이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10, 20; 웹캠
30; 스크린
40; 프로젝터
50; 레이저 포인터
200; 위치 추적 장치
210; 헤드 트래킹부
220; 포인터 트래킹부

Claims (13)

1인칭 슈팅 게임(FPS)과 연동하여 동작하는 장치가 상기 게임을 수행하는 사용자와 상기 사용자가 소지하는 레이저 포인터의 위치를 추적하는 방법에 있어서,
제1 웹캠을 이용하여 상기 게임 화면이 표시되는 스크린으로부터 사용자를 촬영하여 상기 사용자의 헤드의 위치, 3DOF(3Degrees Of Freedom) 및 방향을 추출하고, 추출한 결과를 토대로 사용자의 시선을 추적하는 단계; 및
제2 웹캠을 이용하여 상기 스크린을 촬영하고, 촬영한 결과를 토대로 상기 스크린에 투영되는 상기 레이저 포인터의 포인팅 지점을 추적하는 단계
를 포함하는 위치 추적 방법.
청구항 1에 있어서,
상기 사용자의 시선과 상기 레이저 포인터의 포인팅 지점을 동시에 추적하는 것을 특징으로 하는 위치 추적 방법.
청구항 1에 있어서,
상기 사용자의 시선을 추적하는 단계는
상기 스크린 위에 설치되어 있는 상기 제1 웹캠이 사용자의 헤드를 캡쳐한 결과들을 토대로 특징점을 추출하는 단계;
상기 특징점을 기계학습 알고리즘에 적용하여 통계적 모델을 구성하는 단계; 및
상기 통계적 모델을 기반으로 하여 상기 사용자의 헤드의 위치, 3DOF(3Degrees Of Freedom) 및 방향을 추출하는 단계
를 포함하는 위치 추적 방법.
청구항 3에 있어서,
상기 특징점은 상기 사용자의 얼굴 색깔, 눈, 코, 입 중 적어도 하나를 포함하는 것을 특징으로 하는 위치 추적 방법.
청구항 1에 있어서,
상기 포인팅 지점을 추적하는 단계는
상기 포인팅 지점을 포함하는 프레임에 대하여 캘리브레이션을 수행하는 단계;
캘리브레이션된 프레임의 픽셀 강도를 측정하는 단계; 및
상기 픽셀 강도와 임계값을 비교하고, 비교 결과에 따라 상기 포인팅 지점의 추적여부를 결정하는 단계
를 포함하는 위치 추적 방법.
청구항 5에 있어서,
상기 픽셀 강도가 상기 임계값 이상인 경우,
상기 임계값 이상인 픽셀들을 그룹핑하는 단계;
그룹핑한 픽셀들에 대하여 칼만 필터링하는 단계; 및
상기 칼만 필터링한 결과를 평활화하여 상기 포인팅 지점을 추적하는 단계
를 더 포함하는 위치 추적 방법.
청구항 5에 있어서,
상기 픽셀 강도가 상기 임계값보다 작은 경우,
상기 캘리브레이션된 프레임의 픽셀 강도를 재측정하는 단계를 더 포함하는 위치 추적 방법.
청구항 1에 있어서,
상기 포인팅 지점을 추적하는 단계는
추적한 포인팅 지점을 상기 게임에서 슈팅 타겟에 해당하는 크로스 헤어로 지정하는 것을 특징으로 하는 위치 추적 방법.
제1 웹캠을 이용하여 상기 게임 화면이 표시되는 스크린으로부터 사용자를 촬영하여, 상기 사용자 헤드의 위치, 3DOF(3Degrees Of Freedom) 및 방향을 추출하고, 추출한 결과를 토대로 사용자의 시선을 추적하는 헤드 트래킹부; 및
제2 웹캠을 이용하여 상기 스크린을 촬영하여 상기 상기 스크린에 투영되는 레이저 포인터의 포인팅 지점을 추적하고, 상기 포인팅 지점을 슈팅 타겟에 해당하는 크로스 헤어로 지정하는 포인터 트래킹부
를 포함하고,
상기 헤드 트래킹부와 상기 포인터 트래킹부는 상기 사용자의 시선과 상기 포인팅 지점을 동시에 추적하는 것을 특징으로 하는 위치 추적 장치.
청구항 9에 있어서,
상기 헤드 트래킹부는
상기 스크린 위에 설치되어 있는 상기 제1 웹캠이 캡쳐한 결과들을 토대로 통계적 모델을 구성하고, 상기 통계적 모델을 토대로 상기 사용자의 헤드를 캡쳐한 결과를 판별하여 상기 사용자의 헤드의 위치, 3DOF(3Degrees Of Freedom) 및 방향을 추출하는 것을 특징으로 하는 위치 추적 장치.
청구항 9에 있어서,
상기 포인터 트래킹부는
상기 포인팅 지점을 포함하는 프레임에 대하여 캘리브레이션을 수행하고, 캘리브레이션된 프레임의 픽셀 강도를 측정하여, 상기 픽셀 강도와 임계값을 비교한 결과에 따라 상기 포인팅 지점의 추적여부를 결정하는 것을 특징으로 하는 위치 추적 장치.
청구항 11에 있어서,
상기 픽셀 강도가 상기 임계값 이상인 경우, 상기 임계값 이상인 픽셀들을 그룹핑하고, 그룹핑한 픽셀들에 대하여 칼만 필터링하여, 칼만 필터링한 결과를 평활화하여 상기 포인팅 지점을 추적하는 것을 특징으로 하는 위치 추적 장치.
청구항 11에 있어서,
상기 픽셀 강도가 상기 임계값보다 작은 경우, 상기 캘리브레이션된 프레임의 픽셀 강도를 재측정하는 것을 특징으로 하는 위치 추적 장치.
KR1020110037422A 2010-12-22 2011-04-21 웹캠을 이용하여 위치를 추적하는 방법 및 그 장치 KR20120071287A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/332,638 US20120165084A1 (en) 2010-12-22 2011-12-21 Method and apparatus for tracking locations using webcams

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020100132875 2010-12-22
KR20100132875 2010-12-22

Publications (1)

Publication Number Publication Date
KR20120071287A true KR20120071287A (ko) 2012-07-02

Family

ID=46706365

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110037422A KR20120071287A (ko) 2010-12-22 2011-04-21 웹캠을 이용하여 위치를 추적하는 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR20120071287A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101333076B1 (ko) * 2012-08-09 2013-11-26 서울시립대학교 산학협력단 복수의 영상입력기기 배치를 통한 인터랙티브 스크린 구현 시스템 및 구현 방법, 그 기록매체
KR101396136B1 (ko) * 2013-02-25 2014-05-19 우송대학교 산학협력단 레이저 포인터의 위치 추적 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101333076B1 (ko) * 2012-08-09 2013-11-26 서울시립대학교 산학협력단 복수의 영상입력기기 배치를 통한 인터랙티브 스크린 구현 시스템 및 구현 방법, 그 기록매체
KR101396136B1 (ko) * 2013-02-25 2014-05-19 우송대학교 산학협력단 레이저 포인터의 위치 추적 방법

Similar Documents

Publication Publication Date Title
US10469829B2 (en) Information processor and information processing method
US9898651B2 (en) Upper-body skeleton extraction from depth maps
CN102262725B (zh) 三维场景的分析
Suau et al. Real-time head and hand tracking based on 2.5 D data
CA2748037C (en) Method and system for gesture recognition
CN103677274B (zh) 一种基于主动视觉的互动投影方法及系统
JP2012525643A5 (ko)
Chu et al. Hand gesture for taking self portrait
CN105809144A (zh) 一种采用动作切分的手势识别系统和方法
US20160307327A1 (en) Depth determination method, depth determination device and electronic device
KR20150117553A (ko) 시선 추적 방법, 장치 및 컴퓨터 판독가능한 기록 매체
US20120170800A1 (en) Systems and methods for continuous physics simulation from discrete video acquisition
CN103761011B (zh) 一种虚拟触摸屏的方法、系统及计算设备
JP2007004318A (ja) 画像処理方法、画像処理を実行するためのプログラム、及び、当該プログラムが記憶された記憶媒体
CN108521594B (zh) 一种基于体感相机手势识别的自由视点视频播放方法
CN107918507A (zh) 一种基于立体视觉的虚拟触摸板方法
CN108255352A (zh) 一种投影交互系统中多点触摸实现方法及系统
KR20120071287A (ko) 웹캠을 이용하여 위치를 추적하는 방법 및 그 장치
Gahlot et al. Skeleton based human action recognition using Kinect
Xu et al. Bare hand gesture recognition with a single color camera
Gupta et al. Hand gesture based region marking for tele-support using wearables
Yeh et al. Vision-based virtual control mechanism via hand gesture recognition
KR101289883B1 (ko) 영역 별로 임계치를 다르게 적용한 마스크 이미지 생성 장치 및 그 방법
JP2012003724A (ja) 三次元指先位置検出方法、三次元指先位置検出装置、及びプログラム
Shaker et al. Real-time finger tracking for interaction

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination