KR101685523B1 - 사용자의 신체적 특징과 뇌파 집중 지수를 이용한 가상 모니터 개념의 인터페이스 방법 및 그 시스템 - Google Patents

Abstract

사용자의 신체적 특징과 뇌파 집중 지수를 이용한 가상 모니터 개념의 인터페이스 방법 및 시스템이 개시된다. 컴퓨터로 구현되는 방법은, 사용자에 대해 획득한 영상에서 상기 사용자의 신체적 특징 정보를 추출하는 단계; 상기 신체적 특징 정보를 이용하여 실제 모니터에 대응되는 가상 모니터를 생성하는 단계; 및 상기 가상 모니터에 대한 상기 사용자의 움직임에 따라 상기 실제 모니터에 대한 마우스 기능을 수행하는 단계를 포함한다.

Description

사용자의 신체적 특징과 뇌파 집중 지수를 이용한 가상 모니터 개념의 인터페이스 방법 및 그 시스템{NUI/NUX OF VIRTUAL MONITOR CONCEPT USING CONCENTRATION INDICATOR AND USER'S PHYSICAL FEATURES}

아래의 설명은 가상 모니터 개념의 핸드 마우스 인터페이스 기술에 관한 것이다.

컴퓨터가 개발된 후 컴퓨터는 생활에 필수적인 요소가 되었다. 컴퓨터가 필수품이 되면서 사람과 컴퓨터 사이의 상호작용을 의미하는 HCI(Human-Computer Interaction)에 대한 관심도가 높아졌고, HCI에 대한 연구도 활발히 진행되고 있다. HCI는 시스템의 기능성, 안정성, 사용 편의성, 효율 등이 고려된 컴퓨팅 시스템을 만들거나 개선하는데 그 목적을 두고 있다. 이러한 관점으로 보았을 때, UI(User Interface)는 HCI에서 중요한 부분을 담당하고 있다. 이에 따라, UI에 대한 연구는 매우 활발하게 이루어지고 있다. 단순한 명령어로 컴퓨터와 의사소통을 하는 CLI(Command Line Interface)에서 그래픽을 이용한 GUI(Graphical User Interface)로 점차 발전하였고, 최근에는 인간의 자연스러운 몸짓이나 음성 등을 이용하는 NUI/NUX(Natural User Interface/Natural User eXperience)에 대해 많은 연구가 진행되고 있다. 현재 가장 널리 사용되고 있는 GUI의 경우, 마우스와 키보드를 이용하여 사용자와 컴퓨터 사이의 상호작용을 한다. 반면, NUI/NUX의 경우 사용자의 몸짓이나 음성 등을 이용하기 때문에, 이를 인식하기 위한 다양한 제스쳐 인식, 신호처리, 인공지능 알고리즘 등과 같은 다양한 알고리즘을 사용하여 몸짓이나 음성 등을 처리한다. 이러한 알고리즘은 구현하기 매우 어렵고, 인식을 위한 트레이닝의 단계가 필요하므로 상당히 많은 시간을 투자해야 하기 때문에 NUI/NUX를 실현시키는 것은 매우 어려운 일이다.

하지만 Microsoft사가 Kinect를 출시함으로써 NUI/NUX를 실현시키는 기술로 일반인과 개발자들에게 큰 인기를 얻고 있다. Kinect는 일반 카메라에서 얻을 수 없는 깊이 정보를 깊이 센서를 통해 쉽게 얻을 수 있고, 제공되는 SDK를 이용하여 내부적으로 영상처리나 신호처리 알고리즘을 처리하여 개발자들이 추가적인 알고리즘 없이 제스쳐 인식이나 음성 인식을 할 수 있도록 도와준다. 또한, Kinect는 사용자를 스켈레톤 이미지로 구현하여 각각의 관절에 대한 위치와 깊이 정보를 쉽게 얻을 수 있다는 장점이 있다. Kinect를 이용한 연구로는 Kinect 카메라를 통해 가상세계에서 물체를 선택하는 시스템이 개발되었고, 거동이 불편한 노인들을 위한 소프트웨어가 개발되기도 하였다.

NUI와 더불어 미래를 위한 기술로 뇌의 활동에 따라 대뇌 피질에서 나오는 전류인 뇌파를 이용한 BCI(Brain-Computer Interface)도 연구가 활발하게 진행되고 있다. 뇌 활동에 의해 나타나는 뇌파는 여러 가지 정보를 가지고 있다. 뇌파를 통해 간질과 같은 뇌 질병을 검출하기도 하고, 동작 상상 뇌파(Motor Imagery)를 통해 마우스를 움직이는 연구도 진행되었다.

모션 센싱 입력기기(motion sensing input devices)를 이용하여 사용자의 신체적 특징을 실시간으로 추출하고 이를 이용하여 가상 모니터라는 개념을 도입한 핸드 마우스 인터페이스를 제공한다.

사용자의 자연스러운 손 동작을 통해 마우스를 제어할 수 있고 뇌파 집중 지표를 이용하여 사용자의 불필요한 행동을 인식하여 핸드 마우스 기능의 정확도를 높일 수 있는 인터페이스를 제공한다.

컴퓨터로 구현되는 방법에 있어서, 사용자에 대해 획득한 영상에서 상기 사용자의 신체적 특징 정보를 추출하는 단계; 상기 신체적 특징 정보를 이용하여 실제 모니터에 대응되는 가상 모니터를 생성하는 단계; 및 상기 가상 모니터에 대한 상기 사용자의 움직임에 따라 상기 실제 모니터에 대한 마우스 기능을 수행하는 단계를 포함하는 컴퓨터로 구현되는 방법을 제공한다.

일 측면에 따르면, 상기 추출하는 단계는, 모션 센싱 입력기기를 이용하여 상기 신체적 특징 정보를 추출할 수 있다.

다른 측면에 따르면, 상기 추출하는 단계는, 모션 센싱 입력기기를 이용하여 상기 사용자의 골격과 관련된 스켈레톤 데이터(skeleton data)를 얻어 상기 스켈레톤 데이터에 따른 스켈레톤 이미지를 구성하는 단계; 및 상기 스켈레톤 이미지와 깊이 정보를 이용하여 상기 신체적 특징 정보를 추출하는 단계를 포함할 수 있다.

또 다른 측면에 따르면, 상기 추출하는 단계는, 상기 사용자의 팔 길이, 어깨 너비, 척추 위치, 머리 위치를 포함하는 특징 정보를 추출할 수 있다.

또 다른 측면에 따르면, 상기 생성하는 단계는, 상기 신체적 특징 정보를 이용하여 상기 가상 모니터의 크기와 위치를 설정할 수 있다.

또 다른 측면에 따르면, 상기 추출하는 단계는, 상기 사용자의 팔 길이, 어깨 너비, 척추 위치, 얼굴 위치를 포함하는 특징 정보를 추출하고, 상기 생성하는 단계는, 상기 팔 길이, 상기 어깨 너비, 상기 척추 위치, 상기 얼굴 위치를 이용하여 상기 가상 모니터의 크기와 위치를 설정할 수 있다.

또 다른 측면에 따르면, 상기 생성하는 단계는, 상기 어깨 너비를 이용하여 상기 가상 모니터의 가로 길이를 설정하고, 상기 척추 위치와 상기 얼굴 위치 사이의 거리를 이용하여 상기 가상 모니터의 세로 길이를 설정하고, 상기 팔 길이를 이용하여 상기 사용자와 상기 가상 모니터 사이의 거리를 설정할 수 있다.

또 다른 측면에 따르면, 상기 수행하는 단계는, 상기 가상 모니터 상의 좌표를 실제 모니터 상의 좌표로 변환할 수 있다.

또 다른 측면에 따르면, 상기 수행하는 단계는, 상기 가상 모니터 상의 좌표에 상기 가상 모니터의 상기 실제 모니터의 크기 비율을 곱함으로써 상기 가상 모니터 상의 좌표를 실제 모니터 상의 좌표로 변환할 수 있다.

또 다른 측면에 따르면, 상기 수행하는 단계는, 상기 가상 모니터의 x축과 y축 방향에 대한 움직임을 마우스의 이동 기능으로 제어하고 상기 가상 모니터의 z축 방향에 대한 움직임을 마우스의 클릭 기능으로 제어할 수 있다.

또 다른 측면에 따르면, 상기 사용자의 뇌파 데이터를 이용하여 상기 사용자의 집중도를 나타내는 집중도 지수를 획득하는 단계를 더 포함하고, 상기 수행하는 단계는, 상기 집중도 지수에 따라 상기 마우스 기능의 수행 여부를 결정할 수 있다.

또 다른 측면에 따르면, 상기 수행하는 단계는, 상기 집중도 지수가 상기 사용자에 대해 사전에 설정된 집중도 지수의 오차 범위 내에 포함되는 경우 상기 마우스 기능을 수행할 수 있다.

또 다른 측면에 따르면, 상기 획득하는 단계는, 상기 뇌파 데이터에서 SMR(sensory motor rhythm)파와 중간 베타(mid-β)파 및 세타(θ)파를 이용하여 상기 집중도 지수를 계산할 수 있다.

컴퓨터로 구현되는 방법에 있어서, 사용자에 대해 획득한 영상에서 상기 사용자의 신체적 특징 정보를 추출하는 단계; 상기 신체적 특징 정보를 이용하여 실제 모니터에 대응되는 가상 모니터를 생성하는 단계; 및 상기 가상 모니터에 대한 상기 사용자의 움직임에 따라 상기 실제 모니터에 대한 마우스 기능을 수행하는 단계를 포함하고, 상기 수행하는 단계는, 상기 사용자의 뇌파 데이터로부터 획득한 집중도 지수가 상기 사용자에 대해 사전에 설정된 집중도 지수의 오차 범위 내에 포함되는 경우 상기 마우스 기능을 수행할 수 있다.

컴퓨터 시스템이 마우스 기능을 제어하는 명령(instruction)을 포함하는 컴퓨터 판독가능 매체로서, 상기 명령은, 사용자에 대해 획득한 영상에서 상기 사용자의 신체적 특징 정보를 추출하는 단계; 상기 신체적 특징 정보를 이용하여 실제 모니터에 대응되는 가상 모니터를 생성하는 단계; 및 상기 가상 모니터에 대한 상기 사용자의 움직임에 따라 상기 실제 모니터에 대한 마우스 기능을 수행하는 단계를 포함하는 방법에 의하여 상기 컴퓨터 시스템을 제어하는, 컴퓨터 판독가능 저장 매체를 제공한다.

컴퓨터 시스템이 마우스 기능을 제어하는 명령(instruction)을 포함하는 컴퓨터 판독가능 매체로서, 상기 명령은, 사용자에 대해 획득한 영상에서 상기 사용자의 신체적 특징 정보를 추출하는 단계; 상기 신체적 특징 정보를 이용하여 실제 모니터에 대응되는 가상 모니터를 생성하는 단계; 및 상기 가상 모니터에 대한 상기 사용자의 움직임에 따라 상기 실제 모니터에 대한 마우스 기능을 수행하는 단계를 포함하는 방법에 의하여 상기 컴퓨터 시스템을 제어하고, 상기 수행하는 단계는, 상기 사용자의 뇌파 데이터로부터 획득한 집중도 지수가 상기 사용자에 대해 사전에 설정된 집중도 지수의 오차 범위 내에 포함되는 경우 상기 마우스 기능을 수행하는 것을 특징으로 하는, 컴퓨터 판독가능 저장 매체를 제공한다.

적어도 하나의 프로그램이 로딩된 메모리; 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 프로그램의 제어에 따라, 사용자에 대해 획득한 영상에서 상기 사용자의 신체적 특징 정보를 추출하는 과정; 상기 신체적 특징 정보를 이용하여 실제 모니터에 대응되는 가상 모니터를 생성하는 과정; 및 상기 가상 모니터에 대한 상기 사용자의 움직임에 따라 상기 실제 모니터에 대한 마우스 기능을 수행하는 과정을 처리하는 것을 특징으로 하는 시스템을 제공한다.

본 발명의 실시예에 따르면, 모션 센싱 입력기기를 이용하여 사용자의 신체적 특징을 실시간으로 추출하고 이를 이용하여 가상 모니터라는 개념을 도입한 핸드 마우스 인터페이스를 제공할 수 있다.

본 발명의 실시예에 따르면, 사용자의 자연스러운 손 동작을 통해 마우스를 제어할 수 있고 뇌파 집중 지표를 이용하여 사용자의 불필요한 행동을 인식하여 핸드 마우스 기능의 정확도를 높일 수 있다.

도 1은 일반적인 EEG 기반의 BCI 시스템의 간략한 흐름을 도시한 것이다.
도 2와 도 3은 본 발명의 일실시예에 있어서 가상 모니터 기반의 핸드 마우스 인터페이스 방법을 도시한 흐름도이다.
도 4는 본 발명의 일실시예에 있어서 모션 센싱 입력기기를 이용하여 얻을 수 있는 스켈레톤의 관절 요소를 도시한 것이다.
도 5는 본 발명의 일실시예에 있어서 가상 모니터 생성을 위해 사용된 신체적 특징과 기능을 도시한 것이다.
도 6은 본 발명의 일실시예에 있어서 사용자의 신체적 특징을 이용하여 생성된 가상 모니터의 크기를 설명하기 위한 예시 도면이다.
도 7과 도 8은 본 발명의 일실시예에 있어서 사용자의 신체적 특징을 이용하여 생성된 가상 모니터와 사용자의 거리를 설명하기 위한 예시 도면이다.
도 9는 본 발명의 일실시예에 있어서 왼손의 움직임에 따라 실제 모니터 상에 구현된 마우스의 이동을 설명하기 위한 예시 도면이다.
도 10은 본 발명의 일실시예에 있어서 오른손의 움직임을 이용하여 구현된 마우스의 클릭 기능을 설명하기 위한 예시 도면이다.
도 11은 본 발명의 일실시예에 있어서 좌표 변환 알고리즘을 설명하기 위한 예시 도면이다.
도 12는 본 발명의 일실시예에 있어서 가상 모니터 기반의 핸드 마우스 인터페이스의 의사코드를 도시한 것이다.
도 13은 본 발명의 일 실시예에 있어서, 컴퓨터 시스템의 내부 구성의 일례를 설명하기 위한 블록도이다.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

최근 HCI에 대한 관심도가 높이지면서 HCI에 대한 연구와 함께, 사용자의 몸짓이나 음성을 이용하는 NUI/NUX에 대한 연구가 활발히 진행되고 있다. 본 실시예들은 NUI/NUX 기반의 인터페이스 기술에 관한 것으로, 더욱 상세하게는 NUI/NUX의 제스쳐 인식이나 음성 인식 등을 위한 트레이닝 과정을 줄이기 위해 사용자의 신체적 특징을 이용하여 가상 모니터라는 새로운 개념을 추가한 핸드 마우스 인터페이스를 제공할 수 있고, 이때 뇌파 집중 지표를 이용해 사용자의 불필요한 행동을 인식하여 핸드 마우스 기능의 정확성을 높일 수 있다.

먼저, 본 발명과 관련된 배경 연구에 대해 설명하기로 한다.

NUI (Natural User Interface)

UI(User Interface)는 사용자가 시스템 또는 프로그램에서 데이터 입력이나 동작을 제어하기 위한 명령어를 의미하고, 사용자와 컴퓨터, 프로그램 사이의 원활한 의사소통을 하는 것에 그 목적을 두고 있다. UI를 통해 보다 사용하기 쉽고, 편리한 의사소통을 하기 위해서 많은 컴퓨터 공학자들이 UI에 대한 연구를 활발히 진행하고 있다.

현재 가장 상용화되어 있는 GUI의 시대를 지나 사용자의 자연스러운 몸짓이나 음성 등을 이용하는 NUI의 시대로 접어들고 있다. NUI의 예로는, 광섬유, 마그네틱 센서, 자이로 센서들을 이용한 데이터 글로브나 모션 트랙커를 이용한 제스쳐 기반의 사용자 인터페이스가 있다. 또한, 의사소통을 하는 사람들 사이에서 가장 보편적이고 쉬운 수단인 음성을 통한 사용자 인터페이스도 있다. 음성을 이용한 사용자 인터페이스로는 iPhone의 Siri가 대표적인 예이다.

하지만, 제스쳐 기반이나 음성 기반 등의 사용자 인터페이스를 실현시키기 위해서는 제스쳐 인식이나 음성 인식과 같은 기술들이 선행되어야 한다. 제스쳐 인식이나 음성 인식의 기술을 실현하기 위해서는 특징점 추출, 정규화, 전처리, HMM(Hidden Markov Model)등과 같은 알고리즘을 통한 트레이닝의 단계를 거쳐야 한다. 이러한 과정은 매우 복잡하고 번거로울 뿐만 아니라, 구현하기 쉽지 않다. 또한 트레이닝에 많은 시간을 투자해야 한다는 단점이 있다.

핸드 마우스

핸드 마우스는 손으로 마우스를 제어하는 것을 의미한다. 손으로 시스템이나 소프트웨어를 제어하려는 시도는 오래 전부터 많은 시도가 있었다. 1993년에 데이터 글로브를 이용하여 프레젠테이션을 진행하는 연구가 진행되었다. 최근에는 카메라를 통해 손의 영역을 찾고 이를 3차원으로 재구성하여 마우스를 제어하는 시스템이 개발되기도 하였다. 그러나, 기존 연구들은 마우스의 움직임이 부자연스럽고 정확도가 낮아 사용자가 사용하기 다소 어려웠다는 단점이 있다.

뇌전도

뇌전도(Electroencephalogram, EEG)는 신경계에서 뇌신경 사이에 신호가 전달될 때 생기는 전기의 흐름을 의미하며, 뇌의 활동 상황을 측정하는 중요한 지표이다. 뇌파의 종류는 주파수와 진폭에 따라 감마(gamma)파, 베타(beta)파, 알파(alpha)파, 세타(theta)파, 델타(delta)파로 나뉘며, 각 주파수가 의미하는 바가 다르다. 취득된 뇌파의 주파수 분석을 통해 사용자의 상태를 파악할 수 있다. 예를 들어, 사용자로부터 취득한 뇌파에서 12~15Hz 사이의 SMR파와 15~20Hz 사이의 중간 베타파(Mid-β), 4~8Hz 사이의 세타파를 이용하면 집중도 지수를 얻을 수 있다. SMR파는 차분한 상태, 이완된 주의집중 상태를 나타낸다. 중간 베타파는 각성 상태를 의미하며, 세타파는 명상이나 깊게 이완될 때 주로 나타나는 뇌파이다. 뇌파 분석을 통한 집중도 지수는 다음 수학식 1과 같다.

EEG 측정은 침습형과 비침습형으로 나뉜다. 침습형은 두피를 뚫고 뇌 피질 혹은 뇌 안에서 직접 신호를 측정하는 방식으로, 신호의 질과 시간/공간 해상도가 뛰어나다는 장점이 있다. 하지만, 인체에 센서가 무해한지 고려해야 한다. 비침습형은 침습형에 비해 신호의 질은 떨어지지만 인체에 무해하고 가격이 저렴하다는 장점이 있다. 인체에 부담이 없고 높은 시간해상도를 갖는다는 이유로 통상의 경우, 비침습형으로 뇌파를 측정한다. 하지만 EEG는 개인마다 차이가 있고, 연령별로 다르기 때문에 이를 분석하는 것은 쉽지 않은 일이다. 또한, 사용자로부터 얻은 뇌파의 로우 데이터(raw data)에는 눈동자 움직임 등의 이유로 잡파가 혼재되어 나오게 된다. 원하는 뇌파 데이터로 가공하기 위해서는 잡파를 제거하는 전처리 과정이 필요하고, 상황에 따라 알맞은 데이터로 가공해야 한다. 예를 들어, 도 1을 참조하면 뇌-컴퓨터 인터페이스(Brain-Computer Interface, BCI) 연구에서는 측정된 EEG의 로우 데이터에서 잡파를 제거하는 전처리 과정(1), 특징 추출 과정(2), 트레이닝 과정(3) 등의 단계를 거쳐야 한다.

본 실시예에서는 사용자의 신체적 특징을 실시간으로 추출하여 뛰어난 직관성을 가진 핸드 마우스를 구현할 수 있다. 기존에는 사용자의 키와 어깨 너비를 실시간으로 추출하여 실제 모니터 상의 좌표로 변환시켜 사용하는 방법을 사용하였다. 하지만 사용자가 핸드 마우스의 기능을 이용하면 사용자의 어깨의 위치와 같은 특징점들이 미묘하게 변하게 되어 문제점이 발생하게 되었다. 이러한 문제는 결과적으로 실제 모니터 상의 좌표로 정확하게 변환되지 못하여 부자연스러운 마우스의 이동으로 이어졌고, 클릭이나 더블클릭, 드래그와 같은 기능을 이용할 때, 사용자의 의도대로 실행되지 않는 경우가 있었다.

본 발명에서는 모션 센싱 입력기기를 이용하여 사용자의 신체적 특징을 실시간으로 추출하고, 이를 통해 손으로 마우스를 제어하는 핸드 마우스 인터페이스를 제공한다. 이때, 모션 센싱 입력기기는 움직임이나 동작을 감지하기 위한 것으로, 일례로 Microsoft사의 키넥트 카메라를 이용할 수 있다.

본 발명에 따른 핸드 마우스 인터페이스 시스템은 아래와 같이 단계로 동작할 수 있다(도 2).

단계(210)에서 핸드 마우스 인터페이스 시스템은 사용자에 대해 모션 센싱 입력기기(예컨대, Kinect SDK(소프트웨어 개발 키트) 등)를 이용하여 RGB 이미지로 입력 받은 영상을 스켈레톤 데이터(skeleton data)로 구성한다.

단계(220)에서 핸드 마우스 인터페이스 시스템은 단계(210)에서 구성된 스켈레톤 이미지와 깊이 정보를 이용하여 사용자의 신체적 특징을 추출하고 이를 이용하여 가상 모니터를 생성한다.

단계(230)에서 핸드 마우스 인터페이스 시스템은 단계(220)에서 생성된 가상 모니터를 이용하여 실제 모니터 상의 좌표로 변환한다. 이때, 핸드 마우스 인터페이스 시스템은 사용자의 뇌파를 이용하여 사용자의 의도를 파악하고 마우스 기능의 정확도를 향상시킬 수 있다.

본 발명에 따른 핸드 마우스 인터페이스 시스템의 동작을 보다 상세히 설명하면 도 3에 도시한 바와 같다.

단계(210)에서 핸드 마우스 인터페이스 시스템은 RGB 이미지에 대해 모션 센싱 입력기기를 이용하여 RGB 이미지에 포함된 피사체가 사용자인지 여부를 확인한 후 사용자에 해당되는 경우 해당 RGB 이미지를 스켈레톤 이미지로 구성할 수 있다.

단계(220)에서 핸드 마우스 인터페이스 시스템은 스켈레톤 이미지에서 사용자의 신체적 특징을 추출한 후 추출된 특징 정보를 이용하여 실제 모니터에 대응되는 가상 모니터를 생성한다. 그리고, 핸드 마우스 인터페이스 시스템은 가상 모니터를 생성한 후 임계치 이내의 사용자의 움직임이 감지되는 경우 실제 모니터에 대한 마우스 기능으로 동작한다.

단계(230)에서 핸드 마우스 인터페이스 시스템은 마우스 기능으로 동작하는 경우 좌표 매핑 알고리즘을 통해 가상 모니터에 대한 사용자의 움직임을 실제 모니터 상의 좌표로 변환하여 변환된 좌표에 따라 실제 모니터에 대한 마우스의 이동을 구현할 수 있다. 일례로, 왼손과 오른손이 가상 모니터 공간에 있을 때 왼손은 마우스의 이동을 제어하고 오른손은 클릭의 기능을 제어할 수 있다. 이때, 핸드 마우스 인터페이스 시스템은 오른손의 움직임이 감지되는 경우(예컨대, 가상 모니터의 z축 방향에 대한 움직임이 감지되는 경우) 사용자의 현재 뇌파 집중 지수를 확인하고 확인된 뇌파 집중 지수가 오차 범위 이내에 있을 때 오른손의 움직임에 대해 클릭 이벤트를 발생함으로써 핸드 마우스의 기능을 수행할 수 있다. 본 발명에서는 뇌파 집중 지수를 핸드 마우스의 기능을 수행하기 위한 임계값으로 사용할 수 있다.

본 발명에 따른 핸드 마우스 인터페이스 시스템의 구체적인 기술 내용은 다음과 같다.

가상 모니터

본 발명에서는 핸드 마우스 기능의 정확성을 높이기 위해 '가상 모니터'라는 새로운 개념을 적용한다. 가상 모니터는 모션 센싱 입력기기와 사용자 사이의 빈 공간에 마우스를 제어하는 가상의 공간으로 정의할 수 있다.

마우스의 부자연스러운 움직임과 마우스 기능의 정확도가 다소 낮은 이유는 핸드 마우스를 제어하면서 변하는 사용자의 신체적 특징에 대한 미세한 변화를 실시간으로 추출하기 때문이다. 모션 센싱 입력기기를 통해 얻어지는 사용자의 신체적 특징은 미세한 변화에도 얻어지는 데이터 값이 변하기 때문에 모니터상의 좌표로 변환할 때 정확하게 변환하지 못하였다. 또한, 사용자가 더블 클릭을 할 경우 처음 손의 위치를 기준으로 움직인 거리와 시간 딜레이를 사용하여 인식하였기 때문에 정확히 인식하지 못하였다. 만약에 시간 딜레이가 0.3초일 때, 사용자가 더블 클릭을 하기 위해서 2번 클릭하는 과정을 0.3초 이내에 행하지 못하게 되면, 이러한 상황은 더블 클릭을 한 것이 아니라 클릭을 2번 한 것으로 간주하기 때문이다.

이러한 단점을 해결하기 위해 본 발명에서는 가상 모니터를 생성하고 사용한다. 가상 모니터를 사용함으로써 마우스를 제어할 수 있는 기준점이 생기고, 가상 공간의 절대 좌표에서 실제 모니터 상의 좌표로 정확하게 변환할 수 있게 된다. 좌표를 정확하게 변환하게 됨으로써 마우스의 움직임은 자연스러워진다. 또한, 가상 모니터를 터치스크린처럼 사용할 수 있기 때문에 마우스 기능의 정확도가 높아진다.

가상 모니터를 생성하기 위해서는 사용자의 신체적 특징을 사용해야 한다. 사람은 개개인마다 팔 길이, 키 등과 같은 신체적 특징이 모두 다르기 때문에 마우스를 제어할 수 있는 가상 모니터의 위치나 크기를 각각의 사용자에게 알맞은 크기와 위치로 생성해야 한다. 본 발명에 따른 인터페이스에서는 모션 센싱 입력기기를 이용하여 사용자의 특징을 실시간으로 추출한다. 모션 센싱 입력기기를 이용하여 사용자의 스켈레톤 데이터를 얻고 각 관절에 대한 정보를 이용한다. 도 4는 모션 센싱 입력기기를 이용하여 얻을 수 있는 관절 요소이고, 도 5의 표 1은 가상 모니터를 생성하기 위해 사용된 사용자의 신체적 특징과 각각의 기능을 나타낸다.

도 6은 사용자의 신체적 특징에 따른 가상 모니터의 크기를 도식적으로 표현한 것이다. 가상 모니터(601)의 크기와 위치를 지정하기 위해 사용자의 어깨 너비(α)와 얼굴 중심부터 척추까지의 거리(β)를 이용한다. 일례로, 사용자가 핸드 마우스를 제어할 때, 가상 모니터(601)의 크기가 사용자의 몸에 비해 너무 크거나 작지 않도록 어깨 너비의 2배(2α)로 설정하고, 사용자의 키에 비해 너무 높거나 낮지 않도록 얼굴과 척추 사이의 거리(β)로 설정한다. 상기한 방법으로 가상 모니터(601)의 크기를 정해주면, 신체적 특징이 다른 어떠한 사용자가 사용하더라도 자신에게 알맞은 크기의 가상 모니터(601)를 생성할 수 있다.

가상 모니터의 크기뿐만 아니라 사용자와 가상 모니터 사이의 거리도 중요하다. 사용자가 가상 모니터를 터치스크린처럼 사용하려면 사용자가 최대한 팔을 뻗었을 때, 닿는 거리 내에 있어야 한다. 따라서, 사용자의 팔 길이를 이용하여 사용자와 가상 모니터 사이의 거리를 설정한다. 하지만, 사용자의 팔 길이(γ) 전체를 사용할 경우, 사용자가 팔을 다 뻗지 않는다면 정확하게 인식이 되지 않게 된다. 따라서, 이러한 경우를 배제하고자 사용자의 팔 길이(γ)의 5/6를 사용하여 사용자와 가상 모니터 사이의 거리로 설정할 수 있다. 도 7은 사용자의 팔 길이(γ)를 특징으로 잡은 모습을 보여주고, 도 8은 가상 모니터(801)와 사용자, 실제 모니터(803)의 위치를 3차원 좌표축으로 표현한 그림이다.

핸드 마우스 기능

1996년에 발표된 'Toward the Use of Gesture in Traditional User Interfaces'에서 마우스를 놓는 순간부터 카메라가 손을 인식하여 가상으로 모니터에 메뉴가 생기고 메뉴를 손으로 선택하는 등 직관적인 UI에 대해 소개하였다. 그 이후, 다양한 새로운 형식의 UI들이 생겨났지만, 각각의 새로운 인터페이스들은 사용자들에게 각각의 이벤트들을 외우는데 많은 부담이 있다. 또한, 이러한 이벤트들이 전혀 직관적이지 않은 형태였다. 예를 들어, 손가락을 펴고 모은 상태는 마우스 이동, 손가락을 모두 펴면 마우스 왼쪽 버튼 클릭 등과 같이 아무 관련 없는 것들이고, 15가지 이상의 Gesture vocabulary를 갖는 인터페이스도 있다.

본 발명에 따른 핸드 마우스 인터페이스는 직관적인 UI를 위해서 현재 직관적으로 사용하는 마우스 포인터를 이용하는 것이 가장 직관적인 인터페이스가 될 것이라 생각하여 마우스 포인터와 손을 매핑하여 핸드 마우스를 구현한다.

사용자의 손으로 마우스를 제어하는 방법은 매우 간단하다. 왼손으로는 마우스의 움직임을 제어하고, 오른손을 마우스의 클릭 기능을 제어한다. 다시 말해, 본 발명에 따른 핸드 마우스 인터페이스 시스템에서는 가상 모니터의 x축과 y축 방향에 대한 움직임을 마우스의 이동 기능으로 제어하고 가상 모니터의 z축 방향에 대한 움직임을 마우스의 클릭 기능으로 제어할 수 있다. 도 9는 가상 모니터(901)에 대한 왼손의 움직임에 따라 실제 모니터(903) 상에서 마우스의 움직임을 표현한 그림이고, 도 10은 가상 모니터(1001)에 대해 오른손으로 클릭의 기능을 제어하는 것을 표현한다. 도 9에 도시한 바와 같이, 왼손을 가상 모니터(901)의 공간에서 움직이면 실제 모니터(903) 상에서도 사용자의 손이 움직인 방향으로 움직이게 된다. 반면, 도 10을 참조하면 오른손을 가상 모니터(1001)를 만지듯이 ①의 위치에서 ②의 위치로 움직이게 되면 클릭의 기능을 수행한다.

좌표 변환 알고리즘

가상 모니터 상에서 손의 움직임 따라 실제 모니터 상의 마우스 포인터를 이동시키기 위해서, 가상 모니터 상의 좌표를 실제 모니터 상의 좌표로 변환하는 작업이 필요하다. 정확한 좌표 변환은 마우스의 이동을 자연스럽게 하고, 정확도도 높일 수 있다. 좌표 변환 알고리즘을 위해 가상 모니터와 실제 모니터의 비율을 이용한다. 가상 모니터 상의 왼손 좌표

에 가상 모니터 크기(

)와 실제 모니터 크기(

)의 비율을 곱하면 실제 모니터 상의 좌표

로 변환된다. 도 11은 좌표 변환 알고리즘을 간략하게 보여주는 예시 도면이다.

가상 모니터와 실제 모니터의 비율(ratio)은 수학식 2와 같고, 실제 모니터 상의 좌표(

)는 수학식 3과 같다.

집중도 지수를 이용한 정확도 향상

본 발명에 따른 시스템에서는 핸드 마우스 기능의 정확성을 높이기 위해 뇌파를 이용한 집중도 지수를 사용할 수 있다. 사용자는 핸드 마우스를 사용하면서 마우스 포인터 움직임에 집중하게 된다. 이러한 사용자의 상태를 뇌파 분석을 통해 집중도를 파악하여 시스템에 적용할 수 있다.

뇌파 측정의 일례로는 각 채널 별로 초당 128Hz로 측정되며, 뇌파 측정위치는 국제 10-20 전극배치법을 기반으로 배치될 수 있다. 사전에 피험자의 마우스 제어 동영상을 시청하는 동안의 뇌파를 측정하여 핸드 마우스를 사용하는 상황에서 측정되는 뇌파의 임계값을 설정하고 오차 범위를 설정할 수 있다.

뇌파 분석을 통해 사용자의 집중 지수를 얻기 위해서는 취득된 뇌파의 로우 데이터를 주파수 별로 분류하게 된다. 이를 위해 고속 푸리에 변환(Fast Fourier Transform, FFT)을 사용할 수 있다. FFT는 시간 도메인(Time-domain)에서 주파수 도메인(Frequency-domain)으로 변환해서 각각의 합성신호를 분석하는 방법이다. FFT로 변환된 뇌파의 파형들은 지표를 적용하여 사용자의 상태를 분석하는데 사용되기도 한다. 본 발명에서는 뇌파 집중 지수를 임계값으로 사용한다. 다만, 사용자의 집중도가 항상 일정한 것이 아니기 때문에 오차 범위를 허용하여 사용자의 뇌파 집중 지수가 오차 범위 내에 있다면 핸드 마우스의 기능을 사용할 수 있도록 한다.

핸드 마우스 인터페이스의 전체적인 흐름

전체적으로 핸드 마우스 인터페이스를 사용하는 방법을 자세히 설명하고자 한다. 설명을 위해 가상 모니터 기반의 핸드마우스 인터페이스의 의사코드(Pseudocode)를 도 12로 나타낸다. 도 12의 의사코드를 살펴보면, 모션 센싱 입력기기 앞에 사용자를 인식하게 되면 가상 모니터를 생성한다(1줄). 가상 모니터가 생성되면 사용자의 움직임 여부를 확인한다(4~7줄). 기존에는 실시간으로 사용자의 특징을 추출하였는데, 미세한 움직임에도 사용자의 특징이 변하게 된다. 그 결과로 정확한 마우스의 기능을 하지 못하였는데, 이러한 단점을 보완하기 위해 사용자의 움직임을 추가로 확인한다. 사용자의 움직임을 확인하게 되면 사용자가 제자리에서 핸드 마우스를 사용할 때 미세한 움직임에는 가상 모니터가 움직이지 않기 때문에 보다 정확하게 핸드 마우스 인터페이스를 사용할 수 있다. 만약, 사용자의 움직임이 없다면 핸드 마우스의 기능을 이용할 수 있도록 해준다(8~26줄). 왼손과 오른손이 가상 모니터 공간에 있을 때, 왼손은 마우스의 이동을 제어하고, 오른손은 클릭의 기능을 제어한다. 여기서, 추가적으로 집중력 지수를 이용한다. 사용자가 마우스 포인터의 움직임에 집중하여 뇌파 집중 지수의 오차 범위 내에 있다면 핸드 마우스의 기능을 수행하도록 한다.

상기한 핸드 마우스 인터페이스 방법은 도 1 내지 도 12를 통해 설명한 시스템의 상세 내용을 바탕으로 보다 단축된 동작들 또는 추가의 동작들을 포함할 수 있다. 또한, 둘 이상의 동작이 조합될 수 있고, 동작들의 순서나 위치가 변경될 수 있다.

도 13은 본 발명의 일 실시예에 있어서, 컴퓨터 시스템의 내부 구성의 일례를 설명하기 위한 블록도이다. 컴퓨터 시스템(1300)은 적어도 하나의 프로세서(processor)(1310), 메모리(memory)(1320), 주변장치 인터페이스(peripheral interface)(1330), 입/출력 서브시스템(I/O subsystem)(1340), 전력 회로(1350) 및 통신 회로(1360)를 포함할 수 있다. 이때, 컴퓨터 시스템(1300)은 핸드 마우스 인터페이스 시스템에 해당될 수 있다.

메모리(1320)는, 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(1320)는 컴퓨터 시스템(1300)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그밖에 다양한 데이터를 포함할 수 있다. 이때, 프로세서(1310)나 주변장치 인터페이스(1330) 등의 다른 컴포넌트에서 메모리(1320)에 액세스하는 것은 프로세서(1310)에 의해 제어될 수 있다.

주변장치 인터페이스(1330)는 컴퓨터 시스템(1300)의 입력 및/또는 출력 주변장치를 프로세서(1310) 및 메모리(1320)에 결합시킬 수 있다. 프로세서(1310)는 메모리(1320)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨터 시스템(1300)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.

입/출력 서브시스템(1340)은 다양한 입/출력 주변장치들을 주변장치 인터페이스(1330)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템(1340)은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서 등의 주변장치를 주변장치 인터페이스(1330)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템(1340)을 거치지 않고 주변장치 인터페이스(1330)에 결합될 수도 있다.

전력 회로(1350)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(1350)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.

통신 회로(1360)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨터 시스템과 통신을 가능하게 할 수 있다. 또는 상술한 바와 같이 필요에 따라 통신 회로(1360)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨터 시스템과 통신을 가능하게 할 수도 있다.

이러한 도 13의 실시예는, 컴퓨터 시스템(1300)의 일례일 뿐이고, 컴퓨터 시스템(1300)은 도 13에 도시된 일부 컴포넌트가 생략되거나, 도 13에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨터 시스템은 도 13에 도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(1360)에 다양한 통신 방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨터 시스템(1300)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.

이와 같이, 본 발명의 실시예들에 따르면, 사용자의 신체적 특징과 뇌파를 사용하여 손으로 마우스를 제어하는 인터페이스를 구현할 수 있고, 가상 모니터 기반의 핸드 마우스 인터페이스를 통해 매우 직관적이고 사용하기 쉬우며 뇌파를 통해 사용자의 의도하지 않는 움직임을 제거하여 높은 정확성을 얻을 수 있다. 이러한 점으로 미루어 볼 때, 가상 모니터 기반의 인터페이스는 마우스에 국한되지 않고, 더 나아가 가상 모니터 위에 방향키를 설정하여 사용하는 등 추가적인 인터페이스의 구현 또한 가능하다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (29)

1. 컴퓨터로 구현되는 방법에 있어서,
   사용자에 대해 획득한 영상에서 상기 사용자의 신체적 특징 정보를 추출하는 단계;
   상기 신체적 특징 정보를 이용하여 실제 모니터에 대응되는 가상 모니터를 생성하는 단계; 및
   상기 가상 모니터에 대한 상기 사용자의 움직임에 따라 상기 실제 모니터에 대한 마우스 기능을 수행하는 단계
   를 포함하고,
   상기 사용자의 뇌파 데이터를 이용하여 상기 사용자의 집중도를 나타내는 집중도 지수를 획득하는 단계
   를 더 포함하고,
   상기 수행하는 단계는,
   상기 집중도 지수에 따라 상기 마우스 기능의 수행 여부를 결정하는 것
   을 특징으로 하는 컴퓨터로 구현되는 방법.
2. 제1항에 있어서,
   상기 추출하는 단계는,
   모션 센싱 입력기기를 이용하여 상기 신체적 특징 정보를 추출하는 것
   을 특징으로 하는 컴퓨터로 구현되는 방법.
3. 제1항에 있어서,
   상기 추출하는 단계는,
   모션 센싱 입력기기를 이용하여 상기 사용자의 골격과 관련된 스켈레톤 데이터(skeleton data)를 얻어 상기 스켈레톤 데이터에 따른 스켈레톤 이미지를 구성하는 단계; 및
   상기 스켈레톤 이미지와 깊이 정보를 이용하여 상기 신체적 특징 정보를 추출하는 단계
   를 포함하는 컴퓨터로 구현되는 방법.
4. 제1항에 있어서,
   상기 추출하는 단계는,
   상기 사용자의 팔 길이, 어깨 너비, 척추 위치, 머리 위치를 포함하는 특징 정보를 추출하는 것
   을 특징으로 하는 컴퓨터로 구현되는 방법.
5. 제1항에 있어서,
   상기 생성하는 단계는,
   상기 신체적 특징 정보를 이용하여 상기 가상 모니터의 크기와 위치를 설정하는 것
   을 특징으로 하는 컴퓨터로 구현되는 방법.
6. 제1항에 있어서,
   상기 추출하는 단계는,
   상기 사용자의 팔 길이, 어깨 너비, 척추 위치, 얼굴 위치를 포함하는 특징 정보를 추출하고,
   상기 생성하는 단계는,
   상기 팔 길이, 상기 어깨 너비, 상기 척추 위치, 상기 얼굴 위치를 이용하여 상기 가상 모니터의 크기와 위치를 설정하는 것
   을 특징으로 하는 컴퓨터로 구현되는 방법.
7. 제6항에 있어서,
   상기 생성하는 단계는,
   상기 어깨 너비를 이용하여 상기 가상 모니터의 가로 길이를 설정하고
   상기 척추 위치와 상기 얼굴 위치 사이의 거리를 이용하여 상기 가상 모니터의 세로 길이를 설정하고,
   상기 팔 길이를 이용하여 상기 사용자와 상기 가상 모니터 사이의 거리를 설정하는 것
   을 특징으로 하는 컴퓨터로 구현되는 방법.
8. 제1항에 있어서,
   상기 수행하는 단계는,
   상기 가상 모니터 상의 좌표를 실제 모니터 상의 좌표로 변환하는 것
   을 특징으로 하는 컴퓨터로 구현되는 방법.
9. 제8항에 있어서,
   상기 수행하는 단계는,
   상기 가상 모니터 상의 좌표에 상기 가상 모니터의 상기 실제 모니터의 크기 비율을 곱함으로써 상기 가상 모니터 상의 좌표를 실제 모니터 상의 좌표로 변환하는 것
   을 특징으로 하는 컴퓨터로 구현되는 방법.
10. 제1항에 있어서,
    상기 수행하는 단계는,
    상기 가상 모니터의 x축과 y축 방향에 대한 움직임을 마우스의 이동 기능으로 제어하고 상기 가상 모니터의 z축 방향에 대한 움직임을 마우스의 클릭 기능으로 제어하는 것
    을 특징으로 하는 컴퓨터로 구현되는 방법.
11. 삭제
12. 제1항에 있어서,
    상기 수행하는 단계는,
    상기 집중도 지수가 상기 사용자에 대해 사전에 설정된 집중도 지수의 오차 범위 내에 포함되는 경우 상기 마우스 기능을 수행하는 것
    을 특징으로 하는 컴퓨터로 구현되는 방법.
13. 제1항에 있어서,
    상기 획득하는 단계는,
    상기 뇌파 데이터에서 SMR(sensory motor rhythm)파와 중간 베타(mid-β)파 및 세타(θ)파를 이용하여 상기 집중도 지수를 계산하는 것
    을 특징으로 하는 컴퓨터로 구현되는 방법.
14. 컴퓨터로 구현되는 방법에 있어서,
    사용자에 대해 획득한 영상에서 상기 사용자의 신체적 특징 정보를 추출하는 단계;
    상기 신체적 특징 정보를 이용하여 실제 모니터에 대응되는 가상 모니터를 생성하는 단계; 및
    상기 가상 모니터에 대한 상기 사용자의 움직임에 따라 상기 실제 모니터에 대한 마우스 기능을 수행하는 단계
    를 포함하고,
    상기 수행하는 단계는,
    상기 사용자의 뇌파 데이터로부터 획득한 집중도 지수가 상기 사용자에 대해 사전에 설정된 집중도 지수의 오차 범위 내에 포함되는 경우 상기 마우스 기능을 수행하는 것
    을 특징으로 하는 컴퓨터로 구현되는 방법.
15. 청구항 15은(는) 설정등록료 납부시 포기되었습니다.

    컴퓨터 시스템이 마우스 기능을 제어하는 명령(instruction)을 포함하는 컴퓨터 판독가능 매체로서,
    상기 명령은,
    사용자에 대해 획득한 영상에서 상기 사용자의 신체적 특징 정보를 추출하는 단계;
    상기 신체적 특징 정보를 이용하여 실제 모니터에 대응되는 가상 모니터를 생성하는 단계; 및
    상기 가상 모니터에 대한 상기 사용자의 움직임에 따라 상기 실제 모니터에 대한 마우스 기능을 수행하는 단계
    를 포함하는 방법에 의하여 상기 컴퓨터 시스템을 제어하고,
    상기 명령은,
    상기 사용자의 뇌파 데이터를 이용하여 상기 사용자의 집중도를 나타내는 집중도 지수를 획득하는 단계
    를 더 포함하는 방법에 의하여 상기 컴퓨터 시스템을 제어하고,
    상기 수행하는 단계는,
    상기 집중도 지수에 따라 상기 마우스 기능의 수행 여부를 결정하는 것
    을 특징으로 하는, 컴퓨터 판독가능 저장 매체.
16. 청구항 16은(는) 설정등록료 납부시 포기되었습니다.

    컴퓨터 시스템이 마우스 기능을 제어하는 명령(instruction)을 포함하는 컴퓨터 판독가능 매체로서,
    상기 명령은,
    사용자에 대해 획득한 영상에서 상기 사용자의 신체적 특징 정보를 추출하는 단계;
    상기 신체적 특징 정보를 이용하여 실제 모니터에 대응되는 가상 모니터를 생성하는 단계; 및
    상기 가상 모니터에 대한 상기 사용자의 움직임에 따라 상기 실제 모니터에 대한 마우스 기능을 수행하는 단계
    를 포함하는 방법에 의하여 상기 컴퓨터 시스템을 제어하고,
    상기 수행하는 단계는,
    상기 사용자의 뇌파 데이터로부터 획득한 집중도 지수가 상기 사용자에 대해 사전에 설정된 집중도 지수의 오차 범위 내에 포함되는 경우 상기 마우스 기능을 수행하는 것
    을 특징으로 하는, 컴퓨터 판독가능 저장 매체.
17. 청구항 17은(는) 설정등록료 납부시 포기되었습니다.

    적어도 하나의 프로그램이 로딩된 메모리; 및
    적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로세서는, 상기 프로그램의 제어에 따라,
    사용자에 대해 획득한 영상에서 상기 사용자의 신체적 특징 정보를 추출하는 과정;
    상기 신체적 특징 정보를 이용하여 실제 모니터에 대응되는 가상 모니터를 생성하는 과정; 및
    상기 가상 모니터에 대한 상기 사용자의 움직임에 따라 상기 실제 모니터에 대한 마우스 기능을 수행하는 과정
    을 처리하고,
    상기 적어도 하나의 프로세서는, 상기 프로그램의 제어에 따라,
    상기 사용자의 뇌파 데이터를 이용하여 상기 사용자의 집중도를 나타내는 집중도 지수를 획득하는 과정
    을 더 처리하고,
    상기 수행하는 과정은,
    상기 집중도 지수에 따라 상기 마우스 기능의 수행 여부를 결정하는 것
    을 특징으로 하는 것을 특징으로 하는 시스템.
18. 청구항 18은(는) 설정등록료 납부시 포기되었습니다.

    제17항에 있어서,
    상기 추출하는 과정은,
    모션 센싱 입력기기를 이용하여 상기 신체적 특징 정보를 추출하는 것
    을 특징으로 하는 시스템.
19. 청구항 19은(는) 설정등록료 납부시 포기되었습니다.

    제17항에 있어서,
    상기 추출하는 과정은,
    모션 센싱 입력기기를 이용하여 상기 사용자의 골격과 관련된 스켈레톤 데이터(skeleton data)를 얻어 상기 스켈레톤 데이터에 따른 스켈레톤 이미지를 구성한 후, 상기 스켈레톤 이미지와 깊이 정보를 이용하여 상기 신체적 특징 정보를 추출하는 것
    을 특징으로 하는 시스템.
20. 청구항 20은(는) 설정등록료 납부시 포기되었습니다.

    제17항에 있어서,
    상기 추출하는 과정은,
    상기 사용자의 팔 길이, 어깨 너비, 척추 위치, 머리 위치를 포함하는 특징 정보를 추출하는 것
    을 특징으로 하는 시스템.
21. 청구항 21은(는) 설정등록료 납부시 포기되었습니다.

    제17항에 있어서,
    상기 생성하는 과정은,
    상기 신체적 특징 정보를 이용하여 상기 가상 모니터의 크기와 위치를 설정하는 것
    을 특징으로 하는 시스템.
22. 청구항 22은(는) 설정등록료 납부시 포기되었습니다.

    제17항에 있어서,
    상기 추출하는 과정은,
    상기 사용자의 팔 길이, 어깨 너비, 척추 위치, 얼굴 위치를 포함하는 특징 정보를 추출하고,
    상기 생성하는 과정은,
    상기 팔 길이, 상기 어깨 너비, 상기 척추 위치, 상기 얼굴 위치를 이용하여 상기 가상 모니터의 크기와 위치를 설정하는 것
    을 특징으로 하는 시스템.
23. 청구항 23은(는) 설정등록료 납부시 포기되었습니다.

    제22항에 있어서,
    상기 생성하는 과정은,
    상기 어깨 너비를 이용하여 상기 가상 모니터의 가로 길이를 설정하고
    상기 척추 위치와 상기 얼굴 위치 사이의 거리를 이용하여 상기 가상 모니터의 세로 길이를 설정하고,
    상기 팔 길이를 이용하여 상기 사용자와 상기 가상 모니터 사이의 거리를 설정하는 것
    을 특징으로 하는 시스템.
24. 청구항 24은(는) 설정등록료 납부시 포기되었습니다.

    제17항에 있어서,
    상기 수행하는 과정은,
    상기 가상 모니터 상의 좌표를 실제 모니터 상의 좌표로 변환하는 것
    을 특징으로 하는 시스템.
25. 청구항 25은(는) 설정등록료 납부시 포기되었습니다.

    제24항에 있어서,
    상기 수행하는 과정은,
    상기 가상 모니터 상의 좌표에 상기 가상 모니터의 상기 실제 모니터의 크기 비율을 곱함으로써 상기 가상 모니터 상의 좌표를 실제 모니터 상의 좌표로 변환하는 것
    을 특징으로 하는 시스템.
26. 청구항 26은(는) 설정등록료 납부시 포기되었습니다.

    제17항에 있어서,
    상기 수행하는 과정은,
    상기 가상 모니터의 x축과 y축 방향에 대한 움직임을 마우스의 이동 기능으로 제어하고 상기 가상 모니터의 z축 방향에 대한 움직임을 마우스의 클릭 기능으로 제어하는 것
    을 특징으로 하는 시스템.
27. 삭제
28. 청구항 28은(는) 설정등록료 납부시 포기되었습니다.

    제17항에 있어서,
    상기 수행하는 과정은,
    상기 집중도 지수가 상기 사용자에 대해 사전에 설정된 집중도 지수의 오차 범위 내에 포함되는 경우 상기 마우스 기능을 수행하는 것
    을 특징으로 하는 시스템.
29. 청구항 29은(는) 설정등록료 납부시 포기되었습니다.

    제17항에 있어서,
    상기 획득하는 과정은,
    상기 뇌파 데이터에서 SMR(sensory motor rhythm)파와 중간 베타(mid-β)파 및 세타(θ)파를 이용하여 상기 집중도 지수를 계산하는 것
    을 특징으로 하는 시스템.

Images