KR101341727B1 - 3ｄ ｇｕｉ 제어 장치 및 방법 - Google Patents

3ｄ ｇｕｉ 제어 장치 및 방법 Download PDF

Info

Publication number
KR101341727B1
KR101341727B1 KR1020110086536A KR20110086536A KR101341727B1 KR 101341727 B1 KR101341727 B1 KR 101341727B1 KR 1020110086536 A KR1020110086536 A KR 1020110086536A KR 20110086536 A KR20110086536 A KR 20110086536A KR 101341727 B1 KR101341727 B1 KR 101341727B1
Authority
KR
South Korea
Prior art keywords
headphone
terminal
gui
data
value
Prior art date
Application number
KR1020110086536A
Other languages
English (en)
Other versions
KR20130023623A (ko
Inventor
최근성
김성진
Original Assignee
주식회사 팬택
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 팬택 filed Critical 주식회사 팬택
Priority to KR1020110086536A priority Critical patent/KR101341727B1/ko
Priority to US13/594,023 priority patent/US20130055103A1/en
Publication of KR20130023623A publication Critical patent/KR20130023623A/ko
Application granted granted Critical
Publication of KR101341727B1 publication Critical patent/KR101341727B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons

Abstract

3D GUI 제어 장치 및 방법이 개시된다. 본 발명의 일실시예에 따른 3D GUI 제어 장치는, 단말기 및 헤드폰의 초기 위치를 설정하는 처리부; 상기 헤드폰으로부터 상기 헤드폰의 위치 정보를 포함하는 HID 프로파일 포맷(HID Profile Format)의 데이터를 수신하는 수신부; 상기 HID 프로파일 포맷의 데이터로부터 상기 헤드폰의 위치 정보를 추출하는 추출부; 및 상기 초기 위치 및 상기 헤드폰의 위치 정보에 기반하여, 상기 단말기의 3D GUI를 제어하는 제어부를 포함할 수 있다.

Description

3Ｄ ＧＵＩ 제어 장치 및 방법{Apparatus and Method for Controlling 3D GUI}
본 발명의 실시예들은 3D GUI 제어 장치 및 방법에 관한 것으로서, 보다 구체적으로는 단말기의 3D GUI를 제어하는 장치 및 방법에 관한 것이다.
최근 휴대폰, 스마트폰 등 개인이 휴대할 수 있는 모바일 디바이스의 발전과 함께, 모바일 디바이스를 제어하기 위한 사용자 인터페이스에 대한 개발도 활발하게 연구되고 있다. 모바일 디바이스의 하드웨어 성능이 우수한 경우라도, 사용자가 모바일 디바이스를 사용하기 위한 인터페이스가 열악한 경우, 제품의 경쟁력은 떨어질 수 밖에 없기 때문이다.
인터페이스에 대한 연구 활동의 하나로서, 3D GUI를 제공하는 인터페이스에 대한 연구가 이루어지고 있다. 종래의 3D GUI의 경우, 단말기 등의 앞면에 부착된 전면 카메라를 통해 사용자의 얼굴 위치를 트래킹(Tracking)하고, 얼굴의 위치에 따라 3D GUI를 변경/제어하는 헤드 트랙킹 기법이 활용되고 있다. 즉, 헤드 트랙킹 기법은 모바일 디바이스 전면에 위치한 카메라가 사용자 머리의 움직임을 직접 추적하면서 그 움직임에 따른 3D 입체 영상을 보여주는 기법이다. 머리를 상하좌우로 이동하게 되면 카메라와의 거리와 각도에 따라 각기 다른 형태의 영상이 실시간으로 노출되고, 사람의 눈이 그것을 3D 입체 영상으로 인식하게 된다.
또 다른 종래의 3D GUI로는, 적외선 센서를 이용하는 기법이 있다. 적외선 센서는 TV 본체에 장착되어 TV 리모콘의 신호를 잡는 센서와 유사하고, 가까운 위치의 특정 적외선 파장의 빛에 반응하게 된다. 사용자가 머리에 두 개의 적외선 램프를 부착하고 움직이면 이 두 개의 위치를 추적하고 계산해 출력장치에 결과를 대입하게 된다. 두 개의 램프를 사용하는 이유는 상하좌우 그리고 기울기까지의 3차원적 위치 계산을 위함이다. 그리고 나서 움직임에 대한 물리 엔진, 즉 가속도와 관성을 컴퓨터 소프트웨어로 처리해서 그 결과물을 디스플레이에서 보여준다. 이 과정을 통해 디스플레이에서 보이는 영상을 단지 고정된 하나의 원근법적 시점으로 보이는 것이 아니라 사용자가 움직이는 대로 그 시점이 변화해 마치 모니터라는 창문 너머 3차원의 풍경이 실제로 보이는 것처럼 만들 수 있다. 즉, 실제로는 3D 홀로그램을 구현하는 것은 아니고, 2차원 평면을 속여 3차원처럼 보이도록 하는 기술이다.
그러나 종래의 기술들은 i) 카메라를 사용하는 방법의 경우에는 거리가 멀어지면 움직임 인식이 어렵고 옆에서 다른 사람의 얼굴이 끼어들게 되면 카메라가 사용자의 얼굴 추적이 힘들고, ii) 적외선 인식 방법의 경우에는 수신측에 별도의 적외선 수신장치가 필요하다.
본 발명의 일실시예에 따른 3D GUI 제어 장치는, 단말기 및 헤드폰의 초기 위치를 설정하는 처리부; 상기 헤드폰으로부터 상기 헤드폰의 위치 정보를 포함하는 HID 프로파일 포맷(HID Profile Format)의 데이터를 수신하는 수신부; 상기 HID 프로파일 포맷의 데이터로부터 상기 헤드폰의 위치 정보를 추출하는 추출부; 및 상기 초기 위치 및 상기 헤드폰의 위치 정보에 기반하여, 상기 단말기의 3D GUI를 제어하는 제어부를 포함할 수 있다.
본 발명의 일측에 따르면, 상기 헤드폰은 가속도 센서; 및 지자기 센서를 포함하고, 상기 헤드폰의 위치 정보는 상기 가속도 센서를 통하여 측정된 상기 헤드폰의 가속도 좌표; 및 상기 지자기 센서를 통하여 측정된 상기 헤드폰의 지자기 좌표를 포함할 수 있다.
본 발명의 일측에 따르면, 상기 단말기는 가속도 센서; 및 지자기 센서를 포함하고, 상기 수신부는 상기 단말기로부터 상기 가속도 센서를 통하여 측정된 상기 단말기의 가속도 좌표 및 상기 지자기 센서를 통하여 측정된 상기 단말기의 지자기 좌표를 수신하며, 상기 제어부는 상기 헤드폰의 초기 위치, 상기 헤드폰의 위치 정보, 상기 단말기의 초기 위치, 상기 단말기의 가속도 좌표 및 상기 단말기의 지자기 좌표에 기반하여, 상기 단말기의 3D GUI를 제어할 수 있다.
본 발명의 일측에 따르면, 상기 제어부는 상기 헤드폰의 초기 위치 및 상기 헤드폰의 위치 정보에 기반하여 상기 헤드폰의 위치 변화값을 연산하고, 상기 단말기의 초기 위치, 상기 단말기의 가속도 좌표 및 상기 단말기의 지자기 좌표에 기반하여 상기 단말기의 위치 변화값을 연산하며, 상기 헤드폰의 위치 변화값 및 상기 단말기의 위치 변화값에 기반하여 상기 단말기의 사용자의 얼굴의 위치를 산출하고, 상기 얼굴의 위치에 기반하여 상기 3D GUI를 제어할 수 있다.
본 발명의 일측에 따르면, 상기 HID 프로파일 포맷의 데이터는 마우스 버튼 값에 대응하는 데이터 필드(Dara Field)에 상기 헤드폰의 위치 정보 중 Z 좌표의 값을 포함할 수 있다.
본 발명의 일측에 따르면, 상기 HID 프로파일 포맷의 데이터는 휠 버튼 값에 대응하는 데이터 필드에 상기 헤드폰의 위치 정보의 좌표계 형식을 나타내는 값을 포함할 수 있다.
본 발명의 일실시예에 따른 3D GUI 제어 방법은 단말기 및 헤드폰의 초기 위치를 설정하는 단계; 상기 헤드폰으로부터 상기 헤드폰의 위치 정보를 포함하는 HID 프로파일 포맷(HID Profile Format)의 데이터를 수신하는 단계; 상기 HID 프로파일 포맷의 데이터로부터 상기 헤드폰의 위치 정보를 추출하는 단계; 및 상기 초기 위치 및 상기 헤드폰의 위치 정보에 기반하여, 상기 단말기의 3D GUI를 제어하는 단계를 포함할 수 있다.
일반적인 동영상 화면은 정면에서 바라보는 방향의 영상만을 시청자에게 제공하지만, 본 발명의 실시예들에 따르면, 사용자의 움직임에 따라 정면 영상이 아닌 측면, 상하면을 제공할 수 있어 보다 역동적인 동영상 구현이 가능하다.
또한, 최근 시판되고 있는 3DTV 의 경우는 3D Display 및 3D 안경과 같은 비용 측면에서 무리가 되는 하드웨어 구현사항이 요구되지만, 본 발명의 실시예에 따르면, 저렴한 비용 및 간편한 구현이 가능한 3D 영상을 제공할 수 있다.
또한, 게임 상에서 한 화면에 표시되지 않는 다른 화면을 보기 위해서는 화면을 터치 드래그 해서 옮기는 경우가 일반적이다. 하지만 본 발명의 실시예에 따르면, 사용자는 별도의 동작을 취하지 않은 채 단순히 얼굴만을 움직임으로써 한 화면에 표시되지 않는 다른 화면을 나타내도록 휴대폰에 정보를 전달할 수가 있다. 따라서, 게임을 플레이할 때 현재 화면에 표시되지 않은 화면을 보기 위해 고개를 반대 방향으로 옮겨서 그 부분을 화면에 표시할 수 있을 뿐만 아니라, 상대방이 쏜 총알 등을 피하기 위하여 실제로 고개를 옆으로 옮기는 등의 게임 환경을 제공할 수 있어 더 역동적인 게임을 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 헤드셋 및 단말기를 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 3D GUI 제어 장치의 구성을 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따른 가속도 센서 및 지자기 센서를 포함하는 헤드폰 및 단말기를 나타내는 도면이다.
도 4는 본 발명의 일실시예에 따른 HID 프로파일 포맷의 데이터를 나타내는 도면이다.
도 5는 본 발명의 일실시예에 따른 3D GUI 제어 방법을 나타내는 흐름도이다.
이하에서, 본 발명에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 헤드셋 및 단말기를 나타내는 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 단말기(120)는 3D GUI(3D Graphic User Interface)(121)를 제공할 수 있다. 이 때, 단말기(120)는 사용자의 얼굴의 위치를 산출하고, 산출된 사용자의 얼굴의 위치를 고려하여 3D GUI(121)를 변경하여 표시할 수 있다.
일실시예에 따른 단말기(120)는 사용자의 얼굴의 위치를 산출하기 위하여, 사용자의 헤드폰(Headphone)(110)의 위치를 산출할 수 있다. 즉, 단말기(120)는 산출되는 헤드폰(110)의 위치를 사용자의 얼굴의 위치로 판단할 수 있다.
단말기(120)는 헤드폰(110)의 위치가 변경되어 사용자의 얼굴의 위치가 변경되는 것으로 판단되는 경우, 사용자의 얼굴 위치의 변화에 따른 시선의 변화를 고려하여 3D GUI(121)를 변경/제어할 수 있다.
상술한 단말기(120)가 3D GUI(121)를 제어하는 동작은 단말기(120)에 모듈(Module)의 형태로 삽입되는 3D GUI 제어 장치에 의해서 수행될 수 있다. 이하, 도 2를 참조하여, 단말기(120)의 3D GUI(121)를 제어하는 3D GUI 제어 장치의 세부 구성에 대하여 상세히 설명한다.
도 2는 본 발명의 일실시예에 따른 3D GUI 제어 장치의 구성을 나타내는 도면이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 3D GUI 제어 장치(200)는 처리부(201), 수신부(202), 추출부(203) 및 제어부(204)를 포함할 수 있다.
처리부(201)는 단말기(220) 및 헤드폰(210)의 초기 위치를 설정할 수 있다. 실시예에 따라서는, 사용자가 단말기(220)의 3D GUI 기능을 사용 설정(Enable)하면, 처리부(201)는 단말기(220)에 초기 위치 설정을 위한 안내 문구를 표시할 수 있다. 예를 들어, 처리부(201)는 '휴대폰을 손에 쥐고 팔을 펼친 후 휴대폰 정면을 바라보세요. 휴대폰과 얼굴의 거리가 30cm 정도가 되는 상태에서 5초간 그 상태를 유지합니다' 등의 안내 문구를 단말기(220)에 표시할 수 있다. 안내 문구에 따라 사용자가 단말기(220) 및 헤드폰(210)의 위치를 고정한 채 일정 시간동안 위치를 유지하면, 처리부(201)는 단말기(220) 및 헤드폰(210)의 초기 위치를 검출하여 저장할 수 있다.
일실시예에 따른 처리부(201)는 기존에 설정하였던 초기 위치 정보를 이용할 수 있다. 따라서, 매번 초기 위치 정보를 설정할 필요 없이 사용자는 3D GUI 기능을 사용할 수 있다.
헤드폰(210)은 헤드폰(210)의 위치를 감지할 수 있는 센서(Sensor)(예를 들어, 가속도 센서, 지자기 센서 등)를 포함할 수 있다. 따라서, 헤드폰(210)은 내장된 센서를 이용하여 헤드폰(210)의 위치를 감지할 수 있고, 감지된 위치 정보를 단말기(220)로 전송할 수 있다. 이 때, 일실시예에 따른 헤드폰(210)은 헤드폰(210)의 위치 정보를 HID 프로파일 포맷(HID Profile Format)의 데이터로 변환하고, 변환된 데이터를 단말기(220)로 전송할 수 있다. 헤드폰(210)은 마우스 등의 입력 장치의 위치 좌표값을 전달하기 위한 종래의 HID 프로파일을 사용하여 헤드폰(210)의 위치 정보를 단말기(220)로 전송하기 때문에, 위치 정보를 전송하는 동작을 용이하게 구현할 수 있다.
수신부(202)는 헤드폰(210)으로부터 HID 프로파일 포맷의 데이터를 수신할 수 있다. 이 때, HID 프로파일 포맷의 데이터는 헤드폰(210)의 위치 정보를 포함할 수 있다. 실시예에 따라서는, 수신된 헤드폰(210)의 위치 정보는 헤드폰(210)의 초기 위치를 설정하기 위하여 사용될 수 있다.
추출부(203)는 HID 프로파일 포맷의 데이터로부터 헤드폰(210)의 위치 정보를 추출할 수 있다. 일실시예에 따른 HID 프로파일은 각 데이터 필드(Data Field)에 헤드폰(210)의 좌표값을 포함할 수 있다. 또한, 헤드폰(210)의 위치는 직각좌표계 값 또는 구면좌표계 값 등으로 표현될 수 있다.
제어부(204)는 초기 위치 및 헤드폰(210)의 위치 정보에 기반하여, 단말기(220)의 3D GUI를 제어할 수 있다. 일실시예에 따른 제어부(204)는 헤드폰(210)의 초기 위치와 수신된 헤드폰(210)의 위치 사이의 변화값을 연산하고, 연산된 변화값에 기반하여 3D GUI를 제어할 수 있다. 예를 들어, 수신된 헤드폰(210)의 위치와 초기 위치의 변화값이 양의 Y값으로 연산되는 경우, 제어부(204)는 사용자의 얼굴이 양의 Y축 방향(즉, 윗방향)으로 이동한 것으로 판단하고, 3D GUI를 사용자의 얼굴의 이동에 대응하여 변경/표시할 수 있다.
도 3은 본 발명의 일실시예에 따른 가속도 센서 및 지자기 센서를 포함하는 헤드폰 및 단말기를 나타내는 도면이다.
도 3을 참조하면, 본 발명의 일실시예에 따른 헤드폰(310)은 가속도 센서(311) 및 지자기 센서(312)를 포함할 수 있다.
가속도 센서(311)는 해당 방향에 따른 변위차를 인식하여 헤드폰(310)의 변위를 측정할 수 있다. 가속도 센서(311)는 중력의 법칙을 기본 개념으로 사용하는 센서일 수 있다. 예를 들어, 사람이 걸어가는 패턴을 인식하여 위치의 이동을 감지(Detection)하는 만보계는 가속도 센서(311)의 하나이다. 일실시예에 따른 가속도 센서(311)는 중력 가속도(Gravity Acceleration, 정적인 값으로 중력에 의해 발생하는 값) 또는 관성 가속도(Inertial Acceleration, 감지 대상의 움직임에 의해 발생하는 동적(dynamic)인 값)을 감지할 수 있다. 이 때, 가속도 센서(311)는 감지된 중력 가속도를 기준으로 하여, 움직임에 대한 관성 가속도로 헤드폰(310)의 움직임을 측정할 수 있다.
지자기 센서(312)는 헤드폰(310)의 방향을 감지할 수 있다. 지자기센서는 현재의 방향(동서남북)을 감지할 수 있는 센서일 수 있다. 예를 들어, 나침반은 지자기 센서(312)의 하나이다. 일실시예에 따른 지자기 센서(312)는 중력의 방향을 포함하여 상하의 위치까지 인식할 수 있는 3축 지자기 센서(312)를 포함할 수 있다.
헤드폰(310)은 가속도 센서(311)를 통하여 헤드폰(310)의 가속도 좌표를 측정하고, 지자기 센서(312)를 통하여 헤드폰(310)의 지자기 좌표를 측정할 수 있다. 또한, 헤드폰(310)은 측정된 가속도 좌표 및 지자기 좌표를 헤드폰(310)의 위치 정보로서 HID 프로파일 포맷의 데이터의 각 필드에 기록할 수 있다.
일실시예에 따른 단말기(320)는 가속도 센서(321) 및 지자기 센서(322)를 포함할 수 있다.
단말기(320)는 가속도 센서(321)를 통하여 단말기(320)의 가속도 좌표 및 단말기(320)의 지자기 좌표를 측정할 수 있다. 또한, 3D GUI 제어 장치의 수신부는 단말기(320)로부터 단말기(320)의 가속도 좌표 및 지자기 좌표를 수신할 수 있다. 이 때, 3D GUI 제어 장치의 제어부는 헤드폰(310)의 초기 위치, 헤드폰(310)의 위치 정보, 단말기(320)의 초기 위치, 단말기(320)의 가속도 좌표 및 단말기(320)의 지자기 좌표에 기반하여, 단말기(320)의 3D GUI를 제어할 수 있다.
자세히 설명하면, 제어부는 헤드폰(310)의 초기 위치 및 헤드폰(310)의 위치 정보에 기반하여 헤드폰(310)의 위치 변화값을 연산할 수 있다. 또한, 제어부는 단말기(320)의 초기 위치, 단말기(320)의 가속도 좌표 및 단말기(320)의 지자기 좌표에 기반하여 단말기(320)의 위치 변화값을 연산할 수 있다. 또한, 제어부는 헤드폰(310)의 위치 변화값 및 단말기(320)의 위치 변화값에 기반하여 단말기(320)의 사용자의 얼굴의 위치를 산출할 수 있다. 제어부는 산출된 얼굴의 위치에 기반하여 단말기(320)의 3D GUI를 제어할 수 있다. 일실시예에 따른 제어부는 얼굴의 위치에 대응하여 3D GUI의 디스플레이(Display) 상태를 변경할 수 있다. 예를 들어, 제어부는 사용자의 얼굴의 위치에 대응하여 3D GUI의 디스플레이 각도 및 디스플레이 방향 중 적어도 하나를 변경하여 단말기에 표시할 수 있다.
도 4는 본 발명의 일실시예에 따른 HID 프로파일 포맷의 데이터를 나타내는 도면이다.
도 4를 참조하면, 종래의 HID 프로파일(400)은 마우스(Mouse)의 위치를 나타내는 2차원 좌표값 중 X 좌표값에 대응하는 데이터 필드(401), Y 좌표값에 대응하는 데이터 필드(402), 마우스 버튼 값에 대응하는 데이터 필드(403) 및 휠(Wheel) 버튼 값에 대응하는 데이터 필드(404)를 포함한다.
본 발명의 일실시예에 따른 헤드폰은 헤드폰의 위치 정보를 HID 프로파일 포맷의 데이터로 변환하여 단말기로 전송할 수 있다. 실시예에 따라서는, 헤드폰은 X 좌표값에 대응하는 데이터 필드(401)에 헤드폰의 X 좌표값을 기록하고, Y 좌표값에 대응하는 데이터 필드(402)에 헤드폰의 Y 좌표값을 기록하며, 마우스 버튼 값에 대응하는 데이터 필드(403)에 헤드폰의 Z 좌표값을 기록할 수 있다.
본 발명의 일측에 따르면, 헤드폰의 위치 정보는 직각 좌표계 형식의 좌표값 또는 구면 좌표계 형식의 좌표값으로 표현될 수 있다. 따라서, HID 프로파일 포맷의 데이터로부터 추출된 헤드폰의 위치 정보가 어떠한 좌표계 형식의 값인지 단말기 측에서 식별할 수 있어야, 단말기가 3D GUI를 제어할 수 있다.
따라서, 일실시예에 따른 헤드폰은 종래의 HID 프로파일에서 휠 버튼 값에 대응하는 데이터 필드(404)에 헤드폰의 위치 정보의 좌표계 형식을 나타내는 값을 기록할 수 있다. 예를 들어, 휠 버튼 값에 대응하는 데이터 필드(404)에 '0'이 기록되어 있으면, 단말기는 HID 프로파일 포맷의 데이터에 직각 좌표계 형식의 좌표값이 기록 되었다고 판단할 수 있고, 휠 버튼 값에 대응하는 데이터 필드(404)에 '1'이 기록되어 있으면, 단말기는 HID 프로파일 포맷의 데이터에 구면 좌표계 형식의 좌표값이 기록 되었다고 판단할 수 있다.
예를 들어, 헤드폰으로부터 수신된 HID 프로파일 포맷의 데이터가 데이터(410)인 경우, 단말기는 휠 버튼 값에 대응하는 데이터 필드(414)에 기록되어 있는 값을 추출하고, 추출된 값이 0이기 때문에, 나머지 데이터 필드(411, 412, 413)에 기록되어 있는 좌표값이 직각 좌표계 값이라고 판단할 수 있다. 또한, 헤드폰으로부터 수신된 HID 프로파일 포맷의 데이터가 데이터(420)인 경우, 단말기는 휠 버튼 값에 대응하는 데이터 필드(424)에 기록되어 있는 값을 추출하고, 추출된 값이 0이기 때문에, 나머지 데이터 필드(421, 422, 423)에 기록되어 있는 좌표값이 구면 좌표계 값이라고 판단할 수 있다.
도 5는 본 발명의 일실시예에 따른 3D GUI 제어 방법을 나타내는 흐름도이다.
도 5를 참조하면, 본 발명의 일실시예에 따른 3D GUI 제어 방법은 단말기 및 헤드폰의 초기 위치를 설정할 수 있다(510). 실시예에 따라서는, 사용자가 단말기의 3D GUI 기능을 사용 설정(Enable)하면, 3D GUI 제어 방법은 단말기에 초기 위치 설정을 위한 안내 문구를 표시할 수 있다. 예를 들어, 3D GUI 제어 방법은 '휴대폰을 손에 쥐고 팔을 펼친 후 휴대폰 정면을 바라보세요. 휴대폰과 얼굴의 거리가 30cm 정도가 되는 상태에서 5초간 그 상태를 유지합니다' 등의 안내 문구를 단말기에 표시할 수 있다. 안내 문구에 따라 사용자가 단말기 및 헤드폰의 위치를 고정한 채 일정 시간동안 위치를 유지하면, 3D GUI 제어 방법은 단말기 및 헤드폰의 초기 위치를 검출하여 저장할 수 있다.
일실시예에 따른 3D GUI 제어 방법은 기존에 설정하였던 초기 위치 정보를 이용할 수 있다. 따라서, 매번 초기 위치 정보를 설정할 필요 없이 사용자는 3D GUI 기능을 사용할 수 있다.
헤드폰은 헤드폰의 위치를 감지할 수 있는 센서(Sensor)(예를 들어, 가속도 센서, 지자기 센서 등)를 포함할 수 있다. 따라서, 헤드폰은 내장된 센서를 이용하여 헤드폰의 위치를 감지할 수 있고, 감지된 위치 정보를 단말기로 전송할 수 있다. 이 때, 일실시예에 따른 헤드폰은 헤드폰의 위치 정보를 HID 프로파일 포맷(HID Profile Format)의 데이터로 변환하고, 변환된 데이터를 단말기로 전송할 수 있다. 헤드폰은 마우스 등의 입력 장치의 위치 좌표값을 전달하기 위한 종래의 HID 프로파일을 사용하여 헤드폰의 위치 정보를 단말기로 전송하기 때문에, 위치 정보를 전송하는 동작을 용이하게 구현할 수 있다.
3D GUI 제어 방법은 헤드폰으로부터 HID 프로파일 포맷의 데이터를 수신할 수 있다(520). 이 때, HID 프로파일 포맷의 데이터는 헤드폰의 위치 정보를 포함할 수 있다. 실시예에 따라서는, 수신된 헤드폰의 위치 정보는 헤드폰의 초기 위치를 설정하기 위하여 사용될 수 있다.
3D GUI 제어 방법은 HID 프로파일 포맷의 데이터로부터 헤드폰의 위치 정보를 추출할 수 있다(530). 일실시예에 따른 HID 프로파일은 각 데이터 필드(Data Field)에 헤드폰의 좌표값을 포함할 수 있다. 또한, 헤드폰의 위치는 직각좌표계 값 또는 구면좌표계 값 등으로 표현될 수 있다.
3D GUI 제어 방법은 초기 위치 및 헤드폰의 위치 정보에 기반하여, 단말기의 3D GUI를 제어할 수 있다(540). 일실시예에 따른 3D GUI 제어 방법은 헤드폰의 초기 위치와 수신된 헤드폰의 위치 사이의 변화값을 연산하고, 연산된 변화값에 기반하여 3D GUI를 제어할 수 있다. 예를 들어, 수신된 헤드폰의 위치와 초기 위치의 변화값이 양의 Y값으로 연산되는 경우, 3D GUI 제어 방법은 사용자의 얼굴이 양의 Y축 방향(즉, 윗방향)으로 이동한 것으로 판단하고, 3D GUI를 사용자의 얼굴의 이동에 대응하여 변경/표시할 수 있다.
본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
110: 헤드폰
120: 단말기
121: 3D GUI

Claims (12)

  1. 단말기 및 헤드폰의 초기 위치를 설정하는 처리부;
    상기 헤드폰으로부터 상기 헤드폰의 위치 정보를 포함하는 HID 프로파일 포맷(HID Profile Format)의 데이터를 수신하는 수신부;
    상기 HID 프로파일 포맷의 데이터로부터 상기 헤드폰의 위치 정보를 추출하는 추출부; 및
    상기 단말기 및 상기 헤드폰의 초기 위치와 상기 수신된 헤드폰의 위치 사이의 변화값 정보에 기반하여, 상기 단말기의 3D GUI를 제어하는 제어부
    를 포함하는 3D GUI 제어 장치.
  2. 제1항에 있어서,
    상기 헤드폰은
    가속도 센서; 및
    지자기 센서
    를 포함하고,
    상기 헤드폰의 위치 정보는
    상기 가속도 센서를 통하여 측정된 상기 헤드폰의 가속도 좌표; 및
    상기 지자기 센서를 통하여 측정된 상기 헤드폰의 지자기 좌표
    를 포함하는 3D GUI 제어 장치.
  3. 제1항에 있어서,
    상기 단말기는
    가속도 센서; 및
    지자기 센서
    를 포함하고,
    상기 수신부는
    상기 단말기로부터 상기 가속도 센서를 통하여 측정된 상기 단말기의 가속도 좌표 및 상기 지자기 센서를 통하여 측정된 상기 단말기의 지자기 좌표를 수신하며,
    상기 제어부는
    상기 헤드폰의 초기 위치, 상기 헤드폰의 위치 정보, 상기 단말기의 초기 위치, 상기 단말기의 가속도 좌표 및 상기 단말기의 지자기 좌표에 기반하여, 상기 단말기의 3D GUI를 제어하는 3D GUI 제어 장치.
  4. 제3항에 있어서,
    상기 제어부는
    상기 헤드폰의 초기 위치 및 상기 헤드폰의 위치 정보에 기반하여 상기 헤드폰의 위치 변화값을 연산하고,
    상기 단말기의 초기 위치, 상기 단말기의 가속도 좌표 및 상기 단말기의 지자기 좌표에 기반하여 상기 단말기의 위치 변화값을 연산하며,
    상기 헤드폰의 위치 변화값 및 상기 단말기의 위치 변화값에 기반하여 상기 단말기의 사용자의 얼굴의 위치를 산출하고,
    상기 얼굴의 위치에 기반하여 상기 3D GUI를 제어하는 3D GUI 제어 장치.
  5. 제4항에 있어서,
    상기 제어부는
    상기 얼굴의 위치에 대응하여 상기 3D GUI의 디스플레이 상태를 변경하는 3D GUI 제어 장치.
  6. 제1항에 있어서,
    상기 HID 프로파일 포맷의 데이터는
    마우스 버튼 값에 대응하는 데이터 필드(Dara Field)에 상기 헤드폰의 위치 정보 중 Z 좌표의 값을 포함하는 3D GUI 제어 장치.
  7. 제1항에 있어서,
    상기 HID 프로파일 포맷의 데이터는
    휠 버튼 값에 대응하는 데이터 필드에 상기 헤드폰의 위치 정보의 좌표계 형식을 나타내는 값을 포함하는 3D GUI 제어 장치.
  8. 단말기 및 헤드폰의 초기 위치를 설정하는 단계;
    상기 헤드폰으로부터 상기 헤드폰의 위치 정보를 포함하는 HID 프로파일 포맷(HID Profile Format)의 데이터를 수신하는 단계;
    상기 HID 프로파일 포맷의 데이터로부터 상기 헤드폰의 위치 정보를 추출하는 단계; 및
    상기 단말기 및 상기 헤드폰의 초기 위치와 상기 수신된 헤드폰의 위치 사이의 변화값 정보에 기반하여, 상기 단말기의 3D GUI를 제어하는 단계
    를 포함하는 3D GUI 제어 방법.
  9. 제8항에 있어서,
    상기 헤드폰은
    가속도 센서; 및
    지자기 센서
    를 포함하고,
    상기 헤드폰의 위치 정보는
    상기 가속도 센서를 통하여 측정된 상기 헤드폰의 가속도 좌표; 및
    상기 지자기 센서를 통하여 측정된 상기 헤드폰의 지자기 좌표
    를 포함하는 3D GUI 제어 방법.
  10. 제8항에 있어서,
    상기 HID 프로파일 포맷의 데이터는
    마우스 버튼 값에 대응하는 데이터 필드(Dara Field)에 상기 헤드폰의 위치 정보 중 Z 좌표의 값을 포함하는 3D GUI 제어 방법.
  11. 제8항에 있어서,
    상기 HID 프로파일 포맷의 데이터는
    휠 버튼 값에 대응하는 데이터 필드에 상기 헤드폰의 위치 정보의 좌표계 형식을 나타내는 값을 포함하는 3D GUI 제어 방법.
  12. 제8항 내지 제11항 중 어느 한 항의 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
KR1020110086536A 2011-08-29 2011-08-29 3ｄ ｇｕｉ 제어 장치 및 방법 KR101341727B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110086536A KR101341727B1 (ko) 2011-08-29 2011-08-29 3ｄ ｇｕｉ 제어 장치 및 방법
US13/594,023 US20130055103A1 (en) 2011-08-29 2012-08-24 Apparatus and method for controlling three-dimensional graphical user interface (3d gui)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110086536A KR101341727B1 (ko) 2011-08-29 2011-08-29 3ｄ ｇｕｉ 제어 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130023623A KR20130023623A (ko) 2013-03-08
KR101341727B1 true KR101341727B1 (ko) 2013-12-16

Family

ID=47745490

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110086536A KR101341727B1 (ko) 2011-08-29 2011-08-29 3ｄ ｇｕｉ 제어 장치 및 방법

Country Status (2)

Country Link
US (1) US20130055103A1 (ko)
KR (1) KR101341727B1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130057571A1 (en) * 2011-09-02 2013-03-07 Nokia Siemens Networks Oy Display Orientation Control
US20130339859A1 (en) 2012-06-15 2013-12-19 Muzik LLC Interactive networked headphones
USD745036S1 (en) * 2012-10-05 2015-12-08 Wikipad, Inc. Display screen or portion thereof with virtual multiple sided graphical user interface icon queue
CN103226436A (zh) * 2013-03-06 2013-07-31 广东欧珀移动通信有限公司 一种智能终端的人机交互方法及系统
US9538160B1 (en) * 2013-04-11 2017-01-03 Nextvr Inc. Immersive stereoscopic video acquisition, encoding and virtual reality playback methods and apparatus
US9426568B2 (en) * 2014-04-15 2016-08-23 Harman International Industries, LLC Apparatus and method for enhancing an audio output from a target source
CN107371081B (zh) 2016-02-03 2019-12-17 深圳市汇顶科技股份有限公司 一种耳机
US10955987B2 (en) * 2016-10-04 2021-03-23 Facebook, Inc. Three-dimensional user interface
CN109753146B (zh) * 2018-05-11 2020-07-03 北京字节跳动网络技术有限公司 一种移动终端启动应用的方法及移动终端
US10764406B1 (en) * 2019-03-01 2020-09-01 Bose Corporation Methods and systems for sending sensor data
CN110163264B (zh) * 2019-04-30 2021-06-29 杭州电子科技大学 一种基于机器学习的行走模式识别方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110178613A9 (en) * 2000-02-14 2011-07-21 Pierre Bonnat Method And System For Processing Signals For A MEMS Detector That Enables Control Of A Device Using Human Breath
WO2001058098A2 (en) * 2000-02-07 2001-08-09 Qualcomm Incorporated Position determination using bluetooth devices
US7148898B1 (en) * 2000-03-29 2006-12-12 Sourceprose Corporation System and method for synchronizing raster and vector map images
US20110213664A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US8907943B2 (en) * 2010-07-07 2014-12-09 Apple Inc. Sensor based display environment
US9122307B2 (en) * 2010-09-20 2015-09-01 Kopin Corporation Advanced remote control of host application using motion and voice commands

Also Published As

Publication number Publication date
US20130055103A1 (en) 2013-02-28
KR20130023623A (ko) 2013-03-08

Similar Documents

Publication Publication Date Title
KR101341727B1 (ko) 3ｄ ｇｕｉ 제어 장치 및 방법
US11796309B2 (en) Information processing apparatus, information processing method, and recording medium
US10499002B2 (en) Information processing apparatus and information processing method
US10137374B2 (en) Method for an augmented reality character to maintain and exhibit awareness of an observer
US20170371450A1 (en) Detecting tap-based user input on a mobile device based on motion sensor data
TWI722280B (zh) 用於多個自由度之控制器追蹤
EP2354893B1 (en) Reducing inertial-based motion estimation drift of a game input controller with an image-based motion estimation
EP2915140B1 (en) Fast initialization for monocular visual slam
US8310537B2 (en) Detecting ego-motion on a mobile device displaying three-dimensional content
US20170068326A1 (en) Imaging surround system for touch-free display control
US10037614B2 (en) Minimizing variations in camera height to estimate distance to objects
EP2708982B1 (en) Method for guiding the user of a controller of a multimedia apparatus to move within recognizable range of the multimedia apparatus, the multimedia apparatus, and target tracking apparatus thereof
US9303982B1 (en) Determining object depth information using image data
EP3640889A1 (en) In situ creation of planar natural feature targets
WO2017126172A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
CN104756154A (zh) 参考坐标系统确定
US11582409B2 (en) Visual-inertial tracking using rolling shutter cameras
KR20140055054A (ko) 3차원 디스플레이 장치 및 그의 사용자 인터페이스 방법
JP6467039B2 (ja) 情報処理装置
CN113557492A (zh) 利用二维摄像头来辅助对象控制的方法、系统和非暂时性计算机可读记录介质
Lee New interface design using accelerator sensor for smart phone
KR101487490B1 (ko) 웨어러블 단말의 영상 분석 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170529

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180529

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190530

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191202

Year of fee payment: 7