KR20220009196A - 사용자 인터페이스 송신 장치 및 수신 장치, 그리고 이를 이용한 시스템 - Google Patents

사용자 인터페이스 송신 장치 및 수신 장치, 그리고 이를 이용한 시스템 Download PDF

Info

Publication number
KR20220009196A
KR20220009196A KR1020200087608A KR20200087608A KR20220009196A KR 20220009196 A KR20220009196 A KR 20220009196A KR 1020200087608 A KR1020200087608 A KR 1020200087608A KR 20200087608 A KR20200087608 A KR 20200087608A KR 20220009196 A KR20220009196 A KR 20220009196A
Authority
KR
South Korea
Prior art keywords
coordinate data
dimensional coordinate
dimensional
user interface
data
Prior art date
Application number
KR1020200087608A
Other languages
English (en)
Inventor
오훈
양재군
Original Assignee
울산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 울산대학교 산학협력단 filed Critical 울산대학교 산학협력단
Priority to KR1020200087608A priority Critical patent/KR20220009196A/ko
Publication of KR20220009196A publication Critical patent/KR20220009196A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 3차원 공간상에서 사용자의 손 움직임을 센싱하여 획득되는 3차원 좌표 데이터를 2차원 좌표와 태그 정보로 변환하고, 2차원 좌표와 태그 정보를 기초하여 3차원 좌표 데이터로 변환하며, 2차원 좌표를 화면에 디스플레이하는 사용자 인터페이스 송신 장치, 수신 장치 및 이를 이용한 시스템에 관한 것이다. 본 발명에 의하면, 표준 HID(Human Interface Device) 드라이버를 이용하여 운영체제(OS)와 상관없이 송신 장치와 수신 장치를 연결하여 동작할 수 있고, 3차원 공간상의 사용자의 손 움직임에 기초하여 자연스럽고 정확하게 사용자의 움직임 좌표를 송수신할 수 있다.

Description

사용자 인터페이스 송신 장치 및 수신 장치, 그리고 이를 이용한 시스템{User interface transmission device and receiving device, and system using the same}
본 발명은 사용자 인터페이스 송신 장치 및 수신 장치, 그리고 이를 이용한 시스템에 관한 것이다. 구체적으로, 표준 HID(Human Interface Device) 드라이버를 이용하여 운영체제(OS)와 상관없이 송신 장치와 수신 장치를 연결하여 동작할 수 있고, 3차원 공간상의 사용자의 손 움직임에 기초하여 자연스럽고 정확하게 사용자의 움직임 좌표를 송수신하는 장치 및 이를 이용한 시스템에 관한 것이다.
인간 인터페이스 장치(Human interface device, HID)는 사용자와 컴퓨팅 장치 또는 각종 스마트 기기(스마트 폰, 태블릿, 단말 등)와의 인터페이스를 유/무선 통신을 통해 편리하게 처리하는 역할이다. 예를 들면, 사용자가 키보드, 마우스, 터치 스크린, 바코드 스캐너, 조이스틱 등의 입력 장치를 단말과 연결하여 해당 장치의 동작을 수행할 수 있다. 이때, 단말은 입력 장치의 규격에 따른 고유의 드라이버를 설치해야 한다.
예를 들어, 대부분의 마우스는 좌측 및 우측을 클릭할 수 있는 2개의 버튼, 스크롤 휠이 구비되어 있어 단말의 2차원 공간에서 커서(포인트)를 움직이는 역할이다. 또한, 키보드는 한글, 영문자, 숫자, 특수문자 등을 입력하는 입력장치이며 키보드와 연결된 화면을 통해 입력 문자를 확인할 수 있다. 이와 같은 입력장치들은 컴퓨터 및 운영체제와 연동되어야 해당 역할을 수행할 수 있다. 따라서, 입력장치의 기능을 수행하기 위해 고유의 드라이버를 설치해야 한다.
한편, 마우스나 키보드와 같은 간단한 입력 장치에는 '플러그 앤 플레이(plug & play)' 기능을 통해 드라이버를 직접 설치해줄 필요가 없으나 그래픽 카드 드라이버, 프린터 연결 드라이버 등 하드웨어의 구성이 복잡하거나 용량의 큰 경우는 따로 드라이버를 설치해야 작동하게 된다. 이는 하드웨어에 해당하는 입력장치가 운영체제 내에 적합한 드라이버인지 확인해야 한다.
따라서, 입력장치는 컴퓨터 및 운영체제를 고려하여 각각의 드라이버가 개발되어야 하므로, 개발비용이 많이 발생하게 된다. 또한, 새로 설치된 드라이버는 기존의 다른 장치와 충동을 일으켜 일부 기능을 사용할 수 없게 되거나 여러 가지 오류가 발생할 수 있다.
한국공개특허 10-2012-0037739호 (2012년04월20일 공개)
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 본 발명은 표준 HID(Human Interface Device) 드라이버를 이용하여 다양한 입력 장치를 동작시키는 사용자 인터페이스 송신 장치 및 수신 장치, 그리고 이를 이용한 시스템을 제공하는 것을 목적으로 한다.
본 발명의 다른 목적은 3차원 공간상에서 사용자의 손 움직임을 센싱하여 획득되는 3차원 좌표 데이터를 2차원 좌표와 태그 정보로 변환하고, 2차원 좌표와 태그 정보를 기초하여 3차원 좌표 데이터로 변환하며, 2차원 좌표를 화면에 디스플레이하는 사용자 인터페이스 송신 장치 및 수신 장치, 그리고 이를 이용한 시스템을 제공하는데 그 목적이 있다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
이와 같은 목적을 달성하기 위한 본 발명은, 3차원 공간상에서 사용자의 손 움직임을 센싱하여 각속도 신호 및 가속도 신호를 획득하는 센서부; 상기 각속도 신호 및 가속도 신호를 기설정된 시간 간격마다 획득하여 3차원 좌표 데이터로 연산하는 연산부; 상기 3차원 좌표 데이터에 평탄화지수 및 기울임지수의 보정치를 적용하여 3차원 보정 좌표 데이터를 생성하는 보정부; 상기 3차원 보정 좌표 데이터를 2차원 좌표 데이터와 태그 정보로 변환하는 제1변환부; 상기 2차원 좌표 데이터와 태그 정보를 사용자 인터페이스 수신 장치로 전송하는 제1 통신부;를 포함하는 사용자 인터페이스 송신 장치를 제공한다.
상기 센서부는, 상기 손 움직임에서 회전운동의 각도를 센싱하여 상기 각속도 신호를 획득하는 각속도 센서; 상기 손 움직임에서 기준축에서의 기울기를 센싱하여 상기 가속도 신호를 획득하는 가속도 센서;를 포함한다.
상기 보정부는, 상기 평탄화지수 및 기울임지수의 보정치를 저장하는 보정치 저장모듈;을 더 포함한다.
상기 보정부는, 상기 3차원 좌표 데이터에서 시작점에서 끝점까지의 각 위치에 대해 선형회귀를 추정하여 각 축에 대한 상기 평탄화지수를 산출하고, 상기 선형회귀와 대응되는 각 축에 대한 각도차를 나타내도록 축의 절편 값을 이용하여 상기 기울임지수를 산출하는 것을 특징으로 한다.
상기 보정부는, 상기 3차원 좌표 데이터를 상기 기설정된 시간 간격에 따라 보정하는 민감도 보정모듈; 상기 민감도보정부의 좌표 데이터에 상기 평탄화지수 및 상기 기울임지수를 적용하여 3차원 보정 좌표 데이터로 보정하는 움직임 보정모듈;를 포함한다.
상기 제1변환부는, 상기 3차원 보정 좌표 데이터를 정사영 기법으로 2차원 평면에 투영시켜 상기 2차원 좌표 데이터로 추출하고, 상기 3차원 보정 좌표 데이터에서 상기 투영시킨 평면과 수직이 되는 축에 해당하는 데이터를 기초하여 상기 태그 정보를 추출하는 것을 특징으로 한다.
상기 제1 통신부는, 표준 HID(Human Interface Device) 드라이버를 이용하여 상기 2차원 좌표 데이터와 상기 태그 정보를 전송하는 것을 특징으로 한다.
본 발명의 다른 특징에 따르면, 사용자 인터페이스 송신 장치로부터 HID 데이터를 수신하는 제2 통신부; 상기 수신된 HID 데이터를 2차원 좌표 데이터와 태그 정보로 분류하고 상기 2차원 좌표 데이터를 추출하는 추출부; 상기 2차원 좌표 데이터와 태그 정보를 3차원 좌표 보정 데이터로 변환하는 제2변환부;를 포함하는 사용자 인터페이스 수신 장치를 제공한다.
상기 제2 통신부는, 표준 HID(Human Interface Device) 드라이버를 이용하여 상기 2차원 좌표 데이터와 상기 태그 정보를 수신하는 것을 특징으로 한다.
상기 2차원 좌표 데이터를 화면에 표시하는 화면부;를 더 포함한다.
상기 제2 통신부는, 3차원 공간상에서 사용자의 손 움직임으로부터 획득된 신호를 3차원 좌표 데이터로 연산하고, 상기 3차원 좌표 데이터를 2차원 좌표 데이터와 태그 정보로 변환하고, 상기 2차원 좌표 데이터와 태그 정보를 표준 HID(Human Interface Device) 드라이버를 이용하여 전송하는 상기 사용자 인터페이스 송신 장치로부터 상기 HID 데이터를 수신하는 것을 특징으로 한다.
상기 제2 통신부는, 상기 사용자 인터페이스 송신 장치에 의해 상기 3차원 좌표 데이터가 각속도 신호 및 가속도신호를 통해 연산되고, 상기 3차원 좌표 데이터에 평탄화지수 및 기울임지수의 보정치를 적용하여 3차원 좌표 보정 데이터를 생성하고, 상기 3차원 좌표 보정 데이터를 2차원 좌표 데이터와 태그 정보로 변환되어 상기 HID 데이터를 수신하는 것을 특징으로 한다.
본 발명의 또 다른 특징에 따르면, 3차원 공간상에서 사용자의 손 움직임으로부터 획득된 신호를 3차원 좌표 데이터로 연산하고, 상기 3차원 좌표 데이터를 2차원 좌표 데이터와 태그 정보로 변환하고, 상기 2차원 좌표 데이터와 태그 정보를 표준 HID(Human Interface Device) 드라이버를 이용하여 전송하는 사용자 인터페이스 송신 장치; 및 상기 2차원 좌표 데이터와 태그 정보를 3차원 좌표 보정 데이터로 변환하는 사용자 인터페이스 수신 장치;를 포함하는 사용자 인터페이스 시스템을 제공한다.
상기 사용자 인터페이스 송신 장치는, 상기 3차원 좌표 데이터에 평탄화지수 및 기울임지수의 보정치를 적용하여 3차원 좌표 보정 데이터를 생성하고, 상기 3차원 좌표 보정 데이터를 2차원 좌표 데이터와 태그 정보로 변환하는 것을 특징으로 한다.
본 발명은 표준 HID(Human Interface Device) 드라이버를 이용하여 다양한 입력 장치를 구동시킬 수 있기 때문에 운영체제(OS)에 따른 별도의 드라이버 및 어플리케이션을 설치할 필요가 없으며, 이에 따라 추가적인 드라이버 및 어플리케이션의 개발비용을 감소시킬 수 있다.
본 발명은 3차원 공간상에서 사용자의 손 움직임에 따라 표준 HID 드라이버를 이용하여 3차원 좌표 데이터를 2차원 좌표와 태그 정보로 변환하거나, 2차원 좌표와 태그 정보를 3차원 좌표 데이터로 변환하여 출력함으로써, 손 움직임에 따라 정확한 위치 및 빠른 처리 속도를 제공하여 전체적인 성능이 향상될 수 있다. 즉, 사용자의 가용성 및 편의성을 향상시킬 수 있다.
아울러, 본 발명은 운영체제와 무관하게 적용할 수 있으며, 표준 HID 드라이버를 사용할 수 있는 모든 단말(예를 들어, 스마트 기기, 태블릿, PC 등)에 적용할 수 있으며, 이에 따라 수신장치의 좌표 데이터와 대응되도록 화면에 정확한 위치를 표시할 수 있다.
도 1은 본 발명에 일 실시에 따른 사용자 인터페이스 시스템을 도시한 구성도이다.
도 2는 본 발명에 일 실시에 따른 사용자 인터페이스 송신 장치를 설명하기 위한 블록 구성도이다.
도 3은 도 2에서 사용자 인터페이스 송신 동작 과정을 설명하기 위한 흐름도이다.
도 4는 본 발명에 일 실시에 따른 사용자 인터페이스 수신 장치의 설명하기 위한 블록 구성도이다.
도 5는 도 4에서 사용자 인터페이스 수신 동작 과정을 설명하기 위한 흐름도이다.
본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.
그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이와 같은 본 발명은 비록 한정된 실시 예와 도면에 의해 설명되나, 본 발명은 이것에 의해 한정되지 않으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술 사상과 아래에 기재될 청구범위의 균등 범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
이하에서는 도면에 도시한 실시 예에 기초하면서 본 발명에 대하여 더욱 상세하게 설명하기로 한다. 그러나, 본원이 이러한 실시 예와 도면에 제한되는 것은 아니다.
이하, 첨부된 도면을 참조하여 본 발명의 구성에 대하여 상세히 설명한다.
도 1은 사용자 인터페이스 송신 장치(100), 사용자 인터페이스 수신 장치(200)를 포함하는 시스템(1000)의 구성을 도시한 도면이다.
도 1에 도시된 바와 같이, 본 발명에 따른 사용자 인터페이스 송신 장치(100)는 마우스 형태로 되어 있으나, 사용자의 손 움직임을 감지하기 위해 손에 쥐는 형태 이외에도 손 또는 손목에 착용되는 형태로 구성될 수 있다. 예를 들어, 사용자 인터페이스 송신 장치(100)는 키보드, 조이스틱, 게임패드, 리모컨 등의 단순한 입력 수단뿐만 아니라 펜, 디지타이저(digitizer) 등에 해당될 수 있으며, 반드시 이에 한정되지는 않는다.
본 발명에 따른 사용자 인터페이스 수신 장치(200)는 사용자 인터페이스 송신 장치(100)의 데이터를 무선통신망(300) 등을 통해 2차원 좌표 데이터 또는 3차원 좌표 데이터로 변환할 수 있다. 그리고, 사용자 인터페이스 수신 장치(200)는 2차원 좌표 데이터를 화면에 표시할 수 있다.
여기서, 사용자 인터페이스 송신 장치(100) 및 사용자 인터페이스 수신 장치(200)는 고유의 드라이버 없이 표준 HID(Human Interface Device) 모듈을 통한 HID 드라이버를 이용하여 3차원 좌표를 2차원 좌표로 변환하거나 또는 역변환하여 다양한 입력 장치의 좌표 데이터를 표현할 수 있다. 또한, 사용자 인터페이스 송신 장치(100) 및 사용자 인터페이스 수신 장치(200)는 HID 드라이버를 이용하여 HID 데이터에 대해 양방향 통신할 수 있다.
표준 HID(Human Interface Device) 드라이버는 별도의 드라이버 및 어플리케이션을 설치할 필요가 없어 추가적인 드라이버 및 어플리케이션의 개발비용을 감소시킬 수 있다. 또한, 표준 HID(Human Interface Device) 드라이버를 지원하는 장치(하드웨어)가 다양하여 쉽게 연결할 수 있다는 장점이 있다. 그러나, 비표준(고유) 드라이버는 장치 고유의 특수한 기능을 수행할 수 있으나, 장치 별로 해당 드라이버를 따로 설치해야 동작을 수행할 수 있다. 즉, 비표준 드라이버는 컴퓨터 및 운영체제를 고려하여 각각의 드라이버가 필요하므로, 추가적인 개발 비용이 발생하고 드라이버의 인식에 따른 제한으로 효율적인 처리의 어려움이 있다.
따라서, 사용자 인터페이스 수신 장치(200)는 표준 HID 드라이버를 이용한 스마트 기기, 태블릿, PC 등 단말장치에 해당될 수 있으며, 반드시 이에 한정되지는 않는다.
본 발명에 따른 무선통신망(300)은 지그비(Zigbee), 블루투스(bluetooth), Wi-Fi(Wireless Fidelity), RFID 또는 초 광대역 통신(UWB, Ultra Wide Band) 등 무선망을 통해 데이터를 송수신하는 통신을 수행할 수 있다. 물론, 도면에는 도시하지 않았으나, USB 포트, 케이블 등과 연결되어 통신할 수 있다.
도 2에 도시된 바와 같이, 본 발명에 따른 사용자 인터페이스 송신 장치(100)는 센서부(110), 연산부(120), 보정부(130), 제1변환부(140), 제1통신부(150)을 포함한다.
구체적으로, 센서부(110)는 3차원 공간상에서 사용자의 손 움직임에 따라 회전운동의 각도를 센싱하여 상기 각속도 신호를 획득하는 각속도 센서(미도시)와 기준축에서의 기울기를 센싱하여 상기 가속도 신호를 획득하는 가속도 센서(미도시)를 포함할 수 있다. 센서부(110)의 각속도 센서 및 가속도 센서는 예시적인 실시예에 해당되나, 사용자 인터페이스의 좌표 데이터를 획득할 수 있는 광 센서, 관성 센서, 자력계 센서, 선형 가속계 센서, 또는 기타 센서 조합을 포함할 수 있다.
본 발명의 일 실시에 따른 센서부(110)는 사용자의 손의 움직임에 따라 각속도 센서는 사용자의 정면을 기준 축으로 각도를 발생하여 각속도 신호를 획득하게 되며, 3차원 공간상에서의 손의 위치를 추출할 수 있다. 또한, 가속도 센서는 (중력)가속도 신호를 획득하고, 가속도 신호에 따른 기울기를 적용하여 3차원 공간상에서 손의 위치를 정확하게 추출할 수 있다.
연산부(120)는 획득된 각속도 신호 및 가속도 신호를 기설정된 시간 간격마다 획득하여 3차원 좌표 데이터로 연산한다. 본 발명의 일 실시에 따른 연산부(120)는 각속도 신호 및 가속도 신호의 아날로그 출력을 디지털로 변환하는 아날로그-디지털 변환기(analog-digital converter: ADC)(미도시)와 ADC의 시간 간격을 설정하는 타이머(미도시)를 더 포함할 수 있다. 즉, 연산부(120)는 타이머로 설정된 시간 간격마다 획득된 각속도 신호 및 가속도 신호를 ADC의 디지털 신호로 3차원 좌표 데이터를 연산 처리한다.
타이머의 시간 간격은 센서부(110)에서 각속도 신호 및 가속도 신호를 읽어오는 주기를 설정하는 것으로, 사용자가 사전에 미리 설정할 수 있으며 3차원 각각의 축에 대해 일괄 또는 부분적으로 설정을 달리 할 수도 있다.
보정부(130)에는 기설정된 시간 간격에 따른 민감도 보정모듈(131), 보정치에 따른 움직임 보정모듈(132) 및 보정치 저장모듈(133)을 포함할 수 있다. 보정부(130)는 연산부(120)의 3차원 좌표 데이터를 3차원 보정 좌표 데이터로 보정하는 역할이다.
민감도 보정모듈(131)은 연산부(120)의 3차원 좌표 데이터를 기설정된 시간 간격에 따른 민감도에 기초하여 보정하고, 움직임 보정모듈(132)은 평탄화지수 및 기울임지수의 보정치를 적용하여 3차원 보정 좌표 데이터를 생성한다. 이때, 보정치 저장모듈(133)은 평탄화지수 및 기울임지수의 보정치의 데이터를 저장하게 된다.
여기서, 민감도는 기설정된 시간 간격과 반비례 관계로, 사용자가 사전에 설정한 시간 간격에 따라 상대적인 값으로 주어진다. 예를 들어, 기설정된 시간 간격을 10초 또는 5초로 설정할 경우, 민감도는
Figure pat00001
또는
Figure pat00002
으로 나타낼 수 있다.
민감도 보정모듈(131)이 민감도에 따라 보정하지 않을 경우, 특정 벡터만큼 좌표 데이터의 차이가 발생하게 되기 때문에 3차원 보정 좌표 데이터는 오차를 발생하게 된다.
움직임 보정모듈(132)은 수평 또는 수직 방향으로 이동시켜 추정된 선형회귀와 3차원 공간상의 절대좌표를 비교한 보정치를 적용하여 보정하는 것이다. 여기서, 보정치는 추정된 선형회귀의 함수가 직선형태에 가깝도록 하는 정보이다. 본 발명의 보정치는 평탄화지수 및 기울임지수에 해당되나, 이에 한정되는 것은 아니다.
보정치 저장모듈(133)은 움직임 보정모듈(132)의 보정치를 저장한다.
제1변환부(140)는 보정부(130)의 3차원 보정 좌표 데이터를 2차원 평면에 정사영 기법으로 투영시켜 2차원 좌표 데이터로 변환하고, 투영시킨 평면과 수직이 되는 축에 해당하는 데이터 값과 이동속도에 기초하여 태그 정보를 추출한다. 여기서, 이동속도는 손 움직임에 대하여
Figure pat00003
의 위치벡터(물리적 벡터량)에 해당된다. 즉, 제1변환부(140)는 3차원 보정 좌표 데이터를 2차원 좌표 데이터와 태그 정보로 변환하도록 한다.
제1 통신부(150)는 제1변환부(140)의 2차원 좌표 데이터와 태그 정보를 사용자 인터페이스 수신 장치(200) 등 또는 외부로 전송할 수 있다. 이때, 제1 통신부(150)는 표준 HID(Human Interface Device) 모듈을 통한 HID 드라이버로 변환하여 통신하는 것으로, 사용자 인터페이스 수신 장치(200) 또는 외부 단말의 운영체제 환경에 맞는 별도의 드라이버 및 어플리케이션의 설치 없이 동작시킬 수 있다.
본 발명에 따른 사용자 인터페이스 송신 장치(100)는 HID 드라이버를 사용하기 때문에 HID 데이터를 수신할 수 있는 다양한 단말과 통신할 수 있다.
도 3에는 사용자 인터페이스 송신 장치(100)의 동작 과정을 설명하기 위한 흐름도이다.
센서부(110)의 각속도 센서와 가속도 센서는 움직이는 손의 위치에 따라 X축, Y축, Z축 각각의 로우(RAW), 방위각, 롤(Roll), 피치(Pitch), 요(Yaw)에 대한 정보를 센싱하여 각속도 신호 및 가속도 신호를 획득하게 된다(S110). 상기 각속도 신호 및 가속도 신호는 필터회로의 하드웨어적인 방법 또는 필터링의 소프트웨어적인 방법을 통해 신호를 최적화할 수 있다.
연산부(120)에는 센서부(110)의 각속도 신호 및 가속도 신호를 일정 주기마다 획득하도록 사용자가 사전에 미리 시간을 설정할 수 있으며, 기설정된 시간 간격을 이용하여 민감도가 설정될 수 있다. 그리고, 상기 S110단계에서 기설정된 시간 간격마다 획득된 각속도 신호 및 가속도 신호를 연산하여 3차원 좌표 데이터(X, Y, Z)로 출력한다(S120). 예를 들어, 타이머의 기설정된 시간 간격은 민감도와 반비례 관계로, 시간 간격이 짧으면 민감도는 증가하는 것, 시간 간격이 길면 민감도는 감소하는 것으로, 민감도는 기설정된 시간 간격에 대한 상대적인 값에 해당된다.
먼저, 보정부(130)는 3차원 공간상에서 사용자의 손 움직임에 대하여 수평 또는 수직 방향으로 이동시킨 3차원 좌표 데이터(X, Y, Z)에서 시작점에서 끝점까지의 각 위치에 대해 선형회귀를 추정하고 상기 선형회귀의 함수가 직선 형태에 가깝도록 각 축에 대한 X축평탄화지수, Y축평탄화지수, Z축평탄화지수를 산출하고, 각 축의 절대좌표계와 해당 축의 선형회귀의 절편 값을 이용하여 X축기울임지수, Y축기울임지수, Z축기울임지수를 산출한다(S130). 상기 평탄화지수 및 기울임지수의 보정치는 보정치 저장모듈(133)에 저장하게 된다.
본 발명에 따른 보정부(130)는 최소제곱법(least square method)을 사용하여 선형회귀 함수를 추정하고 각 축의 오차의 제곱의 합을 최소화하도록 X축평탄화지수, Y축평탄화지수, Z축평탄화지수를 산출하고, 상기 절대좌표계의 X축, Y축, Z축 과 X선형회귀, Y선형회귀, Z선형회귀와의 각도차를 절편 값을 이용하여 X축기울임지수, Y축기울임지수, Z축기울임지수를 산출할 수 있다. 즉, 보정치는 추정된 선형회귀의 함수가 직선형태에 가깝도록 하는 X축평탄화지수, Y축평탄화지수, Z축평탄화지수, X축기울임지수, Y축기울임지수, Z축기울임지수로 구성될 수 있으며, 이는 설명하는 실시예에 한정되는 것이 아니다.
다음으로, 보정부(130)에서 민감도 보정모듈(131)은 연산부(120)의 3차원 좌표 데이터(X, Y, Z)를 기설정된 시간 간격에 따라 보정하고, 움직임 보정모듈(132)이 보정치를 적용하여 3차원 보정 좌표 데이터(x, y, z)로 생성한다.
본 발명의 일 실시에 따른 보정부(130)의 민감도 보정모듈(131)는 3차원 좌표 데이터(X, Y, Z))를 기설정된 시간 간격에 따른 민감도로 나눗셈 연산하고 벡터 스케일링하여 보정할 수 있다(S140). 예를 들어, 민감도 보정모듈(131)은 연산부(120)의 3차원 좌표 데이터(X, Y, Z)를 (
Figure pat00004
,
Figure pat00005
,
Figure pat00006
)으로 보정될 수 있다. 여기서, 민감도는 각 축에 대해 일괄적으로 동일하게 설정하여 연산할 수 있으나, 이는 각 축 마다 부분적으로 설정을 달리 할 수도 있다. 또한, 벡터 스케일링 하기 위해 1.1, 0.8의 스칼라-벡터 곱 연산할 수 있다.
본 발명의 일 실시에 따른 보정부(130)의 움직임 보정모듈(132)는 벡터 스케일링된 3차원 좌표 데이터에 평탄화지수 및 기울임지수의 보정치를 적용하여 3차원 보정 좌표 데이터(x, y, z)로 보정할 수 있다(S150). 움직임 보정모듈(132)은 S120단계에서 산출된 X축평탄화지수, Y축평탄화지수, Z축평탄화지수, X축기울임지수, Y축기울임지수, Z축기울임지수를 적용하여 3차원 보정 좌표 데이터(x, y, z)로 보정할 수 있다.
본 발명의 일 실시에 따른 제1변환부(140)는 3차원 보정 좌표 데이터(x, y, z)가 X-Y축의 2차원 평면으로 투영시켜 2차원 좌표 데이터(x', y') 및 상기 3차원 보정 좌표 데이터의 (z) 값을 추출하게 된다. 또한, 제1변환부(140)는 3차원 보정 좌표 데이터(x, y, z)가 Y-Z축의 2차원 평면으로 투영시켜 2차원 좌표 데이터(y', z') 및 상기 3차원 보정 좌표 데이터의 (x) 값을 추출할 수도 있다. 다음으로, 이동거리는 3차원 보정 좌표 데이터(x, y, z)에서 손의 움직임에 따라 시작점에서 끝점까지 경로의 길이를 측정하고, 이동시간은 사용자에 의해 기설정된 시간 또는 타이머를 통해 이동거리까지 걸린 시간을 측정할 수 있다. 즉, 제1변환부(140)는
Figure pat00007
를 추출할 수 있다(S160).
이와 같이, 제1변환부(140)는 3차원 보정 좌표 데이터(z) 값 및 이동속도를 통해 태그 정보를 출력할 수 있다(S170). 즉, 제1변환부(140)는 3차원 보정 좌표 데이터(x, y, z)를 2차원 좌표 데이터(x', y') 및 태그 정보로 변환한다(S180).
제1 통신부(150)는 2차원 좌표 데이터(x', y') 및 태그 정보를 표준 HID 드라이버에 맞춰 사용자 인터페이스 수신 장치(200)로 전송한다(S190). 구체적으로, 제1 통신부(150)는 인터페이스 수신 장치(200)의 제2통신부(210)로 2차원 좌표 데이터(x', y') 및 태그 정보를 포함하는 HID 데이터를 전송하는 것이다.
여기서, 제1 통신부(150)는 사용자 인터페이스 수신 장치(200) 및 외부 단말과 표준 HID 드라이버로 연결되어 있어, 해당 데이터를 실시간으로 통신하여 빠르게 동작을 수행할 수 있다.
도 4에 도시된 바와 같이, 본 발명에 따른 사용자 인터페이스 수신 장치(200)는 제2통신부(210), 추출부(220), 제2변환부(230) 및 화면부(240)를 포함한다.
제2통신부(210)는 표준 HID 드라이버의 입력 장치 또는 사용자 인터페이스 송신 장치(100)에서 HID 데이터를 수신한다. 여기서, HID 데이터는 2차원 좌표 데이터 및 2차원 좌표 데이터 외에 다른 축의 값을 포함하는 태그 정보를 포함하는 것으로, 3차원 보정 좌표 데이터를 추출하기 위함이다.
추출부(220)는 제2통신부(210)의 2차원 좌표 데이터와 태그 정보로 분류하고, 태그 정보를 무시하고 2차원 좌표 데이터(x', y') 또는 (y', z') 또는 (x', z')를 추출한다. 이때, 추출부(220)는 태그 정보를 제2변환부(230)로 전달할 수 있으나, 제2변환부(230)의 요청이 없을 경우 추출부(220)에서 태그 정보를 삭제할 수 있다.
제2변환부(230)는 추출부(220)에서 전달받은 2차원 좌표 데이터와 태그 정보를 3차원 보정 좌표 데이터로 변환한다. 제2변환부(230)는 태그 정보를 이용하여 2차원 좌표 데이터 외에 다른 축 정보와 이동속도를 추출하고, 2차원 좌표 데이터를 3차원 공간에 정사영 기법을 이용하여 역으로 복원시켜 3차원 보정 좌표 데이터로 추출할 수 있다.
화면부(240)는 추출부(220)의 2차원 좌표 데이터를 화면에 표시할 수 있다. 예를 들어, 사용자 인터페이스 송신 장치(100)가 3차원 마우스일 경우, 화면부(240)에는 3차원 마우스의 움직임 정보와 대응하도록 마우스 커서의 위치(2차원 좌표 데이터)를 표시하게 된다.
도 5에는 사용자 인터페이스 수신 장치(200)의 동작 과정을 설명하기 위한 흐름도이다.
본 발명의 일 실시에 따른 제2통신부(210)는 사용자 인터페이스 송신 장치(100)의 제1 통신부(150)에서 2차원 좌표 데이터(x', y') 및 태그 정보를 수신한다(S210). 여기서, HID 데이터는 2차원 좌표 데이터와 태그 정보는 무작위로 섞여있는 형태이다. 또한, 제2통신부(210)는 HID 드라이버로 연결되어 있는 HID 데이터를 수신할 수 있다.
추출부(220)는 제2통신부(210)의 HID 데이터를 2차원 좌표 데이터(x', y')와 태그 정보로 분류하고, 태그 정보를 이용하여 3차원 보정 좌표 데이터(x, y, z)의 (z) 값과 이동 속도를 추출한다(S220). 상기 (z) 값과 이동 속도를 이용하여 2차원 좌표 데이터(x', y')를 추출한다(S230). 또한, 추출부(220)는 수신한 HID 데이터가 (y', z')일 경우, 3차원 보정 좌표 데이터의 (x) 값과 이동 속도를 추출하고, (x', z')일 경우, 3차원 보정 좌표 데이터의 (y) 값과 이동 속도를 추출할 수 있다.
이때, 화면부(240)은 추출부(220)의 2차원 좌표 데이터(x', y')를 화면에 표시할 수 있다.
제2변환부(230)는 2차원 평면에 투영시킨 2차원 좌표 데이터(x', y')를 3차원 공간 좌표계로 복원시켜 3차원 보정 좌표 데이터(x, y, z)로 변환한다(S240). 추출부(220)는 상기 사용자 인터페이스 송신 장치(100)의 제1변환부(210)에서 3차원 좌표계를 2차원 좌표계로 변환시키는 연산 과정을 연변환하는 구성에 해당된다.
이러한 구성으로 인해, 본 발명에 따른 인터페이스 시스템(1000)은 사용자 인터페이스 송신 장치(100)와 사용자 인터페이스 수신 장치(200)이 HID 드라이버를 통해 3차원 좌표 보정 데이터(x, y, z)를 이용하여 양방향 통신하는 것으로, 해당 좌표에서 동작 정보를 신속하게 수행할 수 있다(S250). 즉, 사용자 인터페이스 수신 장치(200)의 화면부(240)는 좌표 위치에 대응되도록 제어할 수 있다. 또한, 운영체제 환경에 맞는 별도의 드라이버 및 어플리케이션의 설치 없이 사용자 인터페이스를 작동시킬 수 있어 호환성을 매우 높일 수 있다.
이상과 같이 본 발명의 도시된 실시 예를 참고하여 설명하고 있으나, 이는 예시적인 것들에 불과하며, 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자라면 본 발명의 요지 및 범위에 벗어나지 않으면서도 다양한 변형, 변경 및 균등한 타 실시 예들이 가능하다는 것을 명백하게 알 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적인 사상에 의해 정해져야 할 것이다.
100: 사용자 인터페이스 송신 장치
110: 센서부
120: 연산부
130: 보정부
131: 민감도 보정모듈
132: 움직임 보정모듈
133: 보정치 저장모듈
140: 제1변환부
150: 제1통신부
200: 사용자 인터페이스 수신 장치
210: 제2통신부
220: 추출부
230: 제2변환부
240: 화면부
300: 무선통신망
1000: 사용자 인터페이스 시스템

Claims (14)

  1. 3차원 공간상에서 사용자의 손 움직임을 센싱하여 각속도 신호 및 가속도 신호를 획득하는 센서부;
    상기 각속도 신호 및 가속도 신호를 기설정된 시간 간격마다 획득하여 3차원 좌표 데이터로 연산하는 연산부;
    상기 3차원 좌표 데이터에 평탄화지수 및 기울임지수의 보정치를 적용하여 3차원 보정 좌표 데이터를 생성하는 보정부;
    상기 3차원 보정 좌표 데이터를 2차원 좌표 데이터와 태그 정보로 변환하는 제1변환부;
    상기 2차원 좌표 데이터와 태그 정보를 사용자 인터페이스 수신 장치로 전송하는 제1 통신부;를 포함하는 사용자 인터페이스 송신 장치.
  2. 제 1 항에 있어서,
    상기 센서부는,
    상기 손 움직임에서 회전운동의 각도를 센싱하여 상기 각속도 신호를 획득하는 각속도 센서;
    상기 손 움직임에서 기준축에서의 기울기를 센싱하여 상기 가속도 신호를 획득하는 가속도 센서;를 포함하는 사용자 인터페이스 송신 장치.
  3. 제 1 항에 있어서,
    상기 보정부는,
    상기 평탄화지수 및 기울임지수의 보정치를 저장하는 보정치 저장모듈;을 더 포함하는 사용자 인터페이스 송신 장치.
  4. 제 1 항에 있어서,
    상기 보정부는,
    상기 3차원 좌표 데이터에서 시작점에서 끝점까지의 각 위치에 대해 선형회귀를 추정하여 각 축에 대한 상기 평탄화지수를 산출하고,
    상기 선형회귀와 대응되는 각 축에 대한 각도차를 나타내도록 축의 절편 값을 이용하여 상기 기울임지수를 산출하는 것을 특징으로 하는 사용자 인터페이스 송신 장치.
  5. 제 1 항에 있어서,
    상기 보정부는,
    상기 3차원 좌표 데이터를 상기 기설정된 시간 간격에 따라 보정하는 민감도 보정모듈;
    상기 민감도보정부의 좌표 데이터에 상기 평탄화지수 및 상기 기울임지수를 적용하여 3차원 보정 좌표 데이터로 보정하는 움직임 보정모듈;를 포함하는 사용자 인터페이스 송신 장치.
  6. 제 1 항에 있어서,
    상기 제1변환부는,
    상기 3차원 보정 좌표 데이터를 정사영 기법으로 2차원 평면에 투영시켜 상기 2차원 좌표 데이터로 추출하고,
    상기 3차원 보정 좌표 데이터에서 상기 투영시킨 평면과 수직이 되는 축에 해당하는 데이터를 기초하여 상기 태그 정보를 추출하는 것을 특징으로 하는 사용자 인터페이스 송신 장치.
  7. 제 1 항에 있어서,
    상기 제1 통신부는,
    표준 HID(Human Interface Device) 드라이버를 이용하여 상기 2차원 좌표 데이터와 상기 태그 정보를 전송하는 것을 특징으로 하는 사용자 인터페이스 송신 장치.
  8. 사용자 인터페이스 송신 장치로부터 HID 데이터를 수신하는 제2 통신부;
    상기 수신된 HID 데이터를 2차원 좌표 데이터와 태그 정보로 분류하고 상기 2차원 좌표 데이터를 추출하는 추출부;
    상기 2차원 좌표 데이터와 태그 정보를 3차원 좌표 보정 데이터로 변환하는 제2변환부;를 포함하는 사용자 인터페이스 수신 장치.
  9. 제 8 항에 있어서,
    상기 제2 통신부는,
    표준 HID(Human Interface Device) 드라이버를 이용하여 상기 2차원 좌표 데이터와 상기 태그 정보를 수신하는 것을 특징으로 하는 사용자 인터페이스 수신 장치.
  10. 제 8 항에 있어서,
    상기 2차원 좌표 데이터를 화면에 표시하는 화면부;를 더 포함하는 사용자 인터페이스 수신 장치.
  11. 제 8 항에 있어서,
    상기 제2 통신부는,
    3차원 공간상에서 사용자의 손 움직임으로부터 획득된 신호를 3차원 좌표 데이터로 연산하고, 상기 3차원 좌표 데이터를 2차원 좌표 데이터와 태그 정보로 변환하고, 상기 2차원 좌표 데이터와 태그 정보를 표준 HID(Human Interface Device) 드라이버를 이용하여 전송하는 상기 사용자 인터페이스 송신 장치로부터 상기 HID 데이터를 수신하는 것을 특징으로 하는 사용자 인터페이스 수신 장치.
  12. 제 11 항에 있어서,
    상기 제2 통신부는,
    상기 사용자 인터페이스 송신 장치에 의해 상기 3차원 좌표 데이터가 각속도 신호 및 가속도신호를 통해 연산되고, 상기 3차원 좌표 데이터에 평탄화지수 및 기울임지수의 보정치를 적용하여 3차원 좌표 보정 데이터를 생성하고, 상기 3차원 좌표 보정 데이터를 2차원 좌표 데이터와 태그 정보로 변환되어 상기 HID 데이터를 수신하는 것을 특징으로 하는 사용자 인터페이스 수신 장치.
  13. 3차원 공간상에서 사용자의 손 움직임으로부터 획득된 신호를 3차원 좌표 데이터로 연산하고, 상기 3차원 좌표 데이터를 2차원 좌표 데이터와 태그 정보로 변환하고, 상기 2차원 좌표 데이터와 태그 정보를 표준 HID(Human Interface Device) 드라이버를 이용하여 전송하는 사용자 인터페이스 송신 장치; 및
    상기 2차원 좌표 데이터와 태그 정보를 3차원 좌표 보정 데이터로 변환하는 사용자 인터페이스 수신 장치;를 포함하는 사용자 인터페이스 시스템.
  14. 제 13 항에 있어서,
    상기 사용자 인터페이스 송신 장치는,
    상기 3차원 좌표 데이터에 평탄화지수 및 기울임지수의 보정치를 적용하여 3차원 좌표 보정 데이터를 생성하고, 상기 3차원 좌표 보정 데이터를 2차원 좌표 데이터와 태그 정보로 변환하는 것을 특징으로 하는 사용자 인터페이스 시스템.

KR1020200087608A 2020-07-15 2020-07-15 사용자 인터페이스 송신 장치 및 수신 장치, 그리고 이를 이용한 시스템 KR20220009196A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200087608A KR20220009196A (ko) 2020-07-15 2020-07-15 사용자 인터페이스 송신 장치 및 수신 장치, 그리고 이를 이용한 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200087608A KR20220009196A (ko) 2020-07-15 2020-07-15 사용자 인터페이스 송신 장치 및 수신 장치, 그리고 이를 이용한 시스템

Publications (1)

Publication Number Publication Date
KR20220009196A true KR20220009196A (ko) 2022-01-24

Family

ID=80049924

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200087608A KR20220009196A (ko) 2020-07-15 2020-07-15 사용자 인터페이스 송신 장치 및 수신 장치, 그리고 이를 이용한 시스템

Country Status (1)

Country Link
KR (1) KR20220009196A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120037739A (ko) 2010-10-12 2012-04-20 오민애 손동작 기반 사용자 인터페이스 장치 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120037739A (ko) 2010-10-12 2012-04-20 오민애 손동작 기반 사용자 인터페이스 장치 및 그 방법

Similar Documents

Publication Publication Date Title
US20210165504A1 (en) Multi-function stylus with sensor controller
KR101101091B1 (ko) 긴 물체의 자세에서 유도한 자세데이터를 처리하는 방법과장치
US10948950B2 (en) Information processing device, table, display control method, program, portable terminal, and information processing system
KR100465241B1 (ko) 가상 필기 평면을 이용한 모션 인식 시스템 및 그 인식방법
US8957909B2 (en) System and method for compensating for drift in a display of a user interface state
WO2013103410A1 (en) Imaging surround systems for touch-free display control
US11262857B2 (en) Rendering device and rendering method
EP4050563A1 (en) Electronic device for providing indoor positioning and method therefor
CN114706489B (zh) 一种输入设备的虚拟方法、装置、设备和存储介质
JP2017219942A (ja) 接触検出装置、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置、プロジェクタシステム、接触検出方法、プログラム及び記憶媒体。
CN106569716B (zh) 单手操控方法及操控系统
CN106598422B (zh) 混合操控方法及操控系统和电子设备
JP2018109899A (ja) 情報処理装置、操作検出方法、及びコンピュータプログラム
KR102572675B1 (ko) 사용자 인터페이스를 적응적으로 구성하기 위한 장치 및 방법
US9013404B2 (en) Method and locating device for locating a pointing device
CN110491117B (zh) 遥控方法、装置、设备和介质
KR20220009196A (ko) 사용자 인터페이스 송신 장치 및 수신 장치, 그리고 이를 이용한 시스템
KR101014574B1 (ko) 펜 마우스 및 이의 구동 방법
CN105677061A (zh) 图像投影装置以及对话方式输入系统
JP2016119019A (ja) 情報処理装置、情報処理方法、プログラム
CN109859265A (zh) 一种测量方法及移动终端
US9256305B2 (en) Remote control apparatus and method of audio video navigation system
US20240036637A1 (en) Spatial positioning method of separate virtual system, separate virtual system
US20230260210A1 (en) Computer, method, and computer-readable medium
EP4047458A1 (en) Three-dimensional graphics generation system

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application