KR102005744B1 - 밀리미터 위치 센서를 구비한 헤드 마운트 디바이스 - Google Patents

밀리미터 위치 센서를 구비한 헤드 마운트 디바이스 Download PDF

Info

Publication number
KR102005744B1
KR102005744B1 KR1020170157962A KR20170157962A KR102005744B1 KR 102005744 B1 KR102005744 B1 KR 102005744B1 KR 1020170157962 A KR1020170157962 A KR 1020170157962A KR 20170157962 A KR20170157962 A KR 20170157962A KR 102005744 B1 KR102005744 B1 KR 102005744B1
Authority
KR
South Korea
Prior art keywords
signal
chirp
mount device
head mount
information
Prior art date
Application number
KR1020170157962A
Other languages
English (en)
Other versions
KR20190060119A (ko
Inventor
김경수
Original Assignee
(주)텔리언
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)텔리언 filed Critical (주)텔리언
Priority to KR1020170157962A priority Critical patent/KR102005744B1/ko
Publication of KR20190060119A publication Critical patent/KR20190060119A/ko
Application granted granted Critical
Publication of KR102005744B1 publication Critical patent/KR102005744B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35—Details of non-pulse systems
    • G01S7/352—Receivers
    • G01S7/356—Receivers involving particularities of FFT processing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G01S2007/356—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S2013/0236—Special technical features
    • G01S2013/0245—Radar with phased array antenna
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

이 발명은 헤드 마운트 디바이스에 관한 것으로, 눈에 밀착되어 영상을 표시하는 몸체와 상기 몸체와 결합 되어 사용자의 머리에 착용 되는 착용 부재를 포함하는 헤드 마운트 디바이스에 있어서, 상기 몸체의 전면, 좌측면, 우측면 및 상면에 각각 설치된 제1 내지 제4 위치 센서; 사용자의 뒤통수에 배치되는 착용 부재에 설치된 제5 위치 센서; 및 상기 몸체 내부에 설치되고, 서로 다른 주파수 대역의 밀리미터파 신호가 주파수 변조된 처프 신호를 상기 제1 내지 제5 위치 센서를 통해 방사시킨 후 방사된 처프 신호의 반사파를 수신하고, 수신된 처프 신호 반사파의 중간주파수 신호를 복구한 후 복구된 중간주파수 신호의 주파수 크기와 반사된 처프신호의 지연시간 및 위상정보를 이용하여 상기 헤드 마운트 디바이스의 위치정보를 검출하는 위치 검출수단을 포함한다.

Description

밀리미터 위치 센서를 구비한 헤드 마운트 디바이스{Head Mount Device having Millimeter Wave Position Sensor}
이 발명은 밀리미터 위치 센서를 구비한 헤드 마운트 디바이스에 관한 것으로, 특히 저비용 제작이 가능하고, 사용자 움직임의 정확한 변위 검출과 타임슬롯별 이동상황 추적이 가능한 밀리미터파 위치 센서를 구비한 헤드 마운트 디바이스에 관한 것이다.
일반적으로 헤드 마운트 디스플레이 기기(Head Mounted Device: HMD)는 내장된 액정 스크린과 얼굴의 움직임을 검출하는 각종 센서들을 통하여 착용자로 하여금 가상의 공간내에 있는 듯한 느낌을 줄 수 있도록 구성되어 있으며, 가상현실 시스템 등에서 사용자의 머리에 착용되어 사용되는 시각 출력장치의 일종으로 개발되어 점차 다양한 분야에 사용되고 있다.
이러한, HMD는 오락용 게임을 할 때 현실감 있는 가상공간을 제공할 뿐만 아니라, 작업자의 선택에 따라 다양한 가상환경을 임의로 설정할 수 있도록 구성하여, 건축 및 인테리어, 정밀제어조작 등과 같은 여러 산업분야에서 다양하게 적용되고 있다.
그러나, 상기와 같은 HMD는 이난의 감각과 현실 사이의 차이(또는 지연)에 의해 장시간 착용 시 멀미감 등의 부작용이 발생 되기도 한다.
한편, 영상의 시각적 자극과 가속도/평형 자극 등과의 불일치로 인해 생기는 멀미감을 없애기 위해서는 사용자의 움직임(또는 헤드 마운트 디바이스의 위치 변위)을 실시간 감지하여 지연 없이 VR(Virtual Reality) 콘텐츠 서버로 전송해야 하며, 이를 위해서는 다양한 사용자 움직임 감지 데이터와 다양한 VR 제어기기 간 동작/제어 데이터의 실시간 전달이 요구된다.
일반적으로 사용자의 머리 움직임을 추적하기 위해서는 사용자의 머리에 적외선 마커를 부착하거나, 적외선 마커가 부착된 헬멧, HMD 및 안경과 같은 장치를 사용자가 착용하고 있을 때 이를 카메라에서 인식한 후 3차원 좌표를 구하는 방법, 머리에 추가적인 부착 장치 없이 머리 주위에 적외선 패턴을 비추고 그 패턴 모양을 카메라에서 분석하여 3차원 좌표를 구하는 방법, 2개의 카메라를 이용하여 스테레오 이미지를 분석하여 3차원 좌표를 구하는 방법, 마그네틱 장치, 초음파 장치 등 다양한 장치를 부착한 후 이 값을 이용하여 머리를 추적하는 방법 등이 있다.
그러나, 이와 같은 종래의 머리 움직임 추적 기술들은 정확도를 높이기 위해 한국 공개특허공보 제10-2017-0088181호와 같이 가속도 센서, 중력 센서, 지자기 센서 등 다양한 고가의 장비들이 필요하고, 머리에 부착 장치 없이 패턴을 분석하는 방법과 같은 경우에는 사용자의 편의성은 좋으나, 부착 장치를 통한 움직임 추적 기술에 비해 상대적으로 정확도가 떨어지는 문제가 있다.
이에 따라, 저비용 제작이 가능하면서 사용자 움직임의 정확한 검출이 가능한 움직임 추적 기술이 요구되고 있다.
한국 공개특허공보 제10-2017-0088181호
따라서, 이 발명은 상술한 문제점을 해결하기 위한 것으로, 저비용 제작이 가능하고, 사용자 움직임의 정확한 변위 검출과 타임슬롯별 이동상황 추적이 가능한 밀리미터파 위치 센서를 구비한 헤드 마운트 디바이스를 제공하는 데 그 목적이 있다.
이 발명의 목적을 이루기 위해, 이 발명에 따르면, 눈에 밀착되어 영상을 표시하는 몸체와 상기 몸체와 결합 되어 사용자의 머리에 착용 되는 착용 부재를 포함하는 헤드 마운트 디바이스에 있어서, 상기 몸체의 전면, 좌측면, 우측면 및 상면에 각각 설치된 제1 내지 제4 위치 센서; 사용자의 뒤통수에 배치되는 착용 부재에 설치된 제5 위치 센서; 및 상기 몸체 내부에 설치되고, 서로 다른 주파수 대역의 밀리미터파 신호가 주파수 변조된 처프 신호를 상기 제1 내지 제5 위치 센서를 통해 방사시킨 후 방사된 처프 신호의 반사파를 수신하고, 수신된 처프 신호 반사파의 중간주파수 신호를 복구한 후 복구된 중간주파수 신호의 주파수 크기와 반사된 처프신호의 지연시간 및 위상정보를 이용하여 상기 헤드 마운트 디바이스의 위치정보를 검출하는 위치 검출수단을 포함한다.
이 발명에 따르면, 상기 제1 위치 센서 내지 제5 위치 센서를 서로 다른 주파수를 갖는 것을 특징으로 한다.
이 발명에 따르면, 상기 위치 검출 수단은, 밀리미터파 대역의 위상 배열 안테나; 발진 신호를 생성하는 발진기; 상기 발진 신호를 이용하여 처프 신호를 생성한 후 생성된 처프 신호를 밀리미터파로 체배하고, 체배된 처프 신호를 상기 위상 배열 안테나를 통해 공중으로 방사시키며, 상기 위상 배열 안테나를 통해 검출대상에서 반사된 처프 신호의 반사파가 수신될 때 수신된 처프 신호의 반사파와 최초 생성된 처프 신호를 결합하여 중간주파수 대역 신호를 생성하고, 생성된 중간주파수 대역 신호를 디지털 신호로 변환시킨 후 푸리에 변환을 수행하여 헤드 마운트 디바이스의 거리 정보, 속도 정보 및 각도 정보를 계산하여 헤드 마운트 디바이스의 정확한 위치 정보를 추출하는 레이더 제어부; 및 상기 레이더 제어부에 전원을 공급하는 전원부를 포함하는 것을 특징으로 한다.
이 발명에 따르면, 상기 레이더 제어부는, RF 신호의 처리를 수행하는 RF 신호처리부; 상기 RF 신호처리부의 제어에 따라 램프 신호를 생성하는 램프 신호 발생기; 상기 램프 신호 발생기에서 생성된 램프 신호와 발진 신호를 이용하여 처프 신호를 생성하는 주파수 합성기; 상기 주파수 합성기에서 합성된 처프 신호를 정수배 체배시키는 주파수 체배기; 상기 주파수 체배기에 의해 체배된 처프 신호를 위상 변조시키는 위상 변조기; 위상이 변조된 처프 신호를 증폭시키는 증폭기; 상기 위상 배열 안테나를 통해 수신된 처프 신호 반사파의 잡음을 억제시키고, 신호대잡음비를 개선시키기 위해 증폭하는 저잡음증폭기; 상기 저잡음증폭기를 통해 전달된 처프 신호 반사파와 최초 생성된 처프 신호를 결합하는 믹서; 상기 믹서에 의해 결합된 신호를 이용하여 중간주파수 대역 신호를 생성하는 중간주파수 대역 신호 생성기; 상기 중간주파수 대역 신호 생성기에서 생성된 중간주파수 대역 신호를 디지털 신호로 변환시키는 아날로그/디지털 변환기; 상기 아날로그/디지털 변환기에 의해 변환된 디지털 신호를 일시적으로 저장시키고, 빔 포밍 정보에 따라 신호를 복구 및 전처리시키는 ADC 버퍼; 및 상기 ADC 버퍼에 의해 복구된 디지털 신호를 푸리에 변환하여 헤드 마운트 디바이스의 거리 정보, 속도 정보 및 각도를 계산하는 디지털 신호처리부를 포함하는 것을 특징으로 한다.
이 발명에 따르면, 상기 디지털 신호처리부는 1차 푸리에 변환을 수행하여 헤드 마운트 디바이스의 거리 정보를 추출하고, 2차 푸리에 변환을 수행하여 헤드 마운트 디바이스의 속도 정보를 추출하며, 3차 푸리에 변환을 수행하여 헤드 마운트 디바이스의 각도를 추출하며, 상기 RF 신호처리부는 상기 디지털 신호처리부에서 추출된 헤드 마운트 디바이스의 거리 정보, 속도 정보 및 각도를 이용하여 헤드 마운트 디바이스의 3차원 좌표 값을 추출하고, 각 측정 포인트들의 측정값들을 이용하여 헤드 마운트 디바이스의 위치 정보를 추출하며, 각 측정 포인트들을 클러스터링 처리하여 3차원 공간에서의 변위 값을 추출하는 것을 특징으로 한다.
이 발명은 밀리미터파 대역의 주파수를 이용하기 때문에 밀리미터 단위의 작은 움직임 감지와 이동하는 물체의 거리와 속도 및 각도를 정확하게 측정할 수 있으므로 HMD를 착용한 사용자의 정확한 위치 검출과 타임슬롯별 이동상황 추적이 가능한 효과가 있다.
또한, 이 발명은 무선 방식으로 HMD의 위치를 검출하기 때문에 VR 서비스 영역의 확대가 가능하고, HMD의 움직임을 추적하기 위한 별도의 감시/추적 카메라 등의 장치가 필요하지 않고, 저가의 밀리미터파 위치 센서와 저가의 FR4 PCB를 이용한 위상 배열 안테나를 사용하기 때문에 HMD를 저렴한 가격에 제작할 수 있는 이점이 있다.
도 1은 이 발명의 실시 예에 따른 밀리미터 위치 센서를 구비한 헤드 마운트 디바이스를 나타내는 도면이다.
도 2는 도 1에 도시된 밀리미터 위치 센서를 나타내는 개략도이다.
도 3은 도 2에 도시된 레이더 제어부를 나타내는 도면이다.
도 4는 한정된 공간에서의 X, Y, Z축과 각 축에서의 회전 각도를 나타내는 도면이다.
도 5는 X축과 Y축 방향으로의 변위 발생 시 X축과 Y축의 변위를 측정하는 방법을 설명하기 위한 도면이다.
도 6은 Z축과 Y축 방향으로의 변위 발생 시 Z축과 Y축의 변위를 측정하는 방법을 설명하기 위한 도면이다.
도 7은 X축과 Z축 방향으로의 변위 발생 시 X축과 Z축의 변위를 측정하는 방법을 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 이 발명을 용이하게 실시할 수 있는 바람직한 실시 예를 상세히 설명한다. 다만, 이 발명의 바람직한 실시 예의 동작 원리를 상세하게 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
도 1은 이 발명의 실시 예에 따른 밀리미터 위치 센서를 구비한 헤드 마운트 디바이스를 나타내는 도면이고, 도 2는 도 1에 도시된 밀리미터 위치 센서를 나타내는 개략도이며, 도 3은 도 2에 도시된 레이더 제어부를 나타내는 도면이다.
도 1 내지 도 3을 참조하면, 이 발명의 실시 예에 따른 밀리미터 위치 센서를 구비한 헤드 마운트 디바이스는 영상을 표시하기 위한 몸체(10), 몸체(10)와 연결되도록 형성되어 사용자의 머리에 착용되는 착용 부재(20), 몸체(10)의 전면, 좌측면, 우측면 및 상면에 각각 설치된 제1 내지 제4 위치 센서(15), 착용 부재(20) 중 사용자의 머리 뒤통수 부분의 착용 부재(20)에 설치된 제5 위치 센서(16)를 포함한다.
몸체(10)는 착용한 사용자에게 영상을 표시하기 위한 구성으로, 사용자의 조작을 수신하기 위한 조작부와 영상을 표시하기 위한 디스플레이부 등을 포함한다.
이러한, 몸체(10)는 사용자가 헤드 마운트 디바이스를 착용할 때 편안한 착용감을 제공하기 위해 사용자의 얼굴과 접촉되는 몸체(10) 후면에 폼 쿠션 등이 마련될 수 있다.
착용 부재(20)는 하나 또는 복수 개의 스트립으로 구현될 수 있고, 사용자의 머리를 감싸는 메인 스트립과 사용자의 머리 윗부분을 감싸는 상단 스트립으로 구성될 수 있다.
위치 센서(12, 13,14, 15, 16)는 헤드 마운트 디바이스의 위치를 검출하기 위한 구성으로, 몸체(10)의 전면에 설치된 제1 위치 센서(12), 몸체(10)의 좌측면에 설치된 제2 위치 센서(13), 몸체(10)의 우측면에 설치된 제3 위치 센서(14), 몸체(10)의 상면에 설치된 제4 위치 센서(15) 및 사용자의 머리 뒤통수 부분에 배치되는 착용 부재(20)에 설치되는 제5 위치 센서(16)로 이루어진다.
이러한, 위치 센서(12, 13,14, 15, 16)들은 도 2와 같이 각각 밀리미터파 대역의 위상 배열 안테나(40), FMCW(Frequency Modulation Continuous Wave) 방식의 레이더 기능을 수행하는 레이더 제어부(50), 발진 신호를 생성하는 발진기(OSC)(60) 및 레이더 제어부(50)에 전원을 공급하는 전원부(70)로 구성된다.
이때, 위상 배열 안테나(40)는 저가의 FR4 PCB 위에 형성되고, 레이더 제어부(50)는 발진기(60)로부터 전송되는 발진 신호를 이용하여 처프 신호(Chirp Signal)를 생성한 후 생성된 처프 신호를 밀리미터파로 체배하고, 체배된 처프 신호를 위상 배열 안테나(40)를 통해 공중으로 방사시키며, 위상 배열 안테나(40)를 통해 검출대상에서 반사된 처프 신호의 반사파가 수신될 때 수신된 처프 신호의 반사파와 최초 생성된 처프 신호를 결합하여 중간주파수(Intermediate Frequency; IF) 대역 신호를 생성하고, 생성된 IF 대역 신호를 디지털 신호로 변환시킨 후 푸리에 변환(Fourier Transform)을 수행하여 헤드 마운트 디바이스의 거리 정보, 속도 정보 및 각도 정보를 계산하여 헤드 마운트 디바이스의 정확한 위치 정보를 추출한다.
이를 위해, 레이더 제어부(50)는 도 3과 같이 RF 신호의 처리를 수행하는 RF 신호처리부(Radio Frequency Signal Processor), RF 신호처리부의 제어에 따라 램프 신호를 생성하는 램프 신호 발생기(Ramp Generator), 램프 신호 발생기에서 생성된 램프 신호와 발진기(60)로부터 전송된 발진 신호를 이용하여 처프 신호(Chirp Signal)를 생성하는 주파수 합성기(Synth), 주파수 합성기에서 합성된 처프 신호를 정수배(예를 들면, 4배) 체배시키는 주파수 체배기(×4)), 주파수 체배기에 의해 체배된 처프 신호를 위상 변조시키는 위상 변조기(Phase), 위상이 변조된 처프 신호를 증폭시키는 증폭기(PA), 위상 배열 안테나(40)를 통해 수신된 처프 신호 반사파의 잡음을 억제시키고, 신호대잡음비(Signal-to-Noise Ratio; SNR)를 개선시키기 위해 증폭하는 저잡음증폭기(Low Noise Amplifier; LNA), 저잡음증폭기를 통해 전달된 처프 신호 반사파와 최초 생성된 처프 신호(바람직하게는, 주파수 체배기에 의해 체배된 처프 신호)를 결합하는 믹서(Mixer), 믹서에 의해 결합된 신호를 이용하여 IF 대역 신호를 생성하는 중간주파수 대역 신호 생성기(IF), 중간주파수 대역 신호 생성기에서 생성된 IF 신호를 디지털 신호로 변환시키는 아날로그/디지털 변환기(A/D), 아날로그/디지털 변환기에 의해 변환된 디지털 신호를 일시적으로 저장시키고, 빔 포밍(Beamforming) 정보에 따라 신호를 복구 및 전처리시키는 ADC 버퍼(Digital Front-End & ADC Buffer), ADC 버퍼에 의해 복구된 디지털 신호를 푸리에 변환하여 헤드 마운트 디바이스의 거리 정보, 속도 정보 및 각도를 계산하는 디지털 신호처리부(Digital Signal Processor; DSP)를 포함하도록 구성된다.
이때, 디지털 신호처리부는 1차 FFT(Fast Fourier Transform)를 수행하여 헤드 마운트 디바이스의 거리 정보를 추출하고, 2차 FFT를 수행하여 헤드 마운트 디바이스의 속도 정보를 추출하며, 3차 FFT를 수행하여 헤드 마운트 디바이스의 각도를 추출한다.
한편, RF 신호처리부는 디지털 신호처리부에서 추출된 헤드 마운트 디바이스의 거리 정보, 속도 정보 및 각도를 이용하여 헤드 마운트 디바이스의 3차원 좌표 값을 추출하고, 각 측정 포인트들의 측정값들을 이용하여 헤드 마운트 디바이스의 위치 정보를 추출하며, 각 측정 포인트들을 클러스터링(clustering) 처리하여 3차원 공간에서의 변위 값을 추출한다.
이에 따라, 이전 타임슬롯(time slot)에서의 변위 값과 현재 타임슬롯에서의 변위 값을 비교하여 타임슬롯별로 각 측정 포인트들의 이동상황을 추적할 수 있으므로 실제 측정된 각 포인트들이 3차원으로 어떤 변위가 있었는지를 정확하게 검출할 수 있다.
이러한, 위치 센서(12, 13,14, 15, 16)들은 설치 위치에 따라 서로 다른 주파수를 갖도록 구성되기 때문에 처프 신호의 방사 및 수신 시 주파수 혼선이 발생하지 않게 된다.
이하에서는, 이 발명의 실시 예에 따른 밀리미터 위치 센서를 구비한 헤드 마운트 디바이스에서 위치 변위를 측정하는 방법을 도 4 내지 도 7을 참조하여 설명하기로 한다.
이때, 도 4는 한정된 공간에서의 X, Y, Z축과 각 축에서의 회전 각도를 나타내는 도면이고, 도 5는 X축과 Y축 방향으로의 변위 발생 시 X축과 Y축의 변위를 측정하는 방법을 설명하기 위한 도면이며, 도 6은 Z축과 Y축 방향으로의 변위 발생 시 Z축과 Y축의 변위를 측정하는 방법을 설명하기 위한 도면이고, 도 7은 X축과 Z축 방향으로의 변위 발생 시 X축과 Z축의 변위를 측정하는 방법을 설명하기 위한 도면이다.
먼저, 도 4와 같이 VR 게임 방과 같이 한정된 공간의 임의의 위치에서 게임 서버와 같은 데스크탑 PC가 놓인 정면 방향을 X축으로 설정하여 정면 X축에 대해 상하 높이를 구분하는 방향을 Y축으로 정의하고, 좌우 면의 상대적인 변위 축을 Z축으로 정의하였고, X축에서의 변위 각도는 α, Y축에서의 변위 각도는 β, Z축에서의 변위 각도는 δ로 정의하였다.
이때, X축의 전체 공간길이는 아래의 수학식 1과 같고, Y축의 전체 공간길이는 아래의 수학식 2와 같으며, Z축의 전체 공간 길이는 아래의 수학식 3과 같다.
[수학식 1]
X = XR + X0 + XF
여기서, XR는 HMD의 후면에 설치된 제5 위치 센서(16)에서 후측 벽면까지의 거리이고, X0는 HMD에 전면과 후면에 각각 설치된 제1 위치 센서(12)와 제5 위치 센서(16) 사이의 거리이며, XF는 HMD의 전면에 설치된 제1 위치 센서(12)와 전방측 벽면까지의 거리이다.
[수학식 2]
Y = YT + Y0 + YB
여기서, YT는 HMD의 상면에 설치된 제4 위치 센서(15)에서 천정면까지의 거리이고, Y0는 HMD에 상면에 설치된 제4 위치 센서(15)와 하측면에 설치된 위치 센서 사이의 거리이며, YB는 HMD의 하측면에 설치된 위치 센서와 바닥면까지의 거리이다.
[수학식 3]
Z = ZR + Z0 + ZL
여기서, ZR은 HMD의 우측면에 설치된 제3 위치 센서(14)에서 우측 벽면까지의 거리이고, Z0는 우측면과 좌측면에 각각 설치된 제3 위치 센서(14)와 제2 위치 센서(13) 사이의 거리이며, ZL은 HMD의 좌측면에 설치된 제2 위치 센서(13)에서 좌측 벽면까지의 거리이다.
사용자가 HMD를 착용한 후 도 4와 같이 한정된 공간의 특정 위치에 위치하게 되면, HMD의 위치 센서(12, 13,14, 15, 16)들은 서로 다른 고유 주파수를 갖는 처프 신호를 생성하여 방사시킨 후 각각 반사된 처프 신호를 수신해 임의의 시작 위치와 각 공간 면 사이의 거리를 측정하여 HMD의 위치 변위를 검출하게 되는데, 최초 위치에서 검출된 HMD의 좌표 값을 기준 위치 좌표 값(X0, Y0, Z0)으로 설정된다.
이 상태에서 사용자가 특정 방향으로 움직이게 되면, HMD는 내부에 설치된 각도 측정수단을 통해 X, Y, Z축의 각도 성분(α, β, δ)을 측정하고, 위치 센서(12, 13,14, 15, 16)들에서 방사된 처프 신호를 수신하여 HMD와 각 공간 면 사이의 거리를 측정한다.
다시 말해, HMD의 위치 변위가 발생 되면, 도 5와 같이 Z축에서 바라본 X축 면과 Y축 면에서의 변위 관계, 도 6과 같이 X축에서 바라본 Z축 면과 Y축 면에서의 변위 관계, Y축에서 바라본 X축 면과 Z축 면에서의 변위 관계를 측정한다.
먼저, Z축에서 바라본 X축 면과 Y축 면에서의 변위 관계를 살펴보면, X축에서의 총 이동 거리는 아래의 수학식 4와 같이 최초 위치(a1)와 전방측 벽면 사이의 거리(XF1)에서 이동 후 측정된 HMD의 전면에 설치된 제1 위치 센서(12)와 전방측 벽면까지의 거리(XF2)와 COS(Z축에서의 회전각도(δ))의 곱을 뺀 만큼의 값을 가지게 되고, Y축에서의 총 이동 거리는 HMD의 상면에 설치된 제4 위치 센서(15)에서 천정면까지의 거리(YT2)와 COS(Z축에서의 회전각도(δ))의 곱 만큼의 값을 가지게 된다.
[수학식 4]
X축 이동거리 = XF1-XF2COSδ
Y축 이동거리 = YT2COSδ
이때, HMD에 상면에 설치된 제4 위치 센서(15)와 하측면에 설치된 위치 센서 사이의 거리(Y0)와 HMD의 하측면에 설치된 위치 센서와 바닥면까지의 거리(YB)는 위치 센서(12, 13,14, 15, 16)의 수에 따라 측정하지 않아도 무방하다.
한편, HMD의 위치 변위가 발생 시 X축에서 바라본 Z축 면과 Y축 면에서의 변위 관계를 살펴보면, Z축에서의 총 이동 거리는 아래의 수학식 5와 같이 최초 위치(a1)에서의 HMD의 좌측면에 설치된 제2 위치 센서(13)와 좌측 벽면까지의 거리(ZL1)에서 이동 후 측정된 HMD의 좌측면에 설치된 제2 위치 센서(13)에서 좌측 벽면까지의 거리(ZL2)와 COS(X축에서의 회전 각도(α))의 곱을 뺀 만큼의 값을 가지게 되고, Y축에서의 총 이동 거리는 HMD의 상면에 설치된 제4 위치 센서(15)에서 천정면까지의 거리(YT2)와 COS(Z축에서의 회전각도(α))의 곱 만큼의 값을 가지게 된다.
이때, HMD에 상면에 설치된 제4 위치 센서(15)와 하측면에 설치된 위치 센서 사이의 거리(Y0)와 HMD의 하측면에 설치된 위치 센서와 바닥면까지의 거리(YB)는 위치 센서(12, 13,14, 15, 16)의 수에 따라 측정하지 않아도 무방하다.
[수학식 5]
Z축 이동거리 = ZL1-ZL2COSα
Y축 이동거리 = YT2COSα
그리고, Y축에서 바라본 X축 면과 Z축 면에서의 변위 관계를 살펴보면, X축에서의 총 이동 거리는 아래의 수학식 6과 같이 최초 위치(a1)와 전방측 벽면 사이의 거리(XF1)에서 이동 후 측정된 HMD의 전면에 설치된 제1 위치 센서(12)와 전방측 벽면까지의 거리(XF2)와 COS(Y축에서의 회전각도(β))의 곱을 뺀 만큼의 값을 가지게 되고, 이동 후 측정된 HMD의 좌측면에 설치된 제2 위치 센서(13)에서 좌측 벽면까지의 거리(ZL2)와 COS(X축에서의 회전 각도(α))의 곱 만큼의 값을 가지게 된다.
이때, HMD에 상면에 설치된 제4 위치 센서(15)와 하측면에 설치된 위치 센서 사이의 거리(Y0)와 HMD의 하측면에 설치된 위치 센서와 바닥면까지의 거리(YB)는 위치 센서(12, 13,14, 15, 16)의 수에 따라 측정하지 않아도 무방하다.
[수학식 6]
X축 이동거리 = XF1-XF2COSβ
Z축 이동거리 = ZL2COSβ
이로 인해, HMD를 착용한 사용자가 앞뒤, 좌우, 및 위아래 중 적어도 어느 한 방향으로 이동하는 경우에는 상술한 수학식 4 내지 수학식 6을 통해 HMD의 정확한 위치와 위치 변위량을 검출할 수 있어 각각의 타임슬롯별 이동상황 추적이 가능하게 된다.
한편, 상술한 설명에서는 제1 위치 센서(12)가 몸체(10)의 전면에 설치되고, 제2 위치 센서(13)는 몸체(10)의 좌측면, 제3 위치 센서(14)는 몸체(10)의 우측면, 제4 위치 센서(15)는 몸체(10)의 상면, 제5 위치 센서(16)는 사용자의 뒤통수 부분의 착용 부재(20)에 설치되는 것만을 설명하였으나, 위치 센서(12, 13,14, 15, 16)의 개수와 설치 위치는 필요에 따라 변동 가능하다.
즉, 위치 센서(12, 13,14, 15, 16)를 몸체(10)의 좌측면과 우측면이 아닌 전면 좌측 하부나 우측 하부에 설치할 수 있고, 사용자가 착용 부재(20)를 이용하여 HMD를 착용할 때 사용자의 이마 부분에 배치되는 착용 부재(20)에 설치될 수도 있다.
이와 같이 이 발명의 실시 예에 따른 밀리미터 위치 센서를 구비한 헤드 마운트 디바이스는 밀리미터파 대역의 주파수를 이용하기 때문에 밀리미터 단위의 작은 움직임 감지와 이동하는 물체의 거리와 속도 및 각도를 정확하게 측정할 수 있으므로 HMD를 착용한 사용자의 정확한 위치 검출과 타임슬롯별 이동상황 추적이 가능하다.
또한, 이 발명의 실시 예에 따른 밀리미터 위치 센서를 구비한 헤드 마운트 디바이스는 무선 방식으로 HMD의 위치를 검출하기 때문에 VR 서비스 영역의 확대가 가능하고, HMD의 움직임을 추적하기 위한 별도의 감시/추적 카메라 등의 장치가 필요하지 않고, 저가의 밀리미터파 위치 센서와 저가의 FR4 PCB를 이용한 위상 배열 안테나를 사용하기 때문에 HMD를 저렴한 가격에 제작할 수 있게 된다.
이상에서 설명한 바와 같이, 이 발명의 상세한 설명에서는 이 발명의 바람직한 실시 예에 관해서 설명하였으나, 이는 이 발명의 가장 양호한 실시 예를 예시적으로 설명한 것일 뿐, 이 발명을 한정하는 것은 아니다. 또한, 이 발명이 속하는 기술분야의 통상의 지식을 가진 자라면 누구나 이 발명의 기술사상의 범주를 벗어나지 않는 범위 내에서 다양한 변형과 모방이 가능함은 물론이다. 따라서, 이 발명의 권리범위는 설명된 실시 예에 국한되어 정해져선 안 되며, 후술하는 청구범위뿐만 아니라 이와 균등한 것들에 의해 정해져야 한다.
10: 몸체 12, 13, 14, 15, 16: 위치 센서
20: 착용 부재 40: 위상 배열 안테나
50: 레이더 제어부 60: 발진기
70: 전원부

Claims (5)

  1. 눈에 밀착되어 영상을 표시하는 몸체와 상기 몸체와 결합 되어 사용자의 머리에 착용 되는 착용 부재를 포함하는 헤드 마운트 디바이스에 있어서,
    상기 몸체의 전면, 좌측면, 우측면 및 상면에 각각 설치된 제1 내지 제4 위치 센서; 사용자의 뒤통수에 배치되는 착용 부재에 설치된 제5 위치 센서; 및 상기 몸체 내부에 설치되고, 서로 다른 주파수 대역의 밀리미터파 신호가 주파수 변조된 처프 신호를 상기 제1 내지 제5 위치 센서를 통해 방사시킨 후 방사된 처프 신호의 반사파를 수신하고, 수신된 처프 신호 반사파의 중간주파수 신호를 복구한 후 복구된 중간주파수 신호의 주파수 크기와 반사된 처프신호의 지연시간 및 위상정보를 이용하여 상기 헤드 마운트 디바이스의 위치정보를 검출하는 위치 검출수단을 포함하고,
    상기 위치 검출 수단은,
    밀리미터파 대역의 위상 배열 안테나;
    발진 신호를 생성하는 발진기;
    상기 발진 신호를 이용하여 처프 신호를 생성한 후 생성된 처프 신호를 밀리미터파로 체배하고, 체배된 처프 신호를 상기 위상 배열 안테나를 통해 공중으로 방사시키며, 상기 위상 배열 안테나를 통해 검출대상에서 반사된 처프 신호의 반사파가 수신될 때 수신된 처프 신호의 반사파와 최초 생성된 처프 신호를 결합하여 중간주파수 대역 신호를 생성하고, 생성된 중간주파수 대역 신호를 디지털 신호로 변환시킨 후 푸리에 변환을 수행하여 헤드 마운트 디바이스의 거리 정보, 속도 정보 및 각도 정보를 계산하여 헤드 마운트 디바이스의 정확한 위치 정보를 추출하는 레이더 제어부; 및
    상기 레이더 제어부에 전원을 공급하는 전원부를 포함하는 것을 특징으로 하는 밀리미터 위치 센서를 구비한 헤드 마운트 디바이스.
  2. 청구항 1에 있어서,
    상기 제1 위치 센서 내지 제5 위치 센서를 서로 다른 주파수를 갖는 것을 특징으로 하는 밀리미터 위치 센서를 구비한 헤드 마운트 디바이스.
  3. 삭제
  4. 청구항 1에 있어서,
    상기 레이더 제어부는,
    RF 신호의 처리를 수행하는 RF 신호처리부;
    상기 RF 신호처리부의 제어에 따라 램프 신호를 생성하는 램프 신호 발생기;
    상기 램프 신호 발생기에서 생성된 램프 신호와 발진 신호를 이용하여 처프 신호를 생성하는 주파수 합성기;
    상기 주파수 합성기에서 합성된 처프 신호를 정수배 체배시키는 주파수 체배기;
    상기 주파수 체배기에 의해 체배된 처프 신호를 위상 변조시키는 위상 변조기;
    위상이 변조된 처프 신호를 증폭시키는 증폭기;
    상기 위상 배열 안테나를 통해 수신된 처프 신호 반사파의 잡음을 억제시키고, 신호대잡음비를 개선시키기 위해 증폭하는 저잡음증폭기;
    상기 저잡음증폭기를 통해 전달된 처프 신호 반사파와 최초 생성된 처프 신호를 결합하는 믹서;
    상기 믹서에 의해 결합된 신호를 이용하여 중간주파수 대역 신호를 생성하는 중간주파수 대역 신호 생성기;
    상기 중간주파수 대역 신호 생성기에서 생성된 중간주파수 대역 신호를 디지털 신호로 변환시키는 아날로그/디지털 변환기;
    상기 아날로그/디지털 변환기에 의해 변환된 디지털 신호를 일시적으로 저장시키고, 빔 포밍 정보에 따라 신호를 복구 및 전처리시키는 ADC 버퍼; 및
    상기 ADC 버퍼에 의해 복구된 디지털 신호를 푸리에 변환하여 헤드 마운트 디바이스의 거리 정보, 속도 정보 및 각도를 계산하는 디지털 신호처리부를 포함하는 것을 특징으로 하는 밀리미터 위치 센서를 구비한 헤드 마운트 디바이스.
  5. 청구항 4에 있어서,
    상기 디지털 신호처리부는 1차 푸리에 변환을 수행하여 헤드 마운트 디바이스의 거리 정보를 추출하고, 2차 푸리에 변환을 수행하여 헤드 마운트 디바이스의 속도 정보를 추출하며, 3차 푸리에 변환을 수행하여 헤드 마운트 디바이스의 각도를 추출하며, 상기 RF 신호처리부는 상기 디지털 신호처리부에서 추출된 헤드 마운트 디바이스의 거리 정보, 속도 정보 및 각도를 이용하여 헤드 마운트 디바이스의 3차원 좌표 값을 추출하고, 각 측정 포인트들의 측정값들을 이용하여 헤드 마운트 디바이스의 위치 정보를 추출하며, 각 측정 포인트들을 클러스터링 처리하여 3차원 공간에서의 변위 값을 추출하는 것을 특징으로 하는 밀리미터 위치 센서를 구비한 헤드 마운트 디바이스.
KR1020170157962A 2017-11-24 2017-11-24 밀리미터 위치 센서를 구비한 헤드 마운트 디바이스 KR102005744B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170157962A KR102005744B1 (ko) 2017-11-24 2017-11-24 밀리미터 위치 센서를 구비한 헤드 마운트 디바이스

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170157962A KR102005744B1 (ko) 2017-11-24 2017-11-24 밀리미터 위치 센서를 구비한 헤드 마운트 디바이스

Publications (2)

Publication Number Publication Date
KR20190060119A KR20190060119A (ko) 2019-06-03
KR102005744B1 true KR102005744B1 (ko) 2019-07-31

Family

ID=66849216

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170157962A KR102005744B1 (ko) 2017-11-24 2017-11-24 밀리미터 위치 센서를 구비한 헤드 마운트 디바이스

Country Status (1)

Country Link
KR (1) KR102005744B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120007772A1 (en) 2009-03-16 2012-01-12 Paerssinen Aarno Tapio Controller for a Directional Antenna and Associated Apparatus and Methods
US20160248995A1 (en) 2015-02-19 2016-08-25 Daqri, Llc System and method for using millimeter wave in a wearable device
US20160308563A1 (en) 2015-04-17 2016-10-20 Apple Inc. Electronic Device With Millimeter Wave Antennas

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102524641B1 (ko) 2016-01-22 2023-04-21 삼성전자주식회사 Hmd 디바이스 및 그 제어 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120007772A1 (en) 2009-03-16 2012-01-12 Paerssinen Aarno Tapio Controller for a Directional Antenna and Associated Apparatus and Methods
US20160248995A1 (en) 2015-02-19 2016-08-25 Daqri, Llc System and method for using millimeter wave in a wearable device
US20160308563A1 (en) 2015-04-17 2016-10-20 Apple Inc. Electronic Device With Millimeter Wave Antennas

Also Published As

Publication number Publication date
KR20190060119A (ko) 2019-06-03

Similar Documents

Publication Publication Date Title
Mao et al. Cat: high-precision acoustic motion tracking
US9867013B2 (en) Method and system for determining object motion by capturing motion data via radio frequency phase and direction of arrival detection
US11467399B2 (en) Augmentation of relative pose in co-located devices
Bhatnagar Position trackers for Head Mounted Display systems: A survey
JP6435407B2 (ja) 不規則状物体の採寸用のハンドヘルドマルチセンサシステム
US7735230B2 (en) Head-mounted navigation system
JP7319303B2 (ja) レーダ頭部姿勢位置特定
US20090067678A1 (en) Motion capture device and associated method
JP6997112B2 (ja) 加速度計
US3952309A (en) Doppler perspective navigation system employing the comparisons with a reference source of signal phases received on an aircraft by a plurality of sensors
US10416305B2 (en) Positioning device and positioning method
US11093031B2 (en) Display apparatus for computer-mediated reality
US11150321B2 (en) System for orientation estimation from radio measurements
KR102005744B1 (ko) 밀리미터 위치 센서를 구비한 헤드 마운트 디바이스
KR101876998B1 (ko) 근거리 위치 추적 및 증강 현실을 이용한 헤드 마운트 디스플레이
KR20190060625A (ko) 관성 측정 유닛 센서의 위치 보정 장치 및 그 보정 방법
KR101907989B1 (ko) 근거리 위치 추적 및 증강 현실을 이용한 의료용 3차원 영상 처리 시스템
KR20190113724A (ko) 관성 측정 유닛 센서의 위치 보정 장치 및 그 보정 방법
US11933883B2 (en) System and method for self-contained high-precision navigation
WO2022172648A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
Yang 3D Sensing and Tracking of Human Gait
JP5647070B2 (ja) ポインティングシステム
KR20190113019A (ko) 센서 보정장치 및 이를 포함하는 가상현실 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right