KR102073723B1 - 지자계 오차 보정이 가능한 관성측정장치가 부착된 머리 착용형 디스플레이 장치 - Google Patents

지자계 오차 보정이 가능한 관성측정장치가 부착된 머리 착용형 디스플레이 장치 Download PDF

Info

Publication number
KR102073723B1
KR102073723B1 KR1020190052497A KR20190052497A KR102073723B1 KR 102073723 B1 KR102073723 B1 KR 102073723B1 KR 1020190052497 A KR1020190052497 A KR 1020190052497A KR 20190052497 A KR20190052497 A KR 20190052497A KR 102073723 B1 KR102073723 B1 KR 102073723B1
Authority
KR
South Korea
Prior art keywords
roll
pitch
yaw
head
display device
Prior art date
Application number
KR1020190052497A
Other languages
English (en)
Inventor
최치원
이강휘
이성수
Original Assignee
주식회사 피앤씨솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피앤씨솔루션 filed Critical 주식회사 피앤씨솔루션
Priority to KR1020190052497A priority Critical patent/KR102073723B1/ko
Application granted granted Critical
Publication of KR102073723B1 publication Critical patent/KR102073723B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Navigation (AREA)

Abstract

본 발명은 지자계 오차 보정이 가능한 관성측정장치가 부착된 머리 착용형 디스플레이 장치에 관한 것으로서, 보다 구체적으로는 머리 착용형 디스플레이 장치로서, 상기 머리 착용형 디스플레이 장치에 부착되며, 가속도계, 자이로계 및 지자계를 포함하는 9축 IMU 센서; 및 상기 IMU 센서를 이용해 상기 머리 착용형 디스플레이 장치의 자세 정보를 산출하되, 지자계 오차가 보정된 자세 정보를 산출하는 자세 정보 처리 모듈을 포함하며, 상기 자세 정보 처리 모듈은, 상기 IMU 센서로부터 상기 가속도계, 자이로계 및 지자계의 측정 데이터를 수신하는 수신부; 상기 수신부에서 수신한 자이로계의 측정 데이터를 이용해 제1 요(Yaw)를 구하는 자이로계 처리부; 상기 수신부에서 수신한 지자계의 측정 데이터를 이용해 수평 자기 벡터 방위각인 제2 요를 추출하는 지자계 처리부; 및 상기 제1 요 및 제2 요로부터 최종 요를 산출하는 보정 정보 산출부를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 지자계 오차 보정이 가능한 관성측정장치가 부착된 머리 착용형 디스플레이 장치에 따르면, 머리 착용형 디스플레이 장치에 부착되며, 가속도계, 자이로계 및 지자계를 포함하는 9축 IMU 센서와 지자계의 측정 데이터를 이용해 수평 자기 벡터 방위각을 추출하고, 자이로계의 측정 데이터와 결합하여 최종 요(Yaw)를 산출하여 지자계 오차를 보정하는 자세 정보 처리 모듈을 포함함으로써, 머리 착용형 디스플레이 장치의 정확한 자세를 측정할 수 있고, 보정된 자세 정보를 이용해 가상현실, 증강현실 또는 혼합현실에서 사용자와의 정확하고 효과적인 상호작용을 제공할 수 있다.

Description

지자계 오차 보정이 가능한 관성측정장치가 부착된 머리 착용형 디스플레이 장치{HEAD-MOUNTED DISPLAY DEVIE WITH AN INERTIA MEASUREMENT UNIT CAPABLE OF COMPENSATING FOR ERROR OF EARTH MAGNETIC FIELD}
본 발명은 머리 착용형 디스플레이 장치에 관한 것으로서, 보다 구체적으로는 지자계 오차 보정이 가능한 관성측정장치가 부착된 머리 착용형 디스플레이 장치에 관한 것이다.
디지털 디바이스의 경량화 및 소형화 추세에 따라 다양한 웨어러블 디바이스(wearable device)들이 개발되고 있다. 이러한 웨어러블 디바이스의 일종인 헤드 마운티드 디스플레이(Head Mounted Display)는 사용자가 머리에 착용하여 멀티미디어 컨텐츠 등을 제공받을 수 있는 각종 디바이스를 의미한다. 여기서, 헤드 마운티드 디스플레이(HMD)는 사용자의 신체에 착용되어 사용자가 이동함에 따라서 다양한 환경에서 사용자에게 영상을 제공하게 된다. 이러한 헤드 마운티드 디스플레이(HMD)는 투과(see-through)형과 밀폐(see-closed)형으로 구분되고 있으며, 투과형은 주로 증강현실(Augmented Reality, AR)용으로 사용되고, 밀폐형은 주로 가상현실(Virtual Reality, VR)용으로 사용되고 있다.
도 1은 일반적인 안경 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면이고, 도 2는 일반적인 밴드 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면이다. 도 1 및 도 2에 각각 도시된 바와 같이, 일반적인 안경 형태 또는 밴드 형태의 헤드 마운티드 디스플레이는 사용자의 안면 또는 두부에 착용되어 투과되는 렌즈를 통해 실제 세계에 증강현실(AR)의 영상 정보를 투영하여 사용자에게 제공하게 된다.
한편, 헤드 마운티드 디스플레이 장치에 있어서, 사용자와의 효과적인 상호작용을 위해 각종 센서를 부착하기도 한다(공개특허 제10-2015-0122975호(발명의 명칭: HMD 및 그 제어 방법, 공개 일자: 2015년 11월 03일), 공개특허 제10-2018-0098936호(발명의 명칭: 위치센서 기반 HMD 워킹 가상현실 콘텐츠 체험시스템, 공개 일자: 2018년 09월 05일) 등 참조).
효과적이고 정확하며 현실감 높은 상호작용을 위해서는 헤드 마운티드 디스플레이 장치의 자세를 정확하게 파악하는 것이 중요하다. 따라서 지자계 오차까지 정확하게 보정할 수 있는 헤드 마운티드 디스플레이 장치의 개발이 요구되고 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 머리 착용형 디스플레이 장치에 부착되며, 가속도계, 자이로계 및 지자계를 포함하는 9축 IMU 센서와 지자계의 측정 데이터를 이용해 수평 자기 벡터 방위각을 추출하고, 자이로계의 측정 데이터와 결합하여 최종 요(Yaw)를 산출하여 지자계 오차를 보정하는 자세 정보 처리 모듈을 포함함으로써, 머리 착용형 디스플레이 장치의 정확한 자세를 측정할 수 있고, 보정된 자세 정보를 이용해 가상현실, 증강현실 또는 혼합현실에서 사용자와의 정확하고 효과적인 상호작용을 제공할 수 있는, 지자계 오차 보정이 가능한 관성측정장치가 부착된 머리 착용형 디스플레이 장치를 제공하는 것을 그 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 지자계 오차 보정이 가능한 관성측정장치가 부착된 머리 착용형 디스플레이 장치는,
머리 착용형 디스플레이 장치로서,
상기 머리 착용형 디스플레이 장치에 부착되며, 가속도계, 자이로계 및 지자계를 포함하는 9축 IMU 센서; 및
상기 IMU 센서를 이용해 상기 머리 착용형 디스플레이 장치의 자세 정보를 산출하되, 지자계 오차가 보정된 자세 정보를 산출하는 자세 정보 처리 모듈을 포함하며,
상기 자세 정보 처리 모듈은,
상기 IMU 센서로부터 상기 가속도계, 자이로계 및 지자계의 측정 데이터를 수신하는 수신부;
상기 수신부에서 수신한 자이로계의 측정 데이터를 이용해 제1 요(Yaw)를 구하는 자이로계 처리부;
상기 수신부에서 수신한 지자계의 측정 데이터를 이용해 수평 자기 벡터 방위각인 제2 요를 추출하는 지자계 처리부; 및
상기 제1 요 및 제2 요로부터 최종 요를 산출하는 보정 정보 산출부를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는,
상기 가속도계의 측정 데이터인 3축 성분을 이용하여 제1 롤(Roll) 및 제1 피치(Pitch)를 구하는 가속도계 처리부를 더 포함할 수 있다.
더욱 바람직하게는, 상기 가속도계 처리부는,
오일러 각도(Euler angle)의 쿼터니언(quaternion) 변환을 사용하여 상기 제1 롤(Roll) 및 제1 피치(Pitch)를 구할 수 있다.
바람직하게는, 상기 자이로계 처리부는,
상기 자이로계의 측정 데이터인 3축 성분을 적분하여, 제2 롤 및 제2 피치를 구할 수 있다.
바람직하게는, 상기 보정 정보 산출부는,
칼만 필터를 이용해 상기 최종 요를 산출할 수 있다.
바람직하게는, 상기 보정 정보 산출부는,
상기 제1 롤, 제2 롤, 제1 피치 및 제2 피치로부터 최종 롤 및 최종 피치를 산출할 수 있다.
더욱 바람직하게는, 상기 보정 정보 산출부는,
칼만 필터를 이용해 상기 최종 롤 및 최종 피치를 산출할 수 있다.
바람직하게는, 상기 자세 정보 처리 모듈은,
(1) 상기 IMU 센서로부터 상기 가속도계, 자이로계 및 지자계의 측정 데이터를 수신하는 단계;
(2) 상기 가속도계의 측정 데이터인 3축 성분을 이용하여 제1 롤(Roll) 및 제1 피치(Pitch)를 구하는 단계;
(3) 상기 자이로계의 측정 데이터인 3축 성분을 적분하여, 제2 롤, 제2 피치 및 제1 요(Yaw)를 구하는 단계;
(4) 상기 지자계의 측정 데이터인 3축 성분을 이용하여, 수평 자기 벡터 방위각인 제2 요를 추출하는 단계;
(5) 상기 제1 롤, 제2 롤, 제1 피치 및 제2 피치로부터 칼만 필터를 이용해 최종 롤 및 최종 피치를 산출하는 단계; 및
(6) 상기 제1 요 및 제2 요로부터 칼만 필터를 이용해 최종 요를 산출하는 단계를 처리하여,
최종 롤, 최종 피치 및 최종 요를 포함하는 지자계 오차가 보정된 자세 정보를 산출할 수 있다.
본 발명에서 제안하고 있는 지자계 오차 보정이 가능한 관성측정장치가 부착된 머리 착용형 디스플레이 장치에 따르면, 머리 착용형 디스플레이 장치에 부착되며, 가속도계, 자이로계 및 지자계를 포함하는 9축 IMU 센서와 지자계의 측정 데이터를 이용해 수평 자기 벡터 방위각을 추출하고, 자이로계의 측정 데이터와 결합하여 최종 요(Yaw)를 산출하여 지자계 오차를 보정하는 자세 정보 처리 모듈을 포함함으로써, 머리 착용형 디스플레이 장치의 정확한 자세를 측정할 수 있고, 보정된 자세 정보를 이용해 가상현실, 증강현실 또는 혼합현실에서 사용자와의 정확하고 효과적인 상호작용을 제공할 수 있다.
도 1은 일반적인 안경 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면.
도 2는 일반적인 밴드 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 지자계 오차 보정이 가능한 관성측정장치가 부착된 머리 착용형 디스플레이 장치의 구성을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 지자계 오차 보정이 가능한 관성측정장치가 부착된 머리 착용형 디스플레이 장치에서, 자세 정보 처리 모듈의 세부적인 구성을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 지자계 오차 보정이 가능한 관성측정장치가 부착된 머리 착용형 디스플레이 장치에서 자세 정보 처리 모듈의 정보 처리 흐름을 도시한 도면.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 연결 되어 있다고 할 때, 이는 직접적으로 연결 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 간접적으로 연결 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 포함 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 3은 본 발명의 일실시예에 따른 지자계 오차 보정이 가능한 관성측정장치가 부착된 머리 착용형 디스플레이 장치(100)의 구성을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 지자계 오차 보정이 가능한 관성측정장치가 부착된 머리 착용형 디스플레이 장치(100)는, IMU 센서(110) 및 자세 정보 처리 모듈(120)을 포함하여 구성될 수 있다.
IMU 센서(110)는, 머리 착용형 디스플레이 장치(100)에 부착되며, 가속도계, 자이로계 및 지자계를 포함하는 9축 IMU 센서(110)일 수 있다. IMU 센서(110)는, 도 1 및 도 2에 도시된 바와 같은 머리 착용형 디스플레이 장치(100)에 부착될 수 있으며, 부착 위치는 머리 착용형 디스플레이 장치(100)의 자세를 가장 정확하게 측정할 수 있는 위치로서, 사용자의 양안이 위치하는 부분 사이의 중앙에 부착될 수 있고, 좌측이나 우측 측면에 부착될 수도 있다.
특히, 본 발명의 일실시예에 따른 지자계 오차 보정이 가능한 관성측정장치가 부착된 머리 착용형 디스플레이 장치(100)에 구비되는 IMU 센서(110)는, 3축 가속도계, 3축 자이로계 및 3축 지자계를 포함하는 9축 센서로서, 머리 착용형 디스플레이 장치(100)의 정확한 자세 파악이 가능하도록 할 수 있다. 보다 구체적으로, IMU 센서(110)는 MPU9250 센서로 구현될 수 있다.
최근 머리 착용형 디스플레이 장치(100)의 활용 분야가 넓어지면서, 위험 상황이나 작전 상황 등 머리 착용형 디스플레이 장치(100)의 위치 및 자세 의 보다 정확한 추정이 요구되는 상황이 늘어나고 있다. 이때, 착용자가 별도의 센서를 착용할 수도 있으나, 신체에 많은 장치를 착용하는 것은 매우 번거롭고 활동에 불편을 초래할 수도 있으며, 신체에 착용하는 별도의 센서로는 머리 착용형 디스플레이 장치(100)의 자세 추정을 통해 제공될 수 있는 정확한 상호작용 효과를 달성하지 못할 수 있다.
본 발명의 일실시예에 따른 지자계 오차 보정이 가능한 관성측정장치가 부착된 머리 착용형 디스플레이 장치(100)는, 9축 IMU 센서(110)를 구비하여 별도의 부가적인 센서 장치의 착용 없이도, 머리 착용형 디스플레이 장치(100)의 정확한 자세 추정을 통해 다양한 활용 분야에서 요구되는 상호작용을 정확하고 원활하게 제공할 수 있다.
자세 정보 처리 모듈(120)은, IMU 센서(110)를 이용해 머리 착용형 디스플레이 장치(100)의 자세 정보를 산출하되, 지자계 오차가 보정된 자세 정보를 산출할 수 있다. 가속도계 및 자이로계만으로는, 정확한 요각을 측정할 수 없는데, 종래에는 머리 착용형 디스플레이 장치(100)에 9축 IMU 센서(110)를 구비하고, 지자계 오차를 보정하여 정확한 요각까지 추정할 수 있는 기술이 적용된 바 없어, 머리 착용형 디스플에이 장치의 자세 추정에 한계가 있었다. 본 발명의 일실시예에 따른 지자계 오차 보정이 가능한 관성측정장치가 부착된 머리 착용형 디스플레이 장치(100)는, 자세 정보 처리 모듈(120)을 포함함으로써 지자계 오차가 보정된 자세 정보를 산출하여, 정확한 자세의 추정 및 이를 통한 상호작용이 가능하도록 할 수 있다.
이하에서는, 도 4를 참조하여 본 발명의 일실시예에 따른 지자계 오차 보정이 가능한 관성측정장치가 부착된 머리 착용형 디스플레이 장치(100)의 자세 정보 처리 모듈(120)의 세부적인 구성에 대해서 상세히 설명하도록 한다.
도 4는 본 발명의 일실시예에 따른 지자계 오차 보정이 가능한 관성측정장치가 부착된 머리 착용형 디스플레이 장치(100)에서, 자세 정보 처리 모듈(120)의 세부적인 구성을 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 지자계 오차 보정이 가능한 관성측정장치가 부착된 머리 착용형 디스플레이 장치(100)의 자세 정보 처리 모듈(120)은, 수신부(121), 자이로계 처리부(123), 지자계 처리부(124) 및 보정 정보 산출부(125)를 포함하여 구성될 수 있으며, 가속도계 처리부(122)를 더 포함하여 구성될 수 있다.
수신부(121)는, IMU 센서(110)로부터 가속도계, 자이로계 및 지자계의 측정 데이터를 수신할 수 있다.
가속도계 처리부(122)는, 가속도계의 측정 데이터인 3축 성분을 이용하여 제1 롤(Roll) 및 제1 피치(Pitch)를 구할 수 있다. 즉, 가속도계 처리부(122)는, 수신부(121)에서 수신한 가속도계의 x, y, z의 3축 성분 데이터를 이용하여, 제1 롤(Roll) 및 제1 피치(Pitch)를 구할 수 있다. 보다 구체적으로, 가속도계 처리부(122)는, 오일러 각도(Euler angle)의 쿼터니언(quaternion) 변환을 사용하여 제1 롤(Roll) 및 제1 피치(Pitch)를 구할 수 있다.
자이로계 처리부(123)는, 수신부(121)에서 수신한 자이로계의 측정 데이터를 이용해 제1 요(Yaw)를 구할 수 있다. 보다 구체적으로, 자이로계 처리부(123)는, 수신부(121)에서 수신한 자이로계의 측정 데이터인 x, y, z의 3축 성분을 적분하여 제2 롤 및 제2 피치를 구하고, 제1 요(Yaw)를 구할 수 있다. 자이로계 처리부(123)에서 추출된 제1 요(Yaw)는 무작위적인 오차가 발생하며, 오차가 누적될 수 있다.
지자계 처리부(124)는, 수신부(121)에서 수신한 지자계의 측정 데이터를 이용해 수평 자기 벡터 방위각인 제2 요를 추출할 수 있다. 즉, 지자계 처리부(124)는, 수신부(121)에서 수신한 지자계의 x, y, z의 3축 성분 데이터를 이용하여, 제2 요를 구할 수 있다. 머리 착용형 디스플레이 장치의 경우, 롤 및 피치 회전이 크게, 오랫동안 발생하는 경우가 많지 않다고 가정하고, 지자계 처리부에서 제2 요를 추출하여 최종 요의 산출에 활용할 수 있다.
보정 정보 산출부(125)는, 제1 요 및 제2 요로부터 최종 요를 산출할 수 있고, 보다 구체적으로는, 칼만 필터를 이용해 최종 요를 산출할 수 있다. 또한, 보정 정보 산출부(125)는, 제1 롤, 제2 롤, 제1 피치 및 제2 피치로부터 최종 롤 및 최종 피치를 산출할 수 있고 이때, 칼만 필터를 이용해 최종 롤 및 최종 피치를 산출할 수 있다.
이와 같이, 보정 정보 산출부(125)에 의해 산출된 최종 롤, 최종 피치 및 최종 요는 지자계 오차가 보정된 자세 정보일 수 있다. 따라서 본 발명의 일실시예에 따른 지자계 오차 보정이 가능한 관성측정장치가 부착된 머리 착용형 디스플레이 장치(100)는, 지자계 오차가 보정된 자세 정보를 획득하고, 이를 이용해 착용자의 상황을 정확하게 파악하고 상호작용을 제공할 수 있다.
도 5는 본 발명의 일실시예에 따른 지자계 오차 보정이 가능한 관성측정장치가 부착된 머리 착용형 디스플레이 장치(100)에서, 자세 정보 처리 모듈(120)의 정보 처리 흐름을 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 지자계 오차 보정이 가능한 관성측정장치가 부착된 머리 착용형 디스플레이 장치(100)의 자세 정보 처리 모듈(120)은, IMU 센서(110)로부터 가속도계, 자이로계 및 지자계의 측정 데이터를 수신하는 단계(S100), 가속도계의 측정 데이터인 3축 성분을 이용하여 제1 롤(Roll) 및 제1 피치(Pitch)를 구하는 단계(S200), 자이로계의 측정 데이터인 3축 성분을 적분하여, 제2 롤, 제2 피치 및 제1 요(Yaw)를 구하는 단계(S300), 지자계의 측정 데이터인 3축 성분을 이용하여, 수평 자기 벡터 방위각인 제2 요를 추출하는 단계(S400), 제1 롤, 제2 롤, 제1 피치 및 제2 피치로부터 칼만 필터를 이용해 최종 롤 및 최종 피치를 산출하는 단계(S500) 및 제1 요 및 제2 요로부터 칼만 필터를 이용해 최종 요를 산출하는 단계(S600)를 처리하여, 최종 롤, 최종 피치 및 최종 요를 포함하는 지자계 오차가 보정된 자세 정보를 산출할 수 있다.
단계 S100에서는, IMU 센서(110)로부터 가속도계, 자이로계 및 지자계의 측정 데이터를 수신할 수 있다. 단계 S100은 자세 정보 처리 모듈(120)의 수신부(121)에 의해 처리될 수 있다.
단계 S200에서는, 가속도계의 측정 데이터인 3축 성분을 이용하여 제1 롤(Roll) 및 제1 피치(Pitch)를 구할 수 있다. 단계 S200은 자세 정보 처리 모듈(120)의 가속도계 처리부(122)에 의해 처리될 수 있다.
단계 S300에서는, 자이로계의 측정 데이터인 3축 성분을 적분하여, 제2 롤, 제2 피치 및 제1 요(Yaw)를 구할 수 있다. 단계 S300은 자세 정보 처리 모듈(120)의 자이로계 처리부(123)에 의해 처리될 수 있다.
단계 S400에서는, 지자계의 측정 데이터인 3축 성분을 이용하여, 수평 자기 벡터 방위각인 제2 요를 추출할 수 있다. 단계 S400은 자세 정보 처리 모듈(120)의 지자계 처리부(124)에 의해 처리될 수 있다.
단계 S500에서는, 제1 롤, 제2 롤, 제1 피치 및 제2 피치로부터 칼만 필터를 이용해 최종 롤 및 최종 피치를 산출할 수 있다. 단계 S500은 자세 정보 처리 모듈(120)의 보정 정보 산출부(125)에 의해 처리될 수 있다.
단계 S600에서는, 제1 요 및 제2 요로부터 칼만 필터를 이용해 최종 요를 산출할 수 있다. 단계 S600은 자세 정보 처리 모듈(120)의 보정 정보 산출부(125)에 의해 처리될 수 있다.
전술한 바와 같이, 본 발명에서 제안하고 있는 지자계 오차 보정이 가능한 관성측정장치가 부착된 머리 착용형 디스플레이 장치(100)에 따르면, 머리 착용형 디스플레이 장치(100)에 부착되며, 가속도계, 자이로계 및 지자계를 포함하는 9축 IMU 센서(110)와 지자계의 측정 데이터를 이용해 수평 자기 벡터 방위각을 추출하고, 자이로계의 측정 데이터와 결합하여 최종 요(Yaw)를 산출하여 지자계 오차를 보정하는 자세 정보 처리 모듈(120)을 포함함으로써, 머리 착용형 디스플레이 장치(100)의 정확한 자세를 측정할 수 있고, 보정된 자세 정보를 이용해 가상현실, 증강현실 또는 혼합현실에서 사용자와의 정확하고 효과적인 상호작용을 제공할 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
100: 머리 착용형 디스플레이 장치
110: IMU 센서
120: 자세 정보 처리 모듈
121: 수신부
122: 가속도계 처리부
123: 자이로계 처리부
124: 지자계 처리부
125: 보정 정보 산출부
S100: IMU 센서로부터 가속도계, 자이로계 및 지자계의 측정 데이터를 수신하는 단계
S200: 가속도계의 측정 데이터인 3축 성분을 이용하여 제1 롤(Roll) 및 제1 피치(Pitch)를 구하는 단계
S300: 자이로계의 측정 데이터인 3축 성분을 적분하여, 제2 롤, 제2 피치 및 제1 요(Yaw)를 구하는 단계
S400: 지자계의 측정 데이터인 3축 성분을 이용하여, 수평 자기 벡터 방위각인 제2 요를 추출하는 단계
S500: 제1 롤, 제2 롤, 제1 피치 및 제2 피치로부터 칼만 필터를 이용해 최종 롤 및 최종 피치를 산출하는 단계
S600: 제1 요 및 제2 요로부터 칼만 필터를 이용해 최종 요를 산출하는 단계

Claims (8)

  1. 머리 착용형 디스플레이 장치(100)로서,
    상기 머리 착용형 디스플레이 장치(100)에 부착되며, 가속도계, 자이로계 및 지자계를 포함하는 9축 IMU 센서(110); 및
    상기 IMU 센서(110)를 이용해 상기 머리 착용형 디스플레이 장치(100)의 자세 정보를 산출하되, 지자계 오차가 보정된 자세 정보를 산출하는 자세 정보 처리 모듈(120)을 포함하며,
    상기 자세 정보 처리 모듈(120)은,
    상기 IMU 센서(110)로부터 상기 가속도계, 자이로계 및 지자계의 측정 데이터를 수신하는 수신부(121);
    상기 수신부(121)에서 수신한 자이로계의 측정 데이터를 이용해 제1 요(Yaw)를 구하는 자이로계 처리부(123);
    상기 수신부(121)에서 수신한 지자계의 측정 데이터를 이용해 수평 자기 벡터 방위각인 제2 요를 추출하는 지자계 처리부(124); 및
    상기 제1 요 및 제2 요로부터 최종 요를 산출하는 보정 정보 산출부(125)를 포함하고,
    상기 자세 정보 처리 모듈(120)은,
    (1) 상기 IMU 센서(110)로부터 상기 가속도계, 자이로계 및 지자계의 측정 데이터를 수신하는 단계;
    (2) 상기 가속도계의 측정 데이터인 3축 성분을 이용하여 제1 롤(Roll) 및 제1 피치(Pitch)를 구하는 단계;
    (3) 상기 자이로계의 측정 데이터인 3축 성분을 적분하여, 제2 롤, 제2 피치 및 제1 요(Yaw)를 구하는 단계;
    (4) 상기 지자계의 측정 데이터인 3축 성분을 이용하여, 수평 자기 벡터 방위각인 제2 요를 추출하는 단계;
    (5) 상기 제1 롤, 제2 롤, 제1 피치 및 제2 피치로부터 칼만 필터를 이용해 최종 롤 및 최종 피치를 산출하는 단계; 및
    (6) 상기 제1 요 및 제2 요로부터 칼만 필터를 이용해 최종 요를 산출하는 단계를 처리하여,
    최종 롤, 최종 피치 및 최종 요를 포함하는 지자계 오차가 보정된 자세 정보를 산출하는 것을 특징으로 하는, 지자계 오차 보정이 가능한 관성측정장치가 부착된 머리 착용형 디스플레이 장치(100).
  2. 제1항에 있어서,
    상기 가속도계의 측정 데이터인 3축 성분을 이용하여 제1 롤(Roll) 및 제1 피치(Pitch)를 구하는 가속도계 처리부(122)를 더 포함하는 것을 특징으로 하는, 지자계 오차 보정이 가능한 관성측정장치가 부착된 머리 착용형 디스플레이 장치(100).
  3. 제2항에 있어서, 상기 가속도계 처리부(122)는,
    오일러 각도(Euler angle)의 쿼터니언(quaternion) 변환을 사용하여 상기 제1 롤(Roll) 및 제1 피치(Pitch)를 구하는 것을 특징으로 하는, 지자계 오차 보정이 가능한 관성측정장치가 부착된 머리 착용형 디스플레이 장치(100).
  4. 제1항에 있어서, 상기 자이로계 처리부(123)는,
    상기 자이로계의 측정 데이터인 3축 성분을 적분하여, 제2 롤 및 제2 피치를 구하는 것을 특징으로 하는, 지자계 오차 보정이 가능한 관성측정장치가 부착된 머리 착용형 디스플레이 장치(100).
  5. 제1항에 있어서, 상기 보정 정보 산출부(125)는,
    칼만 필터를 이용해 상기 최종 요를 산출하는 것을 특징으로 하는, 지자계 오차 보정이 가능한 관성측정장치가 부착된 머리 착용형 디스플레이 장치(100).
  6. 제1항에 있어서, 상기 보정 정보 산출부(125)는,
    상기 제1 롤, 제2 롤, 제1 피치 및 제2 피치로부터 최종 롤 및 최종 피치를 산출하는 것을 특징으로 하는, 지자계 오차 보정이 가능한 관성측정장치가 부착된 머리 착용형 디스플레이 장치(100).
  7. 제6항에 있어서, 상기 보정 정보 산출부(125)는,
    칼만 필터를 이용해 상기 최종 롤 및 최종 피치를 산출하는 것을 특징으로 하는, 지자계 오차 보정이 가능한 관성측정장치가 부착된 머리 착용형 디스플레이 장치(100).
  8. 삭제
KR1020190052497A 2019-05-03 2019-05-03 지자계 오차 보정이 가능한 관성측정장치가 부착된 머리 착용형 디스플레이 장치 KR102073723B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190052497A KR102073723B1 (ko) 2019-05-03 2019-05-03 지자계 오차 보정이 가능한 관성측정장치가 부착된 머리 착용형 디스플레이 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190052497A KR102073723B1 (ko) 2019-05-03 2019-05-03 지자계 오차 보정이 가능한 관성측정장치가 부착된 머리 착용형 디스플레이 장치

Publications (1)

Publication Number Publication Date
KR102073723B1 true KR102073723B1 (ko) 2020-02-05

Family

ID=69514510

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190052497A KR102073723B1 (ko) 2019-05-03 2019-05-03 지자계 오차 보정이 가능한 관성측정장치가 부착된 머리 착용형 디스플레이 장치

Country Status (1)

Country Link
KR (1) KR102073723B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150012839A (ko) * 2013-07-26 2015-02-04 삼성중공업 주식회사 이동체의 전자세 예측 방법 및 이를 이용한 전자세 예측 장치
KR20150104338A (ko) * 2014-03-05 2015-09-15 (주)스코넥엔터테인먼트 헤드 마운트 디스플레이용 헤드 트래킹 바
KR20190043306A (ko) * 2017-10-18 2019-04-26 허윤선 3차원 좌표 측정장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150012839A (ko) * 2013-07-26 2015-02-04 삼성중공업 주식회사 이동체의 전자세 예측 방법 및 이를 이용한 전자세 예측 장치
KR20150104338A (ko) * 2014-03-05 2015-09-15 (주)스코넥엔터테인먼트 헤드 마운트 디스플레이용 헤드 트래킹 바
KR20190043306A (ko) * 2017-10-18 2019-04-26 허윤선 3차원 좌표 측정장치

Similar Documents

Publication Publication Date Title
US9864192B2 (en) Image display device, computer program, and image display system
Azuma et al. A motion-stabilized outdoor augmented reality system
EP1521165B1 (en) Orientation data conversion method and apparatus
EP2702465B1 (en) Improved pointing device
EP3631600B1 (en) Dynamic control of performance parameters in a six degrees-of-freedom sensor calibration subsystem
US10304253B2 (en) Computer program, object tracking method, and display device
US10061382B2 (en) Program, device, and calibration method for a camera and an inertial sensor
US20110199298A1 (en) Pointer with motion sensing resolved by data merging
EP2939402B1 (en) Method and device for sensing orientation of an object in space in a fixed frame of reference
IL263357A (en) A miniature system for inert vision navigation that includes dynamic range expansion
JP2002259992A (ja) 画像処理装置およびその方法並びにプログラムコード、記憶媒体
US20180032802A1 (en) Apparatus for recognizing posture based on distributed fusion filter and method for using the same
US20220091663A1 (en) Virtual object display device and virtual object display method
US10248191B2 (en) Virtual rigid framework for sensor subsystem
JP2018067115A (ja) プログラム、追跡方法、追跡装置
JP7025215B2 (ja) 測位システム及び測位方法
US10690925B2 (en) Dual harmonization method and system for a worn head-up display system with a removable attitude inertial device in the cockpit
US11682331B2 (en) Display system, display method and display program based on positional relationship of geomagnetic sensors between display device and information processing device
CN109949655B (zh) 用于头戴式显示系统的双重协调方法和系统
KR102598377B1 (ko) 틸트 보상을 갖는 내비게이션 기기 및 연관된 방법
KR102073723B1 (ko) 지자계 오차 보정이 가능한 관성측정장치가 부착된 머리 착용형 디스플레이 장치
US11656242B2 (en) Angular velocity detection device, image display apparatus, angular velocity detection method, and storage medium
KR20210091692A (ko) 사용자 신체에 부착된 센서 움직임의 보상 방법 및 장치
WO2018143360A1 (ja) 相対位置検出システム及び画像表示システム
CN118318219A (zh) 眼睛图像稳定的增强现实显示

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant