KR101665027B1 - Head tracking bar system for head mount display - Google Patents

Head tracking bar system for head mount display Download PDF

Info

Publication number
KR101665027B1
KR101665027B1 KR1020140025954A KR20140025954A KR101665027B1 KR 101665027 B1 KR101665027 B1 KR 101665027B1 KR 1020140025954 A KR1020140025954 A KR 1020140025954A KR 20140025954 A KR20140025954 A KR 20140025954A KR 101665027 B1 KR101665027 B1 KR 101665027B1
Authority
KR
South Korea
Prior art keywords
head
mount display
axis
sensor
head mount
Prior art date
Application number
KR1020140025954A
Other languages
Korean (ko)
Other versions
KR20150104338A (en
Inventor
최정환
철 김
Original Assignee
(주)스코넥엔터테인먼트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)스코넥엔터테인먼트 filed Critical (주)스코넥엔터테인먼트
Priority to KR1020140025954A priority Critical patent/KR101665027B1/en
Publication of KR20150104338A publication Critical patent/KR20150104338A/en
Application granted granted Critical
Publication of KR101665027B1 publication Critical patent/KR101665027B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G02B27/022—Viewing apparatus

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 헤드(head) 움직임 인식이 가능한 헤드 마운트 디스플레이(HMD)용 헤드 트래킹 바에 관한 것으로, 특히 HMD에 탈부착 가능한 헤드 트래킹 바로서,
부착된 헤드 마운트 디스플레이의 상하(X축), 좌우(Y축), 앞뒤(Z축) 축 방향으로의 회전 각속도를 감지하기 위한 3축 자이로 센서와; 상기 헤드 마운트 디스플레이의 움직임에 따른 가속도를 감지하기 위한 가속도 센서와; 상기 헤드 마운트 디스플레이 주변의 자기장을 감지하기 위한 지자기 센서와; 상기 자이로 센서, 가속도 센서 및 지자기 센서를 통해 획득된 감지 데이터를 융합 연산처리 하여 상기 헤드 마운트 디스플레이의 이동 위치값을 계산하기 위한 제어부와; 상기 제어부에 의해 계산된 헤드 마운트 디스플레이의 이동 위치값을 상기 헤드 마운트 디스플레이에 영상 제공하는 외부 장치로 무선 송신하거나 상기 외부 장치로부터 요청 데이터를 수신하기 위한 무선 송수신부;를 포함함을 특징으로 한다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a head tracking bar for a head-mounted display (HMD) capable of recognizing head movement, and more particularly,
A three-axis gyro sensor for detecting rotational angular velocities in the vertical direction (X axis), left and right (Y axis), and front and back (Z axis) axes of the attached head mount display; An acceleration sensor for sensing an acceleration of the head mounted display according to movement of the head mounted display; A geomagnetic sensor for sensing a magnetic field around the head mount display; A control unit for calculating a movement position value of the head mount display by fusion processing the sensed data acquired through the gyro sensor, the acceleration sensor, and the geomagnetic sensor; And a wireless transmission / reception unit wirelessly transmitting the movement position value of the head mount display calculated by the controller to an external device that provides an image to the head mount display, or receiving request data from the external device.

Figure 112014021581411-pat00002
Figure 112014021581411-pat00002

Description

헤드 마운트 디스플레이용 헤드 트래킹 바 시스템{HEAD TRACKING BAR SYSTEM FOR HEAD MOUNT DISPLAY}{HEAD TRACKING BAR SYSTEM FOR HEAD MOUNT DISPLAY}

본 발명은 헤드 마운트 디스플레이(HMD)용 헤드 트래킹 바에 관한 것으로, 특히 헤드(head) 움직임 인식이 가능한 HMD용 헤드 트래킹 바 시스템에 관한 것이다.The present invention relates to a head tracking bar for a head mounted display (HMD), and more particularly to a head tracking bar system for an HMD capable of recognizing head movement.

헤드 마운트 디스플레이(HMD: Head Mounted Display) 장치는 주로 가상 현실감을 실현하기 위해 개발되었다. 양쪽 눈에 근접한 위치에 액정 등의 소형 디스플레이가 설치되어 시차를 이용한 입체 영상을 투영한다. 이용자의 머리를 향하고 있는 방향을 자이로 센서 등으로 검출, 움직임에 대응한 영상을 강조함으로써 3차원 공간에 있는 것 같은 체험이 가능하도록 한 것도 있다. 미국 매사추세츠 공과 대학(MIT)의 인공 지능(AI) 연구자 마빈 민스키(Marvin Minskey)가 1963년에 개발한 것이 최초의 것으로 알려져 있으며, 현재는 우주 개발, 원자로, 군사 기관 및 의료 기관에서 사용하기 위한 것과 업무용이나 게임용 등으로 개발 보급이 진행되고 있다.A head mounted display (HMD) device has been developed primarily to realize virtual reality. A small display such as a liquid crystal is installed at a position close to both eyes to project a stereoscopic image using time difference. There is also a case where the direction facing the user's head is detected by a gyro sensor or the like, and the image corresponding to the motion is emphasized, thereby enabling the user to experience in a three-dimensional space. It was first developed in 1963 by Marvin Minskey, an AI researcher at Massachusetts Institute of Technology (MIT) in the United States, and is currently being used for space development, nuclear reactors, military and medical institutions The development and distribution is proceeding for business use and game use.

HMD의 기술동향을 고려해 보면, 가상현실(Virtual Reality:VR)에 대한 연구가 활발히 진행되면서 수많은 헤드 마운트 디스플레이(HMD)가 보급되었으나 기대한 만큼의 보급이 이루어지지는 않았다. 하지만 HMD에 헤드 트래킹 기술을 접목한 제품이 출시되면서 VR에 대한 연구가 다시 주목받고 있다.Considering the technology trend of HMD, many researches on Virtual Reality (VR) have been actively carried out, and many head-mounted displays (HMDs) have been introduced, but not as much as expected. However, with the introduction of HMT with head tracking technology, research on VR is getting attention again.

현재 VR 시장에서 화재가 되고 있는 제품은 바로 오큘러스 VR사의 "오큘러스 리프트(Oculus Rift)"이다. HMD 기술에 있어 일본 소니사의 HMD가 기술 선점하고 있었으나, 헤드 트래킹 기술을 접목한 오큘러스 리프트에 추월당하고 있는 상황이 연출되고 있다. 헤드 트래킹 기술을 접목한 오큘러스 리프트는 착용자가 바라보는 각도를 추적하여 응시하고 있는 곳의 영상을 보여줌으로서, 보다 생동감 있고 현실감 있는 영상 콘텐츠를 제공한다는 장점을 가진다.Oculus Rift is the product of Oculus VR which is currently in the fire in the VR market. In HMD technology, Sony's HMD was dominant in the technology, but it is being overtaken by Oculus lift that incorporates head tracking technology. The Oculus Lift incorporates the head tracking technology and has the advantage of providing a more realistic and realistic image content by showing the image of the place where the user is watching by tracking the angle that the wearer is looking at.

이에 반하여 일반적으로 보급된 HMD는 헤드 트래킹 기술이 적용되고 있지 않기 때문에 이들의 활용성을 높이기 위한 방안이 요구된다.
On the other hand, since the HMD which is generally supplied does not have a head tracking technology, it is necessary to improve the usability of the HMD.

이에 본 발명의 목적은 헤드 트래킹 기술이 적용되어 있지 않은 HMD에도 헤드 트래킹 효과가 얻어지도록 지원할 수 있는 헤드 트래킹 바 시스템(Head Tracking Bar System)을 제공함에 있으며,Accordingly, it is an object of the present invention to provide a head tracking bar system capable of supporting a head tracking effect even in an HMD to which no head tracking technology is applied,

더 나아가 본 발명의 또 다른 목적은 기존 보급된 HMD에 손쉽게 탈부착되어 착용자가 바라보는 방향에 위치하는 영상화면의 제공이 이루어지도록 하여 기존 보급된 HMD의 활용도를 향상시킬 수 있는 HMD용 헤드 트래킹 바 시스템을 제공함에 있다.Still another object of the present invention is to provide a head tracking bar system for an HMD which can be easily attached to and detached from an existing HMD to provide an image screen positioned in a direction in which the wearer looks, .

상기 목적을 달성하기 위한 본 발명의 실시예에 따른 HMD용 헤드 트래킹 바는 헤드 마운트 디스플레이(HMD)에 탈부착 가능한 장치로서,In order to achieve the above object, a head tracking bar for an HMD according to an embodiment of the present invention is detachably attachable to a head-mounted display (HMD)

부착된 헤드 마운트 디스플레이의 상하(X), 좌우(Y), 앞뒤(Z) 축 방향으로의 회전 각속도를 감지하기 위한 3축 자이로 센서와;A three-axis gyro sensor for sensing a rotational angular velocity in the vertical direction (X), left and right (Y), and front and back (Z) axes of the attached head mount display;

상기 헤드 마운트 디스플레이의 움직임에 따른 가속도를 감지하기 위한 가속도 센서와;An acceleration sensor for sensing an acceleration of the head mounted display according to movement of the head mounted display;

상기 헤드 마운트 디스플레이 주변의 자기장을 감지하기 위한 지자기 센서와;A geomagnetic sensor for sensing a magnetic field around the head mount display;

상기 자이로 센서, 가속도 센서 및 지자기 센서를 통해 획득된 감지 데이터를 융합하여 상기 헤드 마운트 디스플레이의 이동 위치값을 계산하는 제어부와;A control unit for calculating a movement position value of the head mount display by fusing sensed data acquired through the gyro sensor, the acceleration sensor, and the geomagnetic sensor;

상기 제어부에 의해 계산된 헤드 마운트 디스플레이의 이동 위치값을 상기 헤드 마운트 디스플레이에 영상 제공하는 외부 장치로 무선 송신하거나 상기 외부 장치로부터 요청 데이터를 수신하기 위한 무선 송수신부;를 포함함을 특징으로 한다.And a wireless transmission / reception unit wirelessly transmitting the movement position value of the head mount display calculated by the controller to an external device that provides an image to the head mount display, or receiving request data from the external device.

더 나아가 상기 헤드 마운트 디스플레이(HMD)용 헤드 트래킹 바는,Further, the head tracking bar for the head-mounted display (HMD)

상기 외부 장치에 결합 가능한 부속품으로서, 상기 무선 송수신부로부터 상기 헤드 마운트 디스플레이의 이동 위치값을 수신하기 위한 USB 타입의 동글;을 더 포함함을 특징으로 하며,And a USB type dongle for receiving a movement position value of the head mount display from the wireless transceiver unit, the accessory being connectable to the external device,

상기 제어부는 자이로 센서를 통해 획득된 감지 데이터 중 지면과 수평을 이루는 두 축(Y,Z)에 대한 회전 각속도값을 상기 가속도 센서를 통해 획득된 감지 데이터로 보정하고, 상기 자이로 센서를 통해 획득된 감지 데이터 중 지면과 수직을 이루는 축(X)에 대한 회전 각속도값을 상기 지자기 센서를 통해 획득된 감지 데이터로 보정하여 상기 헤드 마운트 디스플레이의 이동 위치값을 계산함을 특징으로 한다.
The controller corrects the rotational angular velocity values of the two axes (Y, Z) that are horizontal with the ground surface of the sensed data acquired through the gyro sensor to sensed data obtained through the acceleration sensor, The movement position value of the head mount display is calculated by correcting the rotational angular velocity value of the sensing data with respect to the axis X perpendicular to the ground with the sensing data obtained through the geomagnetism sensor.

상술한 바와 같은 본 발명의 실시예에 따르면, 본 발명의 헤드 트래킹 바 시스템은 헤드 트래킹 기술이 적용되어 있지 않은 HMD에 부착되어 HMD 착용자의 헤드 움직임에 따르는 이동 위치값을 계산하여 영상 콘텐츠 제공기로 제공해 주기 때문에, 헤드 트래킹 기술이 적용되지 않은 일반 HMD에서도 헤드 트래킹 기술이 적용된 HMD와 동일한 형태의 가상현실 영상을 제공받을 수 있는 이점이 있다. 즉, 본 발명은 헤드 트래킹 기술이 적용되어 있지 않은 HMD의 활용도를 향상시킬 수 있는 효과가 있다.According to the embodiment of the present invention as described above, the head tracking bar system of the present invention is attached to the HMD to which the head tracking technique is not applied, calculates the movement position value according to the head movement of the wearer of the HMD, Therefore, there is an advantage that a general HMD without the head tracking technology can receive the same type of virtual reality image as the HMD to which the head tracking technology is applied. That is, the present invention has the effect of improving the utilization of the HMD to which the head tracking technique is not applied.

아울러 기존 HMD는 성능에 따라 제공되는 크기의 화면만을 볼 수 있으나, 본 발명은 HMD 착용자의 상,하,좌,우 헤드 움직임에 따라 디스플레이 밖에 감추어진 화면을 시야 범위내로 불러들여 볼 수 있는 효과가 있다.
In addition, the conventional HMD can only display a screen of a size provided according to the performance, but the present invention has an effect that a screen hidden outside the display can be brought into the view range according to the movement of the upper, lower, left, and right heads of the wearer have.

도 1은 본 발명의 실시예에 따라 HMD(100)에 탈부착 가능한 헤드 트래킹 바(200)가 부착되어 있는 HMD의 외관 사시도.
도 2는 본 발명의 실시예에 따른 헤드 트래킹 바(200)의 주변 블럭 구성 예시도.
도 3은 도 2중 헤드 트래킹 바(200)의 상세 구성 예시도.
도 4는 본 발명의 실시예에 따른 헤드 트래킹 바의 데이터 처리 흐름도.
도 5는 본 발명의 실시예에 따른 헤드 트래킹에 의해 실제 HMD(100) 착용자가 볼 수 있는 화면 크기를 나타낸 도면.1 is an external perspective view of an HMD having a head tracking bar 200 detachably attached to the HMD 100 according to an embodiment of the present invention.
2 is a diagram illustrating an example of a peripheral block configuration of a head tracking bar 200 according to an embodiment of the present invention.
Fig. 3 is a diagram illustrating a detailed configuration of the head tracking bar 200 in Fig. 2;
4 is a flowchart of data processing of a head tracking bar according to an embodiment of the present invention.
FIG. 5 is a view showing a screen size that can be seen by a wearer of an actual HMD 100 by head tracking according to an embodiment of the present invention. FIG.

이하 본 발명의 바람직한 실시예를 첨부 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따라 HMD(100)에 탈부착 가능한 헤드 트래킹 바(200)가 부착되어 있는 HMD(100)의 외관 사시도를 도시한 것이다. 1 is an external perspective view of an HMD 100 having a head tracking bar 200 detachably attached to the HMD 100 according to an embodiment of the present invention.

도시한 바와 같이 HMD(100)는 사용자의 헤드에 착용하기 위한 헤드 밴드부(105)가 존재한다. 이러한 헤드 밴드부(105)는 사용자의 헤드 크기 및 형상에 따라 둘레가 조절 가능하도록 되어 있다. 본 발명의 실시예에 따른 헤드 트래킹 바(200)는 일실시예로서 상술한 헤드 밴드부(105)에 클립 등을 이용해 탈부착 가능하다. 물론 헤드 밴드부(105)에만 탈부착 가능한 것이 아니라, HMD(100) 전면에 위치하는 디스플레이부(110)의 프레임에 부착되어 사용 가능하다.As shown in the figure, the HMD 100 has a headband unit 105 to be worn on the user's head. The headband unit 105 is adjustable in circumference according to the size and shape of the user's head. The head tracking bar 200 according to an embodiment of the present invention is detachably attachable to the headband unit 105 using a clip or the like. Of course, it can be attached to and attached to the frame of the display unit 110 located on the front surface of the HMD 100, instead of being detachably attached to the headband unit 105 only.

도 2는 본 발명의 실시예에 따른 헤드 트래킹 바(200)의 주변 블럭 구성도를 예시한 것이며, 도 3은 도 2중 헤드 트래킹 바(200)의 상세 구성도를 예시한 것이다.FIG. 2 illustrates a peripheral block diagram of the head tracking bar 200 according to an embodiment of the present invention. FIG. 3 illustrates a detailed configuration of the head tracking bar 200 in FIG.

도 2를 참조하면, HMD(100)는 앞서 설명한 바와 같이 크게 착용자 헤드에 착용하기 위한 헤드 밴드부(105)가 존재하고, 시각출력장치의 일종인 디스플레이부(110)가 헤드 밴드부(105)의 전면에 배치되어 PC 혹은 게임기와 같은 영상 콘텐츠 제공기(400)로부터 제공되는 가상화면 혹은 게임 영상을 전달받아 표시해 준다.Referring to FIG. 2, the HMD 100 includes a headband unit 105 for wearing the wearer's head, and a display unit 110, which is a type of visual output device, And displays a virtual screen or a game image provided from a video content provider 400 such as a PC or a game machine.

헤드 트래킹 바(200)는 HMD(100)의 헤드 밴드부(105)에 부착되어 HMD(100) 착용자의 헤드 이동을 트래킹하여 얻어진 헤드 마운트 디스플레이(HMD)의 이동 위치값을 무선 송수신해 준다.The head tracking bar 200 is attached to the headband unit 105 of the HMD 100 to wirelessly transmit and receive the movement position value of the head mounted display HMD obtained by tracking the head movement of the wearer of the HMD 100.

영상 콘텐츠 제공기(400)에 결합되거나 혹은 내장되는 무선 송수신부(300)는 상기 헤드 트래킹 바(200)에서 무선 송신되는 헤드 마운트 디스플레이(HMD)의 이동 위치값을 수신하여 영상 콘텐츠 제공기(400)로 전달하며, 필요에 따라 영상 콘텐츠 제공기(400)로부터 전송 요청받은 제어데이터를 헤드 트래킹 바(200)로 송출해 주는 역할을 담당한다. 이러한 무선 송수신부(300)는 단순히 수신 기능만을 가지는 USB 형태의 동글로도 구현 가능하고, 근거리 무선 통신이 가능한 블루투스 모듈로도 구현 가능하다. 동글 타입의 상기 무선 송수신부(300)는 헤드 트래킹 바(200)와 함께 헤드 트래킹 바 시스템을 구성하는 것으로 정의할 수 있다.The wireless transceiver 300 coupled to or embedded in the video content provider 400 receives the moving position value of the head mounted display (HMD) wirelessly transmitted from the head tracking bar 200 and transmits the moving position value to the video content provider 400 And transmits control data requested to be transmitted from the video content provider 400 to the head tracking bar 200 as necessary. The wireless transceiver 300 may be implemented as a USB-type dongle having only a receiving function, or may be implemented as a Bluetooth module capable of short-range wireless communication. The wireless transceiver 300 of the dongle type can be defined as constituting a head tracking bar system together with the head tracking bar 200.

영상 콘텐츠 제공기(400)는 무선 송수신부(300)를 통해 수신된 헤드 마운트 디스플레이(HMD)의 이동 위치값에 맞는 영상 콘텐츠(가상현실 혹은 게임 영상) 화면을 HMD(100)에 제공해 준다.The video content provider 400 provides the HMD 100 with a video content (virtual reality or game video) screen corresponding to the moving position value of the head mounted display (HMD) received through the wireless transceiver 300.

이하 도 3을 참조하여 도 2에 도시한 헤드 트래킹 바(200)의 상세 구성을 보다 구체적으로 설명하면,The detailed construction of the head tracking bar 200 shown in Fig. 2 will be described in more detail with reference to Fig. 3,

3축 자이로 센서(205)는 부착된 헤드 마운트 디스플레이(HMD)(100)의 상하(X축), 좌우(Y축), 앞뒤(Z축) 축 방향으로의 회전 각속도를 감지하여 후술할 제어부(220)로 전달한다.The three-axis gyro sensor 205 senses rotational angular velocities in the vertical direction (X axis), left and right (Y axis), and front and back (Z axis) axes of the attached head mount display (HMD) 220).

가속도 센서(210)는 헤드 마운트 디스플레이(HMD)(100)의 움직임에 따른 가속도를 감지하여 그에 따른 감지 데이터를 후술할 제어부(220)로 전달하며,The acceleration sensor 210 senses the acceleration according to the movement of the head mounted display (HMD) 100 and transmits the sensed data to the controller 220 to be described later,

지자기 센서(215)는 헤드 마운트 디스플레이(HMD)(100) 주변의 자기장을 감지하여 그에 따른 감지 데이터를 후술한 제어부(220)로 전달한다.The geomagnetic sensor 215 senses a magnetic field around the head-mounted display (HMD) 100 and transmits sensed data to the controller 220, which will be described later.

제어부(220)는 3축 자이로 센서(205), 가속도 센서(210) 및 지자기 센서(215)를 통해 획득된 각각의 감지 데이터를 융합 연산처리하여 헤드 마운트 디스플레이(HMD)(100)의 이동 위치값을 계산한다.The control unit 220 performs fusion processing on each of the sensing data obtained through the three-axis gyro sensor 205, the acceleration sensor 210 and the geomagnetic sensor 215 to obtain a moving position value .

보다 구체적으로 제어부(220)는 3축 자이로 센서(205)를 통해 획득된 감지 데이터 중 지면과 수평을 이루는 두 축(Y,Z축)에 대한 회전 각속도값을 상기 가속도 센서(210)를 통해 획득된 감지 데이터로 보정하고, 상기 3축 자이로 센서(205)를 통해 획득된 감지 데이터 중 지면과 수직을 이루는 축(X축)에 대한 회전 각속도값을 상기 지자기 센서(215)를 통해 획득된 감지 데이터로 보정하여 헤드 마운트 디스플레이(HMD)(100)의 이동 위치값을 계산한다.More specifically, the control unit 220 acquires rotation angular velocity values for two axes (Y, Z axes) horizontal to the ground of the sensed data acquired through the three-axis gyro sensor 205 through the acceleration sensor 210 Axis gyro sensor 205 and outputs the rotation angular velocity value about an axis (X-axis) perpendicular to the ground to the sensing data obtained through the geomagnetism sensor 215 To calculate the movement position value of the head mount display (HMD) 100. [

무선 송수신부(230)는 예를 들어 2.4GHz 대역의 송수신기로서, 제어부(220)에 의해 계산된 헤드 마운트 디스플레이(HMD)(100)의 이동 위치값을 헤드 마운트 디스플레이(HMD)(100)에 영상 제공하는 외부 장치, 즉 영상 콘텐츠 제공기(400)로 무선 송신하거나 상기 외부 장치, 즉 영상 콘텐츠 제공기(400)로부터 요청 데이터를 수신한다. 이러한 무선 송수신부(230)와 영상 콘텐츠 제공기(400)에 결합되는 혹은 내장되는 무선 송수신부(300) 사이의 통신 속도는 50 내지 100MHz이다.The wireless transceiver 230 is a transceiver in the 2.4 GHz band and transmits the moving position value of the head mounted display (HMD) 100 calculated by the controller 220 to the head mounted display (HMD) I.e., the video content provider 400, or receives the request data from the external device, i.e., the video content provider 400. [ The communication speed between the wireless transceiver 230 and the wireless transceiver 300 coupled to or embedded in the video content provider 400 is 50 to 100 MHz.

이하 상술한 구성을 가지는 헤드 트래킹 바(200)의 동작을 도 4 및 도 5를 참조하여 보다 구체적으로 설명하기로 한다.Hereinafter, the operation of the head tracking bar 200 having the above-described configuration will be described in more detail with reference to FIGS. 4 and 5. FIG.

우선 도 4는 본 발명의 실시예에 따른 헤드 트래킹 바(200)의 데이터 처리 흐름도를 설명하기 위한 도면을 도시한 것이며, 도 5는 본 발명의 실시예에 따른 헤드 트래킹에 의해 실제 HMD(100) 착용자가 볼 수 있는 화면 크기를 예시한 도면이다.4 is a view for explaining a data processing flowchart of the head tracking bar 200 according to the embodiment of the present invention. FIG. 5 is a block diagram of the actual HMD 100 by head tracking according to an embodiment of the present invention. Fig. 8 is a diagram illustrating a screen size that a wearer can view.

도 4를 참조하면, 우선 HMD(100)의 헤드 밴드부(105)에 본 발명의 실시예에 따른 헤드 트래킹 바(200)가 부착된 상태라 가정하고 HMD(100) 착용자가 헤드를 이동(S10단계)하면, 그에 따라 헤드 트래킹 바(100)에 위치하는 3축 자이로 센서(205), 가속도 센서(210), 지자기 센서(215)에서는 헤드 이동에 따라 회전 각속도, 가속도, 지자기 센싱값에 해당하는 감지 데이터가 발생(S12단계)한다.4, assuming that the head tracking bar 200 according to the embodiment of the present invention is attached to the headband unit 105 of the HMD 100, the wearer of the HMD 100 moves the head The three-axis gyro sensor 205, the acceleration sensor 210, and the geomagnetic sensor 215 located in the head tracking bar 100 detect the rotation angular velocity, the acceleration, and the geomagnetism sensing value in accordance with the movement of the head Data is generated (step S12).

이에 제어부(220)는 각각의 센서들(205,210,215)로부터 발생된 감지 데이터를 전달받아 이를 융합 연산 처리(S14단계)한다.The control unit 220 receives the sensed data generated from the sensors 205, 210, and 215 and performs a fusion calculation process (step S14).

융합 연산 처리함은 본 발명의 실시예에서 3축 자이로 센서(205)를 통해 획득된 각 축의 회전 각속도를 나머지 센서들(210,215)에서 얻어진 감지 데이터로 보정하는 것을 말한다.In the embodiment of the present invention, the rotational angular velocity of each axis obtained through the three-axis gyro sensor 205 is corrected by the sensed data obtained from the remaining sensors 210 and 215. [

즉, 제어부(220)는 3축 자이로 센서(205)를 통해 획득된 감지 데이터 중 지면과 수평을 이루는 두 축(Y,Z축)에 대한 회전 각속도값을 가속도 센서(210)를 통해 획득된 감지 데이터로 보정하고, 3축 자이로 센서(205)를 통해 획득된 감지 데이터 중 지면과 수직을 이루는 축(X축)에 대한 회전 각속도값을 상기 지자기 센서(215)를 통해 획득된 감지 데이터로 보정하여 헤드 마운트 디스플레이(HMD)(100)의 이동 위치값을 계산(S16단계)한다.That is, the control unit 220 detects a rotational angular velocity value about two axes (Y, Z axes) horizontal to the ground, of the sensed data acquired through the three-axis gyro sensor 205, And corrects the rotational angular velocity value about the axis (X axis) perpendicular to the ground of the sensed data obtained through the triaxial gyro sensor 205 to sensed data obtained through the geomagnetism sensor 215 The moving position value of the head mount display (HMD) 100 is calculated (step S16).

참고적으로 보정방법은 제공되는 영상 콘텐츠의 특성을 감안하여 콘텐츠 개발업자가 제시하는 보정방법에 따라 보정할 수 있다. 예를 들면, 제어부(220)는 3축 자이로 센서(205)를 통해 획득된 감지 데이터 중 지면과 수평을 이루는 두 축(Y,Z축)에 대한 회전 각속도값을 가속도 센서(210)를 통해 획득된 감지 데이터로 보정하되, Y축과 Z축으로 회전된 각속도 값을 80% 반영하고, 가속도 센서(210)를 통해 획득된 가속도 값을 20% 반영하는 방식으로 Y축과 Z축에 대한 보정을 수행할 수 있다.For reference, the correction method can be corrected according to the correction method presented by the content developer considering the characteristics of the provided image contents. For example, the control unit 220 acquires rotation angular velocity values for two axes (Y, Z axes) horizontal to the ground of the sensed data acquired through the three-axis gyro sensor 205 through the acceleration sensor 210 And corrects the Y-axis and Z-axis by a method of reflecting 80% of the angular velocity values rotated in the Y and Z axes and 20% of the acceleration values obtained through the acceleration sensor 210 Can be performed.

상술한 각각의 센서들(205,210,215)을 통해 획득된 감지 데이터를 연산 처리하여 헤드 마운트 디스플레이(HMD)(100)의 이동 위치값이 계산되면, 제어부(220)는 무선 송수신부(230)를 통해 계산된 HMD(100)의 이동 위치값을 외부 장치인 영상 콘텐츠 제공기(400)로 송신(S18단계)한다.When the moving position value of the head mounted display (HMD) 100 is calculated by calculating the sensed data acquired through the sensors 205, 210 and 215 described above, the controller 220 calculates The moving position value of the HMD 100 is transmitted to the video content providing device 400 which is an external device (step S18).

이에 외부 장치인 영상 콘텐츠 제공기(400)에 결합된 혹은 내장된 무선 송수신부(300)는 헤드 트래킹 바(200)에서 무선 송신된 HMD(100)의 이동 위치값을 수신하여 영상 콘텐츠 제공기(400)로 전달함으로써, 영상 콘텐츠 제공기(400)는 HMD(100) 트래킹에 따른 영상 화면을 HMD(100)로 제공(S20단계)할 수 있게 되는 것이다.The wireless transceiver 300 coupled to or incorporated in the image content provider 400 as an external device receives the moving position value of the HMD 100 wirelessly transmitted from the head tracking bar 200 and transmits the moving position value to the image content provider 400, the image content provider 400 can provide the HMD 100 with an image screen according to the HMD 100 tracking operation (step S20).

도 5의 (a)는 헤드 트래킹 기술이 적용되지 않은 HMD(100)의 디스플레이부에 표시되는 전체 화면의 크기를 도시한 것으로, HMD(100) 착용자가 눈으로 볼 수 있는 화면크기가 곧 전체 화면 크기를 나타낸다. 이에 반하여 도 5의 (b)는 헤드 트래킹에 의해 상, 하, 좌, 우 방향으로 확장되어 볼 수 있는 전체 화면의 크기가 도시되어 있다. 즉 헤드 트래킹이 없을 경우 단순히 HMD(100) 착용자가 눈으로 보는 화면크기는 도 5의 (a)에 도시된 화면크기와 동일하지만, 헤드 트래킹 바(200)에 의해 상,하,좌,우 방향으로 헤드 트래킹이 이루어진 경우에는 보다 큰 화면 영상을 볼 수 있는 효과를 얻게 된다.5A shows the size of the entire screen displayed on the display unit of the HMD 100 to which the head tracking technique is not applied. The screen size of the HMD 100, Size. On the other hand, FIG. 5 (b) shows the size of the full screen which can be seen in the upward, downward, leftward and rightward directions by head tracking. That is, when there is no head tracking, the size of the screen that the wearer of the HMD 100 visually sees is the same as the screen size shown in FIG. 5 (a), but the head tracking bar 200 moves the upper, It is possible to see a larger screen image.

따라서 본 발명의 실시예에 따른 헤드 트래킹 바(200) 및 무선 송수신부(300)를 이용하게 되면, 헤드 트래킹 기술이 적용되지 않은 HMD를 이용하는 사용자라 할지라도 실제 헤드 트래킹 기술이 적용된 HMD와 동일한 형태의 가상현실 영상 혹은 보다 큰 화면 영상을 제공받을 수 있게 된다. 따라서, 본 발명은 헤드 트래킹 기술이 적용되어 있지 않은 HMD의 활용도를 향상시킬 수 있는 효과를 얻을 수 있다.Therefore, by using the head tracking bar 200 and the wireless transceiver 300 according to the embodiment of the present invention, even if a user using the HMD without the head tracking technology is used, A virtual reality image of a larger size or a larger screen image can be provided. Therefore, the present invention can improve the utilization of the HMD to which the head tracking technique is not applied.

이상 본 발명은 도면에 도시된 실시예들을 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해서만 정해져야 할 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the invention. Accordingly, the true scope of the present invention should be determined only by the appended claims.

Claims (3)

삭제delete 삭제delete 헤드 마운트 디스플레이의 상하(X축), 좌우(Y축), 앞뒤(Z축) 축 방향으로의 회전 각속도를 감지하기 위한 3축 자이로 센서와, 상기 헤드 마운트 디스플레이의 움직임에 따른 가속도를 감지하기 위한 가속도 센서와, 상기 헤드 마운트 디스플레이 주변의 자기장을 감지하기 위한 지자기 센서와, 상기 자이로 센서, 가속도 센서 및 지자기 센서를 통해 획득된 감지 데이터를 융합 연산처리 하여 상기 헤드 마운트 디스플레이의 이동 위치값을 계산하기 위한 제어부와, 상기 제어부에 의해 계산된 헤드 마운트 디스플레이의 이동 위치값을 상기 헤드 마운트 디스플레이에 영상 제공하는 외부 장치로 무선 송신하거나 상기 외부 장치로부터 요청 데이터를 수신하기 위한 무선 송수신부를 포함하여 헤드 마운트 디스플레이에 탈부착 가능한 헤드 마운트 디스플레이용 헤드 트래킹 바와;
상기 외부 장치에 결합되어 상기 무선 송수신부로부터 상기 헤드 마운트 디스플레이의 이동 위치값을 수신하여 상기 외부 장치로 전달하기 위한 USB 타입의 동글;을 포함하되, 상기 제어부는,
상기 자이로 센서를 통해 획득된 감지 데이터 중 지면과 수평을 이루는 두 축(Y,Z)으로 회전된 각속도 값을 n% 반영하고 상기 가속도 센서를 통해 획득된 가속도 값을 (100-n)% 반영하는 방식으로 지면과 수평을 이루는 상기 두 축(Y, Z)에 대한 회전 각속도값을 보정하고, 상기 자이로 센서를 통해 획득된 감지 데이터 중 지면과 수직을 이루는 축(X)에 대한 회전 각속도값을 상기 지자기 센서를 통해 획득된 감지 데이터로 보정하여 상기 헤드 마운트 디스플레이의 이동 위치값을 계산함을 특징으로 하는 헤드 마운트 디스플레이용 헤드 트래킹 바 시스템.A three-axis gyro sensor for sensing a rotational angular velocity in the vertical direction (X-axis), left and right (Y-axis) and front and rear (Z-axis) axes of the head mount display, An acceleration sensor, a geomagnetism sensor for sensing a magnetic field around the head mount display, and a movement position value of the head mount display by performing fusion processing on sensed data obtained through the gyro sensor, the acceleration sensor, and the geomagnetism sensor And a wireless transceiver for wirelessly transmitting the movement position value of the head mount display calculated by the controller to an external device for providing an image to the head mount display or receiving request data from the external device, Detachable head mount display Tracking head bar;
And a USB type dongle coupled to the external device for receiving a movement position value of the head mount display from the wireless transceiver and transmitting the received movement position value to the external device,
Among the sensed data acquired through the gyro sensor, n% of angular velocity values rotated by two axes (Y, Z) parallel to the ground are reflected and (100-n)% acceleration values obtained through the acceleration sensor are reflected (Y, Z), which are horizontal with respect to the ground, and corrects the rotational angular velocity value of the sensing data obtained through the gyro sensor with respect to the axis (X) And calculates a moving position value of the head mounted display by correcting the sensed data obtained through the geomagnetic sensor.
KR1020140025954A 2014-03-05 2014-03-05 Head tracking bar system for head mount display KR101665027B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140025954A KR101665027B1 (en) 2014-03-05 2014-03-05 Head tracking bar system for head mount display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140025954A KR101665027B1 (en) 2014-03-05 2014-03-05 Head tracking bar system for head mount display

Publications (2)

Publication Number Publication Date
KR20150104338A KR20150104338A (en) 2015-09-15
KR101665027B1 true KR101665027B1 (en) 2016-10-11

Family

ID=54244082

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140025954A KR101665027B1 (en) 2014-03-05 2014-03-05 Head tracking bar system for head mount display

Country Status (1)

Country Link
KR (1) KR101665027B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10698068B2 (en) 2017-03-24 2020-06-30 Samsung Electronics Co., Ltd. System and method for synchronizing tracking points
US11521580B2 (en) 2019-07-30 2022-12-06 Samsung Display Co., Ltd. Display apparatus and virtual reality display system for generating a temporary image based on head tracking information

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102610120B1 (en) 2016-01-20 2023-12-06 삼성전자주식회사 Head mounted display and control method thereof
KR102073723B1 (en) * 2019-05-03 2020-02-05 주식회사 피앤씨솔루션 Head-mounted display devie with an inertia measurement unit capable of compensating for error of earth magnetic field

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6369952B1 (en) * 1995-07-14 2002-04-09 I-O Display Systems Llc Head-mounted personal visual display apparatus with image generator and holder
JPH09203637A (en) * 1996-01-26 1997-08-05 Olympus Optical Co Ltd Attitude detector
JP2004085476A (en) * 2002-08-28 2004-03-18 Sony Corp Head tracking method and device
US9110505B2 (en) * 2010-04-16 2015-08-18 Innovative Devices Inc. Wearable motion sensing computing interface

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10698068B2 (en) 2017-03-24 2020-06-30 Samsung Electronics Co., Ltd. System and method for synchronizing tracking points
US11521580B2 (en) 2019-07-30 2022-12-06 Samsung Display Co., Ltd. Display apparatus and virtual reality display system for generating a temporary image based on head tracking information

Also Published As

Publication number Publication date
KR20150104338A (en) 2015-09-15

Similar Documents

Publication Publication Date Title
EP3014338B1 (en) Tracking head movement when wearing mobile device
KR101958778B1 (en) A Head Mounted Display and a Method for Controlling a Digital Device Using the Same
KR102374251B1 (en) Environmental interrupt in a head-mounted display and utilization of non field of view real estate
EP3531274B1 (en) Management of content in a 3d holographic environment
US20180108147A1 (en) Method and device for displaying virtual object
JP6565465B2 (en) Image display device, computer program, and image display system
CN105607255B (en) Head-mounted display device, method of controlling the same, and computer-readable storage medium
EP3486707B1 (en) Perception based predictive tracking for head mounted displays
EP3525033B1 (en) Device, method, and system of providing extended display with head mounted display
JP6250592B2 (en) Head mounted display, information processing apparatus, display control method, and program
CN205726125U (en) A kind of novel robot Long-Range Surveillance System
US11662589B2 (en) Geometry modeling of eyewear devices with flexible frames
WO2017047367A1 (en) Computer program for line-of-sight guidance
WO2014110469A1 (en) Wearable behavior-based vision system
KR101665027B1 (en) Head tracking bar system for head mount display
CN110431468B (en) Determining a position and orientation of a user's torso for a display system
WO2016051431A1 (en) Input/output device, input/output program, and input/output method
JP6890524B2 (en) Attitude control system
US20220230357A1 (en) Data processing
US20180101226A1 (en) Information processing apparatus
WO2017163647A1 (en) Head-mounted device
US11983306B2 (en) Peripheral tracking system and method
US20230221794A1 (en) Head mounted display device and display content control method
JP2017033465A (en) Method and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190731

Year of fee payment: 4