KR20180072928A - 헤드트래커 기능을 구비하는 고글형 디스플레이 장치 및 이에 의한 카메라 짐벌 제어방법 - Google Patents

헤드트래커 기능을 구비하는 고글형 디스플레이 장치 및 이에 의한 카메라 짐벌 제어방법 Download PDF

Info

Publication number
KR20180072928A
KR20180072928A KR1020160176068A KR20160176068A KR20180072928A KR 20180072928 A KR20180072928 A KR 20180072928A KR 1020160176068 A KR1020160176068 A KR 1020160176068A KR 20160176068 A KR20160176068 A KR 20160176068A KR 20180072928 A KR20180072928 A KR 20180072928A
Authority
KR
South Korea
Prior art keywords
type display
camera
display device
head
goggle
Prior art date
Application number
KR1020160176068A
Other languages
English (en)
Inventor
홍성경
한재원
신재관
Original Assignee
(주)에이알웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에이알웍스 filed Critical (주)에이알웍스
Priority to KR1020160176068A priority Critical patent/KR20180072928A/ko
Publication of KR20180072928A publication Critical patent/KR20180072928A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon Stands for scientific apparatus such as gravitational force meters
    • F16M11/20—Undercarriages with or without wheels
    • F16M11/2007—Undercarriages with or without wheels comprising means allowing pivoting adjustment
    • F16M11/2035—Undercarriages with or without wheels comprising means allowing pivoting adjustment in more than one direction
    • F16M11/2042—Undercarriages with or without wheels comprising means allowing pivoting adjustment in more than one direction constituted of several dependent joints
    • F16M11/205—Undercarriages with or without wheels comprising means allowing pivoting adjustment in more than one direction constituted of several dependent joints the axis of rotation intersecting in a single point, e.g. gimbals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G03B17/561—Support related camera accessories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Abstract

본 발명은 헤드트래커 기능을 구비하는 고글형 디스플레이 장치 및 이에 의한 카메라 짐벌 제어방법에 관한 것으로서, 더욱 상세하게는 머리의 움직임을 감지하는 헤드트래커(head-tracker) 기능을 구비하는 고글형(goggle-type) 디스플레이 장치와, 이에 의하여 머리의 움직임에 따라 카메라 짐벌(gimbal)을 제어하는 방법에 관한 것이다.
본 발명에 의하면, 고글형 디스플레이 장치를 착용한 사용자로 하여금, 별도의 짐벌 조종기 등을 이용한 조작 없이 머리의 움직임만으로 고글형 디스플레이 장치 화면에 나타나는 시야를 변경할 수 있도록 하여, 사용자가 더욱 쉽고 직관적인 움직임으로 촬영되는 방향을 제어할 수 있게 하는 고글형 디스플레이 장치 및 이에 의한 카메라 짐벌 제어방법을 제공하며, 또한 이에 따라, 비행 중인 짐벌을 조종하기 위한 별도의 조종기를 사용하지 않아 조작의 편의성이 증대된 고글형 디스플레이 장치 및 이에 의한 카메라 짐벌 제어방법을 제공한다.

Description

헤드트래커 기능을 구비하는 고글형 디스플레이 장치 및 이에 의한 카메라 짐벌 제어방법{GOGGLE-TYPE DISPLAY APPARATUS WITH HEAD-TRACKER FUNCTION AND METHOD FOR CONTROLLING CAMERA GIMBAL}
본 발명은 헤드트래커 기능을 구비하는 고글형 디스플레이 장치 및 이에 의한 카메라 짐벌 제어방법에 관한 것으로서, 더욱 상세하게는 머리의 움직임을 감지하는 헤드트래커(head-tracker) 기능을 구비하는 고글형(goggle-type) 디스플레이 장치와, 이에 의하여 머리의 움직임에 따라 카메라 짐벌(gimbal)을 제어하는 방법에 관한 것이다.
일반적으로 FPV(first person view) 고글과 짐벌은 별도의 시스템으로 구성되어 사용자가 FPV 고글을 통하여, 드론 등의 비행체에 설치된 카메라에 의해 촬영되는 다른 방향의 영상을 보려 할 때, 별도의 짐벌 조종기를 사용하여 카메라의 방향을 조종하여야 하였다. 이는 FPV 고글 외에도 별도의 짐벌 조종기를 구비하여야 하는 번거로움이 존재하며, 또한 짐벌 조종기에 의한 카메라 촬영 방향 조종이 익숙치 않을 경우 원하는대로의 촬영을 하기 어려운 문제점이 있었다.
KR 10-1536095 B1
본 발명은 이와 같은 문제점을 해결하기 위해 창안된 것으로서, 고글형 디스플레이 장치를 착용한 사용자로 하여금, 별도의 짐벌 조종기 등을 이용한 조작 없이 머리의 움직임만으로 고글형 디스플레이 장치 화면에 나타나는 시야를 변경할 수 있도록 하여, 사용자가 더욱 쉽고 직관적인 움직임으로 촬영되는 방향을 제어할 수 있게 하는 고글형 디스플레이 장치 및 이에 의한 카메라 짐벌 제어방법을 제공하는데 그 목적이 있다. 또한 이에 따라, 비행 중인 짐벌을 조종하기 위한 별도의 조종기를 사용하지 않아 조작의 편의성이 증대된 고글형 디스플레이 장치 및 이에 의한 카메라 짐벌 제어방법을 제공하는데 다른 목적이 있다.
이와 같은 목적을 달성하기 위하여 본 발명에 따른 자세에 따른 카메라 짐벌(gimbal) 제어를 수행하는 고글형 디스플레이 장치는, 고글형 디스플레이 장치를 착용한 사용자의 머리의 자세를 지속적으로 감지하는 자세 감지부; 상기 자세 감지부에서 감지한 자세 정보를 카메라 짐벌로 송신하는 제어정보 송신부; 상기 카메라 짐벌로부터 촬영 영상신호를 수신하는 영상신호 수신부; 수신된 영상을 디스플레이해주는 디스플레이부; 및 고글형 디스플레이 장치의 상기 각 모듈을 제어하여 자세에 따른 카메라 짐벌(gimbal) 제어를 위한 일련의 과정을 수행하는 제어부를 포함한다.
본 발명에 의하면, 고글형 디스플레이 장치를 착용한 사용자로 하여금, 별도의 짐벌 조종기 등을 이용한 조작 없이 머리의 움직임만으로 고글형 디스플레이 장치 화면에 나타나는 시야를 변경할 수 있도록 하여, 사용자가 더욱 쉽고 직관적인 움직임으로 촬영되는 방향을 제어할 수 있게 하는 고글형 디스플레이 장치 및 이에 의한 카메라 짐벌 제어방법을 제공하며, 또한 이에 따라, 비행 중인 짐벌을 조종하기 위한 별도의 조종기를 사용하지 않아 조작의 편의성이 증대된 고글형 디스플레이 장치 및 이에 의한 카메라 짐벌 제어방법을 제공하는 효과가 있다.
도 1은 본 발명에 따른 헤드트래커 기능을 구비하는 고글형 디스플레이 장치 및 이에 의하여 제어되는 카메라 짐벌을 도시한 도면.
도 2는 본 발명에 따른 헤드트래커 기능을 구비하는 고글형 디스플레이 장치의 구성을 나타내는 블럭도.
도 3은 본 발명에 따른 헤드트래커 기능을 구비하는 고글형 디스플레이 장치의 카메라 짐벌 제어 방법을 나타내는 순서도.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명에 따른 헤드트래커 기능을 구비하는 고글형 디스플레이 장치(100) 및 이에 의하여 제어되는 카메라 짐벌(200)을 도시한 도면이고, 도 2는 본 발명에 따른 헤드트래커 기능을 구비하는 고글형 디스플레이 장치(100)의 구성을 나타내는 블럭도이고, 도 3은 본 발명에 따른 헤드트래커 기능을 구비하는 고글형 디스플레이 장치(100)의 카메라 짐벌 제어 방법을 나타내는 순서도이다. 이하에서는, 도 1, 도 2 및 도 3을 참조하여 본 발명에 따른 헤드트래커 기능을 구비하는 고글형 디스플레이 장치(100) 및 이에 의한 카메라 짐벌 제어방법을 설명한다.
드론 등의 비행체에 설치된 카메라 짐벌(200)에는 비행중 주변 영상을 촬영하기 위한 카메라가 장착되어 있다. 이와 같은 카메라 짐벌(200)은, 무선으로 원격 제어가 가능하도록 하여, 원격 제어에 의해 카메라의 촬영 방향을 변경해가면서 촬영할 수 있도록 한다. 카메라 짐벌(200)에는 이와 같은 무선 제어신호를 수신할 수 있는 무선통신 모듈이 구비되어 있고, 이와 같은 무선 제어신호에 따라 짐벌 제어기(210)는, 장착되어 있는 카메라의 촬영방향을 바꾸도록 제어하는 역할을 수행한다.
또한 본 발명의 고글형 디스플레이 장치(100)는, 전술한 바와 같은 무선 제어신호를 카메라 짐벌(200)로 송신하여, 카메라 촬영 방향을 원격으로 제어한다. 특히 본 발명의 고글형 디스플레이 장치(100)에는, 고글형 디스플레이 장치(100)를 착용한 사용자의 머리의 자세를 감지하는 자세 감지부(120)를 구비한다. 도 1에서, 고글형 디스플레이 장치(100)에 'IMU'라고 표기한 구성요소는 'Inertial Measurement Unit(관성측정장치)'으로서, 도 2에 도시된 '자세 감지부(120)'에 포함되는 일종의 센서들에 해당한다. 이와 같은 IMU는, 이동 물체의 속도와 방향, 중력, 가속도를 측정하는 기능을 구비할 수 있다. 일예로서 3차원 공간에서 자유로운 움직임을 측정하기 위해 가속도계, 자이로스코프, 지자계 센서로 축을 이루도록 구성할 수 있는데, 이 경우 가속도계는 이동 관성을, 자이로스코프는 회전 관성을, 지자계 센서는 방위각을 측정한다. 물론 IMU에는 이외에 다른 센서들을 더 포함할 수도 있다.
본 발명의 자세 감지부(120)는 이와 같은 IMU를 이용하여 고글형 디스플레이 장치(100)를 착용한 사용자의 머리의 움직임에 따른 자세를 정확히 측정하여 그와 같이 측정 또는 감지된 자세정보를 획득하는 역할을 수행한다.
즉, 본 발명의 고글형 디스플레이 장치(100)는, 카메라 짐벌(200)에 장착된 카메라의 촬영 방향을 바꾸기 위한 제어를 수행하기 위하여, 사용자가 조작해야 하는 별도의 제어장치가 필요없으며, 사용자가 고글형 디스플레이 장치(100)를 장착한 후, 바라보는 방향을 바꾸기 위하여 머리를 움직이면, 이에 따라 자동으로 카메라 짐벌(200)에 장착된 카메라의 촬영 방향을 바꾸기 위한 제어신호가 송출되어 카메라의 촬영방향이 변경되도록 하는 편리성을 가지고 있다. 예를 들어 얼굴을 오른쪽으로 돌리면 이와 같은 자세정보가 카메라 짐벌(200)로 송신되어, 카메라의 촬영방향도 자연스럽게 오른쪽으로 변경되어, 직관적으로 쉽고 자연스럽게 촬영방향을 변경할 수 있으며, 이는 카메라 방향을 제어하기 위해 사용자가 별도의 원격제어장치를 손에 들고 조작해야만 하는 불편함과 부자연스러움을 극복하게 해준다.
도 2를 참조하면, 제어정보 송신부(130)는, 자세 감지부(120)에서 감지한 사용자 머리의 자세 정보를 카메라 짐벌(200)로 송신하는 역할을 수행한다. 이때 그러한 정보를 무선으로 실제로 송출하는 역할은, 무선 송수신부(150)가 담당한다. 무선 송수신 방식은, 와이파이 통신, RF 등, 다양한 방식을 채택할 수 있다.
영상신호 수신부(140)는, 무선 송수신부(150)에 의해 카메라 짐벌(200)로부터 무선으로 수신한 카메라 촬영 영상신호를 수신 처리하는 역할을 수행하고, 디스플레이부(160)는 이와 같이 수신된 촬영영상을 디스플레이해주어 사용자가, 착용하고 있는 고글형 디스플레이 장치(100)를 통하여 촬영영상을 볼 수 있도록 해준다.
사용자 입력부(170)는, 사용자가 고글형 디스플레이 장치(100)를 통하여 입력하는 제어명령을 입력받는 역할을 수행한다. 일예로서, 카메라 온,오프 스위치를 구비할 수도 있고, 촬영 방식을 동영상 촬영, 정지영상 촬영 등으로 변경할 수도 있는 등, 다양한 제어명령을 사용자가 입력할 수 있도록 해준다.
제어부(110)는, 고글형 디스플레이 장치(100)의 전술한 각 모듈을 제어하여 자세에 따른 카메라 짐벌(gimbal) 제어를 위한 일련의 과정을 수행하는 역할을 수행한다.
도 3을 참조하여, 지금까지 설명한 본 발명의 고글형 디스플레이 장치(100)의 제어방법을 간략히 정리하면 이하와 같다.
사용자가 사용자 입력부(170)를 통한 스위치 제어 등에 의해 카메라를 온(ON) 시키도록 명령을 입력하면, 그와 같은 카메라 전원 온(ON) 제어신호를, 드론 등의 비행체에 설치된 카메라 짐벌(200)로 무선으로 송신한다(S301). 카메라 짐벌(200)은 이에 따라 카메라 전원을 온(ON)시키고(S302), 카메라에 의하여 주변촬영을 시작한다.
촬영하는 방식은, 동영상 촬영 또는 정지영상 촬영 등이 가능한데, 이 또한 사용자가 버튼 등으로 제어명령을 내리고, 이에 따라 무선 제어신호를 카메라 짐벌로 송신하여 선택 설정할 수 있도록 할 수 있다. 도시되지는 아니하였으나, 정지영상촬영으로 설정한 경우는, 촬영하는 순간 사용자가 셔터 버튼 등을 눌러 촬영신호가 카메라 짐벌(200)로 가도록 할 수 있다.
카메라 짐벌(200)은 촬영된 영상의 영상신호를 고글형 디스플레이 장치(100)로 송신한다(S303). 정지영상 촬영인 경우는 사용자의 셔터 조작에 따른 정지영상 송출이 될 수 있고, 동영상 촬영인 경우는 지속적인 영상신호 송출이 이루어질 수 있다.
고글형 디스플레이 장치(100)는 수신한 촬영영상을 화면에 디스플레이해준다(S304). 고글형 디스플레이 장치(100)는, 사용자 머리의 자세를 감지하여(S305), 감지된 자세정보를 카메라 짐벌(200)로 송신해주는데(S306), 정지영상 촬영이라면, 사용자가 셔터를 누른 시점의 자세정보를 보내주고(S306), 동영상 촬영이라면 카메라 촬영 시작 후 지속적으로 감지되는 자세정보를 지속적으로 카메라 짐벌(200)로 송신해줄 수 있다(S306).
자세정보를 수신한 카메라 짐벌(200)은, 그 자세정보에 따라 카메라의 촬영방향을 제어하고(S307), 변경된 상태에서 촬영된 영상을 고글형 디스플레이 장치(100)로 송신해주어(S308), 고글형 디스플레이 장치(100)는 수신한 촬영영상을 화면에 디스플레이해주는데(S309), 이 역시 정지영상 촬영이라면, 사용자가 셔터를 누른 시점의 자세정보에 따른 촬영영상을 보내주고(S308), 동영상 촬영이라면 카메라 촬영 시작 후 지속적으로 감지되는 자세정보에 따라 지속적으로 변경되는 카메라 방향에서의 촬영영상을, 지속적으로 카메라 짐벌(200)로 송신해주게 된다(S308).
촬영을 중단할 경우, 즉, 사용자가 사용자 입력부(170)를 통한 스위치 제어 등에 의해 카메라를 오프(OFF) 시키도록 명령을 입력하면, 그와 같은 카메라 전원 오프(OFF) 제어신호를, 드론 등의 비행체에 설치된 카메라 짐벌(200)로 무선으로 송신하고(S310), 카메라 짐벌(200)은 이에 따라 카메라 전원을 오프(OFF)시키게 된다(S311). 이외에도 동영상 촬영 또는 정지영상 촬영 설정 등의, 사용자에 의한 각종 설정입력도 무선 제어신호로 카메라 짐벌(200)로 송신될 수 있다.
100: 고글형 디스플레이 장치
200: 카메라 짐벌

Claims (1)

  1. 자세에 따른 카메라 짐벌(gimbal) 제어를 수행하는 고글형 디스플레이 장치로서,
    고글형 디스플레이 장치를 착용한 사용자의 머리의 자세를 지속적으로 감지하는 자세 감지부;
    상기 자세 감지부에서 감지한 자세 정보를 카메라 짐벌로 송신하는 제어정보 송신부;
    상기 카메라 짐벌로부터 촬영 영상신호를 수신하는 영상신호 수신부;
    수신된 영상을 디스플레이해주는 디스플레이부; 및
    고글형 디스플레이 장치의 상기 각 모듈을 제어하여 자세에 따른 카메라 짐벌(gimbal) 제어를 위한 일련의 과정을 수행하는 제어부
    를 포함하는 고글형 디스플레이 장치.
KR1020160176068A 2016-12-21 2016-12-21 헤드트래커 기능을 구비하는 고글형 디스플레이 장치 및 이에 의한 카메라 짐벌 제어방법 KR20180072928A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160176068A KR20180072928A (ko) 2016-12-21 2016-12-21 헤드트래커 기능을 구비하는 고글형 디스플레이 장치 및 이에 의한 카메라 짐벌 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160176068A KR20180072928A (ko) 2016-12-21 2016-12-21 헤드트래커 기능을 구비하는 고글형 디스플레이 장치 및 이에 의한 카메라 짐벌 제어방법

Publications (1)

Publication Number Publication Date
KR20180072928A true KR20180072928A (ko) 2018-07-02

Family

ID=62914376

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160176068A KR20180072928A (ko) 2016-12-21 2016-12-21 헤드트래커 기능을 구비하는 고글형 디스플레이 장치 및 이에 의한 카메라 짐벌 제어방법

Country Status (1)

Country Link
KR (1) KR20180072928A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102063520B1 (ko) * 2019-02-01 2020-02-11 김민성 시뮬레이션 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102063520B1 (ko) * 2019-02-01 2020-02-11 김민성 시뮬레이션 장치

Similar Documents

Publication Publication Date Title
US11385645B2 (en) Remote control method and terminal
US20190243357A1 (en) Wearable uav control device and uav system
TWI634047B (zh) 遠端控制方法及終端
KR102165450B1 (ko) 무인 항공기를 제어하는 포터블 디바이스 및 그 제어 방법
US10202189B2 (en) Unmanned aerial vehicle, wearable apparatus including unmanned aerial vehicle, wristwatch including wearable apparatus, method of operating unmanned aerial vehicle, and apparatus for operating unmanned aerial vehicle
US9738382B2 (en) Drone immersion-piloting system
US9886033B2 (en) System for piloting a drone in immersion
US10523871B2 (en) Imaging system and imaging control method with display of image with vertical alignment
US9215362B2 (en) Image capturing system and image capturing method
US20140008496A1 (en) Using handheld device to control flying object
WO2014077046A1 (ja) 画像表示装置及び画像表示方法、移動体装置、画像表示システム、並びにコンピューター・プログラム
WO2018187916A1 (zh) 云台随动控制方法及控制设备
JP6540572B2 (ja) 表示装置および表示制御方法
US9678568B2 (en) Apparatus, system, method for designating displayed items and for controlling operation by detecting movement
US20220350330A1 (en) Remote control method and terminal
KR20190123459A (ko) 촬영용 드론에 의한 헤드마운트 고글 영상정보 제공 시스템
JP7024997B2 (ja) 飛行体操縦システム及び飛行体操縦システムを用いて飛行体を操縦する方法
KR20180122566A (ko) 무인 비행유닛을 이용한 항공영상 촬영 시스템
KR20180072928A (ko) 헤드트래커 기능을 구비하는 고글형 디스플레이 장치 및 이에 의한 카메라 짐벌 제어방법
WO2018142470A1 (ja) カメラ制御装置及びカメラ制御装置用プログラム
KR20180025416A (ko) 모션 인식 및 가상 현실을 이용한 드론 비행 제어 시스템 및 방법
JPH05289739A (ja) 立体画像処理装置およびテレオペレーティングシステム
KR20120065545A (ko) 무선조종 비행체용 무선조종기
KR100748162B1 (ko) 헬멧을 이용한 실시간 영상 디스플레이 장치 및 그를이용한 무인항공기의 카메라 조절 장치
KR102273592B1 (ko) 웨어러블 단말기 및 그 표시 방법