KR20170044451A - 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 시스템 및 방법 - Google Patents

헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 시스템 및 방법 Download PDF

Info

Publication number
KR20170044451A
KR20170044451A KR1020150144169A KR20150144169A KR20170044451A KR 20170044451 A KR20170044451 A KR 20170044451A KR 1020150144169 A KR1020150144169 A KR 1020150144169A KR 20150144169 A KR20150144169 A KR 20150144169A KR 20170044451 A KR20170044451 A KR 20170044451A
Authority
KR
South Korea
Prior art keywords
camera
head
image
user
camera control
Prior art date
Application number
KR1020150144169A
Other languages
English (en)
Inventor
박진배
김재승
정종민
김한솔
이근욱
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020150144169A priority Critical patent/KR20170044451A/ko
Publication of KR20170044451A publication Critical patent/KR20170044451A/ko

Links

Images

Classifications

    • H04N5/232—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 사용자가 착용하는 헤드 마운트 디스플레이에서 얻어내는 사용자의 머리 움직임을 기반으로 원격지에 있는 카메라의 위치 및 움직임을 제어할 수 있도록 한 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 시스템 및 방법에 관한 것으로, 원격지의 카메라로부터 실시간으로 영상을 수신하여 지연감소 영상 처리를 하여 헤드 마운트 디스플레이(HMD)에 표시하고, 사용자 머리 움직임을 트래킹하여 원격지의 카메라 제어 신호를 출력하는 지상 제어 시스템;상기 지상 제어 시스템에서의 제어에 의해 영상을 촬상하는 카메라를 구비하고, 지상 제어 시스템으로부터 받은 사용자 머리 움직임을 기준으로 생성된 카메라 제어 신호에 의해 카메라 제어를 하여 촬영을 하는 이동 로봇;을 포함하는 것이다.

Description

헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 시스템 및 방법{System and Method for Controlling Remote Camera using Head mount display}
본 발명은 원격지 카메라 제어에 관한 것으로, 구체적으로 사용자가 착용하는 헤드 마운트 디스플레이에서 얻어내는 사용자의 머리 움직임을 기반으로 원격지에 있는 카메라의 위치 및 움직임을 제어할 수 있도록 한 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 시스템 및 방법에 관한 것이다.
일반적으로, 영상 카메라는 피사체의 2차원 정보를 전기적으로 기록하는 것으로서, 피사체의 광학적 영상을 전기적 영상으로 변환시켜 메모리에 저장시키고, 메모리에 저장된 영상을 판독하여 인쇄 또는 컴퓨터로 전송하는 장치로, 디지털 카메라, CCD 카메라, CCTV 카메라 및 모바일 카메라 등을 그 예로 들 수 있다.
이러한 영상 카메라는 일반적인 피사체의 촬영, 사람이 관찰할 수 없는 지역의 감시 및 특정지역의 감시 등에 주로 사용되고 있으며, 특히 관찰 및 감시 기능으로 사용되는 경우에는 보다 광범위하고 명확한 화면을 촬영하기 위하여 PTZ(Pan, Tilt, Zoom) 장치가 부가되어 있다.
상기 PTZ 장치는 카메라의 촬영렌즈와 촬상소자가 내장되어 있는 촬영부를 상하 좌우 방향으로 이동 및 회전 가능하게 하는 장치로서, 소정 방향에 위치한 피사체만을 촬영하는 것이 아니라 상하 좌우에 있는 피사체를 모두 촬영할 수 있도록 함으로써 넓은 지역을 보다 효과적으로 관찰 및 감시할 수 있도록 하며, 줌 장치는 일정 크기의 피사체를 더욱 크게 촬영할 수 있도록 함으로써 피사체로부터 보다 구체적이고 자세한 정보를 획득할 수 있게 된다.
따라서 상기 PTZ 장치를 부가한 영상 카메라는 관찰 및 감시 기능을 수행하기 위한 폐쇄회로 감시 시스템에 폭넓게 적용되고 있으며, 상기 PTZ 카메라 장치를 제어하는 방법으로는 PTZ 카메라 장치와 유무선을 통하여 연결된 단말기 상에서 PTZ 키보드 또는 마우스를 조작하여 상기 PTZ 카메라를 조작하는 방법이 일반적으로 사용되고 있다.
원격지에 설치된 카메라로부터 무선 통신 방법을 이용하여 영상을 전송받고 이를 사용자가 착용하고 있는 헤드 마운트 디스플레이에 표시하는 방식에서는 환경에 따라 적절한 전송 방식을 선택하여 실시간 영상 전송에 따른 지연 시간을 최소화하는 것이 필요하다.
하지만, 종래 기술에서의 카메라 제어 방법 및 그 시스템(등록번호 : 10-1452372)은 원격지에 있는 카메라를 헤드 마운트 디스플레이를 이용하여 제어하는 방식이나, PTZ(Pan, Tilt, Zoom)을 제어하기 때문에 기계 장치 움직임의 한계를 극복하기 어렵다.
따라서, 효과적인 촬영이 어렵고, 영상의 지연시간을 최소화하는데 한계가 있어 실시간 영상 표시 및 활용이 어렵다.
대한민국 등록특허 제10-1452372호 대한민국 공개특허 제10-2009-0016246호
본 발명은 이와 같은 종래 기술의 카메라 제어의 문제를 해결하기 위한 것으로, 사용자가 착용하는 헤드 마운트 디스플레이에서 얻어내는 사용자의 머리 움직임을 기반으로 원격지에 있는 카메라의 위치 및 움직임을 제어할 수 있도록 한 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 시스템 및 방법을 제공하는데 그 목적이 있다.
본 발명은 원격지에 존재하는 카메라에서 촬영되는 영상을 헤드 마운트 디스플레이에 표시할 수 있도록 한 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 시스템 및 방법을 제공하는데 그 목적이 있다.
본 발명은 헤드 마운트 디스플레이에서 나오는 사용자의 머리 움직임에 관한 데이터를 이용하여 영상 안정화 장치에 장착된 카메라를 빠르게 움직이도록 제어하고, 사용자의 머리 움직임에 따른 헤드 마운트 디스플레이에 표시되는 영상의 지연시간을 최소화할 수 있도록 한 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 시스템 및 방법을 제공하는데 그 목적이 있다.
본 발명은 드론과 같은 로봇에 장착된 카메라를 사용자의 머리 움직임을 기반으로 제어하고 이를 헤드 마운트 디스플레이에 표시하는 것이 가능하여 공중에서 직접 바라보는 것과 같은 항공 뷰를 제공할 수 있도록 한 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 시스템 및 방법을 제공하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
이와 같은 목적을 달성하기 위한 본 발명에 따른 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 시스템은 원격지의 카메라로부터 실시간으로 영상을 수신하여 지연감소 영상 처리를 하여 헤드 마운트 디스플레이(HMD)에 표시하고, 사용자 머리 움직임을 트래킹하여 원격지의 카메라 제어 신호를 출력하는 지상 제어 시스템;상기 지상 제어 시스템에서의 제어에 의해 영상을 촬상하는 카메라를 구비하고, 지상 제어 시스템으로부터 받은 사용자 머리 움직임을 기준으로 생성된 카메라 제어 신호에 의해 카메라 제어를 하여 촬영을 하는 이동 로봇;을 포함하는 것을 특징으로 한다.
여기서, 이동 로봇은 사용자가 공중에서 직접 바라보는 것과 같은 항공 뷰를 제공할 수 있는 드론인 것을 특징으로 한다.
그리고 지상 제어 시스템은, 원격지의 카메라가 구동되어 실시간으로 영상을 전송하면 이를 수신하고, 수신된 영상의 공간 정보 및 카메라 제어 정보를 제어기로 전송하고, 수신된 영상을 디스플레이 가능하도록 영상 처리하여 헤드 마운트 디스플레이(HMD)로 보내는 지연감소 영상 처리부와,디스플레이 수단 및 사용자 머리 움직임 센싱 수단을 구비하고, 지연감소 영상 처리부로부터 받은 영상을 표시하고 사용자 머리 움직임을 트래킹하여 머리 움직임 데이터를 출력하는 헤드 마운트 디스플레이(HMD)와,지연감소 영상 처리부에서 받은 수신된 영상의 공간 정보 및 카메라 제어 정보를 참고하여 헤드 마운트 디스플레이(HMD)로부터 받은 머리 움직임 데이터를 기준으로 원격지의 카메라 제어 신호를 출력하는 제어기를 포함하는 것을 특징으로 한다.
그리고 지연감소 영상 처리부에서의 지연 감소 영상 처리는 사용자 머리 움직임 신호에 맞추어 그에 맞는 화면을 관심영역으로 설정하는 구성을 포함하는 것을 특징으로 한다.
그리고 이동 로봇은, 지상 제어 시스템으로부터 받은 사용자 머리 움직임을 기준으로 생성된 카메라 제어 신호에 의해 카메라 제어를 하는 카메라 제어 장치와,카메라 제어 장치에 의해 Roll, Pitch, Yaw 3축으로 회전하여 촬영 영역 및 촬영 조건을 변화시켜 촬영하여 실시간으로 영상을 지상 제어 시스템으로 전송하는 카메라를 구비하는 것을 특징으로 한다.
그리고 카메라 제어 장치는 카메라의 화각을 사람의 시야보다 넓은 것으로 촬영하도록 제어하고, 카메라에 의해 촬영된 영상에 사람의 시야 각에 해당하는 만큼의 관심영역을 설정하여 디스플레이하는 것을 특징으로 한다.
다른 목적을 달성하기 위한 본 발명에 따른 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 방법은 원격지의 카메라로부터 실시간으로 영상을 수신하여 지연감소 영상 처리를 하여 헤드 마운트 디스플레이(HMD)에 표시하는 디스플레이 단계;사용자 머리 움직임을 트래킹하여 원격지의 카메라 제어 신호를 출력하는 지상 제어 단계;지상 제어 단계에서 사용자 머리 움직임을 기준으로 생성된 카메라 제어 신호에 의해 카메라 제어를 하여 촬영을 하는 촬영 단계;를 포함하는 것을 특징으로 한다.
여기서, 디스플레이 단계에서, 사용자가 공중에서 직접 바라보는 것과 같은 항공 뷰를 제공하는 것을 특징으로 한다.
그리고 디스플레이 단계에서, 지연 감소 영상 처리는 사용자 머리 움직임 신호에 맞추어 그에 맞는 화면을 관심영역으로 설정하는 구성을 포함하는 것을 특징으로 한다.
그리고 촬영 단계에서, 카메라의 화각을 사람의 시야보다 넓은 것으로 촬영하도록 제어하여, 디스플레이 단계에서 카메라에 의해 촬영된 영상에 사람의 시야 각에 해당하는 만큼의 관심영역을 설정하여 디스플레이되도록 하는 것을 특징으로 한다.
그리고 지상 제어 단계는, 카메라의 구동에 의한 영상을 헤드 마운트 디스플레이 장치 표시하면서, 사용자 머리의 움직임 변화가 감지되었는지를 판단하는 단계와,사용자 머리의 움직임 변화가 감지되면, 헤드 마운트 디스플레이 장치에서 모션 트래킹으로 사용자 머리의 움직임을 센싱 및 계산하고 센싱 데이터를 제어기로 전송하는 단계와,제어기에서 카메라 제어를 위한 Roll, Pitch, Yaw 3축으로 모두 회전 가능하도록 하는 제어 신호를 생성하여 전송하는 단계를 포함하는 것을 특징으로 한다.
그리고 디스플레이 단계는, 카메라에서 촬영된 영상이 지상 제어 시스템으로 전송되면 사용자 머리 움직임에 맞추어 그에 맞는 화면을 관심영역으로 설정하여 지연 감소 영상 처리를 하는 단계와,헤드 마운트 디스플레이 장치에 지연 감소 처리된 영상을 표시하고, 제어기로 공간 정보 및 현시점의 카메라 제어 정보를 전송하는 단계를 포함하고, 공간 정보 및 현시점의 카메라 제어 정보의 전송은 카메라 제어 신호를 생성하는 과정에서 현재 상태의 카메라 제어 상태를 알 수 있도록 하기 위한 것임을 특징으로 한다.
이와 같은 본 발명에 따른 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 시스템 및 방법은 다음과 같은 효과를 갖는다.
첫째, 원격지에 존재하는 카메라에서 촬영되는 영상을 헤드 마운트 디스플레이에 표시할 수 있도록 하여 편리성을 높인다.
둘째, 사용자가 착용하는 헤드 마운트 디스플레이에서 얻어내는 사용자의 머리 움직임을 기반으로 원격지에 있는 카메라의 위치 및 움직임을 제어하여 효율적인 카메라 제어가 가능하다.
셋째, 헤드 마운트 디스플레이에서 나오는 사용자의 머리 움직임에 관한 데이터를 이용하여 영상 안정화 장치에 장착된 카메라를 빠르게 움직일 수 있어 효과적인 촬영이 가능하다.
넷째, 사용자의 머리 움직임에 따른 헤드 마운트 디스플레이에 표시되는 영상의 지연시간을 최소화할 수 있어 실시간 영상 표시 및 활용이 가능하다.
다섯째, 드론과 같은 로봇에 장착된 카메라를 사용자의 머리 움직임을 기반으로 제어하고 이를 헤드 마운트 디스플레이에 표시하는 것이 가능하여 공중에서 직접 바라보는 것과 같은 항공 뷰를 제공할 수 있다.
도 1은 본 발명에 따른 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 시스템의 구성도
도 2는 본 발명에 따른 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 방법을 나타낸 플로우 차트
이하, 본 발명에 따른 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 시스템 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.
본 발명에 따른 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 시스템 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.
도 1은 본 발명에 따른 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 시스템의 구성도이다.
본 발명은 원격지에 있는 카메라를 제어하는 방법으로 사용자가 착용하는 헤드 마운트 디스플레이에서 얻어내는 사용자의 머리 움직임을 기반으로 원격지에 있는 카메라의 위치 및 움직임을 제어하는 것이다.
이와 같은 본 발명에 따른 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 시스템 및 방법은 원격지에 존재하는 카메라에서 촬영되는 영상을 헤드 마운트 디스플레이에 표시하는 구성을 포함한다.
이하의 설명에서 원격지의 카메라가 이동 로봇에 장착되는 것으로 설명하고, 이동 로봇의 일 예로 드론을 설명하였으나, 이동 로봇의 종류가 드론으로 제한되지 않는다.
또한, 카메라 제어 및 디스플레이 수단으로 헤드 마운트 디스플레이를 일 예로 설명하였으나, 이로 제한되지 않고 카메라 제어를 위한 사용자 머리 움직임 센싱 수단 및 디스플레이 수단을 구비한 다른 형태의 장치가 사용될 수 있음은 당연하다.
본 발명에 따른 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 시스템 및 방법은 원격지 영상 전송에 관한 구성, 카메라 제어 알고리즘 및 화면 움직임 지연시간 최소화 알고리즘을 포함한다.
본 발명은 헤드 마운트 디스플레이에서 나오는 사용자의 머리 움직임에 관한 데이터를 이용하여 영상 안정화 장치에 장착된 카메라가 빠르게 움직이도록 제어하고, 사용자의 머리 움직임에 따른 헤드 마운트 디스플레이에 표시되는 영상의 지연시간을 최소화할 수 있도록 한 것이다.
이를 위한 본 발명에 따른 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 시스템은 크게, 헤드 마운트 디스플레이(HMD)(10), 제어기(20), 지연감소 영상 처리부(30)를 포함하고, 원격지의 카메라로부터 실시간으로 영상을 수신하여 지연감소 영상 처리를 하여 표시하고, 사용자 머리 움직임을 트래킹하여 원격지의 카메라 제어 신호를 출력하는 지상 제어 시스템(100)과, 영상을 촬상하는 카메라(50) 및 카메라 제어 장치(40)를 구비하고, 지상 제어 시스템(100)으로부터 받은 사용자 머리 움직임을 기준으로 생성된 카메라 제어 신호에 의해 카메라 제어를 하여 촬영을 하는 이동 로봇(200)을 포함한다.
구체적으로, 지상 제어 시스템(100)은 원격지의 카메라가 구동되어 실시간으로 영상을 전송하면 이를 수신하고, 수신된 영상의 공간 정보 및 카메라 제어 정보를 제어기(20)로 전송하고, 수신된 영상을 디스플레이 가능하도록 영상 처리하여 헤드 마운트 디스플레이(HMD)(10)로 보내는 지연감소 영상 처리부(30)와, 디스플레이 수단 및 사용자 머리 움직임 센싱 수단을 구비하고, 지연감소 영상 처리부(30)로부터 받은 영상을 표시하고 사용자 머리 움직임을 트래킹하여 머리 움직임 데이터를 출력하는 헤드 마운트 디스플레이(HMD)(10)와, 지연감소 영상 처리부(30)에서 받은 수신된 영상의 공간 정보 및 카메라 제어 정보를 참고하여 헤드 마운트 디스플레이(HMD)(10)로부터 받은 머리 움직임 데이터를 기준으로 원격지의 카메라 제어 신호를 출력하는 제어기(20)를 포함한다.
여기서, 지연감소 영상 처리부(30)에서의 지연 감소 영상 처리는 사용자 머리 움직임 신호에 맞추어 그에 맞는 화면을 관심영역으로 설정하는 구성을 포함한다.
그리고 이동 로봇(200)은, 지상 제어 시스템(100)으로부터 받은 사용자 머리 움직임을 기준으로 생성된 카메라 제어 신호에 의해 카메라 제어를 하는 카메라 제어 장치(40)와, 카메라 제어 장치(40)에 의해 Roll, Pitch, Yaw 3축으로 회전하여 촬영 영역 및 촬영 조건을 변화시켜 촬영하여 실시간으로 영상을 지상 제어 시스템(100)으로 전송하는 카메라(50)를 구비한다.
여기서, 이동 로봇(200)은 공중에서 직접 바라보는 것과 같은 항공 뷰를 제공할 수 있는 드론을 일 예로 하나, 이로 제한되지 않는다.
이와 같은 본 발명에 따른 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 시스템은 원격지 영상 전송에 관한 구성을 포함하는 것으로, 원격지에 설치된 카메라로부터 무선 통신 방법을 이용하여 영상을 전송받고 이를 사용자가 착용하고 있는 헤드 마운티드 디스플레이(10)에 표시하는 것이다.
이와 같은 원격지 영상 전송 및 표시는 환경에 따라 적절한 전송 방식을 선택하여 실시간 영상 전송에 따른 지연 시간을 최소화하는 구성에 의해 이루어진다.
그리고 이동 로봇(200)에 구비되는 카메라의 제어는 다음과 같이 이루어진다.
카메라(50)는 드론과 같은 이동 로봇(200)에 장착된 카메라 제어 장치(짐벌)(40)에 부착된다.
카메라 제어 장치(40)는 가속도계, 자이로 등의 센서와 BLDC 모터, 서보 모터 등을 이용하여 카메라의 움직임을 제어한다.
카메라 제어장치(40)는 불필요한 외부 장치의 움직임을 감쇄시키고, 지상 프로그램이 전송하는 제어 신호에 맞추어 움직임이 제어된다.
헤드 마운트 디스플레이(10)로부터 얻어지는 사용자의 움직임을 이용하여 카메라 제어 신호를 생성하고 이를 무선으로 카메라 제어 장치(40)에 전송하여 사용자가 원하는 방향으로 카메라를 움직이는 것이다.
그리고 화면 움직임 지연시간을 최소화하는 구성을 포함한다.
본 발명에 따른 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 시스템에서 무선 시스템을 구축함에 따라 필연적으로 발생하는 신호 전송에 따른 지연시간을 최소화하여 사용자가 느끼는 어지러움을 줄일 수 있도록 한다.
카메라 제어 장치(40)는 기계적인 한계 때문에 사람의 머리 움직임만큼 빠른 속도로 움직이기가 매우 힘들기 때문에 지연시간 최소화 알고리즘을 이용하여 사용자가 보는 영상을 변화시켜 기계 장치 움직임의 한계를 극복할 수 있도록 한다.
특히, 카메라의 화각을 사람의 시야보다 넓은 것으로 촬영하고, 사람의 시야 각에 해당하는 만큼의 관심영역을 설정하여 디스플레이한다.
그리고 사용자 머리 움직임 신호에 맞추어 그에 맞는 화면을 관심영역으로 설정하는 등 영상처리를 통해 디스플레이하고, 카메라 제어 장치의 움직임이 완료되면 이를 디스플레이하여 지연시간을 최소화시킬 수 있도록 한다.
그리고 카메라 제어 장치(40)는 Roll, Pitch, Yaw 3축으로 모두 회전 가능하여 실제 사람의 머리 움직임을 정확하게 따라 제어가 가능하다.
이와 같은 구성을 갖는 본 발명에 따른 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 시스템에서의 카메라 제어 및 영상 디스플레이 과정을 설명하면 다음과 같다.
도 2는 본 발명에 따른 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 방법을 나타낸 플로우 차트이다.
먼저, 사용자가 헤드 마운트 디스플레이 장치를 착용한 상태에서(S201), 이동 로봇(200)에 장착된 카메라를 구동한다.(S202)
카메라의 구동에 의한 영상을 헤드 마운트 디스플레이 장치 표시하면서, 사용자 머리의 움직임 변화가 감지되었는지를 판단한다.(S203)
사용자 머리의 움직임 변화가 감지되면, 헤드 마운트 디스플레이 장치에서 모션 트래킹으로 사용자 머리의 움직임을 센싱 및 계산하고 센싱 데이터를 제어기(20)로 전송한다.(S204)
이어, 제어기(20)에서 카메라 제어를 위한 Roll, Pitch, Yaw 3축으로 모두 회전 가능하도록 하는 제어 신호를 생성하여 전송한다.(S205)
그리고 카메라 제어장치(40)가 수신된 제어 신호에 의해 카메라(50)를 제어한다.(S206)
이어, 카메라(50)에서 촬영된 영상을 지상 제어 시스템(100)으로 전송하여(S207), 사용자 머리 움직임에 맞추어 그에 맞는 화면을 관심영역으로 설정하여 지연 감소 영상 처리를 한다.(S208)
헤드 마운트 디스플레이 장치에 지연 감소 처리된 영상을 표시하고, 제어기로 공간 정보 및 현시점의 카메라 제어 정보를 전송한다.(S209)
여기서, 제어기로 공간 정보 및 현시점의 카메라 제어 정보를 전송하는 이유는, 사용자 머리의 움직임을 센싱 및 계산하고 센싱 데이터를 제어기(20)로 전송하여 카메라 제어 신호를 생성하는 과정에서 현재 상태의 카메라 제어 상태를 알 수 있도록 하기 위한 것이다.
이상에서 설명한 본 발명에 따른 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 시스템 및 방법은 헤드 마운트 디스플레이에서 나오는 사용자의 머리 움직임에 관한 데이터를 이용하여 영상 안정화 장치에 장착된 카메라를 빠르게 움직이도록 제어하고, 사용자의 머리 움직임에 따른 헤드 마운트 디스플레이에 표시되는 영상의 지연시간을 최소화할 수 있도록 한 것이다.
이와 같은 본 발명은 헤드 마운트 디스플레이를 이용한 제어 및 디스플레이에 의해 원격지에 있는 영상을 마치 직접 바라보는 것처럼 가능하게 한다.
드론과 같은 시스템에 부착하여 실내에서도 마치 비행하는 기분을 느낄 수 있고, 유적지, 관광지 관람을 집이나 사무실과 같은 가까운 실내에서 할 수 있도록 하여 새로운 형태의 산업을 창출 가능하도록 한다.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100. 지상 제어 시스템 200. 이동 로봇

Claims (12)

  1. 원격지의 카메라로부터 실시간으로 영상을 수신하여 지연감소 영상 처리를 하여 헤드 마운트 디스플레이(HMD)에 표시하고, 사용자 머리 움직임을 트래킹하여 원격지의 카메라 제어 신호를 출력하는 지상 제어 시스템;
    상기 지상 제어 시스템에서의 제어에 의해 영상을 촬상하는 카메라를 구비하고, 지상 제어 시스템으로부터 받은 사용자 머리 움직임을 기준으로 생성된 카메라 제어 신호에 의해 카메라 제어를 하여 촬영을 하는 이동 로봇;을 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 시스템.
  2. 제 1 항에 있어서, 이동 로봇은 사용자가 공중에서 직접 바라보는 것과 같은 항공 뷰를 제공할 수 있는 드론인 것을 특징으로 하는 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 시스템.
  3. 제 1 항에 있어서, 지상 제어 시스템은,
    원격지의 카메라가 구동되어 실시간으로 영상을 전송하면 이를 수신하고, 수신된 영상의 공간 정보 및 카메라 제어 정보를 제어기로 전송하고, 수신된 영상을 디스플레이 가능하도록 영상 처리하여 헤드 마운트 디스플레이(HMD)로 보내는 지연감소 영상 처리부와,
    디스플레이 수단 및 사용자 머리 움직임 센싱 수단을 구비하고, 지연감소 영상 처리부로부터 받은 영상을 표시하고 사용자 머리 움직임을 트래킹하여 머리 움직임 데이터를 출력하는 헤드 마운트 디스플레이(HMD)와,
    지연감소 영상 처리부에서 받은 수신된 영상의 공간 정보 및 카메라 제어 정보를 참고하여 헤드 마운트 디스플레이(HMD)로부터 받은 머리 움직임 데이터를 기준으로 원격지의 카메라 제어 신호를 출력하는 제어기를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 시스템.
  4. 제 3 항에 있어서, 지연감소 영상 처리부에서의 지연 감소 영상 처리는 사용자 머리 움직임 신호에 맞추어 그에 맞는 화면을 관심영역으로 설정하는 구성을 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 시스템.
  5. 제 1 항에 있어서, 이동 로봇은,
    지상 제어 시스템으로부터 받은 사용자 머리 움직임을 기준으로 생성된 카메라 제어 신호에 의해 카메라 제어를 하는 카메라 제어 장치와,
    카메라 제어 장치에 의해 Roll, Pitch, Yaw 3축으로 회전하여 촬영 영역 및 촬영 조건을 변화시켜 촬영하여 실시간으로 영상을 지상 제어 시스템으로 전송하는 카메라를 구비하는 것을 특징으로 하는 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 시스템.
  6. 제 5 항에 있어서, 카메라 제어 장치는 카메라의 화각을 사람의 시야보다 넓은 것으로 촬영하도록 제어하고,
    카메라에 의해 촬영된 영상에 사람의 시야 각에 해당하는 만큼의 관심영역을 설정하여 디스플레이하는 것을 특징으로 하는 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 시스템.
  7. 원격지의 카메라로부터 실시간으로 영상을 수신하여 지연감소 영상 처리를 하여 헤드 마운트 디스플레이(HMD)에 표시하는 디스플레이 단계;
    사용자 머리 움직임을 트래킹하여 원격지의 카메라 제어 신호를 출력하는 지상 제어 단계;
    지상 제어 단계에서 사용자 머리 움직임을 기준으로 생성된 카메라 제어 신호에 의해 카메라 제어를 하여 촬영을 하는 촬영 단계;를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 방법.
  8. 제 7 항에 있어서, 디스플레이 단계에서,
    사용자가 공중에서 직접 바라보는 것과 같은 항공 뷰를 제공하는 것을 특징으로 하는 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 방법.
  9. 제 7 항에 있어서, 디스플레이 단계에서,
    지연 감소 영상 처리는 사용자 머리 움직임 신호에 맞추어 그에 맞는 화면을 관심영역으로 설정하는 구성을 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 방법.
  10. 제 7 항에 있어서, 촬영 단계에서,
    카메라의 화각을 사람의 시야보다 넓은 것으로 촬영하도록 제어하여,
    디스플레이 단계에서 카메라에 의해 촬영된 영상에 사람의 시야 각에 해당하는 만큼의 관심영역을 설정하여 디스플레이되도록 하는 것을 특징으로 하는 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 방법.
  11. 제 7 항에 있어서, 지상 제어 단계는,
    카메라의 구동에 의한 영상을 헤드 마운트 디스플레이 장치 표시하면서, 사용자 머리의 움직임 변화가 감지되었는지를 판단하는 단계와,
    사용자 머리의 움직임 변화가 감지되면, 헤드 마운트 디스플레이 장치에서 모션 트래킹으로 사용자 머리의 움직임을 센싱 및 계산하고 센싱 데이터를 제어기로 전송하는 단계와,
    제어기에서 카메라 제어를 위한 Roll, Pitch, Yaw 3축으로 모두 회전 가능하도록 하는 제어 신호를 생성하여 전송하는 단계를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 방법.
  12. 제 7 항에 있어서, 디스플레이 단계는,
    카메라에서 촬영된 영상이 지상 제어 시스템으로 전송되면 사용자 머리 움직임에 맞추어 그에 맞는 화면을 관심영역으로 설정하여 지연 감소 영상 처리를 하는 단계와,
    헤드 마운트 디스플레이 장치에 지연 감소 처리된 영상을 표시하고, 제어기로 공간 정보 및 현시점의 카메라 제어 정보를 전송하는 단계를 포함하고,
    공간 정보 및 현시점의 카메라 제어 정보의 전송은 카메라 제어 신호를 생성하는 과정에서 현재 상태의 카메라 제어 상태를 알 수 있도록 하기 위한 것임을 특징으로 하는 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 방법.





KR1020150144169A 2015-10-15 2015-10-15 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 시스템 및 방법 KR20170044451A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150144169A KR20170044451A (ko) 2015-10-15 2015-10-15 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150144169A KR20170044451A (ko) 2015-10-15 2015-10-15 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20170044451A true KR20170044451A (ko) 2017-04-25

Family

ID=58703383

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150144169A KR20170044451A (ko) 2015-10-15 2015-10-15 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20170044451A (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101896239B1 (ko) * 2017-09-20 2018-09-07 (주)텔트론 모션인식을 이용한 드론 제어 시스템
WO2019102483A1 (en) * 2017-11-27 2019-05-31 Elbit Systems Ltd. System and method for providing synthetic information on a see-through device
KR20190068162A (ko) * 2017-12-08 2019-06-18 현대자동차주식회사 차량용 디스플레이 시스템 및 그 제어 방법
KR102173732B1 (ko) * 2019-09-02 2020-11-03 한국기술교육대학교 산학협력단 헤드 마운티드 디스플레이를 이용한 원격 카메라 제어 장치
CN112115797A (zh) * 2020-08-21 2020-12-22 东风电驱动系统有限公司 一种用于智能驾驶的人机交互系统及方法
WO2021137586A1 (en) * 2019-12-30 2021-07-08 Samsung Electronics Co., Ltd. Electronic device and method for providing position of user
KR102377988B1 (ko) * 2021-09-30 2022-03-24 주식회사 아진엑스텍 로봇과의 협업 보조 방법 및 장치
KR20220058122A (ko) * 2020-10-30 2022-05-09 대구가톨릭대학교산학협력단 Hmd를 활용한 현장과 원격지의 협업 시스템 및 방법

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101896239B1 (ko) * 2017-09-20 2018-09-07 (주)텔트론 모션인식을 이용한 드론 제어 시스템
WO2019102483A1 (en) * 2017-11-27 2019-05-31 Elbit Systems Ltd. System and method for providing synthetic information on a see-through device
US10935785B2 (en) 2017-11-27 2021-03-02 Elbit Systems Ltd. System and method for providing synthetic information on a see-through device
US11249306B2 (en) 2017-11-27 2022-02-15 Elbit Systems Ltd. System and method for providing synthetic information on a see-through device
KR20190068162A (ko) * 2017-12-08 2019-06-18 현대자동차주식회사 차량용 디스플레이 시스템 및 그 제어 방법
KR102173732B1 (ko) * 2019-09-02 2020-11-03 한국기술교육대학교 산학협력단 헤드 마운티드 디스플레이를 이용한 원격 카메라 제어 장치
WO2021137586A1 (en) * 2019-12-30 2021-07-08 Samsung Electronics Co., Ltd. Electronic device and method for providing position of user
US11714485B2 (en) 2019-12-30 2023-08-01 Samsung Electronics Co., Ltd. Electronic device and method for providing position of user
CN112115797A (zh) * 2020-08-21 2020-12-22 东风电驱动系统有限公司 一种用于智能驾驶的人机交互系统及方法
KR20220058122A (ko) * 2020-10-30 2022-05-09 대구가톨릭대학교산학협력단 Hmd를 활용한 현장과 원격지의 협업 시스템 및 방법
KR102377988B1 (ko) * 2021-09-30 2022-03-24 주식회사 아진엑스텍 로봇과의 협업 보조 방법 및 장치

Similar Documents

Publication Publication Date Title
KR20170044451A (ko) 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 시스템 및 방법
EP3379525B1 (en) Image processing device and image generation method
CN108139799B (zh) 基于用户的兴趣区(roi)处理图像数据的系统和方法
US20190243357A1 (en) Wearable uav control device and uav system
US11184597B2 (en) Information processing device, image generation method, and head-mounted display
WO2017020150A1 (zh) 一种图像处理方法、装置及摄像机
US20190045125A1 (en) Virtual reality video processing
JP6422584B2 (ja) 情報処理装置
US10306211B2 (en) Remote control of pivotable stereoscopic camera
US11443540B2 (en) Information processing apparatus and information processing method
KR101096157B1 (ko) 듀얼 카메라를 이용한 실시간 감시장치
CA2950822C (en) System and method for remote monitoring at least one observation area
US20190156579A1 (en) Mixed reality video production with detached camera
KR101297294B1 (ko) 카메라 제어용 맵 인터페이스 시스템
US10719995B2 (en) Distorted view augmented reality
CN113645410B (zh) 图像采集方法、设备及机器可读存储介质
KR101410985B1 (ko) 감시카메라를 이용한 감시시스템 및 감시장치와 그 감시방법
JP7247371B2 (ja) 画像処理装置、システム、画像処理方法、および画像処理プログラム
JP2004363987A (ja) 画像提示システム
JP2018074420A (ja) 表示装置、表示システム及び表示装置の制御方法
KR101738514B1 (ko) 어안 열상 카메라를 채용한 감시 시스템 및 이를 이용한 감시 방법
JP7203157B2 (ja) 映像処理装置およびプログラム
KR101237975B1 (ko) 영상 처리 장치
WO2017163649A1 (ja) 画像処理装置
WO2022253018A1 (zh) 无人机视角的视频显示方法及显示系统

Legal Events

Date Code Title Description
E601 Decision to refuse application