KR101784095B1 - 복수의 영상 데이터를 이용하는 헤드 마운트 디스플레이 장치 및 복수의 영상 데이터를 송수신하기 위한 시스템 - Google Patents

복수의 영상 데이터를 이용하는 헤드 마운트 디스플레이 장치 및 복수의 영상 데이터를 송수신하기 위한 시스템 Download PDF

Info

Publication number
KR101784095B1
KR101784095B1 KR1020160030427A KR20160030427A KR101784095B1 KR 101784095 B1 KR101784095 B1 KR 101784095B1 KR 1020160030427 A KR1020160030427 A KR 1020160030427A KR 20160030427 A KR20160030427 A KR 20160030427A KR 101784095 B1 KR101784095 B1 KR 101784095B1
Authority
KR
South Korea
Prior art keywords
image data
unit
camera
image
head
Prior art date
Application number
KR1020160030427A
Other languages
English (en)
Other versions
KR20170107137A (ko
Inventor
윤승훈
홍지완
Original Assignee
윤승훈
홍지완
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤승훈, 홍지완 filed Critical 윤승훈
Priority to KR1020160030427A priority Critical patent/KR101784095B1/ko
Publication of KR20170107137A publication Critical patent/KR20170107137A/ko
Application granted granted Critical
Publication of KR101784095B1 publication Critical patent/KR101784095B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • H04N13/044—
    • H04N5/2257—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0154—Head-up displays characterised by mechanical features with movable elements
    • G02B2027/0159—Head-up displays characterised by mechanical features with movable elements with mechanical means other than scaning means for positioning the whole image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0161—Head-up displays characterised by mechanical features characterised by the relative positioning of the constitutive elements

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 장치는, 영상 데이터가 저장된 서버에 접속하여, 상기 영상 데이터를 전송받는 것이 가능한 헤드 마운트 디스플레이 장치로서, 상기 서버로부터 상기 영상 데이터를 전송받는 통신부와, 상기 통신부에 의해서 전달받은 영상 데이터가 표시되는 디스플레이부와, 상기 통신부와 디스플레이부의 동작을 제어하는 제어부와, 상기 헤드 마운트 디스플레이 장치를 착용한 사용자의 머리 움직임 및 시청 위치 변동 여부를 감지하기 위한 센서부를 포함하고, 상기 영상 데이터는 서로 다른 위치에서 촬영된 제 1 영상 데이터와 제 2 영상 데이터를 포함하고, 상기 제 1 영상 데이터와 제 2 영상 데이터 내에는 상기 제 1 영상 데이터를 촬영한 카메라의 위치와, 제 2 영상 데이터를 촬영한 카메라들의 상대적인 위치 정보가 삽입되어 있고, 상기 통신부는 상기 서버로부터 제 1 영상 데이터와 제 2 영상 데이터를 동시에 전송받는 것을 특징으로 한다.

Description

복수의 영상 데이터를 이용하는 헤드 마운트 디스플레이 장치 및 복수의 영상 데이터를 송수신하기 위한 시스템{Head-mounted display apparatus using a plurality of data and system for transmitting and receiving the plurality of data}
본 발명은 복수의 영상 데이터를 이용하는 헤드 마운트 디스플레이 장치에 대한 것으로서, 서로 다른 위치에서 촬영된 복수 개의 영상 데이터들을 동시에 전송하여 사용자가 원하는 때에 다른 위치의 촬영 영상을 딜레이없이 시청할 수 있는 장치에 대한 것이다.
디지털 디바이스의 경량화 및 소형화 추세에 따라, 다양한 웨어러블 디바이스들이 개발되고 있다. 웨어러블 디바이스의 일종인 헤드 마운트 디스플레이(HMD)는 사용자가 머리에 착용하여 멀티미디어 컨텐츠 등을 제공받을 수 있는 각종 디지털 디바이스를 의미한다. 헤드 마운트 디스플레이는 안경이나 헬멧 등과 같이 머리에 착용하기 위한 다양한 형태로 구현될 수 있다.
3D 컨텐츠를 실제와 동일하게 시청할 수 있는 입체 영상과 상호 작용 기술을 융합하여 살아 움직이는 생동감과 사실감을 극대화시킬 수 있는 동작 체험형 컨텐츠 역시 개발되고 있다. 즉, 사용자가 직접 가상 객체와 상호 작용할 수 있는 움직임 추적 기반의 3차원 또는 360도 시청이 가능한 인터페이스를 이용하여 레포츠, 게임, 엔터테인먼트, 교육 등의 분야에 체험형 컨텐츠에 대한 개발이 진행되고 있다.
그러나, 사용자의 움직임 추적이 컨텐츠 내에 반영되도록 하는 데에만 기술 개발이 집중되고 있으며, 보다 다양한 서비스를 제공하기 위한 개발이 부족하다.
본 발명은 헤드 마운트 디스플레이 장치에서 다양한 위치에서 촬영된 영상들을 딜레이 없이 위치변화해 가면서 영상을 시청할 수 있는 장치를 제안하고자 한다.
서로 다른 위치에서 촬영된 영상 데이터들 사이에 위치 관계 정보를 입력함으로써, 사용자의 제스처 또는 모션에 따라 촬영 위치를 변경해가면서 영상을 시청할 수 있는 장치를 제안하고자 한다.
본 발명의 장치는, 영상 데이터가 저장된 서버에 접속하여, 상기 영상 데이터를 전송받는 것이 가능한 헤드 마운트 디스플레이 장치로서, 상기 서버로부터 상기 영상 데이터를 전송받는 통신부와, 상기 통신부에 의해서 전달받은 영상 데이터가 표시되는 디스플레이부와, 상기 통신부와 디스플레이부의 동작을 제어하는 제어부와, 상기 헤드 마운트 디스플레이 장치를 착용한 사용자의 머리 움직임 및 시청 위치 변동 여부를 감지하기 위한 센서부를 포함하고, 상기 영상 데이터는 서로 다른 위치에서 촬영된 제 1 영상 데이터와 제 2 영상 데이터를 포함하고, 상기 제 1 영상 데이터와 제 2 영상 데이터 내에는 상기 제 1 영상 데이터를 촬영한 카메라의 위치와, 제 2 영상 데이터를 촬영한 카메라들의 상대적인 위치 정보가 삽입되어 있고, 상기 통신부는 상기 서버로부터 제 1 영상 데이터와 제 2 영상 데이터를 동시에 전송받는 것을 특징으로 한다.
본 발명의 실시예에 따라서는, 서버로부터 서로 다른 위치에서 촬영된 복수의 관련 영상 데이터들을 모두 전달받고, 사용자의 제스처 또는 모션에 따라 다른 위치의 카메라에 의하여 촬영된 영상이 이어져 표시됨으로써, 딜레이 없이 다양한 위치에서의 영상을 시청할 수 있는 장점이 있다.
도 1은 본 발명의 사상이 적용될 수 있는 시스템 구성을 보여주는 도면이다.
도 2는 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치의 구성을 보여주는 도면이다.
도 3은 서로 다른 위치에서 영상을 촬영하는 카메라들을 보여주는 도면이다.
도 4는 본 발명의 실시예에 따라 영상 데이터별 위치 정보를 삽입하는 방법을 설명하기 위한 도면이다.
도 5와 도 6은 본 실시예에 따른 제 1 카메라와 제 2 카메라에 의하여 촬영된 영상이다.
도 7과 도 8은 본 실시예의 영상 분석부에 의하여 오브젝트 분석을 수행하는 경우를 보여주는 도면이다.
도 9는 본 발명의 실시예에 따라 서로 다른 위치에서 촬영된 영상 데이터들이 동시에 헤드 마운트 디스플레이 장치로 전송되는 것을 보여주는 도면이다.
이하에서는, 본 실시예에 대하여 첨부되는 도면을 참조하여 상세하게 살펴보도록 한다. 다만, 본 실시예가 개시하는 사항으로부터 본 실시예가 갖는 발명의 사상의 범위가 정해질 수 있을 것이며, 본 실시예가 갖는 발명의 사상은 제안되는 실시예에 대하여 구성요소의 추가, 삭제, 변경 등의 실시변형을 포함한다고 할 것이다.
본 발명과 관련되는 설명에 사용되는 접미어 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
도 1은 본 발명의 사상이 적용될 수 있는 시스템 구성을 보여주는 도면이다.
도 1을 참조하면, 본 발명의 헤드 마운트 디스플레이 장치(500)는 사용자의 귀와 코를 통해 사용자의 얼굴에 고정되는 안경 같은 형태로 구성될 수 있으며, 이에 한정되지 않고, 헬멧에 부착되거나 고글(goggles)의 형태로 구현될 수 있다.
헤드 마운트 디스플레이 장치(500)에 디스플레이 되는 영상은 360도 촬영이 가능한 카메라에 의하여 촬영된 영상이며, 사용자가 헤드 마운트 디스플레이 장치(500)를 착용한 상태에서 고개를 돌리면 그에 대응되는 영역의 영상이 디스플레이된다.
상기 헤드 마운트 디스플레이 장치(500)에 디스플레이 되는 영상 소스는, 도시된 바와 같이, 상기 헤드 마운트 디스플레이 장치(500)가 네트워크(200)를 통하여 서버(100)에 접속하는 경우와, 상기 헤드 마운트 디스플레이 장치(500)가 컴퓨터(300)에 연결된 상태에서 상기 컴퓨터(300)가 서버(100)에 접속할 수 있다.
다른 실시예로는, 영상이 저장된 스마트폰을 헤드 마운트 디스플레이 장치(500)에 결합시키고, 헤드 마운트 디스플레이 장치(500)는 스마트폰에 저장된 영상 또는 스마트폰을 통하여 수신되는 영상을 디스플레이할 수 있다.
상기 서버(100)는 상기 헤드 마운트 디스플레이 장치(500)에서 디스플레이 되는 영상을 제공하는 역할을 수행하는데, 상기 서버(100)는 서로 다른 위치에서 촬영된 영상들을 상기 헤드 마운트 디스플레이 장치(500)에 제공할 수 있다.
상세히, 상기 서버(100)는 상기 헤드 마운트 디스플레이 장치(500)에서 위치를 변화시켜 가면서 컨텐츠를 감상할 수 있도록 복수의 위치에서 촬영된 영상들을 상기 헤드 마운트 디스플레이 장치(500)로 동시에 제공한다.
상기 서버(100)가 서로 다른 위치에서 촬영된 영상들을 동시에 헤드 마운트 디스플레이 장치(500)로 전달하는 이유는, 사용자가 위치 변화를 요구하는 때에 영상 전환시 발생되는 딜레이를 줄이기 위함이다.
즉, 상기 서버(100)에서 상기 헤드 마운트 디스플레이 장치(500)로 어느 특정 위치에서 촬영된 영상만을 제공하고, 상기 헤드 마운트 디스플레이 장치(500)에서 다른 위치의 영상을 전송할 것을 요청하는 때에 다른 위치의 영상을 제공하는 경우에는, 사용자가 시청하는 영상들 사이에 딜레이 발생할 수 밖에 없기 때문이다.
도 2는 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치의 구성을 보여주는 도면이다.
일 실시예의 헤드 마운트 디스플레이 장치(500)는 입/출력부(510), 메모리(520), 센서부(525), 배터리(530), 전력 관리부(535), 통신부(540), 터치 센서(550), 카메라(560), 디스플레이부(570) 및 제어부(590)를 포함할 수 있다.
입/출력부(510)는 사용자의 입력을 수신하거나, 사용자에게 정보를 알리거나, 외부로부터 데이터를 수신하거나, 외부로 데이터를 출력하기 위한 수단을 포함한다. 입/출력부(510)는 적어도 하나의 스피커(511), 적어도 하나의 마이크(512), 적어도 하나의 버튼, 커넥터, 키패드 또는 이들의 조합을 포함할 수 있다. 다만, 본 발명의 실시예에는 이에 한정되지 아니한다.
스피커(511)는 제어부(590)의 제어에 따라 다양한 데이터에 대응되는 음향을 헤드 마운트 디스플레이 장치(500)의 외부로 출력할 수 있다. 또한, 스피커(511)는 헤드 마운트 디스플레이 장치(500)가 수행하는 기능에 대응되는 음향을 출력할 수 있다. 스피커(511)는 헤드 마운트 디스플레이 장치(500)의 적절한 위치 또는 위치들에 하나 또는 복수로 배치될 수 있다.
마이크(512)는 헤드 마운트 디스플레이 장치(500)의 외부로부터 음성이나 음향을 수신하고, 수신된 음성 내지 음향에 기초하여 전기 신호를 생성하며, 생성된 전기 신호를 제어부(590)로 출력할 수 있다. 마이크(512)는 헤드 마운트 디스플레이 장치(500)의 적절한 위치 또는 위치들에 하나 또는 복수로 배치될 수 있다.
센서부(525)는 헤드 마운트 디스플레이 장치(500)의 상태 또는 주변 환경의 상태를 검출하는 적어도 하나의 센서를 포함할 수 있다. 예를 들어, 센서부(525)는 사용자의 헤드 마운트 디스플레이 장치(500)에 대한 접근 여부를 검출하는 근접 센서, 헤드 마운트 디스플레이 장치(500)의 동작(예를 들면, 회전, 가속, 감속, 진동)을 검출하는 모션/방위 센서, 주변 조도를 검출하는 조도 센서, 빛의 색상이나 스펙트럼을 감지하는 감광 센서 또는 이들의 조합을 포함할 수 있다.
또한, 모션/방위 센서는 가속도 센서, 중력 센서, 지자기 센서, 자이로 센서, 충격 센서, GPS, 나침반 센서 및 가속도 센서 중 적어도 하나를 포함한다.
전력 관리부(535)는 제어부(590)의 제어에 따라 헤드 마운트 디스플레이 장치(500)에 전력을 공급하며, 하나 이상의 배터리(530)와 연결되고, 유선 케이블을 통해 외부의 전원 소스로부터 입력되는 전원을 장치(500)로 공급할 수 있다.
통신부(540)는 유선, 무선 또는 유무선 통신부일 수 있으며, 제어부(590)로부터 데이터를 유선 또는 무선으로 외부 통신망 또는 대기를 통해 외부 장치로 전송하거나, 외부 통신망을 통해 전자 장치로부터 데이터를 유선 또는 무선으로 수신할 수 있다. 실시예에 따라서는 통신부(540)는 이동 통신 모듈, 무선 랜 모듈 및 근거리 통신 모듈 중 적어도 하나를 포함할 수 있다.
이동 통신 모듈은 제어부(590)의 제어에 따라 안테나를 이용하여 이동 통신망을 통해 외부 장치와 통신을 수행한다. 이동 통신 모듈은 IP 등의 네트워크 주소 또는 전화번호를 갖는 휴대폰, 스마트폰, 태블릿 PC 또는 다른 통신 장치와 음성 통화, 화상 통화, 단문 메시지 또는 멀티미디어 메시지를 위한 무선 신호를 송신 또는 수신할 수 있다.
무선 랜 모듈은 제어부(590)의 제어에 따라 무선 AP의 주변에서 무선 AP를 통해 인터넷에 연결될 수 있다. 무선 랜 모듈은 미국전기전자학회의 무선 랙 규격(IEEE802.11x)을 지원할 수 있다.
근거리 통신 모듈은 제어부(590)의 제어에 따라 외부의 통신 장치와 무선으로 근거리 통신을 수행할 수 있으며, 예를 들어, 블루투스, 적외선 통신, 와이파이 다이렉트 통신, NFC 또는 이들의 조합이 될 수 있다.
디스플레이부(570)는 실시예에 따라서 다양한 형태로 구현될 수 있으며, 예를 들어, 광학계를 이용하여 사용자의 망막에 영상의 상이 맺히도록 함으로써 영상을 디스플레이할 수 있다.
제어부(590)는 상기 통신부(540)를 통하여 수신하는 영상 데이터 또는 상기 메모리(520)에 저장된 영상 데이터를 상기 디스플레이부(570)에 표시되도록 제어한다.
특히, 본 발명에 따르면, 상기 헤드 마운트 디스플레이 장치(500)의 제어부(590) 또는 서버(100)는 서로 다른 위치에서 촬영된 영상 데이터들을 분석하여, 영상 데이터별 위치 관계를 설정할 수 있다.
즉, 헤드 마운트 디스플레이 장치(500)의 사용자가 현재 시청중인 영상에서 좌측으로 이동하는 모션/제스처를 취하는 경우에는, 해당 영상의 좌측에 위치한 카메라로의 시선 이동이 이루어지도록 하기 위하여, 영상 데이터별 위치 관계를 설정하여 둔다.
실시예에 따라서는, 상기 헤드 마운트 디스플레이 장치(500)로 영상 데이터를 제공하는 서버(100)에서 카메라별 위치 관계가 설정될 수 있으며, 상기 헤드 마운트 디스플레이 장치(500)에서 동시에 수신하는 영상 데이터들에 대해서 카메라별 위치 관계가 설정될 수도 있다.
이하에서는, 설명의 편의를 위하여, 서버(100)에서 영상 데이터 분석 동작, 즉, 영상 데이터별 카메라 위치 관계 설정 동작이 수행되는 것으로 설명하여 본다.
도 3은 서로 다른 위치에서 영상을 촬영하는 카메라들을 보여주는 도면이고, 도 4는 본 발명의 실시예에 따라 영상 데이터별 위치 정보를 삽입하는 방법을 설명하기 위한 도면이다.
먼저, 도 3에 도시된 바와 같이, 영상을 제작하는 경우에 서로 다른 위치에서 주변을 촬영할 수 있는 카메라들(11,12,13,14)을 설치한다. 이때, 헤드 마운트 디스플레이 장치에서 사용자의 머리 움직임을 트래킹하면서, 그에 따른 영상이 이어져서 표시되도록, 카메라들은 어라운드(예를 들면, 360도)를 촬영할 수 있는 장치이다.
서로 다른 위치인 제 1 위치 내지 제 4 위치에 제 1 카메라(11) 내지 제 4 카메라(14)가 설치되는 경우를 가정하여 본다.
상기 제 1 내지 제 4 카메라(11,12,13,14)에서 촬영되는 영상들에 대해서 카메라별 위치 정보를 획득하기 위한 영상 분석부(20)로 제공된다. 상기 영상 분석부(20)는 네트워크를 통하여 헤드 마운트 디스플레이 장치로 영상 데이터를 전송할 수 있는 서버(100)에 구성되거나, 상기 헤드 마운트 디스플레이 장치 내에 상기 영상 분석부(20)가 구성되는 것도 가능하다.
상기 서버(100)에 상기 영상 분석부(20)가 구성되는 경우를 가정하여 본다.
상기 서버(100)의 영상 분석부(20)는 상기 제 1 카메라 내지 제 4 카메라(11,12,13,14)에서 촬영된 각각의 영상들을 전달받아 오브젝트 분석을 수행하는 오브젝트 분석부(21)와, 상기의 분석된 오브젝트들의 위치에 기반하여 카메라 위치를 판단하는 카메라 위치 판단부(22)와, 촬영된 영상 데이터 내에 카메라의 위치 정보를 삽입하여 저장하는 위치 정보 삽입부(23)를 포함할 수 있다.
도 5와 도 6은 본 실시예에 따른 제 1 카메라와 제 2 카메라에 의하여 촬영된 영상이고, 도 7과 도 8은 본 실시예의 영상 분석부에 의하여 오브젝트 분석을 수행하는 경우를 보여주는 도면이다.
전술한 영상 분석부(20)의 오브젝트 분석부(21)는 카메라들의 촬영 영상들을 수신하는데, 예를 들어, 제 1 카메라에 의하여 촬영된 제 1 영상(11a)과, 제 2 카메라에 의하여 촬영된 제 2 영상(12a)을 수신한다.
그리고, 상기 오브젝트 분석부(21)는 제 1 영상(11a) 및 제 2 영상(12a) 내에 포함된 오브젝트 분석을 수행하는데, 본 실시예에 따라, 상기 오브젝트 분석부(21)는 영상 내에서 위치가 고정된 고정 오브젝트와, 그 위치나 형태가 변경되는 가변 오브젝트를 판별한다.
상세히, 도 7에 도시된 바와 같이, 상기 오브젝트 분석부(21)는 영상 내에서 오브젝트를 추출하기 위하여 물체의 특성을 나타내는 것으로 판단되는 서브 오브젝트들(711,712,721,722)을 마킹한다.
특히, 상기 오브젝트 분석부(21)는 영상 내에서 위치가 고정되는 물체를 식별하기 위하여 영상 내에서 고정된 위치를 유지하는 제 2 서브 오브젝트들(721,722)을 추출하고, 영상 내에서 그 위치가 가변되거나 형태가 변경되는 제 1 서브 오브젝트들(711,712)을 추출한다.
상기 오브젝트 분석부(21)는 위치 또는 형태가 가변되는 제 1 서브 오브젝트들(711, 712)에 의하여 형성되는 제 1 오브젝트(710)와, 위치 또는 형태의 변화가 상대적으로 적은 제 2 서브 오브젝트들(721,722)에 의하여 형성되는 제 2 오브젝트(720)를 추출한다.
상기 오브젝트 분석부(21)에 의한 오브젝트 식별 동작은, 제 2 영상(12a)에 대해서 수행되며, 도 8에 도시된 바와 같이, 제 1 서브 오브젝트들(811,812)로 구성된 제 1 오브젝트(810)와, 제 2 서브 오브젝트들(821,8822)로 구성된 제 2 오브젝트(820)를 추출한다.
그 다음, 상기 카메라 위치 판단부(22)는 상기 오브젝트 분석부(21)에 의하여 추출된 제 1 오브젝트(가변 오브젝트)와, 제 2 오브젝트(고정 오브젝트)를 이용하여 카메라별 상대적인 위치를 판단한다. 처음부터 영상 제작을 위하여 각각의 카메라를 통하여 영상을 촬영하기 이전에, 작업자가 직접 카메라별 위치 정보를 입력하거나, GPS 정보 등을 이용하는 것도 물론 가능하지만, 서로 다른 사용자들 사이에 영상을 공유하는 경우에는, 각각의 카메라별로 위치 관계를 설정하여 둘 필요가 있다.
상기 카메라 위치 판단부(22)는 고정 오브젝트인 제 2 오브젝트들(720,820)에 대해서 영상 내에의 위치, 각도, 거리 변화와, 가변 오브젝트인 제 1 오브젝트들(710,810)에 대해서도 영상 내에서의 위치, 각도 또는 거리 변화를 이용하여 각각의 카메라별 상대 위치를 판단한다.
예를 들면, 도 7에 도시된 영상을 촬영한 제 1 카메라(11)는, 도 8에 도시된 영상을 촬영한 제 2 카메라(12)의 좌측에 있는 카메라로 판단한다. 제 1 영상 내에서의 제 1 오브젝트(710)와 제 2 오브젝트(720) 사이의 거리 및 각도와, 제 2 영상 내에서의 제 1 오브젝트(810)와 제 2 오브젝트(820) 사이의 거리 및 각도를 이용할 수 있다. 그리고, 고정 오브젝트인 제 2 오브젝트들(720,820)의 크기 및 각도가 제 1 영상과 제 2 영상 내에서의 변화값을 이용할 수도 있다.
이러한 오브젝트 분석을 통하여, 상기 카메라 위치 판단부(22)는 카메라별로 상대적인 위치를 판단한다.
그 다음, 상기 위치 정보 삽입부(23)는 각각의 영상 데이터내에 상대적인 위치 정보를 삽입한다. 제 1 영상 데이터 내에는 기준 위치 정보를 삽입하고, 제 2 영상 데이터 내에는 기준 위치로부터 우측 첫번째 위치 정보를 삽입할 수 있다. 예를 들면, 제 1 영상 데이터 내에는 (0,0) 위치가 삽입되고, 제 2 영상 데이터 내에는 (1,0) 위치가 삽입되고, 제 3 영상 데이터 내에는 (2,0) 위치가 삽입될 수 있다.
이러한 상대적인 위치 정보가 영상 데이터 내에 삽입된 다음에는, 상기 서버(100)는 이들 네 개의 영상 데이터들을 동시에 상기 헤드 마운트 디스플레이 장치(500) 또는 컴퓨터(300)로 전송한다.
도 9는 본 발명의 실시예에 따라 서로 다른 위치에서 촬영된 영상 데이터들이 동시에 헤드 마운트 디스플레이 장치로 전송되는 것을 보여주는 도면이다.
본 실시예에 따라서는, 헤드 마운트 디스플레이 장치(통신부)에서 서버(100)로 제 1 영상 데이터를 전송할 것을 요청하는 경우에, 상기 서버(100)는 해당되는 제 1 영상 데이터(901) 이외에 상기 제 1 영상 데이터(901)와 상대적인 위치 관계가 연결된 제 2 내지 제 4 영상 데이터(902,903, 904)를 동시에 전달한다.
그리고, 상기 헤드 마운트 디스플레이 장치(500)에 제 1 영상 데이터(901)가 디스플레이되는 도중에, 사용자의 명령 또는 사용자의 제스처/모션이 입력되는 경우에 제 2 영상 데이터 내지 제 4 영상 데이터 중 어느 하나의 영상 데이터가 딜레이 없이 표시된다.
사용자의 제스처 또는 모션은, 사용자가 제 1 영상 데이터(901)를 시청하는 도중에, 사용자가 한발 오른쪽으로 위치를 이동시키게 되면, 상기 헤드 마운트 디스플레이 장치(500)는 사용자의 시청 위차가 우측으로 이동한 것을 센서부를 통해 감지한다. 그리고, 상기 제 1 영상 데이터(901)의 우측에서 촬영된 영상 데이터가 있는지 여부를 확인하고, 상대 위치 정보에 기반하여 우측 카메라에 의하여 촬영되었다고 판단된 제 2 영상 데이터(902)가 이어서 표시되도록 한다.
상세히, 헤드 마운트 디스플레이 장치(500)의 센서부는 사용자의 머리 움직임을 트래킹하는 것 뿐만 아니라, 사용자의 시청 위치가 전후방 또는 좌우측으로 이동하였는지 여부를 감지하고, 장치(500)의 제어부는 센서부에 의하여 감지된 시청 위치에 따라 영상 데이터가 가변될 수 있도록 제어한다.
본 발명의 실시예에 따라서는, 서버(100)로부터 서로 다른 위치에서 촬영된 복수의 관련 영상 데이터들을 모두 전달받고, 사용자의 제스처 또는 모션에 따라 다른 위치의 카메라에 의하여 촬영된 영상이 이어져 표시됨으로써, 딜레이 없이 다양한 위치에서의 영상을 시청할 수 있는 장점이 있다.

Claims (7)

  1. 삭제
  2. 영상 데이터가 저장된 서버에 접속하여, 상기 영상 데이터를 전송받는 것이 가능한 헤드 마운트 디스플레이 장치로서,
    상기 서버로부터 상기 영상 데이터를 전송받는 통신부와,
    상기 통신부에 의해서 전달받은 영상 데이터가 표시되는 디스플레이부와,
    상기 통신부와 디스플레이부의 동작을 제어하는 제어부와,
    상기 헤드 마운트 디스플레이 장치를 착용한 사용자의 머리 움직임 및 시청 위치 변동 여부를 감지하기 위한 센서부를 포함하고,
    상기 영상 데이터는 서로 다른 위치에서 촬영된 제 1 영상 데이터와 제 2 영상 데이터를 포함하고, 상기 제 1 영상 데이터와 제 2 영상 데이터 내에는 상기 제 1 영상 데이터를 촬영한 카메라의 위치와, 제 2 영상 데이터를 촬영한 카메라들의 상대적인 위치 정보가 삽입되어 있고,
    상기 통신부는 상기 서버로부터 제 1 영상 데이터와 제 2 영상 데이터를 동시에 전송받고,
    상기 서버는 상기 제 1 영상 데이터와 제 2 영상 데이터를 분석하여, 상기 제 1 영상 데이터와 제 2 영상 데이터 각각을 촬영한 카메라들의 상대적인 위치를 분석하는 영상 분석부를 포함하고,
    상기 영상 분석부는,
    상기 제 1 영상 데이터와 제 2 영상 데이터의 영상 내에서 위치 또는 형태가 고정된 고정 오브젝트와, 위치 또는 형태가 변경되는 가변 오브젝트를 추출하는 오브젝트 분석부와,
    상기 오브젝트 분석부에 의하여 분석된 오브젝트들 사이의 거리 또는 각도를 이용하여 상기 제 1 영상 데이터를 촬영한 제 1 카메라와, 제 2 영상 데이터를 촬영한 제 2 카메라의 상대적인 위치를 판단하는 카메라 위치 판단부와,
    상기 카메라 위치 판단부에 의하여 분석된 제 1 카메라와 제 2 카메라 사이의 상대적인 위치 정보를 상기 제 1 영상 데이터와 제 2 영상 데이터 내에 삽입하는 위치 정보 삽입부를 포함하는 복수의 영상 데이터를 이용하는 헤드 마운트 디스플레이 장치.
  3. 영상 데이터가 저장된 서버에 접속하여, 상기 영상 데이터를 전송받는 것이 가능한 헤드 마운트 디스플레이 장치로서,
    상기 서버로부터 상기 영상 데이터를 전송받는 통신부와,
    상기 통신부에 의해서 전달받은 영상 데이터가 표시되는 디스플레이부와,
    상기 통신부와 디스플레이부의 동작을 제어하는 제어부와,
    상기 헤드 마운트 디스플레이 장치를 착용한 사용자의 머리 움직임 및 시청 위치 변동 여부를 감지하기 위한 센서부를 포함하고,
    상기 영상 데이터는 서로 다른 위치에서 촬영된 제 1 영상 데이터와 제 2 영상 데이터를 포함하고, 상기 제 1 영상 데이터와 제 2 영상 데이터 내에는 상기 제 1 영상 데이터를 촬영한 카메라의 위치와, 제 2 영상 데이터를 촬영한 카메라들의 상대적인 위치 정보가 삽입되어 있고,
    상기 통신부는 상기 서버로부터 제 1 영상 데이터와 제 2 영상 데이터를 동시에 전송받고,
    상기 제 1 영상 데이터와 제 2 영상 데이터를 분석하여, 상기 제 1 영상 데이터와 제 2 영상 데이터 각각을 촬영한 카메라들의 상대적인 위치를 분석하는 영상 분석부를 포함하고,
    상기 영상 분석부는,
    상기 제 1 영상 데이터와 제 2 영상 데이터의 영상 내에서 위치 또는 형태가 고정된 고정 오브젝트와, 위치 또는 형태가 변경되는 가변 오브젝트를 추출하는 오브젝트 분석부와,
    상기 오브젝트 분석부에 의하여 분석된 오브젝트들 사이의 거리 또는 각도를 이용하여 상기 제 1 영상 데이터를 촬영한 제 1 카메라와, 제 2 영상 데이터를 촬영한 제 2 카메라의 상대적인 위치를 판단하는 카메라 위치 판단부와,
    상기 카메라 위치 판단부에 의하여 분석된 제 1 카메라와 제 2 카메라 사이의 상대적인 위치 정보를 상기 제 1 영상 데이터와 제 2 영상 데이터 내에 삽입하는 위치 정보 삽입부를 포함하는 복수의 영상 데이터를 이용하는 헤드 마운트 디스플레이 장치.
  4. 삭제
  5. 제 2 항 또는 제 3 항에 있어서,
    상기 서버가 상기 통신부로부터 영상 데이터 전송 요청을 수신한 경우에, 상기 서버는 요청받은 영상 데이터와 상대적인 위치 정보가 연결된 영상 데이터를 함께 전송하는 것을 특징으로 하는 복수의 영상 데이터를 이용하는 헤드 마운트 디스플레이 장치.
  6. 삭제
  7. 삭제
KR1020160030427A 2016-03-14 2016-03-14 복수의 영상 데이터를 이용하는 헤드 마운트 디스플레이 장치 및 복수의 영상 데이터를 송수신하기 위한 시스템 KR101784095B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160030427A KR101784095B1 (ko) 2016-03-14 2016-03-14 복수의 영상 데이터를 이용하는 헤드 마운트 디스플레이 장치 및 복수의 영상 데이터를 송수신하기 위한 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160030427A KR101784095B1 (ko) 2016-03-14 2016-03-14 복수의 영상 데이터를 이용하는 헤드 마운트 디스플레이 장치 및 복수의 영상 데이터를 송수신하기 위한 시스템

Publications (2)

Publication Number Publication Date
KR20170107137A KR20170107137A (ko) 2017-09-25
KR101784095B1 true KR101784095B1 (ko) 2017-10-11

Family

ID=60035096

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160030427A KR101784095B1 (ko) 2016-03-14 2016-03-14 복수의 영상 데이터를 이용하는 헤드 마운트 디스플레이 장치 및 복수의 영상 데이터를 송수신하기 위한 시스템

Country Status (1)

Country Link
KR (1) KR101784095B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102103404B1 (ko) * 2019-05-23 2020-04-23 주식회사 피앤씨솔루션 머리 착용형 디스플레이 장치를 이용한 작전상황 공유 시스템

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102088991B1 (ko) * 2018-04-11 2020-04-23 이보람 Mr 지원 망원경 장치, 방법 및 이를 이용한 mr 지원 망원경 운영 시스템 및 방법
KR102048354B1 (ko) * 2019-07-10 2020-01-23 한화시스템(주) 무선 헬멧에서의 영상 디스플레이 장치 및 그 방법
KR102125299B1 (ko) * 2020-02-05 2020-07-07 한화시스템 주식회사 전투차량용 전장상황인식 시스템 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004514951A (ja) * 2000-11-29 2004-05-20 アールヴイシー　エルエルシー 球面立体視撮影システム及びその方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004514951A (ja) * 2000-11-29 2004-05-20 アールヴイシー　エルエルシー 球面立体視撮影システム及びその方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102103404B1 (ko) * 2019-05-23 2020-04-23 주식회사 피앤씨솔루션 머리 착용형 디스플레이 장치를 이용한 작전상황 공유 시스템

Also Published As

Publication number Publication date
KR20170107137A (ko) 2017-09-25

Similar Documents

Publication Publication Date Title
JP7408678B2 (ja) 画像処理方法およびヘッドマウントディスプレイデバイス
RU2670784C9 (ru) Ориентация и визуализация виртуального объекта
US9245389B2 (en) Information processing apparatus and recording medium
CN111445583B (zh) 增强现实处理方法及装置、存储介质和电子设备
CN105450736B (zh) 与虚拟现实连接的方法和装置
US20160299569A1 (en) Autonomous computing and telecommunications head-up displays glasses
US9529428B1 (en) Using head movement to adjust focus on content of a display
WO2013028586A1 (en) Location based skins for mixed reality displays
KR101784095B1 (ko) 복수의 영상 데이터를 이용하는 헤드 마운트 디스플레이 장치 및 복수의 영상 데이터를 송수신하기 위한 시스템
WO2021147921A1 (zh) 图像处理方法、电子设备及计算机可读存储介质
US20150172634A1 (en) Dynamic POV Composite 3D Video System
CN110213485B (zh) 一种图像处理方法及终端
KR20150044488A (ko) 비디오 씨쓰루 헤드 마운티드 디스플레이 영상 컨텐츠 운용 방법 및 시스템
CN112835445A (zh) 虚拟现实场景中的交互方法、装置及系统
CN111103975B (zh) 显示方法、电子设备及系统
EP3402410B1 (en) Detection system
CN113573120A (zh) 音频的处理方法及电子设备
US20230217007A1 (en) Hyper-connected and synchronized ar glasses
GB2571286A (en) Virtual reality
US10902617B2 (en) Data processing for position detection using optically detectable indicators
JP2021125789A (ja) 映像処理装置、映像処理システム、映像処理方法、及びコンピュータプログラム
WO2016182504A1 (en) A virtual reality headset
KR20160013853A (ko) 증강현실 제공 방법 및 이를 위한 디지털 디바이스
CN113262478B (zh) 增强现实处理方法及装置、存储介质和电子设备
US20240078734A1 (en) Information interaction method and apparatus, electronic device and storage medium

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant