KR102260503B1 - 360도 영상 표시제어시스템 - Google Patents

360도 영상 표시제어시스템 Download PDF

Info

Publication number
KR102260503B1
KR102260503B1 KR1020200026357A KR20200026357A KR102260503B1 KR 102260503 B1 KR102260503 B1 KR 102260503B1 KR 1020200026357 A KR1020200026357 A KR 1020200026357A KR 20200026357 A KR20200026357 A KR 20200026357A KR 102260503 B1 KR102260503 B1 KR 102260503B1
Authority
KR
South Korea
Prior art keywords
master terminal
axis
unit
image
degree
Prior art date
Application number
KR1020200026357A
Other languages
English (en)
Other versions
KR20200120502A (ko
Inventor
이현창
Original Assignee
원광대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 원광대학교산학협력단 filed Critical 원광대학교산학협력단
Publication of KR20200120502A publication Critical patent/KR20200120502A/ko
Application granted granted Critical
Publication of KR102260503B1 publication Critical patent/KR102260503B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222—Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 실사 촬영된 전방위(360도) 영상을 복수의 디스플레이기에 표시 및 제어하는 360도 영상 표시제어시스템에 관한 것이다.
보다 구체적으로, 실사 촬영된 360도 영상을 복수의 단위영상으로 분할하고 상기 360도 영상의 중심을 기준으로 복수의 단위영역을 설정하되, 메인 단위영역에 포함되는 단위영상을 메인디스플레이기로 출력하고, 상기 메인 단위영역을 기준으로 이웃하는 주변 단위영역에 포함되는 단위영상을 적어도 하나의 주변 디스플레이기에서 출력하도록 제어하는 제어신호를 생성하는 마스터 단말기 및 상기 마스터 단말기로부터 상기 제어신호를 수신시, 해당 주변 단위영상을 기설정된 해당 주변 디스플레이기로 출력하는 복수의 슬레이브 단말기를 포함하는 것을 특징으로 하는 360도 영상 표시제어시스템에 관한 것이다.

Description

360도 영상 표시제어시스템{Control System for display 360-degree image}
본 발명은 실사 촬영된 전방위(360도) 영상을 복수의 디스플레이기에 표시 및 제어하는 360도 영상 표시제어시스템에 관한 것이다.
최근 VR(Virtual Reality)에 대한 관심이 증대되고 다양한 개인용 촬영기기가 출시되면서, 방송이나 영화 등에서 360도 영상의 제작이 기하급수적으로 증가하고 있다. 이러한 360도 영상은 HMD (Head Mounted Display)뿐만 아니라, PC, TV, 스마트폰 등 여러 디바이스에서 감상이 가능하다.
360도 영상은 시청자에게 전 방향의 뷰(view)를 감상할 수 있는 경험을 제공한다. 특히, 다중 스크린을 이용하여 360도 컨텐츠를 감상하는 경우 넓은 화각으로 몰입감 있는 시청 경험을 제공할 수 있다.
이러한 360도 영상을 제공하는 특허문헌으로 한국공개특허 제2006-0032694호(이하, 특허문헌1) 등이 있다. 상기 특허문헌1은 지자기 센서 그리고/또는 나침반 센서를 단말기 일측에 구비시켜 3차원 영상 및 360도 영상을 구현할 수 있는 입체 영상 및 360도 영상을 디스플레이할 수 있는 이동통신단말기에 관한 것이다. 이때, 특허문헌1은 해당 단말기에서만 영상을 디스플레이함으로써 넓은 화각으로 영상을 제공할 수 없다.
한편, 다중 스크린에서 360도 영상을 재생하기 위해서는, 각 스크린에 서로 다른 시점(view point)의 컨텐츠가 표시되어야 한다. 이에, 본 출원인은 복수의 디스플레이기에 360도 영상을 표시하고, 표시된 영상을 제어할 수 있는 360도 영상 표시제어시스템을 제공하고자 한다.
한국공개특허 제2006-0032694호 (2006.04.18.공개)
본 발명의 목적은, 특정 테마장소에서 실사촬영된 360도 영상을 다수의 디스플레이기에 분할하여 디스플레이하고, 마스터 단말기의 몸체 기울기 감지를 통해 디스플레이되는 영상의 재생속도 및 뷰방향을 제어할 수 있는 360도 영상 표시제어시스템을 제공하는 데 있다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 360도 영상 표시제어시스템은 실사 촬영된 360도 영상을 복수의 단위영상으로 분할하고 상기 360도 영상의 중심을 기준으로 복수의 단위영역을 설정하되, 메인 단위영역에 포함되는 단위영상을 메인디스플레이기로 출력하고, 상기 메인 단위영역을 기준으로 이웃하는 주변 단위영역에 포함되는 단위영상을 적어도 하나의 주변 디스플레이기에서 출력하도록 제어하는 제어신호를 생성하는 마스터 단말기 및 상기 마스터 단말기로부터 상기 제어신호를 수신시, 해당 주변 단위영상을 기설정된 해당 주변 디스플레이기로 출력하는 복수의 슬레이브 단말기를 포함할 수 있다.
또한, 상기 마스터 단말기는, 사람의 시야각 및 슬레이브 단말기의 개수에 따라 단위영역의 크기를 결정하고, 각 슬레이브 단말기의 상대적 위치에 따라, 재생시점에 대응되는 슬레이브 단말기별 단위영역의 위치를 결정할 수 있다.
또한, 상기 마스터 단말기는, 몸체의 기울기를 감지하여 복수의 디스플레이기에 표시되는 360도 영상의 재생속도 및 뷰 방향을 제어할 수 있다.
X축은 촬영시 기준면과 평행한 축, Y축은 기준면에 수직인 축, Z축은 촬영진행방향에 대응되는 축인 경우, 상기 마스터 단말기가 상기 Z축을 중심으로 시계방향 또는 반시계 방향으로 회전하면, 상기 마스터 단말기는, 상기 마스터 단말기가 상기 Z축을 중심으로 회전한 회전각을 무시함으로써 영상 흔들림을 방지할 수 있다.
X축은 촬영시 기준면과 평행한 축, Y축은 기준면에 수직인 축, Z축은 촬영진행방향에 대응되는 축인 경우, 상기 마스터 단말기가 움직임 시작 위치에서 상기 메인 디스플레이기를 향하거나 멀어지도록 상기 X축을 중심으로 회전하면, 상기 마스터 단말기는 설정된 배속으로 빠르게 재생되거나 역방향 재생될 수 있다.
X축은 촬영시 기준면과 평행한 축, Y축은 기준면에 수직인 축, Z축은 촬영진행방향에 대응되는 축인 경우, 상기 마스터 단말기가 움직임 시작 위치에서 상기 메인 디스플레이기를 향하거나 멀어지도록 상기 X축을 중심으로 회전하면, 상기 마스터 단말기는 상기 메인 단위영역의 위치를 윗 방향 또는 아랫 방향으로 이동시킬 수 있다.
X축은 촬영시 기준면과 평행한 축, Y축은 기준면에 수직인 축, Z축은 촬영진행방향에 대응되는 축인 경우, 상기 마스터 단말기가 Y축을 중심으로 회전할 경우, 상기 마스터 단말기는 상기 마스터 단말기의 회전 방향에 따라 상기 메인 단위영역의 좌측 또는 우측으로 이동시킬 수 있다.
또한, 상기 마스터 단말기 및 복수의 슬레이브 단말기는 서버로부터 동일한 360도 영상을 수신하고, 상기 복수의 슬레이브 단말기는 상기 마스터 단말기의 제어신호에 따라 360도 영상을 동기화시켜 해당 주변 디스플레이기로 미러링 출력할 수 있다.
또한, 상기 제어신호는, 상기 360도 영상의 재생시점 및 상기 마스터 단말기에 기설정된 메인 디스플레이기를 기준으로, 각 슬레이브 단말기에 설정된 주변 디스플레이기들의 상대적 위치에 따라 결정된 주변 단위영역의 위치정보를 포함할 수 있다.
또한, 상기 마스터 단말기는, 상기 360도 영상의 재생 중 이벤트 발생시, 해당 이벤트에 대한 디스플레이 여부를 입력받고, 디스플레이 미입력시 해당 이벤트를 스킵하여 스킵 후 영상을 재생할 수 있다.
또한, 상기 360도 영상은, 관광장소, 전시장소, 역사적장소 및 체험장소 중 적어도 하나를 테마로 촬영된 실사영상이며, 재생시점의 영상에 대한 설명을 제공하는 아바타 및 테마관련 퀴즈를 포함할 수 있다.
또한, 상기 360도 영상의 테마영상이 종료되면 상기 마스터 단말기 및 복수의 슬레이브 단말기로 상기 360도 영상의 테마관련 퀴즈를 게임형태로 제공하는 서버를 더 포함할 수 있다.
이상에서 설명한 바와 같이, 본 발명의 360도 영상 표시제어시스템은 복수의 디스플레이기에 동기화된 영상을 표시되도록 제어함으로써 다수의 시청자에게 넓은 화각으로 영상을 제공할 수 있다.
또한, 마스터 단말기의 몸체 기울기를 통해 재생속도 및 뷰 방향을 직관적으로 제어할 수 있게 함으로써, 사용자가 영상을 끊김없이 연속재생하면서 속도 및 뷰 방향을 제어할 수 있다.
또한, 특정 테마장소에서 이동하며 촬영된 영상에서 이벤트가 발생될 때, 사용자의 선택에 따라 스킵 또는 재생할 수 있고, 스킵시 이후 영상이 연속재생되게 함으로써 일일히 사용자 조작을 필요로 하지 않는다.
또한, 특정 테마장소에 대한 설명을 아바타를 이용하여 제공하고, 영상의 종료시 게임형태로 퀴즈를 제공함으로써 지식습득 효과를 얻을 수도 있다.
도 1은 본 발명의 일 실시 예에 따른 개략적인 360도 영상표시제어시스템의 구성을 설명하기 위한 도면이다.
도 2는 도 1의 마스터 단말기의 구성을 나타내는 블록도이다.
도 3은 도 1의 슬레이브 단말기의 구성을 나타내는 블록도이다.
도 4는 본 발명의 일 실시 예에 따른 360도 영상을 설명하기 위한 도면이다.
도 5a 및 도 5b는 본 발명의 일 실시 예에 따른 재생속도 및 제1뷰 방향 제어를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 제2 방향 뷰 제어를 설명하기 위한 도면이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 안 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
이하, 도면을 참조하여 설명하기에 앞서, 본 발명의 요지를 드러내기 위해서 필요하지 않은 사항 즉 통상의 지식을 가진 당업자가 자명하게 부가할 수 있는 공지 구성에 대해서는 도시하지 않거나, 구체적으로 기술하지 않았음을 밝혀둔다.
본 발명의 일 실시 예에 따른 360도 영상표시제어시스템은 복수의 단말기 및 복수의 디스플레이기를 이용하여 멀티화면을 구성하고, 마스터 단말기를 이용하여 재생되는 영상을 제어함으로써 생동감있는 360도 영상을 제공하는 시스템이다.
본 발명의 일 실시 예에 따른 360도 영상은, 관광장소, 전시장소, 역사적장소 및 체험장소 등과 같이 특정장소를 테마로 해당장소에서 이동하며 전방위 촬영된 실사영상이 될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 개략적인 360도 영상표시제어시스템의 구성을 설명하기 위한 도면이다. 도 1을 참고하면, 본 발명의 일 실시 예에 따른 360도 영상표시제어시스템(이하, 제어시스템이라 함)은 마스터 단말기(110), 복수의 슬레이브 단말기(120a,120b) 및 서버(130)를 포함하고, 영상의 재생을 위해 각 단말기(110)는 복수의 디스플레이기(10 내지 12)에 1:1 매칭될 수 있다.
여기서, 서버(130)는 360도 영상표시제어를 위한 앱을 제공하며, 테마별 360도 영상을 제공할 수 있다. 한편, 슬레이브 단말기(120a,120b)의 개수는 설명의 이해를 위해 2개로 도시하였으나, 한정되지 않는다. 또한, 디스플레이기의 배치 위치도 변경될 수 있다.
마스터 단말기(110) 및 슬레이브 단말기(120a,120b)는 서버(130)로부터 테마별 360도 영상을 수신하고, 이의 재생을 제어할 수 있는 앱이 설치된 스마트 폰, 탭북 등과 같이 앱 설치가 가능하고, 디스플레이부(미도시)를 구비한 휴대가능한 단말이 될 수 있다.
이때, 설치된 앱을 통해 해당 단말기는 마스터 또는 슬레이브로 설정될 수 있다. 마스터로 설정시 마스터 단말기(110)로 동작되고, 슬레이브로 설정시 슬레이브 단말기(120a,120b)로 동작될 수 있다.
도 2는 도 1의 마스터 단말기의 구성을 나타내는 블록도이다. 도 3은 도 1의 슬레이브 단말기의 구성을 나타내는 블록도이다.
도 2를 참고하면, 마스터 단말기(110)는 제1설정부(111), 감지부(112), 제1제어부(113) 및 제1퀴즈제공부(114)를 포함할 수 있다. 도 3을 참고하면, 슬레이브 단말기(120a,120b)는 제2설정부(121), 제2제어부(122) 및 제2퀴즈제공부(123)를 포함할 수 있다.
마스터 단말기(110)는 슬레이브 단말기(120a,120b)의 영상출력을 제어하는 제어신호를 생성하는 것으로, 복수의 디스플레이기(10 내지 12)에서 동기화된 영상이 제공될 수 있도록 제어할 수 있다.
제1설정부(111)는 마스터/슬레이브 설정, 매칭되는 디스플레이기(메인 디스플레이기) 설정, 슬레이브 단말기 개수 설정 등을 사용자로부터 입력받을 수 있다.
또한, 설정부(111)는 각 슬레이브 단말기(120a,120b)로부터 슬레이브 단말기에 매칭된 디스플레이기 설정, 메인 디스플레이기를 기준으로 해당 슬레이브 단말기에 매칭된 디스플레이기의 위치 설정 관련 정보 등을 수신할 수 있다. 또는, 사용자가 슬레이브 단말기(120a,120b) 및 디스플레이기를 매칭시켜 배치위치를 직접 설정할 수도 있다.
한편, 슬레이브 단말기(120a,120b)는 슬레이브로 설정되어 슬레이브 모드를 제공하는 단말이 될 수 있다. 슬레이브 단말기(120a,120b)의 제2설정부(121)는 마스터/슬레이브 설정, 매칭되는 디스플레이기 설정(위치, 식별번호 등) 등을 사용자로부터 입력받을 수 있다.
또한, 제2설정부(121)는 설정된 디스플레이기 및 자신의 식별번호를 근거리 통신 등을 이용하여 마스터로 설정된 마스터 단말기(110)로 제공할 수 있다.
도 1을 참고하면, 각 단말기(110,120a,120b)는 매칭되는 디스플레이기(10 내지 12)와 대향되도록 위치되는 것이 바람직하며, 배치의 중심에 마스터단말기(110) 및 메인 디스플레이기(10)가 배치되는 것이 바람직하다.
감지부(112)는 자이로센서, 가속도센서 등을 이용하여 마스터 단말기(110)의 몸체 기울어짐의 방향 및 정도(각도)를 감지할 수 있다. 이때, 감지되는 기울어짐의 방향 및 각도는 영상의 재생속도 및 뷰 방향 제어시에 이용될 수 있다. 한편, 이에 대한 설명은 제1제어부(113)의 설명과 도 5 및 도 6의 설명에서 구체적으로 설명하도록 한다.
제1제어부(113)는 서버(130)로부터 수신된 360도 영상의 중심을 기준으로 복수의 단위영역을 설정하고, 설정된 단위영역 중 메인 단위영역에 포함되는 단위영상을 메인디스플레이기(10)로 출력하고, 메인 단위영역을 기준으로 이웃하는 주변 단위영역에 대응되는 단위영상을 출력하도록 제어하는 제어신호를 생성하여 기설정된 슬레이브 단말기(120a, 120b)로 전송할 수 있다. 360도 영상은 복수의 단위영상으로 구성될 수 있고, 단위영상은 도 4와 같이 전방위 카메라에 의해 촬영된 영상들이 될 수 있다.
도 4는 본 발명의 일 실시 예에 따른 360도 영상을 설명하기 위한 도면이다. 도 4를 참고하면, 360도 영상은 전방위 카메라를 이용하여 촬영된 복수의 영상을 렌더링하여 취합된 영상으로 생성될 수 있다.
여기서, X축은 촬영시 기준면과 평행한 축, Y축은 기준면에 수직인 축, Z축은 촬영진행방향에 대응되는 축으로 볼 수 있다. 이 때 기준면은 지면이거나, 지면에 평행한 가상면이거나, 지면에 비하여 기울어진 가상 경사면일 수 있다.
이에 따라 마스터 단말기(110)가 기준면에 수직하게 배치될 경우, Y축은 마스터 단말기(110)의 윗면을 수직하게 관통하고, Z축이 마스터 단말기(110)의 정면을 수직하게 관통하며, X축은 마스터 단말기(110)의 측면을 수직하게 관통할 수 있다.
마스터 단말기(110)가 스마트폰과 같은 모바일폰일 경우, 마스터 단말기(110)의 정면에는 마스터 단말기(110)의 표시부(예를 들어, LCD 또는 OLED 등)가 구비될 수 있다.
이때, 제1제어부(113)는 360도 영상의 중심(즉, 촬영시 이동하는 경로가 되는 전방영상의 중심)을 기준으로, 사람의 시야각 및 슬레이브 단말기(120a,120b)의 개수에 따라 단위영역(a 내지 c)의 크기를 결정할 수 있다. 일반적으로 사람이 가장 넓게 볼 수 있는 시야각은 180도이다. 다만, 이때 시야각은 마스터 단말기(110)의 사용자에 의해 180도가 아닌 각으로 설정될 수도 있다.
즉, 본 발명에서 단위영역은 복수의 디스플레이기(10 내지 12)에 출력될 단위영상을 결정하는 화각정보가 될 수 있다.
도 4에서는 180도 화각으로 설정된 경우이며, 제1제어부는 중심에서 시야각을 설정하고, 시야각을 마스터단말기(110) 및 슬레이브 단말기(120a,120b)의 개수(도 4에서는 3개)로 분할하여 단위영역(a 내지 c)을 설정하고, 매칭되는 디스플레이기(10 내지 12)의 위치에 따라 해당 단위영역을 설정할 수 있다. 이에, 각 단위영역만큼의 화각(도 4의 경우, 60도)이 단말기(110,120a,120b)별로 설정될 수 있다.
제1제어부(113)는 설정된 메인 단위영역에 포함되는 영상을 메인 디스플레이기(10)로 출력할 영상으로 결정하고, 출력될 360도 영상의 재생시점 및 마스터 단말기(110)에 기설정된 메인 디스플레이기(10)를 기준으로, 각 슬레이브 단말기(120a,120b)에 설정된 디스플레이기(11,12)들의 상대적 위치에 따라 결정된 주변 단위영역의 위치정보(즉, 메인 단위영역을 기준으로 설정된 화각)를 포함하는 제어신호를 해당 슬레이브 단말기(120a,120b)로 전송할 수 있다. 이때, 제어신호는 동기신호도 포함할 수 있다.
슬레이브 단말기(120a,120b)의 제2제어부(122)는 서버(130)로부터 마스터 단말기(110)와 동일한 360도 영상을 수신할 수 있다. 또한, 제2제어부(122)는 제1제어부(113)로부터 제어신호 수신시, 자신의 단위영역 위치정보를 이용하여 해당 단위영상을 판단할 수 있다.
마스터 단말기(110)의 제1제어부(113) 및 복수의 슬레이브 단말기(120a,120b)의 제2제어부(122)는 360도 영상을 동기화시켜 해당 디스플레이기로 미러링 출력할 수 있다. 이에, 복수의 디스플레이기(10 내지 12)에는 시야각만큼의 360도 영상 표시되며, 감지부(112)의 몸체 기울어짐에 따라 표시되는 영상의 방향뷰 및 재생속도가 변환될 수 있다.
도 5a 및 도 5b는 본 발명의 일 실시 예에 따른 재생속도 및 제1뷰 방향 제어를 설명하기 위한 도면이다. 도 5b를 참고하면 마스터 단말기(110)는 몸체의 기울기를 감지하여 디스플레이기(10 내지 12)에 표시되는 360도 영상의 재생속도 및 뷰 방향을 제어할 수 있다.
이때, 도 5a에 도시된 바와 같이, 제1제어부(113)는 360도 영상의 좌우 흔들림을 방지할 수 있다. 즉, Z축을 중심으로 마스터 단말기(110)이 시계방향 또는 반시계 방향으로 회전하면 영상 흔들림이 발생할 수 있다. 제1제어부(113)는 마스터 단말기(110)가 Z축을 중심으로 회전한 회전각(α, β)을 감지부(112)로부터 입력받을 수 있다. 이 때 마스터 단말기(110)의 제1제어부(113)는 상기 회전각(α, β)을 무시함으로써 영상 흔들림을 방지할 수 있다.
이 때 상기 회전각(α, β)의 크기는 설계에 따라 달라질 수 있다. 예를 들어, 기준각도보다 작은 회전각(α, β)이 무시될 수도 있고, 기준각도보다 큰 회전각(α, β)이 무시될 수도 있다. 또는 기준각도범위를 벗어나거나 기준각도범위 내의 회전각(α, β)이 무시될 수도 있다.
이와 같이 영상의 흔들림이 방지됨으로써 영상 흔들림으로 인하여 영상 시청에 따른 사용자의 어지러움을 방지할 수 있다.
한편, 도 5b에 도시된 바와 같이, 사용자의 조작이나 구동 장치 등의 동작에 따라 마스터 단말기(110)가 X축을 중심으로 회전될 수 있다. 앞서 설명된 바와 같이, X축은 마스터 단말기(110)의 측면을 관통할 수 있다.
마스터 단말기(110)가 X축을 중심으로 회전할 경우, 회전마스터 단말기(110)는 Y축과 Z축 사이에서 회전될 수 있다.
이때, 마스터 단말기(110)의 움직임 시작 위치는, Y축이 마스터 단말기(110)의 윗면을 수직하게 관통하도록 마스터 단말기(110)가 배치되는 위치일 수 있다.
마스터 단말기(110)가 움직임 시작 위치에서 메인 디스플레이기(11)을 향하여 X축을 중심으로 회전하면, 감지부(112)가 마스터 단말기(110)의 회전을 감지할 수 있다. 감지부(112)의 회전 감지에 따라 제1제어부(113)는 영상을 설정된 배속으로 빠르게 플레이할 수 있다. 즉, 제2 감지영역(b1)은 영상의 재생 속도를 설정하기 위한 것이다. 이 때 마스터 단말기(110)가 메인 디스플레이기(11)을 향하여 많이 회전할수록 설정된 배속이 커질 수 있다.
또한 마스터 단말기(110)가 움직임 시작 위치에서 메인 디스플레이기(11)로부터 멀어지도록 X축을 중심으로 회전할 수 있다. 이에 따라 감지부(112)가 마스터 단말기(110)의 회전을 감지하며, 감지부(112)의 회전 감지에 따라 제1제어부(113)는 영상을 제1방향 뷰, 즉, 반대방향으로 재생할 수 있다. 즉, 제1 감지영역(a1)은 영상의 역방향 재생을 설정하기 위한 것이다.
한편, 앞서 설명된 제1 감지영역(a1) 및 제2 감지영역(b1)은 재생 속도 제어 및 역방향 재생 설정이 아니라 단위 영역의 위치 제어에 사용될 수도 있다.
즉, 도 5b에 도시된 바와 같이, 마스터 단말기(110)가 움직임 시작 위치에서 메인 디스플레이기(11)을 향하여 X축을 중심으로 회전하면, 감지부(112)가 마스터 단말기(110)의 회전을 감지할 수 있다.
마스터 단말기(110)의 회전 감지에 따라 제1제어부(113)는 메인 단위영역(a)의 위치를 아래 방향(도 4의 4번 방향)으로 이동시킬 수 있으며, 마스터 단말기(110)는 위치 변경된 메인 단위영역(a)에 해당되는 단위영상이 디스플레이되도록 제어할 수 있다. 이 때 마스터 단말기(110)가 메인 디스플레이기(11)을 향하여 많이 회전할수록 메인 단위영역(a)의 위치 변경이 커질 수 있다.
또한, 도 5b에 도시된 바와 같이, 마스터 단말기(110)가 움직임 시작 위치에서 메인 디스플레이기(11)로부터 멀어지도록 X축을 중심으로 회전하면, 감지부(112)가 마스터 단말기(110)의 회전을 감지할 수 있다.
마스터 단말기(110)의 회전 감지에 따라 제1제어부(113)는 메인 단위영역(a)의 위치를 윗 방향(도 4의 1번 방향)으로 이동시킬 수 있으며, 마스터 단말기(110)는 위치 변경된 메인 단위영역(a)에 해당되는 단위영상이 디스플레이되도록 제어할 수 있다. 이 때 마스터 단말기(110)가 메인 디스플레이기(11)로부터 많이 멀어질수록 메인 단위영역(b)의 위치 변경이 커질 수 있다.
이와 같이, 제1 감지영역(a1) 및 제2 감지영역(b1)은 메인 단위영역(a)의 위치변경을 위한 것일 수 있다.
메인 단위영역(a)의 위치변경됨에 따라 마스터 단말기(110)는 슬레이브 단말기(120a, 120b)를 제어하여 슬레이브 단위영역(b, c)가 메인 단위영역(a)의 위치변경만큼 이동되도록 할 수 있다. 즉, 메인 단위영역(a)이 아래로 위치이동한 만큼 슬레이브 단위영역(b, c)도 아래로 위치이동할 수 있다. 또한 메인 단위영역(a)이 위로 위치이동한 만큼 슬레이브 단위영역(b, c)도 위로 위치이동할 수 있다.
이에 따라 메인 단위영역(a)와 슬레이브 단위영역(b)의 불일치없이 정상적인 영상이 표시될 수 있다.
도 6은 본 발명의 일 실시 예에 따른 제2 방향 뷰 제어를 설명하기 위한 도면이다. 도 6의 제2 방향 뷰 제어는 도 4에서 메인 단위영역(a)의 좌우방향(2, 3)으로의 위치이동에 해당된다.
사용자가 마스터 단말기(110)를 이용하여 메인 단위영역(a)을 우측으로 이동시키고자 할 때(도 4의 2번 방향) , 도 6과 같이 Y축을 중심으로 마스터 단말기(110)을 제1 방향(예를 들어, 시계 방향)으로 회전시킬 수 있다.
감지부(112)가 마스터 단말기(110)의 이러한 회전을 센싱함에 따라 제1제어부(113)는 메인 단위영역(a)를 우측으로 이동시킬 수 있으며, 우측으로 이동된 메인 단위영역(a)에 해당되는 단위영상이 디스플레이되도록 제어할 수 있다.
이 때 마스터 단말기(110)의 회전이 클수록 메인 단위영역(a)이 우측으로 많이 이동될 수 있다.
또한, 사용자가 마스터 단말기(110)를 이용하여 메인 단위영역(a)을 좌측으로 이동시키고자 할 때(도 4의 3번 방향) , 도 6과 같이 Y축을 중심으로 마스터 단말기(110)을 제2 방향(예를 들어, 반시계 방향)으로 회전시킬 수 있다.
감지부(112)가 마스터 단말기(110)의 이러한 회전을 센싱함에 따라 제1제어부(113)는 메인 단위영역(a)를 좌측으로 이동시킬 수 있으며, 좌측으로 이동된 메인 단위영역(a)에 해당되는 단위영상이 디스플레이되도록 제어할 수 있다.
이 때 마스터 단말기(110)의 회전이 클수록 메인 단위영역(a)이 좌측으로 많이 이동될 수 있다.
메인 단위영역(a)의 위치변경됨에 따라 마스터 단말기(110)는 슬레이브 단말기(120a, 120b)를 제어하여 슬레이브 단위영역(b, c)가 메인 단위영역(a)의 위치변경만큼 이동되도록 할 수 있다. 즉, 메인 단위영역(a)이 좌측 또는 우측으로 위치이동한 만큼 슬레이브 단위영역(b, c)도 좌측 또는 우측으로 위치이동할 수 있다. 이에 따라 메인 단위영역(a)와 슬레이브 단위영역(b)의 불일치없이 정상적인 영상이 표시될 수 있다.
도 5a, 도 5b 및 도 6의 제어방향 설정은 앱 설계시 설정될 수 있으며, 관리자에 의해 변경될 수 있다.
한편, 본 발명의 일 실시 예에 따른 360도 영상은 테마장소에서 이동시 발생되는 다양한 이벤트(일예로, 공연, 전통놀이, 관람 등)를 포함할 수 있다. 제1제어부(113)는 360도 영상의 재생 중 이벤트 발생시, 해당 이벤트에 대한 디스플레이 여부를 사용자로부터 선택입력받고, 디스플레이 미선택 입력시 해당 이벤트를 스킵(skip)하여 스킵 후 영상을 연속적으로 재생시킬 수 있다.
제1제어부(113)는 사용자에 의해 이벤트 디스플레이를 선택받으면, 촬영된 해당 이벤트 영상을 표시하도록 제어신호를 출력하고, 동기화하여 미러링 출력할 수 있다. 이때, 제공되는 360도 영상에는 해당 이벤트에 대한 설명을 아바타를 이용하여 제공할 수 있다. 이벤트 이외에도 재생시점의 장면에 대한 설명을 아바타로 제공할 수 있다.
제1제어부(113)는 해당 테마영상이 재생이 종료되면, 시청한 테마영상과 관련한 학습내용을 퀴즈형태의 게임으로 제공하여 시청자들이 지식습득을 할 수 있게 한다. 이때, 게임은 앱을 통해 제1퀴즈제공부(114) 및 제2퀴즈제공부(123)로 각각 제공되어 시청자가 각각 퀴즈를 풀 수 있게 하거나, 제1퀴즈제공부(114)를 통해 제공되는 퀴즈영상을 360도 영상의 출력과 동일한 방법으로 복수의 디스플레이기(10 내지 12)에 출력되도록 제1제어부(122)가 제어할 수 있다.
이때, 퀴즈영상은 360도 영상에 포함된 하나의 영상으로 제작되거나, 별도의 게임형태로 제공될 수 있다.
이상에서 설명된 바와 같이, 본 발명의 실시예에 따른 360도 영상 표시제어시스템은 기존의 HMD (Head Mounted Display)가 없더라도 360도 영상을 복수의 디스플레이기를 통하여 사용자에게 제공할 수 있다.
뿐만 아니라 360도 영상이 HMD에 표시될 경우, HMD를 착용한 사용자만이 360도 영상을 볼 수 있으나, 본 발명의 실시예에 따른 360도 영상 표시제어시스템은 360도 영상을 복수의 디스플레이기를 통하여 사용자에게 제공하므로 다수의 사람이 360도 영상을 동시에 볼 수 있다.
한편, 상기에서 도 1 내지 도 6을 이용하여 서술한 것은, 본 발명의 주요 사항만을 서술한 것으로, 그 기술적 범위 내에서 다양한 설계가 가능한 만큼, 본 발명이 도 1 내지 도 6의 구성에 한정되는 것이 아님은 자명하다.
110 : 마스터 단말기 120a,120b : 슬레이브 단말기
130 : 서버 111: 제1설정부
112 : 감지부 113 : 제1제어부
114 : 제1퀴즈제공부 121 : 제2설정부
122 : 제2제어부 123 : 제2퀴즈제공부

Claims (12)

  1. 실사 촬영된 360도 영상을 복수의 단위영상으로 분할하고 상기 360도 영상의 중심을 기준으로 복수의 단위영역을 설정하되, 메인 단위영역에 포함되는 단위영상을 메인디스플레이기로 출력하고, 상기 메인 단위영역을 기준으로 이웃하는 주변 단위영역에 포함되는 단위영상을 적어도 하나의 주변 디스플레이기에서 출력하도록 제어하는 제어신호를 생성하는 마스터 단말기; 및
    상기 마스터 단말기로부터 상기 제어신호를 수신시, 해당 주변 단위영상을 기설정된 해당 주변 디스플레이기로 출력하는 복수의 슬레이브 단말기를 포함하고,
    상기 메인디스플레이기 및 상기 주변 디스플레이기는 상기 마스터 단말기 및 상기 복수의 슬레이브 단말기로부터 공간적으로 이격되고, 상기 마스터 단말기는 사람의 시야각에 따라 단위영역의 크기를 결정하며,
    상기 단위영역은 상기 메인디스플레이기 및 상기 주변 디스플레이기에 출력될 단위영상을 결정하는 화각정보가 되고,
    상기 마스터 단말기는 중심에서 시야각을 설정하고, 상기 시야각을 상기 마스터단말기 및 상기 슬레이브 단말기의 개수로 분할하여 상기 단위영역을 설정하고, 매칭되는 상기 메인디스플레이기 및 상기 주변 디스플레이기의 위치에 따라 해당 단위영역을 설정하며,
    상기 메인디스플레이기 및 상기 주변 디스플레이기의 위치에 따라 해당 단위영역이 설정됨에 따라 각 단위영역만큼의 화각이 상기 마스터 단말기 및 상기 슬레이브 단말기별로 설정되는 것을 특징으로 하는 360도 영상 표시제어시스템.
  2. 제1항에 있어서,
    상기 마스터 단말기는,
    상기 사람의 시야각과 더불어 슬레이브 단말기의 개수에 따라 단위영역의 크기를 결정하고, 각 슬레이브 단말기의 상대적 위치에 따라, 재생시점에 대응되는 슬레이브 단말기별 단위영역의 위치를 결정하는 것을 특징으로 하는 360도 영상 표시제어시스템.
  3. 제1항에 있어서,
    상기 마스터 단말기는,
    몸체의 기울기를 감지하여 복수의 디스플레이기에 표시되는 360도 영상의 재생속도 및 뷰 방향을 제어하는 것을 특징으로 하는 360도 영상 표시제어시스템.
  4. 제3항에 있어서,
    X축은 촬영시 기준면과 평행한 축, Y축은 기준면에 수직인 축, Z축은 촬영진행방향에 대응되는 축인 경우,
    상기 마스터 단말기가 상기 Z축을 중심으로 시계방향 또는 반시계 방향으로 회전하면,
    상기 마스터 단말기는,
    상기 마스터 단말기가 상기 Z축을 중심으로 회전한 회전각을 무시함으로써 영상 흔들림을 방지하는 것을 특징으로 하는 360도 영상 표시제어시스템.
  5. 제3항에 있어서,
    X축은 촬영시 기준면과 평행한 축, Y축은 기준면에 수직인 축, Z축은 촬영진행방향에 대응되는 축인 경우,
    상기 마스터 단말기가 움직임 시작 위치에서 상기 메인 디스플레이기를 향하거나 멀어지도록 상기 X축을 중심으로 회전하면,
    상기 마스터 단말기는 설정된 배속으로 빠르게 재생되거나 역방향 재생되는 것을 특징으로 하는 360도 영상 표시제어시스템.
  6. 제1항에 있어서,
    X축은 촬영시 기준면과 평행한 축, Y축은 기준면에 수직인 축, Z축은 촬영진행방향에 대응되는 축인 경우,
    상기 마스터 단말기가 움직임 시작 위치에서 상기 메인 디스플레이기를 향하거나 멀어지도록 상기 X축을 중심으로 회전하면,
    상기 마스터 단말기는 상기 메인 단위영역의 위치를 윗 방향 또는 아랫 방향으로 이동시키는 것을 특징으로 하는 360도 영상 표시제어시스템.
  7. 제1항에 있어서,
    X축은 촬영시 기준면과 평행한 축, Y축은 기준면에 수직인 축, Z축은 촬영진행방향에 대응되는 축인 경우,
    상기 마스터 단말기가 Y축을 중심으로 회전할 경우, 상기 마스터 단말기는 상기 마스터 단말기의 회전 방향에 따라 상기 메인 단위영역의 좌측 또는 우측으로 이동시키는 것을 특징으로 하는 360도 영상 표시제어시스템.
  8. 제1항에 있어서,
    상기 마스터 단말기 및 복수의 슬레이브 단말기는 서버로부터 동일한 360도 영상을 수신하고,
    상기 복수의 슬레이브 단말기는 상기 마스터 단말기의 제어신호에 따라 360도 영상을 동기화시켜 해당 주변 디스플레이기로 미러링 출력하는 것을 특징으로 하는 360도 영상 표시제어시스템.
  9. 제8항에 있어서,
    상기 제어신호는,
    상기 360도 영상의 재생시점 및 상기 마스터 단말기에 기설정된 메인 디스플레이기를 기준으로, 각 슬레이브 단말기에 설정된 주변 디스플레이기들의 상대적 위치에 따라 결정된 주변 단위영역의 위치정보를 포함하는 것을 특징으로 하는 360도 영상 표시제어시스템.
  10. 제1항에 있어서,
    상기 마스터 단말기는,
    상기 360도 영상의 재생 중 이벤트 발생시, 해당 이벤트에 대한 디스플레이 여부를 입력받고, 디스플레이 미입력시 해당 이벤트를 스킵하여 스킵 후 영상을 재생하는 것을 특징으로 하는 360도 영상 표시제어시스템.
  11. 제9항에 있어서,
    상기 360도 영상은,
    관광장소, 전시장소, 역사적장소 및 체험장소 중 적어도 하나를 테마로 촬영된 실사영상이며, 재생시점의 영상에 대한 설명을 제공하는 아바타 및 테마관련 퀴즈를 포함하는 것을 특징으로 하는 360도 영상 표시제어시스템.
  12. 제10항에 있어서,
    상기 360도 영상의 테마영상이 종료되면 상기 마스터 단말기 및 복수의 슬레이브 단말기로 상기 360도 영상의 테마관련 퀴즈를 게임형태로 제공하는 서버를 더 포함하는 것을 특징으로 하는 360도 영상 표시제어시스템.
KR1020200026357A 2019-04-12 2020-03-03 360도 영상 표시제어시스템 KR102260503B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20190042903 2019-04-12
KR1020190042903 2019-04-12

Publications (2)

Publication Number Publication Date
KR20200120502A KR20200120502A (ko) 2020-10-21
KR102260503B1 true KR102260503B1 (ko) 2021-06-03

Family

ID=73034623

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200026357A KR102260503B1 (ko) 2019-04-12 2020-03-03 360도 영상 표시제어시스템

Country Status (1)

Country Link
KR (1) KR102260503B1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060032694A (ko) 2004-10-13 2006-04-18 주식회사 팬택 입체 영상 및 360도 영상을 디스플레이하는 이동통신단말기
KR20070103347A (ko) * 2007-10-03 2007-10-23 이제성 360도 파노라마 카메라의 영상컨텐츠를 이용한 고해상도광시야각 대형 디스플레이 방법
KR101048301B1 (ko) * 2008-04-15 2011-07-13 주식회사 코아로직 휴대용 미디어 재생 장치들로 구현되는 멀티비전 시스템 및그 구현 방법
KR20150034950A (ko) * 2013-09-27 2015-04-06 엘지전자 주식회사 멀티 비전을 구현하기 위한 디스플레이 디바이스 및 그 제어 방법
KR20170058025A (ko) * 2015-11-18 2017-05-26 배성실 시대별 문화재의 영상물을 구비한 가상 역사 체험 시스템 및 시대별 문화재 영상물 제작방법

Also Published As

Publication number Publication date
KR20200120502A (ko) 2020-10-21

Similar Documents

Publication Publication Date Title
JP6992845B2 (ja) 情報処理装置、情報処理方法、プログラム、および情報処理システム
US10463962B2 (en) Spectator view perspectives in VR environments
US20220222905A1 (en) Display control apparatus, display control method, and program
US10780350B2 (en) Spatially and user aware second screen projection from a companion robot or device
JP6761053B2 (ja) 仮想現実環境内のビュー位置における鑑賞者管理
US9779538B2 (en) Real-time content immersion system
JP2022180368A (ja) Ｖｒ観戦のための拡大された視野再レンダリング
US10092838B2 (en) Electronic apparatus for controlling a multi-field-of-view display apparatus, electronic system and control method
US8269822B2 (en) Display viewing system and methods for optimizing display view based on active tracking
WO2017104579A1 (ja) 情報処理装置および操作受付方法
WO2016009864A1 (ja) 情報処理装置、表示装置、情報処理方法、プログラム、および情報処理システム
JP2024050721A (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
US10681276B2 (en) Virtual reality video processing to compensate for movement of a camera during capture
US20170230587A1 (en) Image stitching method and image processing apparatus
CA2933704A1 (en) Systems and methods for producing panoramic and stereoscopic videos
KR20180051202A (ko) 디스플레이장치 및 그 제어방법
CN105939497A (zh) 媒体串流系统及媒体串流方法
JP5876983B2 (ja) 表示制御プログラム、表示制御装置、表示制御方法および表示制御システム
KR20190118040A (ko) 웨어러블 디스플레이 장치 및 그의 입체 영상 표시 방법
KR102260503B1 (ko) 360도 영상 표시제어시스템
US11187895B2 (en) Content generation apparatus and method
JPWO2019155934A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US11587283B2 (en) Image processing apparatus, image processing method, and storage medium for improved visibility in 3D display
CN111149356A (zh) 用于投影沉浸式视听内容的方法
WO2016190193A1 (ja) 情報処理装置、出力制御装置、情報処理システム、および動画データ出力方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right