KR20200120502A - Control System for display 360-degree image - Google Patents

Control System for display 360-degree image Download PDF

Info

Publication number
KR20200120502A
KR20200120502A KR1020200026357A KR20200026357A KR20200120502A KR 20200120502 A KR20200120502 A KR 20200120502A KR 1020200026357 A KR1020200026357 A KR 1020200026357A KR 20200026357 A KR20200026357 A KR 20200026357A KR 20200120502 A KR20200120502 A KR 20200120502A
Authority
KR
South Korea
Prior art keywords
axis
master terminal
image
display
unit
Prior art date
Application number
KR1020200026357A
Other languages
Korean (ko)
Other versions
KR102260503B1 (en
Inventor
이현창
Original Assignee
원광대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 원광대학교산학협력단 filed Critical 원광대학교산학협력단
Publication of KR20200120502A publication Critical patent/KR20200120502A/en
Application granted granted Critical
Publication of KR102260503B1 publication Critical patent/KR102260503B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

The present invention relates to a system for displaying and controlling a 360-degree image of a live-action version to display and control an omnidirectional (360-degree) image of a live-action version on a plurality of displays. More specifically, the present invention relates to the system for displaying and controlling 360-degree image comprising: a master terminal dividing a 360-degree image of a live-action version into a plurality of unit images and setting a plurality of unit areas based on the center of the 360-degree image, outputting a unit image included in a main unit area to a main display, and generating a control signal to output a unit image included in a neighboring peripheral unit area based on the main unit area to be outputted to at least one peripheral display; and a plurality of slave terminals outputting the peripheral unit image to a preset peripheral display when receiving the control signal from the master terminal.

Description

360도 영상 표시제어시스템{Control System for display 360-degree image}Control System for display 360-degree image}

본 발명은 실사 촬영된 전방위(360도) 영상을 복수의 디스플레이기에 표시 및 제어하는 360도 영상 표시제어시스템에 관한 것이다.The present invention relates to a 360-degree image display control system for displaying and controlling an omnidirectional (360-degree) image photographed on a plurality of displays.

최근 VR(Virtual Reality)에 대한 관심이 증대되고 다양한 개인용 촬영기기가 출시되면서, 방송이나 영화 등에서 360도 영상의 제작이 기하급수적으로 증가하고 있다. 이러한 360도 영상은 HMD (Head Mounted Display)뿐만 아니라, PC, TV, 스마트폰 등 여러 디바이스에서 감상이 가능하다.Recently, as interest in VR (Virtual Reality) has increased and various personal photographing devices have been released, the production of 360-degree images in broadcasts and movies is increasing exponentially. These 360-degree images can be viewed not only on HMD (Head Mounted Display), but also on PCs, TVs, and smartphones.

360도 영상은 시청자에게 전 방향의 뷰(view)를 감상할 수 있는 경험을 제공한다. 특히, 다중 스크린을 이용하여 360도 컨텐츠를 감상하는 경우 넓은 화각으로 몰입감 있는 시청 경험을 제공할 수 있다.The 360-degree video provides viewers with an experience in which they can enjoy an omnidirectional view. In particular, when viewing 360-degree content using multiple screens, it is possible to provide an immersive viewing experience with a wide angle of view.

이러한 360도 영상을 제공하는 특허문헌으로 한국공개특허 제2006-0032694호(이하, 특허문헌1) 등이 있다. 상기 특허문헌1은 지자기 센서 그리고/또는 나침반 센서를 단말기 일측에 구비시켜 3차원 영상 및 360도 영상을 구현할 수 있는 입체 영상 및 360도 영상을 디스플레이할 수 있는 이동통신단말기에 관한 것이다. 이때, 특허문헌1은 해당 단말기에서만 영상을 디스플레이함으로써 넓은 화각으로 영상을 제공할 수 없다.As a patent document providing such a 360-degree image, there are Korean Patent Publication No. 2006-0032694 (hereinafter, Patent Document 1). The patent document 1 relates to a mobile communication terminal capable of displaying a three-dimensional image and a 360-degree image capable of implementing a three-dimensional image and a 360-degree image by providing a geomagnetic sensor and/or a compass sensor on one side of the terminal. In this case, Patent Document 1 cannot provide an image with a wide angle of view by displaying the image only in the corresponding terminal.

한편, 다중 스크린에서 360도 영상을 재생하기 위해서는, 각 스크린에 서로 다른 시점(view point)의 컨텐츠가 표시되어야 한다. 이에, 본 출원인은 복수의 디스플레이기에 360도 영상을 표시하고, 표시된 영상을 제어할 수 있는 360도 영상 표시제어시스템을 제공하고자 한다.Meanwhile, in order to play a 360-degree image on multiple screens, contents of different view points must be displayed on each screen. Accordingly, the present applicant intends to provide a 360-degree image display control system capable of displaying a 360-degree image on a plurality of displays and controlling the displayed image.

한국공개특허 제2006-0032694호 (2006.04.18.공개)Korean Patent Publication No. 2006-0032694 (published on April 18, 2006)

본 발명의 목적은, 특정 테마장소에서 실사촬영된 360도 영상을 다수의 디스플레이기에 분할하여 디스플레이하고, 마스터 단말기의 몸체 기울기 감지를 통해 디스플레이되는 영상의 재생속도 및 뷰방향을 제어할 수 있는 360도 영상 표시제어시스템을 제공하는 데 있다.An object of the present invention is to divide and display a 360-degree image photographed at a specific theme place on a plurality of displays, and to control the playback speed and view direction of the displayed image through the body tilt detection of the master terminal. It is to provide an image display control system.

상기한 바와 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 360도 영상 표시제어시스템은 실사 촬영된 360도 영상을 복수의 단위영상으로 분할하고 상기 360도 영상의 중심을 기준으로 복수의 단위영역을 설정하되, 메인 단위영역에 포함되는 단위영상을 메인디스플레이기로 출력하고, 상기 메인 단위영역을 기준으로 이웃하는 주변 단위영역에 포함되는 단위영상을 적어도 하나의 주변 디스플레이기에서 출력하도록 제어하는 제어신호를 생성하는 마스터 단말기 및 상기 마스터 단말기로부터 상기 제어신호를 수신시, 해당 주변 단위영상을 기설정된 해당 주변 디스플레이기로 출력하는 복수의 슬레이브 단말기를 포함할 수 있다.A 360-degree image display control system according to an embodiment of the present invention for achieving the above object divides a real-photographed 360-degree image into a plurality of unit images, and a plurality of units based on the center of the 360-degree image Control to set an area, but output a unit image included in the main unit area to the main display, and control to output the unit image included in the neighboring unit area adjacent to the main unit area on at least one peripheral display device It may include a master terminal generating a signal and a plurality of slave terminals outputting a corresponding peripheral unit image to a predetermined peripheral display when receiving the control signal from the master terminal.

또한, 상기 마스터 단말기는, 사람의 시야각 및 슬레이브 단말기의 개수에 따라 단위영역의 크기를 결정하고, 각 슬레이브 단말기의 상대적 위치에 따라, 재생시점에 대응되는 슬레이브 단말기별 단위영역의 위치를 결정할 수 있다.In addition, the master terminal may determine the size of the unit region according to a person's viewing angle and the number of slave terminals, and determine the position of the unit region for each slave terminal corresponding to the playback time according to the relative position of each slave terminal. .

또한, 상기 마스터 단말기는, 몸체의 기울기를 감지하여 복수의 디스플레이기에 표시되는 360도 영상의 재생속도 및 뷰 방향을 제어할 수 있다.In addition, the master terminal may control a playback speed and a view direction of a 360-degree image displayed on a plurality of displays by sensing the inclination of the body.

X축은 촬영시 기준면과 평행한 축, Y축은 기준면에 수직인 축, Z축은 촬영진행방향에 대응되는 축인 경우, 상기 마스터 단말기가 상기 Z축을 중심으로 시계방향 또는 반시계 방향으로 회전하면, 상기 마스터 단말기는, 상기 마스터 단말기가 상기 Z축을 중심으로 회전한 회전각을 무시함으로써 영상 흔들림을 방지할 수 있다. When the X axis is an axis parallel to the reference plane when shooting, the Y axis is an axis perpendicular to the reference plane, and the Z axis is an axis corresponding to the shooting direction, the master terminal rotates clockwise or counterclockwise around the Z axis. The terminal can prevent image shaking by ignoring the rotation angle of the master terminal around the Z axis.

X축은 촬영시 기준면과 평행한 축, Y축은 기준면에 수직인 축, Z축은 촬영진행방향에 대응되는 축인 경우, 상기 마스터 단말기가 움직임 시작 위치에서 상기 메인 디스플레이기를 향하거나 멀어지도록 상기 X축을 중심으로 회전하면, 상기 마스터 단말기는 설정된 배속으로 빠르게 재생되거나 역방향 재생될 수 있다. When the X-axis is an axis parallel to the reference plane when shooting, the Y-axis is an axis perpendicular to the reference plane, and the Z-axis is an axis corresponding to the shooting direction, the X-axis is centered so that the master terminal moves toward or away from the main display. When rotated, the master terminal can be quickly played back or reversely played at a set double speed.

X축은 촬영시 기준면과 평행한 축, Y축은 기준면에 수직인 축, Z축은 촬영진행방향에 대응되는 축인 경우, 상기 마스터 단말기가 움직임 시작 위치에서 상기 메인 디스플레이기를 향하거나 멀어지도록 상기 X축을 중심으로 회전하면, 상기 마스터 단말기는 상기 메인 단위영역의 위치를 윗 방향 또는 아랫 방향으로 이동시킬 수 있다.When the X-axis is an axis parallel to the reference plane when shooting, the Y-axis is an axis perpendicular to the reference plane, and the Z-axis is an axis corresponding to the shooting direction, the X-axis is centered so that the master terminal moves toward or away from the main display. When rotated, the master terminal may move the position of the main unit area upward or downward.

X축은 촬영시 기준면과 평행한 축, Y축은 기준면에 수직인 축, Z축은 촬영진행방향에 대응되는 축인 경우, 상기 마스터 단말기가 Y축을 중심으로 회전할 경우, 상기 마스터 단말기는 상기 마스터 단말기의 회전 방향에 따라 상기 메인 단위영역의 좌측 또는 우측으로 이동시킬 수 있다. When the X-axis is an axis parallel to the reference plane during shooting, the Y-axis is an axis perpendicular to the reference plane, and the Z-axis is an axis corresponding to the shooting direction, when the master terminal rotates around the Y-axis, the master terminal rotates the master terminal. It can be moved to the left or right of the main unit area according to the direction.

또한, 상기 마스터 단말기 및 복수의 슬레이브 단말기는 서버로부터 동일한 360도 영상을 수신하고, 상기 복수의 슬레이브 단말기는 상기 마스터 단말기의 제어신호에 따라 360도 영상을 동기화시켜 해당 주변 디스플레이기로 미러링 출력할 수 있다.In addition, the master terminal and the plurality of slave terminals may receive the same 360-degree image from the server, and the plurality of slave terminals synchronize the 360-degree image according to the control signal of the master terminal and output the mirror to a corresponding peripheral display. .

또한, 상기 제어신호는, 상기 360도 영상의 재생시점 및 상기 마스터 단말기에 기설정된 메인 디스플레이기를 기준으로, 각 슬레이브 단말기에 설정된 주변 디스플레이기들의 상대적 위치에 따라 결정된 주변 단위영역의 위치정보를 포함할 수 있다.In addition, the control signal, based on the playback time of the 360-degree image and the main display preset in the master terminal, may include location information of the surrounding unit region determined according to the relative positions of the peripheral displays set in each slave terminal. I can.

또한, 상기 마스터 단말기는, 상기 360도 영상의 재생 중 이벤트 발생시, 해당 이벤트에 대한 디스플레이 여부를 입력받고, 디스플레이 미입력시 해당 이벤트를 스킵하여 스킵 후 영상을 재생할 수 있다.In addition, when an event occurs during playback of the 360-degree image, the master terminal may receive an input whether or not to display a corresponding event, and when a display is not input, skip the corresponding event to reproduce the skipped image.

또한, 상기 360도 영상은, 관광장소, 전시장소, 역사적장소 및 체험장소 중 적어도 하나를 테마로 촬영된 실사영상이며, 재생시점의 영상에 대한 설명을 제공하는 아바타 및 테마관련 퀴즈를 포함할 수 있다.In addition, the 360-degree image is a live-action image photographed under the theme of at least one of a tourist place, an exhibition place, a historical place, and an experience place, and may include an avatar providing an explanation of the image at the time of reproduction and a theme-related quiz. have.

또한, 상기 360도 영상의 테마영상이 종료되면 상기 마스터 단말기 및 복수의 슬레이브 단말기로 상기 360도 영상의 테마관련 퀴즈를 게임형태로 제공하는 서버를 더 포함할 수 있다.In addition, when the theme image of the 360-degree image ends, a server for providing the theme-related quiz of the 360-degree image to the master terminal and the plurality of slave terminals in the form of a game may be further included.

이상에서 설명한 바와 같이, 본 발명의 360도 영상 표시제어시스템은 복수의 디스플레이기에 동기화된 영상을 표시되도록 제어함으로써 다수의 시청자에게 넓은 화각으로 영상을 제공할 수 있다.As described above, the 360-degree image display control system of the present invention can provide an image with a wide angle of view to a plurality of viewers by controlling the synchronized image to be displayed on a plurality of displays.

또한, 마스터 단말기의 몸체 기울기를 통해 재생속도 및 뷰 방향을 직관적으로 제어할 수 있게 함으로써, 사용자가 영상을 끊김없이 연속재생하면서 속도 및 뷰 방향을 제어할 수 있다. In addition, by allowing the user to intuitively control the playback speed and the view direction through the body tilt of the master terminal, the user can control the speed and the view direction while continuously playing an image without interruption.

또한, 특정 테마장소에서 이동하며 촬영된 영상에서 이벤트가 발생될 때, 사용자의 선택에 따라 스킵 또는 재생할 수 있고, 스킵시 이후 영상이 연속재생되게 함으로써 일일히 사용자 조작을 필요로 하지 않는다.In addition, when an event occurs in a video captured while moving in a specific theme location, it can be skipped or played according to the user's selection, and the video is continuously played after the skip, so that no user manipulation is required.

또한, 특정 테마장소에 대한 설명을 아바타를 이용하여 제공하고, 영상의 종료시 게임형태로 퀴즈를 제공함으로써 지식습득 효과를 얻을 수도 있다. In addition, it is possible to obtain a knowledge acquisition effect by providing an explanation of a specific theme place using an avatar, and providing a quiz in the form of a game at the end of the video.

도 1은 본 발명의 일 실시 예에 따른 개략적인 360도 영상표시제어시스템의 구성을 설명하기 위한 도면이다.
도 2는 도 1의 마스터 단말기의 구성을 나타내는 블록도이다.
도 3은 도 1의 슬레이브 단말기의 구성을 나타내는 블록도이다.
도 4는 본 발명의 일 실시 예에 따른 360도 영상을 설명하기 위한 도면이다.
도 5a 및 도 5b는 본 발명의 일 실시 예에 따른 재생속도 및 제1뷰 방향 제어를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 제2 방향 뷰 제어를 설명하기 위한 도면이다.
1 is a view for explaining a schematic configuration of a 360-degree image display control system according to an embodiment of the present invention.
2 is a block diagram showing the configuration of the master terminal of FIG. 1.
3 is a block diagram showing the configuration of the slave terminal of FIG. 1.
4 is a diagram illustrating a 360-degree image according to an embodiment of the present invention.
5A and 5B are views for explaining a playback speed and a first view direction control according to an embodiment of the present invention.
6 is a diagram for describing a second direction view control according to an embodiment of the present invention.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 안 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.The terms or words used in the specification and claims should not be construed as being limited to their usual or dictionary meanings, and the inventor may appropriately define the concept of terms in order to describe his own invention in the best way. It should be interpreted as a meaning and concept consistent with the technical idea of the present invention based on the principle that there is.

따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Therefore, the embodiments described in the present specification and the configurations shown in the drawings are only the most preferred embodiments of the present invention, and do not represent all the technical spirit of the present invention, and thus various equivalents that can replace them at the time of application It should be understood that there may be water and variations.

이하, 도면을 참조하여 설명하기에 앞서, 본 발명의 요지를 드러내기 위해서 필요하지 않은 사항 즉 통상의 지식을 가진 당업자가 자명하게 부가할 수 있는 공지 구성에 대해서는 도시하지 않거나, 구체적으로 기술하지 않았음을 밝혀둔다.Hereinafter, prior to the description with reference to the drawings, matters that are not necessary to reveal the gist of the present invention, that is, known configurations that can be obviously added by those skilled in the art are not shown or specifically described. Make the note clear.

본 발명의 일 실시 예에 따른 360도 영상표시제어시스템은 복수의 단말기 및 복수의 디스플레이기를 이용하여 멀티화면을 구성하고, 마스터 단말기를 이용하여 재생되는 영상을 제어함으로써 생동감있는 360도 영상을 제공하는 시스템이다.A 360-degree image display control system according to an embodiment of the present invention configures a multi-screen using a plurality of terminals and a plurality of displays, and provides a dynamic 360-degree image by controlling the image played back using a master terminal. System.

본 발명의 일 실시 예에 따른 360도 영상은, 관광장소, 전시장소, 역사적장소 및 체험장소 등과 같이 특정장소를 테마로 해당장소에서 이동하며 전방위 촬영된 실사영상이 될 수 있다. A 360-degree image according to an embodiment of the present invention may be a live-action image taken from all directions while moving from a specific place under the theme of a specific place, such as a tourist place, an exhibition place, a historical place, and an experience place.

도 1은 본 발명의 일 실시 예에 따른 개략적인 360도 영상표시제어시스템의 구성을 설명하기 위한 도면이다. 도 1을 참고하면, 본 발명의 일 실시 예에 따른 360도 영상표시제어시스템(이하, 제어시스템이라 함)은 마스터 단말기(110), 복수의 슬레이브 단말기(120a,120b) 및 서버(130)를 포함하고, 영상의 재생을 위해 각 단말기(110)는 복수의 디스플레이기(10 내지 12)에 1:1 매칭될 수 있다. 1 is a view for explaining a schematic configuration of a 360-degree image display control system according to an embodiment of the present invention. Referring to FIG. 1, a 360-degree image display control system (hereinafter referred to as a control system) according to an embodiment of the present invention includes a master terminal 110, a plurality of slave terminals 120a and 120b, and a server 130. Including, for the reproduction of the image, each terminal 110 may be 1:1 matched to a plurality of display devices 10 to 12.

여기서, 서버(130)는 360도 영상표시제어를 위한 앱을 제공하며, 테마별 360도 영상을 제공할 수 있다. 한편, 슬레이브 단말기(120a,120b)의 개수는 설명의 이해를 위해 2개로 도시하였으나, 한정되지 않는다. 또한, 디스플레이기의 배치 위치도 변경될 수 있다.Here, the server 130 provides an app for controlling a 360-degree image display, and may provide a 360-degree image for each theme. Meanwhile, the number of slave terminals 120a and 120b is illustrated as two for understanding of description, but is not limited thereto. Also, the arrangement position of the display device may be changed.

마스터 단말기(110) 및 슬레이브 단말기(120a,120b)는 서버(130)로부터 테마별 360도 영상을 수신하고, 이의 재생을 제어할 수 있는 앱이 설치된 스마트 폰, 탭북 등과 같이 앱 설치가 가능하고, 디스플레이부(미도시)를 구비한 휴대가능한 단말이 될 수 있다. The master terminal 110 and the slave terminals 120a and 120b receive 360-degree images for each theme from the server 130, and can install apps such as smart phones and tabbooks with apps that can control their playback, and display It can be a portable terminal equipped with a part (not shown).

이때, 설치된 앱을 통해 해당 단말기는 마스터 또는 슬레이브로 설정될 수 있다. 마스터로 설정시 마스터 단말기(110)로 동작되고, 슬레이브로 설정시 슬레이브 단말기(120a,120b)로 동작될 수 있다.At this time, the terminal may be set as a master or slave through the installed app. When it is set as a master, it can be operated as the master terminal 110, and when it is set as a slave, it can be operated as the slave terminals 120a and 120b.

도 2는 도 1의 마스터 단말기의 구성을 나타내는 블록도이다. 도 3은 도 1의 슬레이브 단말기의 구성을 나타내는 블록도이다. 2 is a block diagram showing the configuration of the master terminal of FIG. 1. 3 is a block diagram showing the configuration of the slave terminal of FIG. 1.

도 2를 참고하면, 마스터 단말기(110)는 제1설정부(111), 감지부(112), 제1제어부(113) 및 제1퀴즈제공부(114)를 포함할 수 있다. 도 3을 참고하면, 슬레이브 단말기(120a,120b)는 제2설정부(121), 제2제어부(122) 및 제2퀴즈제공부(123)를 포함할 수 있다. Referring to FIG. 2, the master terminal 110 may include a first setting unit 111, a sensing unit 112, a first control unit 113, and a first quiz providing unit 114. Referring to FIG. 3, the slave terminals 120a and 120b may include a second setting unit 121, a second control unit 122, and a second quiz providing unit 123.

마스터 단말기(110)는 슬레이브 단말기(120a,120b)의 영상출력을 제어하는 제어신호를 생성하는 것으로, 복수의 디스플레이기(10 내지 12)에서 동기화된 영상이 제공될 수 있도록 제어할 수 있다. The master terminal 110 generates a control signal for controlling the image output of the slave terminals 120a and 120b, and may control the plurality of displays 10 to 12 to provide synchronized images.

제1설정부(111)는 마스터/슬레이브 설정, 매칭되는 디스플레이기(메인 디스플레이기) 설정, 슬레이브 단말기 개수 설정 등을 사용자로부터 입력받을 수 있다. The first setting unit 111 may receive a master/slave setting, a matching display (main display) setting, a setting of the number of slave terminals, etc. from a user.

또한, 설정부(111)는 각 슬레이브 단말기(120a,120b)로부터 슬레이브 단말기에 매칭된 디스플레이기 설정, 메인 디스플레이기를 기준으로 해당 슬레이브 단말기에 매칭된 디스플레이기의 위치 설정 관련 정보 등을 수신할 수 있다. 또는, 사용자가 슬레이브 단말기(120a,120b) 및 디스플레이기를 매칭시켜 배치위치를 직접 설정할 수도 있다.In addition, the setting unit 111 may receive information related to setting a display device matched to the slave terminal from each of the slave terminals 120a and 120b, and setting a location of a display device matched to the corresponding slave terminal based on the main display device. . Alternatively, the user may directly set the arrangement position by matching the slave terminals 120a and 120b and the display device.

한편, 슬레이브 단말기(120a,120b)는 슬레이브로 설정되어 슬레이브 모드를 제공하는 단말이 될 수 있다. 슬레이브 단말기(120a,120b)의 제2설정부(121)는 마스터/슬레이브 설정, 매칭되는 디스플레이기 설정(위치, 식별번호 등) 등을 사용자로부터 입력받을 수 있다. Meanwhile, the slave terminals 120a and 120b may be set as slaves and become terminals providing a slave mode. The second setting unit 121 of the slave terminals 120a and 120b may receive a master/slave setting, a matching display setting (location, identification number, etc.) from a user.

또한, 제2설정부(121)는 설정된 디스플레이기 및 자신의 식별번호를 근거리 통신 등을 이용하여 마스터로 설정된 마스터 단말기(110)로 제공할 수 있다. In addition, the second setting unit 121 may provide the set display device and its identification number to the master terminal 110 set as a master using short-range communication or the like.

도 1을 참고하면, 각 단말기(110,120a,120b)는 매칭되는 디스플레이기(10 내지 12)와 대향되도록 위치되는 것이 바람직하며, 배치의 중심에 마스터단말기(110) 및 메인 디스플레이기(10)가 배치되는 것이 바람직하다.1, each terminal (110, 120a, 120b) is preferably positioned to face the matching display (10 to 12), the master terminal 110 and the main display 10 at the center of the arrangement It is preferred to be arranged.

감지부(112)는 자이로센서, 가속도센서 등을 이용하여 마스터 단말기(110)의 몸체 기울어짐의 방향 및 정도(각도)를 감지할 수 있다. 이때, 감지되는 기울어짐의 방향 및 각도는 영상의 재생속도 및 뷰 방향 제어시에 이용될 수 있다. 한편, 이에 대한 설명은 제1제어부(113)의 설명과 도 5 및 도 6의 설명에서 구체적으로 설명하도록 한다.The sensing unit 112 may detect the direction and degree (angle) of the body inclination of the master terminal 110 using a gyro sensor, an acceleration sensor, or the like. In this case, the detected tilt direction and angle may be used to control the playback speed and view direction of the image. Meanwhile, a description of this will be described in detail in the description of the first control unit 113 and the description of FIGS. 5 and 6.

제1제어부(113)는 서버(130)로부터 수신된 360도 영상의 중심을 기준으로 복수의 단위영역을 설정하고, 설정된 단위영역 중 메인 단위영역에 포함되는 단위영상을 메인디스플레이기(10)로 출력하고, 메인 단위영역을 기준으로 이웃하는 주변 단위영역에 대응되는 단위영상을 출력하도록 제어하는 제어신호를 생성하여 기설정된 슬레이브 단말기(120a, 120b)로 전송할 수 있다. 360도 영상은 복수의 단위영상으로 구성될 수 있고, 단위영상은 도 4와 같이 전방위 카메라에 의해 촬영된 영상들이 될 수 있다.The first control unit 113 sets a plurality of unit areas based on the center of the 360-degree image received from the server 130, and transfers the unit images included in the main unit area among the set unit areas to the main display 10. A control signal for controlling the output and outputting a unit image corresponding to a neighboring unit region based on the main unit region may be generated and transmitted to the preset slave terminals 120a and 120b. The 360-degree image may be composed of a plurality of unit images, and the unit image may be images captured by an omnidirectional camera as shown in FIG. 4.

도 4는 본 발명의 일 실시 예에 따른 360도 영상을 설명하기 위한 도면이다. 도 4를 참고하면, 360도 영상은 전방위 카메라를 이용하여 촬영된 복수의 영상을 렌더링하여 취합된 영상으로 생성될 수 있다. 4 is a diagram illustrating a 360-degree image according to an embodiment of the present invention. Referring to FIG. 4, a 360-degree image may be generated as a combined image by rendering a plurality of images captured using an omnidirectional camera.

여기서, X축은 촬영시 기준면과 평행한 축, Y축은 기준면에 수직인 축, Z축은 촬영진행방향에 대응되는 축으로 볼 수 있다. 이 때 기준면은 지면이거나, 지면에 평행한 가상면이거나, 지면에 비하여 기울어진 가상 경사면일 수 있다. Here, the X-axis may be viewed as an axis parallel to the reference plane during photographing, the Y-axis as an axis perpendicular to the reference plane, and the Z-axis as an axis corresponding to the photographing direction. In this case, the reference plane may be the ground, a virtual plane parallel to the ground, or a virtual inclined plane inclined compared to the ground.

이에 따라 마스터 단말기(110)가 기준면에 수직하게 배치될 경우, Y축은 마스터 단말기(110)의 윗면을 수직하게 관통하고, Z축이 마스터 단말기(110)의 정면을 수직하게 관통하며, X축은 마스터 단말기(110)의 측면을 수직하게 관통할 수 있다. Accordingly, when the master terminal 110 is disposed perpendicular to the reference plane, the Y axis vertically penetrates the upper surface of the master terminal 110, the Z axis vertically penetrates the front of the master terminal 110, and the X axis is the master. The side surface of the terminal 110 may be vertically penetrated.

마스터 단말기(110)가 스마트폰과 같은 모바일폰일 경우, 마스터 단말기(110)의 정면에는 마스터 단말기(110)의 표시부(예를 들어, LCD 또는 OLED 등)가 구비될 수 있다. When the master terminal 110 is a mobile phone such as a smartphone, a display unit (eg, LCD or OLED) of the master terminal 110 may be provided in front of the master terminal 110.

이때, 제1제어부(113)는 360도 영상의 중심(즉, 촬영시 이동하는 경로가 되는 전방영상의 중심)을 기준으로, 사람의 시야각 및 슬레이브 단말기(120a,120b)의 개수에 따라 단위영역(a 내지 c)의 크기를 결정할 수 있다. 일반적으로 사람이 가장 넓게 볼 수 있는 시야각은 180도이다. 다만, 이때 시야각은 마스터 단말기(110)의 사용자에 의해 180도가 아닌 각으로 설정될 수도 있다. At this time, the first control unit 113 is based on the center of the 360-degree image (that is, the center of the front image that is a moving path when shooting), the unit area according to the viewing angle of the person and the number of slave terminals 120a, 120b. The size of (a to c) can be determined. In general, the widest viewing angle for a person is 180 degrees. However, at this time, the viewing angle may be set to an angle other than 180 degrees by the user of the master terminal 110.

즉, 본 발명에서 단위영역은 복수의 디스플레이기(10 내지 12)에 출력될 단위영상을 결정하는 화각정보가 될 수 있다. That is, in the present invention, the unit region may be field-of-view information for determining unit images to be output to the plurality of displays 10 to 12.

도 4에서는 180도 화각으로 설정된 경우이며, 제1제어부는 중심에서 시야각을 설정하고, 시야각을 마스터단말기(110) 및 슬레이브 단말기(120a,120b)의 개수(도 4에서는 3개)로 분할하여 단위영역(a 내지 c)을 설정하고, 매칭되는 디스플레이기(10 내지 12)의 위치에 따라 해당 단위영역을 설정할 수 있다. 이에, 각 단위영역만큼의 화각(도 4의 경우, 60도)이 단말기(110,120a,120b)별로 설정될 수 있다.In Fig. 4, the view angle is set to 180 degrees, and the first control unit sets the viewing angle at the center, and divides the viewing angle into the number of master terminals 110 and slave terminals 120a, 120b (three in Fig. 4). Areas a to c may be set, and a corresponding unit area may be set according to the position of the matching display devices 10 to 12. Accordingly, the angle of view (60 degrees in the case of FIG. 4) corresponding to each unit area may be set for each terminal 110, 120a, and 120b.

제1제어부(113)는 설정된 메인 단위영역에 포함되는 영상을 메인 디스플레이기(10)로 출력할 영상으로 결정하고, 출력될 360도 영상의 재생시점 및 마스터 단말기(110)에 기설정된 메인 디스플레이기(10)를 기준으로, 각 슬레이브 단말기(120a,120b)에 설정된 디스플레이기(11,12)들의 상대적 위치에 따라 결정된 주변 단위영역의 위치정보(즉, 메인 단위영역을 기준으로 설정된 화각)를 포함하는 제어신호를 해당 슬레이브 단말기(120a,120b)로 전송할 수 있다. 이때, 제어신호는 동기신호도 포함할 수 있다.The first control unit 113 determines the image included in the set main unit region as an image to be output to the main display 10, and a playback time of the 360-degree image to be output and a main display unit preset in the master terminal 110 Based on (10), the position information of the surrounding unit area determined according to the relative positions of the displays 11 and 12 set in each slave terminal 120a, 120b (that is, the angle of view set based on the main unit area) is included. The control signal to be transmitted may be transmitted to the corresponding slave terminals 120a and 120b. In this case, the control signal may also include a synchronization signal.

슬레이브 단말기(120a,120b)의 제2제어부(122)는 서버(130)로부터 마스터 단말기(110)와 동일한 360도 영상을 수신할 수 있다. 또한, 제2제어부(122)는 제1제어부(113)로부터 제어신호 수신시, 자신의 단위영역 위치정보를 이용하여 해당 단위영상을 판단할 수 있다. The second controller 122 of the slave terminals 120a and 120b may receive the same 360-degree image as the master terminal 110 from the server 130. In addition, when receiving a control signal from the first control unit 113, the second control unit 122 may determine a corresponding unit image using position information of its unit region.

마스터 단말기(110)의 제1제어부(113) 및 복수의 슬레이브 단말기(120a,120b)의 제2제어부(122)는 360도 영상을 동기화시켜 해당 디스플레이기로 미러링 출력할 수 있다. 이에, 복수의 디스플레이기(10 내지 12)에는 시야각만큼의 360도 영상 표시되며, 감지부(112)의 몸체 기울어짐에 따라 표시되는 영상의 방향뷰 및 재생속도가 변환될 수 있다.The first control unit 113 of the master terminal 110 and the second control unit 122 of the plurality of slave terminals 120a and 120b may synchronize 360-degree images and output mirrored images to a corresponding display. Accordingly, a 360 degree image corresponding to the viewing angle is displayed on the plurality of display devices 10 to 12, and a direction view and a playback speed of the displayed image may be converted according to the tilt of the body of the sensing unit 112.

도 5a 및 도 5b는 본 발명의 일 실시 예에 따른 재생속도 및 제1뷰 방향 제어를 설명하기 위한 도면이다. 도 5b를 참고하면 마스터 단말기(110)는 몸체의 기울기를 감지하여 디스플레이기(10 내지 12)에 표시되는 360도 영상의 재생속도 및 뷰 방향을 제어할 수 있다. 5A and 5B are views for explaining a playback speed and a first view direction control according to an embodiment of the present invention. Referring to FIG. 5B, the master terminal 110 may control a playback speed and a view direction of a 360-degree image displayed on the displays 10 to 12 by sensing the inclination of the body.

이때, 도 5a에 도시된 바와 같이, 제1제어부(113)는 360도 영상의 좌우 흔들림을 방지할 수 있다. 즉, Z축을 중심으로 마스터 단말기(110)이 시계방향 또는 반시계 방향으로 회전하면 영상 흔들림이 발생할 수 있다. 제1제어부(113)는 마스터 단말기(110)가 Z축을 중심으로 회전한 회전각(α, β)을 감지부(112)로부터 입력받을 수 있다. 이 때 마스터 단말기(110)의 제1제어부(113)는 상기 회전각(α, β)을 무시함으로써 영상 흔들림을 방지할 수 있다. In this case, as shown in FIG. 5A, the first control unit 113 may prevent the left and right shaking of the 360 degree image. That is, when the master terminal 110 rotates clockwise or counterclockwise around the Z axis, image shaking may occur. The first control unit 113 may receive an input from the sensing unit 112 of the rotation angles α and β at which the master terminal 110 rotates around the Z axis. At this time, the first control unit 113 of the master terminal 110 can prevent image shaking by ignoring the rotation angles α and β.

이 때 상기 회전각(α, β)의 크기는 설계에 따라 달라질 수 있다. 예를 들어, 기준각도보다 작은 회전각(α, β)이 무시될 수도 있고, 기준각도보다 큰 회전각(α, β)이 무시될 수도 있다. 또는 기준각도범위를 벗어나거나 기준각도범위 내의 회전각(α, β)이 무시될 수도 있다. In this case, the size of the rotation angles α and β may vary depending on the design. For example, rotation angles α and β smaller than the reference angle may be ignored, and rotation angles α and β larger than the reference angle may be ignored. Alternatively, the rotation angle (α, β) outside the reference angle range or within the reference angle range may be ignored.

이와 같이 영상의 흔들림이 방지됨으로써 영상 흔들림으로 인하여 영상 시청에 따른 사용자의 어지러움을 방지할 수 있다. By preventing the image from being shaken as described above, it is possible to prevent the user from being dizzy due to the image viewing due to the image shaking.

한편, 도 5b에 도시된 바와 같이, 사용자의 조작이나 구동 장치 등의 동작에 따라 마스터 단말기(110)가 X축을 중심으로 회전될 수 있다. 앞서 설명된 바와 같이, X축은 마스터 단말기(110)의 측면을 관통할 수 있다. Meanwhile, as shown in FIG. 5B, the master terminal 110 may be rotated around the X axis according to a user's manipulation or an operation of a driving device. As described above, the X-axis may pass through the side of the master terminal 110.

마스터 단말기(110)가 X축을 중심으로 회전할 경우, 회전마스터 단말기(110)는 Y축과 Z축 사이에서 회전될 수 있다. When the master terminal 110 rotates about the X axis, the rotation master terminal 110 may rotate between the Y axis and the Z axis.

이때, 마스터 단말기(110)의 움직임 시작 위치는, Y축이 마스터 단말기(110)의 윗면을 수직하게 관통하도록 마스터 단말기(110)가 배치되는 위치일 수 있다. At this time, the movement start position of the master terminal 110 may be a position in which the master terminal 110 is disposed so that the Y-axis vertically penetrates the upper surface of the master terminal 110.

마스터 단말기(110)가 움직임 시작 위치에서 메인 디스플레이기(11)을 향하여 X축을 중심으로 회전하면, 감지부(112)가 마스터 단말기(110)의 회전을 감지할 수 있다. 감지부(112)의 회전 감지에 따라 제1제어부(113)는 영상을 설정된 배속으로 빠르게 플레이할 수 있다. 즉, 제2 감지영역(b1)은 영상의 재생 속도를 설정하기 위한 것이다. 이 때 마스터 단말기(110)가 메인 디스플레이기(11)을 향하여 많이 회전할수록 설정된 배속이 커질 수 있다. When the master terminal 110 rotates about the X-axis toward the main display 11 at the starting position of the movement, the sensing unit 112 may detect the rotation of the master terminal 110. According to the detection of the rotation of the sensing unit 112, the first control unit 113 can quickly play the image at a set double speed. That is, the second sensing area b1 is for setting the reproduction speed of the image. In this case, as the master terminal 110 rotates toward the main display 11, the set double speed may increase.

또한 마스터 단말기(110)가 움직임 시작 위치에서 메인 디스플레이기(11)로부터 멀어지도록 X축을 중심으로 회전할 수 있다. 이에 따라 감지부(112)가 마스터 단말기(110)의 회전을 감지하며, 감지부(112)의 회전 감지에 따라 제1제어부(113)는 영상을 제1방향 뷰, 즉, 반대방향으로 재생할 수 있다. 즉, 제1 감지영역(a1)은 영상의 역방향 재생을 설정하기 위한 것이다. In addition, the master terminal 110 may rotate around the X axis so that it moves away from the main display 11 at the start position of movement. Accordingly, the detection unit 112 detects the rotation of the master terminal 110, and according to the rotation detection of the detection unit 112, the first control unit 113 can reproduce the image in a first direction view, that is, in the opposite direction. have. That is, the first detection area a1 is for setting reverse reproduction of an image.

한편, 앞서 설명된 제1 감지영역(a1) 및 제2 감지영역(b1)은 재생 속도 제어 및 역방향 재생 설정이 아니라 단위 영역의 위치 제어에 사용될 수도 있다. Meanwhile, the first sensing region a1 and the second sensing region b1 described above may be used for controlling the position of the unit region, not for controlling the reproduction speed and setting the reverse reproduction.

즉, 도 5b에 도시된 바와 같이, 마스터 단말기(110)가 움직임 시작 위치에서 메인 디스플레이기(11)을 향하여 X축을 중심으로 회전하면, 감지부(112)가 마스터 단말기(110)의 회전을 감지할 수 있다. That is, as shown in FIG. 5B, when the master terminal 110 rotates about the X-axis toward the main display 11 at the starting position, the detection unit 112 detects the rotation of the master terminal 110. can do.

마스터 단말기(110)의 회전 감지에 따라 제1제어부(113)는 메인 단위영역(a)의 위치를 아래 방향(도 4의 4번 방향)으로 이동시킬 수 있으며, 마스터 단말기(110)는 위치 변경된 메인 단위영역(a)에 해당되는 단위영상이 디스플레이되도록 제어할 수 있다. 이 때 마스터 단말기(110)가 메인 디스플레이기(11)을 향하여 많이 회전할수록 메인 단위영역(a)의 위치 변경이 커질 수 있다. According to the rotation detection of the master terminal 110, the first control unit 113 can move the position of the main unit area (a) downward (direction 4 in FIG. 4), and the master terminal 110 is The unit image corresponding to the main unit area (a) may be controlled to be displayed. In this case, the more the master terminal 110 rotates toward the main display 11, the greater the change in the position of the main unit area a may increase.

또한, 도 5b에 도시된 바와 같이, 마스터 단말기(110)가 움직임 시작 위치에서 메인 디스플레이기(11)로부터 멀어지도록 X축을 중심으로 회전하면, 감지부(112)가 마스터 단말기(110)의 회전을 감지할 수 있다. In addition, as shown in FIG. 5B, when the master terminal 110 rotates around the X-axis so that it is away from the main display 11 at the starting position of the movement, the sensing unit 112 rotates the master terminal 110. Can be detected.

마스터 단말기(110)의 회전 감지에 따라 제1제어부(113)는 메인 단위영역(a)의 위치를 윗 방향(도 4의 1번 방향)으로 이동시킬 수 있으며, 마스터 단말기(110)는 위치 변경된 메인 단위영역(a)에 해당되는 단위영상이 디스플레이되도록 제어할 수 있다. 이 때 마스터 단말기(110)가 메인 디스플레이기(11)로부터 많이 멀어질수록 메인 단위영역(b)의 위치 변경이 커질 수 있다. According to the rotation detection of the master terminal 110, the first control unit 113 can move the position of the main unit area (a) upward (direction No. 1 in FIG. 4), and the master terminal 110 is The unit image corresponding to the main unit area (a) may be controlled to be displayed. In this case, as the master terminal 110 is farther away from the main display 11, the change in the position of the main unit area b may increase.

이와 같이, 제1 감지영역(a1) 및 제2 감지영역(b1)은 메인 단위영역(a)의 위치변경을 위한 것일 수 있다.In this way, the first sensing region a1 and the second sensing region b1 may be for changing the position of the main unit region a.

메인 단위영역(a)의 위치변경됨에 따라 마스터 단말기(110)는 슬레이브 단말기(120a, 120b)를 제어하여 슬레이브 단위영역(b, c)가 메인 단위영역(a)의 위치변경만큼 이동되도록 할 수 있다. 즉, 메인 단위영역(a)이 아래로 위치이동한 만큼 슬레이브 단위영역(b, c)도 아래로 위치이동할 수 있다. 또한 메인 단위영역(a)이 위로 위치이동한 만큼 슬레이브 단위영역(b, c)도 위로 위치이동할 수 있다.As the position of the main unit area (a) is changed, the master terminal 110 can control the slave terminals (120a, 120b) so that the slave unit areas (b, c) are moved by the position change of the main unit area (a). have. That is, as the main unit area a moves downward, the slave unit areas b and c may also move downward. In addition, as the main unit area (a) is moved upward, the slave unit areas (b, c) may also be moved upward.

이에 따라 메인 단위영역(a)와 슬레이브 단위영역(b)의 불일치없이 정상적인 영상이 표시될 수 있다. Accordingly, a normal image can be displayed without inconsistency between the main unit area (a) and the slave unit area (b).

도 6은 본 발명의 일 실시 예에 따른 제2 방향 뷰 제어를 설명하기 위한 도면이다. 도 6의 제2 방향 뷰 제어는 도 4에서 메인 단위영역(a)의 좌우방향(2, 3)으로의 위치이동에 해당된다. 6 is a view for explaining a second direction view control according to an embodiment of the present invention. The second direction view control of FIG. 6 corresponds to movement of the main unit area (a) in the left and right directions (2, 3) in FIG. 4.

사용자가 마스터 단말기(110)를 이용하여 메인 단위영역(a)을 우측으로 이동시키고자 할 때(도 4의 2번 방향) , 도 6과 같이 Y축을 중심으로 마스터 단말기(110)을 제1 방향(예를 들어, 시계 방향)으로 회전시킬 수 있다. When the user wants to move the main unit area (a) to the right using the master terminal 110 (direction 2 in Fig. 4), the master terminal 110 is moved in the first direction around the Y axis as shown in Fig. 6 It can be rotated (for example, clockwise).

감지부(112)가 마스터 단말기(110)의 이러한 회전을 센싱함에 따라 제1제어부(113)는 메인 단위영역(a)를 우측으로 이동시킬 수 있으며, 우측으로 이동된 메인 단위영역(a)에 해당되는 단위영상이 디스플레이되도록 제어할 수 있다. As the detection unit 112 senses this rotation of the master terminal 110, the first control unit 113 can move the main unit area a to the right, and the main unit area a moved to the right. The corresponding unit image can be controlled to be displayed.

이 때 마스터 단말기(110)의 회전이 클수록 메인 단위영역(a)이 우측으로 많이 이동될 수 있다.In this case, as the rotation of the master terminal 110 increases, the main unit area a may move to the right.

또한, 사용자가 마스터 단말기(110)를 이용하여 메인 단위영역(a)을 좌측으로 이동시키고자 할 때(도 4의 3번 방향) , 도 6과 같이 Y축을 중심으로 마스터 단말기(110)을 제2 방향(예를 들어, 반시계 방향)으로 회전시킬 수 있다. In addition, when the user wants to move the main unit area (a) to the left by using the master terminal 110 (in the direction of 3 in FIG. 4), the master terminal 110 is provided around the Y-axis as shown in FIG. It can be rotated in two directions (for example, counterclockwise).

감지부(112)가 마스터 단말기(110)의 이러한 회전을 센싱함에 따라 제1제어부(113)는 메인 단위영역(a)를 좌측으로 이동시킬 수 있으며, 좌측으로 이동된 메인 단위영역(a)에 해당되는 단위영상이 디스플레이되도록 제어할 수 있다. As the sensing unit 112 senses this rotation of the master terminal 110, the first control unit 113 may move the main unit area a to the left, and the main unit area a moved to the left. The corresponding unit image can be controlled to be displayed.

이 때 마스터 단말기(110)의 회전이 클수록 메인 단위영역(a)이 좌측으로 많이 이동될 수 있다.In this case, as the rotation of the master terminal 110 increases, the main unit area a may move to the left.

메인 단위영역(a)의 위치변경됨에 따라 마스터 단말기(110)는 슬레이브 단말기(120a, 120b)를 제어하여 슬레이브 단위영역(b, c)가 메인 단위영역(a)의 위치변경만큼 이동되도록 할 수 있다. 즉, 메인 단위영역(a)이 좌측 또는 우측으로 위치이동한 만큼 슬레이브 단위영역(b, c)도 좌측 또는 우측으로 위치이동할 수 있다. 이에 따라 메인 단위영역(a)와 슬레이브 단위영역(b)의 불일치없이 정상적인 영상이 표시될 수 있다. As the position of the main unit area (a) is changed, the master terminal 110 can control the slave terminals (120a, 120b) so that the slave unit areas (b, c) are moved by the position change of the main unit area (a). have. That is, as the main unit area a is moved to the left or right, the slave unit areas b and c may also be moved to the left or right. Accordingly, a normal image can be displayed without inconsistency between the main unit area (a) and the slave unit area (b).

도 5a, 도 5b 및 도 6의 제어방향 설정은 앱 설계시 설정될 수 있으며, 관리자에 의해 변경될 수 있다.The control direction setting of FIGS. 5A, 5B, and 6 may be set during app design and may be changed by an administrator.

한편, 본 발명의 일 실시 예에 따른 360도 영상은 테마장소에서 이동시 발생되는 다양한 이벤트(일예로, 공연, 전통놀이, 관람 등)를 포함할 수 있다. 제1제어부(113)는 360도 영상의 재생 중 이벤트 발생시, 해당 이벤트에 대한 디스플레이 여부를 사용자로부터 선택입력받고, 디스플레이 미선택 입력시 해당 이벤트를 스킵(skip)하여 스킵 후 영상을 연속적으로 재생시킬 수 있다. Meanwhile, a 360-degree image according to an embodiment of the present invention may include various events (for example, performances, traditional games, viewing, etc.) generated when moving in a theme place. When an event occurs during playback of a 360-degree image, the first controller 113 receives a selection input from the user whether to display a corresponding event, and when a display is not selected, skips the event to continuously play the image after skipping. have.

제1제어부(113)는 사용자에 의해 이벤트 디스플레이를 선택받으면, 촬영된 해당 이벤트 영상을 표시하도록 제어신호를 출력하고, 동기화하여 미러링 출력할 수 있다. 이때, 제공되는 360도 영상에는 해당 이벤트에 대한 설명을 아바타를 이용하여 제공할 수 있다. 이벤트 이외에도 재생시점의 장면에 대한 설명을 아바타로 제공할 수 있다.When the event display is selected by the user, the first controller 113 may output a control signal to display the captured event image, synchronize, and mirror the output. In this case, a description of the event may be provided using an avatar in the provided 360-degree image. In addition to the event, a description of the scene at the time of playback may be provided as an avatar.

제1제어부(113)는 해당 테마영상이 재생이 종료되면, 시청한 테마영상과 관련한 학습내용을 퀴즈형태의 게임으로 제공하여 시청자들이 지식습득을 할 수 있게 한다. 이때, 게임은 앱을 통해 제1퀴즈제공부(114) 및 제2퀴즈제공부(123)로 각각 제공되어 시청자가 각각 퀴즈를 풀 수 있게 하거나, 제1퀴즈제공부(114)를 통해 제공되는 퀴즈영상을 360도 영상의 출력과 동일한 방법으로 복수의 디스플레이기(10 내지 12)에 출력되도록 제1제어부(122)가 제어할 수 있다. When the playback of the corresponding theme image is finished, the first control unit 113 provides learning contents related to the viewed theme image as a quiz-type game so that viewers can acquire knowledge. At this time, the game is provided to each of the first quiz providing unit 114 and the second quiz providing unit 123 through the app so that the viewer can solve each quiz, or provided through the first quiz providing unit 114 The first control unit 122 may control the quiz image to be output to the plurality of displays 10 to 12 in the same manner as the 360-degree image output.

이때, 퀴즈영상은 360도 영상에 포함된 하나의 영상으로 제작되거나, 별도의 게임형태로 제공될 수 있다.In this case, the quiz image may be produced as one image included in the 360 degree image or may be provided in a separate game format.

이상에서 설명된 바와 같이, 본 발명의 실시예에 따른 360도 영상 표시제어시스템은 기존의 HMD (Head Mounted Display)가 없더라도 360도 영상을 복수의 디스플레이기를 통하여 사용자에게 제공할 수 있다. As described above, the 360-degree image display control system according to an embodiment of the present invention can provide a 360-degree image to a user through a plurality of display devices even without a conventional head mounted display (HMD).

뿐만 아니라 360도 영상이 HMD에 표시될 경우, HMD를 착용한 사용자만이 360도 영상을 볼 수 있으나, 본 발명의 실시예에 따른 360도 영상 표시제어시스템은 360도 영상을 복수의 디스플레이기를 통하여 사용자에게 제공하므로 다수의 사람이 360도 영상을 동시에 볼 수 있다. In addition, when the 360-degree image is displayed on the HMD, only the user wearing the HMD can view the 360-degree image, but the 360-degree image display control system according to the embodiment of the present invention displays the 360-degree image through a plurality of displays. Since it is provided to users, multiple people can view 360-degree images at the same time.

한편, 상기에서 도 1 내지 도 6을 이용하여 서술한 것은, 본 발명의 주요 사항만을 서술한 것으로, 그 기술적 범위 내에서 다양한 설계가 가능한 만큼, 본 발명이 도 1 내지 도 6의 구성에 한정되는 것이 아님은 자명하다.On the other hand, what has been described with reference to FIGS. 1 to 6 above is a description of only the main matters of the present invention, and as various designs are possible within the technical scope, the present invention is limited to the configuration of FIGS. 1 to 6. It is obvious that it is not.

110 : 마스터 단말기 120a,120b : 슬레이브 단말기
130 : 서버 111: 제1설정부
112 : 감지부 113 : 제1제어부
114 : 제1퀴즈제공부 121 : 제2설정부
122 : 제2제어부 123 : 제2퀴즈제공부
110: master terminal 120a, 120b: slave terminal
130: server 111: first setting unit
112: sensing unit 113: first control unit
114: first quiz providing unit 121: second setting unit
122: second control unit 123: second quiz provider

Claims (12)

실사 촬영된 360도 영상을 복수의 단위영상으로 분할하고 상기 360도 영상의 중심을 기준으로 복수의 단위영역을 설정하되, 메인 단위영역에 포함되는 단위영상을 메인디스플레이기로 출력하고, 상기 메인 단위영역을 기준으로 이웃하는 주변 단위영역에 포함되는 단위영상을 적어도 하나의 주변 디스플레이기에서 출력하도록 제어하는 제어신호를 생성하는 마스터 단말기; 및
상기 마스터 단말기로부터 상기 제어신호를 수신시, 해당 주변 단위영상을 기설정된 해당 주변 디스플레이기로 출력하는 복수의 슬레이브 단말기를 포함하는 것을 특징으로 하는 360도 영상 표시제어시스템.
Dividing the live-action 360-degree image into a plurality of unit images, and setting a plurality of unit areas based on the center of the 360-degree image, and outputting the unit image included in the main unit area to the main display, and the main unit area A master terminal for generating a control signal for controlling to output a unit image included in a neighboring unit region based on at least one peripheral display unit; And
When receiving the control signal from the master terminal, a 360-degree image display control system comprising a plurality of slave terminals for outputting a corresponding peripheral unit image to a predetermined peripheral display.
제1항에 있어서,
상기 마스터 단말기는,
사람의 시야각 및 슬레이브 단말기의 개수에 따라 단위영역의 크기를 결정하고, 각 슬레이브 단말기의 상대적 위치에 따라, 재생시점에 대응되는 슬레이브 단말기별 단위영역의 위치를 결정하는 것을 특징으로 하는 360도 영상 표시제어시스템.
The method of claim 1,
The master terminal,
A 360-degree image display, characterized in that the size of the unit area is determined according to a person's viewing angle and the number of slave terminals, and the position of the unit area for each slave terminal corresponding to the playback time is determined according to the relative position of each slave terminal. Control system.
제1항에 있어서,
상기 마스터 단말기는,
몸체의 기울기를 감지하여 복수의 디스플레이기에 표시되는 360도 영상의 재생속도 및 뷰 방향을 제어하는 것을 특징으로 하는 360도 영상 표시제어시스템.
The method of claim 1,
The master terminal,
A 360-degree image display control system, characterized in that for controlling a playback speed and a view direction of a 360-degree image displayed on a plurality of displays by detecting a tilt of the body.
제3항에 있어서,
X축은 촬영시 기준면과 평행한 축, Y축은 기준면에 수직인 축, Z축은 촬영진행방향에 대응되는 축인 경우,
상기 마스터 단말기가 상기 Z축을 중심으로 시계방향 또는 반시계 방향으로 회전하면,
상기 마스터 단말기는,
상기 마스터 단말기가 상기 Z축을 중심으로 회전한 회전각을 무시함으로써 영상 흔들림을 방지하는 것을 특징으로 하는 360도 영상 표시제어시스템.
The method of claim 3,
When the X axis is an axis parallel to the reference plane when shooting, the Y axis is an axis perpendicular to the reference plane, and the Z axis is an axis corresponding to the shooting direction,
When the master terminal rotates clockwise or counterclockwise around the Z axis,
The master terminal,
360-degree image display control system, characterized in that to prevent image shaking by ignoring the rotation angle rotated around the Z-axis by the master terminal.
제3항에 있어서,
X축은 촬영시 기준면과 평행한 축, Y축은 기준면에 수직인 축, Z축은 촬영진행방향에 대응되는 축인 경우,
상기 마스터 단말기가 움직임 시작 위치에서 상기 메인 디스플레이기를 향하거나 멀어지도록 상기 X축을 중심으로 회전하면,
상기 마스터 단말기는 설정된 배속으로 빠르게 재생되거나 역방향 재생되는 것을 특징으로 하는 360도 영상 표시제어시스템.
The method of claim 3,
When the X axis is an axis parallel to the reference plane when shooting, the Y axis is an axis perpendicular to the reference plane, and the Z axis is an axis corresponding to the shooting direction,
When the master terminal rotates about the X axis so that it faces or moves away from the main display from the movement start position,
The master terminal is a 360-degree video display control system, characterized in that the fast playback or reverse playback at a set double speed.
제1항에 있어서,
X축은 촬영시 기준면과 평행한 축, Y축은 기준면에 수직인 축, Z축은 촬영진행방향에 대응되는 축인 경우,
상기 마스터 단말기가 움직임 시작 위치에서 상기 메인 디스플레이기를 향하거나 멀어지도록 상기 X축을 중심으로 회전하면,
상기 마스터 단말기는 상기 메인 단위영역의 위치를 윗 방향 또는 아랫 방향으로 이동시키는 것을 특징으로 하는 360도 영상 표시제어시스템.
The method of claim 1,
When the X axis is an axis parallel to the reference plane when shooting, the Y axis is an axis perpendicular to the reference plane, and the Z axis is an axis corresponding to the shooting direction,
When the master terminal rotates about the X axis so that it faces or moves away from the main display from the movement start position,
The master terminal 360 degree image display control system, characterized in that moving the position of the main unit area in an upward or downward direction.
제1항에 있어서,
X축은 촬영시 기준면과 평행한 축, Y축은 기준면에 수직인 축, Z축은 촬영진행방향에 대응되는 축인 경우,
상기 마스터 단말기가 Y축을 중심으로 회전할 경우, 상기 마스터 단말기는 상기 마스터 단말기의 회전 방향에 따라 상기 메인 단위영역의 좌측 또는 우측으로 이동시키는 것을 특징으로 하는 360도 영상 표시제어시스템.
The method of claim 1,
When the X axis is an axis parallel to the reference plane when shooting, the Y axis is an axis perpendicular to the reference plane, and the Z axis is an axis corresponding to the shooting direction,
When the master terminal rotates about a Y axis, the master terminal moves to the left or right of the main unit area according to the rotation direction of the master terminal.
제1항에 있어서,
상기 마스터 단말기 및 복수의 슬레이브 단말기는 서버로부터 동일한 360도 영상을 수신하고,
상기 복수의 슬레이브 단말기는 상기 마스터 단말기의 제어신호에 따라 360도 영상을 동기화시켜 해당 주변 디스플레이기로 미러링 출력하는 것을 특징으로 하는 360도 영상 표시제어시스템.
The method of claim 1,
The master terminal and the plurality of slave terminals receive the same 360-degree image from the server,
Wherein the plurality of slave terminals synchronize 360-degree images according to a control signal of the master terminal and output mirroring to a corresponding peripheral display.
제8항에 있어서,
상기 제어신호는,
상기 360도 영상의 재생시점 및 상기 마스터 단말기에 기설정된 메인 디스플레이기를 기준으로, 각 슬레이브 단말기에 설정된 주변 디스플레이기들의 상대적 위치에 따라 결정된 주변 단위영역의 위치정보를 포함하는 것을 특징으로 하는 360도 영상 표시제어시스템.
The method of claim 8,
The control signal,
A 360-degree image comprising location information of a peripheral unit region determined according to a relative position of peripheral displays set in each slave terminal based on a playback time of the 360-degree image and a main display device preset in the master terminal. Display control system.
제1항에 있어서,
상기 마스터 단말기는,
상기 360도 영상의 재생 중 이벤트 발생시, 해당 이벤트에 대한 디스플레이 여부를 입력받고, 디스플레이 미입력시 해당 이벤트를 스킵하여 스킵 후 영상을 재생하는 것을 특징으로 하는 360도 영상 표시제어시스템.
The method of claim 1,
The master terminal,
When an event occurs during playback of the 360-degree image, whether or not to display a corresponding event is input, and when a display is not input, the event is skipped and the skipped image is played back.
제9항에 있어서,
상기 360도 영상은,
관광장소, 전시장소, 역사적장소 및 체험장소 중 적어도 하나를 테마로 촬영된 실사영상이며, 재생시점의 영상에 대한 설명을 제공하는 아바타 및 테마관련 퀴즈를 포함하는 것을 특징으로 하는 360도 영상 표시제어시스템.
The method of claim 9,
The 360-degree image,
A 360-degree image display control, characterized in that it is a live-action image taken under the theme of at least one of a tourist place, an exhibition place, a historical place, and an experience place, and includes an avatar that provides an explanation of the image at the time of playback and a theme related quiz system.
제10항에 있어서,
상기 360도 영상의 테마영상이 종료되면 상기 마스터 단말기 및 복수의 슬레이브 단말기로 상기 360도 영상의 테마관련 퀴즈를 게임형태로 제공하는 서버를 더 포함하는 것을 특징으로 하는 360도 영상 표시제어시스템.
The method of claim 10,
And a server for providing the theme-related quiz of the 360-degree video to the master terminal and the plurality of slave terminals in the form of a game when the theme video of the 360-degree video is ended.
KR1020200026357A 2019-04-12 2020-03-03 Control System for display 360-degree image KR102260503B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20190042903 2019-04-12
KR1020190042903 2019-04-12

Publications (2)

Publication Number Publication Date
KR20200120502A true KR20200120502A (en) 2020-10-21
KR102260503B1 KR102260503B1 (en) 2021-06-03

Family

ID=73034623

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200026357A KR102260503B1 (en) 2019-04-12 2020-03-03 Control System for display 360-degree image

Country Status (1)

Country Link
KR (1) KR102260503B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060032694A (en) 2004-10-13 2006-04-18 주식회사 팬택 Mobile telecommunication terminal available of displaying three dimensional images and panorama images
KR20070103347A (en) * 2007-10-03 2007-10-23 이제성 Contents dispaly on large screen with 360 degrees panoramic camera
KR20090109310A (en) * 2008-04-15 2009-10-20 주식회사 코아로직 Multivison System implemented by portable media reproducing devices and Method thereof
KR20150034950A (en) * 2013-09-27 2015-04-06 엘지전자 주식회사 Display device for multi-vision and method for controlling the same
KR20170058025A (en) * 2015-11-18 2017-05-26 배성실 Virtual history experience system with Age-specific cultural image and thereof method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060032694A (en) 2004-10-13 2006-04-18 주식회사 팬택 Mobile telecommunication terminal available of displaying three dimensional images and panorama images
KR20070103347A (en) * 2007-10-03 2007-10-23 이제성 Contents dispaly on large screen with 360 degrees panoramic camera
KR20090109310A (en) * 2008-04-15 2009-10-20 주식회사 코아로직 Multivison System implemented by portable media reproducing devices and Method thereof
KR20150034950A (en) * 2013-09-27 2015-04-06 엘지전자 주식회사 Display device for multi-vision and method for controlling the same
KR20170058025A (en) * 2015-11-18 2017-05-26 배성실 Virtual history experience system with Age-specific cultural image and thereof method

Also Published As

Publication number Publication date
KR102260503B1 (en) 2021-06-03

Similar Documents

Publication Publication Date Title
US11265603B2 (en) Information processing apparatus and method, display control apparatus and method, reproducing apparatus and method, and information processing system
CN110636324B (en) Interface display method and device, computer equipment and storage medium
US11803055B2 (en) Sedentary virtual reality method and systems
US10780350B2 (en) Spatially and user aware second screen projection from a companion robot or device
US10092838B2 (en) Electronic apparatus for controlling a multi-field-of-view display apparatus, electronic system and control method
JP7498209B2 (en) Information processing device, information processing method, and computer program
US10277813B1 (en) Remote immersive user experience from panoramic video
US20180321798A1 (en) Information processing apparatus and operation reception method
US20180348969A1 (en) Information processing apparatus and operation reception method
KR102431712B1 (en) Electronic apparatus, method for controlling thereof and computer program product thereof
JP6751205B2 (en) Display device and control method thereof
US10748341B2 (en) Terminal device, system, program and method for compositing a real-space image of a player into a virtual space
CN105939497A (en) Media streaming system and media streaming method
US11187895B2 (en) Content generation apparatus and method
WO2016056763A1 (en) System for synchronizing 3d image multiple screens in real-time
KR101665363B1 (en) Interactive contents system having virtual Reality, augmented reality and hologram
KR102260503B1 (en) Control System for display 360-degree image
KR102538480B1 (en) Computer readable recording medium on which program is recorded, information processing method, and information processing apparatus
CN114286077B (en) Virtual reality device and VR scene image display method
US11520217B1 (en) Four-sided projection for augmented reality
CN110807826B (en) Map display method, device, equipment and storage medium in virtual scene
WO2024111317A1 (en) Program, display control device, image display system, and recording medium
US20210349310A1 (en) Highly interactive display environment for gaming
CN114797091A (en) Cloud game split-screen display method, device, equipment and storage medium
US20210142572A1 (en) 3d ar content creation device, 3d ar content playback device, and 3d ar content creation system

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right