WO2017007043A1 - 네트워크를 통해 헤드마운트형 디스플레이 장치를 포함하는 수신기에 영상을 전송하는 방법과, 이를 위한 송신기, 중계 서버 및 수신기 - Google Patents

네트워크를 통해 헤드마운트형 디스플레이 장치를 포함하는 수신기에 영상을 전송하는 방법과, 이를 위한 송신기, 중계 서버 및 수신기 Download PDF

Info

Publication number
WO2017007043A1
WO2017007043A1 PCT/KR2015/006988 KR2015006988W WO2017007043A1 WO 2017007043 A1 WO2017007043 A1 WO 2017007043A1 KR 2015006988 W KR2015006988 W KR 2015006988W WO 2017007043 A1 WO2017007043 A1 WO 2017007043A1
Authority
WO
WIPO (PCT)
Prior art keywords
receiver
transmitter
image data
viewing angle
angle image
Prior art date
Application number
PCT/KR2015/006988
Other languages
English (en)
French (fr)
Inventor
최광진
박영준
나경건
Original Assignee
(주)에프엑스기어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에프엑스기어 filed Critical (주)에프엑스기어
Priority to PCT/KR2015/006988 priority Critical patent/WO2017007043A1/ko
Publication of WO2017007043A1 publication Critical patent/WO2017007043A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers

Definitions

  • Embodiments relate to a method for transmitting an image to a receiver including a head-mounted display device (HMD) via a network, and a transmitter, a relay server, and a receiver therefor. More specifically, embodiments are directed to a technique for transmitting image data to a receiver including an HMD in real time over a wide area network.
  • HMD head-mounted display device
  • video equipment operators have modified the method of obtaining and processing video content to provide stereoscopic video, or by connecting various additional means to the video providing device to make it difficult for users to distinguish between real and virtual.
  • Providing For example, by using the difference in binocular vision to simultaneously display images taken from different viewpoints on the display to provide a three-dimensional image, or by covering the entire field of view of the user in the form of a panorama to provide a user with a real image environment Technology that provides the effect of being involved.
  • HMD Head-Mounted Device
  • the HMD is worn on the user's head in the form of glasses, a hat, a helmet, or the like, and provides an image through a display attached to the lens portion.
  • the HMD blocks both eyes of the user with the display, but provides a panoramic image through the display, thus providing a wider screen than the actual screen while having a smaller screen size than a portable video device such as a tablet or portable multimedia player (PMP).
  • PMP portable multimedia player
  • a method for transmitting an image to a receiver including a head-mounted display device (HMD) in real time through a wide area network, and a transmitter and a relay server therefor And a receiver.
  • HMD head-mounted display device
  • a transmitter for transmitting an image to a receiver including a head-mounted display includes: a processor configured to provide wide viewing angle image data; And a receiver configured to determine a receiver including an HMD to receive the wide viewing angle image data based on information stored in the transmitter or the relay server, and to transmit the wide viewing angle image data to the receiver through a transmission channel through a wide area network. It may include.
  • a relay server for transmitting an image to a receiver including an HMD includes: a receiving unit configured to receive a request for transmitting wide viewing angle image data from one or more transmitters; And a relay unit configured to generate a transmission channel through a wide area network for transmitting the wide viewing angle image data to one or more receivers including an HMD.
  • a receiver including an HMD determines a transmitter to provide wide viewing angle image data to the receiver based on information stored in the receiver or the relay server, and the wide viewing angle image through a transmission channel through a wide area network.
  • the receiver may further include a receiver configured to receive data.
  • a method of transmitting an image to a receiver including an HMD through a network may include receiving a transmitter or the wide viewing angle image data to transmit wide viewing angle image data based on information stored in a user device or a relay server. Determining at least one of the receivers including the HMD; And transmitting the wide viewing angle image data from the transmitter to the receiver through a transmission channel through a wide area network.
  • the sender or receiver of the image may be a local address book stored in his or her user device.
  • a recipient or a sender can be selected using a user address book or public information stored in a communication service server such as a social media, an SNS, a messenger service, or a web site.
  • the image transmitted and received may also be transmitted and received through a communication service server, such as SNS, messenger service, Web site. Accordingly, the image may be freely transmitted to the receiver including the HMD even in a peer-to-peer manner.
  • FIG. 1 is a schematic block diagram illustrating a configuration of a system including a transmitter and a relay server for transmitting an image to a receiver including a head-mounted display (HMD) according to an embodiment.
  • HMD head-mounted display
  • FIGS. 2A and 2B are conceptual views illustrating a process of forming a channel between a transmitter and a receiver including an HMD according to an embodiment.
  • FIG. 3 is a conceptual diagram illustrating a channel formed between a plurality of transmitters and a plurality of receivers including an HMD according to an embodiment.
  • FIG. 4 is a schematic block diagram illustrating a configuration of a channel / address relay server according to an embodiment.
  • FIG. 5 is a schematic block diagram illustrating a configuration of a media relay server according to another embodiment.
  • FIG. 1 is a schematic block diagram illustrating a configuration of a system including a transmitter and a relay server for transmitting an image to a receiver including a head-mounted display (HMD) according to an embodiment.
  • HMD head-mounted display
  • the transmitter 10 is an apparatus for use by a content producer who wants to provide wide viewing angle image data to the receiver 30.
  • the receiver 30 is a device for use by a recipient who will receive wide viewing angle image data, and the receiver 30 includes an HMD.
  • the description of a receiver is intended to refer to an apparatus including an HMD.
  • the transmitter 10 may also be a device including an HMD like the receiver 30 to receive wide viewing angle image data, but the present invention is not limited thereto, and a desktop computer, a notebook computer, and a smartphone equipped with a camera may be used. Or a mobile communication terminal, such as a tablet, or any other equipment.
  • the receiver 30 may receive wide viewing angle image data from the plurality of transmitters 10.
  • a plurality of receivers 30 for receiving wide viewing angle image data from one or more transmitters 10 may be provided.
  • the transmitter 10 may include a generation unit 11, a display unit 12, a communication unit 13, and a processing unit 14.
  • the generation unit 11 acquires original image data for wide viewing angle image data.
  • the generation unit 11 may include a camera.
  • the display unit 12 reproduces the captured image data for the user to check.
  • the processing unit 14 provides wide viewing angle image data obtained by processing the image data photographed by the generating unit 11.
  • the transmitter 10 generates the wide viewing angle image data by processing the image data photographed by the generator 11 by the processor 14.
  • the processor 14 may generate the wide viewing angle image data and metadata by converting the original image data into an image feed suitable for being displayed in the HMD.
  • the processor 14 may generate wide viewing angle image data to further include misc data such as text, audio, and image corresponding to the image feed, or unique data for distinguishing and connecting devices on a network.
  • the unique data may be an ID, a product identification number (PIN) or an IP address (Internet Protocol address) corresponding to the transmitter 10, but is not limited thereto.
  • the transmitter 10 does not directly process the image data captured by the generation unit 11 in the processing unit 14 of the transmitter 10 to other processing means (not shown) located at a local or remote location.
  • the processor 14 may transmit and process the data, and the processor 14 may perform only a role of receiving and providing wide viewing angle image data generated by the processing means. In this case, the processor 14 may at least partially store the received wide viewing angle image data.
  • the communication unit 13 transmits a series of data including the wide viewing angle image data provided by the processing unit 14 to the receiver 30 via a network. Such transmission may be at least partially made using relay server 20.
  • the communication unit 13 may transmit wide viewing angle image data at least partially through a transmission channel through a wide area network (WAN).
  • WAN wide area network
  • the communication unit 13 may use the relay server 20 and / or the receiver 30 by using an IP (Internet Protocol) address or other unique data assigned to the relay server 20 and / or the receiver 30. It is also possible to transmit wide viewing angle image data by connecting to.
  • IP Internet Protocol
  • the communication unit 13 may determine the receiver 30 based on information stored in the transmitter 10 and / or the relay server 20.
  • the relay server 20 may be any communication service that enables communication with other users, such as a cloud service server, a social network service (SNS) server, or a messenger service server. It can be a server.
  • the communication unit 13 may determine a recipient by using information stored in the local storage of the transmitter 10 or by using the information stored in the relay server 20, and transmits wide-view angle image data to the receiver 30 corresponding to the determined recipient. Can provide.
  • a user who uses the transmitter 10 may use his or her local address book stored in the transmitter 10 or his or her address book registered with an SNS or a messenger service server. You can select a recipient to receive.
  • the SNS, the messenger service server, and the like correspond to the relay server 20.
  • a user who uses the transmitter 10 may select a recipient using information registered on a public website.
  • the server providing the web site corresponds to the relay server 20.
  • wide viewing angle image data is shared in a peer-to-peer (P2P) method through a network between individuals. Can be made.
  • P2P peer-to-peer
  • the wide viewing angle image data provided by the transmitter 10 to the receiver 30 may be live image data provided in a real time streaming manner, or may be provided in a manner other than live.
  • the image data may be.
  • the wide viewing angle image data may be a single image, a plurality of images, a sequence of single images and / or a sequence in which a plurality of images are sequentially arranged, a single or multiple images branched in response to a signal of a user device or a server, or a user device or a server. It may be an interactive image that changes in response to a signal, or some or all of them may be combined.
  • image is any data that can be displayed to be linked to a user's point of view on a receiver including an HMD without limiting the specific form of the image as described above, such as whether it is live, the number or responsiveness of the image, and the like. It is intended to refer to.
  • the receiver 30 is a device for use by a recipient who will receive wide viewing angle image data provided by the transmitter 10.
  • the wide viewing angle image data provided by the transmitter 10 is transmitted to the receiver 30 by a direct connection between the transmitter 10 and the receiver 30 or through a relay of the relay server 20.
  • the transmitter 10 may be transmitted to the receiver 30 by connecting the receiver 10 or the receiver 30, or may be transmitted from the relay server 20 to the receiver 30 once transmitted to the relay server 20. This will be described later in detail.
  • the receiver 30 may include a receiver 31, a sensor 32, a display 33, and a processor 14.
  • the sensor unit 32 and the display unit 33 may be mounted on the HMD 300 included in the receiver 30.
  • this is a functional division of the exemplary configuration of the HMD 300 and the receiver 30 including the same, the HMD 300 and the receiver 30 including the same may not necessarily include all of these components. It may also include additional components not shown, such as input means.
  • the receiver 31 receives wide viewing angle image data from the transmitter 10 through a network.
  • the reception may be at least partially using the relay server 20.
  • the receiver 31 may receive wide viewing angle image data from the transmitter 10 at least partially through a transmission channel over a WAN.
  • the wide viewing angle image data received by the receiver 31 may include an image feed for being displayed in association with the user's viewpoint in the HMD 300.
  • the wide viewing angle image data may further include metadata, such as text, audio, and image corresponding to the image feed, or unique data for identifying and connecting devices on a network.
  • the receiver 31 may determine the transmitter 10 to receive wide viewing angle image data.
  • the transmitter 10 to receive the wide viewing angle image data may be determined based on the information stored in the receiver 30 and / or the relay server 20. That is, a user who uses the receiver 30 uses his or her local address book stored in the receiver 30 or his or her address book registered with an SNS or a messenger service server, and the content that he / she wants to receive wide viewing angle image data. You can choose the producer. In this case, the SNS, the messenger service server, and the like correspond to the relay server 20. Alternatively, a user using the receiver 30 may select a content producer using information published on a web site. In this case, the server providing the web site corresponds to the relay server 20. The receiver 31 may receive wide viewing angle image data from the transmitter 10 corresponding to the selected content producer.
  • the sensor unit 32 generates viewpoint information data of a user wearing the HMD 300.
  • the sensor unit 32 may include one or more sensors for generating viewpoint information data.
  • the sensor unit 32 may include one or more of a gyro sensor, an acceleration sensor, an inertial measurement unit (IMU) sensor, a global positioning system (GPS) sensor, and a vision sensor, but is not limited thereto. It is not.
  • the processor 34 may generate wide view angle image data based on the viewpoint information data obtained by the sensor unit 32, thereby generating viewpoint linked image data linked to the viewpoint of the user wearing the HMD 300. . That is, as the user wearing the HMD 300 changes his viewpoint, such as turning his / her head, the view-associated image data may be generated such that a portion corresponding to the changed viewpoint of the user is displayed among the original wide viewing angle image data. Since a method of generating wide viewing angle image data to be displayed on the HMD 300 or a method of generating image data linked to a user's viewpoint using the same is well known to those skilled in the art to which the present invention pertains, Detailed description thereof will be omitted in the specification.
  • the display unit 33 corresponds to a display for blocking both eyes of the user wearing the HMD 300, and displays the view-associated image data generated by the processor 34.
  • the display unit 33 operates while switching between the viewpoint interlocked playback mode and the viewpoint non-interlocked playback mode according to the user's selection, and outputs the viewpoint linked video data in the viewpoint linked playback mode, and the viewpoint non-synchronized playback.
  • the mode may be configured to output wide viewing angle image data as it is.
  • the receiver 30 to receive wide viewing angle image data is selected by the transmitter 10 and / or the transmitter 10 to be provided with wide viewing angle image data by the receiver 30 is selected.
  • the wide viewing angle image data may be transmitted to the receiver 30 by a direct connection between the transmitter 10 and the receiver 30.
  • 2A is a conceptual diagram illustrating a process of forming a transmission channel between the transmitter 10 and the receiver 30 for the transmission.
  • a user of the transmitter 10 may transmit a connection request to a receiver 30 to transmit wide viewing angle image data.
  • a user of the transmitter 10 may specify a recipient to receive wide viewing angle image data through an address book stored in a local storage of the transmitter 10 or a communication service such as an SNS server, a messenger service server, or a web site server. have.
  • the transmitter 10 may request a connection by transmitting a connection request including unique data such as its ID, PIN, or IP address to the receiver 30 corresponding to the specified recipient.
  • a transmission channel may be formed between the transmitter 10 and the receiver 30.
  • the transmitter 10 may transmit wide viewing angle image data to the receiver 30.
  • the transmitted wide viewing angle image data may include metadata such as an image feed and text, audio, and image corresponding to the image feed to be displayed in association with the user's viewpoint.
  • the transmitter 10 and the receiver 30 may exchange other data associated with or not associated with the image data through a transmission channel.
  • the receiver 30 may request a connection to the transmitter 10.
  • a user of the receiver 30 may specify a content producer who wants to receive wide viewing angle image data through an address book stored in a local storage of the receiver 30 or a communication service such as an SNS, a messenger service, or a web site.
  • the receiver 30 may transmit a connection request including unique data, such as its ID, PIN, or IP address, to the transmitter 10 corresponding to the specified content producer.
  • unique data such as its ID, PIN, or IP address
  • FIGS. 2A and 2B illustrate a process in which one transmitter 10 and one receiver 30 are directly connected to form a transmission channel in order to transmit wide viewing angle image data.
  • a transmission channel may be formed by a direct connection between some or all of the plurality of transmitters and some or all of the plurality of receivers.
  • FIG. 3 is a conceptual diagram illustrating that a transmission channel is formed between n transmitters and m receivers 30 according to the present embodiment.
  • n and m are any natural numbers.
  • the direct connection between the transmitter 10 and the receiver 30 described above with reference to FIGS. 2A and 2B may be extended to a plurality of transmitters and receivers 30 as shown in FIG. 3. That is, each transmitter may provide wide viewing angle image data to one or a plurality of receivers. Each receiver may also receive wide viewing angle image data from one or more transmitters.
  • the receiver may receive wide viewing angle image data from one or more other receivers in a packet sharing manner.
  • receiver 1 forms a transmission channel with transmitter 1 to receive wide viewing angle image data from transmitter 1
  • receiver 2 forms a transmission channel with both transmitter 1 and transmitter 2 to form transmitter 1 and Receive wide viewing angle image data from both transmitters 2.
  • the receiver 1 is communicatively connected to the receiver 2 in a packet sharing manner, and may receive wide viewing angle image data from the transmitter 2 through the receiver 2.
  • the transmitter and receiver may be replaced by a relay server, and the transmitter may exchange data with the receiver via a relay server and / or by a connection through a relay of the relay server.
  • the relay server may be a communication service server such as an SNS, a messenger service, or a web site, or may be a server for communication relaying separately from these services.
  • FIG. 4 is a schematic block diagram illustrating a configuration of a relay server according to an embodiment.
  • the plurality of transmitters 10 may exchange data with the plurality of receivers 30 by connection through the relay of the relay server 20.
  • the relay server 20 may include a receiver 21 and a relay 22.
  • the receiver 21 receives a transmission request including information for specifying channel identification (CID) unique to the transmitter 10 from each transmitter 10.
  • CID channel identification
  • the CID may be an IP address of the transmitter 10 or an ID for identifying a user of the transmitter 10 among subscribers for a communication service such as an SNS or a messenger service, but is not limited thereto.
  • the relay unit 22 provides the CID received from the transmitter 10 to the corresponding receiver 30.
  • a recipient to receive it is pre-specified by the transmitter 10, and the relay unit 22 corresponds to a receiver 30 corresponding to the specified recipient.
  • the transmitter 10 transmits the CID to the relay server 20 without specifying the recipient, and transmits the producer information of the content to be received by the receiver 30 to the relay server 20.
  • the relay unit 22 may transmit the CID of the transmitter 10 corresponding to the content producer to the receiver 30.
  • the user's address book stored in the transmitter 10 or the receiver 30 the user stored in the communication service server, such as SNS, messenger service, Web site, etc. This can be done using an address book or public information.
  • the receiver 30 receiving the CID of the transmitter 10 may transmit a connection request to the transmitter 10 using the CID, and the transmitter 10 accepts the connection request between the transmitter 10 and the receiver 30.
  • a transmission channel can be formed.
  • the transmitter 10 may transmit wide viewing angle image data to the receiver 30 through the formed transmission channel.
  • FIG. 5 is a schematic block diagram illustrating a configuration of a relay server according to another embodiment.
  • the plurality of transmitters 10 may transmit wide viewing angle image data to the plurality of receivers 30 through the relay server 20. That is, each transmitter 10 may transmit the wide viewing angle image data itself including the image feed to the relay server 20.
  • the relay server 20 may include a receiver 24, a relay 25, and a storage 26.
  • the receiver 21 receives wide viewing angle image data from each transmitter 10, and the storage 26 stores at least partially wide viewing angle image data received by the receiver 21.
  • the storage unit 26 may store the entire wide viewing angle image data received from the transmitters 10 and transmit the stored wide viewing angle image data to the receiver 30.
  • the storage unit 26 may store only a portion of the wide viewing angle image data as a buffer and transmit the wide viewing angle image data to the receiver 30 in a real-time streaming manner.
  • the relay unit 25 provides the wide view angle image data received from each transmitter 10 to the receiver 30.
  • the transmitter 10 transmits wide viewing angle image data to the relay server 20
  • a receiver to receive it is previously specified by the transmitter 10
  • the relay unit 25 corresponds to the specified recipient.
  • the wide viewing angle image data of the transmitter 10 may be provided to the receiver 30.
  • the transmitter 10 transmits the wide viewing angle image data to the relay server 20 without specifying the recipient, and transmits the information of the producer of the content to be received by the receiver 30 to the relay server ( 20, the relay unit 25 may transmit the wide viewing angle image data of the transmitter 10 corresponding to the content producer to the receiver 30.
  • the user's address book stored in the transmitter 10 or the receiver 30 the user stored in the communication service server, such as SNS, messenger service, Web site, etc. This can be done using an address book or public information.
  • the user of the content producer or the receiver may A recipient or a content producer may be selected using a local address book stored in the device, a user address book or public information stored in a communication service server such as an SNS, a messenger service, or a web site.
  • a communication service server such as an SNS, a messenger service, or a web site.
  • the wide viewing angle image data transmitted and received may also be transmitted and received through a communication service server, such as SNS, messenger service, Web site. Therefore, the wide viewing angle image to be displayed on the HMD can be freely shared among users in a P2P manner.
  • Embodiments relate to a method for transmitting an image to a receiver including a head-mounted display device (HMD) via a network, and a transmitter, a relay server, and a receiver therefor.
  • HMD head-mounted display device

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

네트워크를 통해 헤드마운트형 디스플레이 장치(Head-Mounted Display; HMD)를 포함하는 수신기에 영상을 전송하는 방법은, 사용자 장치 또는 중계 서버에 저장된 정보에 기초하여, 광시야각 영상 데이터를 송신할 송신기 또는 상기 광시야각 영상 데이터를 수신할 HMD를 포함하는 수신기 중 하나 이상을 결정하는 단계; 및 광역 네트워크를 통한 전송 채널을 통해 상기 송신기로부터 상기 수신기에 상기 광시야각 영상 데이터를 전송하는 단계를 포함할 수 있다. 영상의 송신자 또는 수신자가 자신의 사용자 장치에 저장된 로컬 주소록이나, SNS, 메신저 서비스, 웹 사이트 등 통신 서비스 서버에 저장된 사용자 주소록 또는 공개 정보를 이용하여 수신자 또는 송신자를 선택함으로써, 사용자들간의 피어-투-피어(peer-to-peer) 방식으로도 자유롭게 수신기에 영상을 전송할 수 있다.

Description

네트워크를 통해 헤드마운트형 디스플레이 장치를 포함하는 수신기에 영상을 전송하는 방법과, 이를 위한 송신기, 중계 서버 및 수신기
실시예들은 네트워크를 통해 헤드마운트형 디스플레이 장치(Head-Mounted Display; HMD)를 포함하는 수신기에 영상을 전송하는 방법과, 이를 위한 송신기, 중계 서버 및 수신기에 관한 것이다. 보다 상세하게는, 실시예들은 광역 네트워크(Wide Area Network)를 통해 실시간으로 HMD를 포함하는 수신기에 영상 데이터를 전송하는 기술에 대한 것이다.
최근 각종 영상기기의 발달과 더불어, 사용자들은 영상기기를 통해 더욱 생동감과 입체감이 가미된 영상을 감상하고자 하는 요구가 증대되고 있다. 영상기기 사업자들은 이러한 요구에 발맞추어 영상 콘텐츠의 획득 및 처리 방식을 변형하여 입체감 있는 영상을 제공하거나, 영상제공 기기에 다양한 부가수단을 연결하여 사용자로 하여금 실제와 가상을 구분하기 어려울 정도의 영상을 제공하고 있다. 예를 들어, 양안의 시각차를 이용하여 서로 다른 시점에서 촬영된 영상을 디스플레이에 동시에 표시함으로써 입체감 있는 영상을 제공하거나, 사용자의 시야 전체를 영상으로 덮어 파노라마 형태로 제공함으로써 사용자가 실제 영상의 환경에 참여한 듯한 효과를 제공하는 기술 등이 있다.
이러한 기술을 위한 부가수단의 하나로서 부각되고 있는 것이 헤드 마운트형 디스플레이 장치(Head-Mounted Device; HMD)이다. 통상적으로 HMD는 안경이나 모자, 헬멧 등의 형태로 사용자의 두부에 착용되어, 렌즈 부위에 부착된 디스플레이를 통해 영상을 제공한다. HMD는 사용자의 양안을 디스플레이로 차단하되, 해당 디스플레이를 통해 파노라마 형태의 영상을 제공하므로, 태블릿이나 PMP(Portable Multimedia Player) 등 휴대용 영상기기보다 작은 화면 크기를 가지면서도 실제 화면보다 넓은 화면을 제공하는 효과를 낼 수 있어 가상 현실에 대한 사용자의 체감도를 높일 수 있다.
본 발명의 일 측면에 따르면, 광역 네트워크(Wide Area Network)를 통해 실시간으로 헤드마운트형 디스플레이 장치(Head-Mounted Display; HMD)를 포함하는 수신기에 영상을 전송하는 방법과, 이를 위한 송신기, 중계 서버 및 수신기를 제공할 수 있다.
일 실시예에 따라 헤드마운트형 디스플레이 장치(Head-Mounted Display; HMD)를 포함하는 수신기에 영상을 전송하기 위한 송신기는, 광시야각 영상 데이터를 제공하도록 구성된 처리부; 및 상기 송신기 또는 중계 서버에 저장된 정보에 기초하여 상기 광시야각 영상 데이터를 수신할 HMD를 포함하는 수신기를 결정하고, 광역 네트워크를 통한 전송 채널을 통해 상기 광시야각 영상 데이터를 상기 수신기에 전송하도록 구성된 통신부를 포함할 수 있다.
일 실시예에 따라 HMD를 포함하는 수신기에 영상을 전송하기 위한 중계 서버는, 하나 이상의 송신기로부터 광시야각 영상 데이터에 대한 송신 요청을 수신하도록 구성된 수신부; 및 상기 광시야각 영상 데이터가 HMD를 포함하는 하나 이상의 수신기에 전송되기 위한, 광역 네트워크를 통한 전송 채널을 생성하도록 구성된 중계부를 포함할 수 있다.
일 실시예에 따른 HMD를 포함하는 수신기는, 상기 수신기 또는 중계 서버에 저장된 정보에 기초하여 상기 수신기에 광시야각 영상 데이터를 제공할 송신기를 결정하고, 광역 네트워크를 통한 전송 채널을 통해 상기 광시야각 영상 데이터를 수신하도록 구성된 수신부를 더 포함할 수 있다.
일 실시예에 따라 네트워크를 통해 HMD를 포함하는 수신기에 영상을 전송하는 방법은, 사용자 장치 또는 중계 서버에 저장된 정보에 기초하여, 광시야각 영상 데이터를 송신할 송신기 또는 상기 광시야각 영상 데이터를 수신할 HMD를 포함하는 수신기 중 하나 이상을 결정하는 단계; 및 광역 네트워크를 통한 전송 채널을 통해 상기 송신기로부터 상기 수신기에 상기 광시야각 영상 데이터를 전송하는 단계를 포함할 수 있다.
본 발명의 일 측면에 따르면, 헤드마운트형 디스플레이 장치(Head-Mounted Display; HMD)를 포함하는 수신기에 영상을 송신 또는 수신하고자 할 때, 영상의 송신자 또는 수신자가 자신의 사용자 장치에 저장된 로컬 주소록이나, SNS, 메신저 서비스, 웹 사이트 등 통신 서비스 서버에 저장된 사용자 주소록 또는 공개 정보를 이용하여 수신자 또는 송신자를 선택할 수 있다. 또한, 송수신되는 영상 역시 SNS, 메신저 서비스, 웹 사이트 등 통신 서비스 서버를 통하여 송수신될 수 있다. 따라서, 사용자들간의 피어-투-피어(peer-to-peer) 방식으로도 자유롭게 HMD를 포함하는 수신기에 영상을 전송할 수 있다.
도 1은 일 실시예에 따라 헤드마운트형 디스플레이 장치(Head-Mounted Display; HMD)를 포함하는 수신기에 영상을 전송하기 위한 송신기 및 중계 서버를 포함하는 시스템의 구성을 나타내는 개략적인 블록도이다.
도 2a 및 2b는 일 실시예에 따라 송신기와 HMD 를 포함하는 수신기 사이에 채널을 형성하는 과정을 나타내는 개념도이다.
도 3은 일 실시예에 따라 복수의 송신기와 HMD를 포함하는 복수의 수신기 사이에 채널이 형성된 것을 나타내는 개념도이다.
도 4는 일 실시예에 따른 채널/주소 중계 서버의 구성을 나타내는 개략적인 블록도이다.
도 5는 또 다른 실시예에 따른 미디어 중계 서버의 구성을 나타내는 개략적인 블록도이다.
이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.
도 1은 일 실시예에 따라 헤드마운트형 디스플레이 장치(Head-Mounted Display; HMD)를 포함하는 수신기에 영상을 전송하기 위한 송신기 및 중계 서버를 포함하는 시스템의 구성을 나타내는 개략적인 블록도이다.
도 1을 참조하면, 송신기(10)는 수신기(30)에 광시야각 영상 데이터를 제공하고자 하는 컨텐츠 생산자가 사용하기 위한 장치이다. 수신기(30)는 광시야각 영상 데이터를 수신할 수신인이 사용하기 위한 장치이며, 수신기(30)는 HMD를 포함한다. 이하의 본 명세서에서, 별도로 명시되지 않는 한 수신기라는 기재는 HMD를 포함하는 장치를 지칭하는 것으로 의도된다. 또한, 송신기(10)도 광시야각 영상 데이터를 수신할 수신기(30)와 마찬가지로 HMD를 포함하는 장치일 수도 있으나, 이에 한정되는 것은 아니며, 데스크탑 컴퓨터, 노트북 컴퓨터, 카메라가 탑재된 스마트폰(smartphone) 또는 태블릿(tablet)과 같은 이동 통신 단말기, 또는 다른 임의의 장비일 수 있다. 도 1에는 설명의 편의를 위하여 하나의 송신기(10)만이 도시되었으나, 수신기(30)는 복수의 송신기(10)로부터 광시야각 영상 데이터를 제공받을 수도 있다. 또한, 하나 또는 복수의 송신기(10)로부터 광시야각 영상 데이터를 수신하기 위한 수신기(30) 역시 복수일 수 있다.
일 실시예에서, 송신기(10)는 생성부(11), 표시부(12), 통신부(13) 및 처리부(14)를 포함할 수 있다. 그러나, 이는 송신기(10)의 예시적인 구성을 기능적으로 구분하여 나타낸 것으로, 송신기(10)는 반드시 이들 구성요소들을 모두 포함하지 않을 수도 있으며, 또는 입력수단 등 도시되지 않은 추가적인 구성 요소를 포함할 수도 있다.
생성부(11)는 광시야각 영상 데이터를 위한 원본 영상 데이터를 획득한다. 예컨대, 생성부(11)는 카메라를 포함할 수 있다. 표시부(12)는 사용자가 확인할 수 있도록 촬영된 영상 데이터를 재생한다. 처리부(14)는 생성부(11)에 의해 촬영된 영상 데이터를 처리하여 얻어진 광시야각 영상 데이터를 제공한다.
일 실시예에서, 송신기(10)는 생성부(11)에 의해 촬영된 영상 데이터를 처리부(14)에 의해 처리함으로써 광시야각 영상 데이터를 생성한다. 예를 들어, 처리부(14)는 원본 영상 데이터를 HMD에서 디스플레이되기에 적합한 영상 피드(feed)로 변환하여 광시야각 영상 데이터 및 메타데이터(metadata)를 생성할 수 있다. 또한, 처리부(14)는 영상 피드에 대응되는 텍스트, 오디오, 이미지 등 부가 데이터(misc data)나, 네트워크 상에서 장치들의 구분 및 연결을 위한 고유 데이터를 더 포함하도록 광시야각 영상 데이터를 생성할 수도 있다. 예를 들어, 고유 데이터는 송신기(10)에 대응되는 ID, PIN(Product Identification Number) 또는 IP 주소(Internet Protocol address) 등일 수 있으나, 이에 한정되는 것은 아니다.
다른 실시예에서는, 송신기(10)는 생성부(11)에 의해 촬영된 영상 데이터를 송신기(10)의 처리부(14)에서 직접 처리하지 않고 로컬 또는 원격 위치에 위치한 다른 처리 수단(미도시)에 전송하여 처리하고, 처리부(14)는 처리 수단에 의해 생성된 광시야각 영상 데이터를 전달받아 제공하는 역할만을 수행할 수도 있다. 이때, 처리부(14)는 전달받은 광시야각 영상 데이터를 적어도 부분적으로 저장할 수도 있다.
통신부(13)는 처리부(14)에 의해 제공된 광시야각 영상 데이터를 포함하는 일련의 데이터를 네트워크를 통해 수신기(30)에 전송한다. 이러한 전송은 적어도 부분적으로 중계 서버(20)를 이용하여 이루어질 수도 있다. 일 실시예에서, 통신부(13)는 적어도 부분적으로 광역 네트워크(Wide Area Network; WAN)를 통한 전송 채널을 통해 광시야각 영상 데이터를 전송할 수 있다. 예를 들어, 통신부(13)는 중계 서버(20) 및/또는 수신기(30)에 부여된 IP(Internet Protocol) 주소나 그 외 고유데이터를 이용하여 중계 서버(20) 및/또는 수신기(30)에 접속함으로써 광시야각 영상 데이터를 전송할 수도 있다.
광시야각 영상 데이터를 수신할 수신기(30)를 결정하기 위하여, 통신부(13)는 송신기(10) 및/또는 중계 서버(20)에 저장된 정보에 기초하여 수신기(30)를 결정할 수 있다. 예를 들어, 중계 서버(20)는 클라우드(cloud) 서비스 서버, 소셜 네트워크 서비스(Social Network Service; SNS) 서버, 또는 메신저(messenger) 서비스 서버 등 다른 사용자와의 통신을 가능하게 하는 임의의 통신 서비스 서버일 수 있다. 통신부(13)는 송신기(10)의 로컬 저장소에 저장된 정보를 이용하거나 중계 서버(20)에 저장된 정보를 이용하여 수신인을 결정할 수 있으며, 결정된 수신인에 대응되는 수신기(30)에 광시야각 영상 데이터를 제공할 수 있다.
즉, 일 실시예에 따른 송신기(10)를 사용하는 사용자는, 송신기(10)에 저장된 자신의 로컬 주소록이나, 또는 SNS, 메신저 서비스 서버 등에 등록된 자신의 주소록을 이용하여 자신의 광시야각 영상 데이터를 수신할 수신인을 선택할 수 있다. 이 경우, SNS, 메신저 서비스 서버 등이 중계 서버(20)에 해당된다. 또는, 송신기(10)를 사용하는 사용자는 공개된 웹 사이트에 등록된 정보를 이용하여 수신인을 선택할 수도 있다. 이 경우, 해당 웹 사이트를 제공하는 서버가 중계 서버(20)에 해당된다. 종래에는 영상 데이터가 집중화된 하나의 서버에서 제공되었던 것과 달리, 본 실시예에 따르면 개인들 간의 네트워크를 통한 피어-투-피어(peer-to-peer; P2P) 방식으로도 광시야각 영상 데이터의 공유가 이루어질 수 있다.
실시예들에서, 송신기(10)에 의하여 수신기(30)에 제공되는 광시야각 영상 데이터는 실시간 스트리밍(streaming) 방식으로 제공되는 라이브(live) 영상 데이터일 수도 있고, 또는 라이브가 아닌 다른 방식으로 제공되는 영상 데이터일 수도 있다. 또한, 광시야각 영상 데이터는 단일 영상, 복수 영상, 일련의 단일 영상 및/또는 복수 영상이 연속적으로 나열된 시퀀스, 사용자 장치 또는 서버의 신호에 반응하여 분기되는 단일 또는 복수 영상, 또는 사용자 장치 또는 서버의 신호에 반응하여 변화하는 인터랙티브(interactive) 영상일 수 있으며, 이들의 일부 또는 전부가 결합된 형태일 수도 있다. 이하의 본 명세서에서, 영상이라는 용어는 라이브인지 여부, 영상의 개수 또는 반응성 등 전술한 것과 같은 영상의 구체적인 형태를 한정하지 아니하고 HMD를 포함하는 수신기상에서 사용자 시점에 연동하도록 디스플레이 될 수 있는 임의의 데이터를 지칭하는 것으로 의도된다.
수신기(30)는 송신기(10)에 의해 제공되는 광시야각 영상 데이터를 수신할 수신인이 사용하기 위한 장치이다. 실시예들에서, 송신기(10)에 의해 제공되는 광시야각 영상 데이터는 송신기(10)와 수신기(30) 사이의 직접 연결에 의하여 수신기(30)에 전송되거나, 중계 서버(20)의 중계를 통한 송신기(10)와 수신기(30)의 연결에 의해 수신기(30)에 전송되거나, 또는 중계 서버(20)에 일단 전송된 후 중계 서버(20)로부터 수신기(30)에 전송될 수 있다. 이에 대해서는 상세히 후술한다.
일 실시예에서, 수신기(30)는 수신부(31), 센서부(32), 표시부(33) 및 처리부(14)를 포함할 수 있다. 이 중 센서부(32) 및 표시부(33)는 수신기(30)에 포함된 HMD(300)에 탑재될 수 있다. 그러나, 이는 HMD(300) 및 이를 포함하는 수신기(30)의 예시적인 구성을 기능적으로 구분하여 나타낸 것으로, HMD(300) 및 이를 포함하는 수신기(30)는 반드시 이들 구성요소들을 모두 포함하지 않을 수도 있으며, 또는 입력수단 등 도시되지 않은 추가적인 구성 요소를 포함할 수도 있다.
수신부(31)는 네트워크를 통해 송신기(10)로부터 광시야각 영상 데이터를 수신한다. 수신은 적어도 부분적으로 중계 서버(20)를 이용하여 이루어질 수도 있다. 송신기(10)와 관련하여 전술한 것과 마찬가지로, 수신부(31)는 적어도 부분적으로 WAN을 통한 전송 채널을 통하여 송신기(10)로부터 광시야각 영상 데이터를 수신할 수 있다. 수신부(31)에 수신되는 광시야각 영상 데이터는 HMD(300)에서 사용자의 시점에 연동하여 디스플레이되기 위한 영상 피드를 포함할 수 있다. 또한, 광시야각 영상 데이터는 영상 피드에 대응되는 텍스트, 오디오, 이미지 등 메타데이터나, 네트워크 상에서 장치들의 구분 및 연결을 위한 고유 데이터를 더 포함할 수도 있다.
일 실시예에서는, 수신부(31)가 광시야각 영상 데이터를 제공받고자 하는 송신기(10)를 결정할 수도 있다. 이때 광시야각 영상 데이터를 제공받고자 하는 송신기(10)를 수신기(30) 및/또는 중계 서버(20)에 저장된 정보에 기초하여 결정할 수 있다. 즉, 수신기(30)를 사용하는 사용자는, 수신기(30)에 저장된 자신의 로컬 주소록이나, 또는 SNS, 메신저 서비스 서버 등에 등록된 자신의 주소록을 이용하여 자신이 광시야각 영상 데이터를 수신하고자 하는 컨텐츠 생산자를 선택할 수 있다. 이 경우, SNS, 메신저 서비스 서버 등이 중계 서버(20)에 해당된다. 또는, 수신기(30)를 사용하는 사용자는 웹 사이트에 공개된 정보를 이용하여 컨텐츠 생산자를 선택할 수도 있다. 이 경우, 해당 웹 사이트를 제공하는 서버가 중계 서버(20)에 해당된다. 수신부(31)는 선택된 컨텐츠 생산자에 대응되는 송신기(10)로부터 광시야각 영상 데이터를 수신할 수 있다.
센서부(32)는 HMD(300)를 착용한 사용자의 시점 정보 데이터를 생성한다. 센서부(32)는 시점 정보 데이터를 생성하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센서부(32)는 자이로 센서, 가속도 센서, IMU(Inertial Measurement Unit) 센서, GPS(Global Positioning System) 센서 및 비전 센서(vision sensor) 중 하나 이상을 포함할 수 있으나, 이에 한정되는 것은 아니다.
처리부(34)는 센서부(32)에 의해 얻어진 시점 정보 데이터에 기초하여 광시야각 영상 데이터를 처리함으로써, HMD(300)를 착용한 사용자의 시점에 연동된 시점 연동형 영상 데이터를 생성할 수 있다. 즉, HMD(300)를 착용한 사용자가 고개를 돌리는 등 시점을 변경함에 따라, 원본 광시야각 영상 데이터 중에서 사용자의 변경된 시점에 대응되는 부분이 표시되도록 시점 연동형 영상 데이터가 생성될 수 있다. HMD(300)에서 디스플레이되기 위한 광시야각 영상 데이터를 생성하는 방법이나 이를 이용하여 사용자 시점에 연동된 영상 데이터를 생성하는 방법에 대해서는 본 발명이 속하는 기술분야에서 통상의 기술자들에게 잘 알려져 있으므로, 본 명세서에서는 이에 대한 자세한 설명은 생략한다.
표시부(33)는 HMD(300)를 착용한 사용자의 양안을 차단하는 디스플레이에 해당하는 부분으로서, 처리부(34)에 의해 생성된 시점 연동형 영상 데이터를 표시한다. 일 실시예에서, 표시부(33)는 사용자의 선택에 따라 시점 연동 재생 모드 및 시점 비 연동 재생 모드 사이를 전환하면서 동작하여, 시점 연동 재생 모드에서는 시점 연동형 영상 데이터를 출력하고, 시점 비 연동 재생 모드에서는 광시야각 영상 데이터 그대로를 출력하도록 구성될 수도 있다.
일 실시예에서, 송신기(10)에 의해 광시야각 영상 데이터를 수신할 수신기(30)가 선택되거나 또는/또한 수신기(30)에 의해 광시야각 영상 데이터를 제공받고자 하는 송신기(10)가 선택되고 나면, 광시야각 영상 데이터는 송신기(10)와 수신기(30)의 직접 연결에 의하여 수신기(30)에 전송될 수 있다. 도 2a는 상기 전송을 위하여 송신기(10)와 수신기(30) 사이에 전송 채널을 형성하는 과정을 나타내는 개념도이다.
도 2a를 참조하면, 송신기(10)의 사용자는 광시야각 영상 데이터를 전송하고자 하는 수신기(30)에 연결 요청을 전송할 수 있다. 예를 들어, 송신기(10)의 사용자는 송신기(10)의 로컬 저장소에 저장된 주소록이나, SNS 서버, 메신저 서비스 서버, 웹 사이트 서버 등 통신 서비스를 통하여 광시야각 영상 데이터를 수신할 수신인을 특정할 수 있다. 이와 같이 특정된 수신인에 대응되는 수신기(30)에, 송신기(10)는 자신의 ID, PIN 또는 IP 주소 등 고유 데이터를 포함하는 연결 요청을 송신함으로써 연결을 요청할 수 있다. 연결 요청을 수신기(30)가 수락함으로써 송신기(10)와 수신기(30) 사이에 전송 채널이 형성될 수 있다.
전송 채널이 형성되면, 송신기(10)는 수신기(30)에 광시야각 영상 데이터를 전송할 수 있다. 전송되는 광시야각 영상 데이터는 사용자의 시점에 연동하여 디스플레이되기 위한 영상 피드 및 영상 피드에 대응되는 텍스트, 오디오, 이미지 등 메타데이터를 포함할 수 있다. 또한, 송신기(10)와 수신기(30)는 전송 채널을 통하여 영상 데이터에 연관되었거나 또는 연관되지 않은 기타 데이터를 서로 주고받을 수도 있다.
도 2b는 송신기(10)와 수신기(30) 사이에 채널을 형성하는 또 다른 과정을 나타내는 개념도이다. 도 2a를 참조하여 전술한 과정과 달리, 도 2b에 도시된 과정에서는 수신기(30)가 송신기(10)에 연결을 요청할 수 있다. 예를 들어, 수신기(30)의 사용자는 수신기(30)의 로컬 저장소에 저장된 주소록이나, SNS, 메신저 서비스, 웹 사이트 등 통신 서비스를 통하여 광시야각 영상 데이터를 수신하고자 하는 컨텐츠 생산자를 특정할 수 있다. 이와 같이 특정된 컨텐츠 생산자에 대응되는 송신기(10)에, 수신기(30)는 자신의 ID, PIN 또는 IP 주소 등 고유 데이터를 포함하는 연결 요청을 송신할 수 있다. 송신기(10)에서 연결 요청을 수락함으로써 송신기(10)와 수신기(30) 사이에 전송 채널이 형성된다. 전송 채널이 형성된 후의 동작은 도 2a를 참조하여 전술한 것과 동일하므로, 자세한 설명을 생략한다.
도 2a 및 2b에서는 광시야각 영상 데이터를 전송하기 위하여 하나의 송신기(10)와 하나의 수신기(30)가 직접 연결하여 전송 채널을 형성하는 과정이 도시되었다. 그러나 이는 예시적인 것으로서, 다른 실시예에서는 복수의 송신기의 일부 또는 전부와 복수의 수신기의 일부 또는 전부 사이에 직접 연결에 의하여 전송 채널이 형성될 수도 있다.
도 3은 본 실시예에 따라 n 개의 송신기와 m 개의 수신기(30) 사이에 전송 채널이 형성된 것을 나타내는 개념도이다. 도 3의 실시예 및 후술하는 실시예들에서, n, m은 임의의 자연수이다. 도 2a 및 2b를 참조하여 전술한 송신기(10)와 수신기(30) 사이의 직접 연결은 도 3에 도시된 것과 같이 복수의 송신기 및 수신기(30)로 확장될 수 있다. 즉, 각각의 송신기는 하나 또는 복수의 수신기에 광시야각 영상 데이터를 제공할 수 있다. 또한, 각각의 수신기는 하나 또는 복수의 송신기로부터 광시야각 영상 데이터를 수신할 수도 있다.
또한 일 실시예에서, 수신기는 하나 이상의 다른 수신기로부터 패킷 공유(packet sharing) 방식으로 광시야각 영상 데이터를 수신할 수 있다. 도 3에 도시된 실시예에서, 수신기 1은 송신기 1과 전송 채널을 형성하여 송신기 1로부터 광시야각 영상 데이터를 수신하는 한편, 수신기 2는 송신기 1 및 송신기 2 모두와 전송 채널을 형성하여 송신기 1 및 송신기 2 모두로부터 광시야각 영상 데이터를 수신한다. 이때, 수신기 1과 송신기 2 사이에는 전송 채널이 형성되어 있지 않지만, 수신기 1은 수신기 2와 패킷 공유 방식으로 통신 연결되어, 송신기 2로부터의 광시야각 영상 데이터를 수신기 2를 통하여 수신할 수 있다.
도 2 및 도 3에서는 광시야각 영상 데이터의 전송을 위한 송신기와 수신기 사이의 직접 연결이 도시되었다. 그러나, 이러한 연결에서 송신기 및 수신기 중 하나 이상은 중계 서버로 대치될 수 있고, 송신기는 중계 서버를 경유하여 또는/또한 중계 서버의 중계를 통한 연결에 의하여 수신기와 데이터를 주고받을 수도 있다. 이 경우 중계 서버는 SNS, 메신저 서비스, 웹 사이트 등 통신 서비스 서버일 수도 있으며, 또는 이러한 서비스와 별개로 통신 중계만을 위한 서버일 수도 있다.
도 4는 일 실시예에 따른 중계 서버의 구성을 나타내는 개략적인 블록도이다.
도 4를 참조하면, 복수의 송신기(10)는 중계 서버(20)의 중계를 통한 연결에 의하여 복수의 수신기(30)와 데이터를 주고받을 수 있다. 일 실시예에서, 중계 서버(20)는 수신부(21) 및 중계부(22)를 포함할 수 있다. 수신부(21)는 각각의 송신기(10)로부터 송신기(10) 고유의 채널 인식 정보(Chanel Identification; CID)를 특정하기 위한 정보를 포함하는 송신 요청을 수신한다. 예를 들어, CID는 송신기(10)의 IP 주소나, SNS, 메신저 서비스 등의 통신 서비스에 대한 가입자들 중에서 송신기(10)의 사용자를 특정할 수 있는 ID 등일 수 있으나, 이에 한정되는 것은 아니다.
중계부(22)는 송신기(10)로부터 수신된 CID를 해당되는 수신기(30)에 제공한다. 일 실시예에서, 송신기(10)가 중계 서버(20)에 CID를 전송할 때 이를 수신할 수신인이 송신기(10)에 의해 미리 특정되고, 중계부(22)는 특정된 수신인에 대응되는 수신기(30)에 송신기(10)의 CID를 제공할 수 있다. 한편, 다른 실시예에서는, 송신기(10)가 수신인을 특정하지 않은 상태에서 CID를 중계 서버(20)에 전송하고, 수신기(30)에서 수신하고자 하는 컨텐츠의 생산자의 정보를 중계 서버(20)에 전송함으로써 중계부(22)가 해당 컨텐츠 생산자에 대응되는 송신기(10)의 CID를 수신기(30)에 전송할 수도 있다. 상기 과정에서 수신인 또는 컨텐츠 생산자의 결정은, 도 1을 참조하여 전술한 것과 마찬가지로 송신기(10) 또는 수신기(30)에 저장된 사용자의 주소록이나, SNS, 메신저 서비스, 웹 사이트 등 통신 서비스 서버에 저장된 사용자 주소록 또는 공개 정보를 이용하여 이루어질 수 있다.
송신기(10)의 CID를 전달받은 수신기(30)는 CID를 이용하여 해당 송신기(10)에 연결 요청을 전송할 수 있으며, 송신기(10)에서 이를 수락함으로써 송신기(10)와 수신기(30) 사이에 전송 채널이 형성될 수 있다. 또한, 형성된 전송 채널을 통해 송신기(10)가 수신기(30)에 광시야각 영상 데이터를 전송할 수 있다.
도 5는 또 다른 실시예에 따른 중계 서버의 구성을 나타내는 개략적인 블록도이다.
도 5를 참조하면, 복수의 송신기(10)는 중계 서버(20)를 경유하여 복수의 수신기(30)에 광시야각 영상 데이터를 전송할 수 있다. 즉, 각각의 송신기(10)는 영상 피드를 포함한 광시야각 영상 데이터 자체를 중계 서버(20)에 전송할 수 있다.
일 실시예에서, 중계 서버(20)는 수신부(24), 중계부(25) 및 저장부(26)를 포함할 수 있다. 수신부(21)는 각각의 송신기(10)로부터 광시야각 영상 데이터를 수신하며, 저장부(26)는 수신부(21)에 수신된 광시야각 영상 데이터를 적어도 부분적으로 저장한다. 예를 들어, 저장부(26)는 송신기(10)들로부터 수신된 광시야각 영상 데이터 전체를 저장하였다가 수신기(30)에 전송할 수 있다. 또는, 저장부(26)는 광시야각 영상 데이터의 일부만을 버퍼(buffer)로서 저장하면서 광시야각 영상 데이터를 실시간 스트리밍 방식으로 수신기(30)에 전송할 수도 있다.
중계부(25)는 각각의 송신기(10)로부터 수신된 광시야각 영상 데이터를 수신기(30)에 제공한다. 일 실시예에서는, 송신기(10)가 중계 서버(20)에 광시야각 영상 데이터를 전송할 때 이를 수신할 수신인이 송신기(10)에 의해 미리 특정되고, 중계부(25)는 특정된 수신인에 대응되는 수신기(30)에 해당 송신기(10)의 광시야각 영상 데이터를 제공할 수 있다. 한편, 다른 실시예에서는, 송신기(10)가 수신인을 특정하지 않은 상태에서 광시야각 영상 데이터를 중계 서버(20)에 전송하고, 수신기(30)에서 수신하고자 하는 컨텐츠의 생산자의 정보를 중계 서버(20)에 전송함으로써 중계부(25)가 해당 컨텐츠 생산자에 대응되는 송신기(10)의 광시야각 영상 데이터를 수신기(30)에 전송할 수도 있다. 상기 과정에서 수신인 또는 컨텐츠 생산자의 결정은, 도 1을 참조하여 전술한 것과 마찬가지로 송신기(10) 또는 수신기(30)에 저장된 사용자의 주소록이나, SNS, 메신저 서비스, 웹 사이트 등 통신 서비스 서버에 저장된 사용자 주소록 또는 공개 정보를 이용하여 이루어질 수 있다.
이상에서 살펴본 본 발명의 실시예들에 의하면, 컨텐츠 생산자가 HMD를 포함하는 수신기에 영상을 송신하거나 또는 HMD를 포함하는 수신기의 사용자가 영상을 수신하고자 할 때, 컨텐츠 생산자 또는 수신기의 사용자는 자신의 장치에 저장된 로컬 주소록이나, SNS, 메신저 서비스, 웹 사이트 등 통신 서비스 서버에 저장된 사용자 주소록 또는 공개 정보를 이용하여 수신인 또는 컨텐츠 생산자를 선택할 수 있다. 또한, 송수신되는 광시야각 영상 데이터 역시 SNS, 메신저 서비스, 웹 사이트 등 통신 서비스 서버를 통하여 송수신될 수도 있다. 따라서, HMD에 디스플레이되기 위한 광시야각 영상을 사용자들간에 P2P 방식으로도 자유롭게 공유할 수 있다.
이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.
실시예들은 네트워크를 통해 헤드마운트형 디스플레이 장치(Head-Mounted Display; HMD)를 포함하는 수신기에 영상을 전송하는 방법과, 이를 위한 송신기, 중계 서버 및 수신기에 관한 것이다.

Claims (21)

  1. 헤드마운트형 디스플레이 장치를 포함하는 수신기에 영상을 전송하기 위한 송신기로서,
    광시야각 영상 데이터를 제공하도록 구성된 처리부; 및
    상기 송신기 또는 중계 서버에 저장된 정보에 기초하여 상기 광시야각 영상 데이터를 수신할 헤드마운트형 디스플레이 장치를 포함하는 수신기를 결정하고, 광역 네트워크를 통한 전송 채널을 통해 상기 광시야각 영상 데이터를 상기 수신기에 전송하도록 구성된 통신부를 포함하는, 헤드마운트형 디스플레이 장치를 포함하는 수신기에 영상을 전송하기 위한 송신기.
  2. 제 1항에 있어서,
    상기 통신부는, 상기 송신기 또는 상기 중계 서버에 저장된 사용자 주소록에 기초하여 상기 광시야각 영상 데이터를 수신할 헤드마운트형 디스플레이 장치를 포함하는 수신기를 결정하도록 구성된, 헤드마운트형 디스플레이 장치를 포함하는 수신기에 영상을 전송하기 위한 송신기.
  3. 제 1항에 있어서,
    상기 통신부는 상기 송신기와 상기 수신기를 직접 연결하는 상기 전송 채널을 형성하도록 구성된, 헤드마운트형 디스플레이 장치를 포함하는 수신기에 영상을 전송하기 위한 송신기.
  4. 제 1항에 있어서,
    상기 통신부는 상기 전송 채널의 형성을 위하여 상기 송신기에 대응되는 채널 인식 정보를 상기 중계 서버에 전송하도록 더 구성된, 헤드마운트형 디스플레이 장치를 포함하는 수신기에 영상을 전송하기 위한 송신기.
  5. 제 1항에 있어서,
    상기 통신부는 상기 중계 서버를 경유하여 상기 광시야각 영상 데이터를 상기 수신기에 전송하도록 구성된, 헤드마운트형 디스플레이 장치를 포함하는 수신기에 영상을 전송하기 위한 송신기.
  6. 하나 이상의 송신기로부터 광시야각 영상 데이터에 대한 송신 요청을 수신하도록 구성된 수신부; 및
    상기 광시야각 영상 데이터가 헤드마운트형 디스플레이 장치를 포함하는 하나 이상의 수신기에 전송되기 위한, 광역 네트워크를 통한 전송 채널을 생성하도록 구성된 중계부를 포함하는, 헤드마운트형 디스플레이 장치를 포함하는 수신기에 영상을 전송하기 위한 중계 서버.
  7. 제 6항에 있어서,
    상기 송신 요청은 상기 송신기에 대응되는 채널 인식 정보를 포함하며,
    상기 중계부는 상기 채널 인식 정보를 상기 수신기에 전송함으로써 상기 송신기와 상기 수신기 사이에 전송 채널이 생성될 수 있도록 하는, 헤드마운트형 디스플레이 장치를 포함하는 수신기에 영상을 전송하기 위한 중계 서버.
  8. 제 6항에 있어서,
    상기 수신부는 상기 하나 이상의 송신기로부터 상기 광시야각 영상 데이터를 더 수신하도록 구성되며,
    상기 중계부는 상기 중계 서버와 상기 수신기 사이의 전송 채널을 통해 상기 광시야각 영상 데이터를 상기 수신기에 전송하도록 더 구성된, 헤드마운트형 디스플레이 장치를 포함하는 수신기에 영상을 전송하기 위한 중계 서버.
  9. 제 8항에 있어서,
    상기 광시야각 영상 데이터를 적어도 부분적으로 저장하도록 구성된 저장부를 더 포함하는, 헤드마운트형 디스플레이 장치를 포함하는 수신기에 영상을 전송하기 위한 중계 서버.
  10. 헤드마운트형 디스플레이 장치를 포함하는 수신기로서,
    상기 수신기 또는 중계 서버에 저장된 정보에 기초하여 상기 수신기에 광시야각 영상 데이터를 제공할 송신기를 결정하고, 광역 네트워크를 통한 전송 채널을 통해 상기 광시야각 영상 데이터를 수신하도록 구성된 수신부를 더 포함하는, 헤드마운트형 디스플레이 장치를 포함하는 수신기.
  11. 제 10항에 있어서,
    사용자의 시점 정보 데이터를 생성하도록 구성된 센서부; 및
    상기 시점 정보 데이터를 이용하여 상기 광시야각 영상 데이터를 처리함으로써, 시점 연동형 영상 데이터를 생성하도록 구성된 처리부를 더 포함하는, 헤드마운트형 디스플레이 장치를 포함하는 수신기.
  12. 제 10항에 있어서,
    상기 수신부는, 상기 수신기 또는 상기 중계 서버에 저장된 사용자 주소록에 기초하여 상기 송신기를 결정하도록 더 구성된, 헤드마운트형 디스플레이 장치를 포함하는 수신기.
  13. 제 10항에 있어서,
    상기 수신부는 상기 수신부와 상기 송신기를 직접 연결하는 전송 채널을 형성하도록 구성된, 헤드마운트형 디스플레이 장치를 포함하는 수신기.
  14. 제 10항에 있어서,
    상기 수신부는, 상기 송신기에 대응되는 채널 인식 정보를 상기 중계 서버로부터 수신하고, 상기 채널 인식 정보를 이용하여 상기 수신부와 상기 송신기 사이에 전송 채널을 형성하도록 구성된, 헤드마운트형 디스플레이 장치를 포함하는 수신기.
  15. 제 10항에 있어서,
    상기 수신부는 상기 수신부와 중계 서버 사이의 전송 채널을 통해 상기 광시야각 영상 데이터를 수신하도록 구성된, 헤드마운트형 디스플레이 장치를 포함하는 수신기.
  16. 제 10항에 있어서,
    상기 수신부는 헤드마운트형 디스플레이 장치를 포함하는 또 다른 수신기로부터 상기 광시야각 영상 데이터를 수신하도록 더 구성된, 헤드마운트형 디스플레이 장치를 포함하는 수신기.
  17. 사용자 장치 또는 중계 서버에 저장된 정보에 기초하여, 광시야각 영상 데이터를 송신할 송신기 또는 상기 광시야각 영상 데이터를 수신할 헤드마운트형 디스플레이 장치를 포함하는 수신기 중 하나 이상을 결정하는 단계; 및
    광역 네트워크를 통한 전송 채널을 통해 상기 송신기로부터 상기 수신기에 상기 광시야각 영상 데이터를 전송하는 단계를 포함하는, 네트워크를 통해 헤드마운트형 디스플레이 장치를 포함하는 수신기에 영상을 전송하는 방법.
  18. 제 17항에 있어서,
    상기 송신기 또는 상기 수신기 중 하나 이상을 결정하는 단계는, 상기 송신기, 상기 수신기 또는 상기 중계 서버에 저장된 사용자 주소록에 기초하여 상기 송신기 또는 상기 헤드마운트형 디스플레이 장치 중 하나 이상을 결정하는 단계를 포함하는, 네트워크를 통해 헤드마운트형 디스플레이 장치를 포함하는 수신기에 영상을 전송하는 방법.
  19. 제 17항에 있어서,
    상기 광시야각 영상 데이터를 전송하는 단계는, 상기 송신기와 상기 수신기를 직접 연결하는 전송 채널을 형성하는 단계를 포함하는, 네트워크를 통해 헤드마운트형 디스플레이 장치를 포함하는 수신기에 영상을 전송하는 방법.
  20. 제 19항에 있어서,
    상기 광시야각 영상 데이터를 전송하는 단계는, 상기 전송 채널을 형성하는 단계 전에,
    상기 중계 서버가 상기 송신기로부터 상기 송신기에 대응되는 채널 인식 정보를 수신하는 단계; 및
    상기 중계 서버가 상기 채널 인식 정보를 상기 수신기에 전송하는 단계를 더 포함하는, 네트워크를 통해 헤드마운트형 디스플레이 장치를 포함하는 수신기에 영상을 전송하는 방법.
  21. 제 17항에 있어서,
    상기 광시야각 영상 데이터를 전송하는 단계는,
    상기 중계 서버가 상기 송신기로부터 상기 광시야각 영상 데이터를 수신하는 단계; 및
    상기 중계 서버가 상기 광시야각 영상 데이터를 상기 수신기에 전송하는 단계를 포함하는, 네트워크를 통해 헤드마운트형 디스플레이 장치를 포함하는 수신기에 영상을 전송하는 방법.
PCT/KR2015/006988 2015-07-07 2015-07-07 네트워크를 통해 헤드마운트형 디스플레이 장치를 포함하는 수신기에 영상을 전송하는 방법과, 이를 위한 송신기, 중계 서버 및 수신기 WO2017007043A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2015/006988 WO2017007043A1 (ko) 2015-07-07 2015-07-07 네트워크를 통해 헤드마운트형 디스플레이 장치를 포함하는 수신기에 영상을 전송하는 방법과, 이를 위한 송신기, 중계 서버 및 수신기

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2015/006988 WO2017007043A1 (ko) 2015-07-07 2015-07-07 네트워크를 통해 헤드마운트형 디스플레이 장치를 포함하는 수신기에 영상을 전송하는 방법과, 이를 위한 송신기, 중계 서버 및 수신기

Publications (1)

Publication Number Publication Date
WO2017007043A1 true WO2017007043A1 (ko) 2017-01-12

Family

ID=57685675

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/006988 WO2017007043A1 (ko) 2015-07-07 2015-07-07 네트워크를 통해 헤드마운트형 디스플레이 장치를 포함하는 수신기에 영상을 전송하는 방법과, 이를 위한 송신기, 중계 서버 및 수신기

Country Status (1)

Country Link
WO (1) WO2017007043A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010283645A (ja) * 2009-06-05 2010-12-16 Nikon Corp ヘッドマウントディスプレイ装置及び通信システム
KR20140089184A (ko) * 2013-01-04 2014-07-14 엘지전자 주식회사 헤드 마운트 디스플레이 및 그 제어 방법
KR20150026327A (ko) * 2013-09-02 2015-03-11 엘지전자 주식회사 헤드 마운트 디스플레이 디바이스 및 그 제어 방법
KR20150044488A (ko) * 2013-10-16 2015-04-27 한국과학기술연구원 비디오 씨쓰루 헤드 마운티드 디스플레이 영상 컨텐츠 운용 방법 및 시스템
KR20150061477A (ko) * 2013-11-27 2015-06-04 주식회사 케이티 영상 제공 방법 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010283645A (ja) * 2009-06-05 2010-12-16 Nikon Corp ヘッドマウントディスプレイ装置及び通信システム
KR20140089184A (ko) * 2013-01-04 2014-07-14 엘지전자 주식회사 헤드 마운트 디스플레이 및 그 제어 방법
KR20150026327A (ko) * 2013-09-02 2015-03-11 엘지전자 주식회사 헤드 마운트 디스플레이 디바이스 및 그 제어 방법
KR20150044488A (ko) * 2013-10-16 2015-04-27 한국과학기술연구원 비디오 씨쓰루 헤드 마운티드 디스플레이 영상 컨텐츠 운용 방법 및 시스템
KR20150061477A (ko) * 2013-11-27 2015-06-04 주식회사 케이티 영상 제공 방법 및 시스템

Similar Documents

Publication Publication Date Title
KR20150133496A (ko) 네트워크를 통해 헤드마운트형 디스플레이 장치를 포함하는 수신기에 영상을 전송하는 방법과, 이를 위한 송신기, 중계 서버 및 수신기
JP6428268B2 (ja) 画像表示装置及び画像表示方法、並びに画像表示システム
WO2013183968A1 (en) Add social comment keeping photo context
WO2011105671A1 (ko) 증강 현실을 이용한 사용자 설명서 제공 시스템 및 방법
WO2018079557A1 (ja) 情報処理装置および画像生成方法
JP2012048597A (ja) 複合現実感表示システム、画像提供画像提供サーバ、表示装置及び表示プログラム
WO2017222258A1 (ko) 3d 깊이 카메라를 이용한 다자간 영상 대화 시스템 및 방법
KR20150044488A (ko) 비디오 씨쓰루 헤드 마운티드 디스플레이 영상 컨텐츠 운용 방법 및 시스템
KR20170143264A (ko) 가상현실 다중접속 모니터링 시스템 및 방법
EP3465631B1 (en) Capturing and rendering information involving a virtual environment
CN108141565A (zh) 信息处理设备及信息处理方法
US20210409677A1 (en) Methods, systems and devices supporting real-time shared virtual reality environment
KR102084970B1 (ko) 가상현실 관람 방법 및 가상현실 관람 시스템
KR20170107137A (ko) 복수의 영상 데이터를 이용하는 헤드 마운트 디스플레이 장치 및 복수의 영상 데이터를 송수신하기 위한 시스템
US20180247457A1 (en) System and method of providing a virtual environment
WO2017007043A1 (ko) 네트워크를 통해 헤드마운트형 디스플레이 장치를 포함하는 수신기에 영상을 전송하는 방법과, 이를 위한 송신기, 중계 서버 및 수신기
JP2018067156A (ja) 通信装置およびその制御方法
CN104062758B (zh) 图像显示的方法和显示设备
WO2021147749A1 (zh) 实现3d显示的方法、装置及3d显示系统
JP2020057329A (ja) ガイドシステム
US20170163932A1 (en) Head-wearable apparatus, 3d video call system and method for implementing 3d video call
WO2021015347A1 (ko) 가상 현실 및 증강 현실을 이용한 혼합 렌더링 콘텐츠 제공 방법 및 이를 이용한 시스템
JP2021125789A (ja) 映像処理装置、映像処理システム、映像処理方法、及びコンピュータプログラム
WO2012153894A1 (ko) 엔 스크린 콘텐츠 브라우징 동기화 방법 및 시스템
WO2017164579A1 (ko) 가상 이미지를 이용한 영상 통화 시스템 및 방법과 이를 수행하기 위한 영상 통화 중계 서버

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15897765

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15897765

Country of ref document: EP

Kind code of ref document: A1