WO2017150847A2 - 광 시야각 영상 처리 시스템, 광 시야각 영상의 전송 및 재생 방법, 및 이를 위한 컴퓨터 프로그램 - Google Patents

광 시야각 영상 처리 시스템, 광 시야각 영상의 전송 및 재생 방법, 및 이를 위한 컴퓨터 프로그램 Download PDF

Info

Publication number
WO2017150847A2
WO2017150847A2 PCT/KR2017/002052 KR2017002052W WO2017150847A2 WO 2017150847 A2 WO2017150847 A2 WO 2017150847A2 KR 2017002052 W KR2017002052 W KR 2017002052W WO 2017150847 A2 WO2017150847 A2 WO 2017150847A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
viewing angle
wide viewing
foreground
angle image
Prior art date
Application number
PCT/KR2017/002052
Other languages
English (en)
French (fr)
Other versions
WO2017150847A3 (ko
Inventor
나경건
최광진
Original Assignee
(주)에프엑스기어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에프엑스기어 filed Critical (주)에프엑스기어
Priority to US16/078,614 priority Critical patent/US20190052868A1/en
Publication of WO2017150847A2 publication Critical patent/WO2017150847A2/ko
Publication of WO2017150847A3 publication Critical patent/WO2017150847A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Definitions

  • Embodiments relate to a wide viewing angle image processing system, a method for transmitting and reproducing a wide viewing angle image, and a computer program therefor. More specifically, after separating and transmitting a foreground and a rear view mirror in a wide viewing angle image such as a 360 degree panoramic image
  • the present invention relates to a technology for restoring and playing back by combining the foreground and the rear view separated from the playback device.
  • FIG. 1 is a conceptual diagram illustrating a form of a panoramic image displayed on a conventional virtual reality (VR) device.
  • VR virtual reality
  • the VR device 1 is configured in the form of a head-mounted display device worn on a head and includes a display configured to cover both eyes of a user.
  • the display of the VR device 1 has a resolution of QHD (Quad High Definition) level, the size of the area 100 visible to the user's eye through the display of the VR device 1, that is, W ⁇ H 1280 x 1440 pixels.
  • the field of view (FOV) of the camera is 90 degrees during the rendering of the panorama
  • the entire area 100 as described above is set to 90 degrees, 360 degrees in the horizontal direction and 180 degrees in the longitudinal direction on the spherical coordinate system.
  • the 360-degree panoramic image 200 is implemented by joining regions to cover the region. As a result, when there is no image quality loss, the total size of the 360-degree panoramic image 200 becomes 10.24k ⁇ 2.88k pixels.
  • the foreground and rear view are separated and transmitted in a wide viewing angle image such as a 360-degree panorama image, and then the foreground and rear view separated by the playback apparatus are combined to restore and reproduce the resolution of the image viewed by the user. It is possible to provide a wide viewing angle image processing system, a transmission and reproduction method of a wide viewing angle image, and a computer program therefor.
  • a wide viewing angle image processing system may include: a transmission device configured to extract a plurality of background images and at least one foreground image from an original wide viewing angle image, and transmit the extracted plurality of background images and the at least one foreground image; And receiving the plurality of background images and the at least one foreground image from the transmission device, generating the wide viewing angle background image by combining the plurality of background images, and displaying the at least one foreground image on the wide viewing angle background image. And a reproducing apparatus configured to generate a wide viewing angle image reconstructed so as to be lost, and to reproduce the reconstructed wide viewing angle image.
  • a transmission device includes: an input unit configured to receive a user input defining an area in which a foreground is located in an original wide viewing angle image; A foreground extractor configured to extract one or more foreground images from the original wide viewing angle image based on the user input; A background extracting unit configured to extract a plurality of background images by dividing an area excluding the at least one foreground image from the original wide viewing angle image; And a transmitter configured to provide the plurality of background images and the at least one foreground image to a playback device.
  • the foreground extractor is further configured to extract coordinate information of the at least one foreground image on a spherical coordinate system corresponding to the original wide viewing angle image.
  • the transmitting unit is further configured to provide the coordinate information to the playback apparatus.
  • each of the plurality of background images is an image sequence including a plurality of sequentially arranged images, and at least one of a bit rate or a frame rate of the image sequence is the foreground image. It is configured to be lower than.
  • an apparatus for reproducing a wide viewing angle image includes: a receiving unit configured to receive a plurality of background images and at least one foreground image extracted from an original wide viewing angle image; A reconstruction unit configured to combine the plurality of background images to generate a wide viewing angle background image, and to generate a wide viewing angle image reconstructed so that the at least one foreground image is displayed on the wide viewing angle background image mapped on a spherical coordinate system; And a playback unit configured to display the restored wide viewing angle image.
  • the receiving unit is further configured to receive coordinate information of the at least one foreground image on a spherical coordinate system corresponding to the original wide viewing angle image.
  • the reconstructor is further configured to generate the reconstructed wide viewing angle image such that the at least one foreground image is shown at a position corresponding to the coordinate information.
  • the wide viewing angle image transmission method according to an embodiment may be performed using the transmission apparatus according to the embodiments.
  • a method of transmitting a wide viewing angle image may include: receiving a user input defining an area in which a foreground is located in an original wide viewing angle image; Extracting at least one foreground image from the original wide viewing angle image based on the user input; Extracting a plurality of background images by dividing an area excluding the at least one foreground image from the original wide viewing angle image; And providing the plurality of background images and the at least one foreground image to a playback device.
  • the extracting of the at least one foreground image may include extracting coordinate information of the at least one foreground image on a spherical coordinate system corresponding to the original wide viewing angle image.
  • the wide viewing angle image transmission method further includes providing the coordinate information to the playback device.
  • each of the plurality of background images is an image sequence including a plurality of sequentially arranged images, and at least one of a bit rate or a frame rate of the image sequence is lower than that of the foreground image.
  • the wide viewing angle image reproducing method according to an embodiment may be performed using the reproducing apparatus according to the embodiments.
  • a method of reproducing a wide viewing angle image may include: receiving a plurality of background images and at least one foreground image extracted from an original wide viewing angle image; Combining the plurality of background images to generate a wide viewing angle background image; Generating a wide viewing angle image reconstructed such that the at least one foreground image is shown on the wide viewing angle background image mapped onto a spherical coordinate system; And displaying the restored wide viewing angle image.
  • the receiving may include receiving coordinate information of the at least one foreground image on a spherical coordinate system corresponding to the original wide viewing angle image.
  • generating the reconstructed wide viewing angle image may include generating the reconstructed wide viewing angle image such that the one or more foreground images are displayed at a position corresponding to the coordinate information.
  • the computer program according to the embodiments is configured to execute the wide viewing angle image transmission and reproduction method according to the embodiments described above in combination with hardware, and may be recorded on a computer readable medium.
  • a background portion having relatively little motion in the original wide viewing angle image data is divided into still images having a predetermined size (for example, 4k resolution), and the wide viewing angle background image is combined by combining the still images during reproduction. Can be generated.
  • the foreground portion of the original wide viewing angle image data may be separately separated, and one or more foreground regions may be collected to generate new image data having a size (eg, 4k resolution) that can be processed by hardware.
  • 4k resolution which is a decoding limitation of a conventional virtual reality (VR) device
  • FIG. 1 is a conceptual diagram illustrating a form of a panoramic image displayed on a conventional virtual reality device.
  • FIG. 2 is a block diagram of a wide viewing angle image processing system according to an exemplary embodiment.
  • FIG. 3 is a conceptual diagram illustrating an original wide viewing angle image processed by the wide viewing angle image processing method, according to an exemplary embodiment.
  • FIG. 4 is a conceptual diagram illustrating a background image and a foreground image extracted from an original wide viewing angle image according to an exemplary embodiment.
  • FIG. 5 is a conceptual diagram illustrating a wide viewing angle image reconstructed in a playback apparatus using a background image and a foreground image.
  • FIG. 6 is a flowchart illustrating steps of a wide viewing angle image transmission method according to an exemplary embodiment.
  • FIG. 7 is a flowchart illustrating steps of a method of reproducing a wide viewing angle image, according to an exemplary embodiment.
  • FIG. 2 is a block diagram of a wide viewing angle image processing system according to an exemplary embodiment.
  • the wide viewing angle image processing system includes a transmission device 10 for processing and transmitting an original wide viewing angle image, and a playback device 20 for receiving and processing the received data to restore and display the wide viewing angle image. ).
  • a transmission device 10 for processing and transmitting an original wide viewing angle image
  • a playback device 20 for receiving and processing the received data to restore and display the wide viewing angle image.
  • the playback device 20 may be implemented in the form of a head-mounted display device (HMD) worn on a user's head.
  • HMD head-mounted display device
  • the wide viewing angle image processing system may have aspects that are entirely hardware or partially hardware and partially software.
  • a wide viewing angle image processing system, each device included therein, and each unit constituting each device may collectively refer to a device for processing, storing, and / or transmitting data of a specific format and content, and related software.
  • the terms "part”, “server”, “device”, and “system” are intended to refer to the combination of hardware and software driven by that hardware.
  • the hardware may be a data processing device including a CPU or other processor.
  • software driven by hardware may refer to a running process, an object, an executable, a thread of execution, a program, or the like.
  • the transmitting device 10 and the reproducing device 20 are configured as separate devices that are physically separated from each other, and are communicatively connected to each other via wired and / or wireless networks.
  • the network may also be a wide area network or a local area network.
  • the transmission device 10 transmits the data processed from the original wide viewing angle image to the playback device 20 through the network, and the playback device 20 receives the processed data and restores the wide viewing angle image to view the user. Can be displayed to help.
  • the transmitting device 10 and the reproducing device 20 may be integrated into one device.
  • both the transmission device 10 and the playback device 20 are embedded in the HMD worn on the user's head, and the transmission device 10 and the transmission device 10 may be formed using the same one or more processing means (eg, a microprocessor). All playback devices 20 may be implemented. Therefore, in the block diagram shown in FIG. 1, the respective devices 10 and 20 and the parts included therein are shown as separate blocks, which are divided based on an operation performed by the system and must be physically separated from each other. It is not intended to refer to a separate component separated by.
  • the transmission device 10 includes an input unit 11, a foreground extractor 12, a background extractor 13, and a transmitter 14.
  • the input unit 11 receives an original wide viewing angle image and also receives a user input defining a foreground from the original wide viewing angle image.
  • the input unit 11 may comprise a touchscreen or other different input means.
  • the user may designate the foreground area by specifying a position and a size of a fixed shape such as a rectangle or a circle, or the foreground area by freely specifying an outline.
  • the input unit 11 may be configured to receive the original wide viewing angle image from another device through a transmission method through a network, but is not limited thereto.
  • FIG. 3 is a conceptual diagram illustrating an original wide viewing angle image processed by the wide viewing angle image processing method, according to an exemplary embodiment.
  • the user may designate one or more portions 301, 302, and 303 corresponding to the foreground of the original wide viewing angle image 300 while viewing the original wide viewing angle image 300.
  • the wide viewing angle image refers to a video including at least partly a motion
  • a user may designate a portion of the wide viewing angle image to preserve movement as a foreground.
  • the remaining area except the foreground is defined as the background.
  • the person part may be designated as the foreground, and the remaining part becomes the background.
  • the foreground extractor 12 may extract one or more foreground images from the original wide viewing angle image based on a user input.
  • the image photographed at the wide viewing angle is mapped to a spherical coordinate system as a texture, and the foreground extractor 12 may extract coordinate information where each foreground image is located in the spherical coordinate system. have. Since the original wide viewing angle image is a moving image, the coordinate information of the foreground image is not fixed and includes position change information over time.
  • the background extractor 13 may divide the remaining area of the original wide viewing angle image except for the foreground image into a plurality of background images.
  • Each background image is a still image with no motion and may have a size (eg, 4k resolution) that can be decoded in a playback device. Since the background may be covered by the foreground image, the background extractor 13 compares the original wide viewing angle image for each frame and restores the hidden part of the specific frame by using information of one or more other frames. You can get a complete background image.
  • FIG. 4 is a conceptual diagram illustrating a background image and a foreground image extracted from an original wide viewing angle image according to an exemplary embodiment.
  • one or more foreground images 401, 402, 403 and a plurality of background images 411, 412, 413, 414 were obtained from the original wide viewing angle image shown in FIG. 3.
  • the background part is divided into four background images having 4k resolution, but the number of background images is not limited thereto.
  • the resolution of the reconstructed wide viewing angle image is determined according to the number and arrangement of background images.
  • the at least one foreground image (401, 402, 403) is a video, each frame includes an image, and is arranged in an overlay (overlay) on a transparent background is composed of one new video.
  • the newly constructed video may have a decodable size (eg, 4k resolution) in a later playback device.
  • the transmitter 14 may transmit one or more foreground images and a plurality of background images generated by the above process to the playback apparatus 20.
  • the transmitter 14 may transmit coordinate information of the foreground image to the playback apparatus 20 together.
  • the transmission unit 14 may transmit the information by a transmission method through a network.
  • the transmission process by the transmission unit 14 means that the data can be utilized by another processor through a temporary and / or non-transitory storage medium such as a memory. It may be meant to provide.
  • the playback device 20 includes a receiver 21, a restorer 22 and a playback 23.
  • the receiver 21 may receive one or more foreground images and a plurality of background images from the transmitter 14 of the transmission apparatus 10. As described above with reference to FIG. 4, one or more foreground images may be received in the form of one video package arranged in an overlay form on a transparent background. In addition, the receiver 21 may receive coordinate information of each foreground image.
  • the reconstructor 22 reconstructs the wide viewing angle image by using the at least one foreground image and the plurality of background images received by the receiver 21. Specifically, the restoration unit 22 generates a wide viewing angle background image by concatenating a plurality of background images. Such a wide viewing angle background image may later be mapped to a spherical coordinate system as a texture. Next, the reconstructor 22 reconstructs the wide viewing angle image by rendering one or more foreground images to be viewed on the wide viewing angle background image. As described above with reference to FIG. 4, the at least one foreground image is transmitted in the form of a video having a resolution that can be decoded by the playback device 20, and the reconstructor 22 decodes a video of the foreground image and coordinates its coordinate information. Each foreground image is mapped to a corresponding position of a spherical coordinate system to generate a reconstructed wide viewing angle image.
  • FIG. 5 is a conceptual diagram illustrating a wide viewing angle image reconstructed in a playback apparatus using a background image and a foreground image.
  • four background images 411, 412, 413, and 414 having a 4k resolution are combined in a spherical coordinate system, and the foreground images 401, 402, and 403 are disposed on the spherical coordinate system, thereby making a very high resolution wide viewing angle image. It was configured. Therefore, according to the present exemplary embodiment, the limitation of the decoding limit of 4k in a conventional virtual reality device is overcome, and there is an advantage in that a wide viewing angle image having a higher resolution, for example, an ultra high resolution such as 11k can be realized. .
  • the transmission device 10 configures a background image in the form of a fixed image.
  • each background image may comprise a series of images (or image sequence) that are listed sequentially.
  • the image sequence constituting the background image is at least a bit rate and / or frame. Frame rate should be configured to be lower than the foreground image.
  • FIG. 6 is a flowchart illustrating steps of a wide viewing angle image transmission method according to an exemplary embodiment.
  • the wide viewing angle image transmission method illustrated in FIG. 6 may be performed using the transmission apparatus 10 of the above-described embodiment with reference to FIGS. 1 to 5.
  • a user input defining a foreground in an original wide viewing angle image may be received (S11).
  • at least one foreground image may be extracted from the original wide viewing angle image based on the received user input (S12).
  • the positional coordinate information of each foreground image may also be extracted from the spherical coordinate system corresponding to the original wide viewing angle image.
  • a plurality of background images may be extracted by dividing an area except the foreground image from the original wide viewing angle image (S13).
  • Each background image may have a decodable size (eg, 4k resolution) in a later playback device. If there is a part of the background covered by the foreground image, the original wide viewing angle image is compared for each frame, and the part of the specific frame is reconstructed using information of one or more other frames to obtain a complete background image.
  • Each background image may be a fixed image, but in some embodiments, each background image may be an image sequence having a lower bit rate and / or a frame rate than the foreground image.
  • At least one foreground image and a plurality of background images may be transmitted to the playback apparatus (S14).
  • the one or more foreground images may be arranged in an overlay form on a transparent background and may be configured and transmitted in a video form having a size (eg, 4k resolution) that is decodable by the playback device.
  • coordinate information on the spherical coordinate system of each foreground image may be transmitted together to the playback apparatus.
  • FIG. 7 is a flowchart illustrating steps of a method of reproducing a wide viewing angle image, according to an exemplary embodiment.
  • the wide viewing angle image reproducing method illustrated in FIG. 7 may be performed using the reproducing apparatus 20 of the embodiment described above with reference to FIGS. 1 to 5.
  • a plurality of background images and at least one foreground image may be received (S21).
  • One or more foreground images may be received in the form of an overlay on a transparent background and having a decodable size (eg, 4k resolution) in a playback device.
  • a decodable size eg, 4k resolution
  • coordinate information in which each foreground image is arranged in the spherical coordinate system may be received together.
  • a wide viewing angle background image may be generated by combining the plurality of background images (S22).
  • the background image may be a fixed image, but according to an exemplary embodiment, the background image may be an image sequence having a low bit rate and / or a frame rate.
  • the wide viewing angle background image generated from the background image may also be configured as an image sequence.
  • At least one foreground image may be disposed on the wide viewing angle background image to restore the wide viewing angle image (S23).
  • the reproduction apparatus since the reproduction apparatus may receive coordinate information on the spherical coordinate system of each foreground image, the reproduction apparatus may generate a wide viewing angle image reconstructed so that each foreground image is disposed at the same position as the original.
  • the restored wide viewing angle image may be displayed for the user to view (S24).
  • the wide viewing angle image transmitting and reproducing methods according to the above-described embodiments may be implemented at least in part by a computer program and recorded on a computer-readable recording medium.
  • the computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disks, optical data storage devices, and the like.
  • the computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • functional programs, codes, and code segments for implementing the present embodiment will be readily understood by those skilled in the art to which the present embodiment belongs.
  • Embodiments relate to a wide viewing angle image processing system, a method for transmitting and reproducing a wide viewing angle image, and a computer program therefor. More specifically, after separating and transmitting a foreground and a rear view mirror in a wide viewing angle image such as a 360 degree panoramic image
  • the present invention relates to a technology for restoring and playing back by combining the foreground and the rear view separated from the playback device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

광 시야각 영상 처리 시스템은, 원본 광 시야각 영상으로부터 복수 개의 배경 이미지 및 하나 이상의 전경 영상을 추출하고, 추출된 상기 복수 개의 배경 이미지 및 상기 하나 이상의 전경 영상을 전송하도록 구성된 전송 장치; 및 상기 전송 장치로부터 상기 복수 개의 배경 이미지 및 상기 하나 이상의 전경 영상을 수신하고, 상기 복수 개의 배경 이미지를 결합하여 광 시야각 배경 이미지를 생성하며, 상기 광 시야각 배경 이미지상에 상기 하나 이상의 전경 영상이 보여지도록 복원된 광 시야각 영상을 생성하고, 상기 복원된 광 시야각 영상을 재생하도록 구성된 재생 장치를 포함한다. 상기 광 시야각 영상 처리 시스템에 의하면, 종래의 가상 현실(Virtual Reality) 기기의 디코딩(decoding) 한계를 극복하고 초고해상도를 가지는 광 시야각 영상을 구현할 수 있다.

Description

광 시야각 영상 처리 시스템, 광 시야각 영상의 전송 및 재생 방법, 및 이를 위한 컴퓨터 프로그램
실시예들은 광 시야각 영상 처리 시스템, 광 시야각 영상의 전송 및 재생 방법 및 이를 위한 컴퓨터 프로그램에 대한 것으로, 보다 상세하게는 360도 파노라마(panorama) 영상과 같은 광 시야각 영상에서 전경과 후경을 분리 전송 후 재생 장치에서 분리된 전경과 후경을 조합하여 복원, 재생하는 기술에 대한 것이다.
최근 각종 영상기기의 발달과 더불어, 사용자들은 영상기기를 통해 더욱 생동감과 입체감이 가미된 영상을 감상하고자 하는 요구가 증대되고 있다. 영상기기 사업자들은 이러한 요구에 발맞추어 영상 콘텐츠 처리 방식을 변형하여 입체감 있는 영상을 제공하거나, 영상제공 기기에 다양한 부가수단을 연결하여 사용자로 하여금 실제와 가상을 구분하기 어려울 정도의 영상을 제공하고 있다. 예를 들어, 양안의 시각차를 이용하여 서로 다른 각도에서 촬영된 영상을 디스플레이에 동시에 표시함으로써 입체감 있는 영상을 제공하거나, 사용자의 시야 각도를 영상 전체로 덮어 파노라마(panorama) 형태로 제공함으로써 사용자가 실제 영상의 환경에 참여한 듯한 효과를 제공하는 기술 등이 있다.
도 1은 종래의 가상 현실(Virtual Reality; VR) 기기에 표시되는 파노라마 영상의 형태를 나타내는 개념도이다.
도 1에 도시된 것과 같이, VR 기기(1)는 머리에 착용하는 헤드 마운트형 디스플레이 장치(Head-Mounted Device)의 형태로 구성되며 사용자의 양안을 덮도록 구성된 디스플레이를 포함한다. VR 기기(1)의 디스플레이가 QHD(Quad　High　Definition) 수준의 해상도를 갖는 경우, VR 기기(1)의 디스플레이를 통해 사용자의 한쪽 눈에 보여지는 영역(100)의 크기, 즉, W×H는 1280×1440 픽셀(pixel)이다. 파노라마 렌더링(rendering)시 카메라의 시야각(Field of View; FOV)이 90도라고 가정하면, 전술한 것과 같은 영역(100) 하나를 90도로 하여 구면 좌표계상에서 횡 방향으로 360도, 종 방향으로 180도 전체를 덮도록 영역들을 이어 붙임으로서 360도 파노라마 영상(200)이 구현된다. 그 결과, 화질 손실이 없을 경우 360도 파노라마 영상(200)의 전체 크기는 10.24k×2.88k 픽셀이 된다.
그러나, 현재 상용된 VR 기기는 대부분 스마트폰(smartphone)과 같은 모바일 기기를 활용한 형태로서, VR 기기에서 하드웨어 가속에 의해 디코딩(decoding) 가능한 최대 해상도가 4k 수준이다. 즉, VR 장치에서 재생 가능한 파노라마 영상의 최대 크기는 4096×2160 픽셀이다. 그 결과, VR 기기의 성능을 최대한 발휘하더라도 실제 출력되는 파노라마 영상의 품질이 디스플레이가 지원하는 영상의 최대 품질에 미치지 못하고, 어느 정도의 화질 손실을 감수할 수 밖에 없는 한계가 있었다.
본 발명의 일 측면에 따르면, 360도 파노라마(panorama) 영상과 같은 광 시야각 영상에서 전경과 후경을 분리 전송 후 재생 장치에서 분리된 전경과 후경을 조합하여 복원, 재생함으로써 사용자가 감상하는 영상의 해상도를 높일 수 있는 광 시야각 영상 처리 시스템, 광 시야각 영상의 전송 및 재생 방법 및 이를 위한 컴퓨터 프로그램을 제공할 수 있다.
일 실시예에 따른 광 시야각 영상 처리 시스템은, 원본 광 시야각 영상으로부터 복수 개의 배경 이미지 및 하나 이상의 전경 영상을 추출하고, 추출된 상기 복수 개의 배경 이미지 및 상기 하나 이상의 전경 영상을 전송하도록 구성된 전송 장치; 및 상기 전송 장치로부터 상기 복수 개의 배경 이미지 및 상기 하나 이상의 전경 영상을 수신하고, 상기 복수 개의 배경 이미지를 결합하여 광 시야각 배경 이미지를 생성하며, 상기 광 시야각 배경 이미지상에 상기 하나 이상의 전경 영상이 보여지도록 복원된 광 시야각 영상을 생성하고, 상기 복원된 광 시야각 영상을 재생하도록 구성된 재생 장치를 포함한다.
일 실시예에 따른 전송 장치는, 원본 광 시야각 영상에서 전경이 위치하는 영역을 정의하는 사용자 입력을 수신하도록 구성된 입력부; 상기 사용자 입력에 기초하여, 상기 원본 광 시야각 영상으로부터 하나 이상의 전경 영상을 추출하도록 구성된 전경 추출부; 상기 원본 광 시야각 영상으로부터 상기 하나 이상의 전경 영상을 제외한 영역을 분할하여 복수 개의 배경 이미지를 추출하도록 구성된 배경 추출부; 및 상기 복수 개의 배경 이미지 및 상기 하나 이상의 전경 영상을 재생 장치에 제공하도록 구성된 전송부를 포함한다.
일 실시예에서, 상기 전경 추출부는, 상기 원본 광 시야각 영상에 대응되는 구면 좌표계상에서의 상기 하나 이상의 전경 영상의 좌표 정보를 추출하도록 더 구성된다.
또한 일 실시예에서, 상기 전송부는, 상기 좌표 정보를 상기 재생 장치에 제공하도록 더 구성된다.
일 실시예에서, 상기 복수의 배경 이미지 각각은 순차적으로 배열된 복수 개의 이미지를 포함하는 이미지 시퀀스이며, 상기 이미지 시퀀스의 비트레이트(bit rate) 또는 프레임 레이트(frame rate) 중 하나 이상은 상기 전경 영상에 비해 낮도록 구성된다.
일 실시예에 따른 광 시야각 영상 재생 장치는, 원본 광 시야각 영상으로부터 추출된 복수 개의 배경 이미지 및 하나 이상의 전경 영상을 수신하도록 구성된 수신부; 상기 복수 개의 배경 이미지를 결합하여 광 시야각 배경 이미지를 생성하며, 구면 좌표계상에 매핑된 상기 광 시야각 배경 이미지상에 상기 하나 이상의 전경 영상이 보여지도록 복원된 광 시야각 영상을 생성하도록 구성된 복원부; 및 상기 복원된 광 시야각 영상을 표시하도록 구성된 재생부를 포함한다.
일 실시예에서, 상기 수신부는, 상기 원본 광 시야각 영상에 대응되는 구면 좌표계상에서의 상기 하나 이상의 전경 영상의 좌표 정보를 수신하도록 더 구성된다.
또한 일 실시예에서, 상기 복원부는, 상기 하나 이상의 전경 영상이 상기 좌표 정보에 대응되는 위치에 보여지도록 상기 복원된 광 시야각 영상을 생성하도록 더 구성된다.
일 실시예에 따른 광 시야각 영상 전송 방법은, 실시예들에 따른 전송 장치를 이용하여 수행될 수 있다.
일 실시예에 따른 광 시야각 영상 전송 방법은, 원본 광 시야각 영상에서 전경이 위치하는 영역을 정의하는 사용자 입력을 수신하는 단계; 상기 사용자 입력에 기초하여, 상기 원본 광 시야각 영상으로부터 하나 이상의 전경 영상을 추출하는 단계; 상기 원본 광 시야각 영상으로부터 상기 하나 이상의 전경 영상을 제외한 영역을 분할하여 복수 개의 배경 이미지를 추출하는 단계; 및 상기 복수 개의 배경 이미지 및 상기 하나 이상의 전경 영상을 재생 장치에 제공하는 단계를 포함한다.
일 실시예에서, 상기 하나 이상의 전경 영상을 추출하는 단계는, 상기 원본 광 시야각 영상에 대응되는 구면 좌표계상에서의 상기 하나 이상의 전경 영상의 좌표 정보를 추출하는 단계를 포함한다.
일 실시예에 따른 광 시야각 영상 전송 방법은, 상기 좌표 정보를 상기 재생 장치에 제공하는 단계를 더 포함한다.
일 실시예에서, 상기 복수의 배경 이미지 각각은 순차적으로 배열된 복수 개의 이미지를 포함하는 이미지 시퀀스이며, 상기 이미지 시퀀스의 비트레이트 또는 프레임 레이트 중 하나 이상은 상기 전경 영상에 비해 낮다.
일 실시예에 따른 광 시야각 영상 재생 방법은, 실시예들에 따른 재생 장치를 이용하여 수행될 수 있다.
일 실시예에 따른 광 시야각 영상 재생 방법은, 원본 광 시야각 영상으로부터 추출된 복수 개의 배경 이미지 및 하나 이상의 전경 영상을 수신하는 단계; 상기 복수 개의 배경 이미지를 결합하여 광 시야각 배경 이미지를 생성하는 단계; 구면 좌표계상에 매핑된 상기 광 시야각 배경 이미지상에 상기 하나 이상의 전경 영상이 보여지도록 복원된 광 시야각 영상을 생성하는 단계; 및 상기 복원된 광 시야각 영상을 표시하는 단계를 포함한다.
일 실시예에서, 상기 수신하는 단계는, 상기 원본 광 시야각 영상에 대응되는 구면 좌표계상에서의 상기 하나 이상의 전경 영상의 좌표 정보를 수신하는 단계를 포함한다.
또한 일 실시예에서, 상기 복원된 광 시야각 영상을 생성하는 단계는, 상기 하나 이상의 전경 영상이 상기 좌표 정보에 대응되는 위치에 보여지도록 상기 복원된 광 시야각 영상을 생성하는 단계를 포함한다.
실시예들에 따른 컴퓨터 프로그램은, 하드웨어와 결합되어 전술한 실시예들에 따른 광 시야각 영상 전송 및 재생 방법을 실행하도록 구성된 것으로서, 컴퓨터로 판독 가능한 매체에 기록될 수 있다.
본 발명의 일 측면에 의하면, 원본 광 시야각 영상 데이터에서 움직임이 상대적으로 적은 배경 부분은 일정 크기(예컨대, 4k 해상도)의 정지 이미지들로 분할하고, 재생 시 이러한 정지 이미지를 조합하여 광 시야각 배경 이미지를 생성할 수 있다. 한편, 원본 광 시야각 영상 데이터에서 전경 부분은 별도로 분리한 후 하나 이상의 전경 영역들을 모아 하드웨어에서 처리 가능한 크기(예컨대, 4k 해상도)를 가진 새로운 영상 데이터로 생성할 수 있다. 그 결과, 종래의 가상 현실(Virtual Reality; VR) 기기의 디코딩(decoding) 한계였던 4k 해상도의 제한을 극복하고, 초고해상도를 가지는 광 시야각 영상을 구현할 수 있게 된다.
도 1은 종래의 가상 현실(Virtual Reality) 기기에 표시되는 파노라마 영상의 형태를 나타내는 개념도이다.
도 2는 일 실시예에 따른 광 시야각 영상 처리 시스템의 블록도이다.
도 3은 일 실시예에 따른 광 시야각 영상 처리 방법에 의해 처리되는 원본 광 시야각 영상을 나타내는 개념도이다.
도 4는 일 실시예에 따라 원본 광 시야각 영상으로부터 추출된 배경 이미지 및 전경 영상을 나타내는 개념도이다.
도 5는 배경 이미지 및 전경 영상을 이용하여 재생 장치에서 복원된 광 시야각 영상을 나타내는 개념도이다.
도 6은 일 실시예에 따른 광 시야각 영상 전송 방법의 각 단계를 나타내는 순서도이다.
도 7은 일 실시예에 따른 광 시야각 영상 재생 방법의 각 단계를 나타내는 순서도이다.
이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.
도 2는 일 실시예에 따른 광 시야각 영상 처리 시스템의 블록도이다.
도 2를 참조하면, 본 실시예에 따른 광 시야각 영상 처리 시스템은 원본 광 시야각 영상을 처리하여 전송하는 전송 장치(10) 및 처리된 데이터를 수신하여 광 시야각 영상을 복원하고 표시하는 재생 장치(20)를 포함한다. 본 광 시야각 영상 처리 시스템에서 적어도 재생 장치(20)는 사용자의 머리에 착용하는 헤드 마운트형 디스플레이 장치(Head-Mounted Device; HMD) 형태로 구현될 수 있다.
실시예들에 따른 광 시야각 영상 처리 시스템 및 이에 포함된 각 장치는, 전적으로 하드웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 광 시야각 영상 처리 시스템, 이에 포함된 각 장치 및 각 장치를 구성하는 각 부(unit)는, 특정 형식 및 내용의 데이터를 처리, 저장 및/또는 송수신하기 위한 장치 및 이에 관련된 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부", "서버", "장치", 및 "시스템" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
일 실시예에서, 전송 장치(10)와 재생 장치(20)는 서로 물리적으로 구분되는 별개의 장치로 구성되며, 유선 및/또는 무선 네트워크를 통하여 상호간에 통신 가능하게 연결된다. 또한, 상기 네트워크는 광역 네트워크 또는 근거리 네트워크일 수 있다. 전송 장치(10)에서는 원본 광 시야각 영상을 처리한 데이터를 상기 네트워크를 통하여 재생 장치(20)에 전송하며, 재생 장치(20)에서는 처리된 데이터를 수신한 후 광 시야각 영상을 복원하여 사용자가 볼 수 있도록 표시할 수 있다.
그러나, 다른 실시예에서는 전송 장치(10)와 재생 장치(20)가 하나의 장치에 통합될 수도 있다. 예를 들어, 사용자의 머리에 착용하는 HMD 내에 전송 장치(10) 및 재생 장치(20)가 모두 내장되며, 동일한 하나 또는 복수의 처리수단(예컨대, 마이크로프로세서)를 이용하여 전송 장치(10)와 재생 장치(20)가 모두 구현될 수 있다. 따라서, 도 1에 도시된 블록도에서 각각의 장치(10, 20) 및 이에 포함된 각 부는 별도의 블록으로 도시되었으나, 이는 시스템을 해당 시스템에서 수행하는 동작을 기준으로 구분한 것이며, 반드시 서로 물리적으로 구분되는 별개의 구성요소를 지칭하는 것으로 의도되지 않는다.
일 실시예에서, 전송 장치(10)는 입력부(11), 전경 추출부(12), 배경 추출부(13) 및 전송부(14)를 포함한다. 입력부(11)는 원본 광 시야각 영상을 입력받고, 또한 원본 광 시야각 영상 중에서 전경을 정의하는 사용자 입력을 입력받는다. 이를 위하여, 입력부(11)는 터치스크린(touchscreen) 또는 다른 상이한 입력 수단을 포함할 수 있다. 사용자는 사각형, 원 등 고정된 형상의 위치 및 크기를 지정하는 방식으로 전경 영역을 지정할 수도 있으며, 또는 자유롭게 외곽선을 지정함으로써 전경 영역을 지정할 수도 있다. 또한, 입력부(11)는 네트워크를 통한 전송 방식으로 다른 장치로부터 원본 광 시야각 영상을 수신하도록 구성될 수도 있으나, 이에 한정되는 것은 아니다.
도 3은 일 실시예에 따른 광 시야각 영상 처리 방법에 의해 처리되는 원본 광 시야각 영상을 나타내는 개념도이다.
도 3을 참조하면, 사용자는 원본 광 시야각 영상(300)을 보면서 원본 광시야각 영상(300) 중 전경에 해당하는 하나 이상의 부분(301, 302, 303)을 지정할 수 있다. 본 명세서에서 광 시야각 영상은 적어도 부분적으로 움직임을 포함하는 동영상을 지칭하며, 사용자는 광 시야각 영상에서 움직임을 보존하고자 하는 부분을 전경으로 지정할 수 있다. 광 시야각 영상에서 전경을 제외한 나머지 영역은 배경으로 정의된다. 예컨대, 실내에서 인물을 촬영한 영상의 경우, 인물 부분이 전경으로 지정될 수 있으며, 나머지 부분은 배경이 된다.
다시 도 1을 참조하면, 전경 추출부(12)는 사용자의 입력에 기초하여 원본 광 시야각 영상으로부터 하나 이상의 전경 영상을 추출할 수 있다. 이때, 광 시야각으로 촬영된 영상은 구형 좌표계에 텍스쳐(texture) 형태로 매핑(mapping)되어 있으며, 전경 추출부(12)는 상기 구형 좌표계에서 각각의 전경 영상이 위치하는 좌표 정보를 함께 추출할 수 있다. 원본 광 시야각 영상은 동영상 형태이므로, 전경 영상의 좌표 정보는 고정된 것이 아니며 시간에 따른 위치 변화 정보를 포함한다.
한편, 배경 추출부(13)는 원본 광 시야각 영상에서 전경 영상을 제외한 나머지 영역을 복수 개의 배경 이미지로 분할할 수 있다. 각각의 배경 이미지는 움직임이 없는 정지 이미지이며, 재생 장치에서 디코딩(decoding) 가능한 크기(예컨대, 4k 해상도)를 가질 수 있다. 전경 영상에 의하여 배경이 가려진 부분이 있을 수 있으므로, 배경 추출부(13)는 원본 광 시야각 영상을 프레임별로 비교하여 특정 프레임에서 가려진 부분은 하나 이상의 다른 프레임의 정보를 이용하여 복원함으로써 가려진 부분이 없는 완전한 배경 이미지를 얻을 수 있다.
도 4는 일 실시예에 따라 원본 광 시야각 영상으로부터 추출된 배경 이미지 및 전경 영상을 나타내는 개념도이다.
도 4를 참조하면, 도 3에 도시된 원본 광 시야각 영상으로부터 하나 이상의 전경 영상(401, 402, 403) 및 복수 개의 배경 이미지(411, 412, 413, 414)가 얻어졌다. 도 4의 예에서는 배경 부분이 4k 해상도를 가진 4개의 배경 이미지로 분할되었으나, 배경 이미지의 개수는 이에 한정되는 것은 아니다. 추후 복원 과정에서 배경 이미지의 개수 및 배열에 따라 복원된 광 시야각 영상의 해상도가 결정된다. 한편, 하나 이상의 전경 영상(401, 402, 403)은 동영상이므로 각 프레임별 이미지를 포함하며, 투명한 배경 위에 오버레이(overlay) 형태로 배열되어 하나의 새로운 동영상으로 구성된다. 새로 구성된 동영상은 추후 재생 장치에서 디코딩 가능한 크기(예컨대, 4k 해상도)를 가질 수 있다.
다시 도 1을 참조하면, 전송부(14)는 이상의 과정에 의해 생성된 하나 이상의 전경 영상 및 복수 개의 배경 이미지를 재생 장치(20)에 전송할 수 있다. 또한, 전송부(14)는 전경 영상의 좌표 정보를 함께 재생 장치(20)에 전송할 수 있다. 전송 장치(10)와 재생 장치(20)가 별개의 장치로 구성될 경우, 전송부(14)는 상기 정보들을 네트워크를 통한 전송 방법으로 송신할 수 있다. 그러나, 전송 장치(10)와 재생 장치(20)가 동일한 장치로 집적화된 경우, 전송부(14)에 의한 전송 과정이란 메모리 등 일시적 및/또는 비일시적 기억 매체를 통해 다른 프로세서에서 활용 가능하도록 데이터를 제공하는 것을 의미하는 것일 수도 있다.
일 실시예에서, 재생 장치(20)는 수신부(21), 복원부(22) 및 재생부(23)를 포함한다. 수신부(21)는 전송 장치(10)의 전송부(14)로부터 하나 이상의 전경 영상 및 복수 개의 배경 이미지를 수신할 수 있다. 도 4를 참조하여 전술한 것과 같이, 하나 이상의 전경 영상은 투명한 배경 위에 오버레이 형태로 배열된 하나의 동영상 패키지의 형태로 수신될 수도 있다. 또한, 수신부(21)는 각 전경 영상의 좌표 정보를 함께 수신할 수 있다.
복원부(22)는, 수신부(21)에 의해 수신된 하나 이상의 전경 영상 및 복수 개의 배경 이미지를 이용하여 광 시야각 영상을 복원한다. 구체적으로, 복원부(22)에서는 복수 개의 배경 이미지를 이어 붙임으로써 광 시야각 배경 이미지를 생성한다. 이러한 광 시야각 배경 이미지를 추후 구면 좌표계에 텍스쳐 형태로 매핑될 수 있다. 다음으로, 복원부(22)는 하나 이상의 전경 영상이 상기 광 시야각 배경 이미지상에서 보여지도록 렌더링함으로써, 광 시야각 영상을 복원한다. 도 4를 참조하여 전술한 것과 같이, 하나 이상의 전경 영상은 재생 장치(20)에서 디코딩 가능한 해상도를 가지는 동영상 형태로 전송되며, 복원부(22)에서는 전경 영상으로 이루어진 동영상을 디코딩하면서 이의 좌표 정보를 이용하여 각 전경 영상을 구면 좌표계의 해당 위치에 매핑하여 복원된 광 시야각 영상을 생성한다.
도 5는 배경 이미지 및 전경 영상을 이용하여 재생 장치에서 복원된 광 시야각 영상을 나타내는 개념도이다.
도 5를 참조하면, 4k 해상도를 가지는 배경 이미지(411, 412, 413, 414) 4 개가 구면 좌표계에 조합되며, 구면 좌표계상에 전경 영상(401, 402, 403)이 배치되어 초고해상도 광 시야각 영상을 구성하였다. 따라서, 본 실시예에 의하면 종래의 가상 현실(Virtual Reality) 기기에서 디코딩 한계가 통상 4k 였던 제약을 극복하고, 그보다 높은 해상도, 예컨대, 11k 등 초고해상도를 가지는 광 시야각 영상을 구현할 수 있는 이점이 있다.
이상에서 설명한 실시예들에서, 전송 장치(10)는 고정 이미지의 형태로 배경 이미지를 구성하였다. 그러나 다른 실시예에서는, 각각의 배경 이미지가 순차적으로 나열된 일련의 이미지들(또는, 이미지 시퀀스(image sequence))을 포함할 수도 있다. 그러나, 배경 이미지가 전경 영상과 동일하게 완전한 동영상 형태로 구현된다면 재생 장치(20)의 디코딩 한계를 넘게 될 것이므로, 이 경우 배경 이미지를 구성하는 이미지 시퀀스는 적어도 비트레이트(bit rate) 및/또는 프레임레이트(frame rate)가 전경 영상에 비하여 낮도록 구성되어야 한다.
도 6은 일 실시예에 따른 광 시야각 영상 전송 방법의 각 단계를 나타내는 순서도이다. 예컨대, 도 6에 도시된 광 시야각 영상 전송 방법은 도 1 내지 도 5를 참조하여 전술한 실시예의 전송 장치(10)를 이용하여 수행될 수도 있다.
도 6을 참조하면, 먼저 원본 광 시야각 영상에서 전경을 정의하는 사용자 입력을 수신할 수 있다(S11). 다음으로, 수신된 사용자 입력에 기초하여 원본 광 시야각 영상으로부터 하나 이상의 전경 영상을 추출할 수 있다(S12). 이때, 원본 광 시야각 영상에 대응되는 구면 좌표계에서 각 전경 영상의 위치한 좌표 정보 또한 추출할 수 있다.
다음으로, 원본 광 시야각 영상에서 전경 영상을 제외한 영역을 분할하여 복수 개의 배경 이미지를 추출할 수 있다(S13). 각각의 배경 이미지는 추후 재생 장치에서 디코딩 가능한 크기(예컨대, 4k 해상도)를 가질 수 있다. 전경 영상에 의하여 배경이 가려진 부분이 있을 경우에는, 원본 광 시야각 영상을 프레임별로 비교하여 특정 프레임에서 가려진 부분은 하나 이상의 다른 프레임의 정보를 이용하여 복원함으로써 완전한 배경 이미지를 얻을 수 있다. 각각의 배경 이미지는 고정 이미지일 수 있으나, 실시예에 따라서는 각각의 배경 이미지를 전경 영상에 비해 낮은 비트레이트 및/또는 프레임레이트를 가지는 이미지 시퀀스로 할 수도 있다.
다음으로, 하나 이상의 전경 영상 및 복수 개의 배경 이미지를 재생 장치에 전송할 수 있다(S14). 이때, 하나 이상의 전경 영상은 투명한 배경 위에 오버레이 형태로 배열되며 재생 장치에서 디코딩 가능한 크기(예컨대, 4k 해상도)를 가지는 동영상 형태로 구성되어 전송될 수 있다. 또한, 각각의 전경 영상의 구면 좌표계상의 좌표 정보가 함께 재생 장치에 전송될 수 있다.
도 7은 일 실시예에 따른 광 시야각 영상 재생 방법의 각 단계를 나타내는 순서도이다. 예컨대, 도 7에 도시된 광 시야각 영상 재생 방법은 도 1 내지 도 5를 참조하여 전술한 실시예의 재생 장치(20)를 이용하여 수행될 수도 있다.
도 7을 참조하면, 먼저 복수 개의 배경 이미지, 및 하나 이상의 전경 영상을 수신할 수 있다(S21). 하나 이상의 전경 영상은 투명한 배경 위에 오버레이 형태로 배열되며 재생 장치에서 디코딩 가능한 크기(예컨대, 4k 해상도)를 가지는 동영상 형태로 수신될 수 있다. 이때, 각각의 전경 영상이 구면 좌표계에서 배치될 좌표 정보가 함께 수신될 수 있다.
다음으로, 복수 개의 배경 이미지를 결합하여 광 시야각 배경 이미지 생성할 수 있다(S22). 배경 이미지는 고정 이미지일 수 있으나, 실시예에 따라서는 낮은 비트레이트 및/똔느 프레임레이트를 가진 이미지 시퀀스일 수도 있고, 이 경우 배경 이미지로부터 생성된 광 시야각 배경 이미지 역시 이미지 시퀀스로 구성될 수 있다.
다음으로, 광 시야각 배경 이미지상에 하나 이상의 전경 영상을 배치하여 광 시야각 영상을 복원할 수 있다(S23). 이는, 전술한 광 시야각 배경 이미지를 구면 좌표계상에 매핑하고 그 위에 오버레이 형태로 하나 이상의 전경 영상이 보여지도록 복원된 광 시야각 영상을 렌더링하는 것을 의미한다. 이때, 재생 장치는 각 전경 영상의 구면 좌표계상의 좌표 정보를 수신할 수 있으므로, 해당 좌표 정보를 이용하여 각 전경 영상이 원본에서와 동일한 위치에 배치되도록 복원된 광 시야각 영상을 생성할 수 있다.
마지막으로, 복원된 광 시야각 영상을 사용자가 볼 수 있도록 표시할 수 있다(S24). 이는, 재생 장치에 집적되어 구비되었거나 또는 재생 장치로부터 영상 데이터를 수신하도록 구성된 디스플레이 수단에 광 시야각 영상을 표시하는 것을 지칭한다. 이상의 과정을 통하여, 종래의 기기에서와 같은 디코딩 한계로 인한 해상도의 제약을 극복하고, 11k 등 초고해상도를 가지는 광 시야각 영상을 사용자가 감상하도록 할 수 있다.
이상에서 설명한 실시예들에 따른 광 시야각 영상 전송 및 재생 방법들은 적어도 부분적으로 컴퓨터 프로그램으로 구현되어, 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해서 정해져야 할 것이다.
실시예들은 광 시야각 영상 처리 시스템, 광 시야각 영상의 전송 및 재생 방법 및 이를 위한 컴퓨터 프로그램에 대한 것으로, 보다 상세하게는 360도 파노라마(panorama) 영상과 같은 광 시야각 영상에서 전경과 후경을 분리 전송 후 재생 장치에서 분리된 전경과 후경을 조합하여 복원, 재생하는 기술에 대한 것이다.

Claims (15)

  1. 원본 광 시야각 영상으로부터 복수 개의 배경 이미지 및 하나 이상의 전경 영상을 추출하고, 추출된 상기 복수 개의 배경 이미지 및 상기 하나 이상의 전경 영상을 전송하도록 구성된 전송 장치; 및
    상기 전송 장치로부터 상기 복수 개의 배경 이미지 및 상기 하나 이상의 전경 영상을 수신하고, 상기 복수 개의 배경 이미지를 결합하여 광 시야각 배경 이미지를 생성하며, 상기 광 시야각 배경 이미지상에 상기 하나 이상의 전경 영상이 보여지도록 복원된 광 시야각 영상을 생성하고, 상기 복원된 광 시야각 영상을 재생하도록 구성된 재생 장치를 포함하는 광 시야각 영상 처리 시스템.
  2. 제 1항에 있어서,
    상기 전송 장치는, 상기 원본 광 시야각 영상에 대응되는 구면 좌표계상에서의 상기 하나 이상의 전경 영상의 좌표 정보를 추출하도록 더 구성되며,
    상기 재생 장치는, 상기 전송 장치부터 상기 좌표 정보를 수신하고, 구면 좌표계에 매핑된 상기 광 시야각 배경 이미지상에서, 상기 하나 이상의 전경 영상이 상기 좌표 정보에 대응되는 위치에 보여지도록 상기 복원된 광 시야각 영상을 생성하도록 더 구성되는 광 시야각 영상 처리 시스템.
  3. 제 1항에 있어서,
    상기 복수의 배경 이미지 각각은 순차적으로 배열된 복수 개의 이미지를 포함하는 이미지 시퀀스이며, 상기 이미지 시퀀스의 비트레이트 또는 프레임 레이트 중 하나 이상은 상기 전경 영상에 비해 낮은 광 시야각 영상 처리 시스템.
  4. 원본 광 시야각 영상에서 전경이 위치하는 영역을 정의하는 사용자 입력을 수신하도록 구성된 입력부;
    상기 사용자 입력에 기초하여, 상기 원본 광 시야각 영상으로부터 하나 이상의 전경 영상을 추출하도록 구성된 전경 추출부;
    상기 원본 광 시야각 영상으로부터 상기 하나 이상의 전경 영상을 제외한 영역을 분할하여 복수 개의 배경 이미지를 추출하도록 구성된 배경 추출부; 및
    상기 복수 개의 배경 이미지 및 상기 하나 이상의 전경 영상을 재생 장치에 제공하도록 구성된 전송부를 포함하는 광 시야각 영상 전송 장치.
  5. 제 4항에 있어서,
    상기 전경 추출부는, 상기 원본 광 시야각 영상에 대응되는 구면 좌표계상에서의 상기 하나 이상의 전경 영상의 좌표 정보를 추출하도록 더 구성되며,
    상기 전송부는, 상기 좌표 정보를 상기 재생 장치에 제공하도록 더 구성된 광 시야각 영상 전송 장치.
  6. 제 4항에 있어서,
    상기 복수의 배경 이미지 각각은 순차적으로 배열된 복수 개의 이미지를 포함하는 이미지 시퀀스이며, 상기 이미지 시퀀스의 비트레이트 또는 프레임 레이트 중 하나 이상은 상기 전경 영상에 비해 낮은 광 시야각 영상 전송 장치.
  7. 원본 광 시야각 영상으로부터 추출된 복수 개의 배경 이미지 및 하나 이상의 전경 영상을 수신하도록 구성된 수신부;
    상기 복수 개의 배경 이미지를 결합하여 광 시야각 배경 이미지를 생성하며, 구면 좌표계상에 매핑된 상기 광 시야각 배경 이미지상에 상기 하나 이상의 전경 영상이 보여지도록 복원된 광 시야각 영상을 생성하도록 구성된 복원부; 및
    상기 복원된 광 시야각 영상을 표시하도록 구성된 재생부를 포함하는 광 시야각 영상 재생 장치.
  8. 제 7항에 있어서,
    상기 수신부는, 상기 원본 광 시야각 영상에 대응되는 구면 좌표계상에서의 상기 하나 이상의 전경 영상의 좌표 정보를 수신하도록 더 구성되며,
    상기 복원부는, 상기 하나 이상의 전경 영상이 상기 좌표 정보에 대응되는 위치에 보여지도록 상기 복원된 광 시야각 영상을 생성하도록 더 구성된 광 시야각 영상 재생 장치.
  9. 전송 장치가, 원본 광 시야각 영상에서 전경이 위치하는 영역을 정의하는 사용자 입력을 수신하는 단계;
    상기 전송 장치가, 상기 사용자 입력에 기초하여, 상기 원본 광 시야각 영상으로부터 하나 이상의 전경 영상을 추출하는 단계;
    상기 전송 장치가, 상기 원본 광 시야각 영상으로부터 상기 하나 이상의 전경 영상을 제외한 영역을 분할하여 복수 개의 배경 이미지를 추출하는 단계; 및
    상기 전송 장치가, 상기 복수 개의 배경 이미지 및 상기 하나 이상의 전경 영상을 재생 장치에 제공하는 단계를 포함하는 광 시야각 영상 전송 방법.
  10. 제 9항에 있어서,
    상기 하나 이상의 전경 영상을 추출하는 단계는, 상기 원본 광 시야각 영상에 대응되는 구면 좌표계상에서의 상기 하나 이상의 전경 영상의 좌표 정보를 추출하는 단계를 포함하며,
    상기 좌표 정보를 상기 재생 장치에 제공하는 단계를 더 포함하는 광 시야각 영상 전송 방법.
  11. 제 9항에 있어서,
    상기 복수의 배경 이미지 각각은 순차적으로 배열된 복수 개의 이미지를 포함하는 이미지 시퀀스이며, 상기 이미지 시퀀스의 비트레이트 또는 프레임 레이트 중 하나 이상은 상기 전경 영상에 비해 낮은 광 시야각 영상 전송 방법.
  12. 원본 광 시야각 영상으로부터 추출된 복수 개의 배경 이미지 및 하나 이상의 전경 영상을 재생 장치에서 수신하는 단계;
    상기 재생 장치가, 상기 복수 개의 배경 이미지를 결합하여 광 시야각 배경 이미지를 생성하는 단계;
    상기 재생 장치가, 구면 좌표계상에 매핑된 상기 광 시야각 배경 이미지상에 상기 하나 이상의 전경 영상이 보여지도록 복원된 광 시야각 영상을 생성하는 단계; 및
    상기 복원된 광 시야각 영상을 상기 재생 장치상에 표시하는 단계를 포함하는 광 시야각 영상 재생 방법.
  13. 제 12항에 있어서,
    상기 수신하는 단계는, 상기 원본 광 시야각 영상에 대응되는 구면 좌표계상에서의 상기 하나 이상의 전경 영상의 좌표 정보를 수신하는 단계를 포함하며,
    상기 복원된 광 시야각 영상을 생성하는 단계는, 상기 하나 이상의 전경 영상이 상기 좌표 정보에 대응되는 위치에 보여지도록 상기 복원된 광 시야각 영상을 생성하는 단계를 포함하는 광 시야각 영상 재생 방법.
  14. 하드웨어와 결합되어,
    원본 광 시야각 영상에서 전경이 위치하는 영역을 정의하는 사용자 입력을 수신하는 단계;
    상기 사용자 입력에 기초하여, 상기 원본 광 시야각 영상으로부터 하나 이상의 전경 영상을 추출하는 단계;
    상기 원본 광 시야각 영상으로부터 상기 하나 이상의 전경 영상을 제외한 영역을 분할하여 복수 개의 배경 이미지를 추출하는 단계; 및
    상기 복수 개의 배경 이미지 및 상기 하나 이상의 전경 영상을 재생 장치에 제공하는 단계를 실행하도록 컴퓨터로 판독 가능한 매체에 저장된 컴퓨터 프로그램.
  15. 하드웨어와 결합되어,
    원본 광 시야각 영상으로부터 추출된 복수 개의 배경 이미지 및 하나 이상의 전경 영상을 수신하는 단계;
    상기 복수 개의 배경 이미지를 결합하여 광 시야각 배경 이미지를 생성하는 단계;
    구면 좌표계상에 매핑된 상기 광 시야각 배경 이미지상에 상기 하나 이상의 전경 영상이 보여지도록 복원된 광 시야각 영상을 생성하는 단계; 및
    상기 복원된 광 시야각 영상을 표시하는 단계를 실행하도록 컴퓨터로 판독 가능한 매체에 저장된 컴퓨터 프로그램.
PCT/KR2017/002052 2016-02-29 2017-02-24 광 시야각 영상 처리 시스템, 광 시야각 영상의 전송 및 재생 방법, 및 이를 위한 컴퓨터 프로그램 WO2017150847A2 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/078,614 US20190052868A1 (en) 2016-02-29 2017-02-24 Wide viewing angle video processing system, wide viewing angle video transmitting and reproducing method, and computer program therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0024041 2016-02-29
KR1020160024041A KR101773929B1 (ko) 2016-02-29 2016-02-29 광 시야각 영상 처리 시스템, 광 시야각 영상의 전송 및 재생 방법, 및 이를 위한 컴퓨터 프로그램

Publications (2)

Publication Number Publication Date
WO2017150847A2 true WO2017150847A2 (ko) 2017-09-08
WO2017150847A3 WO2017150847A3 (ko) 2018-08-02

Family

ID=59744136

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/002052 WO2017150847A2 (ko) 2016-02-29 2017-02-24 광 시야각 영상 처리 시스템, 광 시야각 영상의 전송 및 재생 방법, 및 이를 위한 컴퓨터 프로그램

Country Status (3)

Country Link
US (1) US20190052868A1 (ko)
KR (1) KR101773929B1 (ko)
WO (1) WO2017150847A2 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112887643A (zh) * 2021-01-27 2021-06-01 北京翔云颐康科技发展有限公司 录制视频的方法、装置、存储介质及电子装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4355535B2 (ja) 2003-08-07 2009-11-04 株式会社岩根研究所 ３６０度画像変換処理装置
GB2436921A (en) * 2006-04-06 2007-10-10 British Broadcasting Corp Methods and apparatus providing central, primary displays with surrounding display regions
US8264542B2 (en) * 2007-12-31 2012-09-11 Industrial Technology Research Institute Methods and systems for image processing in a multiview video system
WO2010075726A1 (zh) * 2008-12-30 2010-07-08 华为终端有限公司 立体全景视频流生成方法、设备及视频会议方法和设备
JP5288621B2 (ja) * 2009-06-01 2013-09-11 パナソニック株式会社 画像符号化伝送装置及び画像伝送方法
US8982180B2 (en) * 2011-03-31 2015-03-17 Fotonation Limited Face and other object detection and tracking in off-center peripheral regions for nonlinear lens geometries
GB2499635B (en) * 2012-02-23 2014-05-14 Canon Kk Image processing for projection on a projection screen
CN103475882B (zh) * 2013-09-13 2017-02-15 北京大学 监控视频的编码、识别方法和监控视频的编码、识别系统
GB2524478A (en) * 2014-03-20 2015-09-30 Nokia Technologies Oy Method, apparatus and computer program product for filtering of media content
KR101540113B1 (ko) * 2014-06-18 2015-07-30 재단법인 실감교류인체감응솔루션연구단 실감 영상을 위한 영상 데이터를 생성하는 방법, 장치 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
KR101946019B1 (ko) * 2014-08-18 2019-04-22 삼성전자주식회사 파노라믹 동영상을 생성하는 동영상 처리 장치 및 그 방법
US9875745B2 (en) * 2014-10-07 2018-01-23 Qualcomm Incorporated Normalization of ambient higher order ambisonic audio data

Also Published As

Publication number Publication date
KR101773929B1 (ko) 2017-09-01
WO2017150847A3 (ko) 2018-08-02
US20190052868A1 (en) 2019-02-14

Similar Documents

Publication Publication Date Title
US10645369B2 (en) Stereo viewing
WO2019194522A1 (ko) 중복 포인트 처리 방법 및 장치
WO2018012888A1 (en) Method and system for interactive transmission of panoramic video
WO2018169367A1 (en) Method and apparatus for packaging and streaming of virtual reality media content
JP2016527791A (ja) 画像処理方法及び装置
WO2018101652A1 (ko) 실감형 미디어 영상을 제공하는 장치
KR20190140396A (ko) 화상 처리장치, 방법 및 기억매체
WO2017043795A1 (ko) 가상현실영상 전송방법, 재생방법 및 이를 이용한 프로그램
CN107197135B (zh) 一种视频生成方法及视频生成装置
CN115639976B (zh) 一种虚拟现实内容多模式多角度同步展示方法及系统
JP2019103067A (ja) 情報処理装置、記憶装置、画像処理装置、画像処理システム、制御方法、及びプログラム
CN112752085A (zh) 基于人眼跟踪的裸眼3d视频播放系统及方法
WO2023003803A1 (en) Virtual reality systems and methods
CN113382224B (zh) 一种基于全息沙盘的交互手柄展示方法及装置
WO2017150847A2 (ko) 광 시야각 영상 처리 시스템, 광 시야각 영상의 전송 및 재생 방법, 및 이를 위한 컴퓨터 프로그램
WO2018109265A1 (en) A method and technical equipment for encoding media content
WO2018109266A1 (en) A method and technical equipment for rendering media content
WO2019124802A1 (ko) 개별 영상신호 출력을 이용한 매핑 유사홀로그램 제공 장치 및 방법
WO2019194576A1 (en) Methods and apparatus for determining rotation angle for spherical multimedia content
US20220232201A1 (en) Image generation system and method
US11688124B2 (en) Methods and apparatus rendering images using point clouds representing one or more objects
US20230008125A1 (en) Augmenting a view of a real-world environment with a view of a volumetric video object
WO2022230253A1 (ja) 情報処理装置及び情報処理方法
WO2020111471A1 (ko) 증강현실을 위한 모바일 홀로그램 디스플레이 단말기
KR20170059879A (ko) 입체 영상 촬영 장치

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17760251

Country of ref document: EP

Kind code of ref document: A2

122 Ep: pct application non-entry in european phase

Ref document number: 17760251

Country of ref document: EP

Kind code of ref document: A2