WO2020085571A1 - 360 vr 영상을 실시간으로 생성하는 영상변환장치 및 시스템 - Google Patents

360 vr 영상을 실시간으로 생성하는 영상변환장치 및 시스템 Download PDF

Info

Publication number
WO2020085571A1
WO2020085571A1 PCT/KR2018/014569 KR2018014569W WO2020085571A1 WO 2020085571 A1 WO2020085571 A1 WO 2020085571A1 KR 2018014569 W KR2018014569 W KR 2018014569W WO 2020085571 A1 WO2020085571 A1 WO 2020085571A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
frame
video
camera
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2018/014569
Other languages
English (en)
French (fr)
Inventor
박우출
장준환
김용화
양진욱
윤상필
김현욱
조은경
최민수
이준석
양재영
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea Electronics Technology Institute
Original Assignee
Korea Electronics Technology Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korea Electronics Technology Institute filed Critical Korea Electronics Technology Institute
Priority to US16/713,696 priority Critical patent/US10880475B2/en
Publication of WO2020085571A1 publication Critical patent/WO2020085571A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more two-dimensional [2D] image sensors

Definitions

  • the present invention relates to an image processing technology, and more particularly, to an image conversion apparatus and system for generating a 360 VR image in real time that converts a plurality of images into 360 VR images that can be viewed in all directions.
  • VR Virtual Reality
  • ICT Information and Communications Technologies
  • IT Information Technology
  • a 360 VR video technology has been developed to connect a video captured at multiple viewpoints to convert a panoramic video for a multi-view, and change the viewpoint according to the user's intention to check the video in order to realize content for VR experience.
  • the currently developed 360 VR video technology has a problem in that it is impossible to implement a panorama image in real time because the calculation time required to convert a high-capacity image into a 360 VR image is prolonged.
  • An object of the present invention is to provide an image conversion apparatus and system for generating a 360 VR image in real time by processing a plurality of images in real time to generate 360 VR images that can be viewed in all directions.
  • an image conversion device for generating a 360 VR image in real time is input from an input unit that receives a plurality of image information having continuity shot from an image photographing apparatus having a plurality of cameras and inputs from the input unit It includes a control unit for capturing a plurality of pieces of image information, encoding the captured image information in a parallel structure, and stitching the encoded image information to generate a 360 VR image.
  • control unit a frame capture unit for recording the first frame captured for each camera among the plurality of video information, encodes the recorded raw frame (raw frame) for each specific camera, and muxing the encoded raw frame (muxing) It characterized in that it comprises a frame encoder for encoding the video information and the video encoding unit for calibrating the encoded video information, stitching the calibrated video information to generate a 360 VR video.
  • the frame capture unit is characterized in that the first frame for each camera is recorded using a multi-queue recording (Recording Concurrent Queue).
  • the frame capture unit captures the frame of the video information using a capture card
  • the frame encoder unit encodes the low frame using an encoder
  • uses FFMPEG to mux the encoded low frame. Is done.
  • the frame encoder unit starts encoding the corresponding low frame and controls to start recording the low frame for the new video information in a parallel structure.
  • the frame encoder unit includes a plurality of encoders, and encodes a low frame corresponding to a specific camera for each of the plurality of encoders, classifies the encoded low frames for each camera, and muxes each of the classified low frames. do.
  • the plurality of encoders may include: a first encoder for encoding low frames corresponding to the first camera and the fourth camera among the low frames, and a first encoder for encoding low frames corresponding to the second camera and the fifth camera among the low frames. And a third encoder that encodes a low frame corresponding to the third camera and the sixth camera among the two encoders and the low frame.
  • the image stitching unit is characterized in that the encoded video information is continuously connected to calibrate to be a panoramic image.
  • the image conversion system receives an image photographing apparatus for generating a plurality of image information having continuity for 360 ° and a plurality of image information generated from the image photographing apparatus, and receives the input multiple image information in real time. It includes a video conversion device to generate a 360 VR image by processing the image, wherein the video conversion device, and captures a plurality of image information input from the input unit and the input unit receiving the plurality of image information, and the captured image And a control unit that encodes information in a parallel structure and stitches the encoded image information to generate a 360 VR image.
  • the image photographing apparatus includes a plurality of cameras, a camera unit for photographing a plurality of images by using the plurality of cameras provided, and generating image information for the plurality of photographed images, and the plurality of cameras Is fixed to a certain angle, characterized in that it comprises a support for supporting the plurality of cameras to take an image in parallel with the ground surface.
  • the image conversion apparatus and system for generating a 360 VR image in real time of the present invention can generate a 360 VR image in real time for a plurality of images by processing the encoding process and the stitching process in parallel. Due to this, the user can check a high-definition 360 VR video in real time, thereby increasing the immersion of the content.
  • FIG. 1 is a configuration diagram for explaining an image conversion system according to an embodiment of the present invention.
  • FIG. 2 is a view for explaining an image photographing apparatus according to an embodiment of the present invention.
  • FIG. 3 is a block diagram illustrating an image conversion device according to an embodiment of the present invention.
  • FIG. 4 is a block diagram illustrating the control unit of FIG. 3.
  • FIG. 5 is a view for explaining a process performed by the image conversion system according to an embodiment of the present invention.
  • FIG. 6 is a view for explaining a frame capture process according to an embodiment of the present invention.
  • FIG. 7 is a diagram for explaining a frame encoding process according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a frame encoding process of FIG. 7 as a time block.
  • FIG. 9 is a view for explaining an image stitching process according to an embodiment of the present invention.
  • FIG. 10 is a view showing the image stitching process of FIG. 9 as a time block.
  • FIG. 11 is a view for explaining a process of generating a 360 VR image according to an embodiment of the present invention.
  • FIG. 1 is a configuration diagram for explaining an image conversion system according to an embodiment of the present invention
  • Figure 2 is a view for explaining an image photographing apparatus according to an embodiment of the present invention
  • Figure 3 is an embodiment of the present invention
  • FIG. 4 is a block diagram for explaining the image conversion apparatus
  • FIG. 4 is a block diagram for explaining the controller of FIG.
  • Fig. 2 (a) is a perspective view showing a state of looking at the imaging device from one direction
  • Fig. 2 (b) is a perspective view showing a state of looking at the imaging device from another direction.
  • the image conversion system 300 generates a 360 VR image that can be viewed in all directions by processing a plurality of images in real time.
  • the 360 VR video may be a 4K stereo video.
  • the image conversion system 300 includes an image conversion device 100 and an image photographing device 200.
  • the image photographing apparatus 200 generates a plurality of image information having continuity for 360 °.
  • the image photographing apparatus 200 includes a camera unit 210 and a support unit 230.
  • the camera unit 210 includes a plurality of cameras 211, 212, 213, 214, 215, and 216.
  • the camera unit 210 photographs a plurality of images using a plurality of cameras 211, 212, 213, 214, 215, and 216, and generates image information for the plurality of images.
  • the plurality of cameras 211, 212, 213, 214, 215, and 216 are made of the same type of camera, and preferably may be a camera equipped with a full frame image sensor.
  • the support unit 230 serves to fix and support the camera unit 210.
  • the support unit 230 fixes and supports the plurality of cameras 211, 212, 213, 214, 215, and 216 at an angle. That is, the support 230 includes a first camera 211, a second camera 212, a third camera 213, a fourth camera 214, a fifth camera 215, and a sixth camera 216 360 ° Keep it at an angle so that you can shoot.
  • the support 230 may be horizontally adjusted so that a plurality of cameras 211, 212, 213, 214, 215, and 216 are parallel to the ground surface and take an image.
  • the support unit 230 is fixed to a plurality of cameras 211, 212, 213, 214, 215, 216 at a constant angle on a round disk, and is fixed to the ground surface through a support having a certain height.
  • the support may be a tripod capable of withstanding the load on the plurality of cameras 211, 212, 213, 214, 215, 216.
  • the number of cameras of the camera unit 210 is limited to six, it is limited to this and can be adjusted according to the environment used.
  • the image photographing apparatus 100 processes a plurality of image information generated from the camera unit 200 in real time to generate a 360 VR image.
  • the image photographing apparatus 100 includes an input unit 10 and a control unit 30, and further includes a storage unit 50.
  • the input unit 10 receives a plurality of image information having continuity photographed from the camera unit 200.
  • the input unit 10 receives image information generated by each camera 211, 212, 213, 214, 215, 216 separately.
  • the control unit 30 captures a plurality of image information input from the input unit 10 and encodes the captured image information in a parallel structure.
  • the controller 30 stitches the encoded image information to generate a 360 VR image.
  • the control unit 30 includes a frame capture unit 31, a frame encoder unit 32 and an image stitching unit 33.
  • the frame capture unit 31 captures a frame by recording the first frame captured for each camera among a plurality of video information. At this time, the frame capture unit 31 may capture a frame of image information using a capture card. The frame capture unit 31 records the first frame for each camera using multi-queue recording.
  • the frame encoder unit 32 encodes a raw frame recorded from the frame capture unit 31 for each camera, and muxes the encoded low frame.
  • video information is encoded by combining encoding and muxing processes.
  • the frame encoder unit 32 may encode a low frame using an encoder and mux the low frame encoded using FFMPEG.
  • the encoder is Nvidia HW Encoder
  • FFMPEG is a computer program that records and converts digital audio streams and video streams in various types.
  • the frame encoder 32 encodes the existing encoding process and image information in a parallel structure.
  • the frame encoder unit 32 starts encoding for the corresponding low frame and controls to start recording the low frame for the new video information in a parallel structure.
  • the frame encoder 32 includes a plurality of encoders, and a plurality of encoders perform operations in a parallel structure. Accordingly, the frame encoder unit 32 performs image processing for the next sequence before image processing for one sequence is completed, thereby reducing computation time and at the same time distributing computation without being concentrated on one encoder. By giving, it is possible to prevent the overload due to the calculation.
  • the image stitching unit 33 calibrates the encoded image information from the frame encoder unit 32.
  • the image stitching unit 33 calibrates such that the encoded image information is continuously connected to become one panoramic image.
  • the image stitching unit 33 stitches the calibrated image information to generate a 360 VR image.
  • the image stitching unit 33 may perform stitching by further using an config (extensible markup language) XML file.
  • the configuration XML file includes a calibration configuration XML file, a video configuration XML file, and a stitcher configuration XML file.
  • the storage unit 50 stores a plurality of image information input from the image photographing apparatus 200.
  • the storage unit 50 stores 360 VR images generated from the control unit 30.
  • the storage unit 50 stores a program for generating a 360 VR image by image processing a plurality of image information.
  • the storage unit 70 includes a flash memory type, a hard disk type, a media card micro type, and a card type memory (for example, SD or XD memory, etc.), RAM (Random Access Memory, RAM), SRAM (Static Random Access Memory), ROM (Read-Only Memory, ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, It may include at least one storage medium among magnetic disks and optical disks.
  • FIG. 5 is a diagram for explaining a process of performing an image conversion system according to an embodiment of the present invention
  • FIG. 6 is a view for explaining a frame capture process according to an embodiment of the present invention
  • FIG. 7 is a view for implementing the present invention 8 is a view for explaining a frame encoding process according to an example
  • FIG. 8 is a view showing a frame encoding process of FIG. 7 as a time block
  • FIG. 9 is a view for explaining a video stitching process according to an embodiment of the present invention
  • FIG. 10 is a diagram illustrating a video stitching process of FIG. 9 as a time block
  • FIG. 11 is a view for explaining a process of generating a 360 VR video according to an embodiment of the present invention.
  • the image conversion system 300 may generate a 360 VR image in real time for a plurality of images by processing the encoding process and the stitching process in a parallel structure. Due to this, the user can check a high-definition 360 VR video in real time, thereby increasing the immersion of the content.
  • the image conversion system 300 may generate a 360 VR image in the following process.
  • the camera unit 210 captures an image through a plurality of cameras, and inputs the captured multiple images to the frame capture unit 31.
  • the frame capture unit 31 captures a frame for an image captured by each camera based on the input multiple images, and transmits the captured frame to the frame encoder unit 32.
  • the frame encoder unit 32 encodes the captured frame, and transmits the encoded frame to the image stitching unit 33.
  • the image stitching unit 33 stitches the encoded frame to generate a 360 VR image, and transmits the generated 360 VR image to the storage unit 50.
  • the storage unit 50 stores the transmitted 360 VR image.
  • the camera unit 210 captures an image through a plurality of cameras, and uses the HDMI (High-Definition Multimedia Interface) cable and a 3G-SDI (Serial digital interface) cable to frame capture unit 31. send. At this time, the captured image is individually transmitted for each camera, and digitized through a converter 250 provided between an HDMI cable and a 3G-SDI cable.
  • HDMI High-Definition Multimedia Interface
  • 3G-SDI Serial digital interface
  • the frame capture unit 31 captures the first frame among the images captured for each camera. That is, the frame capture unit 31 frames the image information generated from the first camera 211 through the first capture card, and captures the image information generated from the second camera 212 through the second capture card. And, the image information generated from the third camera 213 is frame-captured through the third capture card, and the image information generated from the fourth camera 214 is frame-captured through the fourth capture card, and the fifth camera ( 215) the frame is captured through the fifth capture card.
  • the frame capture unit 31 records the first frame captured, and transmits the recorded low frame to the frame encoder unit 32. At this time, the frame capture unit 31 may record using multi-queue recording.
  • the frame encoder unit 32 encodes the recorded low frame for each specific camera.
  • the frame encoder unit 32 includes a plurality of encoders 41, 42, 43.
  • the plurality of encoders 41, 42, and 43 encodes a low frame corresponding to a specific camera for each encoder to classify the encoded low frames for each camera.
  • the classified low frame is muxed through FFMPEG and image information is encoded.
  • the first encoder 41 encodes the low frames corresponding to the first camera and the fourth camera among the low frames
  • the second encoder 42 corresponds to the low frames corresponding to the second camera and the fifth camera among the low frames.
  • the frame is encoded
  • the third encoder 43 may encode the low frames corresponding to the third camera and the sixth camera among the low frames.
  • the encoded low frames are classified and muxed for each camera through FFMPEG.
  • the frame encoder unit 32 may encode a low frame using an encoder, mux the low frame encoded using FFMPEG, and start recording the corresponding low frame when recording of the low frame for video information is completed. At the same time, it can be controlled to start recording of low frames for new video information in a parallel structure.
  • the frame encoder unit 32 may perform encoding in a parallel structure.
  • the frame encoder unit 32 transmits the encoded image information to the image stitching unit 33. Also, the frame encoder unit 32 may allocate and store the encoded raw frames to the storage unit 70.
  • the image stitching unit 33 calibrates the encoded image information from the frame encoder unit 32 and stitches the calibrated image information to generate a 360 VR image.
  • the image stitching unit 33 includes a stitching calibrator 44 and a stitcher 45.
  • the stitching calibration 44 calibrates such that the encoded image information is continuously connected to form one panoramic image.
  • the stitching calibration 44 generates a calibration configuration XML file using the Camera Rig configuration XML file and six calibration JPEG pictures.
  • the stitcher 33 performs stitching using a calibration configuration XML file, an image configuration XML file, a stitcher configuration XML file, and six stitching images generated from the stitching calibration 44.
  • the image conversion system 300 encodes a 4K stereo 360 VR image through a stitching algorithm (FIG. 11B) that encodes and stitches a low frame (FIG. 11A) for an image taken from the image capturing apparatus 200. It can be generated in real time (Fig. 11c).
  • first camera 212 second camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 360 VR 영상을 실시간으로 생성하는 영상변환장치 및 시스템이 개시된다. 본 발명의 영상변환장치는 복수의 카메라를 구비하는 영상촬영장치로부터 촬영된 연속성을 가지는 복수의 영상정보를 입력받는 입력부 및 입력부로부터 입력된 복수의 영상정보를 캡쳐하고, 캡쳐된 영상정보를 병렬구조로 인코딩하며, 인코딩된 영상정보를 스티칭(stitching)하여 360 VR 영상을 생성하는 제어부를 포함한다.

Description

360 VR 영상을 실시간으로 생성하는 영상변환장치 및 시스템
본 발명은 영상처리 기술에 관한 것으로, 더욱 상세하게는 복수의 영상을 전방향으로 확인 가능한 360 VR 영상으로 실시간 변환하는 360 VR 영상을 실시간으로 생성하는 영상변환장치 및 시스템에 관한 것이다.
VR(Virtual Reality)은 ICT(Information and Communications Technologies) 산업의 주요 이슈로 떠오르고 있으며, IT(Information Technology) 기업들은 VR 디바이스를 판매하여 이윤을 창출하고 있다.
그리고 VR 체험을 위한 콘텐츠를 구현하기 위해 여러 시점으로 촬영한 영상을 이어붙여 다시점에 대한 파노라마 영상을 변환하고, 사용자의 의도에 따라 시점을 변경하여 영상을 확인할 수 있는 360 VR 영상 기술이 개발되고 있다.
하지만 현재 개발되고 있는 360 VR 영상 기술은 고용량을 가지는 영상을 360 VR 영상으로 변환하는데 소요되는 연산시간이 길어져 실시간으로 파노라마 영상을 구현하지 못하는 문제점을 가지고 있다.
본 발명이 이루고자 하는 기술적 과제는 복수의 영상을 실시간으로 영상처리하여 전방향으로 확인 가능한 360 VR 영상을 생성하는 360 VR 영상을 실시간으로 생성하는 영상변환장치 및 시스템을 제공하는데 목적이 있다.
상기 목적을 달성하기 위해 본 발명에 따른 360 VR 영상을 실시간으로 생성하는 영상변환장치는 복수의 카메라를 구비하는 영상촬영장치로부터 촬영된 연속성을 가지는 복수의 영상정보를 입력받는 입력부 및 상기 입력부로부터 입력된 복수의 영상정보를 캡쳐하고, 상기 캡쳐된 영상정보를 병렬구조로 인코딩하며, 상기 인코딩된 영상정보를 스티칭(stitching)하여 360 VR 영상을 생성하는 제어부를 포함한다.
또한 상기 제어부는, 상기 복수의 영상정보 중 각 카메라별로 캡쳐된 첫 프레임을 레코딩하는 프레임 캡쳐부, 상기 레코딩된 로우 프레임(raw frame)을 특정 카메라별로 인코딩하고, 상기 인코딩된 로우 프레임을 먹싱(muxing)하여 영상정보를 인코딩하는 프레임 인코더부 및 상기 인코딩된 영상정보를 캘리브레이션하고, 상기 캘리브레이션된 영상정보를 스티칭하여 360 VR 영상을 생성하는 영상 스티칭부를 포함하는 것을 특징으로 한다.
또한 상기 프레임 캡쳐부는, 상기 각 카메라별 첫 프레임을 다중 큐 레코딩(Recording Concurrent Queue)을 이용하여 레코딩하는 것을 특징으로 한다.
또한 상기 프레임 캡쳐부는, 캡쳐카드를 이용하여 상기 영상정보의 프레임을 캡쳐하고, 상기 프레임 인코더부는, 인코더를 이용하여 상기 로우 프레임을 인코딩하고, FFMPEG를 이용하여 상기 인코딩된 로우 프레임을 먹싱하는 것을 특징으로 한다.
또한 상기 프레임 인코더부는, 상기 영상정보에 대한 로우 프레임의 레코딩이 완료되면 해당 로우 프레임의 인코딩을 시작하는 동시에 병렬구조로 새로운 영상정보에 대한 로우 프레임의 레코딩이 시작되도록 제어하는 것을 특징으로 한다.
또한 상기 프레임 인코더부는, 복수의 인코더를 포함하고, 상기 복수의 인코더마다 특정 카메라에 해당하는 로우 프레임을 인코딩하여 각 카메라별 인코딩된 로우 프레임을 분류하며, 상기 분류된 로우 프레임별로 먹싱하는 것을 특징으로 한다.
또한 상기 복수의 인코더는, 상기 로우 프레임 중 제1 카메라 및 제4 카메라에 해당하는 로우 프레임을 인코딩하는 제1 인코더, 상기 로우 프레임 중 제2 카메라 및 제5 카메라에 해당하는 로우 프레임을 인코딩하는 제2 인코더 및 상기 로우 프레임 중 제3 카메라 및 제6 카메라에 해당하는 로우 프레임을 인코딩하는 제3 인코더를 포함하는 것을 특징으로 한다.
또한 상기 영상 스티칭부는, 상기 인코딩된 영상정보가 연속적으로 연결되어 하나의 파노라마 영상이 되도록 캘리브레이션하는 것을 특징으로 한다.
본 발명에 따른 영상변환시스템은 360°에 대한 연속성을 가지는 복수의 영상정보를 생성하는 영상촬영장치 및 상기 영상촬영장치로부터 생성된 복수의 영상정보를 입력받고, 상기 입력된 복수의 영상정보를 실시간으로 영상처리하여 360 VR 영상을 생성하는 영상변환장치를 포함하되, 상기 영상변환장치는, 상기 복수의 영상정보를 입력받는 입력부 및 상기 입력부로부터 입력된 복수의 영상정보를 캡쳐하고, 상기 캡쳐된 영상정보를 병렬구조로 인코딩하며, 상기 인코딩된 영상정보를 스티칭하여 360 VR 영상을 생성하는 제어부를 포함한다.
또한 상기 영상촬영장치는, 복수의 카메라를 구비하고, 상기 구비된 복수의 카메라를 이용하여 복수의 영상을 촬영하며, 상기 촬영된 복수의 영상에 대한 영상정보를 생성하는 카메라부 및 상기 복수의 카메라를 일정 각도로 고정하고, 상기 복수의 카메라가 지표면과 평행을 이루며 영상 촬영을 하도록 지지하는 지지부를 포함하는 것을 특징으로 한다.
본 발명의 360 VR 영상을 실시간으로 생성하는 영상변환장치 및 시스템은 인코딩 과정 및 스티칭 과정을 병렬구조로 영상처리함으로써, 복수의 영상에 대한 360 VR 영상을 실시간으로 생성할 수 있다. 이로 인해 사용자는 실시간으로 고화질의 360 VR 영상을 확인할 수 있어 컨텐츠에 대한 몰입도를 높일 수 있다.
도 1은 본 발명의 실시예에 따른 영상변환시스템을 설명하기 위한 구성도이다.
도 2는 본 발명의 실시예에 따른 영상촬영장치를 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 영상변환 장치를 설명하기 위한 블록도이다.
도 4는 도 3의 제어부를 설명하기 위한 블록도이다.
도 5는 본 발명의 실시예에 따른 영상변환시스템이 수행과정을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 프레임 캡쳐 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 프레임 인코딩 과정을 설명하기 위한 도면이다.
도 8은 도 7의 프레임 인코딩 과정을 타임블록으로 나타낸 도면이다.
도 9는 본 발명의 실시예에 따른 영상 스티칭 과정을 설명하기 위한 도면이다.
도 10은 도 9의 영상 스티칭 과정을 타임블록으로 나타낸 도면이다.
도 11은 본 발명의 실시예에 따른 360 VR 영상이 생성되는 과정을 설명하기 위한 도면이다.
이하 본 발명의 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의한다. 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 당업자에게 자명하거나 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명의 실시예에 따른 영상변환시스템을 설명하기 위한 구성도이고, 도 2는 본 발명의 실시예에 따른 영상촬영장치를 설명하기 위한 도면이며, 도 3은 본 발명의 실시예에 따른 영상변환 장치를 설명하기 위한 블록도이고, 도 4는 도 3의 제어부를 설명하기 위한 블록도이다. 여기서 도 2(a)는 영상촬영장치를 일 방향에서 바라보는 모습을 나타내는 사시도이고, 도 2(b)는 영상촬영장치를 다른 방향에서 바라보는 모습을 나타내는 사시도이다.
도 1 내지 도 4를 참조하면, 영상변환시스템(300)은 복수의 영상을 실시간으로 영상처리하여 전방향으로 확인 가능한 360 VR 영상을 생성한다. 이때 360 VR 영상은 4K 스테레오 영상일 수 있다. 영상변환시스템(300)은 영상변환장치(100) 및 영상촬영장치(200)를 포함한다.
영상촬영장치(200)는 360°에 대한 연속성을 가지는 복수의 영상정보를 생성한다. 영상촬영장치(200)는 카메라부(210) 및 지지부(230)를 포함한다.
카메라부(210)는 복수의 카메라(211, 212, 213, 214, 215, 216)를 구비한다. 카메라부(210)는 복수의 카메라(211, 212, 213, 214, 215, 216)를 이용하여 복수의 영상을 촬영하고, 촬영된 복수의 영상에 대한 영상정보를 생성한다. 여기서 복수의 카메라(211, 212, 213, 214, 215, 216)는 동일한 종류의 카메라로 이루어지고, 바람직하게는 풀프레임 이미지 센서가 탑재된 카메라일 수 있다.
지지부(230)는 카메라부(210)를 고정하고, 지지하는 역할을 한다. 상세하게는 지지부(230)는 복수의 카메라(211, 212, 213, 214, 215, 216)를 일정 각도로 고정하고, 지지한다. 즉 지지부(230)는 제1 카메라(211), 제2 카메라(212), 제3 카메라(213), 제4 카메라(214), 제5 카메라(215) 및 제6 카메라(216)가 360°를 일정 각도로 유지하며 촬영할 수 있도록 한다. 또한 지지부(230)는 복수의 카메라(211, 212, 213, 214, 215, 216)가 지표면과 평행을 이루며 영상 촬영을 하도록 수평조절을 할 수 있다. 이를 위해 지지부(230)는 둥근 원판 위에 복수의 카메라(211, 212, 213, 214, 215, 216)를 일정한 각도로 고정시키고, 일정 높이를 가지는 지지대를 통해 지표면에 고정된다. 바람직하게는 지지대는 복수의 카메라(211, 212, 213, 214, 215, 216)에 대한 하중을 견딜 수 있는 삼각대일 수 있다.
여기서, 카메라부(210)의 카메라 개수를 6개로 한정하였으나, 이에 한정되고 사용되는 환경에 따라 조정할 수 있다.
영상촬영장치(100)는 카메라부(200)로부터 생성된 복수의 영상정보를 실시간으로 영상처리하여 360 VR 영상을 생성한다. 영상촬영장치(100)는 입력부(10) 및 제어부(30)를 포함하고, 저장부(50)를 더 포함한다.
입력부(10)는 카메라부(200)로부터 촬영된 연속성을 가지는 복수의 영상정보를 입력받는다. 입력부(10)는 각 카메라(211, 212, 213, 214, 215, 216)에서 생성된 영상정보를 개별로 입력받는다.
제어부(30)는 입력부(10)로부터 입력된 복수의 영상정보를 캡쳐하고, 캡쳐된 영상정보를 병렬구조로 인코딩한다. 제어부(30)는 인코딩된 영상정보를 스티칭(stitching)하여 360 VR 영상을 생성한다. 제어부(30)는 프레임 캡쳐부(31), 프레임 인코더부(32) 및 영상 스티칭부(33)를 포함한다.
프레임 캡쳐부(31)는 복수의 영상정보 중 각 카메라별로 캡쳐된 첫 프레임을 레코딩하여 프레임을 캡쳐한다. 이때 프레임 캡쳐부(31)는 캡쳐카드를 이용하여 영상정보의 프레임을 캡쳐할 수 있다. 프레임 캡쳐부(31)는 각 카메라별 첫 프레임을 다중 큐 레코딩(Recording Concurrent Queue)을 이용하여 레코딩한다.
프레임 인코더부(32)는 프레임 캡쳐부(31)로부터 레코딩된 로우 프레임(raw frame)을 각 카메라별로 인코딩하고, 인코딩된 로우 프레임을 먹싱(muxing)한다. 이하, 인코딩과 먹싱하는 과정을 합하여 영상정보가 인코딩되었다고 표현할 수 있다. 프레임 인코더부(32)는 인코더를 이용하여 로우 프레임을 인코딩하고, FFMPEG를 이용하여 인코딩된 로우 프레임을 먹싱할 수 있다. 여기서 인코더는 Nvidia HW Encoder이고, FFMPEG는 디지털 음성 스트림과 영상 스트림에 대해서 다양한 종류의 형태로 기록하고 변환하는 컴퓨터 프로그램이다. 한편 프레임 인코더부(32)는 기존의 인코딩 과정과 영상정보를 병렬구조로 인코딩한다. 즉 프레임 인코더부(32)는 영상정보의 로우 프레임의 레코딩이 완료되면 해당 로우 프레임에 대한 인코딩을 시작하는 동시에 병렬구조로 새로운 영상정보에 대한 로우 프레임의 레코딩이 시작되도록 제어한다. 이를 위해 프레임 인코더(32)는 복수의 인코더를 포함하고, 복수의 인코더가 병렬구조로 연산을 수행한다. 따라서 프레임 인코더부(32)는 하나의 시퀀스(sequence)에 대한 영상처리가 완료되기 전에 다음 시퀀스에 대한 영상처리를 수행함으로써, 연산시간을 단축시키는 동시에 하나의 인코더에 연산이 집중되지 않고 분산되는 효과를 주어 연산으로 인한 과부하를 미연에 방지할 수 있다.
영상 스티칭부(33)는 프레임 인코더부(32)로부터 인코딩된 영상정보를 캘리브레이션한다. 영상 스티칭부(33)는 인코딩된 영상정보가 연속적으로 연결되어 하나의 파노라마 영상이되도록 캘리브레이션을 한다. 영상 스티칭부(33)는 캘리브레이션된 영상정보를 스티칭하여 360 VR 영상을 생성한다. 이때 영상 스티칭부(33)는 컨피그(config) XML(extensible markup language) 파일을 더 이용하여 스티칭을 수행할 수 있다. 여기서 컨피그 XML 파일은 캘리브레이션 컨피그 XML 파일, 영상 컨피그 XML 파일 및 스티쳐 컨피그 XML 파일이 포함된다.
저장부(50)는 영상촬영장치(200)로부터 입력된 복수의 영상정보가 저장된다. 저장부(50)는 제어부(30)로부터 생성된 360 VR 영상이 저장된다. 또한 저장부(50)는 복수의 영상정보를 영상처리하여 360 VR 영상을 생성하기 위한 프로그램이 저장된다. 저장부(70)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기메모리, 자기 디스크, 광디스크 중 적어도 하나의 저장매체를 포함할 수 있다.
도 5는 본 발명의 실시예에 따른 영상변환시스템이 수행과정을 설명하기 위한 도면이고, 도 6은 본 발명의 실시예에 따른 프레임 캡쳐 과정을 설명하기 위한 도면이며, 도 7은 본 발명의 실시예에 따른 프레임 인코딩 과정을 설명하기 위한 도면이고, 도 8은 도 7의 프레임 인코딩 과정을 타임블록으로 나타낸 도면이며, 도 9는 본 발명의 실시예에 따른 영상 스티칭 과정을 설명하기 위한 도면이고, 도 10은 도 9의 영상 스티칭 과정을 타임블록으로 나타낸 도면이며, 도 11은 본 발명의 실시예에 따른 360 VR 영상이 생성되는 과정을 설명하기 위한 도면이다.
도 5 내지 도 11을 참조하면, 영상변환시스템(300)은 인코딩 과정 및 스티칭 과정을 병렬구조로 영상처리함으로써, 복수의 영상에 대한 360 VR 영상을 실시간으로 생성할 수 있다. 이로 인해 사용자는 실시간으로 고화질의 360 VR 영상을 확인할 수 있어 컨텐츠에 대한 몰입도를 높일 수 있다. 영상변환시스템(300)은 다음과 같은 과정으로 360 VR 영상을 생성할 수 있다.
먼저, 카메라부(210)는 복수의 카메라를 통해 영상을 촬영하고, 촬영된 복수의 영상을 프레임 캡쳐부(31)로 입력한다. 프레임 캡쳐부(31)는 입력된 복수의 영상을 기반으로 각 카메라별 촬영된 영상에 대한 프레임을 캡쳐하고, 캡쳐된 프레임을 프레임 인코더부(32)로 전송한다. 프레임 인코더부(32)는 캡쳐된 프레임을 인코딩하고, 인코딩된 프레임을 영상 스티칭부(33)로 전송한다. 영상 스티칭부(33)는 인코딩된 프레임을 스티칭하여 360 VR 영상을 생성하고, 생성된 360 VR 영상을 저장부(50)로 전송한다. 저장부(50)는 전송된 360 VR 영상을 저장한다.
상세하게는 카메라부(210)는 복수의 카메라를 통해 영상을 촬영하고, 촬영된 영상을 HDMI(High-Definition Multimedia Interface) 케이블 및 3G-SDI(Serial digital interface) 케이블로 프레임 캡쳐부(31)에 전송한다. 이때 촬영된 영상은 각 카메라별로 개별 전송이 되고, HDMI 케이블 및 3G-SDI 케이블 사이에 구비된 컨버터(250)를 통해 디지털화된다.
프레임 캡쳐부(31)는 각 카메라별로 촬영된 영상 중 첫 프레임에 대해 캡쳐를 한다. 즉 프레임 캡쳐부(31)는 제1 카메라(211)로부터 생성된 영상정보를 제1 캡쳐카드를 통해 프레임 캡쳐하고, 제2 카메라(212)로부터 생성된 영상정보를 제2 캡쳐카드를 통해 프레임 캡쳐하며, 제3 카메라(213)로부터 생성된 영상정보를 제3 캡쳐카드를 통해 프레임 캡쳐하고, 제4 카메라(214)로부터 생성된 영상정보를 제4 캡쳐카드를 통해 프레임 캡쳐하며, 제5 카메라(215)로부터 생성된 영상정보를 제5 캡쳐카드를 통해 프레임 캡쳐한다. 프레임 캡쳐부(31)는 캡쳐된 첫 프레임을 레코딩하고, 레코딩된 로우 프레임을 프레임 인코더부(32)로 전송한다. 이때 프레임 캡쳐부(31)는 다중 큐 레코딩을 이용하여 레코딩할 수 있다.
프레임 인코더부(32)는 레코딩된 로우 프레임을 특정 카메라별로 인코딩을 한다. 이를 수행하기 위해 프레임 인코더부(32)는 복수의 인코더(41, 42, 43)를 포함한다. 복수의 인코더(41, 42, 43)는 각 인코더마다 특정 카메라에 해당하는 로우 프레임을 인코딩하여 각 카메라별 인코딩된 로우 프레임을 분류한다. 분류된 로우 프레임은 FFMPEG를 통해 먹싱되어 영상정보가 인코딩된다. 예를 들어 제1 인코더(41)는 로우 프레임 중 제1 카메라 및 제4 카메라에 해당하는 로우 프레임을 인코딩하고, 제2 인코더(42)는 로우 프레임 중 제2 카메라 및 제5 카메라에 해당하는 로우 프레임을 인코딩하며, 제3 인코더(43)는 로우 프레임 중 제3 카메라 및 제6 카메라에 해당하는 로우 프레임을 인코딩할 수 있다. 이렇게 인코딩된 로우 프레임은 각각 분류되어 FFMPEG를 통해 각 카메라별로 먹싱된다.
즉 프레임 인코더부(32)는 인코더를 이용하여 로우 프레임을 인코딩하고, FFMPEG를 이용하여 인코딩된 로우 프레임을 먹싱할 수 있으며, 영상정보에 대한 로우 프레임의 레코딩이 완료되면 해당 로우 프레임의 인코딩을 시작하는 동시에 병렬구조로 새로운 영상정보에 대한 로우 프레임의 레코딩이 시작되도록 제어할 수 있다. 프레임 인코더부(32)는 병렬구조로 인코딩을 수행할 수 있다. 프레임 인코더부(32)는 인코딩된 영상정보를 영상 스티칭부(33)로 전송한다. 또한 프레임 인코더부(32)는 인코딩된 로우 프레임을 저장부(70)에 할당하여 저장시킬 수 있다.
영상 스티칭부(33)는 프레임 인코더부(32)로부터 인코딩된 영상정보를 캘리브레이션하고, 캘리브레이션된 영상정보를 스티칭하여 360 VR 영상을 생성한다. 이를 수행하기 위해 영상 스티칭부(33)는 스티칭 캘리브레이터(stitching calibrator)(44) 및 스티쳐(stitcher)(45)를 포함한다. 스티칭 캘리브레이션(44)은 인코딩된 영상정보가 연속적으로 연결되어 하나의 파노라마 영상이 되도록 캘리브레이션을 한다. 이때 스티칭 캘리브레이션(44)은 카메라 리그(Camera Rig) 컨피그 XML 파일 및 6개의 캘리브레이션 JPEG 사진을 이용하여 캘리브레이션 컨피그 XML 파일을 생성한다. 스티쳐(33)는 스티칭 캘리브레이션(44)으로부터 생성된 캘리브레션 컨피그 XML 파일, 영상 컨피그 XML 파일, 스티쳐 컨피그 XML 파일 및 6개의 스티칭 영상들을 이용하여 스티칭을 수행한다.
따라서 도 11과 같이 영상변환시스템(300)은 영상촬영장치(200)로부터 촬영된 영상에 대한 로우 프레임(도 11a)을 인코딩과 스티칭을 수행하는 스티칭 알고리즘(도 11b)에 통해 4K 스테레오 360 VR 영상을 실시간으로 생성(도 11c)할 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
[부호의 설명]
10: 입력부 30: 제어부
31: 프레임 캡쳐부 32: 프레임 인코더부
33: 영상 스티칭부 41: 제1 인코더
42: 제2 인코더 43: 제3 인코더
44: 스티칭 캘리브레이터 45: 스티쳐
50: 저장부 100: 영상변환장치
200: 영상촬영장치 210: 카메라부
211: 제1 카메라 212: 제2 카메라
213: 제3 카메라 214: 제4 카메라
215: 제5 카메라 216: 제6 카메라
230: 지지부 250: 컨버터
300: 영상변환시스템

Claims (10)

  1. 복수의 카메라를 구비하는 영상촬영장치로부터 촬영된 연속성을 가지는 복수의 영상정보를 입력받는 입력부; 및
    상기 입력부로부터 입력된 복수의 영상정보를 캡쳐하고, 상기 캡쳐된 영상정보를 병렬구조로 인코딩하며, 상기 인코딩된 영상정보를 스티칭(stitching)하여 360 VR 영상을 생성하는 제어부;
    를 포함하는 360 VR 영상을 실시간으로 생성하는 영상변환장치.
  2. 제 1항에 있어서,
    상기 제어부는,
    상기 복수의 영상정보 중 각 카메라별로 캡쳐된 첫 프레임을 레코딩하는 프레임 캡쳐부;
    상기 레코딩된 로우 프레임(raw frame)을 특정 카메라별로 인코딩하고, 상기 인코딩된 로우 프레임을 먹싱(muxing)하여 영상정보를 인코딩하는 프레임 인코더부; 및
    상기 인코딩된 영상정보를 캘리브레이션하고, 상기 캘리브레이션된 영상정보를 스티칭하여 360 VR 영상을 생성하는 영상 스티칭부;
    를 포함하는 것을 특징으로 하는 360 VR 영상을 실시간으로 생성하는 영상변환장치.
  3. 제 2항에 있어서,
    상기 프레임 캡쳐부는,
    상기 각 카메라별 첫 프레임을 다중 큐 레코딩(Recording Concurrent Queue)을 이용하여 레코딩하는 것을 특징으로 하는 360 VR 영상을 실시간으로 생성하는 영상변환장치.
  4. 제 2항에 있어서,
    상기 프레임 캡쳐부는,
    캡쳐카드를 이용하여 상기 영상정보의 프레임을 캡쳐하고,
    상기 프레임 인코더부는,
    인코더를 이용하여 상기 로우 프레임을 인코딩하고, FFMPEG를 이용하여 상기 인코딩된 로우 프레임을 먹싱하는 것을 특징으로 하는 360 VR 영상을 실시간으로 생성하는 영상변환장치.
  5. 제 2항에 있어서,
    상기 프레임 인코더부는,
    상기 영상정보에 대한 로우 프레임의 레코딩이 완료되면 해당 로우 프레임의 인코딩을 시작하는 동시에 병렬구조로 새로운 영상정보에 대한 로우 프레임의 레코딩이 시작되도록 제어하는 것을 특징으로 하는 360 VR 영상을 실시간으로 생성하는 영상변환장치.
  6. 제 2항에 있어서,
    상기 프레임 인코더부는,
    복수의 인코더를 포함하고, 상기 복수의 인코더마다 특정 카메라에 해당하는 로우 프레임을 인코딩하여 각 카메라별 인코딩된 로우 프레임을 분류하며, 상기 분류된 로우 프레임별로 먹싱하는 것을 특징으로 하는 360 VR 영상을 실시간으로 생성하는 영상변환장치.
  7. 제 6항에 있어서,
    상기 복수의 인코더는,
    상기 로우 프레임 중 제1 카메라 및 제4 카메라에 해당하는 로우 프레임을 인코딩하는 제1 인코더;
    상기 로우 프레임 중 제2 카메라 및 제5 카메라에 해당하는 로우 프레임을 인코딩하는 제2 인코더; 및
    상기 로우 프레임 중 제3 카메라 및 제6 카메라에 해당하는 로우 프레임을 인코딩하는 제3 인코더;
    를 포함하는 것을 특징으로 하는 360 VR 영상을 실시간으로 생성하는 영상변환장치.
  8. 제 2항에 있어서,
    상기 영상 스티칭부는,
    상기 인코딩된 영상정보가 연속적으로 연결되어 하나의 파노라마 영상이 되도록 캘리브레이션하는 것을 특징으로 하는 360 VR 영상을 실시간으로 생성하는 영상변환장치.
  9. 360°에 대한 연속성을 가지는 복수의 영상정보를 생성하는 영상촬영장치; 및
    상기 영상촬영장치로부터 생성된 복수의 영상정보를 입력받고, 상기 입력된 복수의 영상정보를 실시간으로 영상처리하여 360 VR 영상을 생성하는 영상변환장치;를 포함하되,
    상기 영상변환장치는,
    상기 복수의 영상정보를 입력받는 입력부; 및
    상기 입력부로부터 입력된 복수의 영상정보를 캡쳐하고, 상기 캡쳐된 영상정보를 병렬구조로 인코딩하며, 상기 인코딩된 영상정보를 스티칭하여 360 VR 영상을 생성하는 제어부;
    를 포함하는 영상변환시스템.
  10. 제 9항에 있어서.
    상기 영상촬영장치는,
    복수의 카메라를 구비하고, 상기 구비된 복수의 카메라를 이용하여 복수의 영상을 촬영하며, 상기 촬영된 복수의 영상에 대한 영상정보를 생성하는 카메라부; 및
    상기 복수의 카메라를 일정 각도로 고정하고, 상기 복수의 카메라가 지표면과 평행을 이루며 영상 촬영을 하도록 지지하는 지지부;
    를 포함하는 것을 특징으로 하는 영상변환시스템.
PCT/KR2018/014569 2018-10-25 2018-11-23 360 vr 영상을 실시간으로 생성하는 영상변환장치 및 시스템 Ceased WO2020085571A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/713,696 US10880475B2 (en) 2018-10-25 2019-12-13 Video conversion apparatus and system for generating 360-degree virtual reality video in real time

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180128195A KR102012717B1 (ko) 2018-10-25 2018-10-25 360 vr 영상을 실시간으로 생성하는 영상변환장치 및 시스템
KR10-2018-0128195 2018-10-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/713,696 Continuation US10880475B2 (en) 2018-10-25 2019-12-13 Video conversion apparatus and system for generating 360-degree virtual reality video in real time

Publications (1)

Publication Number Publication Date
WO2020085571A1 true WO2020085571A1 (ko) 2020-04-30

Family

ID=67808546

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/014569 Ceased WO2020085571A1 (ko) 2018-10-25 2018-11-23 360 vr 영상을 실시간으로 생성하는 영상변환장치 및 시스템

Country Status (2)

Country Link
KR (1) KR102012717B1 (ko)
WO (1) WO2020085571A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102455716B1 (ko) * 2021-10-07 2022-10-18 주식회사 벤타브이알 실시간 3d vr영상 중계를 위한 영상 스티칭 방법 및 시스템
KR102446739B1 (ko) * 2022-02-28 2022-09-26 한국가상현실 (주) 도면 정보에 기반하여 가상 현실 데이터를 자동적으로 생성하는 방법
KR102740277B1 (ko) * 2023-03-15 2024-12-06 박충남 360 vr 이미지를 생성하여 이미지 에디터 서비스를 제공하는 방법
KR102801355B1 (ko) 2024-10-07 2025-04-30 박성환 체험형 vr 영상 촬영 및 관리 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007520107A (ja) * 2003-12-18 2007-07-19 アバゴ・テクノロジーズ・ジェネラル・アイピー（シンガポール）プライベート・リミテッド センサ素子の各領域上に画像を形成する撮像素子を備えたカラーイメージセンサ
WO2007083579A1 (ja) * 2006-01-20 2007-07-26 Matsushita Electric Industrial Co., Ltd. 複眼方式のカメラモジュール及びその製造方法
JP2010521879A (ja) * 2007-03-16 2010-06-24 コールモージェン・コーポレーション パノラマ画像処理システム
KR20130011951A (ko) * 2011-07-20 2013-01-30 브로드콤 코포레이션 듀얼 이미지 캡쳐 프로세싱
KR20160013263A (ko) * 2008-05-20 2016-02-03 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170086203A (ko) 2016-01-18 2017-07-26 김주호 스포츠 중계 서비스 제공 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007520107A (ja) * 2003-12-18 2007-07-19 アバゴ・テクノロジーズ・ジェネラル・アイピー（シンガポール）プライベート・リミテッド センサ素子の各領域上に画像を形成する撮像素子を備えたカラーイメージセンサ
WO2007083579A1 (ja) * 2006-01-20 2007-07-26 Matsushita Electric Industrial Co., Ltd. 複眼方式のカメラモジュール及びその製造方法
JP2010521879A (ja) * 2007-03-16 2010-06-24 コールモージェン・コーポレーション パノラマ画像処理システム
KR20160013263A (ko) * 2008-05-20 2016-02-03 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
KR20130011951A (ko) * 2011-07-20 2013-01-30 브로드콤 코포레이션 듀얼 이미지 캡쳐 프로세싱

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHOI, MINSU ET AL.: "Stereo 360 VR Image Real Time Acquisition System Design", THE 28TH JOINT CONFERENCE ON COMMUNICATIONS AND INFORMATION, 2 May 2018 (2018-05-02) *

Also Published As

Publication number Publication date
KR102012717B1 (ko) 2019-08-21

Similar Documents

Publication Publication Date Title
WO2009088265A2 (en) Video processing system, video processing method, and video transfer method
WO2015030307A1 (en) Head mounted display device and method for controlling the same
WO2016027977A1 (ko) 360도 공간영상 재생방법 및 그 시스템
KR102012717B1 (ko) 360 vr 영상을 실시간으로 생성하는 영상변환장치 및 시스템
WO2019139234A1 (ko) 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법
CN105120193A (zh) 一种录制全景视频的设备及方法
EP0842580A1 (en) Image forming and processing device and method for use with no moving parts camera
KR20190059712A (ko) 복수의 촬영 영상을 이용한 360 vr 영상 변환 시스템 및 방법
JP5606637B2 (ja) 映像監視システム
WO2011062319A1 (ko) 초고화질 영상을 위한 실시간 입출력 모듈 시스템
WO2018062599A1 (ko) Svm 시스템 및 그의 영상입력 및 처리방법
WO2010062115A2 (en) Recording multimedia data
WO2014098398A1 (ko) 휴대용 ｘ선 검출장치 및 그 제어방법
TWM453210U (zh) 異地備援的監控系統及攝影裝置
WO2012044061A2 (ko) 영상 데이터 고속 송／수신 방법 및 장치
WO2019103193A1 (ko) 분산 가상 카메라를 이용한 게임 내 360 vr 영상 획득 시스템 및 방법
WO2018066749A1 (ko) 영상데이터 관리 장치 및 방법
WO2011007970A1 (en) Method and apparatus for processing image
WO2019103192A1 (ko) 가상 카메라를 이용한 게임 내 360 vr 영상 획득 장치 및 방법
US10880475B2 (en) Video conversion apparatus and system for generating 360-degree virtual reality video in real time
WO2021187887A1 (ko) 카메라 동기화 장치 및 그 동기화 처리 방법
WO2020101447A1 (ko) 다시점 촬영을 위한 카메라 캘리브레이션 방법 및 그 장치
CN105306923A (zh) 一种大视角3d摄像机
WO2014035053A1 (ko) 초광각 카메라를 이용한 카메라 시스템
CN224178247U (zh) 一种多传感器高速图像采集与传输的载荷控制板

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18937951

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18937951

Country of ref document: EP

Kind code of ref document: A1