KR20170124424A - 영상을 처리하는 방법, 장치 및 기록매체 - Google Patents

영상을 처리하는 방법, 장치 및 기록매체 Download PDF

Info

Publication number
KR20170124424A
KR20170124424A KR1020160090270A KR20160090270A KR20170124424A KR 20170124424 A KR20170124424 A KR 20170124424A KR 1020160090270 A KR1020160090270 A KR 1020160090270A KR 20160090270 A KR20160090270 A KR 20160090270A KR 20170124424 A KR20170124424 A KR 20170124424A
Authority
KR
South Korea
Prior art keywords
image
information
terminal
metadata
target space
Prior art date
Application number
KR1020160090270A
Other languages
English (en)
Inventor
정재윤
김도완
김용규
이건희
이재경
이진봉
최대웅
최현수
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US15/584,274 priority Critical patent/US10672180B2/en
Priority to EP21167417.1A priority patent/EP3944202A3/en
Priority to CN201780026356.4A priority patent/CN109155080A/zh
Priority to EP17792880.1A priority patent/EP3417427A4/en
Priority to PCT/KR2017/004650 priority patent/WO2017191978A1/en
Publication of KR20170124424A publication Critical patent/KR20170124424A/ko
Priority to US16/888,036 priority patent/US11348306B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/40—Hidden part removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/503—Blending, e.g. for anti-aliasing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

타겟 공간을 구성하는 객체들 각각이 촬영된 적어도 하나의 영상을 획득하고, 타겟 공간에 대한 VR 영상을 생성하는데 이용되는 3차원 메쉬 모델과 상기 적어도 하나의 영상 간의 맵핑 관계에 관한 정보를 포함하는 메타데이터를 생성하며, 적어도 하나의 영상 및 메타데이터를 단말기에 전송하는 디바이스에서 영상을 처리하는 방법이 개시된다.

Description

영상을 처리하는 방법, 장치 및 기록매체 {Method and apparatus for processing image and recording medium thereof}
개시된 실시예는 영상을 처리하는 방법, 영상을 처리하는 장치 및 영상을 처리하는 방법을 수행하는 프로그램이 기록된 기록매체에 관한 것이다.
가상 현실(Virtual Reality)이란 어떤 특정한 환경이나 상황을 컴퓨터로 만들어서, 그것을 사용하는 사람이 마치 실제 환경 및 상황과 상호 작용을 하고 있는 것처럼 만들어주는 사용자와 디바이스 사이의 인터페이스를 나타낸다. 디바이스는 가상 현실을 사용자들에게 제공함으로써, 사용자들이 직접 경험하지 못했던 상황 또는 환경을 사용자들에게 보여주고 사용자들이 상황 또는 환경을 조작할 수는 사용자 인터페이스를 제공할 수 있다.
최근 들어, 가상 현실에 대한 사람들의 관심이 높아지면서, 가상 현실을 구현하기 위한 기술에 대한 개발이 활발하게 이루어지고 있다. 특히, 가상 현실을 구현하기 위해 필요한 가상 공간을 구성하는 영상들을 처리하는 기술에 대한 연구가 활발하게 이루어지고 있는 실정이다.
특정 공간에 대한 VR 영상을 렌더링하는 경우, 렌더링 과정에서 발생되는 와핑 등의 왜곡으로 인해, VR 영상의 화질이 저하되는 것을 방지하는 영상 처리 방법, 장치 및 기록매체가 제공된다.
일 실시예에 따라 디바이스에서 영상을 처리하는 방법은, 타겟(target) 공간을 구성하는 객체들 각각이 촬영된 적어도 하나의 영상을 획득하는 단계; 타겟 공간에 대한 VR(Virtual Reality) 영상을 생성하는데 이용되는 3차원 메쉬(mesh) 모델과 적어도 하나의 영상 간의 맵핑(mapping) 관계에 관한 정보를 포함하는 메타데이터를 생성하는 단계; 및 적어도 하나의 영상 및 메타데이터를 단말기에 전송하는 단계를 포함한다.
일 실시예에 따라 디바이스에서 영상을 처리하는 방법에 있어서, 맵핑 관계에 관한 정보는, 적어도 하나의 영상이 촬영된 각도, 적어도 하나의 영상이 촬영된 촬영 디바이스들의 위치, 3차원 메쉬 모델의 타입 및 해상도 중 적어도 하나에 관한 정보를 나타낸다.
일 실시예에 따라 디바이스에서 영상을 처리하는 방법에 있어서, 메타데이터는, 적어도 하나의 영상에 대한 화질 보정 정보 및 적어도 하나의 영상에서 중첩되는 객체가 표시된 영역에 대한 가중치 정보 중 적어도 하나를 더 포함한다.
일 실시예에 따라 디바이스에서 영상을 처리하는 방법은, 적어도 하나의 영상의 노이즈에 관한 정보를 획득하는 단계; 및 획득된 노이즈에 관한 정보를 기초로, 획득된 적어도 하나의 영상에 포함된 픽셀들의 픽셀값을 보정하는 단계를 더 포함하고, 전송하는 단계는, 보정된 적어도 하나의 영상을 메타데이터와 함께 단말기에 전송한다.
일 실시예에 따라 디바이스에서 영상을 처리하는 방법은, 획득된 적어도 하나의 영상 각각이 나타내는 객체 중에서, 중첩되는 객체를 결정하는 단계; 및 적어도 하나의 영상 내에서 중첩되는 객체가 표시된 영역의 픽셀값을 기 설정된 가중치에 따라 블렌딩하여, 중첩되는 객체를 포함하는 영상을 변환하는 단계를 더 포함하고, 전송하는 단계는, 변환된 영상들을 메타데이터와 함께 단말기에 전송한다.
일 실시예에 따라 단말기가 영상을 처리하는 방법은, 디바이스로부터 타겟(target) 공간을 구성하는 객체들 각각이 촬영된 적어도 하나의 영상과 적어도 하나의 영상에 관한 메타데이터를 획득하는 단계; 메타데이터로부터 타겟 공간에 대한 VR(Virtual Reality) 영상을 생성하는데 이용되는 3차원 메쉬(mesh) 모델과 적어도 하나의 영상 간의 맵핑(mapping) 관계에 관한 정보를 획득하는 단계; 적어도 하나의 영상을 맵핑 관계에 관한 정보를 기초로 렌더링하여, 타겟 공간에 대한 VR 영상을 생성하는 단계; 및 생성된 VR 영상을 출력하는 단계를 포함한다.
일 실시예에 따라 단말기가 영상을 처리하는 방법에 있어서, 맵핑 관계에 관한 정보는, 적어도 하나의 영상이 촬영된 각도, 적어도 하나의 영상이 촬영된 촬영 디바이스들의 위치, 3차원 메쉬 모델의 타입 및 해상도 중 적어도 하나에 관한 정보를 나타낸다.
일 실시예에 따라 단말기가 영상을 처리하는 방법에 있어서, 메타데이터는, 적어도 하나의 영상에 대한 화질 보정 정보 및 적어도 하나의 영상들 간에 중첩되는 객체가 표시된 영역에 대한 가중치 정보 중 적어도 하나를 더 포함한다.
일 실시예에 따라 단말기가 영상을 처리하는 방법은, 메타데이터에 포함된 화질 보정 정보를 기초로, 적어도 하나의 영상에 포함된 픽셀들의 픽셀값을 보정하는 단계를 더 포함하고, VR 영상을 생성하는 단계는, 보정된 적어도 하나의 영상을 맵핑 관계에 관한 정보를 기초로 렌더링하여, VR 영상을 생성한다.
일 실시예에 따라 단말기가 영상을 처리하는 방법은, 적어도 하나의 영상 내에서 중첩되는 객체가 표시된 영역의 픽셀값을 기 설정된 가중치에 따라 블렌딩하여, 중첩되는 객체를 포함하는 영상을 변환하는 단계를 더 포함하고, VR 영상을 생성하는 단계는, 변환된 영상들을 맵핑 관계에 관한 정보를 기초로 렌더링하여, VR 영상을 생성한다.
일 실시예에 따라 영상을 처리하는 디바이스는, 타겟 공간을 구성하는 객체들 각각이 촬영된 적어도 하나의 영상을 획득하는 영상 획득부; 타겟 공간에 대한 VR 영상을 생성하는데 이용되는 3차원 메쉬 모델과 적어도 하나의 영상 간의 맵핑(mapping) 관계에 관한 정보를 포함하는 메타데이터를 생성하는 제어부; 및 적어도 하나의 영상 및 메타데이터를 단말기에 전송하는 통신부를 포함한다.
일 실시예에 따라 영상을 처리하는 디바이스에 있어서, 맵핑 관계에 관한 정보는, 적어도 하나의 영상이 촬영된 각도, 적어도 하나의 영상이 촬영된 촬영 디바이스들의 위치, 3차원 메쉬 모델의 타입 및 해상도 중 적어도 하나에 관한 정보를 나타낸다.
일 실시예에 따라 영상을 처리하는 디바이스에 있어서, 메타데이터는, 적어도 하나의 영상에 대한 화질 보정 정보 및 적어도 하나의 영상들 간에 중첩되는 객체가 표시된 영역에 대한 가중치 정보 중 적어도 하나를 더 포함한다.
일 실시예에 따라 영상을 처리하는 디바이스에 있어서, 제어부는, 적어도 하나의 영상의 노이즈에 관한 정보를 획득하고, 획득된 노이즈에 관한 정보를 기초로, 획득된 적어도 하나의 영상에 포함된 픽셀들의 픽셀값을 보정하며, 통신부는, 보정된 적어도 하나의 영상을 메타데이터와 함께 단말기에 전송한다.
일 실시예에 따라 영상을 처리하는 디바이스에 있어서, 제어부는, 획득된 적어도 하나의 영상 각각이 나타내는 객체 중에서, 중첩되는 객체를 결정하고, 적어도 하나의 영상 내에서 중첩되는 객체가 표시된 영역의 픽셀값을 기 설정된 가중치에 따라 블렌딩하여, 중첩되는 객체를 포함하는 영상을 변환하며, 통신부는, 변환된 영상들을 메타데이터와 함께 단말기에 전송한다.
일 실시예에 따라 영상을 처리하는 디바이스에 있어서, 제어부는, 획득된 적어도 하나의 영상 각각이 나타내는 객체 중에서, 중첩되는 객체를 결정하고, 적어도 하나의 영상 내에서 중첩되는 객체가 표시된 영역의 픽셀값을 기 설정된 가중치에 따라 블렌딩하여, 중첩되는 객체를 포함하는 영상을 변환한 후, 변환된 적어도 하나의 영상을 정규화된 카메라 포즈로 새롭게 투영 변환하며, 통신부는, 변환된 영상들을 메타데이터와 함께 단말기에 전송한다. 이 때 정규화된 카메라 포즈는 각 카메라의 위치는 동일하되 각도 정보만 360로 공간을 균등 분배하도록 배치되는 것을 예로 들 수 있고 메타데이터는 기존 메타데이터의 카메라 포즈 또는 맵핑 데이터 항목을 정규화된 카메라 포즈를 기반으로 업데이트한 메타데이터이다.
일 실시예에 따라 영상을 처리하는 단말기는, 디바이스로부터 타겟(target) 공간을 구성하는 객체들 각각이 촬영된 적어도 하나의 영상과 적어도 하나의 영상에 관한 메타데이터를 획득하는 통신부; 메타데이터로부터 타겟 공간에 대한 VR(Virtual Reality) 영상을 생성하는데 이용되는 3차원 메쉬(mesh) 모델과 적어도 하나의 영상 간의 맵핑(mapping) 관계에 관한 정보를 획득하고, 적어도 하나의 영상을 상기 맵핑 관계에 관한 정보를 기초로 렌더링하여, 타겟 공간에 대한 VR 영상을 생성하는 제어부; 및 생성된 VR 영상을 출력하는 출력부를 포함한다.
일 실시예에 따라 영상을 처리하는 단말기에 있어서, 맵핑 관계에 관한 정보는, 적어도 하나의 영상이 촬영된 각도, 적어도 하나의 영상이 촬영된 촬영 디바이스들의 위치, 3차원 메쉬 모델의 타입 및 해상도 중 적어도 하나에 관한 정보를 나타낸다.
일 실시예에 따라 영상을 처리하는 단말기에 있어서, 메타데이터는, 적어도 하나의 영상에 대한 화질 보정 정보 및 적어도 하나의 영상들 간에 중첩되는 객체에 대한 가중치 정보 중 적어도 하나를 더 포함한다.
일 실시예에 따라 영상을 처리하는 단말기에 있어서, 제어부는, 메타데이터에 포함된 화질 보정 정보를 기초로, 적어도 하나의 영상에 포함된 픽셀들의 픽셀값을 보정하고, 보정된 적어도 하나의 영상을 맵핑 관계에 관한 정보를 기초로 렌더링하여, VR 영상을 생성한다.
일 실시예에 따라 영상을 처리하는 단말기에 있어서, 제어부는, 메타데이터에 포함된 가중치 정보를 기초로, 적어도 하나의 영상 내에서 중첩되는 객체가 표시된 영역의 픽셀값을 기 설정된 가중치에 따라 블렌딩하여, 중첩되는 객체를 포함하는 영상을 변환하고, 변환된 영상들을 맵핑 관계에 관한 정보를 기초로 렌더링하여, VR 영상을 생성한다.
도 1은 일 실시예에 따른 디바이스 및 단말기가 영상을 처리하는 방법을 설명하기 위한 개념도이다.
도 2는 일 실시예에 따른 디바이스가 영상을 처리하는 방법을 설명하기 위한 흐름도이다.
도 3a 내지 도 3d는 일 실시예에 따라 타겟 공간에 대한 적어도 하나의 영상을 획득하는 촬영 디바이스들의 배치 및 형태를 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 디바이스에서 단말기에 전송하는 적어도 하나의 영상 및 메타데이터를 설명하기 위한 도면이다.
도 5는 다른 실시예에 따른 디바이스에서 단말기에 전송하는 적어도 하나의 영상 및 메타데이터를 설명하기 위한 도면이다.
도 6a 내지 도 6c는 또 다른 실시예에 따른 디바이스에서 단말기에 전송하는 적어도 하나의 영상 및 메타데이터를 설명하기 위한 도면이다.
도 7a 내지 도 7c는 일 실시예에 따른 디바이스가 적어도 하나의 영상을 단말기(200)에 전송하는 방법을 설명하기 위한 도면이다.
도 8은 다른 실시예에 따른 디바이스가 적어도 하나의 영상을 단말기에 전송하는 방법을 설명하기 위한 도면이다.
도 9는 또 다른 실시예에 따른 디바이스가 적어도 하나의 영상을 단말기에 전송하는 방법을 설명하기 위한 도면이다.
도 10a 내지 도 10c는 또 다른 실시예에 따른 디바이스가 적어도 하나의 영상을 단말기에 전송하는 방법을 설명하기 위한 도면이다.
도 11은 일 실시예에 따른 디바이스가 적어도 하나의 영상 중 일부를 선택하여 단말기에 전송하는 방법을 설명하기 위한 도면이다.
도 12는 제 1 실시예에 따른 단말기가 영상을 처리하는 방법을 설명하기 위한 흐름도이다.
도 13은 제 2 실시예에 따른 단말기가 영상을 처리하는 방법을 설명하기 위한 흐름도이다.
도 14는 제 3 실시예에 따른 단말기가 영상을 처리하는 방법을 설명하기 위한 흐름도이다.
도 15는 제 4 실시예에 따른 단말기가 영상을 처리하는 방법을 설명하기 위한 흐름도이다.
도 16은 제 5 실시예에 따른 단말기가 영상을 처리하는 방법을 설명하기 위한 흐름도이다.
도 17는 일 실시예에 따른 디바이스의 블록도이다.
도 18 및 19는 일 실시예에 따른 단말기의 블록도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 일 실시예에 따른 디바이스(100) 및 단말기(200)가 영상(10)을 처리하는 방법을 설명하기 위한 개념도이다.
일 실시예에 따른 디바이스(100)는 타겟 공간을 구성하는 객체들 각각에 대한 적어도 하나의 영상(10)을 획득할 수 있다. 여기에서, 타겟 공간은 특정한 환경의 장소 또는 특정한 상황이 행해지는 장소로서, VR(Virtual Reality) 영상으로 구현하고자 하는 공간일 수 있다. 또한, 적어도 하나의 영상은 실사 영상이거나 그래픽 영상일 수 있다. 다만, 이는 일 예일 뿐, 적어도 하나의 영상은 실사 영상과 그래픽 영상이 조합된 영상일 수도 있다.
한편, 타겟 공간을 구성하는 객체들은 타겟 공간을 구성하는 영역, 타겟 공간 내에 존재하는 사물 및 사람 중 적어도 하나를 포함할 수 있다. 예를 들어, 타겟 공간이 전시회장인 경우, 전시회장 내의 벽면, 전시회장 내에 존재하는 적어도 하나의 전시품이 전시회장을 구성하는 객체에 포함될 수 있다. 또한, 다른 예에 따라, 타겟 공간이 경기장인 경우, 경기장 내에 존재하는 시설물 및 사람들에 관한 영상이 경기장을 구성하는 객체에 포함될 수 있다.
일 실시예에 따른 디바이스(100)는 획득된 적어도 하나의 영상(10)을 기초로 타겟 공간에 대한 VR(Virtual Reality) 영상을 생성하는데 이용되는 메타데이터(20)를 생성할 수 있다.
예를 들어, 메타데이터(20)는 타겟 공간에 대한 VR 영상을 생성하는데 이용되는 3차원 메쉬 모델과 적어도 하나의 영상(10) 간의 맵핑 관계에 관한 정보를 포함할 수 있다. 여기에서, 맵핑 관계에 관한 정보는 적어도 하나의 영상(10)이 촬영된 각도, 적어도 하나의 영상(10)을 촬영한 촬영 디바이스들간의 위치, 3차원 메쉬 모델의 타입 및 해상도 중 적어도 하나에 관한 정보를 포함할 수 있으나, 이는 일 실시예일 뿐, 맵핑 관계에 관한 정보가 전술한 예에 한정되는 것은 아니다.
다른 예에 따라, 메타데이터(20)는 적어도 하나의 영상(10)에 대한 화질 보정 정보 및 적어도 하나의 영상들 간에 중첩되는 객체가 표시된 영역에 관한 가중치 정보 중 적어도 하나를 더 포함할 수 있다. 여기에서, 화질 보정 정보는 렌즈 쉐이딩(shading) 보정 파라미터 및 화이트 밸런싱(white balancing) 파라미터 등을 포함할 수 있다. 또한, 가중치 정보는 적어도 하나의 영상 간에 중첩되는 객체가 표시된 픽셀들의 픽셀값 블렌딩에 관한 가중치 값을 나타낼 수 있다. 여기에서, 중첩되는 객체란, 적어도 하나의 영상 간에 촬영된 동일한 객체의 적어도 일부 부분을 나타낼 수 있다.
일 실시예에 따른 디바이스(100)는 적어도 하나의 영상(10) 및 메타데이터(20)를 단말기(200)에 전송할 수 있다. 예를 들어, 디바이스(100)는 단말기(200)로부터 타겟 공간에 대한 VR 영상을 요청하는 사용자 입력을 수신함에 따라, 단말기(200)에 적어도 하나의 영상(10) 및 메타데이터(20)를 전송할 수 있다.
일 실시예에 따른 디바이스(100)는 적어도 하나의 영상(10)을 기초로 VR 영상을 직접 생성하지 않고, 렌더링을 수행하는데 필요한 정보인 메타데이터를 적어도 하나의 영상(10)과 함께 단말기(200)에 전송함으로써, 와핑(warping) 등에 의한 화질 저하를 줄일 수 있다.
일 실시예에 따른 단말기(200)는 디바이스(100)로부터 타겟 공간을 구성하는 객체들 각각이 촬영된 적어도 하나의 영상(10) 및 메타데이터(20)를 수신할 수 있다.
일 실시예에 따른 단말기(200)는 수신한 적어도 하나의 영상(10) 및 메타데이터(20)를 기초로 타겟 공간에 대한 VR 영상(30)을 생성할 수 있다. 예를 들어, 단말기(200)는 메타데이터(20)로부터 타겟 공간에 대한 VR 영상(30)을 생성하는데 이용되는 3차원 메쉬 모델과 적어도 하나의 영상 간의 맵핑 관계에 관한 정보를 획득할 수 있다. 단말기(200)는 획득한 맵핑 정보를 기초로, 적어도 하나의 영상(10)을 렌더링하여, VR 영상(30)을 생성할 수 있다.
일 실시예에 따른 단말기(200)는 생성된 VR 영상(30)을 출력할 수 있다. 또한, 다른 실시예에 따라, 단말기(200)는 외부의 다른 단말기에 생성된 VR 영상(30)을 전송할 수 있다.
한편, 일 실시예에 따른 단말기(200)는 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 단말기(200)는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿 PC, 전자북 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, 스마트 TV, CE(Consumer Electronics) 기기(예컨대, 디스플레이 패널을 갖는 냉장고, 에어컨 등), HMD(Head Mounted Display) 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
도 2는 일 실시예에 따른 디바이스(100)가 영상을 처리하는 방법을 설명하기 위한 흐름도이다.
단계 S210에서, 디바이스(100)는 타겟 공간을 구성하는 객체들 각각이 촬영된 적어도 하나의 영상을 획득한다.
예를 들어, 디바이스(100)는 외부의 촬영 디바이스(미도시)로부터 적어도 하나의 영상(10)을 획득할 수 있다. 다른 예에 따라, 디바이스(100)는 디바이스(100)에 구비된 카메라를 통해, 타겟 공간을 구성하는 객체들 각각을 촬영하여, 적어도 하나의 영상(10)을 획득할 수 있다.
단계 S220에서, 디바이스(100)는 타겟 공간에 대한 VR 영상을 생성하는데 이용되는 3차원 메쉬 모델과 적어도 하나의 영상 간의 맵핑 관계에 관한 정보를 포함하는 메타데이터를 생성한다.
일 실시예에 따른 디바이스(100)는 타겟 공간에 대한 VR 영상을 생성하는데 이용되는 3차원 메쉬 모델의 타입 또는 해상도 등을 결정할 수 있다. 디바이스(100)는 결정된 3차원 메쉬 모델을 기초로, 3차원 메쉬 모델 상에 맵핑되는 적어도 하나의 영상의 위치 등을 결정할 수 있다. 예를 들어, 디바이스(100)는 적어도 하나의 영상이 촬영된 각도 및 적어도 하나의 영상을 촬영한 촬영 디바이스들의 위치 등에 관한 정보를 기초로, 3차원 메쉬 모델 상에 맵핑되는 적어도 하나의 영상의 위치를 결정할 수 있다.
또한, 다른 예에 따라, 디바이스(100)에서 생성되는 메타데이터에는 적어도 하나의 영상의 화질 보정 정보가 더 포함될 수 있다. 예를 들어, 화질 보정 정보에는 렌즈 쉐이딩(shading) 보정 파라미터 및 화이트 밸런싱(white balancing) 파라미터 등이 포함될 수 있다.
또한, 또 다른 예에 따라, 디바이스(100)에서 생성되는 메타데이터에는 적어도 하나의 영상의 가중치 정보가 더 포함될 수도 있다. 가중치 정보는 적어도 하나의 영상에서 중첩되는 객체가 표시된 영역 내 픽셀들의 픽셀값 블렌딩에 관한 가중치 값을 나타낼 수 있다.
단계 S230에서, 디바이스(100)는 적어도 하나의 영상 및 메타데이터를 단말기(200)에 전송한다.
일 실시예에 따른 디바이스(100)는 적어도 하나의 영상 및 메타데이터를 인코딩하여 단말기(200)에 전송할 수 있다.
다른 실시예에 따라, 디바이스(100)는 적어도 하나의 영상의 화질을 보정하는 프로세스를 수행한 후에, 화질이 보정된 적어도 하나의 영상 및 메타데이터를 인코딩하여 단말기(200)에 전송할 수 있다.
또 다른 실시예에 따라, 디바이스(100)는 적어도 하나의 영상 중에서 중첩되는 객체를 포함한 적어도 하나의 영상의 영역을 기 설정된 가중치에 따라 픽셀값을 조합하여, 변환할 수 있다. 디바이스(100)는 변환된 적어도 하나의 영상 및 메타데이터를 인코딩하여 단말기(200)에 전송할 수 있다.
또 다른 실시예에 따라, 디바이스(100)는 적어도 하나의 영상의 화질을 보정하는 프로세스 및 적어도 하나의 영상 중에서 중첩되는 객체가 표시된 영역의 픽셀값을 기 설정된 가중치에 따라 변환하는 프로세스를 수행한 결과 생성된 영상과 메타데이터를 인코딩하여 단말기(200)에 전송할 수도 있다.
다른 실시예에 따라, 디바이스(100)는 적어도 하나의 영상의 화질을 보정하는 프로세스를 수행한 후에, 화질이 보정된 적어도 하나의 영상을 정규화된 카메라 포즈로 새롭게 투영시킨 새로운 영상과, 기존 메타데이터의 카메라 포즈 혹은 맵핑 데이터 항목을 정규화된 카메라 포즈 기반으로 업데이트한 메타데이터를 인코딩하여 단말기(200)에 전송할 수 있다. 이 때 정규화된 카메라 포즈는 각 카메라의 위치는 동일하되 각도 정보만 360로 공간을 균등 분배하도록 배치되는 것을 예로 들 수 있다.
또 다른 실시예에 따라, 디바이스(100)는 적어도 하나의 영상 중에서 중첩되는 객체를 포함한 적어도 하나의 영상의 영역을 기 설정된 가중치에 따라 픽셀값을 조합하여, 변환한 후, 변환된 적어도 하나의 영상을 정규화된 카메라 포즈로 새롭게 투영시킨 새로운 영상과, 기존 메타데이터의 카메라 포즈 혹은 맵핑 데이터 항목을 정규화된 카메라 포즈 기반으로 업데이트한 메타데이터를 인코딩하여 단말기(200)에 전송할 수 있다. 이 때 정규화된 카메라 포즈는 각 카메라의 위치는 동일하되 각도 정보만 360로 공간을 균등 분배하도록 배치되는 것을 예로 들 수 있다.
또 다른 실시예에 따라, 디바이스(100)는 적어도 하나의 영상의 화질을 보정하는 프로세스 및 적어도 하나의 영상 중에서 중첩되는 객체가 표시된 영역의 픽셀값을 기 설정된 가중치에 따라 변환하는 프로세스를 수행한 후, 변환된 적어도 하나의 영상을 정규화된 카메라 포즈로 새롭게 투영시킨 새로운 영상과, 기존 메타데이터의 카메라 포즈 혹은 맵핑 데이터 항목을 정규화된 카메라 포즈 기반으로 업데이트한 메타데이터를 인코딩하여 단말기(200)에 전송할 수 있다. 이 때 정규화된 카메라 포즈는 각 카메라의 위치는 동일하되 각도 정보만 360로 공간을 균등 분배하도록 배치되는 것을 예로 들 수 있다.
도 3a 내지 도 3d는 일 실시예에 따라 타겟 공간에 대한 적어도 하나의 영상을 획득하는 촬영 디바이스들의 배치 및 형태를 설명하기 위한 도면이다.
일 실시예에 따른 촬영 디바이스는 도 1을 참고하여 설명한 디바이스(100)의 외부에 독립적으로 존재하거나, 디바이스(100)를 구성하는 하드웨어 유닛들의 일부로서 존재할 수도 있다. 여기에서, 촬영 디바이스는 예를 들어, 카메라일 수 있다. 일 실시예에 따른 디바이스(100)는 촬영 디바이스들의 배치 및 촬영 각도 등에 관한 촬영 파라미터를 적어도 하나의 영상과 함께 획득할 수 있다. 디바이스(100)는 획득된 촬영 파라미터를 기초로, 3차원 메쉬 모델 상에 적어도 하나의 영상의 픽셀값이 맵핑되는 위치를 결정할 수 있다. 이에 따라, 디바이스(100)는 촬영 디바이스들의 배치 및 촬영 각도에 제한을 받지 않고, VR 영상을 생성하는데 필요한 맵핑 정보를 생성할 수 있다.
도 3a를 참고하면, 2개의 촬영 디바이스들이 각각 타겟 공간을 구성하는 객체들의 영상을 촬영할 수 있다. 예를 들어, 제 1 촬영 디바이스(311)는 기 설정된 기준점을 중심으로 0도에서 200도 사이에 존재하는 타겟 공간 내의 객체들을 촬영하고, 제 2 촬영 디바이스(313)는 기 설정된 기준점을 중심으로 180도에서 380도(20도에 대응) 사이에 존재하는 타겟 공간 내의 객체들을 촬영할 수 있다.
도 3b를 참고하면, N개의 촬영 디바이스들(321, 323, 325, 327)이 각각 타겟 공간을 구성하는 객체들의 영상을 촬영할 수 있다. 예를 들어, N개의 촬영 디바이스들(321, 323, 325, 327) 각각은 타겟 공간을 구성하는 N개의 영역들 내에 존재하는 객체들 각각을 촬영할 수 있다. 여기에서, N개의 촬영 디바이스들(321, 323, 325, 327)은 각각 일부 객체가 중첩되도록 영상을 촬영할 수 있다. N개의 촬영 디바이스들(321, 323, 325, 327)에서 각각 촬영된 영상들은 스티칭을 통해, 타겟 공간에 대한 360도의 영역을 모두 표현 가능한 VR 영상으로 생성될 수 있다.
도 3c를 참고하면, 복수의 촬영 디바이스들(331, 333, 335, 337, 339)의 배치는 타겟 공간 내에 존재하는 모든 객체들에 대한 영상을 획득할 수 있는 범위 내에서 변경될 수 있다. 예를 들어, 제 1 촬영 디바이스(331), 제 2 촬영 디바이스(333), 제 3 촬영 디바이스(335), 제 4 촬영 디바이스(337) 및 제 5 촬영 디바이스(339)에서 각각 촬영된 영상들을 조합한 결과, 타겟 공간을 구성하는 360도 영역 내에 존재하는 모든 객체들에 대한 영상이 획득될 수 있다.
도 3d를 참고하면, 촬영 디바이스들(341, 343, 345, 347)은 사각 형태의 카메라일 수 있다. 일 실시예에 따른 촬영 디바이스는 획득되는 영상의 구조를 왜곡하지 않는 범위 내에서, 촬영 디바이스는 다양한 형태의 카메라일 수 있고, 획득되는 영상은 광각, 협각 등으로 다양할 수 있다.
일 실시예에 따른 디바이스(100)는 타겟 공간을 구성하는 객체들 각각이 촬영된 영상들의 촬영 각도 및 촬영 디바이스의 위치 등에 관한 정보를 기초로, VR 영상을 만들기 위한 3차원 메쉬 모델과 영상들 간의 맵핑 관계를 결정할 수 있다.
도 4는 일 실시예에 따른 디바이스(100)에서 단말기(200)에 전송하는 적어도 하나의 영상 및 메타데이터를 설명하기 위한 도면이다.
일 실시예에 따른 디바이스(100)는 타겟 공간을 구성하는 객체들 각각이 촬영된 적어도 하나의 영상(410)을 획득할 수 있다. 디바이스(100)는 획득된 적어도 하나의 영상(410)으로부터 타겟 공간에 대한 VR 영상을 생성하는데 이용되는 메타데이터를 생성할 수 있다.
일 실시예에 따라, 디바이스(100)에서 생성되는 메타데이터에는 화질 보정 정보(420), 가중치 정보(430), 3D 메쉬 모델 정보(440) 및 맵핑 정보(450)가 포함될 수 있다.
예를 들어, 디바이스(100)는 적어도 하나의 영상(410)의 노이즈 등을 제거하고, 화질을 개선하기 위해, 렌즈 쉐이딩(shading) 보정 파라미터 및 화이트 밸런싱(white balancing) 파라미터 등을 포함하는 화질 보정 정보(420)를 결정할 수 있다.
또한, 디바이스(100)는 적어도 하나의 영상(410)을 스티칭(stitching)하는 경우, 중첩되는 객체를 식별할 수 있다. 예를 들어, 디바이스(100)는 타겟 공간의 제 1 영역이 촬영된 제 1 영상과 제 2 영역이 촬영된 제 2 영상 간에 중첩되는 객체를 식별할 수 있다. 디바이스(100)는 제 1 영상과 제 2 영상 간에 중첩되는 객체에 대한 픽셀값을, 제 1 영상의 픽셀값에 대한 가중치 w1 및 제 2 영상의 픽셀값에 대한 가중치 w2를 기초로 결정할 수 있다. 이러한 가중치 정보는 블렌딩(blending) 마스크의 형태로 존재할 수 있다.
디바이스(100)는 적어도 하나의 영상(410)을 타겟 공간에 대한 360도 VR 영상으로 렌더링하는데 기초가 되는 3d 메쉬 모델 정보(440)를 결정할 수 있다. 예를 들어, 3d 메쉬 모델 정보(440)에는 3d 메쉬 모델의 형태 및 해상도 등에 관한 정보가 포함될 수 있다.
또한, 디바이스(100)는 적어도 하나의 영상(410)과 3d 메쉬 모델 간의 맵핑 관계를 나타내는 맵핑 정보(450)를 결정할 수 있다. 맵핑 정보(450)에는 적어도 하나의 영상(410)에 포함된 픽셀들 각각이 3d 메쉬 모델 상에 맵핑되는 위치에 관한 정보가 포함될 수 있다.
일 실시예에 따른 디바이스(100)는 적어도 하나의 영상(410)과 화질 보정 정보(420), 가중치 정보(430), 3d 메쉬 모델 정보(440) 및 맵핑 정보(450)가 포함된 메타데이터를 단말기(200)에 전송할 수 있다. 단말기(200)는 디바이스(100)로부터 수신한 메타데이터를 기초로 적어도 하나의 영상(410)으로부터 타겟 공간에 대한 VR 영상을 렌더링할 수 있다.
도 5는 다른 실시예에 따른 디바이스(100)에서 단말기(200)에 전송하는 적어도 하나의 영상 및 메타데이터를 설명하기 위한 도면이다.
일 실시예에 따른 디바이스(100)는 타겟 공간을 구성하는 객체들 각각이 촬영된 적어도 하나의 영상(510)을 획득할 수 있다. 디바이스(100)는 획득된 적어도 하나의 영상(510)으로부터 타겟 공간에 대한 VR 영상을 생성하는데 이용되는 메타데이터를 생성할 수 있다. 예를 들어, 메타데이터에는 화질 보정 정보(520), 가중치 정보(530), 3D 메쉬 모델 정보(550) 및 맵핑 정보(560)가 포함될 수 있다.
일 실시예에 따른 디바이스(100)는 적어도 하나의 영상(510)으로부터 타겟 공간에 대한 VR 영상을 생성하는데 수행되어야 하는 복수의 프로세스들 중 일부를 디바이스(100)에서 수행할 수 있다. 또한, 디바이스(100)는 나머지 프로세스를 수행하는데 필요한 정보를 메타데이터로서, 일부 프로세스가 수행된 적어도 하나의 영상과 함께 단말기(200)에 전송할 수 있다.
도 5를 참고하면, 디바이스(100)는 화질 보정 정보(520)에 기초하여, 적어도 하나의 영상(510)의 화질을 보정하는 프로세스를 수행할 수 있다. 예를 들어, 디바이스(100)는 적어도 하나의 영상(510)에 대해 렌즈 쉐이딩에 의한 픽셀값의 노이즈를 보정하거나, 픽셀값의 화이트 밸런싱을 조절할 수 있다.
또한, 디바이스(100)는 화질이 보정된 적어도 하나의 영상에 가중치 정보
(530)를 적용하여 적어도 하나의 영상에서 중첩되는 객체의 픽셀값을 변환할 수 있다.
일 실시예에 따른 디바이스(100)는 화질을 보정하는 프로세스 및 가중치 정보를 적용하는 프로세스가 수행된 적어도 하나의 영상(540)을 3d 메쉬 모델 정보(550) 및 맵핑 정보(560)를 포함하는 메타데이터와 함께 단말기(200)에 전송할 수 있다.
일 실시예에 따른 디바이스(100)는 일부 프로세스를 디바이스(100)에서 수행한 후에, 단말기(200)에 전송함으로써, 단말기(200)의 연산량을 줄일 수 있을 뿐만 아니라, 디바이스(100)에서 일련의 프로세스들을 모두 수행하는 경우 발생되는 왜곡 문제를 줄일 수 있다.
도 6a는 또 다른 실시예에 따른 디바이스(100)에서 단말기(200)에 전송하는 적어도 하나의 영상 및 메타데이터를 설명하기 위한 도면이다.
일 실시예에 따른 디바이스(100)는 타겟 공간을 구성하는 객체들 각각이 촬영된 적어도 하나의 영상(610)을 획득할 수 있다. 디바이스(100)는 획득된 적어도 하나의 영상(610)으로부터 타겟 공간에 대한 VR 영상을 생성하는데 이용되는 메타데이터를 생성할 수 있다. 예를 들어, 메타데이터에는 화질 보정 정보(620), 가중치 정보(630), 3D 메쉬 모델 정보 및 맵핑 정보(650)가 포함될 수 있다. 다만, 이는 일 실시예일 뿐, 3D 메쉬 모델 정보가 디바이스(100)와 단말기(200)간에 미리 설정되어 있는 경우, 메타데이터에 3D 메쉬 모델 정보가 포함되지 않을 수도 있다.
일 실시예에 따른 디바이스(100)는 적어도 하나의 영상(610)으로부터 타겟 공간에 대한 VR 영상을 생성하는데 수행되어야 하는 복수의 프로세스들 중 일부를 디바이스(100)에서 수행할 수 있다. 또한, 디바이스(100)는 나머지 프로세스를 수행하는데 필요한 정보를 메타데이터로서, 일부 프로세스가 수행된 적어도 하나의 영상과 함께 단말기(200)에 전송할 수 있다.
도 6a를 참고하면, 디바이스(100)는 화질 보정 정보(620)에 기초하여, 적어도 하나의 영상(610)의 화질을 보정하는 프로세스를 수행할 수 있다. 예를 들어, 디바이스(100)는 적어도 하나의 영상(610)에 대해 렌즈 쉐이딩에 의한 픽셀값의 노이즈를 보정하거나, 픽셀값의 화이트 밸런싱을 조절할 수 있다.
또한, 디바이스(100)는 화질이 보정된 적어도 하나의 영상에 가중치 정보
(630)를 적용하여 적어도 하나의 영상에서 중첩되는 객체의 픽셀값을 변환할 수 있다.
일 실시예에 따른 디바이스(100)는 화질을 보정하는 프로세스 및 가중치 정보를 적용하는 프로세스가 수행된 적어도 하나의 영상(640)을 맵핑 정보(650)를 포함하는 메타데이터와 함께 단말기(200)에 전송할 수 있다. 여기에서, 맵핑 정보(650)는 변환된 적어도 하나의 영상(640)에 포함된 픽셀들이 3d 메쉬 모델 상에 맵핑되는 위치 정보가 포함될 수 있다. 또한, 도 6a에서는 3d 메쉬 모델 정보가 단말기(200)에 미리 저장되어 있거나 파라미터화되어 구체적인 정보가 있지 않아도 어느 단말에서든 생성할 수 있는 것으로 가정한다.
일 실시예에 따른 디바이스(100)는 일부 프로세스를 디바이스(100)에서 수행한 후에, 단말기(200)에 전송함으로써, 단말기(200)의 연산량을 줄일 수 있을 뿐만 아니라, 디바이스(100)에서 일련의 프로세스들을 모두 수행하는 경우 발생되는 왜곡 문제를 줄일 수 있다.
도 6b는 또 다른 실시예에 따른 디바이스(100)에서 단말기(200)에 전송하는 적어도 하나의 영상 및 메타데이터를 설명하기 위한 도면이다. 이는 도 6a와 동일한 실시예이나 맵핑 정보를 직접적으로 메타데이터에 저장하지 않고 메타데이터를 계산할 수 있는 정보(660)로 대체할 수 있다. 예를 들어, 도 6b에 도시된 바와 같이 카메라의 위치 정보(662) 및 각도 정보(664)가 메타데이터를 계산할 수 있는 정보(660)에 포함될 수 있다. 다만, 이는 일 실시예일 뿐, 메타데이터를 계산할 수 있는 정보(660)가 전술한 예에 한정되는 것은 아니다.
도 6c는 또 다른 실시예에 따른 디바이스(100)에서 단말기(200)에 전송하는 적어도 하나의 영상 및 메타데이터를 설명하기 위한 도면이다. 이는 도 6b와 동일한 실시 예이나 디바이스(100)는 적어도 앞선 실시예에서처럼 렌즈 쉐이딩에 의한 픽셀값의 노이즈를 보정하거나 화이트 밸런싱을 조절하거나 가중치 정보를 이용하여 중첩되는 객체의 픽셀값을 조절한 뒤, 변환된 영상을 정규화된 카메라 포즈로 새롭게 투영시킨 새로운 영상으로 변환할 수 있다. 또한, 단말기(200)에 전송된 메타데이터에 포함된 카메라 포즈 또는 맵핑 데이터 정보는 정규화된 카메라 포즈 정보(670)를 기초로 변환될 수 있다. 여기에서, 정규화된 카메라 포즈 정보(670)는 동일한 위치(672)에서 촬영 각도가 360도 공간을 균등 분배한 각도(674)에 대응되도록 배치된 카메라의 포즈를 나타낸다.
한편, 여기에서, 디바이스(100)에서 수행되는 일부 프로세스와 단말기(200)에 전송되는 메타데이터에 포함된 정보가 도 4 내지 도 6c를 참고하여 전술한 예에 한정되는 것은 아니다.
도 7a 내지 도 7c는 일 실시예에 따른 디바이스(100)가 적어도 하나의 영상을 단말기(200)에 전송하는 방법을 설명하기 위한 도면이다.
일 실시예에 따른 디바이스(100)는 단말기(200)에 전송되는 적어도 하나의 영상을 편집할 수 있다. 예를 들어, 디바이스(100)는 적어도 하나의 영상의 형태는 유지하되, 적어도 하나의 영상의 크기 및 배치 등을 변경할 수 있다.
도 7a를 참고하면, 디바이스(100)는 제 1 영상(712) 및 제 2 영상(714)을 포함하는 적어도 하나의 영상(710)의 크기를 줄일 수 있다. 디바이스(100)는 크기가 줄어든 제 1 영상(722) 및 크기가 줄어든 제 2 영상(724)을 포함하는 적어도 하나의 영상(720)을 메타데이터와 함께 단말기(200)에 전송할 수 있다.
도 7b를 참고하면, 디바이스(100)는 제 1 영상(732) 및 제 2 영상(734)을 포함하는 적어도 하나의 영상(730)의 일부 영역을 크롭핑(cropping)할 수 있다. 일 실시예에 따른 디바이스(100)는 제 1 영상(732) 및 제 2 영상(734)에 포함된 객체들 중 일부 객체가 서로 중첩되는 경우, 중첩되는 객체가 표시된 제 1 영상(732) 및 제 2 영상(732) 각각의 영역을 크롭핑(cropping)할 수 있다. 예를 들어, 디바이스(100)는 제 1 영상(732)이 타겟 공간의 0도에서 230도 영역 내에 존재하는 객체들을 촬영한 영상이고, 제 2 영상(734)이 타겟 공간의 180도에서 410도 영역 내에 존재하는 객체들을 촬영한 영상인 경우, 제 1 영상(732)의 180도에서 230도 영역 및 제 2 영상(734)의 360도에서 410도 영역 내에 존재하는 객체들이 표시된 영상의 영역을 크롭핑할 수 있다.
도 7c를 참고하면, 디바이스(100)는 제 1 영상(752) 및 제 2 영상(754) 포함하는 적어도 하나의 영상(750)의 배치를 변경할 수 있다. 예를 들어, 디바이스(100)는 제 1 영상(752) 및 제 2 영상(754)의 배치를 상하좌우 중 적어도 한 방향으로 변경할 수 있다. 디바이스(100)는 배치가 변경된 적어도 하나의 영상(760)을 메타데이터와 함께 단말기(200)에 전송할 수 있다.
일 실시예에 따른 디바이스(100)는 적어도 하나의 영상을 편집하여 단말기(200)에 전송함으로써, 디바이스(100)로부터 단말기(200)에 전송되어야 하는 데이터의 양을 감소시킬 수 있다.
도 8은 다른 실시예에 따른 디바이스(100)가 적어도 하나의 영상(810, 820)을 단말기(200)에 전송하는 방법을 설명하기 위한 도면이다.
일 실시예에 따른 디바이스(100)는 단말기(200)에 전송되는 적어도 하나의 영상을 편집할 수 있다. 여기에서, 디바이스(100)는 카메라로부터 획득된 적어도 하나의 영상을 편집하거나 전술한 화질 보정 프로세스 또는 블렌딩 프로세스 등이 수행된 적어도 하나의 영상을 편집할 수 있다.
도 8을 참고하면, 디바이스(100)는 타겟 공간에 대한 VR 영상이 단말기(200)에서 렌더링 되도록 하기 위해, 제 1 영상(810) 및 제 2 영상(820)을 단말기(200)에 전송할 수 있다. 일 실시예에 따른 디바이스(100)는 단말기(200)에 전송되는 데이터 량을 줄이기 위해, 제 1 영상(810) 및 제 2 영상(820)을 편집할 수 있다.
예를 들어, 디바이스(100)는 제 1 영상(810) 및 제 2 영상(820)이 원형임에 따라 발생되는 여백 영역을 최소화하기 위해, 제 1 영상(810) 및 제 2 영상(820)의 일부를 크롭핑하고, 크롭핑된 영역을 다른 위치에 배치할 수 있다. 디바이스(100)는 제 1 영상(810)의 제 1 상측 영역(812), 제 1 우측 영역(814), 제 1 하측 영역(816) 및 제 1 좌측 영역(818)을 크롭핑하여, 다른 위치에 배치할 수 있다. 또한, 디바이스(100)는 제 2 영상(820)의 제 2 상측 영역(822), 제 2 우측 영역(824), 제 2 하측 영역(826) 및 제 2 좌측 영역(828)을 크롭핑하여, 다른 위치에 배치할 수 있다.
한편, 도 8에 도시된 크롭핑된 영역들(812, 814, 816, 818, 822, 824, 826, 828)이 배치되는 위치는 일 예일 뿐, 디바이스(100)는 다양한 위치에 크롭핑된 영역들(812, 814, 816, 818, 822, 824, 826, 828)을 배치할 수 있다.
일 실시예에 따른 디바이스(100)는 제 1 영상(810) 및 제 2 영상(820) 각각의 일부 영역을 재배치함으로써, 단말기(200)에 전송되는 적어도 하나의 영상(810, 820)의 코딩 효율을 높일 수 있다.
도 9는 또 다른 실시예에 따른 디바이스(100)가 적어도 하나의 영상(910, 920)을 단말기(200)에 전송하는 방법을 설명하기 위한 도면이다.
일 실시예에 따른 디바이스(100)는 단말기(200)에 전송되는 적어도 하나의 영상을 편집할 수 있다. 여기에서, 디바이스(100)는 카메라로부터 획득된 적어도 하나의 영상을 편집하거나 전술한 화질 보정 프로세스 또는 블렌딩 프로세스 등이 수행된 적어도 하나의 영상을 편집할 수 있다.
도 9를 참고하면, 예를 들어, 디바이스(100)는 제 1 영상(910) 및 제 2 영상(920)이 원형임에 따라 발생되는 여백 영역을 최소화하기 위해, 제 1 영상(910) 및 제 2 영상(920)에서 여백 영역을 제외한 영상 영역(912, 914)을 띠 형태로 편집할 수 있다. 디바이스(100)는 띠 형태로 편집된 제 1 영상 영역(912)과 띠 형태로 편집된 제 2 영상 영역(914)을 사각형 영상의 구조에 대응되도록 배치할 수 있다.
일 실시예에 따른 디바이스(100)는 사각형 영상의 구조에 대응되도록 배치된 영상을 단말기(200)에 전송할 수 있다. 일 실시예에 따른 디바이스(100)는 제 1 영상(910) 및 제 2 영상(920) 각각의 영상 영역(912, 924)을 띠 형태로 편집하여 재배치함으로써, 단말기(200)에 전송되는 적어도 하나의 영상의 코딩 효율을 높일 수 있다.
도 10a 내지 도 10c는 또 다른 실시예에 따른 디바이스(100)가 적어도 하나의 영상(1010, 1020)을 단말기(200)에 전송하는 방법을 설명하기 위한 도면이다.
일 실시예에 따른 디바이스(100)는 단말기(200)에 전송되는 적어도 하나의 영상을 편집할 수 있다. 여기에서, 디바이스(100)는 카메라로부터 획득된 적어도 하나의 영상을 편집하거나 전술한 화질 보정 프로세스 또는 블렌딩 프로세스 등이 수행된 적어도 하나의 영상을 편집할 수 있다.
도 10a를 참고하면, 디바이스(100)에서 단말기(200)로 전송되는 제 1 영상(1010) 및 제 2 영상(1020)에는 데이터가 포함되지 않은 여백 영역이 존재할 수 있다. 또한, 제 1 영상(1010) 및 제 2 영상(1020) 간에는 서로 중첩되는 객체가 촬영된 중첩 영역들(1012, 1022)이 포함될 수 있다. 한편, 제 1 영상(1010) 및 제 2 영상(1020)에서 중첩되지 않은 객체가 포함된 영상의 영역들은 고유 영상 영역(1014, 1024)으로 설명하도록 한다.
일 실시예에 따른 디바이스(100)는 제 1 영상(1010) 및 제 2 영상(1020)에서 중첩 영역들(1012, 1022)을 효과적으로 배치함으로써, 디바이스(100)에서 단말기(200)로 전송되는 영상들 내에 포함된 여백 영역들을 최소화할 수 있다. 이에 따라, 디바이스(100)는 전송되는 영상의 코딩 효율을 높일 수 있다.
예를 들어, 디바이스(100)는 제 1 영상(1010) 및 제 2 영상(1020)에서 각각 중첩되는 객체가 촬영된 제 1 중첩 영역(1012) 및 제 2 중첩 영역(1022)을 결정할 수 있다. 디바이스(100)는 제 1 중첩 영역(1012) 및 제 2 중첩 영역(1022)을 띠 형태로 분리하여, 단말기(200)에 송신되는 영상이 사각형의 구조를 이루도록 배치할 수 있다. 이에 따라, 디바이스(100)에서 단말기(200)로 전송되는 영상의 여백 영역이 감소하여 코딩 효율이 증가할 수 있다.
도 10b를 참고하면, 디바이스(100)는 제 1 영상(1010) 및 제 2 영상(1020)에 포함된 중첩 영역들(1012, 1022)을 기 설정된 가중치에 따라 블랜딩(blending)할 수 있다. 예를 들어, 디바이스(100)는 제 1 중첩 영역(1012)에 포함된 픽셀들의 픽셀값과 제 2 중첩 영역(1022)에 포함된 픽셀들의 픽셀값을 기 설정된 가중치에 따라 합산할 수 있다.
일 실시예에 다른 디바이스(100)는 블랜딩된 중첩 영역(1032)과 제 1 고유 영상 영역(1014) 및 제 2 고유 영상 영역(1024)을 사각형 구조로 배치하여, 사각형 구조의 영상을 단말기(200)에 전송할 수 있다.
도 10c를 참고하면, 디바이스(100)는 제 1 영상(1010) 및 제 2 영상(1020)에 포함된 중첩 영역들(1012, 1022)을 기 설정된 가중치에 따라 블랜딩(blending)하여 생성된 블랜딩된 중첩 영역(1032)을 편집할 수 있다.
일 실시예에 따른 디바이스(100)는 블랜딩된 중첩 영역(1032)의 크기나 배치를 변경할 수 있다. 예를 들어, 디바이스(100)는 블랜딩된 중첩 영역(1032)의 크기를 줄여서, 축소된 중첩 영역(1034)을 생성할 수 있다. 다른 예에 따라, 디바이스(100)는 블랜딩된 중첩 영역(1032)의 일부를 재배치하여, 재배치된 중첩 영역(1036)을 생성할 수 있다.
일 실시예에 따른 디바이스(100)는 축소된 중첩 영역(1034) 또는 재배치된 중첩 영역(1036)과 제 1 고유 영상 영역(1014) 및 제 2 고유 영상 영역(1024)을 포함한 사각형 구조의 영상을 단말기(200)에 전송할 수 있다.
도 11은 일 실시예에 따른 디바이스(100)가 적어도 하나의 영상(1110) 중 일부를 선택하여 단말기(200)에 전송하는 방법을 설명하기 위한 도면이다.
일 실시예에 따른 디바이스(100)는 획득된 적어도 하나의 영상(1110) 중 일부를 선택할 수 있다. 예를 들어, 디바이스(100)는 단말기(200)의 사용자가 관심을 갖는 타겟 공간의 객체에 대한 관심 객체 정보를 획득할 수 있다. 관심 객체 정보는 단말기(200)에서 사용자의 시선이나 동작의 변화를 감지하여 자동적으로 생성되거나 사용자 입력을 기초로 생성될 수 있다. 단말기(200)는 생성된 관심 객체 정보를 디바이스(100)에 전송할 수 있다. 다만, 이는 일 실시예일 뿐, 디바이스(100)에서 획득된 적어도 하나의 영상(1110) 중 일부를 선택하는 방법이 이에 한정되는 것은 아니다.
도 11을 참고하면, 일 예에 따른 디바이스(100)는 적어도 하나의 영상(1110) 중 제 1 방향에 위치한 촬영 디바이스에서 촬영된 제 1 영상(1112)을 선택할 수 있다. 예를 들어, 디바이스(100)는 단말기(200)로부터 사용자의 시선이 제 1 방향을 향해 있다는 정보를 수신한 경우, 적어도 하나의 영상(1110) 중 제 1 방향에 대응되는 제 1 영상(1112)을 선택할 수 있다.
다른 예에 따라, 디바이스(100)는 적어도 하나의 영상(1110) 중 제 2 방향에 위치한 촬영 디바이스에서 촬영된 제 2 영상(1114)을 선택할 수 있다. 예를 들어, 디바이스(100)는 단말기(200)로부터 사용자의 시선이 제 2 방향을 향해 있다는 정보를 수신한 경우, 적어도 하나의 영상(1110) 중 제 1 방향에 대응되는 제 2 영상(1114)을 선택할 수 있다.
다만, 이는 일 실시예일 뿐 디바이스(100)는 단말기(200)로부터 획득한 사용자의 관심 객체 정보에 따라 적어도 하나의 영상(1110)에서 선택되는 부분이 결정될 수 있다. 예를 들어, 디바이스(100)는 적어도 하나의 영상(1110)에서 제 1 영상(1112)과 제 2 영상(114)의 경계 영역을 포함하는 부분(1116)을 선택할 수 있다. 다른 예에 따라, 디바이스(100)는 제 1 영상(1112)과 제 2 영상(1114)의 상단 영역을 포함하는 부분(1118)을 선택할 수도 있다.
일 실시예에 따른 디바이스(100)는 선택된 객체의 영상 및 선택된 객체의 영상에 관한 메타데이터를 단말기(200)에 전송할 수 있다. 다른 실시예에 따라, 디바이스(100는 선택된 객체의 영상에 전술한 화질 보정 프로세스 또는 블렌딩 프로세스 등을 적용하여, 선택된 객체의 영상을 변환할 수 있다. 디바이스(100)는 변환된 영상과 선택된 객체에 관한 메타데이터를 단말기(200)에 전송할 수 있다.
한편, 일 실시예에 따른 디바이스(100)는 단말기(200)로부터 획득한 관심 객체 정보를 기초로, 적어도 하나의 영상(1110)에서 관심 객체에 해당하는 영역과, 관심 객체에 해당하지 않는 영역의 인코딩 품질을 상이하게 결정하여 코딩 효율을 높일 수 있다.
도 12는 제 1 실시예에 따른 단말기(200)가 영상을 처리하는 방법을 설명하기 위한 흐름도이다.
단계 S1210에서, 단말기(200)는 디바이스(100)로부터 타겟 공간을 구성하는 객체들 각각이 촬영된 적어도 하나의 영상과 적어도 하나의 영상에 관한 메타데이터를 획득한다.
일 실시예에 따른 단말기(200)는 타겟 공간의 가상 영상을 렌더링하기 위해, 디바이스(100)에 적어도 하나의 영상과 적어도 하나의 영상에 관한 메타데이터를 요청할 수 있다. 예를 들어, 단말기(200)는 사용자로부터 타겟 공간을 선택하는 사용자 입력을 수신하는 경우, 디바이스(100)에 적어도 하나의 영상과 적어도 하나의 영상에 관한 메타데이터를 요청할 수 있다.
일 실시예에 따른 단말기(200)는 기 설정된 통신 세션을 통해 디바이스(100)로부터 타겟 공간을 구성하는 객체들 각각이 촬영된 적어도 하나의 영상과 적어도 하나의 영상에 관한 메타데이터를 수신할 수 있다. 또한, 단말기(200)는 실시간으로 적어도 하나의 영상 및 적어도 하나의 영상에 관한 메타데이터를 수신할 수 있다.
한편, 여기에서 획득된 적어도 하나의 영상은 타겟 공간을 구성하는 객체들 각각이 촬영된 영상에 화질 보정 프로세스 및 블렌딩 프로세스 등의 후처리를 적용한 결과 생성된 영상일 수 있다.
단계 S1220에서, 단말기(200)는 메타데이터로부터 타겟 공간에 대한 VR 영상을 생성하는데 이용되는 3차원 메쉬 모델과 적어도 하나의 영상 간의 맵핑 관계에 관한 정보를 획득한다.
일 실시예에 따른 단말기(200)는 메타데이터를 파싱하여, 맵핑 관계에 관한 정보를 획득할 수 있다. 여기에서, 맵핑 관계에 관한 정보는 적어도 하나의 영상에 포함된 픽셀들 각각이 3차원 메쉬 모델 상에 맵핑되는 위치에 관한 정보를 포함할 수 있다.
단계 S1230에서, 단말기(200)는 적어도 하나의 영상을 맵핑 관계에 관한 정보를 기초로 렌더링하여 타겟 공간에 대한 VR 영상을 생성한다.
일 실시예에 따른 단말기(200)는 맵핑 관계에 관한 정보를 기초로, 적어도 하나의 영상을 3차원 메쉬 모델의 형태에 따라 렌더링할 수 있다. 예를 들어, 단말기(200)는 적어도 하나의 영상에 포함된 픽셀들을 맵핑 관계에 관한 정보에 따라, 3차원 메쉬 모델 상에 맵핑하여, 타겟 공간에 대한 VR 영상을 생성할 수 있다.
또한, 여기에서 VR 영상은 정지 영상 및 동영상 중 적어도 하나를 포함할 수 있다.
단계 S1240에서, 단말기(200)는 생성된 VR 영상을 출력한다.
일 실시예에 따른 단말기(200)는 생성된 VR 영상을 표시할 수 있다. 또한, 다른 실시예에 따라 단말기(200)는 사용자의 시선을 감지하여, 감지된 사용자의 시선에 대응되는 VR 영상의 적어도 일부 영역을 출력할 수 있다. 한편, 단말기(200)는 HMD(Head Mound Display) 장치 등과 결합하여, HMD 장치를 통해 생성된 VR 영상을 출력할 수도 있다.
도 13은 제 2 실시예에 따른 단말기(200)가 영상을 처리하는 방법을 설명하기 위한 흐름도이다.
단계 S1310에서, 단말기(200)는 디바이스(100)로부터 타겟 공간을 구성하는 객체들 각각이 촬영된 적어도 하나의 영상과 적어도 하나의 영상에 관한 메타데이터를 획득할 수 있다.
여기에서, 적어도 하나의 영상은 타겟 공간을 구성하는 객체들 각각이 촬영된 적어도 하나의 영상에 블렌딩 프로세스 등의 후처리가 적용된 영상일 수도 있다.
단계 S1320에서, 단말기(200)는 메타데이터에 포함된 화질 보정 정보를 기초로 적어도 하나의 영상의 화질을 보정할 수 있다.
일 실시예에 따른 단말기(200)는 메타데이터를 파싱하여, 화질 보정 정보를 획득할 수 있다. 여기에서, 화질 보정 정보에는 렌즈 쉐이딩(shading) 보정 파라미터 및 화이트 밸런싱(white balancing) 파라미터 등이 포함될 수 있다. 또한, 단말기(200)는 획득된 화질 보정 정보를 이용하여, 적어도 하나의 영상 각각에 포함된 픽셀들의 픽셀값을 보정할 수 있다.
단계 S1330에서, 단말기(200)는 메타데이터로부터 타겟 공간에 대한 VR 영상을 생성하는데 이용되는 3차원 메쉬 모델과 적어도 하나의 영상 간의 맵핑 관계에 관한 정보를 획득할 수 있다.
한편, 단계 S1330은 도 12를 참고하여 전술한 단계 S1220과 대응될 수 있다.
단계 S1340에서, 단말기(200)는 화질이 보정된 적어도 하나의 영상을 맵핑 관계에 관한 정보를 기초로 렌더링하여, 타겟 공간에 대한 VR 영상을 생성할 수 있다.
일 실시예에 따른 단말기(200)는 화질이 보정된 적어도 하나의 영상에 포함된 픽셀들을 맵핑 관계에 관한 정보에 따라, 3차원 메쉬 모델 상에 맵핑하여, 타겟 공간에 대한 VR 영상을 생성할 수 있다.
단계 S1350에서, 단말기(200)는 생성된 VR 영상을 출력할 수 있다.
한편, 단계 S1350은 도 12를 참고하여 전술한 단계 S1240과 대응될 수 있다.
도 14는 제 3 실시예에 따른 단말기(200)가 영상을 처리하는 방법을 설명하기 위한 흐름도이다.
단계 S1410에서, 단말기(200)는 디바이스(100)로부터 타겟 공간을 구성하는 객체들 각각이 촬영된 적어도 하나의 영상과 적어도 하나의 영상에 관한 메타데이터를 획득할 수 있다.
여기에서, 적어도 하나의 영상은 타겟 공간을 구성하는 객체들 각각이 촬영된 적어도 하나의 영상에 화질 보정 프로세스 등의 후처리가 적용된 영상일 수도 있다.
단계 S1420에서, 단말기(200)는 메타데이터에 포함된 가중치 정보를 기초로 중첩되는 객체가 표시된 영상 내 픽셀의 픽셀값을 기 설정된 가중치에 따라 블렌딩하여, 적어도 하나의 영상을 변환할 수 있다. 여기에서, 가중치 정보는 적어도 하나의 영상 간에 중첩되는 객체에 포함된 픽셀들의 픽셀값 블렌딩에 관한 가중치 값을 나타낼 수 있다.
일 실시예에 따른 단말기(200)는 메타데이터를 파싱하여, 가중치 정보를 획득할 수 있다. 단말기(200)는 제 1 영상에서 중첩되는 객체가 표시된 영역에 포함된 픽셀 a의 가중치 및 제 2 영상에서 중첩되는 객체가 표시된 영역에 포함된 픽셀 b의 가중치를 각각 w1 및 w2의 가중치에 따라 블렌딩할 수 있다.
단계 S1430에서, 단말기(200)는 메타데이터로부터 타겟 공간에 대한 VR 영상을 생성하는데 이용되는 3차원 메쉬 모델과 적어도 하나의 영상 간의 맵핑 관계에 관한 정보를 획득할 수 있다.
한편, 단계 S1430은 도 12를 참고하여 전술한 단계 S1220과 대응될 수 있다.
단계 S1440에서, 단말기(200)는 변환된 적어도 하나의 영상을 맵핑 관계에 관한 정보를 기초로 렌더링하여, 타겟 공간에 대한 VR 영상을 생성할 수 있다.
일 실시예에 따른 단말기(200)는 블렌딩 된 적어도 하나의 영상에 포함된 픽셀들을 맵핑 관계에 관한 정보에 따라, 3차원 메쉬 모델 상에 맵핑하여, 타겟 공간에 대한 VR 영상을 생성할 수 있다.
단계 S1450에서, 단말기(200)는 생성된 VR 영상을 출력할 수 있다.
한편, 단계 S1450은 도 12를 참고하여 전술한 단계 S1240과 대응될 수 있다.
도 15는 제 4 실시예에 따른 단말기(200)가 영상을 처리하는 방법을 설명하기 위한 흐름도이다.
단계 S1510에서, 단말기(200)는 디바이스(100)로부터 타겟 공간을 구성하는 객체들 각각이 촬영된 적어도 하나의 영상과 적어도 하나의 영상에 관한 메타데이터를 획득할 수 있다.
단계 S1520에서, 단말기(200)는 메타데이터에 포함된 화질 보정 정보 및 가중치 정보 중 적어도 하나를 기초로 적어도 하나의 영상을 변환할 수 있다.
예를 들어, 단말기(200)는 도 13을 참고하여 전술한 바와 같이, 화질 보정 정보를 기초로 적어도 하나의 영상의 화질을 보정하거나 다른 예에 따라, 도 14를 참고하여 전술한 바와 같이 가중치 정보를 기초로 중첩되는 객체가 표시된 영상 내 픽셀의 픽셀값을 기 설정된 가중치에 따라 블렌딩하여, 적어도 하나의 영상을 변환할 수 있다. 또 다른 예에 따라 단말기(200)는 화질 보정 정보를 기초로 한 화질 보정 프로세스 및 가중치 정보를 기초로 한 블렌딩 프로세스를 적어도 하나의 영상에 수행함으로써, 적어도 하나의 영상을 변환할 수 있다.
단계 S1530에서, 단말기(200)는 메타데이터로부터 타겟 공간에 대한 VR 영상을 생성하는데 이용되는 3차원 메쉬 모델과 적어도 하나의 영상 간의 맵핑 관계에 관한 정보를 획득할 수 있다.
한편, 단계 S1530은 도 12를 참고하여 전술한 단계 S1220과 대응될 수 있다.
단계 S1540에서, 단말기(200)는 변환된 적어도 하나의 영상을 맵핑 관계에 관한 정보를 기초로 렌더링하여, 타겟 공간에 대한 VR 영상을 생성할 수 있다.
단계 S1550에서, 단말기(200)는 생성된 VR 영상을 출력할 수 있다.
한편, 단계 S1550은 도 12를 참고하여 전술한 단계 S1240과 대응될 수 있다.
도 16은 제 5 실시예에 따른 단말기(200)가 영상을 처리하는 방법을 설명하기 위한 흐름도이다.
단계 S1610에서, 단말기(200)는 디바이스(100)로부터 타겟 공간을 구성하는 객체들 각각이 촬영된 적어도 하나의 영상과 적어도 하나의 영상에 관한 메타데이터를 획득할 수 있다.
단계 S1620에서, 단말기(200)는 메타데이터에 포함된 화질 보정 정보 및 가중치 정보 중 적어도 하나를 기초로 적어도 하나의 영상을 변환할 수 있다.
예를 들어, 단말기(200)는 도 13을 참고하여 전술한 바와 같이, 화질 보정 정보를 기초로 적어도 하나의 영상의 화질을 보정하거나 다른 예에 따라, 도 14를 참고하여 전술한 바와 같이 가중치 정보를 기초로 중첩되는 객체가 표시된 영상 내 픽셀의 픽셀값을 기 설정된 가중치에 따라 블렌딩하여, 적어도 하나의 영상을 변환할 수 있다. 또 다른 예에 따라 단말기(200)는 화질 보정 정보를 기초로 한 화질 보정 프로세스 및 가중치 정보를 기초로 한 블렌딩 프로세스를 적어도 하나의 영상에 수행함으로써, 적어도 하나의 영상을 변환할 수 있다.
단계 S1630에서, 단말기(200)는 메타데이터에 포함된 정규화된 카메라 포즈 정보를 획득할 수 있다.
단계 S1640에서, 단말기(200)는 변환된 영상을 정규화된 카메라 포즈 정보에 따라 변환할 수 있다. 예를 들어, 단말기(200)는 정규화된 카메라 포즈 정보에 포함된 촬영 각도에 맞춰 변환된 영상을 투영할 수 있다.
단계 S1650에서, 단말기(200)는 메타데이터로부터 타겟 공간에 대한 VR 영상을 생성하는데 이용되는 3차원 메쉬모델과 적어도 하나의 영상 간의 맵핑 관계에 관한 제 1 맵핑 정보에 정규화된 카메라 포즈 정보를 반영하여 제 2 맵핑 정보를 획득할 수 있다. 예를 들어, 메쉬 모델과 적어도 하나의 영상 간의 맵핑 관계를 정규화된 카메라 포즈 정보에 포함된 촬영 각도에 맞춰 변환하여, 제 2 맵핑 정보를 획득할 수 있다.
단계 S1660에서, 단말기(200)는 정규화된 카메라 포즈에 따라 변환된 적어도 하나의 영상을 제 2 맵핑 관계에 관한 정보를 기초로 렌더링하여 타겟 공간에 대한 VR 영상을 생성할 수 있다.
단계 S1670에서, 단말기(200)는 생성된 VR 영상을 출력할 수 있다.
한편, 단계 S1670은 도 12를 참고하여 전술한 단계 S1240과 대응될 수 있다.
도 17은 일 실시예에 따른 디바이스(100)의 블록도이다.
도 17에 도시된 바와 같이, 일 실시예에 따른 디바이스(100)는, 영상 획득부(110), 제어부(120) 및 통신부(130)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 디바이스(100)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 디바이스(100)는 구현될 수 있다.
영상 획득부(110)는 타겟 공간을 구성하는 객체들 각각이 촬영된 적어도 하나의 영상을 획득한다.
일 실시예에 따른 영상 획득부(110)는 외부의 촬영 디바이스(미도시)로부터 적어도 하나의 영상을 획득할 수 있다. 다른 실시예에 따라, 디바이스(100)는 디바이스(100)에 구비된 카메라(미도시)를 통해, 타겟 공간을 구성하는 객체들 각각을 촬영하여, 적어도 하나의 영상을 획득할 수 있다.
제어부(120)는 타겟 공간에 대한 VR 영상을 생성하는데 이용되는 3차원 메쉬 모델과 적어도 하나의 영상 간의 맵핑 관계에 관한 정보를 포함하는 메타데이터를 생성한다.
일 실시예에 따른 제어부(120)는 타겟 공간에 대한 VR 영상을 생성하는데 이용되는 3차원 메쉬 모델의 타입 또는 해상도 등을 결정할 수 있다. 제어부(120)는 결정된 3차원 메쉬 모델을 기초로, 3차원 메쉬 모델 상에 맵핑되는 적어도 하나의 영상의 위치 등을 결정할 수 있다. 예를 들어, 제어부(120)는 적어도 하나의 영상이 촬영된 각도 및 적어도 하나의 영상을 촬영한 촬영 디바이스들의 위치 등에 관한 정보를 기초로, 3차원 메쉬 모델 상에 맵핑되는 적어도 하나의 영상에 포함된 픽셀들의 위치를 결정할 수 있다.
한편, 일 실시예에 따른 제어부(120)는 촬영 디바이스들의 배치 및 촬영 각도 등에 관한 촬영 파라미터를 적어도 하나의 영상과 함께 획득할 수 있다. 제어부(120)는 획득된 촬영 파라미터를 기초로, 3차원 메쉬 모델 상에 적어도 하나의 영상의 픽셀값이 맵핑되는 위치를 결정할 수 있다.
일 실시예에 따른 제어부(120)에서 생성되는 메타데이터에는 적어도 하나의 영상의 화질 보정 정보가 더 포함될 수 있다. 또 다른 예에 따라, 제어부(120)에서 생성되는 메타데이터에는 적어도 하나의 영상의 가중치 정보가 더 포함될 수도 있다.
일 실시예에 따른 제어부(120)는 적어도 하나의 영상에 화질을 보정하는 프로세스를 수행할 수도 있다. 예를 들어, 제어부(120)는 적어도 하나의 영상의 렌즈 쉐이딩 파라미터 및 화이트 밸런싱 파라미터에 따라 적어도 하나의 영상의 픽셀값을 보정할 수 있다.
다른 실시예에 따른 제어부(120)는 메타데이터에 포함된 가중치 정보를 기초로 중첩되는 객체가 표시된 적어도 하나의 영상 내 픽셀의 픽셀값을 기 설정된 가중치에 따라 블렌딩하여, 적어도 하나의 영상을 변환할 수 있다.
한편, 일 실시예에 따른 제어부(120)는 적어도 하나의 영상을 메타데이터와 함께 단말기(200)에 전송하기 전에 적어도 하나의 영상을 편집할 수 있다. 예를 들어, 제어부(120)는 적어도 하나의 영상의 형태는 유지하되, 적어도 하나의 영상의 크기 및 배치 등을 변경할 수 있다. 또한, 다른 예에 따라, 제어부(120)는 영상이 원형임에 따라 발생되는 여백 영역을 최소화하기 위해, 적어도 하나의 영상에서 여백 영역을 제외한 영상 영역을 띠 형태로 편집할 수 있다. 또 다른 예에 따라, 제어부(120)는 적어도 하나의 영상에서 중첩되는 객체가 표시된 영역을 효과적으로 배치함으로써, 디바이스(100)에서 단말기(200)로 전송되는 영상들 내에 포함된 여백 영역들을 최소화할 수 있다. 또 다른 예에 따라 제어부(120)는 적어도 하나의 영상에 포함된 중첩 영역들을 기 설정된 가중치에 따라 블랜딩하여 통신부(130)를 통해 단말기(200)에 편집된 적어도 하나의 영상을 전송할 수 있다.
한편, 일 실시예에 따른 제어부(120)는 적어도 하나의 영상 중 일부를 선택할 수 있다. 예를 들어, 제어부(120)는 사용자가 관심을 갖는 객체를 나타내는 관심 객체 정보를 기초로, 적어도 하나의 영상 중 일부를 선택할 수 있다. 선택된 적어도 하나의 영상 중 일부는 일부 영상에 대응되는 메타데이터와 함께 통신부(130)를 통해 단말기(200)에 전송될 수 있다.
통신부(130)는 적어도 하나의 영상 및 메타데이터를 단말기(200)에 전송한다.
일 실시예에 따른 통신부(130)는 적어도 하나의 영상 및 메타데이터를 인코딩하여 단말기(200)에 전송할 수 있다. 다른 실시예에 따라, 통신부(130)는 적어도 하나의 영상의 화질을 보정하는 프로세스가 제어부(120)에서 수행됨에 따라, 화질이 보정된 적어도 하나의 영상 및 메타데이터를 단말기(200)에 전송할 수 있다.
또 다른 실시예에 따라, 제어부(120)가 적어도 하나의 영상 중에서 중첩되는 객체를 포함한 적어도 하나의 영상의 부분의 픽셀값을 기 설정된 가중치에 따라 블렌딩하여 변환하는 경우, 통신부(130)는 변환된 적어도 하나의 영상 및 메타데이터를 단말기(200)에 전송할 수 있다.
도 18 및 19는 일 실시예에 따른 단말기(200)의 블록도이다.
도 18에 도시된 바와 같이, 일 실시예에 따른 단말기(200)는, 통신부(210), 제어부(220) 및 출력부(230)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 단말기(200)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 단말기(200)는 구현될 수 있다.
예를 들어, 도 19에 도시된 바와 같이, 본 발명의 일 실시예에 따른 단말기(200)는, 통신부(210), 제어부(220) 및 출력부(230) 이외에 센싱부(240), 사용자 입력부(250), A/V 입력부(260) 및 메모리(270)를 더 포함할 수도 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
통신부(210)는 디바이스(100)로부터 타겟 공간을 구성하는 객체들 각각이 촬영된 적어도 하나의 영상과 적어도 하나의 영상에 관한 메타데이터를 획득한다.
일 실시예에 따른 통신부(210)는 타겟 공간의 가상 영상을 렌더링하기 위해, 디바이스(100)에 적어도 하나의 영상과 적어도 하나의 영상에 관한 메타데이터를 요청할 수 있다. 예를 들어, 통신부(210)는 사용자 입력부(250)를 통해 타겟 공간을 선택하는 사용자 입력을 수신하는 경우, 디바이스(100)에 적어도 하나의 영상과 적어도 하나의 영상에 관한 메타데이터를 요청할 수 있다.
일 실시예에 따른 통신부(210)는 기 설정된 통신 세션을 통해 디바이스(100)로부터 타겟 공간을 구성하는 객체들 각각이 촬영된 적어도 하나의 영상과 적어도 하나의 영상에 관한 메타데이터를 수신할 수 있다. 한편, 여기에서 획득된 적어도 하나의 영상은 타겟 공간을 구성하는 객체들 각각이 촬영된 영상에 화질 보정 프로세스 및 블렌딩 프로세스 등의 후처리를 적용한 결과 생성된 영상일 수 있다.
일 실시예에 따른 통신부(210)는 단말기(200)가 HMD 장치와 같은 외부 디바이스와 결합한 경우, 외부 디바이스를 통해 VR 영상을 출력하기 위해, 제어부(220)에서 생성된 VR 영상을 외부 디바이스에 전송할 수도 있다.
한편, 통신부(210)는, 단말기(200)와 외부 디바이스(예를 들어, 도 1의 디바이스(100)) 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(210)는, 근거리 통신부(211), 이동 통신부(212), 방송 수신부(213), 마이크로폰(214), 카메라(215)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(211)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(212)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부(213)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 단말기(200)가 방송 수신부(213)를 포함하지 않을 수도 있다.
제어부(220)는, 통상적으로 단말기(200)의 전반적인 동작을 제어한다. 예를 들어, 제어부(220)는, 메모리(270)에 저장된 프로그램들을 실행함으로써, 통신부(210), 출력부(230), 센싱부(240), 사용자 입력부(250), A/V 입력부(260), 메모리(270) 등을 전반적으로 제어할 수 있다.
제어부(220)는 메타데이터로부터 타겟 공간에 대한 VR 영상을 생성하는데 이용되는 3차원 메쉬 모델과 적어도 하나의 영상 간의 맵핑 관계에 관한 정보를 획득한다. 예를 들어, 제어부(220)는 메타데이터를 파싱하여, 맵핑 관계에 관한 정보를 획득할 수 있다.
또한, 제어부(220)는 적어도 하나의 영상을 맵핑 관계에 관한 정보를 기초로 렌더링하여 타겟 공간에 대한 VR 영상을 생성한다. 예를 들어, 제어부(220)는 적어도 하나의 영상에 포함된 픽셀들을 맵핑 관계에 관한 정보에 따라, 3차원 메쉬 모델 상에 맵핑하여, 타겟 공간에 대한 VR 영상을 생성할 수 있다.
한편, 일 실시예에 따른 제어부(220)는 메타데이터에 포함된 화질 보정 정보를 기초로 적어도 하나의 영상의 화질을 보정할 수 있다. 일 실시예에 따른 제어부(220)는 메타데이터를 파싱하여, 화질 보정 정보를 획득할 수 있다. 또한, 제어부(220)는 획득된 화질 보정 정보를 이용하여, 적어도 하나의 영상 각각에 포함된 픽셀들의 픽셀값을 보정할 수 있다. 제어부(220)는 화질이 보정된 적어도 하나의 영상을 맵핑 관계에 관한 정보를 기초로 렌더링하여, 타겟 공간에 대한 VR 영상을 생성할 수 있다.
다른 실시예에 따른 제어부(220)는 단말기(200)는 메타데이터에 포함된 가중치 정보를 기초로 적어도 하나의 영상에서 중첩되는 객체가 표시된 픽셀의 픽셀값을 기 설정된 가중치에 따라 블렌딩하여, 적어도 하나의 영상을 변환할 수 있다. 또한, 제어부(220)는 변환된 적어도 하나의 영상을 맵핑 관계에 관한 정보를 기초로 렌더링하여, 타겟 공간에 대한 VR 영상을 생성할 수 있다.
출력부(230)는, 오디오 신호 또는 비디오 신호 또는 진동 신호의 출력을 위한 것으로, 이에는 디스플레이부(231)와 음향 출력부(232), 진동 모터(233) 등이 포함될 수 있다.
디스플레이부(231)는 단말기(200)에서 처리되는 정보를 표시 출력한다. 예를 들어, 디스플레이부(231)는, 제어부(220)에서 렌더링 결과 생성된 VR 영상을 출력할 수 있다. 디스플레이부(231)는 센싱부(240)를 통해 감지된 사용자의 시선에 대응되는 VR 영상의 적어도 일부 영역을 출력할 수 있다.
다른 예에 따라, 디스플레이부(231)는 복수의 타겟 공간 중 어느 하나를 선택할 수 있는 메뉴를 표시할 수도 있다.
한편, 디스플레이부(231)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(231)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부(231)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 단말기(200)의 구현 형태에 따라 단말기(200)는 디스플레이부(231)를 2개 이상 포함할 수도 있다. 이때, 2개 이상의 디스플레이부(231)는 힌지(hinge)를 이용하여 마주보게 배치될 수 있다.
음향 출력부(232)는 통신부(210)로부터 수신되거나 메모리(270)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(232)는 단말기(200)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다. 이러한 음향 출력부(232)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
진동 모터(233)는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터(233)는 오디오 데이터 또는 비디오 데이터의 출력에 대응하는 진동 신호를 출력할 수 있다. 또한, 진동 모터(233)는 터치스크린에 터치가 입력되는 경우 진동 신호를 출력할 수도 있다.
센싱부(240)는, 단말기(200)의 상태, 단말기(200) 주변의 상태 및 단말기(200)를 착용한 사용자의 상태 중 적어도 하나를 감지하고, 감지된 정보를 제어부(220)로 전달할 수 있다. 예를 들어, 센싱부(240)는 단말기(200)를 착용한 사용자의 시선 또는 사용자의 머리의 움직임 등을 감지할 수 있다.
센싱부(240)는, 지자기 센서(Magnetic sensor)(241), 가속도 센서(Acceleration sensor)(242), 온/습도 센서(243), 적외선 센서(244), 자이로스코프 센서(245), 위치 센서(예컨대, GPS)(246), 기압 센서(247), 근접 센서(248), 및 RGB 센서(illuminance sensor)(249) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
사용자 입력부(250)는, 사용자가 단말기(200)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(250)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
사용자 입력부(250)는, 타겟 공간에 대한 VR 영상을 요청하는 사용자 입력을 수신할 수 있다. 또한, 사용자 입력부(250)는 타겟 공간을 구성하는 객체들 중 적어도 하나를 선택하는 사용자 입력을 수신할 수도 있다. 다만, 이는 일 실시예일 뿐, 사용자 입력부(250)에서 수신하는 사용자 입력의 종류가 전술한 예에 한정되는 것은 아니다.
A/V(Audio/Video) 입력부(260)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(261)와 마이크로폰(262) 등이 포함될 수 있다. 카메라(261)는 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 제어부(220) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.
카메라(261)에서 처리된 화상 프레임은 메모리(270)에 저장되거나 통신부(210)를 통하여 외부로 전송될 수 있다. 카메라(261)는 단말기의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
마이크로폰(262)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(262)은 외부 디바이스 또는 화자로부터 음향 신호를 수신할 수 있다. 마이크로폰(262)는 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
메모리(270)는, 제어부(220)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(디바이스(100)로부터 수신한 적어도 하나의 영상 및 적어도 하나의 영상에 관한 메타데이터, 렌더링 결과 생성된 VR 영상)을 저장할 수도 있다.
메모리(270)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 디바이스(100)는 인터넷(internet)상에서 메모리(270)의 저장 기능을 수행하는 웹 스토리지(web storage) 또는 클라우드 서버를 운영할 수도 있다.
메모리(270)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(271), 터치 스크린 모듈(272), 알림 모듈(273) 등으로 분류될 수 있다.
UI 모듈(271)은, 애플리케이션 별로 단말기(200)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(272)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 제어부(220)로 전달할 수 있다. 본 발명의 일 실시예에 따른 터치 스크린 모듈(272)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(272)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.
터치스크린의 터치 또는 근접 터치를 감지하기 위해 터치스크린의 내부 또는 근처에 다양한 센서가 구비될 수 있다. 터치스크린의 터치를 감지하기 위한 센서의 일례로 촉각 센서가 있다. 촉각 센서는 사람이 느끼는 정도로 또는 그 이상으로 특정 물체의 접촉을 감지하는 센서를 말한다. 촉각 센서는 접촉면의 거칠기, 접촉 물체의 단단함, 접촉 지점의 온도 등의 다양한 정보를 감지할 수 있다.
또한, 터치스크린의 터치를 감지하기 위한 센서의 일례로 근접 센서가 있다.
근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 사용자의 터치 제스처에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭, 스와이프 등이 있을 수 있다.
알림 모듈(273)은 단말기(200)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 단말기(200)에서 발생되는 이벤트의 예로는 키 신호 입력 등이 있다. 알림 모듈(273)은 디스플레이부(231)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(232)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(233)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (25)

  1. 디바이스에서 영상을 처리하는 방법에 있어서,
    타겟(target) 공간을 구성하는 객체들 각각이 촬영된 적어도 하나의 영상을 획득하는 단계;
    상기 타겟 공간에 대한 VR(Virtual Reality) 영상을 생성하는데 이용되는 3차원 메쉬(mesh) 모델과 상기 적어도 하나의 영상 간의 맵핑(mapping) 관계에 관한 정보를 포함하는 메타데이터를 생성하는 단계; 및
    상기 적어도 하나의 영상 및 상기 메타데이터를 단말기에 전송하는 단계를 포함하는 방법.
  2. 제 1항에 있어서, 상기 맵핑 관계에 관한 정보는,
    상기 적어도 하나의 영상이 촬영된 각도, 상기 적어도 하나의 영상이 촬영된 촬영 디바이스들의 위치, 상기 3차원 메쉬 모델의 타입 및 해상도 중 적어도 하나에 관한 정보를 나타내는 방법.
  3. 제 1항에 있어서, 상기 메타데이터는,
    상기 적어도 하나의 영상에 대한 화질 보정 정보 및 상기 적어도 하나의 영상에서 중첩되는 객체가 표시된 영역에 대한 가중치 정보 중 적어도 하나를 더 포함하는 방법.
  4. 제 1항에 있어서,
    상기 적어도 하나의 영상의 노이즈에 관한 정보를 획득하는 단계; 및
    상기 획득된 노이즈에 관한 정보를 기초로, 상기 획득된 적어도 하나의 영상에 포함된 픽셀들의 픽셀값을 보정하는 단계를 더 포함하고,
    상기 전송하는 단계는,
    상기 보정된 적어도 하나의 영상을 상기 메타데이터와 함께 상기 단말기에 전송하는 방법.
  5. 제 1항에 있어서,
    상기 획득된 적어도 하나의 영상 각각이 나타내는 객체 중에서, 중첩되는 객체를 결정하는 단계; 및
    상기 적어도 하나의 영상 내에서 상기 중첩되는 객체가 표시된 영역의 픽셀값을 기 설정된 가중치에 따라 블렌딩하여, 상기 중첩되는 객체를 포함하는 영상을 변환하는 단계를 더 포함하고,
    상기 전송하는 단계는,
    상기 변환된 영상들을 상기 메타데이터와 함께 상기 단말기에 전송하는 방법.
  6. 제 1항에 있어서,
    상기 획득된 적어도 하나의 영상 각각이 나타내는 객체 중에서, 중첩되는 객체를 결정하는 단계; 및
    상기 적어도 하나의 영상 내에서 상기 중첩되는 객체가 표시된 영역의 픽셀값을 기 설정된 가중치에 따라 블렌딩하여, 상기 중첩되는 객체를 포함하는 영상을 변환하는 단계; 및
    상기 변환된 영상을 정규화된 카메라 포즈로 재투영 변환하는 단계를 더 포함하고,
    상기 전송하는 단계는,
    상기 변환된 영상들을 상기 메타데이터와 함께 상기 단말기에 전송하는 방법.
  7. 단말기가 영상을 처리하는 방법에 있어서,
    디바이스로부터 타겟(target) 공간을 구성하는 객체들 각각이 촬영된 적어도 하나의 영상과 상기 적어도 하나의 영상에 관한 메타데이터를 획득하는 단계;
    상기 메타데이터로부터 상기 타겟 공간에 대한 VR(Virtual Reality) 영상을 생성하는데 이용되는 3차원 메쉬(mesh) 모델과 상기 적어도 하나의 영상 간의 맵핑(mapping) 관계에 관한 정보를 획득하는 단계;
    상기 적어도 하나의 영상을 상기 맵핑 관계에 관한 정보를 기초로 렌더링하여, 상기 타겟 공간에 대한 VR 영상을 생성하는 단계; 및
    상기 생성된 VR 영상을 출력하는 단계를 포함하는 방법.
  8. 제 7항에 있어서, 상기 맵핑 관계에 관한 정보는,
    상기 적어도 하나의 영상이 촬영된 각도, 상기 적어도 하나의 영상이 촬영된 촬영 디바이스들의 위치, 상기 3차원 메쉬 모델의 타입 및 해상도 중 적어도 하나에 관한 정보를 나타내는 방법.
  9. 제 7항에 있어서, 상기 메타데이터는,
    상기 적어도 하나의 영상에 대한 화질 보정 정보 및 상기 적어도 하나의 영상에서 중첩되는 객체가 표시된 영역에 대한 가중치 정보 중 적어도 하나를 더 포함하는 방법.
  10. 제 9항에 있어서,
    상기 메타데이터에 포함된 화질 보정 정보를 기초로, 상기 적어도 하나의 영상에 포함된 픽셀들의 픽셀값을 보정하는 단계를 더 포함하고,
    상기 VR 영상을 생성하는 단계는,
    상기 보정된 적어도 하나의 영상을 상기 맵핑 관계에 관한 정보를 기초로 렌더링하여, 상기 VR 영상을 생성하는 방법.
  11. 제 9항에 있어서,
    상기 메타데이터에 포함된 가중치 정보를 기초로, 상기 적어도 하나의 영상 내에서 상기 중첩되는 객체가 표시된 영역의 픽셀값을 기 설정된 가중치에 따라 블렌딩하여, 상기 중첩되는 객체를 포함하는 영상을 변환하는 단계를 더 포함하고,
    상기 VR 영상을 생성하는 단계는,
    상기 변환된 영상들을 상기 맵핑 관계에 관한 정보를 기초로 렌더링하여, 상기 VR 영상을 생성하는 방법.
  12. 제 9항에 있어서,
    상기 메타데이터에 포함된 가중치 정보를 기초로, 상기 적어도 하나의 영상 내에서 상기 중첩되는 객체가 표시된 영역의 픽셀값을 기 설정된 가중치에 따라 블렌딩하여, 상기 중첩되는 객체를 포함하는 영상을 변환하는 단계를 수행한 후, 상기 변환된 영상을 정규화된 카메라 포즈로 재투영 변환하는 단계를 더 포함하고,
    상기 VR 영상을 생성하는 단계는,
    상기 변환된 영상들을 상기 맵핑 관계에 관한 정보를 기초로 렌더링하여, 상기 VR 영상을 생성하는 방법.
  13. 영상을 처리하는 디바이스에 있어서,
    타겟 공간을 구성하는 객체들 각각이 촬영된 적어도 하나의 영상을 획득하는 영상 획득부;
    상기 타겟 공간에 대한 VR 영상을 생성하는데 이용되는 3차원 메쉬 모델과 상기 적어도 하나의 영상 간의 맵핑(mapping) 관계에 관한 정보를 포함하는 메타데이터를 생성하는 제어부; 및
    상기 적어도 하나의 영상 및 상기 메타데이터를 단말기에 전송하는 통신부를 포함하는 디바이스.
  14. 제 13항에 있어서, 상기 맵핑 관계에 관한 정보는,
    상기 적어도 하나의 영상이 촬영된 각도, 상기 적어도 하나의 영상이 촬영된 촬영 디바이스들의 위치, 상기 3차원 메쉬 모델의 타입 및 해상도 중 적어도 하나에 관한 정보를 나타내는 디바이스.
  15. 제 13항에 있어서, 상기 메타데이터는,
    상기 적어도 하나의 영상에 대한 화질 보정 정보 및 상기 적어도 하나의 영상에서 중첩되는 객체가 표시된 영역에 대한 가중치 정보 중 적어도 하나를 더 포함하는 디바이스.
  16. 제 13항에 있어서, 상기 제어부는,
    상기 적어도 하나의 영상의 노이즈에 관한 정보를 획득하고, 상기 획득된 노이즈에 관한 정보를 기초로, 상기 획득된 적어도 하나의 영상에 포함된 픽셀들의 픽셀값을 보정하며,
    상기 통신부는,
    상기 보정된 적어도 하나의 영상을 상기 메타데이터와 함께 상기 단말기에 전송하는 디바이스.
  17. 제 13항에 있어서, 상기 제어부는,
    상기 획득된 적어도 하나의 영상 각각이 나타내는 객체 중에서, 중첩되는 객체를 결정하고, 상기 중첩되는 객체가 표시된 영역의 픽셀값을 기 설정된 가중치에 따라 블렌딩하여, 상기 중첩되는 객체를 포함하는 영상을 변환하며,
    상기 통신부는,
    상기 변환된 영상들을 상기 메타데이터와 함께 상기 단말기에 전송하는 디바이스.
  18. 제 13항에 있어서, 상기 제어부는,
    상기 획득된 적어도 하나의 영상 각각이 나타내는 객체 중에서, 중첩되는 객체를 결정하고, 상기 중첩되는 객체가 표시된 영역의 픽셀값을 기 설정된 가중치에 따라 블렌딩하여, 상기 중첩되는 객체를 포함하는 영상을 변환한 후, 상기 변환된 영상을 정규화된 카메라 포즈로 재투영 변환하며,
    상기 통신부는,
    상기 변환된 영상들을 상기 메타데이터와 함께 상기 단말기에 전송하는 디바이스.
  19. 영상을 처리하는 단말기에 있어서,
    디바이스로부터 타겟(target) 공간을 구성하는 객체들 각각이 촬영된 적어도 하나의 영상과 상기 적어도 하나의 영상에 관한 메타데이터를 획득하는 통신부;
    상기 메타데이터로부터 상기 타겟 공간에 대한 VR(Virtual Reality) 영상을 생성하는데 이용되는 3차원 메쉬(mesh) 모델과 상기 적어도 하나의 영상 간의 맵핑(mapping) 관계에 관한 정보를 획득하고, 상기 적어도 하나의 영상을 상기 맵핑 관계에 관한 정보를 기초로 렌더링하여, 상기 타겟 공간에 대한 VR 영상을 생성하는 제어부; 및
    상기 생성된 VR 영상을 출력하는 출력부를 포함하는 단말기.
  20. 제 19항에 있어서, 상기 맵핑 관계에 관한 정보는,
    상기 적어도 하나의 영상이 촬영된 각도, 상기 적어도 하나의 영상이 촬영된 촬영 디바이스들의 위치, 상기 3차원 메쉬 모델의 타입 및 해상도 중 적어도 하나에 관한 정보를 나타내는 단말기.
  21. 제 19항에 있어서, 상기 메타데이터는,
    상기 적어도 하나의 영상에 대한 화질 보정 정보 및 상기 적어도 하나의 영상에서 중첩되는 객체가 표시된 영역에 대한 가중치 정보 중 적어도 하나를 더 포함하는 단말기.
  22. 제 21항에 있어서, 상기 제어부는,
    상기 메타데이터에 포함된 화질 보정 정보를 기초로, 상기 적어도 하나의 영상에 포함된 픽셀들의 픽셀값을 보정하고, 상기 보정된 적어도 하나의 영상을 상기 맵핑 관계에 관한 정보를 기초로 렌더링하여, 상기 VR 영상을 생성하는 단말기.
  23. 제 21항에 있어서, 상기 제어부는,
    상기 메타데이터에 포함된 가중치 정보를 기초로, 상기 적어도 하나의 영상 내에서 상기 중첩되는 객체가 표시된 영역의 픽셀값을 기 설정된 가중치에 따라 블렌딩하여, 상기 중첩되는 객체를 포함하는 영상을 변환하고, 상기 변환된 영상들을 상기 맵핑 관계에 관한 정보를 기초로 렌더링하여, 상기 VR 영상을 생성하는 단말기.
  24. 제 21항에 있어서, 상기 제어부는,
    상기 메타데이터에 포함된 가중치 정보를 기초로, 상기 적어도 하나의 영상 내에서 상기 중첩되는 객체가 표시된 영역의 픽셀값을 기 설정된 가중치에 따라 블렌딩하여, 상기 중첩되는 객체를 포함하는 영상을 변환하여, 상기 변환된 영상을 정규화된 카메라 포즈로 재투영 변환하여, 상기 변환된 영상들을 상기 맵핑 관계에 관한 정보를 기초로 렌더링하여, 상기 VR 영상을 생성하는 단말기.
  25. 제 1항 내지 제 12항 중 어느 하나의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020160090270A 2016-05-02 2016-07-15 영상을 처리하는 방법, 장치 및 기록매체 KR20170124424A (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US15/584,274 US10672180B2 (en) 2016-05-02 2017-05-02 Method, apparatus, and recording medium for processing image
EP21167417.1A EP3944202A3 (en) 2016-05-02 2017-05-02 Method, apparatus, and recording medium for processing image
CN201780026356.4A CN109155080A (zh) 2016-05-02 2017-05-02 用于处理图像的方法、装置和记录介质
EP17792880.1A EP3417427A4 (en) 2016-05-02 2017-05-02 METHOD, APPARATUS AND RECORDING MEDIUM FOR PROCESSING IMAGE
PCT/KR2017/004650 WO2017191978A1 (en) 2016-05-02 2017-05-02 Method, apparatus, and recording medium for processing image
US16/888,036 US11348306B2 (en) 2016-05-02 2020-05-29 Method, apparatus, and recording medium for processing image

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662330351P 2016-05-02 2016-05-02
US62/330,351 2016-05-02
KR1020160080239 2016-06-27
KR20160080239 2016-06-27

Publications (1)

Publication Number Publication Date
KR20170124424A true KR20170124424A (ko) 2017-11-10

Family

ID=60386603

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160090270A KR20170124424A (ko) 2016-05-02 2016-07-15 영상을 처리하는 방법, 장치 및 기록매체

Country Status (3)

Country Link
EP (1) EP3417427A4 (ko)
KR (1) KR20170124424A (ko)
CN (1) CN109155080A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102282117B1 (ko) * 2020-01-31 2021-07-27 엘지전자 주식회사 인공지능 디스플레이 장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101042638B1 (ko) * 2004-07-27 2011-06-20 삼성전자주식회사 파노라마 영상 생성을 위한 디지털 촬상장치 및 그 생성방법
US8724007B2 (en) * 2008-08-29 2014-05-13 Adobe Systems Incorporated Metadata-driven method and apparatus for multi-image processing
JP5325267B2 (ja) * 2011-07-14 2013-10-23 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
CN102750724B (zh) * 2012-04-13 2018-12-21 广东赛百威信息科技有限公司 一种基于图像的三维和全景系统自动生成方法
US9269187B2 (en) * 2013-03-20 2016-02-23 Siemens Product Lifecycle Management Software Inc. Image-based 3D panorama
US10397543B2 (en) * 2014-09-03 2019-08-27 Nextvr Inc. Methods and apparatus for capturing, streaming and/or playing back content

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102282117B1 (ko) * 2020-01-31 2021-07-27 엘지전자 주식회사 인공지능 디스플레이 장치
US11399143B2 (en) 2020-01-31 2022-07-26 Lg Electronics Inc. Artificial intelligence display device

Also Published As

Publication number Publication date
EP3417427A1 (en) 2018-12-26
EP3417427A4 (en) 2019-03-27
CN109155080A (zh) 2019-01-04

Similar Documents

Publication Publication Date Title
US11348306B2 (en) Method, apparatus, and recording medium for processing image
KR102114377B1 (ko) 전자 장치에 의해 촬영된 이미지들을 프리뷰하는 방법 및 이를 위한 전자 장치
US10437545B2 (en) Apparatus, system, and method for controlling display, and recording medium
EP3154255B1 (en) Imaging device and video generation method
CN110708596A (zh) 生成视频的方法、装置、电子设备及可读存储介质
KR20170000773A (ko) 영상 처리 장치 및 방법
KR101303017B1 (ko) 이미지의 리사이징 방법, 이미지의 전송방법 및 전자기기
KR20110122979A (ko) 이동 단말기 및 그 제어 방법
KR20140122054A (ko) 2차원 이미지를 3차원 이미지로 변환하는 3차원 이미지 변환 장치 및 그 제어 방법
CN112230914B (zh) 小程序的制作方法、装置、终端及存储介质
CN111026992A (zh) 多媒体资源预览方法、装置、终端、服务器及存储介质
CN114546227A (zh) 虚拟镜头控制方法、装置、计算机设备及介质
KR102477993B1 (ko) 표시 제어장치, 촬상 장치, 제어 방법 및 컴퓨터 판독 가능한 매체
CN109582134A (zh) 信息显示的方法、装置及显示设备
US20180103219A1 (en) Method, apparatus, and recording medium for processing image
US20200265614A1 (en) Method of providing augmented reality contents and elecronic device therefor
KR20170124424A (ko) 영상을 처리하는 방법, 장치 및 기록매체
US10460425B2 (en) Method, device, and recording medium for processing image
US10854010B2 (en) Method and device for processing image, and recording medium
KR101409251B1 (ko) 실시간 개인화 영상 생성 단말기 및 방법
KR102471073B1 (ko) 전자 장치 및 그 동작방법
JP2017182548A (ja) 画像管理システム、画像管理方法、画像通信システム及びプログラム
KR20230039466A (ko) 복수의 카메라들로부터 획득된 이미지들에 기반하는 입체 사진을 생성하는 전자 장치 및 그 방법
KR101772158B1 (ko) 이미지를 표시하는 디바이스 및 그 방법
KR20140142523A (ko) 시각 효과 적용을 위한 촬영 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal