WO2019199087A1 - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
WO2019199087A1
WO2019199087A1 PCT/KR2019/004377 KR2019004377W WO2019199087A1 WO 2019199087 A1 WO2019199087 A1 WO 2019199087A1 KR 2019004377 W KR2019004377 W KR 2019004377W WO 2019199087 A1 WO2019199087 A1 WO 2019199087A1
Authority
WO
WIPO (PCT)
Prior art keywords
picture
value
unused area
processor
pictures
Prior art date
Application number
PCT/KR2019/004377
Other languages
English (en)
French (fr)
Inventor
오영호
유성열
우지환
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP19786196.6A priority Critical patent/EP3767959B1/en
Priority to US16/981,021 priority patent/US11328453B2/en
Publication of WO2019199087A1 publication Critical patent/WO2019199087A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/005—Statistical coding, e.g. Huffman, run length coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment

Definitions

  • Various embodiments of the present disclosure relate to an image processing apparatus and a method for performing image transformation by dilation in a multimedia system.
  • Multimedia services have been able to support various kinds of content supporting high quality based on the development of image processing and communication technology.
  • the multimedia service for example, allows a user to watch a content in various view points or a stereoscopic view.
  • three-dimensional (3D) technology enables the support of multimedia services utilizing the 'stereoscopic feeling' that a human visually feels.
  • the image to which the 3D technology is applied allows the image to be similar to what a human actually sees compared to a two-dimensional (2D) image, which is a planar image.
  • the omni-directional (360-degree) image processing technology enables viewers to view images in all directions (forward, backward, left, right, up, down, etc.) from one time point, and multi-view point. point) Image processing technology enables viewers to watch a video of one content at various viewpoints.
  • Image processing techniques as described above include face recognition, 3D avatar, virtual makeup, virtual fitting, 3D photography, gesture recognition, 3D content creation for virtual reality (VR), accurate and realistic augmented reality, AR) support, scene understanding, 3D scanning and more.
  • VR virtual reality
  • AR augmented reality
  • an apparatus and method for performing image transformation by extension on a plurality of pictures in a multimedia system may be provided.
  • an apparatus and method for performing image conversion using an extension for filling an unused area in each of some or all of a plurality of pictures constituting a frame in a multimedia system are provided. can do.
  • a plurality of pictures constituting one frame are grouped into one or a plurality of groups, and image conversion is performed for each picture belonging to the group using extension for each group. It is possible to provide an apparatus and method for performing the same.
  • a method of processing an image in an electronic device may include a first unused area in a first picture and a second unused area in a second picture. and identifying the second unused area based on a value obtained from the first unused area identified in the first picture and a value obtained from the second unused area identified in the second picture. And obtaining a fill value to replace the first unused area and the second unused area, and replacing the first unused area and the second unused area by using the obtained filled value. Can be.
  • An apparatus for processing an image may include at least one memory and at least one processor connected to the at least one memory, wherein the at least one processor has the same time information. Identifying a first unused area in the first picture and a second unused area in the second picture, and a value obtained from the first unused area and the second unused area in the second picture. Obtains a fill value to replace the first unused area and the second unused area based on the value obtained from the used area, and uses the obtained filled value to obtain the first unused area and the second unused area. Characterized by replacing the use area.
  • FIG. 1 is a view schematically illustrating an image processing procedure according to various embodiments proposed in the present disclosure
  • FIG. 2 is a diagram illustrating a structure of a frame input for image processing according to various embodiments of the present disclosure
  • FIG. 3 is a diagram illustrating an example of image conversion by grouping according to various embodiments of the present disclosure
  • FIG. 6 is a diagram illustrating an image processing procedure for generating content in an electronic device according to various embodiments of the present disclosure
  • FIG. 7 is a diagram illustrating an image processing procedure for content consumption in an electronic device according to various embodiments of the present disclosure
  • FIG. 8 is a diagram illustrating a configuration for image processing in an electronic device according to various embodiments of the present disclosure.
  • FIG. 9 is a diagram illustrating an example of image conversion in an electronic device according to various embodiments of the present disclosure.
  • the expression “or B”, “at least one of A or / and B” or “one or more of A or / and B” may include all possible combinations of items listed together.
  • “or B”, “at least one of A and B” or “at least one of A or B” includes (1) at least one A, (2) at least one B, or ( 3) may refer to both cases including at least one A and at least one B.
  • Expressions such as “first,” “second,” “first,” or “second,” used in various embodiments may modify various elements in any order and / or importance, and define the elements. I never do that.
  • the above expressions may be used to distinguish one component from another.
  • the first user device and the second user device may represent different user devices regardless of the order or importance.
  • the first component may be referred to as a second component, and similarly, the second component may be renamed to the first component.
  • One component is "(operatively or communicatively) coupled with / to" to another component (eg second component) or " When referred to as “connected to,” it is to be understood that any component may be directly connected to the other component or may be connected via another component (e.g., a third component).
  • a component e.g., a first component
  • another component e.g., a second component
  • no other component e.g., a third component
  • the expression “configured to” used in this document is, for example, “suitable for”, “having the capacity to” depending on the situation. It may be used interchangeably with “designed to”, “adapted to”, “made to”, or “capable of”.
  • the term “configured to” may not necessarily mean only “specifically designed to” in hardware. Instead, in some situations, the expression “device configured to” may mean that the device “can” along with other devices or components.
  • the phrase “processor configured (or set up) to perform A, B, and C” may execute a dedicated processor (eg, an embedded processor) or one or more software programs stored in a memory device to perform the operation. By doing so, it may mean a general-purpose processor (for example, a CPU or an application processor) capable of performing the corresponding operations.
  • FIG. 1 is a diagram schematically illustrating an image processing procedure according to various embodiments of the present disclosure.
  • the content conversion step 110 inputs frames (hereinafter, referred to as 'input frames') for target content, converts the input frames to have a data structure of a desired form, and converts the converted frames ( Hereinafter referred to as 'conversion frame').
  • the input frames may be frames of a captured or stored image of the target content.
  • the captured image may be, for example, an image captured in real time using various types of cameras.
  • the stored image may be, for example, an image previously stored in an internal memory or an external server for the purpose of consuming the target content.
  • the input frame and the transform frame may be composed of a plurality of pictures.
  • the transformation into a data structure of a desired shape may be performed by at least one of transformation for each picture and transformation between pictures.
  • secondary transformation between pictures may be sequentially performed after the primary transformation for each picture.
  • the first order conversion may be performed by deriving a part or all of the used area of each pixel and filling the unused area of the pixel with the derived value. That is, the value derived from the use area of the target pixel may be used as a value to fill the unused area of the target pixel.
  • the use area may be an area filled with actual data for multimedia service in the entire area of the corresponding pixel.
  • the unused area may be an area where actual data for multimedia service does not exist in the entire area of the corresponding pixel.
  • the first order conversion may be performed by filling an unused area of the pixel with a predetermined value (zero or any value). That is, a preset value may be used as a value for filling an unused area of the target pixel.
  • the second transformation is obtained by considering the unused area of each pixel together with a value derived from the pixel and a value derived from one or more other pixels, and obtaining a value to fill the unused area of the corresponding pixel. By filling the pixel and the unused area of the one or more other pixels with the obtained value.
  • the pictures P 1 constituting the input frame are input, and the input pictures P 1 You can group into groups.
  • the content conversion step 110 replaces the value of the unused region of each of the plurality of pictures grouped with each group with a fill value and outputs pictures P 2 replacing the unused region with the filled value. Can be.
  • the filling value may be obtained using a value of a use area of each of a plurality of pictures grouped into one group.
  • one of a value obtained from the first picture and a value obtained from the second picture may be acquired as a filling value. That is, the minimum value or the maximum value of the value acquired from the first picture and the value obtained from the second picture may be obtained as a filling value.
  • the average value of the value obtained from the first picture and the value obtained from the second picture may be obtained as a filling value.
  • a value obtained from the first picture or a duplicate value of the value obtained from the second picture is obtained as a fill value, or an intermediate value between the value obtained from the first picture and the value obtained from the second picture is obtained as a fill value. can do.
  • the present disclosure contemplates both the implementation by various combinations of the first and second transformations in the content transformation step 110. That is, only the first transform or the second transform may be performed, or the second transform may be performed after the first transform. In addition, one of the combinations of the first and second transforms may be selectively used in consideration of at least one of the requirements for the multimedia service (quality, content type, transmission speed, compression scheme, etc.). For example, only a first transform or a second transform may be applied to a low quality multimedia service, and both a first transform and a second transform may be applied to a relatively high quality multimedia service.
  • the grouping in the content transformation step 110 may be done using temporal or spatial criteria. That is, pictures having the same time information among the input pictures P 1 may be grouped into one group.
  • the pictures grouped into one group may be an image or an image photographed at different view points at the same time point.
  • the same object may be an image or an image captured by cameras installed at different viewpoints at the same time point.
  • Filling the value obtained in the unused area of each picture in the content conversion step 110 may reduce performance degradation such as signal-to-noise ratio (SNR) that occurs during compression or increase compression efficiency.
  • SNR signal-to-noise ratio
  • the content conversion step 110 it may be checked whether the unused areas of the pictures are the same before filling the obtained value with the unused area for the pictures of the same group. Filling the obtained value in the unused area of each picture in the content conversion step 110 may be applied only when the unused area of the pictures is the same. In this case, the unused area to fill the obtained value may be the same for the corresponding pictures.
  • the content compression step 120 may compress the transform pictures P 2 in which the unused area is replaced with the filled value by using one coding scheme, and output the compressed pictures P 3 by the compression.
  • the coding scheme may be, for example, a high efficiency video codec (HEVC) scheme, an entropy scheme, or the like.
  • the pictures P 3 output by the content compression step 120 have a relatively smaller size than the pictures P 2 input from the content conversion step 110.
  • an encoding scheme may be adaptively applied in consideration of the types of pictures P 2 input from the content conversion step 110. That is, the encoding scheme in the content compression step 120 may be determined and used as one of an HEVC scheme and an entropy scheme in consideration of the types of the input pictures P 2 .
  • the storing and / or transmitting step 130 may store the compressed pictures P 3 output in the content compressing step 120 in a designated area of the internal memory or may be provided to a designated external server and stored.
  • the storing and / or transmitting step 130 may transmit the compressed pictures P 3 output in the content compressing step 120 to the content consuming device based on a predetermined protocol for a broadcast service.
  • the predetermined protocol may be, for example, a transmission method defined by a multimedia transmission technology (MMT), a next generation terrestrial broadcasting technology (ATSC 3.0), and the like. That is, in the storing and / or transmitting step 130, the compressed pictures P 3 may be configured into a prescribed transport packet based on a protocol to be used, and the transport packet may be transmitted to a content consuming device.
  • the storing and / or transmitting step 130 processes the compressed pictures P 3 stored in the internal memory based on a predetermined protocol for a broadcast service, and processes the processed pictures in a format defined for the predetermined protocol. It can also be configured as a transport packet of the transmission to the content consuming device.
  • the unused area of each picture in the content conversion step 110 from the pictures P 3 compressed in the content compression step 120 to reduce the size of the pictures P 3 that are not shown but stored and / or transmitted. You can print after removing the value filled in. If the value filled in the unused area of each picture is removed from the compressed pictures P 3 in the content conversion step 110, the value filled in the unused area of each picture is removed in the content conversion step 150 to be described later. The act of doing so will not need to be performed.
  • Content decompression step 140 decompresses the compressed pictures P ′ 3 provided by the storing and / or transmitting step 130, and decompresses the decompressed pictures P ′ 2 .
  • the encoding scheme used in the content compression step 120 may be considered. That is, the decoding method to be used in the content decompression step 140 may be determined by the encoding method used in the content compression step 120.
  • the decompressed pictures P ′ 2 are input as the content decompression step 140, and the content conversion step is performed for each of the decompressed pictures P ′ 2 .
  • the values filled in the unused areas are removed, and pictures P ′ 1 from which the values filled in the unused areas are removed are output.
  • Information about the unused area and / or the used area of each of the decompressed pictures P ′ 2 may be provided through separate control information (meta data, etc.).
  • the control information may be equally applied to one frame. That is, one control information may be provided for all pictures constituting one frame.
  • FIG. 2 is a diagram illustrating a structure of a frame input for image processing according to various embodiments of the present disclosure.
  • each of the frames may include n pictures.
  • the first frame may include picture # 0 .
  • the frame # 0 and the frame # 1 may be a bundle of pictures having different time points or viewpoints or during a predetermined time period.
  • Pictures included in the frame may be grouped into a plurality of groups in consideration of a predetermined criterion. For example, when based on the same time information, pictures having the same time information among the pictures may be grouped into one group. Here, having the same time information may mean that the pictures are taken at different viewpoints at the same time. As another example, when based on the input order, pictures may be sequentially grouped into a plurality of groups according to the input order. As another example, in the case of a picture index, pictures may be sequentially grouped into a plurality of groups according to the index.
  • FIG. 3 is a diagram illustrating an example of image conversion by grouping according to various embodiments of the present disclosure.
  • pictures included in one frame have two pictures having the same time information.
  • the pictures having the same time information may be images in which patches extracted from images captured at the same time point at different view points are disposed.
  • the first picture may be configured by arranging patches photographed in the first, second, left, right, up, and down directions at a specific time point on one screen.
  • the second picture may be configured by arranging patches photographed in the front, back, left, right, up, and down directions from the second view point at one specific time point on one screen.
  • a fill value may be obtained based on information included in each of picture # 1 and picture # 2 and applied to the unused area of each of picture # 1 and picture # 2 using the obtained fill value. have.
  • the obtained fill value may be applied to the area where the unused area of Picture # 1 and the unused area of Picture # 2 overlap. have.
  • FIG. 4 is a diagram illustrating another example of image conversion by grouping according to various embodiments of the present disclosure.
  • grouping picture # 0 and picture # 5 into group # 1 grouping picture # 2 and picture # 4 into group # 2, and taking picture # 3 and picture # into consideration, taking into account the input order for content compression. You can group 1 into group # 3.
  • a filling value is obtained based on information included in each of the picture # 0 and the picture # 5, and the ratio of each of the picture # 0 and the picture # 5 is obtained using the obtained filling value. Applicable to the area of use.
  • a filling value is obtained based on information included in each of the picture # 2 and the picture # 4, and the filled value is used for each of the unused areas of the picture # 2 and the picture # 4.
  • a filling value is obtained based on information included in each of the picture # 3 and the picture # 1, and the filled value is used for each of the unused areas of the picture # 3 and the picture # 1. Applicable
  • FIG. 5 is a diagram illustrating another example of image conversion by grouping, according to various embodiments of the present disclosure.
  • a content conversion operation for replacing a non-use area of a pixel with a filling value may be performed hierarchically.
  • the content conversion task may be performed in three steps, for example.
  • a filling value may be applied to an unused area of each picture for each of the groups 510, 512, 514, and 516 according to the grouping. For example, a filling value is obtained based on information included in each of picture # 0 and picture # 1 included in group # 1-1 510, and the filled value is obtained by each of picture # 0 and picture # 1. It can replace unused area of. Acquire a fill value based on information included in each of picture # 2 and picture # 3 included in group # 1-2 (512), and compare the obtained fill value with each of the picture # 2 and picture # 3. It can replace the use area.
  • a filling value may be applied to an unused area of each picture. For example, a filling value is obtained based on information included in each of picture # 0, picture # 1, picture # 2, and picture # 3 included in group # 2-1 520, and the obtained fill value is used for the picture. An unused area of # 0, the picture # 1, the picture # 2, and the picture # 3 may be replaced.
  • the two with the third step (3 rd step) In the above both a group 530 of two of the groups (520, 522) in the second step (2 nd step) is performed after the second step (2 nd step)
  • Grouping and a filling value may be applied to an unused area of each picture for the group 530 according to the grouping.
  • information included in each of picture # 0, picture # 1, picture # 2, picture # 3, picture # 4, picture # 5, picture # 6, and picture # 7 included in the group # 3-1 530 may be used.
  • Each unused area of Picture # 7 may be replaced.
  • the number of steps increases, the number of pictures to replace the filling value may increase.
  • FIG. 6 is a diagram illustrating an image processing procedure for generating content in an electronic device according to various embodiments of the present disclosure.
  • the electronic device may receive data for content conversion in frame units. Pictures may be input in one frame for content conversion in the order shown in FIG.
  • the electronic device may group the pictures included in one frame into a plurality of groups for content conversion. For example, the electronic device may group two pictures into one group based on the same time information.
  • the electronic device may perform content conversion for each group.
  • the electronic device may, for example, replace a value of an unused area of each of the plurality of pictures grouped with each group with a fill value and output pictures that replace the unused area with a fill value.
  • the filling value may be obtained using values of some or all regions of each of a plurality of pictures grouped into one group.
  • the area for obtaining the fill value may be selected from the use areas of the target picture.
  • the minimum value, the maximum value, the average value, and the middle value of the value acquired from the first picture and the value obtained from the second picture A value can be obtained as a fill value.
  • the electronic device may compress the content-converted pictures by using a predetermined encoding method.
  • a predetermined encoding method for example, an HEVC scheme or an entropy scheme may be used.
  • the electronic device may store and / or transmit the compressed pictures in step 618.
  • the electronic device may be implemented based on a predetermined protocol for a broadcast service.
  • the predetermined protocol may be, for example, a transmission method defined by MMT, ATSC 3.0, or the like. That is, the electronic device may configure the compressed pictures into prescribed transport packets in consideration of the protocol to be used, and transmit the transport packets to the content consuming device.
  • the electronic device may process the compressed pictures stored in the internal memory based on a predetermined protocol for a broadcast service, configure the processed pictures into a transport packet having a format defined for the predetermined protocol, and then transmit the compressed pictures to a content consuming device. have.
  • a value filled in an unused area of each picture may be output after the content is converted from the pictures compressed in the content compression step. If a value filled in the unused area of each picture is removed from the compressed pictures when content is converted, the content consuming device does not need to remove the value filled in the unused area of each picture.
  • FIG. 7 is a diagram illustrating an image processing procedure for content consumption in an electronic device according to various embodiments of the present disclosure.
  • the electronic device receives content data including compressed pictures provided from a content supply device or stored in an internal memory.
  • the electronic device decompresses the compressed pictures and outputs the decompressed pictures.
  • an encoding method used for compression may be considered. That is, the decoding method for decompression may be determined by the encoding method used for compression.
  • the electronic device may input the decompressed pictures, remove redundancy filled in the unused region from each of the decompressed pictures, and output the pictures from which the redundancy is removed.
  • the electronic device may receive information about an unused area and / or a use area of each of the decompressed pictures from the content supply device through separate control information (meta data, etc.).
  • the control information may be equally applied to one frame. That is, one control information may be provided for all pictures constituting one frame. If the redundancy is removed before the content supply device transmits the content data, the electronic device may skip step 714 of removing redundancy.
  • the electronic device may play content desired by a user using the decompressed pictures.
  • FIG. 8 is a diagram illustrating a configuration for processing an image in an electronic device according to various embodiments of the present disclosure.
  • the electronic device may include at least one processor 810, an interface (I / F) 820, a transmitter / receiver 830, and a memory 840 for image processing.
  • processor is used for convenience of description, but the operations performed by the processor may be distributed and processed by a plurality of processors.
  • the I / F 820 may be connected to one or more input devices such as a keypad, at least one camera, a touch panel, or an external memory, or may be connected to one or more output devices such as a printer, a monitor, or an external memory. Can be.
  • input devices such as a keypad, at least one camera, a touch panel, or an external memory
  • output devices such as a printer, a monitor, or an external memory. Can be.
  • the I / F 820 may provide data input from one or more input devices to the processor 810 and output data provided by the processor 810 to one or more output devices. Can be. In particular, the I / F 820 may receive an image photographed by one or more cameras and transmit the image to the processor 810. The format in which the I / F 820 delivers an image to the processor may be promised in advance.
  • the I / F 820 may output to the monitor for reproduction of the content data provided by the processor 810.
  • the processor 810 may control operations according to an image processing procedure for generating content and an image processing procedure for content consumption.
  • the image processing procedure for generating the content may include a content conversion step, a content compression step, and a content storage / transmission step.
  • the image processing procedure for content consumption may include a content input step, a content decompression step, and a content conversion step.
  • the processor 810 may perform an operation according to an image processing procedure for generating content as follows.
  • the processor 810 may receive data for content conversion from the I / F 820 in units of frames. Pictures may be input in one frame for content conversion in the order shown in FIG.
  • the processor 810 may group pictures included in one frame into a plurality of groups for content conversion and perform content conversion for each group.
  • the processor 810 may group, for example, a first picture and a second picture having the same time information among a plurality of pictures included in one frame into one group for image conversion.
  • the processor 810 may replace a value of an unused area of each of a plurality of pictures grouped into each group by a filling value.
  • the filling value may be obtained using values of some or all regions of each of a plurality of pictures grouped into one group.
  • the area for obtaining the fill value may be selected from the use areas of the target picture.
  • the processor 810 may include the first unused area of the first picture and the second of the second picture. Unused areas can be identified. The processor 810 may obtain a filling value based on a value obtained from the first unused area and a value obtained from the second unused area. The processor 810 may replace the first unused area and the second unused area by using the obtained fill value.
  • the processor 810 obtains one of a value obtained from the first unused area and a value obtained from the second unused area as the filling value or a value obtained from the first unused area and the second value. An average value of values obtained from an unused area may be obtained as the filling value.
  • the processor 810 obtains a minimum value of the value obtained from the first unused area and the value obtained from the second unused area as the filling value or the value obtained from the first unused area and the first value. The maximum value among the values obtained from the 2 unused regions may be obtained as the filling value.
  • the processor 810 may perform compression on the content-converted pictures by using a predetermined encoding scheme.
  • a predetermined encoding scheme for example, an HEVC scheme or an entropy scheme may be used.
  • the processor 810 may perform control for storing and / or transmitting the compressed pictures.
  • the processor 810 may be implemented based on a predetermined protocol for a broadcast service.
  • the predetermined protocol may be, for example, a transmission method defined by MMT, ATSC 3.0, or the like. That is, the processor 810 may configure the compressed pictures into prescribed transport packets in consideration of a protocol to be used, and control the transmitter / receiver 830 to transmit the transport packets to a content consuming device.
  • the processor 810 processes the compressed pictures stored in the memory 840 based on a predetermined protocol for a broadcast service, configures the processed pictures into transport packets of a format defined for the predetermined protocol, and then consumes the content.
  • the transmitter / receiver 830 may be controlled to transmit to a device.
  • the processor 810 may remove the value filled in the unused area of each picture after compression to reduce the size of pictures stored and / or transmitted, and output the same. If the value filled in the unused area of each picture is removed, the processor 810 does not need to remove the value filled in the unused area of each picture when content is consumed.
  • the processor 810 may perform an operation according to an image processing procedure for content consumption as follows.
  • the processor 810 may decompress the compressed pictures.
  • the processor 810 may consider an encoding scheme used for compression to determine a decoding scheme for decompression.
  • the processor 810 may remove redundancy filled in the unused region from each of the decompressed pictures, and output the pictures from which the redundancy is removed to the I / F 820.
  • the processor 810 may receive information about an unused area and / or a use area of each of the decompressed pictures from the content supply device through separate control information (meta data, etc.).
  • the control information may be equally applied to one frame. That is, one control information may be provided for all pictures constituting one frame. If the redundancy is removed before the content supply device transmits the content data, the processor 810 may omit the operation of removing redundancy.
  • the transmitter / receiver 830 may transmit, based on a control from the processor 810, converted pictures in which an unused area is replaced with a fill value, based on one transmission scheme for a broadcast service.
  • the transmitter / receiver 830 receives the converted pictures in which the unused area is replaced with the filled value based on the control from the processor 810, based on one transmission scheme for a broadcast service, and the processor 810 receives the converted pictures. You can also pass it.
  • the memory 840 may store the content data compressed under the control of the processor 810, and output the stored content data under the control of the processor 810.
  • FIG. 9 is a diagram illustrating an example of image conversion in an electronic device according to various embodiments of the present disclosure.
  • one object 910 may be photographed at each of a plurality of viewpoints (external view point, internal view point), and patches photographed at each view point may be output.
  • the target object 910 is photographed in the front, back, left, right, up, and down directions from the external view point, and the external patches 921 corresponding to the images photographed in the respective directions.
  • 922, 923, 924, 925, 926 can be generated.
  • 936 can be generated.
  • the outer patches 921, 922, 923, 924, 925, 926 can be disposed within the first picture 942, and the inner patches 931, 932, 933, 934, 935, 936 are second May be disposed within patch 944.
  • the first picture 942 and the second picture 944 may be grouped into one group # 0 940 according to the same time information.
  • An area in which the outer patches 921, 922, 923, 924, 925, and 926 are disposed in the first picture 942 corresponds to a 'use area of the first picture', and the outer patches 921, 922, An area where 923, 924, 925, and 926 are not disposed corresponds to an 'unused area of the first picture'.
  • An area in which the external patches 931, 932, 933, 934, 935, and 936 are disposed in the second picture 944 corresponds to a 'use area of the second picture', and the external patches 931, 932, An area in which 933, 934, 935, and 936 are not disposed corresponds to an 'unused area of the third picture'.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 개시의 다양한 실시 예에서는 멀티미디어 시스템에서 확장 (dilation)에 의한 영상 변환을 수행하는 영상 처리 장치 및 방법을 제안한다. 이를 위해, 영상 처리를 위한 전자 장치는, 동일 시간 정보를 가지는 제1 픽쳐에서의 제1 미 사용 영역 (first unused area)과 제2 픽쳐에서의 제2 미 사용 영역 (second unused area)을 식별할 수 있다. 상기 전자장치는 상기 제1 미 사용 영역으로부터 획득한 값과 상기 제2 미 사용 영역으로부터 획득한 값을 기반으로 상기 제1 미 사용 영역과 상기 제2 미 사용 영역을 대체할 채움 값을 획득할 수 있다. 상기 전자장치는 상기 획득한 채움 값을 사용하여 상기 제1 미 사용 영역과 상기 제2 미 사용 영역을 대체하여 제1 변환 픽쳐와 제2 변환 픽쳐를 획득할 수 있다.

Description

영상 처리 장치 및 방법
본 개시의 다양한 실시 예들은 멀티미디어 시스템에서 확장 (dilation)에 의한 영상 변환을 수행하는 영상 처리 장치 및 방법에 관한 것이다.
멀티미디어 서비스는 영상 처리 및 통신 기술의 발전을 기반으로 고품질을 지원하는 다양한 종류의 콘텐트 (content)를 지원할 수 있게 되었다. 상기 멀티미디어 서비스는, 예를 들어, 사용자가 하나의 콘텐트를 다양한 뷰 포인트 (view point)에서 시청하거나 입체감 있게 시청할 수 있도록 한다.
즉, 3차원 (3D) 기술은 인간이 시각적으로 느끼는 '입체감'을 살린 멀티미디어 서비스의 지원을 가능하도록 한다. 상기 3D 기술이 적용된 영상은 평면의 영상인 2차원 (2D) 영상에 비해 인간이 실제로 바라보는 것과 유사한 경함을 할 수 있도록 한다.
또한, 전 방향 (360도) 영상 처리 기술은 시청자가 하나의 타임 포인트에서 전 방향 (전, 후, 좌, 우, 상, 하 등)의 영상을 시청할 수 있도록 하며, 다중 뷰 포인트 (multi-view point) 영상 처리 기술은 시청자가 다양한 뷰 포인트에서 하나의 콘텐트의 영상을 시청할 수 있도록 한다.
상술한 바와 같은 영상 처리 기술은 얼굴 인식, 3D 아바타, 가상 메이크업, 가상 피팅, 3D 사진 촬영, 제스처 인식, 가상 현실 (virtual reality, VR)을 위한 3D 콘텐트 생성, 정확하고 현실적인 증강 현실 (augmented reality, AR) 지원, 장면 (scene) 이해, 3D 스캐닝 등에 활용될 수 있다.
앞서 설명된 바와 같이 고품질 또는 다양한 종류의 멀티미디어 서비스의 지원을 위해서는 필연적으로 저장 또는 전송을 위한 콘텐트의 데이터 증가를 야기할 것이다. 이 경우, 저장 또는 전송을 위한 콘텐트의 데이터를 효율적으로 이미지를 변환, 압축, 저장, 전송하기 위한 방안이 마련될 필요가 있다.
본 개시의 한 실시 예에 따르면, 멀티미디어 시스템에서 다수의 픽쳐 (picture)들을 대상으로 확장에 의해 영상 변환을 수행하는 장치 및 방법을 제공할 수 있다.
본 개시의 한 실시 예에 따르면, 멀티미디어 시스템에서 하나의 프레임을 구성하는 다수의 픽쳐들 중 일부 또는 전체 픽쳐들 각각에서 사용하지 않는 영역을 채우는 확장을 사용하여 영상 변환을 수행하는 장치 및 방법을 제공할 수 있다.
본 개시의 한 실시 예에 따르면, 멀티미디어 시스템에서 하나의 프레임을 구성하는 다수의 픽쳐들을 하나 또는 다수의 그룹들로 그룹화하고, 그룹 별로 확장을 사용하여 해당 그룹에 속하는 각 픽쳐에 대한 영상 변환을 수행하는 장치 및 방법을 제공할 수 있다.
본 개시의 다양한 실시 예에 따른 전자 장치에서 영상을 처리하는 방법은, 동일 시간 정보를 가지는 제1 픽쳐에서의 제1 미 사용 영역 (first unused area)과 제2 픽쳐에서의 제2 미 사용 영역 (second unused area)을 식별하는 과정과, 상기 제1 픽쳐에서 식별한 상기 제1 미 사용 영역으로부터 획득한 값과 상기 제2 픽쳐에서 식별한 상기 제2 미 사용 영역으로부터 획득한 값을 기반으로 상기 제1 미 사용 영역과 상기 제2 미 사용 영역을 대체할 채움 값을 획득하는 과정과, 상기 획득한 채움 값을 사용하여 상기 제1 미 사용 영역과 상기 제2 미 사용 영역을 대체하는 과정을 포함할 수 있다.
본 개시의 다양한 실시 예에 따른 영상을 처리하는 장치는, 적어도 하나의 메모리와, 상기 적어도 하나의 메모리와 연결된 적어도 하나의 프로세서를 포함하며, 여기서, 상기 적어도 하나의 프로세서는, 동일 시간 정보를 가지는 제1 픽쳐에서의 제1 미 사용 영역 (first unused area)과 제2 픽쳐에서의 제2 미 사용 영역 (second unused area)을 식별하고, 상기 제1 미 사용 영역으로부터 획득한 값과 상기 제2 미 사용 영역으로부터 획득한 값을 기반으로 상기 제1 미 사용 영역과 상기 제2 미 사용 영역을 대체할 채움 값을 획득하며, 상기 획득한 채움 값을 사용하여 상기 제1 미 사용 영역과 상기 제2 미 사용 영역을 대체하는 것을 특징으로 한다.
도 1은 본 개시에서 제안된 다양한 실시 예에 따른, 영상 처리 절차를 개략적으로 보이고 있는 도면;
도 2는 본 개시에서 제안된 다양한 실시 예에 따른, 영상 처리를 위해 입력되는 프레임의 구조를 보이고 있는 도면;
도 3은 본 개시에서 제안된 다양한 실시 예에 따른, 그룹화에 의한 영상 변환의 일 예를 보이고 있는 도면;
도 4는 본 개시에서 제안된 다양한 실시 예에 따른, 그룹화에 의한 영상 변환의 다른 예를 보이고 있는 도면;
도 5는 본 개시에서 제안된 다양한 실시 예에 따른, 그룹화에 의한 영상 변환의 또 다른 예를 보이고 있는 도면;
도 6은 본 개시에서 제안된 다양한 실시 예에 따른, 전자장치에서 콘텐트 생성을 위한 영상 처리 절차를 보이고 있는 도면;
도 7은 본 개시에서 제안된 다양한 실시 예에 따른, 전자장치에서 콘텐트 소비를 위한 영상 처리 절차를 보이고 있는 도면;
도 8은 본 개시에서 제안된 다양한 실시 예에 따른, 전자장치에서 영상 처리를 위한 구성을 보이고 있는 도면; 및
도 9는 본 개시에서 제안된 다양한 실시 예에 따른, 전자장치에서의 영상 변환에 대한 일 예를 보이고 있는 도면.
이하, 본 개시의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나 이는 본 개시를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경 (modification), 균등물 (equivalent), 및/또는 대체물 (alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다" 또는 "가질 수 있다" 또는 “포함한다” 또는 “포함할 수 있다” 등의 표현은 해당 특징 (예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, “또는 B”, “A 또는/및 B 중 적어도 하나” 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, “또는 B", “A 및 B 중 적어도 하나” 또는 “A 또는 B 중 적어도 하나”는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
다양한 실시 예에서 사용된 “제 1”, “제 2”, “첫째” 또는 “둘째” 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 해당 구성요소들을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 수 있다. 예를 들면, 제 1 사용자 기기와 제 2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 개시의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소 (예: 제 1 구성요소)가 다른 구성요소 (예: 제 2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어 ((operatively or communicatively) coupled with/to)"있다거나 "접속되어 (connected to)"있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소 (예: 제 3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소 (예: 제 1 구성요소)가 다른 구성요소 (예: 제 2 구성요소)에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소 (예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된 (또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한 (suitable for)", "~하는 능력을 가지는 (having the capacity to)", "~하도록 설계된 (designed to)", "~하도록 변경된 (adapted to)", "~하도록 만들어진 (made to)" 또는 "~를 할 수 있는 (capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성 (또는 설정)된"은 하드웨어적으로 "특별히 설계된 (specifically designed to)"것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성 (또는 설정)된 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서 (예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서 (generic-purpose processor) (예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 개시의 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 일반적으로 사용되는 사전에 정의된 용어들은 관련 기술의 문맥 상 가지는 의미와 동일 또는 유사한 의미를 가지는 것으로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 개시의 실시 예들을 배제하도록 해석될 수 없다.
이하 본 개시에서 제안된 다양한 실시 예를 첨부된 도면을 참조하여 구체적으로 설명할 것이다.
도 1은 본 개시에서 제안된 다양한 실시 예에 따른, 영상 처리 절차를 개략적으로 보이고 있는 도면이다.
도 1을 참조하면, 콘텐트 변환 단계 (110)는 대상 콘텐트에 대한 프레임 (이하 '입력 프레임'이라 칭함)들을 입력하고, 상기 입력 프레임들을 원하는 형태의 데이터 구조를 갖도록 변환하며, 상기 변환된 프레임 (이하 '변환 프레임'이라 칭함)들을 출력한다. 상기 입력 프레임들은 대상 콘텐트에 대한 촬영 또는 저장된 영상의 프레임들일 수 있다. 상기 촬영된 영상은, 예를 들어, 여러 종류의 카메라를 사용하여 실시간으로 촬영된 영상일 수 있다. 상기 저장된 영상은, 예를 들어, 대상 콘텐트의 소비를 목적으로 내부 메모리 또는 외부 서버 등에 미리 저장된 영상일 수 있다.
상기 입력 프레임 및 상기 변환 프레임은 다수의 픽쳐들로 구성될 수 있다. 이 경우, 원하는 형태의 데이터 구조로의 변환은 픽쳐 별로의 변환과 픽쳐 간의 변환 중 적어도 하나에 의해 수행될 수 있다. 상기 두 가지의 변환이 모두 수행되는 경우, 픽쳐 별로의 1차 변환 이후에 픽쳐 간의 2차 변환이 순차적으로 수행될 수 있다.
상기 1차 변환은 각 픽셀의 사용 영역 (used area)의 일부 또는 전부 값을 도출하고, 해당 픽셀의 미 사용 영역을 상기 도출한 값으로 채우는 것에 의해 수행될 수 있다. 즉, 대상 픽셀의 사용 영역에서 도출한 값을 상기 대상 픽셀의 미 사용 영역을 채우기 위한 값으로 사용할 수 있다. 여기서 상기 사용 영역은 해당 픽셀의 전체 영역에서 멀티미디어 서비스를 위한 실제 데이터가 채워진 영역일 수 있다. 상기 미 사용 영역은 해당 픽셀의 전체 영역에서 멀티미디어 서비스를 위한 실제 데이터가 존재하지 않는 영역일 수 있다.
상기 1차 변환은 해당 픽셀의 미 사용 영역을 미리 결정된 값 (0 또는 임의 값)으로 채우는 것에 의해 수행될 수 있다. 즉, 미리 설정된 값을 상기 대상 픽셀의 미 사용 영역을 채우기 위한 값으로 사용할 수 있다.
상기 2차 변환은 각 픽셀의 미 사용 영역을 해당 픽셀에서 도출한 값과 하나 또는 다수의 다른 픽셀들에서 도출한 값을 함께 고려하여 상기 해당 픽셀의 미 사용 영역을 채울 값을 획득하고, 상기 해당 픽셀과 상기 하나 또는 다수의 다른 픽셀들의 미 사용 영역을 상기 획득한 값으로 채우는 것에 의해 수행될 수 있다.
상기 제2 변환을 위해 제안된 하나의 실시 예에 따르면, 콘텐트 변환 단계 (110)에서는 입력 프레임을 구성하는 픽쳐들 (P1)을 입력으로 하고, 상기 입력되는 픽쳐들 (P1)을 다수의 그룹들로 그룹화할 수 있다. 상기 콘텐트 변환 단계 (110)는 각 그룹으로 그룹화된 다수의 픽쳐들 각각의 미 사용 영역의 값을 채움 값으로 대체하며, 상기 미 사용 영역을 채움 값으로 대체한 픽쳐들 (P2)을 출력할 수 있다.
상기 채움 값은 하나의 그룹으로 그룹화된 다수의 픽쳐들 각각의 사용 영역의 값을 사용하여 획득할 수 있다. 제1 픽쳐와 제2 픽쳐가 하나의 그룹으로 그룹화된 경우, 상기 제1 픽쳐에서 획득한 값과 상기 제2 픽쳐에서 획득한 값 중 하나를 채움 값으로 획득할 수 있다. 즉, 상기 제1 픽쳐에서 획득한 값과 상기 제2 픽쳐에서 획득한 값 중 최소 값 또는 최대 값을 채움 값으로 획득할 수 있다. 또한, 제1 픽쳐와 제2 픽쳐가 하나의 그룹으로 그룹화된 경우, 상기 제1 픽쳐에서 획득한 값과 상기 제2 픽쳐에서 획득한 값의 평균 값을 채움 값으로 획득할 수도 있다. 그 외에도 제1 픽쳐에서 획득한 값 또는 제2 픽쳐에서 획득한 값의 복제 값을 채움 값으로 획득하거나, 제1 픽쳐에서 획득한 값과 제2 픽쳐에서 획득한 값의 중간 값을 채움 값으로 획득할 수 있다.
상술한 예제에서는 두 개의 픽쳐들을 가정하고 있으나 그 이상의 픽쳐들에 대해 동일하게 적용될 수 있음은 물론이다.
본 개시에서는 콘텐트 변환 단계 (110)에서 제1 및 제2 변환의 다양한 조합에 의한 구현을 모두 고려하고 있다. 즉, 제1 변환 또는 제2 변환 만을 수행하거나 제1 변환을 수행한 후 제2 변환을 수행할 수도 있다. 또한, 멀티미디어 서비스를 위한 요건들 (품질, 콘텐트 타입, 전송 속도, 압축 방식 등) 중 적어도 하나를 고려하여 제1 및 제2 변환의 조합들 중 하나를 선택적으로 사용할 수도 있다. 예컨대, 낮은 품질의 멀티미디어 서비스에 대해서는 제1 변환 또는 제2 변환 만을 적용할 수 있고, 상대적으로 높은 품질의 멀티미디어 서비스에 대해서는 제1 변환과 제2 변환을 모두 적용할 수 있다.
상기 콘텐트 변환 단계 (110)에서의 그룹화는 시간적 또는 공간적 기준을 사용하여 이루어질 수 있다. 즉, 입력되는 픽쳐들 (P1) 중 동일 시간 정보를 갖는 픽쳐들을 하나의 그룹으로 그룹화할 수 있다. 이 경우 하나의 그룹으로 그룹화되는 픽쳐들은 동일 타임 포인트 (time point)에 다른 뷰 포인트에서 촬영된 영상 또는 이미지일 수 있다. 예컨대, 동일 객체를 동일 타임 포인트에서 다른 뷰 포인트에 설치된 카메라들에 의해 촬영된 영상 또는 이미지일 수 있다.
상기 콘텐트 변환 단계 (110)에서 각 픽쳐의 미 사용 영역에 획득한 값을 채우는 것은 압축 시에 발생하는 신호대잡음비 (signal-to-noise ratio, SNR) 등과 같은 성능 열화를 완화시키거나 압축 효율을 높일 수 있도록 한다.
상기 콘텐트 변환 단계 (110)에서 동일 그룹의 픽쳐들에 대한 미 사용 영역에 획득한 값을 채우기 전에 상기 픽쳐들의 미 사용 영역이 동일한지를 확인할 수 있다. 상기 콘텐트 변환 단계 (110)에서 픽쳐들 각각의 미 사용 영역에 획득한 값을 채우는 것은 상기 픽쳐들의 미 사용 영역이 동일할 경우에 한하여 적용될 수 있다. 이 경우, 상기 획득한 값을 채울 미 사용 영역은 해당 픽쳐들에 대해 동일할 수 있다.
콘텐트 압축 단계 (120)는 미 사용 영역이 채움 값으로 대체된 변환 픽쳐들 (P2)을 하나의 부호화 방식을 사용하여 압축하고, 상기 압축에 의한 압축 픽쳐들 (P3)을 출력할 수 있다. 상기 부호화 방식은, 예를 들어, 고효율 비디오 코덱 (high efficiency video codec, HEVC) 방식, 엔트로피 (entropy) 방식 등이 사용될 수 있다.
상기 콘텐트 압축 단계 (120)에 의해 출력되는 픽쳐들 (P3)은 콘텐트 변환 단계 (110)로부터 입력되는 픽쳐들 (P2)에 비해 상대적으로 작은 크기를 갖게 된다. 상기 콘텐트 압축 단계 (120)에서는 상기 콘텐트 변환 단계 (110)로부터 입력되는 픽쳐들 (P2)의 타입을 고려하여 부호화 방식을 적응적으로 적용할 수 있다. 즉 상기 콘텐트 압축 단계 (120)에서의 부호화 방식은 입력 픽쳐들 (P2)의 타입을 고려하여 HEVC 방식과 엔트로피 방식 중 하나로 결정하여 사용될 수 있다.
저장 및/또는 전송 단계 (130)는 콘텐트 압축 단계 (120)에서 출력된 압축 픽쳐들 (P3)을 내부 메모리의 지정된 영역에 저장되거나 지정된 외부 서버로 제공되어 저장될 수 있다. 저장 및/또는 전송 단계 (130)는 콘텐트 압축 단계 (120)에서 출력된 압축 픽쳐들 (P3)을 방송 서비스를 위한 소정의 프로토콜을 기반으로 콘텐트 소비장치로 전송할 수도 있다. 상기 소정의 프로토콜은, 예를 들어, 멀티미디어 전송 기술 (MMT), 차세대 지상파 방송 기술 (ATSC 3.0) 등에서 규정하고 있는 전송 방식이 될 수 있다. 즉 상기 저장 및/또는 전송 단계 (130)에서는 사용될 프로토콜을 기반으로 압축 픽쳐들 (P3)을 규정된 전송 패킷으로 구성하고, 상기 전송 패킷을 콘텐트 소비장치로 전송할 수 있다.
상기 저장 및/또는 전송 단계 (130)는 내부 메모리에 저장된 압축 픽쳐들 (P3)을 방송 서비스를 위한 소정의 프로토콜을 기반으로 가공하고, 상기 가공한 픽쳐들을 상기 소정의 프로토콜을 위해 규정된 포맷의 전송 패킷으로 구성한 후 콘텐트 소비장치로 전송할 수도 있다.
한편 도시되지 않았으나 저장 및/또는 전송되는 픽쳐들 (P3)의 크기를 줄이기 위하여 콘텐트 압축 단계 (120)에서 압축된 픽쳐들 (P3)로부터 콘텐트 변환 단계 (110)에서 각 픽쳐의 미 사용 영역에 채워진 값을 제거한 후 출력할 수 있다. 만약 압축된 픽쳐들 (P3)로부터 콘텐트 변환 단계 (110)에서 각 픽쳐의 미 사용 영역에 채워진 값이 제거된다면, 후술될 콘텐트 변환 단계(150)에서 각 픽쳐의 미 사용 영역에 채워진 값이 제거하는 동작은 수행될 필요가 없을 것이다.
콘텐트 압축 해제 단계 (140)는 상기 저장 및/또는 전송 단계 (130)에 의해 제공된 압축 픽쳐들 (P'3)에 대한 압축 해제를 수행하고, 상기 압축이 해제된 픽쳐들 (P'2)을 출력할 수 있다. 상기 압축 해제를 위해서는 상기 콘텐트 압축 단계 (120)에서 사용된 부호화 방식이 고려될 수 있다. 즉, 상기 콘텐트 압축 단계 (120)에서 사용된 부호화 방식에 의해 상기 콘텐트 압축 해제 단계 (140)에서 사용할 복호화 방식을 결정할 수 있다.
콘텐트 변환 단계 (150)는 상기 콘텐트 압축 해제 단계 (140)에서 압축이 해제된 픽쳐들 (P'2)을 입력으로 하고, 상기 압축이 해제된 픽쳐들 (P'2) 각각에 상기 콘텐트 변환 단계 (110)에서 미 사용 영역에 채워진 값을 제거하며, 상기 미 사용 영역에 채워진 값이 제거된 픽쳐들 (P'1)을 출력한다. 상기 압축이 해제된 픽쳐들 (P'2) 각각의 미 사용 영역 및/또는 사용 영역에 대한 정보는 별도의 제어 정보 (메타 데이터 등)를 통해 제공될 수 있다. 상기 제어 정보는 하나의 프레임에 동일하게 적용될 수 있다. 즉, 하나의 프레임을 구성하는 모든 픽쳐들에 대하여 하나의 제어 정보가 제공될 수 있다.
도 2는 본 개시에서 제안된 다양한 실시 예에 따른, 영상 처리를 위해 입력되는 프레임의 구조를 보이고 있는 도면이다.
도 2를 참조하면, 프레임들 (프레임 #0, 프레임 #1) 각각은 n 개의 픽쳐들을 포함할 수 있다. 예컨대, 첫 번째 프레임 (프레임 #0)은 픽쳐 #0....... 픽쳐 #n-1을 포함할 수 있고, 두 번째 프레임 (프레임 #1)은 픽쳐 #n....... 픽쳐 #2n-2를 포함할 수 있다. 상기 프레임 #0과 프레임 #1은 타임 포인트 또는 뷰 포인트가 상이하거나 소정의 시간 구간 (time period) 동안의 픽쳐들의 묶음일 수도 있다.
상기 프레임에 포함된 픽쳐들은 소정의 기준으로 고려하여 다수의 그룹들로 그룹화될 수 있다. 예컨대, 동일 시간 정보를 기준으로 하는 경우, 상기 픽쳐들 중 동일 시간 정보를 갖는 픽쳐들을 하나의 그룹으로 그룹화할 수 있다. 여기서 동일 시간 정보는 갖는다는 것은 동일 시간에 다른 뷰 포인트에서 촬영된 픽쳐들임을 의미할 수 있다. 다른 예로, 입력 순서를 기준으로 하는 경우, 픽쳐들을 입력 순서에 따라 다수의 그룹들에 순차적으로 그룹화할 수 있다. 또 다른 예로, 픽쳐 인덱스를 기준으로 하는 경우, 픽쳐들을 인덱스에 따라 다수의 그룹들에 순차적으로 그룹화할 수 있다.
도 3은 본 개시에서 제안된 다양한 실시 예에 따른, 그룹화에 의한 영상 변환의 일 예를 보이고 있는 도면이다.
도 3을 참조하면, 하나의 프레임에 포함된 픽쳐들은 동일 시간 정보를 갖는 픽쳐들이 2개씩 존재함을 가정하였다. 상기 2개의 동일 시간 정보를 갖는 픽쳐들은 상이한 뷰 포인트들에서 동일 타임 포인트에서 촬영된 영상으로부터 추출된 패치 (patch)들이 배치된 이미지일 수 있다.
예컨대, 특정 시간 포인트에 제1 뷰 포인트에서 전, 후, 좌, 우, 상, 하 방향 각각으로 촬영된 패치들을 하나의 화면에 배치하여 제1 픽쳐를 구성할 수 있다. 그리고 상기 특정 시간 포인트에 제2 뷰 포인트에서 전, 후, 좌, 우, 상, 하 방향 각각으로 촬영된 패치들을 하나의 화면에 배치하여 제2 픽쳐를 구성할 수 있다.
그룹 #1은 시간 정보 'T=0'를 갖는 픽쳐 #1과 픽쳐 #2을 그룹화하여 구성될 수 있고, 그룹 #2는 특정 시간 정보 'T=1'을 갖는 픽쳐 #2과 픽쳐 #3을 그룹화하여 구성될 수 있다.
이 경우, 픽쳐 #1과 픽쳐 #2 각각이 포함하는 정보를 기반으로 채움 값을 획득하고, 상기 획득한 채움 값을 사용하여 상기 픽쳐 #1과 상기 픽쳐 #2 각각의 비 사용 영역에 적용할 수 있다.
만약 픽쳐 #1의 비 사용 영역과 픽쳐 #2의 비 사용 영역이 완전히 일치하지 않으면, 픽쳐 #1의 비 사용 영역과 픽쳐 #2의 비 사용 영역이 겹치는 영역에 대해서는 획득한 채움 값을 적용할 수 있다.
도 4는 본 개시에서 제안된 다양한 실시 예에 따른, 그룹화에 의한 영상 변환의 다른 예를 보이고 있는 도면이다.
도 4를 참조하면, 시간 정보의 순서 (T=0, 1, 2, 3, 4, 5)로 픽쳐 #0, #1, #2, #3, #4, #5가 콘텐트 변환을 위해 입력되고, 콘텐트 압축을 위해 픽쳐 #0, #5, #2, #4, #3, #1의 순서로 입력됨을 가정하였다.
이 경우, 그룹 #1은 시간 정보 'T=0'를 갖는 픽쳐 #1과 픽쳐 #2을 그룹화하여 구성될 수 있고, 그룹 #2는 특정 시간 정보 'T=1'을 갖는 픽쳐 #2과 픽쳐 #3을 그룹화하여 구성될 수 있다.
도시된 바에 따르면, 콘텐트 압축을 위한 입력 순서를 고려하여 픽쳐 #0과 픽쳐 #5를 그룹 #1로 그룹화하고, 픽쳐 #2와 픽쳐 #4를 그룹 #2로 그룹화하며, 픽쳐 #3과 픽쳐 #1을 그룹 #3으로 그룹화할 수 있다.
이 경우, 상기 그룹 #1에 대해서는 픽쳐 #0과 픽쳐 #5 각각이 포함하는 정보를 기반으로 채움 값을 획득하고, 상기 획득한 채움 값을 사용하여 상기 픽쳐 #0과 상기 픽쳐 #5 각각의 비 사용 영역에 적용할 수 있다. 상기 그룹 #2에 대해서는 픽쳐 #2와 픽쳐 #4 각각이 포함하는 정보를 기반으로 채움 값을 획득하고, 상기 획득한 채움 값을 사용하여 상기 픽쳐 #2와 상기 픽쳐 #4 각각의 비 사용 영역에 적용할 수 있다. 상기 그룹 #3에 대해서는 픽쳐 #3과 픽쳐 #1 각각이 포함하는 정보를 기반으로 채움 값을 획득하고, 상기 획득한 채움 값을 사용하여 상기 픽쳐 #3과 상기 픽쳐 #1 각각의 비 사용 영역에 적용할 수 있다.
도 5는 본 개시에서 제안된 다양한 실시 예에 따른, 그룹화에 의한 영상 변환의 또 다른 예를 보이고 있는 도면이다.
도 5를 참조하면, 픽셀의 비 사용 영역을 채움 값으로 대체하는 콘텐트 변환 작업은 계층적으로 수행될 수 있다. 상기 콘텐트 변환 작업은, 예를 들어, 세 단계로 수행될 수 있다.
첫 번째 단계 (1st 단계)에서는 그룹화에 따른 그룹들 (510, 512, 514, 516) 각각에 대해 각 픽쳐의 비 사용 영역에 채움 값을 적용할 수 있다. 예컨대, 그룹 #1-1 (510)에 포함된 픽쳐 #0과 픽쳐 #1 각각에 포함된 정보를 기반으로 채움 값을 획득하고, 상기 획득한 채움 값을 상기 픽쳐 #0과 상기 픽쳐 #1 각각의 비 사용 영역을 대체할 수 있다. 그룹 #1-2 (512)에 포함된 픽쳐 #2과 픽쳐 #3 각각에 포함된 정보를 기반으로 채움 값을 획득하고, 상기 획득한 채움 값을 상기 픽쳐 #2과 상기 픽쳐 #3 각각의 비 사용 영역을 대체할 수 있다. 그룹 #1-3 (514)에 포함된 픽쳐 #4과 픽쳐 #5 각각에 포함된 정보를 기반으로 채움 값을 획득하고, 상기 획득한 채움 값을 상기 픽쳐 #4과 상기 픽쳐 #5 각각의 비 사용 영역을 대체할 수 있다. 그룹 #1-4 (516)에 포함된 픽쳐 #6과 픽쳐 #7 각각에 포함된 정보를 기반으로 채움 값을 획득하고, 상기 획득한 채움 값을 상기 픽쳐 #6과 상기 픽쳐 #7 각각의 비 사용 영역을 대체할 수 있다.
상기 첫 번째 단계 (1st 단계) 이후에 수행되는 두 번째 단계 (2nd 단계)에서는 상기 첫 번째 단계 (1st 단계)에서의 두 개의 그룹들을 하나의 그룹으로 그룹화하고, 상기 그룹화에 따른 그룹들 (520, 522) 각각에 대해 각 픽쳐의 비 사용 영역에 채움 값을 적용할 수 있다. 예컨대, 그룹 #2-1 (520)에 포함된 픽쳐 #0, 픽쳐 #1, 픽쳐 #2, 픽쳐 #3 각각에 포함된 정보를 기반으로 채움 값을 획득하고, 상기 획득한 채움 값을 상기 픽쳐 #0, 상기 픽쳐 #1, 상기 픽쳐 #2, 상기 픽쳐 #3 각각의 비 사용 영역을 대체할 수 있다. 그룹 #2-2 (522)에 포함된 픽쳐 #4, 픽쳐 #5, 픽쳐 #6, 픽쳐 #7 각각에 포함된 정보를 기반으로 채움 값을 획득하고, 상기 획득한 채움 값을 상기 픽쳐 #4, 상기 픽쳐 #5, 상기 픽쳐 #6, 상기 픽쳐 #7 각각의 비 사용 영역을 대체할 수 있다.
상기 두 번째 단계 (2nd 단계) 이후에 수행되는 세 번째 단계 (3rd 단계)에서는 상기 두 번째 단계 (2nd 단계)에서의 두 개의 그룹들 (520, 522)을 하나의 그룹 (530)으로 그룹화하고, 상기 그룹화에 따른 그룹 (530)에 대해 각 픽쳐의 비 사용 영역에 채움 값을 적용할 수 있다. 예컨대, 그룹 #3-1 (530)에 포함된 픽쳐 #0, 픽쳐 #1, 픽쳐 #2, 픽쳐 #3, 픽쳐 #4, 픽쳐 #5, 픽쳐 #6, 픽쳐 #7 각각에 포함된 정보를 기반으로 채움 값을 획득하고, 상기 획득한 채움 값을 상기 픽쳐 #0, 상기 픽쳐 #1, 상기 픽쳐 #2, 상기 픽쳐 #3, 상기 픽쳐 #4, 상기 픽쳐 #5, 상기 픽쳐 #6, 상기 픽쳐 #7 각각의 비 사용 영역을 대체할 수 있다.
상술한 바와 같이 계층적으로 콘텐트 변환 작업을 진행하는 경우, 단계의 증가함에 따라 채움 값을 대체할 픽쳐들의 개수가 증가할 수 있다.
도 6은 본 개시에서 제안된 다양한 실시 예에 따른, 전자장치에서 콘텐트 생성을 위한 영상 처리 절차를 보이고 있는 도면이다.
도 6을 참조하면, 전자장치는 610단계에서 콘텐트 변환을 위한 데이터를 프레임 단위로 입력 받을 수 있다. 상기 콘텐트 변환을 위한 하나의 프레임은 도 4의 (a)에 도시된 바와 같은 순서에 의해 그 픽쳐들이 입력될 수 있다.
상기 전자장치는 612단계에서 하나의 프레임에 포함된 픽쳐들을 콘텐트 변환을 위해 다수의 그룹들로 그룹화할 수 있다. 상기 전자장치는, 예를 들어, 입력 프레임을 구성하는 픽쳐들을 동일 시간 정보를 기준으로 두 개의 픽쳐들을 하나의 그룹으로 그룹화할 수 있다.
상기 전자장치는 614단계에서 그룹 별로 콘텐트 변환을 수행할 수 있다. 상기 전자장치는, 예를 들어, 각 그룹으로 그룹화된 다수의 픽쳐들 각각의 미 사용 영역의 값을 채움 값으로 대체하며, 상기 미 사용 영역을 채움 값으로 대체한 픽쳐들을 출력할 수 있다. 상기 채움 값은 하나의 그룹으로 그룹화된 다수의 픽쳐들 각각의 일부 또는 전체 영역의 값을 사용하여 획득할 수 있다. 상기 채움 값을 획득하기 위한 영역은 대상 픽쳐의 사용 영역 중에서 선택될 수 있다.
일 실시 예에 따르면, 제1 픽쳐와 제2 픽쳐가 하나의 그룹으로 그룹화된 경우, 상기 제1 픽쳐에서 획득한 값과 상기 제2 픽쳐에서 획득한 값의 최소 값, 최대 값, 평균 값, 중간 값, 복제 값 중 하나를 채움 값으로 획득할 수 있다.
상기 전자장치는 616단계에서 콘텐트 변환된 픽쳐들에 대한 압축을 소정의 부호화 방식을 사용하여 수행할 수 있다. 상기 부호화 방식은, 예를 들어, HEVC 방식, 엔트로피 방식 등이 사용될 수 있다.
상기 전자장치는 618단계에서 상기 압축된 픽쳐들을 저장 및/또는 전송할 수 있다. 상기 압축된 픽쳐들을 전송하는 경우, 상기 전자장치는 방송 서비스를 위한 소정의 프로토콜을 기반으로 구현될 수 있다. 상기 소정의 프로토콜은, 예를 들어, MMT, ATSC 3.0 등에서 규정하고 있는 전송 방식이 될 수 있다. 즉 상기 전자장치는 사용할 프로토콜을 고려하여 압축 픽쳐들을 규정된 전송 패킷으로 구성하고, 상기 전송 패킷을 콘텐트 소비장치로 전송할 수 있다.
상기 전자장치는 내부 메모리에 저장된 압축 픽쳐들을 방송 서비스를 위한 소정의 프로토콜을 기반으로 가공하고, 상기 가공한 픽쳐들을 상기 소정의 프로토콜을 위해 규정된 포맷의 전송 패킷으로 구성한 후 콘텐트 소비장치로 전송할 수도 있다.
도시되지 않았으나 저장 및/또는 전송되는 픽쳐들의 크기를 줄이기 위하여 콘텐트 압축 단계에서 압축된 픽쳐들에서 콘텐트 변환 시에 각 픽쳐의 미 사용 영역에 채워진 값을 제거한 후 출력할 수 있다. 만약 압축된 픽쳐들로부터 콘텐트 변환 시에 각 픽쳐의 미 사용 영역에 채워진 값이 제거된다면, 콘텐트 소비장치에서는 각 픽쳐의 미 사용 영역에 채워진 값을 제거할 필요가 없게 된다.
도 7은 본 개시에서 제안된 다양한 실시 예에 따른, 전자장치에서 콘텐트 소비를 위한 영상 처리 절차를 보이고 있는 도면이다.
도 7을 참조하면, 전자장치는 710단계에서 콘텐트 공급장치로부터 제공되거나 내부 메모리에 저장된 압축 픽쳐들로 구성된 콘텐트 데이터를 입력 받는다.
상기 전자장치는 712단계에서 압축 픽쳐들에 대한 압축 해제를 수행하고, 상기 압축이 해제된 픽쳐들을 출력할 수 있다. 상기 압축 해제를 위해서는 압축을 위해 사용된 부호화 방식이 고려될 수 있다. 즉, 압축을 위해 사용된 부호화 방식에 의해 압축 해제를 위한 복호화 방식을 결정할 수 있다.
상기 전자장치는 714단계에서 상기 압축이 해제된 픽쳐들을 입력으로 하고, 상기 압축이 해제된 픽쳐들 각각에서 미 사용 영역에 채워진 리던던시를 제거하며, 상기 리던던시가 제거된 픽쳐들을 출력할 수 있다.
상기 전자장치는 상기 압축이 해제된 픽쳐들 각각의 미 사용 영역 및/또는 사용 영역에 대한 정보를 별도의 제어 정보 (메타 데이터 등)를 통해 상기 콘텐트 공급장치로부터 제공받을 수 있다. 상기 제어 정보는 하나의 프레임에 동일하게 적용될 수 있다. 즉, 하나의 프레임을 구성하는 모든 픽쳐들에 대하여 하나의 제어 정보가 제공될 수 있다. 만약 콘텐트 공급장치에서 콘텐트 데이터를 전송하기 전에 리던던시를 제거하였다면, 상기 전자장치는 리던던시를 제거하는 714단계를 생략할 수 있다.
상기 전자장치는 716단계에서 압축이 해제된 픽쳐들을 사용하여 사용자가 원하는 콘텐트를 재생할 수 있다.
도 8은 본 개시에서 제안된 다양한 실시 예에 따른, 전자장치에서 영상 처리를 위한 구성을 보이고 있는 도면이다.
도 8을 참조하면, 전자장치는 영상 처리를 위해 적어도 하나의 프로세서 (810), 인터페이스 (I/F)(820), 송/수신부 (830), 메모리 (840)를 포함할 수 있다. 하기에서는 설명의 편의를 위해 프로세서라는 용어를 사용하지만, 그 프로세서에서 수행하는 동작은 다수의 프로세서들에 의해 분산하여 처리될 수 있음은 물론이다.
상기 I/F (820)는 키 패드, 적어도 하나의 카메라, 터치 패널, 외장 메모리 등의 하나 또는 다수의 입력 장치들과 연결되거나 프린터, 모니터, 외장 메모리 등의 하나 또는 다수의 출력 장치들과 연결될 수 있다.
상기 I/F (820)는 하나 또는 다수의 입력 장치들로부터 입력되는 데이터를 상기 프로세서 (810)로 제공하고, 상기 프로세서 (810)에 의해 제공되는 데이터를 하나 또는 다수의 출력 장치들로 출력할 수 있다. 특히, 상기 I/F (820)는 하나 또는 다수의 카메라들에 의해 촬영된 영상을 제공받아 상기 프로세서 (810)로 전달할 수 있다. 상기 I/F (820)가 상기 프로세서로 영상을 전달하는 포맷 등은 사전에 약속될 수 있다.
상기 I/F (820)는 상기 프로세서 (810)에 의해 제공된 콘텐트 데이터의 재생을 위해 모니터로 출력할 수 있다.
상기 프로세서 (810)는 콘텐트 생성을 위한 영상 처리 절차 및 콘텐트 소비를 위한 영상 처리 절차에 따른 동작을 제어할 수 있다. 상기 콘텐트 생성을 위한 영상 처리 절차는 콘텐트 변환 단계, 콘텐트 압축 단계 및 콘텐트 저장/전송 단계를 포함할 수 있다. 상기 콘텐트 소비를 위한 영상 처리 절차는 콘텐트 입력 단계, 콘텐트 압축 해제 단계 및 콘텐트 변환 단계를 포함할 수 있다.
하나의 실시 예에 따르면, 프로세서 (810)는 콘텐트 생성을 위한 영상 처리 절차에 따른 동작을 하기와 같이 수행할 수 있다.
상기 프로세서 (810)는 콘텐트 변환을 위한 데이터를 상기 I/F (820)로부터 프레임 단위로 입력 받을 수 있다. 상기 콘텐트 변환을 위한 하나의 프레임은 도 4의 (a)에 도시된 바와 같은 순서에 의해 그 픽쳐들이 입력될 수 있다.
상기 프로세서 (810)는 하나의 프레임에 포함된 픽쳐들을 콘텐트 변환을 위해 다수의 그룹들로 그룹화하고, 그룹 별로 콘텐트 변환을 수행할 수 있다. 상기 프로세서 (810)는, 예를 들어, 하나의 프레임에 포함된 다수의 픽쳐들 중 동일 시간 정보를 갖는 제1 픽쳐와 제2 픽쳐를 영상 변환을 위한 하나의 그룹으로 그룹화할 수 있다.
상기 프로세서 (810)는 각 그룹으로 그룹화된 다수의 픽쳐들 각각의 미 사용 영역의 값을 채움 값으로 대체할 수 있다. 상기 채움 값은 하나의 그룹으로 그룹화된 다수의 픽쳐들 각각의 일부 또는 전체 영역의 값을 사용하여 획득할 수 있다. 상기 채움 값을 획득하기 위한 영역은 대상 픽쳐의 사용 영역 중에서 선택될 수 있다.
일 실시 예에 따르면, 프로세서 (810)는 동일 시간 정보를 가지는 제1 픽쳐와 제2 픽쳐가 하나의 그룹으로 그룹화된 경우, 상기 제1 픽쳐의 제1 미 사용 영역과 상기 제2 픽쳐의 제2 미 사용 영역을 식별할 수 있다. 상기 프로세서 (810)는 상기 제1 미 사용 영역으로부터 획득한 값과 상기 제2 미 사용 영역으로부터 획득한 값을 기반으로 채움 값을 획득할 수 있다. 상기 프로세서 (810)는 상기 획득한 채움 값을 사용하여 상기 제1 미 사용 영역과 상기 제2 미 사용 영역을 대체할 수 있다.
상기 프로세서 (810)는 상기 제1 미 사용 영역으로부터 획득한 값과 상기 제2 미 사용 영역으로부터 획득한 값 중 하나를 상기 채움 값으로 획득하거나 상기 제1 미 사용 영역으로부터 획득한 값과 상기 제2 미 사용 영역으로부터 획득한 값의 평균 값을 상기 채움 값으로 획득할 수 있다. 상기 프로세서 (810)는 상기 제1 미 사용 영역으로부터 획득한 값과 상기 제2 미 사용 영역으로부터 획득한 값 중 최소 값을 상기 채움 값으로 획득하거나 상기 제1 미 사용 영역으로부터 획득한 값과 상기 제2 미 사용 영역으로부터 획득한 값 중 최대 값을 상기 채움 값으로 획득할 수도 있다.
상기 프로세서 (810)는 콘텐트 변환된 픽쳐들에 대한 압축을 소정의 부호화 방식을 사용하여 수행할 수 있다. 상기 부호화 방식은, 예를 들어, HEVC 방식, 엔트로피 방식 등이 사용될 수 있다.
상기 프로세서 (810)는 상기 압축된 픽쳐들을 저장 및/또는 전송을 위한 제어를 수행할 수 있다. 상기 압축된 픽쳐들을 전송하는 경우, 상기 프로세서 (810)는 방송 서비스를 위한 소정의 프로토콜을 기반으로 구현될 수 있다. 상기 소정의 프로토콜은, 예를 들어, MMT, ATSC 3.0 등에서 규정하고 있는 전송 방식이 될 수 있다. 즉 상기 프로세서 (810)는 사용할 프로토콜을 고려하여 압축 픽쳐들을 규정된 전송 패킷으로 구성하고, 상기 전송 패킷을 콘텐트 소비장치로 전송하도록 상기 송/수신부 (830)를 제어할 수 있다.
상기 프로세서 (810)는 메모리 (840)에 저장된 압축 픽쳐들을 방송 서비스를 위한 소정의 프로토콜을 기반으로 가공하고, 상기 가공한 픽쳐들을 상기 소정의 프로토콜을 위해 규정된 포맷의 전송 패킷으로 구성한 후 콘텐트 소비장치로 전송하도록 상기 송/수신부 (830)를 제어할 수 있다.
도시되지 않았으나 상기 프로세서 (810)는 저장 및/또는 전송되는 픽쳐들의 크기를 줄이기 위하여 압축 이후에 각 픽쳐의 미 사용 영역에 채워진 값을 제거한 후 출력할 수 있다. 만약 각 픽쳐의 미 사용 영역에 채워진 값이 제거된다면, 상기 프로세서 (810)는 콘텐트 소비 시에 각 픽쳐의 미 사용 영역에 채워진 값을 제거할 필요가 없게 된다.
하나의 실시 예에 따르면, 프로세서 (810)는 콘텐트 소비를 위한 영상 처리 절차에 따른 동작을 하기와 같이 수행할 수 있다.
상기 프로세서 (810)는 압축 픽쳐들로 구성된 콘텐트 데이터를 입력 받으면, 상기 압축 픽쳐들에 대한 압축 해제를 수행할 수 있다. 상기 프로세서 (810)는 압축 해제를 위한 복호화 방식을 결정하기 위해 압축을 위해 사용된 부호화 방식을 고려할 수 있다.
상기 프로세서 (810)는 상기 압축이 해제된 픽쳐들 각각에서 미 사용 영역에 채워진 리던던시를 제거하며, 상기 리던던시가 제거된 픽쳐들을 상기 I/F (820)로 출력할 수 있다.
상기 프로세서 (810)는 상기 압축이 해제된 픽쳐들 각각의 미 사용 영역 및/또는 사용 영역에 대한 정보를 별도의 제어 정보 (메타 데이터 등)를 통해 상기 콘텐트 공급장치로부터 제공받을 수 있다. 상기 제어 정보는 하나의 프레임에 동일하게 적용될 수 있다. 즉, 하나의 프레임을 구성하는 모든 픽쳐들에 대하여 하나의 제어 정보가 제공될 수 있다. 만약 콘텐트 공급장치에서 콘텐트 데이터를 전송하기 전에 리던던시를 제거하였다면, 상기 프로세서 (810)는 리던던시를 제거하는 동작을 생략할 수 있다.
상기 송/수신부 (830)는 상기 프로세서 (810)로부터의 제어에 따라 미 사용 영역이 채움 값으로 대체된 변환 픽쳐들을 방송 서비스를 위한 하나의 전송 방식을 기반으로 전송할 수 있다.
상기 송/수신부 (830)는 상기 프로세서 (810)로부터의 제어에 따라 미 사용 영역이 채움 값으로 대체된 변환 픽쳐들을 방송 서비스를 위한 하나의 전송 방식을 기반으로 수신하고, 이를 상기 프로세서 (810)로 전달할 수도 있다.
상기 메모리 (840)는 상기 프로세서 (810)의 제어에 따라 압축된 콘텐트 데이터를 저장하고, 상기 프로세서 (810)의 제어에 따라 저장된 콘텐트 데이터를 출력할 수 있다.
도 9는 본 개시에서 제안된 다양한 실시 예에 따른, 전자장치에서의 영상 변환에 대한 일 예를 보이고 있는 도면이다.
도 9를 참조하면, 하나의 객체 (910)는 다수의 뷰 포인트 (외부 뷰 포인트, 내부 뷰 포인트) 각각에서 촬영되고, 상기 각 뷰 포인트에서 촬영된 패치들이 출력될 수 있다.
하나의 실시 예에 따르면, 외부 뷰 포인트에서 전, 후, 좌, 우, 상, 하 방향으로 대상 객체 (910)를 촬영하고, 상기 각 방향으로 촬영된 이미지들에 대응한 외부 패치들 (921, 922, 923, 924, 925, 926)을 생성할 수 있다. 내부 뷰 포인트에서 전, 후, 좌, 우, 상, 하 방향으로 대상 객체 (910)를 촬영하고, 상기 각 방향으로 촬영된 이미지들에 대응한 내부 패치들 (931, 932, 933, 934, 935, 936)을 생성할 수 있다.
상기 외부 패치들 (921, 922, 923, 924, 925, 926)은 제1 픽쳐 (942) 내에 배치될 수 있고, 상기 내부 패치들 (931, 932, 933, 934, 935, 936)은 제2 패치 (944) 내에 배치될 수 있다. 상기 제1 픽쳐 (942)와 상기 제2 픽쳐 (944)는 동일 시간 정보를 가짐에 따라 하나의 그룹 #0 (940)으로 그룹화될 것이다.
상기 제1 픽쳐 (942)에서 외부 패치들 (921, 922, 923, 924, 925, 926)이 배치된 영역이 '제1 픽쳐의 사용 영역'에 해당하고, 상기 외부 패치들 (921, 922, 923, 924, 925, 926)이 배치되지 않은 영역이 '제1 픽쳐의 비 사용 영역'에 해당한다.
상기 제2 픽쳐 (944)에서 외부 패치들 (931, 932, 933, 934, 935, 936)이 배치된 영역이 '제2 픽쳐의 사용 영역'에 해당하고, 상기 외부 패치들 (931, 932, 933, 934, 935, 936)이 배치되지 않은 영역이 '제3 픽쳐의 비 사용 영역'에 해당한다.
한편, 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시에서 제안한 다양한 실시 예에 따른 범위에서 벗어나지 않는 한도 내에서 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 여러 가지 변형에 의한 실시할 수 있음은 물론이다. 그러므로 본 개시에 따른 범위는 설명된 실시 예에 국한되어 정해져서는 안 되며, 후술하는 특허 청구의 범위뿐만 아니라, 이 특허 청구의 범위와 균등한 것들에 의해 정해져야 한다. 그뿐만 아니라, 이러한 변형 실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims (20)

  1. 전자 장치에서 영상을 처리하는 방법에 있어서,
    동일 시간 정보를 가지는 제1 픽쳐에서의 제1 미 사용 영역 (first unused area)과 제2 픽쳐에서의 제2 미 사용 영역 (second unused area)을 식별하는 과정과,
    상기 제1 미 사용 영역으로부터 획득한 값과 상기 제2 미 사용 영역으로부터 획득한 값을 기반으로 상기 제1 미 사용 영역과 상기 제2 미 사용 영역을 대체할 채움 값을 획득하는 과정과,
    상기 획득한 채움 값을 사용하여 상기 제1 미 사용 영역과 상기 제2 미 사용 영역을 대체하여 제1 변환 픽쳐와 제2 변환 픽쳐를 획득하는 과정을 포함하는 영상 처리 방법.
  2. 제1항에 있어서, 상기 채움 값을 획득하는 과정은,
    상기 제1 픽쳐에서 획득한 값과 상기 제2 픽쳐에서 획득한 값 중 하나를 상기 채움 값으로 획득하는 과정임을 특징으로 영상 처리 방법.
  3. 제1항에 있어서, 상기 채움 값을 획득하는 과정은,
    상기 제1 픽쳐에서 획득한 값과 상기 제2 픽쳐에서 획득한 값의 평균 값을 상기 채움 값으로 획득하는 과정임을 특징으로 영상 처리 방법.
  4. 제1항에 있어서, 상기 채움 값을 획득하는 과정은,
    상기 제1 픽쳐에서 획득한 값과 상기 제2 픽쳐에서 획득한 값 중 최소 값을 상기 채움 값으로 획득하는 과정임을 특징으로 영상 처리 방법.
  5. 제1항에 있어서, 상기 채움 값을 획득하는 과정은,
    상기 제1 픽쳐에서 획득한 값과 상기 제2 픽쳐에서 획득한 값 중 최대 값을 상기 채움 값으로 획득하는 과정임을 특징으로 영상 처리 방법.
  6. 제1항에 있어서,
    상기 제1 미 사용 영역과 상기 제2 미 사용 영역이 상기 획득한 채움 값으로 대체된 제1 변환 픽쳐와 제2 변환 픽쳐를 하나의 부호화 방식을 사용하여 압축하는 과정을 더 포함하는 영상 처리 방법.
  7. 제1항에 있어서,
    상기 제1 미 사용 영역과 상기 제2 미 사용 영역이 상기 획득한 채움 값으로 대체된 제1 변환 픽쳐와 제2 변환 픽쳐를 방송 서비스를 위한 하나의 전송 방식을 기반으로 전송하는 과정을 더 포함하는 영상 처리 방법.
  8. 제1항에 있어서,
    상기 제1 픽쳐는 제1 뷰 포인트에서 대상 객체를 촬영된 패치들을 포함하고, 상기 제2 픽쳐는 제2 뷰 포인트에서 상기 대상 객체를 촬영된 패치들을 포함함을 특징으로 하는 영상 처리 방법.
  9. 제1항에 있어서,
    하나의 프레임에 포함된 다수의 픽쳐들 중 상기 제1 픽쳐와 상기 제2 픽쳐를 영상 변환을 위한 하나의 그룹으로 그룹화하는 과정을 더 포함하는 영상 처리 방법.
  10. 제1항에 있어서,
    상기 제1 픽쳐에서의 상기 제1 미 사용 영역의 값을 상기 제1 픽쳐에서의 제1 사용 영역 (first used area)에서 획득한 값 또는 미리 설정된 값으로 대체하는 과정과,
    상기 제2 픽쳐에서의 상기 제2 미 사용 영역의 값을 상기 제2 픽쳐에서의 제2 사용 영역 (second used area)에서 획득한 값 또는 미리 설정된 값으로 대체하는 과정을 더 포함하는 영상 처리 방법.
  11. 영상을 처리하는 장치에 있어서,
    적어도 하나의 메모리와,
    상기 적어도 하나의 메모리와 연결된 적어도 하나의 프로세서를 포함하며,
    여기서, 상기 적어도 하나의 프로세서는,
    동일 시간 정보를 가지는 제1 픽쳐에서의 제1 미 사용 영역 (first unused area)과 제2 픽쳐에서의 제2 미 사용 영역 (second unused area)을 식별하고,
    상기 제1 미 사용 영역으로부터 획득한 값과 상기 제2 미 사용 영역으로부터 획득한 값을 기반으로 상기 제1 미 사용 영역과 상기 제2 미 사용 영역을 대체할 채움 값을 획득하며,
    상기 획득한 채움 값을 사용하여 상기 제1 미 사용 영역과 상기 제2 미 사용 영역을 대체하는 영상 처리 장치.
  12. 제11항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 제1 미 사용 영역으로부터 획득한 값과 상기 제2 미 사용 영역으로부터 획득한 값 중 하나를 상기 채움 값으로 획득함을 특징으로 영상 처리 장치.
  13. 제11항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 제1 미 사용 영역으로부터 획득한 값과 상기 제2 미 사용 영역으로부터 획득한 값의 평균 값을 상기 채움 값으로 획득함을 특징으로 영상 처리 장치.
  14. 제11항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 제1 미 사용 영역으로부터 획득한 값과 상기 제2 미 사용 영역으로부터 획득한 값 중 최소 값을 상기 채움 값으로 획득함을 특징으로 영상 처리 장치.
  15. 제11항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 제1 미 사용 영역으로부터 획득한 값과 상기 제2 미 사용 영역으로부터 획득한 값 중 최대 값을 상기 채움 값으로 획득함을 특징으로 영상 처리 장치.
  16. 제11항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 제1 미 사용 영역과 상기 제2 미 사용 영역이 상기 획득한 채움 값으로 대체된 제1 변환 픽쳐와 제2 변환 픽쳐를 하나의 부호화 방식을 사용하여 압축하여 상기 메모리에 기록함을 특징으로 하는 영상 처리 장치.
  17. 제11항에 있어서,
    상기 적어도 하나의 프로세서로부터의 제어에 따라 상기 제1 미 사용 영역과 상기 제2 미 사용 영역이 상기 획득한 채움 값으로 대체된 제1 변환 픽쳐와 제2 변환 픽쳐를 방송 서비스를 위한 하나의 전송 방식을 기반으로 전송하는 송수신부를 더 포함하는 영상 처리 장치.
  18. 제11항에 있어서,
    상기 제1 픽쳐는 제1 뷰 포인트에서 대상 객체를 촬영된 패치들을 포함하고, 상기 제2 픽쳐는 제2 뷰 포인트에서 상기 대상 객체를 촬영된 패치들을 포함함을 특징으로 하는 영상 처리 장치.
  19. 제11항에 있어서, 상기 적어도 하나의 프로세서는,
    하나의 프레임에 포함된 다수의 픽쳐들 중 상기 제1 픽쳐와 상기 제2 픽쳐를 영상 변환을 위한 하나의 그룹으로 그룹화함을 특징으로 하는 영상 처리 장치.
  20. 제11항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 제1 픽쳐에서의 상기 제1 미 사용 영역의 값을 상기 제1 픽쳐에서의 제1 사용 영역 (first used area)에서 획득한 값 또는 미리 설정된 값으로 대체하고, 상기 제2 픽쳐에서의 상기 제2 미 사용 영역의 값을 상기 제2 픽쳐에서의 제2 사용 영역 (second used area)에서 획득한 값 또는 미리 설정된 값으로 대체함을 특징으로 하는 영상 처리 장치.
PCT/KR2019/004377 2018-04-11 2019-04-11 영상 처리 장치 및 방법 WO2019199087A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP19786196.6A EP3767959B1 (en) 2018-04-11 2019-04-11 Device and method for image processing
US16/981,021 US11328453B2 (en) 2018-04-11 2019-04-11 Device and method for image processing

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0042423 2018-04-11
KR1020180042423A KR102503743B1 (ko) 2018-04-11 2018-04-11 이미지 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2019199087A1 true WO2019199087A1 (ko) 2019-10-17

Family

ID=68163736

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/004377 WO2019199087A1 (ko) 2018-04-11 2019-04-11 영상 처리 장치 및 방법

Country Status (4)

Country Link
US (1) US11328453B2 (ko)
EP (1) EP3767959B1 (ko)
KR (1) KR102503743B1 (ko)
WO (1) WO2019199087A1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100636785B1 (ko) * 2005-05-31 2006-10-20 삼성전자주식회사 다시점 입체 영상 시스템 및 이에 적용되는 압축 및 복원방법
KR101350597B1 (ko) * 2006-01-09 2014-01-14 톰슨 라이센싱 멀티 뷰 비디오 코딩을 위한 방법 및 장치
JP2016015766A (ja) * 2015-09-16 2016-01-28 三菱電機株式会社 立体映像配信システム、立体映像配信方法、立体映像配信装置、立体映像視聴システム、立体映像視聴方法、立体映像視聴装置
KR101669524B1 (ko) * 2012-02-01 2016-11-09 노키아 테크놀로지스 오와이 비디오 코딩을 위한 방법 및 장치
US9584794B2 (en) * 2012-04-05 2017-02-28 Koninklijke Philips N.V. Depth helper data
KR20170065578A (ko) * 2014-10-24 2017-06-13 주식회사 소니 인터랙티브 엔터테인먼트 화상 생성 장치, 화상 추출 장치, 화상 생성 방법, 및 화상 추출 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101371584B (zh) 2006-01-09 2011-12-14 汤姆森特许公司 提供用于多视图视频编码的降低分辨率的更新模式的方法和装置
US9514523B2 (en) 2014-11-18 2016-12-06 Intel Corporation Method and apparatus for filling images captured by array cameras
CN104574311B (zh) 2015-01-06 2017-08-11 华为技术有限公司 图像处理方法和装置
US20170230668A1 (en) * 2016-02-05 2017-08-10 Mediatek Inc. Method and Apparatus of Mode Information Reference for 360-Degree VR Video
KR20180000279A (ko) * 2016-06-21 2018-01-02 주식회사 픽스트리 부호화 장치 및 방법, 복호화 장치 및 방법
EP3287947A1 (en) 2016-08-25 2018-02-28 Dolby Laboratories Licensing Corp. Automatic video framing of conference participants
US20180098090A1 (en) * 2016-10-04 2018-04-05 Mediatek Inc. Method and Apparatus for Rearranging VR Video Format and Constrained Encoding Parameters

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100636785B1 (ko) * 2005-05-31 2006-10-20 삼성전자주식회사 다시점 입체 영상 시스템 및 이에 적용되는 압축 및 복원방법
KR101350597B1 (ko) * 2006-01-09 2014-01-14 톰슨 라이센싱 멀티 뷰 비디오 코딩을 위한 방법 및 장치
KR101669524B1 (ko) * 2012-02-01 2016-11-09 노키아 테크놀로지스 오와이 비디오 코딩을 위한 방법 및 장치
US9584794B2 (en) * 2012-04-05 2017-02-28 Koninklijke Philips N.V. Depth helper data
KR20170065578A (ko) * 2014-10-24 2017-06-13 주식회사 소니 인터랙티브 엔터테인먼트 화상 생성 장치, 화상 추출 장치, 화상 생성 방법, 및 화상 추출 방법
JP2016015766A (ja) * 2015-09-16 2016-01-28 三菱電機株式会社 立体映像配信システム、立体映像配信方法、立体映像配信装置、立体映像視聴システム、立体映像視聴方法、立体映像視聴装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3767959A4 *

Also Published As

Publication number Publication date
KR102503743B1 (ko) 2023-02-28
US20210074030A1 (en) 2021-03-11
EP3767959A4 (en) 2021-01-27
KR20190118926A (ko) 2019-10-21
EP3767959A1 (en) 2021-01-20
EP3767959B1 (en) 2024-04-03
US11328453B2 (en) 2022-05-10

Similar Documents

Publication Publication Date Title
WO2019199092A1 (ko) 멀티미디어 시스템에서의 데이터 처리 장치 및 방법
WO2019194522A1 (ko) 중복 포인트 처리 방법 및 장치
WO2020235886A1 (en) Bitstream merger and extractor
EP2572504A1 (en) Multiple-site drawn-image sharing apparatus, multiple-site drawn-image sharing system, method executed by multiple-site drawn-image sharing apparatus, program, and recording medium
WO2015046688A1 (ko) 멀티앵글영상촬영헬멧 및 촬영방법
US20180376181A1 (en) Networked video communication applicable to gigabit ethernet
WO2012115435A2 (en) Method and apparatus for encoding and decoding multi view video
WO2011139060A2 (en) Method and system for communication of stereoscopic three dimensional video information
Diaz et al. Integrating HEVC video compression with a high dynamic range video pipeline
WO2019199087A1 (ko) 영상 처리 장치 및 방법
EP4189649A1 (en) Method and apparatus for performing anchor based rendering for augmented reality media objects
WO2020262823A1 (ko) 영상을 처리하는 전자 장치 및 그 영상 처리 방법
WO2020189953A1 (ko) 인공지능에 기반하여 영상을 분석하는 카메라 및 그것의 동작 방법
WO2014054896A1 (ko) 비디오 신호 처리 방법 및 장치
GB2526618A (en) Method for generating a screenshot of an image to be displayed by a multi-display system
WO2019151808A1 (ko) 이미지 센서를 이용한 이미지 획득 과정에서 생성된 압축 속성을 이용하여 이미지를 압축하는 전자 장치 및 그 동작 방법
CN111225214A (zh) 视频处理方法、装置及电子设备
WO2016006746A1 (ko) 초고해상도 영상 처리를 위한 장치
CN112565799B (zh) 视频数据处理方法和装置
WO2021101170A1 (ko) 클라이언트측 포렌식 워터마크 장치, 시스템 및 방법
WO2022045779A1 (en) Restoration of the fov of images for stereoscopic rendering
EP3354014A1 (en) System and method for video broadcasting
WO2010140864A2 (ko) 스테레오 영상 처리 장치 및 방법
WO2016088940A1 (ko) 클라우드 스트리밍 서비스 시스템, 어플리케이션 코드를 이용한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
WO2015050385A1 (ko) 프레임의 특성에 따라 부하를 분배하는 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19786196

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019786196

Country of ref document: EP

Effective date: 20201016