KR20220079471A - Video transmission/reception method and apparatus through video separation and recombination - Google Patents
Video transmission/reception method and apparatus through video separation and recombination Download PDFInfo
- Publication number
- KR20220079471A KR20220079471A KR1020210171492A KR20210171492A KR20220079471A KR 20220079471 A KR20220079471 A KR 20220079471A KR 1020210171492 A KR1020210171492 A KR 1020210171492A KR 20210171492 A KR20210171492 A KR 20210171492A KR 20220079471 A KR20220079471 A KR 20220079471A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- resolution
- low
- resolution data
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000005540 biological transmission Effects 0.000 title claims abstract description 17
- 230000006798 recombination Effects 0.000 title abstract description 7
- 238000005215 recombination Methods 0.000 title abstract description 7
- 238000000926 separation method Methods 0.000 title 1
- 230000015654 memory Effects 0.000 claims abstract description 20
- 238000003709 image segmentation Methods 0.000 abstract description 9
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명은 영상 분할 및 재결합을 통한 영상 송수신 방법 및 장치를 개시한다. 본 발명에 따르면, 프로세서; 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 미리 설정된 제1 해상도 이상의 고해상도 데이터를 상기 제1 해상도보다 낮은 복수의 저해상도 데이터로 분할하고, 상기 복수의 저해상도 데이터 간의 차이에 해당하는 복수의 변화량 데이터를 생성하고, 상기 복수의 저해상도 데이터 및 상기 복수의 변화량 데이터의 일부를 사용자 단말로 송신하도록, 상기 프로세서에 의해 실행되는 프로그램 명령어들을 저장하는 영상 송신 장치가 제공된다. The present invention discloses an image transmission/reception method and apparatus through image segmentation and recombination. According to the present invention, a processor; and a memory connected to the processor, wherein the memory divides high-resolution data equal to or greater than a preset first resolution into a plurality of low-resolution data lower than the first resolution, and includes a plurality of pieces of data corresponding to differences between the plurality of low-resolution data. There is provided an image transmitting apparatus that stores program instructions executed by the processor to generate variation data and transmit the plurality of low-resolution data and a portion of the plurality of variation data to a user terminal.
Description
본 발명은 영상 분할 및 재결합을 통한 영상 송수신 방법 및 장치에 관한 것이다. The present invention relates to a method and apparatus for transmitting and receiving an image through image segmentation and recombination.
현재 방송 및 컨텐츠 시장은 초고속 이동통신 및 스마트폰 보편화를 기반으로 유튜브, netflix 등의 모바일 영상 시청 플랫폼을 통한 고품질 모바일 컨텐츠의 소비가 급격하게 늘어나고 있다. In the current broadcasting and contents market, the consumption of high-quality mobile contents through mobile video viewing platforms such as YouTube and netflix is rapidly increasing based on high-speed mobile communication and the generalization of smartphones.
특히 국내 4세대 LTE 이동통신 가입자들의 데이터 소비 패턴의 절반 이상(56.8%)을 고품질 영상 컨텐츠 시청이 차지하는 것으로 나타난다. In particular, it appears that viewing of high-quality video content accounts for more than half (56.8%) of the data consumption patterns of domestic 4G LTE mobile communication subscribers.
이에 따라 동영상 시청을 통한 모바일 트래픽의 소비량 또한 크게 증가하고 있으며, 특정 시간에 몰리는 트래픽으로 인해 사용자는 고품질 영상 시청에 어려움을 겪고 있다. Accordingly, the consumption of mobile traffic through video viewing is also increasing significantly, and users are having difficulty in viewing high-quality video due to traffic rushing at a specific time.
MNO(Mobile Network Operator) 입장에서 제한된 이동통신 인프라 상에서 트래픽 부하를 분산시키고, 사용자의 안정적인 고품질 영상 시청을 지원하는 컨텐츠 송신 기술이 필요하다. From the standpoint of a mobile network operator (MNO), a content transmission technology that distributes the traffic load on a limited mobile communication infrastructure and supports users' stable, high-quality video viewing is required.
기본적으로 영상을 송수신하기 위해서, 송신 과정에서 A/D 변환(analog to digital), 소스 코딩, 채널 코딩 등의 부호화(encoding) 과정을 거치고 수신 과정에서 복호화(decoding) 과정을 거친다. Basically, in order to transmit/receive an image, an encoding process such as A/D conversion (analog to digital), source coding, and channel coding is performed in a transmission process, and a decoding process is performed in a reception process.
부호화란 정보의 형태나 형식을 표준화, 보안, 처리 속도 향상, 저장 공간 절약 등을 위해서 다른 형태나 형식으로 변환하는 처리 혹은 그 처리 방식을 의미하며, 복호화는 부호화된 정보를 부호(code)화 되기 전으로 되돌리는 처리를 말한다. 일반적으로 부호화 절차를 역으로 수행한다.Encoding refers to the process or method of converting the form or format of information into another form or format for standardization, security, processing speed improvement, storage space saving, etc. It refers to the process of going back to before. In general, the encoding procedure is reversed.
디지털로 변환된 영상 데이터는 보통 1920*1080, 1280*720, 640*480 등 (가로 필셀 수)*(세로 픽셀 수)로 표현되며 일반적으로 세로 픽셀 수를 기준으로 순서대로 1080p, 720p, 480p 로 영상의 품질을 표현한다. 각각의 픽셀 데이터는 R(적색), G(녹색), B(청색) 세 색상의 조합으로 한 픽셀의 색상 값을 나타낸다. Digitally converted video data is usually expressed in 1920*1080, 1280*720, 640*480, etc. It represents the quality of the video. Each pixel data represents a color value of one pixel as a combination of three colors R (red), G (green), and B (blue).
일반적으로 R,G,B 값은 각각 0~255 사이의 값을 가진다. In general, the R, G, and B values have a value between 0 and 255, respectively.
소스 코딩은 영상 데이터 자체의 압축을 통해 송신 데이터를 줄이는 방법을 의미하고, 채널 코딩은 이진대칭채널(binary symmetric channel)로 모델링 되는 일반 통신 채널에서 0과 1이 서로 바뀌어 수신되는 오류 때문에 이를 정정하고 안정적으로 데이터를 송신하는 방법을 의미한다.Source coding refers to a method of reducing transmission data through compression of image data itself, and channel coding corrects and corrects errors received by changing 0 and 1 in a general communication channel modeled as a binary symmetric channel. It refers to a method of stably transmitting data.
일반적으로 컨텐츠 프로바이더들은 해상도별로(360p, 720p, 1080p 등) 데이터를 준비해 놓고, 사용자의 수신 환경(품질) 에 따라 다른 해상도의 영상을 제공한다.In general, content providers prepare data for each resolution (360p, 720p, 1080p, etc.) and provide images with different resolutions according to the user's receiving environment (quality).
따라서 저해상도를 시청하던 사용자의 수신 환경 개선에 따라 고해상도 시청이 가능해지면, 기존의 저해상도 데이터와 다른 새로운 고해상도 데이터를 다시 수신해야 하는 문제점이 발생한다.Therefore, when high resolution viewing becomes possible according to the improvement of the reception environment of the user who used to watch low resolution, there arises a problem that new high resolution data different from the existing low resolution data needs to be received again.
모바일 기기의 내부 저장공간이 커짐에 따라 이를 활용하는 모바일 캐싱(mobile caching) 기반 컨텐츠 송신 기술이 주목받고 있다. 모바일 캐싱이 가능한 무선 네트워크에서는 사용자 단말의 저장공간을 활용해 데이터를 미리 저장하고, 해당 데이터를 필요로 하는 사용자가 있을 때 기지국과의 직접적인 통신을 거치지 않고 D2D(device-to-device)라고 불리는 디바이스들 간의 통신을 통해 주변 사용자로부터 영상 데이터를 직접 수신할 수 있다. 따라서 기지국의 트래픽을 줄일 수 있는 장점이 있다. As the internal storage space of a mobile device increases, a mobile caching-based content transmission technology that utilizes it is attracting attention. In a wireless network capable of mobile caching, data is stored in advance by using the storage space of the user terminal, and when there is a user who needs the data, a device called D2D (device-to-device) does not go through direct communication with the base station. It is possible to directly receive image data from nearby users through communication between them. Accordingly, there is an advantage in that traffic of the base station can be reduced.
종래의 모바일 캐싱 기술 및 코딩 기술들은 개별 사용자들 각각의 품질 향상에만 초점을 맞추고 있는 문제점이 있다. 네트워크 상에서 영상을 시청하는 사용자들이 주변 사용자들의 영상 데이터를 활용하여 모든 사용자의 영상 품질을 개선하는 기술은 고려된 바 없다.Conventional mobile caching techniques and coding techniques have a problem in that they focus only on improving the quality of each individual user. A technique in which users who view images on a network improve image quality of all users by using image data of nearby users has not been considered.
구체적으로 종래의 기술들은 네트워크 상에서 영상을 시청하는 사용자들이 주변 사용자들의 영상 데이터를 활용하여 모든 사용자의 영상 품질을 개선을 목표로 하지 않는다. 상기의 기술 설명처럼 360p, 720p 등의 영상 품질에 따라 개별적으로 인코딩되어 있기 때문에, 모바일 캐싱이 가능한 네트워크에서도 이웃 디바이스에 360p와 같은 저해상도 영상만 있다면 720p, 1080p 등과 같은 고품질 영상 시청이 불가능 하다. 기존의 기술로 문제를 해결하려면 반드시 해당 영상을 필요로 하는 사용자의 주변 사용자 단말에 고해상도 영상이 저장이 되어있어야 한다. Specifically, conventional techniques do not aim to improve the image quality of all users by using image data of surrounding users by users watching an image on a network. As described above, it is individually encoded according to the video quality of 360p, 720p, etc., so even in a network where mobile caching is possible, if there is only a low-resolution video such as 360p in the neighboring device, it is impossible to watch high-quality videos such as 720p and 1080p. In order to solve the problem with the existing technology, a high-resolution image must be stored in a user terminal around the user who needs the image.
상기한 종래기술의 문제점을 해결하기 위해, 본 발명은 여러 버전의 저해상도 데이터를 활용하여 고해상도 영상으로 재생할 수 있는 영상 분할 및 재결합을 통한 영상 송수신 방법 및 장치를 제안하고자 한다. In order to solve the problems of the prior art, the present invention intends to propose a method and apparatus for transmitting and receiving an image through image segmentation and recombination that can reproduce a high-resolution image by using several versions of low-resolution data.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따르면, 영상 송신 장치로서, 프로세서; 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 미리 설정된 제1 해상도 이상의 고해상도 데이터를 상기 제1 해상도보다 낮은 복수의 저해상도 데이터로 분할하고, 상기 복수의 저해상도 데이터 간의 차이에 해당하는 복수의 변화량 데이터를 생성하고, 상기 복수의 저해상도 데이터 및 상기 복수의 변화량 데이터의 적어도 일부를 사용자 단말로 송신하도록, 상기 프로세서에 의해 실행되는 프로그램 명령어들을 저장하는 영상 송신 장치가 제공된다. In order to achieve the above object, according to an embodiment of the present invention, there is provided an image transmission apparatus, comprising: a processor; and a memory connected to the processor, wherein the memory divides high-resolution data equal to or greater than a preset first resolution into a plurality of low-resolution data lower than the first resolution, and includes a plurality of pieces of data corresponding to differences between the plurality of low-resolution data. There is provided an image transmitting apparatus that stores program instructions executed by the processor to generate variation data and transmit the plurality of low-resolution data and at least a portion of the plurality of variation data to a user terminal.
상기 프로그램 명령어들은, 원본 영상 프레임의 일부 블록의 포함되는 화소 (i,j)를 i가 홀수, j가 홀수인 제1 저해상도 데이터, i가 홀수, j가 짝수인 제2 저해상도 데이터, i가 짝수, j가 홀수인 제3 저해상도 데이터 및 i가 짝수, j가 짝수인 제4 저해상도 데이터로 분할할 수 있다. The program instructions set the pixels (i, j) included in some blocks of the original image frame as first low-resolution data where i is odd and j is odd, second low-resolution data where i is odd and j is even, and i is even , j may be divided into third low-resolution data in which odd numbers are and fourth low-resolution data in which i is even and j is even.
상기 프로그램 명령어들은, 상기 제1 저해상도 데이터 내지 상기 제4 저해상도 데이터 각각의 차이에 해당하는 복수의 변화량 데이터를 생성할 수 있다. The program instructions may generate a plurality of variation data corresponding to differences between the first low-resolution data to the fourth low-resolution data, respectively.
상기 복수의 저해상도 데이터 및 상기 복수의 변화량 데이터 중 적어도 일부가 랜덤하게 선택되어 복수의 사용자 단말로 송신되고, 상기 복수의 사용자 단말 각각은 주변 사용자 단말로부터 고해상도 데이터 복원을 위한 저해상도 데이터 및 변화량 데이터를 수신할 수 있다. At least some of the plurality of low-resolution data and the plurality of variation data are randomly selected and transmitted to a plurality of user terminals, and each of the plurality of user terminals receives low-resolution data and variation data for high-resolution data restoration from surrounding user terminals. can do.
상기 복수의 저해상도 데이터 및 상기 복수의 변화량 데이터는 압축되어 상기 사용자 단말로 송신될 수 있다. The plurality of low-resolution data and the plurality of variation data may be compressed and transmitted to the user terminal.
본 발명의 다른 측면에 따르면, 프로세서 및 메모리를 포함하는 장치에서 영상을 송신하는 방법으로서, 미리 설정된 제1 해상도 이상의 고해상도 데이터를 상기 제1 해상도보다 낮은 복수의 저해상도 데이터로 분할하는 단계; 상기 복수의 저해상도 데이터 간의 차이에 해당하는 복수의 변화량 데이터를 생성하는 단계; 및 상기 복수의 저해상도 데이터 및 상기 복수의 변화량 데이터의 적어도 일부를 사용자 단말로 송신하는 단계를 포함하는 영상 송신 방법이 제공된다. According to another aspect of the present invention, there is provided a method for transmitting an image in a device including a processor and a memory, the method comprising: dividing high-resolution data of a preset first resolution or more into a plurality of low-resolution data lower than the first resolution; generating a plurality of variation data corresponding to a difference between the plurality of low-resolution data; and transmitting at least a portion of the plurality of low-resolution data and the plurality of variation data to a user terminal.
본 발명의 또 다른 측면에 따르면, 상기한 방법을 수행하는 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체가 제공된다. According to another aspect of the present invention, there is provided a computer-readable recording medium storing a program for performing the above method.
본 발명의 또 다른 측면에 따르면, 영상 수신 장치로서, 프로세서; 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 영상 수신 장치로부터 미리 설정된 제1 해상도 이상의 고해상도 데이터가 분할된 상기 제1 해상도보다 낮은 복수의 저해상도 데이터 중 적어도 하나와, 상기 복수의 저해상도 데이터 간의 차이에 해당하는 복수의 변화량 데이터의 적어도 일부를 수신하고, 상기 수신한 적어도 일부의 저해상도 데이터 및 변화량 데이터를 이용하여 상기 고해상도 데이터를 복원하도록, 상기 프로세서에 의해 실행되는 프로그램 명령어들을 저장하는 영상 수신 장치가 제공된다.According to another aspect of the present invention, there is provided an image receiving apparatus, comprising: a processor; and a memory connected to the processor, wherein the memory comprises at least one of a plurality of low-resolution data lower than the first resolution obtained by dividing high-resolution data of a first resolution or higher preset preset by the image receiving device, and the plurality of low-resolution data Receive at least a portion of a plurality of variance data corresponding to a difference between the images, and store program instructions executed by the processor to restore the high-resolution data using the received at least a portion of the low-resolution data and the variance data. A device is provided.
본 발명에 따르면, 대용량(고해상도) 영상의 분할을 통한 여러 버전의 저용량(저해상도) 데이터의 송신을 통해 대용량 데이터의 중복 송신 방지함으로써 송신 비용의 절감을 가져올 수 있으며, 데이터의 분할 송신을 통해 개별 영상 송신 시간을 단축시킬 수 있다.According to the present invention, transmission cost can be reduced by preventing redundant transmission of large-capacity data through transmission of multiple versions of low-capacity (low-resolution) data through segmentation of large-capacity (high-resolution) images, and individual images through segmented transmission of data Transmission time can be shortened.
또한, 본 발명에 따르면, 서로 다른 버전의 저해상도 정보만으로 원본에 근접한 영상 복호가 가능하고 원본과의 차이를 나타내는 데이터 왜곡은 수신 당시 통신 환경에 따라 조절이 가능한 장점이 있다. In addition, according to the present invention, it is possible to decode an image close to the original only with different versions of low-resolution information, and data distortion indicating a difference from the original can be adjusted according to the communication environment at the time of reception.
나아가, 영상 분할의 개수에 따라 존재하는 여러 버전의 저해상도 영상들 간의 상관관계를 줄이기 위한 압축기법을 통해 고해상도 데이터를 직접 수신하는 것 대비 송신자가 받는 데이터 양이 줄어드는 장점이 있다. Furthermore, there is an advantage in that the amount of data received by the sender is reduced compared to directly receiving high-resolution data through a compression method for reducing the correlation between several versions of low-resolution images according to the number of image segments.
도 1은 본 실시예에 따른 영상 송수신 시스템의 구성을 도시한 도면이다.
도 2는 고해상도 데이터(M)를 1920*1080 해상도의 4개의 저해상도 데이터(M1~M4)로 분할한 예를 도시한 것이다.
도 3은 본 실시예에 따른 변화량 데이터를 나타낸 도면이다.
도 4는 본 실시예에 따른 저해상도 데이터의 복원 과정을 설명하기 위한 도면이다.
도 5는 본 실시예에 따른 영상 분할 및 부호화 과정을 도시한 도면이다.
도 6은 본 실시예에 따른 영상 분할 및 재결합 기술을 설명하기 위한 동작 흐름도이다.1 is a diagram illustrating the configuration of an image transmission/reception system according to the present embodiment.
Figure 2 shows an example of dividing the high-resolution data (M) into four low-resolution data (M 1 ~ M 4 ) of 1920 * 1080 resolution.
3 is a diagram illustrating variation data according to the present embodiment.
4 is a view for explaining a process of restoring low-resolution data according to the present embodiment.
5 is a diagram illustrating an image segmentation and encoding process according to the present embodiment.
6 is a flowchart illustrating an image segmentation and recombination technique according to the present embodiment.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. However, this is not intended to limit the present invention to specific embodiments, and it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention.
본 실시예는 고해상도의 대용량 영상 데이터를 저해상도의 저용량 영상 데이터와 작은 크기의 변화량 정보를 송신하는 방식을 제안한다.This embodiment proposes a method of transmitting high-resolution, large-capacity image data, low-resolution, low-capacity image data, and small-size change amount information.
도 1은 본 실시예에 따른 영상 송수신 시스템의 구성을 도시한 도면이다. 1 is a diagram illustrating the configuration of an image transmission/reception system according to the present embodiment.
도 1에 도시된 바와 같이, 본 실시예에 따른 시스템은 네트워크로 연결되는 컨텐츠 프로바이더(100) 및 사용자 단말(102)을 포함할 수 있다. As shown in FIG. 1 , the system according to the present embodiment may include a
여기서, 컨텐츠 프로바이더(100)는 모바일의 컨텐츠 이용 환경을 고려할 때 기지국으로 정의될 수 있다. Here, the
사용자 단말(102)의 네트워크를 통해 컨텐츠 프로바이더(100)로부터 영상 데이터를 수신하는 단말로서, 영상의 복호화 및 재생이 가능한 모바일 단말일 수 있으나, 반드시 이에 한정되는 것은 아니다. As a terminal that receives image data from the
네트워크는 유무선 인터넷망 및 이동 통신망일 수 있다. The network may be a wired/wireless Internet network and a mobile communication network.
이하에서는 컨텐츠 프로바이더(100)가 3840*2160 해상도의 데이터를 사용자 단말(102)로 송신하는 경우를 예시적으로 설명한다. Hereinafter, a case in which the
본 실시예에 따르면, 컨텐츠 프로바이더(100)는 1개의 화소 당 밝기를 256등분하여 표현된 3840*2160 해상도의 데이터를 사용자 단말(102)로 송신한다. According to the present embodiment, the
1개의 화소 당 밝기에는 0-255의 값이 부여된다. 3840*2160 크기의 행렬의 성분을 화소의 밝기로 정의하고 이 행렬을 M 이라 한다. A value of 0-255 is assigned to the brightness per pixel. A component of a matrix of size 3840*2160 is defined as the brightness of a pixel, and this matrix is called M.
본 실시예에 따르면, 컨텐츠 프로바이더(100)는 고해상도 데이터를 고해상도 데이터에 대한 전체 화소 중 일부를 포함하는 n개의 저해상도 데이터로 분할한다. According to the present embodiment, the
본 실시예에 영상 분할은 하나의 원본 영상 프레임의 미리 설정된 블록 단위로 수해오딜 수 있다. In the present embodiment, image segmentation may be performed in units of preset blocks of one original image frame.
도 2는 고해상도 데이터(M)를 1920*1080 해상도의 4개의 저해상도 데이터(M1~M4)로 분할한 예를 도시한 것이다. Figure 2 shows an example of dividing the high-resolution data (M) into four low-resolution data (M 1 ~ M 4 ) of 1920 * 1080 resolution.
도 2를 참조하면, M의 화소 성분 m(i,j) 중 i가 홀수이고 j가 홀수이면 M1의 성분이고 i가 짝수이고 j가 홀수이면 M2의 성분이고 i가 홀수이고 j가 짝수이면 M3의 성분이고 i가 짝수이고 j가 짝수이면 M4의 성분이다. Referring to FIG. 2 , among the pixel components m(i,j) of M, if i is odd and j is odd, it is a component of M 1 , and if i is even and j is odd, it is a component of M 2 and i is odd and j is even , then it is a component of M 3 , and if i is even and j is even, it is a component of M 4 .
도 3은 본 실시예에 따른 변화량 데이터를 나타낸 도면이다.3 is a diagram illustrating variation data according to the present embodiment.
도 3을 참조하면, Di,j는 변화량 데이터 행렬로 Mi와 Mj 저해상도 데이터 간의 차이를 나타낸다. Referring to FIG. 3 , D i,j is a variation data matrix and represents a difference between M i and M j low-resolution data.
상기한 바와 같이, 4 분할된 저해상도 데이터는 6가지의 Di,j로 나타낼 수 있으며, 예시로 D2,1 = M2- M1은 M1과 M2의 차이를 의미한다. As described above, the low-resolution data divided into 4 can be represented by 6 types of D i,j , for example, D 2,1 = M 2 -M 1 means the difference between M 1 and M 2 .
나머지 D3,1 = M3- M1, D4,1 = M4- M1, D3, 2 = M3- M2, D4,2 = M4- M2, D4,3 = M4- M3으로 정의되며, 이때 Di,j와 Dj,i는 부호만 다르기 때문에 (i,j), (j,i) 쌍 중 하나만 고려한다. remainder D 3,1 = M 3 - M 1 , D 4,1 = M 4 - M 1 , D 3, 2 = M 3 - M 2 , D 4,2 = M 4 - M 2 , D 4,3 = It is defined as M 4 - M 3 , where D i,j and D j,i only have different signs, so only one of (i,j), (j,i) pairs is considered.
본 실시예에 따르면, 컨텐츠 프로바이더(100)는 복수의 저해상도 데이터 및 복수의 변화량 데이터 중 적어도 일부를 부호화하여 사용자 단말(102)로 송신한다. According to the present embodiment, the
예를 들어, 컨텐츠 프로바이터(100)는 Mi와 복수의 Di,j를 송신한다. For example, the
4개의 저해상도 데이터를 직접 송신하지 않고 저해상도 데이터 중 하나와 변화량 데이터를 송신하는 이유는 변화량 데이터의 평균적으로 0인 값들이 많은(약 40% 이상) 희소행렬이기 때문에 허프만 부호(Huffman codes)와 같은 압축기법을 활용하여 부호화하여 압축률을 상당히 올릴 수 있기 때문이다.The reason for transmitting one of the low-resolution data and the variance data instead of directly transmitting the four low-resolution data is that the variance data is a sparse matrix with many 0 values on average (about 40% or more), so compression like Huffman codes is used. This is because the compression rate can be significantly increased by encoding using this technique.
이하에서는 사용자 단말(102)이 저해상도 데이터 중 하나와 변화량 데이터의 적어도 일부를 수신한 경우의 복원 과정을 설명한다. Hereinafter, a restoration process when the
도 4는 본 실시예에 따른 저해상도 데이터의 복원 과정을 설명하기 위한 도면이다. 4 is a view for explaining a process of restoring low-resolution data according to the present embodiment.
(ⅰ) M1, M2, M3, M4를 모두 수신한 경우(i) M 1 , M 2 , M 3 , When all M 4 are received
복수의 저해상도 데이터를 모두 수신하는 경우, 원래의 고해상도(3840*2160 해상도) 데이터로 완벽히 복원할 수 있다. When all of a plurality of low-resolution data is received, it can be completely restored to original high-resolution (3840*2160 resolution) data.
(ⅱ) M1와 변화량 데이터 모두를 수신한 경우, (ii) When both M 1 and variation data are received,
M2 = M1 + D2,1, M3 = M1 + D3,1 = M2 + D3,2, M4 = M1 + D4,1 = M2 + D4,2 = M3 + D4,3를 통해 M2, M3, M4를 복원할 수 있으므로 원래의 고해상도 데이터를 완벽히 복원할 수 있다.M 2 = M 1 + D 2,1 , M 3 = M 1 + D 3,1 = M 2 + D 3,2 , M 4 = M 1 + D 4,1 = M 2 + D 4,2 = M 3 + D 4,3 through M 2 , M 3 , Since M 4 can be restored, the original high-resolution data can be completely restored.
(ⅲ) M1와 변화량 데이터 일부를 수신한 경우, (iii) When receiving M 1 and a part of change amount data,
변화량 데이터 중 일부를 수신한 경우의 수에 따라 완벽히 또는 일부 복원이 가능하다. Depending on the number of cases in which some of the variation data are received, complete or partial restoration is possible.
(iii-1) D2,1만 수신 받은 경우 D2,1을 통해 M2를 복원할 수 있다. M1, M2를 복원하였으나, M3, M4를 복원하기 위한 정확한 정보가 없기 때문에 원래의 고해상도 데이터로 완벽히 복원할 수 없다.(iii-1) When only D 2,1 is received, M 2 can be restored through D 2,1 . M 1 , M 2 was restored, but M 3 , Since there is no accurate information to restore M 4 , it cannot be completely restored to the original high-resolution data.
(iii-2) D2,1, D3,2를 수신 받은 경우 D2,1을 통해 M2를 먼저 복원하고 M2와 D3,2를 통해 M3을 복원한다. M1, M2, M3를 복원하였으나, M4를 복원하기 위한 정확한 정보가 없기 때문에 원래의 고해상도 데이터로 완벽히 복원할 수 없다.(iii-2) When D 2,1 , D 3,2 is received, M 2 is first restored through D 2,1 and M 3 is restored through M 2 and D 3,2 . M 1 , M 2 , Although M 3 is restored, the original high-resolution data cannot be completely restored because there is no accurate information for restoring M 4 .
(iii-3) D3,2, D4,2, D4,3을 수신 받은 경우 M2, M3, M4 복원이 안되므로 M1의 정보만 가능하다. 이 경우는 원래의 고해상도 데이터로 완벽히 복원할 수 없다. (iii-3) When receiving D 3,2 , D 4,2 , D 4,3 M 2 , M 3 , Since M 4 cannot be restored, only M 1 information is available. In this case, the original high-resolution data cannot be completely restored.
(iii-4) D2,1, D3,2, D4,3을 수신 받은 경우 (ⅱ) 와 같은 방법으로 M2, M3, M4를 순차적으로 복원해 원래의 고해상도 데이터로 완벽히 복원 가능하다. (iii-4) When receiving D 2,1 , D 3,2 , D 4,3 M 2 , in the same way as (ii) M 3 , By sequentially restoring M 4 , it is possible to completely restore the original high-resolution data.
부족한 정보로 인해 완벽히 복원하지 못한 특정 Mj는 먼저 복원한 나머지 Mi 값들을 통해 복사 또는 평균하여 일부 복원이 가능하다.A specific M j that has not been completely restored due to insufficient information can be partially restored by copying or averaging the remaining M i values restored first.
본 발명의 바람직한 다른 실시예에 따르면, 모바일 캐싱이 가능한 무선 네트워크 환경에서 컨텐츠 프로바이더(100)가 복수의 사용자 단말(102)로 고해상도 데이터를 분할하여 생성한 복수의 저해상도 데이터와 변화량 데이터를 랜덤하게 송신하고, 복수의 사용자 단말(102) 간의 무선 통신을 통해 고해상도 데이터 복원을 위한 데이터를 수신할 수 있다. According to another preferred embodiment of the present invention, in a wireless network environment in which mobile caching is possible, the
예를 들어, 하나의 사용자 단말(102)이 M1와 D2,1만 수신 받은 경우, 다른 사용자 단말로부터 D3,2, D4,3와 같은 변화량 데이터를 수신하여 고해상도 데이터를 복원할 수 있다. For example, when one
도 5는 본 실시예에 따른 영상 분할 및 부호화 과정을 도시한 도면이다. 5 is a diagram illustrating an image segmentation and encoding process according to the present embodiment.
도 5에 도시된 바와 같이, 컨텐츠 프로바이더(100)는 고해상도 데이터의 일부 블록을 복수의 저해상도 데이터로 분할하고, 분할된 저해상도 데이터의 차이에 대한 변화량 데이터를 압축하여 사용자 단말(102)로 송신한다. As shown in FIG. 5 , the
도 6은 본 실시예에 따른 영상 분할 및 재결합 기술을 설명하기 위한 동작 흐름도이다.6 is a flowchart illustrating an image segmentation and recombination technique according to the present embodiment.
고해상도의 타겟 영상을 설정한다(단계 600). A high-resolution target image is set (step 600).
타겟 영상을 복수의(
분할된 저해상도 데이터란, 고해상도 원본 영상의 일부 데이터를 의미하며, 이들의 조합으로 고해상도 혹은 원본 영상을 복호할 수 있는 데이터를 의미한다. The segmented low-resolution data refers to some data of a high-resolution original image, and refers to data capable of decoding a high-resolution or original image by a combination thereof.
분할된 저해상도 데이터와 고해상도 데이터 간의 상관관계 데이터(correlation이 0이 아닌 데이터)를 생성한다(단계 604). Correlation data (data whose correlation is not 0) between the segmented low-resolution data and high-resolution data is generated (step 604).
상관관계 데이터는 복수의 저해상도 데이터 각각의 차이를 통해 추출될 수 있고, 상기한 변화량 데이터일 수 있다. Correlation data may be extracted through a difference between a plurality of low-resolution data, and may be the above-described variation data.
그러나 이에 한정됨이 없이 상관관계 데이터는 저해상도 데이터와 고해상도 데이터 간의 차이를 통해 추출될 수도 있다. However, without being limited thereto, the correlation data may be extracted through a difference between the low-resolution data and the high-resolution data.
즉, 상관관계 데이터는 저해상도 영상을 원본 영상에 가깝게 할 수 있는 모든 데이터를 총칭한다. That is, the correlation data refers to all data that can make a low-resolution image close to the original image.
컨텐츠 프로바이더(100)는 저해상도 데이터 및 상관관계 데이터 중 적어도 일부를 사용자 단말(102)로 송신한다(단계 606). The
사용자 단말(102)은 자신이 수신한 데이터를 이용하여 고해상도 데이터로 복원한다. The
이때, 사용자 단말(102)은 모바일 캐싱 기법을 통해 주변 사용자 단말로부터 저해상도 데이터 및 상관관계 데이터를 수신하여 고해상도 데이터로 복원할 수도 있다. In this case, the
본 실시예에 따른 영상 분할 및 재결합은 프로세서 및 메모리를 포함하는 컴퓨팅 장치에서 수행될 수 있다. Image segmentation and recombination according to the present embodiment may be performed in a computing device including a processor and a memory.
여기서, 프로세서는 컴퓨터 프로그램을 실행할 수 있는 CPU(central processing unit)나 그 밖에 가상 머신 등을 포함할 수 있다. Here, the processor may include a central processing unit (CPU) capable of executing a computer program or other virtual machines.
메모리는 고정식 하드 드라이브나 착탈식 저장 장치와 같은 불휘발성 저장 장치를 포함할 수 있다. 착탈식 저장 장치는 콤팩트 플래시 유닛, USB 메모리 스틱 등을 포함할 수 있다. 메모리는 각종 랜덤 액세스 메모리와 같은 휘발성 메모리도 포함할 수 있다.The memory may include a non-volatile storage device such as a fixed hard drive or a removable storage device. The removable storage device may include a compact flash unit, a USB memory stick, and the like. The memory may also include volatile memory, such as various random access memories.
본 실시예에 따른 프로그램 명령어들은, 상기한 바와 같이 고해상도 데이터를 복수의 저해상도 데이터로 분할하고, 상관관계 데이터를 생성하여 사용자 단말(102)로 송신할 수 있다. The program instructions according to the present embodiment may divide high-resolution data into a plurality of low-resolution data as described above, generate correlation data, and transmit it to the
사용자 단말(102)도 상기한 바와 같은 프로세서 및 메모리를 포함할 수 있으며, 메모리에 저장된 프로그램 명령어들은 복수의 저해상도 데이터 및 복수의 변화량 데이터 중 적어도 일부를 수신하여 이를 고해상도 데이터로 복호화한다. The
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.The above-described embodiments of the present invention have been disclosed for purposes of illustration, and various modifications, changes, and additions will be possible within the spirit and scope of the present invention by those skilled in the art having ordinary knowledge of the present invention, and such modifications, changes and additions should be regarded as belonging to the following claims.
Claims (8)
프로세서; 및
상기 프로세서에 연결되는 메모리를 포함하되,
상기 메모리는,
미리 설정된 제1 해상도 이상의 고해상도 데이터를 상기 제1 해상도보다 낮은 복수의 저해상도 데이터로 분할하고,
상기 복수의 저해상도 데이터 간의 차이에 해당하는 복수의 변화량 데이터를 생성하고,
상기 복수의 저해상도 데이터 및 상기 복수의 변화량 데이터의 적어도 일부를 사용자 단말로 송신하도록,
상기 프로세서에 의해 실행되는 프로그램 명령어들을 저장하는 영상 송신 장치. A video transmission device comprising:
processor; and
a memory coupled to the processor;
The memory is
Splitting high-resolution data of a preset first resolution or higher into a plurality of low-resolution data lower than the first resolution,
generating a plurality of variation data corresponding to the difference between the plurality of low-resolution data,
to transmit at least a portion of the plurality of low-resolution data and the plurality of variation data to a user terminal,
An image transmission apparatus for storing program instructions executed by the processor.
상기 프로그램 명령어들은,
원본 영상 프레임의 일부 블록의 포함되는 화소 (i,j)를 i가 홀수, j가 홀수인 제1 저해상도 데이터, i가 홀수, j가 짝수인 제2 저해상도 데이터, i가 짝수, j가 홀수인 제3 저해상도 데이터 및 i가 짝수, j가 짝수인 제4 저해상도 데이터로 분할하는 영상 송신 장치. According to claim 1,
The program instructions are
Pixels (i, j) included in some blocks of the original image frame are first low-resolution data where i is odd and j is odd, second low-resolution data where i is odd and j is even, i is even and j is odd A video transmitting apparatus for dividing the third low-resolution data and fourth low-resolution data in which i is an even number and j is an even number.
상기 프로그램 명령어들은,
상기 제1 저해상도 데이터 내지 상기 제4 저해상도 데이터 각각의 차이에 해당하는 복수의 변화량 데이터를 생성하는 영상 송신 장치.3. The method of claim 2,
The program instructions are
An image transmission apparatus for generating a plurality of variation data corresponding to differences between the first low-resolution data to the fourth low-resolution data, respectively.
상기 복수의 저해상도 데이터 및 상기 복수의 변화량 데이터 중 적어도 일부가 랜덤하게 선택되어 복수의 사용자 단말로 송신되고,
상기 복수의 사용자 단말 각각은 주변 사용자 단말로부터 고해상도 데이터 복원을 위한 저해상도 데이터 및 변화량 데이터를 수신하는 영상 송신 장치.According to claim 1,
At least some of the plurality of low-resolution data and the plurality of variation data are randomly selected and transmitted to a plurality of user terminals,
Each of the plurality of user terminals is an image transmitting apparatus for receiving low-resolution data and variation data for high-resolution data restoration from nearby user terminals.
상기 복수의 저해상도 데이터 및 상기 복수의 변화량 데이터는 압축되어 상기 사용자 단말로 송신되는 영상 송신 장치. According to claim 1,
The plurality of low-resolution data and the plurality of variation data are compressed and transmitted to the user terminal.
미리 설정된 제1 해상도 이상의 고해상도 데이터를 상기 제1 해상도보다 낮은 복수의 저해상도 데이터로 분할하는 단계;
상기 복수의 저해상도 데이터 간의 차이에 해당하는 복수의 변화량 데이터를 생성하는 단계; 및
상기 복수의 저해상도 데이터 및 상기 복수의 변화량 데이터의 적어도 일부를 사용자 단말로 송신하는 단계를 포함하는 영상 송신 방법. A method for transmitting an image in a device comprising a processor and a memory, the method comprising:
dividing high-resolution data equal to or greater than a preset first resolution into a plurality of low-resolution data lower than the first resolution;
generating a plurality of variation data corresponding to a difference between the plurality of low-resolution data; and
and transmitting at least a portion of the plurality of low-resolution data and the plurality of variation data to a user terminal.
프로세서; 및
상기 프로세서에 연결되는 메모리를 포함하되,
상기 메모리는,
영상 수신 장치로부터 미리 설정된 제1 해상도 이상의 고해상도 데이터가 분할된 상기 제1 해상도보다 낮은 복수의 저해상도 데이터 중 적어도 하나와, 상기 복수의 저해상도 데이터 간의 차이에 해당하는 복수의 변화량 데이터의 적어도 일부를 수신하고,
상기 수신한 적어도 일부의 저해상도 데이터 및 변화량 데이터를 이용하여 상기 고해상도 데이터를 복원하도록,
상기 프로세서에 의해 실행되는 프로그램 명령어들을 저장하는 영상 수신 장치.An image receiving device comprising:
processor; and
a memory coupled to the processor;
The memory is
Receive at least one of a plurality of low-resolution data lower than the first resolution into which high-resolution data of a preset first resolution or more are divided from an image receiving device, and at least a portion of a plurality of variation data corresponding to a difference between the plurality of low-resolution data, and ,
to restore the high-resolution data using the received at least some of the low-resolution data and the variation data,
An image receiving apparatus for storing program instructions executed by the processor.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200168339 | 2020-12-04 | ||
| KR20200168339 | 2020-12-04 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220079471A true KR20220079471A (en) | 2022-06-13 |
Family
ID=81984102
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210171492A KR20220079471A (en) | 2020-12-04 | 2021-12-03 | Video transmission/reception method and apparatus through video separation and recombination |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20220079471A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102573201B1 (en) * | 2022-08-19 | 2023-09-01 | (주)에이아이매틱스 | Image reconstruction technology-based video communication cost reduction system and method |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101500300B1 (en) | 2013-09-05 | 2015-03-11 | 한밭대학교 산학협력단 | Selective Low-Power Video Codec with Interaction Between Encoder and Decoder, and an Encoding/Decoding Method Thereof |
-
2021
- 2021-12-03 KR KR1020210171492A patent/KR20220079471A/en not_active Application Discontinuation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101500300B1 (en) | 2013-09-05 | 2015-03-11 | 한밭대학교 산학협력단 | Selective Low-Power Video Codec with Interaction Between Encoder and Decoder, and an Encoding/Decoding Method Thereof |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102573201B1 (en) * | 2022-08-19 | 2023-09-01 | (주)에이아이매틱스 | Image reconstruction technology-based video communication cost reduction system and method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3053335B1 (en) | Transmitting display management metadata over hdmi | |
| US9967599B2 (en) | Transmitting display management metadata over HDMI | |
| US7769237B2 (en) | Dynamic, locally-adaptive, lossless palettization of color and grayscale images | |
| US8849021B2 (en) | Image processing apparatus, method, and storage medium for high speed compression processing | |
| US20110026591A1 (en) | System and method of compressing video content | |
| JP2019513323A (en) | Method and apparatus for encoding high dynamic range pictures, corresponding encoding method and encoding apparatus | |
| US10674163B2 (en) | Color space compression | |
| US11818355B2 (en) | Video coding apparatus and video decoding apparatus | |
| KR20220079471A (en) | Video transmission/reception method and apparatus through video separation and recombination | |
| US20130156109A1 (en) | Method of transmitting video information over a wireless multi-path communication link and corresponding wireless station | |
| CN108737877B (en) | Image processing method and device and terminal equipment | |
| EP3557872A1 (en) | Method and device for encoding an image or video with optimized compression efficiency preserving image or video fidelity | |
| WO2020130139A1 (en) | Video coding device and video decoding device | |
| CN101065760B (en) | System and method for processing image data | |
| CN115941958A (en) | Video coding method and device, electronic equipment and storage medium | |
| US20160373735A1 (en) | Method For Encoding Four Bits Color Construct Code | |
| US10721484B2 (en) | Determination of a co-located luminance sample of a color component sample, for HDR coding/decoding | |
| JP2020123860A (en) | Video signal transmission device | |
| US20060193514A1 (en) | Image for compression and transport of active graphical images | |
| CN114697738B (en) | HDCP KEY value encoding and decoding method, device, equipment and storage medium | |
| CN116095262B (en) | Mobile processing device, processing method and system for processing video signal source | |
| CN115529465A (en) | Image transmission method, system and device and electronic equipment | |
| CN117560498A (en) | Image processing method and image processing apparatus | |
| JPH10294953A (en) | Moving image data receiver | |
| CN116051369A (en) | Virtual desktop image processing method, device and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |