KR102178110B1 - Method of transmitting image in a wireless access system - Google Patents

Method of transmitting image in a wireless access system Download PDF

Info

Publication number
KR102178110B1
KR102178110B1 KR1020190032814A KR20190032814A KR102178110B1 KR 102178110 B1 KR102178110 B1 KR 102178110B1 KR 1020190032814 A KR1020190032814 A KR 1020190032814A KR 20190032814 A KR20190032814 A KR 20190032814A KR 102178110 B1 KR102178110 B1 KR 102178110B1
Authority
KR
South Korea
Prior art keywords
frame
divided
macroblock
encoding
unit operation
Prior art date
Application number
KR1020190032814A
Other languages
Korean (ko)
Other versions
KR20200112405A (en
Inventor
최호룡
이경재
김병철
조율제
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020190032814A priority Critical patent/KR102178110B1/en
Publication of KR20200112405A publication Critical patent/KR20200112405A/en
Application granted granted Critical
Publication of KR102178110B1 publication Critical patent/KR102178110B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]

Abstract

본 발명은 무선 통신 시스템에 관한 것으로, 보다 상세히는 효율적인 영상 압축 및 전송을 통한 저지연 영상 전송 방법에 관한 것이다. 본 발명의 일 실시예에 따른 인코더를 포함하는 송신측 장치의 영상 전송 방법은, 원본 프레임을 서로 중첩된 영역을 갖는 제1 분할 프레임과 제2 분할 프레임으로 세로 분할하는 단계; 세로 분할된 상기 제1 분할 프레임과 상기 제2 분할 프레임 각각에 대하여 소정 크기의 매크로 블럭 단위로 인코딩하는 단계; 상기 인코딩된 매크로 블럭 단위로 패킷을 생성하는 단계; 및 상기 생성된 패킷을 디코더를 포함하는 수신측 장치로 전송하는 단계를 포함할 수 있다.The present invention relates to a wireless communication system, and more particularly, to a low-latency image transmission method through efficient image compression and transmission. An image transmission method of a transmitting device including an encoder according to an embodiment of the present invention includes: vertically dividing an original frame into a first divided frame and a second divided frame having overlapping regions; Encoding each of the vertically divided first and second divided frames in a macroblock unit of a predetermined size; Generating a packet in units of the encoded macroblocks; And transmitting the generated packet to a receiving device including a decoder.

Description

이동 통신 망에서의 영상 전송 방법{METHOD OF TRANSMITTING IMAGE IN A WIRELESS ACCESS SYSTEM}Video transmission method in mobile communication network {METHOD OF TRANSMITTING IMAGE IN A WIRELESS ACCESS SYSTEM}

본 발명은 무선 통신 시스템에 관한 것으로, 보다 상세히는 효율적인 영상 압축 및 전송을 통한 저지연 영상 전송 방법에 관한 것이다.The present invention relates to a wireless communication system, and more particularly, to a low-latency image transmission method through efficient image compression and transmission.

최근 이동 통신 기술의 발달로 인해 실시간 영상 전송은 물론, 영상 이외의 데이터까지 함께 전송이 가능해짐에 따라, 다양한 서비스가 제공되고 있다. 이러한 서비스의 일례로, 현장의 실시간 영상이 지원되는 원격 제어를 들 수 있다.With the recent development of mobile communication technology, not only real-time image transmission but also data other than images can be transmitted together, various services are provided. An example of such a service is a remote control that supports real-time video of a field.

그런데, 실시간 영상을 원격 제어를 수행하는 관제 센터 등에 전송하기 위해서는 영상에 높은 압축률이 적용되는 것이 보통이다. 이는 이동 통신망의 특성상 상향링크(Uplink)의 대역폭이 하향링크(Downlink)의 대역폭보다 적기 때문이다.However, in order to transmit real-time video to a control center that performs remote control, it is common to apply a high compression rate to the video. This is because the bandwidth of the uplink is less than that of the downlink due to the characteristics of the mobile communication network.

이러한 영상의 압축은 인코딩 코덱을 통해 소정 압축 단위로 수행되며, 전송은 압축 단위와 무관하게 프레임 단위로 수행되는 것이 일반적이다. 이를 도 1 및 도 2를 참조하여 설명한다.Compression of such an image is performed in a predetermined compression unit through an encoding codec, and transmission is generally performed in a frame unit irrespective of the compression unit. This will be described with reference to FIGS. 1 and 2.

도 1은 일반적인 영상 전송 및 출력 시스템 구성의 일례를, 도 2는 일반적인 영상 압축 및 전송 과정의 일례를 나타낸다.1 shows an example of a general video transmission and output system configuration, and FIG. 2 shows an example of a general video compression and transmission process.

도 1을 참조하면, 영상 전송 및 출력 시스템은 영상을 획득하는 송신단측에 구비되는 인코더(10)와, 영상을 수신하여 재생하는 수신단측에 구비되는 디코더(20)를 포함할 수 있다. 여기서, 인코더(10)는 카메라 등의 영상 획득 수단을 통해 입력된 영상을 프레임 단위로 구분하여 압축하는 인코딩 코덱(11)과, 압축된 영상을 이동 통신망을 통해 전송되기에 적합하도록 패킷 처리를 수행하는 네트워크 프로세서(12)를 포함할 수 있다. 또한, 디코더(20)는 인코더(10)의 네트워크 프로세서(12)에서 생성되어 네트워크를 통해 전송된 패킷을 압축된 영상으로 전환하는 네트워크 프로세서(21)와 압축된 영상을 디코딩하여 출력될 영상을 생성하는 디코딩 코덱(22)을 포함할 수 있다. 디코딩된 영상은 디스플레이 기기(미도시)를 통해 표시될 수 있다. 인코더(10)의 영상 처리 과정은 도 2를 참조하여 설명한다.Referring to FIG. 1, an image transmission and output system may include an encoder 10 provided at a transmitting end that acquires an image, and a decoder 20 provided at a receiving end that receives and reproduces an image. Here, the encoder 10 divides and compresses an image inputted through an image acquisition means such as a camera in frame units, and performs packet processing so that the compressed image is suitable for transmission through a mobile communication network. It may include a network processor 12. In addition, the decoder 20 generates an image to be output by decoding the compressed image and a network processor 21 that converts the packet generated by the network processor 12 of the encoder 10 and transmitted through the network into a compressed image. It may include a decoding codec (22). The decoded image may be displayed through a display device (not shown). The image processing process of the encoder 10 will be described with reference to FIG. 2.

도 2를 참조하면, 일반적인 표준(예컨대, MPEG TS 전송 프레임 적용 등)에 따른 인코딩 코덱(11)은 카메라 등의 영상 획득 수단으로부터 입력된 영상 데이터를 프레임 단위로 구분한다. 이후, 하나의 프레임(100)은 소정 픽셀 단위로 구성되는 단위 블록(111)으로 분할되며, 일정 개수의 단위 블록을 각각 포함하는 복수의 매크로 블록(110, 120) 단위로 압축이 수행될 수 있다. 도 2에 도시된 바와 같이 매크로 블록들이 가로 분할 방식으로 구분되는 경우 해당 프레임(100)의 매크로 블록들은 일정 순서를 따라, 즉, 맨 위의 첫 매크로 블록(110)부터 마지막 매크로 블록(120)까지 순차적으로 압축될 수 있다. 인코더(10)의 네트워크 프로세서(12)는 마지막 압축된 매크로 블록(120')까지 한 프레임(100)을 구성하는 모든 압축된 매크로 블록이 획득되면, 비로소 패킷 처리를 수행한다. 따라서, 압축 단위와 무관하게 실질적으로 하나의 프레임에 대한 영상 압축이 전부 완료되어야 영상 전송이 가능하다.Referring to FIG. 2, an encoding codec 11 according to a general standard (eg, applying an MPEG TS transmission frame, etc.) divides image data input from an image acquisition means such as a camera into a frame unit. Thereafter, one frame 100 is divided into unit blocks 111 configured in a predetermined pixel unit, and compression may be performed in units of a plurality of macroblocks 110 and 120 each including a predetermined number of unit blocks. . As shown in FIG. 2, when the macroblocks are divided by the horizontal division method, the macroblocks of the frame 100 are in a certain order, that is, from the first macroblock 110 to the last macroblock 120 at the top. It can be compressed sequentially. The network processor 12 of the encoder 10 performs packet processing only when all the compressed macro blocks constituting the one frame 100 up to the last compressed macro block 120' are obtained. Therefore, regardless of the compression unit, video transmission is possible only after substantially all video compression for one frame is completed.

그런데, 현장 영상이 원격 제어에 유의미하기 위해서는 지연 시간이 짧아야 한다. 예를 들어, 자율 주행 자동차를 원격 제어할 경우 시속 100km로 주행 시 차량측에서 획득한 영상 전송에 1초가 소요된다면 관제 센터에서는 27 미터 이전의 영상을 보고 원격 제어를 수행하는 상황이 되어버린다. 따라서, 원활한 원격 제어를 위해서는 사람이 사물을 보고 인식하데 소요되는 평균 시간(약 60ms) 이내에 현장의 카메라에서 획득된 영상이 인코딩, 전송, 디코딩 및 디스플레이까지 완료되는 것이 바람직하다. 그러나, 상술한 일반적인 표준 코덱을 통한 영상 압축 및 전송 방법을 이용할 경우 전술한 바와 같이 하나의 프레임에 대한 영상 압축이 전부 완료되어야 영상 전송이 가능하므로, 최소 1프레임에 해당하는 시간만큼 압축 지연이 필연적으로 발생하여 원격 제어에 요구되는 지연 시간을 만족하기 어렵다는 문제점이 있다.However, in order for the on-site video to be meaningful for remote control, the delay time must be short. For example, in the case of remote control of an autonomous vehicle, if it takes 1 second to transmit an image acquired from the vehicle side when driving at 100 km/h, the control center sees the image 27 meters ago and performs remote control. Therefore, for smooth remote control, it is desirable to complete encoding, transmission, decoding, and display of an image acquired from a camera in the field within an average time (about 60 ms) required for a person to see and recognize an object. However, in the case of using the video compression and transmission method through the general standard codec described above, since video transmission is possible only after all video compression for one frame is completed as described above, compression delay is inevitable by a time corresponding to at least one frame. As a result, there is a problem in that it is difficult to satisfy the delay time required for remote control.

본 발명은 이동 통신 환경에서 보다 우수한 지연 시간을 제공하는 영상 전송 방법을 제공하기 위한 것이다.The present invention is to provide a video transmission method that provides a better delay time in a mobile communication environment.

특히, 본 발명은 실시간 영상 전송에 있어서 영상 압축 시간을 최소화할 수 있는 영상 전송 방법을 제공하기 위한 것이다.In particular, the present invention is to provide an image transmission method capable of minimizing an image compression time in real-time image transmission.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problems to be achieved in the present invention are not limited to the technical problems mentioned above, and other technical problems that are not mentioned will be clearly understood by those of ordinary skill in the technical field to which the present invention belongs from the following description. I will be able to.

본 발명의 일 실시예에 따른 인코더를 포함하는 송신측 장치의 영상 전송 방법은, 원본 프레임을 서로 중첩된 영역을 갖는 제1 분할 프레임과 제2 분할 프레임으로 세로 분할하는 단계; 세로 분할된 상기 제1 분할 프레임과 상기 제2 분할 프레임 각각에 대하여 소정 크기의 매크로 블럭 단위로 인코딩하는 단계; 상기 인코딩된 매크로 블럭 단위로 패킷을 생성하는 단계; 및 상기 생성된 패킷을 디코더를 포함하는 수신측 장치로 전송하는 단계를 포함할 수 있다.An image transmission method of a transmitting device including an encoder according to an embodiment of the present invention includes: vertically dividing an original frame into a first divided frame and a second divided frame having overlapping regions; Encoding each of the vertically divided first and second divided frames in a macroblock unit of a predetermined size; Generating a packet in units of the encoded macroblocks; And transmitting the generated packet to a receiving device including a decoder.

예를 들어, 상기 인코더는 인코딩 코덱과 네트워크 프로세서를 포함하되, 상기 인코딩 코덱 및 상기 네트워크 프로세서 각각은 복수의 단위 연산부를 포함할 수 있다.For example, the encoder may include an encoding codec and a network processor, and each of the encoding codec and the network processor may include a plurality of unit operation units.

예를 들어, 상기 인코딩하는 단계는, 상기 인코딩 코덱의 제1 단위 연산부에서 상기 제1 분할 프레임이 상기 매크로 블럭 단위로 인코딩되는 단계; 및 상기 인코딩 코덱의 제2 단위 연산부에서 상기 제2 분할 프레임이 상기 매크로 블럭 단위로 인코딩되는 단계를 포함할 수 있다.For example, the encoding may include encoding the first divided frame in units of the macroblocks in a first unit operation unit of the encoding codec; And encoding the second divided frame in units of the macroblocks by a second unit operation unit of the encoding codec.

예를 들어, 상기 패킷을 생성하는 단계는, 상기 네트워크 프로세서에 포함되는 상기 복수의 단위 연산부 중 상기 제1 단위 연산부에 매칭된 단위 연산부에서 상기 매크로 블럭 단위로 인코딩된 상기 제1 분할 프레임이 패킷 처리되는 단계; 및 상기 네트워크 프로세서에 포함되는 상기 복수의 단위 연산부 중 상기 제2 단위 연산부에 매칭된 단위 연산부에서 상기 매크로 블럭 단위로 인코딩된 상기 제2 분할 프레임이 패킷 처리되는 단계를 포함할 수 있다.For example, in the generating of the packet, the first divided frame encoded in the macroblock unit is processed by a unit operation unit matching the first unit operation unit among the plurality of unit operation units included in the network processor. Step of becoming; And packet processing the second divided frame encoded in the macroblock unit by a unit operation unit matched to the second unit operation unit among the plurality of unit operation units included in the network processor.

예를 들어, 상기 인코딩 코덱 및 상기 네트워크 프로세서 각각이 포함하는 상기 복수의 단위 연산부 중 서로 매칭되는 단위 연산부는 전용 메모리 영역을 공유할 수 있다.For example, among the plurality of unit operation units included in each of the encoding codec and the network processor, a unit operation unit matching each other may share a dedicated memory area.

예를 들어, 영상 전송 방법은 상기 생성된 패킷의 제1 데이터량을 기록하는 단계; 상기 수신측 장치로부터 상기 수신측 장치에 수신된 제2 데이터량에 대한 정보를 수신하는 단계; 상기 제1 데이터량과 상기 제2 데이터량을 비교하는 단계; 및 상기 비교 결과에 따라 상기 인코딩하는 단계에 적용되는 비트레이트를 변경하는 단계를 더 포함할 수 있다.For example, an image transmission method may include recording a first amount of data of the generated packet; Receiving information on a second amount of data received by the receiving device from the receiving device; Comparing the first data amount and the second data amount; And changing a bit rate applied to the encoding step according to the comparison result.

예를 들어, 상기 변경하는 단계는 양자화 파라미터(QP)를 변경하는 단계를 포함할 수 있다.For example, the changing may include changing a quantization parameter (QP).

예를 들어, 상기 전송하는 단계는, 상기 제1 분할 프레임과 상기 제2 분할 프레임 각각의 전체 매크로 블록의 인코딩 완료 여부와 무관하게 상기 패킷 단위로 수행될 수 있다.For example, the transmitting may be performed on a per packet basis regardless of whether encoding of the entire macroblock of each of the first and second divided frames is completed.

또한, 본 발명의 일 실시예에 따른 디코더를 포함하는 수신측 장치의 영상 출력 방법은, 제1 프레임을 서로 중첩된 영역을 갖도록 세로 분할한 제1 분할 프레임과 제2 분할 프레임 중 상기 제1 분할 프레임의 제1 매크로 블록이 압축된 제1 데이터를 포함하는 제1 패킷과, 상기 제2 분할 프레임의 제2 매크로 블록이 압축된 제2 데이터를 포함하는 제2 패킷을 획득하는 단계; 매크로 블록 단위의 디코딩을 통해 상기 제1 매크로 블록과 상기 제2 매크로 블록을 획득하는 단계; 상기 제1 매크로 블록과 상기 제2 매크로 블록을 이용하여 상기 제1 프레임을 초기 복원하는 단계; 및 상기 초기 복원된 제1 프레임에서 상기 중첩된 영역에 해당하는 블록을, 상기 제1 프레임의 이전 프레임인 제2 프레임에 적용된 양자화 파라미터(QP)를 이용하여 디코딩한 데이터로 채워 상기 제1 프레임을 최종 복원하는 단계를 포함할 수 있다.In addition, the video output method of the receiving-side device including the decoder according to an embodiment of the present invention includes the first division among a first divided frame and a second divided frame in which a first frame is vertically divided to have overlapping regions. Obtaining a first packet including first data compressed by a first macroblock of a frame and a second packet including second data compressed by a second macroblock of the second divided frame; Obtaining the first macroblock and the second macroblock through decoding in units of macroblocks; Initial restoration of the first frame by using the first macro block and the second macro block; And filling a block corresponding to the overlapped region in the initially reconstructed first frame with data decoded by using a quantization parameter (QP) applied to a second frame, which is a previous frame of the first frame, to fill the first frame. It may include a final restoration step.

또한, 본 발명의 일 실시예에 따른 이동 통신을 통해 영상을 전송하는 인코더 장치는, 원본 프레임을 서로 중첩된 영역을 갖는 제1 분할 프레임과 제2 분할 프레임으로 세로 분할하고, 세로 분할된 상기 제1 분할 프레임과 상기 제2 분할 프레임 각각에 대하여 소정 크기의 매크로 블럭 단위로 인코딩하는 인코딩 코덱; 및 상기 인코딩된 매크로 블럭 단위로 패킷을 생성하고 상기 생성된 패킷이 디코더를 포함하는 수신측 장치로 전송되도록 제어하는 네트워크 프로세서를 포함할 수 있다.In addition, the encoder device for transmitting an image through mobile communication according to an embodiment of the present invention vertically divides an original frame into a first divided frame and a second divided frame having overlapping regions, and the vertically divided second frame. An encoding codec for encoding each of the divided frames into one frame and the second divided frame in units of macroblocks having a predetermined size; And a network processor that generates a packet in units of the encoded macroblock and controls the generated packet to be transmitted to a receiving device including a decoder.

예를 들어, 상기 인코딩 코덱 및 상기 네트워크 프로세서 각각은 복수의 단위 연산부를 포함할 수 있다.For example, each of the encoding codec and the network processor may include a plurality of unit operation units.

예를 들어, 상기 인코딩 코덱은, 상기 제1 분할 프레임을 상기 매크로 블럭 단위로 인코딩하는 제1 단위 연산부; 및 상기 제2 분할 프레임을 상기 매크로 블럭 단위로 인코딩하는 제2 단위 연산부를 포함할 수 있다.For example, the encoding codec may include: a first unit operation unit that encodes the first divided frame in units of the macroblocks; And a second unit operation unit encoding the second divided frame in units of the macroblocks.

예를 들어, 상기 네트워크 프로세서는, 상기 제1 단위 연산부에 매칭되어 상기 매크로 블럭 단위로 인코딩된 상기 제1 분할 프레임을 패킷 처리하는 제3 단위 연산부; 및 상기 제2 단위 연산부에 매칭되어 상기 매크로 블럭 단위로 인코딩된 상기 제2 분할 프레임이 패킷 처리하는 제4 단위 연산부를 포함할 수 있다.For example, the network processor may include a third unit operation unit that packet-processes the first divided frame that is matched with the first unit operation unit and is encoded in the macroblock unit; And a fourth unit operation unit for packet processing the second divided frame matched with the second unit operation unit and encoded in the macroblock unit.

예를 들어, 상기 인코딩 코덱 및 상기 네트워크 프로세서 각각이 포함하는 상기 복수의 단위 연산부 중 서로 매칭되는 단위 연산부는 전용 메모리 영역을 공유할 수 있다.For example, among the plurality of unit operation units included in each of the encoding codec and the network processor, a unit operation unit matching each other may share a dedicated memory area.

예를 들어, 상기 네트워크 프로세서는, 상기 생성된 패킷의 제1 데이터량을 기록하고, 상기 수신측 장치로부터 상기 수신측 장치에 수신된 제2 데이터량에 대한 정보를 수신하여 상기 제1 데이터량과 상기 제2 데이터량을 비교하고, 상기 비교 결과에 따라 결정된 비트레이트를 상기 인코딩 코덱에 전달할 수 있다.For example, the network processor may record a first amount of data of the generated packet, receive information on a second amount of data received by the receiving device from the receiving device, and receive the first data amount and The second data amount may be compared, and a bit rate determined according to the comparison result may be transmitted to the encoding codec.

예를 들어, 상기 비트레이트는 양자화 파라미터(QP)를 포함할 수 있다.For example, the bit rate may include a quantization parameter (QP).

예를 들어, 상기 네트워크 프로세서는, 상기 제1 분할 프레임과 상기 제2 분할 프레임 각각의 전체 매크로 블록의 인코딩 완료 여부와 무관하게 상기 패킷의 전송이 수행되도록 제어할 수 있다.For example, the network processor may control the transmission of the packet regardless of whether the encoding of the entire macroblock of each of the first divided frame and the second divided frame is completed.

아울러, 본 발명의 일 실시예에 따른 이동 통신을 통해 수신된 영상을 출력하는 디코더 장치는, 제1 프레임을 서로 중첩된 영역을 갖도록 세로 분할한 제1 분할 프레임과 제2 분할 프레임 중 상기 제1 분할 프레임의 제1 매크로 블록이 압축된 제1 데이터를 포함하는 제1 패킷과, 상기 제2 분할 프레임의 제2 매크로 블록이 압축된 제2 데이터를 포함하는 제2 패킷을 획득하는 네트워크 프로세서; 및 매크로 블록 단위의 디코딩을 통해 상기 제1 매크로 블록과 상기 제2 매크로 블록을 획득하고, 상기 제1 매크로 블록과 상기 제2 매크로 블록을 이용하여 상기 제1 프레임을 초기 복원하며, 상기 초기 복원된 제1 프레임에서 상기 중첩된 영역에 해당하는 블록을, 상기 제1 프레임의 이전 프레임인 제2 프레임에 적용된 양자화 파라미터(QP)를 이용하여 디코딩한 데이터로 채워 상기 제1 프레임을 최종 복원하는 디코딩 코덱을 포함할 수 있다. In addition, the decoder device for outputting an image received through mobile communication according to an embodiment of the present invention includes the first frame of the first frame and the second frame in which the first frame is vertically divided to have overlapping regions. A network processor for obtaining a first packet including first data compressed by a first macroblock of a divided frame and a second packet including second data compressed by a second macroblock of the second divided frame; And obtaining the first macroblock and the second macroblock through decoding in units of macroblocks, initially reconstructing the first frame using the first macroblock and the second macroblock, and the initial reconstructed Decoding codec for finally reconstructing the first frame by filling the block corresponding to the overlapped region in the first frame with data decoded using the quantization parameter (QP) applied to the second frame that is the previous frame of the first frame It may include.

본 발명의 적어도 일 실시예에 의하면, 보다 지연 시간이 적은 영상 전송이 수행될 수 있다.According to at least one embodiment of the present invention, image transmission with a lower delay time may be performed.

특히, 세로분할 방식의 프레임 분할 및 매크로 블록 단위의 패킷 전송을 통해 인코더에서의 지연 시간이 감소한다.In particular, the delay time in the encoder is reduced through frame division in the vertical division scheme and packet transmission in units of macroblocks.

또한, 코덱의 연산 단위와 네크워크 프로세서의 연산 단위, 그리고 전용 메모리를 1:1로 할당하여 메모리 접근을 위한 대기 시간이 최소화되므로 인코더에서의 지연 시간이 감소한다. In addition, by allocating the operation unit of the codec, the operation unit of the network processor, and the dedicated memory 1:1, the waiting time for accessing the memory is minimized, thus reducing the delay time in the encoder.

본 발명에서 얻은 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects that can be obtained in the present invention are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood by those of ordinary skill in the art from the following description. will be.

도 1은 일반적인 영상 전송 및 출력 시스템 구성의 일례를 나타낸다.
도 2는 일반적인 영상 압축 및 전송 과정의 일례를 나타낸다.
도 3은 본 발명의 일 실시예에 따른 영상 전송 및 출력 시스템 구성의 일례를 나타낸다.
도 4는 본 발명의 일 실시예에 따른 인코더의 프레임 처리 과정을 나타낸다.
도 5는 본 발명의 일 실시예에 따른 디코더의 프레임 처리 과정을 나타낸다.
도 6은 본 발며의 일 실시예에 따른 가변 비트율 제어 과정의 일례를 나타내는 순서도이다.1 shows an example of a general video transmission and output system configuration.
2 shows an example of a general video compression and transmission process.
3 shows an example of a configuration of an image transmission and output system according to an embodiment of the present invention.
4 shows a frame processing process of an encoder according to an embodiment of the present invention.
5 shows a frame processing process of a decoder according to an embodiment of the present invention.
6 is a flow chart showing an example of a variable bit rate control process according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.Hereinafter, exemplary embodiments disclosed in the present specification will be described in detail with reference to the accompanying drawings, but identical or similar elements are denoted by the same reference numerals regardless of reference numerals, and redundant descriptions thereof will be omitted. The suffixes "module" and "unit" for components used in the following description are given or used interchangeably in consideration of only the ease of preparation of the specification, and do not have meanings or roles that are distinguished from each other by themselves.

또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.In addition, in describing the embodiments disclosed in the present specification, when it is determined that a detailed description of related known technologies may obscure the subject matter of the embodiments disclosed in the present specification, the detailed description will be omitted. In addition, the accompanying drawings are for easy understanding of the embodiments disclosed in the present specification, and the technical idea disclosed in the present specification is not limited by the accompanying drawings, and all modifications included in the spirit and scope of the present invention It should be understood to include equivalents or substitutes.

본 발명의 일 실시예에서는, 영상 압축 시간을 최소화하기 위해 세로 분할 방식의 프레임 분할과 매크로 블록단위 영상 압축 후 즉시 패킷 생성 후 전송하여 인코더에서의 지연 시간이 최소화되도록 할 것을 제안한다.In an embodiment of the present invention, in order to minimize the video compression time, it is proposed to minimize the delay time in the encoder by generating a packet immediately after frame division in a vertical division method and video compression in a macroblock unit.

또한, 본 발명의 일 실시예에서는 영상 압축 및 패킷 생성 시간을 줄이기 위해서 인코딩 코덱 내의 단위 연산 단위부와 네트워크 프로세서 내의 단위 연산부를 1:1로 매칭시키며, 매칭된 연산부 쌍(pair)별로 전용 메모리를 할당(dedicated memory allocation)하여 단위 연산부간 접근 대기 시간을 없앨 것을 제안한다.In addition, in an embodiment of the present invention, in order to reduce video compression and packet generation time, a unit operation unit in an encoding codec and a unit operation unit in a network processor are matched 1:1, and a dedicated memory is provided for each pair of matching operation units It is proposed to allocate (dedicated memory allocation) to eliminate the waiting time for access between unit operation units.

아울러, 수신단 측의 영상 복원에 있어서도 세로 분할된 매크로 블록간의 경계선 제거의 신속화를 위하여, 영상 압축시 경계 부분을 중첩하여 인코딩할 것을 제안한다.In addition, in order to accelerate the removal of boundary lines between vertically divided macroblocks in image restoration at the receiver side, it is proposed to overlap and encode boundary portions during image compression.

이하, 첨부된 도면을 함께 참조하여 본 발명의 일 실시예들에 따른 영상 전송 및 출력 시스템과, 그를 통해 수행되는 영상 송수신 방법을 설명한다.Hereinafter, an image transmission and output system according to exemplary embodiments of the present invention and a method of transmitting and receiving an image performed therethrough will be described with reference to the accompanying drawings.

도 3은 본 발명의 일 실시예에 따른 영상 전송 및 출력 시스템 구성의 일례를 나타낸다.3 shows an example of a configuration of an image transmission and output system according to an embodiment of the present invention.

도 3을 참조하면, 실시예에 따른 영상 전송 및 출력 시스템은 영상을 획득하는 송신단측에 구비되는 인코더(300)와, 영상을 수신하여 재생하는 수신단측에 구비되는 디코더(400)를 포함할 수 있다.Referring to FIG. 3, the image transmission and output system according to the embodiment may include an encoder 300 provided at a transmitting end that acquires an image, and a decoder 400 provided at a receiving end that receives and reproduces the image. have.

여기서, 인코더(300)는 카메라 등의 영상 획득 수단을 통해 입력된 영상을 프레임 단위로 구분하여 압축하는 인코딩 코덱(310), 인코딩 코덱(310)에서 압축된 영상이 저장되는 메모리(320) 및 메모리(320)에 접근하여 압축된 영상을 획득하고, 이를 이동 통신망을 통해 전송되기에 적합하도록 패킷 처리를 수행하는 네트워크 프로세서(330)를 포함할 수 있다.Here, the encoder 300 is an encoding codec 310 that divides and compresses an image inputted through an image acquisition means such as a camera in a frame unit, a memory 320 and a memory in which an image compressed by the encoding codec 310 is stored. It may include a network processor 330 that accesses 320 to obtain a compressed image, and performs packet processing to be suitable for transmission through a mobile communication network.

인코딩 코덱(310)과 네트워크 프로세서(330) 각각은 복수의 단위 연산부를 포함할 수 있다. 예를 들어, 인코딩 코덱(310)은 단위 연산부로 적어도 두 개의 RISC(Reduced Instruction Set Computer, RISC1 및 RISC2)를 포함하고, 네트워크 프로세서(330)는 단위 연산부로 적어도 두 개의 코어(Core1, Core2)를 포함할 수 있다. 물론, 이러한 단위 연산부의 구성은 인코딩 코덱(310)이나 네트워크 프로세서(330)의 구성에 따라 다른 형태로 대체될 수 있음은 당업자에 자명하다. 또한, 메모리(320)는 적어도 두 개의 전용 메모리(DM: Dedicated Memory) 영역(DM1, DM2)을 포함할 수 있다. 이때, 각 전용 메모리 영역은 물리적으로 하나의 기억 소자로 구현되되 논리적으로 다른 주소 영역으로 구현될 수도 있고, 물리적으로 별도의 기억 소자로 구현될 수도 있다.Each of the encoding codec 310 and the network processor 330 may include a plurality of unit operation units. For example, the encoding codec 310 includes at least two RISC (Reduced Instruction Set Computer, RISC1 and RISC2) as a unit operation unit, and the network processor 330 uses at least two cores (Core1, Core2) as a unit operation unit. Can include. Of course, it will be apparent to those skilled in the art that the configuration of such a unit operation unit may be replaced in another form according to the configuration of the encoding codec 310 or the network processor 330. Further, the memory 320 may include at least two dedicated memory (DM) areas DM1 and DM2. In this case, each dedicated memory area may be physically implemented as a single memory device, but may be logically implemented as a different address area, or may be physically implemented as a separate memory device.

일 실시예에 의하면, 인코딩 코덱(310)의 단위 연산부는 네트워크 프로세서(330)의 단위 연산부와 1:1로 매칭되어 하나의 단위 연산부 페어(pair)을 구성한다. 본 실시예에서는 인코더(300)에 적어도 둘의 단위 연산부 페어가 구비되며, 이러한 단위 연산부 페어 각각은 하나의 프레임을 세로 분할한 분할된 프레임 하나를 담당하여 처리한다. 따라서, 분할된 프레임들이 서로 다른 단위 연산부 페어에서 동시에 처리(즉, 멀티 프로세싱)되므로 영상 압축에 소요되는 시간을 감소시킬 수 있다. 이때, 하나의 단위 연산부 페어에는 하나의 전용 메모리 영역이 할당되므로, 연산부간 메모리 읽기/쓰기를 위한 대기 지연 시간(read lock)이 감소할 수 있다. 다시 말해, 일반적은 멀티프로세싱 방식은 메모리에 저장된 데이터를 다수 개의 프로세서가 라운드 로빈(round robin) 방식 또는 FIFO(First In First Out) 방식으로 데이터를 읽기 때문에 메모리 대기 지연 시간이 발생하나, 실시예에 따른 단위 연산부 페어는 다른 단위 연산부 페어의 접근을 허용하지 않는 전용 메모리 영역을 사용한다. 따라서, 다른 단위 연산부가 메모리를 접근할 때 동일 메모리 영역에 접근하기 위해 대기해야 하는 시간이 발생하지 않는다.According to an embodiment, the unit operation unit of the encoding codec 310 is matched 1:1 with the unit operation unit of the network processor 330 to form one unit operation unit pair. In this embodiment, at least two pair of unit operation units are provided in the encoder 300, and each of these unit operation unit pairs handles and processes one divided frame obtained by vertically dividing one frame. Accordingly, since the divided frames are simultaneously processed (ie, multi-processed) in different unit operation unit pairs, time required for image compression can be reduced. At this time, since one dedicated memory area is allocated to one unit operation unit pair, a wait delay time (read lock) for memory read/write between the operation units may be reduced. In other words, in a general multiprocessing method, a memory waiting delay occurs because a plurality of processors read data stored in a memory in a round robin method or FIFO (First In First Out) method. The corresponding unit operation unit pair uses a dedicated memory area that does not allow access to other unit operation unit pairs. Therefore, when another unit operation unit accesses the memory, there is no time required to wait to access the same memory area.

또한, 디코더(400)는 인코더(300)의 네트워크 프로세서(330)에서 생성되어 네트워크를 통해 전송된 패킷을 압축된 영상으로 전환하는 네트워크 프로세서(410), 네트워크 프로세서가 전환한 압축된 영상을 저장하는 메모리(420) 및 메모리(420)에 접근하여 압축된 영상을 획득하고, 이를 디코딩하여 출력될 영상을 생성하는 디코딩 코덱(430)을 포함할 수 있다. 디코딩된 영상은 디스플레이 기기(미도시)를 통해 표시될 수 있다.In addition, the decoder 400 is a network processor 410 that converts a packet generated by the network processor 330 of the encoder 300 and transmitted through the network into a compressed image, and stores the compressed image converted by the network processor. It may include a memory 420 and a decoding codec 430 that accesses the memory 420 to obtain a compressed image and decodes the image to generate an image to be output. The decoded image may be displayed through a display device (not shown).

디코더(400) 또한 인코더(400)와 유사하게, 네트워크 프로세서(410)와 디코딩 코덱(430)과 각각은 복수의 단위 연산부를 포함할 수 있다. 예를 들어, 디코딩 코덱(430)은 단위 연산부로 적어도 두 개의 RISC(Reduced Instruction Set Computer, RISC1 및 RISC2)를 포함하고, 네트워크 프로세서(410)는 단위 연산부로 적어도 두 개의 코어(Core1, Core2)를 포함할 수 있다. 또한, 메모리(420)는 적어도 두 개의 전용 메모리(DM: Dedicated Memory) 영역(DM1, DM2)을 포함할 수 있다. 이때, 각 전용 메모리 영역은 물리적으로 하나의 기억 소자로 구현되되 논리적으로 다른 주소 영역으로 구현될 수도 있고, 물리적으로 별도의 기억 소자로 구현될 수도 있다.Similarly to the encoder 400, the decoder 400 and the network processor 410 and the decoding codec 430 may each include a plurality of unit operation units. For example, the decoding codec 430 includes at least two RISC (Reduced Instruction Set Computer, RISC1 and RISC2) as a unit operation unit, and the network processor 410 uses at least two cores (Core1, Core2) as unit operation units. Can include. Also, the memory 420 may include at least two dedicated memory (DM) areas DM1 and DM2. In this case, each dedicated memory area may be physically implemented as a single memory device, but may be logically implemented as a different address area, or may be physically implemented as a separate memory device.

또한, 일 실시예에 의하면, 네트워크 프로세서(410)의 단위 연산부는 디코딩 코덱(430)의 단위 연산부와 1:1로 매칭되어 하나의 단위 연산부 페어(pair)을 구성하며, 각 단위 연산부 페어는 서로 다른 전용 메모리 영역을 사용한다. 이러한 구성에 의한 효과는 전술한 인코더(300)에 대한 기재로 갈음하기로 한다.In addition, according to an embodiment, the unit operation unit of the network processor 410 is matched 1:1 with the unit operation unit of the decoding codec 430 to form one unit operation unit pair, and each unit operation unit pair is Use another dedicated memory area. The effect of this configuration will be replaced with the description of the above-described encoder 300.

이하의 기재에서 인코더(300)와 디코더(400) 각각에 구비된 단위 연산부 페어는 두 개인 것으로 가정한다. 그에 따라, 각 원본 프레임은 두 개의 분할 프레임으로 분할되는 것으로 가정한다.In the following description, it is assumed that there are two pairs of unit operation units provided in each of the encoder 300 and the decoder 400. Accordingly, it is assumed that each original frame is divided into two divided frames.

도 4는 본 발명의 일 실시예에 따른 인코더의 프레임 처리 과정을 나타낸다.4 shows a frame processing process of an encoder according to an embodiment of the present invention.

먼저, 도 4의 (a)를 참조하면, 영상 획득 수단(미도시)로부터 인코더에 입력된 영상 데이터 중 하나의 원본 프레임(500)이 도시된다. 하나의 프레임은 미리 설정된 해상도에 상응하는 복수의 픽셀로 구성될 수 있다.First, referring to FIG. 4A, one original frame 500 of image data input to an encoder from an image acquisition means (not shown) is shown. One frame may consist of a plurality of pixels corresponding to a preset resolution.

이러한 프레임은 인코딩 코덱(310)에서 도 4의 (b)에 도시된 바와 같이, 두 개의 분할 프레임(510, 520)으로 세로 분할되며, 좌측 분할 프레임(510)은 제1 단위 연산부 페어(RISC1 및 Core1)에서, 우측 분할 프레임(520)은 제2 단위 연산부 페어(RISC2 및 Core2)에서 각각 인코딩된다. 이때, 인코딩 코덱(310)은 원본 프레임(500)을 분할함에 있어서 좌측 분할 프레임(510)과 우측 분할 프레임(520) 각각의 경계 부분에 서로 중첩되는 중첩 영역(520)을 갖도록 분할한다. 즉, 좌측 분할 프레임(510)과 우측 분할 프레임(520)은 서로 대향하는 일 가장자리 영역에 원본 프레임 중 동일한 부분을 포함하도록 분할된다. 이는 디코딩시 분할 경계선의 신속한 제거를 위한 것으로, 구체적인 경계선 제거 방법에 대해서는 도 5를 참조하여 후술하기로 한다.This frame is vertically divided into two divided frames 510 and 520 in the encoding codec 310 as shown in (b) of FIG. 4, and the left divided frame 510 is a first unit operation unit pair RISC1 and In Core1), the right divided frame 520 is encoded in the second unit operation unit pair RISC2 and Core2, respectively. In this case, the encoding codec 310 divides the original frame 500 so as to have overlapping regions 520 overlapping each other on the boundary portions of the left divided frame 510 and the right divided frame 520. That is, the left divided frame 510 and the right divided frame 520 are divided to include the same portion of the original frame in one edge region facing each other. This is for rapid removal of the divided boundary line during decoding, and a detailed boundary line removal method will be described later with reference to FIG. 5.

좌측 분할 프레임(510)과 우측 분할 프레임(520) 각각에 대하여, 제1 단위 연산부 페어와 제2 단위 연산부 페어는 기 설정된 개수의 단위 블럭(BU)을 포함하는 매크로 블럭 단위로 인코딩(압축)되며, 도 4의 (c)에 도시된 바와 같이 패킷 생성이 수행된다. 구체적으로, 인코딩 코덱(310)의 RISC1은 좌측 분할 프레임(510)을 매크로 블럭 단위로 압축하고, 압축된 매크로 블럭(511)을 메모리(320)의 DM1에 기록하면, 네트워크 프로세서(330)에서 RISC1과 페어를 이루는 Core1이 DM1에 기록된 압축된 매크로 블럭(511)을 읽어와 패킷처리를 수행하게 된다. 유사하게, 인코딩 코덱(310)의 RISC2는 우측 분할 프레임(520)을 매크로 블럭 단위로 압축하고, 압축된 매크로 블럭(521)을 메모리(320)의 DM2에 기록하면, 네트워크 프로세서(330)에서 RISC2과 페어를 이루는 Core2가 DM2에 기록된 압축된 매크로 블럭(521)을 읽어와 패킷처리를 수행하게 된다.For each of the left divided frame 510 and the right divided frame 520, the first unit operation unit pair and the second unit operation unit pair are encoded (compressed) in units of macro blocks including a preset number of unit blocks (BU). , As shown in (c) of FIG. 4, packet generation is performed. Specifically, when RISC1 of the encoding codec 310 compresses the left divided frame 510 in units of macroblocks and records the compressed macroblock 511 in DM1 of the memory 320, the network processor 330 performs RISC1 Core1 forming a pair with reads the compressed macroblock 511 recorded in DM1 and performs packet processing. Similarly, when RISC2 of the encoding codec 310 compresses the right divided frame 520 in units of macroblocks and writes the compressed macroblock 521 to DM2 of the memory 320, the network processor 330 performs RISC2 Core2, which forms a pair with, reads the compressed macroblock 521 recorded in the DM2 and performs packet processing.

네트워크 프로세서(330)는 하나의 프레임을 구성하는 모든 매크로 블럭의 압축을 대기하지 않고, 압축된 매크로 블록 단위로 패킷을 생성하여 즉시 디코더(400)로 전송한다.The network processor 330 does not wait for compression of all macroblocks constituting one frame, but generates packets in units of compressed macroblocks and immediately transmits them to the decoder 400.

다음으로, 도 5를 참조하여 수신단의 디코더 동작을 설명한다.Next, the operation of the decoder at the receiving end will be described with reference to FIG. 5.

도 5는 본 발명의 일 실시예에 따른 디코더의 프레임 처리 과정을 나타낸다.5 shows a frame processing process of a decoder according to an embodiment of the present invention.

도 5를 참조하면, 실시예에 따른 디코더(400)에서 네트워크 프로세서(410)는 동일한 프레임에 대하여 서로 다른 분할 프레임에 해당하는 두 패킷을, 해당하는 분할 프레임을 담당하는 코어에서 압축된 매크로 블럭(511, 521)으로 복원한다.Referring to FIG. 5, in the decoder 400 according to the embodiment, the network processor 410 transmits two packets corresponding to different divided frames for the same frame, and a macroblock compressed by a core responsible for the corresponding divided frames ( 511, 521).

압축된 매크로 블럭(511, 521) 각각은 코어에 해당하는 전용 메모리 영역(DM1, DM2)에 기록되며, 디코딩 코덱(430)의 각 단위 연산부(예컨대, RISC1 및 RISC2)는 해당하는 전용 메모리 영역으로부터 압축된 매크로 블럭(511, 521)을 읽어와 디코딩한다. 이때, 디코딩은 먼저 세로 분할된 각각의 분할 프레임에 대한 매크로 블럭 단위로 수행되어 하나의 초기 프레임(600)을 복원하도록 수행된다. 초기 프레임(600)은 인코딩시 중첩 영역(530)에 해당하는 경계선(610)이 존재한다. 이러한 경계선(610)의 제거는 디코딩 코덱(430)에서 인코딩시 중첩 영역(530)에 해당하는 데이터를 이전 프레임의 양자화 파라미터(QP: Quantization Parameter)를 이용하여 디코딩 후 해당 영역을 포함하는 블럭의 데이터를 채우는 방식으로 수행될 수 있다. 그에 따라 최종 출력 프레임(600')이 생성될 수 있다.Each of the compressed macro blocks 511 and 521 is recorded in the dedicated memory areas DM1 and DM2 corresponding to the core, and each unit operation unit (eg, RISC1 and RISC2) of the decoding codec 430 is from the corresponding dedicated memory area. The compressed macroblocks 511 and 521 are read and decoded. In this case, decoding is first performed in units of macroblocks for each of the vertically divided divided frames to restore one initial frame 600. In the initial frame 600, a boundary line 610 corresponding to the overlapping region 530 exists during encoding. The removal of the boundary line 610 is performed by decoding the data corresponding to the overlapping region 530 when encoding by the decoding codec 430 using a quantization parameter (QP) of the previous frame and then decoding the data of the block including the corresponding region. It can be done in a way of filling. Accordingly, a final output frame 600' may be generated.

이러한 디코딩 과정을 일반적인 가로 분할 프레임의 디코딩과 비교하면 다음과 같은 장점이 있다.Comparing this decoding process with decoding of a typical horizontally divided frame has the following advantages.

표준 코덱 기반의 가로 분할 방식은 한 프레임의 절반을 상하로 분할하여 처리하게 되는데, 디코더의 입장에서는 영상 데이터가 위에서 아래 방향으로 프레임을 채울 데이터가 순차적으로 수신 및 처리되므로 상단부 영상 처리가 끝나야만 하단부 영상 처리가 가능하다. 따라서, 상단부 영상과 하단부 영상의 동시 처리가 불가하므로, 1 프레임의 지연 시간이 발생한다. 뿐만 아니라, 디코딩 후 영상 출력시 가로 분할 경계선이 화면에 표시되므로, 경계선 제거를 위해 디코딩 후 디블럭 필터링(deblock filtering) 등의 방법을 이용해 경계선을 제거해야 한다. 이렇게 할 경우 디코딩 시 2 프레임 지연 시간이 추가로 발생하게 된다. 반면에, 본 실시예에 따른 디코딩 과정은 좌우로 영상을 분할하여 처리하므로 좌측 영상과 우측 영상이 실질적으로 동시에 처리될 수 있으며, 매크로 블록 단위 디코딩과 동시에 이전 프레임의 QP를 적용하여 경계선에 해당하는 블럭의 데이터를 채우기 때문에 경계선 제거를 위한 지연 시간이 절감된다. 결론적으로, 세로 분할 방식이 가로 분할 방식 대비 인코딩 및 디코딩 과정에서의 지연 시간이 짧게 된다.In the standard codec-based horizontal segmentation method, half of one frame is divided up and down to be processed.In the decoder's point of view, data to fill the frame from top to bottom are sequentially received and processed. Image processing is possible. Accordingly, since simultaneous processing of the upper and lower images is impossible, a delay time of one frame occurs. In addition, since the horizontally divided boundary line is displayed on the screen when the video is output after decoding, the boundary line must be removed using a method such as deblock filtering after decoding to remove the boundary line. In this case, an additional delay of 2 frames occurs during decoding. On the other hand, in the decoding process according to the present embodiment, since the image is divided and processed left and right, the left image and the right image can be processed substantially simultaneously, and the QP of the previous frame is applied at the same time as macroblock unit decoding to correspond to the boundary line. Since the data of the block is filled, the delay time for removing the border is reduced. In conclusion, the vertical division method has a shorter delay in the encoding and decoding process than the horizontal division method.

한편, 이동 통신망을 이용하여 영상을 전송할 때는 무선 환경을 고려해야 한다. 예컨대, 송신측에 해당하는 단말이나 수신측에 해당하는 단말의 이동에 따라 무선 품질이 나빠질 수 있고, 이로 인해 패킷 유실이나 전송 지연이 발생하여 영상이 깨지거나 출력 지연이 발생할 수 있다.Meanwhile, when transmitting an image using a mobile communication network, a wireless environment must be considered. For example, radio quality may be deteriorated according to the movement of a terminal corresponding to a transmitting side or a terminal corresponding to a receiving side, and thus packet loss or transmission delay may occur, resulting in an image breakage or an output delay.

따라서, 본 발명의 일 실시예에서는 영상을 수신하는 수신측 장치의 영상 품질에 따라 송신측 장치에서 실시간으로 가변 비트율을 적용하여 전송 데이터량이 조절되도록 할 것을 제안한다. 여기서 가변 비트율이란 QP 값을 변경함을 의미할 수 있다. 이를 도 6을 참조하여 설명한다.Accordingly, according to an embodiment of the present invention, it is proposed that the amount of transmitted data is adjusted by applying a variable bit rate in real time in the transmitting-side device according to the image quality of the receiving-side device receiving the image. Here, the variable bit rate may mean changing the QP value. This will be described with reference to FIG. 6.

도 6은 본 발며의 일 실시예에 따른 가변 비트율 제어 과정의 일례를 나타내는 순서도이다.6 is a flow chart showing an example of a variable bit rate control process according to an embodiment of the present invention.

도 6을 참조하면, 인코더를 포함하는 송신측 장치에서 영상 인코딩(S710)을 수행한다. 이때, 초기 인코딩시에는 미리 설정된 디폴트 QP(QP_default)가 적용될 수 있으며, 후술할 데이터량 비교에 따라 QP가 변경되면 변경된 현재 QP(QP_Current)가 적용될 수 있다. 인코더에서는 인코딩이 완료되면 발신 데이터량을 저장하고(S720) 영상 패킷을 디코더를 구비하는 수신측 장치로 전송한다(S730).Referring to FIG. 6, an image encoding (S710) is performed by a transmitting device including an encoder. In this case, during initial encoding, a preset default QP (QP_default) may be applied, and if the QP is changed according to a data amount comparison to be described later, the changed current QP (QP_Current) may be applied. When the encoding is completed, the encoder stores the amount of transmission data (S720) and transmits the video packet to the receiving device including the decoder (S730).

디코더에서는 영상 패킷을 수신함에 따라(S740) 수신 데이터량을 저장하고(S750) 해당 패킷을 이용하여 영상 디코딩을 수행한다(S760).As the decoder receives the video packet (S740), the amount of received data is stored (S750), and video decoding is performed using the packet (S760).

이때, 디코더에서 기록된 수신 데이터량은 소정 시간 간격으로 인코더로 리포트될 수 있으며, 인코더에서는 동일 영상 패킷에 대한 발신 데이터량과 수신 데이터량을 서로 비교할 수 있다(S771). 비교 결과, 데이터량의 차이가 허용오차 이내일 경우 현재 QP를 디폴트 QP와 비교하여(S773), 현재 QP가 높으면 영상 인코딩(S710)에 디폴트 QP를 적용한다(S774). 이와 달리, 현재 QP가 디폴트 QP 이하이면 현재 QP가 영상 인코딩에 적용된다(S775).At this time, the amount of received data recorded by the decoder may be reported to the encoder at predetermined time intervals, and the encoder may compare the amount of transmitted data and the amount of received data for the same video packet (S771). As a result of the comparison, if the difference in the amount of data is within the tolerance, the current QP is compared with the default QP (S773), and if the current QP is high, the default QP is applied to the image encoding (S710) (S774). In contrast, if the current QP is less than or equal to the default QP, the current QP is applied to video encoding (S775).

한편, 데이터량 비교 결과 허용오차를 초과한 경우, 수신 데이터량을 기반으로 QP가 계산되며(S772), 계산된 QP를 기반으로 영상 인코딩이 수행될 수 있다(S775).Meanwhile, when the data amount comparison result exceeds the tolerance, the QP is calculated based on the received data amount (S772), and image encoding may be performed based on the calculated QP (S775).

정리하면, 영상을 송신하는 인코더에서 가변 비트율을 적용하기 위해서는 보낸 영상 데이터양과 디코더가 받은 영상 데이터양을 비교하여, 보낸 데이터보다 적은 데이터를 디코더가 수신한 경우, 디코더가 수신한 데이터양에 맞추어 QP를 높이고, 설정한 시간(즉, 리포트 간격) 동안 수신 상태가 양호한 경우 다시 QP를 낮추게 된다. 따라서, 이동 통신 환경에 따른 대응이 가능하다.In summary, in order to apply the variable bit rate in the encoder that transmits the video, the amount of video data sent and the amount of video data received by the decoder are compared, and if the decoder receives less data than the transmitted data, the QP according to the amount of data received by the decoder. Is increased, and QP is lowered again when the reception condition is good for a set time (ie, report interval). Therefore, it is possible to respond to the mobile communication environment.

도 6을 참조하여 상술한 과정 중, S771 단계 내지 S775 단계는 네트워크 프로세서(330)에서 수행되어 결정된 QP가 인코딩 코덱(310)으로 통지되는 형태로 수행될 수 있으나, 반드시 이에 한정되는 것은 아니다.In the process described above with reference to FIG. 6, steps S771 to S775 may be performed in a form in which the QP determined by the network processor 330 is notified to the encoding codec 310, but is not limited thereto.

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다.The present invention described above can be implemented as a computer-readable code in a medium on which a program is recorded. The computer-readable medium includes all types of recording devices storing data that can be read by a computer system. Examples of computer-readable media include HDD (Hard Disk Drive), SSD (Solid State Disk), SDD (Silicon Disk Drive), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. There is this.

따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.Therefore, the detailed description above should not be construed as restrictive in all respects and should be considered as illustrative. The scope of the present invention should be determined by rational interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.

Claims (19)

인코더를 포함하는 송신측 장치의 영상 전송 방법에 있어서,
원본 프레임을 서로 중첩된 영역을 갖는 제1 분할 프레임과 제2 분할 프레임으로 세로 분할하는 단계;
세로 분할된 상기 제1 분할 프레임과 상기 제2 분할 프레임 각각에 대하여 소정 크기의 매크로 블럭 단위로 인코딩하는 단계;
상기 인코딩된 매크로 블럭 단위로 패킷을 생성하는 단계; 및
상기 생성된 패킷을 디코더를 포함하는 수신측 장치로 전송하는 단계를 포함하되,
상기 인코더는 인코딩 코덱과 네트워크 프로세서를 포함하고,
상기 인코딩 코덱 및 상기 네트워크 프로세서 각각은 복수의 단위 연산부를 포함하며,
상기 인코딩 코덱 및 상기 네트워크 프로세서 각각이 포함하는 상기 복수의 단위 연산부 중 서로 매칭되는 단위 연산부는 전용 메모리 영역을 공유하는, 영상 전송 방법.In the video transmission method of a transmitting device including an encoder,
Vertically dividing the original frame into a first divided frame and a second divided frame having regions overlapping each other;
Encoding each of the vertically divided first and second divided frames in units of macroblocks having a predetermined size;
Generating a packet in units of the encoded macroblocks; And
Including the step of transmitting the generated packet to a receiving device including a decoder,
The encoder includes an encoding codec and a network processor,
Each of the encoding codec and the network processor includes a plurality of unit operation units,
The encoding codec and the unit operation unit matching each other among the plurality of unit operation units included in each of the network processor share a dedicated memory area. 삭제delete 제1 항에 있어서,
상기 인코딩하는 단계는,
상기 인코딩 코덱의 제1 단위 연산부에서 상기 제1 분할 프레임이 상기 매크로 블럭 단위로 인코딩되는 단계; 및
상기 인코딩 코덱의 제2 단위 연산부에서 상기 제2 분할 프레임이 상기 매크로 블럭 단위로 인코딩되는 단계를 포함하는, 영상 전송 방법.The method of claim 1,
The encoding step,
Encoding the first divided frame in units of the macroblocks by a first unit operation unit of the encoding codec; And
And encoding the second divided frame in units of the macroblocks by a second unit operation unit of the encoding codec. 제3 항에 있어서,
상기 패킷을 생성하는 단계는,
상기 네트워크 프로세서에 포함되는 상기 복수의 단위 연산부 중 상기 제1 단위 연산부에 매칭된 단위 연산부에서 상기 매크로 블럭 단위로 인코딩된 상기 제1 분할 프레임이 패킷 처리되는 단계; 및
상기 네트워크 프로세서에 포함되는 상기 복수의 단위 연산부 중 상기 제2 단위 연산부에 매칭된 단위 연산부에서 상기 매크로 블럭 단위로 인코딩된 상기 제2 분할 프레임이 패킷 처리되는 단계를 포함하는, 영상 전송 방법.The method of claim 3,
Generating the packet,
Packet processing the first divided frame encoded in the macroblock unit by a unit operation unit matched to the first unit operation unit among the plurality of unit operation units included in the network processor; And
And packet processing the second divided frame encoded in the macroblock unit by a unit operation unit matched to the second unit operation unit among the plurality of unit operation units included in the network processor. 삭제delete 제1 항에 있어서,
상기 생성된 패킷의 제1 데이터량을 기록하는 단계;
상기 수신측 장치로부터 상기 수신측 장치에 수신된 제2 데이터량에 대한 정보를 수신하는 단계;
상기 제1 데이터량과 상기 제2 데이터량을 비교하는 단계; 및
상기 비교 결과에 따라 상기 인코딩하는 단계에 적용되는 비트레이트를 변경하는 단계를 더 포함하는, 영상 전송 방법.The method of claim 1,
Recording a first amount of data of the generated packet;
Receiving information on a second amount of data received by the receiving device from the receiving device;
Comparing the first data amount and the second data amount; And
The method further comprising changing a bit rate applied to the encoding step according to the comparison result. 제6 항에 있어서,
상기 변경하는 단계는,
양자화 파라미터(QP)를 변경하는 단계를 포함하는, 영상 전송 방법.The method of claim 6,
The changing step,
A method of transmitting an image comprising changing a quantization parameter (QP). 제1 항에 있어서,
상기 전송하는 단계는,
상기 제1 분할 프레임과 상기 제2 분할 프레임 각각의 전체 매크로 블록의 인코딩 완료 여부와 무관하게 상기 패킷 단위로 수행되는, 영상 전송 방법.The method of claim 1,
The transmitting step,
The method of transmitting an image, which is performed on a per packet basis irrespective of whether encoding of the entire macroblock of each of the first and second divided frames is completed. 디코더를 포함하는 수신측 장치의 영상 출력 방법에 있어서,
제1 프레임을 서로 중첩된 영역을 갖도록 세로 분할한 제1 분할 프레임과 제2 분할 프레임 중 상기 제1 분할 프레임의 제1 매크로 블록이 압축된 제1 데이터를 포함하는 제1 패킷과, 상기 제2 분할 프레임의 제2 매크로 블록이 압축된 제2 데이터를 포함하는 제2 패킷을 획득하는 단계;
매크로 블록 단위의 디코딩을 통해 상기 제1 매크로 블록과 상기 제2 매크로 블록을 획득하는 단계;
상기 제1 매크로 블록과 상기 제2 매크로 블록을 이용하여 상기 제1 프레임을 초기 복원하는 단계; 및
상기 초기 복원된 제1 프레임에서 상기 중첩된 영역에 해당하는 블록을, 상기 제1 프레임의 이전 프레임인 제2 프레임에 적용된 양자화 파라미터(QP)를 이용하여 디코딩한 데이터로 채워 상기 제1 프레임을 최종 복원하는 단계를 포함하는, 영상 출력 방법.In the video output method of the receiving-side device including a decoder,
A first packet including first data compressed by a first macroblock of the first divided frame among a first divided frame and a second divided frame in which the first frame is vertically divided to have regions overlapping each other, and the second Obtaining a second packet including second data compressed by a second macroblock of the divided frame;
Obtaining the first macroblock and the second macroblock through decoding in units of macroblocks;
Initial restoration of the first frame by using the first macro block and the second macro block; And
The block corresponding to the overlapped region in the initially reconstructed first frame is filled with data decoded by using a quantization parameter (QP) applied to a second frame that is a previous frame of the first frame, and the first frame is finalized. An image output method comprising the step of restoring. 제1항, 제3항 내지 제4항, 제6항 내지 제8항 중 어느 한 항에 따른 영상 전송 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 해독 가능 기록 매체.A computer-readable recording medium in which a program for executing the image transmission method according to any one of claims 1, 3 to 4, and 6 to 8 is recorded. 이동 통신을 통해 영상을 전송하는 인코더 장치에 있어서,
원본 프레임을 서로 중첩된 영역을 갖는 제1 분할 프레임과 제2 분할 프레임으로 세로 분할하고, 세로 분할된 상기 제1 분할 프레임과 상기 제2 분할 프레임 각각에 대하여 소정 크기의 매크로 블럭 단위로 인코딩하는 인코딩 코덱; 및
상기 인코딩된 매크로 블럭 단위로 패킷을 생성하고 상기 생성된 패킷이 디코더를 포함하는 수신측 장치로 전송되도록 제어하는 네트워크 프로세서를 포함하되,
상기 인코딩 코덱 및 상기 네트워크 프로세서 각각은 복수의 단위 연산부를 포함하고,
상기 인코딩 코덱 및 상기 네트워크 프로세서 각각이 포함하는 상기 복수의 단위 연산부 중 서로 매칭되는 단위 연산부는 전용 메모리 영역을 공유하는, 인코더 장치.In the encoder device for transmitting an image through mobile communication,
Encoding that vertically divides an original frame into a first divided frame and a second divided frame having overlapping regions, and encodes each of the vertically divided first and second divided frames in a macroblock unit of a predetermined size Codec; And
A network processor that generates a packet in units of the encoded macroblock and controls the generated packet to be transmitted to a receiving device including a decoder,
Each of the encoding codec and the network processor includes a plurality of unit operation units,
The encoding codec and the unit operation units matching each other among the plurality of unit operation units included in each of the network processor share a dedicated memory area. 삭제delete 제11 항에 있어서,
상기 인코딩 코덱은,
상기 제1 분할 프레임을 상기 매크로 블럭 단위로 인코딩하는 제1 단위 연산부; 및
상기 제2 분할 프레임을 상기 매크로 블럭 단위로 인코딩하는 제2 단위 연산부를 포함하는, 인코더 장치.The method of claim 11,
The encoding codec,
A first unit operation unit encoding the first divided frame in units of the macroblocks; And
And a second unit operation unit encoding the second divided frame in units of the macroblocks. 제13 항에 있어서,
상기 네트워크 프로세서는,
상기 제1 단위 연산부에 매칭되어 상기 매크로 블럭 단위로 인코딩된 상기 제1 분할 프레임을 패킷 처리하는 제3 단위 연산부; 및
상기 제2 단위 연산부에 매칭되어 상기 매크로 블럭 단위로 인코딩된 상기 제2 분할 프레임이 패킷 처리하는 제4 단위 연산부를 포함하는, 인코더 장치.The method of claim 13,
The network processor,
A third unit operation unit that packet-processes the first divided frame matched by the first unit operation unit and encoded in the macroblock unit; And
And a fourth unit operation unit for packet processing the second divided frame matched with the second unit operation unit and encoded in units of the macroblock. 삭제delete 제11 항에 있어서,
상기 네트워크 프로세서는,
상기 생성된 패킷의 제1 데이터량을 기록하고, 상기 수신측 장치로부터 상기 수신측 장치에 수신된 제2 데이터량에 대한 정보를 수신하여 상기 제1 데이터량과 상기 제2 데이터량을 비교하고, 상기 비교 결과에 따라 결정된 비트레이트를 상기 인코딩 코덱에 전달하는, 인코더 장치.The method of claim 11,
The network processor,
Record a first amount of data of the generated packet, receive information on a second amount of data received by the receiving device from the receiving device, and compare the first amount of data with the second amount of data, The encoder device for transmitting the bit rate determined according to the comparison result to the encoding codec. 제16 항에 있어서,
상기 비트레이트는,
양자화 파라미터(QP)의 변경을 통해 조절되는, 인코더 장치.The method of claim 16,
The bit rate is,
Encoder device, which is adjusted through a change in quantization parameter (QP). 제11 항에 있어서,
상기 네트워크 프로세서는,
상기 제1 분할 프레임과 상기 제2 분할 프레임 각각의 전체 매크로 블록의 인코딩 완료 여부와 무관하게 상기 패킷의 전송이 수행되도록 제어하는, 인코더 장치.The method of claim 11,
The network processor,
The encoder apparatus for controlling transmission of the packet regardless of whether encoding of the entire macroblock of each of the first divided frame and the second divided frame is completed. 이동 통신을 통해 수신된 영상을 출력하는 디코더 장치에 있어서,
제1 프레임을 서로 중첩된 영역을 갖도록 세로 분할한 제1 분할 프레임과 제2 분할 프레임 중 상기 제1 분할 프레임의 제1 매크로 블록이 압축된 제1 데이터를 포함하는 제1 패킷과, 상기 제2 분할 프레임의 제2 매크로 블록이 압축된 제2 데이터를 포함하는 제2 패킷을 획득하는 네트워크 프로세서; 및
매크로 블록 단위의 디코딩을 통해 상기 제1 매크로 블록과 상기 제2 매크로 블록을 획득하고, 상기 제1 매크로 블록과 상기 제2 매크로 블록을 이용하여 상기 제1 프레임을 초기 복원하며, 상기 초기 복원된 제1 프레임에서 상기 중첩된 영역에 해당하는 블록을, 상기 제1 프레임의 이전 프레임인 제2 프레임에 적용된 양자화 파라미터(QP)를 이용하여 디코딩한 데이터로 채워 상기 제1 프레임을 최종 복원하는 디코딩 코덱을 포함하는, 디코더 장치.In the decoder device for outputting an image received through mobile communication,
A first packet including first data compressed by a first macroblock of the first divided frame among a first divided frame and a second divided frame in which the first frame is vertically divided to have regions overlapping each other, and the second A network processor for obtaining a second packet including second data compressed by a second macroblock of the divided frame; And
The first macroblock and the second macroblock are obtained through decoding in units of macroblocks, the first frame is initially restored using the first macroblock and the second macroblock, and the initially restored second macroblock is A decoding codec for finally reconstructing the first frame by filling the block corresponding to the overlapped region in one frame with data decoded using a quantization parameter (QP) applied to a second frame that is a previous frame of the first frame Including, decoder device.
KR1020190032814A 2019-03-22 2019-03-22 Method of transmitting image in a wireless access system KR102178110B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190032814A KR102178110B1 (en) 2019-03-22 2019-03-22 Method of transmitting image in a wireless access system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190032814A KR102178110B1 (en) 2019-03-22 2019-03-22 Method of transmitting image in a wireless access system

Publications (2)

Publication Number Publication Date
KR20200112405A KR20200112405A (en) 2020-10-05
KR102178110B1 true KR102178110B1 (en) 2020-11-12

Family

ID=72808885

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190032814A KR102178110B1 (en) 2019-03-22 2019-03-22 Method of transmitting image in a wireless access system

Country Status (1)

Country Link
KR (1) KR102178110B1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102340490B1 (en) * 2021-05-28 2021-12-17 주식회사 쿠오핀 Platform system and method of transmitting real time video for an ultra low latency
KR102340510B1 (en) * 2021-05-28 2021-12-17 주식회사 쿠오핀 Video encoding apparatus and method for an ultra low latency
KR102641702B1 (en) * 2022-05-12 2024-02-28 주식회사 엘지유플러스 Autonomous driving system, image processing apparatus in autonomous driving system and method thereof
WO2023211119A1 (en) * 2022-04-27 2023-11-02 주식회사 엘지유플러스 Method of recognizing and preventing accident by tele-operated driving system, and device and system therefor
WO2023234432A1 (en) * 2022-05-30 2023-12-07 엘지전자 주식회사 Miracast provision method and miracast provision system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014096690A (en) * 2012-11-09 2014-05-22 Fujitsu Semiconductor Ltd Moving image processing device
JP2018078645A (en) * 2008-05-23 2018-05-17 パナソニックＩｐマネジメント株式会社 Image decoding device, image encoder, image decoding method, image encoding method, program and integrated circuit
KR101860430B1 (en) * 2017-01-31 2018-05-23 (주)포앤비 Video transmission system and divided transmission of video frame and restoration method using the same

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8842555B2 (en) * 2005-10-21 2014-09-23 Qualcomm Incorporated Methods and systems for adaptive encoding of real-time information in packet-switched wireless communication systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018078645A (en) * 2008-05-23 2018-05-17 パナソニックＩｐマネジメント株式会社 Image decoding device, image encoder, image decoding method, image encoding method, program and integrated circuit
JP2014096690A (en) * 2012-11-09 2014-05-22 Fujitsu Semiconductor Ltd Moving image processing device
KR101860430B1 (en) * 2017-01-31 2018-05-23 (주)포앤비 Video transmission system and divided transmission of video frame and restoration method using the same

Also Published As

Publication number Publication date
KR20200112405A (en) 2020-10-05

Similar Documents

Publication Publication Date Title
KR102178110B1 (en) Method of transmitting image in a wireless access system
US10158870B2 (en) Method and apparatus for processing motion compensation of a plurality of frames
US11290734B2 (en) Adaptive picture resolution rescaling for inter-prediction and display
KR20140043037A (en) Method and apparatus for compensating sample adaptive offset for encoding inter layer prediction error
KR20140007293A (en) Method and apparatus for multi-layer video encoding for random access, method and apparatus for multi-layer video decoding for random access
US9723321B2 (en) Method and apparatus for coding video stream according to inter-layer prediction of multi-view video, and method and apparatus for decoding video stream according to inter-layer prediction of multi view video
KR20140110771A (en) Method and apparatus for scalable video encoding using switchable de-noising filtering, Method and apparatus for scalable video decoding using switchable de-noising filtering
CN117041553A (en) Method and apparatus for intra prediction using interpolation filter
EP3989562A1 (en) Coding of information about transform kernel set
CN117793383A (en) Video signal encoding/decoding apparatus, storage medium, and data transmission apparatus
US11563979B2 (en) Image coding method on basis of transform, and apparatus therefor
US20220150513A1 (en) Transform-based image coding method and apparatus therefor
CN115243041A (en) Image encoding method, image decoding apparatus, storage medium, and image transmission method
US20230421780A1 (en) Video coding method on basis of transformation, and device therefor
US9762902B2 (en) Weighted prediction method and apparatus in quantization matrix coding
CN117356098A (en) Deriving offsets in cross-component transform coefficient level reconstruction
KR102116683B1 (en) A method and an apparatus for decoding a video signal
JP2022537975A (en) Point cloud processing
US11843779B2 (en) Method and apparatus for coding information about merge data
US20230096855A1 (en) In-loop filtering-based image coding device and method
US20220377335A1 (en) Transform-based image coding method and device therefor
US20230142928A1 (en) Transform-based image coding method and device therefor
US20220312013A1 (en) Transform-based image coding method, and device therefor
US20220217401A1 (en) Transform-based video coding method, and device therefor
US20240121394A1 (en) Transform-based image coding method and device for same

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right