KR20170033235A - Image processing apparatus and method based on directly splitting screen - Google Patents

Image processing apparatus and method based on directly splitting screen Download PDF

Info

Publication number
KR20170033235A
KR20170033235A KR1020160115656A KR20160115656A KR20170033235A KR 20170033235 A KR20170033235 A KR 20170033235A KR 1020160115656 A KR1020160115656 A KR 1020160115656A KR 20160115656 A KR20160115656 A KR 20160115656A KR 20170033235 A KR20170033235 A KR 20170033235A
Authority
KR
South Korea
Prior art keywords
image frame
image
frame
divided
divided compressed
Prior art date
Application number
KR1020160115656A
Other languages
Korean (ko)
Inventor
김학경
문정식
Original Assignee
주식회사 쿠오핀
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 쿠오핀 filed Critical 주식회사 쿠오핀
Priority to US15/264,070 priority Critical patent/US20170078609A1/en
Publication of KR20170033235A publication Critical patent/KR20170033235A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H04N19/865—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness with detection of the former encoding block subdivision in decompressed video

Abstract

The present invention provides an image processing apparatus and method based on direct split screen transmission, capable of transmitting and outputting an image frame in real time. The image processing apparatus comprises: a transmission frame buffer configured to sequentially provide an image frame; a single type image encoder, which controls a compression method on the basis of complexity of the image frame, splits the image frame horizontally to compress a corresponding split image frame according to the compression method, and provides the corresponding split and compressed image frame directly; a reception frame buffer configured to buffer the corresponding split and compressed image frame; and an image decoder, which decompresses the corresponding buffered split and compressed image frame before a buffering of the image frame is completed and displays the corresponding decompressed split and compressed image frame directly. Therefore, the image processing apparatus is capable of directly transmitting the image frame by horizontally splitting and compressing the image frame, without waiting for storing a total image frame.

Description

즉각적 분할화면 송수신 기반의 영상 처리 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD BASED ON DIRECTLY SPLITTING SCREEN}[0001] IMAGE PROCESSING APPARATUS AND METHOD BASED ON DIRECTLY SPLITTING SCREEN [0002]

본 발명은 분할화면 송수신 기반의 영상 처리 기술에 관한 것으로, 보다 상세하게는 영상 프레임을 실시간으로 전송하고 출력할 수 있는 즉각적 분할화면 송수신 기반의 영상 처리 장치 및 방법에 관한 것이다.
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing technique based on a split screen transmission / reception, and more particularly, to an image processing apparatus and method based on an instantaneous split screen transmission / reception capable of transmitting and outputting image frames in real time.

방송국과 같은 동영상 송신단은 동영상을 인코딩 하여(예를 들어, 동영상은 MPEG(Moving Picture Expert Group) 표준으로 압축될 수 있다) 일반 가정 TV와 같은 동영상 수신단으로 송신할 수 있다. 동영상 수신단은 비디오 송신단에 의해 인코딩된 동영상을 수신하여 해당 동영상을 디스플레이 할 수 있다. 동영상 수신단은 해당 동영상을 디스플레이하기 전 인코딩된 동영상을 디코딩할 필요가 있다. 이때, 동영상 송신단과 수신단 사이에서 전송되는 동영상은 다양한 해상도를 가질 수 있는데, 이때 동영상의 해상도는 송신단에서의 인코딩 및 수신단에서의 디코딩 시간에 영향을 미칠 수 있다. 즉, 송신단에서의 인코딩 및 수신단에서의 디코딩 시간은 동영상의 해상도가 증가할수록 길어지게 된다.A moving image transmitting terminal such as a broadcasting station can transmit a moving image to a moving image receiving terminal such as a general home TV by encoding the moving image (for example, the moving image can be compressed to MPEG (Moving Picture Expert Group) standard). The moving image receiving end can receive the moving image encoded by the video transmitting end and display the corresponding moving image. The moving picture receiving end needs to decode the encoded moving picture before displaying the corresponding moving picture. In this case, the moving picture transmitted between the moving picture transmitting end and the receiving end may have various resolutions, and the resolution of the moving picture may affect the encoding time at the transmitting end and the decoding time at the receiving end. That is, the encoding time at the transmitting end and the decoding time at the receiving end become longer as the resolution of the moving picture increases.

동영상은 동영상 촬영기술의 발전에 따라 고해상도로 제작되고 있다. 종래의 동영상 송수신 기술은 고해상도로 제작된 비디오를 인코딩 및 디코딩하기 위한 시간을 단축하는데 한계를 갖는다.The video is being produced in high resolution according to the progress of the video shooting technique. The conventional moving picture transmission / reception technology has a limitation in shortening the time for encoding and decoding video produced with a high resolution.

한국공개특허 제 10-2001-0016521호는 고화질 TV(HDTV) 신호와 같은 동영상 신호를 압축 및 인코딩하는 화상 인코딩 장치 및 방법, 원하는 화상을 촬영하고, 화상 신호를 생성하고, 이 화상 신호를 인코딩하고 기록하는 비디오 카메라, 상기 인코딩된 화상 신호를 기록하는 화상 기록 장치, 및 상기 인코딩된 화상 신호를 전송하는 화상 전송 장치에 대하여 개시한다.
Korean Patent Laid-Open No. 10-2001-0016521 discloses an image encoding apparatus and method for compressing and encoding a moving image signal such as a high definition TV (HDTV) signal, a method for capturing a desired image, generating an image signal, A video camera for recording, an image recording apparatus for recording the encoded image signal, and an image transmission apparatus for transmitting the encoded image signal.

한국공개특허 제 10-2001-0016521호 (2001. 11. 3 공개)Korean Patent Publication No. 10-2001-0016521 (published on November 3, 2001)

본 발명의 일 실시예는 영상 프레임을 실시간으로 전송하고 출력할 수 있는 즉각적 분할화면 송수신 기반의 영상 처리 장치 및 방법을 제공하고자 한다.An embodiment of the present invention is to provide an image processing apparatus and method based on an instantaneous split screen transmission / reception capable of transmitting and outputting image frames in real time.

본 발명의 일 실시예는 영상 프레임의 복잡도에 따른 압축방식을 제어하고 영상 프레임을 수평방향으로 분할하며, 분할압축된 영상 프레임을 즉시 송신함으로써 고해상도 동영상 화면 압축 전송에 따른 시간지연을 감소시킬 수 있는 즉각적 분할화면 송수신 기반의 영상 처리 장치 및 방법을 제공하고자 한다.In one embodiment of the present invention, a compression method according to the complexity of an image frame is controlled, an image frame is divided in a horizontal direction, and a divided image frame is immediately transmitted, thereby reducing a time delay due to high- And an image processing apparatus and method based on instantaneous split screen transmission and reception.

본 발명의 일 실시예는 전체 영상 프레임이 버퍼에 저장되는 것을 기다리지 않고 버퍼링이 완료된 분할 영상 프레임을 즉시 디스플레이 함으로써 고해상도 동영상 화면 압축 전송 및 출력의 실시간성을 확보할 수 있는 즉각적 분할화면 송수신 기반의 영상 처리 장치 및 방법을 제공하고자 한다.
In an embodiment of the present invention, a buffered video frame is displayed immediately without waiting for the entire video frame to be stored in the buffer, Processing apparatus and method.

실시예들 중에서, 즉각적 분할화면 송수신 기반의 영상 처리 장치는 영상 프레임을 순차적으로 제공하는 송신 프레임 버퍼, 상기 영상 프레임의 복잡도를 기초로 압축방식을 제어하고 상기 영상 프레임을 수평방향으로 분할하여 상기 압축방식에 따라 해당 분할 영상 프레임을 압축하고 상기 해당 분할압축 영상 프레임을 즉시 제공하는 단일의 영상 인코더, 상기 해당 분할압축 영상 프레임을 버퍼링하는 수신 프레임 버퍼 및 상기 영상 프레임에 관한 버퍼링이 완료되기 전에 상기 해당 버퍼링된 분할압축 영상 프레임을 압축해제하고 상기 해당 압축해제된 분할압축 영상 프레임을 즉시 디스플레이하는 영상 디코더를 포함한다.Among the embodiments, an image processing apparatus based on an immediate divided screen transmission / reception includes a transmission frame buffer for sequentially providing image frames, a transmission frame buffer for controlling the compression method based on the complexity of the image frame, A compression unit for compressing a corresponding divided image frame according to a predetermined format and immediately providing the corresponding divided compressed image frame, a reception frame buffer for buffering the divided compressed image frame, And an image decoder for decompressing the buffered divided compressed image frame and immediately displaying the corresponding decompressed divided compressed image frame.

영상 인코더는 상기 영상 프레임을 P-Frame으로 가정하여 해당 P-Frame의 크기를 기초로 상기 준정지성을 결정하여 상기 복잡도를 결정할 수 있다.The image encoder can determine the complexity by determining the quasi stationary based on the size of the P-frame, assuming that the image frame is a P-frame.

영상 인코더는 상기 압축방식으로서 연속적인 영상 프레임들 간의 차이 변화율에 반비례하는 양자화 계수(Quantization Factor)를 적응시킬 수 있다.The image encoder can adapt the quantization factor inversely proportional to the rate of change of the difference between consecutive image frames as the compression scheme.

영상 인코더는 상기 영상 디코더에 의해 디스플레이되는 상기 영상 프레임의 디스플레이 환경을 피드백 받아 다음 영상 프레임의 수평분할의 영역을 조절할 수 있다.The video encoder can feedback the display environment of the video frame displayed by the video decoder and adjust the area of the horizontal division of the next video frame.

영상 인코더는 상기 영상 디코더로부터 상기 영상 프레임에 포함된 복수의 분할 영상 프레임들 중 실제 디스플레이된 분할 영상 프레임들의 개수를 수신할 수 있다.The image encoder may receive the number of actually displayed divided image frames among the plurality of divided image frames included in the image frame from the image decoder.

영상 인코더는 상기 실제 디스플레이된 분할 영상 프레임들의 개수에 반비례하도록 다음 영상 프레임의 수평분할의 영역을 조절할 수 있다.The image encoder can adjust the area of the horizontal division of the next image frame so as to be inversely proportional to the number of the actually displayed divided image frames.

영상 디코더는 상기 영상 프레임과 연관된 분할압축 영상 프레임의 디스플레이가 완료되기 전에 다음 영상 프레임과 연관된 분할압축 영상 프레임이 수신되면 상기 영상 프레임과 연관된 분할압축 영상 프레임의 수신 완료 전에 즉각 디스플레이 할 수 있다.The image decoder can display the divided compressed image frame associated with the next image frame immediately before the completion of the display of the divided compressed image frame associated with the image frame, and display the divided compressed image frame immediately before the completion of the reception of the divided compressed image frame associated with the image frame.

영상 디코더는 상기 영상 프레임과 연관된 분할압축 영상 프레임의 디스플레이가 완료되기 전에 다음 영상 프레임과 연관된 분할압축 영상 프레임이 수신되면 상기 영상 인코더에 상기 해당 분할압축 영상 프레임을 일시적으로 버퍼링하여 송신하도록 할 수 있다.The video decoder may temporarily buffer the corresponding divided compressed image frame to the image encoder and transmit the divided compressed image frame to the image encoder when the divided compressed image frame associated with the next image frame is received before the display of the divided compressed image frame associated with the image frame is completed .

영상 디코더는 상기 영상 프레임과 연관된 분할압축 영상 프레임의 디스플레이가 특정 시간 내에 완료되지 못하면 상기 수신 프레임 버퍼에 제(n+1) 영상 프레임부터 다음 k 번째 영상 프레임(상기 k는 자연수)까지 해당 분할압축 영상 프레임들을 일시적으로 버퍼링할 수 있다.If the display of the divided compressed image frame associated with the image frame is not completed within a predetermined time, the image decoder decodes the divided image frame from the (n + 1) th image frame to the following kth image frame (k is a natural number) The image frames can be temporarily buffered.

영상 디코더는 무선 채널 환경을 기초로 상기 k를 가변시킬 수 있다.The video decoder may vary the k based on the wireless channel environment.

실시예들 중에서, 즉각적 분할화면 송수신 기반의 영상 처리 방법은 송신 프레임 버퍼에 있는 영상 프레임을 순차적으로 제공하는 단계, 단일의 영상 인코더를 통해 영상 프레임의 복잡도를 기초로 압축방식을 제어하고 상기 영상 프레임을 수평방향으로 분할하여 상기 압축방식에 따라 해당 분할 영상 프레임을 압축하고 상기 해당 분할압축 영상 프레임을 즉시 제공하는 단계, 수신 프레임 버퍼에 상기 해당 분할압축 영상 프레임을 버퍼링하는 단계 및 영상 디코더를 통해 상기 영상 프레임에 관한 버퍼링이 완료되기 전에 상기 해당 버퍼링된 분할압축 영상 프레임을 압축해제하고 상기 해당 디코딩된 분할압축 영상 프레임을 즉시 디스플레이하는 단계를 포함한다.
Among the embodiments, an instantaneous image processing method based on transmission / reception of a divided screen sequentially provides image frames in a transmission frame buffer, a compression method is controlled based on the complexity of an image frame through a single image encoder, Compressing a corresponding divided image frame according to the compression scheme and immediately providing the corresponding divided compressed image frame, buffering the corresponding divided compressed image frame in a reception frame buffer, Decompressing the corresponding buffered divided compressed image frame and immediately displaying the corresponding decoded divided compressed image frame before buffering of the image frame is completed.

개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The disclosed technique may have the following effects. It is to be understood, however, that the scope of the disclosed technology is not to be construed as limited thereby, as it is not meant to imply that a particular embodiment should include all of the following effects or only the following effects.

본 발명의 일 실시예에 따른 즉각적 분할화면 송수신 기반의 영상 처리 장치는 영상 프레임을 실시간으로 전송하고 출력할 수 있다.The image processing apparatus based on the immediate divided screen transmission / reception according to an embodiment of the present invention can transmit and output image frames in real time.

본 발명의 일 실시예에 따른 즉각적 분할화면 송수신 기반의 영상 처리 장치는 영상 프레임의 복잡도에 따른 압축방식을 제어하고 영상 프레임을 수평방향으로 분할하며, 분할압축된 영상 프레임을 즉시 송신함으로써 고해상도 동영상 화면 압축 전송에 따른 시간지연을 감소시킬 수 있다. 또한, 압축방식을 제어함으로써 전송데이터의 양을 조절할 수 있다.The image processing apparatus based on the immediate divided screen transmission and reception according to an embodiment of the present invention controls the compression method according to the complexity of the image frame, divides the image frame in the horizontal direction, and immediately transmits the divided compressed image frame, The time delay due to compression transmission can be reduced. In addition, the amount of transmission data can be controlled by controlling the compression method.

본 발명의 일 실시예에 따른 즉각적 분할화면 송수신 기반의 영상 처리 장치는 전체 영상 프레임이 버퍼에 저장되는 것을 기다리지 않고 버퍼링이 완료된 분할 영상 프레임을 즉시 디스플레이 함으로써 고해상도 동영상 화면 압축 전송 및 출력의 실시간성을 확보할 수 있다.
According to an embodiment of the present invention, an image processing apparatus based on immediate split screen transmission / reception can immediately display a buffered divided image frame without waiting for the entire image frame to be stored in the buffer, thereby realizing the real- .

도 1은 본 발명의 일 실시예에 따른 즉각적 분할화면 송수신 기반의 영상 처리 장치를 개략적으로 나타낸 블록도이다.
도 2는 도 1에 있는 송신 단 장치를 설명하는 블록도이다.
도 3은 도 1에 있는 수신 단 장치를 설명하는 블록도이다.
도 4는 송신 단에서 영상 프레임이 특정한 압축방식에 의해 인코딩 되고 전송되며, 수신 단에서 송신 단으로부터 송신된 분할압축 영상 프레임을 버퍼링 및 디코딩하여 디스플레이 장치에 출력하는 과정을 설명하는 흐름도이다.
도 5는 송신 프레임 버퍼가 영상 프레임을 수평분할하고 분할된 분할 영상 프레임을 인코더에 제공하는 동작을 설명하는 도면이다.
도 6은 영상 버퍼가 분할 영상 프레임을 순차적으로 저장하고 디스플레이 장치에 제공하는 동작을 설명하는 도면이다.FIG. 1 is a block diagram schematically illustrating an image processing apparatus based on an instantaneous split screen transmission / reception according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating the transmitter of FIG. 1. FIG.
3 is a block diagram illustrating the receiving end device of FIG.
4 is a flowchart illustrating a process of buffering and decoding a divided compressed image frame transmitted from a transmitting end at a receiving end and outputting the buffered and decoded image frame to a display device.
5 is a view for explaining an operation in which a transmission frame buffer divides an image frame horizontally and provides divided image frames to an encoder.
6 is a view for explaining an operation of sequentially storing divided image frames and providing the divided image frames to a display device.

본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The description of the present invention is merely an example for structural or functional explanation, and the scope of the present invention should not be construed as being limited by the embodiments described in the text. That is, the embodiments are to be construed as being variously embodied and having various forms, so that the scope of the present invention should be understood to include equivalents capable of realizing technical ideas. Also, the purpose or effect of the present invention should not be construed as limiting the scope of the present invention, since it does not mean that a specific embodiment should include all or only such effect.

한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.Meanwhile, the meaning of the terms described in the present application should be understood as follows.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.The terms "first "," second ", and the like are intended to distinguish one element from another, and the scope of the right should not be limited by these terms. For example, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.

어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.It is to be understood that when an element is referred to as being "connected" to another element, it may be directly connected to the other element, but there may be other elements in between. On the other hand, when an element is referred to as being "directly connected" to another element, it should be understood that there are no other elements in between. On the other hand, other expressions that describe the relationship between components, such as "between" and "between" or "neighboring to" and "directly adjacent to" should be interpreted as well.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.It is to be understood that the singular " include " or "have" are to be construed as including the stated feature, number, step, operation, It is to be understood that the combination is intended to specify that it does not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.In each step, the identification code (e.g., a, b, c, etc.) is used for convenience of explanation, the identification code does not describe the order of each step, Unless otherwise stated, it may occur differently from the stated order. That is, each step may occur in the same order as described, may be performed substantially concurrently, or may be performed in reverse order.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined. Commonly used predefined terms should be interpreted to be consistent with the meanings in the context of the related art and can not be interpreted as having ideal or overly formal meaning unless explicitly defined in the present application.

도 1은 본 발명의 일 실시예에 따른 즉각적 분할화면 송수신 기반의 영상 처리 장치를 개략적으로 나타낸 블록도이다.FIG. 1 is a block diagram schematically illustrating an image processing apparatus based on an instantaneous split screen transmission / reception according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 즉각적 분할화면 송수신 기반의 영상 처리 장치(110)는 송신 단(112), 수신 단(114) 장치를 포함하고, 송신 단(112)과 수신 단(114)은 네트워크를 통해 연결될 수 있다.Referring to FIG. 1, an image processing apparatus 110 based on an instantaneous split screen transmission / reception of the present invention includes a transmitting end 112 and a receiving end 114, and a transmitting end 112 and a receiving end 114 And can be connected through a network.

송신 단(112)은 입력 영상프레임들을 전송 받아 각각의 영상 프레임을 분할 및 압축하는 인코딩을 수행하며, 분할압축된 영상 프레임을 수신 단(114)에 송신할 수 있다. 여기에서, 입력 영상(10)은 동영상일 수 있다. '분할 압축'이라 함은 온전한 영상 프레임의 수평 분할한 부분 또는 그보다 작은 부분을 인코딩하는 것을 말한다. 즉, 송신 단(112)은 영상 프레임을 복수의 분할 영상 프레임으로 분할하고, 각각의 분할된 분할 영상 프레임들을 인코딩하여 복수의 분할압축 영상 프레임을 생성할 수 있다. 생성된 분할 압축 영상 프레임은 수신 단(114)으로 송신될 수 있다.The transmission terminal 112 receives the input image frames and performs encoding to divide and compress the respective image frames. The transmission terminal 112 can transmit the divided and compressed image frames to the reception terminal 114. Here, the input image 10 may be a moving image. 'Split compression' refers to encoding a horizontally divided portion or a smaller portion of an entire image frame. That is, the transmission terminal 112 may divide the video frame into a plurality of divided video frames, and encode the divided video frames to generate a plurality of divided compressed video frames. The generated divided compressed image frame may be transmitted to the receiving end 114.

수신 단(114)은 송신 단(112)으로부터 인코딩된 분할압축 영상 프레임들을 전송 받아 디코딩하고 디코딩된 분할압축 영상 프레임들을 디스플레이 장치(20)에 출력할 수 있다. 여기에서, 디스플레이 장치(20)는 휴대폰, 태블릿, 모니터, TV 등 화면 표시 장치일 수 있다.
The receiving end 114 may receive and decode the divided compressed image frames encoded from the transmitting end 112 and output the decoded divided compressed image frames to the display device 20. Here, the display device 20 may be a mobile phone, a tablet, a monitor, a TV, or the like.

도 2는 도1에 있는 송신 단 장치를 개략적으로 나타낸 블록도이다. FIG. 2 is a block diagram schematically showing the transmission terminal apparatus shown in FIG. 1. FIG.

도 2를 참조하면, 송신 단(112) 장치는 송신 프레임 버퍼(200), 영상 인코더(210), 송신기(220), 송신 제어부(230)를 포함한다. Referring to FIG. 2, the transmission terminal 112 includes a transmission frame buffer 200, a video encoder 210, a transmitter 220, and a transmission controller 230.

송신 프레임 버퍼(200)는 영상 프레임들을 들어온 순서대로 각각의 영상 프레임에 대하여 수평방향으로 분할하고 영상 인코더(210)에 순차적으로 제공할 수 있다. 예를 들어, 5개의 영상 프레임이 있는 경우, 송신 프레임 버퍼(200)는 제1 영상 프레임부터 제5 영상 프레임까지의 각 영상 프레임을 해당 영역에 입력되는 순서대로 저장하고 각 영상 프레임을 수평으로 분할할 수 있다. 각 영상 프레임의 분할된 분할 영상 프레임들은 즉시 영상 인코더(210)에 제공될 수 있다. 송신 프레임 버퍼(200)의 동작은 이하 도 5에서 자세히 설명한다.The transmission frame buffer 200 may divide the image frames in the horizontal direction for each image frame in the incoming order and sequentially provide them to the image encoder 210. [ For example, if there are five image frames, the transmission frame buffer 200 stores each image frame from the first image frame to the fifth image frame in the order of input in the corresponding area, and horizontally divides each image frame can do. The divided image frames of each image frame may be provided to the image encoder 210 immediately. The operation of the transmission frame buffer 200 will be described in detail with reference to FIG.

일 실시예에서, 영상 프레임은 이전에 송신된 분할압축 영상 프레임의 전송 환경을 반영하여 분할될 영역을 조절함으로써 수평 방향으로 분할될 수 있다. 예를 들어, 송신 프레임 버퍼(200)는 송신 제어부(230)의 제어에 따라 영상 프레임을 수평방향으로 균등하게 분할하거나 비균등하게 분할할 수 있다.In one embodiment, the image frame may be divided horizontally by adjusting the area to be divided to reflect the transmission environment of the previously transmitted divided compressed image frame. For example, the transmission frame buffer 200 can divide the image frame horizontally evenly or non-uniformly under the control of the transmission control unit 230. [

영상 인코더(210)는 영상 프레임을 미리 정해진 압축방식으로 제어하거나, 영상 프레임의 복잡도를 결정하여 압축방식을 제어하며, 상기 압축방식에 따라 해당 분할 영상 프레임을 압축하여 분할압축 영상 프레임을 생성할 수 있다. 복잡도와 압축 방식은 이하 도 4에서 자세히 설명된다.The image encoder 210 controls the image frame by a predetermined compression method, determines the complexity of the image frame to control the compression method, compresses the divided image frame according to the compression method, and generates a divided compressed image frame have. The complexity and the compression method are described in detail in FIG. 4 below.

영상 인코더(210)는 제n 영상 프레임의 복잡도를 준정지성(quasi-stationary property)에 따라 결정할 수 있고, I-Frame(Infra Frame) 및 P-Frame(Predicted Frame) 간의 사용비율을 조절하는 방식으로 영상 프레임을 압축할 수 있다. 일 실시예에서, 제n 영상 프레임의 준정지성(quasi-stationary property)은 제n 영상 프레임을 P-Frame으로 가정하여 해당 P-Frame의 크기를 기초로 결정될 수 있다. 준정지성과 I-Frame 및 P-Frame(Predicted Frame) 간의 사용비율 조절 방식은 이하 도 4에서 자세히 설명된다.The image encoder 210 can determine the complexity of the nth image frame according to the quasi-stationary property, and adjusts the usage ratio between I-frame (Infra Frame) and P-frame (Predicted Frame) The image frame can be compressed. In one embodiment, the quasi-stationary property of the n-th image frame may be determined based on the size of the P-frame, assuming that the n-th image frame is a P-Frame. The usage ratio adjustment method between quasi stationary and I-Frame and P-Frame (Predicted Frame) will be described in detail in FIG.

영상 인코더(210)는 제n 영상 프레임의 복잡도를 연속적인 영상 프레임들 간의 차이를 기초로 하여 결정할 수 있고, 양자화 계수(Q-Factor)를 적응시키는 방식으로 영상 프레임을 압축할 수 있다. 일 실시예에서, 제n 영상 프레임의 복잡도는 이전 및 현재 영상 프레임들 간의 차이 변화율에 따라 결정될 수 있고, 결정된 차이 변화율에 반비례하는 양자화 계수가 선택될 수 있다. 다른 일 실시예에서, 제n 영상 프레임의 복잡도는 현재 및 다음 영상 프레임들 간의 차이 변화율에 따라 결정될 수 있고, 결정된 차이 변화율에 비례하는 양자화 계수가 선택될 수 있다. 양자화 계수 선택에 따른 압축 방식은 이하 도 4에서 자세히 설명된다. 다른 실시예에서, 영상 인코더(210)는 I-Frame의 압축된 크기와 연속하는 다음 영상프레임 간의 차이 변화율에 반비례 또는 비례하도록 압축 크기를 조절할 수 있다.The image encoder 210 can determine the complexity of the n-th image frame based on the difference between consecutive image frames, and compress the image frame in a manner that adapts the quantization coefficient (Q-factor). In one embodiment, the complexity of the nth image frame may be determined according to the rate of change of the difference between the previous and current image frames, and a quantization factor that is inversely proportional to the determined rate of change of change may be selected. In another embodiment, the complexity of the nth image frame may be determined according to the rate of change of difference between current and next image frames, and a quantization factor proportional to the determined rate of change of change may be selected. The compression method according to the selection of the quantization coefficient will be described in detail in FIG. In another embodiment, the image encoder 210 may adjust the compression size such that the compression magnitude of the I-frame is inversely proportional to or proportional to the rate of change of the difference between successive next image frames.

송신기(220)는 영상 인코더(210)를 통해 분할압축 영상 프레임이 생성되는 즉시 분할압축 영상 프레임을 유무선 패킷으로 송신할 수 있다. 즉, 송신기(220)는 하나의 제n 영상 프레임이 완전히 인코딩 되는 것을 기다리지 않고 생성된 분할압축 영상 프레임을 유무선 패킷으로 송신할 수 있다. 그리고, 영상 인코더(210)는 제n 영상 프레임의 나머지 부분은 분할압축 영상 프레임의 송신과 독립적으로 계속하여 분할 압축될 수 있다.The transmitter 220 can transmit the divided compressed image frame as a wired or wireless packet as soon as the divided compressed image frame is generated through the image encoder 210. That is, the transmitter 220 can transmit the generated divided compressed image frame as a wired or wireless packet without waiting for the one n-th image frame to be completely encoded. Then, the video encoder 210 can continuously compress and compress the remaining portion of the n < th > image frame independently of the transmission of the divided compressed image frame.

송신 제어부(230)는, 송신 프레임 버퍼(200)가 영상 프레임을 수평방향으로 분할하고, 영상 인코더(210)가 영상 프레임의 복잡도를 결정하여 압축방식을 제어하고 압축방식에 따라 분할압축 영상 프레임을 생성하며, 송신기(220)가 분할압축 영상 프레임을 즉시 유무선 패킷으로 송신하는 과정을 반복하도록 송신 프레임 버퍼(200), 영상 인코더(210), 송신기(220)를 제어할 수 있다.
The transmission control unit 230 divides the video frame in the horizontal direction by the transmission frame buffer 200, and the video encoder 210 determines the complexity of the video frame to control the compression scheme, and according to the compression scheme, And controls the transmission frame buffer 200, the image encoder 210, and the transmitter 220 so that the transmitter 220 repeats the process of immediately transmitting the divided compressed image frame as a wire / wireless packet.

도 3은 도1에 있는 수신 단 장치를 개략적으로 나타낸 블록도이다.3 is a block diagram schematically illustrating a receiving end apparatus in Fig.

도 3을 참조하면, 수신 단(114) 장치는 수신기(300), 수신 프레임 버퍼(310), 영상 디코더(320), 수신 제어부(330), 영상 버퍼(340)를 포함한다.Referring to FIG. 3, the receiver 114 includes a receiver 300, a receive frame buffer 310, a video decoder 320, a receive controller 330, and an image buffer 340.

수신기(300)는 송신 단(112)으로부터 분할압축 영상 프레임을 전송 받아 수신 프레임 버퍼(310)에 제공할 수 있다. 수신기(300)는 송신기(220)가 유무선 패킷으로 전송한 분할압축 영상 프레임을 전송 받는 즉시 수신 프레임 버퍼(310)에 제공할 수 있다.The receiver 300 may receive the divided compressed image frame from the transmitting end 112 and provide the divided compressed image frame to the receiving frame buffer 310. The receiver 300 may provide the received frame buffer 310 with a divided compressed image frame transmitted by the transmitter 220 in a wired or wireless packet.

수신 프레임 버퍼(310)는 수신기(300)를 통해 제공 받은 분할압축 영상 프레임을 수신 프레임 버퍼(310)의 해당 영역 해당 위치에 버퍼링 할 수 있다. 수신 프레임 버퍼(310)는 순차적으로 디스플레이 해야 할 하나의 영상 프레임에 관한 버퍼링이 완료되기 전에 분할압축 영상 프레임을 영상 디코더(320)에 송신할 수 있다. 즉, 수신 프레임 버퍼(310)는 하나의 영상 프레임이 완전히 버퍼링 되는 것을 기다리지 않고 버퍼링 즉시 분할압축 영상 프레임을 영상 디코더(320)에 제공할 수 있다. 일 실시예에서, 영상 디코더(320)에 송신될 분할압축 영상 프레임의 수는 이전 영상 프레임들의 전송 환경을 기초로 결정될 수 있다.The reception frame buffer 310 may buffer the divided compressed image frame provided through the receiver 300 at a corresponding position of the reception frame buffer 310. The receiving frame buffer 310 may transmit the divided compressed image frame to the image decoder 320 before the buffering of one image frame to be sequentially displayed is completed. That is, the receiving frame buffer 310 can provide the buffered immediate compressed image frame to the image decoder 320 without waiting for one image frame to be completely buffered. In one embodiment, the number of divided compressed image frames to be transmitted to the video decoder 320 may be determined based on the transmission environment of previous image frames.

영상 디코더(320)는 수신 프레임 버퍼(310)의 해당 영역에 버퍼링된 분할압축 영상 프레임을 순서대로 전송 받고, 버퍼링이 완료된 분할압축 영상 프레임을 디코딩하여, 디코딩된 분할 영상 프레임을 영상 버퍼(340)에 저장할 수 있다. 영상 디코더(320)는 분할압축 영상 프레임을 제공 받은 즉시 디코딩하고 영상 버퍼(340)에 저장할 수 있다.The video decoder 320 sequentially receives the buffered divided compressed image frames in the corresponding area of the reception frame buffer 310 and decodes the buffered divided compressed image frames and outputs the decoded divided image frames to the image buffer 340, Lt; / RTI > The image decoder 320 may decode the divided compressed image frames as soon as they are received and store them in the image buffer 340.

일 실시예에서, 영상 디코더(320)는 영상 프레임과 연관된 분할압축 영상 프레임의 디스플레이가 완료되기 전에 다음 영상 프레임과 연관된 분할압축 영상 프레임이 수신되면, 영상 프레임과 연관된 분할압축 영상 프레임의 수신 완료 전에 즉각 디스플레이 할 수 있다. 영상 디코더(320)는 영상 프레임과 연관된 분할압축 영상 프레임의 디스플레이가 완료되기 전에 다음 영상 프레임과 연관된 분할압축 영상 프레임이 수신되면, 영상 인코더(210)에 다음 영상 프레임과 연관된 분할압축 영상 프레임을 일시적으로 버퍼링하여 송신하도록 할 수 있다. 예를 들어, 영상 디코더(320)는 제n 영상 프레임의 분할압축 영상 프레임을 디스플레이가 완료되기 전에 제(n+1) 영상 프레임의 분할압축 영상 프레임이 수신된 경우, 제n 영상 프레임의 분할압축 영상 프레임 중에서 아직 수신하지 않은 분할압축 영상 프레임은 제외하고 디스플레이 하도록 할 수 있다. 영상 디코더(320)는 제(n+1) 영상 프레임의 분할압축 영상 프레임을 일시적으로 영상 인코더(210)에 버퍼링하여 송신하도록 조절할 수 있다.In one embodiment, when a divided compressed image frame associated with a next image frame is received before the display of the divided compressed image frame associated with the image frame is completed, You can display it immediately. When a divided compressed image frame associated with the next image frame is received before the display of the divided compressed image frame associated with the image frame is completed, the image decoder 320 temporarily stores the divided compressed image frame associated with the next image frame in the image encoder 210 And transmit the data. For example, when the divided compressed image frame of the (n + 1) -th image frame is received before the display of the divided compressed image frame of the n-th image frame is received, the image decoder 320 performs decompression The divided compressed image frames not yet received in the image frame can be excluded. The image decoder 320 may temporarily adjust the divided compressed image frame of the (n + 1) th image frame to be buffered in the image encoder 210 and transmitted.

일 실시예에서, 영상 디코더(320)는 영상 프레임과 연관된 분할압축 영상 프레임의 디스플레이가 특정 시간 내에 완료되지 못하면 수신 프레임 버퍼(310)에 제(n+1) 영상 프레임부터 다음 k 번째 영상 프레임까지 분할압축 영상 프레임들을 일시적으로 버퍼링하도록 할 수 있다. 여기에서, k는 자연수에 해당하고 영상 디코더(320)는 무선 채널 환경을 기초로 k를 가변시킬 수 있다.In one embodiment, if the display of the divided compressed image frame associated with the image frame is not completed within a certain time, the image decoder 320 may notify the receiving frame buffer 310 of the (n + 1) And temporarily buffer the divided compressed image frames. Here, k corresponds to a natural number, and the image decoder 320 can change k based on the wireless channel environment.

일 실시예에서, k는 다음의 수학식을 통해 조절될 수 있다.In one embodiment, k may be adjusted through the following equation.

[수학식][Mathematical Expression]

k(x) = log(x+α)+c (α는 양수)k (x) = log (x +?) + c (? is a positive number)

여기에서, x는 BER(Bit Error Rate), c는 상수에 해당한다. 영상 디코더(320)는 무선 채널 환경이 열악할수록 수신 프레임 버퍼(310)에 버퍼링하도록 제어되는 k를 증가시킬 수 있다. 예를 들어, 영상 디코더(320)는 제5 영상 프레임의 분할압축 영상 프레임의 디스플레이가 10초 이내에 완료되지 못하면 상기의 수학식에 따라 수신 프레임 버퍼(310)에 제6 영상 프레임부터 다음 제7 영상 프레임까지 분할압축 영상 프레임들을 일시적으로 버퍼링하도록 할 수 있다.Here, x is a bit error rate (BER), and c is a constant. The video decoder 320 may increase k controlled to buffer in the reception frame buffer 310 as the wireless channel environment is poor. For example, if the display of the divided compressed image frame of the fifth image frame can not be completed within 10 seconds, the image decoder 320 may convert the sixth image frame to the next seventh image frame It is possible to temporarily buffer divided compressed image frames up to a frame.

수신 제어부(330)는, 수신기(300)가 송신기(220)로부터 분할압축 영상 프레임을 전송 받아 수신 프레임 버퍼(310)에 제공하고, 수신 프레임 버퍼(310)가 분할압축 영상 프레임을 버퍼링하고 버퍼링이 완료된 분할압축 영상 프레임을 영상 디코더(320)에 송신하며, 영상 디코더(320)가 수신 프레임 버퍼(310)에 버퍼링된 분할압축 영상 프레임을 디코딩하고 디코딩된 분할 영상 프레임을 영상 버퍼(340)에 저장하며, 영상 버퍼(340)가 버퍼링 된 분할 영상 프레임을 디스플레이 장치(20)에 제공하는 과정을 반복하도록 수신기(300), 수신 프레임 버퍼(310), 영상 디코더(320), 영상 버퍼(340)를 제어할 수 있다.The reception control unit 330 receives the divided compressed image frame from the transmitter 220 and provides the divided compressed image frame to the reception frame buffer 310. The reception control unit 330 buffers and buffers the divided compressed image frame And transmits the completed divided compressed image frame to the image decoder 320. The image decoder 320 decodes the divided compressed image frame buffered in the reception frame buffer 310 and stores the decoded divided image frame in the image buffer 340 A receiving frame buffer 310, a video decoder 320, and an image buffer 340 to repeat the process of providing the buffered divided image frame to the display device 20, Can be controlled.

일 실시예에서, 수신 제어부(330)는, 수신기(300)가 송신기(220)로부터 분할압축 영상 프레임을 전송 받아 수신 프레임 버퍼(310)에 제공하고, 수신 프레임 버퍼(310)가 분할압축 영상 프레임을 버퍼링하고 버퍼링이 완료된 분할압축 영상 프레임을 해당 영상 디코더(320)에 송신하는 과정을 반복시키다가, 수신 프레임 버퍼(310)에 다음 연속하는 영상 프레임의 제1 분할압축 영상 프레임의 저장이 시작되거나 출력하는 영상 버퍼(340)에 제k 분할 영상 프레임의 저장이 시작되면, 상기 영상 버퍼(340)에 저장된 제1의 디코딩된 분할 영상 프레임부터 순차적으로 디스플레이 하도록 제어할 수 있다. 즉, 수신 제어부(330)는 하나의 영상 프레임이 완전히 디코딩 될 때까지 기다리지 않고 영상 버퍼(340)에 일정 수의 부분 영상 프레임이 저장되거나, 다음 연속하는 영상 프레임이 수신 프레임 버퍼(310)에 들어오기 시작하면 디스플레이 장치(20)가 출력하도록 할 수 있다.The reception controller 330 receives the divided compressed image frame from the transmitter 220 and provides the divided compressed image frame to the reception frame buffer 310. When the reception frame buffer 310 receives the divided compressed image frame, And transmits the buffered divided compressed image frame to the corresponding image decoder 320. The storage of the first divided compressed image frame of the next consecutive image frame is started in the received frame buffer 310 When the storage of the k-th divided image frame is started in the output image buffer 340, the first decoded divided image frame stored in the image buffer 340 can be sequentially displayed. That is, the reception control unit 330 may store a certain number of partial image frames in the image buffer 340 or wait for the next consecutive image frames to be received in the reception frame buffer 310 without waiting until one image frame is completely decoded The display device 20 can output the information.

영상 버퍼(340)는 영상 디코더(320)로부터 전송 받은 분할 영상 프레임을 저장하며, 분할 영상 프레임이 저장되는 즉시 디스플레이 장치(20)에 제공할 수 있다. 영상 버퍼(340)의 동작은 이하 도 6에서 자세히 설명한다.
The image buffer 340 stores the divided image frames transmitted from the image decoder 320 and provides the divided image frames to the display device 20 immediately after the divided image frames are stored. The operation of the image buffer 340 will be described in detail with reference to FIG.

도 4는 송신 단에서 영상 프레임이 수평방향으로 분할되어 특정한 압축방식에 의해 인코딩되고 전송되며, 수신 단에서 송신 단으로부터 송신된 분할압축 영상 프레임을 버퍼링 및 디코딩하여 디스플레이 장치에 출력하는 과정을 설명하는 흐름도이다.4 illustrates a process of buffering and decoding a divided compressed image frame transmitted from a transmitting end in a receiving end and outputting the buffered and decoded image frame to a display device in a transmission end in which a video frame is divided in a horizontal direction and encoded and transmitted according to a specific compression scheme FIG.

도 4에서 송신 프레임 버퍼(200)는 영상 프레임 단위로 해당 영역의 해당 위치에 저장할 수 있다(S401). 송신 프레임 버퍼(200)는 저장된 영상 프레임을 수평방향으로 분할하고 분할한 분할 영상 프레임을 영상 인코더(210)에 순차적으로 제공할 수 있다(S402).In FIG. 4, the transmission frame buffer 200 may be stored in a corresponding location in the corresponding area in units of image frames (S401). The transmission frame buffer 200 may divide the stored image frame in the horizontal direction and sequentially provide divided image frames to the image encoder 210 (S402).

영상 인코더(210)는 송신 프레임 버퍼(200)로부터 제공받은 영상 프레임의 복잡도를 먼저 결정하고, 결정된 복잡도에 따라 압축방식을 결정할 수 있다(S403). 제n 영상 프레임의 복잡도는, 해당 영상 프레임을 P-Frame으로 가정하여 해당 P-Frame의 크기를 기초로 준정지성(quasi-stationary property)을 결정하는 방법, 이전 및 현재 영상 프레임들 간의 차이 변화율에 의해 결정하는 방법 또는 현재 및 다음 영상 프레임들 간의 차이 변화율에 의해 결정하는 방법에 의해 결정될 수 있다.The image encoder 210 first determines the complexity of the image frame provided from the transmission frame buffer 200, and determines the compression method according to the determined complexity (S403). The complexity of the n-th image frame is determined by a method of determining a quasi-stationary property based on the size of the P-frame, assuming that the image frame is a P-Frame, Or by a rate of change of difference between current and next image frames.

여기에서, 준정지성(quasi-stationary property)은 시간에 대한 변화율이 매우 적은 물리량에 대한 표현이다. 영상 프레임들은 I-Frame과 P-Frame들의 모음으로 구성되고, MPEG 인코딩은 I-Frame 개수와 P-Frame 개수를 조절하는 방식으로 인코딩한다. I-Frame은 키 프레임으로서, 소스로부터 직접 압축되어 온 전체 그림이다. 즉, 화질이 좋지만 용량이 크다. P-Frame은 이전에 나온 키 프레임(I-Frame)의 정보를 바탕으로 구성된 프레임으로 I-Frame보다 화질은 떨어지나 용량이 작다. 즉, P-Frame의 크기가 작으면 영상 프레임의 변화가 적음을 의미하고, 정지 화면에 가까운 화면으로 취급할 수 있다. 따라서 P-Frame의 사용비율을 높여 화질의 변화는 줄이면서 압축 데이터의 크기를 줄일 수 있다. 이렇게 I-Frame에 대한 P-Frame의 사용비율을 조절하여 압축데이터의 크기 조절이 가능하다.Here, a quasi-stationary property is a representation of a physical quantity with a very small rate of change with respect to time. Image frames are composed of a collection of I-frames and P-frames, and the MPEG encoding is performed by adjusting the number of I-frames and the number of P-frames. I-Frame is a keyframe, a whole picture that has been compressed directly from the source. That is, although the image quality is good, the capacity is large. P-Frame is a frame based on information of the previous key frame (I-Frame), but the image quality is lower than that of I-Frame, but the capacity is small. That is, when the size of the P-frame is small, it means that the change of the image frame is small, and it can be handled as a screen close to the still image. Therefore, by increasing the usage rate of the P-frame, it is possible to reduce the size of the compressed data while reducing the change in the picture quality. In this way, it is possible to adjust the size of compressed data by adjusting the usage ratio of P-Frame to I-Frame.

제n 영상 프레임의 복잡도가 이전 및 현재 영상 프레임들 간의 차이 변화율에 의해 결정되는 경우, 영상 인코더(210)는 상기 결정된 차이 변화율에 반비례하는 양자화 계수를 선택하여 압축 방식을 결정할 수 있다. 예를 들면, 현재 영상 프레임이 이전 영상 프레임에 비해 변화가 크면 압축되어야 할 데이터 양이 증가되어야 하므로 양자화 계수(Q-Factor)는 낮은 값으로 선택될 수 있다. 여기에서 양자화 계수는 그 값이 낮을수록 압축데이터 양이 증가한다.When the complexity of the nth image frame is determined by the rate of change of the difference between the previous and current image frames, the image encoder 210 may determine the compression method by selecting a quantization coefficient that is inversely proportional to the determined rate of change of the difference. For example, if the current image frame is changed more than the previous image frame, the amount of data to be compressed must be increased, so that the quantization factor (Q-factor) can be selected to be a low value. Here, the lower the value of the quantization coefficient is, the larger the amount of compressed data is.

제n 영상 프레임의 복잡도가 현재 및 다음 영상 프레임들 간의 차이 변화율에 의해 결정되는 경우, 영상 인코더(210)는 상기 결정된 차이 변화율에 비례하는 양자화 계수를 선택하여 압축 방식을 결정할 수 있다. 예를 들면, 다음 영상 프레임이 현재 영상 프레임에 비해 변화가 크면 현재 영상 프레임에서 압축되어야 할 데이터 양은 상대적으로 감소되므로 양자화 계수(Q-Factor)는 높은 값으로 선택될 수 있다.If the complexity of the nth image frame is determined by the rate of change of difference between the current and next image frames, the image encoder 210 may select the quantization factor proportional to the determined rate of change to determine the compression method. For example, if the next image frame is changed more than the current image frame, the amount of data to be compressed in the current image frame is relatively reduced, so that the quantization coefficient (Q-factor) can be selected to a high value.

일 실시예에서, 제n 영상 프레임의 복잡도와 압축 방식은 I-Frame의 압축된 크기와 연속하는 다음 영상프레임 간의 차이 변화율에 반비례 또는 비례하도록 압축 크기를 조절하는 방법에 의해 결정될 수도 있다.In one embodiment, the complexity and compression scheme of the nth image frame may be determined by a method of adjusting the compression size such that the compressed size of the I-frame is inversely proportional to or proportional to the rate of change of the difference between successive next image frames.

영상 인코더(210)는 이전에 송신된 분할압축 영상 프레임의 전송 환경을 반영하여 제n 영상 프레임의 수평 분할 영역을 조절할 수 있고, 그에 따라 해당 영상 프레임은 수평 방향으로 분할될 수 있다. 영상 인코더(210)는 상기 압축 방식에 따라 상기 분할된 영상 프레임을 압축함으로써 분할압축 영상 프레임을 생성할 수 있다. The image encoder 210 can adjust the horizontal division area of the nth image frame by reflecting the transmission environment of the previously transmitted divided compression image frame and the corresponding image frame can be divided in the horizontal direction accordingly. The image encoder 210 may generate the divided compressed image frame by compressing the divided image frame according to the compression method.

일 실시예에서, 영상 인코더(210)는 영상 디코더(320)에 의해 디스플레이되는 영상 프레임의 디스플레이 환경을 피드백 받아 다음 영상 프레임의 수평분할의 영역을 조절할 수 있다. 영상 인코더(210)는 영상 디코더(320)로부터 영상 프레임에 포함된 복수의 분할 영상 프레임들 중 실제 디스플레이된 분할 영상 프레임들의 개수를 수신하고 수신된 실제 디스플레이된 분할 영상 프레임들의 개수에 반비례하도록 다음 영상 프레임의 수평분할의 영역을 조절할 수 있다. 예를 들어, 영상 인코더(210)는 영상 디코더(320)로부터 전체 영상 프레임을 10개의 영상 프레임으로 분할압축하여 실제 디스플레이된 분할 영상 프레임들의 개수가 6개 이하로 수신한 경우, 다음 영상 프레임의 수평분할의 영역을 10개 이상의 영상 프레임으로 분할압축하도록 조절할 수 있다.In one embodiment, the video encoder 210 may adjust the region of the horizontal division of the next video frame by receiving the display environment of the video frame displayed by the video decoder 320. The video encoder 210 receives the number of actually displayed divided video frames among the plurality of divided video frames included in the video frame from the video decoder 320 and outputs the next video in proportion to the number of actually displayed divided video frames The area of the horizontal division of the frame can be adjusted. For example, the image encoder 210 divides the entire image frame into 10 image frames from the image decoder 320, and when the number of actually displayed divided image frames is 6 or less, The region of division can be adjusted to be divided and compressed into 10 or more image frames.

송신기(220)는 생성된 분할압축 영상 프레임을 유무선 패킷으로 전송할 수 있다(S404). 송신 제어부(230)는 송신 프레임 버퍼(200)에 저장된 영상 프레임이 마지막 영상 프레임이 아닐 경우 상기 과정을 반복시킬 수 있다.The transmitter 220 may transmit the generated divided compressed image frame as a wired or wireless packet (S404). The transmission control unit 230 may repeat the above process if the video frame stored in the transmission frame buffer 200 is not the last video frame.

수신 단에서 송신 단으로부터 송신된 분할압축 영상 프레임은 수신 프레임 버퍼(310)에 있는 해당 영역의 해당 위치에 버퍼링될 수 있다(S405). 수신 프레임 버퍼(310)는 순차적으로 디스플레이 해야 할 하나의 영상 프레임에 관한 버퍼링이 완료되기 전에 영상 디코더(320)에 버퍼링 된 분할압축 영상 프레임을 송신한다(S406).The divided compressed image frame transmitted from the transmitting end in the receiving end may be buffered at the corresponding position in the corresponding area in the receiving frame buffer 310 (S405). The receiving frame buffer 310 transmits the buffered divided compressed image frame to the image decoder 320 before buffering of one image frame to be sequentially displayed is completed (S406).

영상 디코더(320)는 수신 프레임 버퍼(310)으로부터 제공된 분할압축 영상 프레임을 디코딩하여, 디코딩된 분할 영상 프레임을 영상 버퍼(340)에 저장한다. 영상 버퍼(340)는 디코더(320)로부터 전송 받은 부분 영상 프레임을 저장하며, 이를 디스플레이 장치(20)에 전송한다(S407). 수신 제어부(330)는 수신 프레임 버퍼(310)에 저장된 영상 프레임이 마지막 영상 프레임이 아닐 경우 상기 과정을 반복시킨다.
The image decoder 320 decodes the divided compressed image frame provided from the reception frame buffer 310 and stores the decoded divided image frame in the image buffer 340. The image buffer 340 stores the partial image frame transmitted from the decoder 320 and transmits the partial image frame to the display device 20 (S407). The reception controller 330 repeats the above process when the image frame stored in the reception frame buffer 310 is not the last image frame.

도 5는 송신 프레임 버퍼(200)가 영상 프레임을 수평분할하고 분할된 분할 영상 프레임을 인코더에 제공하는 동작을 설명하는 도면이다.5 is a view for explaining an operation of the transmission frame buffer 200 to horizontally divide an image frame and to provide a divided image frame to an encoder.

도 5에서 송신 프레임 버퍼(200)는 연속적으로 입력되는 영상 프레임을 하나씩 순차적으로 저장하며 제n 영상 프레임을 수평방향으로 분할할 수 있다. 송신 프레임 버퍼(200)는 분할한 분할 영상 프레임을 즉시 영상 인코더(210)에 제공할 수 있다. 즉, 제1 분할 영상 프레임부터 제k 분할 영상프레임은 순차적으로 영상 인코더(210)에 전송될 수 있다. 송신 프레임 버퍼(200)는 제n 영상 프레임의 분할 완료 후에 다음 제n+1 영상 프레임의 분할을 시작할 수 있다.
In FIG. 5, the transmission frame buffer 200 sequentially stores input image frames sequentially and divides the n-th image frame in the horizontal direction. The transmission frame buffer 200 can immediately provide the divided image frames to the image encoder 210. [ That is, the first to k-th divided image frames may be transmitted to the image encoder 210 sequentially. The transmission frame buffer 200 may start dividing the next (n + 1) -th image frame after completion of the division of the n-th image frame.

도 6은 영상 버퍼(340)가 분할 영상 프레임을 순차적으로 저장하고 디스플레이 장치에 제공하는 동작을 설명하는 도면이다.6 is a view for explaining an operation of the image buffer 340 sequentially storing divided image frames and providing the divided image frames to a display device.

도 6에서 영상 버퍼(340)는 디코딩된 분할 영상 프레임을 순차적으로 저장할 수 있다. 또한, 영상 버퍼(340)는 영상 디코더(320)가 하나의 영상 프레임을 완전히 디코딩하는 것을 기다리지 않고 일정 수의 부분 영상 프레임이 영상 버퍼(340)에 저장되면 저장된 분할 영상 프레임들을 디스플레이 장치(20)에 제공할 수 있다. 즉, 영상 버퍼(340)는 이전 제n-1 영상 프레임의 제k 분할 영상 프레임이 저장되면 제n-1 영상 프레임의 분할 영상 프레임들을 디스플레이 장치(20)에 제공하고, 제n 영상 프레임의 (n)k 분할 영상 프레임들을 순차적으로 저장할 수 있다.
In FIG. 6, the image buffer 340 may sequentially store the decoded divided image frames. In addition, the image buffer 340 does not wait for the video decoder 320 to completely decode one video frame, and if a certain number of partial video frames are stored in the video buffer 340, As shown in FIG. That is, when the k-th divided image frame of the previous n-1th image frame is stored, the image buffer 340 provides the divided image frames of the (n-1) th image frame to the display device 20, n) k-divided image frames sequentially.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the present invention as defined by the following claims It can be understood that

110: 즉각적 분할화면 송수신 기반의 영상 처리 장치
112: 송신단 114: 수신단
200: 송신 프레임 버퍼 210: 영상 인코더
220: 송신기 230: 송신 제어부
300: 수신기 310: 수신 프레임 버퍼
320: 영상 디코더 330: 수신 제어부
340: 영상 버퍼110: Image processing device based on immediate split screen transmission / reception
112: transmitting end 114: receiving end
200: Transmission frame buffer 210: Video encoder
220: Transmitter 230: Transmission control section
300: Receiver 310: Receive frame buffer
320: video decoder 330:
340: image buffer

Claims (11)

영상 프레임을 순차적으로 제공하는 송신 프레임 버퍼;
상기 영상 프레임의 복잡도를 기초로 압축방식을 제어하고 상기 영상 프레임을 수평방향으로 분할하여 상기 압축방식에 따라 해당 분할 영상 프레임을 압축하고 상기 해당 분할압축 영상 프레임을 즉시 제공하는 단일의 영상 인코더;
상기 해당 분할압축 영상 프레임을 버퍼링하는 수신 프레임 버퍼; 및
상기 영상 프레임에 관한 버퍼링이 완료되기 전에 상기 해당 버퍼링된 분할압축 영상 프레임을 압축해제하고 상기 해당 압축해제된 분할압축 영상 프레임을 즉시 디스플레이하는 영상 디코더를 포함하는 즉각적 분할화면 송수신 기반의 영상처리장치.
A transmission frame buffer for sequentially providing image frames;
A single image encoder for controlling the compression method based on the complexity of the image frame, compressing the divided image frame according to the compression method by dividing the image frame in the horizontal direction, and immediately providing the corresponding divided compressed image frame;
A receiving frame buffer for buffering the corresponding divided compressed image frame; And
And an image decoder for decompressing the corresponding buffered divided compressed image frame and immediately displaying the corresponding decompressed divided compressed image frame before the buffering of the image frame is completed.
제1항에 있어서, 상기 영상 인코더는
상기 영상 프레임을 P-Frame으로 가정하여 해당 P-Frame의 크기를 기초로 준정지성을 결정하여 상기 복잡도를 결정하는 것을 특징으로 하는 즉각적 분할화면 송수신 기반의 영상처리장치.
The apparatus of claim 1, wherein the image encoder
Wherein the complexity is determined based on the size of the P-frame by assuming that the image frame is a P-frame and determining the complexity based on the size of the P-frame.
제2항에 있어서, 상기 영상 인코더는
상기 압축방식으로서 연속적인 영상 프레임들 간의 차이 변화율에 반비례하는 양자화 계수(Quantization Factor)를 적응시키는 것을 특징으로 하는 즉각적 분할화면 송수신 기반의 영상처리장치.
3. The apparatus of claim 2, wherein the image encoder
Wherein the quantization factor is inversely proportional to a rate of change between consecutive image frames as the compression scheme.
제1항에 있어서, 상기 영상 인코더는
상기 영상 디코더에 의해 디스플레이되는 상기 영상 프레임의 디스플레이 환경을 피드백 받아 다음 영상 프레임의 수평분할의 영역을 조절하는 것을 특징으로 하는 즉각적 분할화면 송수신 기반의 영상처리장치.
The apparatus of claim 1, wherein the image encoder
Wherein the control unit adjusts the horizontal split area of the next image frame based on the feedback of the display environment of the image frame displayed by the image decoder.
제4항에 있어서, 상기 영상 인코더는
상기 영상 디코더로부터 상기 영상 프레임에 포함된 복수의 분할 영상 프레임들 중 실제 디스플레이된 분할 영상 프레임들의 개수를 수신하는 것을 특징으로 하는 즉각적 분할화면 송수신 기반의 영상처리장치.
5. The apparatus of claim 4, wherein the image encoder
Wherein the number of divided image frames actually displayed among the plurality of divided image frames included in the image frame is received from the image decoder.
제5항에 있어서, 상기 영상 인코더는
상기 실제 디스플레이된 분할 영상 프레임들의 개수에 반비례하도록 다음 영상 프레임의 수평분할의 영역을 조절하는 것을 특징으로 하는 즉각적 분할화면 송수신 기반의 영상처리장치.
6. The apparatus of claim 5, wherein the image encoder
Wherein an area of a horizontal division of a next image frame is adjusted so as to be inversely proportional to the number of actually displayed divided image frames.
제1항에 있어서, 상기 영상 디코더는
상기 영상 프레임과 연관된 분할압축 영상 프레임의 디스플레이가 완료되기 전에 다음 영상 프레임과 연관된 분할압축 영상 프레임이 수신되면 상기 영상 프레임과 연관된 분할압축 영상 프레임의 수신 완료 전에 즉각 디스플레이 하는 것을 특징으로 하는 즉각적 분할화면 송수신 기반의 영상처리장치.
The apparatus of claim 1, wherein the video decoder
Wherein when the divided compressed image frame associated with the next image frame is received before the display of the divided compressed image frame associated with the image frame is completed, the divided divided image frame is displayed immediately before completion of receiving the divided compressed image frame associated with the image frame. An image processing apparatus based on transmission and reception.
제1항에 있어서, 상기 영상 디코더는
상기 영상 프레임과 연관된 분할압축 영상 프레임의 디스플레이가 완료되기 전에 다음 영상 프레임과 연관된 분할압축 영상 프레임이 수신되면 상기 영상 인코더에 상기 해당 분할압축 영상 프레임을 일시적으로 버퍼링하여 송신하도록 하는 것을 특징으로 하는 즉각적 분할화면 송수신 기반의 영상처리장치.
The apparatus of claim 1, wherein the video decoder
Wherein when the divided compressed image frame associated with the next image frame is received before the display of the divided compressed image frame associated with the image frame is completed, the corresponding divided compressed image frame is temporarily buffered and transmitted to the image encoder Image processing apparatus based on split screen transmission and reception.
제1항에 있어서, 상기 영상 디코더는
상기 영상 프레임과 연관된 분할압축 영상 프레임의 디스플레이가 특정 시간 내에 완료되지 못하면 상기 수신 프레임 버퍼에 제(n+1) 영상 프레임부터 다음 k 번째 영상 프레임(상기 k는 자연수)까지 해당 분할압축 영상 프레임들을 일시적으로 버퍼링하는 것을 특징으로 하는 즉각적 분할화면 송수신 기반의 영상처리장치.
The apparatus of claim 1, wherein the video decoder
If the display of the divided compressed image frame associated with the image frame is not completed within a predetermined time, the corresponding divided compressed image frames from the (n + 1) th image frame to the next kth image frame (k is a natural number) Wherein the buffering unit temporarily buffers the divided images.
제1항에 있어서, 상기 영상 디코더는
무선 채널 환경을 기초로 상기 k를 가변시키는 것을 특징으로 하는 즉각적 분할화면 송수신 기반의 영상처리장치.
The apparatus of claim 1, wherein the video decoder
Wherein the k is varied based on a wireless channel environment.
송신 프레임 버퍼에 있는 영상 프레임을 순차적으로 제공하는 단계;
단일의 영상 인코더를 통해 영상 프레임의 복잡도를 기초로 압축방식을 제어하고 상기 영상 프레임을 수평방향으로 분할하여 상기 압축방식에 따라 해당 분할 영상 프레임을 압축하고 상기 해당 분할압축 영상 프레임을 즉시 제공하는 단계;
수신 프레임 버퍼에 상기 해당 분할압축 영상 프레임을 버퍼링하는 단계; 및
영상 디코더를 통해 상기 영상 프레임에 관한 버퍼링이 완료되기 전에 상기 해당 버퍼링된 분할압축 영상 프레임을 압축해제하고 상기 해당 디코딩된 분할압축 영상 프레임을 즉시 디스플레이하는 단계를 포함하는 즉각적 분할화면 송수신 기반의 영상처리방법.


Sequentially providing image frames in a transmission frame buffer;
Controlling a compression method based on a complexity of an image frame through a single image encoder, compressing the divided image frame according to the compression method by dividing the image frame in a horizontal direction, and immediately providing the corresponding divided compressed image frame ;
Buffering the corresponding divided compressed image frame in a reception frame buffer; And
Decompressing the corresponding buffered divided compressed image frame and immediately displaying the corresponding decoded divided compressed image frame before the buffering of the image frame is completed through the video decoder, Way.


KR1020160115656A 2015-09-16 2016-09-08 Image processing apparatus and method based on directly splitting screen KR20170033235A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/264,070 US20170078609A1 (en) 2015-09-16 2016-09-13 Image processing method and apparatus based on screen spliting

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20150130842 2015-09-16
KR1020150130842 2015-09-16

Publications (1)

Publication Number Publication Date
KR20170033235A true KR20170033235A (en) 2017-03-24

Family

ID=58500723

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160115656A KR20170033235A (en) 2015-09-16 2016-09-08 Image processing apparatus and method based on directly splitting screen

Country Status (1)

Country Link
KR (1) KR20170033235A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010016521A (en) 2000-09-26 2001-03-05 서진교 Valve systeam for rotary type pulp molding machine

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010016521A (en) 2000-09-26 2001-03-05 서진교 Valve systeam for rotary type pulp molding machine

Similar Documents

Publication Publication Date Title
US9083986B2 (en) Method and system for adaptive rate video compression and transmission
US5847760A (en) Method for managing video broadcast
KR100919074B1 (en) Rate control techniques for video encoding using parametric equations
US20070030911A1 (en) Method and apparatus for skipping pictures
KR101667970B1 (en) Server device, terminal, thin client system, screen transmission method and program
US20090109988A1 (en) Video Decoder with an Adjustable Video Clock
US20110002376A1 (en) Latency Minimization Via Pipelining of Processing Blocks
US20140126628A1 (en) Best quality given a maximum bit rate
JP2006510303A (en) Mosaic program guide method
KR20110124161A (en) Method and apparatus for transmitting and receiving layered coded video
US10999599B2 (en) System and method for non-uniform video coding
US20170078609A1 (en) Image processing method and apparatus based on screen spliting
US20110310955A1 (en) Method and system for repetition based adaptive video compression
WO2022021519A1 (en) Video decoding method, system and device and computer-readable storage medium
US20120033727A1 (en) Efficient video codec implementation
US20110299605A1 (en) Method and apparatus for video resolution adaptation
US20130058406A1 (en) Predictive frame dropping method used in wireless video/audio data transmission
KR20170033234A (en) Image processing apparatus and method based on spliting screen transceiver
KR20170033235A (en) Image processing apparatus and method based on directly splitting screen
CN106131565B (en) Video decoding and rendering using joint jitter-frame buffer
US10652548B2 (en) Video system and method with minimized streaming latency
CN101188768A (en) Method and apparatus for transmitting and receiving moving pictures based on RGB codec
US11871003B2 (en) Systems and methods of rate control for multiple pass video encoding
US20230079859A1 (en) Systems and methods for streaming extensions for video encoding
US20230080223A1 (en) Systems and methods for data partitioning in video encoding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application