WO2015037894A1 - 비디오 메모리의 모니터링을 이용한 영상 처리 장치 - Google Patents

비디오 메모리의 모니터링을 이용한 영상 처리 장치 Download PDF

Info

Publication number
WO2015037894A1
WO2015037894A1 PCT/KR2014/008419 KR2014008419W WO2015037894A1 WO 2015037894 A1 WO2015037894 A1 WO 2015037894A1 KR 2014008419 W KR2014008419 W KR 2014008419W WO 2015037894 A1 WO2015037894 A1 WO 2015037894A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
display screen
video memory
image processing
processing apparatus
Prior art date
Application number
PCT/KR2014/008419
Other languages
English (en)
French (fr)
Inventor
박경식
이주상
양경철
Original Assignee
이에스이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이에스이 주식회사 filed Critical 이에스이 주식회사
Priority to CN201480061396.9A priority Critical patent/CN105993176A/zh
Publication of WO2015037894A1 publication Critical patent/WO2015037894A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/103—Detection of image changes, e.g. determination of an index representative of the image change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG

Definitions

  • This application relates to image processing.
  • a graphic device interface such as WIN32 operating in the user mode has a function of notifying only the changed part after comparing the previous display screen with the changed display screen when the display screen is changed.
  • the video card updates the video memory with image data of an area to be changed in the display screen, and the updated image data is transmitted to the display device through the video port to display the display screen. Is displayed on.
  • a graphic device interface such as WIN32 operating in a user mode compares a previously displayed screen with a currently displayed screen, and provides information on a changed area of two display screens. Only this information is transmitted to the external device.
  • the present application provides an image processing apparatus using monitoring of a video memory capable of increasing an image processing speed by capturing and transmitting image data of a changed area when the image displayed on the display screen is stored in the video memory. to provide.
  • an image processing apparatus including a video memory for storing image data to be displayed on a display screen, comprising: a mirror driver for monitoring whether or not to change image data stored in the video memory; A change data extracting unit extracting image data of a changed area of the display screen from the video memory when the image data stored in the video memory is changed; And an encoding unit which encodes attribute information of the extracted image data together with the extracted image data.
  • the encoding unit may encode the extracted image data and attribute information on the extracted image data in a Joint Photograph Coding Experts Group (JPEG) format.
  • JPEG Joint Photograph Coding Experts Group
  • the encoding unit may encode each of the plurality of changed areas.
  • the attribute information includes coordinates of the changed area of the display screen, packet size due to the encoding, resolution, time stamp, frame per second (FPS), and the display screen.
  • the display device may include at least one or more of a unique ID (UID) of the display screen.
  • UID unique ID
  • the image processing apparatus may operate in a kernel mode.
  • an image processing apparatus including a video memory for storing image data to be displayed on a display screen, comprising: a decoding unit for decoding encoded data; A change data updater configured to update image data of a changed area of the display screen to the video memory based on the attribute information included in the encoded data; And a display driver for displaying the updated image data stored in the video memory in a changed area of the display screen, wherein the encoded data is selected from the display screens obtained by monitoring whether or not the image data stored in the video memory has been changed.
  • an image processing apparatus which is data obtained by encoding the attribute information together with image data of a changed area.
  • the decoding unit may include a graphics processing unit (GPU) of a video card.
  • GPU graphics processing unit
  • the encoded data may be in a Joint Photograph Coding Experts Group (JPEG) format.
  • JPEG Joint Photograph Coding Experts Group
  • the encoded data when there are a plurality of changed areas, the encoded data may be data encoded for each of the plurality of changed areas.
  • the attribute information includes coordinates of the changed area of the display screen, packet size due to the encoding, resolution, time stamp, frame per second (FPS), and the display screen.
  • the display device may include at least one or more of a unique ID (UID) of the display screen.
  • UID unique ID
  • the present invention by monitoring the video memory for storing the image data to be displayed on the display screen in real time, and if the image on the display screen is changed as a result of monitoring by encoding and transmitting only the image data for the changed area, It can increase the image processing speed.
  • FIG. 1 is a configuration diagram of an image processing apparatus using monitoring of a video memory according to an embodiment of the present invention.
  • FIG. 2 is a diagram for explaining coordinates among data extraction and attribute information about a changed region according to an exemplary embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating a flow of a transmitting image processing apparatus in an image processing method using monitoring of a video memory according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a flow of a receiver image processing apparatus in an image processing method using monitoring of a video memory according to an embodiment of the present invention.
  • FIG. 1 is a configuration diagram of an image processing apparatus using monitoring of a video memory according to an embodiment of the present invention
  • FIG. 2 is a diagram illustrating coordinates among extraction of data and attribute information of a changed region according to an embodiment of the present invention. It is a figure for following.
  • the image processing apparatus 120 includes an image processing apparatus 120 including a video memory (VM) 123 that stores image data to be displayed on a display screen. ), The mirror driver (MD) 124 for monitoring whether or not the image data stored in the video memory (VM) 123 is changed and the image data stored in the video memory (VM) 123 are changed.
  • a change data extraction unit 125 for extracting image data of the changed area of the display screen from the VM 123, and an encoding unit 126 for encoding attribute information on the extracted image data together with the extracted image data It may include.
  • the image processing apparatus 130 includes an image processing apparatus 130 including a video memory (VM) 134 for storing image data to be displayed on a display screen.
  • a decoding unit 132 for decoding data, a change data updater 133 for updating image data of a changed area of the display screen in the video memory 134, based on attribute information included in the encoded data;
  • a display driver 235 for displaying the updated image data stored in the video memory 134 in the changed area of the display screen, wherein the encoded data is the image data for the changed area of the display screen obtained from the video memory 134.
  • the data may be encoded with attribute information.
  • the transmitting device includes a display 110 and a transmitting image processing device 120.
  • the receiving device may include a receiving image processing device 130 and a display 140, and transmits image processing.
  • the device 120 and the receiver image processing device 130 may transmit and receive data through a network (NetWork, NW).
  • NW Network
  • the transmitting apparatus and the receiving apparatus will be described in detail.
  • the display device 140 may include a plurality of display devices 111 to 11N having a display screen such as a monitor.
  • a display screen such as a monitor.
  • one image may be appropriately distributed and displayed through the plurality of display devices 111 through 11N by a controller such as a wall controller, or each of the plurality of display devices 111 through 11N may display a separate image. .
  • the receiving image processing apparatus 130 may include a graphics engine (GE) 121, a display device (DD) 122, and a video memory (VM). 123, a mirror driver (MD) 124, a change data extractor 125, an encoder 126, a transmitter 127, and a video port 129.
  • GE graphics engine
  • DD display device
  • VM video memory
  • the graphics engine (GE) 121 may monitor whether a screen change command is input, and if the screen change command is input as a result of the monitoring, the graphic engine (GE) 121 may transmit it to the display driver (DD) 122.
  • the screen change command is a command input by an application executed in a user mode.
  • the screen change command may be a change command for all or part of an image displayed on a display screen of the current display apparatus 110.
  • the display driver (DD) 122 may output image data of a changed area of the display screen according to the input screen change command, and the video memory (VM) 123. ) In the corresponding area. Thereafter, the display request command may be transmitted to the graphics engine (GE) 121 so that the image data of the changed area may be displayed on the display screen. Then, the graphic engine (GE) 121 transmits the image data of the changed region to the display apparatus 110 through the video port 128 according to the display request command, and the transferred image data of the display apparatus 110 is transmitted. It can be displayed via the display screen.
  • the video memory (VM) 123 is a storage medium for storing image data to be displayed on a display screen, and after dividing one display screen into a plurality of regions, the image data may be stored at an address corresponding to each region. have.
  • Each divided region may be referred to as a frame, and thus the video memory (VM) 123 may also be referred to as a frame buffer.
  • the mirror driver (MD) 124 monitors whether image data stored in the video memory (VM) 123 is changed, and the image data of the changed area of the display screen is stored in the video memory (VM) 123. ),
  • the detection data extraction unit 125 may notify the change data extractor 125 that a part or all of the video memory (VM) 123 has been changed.
  • the change data extractor 125 may extract image data of the changed area of the display screen from the video memory (VM) 123 and transfer the extracted image data to the encoder 126.
  • the encoder 126 may encode attribute information of the extracted image data together with the image data extracted by the change data extractor 125.
  • the encoded data may be delivered to the transmitter 127.
  • the encoding unit 126 may encode the extracted image data and attribute information on the extracted image data in a Joint Photograph Coding Experts Group (JPEG) format.
  • JPEG Joint Photograph Coding Experts Group
  • the encoding unit 126 may perform encoding on each of the changed areas.
  • the attribute information may include (physical) coordinates of the changed area of the display screen, packet size due to encoding, resolution, time stamp, frame per second (FPS), and uniqueness of the display screen when there are a plurality of display screens. It may include at least one or more of an identifier (Unique ID, UID).
  • the attribute information includes a time stamp, and by using the time stamp, the receiving side image processing apparatus 130 can simultaneously display two or more changed regions each encoded and transmitted. Can be.
  • a codec such as H.264
  • a plurality of display screens (or multiple frames if a whole display screen is defined as one frame) are collected and encoded at the same time. Since the entire display screen is encoded even if a very small area of one display screen is changed, the image processing speed is further increased.
  • the overall image processing speed can be increased. There is an advantage to this.
  • FIG. 2 is a diagram for explaining coordinates among data extraction and attribute information about a changed region according to an exemplary embodiment of the present invention.
  • the display driver (DD) 122 changes the changed area 211.
  • the image data may be stored in the corresponding regions of the video memory (VM) 123, respectively.
  • FIG. 2 illustrates a case where two or more regions 211 and 212 are changed at the same time point on one display screen.
  • image data of each of the changed regions 211 and 212 may be encoded and transmitted.
  • (c) of FIG. 2 (X, Y), (X + n, Y), (X, Y + n), and (X + n, Y + n) for the area 211 are obtained from the changed area of the attribute information.
  • the actual coordinates on the display screen are described as an example.
  • the transmitter 127 may transmit the encoded data to the receiver 131 of the receiver image processing apparatus 130 through the network NW.
  • the image processing apparatus 120 since the image processing apparatus 120 operates in a kernel mode rather than a user mode, the image processing apparatus 120 may be compared with a graphic device interface (GDI) such as WIN32 operating in a user mode as described in the related art. There is a technical effect that can increase the image processing speed.
  • GDI graphic device interface
  • Receiver side device (130, 140)
  • the display device 140 may include a plurality of display devices 141 to 14N having a display screen such as a monitor, similarly to the transmission display device 110.
  • a controller such as a wall controller, or each of the plurality of display devices 141 to 14N may display a separate image.
  • the receiver image processing apparatus 120 includes a receiver 131, a decoder 132, a change data updater 133, a video memory (VM) 134, and a display driver (DD). ) 135, a graphics engine (GE) 136, and a video port 137.
  • the receiving unit 131 may receive encoded data from the transmitting image processing apparatus 120 through the network NW, and then transfer the encoded data to the decoding unit 132.
  • the encoded data encodes attribute information together with image data of the changed area of the display screen obtained by monitoring whether or not the image data stored in the video memory (VM) 123 of the transmitting image processing apparatus 120 is changed. It can be one data.
  • the encoded data transmitted from the transmitting image processing apparatus 120 is in the form of a Joint Photograph Coding Experts Group (JPEG), thereby increasing the overall image processing speed.
  • JPEG Joint Photograph Coding Experts Group
  • the decoder 132 may decode the data and transmit the decoded data to the change data updater 133.
  • the decoding unit 132 may include a graphic processing unit (GPU) which is a processor of a video card.
  • GPU graphic processing unit
  • the encoded image data is decoded in a central processing unit of the personal computer, and the video card receives and outputs the decoded image data. Therefore, a heavy load is placed on the central processing unit of the personal computer. Therefore, according to one embodiment of the present invention, when the encoded data is received, decoding thereof can be performed by the processor of the video card, thereby improving processing speed compared with the related art.
  • the change data updater 133 may update the image data of the changed area of the display screen to the video memory (VM) 134 based on the attribute information. Can be.
  • the attribute information may include a coordinate of a changed area of the display screen, a packet size due to encoding, a resolution, a time stamp, frames per second (FPS), and a unique identifier of the display screen when there are a plurality of display screens. As described above, it may include at least one or more of an ID and a UID.
  • the attribute information includes a time stamp, and by using the time stamp, the receiving side image processing apparatus 130 simultaneously uses two or more changed regions each encoded and transmitted. Can be displayed.
  • the video memory (VM) 134 stores image data to be displayed on a display screen of the display device 140.
  • image data of the changed area of the display screen may be updated from the transmitting image processing apparatus 120. have.
  • the display driver (DD) 135 may issue a display request command to display the updated image data stored in the video memory (VM) 134 on the display screen. Or to (GE) 121.
  • the graphics engine (GE) 136 transmits the image data of the changed area to the display device 140 through the video port 137 according to the display request command, and the transferred image data is displayed on the display screen. Can be.
  • FIG. 3 is a flowchart illustrating a flow of the transmitting image processing apparatus 120 in the image processing method using the monitoring of the video memory according to an embodiment of the present invention.
  • FIGS. 1 to 3 a video processing method of a transmitting side according to an embodiment of the present invention will be described with reference to FIGS. 1 to 3.
  • descriptions of parts overlapping with those described with reference to FIGS. 1 to 2 will be omitted.
  • the mirror driver (MD) 124 may monitor in real time whether or not the image data stored in the video memory (VM) 123 is changed (S301).
  • the change data extractor 125 may extract image data of the changed area of the display screen from the video memory (VM) 123. (S303).
  • the encoding unit 126 may encode attribute information of the extracted image data together with the image data extracted by the change data extractor 125 (S304).
  • the encoded data may be transmitted to the receiver side image processing apparatus 130 through the transmitter 127 and the network NW.
  • FIG. 4 is a flowchart illustrating the flow of the receiving image processing apparatus in the image processing method using the monitoring of the video memory according to one embodiment of the present invention.
  • FIGS. 1 to 2 and 4 an image processing method of a receiver according to an embodiment of the present invention will be described with reference to FIGS. 1 to 2 and 4. However, for the sake of brevity of the invention, descriptions of parts overlapping with those described with reference to FIGS. 1 to 2 will be omitted.
  • the decoder 132 may decode the received data (S401) and then transfer it to the change data updater 133.
  • the decoding unit 132 may include a graphic processing unit (GPU) which is a processor of a video card.
  • the encoded data encodes attribute information together with image data of the changed area of the display screen obtained by monitoring whether or not the image data stored in the video memory (VM) 123 of the transmitting image processing apparatus 120 is changed. It can be one data.
  • the change data updater 133 may update the image data of the changed area of the display screen to the video memory (VM) 134 based on the attribute information. It may be (S402).
  • the attribute information may include a coordinate of a changed area of the display screen, a packet size due to encoding, a resolution, a time stamp, frames per second (FPS), and a unique identifier of the display screen when there are a plurality of display screens. As described above, it may include at least one or more of an ID and a UID.
  • the attribute information includes a time stamp, and by using the time stamp, the receiving side image processing apparatus 130 simultaneously uses two or more changed regions each encoded and transmitted. Can be displayed.
  • the display driver (DD) 135 may control the graphics engine (GE) 121 to display updated image data stored in the video memory (VM) 134 in a changed area of the display screen ( S403).
  • transmitting unit 128 video port (sending side)

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비디오 메모리의 모니터링을 이용한 영상 처리 장치가 제공된다. 영상 처리 장치는, 디스플레이 화면에 디스플레이할 영상 데이터를 저장하는 비디오 메모리를 포함한 영상 처리 장치에 있어서, 비디오 메모리에 저장된 영상 데이터의 변경 여부를 모니터링하는 미러 드라이버와, 비디오 메모리에 저장된 영상 데이터가 변경되면, 비디오 메모리로부터 디스플레이 화면 중 변경된 영역에 대한 영상 데이터를 추출하는 변경 데이터 추출부와, 추출된 영상 데이터와 함께 추출된 영상 데이터에 대한 속성 정보를 인코딩하는 인코딩부를 포함함으로써, 영상 처리 속도를 증가시킬 수 있다.

Description

비디오 메모리의 모니터링을 이용한 영상 처리 장치
본 출원은, 영상 처리에 관한 것이다.
일반적으로, 디스플레이 화면을 통해 디스플레이되는 많은 양의 영상 데이터를 효과적으로 전송하기 위해서는 MPEG. 4, H.264, JPEG와 같은 데이터 압축(인코딩) 알고리즘의 사용이 필수적이다.
특히, 동영상과 같이 실시간으로 화면이 변경되는 영상 데이터를 전송할 경우 전송하여야 할 데이터의 양이 상당하기 때문에, 효과적인 압축 및 전송 기술이 필수적이다.
이를 위해 유저 모드(user mode)에서 동작하는 WIN32와 같은 그래픽 디바이스 인터페이스(Graphic Device Interface, GDI)는 디스플레이 화면이 변경되면, 이전의 디스플레이 화면과 변경된 디스플레이 화면을 비교한 후, 변경된 부분만을 알려주는 기능을 제공하고 있다.
이를 구체적으로 설명하면, 윈도우 화면 변경 명령이 입력되면, 비디오 카드는 디스플레이 화면 중 변경될 영역에 대한 영상 데이터로 비디오 메모리를 업데이트하며, 업데이트된 영상 데이터는 비디오 포트를 통해 디스플레이 장치로 전송되어 디스플레이 화면상에 디스플레이된다. 이때, 유저 모드(user mode)에서 동작하는 WIN32와 같은 그래픽 디바이스 인터페이스(GDI)는 이전에 디스플레이된 화면과 현재 디스플레이된 화면을 비교한 후, 두 개의 디스플레이 화면 중 변경된 영역에 대한 정보를 제공하고 있으며, 이러한 정보만을 외부 장치로 전송한다.
하지만, 이와 같은 종래 방식에 의할 경우 비디오 메모리에 저장된 영상 데이터가 디스플레이 화면에 디스플레이되고 난 후에야 변경된 영역에 대한 정보를 얻을 수 있기 때문에, 변경된 영역에 대한 정보를 얻기 위한 시간이 지연되며, 이로 인해 영상 처리 속도가 저해되는 문제점이 있다.
본 출원은, 디스플레이 화면에 디스플레이되는 영상이 변경된 경우 변경된 영역에 대한 영상 데이터가 비디오 메모리에 저장되는 시점에서 캡처하여 전송함으로써, 영상 처리 속도를 증가시킬 수 있는 비디오 메모리의 모니터링을 이용한 영상 처리 장치를 제공한다.
본 발명의 제1 실시 형태에 의하면, 디스플레이 화면에 디스플레이할 영상 데이터를 저장하는 비디오 메모리를 포함한 영상 처리 장치에 있어서, 상기 비디오 메모리에 저장된 영상 데이터의 변경 여부를 모니터링하는 미러 드라이버; 상기 비디오 메모리에 저장된 영상 데이터가 변경되면, 상기 비디오 메모리로부터 상기 디스플레이 화면 중 변경된 영역에 대한 영상 데이터를 추출하는 변경 데이터 추출부; 및 상기 추출된 영상 데이터와 함께 상기 추출된 영상 데이터에 대한 속성 정보를 인코딩하는 인코딩부를 포함하는 영상 처리 장치를 제공한다.
본 발명의 실시 형태에 의하면, 상기 인코딩부는, 상기 추출된 영상 데이터 및 상기 추출된 영상 데이터에 대한 속성 정보를 제이피지(Joint Photograph coding Experts Group, JPEG) 형식으로 인코딩할 수 있다.
본 발명의 실시 형태에 의하면, 상기 변경된 영역이 복수개인 경우, 상기 인코딩부는, 상기 복수개의 변경된 영역들 각각에 대하여, 인코딩할 수 있다.
본 발명의 실시 형태에 의하면, 상기 속성 정보는, 상기 디스플레이 화면 중 상기 변경된 영역의 좌표, 상기 인코딩에 의한 패킷 사이즈, 해상도, 타임 스탬프, 초당 프레임 전송수(Frame Per Second, FPS), 상기 디스플레이 화면이 복수개인 경우 디스플레이 화면의 고유 식별자(Unique ID, UID) 중 적어도 하나 이상을 포함할 수 있다.
본 발명의 실시 형태에 의하면, 상기 영상 처리 장치는, 커널 모드(Kernel Mode)에서 동작할 수 있다.
본 발명의 제2 실시 형태에 의하면, 디스플레이 화면에 디스플레이할 영상 데이터를 저장하는 비디오 메모리를 포함한 영상 처리 장치에 있어서, 인코딩된 데이터를 디코딩하는 디코딩부; 상기 인코딩된 데이터에 포함된 속성 정보에 기초하여, 상기 비디오 메모리에 상기 디스플레이 화면 중 변경된 영역에 대한 영상 데이터를 업데이트하는 변경 데이터 업데이트부; 및 상기 비디오 메모리에 저장된 업데이트된 영상 데이터를 상기 디스플레이 화면 중 변경된 영역에 디스플레이하는 디스플레이 드라이버를 포함하며, 상기 인코딩된 데이터는, 상기 비디오 메모리에 저장된 영상 데이터의 변경 여부를 모니터링하여 얻은 상기 디스플레이 화면 중 변경된 영역에 대한 영상 데이터와 함께 상기 속성 정보를 인코딩한 데이터인 영상 처리 장치를 제공한다.
본 발명의 실시 형태에 의하면, 상기 디코딩부는, 비디오 카드의 그래픽 프로세싱 유닛(Graphic Processing Unit, GPU)을 포함할 수 있다.
본 발명의 실시 형태에 의하면, 상기 인코딩된 데이터는, 제이피지(Joint Photograph coding Experts Group, JPEG) 형식일 수 있다.
본 발명의 실시 형태에 의하면, 상기 변경된 영역이 복수개인 경우, 상기 인코딩된 데이터는, 상기 복수개의 변경된 영역들 각각에 대하여 인코딩된 데이터일 수 있다.
본 발명의 실시 형태에 의하면, 상기 속성 정보는, 상기 디스플레이 화면 중 상기 변경된 영역의 좌표, 상기 인코딩에 의한 패킷 사이즈, 해상도, 타임 스탬프, 초당 프레임 전송수(Frame Per Second, FPS), 상기 디스플레이 화면이 복수개인 경우 디스플레이 화면의 고유 식별자(Unique ID, UID) 중 적어도 하나 이상을 포함할 수 있다.
본 발명의 일 실시 형태에 의하면, 디스플레이 화면에 디스플레이할 영상 데이터를 저장하는 비디오 메모리를 실시간으로 모니터링하고, 모니터링 결과 디스플레이 화면상의 영상이 변경되는 경우에는 변경된 영역에 대한 영상 데이터만을 인코딩하여 전송함으로써, 영상 처리 속도를 증가시킬 수 있다.
도 1은 본 발명의 일 실시 형태에 따른 비디오 메모리의 모니터링을 이용한 영상 처리 장치의 구성도이다.
도 2는 본 발명의 일 실시 형태에 의한 변경된 영역에 대한 데이터의 추출 및 속성 정보 중 좌표를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시 형태에 의해 비디오 메모리의 모니터링을 이용한 영상 처리 방법으로, 송신측 영상 처리 장치의 흐름을 설명하는 흐름도이다.
도 4는 본 발명의 일 실시 형태에 의해 비디오 메모리의 모니터링을 이용한 영상 처리 방법으로, 수신측 영상 처리 장치의 흐름을 설명하는 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시형태를 설명한다. 그러나 본 발명의 실시형태는 여러 가지의 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명하는 실시형태로만 한정되는 것은 아니다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있으며, 도면상의 동일한 부호로 표시되는 요소는 동일한 요소이다.
도 1은 본 발명의 일 실시 형태에 따른 비디오 메모리의 모니터링을 이용한 영상 처리 장치의 구성도이며, 도 2는 본 발명의 일 실시 형태에 의한 변경된 영역에 대한 데이터를 추출 및 속성 정보 중 좌표를 설명하기 위한 도면이다.
도 1에 도시된 바와 같이, 본 발명의 제1 실시 형태에 의한 영상 처리 장치(120)는, 디스플레이 화면에 디스플레이할 영상 데이터를 저장하는 비디오 메모리(VM)(123)를 포함한 영상 처리 장치(120)에 있어서, 비디오 메모리(VM)(123)에 저장된 영상 데이터의 변경 여부를 모니터링하는 미러 드라이버(MD)(124)와, 비디오 메모리(VM)(123)에 저장된 영상 데이터가 변경되면, 비디오 메모리(VM)(123)로부터 디스플레이 화면 중 변경된 영역에 대한 영상 데이터를 추출하는 변경 데이터 추출부(125)와, 추출된 영상 데이터와 함께 추출된 영상 데이터에 대한 속성 정보를 인코딩하는 인코딩부(126)를 포함할 수 있다.
또한, 본 발명의 제2 실시 형태에 의한 영상 처리 장치(130)는, 디스플레이 화면에 디스플레이할 영상 데이터를 저장하는 비디오 메모리(VM)(134)를 포함한 영상 처리 장치(130)에 있어서, 인코딩된 데이터를 디코딩하는 디코딩부(132)와, 인코딩된 데이터에 포함된 속성 정보에 기초하여, 비디오 메모리(134)에 디스플레이 화면 중 변경된 영역에 대한 영상 데이터를 업데이트하는 변경 데이터 업데이트부(133)와, 비디오 메모리(134)에 저장된 업데이트된 영상 데이터를 디스플레이 화면 중 변경된 영역에 디스플레이하는 디스플레이 드라이버(235)를 포함하며, 인코딩된 데이터는, 비디오 메모리(134)로부터 얻은 디스플레이 화면 중 변경된 영역에 대한 영상 데이터와 함께 속성 정보를 인코딩한 데이터일 수 있다.
이하, 도 1 내지 도 2를 참조하여 본 발명의 일 실시 형태에 의한 비디오 메모리의 모니터링을 이용한 영상 처리 장치를 상세하게 설명한다. 송신측 장치는 디스플레이부(110)와 송신측 영상 처리 장치(120)로 구성되며, 수신측 장치는 수신측 영상 처리 장치(130)와 디스플레이부(140)를 포함할 수 있으며, 송신측 영상 처리 장치(120)와 수신측 영상 처리 장치(130)는 네트워크(NetWork, NW)를 통해 데이터를 송수신할 수 있다. 이하 송신측 장치와 수신측 장치를 구분하여 상세하게 설명한다.
1. 송신측 장치(110, 120)
도 1을 참조하면, 디스플레이 장치(140)는, 모니터와 같은 디스플레이 화면을 구비한 복수의 디스플레이 장치(111 내지 11N)를 포함할 수 있다. 예를 들면, 월 컨트롤러와 같은 제어기에 의해 하나의 영상이 복수의 디스플레이 장치(111 내지 11N)를 통해서 적절히 분배되어 디스플레이되거나 또는 복수의 디스플레이 장치(111 내지 11N) 각각이 별개 영상을 디스플레이할 수 있다.
수신측 영상 처리 장치(130)는, 도 1에 도시된 바와 같이, 그래픽 엔진(Graphic Engine, GE)(121), 디스플레이 드라이버(Display Device, DD)(122), 비디오 메모리(Video Memory, VM)(123), 미러 드라이버(Mirror Diver, MD)(124), 변경 데이터 추출부(125), 인코딩부(126), 송신부(127) 및 비디오 포트(129)를 포함할 수 있다.
여기서, 그래픽 엔진(GE)(121)은, 화면 변경 명령이 입력되는지를 모니터링하며, 모니터링 결과 화면 변경 명령이 입력되면 이를 디스플레이 드라이버(DD)(122)로 전달할 수 있다. 여기서, 화면 변경 명령은 유저 모드(user mode)에서 실행되는 어플리케이션에 의해 입력되는 명령으로, 예컨대 현재 디스플레이 장치(110)의 디스플레이 화면에 디스플레이되는 영상의 전부 또는 일부 영역에 대한 변경 명령일 수 있다.
디스플레이 드라이버(DD)(122)는, 그래픽 엔진(GE)(121)으로부터 화면 변경 명령이 입력되면, 입력된 화면 변경 명령에 따라 디스플레이 화면 중 변경된 영역에 대한 영상 데이터를 비디오 메모리(VM)(123)의 대응하는 영역에 저장할 수 있다. 이후 변경된 영역에 대한 영상 데이터가 디스플레이 화면에 디스플레이될 수 있도록 디스플레이 요청 명령을 그래픽 엔진(GE)(121)으로 전달할 수 있다. 그러면, 그래픽 엔진(GE)(121)은 디스플레이 요청 명령에 따라 변경된 영역에 대한 영상 데이터를 비디오 포트(128)를 통해 디스플레이 장치(110)로 전달하고, 전달된 영상 데이터는 디스플레이 장치(110)의 디스플레이 화면을 통해 디스플레이될 수 있다.
한편, 비디오 메모리(VM)(123)는, 디스플레이 화면에 디스플레이할 영상 데이터를 저장하는 저장 매체이며, 하나의 디스플레이 화면을 다수의 영역으로 분할한 후, 영역별로 대응하는 어드레스에 영상 데이터를 저장할 수 있다. 분할된 각각의 영역은 프레임(frame)으로 지칭될 수 있으며, 이에 따라 비디오 메모리(VM)(123)는 프레임 버퍼(frame buffer)라고도 지칭될 수도 있다.
한편, 미러 드라이버(MD)(124)는, 비디오 메모리(VM)(123)에 저장된 영상 데이터의 변경 여부를 모니터링하기 위한 것으로, 디스플레이 화면 중 변경된 영역에 대한 영상 데이터가 비디오 메모리(VM)(123)에 저장되면, 이를 감지한 후 비디오 메모리(VM)(123)의 일부 또는 전부가 변경되었음을 변경 데이터 추출부(125)에 알릴 수 있다.
그러면, 변경 데이터 추출부(125)는, 비디오 메모리(VM)(123)로부터 디스플레이 화면 중 변경된 영역에 대한 영상 데이터를 추출하고, 추출된 영상 데이터를 인코딩부(126)로 전달할 수 있다.
인코딩부(126)는, 변경 데이터 추출부(125)에서 추출한 영상 데이터와 함께 추출된 영상 데이터에 대한 속성 정보를 인코딩할 수 있다. 인코딩된 데이터는 송신부(127)로 전달될 수 있다. 여기서, 인코딩부(126)는 추출된 영상 데이터 및 추출된 영상 데이터에 대한 속성 정보를 제이피지(Joint Photograph coding Experts Group, JPEG) 형식으로 인코딩할 수 있다. 또한, 디스플레이 화면 중 동시에 2 이상의 영역에 대한 변경이 발생된 경우에, 인코딩부(126)는 변경된 영역들 각각에 대하여 인코딩을 수행할 수 있다.
여기서, 속성 정보는, 디스플레이 화면 중 변경된 영역의 (물리적) 좌표, 인코딩에 의한 패킷 사이즈, 해상도, 타임 스탬프, 초당 프레임 전송수(Frame Per Second, FPS), 디스플레이 화면이 복수 개인 경우 디스플레이 화면의 고유 식별자(Unique ID, UID) 중 적어도 하나 이상을 포함할 수 있다. 본 발명의 일 실시 형태에 의하면, 속성 정보에는 타임 스탬프가 포함되어 있으며, 수신측 영상 처리 장치(130)에서는, 이러한 타임 스탬프를 이용함으로써, 각각 인코딩되어 전송된 2개 이상의 변경된 영역을 동시에 디스플레이할 수 있다.
통상 H.264와 같은 코덱의 경우 여러 개의 디스플레이 화면(하나의 디스플레이 화면 전체를 하나의 프레임이라고 정의한다면, 여러 개의 프레임)을 모아서 한꺼번에 인코딩하게 되므로, 그만큼 인코딩에 소요되는 연산 처리로 인해 부하가 많이 걸리게 되며, 하나의 디스플레이 화면 중 극히 일부 영역이 변경되는 경우라도 디스플레이 화면 전체를 인코딩하게 되므로, 영상 처리 속도가 그만큼 더 소요되게 된다.
따라서, 본 발명의 일 실시 형태에 의하면, 추출된 영상 데이터 및 추출된 영상 데이터에 대한 속성 정보를 제이피지(Joint Photograph coding Experts Group, JPEG) 형식으로 인코딩하여 전송함으로써, 전체적으로 영상 처리 속도를 증가시킬 수 있는 이점이 있다.
도 2는 본 발명의 일 실시 형태에 의한 변경된 영역에 대한 데이터의 추출 및 속성 정보 중 좌표를 설명하기 위한 도면이다.
도 1 및 도 2에 도시된 바와 같이, 디스플레이 화면((a) 참조) 중 일부 영역(211, 212)이 변경되면((b) 참조), 디스플레이 드라이버(DD)(122)는 변경된 영역(211, 212)에 대한 영상 데이터를 추출한 후, 비디오 메모리(VM)(123)의 대응하는 영역에 각각 저장할 수 있다.
도 2에는, 하나의 디스플레이 화면상에서 2개 이상의 영역(211, 212)이 동일한 시점에 변경된 경우를 도시하고 있으며, 이 경우 각각의 변경된 영역(211, 212)에 대한 영상 데이터는 각각 인코딩되어 전송될 수 있다. 도 2의 (c)에서, 영역 211에 대한 (X, Y), (X+n, Y), (X, Y+n), (X+n, Y+n)은 속성 정보 중 변경된 영역의 디스플레이 화면상의 실제 좌표를 예시적으로 설명하고 있다.
마지막으로, 송신부(127)는, 인코딩된 데이터를 네트워크(NW)를 통해 수신측 영상 처리 장치(130)의 수신부(131)로 전송할 수 있다.
상술한 바와 같이, 영상 처리 장치(120)는 유저 모드가 아닌 커널 모드(kernel Mode)에서 동작하기 때문에, 종래 기술에서 설명드린 바와 같은 유저 모드에서 동작하는 WIN32와 같은 그래픽 디바이스 인터페이스(GDI)에 비해 영상 처리 속도를 증가시킬 수 있는 기술적 효과가 있다.
2. 수신측 장치(130, 140)
우선, 도 1을 참조하면, 디스플레이 장치(140)는, 송신측 디스플레이 장치(110)와 마찬가지로, 모니터와 같은 디스플레이 화면을 구비한 복수의 디스플레이 장치(141 내지 14N)를 포함할 수 있다. 예를 들면, 월 컨트롤러와 같은 제어기에 의해 하나의 영상이 복수의 디스플레이 장치(141 내지 14N)를 통해서 적절히 분배되어 디스플레이되거나 또는 복수의 디스플레이 장치(141 내지 14N) 각각이 별개 영상을 디스플레이할 수 있다.
수신측 영상 처리 장치(120)는, 도 1에 도시된 바와 같이, 수신부(131), 디코딩부(132), 변경 데이터 업데이트부(133), 비디오 메모리(VM)(134), 디스플레이 드라이버(DD)(135), 그래픽 엔진(GE)(136) 및 비디오 포트(137)를 포함할 수 있다.
수신부(131)는, 네트워크(NW)를 통해 송신측 영상 처리 장치(120)로부터 인코딩된 데이터를 수신한 후, 이를 디코딩부(132)로 전달할 수 있다.
여기서, 인코딩된 데이터는, 송신측 영상 처리 장치(120)의 비디오 메모리(VM)(123)에 저장된 영상 데이터의 변경 여부를 모니터링하여 얻은 디스플레이 화면 중 변경된 영역에 대한 영상 데이터와 함께 속성 정보를 인코딩한 데이터일 수 있다.
본 발명의 일 실시 형태에 의하면, 송신측 영상 처리 장치(120)로부터 전송되는 인코딩된 데이터는 제이피지(Joint Photograph coding Experts Group, JPEG) 형식으로 함으로써, 전체적으로 영상 처리 속도를 증가시킬 수 있다는 점은 상술한 바와 같다.
디코딩부(132)는, 수신부(131)로부터 인코딩된 데이터가 전달되면, 이를 디코딩한 후 변경 데이터 업데이트부(133)로 전달할 수 있다. 본 발명의 일 실시 형태에 의하면, 디코딩부(132)는 비디오 카드의 프로세서인 그래픽 프로세싱 유닛(Graphic Processing Unit, GPU)을 포함할 수 있다. 일반적으로, 인코딩된 영상 데이터는 퍼스널 컴퓨터의 중앙 처리 장치에서 디코딩이 수행되며, 비디오 카드에서는 디코딩된 영상 데이터를 수신하여 출력하게 된다. 따라서, 퍼스널 컴퓨터의 중앙 처리 장치에 많은 부하가 걸리게 된다. 따라서, 본 발명의 일 실시 형태에 의하면, 인코딩된 데이터를 수신하면, 이에 대한 디코딩은 비디오 카드의 프로세서에서 수행하도록 함으로써, 종래에 비해 처리 속도를 향상시킬 수 있다.
한편, 변경 데이터 업데이트부(133)는, 디코딩부(132)로부터 디코딩된 데이터가 전달되면, 속성 정보에 기초하여 비디오 메모리(VM)(134)에 디스플레이 화면 중 변경된 영역에 대한 영상 데이터를 업데이트할 수 있다.
여기서, 속성 정보는, 디스플레이 화면 중 변경된 영역의 좌표, 인코딩에 의한 패킷 사이즈, 해상도, 타임 스탬프, 초당 프레임 전송수(Frame Per Second, FPS), 디스플레이 화면이 복수 개인 경우 디스플레이 화면의 고유 식별자(Unique ID, UID) 중 적어도 하나 이상을 포함할 수 있음은 상술한 바와 같다.
또한, 본 발명의 일 실시 형태에 의하면, 속성 정보에는 타임 스탬프가 포함되어 있으며, 수신측 영상 처리 장치(130)에서는, 이러한 타임 스탬프를 이용함으로써, 각각 인코딩되어 전송된 2개 이상의 변경된 영역을 동시에 디스플레이할 수 있다.
비디오 메모리(VM)(134)는 디스플레이 장치(140)의 디스플레이 화면에 디스플레이할 영상 데이터를 저장하며, 특히 송신측 영상 처리 장치(120)로부터 디스플레이 화면 중 변경된 영역에 대한 영상 데이터만이 업데이트될 수 있다.
그리고, 디스플레이 드라이버(DD)(135)는, 비디오 메모리(VM)(134)에 저장된 업데이트된 영상 데이터를 디스플레이 화면 중 변경된 영역에 대한 영상 데이터가 디스플레이 화면에 디스플레이될 수 있도록 디스플레이 요청 명령을 그래픽 엔진(GE)(121)으로 전달할 수 있다.
그러면, 그래픽 엔진(GE)(136)은 디스플레이 요청 명령에 따라 변경된 영역에 대한 영상 데이터를 비디오 포트(137)를 통해 디스플레이 장치(140)로 전달하고, 전달된 영상 데이터는 디스플레이 화면을 통해 디스플레이될 수 있다.
한편, 도 3은 본 발명의 일 실시 형태에 의해 비디오 메모리의 모니터링을 이용한 영상 처리 방법으로, 송신측 영상 처리 장치(120)의 흐름을 설명하는 흐름도이다.
이하에서는 도 1 내지 도 3를 참조하여 본 발명의 일 실시 형태에 의한 송신측의 영상 처리 방법을 설명한다. 다만, 발명의 간명화를 위해 도 1 내지 도 2와 관련하여 설명된 사항과 중복된 부분에 대한 설명은 생략하기로 한다.
도 1 내지 도 3을 참조하면, 우선 미러 드라이버(MD)(124)는, 비디오 메모리(VM)(123)에 저장된 영상 데이터의 변경 여부를 실시간으로 모니터링할 수 있다(S301).
모니터링 결과, 메모리(VM)(123)가 변경되었음을 감지하면(S302), 변경 데이터 추출부(125)는 비디오 메모리(VM)(123)로부터 디스플레이 화면 중 변경된 영역에 대한 영상 데이터를 추출할 수 있다(S303).
마지막으로, 인코딩부(126)는, 변경 데이터 추출부(125)에서 추출한 영상 데이터와 함께 추출된 영상 데이터에 대한 속성 정보를 인코딩할 수 있다(S304). 인코딩된 데이터는 송신부(127) 및 네트워크(NW)를 통해 수신측 영상 처리 장치(130)로 전송될 수 있다.
그리고, 도 4는 본 발명의 일 실시 형태에 의해 비디오 메모리의 모니터링을 이용한 영상 처리 방법으로, 수신측 영상 처리 장치의 흐름을 설명하는 흐름도이다.
이하에서는 도 1 내지 도 2 및 도 4를 참조하여 본 발명의 일 실시 형태에 의한 수신측의 영상 처리 방법을 설명한다. 다만, 발명의 간명화를 위해 도 1 내지 도 2와 관련하여 설명된 사항과 중복된 부분에 대한 설명은 생략하기로 한다.
디코딩부(132)는, 수신부(131)로부터 인코딩된 데이터가 전달되면, 이를 디코딩한 후(S401) 이를 변경 데이터 업데이트부(133)로 전달할 수 있다. 본 발명의 일 실시 형태에 의하면, 디코딩부(132)는 비디오 카드의 프로세서인 그래픽 프로세싱 유닛(Graphic Processing Unit, GPU)을 포함할 수 있음은 상술한 바와 같다.
또한, 인코딩된 데이터는, 송신측 영상 처리 장치(120)의 비디오 메모리(VM)(123)에 저장된 영상 데이터의 변경 여부를 모니터링하여 얻은 디스플레이 화면 중 변경된 영역에 대한 영상 데이터와 함께 속성 정보를 인코딩한 데이터일 수 있다.
다음, 변경 데이터 업데이트부(133)는, 디코딩부(132)로부터 디코딩된 데이터가 전달되면, 속성 정보에 기초하여 비디오 메모리(VM)(134)에 디스플레이 화면 중 변경된 영역에 대한 영상 데이터를 업데이트할 수 있다(S402).
여기서, 속성 정보는, 디스플레이 화면 중 변경된 영역의 좌표, 인코딩에 의한 패킷 사이즈, 해상도, 타임 스탬프, 초당 프레임 전송수(Frame Per Second, FPS), 디스플레이 화면이 복수 개인 경우 디스플레이 화면의 고유 식별자(Unique ID, UID) 중 적어도 하나 이상을 포함할 수 있음은 상술한 바와 같다.
또한, 본 발명의 일 실시 형태에 의하면, 속성 정보에는 타임 스탬프가 포함되어 있으며, 수신측 영상 처리 장치(130)에서는, 이러한 타임 스탬프를 이용함으로써, 각각 인코딩되어 전송된 2개 이상의 변경된 영역을 동시에 디스플레이할 수 있다.
마지막으로, 디스플레이 드라이버(DD)(135)는, 그래픽 엔진(GE)(121)을 제어하여 비디오 메모리(VM)(134)에 저장된 업데이트된 영상 데이터를 디스플레이 화면 중 변경된 영역에 디스플레이할 수 있다(S403).
본 발명은 상술한 실시형태 및 첨부된 도면에 의해 한정되지 아니한다. 첨부된 청구범위에 의해 권리범위를 한정하고자 하며, 청구범위에 기재된 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 형태의 치환, 변형 및 변경할 수 있다는 것은 당 기술분야의 통상의 지식을 가진 자에게 자명할 것이다.
[부호의 설명]
110: 디스플레이 장치(송신측) 120: 영상 처리 장치(송신측)
121: 그래픽 엔진(송신측) 122: 디스플레이 드라이버(송신측)
123: 비디오 메모리(송신측) 124: 미러 드라이버
125: 변경 데이터 추출부 126: 인코딩부
127: 송신부 128: 비디오 포트(송신측)
130: 영상 처리 장치(수신측) 131: 수신부
132: 디코딩부 133: 변경 데이터 업데이트부
134: 비디오 메모리(수신측) 135: 디스플레이 드라이버(수신측)
136: 그래픽 엔진(수신측) 137: 비디오 포트(수신측)
140: 디스플레이 장치(수신측) 211, 212: 변경된 영역

Claims (7)

  1. 디스플레이 화면을 다수의 영역으로 분할한 후, 분할된 영역별로 대응하는 어드레스에 디스플레이할 영상 데이터를 저장하는 비디오 메모리를 포함하며 커널 모드에서 동작하는 영상 처리 장치에 있어서,
    상기 비디오 메모리의 어드레스에 저장된 영상 데이터의 변경 여부를 모니터링하는 미러 드라이버;
    상기 비디오 메모리의 어드레스에 저장된 영상 데이터가 변경되면, 상기 비디오 메모리로부터 상기 디스플레이 화면 중 변경된 영역에 대한 영상 데이터를 추출하는 변경 데이터 추출부; 및
    상기 추출된 영상 데이터와 함께 상기 추출된 영상 데이터에 대한 속성 정보를 인코딩하는 인코딩부를 포함하며,
    상기 속성 정보는, 상기 디스플레이 화면 중 상기 변경된 영역의 좌표, 상기 인코딩에 의한 패킷 사이즈, 해상도, 타임 스탬프, 초당 프레임 전송수(Frame Per Second, FPS) 및 상기 디스플레이 화면이 복수개인 경우 디스플레이 화면의 고유 식별자(Unique ID, UID)를 포함하는 영상 처리 장치.
  2. 제1항에 있어서,
    상기 인코딩부는,
    상기 추출된 영상 데이터 및 상기 추출된 영상 데이터에 대한 속성 정보를 제이피지(Joint Photograph coding Experts Group, JPEG) 형식으로 인코딩하는 영상 처리 장치.
  3. 제1항에 있어서,
    상기 변경된 영역이 복수개인 경우,
    상기 인코딩부는, 상기 복수개의 변경된 영역들 각각에 대하여, 인코딩하는 영상 처리 장치.
  4. 인코딩된 데이터를 수신하여 디스플레이하는 영상 처리 장치에 있어서,
    상기 인코딩된 데이터를 수신하여 디코딩하는 디코딩부;
    상기 인코딩된 데이터에 포함된 속성 정보에 기초하여, 비디오 메모리에 디스플레이 화면 중 변경된 영역에 대한 영상 데이터를 업데이트하는 변경 데이터 업데이트부; 및
    상기 비디오 메모리에 저장된 업데이트된 영상 데이터를 상기 디스플레이 화면 중 변경된 영역에 디스플레이하는 디스플레이 드라이버를 포함하며,
    상기 인코딩된 데이터는, 상기 인코딩된 데이터를 송신하는 송신측 영상 처리 장치의 디스플레이 화면을 다수의 영역으로 분할한 후 분할된 영역별로 대응하는 어드레스에 디스플레이할 영상 데이터를 저장하는 비디오 메모리의 어드레스에 저장된 영상 데이터의 변경 여부를 모니터링하여 얻은 영상 데이터와 함께 상기 속성 정보를 인코딩한 데이터로, 상기 송신측 영상 처리 장치는 커널 모드에서 동작하며,
    상기 속성 정보는, 상기 디스플레이 화면 중 상기 변경된 영역의 좌표, 상기 인코딩에 의한 패킷 사이즈, 해상도, 타임 스탬프, 초당 프레임 전송수(Frame Per Second, FPS) 및 상기 디스플레이 화면이 복수개인 경우 디스플레이 화면의 고유 식별자(Unique ID, UID)를 포함하는 영상 처리 장치.
  5. 제4항에 있어서,
    상기 디코딩부는,
    비디오 카드의 그래픽 프로세싱 유닛(Graphic Processing Unit, GPU)을 포함하는 영상 처리 장치.
  6. 제4항에 있어서,
    상기 인코딩된 데이터는,
    제이피지(Joint Photograph coding Experts Group, JPEG) 형식인 영상 처리 장치.
  7. 제4항에 있어서,
    상기 변경된 영역이 복수개인 경우,
    상기 인코딩된 데이터는, 상기 복수개의 변경된 영역들 각각에 대하여 인코딩된 데이터인 영상 처리 장치.
PCT/KR2014/008419 2013-09-10 2014-09-05 비디오 메모리의 모니터링을 이용한 영상 처리 장치 WO2015037894A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201480061396.9A CN105993176A (zh) 2013-09-10 2014-09-05 利用视频存储器的监控的图像处理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2013-0108649 2013-09-10
KR20130108649A KR101410837B1 (ko) 2013-09-10 2013-09-10 비디오 메모리의 모니터링을 이용한 영상 처리 장치

Publications (1)

Publication Number Publication Date
WO2015037894A1 true WO2015037894A1 (ko) 2015-03-19

Family

ID=51133783

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/008419 WO2015037894A1 (ko) 2013-09-10 2014-09-05 비디오 메모리의 모니터링을 이용한 영상 처리 장치

Country Status (3)

Country Link
KR (1) KR101410837B1 (ko)
CN (1) CN105993176A (ko)
WO (1) WO2015037894A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106254805A (zh) * 2016-07-28 2016-12-21 浙江大华技术股份有限公司 一种录像数据的存储方法、装置及录像机

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101710011B1 (ko) * 2015-05-29 2017-03-08 엔쓰리엔 주식회사 영상 데이터 전송 및 수신 방법 및 장치
KR101839415B1 (ko) * 2017-02-20 2018-03-16 엔쓰리엔 주식회사 영상 데이터 전송 및 수신 방법 및 장치
CN111263198A (zh) * 2020-02-16 2020-06-09 袁芳 一种视频资源的盗版追踪方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1069265A (ja) * 1996-08-28 1998-03-10 Nec Field Service Ltd 表示領域切換システム
KR20020047978A (ko) * 2000-12-15 2002-06-22 구자홍 디지털 영상 녹화 시스템의 압축저장방법
KR20050105550A (ko) * 2004-04-30 2005-11-04 삼성전자주식회사 평균 히스토그램 오차 방식을 이용한 ｈ．263/ｍｐｅｇ비디오 인코더 및 그 제어 방법
JP2007166013A (ja) * 2005-12-09 2007-06-28 Ricoh Co Ltd 画像処理方式、画像処理方法、画像処理プログラム及び画像処理プログラムを記録した記録媒体
KR20080006295A (ko) * 2006-07-12 2008-01-16 엠텍비젼 주식회사 제이펙 이미지 처리 방법, 이미지 처리 장치 및 이를구현하기 위한 프로그램이 기록된 기록매체
KR20120091550A (ko) * 2011-02-09 2012-08-20 주식회사 글로벌미디어테크 범용 그래픽 처리장치의 병렬 프로세서를 이용한 고속 영상 처리 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5680283B2 (ja) * 2008-09-19 2015-03-04 株式会社Ｎｔｔドコモ 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び動画像復号プログラム
CN101582046B (zh) * 2009-06-26 2011-12-07 浪潮电子信息产业股份有限公司 一种高可用的系统状态监控、预测以及智能管理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1069265A (ja) * 1996-08-28 1998-03-10 Nec Field Service Ltd 表示領域切換システム
KR20020047978A (ko) * 2000-12-15 2002-06-22 구자홍 디지털 영상 녹화 시스템의 압축저장방법
KR20050105550A (ko) * 2004-04-30 2005-11-04 삼성전자주식회사 평균 히스토그램 오차 방식을 이용한 ｈ．263/ｍｐｅｇ비디오 인코더 및 그 제어 방법
JP2007166013A (ja) * 2005-12-09 2007-06-28 Ricoh Co Ltd 画像処理方式、画像処理方法、画像処理プログラム及び画像処理プログラムを記録した記録媒体
KR20080006295A (ko) * 2006-07-12 2008-01-16 엠텍비젼 주식회사 제이펙 이미지 처리 방법, 이미지 처리 장치 및 이를구현하기 위한 프로그램이 기록된 기록매체
KR20120091550A (ko) * 2011-02-09 2012-08-20 주식회사 글로벌미디어테크 범용 그래픽 처리장치의 병렬 프로세서를 이용한 고속 영상 처리 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106254805A (zh) * 2016-07-28 2016-12-21 浙江大华技术股份有限公司 一种录像数据的存储方法、装置及录像机

Also Published As

Publication number Publication date
CN105993176A (zh) 2016-10-05
KR101410837B1 (ko) 2014-06-24

Similar Documents

Publication Publication Date Title
WO2020138680A1 (en) Image processing apparatus and image processing method thereof
WO2015037894A1 (ko) 비디오 메모리의 모니터링을 이용한 영상 처리 장치
WO2020207030A1 (zh) 视频编码方法、系统、设备及计算机可读存储介质
WO2018169367A1 (en) Method and apparatus for packaging and streaming of virtual reality media content
EP3533025A1 (en) Virtual reality experience sharing
WO2018155824A1 (en) Display apparatus and control method thereof
WO2014142557A1 (en) Electronic device and method for processing image
WO2020071808A1 (en) Improving prediction for matched patch index coding
EP3545684A1 (en) Electronic apparatus and method of operating the same
WO2019035581A1 (ko) 서버, 디스플레이장치 및 그 제어방법
WO2018225949A1 (en) Method and apparatus for determining a motion vector
WO2016111470A1 (ko) 마스터 기기, 슬레이브 기기 및 그 제어 방법
WO2013048105A1 (en) Apparatus for transmitting image data
WO2018164527A1 (en) Display apparatus and control method thereof
WO2016052908A1 (en) Transmitter, receiver, and control method thereof
WO2020122478A2 (ko) 기계 학습 기반으로 파라미터를 학습하는 영상 처리 장치 및 동작 방법
WO2015102248A1 (en) Display apparatus and channel map managing method thereof
WO2014073939A1 (en) Method and apparatus for capturing and displaying an image
WO2018034535A1 (en) Display apparatus and content display method thereof
WO2018101533A1 (ko) 영상 처리 장치 및 방법
WO2021107293A1 (en) Electronic apparatus and control method thereof
WO2015152485A1 (ko) 영상 신호 전송 방법 및 장치
WO2021054511A1 (ko) 전자 장치 및 그 제어 방법
WO2014021566A1 (en) Display apparatus, image post-processing apparatus and method for image post-processing of contents
WO2018093198A1 (en) Image processing apparatus and control method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14844011

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14844011

Country of ref document: EP

Kind code of ref document: A1