KR20150089656A - Method and video transmission server for transmitting motion vector, and method and device for reproducing video - Google Patents

Method and video transmission server for transmitting motion vector, and method and device for reproducing video Download PDF

Info

Publication number
KR20150089656A
KR20150089656A KR1020140010549A KR20140010549A KR20150089656A KR 20150089656 A KR20150089656 A KR 20150089656A KR 1020140010549 A KR1020140010549 A KR 1020140010549A KR 20140010549 A KR20140010549 A KR 20140010549A KR 20150089656 A KR20150089656 A KR 20150089656A
Authority
KR
South Korea
Prior art keywords
motion vector
motion
representative
moving picture
frame
Prior art date
Application number
KR1020140010549A
Other languages
Korean (ko)
Other versions
KR101760760B1 (en
Inventor
김준원
이주현
강경모
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020140010549A priority Critical patent/KR101760760B1/en
Publication of KR20150089656A publication Critical patent/KR20150089656A/en
Application granted granted Critical
Publication of KR101760760B1 publication Critical patent/KR101760760B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43Hardware specially adapted for motion estimation or compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/56Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search

Abstract

The present invention relates to a method for transmitting a motion vector, which comprises the steps of: determining a first motion vector corresponding to a first motion section of an object in a video; determining a second motion vector corresponding to a second motion section of the object; grouping the first motion vector and the second motion vector together; determining a representative motion vector corresponding to the group based on at least one among the first motion vector and the second motion vector; and transmitting the video and the representative motion vector to a device. The representative motion vector provides a method for restoring an image loss in the first motion section or the second motion section.

Description

움직임 벡터를 전송하는 방법 및 동영상 전송 서버, 그리고 동영상 재생 방법 및 디바이스{METHOD AND VIDEO TRANSMISSION SERVER FOR TRANSMITTING MOTION VECTOR, AND METHOD AND DEVICE FOR REPRODUCING VIDEO}TECHNICAL FIELD [0001] The present invention relates to a method and a device for transmitting a motion vector, a moving picture transmission server, and a moving picture playback method and device,

움직임 벡터를 전송하는 방법 및 동영상 전송 서버, 그리고 동영상 재생 방법 및 디바이스에 관한 것이다. A method of transmitting a motion vector, a moving picture transmission server, and a moving picture reproducing method and device.

최근 멀티미디어 디스플레이의 하드웨어적 성능이 높아지고 소비자들의 초고해상도에 대한 욕구가 강해지면서 초고해상도 영상을 위한 비디오 부호화 표준이 요구되었다. 멀티미디어 데이터를 전송하는 네트워크의 대역폭이 충분히 증가했다고는 하지만 더 높은 화질을 위해서는 여전히 영상 부호화 성능은 중요하다. Recently, as the hardware performance of multimedia display has increased and consumers' desire for ultra high resolution has become stronger, a video coding standard for ultra high resolution images has been demanded. Although the bandwidth of the network that transmits multimedia data has increased sufficiently, image coding performance is still important for higher image quality.

일반적인 영상 압축을 위한 부호화기는 복원된 영상의 화소 데이터를 저장 용량이 큰 외부 프레임 메모리에 저장하고, 이 프레임 메모리에 저장된 현재의 영상 화소와 복원된 영상 화소를 움직임 추정 장치로 읽어 들여 계산한다. An encoder for general image compression stores pixel data of a reconstructed image in an external frame memory having a large storage capacity and reads the current image pixel and the reconstructed image pixel stored in the frame memory by a motion estimation device.

이와 관련하여 한국공개특허 2008-0084890호에는 동영상 데이터의 복호화 시에 역 양자화, 역 주파수 변환의 과정을 제거하여 간단하게 픽셀 영역에서 복호화할 수 있도록 하는 효율적인 동영상 데이터의 부호화 복호화 장치 및 그 방법이 개시되어 있다. Korean Unexamined Patent Publication No. 2008-0084890 discloses an efficient encoding and decoding apparatus for moving picture data, which can easily perform decoding in a pixel region by eliminating a process of inverse quantization and inverse frequency conversion when decoding moving picture data. .

동영상 내 객체의 움직임 구간에 대응하는 움직임 벡터를 결정하고 움직임 벡터를 이용함으로써, 동영상 내 영상 손실을 복원하는 방법, 서버 및 디바이스를 제공하고자 한다. 또한, 객체를 한정하고 재생시간에서 반복되는 구간으로 한정함으로써, 소모되는 시간과 품질을 보장하는 방법, 서버 및 디바이스를 제공하고자 한다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 더 존재할 수 있다. A method, server and device for restoring a video loss in a moving picture by determining a motion vector corresponding to a motion duration of an object in the moving picture and using a motion vector. It is also an object of the present invention to provide a method, a server and a device for ensuring time and quality consumed by limiting an object and limiting it to an interval that is repeated in a playback time. It is to be understood, however, that the technical scope of the present invention is not limited to the above-described technical problems, and other technical problems may be present.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는 동영상 내 객체의 제 1 움직임 구간에 대응하는 제 1 움직임 벡터를 결정하는 단계, 객체의 제 2 움직임 구간에 대응하는 제 2 움직임 벡터를 결정하는 단계, 제 1 움직임 벡터와 제 2 움직임 벡터를 동일한 그룹으로 결정하는 단계, 제 1 움직임 벡터 및 제 2 움직임 벡터 중 적어도 하나 이상에 기초하여 그룹에 대응하는 대표 움직임 벡터를 결정하는 단계, 동영상 및 대표 움직임 벡터를 디바이스로 전송하는 단계를 포함하되, 대표 움직임 벡터는 제 1 움직임 구간 또는 제 2 움직임 구간의 영상 손실을 복원하기 위한 방법을 제공할 수 있다. According to an aspect of the present invention, there is provided a method for generating a motion vector, the method comprising: determining a first motion vector corresponding to a first motion duration of an object in a moving image; Determining a motion vector, determining a first motion vector and a second motion vector as the same group, determining a representative motion vector corresponding to the group based on at least one of the first motion vector and the second motion vector And transmitting the representative motion vector to the device, wherein the representative motion vector may provide a method for recovering a video loss of the first motion interval or the second motion interval.

또한, 본 발명의 다른 실시예에 있어서, 동영상 내 객체의 제 1 움직임 구간에 대응하는 제 1 움직임 벡터를 결정하고, 객체의 제 2 움직임 구간에 대응하는 제 2 움직임 벡터를 결정하는 움직임 벡터 결정부, 제 1 움직임 벡터와 제 2 움직임 벡터를 동일한 그룹으로 결정하는 그룹 결정부, 제 1 움직임 벡터 및 제 2 움직임 벡터 중 적어도 하나 이상에 기초하여 그룹에 대응하는 대표 움직임 벡터를 결정하는 대표 움직임 벡터 결정부, 동영상 및 대표 움직임 벡터를 디바이스로 전송하는 전송부를 포함하되, 대표 움직임 벡터는 상기 제 1 움직임 구간 또는 제 2 움직임 구간의 영상 손실을 복원하기 위한 동영상 전송 서버를 제공할 수 있다. According to another embodiment of the present invention, there is provided a motion vector estimating method for determining a first motion vector corresponding to a first motion duration of an object in a moving image, and determining a second motion vector corresponding to a second motion duration of the object, A group determination unit for determining the first motion vector and the second motion vector as the same group, a representative motion vector determination unit for determining a representative motion vector corresponding to the group based on at least one of the first motion vector and the second motion vector, And a transmitting unit for transmitting the moving picture, the moving picture, and the representative motion vector to the device, wherein the representative motion vector may provide a moving picture transmission server for restoring the video loss of the first moving time period or the second moving time period.

또한, 본 발명의 다른 실시예에 있어서, 동영상 전송 서버로부터 동영상 및 대표 움직임 벡터를 수신하는 단계, 동영상 내 영상 손실의 발생을 인식하는 단계, 대표 움직임 벡터를 이용하여 영상 손실을 복원하는 단계, 복원 결과에 기초하여 동영상을 재생하는 단계를 포함하되, 대표 움직임 벡터는 동영상 내 객체의 제 1 움직임 구간 또는 제 2 움직임 구간의 영상 손실을 복원하기 위한 방법을 제공할 수 있다. According to another embodiment of the present invention, there is provided a method for restoring video data, comprising the steps of: receiving a moving picture and a representative motion vector from a moving picture transmission server; recognizing occurrence of a video loss in the moving picture; And reproducing the moving picture based on the result, wherein the representative motion vector may provide a method for recovering a video loss of a first motion interval or a second motion interval of an object in the moving picture.

또한, 본 발명의 다른 실시예에 있어서, 동영상 전송 서버로부터 동영상 및 대표 움직임 벡터를 수신하는 수신부, 동영상 내 영상 손실을 인식하는 영상 손실 인식부, 대표 움직임 벡터를 이용하여 영상 손실을 복원하는 복원부, 복원 결과에 기초하여 동영상을 재생하는 재생부를 포함하되, 대표 움직임 벡터는 동영상 내 객체의 제 1 움직임 구간 또는 제 2 움직임 구간의 영상 손실을 복원하기 위한 디바이스를 제공할 수 있다. In addition, in another embodiment of the present invention, there is provided a motion compensation method comprising: a receiving unit that receives a moving picture and a representative motion vector from a moving picture transmission server; a video loss recognizing unit that recognizes a video loss in the moving picture; And a playback unit for playing back the moving image based on the restoration result. The representative motion vector may provide a device for restoring a video loss of a first motion interval or a second motion interval of an object in the moving image.

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다. The above-described task solution is merely exemplary and should not be construed as limiting the present invention. In addition to the exemplary embodiments described above, there may be additional embodiments described in the drawings and the detailed description of the invention.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 동영상 내 객체의 움직임 구간에 대응하는 움직임 벡터를 결정하고 움직임 벡터를 이용함으로써, 동영상 내 영상 손실을 복원하는 방법, 서버 및 디바이스를 제공할 수 있다. 또한, 객체를 한정하고 재생시간에서 반복되는 구간으로 한정함으로써, 소모되는 시간과 품질을 보장하는 방법, 서버 및 디바이스를 제공할 수 있다. According to one of the above-mentioned objects of the present invention, there is provided a method, a server and a device for restoring a video loss in a moving picture by determining a motion vector corresponding to a moving interval of an object in the moving picture and using a motion vector have. It is also possible to provide a method, a server and a device for ensuring time and quality consumed by limiting an object and limiting it to a repeated section in the playback time.

도 1은 본 발명의 일 실시예에 따른 동영상 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 동영상 전송 서버의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 디바이스의 구성도이다.
도 4는 동영상 및 대표 움직임 벡터 전송의 일 예를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 동영상 내 손실 영상을 복원하는 과정을 나타낸 신호 흐름도이다.
도 6은 본 발명의 다른 실시예에 따른 동영상 내 손실 영상을 복원하는 과정을 나타낸 신호 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 움직임 벡터를 이용하여 동영상 내 손실 영상을 복원하고 재생하는 방법을 나타내는 순서도이다.
도 8은 본 발명의 일 실시예에 따른 움직임 벡터와 동영상 전송 방법을 나타내는 순서도이다.
1 is a block diagram of a moving picture system according to an embodiment of the present invention.
2 is a configuration diagram of a moving picture transmission server according to an embodiment of the present invention.
3 is a configuration diagram of a device according to an embodiment of the present invention.
4 is a diagram illustrating an example of moving picture and representative motion vector transmission.
FIG. 5 is a signal flow diagram illustrating a process of reconstructing a lost video image according to an embodiment of the present invention.
6 is a signal flow diagram illustrating a process of reconstructing a lost video image according to another embodiment of the present invention.
7 is a flowchart illustrating a method of reconstructing and recovering a lost video in a moving picture using a motion vector according to an embodiment of the present invention.
8 is a flowchart illustrating a motion vector and a motion picture transmission method according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. Throughout the specification, when a part is referred to as being "connected" to another part, it includes not only "directly connected" but also "electrically connected" with another part in between . Also, when an element is referred to as "comprising ", it means that it can include other elements as well, without departing from the other elements unless specifically stated otherwise.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. In this specification, the term " part " includes a unit realized by hardware, a unit realized by software, and a unit realized by using both. Further, one unit may be implemented using two or more hardware, or two or more units may be implemented by one hardware.

본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다. In this specification, some of the operations or functions described as being performed by the terminal or the device may be performed in the server connected to the terminal or the device instead. Similarly, some of the operations or functions described as being performed by the server may also be performed on a terminal or device connected to the server.

이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 동영상 시스템의 구성도이다. 도 1을 참조하면, 동영상 시스템은 동영상 전송 서버(10), 디바이스(20)를 포함할 수 있다. 다만, 도 1에 도시된 동영상 시스템은 본 발명의 일 실시예에 불과하므로, 본 발명이 도 1에 도시된 예로 한정되어 해석되는 것은 아니다. 1 is a block diagram of a moving picture system according to an embodiment of the present invention. Referring to FIG. 1, a moving picture system may include a moving picture transmission server 10, a device 20, and the like. However, since the moving picture system shown in FIG. 1 is only an embodiment of the present invention, the present invention is not limited to the example shown in FIG.

도 1의 각 구성요소는 일반적으로 네트워크를 통해 연결될 수 있다. 네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(network)의 일 예에는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, WIMAX(World Interope rability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크 등이 포함되나 이에 한정되지는 않는다. Each component of Fig. 1 may generally be connected via a network. The network refers to a connection structure in which information can be exchanged between each node such as terminals and servers. One example of such a network is a 3rd Generation Partnership Project (3GPP) network, a Long Term Evolution (LTE) , A WIMAX (World Interoperability for Microwave Access) network, the Internet, a LAN (Local Area Network), a wireless LAN (Local Area Network), a WAN ) Networks, satellite broadcast networks, analog broadcast networks, and the like.

동영상 전송 서버(10)는 동영상 내 객체의 움직임 구간에 대응하는 복수의 움직임 벡터를 결정할 수 있다. 예를 들면, 동영상 전송 서버(10)는 동영상 내 인물 중 "타이거우즈"라는 인물이 드라이버 샷을 치는 움직임 구간에서 복수의 움직임 벡터를 결정할 수 있다. 이 때, 움직임 구간은 동영상 내 프레임과 다른 프레임을 포함할 수 있다. 그리고 움직임 구간에는 움직임 벡터가 존재할 수 있다. 이 때, 움직임 벡터는 프레임에 특정 위치의 블록이 다른 프레임에서 어느 위치로 이동하였는지를 나타내는 방향과 크기에 대한 벡터라 할 수 있다. The moving picture transmission server 10 can determine a plurality of motion vectors corresponding to the motion duration of an object in the moving picture. For example, the moving picture transmission server 10 can determine a plurality of motion vectors in a motion interval in which a person named "Tiger Woods " In this case, the motion section may include a frame different from the frame in the moving image. And a motion vector may exist in the motion section. In this case, the motion vector may be a vector with respect to a direction and a size indicating a position of a block at a specific position in a frame from another frame.

동영상 전송 서버(10)는 복수의 움직임 벡터를 동일한 그룹으로 결정할 수 있다. 예를 들면, 동영상 전송 서버(10)는 "타이거우즈"라는 인물이 드라이버 샷을 치는 복수의 움직임 구간에서의 복수의 움직임 벡터를 동일한 그룹으로 결정할 수 있다. 이 때, 동영상 전송 서버(10)는 복수의 움직임 구간 사이의 유사도를 기초하여 복수의 움직임 벡터를 동일한 그룹으로 결정할 수 있다. 이 때, 유사도는 움직임 구간 사이 움직임 벡터와 다른 움직임 벡터의 유사한 정도에 대한 값일 수 있다. The moving picture transmission server 10 may determine a plurality of motion vectors as the same group. For example, the moving picture transmission server 10 can determine a plurality of motion vectors in a plurality of motion intervals in which a person named "Tiger Woods " At this time, the moving picture transmission server 10 can determine a plurality of motion vectors into the same group based on the similarity between the plurality of motion sections. In this case, the degree of similarity may be a value for similarity between motion vectors between motion intervals and other motion vectors.

또한, 동영상 전송 서버(10)는 복수의 움직임 벡터의 통계적 분석을 기초하여 동일한 그룹으로 결정할 수 있다. 예를 들면, 동영상 전송 서버(10)는 통계적 분석을 통해 설정된 범위 안에 있는 복수의 움직임 벡터를 동일한 그룹으로 결정할 수 있다.  In addition, the moving picture transmission server 10 can determine the same group based on statistical analysis of a plurality of motion vectors. For example, the moving picture transmission server 10 may determine a plurality of motion vectors within the set range as the same group through statistical analysis.

동영상 전송 서버(10)는 특정 그룹의 대표 움직임 벡터를 결정할 수 있다. 이 때, 동영상 전송 서버(10)는 그룹내의 복수의 움직임 벡터 중 하나를 대표 움직임 벡터로 결정할 수 있다. The moving picture transmission server 10 can determine a representative group of representative motion vectors. At this time, the moving picture transmission server 10 may determine one of the plurality of motion vectors in the group as a representative motion vector.

동영상 전송 서버(10)는 동영상 및 대표 움직임 벡터를 디바이스(20)로 전송할 수 있다. 이 때, 동영상 전송 서버(10)는 디바이스(20)로부터 대표 움직임 벡터에 관한 요청에 수신하고 대표 움직임 벡터를 전송할 수 있다. The moving picture transmission server 10 may transmit the moving picture and the representative motion vector to the device 20. [ At this time, the moving picture transmission server 10 may receive the representative motion vector from the device 20 in response to the request for the representative motion vector.

디바이스(20)는 동영상 전송 서버(10)로부터 동영상 및 대표 움직임 벡터를 수신할 수 있다. 이 때, 디바이스(20)는 대표 움직임 벡터를 동영상 전송 서버(10)에게 요청하고, 이에 대한 응답으로서 동영상 전송 서버(10)로부터 대표 움직임 벡터를 수신할 수도 있다. The device 20 may receive the moving picture and the representative motion vector from the moving picture transmission server 10. At this time, the device 20 may request a representative motion vector from the moving image transmission server 10 and receive a representative motion vector from the moving image transmission server 10 as a response thereto.

디바이스(20)는 동영상 내 영상 손실을 인식할 수 있고, 대표 움직임 벡터를 이용하여 영상 손실을 복원할 수 있다. 이 때, 영상 손실의 일 예는 수신 중 발생하는 영상 손실일 수 있다. The device 20 can recognize the video loss in the moving picture and can restore the video loss using the representative motion vector. In this case, an example of a video loss may be a video loss occurring during reception.

또한, 디바이스(20)는 동영상에서 특정 인물이 반복적인 움직임의 패턴을 가지는 영상에 대한 손실을 인식할 수 있다. 예를 들면, 디바이스(20)는 "타이거우즈"가 나오는 장면 중 반복적인 움직임의 패턴을 가지는 드라이브 샷을 치는 장면 중 어느 하나의 프레임에 대한 영상 손실 인식할 수 있다. 그리고 디바이스(20)는 인식된 영상 손실을 동영상 전송 서버(10)로부터 전송받은 대표 움직임 벡터를 이용하여 이러한 영상 손실을 복원할 수 있다. In addition, the device 20 can recognize a loss of an image in which a specific person has a repetitive motion pattern in the moving image. For example, the device 20 can recognize a video loss for any one of a scene in which a drive shot having a repetitive motion pattern is shot among a scene in which "Tiger Woods" appears. The device 20 may recover the lost video using the representative motion vector received from the moving image transmission server 10.

디바이스(20)는 복원한 영상을 기초하여 동영상을 재생할 수 있다. 이 때, 복원한 영상은 움직임 벡터를 이용하여 복원한 영상이다. The device 20 can reproduce the moving image based on the restored image. At this time, the reconstructed image is a reconstructed image using a motion vector.

디바이스(20)는 방송 재생 디바이스(20)로 구현될 수 있다. 예를 들면, 디바이스(20)는 스마트TV, IPTV, PC와 연결된 모니터 및 TV와 연결된 셋탑박스와 같은 방송 영상을 표시할 수 있는 장치를 포함한다. 그리고, 이러한 셋탑박스와 같은 장치는 TV 장치의 내부에 포함될 수 있으며, 외부 장치로서 TV 장치에 연결될 수 있다. The device 20 may be implemented as a broadcast playback device 20. For example, the device 20 includes a device capable of displaying broadcast images such as a smart TV, an IPTV, a monitor connected to the PC, and a set-top box connected to the TV. An apparatus such as a set-top box may be included inside the TV apparatus, and may be connected to the TV apparatus as an external apparatus.

도 1의 각 구성에 대해서 이하의 도면들을 통해 보다 구체적으로 설명하도록 한다. 1 will be described in more detail with reference to the following drawings.

도 2는 본 발명의 일 실시예에 따른 동영상 전송 서버(10)의 구성도이다. 도 2를 참조하면, 동영상 전송 서버(10)는 움직임 벡터 결정부(101), 그룹 결정부(102), 대표 움직임 벡터 결정부(103), 전송부(104), 프레임 분할부(105), 데이터베이스(106)를 포함한다. 다만, 도 2의 동영상 전송 서버(10)의 구성이 도 2에 도시된 것들로 한정되는 것은 아니다. 2 is a configuration diagram of a moving picture transmission server 10 according to an embodiment of the present invention. 2, the moving picture transmission server 10 includes a motion vector determination unit 101, a group determination unit 102, a representative motion vector determination unit 103, a transmission unit 104, a frame division unit 105, And a database 106. However, the configuration of the moving picture transmission server 10 of FIG. 2 is not limited to those shown in FIG.

움직임 벡터 결정부(101)는 동영상 내 객체의 제 1 움직임 구간에 대응하는 제 1 움직임 벡터를 결정하고, 객체의 제 2 움직임 구간에 대응하는 제 2 움직임 벡터를 결정할 수 있다. 이 때, 프레임 분할부(105)는 제 1 움직임 벡터를 결정하는 단계 이전에 동영상을 복수의 프레임으로 분할할 수 있다. The motion vector determination unit 101 may determine a first motion vector corresponding to a first motion duration of an object in a moving image and determine a second motion vector corresponding to a second motion duration of the object. In this case, the frame dividing unit 105 may divide the moving picture into a plurality of frames before the step of determining the first motion vector.

그리고, 제 1 움직임 구간은 동영상의 제 1 프레임과 제 2 프레임을 포함하고, 제 2 움직임 구간은 동영상의 제 3 프레임과 제 4 프레임을 포함하되, 제 1 움직임 벡터는 제 1 프레임과 제 2 프레임 사이의 움직임 벡터이고, 제 2 움직임 벡터는 제 3 프레임과 제 4 프레임 사이의 움직임 벡터일 수 있다. 이 때, 제 2 프레임은 제 1 프레임의 전 프레임이나 후 프레임이 아닐 수 있다. 예를 들면, 제 2 프레임은 제 1 프레임의 전후 시간대의 프레임이 아니라 시간대가 다른 프레임일 수 있다. 그리고 제 4 프레임의 경우에도 제 프레임의 전 프레임이나 후 프레임이 아닐 수 있다. The first motion interval includes a first frame and a second frame of the moving picture, and the second motion interval includes a third frame and a fourth frame of the moving picture. The first motion vector includes a first frame and a second frame, And the second motion vector may be a motion vector between the third frame and the fourth frame. In this case, the second frame may not be the previous frame or the subsequent frame of the first frame. For example, the second frame may be a frame other than the frame before and after the first frame, but different frames of time. Also in the case of the fourth frame, it may not be the previous frame or the latter frame of the current frame.

이 때, 객체는 인물 객체이며, 제 1 움직임 구간과 제 2 움직임 구간은 인물 객체의 움직임이 서로 다른 재생시간에서 반복되는 구간들일 수 있다. 예를 들면, "타이거우즈"라는 인물이 객체가 될 수 있고, 제 1 움직임 구간은 "타이거우즈"가 1번홀에서 드라이버 샷을 치는 움직임 구간일 수 있고, 제 2 움직임 구간은 "타이거우즈"가 3번홀에서 드라이버 샷을 치는 움직임 구간일 수 있다. In this case, the object is a person object, and the first motion interval and the second motion interval may be intervals in which the motion of the person object is repeated at different playback times. For example, a person named "Tiger Woods" may be an object, a first motion segment may be a motion segment where "Tiger Woods " It may be a movement interval to hit a driver's shot at the third hole.

그룹 결정부(102)는 제 1 움직임 벡터와 제 2 움직임 벡터를 동일한 그룹으로 결정할 수 있다. 이 때, 그룹 결정부(102)는 동일한 그룹으로 결정하는 방법의 일예는 제 1 움직임 구간과 제 2 움직임 구간 사이의 유사도에 기초하여 제 1 움직임 벡터와 제 2 움직임 벡터를 동일한 그룹으로 결정할 수 있다. 이 때, 제 1 움직임 구간은 "타이거우즈"가 1번홀에서 드라이버 샷을 치는 제 1 프레임과 제 2 프레임일 수 있고, 제 2 움직임 구간은 "타이거우즈"가 3번홀에서 드라이버 샷을 치는 제 3 프레임과 제 4 프레임일 수 있다. 이 때, 유사도는 움직임 구간 사이의 프레임간의 유사한 정도 일 수 있다. The group determination unit 102 may determine the first motion vector and the second motion vector as the same group. In this case, the group determination unit 102 may determine the first group of motion vectors and the second group of motion vectors as the same group based on the degree of similarity between the first motion period and the second motion period . In this case, the first motion segment may be a first frame and a second frame in which "Tiger Woods" may hit the driver's shot at the first hole, and the second motion segment may be " Tiger Woods " Frame and a fourth frame. At this time, the degree of similarity may be a similar degree between frames between motion intervals.

그룹 결정부(102)에 의해 제 1 움직임 벡터와 제 2 움직임 벡터를 동일한 그룹으로 결정하는 방법의 일예는, 제 1 움직임 벡터와 제 2 움직임 벡터 사이의 유사도에 기초하여 제 1 움직임 벡터와 제 2 움직임 벡터를 동일한 그룹으로 결정하는 것이다. 이 때, 유사도는 제 1 움직임 벡터와 제 2 움직임 벡터의 유사한 정도에 대한 값일 수 있다. An example of a method of determining the first motion vector and the second motion vector by the group determination unit 102 as the same group is to determine the motion vectors of the first motion vector and the second motion vector based on the similarity between the first motion vector and the second motion vector, The motion vectors are determined as the same group. In this case, the degree of similarity may be a value for a similar degree of the first motion vector and the second motion vector.

그룹 결정부(102)는 제 1 움직임 벡터와 제 2 움직임 벡터를 동일한 그룹으로 결정하는 또 다른 방법으로, 복수의 움직임 벡터의 통계적 분석에 기초하여 제 1 움직임 벡터와 제 2 움직임 벡터를 동일한 그룹으로 결정할 수 있다. 예를 들면, 그룹 결정부(102)는 복수의 움직임 벡터를 통계를 통하여 제 1 움직임 벡터와 제 2 움직임 벡터가 서로 연관이 있을 경우 동일한 그룹으로 결정할 수 있다. The group determination unit 102 is a method for determining the first motion vector and the second motion vector as the same group. In the group determination unit 102, the first motion vector and the second motion vector are grouped into the same group based on statistical analysis of the plurality of motion vectors You can decide. For example, the group determination unit 102 may determine a plurality of motion vectors as the same group if the first motion vector and the second motion vector are associated with each other through statistics.

그룹 결정부(102)는 제 1 움직임 벡터와 제 2 움직임 벡터를 동일한 그룹으로 결정하는 또 다른 방법으로, 복수의 움직임 벡터의 통계적 분석에 기초하여 복수의 움직임 벡터의 분포를 결정하고, 결정한 분포에서 오차 범위 이내인 제 1 움직임 벡터와 제 2 움직임 벡터를 동일한 그룹으로 결정할 수 있다. 예를 들면, 그룹 결정부(102)는 복수의 움직임 벡터를 통계하여 복수의 움직임 벡터에 대한 분포를 결정하고, 결정한 분포에서 설정된 오차 범위 이내인 복수의 움직임 벡터를 동일한 그룹으로 결정할 수 있다. The group determination unit 102 determines a distribution of a plurality of motion vectors based on statistical analysis of a plurality of motion vectors as another method of determining the first motion vector and the second motion vector as the same group, The first motion vector and the second motion vector within the error range can be determined to be the same group. For example, the group determination unit 102 may determine a distribution for a plurality of motion vectors by statistically counting a plurality of motion vectors, and may determine a plurality of motion vectors within a predetermined error range in the determined distribution as the same group.

대표 움직임 벡터 결정부(103)는 제 1 움직임 벡터 및 제 2 움직임 벡터 중 적어도 하나 이상에 기초하여 그룹에 대응하는 대표 움직임 벡터를 결정할 수 있다. 예를 들면, 대표 움직임 벡터 결정부(103)는 그룹에 대응하는 움직임 벡터 중 하나를 대표 움직임 벡터로 결정할 수 있다. 이 때, 대표 움직임 벡터 결정부(103)에 의해 대표 움직임 벡터로 결정하는 방법의 일 예는 그룹의 평균에 가장 가까운 움직임 벡터를 대표 움직임 벡터로 결정하는 것을 포함한다. 이 때, 대표 움직임 벡터는 영상 손실을 복원하는데 이용될 수 있다. The representative motion vector determination unit 103 may determine a representative motion vector corresponding to the group based on at least one of the first motion vector and the second motion vector. For example, the representative motion vector determination unit 103 may determine one of the motion vectors corresponding to the group as a representative motion vector. One example of a method of determining a representative motion vector by the representative motion vector determination unit 103 at this time includes determining a motion vector closest to the average of the group as a representative motion vector. At this time, the representative motion vector can be used to recover the video loss.

전송부(104)는 동영상 및 상기 대표 움직임 벡터를 디바이스(20)로 전송할 수 있다. 이 때, 전송부(104)는 대표 움직임 벡터를 포함하는 데이터를 디바이스(20)로 전송하되, 데이터는 제 1 움직임 구간 또는 제 2 움직임 구간에 대응하는 아이디를 더 포함할 수 있다. 이 때, 아이디는 움직임 구간을 구별할 수 있는 아이디, 움직임 벡터를 구별할 수 있는 아이디, 프레임을 구별할 수 있는 아이디, 대표 움직임 벡터를 구별할 수 있는 아이디 등이 있을 수 있다. 전송부(104)는 움직임 구간을 구별할 수 있는 아이디, 움직임 벡터를 구별할 수 있는 아이디, 프레임을 구별할 수 있는 아이디, 대표 움직임 벡터를 구별할 수 있는 아이디 조합해서 하나의 아이디로 생성할 수 있다. The transmitting unit 104 may transmit the moving picture and the representative motion vector to the device 20. In this case, the transmitting unit 104 transmits data including the representative motion vector to the device 20, and the data may further include an ID corresponding to the first motion period or the second motion period. In this case, the ID may include an ID for distinguishing a motion interval, an ID for distinguishing a motion vector, an ID for distinguishing a frame, and an ID for distinguishing a representative motion vector. The transmitting unit 104 can generate an ID that can distinguish a motion interval, an ID that can distinguish a motion vector, an ID that can distinguish a frame, and an ID that can distinguish a representative motion vector, have.

예를 들면, 전송부(104)는 움직임 구간을 구별할 수 있는 아이디와 대표 움직임 벡터를 구별할 수 있는 아이디를 조합한 아이디를 생성하여 대표 움직임 벡터 데이터에 아이디 데이터를 포함 시킬 수 있다. For example, the transmitting unit 104 may generate IDs that combine IDs capable of distinguishing motion intervals and IDs capable of distinguishing motion vectors, and may include ID data in the representative motion vector data.

전송부(104)는 디바이스(20)로부터 대표 움직임 벡터에 관한 요청을 수신할 수 있다. 이 때, 요청에 관한 정보는 제 1 움직임 벡터, 제 2 움직임 벡터 또는 대표 움직임 벡터 중 하나 이상의 아이디를 포함할 수 있다. 예를 들면, 전송부(104)는 디바이스(20)로부터 대표 움직임 벡터 아이디와 함께 대표 움직임 벡터를 전송해달라는 요청을 수신할 수 있다. 전송부(104)는 디바이스(20)로부터 요청받은 대표 움직임 벡터를 전송할 수 있다. The transfer unit 104 may receive a request for a representative motion vector from the device 20. At this time, the information on the request may include one or more IDs of the first motion vector, the second motion vector, or the representative motion vector. For example, the transfer unit 104 may receive a request from the device 20 to transfer the representative motion vector along with the representative motion vector ID. The transmitting unit 104 may transmit the requested representative motion vector from the device 20.

전송부(104)는 스트리밍을 통해 동영상 및 대표 움직임 벡터를 함께 전송할 수 있다. 예를 들면, 전송부(104)는 스트리밍을 통해 실시간으로 동영상과 대표 움직임 벡터를 제공할 수 있다. The transmitting unit 104 may transmit the moving picture and the representative motion vector together through the streaming. For example, the transmitting unit 104 may provide moving pictures and representative motion vectors in real time through streaming.

데이터베이스(106)는 제 1 움직임 벡터 및 제 2 움직임 벡터 중 적어도 하나 이상과 매핑한 대표 움직임 벡터를 저장할 수 있다. 이 때, 대표 움직임 벡터는 제 1 움직임 벡터 및 제 2 움직임 벡터 중 하나 일 수 있고, 대표 움직임 벡터 아이디를 포함하여 저장할 수 있다. The database 106 may store a representative motion vector mapped to at least one of the first motion vector and the second motion vector. In this case, the representative motion vector may be one of a first motion vector and a second motion vector, and may include a representative motion vector ID.

도 4는 동영상 및 대표 움직임 벡터 전송 일 예를 나타낸 도면이다. 도 4를 참조하면, 위에서부터 첫번째 프레임(30)은 가장 많은 프레임을 전송하고 내려갈수록 적은 프레임을 전송한 도면이다. 두번째, 세번째, 네번째, 프레임과 첫번째 프레임(30)이 다른 점은 움직임 벡터를 보내는 것과 보내지 않는 것에 대한 차이다. 첫번째 프레임(30)처럼 모든 프레임을 전송하는게 아닌 특정 프레임과 움직임 벡터를 전송함으로써, 전송비용을 절약할 수 있다. 4 is a diagram illustrating an example of moving picture and representative motion vector transmission. Referring to FIG. 4, the first frame 30 from the top transmits the largest number of frames, and transmits the smaller number of frames. The difference between the second, third, fourth, and first frames 30 is the difference between sending and not sending motion vectors. By transmitting a specific frame and a motion vector instead of transmitting all the frames as in the first frame 30, the transmission cost can be saved.

도 3은 본 발명의 일 실시예에 따른 디바이스(20)의 구성도이다. 도 3을 참조하면, 디바이스(20)는 수신부(201), 영상 손실 인식부(202), 복원부(203), 재생부(204)를 포함할 수 있다. 다만, 디바이스(20)의 구성이 도 3으로 한정되는 것은 아니다. 3 is a configuration diagram of a device 20 according to an embodiment of the present invention. Referring to FIG. 3, the device 20 may include a receiving unit 201, a video loss recognizing unit 202, a restoring unit 203, and a reproducing unit 204. However, the configuration of the device 20 is not limited to Fig.

수신부(201)는 동영상 전송 서버(10)로부터 동영상 및 대표 움직임 벡터를 수신할 수 있다. 이 때, 대표 움직임 벡터의 경우 디바이스(20)의 요청에 따라 대표 움직임 벡터를 수신할 수 있다. The receiving unit 201 may receive a moving picture and a representative motion vector from the moving picture transmission server 10. At this time, in case of the representative motion vector, the representative motion vector can be received at the request of the device 20.

영상 손실 인식부(202)는 동영상 내 영상 손실을 인식할 수 있다. 이 때, 영상 손실은 동영상 전송 서버(10)로부터 전송 과정 중에 영상 손실이 있을 수 있다. 그리고 영상 손실 인식부(202)는 동영상 내 영상 손실 인식을 전부 인식하는 것이 아닌 동영상 내 객체와 관련된 반복되는 움직임 구간만을 한정하여 인식할 수 있다. 예를 들면, 영상 손실 인식부(202)는 "타이거우즈"가 드라이버 샷을 치는 장면 중 영상 손실을 인식할 수 있다. The video loss recognition unit 202 can recognize a video loss in a moving image. At this time, the video loss may be a video loss from the moving picture transmission server 10 during the transmission process. Then, the video loss recognition unit 202 can recognize only the repeated motion interval related to the object in the video, not the whole video loss recognition. For example, the video loss recognition unit 202 can recognize a video loss during a scene in which "Tiger Woods "

복원부(203)는 대표 움직임 벡터를 이용하여 영상 손실을 복원할 수 있다. 예를 들면, 복원부(203)는 "타이거우즈"가 1번홀에서 드라이버 샷을 치는 제 1 프레임에서 영상이 손실이 인식되면, 대표 움직임 벡터를 이용하여 1번홀에서 드라이버 샷을 치는 제 2 프레임의 블록을 복사하는 방법을 사용하여 복원하거나, 대표 움직임 벡터를 이용하여 3번홀에서 드라이버 샷을 치는 제 3 프레임의 블록을 복사하는 방법을 사용할 수 있다. The restoring unit 203 may restore the video loss using the representative motion vector. For example, when the loss of an image is recognized in the first frame in which "Tiger Woods" picks up the driver's shot at the first hole, the restoring unit 203 uses the representative motion vector A method of copying a block of a third frame which takes a driver shot at the third hole by using a representative motion vector may be used.

제 2 프레임의 블록을 복사하는 방법을 사용해서 복원할 수 있다. A method of copying the block of the second frame can be used.

재생부(204)는 복원 결과에 기초하여 동영상을 재생할 수 있다. 예를 들면, 재생부(204)는 "타이거우즈"가 드라이버 샷을 치는 장면 중 손실된 영상을 복원한 프레임을 포함한 동영상을 재생할 수 있다. The reproducing unit 204 can reproduce the moving image based on the restoration result. For example, the playback unit 204 may play back a moving image including a frame in which a lost image is restored during a scene in which "Tiger Woods "

도 5는 본 발명의 일 실시예에 따른 동영상 내 손실 영상을 복원하는 과정을 나타낸 신호 흐름도이다. 단계 S501에서 동영상 전송 서버(10)는 동영상을 복수의 프레임으로 분할할 수 있다. 이 때, 동영상 전송 서버(10)는 프레임으로 분할하여 움직임 벡터를 결정하는데 이용할 수 있다. FIG. 5 is a signal flow diagram illustrating a process of reconstructing a lost video image according to an embodiment of the present invention. In step S501, the moving picture transmission server 10 may divide the moving picture into a plurality of frames. At this time, the moving picture transmission server 10 can be used to determine a motion vector by dividing into frames.

단계 S502에서 동영상 전송 서버(10)는 제 1 움직임 벡터를 결정할 수 있다. 이 때, 제 1 움직임 벡터는 제 1 움직임 구간에 대응하는 움직임 벡터이며, 제 1 움직임 구간은 제 1 프레임과 제 2 프레임을 포함하고, 제 1 움직임 벡터는 제 1 프레임과 제 2 프레임 사이의 움직임 벡터일 수 있다. In step S502, the moving picture transmission server 10 may determine the first motion vector. In this case, the first motion vector is a motion vector corresponding to the first motion interval, the first motion interval includes a first frame and a second frame, the first motion vector includes motion between the first frame and the second frame Lt; / RTI >

단계 S503에서 동영상 전송 서버(10)는 제 2 움직임 벡터를 결정할 수 있다. 이 때, 제 2 움직임 벡터는 제 2 움직임 구간에 대응하는 움직임 벡터이며, 제 2 움직임 구간은 제 3 프레임과 제 4 프레임을 포함하고, 제 2 움직임 벡터는 제 3 프레임과 제 4 프레임 사이의 움직임 벡터일 수 있다. In step S503, the moving picture transmission server 10 may determine the second motion vector. In this case, the second motion vector is a motion vector corresponding to the second motion interval, the second motion interval includes the third frame and the fourth frame, and the second motion vector includes motion between the third frame and the fourth frame Lt; / RTI >

단계 S504에서 동영상 전송 서버(10)는 제 1 움직임 벡터와 제 2 움직임 벡터를 동일한 그룹으로 결정할 수 있다. 이 때, 동영상 전송 서버(10)는 복수의 움직임 벡터의 통계적 분석에 기초하여 복수의 움직임 벡터의 분포를 결정하고, 결정한 분포에서 오차 범위 이내인 제 1 움직임 벡터와 제 2 움직임 벡터를 동일한 그룹으로 결정할 수 있다. 예를 들면, 동영상 전송 서버(10)는 복수의 움직임 벡터를 통계하여 복수의 움직임 벡터에 대한 분포를 결정하고, 결정한 분포에서 설정된 오차 범위 이내인 복수의 움직임 벡터를 동일한 그룹으로 결정할 수 있다. In step S504, the moving picture transmission server 10 may determine the first motion vector and the second motion vector as the same group. At this time, the moving picture transmission server 10 determines the distribution of the plurality of motion vectors based on the statistical analysis of the plurality of motion vectors, and divides the first motion vector and the second motion vector within the error range into the same group You can decide. For example, the moving picture transmission server 10 may determine a distribution for a plurality of motion vectors by counting a plurality of motion vectors, and may determine a plurality of motion vectors within a predetermined error range in the determined distribution as the same group.

단계 S505에서 동영상 전송 서버(10)는 대표 움직임 벡터를 결정할 수 있다. 이 때, 동영상 전송 서버(10)는 제 1 움직임 벡터 및 제 2 움직임 벡터 중 적어도 하나 이상에 기초하여 그룹에 대응하는 대표 움직임 벡터를 결정할 수 있다. 예를 들면, 동영상 전송 서버(10)는 그룹에 대응하는 움직임 벡터 중 하나를 대표 움직임 벡터로 결정할 수 있다. 이 때, 동영상 전송 서버(10)는 대표 움직임 벡터로 결정하는 방법에 일예로 그룹의 움직임 벡터 중 평균에 가장 가까운 움직임 벡터를 대표 움직임 벡터로 결정할 수 있다. In step S505, the moving picture transmission server 10 may determine a representative motion vector. At this time, the moving picture transmission server 10 may determine a representative motion vector corresponding to the group based on at least one of the first motion vector and the second motion vector. For example, the moving picture transmission server 10 may determine one of the motion vectors corresponding to the group as a representative motion vector. In this case, the moving picture transmission server 10 may determine a motion vector that is the closest to the average among the group of motion vectors as a representative motion vector.

단계 S506에서 동영상 전송 서버(10)는 동영상 및 대표 움직임 벡터를 디바이스(20)로 전송할 수 있다. 이 때, 동영상 전송 서버(10)는 대표 움직임 벡터를 포함하는 데이터를 디바이스(20)로 전송하되, 데이터는 제 1 움직임 구간 또는 제 2 움직임 구간에 대응하는 아이디를 더 포함할 수 있다. 이 때, 아이디는 움직임 구간을 구별할 수 있는 아이디, 움직임 벡터를 구별할 수 있는 아이디, 프레임을 구별할 수 있는 아이디, 대표 움직임 벡터를 구별할 수 있는 아이디 등이 있을 수 있고, 이들 아이디는 조합해서 하나의 아이디로 생성할 수 있다. In step S506, the moving picture transmission server 10 may transmit the moving picture and the representative motion vector to the device 20. [ At this time, the moving picture transmission server 10 transmits data including the representative motion vector to the device 20, and the data may further include an ID corresponding to the first motion interval or the second motion interval. In this case, the ID may be an ID for distinguishing a motion interval, an ID for distinguishing a motion vector, an ID for distinguishing a frame, an ID for distinguishing a representative motion vector, It can be created with a single ID.

예를 들면, 동영상 전송 서버(10)는 움직임 구간을 구별할 수 있는 아이디와 대표 움직임 벡터를 구별할 수 있는 아이디를 포함한 아이디를 생성하여 대표 움직임 벡터를 포함하는 데이터에 포함 시킬 수 있다. For example, the moving picture transmission server 10 may generate an ID including an ID capable of distinguishing a motion interval and an ID capable of distinguishing a representative motion vector, and may include the ID in the data including the representative motion vector.

또한, 동영상 전송 서버(10)는 스트리밍을 통해 동영상 및 대표 움직임 벡터를 함께 전송할 수 있다. 예를 들면, 동영상 전송 서버(10)는 스트리밍을 통해 실시간으로 동영상과 대표 움직임 벡터를 제공할 수 있다. In addition, the moving picture transmission server 10 may transmit moving pictures and representative motion vectors together through streaming. For example, the moving picture transmission server 10 can provide moving pictures and representative motion vectors in real time through streaming.

단계 S507에서 디바이스(20)는 동영상 내 영상 손실의 발생을 인식할 수 있다. 이 때, 영상 손실의 일예로 동영상 전송 서버(10)로부터 전송 과정 중에 영상 손실이 있을 수 있다. 이 때, 디바이스(20)는 동영상 내 영상 손실 인식은 전부를 인식하는 것이 아닌 동영상 내 객체와 관련된 반복되는 움직임 구간만을 한정할 수 있다. 예를 들면, 디바이스(20)는 "타이거우즈"가 드라이버 샷을 치는 장면 중 영상 손실을 인식할 수 있다. In step S507, the device 20 can recognize occurrence of video loss in the moving image. At this time, as an example of video loss, video loss may occur during transmission from the moving picture transmission server 10. At this time, the device 20 can limit only the repeated motion interval related to the object in the moving picture, not recognizing all the video loss in motion pictures. For example, the device 20 may recognize a video loss during a scene in which "Tiger Woods "

단계 S508에서 디바이스(20)는 대표 움직임 벡터를 이용하여 영상 손실을 복원할 수 있다. 예를 들면, 디바이스(20)는 "타이거우즈"가 드라이버 샷을 치는 제 1 프레임에서 영상이 손실이 인식되면, 대표 움직임 벡터를 이용하여 제 2 프레임의 블록을 복사하는 방법을 사용해서 복원할 수 있다. In step S508, the device 20 may recover the video loss using the representative motion vector. For example, the device 20 may restore using a method of copying a block of a second frame using a representative motion vector if a loss of the image is recognized in the first frame in which "Tiger Woods" have.

단계 S509에서 디바이스(20)는 동영상 재생을 할 수 있다. 이 때, 디바이스(20)는 동영상은 손실된 영상을 복원한 결과에 기초하여 동영상을 재생할 수 있다. 예를 들면, 디바이스(20)는 "타이거우즈"가 드라이버 샷을 치는 장면 중 손실된 영상을 복원한 프레임을 포함한 동영상을 재생할 수 있다. In step S509, the device 20 can play back moving pictures. At this time, the device 20 can reproduce the moving image based on the result of restoring the lost image. For example, the device 20 can play back a moving image including a frame in which a lost image is restored during a scene in which "Tiger Woods "

상술한 설명에서, 단계 S501 내지 S509는 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. In the above description, steps S501 to S509 may be further divided into additional steps or combined into fewer steps, according to an embodiment of the present invention. Also, some of the steps may be omitted as necessary, and the order between the steps may be changed.

도 6은 본 발명의 다른 실시예에 따른 동영상 내 손실 영상을 복원하는 과정을 나타낸 신호 흐름도이다. 단계 S601부터 단계 S605까지의 순서는 도 5의 단계 S501부터 단계 S505까지의 설명과 동일하므로 생략할 수 있다. 6 is a signal flow diagram illustrating a process of reconstructing a lost video image according to another embodiment of the present invention. The procedure from step S601 to step S605 is the same as the description from step S501 to step S505 in Fig. 5 and can be omitted.

단계 S606에서 동영상 전송 서버(10)는 동영상을 디바이스(20)로 전송할 수 있다. 단계 S507에서 디바이스(20)는 동영상 내 영상 손실의 발생을 인식할 수 있다. 이 때, 영상 손실의 일예로 동영상 전송 서버(10)로부터 전송 과정 중에 영상 손실이 있을 수 있다. 이 때, 동영상 내 영상 손실 인식은 전부를 인식하는 것이 아닌 동영상 내 객체와 관련된 반복되는 움직임 구간만을 한정할 수 있다. 예를 들면, 디바이스(20)는 "타이거우즈"가 드라이버 샷을 치는 장면 중 영상 손실을 인식할 수 있다. In step S606, the moving picture transmission server 10 may transmit the moving picture to the device 20. [ In step S507, the device 20 can recognize occurrence of video loss in the moving image. At this time, as an example of video loss, video loss may occur during transmission from the moving picture transmission server 10. In this case, the recognition of the video loss in the moving picture may be limited to the repeated motion intervals related to the object in the moving picture, not the whole moving picture recognition. For example, the device 20 may recognize a video loss during a scene in which "Tiger Woods "

단계 S608에서 디바이스(20)는 동영상 전송 서버(10)에게 대표 움직임 벡터를 요청할 수 있다. 이 때, 요청에 관한 정보는 제 1 움직임 벡터, 제 2 움직임 벡터 또는 대표 움직임 벡터 중 하나 이상의 아이디를 포함할 수 있다. 예를 들면, 디바이스(20)는 동영상 전송 서버(10)에게 대표 움직임 벡터의 아이디가 포함된 대표 움직임 벡터 요청을 할 수 있다. In step S608, the device 20 may request the moving picture transmission server 10 for a representative motion vector. At this time, the information on the request may include one or more IDs of the first motion vector, the second motion vector, or the representative motion vector. For example, the device 20 can make a request for a representative motion vector including an ID of a representative motion vector to the moving image transmission server 10.

단계 S609에서 동영상 전송 서버(10)는 디바이스(20)로 대표 움직임 벡터를 전송할 수 있다. 이 때, 대표 움직임 벡터는 디바이스(20)로부터 요청한 아이디를 가진 대표 움직임 벡터일 수 있다. In step S609, the moving picture transmission server 10 may transmit the representative motion vector to the device 20. At this time, the representative motion vector may be a representative motion vector having the ID requested from the device 20.

단계 S610에서 디바이스(20)는 대표 움직임 벡터를 이용하여 영상 손실을 복원할 수 있다. 예를 들면, 디바이스(20)는 "타이거우즈"가 드라이버 샷을 치는 제 1 프레임에서 영상이 손실이 인식되면, 대표 움직임 벡터를 이용하여 제 2 프레임의 블록을 복사하는 방법을 사용해서 복원할 수 있다. In step S610, the device 20 may recover the video loss using the representative motion vector. For example, the device 20 may restore using a method of copying a block of a second frame using a representative motion vector if a loss of the image is recognized in the first frame in which "Tiger Woods" have.

단계 S611에서 디바이스(20)는 동영상 재생을 할 수 있다. 이 때, 디바이스(20)는 동영상은 손실된 영상을 복원한 결과에 기초하여 동영상을 재생할 수 있다. 예를 들면, 디바이스(20)는 "타이거우즈"가 드라이버 샷을 치는 장면 중 손실된 영상을 복원한 프레임을 포함한 동영상을 재생할 수 있다. In step S611, the device 20 can play back the moving picture. At this time, the device 20 can reproduce the moving image based on the result of restoring the lost image. For example, the device 20 can play back a moving image including a frame in which a lost image is restored during a scene in which "Tiger Woods "

상술한 설명에서, 단계 S601 내지 S611는 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. In the above description, steps S601 to S611 may be further divided into additional steps or combined into fewer steps, according to an embodiment of the present invention. Also, some of the steps may be omitted as necessary, and the order between the steps may be changed.

도 7은 본 발명의 일 실시예에 따른 움직임 벡터를 이용하여 동영상 내 손실 영상을 복원하고 재생하는 방법을 나타내는 순서도이다. 단계 S701에서 디바이스(20)는 동영상 및 대표 움직임 벡터를 수신할 수 있다. 이 때, 디바이스(20)는 동영상 전송 서버(10)에게 대표 움직임 벡터를 요청하여 동영상 전송 서버(10)로부터 요청한 대표 움직임 벡터를 수신할 수 있다. 7 is a flowchart illustrating a method of reconstructing and recovering a lost video in a moving picture using a motion vector according to an embodiment of the present invention. In step S701, the device 20 may receive the moving picture and the representative motion vector. At this time, the device 20 can request a representative motion vector to the moving image transmission server 10 and receive the representative motion vector requested from the moving image transmission server 10. [

단계 S702에서 디바이스(20)는 동영상 내 영상 손실의 발생을 인식할 수 있다. 이 때, 영상 손실의 일 예는 동영상 전송 서버(10)로부터 전송 과정 중에 영상 손실이 있을 수 있다. 그리고 디바이스(20)는 동영상 내 영상 손실 인식을 전부 인식하는 것이 아닌 동영상에서 특정 인물이 반복적인 움직임의 패턴을 가지는 영상에 대한 손실을 인식할 수 있다. 예를 들면, 디바이스(20)는 "타이거우즈"가 드라이버 샷을 치는 장면에 대한 영상 손실을 인식할 수 있다. In step S702, the device 20 can recognize occurrence of video loss in the moving image. In this case, an example of the video loss may be video loss from the moving picture transmission server 10 during the transmission process. In addition, the device 20 can recognize a loss of an image having a repetitive movement pattern of a specific person in the moving picture, rather than recognizing all of the video loss recognition in the moving image. For example, the device 20 may recognize a video loss for a scene in which "Tiger Woods "

단계 S703에서 디바이스(20)는 대표 움직임 벡터를 이용하여 영상 손실을 복원할 수 있다. 예를 들면, 디바이스(20)는 "타이거우즈"가 1번홀에서 드라이버 샷을 치는 제 1 프레임에서 영상 손실이 인식하면, 영상 손실이 있는 블록을 결정하고 대표 움직임 벡터를 이용하여 "타이거우즈"가 3번홀에서 드라이버 샷을 치는 제 2 프레임의 블록을 복사하여 복원할 수 있다. In step S703, the device 20 can recover the video loss using the representative motion vector. For example, if the device 20 recognizes a video loss in the first frame of the driver's shot at the first hole, " Tiger Woods "determines a block with video loss and uses & It is possible to copy and restore the block of the second frame for which the driver shot is obtained in the third hole.

단계 S704에서 디바이스(20)는 복원 결과에 기초하여 동영상을 재생할 수 있다. 예를 들면, 디바이스(20)는 "타이거우즈"가 1번 홀에서 드라이버 샷을 치는 제 1 프레임의 영상 손실을 복원한 결과를 포함한 동영상을 재생할 수 있다. In step S704, the device 20 can reproduce the moving picture based on the restoration result. For example, the device 20 may play back the moving image including the result of restoring the video loss of the first frame in which the "Tiger Woods "

상술한 설명에서, 단계 S701 내지 S704는 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. In the above description, steps S701 to S704 may be further divided into additional steps or combined into fewer steps, according to an embodiment of the present invention. Also, some of the steps may be omitted as necessary, and the order between the steps may be changed.

도 8은 본 발명의 일 실시예에 따른 움직임 벡터와 동영상 전송 방법을 나타내는 순서도이다. 도 8에 움직임 벡터와 동영상 전송 방법은 도 1 내지 도 2를 통해 설명되는 동영상 전송 서버(10)에서 시계열적으로 처리되는 동작을 포함한다. 따라서 이하 생략된 내용이라고 하여도, 도 1 내지 도 2를 통해 설명된 동영상 전송 서버(10)에 대한 설명은 도 8에도 적용된다. 8 is a flowchart illustrating a motion vector and a motion picture transmission method according to an embodiment of the present invention. In FIG. 8, a motion vector and a motion picture transmission method include an operation of being processed in a time-series manner in the moving picture transmission server 10 described with reference to FIG. 1 and FIG. Therefore, the description of the moving picture transmission server 10 described with reference to FIGS. 1 and 2 is also applied to FIG. 8, even if omitted below.

단계 S801에서 동영상 전송 서버(10)는 동영상 내 객체의 제 1 움직임 구간에 대응하는 제 1 움직임 벡터를 결정할 수 있다. 이 때, 동영상 전송 서버(10)는 제 1 움직임 벡터를 결정하기 전에 동영상을 복수의 프레임으로 분할할 수 있다. 그리고, 이 때, 객체는 인물 객체이며, 제 1 움직임 구간과 제 2 움직임 구간은 인물 객체의 움직임이 서로 다른 재생시간에서 반복되는 구간들일 수 있다. 예를 들면, "타이거우즈"라는 인물이 객체가 될 수 있고, 제 1 움직임 구간은 "타이거우즈"가 1번홀에서 드라이버 샷을 치는 제 1 움직임 구간일 수 있고, 제 1 움직임 구간은 제 1 프레임과 제 2 프레임을 포함할 수 있고, 제 1 움직임 벡터는 제 1 프레임과 제 2 프레임 사이의 움직임 벡터일 수 있다. In step S801, the moving picture transmission server 10 may determine a first motion vector corresponding to a first motion duration of an object in the moving picture. At this time, the moving picture transmission server 10 may divide the moving picture into a plurality of frames before determining the first motion vector. In this case, the object is a person object, and the first motion interval and the second motion interval may be intervals in which the motion of the person object is repeated at different playback times. For example, a person named "Tiger Woods" may be an object, a first motion segment may be a first motion segment in which "Tiger Woods " And a second frame, and the first motion vector may be a motion vector between the first frame and the second frame.

단계 S802에서 동영상 전송 서버(10)는 객체의 제 2 움직임 구간에 대응하는 제 2 움직임 벡터를 결정할 수 있다. 예를 들면, 동영상 전송 서버(10)는 "타이거우즈"가 3번홀에서 드라이버 샷을 치는 제 2 움직임 구간일 수 있다. 이때, 제 1 움직임 구간과 제 2 움직임 구간은 연관이 있는 움직임 구간 일 수 있다. 그리고 제 2 움직임 구간은 제 3 프레임과 제 4 프레임을 포함할 수 있고, 제 2 움직임 벡터는 제 3 프레임과 제 4 프레임 사이의 움직임 벡터일 수 있다. In step S802, the moving picture transmission server 10 may determine a second motion vector corresponding to a second motion duration of the object. For example, the moving picture transmission server 10 may be a second motion section in which "Tiger Woods " In this case, the first motion interval and the second motion interval may be related motion intervals. The second motion interval may include a third frame and a fourth frame, and the second motion vector may be a motion vector between the third frame and the fourth frame.

단계 S803에서 동영상 전송 서버(10)는 제 1 움직임 벡터와 제 움직임 벡터를 동일한 그룹으로 결정할 수 있다. 이 때, 동영상 전송 서버(10)는 동일한 그룹으로 결정하는 방법의 일예로 제 1 움직임 구간과 제 2 움직임 구간 사이의 유사도에 기초하여 제 1 움직임 벡터와 제 2 움직임 벡터를 동일한 그룹으로 결정할 수 있다. 이 때, 제 1 움직임 구간은 "타이거우즈"가 드라이버 샷을 치는 제 1 프레임과 제 2 프레임일 수 있고, 제 2 움직임 구간은 "타이거우즈"가 드라이버 샷을 치는 제 3 프레임과 제 4 프레임일 수 있다. 이 때, 유사도는 움직임 구간 사이의 프레임의 유사한 정도를 비교하여 나타난 값일 수 있다. 이렇게 유사도가 결정되면 유사도에 기초하여 제 1 움직임 구간과 제 2 움직임 구간이 유사하다고 판단이 되면 동일한 그룹으로 결정할 수 있다. In step S803, the moving picture transmission server 10 may determine the first motion vector and the motion vector as the same group. In this case, the moving picture transmission server 10 may determine the first group of motion vectors and the second group of motion vectors as the same group based on the similarity between the first motion period and the second motion period . At this time, the first motion segment may be a first frame and a second frame, in which "Tiger Woods" may be a driver shot, and a second motion segment may be a third frame, . In this case, the degree of similarity may be a value obtained by comparing similar degrees of frames between motion intervals. If the degree of similarity is determined, it can be determined that the first group is the same group if it is determined that the first and second groups are similar based on the similarity.

단계 S804에서 동영상 전송 서버(10)는 제 1 움직임 벡터 및 제 2 움직임 벡터 중 적어도 하나 이상에 기초하여 그룹에 대응하는 대표 움직임 벡터를 결정할 수 있다. 예를 들면, 동영상 전송 서버(10)는 그룹에 대응하는 움직임 벡터 중 하나를 대표 움직임 벡터로 결정할 수 있다. 이 때, 동영상 전송 서버(10)는 대표 움직임 벡터로 결정하는 방법의 일예로 그룹의 움직임 벡터 중 평균에 가장 가까운 움직임 벡터를 대표 움직임 벡터로 결정할 수 있다. 이 때, 대표 움직임 벡터는 영상 손실을 복원하는데 이용될 수 있다. In step S804, the moving picture transmission server 10 may determine a representative motion vector corresponding to the group based on at least one of the first motion vector and the second motion vector. For example, the moving picture transmission server 10 may determine one of the motion vectors corresponding to the group as a representative motion vector. In this case, the moving picture transmission server 10 may determine a motion vector that is the closest to the average among the group of motion vectors as a representative motion vector. At this time, the representative motion vector can be used to recover the video loss.

단계 S805에서 동영상 전송 서버(10)는 동영상 및 대표 움직임 벡터를 디바이스(20)로 전송할 수 있다. 이 때, 동영상 전송 서버(10)는 스트리밍을 통해 동영상 및 대표 움직임 벡터를 함께 전송할 수 있다. 예를 들면, 동영상 전송 서버(10)는 스트리밍을 통해 실시간으로 동영상과 대표 움직임 벡터를 제공할 수 있다. In step S805, the moving picture transmission server 10 may transmit the moving picture and the representative motion vector to the device 20. At this time, the moving picture transmission server 10 may transmit moving pictures and representative motion vectors together through streaming. For example, the moving picture transmission server 10 can provide moving pictures and representative motion vectors in real time through streaming.

상술한 설명에서, 단계 S801 내지 S805는 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. In the above description, steps S801 to S805 may be further divided into further steps or combined into fewer steps, according to an embodiment of the present invention. Also, some of the steps may be omitted as necessary, and the order between the steps may be changed.

도 8을 통해 움직임 벡터와 동영상 전송 방법은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 8, a motion vector and a motion picture transmission method may be implemented in the form of a recording medium including instructions executable by a computer such as a program module executed by a computer. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media.

또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다. In addition, the computer-readable medium may include both computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Communication media typically includes any information delivery media, including computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transport mechanism.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다. It will be understood by those skilled in the art that the foregoing description of the present invention is for illustrative purposes only and that those of ordinary skill in the art can readily understand that various changes and modifications may be made without departing from the spirit or essential characteristics of the present invention. will be. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다. The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.

10: 동영상 전송 서버
20: 디바이스
10: Video transmission server
20: Device

Claims (19)

움직임 벡터를 전송하는 방법에 있어서,
동영상 내 객체의 제 1 움직임 구간에 대응하는 제 1 움직임 벡터를 결정하는 단계;
상기 객체의 제 2 움직임 구간에 대응하는 제 2 움직임 벡터를 결정하는 단계;
상기 제 1 움직임 벡터와 상기 제 2 움직임 벡터를 동일한 그룹으로 결정하는 단계;
상기 제 1 움직임 벡터 및 상기 제 2 움직임 벡터 중 적어도 하나 이상에 기초하여 상기 그룹에 대응하는 대표 움직임 벡터를 결정하는 단계; 및
상기 동영상 및 상기 대표 움직임 벡터를 디바이스로 전송하는 단계를 포함하되,
상기 대표 움직임 벡터는 상기 제 1 움직임 구간 또는 상기 제 2 움직임 구간의 영상 손실을 복원하기 위한 것인, 방법.
A method for transmitting a motion vector,
Determining a first motion vector corresponding to a first motion duration of an object in the moving picture;
Determining a second motion vector corresponding to a second motion duration of the object;
Determining the first motion vector and the second motion vector as the same group;
Determining a representative motion vector corresponding to the group based on at least one of the first motion vector and the second motion vector; And
And transmitting the moving picture and the representative motion vector to a device,
Wherein the representative motion vector is for recovering a video loss of the first motion interval or the second motion interval.
제 1 항에 있어서,
상기 동일한 그룹으로 결정하는 단계는 상기 제 1 움직임 구간과 상기 제 2 움직임 구간 사이의 유사도에 기초하여 상기 제 1 움직임 벡터와 상기 제 2 움직임 벡터를 동일한 그룹으로 결정하는 것인, 방법.
The method according to claim 1,
Wherein the step of determining the same group is to determine the first motion vector and the second motion vector as the same group based on the similarity between the first motion interval and the second motion interval.
제 1 항에 있어서,
상기 동일한 그룹으로 결정하는 단계는 상기 제 1 움직임 벡터와 상기 제 2 움직임 벡터 사이의 유사도에 기초하여 상기 제 1 움직임 벡터와 상기 제 2 움직임 벡터를 동일한 그룹으로 결정하는 것인, 방법.
The method according to claim 1,
Wherein determining the same group comprises determining the first motion vector and the second motion vector as the same group based on the degree of similarity between the first motion vector and the second motion vector.
제 1 항에 있어서,
상기 제 1 움직임 구간은 상기 동영상의 제 1 프레임과 제 2 프레임을 포함하고, 상기 제 2 움직임 구간은 상기 동영상의 제 3 프레임과 제 4 프레임을 포함하되,
상기 제 1 움직임 벡터는 상기 제 1 프레임과 상기 제 2 프레임 사이의 움직임 벡터이고, 상기 제 2 움직임 벡터는 상기 제 3 프레임과 상기 제 4 프레임 사이의 움직임 벡터인 것인, 방법.
The method according to claim 1,
Wherein the first motion section includes a first frame and a second frame of the moving image, the second motion section includes a third frame and a fourth frame of the moving image,
Wherein the first motion vector is a motion vector between the first frame and the second frame and the second motion vector is a motion vector between the third frame and the fourth frame.
제 4 항에 있어서,
상기 제 1 움직임 벡터를 결정하는 단계 이전에, 상기 동영상을 복수의 프레임으로 분할하는 단계를 더 포함하는 것인, 방법.
5. The method of claim 4,
And dividing the moving picture into a plurality of frames prior to the step of determining the first motion vector.
제 1 항에 있어서,
상기 전송하는 단계는 상기 대표 움직임 벡터를 포함하는 데이터를 상기 디바이스로 전송하되,
상기 데이터는 상기 제 1 움직임 구간 또는 상기 제 2 움직임 구간에 대응하는 아이디를 더 포함하는 것인, 방법.
The method according to claim 1,
Wherein the transmitting step transmits data including the representative motion vector to the device,
Wherein the data further comprises an ID corresponding to the first motion interval or the second motion interval.
제 1 항에 있어서, 상기 동일한 그룹으로 결정하는 단계는 복수의 움직임 벡터의 통계적 분석에 기초하여 상기 제 1 움직임 벡터와 상기 제 2 움직임 벡터를 동일한 그룹으로 결정하는 것인, 방법.
2. The method of claim 1, wherein determining the same group comprises determining the first motion vector and the second motion vector as the same group based on statistical analysis of the plurality of motion vectors.
제 7 항에 있어서,
상기 동일한 그룹으로 결정하는 단계는 복수의 움직임 벡터의 통계적 분석에 기초하여 상기 복수의 움직임 벡터의 분포를 결정하고, 결정한 분포에서 오차 범위 이내인 상기 제 1 움직임 벡터와 상기 제 2 움직임 벡터를 동일한 그룹으로 결정하는 것인, 방법.
8. The method of claim 7,
Wherein the determining of the same group comprises: determining a distribution of the plurality of motion vectors based on a statistical analysis of a plurality of motion vectors; and comparing the first motion vector and the second motion vector, which are within an error range in the determined distribution, ≪ / RTI >
제 1 항에 있어서,
상기 영상 손실은 상기 대표 움직임 벡터에 기초하여 복원되는 것인, 방법.
The method according to claim 1,
Wherein the image loss is reconstructed based on the representative motion vector.
제 1 항에 있어서,
상기 객체는 인물 객체이되,
상기 제 1 움직임 구간과 제 2 움직임 구간은 상기 인물 객체의 움직임이 서로 다른 재생시간에서 반복되는 구간들인 것인, 방법.
The method according to claim 1,
The object is a person object,
Wherein the first motion interval and the second motion interval are intervals in which the motion of the person object is repeated at different playback times.
제 1 항에 있어서,
상기 제 1 움직임 벡터 및 상기 제 2 움직임 벡터 중 적어도 하나 이상과 상기 대표 움직임 벡터를 매핑하여 데이터베이스에 저장하는 단계를 더 포함하는, 방법.
The method according to claim 1,
Further comprising mapping at least one of the first motion vector and the second motion vector to the representative motion vector and storing the same in a database.
제 1 항에 있어서,
상기 대표 움직임 벡터는 상기 제 1 움직임 벡터인 것인, 방법.
The method according to claim 1,
Wherein the representative motion vector is the first motion vector.
제 1 항에 있어서,
상기 전송하는 단계는,
상기 디바이스로 상기 동영상을 전송하는 단계;
상기 디바이스로부터 상기 대표 움직임 벡터에 관한 요청을 수신하는 단계; 및
상기 디바이스로 상기 대표 움직임 벡터를 전송하는 단계를 포함하는 것인, 방법.
The method according to claim 1,
Wherein the transmitting comprises:
Transmitting the moving picture to the device;
Receiving a request for the representative motion vector from the device; And
And transmitting the representative motion vector to the device.
제 13 항에 있어서,
상기 요청은 상기 제 1 움직임 벡터, 상기 제 2 움직임 벡터 또는 상기 대표 움직임 벡터 중 하나 이상의 아이디를 포함하는 것인, 방법.
14. The method of claim 13,
Wherein the request comprises at least one of the first motion vector, the second motion vector, or the representative motion vector.
제 1 항에 있어서,
상기 전송하는 단계는,
단일 스트리밍을 통해 상기 동영상 및 상기 대표 움직임 벡터를 함께 전송하는 것인, 방법.
The method according to claim 1,
Wherein the transmitting comprises:
And transmitting the moving picture and the representative motion vector together through a single streaming.
움직임 벡터를 전송하는 동영상 전송 서버에 있어서,
동영상 내 객체의 제 1 움직임 구간에 대응하는 제 1 움직임 벡터를 결정하고, 상기 객체의 제 2 움직임 구간에 대응하는 제 2 움직임 벡터를 결정하는 움직임 벡터 결정부;
상기 제 1 움직임 벡터와 상기 제 2 움직임 벡터를 동일한 그룹으로 결정하는 그룹 결정부;
상기 제 1 움직임 벡터 및 상기 제 2 움직임 벡터 중 적어도 하나 이상에 기초하여 상기 그룹에 대응하는 대표 움직임 벡터를 결정하는 대표 움직임 벡터 결정부; 및
상기 동영상 및 상기 대표 움직임 벡터를 디바이스로 전송하는 전송부를 포함하되,
상기 대표 움직임 벡터는 상기 제 1 움직임 구간 또는 상기 제 2 움직임 구간의 영상 손실을 복원하기 위한 것인, 동영상 전송 서버.
A moving picture transmission server for transmitting a motion vector,
A motion vector determination unit that determines a first motion vector corresponding to a first motion duration of an object in the moving image and determines a second motion vector corresponding to a second motion duration of the object;
A group determination unit for determining the first motion vector and the second motion vector as the same group;
A representative motion vector determination unit for determining a representative motion vector corresponding to the group based on at least one of the first motion vector and the second motion vector; And
And a transmitter for transmitting the moving picture and the representative motion vector to a device,
Wherein the representative motion vector is for recovering a video loss of the first motion interval or the second motion interval.
제 16 항에 있어서,
상기 동영상을 복수의 프레임으로 분할하는 프레임 분할부; 및
상기 제 1 움직임 벡터 및 상기 제 2 움직임 벡터 중 적어도 하나 이상과 매핑한 상기 대표 움직임 벡터를 저장하는 데이터베이스를 더 포함하는 동영상 전송 서버.
17. The method of claim 16,
A frame dividing unit dividing the moving picture into a plurality of frames; And
And a database for storing the representative motion vectors mapped to at least one of the first motion vector and the second motion vector.
동영상을 재생하는 방법에 있어서,
동영상 전송 서버로부터 동영상 및 대표 움직임 벡터를 수신하는 단계;
상기 동영상 내 영상 손실의 발생을 인식하는 단계;
상기 대표 움직임 벡터를 이용하여 상기 영상 손실을 복원하는 단계; 및
상기 복원 결과에 기초하여 상기 동영상을 재생하는 단계를 포함하되,
상기 대표 움직임 벡터는 상기 동영상 내 객체의 제 1 움직임 구간 또는 제 2 움직임 구간의 영상 손실을 복원하기 위한 것인, 방법.
In a method of playing a moving picture,
Receiving a moving picture and a representative motion vector from a moving picture transmission server;
Recognizing occurrence of video loss in the moving picture;
Reconstructing the video loss using the representative motion vector; And
And reproducing the moving picture based on the restoration result,
Wherein the representative motion vector is for recovering a video loss of a first motion interval or a second motion interval of an object in the moving image.
디바이스에 있어서,
동영상 전송 서버로부터 동영상 및 대표 움직임 벡터를 수신하는 수신부;
상기 동영상 내 영상 손실을 인식하는 영상 손실 인식부;
상기 대표 움직임 벡터를 이용하여 상기 영상 손실을 복원하는 복원부; 및
상기 복원 결과에 기초하여 상기 동영상을 재생하는 재생부를 포함하되,
상기 대표 움직임 벡터는 상기 동영상 내 객체의 제 1 움직임 구간 또는 제 2 움직임 구간의 영상 손실을 복원하기 위한 것인, 디바이스.
In a device,
A receiving unit for receiving moving pictures and representative motion vectors from the moving picture transmission server;
A video loss recognition unit for recognizing a video loss in the moving picture;
A reconstruction unit for reconstructing the video loss using the representative motion vector; And
And a playback unit for playing back the moving image based on the restoration result,
Wherein the representative motion vector is for recovering a video loss of a first motion interval or a second motion interval of an object in the moving image.
KR1020140010549A 2014-01-28 2014-01-28 Method and video transmission server for transmitting motion vector, and method and device for reproducing video KR101760760B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140010549A KR101760760B1 (en) 2014-01-28 2014-01-28 Method and video transmission server for transmitting motion vector, and method and device for reproducing video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140010549A KR101760760B1 (en) 2014-01-28 2014-01-28 Method and video transmission server for transmitting motion vector, and method and device for reproducing video

Publications (2)

Publication Number Publication Date
KR20150089656A true KR20150089656A (en) 2015-08-05
KR101760760B1 KR101760760B1 (en) 2017-07-24

Family

ID=53886059

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140010549A KR101760760B1 (en) 2014-01-28 2014-01-28 Method and video transmission server for transmitting motion vector, and method and device for reproducing video

Country Status (1)

Country Link
KR (1) KR101760760B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020005032A1 (en) * 2018-06-28 2020-01-02 엘지전자 주식회사 Inter-prediction method using motion information compression, and device for same

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5375744B2 (en) * 2010-05-31 2013-12-25 カシオ計算機株式会社 Movie playback device, movie playback method and program

Also Published As

Publication number Publication date
KR101760760B1 (en) 2017-07-24

Similar Documents

Publication Publication Date Title
CN109547786B (en) Video encoding and video decoding methods and devices
US11412229B2 (en) Method and apparatus for video encoding and decoding
US20200250798A1 (en) Three-dimensional model encoding device, three-dimensional model decoding device, three-dimensional model encoding method, and three-dimensional model decoding method
US9473790B2 (en) Inter-prediction method and video encoding/decoding method using the inter-prediction method
US20210409729A1 (en) Video decoding method and apparatus, video encoding method and apparatus, storage medium, and electronic device
US10284810B1 (en) Using low-resolution frames to increase frame rate of high-resolution frames
KR101008525B1 (en) Method of encoding a digital video sequence, a computer-readable recording medium having recorded thereon a computer program for an encoder, a computer-readable recording medium having recorded thereon a computer program for a computer, an encoder for encoding a digital video sequence, and a video communication system
US20190141332A1 (en) Use of synthetic frames in video coding
JP2020198463A (en) Encoding program, decoding program, encoding device, decoding device, encoding method, and decoding method
CN110572673B (en) Video encoding and decoding method and device, storage medium and electronic device
US9832479B2 (en) Motion estimation apparatus and method for multiview video
US20170034566A1 (en) Video Channel Display Method and Apparatus
US11290724B2 (en) Inter prediction method and apparatus, and terminal device
CN110572677B (en) Video encoding and decoding method and device, storage medium and electronic device
KR101760760B1 (en) Method and video transmission server for transmitting motion vector, and method and device for reproducing video
CN110662071B (en) Video decoding method and device, storage medium and electronic device
CN110572672B (en) Video encoding and decoding method and device, storage medium and electronic device
WO2021087819A1 (en) Information processing method, terminal device and storage medium
US20210377550A1 (en) Methods, apparatuses, computer programs and computer-readable media for processing configuration data
CN104980763B (en) Video code stream, video coding and decoding method and device
US20240070924A1 (en) Compression of temporal data by using geometry-based point cloud compression
US20210409736A1 (en) Video encoding method and apparatus, video decoding method and apparatus, electronic device and readable storage medium
US10341682B2 (en) Methods and devices for panoramic video coding and decoding based on multi-mode boundary fill
JP2017060004A (en) Encoding device, decoding device, encoding program, decoding program, and streaming system
US9491483B2 (en) Inter-prediction method and video encoding/decoding method using the inter-prediction method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant