KR102378713B1 - 동영상 부호화 방법, 복호화 방법 및 그 장치 - Google Patents

동영상 부호화 방법, 복호화 방법 및 그 장치 Download PDF

Info

Publication number
KR102378713B1
KR102378713B1 KR1020200076417A KR20200076417A KR102378713B1 KR 102378713 B1 KR102378713 B1 KR 102378713B1 KR 1020200076417 A KR1020200076417 A KR 1020200076417A KR 20200076417 A KR20200076417 A KR 20200076417A KR 102378713 B1 KR102378713 B1 KR 102378713B1
Authority
KR
South Korea
Prior art keywords
reference block
motion vector
block
generated
new reference
Prior art date
Application number
KR1020200076417A
Other languages
English (en)
Other versions
KR20210158088A (ko
Inventor
한기훈
Original Assignee
주식회사 에스원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스원 filed Critical 주식회사 에스원
Priority to KR1020200076417A priority Critical patent/KR102378713B1/ko
Publication of KR20210158088A publication Critical patent/KR20210158088A/ko
Application granted granted Critical
Publication of KR102378713B1 publication Critical patent/KR102378713B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

동영상 부호화 방법, 복호화 방법 및 그 장치가 개시된다. 동영상 부호화 방법은, 레퍼런스 프레임을 참조하여 현재 프레임의 현재 블록에 대한 수평 및 수직 방향으로의 이동 정보와 카메라 방향으로의 이동 정보를 포함하는 3D 움직임 벡터를 생성하는 단계; 및 상기 3D 움직임 벡터를 이용하여 상기 현재 프레임을 인코딩하는 단계를 포함한다.

Description

동영상 부호화 방법, 복호화 방법 및 그 장치{Video encoding method, decoding method and apparatus}
본 발명은 3D 움직임 벡터를 기반으로 동영상 압축 효율을 개선할 수 있는 동영상 부호화 방법, 복호화 방법 및 그 장치에 관한 것이다.
다양한 분야에서 동영상 서비스 수요가 증가함에 따라 동영상 압축 기술은 비약적으로 발전하였다. 동영상 압축 기술은 기본적으로 영상 프레임(화면)을 사각형 형태의 영역(블록)으로 나누고 각 사각형 영역이 연속된 프레임 사이에서 어떤 방향으로 움직였냐를 표현함으로써, 프레임(화면)간 시간적 중복성 및 유사성을 제거하는 방법으로 압축을 수행하였다.
그러나 종래의 블록 기반의 움직임 벡터 표현 방법은 연속된 프레임 간의 수평 및 수직 방향 객체이동 표현에는 효과적이나, 객체가 카메라 방향으로 가까워지거나 멀어짐을 표현하기에는 제약이 있어, 부정합 영역 발생으로 인한 잔차신호 크기 증가로 압축효율이 떨어지는 경우가 발생한다.
본 발명은 3D 움직임 벡터를 기반으로 동영상 압축 효율을 개선할 수 있는 동영상 부호화 방법, 복호화 방법 및 그 장치를 제공하기 위한 것이다.
또한, 본 발명은 연속된 프레임들 사이에서 객체가 카메라 방향으로의 이동에 대한 정보를 효율적으로 표현할 수 있는 동영상 부호화 방법, 복호화 방법 및 그 장치를 제공하기 위한 것이다.
본 발명의 일 측면에 따르면, 3D 움직임 벡터를 기반으로 동영상 압축 효율을 개선할 수 있는 동영상 부복호화 방법이 제공된다.
본 발명의 일 실시예에 따르면, 레퍼런스 프레임을 참조하여 현재 프레임의 현재 블록에 대한 수평 및 수직 방향으로의 이동 정보와 카메라 방향으로의 이동 정보를 포함하는 3D 움직임 벡터를 생성하는 단계; 및 상기 3D 움직임 벡터를 이용하여 상기 현재 프레임을 인코딩하는 단계를 포함하는 동영상 부호화 방법이 제공될 수 있다.
상기 3D 움직임 벡터는, 상기 현재 블록에 대한 수평 및 수직 방향으로의 이동 정보를 x 및 y인자의 값으로 포함하며, 상기 카메라 방향으로의 이동 정보를 z 인자의 값으로 포함할 수 있다.
상기 z 인자의 값은 제1 값에서 제2 값 사이의 값을 가지되,
상기 제1 값과 상기 제2 값은 부호가 다른 동일 크기의 값일 수 있다.
상기 3D 움직임 벡터에 포함된 상기 z 인자의 값에 따라 참조 영역의 크기가 달라질 수 있다.
본 발명의 다른 실시예에 따르면, (a) 비트스트림을 분석하여 3D 움직임 벡터를 추출하는 단계; (b) 상기 3D 움직임 벡터를 이용하여 참조 블록의 크기를 동적으로 가변하여 신규 참조 블록을 생성하는 단계; 및 (c) 상기 신규 참조 블록을 이용하여 상기 비트스트림에서 추출된 잔차신호를 역양자화하고 역변환하여 생성된 잔차 블록을 이용하여 영상 프레임을 복호하는 단계를 포함하는 동영상 복호화 방법이 제공될 수 있다.
상기 (b) 단계는, 상기 3D 움직임 벡터에 포함된 z 인자의 값에 따라 참조 블록의 크기를 스케일링하여 상기 신규 참조 블록을 생성할 수 있다.
상기 신규 참조 블록은 하기 수학식을 이용하여 생성되되,
Figure 112020064500999-pat00001
여기서, x 및 y는 프레임내 블록의 위치를 나타내며, i와 j는 블록 내부의 화소 위치를 나타내며, z는 3D 움직임 벡터에 포함된 카메라 방향으로의 이동 정보를 나타낸다.
상기 (b) 단계는, 상기 3D 움직임 벡터를 이용하여 상기 신규 참조 블록 생성시, 실수 화소값이 생성되는 경우 정수 화소로 보간(interpolation)하여 상기 신규 참조 블록을 생성할 수 있다.
본 발명의 다른 측면에 따르면, 3D 움직임 벡터를 기반으로 동영상 압축 효율을 개선할 수 있는 동영상 부호화/복호화 장치가 제공된다.
본 발명의 일 실시예에 따르면, 레퍼런스 프레임을 기초로 현재 프레임의 현재 블록에 대한 수평 및 수직 방향으로의 이동 정보와 카메라 방향으로의 이동 정보를 포함하는 3D 움직임 벡터를 생성하는 움직임 벡터 생성부; 및 상기 3D 움직임 벡터를 이용하여 상기 현재 프레임을 인코딩하는 인코딩부를 포함하는 동영상 부호화 장치가 제공될 수 있다.
본 발명의 다른 실시예에 따르면, 비트스트림을 분석하여 3D 움직임 벡터를 추출하는 파싱부; 상기 3D 움직임 벡터를 이용하여 참조 블록의 크기를 동적으로 가변하여 신규 참조 블록을 생성하는 참조 블록 생성 및 스케일링부; 및 상기 신규 참조 블록을 이용하여 상기 비트스트림에서 추출된 잔차신호를 역양자화하고 역변환하여 생성된 잔차 블록을 이용하여 영상 프레임을 복호하는 디코딩부를 포함하는 동영상 복호화 장치가 제공될 수 있다.
상기 참조 블록 생성 및 스케일링부는, 상기 3D 움직임 벡터에 포함된 z 인자의 값에 따라 참조 블록의 크기를 스케일링하여 상기 신규 참조 블록을 생성할 수 있다.
상기 참조 블록 생성 및 스케일링부는, 상기 3D 움직임 벡터를 이용하여 상기 신규 참조 블록 생성시, 실수 화소값이 생성되는 경우 정수 화소로 보간(interpolation)하여 상기 신규 참조 블록을 생성할 수 있다.
본 발명의 일 실시예에 따른 동영상 부호화 방법, 복호화 방법 및 그 장치를 제공함으로써, 3D 움직임 벡터를 기반으로 동영상 압축 효율을 개선할 수 있다.
또한, 본 발명은 연속된 프레임들 사이에서 객체가 카메라 방향으로의 이동에 대한 정보를 효율적으로 표현할 수 있다.
도 1은 본 발명의 일 실시예에 따른 움직임 벡터를 설명하기 위해 도시한 도면.
도 2는 본 발명의 일 실시예에 따른 카메라 방향으로의 객체 이동을 설명하기 위해 도시한 도면.
도 3은 본 발명의 일 실시예에 따른 움직임 벡터에 의한 부정합 유발을 설명하기 위해 도시한 도면.
도 4는 본 발명의 일 실시예에 따른 3D 움직임 벡터를 포함하는 동영상 부호화 방법을 나타낸 순서도.
도 5는 본 발명의 일 실시예에 따른 동영상 복호화 방법을 나타낸 순서도.
도 6은 본 발명의 일 실시예에 따른 참조 블록의 스케일링을 설명하기 위해 도시한 도면.
도 7은 본 발명의 일 실시예에 따른 동영상 부호화 장치의 내부 구성을 개략적으로 도시한 블록도.
도 8은 본 발명의 일 실시예에 따른 동영상 복호화 장치의 내부 구성을 개략적으로 도시한 블록도.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 움직임 벡터를 설명하기 위해 도시한 도면이고, 도 2는 본 발명의 일 실시예에 따른 카메라 방향으로의 객체 이동을 설명하기 위해 도시한 도면이고, 도 3은 본 발명의 일 실시예에 따른 움직임 벡터에 의한 부정합 유발을 설명하기 위해 도시한 도면이다.
동영상 압축기술 국제 표준을 제정하는 양대 단체는 ISO/IEC MPEG과 ITU-T VCEG에서는 각각 MPEG-1, MPEG-2, MPEG-4와 H.261, H.263, H.264 등의 표준을 발표해왔다. 이하에서 설명되는 3D 움직임 정보 또한 해당 표준에서 적용이 가능하며, 이에 대해서는 하기의 설명에 의해 보다 명확하게 이해될 것이다.
기본적으로 영상 프레임은 일정 크기의 블록으로 나뉘며, 각각의 블록이 연속된 프레임들 사이에서 어떤 방향으로 움직였는지를 표현함으로써 프레임간 시간적 중복성과 유사성을 제거하는 방법으로 압축이 수행된다.
연속된 프레임들 사이에서 각 블록의 움직임을 표현하기 위해 현재 프레임에 속한 현재 블록이 레퍼런스 프레임의 어느 위치에서 이동하였는지를 움직임 벡터(MV)를 이용하여 표현할 수 있다.
즉, 도 1에서 보여지는 바와 같이, 현재 블록과 동일한 위치를 가지는 동일 위치 블록(collocated block)을 기준으로 상대적 좌표를 움직임 벡터로 표현하는 것이다.
종래의 경우, 동영상 압축시, 움직임 벡터는 수평 및 수직 방향으로의 위치 변화에 대한 정보만을 포함하였다. 이러한 종래의 움직임 벡터 표현 방법은 연속된 프레임에서 블록의 수평 및 수직 방향으로의 이동을 표현하기에는 적합하나, 카메라 방향으로 멀어지거나 가까워지는 경우 이를 표현하지 못하는 제약이 있다.
예를 들어, 도 2를 참조하기로 한다. 객체가 카메라 방향으로 움직이는 경우를 가정하기로 한다. 객체A가 카메라 방향으로 움직이는 경우 프레임 내에서 차지하는 영역이 확대되게 된다. 객체가 차지하는 화면이 커질 경우, 객체에 포함된 참조 블록의 영역도 비례하여 커지게 되고 이는 결과적으로 움직임 벡터의 부정합을 유발하는 문제점이 있다.
도 3을 참조하여 이에 대해 보다 상세히 설명하기로 한다.
도 3의 참조 블록이 카메라 방향으로 움직인 경우, 참조 블록의 가운데 위치한 A화소로 구성된 영역의 크기가 확대되면서 현재 블록에서는 전체 블록을 차지하게 된다. 이 경우, 현재 블록과 참조 블록의 화소값 차이에 의한 잔차블록에서 차이값이 커지는 부정합 영역이 발생하게 된다. 이러한 부정합 영역의 발생은 동영상 압축시 잔차 블록 부호화를 위한 정보량을 증가시켜 결과적으로 동영상 압축 효율을 떨어뜨리는 문제가 있으며, 화질 저하 및 저장공간 확대를 유발하는 문제점이 있다.
이에 본 발명의 일 실시예에서는 움직임 벡터는 2차원 벡터로 표현하는 것이 아니라 카메라 방향으로의 이동에 따른 정보를 포함하도록 3차원 벡터로 표현하는 방안을 제안하고자 한다.
본 발명의 일 실시예에 따르면 3D 움직임 벡터는 수평 및 수직 방향으로의 이동 정보는 종래와 같이 x인자와, y 인자로 포함하며, 카메라 방향으로의 움직임에 관한 정보는 z 인자로서 포함할 수 있다.
3D 움직임 벡터에 포함되는 x 및 y 인자는 종래와 동일하므로 중복되는 설명은 생략하기로 하며, 상이한 카메라 방향으로의 움직임 정보인 z 인자의 값에 대해 설명하기로 한다.
본 발명의 일 실시예에 따르면, 3D 움직임 벡터에 포함되는 z 인자의 값은 -1 내지 1 사이의 값으로 결정되는 것을 가정하여 이를 중심으로 설명하나, z 인자의 값의 범위는 구현 방법에 따라 상이해질 수 있음은 당연하다.
예를 들어, z의 값이 음수인 경우 객체가 카메라 방향에서 멀어져 참조 블록의 영역이 작아진 것을 의미하며, z의 값이 양수이면 객체가 카메라에 가까워져 참조 블록의 영역이 커짐을 의미한다. 또한, z의 값이 0인 경우 카메라 방향으로의 움직이지 않아 참조 블록의 영역이 그대로 유지됨을 의미한다.
따라서, 본 발명의 일 실시예에 따르면, 3D 움직임 벡터에 포함된 z인자의 값에 따라 참조 블록의 크기가 동적으로 스케일링될 수 있다. 즉, z의 값이 -1 내지 1인 것을 가정하므로, 참조 블록의 크기가 1/2로 축소될 수도 있으며, 2배로 확대될 수도 있다. 이에 대해서는 이하의 설명에 의해 보다 명확하게 이해될 것이다.
도 4는 본 발명의 일 실시예에 따른 3D 움직임 벡터를 포함하는 동영상 부호화 방법을 나타낸 순서도이며, 도 5는 본 발명의 일 실시예에 따른 참조 블록의 스케일링을 설명하기 위해 도시한 도면이다.
동영상 부호화의 상세 과정은 이미 당업자에게는 자명한 사항이므로 이에 대한 상세한 설명은 생략하며, 본 발명의 주요 논지를 중심으로 설명하기로 한다. 따라서, 이하에서 별도로 설명되지 않더라도 MPEG 표준 등에 정의된 동영상 부호화를 위한 기본적인 과정들이 수행되는 것으로 확장 이해되어야 할 것이다.
단계 410에서 동영상 부호화 장치(700)는 레퍼런스 프레임을 기초로 현재 프레임의 현재 블록에 대한 수평 및 수직 방향으로의 이동 정보와 카메라 방향으로의 이동 정보를 포함하는 3D 움직임 벡터를 생성한다.
즉, 이미 전술한 바와 같이, 동영상 부호화 장치(700)는 수평 및 수직 방향으로의 움직임 정보는 x 및 y인자로 포함할 수 있다. 또한, 본 발명의 일 실시예에서는 카메라 방향으로의 움직임 정보를 z인자로 포함할 수 있다.
예를 들어, 카메라 방향으로 객체가 움직인 경우 z인자의 값은 양수값(예를 들어, 1)로 설정될 수 있으며, 카메라에서 멀어지는 경우 z인자의 값은 음수값(예를 들어, -1)로 설정될 수 있다. 물론, 카메라 방향으로의 움직임이 없는 경우, z인자의 값은 디폴트 값인 "0"으로 설정될 수 있다.
이와 같이, 동영상 부호화 장치(700)는 블록에 대한 카메라 방향으로의 움직임 정보(이동 정보)를 더 포함하여 3D 움직임 벡터를 생성할 수 있다.
단계 415에서 동영상 부호화 장치(700)는 3D 움직임 벡터를 이용하여 현재 프레임을 인코딩한다. 프레임을 인코딩하는 방법 자체는 당업자에게는 자명한 사항이므로 이에 대한 설명은 생략하기로 한다.
도 5는 본 발명의 일 실시예에 따른 동영상 복호화 방법을 나타낸 순서도이고, 도 6은 본 발명의 일 실시예에 따른 참조 블록의 스케일링을 설명하기 위해 도시한 도면이다.
단계 510에서 동영상 복호화 장치(800)는 비트스트림을 수신한다.
단계 515에서 동영상 복호화 장치(800)는 비트스트림을 파싱하여 3D 움직임 벡터를 포함한 복호화에 필요한 다양한 복호화 정보들을 추출한다.
단계 520에서 동영상 복호화 장치(800)는 3D 움직임 벡터를 참조하여 참조 블록을 생성한다.
단계 525에서 동영상 복호화 장치(800)는 생성된 참조 블록을 이용하여 참조 블록을 스케일링하여 신규 참조 블록을 생성한다.
이에 대해 보다 상세히 설명하기로 한다.
이미 전술한 바와 같이, 3D 움직임 벡터는 카메라 방향으로의 움직임 정보를 z인자로 포함할 수 있다. 이미 전술한 바와 같이, 카메라 방향으로의 움직임 정보(이동 정보)에 따라 참조 블록의 크기는 확대 또는 축소될 수 있다.
따라서, 동영상 복호화 장치(800)는 참조 블록을 생성한 후 3D 움직임 벡터에 포함된 z인자의 값을 이용하여 참조 블록의 크기를 가변하는 스케일링 과정을 수행할 수 있다.
신규 참조 블록은 참조 블록에 z인자의 값을 이용하여 생성될 수 있다. 예를 들어, 동영상 복호화 장치(800)는 하기 수학식을 이용하여 참조 블록의 크기를 스케일링할 수 있다.
Figure 112020064500999-pat00002
여기서, New Ref()는 신규 참조 블록을 나타내며, Orig Ref()는 3D 움직임 벡터에서 z인자의 값을 적용하기 전(카메라 방향에 따른 참조 블록의 크기 스케일링 전)의 참조 블록을 나타내며, x, y는 프레임 내에서의 블록의 위치를 나타내며, i,j는 블록 내부의 화소 위치를 나타낸다.
수학식 1에서 보여지는 바와 같이, z값이 블록 내부의 화소 위치에 2의 지수승으로 곱해짐에 따라 신규 참조 블록의 크기는 1/2로 축소되거나 2배로 커질 수 있다. 이는 z값이 -1에서 1인 것을 가정하기 때문이며, z값이 달라지는 경우, 2의 지수승으로 신규 참조 블록의 크기가 축소 또는 확대될 수다(도 5 참조).
Z의 값은 -1에서 1 사이의 실수값을 가질 수 있으므로, 수학식 1에 의해 참조되는 블록의 위치가 정수 화소(integer pixel)가 아닌 경우가 발생할 수 있다.
이와 같은 경우, 동영상 복호화 장치(800)는 정수 화수 주변의 실수 화소값을 참조하여 보간(interpolation)하여 정수 화소값을 계산할 수 있다.
본 발명의 일 실시예에서는 정수화소와 실수화소의 거리에 반비례하는 가중평균 방법을 이용하여 실수 화소를 정수 화소로 보간하는 것을 가정하기로 한다. 보간 방법이 이에 국한되는 것은 아니며 다른 공지된 보간법이 적용될 수도 있음은 당연하다.
단계 530에서 동영상 복호화 장치(800)는 신규 참조 블록을 이용하여 영상 프레임을 복호한다.
보다 상세하게 동영상 복호화 장치(800)는 비트스트림에서 추출된 잔차 신호를 역양자화하고 역변환하여 잔차 블록을 생성할 수 있다. 이어, 동영상 복호화 장치(800)는 생성된 잔차 블록과 신규 참조 블록을 이용하여 영상 프레임을 복호할 수 있다.
이와 같이, 카메라 방향으로의 움직임 정보를 포함하는 3D 움직임 벡터를 기반으로 동영상을 압축함으로써 객체가 카메라 방향으로 가까워지거나 멀어지는 것을 표현할 수 있어 압축 효율을 보다 향상시킬 수 있는 이점이 있다.
도 7은 본 발명의 일 실시예에 따른 동영상 부호화 장치의 내부 구성을 개략적으로 도시한 블록도이다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 동영상 부호화 장치(700)는 3D 움직임 벡터 생성부(710), 인코딩부(720), 메모리(730) 및 프로세서(740)를 포함하여 구성된다.
3D 움직임 벡터 생성부(710)는 레퍼런스 프레임을 참조하여 현재 프레임의 현재 블록에 대한 수평, 수직 방향으로의 이동 정보와 카메라 방향으로의 이동 정보를 포함하는 3D 움직임 벡터를 생성한다.
이에 대해서는 이미 전술한 바와 동일하므로 중복되는 설명은 생략하기로 한다.
인코딩부(720)는 3D 움직임 벡터를 이용하여 프레임을 인코딩한다.
MPEG 동영상 표준에 기반하여 프레임을 인코딩할 수 있으며, 움직임 벡터가 3D 움직임 벡터로 카메라 방향에 대한 이동 정보를 포함하는 것만 상이하므로 상세한 인코딩 과정에 대해서는 생략하기로 한다.
메모리(730)는 본 발명의 일 실시예에 따른 3D 움직임 벡터를 이용하여 프레임을 부호화하기 위해 필요한 다양한 명령어들(프로그램 코드들)을 저장한다.
프로세서(740)는 본 발명의 일 실시예에 따른 동영상 부호화 장치(700)의 내부 구성 요소들(예를 들어, 3D 움직임 벡터 생성부(710), 인코딩부(720), 메모리(730) 등)을 제어하기 위한 수단이다.
도 8은 본 발명의 일 실시예에 따른 동영상 복호화 장치의 내부 구성을 개략적으로 도시한 블록도이다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 동영상 복호화 장치(800)는 파싱부(810), 참조 블록 생성 및 스케일링부(820), 디코딩부(830), 메모리(840) 및 프로세서(850)를 포함하여 구성된다.
파싱부(810)는 비트스트림을 파싱하여 3D 움직임 벡터 등 복호화에 필요한 정보들을 추출하기 위한 수단이다.
참조 블록 생성 및 스케일링부(820)는 3D 움직임 벡터를 이용하여 참조 블록을 생성하고, 이를 스케일링하기 위한 수단이다.
예를 들어, 참조 블록 생성 및 스케일링부(820)는 3D 움직임 벡터의 x와 y인자의 값을 이용하여 참조 블록을 생성할 수 있다. 이어, 참조 블록 생성 및 스케일링부(820)는 3D 움직임 벡터의 z인자의 값을 이용하여 참조 블록의 크기를 스케일링하여 신규 참조 블록을 생성할 수 있다. 이는 이미 전술한 바와 같으므로 중복되는 설명은 생략하기로 한다.
디코딩부(830)는 비트스트림에서 추출된 잔차 신호를 역양자화하고 역변환하여 잔차 블록을 생성하고, 신규 참조 블록과 잔차 블록을 이용하여 영상 프레임을 복호하기 위한 수단이다.
메모리(840)는 본 발명의 일 실시예에 따른 3D 움직임 정보를 이용하여 동영상을 복호하기 위한 다양한 명령어들(프로그램 코드)을 저장하기 위한 수단이다.
메모리(840)는 본 발명의 일 실시예에 따른 동영상 복호화 장치(800)의 내부 구성 요소들(예를 들어, 파싱부(810), 참조 블록 생성 및 스케일링부(820), 디코딩부(830), 메모리(840) 등)을 제어하기 위한 수단이다.
본 발명의 실시 예에 따른 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
800: 동영상 복호화 장치
810: 파싱부
820: 참조 블록 생성 및 스케일링부
830: 디코딩부
840: 메모리
850: 프로세서

Claims (19)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. (a) 비트스트림을 분석하여 3D 움직임 벡터를 추출하는 단계;
    (b) 상기 3D 움직임 벡터를 이용하여 참조 블록의 크기를 동적으로 가변하여 신규 참조 블록을 생성하는 단계; 및
    (c) 상기 신규 참조 블록을 이용하여 상기 비트스트림에서 추출된 잔차신호를 역양자화하고 역변환하여 생성된 잔차 블록을 이용하여 영상 프레임을 복호하는 단계를 포함하고,
    상기 (b) 단계는,
    상기 3D 움직임 벡터를 이용하여 상기 신규 참조 블록 생성시, 실수 화소값이 생성되는 경우 정수 화소로 보간(interpolation)하여 상기 신규 참조 블록을 생성하는 것을 특징으로 하는, 동영상 복호화 방법.
  6. 제5 항에 있어서,
    상기 3D 움직임 벡터는,
    수평 및 수직 방향으로의 이동 정보를 x 및 y 인자의 값으로 포함하며, 카메라 방향으로의 이동 정보를 z 인자의 값으로 포함하는 것을 특징으로 하는 동영상 복호화 방법.
  7. 제5 항에 있어서,
    상기 (b) 단계는,
    상기 3D 움직임 벡터에 포함된 z 인자의 값에 따라 참조 블록의 크기를 스케일링하여 상기 신규 참조 블록을 생성하는 것을 특징으로 하는 동영상 복호화 방법.
  8. (a) 비트스트림을 분석하여 3D 움직임 벡터를 추출하는 단계;
    (b) 상기 3D 움직임 벡터를 이용하여 참조 블록의 크기를 동적으로 가변하여 신규 참조 블록을 생성하는 단계; 및
    (c) 상기 신규 참조 블록을 이용하여 상기 비트스트림에서 추출된 잔차신호를 역양자화하고 역변환하여 생성된 잔차 블록을 이용하여 영상 프레임을 복호하는 단계를 포함하고,
    상기 신규 참조 블록은 하기 수학식을 이용하여 생성되는 것을 특징으로 하는 동영상 복호화 방법.
    Figure 112021117089227-pat00003

    여기서, x 및 y는 프레임내 블록의 위치를 나타내며, i와 j는 블록 내부의 화소 위치를 나타내며, z는 3D 움직임 벡터에 포함된 카메라 방향으로의 이동 정보를 나타냄.
  9. 삭제
  10. 제5항 내지 제8항 중 어느 하나의 항에 따른 방법을 수행하기 위한 프로그램 코드를 기록한 컴퓨터로 판독 가능한 기록매체 제품.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 비트스트림을 분석하여 3D 움직임 벡터를 추출하는 파싱부;
    상기 3D 움직임 벡터를 이용하여 참조 블록의 크기를 동적으로 가변하여 신규 참조 블록을 생성하는 참조 블록 생성 및 스케일링부; 및
    상기 신규 참조 블록을 이용하여 상기 비트스트림에서 추출된 잔차신호를 역양자화하고 역변환하여 생성된 잔차 블록을 이용하여 영상 프레임을 복호하는 디코딩부를 포함하고,
    상기 참조 블록 생성 및 스케일링부는,
    상기 3D 움직임 벡터를 이용하여 상기 신규 참조 블록 생성시, 실수 화소값이 생성되는 경우 정수 화소로 보간(interpolation)하여 상기 신규 참조 블록을 생성하는 것을 특징으로 하는, 동영상 복호화 장치.
  16. 제15 항에 있어서,
    상기 3D 움직임 벡터는,
    수평 및 수직 방향으로의 이동 정보를 x 및 y 인자의 값으로 포함하며, 카메라 방향으로의 이동 정보를 z 인자의 값으로 포함하는 것을 특징으로 하는 동영상 복호화 장치.
  17. 제15 항에 있어서,
    상기 참조 블록 생성 및 스케일링부는,
    상기 3D 움직임 벡터에 포함된 z 인자의 값에 따라 참조 블록의 크기를 스케일링하여 상기 신규 참조 블록을 생성하는 것을 특징으로 하는 동영상 복호화 장치.
  18. 비트스트림을 분석하여 3D 움직임 벡터를 추출하는 파싱부;
    상기 3D 움직임 벡터를 이용하여 참조 블록의 크기를 동적으로 가변하여 신규 참조 블록을 생성하는 참조 블록 생성 및 스케일링부; 및
    상기 신규 참조 블록을 이용하여 상기 비트스트림에서 추출된 잔차신호를 역양자화하고 역변환하여 생성된 잔차 블록을 이용하여 영상 프레임을 복호하는 디코딩부를 포함하고,
    상기 신규 참조 블록은 하기 수학식을 이용하여 생성되는 것을 특징으로 하는 동영상 복호화 장치.
    Figure 112021117089227-pat00004

    여기서, x 및 y는 프레임내 블록의 위치를 나타내며, i와 j는 블록 내부의 화소 위치를 나타내고, z는 3D 움직임 벡터에 포함된 카메라 방향으로의 이동 정보를 나타냄.
  19. 삭제
KR1020200076417A 2020-06-23 2020-06-23 동영상 부호화 방법, 복호화 방법 및 그 장치 KR102378713B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200076417A KR102378713B1 (ko) 2020-06-23 2020-06-23 동영상 부호화 방법, 복호화 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200076417A KR102378713B1 (ko) 2020-06-23 2020-06-23 동영상 부호화 방법, 복호화 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20210158088A KR20210158088A (ko) 2021-12-30
KR102378713B1 true KR102378713B1 (ko) 2022-03-24

Family

ID=79178719

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200076417A KR102378713B1 (ko) 2020-06-23 2020-06-23 동영상 부호화 방법, 복호화 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR102378713B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013546267A (ja) * 2010-11-09 2013-12-26 株式会社ソニー・コンピュータエンタテインメント ビデオ符号化方法および装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100479255B1 (ko) * 2001-08-16 2005-03-30 이상욱 동영상 부호화 시스템의 동영상 움직임 추정 장치
WO2009131703A2 (en) * 2008-04-25 2009-10-29 Thomson Licensing Coding of depth signal
US10560718B2 (en) * 2016-05-13 2020-02-11 Qualcomm Incorporated Merge candidates for motion vector prediction for video coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013546267A (ja) * 2010-11-09 2013-12-26 株式会社ソニー・コンピュータエンタテインメント ビデオ符号化方法および装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Li Li et al, Advanced 3D Motion Prediction for Video-Based Dynamic Point Cloud Compression, IEEE Transactions on Image Processing, Vol.29 (2019.08.02.) 1부.*
이득우, 네이버 블로그, 상상하는게임수학, 29. 투영 변환 행렬 (Projective Transformation Matrix), 인터넷: https://blog.naver.com/destiny9720/221425095052(2018.12.22.) 1부.*

Also Published As

Publication number Publication date
KR20210158088A (ko) 2021-12-30

Similar Documents

Publication Publication Date Title
US10110902B2 (en) Method and apparatus for encoding/decoding motion vector
RU2701052C1 (ru) Устройство кодирования с предсказанием видео, способ кодирования с предсказанием видео, устройство декодирования с предсказанием видео и способ декодирования с предсказанием видео
JP5562408B2 (ja) 指揮された補間およびデータの後処理
JP4955216B2 (ja) グレイアルファチャンネルを含んだ映像の符号化／復号化装置および方法
KR102123960B1 (ko) 화상 예측 부호화 장치, 화상 예측 부호화 방법, 화상 예측 부호화 프로그램, 화상 예측 복호 장치, 화상 예측 복호 방법 및 화상 예측 복호 프로그램
US9888248B2 (en) Method and apparatus for generating encoded motion information /recovering motion information using motion information integration, and image encoding/decoding method and apparatus using same
KR101883265B1 (ko) 패치 시프팅을 통해 벡터 양자화 에러를 감소시키기 위한 방법들 및 장치
JP6409516B2 (ja) ピクチャ符号化プログラム、ピクチャ符号化方法及びピクチャ符号化装置
JP4888919B2 (ja) 動画像符号化装置および動画像復号装置
KR102097422B1 (ko) 조작 영상 검출 장치 및 방법
KR102163477B1 (ko) 비디오 부호화 및 복호화 방법, 그를 이용한 장치
KR101349405B1 (ko) 스케일러블 비디오 코덱의 압축 효율 향상을 위한 템플릿 매칭 방법 및 장치
US10911779B2 (en) Moving image encoding and decoding method, and non-transitory computer-readable media that code moving image for each of prediction regions that are obtained by dividing coding target region while performing prediction between different views
KR102378713B1 (ko) 동영상 부호화 방법, 복호화 방법 및 그 장치
KR20110049079A (ko) 필터 정보를 이용한 영상 압축 장치 및 방법과 영상 복원 장치 및 방법
JP2009111647A (ja) 動きベクトル検出装置および動きベクトル検出方法
US20210289230A1 (en) Method and apparatus for encoding and decoding video signal using transform domain prediction for prediction unit partition
US20220092827A1 (en) Method, apparatus, system and computer-readable recording medium for feature information

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant