KR20180057789A - 전방향 카메라에서 효과적인 차분 움직임 백터 전송방법을 이용한 비디오 코딩 방법 및 방법 및 장치 - Google Patents

전방향 카메라에서 효과적인 차분 움직임 백터 전송방법을 이용한 비디오 코딩 방법 및 방법 및 장치 Download PDF

Info

Publication number
KR20180057789A
KR20180057789A KR1020160155541A KR20160155541A KR20180057789A KR 20180057789 A KR20180057789 A KR 20180057789A KR 1020160155541 A KR1020160155541 A KR 1020160155541A KR 20160155541 A KR20160155541 A KR 20160155541A KR 20180057789 A KR20180057789 A KR 20180057789A
Authority
KR
South Korea
Prior art keywords
motion vector
information
image
virtual
coordinates
Prior art date
Application number
KR1020160155541A
Other languages
English (en)
Inventor
심동규
박시내
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to KR1020160155541A priority Critical patent/KR20180057789A/ko
Priority to PCT/KR2016/013592 priority patent/WO2018097351A1/ko
Priority to CN201680091033.9A priority patent/CN109997362A/zh
Publication of KR20180057789A publication Critical patent/KR20180057789A/ko
Priority to US16/418,738 priority patent/US20190273944A1/en
Priority to US17/100,117 priority patent/US11218725B2/en
Priority to US17/552,678 priority patent/US11711540B2/en
Priority to US18/332,136 priority patent/US20230328273A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Abstract

본 발명은 전방향 보안 카메라를 위한 고화질 비디오 압축 방법 및 장치에서 영상 부호화 및 복호화 기술에 관한 것으로, 더욱 상세하게는 효과적으로 차분 움직임 백터를 전송하고, 전송된 차분 움직임 백터를 통해 실제 움직임 백터를 계산하고 이를 통해 움직임 보상을 하는 방법 및 장치에 관한 것이다.

Description

전방향 카메라에서 효과적인 차분 움직임 백터 전송방법을 이용한 비디오 코딩 방법 및 방법 및 장치 {METHOD AND APPARATUS FOR OMNIDIRECTIONAL SECURITY VIDEO CODING IN USING METHODD OF EFFECTIVE TRANSMISSION FOR MOTION VECTOR DIFFERENCE}
본 발명은 전방향 보안 카메라를 위한 고화질 비디오 압축 방법 및 장치에서 영상 부호화 및 복호화 기술에 관한 것으로, 더욱 상세하게는 효과적으로 차분 움직임 백터를 전송하고, 전송된 차분 움직임 백터를 통해 실제 움직임 백터를 계산하고 이를 통해 움직임 보상을 하는 방법 및 장치에 관한 것이다.
최근 불특정 다수에 대한 무차별 범죄 혹은 특정 대상에 대한 보복 범죄, 사회적 취약 계층에 대한 범죄 등 범죄로 인한 사회적인 불안감이 증가하면서 보안을 위한 다양한 장치 및 시스템의 개발이 요구되고 있다. 특히 보안카메라의 경우 범죄의 현장에 대한 증거 혹은 범인의 인상착의에 대한 자료로서 활용이 가능하기 때문에 국가적인 차원의 수요뿐 아니라 개인의 안전을 위한 수요 또한 증가되는 추세이다. 하지만 취득된 자료의 전송 혹은 저장에 있어서의 제한적인 상황으로 인해 화질에 열화가 발생하거나 혹은 저화질의 영상으로 저장할 수 밖에 없는 현실적인 문제를 가지게 된다. 보안 카메라 영상의 다양한 활용을 위해서는 고화질의 영상을 낮은 데이터량으로 저장할 수 있는 고화질의 압축 방법이 요구된다.
대부분의 영상 압축에서 부/복호화 효율은 영상간 압축을 통해 나타나기 때문에, 효과적으로 영상간 압축을 하는 다양한 발명이 수행되었다. 효과적인 움직임 백터 전송기술은 화면간 예측 호화 성능을 향상 시키는 중요한 기술이다.
본 발명의 일부 실시예는 전방향 보안 카메라를 통해 취득된 영상데이터를 효과적으로 압축하는 것을 그 목적으로 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기 과제를 달성하기 위한 기술적 수단으로서 본 발명의 일 실시예에 따른 영상 복호화 장치 및 방법은 가상 움직임 백터를 이용하여 움직임 백터의 예측 후보를 영상에 적응적으로 설정하고, 해당 예측 후보 및 전송된 차분 움직임 백터를 이용하여 실제 움직임 백터를 계산 한 후에 움직임 보상을 수행한다. 이를 위해 본 발명의 일 실시예에서는 영상 정보 및 카메라 정보 파싱(parsing)부, 파싱 정보를 이용하여 영상의 정보들을 계산하고 예측하는 정보 취득부, 영상정보들을 이용하여 가상 영상 좌표계를 생성하는 가상 좌표 설계부, 가상 좌표에서 움직임 백터 예측 후보를 설정하는 움직임 백터 예측 후보 설정부, 예측 움직임 백터 및 전송된 차분 움직임 백터를 잉용하여 가상 움직임 백터를 계산하는 가상 움직임 백터 계산부, 가상 움직임 백터를 영상 내 실제 움직임 백터로 변환하는 움직임 백터 변환부, 및 실제 움직임 백터를 이용하여 움직임 보상을 수행하는 움직임 보상 수행부를 포함한다.
본 발명은 화면 간 예측 부호화 효율을 향상시키기 위하여, 영상의 특성을 반영하여 가상좌표를 설계하고 가상좌표에서 예측 움직임백터 및 차분 움직임 백터를 이용하여 가상 움직입백터를 계산한 후에 움직임보상을 수행하는 방법으로 부/복호화 효율을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 비디오 복호화 장치의 구성을 나타내는 블록도를 도시한다.
도 2는 본 발명의 일 실시예에 따른 움직임 백터 예측 시 예측 움직임 백터의 후보가 되는 주변 블록의 위치에 대한 것이다.
도 3은 본 발명의 일 실시예에 따른 예측 움직임 백터의 후보가 존재하지 않는 실시예에 대한 것이다.
도 4는 본 발명의 일 실시예에 따른 예측 움직임 백터의 가상좌표와 실제 영상 좌표의 관계를 도시한 것이다.
도 5는 본 발명의 실시예에서 화면간 예측을 수행하는 방법에 대한 것이다.
도 6은 본 발명의 실시예에서 화면간 예측을 수행하는 방법에 대한 것이다.
도 7는 본 발명의 일 실시예에서 움직님 보상을 수행하기 위해 움직임 백터를 계산하는 과정을 나타낸 것이다.
도 8은 본 발명의 일 실시예에서 가상좌표의 개념을 설명하는 도면이다.
도 9는 본 발명의 일 실시예에서 다양한 형태의 전방향 프로젝선을 도시한 것이다.
도 10은 본 발명의 실시예에서 프로젝션된 영상으로 프레임을 구성하는 방법을 도시한 것이다.
도 11은 본 발명의 실시예에서 프로젝션된 영상으로 프레임을 구성하는 방법을 도시한 것이다.
하기는 본 명세서에 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다.
또한, 본 명세서 전체에서 어떤 부분이 어떤 구성요소를 '포함'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본 명세서 전체에서 사용되는 정도의 용어 ~(하는) 단계 또는 ~의 단계는 ~를 위한 단계를 의미하지 않는다.
또한, 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
덧붙여, 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 기술되고, 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.
먼저, 본 출원에서 사용되는 용어를 간략히 설명하면 다음과 같다.
이하에서 후술할 복호화 장치(Video Decoding Apparatus)는 민간 보안 카메라, 민간 보안 시스템, 군용 보안 카메라, 군용 보안 시스템, 개인용 컴퓨터(PC, Personal Computer), 노트북 컴퓨터, 휴대형 멀티미디어 플레이어(PMP, Portable Multimedia Player), 무선 통신 단말기(Wireless Communication Terminal), 스마트 폰(Smart Phone), TV 응용 서버와 서비스 서버 등 서버 단말기에 포함된 장치일 수 있으며, 각종 기기 등과 같은 사용자 단말기, 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 복호화하거나 복호화를 위해 화면 간 또는 화면 내 예측하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다.
또한, 부호화기에 의해 비트스트림(bitstream)으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB, Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 복호화되어 영상으로 복원되고 재생될 수 있다.
통상적으로 동영상은 일련의 픽쳐(Picture)들로 구성될 수 있으며, 각 픽쳐들은 블록(Block)과 같은 코딩 유닛(coding unit)으로 분할될 수 있다. 또한, 이하에 기재된 픽쳐라는 용어는 영상(Image), 프레임(Frame) 등과 같은 동등한 의미를 갖는 다른 용어로 대치되어 사용될 수 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있을 것이다. 그리고 코딩유닛이라는 용어는 단위 블록, 블록 등과 같은 동등한 의미를 갖는 다른 용어로 대치되어 사용될 수 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있을 것이다.
이하, 첨부한 도면들을 참조하여, 본 발명의 실시 예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 블록의 분할 정보를 이용하여 블록단위로 영상 복호화를 수행하는 복호화 장치를 도시한다. 복호화 장치는 엔트로피 복호화부(110), 역양자화부(120), 역변환부(130), 화면간예측부(140), 화면내예측부(150), 루프필터부(160), 복원 영상 저장부(170) 중 적어도 하나를 포함할 수 있다.
엔트로피 복호화부(110)는 입력된 비트스트림(100)을 복호화하여 신택스 요소(syntax elements) 및 양자화된 계수 등과 같은 복호화 정보를 출력한다. 출력되는 정보에는 복호호화를 수행하기 위한 다양한 정보가 포함되어 있으며 이러한 정보에는 영상 및 영상 취득 카메라에 대한 정보가 포함될 수 있다. 영상 및 영상 취득정보는 다양한 형태 및 단위로 전송될 수 있으며, 비트스트림에서 추출되거나 비트스트림에서 추출된 정보를 이용하여 계산 혹은 예측될 수 있다.
역양자화부(120) 및 역변환부(130)는 양자화 계수를 수신하여 역양자화 및 역변환을 차례대로 수행하고, 잔차 신호(residual signal)를 출력한다.
화면 간 예측 부(140)는 비트스트림으로부터 추출된 차분 움직임 백터와 예측 움직임백터를 이용하여 움직임 백터를 계산하고 복원 영상 저장부(170)에 저장되어 있는 복원 영상을 이용하여 움직임 보상을 수행하여 예측 신호를 생성한다. 이때 예측 움직임 백터의 정확한 예측은 차분 움직임 백터의 전송량을 줄일 수 있기 때문에 효율적인 움직임 백터 전송에 있어 매우 중요한 요소라 할 수 있다. 예측 움직임백터의 후보는 도 2와 같이 현재 복호화 하는 블록의 주변 블록들의 움직임 백터를 이용하게 된다. 도 2는 발명에 대한 하나의 실시 예로서 복호화 블록의 모양 및 움직임 백터 후보와 현재 보호화 블록의 위치관계는 발명의 실시 예에 따라 달라질 수 있다. 도 2에서는 복호화 블록의 모양을 정사각형의 형태로 실시예에 따라 임의의 크기를 가지는 직사각형 혹은 임의의 모양 등이 가능하며, 움직임 백터 후보도 복호화 블록의 모양 및 영상 내부 좌표에 따라 여러가지 형태로 나타날 수 있다. 현재 복호화 하는 블록의 주변 블록의 움직임 백터, 참조영상의 co-located 위치 블록의 움직임 백터, 복호화 블록에 대응하는 다른 색차 성분의 움직임 백터, 복호화 블록에 대응하는 다른 색차 성분의 주변 블록의 움직임백터, 복호화 블록주변 블록의 움직임 백터를 이용하여 참조영상과 복호화영상의 시간적 위치 관계를 적용하여 스케일링한 움직임 백터 등이 가능할 수 있다. 도 3은 예측 움직임 백터 후보군 구성시에 현재 복호화 블록의 영상내 위치 관계 혹은 영상의 특성에 따라 공간적으로 주변 주변 블록의 움직임 백터가 존재하지 않는 경우를 도시한 것이다. 도에서 회색 빗금 블록은 블록이 존재하지 않거나 움직임 백터가 존재하지 않는 블록을 나타낸다. 실시예에 따라 주변 블록의 공간적 예측 움직임 백터의 후보의 존재 유무는 다양하게 나타날 수 있으며 본 도에서는 4가지의 실시예에 대해서 도시하였다. 예를 들어 현재 복호화 하는 블록이 영상 내에서 오른쪽 가장자리에 위치하게 되면 도3(A)와 같이 빗금이 위치의 블록은 영상에서 존재할 수 없고 움직임 백터 역시 존재할 수 없다. 이 경우 다른 위치의 블록의 움직임백터를 사용할 수 있는데 도 4와 같다. 도 4와 같이 오른쪽 가장자리에 위치한 복호화 블록은 빗금위치의 복호화 블록이 존재하지 않지만 R위치의 복호화 블록은 존재하므로 움직임 백터 역시 예측 움직임백터 후보로 사용가능하다. 도 3의 (B), (C), (D)의 경우도 도 4의 실시 예를 확장시켜 실시예를 예측할 수 잇으며, 이는 통상의 지식을 가진 자라면 예측가능한 실시예이므로 자세한 설명은 생략한다. 이러한 과정을 통해 예측 움직임 백터를 구하고 구해진 예측 움직임 백터에 비트스트림을 통해 전송된 차분 움직임 백터를 더하면 실제 움직임 백터를 계산할 수 있다. 이렇게 구해진 실제 움직임 백터 및 참조 영상을 통해 화면 간 예측부(140)의 움직임 보상이 수행된다.
본 발명의 실시예와 같이 인접 블록의 움직임 백터가 아닌 현재 복호화 블록과 떨어진 위치의 블록의 움직임 백터를 예측 움직임 백터를 사용하는 방법을 위해 부호화기는 관련 정보를 신택스에 포함하여 복호화기로 전송할 수 있다. 이는 시퀀스 단위, 프레임단위, 슬라이스 단위, 타일 단위 등 다양한 레벨에서 가능하며 여기서 시퀀스, 프레임, 슬라이스, 타일은 코딩 유닛의 집합을 의미하는 다른 용어로 대체 가능하다. 실시예에 따라 본 발명의 실시예의 사용여부 및 관련 정보를 직접적으로 전송할 수 있지만, 복호화기에서 부호화기에서 보낸 다른 정보를 이용하여 계산 및 추측도 가능하다.
본 발명의 실시 예는 예측 움직임 백터 후보군의 결정뿐 아니라 움직임백터 통합(MV merge)과 관련해서도 동일하게 적용 가능하다. 부호화기에서 움직임 백터 통합을 위해서는 통합 후보 움직임 백터가 필요하며, 본 발명의 실시예에서의 예측 움직임 백터 후보군은 움직임 백터 통합을 위한 후보군으로 사용가능하다. 즉 본 발명의 실시예에 따른 복호화기에서 현재 복호화 블록이 주변의 블록과 동일한 움직임 백터를 사용하는 움직임 백터 통합 블록에 해당이 되면, 도 3과 도 4를 통해 설명한 움직임 백터 후보 블록 중의 하나와 움직이 백터 통합이 되었을 수 있으며, 해당 정보는 비스트스림 파싱 및 복호화를 통해 복호화기에서 획득할 수 있다.
화면 내 예측부(150)는 복호화되는 현재 블록과 인접하는 기 복호화된 주변 블록의 화소 값을 이용하여 공간적 예측을 수행하여 예측 신호를 생성한다.
화면 간 예측부(140)와 화면 내 예측부(150)로부터 출력된 예측 신호는 잔차신호와 합산되며, 합산을 통해 생성된 복원된 영상은 인루프 필터부(160)로 전달된다.
인루프 필터부(160)에서 필터링이 적용된 복원 픽쳐는 복원 영상 저장부(170)에 저장되며, 화면 간 예측부(140)에서 참조 픽쳐로 사용될 수 있다.
도 5는 화면간 예측 시 적용된 블록에 대해서 움직임 보상에 대한 실시예를 도시화한 것이다. 도 5에서 (A)는 참조 영상을 하나만 사용하는 경우 일반적으로 P 슬라이스에 대한 움직임 보상을 나타내고, (B)는 참조 영상이 두 장인 경우 일반적인 B 슬라이스에서의 움직임 보상을 나타낸다. B슬라이스에 대한 움직임 보상에서 참조 영상은 POC에 상관없이 이전에 복호화가 되어서 참조영상 프레임 버퍼에 저장된 프레임에 대해서 모두 가능하며 해당 내용은 참조 영상에 대한 인덱스 정보와 움직임 정보(차분 움직임 백터, merge index, sacale 정보 등)가 함께 부호화기에서 복호화기로 전송되고 이를 이용하여 복호화가 될 수 있다. 예측 움직임 백터에 전송받은 차분 움직임 백터 정보 혹은 움직임백터 통합 정보 등을 이용하여 움직임 보상을 수행하면 일반적으로 도 5와 같이 참조되는 블록은 참조영상 내부에 위치하게 된다. 본 발명의 실시 예에서는 영상간 참조를 위해 계산된 움직임 백터의 같이 도 6과 같은 형태로 나타나고 이를 참조할 수 있다. 영상의 특성에 따라 영상의 왼쪽 가장자리와 오른쪽 가장자리의 상관도가 높은 경우 발명의 실시예를 통해 부호화 효율의 효과를 얻을 수 있을 것이다. 도 6의 B와 C는 영상 평면에서는 서로 다른 위치인 양쪽 가장자리에 위치하지만 x좌표가 동일한 위치에 있는 블록들로 양쪽 가장자리를 이어 붙이면 도 8(A)와 같은 형태가 된다. 즉 본 발명의 실시 예에 따르면 상관도가 높은 양쪽 가장자리를 이어 붙인 형태로 움직임 보상이 가능한 것이다. 만약 위쪽 가장자리와 아래쪽 가장자리의 상관도가 높은 영상의 경우 도8(b)와 같은 형태로 움직임 보상이 가능할 것이다. 본 발명의 실시예는 참조영상의 개수와 상관없이 가능하며 도 6(B)와 같이 두개의 참조 블록 중 하나는 화면 내부에서 참조되고 다른 하나는 영상 가장자리에서 참조되는 형태 및 두 블록 다 영상 가장자리에서 참조되는 것 등 어떠한 참조 형태에서도 활용될 수 있다.
도 7은 본 발명의 실시예에 따라 움직임 보상을 수행하기 위한 과정을 도시화한 것이다. 본 발명의 실시예에서 복호화기는 부호화기로부터 전송된 비트스트림으로부터 영상 취득 카메라의 정보 및 영상에 대한 정보를 파싱(parsing)한다(701). 해당 정보는 시퀀스 단위로 전송되었을 수도 있고, SEI message 단위로 전송될 수 있으며, 영상 그룹 혹은 영상 한 장의 단위로 전송될 수도 있다. 비트스트림에 포함된 취득 카메라의 정보는 동시에 영상을 취득한 카메라의 개수, 카메라의 위치, 카메라의 각도, 카메라의 종류, 카메라 해상도 등이 있을 수 있으며, 영상에 대한 정보는 카메라를 통해 취득된 영상의 해상도, 크기, bit-depth, 프로젝션 모양, 전처리 형태 및 관련 계수 정보, 가상좌표 관련 정보 등이 있을 수 있다. 전송되는 정보는 실시 예에 따라 모든 정보가 전송될 수도 있고, 일부의 정보만 전송되어 복호화기에서 계산 혹은 유도할 수 있으며, 상기 거론된 정보 이외에도 복호화기에서 필요로 하는 정보가 함께 전송될 수 있다.
복호화기는 이렇게 전송되어 파싱된 정보들에서 복호화시 필요한 정보를 취득(702)하는데, 이는 실시예에 따라 전송된 정보를 직접적으로 사용할 수 있고 전송된 정보를 이용하여 유도하거나 계산 할 수 있다. 상기 실시예를 통해 살펴보면 예측움직임 백터군 형성시 도 3, 4를 통해 설명한 영상의 경계 블록에 대해 건너편 영상의 경계에서 복호화된 블록의 움직임 백터를 후보군에 넣을 것인지 그리고 도 6을 통해 설명한 참조 블록이 분할되어 서로 다른 경계에서 나타나는 실시 예가 적용되었는지 등이 해당 영상 정보를 통해 전송되거나 취득되는 정보 등이 이에 해당할 수 있다. 복호화기는 취득된 정보를 바탕으로 가상 좌표를 설계(703) 한다. 가상 좌표는 도 8의 도면의 실시예와 같이 영상의 경계면을 이어서 좌표를 설정하는 것으로 영상의 경계가 서로 연결되어 환형의 형태로 이어지며 움직임백터가 경계를 넘어 나타나거나 혹은 경계에 걸쳐서 나타날 수 있도록 한다. 단순하게는 도 8과 같은 형태로 하나의 경계만이 서로 연결되어 가상의 좌표를 가질수도 있지만, (701)에서 취득된 카메라의 종류 및 영상의 프로젝션 모양에 따라 다면체의 형태 혹은 구의 형태로 연결되어 복잡한 연결 경계를 가질수도 있다. 또한 카메라의 개수 및 프로젝션 모양에 따라 연결되는 경계가 달라질 수 있기 때문에 가상좌표 설정은 영상에 따라 적응적으로 나타날 수 있다. 가상좌표가 설계되면 해당 가상 좌표에 따라서 PMV 후보 설정(704)이 가능하다. 그리고 예측 움직임백터와 전송된 차분 움직임 백터를 통해 가상 좌표(705)에서의 움직임 백터를 계산한다. 그리고 가상 움직임 백터를 평면의 영상내 움직임 백터로 계산(706) 한 후에 해당 움직임 백터값을 이용하여 참조 영역 결정 및 보상을 수행(707)한다. 만약 가상좌표와 실제 좌표가 동일하다면 가상좌표 설정 단계 없이 수행이 가능하고, 해당 실시 예는 실시의 편의를 위해 가상 좌표를 통해 MV를 계산하고 이를 통해 움직임 보상을 수행 하였지만, 실시 예에 따라 가상 좌표 없이 움직임 백터의 계산을 수행할 수도 있다. 즉 실시 예에 따라 가상 좌표의 설계 없이 테이블 맵핑을 통해 좌표를 변환하는 방법을 통해 움직임 백터를 계산하고 참조 영상내 움직임 보상을 수행하는 것도 가능하다. 해당 실시 예는 가상 좌표를 설계하는 단계를 포함하지 않더라도 좌표를 맵핑하는 테이블이 해당 가상 좌표 설계를 포함한다고 할 수 있다. 또 다른 실시 예는 가성 좌표 설계에 대한 좌표 설정 혹은 좌표 맵핑 테이블을 부호화기에서 영상 정보에 포함하여 전송할 수 있다. 복호화기는 부호화기로부터 전송된 좌표 맵핑 테이블을 이용하여 영상내 실제 좌표와 가상좌표간의 변환을 할 수 있다. 또 다른 실시 예는 가상 좌표 혹은 좌표들을 부/복호화기 간의 약속으로 고정하고 고정된 가상 좌표 값을 사용하는 방법으로 단일 가상 좌표 값을 가지는 실시 예에서는 복호화기는 정해진 가상좌표만을 이용하여 움직임 백터 계산 및 움직임보상을 수행한다. 복수개의 고정 가상 좌표들이 약속된 경우, 부호화기는 해당 가상 좌표를 지칭하는 정보를 복호화기로 전송하거나 복호화기에서 이전에 복호화된 영상을 통해 예측하여 가상 좌표에 대한 정보를 취득할 수 있다.
도 9는 전방향 카메라의 영상이 프로젝션 된 다양한 실시 예이다. 도 9(A)는 정육면체로 프로젝션 된 모습을 도시화 한 것이다. 해당 실시예에서 센서의 개수가 각 프로젝션 된 면의 개수와 일치하도록 6개가 될 수 있지만 더 적거나 더 많은 경우도 가능하다. 정 6면체로 프로젝션이 되면 6면의 영상이 생성이 되는데 이를 압축 전송하기 위해 도 10의 (A)와 같이 하나의 면을 하나의 프레임으로 구성할 수도 있고 (B)와 같이 동시에 취득 및 프로젝션 된 6개의 영상을 하나의 프레임으로 구성하여 전송할 수도 있다. 이때 6개의 면이 도 10(B)의 어떤 위치에 위치하게 될지는 실시예에 따라 달라 질 수 있다. 본 발명의 실시예에서는 가상좌표의 설정시 해당 정보를 이용할 수 있기 때문에 부호화기는 해당 정보를 비트스트림을 통해 복호화기로 전송하여야 한다. 복호화기는 (701), (702)에서 해당 정보를 취득하고 가상 좌표 설계시 이를 사용할 수 있다. 물론 해당 정보가 부/복호화기간의 약속이 된 경우 이는 생략될 수 있으며, 복호화기는 부호화기에서 전송받지 않아도 약속된 사항을 통해 해당 정보의 취득이 가능하다. 도10 (C)는 영상의 프로젝션이 12개의 면을 가진 도형으로 이루어진 경우 이를 하나의 프레임으로 구성한 실시예에 해당한다. 실시 예는 다수의 센서를 가지는 카메라가 동시에 취득된 영상 혹은 영상들을 프로젝션하고 이를 압축 및 전송의 편의를 위해 하나의 프레임을 구성하는 방법에 관한 것으로 카메라가 가지는 센서의 개수 및 프로젝션 모양에 따라 다양한 형태를 가질 수 있으며 실시 예에 따라 다양하게 나타날 수 있다
도 11은 프로젝션의 모양과 프레임을 구성하는 방법에 대한 또 다른 실시예이다. 도 11에서 검정색 음영 부분은 취득 영상이 프로젝션 되어 실제 영상데이터가 존재하는 부분이고, 흰색 부분은 영상데이터가 존재하지 않는 부분이다. 프로젝션을 하는 방법이나 프레임을 구성하는 방법에 따라 일반적인 직사각 형태의 프레임에 꽉 찬 형태로 데이터가 존재하지 않을 수 있으며, 그 경우 부호화기에서는 복호화기로 해당 정보를 전송하여야 한다. 실시 예에 따라 흰색 부분을 패딩하여 직사각 형태의 프레임을 구성하고 부/복호화가 이루어질 수도 있고, 패딩 없이 해당 영상 부분만 부/복호화를 할 수도 있다. 두 방법 모두 부/복호화기는 해당 정보를 알고 이를 이용해야 하며, 부호화기에서 복호화기로 해당 정보를 전송할 수도 있고 아니면 부/복호화기간의 약속을 통해 이루어질 수 있다.
해당없음

Claims (3)

  1. 비디오 복호화 방법에 있어서,
    취득 카메라 및 영상 정보 파싱(parsing) 단계;
    상기 파싱정보로부터 영상정보를 취득하는 단계;
    상기 취득정보를 바탕으로 가상좌표를 설계하는 단계;
    상기 가장 좌표를 바탕으로 예측 움직임 백터 후보를 설정하는 단계;
    상기 예측 움직임 백터 및 전송 차분 움직인 백터를 바탕으로 가상 움직임 백터를 계산하는 단계;
    가상 움직님 백터를 실제 참조 영상제 움직임 백터로 변환 하는 단계; 및
    참조 영상의 참조 영역을 결정하고 움직임 보상을 수행하는 단계를 포함하는 것을 특징으로 하는 비디오 복호화 방법.
  2. 제 1항에 있어서,
    상기 가상 좌표는 영상의 특성에 따라 단수 혹은 복수개가 존재할 수 있으며 부/복호화기간의 상호 약속에 의해 자동으로 가상좌표가 설정될 수 있으며, 복수개의 가상좌표가 약속된 경우, 취득 마케라 및 영상 정보 파싱 단계에서 가상좌표의 번호를 파싱하는 단계를 포함하는 방법
  3. 제 2항에 있어서,
    가상좌표의 번호를 파싱하고 해당 번호를 이용하여 가상좌표와 영상 좌표의 맵핑 테이블을 이용하여 영상 내 실제 움직임 백터를 취득하고 이를 이용하여 움직임 보상을 수행하는 것을 특징으로 하는 비디오 복호화 방법
KR1020160155541A 2016-11-22 2016-11-22 전방향 카메라에서 효과적인 차분 움직임 백터 전송방법을 이용한 비디오 코딩 방법 및 방법 및 장치 KR20180057789A (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020160155541A KR20180057789A (ko) 2016-11-22 2016-11-22 전방향 카메라에서 효과적인 차분 움직임 백터 전송방법을 이용한 비디오 코딩 방법 및 방법 및 장치
PCT/KR2016/013592 WO2018097351A1 (ko) 2016-11-22 2016-11-24 전방향 카메라에서 효과적인 차분 움직임 백터 전송방법을 이용한 비디오 코딩 방법 및 방법 및 장치
CN201680091033.9A CN109997362A (zh) 2016-11-22 2016-11-24 在全向摄像机中使用有效差分运动矢量传送方法编码视频的方法和方法及装置
US16/418,738 US20190273944A1 (en) 2016-11-22 2019-05-21 Method for encoding video using effective differential motion vector transmission method in omnidirectional camera, and method and device
US17/100,117 US11218725B2 (en) 2016-11-22 2020-11-20 Method for encoding video using effective differential motion vector transmission method in omnidirectional camera, and method and device
US17/552,678 US11711540B2 (en) 2016-11-22 2021-12-16 Method for encoding video using effective differential motion vector transmission method in omnidirectional camera, and method and device
US18/332,136 US20230328273A1 (en) 2016-11-22 2023-06-09 Method for encoding video using effective differential motion vector transmission method in omnidirectional camera, and method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160155541A KR20180057789A (ko) 2016-11-22 2016-11-22 전방향 카메라에서 효과적인 차분 움직임 백터 전송방법을 이용한 비디오 코딩 방법 및 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20180057789A true KR20180057789A (ko) 2018-05-31

Family

ID=62195530

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160155541A KR20180057789A (ko) 2016-11-22 2016-11-22 전방향 카메라에서 효과적인 차분 움직임 백터 전송방법을 이용한 비디오 코딩 방법 및 방법 및 장치

Country Status (4)

Country Link
US (4) US20190273944A1 (ko)
KR (1) KR20180057789A (ko)
CN (1) CN109997362A (ko)
WO (1) WO2018097351A1 (ko)

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7627194B2 (en) * 2004-08-13 2009-12-01 Samsung Electronics Co., Ltd. Method and device for making virtual image region for motion estimation and compensation of panorama image
US7623682B2 (en) * 2004-08-13 2009-11-24 Samsung Electronics Co., Ltd. Method and device for motion estimation and compensation for panorama image
KR100688383B1 (ko) * 2004-08-13 2007-03-02 경희대학교 산학협력단 파노라마 영상의 움직임 추정 및 보상
KR100677142B1 (ko) * 2004-08-13 2007-02-02 경희대학교 산학협력단 파노라마 영상의 움직임 추정 및 보상
KR100959536B1 (ko) 2006-03-30 2010-05-27 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR20080008944A (ko) * 2006-07-21 2008-01-24 엘지전자 주식회사 비디오 신호 디코딩 방법 및 장치
KR20080015760A (ko) * 2006-08-16 2008-02-20 엘지전자 주식회사 비디오 신호 디코딩 방법 및 장치
KR101377527B1 (ko) * 2008-10-14 2014-03-25 에스케이 텔레콤주식회사 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
WO2010053332A2 (ko) * 2008-11-10 2010-05-14 엘지전자 주식회사 시점간 예측을 이용한 비디오 신호 처리 방법 및 장치
EP3937497B1 (en) * 2011-03-21 2023-02-22 LG Electronics, Inc. Motion vector predictor selection
PL2698999T3 (pl) * 2011-04-12 2017-10-31 Sun Patent Trust Sposób kodowania ruchomych obrazów, urządzenie do kodowania ruchomych obrazów, sposób dekodowania ruchomych obrazów, urządzenie do dekodowania ruchomych obrazów, oraz urządzenie do kodowania/dekodowania ruchomych obrazów
KR101646581B1 (ko) * 2012-02-01 2016-08-09 한국전자통신연구원 재구성 가능한 코덱에서 기능 유닛에 부가정보를 제공하는 장치 및 방법
US20130195185A1 (en) 2012-02-01 2013-08-01 Industry-University Cooperation Foundation Hanyang University Apparatus and method for providing additional information to functional unit in reconfigurable codec
KR20150063135A (ko) * 2012-09-28 2015-06-08 노키아 테크놀로지스 오와이 비디오 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램
CN104155765B (zh) * 2013-05-15 2019-09-13 北京三星通信技术研究有限公司 在拼接式集成成像显示器中校正三维图像的方法和设备
US10609407B2 (en) * 2013-07-09 2020-03-31 Nokia Technologies Oy Method and apparatus for video coding

Also Published As

Publication number Publication date
US11711540B2 (en) 2023-07-25
CN109997362A (zh) 2019-07-09
WO2018097351A1 (ko) 2018-05-31
US20210076064A1 (en) 2021-03-11
US11218725B2 (en) 2022-01-04
US20190273944A1 (en) 2019-09-05
US20220109869A1 (en) 2022-04-07
US20230328273A1 (en) 2023-10-12

Similar Documents

Publication Publication Date Title
US10848760B2 (en) Encoding device, decoding device, encoding method, and decoding method
US20220046241A1 (en) Coding method, decoding method, encoder, and decoder
US10863175B2 (en) Encoder, and decoder, encoding method, decoding method
KR101808327B1 (ko) 영상 코덱에서 패딩을 이용한 영상 부/복호화 방법 및 장치
US11102483B2 (en) System and method for video coding
US11671593B2 (en) Encoder, decoder, encoding method, and decoding method
US11457240B2 (en) Encoder, decoder, encoding method, and decoding method
US20210314565A1 (en) Encoder, encoding method, decoder, and decoding method
US20240007629A1 (en) Method and device for transmitting block division information in image codec for security camera
US11303891B2 (en) Encoder, decoder, encoding method, and decoding method
US11671617B2 (en) Encoder, decoder, encoding method, and decoding method
US11070837B2 (en) Encoding method, decoding method, encoder, and decoder
US11197019B2 (en) Encoder that calculates a set of prediction samples for a first partition included in a video and encodes the first partition using the set of prediction samples
US20190394478A1 (en) Encoder, decoder, encoding method, and decoding method
US11711540B2 (en) Method for encoding video using effective differential motion vector transmission method in omnidirectional camera, and method and device
KR102469039B1 (ko) 전방향 카메라에서 효과적인 영상 패딩 방법 및 장치
KR102235314B1 (ko) 영상 코덱에서 패딩을 이용한 영상 부/복호화 방법 및 장치
KR102646642B1 (ko) 확장된 Intra Block Copy 방법을 통한 비디오 복호화 방법 및 장치
KR20180104218A (ko) 효과적인 영상 부/복호화를 위한 인루프 필터 정보 전송 방법 및 장치
KR20170113947A (ko) 글로벌 움직임 보상 방법 및 장치

Legal Events

Date Code Title Description
N231 Notification of change of applicant