KR20080008944A - 비디오 신호 디코딩 방법 및 장치 - Google Patents

비디오 신호 디코딩 방법 및 장치 Download PDF

Info

Publication number
KR20080008944A
KR20080008944A KR1020070033860A KR20070033860A KR20080008944A KR 20080008944 A KR20080008944 A KR 20080008944A KR 1020070033860 A KR1020070033860 A KR 1020070033860A KR 20070033860 A KR20070033860 A KR 20070033860A KR 20080008944 A KR20080008944 A KR 20080008944A
Authority
KR
South Korea
Prior art keywords
camera
information
motion vector
video signal
camera information
Prior art date
Application number
KR1020070033860A
Other languages
English (en)
Inventor
구한서
전병문
박승욱
전용준
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20080008944A publication Critical patent/KR20080008944A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 시점간 움직임 보상(inter-view motion prediction)을 이용하여 비디오 신호를 디코딩할 수 있는 비디오 신호 디코딩 방법 및 장치에 관한 것으로서, 비디오 신호로부터 카메라 정보(camera information)를 추출하는 단계; 및, 상기 카메라 정보를 이용하여 가상의 화면을 생성하는 단계를 포함한다. 슬라이스, 픽처 등 전체 영역에 해당하는 전역 움직임벡터를 통해 현재 블록의 움직임벡터를 획득할 수 있고, 카메라간의 간격이 다른 경우에도 정확한 뷰(시점)간의 거리를 산출하여 가중치 예측을 수행할 수 있다.
비디오, 카메라, 다시점

Description

비디오 신호 디코딩 방법 및 장치{METHOD FOR DECODING A VIDEO SIGNAL, AND APPARATUS FOR IMPLEMENTING THE SAME}
도 1은 본 발명의 제1 실시예에 따른 비디오 신호 디코딩 장치의 구성도.
도 2는 본 발명의 제1 실시예에 따른 비디오 신호 디코딩 방법의 순서도.
도 3은 호모지니어스 매트릭스의 개념을 설명하기 위한 도면.
도 4는 카메라 매트릭스의 개념을 설명하기 위한 도면.
도 5는 기본 매트릭스의 개념을 설명하기 위한 도면.
도 6은 본 발명의 제2 실시예에 따른 비디오 신호 디코딩 장치의 구성도.
도 7은 본 발명의 제2 실시예에 따른 비디오 신호 디코딩 방법의 순서도.
도 8 및 도 9는 전역 움직임벡터, 움직임벡터 오프셋, 및 움직임벡터와의 관계를 설명하기 위한 도면.
도 10은 도 7에서 전역 움직임벡터 추출 단계(S230 단계)의 세부 단계에 대한 일 실시예.
도 11a 내지 도 11c는 전역 움직임벡터가 포함된 신택스의 예들.
도 12는 도 7에서 전역 움직임벡터 추출 단계(S230 단계)의 세부 단계에 대한 다른 실시예.
도 13a 내지 도 13b는 전역 움직임벡터가 포함된 신택스의 예들.
도 14는 본 발명의 제3 실시예에 따른 비디오 신호 디코딩 장치의 구성도.
도 15는 본 발명의 제3 실시예에 따른 비디오 신호 디코딩 방법의 순서도.
도 16은 뷰간의 거리(tb, td)를 설명하기 위한 도면.
본 발명은 비디오 신호 디코딩 방법 및 장치에 관한 것이다.
압축 부호화란 디지털화한 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하는 일련의 신호 처리 기술을 의미한다. 압축 부호화의 대상에는 음성, 영상, 문자 등의 대상이 존재하며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 영상 압축이라고 일컫는다. 비디오 영상의 일반적인 특징은 공간적 중복성, 시간적 중복성을 지니고 있는 점에 특징이 있다.
본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로서, 슬라이스, 픽처 등 전체 영역에 해당하는 전역 움직임벡터를 통해 현재 블록의 움직임벡터를 획득할 수 있는 비디오 신호 디코딩 방법 및 장치를 제공하는데 그 목적이 있다.
본 발명의 또 다른 목적은 시퀀스, 픽처 등에 해당하는 카메라정보를 이용하여 전역 움직임벡터를 보정함으로써 현재 블록의 움직임벡터를 생성할 수 있는 비디오 신호 디코딩 방법 및 장치를 제공하는데 있다.
본 발명의 또 다른 목적은 카메라간의 실제 위치정보를 근거로 정확한 뷰(시 점)간의 거리를 산출하여 가중치 예측을 수행할 수 있는 비디오 신호 디코딩 방법 및 장치를 제공하는데 있다.
상기와 같은 목적을 달성하기 위하여 본 발명에 따른 비디오 신호 디코딩 방법은, 비디오 신호로부터 카메라 정보(camera information)를 추출하는 단계; 및, 상기 카메라 정보를 이용하여 가상의 화면을 생성하는 단계를 포함한다.
본 발명에 따르면, 상기 카메라 정보는, 카메라 파라미터, 호모지니어스 매트릭스 성분, 카메라 매트릭스 성분, 및 기본 매트릭스 성분 중 하나 이상을 포함할 수 있다.
본 발명에 따르면, 상기 추출하는 단계는, 플래그 정보에 따라 상기 카메라 파라미터, 상기 호모지니어스 매트릭스, 상기 카메라 매트릭스 및 상기 기본 매트릭스 중 하나 이상을 추출하는 것일 수 있다.
본 발명에 따르면, 상기 카메라 파라미터는, 고유의 카메라 파라미터 및 비고유의 카메라 파라미터 중 하나 이상을 포함할 수 있다.
본 발명에 따르면, 상기 카메라 정보의 존재여부를 나타내는 프로파일 아이디를 추출하는 단계를 더 포함하고, 상기 프로파일 아이디에 따라 상기 추출하는 단계가 수행되는 것일 수 있다.
본 발명에 따르면, 상기 카메라 정보는 호모지니어스 매트릭스 성분, 카메라 매트릭스 성분, 및 기본 매크릭스 성분 중 하나 이상을 포함하고, 상기 가상의 화면은, 세계 좌표계에서의 화면 또는 다른 뷰에 해당하는 화면 중 하나 이상일 수 있다.
본 발명에 따르면, 상기 카메라 정보는, 상기 비디오 신호의 파라미터 정보에 포함되어있고, 상기 생성하는 단계는, 상기 파라미터 정보의 유형에 따라 시퀀스 전체 또는 픽처를 이용하여 상기 가상의 화면을 생성하는 것일 수 있다.
본 발명의 또 다른 측면에 따르면, 비디오 신호로부터 카메라 정보(camera information)를 추출하는 카메라정보 추출부; 및, 상기 카메라 정보를 이용하여 가상의 화면을 생성하는 가상화면 생성부를 포함하는 비디오 신호 디코딩 장치가 제공된다.
본 발명의 또 다른 측면에 따르면, 비디오 신호를 발생시키는 카메라의 카메라 정보를 획득하는 단계; 및, 상기 카메라 정보를 비디오 신호에 포함시키는 단계를 포함하는 비디오 신호 인코딩 방법이 제공된다.
본 발명에 따르면, 상기 포함시키는 단계에서, 상기 카메라 정보는 상기 비디오 신호의 파라미터 정보에 포함되고, 상기 파라미터 정보의 유형은, 상기 카메라의 위치가 고정인지 여부에 따른 것일 수 있다.
본 발명에 따르면, 상기 카메라정보를 이용하여 움직임 벡터를 산출하는 단계를 더 포함하고, 상기 비디오 신호는 상기 움직임 벡터가 더 포함될 수 있다.
본 발명의 또 다른 측면에 따르면, 비디오 신호를 발생시키는 카메라의 카메라 정보를 획득하는 획득부; 및, 상기 카메라 정보를 비디오 신호에 포함시켜서 비디오 비트스트림을 생성하는 생성부를 포함할 수 있다.
본 발명의 또 다른 측면에 따르면, 비디오 신호로부터 카메라 정보 및 전역 움직임벡터(G_dv)를 추출하는 단계; 상기 카메라 정보를 이용하여 현재 블록의 움직임벡터 오프셋(offset by camera info)을 산출하는 단계; 및, 상기 움직임벡터 오프셋 및 상기 전역 움직임벡터를 이용하여, 현재 블록의 움직임벡터(dv)를 획득하는 단계를 포함하는 비디오 신호 디코딩 방법이 제공된다.
본 발명에 따르면, 상기 카메라 정보는, 카메라 파라미터, 호모지니어스 매트릭스 성분, 카메라 매트릭스 성분, 및 기본 매트릭스 성분 중 하나 이상을 포함할 수 있다.
본 발명에 따르면, 상기 추출하는 단계는, 카메라정보의 유형을 나타내는 플래그 정보에 따라 카메라 파라미터, 호모지니어스 매트릭스, 카메라 매트릭스 및 기본 매트릭스 중 하나 이상을 추출하는 것일 수 있다.
본 발명에 따르면, 상기 카메라 파라미터는, 고유의 카메라 파라미터 및 비고유의 카메라 파라미터 중 하나 이상을 포함하는 것일 수 있다.
본 발명에 따르면, 상기 전역 움직임벡터(G_dv)는 전체 영역에 해당하는 움직임 벡터일 수 있다.
본 발명에 따르면, 상기 전체 영역은, 슬라이스, 픽처, 앵커픽처, 픽처군(GOP), 및 시퀀스 중 하나일 수 있다.
본 발명에 따르면, 상기 전체 영역은, 픽처 내 배경, 또는 픽처 내 오브젝트 중 하나일 수 있다.
본 발명에 따르면, 상기 비디오 신호로부터 하나 이상의 오브젝트에 해당하는 전역 움직임벡터, 및 하나 이상의 오브젝트 위치정보(top_left, bottom_right) 를 추출하는 단계를 더 포함할 수 있다.
본 발명에 따르면, 상기 오브젝트 위치정보는, 왼쪽 상단의 지점, 및 우측 하단의 지점을 포함할 수 있다.
본 발명에 따르면, 상기 추출하는 단계에서, 상기 오브젝트의 개수를 나타내는 플래그 정보(flag)에 따라, 상기 비디오 신호로부터 상기 하나 이상의 오브젝트에 해당하는 전역 움직임 벡터 및 하나 이상의 오브젝트 위치정보가 추출될 수 있다.
본 발명의 또 다른 측면에 따르면, 비디오 신호로부터 카메라 정보 및 전역 움직임벡터(G_dv)를 추출하는 정보 추출부; 상기 카메라 정보를 이용하여 현재 블록의 움직임벡터 오프셋(offset by camera info)을 산출하고, 상기 움직임벡터 오프셋 및 상기 전역 움직임벡터를 이용하여, 현재 블록의 움직임벡터(dv)를 획득하는 움직임벡터 획득부를 포함하는 비디오 신호 디코딩 장치가 제공된다.
본 발명의 또 다른 측면에 따르면, 비디오 신호로부터 카메라 정보를 추출하는 단계; 상기 카메라 정보를 이용하여 현재 픽처의 가중치 계수(W0, W1)를 산출하는 단계; 및, 상기 가중치 계수를 이용하여 예측신호(W0Y0+W1Y1)를 생성하는 단계를 포함하는 비디오 신호 디코딩 방법이 제공된다.
본 발명에 따르면, 상기 산출하는 단계는, 상기 카메라 정보를 이용하여 참조 시점간의 거리(tb, td)를 산출하는 단계; 및, 상기 참조 시점간의 거리(tb, td)를 이용하여 가중치 계수(W0, W1)를 산출하는 단계를 포함할 수 있다.
본 발명에 따르면, 상기 생성하는 단계는, 상기 가중치 계수(W0, W1), 및 움직임보상 예측신호(Y0, Y1)를 이용하여 예측신호(W0Y0+W1Y1)를 생성하는 단계를 포함한다.
본 발명에 따르면, 상기 움직임보상 예측신호(Y0, Y1)는, 상기 카메라 정보 및 상기 전역 움직임벡터(G_dv)를 이용하여 움직임보상이 수행된 것일 수 있다.
본 발명에 따르면, 상기 카메라 정보는, 카메라 파라미터, 호모지니어스 매트릭스 성분, 카메라 매트릭스 성분, 및 기본 매트릭스 성분 중 하나 이상을 포함하는 것일 수 있다.
본 발명에 따르면, 상기 추출하는 단계는, 카메라정보의 유형을 나타내는 플래그 정보에 따라 카메라 파라미터, 호모지니어스 매트릭스, 카메라 매트릭스 및 기본 매트릭스 중 하나 이상을 추출하는 것일 수 있다.
본 발명의 또 다른 측면에 따르면, 비디오 신호로부터 카메라 정보를 추출하는 정보 추출부; 및, 상기 카메라 정보를 이용하여 현재 픽처의 가중치 계수(W0, W1)를 산출하고, 상기 가중치 계수를 이용하여 예측신호(W0Y0+W1Y1)를 생성하는 가중치 예측부를 포함하는 비디오 신호 디코딩 장치가 제공된다.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가 장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명의 제1 실시예에 따른 비디오 신호 디코딩 장치의 구성을 보여주는 도면이고, 도 2는 본 발명의 제1 실시예에 따른 비디오 신호 디코딩 방법의 순서를 보여주는 도면이다. 도 1 및 도 2를 참조하면, 본 발명의 제1 실시예에 따른 비디오 신호 디코딩 장치(100)는 카메라정보 추출부(110) 및 화면 합성부(120)를 포함한다.
카메라정보 추출부(110)는 우선, 카메라정보의 이용 여부를 나타내는 프로파일 아이디(profile_idc)를 추출한다(S110 단계). 프로파일 아이디는 카메라정보의 존재여부를 나타내는 것으로서, 시퀀스 파라미터 세트(Sequence parameter set)에 포함되어 있는 것일 수 있지만, 본 발명은 이에 한정되지 아니한다.
그런 다음, 카메라정보 추출부(110)는 S110 단계의 프로파일 아이디를 근거로 하여, 카메라정보의 유형을 나타내는 플래그 정보를 추출한다(S120 단계). 여기서, 카메라정보란, 일련의 픽처들인 시퀀스를 생성하는 카메라에 관한 정보로서, 하나의 카메라에 의해 촬영되는 일련의 픽처들은 하나의 시점 또는 뷰(view)를 구성한다. 또는 카메라의 위치가 변경되는 경우에도 새로운 시점 또는 뷰를 구성할 수도 있다. 한편, 카메라정보의 유형은, 1) 카메라 파라미터, 2) 호모지니어스 매트릭스, 3) 카메라 매트릭스, 및 4) 기본 매트릭스 등이 있을 수 있다. 이하에서는, 4가지의 카메라정보의 유형에 관해서 각각 순서대로 설명하고자 한다.
1) 카메라 파라미터는 고유의(intrinsic) 카메라 파라미터 및 비고유의 카메라 파라미터(extrinsic) 카메라 파라미터가 있을 수 있는데, 고유의 카메라 파라미터에는 초점 거리(focal length), 가로세로비(aspect ratio), 삐뚤어진 각도(skew), 주점(principal point) 등이 있을 수 있고, 비고유의 카메라 파라미터에는 세계 좌표계에서에서의 카메라의 위치정보 등이 있을 수 있다.
2) 호모지니어스 매트릭스(Homogeneous)는, 도 3 및 수학식 1과 같이 특정 뷰(view)(x)를 세계 좌표계의 정렬된 뷰(x')로 바꾸기 위한 것이다.
Figure 112007026465880-PAT00001
Figure 112007026465880-PAT00002
여기서, x'는 세계 좌표계에서의 점,
x는 각 뷰의 로컬 좌표계에서의 점,
H는 호모지니어스 매트릭스.
3) 카메라 매트릭스(Camera Matrix)는 각 뷰에서의 로컬 좌표계, 및 세계좌표계간의 관계를 기술하는 것으로서, 이 관계는 도 4 및 수학식 2와 같이 표현될 수 있다.
Figure 112007026465880-PAT00003
여기서, x는 현재 뷰의 로컬 좌표계에서의 점,
X는 세계 좌표계에서의 점,
P는 카메라 매트릭스.
카메라 매트릭스(P)는 카메라 파라미터를 이용하여 다음 수학식 3과 같이 표현될 수 있다.
Figure 112007026465880-PAT00004
여기서, A는 현재 카메라의 고유의 파라미터,
R은 로테이션(rotation),
t는 이동(translation).
수학식 3에서 벡터 A를 자세하게 표현하면 다음 수학식 4와 같다.
Figure 112007026465880-PAT00005
여기서, r은 가로세로비(aspect ratio), s는 삐뚤어진 각도(skew), f는 초점 거리, x0, y0은 주점.
4) 기본 매트릭스(Fundamental matrix)는 한 쌍의 뷰간의 기하학적 관계를 기술하는 것으로서, 도 5 및 수학식 5와 같이 표현될 수 있다.
Figure 112007026465880-PAT00006
여기서, x' 및 x는 각 로컬 좌표계에서의 점들,
F는 기본 매트릭스.
여기서, 기본 매트릭스는 두 카메라의 고유의(intrinsic) 및 비고유의(extrinsic)의 카메라 파라미터를 통해 획득될 수 있다.
앞서 설명한 바와 같은 카메라정보의 유형을 나타내는 플래그정보를 S120 단계에서 추출한 후, 추출된 플래그정보에 따라, 비디오 신호의 시퀀스 파라미터 세트(SPS:Sequence parameter set) 또는 픽처 파라미터 세트(PPS:Picture paremter set) 영역으로부터 카메라정보를 추출한다(S130 단계).
화면 합성부(120)는 S130 단계에서 추출된 카메라정보를 이용하여, 가상의 화면을 합성한다(S140 단계). 예를 들어, 특정 뷰에 해당하는 화면 및 카메라정보를 이용하여, 세계좌표계에 해당하는 화면을 합성할 수도 있고, 다른 뷰에 해당하는 화면으로 합성할 수도 있다. 여기서 화면은 시퀀스 또는 픽처 전체에 한정되지 않고, 슬라이스, 매크로블록, 및 블록 단위 등일 수도 있다. 한편, S130 단계에서 픽처 파라미터 세트(PPS)로부터 추출된 카메라정보의 경우, 해당 픽처를 이용하여 가상의 화면을 합성하는 데 적용될 수 있고, S130 단계에서 시퀀스 파라미터 세 트(SPS)로부터 추출된 카메라정보의 경우, 해당 시퀀스의 픽처들을 이용하여 가상의 화면을 합성하는 데 각각 적용될 수 있다.
도 6은 본 발명의 제2 실시예에 따른 비디오 신호 디코딩 장치의 구성을 보여주는 도면이고, 도 7은 본 발명의 제2 실시예에 따른 비디오 신호 디코딩 방법의 순서를 보여주는 도면이다. 도 6 및 도 7을 참조하면, 정보 추출부(210)는 우선 비디오 신호로부터 카메라정보의 유형을 나타내는 플래그정보를 추출하고(S210 단계), 그 플래그 정보에 따라 카메라 정보를 추출한다(S220 단계). 그리고 정보 추출부(210)는 전역 움직임벡터(G_dv: Global disparity vector)를 추출한다(S230 단계). 여기서 전역 움직임벡터는 전체 영역에 해당하는 움직임 벡터로서, 전체 영역은, 슬라이스, 픽처, 앵커픽처, 픽처군(GOP), 시퀀스, 픽처 내 배경, 또는 픽처 내 오브젝트 영역일 수 있다. 한편, S230 단계에 관한 좀더 구체적인 설명은 도 10 내지 도 13b와 함께 후술하고자 한다.
움직임벡터 획득부(220)는 S220 단계에서 추출된 카메라정보를 이용하여 현재 블록의 움직임벡터 오프셋을 산출한다(S240 단계). 도 8 및 도 9는 전역 움직임벡터, 움직임벡터 오프셋, 및 움직임벡터와의 관계를 설명하기 위한 도면이다. 도 8 및 도 9를 참조하면, 일반적으로 카메라들을 수평으로 배열해둔 상태에서 촬영하기 때문에, 시점이 다른 픽처들간의 전역 움직임벡터(G_dv)는 대체적으로 수평방향(x방향)으로의 성분만이 존재한다. 그러나 특히 카메라들이 일직선상에 위치하지 않은 경우에는, 도 8 및 도 9에 나타난 바와 같이 에피폴라(epipolar line) 라인(실제 물체에서 같은 지점을 이은 선)(E1, E2, E3)이 평행하지 않기 때문에, 블록 의 위치에 따라(특히 E1 이나 E3 부근의 블록에서는) 보다 정확한 움직임벡터를 획득하기 위해서는 수평방향의 전역 움직임벡터(G_dv) 뿐만 아니라 수직방향(y방향)도 고려해야 한다.
다시 설명하자면, 도 9(a)에서의 현재 블록(cur)은 에피폴라 라인이 중간에 걸쳐있는 데 비해, x방향의 성분만을 갖는 전역 움직임벡터(G_dv)가 가리키는 블록(ref_gdv)은 도 9(b)에서는 에피폴라 라인을 벗어나게 되므로 실제와 부합하지 않는다. 즉, 실제와 부합하는 대응 블록(ref_dv)을 가리키는 움직임벡터(dv)를 획득하기 위해, y방향의 움직임벡터 오프셋(offset)을 산출할 수 있다. 이 움직임벡터 오프셋(offset)의 값은 블록마다 달라질 수 있다.
S240 단계에서 산출된 움직임벡터 오프셋(offset) 및 전역 움직임벡터(G_dv)를 이용하여 다음 수학식 6과 같이 현재 블록의 움직임벡터(dv)를 획득한다(S250 단계).
dv(x,y) = G_dv + offset(x,y)
도 10은 도 7에서 전역 움직임 벡터 추출 단계(S230 단계)의 세부 단계에 관한 일 실시예이고, 도 11a 내지 도 11c는 전역 움직임 벡터를 포함하는 신택스의 제1 예, 제2 예, 제3 예이다. 도 10와 함께 설명될 세부 단계에 관한 일 실시예는 슬라이스 내에 존재하는 오브젝트의 전역 움직임 벡터를 고려하지 않는 경우로서, 도 11a 내지 도 11c에 도시된 신택스 중 하나가 표준으로서 규약되어 있는 경우에 수행될 수 있지만, 본 발명은 이에 한정되지 아니한다.
도 10을 참조하면, 우선, 현재 슬라이스의 슬라이스 타입이 P 슬라이스인지 여부를 판단한다(S231a 단계)(도 11a 및 도 11c에 도시된 "If( nal_unit_type = = MVC_NAL && slice_type = = P )" 참조). 경우에 따라서는 슬라이스 타입이 P 슬라이스 또는 B 슬라이스인지, 아니면 P 슬라이스도 B 슬라이스도 아닌지 여부를 판단할 수도 있다(도 11b에 도시된 "If( nal_unit_type = = MVC_NAL) " 참조). S231a 단계의 판단 결과, 현재 슬라이스의 슬라이스 타입이 P 슬라이스인 경우(P 슬라이스이거나 B 슬라이스인 경우)(S231a 단계), 플래그 정보를 추출한다(S232a 단계)(도 11c에서의 "global_dv_flag" 참조). 그런 다음, S232a 단계에서 추출된 플래그 정보가 전역 움직임 벡터의 존재를 의미할 때(예를 들어, global_dv_flag가 1일 때)(도 11c에서의 "If( global_dv_flag)" 참조)(S233a 단계의 '예'), 전역 움직임 벡터를 추출한다(S234a 단계)(도 11a, 11b, 및 11c에서의 "global_dv" 참조). 물론, 도 11a 또는 도 11b에 도시된 신택스의 예에서와 같이, S232a 단계 및 S233a 단계가 생략되고, S231a 단계의 판단 결과가 '예'인 경우, S234a 단계가 수행될 수도 있다.
도 12는 도 7에서 전역 움직임 벡터 추출 단계(S230 단계)의 세부 단계에 관한 다른 실시예이고, 도 13a 및 도 13b는 전역 움직임 벡터를 포함하는 신택스의 제4 예, 제5 예이다. 도 12와 함께 설명될 세부 단계에 관한 다른 실시예는 도 3에 도시된 바와 같이, 슬라이스 내에 존재하는 오브젝트의 전역 움직임 벡터를 고려하는 경우로서, 도 13a 내지 도 13b에 도시된 신택스 중 하나가 표준으로서 규약되어 있는 경우에 수행될 수 있지만, 본 발명은 이에 한정되지 아니한다.
우선, 앞서 설명된 일 실시예에서와 마찬가지로, 슬라이스 타입이 P 슬라이스인지 여부를 판단한다(S231b 단계)(도 13a 및 도 13b에서 "If( nal_unit_type = = MVC_NAL && slice_type = = P )" 참조). 물론, S231a 단계에서와 마찬가지로, 슬라이스 타입이 P 슬라이스 또는 B 슬라이스인지 여부를 판단할 수도 있다.
S231b 단계의 판단 결과, 슬라이스 타입이 P 슬라이스인 경우(S231b 단계), 플래그 정보를 추출한다(S232b 단계)(도 13a 및 도 13b에서의 "global_dv_flag" 참고). 여기서, 플래그 정보는 슬라이스 내의 오브젝트에 해당하는 전역 움직임 벡터의 개수를 의미한다. 우선, 배경에 해당하는 전역 움직임 벡터를 추출하고(S233b 단계)(도 13b에서의 "If( global_dv_flag); global_dv[0] 참조"), S232b 단계에서 추출된 플래그 정보가 오브젝트에 해당하는 전역 움직임 벡터가 하나 이상인 것을 의미하는 경우(도 13a 및 도 13b에서의 "for (i=1; i<global_dv_flag; i++) 참조")(S234b 단계의 '예'), 오브젝트 개수만큼의 전역 움직임 벡터 및 오브젝트 위치정보를 추출한다(S235b 단계)(도 13a 및 도 13b에서의 "global_dv [i]; top_left [i]; bottom_right [i]} 참조).
도 14는 본 발명의 제3 실시예에 따른 비디오 신호 디코딩 장치의 구성을 보여주는 도면이고, 도 15는 본 발명의 제3 실시예에 따른 비디오 신호 디코딩 방법의 순서를 보여주는 도면이다. 도 14 및 도 15를 참조하면, 본 발명의 제3 실시예에 따른 비디오 신호 디코딩 장치(300)는 정보 추출부(310) 및 가중치 예측부(320)를 포함한다.
정보 추출부(310)는 앞서 설명된 S210 단계 및 S220 단계와 마찬가지로 플래 그 정보를 추출하고(S310 단계), 플래그 정보에 따라 카메라 정보를 추출한다(S320 단계).
가중치 예측부(320)는 카메라 정보를 이용하여 참조 뷰와의 거리(tb, td)를 산출한다(S330 단계). 도 16을 참조하면, 현재 뷰(V1)에서 순방향 뷰(V0) 및 역방향 뷰(V2)가 존재할 때, 현재 뷰(V1)와 순방향 뷰(V0)와의 거리(tb), 및 순방향 뷰(V0)와 역방향 뷰(V2)간의 거리(td)를 산출하는 것이다. 여기서 카메라정보를 이용하여 산출된 참조 뷰와의 거리는, 카메라의 위치정보를 기반으로 한 것이기 때문에, 특히, 카메라가 등간격으로 배치되지 않고 서로 다른 간격으로 배치된 경우에, 실제와 가까워진다.
S330 단계에서 산출된 참조 뷰와의 거리(tb, td)를 이용하여, 가중치 계수(W0, W1)를 계산한다(S340 단계). 이때 다음 수학식 7이 이용될 수 있다.
W1 = tb/td
W0 = 1 - W1 = 1 - tb/td
가중치 계수(W0, W1) 및 움직임보상 예측신호(Y0, Y1)를 이용하여 예측신호(Ycur)를 생성한다(S340 단계). 이때 다음 수학식 8이 이용될 수 있다.
Ycur = W0Y0 + W1Y1
한편, 여기서 움직임보상 예측신호(Y0, Y1)는, 카메라 정보 및 전역 움직임벡터(G_dv)를 이용하여 움직임보상이 수행된 것일 수 있다.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
본 발명의 일 측면에 따르면, 다른 시점의 픽처와 카메라 정보를 이용하여 가상의 화면을 생성할 수 있기 때문에, 현재 픽처를 디코딩하는 데 이 가상의 화면을 활용할 수 있다.
본 발명의 다른 측면에 따르면, 시퀀스, 픽처 등에 해당하는 카메라정보, 및 전체 영역에 해당하는 전역 움직임벡터를 이용하여, 현재 블록의 움직임벡터를 획득함에 따라, 수십-수만개의 움직임벡터가 비트스트림에 포함될 필요가 없기 때문에, 압축 효율이 상승되는 효과가 있다.
본 발명의 또 다른 측면에 따르면, 카메라간의 실제 위치정보를 근거로 뷰간의 거리를 산출하여 가중치 예측을 수행함으로써, 카메라간의 간격이 다른 경우에도 정확한 뷰(시점)간의 거리를 산출하여 가중치 예측을 수행할 수 있기 때문에, 가중치 예측에 있어서의 복원율을 높일 수 있다.

Claims (21)

  1. 비디오 신호로부터 카메라 정보를 추출하는 단계; 및,
    상기 카메라 정보를 이용하여 가상의 화면을 생성하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  2. 제 1 항에 있어서,
    상기 카메라 정보는, 카메라 파라미터, 호모지니어스 매트릭스 성분, 카메라 매트릭스 성분, 및 기본 매트릭스 성분 중 하나 이상을 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  3. 제 2 항에 있어서,
    상기 카메라 파라미터는, 고유의 카메라 파라미터 및 비고유의 카메라 파라미터 중 하나 이상을 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  4. 제 1 항에 있어서,
    상기 카메라 정보의 존재여부를 나타내는 프로파일 아이디를 추출하는 단계를 더 포함하고,
    상기 프로파일 아이디에 따라 상기 추출하는 단계가 수행되는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  5. 제 1 항에 있어서,
    상기 카메라 정보는 호모지니어스 매트릭스 성분, 카메라 매트릭스 성분, 및 기본 매크릭스 성분 중 하나 이상을 포함하고,
    상기 가상의 화면은, 세계 좌표계에서의 화면 또는 다른 뷰에 해당하는 화면 중 하나 이상인 것을 특징으로 하는 비디오 신호 디코딩 방법.
  6. 제 1 항에 있어서,
    상기 카메라 정보는, 상기 비디오 신호의 파라미터 정보에 포함되어있고,
    상기 생성하는 단계는, 상기 파라미터 정보의 유형에 따라 시퀀스 전체 또는 픽처를 이용하여 상기 가상의 화면을 생성하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  7. 비디오 신호로부터 카메라 정보를 추출하는 카메라정보 추출부; 및,
    상기 카메라 정보를 이용하여 가상의 화면을 생성하는 가상화면 생성부를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 장치.
  8. 비디오 신호로부터 카메라 정보 및 전역 움직임벡터를 추출하는 단계;
    상기 카메라 정보를 이용하여 현재 블록의 움직임벡터 오프셋을 산출하는 단계; 및,
    상기 움직임벡터 오프셋 및 상기 전역 움직임벡터를 이용하여, 현재 블록의 움직임벡터를 획득하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  9. 제 8 항에 있어서,
    상기 카메라 정보는, 카메라 파라미터, 호모지니어스 매트릭스 성분, 카메라 매트릭스 성분, 및 기본 매트릭스 성분 중 하나 이상을 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  10. 제 9 항에 있어서,
    상기 카메라 파라미터는, 고유의 카메라 파라미터 및 비고유의 카메라 파라미터 중 하나 이상을 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  11. 제 8 항에 있어서,
    상기 전역 움직임벡터는 전체 영역에 해당하는 움직임 벡터이고, 상기 전체 영역은, 슬라이스, 픽처, 앵커픽처, 픽처군, 시퀀스, 픽처 내 배경, 및 픽처 내 오브젝트 중 하나인 것을 특징으로 하는 비디오 신호 디코딩 방법.
  12. 제 11 항에 있어서,
    상기 비디오 신호로부터 하나 이상의 오브젝트에 해당하는 전역 움직임벡터, 및 하나 이상의 오브젝트 위치정보를 추출하는 단계를 더 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  13. 제 12 항에 있어서,
    상기 오브젝트 위치정보는, 왼쪽 상단의 지점, 및 우측 하단의 지점을 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  14. 제 13 항에 있어서,
    상기 추출하는 단계에서, 상기 오브젝트의 개수를 나타내는 플래그 정보에 따라, 상기 비디오 신호로부터 상기 하나 이상의 오브젝트에 해당하는 전역 움직임 벡터 및 하나 이상의 오브젝트 위치정보가 추출되는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  15. 비디오 신호로부터 카메라 정보 및 전역 움직임벡터를 추출하는 정보 추출부;
    상기 카메라 정보를 이용하여 현재 블록의 움직임벡터 오프셋을 산출하고, 상기 움직임벡터 오프셋 및 상기 전역 움직임벡터를 이용하여, 현재 블록의 움직임벡터를 획득하는 움직임벡터 획득부를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 장치.
  16. 비디오 신호로부터 카메라 정보를 추출하는 단계;
    상기 카메라 정보를 이용하여 현재 픽처의 가중치 계수를 산출하는 단계; 및,
    상기 가중치 계수를 이용하여 예측신호를 생성하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  17. 제 16 항에 있어서,
    상기 산출하는 단계는,
    상기 카메라 정보를 이용하여 참조 시점간의 거리를 산출하는 단계; 및,
    상기 참조 시점간의 거리를 이용하여 가중치 계수를 산출하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  18. 제 16 항에 있어서,
    상기 생성하는 단계는,
    상기 가중치 계수, 및 움직임보상 예측신호를 이용하여 예측신호를 생성하는 단계인 것을 특징으로 하는 비디오 신호 디코딩 방법.
  19. 제 18 항에 있어서,
    상기 움직임보상 예측신호는, 상기 카메라 정보 및 상기 전역 움직임벡터를 이용하여 움직임보상이 수행된 것임을 특징으로 하는 비디오 신호 디코딩 방법.
  20. 제 16 항에 있어서,
    상기 카메라 정보는, 카메라 파라미터, 호모지니어스 매트릭스 성분, 카메라 매트릭스 성분, 및 기본 매트릭스 성분 중 하나 이상을 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  21. 비디오 신호로부터 카메라 정보를 추출하는 정보 추출부; 및,
    상기 카메라 정보를 이용하여 현재 픽처의 가중치 계수를 산출하고, 상기 가중치 계수를 이용하여 예측신호를 생성하는 가중치 예측부를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 장치.
KR1020070033860A 2006-07-21 2007-04-05 비디오 신호 디코딩 방법 및 장치 KR20080008944A (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US83215306P 2006-07-21 2006-07-21
US60/832,153 2006-07-21
US83791306A 2006-08-16 2006-08-16
US60/837,913 2006-08-16
US83848006A 2006-08-18 2006-08-18
US60/838,480 2006-08-18

Publications (1)

Publication Number Publication Date
KR20080008944A true KR20080008944A (ko) 2008-01-24

Family

ID=39221675

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070033860A KR20080008944A (ko) 2006-07-21 2007-04-05 비디오 신호 디코딩 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20080008944A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101126294B1 (ko) * 2010-06-30 2012-03-21 엘지이노텍 주식회사 다시점 영상의 부호화 장치 및 방법
WO2013055148A2 (ko) * 2011-10-12 2013-04-18 엘지전자 주식회사 영상 인코딩 방법 및 디코딩 방법
KR20150029627A (ko) * 2012-05-10 2015-03-18 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
WO2018097351A1 (ko) * 2016-11-22 2018-05-31 광운대학교 산학협력단 전방향 카메라에서 효과적인 차분 움직임 백터 전송방법을 이용한 비디오 코딩 방법 및 방법 및 장치
KR20190027405A (ko) * 2017-09-06 2019-03-15 광운대학교 산학협력단 전방향 카메라에서 효과적인 영상 패딩 방법 및 장치

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101126294B1 (ko) * 2010-06-30 2012-03-21 엘지이노텍 주식회사 다시점 영상의 부호화 장치 및 방법
WO2013055148A2 (ko) * 2011-10-12 2013-04-18 엘지전자 주식회사 영상 인코딩 방법 및 디코딩 방법
WO2013055148A3 (ko) * 2011-10-12 2013-07-04 엘지전자 주식회사 영상 인코딩 방법 및 디코딩 방법
US9712819B2 (en) 2011-10-12 2017-07-18 Lg Electronics Inc. Image encoding method and image decoding method
US10659758B2 (en) 2011-10-12 2020-05-19 Lg Electronics Inc. Image encoding method and image decoding method
KR20150029627A (ko) * 2012-05-10 2015-03-18 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US10341677B2 (en) 2012-05-10 2019-07-02 Lg Electronics Inc. Method and apparatus for processing video signals using inter-view inter-prediction
WO2018097351A1 (ko) * 2016-11-22 2018-05-31 광운대학교 산학협력단 전방향 카메라에서 효과적인 차분 움직임 백터 전송방법을 이용한 비디오 코딩 방법 및 방법 및 장치
CN109997362A (zh) * 2016-11-22 2019-07-09 光云大学校产学协力团 在全向摄像机中使用有效差分运动矢量传送方法编码视频的方法和方法及装置
US11218725B2 (en) 2016-11-22 2022-01-04 Goldenwavepartners Co., Ltd. Method for encoding video using effective differential motion vector transmission method in omnidirectional camera, and method and device
US11711540B2 (en) 2016-11-22 2023-07-25 Goldenwavepartners Co., Ltd. Method for encoding video using effective differential motion vector transmission method in omnidirectional camera, and method and device
KR20190027405A (ko) * 2017-09-06 2019-03-15 광운대학교 산학협력단 전방향 카메라에서 효과적인 영상 패딩 방법 및 장치

Similar Documents

Publication Publication Date Title
JP2021168479A (ja) デプスマップの推定および更新を用いる効率的なマルチビュー符号化
JP5970609B2 (ja) ３ｄビデオ符号化における統一された視差ベクトル導出の方法と装置
KR101706309B1 (ko) 3차원 비디오 코딩을 위한 뷰간 후보자 유도 방법 및 장치
KR101653118B1 (ko) 3d 장면의 하나 이상의 비디오를 처리하는 방법
EP3247116A1 (en) Method of constrain disparity vector derivation in 3d video coding
BR112016007760B1 (pt) Método e aparelho de decodificação de dados de vídeo e método de codificação de dados de vídeo
KR102362840B1 (ko) 영상 코딩 시스템에서 서브 블록 단위의 움직임 예측에 기반한 영상 디코딩 방법 및 장치
US20150172714A1 (en) METHOD AND APPARATUS of INTER-VIEW SUB-PARTITION PREDICTION in 3D VIDEO CODING
JP6042556B2 (ja) ３ｄビデオ符号化における制約される視差ベクトル導出の方法と装置
KR20110135786A (ko) 깊이 전이 데이터를 이용한 3ｄ 비디오 인코딩／디코딩 장치 및 방법
US10244259B2 (en) Method and apparatus of disparity vector derivation for three-dimensional video coding
Schwarz et al. Inter-view prediction of motion data in multiview video coding
EP2936815A1 (en) Method and apparatus of disparity vector derivation in 3d video coding
JP6039178B2 (ja) 画像符号化装置、画像復号装置、並びにそれらの方法及びプログラム
KR20150034222A (ko) 3d 비디오 코딩에서의 인터 뷰 모션 벡터 예측과 변이 벡터 예측의 방법 및 장치
KR20150085027A (ko) 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램 및 화상 복호 프로그램
KR20120095611A (ko) 다시점 비디오 부호화/복호화 방법 및 장치
KR20080008944A (ko) 비디오 신호 디코딩 방법 및 장치
KR20150043319A (ko) 비디오 신호 처리 방법 및 장치
CN114208171A (zh) 用于推导用于生成预测样本的权重索引信息的图像解码方法和装置
JP4944046B2 (ja) 映像符号化方法，復号方法，符号化装置，復号装置，それらのプログラムおよびコンピュータ読み取り可能な記録媒体
AU2014205860B2 (en) Method and apparatus for processing video signal
CN105103543B (zh) 兼容的深度依赖编码方法
WO2012172634A1 (ja) 画像符号化装置、画像復号化装置、方法およびプログラム
KR20120131137A (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination