KR101620067B1 - 다시점 영상 압축 장치 및 방법 - Google Patents

다시점 영상 압축 장치 및 방법 Download PDF

Info

Publication number
KR101620067B1
KR101620067B1 KR1020090041973A KR20090041973A KR101620067B1 KR 101620067 B1 KR101620067 B1 KR 101620067B1 KR 1020090041973 A KR1020090041973 A KR 1020090041973A KR 20090041973 A KR20090041973 A KR 20090041973A KR 101620067 B1 KR101620067 B1 KR 101620067B1
Authority
KR
South Korea
Prior art keywords
image
predictive
coded
cameras
intra
Prior art date
Application number
KR1020090041973A
Other languages
English (en)
Other versions
KR20100122999A (ko
Inventor
이석
위호천
박두식
이재준
임일순
이진영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090041973A priority Critical patent/KR101620067B1/ko
Priority to US12/585,956 priority patent/US8311108B2/en
Publication of KR20100122999A publication Critical patent/KR20100122999A/ko
Application granted granted Critical
Publication of KR101620067B1 publication Critical patent/KR101620067B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

다시점 영상 압축 장치 및 방법을 개시한다. 다시점 영상 압축 장치는 다시점 영상을 위한 복수개의 카메라로부터 기하정보를 추출하고, 상기 기하정보를 이용하여 각 시점의 상관관계를 최대화하는 공간 예측 구조를 설계하여, 다시점 영상을 압축 및 전송할 수 있다.
다시점 영상, 기하정보, 위치 평균, 거리, 예측 구조, 압축

Description

다시점 영상 압축 장치 및 방법{APPARATUS AND METHOD FOR MULTIVIEW VIDEO CODING}
본 발명의 실시예들은 효율적인 영상 압축을 위한 다시점 영상 압축 장치 및 방법에 관한 것으로, 특히 카메라의 기하구조를 사용하여 공간 예측 구조를 설계하고 다시점 영상의 압축을 수행하는 기술과 관련된 것이다.
한가지 장면에 대해 다시점 입력 비디오 영상 데이터를 획득하면, 각 카메라 뷰에 대해서 시간의 변화에 따른 시간적 상관관계(temporal correlation)와 동일시점 내 각 뷰의 공간적 상관관계(spatial correlation)가 존재한다. 시간적 상관관계인 경우 시간축을 따라 전후 관계 및 순서가 명확하기에 가장 인접한, 즉 시간차이가 가장 작은 영상을 레퍼런스로 하여 예측함으로써 압축을 실시할 수 있다. 하지만 멀티 뷰(multi-view)가 되었을 경우 각 뷰간의 공간적 상관관계를 고려하기 위한 예측 구조에 대해서는 명확한 순서를 정하기가 어렵다.
따라서, 각 뷰의 위치와 자세로부터 기하정보를 분석하여 공간적 상관관계가 높은 공간 예측 구조를 설계하고, 상호 참조를 통한 압축 효율을 높이는 다시점 영상 압축 장치 및 방법이 요구된다.
본 발명의 일실시예에 따른 다시점 영상 압축 장치는, 복수의 카메라로부터 기하 정보를 추출하는 기하 정보 추출부, 상기 기하 정보를 이용하여 복수의 카메라 영상간의 공간 예측 구조를 결정하는 공간예측구조 결정부 및 상기 공간 예측 구조에 따라 상기 복수의 카메라 영상을 압축하는 다시점 영상 압축부를 포함할 수 있다.
이때, 상기 광학부는, 상기 공간예측구조 결정부는, 상기 복수의 카메라의 평균 시점을 산출하는 평균 시점 산출부, 상기 복수의 카메라간 거리를 산출하는 거리 산출부, 상기 평균 시점 및 상기 거리를 이용하여 상기 복수의 카메라의 영상을 인트라 부호화 영상(Intra-Picture), 쌍방향 예측 부호화 영상(Bidirectionally Predictive Pictures), 및 예측 부호화 영상(Unidirectionally Predicted Pictures) 중 하나로 선택하는 영상 선택부를 포함할 수 있다.
또한, 상기 영상 선택부는, 상기 평균 시점과 가장 가까운 카메라의 영상(picture)을 인트라 부호화 영상으로 선택하는 I 영상 선택부, 상기 인트라 부호화 영상과 가장 가까운 카메라의 영상을 쌍방향 예측 부호화 영상으로 선택하는 B 영상 선택부 및 상기 쌍방향 예측 부호화 영상과 가장 가까운 카메라의 영상을 예측 부호화 영상으로 선택하는 P 영상 선택부를 포함할 수 있다.
또한, 상기 영상 선택부는, 상기 인트라 부호화 영상, 상기 쌍방향 예측 부호화 영상, 및 상기 예측 부호화 영상 중 적어도 하나로 선택되지 않은 카메라의 영상이 두 개 이상 존재하는 경우, 상기 두 개 이상의 영상을 상기 쌍방향 예측 부호화 영상 및 상기 예측 부호화 영상 중 하나로 각각 선택하고, 상기 인트라 부호화 영상, 상기 쌍방향 예측 부호화 영상, 및 상기 예측 부호화 영상 중 적어도 하나로 선택되지 않은 카메라의 영상이 한 개 존재하는 경우, 상기 선택되지 않은 카메라의 영상을 상기 예측 부호화 영상으로 선택할 수 있다.
또한, 상기 다시점 영상 압축부는, 상기 인트라 부호화 영상을 참조하여 상기 예측 부호화 영상을 압축하고, 상기 인트라 부호화 영상 및 상기 예측 부호화 영상을 참조하여 상기 쌍방향 예측 부호화 영상을 압축할 수 있다.
또한, 다시점 영상 압축 장치는, 상기 복수의 카메라의 영상 각각에 대하여, 시간 변화에 따른 상관관계를 예측하는 시간 예측 구조를 결정하는 시간예측구조 결정부 및 상기 시간 예측 구조에 따라 상기 복수의 카메라 각각에 대한 영상을 압축하는 시간 영상 압축부를 더 포함할 수 있다.
또한, 다시점 영상 압축 장치는, 상기 인트라 부호화 영상, 상기 쌍방향 예측 부호화 영상, 및 상기 예측 부호화 영상 중 하나를 선택적으로 전송하는 전송부를 더 포함할 수 있다.
본 발명의 다른 일실시예에 따른 다시점 영상 압축 방법은, 복수의 카메라로부터 기하 정보를 추출하는 단계, 상기 기하 정보를 이용하여 복수의 카메라 영상간의 공간 예측 구조를 결정하는 단계 및 상기 공간 예측 구조에 따라 상기 복수의 카메라 영상을 압축하는 단계를 포함할 수 있다.
이때, 다시점 영상 압축 방법은, 상기 인트라 부호화 영상, 상기 쌍방향 예 측 부호화 영상, 및 상기 예측 부호화 영상 중 하나를 선택적으로 전송하는 단계를 더 포함할 수 있다.
또한, 상기 전송하는 단계는, 전송 대역폭이 기설정된 값 이하인 경우, 상기 인트라 부호화 영상 및 상기 예측 부호화 영상 중 적어도 하나를 전송할 수 있다.
본 발명의 일실시예에 따르면, 복수의 카메라의 기하정보를 이용하여 공간 예측 구조를 설계함으로써, 공간적 상관관계를 최대화하고, 압축 효율을 향상시킬 수 있는 다시점 영상 압축이 가능할 수 있다.
본 발명의 일실시예에 따르면, 공간 예측 구조를 이용하여 다시점 영상의 일부를 선택적으로 전송할 수 있도록 함으로써, 다양한 통신 환경에서 새로운 부호화 과정 없이 뷰의 수를 쉽게 조정하여 전송 데이터량을 조절할 수 있다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명의　실시예들을 상세하게 설명한다.　 다만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.　 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 다시점 영상 압축 장치를 나타낸 블록도이다.
도 1을 참고하면, 다시점 영상 압축 장치(100)는 기하 정보 추출부(110), 공간예측구조 결정부(120), 및 다시점 영상 압축부(130)를 포함한다. 여기서, 다 시점 영상 압축 장치(100)는 다시점으로 획득된 영상데이터에 대하여 각 카메라의 위치, 자세를 나타내는 파라미터로부터 각 뷰(view)간의 우선순위를 정하고 뷰간 상관관계(correlation)가 최대가 되도록 예측 구조를 구성하여 압축 및 전송할 수 있다.
이를 위해, 기하 정보 추출부(110)는 복수의 카메라로부터 기하 정보를 추출할 수 있다. 여기서, 상기 기하 정보는, 상기 복수의 카메라 각각의 위치정보 및 자세정보 중 적어도 하나를 포함할 수 있다.
공간예측구조 결정부(120)는 상기 기하 정보를 이용하여 복수의 카메라 영상간의 공간 예측 구조를 결정할 수 있다. 즉, 다시점 영상에 있어서, 공간적으로 배치되는 영상을 카메라의 기하정보를 이용하여 예측하기 위한 구조를 설정할 수 있다. 여기서, 공간예측구조 결정부(120)는 도 2를 참고하여 이하에서 더욱 상세하게 설명한다.
도 2는 도 1에 도시한 공간예측구조 결정부의 일실시예를 나타낸 도면이다.
도 2를 참고하면, 공간예측구조 결정부(120)는 평균 시점 산출부(210), 거리 산출부(220), 및 영상 선택(230)를 포함할 수 잇다.
평균 시점 산출부(210)는 상기 복수의 카메라의 평균 시점을 산출할 수 있다. 또한, 평균 시점 산출부(210)는 자세 평균 산출부(211), 위치 평균 산출부(212)를 포하할 수 있다. 자세 평균 산출부(211)는 상기 복수의 카메라의 자세 평균을 산출하고, 위치 평균 산출부(212)는 상기 복수의 카메라의 위치 평균을 산출할 수 있다. 따라서, 평균 시점 산출부(210)는 상기 산출된 자세 평균 및 위치 평균을 이용하여 상기 평균 시점을 산출할 수 있다.
거리 산출부(220)는 상기 복수의 카메라간 거리를 산출할 수 있다.
여기서, 상기 복수의 카메라간 거리 및 위치 평균을 산출하는 과정은 도 3을 참고하여 이하에서 더욱 상세하게 설명한다.
도 3은 본 발명의 일실시예에 따른 카메라의 시점에 대한 기하학적 평균을 나타내는 도면이다.
도 3을 참고하면, 2D 포인트의 경우 각 포인트
Figure 112009028871133-pat00001
에 대해서 두 점간의 거리는 유클리디언 디스턴스(Euclidean distance)로 정의될 수 있으며, 아래 [수학식 1]과 같이 나타낼 수 있다.
[수학식 1]
Figure 112009028871133-pat00002
거리가 정의되면 임의의 점에 대해서 각 점까지의 거리의 합을 최소화 시키는 평균(mean)을 정의할 수 있고, 2D 포인트의 경우 이는 모든 점의 산술평균과 동일하다. 즉, 2D 포인트들의 평균은 아래 [수학식 2]와 같이 나타낼 수 있다.
[수학식 2]
Figure 112009028871133-pat00003
이와 같이 카메라의 시점을 하나의 원소로 하여 각 원소간 기하학적 거리와 평균을 정의할 수 있다. 카메라의 3차원 위치 자세를 나타내는 행렬
Figure 112009028871133-pat00004
는 회전행렬, 위치벡터
Figure 112009028871133-pat00005
에 대해서
Figure 112009028871133-pat00006
와 같이 나타낼 수 있다.
그리고 각 시점간의 거리는 아래 [수학식 3]과 같이 나타낼 수 있다.
[수학식 3]
Figure 112009028871133-pat00007
여기서
Figure 112009028871133-pat00008
는 임의의 양수이고, 시점의 평균은 자세의 평균
Figure 112009028871133-pat00009
와 위치의 평균
Figure 112009028871133-pat00010
로 나타내어질 수 있다.
Figure 112009028871133-pat00011
는 수학적으로 다음과 같이 계산할 수 있다. SVD (singular value decomposition)을 이용하여 회전행렬의 합을
Figure 112009028871133-pat00012
로 표현하면,
Figure 112009028871133-pat00013
와 같다.
결국, 이를 이용하면 위치평균은 아래 [수학식 4]와 같이 나타낼 수 있다.
[수학식 4]
Figure 112009028871133-pat00014
다시 도 2를 참고하면, 영상 선택부(230)는 상기 평균 시점 및 상기 거리를 이용하여 상기 복수의 카메라의 영상을 인트라 부호화 영상(Intra-Picture), 쌍방향 예측 부호화 영상(Bidirectionally Predictive Pictures), 및 예측 부호화 영상(Unidirectionally Predicted Pictures) 중 하나로 선택할 수 있다. 여기서, 영상 선택부(230)는 I 영상 선택부(231), B 영상 선택부(232), 및 P 영상 선택 부(233)를 포함할 수 있다. 여기서, I 영상(Intra-Picture)은 인트라 부호화 영상의 약칭으로서 프레임내의 부호화 영상을 의미하며, 하나의 프레임으로부터 압축되어 독립적으로 복원이 가능한 프레임일 수 있다. 또한, P 영상(Unidirectionally Predicted Pictures)은 예측 부호화 영상의 약칭으로서, I 또는 다른 P 픽처를 기준으로 삼아 움직임을 보상한 후, 나머지 차이 분을 DCT(Discrete Cosine Transform)하여 부호화 할 수 있다.
또한, B 영상(Bidirectionally Predictive Pictures)은 쌍방향 예측 부호화 영상을 의미할 수 있다.
한편, I 영상 선택부(231)는 상기 평균 시점과 가장 가까운 카메라의 영상(picture)을 인트라 부호화 영상으로 선택할 수 있다.
B 영상 선택부(232)는 상기 인트라 부호화 영상과 가장 가까운 카메라의 영상을 쌍방향 예측 부호화 영상으로 선택할 수 있다.
P 영상 선택부(233)는 상기 쌍방향 예측 부호화 영상과 가장 가까운 카메라의 영상을 예측 부호화 영상으로 선택할 수 있다.
이때, 상기 B 영상 선택 및 P 영상 선택은 나머지 카메라의 영상에 대해서도 반복적으로 수행될 수 있다. 반복 수행시, 상기 인트라 부호화 영상, 상기 쌍방향 예측 부호화 영상, 및 상기 예측 부호화 영상 중 적어도 하나로 선택되지 않은 카메라의 영상이 두 개 이상 존재하는 경우, 상기 두 개 이상의 영상을 상기 쌍방향 예측 부호화 영상 및 상기 예측 부호화 영상 중 하나로 각각 선택할 수 있고, 상기 인트라 부호화 영상, 상기 쌍방향 예측 부호화 영상, 및 상기 예측 부호화 영 상 중 적어도 하나로 선택되지 않은 카메라의 영상이 한 개 존재하는 경우(총 뷰 개수가 짝수일 경우), 상기 선택되지 않은 카메라의 영상을 상기 예측 부호화 영상으로 선택할 수 있다.
다시 도 1을 참고하면, 다시점 영상 압축부(130)는 상기 공간 예측 구조에 따라 상기 복수의 카메라 영상을 압축할 수 있다. 여기서, 다시점 영상 압축시, 상기 인트라 부호화 영상을 참조하여 상기 예측 부호화 영상을 압축하고, 상기 인트라 부호화 영상 및 상기 예측 부호화 영상을 참조하여 상기 쌍방향 예측 부호화 영상을 압축할 수 있다.
또한, 다시점 영상 압축 장치(100)는 시간예측구조 결정부(미도시) 및 시간 영상 압축부(미도시)를 더 포함할 수 있다.
시간예측구조 결정부(미도시)는 상기 복수의 카메라의 영상 각각에 대하여, 시간 변화에 따른 상관관계를 예측하는 시간 예측 구조를 결정하고, 시간 영상 압축부(미도시)는 상기 시간 예측 구조에 따라 상기 복수의 카메라 각각에 대한 영상을 압축할 수 있다. 즉, 공간 예측 구조를 시간 예측 구조에 적용하여 다시점 영상에 대한 공간 예측과 함께 각 카메라별로 시간 예측을 수행할 수 있다.
또한, 다시점 영상 압축 장치(100)는 상기 인트라 부호화 영상, 상기 쌍방향 예측 부호화 영상, 및 상기 예측 부호화 영상 중 하나를 선택적으로 전송하는 전송부(미도시)를 포함할 수 있다. 전송부(미도시)는 전송 대역폭이 기설정된 값 이하인 경우 등, 전송 데이터를 조절할 필요가 있을 때, 상기 인트라 부호화 영상 및 상기 예측 부호화 영상 중 적어도 하나를 선택적으로 전송할 수 있다.
상기와 같이, 다시점 영상의 기하구조를 이용하여 공간 예측 구조를 결정하고, 다시점 영상의 압축을 수행함으로써, 보다 압축 효율을 향상시킬 수 있다.
또한, 대역폭 등에 따라 전송 데이터의 량을 손쉽게 조절함으로써, 새로운 부호화 과정 없이 뷰의 수를 쉽게 조정하여 전송데이터량을 적응적으로 조절할 수 있다.
도 4는 본 발명의 일실시예에 따라 4 뷰의 예측 구조를 구성하기 위한 과정을 나타내는 도면이다. 예측 구조를 구성하기 위한 일예는 다음과 같은 과정으로 수행될 수 있다.
모든 뷰의 평균을 구하고 이를 기준으로 각 뷰와 평균 뷰와의 거리를 계산할 수 있다. 다음으로, 평균 뷰와 가장 가까운 뷰를 중심뷰(center view)로 하고 I 영상으로 선택할 수 있다. 다음으로, 나머지 뷰 중 중심뷰와 가장 가까운 뷰를 B 영상으로 선택할 수 있다. 또한, 나머지 뷰 중 상기에서 선택된 B 영상과 가장 가까운 뷰를 P 영상으로 선택할 수 있다. B 영상은 중심뷰와 선택된 P 영상을 상호참조할 수 있다. 상기 B 영상 선택 및 P 영상 선택 과정을 반복하되 뷰가 1개만 남을 경우 (총 뷰 개수가 짝수일 경우), P 영상으로 선택한다.
도 4의 경우, 4대의 카메라 T1(410), T2(420), T3(430), T4(440)를 사용하는 다시점 영상의 경우, T1(410), T2(420), T3(430), T4(440)의 각 뷰에 대해서 평균 시점인 Tm(450)과 가장 가까운 T3(430)가 인트라 부호화 영상(I 영상)으로, 상기 인트라 부호화 영상과 가장 가까운 T2(420)가 쌍방향 예측 부호화 영상(B 영상)으로 선택될 수 있다. 또한, 현재까지 선택된 T3(430), T2(420)를 제외하고 쌍방 향 예측 부호화 영상인 T2(420)와 가장 가까운 T1(410)이 예측 부호화 영상(P 영상)으로 선택되어 T2(420)는 인트라 부호화 영상인 T3(430)와 T1(410)을 참조(reference)로 할 수 있다.
도 5는 본 발명의 다른 일실시예에 따라 9 병렬 뷰의 예측 구조를 구성하기 위한 과정을 나타내는 도면이다.
도 5를 참고하면, 우선, 9개의 뷰의 평균을 구하여 평균 뷰(510)를 구할 수 있고, 평균 뷰(510)를 I 영상으로 선택할 수 있다.
단계(520)에서, 평균 뷰(510)와 가장 가까운 뷰를 B 영상으로 선택할 수 있고, 단계(530)에서는 B 영상과 가장 가까운 뷰를 P영상으로 선택할 수 있다.
이후, 선택되지 않고 남은 뷰에 대해 B 영상과 P영상으로 선택하는 과정을 반복할 수 있다. 따라서, 단계(540)에서는 선택되지 않은 뷰 중에서 I 영상과 가장 가까운 영상을 B 영상으로 선택할 수 있다. 단계(550)에서는 상기 선택된 B 영상과 가장 가까운 영상을 P 영상으로 선택할 수 있다. 이후 단계(560) 및 단계(570)에서는 나머지 뷰에 대해 B 영상 또는 P영상으로 선택할 수 있다.
도 6은 본 발명의 일실시예에 따른 9 병렬 뷰의 예측 구조에 있어서, 데이터를 감축하여 전송하기 위한 과정을 나타내는 도면이다.
도 6을 참고하면, 전송환경에 따라, 전체 9 뷰를 보내고자 하는 경우에는 도 6의 (a)와 같이 9개의 뷰(610, 620, 630, 640, 650, 660, 670, 680, 690)를 모두 전송할 수 있다. 그러나, 전체 9 뷰를 보내지 않고 그 절반의 데이터만을 보내고자 한다면, 구성된 예측 구조에서 B 영상들을 제외하고 I 영상(610)과 P 영 상(640, 650, 680, 690)만을 보낼 수 있다. 결과적으로 도 6의 (b)와 같이 5개의 뷰를 선택적으로 보낸다. 또한 전체 데이터의 1/4만을 보내고자 한다면 5개의 뷰를 다시 구조 생성(structure build) 하여 B 영상과 P 영상을 다시 결정한 후, B 영상에 해당하는 view들을 제외하면 된다. 결과적으로 도 6의 (c)와 같이 3개의 뷰만을 선택적으로 보낸다.
상기와 같이, 뷰를 선택적으로 전송하는 본 발명의 일실시예는 뷰의 수를 줄임에 있어서 전체 멀티뷰 카메라 시스템의 기하(geometry) 구조를 유지할 수 있다. 즉, 9 뷰에서 5 뷰, 3 뷰로 뷰의 수는 줄어들었지만 각각의 뷰 배치(view configuration)에서 표현 가능한 묘사 능력(rendering capability)은 유지될 수 있다.
도 7은 본 발명의 일실시예에 따른 공간 예측 구조를 시간 예측 구조에 적용시킨 구조를 나타내는 도면이다.
도 7을 참고하면, 4대의 카메라(710, 720, 730, 740)를 사용하는 다시점 영상에 있어서, 4대의 카메라 간 공간 예측과 함께, 각 카메라별로 시간 예측을 수행하여 압축의 효율을 더욱 향상시킬 수 있다.
도 8은 본 발명의 일실시예에 따른 다시점 영상 압축 방법을 설명하기 위한 도면이다.
도 8을 참고하면, 단계(810)에서는 복수의 카메라로부터 기하 정보를 추출할 수 있다. 기하정보는 일예로, 카메라의 위치 정보, 자세 정보일 수 있다.
단계(820)에서는 상기 기하 정보를 이용하여 복수의 카메라 영상간의 공간 예측 구조를 결정할 수 있다. 단계(820)은 도 9를 참고하여 이하에서 더욱 상세하게 설명한다.
도 9는 도 8에 도시된 공간 예측 구조를 결정하는 과정의 일실시예를 도시한 도면이다. 도 9를 참고하면, 단계(910)에서는 상기 복수의 카메라의 평균 시점을 산출할 수 있고, 단계(920)에서는 상기 복수의 카메라간 거리를 산출할 수 있다.
단계(930)에서는 상기 평균 시점 및 상기 거리를 이용하여 상기 복수의 카메라의 영상을 인트라 부호화 영상(Intra-Picture), 쌍방향 예측 부호화 영상(Bidirectionally Predictive Pictures), 및 예측 부호화 영상(Unidirectionally Predicted Pictures) 중 하나로 선택할 수 있다. 여기서, 단계(930)은 도 10을 참고하여 이하에서 더욱 상세하게 설명한다.
도 10은 도 9에 도시된 복수의 카메라의 영상을 선택하는 과정의 일실시예를 도시한 도면이다. 도 10을 참고하면, 단계(1010)에서는 상기 평균 시점과 가장 가까운 카메라의 영상(picture)을 인트라 부호화 영상(I 영상)으로 선택할 수 있다.
단계(1020)에서는 상기 인트라 부호화 영상과 가장 가까운 카메라의 영상을 쌍방향 예측 부호화 영상(B 영상)으로 선택할 수 있다.
단계(1030)에서는 상기 쌍방향 예측 부호화 영상과 가장 가까운 카메라의 영상을 예측 부호화 영상(P 영상)으로 선택할 수 있다.
이때, 선택되지 않은 카메라의 영상에 대하여 단계(1020) 및 단계(1030)이 반복적으로 수행될 수 있다. 따라서, 인트라 부호화 영상은 하나만 존재하나, 쌍방향 예측 부호화 영상 및 예측 부호화 영상은 복수개 존재할 수 있다. 여기서, 단계(1020) 및 단계(1030)를 반복하여 복수의 카메라의 영상을 선택할 때, 선택되지 않은 영상이 하나 남는 경우, 남은 하나의 영상을 P 영상으로 선택할 수 있다.
다시 도 8을 참고하면, 단계(830)에서는 상기 공간 예측 구조에 따라 상기 복수의 카메라 영상을 압축할 수 있다.
또한, 공간 예측 구조와 시간 예측 구조를 함께 적용하여 복수의 카메라 간 영상은 공간 예측 구조를 적용하고, 각 카메라의 하나 이상의 영상은 시간 예측 구조를 적용할 수 있다.
또한, 허용 대역폭 등에 따라, 상기 공간 예측 구조를 이용하여 새로운 부호화 과정 없이 상기 인트라 부호화 영상, 상기 쌍방향 예측 부호화 영상, 및 상기 예측 부호화 영상 중 하나를 선택적으로 전송할 수 있다.
상기와 같이, 복수의 카메라의 기하정보를 이용하여 공간 예측 구조를 설계함으로써, 공간적 상관관계를 최대화하고, 압축 효율을 향상시킬 수 있다.
본 발명의 실시예에 따른 다시점 영상 압축 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기 록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명의 일실시예는 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명의 일실시예는 상기 설명된 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.　 따라서, 본 발명의 일실시예는 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
도 1은 본 발명의 일실시예에 따른 다시점 영상 압축 장치를 나타낸 블록도이다.
도 2는 도 1에 도시한 공간예측구조 결정부의 일실시예를 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따른 카메라의 시점에 대한 기하학적 평균을 나타내는 도면이다.
도 4는 본 발명의 일실시예에 따라 4 뷰의 예측 구조를 구성하기 위한 과정을 나타내는 도면이다.
도 5는 본 발명의 다른 일실시예에 따라 9 병렬 뷰의 예측 구조를 구성하기 위한 과정을 나타내는 도면이다.
도 6은 본 발명의 일실시예에 따른 9 병렬 뷰의 예측 구조에 있어서, 데이터를 감축하여 전송하기 위한 과정을 나타내는 도면이다.
도 7은 본 발명의 일실시예에 따른 공간 예측 구조를 시간 예측 구조에 적용시킨 구조를 나타내는 도면이다.
도 8은 본 발명의 일실시예에 따른 다시점 영상 압축 방법을 설명하기 위한 도면이다.
도 9는 도 8에 도시된 공간 예측 구조를 결정하는 과정의 일실시예를 도시한 도면이다.
도 10은 도 9에 도시된 복수의 카메라의 영상을 선택하는 과정의 일실시예를 도시한 도면이다.

Claims (21)

  1. 복수의 카메라로부터 기하 정보를 추출하는 기하 정보 추출부;
    상기 기하 정보를 이용하여 복수의 카메라 영상간의 공간 예측 구조를 결정하는 공간예측구조 결정부; 및
    상기 공간 예측 구조에 따라 상기 복수의 카메라 영상을 압축하는 다시점 영상 압축부
    를 포함하고,
    상기 공간예측구조 결정부는,
    상기 복수의 카메라의 평균 시점 및 상기 복수의 카메라간의 거리를 이용하여, 상기 복수의 카메라의 영상을 인트라 부호화 영상(Intra-Picture), 쌍방향 예측 부호화 영상(Bidirectionally Predictive Pictures), 및 예측 부호화 영상(Unidirectionally Predicted Pictures) 중 하나로 선택하는
    다시점 영상 압축 장치.
  2. 제1항에 있어서,
    상기 기하 정보는,
    상기 복수의 카메라 각각의 위치정보 및 자세정보 중 적어도 하나를 포함하는 것을 특징으로 하는, 다시점 영상 압축 장치.
  3. 제1항에 있어서,
    상기 공간예측구조 결정부는,
    상기 복수의 카메라의 평균 시점을 산출하는 평균 시점 산출부;
    상기 복수의 카메라간 거리를 산출하는 거리 산출부
    를 포함하는 것을 특징으로 하는 다시점 영상 압축 장치.
  4. 제1항에 있어서,
    상기 공간예측구조 결정부는,
    상기 평균 시점과 가장 가까운 카메라의 영상(picture)을 인트라 부호화 영상으로 선택하는 I 영상 선택부;
    상기 인트라 부호화 영상과 가장 가까운 카메라의 영상을 쌍방향 예측 부호화 영상으로 선택하는 B 영상 선택부; 및
    상기 쌍방향 예측 부호화 영상과 가장 가까운 카메라의 영상을 예측 부호화 영상으로 선택하는 P 영상 선택부;
    를 포함하는, 다시점 영상 압축 장치.
  5. 제4항에 있어서,
    상기 공간예측구조 결정부는,
    상기 인트라 부호화 영상, 상기 쌍방향 예측 부호화 영상, 및 상기 예측 부호화 영상 중 적어도 하나로 선택되지 않은 카메라의 영상이 두 개 이상 존재하는 경우, 상기 두 개 이상의 영상을 상기 쌍방향 예측 부호화 영상 및 상기 예측 부호화 영상 중 하나로 각각 선택하고,
    상기 인트라 부호화 영상, 상기 쌍방향 예측 부호화 영상, 및 상기 예측 부호화 영상 중 적어도 하나로 선택되지 않은 카메라의 영상이 한 개 존재하는 경우, 상기 선택되지 않은 카메라의 영상을 상기 예측 부호화 영상으로 선택하는 것을 특징으로 하는 다시점 영상 압축 장치.
  6. 제3항에 있어서,
    상기 평균 시점 산출부는,
    상기 복수의 카메라의 자세 평균을 산출하는 자세 평균 산출부; 및
    상기 복수의 카메라의 위치 평균을 산출하는 위치 평균 산출부
    를 포함하고,
    상기 자세 평균 및 상기 위치 평균을 이용하여 상기 평균 시점을 산출하는 것을 특징으로 하는, 다시점 영상 압축 장치.
  7. 제1항에 있어서,
    상기 다시점 영상 압축부는,
    상기 인트라 부호화 영상을 참조하여 상기 예측 부호화 영상을 압축하고, 상기 인트라 부호화 영상 및 상기 예측 부호화 영상을 참조하여 상기 쌍방향 예측 부호화 영상을 압축하는 것을 특징으로 하는, 다시점 영상 압축 장치.
  8. 제1항에 있어서,
    상기 복수의 카메라의 영상 각각에 대하여, 시간 변화에 따른 상관관계를 예측하는 시간 예측 구조를 결정하는 시간예측구조 결정부; 및
    상기 시간 예측 구조에 따라 상기 복수의 카메라 각각에 대한 영상을 압축하는 시간 영상 압축부
    를 더 포함하는 것을 특징으로 하는, 다시점 영상 압축 장치.
  9. 제1항에 있어서,
    상기 인트라 부호화 영상, 상기 쌍방향 예측 부호화 영상, 및 상기 예측 부호화 영상 중 하나를 선택적으로 전송하는 전송부
    를 더 포함하는, 다시점 영상 압축 장치.
  10. 제9항에 있어서,
    상기 전송부는,
    전송 대역폭이 기설정된 값 이하인 경우,
    상기 인트라 부호화 영상 및 상기 예측 부호화 영상 중 적어도 하나를 전송하는 것을 특징으로 하는, 다시점 영상 압축 장치.
  11. 복수의 카메라로부터 기하 정보를 추출하는 단계;
    상기 기하 정보를 이용하여 복수의 카메라 영상간의 공간 예측 구조를 결정하는 단계; 및
    상기 공간 예측 구조에 따라 상기 복수의 카메라 영상을 압축하는 단계
    를 포함하고,
    상기 공간 예측 구조를 결정하는 단계는,
    상기 복수의 카메라의 평균 시점 및 상기 복수의 카메라간의 거리를 이용하여, 상기 복수의 카메라 영상을 인트라 부호화 영상(Intra-Picture), 쌍방향 예측 부호화 영상(Bidirectionally Predictive Pictures), 및 예측 부호화 영상(Unidirectionally Predicted Pictures) 중 하나로 선택하는
    다시점 영상 압축 방법.
  12. 제11항에 있어서,
    상기 기하 정보는,
    상기 복수의 카메라 각각의 위치정보 및 자세정보 중 적어도 하나를 포함하는 것을 특징으로 하는, 다시점 영상 압축 방법.
  13. 제11항에 있어서,
    상기 공간 예측 구조를 결정하는 단계는,
    상기 복수의 카메라의 평균 시점을 산출하는 단계;
    상기 복수의 카메라간 거리를 산출하는 단계;
    를 포함하는, 다시점 영상 압축 방법.
  14. 제11항에 있어서,
    상기 공간 예측 구조를 결정하는 단계는,
    상기 평균 시점과 가장 가까운 카메라의 영상(picture)을 인트라 부호화 영상(Intra-Picture)으로 선택하는 단계;
    상기 인트라 부호화 영상과 가장 가까운 카메라의 영상을 쌍방향 예측 부호화 영상(Bidirectionally Predictive Pictures)으로 선택하는 단계; 및
    상기 쌍방향 예측 부호화 영상과 가장 가까운 카메라의 영상을 예측 부호화 영상(Unidirectionally Predicted Pictures)으로 선택하는 단계;
    를 포함하는, 다시점 영상 압축 방법.
  15. 제14항에 있어서,
    상기 공간 예측 구조를 결정하는 단계는,
    상기 인트라 부호화 영상, 상기 쌍방향 예측 부호화 영상, 및 상기 예측 부호화 영상 중 적어도 하나로 선택되지 않은 카메라의 영상이 두 개 이상 존재하는 경우, 상기 두 개 이상의 영상에 대하여 상기 쌍방향 예측 부호화 영상으로 선택하는 단계 및 상기 예측 부호화 영상으로 선택하는 단계를 반복적으로 수행하고,
    상기 인트라 부호화 영상, 상기 쌍방향 예측 부호화 영상, 및 상기 예측 부호화 영상 중 적어도 하나로 선택되지 않은 카메라의 영상이 한 개 존재하는 경우, 상기 선택되지 않은 카메라의 영상을 상기 예측 부호화 영상으로 선택하는 것을 특징으로 하는 다시점 영상 압축 방법.
  16. 제13항에 있어서,
    상기 평균 시점을 산출하는 단계는,
    상기 복수의 카메라의 자세 평균을 산출하는 단계;
    상기 복수의 카메라의 위치 평균을 산출하는 단계; 및
    상기 자세 평균 및 상기 위치 평균을 이용하여 상기 평균 시점을 산출하는 단계
    를 포함하는, 다시점 영상 압축 방법.
  17. 제11항에 있어서,
    상기 복수의 카메라 영상을 압축하는 단계는,
    상기 예측 부호화 영상은 상기 인트라 부호화 영상을 참조하여 압축하고, 상기 쌍방향 예측 부호화 영상은 상기 인트라 부호화 영상 및 상기 예측 부호화 영상을 참조하여 압축하는 것을 특징으로 하는, 다시점 영상 압축 방법.
  18. 제11항에 있어서,
    상기 복수의 카메라의 영상 각각에 대하여, 시간 변화에 따른 상관관계를 예측하는 시간 예측 구조를 결정하는 단계; 및
    상기 시간 예측 구조에 따라 상기 복수의 카메라 각각에 대한 영상을 압축하는 단계
    를 더 포함하는 것을 특징으로 하는, 다시점 영상 압축 방법.
  19. 제11항에 있어서,
    상기 인트라 부호화 영상, 상기 쌍방향 예측 부호화 영상, 및 상기 예측 부호화 영상 중 하나를 선택적으로 전송하는 단계를 더 포함하는, 다시점 영상 압축 방법.
  20. 제19항에 있어서,
    상기 전송하는 단계는,
    전송 대역폭이 기설정된 값 이하인 경우,
    상기 인트라 부호화 영상 및 상기 예측 부호화 영상 중 적어도 하나를 전송하는 것을 특징으로 하는, 다시점 영상 압축 방법.
  21. 제11항 내지 제20항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록 매체
KR1020090041973A 2009-05-14 2009-05-14 다시점 영상 압축 장치 및 방법 KR101620067B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090041973A KR101620067B1 (ko) 2009-05-14 2009-05-14 다시점 영상 압축 장치 및 방법
US12/585,956 US8311108B2 (en) 2009-05-14 2009-09-29 Multi-view image coding apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090041973A KR101620067B1 (ko) 2009-05-14 2009-05-14 다시점 영상 압축 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20100122999A KR20100122999A (ko) 2010-11-24
KR101620067B1 true KR101620067B1 (ko) 2016-05-12

Family

ID=43068489

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090041973A KR101620067B1 (ko) 2009-05-14 2009-05-14 다시점 영상 압축 장치 및 방법

Country Status (2)

Country Link
US (1) US8311108B2 (ko)
KR (1) KR101620067B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5144237B2 (ja) * 2007-12-05 2013-02-13 キヤノン株式会社 画像処理装置、その制御方法、プログラム
TWI530161B (zh) * 2011-06-07 2016-04-11 Sony Corp Image processing apparatus and method
US10764604B2 (en) * 2011-09-22 2020-09-01 Sun Patent Trust Moving picture encoding method, moving picture encoding apparatus, moving picture decoding method, and moving picture decoding apparatus
JP6046923B2 (ja) * 2012-06-07 2016-12-21 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム
KR102153539B1 (ko) 2013-09-05 2020-09-08 한국전자통신연구원 영상 처리 장치 및 방법
US9471572B1 (en) * 2013-12-31 2016-10-18 Google Inc. Recommending candidates for consumption

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6907071B2 (en) * 2001-05-24 2005-06-14 Telefonaktiebolaget Lm Ericsson (Publ) Selective prediction for intra-coding video data block
CN100534192C (zh) * 2003-10-28 2009-08-26 松下电器产业株式会社 帧内预测编码方法
WO2006062377A1 (en) 2004-12-10 2006-06-15 Electronics And Telecommunications Research Institute Apparatus for universal coding for multi-view video
KR100779875B1 (ko) 2005-01-14 2007-11-27 주식회사 휴맥스 다-시점 코딩을 위한 참조 프레임 순서 설정 방법 및 그방법을 기록한 기록매체
KR101199498B1 (ko) 2005-03-31 2012-11-09 삼성전자주식회사 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이기록된 기록 매체
US8036281B2 (en) * 2005-06-01 2011-10-11 Canon Kabushiki Kaisha Image coding apparatus and image coding method
KR100754205B1 (ko) 2006-02-07 2007-09-03 삼성전자주식회사 다시점 동영상 부호화 장치 및 방법
KR100815486B1 (ko) 2006-08-18 2008-03-20 광주과학기술원 다시점 비디오의 인코더, 인코딩하는 방법, 및 이를 이용한 저장 매체
KR101366092B1 (ko) 2006-10-13 2014-02-21 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치

Also Published As

Publication number Publication date
US8311108B2 (en) 2012-11-13
KR20100122999A (ko) 2010-11-24
US20100290518A1 (en) 2010-11-18

Similar Documents

Publication Publication Date Title
CA2576690C (en) Method and device for motion estimation and compensation for panorama image
JP4842945B2 (ja) パノラマ映像の動き推定及び補償
JP5185104B2 (ja) カメラパラメータを利用した多視点画像の符号化装置と生成装置、及びその方法、並びにこれを行うためのプログラムが記録された記録媒体
JP5241500B2 (ja) カメラパラメータを利用した多視点動画符号化及び復号化装置並びに方法と、これを行うためのプログラムの記録された記録媒体
US9171376B2 (en) Apparatus and method for motion estimation of three dimension video
KR101620067B1 (ko) 다시점 영상 압축 장치 및 방법
US20080303893A1 (en) Method and apparatus for generating header information of stereoscopic image data
JP5197591B2 (ja) 映像符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記録媒体
US20120189060A1 (en) Apparatus and method for encoding and decoding motion information and disparity information
KR20120000485A (ko) 예측 모드를 이용한 깊이 영상 부호화 장치 및 방법
US9924197B2 (en) Image encoding method, image decoding method, image encoding apparatus, image decoding apparatus, image encoding program, and image decoding program
KR20090083746A (ko) 다시점 동영상의 부호화 및 복호화 방법 및 장치
CN104412597A (zh) 用于3d视频编码的统一视差矢量推导的方法及装置
KR100584603B1 (ko) 다시점 영상의 다이렉트 모드 움직임 예측 방법 및 장치
US20150350678A1 (en) Image encoding method, image decoding method, image encoding apparatus, image decoding apparatus, image encoding program, image decoding program, and recording media
WO2015098948A1 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
CN104429077A (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质
CN101990103B (zh) 用于多视点视频编码的方法和装置
KR20120084629A (ko) 움직임 정보 및 변이 정보를 부호화／복호화하는 영상 처리 장치 및 방법
US20140348242A1 (en) Image coding apparatus, image decoding apparatus, and method and program therefor
JP6231560B2 (ja) ビデオ信号処理方法およびビデオ信号処理装置
JP5706291B2 (ja) 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
KR101357755B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체
KR101313223B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체
WO2013141075A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190422

Year of fee payment: 4