KR20080111761A - 영상 분할을 이용한 영상 부호화, 복호화 방법 및 장치 - Google Patents

영상 분할을 이용한 영상 부호화, 복호화 방법 및 장치 Download PDF

Info

Publication number
KR20080111761A
KR20080111761A KR1020070060101A KR20070060101A KR20080111761A KR 20080111761 A KR20080111761 A KR 20080111761A KR 1020070060101 A KR1020070060101 A KR 1020070060101A KR 20070060101 A KR20070060101 A KR 20070060101A KR 20080111761 A KR20080111761 A KR 20080111761A
Authority
KR
South Korea
Prior art keywords
image
regions
encoding
prediction
image sequence
Prior art date
Application number
KR1020070060101A
Other languages
English (en)
Other versions
KR101366250B1 (ko
Inventor
송학섭
심우성
문영호
최종범
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070060101A priority Critical patent/KR101366250B1/ko
Priority to US12/048,650 priority patent/US8503803B2/en
Priority to PCT/KR2008/002251 priority patent/WO2008156244A1/en
Priority to EP08741494.2A priority patent/EP2156671B1/en
Priority to CN2008800205729A priority patent/CN101682755B/zh
Publication of KR20080111761A publication Critical patent/KR20080111761A/ko
Application granted granted Critical
Publication of KR101366250B1 publication Critical patent/KR101366250B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 영상의 부호화, 복호화 방법 및 장치에 관한 것으로서 본 발명에 따른 영상 부호화 방법은 영상을 복수의 영역들로 분할하고, 분할된 복수의 영역들을 다시점 영상 시퀀스의 시점들에 각각 할당한 후에 할당된 복수의 영역들을 부호화함으로써 대화면 또는 고화소 영상을 별도의 코덱을 이용하지 아니하고 보다 효율적으로 부호화할 수 있다.
Figure P1020070060101
고화소, 다시점, 코덱

Description

영상 분할을 이용한 영상 부호화, 복호화 방법 및 장치{Method and apparatus for encoding and decoding image using image partitioning}
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치를 도시한다.
도 2는 본 발명의 일 실시예에 따른 영상 분할을 도시한다.
도 3a는 종래 기술에 따른 다시점 영상 시퀀스를 도시한다.
도 3b는 본 발명의 일 실시예에 따른 영상 시퀀스를 도시한다.
도 4는 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 영상 복호화 장치를 도시한다.
도 6은 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 영상 부호화, 복호화 시스템을 도시한다.
본 발명은 영상 부호화, 복호화 방법 및 장치에 관한 것으로, 보다 상세히는 대화면 또는 고화소의 영상을 별도의 코덱(codec)을 이용하지 아니하고 부호화, 복호화하는 방법 및 장치에 관한 것이다.
일반적으로 영상 데이터는 대용량의 데이터이기 때문에 이를 효과적으로 압축하여 전송 또는 저장한다. 이러한 영상 데이터 압축 기술의 표준으로 MPEH-1, MPEG-2, MPEG-4 H.264/MPEG-4 AVC(Advanced Video coding)와 같은 압축 기술들이 있다.
영상의 통계적 특성이 공간적, 시간적으로 중복성(redundancy)을 가진다는 점을 이용하여 영상 압축을 수행한다. 하나의 영상 내부에 존재하는 공간적인 중복성을 이용하여 인트라 예측 부호화를 수행하거나, 시간적으로 연속한 영상들 사이에 존재하는 시간적인 중복성을 이용하여 인터 예측 부호화를 수행한다. 공간적, 시간적 중복성을 다양한 방법으로 제거하고, 영상의 왜곡 및 압축률을 고려하여 최적의 부호화 모드로 부호화를 수행한다.
압축률을 높이기 위해 복잡한 알고리즘을 이용하기 때문에 이러한 영상 데이터 압축 기술에 따라 영상을 부호화하거나, 부호화된 영상을 복호화하기 위해서는 고속의 처리 장치와 대용량의 메모리가 필요하다.
특히, 영상의 화질이 향상되면 될수록 이를 실시간으로 처리하기 위한 고속의 처리 장치와 대용량의 메모리에 대한 요구는 점점 커진다.
본 발명이 이루고자 하는 기술적 과제는 보다 효율적으로 대화면 또는 고화소 영상을 부호화, 복호화할 수 있는 방법 및 장치를 제공하는데 있고, 상기 방법 을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.
상기 기술적 과제를 해결하기 위한 본 발명에 따른 영상의 부호화 방법은 상기 영상을 복수의 영역들로 분할하는 단계; 및 상기 복수의 영역들을 다시점 영상 시퀀스의 시점들에 각각 할당하는 단계; 및 상기 할당 결과에 기초하여 상기 복수의 영역들을 상기 다시점 영상 시퀀스의 부호화 방법을 이용해 부호화하는 단계를 포함한다.
본 발명에 따른 보다 바람직한 실시예에 따르면, 상기 부호화하는 단계는 상기 다시점 영상 시퀀스의 부호화 방법에 따라 상기 복수의 영역들을 인트라 예측(intra prediction), 영역 사이의 예측 및 시간 예측(temporal prediction) 중 적어도 하나를 이용하여 예측하는 단계; 및 상기 예측 결과에 기초하여 상기 복수의 영역들을 부호화하는 단계를 포함한다.
본 발명에 따른 보다 바람직한 실시예에 따르면, 상기 부호화하는 단계는 상기 영상을 상기 복수의 영역들로 분할하고, 상기 복수의 영역들을 상기 다시점 영상 시퀀스의 부호화 방법을 이용하여 부호화하였음을 나타내는 정보를 부호화하는 단계를 더 포함한다.
상기 기술적 과제를 해결하기 위한 본 발명에 따른 영상의 부호화 장치는 상기 영상을 복수의 영역들로 분할하고, 상기 복수의 영역들을 다시점 영상 시퀀스의 시점들에 각각 할당하는 분할부; 상기 다시점 영상 시퀀스의 부호화 방법에 따라 상기 복수의 영역들을 인트라 예측(intra prediction), 영역 사이의 예측 및 시간 예측(temporal prediction) 중 적어도 하나를 이용하여 예측하는 예측부; 및 상기 예측 결과에 기초하여 상기 복수의 영역들을 부호화하는 부호화부를 포함한다.
본 발명에 따른 보다 바람직한 실시예에 따르면, 상기 부호화부는 상기 영상을 상기 복수의 영역들로 분할하고, 상기 복수의 영역들을 상기 다시점 영상 시퀀스의 부호화 방법을 이용하여 부호화하였음을 나타내는 정보를 부호화하는 것을 특징으로 한다.
상기 기술적 과제를 해결하기 위한 본 발명에 따른 영상의 복호화 방법은 상기 영상을 상기 복수의 영역들로 분할하여 상기 복수의 영역들을 상기 다시점 영상 시퀀스의 부호화 방법을 이용해 부호화한 상기 영상에 대한 데이터를 수신하는 단계; 상기 수신된 데이터를 복호화하는 단계; 상기 복호화된 데이터에 기초하여 상기 복수의 영역들을 복원하는 단계; 및 상기 복원된 복수의 영역들을 이용해 상기 영상을 복원하는 단계를 포함한다.
본 발명에 따른 보다 바람직한 실시예에 따르면, 상기 복수의 영역들을 복원하는 단계는 상기 복수의 영역들을 인트라 예측(intra prediction), 영역 사이의 예측 및 시간 예측(temporal prediction) 중 적어도 하나를 이용하여 예측하는 단계; 및 상기 예측 결과 및 상기 복호화된 데이터를 이용하여 상기 복수의 영역들을 복원하는 단계를 포함한다.
상기 기술적 과제를 해결하기 위한 본 발명에 따른 영상의 복호화 장치는 상기 영상을 상기 복수의 영역들로 분할하여 상기 복수의 영역들을 상기 다시점 영상 시퀀스의 부호화 방법을 이용해 부호화한 상기 영상에 대한 데이터를 수신하고, 상기 수신된 데이터를 복호화하는 복호화부; 상기 복수의 영역들을 인트라 예측(intra prediction), 영역 사이의 예측 및 시간 예측(temporal prediction) 중 적어도 하나를 이용하여 예측하는 예측부; 및 상기 예측 결과 및 상기 복호화된 데이터를 이용하여 상기 복수의 영역들 및 상기 영상을 복원하는 영상복원부를 포함하는 것을 특징으로 하는 영상 복호화 장치.
본 발명에 따른 보다 바람직한 실시예에 따르면, 상기 영상에 대한 데이터는 상기 영상을 상기 복수의 영역들로 분할하고, 상기 복수의 영역들을 상기 다시점 영상 시퀀스의 부호화 방법을 이용하여 부호화하였음을 나타내는 정보를 포함한다.
상기 기술적 과제를 해결하기 위해 본 발명은 상기된 영상의 부호화 및 복호화 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치를 도시한다.
도 1을 참조하면 본 발명에 따른 영상 부호화 장치(100)는 분할부(110), 예측부(120) 및 부호화부(130)을 포함한다.
분할부(110)는 영상을 복수의 영역들로 분할한다. 종래 기술과 관련하여 전술한 바와 같이 대화면 또는 고화소의 영상을 실시간으로 처리하기 위해서는 고속 의 처리 장치와 대용량의 메모리가 요구된다. 따라서, 본 발명에 따른 영상 부호화 장치(100)는 입력 영상을 복수의 영역들로 분할하고, 복수의 영역들을 다시점 영상 시퀀스의 부호화 방법을 이용해 부호화한다. 분할부(110)는 이를 위해 입력 영상을 복수의 영역들로 분할한다. 분할하는 방법에는 제한이 없으나, 도 2에 도시된 바와 같이 입력 영상(200)을 동일한 크기의 사각형 영역들로 분할할 수 있다.
영상의 분할이 모두 끝나면, 분할부(110)는 분할한 결과 생성된 복수의 영역들을 다시점 영상 시퀀스의 시점들에 할당한다. 전술한 바와 같이 다시점 영상 시퀀스의 부호화 방법을 이용해 영상을 부호화하기 위해 영상을 분할한 결과 생성된 복수의 영역들을 다시점 영상 시퀀스의 시점들에 할당한다. 도 3a 및 3b를 참조하여 상세히 설명한다.
도 3a는 종래 기술에 따른 다시점 영상 시퀀스를 도시한다.
다시점 영상 부호화에서는 다시점 영상을 제공하는 복수의 카메라로부터 입력받은 영상을 동시에 부호화한다. 다시점 영상을 시간적 상관 관계(temporal correlation) 및 카메라들 사이(inter-view)의 공간적인 상관 관계(spatial correlation)를 이용하여 압축 부호화한다.
도 3a에서 가로축은 시간축이고, 세로축은 시점축이다. 다시점 영상의 부호화(multi-view coding)에서는 기본 시점의 영상에 대하여 주기적으로 인트라 픽처(I picture)를 생성하고, 생성된 인트라 픽처들을 기초로 시간 예측(temporal prediction) 또는 시점간(inter-view prediction)예측을 수행하여 다른 픽처들을 예측 부호화한다.
시간 예측이란 동일한 시점(view) 즉, 동일한 행에 있는 영상 사이에 시간적인 상관 관계를 이용하는 예측이며, 시점간 예측이란 같은 시간 즉, 동일한 열에 있는 영상 사이에 공간적인 상관 관계를 이용하는 예측이다.
도 3a에서 각각의 행은 다시점 영상의 각각의 시점에 대한 영상 시퀀스(sequence)를 시간 경과에 따라 도시한다. 각각의 행은 위에서부터 차례대로 시점 0, 시점 1, 시점 2, ... 의 영상 시퀀스가 된다. 여기서 시점 0을 기본 시점이라고 하고, 따라서 첫 번째 행의 영상 시퀀스(310)는 기본 시점의 영상 시퀀스가 된다. 기본 시점의 영상 시퀀스에 포함된 픽처들은 시간 예측만을 수행하여 예측 부호화되며, 시점간 예측은 수행하지 않는다.
또한, 각각의 열은 동일한 시간에서의 다시점 영상들을 도시한다. 도시된 열들 중에서 인트라 픽처를 포함하고 있는 열들(314, 316 및 318)에 포함되어 있는 픽처들을 앵커 픽처(anchor picture)라고 한다. 앵커 픽처들은 시점간 예측만을 수행하여 부호화된다.
도 3b는 본 발명의 일 실시예에 따른 영상 시퀀스를 도시한다.
도 3b는 도 2와 같이 하나의 시점에 대한 영상이 복수의 영역들(영역 0 내지 7)로 분할된 경우 다시점 영상 시퀀스의 부호화 방법을 이용해 영상을 부호하하는 방법에 대하여 도시한다.
도 3b를 참조하면, 도 3a에 도시된 각각의 시점들에 도 2의 복수의 영역들이 할당된다. 시점 0의 영상 시퀀스에는 영역 0이 할당되며, 시점 1의 영상 시퀀스에 는 영역 1이 할당된다. 도 2에 도시된 모든 영역들이 각각의 시점에 할당된다.
할당된 결과 시점 0에 대한 영상 시퀀스(310)는 영역 0의 픽처를 시간의 경과에 따라 도시하는 영역 0에 대한 영상 시퀀스(320)가 된다. 다른 영상 시퀀스들(322)도 마찬가지로 각각의 영역에 포함된 픽처를 시간의 경과에 따라 도시하게 된다.
다시 도 1을 참조하면, 예측부(120)는 분할부(110)에서 분할된 복수의 영역들을 다시점 영상 시퀀스의 부호화 방법에 따라 예측한다. 도 3b를 참조하여 상세히 설명한다.
도 3a에서 다시점 영상 시퀀스는 시점간 예측 또는 시간 예측을 이용하여 영상 시퀀스에 포함된 각각의 영상들을 예측한다. 또한, 기본 시점의 앵커 픽처는 인트라 예측을 이용하여 예측한다.
따라서, 분할부(110)에서 복수의 영역들이 할당된 도 3b의 영상 시퀀스에 포함된 픽처들은 인트라 예측, 영역 사이의 예측 및 시간 예측 중 적어도 하나를 이용하여 예측한다.
도 3b에 도시된 영역 0의 영상 시퀀스에 포함된 앵커 픽처들 즉, 첫 번째 행의 I 픽처의 위치에 해당하는 픽처들은 인트라 예측을 이용하여 예측된다.
시간 예측은 도 3a의 경우와 동일하다. 동일한 영역 즉, 동일한 행에 있는 픽처 사이에 시간적인 상관 관계를 이용하여 시간 예측을 수행한다. 그러나, 도 3a와 관련하여 전술한 시점간 예측은 본 발명에 따른 영상 시퀀스에서는 영역 사이의 예측으로 바뀐다.
각각의 행은 서로 다른 시점이 아닌 서로 다른 영역에 대한 영상 시퀀스들이다. 따라서, 본 발명에 따른 영상 시퀀스에서 동일한 시간 즉, 동일한 열의 영상들 사이의 예측은 영역 사이의 예측이 된다.
도 3b의 영상 시퀀스의 최초 열(324)를 예로 들어 설명한다.
도 3b를 참조하면, 최초 열(324)의 영역 2의 픽처는 영역 0의 픽처를 참조하여 예측한다. 영역 4의 픽처는 영역 2의 픽처를 참조하여 예측한다. 쌍방향 예측(bidirectional prediction)도 가능하다. 예를 들어, 영역 1의 픽처는 영역 0 및 영역 2의 픽처를 참조하여 예측한다. 도 3a의 시점간 예측이 영역 사이의 예측으로 바뀐다.
다시, 도 2를 참조하면, 부호화부(130)는 예측부(120)의 예측 결과에 기초하여 분할부(110)에서 분할된 복수의 영역들을 부호화한다. 예측부(120)에서 생성된 각각의 영역들에 대한 예측 값을 원본 값에서 감산하여 레지듀얼 값을 생성하고, 생성된 레지듀얼 값을 부호화한다.
본 발명에 따른 영상 부호화 방법은 다시점 영상 시퀀스의 부호화 방법을 이용하여 하나의 시점의 영상에 대하여 영상 시퀀스를 생성한다. 따라서, 이를 구분하기 위한 정보가 필요하다. 이를 위해 본 발명에 따른 부호화부(130)는 입력 영상을 복수의 영역들로 분할하고, 분할된 복수의 영역들을 다시점 영상 시퀀스의 부호화 방법을 이용하여 부호화하였음을 나타내는 정보도 같이 부호화한다.
바람직하게는 영상 시퀀스가 다시점 영상 시퀀스인지 하나의 시점의 영상에 대한 영상 시퀀스인지를 나타내는 플래그(flag) 정보를 부호화한다. 플래그 정보 를 영상 시퀀스에 대한 파라미터에 포함시키는 방법으로 부호화할 수 있다.
이상 도 1, 2, 3a 및 3b는 입력 영상이 동영상인 경우를 예로 들어 설명하였으나, 본 발명에 따른 영상 부호화 장치는 정지 영상도 동일한 방법을 이용해 부호화할 수 있다. 예를 들어, 도 3b에 도시된 영상 시퀀스 중에서 최초 열(322)만을 이용하여 정지 영상을 부호화할 수 있다. 이 경우 정지 영상을 복수의 영역들로 분할하여 최초 열(322)에 픽처들에 각각 할당하고, 인트라 예측 또는 영역 사이의 예측만을 이용하여 부호화한다. 정지 영상이므로 시간 예측은 이용할 수 없다.
도 4는 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 흐름도이다.
단계 410에서 본 발명에 따른 영상 부호화 장치(100)는 입력 영상을 복수의 영역들로 분할한다. 도 2에 도시된 바와 같이 하나의 시점에 대한 영상을 동일한 크기의 사각형으로 분할하여, 복수의 영역들을 생성한다.
단계 420에서 영상 부호화 장치(100)는 단계 410에서 분할한 결과 생성된 복수의 영역들을 다시점 영상 시퀀스의 시점들에 각각 할당한다. 복수의 영역들을 다시점 영상 시퀀스의 부호화 방법을 이용해 부호화하기 위해 복수의 영역들을 각각의 시점들에 할당한다. 할당 결과 각각의 시점에 대한 영상 시퀀스는 각각의 영역에 대한 영상 시퀀스가 된다.
단계 430에서 영상 부호화 장치(100)는 단계 420의 할당 결과에 기초하여 복수의 영역들을 부호화한다. 다시점 영상 시퀀스의 부호화 방법을 이용해 복수의 영역들을 부호화한다.
인트라 예측 또는 영역 사이의 예측 또는 시간 예측 중 적어도 하나를 이용해 영상 시퀀스에 포함된 픽처들을 예측하고, 예측 결과에 기초하여 복수의 영역들을 부호화한다.
부호화할 때, 단계 410 및 420을 통해 영상을 복수의 영역들로 분할하고, 복수의 영역들을 다시점 영상 시퀀스의 부호화 방법을 이용해 부호화하였음 나타내는 정보도 함께 부호화한다. 플래그 정보를 영상 시퀀스의 파라미터에 포함시킨다.
도 5는 본 발명의 일 실시예에 따른 영상 복호화 장치를 도시한다.
도 5를 참조하면, 본 발명에 따른 영상 복호화 장치(500)는 복호화부(510), 예측부(520) 및 영상복원부(530)을 포함한다.
복호화부(510)는 본 발명의 영상 부호화 방법에 따라 부호화된 영상에 대한 데이터를 수신하고 수신된 데이터를 복호화한다. 수신된 데이터는 입력 영상을 복수의 영역들로 분할하여 복수의 영역들을 다시점 영상 시퀀스의 부호화 방법을 이용해 부호화하여 생성된 데이터이다. 수신된 데이터에는 입력 영상이 본 발명에 따른 영상 부호화 방법에 따라 부호화되었음을 나타내는 정보를 포함하고 있다. 이 정보는 영상 시퀀스 파라미터에 포함된 플래그 정보일 수 있다.
예측부(520)는 복호화부(510)에서 복호화된 복수의 영역들을 인트라 예측, 영역 사이의 예측 및 시간 예측 중 적어도 하나를 이용해 예측한다. 부호화의 경우와 마찬가지로 다시점 영상 시퀀스의 복호화 방법을 이용하여 복수의 영역들을 예측한다. 다만, 종래 기술에 따른 다시점 영상 시퀀스에서의 시점간 예측은 본 발명에 따른 영상 시퀀스에서 영역 사이의 예측으로 바뀐다.
복호화부(510)에서 복호화되는 영상 시퀀스는 복수의 시점에 대한 시퀀스가 아닌 복수의 영역들에 대한 시퀀스이다. 따라서, 다시점 영상에 대한 영상 시퀀스에서 시점간 예측는 본 발명에 따른 영상 시퀀스에서는 영역 사이의 예측이 된다.
영상 복원부(520)는 예측부(520)에서의 예측 결과 및 복호화부(510)의 복호화된 데이터를 이용하여 복수의 영역들을 복원한다. 예측부(520)에서 예측된 복수의 영역들에 대한 예측 값을 복호화부에서 복호화된 레지듀얼 값과 가산하여 복수의 영역들을 복원한다.
복수의 영역들이 모두 복원되면, 복원된 복수의 영역들에 기초하여 출력 영상을 복원한다. 복원된 복수의 영역들을 도 2에 도시된 바와 같이 각각의 위치에 배치함으로써 부호화된 영상을 복원하여 출력 영상을 생성한다.
영상 부호화 장치(100)와 관련하여 전술한 바와 마찬가지로 출력 영상은 정지 영상일 수 있다. 이 경우 정지 영상의 부호화와 대칭되는 복호화 방법을 수행하여 정지 영상을 복원한다.
도 6은 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 흐름도이다.
도 6을 참조하면, 단계 610에서 본 발명에 따른 영상 복호화 장치(500)는 본 발명의 영상 부호화 방법에 따라 부호화된 영상에 대한 데이터를 수신한다. 수신된 데이터는 입력 영상을 복수의 영역들로 분할하여 복수의 영역들을 다시점 영상 시퀀스의 부호화 방법을 이용해 부호화하여 생성된 데이터이다. 수신된 데이터에는 수신된 데이터에는 입력 영상이 본 발명에 따른 영상 부호화 방법에 따라 부호 화되었음을 나타내는 정보를 포함하고 있다.
단계 620에서 영상 복호화 장치(500)는 단계 610에서 수신된 데이터를 복호화한다. 복호화 결과 복수의 영역들에 대한 레지듀얼 값이 생성된다.
단계 630에서 영상 복호화 장치(500)는 단계 620에서 복호화된 데이터에 기초하여 복수의 영역들을 복원한다. 복수의 영역들을 인트라 예측, 영역 사이의 예측 및 시간 예측 중 적어도 하나를 수행하여 예측한다. 예측 결과 생성된 복수의 영역들에 대한 예측 값을 단계 620에서 복호화 결과 생성된 레지듀얼 값과 가산하여 복수의 영역들을 복원한다.
단계 640에서 영상 복호화 장치(500)는 단계 630에서 복원된 복수의 영역들에 기초하여 영상을 복원한다. 단계 630에서 복원된 복수의 영역들을 도 2에 도시된 바와 같이 배치함으로써 부호화된 영상을 복원한다.
도 7은 본 발명의 일 실시예에 따른 영상 부호화, 복호화 시스템을 도시한다.
도 7에서 서비스 제공자(710)는 소정의 영상의 부호화하여 클라이언트(720)에 제공하고, 클라이언트(720)는 부호화된 영상을 복호화하여 디스플레이 장치를 통해 재생한다.
도 7을 참조하면, 서비스 제공자(710)는 다시점 영상 또는 대화면 또는 고화소 영상을 다시점 영상 시퀀스의 부호화 방법을 이용해 부호화한다. 부호화되는 영상이 다시점 영상인 경우에는 인트라 예측, 시점간 예측 및 시간 예측 중 적어도 하나를 이용해 영상 시퀀스에 포함된 픽처들을 예측하고 예측 결과에 기초하여 픽 처들을 부호화한다. 그러나, 부호화되는 영상이 하나의 시점에 대한 영상, 바람직하게는 대화면 또는 고화소 영상인 경우에는 인트라 예측, 영역간 예측 및 시간 에측 중 적어도 하나를 이용해 영상 시퀀스에 포함된 픽처들을 예측하고 예측 결과에 기초하여 픽처들을 부호화한다.
영상 시퀀스가 다시점 영상에 대한 시퀀스인지 하나의 시점에 대한 영상인지 구분하기 위한 플래그 정보를 영상 시퀀스의 파라미터에 포함시켜 부호화한다.
다시점 영상 또는 대화면 또는 고화소 영상이 다시점 영상 시퀀스의 부호화 방법에 따라 부호화되어, 클라이언트(720)에 전달된다. 클라이언트(720)는 영상 시퀀스 파라미터의 플래그 정보를 참조하여 영상 시퀀스가 다시점 영상에 대한 시퀀스인지 하나의 시점의 영상에 대한 시퀀스인지 판단하여 다시점 영상 또는 대화면 또는 고화소 영상을 복원한다.
클라이언트(720)가 다시점 영상 시퀀스의 복호화 방법에 대한 코덱(codec)만을 가지고 있으면, 다시점 영상 또는 대화면 또는 고화소 영상을 모두 복호화할 수 있다. 다시점 영상 처리를 위해 준비되어 있는 처리 장치 및 메모리를 그대로 이용하여 대화면 또는 고화소 영상을 실시간으로 복호화할 수 있는 것이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명이 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이와 균등하거나 또는 등가적인 변형 모두는 본 발명 사상의 범주에 속한다 할 것이다. 또한, 본 발명에 따른 시스템은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
본 발명에 따르면, 다시점 영상 시퀀스의 부호화 방법을 이용해 대화면 또는 고화소 영상을 보다 효율적으로 부호화할 수 있다. 별도의 코덱을 이용하지 않고 다시점 영상 시퀀스의 부호화 및 복호화를 위한 코덱을 이용해 영상을 부호화, 복호화하기 때문에 별도의 로열티를 지급할 필요가 없다.
또한, 다시점 영상의 부호화, 복호화를 위해 준비되어 있는 처리 장치 및 메모리를 이용하여 실시간으로 대화면 또는 고화소 영상을 처리할 수 있어, 대화면 또는 고화소 영상의 실시간 재생을 위한 별도의 고속 처리 장치 및 대용량 메모리가 필요하지 않다.

Claims (19)

  1. 영상의 부호화 방법에 있어서,
    상기 영상을 복수의 영역들로 분할하는 단계; 및
    상기 복수의 영역들을 다시점 영상 시퀀스의 시점들에 각각 할당하는 단계; 및
    상기 할당 결과에 기초하여 상기 복수의 영역들을 상기 다시점 영상 시퀀스의 부호화 방법을 이용해 부호화하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  2. 제 1 항에 있어서, 상기 부호화하는 단계는
    상기 다시점 영상 시퀀스의 부호화 방법에 따라 상기 복수의 영역들을 인트라 예측(intra prediction), 영역 사이의 예측 및 시간 예측(temporal prediction) 중 적어도 하나를 이용하여 예측하는 단계; 및
    상기 예측 결과에 기초하여 상기 복수의 영역들을 부호화하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  3. 제 1 항에 있어서, 상기 부호화하는 단계는
    상기 영상을 상기 복수의 영역들로 분할하고, 상기 복수의 영역들을 상기 다시점 영상 시퀀스의 부호화 방법을 이용하여 부호화하였음을 나타내는 정보를 부호 화하는 단계를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
  4. 제 3 항에 있어서, 상기 정보는
    상기 영상을 상기 복수의 영역들로 분할하고, 상기 복수의 영역들을 상기 다시점 영상 시퀀스의 부호화 방법을 이용하여 부호화하였음을 나타내는 플래그(flag) 정보인 것을 특징으로 하는 영상 부호화 방법.
  5. 제 1 항에 있어서, 상기 영상은
    정지 영상인 것을 특징으로 하는 영상 부호화 방법.
  6. 영상의 부호화 장치에 있어서,
    상기 영상을 복수의 영역들로 분할하고, 상기 복수의 영역들을 다시점 영상 시퀀스의 시점들에 각각 할당하는 분할부;
    상기 다시점 영상 시퀀스의 부호화 방법에 따라 상기 복수의 영역들을 인트라 예측(intra prediction), 영역 사이의 예측 및 시간 예측(temporal prediction) 중 적어도 하나를 이용하여 예측하는 예측부; 및
    상기 예측 결과에 기초하여 상기 복수의 영역들을 부호화하는 부호화부를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  7. 제 6 항에 있어서, 상기 부호화부는
    상기 영상을 상기 복수의 영역들로 분할하고, 상기 복수의 영역들을 상기 다시점 영상 시퀀스의 부호화 방법을 이용하여 부호화하였음을 나타내는 정보를 부호화하는 것을 특징으로 하는 영상 부호화 장치.
  8. 제 7 항에 있어서, 상기 정보는
    상기 영상을 상기 복수의 영역들로 분할하고, 상기 복수의 영역들을 상기 다시점 영상 시퀀스의 부호화 방법을 이용하여 부호화하였음을 나타내는 플래그(flag)정보를 부호화하는 단계를 더 포함하는 것을 특징으로 하는 영상 부호화 장치.
  9. 제 6 항에 있어서, 상기 영상은
    정지 영상인 것을 특징으로 하는 영상 부호화 장치.
  10. 영상의 복호화 방법에 있어서,
    상기 영상을 복수의 영역들로 분할하여 상기 복수의 영역들을 상기 다시점 영상 시퀀스의 부호화 방법을 이용해 부호화한 상기 영상에 대한 데이터를 수신하는 단계;
    상기 수신된 데이터를 복호화하는 단계;
    상기 복호화된 데이터에 기초하여 상기 복수의 영역들을 복원하는 단계; 및
    상기 복원된 복수의 영역들을 이용해 상기 영상을 복원하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  11. 제 10 항에 있어서, 상기 복수의 영역들을 복원하는 단계는
    상기 복수의 영역들을 인트라 예측(intra prediction), 영역 사이의 예측 및 시간 예측(temporal prediction) 중 적어도 하나를 이용하여 예측하는 단계; 및
    상기 예측 결과 및 상기 복호화된 데이터를 이용하여 상기 복수의 영역들을 복원하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  12. 제 11 항에 있어서, 상기 영상에 대한 데이터는
    상기 영상을 상기 복수의 영역들로 분할하고, 상기 복수의 영역들을 상기 다시점 영상 시퀀스의 부호화 방법을 이용하여 부호화하였음을 나타내는 정보를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  13. 제 12 항에 있어서, 상기 정보는
    상기 영상을 상기 복수의 영역들로 분할하고, 상기 복수의 영역들을 상기 다시점 영상 시퀀스의 부호화 방법을 이용하여 부호화하였음을 나타내는 플래그(flag) 정보인 것을 특징으로 하는 영상 복호화 방법.
  14. 제 10 항에 있어서, 상기 영상은
    정지 영상인 것을 특징으로 하는 영상 복호화 방법.
  15. 영상의 복호화 장치에 있어서,
    상기 영상을 복수의 영역들로 분할하여 상기 복수의 영역들을 상기 다시점 영상 시퀀스의 부호화 방법을 이용해 부호화한 상기 영상에 대한 데이터를 수신하고, 상기 수신된 데이터를 복호화하는 복호화부;
    상기 복수의 영역들을 인트라 예측(intra prediction), 영역 사이의 예측 및 시간 예측(temporal prediction) 중 적어도 하나를 이용하여 예측하는 예측부; 및
    상기 예측 결과 및 상기 복호화된 데이터를 이용하여 상기 복수의 영역들 및 상기 영상을 복원하는 영상복원부를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  16. 제 15 항에 있어서, 상기 영상에 대한 데이터는
    상기 영상을 상기 복수의 영역들로 분할하고, 상기 복수의 영역들을 상기 다시점 영상 시퀀스의 부호화 방법을 이용하여 부호화하였음을 나타내는 정보를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  17. 제 12 항에 있어서, 상기 정보는
    상기 영상을 상기 복수의 영역들로 분할하고, 상기 복수의 영역들을 상기 다시점 영상 시퀀스의 부호화 방법을 이용하여 부호화하였음을 나타내는 플래그(flag) 정보인 것을 특징으로 하는 영상 복호화 장치.
  18. 제 15 항에 있어서, 상기 영상은
    정지 영상인 것을 특징으로 하는 영상 복호화 장치.
  19. 제 1 항 내지 제 5 항 및 제 10 항 내지 제 14 항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020070060101A 2007-06-19 2007-06-19 영상 분할을 이용한 영상 부호화, 복호화 방법 및 장치 KR101366250B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020070060101A KR101366250B1 (ko) 2007-06-19 2007-06-19 영상 분할을 이용한 영상 부호화, 복호화 방법 및 장치
US12/048,650 US8503803B2 (en) 2007-06-19 2008-03-14 Method and apparatus for encoding/decoding image by partitioning image
PCT/KR2008/002251 WO2008156244A1 (en) 2007-06-19 2008-04-22 Method and apparatus for encoding/decoding image by partitioning image
EP08741494.2A EP2156671B1 (en) 2007-06-19 2008-04-22 Method and apparatus for encoding/decoding image by partitioning image
CN2008800205729A CN101682755B (zh) 2007-06-19 2008-04-22 通过对图像进行分区来对图像编码/解码的方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070060101A KR101366250B1 (ko) 2007-06-19 2007-06-19 영상 분할을 이용한 영상 부호화, 복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20080111761A true KR20080111761A (ko) 2008-12-24
KR101366250B1 KR101366250B1 (ko) 2014-02-25

Family

ID=40136558

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070060101A KR101366250B1 (ko) 2007-06-19 2007-06-19 영상 분할을 이용한 영상 부호화, 복호화 방법 및 장치

Country Status (5)

Country Link
US (1) US8503803B2 (ko)
EP (1) EP2156671B1 (ko)
KR (1) KR101366250B1 (ko)
CN (1) CN101682755B (ko)
WO (1) WO2008156244A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101366092B1 (ko) * 2006-10-13 2014-02-21 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
US8548261B2 (en) 2007-04-11 2013-10-01 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view image
US20130039429A1 (en) * 2011-08-11 2013-02-14 Xue Rong Hong Computer display content coding method and system
EP2688304B1 (en) 2012-03-01 2019-09-25 Sony Corporation Transmitter, transmission method and receiver

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
US6754270B1 (en) * 2000-09-29 2004-06-22 Lucent Technologies, Inc. Encoding high-definition video using overlapping panels
EP1501318A4 (en) 2002-04-25 2006-12-06 Sharp Kk BILDCODER, IMAGE DECODER, RECORDING MEDIA AND IMAGE RECORDER
US20060013319A1 (en) * 2003-02-19 2006-01-19 Kiyofumi Abe Image decoding device, image encoding device, and method thereof
JP4213646B2 (ja) * 2003-12-26 2009-01-21 株式会社エヌ・ティ・ティ・ドコモ 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、及び画像復号プログラム。
US7881546B2 (en) * 2004-09-08 2011-02-01 Inlet Technologies, Inc. Slab-based processing engine for motion video
US8204133B2 (en) * 2004-10-12 2012-06-19 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding multi-view video using image stitching
WO2006062377A1 (en) 2004-12-10 2006-06-15 Electronics And Telecommunications Research Institute Apparatus for universal coding for multi-view video
US7468745B2 (en) 2004-12-17 2008-12-23 Mitsubishi Electric Research Laboratories, Inc. Multiview video decomposition and encoding
KR100738328B1 (ko) 2005-09-29 2007-07-12 한국전자통신연구원 Ｍρｅｇ-4 기반의 다시점 동영상 처리 장치 및 방법
KR100667830B1 (ko) 2005-11-05 2007-01-11 삼성전자주식회사 다시점 동영상을 부호화하는 방법 및 장치
EP2005752A4 (en) * 2006-03-30 2010-06-09 Lg Electronics Inc METHOD AND APPARATUS FOR DECODING / ENCODING A VIDEO SIGNAL

Also Published As

Publication number Publication date
EP2156671B1 (en) 2019-07-10
WO2008156244A1 (en) 2008-12-24
CN101682755B (zh) 2012-02-22
US20080317361A1 (en) 2008-12-25
EP2156671A1 (en) 2010-02-24
KR101366250B1 (ko) 2014-02-25
US8503803B2 (en) 2013-08-06
CN101682755A (zh) 2010-03-24
EP2156671A4 (en) 2011-08-17

Similar Documents

Publication Publication Date Title
KR100823287B1 (ko) 전역 차이 벡터를 이용한 다시점 영상의 부호화, 복호화방법 및 장치
KR101301181B1 (ko) 다시점 영상의 부호화, 복호화 방법 및 장치
KR101366092B1 (ko) 다시점 영상의 부호화, 복호화 방법 및 장치
CN113170237B (zh) 视频编码与解码方法和设备
RU2680204C2 (ru) Способ и устройство для определения информации движения между позициями по времени в подблоке предсказания
US20150365698A1 (en) Method and Apparatus for Prediction Value Derivation in Intra Coding
CN112956201B (zh) 使用句法来执行编码的句法设计方法和设备
CN114556957A (zh) 基于环路内滤波的视频编译设备和方法
KR102521647B1 (ko) 영상 코딩 시스템에서 인트라 예측 관련 정보를 사용하는 영상 디코딩 방법 및 그 장치
CN116708824A (zh) 编解码设备、存储介质和数据发送设备
US20200195966A1 (en) Image decoding method and apparatus based on motion prediction using merge candidate list in image coding system
KR101366250B1 (ko) 영상 분할을 이용한 영상 부호화, 복호화 방법 및 장치
US20200195952A1 (en) Method and apparatus for processing video signal through target area modification
JP2022523440A (ja) ビデオコーディングにおけるヌルタイルコーディング
CN114586354A (zh) 基于矩阵的帧内预测设备和方法
CN114902664A (zh) 图像/视频编码/解码方法和装置
CN114902681A (zh) 图像/视频编码/解码系统中与切片相关的信令信息的方法和设备
KR20130078319A (ko) 스테레오 영상 부호화 방법 및 장치
CN112292855A (zh) 用于对图像进行编码/解码的方法和装置
KR20080087616A (ko) 다시점 영상의 부호화, 복호화 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170125

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180130

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee