KR20150005826A - 영상을 부호화하기 위한 영상 예측 모드 결정 방법 및 장치 - Google Patents

Abstract

영상 예측 모드 결정 방법이 제공된다. 영상 예측 모드 결정 방법은, n(여기서, n은 자연수)개의 영상을 압축하고 부호화하기 위한 예측 모드를 제공하고, 제1 비용 함수를 이용하여, 상기 n개의 예측 모드 중에서 제1 예측 모드를 선택하고, 상기 제1 비용 함수와 다른 제2 비용 함수를 이용하여 상기 제1 예측 모드 중에서 최종 예측 모드를 선택하는 것을 포함하되, 상기 제1 비용함수는 SATD(Sum of Absolute Transformed Difference) 연산을 포함하고, 상기 제2 비용 함수는 SSD(sum of Squared Difference) 연산을 포함한다.

Description

영상을 부호화하기 위한 영상 예측 모드 결정 방법 및 장치{Method and apparatus for deciding video prediction mode}

본 발명은 영상을 부호화하기 위한 영상 예측 모드 결정 방법 및 영상 예측 모드 결정 장치에 관한 것이다.

MPEG-1, MPEG-2, MPEG-4, H.264/MPEG-4 AVC(Advanced Video Coding), HEVC(High-Efficiency Video Coding) 등과 같은 영상 압축 방식에서는 영상을 압축하고 부호화하기 위해서 하나의 픽처를 단위 블록으로 나눈다. 그리고, 인터 예측 및 인트라 예측에서 이용 가능한 모든 예측 모드 각각에서 단위 블록을 부호화한 다음, 단위 블록의 부호화에 소요되는 비트율과 원 단위 블록과 복호화된 단위 블록과의 왜곡 정도에 따라서 예측 모드를 선택하여 단위 블록을 부호화한다.

블록은 인터 모드와 인트라 모드의 두 가지 예측 모드로 부호화될 수 있다. 인터 모드(inter mode)는 현재 픽처의 블록을 부호화하기 위해서 참조 픽처에서 선택된 참조 블록들의 위치를 나타내는 움직임 벡터 정보와 참조 블록과 블록 사이의 화소값의 차를 부호화하는 모드이다. 인트라 모드(intra mode)는 현재 픽처의 블록을 부호화하기 위해서 부호화하고자 하는 블록과 공간적으로 인접한 화소값을 이용하여 부호화하고자 하는 블록에 대한 예측값을 계산한 후, 이 예측값과 화소값의 차를 부호화하는 모드이다.

그런데 예측 부호화시에, 다양한 예측 모드를 실제로 적용하여 각 예측 모드에 따른 비용을 계산하고 최적의 비용을 갖는 예측 모드를 결정하게 되므로 많은 시간과 계산이 소요된다.

본 발명이 해결하고자 하는 기술적 과제는 영상의 예측 효율을 유지하면서 예측 모드 결정의 처리 시간 및 계산량을 감소시키는 영상 예측 모드 결정 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 다른 기술적 과제는 영상의 예측 효율을 유지하면서 예측 모드 결정의 처리 시간 및 계산량을 감소시키는 영상 예측 모드 결정 장치를 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 영상을 부호화하기 위한 영상 예측 모드 결정 방법은, n(여기서, n은 자연수)개의 영상을 압축하고 부호화하기 위한 예측 모드를 제공하고, 제1 비용 함수를 이용하여, 상기 n개의 예측 모드 중에서 제1 예측 모드를 선택하고, 상기 제1 비용 함수와 다른 제2 비용 함수를 이용하여 상기 제1 예측 모드 중에서 최종 예측 모드를 선택하는 것을 포함한다.

상기 제1 비용함수는 SATD(Sum of Absolute Transformed Difference) 연산을 포함할 수 있고, 상기 제1 비용 함수는 하기 수학식 (1)에 의해 계산될 수 있다:

Jfirst(mode) = SATD(mode) + Header_cost(mode) (1)

상기 식에서, mode는 상기 예측 모드이고, Jfirst는 상기 제1 비용 함수이고, Header_cost는 상기 예측 모드의 인덱스 값이다.

상기 제2 비용 함수는 SSD(sum of Squared Difference) 연산과 상기 SATD 연산을 포함할 수 있고, 상기 제2 비용함수는 하기 수학식 (2)에 의해 계산될 수 있다:

Jsecond(mode1) =

a*SSD(mode1) + b*SATD(mode1) + Header_cost(mode1) (2)

상기 식에서, mode1은 상기 제1 예측 모드이고, Jsecond는 상기 제2 비용 함수이고, Header_cost는 상기 예측 모드의 인덱스 값이고, a, b는 변환 계수이다.

상기 제2 비용 함수가 하기 수학식 (3)을 만족하도록 상기 a 및 b가 결정될 수 있다:

Jsecond(mode) ≒ SSD(mode) + λ(mode)*R (3)

상기 식에서, λ는 라그랑지안(Lagrangian) 계수이고, R은 비트율이다.

상기 제1 예측 모드를 선택하는 것은, 상기 n개의 예측 모드 각각의 상기 제1 비용 함수 값을 구하여, 상기 제1 비용 함수 값이 작은 k(여기서, k≤n인 자연수)개의 예측 모드를 상기 제1 예측 모드로 선택하는 것을 포함할 수 있고, 상기 제1 예측 모드를 선택하는 것은, 상기 제1 비용 함수 값이 가장 작은 최소 예측 모드를 구하고, 상기 최소 예측 모드의 상기 제1 비용 함수 값부터 임계 범위 내의 제1 비용 함수 값을 갖는 제1 예측 모드를 선택하는 것을 포함할 수 있다.

상기 최종 예측 모드를 선택하는 것은, 상기 제1 예측 모드 각각의 제2 비용 함수 값을 구하여, 상기 제2 비용 함수 값이 가장 작은 제1 예측 모드를 상기 최종 예측 모드로 선택하는 것을 포함할 수 있다.

상기 n개의 예측 모드는, 인트라(intra) 예측 모드 및/또는 인터(inter) 예측 모드를 포함할 수 있다.

상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 영상을 부호화하기 위한 영상 예측 모드 결정 장치는, 입력 영상을 부호화하여 비트스트림을 생성하는 부호화부 및 상기 부호화부가 이용하는 최종 예측 모드를 결정하는 예측 모드 결정부를 포함하되, 상기 예측 모드 결정부는, 제1 비용 함수를 이용하여, n(여기서, n은 자연수)개의 예측 모드 중에서 제1 예측 모드를 선택하는 제1 예측 모드 결정부와, 상기 제1 비용 함수와 다른 제2 비용 함수를 이용하여 상기 제1 예측 모드 중에서 상기 최종 예측 모드를 선택하는 최종 예측 모드 결정부를 포함한다.

상기 제1 비용 함수는 SATD 연산을 포함하고, 상기 제1 예측 모드 결정부는 상기 n개의 예측 모드에 대하여 상기 SATD 연산을 수행하는 SATD 연산부를 포함할 수 있다.

상기 SATD 연산부는, 상기 n개의 예측 모드 각각의 상기 제1 비용 함수 값을 구하여 상기 제1 비용 함수 값이 가장 작은 최소 예측 모드를 구하고, 상기 최소 예측 모드의 상기 제1 비용 함수 값부터 임계 범위 내의 제1 비용 함수 값을 갖는 k(여기서, k≤n인 자연수)개의 예측 모드를 상기 제1 예측 모드로 선택하는 것을 포함할 수 있다.

상기 최종 예측 모드 결정부는 상기 제1 예측 모드 각각의 제2 비용 함수 값을 구하여, 상기 제2 비용 함수 값이 가장 작은 제1 예측 모드를 상기 최종 예측 모드로 선택하는 것을 포함할 수 있다.

상기 제2 비용 함수는, SSD 연산과 SATD 연산을 포함할 수 있다.

상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 영상을 부호화하기 위한 영상 예측 모드 결정 장치를 포함하는 SOC는, 입력 영상을 부호화하여 비트스트림을 생성하는 부호화부, 및 상기 부호화부가 이용하는 최종 예측 모드를 결정하는 예측 모드 결정부를 포함하되, 상기 예측 모드 결정부는 SATD 연산과 SSD 연산을 포함하는 비용 함수를 이용하여 상기 최종 예측 모드를 선택한다.

상기 최종 예측 모드는, 인트라(intra) 예측 모드 및/또는 인터(inter) 예측 모드를 포함할 수 있다.

상기 비용 함수는, 상기 SATD 연산을 포함하는 제1 비용 함수와 상기 SSD 연산을 포함하는 제2 비용 함수를 포함하고, 상기 예측 모드 결정부는, 상기 제1 비용 함수를 이용하여, n(여기서, n은 자연수)개의 예측 모드 중에서 제1 예측 모드를 선택하는 제1 예측 모드 결정부와, 상기 제2 비용 함수를 이용하여 상기 제1 예측 모드 중에서 상기 최종 예측 모드를 선택하는 최종 예측 모드 결정부를 포함할 수 있다. 상기 제1 비용 함수는 하기 수학식 (3)에 의해 계산될 수 있다.

Jfirst(mode) = SATD(mode) + Header_cost(mode) (3)

상기 식에서, mode는 상기 예측 모드이고, Jfirst는 상기 제1 비용 함수이고, Header_cost는 상기 예측 모드의 인덱스 값이다.

상기 제2 비용함수는 하기 수학식 (4)에 의해 계산될 수 있다.

Jsecond(mode1) =

a*SSD(mode1) + b*SATD(mode1) + Header_cost(mode1) (4)

상기 식에서, mode1은 상기 제1 예측 모드이고, Jsecond는 상기 제2 비용 함수이고, Header_cost는 상기 예측 모드의 인덱스 값이고, a 및 b는 변환 계수이다.

상기 제1 예측 모드 결정부는, 상기 n개의 예측 모드 각각의 상기 제1 비용 함수 값을 구하여 상기 제1 비용 함수 값이 가장 작은 최소 예측 모드를 구하고, 상기 최소 예측 모드의 제1 비용 함수 값부터 임계 범위 내의 제1 비용 함수 값을 갖는 k(여기서, k≤n인 자연수)개의 예측 모드를 상기 제1 예측 모드로 선택하는 것을 포함할 수 있다. 상기 최종 예측 모드 결정부는, 상기 제1 예측 모드 각각의 상기 제2 비용 함수 값을 구하여, 상기 제2 비용 함수 값이 가장 작은 제1 예측 모드를 상기 최종 예측 모드로 선택하는 것을 포함할 수 있다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

도 1은 본 발명의 일 실시예에 따른 영상 예측 모드 결정 장치의 블록도이다.
도 2는 본 발명에 따른 블록의 예측 모드를 설명하기 위한 참조도이다.
도 3은 16×16 및 4×4 화소 단위의 인트라 예측 모드의 일 예를 나타낸 도면이다.
도 4는 도 1의 예측 모드 결정부(120)의 구체적인 구성을 나타낸 블록도이다.
도 5는 본 발명의 일 실시예에 따른 영상 복호화 장치의 구성을 나타낸 블록도이다.
도 6은 본 발명의 일 실시예에 따른 영상 예측 모드 결정 방법의 순서도이다.
도 7 및 도 8은 도 6의 S200에 대한 상세 순서도이다.
도 9는 본 발명이 적용된 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다.
도 10은 본 발명을 적용한 텔레비전 수상기의 주된 구성예를 도시하는 블록도이다.
도 11은 본 발명을 적용한 휴대 전화기의 주된 구성예를 도시하는 블록도이다.
도 12는 본 발명을 적용한 카메라의 주된 구성예를 도시하는 블록도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 도면에서 표시된 구성요소의 크기 및 상대적인 크기는 설명의 명료성을 위해 과장된 것일 수 있다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭하며, "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.

소자(elements) 또는 층이 다른 소자 또는 층의 "위(on)" 또는 "상(on)"으로 지칭되는 것은 다른 소자 또는 층의 바로 위뿐만 아니라 중간에 다른 층 또는 다른 소자를 개재한 경우를 모두 포함한다. 반면, 소자가 "직접 위(directly on)" 또는 "바로 위"로 지칭되는 것은 중간에 다른 소자 또는 층을 개재하지 않은 것을 나타낸다.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 소자 또는 구성 요소들과 다른 소자 또는 구성 요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 소자의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들면, 도면에 도시되어 있는 소자를 뒤집을 경우, 다른 소자의 "아래(below)" 또는 "아래(beneath)"로 기술된 소자는 다른 소자의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 소자는 다른 방향으로도 배향될 수 있고, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.

비록 제1, 제2 등이 다양한 소자나 구성요소들을 서술하기 위해서 사용되나, 이들 소자나 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 소자나 구성요소를 다른 소자나 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 소자나 구성요소는 본 발명의 기술적 사상 내에서 제2 소자나 구성요소 일 수도 있음은 물론이다.

본 실시예에서 사용되는 사용되는 '부' 또는 '모듈'이라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '부' 또는 '모듈'은 어떤 역할들을 수행한다. 그렇지만 '부' 또는 '모듈'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부' 또는 '모듈'은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '부' 또는 '모듈'은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함할 수 있다. 구성요소들과 '부' 또는 '모듈'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '부' 또는 '모듈'들로 결합되거나 추가적인 구성요소들과 '부' 또는 '모듈'들로 더 분리될 수 있다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

도 1 내지 도 4를 참조하여 본 발명의 일 실시예예 따른 영상 예측 모드 결정 장치에 대하여 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 영상 예측 모드 결정 장치의 블록도이고, 도 2는 본 발명에 따른 블록의 예측 모드를 설명하기 위한 참조도이고, 도 3은 16×16 및 4×4 화소 단위의 인트라 예측 모드의 일 예를 나타낸 도면이며, 도 4는 도 1의 예측 모드 결정부(120)의 구체적인 구성을 나타낸 블록도이다.

도 1을 참조하면, 영상 예측 모드 결정 장치(100)는 부호화부(110) 및 예측 모드 결정부(120)를 포함한다.

영상 예측 모드 결정 장치(100)는 SOC(System On a Chip)에 포함되어 동작할 수 있다. 다시 말해서, 영상 예측 모드 결정 장치(100)는 SOC를 구성하는 장치의 하나로써 동작할 수 있다.

부호화부(110)는 감산기(111), 변환부(112), 양자화부(113), 엔트로피 부호화부(114), 역양자화부(115), 역변환부(116), 가산기(117), 저장부(118) 및 예측부(119)를 포함한다. 부호화부(110)는 입력 영상을 단위 블록들로 분할하고, 각 블록들에 대해서 인트라 예측 및 인터 예측을 수행하여 예측 영상을 생성하며, 예측 영상과 입력 영상의 차이를 변환, 양자화 및 엔트로피 부호화함으로써 비트스트림을 생성한다.

먼저 도 2를 참조하면, 블록은 16×16, 16×8, 8×16, 8×8, 8×4, 4×8, 4×4의 다양한 크기의 서브 블록들로 분할되어 부호화될 수 있다. 각 블록은 인터 예측 및/또는 인트라 예측에서 이용가능한 다양한 예측 모드를 적용하여 부호화되고, 각 예측 모드에 따라 생성된 비트스트림 중 최소 비용, 예를 들어 최소의 비트율-왜곡(rate-distortion) 비용을 갖는 예측 모드가 최종적인 블록의 예측 모드로 결정된다. 구체적으로, 인트라 예측을 하는 경우, 블록은 인트라 16×16 모드 및/또는 인트라 4×4 모드 등이 적용되어 예측 부호화되고, 인터 예측 시에, 인터 16×16 모드, 인터 16×8 모드, 인터 8×16 모드, 인터 8×8 모드, 인터 8×4 모드, 인터 4×8 모드 및/또는 인터 4×4 모드 중에서 선택된 인터 예측 모드에 따라서 부호화되거나 스킵(skip) 모드로 부호화된다. 여기서, 스킵 모드는 현재 블록의 예측 모드 정보만을 부호화하는 모드이다. 스킵 모드의 경우에는 레지듀얼 신호나 움직임 벡터 정보 등의 별도의 데이터를 부호화하지 않고 스킵 모드를 나타내는 예측 모드 정보만을 1비트의 플래그(flag)를 통해 전송한다. 영상 복호화 장치(도 5의 150) 에서는 스킵 모드로 판단된 현재 블록을 복호화할 때, 주변 블록의 움직임 벡터를 이용하여 현재 블록의 예측 움직임 벡터를 결정하고 예측 움직임 벡터를 이용한 움직임 보상값 자체를 현재 블록의 복호화된 값으로 이용하게 된다.

[표 1]에서는 영상을 압축하고 부호화하는데 사용될 수 있는 예측 모드의 다양한 예들을 나타내었다. [표 1]에서는 예시적으로 예측 모드를 나타낸 것이며, 본 발명에서 제공되는 n(여기서, n은 자연수)개의 예측 모드는 이보다 적을 수도 또는 많을 수도 있다.

	Intra-Block mode	Index		Inter-Block mode	Index
1	Intra 16×16_Vertical	00000	14	Inter SKIP	01110
2	Intra 16×16_Horizontal	00001	15	Inter 16×16	01111
3	Intra 16×16_DC	00010	16	Inter 16×8	10000
4	Intra 16×16_Plane	00011	17	Inter 8×16	10001
5	Intra 4×4_Vertical	00100	18	Inter 8×8	10010
6	Intra 4×4_Horizontal	00101	19	Inter 8×4	10011
7	Intra 4×4_DC	00110	20	Inter 4×8	10100
8	Intra 4×4_Diagonal Down Left	01000	21	Inter 4×4	10101
9	Intra 4×4_Diagonal Down Right	01001
10	Intra 4×4_Vertical Right	01010
11	Intra 4×4_Horizontal Down	01011
12	Intra 4×4_Vertical Left	01100
13	Intra 4×4_Horizontal Up	01101

도 3에서는 [표 1]의 인트라 예측 모드 각각이 어떻게 블록을 부호화하는지 도시하였다.

다시 도 1을 참조하면, 구체적으로, 예측 모드 결정부(120)는 이전에 부호화된 참조 픽처의 예측 모드 정보를 이용하여, 부호화되는 현재 픽처에 구비된 블록들에 대하여 수행될 최종 예측 모드를 결정한다. 즉, 부호화부(110)가 현재 픽처에 구비된 블록들을 압축하고 부호화하는데 이용하는 최종 예측 모드를 결정한다. 상술한 바와 같이, 예측부(119)는 입력 영상을 압축하고 부호화하는데 이용되는 n개의 예측 모드를 저장할 수 있고, n개의 예측 모드들을 적용하여 현재 블록에 대한 예측 부호화를 수행한다. 예측 모드 결정부(120)는 각 예측 모드에 따른 비용을 계산하여 최적의 비용을 갖는 예측 모드를 부호화되는 현재 블록의 최종 예측 모드로 결정한다. 그리고, 예측 모드 결정부(120)는 최종 예측 모드에 의해 생성된 예측 블록을 감산기(111) 및 가산기(117)로 출력한다.

구체적으로, 예측부(119)는 입력 영상을 소정 크기의 블록으로 분할하고, 저장부(118)에 미리 저장된 예측 완료된 픽처를 참조하여, 분할된 블록을 n개의 예측 모드 각각에 대하여 예측 블록을 생성할 수 있다. 예측 모드 결정부(120)는 예측부(119)에 의해 생성된 예측 블록 중 최종 예측 모드에 의해 생성된 예측 블록을 선택하여 감산기(111) 및 가산기(117)로 출력한다. 예측 모드 결정부(120)가 최종 예측 모드를 결정하는 방법은 후술하기로 한다.

감산기(111)는 예측 모드 결정부(120)에 의해 제공된 현재 블록의 예측 블록과 원본 영상 블록 사이의 차이값인 레지듀얼을 생성한다. 즉, 비디오의 화소 영역에서 화면 내 중복성을 제거한다.

변환부(112)와 양자화부(113)는 레지듀얼을 주파수 영역으로 변환하고, 변환된 레지듀얼을 양자화한다. 엔트로피 부호화부(114)는 양자화된 영상 데이터에 대하여 가변 길이 부호화를 수행하여 비트스트림을 생성한다. 변환부(112)는, 예를 들어 DCT(Discrete Cosine Transform) 변환을 수행할 수 있으나, 이에 제한되는 것은 아니다.

역양자화부(115) 및 역변환부(116)는 변환 및 양자화된 레지듀얼 데이터에 대한 역양자화 및 역변환을 수행하여 레지듀얼 데이터를 복원한다. 가산기(117)는 복원된 레지듀얼 데이터와 예측 데이터, 즉 예측 블록을 가산한다.

필터부(121)는 가산기(117)를 통해 출력된 블록을 필터링하여 현재 블록을 복원한다. 필터부(121)에 의해 복원된 현재 블록은 저장부(118)에 저장되어 다음 블록의 참조 데이터로 이용된다.

도 4를 참조하면, 예측 모드 결정부(120)는 제1 예측 모드 결정부(130)와 최종 예측 모드 결정부(140)를 포함한다. 제1 예측 모드 결정부(130)는 제1 비용 함수를 이용하여, n(여기서, n은 자연수)개의 예측 모드 중에서 제1 예측 모드를 선택한다. 최종 예측 모드 결정부(140)는 제2 비용 함수를 이용하여, 제1 예측 모드 중에서 최종 예측 모드를 선택한다.

제1 예측 모드 결정부(130)는 SATD 연산부(133) 및 제1 예측 모드 저장부(135)를 포함할 수 있다.

SATD 연산부(133)는 제1 비용 함수를 이용하여, n개의 예측 모드 각각의 제1 비용 함수 값을 구한다. 여기서, 제1 비용 함수는 SATD(Sum of Absolute Transformed Difference) 연산을 포함할 수 있으며, SATD 연산부(133)는 n개의 예측 모드에 대하여 상기 SATD 연산을 수행할 수 있다. 제1 비용 함수는 하기 [수학식 1]과 같을 수 있다.

[수학식 1]

Jfirst(mode) = SATD(mode) + Header_cost(mode)

상기 [수학식 1]에서, mode는 예측 모드이고, Jfirst는 제1 비용 함수이고, Header_cost는 예측 모드의 인덱스 값이다. 즉, 제1 비용 함수는 SATD 연산과 Header_cost의 합일 수 있다.

SATD 연산부(133)는 제1 비용 함수 값을 이용하여 제1 예측 모드를 구할 수 있다. 구체적으로, n개의 예측 모드 각각의 제1 비용 함수 값을 구하여, 상기 제1 비용 함수 값이 낮은 k(여기서, k≤n인 자연수)개의 예측 모드를 제1 예측 모드로 선택할 수 있다.

한편, SATD 연산부(133)는 임계 범위를 이용하여 제1 예측 모드를 선택할 수도 있다. 구체적으로, n개의 예측 모드 각각의 제1 비용 함수 값을 구하여 제1 비용 함수 값이 가장 낮은 최소 예측 모드를 구한다. 그리고, 최소 예측 모드의 제1 비용 함수 값부터 임계 범위 내의 제1 비용 함수 값을 갖는 k(여기서, k≤n인 자연수)개의 예측 모드를 제1 예측 모드로 선택할 수 있다. 즉, 원하는 제1 비용 값을 갖는 예측 모드를 제1 예측 모드로 선택할 수 있다. 여기서, 임계 범위는 임의로 정할 수 있다.

제1 예측 모드 저장부(135)는 SATD 연산부(133)로부터 제1 예측 모드 및 제1 예측 모드 각각의 제1 비용 함수 값과 Header_cost를 입력받아 저장한다.

최종 예측 모드 결정부(140)는 SSD 연산부(141), 제1 곱셈기(143), 제2 곱셈기(145) 및 최종 예측 모드 선택부(147)를 포함할 수 있다.

최종 예측 모드 결정부(140)는 최종 예측 모드를 결정하기 위하여 제2 비용 함수를 이용한다. 제2 비용 함수 값이 가장 낮은 제1 예측 모드를 최종 예측 모드로 선택하여 입력 영상의 블록을 복호화할 수 있다. 제2 비용 함수는 하기의 [수학식 2]와 같다.

[수학식 2]

Jsecond(mode1) = a*SSD(mode1) + b*SATD(mode1) + Header_cost(mode1)

상기 식에서, mode1은 제1 예측 모드이고, Jsecond는 제2 비용 함수이고, Header_cost는 예측 모드의 인덱스 값이고, a, b는 변환 계수이다.

제2 비용 함수는 SSD(sum of Squared Difference) 연산과 SATD 연산을 포함할 수 있다. 따라서, 제2 비용 함수는 제1 비용 함수와 다르다.

변환 계수 a, b는 하기의 [수학식 3]을 만족하기 위한 값으로 정해질 수 있다.

[수학식 3]

Jsecond(mode) ≒ J(mode) = SSD(mode) + λ(mode)*R

상기 식에서, J는 비트율-왜곡치 비용((rate-distortion cost) 함수이고, λ는 라그랑지안(Lagrangian) 계수이고, R은 비트율이다. 제2 비용 함수가 비트율-왜곡치 비용 함수와 상당히 유사한 값을 갖도록 a, b 값을 정하면, 제2 비용 함수에 의해 구한 최종 예측 모드와 비트율-왜곡치 비용 함수를 이용하여 구한 최종 예측 모드는 동일할 수 있다.

한편, 변환 계수 a, b는 사용자가 생각하는 중요도에 따라 임의로 정할 수도 있다. 이 경우, 본 발명의 일 실시예에 따른 영상 예측 모드 결정 장치(100)에서 구한 최종 예측 모드는, 비트율-왜곡치 비용 함수를 이용하여 구한 최종 예측 모드와 서로 다를 수 있다.

일반적인 부호화 장치에서는, 비트율-왜곡치 비용 함수를 이용하여 예측 모드를 선택하고, 선택된 예측 모드, 즉 최종 예측 모드를 이용하여 입력 영상의 블록을 부호화한다.

그러나, 이 경우 이용가능한 모든 예측 모드를 비트율-왜곡치 비용 함수에 대입하여 각 블록에 대한 최종 예측 모드를 선택하기 때문에, 많은 시간과 계산의 복잡성이 요구된다. 그러나, 본 발명에 의하면, n개의 예측 모드 중에서 일부의 제1 예측 모드를 선택하고, 제1 예측 모드 중에서 최종 예측 모드를 선택하기 때문에, 최종 예측 모드를 선택하는데 발생하는 시간, 계산의 복잡성이 감소한다. 또한, 변환 계수 a, b를 적절하게 결정하면, 본 발명에 의해 구한 최종 예측 모드는 비용-왜곡치 비용 함수에 의해 구한 최종 예측 모드와 동일할 수 있다. 따라서, 동일한 결과를 구하는데 들어가는 시간과 계산의 복잡성이 감소한다.

제1 곱셈기(143)는 제1 예측 모드 저장부(135)로부터 k개의 제1 예측 모드 각각의 SATD 값을 입력받아 변환계수 b를 곱한다. b가 곱해진 SATD 값은 최종 예측 모드 선택부(147)에 제공된다.

SSD 연산부(141)는 제1 예측 모드 저장부(135)로부터 입력받은 k개의 제1 예측 모드 각각에 대하여 SSD 연산을 수행한다. SSD 연산을 수행한 후, 그 결과 값은 제2 곱셈기(145)에 의하여 변환계수 a와 곱해진 후, 최종 예측 모드 선택부(147)에 제공된다. 최종 예측 모드 선택부(147)는 제공받은 데이터를 기초로 하여 제2 비용 함수 값을 결정하며, 제1 예측 모드 중에서 제2 비용 함수 값이 가장 낮은 제1 예측 모드를 최종 예측 모드로 선택한다. 선택된 최종 예측 모드에 의해 생성된 예측 블록은 감산기(111) 및 가산기(117)로 출력된다.

본 발명의 일 실시예에서, 상기 예측 모드 결정부(120)와 예측부(119)를 분리하여 설명하였다. 그러나 본 발명이 이를 한정되는 것은 아니며, 예를 들어, 예측 모드 결정부(120)는 예측부(119) 내에서 구비될 수 있다.도 5를 참조하여, 본 발명의 일 실시예에 따른 영상 복호화 장치를 설명하기로 한다. 도 5는 본 발명에 따른 영상 복호화 장치의 구성을 나타낸 블록도이다.

도 5를 참조하면, 본 발명의 일 실시예에 따른 영상 복호화 장치(150)는 엔트로피 복호화부(151), 역양자화부(152), 역변환부(153), 예측 모드 판단부(154), 예측부(155), 가산기(156) 및 프레임 저장부(157)를 포함한다.

엔트로피 복호화부(151)는 부호화된 비트스트림을 엔트로피 복호화하고, 비트스트림으로부터 복호화되는 현재 블록의 최종 예측 모드 정보 및 영상 데이터를 추출한다. 역양자화부(152)는 엔트로피 복호화된 영상 데이터를 역양자화하고, 역양자화된 영상 데이터를 역변환부(153)로 출력한다. 역변환부(153)는 역양자화된 영상 데이터를 역변환하여 레지듀얼(residual) 값을 복원하여 출력한다.

예측 모드 판단부(154)는 추출된 최종 예측 모드 정보로부터 복호화되는 현재 블록의 최종 예측 모드를 판단하고 최종 예측 모드 정보를 예측부(155)로 전달한다. 예측부(155)는 복호화되는 현재 블록의 최종 예측 모드에 따라서 인터 예측 및/또는 인트라 예측을 수행하여 현재 블록의 예측 블록을 생성한다.

가산기(156)는 레지듀얼과 예측 블록을 가산하여 복원된 영상 데이터를 생성한다. 다만, 레지듀얼과 예측 블록을 가산하는 과정은 스킵 모드를 제외한 나머지 예측 모드에 대해서 수행되며, 스킵 모드의 경우 별도의 레지듀얼 데이터 없이 움직임 보상된 데이터 자체가 복원된 영상 데이터에 해당된다. 프레임 저장부(157)는 다음 블록의 복호화를 위해 이전에 복호화된 픽처들의 정보를 저장한다.

도 6 내지 도 도 8을 참조하여, 본 발명의 일 실시예에 따른 영상 예측 모드 결정 방법에 대하여 설명하기로 한다. 도 6은 본 발명의 일 실시예에 따른 영상 예측 모드 결정 방법의 순서도이고, 도 7 및 도 8은 도 6의 S200에 대한 상세 순서도이다.

도 6을 참조하면, 먼저 n개의 예측 모드를 제공한다(S100). n개의 예측 모드는 인트라 예측 및/또는 인터 예측 모드를 포함할 수 있다.

이어서, 제1 비용 함수를 이용하여, n개의 예측 모드 중에서 제1 예측 모드를 선택한다(S200).

제1 비용 함수는 상기 수학식 1일 수 있다. 따라서, 제1 비용 함수는 SATD 연산을 포함할 수 있다. 또한, 제1 예측 모드는 복수개일 수 있다.

제1 예측 모드를 구하는 일 실시예는 다음과 같다.

도 7을 참조하면, n개의 예측 모드 각각의 제1 비용 함수 값을 구한다(S201). 수학식 1에 n개의 예측 모드 각각을 대입하여 각각의 제1 비용 함수 값을 구할 수 있다.

이어서, n개의 예측 모드 중에서, 제1 비용 함수 값이 낮은 k개의 예측 모드를 선택한다(S203). k개의 예측 모드는 제1 예측 모드가 되며, 최종 예측 모드를 구할 때 이용된다. 여기서, k는 임의로 정할 수 있다.

제1 예측 모드를 구하는 다른 실시예는 다음과 같다.

도 8을 참조하면, n개의 예측 모드 각각의 제1 비용 함수 값을 구한다(S201).

이어서, 제1 비용 함수 값들을 비교하여, 제1 비용 함수 값이 가장 낮은 최소 예측 모드를 구한다(S203).

이어서, 최소 예측 모드의 제1 비용 함수 값부터 임계 범위 내의 제1 비용 함수 값을 갖는 k개의 예측 모드를 제1 예측 모드로 선택한다(S205). 여기서, 임계 범위는 임의로 정할 수 있다.

도 8의 제1 예측 모드를 구하는 방법은 임계 범위 내의 제1 비용 함수 값에 해당하는 예측 모드를 제1 예측 모드로 선택하는 것이기 때문에, 제1 예측 모드로 선택되는 예측 모드의 개수가 그때마다 달라질 수 있다. 그러나, 도 7의 제1 예측 모드를 구하는 방법은 k개의 예측 모드가 고정적으로 제1 예측 모드로 선택된다.

다시 도 6을 참조하면, 상기 제1 비용 함수와 다른 제2 비용 함수를 이용하여 제1 예측 모드 중에서 최종 예측 모드를 선택한다(S300). 제2 비용 함수는 SSD 연산과 SATD 연산을 포함할 수 있으며, 제2 비용 함수는 상기 수학식 2와 같을 수 있다. 제1 예측 모드를 제2 비용 함수에 대입하여 제1 예측 모드 각각의 제2 비용 함수 값을 구하고, 제2 비용 함수 값이 가장 작은 제1 예측 모드를 최종 예측 모드로 선택할 수 있다.

이어서, 최종 예측 모드를 이용하여 입력 영상의 블록을 부호화하여 비트스트림을 생성한다(S400). 생성된 비트스트림은 추후 복호화 과정을 거쳐서 복호화될 수 있다.

상술한 본 발명의 일 실시예에 따른 영상 예측 모드 결정 방법은, 하드웨어에 의해 실행될 수도 있고, 소프트웨어에 의해 실행될 수도 있다. 소프트웨어에 의해 실행되는 경우에는, 그 소프트웨어를 구성하는 프로그램이 컴퓨터에 인스톨될 수 있다. 여기서, 컴퓨터는 전용의 하드웨어를 내장하고 있는 컴퓨터나, 서버에 프로그램을 저장하고 서버에 저장된 프로그램과 동기화되거나 다운받아 사용자가 사용할 수 있도록 클라우딩 시스템을 기반으로 하는 컴퓨터 등이 포함될 수 있다.

도 9를 참조하여, 본 발명의 일 실시예에 따른 영상 예측 모드 결정 방법을 프로그램에 의해 실행하는 컴퓨터 하드웨어를 설명하기로 한다.

도 9는 본 발명이 적용된 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다.

컴퓨터는 CPU(Central Processing Unit)(251), ROM(Read Only Memory)(252), RAM(Random Access Memory)(253)은, 버스(254)에 의해 서로 접속되어 있다.

또한, 버스(254)에는 입출력 인터페이스(255)가 접속되어 있다. 입출력 인터페이스(255)에는 입력부(256), 출력부(257), 기억부(258), 통신부(259) 및 드라이브(260)가 접속되어 있다.

입력부(256)는 예를 들어, 키보드, 마우스, 마이크로폰 등으로 이루어질 수 있다. 출력부(257)는 예를 들어, 디스플레이, 스피커 등으로 이루어질 수 있다. 기억부(258)는 예를 들어, 하드 디스크나 불휘발성 메모리 등으로 이루어질 수 있다. 통신부(259)는 예를 들어, 네트워크 인터페이스 등으로 이루어질 수 있다. 드라이브(260)는 리무버블 미디어(261), 예를 들어, 자기 디스크, 광 디스크, 광자기 디스크, 또는 반도체 메모리 등을 구동할 수 있다.

이상과 같이 구성되는 컴퓨터에서는 CPU(251)가 예를 들어 기억부(258)에 기억되어 있는 프로그램을 입출력 인터페이스(255) 및 버스(254)를 거쳐서 RAM(253)에 로드해서 실행함으로써, 상술한 일련의 처리가 행해진다.

CPU(251)가 실행하는 프로그램은, 예를 들어 패키지 미디어 등으로서의 리무버블 미디어(261)에 기록해서 제공할 수 있다. 또한, 프로그램은 근거리 네트워크, 인터넷, 디지털 방송 등의 유선 또는 무선 전송 매체를 거쳐서 제공할 수 있다.

리무버블 미디어(261)를 드라이브(260)에 장착함으로써, 프로그램은 입출력 인터페이스(255)를 거쳐서 기억부(258)에 인스톨될 수 있다. 또한, 프로그램은 유선 또는 무선의 전송 매체를 거쳐서 통신부(259)에서 수신하고, 기억부(258)에 인스톨할 수 있다. 그 외, 프로그램은 ROM(252)이나 기억부(258)에 미리 인스톨해 둘 수 있다.

또한, 컴퓨터가 실행하는 프로그램은 본 발 명의 일 실시예에 따른 영상 예측 모드 결정 방법의 순서를 따라서 시계열로 처리가 행해지는 프로그램일 수도 있고, 병렬로, 혹은 호출이 행해졌을 때 등의 필요한 타이밍에 처리가 행해지는 프로그램일 수도 있다.

본 발명의 실시 형태는, 상술한 실시 형태에 한정되는 것이 아니라, 본 발명의 요지를 벗어나지 않는 범위에서 다양한 변경이 가능하다.

한편, 상술한 본 발명의 일 실시예에 따른 영상 예측 모드 결정 장치(도 1의 100)나 영상 복호화 장치(도 5의 150)는, 임의의 전자 기기에 적용할 수 있다. 이하, 그 예에 대해서 설명하기로 한다.

도 10은 본 발명을 적용한 화상 복호 장치를 사용하는 텔레비전 수상기의 주된 구성예를 도시하는 블록도다.

도 10에 도시된 텔레비전 수상기(300)는 지상파 튜너(313), 비디오 디코더(315), 영상 신호 처리 회로(318), 그래픽 생성 회로(319), 패널 구동 회로(320) 및 표시 패널(321)을 갖는다.

지상파 튜너(313)는 지상 아날로그 방송의 방송파 신호를 안테나를 거쳐서 수신하고, 복조하여, 영상 신호를 취득하고, 그것을 비디오 디코더(315)에 공급한다. 비디오 디코더(315)는, 지상파 튜너(313)로부터 공급된 영상 신호에 대하여 복호화 처리를 실시하고, 얻어진 디지털의 컴포넌트 신호를 영상 신호 처리 회로(318)에 공급한다.

영상 신호 처리 회로(318)는 비디오 디코더(315)로부터 공급된 영상 데이터에 대하여 노이즈 제거 등의 소정의 처리를 실시하고, 얻어진 영상 데이터를 그래픽 생성 회로(319)에 공급한다.

그래픽 생성 회로(319)는 표시 패널(321)에 표시시키는 프로그램의 영상 데이터나 네트워크를 거쳐서 공급되는 어플리케이션에 기초하는 처리에 의한 화상 데이터 등을 생성하고, 생성한 영상 데이터나 화상 데이터를 패널 구동 회로(320)에 공급한다. 또한, 그래픽 생성 회로(319)는 항목의 선택 등에 유저에 의해 이용되는 화면을 표시하기 위한 영상 데이터(그래픽)를 생성하고, 그것을 프로그램의 영상 데이터에 중첩하거나 함으로써 얻어진 영상 데이터를 패널 구동 회로(320)에 공급하는 등의 처리도 적절히 행한다.

패널 구동 회로(320)는 그래픽 생성 회로(319)로부터 공급된 데이터에 기초하여 표시 패널(321)을 구동하고, 프로그램의 영상이나 상술한 각종 화면을 표시 패널(321)에 표시시킨다.

표시 패널(321)은 LCD(Liquid Crystal Display) 등으로 이루어지고, 패널 구동 회로(320)에 의한 제어에 따라서 프로그램의 영상 등을 표시시킨다.

또한, 텔레비전 수상기(300)는 음성 A/D(Analog/Digital) 변환 회로(314), 음성 신호 처리 회로(322), 에코 캔슬/음성 합성 회로(323), 음성 증폭 회로(324) 및 스피커(325)도 갖는다.

지상파 튜너(313)는 수신한 방송파 신호를 복조함으로써, 영상 신호뿐만 아니라 음성 신호도 취득한다. 지상파 튜너(313)는, 취득한 음성 신호를 음성 A/D 변환 회로(314)에 공급한다.

음성 A/D 변환 회로(314)는 지상파 튜너(313)로부터 공급된 음성 신호에 대하여 A/D 변환 처리를 실시하고, 얻어진 디지털의 음성 신호를 음성 신호 처리 회로(322)에 공급한다.

음성 신호 처리 회로(322)는 음성 A/D 변환 회로(314)로부터 공급된 음성 데이터에 대하여 노이즈 제거 등의 소정의 처리를 실시하고, 얻어진 음성 데이터를에코 캔슬/음성 합성 회로(323)에 공급한다.

에코 캔슬/음성 합성 회로(323)는 음성 신호 처리 회로(322)로부터 공급된 음성 데이터를 음성 증폭 회로(324)에 공급한다.

음성 증폭 회로(324)는 에코 캔슬/음성 합성 회로(323)로부터 공급된 음성 데이터에 대하여 D/A 변환 처리, 증폭 처리를 실시하고, 소정의 음량으로 조정한 후, 음성을 스피커(325)로부터 출력시킨다.

또한, 텔레비전 수상기(300)는 디지털 튜너(316) 및 디코더(317)도 갖는다.

디지털 튜너(316)는 디지털 방송(지상 디지털 방송, BS(Broadcasting Satellite)/CS(Communications Satellite) 디지털 방송)의 방송파 신호를, 안테나를 거쳐서 수신하고 복조하여 스트림을 형성하고, 그것을 디코더(317)에 공급한다.

디코더(317)는, 디지털 튜너(316)로부터 공급된 스트림에 실시되어 있는 스크램블을 해제하고, 재생 대상(시청 대상)이 되어 있는 프로그램의 데이터를 포함하는 스트림을 추출한다. 디코더(317)는, 추출한 스트림을 구성하는 음성 패킷을 복호화하여, 얻어진 음성 데이터를 음성 신호 처리 회로(322)에 공급함과 함께, 스트림을 구성하는 영상 패킷을 복호화하여, 얻어진 영상 데이터를 영상 신호 처리 회로(318)에 공급한다. 또한, 디코더(317)는, 디지털 튜너(316)로부터 공급된 스트림으로부터 추출한 EPG(Electronic Program Guide) 데이터를 도시하지 않은 경로를 거쳐서 CPU(332)에 공급한다.

텔레비전 수상기(300)는 이렇게 영상 패킷을 복호화하는 디코더(317)로서, 상술한 영상 복호화 장치(도 5의 150)를 사용할 수 있다.

디코더(317)로부터 공급된 영상 데이터는, 비디오 디코더(315)로부터 공급된 영상 데이터의 경우와 마찬가지로, 영상 신호 처리 회로(318)에서 소정의 처리가 실시된다. 그리고, 소정의 처리가 실시된 영상 데이터는, 그래픽 생성 회로(319)에서, 생성된 영상 데이터 등이 적절히 중첩되어, 패널 구동 회로(320)를 거쳐서 표시 패널(321)에 공급되어, 그 화상이 표시된다.

디코더(317)로부터 공급된 음성 데이터는, 음성 A/D 변환 회로(314)로부터 공급된 음성 데이터의 경우와 마찬가지로, 음성 신호 처리 회로(322)에서 소정의 처리가 실시된다. 그리고, 소정의 처리가 실시된 음성 데이터는, 에코 캔슬/음성 합성 회로(323)를 거쳐서 음성 증폭 회로(324)에 공급되어, D/A 변환 처리나 증폭 처리가 실시된다. 그 결과, 소정의 음량으로 조정된 음성이 스피커(325)로부터 출력된다.

또한, 텔레비전 수상기(300)는, 마이크로폰(326) 및 A/D 변환 회로(327)도 갖는다.

A/D 변환 회로(327)는, 음성 회화용인 것으로서 텔레비전 수상기(300)에 설치되는 마이크로폰(326)에 의해 도입된 유저의 음성 신호를 수신한다. A/D 변환 회로(327)는 수신한 음성 신호에 대하여 A/D 변환 처리를 실시하여, 얻어진 디지털의 음성 데이터를 에코 캔슬/음성 합성 회로(323)에 공급한다.

에코 캔슬/음성 합성 회로(323)는, 텔레비전 수상기(300)의 유저(유저 A)의 음성 데이터가 A/D 변환 회로(327)로부터 공급되고 있는 경우, 유저 A의 음성 데이터를 대상으로 해서 에코 캔슬을 행한다. 그리고, 에코 캔슬/음성 합성 회로(323)는, 에코 캔슬 후, 다른 음성 데이터와 합성하거나 하여 얻어진 음성 데이터를, 음성 증폭 회로(324)를 거쳐서 스피커(325)로부터 출력시킨다.

또한, 텔레비전 수상기(300)는, 음성 코덱(328), 내부 버스(329), SDRAM(Synchronous Dynamic Random Access Memory)(330), 플래시 메모리(331), CPU(332), USB(Universal Serial Bus) I/F(333) 및 네트워크 I/F(334)도 갖는다.

A/D 변환 회로(327)는, 음성 회화용인 것으로서 텔레비전 수상기(300)에 설치되는 마이크로폰(326)에 의해 도입된 유저의 음성 신호를 수신한다. A/D 변환 회로(327)는, 수신한 음성 신호에 대하여 A/D 변환 처리를 실시하여, 얻어진 디지털 음성 데이터를 음성 코덱(328)에 공급한다.

음성 코덱(328)은, A/D 변환 회로(327)로부터 공급된 음성 데이터를, 네트워크 경유로 송신하기 위한 소정의 포맷 데이터로 변환하고, 내부 버스(329)를 거쳐서 네트워크 I/F(334)에 공급한다.

네트워크 I/F(334)는, 네트워크 단자(335)에 장착된 케이블을 거쳐서 네트워크에 접속된다. 네트워크 I/F(334)는, 예를 들어 그 네트워크에 접속되는 다른 장치에 대하여, 음성 코덱(328)으로부터 공급된 음성 데이터를 송신한다. 또한, 네트워크 I/F(334)는, 예를 들어 네트워크를 거쳐서 접속되는 다른 장치로부터 송신되는 음성 데이터를, 네트워크 단자(335)를 거쳐서 수신하고, 그것을, 내부 버스(329)를 거쳐서 음성 코덱(328)에 공급한다.

음성 코덱(328)은, 네트워크 I/F(334)로부터 공급된 음성 데이터를 소정의 포맷 데이터로 변환하고, 그것을 에코 캔슬/음성 합성 회로(323)에 공급한다.

에코 캔슬/음성 합성 회로(323)는, 음성 코덱(328)으로부터 공급되는 음성 데이터를 대상으로 해서 에코 캔슬을 행하고, 다른 음성 데이터와 합성하거나 하여 얻어진 음성 데이터를, 음성 증폭 회로(324)를 거쳐서 스피커(325)로부터 출력시킨다.

SDRAM(330)은, CPU(332)가 처리를 행하는 데 있어서 필요한 각종 데이터를 기억한다.

플래시 메모리(331)는, CPU(332)에 의해 실행되는 프로그램을 기억한다. 플래시 메모리(331)에 기억되어 있는 프로그램은, 텔레비전 수상기(300)의 기동시 등의 소정의 타이밍에 CPU(332)에 의해 판독된다. 플래시 메모리(331)에는, 디지털 방송을 거쳐서 취득된 EPG 데이터, 네트워크를 거쳐서 소정의 서버로부터 취득된 데이터 등도 기억된다.

예를 들어, 플래시 메모리(331)에는, CPU(332)의 제어에 의해 네트워크를 거쳐서 소정의 서버로부터 취득된 콘텐츠 데이터를 포함하는 스트림이 기억된다. 플래시 메모리(331)는, 예를 들어 CPU(332)의 제어에 의해 그 스트림을 내부 버스(329)를 거쳐서 디코더(317)에 공급한다.

디코더(317)는, 디지털 튜너(316)로부터 공급된 스트림의 경우와 마찬가지로, 그 스트림을 처리한다. 이렇게 텔레비전 수상기(300)는, 영상이나 음성 등으로 이루어지는 콘텐츠 데이터를, 네트워크를 거쳐서 수신하고, 디코더(317)를 사용해서 복호화하여, 그 영상을 표시시키거나, 음성을 출력시키거나 할 수 있다.

또한, 텔레비전 수상기(300)는 리모트 컨트롤러(351)로부터 송신되는 적외선 신호를 수광하는 수광부(337)도 갖는다.

수광부(337)는 리모트 컨트롤러(351)로부터의 적외선을 수광하고, 복조해서 얻어진 유저 조작의 내용을 나타내는 제어 코드를 CPU(332)에 출력한다.

CPU(332)는 플래시 메모리(331)에 기억되어 있는 프로그램을 실행하고, 수광부(337)로부터 공급되는 제어 코드 등에 따라 텔레비전 수상기(300) 전체의 동작을 제어한다. CPU(332)와 텔레비전 수상기(300)의 각 부는 도시하지 않은 경로를 거쳐서 접속될 수 있다.

USB I/F(333)는 USB 단자(336)에 장착된 USB 케이블을 거쳐서 접속되는 텔레비전 수상기(300)의 외부 기기 사이에서 데이터의 송수신을 행한다. 네트워크 I/F(334)는 네트워크 단자(335)에 장착된 케이블을 거쳐서 네트워크에 접속하고, 네트워크에 접속되는 각종 장치와 음성 데이터 이외의 데이터의 송수신도 행한다.

텔레비전 수상기(300)는 디코더(317)로서 본 발명의 일 실시예에 따른 복호화 장치(도 5의 150)를 사용할 수 있다.

도 11은 본 발명을 적용한 휴대 전화기의 주된 구성예를 도시하는 블록도다.

도 11에 도시된 휴대 전화기(400)는 각 부를 통괄적으로 제어하도록 이루어진 주제어부(450), 전원 회로부(451), 조작 입력 제어부(452), 화상 인코더(453), 카메라 I/F부(454), LCD 제어부(455), 화상 디코더(456), 다중 분리부(457), 기록 재생부(462), 변복조 회로부(458) 및 음성 코덱(459)을 갖는다. 이들은, 버스(460)를 거쳐서 서로 접속되어 있다.

또한, 휴대 전화기(400)는 조작 키(419), CCD(Charge Coupled Devices) 카메라(416), 액정 디스플레이(418), 기억부(423), 송수신 회로부(463), 안테나(414), 마이크(421) 및 스피커(417)를 갖는다.

전원 회로부(451)는 유저의 조작에 의해 종화 및 전원 키가 온 상태가 되면, 배터리 팩으로부터 각 부에 대하여 전력을 공급함으로써 휴대 전화기(400)를 동작 가능한 상태로 기동한다.

휴대 전화기(400)는 CPU, ROM 및 RAM 등으로 이루어진 주제어부(450)의 제어에 기초하여, 음성 통화 모드나 데이터 통신 모드 등의 각종 모드에서, 음성 신호의 송수신, 전자 메일이나 화상 데이터의 송수신, 화상 촬영 또는 데이터 기록 등의 각종 동작을 행한다.

예를 들어, 음성 통화 모드에서, 휴대 전화기(400)는 마이크(421)로 집음한 음성 신호를 음성 코덱(459)에 의해 디지털 음성 데이터로 변환하여, 이것을 변복조 회로부(458)에서 스펙트럼 확산 처리하고, 송수신 회로부(463)에서 디지털/아날로그 변환 처리 및 주파수 변환 처리한다. 휴대 전화기(400)는 그 변환 처리에 의해 얻어진 송신용 신호를 안테나(414)를 거쳐서 도시하지 않은 기지국에 송신한다. 기지국에 전송된 송신용 신호(음성 신호)는, 공중 전화 회선망을 거쳐서 통화 상대의 휴대 전화기에 공급된다.

또한, 예를 들어 음성 통화 모드에서, 휴대 전화기(400)는 안테나(414)에서 수신한 수신 신호를 송수신 회로부(463)에서 증폭하고, 또한 주파수 변환 처리 및 아날로그/디지털 변환 처리하여, 변복조 회로부(458)에서 스펙트럼 역확산 처리하고, 음성 코덱(459)에 의해 아날로그 음성 신호로 변환한다. 휴대 전화기(400)는 그 변환하여 얻어진 아날로그 음성 신호를 스피커(417)로부터 출력한다.

또한, 예를 들어 데이터 통신 모드에서 전자 메일을 송신하는 경우, 휴대 전화기(400)는 조작 키(419)의 조작에 의해 입력된 전자 메일의 텍스트 데이터를 조작 입력 제어부(452)에서 접수한다. 휴대 전화기(400)는 그 텍스트 데이터를 주제어부(450)에서 처리하고, LCD 제어부(455)를 거쳐서 화상으로서 액정 디스플레이(418)에 표시시킨다.

또한, 휴대 전화기(400)는 주제어부(450)에서 조작 입력 제어부(452)가 접수한 텍스트 데이터나 유저 지시 등에 기초하여 전자 메일 데이터를 생성한다. 휴대 전화기(400)는 그 전자 메일 데이터를, 변복조 회로부(458)에서 스펙트럼 확산 처리하고, 송수신 회로부(463)에서 디지털/아날로그 변환 처리 및 주파수 변환 처리한다. 휴대 전화기(400)는 그 변환 처리에 의해 얻어진 송신용 신호를 안테나(414)를 거쳐서 도시하지 않은 기지국에 송신한다. 기지국에 전송된 송신용 신호(전자 메일)는 네트워크 및 메일 서버 등을 거쳐서, 소정의 수신처에 공급된다.

또한, 예를 들어 데이터 통신 모드에서 전자 메일을 수신할 경우, 휴대 전화기(400)는 기지국으로부터 송신된 신호를 안테나(414)를 거쳐서 송수신 회로부(463)에서 수신하여 증폭하고, 주파수 변환 처리 및 아날로그/디지털 변환 처리한다. 휴대 전화기(400)는 그 수신 신호를 변복조 회로부(458)에서 스펙트럼 역확산 처리해서 원래의 전자 메일 데이터를 복원한다. 휴대 전화기(400)는 복원된 전자 메일 데이터를 LCD 제어부(455)를 거쳐서 액정 디스플레이(418)에 표시한다.

또한, 휴대 전화기(400)는 수신한 전자 메일 데이터를 기록 재생부(462)를 거쳐서 기억부(423)에 기록하는(기억시키는) 것도 가능하다.

이 기억부(423)는 재기입 가능한 임의의 기억 매체다. 기억부(423)는 예를 들어 RAM이나 내장형 플래시 메모리 등의 반도체 메모리 또는 하드 디스크 일 수 있고, 자기 디스크, 광자기 디스크, 광 디스크, USB 메모리 또는 메모리 카드(SD 카드, mSD 카드 등) 등의 리무버블 미디어일 수도 있다. 물론, 이들 이외의 것일 수도 있다.

또한, 예를 들어 데이터 통신 모드에서 화상 데이터를 송신하는 경우, 휴대 전화기(400)는 촬상에 의해 CCD 카메라(416)에서 화상 데이터를 생성한다. CCD 카메라(416)는 렌즈나 조리개(교축 밸브) 등의 광학 디바이스와 광전 변환 소자로서의 CCD를 갖고, 피사체를 촬상하고 수광한 광의 강도를 전기 신호로 변환하여, 피사체 화상의 화상 데이터를 생성한다. 그 화상 데이터를 카메라 I/F부(454)를 거쳐서 화상 인코더(453)에서, 예를 들어 MPEG4 및/또는 HEVC 등의 소정의 부호화 방식에 의해 압축 부호화함으로써 부호화 화상 데이터로 변환한다.

휴대 전화기(400)는 이러한 처리를 행하는 화상 인코더(453)로서 상술한 영상 예측 모드 결정 장치(도 1의 100)를 사용한다. 따라서, 화상 인코더(453)는 영상 예측 모드 결정 장치(도 1의 100)의 경우와 마찬가지로, 짧은 시간 내에 적은 계산량으로 최적의 예측 모드를 찾을 수 있다.

또한, 휴대 전화기(400)는 이때 동시에, CCD 카메라(416)로 촬상 중에 마이크(421)으로 집음한 음성을 음성 코덱(459)에서 아날로그/디지털 변환하고, 부호화한다.

휴대 전화기(400)는 다중 분리부(457)에서 화상 인코더(453)로부터 공급된 부호화 화상 데이터와 음성 코덱(459)으로부터 공급된 디지털 음성 데이터를, 소정의 방식으로 다중화한다. 휴대 전화기(400)는 그 결과 얻어지는 다중화 데이터를 변복조 회로부(458)에서 스펙트럼 확산 처리하고, 송수신 회로부(463)에서 디지털/아날로그 변환 처리 및 주파수 변환 처리한다. 휴대 전화기(400)는 그 변환 처리에 의해 얻어진 송신용 신호를, 안테나(414)를 거쳐서 도시하지 않은 기지국에 송신한다. 기지국에 전송된 송신용 신호(화상 데이터)는, 네트워크 등을 거쳐서 통신 상대에게 공급된다.

또한, 화상 데이터를 송신하지 않는 경우, 휴대 전화기(400)는 CCD 카메라(416)에서 생성한 화상 데이터를 화상 인코더(453)를 거치지 않고, LCD 제어부(455)를 거쳐서 액정 디스플레이(418)에 표시시킬 수도 있다.

또한, 예를 들어 데이터 통신 모드에서, 간이 홈페이지 등에 링크된 동화상 파일의 데이터를 수신할 경우, 휴대 전화기(400)는 기지국으로부터 송신된 신호를 안테나(414)를 거쳐서 송수신 회로부(463)에서 수신하여 증폭하고, 주파수 변환 처리 및 아날로그/디지털 변환 처리한다. 휴대 전화기(400)는 그 수신 신호를 변복조 회로부(458)에서 스펙트럼 역확산 처리해서 원래의 다중화 데이터를 복원한다. 휴대 전화기(400)는 다중분리부(457)에서 그 다중화 데이터를 분리하고, 부호화 화상 데이터와 음성 데이터로 나눈다.

휴대 전화기(400)는 화상 디코더(456)에서 부호화 화상 데이터를 MPEG4 및/또는 HEVC 등의 소정의 부호화 방식에 대응한 복호 방식으로 복호화함으로써, 재생 동화상 데이터를 생성하고, 이것을 LCD 제어부(455)를 거쳐서 액정 디스플레이(418)에 표시시킨다. 이에 의해, 예를 들어 간이 홈페이지에 링크된 동화상 파일에 포함되는 동화상 데이터가 액정 디스플레이(418)에 표시된다.

휴대 전화기(400)는 이러한 처리를 행하는 화상 디코더(456)로서, 상술한 영상 복호화 장치(도 5의 150)를 사용한다.

이때, 휴대 전화기(400)는 동시에 음성 코덱(459)에서 디지털 음성 데이터를 아날로그 음성 신호로 변환하고, 이것을 스피커(417)로부터 출력시킨다. 이에 의해, 예를 들어 간이 홈페이지에 링크된 동화상 파일에 포함되는 음성 데이터가 재생된다.

또한, 전자 메일의 경우와 마찬가지로, 휴대 전화기(400)는 수신한 간이 홈페이지 등에 링크된 데이터를 기록 재생부(462)를 거쳐서, 기억부(423)에 기록하는(기억시키는) 것도 가능하다.

또한, 휴대 전화기(400)는 주제어부(450)에서 촬상되어서 CCD 카메라(416)에서 얻어진 2차원 코드를 해석하여 2차원 코드에 기록된 정보를 취득할 수 있다.

또한, 휴대 전화기(400)는 적외선 통신부(481)에서 적외선에 의해 외부 기기와 통신할 수 있다. 휴대 전화기(400)는 화상 인코더(453)로서 영상 예측 모드 결정 장치(도 1의 100)를 사용함으로써, 짧은 시간 내에 적은 계산량으로 최적의 예측 모드를 찾을 수 있다. 결과적으로 휴대 전화기(400)는 짧은 시간에 부호화된 부호화 데이터(화상 데이터)를 다른 장치에 제공할 수 있다.

또한, 휴대 전화기(400)는 화상 디코더(456)로서 영상 복호화 장치(도 5의 150)를 사용할 수 있다.

또한, 이상에서, 휴대 전화기(400)가 CCD 카메라(416)를 사용하도록 설명했지만, 이 CCD 카메라(416) 대신에 CMOS(Complementary Metal Oxide Semiconductor)를 사용한 이미지 센서(CMOS 이미지 센서)를 사용할 수도 있다. 이 경우에도, 휴대 전화기(400)는 CCD 카메라(416)를 사용하는 경우와 마찬가지로, 피사체를 촬상하여 피사체 화상의 화상 데이터를 생성할 수 있다.

또한, 이상에서는 휴대 전화기(400)로서 설명했지만, 예를 들어 PDA(Personal Digital Assistants), 스마트 폰, 태블릿 PC, UMPC(Ultra Mobile Personal Computer), 넷북, 노트북형 퍼스널 컴퓨터 등, 이 휴대 전화기(400)와 마찬가지의 촬상 기능이나 통신 기능을 갖는 장치이면, 어떤 장치이어도 휴대 전화기(400)의 경우와 마찬가지로, 영상 예측 모드 결정 장치(도 1의 100) 및 영상 복호화 장치(도 5의 150)를 적용할 수 있다.

도 12는 본 발명을 적용한 카메라의 주된 구성예를 도시하는 블록도다.

도 12에 도시되는 카메라(600)는 피사체를 촬상하여, 피사체의 화상을 LCD(616)에 표시시키거나, 그것을 화상 데이터로써 기록 미디어(633)에 기록할 수 있다.

렌즈 블록(611)은 광(즉, 피사체의 영상)을 CCD/CMOS(612)에 입사시킨다. CCD/CMOS(612)는 CCD 또는 CMOS를 사용한 이미지 센서이며, 수광한 광의 강도를 전기 신호로 변환하여 카메라 신호 처리부(613)에 공급한다.

카메라 신호 처리부(613)는 CCD/CMOS(612)로부터 공급된 전기 신호를 Y, Cr, Cb의 색차 신호로 변환하여 화상 신호 처리부(614)에 공급한다. 화상 신호 처리부(614)는 컨트롤러(621)의 제어 하에, 카메라 신호 처리부(613)로부터 공급된 화상 신호에 대하여 소정의 화상 처리를 실시하거나, 그 화상 신호를 인코더(641)로, 예를 들어 MPEG 및/또는 HEVC 방식에 의해 부호화하거나 한다. 화상 신호 처리부(614)는 화상 신호를 부호화해서 생성한 부호화 데이터를 디코더(615)에 공급한다. 또한, 화상 신호 처리부(614)는 온 스크린 디스플레이(OSD)(620)에서 생성된 표시용 데이터를 취득하고, 그것을 디코더(615)에 공급한다.

이상의 처리에서, 카메라 신호 처리부(613)는 버스(617)를 거쳐서 접속되는 DRAM(Dynamic Random Access Memory)(618)을 적절히 이용하고, 필요에 따라 화상 데이터나 그 화상 데이터가 부호화된 부호화 데이터 등을 그 DRAM(618)에 유지시킨다.

디코더(615)는 화상 신호 처리부(614)로부터 공급된 부호화 데이터를 복호화하고, 얻어진 화상 데이터(복호 화상 데이터)를 LCD(616)에 공급한다. 또한, 디코더(615)는 화상 신호 처리부(614)로부터 공급된 표시용 데이터를 LCD(616)에 공급한다. LCD(616), 디코더(615)로부터 공급된 복호된 화상 데이터의 화상과 표시용 데이터의 화상을 적절히 합성하여 그 합성 화상을 표시한다.

온 스크린 디스플레이(620)는 컨트롤러(621)의 제어 하에, 기호, 문자 또는 도형으로 이루어지는 메뉴 화면이나 아이콘 등의 표시용 데이터를 버스(617)를 거쳐서 화상 신호 처리부(614)에 출력한다.

컨트롤러(621)는 유저가 조작부(622)를 사용해서 명령한 내용을 나타내는 신호에 기초하여, 각종 처리를 실행함과 함께 버스(617)를 거쳐서, 화상 신호 처리부(614), DRAM(618), 외부 인터페이스(619), 온 스크린 디스플레이(620) 및 미디어 드라이브(623) 등을 제어한다. FLASH ROM(624)에는 컨트롤러(621)가 각종 처리를 실행하는 데 있어서 필요한 프로그램이나 데이터 등이 저장된다.

예를 들어, 컨트롤러(621)는 화상 신호 처리부(614)나 디코더(615)를 대신하여, DRAM(618)에 기억되어 있는 화상 데이터를 부호화하거나, DRAM(618)에 기억되어 있는 부호화 데이터를 복호화할 수 있다. 이때, 컨트롤러(621)는 화상 신호 처리부(614)나 디코더(615)의 부호화·복호 방식과 마찬가지 방식에 의해 부호화·복호 처리를 수행할 수 있고, 화상 신호 처리부(614)나 디코더(615)가 대응하지 않는 방식에 의해 부호화·복호 처리를 수행할 수도 있다.

또한, 예를 들어 조작부(622)로부터 화상 인쇄의 개시가 지시된 경우, 컨트롤러(621)는 DRAM(618)으로부터 화상 데이터를 판독하고, 판독된 화상 데이터를 버스(617)를 거쳐서 외부 인터페이스(619)에 접속되는 프린터(634)에 공급해서 인쇄시킨다.

또한, 예를 들어 조작부(622)로부터 화상 기록이 지시된 경우, 컨트롤러(621)는 DRAM(618)으로부터 부호화 데이터를 판독하고, 판독된 부호화 데이터를 버스(617)를 거쳐서 미디어 드라이브(623)에 장착되는 기록 미디어(633)에 공급해서 기억시킨다.

기록 미디어(633)는 예를 들어 자기 디스크, 광자기 디스크, 광 디스크 또는 반도체 메모리 등의 판독 기입 가능한 임의의 리무버블 미디어다. 기록 미디어(633)는 물론 리무버블 미디어의 종류도 제한되지 않으며, 예를 들어, 디스크 또는 메모리 카드일 수 있다. 또는, 비접촉 IC 카드 등일 수 있다.

또한, 미디어 드라이브(623)와 기록 미디어(633)를 일체화하여, 예를 들어 내장형 하드디스크 드라이브나 SSD(Solid State Drive) 등과 같이, 비가반성의 기억 매체에 의해 구성될 수 있다.

외부 인터페이스(619)는 예를 들어 USB 입출력 단자 등으로 구성되어, 화상의 인쇄를 행하는 경우에 프린터(634)와 접속된다. 또한, 외부 인터페이스(619)에는 필요에 따라 드라이브(631)가 접속되고, 자기 디스크, 광 디스크, 혹은 광자기 디스크 등의 리무버블 미디어(632)가 적절히 장착되어 그것들로부터 판독된 컴퓨터 프로그램이 필요에 따라 FLASH ROM(624)에 인스톨된다.

또한, 외부 인터페이스(619)는 LAN이나 인터넷 등의 소정의 네트워크에 접속되는 네트워크 인터페이스를 갖는다. 컨트롤러(621)는 예를 들어 조작부(622)로부터의 지시에 따라 DRAM(618)으로부터 부호화 데이터를 판독하고, 그것을 외부 인터페이스(619)로부터, 네트워크를 거쳐서 접속되는 다른 장치에 공급시킬 수 있다. 또한, 컨트롤러(621)는 네트워크를 거쳐서 다른 장치로부터 공급되는 부호화 데이터나 화상 데이터를 외부 인터페이스(619)를 거쳐서 취득하고, 그것을 DRAM(618)에 유지시키거나 화상 신호 처리부(614)에 공급할 수도 있다.

이상과 같은 카메라(600)는 디코더(615)로서 영상 복호화 장치(도 5의 150)를 사용할 수 있다.

또한, 카메라(600)는 인코더(641)로서 영상 예측 모드 결정 장치(도 1의 100)를 사용한다. 따라서, 인코더(641)는 영상 예측 모드 결정 장치(도 1의 100)의 경우와 마찬가지로, 짧은 시간 내에 적은 계산량으로 최적의 예측 모드를 찾을 수 있다.

그 결과로서, 카메라(600)는 보다 고속으로 DRAM(618)이나 기록 미디어(633)의 기억 영역을 보다 효율적으로 사용할 수 있다.

또한, 컨트롤러(621)가 행하는 복호 처리에 영상 복호화 장치(도 5의 150)의 복호 방법을 적용할 수 있다. 마찬가지로, 컨트롤러(621)가 행하는 부호화 처리에 영상 예측 모드 결정 장치(도 1의 100)를 적용할 수 있다.

또한, 카메라(600)가 촬상하는 화상 데이터는 동화상 및/또는 정지 화상일 수 있다.

물론, 영상 예측 모드 결정 장치(도 1의 100) 및 영상 부호화 장치(도 1의 150)는 상술한 장치 이외의 장치나 시스템에도 적용 가능하다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명이 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이와 균등하거나 또는 등가적인 변형 모두는 본 발명 사상의 범주에 속한다 할 것이다. 또한, 본 발명에 따른 시스템은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 메모리 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였으나, 본 발명은 상기 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 제조될 수 있으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

100: 영상 예측 모드 결정 장치 130: 제1 예측 모드 결정부
140: 최종 예측 모드 결정부 150: 영상 복호화 장치

Claims (10)

1. n(여기서, n은 자연수)개의 영상을 압축하고 부호화하기 위한 예측 모드를 제공하고,
   제1 비용 함수를 이용하여, 상기 n개의 예측 모드 중에서 제1 예측 모드를 선택하고,
   상기 제1 비용 함수와 다른 제2 비용 함수를 이용하여 상기 제1 예측 모드 중에서 최종 예측 모드를 선택하는 것을 포함하되,
   상기 제1 비용함수는 SATD(Sum of Absolute Transformed Difference) 연산을 포함하고,
   상기 제2 비용 함수는 SSD(sum of Squared Difference) 연산을 포함하는 영상을 부호화하기 위한 영상 예측 모드 결정 방법.
2. 제 1항에 있어서,
   상기 제1 비용 함수는 하기 수학식 (1)에 의해 계산되는 영상을 부호화하기 위한 영상 예측 모드 결정 방법:
   Jfirst(mode) = SATD(mode) + Header_cost(mode) (1)
   상기 식에서, mode는 상기 예측 모드이고, Jfirst는 상기 제1 비용 함수이고, Header_cost는 상기 예측 모드의 인덱스 값이다.
3. 제 1항에 있어서,
   상기 제2 비용함수는 하기 수학식 (2)에 의해 계산되는 영상을 부호화하기 위한 영상 예측 모드 결정 방법:
   Jsecond(mode1) =
   a*SSD(mode1) + b*SATD(mode1) + Header_cost(mode1) (2)
   상기 식에서, mode1은 상기 제1 예측 모드이고, Jsecond는 상기 제2 비용 함수이고, Header_cost는 상기 예측 모드의 인덱스 값이고, a 및 b는 변환 계수이다.
4. 제 3항에 있어서,
   상기 제2 비용 함수가 하기 수학식 (3)을 만족하도록 상기 a 및 b가 결정되는 영상을 부호화하기 위한 영상 예측 모드 결정 방법:
   Jsecond(mode) ≒ SSD(mode) + λ(mode)*R (3)
   상기 식에서, λ는 라그랑지안(Lagrangian) 계수이고, R은 비트율이다.
5. 제 1항에 있어서,
   상기 제1 예측 모드를 선택하는 것은,
   상기 n개의 예측 모드 각각의 상기 제1 비용 함수 값을 구하여, 상기 제1 비용 함수 값이 작은 k(여기서, k≤n인 자연수)개의 예측 모드를 상기 제1 예측 모드로 선택하는 것을 포함하는 영상을 부호화하기 위한 영상 예측 모드 결정 방법.
6. 제 5항에 있어서,
   상기 최종 예측 모드를 선택하는 것은,
   상기 제1 예측 모드 각각의 제2 비용 함수 값을 구하여, 상기 제2 비용 함수 값이 가장 작은 제1 예측 모드를 상기 최종 예측 모드로 선택하는 것을 포함하는 영상을 부호화하기 위한 영상 예측 모드 결정 방법.
7. 입력 영상을 부호화하여 비트스트림을 생성하는 부호화부;및
   상기 부호화부가 이용하는 최종 예측 모드를 결정하는 예측 모드 결정부를 포함하되,
   상기 예측 모드 결정부는 SATD 연산과 SSD 연산을 포함하는 비용 함수를 이용하여 상기 최종 예측 모드를 선택하는, 영상을 부호화하기 위한 영상 예측 모드 결정 장치를 포함하는 SOC(System On a Chip).
8. 제 7항에 있어서,
   상기 비용 함수는, 상기 SATD 연산을 포함하는 제1 비용 함수와 상기 SSD 연산을 포함하는 제2 비용 함수를 포함하고,
   상기 예측 모드 결정부는,
   상기 제1 비용 함수를 이용하여, n(여기서, n은 자연수)개의 예측 모드 중에서 제1 예측 모드를 선택하는 제1 예측 모드 결정부와,
   상기 제2 비용 함수를 이용하여 상기 제1 예측 모드 중에서 상기 최종 예측 모드를 선택하는 최종 예측 모드 결정부를 포함하는, 영상을 부호화하기 위한 영상 예측 모드 결정 장치를 포함하는 SOC.
9. 제 8항에 있어서,
   상기 제1 비용 함수는 하기 수학식 (3)에 의해 계산되는, 영상을 부호화하기 위한 영상 예측 모드 결정 장치를 포함하는 SOC:
   Jfirst(mode) = SATD(mode) + Header_cost(mode) (3)
   상기 식에서, mode는 상기 예측 모드이고, Jfirst는 상기 제1 비용 함수이고, Header_cost는 상기 예측 모드의 인덱스 값이다.
10. 제 8항에 있어서,
    상기 제1 예측 모드 결정부는,
    상기 n개의 예측 모드 각각의 상기 제1 비용 함수 값을 구하여 상기 제1 비용 함수 값이 가장 작은 최소 예측 모드를 구하고, 상기 최소 예측 모드의 제1 비용 함수 값부터 임계 범위 내의 제1 비용 함수 값을 갖는 k(여기서, k≤n인 자연수)개의 예측 모드를 상기 제1 예측 모드로 선택하는 것을 포함하고,
    상기 최종 예측 모드 결정부는,
    상기 제1 예측 모드 각각의 상기 제2 비용 함수 값을 구하여, 상기 제2 비용 함수 값이 가장 작은 제1 예측 모드를 상기 최종 예측 모드로 선택하는 것을 포함하는, 영상을 부호화하기 위한 영상 예측 모드 결정 장치를 포함하는 SOC.

Images