KR100864859B1 - 적응적 비트율 제어 장치 및 그 방법과, 그를 이용한 3차원입체 영상 부호화 시스템 - Google Patents

적응적 비트율 제어 장치 및 그 방법과, 그를 이용한 3차원입체 영상 부호화 시스템 Download PDF

Info

Publication number
KR100864859B1
KR100864859B1 KR1020070061715A KR20070061715A KR100864859B1 KR 100864859 B1 KR100864859 B1 KR 100864859B1 KR 1020070061715 A KR1020070061715 A KR 1020070061715A KR 20070061715 A KR20070061715 A KR 20070061715A KR 100864859 B1 KR100864859 B1 KR 100864859B1
Authority
KR
South Korea
Prior art keywords
bit rate
image
adaptive
rate control
quality difference
Prior art date
Application number
KR1020070061715A
Other languages
English (en)
Other versions
KR20080050953A (ko
Inventor
권형진
조숙희
허남호
김진웅
이수인
정제창
진순종
하창우
이완재
Original Assignee
한국전자통신연구원
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 한양대학교 산학협력단 filed Critical 한국전자통신연구원
Publication of KR20080050953A publication Critical patent/KR20080050953A/ko
Application granted granted Critical
Publication of KR100864859B1 publication Critical patent/KR100864859B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은 적응적 비트율 제어 장치 및 그 방법과, 그를 이용한 3차원 입체 영상 부호화 시스템에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은 영상 부호화 장치로부터 출력되는 좌/우 영상 간의 화질 차이가 기준값 이내로 유지되도록, 그 좌/우 영상에 대한 부호화 비트율을 적응적으로 제어함으로써, 일정한 화질 차이를 갖는 좌/우 영상으로 부호화할 수 있게 하는, 적응적 비트율 제어 장치 및 그 방법과, 그를 이용한 3차원 입체 영상 부호화 시스템을 제공하는데 그 목적이 있음.
3. 발명의 해결방법의 요지
본 발명은, 적응적 비트율 제어 장치에 있어서, 영상 부호화 장치로부터 출력되는 좌 영상과 우 영상 간의 화질 차이를 측정하기 위한 화질 측정 수단; 및 상기 측정된 화질 차이가 소정의 기준값 이내로 유지되도록 상기 좌/우 영상 중 적어도 어느 하나의 영상에 대한 새로운 부호화 비트율을 생성하고, 상기 생성된 부호화 비트율을 이용하여 상기 영상 부호화 장치에서의 해당 영상에 대한 부호화 비트율을 제어하기 위한 비트율 제어 수단을 포함함.
4. 발명의 중요한 용도
본 발명은 3차원 입체 영상 부호화 등에 이용됨.
3차원 입체 영상, 영상 부호화, 객관적 화질 차, 비트율 제어, 양자화 파라미터, 경계선 에지

Description

적응적 비트율 제어 장치 및 그 방법과, 그를 이용한 3차원 입체 영상 부호화 시스템{APPARATUS AND METHOD OF CONTROLLING ADAPTIVELY BIT RATE, THREE DIMENSIONAL STEREO IMAGE ENCODING SYSTEM USING IT}
도 1 은 종래의 3차원 입체 영상 부호화 장치의 구성도,
도 2a 및 도 2b 는 이중 자격 연속 품질 척도법에 대한 설명도,
도 3 은 본 발명에 따른 적응적 비트율 제어 장치와, 이를 이용한 3차원 입체 영상 부호화 시스템의 일실시예 구성도,
도 4 는 본 발명에 적용되는 적응적 경계선 보호 알고리즘에 대한 일실시예 흐름도,
도 5a 내지 도 5c 는 본 발명에 적용되는 객관적 화질 평가 방식을 이용하여 객관적 화질 차이에 따른 2시점 영상의 합성 화질을 평가한 결과를 나타내는 도면,
도 6a 내지 도 6c 는 본 발명에 적용되는 도 4의 적응적 경계선 보호 알고리즘을 적용한 객관적 화질의 비대칭 합성 화질 평가에 대한 결과를 나타내는 도면,
도 7a 및 도 7b 는 본 발명에 적용되는 객관적 화질 평가 방식을 이용하여 객관적 화질 차이에 따른 9시점 영상의 합성 화질을 평가한 결과를 나타내는 도면이다.
* 도면의 주요 부분에 대한 부호 설명
31: 스테레오 카메라 32: 영상 부호화 장치
321: 제1 부호화부 322: 제2 부호화부
33: 적응적 비트율 제어 장치 331: 화질 측정부
332: 비트율 생성부 333: 제1 비트율 변환부
334: 제 2 비트율 변환부
본 발명은 적응적 비트율 제어 장치 및 그 방법과, 그를 이용한 3차원 입체 영상 부호화 시스템에 관한 것으로, 더욱 상세하게는 영상 부호화 장치로부터 출력되는 좌/우 영상 간의 화질 차이가 기준값 이내로 유지되도록, 그 좌/우 영상에 대한 부호화 비트율을 적응적으로 제어함으로써, 일정한 화질 차이를 갖는 좌/우 영상으로 부호화할 수 있게 하는, 적응적 비트율 제어 장치 및 그 방법과, 그를 이용한 3차원 입체 영상 부호화 시스템에 관한 것이다.
최근 영상 디스플레이 시스템(예를 들면, 텔레비전, 빔프로젝터 등)은 더욱 풍족한 현실감을 부여하는 방향으로 진보되고 있다. 이에 따라, 3차원 영상 매체를 지원하는 영상 디스플레이 시스템뿐만 아니라 3차원 영상 매체가 증가하고 있는 추 세이다. 이러한 3차원 매체의 증가 추세에 맞추어 영상 디스플레이 시스템은 그에 상응하는 영상 부호화 단을 필요로 하고 있다.
여기서, 3차원 영상 디스플레이 장치는 두 가지 큰 분야인 광학적 접근 방식 또는 영상 처리적 접근 방식으로 나눌 수 있다. 특히, 3차원 영상 처리 기술은 영상 신호의 압축, 복원, 전송 그리고 합성 등에 주안점을 두고 발전해오고 있다.
현재 단순한 3차원 정보 단말기인 스테레오(2시점) 방식이 게임 산업이나 의료 산업 등에 적용되고 있다. 우리나라에서는 2002년 월드컵에서 ATM망을 이용한 스테레오 3DTV 컨텐츠의 시범 서비스가 실시되었고, 일본에서는 이를 이용한 3차원 방송을 구현하고 있다.
도 1 은 종래의 3차원 입체 영상 부호화 장치의 구성도이다.
도 1에 도시된 바와 같이, 종래의 3차원 입체 영상 부호화 장치는, 제1 컨버터(12), 제2 컨버터(13), 제1 인코더(14) 및 제2 인코더(15)를 포함한다.
우선, 스테레오 카메라(11)는 서로 다른 시점에서 좌/우 영상을 각각 촬영한다.
그리고 제1 컨버터(12)는 각각 스테레오 카메라(11)에 의해 촬영되는 좌 영상을 획득하고, 좌/우 영상에 할당된 총 대역폭의 절반(1/2)에 해당되는 비트율을 계산한다. 그리고 제1 컨버터(12)는 계산된 비트율에 대응되는 양자화 파라미터를 생성하여 제1 인코더(14)로 전달한다.
이때, 제1 인코더(14)는 스테레오 카메라(11)로부터 획득된 좌 영상을, 제1 컨버터(12)로부터 전달된 양자화 파라미터를 이용하여 부호화한다. 여기서, 부호화 된 영상은 채널상황에 의해 할당된 대역폭에 따라 전송된다.
마찬가지로, 제 2 컨버터(13)는 각각 스테레오 카메라(11)에 의해 촬영되는 우 영상을 획득하고, 좌/우 영상에 할당된 총 대역폭의 절반(1/2)에 해당되는 비트율을 계산한다. 그리고 제 2 컨버터(13)는 계산된 비트율에 대응되는 양자화 파라미터를 생성하여 제 2 인코더(15)로 전달한다.
이때, 제 2 인코더(15)는 스테레오 카메라(11)로부터 획득된 우 영상을, 제 2 컨버터(13)로부터 전달된 양자화 파라미터를 이용하여 부호화한다.
따라서 제1 및 제 2 인코더(14, 15)는 객관적 화질이 거의 동일한 좌/우 영상을 각각 생성한다.
도 2a 및 도 2b 는 이중 자격 연속 품질 척도법에 대한 설명도이다.
이중 자격 연속 품질 척도법은 도 1의 종래의 3차원 입체 영상 부호화 장치로부터 출력되는 좌/우 영상의 화질을 평가하는데 이용된다.
도 2a 및 도 2b를 참조하여 이중 자격 연속 품질 척도법을 살펴보면, Rec. TU-R BT.500-11에 기술된 이중 자격 연속 품질 척도법(DSCQS: Double-Stimulus Continuous Quality-Scale)은 TV 화면의 화질의 주관적인 평가를 위한 평가 방법이다. 이중 자격 연속 품질 척도법은 평가 대상의 시스템으로 처리된 화상의 품질을 기준화상과 비교하여 조사하는데 적합한 것이며, 다음 순서대로 평가한다.
일례로, 15명 이상 평가자를 한번에 1명만 모니터 앞에 배치한다. 평가자는 같은 그림 자리의 A 화상(21), B 화상(23)을 5초간 교대로 보며 양쪽 화상의 품질을 평가하여 평가 용지에 기입한다. 이때, 각 화상(21, 23, 24, 25) 사이에는 3초 간의 회색(Gray) 화상(22)을 포함하여 평가자에게 보여준다. 여기서, 한쪽은 원본 영상이고 다른 쪽은 실험 영상이나, 평가자에게는 어떤 것이 기준 화상인지를 알려주지 않는다. 영상의 순서는 임의로 변경할 수 있고, 원본과 실험 영상을 피실험자에게 두 번씩 보여준다. 그리고 피실험자는 두 번째 보는 경우에 보여주는 영상을 보고 느끼는 주관적 화질을 도 2b에 도시된 채점표에 점이나 선으로 기록한다.
도 2b에 도시된 바와 같이, 평가 용지에 있는 용어(Excellent, Good, Fair, Poor, Bad)는 평가자가 5단계 품질 척도에 따라 평가할 때 사용된다. 이 평가를 1번 내지 5번 화상으로 바꾸어 반복한다. 이때, 채점표의 점수는 0 내지 100의 범위로 일반화시킨 후 길이를 측정한다.
요컨대, 종래의 3차원 입체 영상 부호화 기술에서는 네트워크를 통한 영상 데이터 전송 시 한정된 대역폭으로 인해, 획일적으로 좌/우 영상에 동일한 비트율을 할당한다. 이러한 종래의 3차원 입체 영상 부호화 기술에서는 도 2a 및 도 2b에 도시된 화질 평가 방식에 따라 평가하는 경우에, 획일적으로 할당된 동일한 비트율로 인해 시청자가 느끼는 화질 열화가 발생할 수 있다는 문제점이 있다.
본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 영상 부호화 장치로부터 출력되는 좌/우 영상 간의 화질 차이가 기준값 이내로 유지되도록, 그 좌/우 영상에 대한 부호화 비트율을 적응적으로 제어함으로써, 일정한 화질 차이를 갖는 좌/우 영상으로 부호화할 수 있게 하는, 적응적 비트율 제어 장치 및 그 방법 과, 그를 이용한 3차원 입체 영상 부호화 시스템을 제공하는데 그 목적이 있다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명은, 적응적 비트율 제어 장치에 있어서, 영상 부호화 장치로부터 출력되는 좌 영상과 우 영상 간의 화질 차이를 측정하기 위한 화질 측정 수단; 및 상기 측정된 화질 차이가 소정의 기준값 이내로 유지되도록 상기 좌/우 영상 중 적어도 어느 하나의 영상에 대한 새로운 부호화 비트율을 생성하고, 상기 생성된 부호화 비트율을 이용하여 상기 영상 부호화 장치에서의 해당 영상에 대한 부호화 비트율을 제어하기 위한 비트율 제어 수단을 포함한다.
한편, 본 발명은, 적응적 비트율 제어 방법에 있어서, 영상 부호화 장치로부터 출력되는 좌 영상과 우 영상 간의 화질 차이를 측정하는 화질 측정 단계; 및 상기 측정된 화질 차이가 소정의 기준값 이내로 유지되도록 상기 좌/우 영상 중 적어도 어느 하나의 영상에 대한 새로운 부호화 비트율을 생성하고, 상기 생성된 부호화 비트율을 이용하여 상기 영상 부호화 장치에서의 해당 영상에 대한 부호화 비트율을 제어하는 비트율 제어 단계를 포함한다.
한편, 본 발명은, 적응적 비트율 제어를 이용한 3차원 입체 영상 부호화 시스템에 있어서, 영상 촬영 장치로부터 획득된 좌/우 영상을 소정의 비트율에 따라 개별적으로 부호화하기 위한 영상 부호화 수단; 및 상기 부호화된 좌/우 영상 간의 화질 차이를 측정하고, 상기 측정된 화질 차이가 소정의 기준값 이내로 유지되도록 상기 좌/우 영상 중 적어도 어느 하나의 영상에 대한 새로운 부호화 비트율을 생성하여 상기 영상 부호화 수단에서의 해당 영상에 대한 부호화 비트율을 제어하기 위한 적응적 비트율 제어 수단을 포함한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
도 3 은 본 발명에 따른 적응적 비트율 제어 장치와, 이를 이용한 3차원 입체 영상 부호화 시스템의 일실시예 구성도이다.
도 3에 도시된 바와 같이, 본 발명에 따른 3차원 입체 영상 부호화 시스템은, 영상 부호화 장치(32)와 적응적 비트율 제어 장치(33)를 포함한다. 여기서, 영상 부호화 장치(32)는 제1 부호화부(321)와 제 2 부호화부(322)를 포함한다. 또한, 적응적 비트율 제어 장치(33)는, 화질 측정부(331), 비트율 생성부(332), 제1 비트율 변환부(333) 및 제2 비트율 변환부(334)를 포함한다. 여기서, 비트율 생성부(332), 제1 비트율 변환부(333) 및 제2 비트율 변환부(334)를 포함하여 비트율 제어부(도면에 미도시)로 정한다.
우선, 스테레오 카메라(31)를 살펴보면, 스테레오 카메라(31)는 영상 촬영 장치로서 부호화하고자 하는 대상을 다시점 촬영한다. 여기서, 다시점 촬영이란 각 시점에 대한 영상을 각각 촬영하는 것을 말한다. 이때, 스테레오 카메라(31)에 의해 촬영된 영상은 촬영하는 시점의 개수에 따라 좌/우 영상(2시점), 4시점 영상, 9시점 영상 등으로 나누어진다.
이하, 본 발명에 따른 좌/우 영상을 부호화하는 3차원 입체 영상 부호화 시스템를 살펴보기로 한다.
영상 부호화 장치(32)는 스테레오 카메라(31)로부터 출력되는 좌/우 영상을 특정 부호화 비트율에 따라 개별적으로 부호화한다. 이때, 영상 부호화 장치(32)는 미리 정해져 있는 부호화 비트율에 따라 동작 초기에 부호화할 수 있다.
이하, 좌 영상 또는 우 영상으로 나누어서 살펴보면, 제1 부호화부(321)는 스테레오 카메라(31)에서 촬영된 좌 영상을 적응적 비트율 제어 장치(33)에서 생성되는 비트율에 따라 부호화한다. 전술한 대로, 제1 부호화부(321)는 초기에 설정된 좌측 부호화 비트율에 따라 좌 영상을 부호화할 수 있다.
또한, 제 2 부호화부(322)는 스테레오 카메라(31)에서 촬영된 우 영상을 적응적 비트율 제어 장치(33)에서 생성되는 비트율에 따라 부호화한다. 전술한 대로, 제2 부호화부(322)는 초기에 설정된 우측 부호화 비트율에 따라 우 영상을 부호화할 수 있다.
이후, 영상 부호화 장치(32)에서 부호화된 영상은 제한적 대역에서 전송된다. 따라서, 본 발명은 전송채널 상황에 따라 좌/우 영상에 할당되는 비트율을 제어하여 다시점 영상 간의 객관적 화질 차를 유지하기 위한 것이다. 예를 들어, 본 발명은, 후술될 도 5a 내지 도 5c, 도 6a 내지 도 6c, 도 7a 및 도 7b의 실험 결과에 따라 좌/우의 영상 간의 객관적 화질 차이를, 스테레오 영상의 경우에는 2dB 차이, 9시점 영상의 경우에 4dB차이를 유지하기 위한 것이다. 영상화질의 차이 값은 전술된 이중 자격 연속 품질 척도법에 따라 좌/우 영상 중 시점에 맞는 화질 차이 레벨(X dB)(30)이 결정되어 있다. 이러한 화질 차이 레벨(30)은 적응적 비트율 제어 장치(33)로 전달되어 좌/우의 영상의 차이를 2시점(스테레오)의 경우에는 2dB 차이로 유지하고, 9시점의 경우에는 4dB 차이로 유지하도록 하는 비트율 제어에 이용된다.
한편, 적응적 비트율 제어 장치(33)는 영상 부호화 장치(32)에서 개별적으로 부호화된 좌/우 영상 간의 객관적 화질 차이가 기설정된 기준값 이내로 유지되도록, 영상 부호화 장치(32)에서의 좌/우 영상에 대한 부호화 비트율을 제어한다.
이하, 적응적 비트율 제어 장치(33)의 구성요소 각각에 대하여 살펴보면 다음과 같다.
화질 측정부(331)는 영상 부호화 장치(32)에서 부호화된 좌/우 영상을 각각 획득하고 획득된 좌/우 영상 간의 화질 차이를 측정한다. 그리고 화질 측정부(331)는 측정된 화질 차이를, 목표로 하는 화질 차이 레벨(30)과 비교하고 비교 결과를 비트율 생성부(332)에 전달한다. 이때, 화질 측정부(331)는 측정된 화질 차이가 화질 차이 레벨(30)과 다른 경우에 한하여 비트율 생성부(332)에 비교 결과를 전달할 수 있다.
그리고 비트율 생성부(332)는 화질 측정부(331)에서 측정된 화질 차이가 기 설정된 기준값 이내로 유지되도록, 화질 측정부(331)로부터 전달된 비교 결과를 이용하여 좌/우 영상에 대한 새로운 부호화 비트율을 생성한다. 그리고 비트율 생성부(332)는 생성된 좌/우 영상의 비트율을 각각 제1 비트율 변환부(333)와 제2 비트율 변환부(334)로 전달한다. 여기서, 비트율 생성부(332)는 영상 부호화 장치(32)에서의 좌/우 영상에 대한 새로운 부호화 비트율을 개별적으로 생성할 수 있다. 또한, 비트율 생성부(332)는 좌/우 영상 중 어느 한 영상에 대한 새로운 비트율을 생성하고, 생성된 어느 한 영상에 대한 새로운 비트율을 이용하여 다른 영상에 대한 새로운 비트율을 생성할 수 있다. 또한, 비트율 생성부(332)는 기 설정되어 있는 좌/우 영상의 비트율과, 화질 측정부(331)로부터의 비교 결과를 이용하여 좌/우 영상의 비트율의 차이를 변경하여 새로운 좌/우 영상에 대한 비트율을 생성할 수 있다.
그리고 제1 비트율 변환부(333)는 비트율 생성부(332)에서 생성된 좌 영상의 비트율을 좌 영상의 양자화 파라미터로 변환하고, 좌 영상의 양자화 파라미터를 영상 부호화 장치(32)의 제1 부호화부(321)로 전달한다.
또한, 제 2 비트율 변환부(334)는 비트율 생성부(332)에서 생성된 우 영상의 비트율을 우 영상의 양자화 파라미터로 변환하고, 우 영상의 양자화 파라미터를 영상 부호화 장치(32)의 제2 부호화부(322)로 전달한다.
이후, 영상 부호화 장치(32)는 스테레오 카메라(31)로부터 전달된 좌/우 영상을, 제1 및 제2 비트율 변환부(333, 334)로부터 전달된 양자화 파라미터를 이용하여 부호화한다.
한편, 제1 및 제2 비트율 변환부(333, 334)에서의 비트율 변환 기능뿐 아니라 더 수행되는 경계선 보호 알고리즘을 살펴보기로 한다.
도 4 는 본 발명에 적용되는 적응적 경계선 보호 알고리즘에 대한 일실시예 흐름도이다.
도 4 는 제1 및 제2 비트율 변환부(333, 334)에 적용 가능한 알고리즘이다. 이러한 적응적 경계선 보호 알고리즘은 영상을 분석하여 경계선 에지의 복잡도에 따라 양자화 파라미터를 조절하여 영상 부호화 장치(32)로 출력하는 것이다. 이하, 제1 비트율 변환부(333)에 적용되는 적응적 경계선 보호 알고리즘을 살펴보고, 제2 비트율 변환부(334)에 대해서는 좌 영상이 우 영상으로 대체되는 것을 제외하고는 제1 비트율 변환부(333)과 동일하게 적용된다.
제1 비트율 변환부(333)는 좌 영상에 대하여 프레임의 평균 에지 강도(Average Edge Strength)를 구한다(402). 여기서, 프레임의 평균 에지 강도는 총 소벨 강도(Sobel Magnitude)를 프레임 내의 총 매크로블록 개수로 나누어 구할 수 있다. 즉, 제1 비트율 변환부(333)는 좌 영상의 프레임을 소벨 연산하여 총 소벨 강도를 구하고, 이 소벨 강도 값을 프레임 내의 총 매크로블록 개수로 나누어 프레임의 평균 에지의 강도를 구한다.
그리고 제1 비트율 변환부(333)는 영상 매크로블록이 가장자리 블록인지 여부를 확인한다(404).
상기 확인 결과(404), 영상 매크로블록이 가장자리 블록이 아닌 경우에, 제1 비트율 변환부(333)는 매크로블록의 평균 에지 강도가 프레임의 평균 에지 강도× 제1 복잡도 임계치(TH_1)를 초과하는지를 확인한다(406). 반면에, 상기 확인 결과(404), 영상 매크로블록이 가장자리 블록인 경우에, 제1 비트율 변환부(333)는 최초 양자화 파라미터(QP)를 그대로 영상 부호화 장치(32)에 전달한다(410). 여기서, 최초 양자화 파라미터(QP)는 비트율 생성부(332)에서 제어되는 비트율에 따른 양자화 파라미터를 의미한다.
상기 확인 결과(406), 매크로블록의 평균 에지 강도가 프레임의 평균 에지 강도×제1 복잡도 임계치(TH_1)를 초과하는 경우에, 이 매크로블록을 경계선이 복잡한 블록으로 정의한다. 그리고 제1 비트율 변환부(333)는 경계선이 복잡한 매크로블록이면 경계선을 보호하기 위해, 최초 양자화 파라미터(QP)에서 제2 복잡도 임계치(TH_2)만큼 줄인 적응적 양자화 파라미터(QP-TH_2)를 영상 부호화 장치(32)로 전달한다(408). 반면에, 상기 확인 결과(406), 매크로블록의 평균 에지 강도가 프레임의 평균 에지 강도×제1 복잡도 임계치(TH_1) 이하인 경우에, 제1 비트율 변환부(333)는 "410" 과정부터 수행한다.
일례로, 영상 부호화 장치(32)는 JM9.5를 이용하고, 제1 복잡도 임계치(TH_1)는 0.6, 제2 복잡도 임계치(TH_2)는 6으로 설정되어 있다. 제1 복잡도 임계치(TH_1)의 경우 실험적으로 구한 값이고, 제2 복잡도 임계치(TH_2)는 H.264의 양자화 파라미터의 경우 6만큼 감소할 때마다 양자화 단계가 2배 감소하기 때문에 정한 값이다.
전술한 바와 같이, 제2 비트율 변환부(334)에서도 좌 영상을 우 영상으로 대체한 경우를 제외하곤 동일하게 적응적 경계선 보호 알고리즘이 적용된다.
도 5a 내지 도 5c 는 본 발명에 적용되는 객관적 화질 평가 방식을 이용하여 객관적 화질 차이에 따른 2시점 영상의 합성 화질을 평가한 결과를 나타내는 도면이다.
도 2a 및 도 2b의 이중 자격 연속 품질 척도법을 이용하여 비대칭 합성 시 객관적 화질 차이에 따라 2시점 영상화질을 평가한 결과가 도 5a 내지 도 5c에 나타나 있다. 예를 들어, 각 영상(Cromarkey_JM, Aquarium_JM, Footbla_JM)의 화질을 실험한 결과는 스테레오 LCD 모니터(예를 들어, 파버나인 G170A)를 사용하고, 객관적 화질의 차이를 대칭, 2dB(difference 2), 4dB(difference 4), 6dB(difference 6), 8dB(difference 8), 10dB(difference 10)로 각각 유지하여 실험한 것이다. 그 결과, 대칭(symmetry)과 비대칭 합성 부호화의 효율성을 비교하였을 때, 객관적 화질의 차이를 2dB로 유지하는 비대칭 합성 화질이 다른 화질 차에 비하여 큰 평가 점수를 가지기 때문에 우수함을 알 수 있다.
도 6a 내지 도 6c 는 본 발명에 적용되는 도 4의 적응적 경계선 보호 알고리즘을 적용한 객관적 화질의 비대칭 합성 화질 평가에 대한 결과를 나타내는 도면이다.
도 6a 내지 도 6c에는 도 5a 내지 도 5c와 동일한 영상에, 도 4의 적응적 경계선 보호 알고리즘을 적용하여 실험한 결과가 나타나 있다. 도 5a 내지 도 5c에서와 마찬가지로 객관적 화질의 차이를 2dB로 유지하는 비대칭 합성 화질이 대칭 합성 화질 또는 다른 비대칭 합성 화질에 비해 큰 평가 점수를 가지기 때문에 우수함을 알 수 있다. 또한, 도 5a 내지 도 5c의 성능과 비교해보면, 같은 객관적 화질 차이라도 도 6a 내지 도 6c의 비대칭 합성 화질이 큰 평가 점수를 가지기 때문에 우수함을 알 수 있다. 적응적 경계선 보호 알고리즘은 3차원 영상을 합성하는 경우, 두 개 이상의 영상이 합성되면서 영상 간의 경계선 왜곡이 발생함을 보정해준다. 이러한 경계선 왜곡으로 인해 주관적 화질에 심각한 결과를 초래하는 영상화질의 열화가 발생할 수 있다.
도 7a 및 도 7b 는 본 발명에 적용되는 객관적 화질 평가 방식을 이용하여 객관적 화질 차이에 따른 9시점 영상의 합성 화질을 평가한 결과를 나타내는 도면이다.
도 2a 및 도 2b의 이중 자격 연속 품질 척도법을 이용하여 비대칭 합성 시 객관적 화질 차이에 따라 9시점 영상화질을 평가한 결과가 도 7a 및 도 7b에 나타나 있다. 각 영상(Cromarkey_JM, Aquarium_JM, Footbla_JM)의 화질을 실험한 결과는 도 5a 내지 도 5c와 동일한 조건에서, 스테레오 LCD 모니터(예를 들어, 파버나인 G170A)를 사용하고, 객관적 화질의 차이를 대칭, 2dB, 4dB, 6dB, 8dB, 10dB로 각각 유지하여 실험한 것이다. 그 결과, 대칭(symmetry)과 비대칭 합성 부호화의 효율성을 비교하였을 때, 9시점 영상에서 객관적 화질의 차이를 4dB로 유지하는 비대칭 합성 화질이 다른 화질 차에 비하여 큰 평가 점수를 가지기 때문에 우수함을 알 수 있다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상 의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
상기와 같은 본 발명은, 영상 부호화 장치로부터 출력되는 좌/우 영상 간의 화질 차이가 기준값 이내로 유지되도록, 그 좌/우 영상에 대한 부호화 비트율을 적응적으로 제어함으로써, 일정한 화질 차이를 갖는 좌/우 영상으로 부호화할 수 있게 하는 효과가 있다.
또한, 본 발명은, 적응적으로 좌/우 영상의 객관적 화질을 달리하면서 경계선 에지의 복잡도가 큰 영상의 경우에 경계선 보호 알고리즘을 적용하여 양자화 파라미터를 조절함으로써, 경계선 에지의 복잡도가 큰 영상을 용이하게 부호화하여 경계선 에지로 인한 화질 열화를 줄일 수 있게 하는 효과가 있다.
더 나아가, 본 발명은, 부호화된 영상을 전송하는 경우에 일정한 화질 차이를 갖는 좌/우 영상으로 부호화함으로써, 기존에 대칭 합성법으로 부호화한 영상보다 한정된 대역폭에서도 효율적으로 전송할 수 있게 하는 효과가 있다.

Claims (12)

  1. 적응적 비트율 제어 장치에 있어서,
    영상 부호화 장치로부터 출력되는 좌 영상과 우 영상 간의 화질 차이를 측정하기 위한 화질 측정 수단; 및
    상기 측정된 화질 차이가 소정의 기준값 이내로 유지되도록 상기 좌/우 영상 중 적어도 어느 하나의 영상에 대한 새로운 부호화 비트율을 생성하고, 상기 생성된 부호화 비트율을 이용하여 상기 영상 부호화 장치에서의 해당 영상에 대한 부호화 비트율을 제어하기 위한 비트율 제어 수단
    을 포함하는 적응적 비트율 제어 장치.
  2. 제 1 항에 있어서,
    상기 비트율 제어 수단은,
    상기 측정된 화질 차이가 소정의 기준값 이내로 유지되도록, 상기 측정된 화질 차이를 이용하여 상기 좌/우 영상에 대한 새로운 부호화 비트율을 생성하기 위한 비트율 생성 수단; 및
    상기 생성된 새로운 부호화 비트율을 양자화 파라미터로 변환하여 상기 영상 부호화 장치로 전달하기 위한 비트율 변환 수단
    을 포함하는 적응적 비트율 제어 장치.
  3. 제 2 항에 있어서,
    상기 비트율 생성 수단은,
    상기 좌/우 영상 각각에 대하여 새로운 부호화 비트율을 개별적으로 생성하는 것을 특징으로 하는 적응적 비트율 제어 장치.
  4. 제 2 항에 있어서,
    상기 비트율 생성 수단은,
    상기 좌/우 영상 중 어느 한 영상에 대하여 새로운 비트율을 생성하고, 상기 생성된 새로운 비트율을 이용하여 나머지 다른 영상에 대한 새로운 비트율을 생성하는 것을 특징으로 하는 적응적 비트율 제어 장치.
  5. 제 2 항에 있어서,
    상기 비트율 변환 수단은,
    상기 좌/우 영상에 대한 경계선 에지 복잡도를 구하고, 상기 경계선 에지 복잡도가 소정의 복잡도 임계값을 초과하는 경우에 한하여 상기 양자화 파라미터 값을 소정의 양자화 임계값만큼 줄이는 기능을 더 수행하는 것을 특징으로 하는 적응적 비트율 제어 장치.
  6. 적응적 비트율 제어 방법에 있어서,
    영상 부호화 장치로부터 출력되는 좌 영상과 우 영상 간의 화질 차이를 측정하는 화질 측정 단계; 및
    상기 측정된 화질 차이가 소정의 기준값 이내로 유지되도록 상기 좌/우 영상 중 적어도 어느 하나의 영상에 대한 새로운 부호화 비트율을 생성하고, 상기 생성된 부호화 비트율을 이용하여 상기 영상 부호화 장치에서의 해당 영상에 대한 부호화 비트율을 제어하는 비트율 제어 단계
    를 포함하는 적응적 비트율 제어 방법.
  7. 제 6 항에 있어서,
    상기 비트율 제어 단계는,
    상기 측정된 화질 차이가 소정의 기준값 이내로 유지되도록, 상기 측정된 화질 차이를 이용하여 상기 좌/우 영상에 대한 새로운 부호화 비트율을 생성하는 비트율 생성 단계; 및
    상기 생성된 새로운 부호화 비트율을 양자화 파라미터로 변환하여 상기 영상 부호화 장치로 전달하기 위한 비트율 변환 단계
    를 포함하는 적응적 비트율 제어 방법.
  8. 제 7 항에 있어서,
    상기 비트율 생성 단계는,
    상기 좌/우 영상 각각에 대하여 새로운 부호화 비트율을 개별적으로 생성하는 것을 특징으로 하는 적응적 비트율 제어 방법.
  9. 제 7 항에 있어서,
    상기 비트율 생성 단계는,
    상기 좌/우 영상 중 어느 한 영상에 대하여 새로운 비트율을 생성하고, 상기 생성된 새로운 비트율을 이용하여 나머지 다른 영상에 대한 새로운 비트율을 생성하는 것을 특징으로 하는 적응적 비트율 제어 방법.
  10. 제 7 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 비트율 변환 단계는,
    상기 좌/우 영상에 대한 경계선 에지 복잡도를 구하고, 상기 경계선 에지 복잡도가 소정의 복잡도 임계값을 초과하는 경우에 한하여 상기 양자화 파라미터 값을 소정의 양자화 임계값만큼 줄이는 과정을 더 수행하는 것을 특징으로 하는 적응적 비트율 제어 방법.
  11. 적응적 비트율 제어를 이용한 3차원 입체 영상 부호화 시스템에 있어서,
    영상 촬영 장치로부터 획득된 좌/우 영상을 소정의 비트율에 따라 개별적으로 부호화하기 위한 영상 부호화 수단; 및
    상기 부호화된 좌/우 영상 간의 화질 차이를 측정하고, 상기 측정된 화질 차이가 소정의 기준값 이내로 유지되도록 상기 좌/우 영상 중 적어도 어느 하나의 영상에 대한 새로운 부호화 비트율을 생성하여 상기 영상 부호화 수단에서의 해당 영상에 대한 부호화 비트율을 제어하기 위한 적응적 비트율 제어 수단
    을 포함하는 적응적 비트율 제어를 이용한 3차원 입체 영상 부호화 시스템.
  12. 제 11 항에 있어서,
    상기 적응적 비트율 제어 수단은,
    제 1 항 내지 제 5 항 중 어느 한 항에서의 적응적 비트율 제어 장치인 것을 특징으로 하는 적응적 비트율 제어 장치를 이용한 3차원 입체 영상 부호화 시스템.
KR1020070061715A 2006-12-04 2007-06-22 적응적 비트율 제어 장치 및 그 방법과, 그를 이용한 3차원입체 영상 부호화 시스템 KR100864859B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020060121207 2006-12-04
KR20060121207 2006-12-04

Publications (2)

Publication Number Publication Date
KR20080050953A KR20080050953A (ko) 2008-06-10
KR100864859B1 true KR100864859B1 (ko) 2008-10-23

Family

ID=39806104

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070061715A KR100864859B1 (ko) 2006-12-04 2007-06-22 적응적 비트율 제어 장치 및 그 방법과, 그를 이용한 3차원입체 영상 부호화 시스템

Country Status (1)

Country Link
KR (1) KR100864859B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101033442B1 (ko) * 2008-06-12 2011-05-09 주식회사 몬도시스템즈 영상 처리 시스템에서 비트 레이트를 제어하는 장치 및방법
KR101645465B1 (ko) 2010-07-23 2016-08-04 삼성전자주식회사 휴대용 단말기에서 입체 영상 데이터를 생성하기 위한 장치 및 방법
KR20130107615A (ko) * 2012-03-22 2013-10-02 한국전자통신연구원 삼차원 비디오 부호화율 제어 방법 및 이러한 방법을 사용하는 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040065014A (ko) * 2003-01-13 2004-07-21 전자부품연구원 다시점 영상의 압축/복원장치 및 방법
KR20050055163A (ko) * 2003-12-05 2005-06-13 한국전자통신연구원 좌우영상의 비대칭적 크기로의 축소에 의한 움직임 및변이 보상을 수행하는 영상 부호화/복호화 장치 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040065014A (ko) * 2003-01-13 2004-07-21 전자부품연구원 다시점 영상의 압축/복원장치 및 방법
KR20050055163A (ko) * 2003-12-05 2005-06-13 한국전자통신연구원 좌우영상의 비대칭적 크기로의 축소에 의한 움직임 및변이 보상을 수행하는 영상 부호화/복호화 장치 및 그 방법

Also Published As

Publication number Publication date
KR20080050953A (ko) 2008-06-10

Similar Documents

Publication Publication Date Title
US8345751B2 (en) Method and system for encoding a 3D video signal, enclosed 3D video signal, method and system for decoder for a 3D video signal
US8116557B2 (en) 3D image processing apparatus and method
Saygili et al. Evaluation of asymmetric stereo video coding and rate scaling for adaptive 3D video streaming
KR101768857B1 (ko) 다시야 비디오 코딩에서 로우 다이내믹 레인지 이미지들로부터 하이 다이내믹 레인지 이미지들의 생성
US8045792B2 (en) Method and apparatus for controlling dynamic depth of stereo-view or multi-view sequence images
Boev et al. Classification and simulation of stereoscopic artifacts in mobile 3DTV content
US20110122224A1 (en) Adaptive compression of background image (acbi) based on segmentation of three dimentional objects
KR20130053452A (ko) 3 차원 이미지들에 대한 디스패리티 계산
CN101888566A (zh) 立体视频编码率失真性能估计方法
Sanchez et al. Rate control for lossless region of interest coding in HEVC intra-coding with applications to digital pathology images
Hewage et al. 3D medical video transmission over 4G networks
JP2008505522A (ja) ビデオ処理
KR100864859B1 (ko) 적응적 비트율 제어 장치 및 그 방법과, 그를 이용한 3차원입체 영상 부호화 시스템
JP2019106708A (ja) 符号器を用いた効率的なブレンディング
KR20170075349A (ko) 멀티 뷰를 가진 다중영상 송수신 장치 및 다중영상 다중화 방법
Banitalebi-Dehkordi et al. A study on the relationship between depth map quality and the overall 3D video quality of experience
JP2011228821A (ja) 多視点画像符号化装置
JP4764516B1 (ja) 多視点画像符号化装置
JP2011228929A (ja) ３ｄ符号化装置、３ｄ符号化方法およびプログラム
Gotchev et al. Source and channel coding recipes for mobile 3D television
US8913200B2 (en) Encoding apparatus, encoding method, and program
JP4860763B2 (ja) 画像符号化装置、画像符号化装置の制御方法、制御プログラムおよび記録媒体
Dorea et al. General rate-allocation in free-viewpoint television
Ozcinar et al. Dynamic bitrate allocation of interactive real-time streamed multi-view video with view-switch prediction
KR102260653B1 (ko) 3d 영상 제공을 위한 영상 생성 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120928

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20130923

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee