KR100316765B1 - 영상 객체별 시감도 결정방법 및 이를 이용한고능률동영상부호화장치 - Google Patents

영상 객체별 시감도 결정방법 및 이를 이용한고능률동영상부호화장치 Download PDF

Info

Publication number
KR100316765B1
KR100316765B1 KR1019960025176A KR19960025176A KR100316765B1 KR 100316765 B1 KR100316765 B1 KR 100316765B1 KR 1019960025176 A KR1019960025176 A KR 1019960025176A KR 19960025176 A KR19960025176 A KR 19960025176A KR 100316765 B1 KR100316765 B1 KR 100316765B1
Authority
KR
South Korea
Prior art keywords
image
color
visual
difference
color difference
Prior art date
Application number
KR1019960025176A
Other languages
English (en)
Other versions
KR980007733A (ko
Inventor
김성진
Original Assignee
윤종용
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤종용, 삼성전자 주식회사 filed Critical 윤종용
Priority to KR1019960025176A priority Critical patent/KR100316765B1/ko
Publication of KR980007733A publication Critical patent/KR980007733A/ko
Application granted granted Critical
Publication of KR100316765B1 publication Critical patent/KR100316765B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 객체별 시감도 결정방법 및 이를 이용한 동영상 부호화장치에 관한 것이다. 본 발명에서는 디지탈 영상을 구성하는 영상 객체를 구성하는 최소 단위인 화소들에 대하여 시감대비효과, 시감색차범위 등과 같은 인간의 시감특성을 이용하여 그 각각의 특성을 분류하고, 분류된 특성치를 조합하여 영상 객체들에 대한 인간의 시감도를 결정한다. 따라서, 이와 같이 결정된 인간의 시감도를 양자화 스텝사이즈 결정에 반영함으로써, 양자화시 영상 객체별 민감도에 따라 양자화 스텝사이즈를 시감 양자화오차가 최소가 되도록 결정할 수 있으므로, 복원 영상의 화질 열화를 최소화할 수 있다.

Description

영상 객체별 시감도 결정방법 및 이를 이용한 고능률 동영상 부호화장치
본 발명은 동영상 부호화장치에 관한 것으로서, 특히 시감대비효과, 시감색차, 영상의 복잡도와 화소 분포도에 대한 인간의 시감특성을 이용하여 동영상을 구성하는 객체들 각각에 대한 시각적 민감도(human visual sensitivity:이하시감도(HVS)라고 함)를 결정하는 방법 및 이를 이용한 고능률 동영상 부호화장치에 관한 것이다.
대용량의 영상정보에 의해 처리되는 아날로그 방송방식에 비하여 압축된 적은 용량의 영상정보만으로도 동일한 화질을 제공할 수 있는 디지탈 방송방식으로의 전환은 고도의 정보사회에서 필수적이다. 이러한 디지탈 방송방식은 디지탈 영상신호들의 중복성(redundancy)을 제거하여 영상 정보량을 줄이는 영상 부호화기법을 사용하여 기존의 전송로상에서도 다양한 영상 서비스를 제공할 수 있도록 하여 비용면에서 아날로그 방식에 비해 더욱 효과적이고, 처리방식도 비교적 간단하다는 장점을 가진다. 따라서, 대부분의 영상정보 서비스기기에서는 MPEG-1 및 MPEG-2 등과 같은 디지탈 영상 부호화방법을 이용한 전송방식을 채택하고 있다.
제1도는 일반적인 동영상 부호화기를 나타낸 블럭도로서, MPEG2를 예로 든 것이다.
제1도에 있어서, 영상입력부(11)는 부호화하고자 하는 디지탈 영상을 입력하고, 입력된 영상을 I, P, B 픽쳐로 분류하고, 현재 프레임 영상 및 이전 프레임 복원영상을 공급한다. 예측오차 발생부(12)는 영상입력부(11)에서 공급된 현재 프레임 영상과 이전 프레임 복원영상과의 움직임벡터를 추정하고, 추정된 움직임벡터를 이용하여 예측오차영상을 발생시킨다. 양자화부(13)는 예측오차 발생부(12)에서 구성된 예측오차영상을 이산여현변환한 후, 소정의 양자화 스텝사이즈로 양자화를 수행하여 실제 영상신호를 압축한다. 비트발생부(14)는 양자화부(13)에서 압축된 영상신호를 가변장코드 테이블을 이용하여 부호화하여 복호화기(미도시)에서 처리할수 있는 비트스트림을 제공한다. 비트조정부(15)는 전송로의 용량을 만족시키는 비트스트림을 구성하기 위하여, 양자화부(13)의 양자화 스텝사이즈를 조정하여 비트발생부(14)에서 발생하는 비트발생량을 조정한다. 출력부(16)는 비트발생부(14)에서 구성된 비트스트림을 복호화기(미도시)로 전송한다.
그러나, 상술한 바와 같이 구성된 기존의 동영상 부호화기를 이용하여 영상을 압축부호화할 경우 다음과 같은 문제점이 발생한다. 기존의 양자화부(13)에서는 입력된 디지탈 영상을 특정 크기를 갖는 양자화 단위(예를 들면, MPEG-2에서는 16×16 화소 크기로 양자화단위를 정의)로 균등하게 분할한다. 다음, 양자화단위 크기로 분할된 영역들 각각에 대한 영상 특성치를 최소 분산값을 이용하여 정의한 후, 이전에 양자화 영상영역들을 양자화할 때 발생된 누적 비트발생량과 현재 양자화할 영상영역에 대한 영상 특성치를 이용하여 양자화 스텝사이즈를 최종적으로 결정하여 입력 디지탈 영상을 양자화한다. 이때, 누적 비트발생량과 영상의 특성치에 의해 정의되는 양자화 스텝사이즈는 복원영상에서 화질의 열화를 발생시키는 주된 원인으로 작용한다. 왜냐하면, 기존의 양자화부(13)에서 양자화 스텝사이즈를 결정하기 위해 사용된 요소들 중 하나인 영상 특성치는 단순히 영상신호의 분산값으로만 정의된 영상 복잡도 특성치이다. 따라서, 인간의 시감 특성을 충분히 반영하지 못해 복원영상의 화질 열화를 최소화시키는 시감 양자화 스텝사이즈를 정의할 수 없는 문제점이 있다. 또한, 전체 영상을 구성하는 영상 객체들 각각에 대한 인간의 시감 특성치를 정확히 정의하거나 분류할 수 없기 때문에 양자화차정에서 발생하는 영상의 비트발생량을 보다 효율적으로 조정할 수 없는 문제점이 있다.
따라서 본 발명의 목적은 상술한 문제점을 해결하기 위하여 동영상 코덱에 있어서, 시감대비효과, 시감색차, 영상의 복잡도와 화소 분포도등에 관한 인간의 시감특성을 이용하여 영상을 구성하는 객체들 각각에 대한 시감도를 결정하는 방법을 제공하는데 있다.
본 발명의 다른 목적은 영상 객체별로 결정된 시감도와 누적비트발생량을 이용하여 양자화 스텝사이즈를 결정하는 고능률 동영상 부호화장치를 제공하는데 있다.
상기 목적을 달성하기 위하여 동영상 코덱에 있어서 본 발명에 의한 영상 객체별 시감도 결정방법은
YUV 색좌표계상에서 구성된 디지탈 영상을 입력하여 인간의 시감색차 특성에 근거한 시감색차 허용범위를 나타내는 시감색차 룩업테이블을 작성하는 영상입력과정;
상기 디지탈 영상의 Y 색성분값과 상기 시감색차 룩업테이블에 정의된 시감색차 허용범위를 이용하여 상기 디지탈 영상에서 영상객체들을 분류하는 객체분류과정;
시감대비효과를 이용하여 상기 분류된 각각의 영상 객체들간의 밝기 민감도를 결정하는 시감대비 결정과정;
상기 분류된 각각의 영상 객체들의 평균 허용 시감색차를 이용하여 각각의 영상 객체들에 대한 색상 민감도를 결정하고, 평균 양자화 스텝사이즈와 상기 시감색차 룩업테이블을 이용하여 상기 영상 객체에 대한 양자화 색상 변화정도를 결정하는 시감색차 결정규정;
인접한 주변 화소들과의 시감 색차 관계를 이용하여 상기 영상 객체에 대한 시감 복잡도를 결정하는 시감복잡도 결정과정; 및
상기 영상 객체들에 대한 밝기 민감도, 색상 민감도, 양자화 색상 변화정도와 시감 복잡도를 이용하여 상기 영상 객체에 대한 인간의 시각적 민감도를 결정하는 시감도 결정과정을 구비하는 것을 특징으로 한다.
상기 다른 목적을 달성하기 위하여 본 발명에 의한 고능률 동영상 부호화장치는
부호화하고자 하는 디지탈 영상을 입력하여 I, P, B 픽쳐로 분류하고, 현재 프레임 영상 및 이전 프레임 복원영상을 공급하는 영상 입력부;
상기 현재 프레임 영상과 이전 프레임 복원영상과의 움직임벡터를 추정하고, 추정된 움직임벡터를 이용하여 예측오차영상을 발생시키는 예측오차 발생부;
상기 예측오차 발생부에서 구성된 예측오차영상을 이산여현변환한 후, 소정의 양자화 스텝사이즈로 양자화를 수행하여 실제 영상신호를 압축하는 양자화부;
상기 양자화부에서 압축된 영상신호를 가변장코드 테이블을 이용하여 부호화하는 비트발생부;
상기 디지탈 영상의 시감대비 특성치, 시감색차 특성치와 시감복잡도 특성치로부터 영상 객체별 인간의 시각적 민감도를 결정하는 객체별 시감도 결정부; 및
상기 비트발생부에서 발생되는 누적 비트량과 상기 객체별 시감도 결정부에서 결정된 영상 객체별 인간의 시각적 민감도에 따라서 상기 양자화 스텝사이즈를조정하는 비트조정부를 구비하는 것을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명하기로 한다.
제2도는 동영상 부호화장치에 있어서 본 발명에 의한 영상 객체별 시감도 결정방법을 실현하기 위한 장치를 나타낸 블럭도로서, 영상입력부(21), 객체분류부(22), 시감대비 결정부(23), 시감색차 결정부(24), 시감복잡도 결정부(25)와 시감도 결정부(26)로 구성된다.
디지탈 영상 부호화기술에서 고려되어야 할 중요한 요소 중 하나로 인간의 시감특성을 들 수 있다. 왜냐하면 인간의 시감특성 측면에서 칼라 영상을 보는 경우 각각의 영상 객체(object)들마다 인간의 시감도가 다르게 나타난다. 따라서, 이러한 시감도를 실제 영상을 압축하는 과정에서 영상 객체별로 압축율을 정의하는 기준으로 사용하게 되면 비트발생량을 감소시킬 수 있을 뿐 아니라 복원영상의 화질을 향상시킬 수 있다. 칼라영상을 구성하는 각각의 영상 객체들에 대해 인간이 느끼는 실제 시감도는 영상 객체를 구성하는 최소 단위인 화소들의 특성에 따라 각각 다르게 나타난다. 그러므로, 영상 객체를 구성하는 최소단위인 화소들을 인간의 시감특성을 이용하여 분류하면 영상 객체들에 대한 인간의 시감도를 결정할 수 있다.
이에, 본 발명에서는 각 영상 화소에 대해 주변 화소들과의 밝기 정도차에 의해 발생하는 대비효과(contrast effects), 화소의 색상 변화 범위를 정의한 색차 허용범위(color tolerance), 주변화소들과의 색차 발생정도에 의해 정의되는 영상의 복잡도(texture), 영상에서 복잡도를 가지면서 색차 허용범위가 특정값보다 작은 화소들의 분포도 등과 같은 영상의 특징을 추출하고, 이에 따라서 영상을 구성하는 각 객체들에 대한 인간의 시감도를 결정한다.
그러면, 본 발명에 의한 시감도 결정장치의 작용 및 효과를 제2도 내지 제4도를 참조하여 설명하기로 한다.
영상입력부(21)에서는 YUV 색좌표계상에서 구성된 디지탈 영상(1)을 입력하고, 제3도에 도시된 바와 같이 YUV 색좌표계를 512개의 대표색값으로 구성하여 이 대표색값들 각각에 대한 시감색차 허용범위를 정의한 시감색차 룩업테이블(이하 LUT라 약함)을 정의한다. 본 발명에서 사용되는 시감색차 LUT는 Y,U,V 각각의 색성분에 대한 시감색차 허용범위를 정의한 것으로서, 시감색차 LUT는 다음과 같이 구성된다.
먼저, 시감색차 허용범위는 인간의 시감색차가 균등하게 분포되는 색좌표계상에서 정의되는 것이 보다 정확한 선형적 관계를 유지할 수 있기 때문에 YUV 불균등시감 색공간을 CIE L*a*b*균등시감 색공간으로 변환한다. 이와 같이 변환된 CIE L*a*b*색좌표계상에서 다음 (1)식과 같이 정의된 칼라측정위원회(Color Measurement Committee)의 시감색차 공식을 적용하여 L, a, b 각 성분들에 대한 시감색차 허용범위를 정의한다.
다음, 정의된 CIE L*a*b*시감색차 허용범위를 Y, U, V 색성분에 대한 시감색차 허용범위로 변환함으로써 화소의 Y, U, V 색성분에 대한 시감색차 허용범위를 정의한다. 이와 같이 정의된 Y, U, V 색성분에 대한 시감색차 허용범위를 이용하여 다음 세 단계에 의해 시감색차 LUT를 구성할 수 있다.
제1단계에서는 YUV 색좌표계상에서 Y,U,V 각 색도좌표를 균일한 간격으로 8등분하여 총 512개의 대표색으로 분할한다. 제2단계에서는 512개의 대표색에 대한 Y,U,V 각 색성분별 시감색차 범위 pY, mY, pU, mU, pV, mV를 정의한다. 제3단계에서는 영상입력부(21)에 입력되는 현재 원영상의 YUV 색도좌표를 다음 (2)식을 이용하여 색인(indexing)하여 색인된 색도좌표에 해당하는 Y,U,V 색성분별 시감색차 허용범위를 결정한다.
한편, 다음 (3)식은 화소의 허용 시감색차(CT)를 나타낸다.
상기 (3)식에서 [0],[1],[2],[3],[4],[5]는 각각 pY, mY, pU, mU, pV, mV를 의미한다.
객체분류부(22)에서는 영상입력부(21)에 입력된 YUV 영상 중 Y 색성분값만을 이용하여 디지탈 영상(Ⅰ) 내에 있는 영상객체들( objectY)을 정의한다. 다시 말하면, 16에서 235까지 표현가능한 Y 색성분 각각에 대한 시감색차 허용범위를 U=128, V=128로 정의된 색값을 이용하여 정의하고, 구해진 각 Y 색성분에 대한 시감색차 허용범위내에 속하는 디지탈 영상(Ⅰ)의 Y 값에 의해 영상 객체들을 분류하여 입력 디지탈 영상(Ⅰ)을 영상 객체별로 재구성한다.
시감대비 결정부(23)에서는 객체분류부(22)에서 정의된 영상객체들( objectY) 중 대비효과를 갖는 영상 객체들을 추출하고, 대비효과를 갖는 영상객체들에 대한 대비효과정도(R1)를 결정한다. 이를 좀 더 상세히 설명하기로 한다.
인간의 시감 대비효과는 주변밝기보다 약 1.2배 정도 더 밝은 영상에서 나타나는 것으로서, 기존의 시감특성 연구들을 통해 잘 알려져 있다. 따라서, 본 발명에서는 입력 디지탈영상(Ⅰ)에 대한 평균밝기( meanY)를 구하고, 평균밝기( meanY)보다 1.2배 더 밝은 밝기를 갖는 영상 객체들을 시감 대비효과가 있는 것으로 분류한다. 한편, 시감 대비효과가 있는 것으로 분류된 영상 객체들에 대한 시감대비정도(R1)는 영상객체내에서 meanY*1.2보다 큰 값의 Y값을 찾는 화소들의 수(P1)와 영상을 구성하는 전체 화소들의 수(P)에 의해 다음 (4)식과 같이 결정된다. 여기서, 시감 대비효과가 없는 영상 객체들에 대한 시감대비정도(R1)는 0으로 결정한다.
시감색차 결정부(24)에서는 입력된 영상객체들( objectY) 각각에 대한 색상민감도(CS)를 결정한다. 그리고, 실제 양자화부(제1도의 13)에서 소정의 양자화 스텝사이즈에 의해 양자화할 때 양자화 오차에 의해 영상 객체의 색상변화가 발생하는 정도(R2)를 시감색차 LUT를 이용하여 결정한다. 이는 다음 a) 내지 d) 단계에 의해 수행된다.
a) 단계에서는 입력 디지탈 영상(I)에서 최소 허용 시감색차( minCT)와 최대 허용 시감색차( maxCT)를 각각 구한다. 그리고, 영상 객체내에 있는 모든 화소들에 대한 허용 시감색차를 상기 (2)식과 (3)식을 이용하여 각각 구하고, 구해진 모든 화소들의 허용 시감색차값들을 평균하여 영상 객체의 평균 허용 시감색차( meanCT)를 결정한다.
b) 단계에서는 minCT와 maxCT론 다음 (5)식에 적용하여 영상객체의 색상 민감도(CS)를 결정한다.
c) 단계에서는 실제 양자화 과정에서 소정의 양자화 스텝사이즈에 의해 양자화할 때, 양자화오차(Qe)에 의해 발생할 수 있는 색상의 변화정도를 결정하기 위해 평균 양자화 스텝사이즈( meanss)에 의해 발생할 수 있는 최대 양자화오차를 다음 (6)식과 같이 결정하고, 최대 양자화오차보다 작은 허용 시감색차를 갖는 시감적으로 민감한 화소들의 수(P2)를 산출한다.
d) 단계에서는 영상 객체의 색상 변화 정도(R2)를 다음 (7)식과 같이 시감적으로 민감한 화소들의 수(P2)와 영상 객체내에 있는 모든 화소들의 수(P)에 의해 결정한다.
시감복잡도 결정부(25)에서는 입력된 영상객체들( objectY) 각각에 대한 시감복잡도(T)를 결정한다. 이는 다음 a) 내지 d) 단계에 의해 수행된다.
a) 제4A도에서와 같이 영상 객체내에서 색차 비교가 가능한 유효영역 A에서 제4B도에서와 같이 정의될 수 있는 최대 시감색차 발생수(P4)를 결정한다.
b) 현재 비교할 화소(i,j)의 허용 시감색차(Odif)를 상기 (2)식과 (3)식을 이용하여 결정한다.
c) 제4b도에서와 같이 ㉮,㉯,㉰,㉱ 방향으로 정의된 최대 4개의 비교화소들각각에 대한 허용 시감색차(Rdif)를 다음 (8)식을 이용하여 결정한다.
d) 결정된 Odif와 최대 4개로 구성된 Rdif 각각을 비교하여, Odif≤Rdif를 만족하는 경우, 즉, 시감색차가 발생하는 경우를 계수하여 이를 시감색차 발생수(P3)로 정의하고, 이를 다음 (9)식에 적용하여 영상 객체의 시감 복잡도(T)를 결정한다.
시감도 결정부(26)에서는 시감대비 결정부(23)에서 출력되는 시감대비 특성치(R1), 시감색차 결정부(24)에서 출력되는 시감색차 특성치(R2,CS), 시감복잡도 결정부(25)에서 출력되는 시감복잡도 특성치(T)를 입력으로하여 영상 객체별 인간의 시각적 민감도(HVS)를 결정한다. 이를 좀 더 상세히 설명하면 다음과 같다.
먼저 영상 객체의 시감대비 효과여부(R1>0, R1=0), 양자화시 색상변화의 여부(R2>0, R2=0)를 판단하여 R1과 R2에 대한 크기를 실험결과치에 따라 조정한다. 예를 들면, R1>0이고 R2>0이면 그대로, R1>0이고 R2>0이 아니면 R1=R1/2로, R1>0이 아니고 R2>0이 아니면 그대로, R1>0이 아니고 R2>0이면 R2=R2/2로 조정한다. 또한, 영상 객체내의 모든 화소들의 수(P5)를 이용하여 영상 객체들의 상대적크기(R3=P5/P * 100)를 정의하여 영상 객체내에서 인간의 시감에 민감한 화소들의 분포정도(R)를 다음 (10)식에 의해 결정한다.
이와 같이 정의된 R과 시감색차 결정부(24)에서 정의된 CS와 시감복잡도 결정부(25)에서 정의된 T를 이용하여 영상 객체에 대한 인간의 시각적 민감도(HVS)를 다음 (11)식과 같이 정의한다.
제5도는 본 발명에 의한 영상 객체별 시감도 결정방법을 이용하는 동영상 부호화장치를 나타낸 블럭도로서, 영상 입력부(51), 예측오차 결정부(52), 양자화부(53), 비트발생부(54), 객체별 시감도 결정부(55), 비트조정부(56)와 출력부(57)로 구성된다. 여기서, 영상 입력부(51), 예측오차 결정부(52), 양자화부(53), 비트발생부(54)와 출력부(57)는 제1도에 도시된 영상 입력부(11), 예측오차 결정부(12), 양자화부(13), 비트발생부(14)와 출력부(16)와 각각 동일한 동작을 수행하므로 세부 동작 설명은 생략하기로 한다.
객체별 시감도 결정부(55)는 제2도에 도시된 바와 같이 시감대비 특성치(R1), 시감색차 특성치(R2,CS), 시감복잡도 특성치(T)로부터 영상 객체별 인간의 시각적 민감도(HVS)를 결정한다.
비트조정부(56)는 전송로의 용량을 만족시키는 비트스트림을 구성하기 위하여, 비트발생부(54)에서 발생되는 누적 비트량과 객체별 시감도 결정부(55)에서 결정된 영상 객체별 인간의 시각적 민감도(HVS)에 따라서 양자화부(13)의 양자화 스텝사이즈를 조정하여 비트발생부(14)에서 발생하는 비트발생량을 조정한다.
양자화부(53)는 예측오차 발생부(22)에서 구성된 예측오차영상을 이산여현변환한 후, 비트조정부(56)에 의해 설정된 소정의 양자화 스텝사이즈로 양자화를 수행하여 실제 영상신호를 압축한다.
본 발명에 의한 영상 객체별 시감도 결정방법 및 장치는 디지탈 영상에 대한 색처리기술이나 영상 압축부호화기술 등에 활용할 수 있어 각종 칼라 영상매체에 응용될 수 있다.
상술한 바와 같이 동영상 코덱에 있어서 본 발명에 의한 영상 객체별 시감도 결정방법 및 장치와 이를 이용한 동영상 부호화장치에서는 디지탈 영상을 구성하는 영상 객체를 구성하는 최소 단위인 화소들에 대하여 시간대비효과, 시감색차범위 등과 같은 인간의 시감특성을 이용하여 그 각각의 특성을 분류하고, 분류된 특성치를 조합하여 영상 객체들에 대한 인간의 시감도를 결정한다. 따라서, 이와 같이 결정된 인간의 시감도를 양자화 스텝사이즈 결정에 반영함으로써, 양자화시 영상 객체별 민감도에 따라 양자화 스텝사이즈를 시감 양자화오차가 최소가 되도록 결정할 수 있으므로, 복원 영상의 화질 열화를 최소화할 수 있다.
또한, 시감오차가 최소화되도록 최적 양자화 스텝사이즈를 영상 객체들에 할당할 수 있으므로 실제 영상을 부호화할 때 발생하는 비트발생량의 낭비를 최소화하여 효율적인 부호화를 수행할 수 있다.
또한, 각각의 색성분들에 대한 시감색차 허용범위를 정의함에 있어서, 시감색차 룩업테이블을 이용함으로써 각각의 색성분들 마다의 시감색차 범위들을 정의하는데 소요되는 연산시간을 줄일 수 있다.
결론적으로, 본 발명은 다양한 디지탈 영상 부호화기술들에 호환성을 우유지하면서 적용될 수 있으며, 복원 영상의 화질과 압축비를 향상시킨다.
제1도는 일반적인 동영상 부호화기를 나타낸 블럭도.
제2도는 본 발명에 의한 영상 객체별 시감도 결정방법을 실현하기 위한 장치를 나타낸 블럭도.
제3도는 본 발명에서 사용하는 시감색차 룩업테이블을 구성하는 예를 나타낸 도면.
제4A도와 제4B도는 제2도에 있어서 시감복잡도 결정부의 동작을 설명하는 도면.
제5도는 본 발명에 의한 영상 객체별 시감도 결정방법을 이용한 고능률 동영상 부호화장치를 나타낸 블럭도.

Claims (9)

  1. YUV 색좌표계상에서 구성된 디지탈 영상을 입력하여 인간의 시감색차 특성에 근거한 시감색차 허용범위를 나타내는 시감색차 룩업테이블을 작성하는 영상입력과정;
    상기 디지탈 영상의 Y 색성분값과 상기 시감색차 룩업테이블에 정의된 시감색차 허용범위를 이용하여 상기 디지탈 영상에서 영상 객체들을 분류하는 객체분류과정;
    시감대비효과를 이용하여 상기 분류된 각각의 영상 객체들간의 밝기 민감도를 결정하는 시감대비 결정과정;
    상기 분류된 각각의 영상 객체들의 평균 허용 시감색차를 이용하여 각각의 영상 객체들에 대한 색상 민감도를 결정하고, 평균 양자화 스텝사이즈와 상기 시감색차 룩업테이블을 이용하여 상기 영상 객체에 대한 양자화 색상 변화정도를 결정하는 시감색차 결정과정;
    인접한 주변 화소들과의 시감 색차 관계를 이용하여 상기 영상 객체에 대한 시감 복잡도를 결정하는 시감복잡도 결정과정; 및
    상기 영상 객체들에 대한 밝기 민감도, 색상 민감도, 양자화 색상 변화정도와 시감 복잡도를 이용하여 상기 영상 객체에 대한 인간의 시각적 민감도를 결정하는 시감도 결정과정을 구비하는 것을 특징으로 하는 영상 객체별 시감도 결정방법.
  2. 제1항에 있어서, 상기 영상입력과정에서 상기 시감색차 룩업 테이블은 YUV 색좌표계상에서 YUV 색도좌표를 균일한 간격으로 8등분하여 총 512개의 대표색으로 분할하는 단계;
    상기 512개의 대표색에 대한 Y,U,V 각 색성분별 시감색차 허용범위를 정의하는 단계; 및
    상기 디지탈 영상의 각 화소별 YUV 색도좌표를 색인하고, 색인된 YUV 색도좌표에 해당하는 Y,U,V 각 색성분별 시감색차 허용범위를 결정하는 단계에 의해 작성되어지는 것을 특징으로 하는 영상 객체별 시감도 결정 방법 .
  3. 제2항에 있어서, 상기 영상입력과정에서 상기 Y,U,V 각 색성분별 시감색차 허용범위는
    YUV 불균등시감 색공간을 CIE L*a*b*균등시감 색공간으로 변환하는 단계;
    상기 변환된 CIE L*a*b*색공간에서 L, a, b 각 성분들에 대한 시감객차 허용범위를 정의하는 단계; 및
    상기 L, a, b 각 성분들에 대한 시감색차 허용범위를 Y, U, V 색성분에 대한 시감색차 허용범위로 변환하는 단계에 의해 결정되어지는 것을 특징으로 하는 영상 객체별 시감도 결정방법.
  4. 제1항에 있어서, 상기 객체분류과정은
    16에서 235까지 표현가능한 Y 색성분 각각에 대한 시감색차 허용범위를 U=128, V=128로 정의된 색값을 이용하여 정의하는 단계;
    구해진 각 Y 색성분에 대한 시감색차 허용범위내에 속하는 디지탈 영상의 Y 색성분값에 의해 영상 객체들을 분류하는 단계; 및
    상기 디지탈 영상을 영상 객체별로 재구성하는 단계를 구비하는 것을 특징으로 하는 영상 객체별 시감도 결정방법.
  5. 제1항에 있어서, 상기 시감대비 결정과정은
    상기 디지탈 영상의 평균밝기를 구하는 단계;
    상기 평균밝기보다 1.2배 밝은 밝기를 갖는 영상 객체들을 시감대비효과를 있는 것으로 판단하는 단계; 및
    시감대비효과가 있는 것으로 판단된 영상 객체들에 대한 시감대비정도를 상기 영상 객체내에서 평균밝기의 1.2배보다 큰 값의 Y 값을 갖는 화소들의 수와 상기 디지탈 영상을 구성하는 전체 화소들의 수를 이용하여 결정하는 단계를 구비하는 것을 특징으로 하는 영상 객체별 시감도 결정방법.
  6. 제1항에 있어서, 상기 시감색차 결정과정은
    상기 디지탈 영상의 최소 허용 시감색차, 최대 허용 시감색차와 상기 영상 객체의 평균 허용 시감색차를 구하는 단계;
    상기 최소 허용 시감색차와 최대 허용 시감색차를 이용하여 상기 영상 객체의 색상민감도를 구하는 단계;
    상기 디지탈 영상에 대한 양자화시 상기 평균 양자화 스텝사이즈에 의해 발생할 수 있는 최대 양자화오차를 산출하는 단계;
    상기 최대 양자화오차보다 작은 허용 시감색차를 갖는 화소들의 수를 산출하는 단계; 및
    상기 영상 객체의 색상 변화정도를 상기 최대 양자화오차보다 작은 허용 시감색차를 갖는 화소들의 수와 상기 디지탈 영상을 구성하는 전체 화소들의 수를 이용하여 결정하는 단계를 구비하는 것을 특징으로 하는 영상 객체별 시감도 결정방법.
  7. 제1항에 있어서, 상기 시감복잡도 결정과정은
    상기 영상 객체내에서 색차 비교가 가능한 유효영역에서 정의될 수 있는 최대 시감색차 발생수를 결정하는 단계;
    현재 비교할 화소의 제1허용 시감색차를 산출하는 단계;
    소정 방향으로 정의된 최대 4개의 비교화소들 각각에 대한 제2허용 시감색차를 산출하는 단계;
    상기 제1허용 시감색차와 최대 4개로 구성된 제2허용 시감색차를 각각 비교하여, 상기 제1허용 시감색차가 상기 제2허용 시감색차보다 작은 경우를 계수하여 시감색차 발생수를 산출하는 단계; 및
    상기 최대 시감색차 발생수와 상기 시감색차 발생수를 이용하여 시감복잡도를 결정하는 단계를 구비하는 것을 특징으로 하는 영상 객체별 시감도 결정방법.
  8. 제1항에 있어서, 상기 시감도 결정과정은
    상기 영상 객체의 시감대비정도와 양자화시 색상 변화정도의 크기를 소정의 실험치에 따라 조정하는 단계;
    상기 영상 객체내의 모든 화소들의 수과 상기 디지탈 영상을 구성하는 전체 화소들의 수에 따라서 결정되는 영상 객체들간의 상대적 크기 및 상기 조정된 시감대비정도와 색상 변화정도로 부터 영상 객체내에서 인간의 시감에 민감한 화소들의 분포정도를 결정하는 단계; 및
    상기 인간의 시감에 민감한 화소들의 분포정도와 상기 시감색차 결정과정에서 결정된 색상민감도와 상기 시감복잡도 결정과정에서 결정된 시감복잡도를 이용하여 상기 영상 객체에 대한 인간의 시각적 민감도를 결정하는 단계를 구비하는 것을 특징으로 하는 영상 객체별 시감도 결정방법.
  9. 부호화하고자 하는 디지탈 영상을 입력하여 I, P, B 픽쳐로 분류하고, 현재 프레임 영상 및 이전 프레임 복원영상을 공급하는 영상 입력부;
    상기 현재 프레임 영상과 이전 프레임 복원영상과의 움직임벡터를 추정하고, 추정된 움직임벡터를 이용하여 예측오차영상을 발생시키는 예측오차 발생부;
    상기 예측오차 발생부에서 구성된 예측오차영상을 이산여현변환한 후, 소정의 양자화 스텝사이즈로 양자화를 수행하여 실제 영상신호를 압축하는 양자화부;
    상기 양자화부에서 압축된 영상신호를 가변장코드 테이블을 이용하여 부호화하는 비트발생부;
    상기 디지탈 영상의 시감대비 특성치, 시감색차 특성치와 시감복잡도 특성치로부터 영상 객체별 인간의 시각적 민감도를 결정하는 객체별 시감도 결정부; 및
    상기 비트발생부에서 발생되는 누적 비트량과 상기 객체별 시감도 결정부에서 결정된 영상 객체별 인간의 시각적 민감도에 따라서 상기 양자화 스텝사이즈를 조정하는 비트조정부를 구비하는 것을 특징으로 하는 고능률 동영상 부호화장치.
KR1019960025176A 1996-06-28 1996-06-28 영상 객체별 시감도 결정방법 및 이를 이용한고능률동영상부호화장치 KR100316765B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019960025176A KR100316765B1 (ko) 1996-06-28 1996-06-28 영상 객체별 시감도 결정방법 및 이를 이용한고능률동영상부호화장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019960025176A KR100316765B1 (ko) 1996-06-28 1996-06-28 영상 객체별 시감도 결정방법 및 이를 이용한고능률동영상부호화장치

Publications (2)

Publication Number Publication Date
KR980007733A KR980007733A (ko) 1998-03-30
KR100316765B1 true KR100316765B1 (ko) 2002-02-28

Family

ID=37531721

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019960025176A KR100316765B1 (ko) 1996-06-28 1996-06-28 영상 객체별 시감도 결정방법 및 이를 이용한고능률동영상부호화장치

Country Status (1)

Country Link
KR (1) KR100316765B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100512139B1 (ko) * 1999-07-03 2005-09-02 엘지전자 주식회사 비디오 영역 대표칼라 설정방법과 데이타 구조 및 신뢰도 추출방법
US7417640B1 (en) 1999-01-29 2008-08-26 Lg Electronics Inc. Method for dominant color setting of video region and data structure and method of confidence measure extraction
KR20030085336A (ko) * 2002-04-30 2003-11-05 삼성전자주식회사 사람의 시각적 특성을 고려한 색상 양자화를 통한 영상부호화 및 복호화 방법 및 장치

Also Published As

Publication number Publication date
KR980007733A (ko) 1998-03-30

Similar Documents

Publication Publication Date Title
JP7114653B2 (ja) 高ダイナミックレンジおよび広色域シーケンスを符号化するシステム
RU2644065C1 (ru) Декомпозиция уровней в иерархическом кодировании vdr
US6721359B1 (en) Method and apparatus for motion compensated video coding
US6208693B1 (en) Chroma-key for efficient and low complexity shape representation of coded arbitrary video objects
US6181822B1 (en) Data compression apparatus and method
KR100355375B1 (ko) 영상부호화장치에있어서양자화간격결정방법및회로
Chin et al. A software-only videocodec using pixelwise conditional differential replenishment and perceptual enhancements
KR100307618B1 (ko) 영상부호화방법및장치
US6782135B1 (en) Apparatus and methods for adaptive digital video quantization
US5113256A (en) Method of perceptually modeling a video image signal
JP2004519920A (ja) ビデオ画像の高精度符号化および復号化
CA2904613C (en) Improved method of bit allocation for image & video compression using perceptual guidance
JP6822123B2 (ja) 画像処理装置、画像処理方法及びプログラム
EP3200457B1 (en) Content-adaptive reshaping for high dynamic range images
JP2003018599A (ja) 画像符号化装置および方法
JP2018101866A (ja) 画像処理装置、画像処理方法及びプログラム
US10148982B2 (en) Video compression using perceptual modeling
JP2002252770A (ja) 画像情報の分類方法，画像符号化方法および画像符号化装置
US6363113B1 (en) Methods and apparatus for context-based perceptual quantization
JP3429429B2 (ja) 視感誤差処理方法及びこの方法を用いた画像符号化装置
EP0784410A2 (en) Image coded data processing
KR100316765B1 (ko) 영상 객체별 시감도 결정방법 및 이를 이용한고능률동영상부호화장치
KR100387229B1 (ko) 영상부호화장치
EP3308541B1 (en) System for coding high dynamic range and wide color gamut sequences
Konstantinides et al. High dynamic range video coding

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20081031

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee