KR101624657B1

KR101624657B1 - 필름 그레인 노이즈 보존을 위한 영상 부호화 및 복호화 방법 및 필름 그레인 노이즈 보존을 위한 영상 부호화 및 복호화 장치

Info

Publication number: KR101624657B1
Application number: KR1020140140167A
Authority: KR
Inventors: 정승수; 이상윤; 김성완; 이재호; 김찬열; 위호천
Original assignee: 삼성전자주식회사; 연세대학교 산학협력단
Priority date: 2014-01-06
Filing date: 2014-10-16
Publication date: 2016-05-26
Also published as: KR20150082072A

Abstract

현재 영상의 고정 영역 및 움직임 영역을 검출하고, 현재 영상에서의 부호화 오차를 산출하고, 움직임 영역에서의 FGN(Film Grain Noise)에 의한 오차를 산출하고, 현재 영상에서의 부호화 오차에서 FGN(Film Grain Noise)에 의한 오차를 제외한 오차를 최소화하도록 현재 영상을 부호화하는 부호화 방법이 개시된다.

Description

필름 그레인 노이즈 보존을 위한 영상 부호화 및 복호화 방법 및 필름 그레인 노이즈 보존을 위한 영상 부호화 및 복호화 장치 {Method for endcoding image data and method for decoding image data to preserve film grain noise and apparatus for encoding image data and apparatus for decoding image data to preserve film grain noise}

필름 그레인 노이즈 보존을 위한 영상 부호화 및 복호화하는 방법 및 필름 그레인 노이즈 보존을 위한 영상 부호화 장치 및 복호화 장치에 관한 것이다.

필름에 현상된 영화 컨텐츠를 재생하는 경우에 화면에 나타나는 특유의 효과를 내기 위하여 영상 제작자가 영상 데이터에 인위적으로 노이즈를 삽입하는 경우가 있다. 예를 들면, 영상 제작자는 필름 그레인 노이즈(Film Grain noise, 이하, FGN이라 한다)와 같은 노이즈를 인위적으로 영상 데이터에 삽입할 수 있다.

하지만 고효율 영상 압축 기술로 영상 데이터를 낮은 비트-레이트(Bit-rate)로 부호화하는 경우에 고주파 성분인 FGN은 노이즈로 인식되어 부호화된 정보에서 제거되고, 따라서 부호화된 정보를 기초로 복호화 장치가 영상을 복원하는 경우, FGN은 제거된 채로 영상이 복원되어, 원래 영상 제작자의 의도와는 다르게 영상이 복원된다.

또한 부호화 장치가 연속된 프레임을 포함하는 영상 데이터를 고효율 영상 압축 기술을 적용하여 부호화할 때, 계층적 예측 기술을 적용하기 때문에 프레임 별로 비트 소모량이 상이하게 되고, 따라서 프레임 별로 포함된 FGN이 달라지게 된다. 따라서 복호화 장치에서 고효율 영상 압축 기술로 부호화된 프레임들을 복원하여 연속으로 재생하게 되면, 화면 상에서 FGN이 나타났다가 사라지는 플리커링(Flikering) 현상이 발생하게 된다. 플리커링 현상이 발생하게 되면 사용자 입장에서 주관적으로 영상의 화질이 좋지 않다고 느낄 수 있다.

본 발명은 고효율 압축 기술을 이용하여 영상을 부호화하는 경우에도 필름 그레인 노이즈를 효과적으로 보존하기 위한 영상 부호화 및 복호화 방법 및 필름 그레인 노이즈를 보존하기 위한 영상 부호화 및 복호화 장치를 제공한다.

본 발명의 일 실시예에 따른 영상을 부호화하는 방법은, 현재 영상의 고정 영역 및 움직임 영역을 검출하는 단계; 및 상기 현재 영상에서의 부호화 오차를 산출하는 단계; 상기 움직임 영역에서의 FGN(Film Grain Noise)에 의한 오차를 산출하는 단계; 및 상기 현재 영상에서의 부호화 오차에서 상기 FGN(Film Grain Noise)에 의한 오차를 제외한 오차를 최소화하도록 상기 현재 영상을 부호화하는 단계를 포함한다.

상기 움직임 영역을 검출하는 단계는, 모폴로지(Morphology) 연산을 이용하여 움직임 영역을 검출할 수 있다.

상기 고정 영역 및 움직임 영역을 검출하는 단계는, 상기 현재 영상에서 FGN을 제거한 영상을 생성하는 단계; 및 상기 생성된 영상에서 상기 움직임 영역을 검출하는 단계를 포함할 수 있다.

상기 움직임 영역에서의 FGN(Film Grain Noise)에 의한 오차를 산출하는 단계는, 상기 양자화에 의한 오차를 고려하여 상기 움직임 영역에서의 FGN에 의한 오차를 산출하는 단계를 포함할 수 있다.

상기 움직임 영역에서의 FGN에 의한 오차를 산출하는 단계는, 상기 현재 영상에 대한 크로마(Chroma) 성분의 FGN에 의한 오차 및 루마(Luma) 성분의 FGN에 의한 오차를 산출하는 단계를 포함할 수 있다.

상기 현재 영상에 대한 크로마(Chroma) 성분의 FGN에 의한 오차 및 루마(Luma) 성분의 FGN에 의한 오차를 산출하는 단계는, 상기 루마 성분과 크로마 성분의 양자화 파라미터의 차이를 고려하여 크로마및 루마 성분의 FGN에 의한 오차를 산출하는 단계를 포함할 수 있다.

또한, 상기 현재 영상을 포함하는 복수의 프레임들의 부호화에 사용된 파라미터의 서로 다른 값에 의해 발생하는 화질 간의 차이를 나타내는 복수의 프레임들의 화질 분포 구성을 결정하는 단계; 상기 결정된 복수의 프레임들의 화질 분포 구성을 기초로 부호화할 프레임들의 화질 분포 구성을 결정하는 단계; 및 상기 부호화할 프레임들의 화질 분포 구성에 기초하여 상기 부호화할 프레임들의 부호화 파라미터를 결정하고 상기 결정된 부호화 파라미터에 기초하여 상기 부호화할 프레임들을 부호화하는 단계를 더 포함하고, 상기 결정된 부호화할 프레임들의 화질 분포 구성에 따라 상기 부호화할 프레임에 포함된 FGN이 달라질 수 있다.

본 발명의 일 실시예에 따른 영상을 부호화하는 장치는 현재 영상의 고정 영역 및 움직임 영역을 검출하는 영역 검출부; 상기 현재 영상에서의 부호화 오차를 산출하고, 상기 움직임 영역에서의 FGN(Film Grain Noise)에 의한 오차를 산출하는 오차 산출부; 및 상기 현재 영상에서의 부호화 오차에서 상기 FGN(Film Grain Noise)에 의한 오차를 제외한 오차를 최소화하도록 상기 현재 영상을 부호화하는 부호화부를 포함한다.

또한 본 발명의 일 실시예에 따른 영상을 복호화하는 방법은, 비트스트림으로부터 부호화 정보를 획득하는 단계; 현재 영상의 고정 영역 및 움직임 영역을 결정하는 단계; 및 상기 결정된 영역과 관련된 부호화 정보를 이용하여 상기 현재 영상을 복원하는 단계를 포함하고, 상기 부호화 정보는 상기 현재 영상의 오차가 산출되고, 상기 움직임 영역에서의 FGN(Film Grain Noise)에 의한 오차가 산출되고, 상기 현재 영상에서의 오차에서 상기 FGN(Film Grain Noise)에 의한 오차를 제외한 오차를 최소화하도록 상기 현재 영상에 대해 부호화된 정보일 수 있다.

상기 부호화 정보는 양자화에 의한 오차를 고려하여 상기 움직임 영역에서의 FGN에 의한 오차가 산출되고, 상기 산출된 FGN에 의한 오차를 기초로 상기 현재 영상에 대해 부호화된 정보일 수 있다.

상기 부호화 정보는 크로마 성분의 FGN에 의한 오차 및 루마 성분의 FGN에 의한 오차를 고려하여 상기 움직임 영역에서의 FGN에 의한 오차가 산출되고, 상기 산출된 FGN에 의한 오차를 기초로 상기 현재 영상에 대해 부호화된 정보일 수 있다.

상기 부호화 정보는 상기 루마 성분과 크로마 성분의 양자화 파라미터의 차이를 고려하여 상기 크로마 및 루마 성분의 FGN에 의한 오차가 산출되고, 상기 산출된 FGN에 의한 오차에 기초하여 상기 현재 영상에 대해 부호화된 정보일 수 있다.

상기 부호화 정보에 기초하여 부호화할 프레임들을 복원하는 단계를 더 포함하고,

상기 부호화 정보는 상기 현재 영상을 포함하는 복수의 프레임들의 부호화에 사용된 파라미터의 서로 다른 값에 의해 발생하는 화질 간의 차이를 나타내는 복수의 프레임들의 화질 분포 구성이 결정되고, 상기 결정된 복수의 프레임들의 화질 분포 구성을 기초로 상기 부호화할 프레임들의 화질 분포 구성이 결정되고, 상기 부호화할 프레임들의 화질 분포 구성에 기초하여 상기 부호화할 프레임들의 부호화 파라미터가 결정되고, 상기 결정된 부호화 파라미터에 기초하여 상기 부호화할 프레임들에 대해 부호화된 정보이고, 상기 결정된 부호화할 프레임들의 화질 분포 구성에 따라 상기 부호화할 프레임에 포함된 FGN이 달라질 수 있다.

또한, 본 발명의 일 실시예에 따른 영상을 복호화하는 장치에 있어서, 비트스트림으로부터 부호화 정보를 획득하는 획득부; 현재 영상의 고정 영역 및 움직임 영역을 결정하는 영역 결정부; 및 상기 결정된 영역과 관련된 부호화 정보를 이용하여 상기 현재 영상을 복원하는 복호화부를 포함하고, 상기 부호화 정보는 상기 현재 영상의 오차가 산출되고, 상기 움직임 영역에서의 FGN(Film Grain Noise)에 의한 오차가 산출되고, 상기 현재 영상에서의 오차에서 상기 FGN(Film Grain Noise)에 의한 오차를 제외한 오차를 최소화하도록 상기 현재 영상에 대해 부호화된 정보일 수 있다.

또한, 본 발명은 본 발명의 일 실시 예에 따른 영상 복호화 방법을 컴퓨터로 실행시키기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 제공한다.

또한, 본 발명은 본 발명의 일 실시 예에 따른 영상 부호화 방법을 컴퓨터로 실행시키기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 제공한다.

도 1은 본 발명의 일 실시예에 따른 필름 그레인 노이즈 보존을 위한 영상 부호화 장치에 대한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 필름 그레인 노이즈 보존을 위한 영상 복호화 장치에 대한 블록도이다.
도 3은 본 발명의 다른 실시예에 따른 필름 그레인 노이즈 보존을 위한 영상 부호화 장치에 대한 블록도이다.
도 4는 본 발명의 다른 실시예에 따른 필름 그레인 노이즈 보존을 위한 영상 복호화 장치에 대한 블록도이다.
도 5는 본 발명의 일 실시예에 따른 필름 그레인 노이즈 보존을 위한 영상 부호화 방법의 흐름도이다.
도 6는 본 발명의 일 실시예에 따른 필름 그레인 노이즈 보존을 위한 영상 복호화 방법의 흐름도이다.
도 7는 본 발명의 다른 실시예에 따른 필름 그레인 노이즈 보존을 위한 영상 부호화 방법의 흐름도이다.
도 8은 본 발명의 다른 실시예에 따른 필름 그레인 노이즈 보존을 위한 영상 복호화 방법의 흐름도이다.
도 9는 본 발명의 다른 실시예에 따른 영상 부호화 장치가 부호화된 복수의 프레임들의 SSIM을 이용하여 현재 복수의 프레임들을 부호화하는 과정을 설명하기 위한 도면이다.
도 10은 본 발명의 또 다른 실시예에 따른 영상 부호화 장치 및 영상 복호화 장치에 따라 현재 영상을 부호화 및 복호화하는 과정을 설명하기 위한 도면이다.
도 11은 본 발명의 또 다른 실시예에 따른 영상 부호화 장치 및 영상 복호화 장치에 따라 현재 영상을 부호화 및 복호화하는 과정을 설명하기 위한 도면이다.

도 1을 참조하면, 영역 검출부(10)는 현재 영상의 고정 영역 및 움직임 영역을 검출할 수 있다. 이 때, 고정 영역이란 영역 내에서 픽셀 간의 정보가 크게 변화하지 않는 영역을 의미하고, 움직임 영역이란 영역 내에서 픽셀 간의 정보가 크게 변화하는 영역을 의미한다. 또는 고정 영역은 연속된 영상에서 현재 영상의 영역 및 현재 영상의 영역과 동일한 위치의 이전 영상의 영역과의 정보 차이가 작은 영역을 의미하고, 움직임 영역은 현재 영상의 영역 및 현재 영상의 영역과 동일한 위치의 이전 영상의 영역과의 정보 차이가 큰 영역을 의미한다.

예를 들어, 하늘 부분을 나타내는 영상 데이터를 포함하는 영역은 영역 내 픽셀 간 픽셀값의 차이가 거의 차이나지 않기 때문에, 영역 검출부(10)는 하늘 부분을 포함하는 영역을 고정 영역으로 검출할 수 있다. 또한 하늘 부분을 나타내는 영상 데이터를 포함하는 영역은 현재 영상의 영역 및 현재 영상의 영역과 동일한 위치의 이전 영상의 영역과의 픽셀값의 차이가 작기 때문에 영역 검출부(10)는 하늘 부분을 포함하는 영역을 고정 영역으로 검출할 수 있다.

한편, 물체의 경계를 나타내는 영상 데이터를 포함하는 영역은 영역 내 물체 경계 부분에서 픽셀 간의 픽셀값의 차이가 크게 차이나기 때문에 영역 검출부(10)는 물체의 경계를 포함하는 영역을 움직임 영역으로 검출할 수 있다.

또한 영역 검출부(10)는 물체를 나타내는 영상 데이터를 포함하는 영역은 현재 영상의 영역 및 현재 영상의 영역과 동일한 위치의 이전 영상의 영역과의 픽셀값의 차이가 크기 때문에 영역 검출부(10)는 하늘 부분을 포함하는 영역을 움직임 영역으로 검출할 수 있다.

영역 검출부(10)는 현재 영상에서 FGN을 제거한 영상을 생성하고, FGN을 제거한 영상에서 움직임 영역을 검출할 수 있다.

영역 검출부(10)는 FGN 제거를 위해 미디언 필터(median filter)와 같은 비선형 필터(non-linear filter)를 이용할 수 있다. 영역 검출부(10)는 모폴로지(Morphology) 처리를 통해 현재 영상의 움직임 영역을 검출할 수 있다. 모폴로지(Morphology) 처리는 이로젼(Erosion) 및 딜레이션(Dilation) 처리를 포함할 수 있다.

오차 산출부(11)는 현재 영상에서의 부호화 오차를 산출하고, 영역 검출부(10)에서 검출된 움직임 영역에서의 FGN에 의한 오차를 산출한다. 이 때, 오차 산출부(11)는 FGN에 의한 왜곡(Distortion)뿐만 아니라 양자화에 의한 왜곡을 함께 고려하여 율 및 왜곡 코스트(RD Cost)의 왜곡(Distortion) 값을 결정할 수 있다. 오차 산출부(11)는 움직임 영역에서의 FGN에 의한 오차를 산출하는 경우 양자화에 의한 오차를 고려하여 산출할 수 있다.

예를 들면, 오차 산출부(11)는 [수학식 1]을 이용하여 FGN에 의한 왜곡 값을 결정할 수 있다.

DFGN은 현재 영상의 FGN에 의한 왜곡 값을 의미할 수 있다. i,j는 현재 영상 내 픽셀의 각각 x,y축 좌표 상 위치를 의미할 수 있다. d(i,j)는 i,j가 나타내는 위치의 픽셀의 FGN에 의한 왜곡(distortion)값을 의미할 수 있다. Rstatic은 현재 영상의 고정 영역을 의미할 수 있고, Rmotion 은 현재 영상의 움직임 영역을 의미할 수 있다. α는 양자화 왜곡(quantization distortion)을 고려하기 위한 가중 파라미터(weight parameter)를 의미할 수 있다.

오차 산출부(11)는 현재 영상에 대한 크로마 성분의 FGN에 의한 오차 및 루마 성분의 FGN에 의한 오차를 산출하여 움직임 영역에서의 FGN에 의한 오차를 산출 할 수 있다. 구체적으로 오차 산출부(11)는 루마 성분과 크로마 성분의 양자화 파라미터의 차이를 고려하여 전체 FGN에 의한 오차를 산출할 수 있다.

예를 들면, 오차 산출부(11)는 [수학식 2]를 이용하여 FGN에 의한 왜곡 값을 산출할 수 있다.

DFGN은 현재 영상의 FGN에 의한 왜곡 값을 의미할 수 있다. DFGN_Y은 현재 영상휘도(Luma)성분의 FGN에 의한 왜곡 값을 의미할 수 있다. DFGN_Cb, DFGN_Cr는 현재 영상의 색차(Chroma) 성분 Cb, Cr의 FGN에 의한 왜곡 값을 의미할 수 있다. wchroma는 현재 영상의 휘도 성분과 색차 성분과의 양자화 파라미터에의 차이를 고려한 가중 파라미터(weitght parameter)를 의미할 수 있다.

부호화부(12)는 현재 영상에서의 부호화 오차에서 FGN에 의한 오차를 제외한 오차를 최소화하도록 현재 영상을 부호화할 수 있다. 즉, 부호화부(12)는 다양한 부호화 방법에 의해 현재 영상을 부호화하고, 이때의 율 및 왜곡 코스트를 산출하여, 최적의 율 및 왜곡 코스트를 결정한다. 부호화부(12)는 최적의 율 및 왜곡 코스트를 결정시키는 부호화 방법에 따라 현재 영상을 부호화할 수 있다.

예를 들면 부호화부(12)는 [수학식 3]을 이용하여 FGN에 의한 왜곡(Distortion)을 제외한 왜곡(Distortion) 값을 산출할 수 있다. DFGNO는 FGN을 제외한 왜곡(Distortion) 값을 의미할 수 있다.

DRDO는 FGN가 제외되지 않고 산출된 영상의 왜곡(Distortion) 값을 의미할 수 있다. DFGN 은 FGN에 의한 왜곡(Distortion) 값을 의미할 수 있다.

한편, 영상부호화 장치(1)는 화질 분포 구성 결정부(미도시)를 더 포함할 수 있다.

화질 분포 구성 결정부(미도시)는 현재 영상을 포함하는 복수의 프레임의 부호화에 사용된 파라미터를 분석한다. 화질 분포 구성부(미도시)는 분석된 복수의 프레임의 파라미터의 서로 다른 값에 의해 발생하는 화질의 차이를 결정할 수 있다. 화질 분포 구성부(미도시)는 결정된 화질의 차이를 나타내는 복수의 프레임의 화질 분포 구성을 결정할 수 있다.

화질 분포 구성 결정부(미도시)는 먼저 결정된 복수의 프레임들의 화질 분포 구성을 기초로 부호화할 프레임들의 화질 분포 구성을 결정할 수 있다.

부호화부(12)는 이전에 부호화된 프레임들의 화질 분포 구성에 기초하여 결정된 현재 프레임들의 화질 분포 구성에 기초하여 부호화할 프레임들의 파라미터를 결정할 수 있다. 따라서 부호화부(12)는 결정된 파라미터에 기초하여 현재 프레임들을 부호화할 수 있다.

이때, 현재 프레임들의 화질 분포 구성에 따라 현재 프레임의 FGN이 달라질 수 있다. 즉, 현재 프레임들의 화질 분포 구성에 따라서 부호화 파라미터가 결정되고, 결정된 부호화 파라미터에 따라 현재 영상에서의 비트 소모량이 결정된다. 예를 들어, 현재 프레임들에서의 비트 소모량이 큰 경우에는 현재 프레임들에 FGN을 포함하여 압축 부호화하기 때문에 현재 프레임들의 FGN이 많아지게 된다.

도 2는 본 발명의 일 실시예에 따른 필름 그레인 노이즈 보존을 위한 영상 복호화 장치에 대한 블록도이다.

도 2를 참조하면, 영상 복호화 장치(2)는 획득부(20), 영역 결정부(21) 및 복호화부(22)를 포함할 수 있다.

획득부(20)는 비트스트림으로부터 부호화 정보를 획득할 수 있다. 이 때, 부호화 정보는 영상 부호화 장치(1)에서 현재 영상의 오차가 산출되고, 움직임 영역에서의 FGN에 의한 오차가 산출되고, 현재 영상에서의 오차에서 FGN에 의한 오차를 제외한 오차를 최소화하도록 현재 영상에 대해 부호화된 정보일 수 있다.

또한 부호화된 정보는 영상 부호화 장치(1)에서 양자화에 의한 오차를 고려하여 움직임 영역에서의 FGN에 의한 오차가 산출되고, 산출된 오차에 기초하여 현재 영상의 부호화 오차에서 FGN에 의한 오차를 제외한 오차를 최소화하도록 현재 영상에 대해 부호화된 정보를 포함할 수 있다.

또한 부호화된 정보는 영상 부호화 장치(1)에서 현재 영상에 대한 크로마 성분의 FGN에 의한 오차 및 루마 성분의 FGN에 의한 오차를 산출하고, 산출된 오차에 기초하여 현재 영상의 부호화 오차에서 FGN에 의한 오차를 제외한 오차를 최소화하도록 현재 영상에 대해 부호화된 정보를 포함할 수 있다. 부호화된 정보는 영상 부호화 장치(1)에서 현재 영상의 루마 성분과 크로마 성분의 양자화 파라미터의 차이를 고려하여 전체 FGN에 의한 오차가 산출되고, 산출된 오차에 기초하여 현재 영상의 부호화 오차에서 FGN을 제외한 오차를 최소화하도록 현재 영상에 대해 부호화된 정보를 포함할 수 있다.

영상 복호화 장치(2)는 획득부(20)에서 획득된 부호화된 정보를 이용하여 복호화한 결과, FGN 오차를 제외한 현재 영상의 오차에 따라 현재 영상이 복원될 수 있다.

영역 결정부(21)는 현재 영상의 고정 영역 및 움직임 영역을 결정할 수 있다. 구체적으로 획득된 부호화 정보에 기초하여 영역 결정부(21)는 현재 영상의 고정 영역 및 움직임 영역을 결정할 수 있다.

복호화부(22)는 FGN을 고려하여 현재 영상을 복원할 수 있다. 이 때, 복호화부(22)는 획득부(20)에서 획득된 부호화 정보를 기초로 FGN을 고려하여 현재 영상을 복원할 수 있다.

도 3은 본 발명의 다른 실시예에 따른 필름 그레인 노이즈 보존을 위한 영상 부호화 장치에 대한 블록도이다.

도 3을 참조하면, 본 발명의 다른 실시예에 따른 영상 부호화 장치(1)는 부호화부(12) 및 화질 분포 구성 결정부(13)를 포함할 수 있다.

화질 분포 구성 결정부(13)는 선행하는 복수의 프레임들의 부호화에 사용된 파라미터를 분석할 수 있다. 화질 분포 구성 결정부(13)는 분석된 파라미터의 서로 다른 값에 의해 발생하는 화질 간의 차이를 결정한다. 화질 분포 구성 결정부(13)는 결정된 화질 간의 차이를 나타내는 선행 프레임들의 화질 분포 구성을 결정한다. 예를 들면, 화질 분포 구성 결정부(13)는 부호화된 선행 복수의 프레임들의 프레임 화질 평가 지수를 이용하여 선행 프레임의 화질 간의 차이를 나타내는 화질 분포 구성을 결정할 수 있다. 이 때 이용되는 프레임 화질 평가 지수는 SSIM(Structural Similarity) 값일 수 있다. 다만 이에 제한되지 않고, PSNR(peak signal-to-noise ratio), MSE(mean squared error) 및 FSIM(novel feature-similarity)과 같은 값들이 이용될 수 있다. 한편, SSIM 값은 영상 간의 유사성을 측정한 값이다. SSIM 값은 다음과 같은 [수학식 4]를 이용하여 결정될 수 있다.

[수학식 4]에서 x,y는 서로 다른 영상의 블록을 의미할 수 있다. l(x,y)는 x,y 블록의 루미넌스(luminance)에 관한 척도를 의미할 수 있다. c(x,y)는 x,y가 나타내는 블록의 콘트라스트(contrast)에 관한 척도를 의미할 수 있다. S(x,y)는 x,y가 나타내는 블록의 스트럭쳐럴 코릴레이션(structural correlation)에 관한 척도를 의미할 수 있다. 구체적으로 각 척도에 대한 의미는 다음과 같다.

루미넌스(luminance)에 관한 척도인 l(x,y)는 두 영상 블록 내 픽셀값의 평균을 구하고, 두 값의 비율과 그 역수의 조화 평균(harmonic mean)을 이용하여 산출된다. 즉, l(x,y)는 [수학식 5]를 이용하여 결정될 수 있다.

는 x 블록 내 픽셀값의 평균이고,

는 y 블록 내 픽셀값의 평균을 의미할 수 있다. l(x,y)는 두 영상의 밝기의 차이를 의미할 수 있다. 두 영상의 밝기의 차이가 커서 두 영상의 밝기가 다를수록 0에, 유사할수록 1에 가까운 값이 될 수 있다.

콘트라스트(contrast)에 관한 척도인 c(x,y)는 두 영상 내 블록의 표준 편차(standard derivation)를 이용하여 결정될 수 있다. c(x,y)는 [수학식 6]을 이용하여 결정될 수 있다.

는 x 블록 내 픽셀값의 표준 편차이고,

는 y 블록 내 픽셀값의 표준 편차를 의미할 수 있다. c(x,y)는 두 영상 픽셀 내의 픽셀값들이 얼마나 다양한 범위에 분포하는지를 나타낼 수 있다. c(x,y)는 [0,1]의 범위를 가지고, 클수록 두 영상이 유사함을 의미할 수 있다.

스트럭쳐럴 코릴레이션(structural correlation)에 관한 척도인 s(x,y)는 두 영상의 공분산(covariance)을 사용하고 있다. s(x,y)는 [수학식 7]을 이용하여 결정될 수 있다.

는 x블록 내 픽셀값의 표준 편차이고,

는 y 블록 내 픽셀값의 표준편차이고,

는 x블록 내 픽셀값과 y블록 내 픽셀값의 공분산(covariance)을 의미할 수 있다.

[수학식 4]는 [수학식 5], [수학식 6] 및 [수학식 7]을 이용하여 [수학식 8]과 같이 정리할 수 있다.

C1, C2는 분모가 작을 경우 발생하는 문제점을 해결하기 위한 조직화항(regularization term)을 의미한다. SSIM(x,y) 값은 영상 간의 화질 비교하는데 좋은 척도가 될 수 있다. SSIM 값이 클수록 영상 간의 화질 차이가 크지 않다는 것을 의미하고, 따라서 사용자의 입장에서 느끼는 영상의 화질은 좋다고 판단될 수 있다. SSIM 값이 작은 경우 영상 간의 화질 차이가 크다는 것을 의미하고, 따라서 사용자 입장에서 느끼는 영상의 화질은 좋지 않다고 판단될 수 있다.

예를 들어, 선행하는 프레임 1 의 SSIM 값이 0.70이고, 선행 프레임 2의 SSIM 값이 0.75인 경우 선행 프레임 1,2 간의 SSIM값 차이가 0.05다. 이때, 화질 분포 구성 결정부(13)는 프레임 간의 SSIM값 차이가 0.05임을 나타내는 화질 분포 구성을 결정할 수 있다. 즉 선행 프레임 1,2 간의 SSIM값 차이가 있을 때, 선행 프레임 1,2 간의 화질 차이가 나타나고, 따라서 프레임들 간의 화질 차이를 나타내는 화질 분포 구성이 결정된다. 예를 들어, 화질 분포 구성 결정부(13)는 선행하는 GOP(Group of Pictures) 내의 최대의 SSIM값을 나타내는 선행 프레임과 최소의 SSIM값을 나타내는 선행 프레임 간의 화질 차이를 분석하여 선행 프레임들의 화질 분포 구성을 결정할 수 있다.

화질 분포 구성 결정부(13)는 결정된 선행 프레임들의 화질 분포 구성에 기초하여 현재 복수의 프레임들의 화질 분포 구성을 결정할 수 있다. 예를 들어, 화질 분포 구성 결정부(13)는 현재 프레임 이전에 부호화된 선행 프레임들 중 최대 SSIM값을 나타내는 프레임과 최소 SSIM값을 나타내는 프레임 간의 SSIM값 차이가 미리 설정된 값보다 큰 경우라고 판단되는 경우, 현재 프레임들의 화질 분포 구성을 결정할 수 있다. 미리 설정된 값은 사용자가 사용자 인터페이스를 통해서 미리 설정한 값일 수 있다. 또한 미리 설정된 값은 영상 부호화 장치(1)를 제조하는 과정에서 관리자에 의해 설정된 값일 수 있다.

또한 화질 분포 구성 결정부(13)는 현재 프레임 이전에 부호화된 선행 프레임들 중 화질 저감의 원인이 된 선행 프레임에 대응되는 현재 프레임의 SSIM값을 조정할 수 있다. 예를 들면, 화질 분포 구성 결정부(13)는 최소 SSIM값을 나타내는 프레임이 미리 설정된 값보다 작은 경우, 최소 SSIM값을 나타내는 선행 프레임을 화질 저감의 원인이 된 선행 프레임으로 판단할 수 있다.

화질 분포 구성 결정부(14)는 현재 프레임의 목표 화질을 [수학식 9]를 이용하여 설정할 수 있다. [수학식 9]를 정리하면 [수학식 10]과 같이 정리될 수 있다.

Max_SSIM값은 선행하는 GOP 내 가장 SSIM값이 큰 프레임의 SSIM 값을 의미할 수 있고, Min_SSIM값은 선행 GOP 내 가장 SSIM 값이 작은 프레임의 SSIM 값을 의미할 수 있고, Cur_SSIM값은 현재 부호화하려는 프레임에 대응되는 선행 GOP 내 프레임의 SSIM 값을 의미한다. Tar_SSIM값는 부호화될 프레임의 SSIM값을 의미할 수있다. Setting_V는 사용자 입력 또는 영상 분석을 통해 결정되는 값을 의미할 수 있다.

예를 들어, Max_SSIM값이 10이고, Cur_SSIM값이 5이고, Min_SSIM값은 0이고, Setting_V 값이 5인 경우, Tar_SSIM 값은 7.5로 결정될 수 있다.

부호화부(12)는 화질 분포 구성 결정부(13)에서 결정된 현재 프레임들의 화질 분포 구성에 기초하여 현재 프레임들의 부호화 파라미터를 결정한다.

예를 들어 부호화부(12)는 현재 프레임들 이전에 부호화된 선행 프레임들의 SSIM값, 라그랑주 승수(Langrange Multiplier) 및 화질 분포 구성 결정부(13)에서 결정된 현재 프레임의 SSIM값을 이용하여 부호화할 프레임의 라그랑주 승수(Langrange Multiplier)를 결정할 수 있다. 부호화부(12)는 결정된 부호화 파라미터에 기초하여 현재 프레임들을 부호화할 수 있다. 부호화부(12)는 결정된 라그랑주 승수(Langrange Multiplier)에 따라 현재 프레임들을 부호화할 수 있다.

예를 들면 부호화부(12)는 [수학식 11]을 이용하여 현재 부호화할 프레임에 대한 부호화 파라미터 람다(lambda)값을 결정할 수 있다. [수학식 11]을 정리하면 [수학식 12]과 같이 정리될 수 있다.

Tar_SSIM 값은 [수학식 9] 또는 [수학식 10]을 이용하여 현재 프레임의 SSIM값이고, Tlambda 값은 현재 프레임의 SSIM값에 대한 람다(lambda) 값을 의미할 수 있다. 여기서 람다(lambda) 값은 라그랑주 승수를 의미할 수 있다. Max_SSIM은 선행하는 GOP 내 가장 큰 SSIM값을 나타내는 프레임의 SSIM값을 의미할 수 있다. Min_lambda는 선행하는 GOP 내 가장 큰 SSIM값을 나타내는 프레임의 람다(lambda) 값을 의미할 수 있다. 예를 들어, Tar_SSIM이 7.5이고, Min_lambda 이 10이고, Max_SSIM이 15인 경우 Tlambda 값은 20일 수 있다.

도 3에 도시된 영상 부호화 장치(3)의 화질 분포 구성 결정부(30) 및 부호화부(31) 는 각각 도 1에 도시된 영상 부호화 장치(1)의 화질 분포 구성 결정부(미도시) 및 부호화부(12)에 상응된다. 따라서 도 3의 화질 분포 구성 결정부(30)및 부호화부(31)에 관한 내용은 각각 도 1의 화질 분포 구성 결정부(미도시) 및 부호화부(12)와 관련하여 부가될 수 있다.

도 4는 본 발명의 다른 실시예에 따른 필름 그레인 노이즈 보존을 위한 영상 복호화 장치에 대한 블록도이다.

도 4를 참조하면, 본 발명의 다른 실시예에 따른 영상 복호화 장치(2)는 획득부(20), 복호화부(22)를 포함할 수 있다.

도 4를 참조하면, 획득부(20)는 비트스트림으로부터 부호화 정보를 획득할 수 있다. 이때, 부호화 정보는 영상 부호화 장치(1)에서 선행하는 복수의 프레임들의 부호화에 사용된 파라미터의 서로 다른 값에 의해 발생하는 화질들 간의 차이를 나타내는 선행 프레임들의 화질 분포 구성이 결정되고, 결정된 선행 프레임들의 화질 분포 구성에 기초하여 복수의 현재 프레임들의 화질 분포 구성이 결정되고, 결정된 현재 프레임들의 화질 분포 구성에 기초하여 현재 프레임들의 부호화 파라미터가 결정되고, 결정된 부호화 파라미터에 기초하여 현재 프레임들에 대해 부호화된 정보일 수 있다.

영상 복호화 장치(2)는 획득부(20)에서 획득된 부호화 정보를 이용하여 생성된 프레임들의 부호화 파라미터를 결정하고, 결정된 부호화 파라미터를 이용하여 복호화한 결과, 현재 프레임들을 복원할 수 있다.

복호화부(22)는 획득부(20)에서 획득된 부호화 정보를 이용하여 현재 프레임들을 복원할 수 있다. 구체적으로 복호화부(22)는 부호화 정보에 포함된 현재 프레임들의 부호화 파라미터에 기초하여 현재 프레임들을 복원할 수 있다.

도 4에 도시된 영상 복호화 장치(4)의 획득부(40) 및 복호화부(41)는 각각 도 2에 도시된 영상 복호화 장치(1)의 획득부(20) 및 복호화부(22)에 상응된다. 따라서 도 4의 획득부940) 및 복호화부(41)에 관한 내용은 각각 도 2의 획득부(20) 및 복호화부(22)와 관련하여 부가될 수 있다.

도 5는 본 발명의 일 실시예에 따른 필름 그레인 노이즈 보존을 위한 영상 부호화 방법의 흐름도이다.

S500 단계에서, 영상 부호화 장치(1)는 현재 영상의 고정 영역 및 움직임 영역을 검출할 수 있다.

S510 단계에서, 영상 부호화 장치(1)는 현재 영상에서의 부호화 오차를 산출할 수 있다.

S520 단계에서, 영상 부호화 장치(1)는 움직임 영역에서의 FGN에 의한 오차를 산출할 수 있다.

S530 단계에서, 영상 부호화 장치(1)는 현재 영상에서의 부호화 오차에서 FGN에 의한 오차를 제외한 오차를 최소화하도록 현재 영상을 부호화할 수 있다.

도 6는 본 발명의 일 실시예에 따른 필름 그레인 노이즈 보존을 위한 영상 복호화 방법의 흐름도이다.

S600 단계에서, 영상 복호화 장치(2)는 비트스트림으로부터 부호화 정보를 획득한다. 이때, 부호화 정보는 현재 영상의 오차가 산출되고, 현재 영상에서의 오차에서 FGN에 의한 오차를 제외한 오차를 최소화하도록 부호화된 정보일 수 있다.

S610 단계에서, 영상 복호화 장치(2)는 현재 영상의 고정 영역 및 움직임 영역을 결정할 수 있다. 영상 복호화 장치(2)는 부호화 정보에 포함된 현재 영상의 고정 영역 및 움직임 영역을 나타내는 정보를 기초로 현재 영상의 고정 영역 및 움직임 영역을 결정할 수 있다.

S620 단계에서, 영상 복호화 장치(2)는 결정된 영역과 관련된 부호화 정보에 기초하여 현재 영상을 복원할 수 있다. 영상 복호화 장치(2)는 현재 영상의 고정 영역 및 움직임 영역에 대한 부호화 정보를 이용하여 현재 영상을 복원할 수 있다.

도 7는 본 발명의 다른 실시예에 따른 필름 그레인 노이즈 보존을 위한 영상 부호화 방법의 흐름도이다.

S710 단계에서, 영상 부호화 장치(1)는 선행 복수의 프레임들의 부호화에 사용된 파라미터의 서로 다른 값에 의해 발생하는 화질들 간의 차이를 나타내는 선행 프레임들의 화질 분포 구성을 결정할 수 있다.

S720 단계에서, 영상 부호화 장치(1)는 선행 프레임들의 화질 분포 구성에 기초하여 현재 복수의 프레임들의 화질 분포 구성을 결정할 수 있다.

S730 단계에서, 영상 부호화 장치(1)는 결정된 현재 프레임들의 화질 분포 구성에 기초하여 현재 프레임들의 부호화 파라미터를 결정할 수 있다.

S740 단계에서, 영상 부호화 장치(1)는 결정된 부호화 파라미터에 기초하여 현재 프레임들을 부호화할 수 있다.

도 8은 본 발명의 다른 실시예에 따른 필름 그레인 노이즈 보존을 위한 영상 복호화 방법의 흐름도이다.

S810 단계에서, 영상 복호화 장치(2)는 비트스트림으로부터 부호화 정보를 획득할 수 있다.

이때, 부호화 정보는 영상 부호화 장치(1)에서 선행 복수의 프레임들의 부호화에 사용된 파라미터의 서로 다른 값에 의해 발생하는 화질들 간의 차이를 나타내는 선행 프레임들의 화질 분포 구성이 결정되고, 결정된 선행 프레임들의 화질 분포 구성이 결정되고, 결정된 선행 프레임들의 화질 분포 구성에 기초하여 현재 복수의 프레임들의 화질 분포 구성이 결정되고, 결정된 현재 복수의 프레임들의 화질 분포 구성에 기초하여 현재 복수의 프레임들의 부호화 파라미터가 결정되고, 결정된 부호화 파라미터에 기초하여 현재 복수의 프레임들에 대해 부호화된 정보를 포함할 수 있다.

S820 단계에서, 영상 복호화 장치(2)는 부호화 정보에 포함된 현재 프레임들의 부호화 파라미터에 기초하여 현재 복수의 프레임들을 복원할 수 있다.

도 9는 본 발명의 다른 실시예에 따른 영상 부호화 장치가 부호화된 복수의 프레임들의 SSIM을 이용하여 현재 복수의 프레임들을 부호화하는 과정을 설명하기 위한 도면이다.

영상 부호화 장치(1)는 부호화하는 과정에서 각 프레임에 대한 SSIM 값 및 람다(lambda) 값을 산출할 수 있다.

도 9를 참조하면, 프레임들(910)은 이전에 부호화된 선행 프레임이다. 프레임들(910)은 각각 프레임을 부호화하는 과정에서 SSIM 값 및 람다(lambda) 값이 산출될 수 있다. 예를 들면, 프레임(911)은 B프레임이고, SSIM 값은 0.50이고, 람다(lambda)값은 50이다. 프레임(912)은 B프레임이고, SSIM 값은 0.60이고, 람다(lambda) 값은 50이다. 프레임(913)은 B프레임이고, SSIM 값은 0.60이고, 람다(lambda) 값은 50이다. 프레임(914)은 BP프레임이고, SSIM값은 0.90이고, 람다(lambda) 값은 10이다. 이때, 프레임들(910) 간에 화질 분포 구성은 SSIM 값에 비례하여 또는 람다(lambda)값에 반비례하여 나타내는 프레임 간 화질의 차이를 나타낸다. 예를 들어, 도 9를 참조하면 프레임들(910)들 간의 화질 분포 구성이 "/V" 형태로 되어있다. "/V" 형태의 화질 분포 구성은 많은 프레임들이 참조하는 프레임에 대해서는 다른 프레임들에 많은 영향을 주기 때문에 높은 비트량을 할당하여(낮은 양자화 파라미터를 적용하여) 부호화하고, 적은 프레임들이 참조하는 프레임에 대해서는 낮은 비트량을 할당하여 부호화함으로(높은 양자화 파라미터를 적용하여) 인해 발생된다. 이는 하나의 GOP 내 프레임마다 화질을 달리하는 계층적 예측(Hierachical prediction)을 통해 프레임들을 부호화함으로써 부호화 효율을 높이기 위함이다. 부호화 효율을 위해 GOP 내 화질 분포 구성의 형태는 서로 다른 GOP에서 유사한 형태로 나타날 수 있다.

한편, 프레임들(920)은 현재 부호화하려는 프레임들이다. 프레임들(910) 간의 최대 SSIM값과 최소 SSIM값의 차이는 0.4이다. 이러한 SSIM 값 차이에 대해 영상 부호화 장치(1)는 프레임 간의 화질 차이가 크다고 판단한다고 가정한다.

프레임(914)은 높은 SSIM 값이 0.90으로 낮은 양자화 파라미터를 이용하여 부호화된 프레임이다.

프레임(914)은 상대적으로 낮은 양자화 파라미터를 이용하여 부호화하기 때문에 프레임(914)은 높은 비트량을 이용하여 부호화된 프레임이다. 즉 고주파 성분인 FGN은 필터링되지 않고 프레임(914)이 부호화되기 때문에 프레임(914)은 필터링되지 않은 FGN을 포함하고 있다.

프레임(913)은 SSIM 값이 0.50으로 높은 양자화 파라미터를 이용하여 부호화된 프레임이다. 프레임(913)은 상대적으로 높은 양자화 파라미터를 이용하여 부호화된 프레임이다. 높은 양자화 파라미터를 이용하여 부호화하기 때문에 프레임(913)은 낮은 비트량을 이용하여 부호화된 프레임이다. 즉, 고주파 성분 FGN이 필터링되어 프레임(913)이 부호화되기 때문에 프레임(913)은 필터링된 FGN을 포함하고 있다.

따라서 프레임들을 복호화할 때, 복호화된 프레임(913)은 필터링된 FGN을 포함하고 있고, 복호화된 프레임(914)은 필터링되지 않은 FGN을 포함하고 있다. 따라서 복호화된 프레임(913,914)를 영상 복호화 장치(2)에서 연속적으로 재생하는 경우에 재생되는 화면 상에서 FGN이 사라졌다가 나타나는 플리커링(flickering) 현상이 발생하게 된다

영상 부호화 장치(1)는 이전에 부호화된 선행 프레임들의 화질 분포 구성에 기초하여 현재 부호화할 프레임들의 화질 분포 구성을 결정한다. 예를 들면 도 9를 참조하면 이전 프레임들(910) 중 최대 SSIM을 나타내는 프레임(914)와 최소 SSIM을 나타내는 프레임(911,913) 간의 차이는 0.4이다. 영상 부호화 장치(1)는 부호화될 프레임 중 최대 SSIM을 나타내는 프레임(924)와 최소 SSIM을 나타내는 프레임(921,923) 간의 차이가 0.4의 절반인 0.2가 되도록 현재 부호화될 프레임들(920)의 SSIM 값을 조정할 수 있다. 예를 들면, 프레임(911)과 프레임(914) 간의 SSIM 차이는 0.4로, 영상 부호화 장치(1)는 프레임(921)과 프레임(914) 간의 SSIM 차이가 0,2가 되도록 프레임(921)과 프레임(924)의 SSIM 값을 결정할 수 있다. 영상 부호화 장치(1)는 최대 SSIM 값을 나타내는 프레임(924)을 프레임(924)에 대응되는 이전 부호화된 선행 프레임(914)의 SSIM값과 동일한 0.9로 유지한다고 하면, 프레임(921,923)은 SSIM값이 0.7이 되도록 조정할 수 있다.

한편, 프레임(912)과 프레임(914)의 SSIM 값의 차이는 0.3이다. 프레임(922)과 프레임(924)의 SSIM 값의 차이가 0.3의 절반인 0.15가 되도록 영상 부호화 장치(1)는 현재 부호화될 프레임(922)의 SSIM 값을 결정할 수 있다. 즉 영상 부호화 장치(1)는 프레임(924)에 대응되는 이전 프레임(914)의 SSIM 값과 동일한 0.9로 유지한다고 하면, 현재 부호화될 프레임(922)의 SSIM값은 0.75가 되도록 조정할 수 있다.

한편 부호화될 프레임들(920)에 대해 SSIM값이 정해지면, 이에 기초하여 영상 부호화 장치(1)는 람다(lambda) 값을 결정할 수 있다. 영상 부호화 장치(1)는 이전 부호화된 선행 프레임들의 SSIM값 및 람다(lambda) 값과 프레임들(920)에 대해 결정된 SSIM 값을 기초로 SSIM 값과 람다(lambda) 값 사이에 반비례 관계에 있다는 것을 이용하여 부호화될 프레임들(920)에 대한 람다(lambda) 값을 결정할 수 있다. 예를 들어, 영상 부호화 장치(1)는 프레임(921)에 대해 결정된 SSIM값이 0.7인 경우, 프레임(921)의 람다(lambda) 값을 30으로 결정할 수 있다.

다만 이에 제한되지 않고, 영상 부호화 장치(1)는 현재 부호화할 프레임들의 프레임별 목표 화질 계수를 미리 설정하고, 현재 프레임에 대응되는 선행 GOP 내 부호화된 선행 프레임의 화질 계수가 낮은 경우, 현재 프레임들의 프레임별 목표 화질 계수에 도달할 수 있도록 현재 프레임의 화질 계수를 결정할 수 있다. 다만 이 경우에도 선행 프레임들의 화질 분포 구성 형태를 유지하도록 할 수 있다. 예를 들어, 이전 부호화된 선행 프레임 1의 SSIM값이 0.5이고, 선행 프레임 2의 SSIM값이 0.6인 경우, 만약 영상 부호화 장치(1)가 선행 프레임 2에 대응되는 현재 프레임 2의 SSIM값을 0.8로 결정하였다면, 영상 부호화 장치(1)는 선행 프레임 1에 대응되는 프레임 1에 대해 설정된 목표 SSIM값이 0.85라고 하더라도 선행 프레임 1이 선행 프레임2의 SSIM값을 넘지 않는 화질 분포 구성에 기초하여 선행 프레임 1에 대응되는 부호화될 프레임 2의 SSIM값을 0.8 미만으로 결정할 수 있다.

영상 부호화 장치(1)는 현재 부호화될 프레임들(920) 중 최대 SSIM 값을 나타내는 프레임(924)와 최소 SSIM값을 나타내는 프레임(921) 간의 차이가 0.2가 되도록 프레임들(920)의 SSIM값을 조정하여 GOP 내 프레임간 SSIM 값이 변화하는 차이(Gap)가 감소하게 된다.

하지만 프레임 간 SSIM 값의 차이에 의해 나타나는 현재 부호화될 프레임들(920)의 화질 분포 구성의 형태는 이전 프레임들(910)의 화질 분포 구성의 형태와 같을 수 있다. 즉, 부호화될 때 표준 코덱에서의 계층 예측(Hierarchical Prediction)의 구조를 유지하면서도 부호화되는 프레임 간의 SSIM 값이 변화하는 차이가 감소됨으로 인해 시청자는 전반적인 화질 향상을 기대할 수 있다.

이에 따라 영상 부호화 장치(1)가 프레임들(920)을 부호화하는 경우, 프레임들(910)을 부호화할때보다 낮은 양자화 파라미터 및 높은 비트량이 이용되고, 따라서 높은 주파수 신호인 FGN이 덜 필터링되기 때문에 시청자가 영상을 시청하는 경우에 발생하는 플리커링 현상과 같은 주관적인 화질 저하에 관련된 문제점이 해결될 수 있다.

도 10은 본 발명의 또 다른 실시예에 따른 영상 부호화 장치 및 영상 복호화 장치에 따라 현재 영상을 부호화 및 복호화하는 과정을 설명하기 위한 도면이다.

도 10을 참조하면, 영상 부호화 장치(1)는 영역 검출부(11), 부호화부(12), FGN 제거부(14) 및 FGN 계수 생성부(15)를 포함할 수 있다.

도 10을 참조하면, FGN 제거부(14)는 현재 영상을 기초로 FGN를 제거한 현재영상 및 FGN을 포함하는 현재 영상을 생성할 수 있다. 영역 검출부(11)는 FGN을 포함하는 현재 영상으로부터 현재 영상의 움직임 영역을 검출한다. FGN 계수 생성부(15)는 영역 검출부(11)에서 검출된 움직임 영역에 따라서 FGN 계수를 달리 생성할 수 있다. FGN 계수 생성부(15)는 움직임이 없는 영역의 FGN을 포함하는 영상에 대해서는 종래의 FGN 계수를 구하는 방식으로 FGN 계수를 결정할 수 있고, 움직임이 있는 영역에 대해서는 FGN 뿐만 아니라 양자화 파라미터를 함께 고려하여 FGN 계수를 생성할 수 있다. 부호화부(12)는 FGN 제거부(14)에서 FGN이 제거된 현재 영상을 부호화할 수 있다. 한편 FGN 계수 생성부(15)에서 생성된 FGN 계수에 관한 정보는 부호화부(12)에서 부호화된 정보와 함께 영상 복호화 장치(2)로 전송될 수 있다.

한편 영상 복호화 장치(2)는 영역 결정부(21), 복호화부(22) 및 FGN 생성부(24)를 포함할 수 있다.

먼저 영역 결정부(21)는 부호화 정보에 기초하여 현재 영상의 움직임 영역을 결정할 수 있다.

복호화부(22)는 부호화 정보를 포함하는 비트스트림을 영상 부호화 장치(1)로부터 수신하고, 비트스트림으로부터 부호화 정보를 획득하고, 부호화 정보를 기초로 FGN이 제거된 현재 영상을 복원할 수 있다. 한편, FGN 생성부(24)는 부호화 정보에 포함된 FGN 계수에 관한 정보를 비트스트림으로부터 획득하고, 획득된 FGN 계수에 관한 정보를 기초로 FGN을 생성할 수 있다. FGN 생성부(24)는 영역 결정부(21)에서 결정된 영역에 따라 결정된 영역에 대한 FGN을 결정할 수 있다. 영상 복호화 장치(2)는 복호화부(22)에서 복원된 FGN 제거된 현재 영상과 FGN 생성부(24)에서 생성된 FGN 을 더하여 현재 영상을 복원할 수 있다.

도 11은 본 발명의 또 다른 실시예에 따른 영상 부호화 장치 및 복호화 장치에 따라 현재 영상을 부호화 및 복호화하는 과정을 설명하기 위한 도면이다.

도 11을 참조하면, 영상 부호화 장치(1)는 부호화부(12), FGN 제거부(14), 및 FGN 계수 생성부(15)를 포함할 수 있다.

도 11을 참조하면, FGN 제거부(14)는 현재 영상을 FGN이 제거된 영상과 FGN을 포함하는 영상으로 분리할 수 있다. FGN 계수 생성부(15)는 FGN 제거부(14)에서 생성된 FGN을 포함하는 영상으로부터 FGN 계수를 결정할 수 있다. 부호화부(12)는 FGN 제거된 영상을 부호화하여 부호화 정보를 생성할 수 있다. 한편, 부호화부(12)는 FGN 계수 생성부(15)에서 결정된 FGN 계수를 함께 부호화 정보에 포함하여 전송할 수 있다.

영상 복호화 장치(2)는 복호화부(22) 및 FGN 생성부(24)를 포함할 수 있다. 복호화부(22)는 비트스트림을 영상 부호화 장치(1)로부터 수신하고, 수신된 비트스트림에 포함된 부호화 정보를 획득한다. 영상 복호화 장치(2)는 획득된 부호화 정보를 기초로 FGN이 제거된 영상을 복원할 수 있다.

한편 FGN 생성부(24)는 부호화 정보에 포함된 FGN 계수에 관한 정보를 기초로 FGN을 생성할 수 있다. FGN 생성부(24)는 FGN 계수에 관한 정보뿐 아니라 이미 복호화된 이전 영상의 부호화 정보를 이용하여 화질 피드백하여 FGN을 생성할 수 있다.

예를 들어, 낮은 비트율로 영상을 복호화하는 경우에, 복원된 FGN이 제거된 영상은 흐릿한 영상형태로 복원되고, 이때, 화질 피드백 없이 FGN 계수에 관한 정보에 기초하여 FGN을 생성하는 경우, 흐릿한 영상에 FGN이 진하게 나타나게 되어 복원된 영상이 부자연스럽다. 따라서 FGN 생성부(24)는 이전 복원된 영상의 부호화 정보를 이용하여 보다 자연스러운 FGN을 생성하고, 생성된 FGN과 복호화부(22)에서 FGN이 제거된 영상을 더하여 현재 영상을 복원할 수 있다.

본 발명의 일 실시예에 따르면, 영상을 부호화하는 과정에서 영상 데이터에 포함된 FGN 정보를 노이즈로 인식하여 제거되지 않도록 FGN을 고려한 새로운 율 및 왜곡 코스트 모델(RD Cost Model)을 정의하고, 영상 부호화 장치(1)는 새롭게 정의된 율 및 왜곡 코스트 모델(RD Cost Model)에 따라 부호화함으로써, FGN 정보가 부호화 과정에서 손실되지 않으면서 효율적으로 압축될 수 있고, 따라서 고효율로 영상 데이터를 압축하면서도 재생시에 FGN 효과가 적용된 영상을 사용자가 경험할 수 있게 한다.

또한 본 발명의 일 실시예에 따르면, 영상 부호화 장치(1)는 영상의 움직임 영역에서의 FGN에 의한 오차를 산출할 때 양자화를 고려하여 FGN에 의한 오차를 산출하고, 산출된 FGN에 의한 오차에 기초하여 영상을 부호화함으로써 고효율로 영상 데이터를 압축하면서도 재생시에 영상의 움직임 영역에서 효과적으로 FGN이 손실되지 않고 적용된 영상을 사용자가 경험할 수 있게 한다.

본 발명의 다른 실시예에 따르면, 부호화할 현재 GOP내에서 기존의 화질 분포 구조를 유지하면서 현재 GOP 내 프레임들에 대해 사용자가 느끼는 화질을 향상시킬 수 있다.

이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다.

한편, 상술한 본 발명의 실시 예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims

영상을 부호화하는 방법에 있어서,
현재 영상의 고정 영역 및 움직임 영역을 검출하는 단계; 및
상기 현재 영상에서의 부호화 오차를 산출하는 단계;
상기 움직임 영역에서의 FGN(Film Grain Noise)에 의한 오차를 산출하는 단계; 및
상기 현재 영상에서의 부호화 오차에서 상기 FGN(Film Grain Noise)에 의한 오차를 이용하여 산출되는 율 및 왜곡 코스트에 기초하여 상기 현재 영상을 부호화하는 단계를 포함하고,
상기 고정 영역 및 움직임 영역을 검출하는 단계는,
상기 현재 영상에서 FGN(Film Grain Noise)을 제거한 영상을 생성하는 단계; 및
상기 생성된 영상에서 상기 움직임 영역을 검출하는 단계를 포함하는 부호화 방법.
제 1 항에 있어서,
상기 움직임 영역을 검출하는 단계는,
모폴로지(Morphology) 연산을 이용하여 움직임 영역을 검출하는 것을 특징으로 하는 부호화 방법.
삭제
제 1 항에 있어서,
상기 움직임 영역에서의 FGN(Film Grain Noise)에 의한 오차를 산출하는 단계는,
양자화에 의한 오차를 고려하여 상기 움직임 영역에서의 FGN에 의한 오차를 산출하는 단계를 포함하는 것을 특징으로 하는 부호화 방법.
제 1 항에 있어서,
상기 움직임 영역에서의 FGN에 의한 오차를 산출하는 단계는,
상기 현재 영상에 대한 크로마(Chroma) 성분의 FGN에 의한 오차 및 루마(Luma) 성분의 FGN에 의한 오차를 산출하는 단계를 포함하는 부호화 방법.
제 5 항에 있어서,
상기 현재 영상에 대한 크로마(Chroma) 성분의 FGN에 의한 오차 및 루마(Luma) 성분의 FGN에 의한 오차를 산출하는 단계는,
상기 루마 성분과 크로마 성분의 양자화 파라미터의 차이를 고려하여 크로마 및 루마 성분의 FGN에 의한 오차를 산출하는 단계를 포함하는 것을 특징으로 하는 부호화 방법.
제 1 항에 있어서,
상기 현재 영상을 포함하는 복수의 프레임들의 부호화에 사용된 파라미터의 서로 다른 값에 의해 발생하는 화질 간의 차이를 나타내는 복수의 프레임들의 화질 분포 구성을 결정하는 단계;
상기 결정된 복수의 프레임들의 화질 분포 구성을 기초로 부호화할 프레임들의 화질 분포 구성을 결정하는 단계; 및
상기 부호화할 프레임들의 화질 분포 구성에 기초하여 상기 부호화할 프레임들의 부호화 파라미터를 결정하고 상기 결정된 부호화 파라미터에 기초하여 상기 부호화할 프레임들을 부호화하는 단계를 더 포함하고,
상기 결정된 부호화할 프레임들의 화질 분포 구성에 따라 상기 부호화할 프레임에 포함된 FGN이 달라지는 것을 특징으로 하는 부호화 방법.
영상을 부호화하는 장치에 있어서,
현재 영상의 고정 영역 및 움직임 영역을 검출하는 영역 검출부;
상기 현재 영상에서의 부호화 오차를 산출하고, 상기 움직임 영역에서의 FGN(Film Grain Noise)에 의한 오차를 산출하는 오차 산출부; 및
상기 현재 영상에서의 부호화 오차에서 상기 FGN(Film Grain Noise)에 의한 오차를 제외한 오차를 이용하여 산출되는 율 및 왜곡 코스트에 기초하여 상기 현재 영상을 부호화하는 부호화부를 포함하고,
상기 영역 검출부는,
상기 현재 영상에서 FGN(Film Grain Noise)을 제거한 영상을 생성하고, 상기 생성된 영상에서 상기 움직임 영역을 검출하는 것을 특징으로 하는 부호화 장치.
영상을 복호화하는 방법에 있어서,
비트스트림으로부터 부호화 정보를 획득하는 단계;
현재 영상의 고정 영역 및 움직임 영역을 결정하는 단계; 및
상기 결정된 영역과 관련된 부호화 정보를 이용하여 상기 현재 영상을 복원하는 단계를 포함하고,
상기 부호화 정보는 상기 현재 영상에서 FGN(Film Grain Noise)가 제거된 영상이 생성되고, 상기 생성된 영상에서 상기 움직임 영역이 결정되고, 상기 현재 영상의 오차가 산출되고, 상기 생성된 영상에서 결정된 움직임 영역에서의 FGN(Film Grain Noise)에 의한 오차가 산출되고, 상기 현재 영상에서의 오차에서 상기 FGN(Film Grain Noise)에 의한 오차를 제외한 오차를 이용하여 산출되는 율 및 왜곡 코스트에 기초하여 상기 현재 영상에 대해 부호화된 정보인 것을 특징으로 하는 복호화 방법.
제 9 항에 있어서,
상기 부호화 정보는 양자화에 의한 오차를 고려하여 상기 움직임 영역에서의 FGN에 의한 오차가 산출되고, 상기 산출된 FGN에 의한 오차를 기초로 상기 현재 영상에 대해 부호화된 정보인 것을 특징으로 하는 복호화 방법.
제 9 항에 있어서,
상기 부호화 정보는 크로마 성분의 FGN에 의한 오차 및 루마 성분의 FGN에 의한 오차를 고려하여 상기 움직임 영역에서의 FGN에 의한 오차가 산출되고, 상기 산출된 FGN에 의한 오차를 기초로 상기 현재 영상에 대해 부호화된 정보인 것을 특징으로 하는 복호화 방법.
제 11 항에 있어서,
상기 부호화 정보는 상기 루마 성분과 크로마 성분의 양자화 파라미터의 차이를 고려하여 상기 크로마 및 루마 성분의 FGN에 의한 오차가 산출되고, 상기 산출된 FGN에 의한 오차에 기초하여 상기 현재 영상에 대해 부호화된 정보인 것을 특징으로 하는 복호화 방법.
제 9 항에 있어서,
상기 부호화 정보에 기초하여 부호화할 프레임들을 복원하는 단계를 더 포함하고,
상기 부호화 정보는 상기 현재 영상을 포함하는 복수의 프레임들의 부호화에 사용된 파라미터의 서로 다른 값에 의해 발생하는 화질 간의 차이를 나타내는 복수의 프레임들의 화질 분포 구성이 결정되고, 상기 결정된 복수의 프레임들의 화질 분포 구성을 기초로 상기 부호화할 프레임들의 화질 분포 구성이 결정되고, 상기 부호화할 프레임들의 화질 분포 구성에 기초하여 상기 부호화할 프레임들의 부호화 파라미터가 결정되고, 상기 결정된 부호화 파라미터에 기초하여 상기 부호화할 프레임들에 대해 부호화된 정보이고, 상기 결정된 부호화할 프레임들의 화질 분포 구성에 따라 상기 부호화할 프레임에 포함된 FGN이 달라지는 것을 특징으로 하는 부호화 방법.
영상을 복호화하는 장치에 있어서,
비트스트림으로부터 부호화 정보를 획득하는 획득부;
현재 영상의 고정 영역 및 움직임 영역을 결정하는 영역 결정부; 및
상기 결정된 영역과 관련된 부호화 정보를 이용하여 상기 현재 영상을 복원하는 복호화부를 포함하고,
상기 부호화 정보는 상기 현재 영상에서 FGN(Film Grain Noise)가 제거된 영상이 생성되고, 상기 생성된 영상에서 상기 움직임 영역이 결정되고, 상기 현재 영상의 오차가 산출되고, 상기 생성된 영상에서 결정된 움직임 영역에서의 FGN(Film Grain Noise)에 의한 오차가 산출되고, 상기 현재 영상에서의 오차에서 상기 FGN(Film Grain Noise)에 의한 오차를 제외한 오차를 이용하여 산출된 율 및 왜곡 코스트에 기초하여 상기 현재 영상에 대해 부호화된 정보인 것을 특징으로 하는 복호화 장치.
제 1 항 내지 제 3 항, 제 4 항 내지 제 7 항 및 제 9 항 내지 제 13 항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.
제 1 항에 있어서,
상기 현재 영상에서의 부호화 오차는 상기 현재 영상의 율 및 왜곡 코스트(Rate and Distortion Cost)를 산출하기 위해 이용되는 상기 현재 영상의 왜곡(Distortion) 값이고,
상기 FGN에 의한 오차는 상기 FGN에 의한 왜곡(Distortion) 값인 것을 특징으로 하는 부호화 방법.