KR20070081663A - 동일한 손실 압축 적용이 가능한 영상 처리 장치 및 그장치가 탑재된 이동통신 단말기에서 실행 가능한 영상 처리방법 - Google Patents

Abstract

본 발명은 영상 처리 장치에 관한 것으로서, 프레임 단위로 입력되는 영상데이터의 각 프레임별 대표값을 추출하는 제1 프레임 대표값 추출부와, 제1 프레임 대표값 추출부로부터 입력되는 프레임 대표값을 저장하는 제1 버퍼부와, 프레임 단위로 입력되는 영상데이터를 이산 변환하고 설정된 양자화 스텝 사이즈에 따라 부호화하는 부호기와, 부호기로부터 입력되는 부호화된 프레임을 복호화하는 복호기와, 복호기로부터 입력되는 복호화된 프레임의 대표값을 추출하는 제2 프레임 대표값 추출부와, 제2 프레임 대표값 추출부로부터 입력되는 프레임 대표값을 저장하는 제2 버퍼부와, 제2 버퍼부와 제1 버퍼부로부터 입력되는 프레임 대표값을 기초로 PSNR(Pixel Signal To Noise Ratio)를 산출하고, 상기 산출된 PSNR과 미리 설정된 PSNR 임계치를 비교하여 그 결과에 따라 양자화 스텝 사이즈를 조절하는 부호화 제어부를 포함한다.

영상 처리 장치, 이동통신 단말기, PSNR(Pixel Signal To Noise Ratio), 프레임

Description

동일한 손실 압축 적용이 가능한 영상 처리 장치 및 그 장치가 탑재된 이동통신 단말기에서 실행 가능한 영상 처리 방법{Image handling device and method for being executable in mobile communication terminal loaded with it}

도 1 은 본 발명의 일 실시예에 따른 영상 처리 장치의 구성을 개략적으로 도시한 블록도,

도 2 는 본 발명의 일 실시예에 따른 영상 처리 장치가 구현된 이동통신 단말기에서 실행 가능한 영상 처리 흐름도이다.

<도면의 주요부호에 대한 설명>

11 : 카메라부 12 : 프레임 저장부

13 : 부호기 14 : 복호기

15 : 제1 프레임 대표값 추출부 16 : 제1 버퍼부

17 : 제2 프레임 대표값 추출부 18 : 제2 버퍼부

19 : 부호화 제어부

본 발명은 영상 처리 장치에 관한 것으로서, 특히 영상 처리 장치에서 영상 의 프레임별 손실 압축을 일정하게 구현할 수 있는 기술에 관한 것이다.

동영상 전문가 그룹(MPEG)은 부호화/복호화 표준을 규정하고 있다. 그러나 동영상 전문가 그룹(MPEG)은 부호기의 양자화 스텝 사이즈를 제어하는 특정 방법을 한정하지는 않는다. 일반적으로, 양자화 스텝 사이즈를 변화시키는 것은 실제로 원시 영상데이터의 시각 품질을 떨어뜨리게 된다.

현재의 MPEG 코딩 방법에서 각 프레임에 대한 양자화 스텝 사이즈는 동일 타입의 모든 영상들이 영상 그룹내에서 동일한 복잡도를 가진다는 가정하에 선택된다. 그러나, 이 기준에 의해 선택된 양자화 스텝 사이즈는 각 영상의 복잡도가 시간에 따라 변하기 때문에 최적의 코딩 성능을 얻지 못할 수도 있다. 즉, 동영상 촬영 시 동일한 손실 압축값인 양자화 스텝 사이즈를 적용할지라도 프레임별로 상당히 다양하게 손실 압축된다.

그러므로, 동영상 촬영시 영상의 전체 품질을 유지를 위해 프레임마다 동일한 손실 압축을 위해, 프레임에 대한 양자화 스텝 사이즈를 적합하게 조절하는 장치 및 방법이 이 기술 분야에 요구되고 있다.

본 발명은 이 같은 배경에서 제안된 것으로서, 본 발명의 목적은 영상 처리 장치에서 영상의 프레임별 손실 압축을 일정하게 구현할 수 있는 기술을 제공하는 것이다.

상기와 같은 목적을 달성하기 본 발명의 일 양상에 따른 영상 처리 장치는, 프레임 단위로 입력되는 영상데이터의 각 프레임별 대표값을 추출하는 제1 프레임 대표값 추출부와, 제1 프레임 대표값 추출부로부터 입력되는 프레임 대표값을 저장하는 제1 버퍼부와, 프레임 단위로 입력되는 영상데이터를 이산 변환하고 설정된 양자화 스텝 사이즈에 따라 부호화하는 부호기와, 부호기로부터 입력되는 부호화된 프레임을 복호화하는 복호기와, 복호기로부터 입력되는 복호화된 프레임의 대표값을 추출하는 제2 프레임 대표값 추출부와, 제2 프레임 대표값 추출부로부터 입력되는 프레임 대표값을 저장하는 제2 버퍼부와, 제2 버퍼부와 제1 버퍼부로부터 입력되는 프레임 대표값을 기초로 PSNR(Pixel Signal To Noise Ratio)를 산출하고, 상기 산출된 PSNR과 미리 설정된 PSNR 임계치를 비교하여 그 결과에 따라 양자화 스텝 사이즈를 조절하는 부호화 제어부를 포함한다.

이와 같은 양상에 따른 영상 처리 장치는 프레임 단위로 입력되는 영상데이터의 프레임별 PSNR을 산출하여 이를 기초로 영상데이터를 압축하는 복호기의 양자화 스텝 사이즈를 조절함으로서, 영상데이터의 프레임별 손실 압축을 일정하게 구현할 수 있다.

본 발명의 다른 양상에 따른 이동통신 단말기에서 실행 가능한 영상 처리 방법은, 카메라를 제어하여 동영상을 촬영하는 단계와, 카메라로부터 입력되는 영상데이터를 프레임 단위로 입력받아 각 프레임별 대표값(A)을 추출하는 단계와, 프레임 단위로 입력되는 영상데이터를 이산 변환하고 설정된 양자화 스텝 사이즈에 따라 부호화하는 단계와, 부호화된 프레임을 복호화하는 단계와, 복호화된 프레임의 대표값(B)을 추출하는 단계와, 프레임 대표값들(A, B)을 기초로 PSNR(Pixel Signal To Noise Ratio)를 산출하는 단계와, 산출된 PSNR과 미리 설정된 PSNR 임계치를 비교하여 그 결과에 따라 양자화 스텝 사이즈를 조절하는 단계를 포함한다.

이와 같은 양상에 따른 영상 처리 방법이 구현된 이동통신 단말기는 카메라를 이용하여 동영상 촬영 시 모든 프레임에 동일한 손실 압축 적용이 가능하다.

전술한, 그리고 추가적인 본 발명의 양상들은 후술하는 실시예를 통해 더욱 명확해질 것이다. 이하에서는 첨부된 도면을 참조하여 기술되는 바람직한 실시예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.

도 1 은 본 발명의 일 실시예에 따른 영상 처리 장치의 구성을 개략적으로 도시한 블록도이다.

도시한 바와 같이, 본 실시예에 따른 영상 처리 장치는 프레임 저장부(12), 부호기(13), 복호기(14), 제1 프레임 대표값 추출부(15), 제1 버퍼부(16), 제2 프레임 대표값 추출부(17), 제2 버퍼부(18) 및 부호화 제어부(19)를 포함한다.

프레임 저장부(12)는 카메라부(11)로부터 입력되는 영상데이터를 저장한다. 일 실시예에 있어서, 프레임 저장부(12)는 카메라부(11)로부터 입력되는 영상데이터 뿐만 아니라, 외장형 메모리 장치 혹은 내부 메모리로부터 재생되어 입력되는 영상데이터를 저장할 수도 있다.

부호기(13)는 프레임 저장부(12)로부터 프레임 단위로 입력되는 영상데이터를 이산 변환하고 설정된 양자화 스텝 사이즈에 따라 부호화한다. 일 실시예에 있어서, 부호기(13)는 이산코사인변환기(DCT : Discrete Cosine Transfer)또는 이산 웨이블릿 변환기(Discrete Wavelet Transform, DWT)와, 예컨대 이산코사인변환되어 이산코사인 변환계수들로 이루어진 프레임을 부호화 제어부(19)로부터 입력되는 양자화 스텝 사이즈에 따라 양자화하는 양자화기와 직류성분 예측기 및 가변길이부호화기(VLC : Variable Length Coder)를 포함할 수 있다.

복호기(14)는 부호기(13)로부터 입력되는 부호화된 프레임을 복호화한다. 일 실시예에 있어서, 복호기(14)는 부호기(13)의 양자화기로부터 입력되는 양자화된 프레임을 양자화기에서 사용한 동일한 양자화 스텝 사이즈를 이용하여 역양자화하는 역양자화기와, 역양자화된 프레임을 역이산코사인변환하는 역이산코사인변환기를 포함할 수 있다.

제1 프레임 대표값 추출부(15)는 프레임 저장부(12)로부터 프레임 단위로 입력되는 영상데이터의 각 프레임별 대표값을 추출한다. 프레임 저장부(12)로부터 프레임 단위로 출력되는 영상데이터는 통상 하나의 휘도와 두개의 컬러차 신호(Y, Cb, Cr)로 표현되며, 일반적으로 YCbCr 4:2:2 포맷과 YCbCr 4:2:0 포맷으로 이루진다. 일 실시예에 잇어서, 제1 프레임 대표값 추출부(15)는 이러한 영상데이터 포맷을 갖는 프레임에 들어있는 휘도값들을 프레임 대표값으로 추출한다.

제1 버퍼부(16)는 제1 프레임 대표값 추출부(15)로부터 입력되는 프레임 대표값을 저장한다. 일 실시예에 있어서, 제1 버퍼부(16)는 제1 프레임 대표값 추출부(15)로부터 3∼4 프레임에 해당하는 프레임 대표값을 입력받아 저장할 수 있는 것으로 한다.

제2 프레임 대표값 추출부(17)는 복호기(14)로부터 입력되는 복호화된 프레 임의 대표값을 추출한다. 일 실시예에 잇어서, 제2 프레임 대표값 추출부(17)는 복호화된 프레임에 들어있는 휘도값들을 프레임 대표값으로 추출한다.

제2 버퍼부(18)는 제2 프레임 대표값 추출부(17)로부터 입력되는 프레임 대표값을 저장한다. 일 실시예에 있어서, 제2 버퍼부(18)는 제2 프레임 대표값 추출부(17)로부터 3∼4 프레임에 해당하는 프레임 대표값을 입력받아 저장할 수 있는 것으로 한다.

부호화 제어부(19)는 부호화를 위해 자유설계가 허용된 부분으로서 예컨대, 부호화에 프레임간 예측부호화를 사용할지 프레임 내 부호화를 사용할지, 양자화 스텝 사이즈를 어떻게 조절할지 등등의 부호화 제어를 수행한다. 본 발명의 특징적인 양상에 따라 부호화 제어부(19)는 제2 버퍼부(18)와 제1 버퍼부(16)로부터 입력되는 프레임 대표값을 기초로 PSNR(Pixel Signal To Noise Ratio, 이하, "PSNR"이라 함.)를 산출하고, 상기 산출된 PSNR과 미리 설정된 PSNR 임계치를 비교하여 그 결과에 따라 양자화 스텝 사이즈를 조절하도록 구현된다. 부호화 제어부(19)의 PSNR을 산출하는 방법을 수학식 1,2로 예시한다.

여기서, MSE(Mean Squared Error)는 압축전 이미지 프레임과 복원 후 이미지 프레임의 화질 열화정도를 의미한다. f(i,j)는 제1 버퍼부(16)로부터 입력되는 프레임 대표값, 예컨대 프레임에 들어있는 휘도값이며, F(i,j)는 제2 버퍼부(18)로부 터 입력되는 프레임 대표값, 예컨대 프레임에 들어있는 휘도값이다. 그리고, N은 한 프레임에 들어있는 휘도 성분 개수이다.

여기서, RMSE(Root Mean Squared Error)는 MSE(Mean Squared Error)에 제곱 루트를 취하여 얻어지는 값으로, 그 값은 압축전 이미지 프레임과 복원 후 이미지 프레임 간의 실제 프레임 화질 열화값을 의미한다. PSNR은 RMSE에 로그 연산을 취하여 데시벨(dB)로 표현되는 값이다.

본 발명의 영상 처리 장치는 카메라 모듈이 탑재된 영상 장치, 예컨대 이동통신 단말기나 디지털 카메라 등에 탑재될 수 있다. 한편, 이동통신 단말기나 디지털 카메라는 부호화를 위해 자유설계가 허용된 부호화 제어부가 동영상 촬영 시 모든 프레임에 동일한 손실 압축 적용이 가능하도록 구현될 수 있다.

도 2 는 본 발명의 일 실시예에 따른 영상 처리 장치가 구현된 이동통신 단말기에서 실행 가능한 영상 처리 흐름도이다.

먼저, 단말기 사용자는 단말기 전원버튼을 눌러서 단말 전원을 온시킨다. 이후, 카메라 촬영메뉴를 선택한 후 동영상 촬영을 선택한다. 이후, 일 실시예에서, 이동통신 단말기는 양자화 스텝 사이즈와 PSNR 임계치를 단말기 사용자 조작에 따라 설정할 수 있다(S201). 다른 실시예에 있어서, 이동통신 단말기는 카메라부를 활성화시킨 후 프리뷰 화면을 디스플레이 하면서 촬영 대기상태를 유지할 수 있다.

이후, 이동통신 단말기는 사용자 조작명령에 따라 카메라를 제어하여 동영상을 촬영한다(S202). 이후, 이동통신 단말기는 카메라로부터 입력되는 영상데이터를 프레임 단위로 입력받아 각 프레임별 대표값(A)을 추출한 후 이를 버퍼에 저장한다(S203). 여기서, 프레임별 대표값은 각 프레임에 들어있는 휘도값들이다.

이후, 이동통신 단말기는 프레임 단위로 입력되는 영상데이터를 이산 변환하고 설정된 양자화 스텝 사이즈에 따라 부호화한다(S204). 이후, 이동통신 단말기는 부호화된 프레임을 복호화(S205)하고, 복호화된 프레임의 대표값(B)을 추출한다(S206).

이후, 이동통신 단말기는 프레임 대표값들(A, B)을 기초로 PSNR(Pixel Signal To Noise Ratio)를 산출한다(S207). 이동통신 단말기에서 프레임 대표값들(A, B)을 기초로 PSNR을 산출하는 방법은 전술한 수학식 1, 2에 따른 프로그램 코드로 구현될 수 있다. 일 실시예에 있어서, PSNR를 산출하는 S207 단계는 복수의 프레임들의 PSNR 평균을 산출하도록 구현될 수 있다. 이는 이동통신 단말기에서 동일한 압축 손실을 적용하기 위해 매 프레임별로 양자화 스텝 사이즈를 적용하는 방식이 시스템에 과부하를 초래할 여지가 있기 때문이다. 이에 이동통신 단말기는 3내지 5 프레임의 PSNR 이동 평균을 구하여, 다음 프레임에 적용하는 방법을 사용하도록 구현될 수 있다.

이후, 이동통신 단말기는 산출된 PSNR과 미리 설정된 PSNR 임계치를 비교한다(S208). 비교결과, 이동통신 단말기는 산출된 PSNR이 미리 설정된 PSNR 임계치 안에 들면 기존 양자화 스텝 사이즈를 유지하고, 카메라 동영상 촬영이 종료되었는 지를 확인한다(S209). 만일 비교결과 산출된 PSNR이 미리 설정된 PSNR 임계치보다 높으면 다음 프레임에 적용할 양자화 스텝 사이즈를 낮추고, 산출된 PSNR이 미리 설정된 PSNR 임계치보다 낮으면 다음 프레임에 적용할 양자화 스텝 사이즈를 높인다(S210).

상술한 바와 같이 본 발명에 따른 영상 처리 장치는 프레임 단위로 입력되는 영상데이터의 프레임별 PSNR을 산출하여 이를 기초로 영상데이터를 압축하는 복호기의 양자화 스텝 사이즈를 조절하여, 영상데이터의 프레임별 손실 압축을 일정하게 함으로써, 영상의 전체 품질을 유지할 수 있는 유용한 효과가 있다.

본 발명은 첨부된 도면을 참조하여 바람직한 실시예를 중심으로 기술되었지만 당업자라면 이러한 기재로부터 본 발명의 범주를 벗어남이 없이 많은 다양한 자명한 변형이 가능하다라는 것은 명백하다. 따라서, 이러한 많은 변형예들을 포함하도록 기술된 특허청구범위에 의해서 해석되어져야 할 것이다.

Claims (7)

1. 프레임 단위로 입력되는 영상데이터의 각 프레임별 대표값을 추출하는 제1 프레임 대표값 추출부와;

   상기 제1 프레임 대표값 추출부로부터 입력되는 프레임 대표값을 저장하는 제1 버퍼부와;

   프레임 단위로 입력되는 영상데이터를 이산 변환하고 설정된 양자화 스텝 사이즈에 따라 부호화하는 부호기와;

   상기 부호기로부터 입력되는 부호화된 프레임을 복호화하는 복호기와;

   상기 복호기로부터 입력되는 복호화된 프레임의 대표값을 추출하는 제2 프레임 대표값 추출부와;

   상기 제2 프레임 대표값 추출부로부터 입력되는 프레임 대표값을 저장하는 제2 버퍼부와;

   상기 제2 버퍼부와 제1 버퍼부로부터 입력되는 프레임 대표값을 기초로 PSNR(Pixel Signal To Noise Ratio)를 산출하고, 상기 산출된 PSNR과 미리 설정된 PSNR 임계치를 비교하여 그 결과에 따라 양자화 스텝 사이즈를 조절하는 부호화 제어부;

   를 포함하는 것을 특징으로 하는 영상 처리 장치.
2. 제 1 항에 있어서, 상기 제1 ,제2 프레임 대표값 추출부에서 추출되는 프레 임 대표값이 프레임에 들어있는 휘도값들인 것을 특징으로 하는 영상 처리 장치.
3. 제 1 항에 있어서, 상기 부호화 제어부가 복수의 프레임들의 PSNR 평균을 산출하고, 산출된 PSNR과 미리 설정된 PSNR 임계치를 비교하여 그 결과에 따라 양자화 스텝 사이즈를 조절하는 것을 특징으로 하는 영상 처리 장치.
4. 제 1 항 내지 제 3 항에 따른 영상 처리 장치가 구현된 이동통신 단말기.
5. 이동통신 단말기에서 실행 가능한 영상 처리 방법에 있어서,

   카메라를 제어하여 동영상을 촬영하는 단계와;

   카메라로부터 입력되는 영상데이터를 프레임 단위로 입력받아 각 프레임별 대표값(A)을 추출하는 단계와;

   프레임 단위로 입력되는 영상데이터를 이산 변환하고 설정된 양자화 스텝 사이즈에 따라 부호화하는 단계와;

   상기 부호화된 프레임을 복호화하는 단계와;

   상기 복호화된 프레임의 대표값(B)을 추출하는 단계와;

   상기 프레임 대표값들(A, B)을 기초로 PSNR(Pixel Signal To Noise Ratio)를 산출하는 단계와;

   상기 산출된 PSNR과 미리 설정된 PSNR 임계치를 비교하여 그 결과에 따라 양자화 스텝 사이즈를 조절하는 단계;

   를 포함하는 것을 특징으로 하는 이동통신 단말기에서 실행 가능한 영상 처리 방법.
6. 제 5 항에 있어서, 상기 프레임 대표값이 프레임에 들어있는 휘도값들인 것을 특징으로 하는 이동통신 단말기에서 실행 가능한 영상 처리 방법.
7. 제 5 항에 있어서, 상기 PSNR(Pixel Signal To Noise Ratio)를 산출하는 단계가 복수의 프레임들의 PSNR 평균을 산출하는 단계인 것을 특징으로 하는 이동통신 단말기에서 실행 가능한 영상 처리 방법.

Images