KR100693117B1 - 동영상의 동결프레임 검출방법 - Google Patents

Abstract

기록매체에 저장된 동영상을 재생하여 동영상의 동결 프레임을 검출하는 방법에 있어서, 상기 기록매체에 녹화된 동영상을 재생하는 재생장치로부터 특정 프레임 이미지 간의 픽셀 값(Pixel Value)으로부터 변화율을 추출하여 기준값을 산정하는 단계; 상기 산출된 기준값을 데이터 베이스에 저장하는 단계; 검출대상 동영상의 프레임 이미지 간의 픽셀 값으로부터 변화율을 추출하는 단계; 및 상기 저장된 기준값을 로딩하여 상기 기준값과 상기 검출대상 동영상의 추출된 변화율을 비교하여 상기 추출된 변화율이 상기 기준값을 넘지 않으면 양호 품질로 판정하고 넘으면 불량 품질로 판정하는 단계를 포함하는 것을 특징으로 하는 동영상의 동결 프레임 검출 방법이 개시된다.

동영상, 검사방법, 동결 프레임(멈칫 거림)

Description

동영상의 동결프레임 검출방법{Frozen frame detecting means of image}

도 1은 본 발명의 동영상의 동결프레임(멈칫거림) 검출방법을 나타낸 순서도.

도 2는 본 발명에 따른 프레임 구성을 나타낸 예시도.

삭제

본 발명은 동영상의 멈칫거림 현상인 동영상 동결프레임(멈칫거림)을 검출하는 방법에 관한 것으로, 더욱 상세하게는 캡처된 이미지의 각각의 R, G, B 라인별 픽셀 값(Pixel Value)을 추출하고, 로우패스 필터(Low pass Filter)를 적용하여, 현재의 동영상 프레임의 픽셀 값과 전단 동영상 프레임의 픽셀 값과 후단 동영상 프레임의 픽셀 값을 서로 비교하여 변화율을 산출하여, 양부 판정을 하는 것이다.

일반적으로 DVD와 같은 디지탈 비디오 처리 기술은 멀티미디어 데이터의 처리중 가장 기술적으로 힘든 디지탈 비디오의 처리를 말하나, 실제는 모든 미디어에 해당하는 것이다. 디지탈 비디오 기술은 매체에 기록된 결과를 컴퓨터를 이용해 어떻게 표현할 수 있는가에 관한 기술이다. 디지탈 비디오의 가능성을 최초로 제시한 것은 현재 DVI(Digital Video Interactive)라고 알려져 있는 방식으로 RCA연구진에 의해 80년대 후반부터 추진되어 온 방식이다. 이 방식은 마이크로 프로그래밍을 할 수 있는 비디오 처리에 적합한 명령을 수행하는 특수한 프로세서를 이용, 일반적인 프로세서로는 실시간 내에 처리하기 어려운 기능을 수행가능토록 한 것이다. MPEG의 경우에는 PC상에서의 비디오 처리뿐 아니라 HDTV와 같은 고화질 시스템의 디지털화를 목표로 MPEG II, MPEG III와 같은 계속적인 규격의 개선을 시도하고 있다. 또한 별도의 하드웨어를 구입할 필요없이 메인 프로세서의 처리능력만으로 비디오를 처리하는 기술이 91년부터 소개되기 시작했고. 현재로는 애플의 퀵타임(QuickTime), ,마이크로소프트의 윈도우즈용 비디오(Video for Windows), 인텔의 인디오(Indeo)로 대표되고 있으며, 메인 프로세서의 처리속도는 계속 증가하게 되므로 PC에서는 이 기술이 주류를 이룰 가능성도 매우 크다.

디지탈 화상압축기술의 발전은 첨단기기의 발전으로 인하여 그 표준화 작업이 시작되었다. 하지만 여기서 첨단기기는 단지 화상회의시스템 , 디지탈 방송 코덱시스템 , 화상전화기술에만 한정된 것이 아닌 컴퓨터산업, 통신산업 등에도 요구되는 기술과 상호공유되며 그 핵심기술은 거의 일치된 기술을 사용하고 있다. 일례로 CD-ROM등 광디스크나 Digital 저장매체에의 정보저장을 위한 압축기술은 화상통신 등을 위한 압축 기술과 거의 같은 기술에 의해 실현된다.

MEPG(Moving Picture Experts Group)는 단지 화상 압축기술만이 아닌 비디오/오디오/시스템의 3단계로 나누어 진행중이다. 비디오 분야는 1.5Mbits/s의 화상 압축을 다루고 있다 여기서 1.5Mbits/s를 넘지 않는 이유는 현재 널리 사용되는 디지탈 저장매체의 접근 속도가 이를 넘지 않기 때문이다. 현재 비디오 분야는 C-Cube Microsystems의 D.Le Gall이 의장직을 맏고 있다. 오디오 분야는 채널당 64, 128, 192Mbits/s의 전송속도를 갖는 디지탈 오디오 신호의 압축에 대해 다루고 있다. 시스템 분야는 여러개의 압축된 오디오 및 비디오 신호의 다중화 및 동기문제를 다루고 있다.

현재 비디오나 사진같은 영상들은 대부분의 경우 YUV 컬러 공간상에서 인코딩되는데 여기에서 명도(Luminance ; Y)는 완전한 해상도(즉 320*240 화소로써 이 것은 대략 일반 VHS 비디오의 화질과 비슷하다)를 가질수 있으며 크로미넌스(Chrominance ; U, V)는 수평적으로나 수직적으로 절반의 해상도( 160*120 화소)를 가질 수 있다. 이것은 만일 각각의 Y, U ,V 샘플에 대해서 한 바이트를 할당한다고 할때 화소당 평균적으로 1.5바이트를 사용하게 되는 것이다. 즉 화소당 하나의 Y바이트를 사용하며 2*2의 화소 배열당 하나의 U바이트와 하나의 V바이트를 사용하게 된다.

따라서 비디오의 각 프레임(frame)은 그 크기가 115,200바이트에 이르게 되며 초당 30프레임(현재 TV 방송이나 비디오의 신호는 대략 초당 30프레임으로 동화상을 무리없이 볼수 있는것이다.)을 처리하는 경우에는 1초 동안의 비디오 화면을 저장하기 위해서 3.5MB의 저장장치가 필요하게 된다. 하지만 모션 비디오의 경우에는 많은 중복을 내포하고 있기 때문에 영상의 화질을 크게 저하시키지 않으면서 압축시킬 수 있다.

이렇게 되면 사용자들은 MPEG의 표준안(CD-ROM 이나 그밖의 다른 디지탈 저장 매체를 사용하여 대략 1.5Mbps의 데이터 속도로 녹음 재생하는 것을 목표로 하는 압축된 디지탈 비디오와 오디오의 초벌 표준안)을 사용하여 프레임당 약 4.5KB 의 크기로 압축시킬 수 있게된다. 일단 320*240 화소의 영상을 YUV 형식으로 변환하면 주어진 영상을 4.5KB로 압축하는데 필요한 압축률은 대략 26 : 1 정도가 된다. 동영상은 중복되는 부분이 많으므로 데이터 용량을 높은 비율로압축하지만 이에반해 오디오 데이터는 중복되는 부분이 적기때문에 영상 데이터 만큼 높은 비율로 압축할 수는 없다. 단 ADPCM 방식을 사용하여 4:1 까지는 압축이 가능하다.

이런 방식으로 동영상이 압축되어 저장되는 기록매체를 디지털 다기능 디스크(Digital Versatile Disc - DVD)라고도 하고, 디지털 비디오디스크(Digital Video Disc)라고도 하는데, 디지털 다기능 디스크와 디지털 비디오 디스크는 사실 모두 맞는 말이다.

DVD가 이처럼 두가 지 용어의 약자로 쓰이는 데에는 이유가 있다. 개발 초기의 주된 목적은 '비디오 기능의 강화'에 있었는데, 구체적인 규격을 협의하는 과정에서 그 활용 범위가 점차 확대되었다. 이것은 CD(Compact Disc)가 처음에는 디지털 음악을 위한 규격이었으나 나중에 CD-ROM과 같이 대량 의 데이터를 저장하는 역할로 쓰이게 된 것과 비슷한 결과다. 하지만 DVD는 레이저 디스크(LD), CD, 비디오 테이프 등 기존 매체가 가진 한계를 넘어서 다양한 기능을 수행한다. 때문에 근래에는 비디오 디스크란 의미보다는 '다기능 디스크'에 더 무게 가 실리고 있다. 즉, CD가 단순히 콤팩트한 원판을 의미하는 것이 아닌 것처럼 DVD도 여러 소 프트웨어적 성격을 포함하고 있는 것이다. 간단히 생각하면 DVD란 단지 저장 용량을 늘리고 다 양한 기능을 첨가시킨 CD의 발전 형태일 뿐이지만, 그로 인해 DVD는 차세대 미디어를 대표하는 강력한 기능들을 가지게 된 것이다. 그래서 DVD는 기존 매체의 열악한 저장용량과 비싼 가격, 부족한 멀티미디어 환경을 단번에 해결해줄 해결사로 주목받고 있다. 결국 DVD는 디지털 다기능 디스크로 해석하면 된다.

이러한 DVD는 등에 동영상이 저장 될때는 영상 압축에 영상 전송이 관계될 때, 전송에 허용되는 대역폭이 불충분하다면, 압축 부호기(compression coder)는 단순히 이전 프레임의 복사본을 저장 될 수 있는 이때 발생하는 에러를 동결 프레임(멈칫 거림)이라 하고, 동영상이 순간 정지하는 등의 문제가 발생한다.

또한 상업적으로 DVD의 영상 타이틀을 재생시키고 검사자가 육안으로 판별하는 방법을 사용함으로써 검사 시간의 장기화, 검사자 1인에 의한 다수의 검사에 따른 검사 정확도의 손실, 고급 인적 자원의 낭비 등 검사의 난이도에 비해 매우 비효율적인 검사 방법을 사용했기 때문에 발생했었던 문제점들이 많았다.

본 발명은 상기와 같은 여러 가지 문제점을 고려하여 이루어진 것으로, 그 목적은 DVD의 품질 검사를 무인화, 자동화하여 더욱 정밀하게 검사를 실시함에 따라 검사의 신뢰성을 극대화시키고, 부가적으로 검사 라인의 단순화, 무인화를 실현하여 제조가공비를 절감하고 타사 제품과의 가격경쟁력에서 우위를 얻을 수 있는 동영상의 동결프레임(멈칫거림) 검출방법을 제공함에 있다.

상기와 같은 목적을 달성하기 위하여 본 발명은 디지털 영상 재생장치로부터 연속된 프레임(Frame)을 이미지 캡처 보드(Image caption board)로 수집하고, 수집된 이미지의 라인(Line)별 픽셀 값(Pixel Value)들을 추출한 다음 연속된 프레임(Frame)의 앞뒤 이미지(Image)를 서로 비교하여 그 차이를 이용해서 동결프레임(멈칫거림) 발생을 판별하는 것이다.

또한, 상기 디지털 영상 재생장치로부터 획득한 연속된 프레임(Frame)의 이미지(Image)로부터 추출한 라인(Line)별 픽셀 값(Pixel Value)을 로우패스 필터(Lowpass Filter)를 적용하여 픽셀 값을 산출하여 전후 이미지의 로우패스 필터된 라인별 결과치를 비교하여 그 차이를 이용해서 동결프레임(멈칫거림) 발생을 판별하도록 하는 것이다.

이하에서 본 발명의 바람직한 실시예를 첨부된 도면에 의하여 상세히 설명하면 다음과 같다.

도 1은 본 발명의 일 실시예에 따른 동영상의 동결프레임 검출방법을 나타낸 순서도이다.

도 1에 따르면, 본 발명의 동영상 동결프레임 검출방법은 기준값을 산출하는 단계, 기준값을 저장하는 단계, 대상 동영상을 검사하는 단계, 및 동결프레임을 판정하는 단계로 이루어진다.

먼저, 기준값을 산출하여 저장하는 과정을 설명한다.

디지털 영상 재생장치(예, DVD 플레이어, 디지털 캠코더)를 통하여 동결프레임이 없는 것으로 판정된 동영상을 재생하고(S10), 동영상을 재생하는 중에, 예를 들어, 일시정지(pause) 버튼을 눌러 이미지 캡처 보드를 통해 동영상 이미지를 강제로 캡처한다(S11). 즉, 일시정지는 분명한 동결프레임이고, 이때 발생하는 전후 프레임 간의 차이는 동영상 재생장치에서 발생하는 노이즈(noise)로 간주할 수 있다.

이어 캡처한 이미지를 각각의 RGB 신호 별로 픽셀 값을 추출한다(S12).

이때 영상 재생장치로부터 인가되는 아날로그신호를 받아 이미지 캡처 보드를 통해 동영상을 캡처하기 때문에 아날로그신호에서 발생할 수 있는 왜곡된 신호를 차단하기 위해 로우 패스 필터(Low pass Filter)를 적용하여 사람이 민감하게 인식되는 부분만 추출할 수 있다(단계 S13). 즉, 사람이 인식할 수 없는 부분은 제거한다.

이어 이미지 캡처 보드를 통해 캡처한 각각의 프레임 이미지를 비교한다.

상기 프레임 이미지의 비교는 도 2와 같이 연속되는 프레임에서 현재 프레임(t1)과 이전 프레임(t0)의 이미지의 차이를 비교 연산한다(S14). 즉, 이전 프레임(t0)의 이미지와 현재 프레임(t1)의 이미지의 픽셀 값을 비교하고 그 차이를 연산하게 된다.

이와 같이 비교 연산 후의 차이에 대해 스펙트럼(Spectrum) 분석하여 이미지 변화율을 추출한다(S15). 여기서, 스펙트럼 분석은 프레임 간의 라인별 픽셀 값을 비교 연산한 결과에 대해서 파동을 스펙트럼 분석하는 것과 같이 주파수 성분을 추출하는 것을 의미한다.

상기한 단계 S10 내지 S15의 과정에서 추출된 변화율로부터 기준값을 설정하고, 설정한 기준값을 이후의 사용을 위해 데이터 베이스에 저장한다(S30).

다음은 대상 동영상을 검사하는 과정을 설명한다.

디지털 영상 재생장치를 통하여 검사 대상인 동영상을 재생하고(S20), 동영상을 재생하는 중에 이미지 캡처 보드를 통해 동영상 이미지를 강제로 캡처한다(S21).

이어 캡처한 이미지를 각각의 RGB 신호 별로 픽셀 값을 추출한다(S22).

이때 영상 재생장치로부터 인가되는 아날로그신호를 받아 이미지 캡처 보드를 통해 동영상을 캡처하기 때문에 아날로그신호에서 발생할 수 있는 왜곡된 신호를 차단하기 위해 로우 패스 필터(Low pass Filter)를 적용하여 사람이 민감하게 인식되는 부분만을 추출할 수 있다(S23).

이어 이미지 캡처 보드를 통해 캡처한 각각의 프레임 이미지를 비교한다.

상기한 바와 같이, 프레임 이미지의 비교는 도 2와 같이 연속되는 프레임에서 현재 프레임(t1)과 이전 프레임(t0)의 이미지의 차이를 비교 연산한다(S24).

이와 같이 비교 연산 후의 차이에 대해 스펙트럼 분석하여 이미지 변화율을 추출한다(S25).

이어, 데이터베이스에 저장된 기준값을 로딩하고(S31), 추출된 이미지 변화율을 기준값과 비교한다(S41).

프레임의 이미지들 간에 변화율이 기준값을 넘지 않으면 양호로 판정되고(S42), 변화율이 기준값을 넘으면 불량으로 판정하게 된다(S43).

바람직하게, 이렇게 검출된 멈칫거림 부분에서 동영상 재생 시간에 따른 에러 발생 시점의 시간 정보와 함께 해당 프레임 이미지를 그림 파일 형식으로 저장함으로써 검사 시간 경과 후에도 언제든지 확인할 수 있다.

본 발명은 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 해당 기술분야의 숙련된 당업자가 본 발명을 다양하게 수정 및 변경할 수 있는데, 그 실시예는 다음과 같다.

이상에서 상술한 바와 같이 본 발명은 아날로그 신호로 전송된 동영상을 이미지 캡처 보드를 이용하여 캡처할 시 발생할 수 있는 노이즈를 제거할 수 있어, 왜곡이 없는 정확한 측정을 할 수 있고, 검사자가 육안으로 판별할 때 인식하기 힘들었던 매우 짧은 시간(0.1초) 사이에 발생한 미세한 멈칫거림까지 판별이 가능하게 되고, 다수의 디지털 영상 재생 장치를 선택하여 다양한 재생 매체르 이용, 검사를 실시할 수 있으며 검사 결과와 에러 발생시의 화면을 정지화면 저장이 가능하기 때문에 신뢰도 높은 실질적인 무인화 자동 검사가 가능한 장점이 있다.

Claims (5)

1. 기록매체에 저장된 동영상을 재생하여 동영상의 동결 프레임을 검출하는 방법에 있어서,

   상기 기록매체에 녹화된 동영상을 재생하는 재생장치로부터 특정 프레임 이미지 간의 픽셀 값(Pixel Value)으로부터 변화율을 추출하여 기준값을 산정하는 단계;

   상기 산출된 기준값을 데이터 베이스에 저장하는 단계;

   검출대상 동영상의 프레임 이미지 간의 픽셀 값으로부터 변화율을 추출하는 단계; 및

   상기 저장된 기준값을 로딩하여 상기 기준값과 상기 검출대상 동영상의 추출된 변화율을 비교하여 상기 추출된 변화율이 상기 기준값을 넘지 않으면 양호 품질로 판정하고 넘으면 불량 품질로 판정하는 단계를 포함하는 것을 특징으로 하는 동영상의 동결 프레임 검출 방법.
2. 삭제
3. 삭제
4. 삭제
5. 삭제

Images