KR100866201B1

KR100866201B1 - 멀티미디어 휴대형 단말기 사용자를 위한 관심 영역의 추출방법

Info

Publication number: KR100866201B1
Application number: KR1020070017910A
Authority: KR
Inventors: 채경호; 김용덕; 주영훈; 최광표; 오윤제; 김창익; 김원준
Original assignee: 삼성전자주식회사; 한국정보통신대학교 산학협력단
Priority date: 2007-02-22
Filing date: 2007-02-22
Publication date: 2008-10-30
Also published as: EP2126835A1; CN101711398A; EP2126835A4; WO2008103010A1; US8411959B2; US20100150451A1; KR20080078186A

Abstract

본 발명은 멀티미디어 휴대형 단말기 사용자를 위한 관심 영역의 추출 방법에 관한 것으로, 단말기에 화면단위로 입력되는 입력영상에서 탐색 영역을 설정하여 주변 환경의 밝기 차이에 의해 관심 영역의 경계 좌표 후보군을 추출하며, 이러한 경계 좌표 후보군 중에서 일정 프레임 동안의 학습을 통해 관심 영역의 경계 좌표를 결정하고, 결정된 좌표의 관심 영역을 확대하여 디스플레이함으로써 사용자들이 화면상에서 가장 관심을 갖게 되는 영역 또는 사용자들이 다른 영역에 비해 더욱 주의를 기울이는 영역을 자동으로 추출한다.

이후 사용자가 원할 때마다 관심 영역을 확대하여 사용자들에게 보다 나은 시청 경험과 이해를 제공해주는 효율적인 영상의 시청이 가능해진다.

관심 영역, 경계 좌표, 프레임, 스코어 영역, 추출, 확대, SPD, DSPD

Description

멀티미디어 휴대형 단말기 사용자를 위한 관심 영역의 추출 방법{METHOD EXTRACTION OF A INTEREST REGION FOR MULTIMEDIA MOBILE USERS}

도 1은 운동경기가 방송되고 있는 DMB 폰을 나타내는 도면

도 2는 운동경기 비디오에 존재하는 여러 종류의 스코어 형태를 나타내는 도면

도 3은 본 발명의 일실시 예에 따른 운동경기 비디오 중에서 축구 경기 비디오를 나타내는 도면

도 4는 본 발명의 일실시 예에 따른 운동경기 비디오에서의 스코어 영역 추출 방법을 나타내는 흐름도

도 5는 도 2에 대하여 왼쪽 상단의 x, y의 좌표를 추출하기 위한 DSPDv, DSPDh의 변화를 나타내는 그래프

도 6은 본 발명의 일실시 예에 따른 운동경기 비디오에서의 스코어 영역 추출한 후 확대하여 나타내는 도면

도 7은 본 발명의 일실시 예에 따른 운동경기 비디오에서의 실제 스코어 영역과 추출된 스코어 영역을 비교하여 나타내는 도면

본 발명은 멀티미디어 휴대형 단말기의 사용자들이 화면상에서 가장 관심을 갖게 되는 영역 또는 사용자들이 다른 영역에 비해 더욱 주의를 기울이는 영역을 자동으로 추출하여 사용자가 원할 때마다 관심 영역을 확대하여 디스플레이하는 멀티미디어 휴대형 단말기 사용자를 위한 관심 영역의 추출 방법에 관한 것이다.

최근 멀티미디어 신호처리 및 전송기술의 급속한 발전과 DVB-H(Digital Video Broadcasting-Handheld) 및 DMB(Digital Multimedia Broadcasting) 등과 같은 새로운 형태의 휴대형 TV 서비스의 등장으로 인해 작은 LCD 패널을 통해 비디오를 시청하는 현상이 증가하고 있다. 도 1은 DMB 폰에서 축구경기 방송을 수신하여 출력하는 상태를 보여주고 있다. 그런데, 주로 비용상의 이유로, 대부분의 서비스들은 휴대형 방송을 위해 기존의 화면 크기를 단지 축소하여 제공하고 있는 실정이다.

휴대형 단말기에 크기가 축소된 영상을 디스플레이 하기에 적합한 영상의 화소수와 비트율 등의 조건을 측정하기 위해 Knoche 등에 의해 실시된 실험에 의하면, 『H. Knoche, J. D. McCarthy, and M. A. Sasse, Can small be beautiful?: assessing image resolution requirements for mobile tv, in MULTIMEDIA '05: Proceedings of the 13th annual ACM international conference on Multimedia, pp. 829-838, ACM Press, (New York, NY, USA), 2005.』에 발표된 바와 같이, 소형단말기에서의 디스플레이를 위한 영상의 직접적인 축소는 시각적으로 상세한 부분 에 대한 손실을 가져옴을 알 수 있었다.

이러한 손실은 영상의 내용이 필드스포츠인 경우, 특히 축구 비디오일 때, 더욱 심해지고 뮤직비디오, 뉴스, 만화 비디오의 순으로 조금씩 나아짐을 알 수 있었다. 따라서, 특정 내용을 담은 비디오의 경우, 휴대형 단말기의 시청자들이 관심 영역 (Region of interest, ROI)만이 확대된 화면을 볼 수 있게 하는 지능형 디스플레이 기술의 개발이 필요한 상태다.

여기서 ROI란 사용자들이 화면상에서 가장 관심을 갖게 되는 영역 또는 사용자들이 다른 영역에 비해 더욱 주의를 기울이는 영역으로 정의될 수 있다. 관심 영역은 상황인지 컨텐츠 적응, 트랜스 코딩, 지능형 정보 관리 등에 활용된다. 또한 관심 영역의 지정은 비디오 장면(scene)을 의미적으로 분석하는 첫 단계가 될 수 있으므로 영상 분석을 위해서도 매우 중요한 기술이라 할 수 있다.

도 2는 운동경기 비디오에 존재하는 여러 종류의 스코어 형태를 나타내는 도면으로서, 휴대형 단말기에서 재생 시 자동으로 스코어 영역을 추출하여 확대 재생할 필요가 있다.

스코어 영역은 축구 경기에서 일반적으로 화면의 왼쪽 상단에 위치하며, 주로 일정한 밝기의 경계선을 가진 사각형 형태로 디스플레이 된다. 또한, 자연 영상과는 달리 그래픽이며, 영상 내에서 디스플레이 되는 위치가 일정하다. 좀더 구체적으로 살펴보면 클로즈업 샷일 경우 스코어 영역의 주변 환경이 정적(static) 상태인 경우가 많다. 이러한 경우 좀더 정확한 스코어 영역의 추출이 가능하다는 장점이 있다.

다양한 축구 경기를 관찰한 결과 대부분의 스코어 영역이 화면의 시작점으로부터 가로 길이의 1/2, 세로 길이의 1/3 크기 영역 안에 포함되기 때문에 탐색 범위를 이 영역 안으로 제한하여 스코어 영역을 효율적으로 추출 할 수 있도록 한다.

그 동안 광고판 영역에 대한 연구는 몇몇 있어 왔으나 스코어 영역 추출에 대한 관련 연구는 활발히 이루어지지 않았다. Okihisa(O. Utsumi, K. Miura, I. Ide, S. Sakai, and H. Tanaka, "An object detection method for describing soccer games from video,"in Proc. Multimedia and Expo, vol. 1, Aug. 2002, pp. 45-48.) 등은 에지(Edge) 정보를 이용하여 그라운드 영역과 캡션(Caption) 영역을 구별하고 있지만 캡션 영역 내에서 스코어 영역과 광고판을 구별하기 쉽지 않은 문제점이 있다. Yoon (Ho-Sub Yoon, Young-lae J. Bae, and Young-kyu Yang, "A soccer image sequence mosaicking and analysis method using line and advertisement board detection," ETRI Journal, vol. 24, Dec. 2002, pp. 443-454.) 등은 광고판의 수평방향으로의 밝기 변화가 그라운드와 다르다는 사실을 이용하여 광고판 영역을 구별하고 있지만 다양한 디자인의 광고판과 스코어 영역이 존재하기 때문에 밝기의 차이를 이용해 이 둘을 구별하기는 쉽지 않다. 따라서 스코어 영역의 특성만을 이용하여 스코어 영역을 추출하는 것이 바람직하다.

상기와 같은 요구에 부응하기 위한 본 발명은 멀티미디어 휴대형 단말기의 사용자들이 화면상에서 가장 관심을 갖게 되는 영역 또는 사용자들이 다른 영역에 비해 더욱 주의를 기울이는 영역을 자동으로 추출 방법을 제공하는데 있다.

또한 사용자가 원할 때마다 추출된 관심 영역을 작은 화면에서도 알아보기 쉽도록 확대하여 디스플레이하는데 있다.

상기 목적을 달성하기 위한 본 발명은 멀티미디어 휴대형 단말기 사용자를 위한 관심 영역의 추출 방법에 있어서, 상기 단말기에 화면단위로 입력되는 입력영상에서 탐색 영역을 설정하여 주변 환경의 밝기 차이에 의해 관심 영역의 경계 좌표 후보군을 추출하는 과정과, 상기 경계 좌표 후보군 중에서 일정 프레임 동안의 학습을 통해 관심 영역의 경계 좌표를 결정하는 과정 및 상기 결정된 좌표의 관심 영역을 확대하여 디스플레이하는 과정을 포함하는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 한편 이하의 실시 예에서는 운동경기 비디오 중에서 축구경기 비디오를 디스플레이 하는 과정을 예로서 설명한다.

우선, 관심 영역은 일정한 밝기를 가진 경계선을 가지고 그 안에 점수나 시간을 표현하는 문자를 포함하기 때문에 Markov source의 한 형태인 자연영상과 달리 이웃 픽셀간의 밝기 차이가 크게 변한다. 따라서 밝기 차이들의 합이 미리 설정된 임계값 보다 커지는 순간을 관심 영역의 경계선으로 인식할 수 있다.

도 3은 본 발명의 일실시 예에 따른 운동경기 비디오 중에서 축구 경기 비디오를 나타내는 도면이고, 도 4는 본 발명의 일실시 예에 따른 운동경기 비디오에서의 스코어 영역 추출 방법을 나타내는 흐름도이다.

도 3과 같이, 화면단위로 입력되는 입력영상에서 굵은 선으로 표시한 사각형 내부를 탐색 영역으로 설정하며(S400), 화살표 방향은 각 측면에 대해 sum of pixel difference(SPD)를 구하는 방향이다.

도 4에 도시된 바와 같이, 스코어 영역의 왼쪽 상단 x 좌표를 추출하기 위해서 먼저, 탐색 영역의 왼쪽 경계에서 오른쪽 방향으로 한 열 단위로 각 픽셀과 이웃하는 픽셀의 밝기 차이를 구하고 절대값을 취하여 합산한다. 또한, y 좌표를 추출하기 위해서는 탐색 영역의 위쪽 경계에서 아래쪽 방향으로 한 행 단위로 각 픽셀과 이웃하는 픽셀의 밝기 차이를 구하고 절대값을 취하여 합산한다(S410).

스코어 영역의 오른쪽 하단 x 좌표를 추출하기 위해서는 탐색 영역의 오른쪽 경계에서 왼쪽 방향으로, y 좌표를 추출하기 위해서는 탐색 영역의 아래쪽 경계에서 위쪽 방향으로 위와 같은 과정을 수행한다(S420). 즉, 수평, 수직방향 측면에 대해 sum of pixel difference (SPD)를 수학식 1과 같이 정의한다.

[수학식 1]

수학식 1에서 SPD_h(x), SPD_v(y)는 수평, 수직 방향 측면들에 대한 SPD들을 나타내며, x, y는 탐색 영역안의 수평, 수직 방향의 좌표를 나타내고, f(x, y)는 (x, y)좌표에서의 밝기를 나타내고, width, height는 탐색 영역의 폭, 높이를 나타낸다. SPD를 이용하여 그 값이 밝기의 차에 대한 임계값 보다 커지는 순간을 스코어 영역의 경계로 인식할 수 도 있으나 영상에 따라 SPD 값이 다양하기 때문에 임계값을 설정하기 쉽지 않다. 따라서 SPD 값의 변화량을 이용해야 할 필요가 있다.

SPD 값의 변화량은 수학식 1을 이용하여 행(또는 열) 단위로 구한 SPD 값의 차이로 알 수 있고, 이 차이가 설정된 임계값 보다 커지는 순간을 스코어 영역의 경계로 인식하게 된다. 즉, 수평, 수직 방향 측면에 대해 difference of SPD (DSPD)를 수학식 2와 같이 정의한다.

[수학식 2]

스코어 영역을 사각형 형태로 추출하기 위해선 스코어 영역의 왼쪽 상단 좌표와 오른쪽 하단의 좌표가 필요하기 때문에 위의 방법을 스코어 영역의 4개 측면에 대해 적용한다. 수직, 수평 방향 측면들에 대한 DSPD_v, DSPD_h가 미리 설정된 임계값 보다 커지는 순간의 (x, y)좌표를 스코어 영역의 경계 좌표로 추출한다(S430).

도 5는 도 2에 대하여 왼쪽 상단의 x, y의 좌표를 추출하기 위한 DSPD_v, DSPD_h의 변화를 나타내는 그래프이다.

본 발명에서는 모든 영상에 대해 임계값으로 200을 사용하였으나 각 영상에 따라 (200, 300) 범위의 값 중 적절한 값을 선택 할 수 있다.

도 5에 도시된 바와 같이, DSPD_v, DSPD_h값이 설정된 임계값 보다 갑자기 커지는 순간을 알 수 있다. 여기서는 임계값 200에 대하여 수평, 수직방향에 대한 각각의 x, y좌표가 (29, 21)로 정해짐을 알 수 있다.

따라서 스코어 영역의 추출을 위한 왼쪽 상단의 좌표는 (29, 21)이 된다. 동일한 방법으로 오른쪽 하단의 좌표도 추출한다.

한편, 일반적으로 축구 경기에서 스코어 영역의 주변 환경은 역동적으로 변하기 때문에 한 프레임만을 이용하여 정확한 스코어 영역의 경계 좌표를 결정하기는 매우 어렵다. 이는 스코어 영역 주변에 광고판이나 관중석이 존재함으로 인해 추출되는 스코어 영역이 그들을 포함하여 원래보다 큰 영역이 추출되기 때문이다.

스코어 영역은 일반적으로 추출된 영역 안에 포함되기 때문에 최적의 스코어 영역을 결정하기 위해서는 일정한 학습 기간 동안 스코어 영역의 왼쪽 상단 경계 좌표를 위해 추출된 후보군 중 최대 x, 최대 y값을 가지는 좌표가 필요하고, 스코어 영역의 오른쪽 하단 경계 좌표를 위해 추출된 후보군 중 최소 x, 최소 y값을 가지는 좌표가 필요하다는 사실을 알 수 있다. 따라서 일정 프레임 구간에 대한 학습을 통해 위의 조건을 만족하는 경계 좌표를 결정한다.

일정 프레임 구간 동안 비교를 위해 초기 좌표값을 설정한 후(S440), 매 프레임마다 현재 프레임에서 구한 경계 좌표와 이전 프레임까지의 경계 좌표를 비교하는 과정을 반복한다(S450).

스코어 영역 왼쪽 상단의 좌표를 위해서는 최대 x, 최대 y가 필요하므로 x, y값이 각각 더 큰 좌표를 저장하고, 스코어 영역 오른쪽 하단의 좌표를 위해서는 최소 x, 최소 y가 필요하므로 x, y값이 각각 더 작은 좌표를 저장한다. 이에 기본적인 알고리즘은 아래와 같다.

temp_max와 temp_min 의 초기 좌표값으로 각각 -1과 1000을 설정하였다. -i는 현재 프레임에서의 추출된 좌표를 나타낸다. 또한 학습 구간으로 100 프레임을 사용하였다. 100 프레임 구간 동안 temp_max와 temp_min의 좌표값과 현재 프레임에서 추출한 왼쪽 상단 좌표 값, 오른쪽 하단 좌표 값을 비교하여 최종 경계 좌표값을 결정한다. 즉, 스코어 영역 왼쪽 상단의 좌표를 위해서는 이전 프레임의 경계 좌표값보다 x, y값이 각각 더 큰 좌표를 결정하고(S460), 스코어 영역 오른쪽 하단의 좌표를 위해서는 x, y값이 각각 더 작은 좌표를 결정한다(S470).

학습이 끝나면 더 이상 좌표 추출을 위한 처리과정을 실행하지 않고 temp_max와 temp_min 에 저장된 최적의 경계 좌표 x, y를 이용하여 추출한 스코어 영역을 확대하게 된다(S470).

도 6은 본 발명의 일실시 예에 따른 운동경기 비디오에서의 스코어 영역 추출한 후 확대하여 나타내는 도면이다.

도 6에 도시된 바와 같이, 휴대형 단말기의 작은 화면에서도 알아보기 쉽게 위에서 결정한 최적의 스코어 영역을 선형 보간법 (bi-linear interpolation)을 사용하여 2배로 확대한다.

스코어 영역이 없는 프레임에서도 스코어 영역을 디스플레이 하기 위해서 몇 프레임 앞서 표시된 스코어 영역을 저장한다. 본 발명에서는 스코어 영역의 주변 환경이 정적인 클로즈업 샷[1] 프레임의 스코어 영역을 저장한다. 저장한 스코어 영역과 알고리즘을 통해 결정한 최적의 경계 좌표를 이용하여 추출한 영역의 밝기 차이가 설정된 임계값 보다 크면 현재 프레임에 스코어 영역이 없는 것으로 판단하고 저장한 스코어 영역을 디스플레이 한다.

이러한 본 발명은 Win32 환경에서Visual Studio 2003 (C++)을 이용하여 개발하였으며, MPEG 복호화를 위해 FFMpeg 라이브러리를 이용하였다. 본 발명은 5분짜리 축구 경기 영상을 352x240, 29.97fps의 MPEG-1 포맷으로 부호화하여 실험에 이용하였다. 모든 과정은 Pentium - 4 3.00GHz PC에서 실시간으로 수행되었다.

또한, 본 발명에서는 스코어 영역 추출의 정확성을 측정하기 위해 수학식 3과 같이 정의되는 Recall과 Precision을 사용하였다.

[수학식 3]

정확성에 관계없이 추출된 스코어 영역이 실제 스코어 영역 보다 크다면 Recall 값이 커지고 추출된 스코어 영역이 실제 스코어 영역 보다 작다면 Precision 값이 커지기 때문에 Recall과 Precision을 동시에 살펴야 한다.

도 7은 본 발명의 일실시 예에 따른 운동경기 비디오에서의 실제 스코어 영역과 추출된 스코어 영역을 비교하여 나타내는 도면이다.

도 7에 도시된 바와 같이, 4개의 축구 경기 비디오를 이용하여 Recall과 Precision을 구하였으며, 실제 스코어 영역(왼쪽 : 위에서부터 아래로 각각 영상 1, 영상 2, 영상3, 영상 4)과 본 발명의 알고리즘에 의해 추출된 스코어 영역(오른쪽)으로 자세히 나타내고 있다. 또한, 표 1은 각 영역에 해당하는 픽셀 수, 표 2는 Recall과 Precision을 측정한 결과이다.

[표 1]

	실제 스코어 영역	추출된 스코어 영역	추출된 영역 중 실제 스코어 영역
영상 1	1501	1509	1263
영상 2	1788	1610	1610
영상 3	2232	2232	2232
영상 4	1678	866	866

[표 2]

	Recall(%)	Precision(%)
영상 1	84.14	83.69
영상 2	90.04	100
영상 3	100	100
영상 4	51.61	100

또한, 본 발명은 실제 모바일 기기의 응용을 위해서 PDA용으로도 개발하였다. Microsoft Embeded Visual Studio 4.0을 이용하여 개발하였으며, 실험에는 HP iPAQ hx4700을 사용하였다. 성능 측정을 위해 h.264 포맷으로 재생시간 2분을 갖는 축구 경기 비디오(대한민국 대 독일 : 2004년 친선 축구 경기, 이탈리아 대 일본 : 2004년 아테네 올림픽 축구 경기)를 이용하였으며, 본 발명에서 제안하는 알고리즘을 적용한 영상 두 개에 대해 수학식 1을 이용하여 성능 측정한 결과를 표 3에 정리하였다.

[표 3]

	대한민국 vs. 독일	이탈리아 vs. 일본
점수상자 추출 없을 시 평균 재생 속도	31.045 frame/sec	30.166 frame/sec
점수상자 추출 시 평균 재생 속도	29.251 frame/sec	28.667 frame/sec
시간 증가율(%)	5.78	4.97

본 발명은 휴대형 단말기의 작은 화면에서도 스코어 영역을 쉽게 볼 수 있도록 스코어 영역을 추출한 후 확대하여 디스플레이 하는 시스템을 제안하였으며, PDA에서 전체 디스플레이에 약 29 frame/sec의 속도를 보이고 있으며 사용자의 취향에 따라 추출 기능의 on/off가 가능하다.

이를 통해 축구 경기 이외에도 다양한 스포츠 경기나 뉴스의 헤드라인 박스 추출 등에 응용 될 수 있을 것으로 기대된다.

상기와 같이 본 발명의 일실시 예에 따른 멀티미디어 휴대형 단말기 사용자를 위한 관심 영역의 추출 방법이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나 여러 가지 변형이 본 발명의 요지를 벗어나지 않고 다양한 실시예가 있을 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.

상기한 바와 같이 이루어진 본 발명은 멀티미디어 휴대형 단말기의 사용자들이 화면상에서 가장 관심을 갖게 되는 영역 또는 사용자들이 다른 영역에 비해 더욱 주의를 기울이는 영역을 자동으로 추출하는 방법과, 사용자가 원할 때마다 이를 확대하여 디스플레이 함으로써, 사용자들에게 보다 나은 시청 경험과 이해를 제공해주는 효율적인 영상의 시청이 가능해진다.

Claims

멀티미디어 휴대형 단말기에 있어서,

상기 단말기에 화면단위로 입력되는 입력영상에서 탐색 영역을 설정하여 주변 환경의 밝기 차이에 의해 관심 영역의 경계 좌표 후보군을 추출하는 과정과;

상기 경계 좌표 후보군 중에서 일정 프레임 동안의 학습을 통해 관심 영역의 경계 좌표를 결정하는 과정; 및

상기 결정된 좌표의 관심 영역을 확대하여 디스플레이하는 과정을 포함하는 것을 특징으로 하는 멀티미디어 휴대형 단말기 사용자를 위한 관심 영역의 추출 방법.
제1항에 있어서, 상기 추출 과정은 상기 탐색 영역의 왼쪽 상단의 X, Y좌표를 추출하기 위해 열 및 행 단위로 각 픽셀과 이웃하는 픽셀의 밝기 차이를 구하고 절대값을 합산하는 단계와;

상기 탐색 영역의 오른쪽 하단의 X, Y좌표를 추출하기 위해 열 및 행 단위로 각 픽셀과 이웃하는 픽셀의 밝기 차이를 구하고 절대값을 합산하는 단계; 및

상기 합산된 값들의 차이를 나타내는 DSPD 값이 설정된 임계값보다 커지는 순간의 X, Y 좌표를 상기 관심 영역의 경계 좌표 후보군으로 추출하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 휴대형 단말기 사용자를 위한 관심 영역의 추출 방법.
제2항에 있어서, 상기 탐색 영역의 수평, 수직 방향 측면에 대한 DSPD값은 다음의 수학식에 의해 구해지는 것을 특징으로 하는 멀티미디어 휴대형 단말기 사용자를 위한 관심 영역의 추출 방법.

(DSPD_v(y) : 수직 방향 측면에 대한 DSPD 값, DSPD_h(x) : 수평 방향 측면에 대한 DSPD 값, SPD_v(y) : 수직 방향 측면에 대한 합산된 값, SPD_h(x) : 수평 방향 측면에 대한 합산된 값, width : 상기 탐색 영역의 폭, height : 상기 탐색 영역의 높이)
제2항에 있어서, 상기 추출 과정은 상기 관심 영역 추출의 정확성을 측정하기 위해 다음의 수학식에 의해 구해지는 것을 특징으로 하는 멀티미디어 휴대형 단말기 사용자를 위한 관심 영역의 추출 방법.
제1항에 있어서, 상기 결정 과정은 상기 입력영상의 일정 프레임 구간 동안 비교를 위해 초기 좌표값을 설정하는 단계와;

일정 프레임 구간 동안 현재 프레임에서 추출한 관심 영역의 경계 좌표와 이전 프레임까지의 경계 좌표를 반복 비교하는 단계와;

상기 관심 영역의 왼쪽 상단의 좌표값을 이전 프레임의 경계 좌표값보다 x, y값이 각각 더 큰 좌표값으로 결정하는 단계; 및

상기 관심 영역의 오른쪽 하단의 좌표값을 이전 프레임의 경계 좌표값보다 x, y값이 각각 더 작은 좌표값으로 결정하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 휴대형 단말기 사용자를 위한 관심 영역의 추출 방법.
제1항에 있어서, 상기 디스플레이 과정은 이전에 표시되어 저장한 관심 영역의 밝기와 상기 결정된 좌표 내의 영역의 밝기와의 차이가 설정된 임계값보다 크면 현재 프레임에 관심 영역이 없는 것으로 판단하여 저장한 관심 영역을 디스플레이하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 휴대형 단말기 사용자를 위한 관심 영역의 추출 방법.