KR101374380B1 - 소형 디스플레이 기기에서 비디오 영상의 효과적인 시각화를 위한 정적 관심 영역 검출 장치 및 방법 - Google Patents

Abstract

소형 디스플레이 기기에서 비디오 영상의 효과적인 시각화를 위한 정적 관심 영역 검출 장치에 관한 것이다. 일 실시예에 따른 정적 관심 영역 검출 장치는 대상 영상 프레임에서 에지를 추출하여 에지 프레임을 생성하는 에지프레임생성부를 포함하고, 에지 프레임을 이용하여 정적 객체를 검출하는 정적객체검출부 및 검출된 정적 객체의 하나 이상의 특징에 기초하여 정적 관심영역(Region Of Interest, ROI)을 검출하는 관심영역검출부를 포함할 수 있다. 본 실시예에 따르면 시청자의 QoE를 높이기 위해 비디오 영상에서 이러한 정적 관심 영역을 효과적으로 인지하고, 이를 소형 디스플레이 기기에 실시간으로 브라우징할 수 있다.

Description

소형 디스플레이 기기에서 비디오 영상의 효과적인 시각화를 위한 정적 관심 영역 검출 장치 및 방법{APPARATUS AND METHOD FOR DETECTING STATIC REGIONS-OF-INTEREST FOR EFFECTIVE VISUALIZATION OF VIDEO IMAGES IN SMALL DISPLAY DEVICES}

소형 디스플레이 기기에서 비디오 영상의 효과적인 시각화를 위한 정적 관심 영역 검출 기술과 관련된다.

통신 기술의 발전과 더불어 디지털 엔터테인먼트 기기에 대한 소비자들의 수요는 급증하고 있다. 또한, 전자공학의 급격한 발전으로 인해 각종 기기들이 소형화되었으며 사용자들은 작은 디스플레이 기기를 이용하여 사진을 보거나, 영상, 음악, 기타 다양한 콘텐츠를 즐기고 있으며, 특히 휴대용 디지털 기기에서의 실시간 영상 시청에 대한 수요가 폭발적으로 증가하고 있다. 그러나 이러한 소형기기는 화면이 작고 해상도의 한계로 인하여 필연적으로 영상 장면의 중요한 정보들이 명확하게 보이지 않을 수 있다.

정적 객체(static object)는 방송 장치에서 영상이 송출될 때 비디오 프레임의 특정 부분에 고정된 그래픽 객체이며, 비디오 영상에서 정적 객체는 텔레비전 방송의 로고, 스포츠 경기에 대한 정보를 나타내는 전광판, 상업적인 광고물, 특정 자막, 시간 정보를 나타내는 시계 형태의 그래픽 등이다. 이러한 정적 객체들 중 시청자에게 관심의 대상이 되는 영역을 정적 관심 영역 (region-of-interest: ROI)라 하며, 스포츠 비디오 영상에서 전형적인 정적 관심 영역(ROI)는 경기 진행 상황 및 득점 현황 등을 나타내는 득점 전광판(score box)이다. 이러한 정적 관심 영역을 소형기기와 같이 작은 화면에 출력하여 시청자의 시각에 인지시키는 것은 쉽지 않다. 대한민국 공개 특허 제10-2008-0021181호는 영상 데이터 처리 방법에 관하여 개시하고 있다.

시청자의 QoE(Quality of Experience)를 높이기 위해 비디오 영상에서 이러한 정적 관심 영역을 효과적으로 인지하고, 이를 소형 디스플레이 기기에 실시간으로 브라우징하는 장치 및 방법이 제시된다.

일 양상에 따르면, 대상 영상 프레임에서 에지를 추출하여 에지 프레임을 생성하는 에지프레임생성부를 포함하고, 에지 프레임을 이용하여 정적 객체를 검출하는 정적객체검출부 및 검출된 정적 객체의 하나 이상의 특징에 기초하여 정적 관심영역(Region Of Interest, ROI)을 검출하는 관심영역검출부를 포함한다.

추가적인 양상에 따르면, 정적객체검출부는 에지 프레임을 이용하여 정적 에지 지도(static edge map)를 생성하는 에지지도생성부를 더 포함할 수 있다.

또한, 정적객체검출부는 정적 에지 지도에서 손실된 정적 에지 부분을 회복하기 위하여 상기 정적 에지 지도를 재구축하는 에지지도재구축부 및 재구축된 정적 에지 지도에서 노이즈를 제거하는 노이즈제거부를 더 포함할 수 있다.

추가적인 양상에 따르면, 관심영역검출부는 정적 객체에서 상기 하나 이상의 특징을 추출하는 특징추출부, 추출된 특징을 이용하여 상기 정적 객체를 정적 관심영역 집단과 비정적 관심영역 집단으로 분류하는 정적객체분류부 및 분류된 정적 관심영역 집단 중에서 소정 기준을 만족하는 정적 관심영역을 인지하는 관심영역인지부를 포함할 수 있다.

추가적인 양상에 따르면, 정적 관심 영역 검출 장치는 정적 관심영역을 상기 대상 영상 프레임에 브라우징하는 브라우징부를 더 포함할 수 있다.

일 양상에 따르면, 정적 관심 영역 검출 방법은 대상 영상 프레임에서 에지를 추출하여 에지 프레임을 생성하는 단계, 에지 프레임을 이용하여 하나 이상의 정적 객체를 검출하는 단계 및 검출된 정적 객체의 하나 이상의 특징에 기초하여 정적 관심영역(Region Of Interest, ROI)을 검출하는 단계;를 포함한다.

추가적인 양상에 따르면, 정적 객체 검출 단계는 에지 프레임을 이용하여 정적 에지 지도(static edge map)를 생성하는 단계를 포함할 수 있다.

또한, 정적 객체 검출 단계는 정적 에지 지도에서 손실된 정적 에지 부분을 회복하기 위하여 상기 정적 에지 지도를 재구축하는 단계 및 재구축된 정적 에지 지도에서 노이즈를 제거하는 노이즈제거부를 더 포함할 수 있다.

이때, 노이즈는 재구축된 정적 에지 지도 내의 하나 이상의 연결된 영역 중에서 소정의 임계값보다 작은 영역인 것일 수 있다.

한편, 관심 영역 검출 단계는 정적 객체에서 하나 이상의 특징을 추출하는 단계, 추출된 특징을 이용하여 정적 객체를 정적 관심영역 집단과 비정적 관심영역 집단으로 분류하는 단계 및 분류된 정적 관심영역 집단 중에서 소정 기준을 만족하는 정적 관심영역을 인지하는 단계를 포함할 수 있다.

추가적인 양상에 따르면, 정적 관심영역을 대상 영상 프레임에 브라우징하는 단계를 더 포함할 수 있다.

한편, 브라우징하는 단계는 대상 영상 프레임에서 상기 정적 관심영역을 분할하는 단계, 그 분할된 정적 관심영역을 소정 크기로 변환하는 단계, 그 변환된 정적 관심영역으로 대상 영상 프레임의 분할 전 정적 관심영역을 대체하는 단계 및 대체된 정적 관심영역이 대상 영상 프레임의 경계를 벗어나는 경우 그 대상 영상 프레임 내로 위치를 조정하는 단계를 포함할 수 있다.

시청자의 QoE를 높이기 위해 비디오 영상에서 이러한 정적 관심 영역을 효과적으로 인지하고, 이를 소형 디스플레이 기기에 실시간으로 브라우징하는 장치 및 방법이 제공할 수 있다.

도 1은 일 실시예에 따른 정적 관심영역 검출 장치의 블록도이다.
도 2는 일 실시예에 따른 정적 관심영역 검출 절차의 예시도이다.
도 3은 일 실시예에 따른 정적 관심영역 검출 방법의 흐름도이다.
도 4는 도 3의 실시예에 따른 정적 관심영역 검출 방법 중 정적 객체 검출 절차의 상세 흐름도이다.
도 5는 도 3의 실시예에 따른 정적 관심영역 검출 방법 중 정적 관심영역 검출 절차의 상세 흐름도이다.
도 6은 도 3의 실시예에 따른 정적 관심영역 검출 방법 중 정적 관심영역 브라우징 절차의 상세 흐름도이다.
도 7a 내지 7d는 일 실시예에 따른 실험 결과를 나타낸 것이다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하, 본 발명의 실시예들에 따른 정적 관심영역(Region Of Interest, ROI) 검출 장치, 방법 및 프로그램 기록 매체를 도면들을 참고하여 자세히 설명하도록 한다.

도 1은 일 실시예에 따른 정적 관심영역 검출 장치(100)의 블록도이다.

도 1을 참조하면, 정적 관심영역 검출 장치(100)는 정적객체검출부(110)와 관심영역검출부(120)를 포함한다.

정적객체검출부(110)는 비디오 영상의 특정 장면에서 정적 객체(static object)의 위치를 탐지하기 위해 에지(edge)에 기초하여 정적 객체를 검출할 수 있다. 비디오 영상에서 에지 정보는 프레임 사이의 작은 변화를 검출하는 데 적절한 특성 중의 하나이다. 정적객체검출부(110)는 비디오 영상의 프레임들에서 에지들을 추출하여 정적 에지 지도를 생성하고, 이를 이용하여 정적 객체들을 검출할 수 있다.

관심영역검출부(120)는 검출된 정적 객체들의 여러 특징들을 추출하고 그 특징들에 기초하여 정적 관심영역을 검출할 수 있다. 즉, 이러한 정적 객체들의 특징들에 따라 그 정적 객체들을 베이지안 분류기(Bayesian classfier)를 이용하여 정적 관심영역 집단과 비정적 관심영역 집단으로 분류하고 그 정적 관심영역 집단 중에서 어느 하나 이상의 정적 관심영역을 검출할 수 있다.

본 실시예의 추가적인 양상에 따르면, 정적 관심영역 검출 장치(100)는 브라우징부(130)를 더 포함할 수 있다. 브라우징부(130)는 검출된 정적 관심영역들을 디스플레이될 기기에 가장 적절한 크기 및 위치로 조정하여 그 디스플레이 기기의 영상 위치에 브라우징할 수 있다. 즉, 정적 관심영역들은 그 영상이 디스플레이 기기(예: 스마트폰, 태블릿, 모니터)의 다양한 화면 사이즈에 최적화되어 브라우징되므로 보다 개선된 QoE(Quality of Experience)를 제공할 수 있다.

도 2는 일 실시예에 따른 정적 관심영역 검출 절차의 예시도이다. 이하, 도 1과 도 2를 참조하여 정적 관심영역 검출 장치(100)를 자세히 설명한다.

정적객체검출부(110)는 선행처리부(111)를 포함할 수 있다. 일반적으로 영상 신호에는 노이즈가 존재한다. 선행처리부(111)는 원본 영상 프레임에서 노이즈를 제거하여 대상 영상 프레임을 생성할 수 있다. 선행처리부(111)는 실시간 영상에서 그 영상의 안정성을 유지하기 위해 노이즈를 신속하게 제거한다. 노이즈 제거 과정에서 유사한 픽셀로 이루어진 영역이 완화(smoothing)되는 동시에 객체들의 에지 부분이 유지되도록 한다.

선행처리부(111)는 노이즈 제거 과정에서 Tomasi등이 제안한 양측 대칭형 필터(bilateral filter)를 사용할 수 있다(『C. Tomasi and R. Manduchi, "Bilateral Filtering for Gray and Color Images", In proc of the 1998 IEEE International Conference on Computer Vision, Bombay, India, pp. 839-846, 1998』참조). 양측 대칭형 필터 방법은 에지 부분을 유지할 수 있는 비 반복적 영상 완화 방법으로 경계면 부분의 보존과 기타 균질 영역을 유지하는 데 우수한 성능을 나타낸다. 그러나, 이는 예시에 불과하고 어느 점의 값을 그 점을 중심으로 하는 윈도우 내의 중앙값으로 대치하는 필터로서 노이즈를 제거하는데 효과적인 것으로 알려진 중앙값 필터(median filter) 또는 선형 완화 필터(linear smoothing filter) 방식을 포함한 모든 영상의 노이즈 제거 방법이 사용될 수 있다.

정적객체검출부(110)는 에지프레임생성부(112), 에지지도생성부(113), 에지지도재구축부(114) 및 노이즈제거부(115)를 더 포함할 수 있다.

에지프레임생성부(112)는 대상 영상 프레임에서 에지를 추출하여 에지 프레임(edge frame)을 생성할 수 있다. 이때, 대상 영상 프레임은 선행처리부(111)에 의해 노이즈가 제거된 것일 수 있다. 일반적으로 원본 영상, 예컨대 동적인 스포츠 영상은 운동선수와 관중이 빈번하게 위치를 바꾸며 카메라의 뷰 역시 고정되어 있지 않다. 반면에, 덧씌워진 그래픽 부분인 정적 객체는 대부분 고정되어 있으며 거의 위치를 바꾸지 않는다. 따라서 영상 프레임에서 다양한 형태의 정적 객체들을 찾아내기 위해서는 먼저 에지를 추출해야 한다.

예컨대, 비디오 영상 V를 유한한 프레임의 시퀀스 V={f ₁ , f ₂ ,…, f _N }로 정의할 때, 에지프레임생성부(112)는 아래의 수식 즉, 캐니(Canny) 에지 검출기를 이용하여 에지 프레임을 생성할 수 있다. 여기서, 캐니(Canny) 에지 검출기는 정적 객체를 추출하기 위한 에지 탐지 알고리즘으로서, 다양한 레벨의 노이즈가 존재하는 저해상도 영상에서 오차율을 최소화하는 기법으로 잘 알려져 있다(『J. Canny “A Computational Approach to Edge Detection,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol 8, no.6, 1986』 참조). 다만, 이는 하나의 예시에 불과하여 한정 해석되지 아니하며 다양한 에지 탐지 알고리즘이 적용될 수 있다.

여기서, efi 는 주어진 i 번째 프레임 f _i 에 대한 에지 프레임, ∇G는 가우시안 회선 (Gaussian convolution), θ은 Canny 에지 검출 알고리즘의 임계값 연산 (thresholding operation)을 의미한다.

에지지도생성부(113)는 생성된 에지 프레임을 이용하여 정적 에지 지도(static edge map, sem)를 생성할 수 있다. 이때, 인접하는 둘 이상의 에지 프레임에서 공통적인 에지 정보를 추출하고 그 추출된 에지 정보를 바탕으로 정적 에지 지도를 생성할 수 있다. 여기서, 정적 에지 지도는 영상 프레임에 부착된 정적 객체의 윤곽을 추정할 수 있게 하는 에지로 표현된 지도를 의미한다.

예를 들어, n개의 연속된 에지 프레임(ef _{1 ~} ef _n )에서 첫 번째부터 매 3개의 프레임마다 하나씩 선택했을 때, 아래의 수학식 2에 의해 정적 에지 지도를 생성할 수 있다. 여기서, 매 3개의 프레임마다 하나씩 선택하는 것은 일 예이며 신속성 및 실시간 영상의 안정성을 고려하여 전체 에지 프레임 또는 일부의 영상 프레임을 적절하게 선택할 수 있다. 선택된 프레임을 각각 인접한 프레임과 비교 분석하여 정적 에지 지도를 생성한다.

위 수식에서 ∩은 두 에지 프레임의 공통적인 에지 정보를 추출하기 위한 두 에지 프레임 사이의 교차 연산자(intersection operator)이다. 도 2(a)는 대상 영상 프레임을 나타내었으며, 도 2의 (b)는 (a)의 영상 프레임에서 에지를 추출하고 생성한 정적 에지 지도를 나타낸 것으로, 그 정적 에지 지도를 보면 노이즈가 포함된 2개의 에지가 검출되었음을 알 수 있다.

한편, 정적 에지 지도가 생성되는 과정에서 다양한 노이즈와 영상 신호의 강도 때문에 에지 부분에서 손실이 발생할 수 있다. 따라서, 에지지도재구축부(114)는 정적 에지 지도에서 손실된 정적 에지 부분을 회복하기 위해 그 정적 에지 지도를 재구축할 수 있다. 즉, 에지지도재구축부(114)는 정적 에지 지도에서 대부분의 에지가 정적 객체와 관련되므로 수평 또는 수직 에지를 재구성하고 병합하는 과정을 통해 그 정적 에지 지도를 재구축할 수 있다.

좀 더 구체적으로 예를 들면, 에지지도재구축부(114)는 형태학적 닫힘 연산(morphological closing operation)을 이용하여 정적 에지 지도의 재구축 과정을 수행할 수 있다. 즉, 에지지도재구축부(114)는 먼저 수직 또는 수평 에지를 조인(join)하기 위해 2개의 형태학적 닫힘 연산을 수행할 수 있다. 이때, 수평 재구축을 위해서는 1×7의 직사각형 형태 구조요소(rectangle-shaped structuring element)가, 수직 재구축을 위해서는 3×1의 직사각형 형태 구조요소가 이용될 수 있다. 그 다음, 수평 또는 수직 요소의 재구축 이후에는 이웃한 영역들을 병합하여 정적 객체를 형성할 수 있다. 이를 위해 2개의 형태학적 닫힘 연산을 다시 이용할 수 있다. 먼저 수평적으로 정렬된 구성 요소들을 병합하기 위하여 9×3의 십자 형태 구조요소 (cross-shaped structuring element)를 이용하며, 수직적으로 정렬된 구성 요소들을 병합하기 위하여 3×7의 십자 형태 구조요소를 이용할 수 있다.

도 2(c)는 (a)의 원본 영상에서 추출한 에지 지도인 (b)에 대하여 서로 연결된 영역을 검은색으로 나타내어 재구축한 정적 에지 지도이다. 이와 같이 재구축 및 병합 작업을 마치면 재구축된 에지 지도를 얻을 수 있다. 재구축된 정적 에지 지도에서 각각 연결된 영역들은 동일 영역으로 간주할 수 있으며, 이러한 영역들은 정적 객체의 후보군을 형성한다. 도 2의 (d)는 영상에서 정적 객체의 후보군(좌, 우측 상단의 박스와 중앙의 작은 박스들)들을 나타낸 것이다. (d)를 보면 정적 객체의 후보군 중에는 크기가 매우 작은 것(중앙의 작은 박스들)들도 존재하는 것을 알 수 있다.

노이즈제거부(115)는 재구축된 에지 지도의 정적 객체 후보군 중에서 소정 임계값보다 작은 영역을 노이즈로 간주하여 제거할 수 있다. 간단한 관측 정보를 이용하여 탐지된 영역들 중에서 잘못된 후보군들은 제거한다. 일반적으로 시청자가 관심을 가지는 정적 관심 영역은 적절한 크기(높이, 길이, 넓이) 값을 가지므로, 높이, 길이 및 넓이에 대해 미리 소정의 임계값을 설정하고, 만약 검출된 영역의 높이, 길이, 넓이 값이 임계값보다 작을 경우 해당 영역은 노이즈로 간주하여 제거할 수 있다. 이러한 잘못된 후보군을 제거하면 남은 부분이 정적 객체가 된다. 도 2의 (e)는 도 2의 (d)에서 노이즈(중앙의 작은 박스들)를 제거하고 난 후의 검출된 정적 객체(좌우 상단의 박스)의 예시를 나타내고 있다.

이하, 전술한 정적객체검출부(110)를 통해 검출된 정적 객체들 중에서 정적 관심 영역을 검출하는 관심영역검출부(120)에 대해 자세히 설명한다.

관심영역검출부(120)는 특징추출부(121), 정적객체분류부(122) 및 관심영역인지부(123)를 포함할 수 있다.

특징추출부(121)는 정적 관심영역 검출부(120)를 통해 검출된 정적 객체들의 특징을 추출할 수 있다. 특징 선택은 정적 객체들을 분류하는 데 있어 중요하다. 정적 객체들의 특징들을 추출하여 분류 모델을 생성할 수 있다.

일반적으로 스포츠 영상 등의 정적 관심 영역에서 제공되는 대부분의 정보는 텍스트(text)의 형식을 포함하고 있다. 반면에 비-정적 관심영역을 구성하는 방송사의 로고나 상업적 광고물들은 주로 그래픽 기반으로 이루어져 있다. 텍스트는 대부분 높은 대비(high contrast)를 가진 배경 위에 작은 글자의 형태로 위치한다.

따라서, 특징추출부(121)는 검출된 정적 객체에 대하여 픽셀 기반 분석을 수행할 수 있다. 또한, 정적 객체들로부터 수평 에지 검출 반응(horizontal edge detection respone), 수직 에지 검출 반응(vertical edge detection response), 에지 에너지(edge energy) 및 해리스 코너 반응(Harries corner response) 중의 하나 이상의 특성을 추출할 수 있다.

즉, 일 양상에 따르면, 정적 객체들의 수평 에지 검출 반응 또는 수직 에지 검출 반응 특성을 추출할 수 있다. 수평, 수직 에지 반응은 텍스트에서 높게 나타나며 텍스트의 에지는 수평, 수직으로 분해될 수 있다. 여기서 수평, 수직 에지 반응을 계산하기 위해 소벨(Sobel) 연산자를 이용하였다. 다음은 소벨 에지 검출기 반응을 결정하기 위한 식이다.

위 식에서 K _x 와 K _y 는 각각 수평 및 수직 에지를 검출하기 위한 소벨 에지 검출 계산 커널 (edge detection computation kernel)이다.

다른 양상에 따르면, 정적 객체들의 에지 에너지 특성을 추출할 수 있다. 정적 관심영역 중의 텍스트는 일반적으로 밝거나 대비가 높은 영역에 위치한다. 그리고 정적 관심 영역의 레이아웃의 에지 강도(strength)는 전반적으로 높은 편이다. 따라서 정적 객체의 에지 에너지로 소벨 에지의 등급을 측정할 수 있다. 소벨 에지 에너지는 다음과 같이 정의될 수 있다.

또 다른 양상에 따르면, 정적 객체들의 해리스 코너 반응 특성을 추출할 수 있다. 해리스 코너 검출은 컴퓨터 영상에서 특성 검출 기술로 널리 사용되고 있다. 해리스 코너 반응 특성은 글자의 에지를 결정하기 위해 사용된다. 해리스 코너 검출기는 서로 다른 방향에서 위치 변동에 대한 명암도의 변화를 계산하는 지역적 자동 상관 함수(local auto-correlation function)에 기초하여 동작한다. 위치 변환 (u, v)에 대한 평균 명암도 변화 E(u, v)는 다음과 같이 근사될 수 있다.

위 식에서 M은 다음과 같이 정의된다.

위 식에서 W는 윈도우 영역(windowed region)이고, I_x와 I_y는 각각 x,y 방향의 편미분(partial derivatives)이며, M은 이웃 영역의 명암도 구조를 측정한 것이다.

정적객체분류부(122)는 정적 객체들의 추출된 특징을 이용하여 정적 관심 영역 집단과 비-정적 관심영역 집단으로 분류할 수 있다. 정적객체분류부(122)는 두 집단을 분류하는데 탁월한 성능을 보이는 베이지안 분류기(Baysean classfier)를 이용하여 분류할 수 있다.

예를 들어, X={X ₁ , X ₂ ,…, X _n }를 특정한 n번의 관찰 결과 추출된 특징 벡터 (feature vector)라 가정하고, 특징값의 도메인을 D _j (1≤j≤n), C={c ₁ , c ₂ ,…, c _m } 를 특징 벡터에 대한 m 개의 대표 클래스라 하면, 분류기는 다음과 같은 함수로 제시될 수 있다.

베이지안 분류기 g^*(x) 는 데이터 인스턴스 X에 m개의 클래스 중 하나를 할당하는 함수이다. 특징 벡터 x에 대하여 판별 함수는 확률을 고려하여 다음 식으로 정의될 수 있다.

베이의 법칙(Bayes's rule)을 적용하면 다음 식을 얻을 수 있다.

위 방정식에서 분모는 모든 경우에서 동일하므로 분모를 무시할 수 있다. 그러면 판별 함수는 다음 식으로 단순화될 수 있다.

여기에서 P(X=x |C=i)는 클래스 조건 확률 분포 (class conditional probability distribution)를 나타내며, 따라서 베이지안 분류기는 주어진 x에 대하여 최대의 확률을 가지도록 최종적으로 다음 식으로 표현될 수 있다.

P(X=x|C=i)를 추정하기 위한 직접 계산은 특징 공간이 다차원일 경우 오버헤드가 크다. 따라서 각 특징들이 서로 독립적이라는 가정 하에 근사 방법이 사용되며 베이지안 분류기는 다음 식으로 표현될 수 있다. 본 실시예에서는 다음에 표현된 수식을 사용하여 정적 관심영역 집단 및 비-정적 관심영역 집단으로 분류한다.

관심영역인지부(123)는 분류된 정적 관심영역 집단 중에서 위 수식을 통해 계산된 확률값을 이용하여 정적 객체 중에서 가장 높은 가능성을 가진 것들을 정적 관심영역으로 인지할 수 있다.

이하, 전술한 관심영역검출부(120)를 통해 검출된 정적 관심영역을 영상에 브라우징하는 브라우징부(130)에 대해 자세히 설명한다.

브라우징부(130)는 관심영역분할부(131), 관심영역변환부(132), 관심영역대체부(133) 및 위치조정부(134)를 포함할 수 있다. 관심영역분할부(131)는 실시간 영상 프레임에서 검출된 정적 관심영역을 배경으로부터 분할(segmentation)할 수 있다. 관심영역변환부(132)는 분할된 관심영역을 디스플레이 기기에 적합하게 크기를 변환할 수 있다. 일반적으로 소형 기기는 화면이 작기 때문에 정적 관심영역을 수평, 수직으로 적절한 크기로 확대한다. 관심영역대체부(133)는 변환된 정적 관심영역을 원래의 정적 관심영역의 중심을 기준으로 그 정적 관심영역을 대체할 수 있다. 이때, 대체된 정적 관심영역이 해당 영상 프레임의 경계를 벗어나는 경우 위치조정부(134)는 해당 영상 프레임의 경계에 맞추어 이동하여 위치를 조정할 수 있다.

도 3은 일 실시예에 따른 정적 관심영역 검출 방법의 흐름도이다. 도 4는 도 3의 실시예에 따른 정적 관심영역 검출 방법 중 정적 객체 검출 절차의 상세 흐름도이다. 도 5는 도 3의 실시예에 따른 정적 관심영역 검출 방법 중 정적 관심영역 검출 절차의 상세 흐름도이다. 도 6은 도 3의 실시예에 따른 정적 관심영역 검출 방법 중 정적 관심영역 브라우징 절차의 상세 흐름도이다. 정적 관심영역을 검출하는 절차에 대해 앞에서 상세히 설명하였으므로 이하에서는 도 3 내지 도 6을 참조하여 정적 관심 영역 검출 방법을 간단하게 설명한다.

정적 관심영역 검출 방법은, 먼저, 영상 프레임에서 노이즈를 제거하여 대상 영상 프레임을 생성할 수 있다(단계 310). 일반적으로 영상 신호에는 노이즈가 존재하므로, 선행처리부(111)는 원본 영상 프레임에서 노이즈를 제거하여 대상 영상 프레임을 생성할 수 있다.

그 다음, 대상 영상 프레임에서 에지를 추출하여 에지 프레임을 생성한다(단계 320). 에지프레임생성부(112)는 대상 영상 프레임에서 에지를 추출하여 에지 프레임(edge frame)을 생성할 수 있다. 전술한 바와 같이, 에지프레임생성부(112)는 캐니 에지 검출기를 이용하여 에지 프레임을 생성할 수 있다.

그 다음, 에지 프레임을 이용하여 정적 객체를 검출한다(단계 330). 도 4를 참조하여 좀 더 구체적으로 설명하면, 먼저, 에지 프레임을 이용하여 정적 에지 지도를 생성할 수 있다(단계 331). 에지지도생성부(113)는 에지 프레임 전체 또는 일부를 선택하여 인접하는 에지 프레임들을 비교하여 공통적인 에지 정보를 추출하고 그 추출된 에지 정보를 바탕으로 정적 에지 지도를 생성할 수 있다.

그 다음, 정적 에지 지도에서 손실된 에지 부분을 회복하기 위해 정적 에지 지도를 재구축할 수 있다(단계 332). 에지지도재구축부(114)는 정적 에지 지도가 생성되는 과정에서 다양한 노이즈와 영상 신호의 강도 때문에 에지 부분에서 발생하는 손실 부분을 회복하기 위해 그 정적 에지 지도를 재구축할 수 있다. 이때, 에지지도재구축부(114)는 앞에서 예시한 바와 같은 형태학적 닫힘 연산(morphological closing operation)을 이용하여 정적 에지 지도의 재구축 과정을 수행할 수 있다. 마지막으로, 재구축된 정적 에지 지도에서 노이즈를 제거할 수 있다(단계 333). 노이즈제거부(115)는 재구축된 에지 지도의 정적 객체 후보군 중에서 소정 임계값보다 작은 영역을 노이즈로 간주하여 제거할 수 있다. 소정 임계값보다 작은 영역은 실제로 정적 관심영역으로 지정될 가능성이 적은 것들이다.

그 다음, 정적 객체의 특징에 기초하여 정적 관심영역을 검출한다(단계 340). 도 5를 참조하여 좀 더 구체적으로 설명하면, 먼저, 정적 객체에서 특징을 추출할 수 있다(단계 341). 특징추출부(121)는 정적 객체들의 특징들을 추출하여 분류 모델을 생성할 수 있다. 이때, 특징추출부(121)는 검출된 정적 객체에 대하여 픽셀 기반 분석을 수행할 수 있으며, 정적 객체들로부터 수평 에지 검출 반응(horizontal edge detection respone), 수직 에지 검출 반응(vertical edge detection response), 에지 에너지(edge energy) 및 해리스 코너 반응(Harries corner response) 중의 하나 이상의 특성을 추출할 수 있다.

그 다음, 정적 객체를 정적 관심영역 집단과 비-정적 관심영역 집단으로 분류할 수 있다(단계 342). 이때, 정적객체분류부(122)는 베이지안 분류기를 이용하여 정적 객체들을 분류할 수 있다. 마지막으로, 정적 관심영역 집단 중에서 소정 기준을 만족하는 정적 관심영역을 인지할 수 있다(단계 343). 관심영역인지부(123)는 정적객체분류부(122)에 의해 분류된 정적 관심영역 집단 중에서 가능성이 가장큰 정적 객체를 정적 관심영역으로 지정할 수 있다.

마지막으로, 해당 영상 프레임에 검출된 정적 관심영역을 브라우징할 수 있다(단계 350). 도 6을 참조하여 좀 더 구체적으로 설명하면, 먼저, 대상 영상 프레임에서 정적 관심영역을 분할하고(단계 351), 분할된 정적 관심영역을 소정 크기로 변환하고(단계 352), 변환된 정적 관심영역으로 분할 전 정적 관심영역을 대체한다(단계 353). 만약, 대상 영상 프레임의 경계를 벗어나는 경우 대상 영상 프레임내로 위치를 조정할 수 있다(단계 354).

도 7a 내지 7d는 일 실시예에 따른 실험 결과를 나타낸 것이다. 실험은 정적 관심영역 인지를 위해서 정적 객체들을 추출하고 이를 분류하였다. 이 과정을 위해서 정적 객체들로 이루어진 학습용 영상 집합과 검증용 영상 집합을 사용하였다. 다음으로, 정적 관심영역 탐지를 위한 효율성(efficiency)을 측정하기 위해, 여러 종류의 축구 비디오 스트림을 이용하였다.

도 7a는 실험을 하기 위한 시스템 정보를 나타낸 것이다. 도 7a에 도시된 바와 같이, 실험 시스템은 Microsoft Visual C++ 6.0을 사용하여 개발되었다. 시스템 개발 환경은 Microsoft Windows XP 운영체계이며, Open-CV 컴퓨터 비전 라이브러리 (computer vision library)를 이용하였다.

도 7b는 시험 비디오 스트림의 세부 정보를 나타낸 것이다. 도 7b에 도시된 바와 같이, 정적 객체의 추출과 정적 관심영역 인지에 관한 정확도 및 효율성을 검증하기 위하여 7개의 스포츠 비디오 데이터 스트림을 사용하였다. 정적 관심영역 인지를 위한 분류 모델을 생성하기 위한 학습용 영상 집합과 검증용 영상 집합으로 65개의 다양한 스포츠 비디오 클립(video clip)으로부터 130개의 정적 객체들을 추출하였고, 이중 절반은 정적 관심영역, 나머지 절반은 비-정적 관심영역으로 구성되도록 하였다. 스포츠 비디오 클립의 출처는 웹, TV 중계 스포츠 경기, 녹화 저장된 경기 등 다양하며, 이러한 다양한 종류의 비디오 정적 객체들을 이용함으로써 정적 관심영역을 인지하기 위한 강인한(robust) 분류기를 구축할 수 있다.

도 7c는 정적 객체 분류 모델의 성능 평가 결과를 나타낸 것이다. 위의 130개의 정적 객체들을 이용하여 정적 객체 분류 실험이 이루어졌다. 하나의 비디오 클립에서 추출한 정적 객체들은 하나의 그룹을 형성하며, 따라서 각각의 그룹은 하나 또는 두개 이상의 정적 객체들을 포함한다. 65개의 비디오 클립에서 정적 객체들을 추출하였으므로 65개의 그룹이 존재하게 된다. 분류 모델을 위한 학습(training)을 위하여 이 65개의 그룹은 5개의 부속 그룹(subset)으로 나누어졌다.

분류기의 성능을 시험하기 위하여 5번의 시행(trial) 값을 측정하였다. 각각의 시행에서 4개의 부속 그룹으로 이루어진 정적 객체를 학습용 영상 집합 (training image set)으로 사용하였으며, 나머지 하나의 부속 그룹은 과 검증용 영상 집합 (test image set)으로 사용하였다. 이와 같은 방법으로 학습용과 검증용 영상 집합의 역할을 변경하면서 5번을 시행하였다. 첫 번째와 세 번째의 시행에서 13개의 정적 관심영역 중 11개를 올바르게 인지하였다. 2, 4, 5번째의 시행에서는 13개의 정적 관심영역 중 12개를 올바르게 인지하였다. 따라서 정적 관심영역 인지의 평균 정확도는 89.2%이다. 이 값은 더 다양하고, 많은 수의 학습용 영상 데이터를 이용할 경우 증가할 수 있다. 그 결과를 도 7c에 도시하였다.

그 다음, 도 7b에서 제시한 7개의 시험 비디오 스트림을 사용하여 본 실시예의 정적 관심 영역 검출 방법의 성능을 평가하였다. 그리고, 인지된 정적 관심 영역에 대한 세그멘테이션의 정확도 및 전체 실행 시간의 측정 결과를 도 7d에 나타내었다.

인지된 정적 관심영역에 대한 세그멘테이션의 정확도(accuracy)를 픽셀 수준으로 측정하였다. 세그멘테이션의 정확도는 정적 관심영역을 브라우징하기 위하여 중요하다. 정적 관심영역의 세그멘테이션 정확도는 다음의 수식으로 정의된다.

위의 식에서 #CorrectlyDetectedPixels는 분류 알고리즘을 통해 정확하게 탐지된 픽셀의 수를 의미하며, #PixelsOfStaticROIs는 실제 정적 관심영역에 속해 있는 픽셀의 수를 의미한다. 전술한 정적 관심 영역 검출 방법을 7개 시험 비디오 스트림에 적용한 결과 모두 정확하게 정적 관심영역이 인지되었다.

정적 관심 영역이 인지되는 전 과정에 소요되는 시간을 측정하였다. 본 시스템은 실시간으로 작동되도록 설계되었기 때문에 전체 실행 시간이 매우 중요하다. 7개의 시험 비디오에 대한 평균 소요 시간은 0.25초로 본 시스템이 실시간으로 적용될 수 있음을 보여준다.

개시된 정적 관심영역 검출 방법은 위의 시험 예를 통해서도 알 수 있듯이, 높은 정적 관심영역 검출 성능을 보여주었다. 또한, 정적 객체 분류의 정확도는 매우 높은 편이며 실시간으로 적용될 수 있을 정도로 빠른 실행 시간을 보여주었다.

한편, 본 발명의 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 정적 관심영역 검출 장치 110: 정적객체검출부
111: 선행처리부 112: 에지프레임생성부
113: 에지지도생성부 114: 에지지도재구축부
115: 노이즈제거부 120: 관심영역검출부
121: 특징추출부 122: 정적객체분류부
123: 관심영역인지부 130: 브라우징부
131: 관심영역분할부 132: 관심영역변환부
133: 관심영역대체부 134: 위치조정부

Claims (12)

1. 대상 영상 프레임에서 에지를 추출하여 에지 프레임을 생성하는 에지프레임생성부를 포함하고, 상기 에지 프레임을 이용하여 정적 객체를 검출하는 정적객체검출부; 및
   상기 정적 객체에서 하나 이상의 특징을 추출하는 특징추출부와, 상기 추출된 특징을 이용하여 상기 정적 객체를 정적 관심영역 집단과 비정적 관심영역 집단으로 분류하는 정적객체분류부, 및 상기 분류된 정적 관심영역 집단 중에서 소정 기준을 만족하는 정적 관심영역(Region Of Interest, ROI)을 인지하는 관심영역인지부를 포함하는 관심영역검출부;를 포함하는 정적 관심 영역 검출 장치.
2. 제1항에 있어서, 상기 정적객체검출부는,
   상기 에지 프레임을 이용하여 정적 에지 지도(static edge map)를 생성하는 에지지도생성부;를 더 포함하는 정적 관심 영역 검출 장치.
3. 제2항에 있어서, 상기 정적객체검출부는,
   상기 정적 에지 지도에서 손실된 정적 에지 부분을 회복하기 위하여 상기 정적 에지 지도를 재구축하는 에지지도재구축부; 및
   상기 재구축된 정적 에지 지도에서 노이즈를 제거하는 노이즈제거부;를 더 포함하는 정적 관심 영역 검출 장치.
4. 삭제
5. 대상 영상 프레임에서 에지를 추출하여 에지 프레임을 생성하는 에지프레임생성부를 포함하고, 상기 에지 프레임을 이용하여 정적 객체를 검출하는 정적객체검출부;
   상기 검출된 정적 객체의 하나 이상의 특징에 기초하여 정적 관심영역(Region Of Interest, ROI)을 검출하는 관심영역검출부; 및
   상기 정적 관심영역을 소정 크기로 변환하여 상기 대상 영상 프레임에 브라우징하는 브라우징부;를 포함하는 정적 관심 영역 검출 장치.
6. 대상 영상 프레임에서 에지를 추출하여 에지 프레임을 생성하는 단계;
   상기 에지 프레임을 이용하여 하나 이상의 정적 객체를 검출하는 단계;
   상기 정적 객체에서 하나 이상의 특징을 추출하는 단계;
   상기 추출된 특징을 이용하여 상기 정적 객체를 정적 관심영역 집단과 비정적 관심영역 집단으로 분류하는 단계; 및
   상기 분류된 정적 관심영역 집단 중에서 소정 기준을 만족하는 정적 관심영역(Region Of Interest, ROI)을 인지하는 단계;를 포함하는 정적 관심 영역 검출 방법.
7. 제6항에 있어서, 상기 정적 객체 검출 단계는,
   상기 에지 프레임을 이용하여 정적 에지 지도(static edge map)를 생성하는 단계;를 포함하는 정적 관심 영역 검출 방법.
8. 제7항에 있어서, 상기 정적 객체 검출 단계는,
   상기 정적 에지 지도에서 손실된 정적 에지 부분을 회복하기 위하여 상기 정적 에지 지도를 재구축하는 단계; 및
   상기 재구축된 정적 에지 지도에서 노이즈를 제거하는 단계;를 더 포함하는 정적 관심 영역 검출 방법.
9. 대상 영상 프레임에서 에지를 추출하여 에지 프레임을 생성하는 단계;
   상기 에지 프레임을 이용하여 하나 이상의 정적 객체를 검출하는 단계; 및
   상기 검출된 정적 객체의 하나 이상의 특징에 기초하여 정적 관심영역(Region Of Interest, ROI)을 검출하는 단계;를 포함하되,
   상기 정적 객체 검출 단계는,
   상기 에지 프레임을 이용하여 정적 에지 지도(static edge map)를 생성하는 단계;
   상기 정적 에지 지도에서 손실된 정적 에지 부분을 회복하기 위하여 상기 정적 에지 지도를 재구축하는 단계; 및
   상기 재구축된 정적 에지 지도에서 노이즈를 제거하는 단계;를 포함하며,
   상기 노이즈는 상기 재구축된 정적 에지 지도 내의 하나 이상의 연결된 영역 중에서 소정의 임계값보다 작은 영역인 것인 정적 관심 영역 검출 방법.
10. 삭제
11. 대상 영상 프레임에서 에지를 추출하여 에지 프레임을 생성하는 단계;
    상기 에지 프레임을 이용하여 하나 이상의 정적 객체를 검출하는 단계;
    상기 검출된 정적 객체의 하나 이상의 특징에 기초하여 정적 관심영역(Region Of Interest, ROI)을 검출하는 단계; 및
    상기 정적 관심영역을 소정 크기로 변환하여 상기 대상 영상 프레임에 브라우징하는 단계;를 포함하는 정적 관심 영역 검출 방법.
12. 제11항에 있어서, 상기 브라우징하는 단계는,
    상기 대상 영상 프레임에서 상기 정적 관심영역을 분할하는 단계;
    그 분할된 정적 관심영역을 소정 크기로 변환하는 단계;
    그 변환된 정적 관심영역으로 상기 대상 영상 프레임의 분할 전 정적 관심영역을 대체하는 단계; 및
    상기 대체된 정적 관심영역이 상기 대상 영상 프레임의 경계를 벗어나는 경우 그 대상 영상 프레임 내로 위치를 조정하는 단계;를 포함하는 정적 관심 영역 검출 방법.

Images