KR20110021195A

KR20110021195A - 동영상에서 중요 정보를 검출하는 방법 및 그 장치

Info

Publication number: KR20110021195A
Application number: KR1020090078842A
Authority: KR
Inventors: 정진국; 정기철; 이동근; 정민규; 전성국
Original assignee: 삼성전자주식회사; 숭실대학교산학협력단
Priority date: 2009-08-25
Filing date: 2009-08-25
Publication date: 2011-03-04
Also published as: US8929656B2; US20110052061A1

Abstract

본 발명은 동영상에서 중요 정보를 검출하는 방법에 관한 것으로, 본 발명의 일실시예는 수신되는 적어도 2개의 동영상 프레임들에서의 에지 정보들 중에서 동영상 프레임들에 걸쳐서 동일한 위치에서 겹쳐지는 에지 정보인 정지 에지 정보를 이용하여 그 동영상 프레임들에서 중요 정보를 포함할 것으로 추정되는 제1 후보 영역들을 검출하고, 그 제1 후보 영역들 내의 정지 에지 정보의 위치에 따라 그 정지 에지 정보들에 대하여 그룹핑을 수행하여 제2 후보 영역들을 결정하고, 그 적어도 2개의 동영상 프레임들에서 제2 후보 영역들을 분석한 후, 그 분석에 기초하여 적어도 2개의 동영상 프레임들 각각에서 중요 정보 영역을 검출하는 중요 정보 검출 방법을 개시한다.

Description

동영상에서 중요 정보를 검출하는 방법 및 그 장치{Method and apparatus for detecting an important information from a moving picture}

본 발명은 동영상에서 중요 정보를 검출하는 방법 및 그 장치에 관한 것이다.

종래에는 외출중인 사용자가 현재 진행중인 스포츠 경기의 스코어를 알기 위해서는 휴대폰을 이용하여 포털 서버에 접속하여, 그 포털 서버에서 제공하는 스포츠 경기의 스코어 정보를 확인하는 방법을 이용하였다.

본 발명의 목적은 동영상에서 중요 정보를 검출하는 방법 및 그 장치를 제공하는 것이다.

상기 목적을 달성하기 위한 본 발명의 일실시예에 따른 중요 정보 검출 방법은 수신되는 적어도 2개의 동영상 프레임들에서의 에지 정보들 중에서 상기 동영상 프레임들에 걸쳐서 동일한 위치에서 겹쳐지는 에지 정보인 정지 에지 정보를 이용하여 상기 동영상 프레임들에서 중요 정보를 포함할 것으로 추정되는 제1 후보 영역들을 검출하는 단계; 상기 적어도 2개의 동영상 프레임들에서의 상기 제1 후보 영역들 내의 정지 에지 정보의 위치에 따라, 상기 정지 에지 정보들에 대하여 그룹핑을 수행하여 제2 후보 영역들을 결정하는 단계; 상기 적어도 2개의 동영상 프레임들에서 상기 결정된 제2 후보 영역들을 분석하는 단계; 및 상기 분석에 기초하여, 상기 적어도 2개의 동영상 프레임들 각각에서 중요 정보 영역을 검출하는 단계를 포함한다.

바람직하게는 상기 제1 후보 영역들을 검출하는 단계는 상기 동영상 프레임들 중 하나의 동영상 프레임을 복수개의 분석 영역들로 분할하는 단계; 상기 복수개의 분석 영역들에서 상기 에지 정보를 검출하는 단계; 상기 복수개의 분석 영역들에서 검출된 에지 정보 중에서 상기 동영상 프레임들에 걸쳐서 겹쳐지는 에지 정보를 상기 정지 에지 정보로서 검출하는 단계; 및 상기 분석 영역들 중에서 상기 정지 에지 정보가 차지하는 영역의 비율이 소정의 임계치 이상인 분석 영역들을 상기 제1 후보 영역들로서 검출하는 단계를 포함한다.

바람직하게는 상기 복수개의 분석 영역들에서 상기 에지 정보를 검출하는 단계는 상기 동영상 프레임들에서의 상기 분석 영역들 각각의 위치에 기초하여, 상기 복수개의 분석 영역들 중에서 중요 정보를 포함하지 않을 것으로 추정되는 분석 영역들에 대해서는 상기 에지 정보를 검출하지 않는다.

바람직하게는 상기 제2 후보 영역들을 결정하는 단계는 상기 동영상 프레임들 중 하나의 동영상 프레임을 복수개의 그룹핑 영역들(Grouping Areas)로 분할하는 단계; 상기 제1 후보 영역들에 포함된 정지 에지 정보들을 복수개의 분할 정지 에지 정보들로 분할하는 단계; 상기 그룹핑 영역들 각각의 중앙(center)이 되는 위 치인 중앙 위치와 상기 분할 정지 에지 정보들까지의 거리에 기초하여 상기 분할 정지 에지 정보들을 상기 그룹핑 영역들 각각에 포함시키는 단계; 및 상기 그룹핑 영역들 각각에서 상기 그룹핑 영역들에 포함된 분할 정지 에지 정보들로부터 거리상 중간이 되는 위치와 상기 분할 정지 에지 정보들까지의 거리에 기초하여 그룹핑을 수행함으로써 상기 제2 후보 영역들을 결정하는 단계를 포함한다.

바람직하게는 상기 분석하는 단계는 상기 제2 후보 영역들에 포함된 상기 정지 에지 정보가 소정 개수의 색깔로 표시되도록 변환하는 단계; 상기 제2 후보 영역들 각각에서 상기 변환된 정지 에지 정보가 두 가지 색깔로 표시되도록 이진화를 수행하는 단계; 상기 제2 후보 영역들을 복수개의 분할 영역들로 분할하는 단계; 및 상기 분할 영역들 각각에 포함된 상기 이진화된 정지 에지 정보를 분석하는 단계를 포함한다.

바람직하게는 상기 분할 영역들 각각에 포함된 상기 이진화된 정지 에지 정보를 분석하는 단계는 상기 분할 영역들 각각에 포함된 상기 정지 에지 정보가 문자 또는 숫자인지 여부를 판단하는 단계; 상기 분할 영역들 각각에 포함된 상기 정지 에지 정보 중 적어도 하나가 나타내는 문자 또는 숫자를 인식하는 단계; 및 상기 인식된 문자 또는 숫자에 기초하여, 상기 분할 영역들 각각에 포함된 상기 정지 에지 정보를 분석하는 단계를 포함한다.

바람직하게는 상기 중요 정보 영역을 검출하는 단계는 상기 제2 후보 영역들 각각에 포함된 상기 인식된 문자 및 숫자의 개수에 기초하여 상기 중요 정보 영역을 검출한다.

바람직하게는 상기 중요 정보 영역을 검출하는 단계는 상기 분할 영역들 각각에 포함된 상기 정지 에지 정보가 숫자로 인식된 경우에, 상기 숫자의 초기 값 및 상기 숫자가 변경되는데 걸리는 시간이 임계치 이상인지 여부에 기초하여 상기 중요 정보 영역을 검출한다.

바람직하게는 상기 적어도 2개의 동영상 프레임들 각각에서 상기 중요 정보 영역을 검출한 후에, 상기 중요 정보 영역에 포함된 중요 정보 중에서 스포츠 경기의 스코어에 대한 숫자가 변경될 때를 기준으로 상기 스포츠 경기에 대한 하일라이트를 생성하는 단계를 더 포함한다.

바람직하게는 상기 적어도 2개의 동영상 프레임들 각각에서 상기 중요 정보 영역을 검출한 후에, 상기 적어도 2개의 동영상 프레임들 각각에서 검출된 중요 정보 영역 중 하나를 이미지 형태로 제3자에게 전송하거나 상기 중요 정보 영역에 포함된 중요 정보를 문자 및 숫자를 이용한 메시지 형태로 제3자에게 전송하는 단계를 더 포함한다.

또한, 상기 목적을 달성하기 위한 본 발명의 일실시에예 따른 중요 정보 검출 장치는 수신되는 적어도 2개의 동영상 프레임들에서의 에지 정보들 중에서 상기 동영상 프레임들에 걸쳐서 동일한 위치에서 겹쳐지는 에지 정보인 정지 에지 정보를 이용하여 상기 동영상 프레임들에서 중요 정보를 포함할 것으로 추정되는 제1 후보 영역들을 검출하는 제1 후보 영역 검출부; 상기 적어도 2개의 동영상 프레임들에서의 상기 제1 후보 영역들 내의 정지 에지 정보의 위치에 따라, 상기 정지 에지 정보들에 대하여 그룹핑을 수행하여 제2 후보 영역들을 결정하는 제2 후보 영역 결정부; 상기 적어도 2개의 동영상 프레임들에서 상기 결정된 제2 후보 영역들을 분석하는 분석부; 및 상기 분석에 기초하여, 상기 적어도 2개의 동영상 프레임들 각각에서 중요 정보 영역을 검출하는 중요 정보 영역 검출부를 포함한다.

또한, 상기 목적을 달성하기 위하여 본 발명의 일실시예는 수신되는 적어도 2개의 동영상 프레임들에서의 에지 정보들 중에서 상기 동영상 프레임들에 걸쳐서 동일한 위치에서 겹쳐지는 에지 정보인 정지 에지 정보를 이용하여 상기 동영상 프레임들에서 중요 정보를 포함할 것으로 추정되는 제1 후보 영역들을 검출하는 단계; 상기 적어도 2개의 동영상 프레임들에서의 상기 제1 후보 영역들 내의 정지 에지 정보의 위치에 따라, 상기 정지 에지 정보들에 대하여 그룹핑을 수행하여 제2 후보 영역들을 결정하는 단계; 상기 적어도 2개의 동영상 프레임들에서 상기 결정된 제2 후보 영역들을 분석하는 단계; 및 상기 분석에 기초하여, 상기 적어도 2개의 동영상 프레임들 각각에서 중요 정보 영역을 검출하는 단계를 포함하는 중요 정보 검출 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.

이하에서는 첨부된 도면을 참조하여, 본 발명의 바람직한 실시예에 대하여 상세히 설명한다.

도 1은 본 발명에 따른 동영상에서의 중요 정보 검출 방법의 일실시예를 설명하기 위하여 도시한 도면이다.

단계 110에서는, 수신되는 적어도 2개의 동영상 프레임들에서의 에지 정 보(edge information)들 중에서 동영상 프레임들에 걸쳐서 동일한 위치에서 겹쳐지는 에지 정보인 정지 에지 정보를 이용하여 그 동영상 프레임들에서 중요 정보를 포함할 것으로 추정되는 제1 후보 영역들을 검출한다.

여기서, 정지 에지 정보는 복수개의 동영상 프레임들에 걸쳐서 동일한 위치에 존재하기 때문에 복수개의 동영상 프레임들 상호간에 비교해 볼 때 동일한 위치에서 겹쳐지는 에지 정보를 말하고, 이에 반대되는 개념으로는 동영상 프레임들간에 겹쳐지지 않는 에지 정보인 움직임 에지 정보가 있다.

예컨대, 방송국에서 동영상을 전송할 때 그 동영상에 소정의 정보를 덧입혀서 전송하게 되는데 이와 같이 덧입혀진 정보는 복수개의 동영상 프레임들에 걸쳐서 동일한 위치에 존재하는 특성이 있는데, 이와 같이 덧입혀진 정보가 정지 에지 정보가 될 수 있다. 이때, 방송국에 의해 동영상에 덧입혀진 정보 중에서 스포츠 경기의 스코어, 뉴스에서의 뉴스 제목 등이 중요 정보가 될 수 있다.

다만, 중요 정보 외에도 움직이지 않는 사람 또는 사물 등도 정지 에지 정보가 될 수 있기 때문에, 정지 에지 정보를 포함하는 영역이라도 중요 정보라고 단정할 수는 없다. 따라서, 단계 110에서는 정지 에지 정보를 포함하는 영역을 중요 정보를 포함할 것으로 추정되는 제1 후보 영역들로서 검출한다.

제1 후보 영역들을 검출하는 방법에 대한 상세한 설명은 도 2를 참조하여 후술한다.

단계 120에서는, 제1 후보 영역들에 포함된 정지 에지 정보가 동영상 프레임에서 어디에 위치하는지에 따라서, 그 정지 에지 정보들에 대하여 그룹핑을 수행하 여 제2 후보 영역들을 결정한다.

즉, 단계 120에서는 단계 110에서 검출된 제1 후보 영역들 각각에 포함된 정지 에지 정보를 복수개의 그룹으로 그룹화하기 위한 동작을 수행하고, 그 결과 제2 후보 영역들을 결정하게 된다. 예컨대, 본 발명의 일실시예에서는 제2 후보 영역들을 결정하기 위하여 제1 후보 영역들에 포함된 정지 에지 정보에 K-means Clustering 기법이 적용될 수 있다.

제2 후보 영역들을 검출하는 방법에 대한 상세한 설명은 도 3을 참조하여 후술한다.

단계 130에서는, 적어도 2개의 동영상 프레임들에서 단계 120에서 결정된 제2 후보 영역들을 분석한다.

동영상 프레임들 각각에서 제2 후보 영역들을 분석하는 방법에 대한 상세한 설명은 도 4 및 도 5를 참조하여 후술한다.

단계 140에서는, 그 분석에 기초하여, 적어도 2개의 동영상 프레임들 각각에서 중요 정보 영역을 검출한다.

보다 구체적으로는, 적어도 2개의 동영상 프레임들 각각에 포함된 제2 영역들 중에서 중요 정보 영역을 검출한다.

예컨대, TV에서 뉴스가 방송되고 있는 경우에는 뉴스의 제목이 중요 정보가 되는데, 동영상 프레임들 각각에 포함된 제2 후보 영역들 중에서 문자 및 숫자를 많이 포함하고 있는 제2 후보 영역이 뉴스의 제목일 가능성이 높으므로 그 제2 후보 영역이 중요 정보 영역으로 검출될 수 있다.

또한, TV에서 스포츠 경기가 중계되고 있는 경우에는 그 경기의 스코어가 중요 정보가 되는데, 동영상 프레임들 각각에 포함된 제2 후보 영역들 중에서 문자 및 숫자를 많이 포함하고 그 숫자가 몇 분마다 변경되거나 몇 십분마다 변경되고 있는 제2 후보 영역이 스코어와 관련된 정보일 가능성이 높으므로 그 제2 후보 영역이 중요 정보 영역으로 검출될 수 있다.

다만, 제2 후보 영역들 중에서 중요 정보 영역을 검출하는 기준은 상기 예에 한정되지 않고, 방송국에서 동영상에 덧입힌 정보를 검출해낼 수 있는 다양한 기준들이 더 적용될 수 있다.

한편, 본 발명의 일실시예는 이와 같이 정지 에지 정보를 이용하여 중요 정보를 검출하기 때문에 종래 기술에 비하여 보다 정확한 결과를 얻을 수 있고, 후보 영역들에 대해서만 처리를 수행하기 때문에 빠른 속도로 중요 정보를 검출할 수 있게 되는 효과가 있다.

도 2는 본 발명에 따라서 제1 후보 영역들을 검출하는 방법의 일실시예를 설명하기 위한 흐름도이다.

단계 210에서는, 적어도 2개의 동영상 프레임들 각각을 복수개의 분석 영역들로 분할한다.

예컨대, 각각의 동영상 프레임은 8픽셀 x 8픽셀 단위의 영역, 16픽셀 x 16픽셀 단위의 영역 등과 같이 다양한 단위를 가지는 분석 영역들로 분할될 수 있다.

단계 220에서는, 분할된 복수개의 분석 영역들에서 에지 정보를 검출한다.

이때, 다른 실시예에서는 동영상 프레임들에서의 분석 영역들 각각의 위치에 기초하여, 복수개의 분석 영역들 중에서 중요 정보를 포함하지 않을 것으로 추정되는 분석 영역들에 대해서는 에지 정보를 검출하지 않을 수도 있다.

예컨대, 일반적으로 동영상 프레임은 좌측 최상단에는 중요 정보가 위치하는 경우가 드물기 때문에 좌측 최상단의 분석 영역에서는 에지 정보를 검출하지 않을 수 있다.

단계 230에서는, 그 복수개의 분석 영역들에서 검출된 에지 정보 중에서 정지 에지 정보를 검출한다.

단계 240에서는, 분석 영역들 중에서 정지 에지 정보가 차지하는 영역의 비율이 소정의 임계치 이상인 분석 영역들을 제1 후보 영역들로서 검출한다.

이와 같이, 제1 후보 영역들을 검출할 때 분석 영역들에서 정지 에지 정보가 차지하는 영역의 비율이 임계치 이상인지 여부를 판단하는 이유는, 방송국에서 동영상에 덧입힌 정보에 대응되는 정지 에지 정보는 동영상 프레임에서 흩어져서 분포하지 않고 소정의 영역에 집중되어 분포하기 때문에, 동영상 프레임 내에서 흩어져서 분포하는 정지 에지 정보는 중요 정보일 가능성이 희박하므로 제1 후보 영역에서 제외시키기 위한 것이다.

도 3은 본 발명에 따라서 제2 후보 영역들을 결정하는 방법에 대한 일실시예를 설명하기 위한 흐름도이다.

단계 310에서는, 동영상 프레임들 중 하나의 동영상 프레임을 복수개의 그룹핑 영역들(Grouping Areas)로 분할한다.

이때, 분할되는 그룹핑 영역들의 개수는 미리 정해질 수 있다. 예컨대, 동영 상 프레임들은 각각 9개의 동일한 크기를 가지는 그룹핑 영역들로 분할될 수 있다.

단계 320에서는, 정지 에지 정보들을 복수개의 분할 정지 에지 정보들로 분할한다.

이때, 정지 에지 정보들은 1 픽셀 x 1 픽셀, 2 픽셀 x 2 픽셀, 4 픽셀 x 4 픽셀 단위로 분할되어 복수개의 분할 정지 에지 정보들을 생성할 수 있다. 다만, 분할 정지 에지 정보들의 크기는 1 픽셀 x 1 픽셀, 2 픽셀 x 2 픽셀, 4 픽셀 x 4 픽셀 단위에 한정되지 않고, 다양한 크기를 가질 수 있다.

단계 330에서는, 그룹핑 영역들 각각의 중앙(center)이 되는 위치인 중앙 위치와 분할 정지 에지 정보들까지의 거리에 기초하여 분할 정지 에지 정보들을 그룹핑 영역들 각각에 포함시킨다.

보다 구체적으로는, 분할 정지 에지 정보들 각각을 그 분할 정지 에지 정보들로부터 가장 가까운 거리에 위치하는 중앙 위치를 가지는 그룹핑 영역에 포함시킨다.

단계 340에서는, 그룹핑 영역들 각각에서 그룹핑 영역들에 포함된 분할 정지 에지 정보들로부터 거리상 중간이 되는 위치와 분할 정지 에지 정보들까지의 거리에 기초하여 그룹핑을 반복적으로 수행함으로써 제2 후보 영역들을 결정한다.

보다 구체적으로는, 그룹핑 영역들 각각에서 그룹핑 영역들에 포함된 분할 정지 에지 정보들로부터 거리상 중간이 되는 위치를 새로운 중앙 위치로 설정하고, 그 새로운 중앙 위치로부터 각각의 분할 정지 에지 정보들까지의 거리를 측정하여, 그 분할 정지 에지 정보들 각각을 그 분할 정지 에지 정보들로부터 가장 가까운 거 리에 위치하는 새로운 중앙 위치를 가지는 그룹핑 영역에 포함시킨다.

이와 같은 방식으로 그룹핑을 반복적으로 수행하여, 이전의 중앙 위치와 새로운 중앙 위치의 거리 차이가 소정의 임계치 이하가 되면, 그 때의 그룹핑 영역이 최종 그룹핑 영역으로 결정되고, 이와 같이 결정된 최종 그룹핑 영역이 제2 후보 영역이 된다.

이와 같은 방식으로, 하나의 동영상 프레임에서 제2 후보 영역들이 결정되면, 나머지 동영상 프레임들에 대해서도 그 제2 후보 영역들이 동일하게 이용될 수 있다.

한편, 도 3에 기재된 그룹핑 방법은 K-means clustering 기법을 기반으로 하는 것이다. 하지만, 본 발명의 일실시예에서는 K-means clustering 기법 외에도 분할 정지 에지 정보들을 그룹핑할 수 있는 모든 그룹핑 방법들이 이용될 수 있다.

도 4는 본 발명에 따라 제2 후보 영역들에 포함된 정지 에지 정보를 분석하는 방법의 일시시예를 설명하기 위하여 도시한 흐름도이다.

단계 410에서는, 제2 후보 영역들에 포함된 정지 에지 정보가 소정 개수의 색깔로 표시되도록 변환한다.

이와 같이 정지 에지 정보가 소정 개수의 색깔로 표시되도록 변환하는 이유는, 휘도가 비슷한 정지 에지 정보가 후술할 이진화 단계에서 잘못 분류되는 것을 방지하기 위해서이다. 이때, 단계 410에서는 Octree Segmentation 기법 또는 신경망 기반 Segmentation 기법이 이용될 수 있다.

한편, 다른 실시예에서는 단계 410에 의해서 색깔이 변환된 결과, 동일한 색 깔을 가지게 된 정지 에지 정보가 서로 인접하는 상이한 그룹핑 영역들에 속하는 경우에는 상기 그룹핑 영역들을 병합하여 하나의 그룹핑 영역을 생성하는 단계가 더 수행될 수도 있다.

단계 420에서는, 제2 후보 영역들 각각에서 소정 개수의 색깔로 변환된 정지 에지 정보가 두 가지 색깔로 표시되도록 이진화를 수행한다.

예컨대, 소정 개수의 색깔로 변환된 정지 에지 정보를 흑색 또는 백색만을 가지도록 변환할 수 있다.

이와 같이, 이진화를 수행하는 목적은 동영상 프레임에서 문자 또는 숫자에 대응되는 정지 에지 정보를 제외한 정지 에지 정보를 제거하기 위한 것이다. 예컨대, 문자 또는 숫자에 대응되는 정지 에지 정보는 흰색으로 표시되고, 그 외의 정지 에지 정보는 검은색으로 표시될 수도 있다.

단계 430에서는, 제2 후보 영역들을 복수개의 분할 영역들로 분할한다.

이때, 제2 후보 영역들은 임의의 크기로 분할될 수도 있지만, 바람직하게는 제2 후보 영역들은 하나의 문자에 대응되는 정지 에지 정보를 포함하거나, 하나의 숫자에 대응되는 정지 에지 정보를 포함할 정도의 크기를 가지는 분할 영역들로 분할될 수 있다.

예컨대, 동영상 프레임 각각에서의 제2 후보 영역에 포함된 문자와 문자 사이, 문자와 숫자 사이, 숫자와 숫자 사이에는 약간의 간격이 있고, 그 간격 내에는 정지 에지 정보가 위치할 수 없으므로, 이와 같은 간격을 기준으로 하여 제2 후보 영역들이 복수개의 분할 영역들로 분할될 수도 있다.

단계 440에서는, 분할 영역들 각각에 포함된 이진화된 정지 에지 정보를 분석한다.

이때, 하나의 분할 영역에는 하나의 문자 또는 하나의 숫자에 대응되는 정지 에지 정보가 포함될 수 있다. 다만, 다른 실시예에서는 하나의 분할 영역에 복수개의 정지 에지 정보가 포함될 수도 있다.

이와 같이 제2 후보 영역들을 복수개의 분할 영역들로 분할하여 분석하는 이유는, 후술하는 바와 같이 각각의 분할 영역들에 포함된 정지 에지 정보가 문자 또는 숫자인지 여부를 판단하기 위해서이다.

한편, 단계 410 내지 단계 440은 적어도 2개의 동영상 프레임들 각각에서의 제2 후보 영역들에 대하여 수행된다.

도 5는 본 발명에 따라 제2 후보 영역들에서의 분할 영역들에 포함된 정지 에지 정보를 분석하는 방법의 일시시예를 설명하기 위하여 도시한 흐름도이다.

단계 510에서는, 제2 후보 영역들에서의 분할 영역들 각각에 포함된 정지 에지 정보가 문자 또는 숫자인지 여부를 판단한다.

예컨대, 분할 영역에 포함된 정지 에지 정보가 규칙성이 없는 형태를 가졌다면, 그 정지 에지 정보는 문자 또는 숫자가 아니라고 판단할 수 있다.

단계 520에서는, 그 분할 영역들 각각에 포함된 정지 에지 정보가 나타내는 문자 또는 숫자를 인식한다.

이때, 문자 또는 숫자를 인식하기 위해서는 정지 에지 정보의 규칙성을 분석하게 되는데, 이때 에지 정보의 방향성 및 비율이 고려될 수 있다.

예컨대, 정지 에지 정보는 대각선 방향, 수평 방향, 수직 방향 등과 같은 방향성을 가질 수 있는데, 숫자 1은 수직 방향의 에지 정보를 가진다고 볼 수 있고, 숫자 0은 수직 방향의 에지 정보와 수평 방향의 에지 정보를 모두 가진다고 볼 수 있다.

또한, 에지 비율은 에지 강도라고도 불리는데 문자 또는 숫자를 구성하는 획간의 길이 비율을 말한다. 예컨대 정지 에지 정보가 "E"와 "F"라고 한다면, "E"에서 위에서부터 세 번째 수평 성분은 위에서부터 첫 번째 및 두 번째 수평 성분과 동일한 길이를 가지지만, "F"의 위에서부터 세 번째 수평 성분은 위에서부터 첫 번째 및 두 번째 수평 성분에 비하여 매우 짧은 길이를 가지므로, 이와 같이 세 번째 수평 성분과 첫 번째 및 두 번째 수평 성분간의 길이 비율에 따라서 "E"와 "F"를 구분할 수 있게 된다.

한편, 다른 실시예에서는 단계 510에서와 같이 분할 영역들 각각에 포함된 정지 에지 정보 중 적어도 하나가 문자 또는 숫자인지 여부를 판단하는 단계를 생략하고, 모든 분할 영역들에 포함된 정지 에지 정보가 어떤 문자 또는 숫자에 대응되는지를 분석해보고, 분석결과 대응되는 문자 또는 숫자가 없으면 그 정지 에지 정보가 문자 또는 숫자가 아니라고 판단하는 방법이 이용될 수도 있다.

단계 530에서는, 그 인식된 문자 또는 숫자에 기초하여, 분할 영역들 각각에 포함된 정지 에지 정보를 분석한다.

이와 같이 제2 후보 영역들 내의 분할 영역들에 포함된 정지 에지 정보를 분석함으로써, 적어도 2개의 동영상 프레임 각각에서의 제2 후보 영역들 중에서 중요 정보 영역을 검출하게 된다.

예컨대, 동영상 프레임 각각에서의 제2 후보 영역들에 포함된 문자 및 숫자의 개수에 기초하여 중요 정보 영역을 검출할 수도 있다.

만일, 축구 경기라고 한다면 중요 정보는 축구 경기의 스코어 정보가 되는데, 일반적으로 축구 경기 스코어를 표시하는 경우에 현재 경기 중인 축구팀들의 이름, 현재 시간 등이 함께 표시되어야 하므로, 이 경우에는 제2 후보영역들 중에서 문자만 포함하는 제2 후보영역 또는 숫자만 포함하는 제2 후보영역은 중요 정보 영역이 될 수 없다.

도 6은 본 발명에 따른 중요 정보 검출 방법의 응용예를 설명하기 위하여 도시한 도면이다.

도 6은 축구 경기에서 스코어보드(610)를 추출하는 방법에 대하여 설명하기 위하여 도시한 도면이다.

도 6을 참조하면, 방송국에서 덧입힌 정보는 스코어보드(610)와 제목 정보(620)이고, 여기서 중요 정보는 스코어보드(610)가 된다. 이하에서는 본 발명의 일실시예에 따라서 도 6에 도시된 도면에서 스코어보드(610)를 추출하는 방법에 대하여 설명한다.

첫 번째 단계에서, 도 6에 도시된 동영상 프레임(600)과 그에 인접하는 동영상 프레임(미도시)을 이용하여 2 개의 동영상 프레임에서 동일한 위치에서 겹쳐지는 정지 에지 정보를 검출하고, 그 검출된 정지 에지 정보를 이용하여 제1 후보 영역들을 검출한다. 본 실시예에서는 도 6에 도시된 동영상 프레임(600)과 그 동영상 프레임(600)에 인접한 하나의 동영상 프레임만이 이용되었지만 다른 실시예에서는 도 6에 도시된 동영상 프레임(600) 외에 복수개의 동영상 프레임이 더 이용될 수 있다.

첫번째 단계에 대하여 보다 구체적으로 설명하면, 먼저 도 6에 도시된 동영상 프레임(600)과 그에 인접하는 동영상 프레임 각각은 복수개의 분석 영역들로 분할되고, 그 분석 영역들별로 정지 에지 정보가 검출된다. 다만, 다른 실시예에서는 동영상 프레임들이 복수개의 분석 영역들로 분할되지 않은채로 정지 에지 정보가 검출될 수도 있다.

도 6의 실시예에서는, 도 6에 도시된 선수들 중에서 움직이고 있는 선수들은 움직임 에지 정보이므로 검출되지 않을 것이다. 하지만, 정지해 있는 선수들, "SAMSUNG", "LG", "HYUNDAI"와 같은 광고판들, 스코어보드(610), 제목 정보(620) 등은 정지 에지 정보로서 검출될 것이다.

이때, 일반적으로 동영상 프레임에서 좌측 상단 영역과 좌측 중앙 영역에는 스코어보드(610)가 위치할 가능성이 희박하므로, 정지 에지 정보를 검출할때 좌측 상단 영역에 위치하는 "SAMSUNG" 광고판과 좌측 중앙 영역에 위치하는 "LG" 광고판에 대응되는 분석 영역들을 제외한 나머지 분석 영역들에 대해서만 정지 에지 정보를 검출할 수도 있다.

다음으로, 분석 영역들별로 정지 에지 정보가 검출되면, 그 분석 영역들 중에서 정지 에지 정보가 차지하는 영역의 비율이 소정의 임계치 이상인 분석 영역들을 제1 후보 영역들로서 검출한다.

도 6에서는 정지해 있는 선수들이 집중되어 있는 분석 영역들과 스코어보드(610), 제목 정보(620)에 대응되는 분석 영역들이 제1 후보 영역들로 검출될 가능성이 높다. 다만, 전술한 바와 같이 분석 영역들은 8픽셀 x 8픽셀 단위의 영역, 16픽셀 x 16픽셀 단위 등으로 작은 크기를 가지도록 구성될 수 있으므로, 이 경우에는 스코어보드(610) 및 제목 정보(620) 각각은 복수개의 분석 영역들에 대응되도록 구성될 수 있다. 예컨대, 도 6에 도시된 동영상 프레임(600)이 수백개의 분석 영역들로 분할되는 경우에 스코어보드(610)는 그 중에서 수십개의 분석 영역들을 차지할 수 있다.

두 번째 단계에서, 도 6에 도시된 동영상 프레임(600)과 그에 인접하는 동영상 프레임에서 제1 후보 영역들이 검출되면, 그 2개의 동영상 프레임들 중에서 도 6에 도시된 동영상 프레임(600)에 포함된 정지 에지 정보에 대하여 그룹핑을 수행하여, 도 6에 도시된 동영상 프레임(600)에서 제2 후보 영역들을 결정한다.

보다 구체적으로는, 도 6에 도시된 동영상 프레임(600)을 복수개의 그룹핑 영역들로 분할하고, 제1 후보 영역들에 포함된 정지 에지 정보를 복수개의 분할 정지 에지 정보들로 분할한 후에 반복적으로 그룹핑을 수행함으로써 제2 후보 영역들을 결정한다.

예컨대, 도 6에 도시된 동영상 프레임(600)은 9개의 동일한 크기를 가지는 그룹핑 영역들로 분할되고, 분할 정지 에지는 4픽셀 x 4픽셀의 크기를 가지도록 설정될 수 있다. 이하에서는 도 6에 도시된 동영상 프레임(600)이 9개 그룹핑 영역들로 분할되고, 분할 정지 에지는 4픽셀 x 4픽셀의 크기를 가진다고 가정하고 설명하 도록 한다.

먼저, 분할 정지 에지 정보들 각각은 9개의 그룹핑 영역들 중에서 그 분할 정지 에지 정보들로부터 가장 가까운 거리에 위치하는 중앙 위치를 가지는 그룹핑 영역에 포함시킨다.

다음으로, 그 9개의 그룹핑 영역들 각각에서 그 그룹핑 영역들에 포함된 분할 정지 에지 정보들로부터 거리상 중간이 되는 위치를 새로운 중앙 위치로 설정 한다. 이와 같이 새로운 중앙 위치가 설정되면, 그 새로운 중앙 위치를 중심으로 9개의 그룹핑 영역들의 위치도 변경될 것이다.

다음으로, 그 새로운 중앙 위치로부터 각각의 분할 정지 에지 정보들까지의 거리를 측정하고, 그 분할 정지 에지 정보들 각각을 그 분할 정지 에지 정보들로부터 가장 가까운 거리에 위치하는 그룹핑 영역에 포함시킨다.

이와 같은 방식으로 그룹핑을 반복적으로 수행하여, 이전의 중앙 위치와 새로운 중앙 위치간에 변동이 거의 없다고 판단되면, 그 때의 그룹핑 영역이 최종 그룹핑 영역으로 결정되고, 이와 같은 최종 그룹핑 영역이 제2 후보 영역이 된다.

이때, 최초 그룹핑 영역들이 9개였다고 하더라도 제2 후보 영역들의 개수는 9개 이하일 수 있다. 왜냐하면, 9개의 그룹핑 영역들 중에서 정지 에지 정보가 존재하지 않는 영역들도 존재하고, 그룹핑 결과 복수개의 그룹핑 영역이 하나의 그룹핑 영역으로 병합될 수도 있기 때문이다.

도 6에서는 그룹핑이 수행된 결과, 세 개의 제2 후보 영역들(610, 620, 630)이 생성된 것으로 도시되어 있다.

세 번째 단계에서, 도 4 및 도 5의 방법을 이용하여 도 6에 도시된 동영상 프레임(600)에서의 제2 후보 영역들(610, 620, 630)에 포함된 정지 에지 정보를 분석한다.

즉, 첫번째 및 두번째 단계를 통하여 동영상 프레임들에서의 제2 후보 영역들(610, 620, 630)의 위치 및 크기가 결정되면, 그 동영상 프레임들 각각에서의 제2 후보 영역들(610, 620, 630)내의 분할 영역들에 포함된 정지 에지 정보가 문자 또는 숫자 인지를 판단하고, 그 정지 에지 정보가 문자 또는 숫자로 인식되면 그 인식된 문자 또는 숫자에 기초하여 그 동영상 프레임들 각각에서의 제2 후보 영역들(610, 620, 630)을 분석한다.

네 번째 단계에서, 도 6에 도시된 동영상 프레임(600) 에서의 제2 후보 영역들(610, 620, 630)에 포함된 정지 에지 정보를 분석한 결과에 기초하여, 스코어 보드(610)를 중요 정보 영역으로서 검출한다.

이때, 동영상 프레임의 중앙에 위치하는 제2 후보 영역(630)은 문자 또는 숫자를 포함하지 않았으므로 중요 정보 영역이 아니라고 판단된다.

제2 후보 영역들(610, 620, 630) 중에서 스코어보드(610)와 제목 정보(620)는 복수개의 숫자와 문자를 포함하고 있으므로 모두 중요 정보 영역이라고 판단될 여지가 있다. 따라서, 스코어보드(610)와 제목 정보(620) 중에서 스코어보드(610)를 중요 정보로서 검출하기 위한 방법이 필요하다. 예컨대, 스코어보드(610)와 제목 정보(620) 각각에 포함된 숫자의 초기 값, 그 숫자가 변경되는지 여부 및 그 숫자가 변경되는데 걸리는 시간이 임계치 이상인지 여부에 기초하여 중요 정보 영역 을 검출하는 방법이 이용될 수 있다.

도 6에서는, 제목 정보(620)는 동영상 프레임들에 걸쳐서 숫자가 변경되지 않으므로 중요 정보 영역에서 제외되고, 최종적으로 스코어보드(610)가 중요 정보 영역으로 검출된다.

한편, 경우에 따라서는 스코어보드(610) 내에서도 어떤 정보가 스코어 정보인지를 식별해야할 필요가 있다. 이때는, 초기 값이 0으로 시작하여 최소 몇 분이 지나서 변경되는 숫자가 있다면 그 숫자가 스코어일 가능성이 높다.

도 6의 예에서는 현재 스코어 정보와 현재 시간 정보가 둘 다 0에서부터 시작되고, 현재 시간 정보에 포함된 숫자 중에 분 단위로 변경되는 숫자들이 존재하는데, 스코어 정보(도 6에서는 1-1로 표시됨)도 분 단위로 변경되는 숫자들이어서 현재 스코어 정보와 현재 시간 정보의 구분이 용이하지 않을 수 있다.

이 경우에는 현재 시간 정보와 현재 스코어 정보를 명확히 구분하기 위해서 제2 후보 영역(610)에서의 분할 영역들의 위치 정보가 이용될 수 있다.

즉, 도 6에서 현재 시간 정보는 각각 "3," "8", "2", "7"이 표시된 4개의 분할 영역들로 구성되어 있는데, 이와 같이 4개의 정지 에지들을 포함하는 분할 영역들이 인접해 있다면, 그 분할 영역들에 포함된 숫자는 현재 시간 정보로 판단될 수 있다.

한편, 다른 실시예에서는 도 6에서 스코어보드(610)가 중요 정보로서 검출되면, 도 6의 스코어보드(610) 뿐만 아니라 복수개의 동영상 프레임들에서의 스코어보드들에 포함된 정보들 중에서 축구 경기의 스코어에 대한 숫자가 변경될 때를 기 준으로 그 축구 경기에 대한 하일라이트를 생성할 수 있다.

즉, 스코어가 변경되는 순간의 동영상 프레임의 전후 동영상 프레임들이 축구 경기에서는 중요한 동영상 프레임들이므로, 그 동영상 프레임들을 이용하여 스포츠의 하일라이트를 생성하게 되면, 큰 오류 없이 축구 경기에 대한 하일라이트를 생성할 수 있게 된다. 이와 같은 방법은 야구 경기, 배구 경기와 같이 스코어가 표시되는 모든 스포츠들에 적용될 수 있을 것이다.

또한, 또 다른 실시예로서 도 6에서 스코어보드(610)가 중요 정보로서 검출되면, 그 검출된 스코어보드(610) 자체를 이미지 형태로 제3자에게 전송하거나, 그 스코어보드(610)에 포함된 스코어 정보를 문자 및 숫자를 이용한 메시지 형태로 제3자에게 전송할 수도 있다. 예컨대, 스코어보드(610) 또는 그 스코어보드(610) 내의 스코어 정보는 E-MAIL, SMS, MMS 형태로 제3자에게 전송될 수 있다. 이때, 제3자는 컴퓨터 또는 핸드폰 등을 통하여 스코어보드(610) 또는 그 스코어보드(610) 내의 스코어 정보에 대한 E-MAIL, SMS, MMS를 수신할 수 있다. 이때, 도 6에서의 스코어보드(610)는 복수개의 동영상 프레임들 각각에서 검출된 스코어보드들 중 하나로서, 상기 예에서는 복수개의 동영상 프레임들 각각에서 검출된 스코어 보드들 중 하나인 도 6의 스코어 보드(610)가 제3자에게 전송되는 것이다.

도 7은 본 발명의 일실시예에 따른 동영상에서의 중요 정보를 검출하는 장치의 일실시예를 설명하기 위하여 도시한 도면이다.

도 7을 참조하면 본 발명의 일실시예에 따른 중요 정보 검출 장치는 제1 후보 영역 검출부(710), 제2 후보 영역 결정부(720), 분석부(730) 및 중요 정보 영역 검출부(740)를 포함한다.

제1 후보 영역 검출부(710)는 수신되는 적어도 2개의 동영상 프레임들에서의 에지 정보들 중에서 정지 에지 정보를 이용하여 그 동영상 프레임들에서 중요 정보를 포함할 것으로 추정되는 제1 후보 영역들을 검출한다.

제2 후보 영역 결정부(720)는 제1 후보 영역들 내의 정지 에지 정보의 위치에 따라, 정지 에지 정보들에 대하여 그룹핑을 수행하여 제2 후보 영역들을 결정한다.

이때, 제2 후보 영역 결정부(720)는 수신되는 적어도 2개의 동영상 프레임들 각각에서 제2 후보 영역들을 결정할 수도 있고, 동영상 프레임들 중 하나의 동영상 프레임에서 제2 후보 영역들을 결정한 후 나머지 동영상 프레임들에서도 그 제2 후보 영역들을 이용할 수도 있다.

분석부(730)는 제2 후보 영역 결정부(720)에 의하여 결정된 제2 후보 영역들을 분석한다.

보다 구체적으로는, 분석부(730)는 동영상 프레임들 각각에서의 제2 후보 영역들 내의 분할 영역들에 포함된 정지 에지 정보를 분석한다.

중요 정보 영역 검출부(740)는 그 분석에 기초하여, 적어도 2개의 동영상 프레임들 각각에서 중요 정보 영역을 검출한다.

보다 구체적으로는, 중요 정보 영역 검출부(740)는 동영상 프레임들 각각에서의 제2 후보 영역들 중에서 중요 정보 영역을 검출한다.

이때, 중요 정보 영역 검출부(740)는 중요 정보 영역에 포함된 중요 정보도 함께 검출할 수 있다. 예컨대, 스코어보드를 중요 정보로서 검출한 경우에, 그 스코어보드 내의 스코어 정보도 함께 검출할 수 있다.

바람직하게는, 본 발명의 일실시예에 따른 중요 정보 검출 장치는 적어도 2개의 동영상 프레임들 각각에서 중요 정보 영역을 검출한 후, 그 중요 정보 영역에 포함된 중요 정보 중에서 스포츠 경기의 스코어에 대한 숫자가 변경될 때를 기준으로 스포츠 경기에 대한 하일라이트를 생성하는 하일라이트 생성부(미도시)를 더 포함할 수 있다.

바람직하게는, 본 발명의 일실시예에 따른 중요 정보 검출 장치는 적어도 2개의 동영상 프레임들 각각에서 중요 정보 영역을 검출한 후, 적어도 2개의 동영상 프레임들 각각에서 검출된 중요 정보 영역 중 하나를 이미지 형태로 제3자에게 전송하거나 그 중요 정보 영역에 포함된 중요 정보를 문자 및 숫자를 이용한 메시지 형태로 제3자에게 전송하는 전송부(미도시)를 더 포함할 수 있다.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.

상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims

수신되는 적어도 2개의 동영상 프레임들에서의 에지 정보들 중에서 상기 동영상 프레임들에 걸쳐서 동일한 위치에서 겹쳐지는 에지 정보인 정지 에지 정보를 이용하여 상기 동영상 프레임들에서 중요 정보를 포함할 것으로 추정되는 제1 후보 영역들을 검출하는 단계;

상기 제1 후보 영역들 내의 정지 에지 정보의 위치에 따라, 상기 정지 에지 정보들에 대하여 그룹핑을 수행하여 제2 후보 영역들을 결정하는 단계;

상기 적어도 2개의 동영상 프레임들에서 상기 결정된 제2 후보 영역들을 분석하는 단계; 및

상기 분석에 기초하여, 상기 적어도 2개의 동영상 프레임들 각각에서 중요 정보 영역을 검출하는 단계를 포함하는 것을 특징으로 하는 중요 정보 검출 방법.
제1항에 있어서,

상기 제1 후보 영역들을 검출하는 단계는

상기 적어도 2개의 동영상 프레임들 각각을 복수개의 분석 영역들로 분할하는 단계;

상기 복수개의 분석 영역들에서 상기 에지 정보를 검출하는 단계;

상기 복수개의 분석 영역들에서 검출된 에지 정보 중에서 상기 동영상 프레임들에 걸쳐서 겹쳐지는 에지 정보를 상기 정지 에지 정보로서 검출하는 단계; 및

상기 분석 영역들 중에서 상기 정지 에지 정보가 차지하는 영역의 비율이 소정의 임계치 이상인 분석 영역들을 상기 제1 후보 영역들로서 검출하는 단계를 포함하는 것을 특징으로 하는 중요 정보 검출 방법.
제2항에 있어서,

상기 복수개의 분석 영역들에서 상기 에지 정보를 검출하는 단계는

상기 동영상 프레임들에서의 상기 분석 영역들 각각의 위치에 기초하여, 상기 복수개의 분석 영역들 중에서 중요 정보를 포함하지 않을 것으로 추정되는 분석 영역들에 대해서는 상기 에지 정보를 검출하지 않는 것을 특징으로 하는 중요 정보 검출 방법.
제1항에 있어서,

상기 제2 후보 영역들을 결정하는 단계는

상기 동영상 프레임들 중 하나의 동영상 프레임을 복수개의 그룹핑 영역들(Grouping Areas)로 분할하는 단계;

상기 제1 후보 영역들에 포함된 정지 에지 정보들을 복수개의 분할 정지 에지 정보들로 분할하는 단계;

상기 그룹핑 영역들 각각의 중앙(center)이 되는 위치인 중앙 위치와 상기 분할 정지 에지 정보들까지의 거리에 기초하여 상기 분할 정지 에지 정보들을 상기 그룹핑 영역들 각각에 포함시키는 단계; 및

상기 그룹핑 영역들 각각에서 상기 그룹핑 영역들에 포함된 분할 정지 에지 정보들로부터 거리상 중간이 되는 위치와 상기 분할 정지 에지 정보들까지의 거리에 기초하여 그룹핑을 반복적으로 수행함으로써 상기 제2 후보 영역들을 결정하는 단계를 포함하는 것을 특징으로 하는 중요 정보 검출 방법.
제1항에 있어서,

상기 분석하는 단계는

상기 제2 후보 영역들에 포함된 상기 정지 에지 정보가 소정 개수의 색깔로 표시되도록 변환하는 단계;

상기 제2 후보 영역들 각각에서 상기 변환된 정지 에지 정보가 두 가지 색깔로 표시되도록 이진화를 수행하는 단계;

상기 제2 후보 영역들을 복수개의 분할 영역들로 분할하는 단계; 및

상기 분할 영역들 각각에 포함된 상기 이진화된 정지 에지 정보를 분석하는 단계를 포함하는 것을 특징으로 하는 중요 정보 검출 방법.
제5항에 있어서,

상기 분할 영역들 각각에 포함된 상기 이진화된 정지 에지 정보를 분석하는 단계는

상기 분할 영역들 각각에 포함된 상기 정지 에지 정보가 문자 또는 숫자인지 여부를 판단하는 단계;

상기 분할 영역들 각각에 포함된 상기 정지 에지 정보 중 적어도 하나가 나타내는 문자 또는 숫자를 인식하는 단계; 및

상기 인식된 문자 또는 숫자에 기초하여, 상기 분할 영역들 각각에 포함된 상기 정지 에지 정보를 분석하는 단계를 포함하는 것을 특징으로 하는 중요 정보 검출 방법.
제6항에 있어서,

상기 중요 정보 영역을 검출하는 단계는

상기 제2 후보 영역들 각각에 포함된 상기 인식된 문자 및 숫자의 개수에 기초하여 상기 중요 정보 영역을 검출하는 것을 특징으로 하는 중요 정보 검출 방법.
제6항에 있어서,

상기 중요 정보 영역을 검출하는 단계는

상기 분할 영역들 각각에 포함된 상기 정지 에지 정보가 숫자로 인식된 경우에, 상기 숫자의 초기 값 및 상기 숫자가 변경되는데 걸리는 시간이 임계치 이상인지 여부에 기초하여 상기 중요 정보 영역을 검출하는 것을 특징으로 하는 중요 정보 검출 방법.
제1항에 있어서,

상기 적어도 2개의 동영상 프레임들 각각에서 상기 중요 정보 영역을 검출한 후에, 상기 중요 정보 영역에 포함된 중요 정보 중에서 스포츠 경기의 스코어에 대한 숫자가 변경될 때를 기준으로 상기 스포츠 경기에 대한 하일라이트를 생성하는 단계를 더 포함하는 것을 특징으로 하는 중요 정보 검출 방법.
제1항에 있어서,

상기 적어도 2개의 동영상 프레임들 각각에서 상기 중요 정보 영역을 검출한 후에, 상기 적어도 2개의 동영상 프레임들 각각에서 검출된 중요 정보 영역 중 하나를 이미지 형태로 제3자에게 전송하거나 상기 중요 정보 영역에 포함된 중요 정보를 문자 및 숫자를 이용한 메시지 형태로 제3자에게 전송하는 단계를 더 포함하는 것을 특징으로 하는 중요 정보 검출 방법.
수신되는 적어도 2개의 동영상 프레임들에서의 에지 정보들 중에서 상기 동영상 프레임들에 걸쳐서 동일한 위치에서 겹쳐지는 에지 정보인 정지 에지 정보를 이용하여 상기 동영상 프레임들에서 중요 정보를 포함할 것으로 추정되는 제1 후보 영역들을 검출하는 제1 후보 영역 검출부;

상기 제1 후보 영역들 내의 정지 에지 정보의 위치에 따라, 상기 정지 에지 정보들에 대하여 그룹핑을 수행하여 제2 후보 영역들을 결정하는 제2 후보 영역 결정부;

상기 적어도 2개의 동영상 프레임들에서 상기 결정된 제2 후보 영역들을 분

석하는 분석부; 및

상기 분석에 기초하여, 상기 적어도 2개의 동영상 프레임들 각각에서 중요 정보 영역을 검출하는 중요 정보 영역 검출부를 포함하는 것을 특징으로 하는 중요 정보 검출 장치.
제11항에 있어서,

상기 제1 후보 영역 검출부는

상기 적어도 2개의 동영상 프레임들 각각을 복수개의 분석 영역들로 분할하고, 상기 복수개의 분석 영역들에서 상기 에지 정보를 검출하고, 상기 복수개의 분석 영역들에서 검출된 에지 정보 중에서 상기 동영상 프레임들에 걸쳐서 겹쳐지는 에지 정보를 상기 정지 에지 정보로서 검출하고, 상기 분석 영역들 중에서 상기 정지 에지 정보가 차지하는 영역의 비율이 소정의 임계치 이상인 분석 영역들을 상기 제1 후보 영역들로서 검출하는 것을 특징으로 하는 중요 정보 검출 장치.
제12항에 있어서,

상기 제1 후보 영역 검출부는

상기 동영상 프레임들에서의 상기 분석 영역들 각각의 위치에 기초하여, 상기 복수개의 분석 영역들 중에서 중요 정보를 포함하지 않을 것으로 추정되는 분석 영역들에 대해서는 상기 에지 정보를 검출하지 않는 것을 특징으로 하는 중요 정보 검출 장치.
제11항에 있어서,

상기 제2 후보 영역 결정부는

상기 동영상 프레임들 중 하나의 동영상 프레임을 복수개의 그룹핑 영역들(Grouping Areas)로 분할하고, 상기 제1 후보 영역들에 포함된 정지 에지 정보들을 복수개의 분할 정지 에지 정보들로 분할하고, 상기 그룹핑 영역들 각각의 중앙(center)이 되는 위치인 중앙 위치와 상기 분할 정지 에지 정보들까지의 거리에 기초하여 상기 분할 정지 에지 정보들을 상기 그룹핑 영역들 각각에 포함시키고, 상기 그룹핑 영역들 각각에서 상기 그룹핑 영역들에 포함된 분할 정지 에지 정보들로부터 거리상 중간이 되는 위치와 상기 분할 정지 에지 정보들까지의 거리에 기초하여 그룹핑을 반복적으로 수행함으로써 상기 제2 후보 영역들을 결정하는 것을 특징으로 하는 중요 정보 검출 장치.
제11항에 있어서,

상기 분석부는

상기 제2 후보 영역들에 포함된 상기 정지 에지 정보가 소정 개수의 색깔로 표시되도록 변환하고, 상기 제2 후보 영역들 각각에서 상기 변환된 정지 에지 정보가 두 가지 색깔로 표시되도록 이진화를 수행하고, 상기 제2 후보 영역들을 복수개의 분할 영역들로 분할하고, 상기 분할 영역들 각각에 포함된 상기 이진화된 정지 에지 정보를 분석하는 것을 특징으로 하는 중요 정보 검출 장치.
제15항에 있어서,

상기 분석부는

상기 분할 영역들 각각에 포함된 상기 정지 에지 정보가 문자 또는 숫자인지 여부를 판단하고, 상기 분할 영역들 각각에 포함된 상기 정지 에지 정보가 나타내는 문자 또는 숫자를 인식하고, 상기 인식된 문자 또는 숫자에 기초하여, 상기 분할 영역들 각각에 포함된 상기 정지 에지 정보를 분석하는 것을 특징으로 하는 중요 정보 검출 장치.
제16항에 있어서,

상기 중요 정보 영역 검출부는

상기 제2 후보 영역들 각각에 포함된 상기 인식된 문자 및 숫자의 개수에 기초하여 상기 중요 정보 영역을 검출하는 것을 특징으로 하는 중요 정보 검출 장치.
제16항에 있어서,

상기 중요 정보 영역 검출부는

상기 분할 영역들 각각에 포함된 상기 정지 에지 정보가 숫자로 인식된 경우에, 상기 숫자의 초기 값 및 상기 숫자가 변경되는데 걸리는 시간이 임계치 이상인지 여부에 기초하여 상기 중요 정보 영역을 검출하는 것을 특징으로 하는 중요 정보 검출 장치.
제11항에 있어서,

상기 적어도 2개의 동영상 프레임들 각각에서 상기 중요 정보 영역을 검출한

후에, 상기 중요 정보 영역에 포함된 중요 정보 중에서 스포츠 경기의 스코어에 대

한 숫자가 변경될 때를 기준으로 상기 스포츠 경기에 대한 하일라이트를 생성하는 하일라이트 생성부를 더 포함하는 것을 특징으로 하는 중요 정보 검출 장치.
제11항에 있어서,

상기 적어도 2개의 동영상 프레임들 각각에서 상기 중요 정보 영역을 검출한

후에, 상기 적어도 2개의 동영상 프레임들 각각에서 검출된 중요 정보 영역 중 하

나를 이미지 형태로 제3자에게 전송하거나 상기 중요 정보 영역에 포함된 중요 정보를 문자 및 숫자를 이용한 메시지 형태로 제3자에게 전송하는 전송부를 더 포함하는 것을 특징으로 하는 중요 정보 검출 장치.
제1항 내지 제10항 중 어느 한 항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.