KR20080067809A - 영상 탐색 방법 및 장치 - Google Patents

Abstract

본 발명은 영상 탐색 방법 및 장치에 관한 것으로서, 더욱 상세하게는 자막 데이터가 포함된 영상 신호가 입력되는 경우, 프레임별 자막을 비교하여 자막의 이미지 변경 시점을 판단하고, 변경 시점을 지시하는 포인터를 상기 영상의 재생 위치에 대응하여 생성하고, 변경 시점의 영상 신호 및 포인터를 저장하고, 사용자 요청에 따른 이미지 변경 시점의 포인터를 판독하여 해당 재생 위치부터 영상 신호를 제공함으로써, 사용자가 손쉽게 영상 신호 중 자신이 원하는 장면을 탐색할 수 있도록 하는 영상 탐색 방법 및 장치에 관한 것이다.

영상 탐색, 하이라이트 기능, 자막 데이터, 포인터, 영상 재생

Description

영상 탐색 방법 및 장치{METHOD FOR SEARCHING IMAGE SIGNAL AND SYSTEM ENABLING OF THE METHOD}

도 1은 본 발명의 일실시예에 따라 영상 탐색을 수행하는 과정을 도시한 도면.

도 2는 본 발명에 따라 자막의 화면상 위치 정보를 판단하는 일실시예를 도시한 도면.

도 3은 본 발명에 따라 영상과 분리된 자막의 변경을 인식하는 일실시예를 도시한 도면.

도 4는 본 발명의 일실시예에 따라 이미지 변경 시점에 해당하는 포인터를 생성한 일실시예를 도시한 도면.

도 5는 본 발명의 다른 실시예에 따른 포인터 생성을 도시한 도면.

도 6은 본 발명의 일실시예에 따른 영상 탐색 장치의 구성을 도시한 블럭도.

<도면의 주요 부분에 대한 부호의 설명>

601: 자막 영역 분할부

602: 자막 변환 판단부

603: 자막 이미지 판독부

604: 포인터 생성부

605: 영상 위치 탐색부

606: 영상 재생부

본 발명은 영상 탐색 방법 및 장치에 관한 것으로서, 더욱 상세하게는 자막 데이터가 포함된 영상 신호가 입력되는 경우, 프레임별 자막을 비교하여 자막의 이미지 변경 시점을 판단하고, 변경 시점을 지시하는 포인터를 상기 영상의 재생 위치에 대응하여 생성하고, 변경 시점의 영상 신호 및 포인터를 저장하고, 사용자 요청에 따른 이미지 변경 시점의 포인터를 판독하여 해당 재생 위치부터 영상 신호를 제공함으로써, 사용자가 손쉽게 영상 신호 중 자신이 원하는 장면을 탐색할 수 있도록 하는 영상 탐색 방법 및 장치에 관한 것이다.

오늘날, 영상 기술의 발달에 따라 PVR(Personal Video Record) 기능이 구비된 영상기기의 개발이 늘어나면서, 영상 신호를 녹음하고 녹음된 영상 신호를 사용자에게 제공하는 경우가 많아지고 있다. 이 때, 사용자가 녹음된 영상 신호 중에서 자신이 원하는 장면을 선택하려면, 되감기(REW)나 빨리감기(FF) 기능을 사용하여 디스플레이 수단에 출력되는 장면을 직접 눈으로 확인하여 자신이 원하는 장면을 검색하여야 하는 불편함이 있었다.

따라서, 이러한 불편함을 해결하여 사용자가 녹음된 영상 신호 중에서 자신 이 원하는 특정 장면을 검출하여 시청할 수 있는 기술 개발의 필요성이 높아지고 있다.

그런데, 종래 기술에서 사용자가 원하는 장면을 제공하는 '하이라이트 기능'을 제공하기 위한 방법으로는 1) 영상 신호의 화면 내에서 비디오 스트림의 분석을 통해 변경 장면을 검출하고, 음량 분석을 통해 가중치 중요도를 계산하여 하이라이트 장면을 추출하거나, 2) 하드 디스크와 같은 기록 매체에 기록되는 방송 프로그램의 시작 부분을 사용자 요청에 따라 검색 및 재생하도록 하는 방법이 있다.

그러나, 1)의 방법은 비디오 스트림의 분석을 위한 영상 장면 비교부나 판단부, 및 음성 신호 측정부 및 하이라이트 생성부 등 하이라이트 생성을 위한 알고리즘이 매우 복접한 단점이 있으며, 영상 노이즈나, 음량 등에서 임의의 변경사항이 생기는 경우 시청자가 원하는 하이라이트를 제대로 구현하지 못하는 문제점이 발생할 수 있다.

또한, 2)의 방법은 방송 프로그램의 시작 위치만을 탐색하므로, 프로그램 중간의 사용자가 원하는 특정 장면을 출력하기 위해서는 직접 빨리감기나 되감기 기능을 통해 자신이 원하는 특정 장면을 눈으로 확인하면서 출력해야하는 단점이 있었다.

따라서, 이러한 종래 기술의 문제점을 해결하여 사용자가 빨리 감기나 되감기 기능을 사용하지 않고도 자신이 원하는 장면을 검색할 수 있도록 하는 영상기기의 동작 방법 및 그 방법을 채용한 영상기기의 개발이 절실하게 요청되고 있다.

본원 발명은 상기와 같은 종래 기술의 문제점을 해결하여 사용자가 빨리 감기나 되감기 기능을 사용하지 않고도 자신이 원하는 장면을 검색할 수 있도록 하는 영상 탐색 방법 및 장치를 제공하는 것을 그 목적으로 한다.

또한, 본원 발명은 데이터 처리량 및 영상 탐색 시간을 최소로하면서 사용자가 원하는 점수나, 시간을 입력하여 손쉽게 영상을 탐색할 수 있도록 하는 영상 탐색 방법 및 장치를 제공하는 것을 다른 목적으로 한다.

또한, 본원 발명은 자막의 변경 여부를 판단하여 영상 탐색에 이용하므로, 영상 노이즈나 음성 신호의 음량 변화에 방해받지 않고 정확하게 영상을 탐색할 수 있는 효과가 있다.

본 발명의 일실시예에 따른 영상 탐색 방법은 자막이 포함된 영상 신호를 프레임별로 입력받는 단계, 상기 자막의 화면상 위치 정보를 이용하여 자막과 영상을 구분하는 단계, 상기 프레임별 자막을 비교하여 자막의 이미지 변경 시점을 판단하는 단계, 상기 변경 시점을 지시하는 포인터를 상기 영상의 재생 위치에 대응하여 생성하고, 상기 영상 신호 및 포인터를 저장하는 단계, 상기 변경된 자막의 이미지를 판독하여 저장하는 단계, 사용자의 선택 입력에 대응하는 쿼리 정보를 수신하고, 상기 쿼리 정보에 대응하는 변경 시점의 포인터를 판단하는 단계, 및 상기 변경 시점의 포인터에 대응하는 영상의 재생 위치를 판단하여 상기 재생 위치로부터 상기 영상을 재생하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 다른 실시예에 따른 영상 탐색 장치는 자막이 포함된 영상 신호를 프레임별로 입력받고, 자막의 화면상 위치 정보를 이용하여 상기 자막 영역과 영상 영역을 구분하는 자막 영역 분할부, 상기 프레임별 자막을 비교하여 자막의 이미지 변경 시점을 판단하는 자막 변경 판단부, 상기 변경된 자막의 이미지를 판독하는 자막 이미지 판독부, 상기 변경 시점을 지시하는 포인터를 상기 영상의 재생 위치에 대응하여 생성하고, 상기 영상 신호 및 포인터를 저장하는 포인터 생성부, 사용 선택 입력에 대응하는 쿼리 정보를 수신하고, 상기 쿼리 정보에 대응하는 변경 시점의 포인터를 판단하는 영상 위치 탐색부, 상기 변경 시점의 포인터에 대응하여 상의 재생 위치를 판단하여 상기 재생 위치로부터 상기 영상을 재생하는 영상 재생부를 포함하는 것을 특징으로 한다.

이하 첨부된 도면을 참조하여, 본 발명에 따른 영상 탐색 방법 및 장치에 대하여 상세히 설명한다.

도 1은 본 발명의 일실시예에 따라 영상 탐색을 수행하는 과정을 도시한 도면이다. 도 1을 참조하면, 단계(S101)에서 영상 탐색 장치는 자막이 포함된 영상 신호를 프레임별로 입력받는다.

단계(S102)에서 영상 탐색 장치는 자막의 화면상 위치 정보를 이용하여 자막과 영상을 구분한다. 자막은 문자 또는 숫자를 포함할 수 있으며, 자막의 화면상 위치 정보는 디폴트값으로 저장된 값이거나, 사용자로부터 선택입력받은 값이거나, 영상 신호에 포함되어 전송된 값일 수 있다.

도 2는 본 발명에 따라 자막의 화면상 위치 정보를 판단하는 일실시예를 도시한 도면이다. 도 2를 참조하면, 영상 탐색 장치는 화면(202) 중 자막의 위 치(201)를 판단한다. 자막의 화면상 위치 정보는 영상 탐색 장치 내의 소정의 저장 수단에 디폴트값으로 저장될 수도 있고, 영상 신호에 포함될 수도 있다.

예를 들어, 영상 신호가 스포츠 경기와 관련된 방송 프로그램인 경우, 점수 또는 시간 등의 자막이 출력되는 화면상 위치는 일정할 수 있는데, 영상 탐색 장치는 영상 신호의 화면(202) 중 자막의 화면상 위치(201)를 판단할 수 있다.

자막의 화면상 위치를 판단하면, 영상 탐색 장치는 자막의 화면상 위치 정보를 이용하여 자막과 영상을 분리한다.

다음으로, 단계(S103)에서 영상 탐색 장치는 프레임별 자막을 비교하여 자막의 이미지 변경 시점을 판단한다.

이미지의 변경 시점이란, 자막 이미지가 이미지 변경되는 시점을 말하는 것으로, 자막 이미지의 변경 인식은 이미지 변경 인식 프로그램을 이용하여 수행될 수 있다. 이미지 변경 인식 프로그램은 신경 회로망이나 적응 신호 처리 등을 이용하여 설계된 프로그램일 수 있다. 일례로, 영상 탐색 장치는 프레임별 자막 간의 잔차신호 변경값을 계산하고, 잔차신호 변경값이 소정의 임계값 이상이면 자막 이미지 변경으로 판단한다.

이 때, 자막은 점수, 시간 등의 숫자 이미지일 수 있으므로, 자막의 이미지 변경은 숫자 이미지의 변경일 수 있다.

도 3은 본 발명에 따라 영상과 분리된 자막의 변경을 인식하는 일실시예를 도시한 도면이다. 도 3을 참조하면, 영상 탐색 장치는 자막이 '0:0'에서 '0:1'로 변경되는 경우 이미지 변경 인식 프로그램을 이용하여 이를 인식한다.

단계(S104)에서 영상 탐색 장치는 상기 변경 시점을 지시하는 포인터를 상기 영상의 재생 위치에 대응하여 생성한다.

도 4는 본 발명의 일실시예에 따라 이미지 변경 시점에 해당하는 포인터를 생성한 일실시예를 도시한 도면이다. 도 4를 참조하면, 영상 탐색 장치는 이미지 변경 시점에 대응하는 포인터(401, 402, 403, 404)들을 영상 신호의 재생 위치에 대응하여 생성하고, 변경 시점의 자막 이미지를 소정의 저장 수단에 저장할 수 있다.

예를 들어, 영상 탐색 장치는 자막이 '0:0'에서 '0:1'로 변경되는 시점의 포인터(402), '0:1'에서 '0:2'로 변경되는 시점의 포인터(403), '0:2'에서 '0:3'으로 변경되는 시점의 포인터(404)를 영상 신호의 재생 위치에 대응하여 생성한 후 저장 수단에 저장할 수 있다.

한편, 실시예에 따라 본 발명의 영상 탐색 장치는 자막 이미지를 시간으로 설정하여 시간의 변경에 따른 포인터를 생성하여 저장 수단에 저장할 수도 있다.

도 5는 본 발명의 다른 실시예에 따른 포인터 생성을 도시한 도면이다. 도 5를 참조하면, 본 발명의 영상 탐색 장치는 자막을 시간으로 설정하고, 시간의 변경에 대응하는 포인터(501, 502, 504, 504)를 생성하여 저장 수단에 저장할 수 있다.

단계(S105)에서 영상 탐색 장치는 변경된 자막의 이미지를 판독하고, 변경된 자막의 이미지, 변경 시점의 포인터, 포인터에 대응하는 영상의 재생 위치를 연관하여 저장 수단에 저장한다.

단계(S106)에서 영상 탐색 장치는 사용자의 선택 입력에 대응하는 쿼리 정보의 수신 여부를 판단한다. (S106)의 판단 결과 쿼리 정보가 수신된 경우, 단계(S107)에서 영상 탐색 장치는 쿼리 정보에 대응하는 변경 시점의 포인터를 판단한다.

예를들어, 사용자가 점수 '0:1'에 대응하는 시점의 영상 신호를 선택한 경우, 영상 탐색 장치는 저장 수단을 참조하여 변경된 자막이 '0:1'인 포인터를 판단한다.

단계(S108)에서 영상 탐색 장치는 변경 시점의 포인터에 대응하는 영상의 재생 위치를 판단하여 재생 위치로부터 영상을 재생한다.

예를 들어, 영상 탐색 장치는 '0:1'인 포인터에 대응하는 영상의 재생 위치를 판단하여 상기 재생 위치로부터 영상을 재생한다.

따라서, 본원 발명은 적은 데이터 처리량으로, 사용자가 원하는 시점의 영상을 손쉽게 탐색할 수 있는 효과가 있다.

즉, 종래 기술에서 비디오 스트림을 분석하여 영상 탐색을 수행하는 경우, 비디오 스트림의 분석을 위한 영상 장면 비교부나 판단부, 및 음성 신호 측정부 및 하이라이트 생성부 등 하이라이트 생성을 위한 알고리즘이 매우 복잡한 단점이 있었으나, 본원 발명은 자막 변경 시점만을 포인터로 기록하여 사용자가 탐색하고자 하는 장면을 찾아내므로 데이터 처리량이 적어지고, 영상 탐색 시간이 현격하게 줄어들면서, 사용자는 자신이 원하는 점수나, 시간을 입력하여 손쉽게 영상을 탐색할 수 있는 효과가 있다.

또한, 본원 발명은 자막의 변경 여부를 판단하여 영상 탐색에 이용하므로, 영상 노이즈나 음성 신호의 음량 변화에 방해받지 않고 정확하게 영상을 탐색할 수 있는 효과가 있다.

도 6은 본 발명의 일실시예에 따른 영상 탐색 장치의 구성을 도시한 블럭도이다. 도 6을 참조하면 본 발명의 일실시예에 따른 영상 탐색 장치는 자막 영역 분할부(601), 자막 변경 판단부(602), 자막 이미지 판독부(603), 포인터 생성부(604), 영상 위치 탐색부(605), 영상 재생부(606)을 포함한다.

자막 영역 분할부(601)는 자막이 포함된 영상 신호를 프레임별로 입력받고, 자막의 화면상 위치 정보를 이용하여 상기 자막 영역과 영상 영역을 구분한다. 상기 자막의 화면상 위치 정보는 디폴트값이거나 사용자로부터 선택입력받은 값일 수 있다.

자막 변경 판단부(602)는 상기 프레임별 자막을 비교하여 자막의 이미지 변경 시점을 판단한다. 실시예에 따라 자막 변경 판단부는, 상기 프레임별 자막 간의 잔차신호 변경값을 계산하고, 상기 잔차신호 변경값이 소정의 임계값 이상이면 이미지 변경으로 판단

이 때, 자막은 숫자 이미지일 수 있으며, 자막의 이미지 변경은 숫자 이미지의 변경일 수 있다.

자막 이미지 판독부(603)는 상기 변경된 자막의 이미지를 판독한다.

포인터 생성부(604)는 상기 변경 시점을 지시하는 포인터를 상기 영상의 재생 위치에 대응하여 생성하고, 상기 영상 신호 및 포인터를 저장한다.

영상 위치 탐색부(605)는 사용자의 선택 입력에 대응하는 쿼리 정보를 수신하고, 상기 쿼리 정보에 대응하는 변경 시점의 포인터를 판단한다.

영상 재생부(606)은 상기 변경 시점의 포인터에 대응하는 영상의 재생 위치를 판단하여 상기 재생 위치로부터 상기 영상을 재생한다.

지금까지 본 발명에 따른 영상 탐색 장치에 대해서 설명하였고, 앞서 실시예들에서 설명한 기술적 내용들이 도 6의 영상 탐색 장치에서도 그대로 적용될 수 있으므로 그 상세한 내용은 이하 생략하기로 한다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.

본원 발명은 영상 신호의 화면 내의 자막 정보의 변경 시점에 포인터를 설정하여 원하는 사용자가 원하는 화면의 탐색을 가능하도록 하는 효과가 있다.

또한, 본원 발명은 자막 변경 시점만을 포인터로 기록하여 사용자가 탐색하고자 하는 장면을 찾아내므로 데이터 처리량이 적어지고, 영상 탐색 시간이 현격하게 줄어들면서, 사용자는 자신이 원하는 점수나, 시간을 입력하여 손쉽게 영상을 탐색할 수 있도록 하는 효과가 있다.

또한, 본원 발명은 자막의 변경 여부를 판단하여 영상 탐색에 이용하므로, 영상 노이즈나 음성 신호의 음량 변화에 방해받지 않고 정확하게 영상을 탐색할 수 있는 효과가 있다.

Claims (8)

1. 자막이 포함된 영상 신호를 프레임별로 입력받는 단계;

   상기 자막의 화면상 위치 정보를 이용하여 자막과 영상을 구분하는 단계;

   상기 프레임별 자막을 비교하여 자막의 이미지 변경 시점을 판단하는 단계;

   상기 변경 시점을 지시하는 포인터를 상기 영상의 재생 위치에 대응하여 생성하고, 상기 영상 신호 및 포인터를 저장하는 단계;

   상기 변경된 자막의 이미지를 판독하여 저장하는 단계;

   사용자의 선택 입력에 대응하는 쿼리 정보를 수신하고, 상기 쿼리 정보에 대응하는 변경 시점의 포인터를 판단하는 단계; 및

   상기 변경 시점의 포인터에 대응하는 영상의 재생 위치를 판단하여 상기 재생 위치로부터 상기 영상을 재생하는 단계

   를 포함하는 것을 특징으로 하는 영상 탐색 방법.
2. 제1항에 있어서,

   상기 자막의 이미지 변경은 숫자 이미지의 변경인 것을 특징으로 하는 영상 탐색 방법.
3. 제1항에 있어서,

   상기 자막의 화면상 위치 정보는 디폴트값이거나 사용자로부터 선택입력받은 값인 것을 특징으로 하는 영상 탐색 방법.
4. 제1항에 있어서,

   상기 프레임별 자막을 비교하여 자막의 이미지 변경 시점을 판단하는 단계는, 상기 프레임별 자막 간의 잔차신호 변경값을 계산하고, 상기 잔차신호 변경값이 소정의 임계값 이상이면 이미지 변경으로 판단하는 단계를 포함하는 것을 특징으로 하는 영상 탐색 방법.
5. 자막이 포함된 영상 신호를 프레임별로 입력받고, 자막의 화면상 위치 정보를 이용하여 상기 자막 영역과 영상 영역을 구분하는 자막 영역 분할부;

   상기 프레임별 자막을 비교하여 자막의 이미지 변경 시점을 판단하는 자막 변경 판단부;

   상기 변경된 자막의 이미지를 판독하는 자막 이미지 판독부;

   상기 변경 시점을 지시하는 포인터를 상기 영상의 재생 위치에 대응하여 생성하고, 상기 영상 신호 및 포인터를 저장하는 포인터 생성부;

   사용자의 선택 입력에 대응하는 쿼리 정보를 수신하고, 상기 쿼리 정보에 대응하는 변경 시점의 포인터를 판단하는 영상 위치 탐색부; 및

   상기 변경 시점의 포인터에 대응하는 영상의 재생 위치를 판단하여 상기 재생 위치로부터 상기 영상을 재생하는 영상 재생부

   를 포함하는 것을 특징으로 하는 영상 탐색 장치.
6. 제5항에 있어서,

   상기 자막의 이미지 변경은 숫자 이미지의 변경인 것을 특징으로 하는 영상 탐색 장치.
7. 제5항에 있어서,

   상기 자막의 화면상 위치 정보는 디폴트값이거나 사용자로부터 선택입력받은 값인 것을 특징으로 하는 영상 탐색 장치.
8. 제5항에 있어서,

   상기 자막 변경 판단부는, 상기 프레임별 자막 간의 잔차신호 변경값을 계산하고, 상기 잔차신호 변경값이 소정의 임계값 이상이면 이미지 변경으로 판단하는 것을 특징으로 하는 영상 탐색 장치.

Images