KR20030023576A - 영상 정보 요약 장치, 영상 정보 요약 방법 및 영상 정보요약 처리 프로그램 - Google Patents

Abstract

예고 정보를 이용하여 적절하게 조작자가 영상 정보를 파악할 수 있는 요약 정보를 재생하는 영상 정보 요약 장치(100)를 제공한다.

요약 재생 장치(100)는 복수 회에 걸쳐 제공되는 연속성이 있는 음성 영상 정보를 취득하여 각 음성 영상 정보의 특징량을 추출한다. 동시에, 요약 재생을 행할 때, 요약 재생의 대상이 되는 대상 음성 영상 정보와 대상 음성 영상 정보에서의 예고 정보를 가지는 비대상 음성 영상 정보를 비교하여 동일 샷을 대상 음성 영상 정보로부터 검출하고, 이 대상 음성 영상 정보에서의 동일 샷에 따라 추출할 부분 영상 정보를 결정한다.

Description

영상 정보 요약 장치, 영상 정보 요약 방법 및 영상 정보 요약 처리 프로그램 {IMAGE INFORMATION SUMMARY APPARATUS, IMAGE INFORMATION SUMMARY METHOD AND IMAGE INFORMATION SUMMARY PROCESSING PROGRAM}

본 발명은 영상 정보에서의 요약 재생 장치의 기술 분야에 속하며, 보다 상세하게는 예고 정보(preliminary announcement information)에 기초하여 요약 재생 시에 추출할 부분 영상 정보를 결정하는 기술 분야에 속한다.

근래, 텔레비전 방송 프로그램 등의 영상 정보를 녹화·재생하는 VTR(Video Tape Recorder) 등의 기록 장치가 보급됨에 따라서 기록된 영상 정보를 모두 보지 않고 영상 정보를 단시간에 요약한 영상 정보(이하, 요약 정보라고 한다)를 제공하는 다이제스트 재생(즉 요약 재생)이 실용되기에 이르렀다.

이러한 요약 재생을 수행하기 위하여, 예를 들어 주로 영상 정보 그 자체에 착안하여 장면이 전환되는 부분[즉, 장면 전환(scene change)]을 검출하여 요약 재생을 행하는 방법이 있다. 또 영상 정보에 부가되는 음성 정보에 착안하여 음성 정보의 진폭과 계속 시간(duration time)을 이용하여 요약 재생을 행하는 방법이 있다. 음성 정보에 착안하여 요약 재생을 행하는 대표적인 것으로 일본 특허공개공보 평10-32776호에 기재된 것이 있다.

이 공보에 기재된 요약 재생 장치(1)는 도 7에 도시한 바와 같이, 통신 회선 또는 전파 등에 의해 제공되는 음성 정보가 부가되어 있는 영상 정보의 음성 레벨을 검출하는 음성 레벨 검출 장치(3), 상기 음성 레벨과 기준 음성 레벨을 비교하는 비교기(4), 음성 레벨이 기준 음성 레벨보다 큰 계속 시간을 얻는 계속 시간 타이머(5), 계속 시간 타이머(5)에 의해 얻어진 계속 시간으로부터 다이제스트 부분의 주소를 생성하는 다이제스트 주소 생성 장치(8), 상기 주소를 기록하는 기록 재생 장치(9), 상기 기록된 주소를 재생하는 다이제스트 주소 재생 장치(11) 및 상기 주소에 따라 다이제스트 부분의 음성 영상 정보를 재생하는 재생 제어 장치(10)를 구비하고 있다.

이 구성에 의해, 이 요약 재생 장치(1)는 음성 레벨이 기준 음성 레벨보다 큰 영상 정보가 미리 설정된 시간 계속하여 입력되는 경우에, 그 기준 음성 레벨보다 큰 입력 영상 정보의 음성 레벨 부분의 주소를 기록하고, 이 주소에 따라 상기 기준 음성 레벨보다 큰 레벨의 부분을 추출하여 음성 영상 정보의 요약 재생을 수행한다.

그러나, 상술한 바와 같이 영상 정보에 부가되는 음성 정보에 착안하여 요약 재생을 행하는 방법에서는 드라마 등과 같이 스토리(연속성)를 가지는 영상 정보에서 이 영상 정보의 내용이 제대로 인식되지 않으면 적절한 요약 재생을 행할 수 없다는 문제를 가지고 있다.

통상, 스포츠 프로그램에서는 음성 레벨이 큰 음성 부분은 영상 정보가 고조된 부분을 나타내고 영상 정보의 특징 부분을 구성한다. 이와 달리, 뉴스 프로그램에서는 음성이 없는 무음(無音) 부분은 장면이 전환된 또는 내용이 전환된 부분을 나타내며 영상 정보의 특징 부분을 구성하고 있다.

그러나, 드라마 등의 시나리오에 따라 그 예술적 의도를 달성하도록 여러 가지 장면을 조립하고 스토리를 성립시키는 연속성을 가지는 영상 정보에서는 반드시 음성 레벨이 큰 음성 부분 또는 음성이 없는 무음 부분이 반드시 그 영상 정보의 특징 부분인 것은 아니다.

따라서, 상술한 바와 같은 요약 재생 방법에서는 드라마 등의 영상 정보에서는 추출한 부분이 영상 정보의 중요한 부분이 아닌 경우도 많기 때문에 적절한 요약 재생을 행할 수 없는 문제를 가지고 있다.

본 발명은 상기한 각 문제점을 감안하여 이루어 진 것으로, 본 발명의 목적은 드라마 등의 연속성을 가지는 영상 정보에서도 보다 적절하게 조작자가 영상 정보를 파악할 수 있는 요약 정보를 제공하는 것이다.

도 1은 본 발명에 따른 요약 재생 장치의 개략적인 구성을 나타내는 블록도이다.

도 2는 프레임(frame)에서의 영상 정보의 특징량의 추출 원리를 설명하기 위한 도면이다.

도 3은 본 발명의 실시예에 따른 예고 정보와 동일한 샷(shot)을 검출하는 검출 동작을 나타내는 흐름도이다.

도 4는 본 발명의 실시예에 따른 동일 샷의 검출 원리를 설명하기 위한 도면(동일 샷 의 검출 결과의 일례)이다.

도 5는 본 발명의 실시예에 따른 요약 재생에서의 요약 세그먼트의 결정 처리 동작을 나타내는 흐름도이다.

도 6은 본 발명의 실시예에 따른 요약 재생 동작을 나타내는 흐름도이다.

도 7은 종래의 요약 재생 장치의 구성을 나타내는 블록도이다.

상기한 본 발명의 목적은 입력 영상 정보로부터 상기 영상 정보의 일부인 부분 영상 정보를 하나 또는 복수 개 추출하며, 상기 추출된 부분 영상 정보에 따라 상기 영상 정보의 시간 길이를 단축한 요약 정보를 생성하는 영상 정보 요약 장치로서, 미리 생성되며, 상기 입력 영상 정보에서의 특징적인 부분이 연속적으로 연결된 예고 정보를 취득하는 취득 장치, 상기 예고 정보를 구성하는 특징적인 부분과 동일한 영상 정보인 동일 부분 정보를 상기 입력 영상 정보로부터 검출하는 검출 장치, 상기 검출된 동일 부분 정보에 따라 추출되어야 하는 상기 부분 영상 정보를 결정하는 결정 장치, 및 상기 결정된 부분 영상 정보를 상기 입력 영상 정보로부터 추출하여 상기 요약 정보를 생성하는 생성 장치를 포함하는 영상 정보 요약 장치에 의해 실현될 수 있다.

이 구성에 의해 제1 특징에 따른 본 발명에서, 취득 장치는 입력된 영상 정보에서의 예고 정보를 취득하고, 검출 장치는 입력된 영상 정보로부터 예고 정보를구성하는 특징적인 부분과 동일한 동일 부분 정보를 검출하며, 결정 장치는 이 동일 부분 정보에 따라 부분 영상 정보를 결정하고, 생성 장치는 이 부분 영상 정보에 따라 요약 정보를 생성한다.

통상, 드라마 등의 시나리오에 그 예술적 의도를 달성하도록 기초하여 여러 가지 장면을 조립하여 이야기로서 성립시키는 스토리를 가지는 영상 정보에서는 반드시 음성 레벨이 큰 음성 부분 또는 음성이 없는 무음 부분이 반드시 영상 정보의 특징 부분은 아니다.

따라서, 영상 정보의 제작자에 의해 즉, 인간이 영상 정보의 내용을 이해하여 편집된 예고 정보에 따라 요약 정보를 생성할 수 있기 때문에, 사용자가 단시간에 내용을 파악할 수 있는 더욱 알맞은 요약 정보를 제공할 수 있다.

상기한 본 발명의 목적은 입력 영상 정보로부터 상기 영상 정보의 일부인 부분 영상 정보를 하나 또는 복수 개 추출하며, 상기 추출한 부분 영상 정보에 따라 상기 영상 정보의 시간 길이를 단축한 요약 정보를 생성하는 영상 정보 요약 장치로서, 미리 생성되며, 적어도 상기 입력 영상 정보에서의 특징적인 부분이 연속적으로 연결된 예고 정보를 가지는 다른 영상 정보를 취득하는 취득 장치, 상기 입력 영상 정보와 상기 다른 영상 정보를 비교하여 상기 예고 정보를 구성하는 특징적인 부분과 부분적으로 동일한 영상 정보인 동일 부분 정보를 상기 입력 영상 정보로부터 검출하는 검출 장치, 상기 검출된 동일 부분 정보에 따라 추출되어야 하는 상기 부분 영상 정보를 결정하는 결정 장치, 및 상기 결정된 부분 영상 정보를 상기 입력 영상 정보로부터 추출하여 상기 요약 정보를 생성하는 생성 장치를 포함하는 영상 정보 요약 장치에 의해 실현될 수 있다.

이 구성에 의해 제2 특징에 따른 본 발명에서, 취득 장치는 적어도 입력된 영상 정보에서의 예고 정보를 가지는 영상 정보를 취득하고, 검출 장치는 입력된 영상 정보와 다른 영상 정보를 비교하여 동일한 부분 정보를 상기 입력된 영상 정보로부터 검출하며, 결정 장치는 이 동일 부분 정보에 따라 부분 영상 정보를 결정하고, 생성 장치는 이 부분 영상 정보에 따라 요약 정보를 생성한다.

통상, 드라마 등의 시나리오에 따라 그 예술적 의도를 달성하도록 여러 가지 장면을 조립하여 이야기로서 성립시키는 스토리를 가지는 영상 정보는 복수 회에 걸쳐 영상 정보가 제공됨으로써 내용이 완결되는 경우가 많고, 각 회의 영상 정보에 다음 번의 예고 영상이 포함되어 제공되는 경우가 많다.

따라서, 요약되는 영상 정보(예를 들어, 복수회의 영상 정보 중 임의의 영상 정보)와 다른 영상 정보[예를 들어, 요약되는 영상 정보 중 전회(last time)의 영상 정보]를 비교함으로써 각 영상 정보에서 동일한 부분 정보를 검출할 수 있다. 따라서, 시간적 위치 등 예고 정보를 지정하지 않더라도 이 예고 정보를 가지는 영상 정보를 취득함으로써 이 예고 정보에 따라 요약 정보를 생성할 수 있다. 그 결과 번거로운 조작의 필요 없이 사용자가 단시간에 내용을 파악할 수 있는 더욱 적절한 요약 정보를 제공할 수 있다.

본 발명의 영상 정보 요약 장치의 한 특징에서, 상기 검출 장치는 미리 설정된 시간 길이를 가지는 상기 동일 부분 정보를 검출한다.

이 구성에 의해 제3 특징에 따른 본 발명에서, 검출 장치는 미리 설정된 시간 길이를 가지는 상기 동일 부분 정보를 검출한다.

통상, 예고 정보로서 제공되는 영상 정보는 미리 정해진 시간 내에 요약 정보 생성의 대상이 되는 영상 정보에서의 특징 부분이 짧은 영상 정보를 연속적으로 연결시킨 영상 정보를 포함한다. 예고 정보는 지나치게 짧은 부분 영상 정보를 포함하지 않는다. 이 부분 영상 정보는 한 장면에서 최대 수초 정도(예를 들어, 5초 정도)의 시간 길이를 갖는다.

따라서, 시간 길이가 지나치게 짧은 부분 영상 정보 및 수초 정도 이상의 부분 영상 정보는 예고 정보에 따라 검출된 것이 아닌 것이라고 판단할 수 있기 때문에, 미리 설정된 시간 길이를 가지는 동일 부분 정보를 검출함으로써 적절하게 예고 영상 정보와 동일한 동일 부분 정보를 검출할 수 있다.

본 발명의 영상 정보 요약 장치의 다른 특징에서, 상기 검출 장치에 의해 검출된 상기 동일 부분 정보의 상기 입력 영상 정보에서의 시간적 위치와 상기 예고 정보를 가지는 다른 영상 정보에서의 시간적 위치가 미리 정해진 시간적 범위 내에서 일치하는 경우, 상기 검출 장치는 상기 미리 정해진 시간적 범위 내에서 상기 동일 부분 정보에서의 시간적 위치와 다른 영상 정보에서의 시간적 위치가 일치하는 동일 부분 정보를 상기 검출 장치에 의해서 검출된 상기 동일 부분 정보로부터 배제시키고, 상기 결정 장치는 상기 미리 정해진 시간적 범위 내에서 다른 영상 정보에서의 시간적 위치가 일치하는 상기 동일 부분 정보가 배제된 검출 결과에 따라 추출되어야 하는 상기 부분 영상 정보를 결정한다.

이 구성에 의해 제4 특징에 따른 본 발명에서, 검출된 동일 부분 정보의 입력된 영상 정보에서의 시간적 위치와 다른 영상 정보에서의 시간적 위치가 미리 정해진 범위 내에서 일치하는 경우, 검출 장치는 상기 검출한 동일 부분 정보를 검출 결과로부터 배제시키고, 결정 장치는 이 검출 결과에 따라 부분 영상 정보를 결정한다.

통상, 드라마 등의 시나리오에 따라 그 예술적 의도를 달성하도록 여러 가지 장면을 조립하는 동시에 이야기로서 성립시키는 스토리를 가지는 영상 정보가 복수의 영상 정보에 의해서 제공되는 경우, 상기 각 영상 정보에는 오프닝(opening) 또는 엔딩(ending) 등 동일한 부분이 존재한다. 그러나 이 부분들은 상기 영상 정보와 동일하지만 그 영상 정보의 특징 부분이 되지는 않는다.

따라서, 동일 부분 정보의 시간적 위치가 미리 정해진 범위에서 일치하는 동일 부분 정보를 검출 결과로부터 배제함으로써, 상기 영상 정보의 특징 부분이 되지 않는 부분인 경우 배제하여 적절하게 예고 영상 정보와 동일한 동일 부분 정보를 검출할 수 있어, 이 동일 부분 정보에 따라 부분 영상 정보를 결정할 수 있다.

본 발명의 영상 정보 요약 장치의 다른 특징에서는, 상기 검출 장치에 의해 검출된 상기 동일 부분 정보의 상기 입력 영상 정보에서의 시간적 위치와 다른 상기 동일 부분 정보의 상기 입력 영상 정보에서의 시간적 위치가 시간적으로 연속되는 경우, 상기 검출 장치는 상기 시간적으로 연속된 동일 부분 정보를 상기 검출 장치에 의해 검출된 상기 동일 부분 정보로부터 배제시키고, 상기 결정 장치는 상기 시간적으로 인접하는 동일 부분 정보가 배제된 검출 결과에 따라 추출되어야 하는 상기 부분 영상 정보를 결정한다.

이 구성에 의해 제5 특징에 따른 본 발명에서는, 동일 부분 정보의 상기 입력된 영상 정보에서의 시간적 위치가 다른 동일 부분 정보의 시간적 위치와 시간적으로 접하고 있는 경우, 검출 장치가 다른 동일 부분 정보와 시간적으로 인접하는 동일 부분 정보를 검출 결과로부터 배제시키고, 결정 장치가 이 검출 결과에 따라 부분 영상 정보를 결정한다.

통상, 예고 정보는 영상 정보에서의 특징적인 부분을 연속적으로 결합하여 단 시간에 통합한 것이기 때문에, 예고 정보에서의 각 부분 영상 정보는 다른 부분 영상 정보와 시간적으로 접하지 않는다.

따라서, 시간적으로 다른 동일 부분 정보와 접하는 동일 부분 정보를 배제하여 이 동일 부분 정보를 배제한 검출 결과에 따라 추출되어야 하는 부분 영상 정보를 결정할 수 있기 때문에, 적절하게 예고 영상 정보와 동일한 동일 부분 정보를 검출할 수 있다.

본 발명의 영상 정보 요약 장치의 다른 특징에서는, 영상 정보 요약 장치는 상기 영상 정보의 식별 정보를 취득하는 식별 정보 취득 장치를 더 포함하며, 상기 식별 정보 취득 장치에 의해 상기 영상 정보의 식별 정보가 소정의 스토리를 가지는 영상 정보인 것으로 식별된 경우, 상기 결정 장치는 상기 검출 장치에 의해 검출된 상기 동일 부분 정보에 따라 상기 추출되어야 하는 부분 영상 정보를 결정한다.

이 구성에 의해 제6 특징에 따른 본 발명에서는 영상 정보의 식별 정보를 취득하기 위하여 설치된 식별 정보 취득 장치로써 상기 영상 정보의 식별 정보가 스토리를 가지는 영상 정보인 것이 식별된 경우에, 결정 장치가 이 검출된 동일 부분 정보에 따라 부분 영상 정보를 결정한다.

드라마 등의 스토리를 가지는 영상 정보에서는 반드시 음성 레벨이 큰 음성 부분 또는 음성이 없는 무음 부분이 상기 영상 정보의 특징 부분이 되지 않는 한편, 스포츠 프로그램이나 뉴스 프로그램 등의 영상 정보에서는 예고 정보가 없는 경우가 많다. 그러므로, 일반적으로는 이 영상 정보에 부가되어 있는 음성 정보에 따라 이 영상 정보의 특징 부분을 검출할 수 있다.

따라서, 드라마 등의 스토리를 가지는 영상 정보인 것이 식별된 경우에는, 영상 정보의 제작자에 의해 즉, 인간이 영상 정보의 내용을 이해하여 편집된 예고 정보에 따라 요약 정보를 생성할 수 있어, 사용자가 단시간에 내용을 적절하게 파악할 수 있는 더욱 알맞은 요약 정보를 제공할 수 있다.

상기 본 발명의 목적은 입력 영상 정보로부터 상기 입력 영상 정보의 일부인 부분 영상 정보를 하나 또는 복수 개 추출하며, 상기 추출한 부분 영상 정보에 따라 상기 영상 정보의 시간 길이를 단축한 요약 정보를 생성하는 영상 정보 요약 방법으로서, 미리 생성되며, 상기 입력 영상 정보에서의 특징적인 부분이 연속적으로 연결된 예고 정보를 취득하는 취득 단계, 상기 예고 정보를 구성하는 특징적인 부분과 동일한 영상 정보인 동일 부분 정보를 상기 입력 영상 정보로부터 검출하는 검출 단계, 상기 검출된 동일 부분 정보에 따라 추출되어야 하는 상기 부분 영상 정보를 결정하는 결정 단계, 및 상기 결정된 부분 영상 정보를 상기 입력 영상 정보로부터 추출하여 상기 요약 정보를 생성하는 생성 단계를 포함하는 영상 정보 요약 방법에 의해 실현될 수 있다.

이 구성에 의해 제7 특징에 따른 본 발명에서는, 취득 단계에 의해 입력된 영상 정보에서 예고 정보가 취득되고, 검출 단계에 의해 입력된 영상 정보로부터 예고 정보를 구성하는 특징적인 부분과 동일한 동일 부분 정보가 검출된다. 동시에, 결정 단계에 의해 이 동일 부분 정보에 따라 부분 영상 정보가 결정되며, 생성 단계에 의해서 이 부분 영상 정보에 따라 요약 정보가 생성된다.

통상, 드라마 등의 시나리오에 따라 그 예술적 의도를 달성하도록 여러 가지 장면을 조립하는 동시에, 이야기로서 성립시키는 스토리를 가지는 영상 정보에서는 반드시 음성 레벨이 큰 음성 부분 또는 음성이 없는 무음 부분이 이 영상 정보의 특징 부분이 되지는 않는다.

따라서, 영상 정보의 제작자에 의해 즉, 인간이 영상 정보의 내용을 이해하여 편집된 예고 정보에 따라 요약 정보를 생성할 수 있기 때문에, 사용자가 단시간에 내용을 적절하게 파악할 수 있는 더욱 알맞은 요약 정보를 제공할 수 있다.

상기한 본 발명의 목적은 입력 영상 정보로부터 상기 입력 영상 정보의 일부인 부분 영상 정보를 하나 또는 복수 개 추출하며, 상기 추출한 부분 영상 정보에 따라 상기 영상 정보의 시간 길이를 단축한 요약 정보를 생성하는 영상 정보 요약 방법으로서, 미리 생성되며, 적어도 상기 입력 영상 정보에서의 특징적인 부분이 연속적으로 연결된 예고 정보를 가지는 다른 영상 정보를 취득하는 취득 단계, 상기 입력 영상 정보와 상기 다른 영상 정보를 비교하여 상기 예고 정보를 구성하는 상기 특징적인 부분과 부분적으로 동일한 영상 정보인 동일 부분 정보를 상기 입력영상 정보로부터 검출하는 검출 단계, 상기 검출된 동일 부분 정보에 따라 추출되어야 하는 상기 부분 영상 정보를 결정하는 결정 단계, 및 상기 결정된 부분 영상 정보를 상기 입력 영상 정보로부터 추출하여 상기 요약 정보를 생성하는 생성 단계를 포함하는 영상 정보 요약 방법에 의해 실현될 수 있다.

이 구성에 의해 제8 특징에 따른 본 발명에서는 취득 단계에 의해 입력된 영상 정보에서의 적어도 예고 정보를 가지는 영상 정보가 취득되고, 검출 단계에 의해 입력된 영상 정보와 다른 영상 정보가 비교되어 동일한 상기 부분 정보가 이 입력된 영상 정보로부터 검출된다. 동시에, 결정 단계에 의해 이 동일 부분 정보에 따라 추출되어야 하는 부분 영상 정보가 결정되며, 생성 단계에 의해 이 부분 영상 정보에 따라 요약 정보가 생성된다.

통상, 드라마 등의 시나리오에 따라 그 예술적 의도를 달성하도록 여러 가지 장면을 조립하는 동시에, 이야기로서 성립시키는 스토리를 가지는 영상 정보는 복수 회에 걸쳐 영상 정보가 제공됨에 따라 내용이 완결하는 경우가 많고, 각 회의 영상 정보에 다음 번의 예고영상이 포함되어 제공되는 경우가 많다.

따라서, 요약되는 영상 정보(예를 들어, 복수 회의 영상 정보 중 어느 영상 정보)와 다른 영상 정보(예를 들어, 요약되는 영상 정보에서의 전회 영상 정보)를 비교함으로써 각 영상 정보에서 동일한 부분 정보를 검출할 수 있다. 때문에, 특히 시간적 위치 등 예고 정보를 지정하지 않더라도 이 예고 정보를 가지는 영상 정보를 취득함으로써 이 예고 정보에 따라 요약 정보를 생성할 수 있다. 그 결과 번거로운 조작의 필요 없이 사용자가 단시간에 내용을 적절하게 파악할 수 있는 더욱알맞은 요약 정보를 제공할 수 있다.

본 발명의 영상 정보 요약 방법의 한 특징에서, 상기 검출 단계에서는 미리 설정된 시간 길이를 가지는 상기 동일 부분 정보를 검출한다.

이 구성에 의해 제9 특징에 따른 본 발명에서는 검출 단계에 의해 미리 설정된 시간 길이를 가지는 동일 부분 정보를 검출한다.

통상, 예고 정보로서 제공되는 영상 정보는 미리 정해진 시간 내에 요약 정보의 생성의 대상이 되는 영상 정보에서의 특징 부분이 짧은 영상 정보를 연속적으로 연결시킨 영상 정보이다. 이 예고 정보는 너무 짧은 부분 영상 정보를 포함하지 않는다. 이 부분 영상 정보는 한 장면에서 최대 수초 정도(예를 들어, 5초 정도)의 시간 길이를 갖는다.

따라서, 시간 길이가 지나치게 짧은 부분 영상 정보 및 수초 정도 이상의 부분 영상 정보는 예고 정보에 따라 검출된 것이 아니라고 판단할 수 있기 때문에, 미리 설정된 시간 길이를 가지는 동일 부분 정보를 검출함으로써 적절하게 예고 영상 정보와 동일한 동일 부분 정보를 검출할 수 있다.

본 발명의 영상 정보 요약 방법의 다른 특징에서는, 상기 검출 단계에 따라 검출된 상기 동일 부분 정보의 상기 입력 영상 정보에서의 시간적 위치와 상기 예고 정보를 가지는 다른 영상 정보에서의 시간적 위치가 미리 정해진 시간적 범위 내에서 일치하는 경우, 상기 검출 단계 과정에서는, 상기 미리 정해진 시간적 범위 내에서 시간적 위치가 다른 영상 정보에서의 시간적 위치와 일치하는 상기 동일 부분 정보가 상기 검출 단계 과정에 따라 검출된 상기 동일 부분 정보로부터 배제되고, 상기 결정 단계 과정에서는, 상기 미리 정해진 시간적 범위 내에서 시간적 위치가 다른 영상 정보에서의 시간적 위치와 일치하는 상기 동일 부분 정보가 배제된 검출 결과에 따라 추출되어야 하는 상기 부분 영상 정보가 결정된다.

이 구성에 의해 제10 특징에 따른 본 발명에서는, 검출된 동일 부분 정보의 입력된 영상 정보에서의 시간적 위치와 동등한 검출된 동일 영상 정보의 다른 영상 정보에서의 시간적 위치가 미리 정해진 범위 내에서 일치하는 경우, 검출 단계에 의해 이 검출된 동일 부분 정보가 검출결과로부터 배제되고, 결정 단계에 의해 이 검출 결과에 따라 부분 영상 정보가 결정된다.

통상, 드라마 등의 시나리오에 따라 그 예술적 의도를 달성하도록 여러 가지 장면을 조립하여 이야기로서 성립시키는 스토리를 가지는 영상 정보가 복수의 영상 정보에 의해 제공되는 경우, 각 영상 정보에는 오프닝 또는 엔딩 등 동일한 부분이 존재한다. 이 부분은 영상 정보와 동일하지만, 영상 정보의 특징 부분을 구성하지는 않는다.

따라서, 동일 부분 정보의 시간적 위치가 미리 정해진 범위에서 일치하는 동일 부분 정보를 검출 결과로부터 배제함으로써, 동일 부분 정보이기는 하지만 상기 영상 정보의 특징 부분이 되지 않는 부분을 배제하여 적절하게 예고 영상 정보와 동일한 동일 부분 정보를 검출할 수 있어, 이 동일 부분 정보에 따라 부분 영상 정보를 결정할 수 있다.

본 발명의 영상 정보 요약 방법의 다른 특징에서는, 상기 검출 단계과정에 따라 검출된 상기 동일 부분 정보의 상기 입력 영상 정보에서의 시간적 위치와 일부 다른 상기 동일 부분 정보의 상기 입력 영상 정보에서의 시간적 위치가 시간적으로 연속된 경우, 상기 검출 단계 과정에서는, 상기 시간적으로 연속된 동일 부분 정보를 상기 검출 단계 과정에 따라 검출된 상기 동일 부분 정보로부터 배제시키고, 상기 결정 단계 과정에서는, 상기 시간적으로 인접하는 동일 부분 정보가 배제된 검출 결과에 따라 추출되어야 하는 상기 부분 영상 정보를 결정한다.

이 구성에 의해 제11 특징에 따른 본 발명에서는, 동일 부분 정보의 상기 입력된 영상 정보에서의 시간적 위치가 다른 동일 부분 정보의 시간적 위치와 시간적으로 인접하는 경우, 검출 단계에 의해 다른 동일 부분과 시간적으로 인접하는 동일 부분 정보를 검출 결과로부터 배제시키고, 결정 단계에 의해 이 검출 결과에 따라 부분 영상 정보를 결정한다.

통상, 예고 정보는 영상 정보에서의 특징적인 부분을 연속적으로 결합하여 단시간에 통합한 것이기 때문에, 예고 정보에서의 각 부분 영상 정보는 다른 부분 영상 정보와 시간적으로 접하지 않는다.

따라서, 다른 동일 부분 정보와 시간적으로 인접하는 동일 부분 정보를 검출 결과로부터 배제하여 이 동일 부분 정보를 배제한 검출 결과에 따라 추출되어야 하는 부분 영상 정보를 결정할 수 있기 때문에, 적절하게 예고 영상 정보와 동일한 동일 부분 정보를 검출할 수 있다.

본 발명의 영상 정보 요약 방법의 다른 특징에서는, 상기 영상 정보의 식별 정보를 취득하는 식별 정보 취득 단계를 더 포함하며, 상기 영상 정보의 식별 정보가 상기 식별 정보 취득 단계에 따른 스토리를 가지는 영상 정보인 것으로 식별된경우, 상기 결정 단계 과정에서는, 상기 검출 단계 과정에 의해 검출된 상기 동일 부분 정보에 따라 추출되어야 하는 부분 영상 정보가 결정된다.

이 구성에 의해 제12 특징에 따른 본 발명에서는, 영상 정보의 식별 정보를 취득하기 위하여 구비된 식별 정보 취득 단계에서 상기 영상 정보의 식별 정보가 스토리를 가지는 영상 정보인 것으로 식별된 경우에, 결정 단계에 의해 이 검출된 동일 부분 정보에 따라 부분 영상 정보를 결정한다.

드라마 등의 스토리를 가지는 영상 정보에서는 반드시 음성 레벨이 큰 음성 부분 또는 음성이 없는 무음 부분이 상기 영상 정보의 특징 부분이 되지 않는 한편, 스포츠 프로그램이나 뉴스 프로그램 등의 영상 정보에서는 예고 정보가 없는 경우가 많다. 그러므로, 일반적으로는 상기 영상 정보에 부가되어 있는 음성 정보에 따라 상기 영상 정보의 특징 부분을 검출할 수 있다.

따라서, 드라마 등의 스토리성을 가지는 영상 정보인 것이 식별된 경우에는, 영상 정보의 제작자에 의해 즉, 인간이 영상 정보의 내용을 이해하여 편집된 예고 정보에 따라 요약 정보를 생성할 수 있어, 사용자가 단시간에 내용을 적절하게 파악할 수 있는 더욱 알맞은 요약 정보를 제공할 수 있다.

상기한 본 발명의 목적은 컴퓨터에 의해, 입력 영상 정보로부터 상기 영상 정보의 일부인 부분 영상 정보를 하나 또는 복수 개 추출하며, 상기 추출한 부분 영상 정보에 따라 상기 영상 정보의 시간 길이를 단축한 요약 정보를 생성하는 영상 정보 요약 프로그램으로서, 상기 컴퓨터가, 미리 생성되며 상기 입력 영상 정보에서의 특징적인 부분이 연속적으로 연결된 예고 정보를 취득하는 취득 장치, 상기예고 정보를 구성하는 특징적인 부분과 동일한 영상 정보인 동일 부분 정보를 상기 입력 영상 정보로부터 검출하는 검출 장치, 상기 검출된 동일 부분 정보에 따라 추출되어야 하는 상기 부분 영상 정보를 결정하는 결정 장치, 및 상기 결정된 부분 영상 정보를 상기 입력 영상 정보로부터 추출하여 상기 요약 정보를 생성하는 생성 장치로 기능하도록 해주는 영상 정보 요약 프로그램에 의해 실현될 수 있다.

이 구성에 의해 제13 특징에 따른 본 발명에서는, 컴퓨터에 의해 입력된 영상 정보에서의 예고 정보를 취득하여, 입력된 영상 정보로부터 예고 정보를 구성하는 특징적인 부분과 동일한 동일 부분 정보를 검출한다. 동시에, 이 동일 부분 정보에 따라 부분 영상 정보를 결정하고, 이 부분 영상 정보에 따라 요약 정보를 생성한다.

통상, 드라마 등의 시나리오에 따라 그 예술적 의도를 달성하도록 여러 가지 장면을 조립하며, 이야기로서 성립시키는 스토리를 가지는 영상 정보에서는 반드시 음성 레벨이 큰 음성 부분 또는 음성이 없는 무음 부분이 상기 영상 정보의 특징부분이 되지 않는다.

따라서, 영상 정보의 제작자에 의해 즉, 인간이 영상 정보의 내용을 이해하여 편집된 예고 정보에 따라 요약 정보를 생성할 수 있기 때문에, 사용자가 단시간에 내용을 적절하게 파악할 수 있는 더욱 알맞은 요약 정보를 제공할 수 있다.

상기한 본 발명의 목적은 컴퓨터에 의해, 입력 영상 정보로부터 상기 영상 정보의 일부인 부분 영상 정보를 하나 또는 복수 개 추출하며, 상기 추출한 부분 영상 정보에 따라 상기 영상 정보의 시간 길이를 단축한 요약 정보를 생성하는 영상 정보 요약 프로그램으로서, 상기 컴퓨터가, 미리 생성되며, 적어도 상기 입력 영상 정보에서의 특징적인 부분이 연속적으로 연결된 예고 정보를 가지는 다른 영상 정보를 취득하는 취득 장치, 상기 입력 영상 정보와 상기 다른 영상 정보를 비교하여 상기 예고 정보를 구성하는 특징적인 부분과 부분적으로 동일한 영상 정보인 동일 부분 정보를 상기 입력 영상 정보로부터 검출하는 검출 장치, 상기 검출된 동일 부분 정보에 따라 추출되어야 하는 상기 부분 영상 정보를 결정하는 결정 장치, 및 상기 결정된 부분 영상 정보를 상기 입력 영상 정보로부터 추출하여 상기 요약 정보를 생성하는 생성 장치로 기능하도록 해주는 영상 정보 요약 프로그램에 의해 실현될 수 있다.

이 구성에 의해 제14 특징에 따른 본 발명에서는, 컴퓨터에 의해 입력된 영상 정보에서의 적어도 예고 정보를 가지는 영상 정보가 취득되고, 입력된 영상 정보와 다른 영상 정보가 비교되어 상기 동일 부분 정보가 이 입력된 영상 정보로부터 검출된다. 동시에, 이 동일 부분 정보에 따라 상기 부분 영상 정보가 결정되고 요약 정보가 생성된다.

통상, 드라마 등의 시나리오에 따라 그 예술적 의도를 달성하도록 여러 가지 장면을 조립하여 이야기로서 성립시키는 스토리를 가지는 영상 정보는 복수 회에 걸쳐 영상 정보가 제공됨으로써 내용이 완결하는 경우가 많고, 각 회의 영상 정보에 다음 번의 예고 영상이 포함되어 제공되는 경우가 많다.

따라서, 요약되는 영상 정보(예를 들어, 복수 회의 영상 정보 중 어느 영상 정보)와 다른 영상 정보(예를 들어, 요약되는 영상 정보 중 전회 영상 정보)를 비교함으로써 각 영상 정보에서 동일 부분 정보를 검출한다. 때문에, 시간적 위치 등 예고 정보를 지정하지 않더라도 이 예고 정보를 가지는 영상 정보를 취득함으로써 이 예고 정보에 따라 요약 정보를 생성할 수 있다. 그 결과, 번거로운 조작의 필요 없이 사용자가 단시간에 내용을 적확하게 파악할 수 있는 더욱 알맞은 요약 정보를 제공할 수 있다.

본 발명의 영상 정보 요약 프로그램의 한 특징에서는, 상기 영상 정보 요약 프로그램은 상기 컴퓨터가 미리 설정된 시간 길이를 가지는 상기 동일 부분 정보를 검출하는 검출 장치로 기능하도록 해준다.

이 구성에 의해 제15 특징에 따른 본 발명에서는, 컴퓨터에 의해 미리 설정된 시간 길이를 가지는 동일 부분 정보를 검출한다.

통상, 예고 정보로서 제공되는 영상 정보는 미리 정해진 시간 내에 요약 정보 생성의 대상이 되는 영상 정보에서의 특징 부분인 짧은 영상 정보를 연속적으로 연결시킨 영상 정보이다. 이 예고 정보는 너무 짧은 부분 영상 정보를 포함하지 않는다. 이 부분 영상 정보는 하나의 장면에서 최대 수초 정도(예를 들어, 5초 정도)의 시간 길이이다.

따라서, 시간 길이가 지나치게 짧은 부분 영상 정보 및 수초 정도 이상의 부분 영상 정보는 예고 정보에 따라 검출된 것이 아니라고 판단할 수 있기 때문에, 미리 설정된 시간 길이를 가지는 동일 부분 정보를 검출함으로써 적절하게 예고 영상 정보와 동일한 동일 부분 정보를 검출할 수 있다.

본 발명의 영상 정보 요약 프로그램의 다른 특징에서는, 상기 검출된 상기동일 부분 정보의 상기 입력 영상 정보에서의 시간적 위치와 상기 예고 정보를 가지는 다른 영상 정보에서의 시간적 위치가 미리 정해진 시간적 범위 내에서 일치하는 동일 부분 정보인 경우, 영상 정보 요약 프로그램은 상기 컴퓨터가, 상기 미리 정해진 시간적 범위 내에서 시간적 위치가 다른 영상 정보에서의 시간적 위치와 일치하는 상기 동일 부분 정보를 상기 검출된 동일 부분 정보로부터 배제하는 검출 장치, 및 상기 미리 정해진 시간적 범위 내에서 시간적 위치가 다른 영상 정보에서의 시간적 위치와 일치하는 상기 동일 부분 정보를 배제한 검출 결과에 따라 상기 추출되어야 하는 상기 부분 영상 정보를 결정하는 결정 장치로 기능하도록 해준다.

이 구성에 의해 제16 특징에 따른 본 발명에서는, 검출된 동일 부분 정보의 입력된 영상 정보에서의 시간적 위치가 동등한 검출된 동일 영상 정보의 다른 영상 정보에서의 시간적 위치와 미리 정해진 범위 내에서 일치하는 경우, 컴퓨터에 의해 이 검출된 동일 부분 정보를 검출 결과로부터 배제시키고 이 검출 결과에 따라 부분 영상 정보를 결정한다.

통상, 드라마 등의 시나리오에 따라 그 예술적 의도를 달성하도록 여러 가지 장면을 조립하여 이야기로서 성립시키는 스토리를 가지는 영상 정보가 복수의 영상 정보에 의해서 제공되는 경우, 각 영상 정보에는 오프닝 또는 엔딩 등 동일한 부분이 존재한다. 이 부분들은 영상 정보와 동일하지만, 영상 정보의 특징 부분을 구성하지는 않는다.

따라서, 시간적 위치가 미리 정해진 범위에서 상호 일치하는 동일 부분 정보를 검출 결과로부터 배제함으로써 상기 영상 정보의 특징 부분이 되지 않는 동일부분 정보를 배제하는 경우, 적절하게 예고 영상 정보와 동일한 동일 부분 정보를 검출할 수 있고, 이 동일 부분 정보에 따라 부분 영상 정보를 결정할 수 있다.

본 발명의 영상 정보 요약 프로그램의 다른 특징에서, 상기 검출된 동일 부분 정보의 상기 입력 영상 정보에서의 시간적 위치와 상기 동일 부분 정보의 다른 부분의 상기 입력 영상 정보에서의 시간적 위치가 시간적으로 연속한 경우, 상기 영상 정보 요약 프로그램은 상기 영상 정보 요약 프로그램은 상기 컴퓨터가, 상기 시간적으로 연속한 동일 부분 정보를 상기 검출된 상기 동일 부분 정보로부터 배제하는 검출 장치, 및 상기 시간적으로 인접하는 동일 부분 정보가 배제된 검출 결과에 따라 추출되어야 하는 상기 부분 영상 정보를 결정하는 결정 장치로 기능하도록 해준다.

이 구성에 의해, 제17 특징에 따른 본 발명에서는 동일 부분 정보의 상기 입력된 영상 정보에서의 시간적 위치가 다른 동일 부분 정보의 시간적 위치와 시간적으로 인접하는 경우, 컴퓨터에 의해 시간적으로 인접하는 동일 부분 정보를 검출 결과로부터 배제시키고, 이 검출 결과에 따라 부분 영상 정보를 결정한다.

통상, 예고 정보는 영상 정보에서의 특징적인 부분을 연속적으로 결합하여 단시간에 특징 부분을 요약한 것이기 때문에, 예고 정보에서의 각 부분 영상 정보는 다른 부분 영상 정보와 시간적으로 접하지 않는다.

따라서, 시간적으로 다른 동일 부분 정보와 접하는 동일 부분 정보를 검출 결과로부터 배제하여 이 동일 부분 정보를 배제한 검출 결과에 따라 추출되어야 하는 부분 영상 정보를 결정할 수 있기 때문에, 적절하게 예고 영상 정보와 동일한동일 부분 정보를 검출할 수 있다.

본 발명의 영상 정보 요약 프로그램의 다른 특징에서는, 상기 영상 정보 요약 프로그램은 상기 컴퓨터가, 상기 영상 정보의 식별 정보를 취득하는 식별 정보 취득 장치로 기능시키고, 상기 영상 정보의 식별 정보가 소정의 스토리를 가지는 영상 정보인 것으로 식별된 경우, 상기 영상 정보 요약 프로그램은 상기 컴퓨터가 상기 검출된 동일 부분 정보에 따라 추출되어야 하는 상기 부분 영상 정보를 결정하는 결정 장치로 기능하도록 해준다.

이 구성에 의해, 제18 특징에 따른 본 발명에서는, 컴퓨터에 의해 영상 정보의 식별 정보를 취득하여 이 영상 정보의 식별 정보가 스토리를 가지는 영상 정보인 것이 식별된 경우에, 이 검출된 동일 부분 정보에 따라 부분 영상 정보를 결정한다.

드라마 등의 스토리를 가지는 영상 정보에서는 반드시 음성 레벨이 큰 음성 부분 또는 음성이 없는 무음 부분이 상기 영상 정보의 특징 부분이 되지 않는 한편, 스포츠 프로그램이나 뉴스 프로그램 등의 영상 정보에서는 예고 정보가 없는 경우가 많다. 그러므로, 일반적으로는 상기 영상 정보에 부가되어 있는 음성 정보에 따라 상기 영상 정보의 특징 부분을 검출할 수 있다.

따라서, 영상 정보가 드라마 등의 스토리를 가지는 영상 정보인 것으로 식별된 경우에는, 영상 정보의 제작자에 의해 즉, 인간이 영상 정보의 내용을 이해하여 편집된 예고 정보에 따라 요약 정보를 생성할 수 있어, 사용자가 단시간에 내용을 적절하게 파악할 수 있는 더욱 알맞은 요약 정보를 제공할 수 있다.

이하 본 발명의 바람직한 실시예를 도면에 따라 설명한다.

본 실시예에 따르면, 본 발명은 통신 회선 또는 전파 등에 의해 제공되는 텔레비전 방송 프로그램 등의 음성 영상 정보를 요약 재생하는 요약 재생 장치에 적용된다.

먼저, 도 1 및 도 2를 이용하여 본 실시예의 요약 재생 장치의 전체 구성 및 개략적인 동작에 대하여 설명한다.

이 경우에, 도 1은 본 실시예의 요약 재생 장치의 개략 구성을 나타내는 블록도이고, 도 2는 프레임(frame)에서의 영상 정보의 특징량(characteristic amount)의 추출 원리를 설명하기 위한 도면이다.

도 1에 나타내는 본 실시예에 따른 요약 재생 장치(summary reproducing device)(100)는 통신 회선을 통해 송신된 또는 도시하지 않은 수신부에 의해 수신된 디지털 음성 영상 정보(이하, 단순히 음성 영상 정보라고 한다)를 입력한다. 또 요약 재생 장치(100)는 각 음성 영상 정보, 즉 입력된 디지털 신호를 복호화(decode)하고, 복호화된 각 음성 영상 정보로부터 각 장면에 대한 음성 영상 정보의 특징량을 추출하고, 이 디지털 음성 영상 정보에서의 예고 정보를 이용하여 요약 재생에 따라 추출되어야 하는 부분 영상 정보[이하, 요약 세그먼트(summary segment)라고 한다]를 결정한다.

이 예고 정보는 입력 디지털 음성 영상 정보의 복수의 특징적인 장면에서의 짧은 영상 부분[이하, 샷(shot)(부분 정보)라고 한다]이 연속적으로 연결된 영상 정보를 포함한다. 이 예고 정보는 음성 영상 정보의 제작자인 인간이 그 음성 영상 정보의 내용을 이해하여 편집되며, 따라서 이 음성 영상 정보는 간략하게 요약한 것이다.

통상, 드라마 등의 연속성을 가지는 영상 정보, 즉, 시나리오에 따라 그 예술적 의도를 달성하도록 여러 가지 장면을 조립하고, 이야기로서 성립되는 영상 정보는 복수 회에 걸쳐 영상 정보가 제공되어 음성 영상 정보의 내용이 완결되는 경우, 각 음성 영상 정보는 한번에 제공되는 경우가 거의 없어 각 음성 영상 정보의 제공에는 시간적인 어긋남(time deviation)이 생기며, 각 회(回)의 음성 영상 정보에 다음 번의 예고 영상이 포함되어 제공되는 등의 특징을 가지고 있다.

이러한 특징을 고려하여 본 실시예에서는 연속성이 있는 복수 회의 음성 영상 정보를 각각 녹화 등에 의해 축적하여, 각 음성 영상 정보의 특징량을 추출한다. 요약 재생을 수행하는 경우에는, 요약 재생의 대상이 되는 음성 영상 정보[예를 들어, N회 째(이하, 대상 음성 영상 정보라고 한다]와 대상 음성 영상 정보에서의 예고 정보를 가지는 음성 영상 정보[예를 들어, N-1회 째(이하, 비대상(non-object) 음성 영상 정보라고 한다)]를 비교하여, 동일 샷을 대상 음성 영상 정보로부터 검출하여 이 동일 샷에 따라 추출할 요약 세그먼트를 결정한다.

본 실시예의 요약 재생 장치(100)는 도 1에 도시한 바와 같이, 취득된 음성 영상 정보로부터 영상 정보와 이 영상 정보에서의 식별 정보(이하, 장르 정보라고 한다)를 가지는 정보[이하, 부가 정보(attached information)라고 한다]를 분리하는 디멀티플렉서(101), 각 음성 영상 정보의 특징량을 추출하는 특징량 추출부(102), 취득된 음성 영상 정보로부터 각 장면의 장면 변경을 검출하는 장면변경 검출부(103), 부가 정보로부터 장르 정보를 취득하는 장르 정보 취득부(104), 각 회(回)의 음성 영상 정보를 축적하고 각 음성 영상 정보에서 취득된 특징량 및 장르 정보를 축적하는 축적부(105), 음성 영상 정보로부터 이 음성 영상 정보에서의 예고 정보와 동일한 샷을 검출하는 예고 부분 추정부(106), 각 부의 조작을 행하고 음성 영상 정보를 요약하는 시간 길이를 입력하는 조작부(107), 축적된 음성 영상 정보의 요약 및 재생을 행하는 재생부(108), 동일 샷에 따라 축적된 음성 영상 정보의 요약 세그먼트를 결정하고 재생부(108)를 제어하는 제어부(109), 요약 및 재생된 영상 신호를 음성 신호와 함께 표시 및 출력하는 표시부(110), 및 연속성이 있는 복수 회의 음성 영상 정보의 녹화 예약을 행하는 녹화 예약 제어부(111)를 구비하고 있다.

대신에, 예고 부분 추정부(106)는 본 발명에 따른 검출 장치를 구성하고, 또 축적부(105)와 함께 본 발명에 따른 취득 장치를 구성한다. 또, 제어부(109)는 재생부(108)와 함께 본 발명에 따른 생성 장치를 구성하고, 또 제어부(109)는 본 발명에 따른 결정 장치 및 생성 장치를 구성한다.

디멀티플렉서(101)에는 통신 회선으로부터 송출된 또는 도시하지 않은 수신부에 의해 수신된 음성 영상 정보, 또는 이미 축적부(105)에 축적된 음성 영상 정보가 입력된다. 디멀티플렉서(101)는 이 입력된 디지털 음성 영상 정보로부터 영상 정보와 부가 정보를 분리하여 영상 정보를 특징량 추출부(102) 및 장면 변경 검출부(103)에 출력하고 부가 정보를 장르 정보 취득부(104)에 출력한다.

이 부대 정보는 예를 들어, 뉴스 프로그램, 스포츠 프로그램, 영화, 드라마,음악 프로그램 및 버라이어티 쇼(variety show) 프로그램 등의 장르 정보를 일부에 가지고 있고, BS(Broadcasting Satellite) 디지털 방송에서는 프로그램 배열 정보(Service Information)가 이 부가 정보에 해당한다. 이 경우, 디멀티플렉서(101)는 프로그램 배열 정보를 장르 정보 취득부(104)에 출력한다.

특징량 추출부(102)에는 디멀티플렉서(101)로부터 출력된 영상 정보가 입력된다. 이 특징량 추출부(102)는 입력된 영상 정보의 모든 프레임에서의 특징량을 추출하여 이 추출한 특징량을 축적부(105)에 출력한다.

예를 들어, 본 실시예에서는 각 프레임에 대한 색 평균(color average)을 산출하여, 이 색 평균값을 특징량으로서 추출한다. 특히, 본 실시예에서는 고속 처리를 수행하여 도 2에 도시한 바와 같이, 화면 중앙의 일부분의 색 평균을 각 프레임에 대해 산출한다..

이 각 프레임에 대하여 색 평균을 산출하여 제공 영상 정보의 특징량을 추출하는 이론은 예를 들어, 전자 정보 통신 학회(Institue of Electronics, Information and Communication Engineers) 논문지, D-II Vol.J81-D-II No.8pp 1831-1837 1998년 8월 발행된 "시계열 프레임 특징의 압축 부호화에 근거하는 영상 장면의 고속 분류 방법"에 기재되어 있다. 이 문헌에 기재되어 있는 영상 정보의 특징량을 추출하는 방법은 각 프레임에 대한 색 평균을 각 RGB 색 계(color system)의 각 성분에 대해 구하여 이들 3 개의 성분을 각 프레임의 특징량으로 한다.

장면 변경 검출부(103)에는 디멀티플렉서(101)로부터 출력된 영상 정보가 입력된다. 장면 변경 검출부(103)는 이 입력된 영상 정보에서 장면 변경 검출을 행하고, 장면 변경이 행하여진 시간적 위치 정보(이하, 단순히 시간 정보라 한다)를 축적부(105)에 출력한다.

예를 들어, 이 장면 변경의 대표적인 검출 방법으로는 일본 특허공개공보 평 10-276435호에 기재된 장면 변경 검출 방법이 알려져 있다. 이 검출 방법에 따르면 선행하는 장면과 후속하는 장면의 히스토그램의 유사 정도에 따라 두 장면에서 장면 변경이 발생하였는지 여부를 판단한다.

장르 정보 취득부(104)에는 디멀티플렉서(101)로부터 출력된 부가 정보(프로그램 배열 정보)가 입력된다. 이 장르 정보 취득부(104)는 이 입력된 부대 정보(프로그램 배열 정보)에 따라 음성 영상 정보에서의 영화, 뉴스, 드라마 등 장르 정보를 취득하여 이 장르 정보를 축적부(105)에 출력한다.

이와 달리, 이 장르 정보는 입력된 음성 영상 정보와 별도로 취득하도록 할 수도 있다. 예를 들어, 인터넷 등의 통신 회선을 통하여 임의의 장소에 저장되어 있는 입력된 음성 영상 정보에 관한 장르 정보를 취득할 수도 있다.

또, 장르 정보를 입력된 음성 영상 정보로부터 취득하는 대신에, 입력 음성 영상 정보에서의 음성 정보에 따라 추정할 수도 있다.

이 경우, 본 실시예에서는 추정부를 설치하고, 이 추정부에 의해 입력된 음성 영상 정보로부터 장르를 추정할 수 있다. 예를 들어, 각 장르를 특정하여 특징이 있는 텍스트 정보를 미리 준비 해두고, 입력 음성 영상 정보로부터 음성 인식 기술을 이용하여 음성을 추출하고, 텍스트 정보인 이 음성 인식 결과와 미리 준비된 텍스트 정보의 일치도(degree of accordance)를 산출하여, 이 산출 결과에 따라 장르를 추정한다.

축적부(105)에는 복수 회의 각 입력 음성 영상 정보, 특징량 추출부(102)에 의해 추출된 각 음성 영상 정보에서의 영상 정보의 특징량, 장면 변경 검출부(103)에 의해 검출된 각 음성 영상 정보에서의 장면 변경이 행하여진 시간 정보, 및 장르 정보 취득부(104)에 의해 취득된 각 음성 영상 정보의 장르 정보가 각 음성 영상 정보에 대하여 서로 관련지어져 축적된다.

후술하는 예고 정보와 동일한 샷을 검출하기 위하여, 이 축적부(105)는 제어부(109)의 지시에 따라 요약 재생의 대상이 되는 대상 음성 영상 정보, 비대상 음성 영상 정보, 그리고 대상 및 비대상 음성 영상 정보의 특징량을 예고 부분 추정부(106)에 출력한다.

이와 달리, 이 축적부(105)는 예고 부분 추정부(106)로부터 출력되는 현재의 대상 음성 영상 정보에서의 예고 정보와 동일한 샷의 시간적 위치 정보(이하, 시간 정보라고 한다)를 축적하고, 이 예고 정보와 동일 샷의 시간 정보는 대상 음성 영상 정보에 관련지어져 축적된다.

또한, 이 축적부(105)는 추출할 요약 세그먼트를 결정하여 요약 재생을 행하기 위하여, 제어부(109)의 지시에 따라 음성 영상 정보를 재생부(108)에, 장면 변경 정보 및 예고 부분 영상 정보의 시간 정보를 제어부(109)에 출력한다.

예고 부분 추정부(106)에는 대상 음성 영상 정보와 비대상 음성 영상 정보에서의 예고 정보를 가지는 부분의 음성 영상 정보의 특징량이 입력된다. 통상, 대부분의 경우 예고 정보는 비대상 음성 영상 정보의 종료 시각 전 10분의 구간에 포함되기 때문에, 본 실시예에서는 예고 부분 추정부(106)에는 비대상 음성 영상 정보의 종료 시각 전 10분의 구간이 예고 정보로서 입력된다.

이 예고 부분 추정부(106)는 입력된 대상 음성 영상 정보의 특징량과 비대상 음성 영상 정보의 특징량을 비교하고, 동일한 샷을 대상 음성 영상 정보로부터 검출한다. 그런 다음 예고 부분 추정부(106)는 이 검출된 샷의 대상 음성 영상 정보에서의 시간 정보를 축적부(105)에 출력한다. 이 동일 샷의 검출 원리 및 검출 동작의 상세한 설명은 후술한다.

재생부(108)에는 축적부(105)로부터 출력된 음성 영상 정보가 입력된다. 이 재생부(108)는 입력되고 다중화되어 있는 음성 영상 정보를 영상 정보 및 음성 정보로 분리하여 복호화하고, 그 후 제어부(109)의 지시에 따라 요약 재생을 수행한다. 이 재생부(108)는 이들 재생된 음성 신호 및 재생된 영상 신호를 표시부(110)에 출력한다.

제어부(109)는 조작부(107)에 의해 입력된 지시에 따라 축적부(105)에서의 축적을 제어하고, 예고 부분 추정부(106)에 의해 검출된 대상 음성 영상 정보에서의 예고 정보의 영상 정보 및 장면 변경 정보에 따라 요약 세그먼트를 결정하고(이하, 요약 세그먼트 결정 처리라 한다), 이 결정한 요약 세그먼트에 따라 재생부(108)의 재생을 제어한다.

대안으로, 이 요약 세그먼트 결정 처리에서는 검출된 동일 샷의 대상 음성 영상 정보에서의 시간 정보를 포함하는 장면을 장면 변경 정보에 따라 추출하고,제어부(109)는 요약 세그먼트로서 규정된 이 추출된 장면을 시간 순으로 요약 재생을 수행한다.

구체적으로는, 후술하는 바와 같이 대상 음성 영상 정보의 장면 변경 정보를 판독하고, 동일 샷의 시작 시각 전의 가장 근접한 장면 변경점에서 이 동일 샷의 종료 시각 후의 가장 근접한 장면 변경점까지의 세그먼트를 요약 세그먼트로 결정한다(도 4 참조).

표시부(110)에는 재생부(108)로부터 출력된 음성 신호 및 영상 신호가 입력된다. 이 표시부(110)는 이 입력된 영상 신호를 모니터 화면 등에 표시하고, 음성 신호를 스피커 등에 의해 확성한다.

녹화 예약 제어부(111)는 제어부(109)를 통하여 입력된 조작부(107)에서의 지시에 따라 텔레비전 방송 등의 프로그램(음성 영상 정보) 또는 텔레비전 방송을 통해 제공되는 모든 음성 영상 정보를 축적부(105)에 축적시키도록 축적부(105)를 제어하고, 축적부(105)에 음성 영상 정보를 축적할 때 대상 음성 영상 정보 및 비대상 음성 영상 정보를 서로 관련지어 저장한다.

특히, 녹화 예약 제어부(111)는 정기적으로 제공되는 연속성이 있는 음성 영상 정보를 녹화할 때, 대상 음성 영상 정보에서의 비대상 음성 영상 정보를 검색하고 제어하여 예고 부분 추정부(106)가 예고 부분을 추정하도록 한다.

다음에, 도 3 및 도 4를 참조하여여 예고 부분 추정부(106)에서의 대상 음성 영상 정보의 동일 샷 검출 원리에 대하여 설명한다.

도 3은 동일 샷의 검출 원리를 나타내는 흐름도이고, 도 4는 동일 샷의 검출결과의 일례이다. 또, 이 경우에 드라마 등의 연속성을 가지는 연속 텔레비전 프로그램을 요약 재생이 대상으로 하여 설명한다.

통상, N회 째의 요약 재생의 대상이 되는 대상 음성 영상 정보에서, 예고 부분의 영상 정보인 예고 정보는 N-1회 째의 비대상 음성 영상 정보에서의 최후 10분 정도의 범위에 존재한다. 이 예고 정보는 이 예고 정보에서의 각 샷이 가지는 시간 길이는 짧고(약 5초 정도), 이 예고 정보의 각 샷에 대응하는 대상 음성 영상 정보에서의 각 샷은 시간적으로 떨어진 위치에 존재한다는 특징이 있다.

본 실시예에서는, 예고 정보의 각 샷과 동일한 대상 음성 영상 정보의 샷을 검출하는 방법은 비대상 음성 영상 정보의 최후 10분간의 예고 부분에서의 각 샷의 영상 특징량과 대상 음성 영상 정보의 모든 샷에서의 영상 특징량을 비교하여, 비대상 음성 영상 정보의 예고 부분의 특징량과 일치하는 대상 음성 영상 정보에서의 각 샷을 검출한다.

구체적으로는, 예고 정보에서의 각 샷의 각 프레임에 대해 대상 음성 영상 정보에서의 동일 프레임을 검색한다. 예를 들어, 연속하여 일치하는 프레임의 길이가 미리 설정된 프레임 수(數) 이상인 경우에, 대상 음성 영상 정보에서의 대응 샷을 동일 샷으로서 검출한다.

이하에, 도 3의 흐름도를 참조하여 검출 원리를 나타낸다.

먼저, 비대상 음성 영상 정보에서의 최종 시각 전 10분간의 구간에 있는 최초 샷의 최초 프레임의 영상 정보 특징량을 판독하고(단계 S1), 이 최초의 비대상 음성 영상 정보에서의 동일한 특징량을 가지는 대상 음성 영상 정보의 프레임을 검출한다(단계 S2).

이 비대상 음성 영상 정보에서의 최종 시각 전 10분간의 구간에 있는 각 샷의 각 프레임을 예고 정보 프레임이라고 한다.

이어서, 비대상 음성 영상 정보에 최초의 예고 정보의 프레임과 동일한 프레임이 있는지 여부를 판단한다(단계 S3). 동일 프레임이 없는 경우는 단계 S8에 이행한다. 이와 달리, 예고 정보의 프레임과 동일한 프레임이 있는 경우에는 이하에 설명하는 동작을 수행한다.

먼저, 동일 프레임으로 판단된 프레임(이하, 동일 샷 후보라고 한다)과 시간적으로 다음인 동일 프레임 후보를 비교하고, 그들의 특징량이 일치하는지 여부를 판단하여, 특징량이 동일한 샷 후보군을 생성한다(단계 S4). 이 처리를 모든 동일 샷 후보에 대해 수행한다.

예를 들어, 단계 S3에서 예고 정보 프레임과 동일한 프레임이 F1, F2, F3, F4, ……, F10(동일 샷 후보)라고 하면, F1의 특징량과 F2의 특징량을 비교하고, F2의 특징량과 F3의 특징량을 비교하는 등 동일 샷 후보의 각 특징량을 다음 동일 샷 후보의 특징량을 비교한다. 그런 후, 특징량이 일치하는 프레임이 있는 경우에는, 나아가 시간적으로 다음인 동일 샷 후보와 특징량이 동일한지 여부를 판단한다. 이것을 모든 동일 샷 후보에 대해 수행하여, 동일한 특징량을 가지는 그룹 즉, 동일 샷 후보군을 생성한다. 예를 들어, F 1∼F3이 동일 샷 후보군을 구성하고, F4∼F10이 다른 동일 샷 후보군을 구성하는 식으로 동일 샷 후보군을 생성한다.

다음에, 동일 샷군 중에서 그 시간 길이가 가장 긴 샷군을 선택한다(단계 S5). 전술한 경우는 F4∼F10의 동일 샷 후보군이 선택된다.

이어서, 이 동일 샷군의 프레임 수(샷 수)가 30 이상인지 여부를 판단하여(단계 S6), 30 미만인 경우는 단계 S8로 이행한다. 이와 달리, 이 동일 샷군의 프레임 수(샷 수)가 30 이상인 경우에는 샷의 시간적 위치 및 시간 길이를 기억한다(단계 S7).

이어서, 예고 정보 프레임의 다음 프레임이 있는지 여부 또는 예고 정보 프렝임의 다음 샷이 있는지 여부를 판단한다(단계 S8). 다음 프레임 또는 다음 샷이 없는 경우는 처리를 종료시킨다. 또한, 다음 프레임 또는 다음 샷이 있는 경우에는 단계 S1로 이행하여, 예고 정보 프레임의 다음 프레임 또는 다음 샷의 최초 프레임의 특징량을 판독(단계 S1)하고, 대상 음성 영상 정보로부터 동일 프레임을 검색한다(단계 S2).

이런 식으로 예고 정보와 동일한 샷이 검출된 경우, 검출된 동일 샷의 대상 음성 영상 정보에서의 시간 정보는 축적부(105)에 출력되었다.

동일 샷에 대한 검출 결과의 일례를 도 4에 나타낸다. 이 경우에, 도면 부호 Tp는 예고 정보의 각 샷을 나타내고, 도면 부호 Tq는 Tp과 동일한 샷을 나타낸다. 이와 달리, 도면 부호 Tpend 및 Tqend는 각 음성 영상 정보에서의 엔딩 영상을 나타내고, 도면 부호 S는 샷 Tq를 가지는 요약 세그먼트를 나타낸다.

이상에서 설명한 바와 같이, 대상 음성 영상 정보와 비대상 음성 영상 정보의 동일 샷의 검출 원리는 기본적으로는 대상 음성 영상 정보와 비대상 음성 영상정보의 동일 프레임을 검색함으로써 실현된다. 하지만, 상술한 바와 같은 검출 원리만으로는 적절하게 예고 정보만을 검출할 수 없다.

즉, 비대상 음성 영상 정보의 예고 정보의 시작 시각, 종료 시각 등의 시간적 위치를 검출하기 위하여, 예고 정보가 있는 시간적 범위를 미리 예측하여 동일 샷을 검출한다. 따라서, 우연히 일치하는 샷이 검출되고 엔딩 등의 동일 영상 정보가 발견될 수 있는 가능성이 있다(도 3에 나타내는 Tpend 및 Tqend).

본 실시예에서는 이러한 우연히 일치하는 샷 및 미리 예상되는 동일 영상 정보를 배제하기 위하여, 이하에 나타내는 조건을 부가시켜 이 조건에 해당하는 동일 샷은 예고 정보가 아닌 것으로 간주한다.

이들 조건 중 하나의 조건에 따르면, 동일하다고 판단되는 샷의 시간 길이가 1초 이하이다. 예를 들어, 고속 처리로 인해 영상 정보의 특징량은 비교적 용이하게 취득되므로 도 4에 나타내는 Tpn과 N회 째의 텔레비전 연속 프로그램의 임의의 샷이 우연히 동일하다고 판단되는 경우가 있다. 이 조건은 이것을 배제하기 위한 것이다. 이 조건에 의해 1초 이하의 샷은 예고 정보가 아니라고 판단하여 예고 정보 샷이 아닌 샷과 일치하는 샷을 배제할 수 있다.

이들 조건 중 다른 조건에 따르면, 동일하다고 판단된 샷의 시간 길이가 5초 이상이다. 일반적으로, 예고 정보는 복수의 샷을 단시간에 제공하기 때문에 각 샷의 시간 길이는 짧다. 따라서, 5초 이상 샷이 일치하는 것은 예고 정보에서의 임의의 샷이 일치한 것으로는 생각될 수 없다. 이 조건을 이것을 배제하기 위한 것이다. 이 조건에 의해, 각 회(回)의 음성 영상 정보의 종료를 나타내는 엔딩 및CM(Commercials) 등의 각 회의 음성 영상 정보에 공통인 영상 정보와 예고 정보 이외에서 일치하는 부분을 배제할 수 있다.

이들 조건 중 또 다른 조건에 따르면, 동일 샷으로서 판단된 샷의 시간적 위치가 각 대상 음성 영상 정보 및 비대상 음성 영상 정보에서의 시간적 위치와 일치하지 않는다. 이 조건은 각 회의 음성 영상 정보의 종료를 나타내는 엔딩 및 CM(Commercials) 등의 각 회의 음성 영상 정보에서 공통인 영상 정보를 배제하기 위한 것이다. 이 조건에서는 미리 정해진 시간적 범위 내에서 시간적 위치가 일치하면, 시간적 위치가 일치한 것으로 하여 취급한다. 본 실시예에서는 이 시간적 범위를 30초로 설정한다.

또, 기타 조건에 따르면, 각각의 검출된 샷에서의 시간적 위치가 연속적이지 않다. 예고 정보의 음성 영상 정보는 대상 음성 영상 정보에서의 특징적인 샷이 연속적으로 연결된 음성 영상 정보의 집합을 포함한다. 그러므로, 예고 정보의 각 샷이 시간적으로 떨어진 위치에 있고, 동일 샷으로 검출된 부분이 시간적으로 연속하는 경우 어느 샷 또는 두 샷 모두는 예고 정보의 샷과 다른 것이다. 본 실시예에서는 시간적 위치가 연속되는 경우 두 샷 모두 예고 부분과 동일한 샷으로부터 배제된다.

이러한 각 조건에 따라 동일 샷을 검출하므로 미리 예고 정보의 시간적 위치를 설정하지 않고 예고 정보와 동일한 샷을 검출할 수 있다.

다음에, 도 5를 참조하여 예고 부분 추정부(106)에서의 대상 음성 영상 정보의 동일 샷의 검출 동작(검출 단계)에 대하여 설명한다.

또, 도 5는 본 실시예에 따른 요약 재생에서의 요약 세그먼트의 결정 처리 동작을 나타내는 흐름도이다. 본 동작에서는 복수 회 제공된 음성 영상 정보, 즉, 대상 음성 영상 정보 및 비대상 음성 영상 정보의 영상 정보 특징량이 이미 축적부(105)에 축적되어 있다. 본 동작은 사용자가 요약 재생을 지시하기 전에 미리 또는 지시했을 때에 수행된다.

먼저, 대상 음성 영상 정보 및 비대상 음성 영상 정보의 특징량 데이터를 판독하고(단계 S11), 비대상 음성 영상 정보의 최후 10분간의 구간과 대상 음성 영상 정보를 각 프레임에 대해 비교하여, 대상 음성 영상 정보로부터 동일 샷을 검출한다(단계 S12).

이어서, 검출된 동일 샷이 미리 설정된 시간 길이(예를 들어, 1초) 이하인지 여부를 판단하여 이 조건에 해당하는 동일 샷을 검출 결과로부터 배제한다(단계 S13).

이어서, 검출된 동일 샷이 미리 설정된 시간 길이(예를 들어, 5초) 이상인지 여부를 판단하여 이 조건에 해당하는 동일 샷을 검출 결과로부터 배제한다(단계 S14).

이어서, 동일 샷에서 비대상 음성 영상 정보에서의 시간적 위치[Tp(n)]와 대상 음성 영상 정보에서의 시간적 위치[Tq(n)]가 미리 설정된 시간 이내(예를 들어, 30초)에 발견되는지 여부를 판단하여, 미리 설정된 시간 내에 발견되는 경우는 동일 샷을 검출 결과로부터 배제한다(단계 S15).

이어서, 각 동일 샷이 대상 음성 영상 정보에서의 시간적 위치에서 다른 동일 샷과 인접하는지 여부를 판단하여, 다른 동일 샷과 인접하는 동일 샷이 존재하는 경우에는 이전의(former) 동일 샷을 검출 결과로부터 배제한다(단계 S16).

마지막으로, 동일 샷에서 대상 음성 영상 정보에서의 시간 정보, 예를 들어, 동일 샷의 시작 시각과 종료 시각에 대한 시간적 위치 정보를 대상 음성 영상 정보와 관련지어 축적부(105)에 저장한다(단계 S17).

본 실시예에 따르면, 이와 같이 요약 재생의 대상인 대상 음성 영상 정보로부터 예고 정보와 동일 샷을 검출한다.

다음에, 도 6을 이용하여 요약 재생 동작에 대하여 설명한다.

또, 도 6은 본 실시예에 따른 요약 재생 동작을 나타내는 흐름도이다. 본 동작에서는 본 요약 재생에 필요한 대상 음성 영상 정보와 이 대상 음성 영상 정보 및 각 음성 영상 정보의 장면 변경 정보가 이미 축적부(105)에 축적되어 있는 것으로 가정한다. 사용자가 요약 재생을 지시했을 때에 본 동작이 수행된다.

먼저, 조작부(107)에 의해 사용자로부터 요약 재생의 지시가 입력되면, 제어부(109)는 사용자에 의해 지시된 음성 영상 정보의 장르 정보를 취득한다(단계 S 21). 장르 정보가 연속성을 가지는 음성 영상 정보가 아닌 경우에는 본 동작을 종료시키고 본 동작 이외의 다른 요약 재생 동작을 행한다. 또, 장르 정보가 연속성을 가지는 음성 영상 정보의 경우는 이하의 동작을 행한다.

먼저, 지시된 음성 영상 정보에서의 동일 샷의 검출 처리가 처음인지 여부를 판단한다(단계 S22). 이전에 동일 샷을 검출한 적이 있다고 판단한 경우는, 그 데이터를 축적부(105)로부터 판독한다(단계 S23).

이와 달리, 지시된 음성 영상 정보에서의 동일 샷의 검출 처리가 처음인 것으로 판단된 경우, 지시된 대상 음성 영상 정보의 동일 샷에 대하여 전회(former)의 음성 영상 정보, 즉, 비대상 음성 영상 정보를 이용하여 도 5에 나타낸 예고 부분 추정부(106)에서의 전술한 검출 동작을 행한다[검출 단계(단계 S24)]

그 후에, 사용자에 의해 지정된 또는 미리 설정된 요약 시간을 판독하면(단계 S25), 전술한 바와 같이 제어부(109)는 예고 부분 추정부(106)에 의해 검출된 또는 축적부(105)로부터 판독된 동일 샷의 시간 정보에 따라 추출할 요약 세그먼트를 결정한다[결정 단계(단계 S26)].

구체적으로는, 전술한 바와 같이 대상 음성 영상 정보의 장면 변경 정보를 판독하고, 동일 샷의 시작 시각 전에서의 가장 근접한 장면 변경점에서부터 동일 샷의 종료 시각 후에서의 가장 근접한 장면 변경점까지의 구간을 요약 세그먼트로 한다(도 4 참조).

마지막으로, 제어부(109)는 이 요약 세그먼트를 요약 시간에 합치하도록 시간 조정을 조정한다. 예를 들어, 제어부(109)는 요약 세그먼트의 수(數)로 요약 시간을 균등 분할한 경우에 각 요약 세그먼트의 시간 길이가 이 분할한 시간에 합치하도록 각 요약 세그먼트의 시간 길이를 조정한다. 그 후에 제어부(109)는 시간 순으로 재생한다[생성 단계(단계 S27)].

이와 같이, 요약 재생 시에 요약 세그먼트를 결정하고, 추출할 요약 세그먼트가 결정되면, 제어부(109)는 재생부(108)를 제어하여 요약 재생을 시작하는 동시에, 이 결정된 요약 세그먼트에 따라 재생부(108)를 제어하여 요약 재생을 수행한다.

이와는 달리, 본 실시예에서는 음성 영상 정보가 복수 회에 걸쳐 제공되지 않는 경우에는 동일 샷의 검출 동작(단계 S23)에서 비대상 음성 영상 정보에 포함되는 예고 정보의 시간적 범위의 설정이나 미리 취득한 예고 정보의 입력 등을 행함으로써 요약 재생을 수행할 수 있다.

즉, 본 실시예에서는 예고 정보를 가지는 비대상 음성 영상 정보와 요약 재생의 대상이 되는 대상 음성 영상 정보를 비교하고, 대상 음성 영상 정보로부터 미리 예고 정보를 설정하지 않고 예고 정보와 동일 샷을 검출하는 동시에 예고 정보도 검출한다. 하지만, 미리 예고 정보를 입력하고, 또는 예고 정보의 시간적 위치를 설정하여 이 설정된 예고 정보의 시간적 범위 또는 입력된 예고 정보와 대상 음성 영상 정보를 비교하여 동일 샷을 검출할 수도 있다.

이와 달리, 본 실시예에서는 대상 음성 영상 정보가 드라마 등 연속성을 가지는 음성 영상 정보이면, 장르 정보를 취득한 경우에 요약 재생을 수행한다. 하지만, 장르 정보가 뉴스 프로그램인 경우에도 전술한 바와 같이 예고 정보의 입력 또는 예고 정보의 시간적 범위를 설정함으로써 요약 재생을 행할 수도 있다.

이상 설명한 바와 같이, 본 실시예에 따르면 요약 재생의 대상이 되는 영상 정보에서의 예고 정보에 따라 입력된 영상 정보로부터 예고 정보를 구성하는 특징적인 부분과 동일한 동일 부분 정보를 검출할 수 있다. 따라서 영상 정보의 제작자 즉, 인간이 영상 정보의 내용을 이해하여 편집된 예고 정보에 따라 요약 정보를 생성할 수 있어, 사용자가 단시간에 내용을 적절하게 파악할 수 있는 더욱 알맞은요약 정보를 제공할 수 있다.

또, 요약 대상이 되는 영상 정보(예를 들어, 복수 회의 영상 정보 중 어느 영상 정보)와 다른 영상 정보(예를 들어, 요약 대상이 되는 영상 정보에서의 전회 영상 정보)를 비교함으로써, 각 영상 정보에서의 동일 부분 정보를 검출할 수 있다. 따라서, 특히 시간적 위치 등 예고 정보를 지시하지 않더라도 이 예고 정보를 가지는 영상 정보를 취득하면, 이 예고 정보에 따라 요약 정보를 생성할 수 있다. 그 결과 번거로운 조작이 필요 없이 사용자가 단시간에 내용을 적절하게 파악할 수 있는 더욱 알맞은 요약 정보를 제공할 수 있다.

이와는 달리, 본 실시예에서는 예고 부분의 영상 정보를 가지는 음성 영상 정보, 즉, N-1회 째의 비대상 음성 영상 정보에서의 최종 10분간의 구간에서 동일 샷이 검색된다. 하지만, 비대상 음성 영상 정보에서의 검색 구간을 미리 설정하지 않고 검색하도록 할 수도 있다. 이것은, 동일 샷의 산출 효율(calculation efficiency)을 향상시키기 위해서이다. 따라서 물론, 비대상 음성 영상 정보의 모든 샷과 대상 음성 영상 정보의 모든 샷을 비교하여 동일 샷을 검출하도록 할 수도 있다.

또, 본 실시예에서는 입력된 영상 정보에 따라 장면 변경을 검출하고, 예고 정보의 동일 샷의 시간 정보와 장면 변경의 정보에 따라 요약 세그먼트 후보를 설정한다. 그러나, 예고 정보와 음성 영상 정보에 부가된 음성 정보의 음성 레벨에 따라 특징 부분을 검출함으로써, 예고 정보의 동일 샷의 시간 정보를 포함하는 검출된 특징 부분에 따라 요약 세그먼트 후보를 설정할 수도 있다.

이와 달리, 본 실시예에서는 추출된 요약 세그먼트를 추출할 요약 세그먼트 중 하나로 하여 즉, 요약 재생에 이용하는 요약 세그먼트의 후보(이하, 요약 세그먼트 후보라고 한다)로서 결정하고, 요약 시간 및 이 요약 세그먼트 후보의 중요도 등 기타 요소를 판단하여 이 요약 세그먼트 후보로부터 요약 재생에 이용하는 요약 세그먼트를 결정하도록 할 수도 있다.

이 경우, 예를 들어, 다른 요약 세그먼트의 후보를 취득하는 방법으로는 도 7에 도시한 바와 같은 요약 재생 장치에서 입력된 음성 영상 정보가 기준 음성 레벨보다 큰(작은) 부분(portion)으로 미리 설정된 시간 계속한 경우에, 그 기준 음성 레벨보다 큰(작은) 부분의 주소를 기록한다. 그런 다음, 이 주소에 따라 이 기준 음성 레벨보다 큰 레벨(작은 레벨)의 부분을 요약 세그먼트 후보로서 취득할 수 있다.

또, 중요도(level of importance)의 설정에서는 이러한 음성 레벨에 의해 요약 세그먼트 후보를 검출한 경우에, 이 음성 영상 정보의 장르 정보를 취득하고, 이 음성 정보의 장르 정보에 따라 각 음성 구간의 중요도를 결정하는 방법 등을 고려할 수 있다.

이와 달리, 본 실시예에서는 전술한 바와 같이, 요약 재생 장치(100)는 장르 정보 취득부(104), 축적부(105), 예고 부분 추정부(106), 재생부(108), 및 제어부(109) 등을 포함한다. 그러나, 각 부, 즉 전술한 장르 정보 취득부(104), 축적부(105), 예고 부분 추정부(106), 재생부(108), 및 제어부(109) 등의 동작은 컴퓨터 및 제어부(109)에 하드 디스크 등의 기록 매체를 제공하고, 이 기록 매체에요약 재생 장치(100)의 각 부에 대응하는 전술한 처리를 수행하는 프로그램을 저장하여 컴퓨터로 이 프로그램을 판독하여 수행할 수 있다.

이 경우에, 전술한 대상 음성 영상 정보의 동일 샷의 요약 재생 동작 및 검출 동작의 경우, 프로그램이 기억된 컴퓨터를 동작시킴으로써 이 대상 음성 영상 정보에서의 동일 샷의 요약 재생 동작 및 검출 동작을 수행할 수 있다. 이 경우에, 제어부(109)는 본 발명에 따른 식별 정보 취부 장치, 취득 장치, 검출 장치, 생성 장치, 및 결정 장치를 구성한다.

본 발명의 사상 또는 본래의 특징을 벗어나지 않는 범위에서 다른 특정 형태로 구현될 수 있다. 본 실시예는 따라서 모든 점에서 예시적이고, 비 제한적인 것으로 간주되어야 하며, 첨부된 특허청구범위가 나타내는 본 발명의 범위는 오히려 전술한 상세한 설명 및 청구항과 동등한 의미 및 범위 내의 모든 변경을 포함하는 것으로 의도된다.

이상에서 설명한 본 발명에 따르면, 드라마 등의 연속성을 가지는 영상 정보에서도 보다 적절하게 조작자가 영상 정보를 파악할 수 있는 요약 정보를 제공할 수 있다.

Claims (18)

1. 입력 영상 정보로부터 상기 입력 영상 정보의 일부인 부분 영상 정보를 하나 또는 복수 개 추출하며, 상기 추출된 부분 영상 정보에 따라 상기 영상 정보의 시간 길이를 단축한 요약 정보를 생성하는 영상 정보 요약 장치(100)로서,

   미리 생성되며, 상기 입력 영상 정보에서의 특징적인 부분이 연속적으로 연결된 예고 정보를 취득하는 취득 장치(105, 106, 109),

   상기 예고 정보를 구성하는 특징적인 부분과 동일한 영상 정보인 동일 부분 정보를 상기 입력 영상 정보로부터 검출하는 검출 장치(106, 109),

   상기 검출된 동일 부분 정보에 따라 추출되어야 하는 상기 부분 영상 정보를 결정하는 결정 장치(109), 및

   상기 결정된 부분 영상 정보를 상기 입력 영상 정보로부터 추출하여 상기 요약 정보를 생성하는 생성 장치(108,109)

   를 포함하는 영상 정보 요약 장치.
2. 입력 영상 정보로부터 상기 입력 영상 정보의 일부인 부분 영상 정보를 하나 또는 복수 개 추출하며, 상기 추출한 부분 영상 정보에 따라 상기 영상 정보의 시간 길이를 단축한 요약 정보를 생성하는 영상 정보 요약 장치(100)로서,

   미리 생성되며, 적어도 상기 입력 영상 정보에서의 특징적인 부분이 연속적으로 연결된 예고 정보를 가지는 다른 영상 정보를 취득하는 취득 장치(105, 106,109),

   상기 입력 영상 정보와 상기 다른 영상 정보를 비교하여 상기 예고 정보를 구성하는 특징적인 부분과 부분적으로 동일한 영상 정보인 동일 부분 정보를 상기 입력 영상 정보로부터 검출하는 검출 장치(106, 109),

   상기 검출된 동일 부분 정보에 따라 추출되어야 하는 상기 부분 영상 정보를 결정하는 결정 장치(109), 및

   상기 결정된 부분 영상 정보를 상기 입력 영상 정보로부터 추출하여 상기 요약 정보를 생성하는 생성 장치(108, 109)

   를 포함하는 영상 정보 요약 장치.
3. 제2항에서,

   상기 검출 장치(106, 109)는 미리 설정된 시간 길이를 가지는 상기 동일 부분 정보를 검출하는 영상 정보 요약 장치.
4. 제2항에서,

   상기 검출 장치(106, 109)에 의해 검출된 상기 동일 부분 정보의 상기 입력 영상 정보에서의 시간적 위치와 상기 예고 정보를 가지는 다른 영상 정보에서의 시간적 위치가 미리 정해진 시간적 범위 내에서 일치하는 경우,

   상기 검출 장치는 상기 미리 정해진 시간적 범위 내에서 상기 동일 부분 정보에서의 시간적 위치와 다른 영상 정보에서의 시간적 위치가 일치하는 동일 부분정보를 상기 검출 장치(106, 109)에 의해서 검출된 상기 동일 부분 정보로부터 배제시키고,

   상기 결정 장치(109)는 상기 미리 정해진 시간적 범위 내에서 상기 동일 부분 정보에서의 시간적 위치와 다른 영상 정보에서의 시간적 위치가 일치하는 상기 동일 부분 정보가 배제된 검출 결과에 따라 상기 추출되어야 하는 부분 영상 정보를 결정하는 영상 정보 요약 장치.
5. 제1항 또는 제2항에서,

   상기 검출 장치(106, 109)에 의해 검출된 상기 동일 부분 정보의 상기 입력 영상 정보에서의 시간적 위치와 다른 상기 동일 부분 정보의 상기 입력 영상 정보에서의 시간적 위치가 시간적으로 연속되는 경우,

   상기 검출 장치(106, 109)는 상기 시간적으로 연속된 동일 부분 정보를 상기 검출 장치(106, 109)에 의해서 검출된 상기 동일 부분 정보로부터 배제시키고,

   상기 결정 장치(109)는 상기 시간적으로 인접하는 동일 부분 정보가 배제된 검출 결과에 따라 추출되어야 하는 상기 부분 영상 정보를 결정하는 영상 정보 요약 장치.
6. 제1항 또는 제2항에서,

   상기 영상 정보의 식별 정보를 취득하는 식별 정보 취득 장치(104, 109)를 더 포함하며,

   상기 식별 정보 취득 장치(104, 109)에 의해 상기 영상 정보의 식별 정보가 소정의 스토리를 가지는 영상 정보인 것으로 식별된 경우,

   상기 결정 장치(109)는 상기 검출 장치(106, 109)에 의해 검출된 상기 동일 부분 정보에 따라 추출되어야 하는 상기 부분 영상 정보를 결정하는 영상 정보 요약 장치.
7. 입력 영상 정보로부터 상기 입력 영상 정보의 일부인 부분 영상 정보를 하나 또는 복수 개 추출하며, 상기 추출한 부분 영상 정보에 따라 상기 영상 정보의 시간 길이를 단축한 요약 정보를 생성하는 영상 정보 요약 방법으로서,

   미리 생성되며, 상기 입력 영상 정보에서의 특징적인 부분이 연속적으로 연결된 예고 정보를 취득하는 취득 단계,

   상기 예고 정보를 구성하는 특징적인 부분과 동일한 영상 정보인 동일 부분 정보를 상기 입력 영상 정보로부터 검출하는 검출 단계,

   상기 검출된 동일 부분 정보에 따라 추출되어야 하는 상기 부분 영상 정보를 결정하는 결정 단계, 및

   상기 결정된 부분 영상 정보를 상기 입력 영상 정보로부터 추출하여 상기 요약 정보를 생성하는 생성 단계

   를 포함하는 영상 정보 요약 방법.
8. 입력 영상 정보로부터 상기 입력 영상 정보의 일부인 부분 영상 정보를 하나또는 복수 개 추출하며, 상기 추출한 부분 영상 정보에 따라 상기 영상 정보의 시간 길이를 단축한 요약 정보를 생성하는 영상 정보 요약 방법으로서,

   미리 생성되며, 적어도 상기 입력 영상 정보에서의 특징적인 부분이 연속적으로 연결된 예고 정보를 가지는 다른 영상 정보를 취득하는 취득 단계,

   상기 입력 영상 정보와 상기 다른 영상 정보를 비교하여 상기 예고 정보를 구성하는 상기 특징적인 부분과 부분적으로 동일한 영상 정보인 동일 부분 정보를 상기 입력 영상 정보로부터 검출하는 검출 단계,

   상기 검출된 동일 부분 정보에 따라 추출되어야 하는 상기 부분 영상 정보를 결정하는 결정 단계, 및

   상기 결정된 부분 영상 정보를 상기 입력 영상 정보로부터 추출하여 상기 요약 정보를 생성하는 생성 단계

   를 포함하는 영상 정보 요약 방법.
9. 제8항에서,

   상기 검출 단계는 미리 설정된 시간 길이를 가지는 상기 동일 부분 정보를 검출하는 영상 정보 요약 방법.
10. 제8항에서,

    상기 검출 단계에 따라 검출된 상기 동일 부분 정보의 상기 입력 영상 정보에서의 시간적 위치와 상기 예고 정보를 가지는 다른 영상 정보에서의 시간적 위치가 미리 정해진 시간적 범위 내에서 일치하는 경우,

    상기 검출 단계 과정에서는, 상기 미리 정해진 시간적 범위 내에서 시간적 위치가 다른 영상 정보에서의 시간적 위치와 일치하는 상기 동일 부분 정보가 상기 검출 과정에 따라 검출된 상기 동일 부분 정보로부터 배제되고,

    상기 결정 단계 과정에서는, 상기 미리 정해진 시간적 범위 내에서 시간적 위치가 다른 영상 정보에서의 시간적 위치와 일치하는 상기 동일 부분 정보가 배제된 검출 결과에 따라 추출되어야 하는 상기 부분 영상 정보가 결정되는 영상 정보 요약 방법.
11. 제7항 또는 제8항에서,

    상기 검출 단계 과정에 따라 검출된 상기 동일 부분 정보의 상기 입력 영상 정보에서의 시간적 위치와 일부 다른 상기 동일 부분 정보의 상기 입력 영상 정보에서의 시간적 위치가 시간적으로 연속되는 경우,

    상기 검출 단계 과정에서는, 상기 시간적으로 연속된 동일 부분 정보를 상기 검출 단계 과정에 따라 검출된 상기 동일 부분 정보로부터 배제시키고,

    상기 결정 단계 과정에서는, 상기 시간적으로 인접하는 동일 부분 정보가 배제된 검출 결과에 따라 추출되어야 하는 상기 부분 영상 정보를 결정하는 영상 정보 요약 방법.
12. 제7항 또는 제8항에서,

    상기 영상 정보의 식별 정보를 취득하는 식별 정보 취득 단계를 포함하며,

    상기 영상 정보의 식별 정보가 상기 식별 정보 취득 단계에 따른 스토리를 가지는 영상 정보인 것으로 식별된 경우,

    상기 결정 단계 과정에서는, 상기 검출 단계 과정에 의해 검출된 상기 동일 부분 정보에 따라 추출되어야 하는 상기 부분 영상 정보가 결정되는 영상 정보 요약 방법.
13. 컴퓨터에 의해 입력 영상 정보로부터 상기 영상 정보의 일부인 부분 영상 정보를 하나 또는 복수 개 추출하며, 상기 추출한 부분 영상 정보에 따라 상기 영상 정보의 시간 길이를 단축한 요약 정보를 생성하는 영상 정보 요약 프로그램으로서,

    상기 컴퓨터가

    미리 생성되며, 상기 입력 영상 정보에서의 특징적인 부분이 연속적으로 연결된 예고 정보를 취득하는 취득 장치(105, 106, 109),

    상기 예고 정보를 구성하는 특징적인 부분과 동일한 영상 정보인 동일 부분 정보를 상기 입력 영상 정보로부터 검출하는 검출 장치(106, 109),

    상기 검출된 동일 부분 정보에 따라 추출되어야 하는 상기 부분 영상 정보를 결정하는 결정 장치(109), 및

    상기 결정된 부분 영상 정보를 상기 입력 영상 정보로부터 추출하여 상기 요약 정보를 생성하는 생성 장치

    로 기능하도록 해주는 영상 정보 요약 프로그램.
14. 컴퓨터에 의해 입력 영상 정보로부터 상기 영상 정보의 일부인 부분 영상 정보를 하나 또는 복수 개 추출하며, 상기 추출한 부분 영상 정보에 따라 상기 영상 정보의 시간 길이를 단축한 요약 정보를 생성하는 영상 정보 요약 프로그램으로서,

    상기 컴퓨터가

    미리 생성되며, 적어도 상기 입력 영상 정보에서의 특징적인 부분이 연속적으로 연결된 예고 정보를 가지는 다른 영상 정보를 취득하는 취득 장치(105, 106, 109),

    상기 입력 영상 정보와 상기 다른 영상 정보를 비교하여 상기 예고 정보를 구성하는 특징적인 부부분과 부분적으로 동일한 영상 정보인 동일 부분 정보를 상기 입력 영상 정보로부터 검출하는 검출 장치(106, 109),

    상기 검출된 동일 부분 정보에 따라 추출되어야 하는 상기 부분 영상 정보를 결정하는 결정 장치(100), 및

    상기 결정된 부분 영상 정보를 상기 입력 영상 정보로부터 추출하여 상기 요약 정보를 생성하는 생성 장치(108, 109)

    로 기능하도록 해주는 영상 정보 요약 프로그램.
15. 제14항에서,

    상기 컴퓨터가 미리 설정된 시간 길이를 가지는 상기 동일 부분 정보를 검출하는 검출 장치(106, 109)로 기능하도록 해주는 영상 정보 요약 프로그램.
16. 제14항에서,

    상기 검출된 상기 동일 부분 정보의 상기 입력 영상 정보에서의 시간적 위치와 상기 예고 정보를 가지는 다른 영상 정보에서의 시간적 위치가 미리 정해진 시간적 범위 내에서 일치하는 동일 부분 정보인 경우,

    상기 컴퓨터가

    상기 미리 정해진 시간적 범위 내에서 시간적 위치가 다른 영상 정보에서의 시간적 위치와 일치하는 상기 동일 부분 정보를 상기 검출된 동일 부분 정보로부터 배제하는 검출 장치(106, 109), 및

    상기 미리 정해진 시간적 범위 내에서 시간적 위치가 다른 영상 정보에서의 시간적 위치와 일치하는 상기 동일 부분 정보를 배제한 검출 결과에 따라 추출되어야 하는 상기 부분 영상 정보를 결정하는 결정 장치(109)

    로 기능하도록 해주는 영상 정보 요약 프로그램.
17. 제13항 또는 제14항에서,

    상기 검출된 동일 부분 정보의 상기 입력 영상 정보에서의 시간적 위치가 상기 동일 부분 정보의 다른 일부의 상기 입력 영상 정보에서의 시간적 위치와 시간적으로 연속한 경우,

    상기 영상 정보 요약 프로그램은 상기 컴퓨터가

    상기 시간적으로 연속한 동일 부분 정보를 상기 검출된 상기 동일 부분 정보로부터 배제하는 검출 장치(106, 109), 및

    상기 시간적으로 인접하는 동일 부분 정보가 배제된 검출 결과에 따라 추출되어야 하는 상기 부분 영상 정보를 결정하는 결정 장치

    로 기능하도록 해주는 영상 정보 요약 프로그램.
18. 제13항 또는 제14항에서,

    상기 컴퓨터가 상기 영상 정보의 식별 정보를 취득하는 식별 정보 취득 장치로 기능하도록 하고,

    상기 영상 정보의 식별 정보가 소정의 스토리를 가지는 영상 정보인 것으로 식별된 경우,

    상기 영상 정보 요약 프로그램은 상기 컴퓨터가 상기 검출된 동일 부분 정보에 따라 추출되어야 하는 상기 부분 영상 정보를 결정하는 결정 장치(109)로 기능하도록 해주는 영상 정보 요약 프로그램.