본 발명에 따른 멀티미디어 요약 시스템 및 방법은, 세그먼트로 분할된 압축 멀티미디어 파일에 저장된 멀티미디어를 요약한다.
관련되는 메타데이터 파일은 상기 화상열의 각 세그먼트의 색인 정보 및 중요도 레벨 정보를 포함한다. 바람직한 실시형태에 있어서, 파일은 DVD 등의 기억 매체에 저장된다.
중요도 정보는 임의의 범위 내에서 연속적이다. 중요도 레벨의 임계값, 또는 범위는 상기 임의의 범위 내에서 선택된다. 중요도 레벨은 시청자가 선택한 것, 및 음성 신호(예컨대 음성의 분류 및/또는 음량)에 근거하는 것으로 할 수 있다.
파일을 판독할 때는, 중요도 레벨의 임계값보다 높은 특정 중요도 레벨을 갖는 멀티미디어의 세그먼트만이 재생된다.
요약 정밀도를 더 높이기 위해, 중요도 레벨은 구간 윈도우에 근거하는 것으로 할 수 있다. 이 경우, 콘텐츠는 일정한 길이의 윈도우, 또는, 슬라이딩 윈도우로 분할할 수 있다.
(실시예 1)
재생 시스템의 구조
도 1은 멀티미디어를 재생하는 시스템(100)을 나타낸다. 여기서, 멀티미디어의 콘텐츠는 예컨대, 영상 신호, 음성 신호, 텍스트, 및 2진 데이터이다. 이 시스템은, 파일로서 구성된 멀티미디어 및 메타데이터를 디렉토리에 저장하는 기억 매체(1)(디스크나 테이프 등)를 구비한다. 바람직한 실시형태에 있어서, 멀티미디어는, 예컨대 MPEG 규격이나 AC-3 규격을 이용하여 압축된다. 멀티미디어는, 기지의 기법을 이용하여 세분화되고, 분류되며, 색인이 붙여져 있다. 색인 첨부는 시간 또는 프레임 번호에 근거하여 실행할 수 있다(본 명세서 중에 원용되는 미국특허 제6,628,892호를 참조).
메타데이터는 색인 및 중요도의 정보를 포함한다. 본 발명의 이점으로서, 종래 기술과는 대조적으로, 중요도 정보는 임의의 범위 내(예컨대 [0, 1] 또는 [0, 100])에서 연속적이다. 따라서, 중요도 레벨은 「골」이나 「헤드라인 뉴스의 시간」이 아니라 실수(實數)에 관한 것이고, 예컨대 중요도는 0.567이나 +73.64라는 값이 된다.
부가적인 이점으로서, 연속적인 중요도 정보는 콘텍스트나 콘텐츠에 의존하지 않고, 종래 기술과 같이 매우 주관적이지도 않다. 이들 특징은 모두, 시청자가 멀티미디어를 임의의 소망의 길이까지 재생하는 것을 가능하게 한다.
메타데이터는 2진 또는 텍스트로서, 필요하면, 암호화로 보호할 수 있다. 메타데이터는 날짜, 유효성 코드, 파일 타입 등과 같은 파일 속성을 포함할 수 있 다. 멀티미디어 및 메타데이터의 계층파일 및 디렉토리 구조는 도 2와 같이 된다.
도 1에 도시하는 바와 같이, 판독 드라이브(10)는, 기억 매체(1)로부터 멀티미디어 파일 및 메타데이터 파일을 판독한다. 판독 버퍼(11)는 판독 드라이브(10)에 의해 판독된 데이터를 일시적으로 기억한다. 디멀티플렉서(12)가 판독 버퍼로부터 순차적으로 멀티미디어 데이터를 취득하고, 이 멀티미디어 데이터를 영상 스트림과 음성 스트림으로 분리한다.
비디오 디코더(13)는 영상 신호(17)를 처리하고, 오디오 디코더(14)는 출력 장치(예컨대 텔레비젼 모니터(19))를 위한 음성 신호(18)를 처리한다.
메타데이터 분석부(15)는 판독 버퍼(11)로부터 순차적으로 메타데이터를 취득한다. 프로세서를 포함하는 재생 제어부(16)가 시스템(100)을 제어한다. 메타데이터 분석부(15)의 기능성은, 소프트웨어를 이용하여 실시할 수 있고, 재생 제어부(16)의 일부로서 내장할 수 있다.
또, 본 명세서 중에 기재되는 어느 실시예에서도, 멀티미디어 파일과 메타데이터 파일을 동시에 기록 및 재생할 필요는 없다. 실제로는, 메타데이터 파일은, 별개로 분석하여, 시청자가 멀티미디어 파일중의 흥미가 있는 세그먼트를 민첩하게 찾아내는 것을 가능하게 할 수도 있다. 또한, 멀티미디어 및 메타데이터는 다중화하여 단일의 파일로 하고, 판독 시에 분리할 수도 있다.
파일 및
디렉토리의
구조
도 2는 기억 매체(1)에 저장되는 파일 및 디렉토리의 계층 구조(200)를 나타낸다. 루트 디렉토리(20)는 멀티미디어 디렉토리(21) 및 메타데이터 디렉토리(22)를 포함한다. 멀티미디어 디렉토리(21)는 정보 관리 파일(23), 멀티미디어 데이터 파일(24), 및 백업 파일(25)을 저장한다. 메타데이터 디렉토리(22)는 메타데이터 파일(26)을 저장한다. 또, 다른 디렉토리 및 파일의 구조도 가능하다. 멀티미디어 데이터 파일(24)내의 데이터는 다중화된 영상 신호 및/또는 음성 신호를 포함한다.
또, 정보 관리 파일(23) 및/또는 멀티미디어 데이터 파일(24) 중 어느 하나는, 메타데이터의 유무 또는 그것이 무효인 것을 나타내는 플래그를 포함하고 있더라도 좋다.
메타데이터 구조
도 3은 메타데이터 파일(26)의 계층 구조(300)를 나타낸다. 계층에는 5개의 계층 A~E가 있고, 메타데이터(30)를 최상위 계층에 포함하며, 이 하위에 관리 정보(31), 일반 정보(32), 샷 정보(33), 및 색인 및 중요도 정보(34)가 계속된다.
계층 B의 관리 정보(31)는, 전 메타데이터(30)의 포괄적인 기술인 메타데이터 관리 정보(31a), 비디오 오브젝트(VOB) 메타데이터 정보 검색 포인터(31b), 및 관련되는 VOB 메타데이터 정보(31c)를 포함한다. 상관은 일대일일 필요는 없고, 예컨대, 하나의 VOB 메타데이터 정보(31c)에 대한 메타데이터 정보 검색 포인터(31b)가 복수이더라도 좋고, 복수의 VOB에 대한 VOB 메타데이터 정보(31c)가 하나이더라도 무방하고, 또는 하나도 없더라도 무방하다.
다음 계층 C에서는, 각 VOB 메타데이터 정보(31c)가 메타데이터 일반 정보(32a) 및 비디오 샷 맵 정보(32b)를 포함한다. 메타데이터 일반 정보(32a)는 프로그램명, 제작자명, 남배우/여배우/리포터/선수의 이름, 내용 설명, 방송 일시나 채널 등을 포함할 수 있다. 정확한 대응 관계는 메타데이터 일반 정보(32a)에 테이블로서 저장된다.
다음 계층 D에는, 비디오 샷 맵 정보(32b)마다, 비디오 샷 맵 일반 정보(33a), 및 하나 또는 복수의 비디오 샷 엔트리(33b)가 있다. 상기한 바와 같이, 이들 엔트리 사이에 일대일의 대응 관계가 있을 필요는 없다. 정확한 대응 관계는 비디오 샷 맵 일반 정보(33a)에 테이블로서 저장된다.
다음 계층 E에는, 비디오 샷 엔트리(33b)마다, 비디오 샷 개시 시간 정보(34a), 비디오 샷 종료 시간 정보(34b), 및, 비디오 샷 중요도 레벨(34c)이 있다. 상기한 바와 같이, 프레임 번호로 멀티미디어에 색인을 붙일 수도 있다. 색인 데이터를 비디오 샷 개시 시간 정보(34a)로부터 취득할 수 있는 경우, 색인 정보는 생략할 수 있다. 임의의 순위 첨부 시스템을 이용하여 상대적인 중요도를 나타낼 수 있다. 상기한 바와 같이, 중요도 레벨은, 연속적이고 또한 콘텐츠와는 독립된 것으로 할 수 있다. 중요도 레벨은 수동 또는 자동으로 부가할 수 있다.
또, 도 3에 있어서는, 메타데이터 파일(200)을 5개의 계층으로 하는 경우에 대하여 설명했지만, 비디오 샷 중요도 레벨(34c)과, 해당 비디오 샷 중요도 레벨(34c)에 대응하는 비디오 샷의 재생 위치 정보를 특정할 수 있는 시간 정보 또는 색인 정보가 포함되어 있으면, 계층은 몇 개라도 좋다. 또한, 도 3에 있어서는, 메타데이터 파일(26)에 있어서, 모든 비디오 오브젝트의 메타데이터를 하나의 파일로서 취급하는 경우에 대하여 설명했지만, 예컨대, 비디오 오브젝트마다 독립된 메타데이터 파일을 설정하더라도 무방하다.
멀티미디어의 색인 첨부
도 4는, 본 발명에 있어서의 기록 및 재생되는 멀티미디어와, 메타데이터와의 관계를 나타낸다. 정보 관리 파일(23)에 저장되는 프로그램 체인 정보(40)에는, 멀티미디어 데이터 파일(24)의 멀티미디어의 재생 순서가 기술된다. 체인 정보는, 프로그램 체인 정보(40)에 의해 정의되는 재생 단위에 근거하는 프로그램(41)을 포함한다. 셀(42a~b)은, 프로그램(41)에 의해 정의되는 재생 단위에 근거하는 것이다. 또, DVD(Digital Versatile Disk)에 있어서, 「셀」이란, 비디오 프로그램의 일부를 나타내기 위한 데이터 구조이다.
비디오 오브젝트 정보(43a~b)는, 정보 관리 파일(23)에 기술되는 셀(42)에 의해 지정되는 재생 시간 정보(즉 프리젠테이션 타임)에 대응하는 실제의 영상 데이터 또는 음성 데이터의 참조처를 기술한다.
타임맵테이블(TMAP)(44a~b)은, VOB 정보(43)에 의해 정의된 재생 시간 정보를 오프셋하여 이것을 실제의 영상 데이터 또는 음성 데이터의 어드레스 정보로 변환하기 위한 것이다. 비디오 오브젝트 유닛(VOBU)(45a, 45b)은 멀티미디어 데이터 파일(24)내의 실제의 영상 데이터 또는 음성 데이터를 기술한다. 이들 데이터는 재생 시간 정보와 함께 패킷 구조로 다중화된다. VOBU는, 멀티미디어에 액세스하여 이것을 재생하기 위한 최소 단위이다. VOBU는 콘텐츠의 하나 또는 복수의 픽쳐그룹(GOP)을 포함한다.
중요도의 임계값에 근거하는 재생
도 5는, 본 발명에 따른 요약 재생을 나타내고, 가로축(51)을 시간으로 하 며, 세로축(50)을 중요도 레벨로 한다. 도 5에 도시하는 바와 같이, 중요도 레벨은, 소정의 범위(55)(예컨대 [0, 1] 또는 [0, 100])에 있어서 연속적으로 변화된다. 또한, 도시한 바와 같이, 중요도 레벨의 임계값(53)은, 시청자가 상기 소정의 범위(55)에 있어서 변화시킬 수 있다(56).
또, 가로축(51)에 나타낸 시간은, 도 3의 비디오 샷 개시 시간 정보(34a) 및 비디오 샷 종료 시간 정보(134b)를 기준으로 한다. 중요도는 비디오 샷 중요도 레벨(34c)을 기준으로 한다. 중요도 곡선의 예(52)는 임계값(53)에 따라 평가된다.
멀티미디어의 재생중에는, 임계값(53)보다도 높은 중요도를 갖는 멀티미디어의 부분을 재생하고(58), 임계값보다 낮은 중요도를 갖는 부분은 스킵한다(59). 곡선(54)은 재생에 포함되는 부분을 나타낸다. 재생은 재생 제어부(16)를 이용하여, 메타데이터 분석부(15)로부터 얻어지는 메타데이터 정보에 근거하여 행하여진다.
또, 복수의 연속적인 중요도 레벨, 또는 하나 또는 복수의 중요도 레벨 범위는, 중요도의 범위의 실수값에 따르는 특정 중요도를 갖는 구간만을 재생하도록 지정할 수 있다. 다른 방법으로서, 중요도가 가장 낮은 구간만을 재생할 수도 있다.
소망의 프로그램을 재생하기 위해서는, 판독 드라이브(10)에 의해 정보 관리 파일(23)을 판독한다. 이에 따라, 프로그램이 예컨대 2개의 셀로서 구성된다고 판단할 수 있다.
각 셀은, VOB 번호 및 색인 정보(예컨대 개시 시간 및 종료 시간)에 의해 기술된다. VOB1 정보(43a)의 타임맵테이블(44a)은, 각 프리젠테이션 타임을 프리 젠 테이션 타임 스탬프(PTS), 또는 관계하는 VOB1 내의 어드레스 정보로 변환하기 위해서 이용되고, 따라서 실제의 VOBU(45)를 얻는다.
마찬가지로, 셀 2(42b)는 또, VOB2 정보(43b)의 타임맵테이블(44b)을 이용함으로써, VOB2의 VOBU(45b) 그룹과 함께 얻어진다. 이 예에 있어서, 셀(이 경우 셀(42b))은 VOB(43b)에 의해서, 타임맵테이블(44b)을 이용하여 색인이 붙여진다.
VOBU(45)의 데이터는 순차적으로, 분리 및 복호화를 위해 공급된다. 영상 신호(17) 및 음성 신호(18)는, 프리젠테이션 타임(PTM)을 이용하여 동기되고, 출력 장치(19)에 공급된다.
시청자가 소망의 프로그램(예컨대 프로그램(141))을 선택하면, 프로그램 체인 정보(40)에 의해 관련되는 프로그램(41)의 구성을 포함하는 셀(42a~b)을 찾아 낼 수 있다. 따라서 프로그램 체인 정보는, 대응하는 VOB 및 프리젠테이션 타임(PTM)을 찾아내기 위해서 이용된다.
도 4에 있어서 설명되는 메타데이터(26)는 아래와 같이 사용되고, 또한 도 3과 같이 표시된다. 우선, 메타데이터 관리 정보(31a)를 이용하여, 소망의 VOB 번호에 대응하는 메타데이터 정보 검색 포인터(31b)를 찾아낸다. 다음에, 메타데이터 정보 검색 포인터(31b)를 이용하여 VOB 메타데이터 정보(31c)를 찾아낸다. VOB 메타데이터 정보(31c)는 비디오 샷 맵 정보(32b)를 포함하고, 이 비디오 샷 맵 정보(32b)는 각 비디오 샷의 개시 시간, 종료(stop) 시간 및 중요도 레벨을 포함한다. 따라서, VOB 메타데이터는, 셀의 개시 시간 및 종료 시간에 의해 지정된 범위에 포함되는 프리젠테이션 타임(PTM), 및 대응하는 중요도 레벨을 갖는 모든 샷을 수집하기 위해서 이용된다. 다음에, 소망의 중요도 레벨(53)을 넘는 부분만을 유지한다.
또, 재생에 복수의 프로그램을 선택할 수 있어, 재생되는 구간만을 연결시키기 위해 임의의 방법이 사용 가능하다.
다른 요약 재생
도 6(a)는 본 발명에 따른 다른 요약 재생을 나타내고, 세로축(50)을 중요도 레벨로 하며, 가로축(51)을 시간으로 하고, 연속적인 곡선(52)은 중요도 레벨을 나타낸다. 선(63)은 중요도 레벨의 임계값이며, 선(64)은 임계값보다 높은 특정한 중요도를 갖는 구간만의 재생이다. 다른 구간은 스킵한다.
요약률
도 6(b)는 요약률(60)을 나타낸다. 요약률은, 예컨대 0%부터 100%(즉 전체 범위(55))까지 변화시킬 수 있다. 요약률은, 재생 장치로 할 수 있는 출력 장치(19)에 있어서 출력 화상에 겹쳐진 그래픽 화상으로서 표시된다. 부분(61)은 사용자에 의해 선택 가능한 현재의 요약률이다. 임계값(63)은 사용자에 의해 선택 가능한 현재의 요약률(61)에 따라 설정된다. 사용자는, 어떠한 입력 장치(예컨대 키보드나 리모콘(17a), 도 1을 참조)를 이용하여 요약률을 설정할 수 있다. 요약률이 100%인 경우는 멀티미디어 파일 전체를 재생하고, 50%의 요약률에서는 파일의 절반만을 재생한다. 요약률은 재생중에 변경할 수 있다. 또, 그래픽 화상은 요약률이나 실제의 시간에 관해서 다른 형태(예컨대 슬라이딩 바, 또는 수치 디스플레이)를 갖는 것도 가능하다. 다른 방법으로서, 요약률은 메타데이터 분석부(15) 또 는 재생 제어부(16)에 의해 자동적으로 변화시킬 수도 있다.
또, 비디오 구간에 대한 포인터는 리스트내에서, 중요도의 내림차순에 따라서 정렬할 수 있다. 따라서, 시간의 길이의 요건을 만족시킬 때까지, 정렬 순으로 된 구간을 포함하는 리스트의 아래로 가는 것에 따라, 임의의 소망의 길이의 요약을 얻는 것이 가능하다.
기록 시스템의 구조
도 7은, 압축된 멀티미디어 파일 및 메타데이터 파일을 기억 매체(2)(디스크나 테이프 등)에 기록하는 시스템(700)의 블럭도를 나타낸다. 이 시스템은, 입력으로서 영상 신호(78), 음성 신호(79), 텍스트, 화상, 2진 데이터 등을 취득하는 비디오 인코더(71) 및 오디오 인코더(72)를 구비한다. 각 인코더의 출력은, 멀티플렉서(73)에 의해 다중화되어, 기입 버퍼(74)에 멀티미디어 데이터로서 일시적으로 저장된다. 또한, 각 인코더의 출력은 또 메타데이터 생성부(75)에 보내지고, 또한 이 메타데이터 생성부(75)도 출력을 기입 버퍼에 기입한다.
다음에 기입 드라이브(70)가, 프로세서를 포함하는 기록 제어부(76)의 제어하에서, 멀티미디어 및 메타데이터를 기억 매체(2)에 파일로서 기입한다. 파일은, MPEG이나 AC-3 등의 표준 멀티미디어 압축 기법을 이용하여 압축 형식으로 기입할 수 있다. 기록중에 암호화도 이용할 수 있다. 또, 메타데이터 생성부(75)는 기록 제어부(76)에 내장되는 소프트웨어로서 실시할 수 있다.
인코더는, 입력 신호(78~79)로부터 특징, 예컨대 움직임 벡터, 컬러 히스토그램, 음성 주파수, 특성, 및 음량, 및 음성 관련 정보를 추출한다. 추출된 특징 을 메타데이터 생성부(75)에 의해 분석하고, 세그먼트와 그에 관련되는 색인 정보 및 중요도 레벨을 구한다.
중요도 레벨
윈도우
예컨대, 도 12에 도시하는 바와 같이, 중요도 레벨은 음성 신호를 이용함으로써 구할 수 있다. 예컨대, 각 세그먼트(1201)의 음량을 이용할 수 있고, 또한, 각 세그먼트(1201)의 음성 신호를 여러가지 종류(음성, 음악, 환성(歡聲), 박수, 웃음소리 등)로 분류할 수 있다. 이 경우, 콘텐츠(1200) 전체를 중복하지 않는 세그먼트(1201)(예컨대 1초의 지속 시간)로 분할한다. 박수 및 환성에는, 음성이나 음악보다도 높은 중요도 레벨을 부여할 수 있다.
세그먼트(1201)를 분류한 후, 하이라이트를 찾아내기 위한 방법은, 콘텐츠를 지속 시간이 같은 세그먼트(1201), 즉 윈도우(1202)로 분할하는 것이다. 윈도우를 이용하는 경우, 각 윈도우는, 도시와 같은 복수의 분류된 세그먼트를 포함한다.
다음에, 윈도우내의 연속한 박수 및/또는 환성의 최장의 길이를 구하는 것에 따라, 또는 윈도우내의 박수 및/또는 환성의 비율(percentage)을 구하는 것에 따라, 각 윈도우의 중요도 레벨을 계산할 수 있다. 윈도우내의 모든 구간에, 윈도우의 중요도 레벨을 부여할 수 있다.
다른 윈도우 방식은, 콘텐츠 전체에 걸쳐 지속 기간이 고정된 슬라이딩 윈도우(1203)(예컨대 12초)를 이용한다. 슬라이딩 윈도우는 「앵커(anchor)」 세그먼트(예컨대 윈도우내의 최초, 중간, 또는 최후의 구간)를 포함한다. 이 윈도우는, 한번에 1세그먼트씩 정 방향(시간 방향)으로 슬라이딩할 수 있다. 이 경우, 윈도 우의 앵커 구간(A)(1204)의 중요도 레벨은, 슬라이딩 윈도우 전체의 박수 및/또는 환성의 비율 또는 연속한 박수 및/또는 환성의 길이에 근거하는 것이다. 슬라이딩 윈도우 수법은 하이라이트의 시간을 보다 정확히 찾아내는 것을 가능하게 한다.
가중치 부여(Weighted) 중요도 레벨
또한, 상기의 방책에 의해 얻어진 중요도 레벨(IL)을, 윈도우의 계수(예컨대 음량(1211))로 더 가중치 부여하여(1210), 최종적인 중요도 레벨을 얻을 수 있다. 따라서 예컨대, 어떤 세그먼트가 다수의 음량이 낮은 박수를 포함하는 경우, 그 세그먼트에는 비교적 낮은 중요도 레벨이 부여되지만, 매우 큰 박수를 갖는 세그먼트에는 비교적 높은 중요도 레벨이 부여된다.
또, 스포츠 프로그램 등의 경우, 득점 장면이나 득점하는 찬스에 있어서는, 박수나 환성의 이외에 아나운서나 해설자에 의한 절규 음성이 따르는 경우가 많다. 따라서, 스포츠 프로그램 등의 경우에는, 박수나 환성을 포함하는 절규 음성을 하나의 음성 종류로서 설정하고, 해당 음성 종류를 중요도 레벨의 산출에 사용하는 것도 유효하다.
또, 어느 쪽의 실시예에서도, 멀티미디어 파일과 메타데이터 파일을 동시에 생성할 필요는 없다. 예컨대, 메타데이터는 후에 생성할 수 있고, 또한 메타데이터는 소정 시간에 걸쳐 서서히 부가할 수 있다.
시간의 임계값에 근거하는 재생
도 8은, 본 발명에 따른 다른 요약 재생을 나타내고, 세로축(50)을 중요도 레벨로 하며, 가로축(51)을 시간으로 하고, 연속적인 곡선(52)은 소정 시간에 걸치 는 중요도 레벨을 나타낸다. 선(80)은 가변의 중요도 레벨의 임계값이며, 선(81)은 임계값보다 높은 특정한 중요도를 갖는 구간만의 재생이다. 다른 구간은 스킵한다.
그러나, 이 실시형태에서는 시간의 임계값도 이용한다. 중요도 레벨의 임계값보다 높은 특정한 중요도 레벨을 갖고, 시간의 임계값보다 긴 시간 그 중요도 레벨을 유지하는 구간만을 재생한다. 예컨대, 구간 a1~a2는 재생하지 않고, 구간 b1~b2를 재생한다. 이에 따라, 시간이 지나치게 짧아 시청자가 적절히 이해할 수 없는 구간은 배제된다.
부가적인 구간의 연장을 이용한 시간의 임계값에 근거하는 재생
도 9는 본 발명에 따른 다른 요약 재생(900)을 나타내고, 세로축(50)을 중요도 레벨로 하며, 가로축(51)을 시간으로 하고, 곡선(52)은 소정 시간에 걸치는 중요도 레벨을 나타낸다. 선(90)은 중요도 레벨의 임계값이며, 선(91)은 임계값보다 높은 특정한 중요도를 갖는 구간만의 재생이다. 상기와 마찬가지로, 다른 구간은 스킵된다. 이 실시형태 및 후술의 다른 실시형태에 있어서, 연장량은, 재생 제어부가 내린 결정에 따라 변화시킬 수 있다.
또, 이 실시형태도 상술한 바와 같이 시간의 임계값을 이용한다. 그러나, 이 경우, 시간의 임계값보다 시간이 짧은 구간은 스킵되지 않는다. 그 대신, 그와 같은 구간은, 시간의 임계값의 요건을 만족시키도록 시간을 연장시킨다. 이것은, 그 짧은 구간의 전, 후, 또는 전후에서 멀티미디어 파일의 각 부분을 가산함으로써 행하여진다(예컨대 구간 c1~a2). 따라서, 짧은 구간의 사이즈를 크게 하여, 시청 자가 그 짧은 구간을 적절히 이해할 수 있도록 한다. 또, 제 2 시간의 임계값도 이용할 수 있어, 극단적으로 짧은 구간(예컨대 1 프레임)은 여전히 스킵하도록 한다.
곱셈에 의한 구간의 연장을 이용한 시간의 임계값에 근거하는 재생
도 10은 본 발명에 따른 다른 요약 재생을 나타내고, 세로축(50)을 중요도 레벨로 하며, 가로축(51)을 시간으로 하고, 곡선(52)은 소정 시간에 걸치는 중요도 레벨을 나타낸다. 선(1000)은 중요도 레벨의 임계값이며, 선(1001)은 임계값보다 높은 특정한 중요도를 갖는 구간만의 재생이다. 다른 구간은 스킵한다.
또, 이 실시형태도 상술한 바와 같이 시간의 임계값을 이용한다. 그러나, 이 경우, 구간의 시간을 소정량 d만큼 길게 하여, 시간의 임계값을 만족시키는 재생되는 구간의 사이즈를 크게 한다. 상기한 바와 같이, 구간은 전, 후, 또는 전후에서 연장할 수 있다. 또한, 계수를 승산하여 같게 되도록 구간의 시간을 길게 할 수도 있다.
기록 및 재생 시스템의 구조
도 11은, 판독/기입 기억 매체(3)(디스크나 테이프 등)에 저장된(저장되는) 압축 멀티미디어 파일 및 메타데이터 파일을 기록 및 재생하는 시스템(1100)의 블럭도를 나타낸다.
판독/기입 드라이브(110)가, 판독 버퍼(11)에 데이터를 기입할 수 있고, 기입 버퍼(74)로부터 데이터를 판독할 수 있다. 디멀티플렉서(12)는 판독 버퍼로부터 순차적으로 멀티미디어를 취득하고, 이 멀티미디어를 영상 스트림과 음성 스트 림으로 분리한다. 비디오 디코더(13)는 영상 스트림을 처리하고, 오디오 디코더(14)는 음성 스트림을 처리한다. 그러나, 이 경우, 메타데이터 생성부(75)도 디코더(13~14)의 출력을 수취하기 때문에, 기록/재생 제어부(111)를 이용하여, 재생되는 멀티미디어를 기억 매체(3)에 저장할 수 있다.
또, 중요도 레벨, 색인 첨부 정보 및 다른 메타데이터는, 복호화중에 메타데이터 생성부(75)를 이용하여 영상 데이터 및/또는 음성 데이터로부터 추출할 수도 있다.
또한, 중요도 레벨, 색인 첨부 정보 및 다른 메타데이터는 수동으로 생성하고, 후의 단계에서 삽입할 수도 있다.
또, 상기의 실시형태는 모두, 검색 기능을 포함하여, 시청자가 시간, 프레임 번호, 또는 중요도 중 어느 하나에 근거하여 멀티미디어의 특정 부분으로 직접 건너뛰는(position to) 것을 가능하게 할 수 있다. 이 검색 기능은, 「섬네일」 구간(예컨대, 검색 중에 시청자를 보조하는 하나 또는 소수의 프레임)을 이용할 수 있다.
또, 실시예 1에 있어서는, 해당 시스템에 기억 매체를 포함하는 경우에 대하여 설명했지만, 해당 기억 매체는 시스템과 별개로 구성하더라도 무방하다. 예컨대, 해당 시스템에 상기 기억 매체로서 HDD(Hard Disk Drive)를 내장하는 경우에는, 시스템에 기억 매체를 포함하여 구성한다. 한편, 외부 부착의 HDD, DVD 등의 광디스크 또는 자기디스크를 상기 기억 매체로서 사용하는 경우에는 시스템과 기억 매체를 별개로 구성한다.
(실시예 2)
도 13은 실시예 2에 있어서의 요약 재생 장치(1200)의 구성을 나타내는 블럭도이다. 또, 도 13에 있어서, 실시예 1에 있어서 설명한 구성과 동일한 구성에 대해서는 동일한 부호를 부기한다.
요약 재생 장치(1200)는, DVD-R나 DVD-RW를 포함하는 각종 DVD 디스크, 하드디스크, 또는 블루레이디스크 등의 기억 매체(4)에, 상기 도 2에 있어서 설명한 디렉토리 구조에 따라서 기록된 상기 비디오의 영상 또는 음성의 재생을 실행한다. 또한, 해당 요약 재생 장치(1200)는, 상기 기억 매체(4)에 기록된 상기 비디오에 대응하는 상기 중요도 레벨에 근거하여 해당 비디오의 요약 재생을 실행한다.
이하, 요약 재생 장치(1200)에 있어서, 비디오의 요약 재생을 실행하는 경우에 대하여 설명한다. 사용자는, 조작부(130)를 조작하여, 재생할 소망의 비디오를 선택하고, 또한 요약 재생을 선택한다. 사용자에 의해 소망의 비디오가 선택되면, 상기 도 4에 있어서 설명한 바와 같이 하여, 해당 비디오를 구성하는 프로그램(41) 및 해당 프로그램(41)을 구성하는 셀(42)을 프로그램 체인 정보(40)에 의해 특정할 수 있기 때문에, 참조해야 할 VOB의 번호 및 해당 셀의 재생 개시 시간과 재생 종료 시간의 각 프리젠테이션 타임(PTM)이 확정된다.
기억 매체(4)에 기록된 메타데이터(30)(도 3)는, 해당 기억 매체(4)가 판독 드라이브(11)에 삽입된 후로서 사용자가 요약 재생을 선택하기 전, 또는 요약 재생하는 비디오를 사용자가 선택한 후, 또는 해당 요약 장치(1200)에 있어서 기억 매체(4)에 기록된 프로그램을 재생(통상 재생)하고 있는 도중 등의 타이밍에 있어서, 판독 드라이브(11)에 의해 판독되고, 드라이브 I/F부(3)에 출력된다. 드라이브 I/F부(3)는 입력된 메타데이터(30)를 복조하여 메타데이터 분석부(15)에 출력한다.
메타데이터 분석부(15)는, 상술한 바와 같이 프로그램 체인 정보(40)에 근거하여 검출한, 상기 비디오에 대응하는 VOB의 번호를 참조하여, 해당 비디오에 대응하는 메타데이터(30)를 메타데이터 파일(26)로부터 판독한다. 그리고, 해당 메타데이터 분석부(15)는 상기 메타데이터(30)로부터 각 VOB에 대응하는 비디오 샷 중요도 레벨(34c)에 저장된 중요도 레벨을 판독한다.
구체적으로는, 우선, 상기 VOB의 번호를 참조하여, 메타데이터 관리 정보(31a) 및 VOB 메타데이터 정보 검색 포인터(31b)에 저장된 어드레스 정보에 의해서, VOB 메타데이터 정보(31c)를 특정한다. 다음에, 각 VOB 메타데이터 정보(31c)에 대응하는 비디오 샷 맵 정보(32b)에 액세스한다.
그리고, 해당 비디오 샷 맵 정보(32b)에 포함되는 각 비디오 샷 엔트리(33b)에 기술된 비디오 샷 개시 시간 정보(34a)에 저장된 개시 시간 정보, 비디오 샷 종료 시간 정보(34b)에 저장된 종료 시간 정보 및 비디오 샷 중요도 레벨(34c)에 저장된 중요도 레벨을 판독한다. 또, 비디오 샷 개시 시간 정보(34a) 및 비디오 샷 종료 시간 정보(34b)가 특정되면, 상기 셀의 재생 개시 시간과 재생 종료 시간의 범위에 포함되는 프리젠테이션 타임(PTM)을 갖는 비디오 샷이 특정된다.
메타데이터 분석부(15)에 있어서 판독한 중요도 레벨은 해당 메타데이터 분석부(15)에 기록된다. 또, 메타데이터 분석부(15)에는, 기억 매체(4)에 기록된 복수의 비디오의 각각에 대응하는 중요도 레벨을 모두 기록하더라도 좋고, 상기 기억 매체(4)에 기록된 비디오중, 요약 재생의 대상으로 되고 있는 비디오에 대응하는 중요도 레벨을 모두 기록하도록 하더라도 무방하다. 또한, 재생 제어부(16)에 있어서 OSD 플레인 화상(상세한 것은 후술함)을 생성하기 위해서 필요한 중요도 레벨만을 기록하도록 하더라도 무방하다. 또한, 상기 중요도 레벨은, 메타데이터 분석부(15)에 기록하지 않더라도 무방하며, 예컨대, 재생 제어부(16)에 메모리(도시하지 않음)를 마련하여, 해당 메모리에 기록하도록 하더라도 무방하다. 그 경우, 상기 메타데이터 분석부(15)는, 중요도 레벨을 상기 메타데이터(30)의 비디오 샷 중요도 레벨(34c)로부터 판독하여 재생 제어부(16)에 출력한다.
재생 제어부(16)는, 상기 메타데이터 분석부(15)에 기록된 각 중요도 레벨과 미리 설정된 임계값을 비교한다. 구체적으로는, 재생 제어부(16)에 마련하는 비교부(도시하지 않음)에 있어서, 상기 메타데이터 분석부(15)로부터 출력된 중요도 레벨과 상기 임계값을 비교한다. 그리고, 재생 제어부(14)는, 상기 임계값보다 큰 값을 갖는 중요도 레벨에 대응하는 비디오 샷을 구성하는 VOBU를 상기 도 4에 있어서 설명한 프로그램 체인 정보(40)에 의해 특정하고, 해당 VOBU를 판독하도록 판독 드라이브(11)를 제어한다. 또, 상기 임계값은, 사용자가 조작부(130)를 조작함으로써 조정할 수 있도록 구성된다.
또, 상기 판독 드라이브(11)에 의해 판독된 VOBU는, 드라이브 I/F부(121)에 의해 복조된다. 그리고, 해당 VOBU에 대응하는 음성의 데이터(음성 데이터)는 오디오 디코더부(14)를 거쳐서 D/A 컨버터(127)에 출력된다. 또한, 상기 VOBU에 대응하는 부(副) 영상(비디오에 있어서의 자막 등)의 데이터(부 영상 데이터)는 그래 픽 디코더부(123)에 의한 처리를 거친 후, YUV 신호로서 그래픽 플레인에 축적된다. 또한, 상기 비디오의 영상에 대응하는 데이터(영상 데이터)는 비디오 디코더부(13)에 의한 처리를 거친 후, 아날로그 영상 신호로서 비디오 묘화 플레인(125)에 축적된다.
상기 재생 제어부(16)는, 상술의 비교를 행하여, 사용자에 의해 선택된 비디오의 중요도 레벨의 변화를 나타내는 화상(OSD 플레인 화상)을 생성한다. 그리고, 상기 OSD 플레인 화상에 대응하는 신호(이하, OSD 신호라고 함)를 프레임 메모리 등으로 구성되는 OSD 플레인(129)에 출력한다. 그리고, 상기 OSD 신호에 대응하는 OSD 플레인 화상은 OSD 플레인(129)에 축적된다.
도 14는 OSD 플레인 화상을 설명하기 위한 설명도이다. 도 14에 도시하는 바와 같이, 재생 제어부(16)는, 중요도를 나타내는 축인 세로축(133), 시간축인 가로축(134), 상기 시간축 방향에 있어서의 중요도 레벨의 변화를 나타내는 중요도 레벨 플롯(135), 상기 비교부에 미리 설정되는 임계값을 나타내는 슬라이스 레벨(137), 및 해당 요약 재생 장치(1200)의 요약 재생시에 있어서 재생되어 있는 영상의 프로그램 전체에 있어서의 위치를 나타내는 재생 인디케이터(136)를 포함하는 OSD 플레인 화상(132)을 생성한다. 또, 상기 재생 인디케이터(136)는, 비디오 묘화 플레인(125)으로부터 출력된 화상의 프로그램 전체에 있어서의 위치가 시간축(134)상에 있어 정확히 표시되도록 적절히 갱신하여 묘화된다.
비디오 묘화 플레인(125), 그래픽 플레인(124) 및 OSD 플레인(129)에 축적된 신호는 동기하여 합성부(126)에 출력된다. 합성부(126)는, 상기 그래픽 플레 인(124)에 축적된 YUV 신호, 상기 비디오 묘화 플레인(125)에 축적된 상기 아날로그 영상 신호, 및 상기 OSD 플레인(129)에 축적된 상기 OSD 신호를 합성하여 비디오 인코더(71)에 출력한다. 그리고, 비디오 인코더(71)는, 합성 신호를 소정의 신호로 변환하여 요약 재생 장치(1200)에 접속되는 표시 장치 등의 외부기기에 출력한다.
또, 요약 재생 장치(1200)에 있어서 실행되는 요약 재생은 상기 도 5 등에 의해 설명한 요약 재생과 마찬가지로 하여 실행된다.
도 15는, 요약 재생 장치(1200)에 있어서의 요약 재생시에 있어서, 해당 요약 재생 장치(1200)에 접속되는 모니터, 텔레비젼 등의 표시 장치(1300)에 표시되는 영상을 설명하기 위한 설명도이다. 도 15에 있어서, 도 15(a)는, 비디오 묘화 플레인(125)으로부터 출력된 아날로그 영상 신호에 대응하는 화상(131)(이하, 비디오 플레인 화상(131)이라고도 함)을 모식적으로 나타낸 도면이다. 또한, 도 15(b)은 상기 도 14에 있어서 설명한 OSD 플레인 화상(132)이다. 또한, 도 15(c)은, 도 15(a)의 화상과 도 15(b)의 화상을 합성한 화상, 즉 상기 합성부(126)로부터 출력된 합성 신호에 대응하는 화상(이하, 합성 화상이라고도 함)이다. 또, 자막 등의 부 영상 데이터에 대응하는 화상이 있는 경우에는, 상기 합성 화상에 해당 부 영상 데이터에 대응하는 화상이 중첩된다.
도 15(c)와 같이, 실시예 2에 있어서의 요약 재생 장치(1200)에서는, 요약 재생시에 있어서 상기 표시 장치(1300)에는 합성 화상이 표시된다. 그 때문에, 종래의 요약 재생 장치와 같이 비디오 전체에 있어서의 고조의 경향을 사용자가 파악 할 수 없다고 하는 문제는 발생하지 않는다. 즉, 사용자는, 합성 화상에 포함되는 OSD 플레인 화상(132)에 의해 비디오에 있어서의 고조의 경향을 한눈에 파악할 수 있다.
구체적으로 설명하면, 예컨대, 요약 재생하는 비디오가 스포츠 프로그램으로서, 해당 스포츠 프로그램의 영상의 특징을 나타내는 파라미터를 「환성의 계속 시간」이라고 하여 중요도 레벨을 산출한 경우, 중요도 레벨 플롯(135)은 상기 스포츠 프로그램에 있어서의 환성의 계속 시간의 변화를 나타내는 것으로 된다. 스포츠 프로그램 등에 있어서는, 승패의 행방을 좌우하는 장면일수록 환성이나 박수가 계속한다. 따라서, 사용자는, 해당 중요도 레벨 플롯(135)을 한번 본 것만으로 해당 스포츠 프로그램에 있어서의 중요한 장면의 프로그램 전체에 있어서의 위치를 파악할 수 있어, 해당 스포츠 프로그램에 있어서의 고조의 경향을 한눈에 파악할 수 있다.
또한, 해당 사용자는, 중요도 레벨 플롯(135)에 대한 슬라이스 레벨(137)의 위치를 보는 것에 따라, 해당 요약 재생에 의해 비디오 전체가 어느 정도 요약되어 있는지를 한눈에 파악할 수 있다. 그리고, 사용자는, 비디오를 보다 요약하여 재생하고 싶은 경우에는, 상기 조작부(130)를 조작함으로써 상기 슬라이스 레벨(137)을 세로축(133) 방향으로 이동시킨다. 한편, 상기 비디오에 포함되는 영상을 보다 많이 보고 싶은 경우에는 상기 슬라이스 레벨(137)을 세로축(133)과는 반대의 방향으로 이동시킨다. 또, 상기 재생 제어부(16)는, 임계값의 변화에 따라, 상기 프로그램 체인 정보(40)를 참조하여 재생하는 비디오 샷을 조정하고, 해당 비디오 샷에 포함되는 VOBU를 판독하도록 판독 드라이브(10)를 제어한다.
이상의 설명과 같이, 실시예 2에 있어서의 요약 재생 장치(1200)에 의하면, 기억 매체(4)에 기록된 비디오가, 사용자에 있어서 처음보는 비디오이더라도, 해당 비디오의 고조의 경향을 용이하게 파악할 수 있다.
또한, OSD 플레인 화상(132)을 참조함으로써, 시청자가 소망의 장면(하이라이트 장면 등)을 민첩하게 검출할 수 있다. 그리고, 상기 OSD 플레인 화상(132)을 보면서 조작부(130)를 조작하여 임계값을 조정하는 것만으로, 요약 재생하는 시간을 간단히 조정할 수 있다.
또한, 재생 인디케이터(136)에 의해서, 요약 재생에 의해 표시되는 화상의 비디오 전체에 있어서의 위치를 용이하게 파악할 수 있다.
또한, 종래의 요약 재생 장치와 같이 기억 매체에 기록된 비디오 전체를 빨리감기 등에 의해 보지 않더라도 하이라이트 장면 등의 위치를 용이하게 파악할 수 있다. 즉, 예컨대, 기억 매체에 기록된 프로그램이 장시간인 경우에는, 빨리감기라도, 사용자가 해당 비디오 전체를 보기 위해서는 상당한 시간이 필요하다. 그러나, 실시예 2에 있어서의 요약 재생 장치에 있어서는, 프로그램의 장단에 상관없이, 하이라이트 장면의 비디오 전체에 있어서의 위치를 한눈에 파악할 수 있다.
또한, 종래의 요약 재생 장치와 같이, 하이라이트 장면을 설정(각인)하는 경우에는, 해당 하이라이트 장면을 스킵할 가능성이 있지만, 실시예 2에 있어서의 요약 재생 장치(1200)에서는 그와 같은 가능성이 없다.
또, OSD 플레인 화상(132)에 있어서의 중요도 레벨 플롯(135), 슬라이스 레 벨(137), 재생 인디케이터(136) 등의 OSD 플레인 화상에 있어서의 각 요소 또는 해당 OSD 플레인 화상(132) 전체는, 사용자가 조작부(130)를 조작함으로써 표시 또는 비표시의 전환을 할 수 있도록 구성하더라도 무방하다.
(실시예 3)
도 16은, 실시예 3의 요약 재생 장치에 있어서 요약 재생을 실행했을 때에 표시되는 화상을 설명하기 위한 설명도이다. 또, 이하, 실시예 1 또는 2에 있어서 설명한 구성과 동일한 구성에 대해서는 동일한 부호를 부기하고, 설명을 생략한다.
도 16에 도시하는 바와 같이, 실시예 3에 있어서의 요약 재생 장치는, 재생 제어부(16)에 마련하는 연산부(도시하지 않음)에 있어서, 요약 재생하는 비디오의 녹화 시간(즉, 해당 비디오를 통상 재생한 경우에 필요한 시간), 및 현재의 임계값에 근거하여 비디오를 요약 재생한 경우에 필요한 시간(이하, 요약 시간이라고 함)을 연산한다. 또한, 재생 제어부(16)에서는, 상기 요약 시간을 상기 녹화 시간으로 나눈 결과 얻어지는 요약률의 연산, 및 해당 요약 재생에 있어서 재생되는 장면의 수의 계수가 실행된다.
재생 제어부(16)는, 해당 재생 제어부(16)에 있어서 실행된 연산 등의 결과에 근거하여, 텍스트 정보(141)를 포함하여 구성되는 OSD 플레인 화상(140)을 생성하고, 해당 OSD 플레인 화상(140)에 대응하는 OSD 신호를 OSD 플레인(129)에 출력한다. 그리고, OSD 플레인(129)은, 상기 비디오 묘화 플레인에 축적된 신호 등과 동기한 타이밍으로 해당 OSD 신호를 합성부(10)에 출력한다.
합성부(126)에 있어서는, 실시예 2에 있어서 합성한 신호에 덧붙여, 상기 OSD 플레인 화상(140)에 대응하는 OSD 신호를 합성한다. 그 결과, 표시 장치(1300)에 있어서는, 도 16에 도시하는 바와 같이, 실시예 2에서 설명한 중요도 레벨 플롯(135)을 포함하는 OSD 플레인 화상에 덧붙여, 텍스트 정보(141)를 포함하는 OSD 플레인 화상이 표시된다.
이상의 설명과 같이, 실시예 3에 있어서의 요약 재생 장치에 의하면, 실시예 2에 있어서 설명한 중요도 레벨 플롯(135)에 덧붙여, 텍스트 정보(141)도 표시되기 때문에, 사용자는 요약 재생에 필요한 시간, 요약률 등을 용이하게 파악할 수 있다.
따라서, 사용자는, 표시 장치(1300)에 표시된 텍스트 정보를 참조하여 조작부(130)를 조작함으로써, 임계값을 조정할 수 있다.
또, 실시예 3에 있어서는, 상기 텍스트 정보로서 요약 시간 등을 표시하는 경우에 대하여 설명했지만, 현재 재생하고 있는 장면의 번호, 현재 재생하고 있는 프로그램의 프로그램명, 출연자명, 제작자명, 녹화한 연월일이나 일시 또는 요일, 녹화한 프로그램의 방송국명, 기억 매체(4)에 기록되어 있는 프로그램의 총수, 현재 재생하고 있는 프로그램의 프로그램 번호나 재생 시간 위치, 기억 매체(4)의 명칭 등, 사용자에 대하여 제공하는 보충·부가 정보를 표시하도록 하더라도 무방하다.
또한, 텍스트 정보(141)로 표시하는 보충·부가 정보에 대해서는, 텍스트 등의 문자열뿐만 아니라, 아이콘이나 화상을 사용하여 표시하더라도 무방하다.
또한, OSD 플레인 화상(132, 140)은, 조작부(130)에 의한 사용자 조작에 의해 개별적으로 표시의 온, 오프의 선택 설정이 가능한 구성으로 해도 좋다. 또, OSD 플레인 화상(132, 140)의 표시는, 양쪽을 동시에 온 또는 오프로 하더라도 좋고, 예컨대, 임계값(137)만의 표시 온, 오프 조작을 행하는 등, OSD 플레인 화상(132, 140)의 일부분을 온 또는 오프로 해도 좋다.
(실시예 4)
도 17은, 실시예 4의 요약 재생 장치에 있어서 요약 재생을 실행했을 때에 표시되는 화상을 설명하기 위한 설명도이다. 또, 이하, 실시예 1~3에 있어서 설명한 구성과 동일한 구성에 대해서는 동일한 부호를 부기하고, 설명을 생략한다.
실시예 4의 요약 재생 장치에 있어서의 OSD 플레인(129)은, 실시예 3에서 설명한 텍스트 정보(141)에 대응하는 OSD 신호만을 축적하고, 해당 OSD 신호를 합성부(126)에 출력한다. 따라서, 표시 장치(1300)에는, 도 17과 같이, 텍스트 정보(141) 및 요약 재생되는 비디오의 화상이 표시된다. 또, 텍스트 정보(141)의 내용은 실시예 3에서 설명한 내용과 마찬가지기 때문에 설명을 생략한다.
이상의 설명과 같이, 실시예 4에 있어서의 요약 생성 장치에 의하면, 텍스트 정보(141)가 표시되기 때문에, 사용자는 요약 재생에 필요한 시간, 요약률 등을 용이하게 파악할 수 있다.
(실시예 5)
도 18은, 실시예 5의 요약 재생 장치에 있어서 요약 재생을 실행했을 때에 표시되는 화상을 설명하기 위한 설명도이다. 또, 이하, 실시예 1~4에 있어서 설명한 구성과 동일한 구성에 대해서는 동일한 부호를 부기하고, 설명을 생략한다.
실시예 5에 있어서의 요약 재생 장치는, 재생 제어부(16)에 미리 기록되는 동작 모드 표시 텍스트(151) 및 아이콘 화상(152)을 포함하는 OSD 플레인 화상(150)을 해당 재생 제어부(16)에 있어서 생성한다.
구체적으로 설명하면, 해당 요약 재생 장치에 있어서 요약 재생이 선택되면, 재생 제어부(16)는, 미리 기록된 동작 모드 표시 텍스트(151) 및 아이콘 화상(152)에 근거하여 OSD 플레인 화상(150)을 생성하고, 해당 OSD 플레인 화상에 대응하는 OSD 신호를 OSD 플레인(129)에 출력한다. 그리고, OSD 플레인(129)은, 재생 제어부(16)로부터 출력된 OSD 신호를 축적하고, 해당 OSD 신호를 합성부(126)에 출력한다.
그리고, 합성부(126)는, 비디오 묘화 플레인(125)으로부터 출력된 신호에 대응하는 화상 또는 그래픽 플레인(124)으로부터 출력된 신호에 대응하는 화상과, OSD 플레인(129)으로부터 출력된 신호에 대응하는 화상을 합성하여 비디오 인코더(71)에 출력한다. 그 결과, 표시 장치(1300)에 있어서는, 도 18에 나타내는 것 같은 화상이 표시된다.
이상의 설명과 같이, 실시예 5의 요약 재생 장치에 의하면, 사용자가 해당 요약 재생 장치의 동작 상태를 한눈에 파악할 수 있다.
또, 실시예 5에 있어서는, 요약 재생을 실행하고 있는 경우에 표시하는 동작 모드 표시 텍스트(151) 및 아이콘 화상(152)에 대하여 설명했지만, 통상 재생이나 빨리감기, 뒤로감기 등, 그 밖의 동작 상태를 나타내는 동작 모드 표시 텍스트(151) 및 아이콘 화상(152)을 표시하도록 하더라도 무방하다.
또한, 동작 모드 표시 텍스트(151) 및 아이콘 화상(152)의 양쪽을 표시하지 않고, 동작 모드 표시 텍스트(151) 또는 아이콘 화상(152) 중 어느 한쪽을 표시하도록 하더라도 무방하다. 또한, 조작부(130)를 조작함으로써, 동작 모드 표시 텍스트(151) 및 아이콘 화상(152)의 양쪽을 표시하는 경우, 동작 모드 표시 텍스트(151) 또는 아이콘 화상(152) 중 어느 한쪽을 표시하는 경우, 또는 동작 모드 표시 텍스트(151) 및 아이콘 화상(152)의 양쪽을 표시하지 않는 경우를 전환할 수 있도록 하더라도 무방하다.
(실시예 6)
도 19는, 실시예 6의 요약 재생 장치에 있어서 요약 재생을 실행했을 때에 표시되는 화상을 설명하기 위한 설명도이다. 또, 이하, 실시예 1~5에 있어서 설명한 구성과 동일한 구성에 대해서는 동일한 부호를 부기하고, 설명을 생략한다.
실시예 6에 있어서의 요약 재생 장치는, 재생 제어부(16)에 있어서, 현재의 임계값(137)보다도 큰 값을 갖는 중요도 레벨에 대응하는 영상(중요장면)의 비디오 전체에 있어서의 위치를 나타내기 위한 중요장면 표시 바(161), 해당 중요장면의 위치를 나타내는 중요장면 바(162), 현재의 재생 위치를 적절히 갱신 표시하여 나 타내는 재생 인디케이터(163)를 생성한다. 그리고, 재생 제어부(16)는 OSD 플레인 화상(160)을 생성하고, OSD 플레인(129)에 OSD 신호를 출력한다. 그리고, OSD 플레인(129)은 재생 제어부(16)로부터 출력된 OSD 신호를 축적하고, 해당 OSD 신호를 합성부(126)에 출력한다.
합성부(126)는, 비디오 묘화 플레인(125)으로부터 출력된 신호에 대응하는 화상 또는 그래픽 플레인(9)으로부터 출력된 신호에 대응하는 화상과, OSD 플레인(129)으로부터 출력된 신호에 대응하는 화상을 합성하여 비디오 인코더(71)에 출력한다. 그 결과, 표시 장치(1300)에 있어서는, 도 19에 나타내는 것 같은 화상이 표시된다.
여기서, 중요장면 표시 바(161)의 생성 방법에 대하여 구체적으로 설명한다. 도 20은 중요장면 표시 바(161)의 생성 방법을 설명하기 위한 설명도이다. 또, 도 20에 있어서, 도 19에서 설명한 구성과 동일한 구성에 대해서는 동일한 부호를 부기하고, 설명을 생략한다.
예컨대, 실시예 2에 있어서 설명한 중요도 레벨 플롯(135)이 있었던 경우에 현재의 임계값(137)을 넘는 부분이 중요한 장면(예컨대, 득점장면 등의 하이라이트 장면)이라고 한다. 그렇다면, 중요장면 바(162)는, 해당 임계값(137)을 넘는 부분을, 중요장면 표시 바(161)에 투영함으로써 얻을 수 있다.
이상의 설명과 같이, 실시예 6에 있어서의 요약 재생 장치에 의하면, 중요장면 표시 바(161)를 포함하여 구성되는 OSD 플레인 화상(160)의 면적을, 실시예 2에서 나타낸 중요도 레벨 플롯(135)을 포함하여 구성되는 OSD 플레인 화상의 면적보 다도 작게 억제할 수 있다. 따라서, 비디오 묘화 플레인 화상(131)에, 해당 OSD 플레인 화상(160)을 중첩시키고 표시하더라도 비디오의 영상을 차폐하는 경우가 없다.
또한, 통상 재생시에 있어서, 중요장면 표시 바(161)를 표시시키면, 현재의 재생 위치에 대한 중요개소(높은 중요도 레벨을 가지는 하이라이트 장면)의 상대적인 위치를 용이하게 파악할 수 있다.
또한, 중요장면 표시 바(161)에 중요장면 바(162)를 표시하는 것으로, 텍스트 정보(141)만으로 표시하는 것보다도 요약률 등을 용이하게 파악할 수 있다.
(실시예 7)
도 21은 실시예 7의 요약 재생 장치에 있어서 요약 재생을 행했을 때에 표시되는 화상을 설명하기 위한 설명도이다. 또, 이하, 실시예 1~6에 있어서 설명한 구성과 동일한 구성에 대해서는 동일한 부호를 부기하고, 설명을 생략한다.
실시예 7에 있어서의 요약 재생 장치는, 재생 제어부(16)에 있어서, 비디오의 기록 시간을 나타내는 슬라이드 표시 바(171), 및 현재 표시하고 있는 장면의 비디오 전체에 있어서의 위치를 나타내는 슬라이드 표시 인디케이터(172)를 포함하는 OSD 플레인 화상을 생성하여, 해당 OSD 플레인 화상에 대응하는 OSD 신호를 OSD 플레인(129)에 출력한다. OSD 플레인(129)은, 재생 제어부(16)로부터 출력된 OSD 신호를 축적하고, 해당 OSD 신호를 합성부(126)에 출력한다. 또, 슬라이드 표시 인디케이터(172)는, 비디오 묘화 플레인 화상(125)으로부터 출력된 화상의 비디오 전체에 있어서의 위치가 슬라이드 표시 바(171)상에 있어 정확히 표시되도록 적절히 갱신하여 묘화된다.
그리고, 합성부(126)는, 비디오 묘화 플레인(125)으로부터 출력된 신호에 대응하는 화상 또는 그래픽 플레인(124)으로부터 출력된 신호에 대응하는 화상과, OSD 플레인(129)으로부터 출력된 신호에 대응하는 화상을 합성하여 비디오 인코더(71)에 출력한다. 그 결과, 표시 장치(1300)에 있어서는, 도 21에 나타내는 것 같은 화상이 표시된다.
여기서, 슬라이드 표시 바(171) 및 슬라이드 표시 인디케이터(172)에 대하여 구체적으로 설명한다. 도 22는 슬라이드 표시 바(171) 및 슬라이드 표시 인디케이터(172)를 설명하기 위한 설명도이다. 또, 도 22에 있어서, 도 21에서 설명한 구성과 동일한 구성에 대해서는 동일한 부호를 부기하고, 설명을 생략한다.
예컨대, 실시예 2에 있어서 설명한 중요도 레벨 플롯(135)을 포함하는 OSD 플레인 화상(132)이 있었던 경우, 재생 제어부(16)는, 해당 중요도 레벨 플롯(135)의 일부분인 파선으로 둘러싼 부분(도 22에 있어서의 173의 부분. 이하, 부분 플롯(173)이라고 함)을 잘라낸 화상에 대응하는 OSD 신호를 OSD 플레인(129)에 출력한다. 또한, 재생 제어부(16)는, 부분 플롯(173)으로서 잘라낸 부분의, 비디오 전체에 있어서의 위치를 연산하여, 해당 위치를 도시하는 바와 같이, 슬라이드 표시 인디케이터(172)를 수시로 갱신하고, 슬라이드 표시 바(171) 상에 중첩시킨다.
이상에 설명한 재생 제어부(16)의 처리에 의해, 도 21에 나타낸 OSD 플레인 화상(170)이 생성된다.
이상의 설명과 같이, 실시예 7에 있어서의 요약 재생 장치에 의하면, 중요도 레벨의 변동을 나타내는 OSD 플레인 화상(170)의 면적을 작게 억제할 수 있기 때문에, 비디오 플레인 화상(131)에 중첩시켜 표시하더라도 비디오의 영상을 차폐하는 경우가 없다.
또, 중요도 레벨 플롯의 특정 부분을 확대 표시하는 것으로 시간축 방향에 있어서의 중요도 레벨의 변동을 보다 상세하고 또한 명확히 표시할 수 있다. 따라서, 중요도 레벨 플롯(135)의 변동이 친밀한 개소이더라도 사용자는 그 변동을 용이하게 시인할 수 있다.
또, 실시예 7에 있어서는, 슬라이드 표시 바(171) 및 슬라이드 표시 인디케이터(172)를 이용하여, 표시 장치(1300)에 현재 표시되어 있는 화상의 비디오 전체에 있어서의 위치를 나타내는 경우에 대하여 설명했지만, 현재 표시하고 있는 화상의 비디오 전체에 있어서의 위치를 표시할 수 있는 방법이면, 분수나 퍼센티지 표기를 이용한 텍스트에 의한 표현이나, 슬라이드 표시 바(170)와는 다른 원 그래프 등의 묘화를 채용할 수도 있다.
(실시예 8)
도 23은 실시예 8에 있어서의 기록 장치(1400)의 구성을 나타내는 블럭도이다. 또, 이하의 설명에 있어서는, 실시예 1 또는 2에 있어서 설명한 구성과 동일한 구성에 대해서는 동일한 부호를 부기하고, 설명을 생략한다.
도 23에 있어서, CM 검출부(300)는, 오디오 인코더(72)에 있어서 추출된 음 성 신호의 특징을 분석하여 상기 비디오에 있어서의 광고(Commercial Message, 이하, CM이라고도 함) 구간을 검출한다. 그리고, 해당 검출 결과에 대응하는 데이터를 메타데이터 생성부(301)에 출력한다.
메타데이터 생성부(301)는, 실시예 1에 있어서 설명한 바와 같이, 각 인코더에 있어서 추출된 영상 신호의 특징 또는 음성 신호의 특징에 근거하여 중요도 레벨을 산출한다. 또한, 메타데이터 생성부(301)는, CM 검출부(300)에 있어서의 CM 검출의 결과에 따라, 생성한 중요도 레벨을 수정한다. 또한, 메타데이터 생성부(301)는 수정한 중요도 레벨을 포함하는 메타데이터를 생성하여 기입 버퍼(74)에 출력한다. 그리고, 상기 메타데이터는, 실시예 1에 있어서 설명한 바와 같이, 세그먼트와 대응시켜 기록 매체(2)에 기록된다.
도 24는 CM 검출부(300)에 있어서의 CM 검출을 설명하기 위한 설명도이다. 도 24에 있어서, 참조부호 310은, 해당 기록 장치(1400)에 입력된 영상 신호 또는 음성 신호에 대응하는 비디오의 내용(예컨대, 텔레비젼 방송의 방송 내용)을 본편 방송(이하, 본편이라고도 함)과 CM 방송(이하, CM이라고도 함)으로 나눠 나타낸 비디오 내용 개념도이다. 또, 해당 비디오 내용 개념도에서는 CM 방송이 CM1, …, CMn과 같이 복수의 CM으로 구성되는 경우에 대하여 나타내었다.
또한, 도 24에 있어서, 참조부호 311은, 해당 CM 검출부(300)에 있어서 상기 음성 신호를 분석함으로써 검출된, 상기 비디오 내용 개념도(310)의 비디오 내용에 있어서의 무음성인 부분(이하, 무음성 개소라고도 함)과 무음성이 아닌 부분(이하, 유음성 개소라고도 함)을 나타낸 무음성 개소 검출 곡선이다. 또한, 참조부호 312 는 상기 무음성 개소에 근거하여 CM을 검출하기 위한 CM 검출 필터이며, 참조부호 313은 CM 검출 필터(312)에 의해 CM 구간으로서 검출된 부분을 나타내는 CM 검출 곡선이다.
통상, 도 24의 비디오 내용 개념도(310)에 나타낸 바와 같이 비디오의 내용이 본편과 CM으로 구성되어 있는 경우, 본편의 영상 또는 음성과 CM의 영상 또는 음성과는 관계가 없는 경우가 많다. 또한, 복수의 CM이 연속하는 경우에는, 어떤 CM의 영상 또는 음성과 다른 CM의 영상 또는 음성과는 관계가 없는 경우가 많다. 그 때문에, 본편으로부터 CM으로 바뀌는 부분, CM으로부터 CM으로 바뀌는 부분, 또는 CM으로부터 본편으로 바뀌는 부분에 있어서는 음성이 수백밀리초간, 무음으로 된다. 그래서, 실시예 8에 있어서의 CM 검출부(300)는, 오디오 인코더(72)로부터 출력된 음성의 특징을 분석하여 해당 무음성 개소를 검출함으로써 CM의 검출을 실행한다.
이하, CM 검출부(300)의 동작에 대하여 설명한다. 상술한 바와 같이, 해당 CM 검출부(300)는, 오디오 인코더(72)로부터 출력된 음성의 특징을 분석하여 해당 무음성 개소를 검출한다. 무음성 개소의 검출 방법으로서는, 예컨대, 변형 이산 코사인 변환(Modified Discrete Cosine Transform, 이하, MDCT라고 함)을 사용할 수 있다.
MDCT를 사용하는 경우, CM 검출부(300)는, 오디오 인코더(72)에 있어서 아날로그 음성 신호를 A/D 변환하고, 또한 부호화 압축하여 얻어지는 디지털 신호(PCM(Pulse Code Modulation) 신호라고도 함)를 MDCT하여 MDCT 계수를 산출한다. 다음에, 소정의 개수의 MDCT 계수의 값의 2승합(즉, 오디오 에너지에 상당함)을 산출하고, 해당 2승합의 값과 소정의 임계값을 비교한다. 그리고, 비교의 결과, 상기 2승합의 값이 상기 소정의 임계값 이하로 되는 구간이 소정의 구간(예컨대, 수백밀리초)인 경우에, 해당 구간을 무음성 개소로 한다. 그 결과, 도 24의 비디오 내용 개념도(31O)에 나타낸 비디오의 경우에는, 본편과 CM의 전환 부분 및 CM과 CM의 전환 부분에 있어서 무음성 개소가 검출된다.
또, CM 검출부(300)에 있어서 검출한 무음성 개소를 나타내는 정보(예컨대, 비디오 중의 해당 무음성 개소의 시간축 상의 위치를 나타내는 정보)는, CM 검출부(300)에 있어서의 메모리(도시하지 않음), 또는 기록 제어부(76)에 있어서의 메모리(도시하지 않음)에 기록한다. 또한, 상기 소정의 임계값 및 상기 소정의 구간은 해당 기록 장치(1400)의 설계 등에 따라 임의로 설정할 수 있다.
다음에, CM 검출부(300)는, 검출한 무음성 개소와 CM 검출 필터(312)를 비교하여 CM 구간의 검출을 실행한다. 일반적으로, CM 방송은, 하나의 CM의 시간이 15초, 30초, 60초, 90초… 와 같이 미리 결정된 시간 중 어느 하나의 시간을 채용하여 실행된다. 그래서, CM 검출부(300)에, 15초 간격, 30초 간격과 같이 소정의 간격으로 인에이블 신호를 발생하는 CM 검출 필터(312)를 설정한다. 그리고, 상기 메모리에 기록한 무음성 개소의 발생 위치(시간축 상의 위치)와, 상기 인에이블 신호의 발생 위치(시간축 상의 위치)를 비교하여 CM의 검출을 실행한다.
즉, CM 검출부(300)는, 임의의 무음 개소를 검출한 경우에 그 무음 개소의 위치를 기점으로 한 인에이블 신호(이하, 기점 인에이블 신호라고도 함)를 발생시 킨다. 그리고, 기점 인에이블 신호의 후에 소정의 간격(예컨대, 15초 간격, 30초 간격 등)으로 발생하는 인에이블 신호와, 후속하는 무음 개소가 연속하여 일치한 경우에, 기점으로 한 무음 개소를 CM 구간의 개시 위치(이하, CM IN 점이라고도 함)로 한다.
다음에, 무음 개소의 위치와 인에이블 신호의 위치가 일치하지 않는 개소를 검출한 경우에, 해당 일치하지 않는 개소보다도 시간적으로 앞이며, 또한 가장 가까이 있는 무음 개소의 위치와 인에이블 신호의 위치가 일치하는 개소를 CM 구간의 종료 개소(이하, CM OUT 점이라고도 함)로 한다. 그리고, CM IN 점과 CM OUT 점 사이의 구간을 CM 구간으로 하고, CM 구간을 나타내는 위치 정보를 메타데이터 생성부(301)에 출력한다. 즉, 상기 CM 검출 곡선(313)에 대응하는 신호를 메타데이터 생성부(300)에 출력한다.
도 25는 메타데이터 생성부(301)에 있어서의 중요도 레벨의 수정을 설명하기 위한 설명도이다. 또한, 도 25(a)은, 메타데이터 생성부(301)에 있어서, 비디오 인코더(71)의 출력 또는 오디오 인코더(72)의 출력에 근거하여 생성되는 중요도 레벨의 변화의 일례를 나타내는 중요도 레벨 플롯(도면 중 52), 도 25(b)은, 상기 CM 검출 곡선(도면 중 313), 도 25(c)은, CM 검출 곡선에 근거하여 중요도 레벨을 수정한 결과 얻어지는 중요도 레벨 플롯(도면 중 321, 이하, 수정 중요도 레벨 곡선이라고도 함)이다.
메타데이터 생성부(301)는 CM 검출부(300)에서 얻어진 CM 검출 곡선과, 중요도 레벨 플롯을 비교하여 중요도 레벨을 수정한다. 즉, 중요도 레벨 플롯에 있어 서 CM 검출 구간과 일치하는 중요도 레벨을 낮게 한다. 구체적으로는, 예컨대, CM 구간과 일치하는 중요도 레벨을 0 등의 고정값으로 대체한다. 또는, CM 구간과 일치하는 중요도 레벨에 대하여, 해당 중요도 레벨의 값을 작게 하는 것 같은 고정값(예컨대, 0.5)을 승산하더라도 무방하다. 이상에 설명한 처리를 실행하는 것에 따라, 해당 메타데이터 생성부(30l)에서 수정된 중요도 레벨을 얻을 수 있다.
또, 이상으로 설명한, CM 검출부(300)에 있어서의 CM 구간의 검출, 메타데이터 생성부(301)에 있어서의 메타데이터의 수정, 또는 수정한 중요도 레벨을 포함하는 메타데이터의 기록 매체로의 기록은, 해당 기록 장치(1400)에 있어서 기록 매체(2)로의 비디오의 기록중에 실행하더라도 좋고, 기록 매체(2)로의 비디오의 기록이 종료한 후에, 메모리나 하드디스크 등에 기록한 무음 구간의 시간 정보에 근거하여 중요도 레벨을 수정하여 임의의 타이밍에서 기록 매체(2)에 기록하더라도 무방하다.
이상의 설명과 같이, 실시예 8에 있어서의 기록 장치에 의하면, CM 구간에서의 중요도 레벨을 낮은 값으로 설정할 수 있다. 즉, CM 방송의 부분에 있어서 높은 중요도 레벨이 인가된 경우에도, 중요도 레벨을 낮은 값으로 수정할 수 있다. 따라서, 기록 매체에 기록된 비디오를 요약 재생할 때에, CM을 재생하는 것을 방지할 수 있다.
또, 이상의 설명에 있어서는, 오디오 인코더(72)로부터 출력된 음성 신호의 특징에 근거하여 CM 구간의 검출을 실행하는 경우에 대하여 설명했지만, CM 구간의 검출에 있어서는 비디오 인코더(71)로부터 출력되는 영상 신호의 특징을 사용하더 라도 좋고, 비디오 인코더(71)에 있어서의 영상 신호의 부호화 압축 시에 얻어지는 소정의 특징량을 사용하더라도 무방하다.
또한, CM 구간의 검출은, 영상 신호 또는 음성 신호 중 어느 한쪽으로부터만 얻어진 특징에 근거하여 행하더라도 좋고, 영상 신호와 음성 신호의 쌍방으로부터 얻어진 특징에 근거하여 행해져도 무방하다.
또한, 이상의 설명에 있어서는, 무음성 개소를 검출하여 CM 구간을 검출하여, 중요도 레벨을 수정하는 경우에 대하여 설명했지만, 그 밖의 방법에 의해 CM 구간을 검출하여 중요도 레벨의 수정을 실행하더라도 무방하다. 예컨대, 기록 장치에 입력되는 음성 신호의 음성 방식이 스테레오 방식인지 모노럴(monaural) 방식인지를 검출하여 CM 구간을 검출할 수도 있다. 즉, 본편에 있어서는 모노럴 방식이 사용되고, CM에서는 스테레오 방식이 사용되고 있는 경우에는, 모노럴 방식과 스테레오 방식의 전환 부분을 검출함으로써 CM IN 점과 CM OUT 점을 검출하여 CM 구간을 검출할 수 있다. 또한, 본편에 있어서는 2개국어 방식이 사용되고, CM에서는 2개국어 방식이 사용되고 있지 않은 경우에는, 2개국어 방송이 아닌 부분을 CM 구간으로서 검출할 수 있다.
또한, 본편과 CM의 전환점에서 흑 화면의 영상 프레임이 삽입되어 있는 경우에는, 해당 흑 화면을 검출함으로써 CM 구간을 검출할 수 있다. 또한, 본편에 대응하는 영상 신호에 있어서는 자막 방송 신호가 포함되고, CM에 대응하는 영상 신호에서는 자막 방송 신호가 포함되지 않는 경우에 있어서는, 해당 자막 방송 신호를 검출하는 것에 의해 CM 구간의 검출을 할 수 있다.
또한, 기록 장치에 입력되는 영상 신호 또는 음성 신호에 CM 구간을 식별하기 위한 신호(이하, CM 식별 신호라고도 함)가 중첩되어 있는 경우에는, 해당 CM 식별 신호를 검출함으로써 CM 구간의 검출을 할 수 있다. 또, CM 구간의 검출에 있어서, 흑 화면을 검출하는 등, 영상 신호의 특징을 사용하는 경우에 있어서는, 도 26에 도시하는 바와 같이, CM 검출부(302)에 비디오 인코더(71)의 출력이 입력되도록 기록 장치(1500)를 구성한다. 그리고, 메타데이터 생성부(303)에 있어서는, 영상 신호 또는 음성 신호에 근거하여 얻어진 CM 검출 곡선에 따라 메타데이터의 수정을 실행한다.
또한, 이상의 설명에 있어서는, CM 구간의 검출에 있어서, 무음성 개소를 검출하는 방법만을 사용하는 경우에 대하여 설명했지만, CM 검출부(300)에 있어서는, 상술한 복수의 CM 검출 방법의 어느 것을 사용하더라도 좋고, 복수의 CM 검출 방법을 조합시켜 사용하더라도 무방하다.
예컨대, 모노럴 방식과 스테레오 방식의 전환 부분을 검출함으로써 CM 구간을 검출하는 방법과, 무음성 개소를 검출함으로써 CM 구간을 검출하는 방법을 조합할 수 있다. 모노럴 방식과 스테레오 방식의 전환 부분을 검출하여 CM 구간을 검출하는 방법은, 본편 및 CM의 쌍방에서 스테레오 방식을 사용하고 있는 경우에는 CM 구간의 검출을 하는 것은 곤란하다. 그러나, 해당 음성 방식의 전환을 검출함으로써 CM 구간을 검출하는 방법은 가장 간이하게 CM 구간을 검출할 수 있고, 기록 장치에 있어서의 연산 부하를 작게 할 수 있다.
그래서, 녹화의 대상으로 되는 텔레비젼 방송의 음성 신호의 음성 방식을 미 리 전자 프로그램표(EPG(Electric Program Guide)라고도 함)에 의해 취득해두고, 본편이 모노럴 방식인 경우나 2개국어 방식의 경우에는 음성 방식의 전환을 검출하여 CM 구간을 검출하는 방식을 채용하고, 본편이 스테레오 방식인 경우에는, 무음성 개소를 검출하는 것에 의해 CM 구간을 검출하는 방법을 채용하도록 하더라도 무방하다.
또한, 음성 방식의 전환의 검출에 의한 CM 검출 방식의 결과와, 무음성 개소의 검출에 의한 CM 검출 방식의 결과를 독립된 데이터 테이블로서 유지해두고, 녹화 완료 후 또는 임의의 타이밍에서 어느 쪽의 방식에 의한 CM 검출이 적절했는지를 소정의 기준에 근거해서 판정하여, 어느 하나의 방식을 채용하도록 하더라도 무방하다.
또, 상기 소정의 기준이란, 예컨대, 검출되는 CM 구간의 개수(이하, CM 구간수라고도 함)를 사용할 수 있다. 예컨대, 본편이 스테레오 음성 방식의 프로그램에 대하여 음성 방식의 전환을 검출하는 것에 의한 CM 구간의 검출을 한 경우에는, CM 구간수가, 프로그램의 방송 시간에서 상정되는 일반적인 CM 구간의 개수보다도 극단적으로 적어진다. 그래서, 상술의 경우에는, CM 구간수가, 프로그램의 방송 시간에서 상정되는 일반적인 CM 구간의 개수보다도 극단적으로 적어진 경우에, 음성 방식의 전환을 검출하는 것에 의한 CM 검출이 적절하지 않았던 것을 판단할 수 있다.
구체적으로는, 예컨대, 소정의 임계값(프로그램의 방송 시간으로부터 상정되는 일반적인 CM 구간의 개수보다도 극단적으로 적다고 판단하는 것이 가능한 임계 값)을 설정하고, CM 구간수와 상기 임계값을 비교하여, 해당 임계값보다 CM 구간수가 작은 경우에, 음성 방식의 전환을 검출하는 것에 의한 CM 검출이 적절하지 않다고 판단할 수 있다.
또한, 음성 방식의 전환을 검출하여 CM 구간을 검출하는 방법을 사용하여 중요도 레벨의 수정을 실행하여 얻어지는 메타데이터, 및, 무음성 개소를 검출함으로써 CM 구간을 검출하는 방법을 사용하여 중요도 레벨의 수정을 실행하여 얻어지는 메타데이터의 양쪽의 메타데이터를 기록 매체(2)에 기록하고, 해당 기록 매체(2)를 재생할 때에, 사용하는 메타데이터를 선택하도록 하더라도 무방하다.
또, 실시예 8에 있어서 설명한 기록 장치에 의해 메타데이터 등이 기록된 기록 매체(2)는, 실시예 2에 있어서 설명한 요약 재생 장치에 의해 재생할 수 있다.
본 발명을, 바람직한 실시형태의 예로서 기재하여 왔지만, 본 발명의 정신 및 범위 내에서 여러 가지 다른 적응 및 수정을 행할 수 있는 것을 이해하여야 한다. 따라서, 병기의 특허청구의 범위의 목적은 본 발명의 참된 정신 및 범위에 들어가는 변형 및 수정을 전부 망라하는 것이다.