KR100943398B1 - 신호 기록 재생 장치, 신호 기록 재생 방법, 및 기록 매체 - Google Patents

신호 기록 재생 장치, 신호 기록 재생 방법, 및 기록 매체 Download PDF

Info

Publication number
KR100943398B1
KR100943398B1 KR1020047000885A KR20047000885A KR100943398B1 KR 100943398 B1 KR100943398 B1 KR 100943398B1 KR 1020047000885 A KR1020047000885 A KR 1020047000885A KR 20047000885 A KR20047000885 A KR 20047000885A KR 100943398 B1 KR100943398 B1 KR 100943398B1
Authority
KR
South Korea
Prior art keywords
feature vector
signal
recording
recorded
vector
Prior art date
Application number
KR1020047000885A
Other languages
English (en)
Other versions
KR20050006121A (ko
Inventor
아베모토츠구
니시구치마사유키
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20050006121A publication Critical patent/KR20050006121A/ko
Application granted granted Critical
Publication of KR100943398B1 publication Critical patent/KR100943398B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327—Table of contents
    • G11B27/329—Table of contents on a disc [VTOC]
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/107—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating tapes
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327—Table of contents
    • G11B27/328—Table of contents on a tape [TTOC]
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/90—Tape-like record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/36—Monitoring, i.e. supervising the progress of recording or reproducing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y10S707/99935—Query augmenting and refining, e.g. inexact access
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y10S707/99936—Pattern matching access
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99941—Database schema or data structure
    • Y10S707/99944—Object-oriented database structure
    • Y10S707/99945—Object-oriented database structure processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

본 발명은 기록된 영상 신호 및/또는 음향 신호로부터 사용자가 원하는 재생 위치를 검색하여 재생하는 신호 기록 재생 장치(1)이며, 특징 벡터 생성부(30)를 구비한다. 특징 벡터 생성부(30)는 영상 신호/음향 신호를 기록할 때, 그 영상 신호 및/또는 음향 신호를 특징짓는 특징 벡터를 생성하고, 그 특징 벡터에 대해서도 기록부(10)에 기록한다. 등록부(40)는 기록되어 있는 영상 신호/음향 신호를 재생하였을 때, 사용자로부터 지정된 위치 근방의 특징 벡터 등을 북마크로서 등록한다. 사용자가 북마크 중 어느 하나를 지정하면, 일치 검출부(60)는 그 북마크의 특징 벡터와 기록되어 있는 특징 벡터에 기초하여 일치 위치를 검색하고, 재생부(20)는 그 일치 위치에 기초하여 재생점 결정부(70)에 의해서 설정된 재생 위치로부터 영상 신호 및/또는 음향 신호의 재생을 개시한다.
Figure R1020047000885
음향 신호, 신호 기록 재생 장치, 특징 벡터 생성부, 등록부, 일치 검출부

Description

신호 기록 재생 장치, 신호 기록 재생 방법, 및 기록 매체{Signal recording/reproducing apparatus, signal recording/reproducing method, and recording medium}
본 발명은 영상 신호 및/또는 음향 신호를 기록 재생하는 동시에, 사용자가 원하는 재생 위치를 검색하는 신호 기록 재생 장치 및 신호 기록 재생 방법, 및 기록 재생을 컴퓨터에 실행시키는 프로그램 및 이 프로그램을 기록한 기록 매체에 관한 것이며, 또한, 사용자가 원하는 위치로부터의 재생을 가능하게 하는 신호 재생 장치 및 신호 재생 방법에 관한 것이다.
본 출원은 일본에서 2002년 5월 20일에 출원된 일본특허출원번호 2002-145263을 기초로 하여 우선권을 주장하는 것으로, 이 출원은 참조함으로써, 본 출원에 원용된다.
종래, 비디오 리코더나 디스크 리코더 등의 신호 기록 재생 장치에 의해, 방송 프로그램을 녹음 녹화한 영상 음성을 사용자(시청자)의 형편이 좋은 시간에 시청하는 것이 행하여지고 있다. 이러한 장치에는 빨리감기 재생 기능이나 되감기 재생 기능이 부가되어 있기 때문에, 사용자는 불필요한 부분을 고속 재생하면서 필요한 부분의 첫머리 찾기를 하고, 필요한 부분으로부터 통상 재생을 함으로써, 검색 시간의 단축화를 도모하고 있다.
한편, 인터넷상의 홈페이지를 열람할 때에는 북마크 기능과 검색 기능이 자주 사용되고 있다. 북마크 기능은 한번 어떠한 방법으로 열람한 홈페이지를 자기의 브라우저 내에 간단히 등록할 수 있는 기구로, 북마크를 불러내는 것만으로 다시 그 페이지를 열람할 수 있다. 또한, 검색 기능은 어떤 키워드를 지정하는 것으로, 그 키워드와 일치하는 부분을 가지는 홈페이지를 자동적으로 탐색해 주는 기구이다. 이 양자 모두, 방대한 홈페이지 중에서 목적으로 하는 홈페이지를 효율적으로 열람하기 위한 사용자 보조 기능을 제공하는 것이다.
그렇지만, 상술한 홈페이지 검색과 비교하여, 영상 음성의 검색에서는 사용자는 고속 재생 중에도 계속 시청하고 있을 필요가 있고, 또한 첫머리 찾기 위치 부근에서는 위치 맞춤을 위해서 빨리감기/되감기를 반복하는 경우도 있어, 사용자의 부담이 되었다. 특히 최근에는 기록 기술의 진보에 의해 녹화 녹음 가능한 기록 용량이 대단히 커졌기 때문에, 필요한 부분의 첫머리 찾기에 소비하는 시간과 부담이 현저하게 증대하고 있다.
그래서, 일반의 신호 기록 재생 장치에 대하여, 인터넷에 있어서의 북마크 기능 및 검색 기능에 유사한 기능을 부가하는 것이 요구되고 있다.
즉, 열람 중의 영상이나 음성을, 예를 들면 리모트 컨트롤러의 버튼 1개로 북마크하고, 다른 버튼 1개로, 북마크된 영상이나 음성과 대강 일치하는 부분을 탐색하고, 재생하는 기능이 부가되면, 예를 들면, 타이틀 영상이나 음악 등, 시리즈로 방송되는 프로그램에 공통된 영상이나 음성을 첫회에 북마크하는 것으로, 다음회 이후, 그 프로그램의 첫머리 찾기를 고속으로 행하는 것이 가능해진다.
이러한 기능은 영상 신호나 음성 신호를 그대로 비교하는 것으로도 실현할 수 있지만, 검색 시간이 지나치게 걸려, 현실적인 기능은 안되기 때문에, 검색 시간의 고속화가 필요하다.
(발명의 개시)
본 발명은 이러한 종래의 실정을 감안하여 제안된 것으로, 사용자가 한번 시청한 영상 신호 및/또는 음향 신호에 북마크를 부가하고, 이 북마크가 부가된 영상 신호 및/또는 음향 신호, 또는 이것에 유사한 영상 신호 및/또는 음향 신호를 고속으로 검색하는 것을 가능하게 하는 신호 기록 재생 장치 및 신호 기록 재생 방법, 또한 기록 재생을 실행하는 프로그램 및 이 프로그램을 기록한 기록 매체, 및 사용자가 원하는 위치로의 첫머리 찾기를 고속화하여 재생하는 신호 재생 장치 및 신호 재생 방법을 제공하는 것을 목적으로 한다.
상술한 목적을 달성하기 위해서 제안되는 본 발명에 관계되는 신호 기록 재생 장치는 영상 신호 및/또는 음향 신호로부터 특징량을 추출하여 벡터화함으로써 특징 벡터를 생성하는 특징 벡터 생성 수단과, 영상 신호 및/또는 음향 신호와 특징 벡터 생성 수단에 의해서 생성된 특징 벡터를 기록하는 기록 수단과, 기록 수단에 기록된 특징 벡터 중 적어도 일부를 등록하는 등록 수단과, 기록 수단에 기록되어 있는 특징 벡터로부터, 등록 수단에 의해서 등록된 특징 벡터 중 적어도 하나와 거의 일치하는 특징 벡터를 검출하는 일치 검출 수단과, 상기 검출된 특징 벡터에 기초하여, 재생 개시점을 설정하는 재생점 설정 수단과, 재생점 설정 수단에 의해서 설정된 재생 개시점부터 영상 신호 및/또는 음향 신호를 재생하는 재생 수단을 구비한다.
여기서, 등록 수단은 기록 수단에 기록된 영상 신호 및/또는 음향 신호를 재생할 때, 예를 들면 사용자가 지정하는 신호 위치에 대응하는 특징 벡터를 등록하고, 일치 검출 수단은 기록 수단에 기록되어 있는 특징 벡터로부터, 등록된 특징 벡터 중 적어도 하나와의 상관치가 소정의 문턱치를 초과하는 특징 벡터를 검출한다.
이러한 신호 기록 재생 장치는 영상 신호 및/또는 음향 신호를 기록할 때, 그 특징 벡터에 대해서도 기록하고, 기록된 영상 신호 및/또는 음향 신호를 재생할 때, 예를 들면 사용자가 지정하는 신호 위치에 대응하는 특징 벡터를 등록하여 둔다. 그리고, 기록 수단에 기록되어 있는 특징 벡터로부터, 등록된 특징 벡터 중 적어도 하나와의 상관치가 소정의 문턱치를 초과하는 특징 벡터를 검출하고, 그 검출된 특징 벡터에 기초하여 재생점을 설정하여 상기 재생점부터 영상 신호 및/또는 음향 신호를 재생한다.
본 발명에 관계되는 신호 기록 재생 방법은 영상 신호 및/또는 음향 신호로부터 특징량을 추출하여 벡터화함으로써 특징 벡터를 생성하는 특징 벡터 생성 공정과, 영상 신호 및/또는 음향 신호와 특징 벡터 생성 공정에서 생성된 특징 벡터를 기록 수단에 기록하는 기록 공정과, 기록 수단에 기록된 특징 벡터 중 적어도 일부를 등록하는 등록 공정과, 기록 수단에 기록되어 있는 특징 벡터로부터, 등록 공정에서 등록된 특징 벡터 중 적어도 하나와 대략 일치하는 특징 벡터를 검출하는 일치 검출 공정과, 상기 검출된 특징 벡터에 기초하여, 재생 개시점을 설정하는 재생점 설정 공정과, 재생점 설정 공정에서 설정된 재생 개시점부터 영상 신호 및/또는 음향 신호를 재생하는 재생 공정을 갖는다.
여기서, 등록 공정에서는 기록 수단에 기록된 영상 신호 및/또는 음향 신호를 재생할 때, 예를 들면 사용자가 지정하는 신호 위치에 대응하는 특징 벡터가 등록되고, 일치 검출 공정에서는 기록 수단에 기록되어 있는 특징 벡터로부터, 등록된 특징 벡터 중 적어도 하나와의 상관치가 소정의 문턱치를 초과하는 특징 벡터가 검출된다.
이러한 신호 기록 재생 방법에서는 영상 신호 및/또는 음향 신호가 기록될 때, 그 특징 벡터에 대해서도 기록되고, 기록된 영상 신호 및/또는 음향 신호가 재생될 때, 예를 들면 사용자가 지정하는 신호 위치에 대응하는 특징 벡터가 등록된다. 그리고, 기록 수단에 기록되어 있는 특징 벡터로부터, 등록된 특징 벡터 중 적어도 하나와의 상관치가 소정의 문턱치를 초과하는 특징 벡터가 검출되고, 그 검출된 특징 벡터에 기초하여 재생점이 설정되어 상기 재생점부터 영상 신호 및/또는 음향 신호가 재생된다.
본 발명에 관계되는 프로그램은 상술한 신호 기록 재생 처리를 컴퓨터에 실행시키는 것으로, 본 발명에 관계되는 기록 매체는 그와 같은 프로그램이 기록된 컴퓨터 판독 가능한 것이다.
본 발명에 관계되는 신호 재생 장치는 기록 매체에 기록된 영상 신호 및/또는 음향 신호를 재생하는 신호 재생 장치에 있어서, 영상 신호 및/또는 음향 신호의 재생 개시 위치를 지정하는 지정수단, 지정수단에 의해서 지정된 위치보다 시간적으로 전의 위치를 재생 개시점으로서 설정하는 재생점 설정 수단, 및 재생점 설정 수단에 의해서 설정된 재생 개시점부터 영상 신호 및/또는 음향 신호의 재생을 개시하는 재생 수단을 구비한다.
본 발명에 관계되는 신호 재생 장치는 영상 신호 내 및/또는 음향 신호 내에서의 광고(commercial) 메시지를 검출하는 광고 메시지 검출 수단을 구비할 수 있고, 재생점 설정 수단은 지정수단에 의해서 지정된 위치보다 시간적으로 전의 광고 메시지의 종료 위치를 재생 개시점으로서 설정한다.
이 신호 재생 장치는 영상 신호 및/또는 음향 신호가 기록 매체에 기록된 시각을 검출하는 시각 검출 수단을 구비할 수 있고, 재생점 설정 수단은 지정수단에 의해서 지정된 위치보다 시간적으로 전의 소정의 시각, 예를 들면 지정수단에 의해서 지정된 위치를 포함하는 프로그램의 개시 시각, 또는 매시 0분, 매시 15분 또는 매시 30분을 재생 개시점으로서 설정한다.
이러한 신호 재생 장치는 재생한 영상 신호 및/또는 음향 신호의 재생 개시 위치가 지정되면, 지정된 위치보다 시간적으로 전의 위치, 예를 들면 광고 메시지 검출 수단을 갖는 경우에는 지정된 위치보다 시간적으로 전의 광고 메시지의 종료 위치를 재생 개시점으로서 설정하고, 또한, 시각 검출 수단을 갖는 경우에는 지정된 위치를 포함하는 프로그램의 개시 시각, 또는 예를 들면 매시 0분, 매시 15분 또는 매시 30분을 재생 개시점으로서 설정하고, 그 재생 개시점부터 영상 신호 및/또는 음향 신호의 재생을 개시한다.
본 발명에 관계되는 신호 재생 방법은 기록 매체에 기록된 영상 신호 및/또는 음향 신호를 재생하는 신호 재생 방법에 있어서, 영상 신호 및/또는 음향 신호의 재생 개시 위치를 지정하는 지정공정, 지정공정에서 지정된 위치보다 시간적으로 전의 위치를 재생 개시점으로서 설정하는 재생점 설정 공정, 및 재생점 설정 공정에서 설정된 재생 개시점부터 영상 신호 및/또는 음향 신호의 재생을 개시하는 재생 공정을 갖는다.
본 발명에 관계되는 신호 재생 방법은 영상 신호 내 및/또는 음향 신호 내에서의 광고 메시지를 검출하는 광고 메시지 검출 공정을 가질 수 있고, 재생점 설정 공정에서는 지정공정에서 지정된 위치보다 시간적으로 전의 광고 메시지의 종료 위치가 재생 개시점으로서 설정된다.
이 신호 재생 방법은 영상 신호 및/또는 음향 신호가 기록 매체에 기록된 시각을 검출하는 시각 검출 공정을 가질 수 있고, 재생점 설정 공정에서는 지정공정에서 지정된 위치보다 시간적으로 전의 소정의 시각, 예를 들면 지정공정에서 지정된 위치를 포함하는 프로그램의 개시 시각, 또는 매시 0분, 매시 15분 또는 매시 30분이 재생 개시점으로서 설정된다.
이러한 신호 재생 방법에서는 재생한 영상 신호 및/또는 음향 신호의 재생 개시 위치가 지정되면, 지정된 위치보다 시간적으로 전의 위치, 예를 들면 광고 메시지 검출 공정을 갖는 경우에는 지정된 위치보다 시간적으로 전의 광고 메시지의 종료 위치가 재생 개시점으로서 설정되고, 또한, 시각 검출 공정을 갖는 경우에는 지정된 위치를 포함하는 프로그램의 개시 시각, 또는 예를 들면 매시 0분, 매시 15분 또는 매시 30분이 재생 개시점으로서 설정되고, 그 재생 개시점부터 영상 신호 및/또는 음향 신호의 재생이 개시된다.
본 발명의 또 다른 목적, 본 발명에 의해서 얻어지는 구체적인 이점은 이하에 있어서 도면을 참조하여 설명되는 실시예의 설명으로부터 한층 더 분명해질 것이다.
도 1은 본 발명이 적용된 신호 기록 재생 장치의 개략 구성을 도시하는 블록도.
도 2는 신호 기록 재생 장치의 일련의 동작을 설명하는 플로차트.
도 3은 신호 기록 재생 장치의 기록 처리에 있어서의 동작을 설명하는 플로차트.
도 4는 신호 기록 재생 장치에 있어서의 특징 벡터 생성부의 상세한 구성을 설명하는 도면.
도 5는 특징 벡터 생성부에서의 영상 특징 추출부의 동작을 설명하는 플로차트.
도 6은 영상 특징 추출부의 동작을 설명하는 도면.
도 7은 특징 벡터 생성부에서의 음향 특징 추출부의 동작을 설명하는 플로차 트.
도 8은 음향 특징 추출부의 동작을 설명하는 도면.
도 9는 특징 벡터 생성부에서의 계층적 변환부의 동작을 설명하는 플로차트.
도 10은 계층적 변환부에서의 구체적인 동작을 설명하는 도면.
도 11은 신호 기록 재생 장치의 기록 처리에 있어서 기록되는 신호를 설명하는 도면.
도 12는 신호 기록 재생 장치의 재생/등록 처리에 있어서의 동작을 설명하는 플로차트.
도 13a 및 도 13b는 재생/등록 처리에 있어서의 영상 특징 벡터/음향 특징 벡터 등의 절출 처리를 설명하는 도면으로, 도 13a는 등록 지령 위치의 근방을 절출하는 예를 도시하고, 도 13b는 등록 지령 위치보다도 소정 시간 전의 근방 위치를 절출하는 예를 도시하는 도면.
도 14는 신호 기록 재생 장치의 검색 처리에 있어서의 동작을 설명하는 플로차트.
도 15a 내지 도 15c는 신호 기록 재생 장치의 검색 처리를 설명하는 도면으로, 도 15a는 검색 처리를 도시하고, 도 15b는 검색 후의 일치 위치를 도시하고, 도 15c는 설정된 재생 위치를 도시하는 도면.
도 16은 신호 기록 재생 장치의 일치 검출부에서의 동작을 설명하는 플로차트.
도 17은 동 일치 검출부에 있어서의 구체적인 동작을 설명하는 도면.
도 18a 내지 도 18e는 프로그램이 방송될 때의 전형적인 방송 패턴을 설명하는 도면으로, 도 18a 내지 도 18d는 광고 메시지가 있는 경우의 방송 패턴을 도시하고, 도 18e는 광고 메시지가 없는 경우의 방송 패턴을 도시하는 도면.
도 19는 본 발명에 관계되는 신호 기록 재생 장치의 다른 예의 개략 구성을 도시하는 블록도.
도 20은 도 19에 도시하는 신호 기록 재생 장치의 기록 처리에 있어서의 동작을 설명하는 플로차트.
도 21은 도 19에 도시하는 신호 기록 재생 장치의 검색 처리에 있어서의 동작을 설명하는 플로차트.
도 22a 내지 도 22c는 도 19에 도시한 신호 기록 재생 장치의 재생점 설정부에 의한 첫머리 찾기의 일례를 설명하는 도면.
이하, 본 발명의 실시예에 대해서, 도면을 참조하면서 상세하게 설명한다. 이하에 설명하는 제 1 실시예는 본 발명을, 영상 신호 및/또는 음향 신호를 기록 재생하는 동시에, 사용자가 원하는 재생 위치를 검색하는 기능을 갖는 신호 기록 재생 장치에 적용한 것이다.
본 발명이 적용된 신호 기록 재생 장치는 도 1에 도시하는 바와 같이, 신호 기록 재생 장치(1)는 기록부(10), 재생부(20), 특징 벡터 생성부(30), 등록부(40), 검색부(50), 일치 검출부(60), 및 재생점 설정부(70)를 구비한다.
여기서, 이 신호 기록 재생 장치(1)의 일련의 동작은 도 2의 플로차트에 도시하는 바와 같은 3개의 스텝으로 분류된다.
즉, 도 2에 있어서, 우선 스텝 S1에서는 영상 신호/음향 신호와 함께 그 특징량(특징 벡터)을 미리 기록하는 기록 처리가 행하여진다. 다음에 스텝 S2에서는 기록되어 있는 영상 신호/음향 신호를 재생하고, 그 중으로부터 사용자가 지정한 위치 근방의 특징량을, 소위 북마크로서 등록하는 재생/등록 처리가 행하여진다. 계속해서 스텝 S3에서는 사용자가 지정한 북마크의 특징량에 기초하여 영상 신호/음향 신호를 검색하고, 그 특징량과 대강 일치하는 위치로부터의 재생을 가능하게 하는 검색 처리가 행하여진다.
그래서 이하에서는 이 각 스텝마다의 처리와 그 때의 신호 기록 재생 장치(1)에 있어서의 각부의 동작에 대해서, 순차로 설명한다.
우선, 도 2의 스텝 1에서는 영상 신호/음향 신호와 함께 그 특징량(특징 벡터)을 미리 기록하는 기록 처리가 행하여진다. 이 기록 처리에서는 기록부(10)와 특징 벡터 생성부(30)가 사용된다.
기록 처리에 있어서의 각부의 동작에 대해서, 도 3의 플로차트를 참조하여 설명한다. 우선 스텝 S10에 있어서, 특징 벡터 생성부(30)는 도시하지 않은 동조/복조장치 등으로부터 영상 신호/음향 신호를 입력하고, 계속되는 스텝 S11에 있어서, 후술하는 바와 같이 하여 영상 특징 벡터 및 음향 특징 벡터를 생성한다.
계속해서 스텝 S12에서는 영상 신호/음향 신호가 기록부(10)에 기록되고, 스 텝 S13에서는 영상 특징 벡터, 및 음향 특징 벡터가 기록부(10)에 기록된다. 또, 이 기록부(10)는 예를 들면 자기테이프, 자기디스크 또는 광디스크 등이다.
스텝 S14에서는 기록을 종료하는지의 여부가 판별된다. 스텝 S14에 있어서 기록을 종료하지 않는 경우(No)에는 스텝 S10으로 되돌아가 기록 처리를 계속하고, 사용자 조작 또는 타이머 동작 등에 의해서 기록 종료 지시가 이루어진 경우(Yes)에는 기록 처리를 종료한다.
여기서, 특징 벡터 생성부(30)의 상세한 구성을 도 4에 도시한다. 도 4에 도시하는 바와 같이, 특징 벡터 생성부(30)는 영상 특징 추출부(31), 음향 특징 추출부(32), 및 계층적 벡터 변환부(33, 34)로 구성된다. 또, 2개의 계층적 벡터 변환부(33, 34)는 동일한 처리를 하는 것이다.
영상 특징 추출부(31)는 입력되는 영상 신호로부터 소정의 시간 구간 내의 영상을 특징짓는 특징량을 추출한다.
이 영상 특징 추출부(31)의 동작에 대해서, 도 5의 플로차트 및 도 6을 참조하여 설명한다. 우선 스텝 S20에 있어서, 영상 특징 추출부(31)는 도 6에 도시하는 바와 같이, 입력되는 영상 시계열로부터 소정 시간 길이 T의 시간 구간 내의 영상 프레임을 취득한다.
다음에 스텝 S21에서는 취득한 전체의 영상 프레임에 기초하여, 시간 평균 화상(100)을 작성한다.
계속해서 스텝 S22에서는 작성된 시간 평균 화상(100)을 종횡 X×Y개의 소블록으로 분할하고, 각 블록 내의 화소치를 평균한 블록 평균 화상(101)을 작성한다.
그리고 스텝 S23에서는 이들을 예를 들면 좌측 위로부터 우측 아래로 향하는 순서로 나열하여 1차원의 영상 특징 벡터 vi를 생성한다. 이 영상 특징 벡터 vi는 예를 들면 이하의 식 (1)과 같이 표시된다.
Vi=(R00, …, RX-1, Y-1, G00, …, GX-1, Y-1, B 00, …, BX-1, Y-1,) ··· (1)
이 조작은 입력되는 영상 시계열에 대해서, 시간 시프트를 하면서 순차 반복되기 때문에, 영상 특징량으로서는 특징 벡터의 시계열 vi(i=0,1,···)이 순차 생성된다. 시간 시프트를 할 때에는 인접하는 시간 구간과 약간 오버랩시키도록 하여도 상관없다. 여기서 i는 이산 시간을 나타내는 인덱스이다.
이상의 설명에서는 시간 평균 화상(100)을 분할한 블록 평균 화상(101)의 화소치를 바꾸어 1차원의 영상 특징 벡터 vi를 생성하는 예에 대해서 설명하였지만, 이것에 한정되는 것이 아니라, 블록 평균 화상(101)을 작성하지 않고, 시간 평균 화상(100)의 화소치를 바꾸어 1차원의 영상 특징 벡터 vi를 생성하도록 하여도 상관없다. 또한, 추출하는 특징량도 화소치에 한정되지 않고, 예를 들면 에지, 윤곽, 텍스처 또는 컬러 히스토그램 등의, 화상을 특징짓는 특징량으로서 종래부터 알려져 있는 다른 특징량을 사용할 수도 있다.
도 4로 되돌아가, 음향 특징 추출부(32)는 입력되는 음향 신호로부터 소정의 시간 구간 내의 음향 신호를 특징짓는 특징량을 추출한다.
이 음향 특징 추출부(32)의 동작에 대해서, 도 7의 플로차트와 도 8을 참조하여 설명한다. 우선 스텝 S30에 있어서, 음향 특징 추출부(32)는 도 8에 도시하는 바와 같이, 입력되는 음향 신호로부터 소정 시간 길이 T의 시간 구간의 음향 신호를 취득한다.
다음에, 스텝 S31에서는 취득한 음향 신호에 대하여 스펙트럼 연산을 실시하고, 단시간 파워 스펙트럼 계수 Sq(q=0, 1, …, Q-1)를 구한다. 여기서, q는 이산 주파수를 나타내는 인덱스이고, Q는 최대 이산 주파수이다.
계속해서, 스텝 S32에서는 이 단시간 파워 스펙트럼 계수 Sq를 벡터화하고, 음향 특징 벡터 ai를 생성한다. 이 음향 특징 벡터 ai는 예를 들면 이하의 식 (2)와 같이 표시된다.
ai=(S0,···, SQ-1) ···(2)
이 조작은 입력되는 음향 신호 시계열에 대해서, 시간 시프트를 하면서 순차 반복되기 때문에, 음향 특징량으로서는 특징 벡터의 시계열 ai(i= O, 1,…)이 순차 생성된다. 여기서 i는 이산 시간을 나타내는 인덱스이다. 이 경우에도, 시간 시프트를 할 때, 인접하는 시간 구간과 약간 오버랩시키도록 하여도 좋다.
이상의 설명에서는 단시간 파워 스펙트럼 계수를 사용한 예에 대해서 설명하 였지만, 이것에 한정되는 것이 아니라, 예를 들면 피치 주파수, 포먼트(formant) 주파수, 선형 예측 계수 또는 켑스트럼(cepstrum) 계수 등의, 종래부터 음향 신호를 특징짓는다고 알려져 있고, 보다 고차의 특징량을 사용할 수도 있다.
다시 도 4로 되돌아가, 계층적 벡터 변환부(33, 34)는 각각 상술한 영상 특징 벡터 vi 및 음향 특징 벡터 ai에 대하여, 제 0 단계에서 제 K(=log2N) 단계까지, 계층적인 변환을 실시한다. 여기서, 계층적 벡터 변환부(33, 34)의 동작은 입력되는 벡터가 다른 것 외에는 같기 때문에, 이하에서는 벡터 f가 영상 특징 벡터 vi 또는 음향 특징 벡터 ai를 나타내는 것으로 하여 설명한다. 또, 벡터 f의 성분수는 N이고, N은 N=2K로 표시되는 2의 폭승개(幅乘個)로 한다. 그렇지 않은 경우에는 벡터의 성분으로서 O을 부가함으로써 2의 폭승개로 한다. 또한, f[O], f[1]은 벡터 f의 각 성분을 나타내는 것으로 한다.
우선, 도 9의 스텝 S40에 있어서, 이하의 식 (3)에 나타내는 바와 같이, 입력 벡터 f의 각 성분을 그대로 제 O 단계의 성분으로 한다.
f(0)[n]=f[n] (n=0, ..., N-1) (3)
다음에 스텝 S41에 있어서 k를 1로 하고, 계속되는 스텝 S42에 있어서 k가 K이하인지의 여부를 판별한다. 스텝 S42에 있어서 k가 K이하인 경우(Yes)에는 스텝43으로 진행하고, k가 K보다도 큰 경우(No)에는 스텝 S45로 진행한다.
스텝 S43에서는 제 k-1번째의 성분으로부터 이하의 식 (4)에 따라서 제 k번째의 요소가 생성된다.
Figure 112004002235538-pct00001

이 식 (4)는 제 k-1 단계에서 인접하는 각 성분에 대해서 합과 차를 취하고, 1/√2를 곱하는 연산이고, 인접 성분간의 합성분을 n(O≤n<2K-k)번째의 성분으로 하고, 인접 성분간의 차성분을 n(2K-k≤n<2K-k+1)번째의 성분으로 한다. 단, 이 연산은 0번째부터 2K-k+1번째의 성분까지만을 행하고, 그 이외의 성분에 관해서는 제 k-1 단계의 성분을 그대로 제 k 단계의 성분으로 한다.
계속해서, 스텝 S44에 있어서 k를 1개 증가시키고, 스텝 S42로 되돌아가 변환 처리를 계속한다.
스텝 S45에서는 모든 단계의 성분의 생성이 종료하였기 때문에, 변환의 각 단계에서 얻어진 각 성분을 정리하여, 이하의 식 (5)에 나타내는 바와 같은 변환 후의 벡터 F를 생성하여 변환 처리를 종료한다.
F=(fK[0], fK[1], ..., fK[N-1])t ...(5)
일례로서 N=8=23인 경우에 대해서, 도 10에 구체적인 연산을 나타낸다. 변환의 제 O 단계(k=0)에서는 벡터(f)가 그대로 제 0 단계의 요소가 된다.
계속해서 제 1 단계(k=1)에서는 제 0 단계의 요소 모두에 대해서, 인접 성분간의 합과 차를 취하여, 1/√2를 곱하는 연산을 한다. 여기서, f(1)[0] 내지 f(1)[3]에는 합성분을 대입하고, f(1)[4] 내지 f(1)[7]에는 차성분을 대입한다.
제 2 단계에서는 제 1 단계의 성분 중 0번째부터 3번째까지의 성분, 즉 제 1 단계의 연산으로 합을 취한 성분에 대해서, 인접 성분간의 합과 차를 취하여, 1/√2를 곱하는 연산을 한다. 여기서, f(2)[0], f(2)[1]에는 합성분을 대입하고, f(2)[2], f(2)[3]에는 차성분을 대입한다. 또한, f(2)[4] 내지 f(2) [7]에 대해서는 f(1)[4] 내지 f(1)[7]을 그대로 대입한다.
제 3 단계에서는 제 2 단계의 성분 중 0번째부터 1번째까지의 성분, 즉 제 2 단계의 연산에서 합이 취한 성분에 대해서, 인접 성분간의 합과 차를 취하여, 1/√2를 곱하는 연산을 한다. 여기서, f(3)[0]에는 합성분을 대입하고, f(3)[1]에는 차성분을 대입한다. 또한, f(3)[2] 내지 f(3)[7]에 대해서는 f(2)[2] 내지 f(2)[7]을 그대로 대입한다.
마직막으로 f(3)[0] 내지 f(3)[7]을, F[0] 내지 F[7]에 대입하여 종료한다.
이상의 조작에 의해, 영상 특징 벡터 vi는 영상 특징 벡터 Vi로 변환되고, 음향 특징 벡터 ai는 음향 특징 벡터 Ai로 변환된다.
이 변환된 영상 특징 벡터 Vi와 변환된 음향 특징 벡터 Ai는 영상 신호/음향 신호와 함께 기록부(10)(도 1 참조)에 기록된다. 이 기록되는 신호를 도 11에 모식적으로 도시한다. 도 11에 도시하는 바와 같이, 기록부(10)에는 기록 개시 위치 RS에서 기록 종료 위치 RE까지의 영상 신호/음향 신호와 함께, 영상 특징 벡터 Vi 및 음향 특징 벡터 Ai가 기록된다. 이 영상 특징 벡터 Vi 및 음향 특징 벡터 Ai는 상술한 바와 같이 소정 시간 길이 T마다 구해진 것으로, 예를 들면 이산 시간을 나타내는 인덱스 i가 0부터 I-1까지의 I개가 기록된다.
다음에, 도 2의 스텝 2에서는 기록되어 있는 영상 신호/음향 신호를 재생하고, 그 중으로부터 사용자가 지정한 위치 근방의 특징량을, 소위 북마크로서 등록하는 재생/등록 처리가 행하여진다. 이 재생/등록 처리에서는 기록부(10), 재생부(20), 등록부(40)가 사용된다.
재생/등록 처리에 있어서의 각부의 동작에 대해서, 도 12의 플로차트, 도 13a 및 도 13b를 참조하여 설명한다. 우선 스텝 S50에 있어서, 재생부(20)는 사용자로부터의 재생 지령에 기초하여 영상 신호/음향 신호를 재생한다.
다음에 스텝 S51에 있어서, 재생부(20)는 사용자로부터 재생 종료 지령이 이루어졌는지의 여부를 판별한다. 스텝 S51에 있어서 재생 종료 지령이 이루어져 있는 경우(Yes)에는 재생을 종료하고, 재생 종료 지령이 이루어지지 않은 경우(No)에는 스텝 S52로 진행한다.
스텝 S52에 있어서, 등록부(40)는 사용자로부터 등록 지령(북마크)이 이루어졌는지의 여부를 판별한다. 스텝 S52에 있어서 등록 지령이 이루어지지 않은 경우(No)에는 스텝 S50으로 되돌아가고, 등록 지령이 이루어진 경우(Yes)에는 스텝 S53으로 진행한다.
스텝 S53에서는 등록부(40)는 도 13a에 도시하는 바와 같이, 지령된 위치(북마크 위치) 근방의 소정 시간 길이 TR의 영상 신호/음향 신호를 절출하여, 기록부(10)에 등록한다.
또한, 스텝 S54에 있어서, 등록부(40)는 도 13a에 도시하는 바와 같이, 지령된 위치 근방의 소정 시간 길이 TR의 영상 특징 벡터 Vi 및 음향 특징 벡터 Ai를 절출하여, 기록부(10)에 등록한다. 즉, 예를 들면 소정 시간 길이 TR가 소정 시간 길이 T의 4배(TR=4T)인 경우, 등록부(40)는 영상 특징 벡터 Vi 및 음향 특징 벡터 Ai를 4개씩 절출하여 기록부(10)에 등록한다.
또, 재생 중에 사용자가 북마크를 부가할 때에는 통상, 북마크를 하고자 하는 위치보다도 후에 등록 지령이 이루어지기 때문에, 도 13b에 도시하는 바와 같이, 지정된 위치보다도 소정 시간 TB만큼 전의 위치를 중심으로, 소정 시간 길이 TR의 영상 특징 벡터 Vi 및 음향 특징 벡터 Ai 등을 등록하도록 하여도 좋다.
절출 동작 및 등록 동작은 상술한 바와 같이, 기록된 영상 신호/음향 신호나 영상 특징 벡터/음향 특징 벡터로부터 실제로 추출하여 등록하도록 하여도 좋지만, 기억 용량을 절약하기 위해서, 북마크 위치만을 등록하도록 하여도 상관없다. 이 경우, 영상 신호/음향 신호나 특징 벡터가 실제로 필요한 경우에는 북마크 위치를 실제의 영상 신호/음향 신호나 특징 벡터로의 포인터로서 사용하면 좋다. 단, 기록된 영상 신호/음향 신호가 소거되는 경우에는 상술한 바와 같이 실제로 추출하여 등록하는 것이 좋다.
계속해서 도 2의 스텝 3에서는 사용자가 지정한 북마크의 특징 벡터에 기초하여 영상 신호/음향 신호를 검색하고, 그 특징 벡터와 대강 일치하는 위치로부터의 재생을 가능하게 하는 검색 처리가 행하여진다. 이 검색 처리에서는 기록부(10), 검색부(50), 일치 검출부(60) 및 재생점 설정부(70)가 사용된다.
검색 처리에 있어서의 각부의 동작에 대해서, 도 14의 플로차트를 참조하여 설명한다. 도시하지 않은 사용자 인터페이스를 통하여 사용자로부터의 검색 지령이 주어지면, 우선 스텝 S60에 있어서, 검색부(50)는 등록되어 있는 북마크의 선택을 사용자로부터 받는다. 또, 등록되어 있는 북마크가 1 개인 경우, 등록되어 있는 북마크 전체에 대해서 검색을 하는 경우, 또는 미리 북마크의 우선 순위가 설정되어 있는 경우 등에는 이 스텝을 생략하여도 좋다.
계속해서 스텝 S61에 있어서, 검색부(50)는 기록되어 있는 영상 신호/음향 신호 중 어떤 부분을 검색하는지를 나타내는 검색 범위의 지정, 및 어느 정도의 차이까지를 일치로 인정하는지를 나타내는 검색 정밀도의 지정을 사용자로부터 받는다. 또, 검색 범위 및 검색 정밀도가 미리 설정되어 있는 경우 등에는 이 스텝을 생략하여도 상관없다.
계속해서 스텝 S62에 있어서, 검색부(50)는 지정된 북마크의 특징 벡터를 기록부(10)로부터 취득한다. 또, 이하에서는 간단하게 하기 위해, 특징 벡터가 1개인 경우에 대해서 설명하지만, 도 13에 도시하는 바와 같이, 1회의 북마크로 영상 특징 벡터 Vi 및 음향 특징 벡터 Ai가 복수 등록되는 경우에는 이하의 조작은 각각에 대하여 순차로 행한다.
스텝 S63에서는 검색부(50)는 지정된 검색 범위의 검색이 종료하였는지의 여부를 판별한다. 스텝 S63에 있어서, 검색이 종료하지 않는 경우(No)에는 스텝 S64로 진행하고, 검색이 종료한 경우(Yes)에는 스텝 S68로 진행한다.
스텝 S64에 있어서, 검색부(50)는 검색 범위 중의 기록된 특징 벡터를 1개 취득한다.
계속해서 스텝 S65에 있어서, 일치 검출부(60)는 그 특징 벡터를 북마크의 특징 벡터와 비교하여, 후술하는 바와 같이 상관치를 계산하고, 스텝 S66에 있어서, 그 상관치가 미리 설정한 문턱치를 초과하였는지의 여부를 판별한다. 스텝 S66에 있어서 문턱치를 초과하지 않은 경우(No)에는 스텝 S63으로 되돌아가고, 또한 다른 특징 벡터와의 비교를 반복한다. 스텝 S66에 있어서 문턱치를 초과한 경우(Yes)에는 일치하였다고 하여 스텝 S67에서 그 위치를 기억한 후 스텝 S63으로 되돌아가고, 더욱 다른 특징 벡터와의 비교를 반복한다. 또, 이 일치 검출부(60)에 있어서의 일치 검출 처치에 대한 상세한 것은 후술한다.
스텝 S68에서는 기억하고 있는 일치 위치가 표시되고, 재생점 설정부(70)는 어느 위치로부터 재생하는지의 지정을 사용자로부터 받아, 재생을 개시한다. 또, 일치 위치가 1개인 경우나, 미리 재생의 우선 순위가 결정되어 있는 경우에는 스텝 S68을 생략하고 재생하도록 하여도 상관없다. 또한, 일치하는 위치가 없는 경우에는 그 요지를 표시하고, 재생은 행하지 않는 것으로 한다.
이상의 처리를 도 15a 내지 도 15c에 모식적으로 도시한다. 우선, 도 15a에 도시하는 바와 같이, 등록된 북마크의 영상 특징 벡터 VBOOK 및 음향 특징 벡터 ABOOK에 대해서, 이산 시간을 나타내는 인덱스 i가 s인 검색 개시 위치 ts로부터 인덱스 i가 e인 검색 종료 위치 te에 걸쳐, 기록되어 있는 영상 특징 벡터 Vi 및 음향 특징 벡터 Ai와 비교해 간다.
다음에, 도 15b에 도시하는 바와 같이, 영상 특징 벡터 Vi 또는 음향 특징 벡터 Ai 중 어느 하나에서 일치가 검출된 위치를 사용자에게 제시한다. 도 15b에서는 인덱스 i가 p인 위치 tp에서 영상 특징 벡터 Vp 및 음향 특징 벡터 Ap가 모두 이 북마크의 영상 특징 벡터 VBOOK 및 음향 특징 벡터 ABOOK와 일치하고, 인덱스 i가 q인 위치 tq에서 음향 특징 벡터 Aq가 북마크의 음향 특징 벡터 ABOOK와 일치하고, 인덱스 i가 r인 위치 tr에서 영상 특징 벡터 Vr가 북마크의 영상 특징 벡터 VBOOK와 일치한 예를 도시하고 있다. 구체적으로는 영상 신호에 대해서는 일치가 검출된 위치의 영상 신호를 예를 들면 섬네일 표시한다. 음향 신호에 대해서는 예를 들면 일치가 검출한 최초의 위치로부터 잠시 재생하고, 사용자로부터의 지시에 의해 다음 일치 위치로 옮겨 그 위치로부터 동일하게 잠시 재생한다. 또, 도 15b의 예에서는 영상 특징 벡터 Vi 또는 음향 특징 벡터 Ai 중 어느 하나에서 일치가 검출된 위치를 제시하는 것으로 하였지만, 이것에 한정되는 것이 아니라, 영상 특징 벡터 Vi와 음향 특징 벡터 Ai의 쌍방에서 일치가 검출된 위치만을 제시하도록 하여도 좋다.
그리고, 도 15c에 도시하는 바와 같이, 사용자로부터 재생점의 선택을 받아, 그 점을 재생 개시점으로서 재생을 개시한다. 도 15c에서는 위치 tp가 선택된 예를 도시하고 있다.
이하, 일치 검출부(60)에 있어서의 일치 검출 처리에 대해서, 도 16의 플로차트를 참조하여 상세하게 설명한다. 이 일치 검출 처리에서는 북마크의 특징 벡터(복수 있는 경우에는 그 중 1개)와, 검색 범위에 있는 기록된 특징 벡터의 1개 사이에서, 계층적으로 상관 연산을 하고, 그 상관치를 미리 설정한 문턱치와 비교함으로써 일치하는지의 여부를 검출하는 것이다. 또, 문턱치를 초과하는 경우에는 그 상관치가 출력되고, 문턱치를 초과하지 않는 경우에는 편의상 0이 출력된다.
이하, 벡터 F는 북마크의 영상 특징 벡터 VBOOK 또는 북마크의 음향 특징 벡터 ABOOK를 나타내는 것으로 하고, 벡터 G는 기록되어 있는 영상 특징 벡터 Vi 또는 음향 특징 벡터 Ai를 나타내는 것으로 한다.
우선 스텝 S70에 있어서, 상술한 검색 정밀도를 나타내는 상관의 문턱치 Rth를 설정한다. 이 때, 비음값(非負値)의 벡터의 상관치는 O에서 1 사이로 정규화되어 있기 때문에, 예를 들면 0.8 등으로 설정한다.
다음에 스텝 S71에 있어서, 상관의 단계 k를 K로 한다. 이와 같이, 상술한 계층적 벡터 변환부(33, 34)와의 대응으로부터, 일치 검출부(60)에서는 최상위의 단계에서 최하위의 단계로 k가 감소하는 순서에 처리가 행하여진다.
계속해서 스텝 S72에 있어서, K가 0 이상인지의 여부가 판별되고, 0 이상인 경우(Yes)에는 스텝 S73으로 진행하고, 0 미만인 경우에는 스텝 S77로 진행한다.
스텝 S73에서는 이하의 식 (6)에 나타내는 제 k 단계의 상관 연산을 하여, 제 k 단계의 상관치 R(k) fg를 구한다.
Figure 112004002235538-pct00002

이 식 (6)은 변환된 벡터 F 및 벡터 G 중, 0에서 2k-1번까지를 사용하여 상관치를 계산하는 것이다.
스텝 S74에서는 제 k 단계의 상관치 R(k) fg가 문턱치 Rth 이상인지의 여부가 판별된다. 스텝 S74에 있어서, 상관치 R(k) fg가 문턱치 Rth보다도 작은 경우(No)에는 스텝 S76에 있어서 문턱치보다 상관이 작다는 요지(=0)를 출력하고 종료한다. 한편, 상관치 R(k) fg가 문턱치 Rth 이상인 경우(Yes)에는 스텝 S75에 있어서 k를 1개 줄인 뒤에 스텝 S72로 되돌아가, 다음 단계의 상관치를 구한다.
제 0 단계까지 진행하고, 또한 상관치 R(k) fg가 문턱치 Rth보다도 큰 경우에는 스텝 S77에 있어서 상관치 Rfg(= R(0) fg)를 출력하고, 종료한다.
일례로서, N=8=23의 경우에 있어서의 구체적인 연산을 도 17에 도시한다. 연산의 제 3 단계(k=3)에서는 1개째(F[0] 및 G[0])의 요소간의 상관을 계산하고, 상관치 R(3) fg를 구한다. 여기서, 상관치 R(3) fg가 문턱치 Rth 이상인 경우에는 제 2 단계로 진행한다.
제 2 단계에서는 1개째와 2개째(F[0], F[1] 및 G[0], G[1])의 요소간의 상관 연산을 한다. 이때, 상술한 식 (6)에 있어서의 곱과 합 계산에는 제 1 단계에서의 곱과 합 계산의 결과를 유용한다. 즉, 식 (6)의 분자에서는 F[0] G[0]과 F[1] G[1]의 합연산이 행하여지지만, 이 중 F[0] G[0]에 대해서는 제 1 단계째에서 계산한 값을 유용한다. 또한, 식 (6)의 분모에서는 예를 들면 F2[0]와 F2[1]의 합연산이 행하여지지만, 이 중 F2[0]에 대해서는 제 1 단계째에서 계산한 값을 유용한다.
또한 계속되는 경우, 제 1 단계에서는 1개째로부터 4개째(F[0] 내지 F[3] 및 G[0] 내지 G[3])의 요소간의 상관을 계산하게 되고, 더욱 계속되는 경우, 제 0 단계에서는 1개째로부터 8개째(F[0] 내지 F[7] 및 G[0] 내지 G[7])의 요소간의 상관을 계산하는 것이 된다. 이 때에도, 상술한 식 (6)에 있어서의 곱과 합 계산에는 전단계에서의 곱과 합 계산의 결과를 유용한다. 도중의 단계에서 문턱치를 하회한 경우에는 거기서 연산을 종료하고 0을 출력하고, 모든 단계에서 문턱치를 초과한 경우에는 상관치 Rfg(=R(0) fg)를 출력한다. 이상의 일치 검출 처리에 의해, 소정의 문턱치를 상회하는 경우에는 그 상관치가 출력되고, 하회하는 경우에는 0이 출력된다.
이상과 같이, 본 발명에서는 영상 신호/음향 신호를 기록할 때, 그 특징 벡터에 대해서도 기록되고, 또한, 기록되어 있는 영상 신호/음향 신호를 재생하였을 때에 사용자로부터 지정된 위치 근방의 특징 벡터 등이, 소위 북마크로서 등록된다. 그리고, 사용자가 북마크 중 어느 하나를 지정하면, 그 북마크의 특징 벡터와 기록되어 있는 특징 벡터의 상관치가 계산되고, 그 상관치와 문턱치가 비교된다. 이것에 의해, 사용자는 용이하게 영상 신호/음향 신호를 검색하고, 재생할 수 있다.
또한, 그 특징 벡터는 기록되기 전에 특징 각 벡터를 계층적으로 둔화시키는 연산이 실시되어 있고, 일치 검출시에는 둔화시킨 벡터간의 상관치가 소정의 문턱치 이상인 경우에만 한층 상세한 특징 벡터간의 상관을 계산하고, 소정의 문턱치를 초과하지 않은 것에 대해서는 문턱치 이하인 것만을 검출하여 실제의 상관치의 산출을 생략함으로써, 상관 연산의 고속화를 도모할 수 있다.
더욱 상세하게는 이 특징 벡터에 대한 계층적인 변환은 Harr 기저에 의한 직교 웨이브렛(wavelet) 변환이고, 계층적인 상관 연산은 최저 주파수 성분의 웨이브렛 계수로부터 출발하고, 고주파 성분의 웨이브렛 계수를 포함하도록 벡터를 순차 확대하면서 상관을 취하는 것이다.
즉, 일반적으로 비음값의 신호에서는 저주파 성분의 상관치가 고주파를 포함하는 것보다 높은 성질과, 직교 변환에 의해 상관치가 보존되는 성질을 이용한 것으로, 웨이브렛 변환을 실시한 특징 벡터에 대하여, 최저 주파수 성분으로부터 대역을 확대하면서 계층적으로 상관 연산을 하고, 소정의 문턱치를 하회한 곳에서 상관 연산을 중단함으로써, 상관 연산의 고속화를 도모할 수 있다. 또한, 웨이브렛 변환의 핵함수를 Harr 기저로 함으로써, 거의 빠짐 없이 문턱치를 초과하는 상관치를 검출할 수 있다.
특히, 기록되어 있는 대량의 특징 벡터 중으로부터 북마크의 특징 벡터와 대략 일치하는 특징 벡터를 검출하는 경우에는 대부분의 특징 벡터는 불일치하고 문턱치를 초과하지 않기 때문에 상관 연산을 빠른 시기에 중단할 수 있고, 검출 시간을 대폭 단축할 수 있다.
여기서, 프로그램이 방송될 때의 전형적인 방송 패턴을 도 18a 내지 도 18e에 도시한다. 이 중, 도 18a 내지 도 18d는 모두 민방 프로그램으로 전형적인 방송 패턴이다. 즉, 도 18a는 프로그램 개시 예정 시각 정각부터 오프닝 음악/영상이 시작되고, 계속해서, 제공 안내, 광고 메시지(이하, 단순히 광고라고 함), 그리고 프로그램 본편으로 이어지는 것이다. 도 18b는 프로그램 개시 예정 시각 정각부터 프로그램이 시작되지 않고, 광고가 수편 들어간 후, 오프닝 음악/영상이 시작되고, 제공 안내, 광고, 그리고 프로그램 본편으로 이어지는 것이다. 도 18c는 프로그램 개시 예정 시각 정각부터 프로그램 본편이 시작되는 패턴이다. 통상, 전회 프로그램의 요약이나 이번 프로그램의 인트로덕션이 방송되고, 그 후 오프닝 음악/영상, 제공 안내, 광고, 다시 프로그램 본편으로 이어진다. 도 18d는 프로그램 개시 예정 시각 정각부터 프로그램 본편이 시작되지 않고, 광고가 수편 들어 간 후, 프로그램 본편이 방송되는 패턴이다. 그 후, 오프닝 음악/영상, 제공 안내, 광고, 다시 프로그램 본편으로 이어진다. 도 18e는 광고가 없는 방송국이나 프로그램 편성에서 전형적인 방송 패턴으로, 이 경우, 광고가 들어가지 않기 때문에, 통상은 프로그램 개시 예정 시각 정각부터 오프닝 영상/음악 또는 프로그램 본편이 시작된다.
여기서, 상술한 수법으로, 시리즈 프로그램에 대해서 매회의 방송에서 공통의 영상/음악으로서 오프닝 영상/음악을 등록하는 경우를 상정한다. 상술한 도 18a, 도 18b의 패턴에서는 오프닝 음악의 도중에 재생이 개시되기 때문에, 그 만큼 큰 문제는 생기지 않지만, 도 18c 내지 도 18e의 패턴에서는 오프닝 영상/음악 전에 이미 프로그램 본편의 일부가 방송되고 있기 때문에, 이대로로는 이들을 시청할 수 없다는 문제가 생긴다. 또, 수동으로 되감기 재생을 하면서 첫머리 찾기를 할 수는 있지만, 사용자의 부담이 된다. 그래서, 이하에 설명하는 제 2 실시예에서는 이러한 문제를 해결하는 수법을 개시한다.
본 발명의 제 2 실시예에서 개시하는 도 19의 신호 기록 재생 장치(2)는 기본 구조를 도 1에 도시한 신호 기록 재생 장치(1)와 동일하게 하지만, 광고 검출부(80)와 시계(90)를 갖는 점에 특징을 갖고 있다. 따라서, 먼저 도 1에 도시한 신호 기록 재생 장치(1)와 같은 구성에 대해서는 동일 부호를 붙이고 상세한 설명을 생략한다.
우선, 이 신호 기록 재생 장치(2)의 기록 처리에 있어서의 각부의 동작에 대해서, 도 20의 플로차트를 참조하여 설명한다. 스텝 S80에 있어서, 특징 벡터 생성부(30)는 도시하지 않은 동조/복조장치 등으로부터 영상 신호/음향 신호를 입력하고, 계속되는 스텝 S81에 있어서, 후술하는 바와 같이 하여 영상 특징 벡터 및 음향 특징 벡터를 생성한다.
계속해서 스텝 S82에서는 영상 신호/음향 신호가 기록부(10)에 기록되고, 스텝 S83에서는 영상 특징 벡터 및 음향 특징 벡터가 기록부(10)에 기록된다.
계속해서 스텝 S84에 있어서, 광고 검출부(80)는 영상 신호/음향 신호가 광고 부분인지의 여부를 검출하고, 광고 부분인 경우에는 그 위치를 기록부(10)에 기록한다. 여기서, 본 명세서 중에 있어서의 광고는 예를 들면 광고가 없는 방송국이나 프로그램 편성에서의 프로그램 안내 등을 포함하는 것이다.
스텝 S85에서는 시계(90)로부터 주어진 시각 정보가 기록부(10)에 기록된다.
스텝 S86에서는 기록을 종료하는지의 여부가 판별된다. 스텝 S86에 있어서 기록을 종료하지 않는 경우(No)에는 스텝 S80으로 되돌아가 기록 처리를 계속하고, 사용자 조작 또는 타이머 동작 등에 의해서 기록 종료 지시가 이루어진 경우(Yes)에는 기록 처리를 종료한다.
즉, 신호 기록 재생 장치(2)는 기록 처리시에 영상 신호/음향 신호, 영상 특징 벡터/음향 특징 벡터와 함께, 광고 위치나 시각 정보를 기록부(10)에 기록한다.
이 광고 검출의 수법으로서는 예를 들면 본건 출원인이 앞서 제안한 일본특허출원 2000-127658의 명세서 및 도면에 기재된 기술을 사용할 수 있다. 이 기술은 아래와 같이 요약된다.
즉, 일본 국내에서는 특수한 예를 제외한 거의 모든 광고가 15초, 30초, 60초의 길이로 제작되고 있고, 각 광고의 전후에서는 필연적으로 음성 레벨이 내려가고, 영상 신호가 바뀌기 때문에, 이들을 검출의 「필수 조건」으로 한다. 또한, 규격에 기초하여 제작된다는 제약, 짧은 시간에 선전 효과를 올리기 위한 것이라는 제약, 및 프로그램 구성상의 형편 등에 의한 제약 아래 제작된 결과로서 나타나는 일정한 경향을 나타내는 특징을 검출의「부가 조건」으로 한다. 또한, 부가 조건을 만족하는 구간이 오버랩하여 존재하는 경우에는 적어도 그 중 어느 한 구간은 바른 광고 구간에서는 있을 수 없다는 조건을 검출의 「논리 조건」으로 한다. 그리고, 「필수 조건」에 기초하여 결정론적으로 광고 후보를 추출하고, 「부가 조건」에 기초하는 광고다움의 통계론적인 평가에 의해 후보를 선택하고, 「논리 조건」에 의해 후보의 오버랩 관계를 해소함으로써, 고정밀도로 광고를 검출할 수 있다.
방송 모드를 이용할 수 있는 경우에는 예를 들면 일본 특개평 3-158086호 공보나 일본 특개평 3-2622872호 공보 등에 기재되어 있는 기술을 사용할 수도 있다. 즉, 일본 국내에서는 광고가 스테레오 방송되는 것이 많고, 또한, 텔레비전 방송 신호에는 음성이 모노럴 모드/스테레오 모드/음성다중 모드 중 어느 하나를 나타내는 파일럿 신호가 다중되어 있기 때문에, 예를 들면 음성이 모노럴 모드 또는 음성다중 모드로 이루어져 있는 프로그램 본편을 기록하는 경우에는 스테레오 모드 구간을 검출함으로써 광고 구간을 검출할 수 있다.
다음에 재생/등록 처리가 행하여지지만, 이 처리는 상술한 제 1 실시예와 같다. 즉, 기록되어 있는 영상 신호/음향 신호가 재생되고, 그 중으로부터 사용자가 지정한 위치 근방의 영상 신호/음향 신호와 함께, 영상 특징 벡터/음향 특징 벡터가 추출되어, 소위 북마크로서 등록된다.
계속해서 이 신호 기록 재생 장치(2)의 검색 처리에 있어서의 각부의 동작에 대해서, 도 21의 플로차트를 참조하여 설명한다. 도시하지 않은 사용자 인터페이스를 통하여 사용자로부터의 검색 지령이 주어지면, 우선 스텝 S90에 있어서, 검색부(50)는 등록되어 있는 북마크의 선택을 사용자로부터 받는다. 또, 등록되어 있는 북마크가 1개인 경우, 등록되어 있는 북마크 모두에 대해서 검색을 하는 경우, 혹은 미리 북마크의 우선 순위가 설정되어 있는 경우 등에는 이 스텝을 생략하여도 상관없다.
계속해서 스텝 S91에서, 검색부(50)는 기록되어 있는 영상 신호/음향 신호 중 어떤 부분을 검색하는지를 나타내는 검색 범위의 지정, 및 어느 정도의 차이까지를 일치라고 인정하는지를 나타내는 검색 정밀도의 지정을 사용자로부터 받는다. 또, 검색 범위 및 검색 정밀도가 미리 설정되어 있는 경우 등에는 이 스텝을 생략하여도 상관없다.
계속해서 스텝 S92에 있어서, 검색부(50)는 지정된 북마크의 특징 벡터를 기록부(10)로부터 취득한다. 이 경우에도 제 1 실시예와 같이, 1회의 북마크로 영상 특징 벡터 Vi 및 음향 특징 벡터 Ai가 복수 등록되는 경우에는 이하의 조작은 각각에 대하여 순차로 행한다.
스텝 S93에서는 검색부(50)는 지정된 검색 범위의 검색이 종료하였는지의 여부를 판별한다. 스텝 S93에 있어서, 검색이 종료하지 않는 경우(No)에는 스텝 S94로 진행하고, 검색이 종료한 경우(Yes)에는 스텝 S98로 진행한다.
스텝 S94에 있어서, 검색부(50)는 검색 범위 중의 기록된 특징 벡터를 1개 취득한다.
계속해서 스텝 S95에 있어서, 일치 검출부(60)는 그 특징 벡터를 북마크의 특징 벡터와 비교하여 후술하는 바와 같이 상관치를 계산하고, 스텝 S96에 있어서, 그 상관치가 미리 설정한 문턱치를 초과하였는지의 여부를 판별한다. 스텝 S96에 있어서 문턱치를 초과하지 않은 경우(No)에는 스텝 S93으로 되돌아가, 또 다른 특징 벡터와의 비교를 반복한다. 스텝 S96에 있어서 문턱치를 초과한 경우(Yes)에는 일치하고 있다고 하여 스텝 S97에서 그 위치를 기억한 후 스텝 S93으로 되돌아가, 또 다른 특징 벡터와의 비교를 반복한다.
스텝 S98에서는 기억하고 있는 일치 위치가 표시되고, 재생점 설정부(70)는 어느 위치로부터 재생하는지의 지정을 사용자로부터 받는다. 또, 일치 위치가 1개인 경우나, 미리 재생의 우선 순위가 결정되어 있는 경우에는 스텝 S98을 생략하여도 상관없다. 또한, 일치하는 위치가 없는 경우에는 그 요지를 표시하고, 재생은 행하지 않는 것으로 한다.
스텝 S99에서는 재생점 설정부(70)는 일치 위치에 대하여, 직전의 광고의 종료 위치, 또는 소정의 시각에 대응하는 위치를 설정하고, 검색 처리를 종료한다. 또, 양자의 시각을 조사하여, 일치 위치에 가까운 쪽의 위치를 설정하도록 하여도 좋다. 그리고 재생부(20)는 이 설정된 위치로부터의 재생을 개시한다.
여기서, 상술한 소정의 시각으로서는 미리 전자 프로그램 가이드 등으로부터 얻은 상기한 프로그램의 개시 예정 시각을 설정할 수 있고, 전자 프로그램 가이드 등이 없는 경우에는 매시 0분, 15분, 30분과 같이 자르기 좋은 시각 등을 설정할 수 있다.
일례로서, 상술한 도 18d, 도 18e의 패턴에서의 재생 위치를 도 22a에 모식적으로 도시한다. 상술한 바와 같이 오프닝 영상/음악 도중의 이산 시간을 나타내는 인덱스 i가 p인 위치 tp가 일치한 위치이어도, 예를 들면 도 18d 같은 패턴에서는 도 22b에 도시하는 바와 같이, 주 직전의 광고의 종료 위치 tq부터 재생함으로써 프로그램의 처음부터 시청할 수 있다. 또한, 도 18e의 패턴에서도, 도 22c에 도시하는 바와 같이, 전자 프로그램 가이드 등에 의한 프로그램 개시 예정 시각 tr부터 재생함으로써, 프로그램의 처음부터 시청할 수 있다.
또, 이 첫머리 찾기의 수법은 재생점을 설정할 때만으로 한정되지 않고, 예를 들면 북마크 위치를 지정할 때 등에 널리 사용할 수 있다. 즉, 예를 들면 프로그램의 최초를 북마크하는 경우, 재생 중에 프로그램 본편이 시작되더라도, 첫머리 찾기 위치 부근에서 위치 맞춤을 위해서 빨리감기/되감기를 반복하지 않고, 순간에 첫머리 찾기를 할 수 있다.
이상, 본 발명을 제 1 실시예 및 제 2 실시예를 들어 설명한 바와 같이, 본 발명에 관계되는 신호 기록 재생 장치(1, 2)에 의하면, 영상 신호/음향 신호를 기록할 때, 그 특징 벡터에 대해서도 기록하고, 기록되어 있는 영상 신호/음성 신호를 재생하였을 때에 사용자로부터 지정된 위치 근방의 특징 벡터 등을, 소위 북마크로서 등록하여 두는 것으로, 사용자는 북마크 중 어느 하나를 지정함으로써, 원하는 영상 신호/음향 신호를 갖는 부분을 고속으로 검색하고, 재생할 수 있게 된다.
또한, 본 발명의 제 2 실시예에 개시한 바와 같이, 광고의 위치나 시각에 대해서도 미리 기록하여 두는 것으로, 첫머리 찾기의 결과로서 프로그램 첫머리에서의 시청이 가능해진다.
또, 본 발명은 상술한 실시예에만 한정되는 것이 아니라, 본 발명의 요지를 일탈하지 않는 범위에서 여러가지의 변경이 가능한 것은 물론이다.
예를 들면, 상술한 예에서는 영상 신호와 음향 신호 양쪽을 사용하는 것으로서 설명하였지만, 이것에 한정되는 것이 아니라, 예를 들면 라디오 방송 등에 대해서는 음향 신호만을 사용하는 등, 어떤 한쪽을 사용하여도 같은 효과를 얻을 수 있다.
또한, 상술한 설명에서는 방송 프로그램을 예로 들어 설명하였지만, 이것에 한정되는 것이 아니라, 영화나 판매된 비디오 또는 DVD(Digital Versatile Disk) 등, 방송에 의하지 않은 영상 음성에 대하여 적용하여도, 같은 효과를 얻을 수 있다.
또한, 상술한 설명에서는 영상 신호/음향 신호의 기록시에 특징 추출을 하는 것으로서 설명하였지만, 이것에 한정되는 것이 아니라, 북마크의 등록시 또는 검색시에, 특징 추출을 하도록 하는 것도 가능하다. 이것에 의해, 기록시에는 영상 신호/음향 신호만을 기록하면 되기 때문에, 예를 들면 이미 기록된 영상이나 음성에도 적용할 수 있게 된다. 단, 검색에 요하는 연산 시간은 증가한다.
또한, 상술한 예에서는 하드웨어의 구성으로서 설명하였지만, 이것에 한정되는 것이 아니라, 신호 기록 재생 장치(1, 2)에 있어서의 처리를, CPU(Central Processing Unit)에 컴퓨터 프로그램을 실행시킴으로써 실현하는 것도 가능하다. 이 경우, 그 컴퓨터 프로그램은 기록 매체에 기록하여 제공하는 것도 가능하고, 또한, 인터넷 외의 전송매체를 개재하여 전송함으로써 제공하는 것도 가능하다.
또, 본 발명은 첨부한 청구의 범위 및 그 주지를 일탈하지 않고, 여러가지 변경, 치환 또는 그 동등한 것을 할 수 있는 것은 당업자에게 있어서 분명하다.
상술한 바와 같이, 본 발명에 관계되는 신호 기록 재생 장치는 영상 신호 및/또는 음향 신호를 기록할 때, 그 특징 벡터에 대해서도 기록하고, 또한, 기록된 영상 신호 및/또는 음향 신호를 재생할 때, 예를 들면 사용자가 지정하는 신호 위치에 대응하는 특징 벡터를 등록하여 둔다. 그리고, 기록 수단에 기록되어 있는 특징 벡터로부터, 등록된 특징 벡터 중 적어도 1개와의 상관치가 소정의 문턱치를 초과하는 특징 벡터를 검출하고, 그 검출된 특징 벡터에 기초하여 재생점을 설정하여 상기 재생점부터 영상 신호 및/또는 음향 신호를 재생한다. 이것에 의해 사용자는 등록한 특징 벡터 중 어느 하나를 지정함으로써, 원하는 영상 신호 및/또는 음향 신호를 갖는 부분을 고속으로 검색하고, 재생하는 것이 가능해진다.
본 발명에 관계되는 신호 기록 재생 방법은 영상 신호 및/또는 음향 신호가 기록될 때, 그 특징 벡터에 대해서도 기록되고, 또한, 기록된 영상 신호 및/또는 음향 신호가 재생될 때, 예를 들면 사용자가 지정하는 신호 위치에 대응하는 특징 벡터가 등록된다. 그리고, 기록 수단에 기록되어 있는 특징 벡터로부터, 등록된 특징 벡터 중 적어도 1개와의 상관치가 소정의 문턱치를 초과하는 특징 벡터가 검출되고, 그 검출된 특징 벡터에 기초하여 재생점이 설정되어 상기 재생점부터 영상 신호 및/또는 음향 신호가 재생된다. 이것에 의해 사용자는 등록한 특징 벡터 중 어느 하나를 지정함으로써, 원하는 영상 신호 및/또는 음향 신호를 갖는 부분을 고속으로 검색하고, 재생하는 것이 가능해진다.
본 발명에 관계되는 프로그램, 상술한 신호 기록 재생 처리를 컴퓨터에 실행시키는 것으로, 본 발명에 관계되는 기록 매체는 그와 같은 프로그램이 기록된 컴퓨터 판독 가능한 것이다.
이러한 프로그램 및 기록 매체에 의하면, 상술한 신호 기록 재생 처리를 소프트웨어에 의해 실현할 수 있다.
본 발명에 관계되는 신호 재생 장치는 재생한 영상 신호 및/또는 음향 신호의 재생 개시 위치가 지정되면, 지정된 위치보다 시간적으로 전의 위치, 예를 들면 광고 메시지 검출 수단을 갖는 경우에는 지정된 위치보다 시간적으로 전의 광고 메시지의 종료 위치를 재생 개시점으로서 설정하고, 또한, 시각 검출 수단을 갖는 경우에는 지정된 위치를 포함하는 프로그램의 개시 시각, 또는 예를 들면 매시 0분, 매시 15분 또는 매시 30분을 재생 개시점으로서 설정하고, 그 재생 개시점부터 영상 신호 및/또는 음향 신호의 재생을 개시한다. 이것에 의해 사용자는 영상 신호 및/또는 음향 신호의 첫머리 찾기의 결과로서, 프로그램 첫머리에서의 시청이 가능해진다.
본 발명에 관계되는 신호 재생 방법은 재생한 영상 신호 및/또는 음향 신호의 재생 개시 위치가 지정되면, 지정된 위치보다 시간적으로 전의 위치, 예를 들면 광고 메시지 검출 공정을 갖는 경우에는 지정된 위치보다 시간적으로 전의 광고 메시지의 종료 위치가 재생 개시점으로서 설정되고, 또한, 시각 검출 공정을 갖는 경우에는 지정된 위치를 포함하는 프로그램의 개시 시각, 또는 예를 들면 매시 0분, 매시 15분 또는 매시 30분이 재생 개시점으로서 설정되고, 그 재생 개시점부터 영상 신호 및/또는 음향 신호의 재생이 개시된다. 이것에 의해 사용자는 영상 신호 및/또는 음향 신호의 첫머리 찾기의 결과로서, 프로그램 첫머리부터의 시청이 가능해진다.

Claims (41)

  1. 신호 기록 재생 장치에 있어서,
    영상 신호 및/또는 음향 신호로부터 특징량을 추출하여 벡터화함으로써 특징 벡터를 생성하는 특징 벡터 생성 수단,
    상기 영상 신호 및/또는 상기 음향 신호와 상기 특징 벡터 생성 수단에 의해서 생성된 상기 특징 벡터를 기록하는 기록 수단,
    상기 기록 수단에 기록된 상기 특징 벡터 중 적어도 일부를 등록하는 등록 수단,
    상기 기록 수단에 기록되어 있는 상기 특징 벡터로부터, 상기 등록 수단에 의해서 등록된 특징 벡터 중 적어도 하나와 일치하는 특징 벡터를 검출하는 일치 검출 수단,
    상기 검출된 특징 벡터에 기초하여, 재생 개시점을 설정하는 재생점 설정 수단, 및
    상기 재생점 설정 수단에 의해서 설정된 재생 개시점으로부터 상기 영상 신호 및/또는 상기 음향 신호를 재생하는 재생 수단을 구비하는 것을 특징으로 하는, 신호 기록 재생 장치.
  2. 제 1 항에 있어서,
    상기 특징 벡터는 상기 영상 신호의 소정 시간 구간 내에 있어서의 적어도 1매의 프레임의 평균 화상의 화소치를 벡터화한 것의 시계열, 또는 상기 평균 화상을 소정의 블록 단위의 소화상으로 분할하고, 상기 소화상의 화소치를 벡터화한 것의 시계열인 것을 특징으로 하는, 신호 기록 재생 장치.
  3. 제 1 항에 있어서,
    상기 특징 벡터는 상기 음향 신호의 단시간 파워 스펙트럼을 벡터화한 것의 시계열인 것을 특징으로 하는, 신호 기록 재생 장치.
  4. 제 1 항에 있어서,
    상기 등록 수단은 상기 기록 수단에 기록된 상기 영상 신호 및/또는 상기 음향 신호를 재생할 때, 사용자가 지정하는 신호 위치에 대응하는 상기 특징 벡터를 등록하는 것을 특징으로 하는, 신호 기록 재생 장치.
  5. 제 1 항에 있어서,
    상기 등록 수단은 상기 기록 수단에 기록된 상기 영상 신호 및/또는 상기 음향 신호를 재생할 때, 사용자가 지정하는 신호 위치로부터 소정 시간 길이 전의 신호 위치에 대응하는 상기 특징 벡터를 등록하는 것을 특징으로 하는, 신호 기록 재생 장치.
  6. 제 1 항에 있어서,
    상기 일치 검출 수단은 상기 기록 수단에 기록되어 있는 특징 벡터로부터, 상기 등록된 특징 벡터 중 적어도 하나와의 상관치가 소정의 문턱치를 초과하는 특징 벡터를 검출하는 것을 특징으로 하는, 신호 기록 재생 장치.
  7. 제 1 항에 있어서,
    상기 특징 벡터에 대하여 계층적인 변환을 실시하여 변환 벡터를 생성하는 계층적 변환 수단을 구비하고,
    상기 기록 수단은 상기 영상 신호 및/또는 상기 음향 신호와 상기 계층적 변환 수단에 의해서 생성된 상기 변환 벡터를 기록하고,
    상기 등록 수단은 상기 기록 수단에 기록된 상기 변환 벡터 중 적어도 일부를 등록하는 것을 특징으로 하는, 신호 기록 재생 장치.
  8. 제 7 항에 있어서,
    상기 계층적 변환 수단은 상기 특징 벡터에 대하여, 상기 특징 벡터의 성분을 인접 성분간의 합성분과 차성분으로 분할하고, 상기 합성분을 또한 인접 성분간의 합성분과 차성분으로 분할하는 처리를 반복하는 계층적인 변환을 실시하여 상기 변환 벡터를 생성하는 것을 특징으로 하는, 신호 기록 재생 장치.
  9. 제 8 항에 있어서,
    상기 일치 검출 수단은 등록된 상기 변환 벡터 중 적어도 하나와 상기 기록 수단에 기록된 변환 벡터 사이에서 계층적인 상관 연산을 하고, 상기 기록 수단에 기록되어 있는 변환 벡터로부터, 등록된 상기 변환 벡터 중 적어도 하나와의 상관치가 소정의 문턱치를 초과하는 특징 벡터를 검출하는 것을 특징으로 하는, 신호 기록 재생 장치.
  10. 제 9 항에 있어서,
    상기 일치 검출 수단은 상기 변환 벡터의 상위 계층의 합성분끼리로부터 순차 차성분을 포함하도록 성분수를 늘려 상관 연산을 하는 계층적인 상관 연산을 하고, 상기 계층적인 상관 연산의 도중 계층에서의 상관치가 상기 문턱치를 하회한 경우에는 또한 계층의 상관 연산을 하지 않는 것을 특징으로 하는, 신호 기록 재생 장치.
  11. 신호 기록 재생 방법에 있어서,
    영상 신호 및/또는 음향 신호로부터 특징량을 추출하여 벡터화함으로써 특징 벡터를 생성하는 특징 벡터 생성 공정,
    상기 영상 신호 및/또는 상기 음향 신호와 상기 특징 벡터 생성 공정에서 생성된 상기 특징 벡터를 기록 수단에 기록하는 기록 공정,
    상기 기록 수단에 기록된 상기 특징 벡터 중 적어도 일부를 등록하는 등록 공정,
    상기 기록 수단에 기록되어 있는 상기 특징 벡터로부터, 상기 등록 공정에서 등록된 특징 벡터 중 적어도 하나와 일치하는 특징 벡터를 검출하는 일치 검출 공정,
    상기 검출된 특징 벡터에 기초하여, 재생 개시점을 설정하는 재생점 설정 공정, 및
    상기 재생점 설정 공정에서 설정된 재생 개시점으로부터 상기 영상 신호 및/또는 상기 음향 신호를 재생하는 재생 공정을 갖는 것을 특징으로 하는, 신호 기록 재생 방법.
  12. 제 11 항에 있어서,
    상기 등록 공정에서는 상기 기록 수단에 기록된 상기 영상 신호 및/또는 상기 음향 신호를 재생할 때, 사용자가 지정하는 신호 위치에 대응하는 상기 특징 벡터가 등록되는 것을 특징으로 하는, 신호 기록 재생 방법.
  13. 제 11 항에 있어서,
    상기 일치 검출 공정에서는 상기 기록 수단에 기록되어 있는 특징 벡터로부터, 상기 등록된 특징 벡터 중 적어도 하나와의 상관치가 소정의 문턱치를 초과하는 특징 벡터가 검출되는 것을 특징으로 하는, 신호 기록 재생 방법.
  14. 제 11 항에 있어서,
    상기 특징 벡터에 대하여 계층적인 변환을 실시하여 변환 벡터를 생성하는 계층적 변환 공정을 갖고,
    상기 기록 공정에서는 상기 영상 신호 및/또는 상기 음향 신호와 상기 계층적 변환 수단에 의해서 생성된 상기 변환 벡터가 상기 기록 수단에 기록되고,
    상기 등록 공정에서는 상기 기록 수단에 기록된 상기 변환 벡터 중 적어도 일부가 등록되는 것을 특징으로 하는, 신호 기록 재생 방법.
  15. 제 14 항에 있어서,
    상기 계층적 변환 공정에서는 상기 특징 벡터에 대하여, 상기 특징 벡터의 성분을 인접 성분간의 합성분과 차성분으로 분할하고, 상기 합성분을 또한 인접 성분간의 합성분과 차성분으로 분할하는 처리를 반복하는 계층적인 변환을 실시하여 상기 변환 벡터가 생성되는 것을 특징으로 하는, 신호 기록 재생 방법.
  16. 제 15 항에 있어서,
    상기 일치 검출 공정에서는 등록된 상기 변환 벡터 중 적어도 하나와 상기 기록 수단에 기록된 변환 벡터 사이에서 계층적인 상관 연산이 행하여지고, 상기 기록 수단에 기록되어 있는 변환 벡터로부터, 등록된 상기 변환 벡터 중 적어도 하나와의 상관치가 소정의 문턱치를 초과하는 특징 벡터가 검출되는 것을 특징으로 하는, 신호 기록 재생 방법.
  17. 제 16 항에 있어서,
    상기 일치 검출 공정에서는 상기 변환 벡터의 상위 계층의 합성분끼리로부터 순차 차성분을 포함하도록 성분수를 늘려 상관 연산을 하는 계층적인 상관 연산이 행하여지고, 상기 계층적인 상관 연산의 도중 계층에서의 상관치가 상기 문턱치를 하회한 경우에는 또한 계층의 상관 연산이 행하여지지 않는 것을 특징으로 하는, 신호 기록 재생 방법.
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 소정의 처리를 컴퓨터에 실행시키는 프로그램이 기록된 기록 매체에 있어서,
    영상 신호 및/또는 음향 신호로부터 특징량을 추출하여 벡터화함으로써 특징 벡터를 생성하는 특징 벡터 생성 공정,
    상기 영상 신호 및/또는 상기 음향 신호와 상기 특징 벡터 생성 공정에서 생성된 상기 특징 벡터를 기록 수단에 기록하는 기록 공정,
    상기 기록 수단에 기록된 상기 특징 벡터 중 적어도 일부를 등록하는 등록 공정,
    상기 기록 수단에 기록되어 있는 상기 특징 벡터로부터, 상기 등록 공정에서 등록된 특징 벡터 중 적어도 하나와 일치하는 특징 벡터를 검출하는 일치 검출 공정,
    상기 검출된 특징 벡터에 기초하여, 재생 개시점을 설정하는 재생점 설정 공정, 및
    상기 재생점 설정 공정에서 설정된 재생 개시점으로부터 상기 영상 신호 및/또는 상기 음향 신호를 재생하는 재생 공정을 갖는 것을 특징으로 하는, 컴퓨터에 실행시키는 프로그램이 기록된 기록 매체.
  26. 제 25 항에 있어서,
    상기 등록 공정에서는 상기 기록 수단에 기록된 상기 영상 신호 및/또는 상기 음향 신호를 재생할 때, 사용자가 지정하는 신호 위치에 대응하는 상기 특징 벡터가 등록되는 것을 특징으로 하는, 컴퓨터에 실행시키는 프로그램이 기록된 기록 매체.
  27. 제 25 항에 있어서,
    상기 일치 검출 공정에서는 상기 기록 수단에 기록되어 있는 특징 벡터로부터, 상기 등록된 특징 벡터 중 적어도 하나와의 상관치가 소정의 문턱치를 초과하는 특징 벡터가 검출되는 것을 특징으로 하는, 컴퓨터에 실행시키는 프로그램이 기록된 기록 매체.
  28. 제 25 항에 있어서,
    상기 프로그램은 상기 특징 벡터에 대하여 계층적인 변환을 실시하여 변환 벡터를 생성하는 계층적 변환 공정을 갖고,
    상기 기록 공정에서는 상기 영상 신호 및/또는 상기 음향 신호와 상기 계층적 변환 수단에 의해서 생성된 상기 변환 벡터가 상기 기록 수단에 기록되고,
    상기 등록 공정에서는 상기 기록 수단에 기록된 상기 변환 벡터 중 적어도 일부가 등록되는 것을 특징으로 하는, 컴퓨터에 실행시키는 프로그램이 기록된 기록 매체.
  29. 제 28 항에 있어서,
    상기 계층적 변환 공정에서는 상기 특징 벡터에 대하여, 상기 특징 벡터의 성분을 인접 성분간의 합성분과 차성분으로 분할하고, 상기 합성분을 더욱 인접 성분간의 합성분과 차성분으로 분할하는 처리를 반복하는 계층적인 변환을 실시하여 상기 변환 벡터가 생성되는 것을 특징으로 하는, 컴퓨터에 실행시키는 프로그램이 기록된 기록 매체.
  30. 제 29 항에 있어서,
    상기 일치 검출 공정에서는 등록된 상기 변환 벡터 중 적어도 하나와 상기 기록 수단에 기록된 변환 벡터 사이에서 계층적인 상관 연산이 행하여지고, 상기 기록 수단에 기록되어 있는 변환 벡터로부터, 등록된 상기 변환 벡터 중 적어도 하나와의 상관치가 소정의 문턱치를 초과하는 특징 벡터가 검출되는 것을 특징으로 하는, 컴퓨터에 실행시키는 프로그램이 기록된 기록 매체.
  31. 제 30 항에 있어서,
    상기 일치 검출 공정에서는 상기 변환 벡터의 상위 계층의 합성분끼리로부터 순차 차성분을 포함하도록 성분수를 늘려 상관 연산을 하는 계층적인 상관 연산이 행하여지고, 상기 계층적인 상관 연산의 도중 계층에서의 상관치가 상기 문턱치를 하회한 경우에는 또한 계층의 상관 연산이 행하여지지 않는 것을 특징으로 하는, 컴퓨터에 실행시키는 프로그램이 기록된 기록 매체.
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
KR1020047000885A 2002-05-20 2003-05-20 신호 기록 재생 장치, 신호 기록 재생 방법, 및 기록 매체 KR100943398B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2002145263A JP3744464B2 (ja) 2002-05-20 2002-05-20 信号記録再生装置及び方法、信号再生装置及び方法、並びにプログラム及び記録媒体
JPJP-P-2002-00145263 2002-05-20
PCT/JP2003/006294 WO2003098928A1 (fr) 2002-05-20 2003-05-20 Appareil et procede d'enregistrement/reproduction de signaux, appareil et procede de reproduction de signaux et programme associe

Publications (2)

Publication Number Publication Date
KR20050006121A KR20050006121A (ko) 2005-01-15
KR100943398B1 true KR100943398B1 (ko) 2010-02-22

Family

ID=29545074

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020047000885A KR100943398B1 (ko) 2002-05-20 2003-05-20 신호 기록 재생 장치, 신호 기록 재생 방법, 및 기록 매체

Country Status (6)

Country Link
US (1) US7502547B2 (ko)
EP (1) EP1523180B1 (ko)
JP (1) JP3744464B2 (ko)
KR (1) KR100943398B1 (ko)
CN (1) CN100372376C (ko)
WO (1) WO2003098928A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101315970B1 (ko) 2012-05-23 2013-10-08 (주)엔써즈 오디오 신호를 이용한 콘텐츠 인식 장치 및 방법

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8225194B2 (en) 2003-01-09 2012-07-17 Kaleidescape, Inc. Bookmarks and watchpoints for selection and presentation of media streams
US8159561B2 (en) * 2003-10-10 2012-04-17 Nikon Corporation Digital camera with feature extraction device
EP1773494A4 (en) * 2004-05-28 2009-06-03 Wardlaw Stephen C SAMPLE ANALYSIS TUBE
JP4476786B2 (ja) * 2004-11-10 2010-06-09 株式会社東芝 検索装置
US8312489B2 (en) 2005-02-23 2012-11-13 Sony Corporation CM searching method and apparatus, and CM-appendant information supplying method and apparatus
KR100724984B1 (ko) 2005-06-16 2007-06-04 삼성전자주식회사 디지털 멀티미디어 방송을 다양한 방식으로 재생하는 방법및 그에 따른 디지털 멀티미디어 방송 수신장치
JP5145937B2 (ja) * 2005-06-27 2013-02-20 日本電気株式会社 再生開始位置制御付きコンテンツ再生方法および装置
JP4781735B2 (ja) * 2005-06-29 2011-09-28 京セラ株式会社 携帯電話機
JP4432877B2 (ja) * 2005-11-08 2010-03-17 ソニー株式会社 情報処理システム、および、情報処理方法、情報処理装置、プログラム、並びに、記録媒体
US8285809B2 (en) * 2005-12-13 2012-10-09 Audio Pod Inc. Segmentation and transmission of audio streams
JP4670683B2 (ja) * 2006-02-28 2011-04-13 ソニー株式会社 画像処理装置および方法、データ記録媒体、プログラム記録媒体、並びにプログラム
JP4720544B2 (ja) * 2006-03-01 2011-07-13 ソニー株式会社 画像処理装置および方法、プログラム記録媒体、並びにプログラム
JP4839952B2 (ja) * 2006-05-01 2011-12-21 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP4187011B2 (ja) 2006-06-01 2008-11-26 ソニー株式会社 情報処理システム、情報処理装置および方法、並びにプログラム
JP2009239322A (ja) * 2006-06-14 2009-10-15 Nec Corp 映像再生装置、映像再生方法および映像再生プログラム
KR20080038630A (ko) * 2006-10-30 2008-05-07 삼성전자주식회사 프로그램 탐색용 북마크 기능을 갖는 영상기기 및 북마크설정방법
JP5057918B2 (ja) 2007-09-28 2012-10-24 株式会社東芝 電子機器およびシーン種類表示方法
KR100939215B1 (ko) * 2007-12-17 2010-01-28 한국전자통신연구원 인덱스 데이터베이스 생성 장치 및 검색 장치
JP5338450B2 (ja) * 2009-04-22 2013-11-13 富士通株式会社 再生装置及びプログラム
JP2011198348A (ja) * 2010-02-24 2011-10-06 Sanyo Electric Co Ltd 録音装置
WO2012064587A2 (en) * 2010-11-11 2012-05-18 Google Inc. Vector transformation for indexing, similarity search and classification
WO2014049989A1 (ja) * 2012-09-28 2014-04-03 パナソニック株式会社 映像出力装置
EP3664019A4 (en) * 2017-07-31 2020-08-26 Fujitsu Limited INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROGRAM AND INFORMATION PROCESSING METHOD

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1153785A (ja) * 1997-07-31 1999-02-26 Hitachi Ltd テレビジョン信号記録再生装置
JP2000138886A (ja) * 1998-10-30 2000-05-16 Nec Corp 番組録画再生装置および番組録画再生方法
JP2001014790A (ja) * 1999-06-28 2001-01-19 Victor Co Of Japan Ltd 光ディスク記録再生装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5577191A (en) * 1994-02-17 1996-11-19 Minerva Systems, Inc. System and method for digital video editing and publishing, using intraframe-only video data in intermediate steps
JPH087208A (ja) * 1994-06-22 1996-01-12 Sony Corp 磁気テープ記録再生装置
JPH0983588A (ja) * 1995-09-18 1997-03-28 Mitsubishi Electric Corp 復調器及び変復調システム及び復調方法
JPH0993588A (ja) * 1995-09-28 1997-04-04 Toshiba Corp 動画像処理方法
US6366699B1 (en) * 1997-12-04 2002-04-02 Nippon Telegraph And Telephone Corporation Scheme for extractions and recognitions of telop characters from video data
US6833865B1 (en) * 1998-09-01 2004-12-21 Virage, Inc. Embedded metadata engines in digital capture devices
AU1412100A (en) * 1999-11-29 2001-06-12 Sony Corporation Video/audio signal processing method and video/audio signal processing apparatus
EP1161098B1 (en) * 2000-04-27 2011-06-22 Nippon Telegraph And Telephone Corporation Signal detection method and apparatus
WO2001090921A2 (en) * 2000-05-25 2001-11-29 Kanisa, Inc. System and method for automatically classifying text
US6934334B2 (en) * 2000-10-02 2005-08-23 Kabushiki Kaisha Toshiba Method of transcoding encoded video data and apparatus which transcodes encoded video data
JP2002117037A (ja) * 2000-10-06 2002-04-19 Nec Corp 画像検索装置、並びに画像検索方法及びこれが書き込まれた記録媒体
JP2002145263A (ja) 2000-11-07 2002-05-22 Daiwa Can Co Ltd 安全端付き開口容易缶蓋及びその製造方法
GB0029861D0 (en) * 2000-12-07 2001-01-24 Sony Uk Ltd Replaying video information
GB0029880D0 (en) * 2000-12-07 2001-01-24 Sony Uk Ltd Video and audio information processing
US6993532B1 (en) * 2001-05-30 2006-01-31 Microsoft Corporation Auto playlist generator
AU2002351310A1 (en) * 2001-12-06 2003-06-23 The Trustees Of Columbia University In The City Of New York System and method for extracting text captions from video and generating video summaries
KR100846770B1 (ko) * 2002-03-05 2008-07-16 삼성전자주식회사 동영상 부호화 방법 및 이에 적합한 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1153785A (ja) * 1997-07-31 1999-02-26 Hitachi Ltd テレビジョン信号記録再生装置
JP2000138886A (ja) * 1998-10-30 2000-05-16 Nec Corp 番組録画再生装置および番組録画再生方法
JP2001014790A (ja) * 1999-06-28 2001-01-19 Victor Co Of Japan Ltd 光ディスク記録再生装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101315970B1 (ko) 2012-05-23 2013-10-08 (주)엔써즈 오디오 신호를 이용한 콘텐츠 인식 장치 및 방법

Also Published As

Publication number Publication date
US7502547B2 (en) 2009-03-10
CN1545807A (zh) 2004-11-10
EP1523180A4 (en) 2008-08-27
JP2003339010A (ja) 2003-11-28
JP3744464B2 (ja) 2006-02-08
KR20050006121A (ko) 2005-01-15
WO2003098928A1 (fr) 2003-11-27
EP1523180B1 (en) 2016-06-08
CN100372376C (zh) 2008-02-27
US20040218896A1 (en) 2004-11-04
EP1523180A1 (en) 2005-04-13

Similar Documents

Publication Publication Date Title
KR100943398B1 (ko) 신호 기록 재생 장치, 신호 기록 재생 방법, 및 기록 매체
US7027124B2 (en) Method for automatically producing music videos
EP1547060B1 (en) System and method for generating an audio thumbnail of an audio track
US6970639B1 (en) System and method for editing source content to produce an edited content sequence
JP4873018B2 (ja) データ処理装置、データ処理方法、及び、プログラム
KR101109023B1 (ko) 콘텐트 분석을 사용하여 뮤직 비디오를 요약하는 방법 및 장치
JP4905103B2 (ja) 動画再生装置
JP4247638B2 (ja) 記録再生装置および記録再生方法
JP3891111B2 (ja) 音響信号処理装置及び方法、信号記録装置及び方法、並びにプログラム
JP2007525900A (ja) 番組内のコンテンツを位置特定する方法及び装置
JP2001028722A (ja) 動画像管理装置及び動画像管理システム
JP4621607B2 (ja) 情報処理装置及びその方法
CN101568968B (zh) 用于创建已包括摘要和报道的视听文献的新摘要的方法以及可实现所述方法的接收器
KR20040026634A (ko) 특징량 추출장치
JP4476786B2 (ja) 検索装置
JP4331706B2 (ja) 編集装置及び編集方法
JP2007208651A (ja) コンテンツ視聴装置
JP4937795B2 (ja) コンテンツ付随情報表示方法およびコンテンツ付随情報表示装置ならびにそのプログラムと記録媒体
JP2005167456A (ja) Ａｖコンテンツ興趣特徴抽出方法及びａｖコンテンツ興趣特徴抽出装置
JP4329603B2 (ja) 動画編集装置及び動画編集方法
JP2005339138A (ja) 検索用データベース、その製造方法、検索用データベースの製造方法のプログラムを記録したコンピュータ読み取り可能な記録媒体、検索方法及びその検索方法のプログラムを記録したコンピュータ読み取り可能な記録媒体
JP5056687B2 (ja) 再生装置及びコンテンツ再生プログラム
CN109982126A (zh) 一种相关视频的叠加方法
JP2004159108A (ja) 映像索引付加方法及びプログラム及び映像索引付加プログラムを格納した記憶媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130201

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140203

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee