KR20010099712A - 신호처리장치 및 방법 - Google Patents

신호처리장치 및 방법 Download PDF

Info

Publication number
KR20010099712A
KR20010099712A KR1020010021653A KR20010021653A KR20010099712A KR 20010099712 A KR20010099712 A KR 20010099712A KR 1020010021653 A KR1020010021653 A KR 1020010021653A KR 20010021653 A KR20010021653 A KR 20010021653A KR 20010099712 A KR20010099712 A KR 20010099712A
Authority
KR
South Korea
Prior art keywords
signal
feature quantity
section
input signal
candidate
Prior art date
Application number
KR1020010021653A
Other languages
English (en)
Other versions
KR100903160B1 (ko
Inventor
아베모토쯔구
니시구치마사유키
Original Assignee
이데이 노부유끼
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이데이 노부유끼, 소니 가부시끼 가이샤 filed Critical 이데이 노부유끼
Publication of KR20010099712A publication Critical patent/KR20010099712A/ko
Application granted granted Critical
Publication of KR100903160B1 publication Critical patent/KR100903160B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/58—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of audio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/59—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4112—Peripherals receiving signals from specially adapted client devices having fewer capabilities than the client, e.g. thin client having less processing power or no tuning capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4542—Blocking scenes or portions of the received content, e.g. censoring scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/163—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums

Abstract

예를 들면, TV방송신호의 CM부분을 고정밀도로 검출 또는 검색가능하게 한다.
안테나(6)를 거쳐 튜너(1)로 수신하고, 또한 복조기(2)에서 복조된 TV방송신호의 음성 및 영상신호로부터, 15, 30, 60초 간격으로 발생하는 특징적 패턴에 의거하여, CM의 후보구간을 검출하고, 그 CM후보 구간내 또는 그 전후의 음성 및 영상신호로부터 CM과 같은 것을 나타내는 특징량을 추출하고, 그 특징량에 의거한 CM구간을 검출하는 CM검출기(4)를 갖춘다.

Description

신호처리장치 및 방법{Method and apparatus for signal processing}
본 발명은 신호처리장치 및 방법에 관하여, 특히, 텔레비전방송에 부가되는 커머셜 메시지를 자동적으로 검출 혹은 검색 가능하게 하는 신호처리장치 및 방법에 관한 것이다.
일반적으로, 방송프로그램에 대하여 스폰서가 붙어 있는 텔레비전(이하, 적의 TV라고 한다)방송에서는, 본편(프로그램 그 자체)의 틈에, 그 프로그램을 제공하고 있는 스폰서의 커머셜 메시지(이하, 단순히 CM이라고 한다.)가 삽입된다.
그렇지만, 시청자의 흥미는 주로 본편에 있기 때문에, CM을 생략하고 시청하고 싶다는 요망은 많다.
그 한편에서, 관심있는 제품의 CM이나, 스토리성이 있는 CM, 유명배우가 등장하는 CM 등, CM자체를 시청대상으로 하는 경우도 적지 않다.
이와 같은 것에서, 특히 자기테이프나 자기디스크 등의 매체에 TV방송 프로그램 등을 녹화하는 경우에 있어서, 방송프로그램으로부터 본편과 CM을 분리/구별하여, 필요한 때에 필요한 부분을 시청하는 것이 가능해지면, 상술한 바와 같은 다양한 요망에 대한 유효한 해결수단을 제공하게 된다고 생각된다.
그런데, TV방송에서 CM만을 생략하여 시청 가능하게 하는 기술로서는, 종래부터, 소위 CM스킵기능(광의의 CM스킵기능)이 존재하며, 예를 들면 가정용 비디오 녹화재생장치에는 당해 CM스킵기능이 탑재되어 있는 것이 많다.
이 CM스킵기능(광의의 CM스킵기능)은, 그 구조에 따라서 4개로 대별되고, 각각 일반적으로는, CM조송기능, CM컷기능, 방송모드에 의거한 CM스킵기능(협의의 CM스킵기능), 방송모드에 의하지 않는 CM스킵기능(협의의 CM스킵기능)으로 불러지고 있다. 또한, 이들 4개로 대별된 CM스킵기능 중, 상기 CM조송기능이란, 일본국내에 있어서는 통례로서 CM이 15초의 배수로 제작되어 있는 것을 이용하고, 가정용 비디오녹화 재생장치에서의 비디오재생 중에, 예를 들면 리모콘 버튼조작에 의해서 (30초) (버튼을 누른 횟수)의 시간만큼 조송을 행함으로써, CM부분을 날리는 기능이다. 이 CM조송기능에 관한 기술에 대해서는, 예를 들면 일본국 특개평 10-269651호 공보 등에 공개되어 있다. 또, 특개평 9-307841호 공보에는, 상기 CM조송기능에 있어서의 조송 종료시각을 시간으로 결정하지 않고, 영상신호의 블랙프레임과 음성신호의 무음부가 동시에 소정길이 이상에 걸쳐서 생기는 부분을, 조송종료시각으로 하는 기술이 공개되어 있다.
CM컷기능이란, 일본국내에 있어서는 CM이 스테레오 방송되는 것이 많고, 또 TV방송신호에는 음성이 모노럴 모드/스테레오 모드/음성다중 모드의 어느 것인지를 나타내는 파이럿신호가 다중되어 있는 것을 이용하여, 예를 들면 음성이 모노럴 모드 또는 음성다중모드로 되어 있는 본편을 녹화하는 경우에, 스테레오 모드구간(즉 , CM구간)만의 녹화를 정지하는 것으로, CM부분을 컷하는 것을 가능하게 하는 기능이다. 이 CM컷기능에 관한 기술에 대해서는, 예를 들면 특개평 3-158086호, 특개평 3-2622872호 등의 공보에 공개되어 있다.
방송모드에 의거한 CM스킵기능(협의의 CM스킵기능)이란, CM컷기능과 동일하게 방송모드의 틀림을 이용하는 구조이나, 상기 CM컷기능이 녹화시에 CM을 컷하고 있는데 대하여, 당해 방송모드에 의거한 CM스킵기능에서는, 녹화시에는 모든 영상 및 음성을 기록하는 동시에 그 방송모드도 기록하여 놓고, 재생시에 스테레오 방송구간(즉, CM구간)만 자동적으로 조송하는 기능이다. 이 방송모드에 의거한 CM스킵기능에 관한 기술에 대해서는, 예를 들면 특개평 5-250762호 공보등에 공개되어 있다.
방송모드에 의하지 않는 스킵기능(협의의 CM스킵기능)이란, 방송신호 중에 포함되는 음성신호의 무음구간 간격이나, 영상신호의 영상변환점(영상이 급격하게변화하는 점)의 출현간격, 영상신호의 흑레벨/백레벨의 출현간격 등을 이용하여, 이들이 15초의 배수간격에 합치하는 부분을 CM으로서 조송하는 기능이다. 당해 방송모드에 의하지 않는 CM스킵기능에 관한 기술에 대해서는, 특개평 8-317342호 공보나, 문헌 「TV방송의 CM검출방식에 대한 일검토」(영상정보 미디어학회 기술보고, VIR 97-22, 19/23(1997)) 등에 공개되어 있다.
그렇지만, 상기 CM조송기능 자체는, 가정용 비디오녹화 재생장치에서 녹화한 TV방송을 재생하여 시청하는 시청자에 대하여, CM이 어떤지의 판단을 맡기는 것이며, TV방송으로부터 자동적으로 CM부분을 검출하는 것과 같은 CM검출기능은 갖추고 있지 않다.
또, 상기 방송모드에 의거한 CM컷기능이나 CM스킵기능(협의의 CM스킵기능)에서는, 방송모드의 틀림, 즉 예를 들면 스테레오 모드에 의한 CM검출을 행하도록 되어 있으나, 예를 들면 본편자체가 스테레오 모드로 되어 있는 경우나, CM이 모노럴 모드나 음성다중 모드로 되어 있는 경우에는, 전혀 효과가 없다(즉, CM컷이나 CM스킵이 가능하지 않다).
한편, 방송모드에 의하지 않는 CM스킵기능(협의의 CM스킵기능)에서는, 시청자나 방송모드에 의존하지 않고, 방송내용에 의거한 CM검출이 가능하게 되어 있다. 단, 당해 기능의 경우는, 음성신호의 무음구간간격이나, 영상신호의 영상변환점(영상이 급격하게 변화하는 점)의 출현간격 등이, 밀리 상정되어 있는 설정치와 일치하는 것 등, 대단히 좁은 조건에 의거한 결정론적인 판정수속에 의해 CM구간을 검출하도록 되어 있다. 이것에 대하여, 실제의 방송프로그램에서는, 방송시간의 조정의 목적이나 인위적인 스위칭 등의 요인에 의해 무음구간간격이 예를 들면 단축되어 있거나 하는 경우가 적지 않게 있고, 역으로 프로그램 본편 중에도 상기의 조건을 만족시키는 구간이 많이 존재하고 있다. 이 때문에, 무음구간간격이 밀리 상정하고 있는 길이보다 짧은 CM의 경우는 전혀 검출이 되지 않게 되는 문제가 발생하고, 역으로, 상기 설정치의 조건을 만족하는 본편의 경우는, 당해 본편을 CM구간으로서 잘못하여 검출하게 되는 등의 문제점이 생기게 된다.
또한, 상기 4개의 기능에서는, 예를 들면 복수의 CM이 연속되어 방송되고 있는 경우에는, CM전체의 구간을 검출하는 것은 가능하여도, 개개의 CM의 검출은 불가능하다. 이 때문에, CM을 개별로 추출하여 시청하고 싶은 경우(요망)에는 적합하지 않다.
이상과 같은 것 때문에, TV방송신호에서 CM부분을 고정밀도로 검출 또는 검색할 수 있는 것이 소망되고 있다.
그래서, 본 발명은 이상과 같은 상황을 감안하여 이룩된 것이며, 예를 들면 TV방송신호에 포함되는 커머셜 메시지부분을 고정밀도로 검출 또는 검색가능하게 하는, 신호처리장치 및 방법을 제공하는 것을 목적으로 한다.
본 발명의 신호처리장치는, 적어도 제 1신호의 구간과 그것 이외의 신호의 구간이 시분할적으로 존재하는 입력신호로부터, 소정의 시간간격을 갖는 신호의 특징적 패턴에 의거하여 제 1신호의 후보구간을 검출하는 후보구간 검출수단과, 그 후보구간내 또는 그 전후의 입력신호로부터 제 1신호와 같은 것을 표현하는 특징량을 추출하는 특징량 추출수단과, 그 특징량에 의거한 제 1신호의 구간을 검출하는 검출수단을 가짐으로써, 상술한 과제를 해결한다.
여기서, 검출수단은 특징량에 의거하여 후보구간이 제 1신호일 가능성을 평가하는 특징량 평가수단과, 평가결과에 의거하여 제 1신호의 구간을 판정하는 판정수단을 갖는다. 혹은, 검출수단은 특징량에 의거하여, 후보구간의 신호와 별도지정한 제 1신호의 일치를 판정하는 일치판정수단을 갖는다.
다음에, 본 발명의 신호처리방법은, 적어도 제 1신호의 구간과 그 이외의 신호의 구간이 시분할적으로 존재하는 입력신호로부터, 소정의 시간간격을 갖는 신호의 특징적 패턴에 의거하여 제 1신호의 후보구간을 검출하고, 그 후보구간내 또는 그 전후의 입력신호로부터 제 1신호와 같은 것을 표현하는 특징량을 추출하고, 그 특징량에 의거한 제 1신호의 구간을 검출함으로써, 상술한 과제를 해결한다.
여기서, 제 1신호구간의 검출시에는, 특징량에 의거하여 후보구간이 제 1신호일 가능성을 평가하고, 평가결과에 의거하여 제 1신호의 구간을 판정한다. 혹은 제 1신호구간의 검출시에는, 특징량에 의거하여 후보구간의 신호와 별도지정한 제 1신호와의 일치를 판정한다.
즉 본 발명은, 예를 들면 TV방송신호의 본편과 커머셜 메시지부분과 같이, 본편신호와 커머셜 메시지신호(제 1신호)로 되는 TV방송신호의 음성 및/또는 영상신호로부터, 소정의 필수조건에 의거하여, 신호가 특징적패턴을 나타내는 CM후보구간을 추출하고, 그들 CM후보구간에 대하여 몇개의 특징으로부터 CM성을 표현하는 지표인 부가조건을 추출하고, 추출한 부가조건을 종합하여 CM의 판정을 행함으로써, 정밀도 좋은 개개의 CM의 검출을 가능하게 하는 것이다. 또, 본 발명은 상기 검출하는 부가조건의 일부 또는 전부를 기록하고, TV방송신호나 기록된 다른 CM후보와 비교함으로써, TV방송신호 또는 그것이 기록된 데이터베이스로부터 소망의 CM을 검색 가능하게 하는 것이다.
도 1은 본 발명의 제 1실시형태의 영상음성 기록장치의 개략 구성도이다.
도 2는 제 1구체예의 CM검출부의 상세한 구성도이다.
도 3은 CM검출부의 프론트엔드부에 있어서의 영상신호처리의 흐름을 나타내는 플로차트이다.
도 4는 CM검출부의 프론트엔드부에 있어서의 음성신호처리의 흐름을 나타내는 플로차트이다.
도 5는 CM검출부의 CM후보 검출기에 있어서의 동작의 흐름을 나타내는 플로차트이다.
도 6은 필수조건의 산출예의 설명에 이용하는 도면이다.
도 7은 제 1구체예의 CM검출부에 있어서의 CM후보 테이블을 나타내는 도면이다.
도 8은 CM검출부의 부가조건 산출기에 있어서의 특징량의 산출예의 설명에 이용하는 도면이다.
도 9는 부가조건 산출기의 구성도이다.
도 10은 스코어산출연산시의 단위스텝 함수, 직사각형 함수, 시그모이드형 함수의 설명에 이용하는 도면이다.
도 11은 룰판정기의 동작의 흐름을 나타내는 플로차트이다.
도 12는 최소길이 우선룰의 설명에 이용하는 도면이다.
도 13은 인접우선룰의 설명에 이용하는 도면이다.
도 14는 스코어우선룰의 설명에 이용하는 도면이다.
도 15는 제 2구체예의 CM검출부의 상세한 구성도이다.
도 16은 제 2구체예의 CM검출부에 있어서의 CM후보 테이블(확장부분만)을 나타내는 도면이다.
도 17은 제 3구체예의 CM검출부에 있어서의 CM후보 테이블(확장부분만)을 나타내는 도면이다.
도 18은 CM검출부분의 부가조건 산출기에 있어서의 소진폭횟수 계산처리를 설명하는 플로차트이다.
도 19는 소진폭횟수의 계산의 구체예를 나타내는 도면이다.
도 20은 CM검출부의 부가조건 산출기에 있어서의 소진폭구간길이 계산처리를 설명하는 플로차트이다.
도 21은 소진폭구간길이의 구체예를 나타내는 도면이다.
도 22는 진폭분산의 구체예를 나타내는 도면이다.
도 23은 본 발명의 제 2실시형태의 영상음성 기록장치의 개략 구성도이다.
도 24는 CM특징량 비교기의 동작의 흐름을 나타내는 플로차트이다.
도 25는 CM검출부를 실장하는 경우의 일예로서의 하드웨어의 구성도이다.
*도면의 주요부분에 대한 부호의 설명
1. 튜너 2. 복조기
3. 시계부 4. CM검출기
5. 영상음성 기록부 10, 13. A/D변환기
11. 프레임메모리 14. 음성신호버퍼
15. 진폭검출기 16. 상관검출기
17. 스펙트럼 검출기 18. 특징량버퍼
19. CM후보 검출기 20. 부가조건 산출기
21. 부가조건 판정기 22. 룰판정기
23. 동작제어부 101. 음원식별기
102. 프로그램 쟝르데이터 또는 프로그램 쟝르식별기
103. CM확률 데이터베이스 110. CM데이터베이스
111. CM특징량 비교기
이하, 본 발명의 바람직한 실시형태에 대하여, 도면을 참조하면서 설명한다.
우선, 본 발명실시형태의 구체적 구성에 대하여 기술하기 전에, 본 발명에 의거한, 예를 들면 TV방송신호로부터 CM부분을 검출할 때의 원리에 대하여 개설한다.
일반적으로, TV방송되는 CM은 방송자의 지정하는 규격에 의거하여 제작되기 때문에, 그 「시간길이(1개의 CM의 시간)는 극히 소수의 종류에 한정」된다. 예를 들면 일본국내에 있어서는, 특수한 예를 제외하고 거의 모든 CM이 15초, 30초, 60초의 길이로 제작되고 있다.
또, CM의 방송시에는, 프로그램 본편이나 다른 CM과는 독립적으로 제작된 것이 TV방송스트림 중에 삽입되기 때문에, 각 CM의 전후에서는 필연적으로 「음성레벨이 내리는(즉, 소음량으로 된다)」것, 및 「영상신호가 교체된다」라는 특징을 갖는다. 여기서, 「음성레벨이 내려간다」라는 것은, 반드시도 무음(여기서는 극미소한 노이즈밖에 없는 부분이라는 의미)과 동일한 의미는 아니다. 즉, 실제로는 CM과 본편과의 교체의 타이밍 등에 의해, 반드시도 완전하게 무음으로는 되지 않은 채로 교체하는 일이 있기 때문이다.
상술한 바와 같이, CM에 대한 「규정시간길이(소수종류의 시간길이)」, 「소음량」, 「영상교체」라는 3개의 특징은, 거의 모든 CM이 나타내는 패턴이다. 본 발명에서는, 이와 같이 거의 모든 CM이 나타내는 신호의 패턴을 「특징적 패턴」이라고 칭하고, 그것을 검출하기 위한 조건을 「필수조건」이라고 칭하게 한다.
따라서, TV방송신호로부터 당해 필수조건에 대응하는 신호부분을 검출하도록 하면, 오기각이 거의 없고 결정론적으로 CM의 후보(즉, CM이라고 생각되는 신호부분)를 검출하는 것이 가능해진다. 단, 프로그램 본편내에도, 우연히 그와 같은 필수조건을 만족시킨다고 하는 부분이 많이 존재하기 때문에, 상기 필수조건을 이용한 것만으로는, 프로그램 본편의 일부를 CM후보로서 오검출하게 되는 염려가 남는다.
한편에서, 상기 필수조건과 비교하여 예외는 많이 존재하는 것의, CM의 성질상 많은 CM이 만족하나 혹은 일정한 경향을 나타내는 특징으로서는, 이하와 같은 것이 있다.
1) CM의 전후(CM이 개시되는 직전과, CM이 종료하여 본편프로그램이 개시 또는 재개되기 직전)에서는, 통상의 프로그램 본편내보다도 음성레벨이 낮아지는 것이 많다.
2) CM과 프로그램 본편과의 사이 및 어떤 CM과 다른 CM과의 사이의, 거의 무음이 되는 구간길이것은, 수백밀리초 정도인 것이 많다.
3) TV방송내에 포함되는 유음구간은, CM의 규정시간길이(15초, 30초, 60초 등)보다 백밀리초 정도 이상 짧은 것이 많고, 또 1초정도 이상 짧은 것은 적다.
4) 스테레오 음성신호의 좌채널(L채널)과 우채널(R채널)의 상관치는 1보다 유의에 작은 것이 많다.
5) CM기간중은, 프로그램 본편보다 음량이 큰 경향이 있다.
6) CM의 방송모드는, 스테레오모드인 것이 많다.
7) CM구간에서는, 복수의 CM이 연속하여 방송되는 것이 많다.
8) CM기간중은, 영상컷의 교체빈도가 높은 것이 많다.
9) 역으로, CM기간중이라도, 컷의 교체빈도가 극단으로 낮은 것이 있다(예를 들면 정지화에 의한 CM 등).
10) 프로그램 본편과 CM과의 경계나, 어떤 CM과 다른 CM의 경계에서는, 음질이 크게 변화하는 것이 많다.
11) CM은, 음성과 음악을 동시에 포함하는 것이 많다.
12) 프로그램 편성상, 매시 정확한 시각근방에서는, CM이 방송되는 확률이 높다.
13) 동일하게, 매시 30분부근에서도 CM이 방송되는 확률이 높다.
14) 프로그램의 쟝르에 의해 CM이 방송되는 확률이 높은 시간대가 있다(예를 들면, 축구중계의 하프타임 등).
본 발명에서는, 이하, 이들의 특징에 의거한 조건을 「부가조건」이라고 칭하기로 한다. 즉, 당해 부가조건은, CM이 규격에 의거하여 제작된다는 제약, 짧은 시간으로 선전효과를 높이기 위한 것이라는 제약 및 프로그램 구성상의 사정 등에 의한 제약하에서 제작된 결과로서, TV방송신호 상에 나타나 오는 것에 의한 조건이다. 따라서, 이 부가조건은 결정론적인 취급을 할 수 있을 정도의 확실한 조건이 아니지만, CM일 가능성(CM성)을 평가할 때의 유효한 조건이 된다.
또한, TV방송에 있어서는, 시간에 동일 채널에서 복수의 영상 및 음성이 방송되는 것은 물리적으로 있을 수 없다는 특징이 있다. 즉, TV방송신호로부터 CM이라고 생각되는 신호부분(CM후보)을 검출하고자 하는 경우에 있어서, 예를 들면 TV방송신호 중에 상기 부가조건을 만족하는 복수의 영상 및 음성구간이 오버랩하여 존재하고, 어떠한 처리의 결과, 당해 오버랩구간에서 CM후보가 검출되었다고 하여도, 그 오버랩하고 있는 복수의 영상 및 음성내의 적어도 어느 쪽의 구간은, 옳은 CM구간에서는 있을 수 없다. 본 발명에서는, TV방송에 있어서의 이와 같은 특징에 의거한 조건을 「논리조건」이라고 칭한다.
본 발명에서는, 이상 설명한 「필수조건」, 「논리조건」, 「부가조건」을 합리적 또한 효과적으로 이용함으로써, TV방송신호로부터 고정밀도로 CM부분을 검출 가능하게 하고 있다.
보다 구체적으로 말하면, 본 발명에서는 「필수조건」에 의거한, 결정론적으로 TV방송신호 중에서 CM후보(CM이라고 생각되는 신호부분)를 추출하고, 「부가조건」에 의거한 CM성(CM일 가능성)의 통계론적인 평가에 의해 CM후보를 선택하고, 「논리조건」에 의해 CM후보의 오버랩관계를 해소함으로써, 정밀도가 높은 CM검출을 실현하는 것이다.
도 1에는 상술한 바와 같이 TV방송신호로부터 CM을 검출가능하게 한, 본 발명의 제 1실시형태로서의 영상음성 기록장치의 개략구성을 나타낸다.
도 1에 있어서, 안테나(6)에 의해 수신된 TV방송신호는, 튜너(1)에 의해 동조되고, 방송신호(1a)로서 복조기(2)에 입력한다.
복조기(2)는, 입력된 방송신호(1a)에 포함되는 파이럿신호의 변조주파수로부터, 그 입력시간점에서의 방송모드(모노럴 모드/스테레오 모드/음성다중 모드)를 판별하고, 또 방송신호(1a)에 포함되는 영상 및 음성의 변조신호를 복조한다. 이때, 음성변조신호는 상기 판별한 방송모드에 따라서 복조된다. 당해 복조기(2)에 의해 복조된 영상신호(2a), 음성신호(2b) 및 방송모드신호(2c)는 CM검출부(4)에 입력된다. 또, 영상신호(2a), 음성신호(2b)는 영상음성 기록부(5)에도 입력된다.
영상음성 기록부(5)는, 자기테이프, 자기디스크, 광디스크 혹은 광자기디스크 등을 기록매체로서 이용하고, 상기 영상신호(2a) 및 음성신호(2b)를 기록재생 가능한 장치이다. 또한, 영상음성 기록부(5)는, 영상신호 및 음성신호에 대하여 부호화나 압축 등을 시행하여 기록하고, 재생시에는 그 부호화나 압축된 영상신호 및 음성신호를 복호화, 신장하는 장치라도 좋다.
시계부(3)는, 시각을 나타내는 시간신호(3a)를 발생하고, 당해 시간신호(3a)를 CM검출부(4)에 공급한다.
CM검출부(4)는, 본 발명의 주요부이며, 상세에 대해서는 후술하나, 상기 복조기(2)로부터의 영상신호(2a), 음성신호(2b), 방송모드신호(2c)와, 시계부(3)로부터의 시간정보(3a)를 입력하고, 방송신호(1a)의 영상 및 음성신호에 포함되는 CM구간을 검출하고, 그 개시시각과 길이를 CM검출출력(4a)으로서 출력한다. 당해 CM검출부(4)에 의한 CM검출출력(4a)은, 영상음성 기록부(5)에 보내지고, 상기 영상신호(2a) 및 음성신호(2b)와 함께 기록된다.
또, 이 CM검출부(4)에는, 튜너(1)로부터 상기 동조된 방송채널을 나타내는 채널정보(1b)도 공급된다. 당해 채널정보(1b)는, CM이 포함되지 않는 방송채널이 지정되었는지 아닌지를 CM검출부(4)에 있어서 판정하기 위해 이용된다. 즉, CM검출부(4)는, 상기 채널정보(1b)에 의해, 상기 튜너(1)에 있어서 명확하게 CM이 방송되지 않는 방송채널의 지정이 되어 있다고 판단한 경우, 상기 CM검출동작을 행하지 않도록 한다. 또한, 여기서는, CM검출부(4)자신이 채널정보(1b)에 의거하여 CM검출동작을 행하는지 아닌지 판단하는 것으로 하고 있으나, 튜너(1)가 채널정보(1b)에 의해 CM검출부(4)에서의 CM검출동작을 제어하도록 하여도 좋다.
이상, 튜너(1), 복조기(2), 시계부(3), 영상음성기록부(5)에 나타낸 각 구성요소는, 현재 널리 알려져 있는 비디오장치 등의 자기기록 재생장치의 것과 동일하기 때문에, 이하에서는 CM검출부(4)에 한하여 상세히 설명한다.
도 2에는, 상기 CM검출부(4)의 제 1구체예의 상세한 구성을 나타낸다. 또한, 이 도 2 중의 각 신호 중, 도 1과 공통의 신호에 대해서는, 도 1과 동일 지시부호를 붙이고 있다. 또, 당해 CM검출부(4)는 대별하여, 프론트엔드부와 백엔드부로 구성되어 있다. 또, 도면 중의 동작제어부(23)는, 튜너(1)로부터 공급된 상기 채널정보(1b)에 의거하여, 상기 튜너(1)에 있어서 명확하게 CM이 방송되지 않는 방송채널의 지정이 되어 있는지 아닌지 판단하고, 그 판단결과에 따라서 당해 도 2의 각 부에 있어서의 CM검출동작을 행하지 않도록 제어하는 것이다.
우선, 도 2의 프론트엔드부에서 설명한다.
이 도 2에 있어서, 도 1의 복조기(2)로부터 공급된 영상신호(2a)는, A/D변환기(10)에서 디지털화되고, 프레임메모리(11)에 축적된다. 또한, 프레임메모리(11)는 적어도 2프레임분의 영상신호를 축적 가능한 메모리이다. 당해 프레임메모리(11)로부터 프레임마다 독출된 영상신호는, 컷체인지 검출기(12)에 보내진다.
컷체인지 검출기(12)는, 프레임메모리(11)로부터 공급된 프레임마다의 영상신호에 의거하여, 영상이 급격하게 변화하는 프레임(이하, 영상변화 프레임이라고 부른다)과, 휘도가 동일하게 되는 프레임(이하, 동일휘도 프레임이라고 부른다)을 검출한다.
즉, 컷체인지검출기(12)는, 프레임메모리(11)에 축적된 시간적으로 인접하는 2개의 프레임영상간에서, 각 화상마다에 휘도의 차이분의 자승계를 구하고, 당해 자승계가 소정의 역치를 초과한 경우에, 상기 인접하는 2개의 프레임 중의 시간적으로 후의 프레임을, 상기 영상이 급격히 변화하는 영상변화 프레임으로서 검출한다. 또, 컷체인지 검출기(12)는, 프레임메모리(11)에 축적된 각 프레임영상의 휘도의 분산을 구하고, 그 휘도의 분산치가 소정의 역치 이하인 경우에, 그 프레임을 일양휘도 프레임으로서 검출한다. 또한, 프레임의 간격(NTSC방식에서는 약30ms)이 후술하는 음성신호처리에 있어서 설명하는 프레임주기와 일치하지 않는 경우에는, 당해 프레임간격을 재 이산화함으로써, 프레임주기와 일치시켜 놓도록 한다.
이하, 당해 컷체인지 검출기(12)에 있어서의 영상변화 프레임과 일양휘도 프레임의 검출에 대하여, 보다 구체적으로 설명한다.
여기서, 이산화된 영상신호의 횡사이즈를 X, 종사이즈를 Y, 종횡의 화소번호를 x, y로 하고, 제 n프레임의 영상을 In(x, y), 당해 제 n프레임에 대하여 시간적으로 1프레임전의 제 n-1프레임의 영상을 In-1(x, y)로서 나타내면, 제 n프레임과 제 n-1프레임의 사이의 각 화소마다의 휘도차이분의 자승계(D[n])는 수학식 1에 의해 얻어지고, 또 제 n프레임의 휘도분산치(V[n])는 수학식 2에 의해 얻어진다.
또, 이때의 컷체인지 검출기(12)의 검출출력(C[n])은, 수학식 3에 의해 표현된다.
단, 식 중의 Dthsd는, 상기 영상변화 프레임을 검출할 때의 상기 자승계에 대한 소정의 역치이며, Vthsd는 상기 일양휘도 프레임을 검출할 때의 상기 휘도의 분산에 대한 소정의 역치이다.
당해 컷체인지 검출기(12)의 검출출력(C[n])은, 영상신호에 대한 특징량으로서 특징량버퍼(18)로 보내진다.
또한, 상기 2개의 프레임영상간에서 휘도차이분을 구할 때에는, 2프레임분의 영상신호를 축적가능한 메모리가 필요하게 되고, 또 2프레임분의 영상신호에 대한 연산량도 필요하게 된다. 그래서, 예를 들면 프레임 영상전면을 동시에 처리하는 대신에, 프레임영상을 적절한 소블록마다로 나누고, 그 소블록마다에 휘도차이분을 구하도록 하거나, 혹은 프레임영상간의 각 화소마다에 휘도차이분을 구하지 않고, 각 프레임영상마다에 휘도히스토그램을 구하여, 그 휘도히스토그램의 프레임간 차이분을 구하도록 하거나, 또는, 각 프레임영상마다 평균휘도를 구하여, 그 평균휘도의 프레임간 차이분을 구하도록 하므로, 메모리용량이나 연산량을 줄이것은 것도 가능하다. 역으로, 메모리나 연산량에 여유가 있는 경우에는, 예를 들면 컬러영상에 있어서의 R(적), G(록), B(청)성분과 같은 컬러성분마다, 상기 휘도차이분이나 컬러히스토그램 차이분을 구하는 것으로, 보다 검출정밀도를 높이것은 것도 가능하다.
다음에, 도 1의 복조기(2)로부터 공급된 음성신호(2b)는, A/D변환기(13)에서 디지털화되고, 음성신호버퍼(14)에 축적된다. 또한, 음성신호버퍼(14)는, 적어도 소정시간(T1)(예를 들면 30ms, 이하, 이것을 프레임길이로 한다)분의 좌(L)우(R) 2채널의 스테레오 음성신호를 축적 가능한 메모리이다. 당해 음성신호버퍼(14)로부터 독출된 음성신호는, 진폭검출기(15), 상관검출기(16), 스펙트럼검출기(17)에 보내진다.
진폭검출기(15)는, 음성신호버퍼(14)에 축적된 음성신호를 이용하여, 소정의 시간(T2)(예를 들면 15ms, 이하, 이것을 1프레임주기라고 한다)마다의 단시간 평균자승진폭을 검출한다. 즉, 진폭검출기(15)는, 음성신호버퍼(14)에 좌우 2채널의 스테레오 음성신호가 축적되어 있는 경우, 당해 음성신호버퍼(14)로부터 독출된 좌우 2채널의 스테레오 음성신호 SL[m], SR[m]로부터, 소정의 시간(T2)(15ms, 1프레임주기)마다, 단시간 평균자승진폭을 검출한다. 또한, 상기 m(m = 0, ..., M-1)은, 이산화된 시간을 표현하는 버퍼내의 샘플번호이며, 최대번호(M)가 1프레임길이 T1에 대응한다.
보다 구체적으로 설명하면, 진폭검출기(15)는, 제 n프레임에 있어서의 좌우 2채널의 음성신호의 평균자승진폭(A[n])을 수학식 4에 의해 계산한다. 즉, 평균자승진폭은, 15ms(1/2프레임)마다 계산되고, 그 15ms마다의 평균자승진폭의 30ms(1프레임)의 기간에 있어서의 평균치가 다시 연산되고, 최종적인 1프레임의 평균자승진폭으로 된다.
당해 진폭검출기(15)의 검출출력인 평균자승진폭(A[n])은 음성신호에 대한 특징량의 하나로서 특징량버퍼(18)에 보내진다.
상관검출기(16)는, 음성신호버퍼(14)에 축적된 음성신호를 이용하여, 1프레임마다의 음성신호에 대하여 규격화 전의 상관계수를 검출하는 동시에, 후단에서 행해지는 규격화를 위한 단시간 에너지도 동시에 검출한다. 즉, 상관검출기(16)는, 음성신호버퍼(14)에 좌우 2채널의 스테레오 음성신호가 축적되어 있는 경우, 당해 음성신호버퍼(14)로부터 독출된 좌우 2채널의 스테레오 음성신호(SL[m], SR[m])로부터, 1프레임마다의 좌우 2채널의 음성신호에 대하여 규격화 전의 상관계수를 검출하는 동시에, 후단에서 행해지는 규격화를 위한 단시간 에너지도 동시에 검출한다.
보다 구체적으로 설명하면, 상관검출기(16)는 제 n프레임에 있어서의 좌우 2채널의 음성신호의 상관계수(ALR[n])를 수학식 5에 의해 계산하고, 좌채널의 음성신호 에너지(ALL[n])를 수학식 6에 의해 계산하고, 우채널의 음성신호 에너지(ARR[n])를 수학식 7에 의해 계산한다.
당해 상관검출기(16)의 검출출력인 상관계수(ALR[n])와 음성신호 에너지(ALL[n], ARR[n])는, 각각이 음성신호에 대한 특징량의 하나로서 특징량버퍼(18)에 보내진다.
스펙트럼 검출기(17)는, 음성신호버퍼(14)에 축적된 음성신호를 이용하여, 단시간 스펙트럼을 계산한다. 즉, 스펙트럼 검출기(17)는, 음성신호버퍼(14)에 좌우 2채널의 스테레오 음성신호가 축적되어 있는 경우, 당해 음성신호버퍼(14)로부터 독출된 좌우 2채널의 스테레오 음성신호 SL[m], SR[m]로부터, 단시간 스펙트럼을 계산한다.
보다 구체적으로 설명하면, 스펙트럼 검출기(17)는 제 n프레임에 있어서의 좌우 채널의 음성신호의 이산스펙트럼(F[k;n])을 구한다. 또한, k = 0, ..., K-1을 이산화된 주파수를 표현하는 번호로 하면, 이산스페트럼(F[k;n])은 수학식 8에 의해 표현된다.
이 수학식 8의 연산은, 예를 들면 고속푸리에변환(FFT) 또는 선형예측분석(LPC) 등을 이용하여 실현된다.
당해 스펙트럼 검출기(17)의 계산출력인 단시간 이산스펙트럼(F[k;n])은, 음성신호에 대한 특징량의 하나로서 특징량버퍼(18)로 보내진다.
다음에, 도 1의 복조기(2)로부터 공급된 방송모드신호(2c)는, 상술한 음성신호처리의 프레임에 맞춰서 이산화된 수치가 된다.
보다 구체적으로 설명하면, 제 n프레임에 있어서의 방송모드신호(2c)는, 예를 들면 수학식 9와 같은 수치(B[n])가 된다.
이 방송모드신호(2c)를 이산화한 수치(B[n])는, TV방송신호의 특징량의 하나로서 특징량버퍼(18)에 보내진다.
동일하게, 도 1의 시계부(3)로부터 공급된 시간신호(3a)도, 음성신호처리의 프레임에 맞춰져서 이산화된 수치(T[n])로 되고, 특징량의 하나로서 특징량버퍼(18)에 보내진다.
특징량버퍼(18)는, 상기 컷체인지 검출기(12)로부터의 검출출력(C[n])과, 진폭검출기(15)로부터의 평균자승진폭(A[n])과, 상관검출기(16)로부터의 상관계수 (ALR[n]), 음성신호에너지(ALL[n], ARR[n])와, 스펙트럼 검출기(17)로부터의 단시간 이산스펙트럼(F[k;n])과, 방송모드신호(2c)의 이산화수치(B[n])와 시간신호(3a)의이산화수치([n])로 이루는, 수학식 10에 나타내는 특징량(G[n])을 소정의 시간(T3)에 걸쳐서 축적한다. 또한, 시간(T3)은 CM부분을 최저라도 1개 이상에 걸쳐서 기억할 수 있는 시간이며, 예를 들면 80초 등으로 한다.
이상의 A/D변환기(10)로부터 특징량버퍼(18)까지가 도 2에 나타낸 CM검출부(4)의 프론트엔드부의 구성이며, 이하 도 3, 도 4의 플로차트를 이용하여 당해 프론트엔드부에 있어서의 처리의 흐름을 설명한다. 또한, 도 3의 스텝(S30)내지 (S32)까지는 영상신호(2a)에 대한 처리의 흐름을 표현하고 있고, 도 4의 스텝(S33)내지 (S40)까지는 음성신호(2b) 및 방송모드신호(2c), 시간신호(3a)에 대한 처리의 흐름을 표현하고 있다.
우선, 영상신호(2a)에 대한 처리의 흐름을 나타내는 도 3에 있어서, 프론트엔드부는 스텝(S30)의 처리로서, A/D변환기(10)에 의해 디지털화된, 적어도 1프레임분의 영상신호(2a)를 프레임메모리(11)에 축적한다. 이 프레임메모리(11)는, 1프레임분의 영상신호(2a)를 1샘플로서 취급하도록 되어 있고, 1프레임분의 영상신호(2a)가 입력되면, 당해 프레임메모리(11)내에 이미 축적되어 있는 영상신호(2a)가 1프레임분 시프트하고, 가장 시간적으로 과거에 입력된 1프레임의 영상신호(2a)가 압출되어 출력되도록 되어 있다.
다음에, 프론트엔드부는, 스텝(S31)의 처리로서, 프레임메모리(11)로부터 영상신호(2a)를 독출하여 컷체인지 검출기(12)에 보내고, 상술한 바와 같이 하여 검출출력(C[n])을 구한다.
그 후, 프론트엔드부는 스텝(S32)의 처리로서, 당해 검출출력(C[n])을 특징량버퍼(18)에 축적한다.
한편, 음성신호(2b)에 대한 처리의 흐름을 나타내는 도 4에 있어서, 프론트엔드부는, 스텝(S33) 및 스텝(S34)의 처리로서, A/D변환기(13)에 의해 디지털화된, 음성신호(2b)를 음성신호버퍼(14)에 입력하는 것과 동시에, 당해 음성신호버퍼(14)에 적어도 1프레임주기(T2)분의 음성신호(2b)를 축적한다. 이 음성버퍼(14)는 1프레임주기(T2)분의 음성신호(2b)를 1샘플로서 취급하도록 되어 있고, 1프레임주기(T2)분의 음성신호(2b)가 입력되면, 당해 음성버퍼(14)내에 이미 축적되어 있는 음성신호(2b)가 1프레임주기(T2)분만큼 시프트하고, 가장 시간적으로 과거에 입력된 1프레임주기(T2)분의 음성신호(2b)가 압출되어서 출력되도록 되어 있다.
상기 음성신호버퍼(14)에 적어도 1프레임주기(T2)분의 음성신호(2b)가 축적되면, 프론트엔드부는 스텝(S35)의 처리로서, 당해 음성신호버퍼(14)에 축적된 음성신호(2b)를 독출하여 진폭검출기(15)에 보내고, 상술한 바와 같이 하여 평균자승진폭(A[n])을 구한다.
동시에, 프론트엔드부는 스텝(S36)의 처리로서, 음성신호버퍼(14)에 축적된 음성신호(2b)를 상관검출기(16)에 보내고, 상술한 바와 같이 하여,상관계수(ALR[n])와 음성신호 에너지(ALL[n], ARR[n])를 구한다.
또 동시에, 프론트엔드부는 스텝(S37)의 처리로서, 음성신호버퍼(14)에 축적된 음성신호(2b)를 스펙트럼 검출기(17)에 보내고, 상술한 바와 같이 하여 단시간 이산스펙트럼(F[k;n])을 구한다.
또한, 프론트엔드부는 스텝(S38)의 처리로서, 도 1의 복조기(2)로부터 공급된 방송모드신호(2c)로부터, 상술한 바와 같이 이산화한 수치(B[n])를 구하는 동시에, 도 1의 시계부(3)로부터 공급된 시간신호(3a)로부터 상술과 같이 이산화된 수치(T[n])를 구한다.
프론트엔드부는, 이상과 같이 하여 구해진, 상기 컷체인지 검출기(12)로부터의 검출출력(C[n])과, 진폭검출기(15)로부터의 평균자승진폭(A[n])과, 상관검출기(16)로부터의 상관계수(ALR[n]), 음성신호 에너지(ALL[n], ARR[n])과, 스펙트럼 검출기(17)로부터의 단시간 이산스펙트럼(F[k;n])과, 방송모드신호(2c)의 이산화수치(B[n])와, 시간신호(3a)의 이산화수치(T[n])로 이루는 특징량(G[n])을 특징량버퍼(18)에 축적한다.
도 2로 되돌아가 백엔드부의 설명을 행한다. 또한, 이하의 설명에 있어서, 번호(n)은 특징량버퍼(18)내에 프레임마다 축적되는 특징량의, 각 프레임번호를 나타내는 것이다. 또, 최신프레임의 특징량을 G[0]으로 하고, 과거의 프레임의 특징량이 되는 것에 따라서 n의 값이 증가하고, 새로운 프레임의 특징량이 입력된 경우에는, 모든 데이터가 하나씩 시프트(프레임번호가 하나씩 시프트)하는 것이다.
도 2에 있어서, 특징량버퍼(18)에 축적된 특징량은, 프레임마다 CM후보 검출기(19)에 보내진다.
당해 CM후보검출기(19)는, 거의 모든 CM이 충족되고, 상술한 「필수조건」에 의거한, 프레임마다 CM구간의 후보를 산출한다. 여기서, 필수조건이란, 상술한 바와 같이, CM의 음성신호가 「소음량」인 것, 즉, 음성신호의 음량이 소정의 역치 이하로 되어 있는 프레임(이하, 음량조건이라고 부른다)이며, 또한, CM의 「영상교체」가 있는 것, 즉 영상신호가 급격하게 변환하는 프레임 또는 일양한 휘도가 되는 프레임(이하, 영상조건이라고 부른다)이며, 또한, 「규정시간길이(소수종류의 시간길이)」인 것, 즉, 상기 음량조건과 영상조건을 충족하는 2개의 프레임의 간격이 소정의 CM길이와 합치하는 구간(이하, 시간조간이라고 부른다)이 되는 조건이며, 구체적으로, 상술한 특징량을 이용하여 이하와 같은 수학식 11에서, 또한 수학식 12에서 또한 수학식 13의 조건으로서 써내려갈 수 있다.
단, Athsd는 소정의 자승진폭의 역치이며, n1, n2, n3은 각각 CM길이로서 규정되어 있는 시간길이(본 실시형태에서는, 일례로서 15초, 30초, 60초의 3종류의 시간길이가 있는 경우를 설명에 이용하고 있다)를, 프레임주기단위로 환산한 수이다. 또한, CM의 실제의 방송시간에는 오차가 있기 때문에, 실용상은, n1, n2, n3에는 각각 다소의 폭을 갖게 한다.
여기서, 도 5를 이용하여, 상기 CM후보 검출기(19)의 동작의 흐름을 설명한다.
도 5에 있어서, 특징량버퍼(18)에서는, 스텝(S50)의 버퍼시프트처리와 스텝(S51)의 특징량 입력처리로서, 도 3의 스텝(S32)에서 설명한 프레임메모리와 도 4의 스텝(S40)에서 설명한 음성신호버퍼와 동일하게, 1프레임단위의 입력, 시프트 및 출력의 동작을 행하도록 되어 있다. 즉, 특징량버퍼(18)는, 1프레임분의 특징량을 1샘플로서 취급하도록 되어 있고, 1프레임분의 특징량이 입력되면, 당해 특징량버퍼(18)내에 이미 축적되어 있는 특징량이 1프레임분만 시프트하고, 가장 시간적으로 과거에 입력된 1프레임분의 특징량이 압출되어 출력되도록 되어 있다.
상기 스텝(S50)및 스텝(S51)의 처리에 의해, 특징량버퍼(18)로부터 프레임(1샘플)분의 특징량이 입력되면, CM후보 검출기(19)는 스텝(S52) 및 스텝(S53)의 처리로서, 1프레임(샘플)에 특징량이 상기 필수조건의 음량조건, 영상조건, 시간조건을 충족시키는지 아닌지의 평가를 행한다. 즉, CM후보검출기(19)는 스텝(S52)에 있어서, 우선 최초의 프레임의 평균자승진폭(A[0])과 소정의 자승진폭의 역치(Athsd)를 비교하고, 다음에 스텝(S53)의 처리로서, 상기 검출출력(C[0])이 1이 되는지 아닌지 조사함으로써, 당해 프레임이 상기 필수조건인 음량조건, 영상조건, 시간조건을 만족하는지 아닌지의 판정을 행한다. CM후보 검출기(19)에서는, 이들 스텝(S52, S53)의 판정처리의 결과, 상기 평균자승진폭(A[0])이 소정의 자승진폭의 역치(Athsd)를 초과하지 않고, 또한, 상기 필수조건을 만족하고 있다고 판정한 경우, 당해 프레임을 CD후보로서 스텝(S57) 이후(스텝(S54) 내지 스텝(S56)에 대해서는 후술한다)의 처리로 진행하고, 역으로, 상기 평균자승진폭(A[0])이 소정의 자승진폭의 역치(Athsd)를 초과하였는지, 혹은 상기 필수조건을 만족하고 있지 않다고 판정한 경우, 당해 프레임이 CM후보로는 되지 않는다고 하여 스텝(S50)의 처리로 되돌아간다.
상기 스텝(S52, S53)의 각 판정처리의 결과, 상기 평균자승진폭(A[0])이 소정의 자승진폭의 역치(Athsd)를 초과하지 않고, 또한 상기 필수조건을 만족하고 있다고 판정된 경우, CM후보 검출기(19)는, 스텝(S57)의 처리로서 CM개시 프레임(ns)을 검색하고, 다음에, 스텝(S58)의 처리로서 CM종료 프레임(ne)의 검색을 행하고, 다시 스텝(S59)의 처리로서 CM개시시각(Ts)을 계산하고, 스텝(S60)으로서 CM길이(W)를 계산한다.
CM후보 검출기(19)는, 이상의 스텝(S57 내지 S60)의 검색 및 계산을 행한 후, 스텝(S61)에 있어서 후술하는 CM후보 테이블을 참조하고, 만약, CM개시시각(Ts) 및 CM길이(TW)의 일치하는 후보가 이미 당해 CM후보 테이블 중에 존재한다면, 그대로 다시 스텝(S54 내지 S56)의 처리로 되돌아가고, 역으로 존재하지 않는 경우에는, 새로운 CM후보로서 CM후보 테이블에 추가한 후, 다시 스텝(S54 내지 S56)의 처리로 되돌아간다.
스텝(S54 내지 S56)에서는, 모든 시간길이에 대하여 상기와 동일한 처리를 행한 후, 스텝(S50)으로 되돌아가고, 다음의 입력에 대하여 동일처리를 반복하는 것을 나타내고 있다.
또한, 상기 CM개시 프레임(ns)이란, n1, n2, n3로 표현하는 각 프레임중 시간조건에 합치한 프레임으로부터 최신프레임의 방향으로 향하여, 평균자승진폭(A[n])이 자승진폭의 역치(Athsd)를 초과하는 최초의 프레임번호이다. 또, CM종료 프레임(ne)이란, 0번째의 프레임에서 과거의 방향으로 향하여, 평균자승진폭(A[n])이 자승진폭의 역치(Athsd)를 초과하지 않는 최후의 프레임번호이다. 또한, CM개시시각(TS)은 CM개시 프레임번호(ns)를 이용하여 TS= T[ns]로서 구해진다. 동일하게 CM길이(TW)는 TW= T[ne] - T[ns]로서 구해진다.
여기서, 도 6에 상기 필수조건의 산출예를 나타낸다. 이 도 6에 나타내는A[n]의 항에 있어서, 「o」는 자승진폭의 역치(Athsd)미만의 평균자승진폭을 갖는 프레임을 나타내고, 「x」는 자승진폭의 역치(Athsd) 이상의 평균자승진폭을 갖는 프레임을 나타내고 있다. 이 예에서는, A[0], C[0] 및 A[n1], C[n1]가 조건을 만족하고, n1에서 좌편으로 최초로 A[n] = x가 되는 프레임이 ns, 0보다 우편에 연속하는 최후의 A[n] = o가 되는 프레임이 ne가 된다.
이상의 처리에 의해, CM후보 검출기(19)에서는, 1프레임(1샘플)의 특징량이 입력될 때마다 CM후보의 검출을 행하고, CM후보가 검출된 경우에는 CM후보 테이블에 엔트리한다.
도 7에는 CM후보 테이블의 구성예를 나타낸다. 이 도 7에 있어서, CM후보테이블의 항목은 개시시각(Ts), 길이(Tw) 및 후술하는 부가조건 산출기(20)에서 산출하는 특징량(Q1내지 Q11) 및 후술하는 부가조건 판정기(21)에서 산출하는 스코어(R)와 스코어판정결과(Z)로 이루어진다. CM후보 검출기(19)에 의한 CM후보 테이블(19a)의 단계에서는, 개시시각(Ts), 길이(Tw)만이 기술된다. 이와 같이, CM후보 테이블은 CM후보 검출기(19)에서 얻어지는 CM개시시각(Ts), 길이(Tw)와, 부가조건 산출기(20)에서 산출되는 특징량(Q1내지 Q11)과, 부가조건 판정기(21)에서 산출되는 스코어(R) 및 스코어판정결과(Z)를 기술하고, 그들 특징량을 관리하기 위한 표이다. 또, CM후보 테이블은 그 엔트리가 CM인지 아닌지의 판정을 받아들일 때까지 유지되고, CM이라고 판정된 경우에는, 후술하는룰판정기(22)로부터 CM검출출력(4a)으로서 출력되고, CM이 아니라고 판단된 경우에는 파기된다.
상기 CM후보 검출기(19)에 의해 개시시각(Ts), 길이(Tw)만이 기술된 CM후보 테이블(19a)은 부가조건 산출기(20)에 보내진다.
부가조건 산출기(20)에서는, CM후보 테이블(19a)에 엔트리된 후보구간으로부터 특징량버퍼(18)를 참조하면서, 이하에 나타내는 바와 같은 특징량(Q1내지 Q11)을 추출하고, 그것을 CM후보 테이블(19a)에 추가 기술하고, CM후보 테이블(20a)로서 부가조건 판정기(21)에 출력한다.
도 8에는 당해 부가조건 산출기(20)에 있어서의 특징량(Q1내지 Q11)의 산출예를 나타낸다.
이 도 8에 있어서, 횡축은 프레임번호(이산시간에 상당)를 나타내고, 도 8(A)는 컷체인지 검출출력(C[n]), 도 8(B)는 방송모드신호(2c)의 이산화수치(B[n]), 도 8(C)는 음성신호의 단시간 이산스펙트럼(S[k, n]), 도 8(D)는 음성신호의 평균자승진폭(A[n])을 나타내고, n1의 간격(도면중 점선으로 끼워진 구간)이 CM후보이다. 또한, 도 8(A)에 있어서, 도면중 CT로 나타내는 위치는 컷체인지 검출출력(C[n])이 1로 되어 있는 위치(즉, 컷체인지가 검출된 위치)를 나타내고 있다. 또, 도 8(B)에 있어서, 도면중 M으로 나타내는 구간은 그 구간이 어느 방송모드로 되어 있는 것을 나타내고 있다. 도 8의 (C)에 있어서, 도면중 S1, S2, S3, S4는 어느 스펙트럼성분이 존재하는 것을 나타내고, 도 8(D)에 있어서, 도면중 AM은 자승진폭의 변화를 나타내고 있다. 또, 도면중 Q1에서 Q11은 상기 부가조건 산출기(20)에서 특징량(Q1내지 Q11)이 계산되는 장소를 나타내고 있다.
이하, 부가조건산출기(20)에서 산출되는 각 특징량(Q1내지 Q11)에 대하여 개개로 설명한다.
특징량(Q1)은 앞 브레이크길이이다. 당해 앞 브레이크길이란, CM후보구간 직전의 소음량구간(앞 브레이크구간이라고 칭한다), 즉 연속하여 A[n]가 소정의 역치(Athsd) 이하인 시간길이이며, 도 8중의 일점쇄선으로 끼워진 구간길이(BB)가 앞 브레이크길이(Q1)이다.
특징량(Q2)은 뒤 브레이크길이이다. 당해 뒤 브레이크길이란, CM후보구간 직후의 소음량구간(뒤의 브레이크구간이라고 칭한다), 즉 연속하여 A[n]가 소정의 역치(Athsd) 이하인 시간길이이며, 도 8중의 일점쇄선으로 끼워진 구간길이(AB)가 뒤의 브레이크길이(Q2)이다.
특징량(Q3)은 앞 브레이크의 최소진폭이다. 당해 앞 브레이크의 최소진폭(Q3)은, 상기의 앞 브레이크구간에 있어서의 A[n]의 최소치이다.
특징량(Q4)은 후 브레이크의 최소진폭이다. 당해 후 브레이크의 최소진폭(Q4)은 상기의 후 브레이크구간에 있어서의 A[n]의 최소치이다.
특징량(Q5)은 좌우상관치이다. 당해 좌우상관치(Q5)는 CM후보구간의 음성의 좌우 2채널의 음성신호(SL[m], SR[m])의 상관치이다. 이것은 수학식 5 내지 수학식 7의 ALR[n], ALL[n], ARR[n]을 이용하여, 수학식 14에 따라서 산출할 수 있다.
이 수학식 14의 연산에서는, 프레임의 오버랩에 의해 원파형이 부분적으로 복수회 가산되게 되나, 그것은 이 시스템에 실질적인 영향은 미치지 않는다. 또, 원파형을 그대로 유지할 수 있을 만큼의 메모리용량 및 처리속도가 있는 경우에는, 이 연산은 원파형의 상호상관과 치환할 수도 있다.
특징량(Q6)은 평균진폭치이다. 당해 평균진폭치(Q6)는, CM후보구간의 음성신호의 진폭의 RMS치(평균자승진폭)이다. 이것은 수학식 15에 의해 계산할 수 있다.
이 수학식 15의 연산에서는, 상기 좌우 상관연산의 경우와 동일하게, 프레임의 오버랩차제에서는 원파형이 부분적으로 복수회 가산되게 되나, 그것은 실제적인 영향을 미치지 않는다. 또, 원파형을 그대로 유지할 수 있을 만큼의 메모리용량 및 처리속도가 있는 경우에는, 이 연산은 원파형의 RMS연산과 치환할 수도 있다.
특징량(Q7)은 컷수이다. 당해 컷수(Q7)는, CM후보구간 중에 존재하는 컷체인지의 횟수(상기 CT의 수)를 계산하는 연산이 된다. 즉 이것은, [ns, ne)의 구간에서 C[n] = 1이 되는 횟수를 계산하는 연산이 된다.
특징량(Q8)은 방송모드이다. 여기서의 방송모드는, CM후보구간 중에서 가장 지배적인 방송모드의 것이다. 이것은, [ns, ne)의 구간의 B[n]치 중에서, 가장 빈발하는 방송모드(Q8)를 선택하는 연산이다.
특징량(Q9)은 인접후보수이다. 당해 인접후보수(Q9)는, 어느 CM후보에 대하여 그 전후에 있는 유음구간도 CM후보인지 어떤지를 나타내고, 양측 모두 CM후보라면 「2」, 한쪽만 CM후보라면 「1」, 어느 쪽도 CM후보가 아니라면 「0」의 값을 취한다. 이 연산은, CM후보 테이블을 검출하는 것으로 행해지고, 개시시각(TS)과 길이(TW)와 뒤 브레이크길이(Q2)의 합(TS+ TW+ Q2)이, 다른 CM후보의 개시시각(T'S)과 일치하는지 어떤지로 후측후보의 판정이 행해진다. 동일하게, 개시시각(TS)과 앞 브레이크길이(Q1)의 차이(TS- Q1)가, 다른 CM후보의 개시시각(T'S)과 길이(T'W)의 합(T'S+ T'W)과 일치하는지 어떤지로, 앞쪽 후보의 판정이 행해진다.
특징량(Q10, Q11)은 스펙트럼 차이분에너지이다. 당해 스펙트럼 차이분에너지(Q10, Q11)는, CM과 프로그램 본편이나 CM과 다른 CM과의 경계에서의 음질변화를 정량화하기 위해서 이용된다. 이것은, 상기 경계의 양측에 있어서의 평균스펙트럼의 차이의 자승께로서 정의되고, 수학식 16 내지 수학식 21에 따라서 계산된다.
단, 수학식 중의 N은 스펙트럼의 평균을 취하는 프레임수, n'e은 CM후보구간의 직전의 유음구간의 종료 프레임번호(도 8참조), n's은 CM후보구간의 직후의 유음구간의 개시 프레임번호, S1[k]는 CM후보구간의 직전의 유음구간의 종료직전의 평균스펙트럼, S2[k]는 CM후보구간 개시직후의 평균스펙트럼, S3[k]는 CM후보구간 종료직전의 평균스펙트럼, S4[k]는 CM후보구간의 직후의 유음구간의 개시직후의 평균 스펙트럼, Snorm은 적절한 규격화정수이다.
상기 부가조건 산출기(20)는, 이상에 의해 산출한 Q1에서 Q11까지의 특징량을 CM후보 테이블(19a)에 추가 기술하고, CM후보 테이블(20a)로서 출력한다. 당해 CM후보 테이블(20a)은 부가조건 판정기(21)에 보내진다.
부가조건 판정기(21)는, CM후보 테이블(20a)을 입력으로 하고, CM후보의 특징량을 역치함수 등에 의해 비선형으로 파라미터 변환한 후, 하중 가산하는 것으로 CM후보에 대한 스코어(R)를 산출하고, R이 소정의 역치 이상인 경우에는 유력CM후보로 판정한다. 부가조건 판정기(21)는, 이들 스코어(R)와 스코어 판정결과(Z)를 CM후보 테이블(20a)에 추가 기술하고, CM후보 테이블(21a)로서 출력한다.
도 9에는 부가조건 판정기(21)의 개략구성을 나타낸다.
이 도 9에 있어서, CM후보 테이블(21a)의 각 특징량(Q1내지 QL)은, 각각 대응하는 함수연산기(501내지 50L)에 보내지고, 각각 대응하는 파라미터변환함수(H1() 내지 HL())에 의한 변환연산이 실시된 후, 다시 각각 대응하는 가중기(511내지 51L)에 의해 하중(W1내지 WL)과의 적이 취해진다. 각 가중기(511내지 51L)에 의해 가중이 된 후의 특징량은 총계가산기(52)에서의 총계가산에 의해 스코어(R)가 산출된다. 이 총계가산기(52)로부터 출력된 스코어(R)는 스코어판정기(53)에서 소정의 역치와 비교되고, 스코어(R)가 소정의 역치 이상인 경우에는 유력 CM후보인 뜻을 나타내는 판정결과가 출력된다. 또한, 스코어 판정기(53)에 의한 스코어판정에 의해 소정의 역치 미만이라고 판정된 CM후보는 테이블로부터 소거된다.
보다 구체적으로 설명하면, 당해 부가조건 판정기(21)에 있어서의 스코어가산연산은, 수학식 22에 따라서 행해진다.
단, H1()은 각 특징량에 대하여 밀리 정해진 파라미터변환함수, W1는 미리 결정하여 놓는 하중, L은 특징량수(=11)이다. 또한, 1은 1내지 11중의 임의의 수이다.
여기서, 각 함수연산기(501내지 50L)에 있어서의 파라미터 변환함수H1()는, 가장 간단하게는 직사각형함수라도 좋다. 즉 예를 들면, 도 10(B)에 나타내는바와 같은 직사각형함수(Rect(x;t1, t2))를 이용한, 미리 각 특징량에 대해서 결정하여 놓는 표준치의 하상한치를 t1, t11로 하고, 수학식 23에 의해 예를 들면 Q1이 표준치의 범위내라면 1, 범위외라면 0이 되도록 한다.
또한, 상기 경계부근에서 순조롭게 0에서 1, 1에서 0으로 추이시키도록 하는 경우에는, 예를 들면 수학식 24와 같은 시그모이드함수(Sigm(x;t1, t2))를 이용할 수도 있다.
도 10(C)에 시그모이드함수의 개형을 나타낸다. 단, s11, s21는 추이의 정도를 나타내는 정수이며, 미리 특징량의 분포 등에 의거한 결정이다.
또, 상기 각 가중기(511내지 51L)에 의한 가산하중(W1)은, 미리 특징량의 통계적 성질에 의거하여 인위적으로 결정하여 놓을 수도 있으나, 이미 알고있는 학습샘플에 대하여 뉴랄네트워크(예를 들면, 나카가와 저작의 「패턴 정보처리」마루젠(1999) 등에 상설)의 요령으로 학습하는 것으로, 자동적으로 하중을 결정하는 것도 가능하다. 또한, 1은 1 내지 11 중의 임의의 수이다.
또한, 상기 판정기(53)에 있어서의 스코어판정은, 수학식 25와 같이, 스코어(R)역치처리에 의해 행한다.
단, Unit(x)은 도 10(A)에 나타내는 바와 같이, x > 0에서 1, x < 0에서 0이 되는 단위스텝 함수이며, tr은 이미 정하거나 혹은 학습에 의해 자동적으로 결정하는 판정역치이다.
다음에, 룰판정기(22)는 상기 부가조건 판정기(21)에서의 스코어판정에 의해 얻어진 CM후보 테이블(21a)을 입력으로 하고, 후술하는 바와 같은 소정의 룰판정에 의해 최종적인 CM검출출력(4a)으로서 CM개시시각과 길이를 출력한다. 즉 당해 룰판정기(22)에서는, 동일시각에 복수의 CM후보가 있었던 경우(이하, 경합관계라고 한다)에, 어느 쪽이 보다 CM으로서 확실한지를 룰처리에 의해 판정한다.
이하, 룰판정기(22)의 동작을 도 11의 플로차트를 이용하여 설명한다.
우선, 룰판정기(22)는 스텝(S70)으로서, CM후보 테이블로부터, 판정해야 할 CM후보를 선택한다. 이 선택은 CM후보 테이블 중에서 최고의 후보이고, 이미 설정된 기간(T4)이 경과한 것으로부터 차례로 행해진다. T4는 수개의 CM이 충분히 포함될 정도의 시간길이이며, 예를 들면 150초간으로 한다.
이어서, 룰판정기(22)는 스텝(S71)으로서 선택한 CM후보의 구간중(Ts에서 Ts+ Tw까지의 사이)에, 다른 CM후보가 존재하는지 어떤지, CM후보 테이블 중을 검색한다. 이 스텝(S71)에 있어서, 다른 CM후보가 존재하지 않는다고 판정한 경우(No), 이 CM후보는 CM검출출력으로서 출력되고, CM후보 테이블로부터 소거된다.
한편, 스텝(S71)에 있어서, 다른 CM후보가 존재한다고 판정된 경우(Yes), 그들은 경합관계에 있다고 하여, 스텝(S72)에서 우선 최소길이 우선룰이 적용된다. 여기서, 최소길이 우선룰은 어느 시구간이, 복수의 길이의 다른 CM후보의 조합에 의해 구성되어 얻어지는 경우, 보다 짧은 CM후보로 구성되어 있는 쪽을 우선한다고 하는 룰이다. 즉, 예를 들면 30초라는 시구간에 대하여, 1개의 30초 CM이라는 가능성과, 2개의 15초 CM의 조합이라는 가능성의, 양편이 동시에 후보로서 존재하는 경우에는, 15초 CM을 선택하고, 30초 CM을 기각한다는 룰이다.
도 12를 이용하여, 이 최소길이 우선룰의 일예를 설명한다.
또한, 이 예에는, 도 12(A)와 같이, 실제로는 4개의 CM1 내지 CM4가 연속하여 방송되고 있는 구간에 대하여, 도 12(B)중 A내지 H로 나타내는 바와 같은 8개의 후보가 CM후보 테이블에 존재하는 경우가 나타나 있다.
우선, 도 12(C)에 나타내는 바와 같이, A의 CM후보가 판정 중이라고 하면, 이 후보(A)와 경합하는 후보는 E와 H이다. 그렇지만, E의 구간은 A와 B로 기술할 수 있고, 또 H의 구간은 A와 B와 C와 D 등으로 기술할 수 있기 때문에, 각각 기각되고, A가 채용된다. 이어서, 도 12(D)에 나타내느 바와 같이, B가 판정중으로 되었을 때에는, F가 경합상대가 되나(이때, E, H는 A의 판정에 의해 기각제로되어 있다), F의 구간은 B와 C로 기술할 수 있기 때문에 기각되고, B가 채용된다. 동일하게, 도 12(E)에 나타내는 바와 같이, C가 판정중의 경우에는, G가 경합상대로 되나, G의 구간은 C와 D로 기술되는 것에서 기각되고, C가 채용된다. 최후에, 도 12(F)에 나타내는 바와 같이, D가 판정될 때에는, 이미 경합상대는 존재하지 않으므로, 도대체 이 룰을 적용할 필요는 없고, 당해 D가 그대로 채용된다.
이상에 의해, 이 시구간으로부터는, CM후보로서 A, B, C, D가 선택되게 된다. 이 룰이 적용할 수 없는 경합관계에 대해서는 그대로 CM후보 테이블에 남기고 이 처리를 종료한다.
도 11로 되돌아가서, 스텝(S72)의 룰판정 후, 룰판정기(22)의 처리는 스텝(S73)으로 진행한다. 스텝(S73)으로 진행하면, 룰판정기(22)는 최소길이 우선룰을 적용한 결과, 판정중의 CM이 기각되었는지 아닌지 판단한다. 이 스텝(S73)에 있어서, 판정중의 CM이 기각된다고 판단한 경우(Yes), 룰판정기(22)는 그 후보를 CM후보 테이블로부터 소거하고, 스텝(S70)으로 되돌아간다. 한편, 스텝(S73)에 있어서, 판정중의 CM이 기각되어 있지 않다고 판단한 경우(No), 룰판정기(22)는 스텝(S74)에 있어서, 재판정중의 CM후보의 구간중에 다른 CM후보가 존재하는지 어떤지, 테이블중을 검색한다.
이 스텝(S74)에 있어서, 다른 CM후보가 존재하지 않는다고 판정한 경우(No), 룰판정기(22)는 스텝(S80)에 있어서 판정중의 CM후보를 CM검출출력으로부터 출력하고, CM후보 테이블로부터 소거한다. 한편, 스텝(S74)에서 다른 CM후보가 존재한다고 판단한 경우(Yes), 룰판정기(22)의 처리는 스텝(S75)으로 진행한다.
스텝(S75)으로 진행하면, 룰판정기(2)는 인접우선룰을 적용한다. 여기서, 인접우선룰이란, 복수의 CM후보가 경합관계에 있는 경우, 각각 직전 또는 직후에 인접하는 CM후보를 검색하고, 그것이 존재하는 쪽을 우선한다는 룰이다.
도 13을 이용하여, 당해 인접우선룰에 대해서 설명한다.
또한 이 예에는, 도 13(A)와 같이, 실제로는 4개의 CM(11 내지 14)이 연속하여 방송되고 있는 구간에 대하여, 도 13(B)중 I 내지 N으로 나타내는 바와 같은 6개의 후보가 존재하는 경우가 나타나 있다. 또, 이 예의 경우, 후보(M 및 N)는 우연히 CM중에 컷체인지나 소음량구간이 존재하고 있기 때문에 후보로 되어 있으나, 이와 같은 후보는 실제로는 잘못된 구간이라고 하며, 내용적으로는 CM을 포함하고 있기 때문에, CM성을 판정하는 부가조건의 스코어판정에 의하여도 기각되지 않는 경우가 있는 것이다.
이와 같은 예에 있어서, 우선, 도 13(C)에 나타낸 바와 같이, 최고의 I가 판정되는 후보가 된다. 당해 I와 경합하는 것으로서 M이 있으나, I에는 인접한 후보(J)가 존재하는 것에 대하여, M에는 인접하는 후보가 없기 때문에, I를 채용하고, M을 기각한다. 다음에, 도 13(D)에 나타내는 바와 같이, J가 판정되는 후보로 된 경우, J와 경합하는 후보로서 N이 있으나, J에는 인접하는 후보I, K가 존재하는 것에 대하여, N에는 존재하지 않기 때문에, J가 채용되고 N이 기각된다. 다음에, 도 13(E), (F)에 나타내는 바와 같이, 나머지후보(K,L)에는 이미 경합할 후보가 없어지기 때문에, 이 룰은 적용되지 않고, 이들 K, L이 그대로 채용된다.
이상에 의해, 이 도 13에 예시한 구간에서는, I, J, K, L이 CM후보로서 선택되는 것으로 된다.
또한, 경합관계의 후보의 어느 쪽에도 인접후보가 없는 경우 및 복수의 후보에 각각 인접후보가 있는 경우에는, 그들은 어느 쪽도 기각되지 않고, CM후보 테이블에 남겨진다.
도 11로 되돌아가서, 스텝(75)의 처리 후, 룰판정기(22)의 처리는 스텝(S76)으로 진행한다. 스텝(S76)으로 진행하면, 룰판정기(22)는 인접우선룰을 적용의 결과, 판정중의 CM이 기각되었는지 아닌지 판단한다. 이 스텝(S76)에 있어서, 판정중의 CM이 기각되었다고 판단한 경우(Yes), 룰판정기(22)는 그 후보를 CM후보 테이블로부터 소거하고, 스텝(S70)의 처리로 되돌아간다. 한편, 스텝(S76)에 있어서 기각되어 있지 않다고 판정된 경우(No), 룰판정기(22)는 다음의 스텝(S77)에 있어서, 다시 판정 중의 CM후보의 구간 중에, 다른 CM후보가 존재하는지 어떤지, CM후보 테이블 중을 검색한다.
이 스텝(S77)에 있어서, 다른 CM후보가 존재하지 않는다고 판정된 경우(No), 룰판정기(22)는 스텝(S80)에 있어서, 판정 중의 CM후보를 CM검출출력으로부터 출력하고, CM후보 테이블로부터 소거한다. 한편, 스텝(S77)에 있어서, 다른 CM후보가 존재한다고 판정한 경우(Yes), 룰판정기(22)는 스텝(78)에 있어서, 스코어 우선룰을 적용한다. 여기서, 스코어 우선룰이란, 상기의 각 룰에 의해서도 경합관계가 해소되지 않는 경우, 부가조건 판정기(21)에 의해 얻어진 판정스코어(R)의 높은 후보를 우선한다는 룰이다. 이 스코어 우선룰은 대상이 되는 경합관계가 해소하기 까지 반복하여 적용한다.
도 14를 이용하여, 당해 스코어 우선룰에 대하여 설명한다.
또한 이 예에는, 도 14(A)와 같이, 실제로는 4개의 CM21 내지 CM24가 연속하여 방송되고 있는 구간에 대하여, 도 14(B)중 P 내지 W로 나타내는 바와 같은 7개의 후보가 존재하는 경우가 나타나 있다.
이 예에 있어서, 우선, 도 14(C)에 나타내는 바와 같이, 최고의 P가 판정되는 후보가 되나, 이 후보 P는 U와 경합관계가 있다. 단, 이 때의 경합관계는, 상기 최소길이 우선룰에 의해서도, 또, 인접우선룰에 의해서도 경합이 해소되지 않는다.
따라서, 이 경우에는, 이들 경합관계에 있는 후보와 관련한 모든 경합관계를, CM후보 테이블 중에서 검색한다. 즉, 이 경우는, (P-U), (U-Q), (Q-V), (V-R), (R-W), (W-S)라고 하는, 7후보에 대한 6개의 경합관계가 모두 관련하고 있으므로, 스코어 우선룰에서는, 이들 관련하는 후보 중에서 가장 스코어가 높은 후보를 채용한다. 이 예의 경우, 판정스코어 R(2.0)이 가장 높은 스코어이기 때문에, 도 14(D)에 나타내는 바와 같이, 이 스코어가 채용되고, 그 결과, R과 경합관계에 있는 후보 V, W는 기각된다.
그렇지만, 도 14(E)에 나타내는 바와 같이, 이것에 의해서도(P-U)의 경합관계는 해소되어 있지 않다. 따라서, 다시 이들과 관련하는 모든 경합관계를 CM후보 테이블 중에서 검색한다. 금회는, V가 시각됨으로서, (P-U), (U-Q)라고 하는, 3개의 후보가 관계하는 2개의 경합관계만으로 된다.
또한, 이들의 후보 중에서 가장 스코어가 높은 후보Q(1.9)를 채용하고, 도14(F)에 나타내는 바와 같이, Q와 경합관계에 있는 후보 U를 기각한다.
이상에 의해, P에 관계하는 경합관계는 없어지고, P가 채용된다. 또, U, V, W는 모두 기각되고, Q, R, S가 채용되게 된다.
또한, 가령, 관련하는 모든 경합관계를 검색하지 않고, 대상이 되는 경합관계(이 예의 경우, P, U)만으로 스코어 우선룰을 적용하면, 먼저 U가 채용되고, P는 기각된다. 후에 U와 Q와의 경합관계에 의해, 일시채용된 U도 또 기각되게 된다. 이와 같이, 룰판정기(22)에서는 우연의 처리순서에 의해 후보P가 기각되는 일이 없도록, 관련경합관계의 검색을 행하고 있다.
이상의 스코어 우선룰에 의해, 선택된 후보에 관한 경합관계는 반드시 해소되게 된다.
도 11로 되돌아가서, 스텝(S78)의 처리 후, 룰판정기(22)의 처리는, 스텝(S79)으로 진행한다. 스텝(S79)으로 진행하면, 룰판정기(22)는 스코어 우선룰을 적용한 결과, 판정 중의 후보가 기각되었는지 아닌지 판단한다. 이 스텝(S79)에 있어서, 판정 중의 후보가 기각되었다고 판단한 경우(Yes), 룰판정기(22)는 그 후보를 CM후보 테이블로부터 소거하고, 스텝(S70)으로 되돌아간다. 한편, 스텝(S79)에 있어서, 기각되지 않았던 경우, 룰판정기(22)는 스텝(S80)의 CM검출출력으로서, 개시시각과 그 길이를 출력하고, CM후보 테이블로부터 소거한 후, 스텝(S70)으로 되돌아간다.
이상 설명한 바와 같이, 본 실시형태의 제 1구체예의 CM검출부(4)에 있어서는, 거의 모든 CM이 만족하는 필수조건에 의거하여, 결정론적으로 프로그램 중에서CM의 후보를 추출하고, CM성의 지표인 부가조건에 의거한 특징량의 통계론적인 평가에 의해 후보를 선택하고, 논리조건에 의해 후보의 오버랩관계를 해소하는것으로, 정밀도가 높은 CM검출을 실현하고 있다. 또, 본 실시형태에서는, 예를 들면 현행의 아날로그 TV방송의 영상음성 기록장치를 예로 하였으나, 디지털 TV방송 등에 적용되는 경우에도 동일한 CM검출부(4)가 적용될 수 있는 것은 명백하다. 또, 예를 들면 라디오방송에 적용되는 경우에는, 상기 CM검출부(4)로부터 영상신호의 처리를 담당하는 부분을 생략하는 것으로 동일한 기능이 실현될 수 있다.
다음에, 본 발명의 제 2구체예로서의 CM검출부(4)에 대하여 이하에 설명한다.
도 15에는, 본 발명의 제 2구체예로서의 CM검출부(4)의 상세한 구성을 나타낸다.
당해 제 2구체예의 CM검출부(4)는, 상술한 부가조건 중에서도 기본적인 것만을 실장하도록 하고 있고, 상술한 1) 내지 14)의 부가조건 중, 11) 내지 14)에 관해서는 도입하지 않는 것으로, 장치구성을 간략화하고 있다(복잡하게 되는 것을 방지하고 있다).
이 제 2구체예의 CM검출부(4)도, 도 2의 예와 동일하게 프론트엔드부와 백엔드부로부터 구성되어 있다. 또한, 이 도 15에 있어서, 도 2의 각 구성요소와 동일 동작을 행하는 부분에 대해서는, 동일한 지시부호를 붙이고, 그들의 설명은 생략한다.
이하, 도 15의 구성에 있어서, 새롭게 추가된 각 구성요소(101, 102, 103)와, 부가조건 산출기(20)에 있어서 새롭게 확장된 기능에 대해서만 설명한다.
프론트엔드부에 설치된 음원식별부(101)는, 디지털화 및 프레임화된 음성신호(2b)를 입력으로 하고, 이 음성신호(2b)의 당해 프레임에 관한 음원명을 출력한다. 음원명으로서는, 예를 들면, 음성, 음악, 음성과 음악, 기타를 들 수 있다. 또한, 입력된 음성신호의 음원식별을 실현하는 기술로서는, 예를 들면, 가와지, 기타에 의한, 「VQ왜곡에 의거한 방송음의 자동분류」신학기보, DSP97-95/SP97-50, 43/48(1998)에 기재된 기술이나, 미나미, 기타에 의한, 「음정보를 이용한 영상인덱싱과 그 응용」신학론, Vol.J81-D-II, No.3, 529/537(1998)에 기재된 기술, 아배에 의한, 특원평 11-190693호의 명세서 및 도면에 기재된 기술 등이 있고, 이들을 이용할 수 있다.
이 음원식별기(101)에 의해 식별된 각 음원명은, 예를 들면 음성 = 1, 음악 = 2, 등과 같이, 각 프레임마다 적절하게 수치화되고, 특징량 U[n]으로서 특징량버퍼(18)에 입력된다.
프론트엔드부에 설치된 프로그램 쟝르데이터 또는 프로그램 쟝르식별기(102)는 현재 처리하고 있는 프로그램의 쟝르명을 출력하는 것이다. 프로그램쟝르는, 예를 들면, 뉴스, 드라마, 야구, 축구 등이다. 프로그램 쟝르데이터는, 텔레비전 프로그램표 등으로 입력하여도 좋고, 또 근래에는 인터넷 등을 통하여 자동적으로 취득할 수도 있다. 또는, 외부정보에 의뢰하지 않고 음성 및 영상신호로부터 프로그램쟝르를 식별하는 장치를 이용하는 것도 가능하다. 또한, 음성 및 영상신호로부터 프로그램쟝르를 식별하는 기술로서는, 예를 들면 아배에 의한, 특원평11-190693호의 명세서 및 도면에 기재된 기술 등을 이용할 수 있다.
이 프로그램 쟝르데이터 또는 프로그램 쟝르식별기(102)에 의해 분류된 프로그램쟝르명은, 예를 들면 뉴스 = 1, 드라마 = 2, 등과 같이, 각 프레임마다 적절하게 수치화되고, 특징량 W[n]으로서 특징량버퍼(18)에 입력된다.
프론트엔드부의 기타의 각 구성요소는, 도 2의 예와 동일하다.
이 제 2구체예의 경우, 프론트엔드부에, 상기 음원식별기(101)와 프로그램 쟝르데이터 또는 프로그램 쟝르식별기(102)를 설치하고, 이들에 의해 얻어진 각 특징량 U[n]과 W[n]을 특징량버퍼(18)에 축적하는 것으로, 당해 특징량버퍼(18)에 있어서는, 수학식 10에 나타낸 특징량(G[n])이, 수학식 26과 같이 확장되게 된다.
백엔드부의 CM검출기(19)는, 상술한 도 2의 것과 동일한 것이나, 당해 제 2구체예의 경우, CM후보 테이블(19a 내지 20a)은 다음과 같이 확장된다. 즉, 이 제 2구체예의 경우의 CM후보 테이블(19a 내지 21a)은, 상술한 Q1에서 Q11까지의 특징량에 더하고, 도 16에 나타내는 바와 같이, 후술하는 특징량 Q12로부터 Q15가 확장된다. 또한, 도 16은 Q1에서 Q11까지의 특징량에 대한 도시를 생략하고 있다.
또, 백엔드부의 CM확률 데이터베이스(103)에는, 미리, 시간대에 따른 CM의 방송확률 및 프로그램쟝르와 경과시간에 따른 CM의 방송확률을 데이터로서 축적하고 있다. 이 CM확률 데이터베이스(103)로부터는, 현재시각에 따라서 그들의 확률이 독출되고, 부가조건 산출기(20)에 입력하도록 되어 있다. 또한, 이들의 확률데이터는 실제의 방송을 기초로 통계를 취하는 것으로 작성할 수 있다.
이 제 2구체예의 경우의 부가조건 산출기(20)는, 상술한 특징량(Q1에서 Q11)에 더하고, 다음의 특징량(Q12에서 Q15)의 연산을 행하여 확장된다.
여기서, 특징량(Q12)은 CM후보구간 중에, 음성구간이 있었는지 어떤지를 검출하여 구하는 것이다. 음성의 유무를 나타내는 특징량(Q12)은 수학식 27에 따라서 검출된다.
특징량(Q13)은, 상기 음성의 유무와 동일하게, CM후보구간 중에, 음악구간이 있었는지 어떤지를 검출하여 구하는 것이다. 이 음악의 유무를 나타내는 특징량(Q13)은, 수학식 28에 따라서 검출된다.
특징량(Q14)은, 현재시각에 따른 CM의 발생확률(시간대확률)이다. 부가조건 산출기(20)에서는, CM확률 데이터베이스(103)로부터 제공되는 CM의 방송확률을 그대로 특징량(Q14)에 대입한다.
특징량(Q15)은, 프로그램쟝르 및 그 프로그램의 개시로부터의 경과시간에 따른 CM의 방송확률(프로그램 쟝르확률)이다. 부가조건 산출기(20)에서는, CM확률 데이터베이스(103)로부터 제공되는 CM의 방송확률을 그대로 특징량(Q15)에 대입한다.
부가조건 판정기(21) 이후는, 변수로서의 특징량(Q12내지 Q15)이 확장될 뿐이며, 상술한 도 2의 CM검출부(4)의 경우와 동일하기 때문에, 설명을 생략한다.
이 경우의 CM검출부(4)에 있어서는, 이상의 확장에 의해, 방송신호의 음원에 따른 CM검출을 행할 수 있고, 또, 현재시간에 따른 CM검출을 행하는 것, 또한, 프로그램쟝르에 따른 CM검출을 행하는 것이 가능해진다.
CM검출부(4)의 제 3구체예로서, 예를 들면, 도 17에 나타내는 바와 같이, 소진폭횟수, 소진폭구간 및 신호분산을 각각 특징량(Q16내지 Q18)으로서, 부가조건 산출기(20)에 의해 산출시키도록 할 수 있다.
소진폭횟수란, 음성신호의 진폭이 이미 설정되어 있는 소정의 역치를 하회하는 횟수를 의미한다. 부가조건 산출기(20)는, 예를 들면, 도 18의 플로차트에 나타내는 바와 같은 처리를 행하는 것으로, 소진폭횟수를 계산한다.
최초에 스텝(S90)에 있어서, 카운터(C)와 플래그(F)가 리세트된다. 카운터(C)에는, 소진폭횟수가 유지되고, 플래그(F)는 소진폭구간인 것을 나타낸다.스텝(S90)에 있어서, 또한, 시각(n)이 CM후보의 개시시각에 설정된다.
스텝(S91)에 있어서, 음성신호의 진폭신호(A[n])가 취득된다. n은 이산화된 시각에 대응한다.
스텝(S92)에 있어서, 지금 플래그(F)가 세트되어 있는지 아닌지 판정되고, 세트되어 있지 않은 경우, 스텝(S93)으로 진행하고, 스텝(S91)에서 취득된 신호진폭(A[n])이 이미 설정되어 있는 소정의 역치(A1)보다 작은지 아닌지 판정된다. 음성신호의 진폭(A[n])의 값이 역치(A1)보다 동일하거나, 그것보다 크다고 판정된 경우, 스텝(S97)으로 진행하고, 시각(n)의 값이 인크리먼트된다. 그리고, 스텝(S98)에 있어서, 시각(n)의 값이 CM후보의 종료시각에 도달하였는지 아닌지가 판정되고, 종료시각에 도달하고 있지 않은 경우에는, 스텝(S91)으로 되돌아가서, 다음 시각의 타이밍에 있어서의 진폭(A[n])이 취득된다.
이상과 같은 처리가 스텝(S93)에 있어서, 진폭(A[n])의 값이 역치(A1)보다 작다고 판정되기까지 반복 실행된다. 스텝(S93)에 있어서, 진폭(A[n])의 값이 역치(A1)보다 작다고 판정된 경우, 스텝(S94)으로 진행하고, 카운터(C)의 값이 1만 인크리먼트되고, 또한, 플래그(F)가 세트된다.
그 후, 스텝(S97)으로 진행하여, 시각(n)이 인크리먼트되고, 스텝(S98)에 있어서, 인크리먼트된 시각(n)의 값이 CM후보의 종료시각에 도달하고 있는지 아닌지 판정되고, 또 도달하지 않은 경우에는, 스텝(S91)으로 되돌아가고, 다음의 타이밍의 진폭(A[n])이 취득된다.
그리고, 스텝(S92)에 있어서, 플래그(F)가 세트되어 있는지 아닌지가 판정되고, 지금의 경우, 아직 세트되어 있으므로, 스텝(S95)으로 진행하고, 스텝(S91)에서 취득된 진폭(A[n])의 값이, 미리 설정되어 있는 역치(A2)보다 큰지 아닌지가 판정된다. 또한, 이 역치(A2)의 값은, 스텝(S93)에 있어서 비교되는 역치(A1)보다 큰 값(A2 > A1)으로 되어 있다.
스텝(S95)에 있어서, 진폭(A[n])의 값이 역치(A2)보다 크지 않다고 판정된 경우, 스텝(S97)으로 진행하며, 시각(n)의 값이 인크리먼트된다.
스텝(S98)에 있어서, 시각(n)의 값이 CM후보의 종료시각에 도달하고 있는지 아닌지가 다시 판정되고, 도달하지 않은 경우에는, 스텝(S91)으로 되돌아가서, 다음의 타이밍의 진폭(A[n])이 취득된다.
스텝(S92)에 있어서, 플래그(F)가 세트되어 있는지 아닌지가 다시 판정되고, 지금의 경우, 아직 세트되어 있으므로, 스텝(S95)으로 진행하고, 취득된 진폭(A[n])이 역치(A2)보다 크지 않다고 판정된 경우, 스텝(S97)으로 진행하여, 상술한 경우와 동일한 처리가 반복 실행된다.
이상과 같이 하여, 진폭(A[n])의 값이, 보다 작은 역치(A1)보다 작다고 판정된 경우, 카운터(C)의 값이 1만 인크리먼트된 후, 진폭(A[n])의 값이 역치(A1)보다 약간 큰 값의 역치(A2)보다 크게 되기까지 대기한다.
스텝(S95)에 있어서, 진폭(A[n])의 값이 역치(A2)보다 크다고 판정된 경우, 스텝(S96)으로 진행하고, 플래그(F)가 리세트된다. 그 후 스텝(S97)으로 진행하고, 시각(n)의 값이 인크리먼트된다. 스텝(S98)에 있어서, 시각(n)의 값이 CM후보의 종료시각에 도달하였는지 아닌지 판정되고, 도달하지 않은 경우에는,스텝(S91)으로 되돌아가고, 그 이하의 처리가 반복 실행된다.
스텝(S98)에 있어서, 시각(n)의 값이 CM후보의 종료시각에 도달하였다고 판정된 경우, 처리는 종료된다.
스텝(S95)에 있어서 기준으로 되는 역치(A2)를, 스텝(S93)의 처리에 있어서 설정되는 역치(A1)보다 크게 설정하는 것으로, 판정처리에 소위 히스테리시스특성을 갖게 하는 것이 가능해진다. 즉, 진폭(A[n])의 값이 보다 작은 역치(A1)보다 작게 되었을 때, 소진폭구간에 들어갔다고 판정되나, 진폭(A[n])의 값이 역치(A1)보다 약간 크게 되어도, 역치(A2)보다 작은 경우에는, 또 소진폭기간중이라고 판정되고, 역치(A1)보다 큰 역치(A2)보다 더욱 크게 되었을 때, 처음으로 소진폭기간이 종료하였다고 판정된다. 이것에 의해, 소진폭기간중의 약간의 진폭의 변화에 기인하여, 소진폭횟수가 필요 이상으로 큰 값으로 카운트되는 것이 방지된다.
이상과 같이 하여, CM후보의 기간에 있어서의 소진폭의 횟수가 카운터(C)에 설정되고, 이 카운터(C)의 값이 특징량(Q16)으로서 출력된다.
도 19는 소진폭횟수의 구체적인 계측결과의 예를 나타내고 있다. 도 19에 있어서의 횡축은 소진폭횟수를 나타내고, 종축은 상대도수를 나타내고 있다. 도 19a의 그래프는, 실험데이터로부터 얻어진 490개의 CM후보 중, 실제로 CM였던 352개의 도수분포를 나타내고 있고, 도 19b는 그 중의 CM이 아니였던 138개의 도수분포를 나타내고 있다. 즉, 도 19b는 본편 중에서 우연, 음량조건이나 영상조건이 만족되었기 때문에 CM후보로서 검출된 것이다.
이들dml 도면을 비교하여 명백한 바와 같이, CM인 경우(도 19a), 소진폭횟수는 0회에서 2회에 집중하는데 대하여, CM이 아닌 경우에는(도 19(B)), 소진폭횟수는 7회 내지 9회로 많아지는 것을 알 수 있다.
다음에, 도 20의 플로차트를 참조하여, CM검출부(4)의 부가조건 산출기(20)가 실행하는 소진폭구간길이 계산처리에 대하여 설명한다. 최초로, 스텝(S110)에 있어서, 소진폭구간길이를 나타내는 카운터(D)의 값이 리세트되고, 또한 시각(n)의 값이 CM후보의 개시시각에 세트된다.
다음에 스텝(S111)에 있어서, 음성신호의 진폭(A[n])이 취득되고, 스텝(S112)에 있어서, 스텝(S111)에서 취득된 진폭(A[n])의 값이, 미리 설정되어 있는 소정의 역치(A1)보다 작은지 아닌지가 판정된다. 이 역치(A1)는 도 18의 스텝(S93)에 있어서의 역치(A1)와 동등한 값으로 되어 있으나, 다른 값으로 하는 것도 가능하다.
스텝(S112)에 있어서, 진폭(A[n])의 값이 역치(A1)와 동등하거나, 그것보다 크다고 판정된 경우, 스텝(S114)으로 진행하고, 시각(n)의 값이 인크리먼트된다. 그리고, 스텝(S115)에 있어서, 인크리먼트된 시각(n)의 값이, CM후보의 종료시각에 도달하였는지 아닌지가 판정되고, 종료시각에 도달하지 않은 경우에는, 스텝(S111)으로 되돌아가서, 다음의 타이밍의 진폭(A[n])이 취득된다.
그리고, 그 진폭(A[n])의 값이, 스텝(S112)에 있어서, 역치(A1)보다 작은지 아닌지가 다시 판정되고, 진폭(A[n])의 값이 역치(A1)보다 작지 않은 경우에는, 스텝(S114)으로 진행하고, 시각(n)의 값이 다시 인크리먼트된다.
이하, 동일 처리가 반복 실행되고, 스텝(S112)에 있어서, 진폭(A[n])의 값이, 역치(A1)와 동등하거나, 그것보다 크다고 판정된 경우, 스텝(S113)으로 진행하고, 카운터(D)의 값이 한번만 인크리먼트된다. 그 후, 스텝(S114)으로 진행하고, 시각(n)의 값이 인크리먼트된다. 스텝(S115)에 있어서, 시각(n)의 값이, CM후보의 종료시각에 도달하였는지 아닌지 판정되고, 도달하지 않은 경우에는, 스텝(S111)으로 되돌아가서 다음의 타이밍의 진폭(A[n])이 취득되고, 스텝(S112)에 있어서, 그 진폭(A[n])의 값이 역치(A1)보다 작은지 아닌지가 다시 판정된다. 진폭(A[n])의 값이 역치(A1)보다 작은 경우에는, 스텝(S113)에 있어서, 카운터(D)의 값이 다시 1만 인크리먼트된다.
이상과 같은 처리가 반복 실행되는 것으로, 카운터(D)의 값은 진폭(A[n])의 값이 역치(A1)보다 작은 기간에 대응하는 값이 된다.
스텝(S115)에 있어서, 시각(n)의 값이 CM후보의 종료시각에 도달하였다고 판정된 경우, 스텝(S116)으로 진행하고, 카운터(D)의 값이 규격화된다. 즉, 카운터(D)의 값은 샘플링주파수(fS)로 제산되는 것으로, 규격화되고, 그 값이 특징량(Q17)으로서 출력된다.
도 21은, 도 19에 있어서의 경우와 동일하게, 490개의 CM후보 중의 352개의 실제의 CM과, 138개의 CM이 아닌 경우의 소진폭구간길이의 총계를 나타내고있다. 도 21에 있어서, 횡축은 소진폭구간길이의 총계(단위는 초)를 나타내고, 종축은 상대도수를 나타내고 있다. 도 21a와 도 21b를 비교하여 명백한 바와 같이, CM의 소진폭구간길이의 총계는 20ms정도 이하로 집중되어 있는(도 21a) 것에 대하여, CM이 아닌 경우에는, 1.0s 이상의 길이로 집중되어 있다(도 21b).
또한, 부가조건 산출기(20)는 음성신호의 진폭의 분산을 수학식 29에 의거하여 연산한다. 이 수학식(29)에 있어서, s는 CM후보의 이산개시시각을 나타내고, e는 CM후보의 이산종료시각을 나타내고, v는 신호의 분산을 나타낸다. 부가조건 산출기(20)는, 이 값(v)을 그대로 특징량(Q18)으로서 출력하거나, 혹은 그 평방근을 취하여, 표준편차를 특징량(Q18)으로서 출력한다. 혹은 또, 부가조건 산출기(20)는, 표준편차를 평균치로 제산하고, 상대표준편차를 특징량(Q18)으로서 출력할 수 있다.
도 22는 진폭의 분산의 예를 나타내고 있다. 도 22a는, 490개의 CM후보 중의, 352개의 실제로 CM였던 경우의 진폭의 분산을 나타내고 있고, 도 22b는 138 개의 CM이 아니였던 경우의 분산을 나타내고 있다. 또한, 도 22에 있어서, 횡축은 상대표준편차를 나타내고 있고, 종축은 상대도수를 나타내고 있다.
이들의 도를 비교하여 명백한 바와 같이, CM의 경우(도 22a), 진폭의 상대표준편차가 거의 0.6 이하로 집중되어 있는 것에 대하여, CM이 아닌 경우에는 (도 22b), 0.7 이상이 되는 것이 많은 것을 알 수 있다.
따라서, 소진폭횟수, 소진폭구간길이 및 진폭분산을 특징량으로서 이용하는것으로, 보다 정확하게 CM을 검출하는 것이 가능하게 된다.
다음에, 본 발명의 제 2실시형태로서의 영상음성 기록장치에 대하여 이하에 설명한다.
도 23에는, 제 2실시형태의 영상음성 기록장치의 개략구성을 나타낸다.
또한, 이 도 23에 있어서, 도 1의 각 구성요소와 동일 동작을 행하는 부분에 대해서는, 동일 지시부호를 붙이고, 그들의 설명은 생략한다. 또, 제 2실시형태의 영상음성 기록장치의 경우의 CM검출부(4)는, 상기 제 1구체예, 제 2구체예 및 제 3구체예의 어느 것도 적용할 수 있다.
이하, 도 23의 구성에 있어서, 새롭게 추가된 각 구성요소(110, 111)와, CM검출부(4)에 있어서 새롭게 확장된 기능에 대해서만 설명한다.
우선, 이 제 2실시형태의 영상음성 기록장치에 있어서의 CM검출부(4)는, 상술한 바와 같이, 수학식 10에 나타내는 각 CM후보의 특징량(G[n])을, 내부에서 산출하고 있다. 또, 당해 제 2실시형태의 경우, CM검출부(4)는 최종적으로 CM으로 하여 검출된 것에 관하여, 그 개시시각 및 시간길이와 함께, CM개시프레임 n = nS으로부터 종료프레임 n = ne에 걸쳐서, G[n]을 CM데이터베이스(110)에 출력하도록 기능이 확장되어 있다.
CM데이터베이스(110)는, 상기 검출된 CM에 관하여, 그 개시시각, 시간길이, 특징량(G[n])을 보존한다.
CM특징량 비교기(111)는, 사용자가 입력하는 검색지령에 의거하여, 데이터베이스(110)에 보존되어 있는 전부 또는 일부의 CM으로부터, 사용자가 지정한 CM과 동일CM을 추출하고, CM검출출력(111a)으로서 출력한다.
이 CM특징량 비교기(111)의 동작을 도 24를 이용하여 설명한다.
우선 예를 들면, 사용자는 영상음성 기록부(5)에 의한 영상신호 및 음성신호를 시청함으로써, 검색하고 싶은 CM을 선택한 것으로 한다. 이때, CM특징량 비교기(111)에는, 스텝(S120)으로서 상기 사용자에 의한 선택에 따른 검색지령이 입력되게 된다.
이때, CM특징량 비교기(111)는, 스텝(S121)의 처리로서, 상기 입력된 검색지령에 의거하여, CM데이터베이스(110)로부터 그 검색지령에 해당하는 CM의 특징량(G[n])을 취득한다.
이어서, CM특징량 비교기(111)는, 스텝(S122)으로서 CM데이터베이스(110)로부터 검색되는 후보CM을 한개 선택하고, 또한, 스텝(S123)으로서 그 후보CM에 대응하는 특징량(G'[n])을 취득한다.
다음에, CM특징량 비교기(111)는, 스텝(S124)으로서, 상기 선택된 CM에 대하여, 수학식 30의 계산을 행하고, 그것을 미리 정한 소정의 역치(Jthsd)와 비교한다.
여기서, 이 스텝(S124)에 있어서, J(G, G') < Jthsd로 판정하였으면(Yes), CM특징량 비교기(111)는, 스텝(S125)으로 진행하고, 특징량이 일치한 것으로 하여 검색결과를 출력하고, 스텝(S122)으로 되돌아가서 다시 다른 후보CM에 대하여 동일한 처리를 행한다. 한편, 스텝(S124)에 있어서, J(G, G') < Jthsd가 아니라고 판정한 경우(No), CM특징량 비교기(111)는, 특징량이 일치하지 않았다고 하여, 스텝(S122)으로 되돌아가서, 다시 다른 후보에 대하여 동일한 처리를 행한다.
이상에 의해, CM특징량 비교기(111)에서는, 사용자에 의해 지정된 CM과 동일CM을 영상음성 기록부(5)에 기록되어 있는 데이터 중에서 검색할 수 있다.
다음에, 도 25에는, 상술한 도 2나 도 15에 나타낸 검출기(4)를 실장하는 경우의 하드웨어의 일례를 나타낸다.
이 도 25에 있어서, A/D변환기(40)는 상기 도 2 나 도 15의 A/D변환기(10 및 13)의 기능을 갖추고, 메모리(41)는 상기 프레임메모리(11) 및 음선신호버퍼(14)의 기능을 갖추고 있다.
A/D프로세서 또는 DSP(디지털 시그널 프로세서)(42)는, 상기 컷체인지 검출기(112), 진폭검출기(15), 상관검출기(16), 스펙트럼검출기(17), 음원식별기(101) 등의 기능을 갖추고, 메모리(43)는 상기 특징량버퍼(18)의 기능을 갖추고 있다.
프로세서(44)는 상기 CM후보검출기(19), 부가정보산출기(20), 부가조건 판정기(21), 룰판정기(22), CM확률 데이터베이스(103) 등의 기능을 갖추고 있다.
상기 동작제어부(23)의 기능에 대해서는, A/V프로세서 또는 DSP(디지털 시그널 프로세서)(42)나, 혹은 프로세서(44)가 갖출 수 있다.
이상 설명한 바와 같은 본 발명의 각 실시형태에 의하면, TV방송신호로부터CM부분을 정확하게 검출가능하게 함으로서, 예를 들면 CM을 불필요로 하고 있는 시청자나, CM을 필요로 하고 있는 시청자의 쌍방에 대하여 편리를 도모하는 것이 가능해진다. 즉, 예를 들면, CM부분을 불필요로 하는 경우, 텔레비전 방송신호로부터 CM부분을 스킵하여 시청가능하게 하는 장치를 실현할 수 있고, 이것은 예를 들면 프로그램 본편만을 연속 시청하는 요구에 대하여 유용한 장치가 된다. 또 예를 들면, CM부분만을 필요로 하는 경우, TV방송신호로부터 CM부분만을 시청할 수 있는 장치를 실현할 수 있고, 이것은 예를 들면 CM만을 연속 시청하는 요구에 대하여 유용한 장치가 된다.
또한, TV방송신호로부터 CM부분을 정확하게 검출가능하게 함으로써, 예를 들면, 특정 CM의 방송상황을 조사하는 경우 등에도 유용하게 된다.
본 발명의 신호처리장치 및 방법에 있어서는, 입력신호로부터 소정의 시간간격으로 발생하는 신호의 특징적 패턴에 의거하여, 제 1신호의 후보구간을 검출하고, 그 후보구간내 또는 그 전후의 입력신호로부터 제 1신호와 같은 것을 나타내는 특징량을 추출하고, 그 특징량에 의거한 제 1신호의 구간을 검출하도록 하였으므로, 예를 들면, TV방송신호에 포함되는 커머셜 메시지부분을 고정밀도로 검출 또는 검색가능해진다.

Claims (53)

  1. 적어도 제 1신호의 구간과 그 이외의 신호의 구간이 시분할적으로 존재하는 입력신호로부터, 소정의 시간간격을 갖는 신호의 특징적 패턴에 의거하여, 제 1신호의 후보구간을 검출하는 후보구간 검출수단과,
    상기 후보구간내 또는 그 전후의 입력신호로부터, 상기 제 1신호와 같은 것을 표현하는 특징량을 추출하는 특징량 추출수단과,
    상기 특징량에 의거하여, 상기 제 1신호의 구간을 검출하는 검출수단을 가지는 것을 특징으로 하는 신호처리장치.
  2. 제 1항에 있어서,
    상기 검출수단은, 상기 특징량에 의거하여 상기 후보구간이 상기 제 1신호인 가능성을 평가하는 특징량 평가수단과, 상기 평가결과에 의거하여 상기 제 1신호의 구간을 판정하는 판정수단을 갖는 것을 특징으로 하는 신호처리장치.
  3. 제 1항에 있어서,
    상기 검출수단은, 상기 특징량에 의거하여 상기 후보구간의 신호와, 별도 지정한 제 1신호의 일치를 판정하는 일치판정수단을 갖는 것을 특징으로 하는 신호처리장치.
  4. 제 1항에 있어서,
    상기 입력신호의 진폭을 검출하는 진폭검출수단을 가지며,
    상기 후보구간을 검출할 때의 특징적 패턴으로서, 소정의 시간간격에 대응하여 상기 입력신호의 진폭이 소정의 값보다 작아지는 패턴을 검출하는 것을 특징으로 하는 신호처리장치.
  5. 제 1항에 있어서,
    상기 입력신호의 변화를 검출하는 변화검출수단을 가지며,
    상기 후보구간을 검출할 때의 특징적 패턴으로서, 소정의 시간간격에 대응하여 상기 입력신호가 급격하게 소정의 변화량을 초과하여 변화하는 패턴을 검출하는 것을 특징으로 하는 신호처리장치.
  6. 제 1항에 있어서,
    상기 입력신호의 소정의 신호성분이, 소정의 범위내에 수용되는 단위구간을 검출하는 일양성분 검출수단을 가지며,
    상기 후보구간을 검출할 때의 특징적 패턴으로서, 소정의 시간간격에 대응하여 상기 입력신호의 단위구간에 대한 소정의 신호성분이 일양하게 되는 패턴을 검출하는 것을 특징으로 하는 신호처리장치.
  7. 제 1항에 있어서,
    상기 특징량 추출수단은, 상기 입력신호의 진폭을 검출하는 진폭검출수단을 가지며, 상기 제 1신호와 같은 것을 표현하는 특징량으로서, 상기 제 1신호의 후보구간의 전 및/또는 후의 입력신호의 진폭의 크기를 추출하는 것을 특징으로 하는 신호처리장치.
  8. 제 1항에 있어서,
    상기 특징량 추출수단은, 상기 입력신호의 진폭을 검출하는 진폭검출수단을 가지며, 상기 제 1신호와 같은 것을 표현하는 특징량으로서, 상기 제 1신호의 후보구간의 전 및/또는 후의 입력신호의 진폭이 소정의 역치보다 작은 구간의 시간길이를 추출하는 것을 특징으로 하는 신호처리장치.
  9. 제 1항에 있어서,
    상기 특징량 추출수단은, 상기 입력신호의 상관을 검출하는 상관검출수단을 가지며, 상기 제 1신호와 같은 것을 표현하는 특징량으로서, 상기 제 1신호의 후보구간에 있어서의 입력신호의 상호상관을 추출하는 것을 특징으로 하는 신호처리장치.
  10. 제 1항에 있어서,
    상기 특징량 추출수단은, 상기 입력신호의 진폭을 검출하는 진폭검출수단을 가지며, 상기 제 1신호와 같은 것을 표현하는 특징량으로서, 상기 제 1신호의 후보구간에 있어서의 입력신호의 평균진폭을 추출하는 것을 특징으로 하는 신호처리장치.
  11. 제 1항에 있어서,
    상기 특징량 추출수단은, 상기 입력신호의 변화를 검출하는 변화검출수단을 가지며, 상기 제 1신호와 같은 것을 표현하는 특징량으로서, 상기 제 1신호의 후보구간에 있어서 입력신호가 급격하게 변화하는 횟수 또는 빈도를 추출하는 것을 특징으로 하는 신호처리장치.
  12. 제 1항에 있어서,
    상기 특징량 추출수단은, 상기 입력신호의 소정의 신호성분이 일양하게 되는 단위구간을 검출하는 일양성분 검출수단을 가지며, 상기 제 1신호와 같은 것을 표현하는 특징량으로서, 상기 제 1신호의 후보구간에 있어서 상기 입력신호의 소정의 신호성분이 일양하게 되는 단위시간의 발생횟수 또는 빈도를 추출하는 것을 특징으로 하는 신호처리장치.
  13. 제 1항에 있어서,
    상기 특징량 추출수단은, 복수의 모드를 취득하는 입력신호의 당해 모드를 검출하는 모드검출수단을 가지며, 상기 제 1신호와 같은 것을 표현하는 특징량으로서, 상기 제 1신호의 후보구간에 있어서의 상기 모드를 추출하는 것을 특징으로 하는 신호처리장치.
  14. 제 1항에 있어서,
    상기 특징량 추출수단은, 상기 제 1신호와 같은 것을 표현하는 특징량으로서, 상기 제 1신호의 후보구간의 전 또는 후에 이어지는 제 1신호의 유무를 추출하는 것을 특징으로 하는 신호처리장치.
  15. 제 1항에 있어서,
    상기 특징량 추출수단은, 상기 입력신호의 스펙트럼을 검출하는 스펙트럼 검출수단을 가지며, 상기 제 1신호와 같은 것을 나타내는 특징량으로서, 상기 제 1신호의 후보구간의 전 또는 후의 경계에 있어서의 상기 스펙트럼의 변화를 추출하는 것을 특징으로 하는 신호처리장치.
  16. 제 1항에 있어서,
    상기특징량 추출수단은, 상기 제 1신호와 같은 것을 표현하는 특징량으로서, 복수의 채널의 어느 것을 취득하는 입력신호의 상기 채널정보를 추출하는 것을 특징으로 하는 신호처리장치.
  17. 제 1항에 있어서,
    상기 특징량 추출수단은, 상기 제 1신호와 같은 것을 나타내는 특징량으로서, 지역마다의 코드를 취득하는 입력신호의 당해 지역코드를 추출하는 것을 특징으로 하는 신호처리장치.
  18. 제 1항에 있어서,
    상기 특징량 추출수단은, 상기 입력신호의 신호원을 식별하는 신호원 식별수단을 가지며, 상기 제 1신호와 같은 것을 표현하는 특징량으로서, 상기 제 1신호의 후보구간에 있어서의 신호원의 종류를 추출하는 것을 특징으로 하는 신호처리장치.
  19. 제 1항에 있어서,
    시간을 계측하는 시계를 가지며,
    상기 특징량 추출수단은, 상기 제 1신호와 같은 것을 표현하는 특징량으로서, 상기 제 1신호의 후보구간이 입력되는 시각을 추출하는 것을 특징으로 하는 신호처리장치.
  20. 제 1항에 있어서,
    상기 특징량 추출수단은, 복수의 쟝르로 나눌 수 있는 상기 입력신호의 쟝르를 식별하는 쟝르식별수단을 가지며, 상기 제 1신호와 같은 것을 표현하는 특징량으로서, 상기 제 1신호의 후보구간의 전후의 쟝르를 추출하는 것을 특징으로 하는 신호처리장치.
  21. 제 1항에 있어서,
    상기 특징량 추출수단은, 시간을 계측하는 시계와, 복수의 쟝르로 나눌 수 있는 상기 입력신호의 상기 쟝르를 식별하는 쟝르식별수단을 가지며, 상기 제 1신호와 같은 것을 표현하는 특징량으로서, 상기 제 1신호의 후보구간의 전후의 신호의 쟝르 및 상기 제 1신호의 후보구간의 입력시각으로부터의 경과시간을 추출하는 것을 특징으로 하는 신호처리장치.
  22. 제 1항에 있어서,
    상기 특징량 추출수단은, 상기 제 1신호와 같은 것을 표현하는 특징량으로서, 상기 입력신호의 진폭이 기준치보다 작을 때의 횟수, 그 길이, 또는 상기 입력신호의 진폭의 분산을 추출하는 것을 특징으로 하는 신호처리장치.
  23. 제 2항에 있어서,
    상기 특징량 평가수단은, 상기 특징량을 하중 가산하고, 당해 가중가산 후의 특징량에 의거하여, 상기 후보구간이 상기 제 1신호일 가능성을 평가하는 것을 특징으로 하는 신호처리장치.
  24. 제 2항에 있어서,
    상기 특징량 평가수단은, 상기 특징량의 평가 시에, 다층 퍼셉트론을 이용하는 것을 특징으로 하는 신호처리장치.
  25. 제 1항에 있어서,
    상기 입력신호를 기록 및/또는 재생하는 기록 및/또는 재생수단을 갖는 것을 특징으로 하는 신호처리장치.
  26. 제 1항에 있어서,
    상기 입력신호를 편집하는 편집수단을 갖는 것을 특징으로 하는 신호처리장치.
  27. 제 1항에 있어서,
    상기 제 1신호구간을 스킵하는 스킵수단을 갖는 것을 특징으로 하는 신호처리장치.
  28. 제 1항에 있어서,
    상기 제 1신호의 구간만을 취출하는 취출수단을 갖는 것을 특징으로 하는 신호처리장치.
  29. 제 1항에 있어서,
    상기 입력신호는 영상 및/또는 음성신호로 이루며, 상기 제 1신호의 구간은 커머셜 메시지구간인 것을 특징으로 하는 신호처리장치.
  30. 적어도 제 1신호의 구간과 그 이외의 신호의 구간이 시간분할적으로 존재하는 입력신호로부터, 소정의 시간간격을 갖는 신호의 특정신호의 특징적 패턴에 의거하여, 제 1신호의 후보구간을 검출하고,
    상기 후보구간내 또는 그 전후의 입력신호로부터, 상기 제 1신호와 같은 것을 표현하는 특징량을 추출하고,
    상기 특징량에 의거하여, 상기 제 1신호구간을 검출하는 것을 특징으로 하는 신호처리방법.
  31. 제 30항에 있어서,
    상기 제 1신호구간의 검출 시에는, 상기 특징량에 의거하여 상기 후보구간이 상기 제 1신호일 가능성을 평가하고, 상기 평가결과에 의거하여 상기 제 1신호구간을 판정하는 것을 특징으로 하는 신호처리방법.
  32. 제 30항에 있어서,
    상기 제 1신호구간의 검출 시에는, 상기 특징량에 의거하여 상기 후보구간의 신호와, 별도 지정한 제 1신호와의 일치를 판정하는 것을 특징으로 하는 신호처리방법.
  33. 제 30항에 있어서,
    상기 후보구간을 검출할 시의 특징적 패턴으로서, 소정의 시간간격에 대응하여 상기 입력신호의 진폭이 소정의 값보다 작아지는 패턴을 검출하는 것을 특징으로 하는 신호처리방법.
  34. 제 30항에 있어서,
    상기후보구간을 검출할 시의 특징적 패턴으로서, 소정의 시간간격에 대응하여 상기 입력신호가 소정의 변화량을 초과하여 급격하게 변화하는 패턴을 검출하는 것을 특징으로 하는 신호처리방법.
  35. 제 30항에 있어서,
    상기 후보구간을 검출할 시의 특징적 패턴으로서, 소정의 시간간격에 대응하여 상기 입력신호의 단위구간에 대한 소정의 신호성분이 소정의 범위내에 수용되는 패턴을 검출하는 것을 특징으로 하는 신호처리방법.
  36. 제 30항에 있어서,
    상기 제 1신호와 같은 것을 표현하는 특징량으로서, 상기 제 1신호의 후보구간의 전 및/또는 후의 입력신호의 진폭의 크기를 추출하는 것을 특징으로 하는 신호처리방법.
  37. 제 30항에 있어서,
    상기 제 1신호와 같은 것을 표현하는 특징량으로서, 상기 제 1신호의 후보구간의 전 및/또는 후의 입력신호의 진폭이, 소정의 역치보다 작은 구간의 시간길이를 추출하는 것을 특징으로 하는 신호처리방법.
  38. 제 30항에 있어서,
    상기 제 1신호와 같은 것을 표현하는 특징량으로서, 상기 제 1신호의 후보구간에 있어서의 입력신호의 상호상관을 추출하는 것을 특징으로 하는 신호처리방법.
  39. 제 30항에 있어서,
    상기 제 1신호와 같은 것을 표현하는 특징량으로서, 상기 제 1신호의 후보구간에 있어서의 입력신호의 평균진폭을 추출하는 것을 특징으로 하는 신호처리방법.
  40. 제 30항에 있어서,
    상기 제 1신호와 같은 것을 표현하는 특징량으로서, 상기 제 1신호의 후보구간에 있어서 입력신호가 급격하게 변화하는 횟수 또는 빈도를 추출하는 것을 특징으로 하는 신호처리방법.
  41. 제 30항에 있어서,
    상기 제 1신호와 같은 것을 표현하는 특징량으로서, 상기 제 1신호의 후보구간에 있어서 상기 입력신호의 소정의 신호성분이 일양하게 되는 단위시간의 발생횟수 또는 빈도를 추출하는 것을 특징으로 하는 신호처리방법.
  42. 제 30항에 있어서,
    복수의 모드를 취득하는 입력신호의 당해모드를 검출하고, 상기 제 1신호와 같은 것을 표현하는 특징량으로서, 상기 제 1신호의 후보구간에 있어서의 상기 모드를 추출하는 것을 특징으로 하는 신호처리방법.
  43. 제 30항에 있어서,
    상기 제 1신호와 같은 것을 표현하는 특징량으로서, 상기 제 1신호의 후보구간의 전 또는 후에 이어지는 제 1신호의 유무를 추출하는 것을 특징으로 하는 신호처리방법.
  44. 제 30항에 있어서,
    상기 입력신호의 스펙트럼을 검출하고, 상기 제 1신호와 같은 것을 표현하는 특징량으로서, 상기 제 1신호의 후보구간의 전 또는 후의 경계에 있어서의 상기 스펙트럼의 변화를 추출하는 것을 특징으로 하는 신호처리방법.
  45. 제 30항에 있어서,
    상기 제 1신호와 같은 것을 표현하는 특징량으로서, 복수의 채널의 어느 것을 취득하는 입력신호의 상기 채널정보를 추출하는 것을 특징으로 하는 신호처리방법.
  46. 제 30항에 있어서,
    상기 제 1신호와 같은 것을 표현하는 특징량으로서, 지역마다의 코드를 취득하는 입력신호의 당해 지역코드를 추출하는 것을 특징으로 하는 신호처리방법.
  47. 제 30항에 있어서,
    상기 입력신호의 신호원을 식별하고, 상기 제 1신호와 같은 것을 표현하는 특징량으로서, 상기 제 1신호의 후보구간에 있어서의 신호원의 종류를 추출하는 것을 특징으로 하는 신호처리방법.
  48. 제 30항에 있어서,
    상기 제 1신호와 같은 것을 표현하는 특징량으로서, 상기 제 1신호의 후보구간이 입력되는 시각을 추출하는 것을 특지으로 하는 신호처리방법.
  49. 제 30항에 있어서,
    복수의 쟝르로 나눌 수 있는 상기 입력신호의 상기 쟝르를 식별하고, 상기 제 1신호와 같은 것을 표현하는 특징량으로서, 상기 제 1신호의 후보구간의 전후의 신호의 쟝르를 추출하는 것을 특징으로 하는 신호처리방법.
  50. 제 30항에 있어서,
    복수의 쟝르로 나눌 수 있는 상기 입력신호의 쟝르를 식별하고, 상기 제 1신호와 같은 것을 표현하는 특징량으로서, 상기 제 1신호의 후보구간의 전후의 신호의 쟝르 및 상기 제 1신호의 후보구간의 입력시각으로부터의 경과시간을 추출하는 것을 특징으로 하는 신호처리방법.
  51. 제 30항에 있어서,
    상기 제 1신호와 같은 것을 표현하는 특징량으로서, 상기 입력신호의 진폭이 기준치보다 작을 때의 횟수, 그 길이, 또는 상기 입력신호의 진폭의 분산을 추출하는 것을 특징으로 하는 신호처리방법.
  52. 제 31항에 있어서,
    상기 특징량에 의거한 평가 시에는, 상기 특징량을 하중 가산하고, 당해 가중가산 후의 특징량에 의거하여, 상기 후보구간이 상기 제 1신호일 가능성을 평가하는 것을 특징으로 하는 신호처리방법.
  53. 제 31항에 있어서,
    상기 특징량에 의거한 평가 시에는, 다층 퍼셉트론을 이용하는 것을 특징으로 하는 신호처리방법.
KR1020010021653A 2000-04-24 2001-04-21 신호처리장치 및 방법 KR100903160B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2000127658 2000-04-24
JP2000-127658 2000-04-24
JP2000307907A JP4300697B2 (ja) 2000-04-24 2000-10-06 信号処理装置及び方法
JP2000-307907 2000-10-06

Publications (2)

Publication Number Publication Date
KR20010099712A true KR20010099712A (ko) 2001-11-09
KR100903160B1 KR100903160B1 (ko) 2009-06-17

Family

ID=26590976

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020010021653A KR100903160B1 (ko) 2000-04-24 2001-04-21 신호처리장치 및 방법

Country Status (4)

Country Link
US (1) US7742680B2 (ko)
EP (1) EP1150446A3 (ko)
JP (1) JP4300697B2 (ko)
KR (1) KR100903160B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100481246B1 (ko) * 2000-09-27 2005-04-07 니혼 빅터 가부시키가이샤 프로그램 신호 기록 재생 장치 및 프로그램 신호 재생 장치

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4507351B2 (ja) * 2000-04-27 2010-07-21 ソニー株式会社 信号処理装置及び方法
JP2002010237A (ja) * 2000-06-22 2002-01-11 Sony Corp 情報送受信システム及び方法、情報処理装置及び方法
US7356464B2 (en) * 2001-05-11 2008-04-08 Koninklijke Philips Electronics, N.V. Method and device for estimating signal power in compressed audio using scale factors
US7376159B1 (en) 2002-01-03 2008-05-20 The Directv Group, Inc. Exploitation of null packets in packetized digital television systems
US7286473B1 (en) 2002-07-10 2007-10-23 The Directv Group, Inc. Null packet replacement with bi-level scheduling
US20040167767A1 (en) * 2003-02-25 2004-08-26 Ziyou Xiong Method and system for extracting sports highlights from audio signals
US7647221B2 (en) 2003-04-30 2010-01-12 The Directv Group, Inc. Audio level control for compressed audio
US7912226B1 (en) 2003-09-12 2011-03-22 The Directv Group, Inc. Automatic measurement of audio presence and level by direct processing of an MPEG data stream
JP2007243232A (ja) * 2004-04-19 2007-09-20 Pioneer Electronic Corp 動画像情報記録装置、動画像情報記録方法、並びに、動画像情報記録プログラムおよびそれを記録した記録媒体
JPWO2005104124A1 (ja) * 2004-04-19 2008-07-31 パイオニア株式会社 動画像情報記録装置、動画像情報記録方法、並びに、動画像情報記録プログラムおよびそれを記録した記録媒体
JP2006215418A (ja) * 2005-02-07 2006-08-17 Nissan Motor Co Ltd 音声入力装置及び音声入力方法
JP4534791B2 (ja) * 2005-02-23 2010-09-01 ソニー株式会社 Ｃｍ検索方法、ｃｍ検索結果受給方法、ｃｍ検索装置、ｃｍ検索結果受給装置及びｃｍ録画予約システム
US8312489B2 (en) 2005-02-23 2012-11-13 Sony Corporation CM searching method and apparatus, and CM-appendant information supplying method and apparatus
JP4321518B2 (ja) * 2005-12-27 2009-08-26 三菱電機株式会社 楽曲区間検出方法、及びその装置、並びにデータ記録方法、及びその装置
JP4442585B2 (ja) 2006-05-11 2010-03-31 三菱電機株式会社 楽曲区間検出方法、及びその装置、並びにデータ記録方法、及びその装置
JP4611952B2 (ja) 2006-09-26 2011-01-12 株式会社日立製作所 番組録画装置及びコマーシャル検出方法
JP2008216618A (ja) * 2007-03-05 2008-09-18 Fujitsu Ten Ltd 音声判別装置
JP4840325B2 (ja) * 2007-10-19 2011-12-21 三菱電機株式会社 映像音声記録装置
PA8847601A1 (es) * 2008-11-03 2010-06-28 Telefonica Sa Metodo y sistema de clasificacion de informacion audiovisual
JP4427600B1 (ja) 2008-11-28 2010-03-10 株式会社東芝 映像解析装置およびプログラム
US9729120B1 (en) 2011-07-13 2017-08-08 The Directv Group, Inc. System and method to monitor audio loudness and provide audio automatic gain control
CN103426439B (zh) * 2013-05-08 2016-04-27 杭州联汇数字科技有限公司 一种广播电视音频信号内容一致性检测方法
JP7075405B2 (ja) * 2016-12-28 2022-05-25 コーニンクレッカ フィリップス エヌ ヴェ 睡眠呼吸障害の特徴付け方法
JP7000200B2 (ja) * 2018-02-22 2022-01-19 株式会社野村総合研究所 広告効果予測システム、方法およびプログラム
JP7275711B2 (ja) * 2019-03-20 2023-05-18 ヤマハ株式会社 オーディオ信号の処理方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0721823B2 (ja) 1985-10-25 1995-03-08 ソニー株式会社 画像入力装置
JP3158291B2 (ja) 1991-07-22 2001-04-23 ソニー株式会社 表示装置
JPH05137041A (ja) * 1991-08-30 1993-06-01 Fuji Photo Film Co Ltd デジタル電子スチルカメラ
US6208271B1 (en) * 1998-09-04 2001-03-27 Brad A. Armstrong Remote controller with analog button(s)
US5436653A (en) * 1992-04-30 1995-07-25 The Arbitron Company Method and system for recognition of broadcast segments
US5692093A (en) * 1993-01-08 1997-11-25 Srt, Inc. Method and apparatus for eliminating television commercial messages
JP3006338B2 (ja) * 1993-03-26 2000-02-07 松下電器産業株式会社 運動領域輪郭検出装置
JP2785641B2 (ja) 1993-04-14 1998-08-13 日本電気株式会社 画像符号化装置
US5343251A (en) * 1993-05-13 1994-08-30 Pareto Partners, Inc. Method and apparatus for classifying patterns of television programs and commercials based on discerning of broadcast audio and video signals
US6002393A (en) * 1995-08-22 1999-12-14 Hite; Kenneth C. System and method for delivering targeted advertisements to consumers using direct commands
JP3332756B2 (ja) 1996-03-14 2002-10-07 三洋電機株式会社 テレビジョン放送信号の記録再生装置
JPH09312827A (ja) 1996-05-22 1997-12-02 Sony Corp 記録再生装置
JP3315879B2 (ja) * 1996-10-25 2002-08-19 松下電器産業株式会社 画像記録装置及び画像再生装置
US6278836B1 (en) * 1996-08-27 2001-08-21 Matsushita Electric Industrial Co., Ltd. Information reproducing apparatus for reproducing video signals and program information which are recorded in information recording media
JPH10215436A (ja) 1997-01-30 1998-08-11 Sony Corp 記録再生装置および方法、並びに記録媒体
US6128712A (en) * 1997-01-31 2000-10-03 Macromedia, Inc. Method and apparatus for improving playback of interactive multimedia works
JPH10222933A (ja) 1997-02-05 1998-08-21 Sony Corp 情報記録装置および情報記録方法、並びに情報伝送装置および情報伝送方法
JPH10224722A (ja) 1997-02-07 1998-08-21 Sony Corp コマーシャル検出装置及び検出方法
JP3138235B2 (ja) * 1997-06-17 2001-02-26 三洋電機株式会社 テレビジョン放送の記録再生装置
JPH1153783A (ja) 1997-07-31 1999-02-26 Hitachi Ltd テレビジョン信号記録再生装置
JPH1169322A (ja) 1997-08-20 1999-03-09 Victor Co Of Japan Ltd Ｔｖコマーシャル放送チェック用信号挿入方法及びシステム並びにｔｖコマーシャル放送チェック方法及びシステム
US6226444B1 (en) * 1997-09-30 2001-05-01 Intel Corporation Method and apparatus for recording program data without commercials
JPH11136634A (ja) * 1997-10-31 1999-05-21 Victor Co Of Japan Ltd コマーシャル検出装置及びコマーシャル検出方法並びにコマーシャル検出プログラムの記録された記録媒体及びコマーシャルスキップ記録装置
US6029045A (en) * 1997-12-09 2000-02-22 Cogent Technology, Inc. System and method for inserting local content into programming content
US6100941A (en) * 1998-07-28 2000-08-08 U.S. Philips Corporation Apparatus and method for locating a commercial disposed within a video data stream
JP2000115726A (ja) * 1998-10-06 2000-04-21 Toshiba Corp ディジタル放送送信装置及びディジタル放送受信装置
US6671880B2 (en) * 1998-10-30 2003-12-30 Intel Corporation Method and apparatus for customized rendering of commercials
JP2000209553A (ja) * 1998-11-13 2000-07-28 Victor Co Of Japan Ltd 情報信号記録装置及び再生装置
US7653925B2 (en) * 1999-11-17 2010-01-26 Ricoh Company, Ltd. Techniques for receiving information during multimedia presentations and communicating the information
US6882269B2 (en) * 2000-07-14 2005-04-19 Darren Murrey System and method for remotely coordinating the secure delivery of goods

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100481246B1 (ko) * 2000-09-27 2005-04-07 니혼 빅터 가부시키가이샤 프로그램 신호 기록 재생 장치 및 프로그램 신호 재생 장치

Also Published As

Publication number Publication date
JP4300697B2 (ja) 2009-07-22
EP1150446A3 (en) 2006-02-01
US20020021759A1 (en) 2002-02-21
JP2002016873A (ja) 2002-01-18
US7742680B2 (en) 2010-06-22
KR100903160B1 (ko) 2009-06-17
EP1150446A2 (en) 2001-10-31

Similar Documents

Publication Publication Date Title
KR20010099712A (ko) 신호처리장치 및 방법
JP4332988B2 (ja) 信号処理装置及び方法
KR101001172B1 (ko) 유사 비디오 콘텐츠 호핑을 위한 방법 및 장치
US7214868B2 (en) Acoustic signal processing apparatus and method, signal recording apparatus and method and program
US20090279840A1 (en) Image Digesting Apparatus
EP1067800A1 (en) Signal processing method and video/voice processing device
US6928233B1 (en) Signal processing method and video signal processor for detecting and analyzing a pattern reflecting the semantics of the content of a signal
US8798170B2 (en) Program recommendation apparatus
EP1531626B1 (en) Automatic summarisation for a television programme suggestion engine based on consumer preferences
US7170566B2 (en) Family histogram based techniques for detection of commercials and other video content
US6819863B2 (en) System and method for locating program boundaries and commercial boundaries using audio categories
US8260108B2 (en) Recording and reproduction apparatus and recording and reproduction method
EP1531478A1 (en) Apparatus and method for classifying an audio signal
US20040068741A1 (en) Content preference calculation method and content reception apparatus
EP1403783A2 (en) Audio signal feature extraction
KR20060027826A (ko) 비디오 처리장치, 비디오 처리장치용 집적회로, 비디오처리방법, 및 비디오 처리 프로그램
US7697822B2 (en) Apparatus and method for automatically selecting and recording highlight portions of a broadcast signal
US20070028256A1 (en) Method and apparatus for facilitating program selection
JP4253934B2 (ja) 信号処理装置及び方法
US8234278B2 (en) Information processing device, information processing method, and program therefor
JP4512969B2 (ja) 信号処理装置及び方法、記録媒体、並びにプログラム
JP2001313960A (ja) 信号処理装置及び方法
JP2004363749A (ja) コンテンツ記録システムおよび方法、記録装置および方法、プログラム、並びに記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120604

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee