KR100782286B1 - 정보의 검색 처리 방법, 검색 처리 장치, 저장 방법 및저장 장치 - Google Patents

정보의 검색 처리 방법, 검색 처리 장치, 저장 방법 및저장 장치 Download PDF

Info

Publication number
KR100782286B1
KR100782286B1 KR1020017005244A KR20017005244A KR100782286B1 KR 100782286 B1 KR100782286 B1 KR 100782286B1 KR 1020017005244 A KR1020017005244 A KR 1020017005244A KR 20017005244 A KR20017005244 A KR 20017005244A KR 100782286 B1 KR100782286 B1 KR 100782286B1
Authority
KR
South Korea
Prior art keywords
searcher
sound
signal
acoustic
feature parameter
Prior art date
Application number
KR1020017005244A
Other languages
English (en)
Other versions
KR20010089358A (ko
Inventor
마사요시 미우라
야베수수무
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20010089358A publication Critical patent/KR20010089358A/ko
Application granted granted Critical
Publication of KR100782286B1 publication Critical patent/KR100782286B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H3/00—Instruments in which the tones are generated by electromechanical means
    • G10H3/12—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument
    • G10H3/125—Extracting or recognising the pitch or fundamental frequency of the picked up signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/011—Files or data streams containing coded musical information, e.g. for transmission
    • G10H2240/046—File format, i.e. specific or non-standard musical file format used in or adapted for electrophonic musical instruments, e.g. in wavetables
    • G10H2240/066—MPEG audio-visual compression file formats, e.g. MPEG-4 for coding of audio-visual objects
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171—Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/281—Protocol or standard connector for transmission of analog or digital data to or from an electrophonic musical instrument
    • G10H2240/315—Firewire, i.e. transmission according to IEEE1394
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/541—Details of musical waveform synthesis, i.e. audio waveshape processing from individual wavetable samples, independently of their origin or of the sound they represent
    • G10H2250/571—Waveform compression, adapted for music synthesisers, sound banks or wavetables
    • G10H2250/575—Adaptive MDCT-based compression, e.g. using a hybrid subband-MDCT, as in ATRAC
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2525—Magneto-optical [MO] discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals

Abstract

검색 대상의 음향 신호에 대해서, 유사성 산출부의 이전 단계에 설치한 음향 특징 파라미터 해석부에 의해 해석하여 음향 특징 파라미터를 얻는다. 또한, 검색자 음향 신호 판독부에 의해, 검색자 메모리의 검색자 격납 영역으로부터 검색자의 음향 신호를 판독하고, 상기 검색자의 음향 신호에 대해서, 검색자 음향 특징 파라미터 해석부에 의해 해석하여, 검색자 음향 특징 파라미터를 얻는다. 그리고, 유사성 산출부에서는, 상기 음향 특징 파라미터 해석부에 의해 얻은 음향 특징 파라미터와, 검색자 음향 특징 파라미터 판독부로부터의 검색자 음향 특징 파라미터를 비교하여, 양자의 유사성을 산출, 검색 대상의 음향 신호 중에서 검색자의 음원으로부터의 음향 신호와 유사한 부분을 검색한다.
음향 신호, 검색자, 음향 특징 파라미터, 영상 특징 파라미터

Description

정보의 검색 처리 방법, 검색 처리 장치, 저장 방법 및 저장 장치{Information retrieving/processing method, retrieving/processing device, storing method and storing device}
본 발명은 검색 대상의 음향 신호나 영상 신호로부터, 예를 들어, 특정 악기, 특정 인성(人聲), 동물의 울음 소리 등의 부분이나 특정한 인물 화상, 특정한 장면 등의 부분을 검색하는 검색 처리 방법 및 장치, 또한, 이러한 검색 처리 방법 및 장치를 사용한 정보 저장 방법 및 장치에 관한 것이다.
예를 들어, 회의 녹음을 행한 경우, 기록된 음향 신호에 대해서, 기록 후에 특정한 발언 부분 등을 검색하거나 하는 요구가 있다.
이렇게, 기록된 음향 신호에 대해서, 사용자가 희망하는 음향 신호 부분을 검색할 경우, 종래는 기록 시에 마커를 주입해 두고, 재생 시에 이러한 주입된 마커를 검출함으로써, 희망하는 음향 신호 부분을 검색하도록 하고 있다.
또한, 기록 시에, 나중에 검색하고 싶은 음향 신호 부분을 알 수 있도록 카 운터 수치나 기록 개시 시점으로부터의 시간을 각각의 음향 신호 부분과 대응하여 기록하도록 하는 방법도 알려져 있다.
그렇지만, 상술한 방법의 경우, 기록 시에, 나중에 검색할 음향 신호 부분을 판단하여 마커를 주입하거나 카운터 수치나 시간을 기록하거나 할 필요가 있기 때문에, 사용 편의에 대해서, 다음과 같은 문제가 있었다.
1. 기록 시에 마커를 사용자가 주입하거나 카운터 수치나 시간을 별도로 기록해야만 하여, 마커 주입 조작이나 카운터 수치나 시간을 기록하는 조작이 귀찮다.
2. 마커나 카운터 수치, 시간이 기록되어 있지 않은 부분은 검색할 수 없다.
3. 특정 화자 혹은 특정 악기 등만의 부분을 검색할 수 없다. 이 때문에, 예를 들어, 회의 기록에 있어서 발언 구간을 화자마다 분류하거나 연주 구간을 악기마다 분류하거나 할 수 없다.
4. 일단 기록하여 마커나 카운터 수치 등을 기록할 필요가 있기 때문에, 기록을 행하지 않고, 복수의 검색자에 대해서 검색하여 분류한다는 것은 불가능했다.
본 발명은 이상의 점에 비추어, 기록 시에 마커를 주입하거나 카운터 수치나 시간을 기록하는 조작이 필요 없으며, 게다가, 특정 화자나 악기 등의 부분을 검색할 수 있는 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 음향 신호를 기록하지 않아도 검색 대상의 음향 신호로부터 특정한 음원 등의 음향 신호를 검색자로 하는 검색을 행할 수 있도록 하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명에 따른 음향 검색 처리 방법은 검색자로 하는 1 내지 복수의 음향 신호에 대한 음원의 구조적인 요소에 의존하는 음향 특징 파라미터로 이루어지는 검색자 음향 특징 파라미터 각각과, 검색 대상의 음향 신호를 해석하여 얻은 상기 음향 특징 파라미터를 비교하고, 양자의 유사성을 산출함으로써, 상기 검색 대상의 음향 신호 중에서 상기 검색자의 음향 신호와 유사한 부분을 검색하는 것을 특징으로 한다.
또한, 본 발명에 따른 음향 정보 저장 방법은 입력 음향 신호를 기록 매체에 기록함과 동시에, 상기 입력 음향 신호를 해석하여, 음원의 구조적인 요소에 의존하는 음향 특징 파라미터를 얻어, 검색자로 하는 1 내지 복수의 음향 신호에 대한 상기 음향 특징 파라미터로 이루어지는 검색자 음향 특징 파라미터 각각과, 상기 입력 음향 신호에 대한 상기 음향 특징 파라미터를 비교하고, 양자의 유사성을 산출함으로써, 상기 검색 대상의 음향 신호 중에서 상기 검색자의 음향 신호와 유사한 부분을 검색하며, 그 검색 결과를 상기 검색자 및 상기 입력 음향 신호의 상기 기록 매체 상의 기록 위치에 관련시켜 기록하도록 하는 것을 특징으로 한다.
또한, 본 발명에 따른 음향 정보 검색 장치는 검색 대상의 음향 신호를 음원의 구조적인 요소에 의존하는 음향 특징 파라미터로 해석하는 음향 특징 파라미터 해석 수단과, 검색자로 하는 음향 신호에 대한 상기 음향 특징 파라미터로 이루어지는 검색자 음향 특징 파라미터와, 상기 음향 특징 파라미터 해석 수단으로부터의 상기 검색 대상의 음향 신호의 음향 특징 파라미터를 비교하여, 상기 검색 대상의 음향 신호 중에서 상기 검색자의 음원으로부터의 음향 신호와 유사한 부분을 검색하는 검색 수단과, 상기 검색 수단 결과를 표시하는 결과 표시 수단을 구비하는 것을 특징으로 한다.
또한, 본 발명에 따른 음향 정보 검색 장치는 검색 대상의 음향 신호를 음원의 구조적인 요소에 의존하는 음향 특징 파라미터로 해석하는 음향 특징 파라미터 해석 수단과, 검색자로 하는 음향 신호에 대한 상기 음향 특징 파라미터로 이루어지는 검색자 음향 특징 파라미터와, 상기 음향 특징 파라미터 해석 수단으로부터의 상기 검색 대상의 음향 신호의 음향 특징 파라미터를 비교하여, 상기 검색 대상의 음향 신호 중에서 상기 검색자의 음원으로부터의 음향 신호와 유사한 부분을 검색하는 검색 수단과, 상기 검색 수단에서의 검색 결과에 기초하여, 상기 유사한 부분만을 추출하여 재생하는 재생 수단을 구비하는 것을 특징으로 한다.
또한, 본 발명에 따른 음향 정보 저장 장치는 입력 음향 신호를 기록 매체에 기록하는 기록 수단과, 상기 입력 음향 신호를 음원의 구조적인 요소에 의존하는 음향 특징 파라미터로 해석하는 음향 특징 파라미터 해석 수단과, 검색자로 하는 1 내지 복수의 음향 신호에 대한 상기 음향 특징 파라미터로 이루어지는 검색자 음향 특징 파라미터 각각과, 상기 입력 음향 신호에 대한 상기 음향 특징 파라미터를 비교하고, 양자의 유사성을 산출함으로써, 상기 검색 대상의 음향 신호 중에서 상기 검색자의 음원으로부터의 음향 신호와 유사한 부분을 검색하는 검색 수단을 구비하며, 상기 검색 수단의 검색 결과를 상기 검색자 및 상기 입력 음향 신호의 상기 기록 매체 상의 기록 위치에 관련시켜 기록하도록 하는 것을 특징으로 한다.
또한, 본 발명에 따른 음향 영상 검색 처리 방법은 영상 신호와, 그 영상 신호에 관련되는 음향 신호로 이루어지는 입력 신호로부터 소정 부분을 검색하는 음향 영상 검색 처리 방법에 있어서, 검색자로 하는 1 내지 복수의 음향 신호에 대한 음원의 구조적인 요소에 의존하는 음향 특징 파라미터로 이루어지는 검색자 음향 특징 파라미터 각각과, 검색 대상의 상기 입력 신호 중의 음향 신호를 해석하여 얻은 상기 음향 특징 파라미터를 비교하고, 양자의 유사성을 산출함으로써, 상기 입력 신호 중의 음향 신호 중에서 상기 검색자의 음향 신호와 유사한 부분을 검색하여, 그 검색한 부분을 상기 입력 신호에 대한 검색 결과로 하는 것을 특징으로 한다.
또한, 본 발명에 따른 음향 영상 검색 처리 방법은 영상 신호와, 그 영상 신호에 관련되는 음향 신호로 이루어지는 입력 신호로부터 소정 부분을 검색하는 음향 영상 검색 처리 방법에 있어서, 검색자로 하는 1 내지 복수의 음향 신호에 대한 음원의 구조적인 요소에 의존하는 음향 특징 파라미터로 이루어지는 검색자 음향 특징 파라미터 각각과, 검색 대상의 상기 입력 신호 중의 음향 신호를 해석하여 얻은 상기 음향 특징 파라미터를 비교하고, 양자의 유사성을 산출함으로써, 상기 입력 신호 중의 음향 신호 중에서 상기 검색자의 음향 신호와 유사한 부분을 검색함과 동시에, 검색자로 하는 1 내지 복수의 영상 신호에 대한 화상의 특징을 나타내는 영상 특징 파라미터로 이루어지는 검색자 영상 특징 파라미터 각각과, 검색 대상의 상기 입력 신호 중의 영상 신호를 해석하여 얻은 상기 영상 특징 파라미터를 비교하고, 양자의 유사성을 산출함으로써, 상기 입력 신호 중 영상 신호 중에서 상기 검색자의 화상과 유사한 화상 부분을 검색하여, 상기 음향 신호에 대한 검색 결과와 상기 영상 신호에 대한 검색 결과에 기초하여, 상기 입력 신호 중에서 소정 부분을 검색하는 것을 특징으로 한다.
또한, 본 발명에 따른 음향 영상 정보 저장 방법은 영상 신호와, 그 영상 신호에 관련되는 음향 신호로 이루어지는 입력 신호를 기록 매체에 기록함과 동시에, 상기 입력 신호 중의 음향 신호를 해석하여, 음원의 구조적인 요소에 의존하는 음향 특징 파라미터를 얻어, 검색자로 하는 1 내지 복수의 음향 신호에 대한 상기 음향 특징 파라미터로 이루어지는 검색자 음향 특징 파라미터 각각과, 상기 입력 신호 중의 음향 신호에 대한 상기 음향 특징 파라미터를 비교하고, 양자의 유사성을 산출함으로써, 상기 입력 신호 중 음향 신호 중에서 상기 검색자의 음향 신호와 유사한 부분을 검색하여, 그 검색 결과를 상기 검색자와 상기 입력 신호의 상기 기록 매체 상의 기록 위치에 관련시켜 기록하도록 하는 것을 특징으로 한다.
또한, 본 발명에 따른 음향 영상 정보 저장 방법은 영상 신호와, 그 영상 신호에 관련되는 음향 신호로 이루어지는 입력 신호를 기록 매체에 기록함과 동시에, 검색자로 하는 1 내지 복수의 음향 신호에 대한 음원의 구조적인 요소에 의존하는 음향 특징 파라미터로 이루어지는 검색자 음향 특징 파라미터 각각과, 검색 대상의 상기 입력 신호 중의 음향 신호를 해석하여 얻은 상기 음향 특징 파라미터를 비교하고, 양자의 유사성을 산출함으로써, 상기 입력 신호 중의 음향 신호 중에서 상기 검색자의 음향 신호와 유사한 부분을 검색하며, 더욱이 검색자로 하는 1 내지 복수의 영상 신호에 대한 화상의 특징을 나타내는 영상 특징 파라미터로 이루어지는 검색자 영상 특징 파라미터 각각과, 검색 대상의 상기 입력 신호 중 영상 신호를 해석하여 얻은 상기 영상 특징 파라미터를 비교하고, 양자의 유사성을 산출함으로써, 상기 입력 신호 중 영상 신호 중에서 상기 검색자의 화상과 유사한 화상 부분을 검색하며, 상기 음향 신호및 영상 신호에 대한 검색 결과를 상기 검색자와 상기 입력 신호의 상기 기록 매체 상의 기록 위치에 관련시켜 기록하도록 하는 것을 특징으로 한다.
또한, 본 발명에 따른 음향 영상 정보 검색 장치는 영상 신호와, 그 영상 신호에 관련되는 음향 신호로 이루어지는 입력 신호 중의 상기 음향 신호를 음원의 구조적인 요소에 의존하는 음향 특징 파라미터로 해석하는 음향 특징 파라미터 해석 수단과, 검색자로 하는 음향 신호에 대한 상기 음향 특징 파라미터로 이루어지는 검색자 음향 특징 파라미터와, 상기 음향 특징 파라미터 해석 수단으로부터의 상기 검색 대상의 음향 신호의 음향 특징 파라미터를 비교하여, 상기 검색 대상의 음향 신호 중에서 상기 검색자의 음원으로부터의 음향 신호와 유사한 부분을 검색하는 검색 수단과, 상기 검색 수단 결과를 표시하는 결과 표시 수단을 구비하는 것을 특징으로 한다.
또한, 본 발명에 따른 음향 영상 정보 검색 장치는 영상 신호와, 그 영상 신호에 관련되는 음향 신호로 이루어지는 입력 신호 중의 상기 음향 신호를 음원의 구조적인 요소에 의존하는 음향 특징 파라미터로 해석하는 음향 특징 파라미터 해석 수단과, 검색자로 하는 음향 신호에 대한 상기 음향 특징 파라미터로 이루어지는 검색자 음향 특징 파라미터와, 상기 음향 특징 파라미터 해석 수단으로부터의 상기 검색 대상의 음향 신호의 음향 특징 파라미터를 비교하여, 상기 검색 대상의 음향 신호 중에서 상기 검색자의 음원으로부터의 음향 신호와 유사한 부분을 검색하는 검색 수단과, 상기 검색 수단에서의 검색 결과에 기초하여, 상기 유사한 부분에 대응하는 상기 입력 신호 부분을 추출하여 재생하는 재생 수단을 구비하는 것을 특징으로 한다.
또한, 본 발명에 따른 음향 영상 정보 검색 장치는 영상 신호와, 그 영상 신호에 관련되는 음향 신호로 이루어지는 입력 신호 중 상기 음향 신호를 음원의 구조적인 요소에 의존하는 음향 특징 파라미터로 해석하는 음향 특징 파라미터 해석 수단과, 검색자로 하는 음원에 대한 상기 음향 특징 파라미터로 이루어지는 검색자 음향 특징 파라미터와, 상기 음향 특징 파라미터 해석 수단으로부터의 상기 입력 신호 중 음향 신호의 음향 특징 파라미터를 비교하여, 상기 입력 신호 중 음향 신호 중에서 상기 검색자의 음원으로부터의 음향 신호와 유사한 부분을 검색하는 음향 부분 검색 수단과, 상기 입력 신호 중의 영상 신호를 화상의 특징을 나타내는 영상 특징 파라미터로 해석하는 영상 특징 파라미터 해석 수단과, 검색자로 하는 1 내지 복수의 영상 신호에 대한 상기 영상 특징 파라미터로 이루어지는 검색자 영상 특징 파라미터 각각과, 상기 영상 특징 파라미터 해석 수단으로부터의 상기 입력 신호 중의 영상 신호의 영상 특징 파라미터를 비교하여, 상기 입력 신호 중의 영상 신호 중에서 상기 검색자의 영상 신호와 유사한 부분을 검색하는 영상 부분 검색 수단과, 상기 음향 부분 검색 수단 및 영상 부분 검색 수단 결과를 표시하는 결과 표시 수단을 구비하는 것을 특징으로 한다.
또한, 본 발명에 따른 음향 영상 정보 검색 장치는 영상 신호와, 그 영상 신호에 관련되는 음향 신호로 이루어지는 입력 신호 중의 상기 음향 신호를 음원의 구조적인 요소에 의존하는 음향 특징 파라미터로 해석하는 음향 특징 파라미터 해석 수단과, 검색자로 하는 음원에 대한 상기 음향 특징 파라미터로 이루어지는 검색자 음향 특징 파라미터와, 상기 음향 특징 파라미터 해석 수단으로부터의 상기 입력 신호 중의 음향 신호의 음향 특징 파라미터를 비교하여, 상기 입력 신호 중의 음향 신호 중에서 상기 검색자의 음원으로부터의 음향 신호와 유사한 부분을 검색하는 음향 부분 검색 수단과, 상기 입력 신호 중의 영상 신호를 화상의 특징을 나타내는 영상 특징 파라미터로 해석하는 영상 특징 파라미터 해석 수단과, 검색자로 하는 1 내지 복수의 영상 신호에 대한 상기 영상 특징 파라미터로 이루어지는 검색자 영상 특징 파라미터 각각과, 상기 영상 특징 파라미터 해석 수단으로부터의 상기 입력 신호 중의 영상 신호의 영상 특징 파라미터를 비교하여, 상기 입력 신호 중의 영상 신호 중에서 상기 검색자의 영상 신호와 유사한 부분을 검색하는 영상 부분 검색 수단과, 상기 음향 부분 검색 수단 및 영상 부분 검색 수단에서의 검색 결과에 기초하여 결정되는 상기 입력 신호 부분을 추출하여 재생하는 재생 수단을 구비하는 것을 특징으로 한다.
또한, 본 발명에 따른 음향 영상 정보 저장 장치는 영상 신호와, 그 영상 신호에 관련되는 음향 신호로 이루어지는 입력 신호를 기록 매체에 기록하는 기록 수단과, 상기 입력 신호 중의 음향 신호를 해석하여, 음원의 구조적인 요소에 의존하 는 음향 특징 파라미터로 해석하는 음향 특징 파라미터 해석 수단과, 검색자로 하는 1 내지 복수의 음향 신호에 대한 상기 음향 특징 파라미터로 이루어지는 검색자 음향 특징 파라미터 각각과, 상기 입력 신호 중의 음향 신호에 대한 상기 음향 특징 파라미터를 비교하고, 양자의 유사성을 산출함으로써, 상기 입력 신호 중의 음향 신호 중에서 상기 검색자의 음향 신호와 유사한 부분을 검색하는 음향 부분 검색 수단을 구비하며, 상기 음향 부분 검색 수단의 검색 결과를 상기 검색자와 상기 입력 신호의 상기 기록 매체 상의 기록 위치에 관련시켜 기록하도록 하는 것을 특징으로 한다.
더욱이, 본 발명에 따른 음향 영상 정보 저장 장치는 영상 신호와, 그 영상 신호에 관련되는 음향 신호로 이루어지는 입력 신호를 기록 매체에 기록하는 기록 수단과, 검색자로 하는 1 내지 복수의 음향 신호에 대한 음원의 구조적인 요소에 의존하는 음향 특징 파라미터로 이루어지는 검색자 음향 특징 파라미터 각각과, 검색 대상의 상기 입력 신호 중의 음향 신호를 해석하여 얻은 상기 음향 특징 파라미터를 비교하고, 양자의 유사성을 산출함으로써, 상기 입력 신호 중의 음향 신호 중에서 상기 검색자의 음향 신호와 유사한 부분을 검색하는 음향 부분 검색 수단과, 검색자로 하는 1 내지 복수의 영상 신호에 대한 화상의 특징을 나타내는 영상 특징 파라미터로 이루어지는 검색자 영상 특징 파라미터 각각과, 검색 대상의 상기 입력 신호 중의 영상 신호를 해석하여 얻은 상기 영상 특징 파라미터를 비교하고, 양자의 유사성을 산출함으로써, 상기 입력 신호 중의 영상 신호 중에서 상기 검색자의 화상과 유사한 화상 부분을 검색하는 영상 부분 검색 수단을 구비하며, 상기 음향 부분 검색 수단 및 영상 부분 검색 수단의 검색 결과를 상기 검색자와 상기 입력 신호의 상기 기록 매체 상의 기록 위치에 관련시켜 기록하도록 하는 것을 특징으로 한다.
도 1은 본 발명에 의한 음향 검색 처리 장치의 제 1 실시예의 블록도.
도 2a 및 도 2b는 남성 음성의 음향적 특징을 나타내기 위한 주파수 성분 분포 및 시간 파형을 도시하는 도면.
도 3a 및 도 3b는 여성 음성의 음향적 특징을 나타내기 위한 주파수 성분 분포 및 시간 파형을 도시하는 도면.
도 4a 및 도 4b는 섹소폰의 음향적 특징을 나타내기 위한 주파수 성분 분포 및 시간 파형을 도시하는 도면.
도 5a 및 도 5b는 베이스 기타의 음향적 특징을 나타내기 위한 주파수 성분 분포 및 시간 파형을 도시하는 도면.
도 6은 제 1 실시예에서 검색자의 등록 처리 동작을 설명하기 위한 흐름도.
도 7은 제 1 실시예에서 검색 처리 동작을 설명하기 위한 흐름도.
도 8a 및 도 8b는 제 1 실시예에서 검색 처리 결과의 표시예를 도시하는 도면.
도 9는 제 1 실시예에서 검색 처리 결과의 표시예의 다른 예를 도시하는 도면.
도 10은 제 1 실시예에서 검색 처리 결과의 표시예의 다른 예를 도시하는 도면.
도 11은 본 발명에 의한 음향 검색 처리 장치의 제 2 실시예의 블록도.
도 12는 본 발명에 의한 음향 검색 처리 장치의 제 3 실시예의 블록도.
도 13은 본 발명에 의한 음향 검색 처리 장치의 제 4 실시예의 블록도.
도 14는 본 발명에 의한 음향 검색 처리 장치의 제 5 실시예의 주요부 설명에 사용하는 도면.
도 15는 본 발명에 의한 음향 검색 처리 장치의 제 5 실시예의 주요부 설명에 사용하는 흐름도.
도 16은 본 발명에 의한 음향 영상 검색 처리 장치의 제 1 실시예의 블록도.
도 17은 본 발명에 의한 음향 영상 검색 처리 장치의 제 1 실시예 설명에 사용하는 도면.
이하, 본 발명을 실시하기 위한 최선의 형태에 대해서 도면을 참조하면서 상세하게 설명한다.
이하, 본 발명의 실시예를 도면을 참조하면서 설명한다.
[제 1 실시예]
도 1은 본 발명의 제 1 실시예의 블록도이다. 제 1 실시예에 있어서, 검색 대상의 입력 음향 신호, 예를 들어, 마이크로폰으로 수음(受音)한 입력 오디오 신호를 기록하여, 재생하는 기능을 포함한다. 본 실시예에 있어서, 재생 음향 신호도 검색 대상의 음향 신호로 하는 기능을 포함한다. 또한, 검색 대상의 입력 음향 신호 또는 재생 음향 신호로부터 검색자의 음향 신호를 추출하여 기억 저장하는 기능과, 저장된 검색자의 음향 신호를 사용하여 입력 음향 신호 또는 재생 음향 신호에 대해서 검색하는 기능과, 더욱이 검색 결과를 표시부에 표시하는 기능을 포함한다.
입력 음향 신호는 입력 단자(11)를 통해 스위치 회로(SW1)에 공급된다. 스위치 회로(SW1)는 컨트롤부(10)로부터의 전환 신호에 의해, 입력 음향 신호 기록 시 및 입력 음향 신호에 대한 검색 시에는 단자 a측으로 전환되며, 입력 음향 신호로부터 검색자의 음향 신호를 추출할 때에는 단자 b측으로 전환된다.
그리고, 스위치 회로(SW1)의 단자 a측에 얻어지는 오디오 신호는 음향 신호 기록부(12)를 통하여 기록 매체(13), 예를 들어, 메모리 카드, 자기 디스크나 광 자기 디스크 등의 광 디스크나 하드 디스크에 기록된다. 음향 신호 기록부(12)는 키 조작부(20)를 통해 기록 지시가 사용자로부터 주어졌을 때에, 컨트롤부(10)로부터의 제어 신호에 의해 액티브해져 기록을 실행한다.
입력 단자(11)를 통한 입력 음향 신호는 또한, 스위치 회로(SW2)의 입력단(IN)에 공급된다. 스위치 회로(SW2) 후단에는 오디오 증폭기(15) 및 스피커(16)가 접속되어 있으며, 후술하는 재생 시 이외는 스위치 회로(SW2)는 컨트롤부(10)로부터의 전환 제어 신호에 의해, 입력단(IN) 측으로 전환된다. 따라서, 재생 시 이외 시에는 입력 음향 신호가 오디오 증폭기(15)를 통해 스피커(16)에 공급되어 음향 재생된다.
키 조작부(20)를 통해 재생 지시가 사용자로부터 주어지면, 컨트롤부(10)로부터의 제어 신호에 의해, 음향 신호 재생부(14)가 액티브해져, 기록 매체(13)로부터 재생 음향 신호가 판독되어 재생되며, 스위치 회로(SW2)의 입력단(PB)에 공급된다. 재생 시에는 스위치 회로(SW2)는 컨트롤부(10)로부터의 전환 제어 신호에 의해 입력단(PB) 측으로 전환된다. 따라서, 재생 음향 신호가 오디오 증폭기(15)를 통해 스피커(16)에 공급되어 음향 재생된다.
스위치 회로(SW1)의 단자 a측에 얻어지는 입력 음향 신호는 또한, 스위치 회로(SW3)의 한쪽 입력단(d)에 공급된다. 스위치 회로(SW3)의 다른 쪽 입력단(c)에는 음향 신호 재생부(14)로부터의 재생 음향 신호가 공급된다.
스위치 회로(SW3)는 검색 대상의 음향 신호를 전환하는 것으로, 키 조작부(20)를 통한 사용자에 의한 검색 대상의 음향 신호의 선택 지시에 따라서 전환된다.
이 스위치 회로(SW3)로부터 얻어지는 검색 대상의 음향 신호는 음향 특징 파라미터 해석부(21)에 공급되며, 예를 들어, 발음체의 구조나 공진계 등의 차이 등의 음원의 구조적 요소에 의존하는 음향 특징 파라미터로 해석한다. 음향 특징 파라미터로서는 피치 주파수, 그 고조파 성분 주파수, 포먼트(formant) 주파수나 켑스트럼(cepstrum) 정보, 선형 예측 계수와 그 잔차(殘差) 신호, 파콜(parcor) 계수 등을 들 수 있다.
예를 들어, 도 2는 일반적인 남성 음성의 주파수 성분 분포(도 2a)와 시간 파형(도 2b)의 예이다. 또한, 도 3은 일반적인 여성 음성의 주파수 성분 분포(도 3a)와 시간 파형(도 3b)의 예이다. 또한, 도 4는 섹소폰의 주파수 성분 분포(도 4a)와 시간 파형(도 4b)의 예이다. 더욱이, 도 5는 베이스 기타의 주파수 성분 분포(도 5a)와 시간 파형(도 5b)의 예이다.
이들 도 2 내지 도 5는 단순한 주파수 성분 분포 및 시간 파형이지만, 각각 피치 주파수, 그 고조파 성분, 포먼트 구조나 그 유무에 음향적인 특징이 보이는 것을 알 수 있다.
이러한 주파수 성분 분포 외에도, 선형 예측 계수와 그 잔차 신호 등의 음향 특징 파라미터라도 음향 신호의 특징을 나타낼 수 있다.
또한, 피치 주파수의 시간적 변동으로부터 얻어지는 음성의 억양 파라미터도 음향 신호 특징을 나타내는 파라미터로서 유효한 것이 알려져 있으며, 동일 인물이 이야기한 말이라도, 억양에 의해 별도 상황이라 식별할 수 있다. 예를 들어, 피치가 통상보다 낮고, 더욱이 억양도 내려가는 경향 시에는 건강하지 않은 장면이나 슬픈 장면이라 식별된다. 따라서, 억양 정보도 음향 특징 파라미터에 사용할 수도 있다.
음향 특징 파라미터 해석부(21)로부터의 음향 특징 파라미터는 유사성 산출부(22)에 공급된다. 유사성 산출부(22)에서는 후술하는 바와 같이, 검색자가 되는 음향 신호에 대한 음향 특징 파라미터(이하, 검색자 음향 특징 파라미터라 한다)와, 음향 특징 파라미터 해석부(21)로부터의 검색 대상의 음향 신호의 음향 특징 파라미터와의 유사성을 산출한다.
유사성 산출부(22)에서의 유사성의 산출은 음성 인식 등과 같은 음성 시계열 파형 패턴의 유사 판정이 아니라, 발음체 구조나 공진계에 대해서 유사한 구조를 가진 음원으로부터 발한 것인지의 여부 판정이다. 시계열 파형 패턴의 일치나 유사도를 산출하는 것은 아니기 때문에, 예를 들어, 오디오 신호 재생 시에 재생 속도를 고속으로 해도 유사성의 산출이 가능하다.
즉, 예를 들어, 유사성의 산출에 있어서, 음향 특징 파라미터로서, 상술한 것 중 예를 들어, 피치 주파수, 포먼트 주파수 등의 3항목을 들어 파라미터(x, y, z)로 나타내는 것으로 한다.
지금, 어느 시간 폭(TW) 구간에서의 검색자 음향 특징 파라미터가 (x0, y0, z0)이고, 검색 대상의 음향 신호의 음향 특징 파라미터가 (xi, yi, zi)였다고 했을 때, 유사성 산출부(22)에서는 다음 식에 도시하는 양자의 거리(S)를 유사도로 하여 산출한다. 상기 시간 폭(TW)은 유사성 산출부(22)에서 유사성을 판정하는 데 충분한 정도의 파라미터 정보와 시간을 예상하여 미리 설정된다.
S=sqrt{(xi-x0)2+(yi-y0)2+(zi-z0)2}
여기서, sqrt()는 () 내의 평방근 연산을 나타내는 것이다.
거리(S)가 작으면 작을수록 유사도가 커진다. 본 실시예에서, 유사성 산출부(22)에서는 미리 정한 시간 폭(TW) 구간마다 상기 거리(S)를 산출하여, 그 산출한 거리(S)가 미리 정한 소정치(Sth)보다도 작을 때에, 상기 시간 폭(TW) 구간의 음향 신호는 검색자의 음향 신호와 동일 혹은 유사하다고 판정하여, 그렇지 않을 때에는 비유사하다고 판정하도록 하고 있다.
또한, 거리(S) 값은 유사 정도를 나타내고 있기 때문에, 그 유사 정도를 그 대로 출력으로 하여 사용하도록 하는 것도 물론 가능하다.
유사성 산출부(22)의 유사성의 판정 출력은 표시 제어부(23)를 통해 표시부(24)에 공급된다. 표시 제어부(23)는, 본 실시예에 있어서, 검색 대상의 음향 신호의 선두로부터의 시간에 대응시켜, 상기 유사성 판정 출력을 예를 들어, 가로 바 그래프와 같이 표시부(24) 화면에 표시하도록 한다(후술하는 도 8 등 참조).
다음으로, 검색자에 대해서 설명한다. 본 실시예에 있어서, 검색자로 하는 음향 신호는 입력 음향 신호 혹은 재생 음향 신호로부터 추출하여, 미리 기억부(32)에 기억시켜 둔다.
즉, 스위치 회로(SW1)의 단자(b)에 얻어지는 입력 음향 신호는 스위치 회로(SW4)의 입력단(f)에 공급되고, 또한, 음향 신호 재생부(14)로부터의 재생 음향 신호가 스위치 회로(SW4)의 입력단(e)에 공급된다. 스위치 회로(SW4)는 검색자의 음향 신호를 입력 음향 신호로부터 추출할지 재생 음향 신호로부터 추출할지를 전환하는 것으로, 컨트롤부(10)로부터의 제어 신호에 의해, 키 조작부(20)를 통한 사용자의 선택 지시에 따라서 전환된다.
이 스위치 회로(SW4)로부터의 음향 신호는 검색자 음향 신호 추출 격납부(31)에 공급된다. 검색자 음향 신호 추출 격납부(31)에는 컨트롤부(10)로부터 키 조작부(20)를 통한 사용자 조작에 따른 제어 신호가 공급된다.
본 실시예에 있어서, 사용자는 스피커로부터의 입력 음향 신호 또는 재생 음향 신호의 음향 재생 출력음을 청취하면서, 검색자로 하고 싶은 음향 신호 부분이 되었을 때에, 키 조작부(20)의 검색자 지시 키(도시하지 않는다)를 조작한다. 그렇게 하면, 그 키 조작 시점을 포함하는 미리 정한 시간 폭(TW) 구간의 음향 신호를 추출하여, 그것을 검색자 메모리(32)에 격납한다. 검색자 메모리(32)는 검색자 단위의 격납 영역을 가지며, 각 검색자는 각각 별개의 격납 영역에 격납된다.
이 예의 경우, 시간 폭(TW) 구간은 키 조작 시점보다도 약간 이전 시점으로부터 개시하도록 검색자 음향 신호 추출 격납부(31)는 버퍼 메모리를 구비하고 있다. 그리고, 지시된 시간 폭(TW) 구간의 음향 신호를 검색자 음향 신호로서, 검색자 메모리(32)에 격납한다.
이 경우, 검색자는 복수 개가 격납 가능하게 되어 있으며, 사용자가 검색자의 음향 신호를 지시할 때마다 컨트롤부(10)로부터의 제어 신호에 의해, 검색자 메모리(32)의 검색자 격납 영역이 갱신된다. 즉, 검색자 격납 영역 어드레스가 갱신된다. 그리고, 검색자 음향 신호 추출 격납부(31)로부터의 사용자의 지시에 의해 추출된 시간 폭(TW) 구간의 검색자의 음향 신호는 컨트롤부(10)로부터의 전환 제어 신호에 따라서, 검색자 메모리(32)의 검색자 격납 영역 갱신에 동기하여 스위치 회로(SW5)가 전환됨으로써, 순차로 검색자 메모리(32) 별개의 검색자 격납 영역에 격납된다.
이 때, 도시하지 않지만, 어떠한 검색자의 음향 신호를 검색자 메모리(32)에 격납했는지를 키 조작부(20)를 통해 메모 입력할 수 있도록 되어 있으며, 그 검색자의 메모 입력이 검색자 격납 영역 번호에 대응하며, 예를 들어, 테이블 형식으로 표시부(24)에 표시된다. 사용자는 표시부(24)의 검색자의 테이블을 참조하면서 검색하고 싶은 검색자가 격납되어 있는 검색자 격납 영역 번호를 지정함으로써, 소망하는 검색자에 의해 검색을 실행할 수 있다.
즉, 키 조작부(20)를 통해, 사용자가 검색 모드를 선택하여, 소정의 검색자 격납 영역 번호를 지정하면, 컨트롤부(10)로부터의 제어 신호에 의해, 스위치 회로(SW6)가 전환됨과 동시에, 검색자 음향 신호 추출부(33)에 의해, 검색자 메모리(32)가 지정된 검색자 격납 영역으로부터 검색자의 음향 신호가 판독된다.
판독된 검색자의 음향 신호는 검색자 음향 특징 파라미터 해석부(34)에 공급되고 해석되며, 이로써 해당 검색자의 음향 신호에 대한 검색자 음향 특징 파라미터가 얻어진다. 그리고, 검색자 음향 특징 파라미터가 상술한 유사성 산출부(22)에 공급되며, 상술한 바와 같이 하여, 상기 시간 폭(TW) 구간마다 검색 대상의 음향 신호에 대해서 해당 검색자의 음향 신호 검색이 행해진다.
이상과 같은 구성의 음향 신호 검색 처리 장치에 있어서의 동작에 대해서 더욱 수순을 따라 설명한다.
[검색자 등록 동작]
본 실시예의 경우, 실제의 검색 처리에 앞서, 검색자 등록이 행해진다. 본 예에 있어서, 검색자는 상술한 바와 같이 음향 신호 형태로 검색자 메모리(32)에 격납되어 등록된다. 검색자 등록 시의 컨트롤부(10)를 주체로 한 동작의 흐름도는 도 6과 같이 된다. 도 6의 처리 루틴은 사용자가 키 조작부(20)를 통해 검색자 등록 모드를 선택했을 때에 개시가 된다. 이하, 도 6을 참조하여, 검색자 등록 동작에 대해서 설명한다.
우선, 컨트롤부(10)는 키 조작부(20)를 통한 사용자의 선택 지시를 판정하 여, 입력 음향 신호로부터 검색자를 추출할지, 재생 음향 신호로부터 검색자를 추출할지 판정한다(단계(S101)).
이 판정 결과, 추출원이 입력 음향 신호라 판별했을 때에는 컨트롤부(10)는 스위치 회로(SW1)는 출력단(b) 측으로, 스위치 회로(SW2)는 입력단(IN) 측으로, 스위치 회로(SW4)는 입력단(f) 측으로 각각 전환한다(단계(S102)).
또한, 추출원이 재생 음향 신호라 판별했을 때에는 컨트롤부(10)는 스위치 회로(SW1)는 출력단(a) 측으로, 스위치 회로(SW2)는 입력단(PB) 측으로, 스위치 회로(SW4)는 입력단(e) 측으로 각각 전환한다(단계(S103)).
단계(S102 또는 S103) 다음에는 단계(S104)로 진행하여, 컨트롤부(10)는 사용자에 의한 키 조작부(20)를 통한 검색자의 음향 신호 부분 지시를 기다린다. 이때, 검색자의 추출 원인 오디오 신호는 오디오 증폭기(15)를 통해 스피커(16)에 공급되어, 음향 재생된다. 사용자는 그 스피커(16)로부터 방음된 소리를 청취하여, 검색자로 하고 싶은 예를 들어, 특정 화자 등 특정한 검색자 음원으로서 이용하고 싶은 음향 신호 부분을 키 조작부(20)를 통해 지시 입력한다.
그리고, 단계(S104)에서, 검색자의 음향 부분의 지시 입력을 검출했으면, 컨트롤부(10)는 검색자 메모리(32)의 검색자 격납 영역을 갱신하고(단계(S105), 또한, 검색자 음향 신호 추출 격납부(31)를 제어하여, 상술한 바와 같이, 일정 시간 폭(TW) 구간의 음향 신호를 추출하도록 한다(단계(S106)). 그리고, 추출한 검색자의 음향 신호 부분을 검색자 메모리(32)의 상기 갱신한 검색자 격납 영역에 기록하도록 제어한다(단계(S107)).
그리고, 다음으로, 키 조작부(20)를 통해 검색자 등록 모드의 종료 지시가 있었는지의 여부를 판별하여(단계(S108)), 종료 지시가 있으면, 검색자의 등록 모드의 처리 루틴을 종료시키고, 종료 지시가 없으면, 단계(S104)로 돌아가고, 사용자에 의한 다음 검색자의 추출 지시 입력을 기다리고 상술한 동작을 반복한다.
이상과 같이 하여, 검색자 메모리(32)에는 사용자가 입력 음향 신호 혹은 재생 음향 신호로부터 추출한 검색자의 음향 신호를 등록하여 격납해 둘 수 있다. 이 경우, 검색자 메모리(32)의 메모리 용량이 충분히 여유가 있을 경우에는 검색자의 음향 신호는 소거하지 않고 저장해 둘 수 있다.
본 발명에 있어서, 음향 특징 파라미터를 사용하여 유사성을 산출하기 때문에, 저장한 검색자의 음향 신호는 이것을 추출한 오디오 신호로부터, 해당 검색자의 음향 신호 부분과 유사한 부분을 검색할 경우에만 사용되는 것이 아니라, 이것을 추출한 것이 아닌 다른 검색 대상의 음향 신호에 대해서, 그 검색자의 음향 신호 부분과 유사한 부분을 검색할 경우에도 사용할 수 있다.
따라서, 도 1의 실시예의 경우, 미리 사용자가 검색하고 싶은 음원에 대한 음향 신호를 상기 시간 폭(TW)씩 검색자 메모리(32)에 격납하여 저장해 둠으로써, 어느때라도 필요할 때에 그 검색자를 사용한 검색을 행할 수 있다.
[검색 처리 동작]
이상과 같이 하여 검색자 메모리(32)에 격납된 검색자의 음향 신호를 사용하여, 다음과 같이 하여 검색 처리가 실행된다. 검색 처리의 처리 루틴을 도 7에 도시한다. 도 7의 처리 루틴은 사용자가 키 조작부(20)를 통해 검색 처리 모드를 선택했을 때에 개시가 된다. 이하, 도 7을 참조하여 검색 처리 동작에 대해서 설명한다.
우선, 컨트롤부(10)는 키 조작부(20)를 통한 사용자의 선택 지시를 판정하여, 검색 대상은 입력 음향 신호인지 재생 음향 신호인지를 판정한다(단계(S201)).
이 판정 결과, 검색 대상이 입력 음향 신호라 판별했을 때에는 컨트롤부(10)는 스위치 회로(SW1)는 출력단(a) 측으로, 스위치 회로(SW2)는 입력단(IN) 측으로, 스위치 회로(SW3)는 입력단(d) 측으로 각각 전환한다(단계(S202)).
또한, 검색 대상이 재생 음향 신호라 판별했을 때에는 컨트롤부(10)는 스위치 회로(SW2)는 입력(PB) 측으로, 스위치 회로(SW3)는 입력단(c) 측으로 각각 전환한다(단계(S203)).
단계(S202 또는 S203) 다음에는, 단계(S204)로 진행하고, 컨트롤부(10)는 사용자에 의해 검색자로서 무엇이 선택되었는지를 인식하여(단계(S204)), 그 선택된 검색자의 음향 신호를 검색자 메모리(32)로부터 판독하도록 제어한다(단계(S205)).
그렇게 하면, 메모리(32)로부터 판독된 검색자의 음향 신호는 검색자 음향 신호 판독부(33)를 통해 검색자 음향 특징 파라미터 해석부(34)에 공급되며, 검색자 음향 특징 파라미터로 되어, 유사성 산출부(22)에 공급된다. 유사성 산출부(22)에서는 검색 대상의 오디오 신호의 예를 들어, 시간 폭(TW) 구간마다의 음향 특징 파라미터와, 검색자 음향 특징 파라미터와의 상술한 바와 같은 유사성 연산이 이루어지며, 양자의 유사성 지표인 유사도가 산출된다(단계(S206)). 본 예에 있어서, 상술한 바와 같이, 유사도는 양자의 거리(S)로서 구해진다.
그리고, 유사도인 상기 거리(S)가 미리 정한 임계치(Sth)보다도 작은지의 여부를 판별하여(단계(S207)), 임계치(Sth)보다도 작을 때에는 검색자에 유사한 음향 신호 부분으로서 판정하며(단계(S208)), 임계치(Sth)보다도 클 때에는 비유사하다고 판정한다(단계(S209)). 그리고, 그 판정 결과를 표시 제어부(23)를 통해 표시부(24) 화면에 표시한다(단계(S210)).
그리고, 검색 대상의 오디오 신호가 종료함으로써, 혹은 사용자의 종료 지시에 의해, 검색 처리가 종료했는지의 여부를 판정하여(단계(S211)), 종료이면, 처리 루틴을 종료하며, 그렇지 않으면, 단계(S206)로 돌아가 검색자에 의한 검색을 계속한다.
이상과 같이 하여, 검색된 결과의 표시예를 도 8에 도시한다. 도 8의 예는 검색 대상이 회의 녹음의 재생 음향 신호로, 검색자가 특정 화자(A)인 경우이다. 이러한 표시예에 의하면, 회의 녹음 전체 중 어느 시간적 위치에서 화자(A)가 발언하고 있는지가 나타나게 된다.
또한, 이상의 예에 있어서, 검색자는 하나로서 설명했지만, 복수 개의 검색자를 지정하여, 그 복수 개의 검색자에 대한 유사성을 산출하여 표시하도록 할 수도 있다. 그 경우, 예를 들어, 수십 밀리초마다 검색자를 시분할적으로 전환하여, 유사성 산출부(22)에서 산출 연산을 행하도록 하면 된다.
또한, 유사성 산출부를 복수 개 설치하여, 그들 유사성 산출부에서 병렬적으로 복수 개의 검색자 각각에 대한 유사성의 산출을 행하도록 해도 된다.
그렇게 복수 개의 검색자를 설정하여 검색을 행한 검색 결과의 표시예를 도 9에 도시한다. 표시예는 회의 녹음 전체 중에서, 3명의 화자(A, B, C)가 각각 어떠한 시간 구간에서 발언을 행했는지를 나타내고 있다.
이렇게 하여, 본 실시예에 의하면, 예를 들어, 복수의 회의 참가자가 참가하고 있는 회의에 있어서, 각 회의 참가자마다의 음향 신호를 검색자로서 미리 등록해 두면, 회의의 시간 경과에 따른 각 회의 참가자마다의 발언 구간을 분류하여 표시하는 것이 가능해진다.
또한, 이상의 설명에 있어서, 유사성 판정 결과는 소정의 임계치를 넘었는지의 여부에 의한 2치적(2値的)인 것으로 했지만, 상술한 예의 경우에는 유사성의 산출 결과로서의 거리(S) 값을 그대로 표시에 반영하도록 해도 된다. 즉, 거리(S)가 짧으면 짧을수록 유사도가 높다고 해서, 그 유사도의 높이에 따라서, 도 8b에 도시하는 바와 같이, 시간 구간 표시에 농담(濃淡)을 붙여 표시하도록 해도 된다. 예를 들어, 도 8b의 예에서는 농담이 짙은 구간만큼 유사성이 높은 것을 도시하는 바와 같이 하고 있다. 또한, 농담 대신 유사도의 높이 차이를 표시색 차이에 의해 표시하도록 해도 된다.
또한, 검색자가 복수일 경우에는 검색자마다 유사성 판정 출력의 표시색을 다르게 하고, 또한, 유사도의 높이 차이를 표시색의 농도 차이에 따라 표시하도록 해도 된다.
또한, 이상의 표시예는 유사성 판정 출력을 검색 대상의 음향 신호의 시간 경과에 대응하여 표시한 것이다. 한편, 검색 대상의 음향 신호가 재생 음향 신호의 경우에는 각 시간 구간의 음향 신호의 기록 매체(13) 상에 있어서의 기록 위치는 용이하게 알 수 있다. 따라서, 한번 재생 음향 신호에 대한 검색 결과로서의 유사성 판정 표시 출력을 얻으면, 그것을 표시부(23)에 표시하면서 도 10에 도시하는 바와 같이, 그 유사성 판정 표시 출력에 현재 재생 위치를 예를 들어, 재생 위치 커서에 의해 대응 표시하도록 할 수도 있다.
또한, 반대로, 도 10의 재생 위치 커서를 사용자가 지정할 수 있도록 함으로써, 그 지정한 재생 위치 커서 위치로부터 검색 대상의 음향 신호 재생을 행하도록 할 수도 있다. 그 경우에는 검색에 의해 분류한 검색자마다의 음향 신호를 검색 대상의 음향 신호로부터 추출하여 재생하는 것이 가능해진다.
또한, 검색 대상의 음향 신호와 검색자와의 유사성을 산출하는 것은 본 발명에 있어서는 음향 특징 파라미터를 사용하고 있기 때문에, 파형 패턴이 일치할지의 여부의 패턴 매칭 처리를 사용하는 음성 인식 등과 달리, 음향 신호의 시계열 파형을 그대로 사용할 필요가 없다. 이 때문에, 재생 음향 신호를 검색 대상으로 할 경우, 재생 속도는 노멀 속도(1배속)가 아니라, 2배속이나 3배속과 같은 고속 재생을 행해도, 동일한 유사성 판정 출력을 얻을 수 있다. 따라서, 검색 속도를 고속으로 하는 것이 가능하다.
따라서, 검색자를 사용한 검색을 고속 재생 속도로 행하며, 검색자와 유사한 음향 신호 부분을 검출했을 때에, 그 부분을 노멀 재생하도록 함으로써, 검색자에 유사한 부분만을 추출 재생할 수 있다.
또한, 일단, 검색을 행하면, 기록 매체 상의 어드레스와 검색 결과를 대응시킬 수 있기 때문에, 그 검색 결과를 사용하여 특정 검색자와 유사한 음향 신호 부 분만을 기록 매체로부터 추출하여 재생하도록 하는 것도 가능하다.
이상의 효과 설명은 검색 대상이 재생 음향 신호인 경우이지만, 본 실시예에서는, 입력 음향 신호를 검색 대상으로 하여 미리 등록하고 있는 검색자를 사용하여 검색하며, 입력 음향 신호에 대해서, 검색자마다의 분류 등을 행할 수 있다는 효과도 있다. 예를 들어, 복수 개 악기의 음향 신호를 검색자로서 등록해 두고, 입력 음향 신호의 각 파트가 어떠한 악기를 사용하여 연주된 것인지 등을 분류 표시할 수 있다.
또한, 상기 실시예에 있어서, 검색자는 입력 음향 신호나 재생 음향 신호로부터 추출하여, 검색자 메모리(32)에 격납하도록 했지만, 검색자 라이브러리로서 복수 개의 검색자의 음향 신호를 검색자 메모리(32)에 미리 기억해 두어도 물론 된다.
또한, 유사성의 산출은 음향 특징 파라미터 사이의 기하학적 거리(S)로서 구하도록 했지만, 몇갠가의 파라미터로부터 새로운 파라미터를 산출하고, 그것을 사용하여 음향 특징 파라미터 사이의 거리를 구하도록 할 수도 있다.
예를 들어, 상술한 예의 x, y, z 3항목의 음향 특징 파라미터를 사용할 경우에 있어서, 새로운 파라미터를 k로 했을 때,
k=ay+bz
로 하여, 파라미터(x)와, 새로운 파라미터(k)와의 2개 파라미터(x, k)를 사용하여, 검색 대상과 검색자의 음향 특징 파라미터 사이의 거리를 산출하도록 해도 된다. 또한, 각각의 음향 특징 파라미터에 가중을 행하여, 중요한 파라미터에 착안한 유사성을 산출하도록 할 수도 있다.
또한, 검색자 메모리(32)는 내장 메모리가 아니라, 메모리 카드 등의 취득 가능한 것이어도 된다. 그 경우에는 복수 개의 메모리 카드에 복수 종의 검색자를 기억하여 준비해 두고, 메모리 카드를 검색 대상의 오디오 신호에 맞추어 교환함으로써, 희망하는 검색 대상에 대해서 희망하는 검색자를 사용한 검색을 용이하게 행할 수 있다.
또한, 검색자로 하는 음향 신호의 음원을 준비하고, 그 음원으로부터의 음향 신호를 미리 입력 단자(11)로부터 입력하여, 검색자 메모리(32)에 검색자의 음향 신호로서 기억 격납하도록 할 수도 있다. 더욱이 검색자 메모리(32)에 기억하지 않고, 검색자의 음원으로부터의 음향 신호를 검색 대상의 음향 신호와는 별도로 입력하고, 버퍼 메모리에 그 검색자의 음향 신호를 일시적으로 저장하여 검색에 사용하도록 해도 된다.
또한, 검색자는 단일 음원으로부터의 음향 신호에 한정되는 것이 아니라, 입력 음향 신호나 재생 음향 신호로부터 추출된 소정 구간의 음향 신호라도 되는 것은 말할 필요도 없다.
또한, 표시부에는 화상을 동반하는 음향 신호인 경우에는 화상도 함께 표시할 수도 있다. 화상을 더불어 표시함으로써, 검색을 행한 결과의 분류 확인을 할 수 있다. 예를 들어, 녹화 내용을 음향 신호를 사용하여 검색, 분류하는 것도 가능하다.
[제 2 실시예]
도 11에는, 제 2 실시예의 음향 신호 검색 처리 장치의 블록도를 도시한다. 제 1 실시예는 등록 검색자로서, 음향 신호를 격납하도록 했지만, 제 2 실시예에서는, 등록 검색자로서, 그 음향 특징 파라미터를 검색자 메모리(32)에 격납하도록 한다. 그 밖의 구성은 도 1의 장치와 완전히 동일하며, 도 1과 동일 부분에 대해서는 동일 부호를 붙이고 있다.
즉, 제 2 실시예에서는, 스위치 회로(SW4) 출력 측에는 검색자 음향 신호 추출부(35)가 설치된다. 이것은 도 1의 검색자 음향 신호 추출 격납부(31) 중 사용자가 지시한 검색자의 음향 신호 부분을 추출하는 수단 부분에 상당한다.
검색자 음향 신호 추출부(35)에서 추출된 검색자의 음향 신호는 검색자 음향 특징 파라미터 해석부(36)에서 해석되어, 음향 특징 파라미터로 되며, 검색자 음향 특징 파라미터 격납부(37) 및 스위치 회로(SW5)를 통해 검색자 메모리(32)에 격납된다. 검색자 음향 특징 파라미터 격납부(37)는 격납하는 대상 정보가 검색자 음향 특징 파라미터로 바뀌는 것 만으로, 도 1의 검색자 음향 신호 추출 격납부(31) 중 검색자로서 추출한 음향 신호 부분을 검색자 메모리(32)에 격납하는 수단에 상당하며, 상술한 바와 같이 동일하게 하여, 각 검색자(본 실시예에서는 음향 특징 파라미터)를 검색자 메모리(32)의 별개 검색자 격납 영역에 기록한다.
검색자 메모리(32)에 격납된 검색자의 음향 특징 파라미터는 키 조작부(20)를 통한 사용자의 지시에 기초하여 생성되는 컨트롤부(10)로부터의 제어 신호에 의해, 스위치 회로(SW6) 및 검색자 음향 특징 파라미터 판독부(38)에 의해 판독된다. 제 2 실시예의 경우에는 판독된 것은 음향 특징 파라미터이기 때문에, 그대로 유사성 산출부(22)에 공급되어, 검색을 위한 유사성의 산출이 실행된다.
이 제 2 실시예는 검색자 메모리(32)에 검색자 음향 특징 파라미터가 격납되는 점이 다를 뿐으로, 검색자의 등록 동작이나, 검색자를 사용한 검색 동작은 상술한 제 1 실시예와 동일하게 행해지는 것이다. 따라서, 제 2 실시예에 의하면, 상술한 제 1 실시예의 경우와 동일한 작용 효과가 얻어진다. 또한, 상술한 제 1 실시예와 동일한 변형예가 가능하다.
더욱이, 제 2 실시예에 있어서, 검색자로서는 그 음향 신호 그 자체가 아니라, 검색자 음향 특징 파라미터를 검색자 메모리(32)에 기억하기 때문에, 하나의 검색자당 기억 용량이 적어도 되며, 격납하여 저장할 수 있는 검색자 수를 많게 하는 것이 가능하다.
[제 3 실시예]
제 3 실시예는 음향 특징 파라미터로서, 음향 신호로의 재합성이 가능한 것을 사용하는 경우이다. 음향 특징 파라미터로부터 음향 신호로의 재합성이 가능하기 때문에, 음향 신호 기록도 음향 특징 파라미터로서 기록하도록 한다. 그리고, 제 3 실시예에 있어서, 제 2 실시예와 동일하게, 검색자는 그 소리 파라미터를 검색자 메모리(32)에 기억 격납해 두도록 한다.
도 12는 제 3 실시예의 음향 신호 검색 처리 장치의 블록도이다. 도 12에 있어서도, 상술한 실시예의 경우와 동일 부분에는 동일 부호를 붙이는 것으로 한다. 제 3 실시예에서는, 음향 특징 파라미터로서, 예를 들어 보코더의 파라미터 등을 사용한다.
도 12에 도시하는 바와 같이, 제 3 실시예의 경우에는 입력 단자(11)를 통해 입력 음향 신호는 음향 특징 파라미터 해석부(41)에 공급되며, 예를 들어, 보코더 방식의 음향 특징 파라미터로 해석된다. 그리고, 음향 특징 파라미터 해석부(41)로부터의 음향 특징 파라미터가 스위치 회로(SW1)를 통해 음향 특징 파라미터 기록부(42)에 공급되며, 컨트롤부(10) 제어 하에, 음향 특징 파라미터 기록부(42)에 의해 입력 음향 신호의 음향 특징 파라미터가 기록 매체(13)에 기록된다.
그리고, 기록 매체(13)에 기록된 입력 음향 신호의 음향 특징 파라미터는 컨트롤부(10) 제어 하에, 음향 특징 파라미터 재생부(43)에 의해 재생되며, 음향 신호 합성부(44)에 공급된다. 음향 신호 합성부(44)는 음향 특징 파라미터로부터 원래의 음향 신호를 합성한다.
이 음향 신호 합성부(44)로부터 얻어진 재생 음향 신호는 스위치 회로(SW2)의 입력단(PB) 측을 통해 오디오 증폭기(15)를 통해 스피커(16)에 공급되며, 음향 재생된다. 또한, 입력 단자(11)로부터의 입력 음향 신호가 스위치 회로(SW2)의 입력단(IN) 측 및 오디오 증폭기(15)를 통해 스피커(16)에 공급되며, 음향 재생되는 것은 제 1 및 제 2 실시예의 경우와 동일하다.
그리고, 제 3 실시예에 있어서, 음향 특징 파라미터 해석부(21)는 설치되지 않으며, 스위치 회로(SW3)는 스위치 회로(SW1)의 출력단 a측을 통해 입력 음향 신호의 음향 특징 파라미터와, 음향 특징 파라미터 재생부(43)로부터의 재생 음향 특징 파라미터 중 어느 하나를 키 조작부(20)를 통한 사용자의 지시에 따른 컨트롤부(10)로부터의 전환 제어 신호로부터 선택하여, 유사성 산출부(22)에 공급한다.
한편, 검색자는, 제 3 실시예에 있아서, 제 2 실시예와 마찬가지로, 검색자 음향 특징 파라미터를 검색자 메모리(32)에 격납한다. 이 때문에, 제 3 실시예의 경우에는, 음향 특징 파라미터 해석부(41)로부터의 음향 특징 파라미터가 스위치 회로(SW1)의 출력단 b측을 통해 스위치 회로(SW4)의 한쪽 입력단(f)에 공급되고, 또한, 음향 특징 파라미터 재생부(43)로부터의 재생 음향 파라미터가 스위치 회로(SW4)의 다른쪽 입력단(e)에 공급된다.
그리고, 스위치 회로(SW4)가 컨트롤부(10)로부터의 전환 제어 신호에 의해, 검색자의 음향 특징 파라미터를 입력 음향 신호로부터 추출할지, 재생 음향 신호로부터 추출할지에 따라서, 입력단(e) 또는 입력단(f) 중 어느 하나로 전환된다.
그리고, 스위치 회로(SW4)로부터의 음향 특징 파라미터가 검색자 음향 특징 파라미터 추출 격납부(45)에 공급된다. 상술한 제 1 실시예의 경우와 동일하게 하여, 사용자는 스피커로부터의 입력 음향 신호 또는 재생 음향 신호의 음향 재생출력을 청취하면서 검색자로 하고 싶은 음향 신호 부분이 되었을 때에, 키 조작부(20)의 검색자 지시 키(도시하지 않는다)를 조작한다. 그렇게 하면, 검색자 음향 특징 파라미터 추출 격납부(45)는 그 키 조작 시점을 포함하는 미리 정한 시간 폭(TW) 구간의 음향 신호의 음향 특징 파라미터를 추출하여, 검색자 메모리(32)의 검색자 격납부에 격납한다.
이렇게 하여, 검색자 메모리(32)에는 입력 음향 신호 혹은 재생 음향 신호 중에서 추출된 검색자의 음향 신호인 음향 특징 파라미터가 격납된다. 검색자 메모리(32)에 격납된 검색자 음향 특징 파라미터는 상술한 제 2 실시예와 동일하게 하여, 사용자의 지시에 따라서, 검색자 음향 특징 파라미터 판독부(38)에 의해 판독되어, 유사성 산출부(22)에 공급된다.
검색자의 등록 동작과 검색 동작은 상술한 2개 실시예와 거의 동일하기 때문에, 그 상세한 것은 생략한다. 이렇게, 제 3 실시예도 검색자 메모리(32)에 검색자 음향 특징 파라미터가 격납되는 점이 다를 뿐으로, 검색자의 등록 동작이나 검색 동작은 상술한 제 1 실시예나 제 2 실시예와 동일하게 행해지는 것이다. 따라서, 제 3 실시예의 경우도 상술한 제 1 실시예의 경우와 동일한 작용 효과가 얻어지고, 또한, 상술한 제 1 실시예와 동일한 변형예가 가능하다.
그리고, 제 3 실시예의 경우에는 특히, 음향 특징 파라미터를 음향 신호 대신 기록 매체에 기록하기 때문에, 기록 매체의 기록 용량을 유효하게 활용할 수 있다. 그리고, 제 1 실시예나 제 2 실시예에 비해, 음향 특징 파라미터 해석부를 검색 대상과 검색자로 공통인 하나로 할 수 있어, 구성을 간략화할 수 있다.
재합성 가능한 음향 특징 파라미터로서의 구체적인 예로서는 MPEG(Moving Picture Experts Group) 규격의 음향 압축 형식(MPEG 오디오의 레이어(Ⅰ), 레이어(II), 레이어(III)) 데이터나 ATRAC(Adaptive Transform Acoustic Coding) 형식의 데이터 등을 사용하는 예도 들 수 있다.
이들 MPEG 오디오 규격이나 ATRAC에서는, 인간의 청각 심리 특성을 효율 좋게 이용하기 위해, 오디오 대역을 복수 개로 세분화하여 서브 밴드 부호화를 행하고 있다. 예를 들어, MPEG 오디오의 레이어(Ⅰ)에서는, 오디오 신호의 모든 대역을 등간격 주파수 폭으로 32개의 서브 밴드로 분할하여, 각각의 신호를 원래의 샘플링 주파수의 1/32로 서브 샘플링하여 부호화한다.
그래서, MPEG 오디오 규격인 음향 압축 형식의 데이터나 ATRAC 형식의 데이터(음향 압축 부호화 데이터)를 검색 대상으로 할 경우에는 그 서브 밴드 데이터로부터 대역 레벨 분포 산출, 주요 대역 주파수 산출, 조파(調波) 구조 검출, 주요 대역 주파수의 시간 추이 검출 등을 행하여, 그 검출 결과를 검색자 음향 특징 파라미터로 한다.
MPEG 오디오 규격의 음향 압축 형식 데이터나 ATRAC 형식 데이터를 사용하는 방법을 도 12의 예에 적용할 때는, 입력 단자(11)로부터의 입력 음향 신호가 아날로그 신호나 선형 PCM 신호인 경우에, 음향 특징 파라미터 해석부(41)에서는 상기 MPEG 규격의 음향 압축 형식 데이터나 ATRAC 형식의 데이터를 생성한다. 그리고, 기록부(42)는 그 음향 압축 데이터를 기록 매체(13)에 기록하도록 한다.
그리고, 검색자 음향 특징 파라미터 추출 격납부(45)에서는, 음향 특징 파라미터 해석부(41)로부터의 혹은 재생부(43)로부터의 음향 압축 데이터로부터 서브 밴드의 데이터를 생성하며, 그 서브 밴드의 데이터에 대해서, 상술한 바와 같이, 대역 레벨 분포 산출, 주요 대역 주파수 산출, 조파 구조 검출, 주요 대역 주파수의 시간 추이 검출 등을 행하여, 그 검출 결과를 검색자 음향 특징 파라미터로서, 검색자 메모리(32)에 기록하도록 한다.
그리고, 이 경우, 유사성 산출부(22) 전단에는 도 1이나 도 11의 예와 동일하게, 음향 특징 파라미터 해석부를 설치하고, 스위치(SW1)로부터의 혹은 재생부(43)로부터의 음향 압축 데이터로부터 서브 밴드의 데이터를 생성하며, 그 서브 밴드의 데이터에 대해서, 상술한 바와 같이 대역 레벨 분포 산출, 주요 대역 주파수 산출, 조파 구조 검출, 주요 대역 주파수의 시간 추이 검출 등을 행하도록 한다. 이 경우의 음향 특징 파라미터 해석부는 구성이 간단해진다. 그리고, 유사성 산출부(22)는 그 해석에 의해 얻은 음향 특징 파라미터와, 검색자 음향 특징 파라미터 판독부(38)로부터의 검색자 음향 특징 파라미터를 비교하여, 비교 판정을 행한다.
이상의 입력 단자(11)로부터의 입력 음향 신호가 아날로그 신호나 선형 PCM 신호인 경우이지만, IEEE(The Institute of Electrical and Electronics Engineers, Inc.) 1394 규격의 인터페이스로부터의 시리얼 디지털 데이터로 입력된 경우나, 디지털 방송 수신 장치에 있어서 디지털 음향 압축 신호로서 얻어지는 신호가 입력될 경우에는 MPEG 규격의 음향 압축 형식 데이터나 ATRAC 형식 데이터가 그대로 얻어지기 때문에, 도 12의 음향 특징 파라미터 해석부(41)는 불필요해진다.
이상 설명한 음향 압축 신호를 검색 대상으로 하는 검색 방법은 디지털 오디오 압축 형식 데이터를 복호화하여, 선형 PCM 오디오 신호로 되돌리고나서 음향 특징 분석하는 것보다도 분석을 위한 시간 지연이 작아짐과 동시에, 연산 규모가 작아진다라는 이점이 있다.
[제 4 실시예]
제 3 실시예에서는 음향 특징 파라미터를 음향 신호 대신 기록 매체에 기록하도록 했지만, 제 4 실시예에서는 음향 신호와, 음향 특징 파라미터를 서로 부수적으로 기록 매체에 기록하도록 한다. 제 4 실시예의 경우는 음향 신호가 음향 특징 파라미터와 함께 기록되기 때문에, 음향 특징 파라미터는 제 3 실시예와 같이 음향 신호에 재합성할 수 있는 것에 한정되지 않는다.
그리고, 제 4 실시예에서는 자기 디스크, 광 자기 디스크, 광 디스크, 메모리 카드 등의 기록 매체로는 음향 신호에 부수하여 음향 특징 파라미터를 기록하도록 한다. 즉, 음향 신호와 음향 특징 파라미터는 음향 신호의 기록 단위 구간(팩, 패킷, 섹터 등의 구간)분마다 기록 매체에 기록하지만, 음향 신호의 기록 단위 구간분 데이터와, 대응하는 단위 구간분의 음향 특징 파라미터는 인접한 기록 영역 등, 서로 대응을 취할 수 있는 형태로 즉, 링크된 구조로 기록된다.
도 13에는 제 4 실시예의 음향 신호 검색 처리 장치의 블록도를 도시한다. 도 13에 있어서, 상술한 실시예의 도 1, 도 11 및 도 12에 도시한 각 부와 동일 부분에는 동일 부호를 붙여 그 상세한 설명은 생략한다.
즉, 제 4 실시예에 있어서, 오디오 입력 단자(11)를 통한 입력 음향 신호는 스위치 회로(SW7)를 통해 음향 신호 기록부(12)에 공급된다. 스위치 회로(SW7)는 컨트롤부(10)로부터의 전환 제어 신호에 의해, 기록 시에 온이 된다. 그리고, 제 4 실시예에 있어서, 음향 신호 기록부(12)를 통한 입력 음향 신호는 기록 데이터 제어부(51)에 공급된다.
또한, 입력 단자(11)를 통한 입력 음향 신호는 음향 특징 파라미터 해석부(41)에 공급되어, 음향 특징 파라미터로 해석된다. 음향 특징 파라미터 해석부(41)로부터의 음향 특징 파라미터는 검색 대상의 입력 음향 신호의 음향 특징 파라미터로서 스위치 회로(SW3) 입력단(d)에 공급됨과 동시에, 입력 음향 신호로부터 검색자의 음향 특징 파라미터를 추출하기 때문에, 스위치 회로(SW4)의 입력단(f)에 공급된다. 더욱이 음향 특징 파라미터 해석부(41)로부터의 음향 특징 파라미터는 기록 데이터 제어부(51)에 공급된다.
기록 데이터 제어부(51)는 컨트롤부(10)의 제어를 받아, 기록 시에는 미리 정해져 있는 기록 포맷으로, 음향 신호와 음향 특징 파라미터를 대응하여 기록한다. 본 예에 있어서, 기록 데이터 제어부(51)는, 기록 시에는 상술한 바와 같이, 음향 신호를 기록 단위 구간분마다 기록 매체(13)에 기록함과 동시에, 대응하는 기록 단위 구간분의 음향 특징 파라미터를 기록 매체(13)의 해당 음향 신호 기록 위치에 인접하는 위치에 기록한다.
그리고, 상기한 바와 같은 기록 포맷으로 기록 매체(13)에 기록된 입력 음향 신호 및 그 음향 특징 파라미터는 판독 데이터 제어부(52)에 의해, 컨트롤부(10) 제어를 받아 재생된다. 그리고, 판독 데이터 제어부(52)에서 기록 매체(13)로부터 재생된 음향 신호는 음향 신호 재생부(14)에 공급되며, 스위치 회로(SW2)의 입력단(PB) 측을 통해 오디오 증폭기(15)를 통해 스피커(16)에 공급되어, 음향 재생된다.
또한, 판독 데이터 제어부(52)에서 기록 매체(13)로부터 재생된 대응하는 음향 특징 파라미터는 검색 대상의 재생 음향 신호의 음향 특징 파라미터로서, 스위치 회로(SW3)의 입력단(c)에 공급됨과 동시에, 재생 음향 신호로부터 검색자의 음향 특징 파라미터를 추출하기 위해, 스위치 회로(SW4)의 입력단(e)에 공급된다.
더욱이, 판독 데이터 제어부(52)에서 기록 매체(13)로부터 재생된 음향 신호 및 음향 특징 파라미터는 다른 장치에서 음향 신호에 대한 검색을 행하기 때문에, 외부 출력 단자(도시하지 않는다)를 통해 외부로 전송 가능하게 되어 있다. 따라서, 검색을 행하는 다른 장치에서는, 음향 특징 파라미터를 작성하기 때문에, 음향 특징 파라미터 해석부를 구비할 필요는 없다.
제 4 실시예는 입력 음향 신호와, 그 음향 특징 파라미터가 링크시킨 상태에서, 기록 데이터 제어부(51)에 의해 기록 매체에 기록되고, 또한, 서로 링크되며, 음향 신호와, 그 음향 특징 파라미터가 판독 데이터 제어부(52)에 의해 판독되고 재생되는 점이 상술한 실시예와 다르지만, 음향 특징 파라미터를 사용하여 검색을 행하고, 또한, 입력 음향 신호나 재생 음향 신호에 대해서 검색자 음향 특징 파라미터 추출을 행할 수 있도록 한 점은 제 3 실시예와 동일하다.
따라서, 제 4 실시예의 경우도, 상술한 제 1 실시예의 경우와 동일한 작용 효과가 얻어지고, 또한, 상술한 제 1 실시예와 동일한 변형예가 가능하다.
그리고, 제 4 실시예의 경우에는 제 3 실시예와 마찬가지로, 제 1 실시예나 제 2 실시예에 비해, 음향 특징 파라미터 해석부를 검색 대상과 검색자로 공통된 하나로 할 수 있어, 구성을 간략화할 수 있다. 또한, 다른 검색 장치에서 검색을 행할 경우에도, 해당 다른 검색 장치에 음향 특징 파라미터를 공급할 수 있기 때문에, 다른 검색 장치에는 음향 특징 파라미터 해석부는 설치할 필요가 없다는 이점이 있다.
또한, 기록하는 음향 신호와, 대응하는 음향 특징 파라미터는 링크하여 기록 매체에 기록되어 있으면 되기 때문에, 상술한 예와 같이 반드시 인접하여 기록될 필요 없이, 기록 매체에 미리 음향 신호의 기록 영역과 음향 특징 파라미터의 기록 영역을 별개로 정해 두고, 각각의 기록 영역의 대응 관계에 있는(링크되어 있는) 어드레스에 대응하는 음향 신호와 음향 특징 파라미터 각각을 기록하도록 해도 된다. 또한, 음향 신호와 음향 특징 파라미터의 링크 정보를 별도로 기록하고, 그 링크 정보를 사용하여, 양자를 대응하여 재생하도록 해도 물론 된다.
[제 5 실시예]
상술한 바와 같이, 본 발명에 의하면, 검색 대상의 음향 신호에 대해서, 음향 특징 파라미터에 의해 검색자와 유사성 판정을 함으로써, 검색이 가능하기 때문에, 검색 대상의 음향 신호를 기록하면서, 지정한 검색자에 대한 검색을 병행하여 행할 수 있다. 따라서, 기록 종료 시에는 해당 검색 대상의 음향 신호에 대한 그 검색자에 대한 검색 결과가 얻어진다. 그래서, 기록 매체에는 음향 신호의 기록 영역과 별개의 영역에 검색 결과를 합쳐서 기록하는 것도 가능하다.
또한, 재생 음향 신호에 대한 검색 결과도 음향 신호의 기록 영역과 별개의 영역을 기록 매체에 준비함으로써, 나중에 기록 매체에 기록하는 것도 가능하다.
제 5 실시예에서는, 이상의 점을 고려하여, 검색 대상의 음향 신호와 함께 그 검색 결과를 기록하도록 한다.
즉, 제 5 실시예에서는, 미리 등록한 검색자 중 하나 혹은 복수 개를 사용하여, 기록하는 입력 음향 신호에 대한 검색을 기록 처리에 병행하여 행한다.
예를 들어, 기록 매체(13)로서는 자기 디스크, 광 자기 디스크, 광 디스크 등의 디스크 매체나 메모리 카드를 사용한다. 그 경우, 기록 시에는 기록 매체 상의 어드레스를 감시하면서 기록이 행해진다. 제 5 실시예에서는, 검색자에 의한 검색 결과, 유사하다고 판정된 음향 신호 부분이 기록 매체 상의 어느 어드레스(기록 위치)에 기록되어 있는지를 그 검색자의 식별 정보에 대응하여 기억해 둔다. 검색자의 식별 정보로서는 예를 들어, 본 예에서는, 스위치 회로(SW6)의 전환 제어 정보(검색자 격납 영역, 즉 검색자 넘버에 대응)를 사용한다.
도 14는 제 5 실시예의 경우에 있어서 기록 종료 후의 검색 결과를 테이블로서 나타낸 것이다. 테이블은 기록 매체에 기록된 신호에 대한 검색용 인덱스 테이블이 된다.
이 도 14에 있어서, 검색자명은 예를 들어, 검색자 등록 시에 미리 부여한 명칭으로, 예를 들어, 회의 녹음 등의 경우에는 회의 참가자명이 된다. 구간 데이터는 검색자와 유사하다고 판정된 구간을 나타내는 데이터이며, 그 구간의 개시 어드레스(ST)와, 종료 어드레스(ED)로 나타난다. 또한, ADRi(i는 정수)는 기록 매체 상의 어드레스치를 각각 나타내는 것이다.
제 5 실시예에서는, 검색용 인덱스 테이블 정보를 기록 매체 상의 미리 정한 기록 영역에 기록 음향 신호와는 별개로 기록하도록 한다.
제 5 실시예의 경우, 검색용 인덱스 테이블을 사용함으로써, 예를 들어, 특정 검색자와 유사한 음향 신호 부분을 추출하여 재생(검색 재생이라 칭한다)하는 것을 용이하게 할 수 있다.
도 15는 그 검색 재생 시의 처리 루틴을 도시하는 것이다. 처리 루틴은 키 조작부를 통해 검색 재생 지시를 행했을 때에 개시가 된다.
우선, 기록 매체로부터 검색용 인덱스 테이블을 작성하기 위한 검색용 인덱스의 데이터가 판독된다(단계(S301)). 컨트롤부(10)는 판독한 데이터를 기초로, 도 14에 도시한 바와 같은 검색용 인덱스 테이블을 작성하여 표시 화면에 표시한다(단계(S302)).
사용자는 표시된 검색용 인덱스 테이블을 보아, 검색 재생하고 싶은 검색자를 키 조작부를 통해 입력한다. 그래서, 사용자에 의해 지정된 검색자를 인식한다(단계(S303)). 그리고, 검색용 인덱스 테이블을 참조하여, 그 인식한 검색자에 대해서, 유사 구간으로서 판정된 구간 데이터를 인식한다(단계(S304)). 그리고, 그 인식한 각 구간 데이터로 나타나는 어드레스 구간의 음향 신호를 기록 매체로부터 순차 판독하여 재생한다(단계(S305)).
이렇게 하여, 제 5 실시예에 의하면, 검색자와 유사한 음향 신호 부분만을 간단하게 추출하여 재생할 수 있다. 다만, 제 5 실시예의 경우에도, 검색용 인덱스 테이블에 없는 검색자를 검색자 메모리로부터 지정하여 검색을 행하는 것도 물론 가능하다.
또한, 상술한 제 5 실시예의 설명에서는, 검색자의 식별 정보와 검색자명을 검색용 인덱스 테이블에 포함하도록 했지만, 검색자의 음향 신호를 검색자명으로 바꾸어, 혹은 아울러 기록하도록 해도 된다. 그렇게 하면, 검색자가 어떠한 음향 신호였는지를 그것을 음향 재생함으로써 용이하게 알 수 있다.
또한, 상술한 설명에서는, 검색 결과를 기록 매체에 기록하도록 했지만, 컨트롤부가 관리하는 메모리에 기록 매체에 대응시켜, 검색 결과를 기록하도록 해도 된다.
[그 밖의 실시예]
상기 실시예에 있어서, 검색자는 미리 메모리에 등록하거나 별개로 준비하도록 설명했지만, 예를 들어, 음향 신호 기록 중에 사용자가 그 음향 신호에 대해서 검색자의 음향 신호 부분을 지정했을 때, 그 지정 후의 음향 신호에 대해서는 지정한 검색자를 사용하여 검색을 행하도록 할 수도 있다. 그 경우에는 미리 검색자를 등록해 둘 필요는 없다.
또한, 검색자 메모리에 등록하는 검색자는 입력 음향 신호나 재생 음향 신호로부터 추출할 필요도 없다. 예를 들어, 검색자로 하고 싶은 음원을 준비하여, 그 음원으로부터의 음향 신호를 사용하여 검색자를 등록할 수도 있다.
또한, 검색자로서 등록하는 음향 신호나 음향 특징 파라미터를 예를 들어, 인터넷 등의 네트워크를 통해 취득하여, 검색자 메모리에 등록하도록 할 수도 있다.
또한, 예를 들어 기록 완료 기록 매체를 판매할 때에, 그 기록 매체에 검색자 후보를 미리 함께 기록하도록 해도 된다. 또한, 그 기록 매체를 판매할 때에, 검색자 후보를 기록한 메모리 카드 등을 부가하여 판매하도록 해도 된다.
[음향 영상 검색 장치, 음향 영상 저장 장치의 제 1 실시예]
상기 설명한 실시예에 있어서, 검색 대상의 입력 신호는 음향 신호 단독인 경우이지만, 음향 신호가 영상 신호에 관련되는 것으로서 링크되며, 예를 들어, 기록 재생되는 음향 영상 신호를 검색 대상의 입력 신호로 할 수도 있다.
도 16은 MPEG2 규격으로 압축된 음향 영상 신호를 기록 재생하는 기록 재생 장치에 실시예의 음향 영상 검색 장치 및 음향 영상 저장 장치를 적용한 경우의 구성예를 도시하는 블록도이다.
도 1에 도시한 기록 재생 장치는 영상 신호 및 음향 신호를 MPEG2 규격에 의해 압축 부호화하고 다중화하여, MPEG 시스템의 트랜스포트 스트림(TS: Transport Stream)으로서, 하드 디스크 장치(HDD: Hard Disk Drive) 내의 하드 디스크에 기록하여, 하드 디스크로부터 재생하는 경우이다.
또한, 이하에서는, 아날로그 영상 신호 및 아날로그 음향 신호를 영상 신호 및 음향 신호라 칭하며, 디지털 영상 신호 및 디지털 음향 신호는 디지털 영상 데이터 및 디지털 음향 데이터 또는 간단히 영상 데이터 및 음향 데이터라 칭한다.
본 예에 있어서, 기록 재생 장치(70)는 아날로그 텔레비전 방송을 수신하는 안테나(61)가 접속되며, 아날로그 입력 단자(71V, 71A, 71S), 아날로그 출력 단자(72V, 72A, 72S), 디지털 입출력 단자(73), 디지털 인터페이스(74), 입력 처리부(80), 출력 처리부(90), 멀티플렉서/디멀티플렉서(100), 버퍼 컨트롤러(110), 하드 디스크 장치(120), 동기 제어 회로(130), 시스템 컨트롤러(140), 음향 검색 처리부(150), 조작 입력부(160)를 구비한다.
하드 디스크 장치(120)는, 본 예에 있어서, 3장의 하드 디스크(121, 122, 123)를 구비하고, 그 어느 하나에 트랜스포트 스트림이 기록되며, 어느 하나로부터 트랜스포트 스트림이 재생되도록 구성된다.
시스템 컨트롤러(140)는 CPU(Central Processing Unit)(141)를 구비하고, 그 시스템 버스(142)에 ROM(Read Only Memory)(143) 및 RAM(Random Access Memory)(144) 등이 접속되어 구성된다.
R0M(143)에는 CPU(141)가 실행해야 할 프로그램이 미리 격납되며, CPU(141)는 그 프로그램을 판독하여, 기록 재생 장치(70)의 각 부를 제어한다. RAM(144)에는 CPU(141)가 기록 재생 장치(70)의 각 부를 제어하는 데 필요한 그 밖의 프로그램이나 데이터가 적당히 기록된다.
조작 입력부(160)는 키보드, 마우스, 버튼, 스위치, 리모트 커맨더 등에 의해 구성되며, 도시를 생략한 입출력 인터페이스를 통해 시스템 컨트롤러(140)의 시스템 버스(142)에 접속된다.
음향 검색 처리부(150)는 상술한 제 1 실시예에서 제 5 실시예 중 어느 한 기능을 포함하는 것으로서 구성되는 부분이다. 특히, 본 실시예는 MPEG 규격의 압축 부호화 데이터가 검색 대상이기 때문에, 상술한 바와 같이, 제 3 실시예의 경우가 적합하다.
단, 이 경우, 기록 매체(13)는 하드 디스크 장치(120)의 하드 디스크를 사용하도록 되어 있으며, 이 때문에, 기억부(12 또는 42), 재생부(14 또는 44) 등은 버퍼 컨트롤러(110) 부분에 의해 구성되기 때문에, 상술한 각 실시예 도면 중, 주데이터로서의 음향 데이터 기록 재생에 관한 부분을 제외하는 음향 검색 처리를 행하는 부분에 의해 음향 검색 처리부(150)가 구성된다.
또한, 검색자 메모리(32)는 음향 검색자 처리부(150) 내에 설치할 수도 있고, 하드 디스크 장치(120)의 하드 디스크 일부의 기억 영역을 사용할 수도 있다.
또한, 디지털 음향 압축 데이터나 음향 데이터와 영상 데이터가 링크되어 기록 재생되는 음향 영상 데이터로는 검색이나 등록의 해당 구간을 나타내는 링크된 어드레스 정보로서, 프레임 번호나 필드 번호, PTS(Presentation Time Stamp), 패킷 번호 등이 사용된다.
(아날로그 입력 처리 및 기록)
안테나(61)로 수신된 아날로그 텔레비전 방송 신호는 조작 입력부(160)에서의 조작에 기초하는 시스템 컨트롤러(140) 지시에 의해, 튜너(81)로 선국되고, 튜너(81)로부터 선택된 채널의 합성 영상 신호 및 음향 신호가 얻어지며, 그 합성 영상 신호 및 음향 신호가 입력 전환 회로(82) 한쪽 입력단에 공급된다.
입력 단자(71V)에는 외부 기기로부터 합성 영상 신호가 공급되고, 입력 단자(71A)에는 외부 기기로부터 음향 신호가 공급되며, 입력 단자(71S)에는 외부 기기로부터 개별 영상 신호(휘도 신호와 색차 신호로 분리된 것)가 각각 공급된다.
입력 단자(71V)로부터의 합성 영상 신호 및 입력 단자(71A)로부터의 음향 신호는 입력 전환 회로(82)의 다른쪽 입력단에 공급되고, 입력 전환 회로(82)가 시스템 컨트롤러(140)에 의해 전환되며, 입력 전환 회로(82)로부터 어느 하나의 합성 영상 신호 및 음향 신호가 선택되어 추출된다.
입력 전환 회로(82)로부터의 합성 영상 신호는 YC 분리 회로(83)에서 휘도 신호와 색차 신호로 분리되며, 다른 입력 전환 회로(84)의 한쪽 입력단에 공급된 다. 또한, 입력 단자(71S)로부터의 개별 영상 신호(휘도 신호 및 색차 신호)가 입력 전환 회로(84)의 다른쪽 입력단에 공급되며, 입력 전환 회로(84)가 시스템 컨트롤러(140)에 의해 전환되며, 입력 전환 회로(84)로부터 어느 한 휘도 신호 및 색차 신호가 선택되어 추출된다.
입력 전환 회로(84)로부터의 휘도 신호 및 색차 신호는 NTSC(National Television System Committee) 디코더(85)에서 각각 A/D(Analog to Digital) 변환되며, 더욱이 크로마 인코드 처리되어, NTSC 디코더(85)로부터 합성 영상 데이터가 얻어진다.
또한, NTSC 디코더(85)에서는, 입력 전환 회로(84)로부터의 휘도 신호로부터 수직 동기 신호 및 수평 동기 신호가 분리됨과 동시에, 그 분리된 동기 신호에 기초하여 클록 및 필드 판별 신호가 생성되며, 이들 동기 신호, 클록 및 필드 판별 신호가 동기 제어 회로(130)에 공급된다. 동기 제어 회로(130)에서는, 이들 신호를 기준으로 하여 기록 재생 장치(70)의 각 부에 필요한 클록 및 타이밍 신호가 생성되어, 기록 재생 장치(70)의 각 부에 공급된다.
NTSC 디코더(85)로부터의 영상 데이터는 프리 영상 처리 회로(86)에서 프리 필터링 처리 등의 처리가 실시된 후, MPEG 영상 인코더(87) 및 출력 처리부(90)의 포스트 영상 처리 회로(92)에 공급된다.
MPEG 영상 인코더(87)에서는, 프리 영상 처리 회로(86)로부터의 영상 데이터에 대해 블록 DCT(Discrete Cosine Transform) 등의 부호화 처리가 실시되며, 영상 엘리멘터리 스트림(ES: Elementary Stream)이 생성되며, 그 영상 엘리멘터리 스트림이 멀티플렉서/디멀티플렉서(100)에 공급된다.
한편, 입력 전환 회로(82)로부터의 음향 신호는 A/D 변환기(88)에서 디지털 음향 데이터로 변환된 후, MPEG 음성 인코더(89) 및 출력 처리부(90)의 출력 전환 회로(95)에 공급된다.
MPEG 음성 인코더(89)에서는, A/D 변환기(88)로부터의 음향 데이터가 MPEG 방식에 의해 압축 부호화되고, 음성 엘리멘터리 스트림이 생성되며, 그 음성 엘리멘터리 스트림이 멀티플렉서/디멀티플렉서(100)에 공급된다.
멀티플렉서/디멀티플렉서(100)에서는, 그 멀티플렉서에 있어서, MPEG 영상 인코더(87)로부터의 영상 엘리멘터리 스트림 및 MPEG 음성 인코더(89)로부터의 음성 엘리멘터리 스트림과 각종 제어 신호가 다중화되고, MPEG 시스템의 트랜스포트 스트림이 생성되어, 그 트랜스포트 스트림이 버퍼 컨트롤러(110)에 송출된다.
버퍼 컨트롤러(110)는 멀티플렉서/디멀티플렉서(100)로부터 연속적으로 입력되는 트랜스포트 스트림을 하드 디스크 장치(120)에 단속적으로 송출한다. 즉, 하드 디스크 장치(120)가 시크 동작을 행하고 있을 때에는 기록을 할 수 없기 때문에, 입력된 트랜스포트 스트림을 버퍼에 일시 저장하여, 하드 디스크 장치(120)가 기록 가능할 때에, 그 트랜스포트 스트림을 입력 레이트보다 높은 레이트로 버퍼로부터 판독하여 하드 디스크 장치(120)에 송출한다. 이것에 의해, 버퍼 컨트롤러(110)에 연속적으로 입력되는 트랜스포트 스트림은 도중에서 끊기지 않고 하드 디스크(121 내지 123)에 기록된다.
하드 디스크 장치(120)는 시스템 컨트롤러(140)에 의해 제어되며, 하드 디스 크(121 내지 123)에 트랜스포트 스트림을 기록한다. 버퍼 컨트롤러(110)와 하드 디스크 장치(120) 사이의 프로토콜(인터페이스)로서는 IDE(Integrated Drive Electronics) 등이 사용된다.
(재생 및 아날로그 출력 처리)
재생 시에, 하드 디스크 장치(120)는 시스템 컨트롤러(140)에 의해 제어되고, 하드 디스크(121 내지 123)로부터 트랜스포트 스트림을 판독하여, 버퍼 컨트롤러(110)에 송출한다. 버퍼 컨트롤러(110)는 기록 시와는 반대로 하드 디스크 장치(120)로부터 단속적으로 입력되는 트랜스포트 스트림을 연속적인 트랜스포트 스트림으로 변환하여, 멀티플렉서/디멀티플렉서(100)에 공급한다.
멀티플렉서/디멀티플렉서(100)에서는, 그 디멀티플렉서에 있어서, 그 연속적인 트랜스포트 스트림 해더가 해석 처리됨으로써, 트랜스포트 스트림으로부터 PES(Packetized Elementary Stream)가 분리되어, MPEG 영상 음성 디코더(91)에 공급된다.
MPEG 영상 음성 디코더(91)에서는, 멀티플렉서/디멀티플렉서(100)로부터의 PES가 영상 엘리멘터리 스트림과 음성 엘리멘터리 스트림으로 분리되며, 더욱이 그 영상 엘리멘터리 스트림이 MPEG 영상 디코더로 복호되어 베이스 밴드의 영상 데이터로 변환되며, 음성 엘리멘터리 스트림이 MPEG 음성 디코더로 복호되어 베이스 밴드의 음향 데이터로 변환된다. 변환 후의 영상 데이터는 포스트 영상 처리 회로(92)에 공급되며, 음향 데이터는 출력 전환 회로(95)에 공급된다.
포스트 영상 처리 회로(92)에서는, 시스템 컨트롤러(140) 지시에 의해, MPEG 영상 음성 디코더(91)로부터의 영상 데이터 및 프리 영상 처리 회로(86)로부터의 영상 데이터에 대해, 양자 전환 또는 합성이나 포스트 필터링 처리 등의 처리가 실시된다.
포스트 영상 처리 회로(92)에서는, 또한, GUI(Graphical User Interface)용으로 대표 화면(정지화)을 생성하고, 복수의 대표 화면을 축소하여, 윈도우에 붙이는 축소 정지화 표시 처리가 실시되며, 처리 후의 영상 데이터가 OSD(0n Screen Display) 처리 회로(93)에 공급된다.
대표 화면으로서는 예를 들어, 프로그램 틸트 중에서 특징적인 1장면이나, 프로그램 중 보고 싶은 장면을 민첩하게 액세스할 수 있도록 하기 위한 그 프로그램의 인덱스 포인트(원 신) 화면 등이 있다.
OSD 처리 회로(93)에서는, 시스템 컨트롤러(140) 지시에 의해, 텍스트 정보 등에 대응하는 화상 데이터를 생성하여, 포스트 영상 처리 회로(92)로부터의 영상 데이터의 상기 윈도우 부분의 영상 데이터에 중첩하는 처리가 실시되며, 처리 후의 영상 데이터가 NTSC 인코더(34)에 공급된다. 축소 정지화 표시된 복수의 대표 화면 예를 도 17에 도시한다. 도 17의 예에서는, 16장의 축소 정지화(200)가 윈도우에 붙어 표시된다.
NTSC 인코더(94)에서는, OSD 처리 회로(93)로부터의 영상 데이터(컴포넌트 영상 데이터)가 휘도 데이터와 색차 데이터로 변환된 가운데 또는 변환되지 않고 그대로 각각 D/A(Digital to Analog) 변환되어, 각각 아날로그 신호인 개별 영상 신호 및 합성 영상 신호가 생성된다. 그 개별 영상 신호는 출력 단자(72S)에 도출되며, 합성 영상 신호는 출력 단자(72V)에 도출된다.
한편, 출력 전환 회로(95)에서는, 시스템 컨트롤러(140)에 의해, MPEG 영상 음성 디코더(91)로부터의 음향 데이터와, A/D 변환기(88)로부터의 음향 데이터와의 어느 하나가 선택되어 추출된다. 그 선택된 음향 데이터는 D/A 변환기(36)에서 아날로그 음향 신호로 변환되어 출력 단자(72A)에 도출된다.
출력 단자(72S)에 도출된 개별 영상 신호, 출력 단자(72V)에 도출된 합성 영상 신호 및 출력 단자(72A)에 도출된 음향 신호가 외부의 텔레비전 수신기 등의 모니터 장치(2)에 출력됨으로써, 모니터 장치(2)에 있어서, 화상이 표시되어 음성이 출력된다.
(외부 장치로부터의 영상 음향 데이터의 기록 재생)
본 예에 있어서, 기록 재생 장치(70)는 디지털 입출력 단자(73)와 멀티플렉서/디멀티플렉서(100) 사이에 디지털 인터페이스(74)가 접속되고, 디지털 입출력 단자(73)에 외부 장치(63)를 접속함으로써, 외부 장치(63)로부터 입력된 트랜스포트 스트림을 하드 디스크(121 내지 123)에 기록하여, 하드 디스크(121 내지 123)로부터 재생된 트랜스포트 스트림을 외부 장치(63)에 출력할 수 있도록 구성된다.
외부 장치(63)로서는 IRD(Integrated Reciver Decoder)나 퍼스널 컴퓨터 등의 기기를 접속할 수 있다. 디지털 인터페이스(74)로서는 IEEE(Institute of Electrical and Electronics Engineers) 1394 디지털 인터페이스가 사용되며, 외부 장치(63)와 디지털 입출력 단자(73)를 접속하는 시리얼 버스(64)로서는 IEEE 1394 시리얼 버스가 사용된다.
외부 장치(63)로부터 시리얼 버스(64)를 통해 디지털 입출력 단자(73)에 입력된 트랜스포트 스트림은 디지털 인터페이스(74)에서 인터페이스 처리되어 멀티플렉서/디멀티플렉서(100)에 송출되며, 멀티플렉서/디멀티플렉서(100)로부터 버퍼 컨트롤러(110)에 송출되어, 하드 디스크 장치(120)에 의해 하드 디스크(121 내지 123)에 기록된다.
이와 동시에, 멀티플렉서/디멀티플렉서(100)의 디멀티플렉서에서 기록되는 트랜스포트 스트림으로부터 PES가 분리되고, MPEG 영상 음성 디코더(91)에 공급됨으로써, 출력 단자(72V, 72S 및 72A)에 아날로그 영상 신호 및 아날로그 음향 신호를 얻을 수 있다.
재생 시에는 하드 디스크 장치(120)에 의해 하드 디스크(121 내지 123)로부터 트랜스포트 스트림이 판독되고, 그 재생된 트랜스포트 스트림이 버퍼 컨트롤러(110)에 송출되며, 버퍼 컨트롤러(110)로부터 멀티플렉서/디멀티플렉서(100)에 송출되며, 디지털 인터페이스(74)에서 인터페이스 처리되어 디지털 입출력 단자(73)에 출력되며, 디지털 입출력 단자(73)로부터 시리얼 버스(64)를 통해 외부 장치(63)에 송출되며, 외부 장치(63)에 접속된 모니터 장치(7)에 있어서, 화상이 표시되어 음성이 출력된다.
이와 동시에, 멀티플렉서/디멀티플렉서(100)의 디멀티플렉서에서 재생된 트랜스포트 스트림으로부터 PES가 분리되고, MPEG 영상 음성 디코더(91)에 공급됨으로써, 출력 단자(72V, 72S 및 72A)에 재생 아날로그 영상 신호 및 재생 아날로그 음향 신호를 얻을 수 있다.
(음향 검색 처리)
상술한 바와 같이, 음향 검색 처리부(150)에 의해, 상술한 제 1 실시예 내지 제 5 실시예와 동일하게 하여 음향 검색할 수 있다. 이 경우에, 특정한 검색자 음향 파라미터를 지정하여 검색된 부분의 음향 신호뿐만 아니라, 그 검색된 음향 신호 부분에 대응하는 영상 신호 부분을 양자의 링크 관계로부터 검색 결과로서 추출할 수 있다. 예를 들어, 음악 프로그램의 경우에는 음악이 흐르고 있는 장면 부분만을 검색하여 추출할 수 있다.
이 경우, 검색 대상의 음향 신호는 하드 디스크 장치(120)에 기록된 음향 데이터뿐만 아니라, 수신한 혹은 입력된 음향 데이터여도 되는 것은 상술한 대로이다. 이 경우에, 본 실시예의 경우에는 복수의 입력 음향 데이터가 존재하기 때문에, 어느 입력 음향 영상 신호에 의한 화상과 음성을 모니터 장치(62)에서 시청하고 있을 때에, 다른 입력 음향 영상 신호 중의 음향 신호에 대해서 검색을 행하며, 그 검색 결과의 화상 부분을 예를 들어, 차일드 화면(차일드 화면은 검색되었을 때에만 표시해도 되고, 상시 표시해 두어도 된다)으로서, 시청하고 있는 페어런트 화면 일부에 표시하도록 할 수도 있다. 이러한 기능은 예를 들어, 마음에 드는 배우의 성문 등을 검색자 음향 파라미터로서 사용하여, 그 배우가 나오는 신을 차일드 화면에 표시하는 등의 사용 방법이 가능하다.
또한, 도 17에 도시한 축소 정지화(200) 각각에 대응하여, 검색자 음향 특징 파라미터를 등록해 두고, 사용자가 검색자로서 축소 정지화(200) 중 어느 하나를 지시했을 때, 그 지시된 축소 정지화(200)에 대응하는 검색자 음향 특징 파라미터 를 사용한 음향 검색 동작을 행하도록 할 수도 있다.
예를 들어, 축소 정지화에는 특정 인물이 표시되어 있으며, 그 인물의 성문 등을 검색자 음향 특징 파라미터로서 검색자 메모리에 기억해 두고, 그 인물의 축소 정지화가 검색자로서 지정되었을 때에, 음향 검색 처리를 행하여, 해당 인물이 등장하여 소리를 내고 있는 신을 추출할 수 있다. 이렇게, 축소 정지화에 대응하여, 검색 음향 특징 파라미터를 등록해 둠으로써, 축소 정지화를 검색을 위한 인덱스로서 사용할 수 있다.
또한, 반대로 특정한 검색자 음향 특징 파라미터를 지정함으로써, 그 검색자 음향 특징 파라미터로 검색된 신을 축소 정지화 표시에 사용하는 축소 정지화로서 등록하도록 할 수도 있다. 예를 들어, 인물은 투영되어 있지 않지만, 특정 인물의 성문 등의 음향적 특징을 포함하는 신을 상기 축소 정지화로서 등록할 수 있다.
또한, 검색자 음향 신호나 검색자 음향 특징 파라미터를 방송 신호에 데이터로서 중첩하여 제공하도록 할 수도 있다. 사용자는 제공된 검색자 중에서 소망하는 것을 선택하여 검색에 이용하거나, 또한, 그 제공된 것 중에서 필요한 검색자 음향 신호나 검색자 음향 특징 파라미터를 검색자 메모리(32)에 등록하여 보존하도록 할 수도 있다.
[음향 영상 검색 장치, 음향 영상 저장 장치의 제 2 실시예]
상술한 제 1 실시예에서는 음향 신호에 대해서만 검색자를 사용하여 검색을 행하도록 했지만, 제 2 실시예에서는 영상 신호에 대해서도 동일하게 하여 검색을 행하도록 한다.
즉, 제 2 실시예에서는, 영상 신호 검색을 위해, 화상 특징을 나타내는 영상 특징 파라미터로 이루어지는 검색자 영상 특징 파라미터를 등록해 두도록 한다. 검색자 영상 특징 파라미터로서 추출하는 영상의 특징량으로서는 예를 들어, 휘도와 그 변화, 색조와 그 변화, 인물, 물체 등이 비치고 있는 것과 그 변화 등을 사용할 수 있다.
검색자 영상 특징 파라미터도, 상술한 검색자 음향 특징파라미터와 동일하게 입력 음향 영상 신호 중 사용자가 지정한 구간의 영상 신호를 해석함으로써 얻을 수 있으며, 별도 검색자로 하는 영상 부분으로 이루어지는 영상 신호를 입력하여, 그것을 해석하여 얻을 수도 있다. 또한, 퍼스널 컴퓨터 등으로 미리 해석하여 얻어진 검색자를 장치에 등록하도록 하는 것도 물론 가능하다.
그리고, 검색 대상의 영상 신호를 해석하여 얻은 영상 특징 파라미터와, 검색자 영상 특징 파라미터를 비교하여, 양자의 유사성을 산출함으로써, 검색 대상의 영상 신호 중에서 검색자의 화상과 유사한 화상 부분을 검색하도록 한다. 그리고, 음향 신호에 대한 검색 결과와, 상기 영상 신호에 대한 검색 결과에 기초하여, 입력 음향 영상 신호 중에서 소정 부분을 검색하도록 한다.
이 경우에, 검색자 영상 특징 파라미터와, 검색자 음향 특징 파라미터는 각각 별개의 검색자로서 등록하여 개별로 사용하도록 해도 되고, 서로 관련지어 등록하여 사용하도록 해도 된다. 예를 들어, 어느 인물의 영상의 검색자 영상 특징 파라미터와, 그 인물의 성문 등의 검색자 음향 특징 파라미터는 서로 관련지어 등록해 두면 된다.
제 2 실시예에 있어서, 검색에 있어서는, 검색자 영상 특징 파라미터와, 검색자 음향 특징 파라미터 양쪽을 각각 개별로 지정하여 검색을 행할 수 있다. 또한, 상기 서로 관련지어 있는 검색자 영상 특징 파라미터 및 검색자 음향 특징 파라미터를 사용하도록 검색자 지정을 할 수도 있다.
검색자 음향 특징 파라미터와 검색자 영상 특징 파라미터 양자를 사용한 검색 방법으로서는 각각의 파라미터 중 어느 하나에 의해 검색된 유사 부분 모두를 검색 결과로서 출력하는 방법, 양 파라미터에서 검색된 유사 부분 중, 서로 일부 혹은 전부가 겹치는 부분을 검색 결과로서 출력하는 방법 등을 지정할 수 있다.
이 때의 검색 결과는 검색된 부분을 어드레스 정보 등으로 표시해도 되고, 또한, 영상 부분에 대해서는 검색된 부분의 선두 신을 상기 축소 정지화로 하여 표시하도록 해도 된다. 또한, 상술한 음향 검색 처리의 각 실시예와 동일하게 검색 결과의 신호 부분을 순차 재생하도록 할 수도 있다. 더욱이 검색 결과와, 검색자를 관련시켜 메모리에 기억해 두고, 검색자를 의지하여 나중 시점에서 판독 재생하도록 할 수도 있다.
이 제 2 실시예에 의하면, 영상 특징량을 사용하여 장면 구간을 검출하는 것과, 음향 특징량을 사용하여 장면 구간을 검출하는 것을 병용함으로써, 검색 결과의 장면 구간을 의미있는 것으로 할 수 있다. 예를 들어, 영상적으로는 신이 대체되어 있어도, 나레이션 등 음향적으로는 계속하고 있는 신을 영상의 변화점에서 구분되는 일 없이 검출할 수 있다.
또한, 상술한 축소 정지화 표시용 축소 정지화로서 검색자 영상 특징 파라미 터와 검색자 음향 특징 파라미터에 의해 검색된 유사 부분의 중복 부분을 추출하도록 함으로써, 영상적뿐만 아니라 음향적으로도 의미 있는 축소 정지화를 추출하여 표시할 수 있다.
이상 설명한 바와 같이, 본 발명에 의하면, 검색 대상의 음향 신호와, 검색자로서의 음향 신호를 각각 음향 특징 파라미터로 해석하여, 그 음향 특징 파라미터에 대해서 비교하고, 비교 판정함으로써 검색을 행하도록 함으로써, 검색 대상의 음향 신호 기록 시에 마커 등을 주입해 두지 않아도, 예를 들어, 특정 화자의 발언 부분이나 특정 악기의 연주 부분을 간단하게 검색할 수 있다.
또한, 미리 검색자를 등록해 둠으로써, 그 등록한 것으로부터 선택한 검색자에 대한 검색자를 용이하게 행할 수 있다.
또한, 마커를 실시하는 경우와 같이 일단 기록하지 않으면 검색이 불가능한 게 아니라, 미리 준비한 검색자에 대한 검색을 검색 대상의 음향 신호에 대해서 행하는 것이 가능하다.
또한, 음향 영상 신호로부터의 임의의 장면 검색을 행할 경우에, 음향 특징 파라미터와 영상 특징 파라미터를 사용하여 장면 검색을 행하도록 하면, 검색 정밀도를 올릴 수 있고, 또한, 음향적으로도 영상적으로도 구분성 좋은 장면 검색을 할 수 있게 된다.

Claims (47)

1 내지 복수의 음향 신호에 대한 음원의 구조적인 요소에 의존하고 음향 신호의 주파수 성분 분포를 나타내는 음향 특징 파라미터로 이루어지는 검색자 음향 특징 파라미터 각각을 미리 기억해 놓고, 검색시에 검색 대상의 음향 신호를 해석하여 상기 음향 신호의 주파수 성분 분포를 나타내는 음향 특징 파라미터를 얻고, 얻어진 상기 음향 특징 파라미터와 상기 기억되어 있는 검색자 음향 특징 파라미터 중으로부터 판독한 것을 비교하여, 양자의 유사성을 산출함으로써, 상기 검색 대상의 음향 신호 중에서 상기 검색자의 음향 신호와 유사한 부분을 검색하는 것을 특징으로 하는, 음향 검색 처리 방법.
제 1 항에 있어서,
상기 검색자가 되는 1 내지 복수의 음향 신호를 준비하여, 검색 시에, 상기 준비되어 있는 검색자의 음향 신호 중, 검색자가 되어야 할 음원의 음향 신호를 해석하여 얻은 음향 특징 파라미터를 상기 유사성의 산출에 사용하는 상기 검색자 음향 특징 파라미터로 하는 것을 특징으로 하는, 음향 검색 처리 방법.
제 2 항에 있어서,
상기 검색자의 음향 신호는 상기 검색 대상의 음향 신호 중에서 추출하여 기억해 두는 것을 특징으로 하는, 음향 검색 처리 방법.
제 1 항에 있어서,
검색 시에, 상기 검색 대상의 음향 신호에 대해 사용자가 지시 조작을 한 부분을 해석하여 얻은 것을 상기 검색자 음향 특징 파라미터로 하며, 상기 검색자 음향 특징 파라미터를 사용하여, 상기 검색 대상의 음향 신호에 대한 검색을 행하는 것을 특징으로 하는, 음향 검색 처리 방법.
삭제
제 1 항에 있어서,
상기 검색자 음향 특징 파라미터는 상기 검색 대상의 음향 신호 중에서 추출한 상기 검색자의 음향 신호를 해석하여 얻은 음향 특징 파라미터인 것을 특징으로 하는, 음향 검색 처리 방법.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 검색자가 복수 개일 경우에는, 미리 설정된 단위 시간마다 검색자를 전환하여, 상기 유사성의 산출을 행하는 것을 특징으로 하는, 음향 검색 처리 방법.
제 1 항 내지 제 4 항 또는 제 6 항 중 어느 한 항에 있어서,
상기 검색자마다의 검색 결과를, 상기 검색 대상의 음향 신호에 대해서, 시간 방향으로 표시하는 것을 특징으로 하는, 음향 검색 처리 방법.
제 7 항에 있어서,
상기 검색자마다의 검색 결과를, 상기 검색 대상의 음향 신호에 대해서, 시간 방향으로 표시하는 것을 특징으로 하는, 음향 검색 처리 방법.
제 1 항 내지 제 4 항 또는 제 6 항 중 어느 한 항에 있어서,
상기 검색 대상의 음향 신호 중, 상기 검색 결과, 상기 검색자와 유사한 부분만을 추출하여 재생하는 것을 특징으로 하는, 음향 검색 처리 방법.
제 7 항에 있어서,
상기 검색 대상의 음향 신호 중, 상기 검색 결과, 상기 검색자와 유사한 부분만을 추출하여 재생하는 것을 특징으로 하는, 음향 검색 처리 방법.
입력 음향 신호를 기록 매체에 기록함과 동시에, 상기 입력 음향 신호를 해석하여, 음원의 구조적인 요소에 의존하는 음향 특징 파라미터를 얻어, 검색자가 되는 1 내지 복수의 음향 신호에 대한 상기 음향 특징 파라미터로 이루어지는 검색자 음향 특징 파라미터 각각과, 상기 입력 음향 신호에 대한 상기 음향 특징 파라미터를 비교하여, 양자의 유사성을 산출함으로써, 상기 검색 대상의 음향 신호 중에서 상기 검색자의 음향 신호와 유사한 부분을 검색하여, 그 검색 결과를 상기 검색자 및 상기 입력 음향 신호의 상기 기록 매체 상의 기록 위치에 관련시켜 기록하도록 하는 것을 특징으로 하는, 음향 정보 저장 방법.
제 12 항에 있어서,
상기 검색 결과는 상기 음향 신호와 함께 상기 기록 매체에 기록되는 것을 특징으로 하는, 음향 정보 저장 방법.
제 12 항 또는 제 13 항에 있어서,
검색자가 되는 1 내지 복수의 음향 신호에 대한 상기 검색자 음향 특징 파라미터 각각은, 상기 입력 음향 신호로부터, 사용자의 지시에 따라 선택 추출한 음향 신호 부분에 대한 해석 결과로서 구해지는 것을 특징으로 하는, 음향 정보 저장 방법.
제 14 항에 있어서,
상기 사용자의 지시에 따라 선택 추출한 음향 신호 부분에 대한 해석 결과로서 구해진 상기 검색자가 되는 1 내지 복수의 음향 신호에 대한 상기 검색자 음향 특징 파라미터 각각은, 버퍼 메모리의 다른 메모리 영역에 기억되며, 상기 버퍼 메모리로부터, 상기 검색자 음향 특징 파라미터 각각이 판독되며, 그들 검색자 음향 특징 파라미터를 사용한 상기 입력 음향 신호에 대한 상기 유사성의 산출 처리에 의한 상기 유사한 부분의 검색 처리가 행해지는 것을 특징으로 하는, 음향 정보 저장 방법.
제 14 항에 있어서,
상기 입력 음향 신호로부터, 사용자의 지시에 따라 선택 추출한 1 내지 복수 개의 음향 신호 부분이, 검색자의 음향 신호로서, 각각 버퍼 메모리의 다른 메모리영역에 기억되며, 상기 버퍼 메모리로부터, 상기 검색자가 되는 1 내지 복수의 음향 신호가 각각 판독됨과 동시에, 각각의 음향 신호가 해석되어 검색자 음향 특징 파라미터로 되며, 그들 검색자 음향 특징 파라미터를 사용한 상기 입력 음향 신호에 대한 상기 유사성의 산출 처리에 의한 상기 유사한 부분의 검색 처리가 행해지는 것을 특징으로 하는, 음향 정보 저장 방법.
제 12 항 또는 제 13 항에 있어서,
상기 검색 결과와 함께, 상기 검색자가 되는 음향 신호의 음향 특징 파라미터 혹은 상기 검색자가 되는 음향 신호 부분도, 상기 기록 매체에 기록되는 것을 특징으로 하는, 음향 정보 저장 방법.
제 14 항에 있어서,
상기 검색 결과와 함께, 상기 검색자가 되는 음향 신호의 음향 특징 파라미터 혹은 상기 검색자가 되는 음향 신호 부분도, 상기 기록 매체에 기록되는 것을 특징으로 하는, 음향 정보 저장 방법.
1 내지 복수의 검색자가 되는 음향 신호를 보존하는 보존부, 검색시에 상기 보존부로부터 선택된 검색자의 음향 신호를 판독하는 판독 수단과, 상기 판독 수단에 의해 판독된 검색자의 음향 신호를 해석하여, 검색 수단에 공급하는 검색자 음향 특징 파라미터를 얻는 검색자 음향 특징 파라미터 해석 수단과, 검색 대상의 음향 신호를 음원의 구조적인 요소에 의존하는 음향 특징 파라미터로 해석하는 음향 특징 파라미터 해석 수단과, 상기 검색자가 되는 음향 신호에 대한 상기 음향 특징 파라미터로 이루어지는 검색자 음향 특징 파라미터와 상기 음향 특징 파라미터 해석 수단으로부터의 검색 대상의 음향 신호의 음향 특징 파라미터를 비교하여, 상기 검색 대상의 음향 신호 중에서 상기 검색자의 음원으로부터의 음향 신호와 유사한 부분을 검색하는 검색 수단과, 상기 검색 수단의 결과를 표시하는 결과 표시 수단을 구비하는 것을 특징으로 하는, 음향 정보 검색 장치.
제 19 항에 있어서,
상기 결과 표시 수단은 상기 검색 수단에 의해 산출된 상기 유사한 부분을 상기 검색 대상의 음향 신호의 시간의 흐름에 따라 표시하는 것을 특징으로 하는, 음향 정보 검색 장치.
삭제
제 19 항에 있어서,
1 내지 복수의 상기 검색자 음향 특징 파라미터를 보존하는 보존부와, 검색 시에, 상기 보존부로부터 선택된 검색자 음향 특징 파라미터를 판독하며, 상기 유사성 산출 수단에 공급하는 판독 수단을 구비하는 것을 특징으로 하는, 음향 정보 검색 장치.
제 22 항에 있어서,
상기 검색자의 음향 특징 파라미터를, 상기 검색 대상의 음향 신호로부터 사용자의 지시에 따라 추출하고, 해석하여 얻어, 상기 보존부에 보존하는 검색자 등록 수단을 설치한 것을 특징으로 하는, 음향 정보 검색 장치.
제 19 항에 있어서,
상기 검색자가 복수 개일 경우에는, 미리 설정된 단위 시간마다, 검색자를 전환하여, 상기 유사성의 산출을 행하는 것을 특징으로 하는, 음향 정보 검색 장치.
1 내지 복수의 검색자가 되는 음향 신호를 보존하는 보존부, 검색시에 상기 보존부로부터 선택된 검색자의 음향 신호를 판독하는 판독 수단과, 상기 판독 수단에 의해 판독된 검색자의 음향 신호를 해석하여 검색 수단에 공급하는 검색자 음향 특징 파라미터를 얻는 검색자 음향 특징 파라미터 해석 수단과, 검색 대상의 음향 신호를 음원의 구조적인 요소에 의존하는 음향 특징 파라미터로 해석하는 음향 특징 파라미터 해석 수단과, 검색자가 되는 음향 신호에 대한 상기 음향 특징 파라미터로 이루어지는 검색자 음향 특징 파라미터와 상기 음향 특징 파라미터 해석 수단으로부터의 상기 검색 대상의 음향 신호의 음향 특징 파라미터를 비교하여, 상기 검색 대상의 음향 신호 중에서 상기 검색자의 음원으로부터의 음향 신호와 유사한 부분을 검색하는 검색 수단과, 상기 검색 수단에서의 검색 결과에 기초하여, 상기 유사한 부분만을 추출하여 재생하는 재생 수단을 구비하는, 음향 정보 검색 장치.
삭제
제 25 항에 있어서,
상기 검색자의 음향 신호를, 상기 검색 대상의 음향 신호로부터, 사용자의 지시에 따라 추출하여 보존부에 보존하는 검색자 등록 수단을 설치한 것을 특징으로 하는, 음향 정보 검색 장치.
제 25 항에 있어서,
1 내지 복수의 상기 검색자 음향 특징 파라미터를 보존하는 보존부와, 검색 시에, 상기 보존부로부터 선택된 검색자 음향 특징 파라미터를 판독하며, 상기 유사성 산출 수단에 공급하는 판독 수단을 구비하는 것을 특징으로 하는, 음향 정보 검색 장치.
제 28 항에 있어서,
상기 검색자의 음향 특징 파라미터를, 상기 검색 대상의 음향 신호로부터 사용자의 지시에 따라 추출하고, 해석하여 얻으며, 상기 보존부에 보존하는 검색자 등록 수단을 설치한 것을 특징으로 하는, 음향 정보 검색 장치.
제 25 항에 있어서,
상기 검색자가 복수 개일 경우에는, 미리 설정된 단위 시간마다 검색자를 전환하여, 상기 유사성의 산출을 행하는 것을 특징으로 하는, 음향 정보 검색 장치.
입력 음향 신호를 기록 매체에 기록하는 기록 수단과, 상기 입력 음향 신호를, 음원의 구조적인 요소에 의존하는 음향 특징 파라미터로 해석하는 음향 특징 파라미터 해석 수단과, 검색자가 되는 1 내지 복수의 음향 신호에 대한 상기 음향 특징 파라미터로 이루어지는 검색자 음향 특징 파라미터 각각과, 상기 입력 음향 신호에 대한 상기 음향 특징 파라미터를 비교하여, 양자의 유사성을 산출함으로써, 상기 검색 대상의 음향 신호 중에서 상기 검색자의 음원으로부터의 음향 신호와 유사한 부분을 검색하는 검색 수단을 구비하며, 상기 검색 수단의 검색 결과를, 상기 검색자 및 상기 입력 음향 신호의 상기 기록 매체 상의 기록 위치에 관련시켜 기록하도록 하는 것을 특징으로 하는, 음향 정보 저장 장치.
제 31 항에 있어서,
상기 검색 결과는, 상기 입력 음향 신호와 함께, 상기 기록 매체에 기록되는 것을 특징으로 하는, 음향 정보 저장 장치.
제 31 항 또는 제 32 항에 있어서,
사용자의 지시에 따라 상기 입력 음향 신호로부터 선택 추출한 음향 신호 부분에 대한 해석을 행하며, 상기 검색자가 되는 1 내지 복수의 음향 신호에 대한 상기 검색자 음향 특징 파라미터 각각을 얻는 검색자 음향 특징 파라미터 해석 수단과, 상기 검색자 음향 특징 파라미터 해석 수단에 의해 구해진 검색자 음향 특징 파라미터를 상기 검색자로서 사용하기 위해 보존하는 검색자 음향 특징 파라미터 보존 수단을 구비하는 것을 특징으로 하는, 음향 정보 저장 장치.
제 31 항 또는 제 32 항에 있어서,
상기 입력 음향 신호로부터, 사용자의 지시에 따라 선택 추출한 음향 신호 부분을 상기 검색자로서 추출하는 검색자 추출 수단과, 상기 검색자 추출 수단에 의해 추출된 검색자의 음향 신호를 기억하는 검색자 음향 신호 보존 수단과, 상기 검색자 보존 수단으로부터 판독된 검색자의 음향 신호로부터 검색자 음향 특징 파라미터를 얻는 검색자 음향 특징 파라미터 해석 수단을 구비하며, 상기 검색자 음향 특징 파라미터 해석 수단에 의해 구해진 검색자 음향 특징 파라미터를 상기 검색 수단에 의해 상기 입력 음향 신호에 대한 상기 음향 특징 파라미터와 비교하는 것을 특징으로 하는, 음향 정보 저장 장치.
제 34 항에 있어서,
상기 검색자의 음향 신호를, 상기 검색 대상의 음향 신호로부터, 사용자의 지시에 따라 추출하여 상기 검색자 음향 신호 보존부에 보존하는 검색자 등록 수단을 설치한 것을 특징으로 하는, 음향 정보 저장 장치.
제 31 항 또는 제 32 항에 있어서,
상기 검색자가 복수 개일 경우에는, 미리 설정된 단위 시간마다 검색자를 전환하여, 상기 유사성의 산출을 행하는 것을 특징으로 하는, 음향 정보 저장 장치.
영상 신호와, 이 영상 신호에 관련되는 음향 신호로 이루어지는 입력 신호로부터 소정 부분을 검색하는 음향 영상 검색 처리 방법에 있어서,
검색자가 되는 1 내지 복수의 음향 신호에 대한 음원의 구조적인 요소에 의존하는 음향 특징 파라미터로 이루어지는 검색자 음향 특징 파라미터 각각과, 검색 대상의 상기 입력 신호 중의 음향 신호를 해석하여 얻은 상기 음향 특징 파라미터를 비교하여, 양자의 유사성을 산출함으로써, 상기 입력 신호 중 음향 신호 중에서 상기 검색자의 음향 신호와 유사한 부분을 검색하며, 그 검색한 부분을, 상기 입력 신호에 대한 검색 결과로 하는 것을 특징으로 하는, 음향 영상 검색 처리 방법.
영상 신호와, 이 영상 신호에 관련되는 음향 신호로 이루어지는 입력 신호로부터 소정 부분을 검색하는 음향 영상 검색 처리 방법에 있어서,
검색자가 되는 1 내지 복수의 음향 신호에 대한 음원의 구조적인 요소에 의존하는 음향 특징 파라미터로 이루어지는 검색자 음향 특징 파라미터 각각과, 검색 대상의 상기 입력 신호 중의 음향 신호를 해석하여 얻은 상기 음향 특징 파라미터를 비교하여, 양자의 유사성을 산출함으로써, 상기 입력 신호 중의 음향 신호 중에서 상기 검색자의 음향 신호와 유사한 부분을 검색함과 동시에,
검색자가 되는 1 내지 복수의 영상 신호에 대한 화상 특징을 나타내는 영상 특징 파라미터로 이루어지는 검색자 영상 특징 파라미터 각각과, 검색 대상의 상기 입력 신호 중의 영상 신호를 해석하여 얻은 상기 영상 특징 파라미터를 비교하여, 양자의 유사성을 산출함으로써, 상기 입력 신호 중의 영상 신호 중에서 상기 검색자의 화상과 유사한 화상 부분을 검색하며,
상기 음향 신호에 대한 검색 결과와, 상기 영상 신호에 대한 검색 결과에 기초하여, 상기 입력 신호 중에서 소정 부분을 검색하는 것을 특징으로 하는, 음향 영상 검색 처리 방법.
영상 신호와 그 영상 신호에 관련되는 음향 신호로 이루어지는 입력 신호를 기록 매체에 기록함과 동시에,
상기 입력 신호 중의 음향 신호를 해석하여, 음원의 구조적인 요소에 의존하는 음향 특징 파라미터를 얻어, 검색자가 되는 1 내지 복수의 음향 신호에 대한 상기 음향 특징 파라미터로 이루어지는 검색자 음향 특징 파라미터 각각과, 상기 입력 신호 중의 음향 신호에 대한 상기 음향 특징 파라미터를 비교하여, 양자의 유사성을 산출함으로써, 상기 입력 신호 중의 음향 신호 중에서 상기 검색자의 음향 신호와 유사한 부분을 검색하며, 그 검색 결과를 상기 검색자와 상기 입력 신호의 상기 기록 매체 상의 기록 위치에 관련시켜 기록하도록 하는 것을 특징으로 하는, 음향 영상 정보 저장 방법.
영상 신호와 이 영상 신호에 관련되는 음향 신호로 이루어지는 입력 신호를 기록 매체에 기록함과 동시에, 검색자가 되는 1 내지 복수의 음향 신호에 대한 음원의 구조적인 요소에 의존하는 음향 특징 파라미터로 이루어지는 검색자 음향 특징 파라미터 각각과, 검색 대상의 상기 입력 신호 중의 음향 신호를 해석하여 얻은 상기 음향 특징 파라미터를 비교하여, 양자의 유사성을 산출함으로써, 상기 입력 신호 중의 음향 신호 중에서 상기 검색자의 음향 신호와 유사한 부분을 검색하며, 또한, 검색자가 되는 1 내지 복수의 영상 신호에 대한 화상 특징을 나타내는 영상 특징 파라미터로 이루어지는 검색자 영상 특징 파라미터 각각과, 검색 대상의 상기 입력 신호 중의 영상 신호를 해석하여 얻은 상기 영상 특징 파라미터를 비교하여, 양자의 유사성을 산출함으로써, 상기 입력 신호 중의 영상 신호 중에서 상기 검색자의 화상과 유사한 화상 부분을 검색하며, 상기 음향 신호 및 영상 신호에 대한 검색 결과를 상기 검색자와 상기 입력 신호의 상기 기록 매체 상의 기록 위치에 관련시켜 기록하도록 하는 것을 특징으로 하는, 음향 영상 정보 저장 방법.
영상 신호와 이 영상 신호에 관련되는 음향 신호로 이루어지는 입력 신호 중의 상기 음향 신호를 음원의 구조적인 요소에 의존하는 음향 특징 파라미터로 해석하는 음향 특징 파라미터 해석 수단과,
검색자가 되는 음향 신호에 대한 상기 음향 특징 파라미터로 이루어지는 검색자 음향 특징 파라미터와, 상기 음향 특징 파라미터 해석 수단으로부터의 상기 검색 대상의 음향 신호의 음향 특징 파라미터를 비교하여, 상기 검색 대상의 음향 신호 중에서 상기 검색자의 음원으로부터의 음향 신호와 유사한 부분을 검색하는 검색 수단과,
상기 검색 수단 결과를 표시하는 결과 표시 수단을 구비하는 것을 특징으로 하는, 음향 영상 정보 검색 장치.
제 41 항에 있어서,
상기 결과 표시 수단은 상기 검색 수단으로 검색된 부분의 영상 신호에 의한 화상을 표시하는 것을 특징으로 하는, 음향 영상 정보 검색 장치.
영상 신호와 이 영상 신호에 관련되는 음향 신호로 이루어지는 입력 신호 중의 상기 음향 신호를 음원의 구조적인 요소에 의존하는 음향 특징 파라미터로 해석하는 음향 특징 파라미터 해석 수단과,
검색자가 되는 음향 신호에 대한 상기 음향 특징 파라미터로 이루어지는 검색자 음향 특징 파라미터와, 상기 음향 특징 파라미터 해석 수단으로부터의 상기 검색 대상의 음향 신호의 음향 특징 파라미터를 비교하여, 상기 검색 대상의 음향 신호 중에서 상기 검색자의 음원으로부터의 음향 신호와 유사한 부분을 검색하는 검색 수단과,
상기 검색 수단에서의 검색 결과에 기초하여, 상기 유사한 부분에 대응하는 상기 입력 신호 부분을 추출하여 재생하는 재생 수단을 구비하는 것을 특징으로 하는, 음향 영상 정보 검색 장치.
영상 신호와 이 영상 신호에 관련되는 음향 신호로 이루어지는 입력 신호 중의 상기 음향 신호를 음원의 구조적인 요소에 의존하는 음향 특징 파라미터로 해석하는 음향 특징 파라미터 해석 수단과,
검색자가 되는 음원에 대한 상기 음향 특징 파라미터로 이루어지는 검색자 음향 특징 파라미터와, 상기 음향 특징 파라미터 해석 수단으로부터의 상기 입력 신호 중의 음향 신호의 음향 특징 파라미터를 비교하여, 상기 입력 신호 중의 음향 신호 중에서 상기 검색자의 음원으로부터의 음향 신호와 유사한 부분을 검색하는 음향 부분 검색 수단과,
상기 입력 신호 중의 영상 신호를 화상 특징을 나타내는 영상 특징 파라미터로 해석하는 영상 특징 파라미터 해석 수단과,
검색자가 되는 1 내지 복수의 영상 신호에 대한 상기 영상 특징 파라미터로 이루어지는 검색자 영상 특징 파라미터 각각과, 상기 영상 특징 파라미터 해석 수단으로부터의 상기 입력 신호 중의 영상 신호의 영상 특징 파라미터를 비교하여, 상기 입력 신호 중의 영상 신호 중에서 상기 검색자의 영상 신호와 유사한 부분을 검색하는 영상 부분 검색 수단과,
상기 음향 부분 검색 수단 및 영상 부분 검색 수단 결과를 표시하는 결과 표시 수단을 구비하는 것을 특징으로 하는, 음향 영상 정보 검색 장치.
영상 신호와 이 영상 신호에 관련되는 음향 신호로 이루어지는 입력 신호 중의 상기 음향 신호를 음원의 구조적인 요소에 의존하는 음향 특징 파라미터로 해석하는 음향 특징 파라미터 해석 수단과,
검색자가 되는 음원에 대한 상기 음향 특징 파라미터로 이루어지는 검색자 음향 특징 파라미터와, 상기 음향 특징 파라미터 해석 수단으로부터의 상기 입력 신호 중의 음향 신호의 음향 특징 파라미터를 비교하여, 상기 입력 신호 중의 음향 신호 중에서 상기 검색자의 음원으로부터의 음향 신호와 유사한 부분을 검색하는 음향 부분 검색 수단과,
상기 입력 신호 중의 영상 신호를 화상 특징을 나타내는 영상 특징 파라미터로 해석하는 영상 특징 파라미터 해석 수단과,
검색자가 되는 1 내지 복수의 영상 신호에 대한 상기 영상 특징 파라미터로 이루어지는 검색자 영상 특징 파라미터 각각과, 상기 영상 특징 파라미터 해석 수단으로부터의 상기 입력 신호 중의 영상 신호의 영상 특징 파라미터를 비교하여, 상기 입력 신호 중의 영상 신호 중에서 상기 검색자의 영상 신호와 유사한 부분을 검색하는 영상 부분 검색 수단과,
상기 음향 부분 검색 수단 및 영상 부분 검색 수단에서의 검색 결과에 기초하여 결정되는 상기 입력 신호 부분을 추출하여 재생하는 재생 수단을 구비하는 것을 특징으로 하는, 음향 영상 정보 검색 장치.
영상 신호와 이 영상 신호에 관련되는 음향 신호로 이루어지는 입력 신호를 기록 매체에 기록하는 기록 수단과,
상기 입력 신호 중의 음향 신호를 해석하여, 음원의 구조적인 요소에 의존하는 음향 특징 파라미터로 해석하는 음향 특징 파라미터 해석 수단과,
검색자가 되는 1 내지 복수의 음향 신호에 대한 상기 음향 특징 파라미터로 이루어지는 검색자 음향 특징 파라미터 각각과, 상기 입력 신호 중의 음향 신호에 대한 상기 음향 특징 파라미터를 비교하여, 양자의 유사성을 산출함으로써, 상기 입력 신호 중의 음향 신호 중에서 상기 검색자의 음향 신호와 유사한 부분을 검색하는 음향 부분 검색 수단을 구비하며,
상기 음향 부분 검색 수단의 검색 결과를 상기 검색자와 상기 입력 신호의 상기 기록 매체 상의 기록 위치에 관련시켜 기록하도록 하는 것을 특징으로 하는, 음향 영상 정보 저장 장치.
영상 신호와 이 영상 신호에 관련되는 음향 신호로 이루어지는 입력 신호를 기록 매체에 기록하는 기록 수단과,
검색자가 되는 1 내지 복수의 음향 신호에 대한 음원의 구조적인 요소에 의존하는 음향 특징 파라미터로 이루어지는 검색자 음향 특징 파라미터 각각과, 검색 대상의 상기 입력 신호 중의 음향 신호를 해석하여 얻은 상기 음향 특징 파라미터를 비교하여, 양자의 유사성을 산출함으로써, 상기 입력 신호 중의 음향 신호 중에서 상기 검색자의 음향 신호와 유사한 부분을 검색하는 음향 부분 검색 수단과,
검색자가 되는 1 내지 복수의 영상 신호에 대한 화상 특징을 나타내는 영상 특징 파라미터로 이루어지는 검색자 영상 특징 파라미터 각각과, 검색 대상의 상기 입력 신호 중의 영상 신호를 해석하여 얻은 상기 영상 특징 파라미터를 비교하여, 양자의 유사성을 산출함으로써, 상기 입력 신호 중의 영상 신호 중에서 상기 검색자의 화상과 유사한 화상 부분을 검색하는 영상 부분 검색 수단을 구비하며,
상기 음향 부분 검색 수단 및 영상 부분 검색 수단의 검색 결과를 상기 검색자와 상기 입력 신호의 상기 기록 매체 상의 기록 위치에 관련시켜 기록하도록 하는 것을 특징으로 하는, 음향 영상 정보 저장 장치.
KR1020017005244A 1999-08-26 2000-08-25 정보의 검색 처리 방법, 검색 처리 장치, 저장 방법 및저장 장치 KR100782286B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP99-239145 1999-08-26
JP23914599 1999-08-26
PCT/JP2000/005771 WO2001016935A1 (fr) 1999-08-26 2000-08-25 Procede et dispositif d'extraction/traitement d'informations, et procede et dispositif de stockage

Publications (2)

Publication Number Publication Date
KR20010089358A KR20010089358A (ko) 2001-10-06
KR100782286B1 true KR100782286B1 (ko) 2007-12-07

Family

ID=17040435

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020017005244A KR100782286B1 (ko) 1999-08-26 2000-08-25 정보의 검색 처리 방법, 검색 처리 장치, 저장 방법 및저장 장치

Country Status (6)

Country Link
US (2) US7260226B1 (ko)
EP (2) EP1132890B1 (ko)
KR (1) KR100782286B1 (ko)
CN (1) CN1178201C (ko)
DE (1) DE60038535T2 (ko)
WO (1) WO2001016935A1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100782286B1 (ko) * 1999-08-26 2007-12-07 소니 가부시끼 가이샤 정보의 검색 처리 방법, 검색 처리 장치, 저장 방법 및저장 장치
US7620545B2 (en) * 2003-07-08 2009-11-17 Industrial Technology Research Institute Scale factor based bit shifting in fine granularity scalability audio coding
JP3876855B2 (ja) * 2003-07-10 2007-02-07 ヤマハ株式会社 オートミックスシステム
US7738664B2 (en) * 2003-10-07 2010-06-15 Kddi Corporation Apparatus for fault detection for parallelly transmitted audio signals and apparatus for delay difference detection and adjustment for parallelly transmitted audio signals
GB0502844D0 (en) * 2005-02-11 2005-03-16 Univ Edinburgh Storing digital content for access using a captured image
JPWO2006100980A1 (ja) * 2005-03-18 2008-09-04 パイオニア株式会社 音声信号処理装置及びそのためのコンピュータプログラム
DE602006018282D1 (de) * 2005-05-13 2010-12-30 Panasonic Corp Vorrichtung zur trennung gemischter audiosignale
KR100782825B1 (ko) * 2005-12-01 2007-12-06 삼성전자주식회사 오디오 컨텐츠 선택 정보 제공 방법 및 장치와 그 방법을수행하는 프로그램이 기록된 기록매체
JP4065314B2 (ja) * 2006-01-12 2008-03-26 松下電器産業株式会社 対象音分析装置、対象音分析方法および対象音分析プログラム
JP4527679B2 (ja) * 2006-03-24 2010-08-18 学校法人早稲田大学 音声の類似度の評価を行う方法および装置
JP2008154143A (ja) * 2006-12-20 2008-07-03 Sony Corp 受信データ記録システム、受信機、受信機の制御方法、レコーダ、データ記録方法およびプログラム
US20100319015A1 (en) * 2009-06-15 2010-12-16 Richard Anthony Remington Method and system for removing advertising content from television or radio content
WO2011041008A1 (en) * 2009-10-01 2011-04-07 Richard Anthony Remington Method for removing advertising content
JP5568953B2 (ja) * 2009-10-29 2014-08-13 ソニー株式会社 情報処理装置、シーン検索方法及びプログラム
JP2011199847A (ja) * 2010-02-25 2011-10-06 Ricoh Co Ltd 会議システムの端末装置、会議システム
JP5333517B2 (ja) * 2011-05-26 2013-11-06 ヤマハ株式会社 データ処理装置およびプログラム
CN102522084B (zh) * 2011-12-22 2013-09-18 广东威创视讯科技股份有限公司 一种将语音数据转换为文本文件的方法和系统
CN103390409A (zh) * 2012-05-11 2013-11-13 鸿富锦精密工业（深圳）有限公司 电子装置及其侦测色情音频的方法
CN103116494B (zh) * 2013-01-25 2016-05-25 中兴通讯股份有限公司 自动化测试平台测试输出信息提取方法和装置
KR102184987B1 (ko) * 2013-11-15 2020-12-01 엘지전자 주식회사 영상 표시 장치 및 그 동작 방법
KR102255152B1 (ko) 2014-11-18 2021-05-24 삼성전자주식회사 가변적인 크기의 세그먼트를 전송하는 컨텐츠 처리 장치와 그 방법 및 그 방법을 실행하기 위한 컴퓨터 프로그램
CN105893431A (zh) * 2015-12-09 2016-08-24 乐视网信息技术（北京）股份有限公司 媒体检索方法及设备
CN106682505B (zh) * 2016-05-04 2020-06-12 腾讯科技（深圳）有限公司 一种病毒检测方法、终端、服务器及系统
US20220309097A1 (en) * 2019-04-26 2022-09-29 Sony Group Corporation Information processing apparatus and method, and program

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01271832A (ja) * 1988-04-23 1989-10-30 Canon Inc 音声処理装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05334861A (ja) * 1992-06-03 1993-12-17 Japan Radio Co Ltd 音声検索装置
JP3021252B2 (ja) * 1993-10-08 2000-03-15 シャープ株式会社 データ検索方法及びデータ検索装置
JP3171744B2 (ja) 1994-03-15 2001-06-04 シャープ株式会社 音声及び動画の検索装置
JP3664499B2 (ja) 1994-08-16 2005-06-29 富士通株式会社 音声情報の処理方法及びその装置
JPH08265660A (ja) * 1995-03-20 1996-10-11 Nippon Telegr & Teleph Corp <Ntt> 音楽管理方法および装置
JPH099199A (ja) * 1995-06-19 1997-01-10 Sony Corp 映像信号記録／再生装置
JPH09106339A (ja) 1995-10-11 1997-04-22 Toshiba Corp 情報処理装置およびデータ格納方法
JP3569104B2 (ja) * 1997-05-06 2004-09-22 日本電信電話株式会社 音情報処理方法および装置
JP3508978B2 (ja) * 1997-05-15 2004-03-22 日本電信電話株式会社 音楽演奏に含まれる楽器音の音源種類判別方法
KR100782286B1 (ko) * 1999-08-26 2007-12-07 소니 가부시끼 가이샤 정보의 검색 처리 방법, 검색 처리 장치, 저장 방법 및저장 장치
JP4438144B2 (ja) * 1999-11-11 2010-03-24 ソニー株式会社 信号分類方法及び装置、記述子生成方法及び装置、信号検索方法及び装置
US7373209B2 (en) * 2001-03-22 2008-05-13 Matsushita Electric Industrial Co., Ltd. Sound features extracting apparatus, sound data registering apparatus, sound data retrieving apparatus, and methods and programs for implementing the same
US7738664B2 (en) * 2003-10-07 2010-06-15 Kddi Corporation Apparatus for fault detection for parallelly transmitted audio signals and apparatus for delay difference detection and adjustment for parallelly transmitted audio signals
US20060195322A1 (en) * 2005-02-17 2006-08-31 Broussard Scott J System and method for detecting and storing important information

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01271832A (ja) * 1988-04-23 1989-10-30 Canon Inc 音声処理装置
JP2791036B2 (ja) * 1988-04-23 1998-08-27 キヤノン株式会社 音声処理装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Wilcox, L. ET AL: Annotation and segmentation for multimedia indexing and retrieval, System Sciences, 1998., Proceedings of the Thirty-First Hawaii International Conference on Volume 2, 6-9 Jan. 1998 *
Wilcox, L. ET AL: Annotation and segmentation for multimedia indexing and retrieval, System Sciences, 1998., Proceedings of the Thirty-First Hawaii International Conference on Volume 2, 6-9 Jan. 1998 Page(s):259 - 266 vol.2 *

Also Published As

Publication number Publication date
KR20010089358A (ko) 2001-10-06
US7260226B1 (en) 2007-08-21
CN1327573A (zh) 2001-12-19
EP1132890A4 (en) 2005-08-17
EP1132890B1 (en) 2008-04-09
CN1178201C (zh) 2004-12-01
EP1132890A1 (en) 2001-09-12
EP1887561A2 (en) 2008-02-13
DE60038535D1 (de) 2008-05-21
US8165306B2 (en) 2012-04-24
US20070127735A1 (en) 2007-06-07
EP1887561A3 (en) 2008-07-02
DE60038535T2 (de) 2009-07-02
WO2001016935A1 (fr) 2001-03-08

Similar Documents

Publication Publication Date Title
KR100782286B1 (ko) 정보의 검색 처리 방법, 검색 처리 장치, 저장 방법 및저장 장치
JP4491700B2 (ja) 音響検索処理方法、音響情報検索装置、音響情報蓄積方法、音響情報蓄積装置および音響映像検索処理方法、音響映像情報検索装置、音響映像情報蓄積方法、音響映像情報蓄積装置
US6611803B1 (en) Method and apparatus for retrieving a video and audio scene using an index generated by speech recognition
JP4935355B2 (ja) 情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体
JP2008148077A (ja) 動画再生装置
KR20060027826A (ko) 비디오 처리장치, 비디오 처리장치용 집적회로, 비디오처리방법, 및 비디오 처리 프로그램
JP4683116B2 (ja) 情報処理装置、情報処理方法、情報処理プログラムおよび撮像装置
EP1924092A1 (en) Content replay apparatus, content reproducing apparatus, content replay method, content reproducing method, program and recording medium
JP2005518560A (ja) 音楽部分を自動で選り分けて格納するデジタル再生装置及びその方法
WO2007132569A1 (ja) 楽曲区間検出方法、及びその装置、並びにデータ記録方法、及びその装置
KR101100191B1 (ko) 멀티미디어 재생장치와 이를 이용한 멀티미디어 자료검색방법
JP4513165B2 (ja) 番組記録方法及び番組記録装置及び番組記録再生装置及び番組記録再生方法
JPWO2007046171A1 (ja) 記録再生装置
JP4835439B2 (ja) 情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体
JP3865924B2 (ja) 音声認識装置
US6285982B1 (en) Sound decompressing apparatus providing improved sound quality during special reproducing such as forward search reproducing and reverse search reproducing
JP3925466B2 (ja) ストリームデータ編集方法及びその装置
JP2006270233A (ja) 信号処理方法及び信号記録再生装置
JP4053251B2 (ja) 画像検索システムおよび画像蓄積方法
KR100785988B1 (ko) 피브이알 시스템의 방송 녹화 장치 및 그 방법
JP2005167456A (ja) Ａｖコンテンツ興趣特徴抽出方法及びａｖコンテンツ興趣特徴抽出装置
JP2000092435A (ja) 信号特徴抽出方法及びその装置、音声認識方法及びその装置、動画編集方法及びその装置
JP4287243B2 (ja) 放送番組記録装置、放送番組再生装置、放送番組記録再生装置及び放送番組記録再生方法
JP2007081899A (ja) 広告情報処理装置
KR100678895B1 (ko) 모델 기반 세그먼트 메타데이터를 생성하는 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]
FPAY Annual fee payment

Payment date: 20111122

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee