KR20100049655A - 음 신호 제어 장치 - Google Patents

음 신호 제어 장치 Download PDF

Info

Publication number
KR20100049655A
KR20100049655A KR1020107006291A KR20107006291A KR20100049655A KR 20100049655 A KR20100049655 A KR 20100049655A KR 1020107006291 A KR1020107006291 A KR 1020107006291A KR 20107006291 A KR20107006291 A KR 20107006291A KR 20100049655 A KR20100049655 A KR 20100049655A
Authority
KR
South Korea
Prior art keywords
input data
sound
change
speed
reproduction
Prior art date
Application number
KR1020107006291A
Other languages
English (en)
Other versions
KR101189733B1 (ko
Inventor
도시로 오비츠
Original Assignee
후지쯔 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지쯔 가부시끼가이샤 filed Critical 후지쯔 가부시끼가이샤
Publication of KR20100049655A publication Critical patent/KR20100049655A/ko
Application granted granted Critical
Publication of KR101189733B1 publication Critical patent/KR101189733B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4147—PVR [Personal Video Recorder]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4396—Processing of audio elementary streams by muting the audio signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing Not Specific To The Method Of Recording And Reproducing (AREA)

Abstract

일치도가 높은 동화상이 계속되고 있을 경우에, 음 출력을 뮤트하여, 재생 속도를 전환함으로써, 노이즈의 발생을 억제하는 기술을 제공한다. 이를 위해, 음 및 동화상의 재생 속도가 동화 신호 및 음 신호를 포함하는 입력 데이터의 재생 속도의 변경을 결정하고, 상기 재생 중에 상기 변경 결정부가 다른 재생 속도로의 변경을 결정했을 경우에, 동화상의 일치도가 소정 값 이상인 기간을 전환 타이밍으로서 검출하고, 상기 입력 데이터에 의거하여 음 및 동화상을 재생하고, 상기 변경 결정부에 의해 재생 속도의 변경이 결정되었을 경우에, 상기 전환 타이밍에 재생 속도를 전환하고, 상기 전환 타이밍에 상기 음 신호에 의거하는 음 출력을 뮤트한다.

Description

음 신호 제어 장치{AUDIO SIGNAL CONTROLLER}
본 발명은 동화(動畵) 재생시의 음(音) 출력을 제어하는 기술에 관한 것이다.
동화상을 배속이나 슬로 등 1배속 이외로 변배(變倍)하여 재생할 경우, 이 동화상에 맞춰서 음 출력도 제어하고 있었다. 이 때문에, 재생 속도를 변배로부터 1배로 되돌릴(전환할) 경우에도 음 출력을 통상 상태로 되돌리는 제어를 행하고 있었다. 이때, 음량이나 음의 주파수에 큰 변동이 있으면, 노이즈가 발생하는 경우가 있었다.
이 노이즈의 발생을 피하기 위해, 재생 속도를 전환할 경우에, 무음(無音) 기간을 기다려서 전환를 실행하는 수법도 제안되고 있다.
또한, 본원 발명에 관련하는 선행 기술로서, 예를 들면, 하기의 특허 문헌에 개시되는 기술이 있다.
일본국특개2004-214902호공보 일본국특개평06-337696호공보 일본국특개평07-212319호공보
그러나, 상기한 바와 같이 무음 기간을 기다려서 재생 속도의 전환을 행할 경우, 통상의 동화에서는, BGM(back ground music)이나 효과음이 끊임없이 흐르고, 완전하게 무음이 되는 경우가 드물기 때문에, 적절한 타이밍에 전환을 행할 수 없다는 문제가 있었다.
그래서, 본 발명은 일치도가 높은 동화상이 계속되고 있을 경우에, 음 출력의 변동이 적다고 유추하고, 이 타이밍에 음 출력을 뮤트(mute)하여, 재생 속도를 전환함으로써, 노이즈의 발생을 억제하는 기술을 제공한다.
상기 과제를 해결하기 위해, 본 발명은 이하의 구성을 채용했다.
즉, 본 발명의 음 신호 제어 장치는,
동화 신호 및 음 신호를 포함하는 입력 데이터의 재생 속도의 변경을 결정하는 변경 결정부와,
상기 재생 중에 상기 변경 결정부가 다른 재생 속도로의 변경을 결정했을 경우에, 동화상의 일치도가 소정 값 이상인 기간을 전환 타이밍으로서 검출하는 전환 검출부와,
상기 입력 데이터에 의거하여 음 및 동화상을 재생하고, 상기 변경 결정부에 의해 재생 속도의 변경이 결정되었을 경우에, 상기 전환 타이밍에 재생 속도를 전환하는 재생부와,
상기 전환 타이밍에 상기 음 신호에 의거하는 음 출력을 뮤트(mute)하는 음 제어부를 구비하였다.
상기 검출부는 동화 신호 중, N 프레임과 상기 N 프레임으로부터 소정 프레임 후의 N+x 프레임까지를 비교하여 일치도가 소정 값 이상인 경우에, N+1 프레임으로부터 N+x 프레임까지를 전환 타이밍으로서 검출해도 된다.
상기 변경 결정부가 1배 미만의 재생 속도로부터 1배속으로 변경, 혹은 1배를 초과한 재생 속도로부터 1배속으로 변경했을 경우에, 상기 음 제어부는, 음 출력을 뮤트해도 된다.
상기 음 신호 제어 장치는,
상기 입력 데이터의 결락(欠落)을 검출하는 결락 검출부와,
상기 결락 검출부에 의해 상기 입력 데이터의 결락이 검출되었을 경우에, 결락이 검출된 부분을 제(除)하고, 결락 부분의 전방의 입력 데이터 및 후방의 입력 데이터 중 적어도 어느 한쪽의 입력 데이터를, 상기 입력 데이터에 관한 재생 시간과 상기 결락 부분에 관한 재생 시간을 맞춘 재생 시간 분(分)의 데이터로서 평균화함으로써 대체 데이터를 생성하는 대체 데이터 생성부를 더 구비하고,
상기 검출부에 의해 상기 입력 데이터의 결락이 검출되었을 경우에, 상기 변경 결정부가 1배 미만의 재생 속도로의 변경을 결정하고, 상기 재생부가 상기 화상 신호와 상기 대체 데이터에 의거하여 음 및 동화상을 재생하고, 상기 검출부에 의해 상기 입력 데이터의 결락이 검출되지 않게 되었을 경우에, 상기 변경 결정부가 1배의 재생 속도로의 변경을 결정해도 된다.
또한, 본 발명의 음 신호 제어 방법은,
음 및 동화상의 재생 장치가,
동화 신호 및 음 신호를 포함하는 입력 데이터의 재생 속도의 변경을 결정하는 스텝과,
상기 재생 중에 상기 변경 결정부가 다른 재생 속도로의 변경을 결정했을 경우에, 동화상의 일치도가 소정 값 이상인 기간을 전환 타이밍으로서 검출하는 스텝과,
상기 입력 데이터에 의거하여 음 및 동화상을 재생하고, 상기 변경 결정부에 의해 재생 속도의 변경이 결정되었을 경우에, 상기 전환 타이밍에 재생 속도를 전환하는 스텝과,
상기 전환 타이밍에 상기 음 신호에 의거하는 음 출력을 뮤트하는 스텝을 실행한다.
상기 음 신호 제어 방법에서, 상기 동화 신호 중, N 프레임과 상기 N 프레임으로부터 소정 프레임 후의 N+x 프레임까지를 비교해서 일치도가 소정 값 이상인 경우에, N+1 프레임으로부터 N+x 프레임까지를 전환 타이밍으로서 검출해도 된다.
상기 음 신호 제어 방법에서, 상기 재생 속도를 1배 미만의 재생 속도로부터 1배속으로 변경, 혹은 1배를 초과한 재생 속도로부터 1배속으로 변경했을 경우에, 상기 음 출력을 뮤트해도 된다.
상기 음 신호 제어 방법에서, 상기 입력 데이터의 결락을 검출하는 스텝과,
상기 결락 검출 스텝에 의해 상기 입력 데이터의 결락이 검출되었을 경우에, 결락이 검출된 부분을 제하고, 결락 부분의 전방의 입력 데이터 및 후방의 입력 데이터 중 적어도 어느 한쪽의 입력 데이터를, 상기 입력 데이터에 관한 재생 시간과 상기 결락 부분에 관한 재생 시간을 맞춘 재생 시간분의 데이터로서 평균화함으로써 대체 데이터를 생성하는 스텝을 더 구비하고,
상기 입력 데이터의 결락이 검출되었을 경우에, 1배 미만의 재생 속도로의 변경을 결정하고, 상기 화상 신호와 상기 대체 데이터에 의거하여 음 및 동화상을 재생하고, 상기 입력 데이터의 결락이 검출되지 않게 되었을 경우에, 1배의 재생 속도로의 변경을 결정해도 된다.
또한, 본 발명은 상기 음 신호 제어 방법을 컴퓨터에 실행시키는 음 신호 제어 프로그램이여도 된다. 또한, 본 발명은 이 음 신호 제어 프로그램을 컴퓨터가 판독가능한 기록 매체에 기록한 것이어도 된다. 컴퓨터에, 이 기록 매체의 프로그램을 판독하여 실행시킴으로써, 그 기능을 제공시키는 것이 가능하다.
여기에서, 컴퓨터가 판독가능한 기록 매체란, 데이터나 프로그램 등의 정보를 전기적, 자기적, 광학적, 기계적, 또는 화학적 작용에 의해 축적하고, 컴퓨터로부터 판독하는 것이 가능한 기록 매체를 말한다. 이러한 기록 매체 중 컴퓨터로부터 분리가능한 것으로서는, 예를 들면 플렉시블 디스크, 광자기 디스크, CD-ROM, CD-R/W, DVD, DAT, 8㎜ 테이프, 메모리 카드 등이 있다.
또한, 컴퓨터에 고정된 기록 매체로서 하드 디스크나 ROM(리드 온리 메모리) 등이 있다.
본 발명에 의하면, 일치도가 높은 동화상이 계속되고 있을 경우에, 음 출력을 뮤트하고, 재생 속도를 전환함으로써, 노이즈의 발생을 억제하는 기술을 제공할 수 있다.
도 1은 본 실시 형태의 개요를 도시하는 도면.
도 2는 실시 형태에 관한 퍼스널 컴퓨터의 기능 구성도.
도 3은 실시 형태에 관한 퍼스널 컴퓨터의 상세 구성의 예를 도시하는 도면.
도 4는 실시 형태에서의 대체 데이터 생성 처리의 개요를 도시하는 도면.
도 5는 실시 형태에서의 대체 데이터 생성 처리의 개요를 도시하는 도면.
도 6은 도 5에 도시하는 대체 데이터 생성 처리를 행한 경우에 표시되는 영상의 예를 도시하는 도면.
도 7은 실시 형태에서의 신호 출력 처리의 전체의 흐름을 도시하는 흐름도.
도 8은 실시 형태에서의 대체 데이터 생성 처리의 흐름을 도시하는 흐름도.
도 9는 실시 형태에서의 대체 데이터 생성 처리 및 재생 속도 전환 처리의 흐름을 도시하는 흐름도.
도 10은 유저 조작에 따른 재생 속도 전환 처리의 설명도.
도 11은 음성 팝(pop) 노이즈의 발생 원인의 설명도.
도 12의 (a)는 음성 팝 노이즈의 발생 원인의 설명도.
도 12의 (b)는 음성 팝 노이즈의 발생 원인의 설명도.
도 13은 H.264/AVC의 데이터 구성을 도시하는 도면.
<개요>
동화 신호 및 음 신호를 포함하는 입력 데이터에 의거하여 동화를 재생하는 장치에서, 동화의 재생 중에, 빨리 감기(fast forward), 프레임 단위 진행(frame advance) 등, 1배속 이외의 변배 속도로 전환하는 경우가 있다. 이 경우, 음 신호에 대해서도 동화상의 변배에 맞춘 제어가 된다. 예를 들면, 1배 미만의 재생 속도이면, 음을 신장하여 재생 시간을 연장시키고, 1배 이상의 재생 속도이면 무음 기간을 생략하는 등 하여 재생 시간을 짧게 함으로써 동화상에 맞추는 제어를 행한다. 이 때문에, 재생 속도를 변경했을 경우, 변경 이전과 변경 이후에 음의 상태가 급격하게 변화되므로 음성 노이즈가 발생하는 경우가 있다.
여기에서 재생 스피드의 급격한 변경에 의해 발생하는 음성 팝 노이즈에 대해서, 도 11을 참조하여 설명한다. 또한, 이하의 설명에서, 음 신호는 어떤 음의 신호여도 되지만, 텔레비전 방송 등에서는, 사람의 소리가 주요한 요소이며, 또한 BGM이나 효과음이 통합된 음향인 것이 일반적이므로, 편의상 음성 신호, 음향 신호라고도 기재한다. 마찬가지로, 음 신호에 의거하는 음을 음성 혹은 음향이라고도 기재한다.
도 11 중, 기간(3A)은 1배속 미만의 저속 재생하고 있는 부분, 기간(3B)은 1배속으로 통상 재생하고 있는 부분이다. "Nxx"는 1초간의 프레임 N01 ~ N15를 나타낸다.
기간(A)에서는, 음성의 재생 속도도 1배속 미만으로 하여 주파수를 낮게 하거나, 혹은 음성을 소정 단위로 샘플링하여 상기 단위마다의 재생 시간을 연장시킴으로써 주파수를 바꾸지 않고 음성을 재생한다. 어쨌든 기간(3A)의 음성과 기간(3B)의 음성에서는 다른 상태가 된다. 도 12의 (a)와, 도 12의 (b)는 1/2배의 속도로 재생한 음성의 주파수와, 통상(1배)의 속도로 재생한 음성의 주파수의 차이를 나타내고 있다. 도 12의 (a), (b) 중 횡축이 주파수, 종축이 음의 크기(㏈)를 나타내고 있다.
그리고, 이 1배속 미만의 재생으로부터 1배속으로 변경하는 포인트를 "3C"라 한다. 즉, 포인트(3C)에서 돌연(突然)히 음성의 주파수가 변경된다. 종래에는, 이 기간을 뮤트하는 것은 아니다. 따라서, 큰 음성 레벨의 차이가 발생한다. 여기에서, 주파수의 간격은 음질의 변화로서 나타나고, 데시벨[㏈]의 간격은 음량의 변화로서 나타난다. 따라서, 이것들이 임의의 시간을 가지고 나타나면 음성 노이즈로서 들린다.
그래서, 본 실시 형태에서는 도 1에 도시하는 바와 같이, 재생 속도의 전환시에 음 출력을 뮤트하여 노이즈의 발생을 억제하였다. 도 1은 본 실시 형태의 개략 설명도이다.
우선, 입력 데이터에 의거하여 동화를 재생하고 있을 때에, 유저의 조작 또는 장치에 의해 재생 속도의 변경을 결정한다. 예를 들면, 변배속으로부터 1배속으로의 전환을 결정한다.
이 경우, 입력 데이터를 서치(search)하고, 동화를 구성하는 각 프레임(동화상)의 일치도가 소정 값 이상인 기간(4C)을 검출한다. 이와 같이 동일한 프레임이 계속되고 있을 경우에는, 음성도 동일한 상황이 계속되고 있고, 변화가 적음을 유추할 수 있으므로, 여기를 재생 스피드의 전환 타이밍으로 한다.
그리고, 이 전환 타이밍에, 음성의 뮤트 및 재생 속도의 전환을 행한다. 이 뮤트 및 재생 속도의 전환은 도 1에 도시하는 바와 같이, 뮤트의 개시 시(時)(101)에, 시간 축에 대하여, 레벨을 점감(漸減)하면서 무 음성으로 한다. 따라서, 갑자기 무음이 될 일이 없기 때문에, 이것에 의한 음성 노이즈는 발생하지 않는다.
그 후, 재생 속도의 전환(102)을 행하고, 음성 레벨을 점증(漸增)하여 뮤트를 해제(103)한다.
이 전환 타이밍에서는, N 프레임과 (N+1) 프레임으로부터 (N+5) 프레임(도 1에서는, N06 ~ N10)까지가 소정 이상의 화면의 일치가 있기 때문에 급격한 음성의 음압 또는 주파수의 변동은 없다. 즉, 여기에서는 동일한 신(scene)이 계속되기 때문에, 폭발음 등의 심한 음의 전환은 없다. 따라서, 애플리케이션에 의한 일시적인 무 음성 구간을 작성해도 그 동화를 시청할 때에 위화감은 없다. 이 때문에, 짧은 기간에 뮤트의 개시 및 뮤트의 해제를 행해도 노이즈로서 인식되지 않는다.
따라서, 본 실시 형태에 의하면, 노이즈의 발생을 억제하면서 적시에 재생 속도의 전환을 행할 수 있다.
여기서 기술한 소정 이상의 동화상의 일치란, 결정된 값이 아니라, 애플리케이션(음 제어 프로그램)의 설계자가 그 재생 콘텐츠에 따라 설정하는 것이다.
예를 들면, 동화를 구성하는 각 프레임을 화소 단위로 비교하고, 소정값(본 예에서는 90%) 이상의 화소가 일치하는 지의 여부에 의해 판정한다. 즉, 일치도가 90% 이상인 영상이 계속될 경우에 재생 속도를 1배로 전환한다.
<실시 형태 1>
이하에 디지털 텔레비전(원세그(one-segment)) 방송의 시청 기능을 구비한 컴퓨터(퍼스널 컴퓨터)로서 실시했을 경우의 실시 형태를 설명한다. 이하의 실시 형태의 구성은 예시이며, 본 실시 형태는 실시 형태의 구성에는 한정되지 않는다.
원세그 방송에서는, 동화 데이터의 압축 부호화 방식으로서 H.264/AVC(레벨 1.2, 320x240 또는 320x180, 최소 프레임 간격 1/15초)가 사용되고 있다. 이 방식에서는, 압축된 동화 데이터에서 픽처를 생성하는 방법으로서, 프레임간 예측에 의한 픽처 생성이 채용되어 있다.
도 13은 H.264/AVC의 데이터 구성을 도시하는 도면이다. H.264/AVC의 데이터에는 시퀀스 전체의 부호에 관계된 정보가 포함되는 헤더인 SPS(Sequence Parameter Set), 픽처 전체의 부호화 모드를 나타내는 헤더인 PPS(Picture Parameter Set), 필요할 경우에 부가되는 SEI(Supplemental Enhancement Information), IDR 픽처(Instantaneous Decoding Refresh Picture) 등이 포함된다. 원세그 방송에서는, 3매 이내의 참조 픽처로부터 프레임간 예측이 행해지고, P픽처(Predictive Picture)가 생성된다. 또한, IDR 픽처에 의해 구획되는, 한 묶음의 프레임 군(群)은 GOP(Group Of Picture)라 불린다. 본 실시 형태에서는 GOP는 원칙적으로 재생 시간으로 해서 1초 분의 15프레임으로 한다.
본 실시 형태에 관한 퍼스널 컴퓨터는 원세그 방송의 수신 튜너, 및 복호 수단을 구비하고, 표시부(디스플레이)에 복호된 영상 신호에 의거하는 화상을 표시하고, 복호된 음향 신호에 의거하는 음향을 재생함으로써 원세그 방송을 시청하는 것이 가능한 퍼스널 컴퓨터이다. 이러한 퍼스널 컴퓨터에서는, 퍼스널 컴퓨터에 구비된 기기 자체가 발하는 전파나 주위의 전파 상황 등에 의해, 일시적으로 프레임의 수신 등에 실패하여, 데이터에 결락이 발생하는 경우가 고려된다.
여기서, 종래의 원세그 방송 시청 장치에서는, 데이터에 결락이 발생했을 경우, 그대로 정보 부족의 영상 또는 음향이 출력되거나, 영상 또는 음향이 출력되지 않는(black out)다는 문제가 발생한다.
그래서, 본 실시 형태에 관한 퍼스널 컴퓨터는 재생 시간으로 하여 3초 분의 데이터를 버퍼(즉, 컴퓨터상의 메모리로부터 삭제하지 않음)하면서 지연 출력을 행하고, 동화 데이터 또는 음향 데이터에 결락이 있을 경우에는, 버퍼된 데이터에 의거하여 슬로 재생을 행함으로써, 결락 부분에 영상 중도 끊김이나 음 중도 끊김 등이 발생하지 않도록 한다.
즉, 본 실시 형태에 관한 퍼스널 컴퓨터에 따르면, 동화 데이터 또는 음향 데이터에 결락이 발생한 경우에도, 정보 부족의 영상이 출력되거나, 영상이 블랙 아웃 하거나, 음성이 중도에 끊어지거나 하지 않고, 시청자에게 위화감을 거의 주지 않는 영상이 표시되고, 음향이 재생되는 바와 같은 영상 신호 및 음향 신호를 출력하는 것이 가능하다.
본 실시 형태에서, 버퍼되는 입력 데이터의 양은 동화 및 음향으로서 재생할 경우의 시간으로 환산해서 3초 분으로 한다. 예를 들면, 동화 데이터에서는, 원세그 방송은 매초 15프레임이기 때문에, 대략 45프레임의 동화 데이터가 버퍼된다. 이 버퍼량 및 지연 시간은 가능한 한 많게 하는 것이 바람직하지만, 실제로 시청할 때의 지연의 허용 범위나, 퍼스널 컴퓨터상에 확보할 수 있는 버퍼 영역의 사이즈를 고려하여, 본 실시 형태에서는 3초로 했다. 다만, 이 버퍼량 및 지연 시간은 실시 형태마다 적당하게 최적인 값으로 설정되는 것이 바람직하다. 예를 들면, 상주하는 애플리케이션이나 불필요한 애플리케이션을 종료시키거나, 메인 메모리의 일부를 미디오 메모리로서 사용하지 않음(단독의 비디오 메모리를 설치함)으로써 확보가능한 메인 메모리의 용량을 늘리고, 버퍼량을 늘리는 것 등이 고려된다.
또한, 본 실시 형태에 관한 퍼스널 컴퓨터는 이 버퍼를 이용해서 3초간의 지연 출력을 행한다. 지연 출력을 행함으로써, 데이터의 결락에 의해 동화 데이터 또는 음향 데이터가 결락해 있을 경우에도, 결락해 있는 영상 신호 또는 음향 신호를 그대로 출력해버리지 않고, 버퍼된 미출력의 데이터를 슬로 재생함으로써 결락 부분의 영상 또는 음향을 보간(補間)하는 것이 가능해진다.
<퍼스널 컴퓨터의 기능 구성>
도 2는 본 실시 형태에 관한 퍼스널 컴퓨터(10)의 기능 구성도이다. 본 퍼스널 컴퓨터(10)는 유저의 조작을 받아, 퍼스널 컴퓨터(10)를 조작하는 조작부(18)와, 조작부(18)에서의 조작을 검지하는 검지부(22)와, 텔레비전 방송을 수신하는 방송 수신부(14)와, 방송 수신부(14)에서 출력된 데이터에 의거하여 복호된 영상 신호 및 음향 신호를 표시부(음 출력부를 포함함)(40)에 출력하는 신호 출력 장치(10A)와, 입력된 영상 신호에 의거하여 방송 수신부(14)에 의해 수신된 방송 프로를 표시하는 표시부(40)를 가진다.
또한, 신호 출력 장치(10A)는 방송 수신부(14)에서 출력된 데이터를 일정량 기억하는 버퍼부(26)와, 방송 수신부(14)에서 출력된 데이터를 복호함으로써 영상 신호 및 음향 신호를 생성하는 출력 신호 생성부(23)와, 데이터의 결락을 검출하는 검출부(결락 검출부)(27)와, 검출부(27)에 의해 결락이 검출되었을 경우에 대체 데이터를 생성하는 대체 데이터 생성부(28)와, 영상 신호 및 음향 신호를 표시부(40)에 출력하는 출력 제어부(재생부에 해당)(21)와, 입력 데이터의 재생 속도의 변경을 결정하는 변경 결정부(31)와, 전환 타이밍을 검출하는 전환 검출부(32)와, 음 출력을 뮤트하는 음 제어부(33)를 가진다.
이들 각 기능부는 CPU, 메모리 등을 포함하는 컴퓨터와 컴퓨터상에서 실행되는 프로그램에 의해 실현하는 것이 가능하다.
여기에서, 조작부(18)는 컴퓨터의 입력 장치나, 적외선 수광부와 적외선 리모컨의 조합에 의한 리모컨 조작부, 채널 조작용의 손잡이, 조작 버튼 등이다.
검지부(22)는 조작부(18)와 CPU의 인터페이스와, 인터페이스의 신호를 처리하는 디바이스 드라이버와, 디바이스 드라이버를 통해 조작부(18)와의 사이에서 신호를 수수(授受)하는 OS(오퍼레이팅 시스템)를 통해서, 조작부(18)로의 조작(예를 들면, 수신 채널의 전환)을 검지한다. 단, 검지부(22)로서, 전용의 하드웨어를 설치해도 된다. 예를 들면, 조작부용의 입력 신호 처리 회로를 설치하고, CPU의 처리를 분담해도 된다. 이러한 처리 회로로서는, 키보드 컨트롤러, 마우스 컨트롤러 등이 공지되어 있다.
또한, 예를 들면 조작부(18)로부터의 신호를 처리하는 전용의 입력 제어 프로세서를 별도 설치해도 된다. 입력 제어 프로세서는 조작부(18)의 신호를 소정의 신호로 변환하고, 출력 제어부(21)에 신호를 전달하면 된다.
방송 수신부(14)는 소위 원세그 튜너이다. 방송 수신부(14)는 안테나로 방송파를 수신하고, 수신한 방송파에 의거한 데이터 스트림(예를 들면, TS 신호)을 출력한다.
출력 신호 생성부(23)는 방송 수신부(14)에서 출력된 데이터를, 직접 또는 버퍼부(26)를 통하여 취득하고, 취득한 데이터에 의거하여 영상 신호 및 음향 신호를 생성한다. 출력 신호 생성부(23)는 CPU상에서 실행되는 컴퓨터 프로그램으로서 구성하면 된다. 단, 출력 신호 생성부(23)는 입력 데이터에 의거하여 영상 신호 및 음향 신호를 생성하고, 생성한 영상 신호 및 음향 신호를 출력하는 전용 프로세서로서 구성되어도 된다.
버퍼부(26)는 입력된 데이터를 일시적으로 기억한다. 버퍼부(26)는 방송 수신부(14)에서 출력된 데이터의 입력을 접수하고, 재생 시간으로 해서 3초 분의 입력 데이터를 버퍼한다. 버퍼부(26)는 CPU상에서 실행되는 컴퓨터 프로그램에 의해 제어되는 전원 백업된 휘발성 메모리, 플래시 메모리 등의 불휘발성 메모리, 하드 디스크 혹은 가반(可搬) 매체 등의 기록 매체로서 구성하면 된다. 단, 버퍼부(26)는 입력된 입력 데이터를 버퍼하는 전용 메모리로서 구성되어도 된다.
출력 제어부(21)는 표시부(40)와의 인터페이스를 갖고, 표시부(40)에 출력하는 영상 신호 및 음향 신호를 제어한다. 출력 제어부(21)는 검지부(22)에 의해 검지된 신호를 따라서, 출력 신호 생성부(23)에 의해 생성된 영상 신호 및 음향 신호를, 표시부(40)에 출력한다. 이때, 출력 제어부(21)는 방송이 수신된 시간으로부터 3초 지연시켜서 출력을 행한다. 또한, 출력 제어부(21)는 변경 결정부(31)로부터 통지된 재생 속도에 의거하여 출력을 제어한다. 즉, 1배속 미만이면 각 프레임의 출력 시간을 연장시키고, 1배속 이상이면 프레임을 솎아내는 등 해서 동화상의 재생 속도를 변경한다. 이에 따라 음향 신호도 신장 혹은 솎아내서 동화상에 맞춘다. 출력 제어부(21)는 CPU상에서 실행되는 컴퓨터 프로그램으로서 구성하면 된다. 단, 출력 제어부(21)는 영상 신호 및 음향 신호를 출력하는 전용 프로세서로서 구성되어도 된다.
검출부(27)는 방송 수신부(14)에서 입력된 데이터(입력 데이터)의 완전성을 감시하고, 데이터의 결락을 검출한다. 결락이 검출되었을 경우, 검출부(27)는 결락이 발생해 있는 데이터 블록(동화이면 GOP)을 특정하고, 대체 데이터 생성부(28) 및 변경 결정부(31)에 통지한다. 대체 데이터 생성부(28)는 이 통지를 받아, 대체 데이터 생성 처리를 개시한다.
대체 데이터 생성부(28)는 검출부(27)에 의해 데이터의 결락이 통지되었을 경우에, 변환용 데이터 블록을 취득하고, 이것을 평균화함으로써, 결락 부분의 영상 또는 음향을 보간하기 위한 대체 데이터를 생성한다. 대체 데이터 생성부(28)에 의한 처리의 상세에 대해서는, 도 4 및 도 5를 사용하여 설명한다. 또한, 표시부(40)는 소위 모니터 및 스피커이며, 출력 제어부(21)에서 출력된 영상 신호 및 음향 신호의 입력을 받아서 영상을 표시하고, 음향을 재생한다.
변경 결정부(31)는 유저의 조작 혹은 변경 결정부(31)의 통지에 의거해 동화 신호 및 음 신호를 포함하는 입력 데이터의 재생 속도의 변경을 결정한다. 예를 들면, 유저가 조작부(18)의 조작에 의해 빨리 감기나 슬로 재생 등의 변배를 지시했을 경우에, 검지부(22)로 검지한 상기 지시에 따라 재생 속도를 결정해서 출력 제어부(21)에 통지한다. 또한, 검출부(27)에 의해 데이터의 결락이 검출되었을 경우, 동화상이 대체 데이터에 의해 평균화되어, 1배 미만의 재생 속도가 되기 때문에, 이 재생 속도를 결락한 프레임 수에 따라 구하여 출력 제어부(21)에 통지한다. 또한, 검출부(27)에 의해 데이터의 결락이 검출되지 않게 되었을 경우, 재생 속도를 1배로 결정하는, 즉 1배속으로 되돌리는(변경하는) 것을 결정하고, 출력 제어부(12)에 통지한다.
전환 검출부(32)는 상기 재생 중에 상기 변경 결정부가 다른 재생 속도로의 변경을 결정했을 경우에, 영상 신호를 서치하고, 프레임(동화상)의 일치도가 소정 값 이상인 기간을 전환 타이밍으로서 검출한다. 이 일치도의 검출로서는, 예를 들면 출력 신호 생성부(23)에서 생성한 영상 신호 중 어떤 프레임(N 프레임)과 상기 N 프레임으로부터 소정 프레임 후의 N+x 프레임까지를 화소 단위로 비교해서 상관(相關)을 구하고, 일치도가 소정 값 이상(예를 들면 90% 이상)인 경우에, N+1 프레임으로부터 N+x 프레임까지를 전환 타이밍으로서 검출한다. 또한, 방송 수신부(14)에 의해 수신한 입력 데이터 중 IBP 프레임의 P 픽처의 데이터량(차분 량)을 모니터하고, 연속하는 소정 수(예를 들면, 5매)의 P 픽처의 데이터량이 소정 수 이하 혹은 GOP 내에서 가장 적어지는 기간을 구하고, 이 기간의 픽처에 의거하는 프레임 N+1 프레임으로부터 N+x의 재생기간을 전환 타이밍으로 해도 된다.
음 제어부(33)는 상기 전환 검출부(32)에서 검출한 전환 타이밍에 의거하여, 상기 음 신호에 의거하는 음 출력을 뮤트한다. 구체적으로는, 출력 제어부(21)로부터 표시부(40)의 스피커에 출력되는 음향 신호를 감쇠시키는 구성이어도 되고, 출력 제어부(21)에 뮤트의 타이밍을 통지하여 음향 신호를 뮤트시키는 구성이어도 된다.
<퍼스널 컴퓨터의 구성>
도 3은 본 발명의 일 실시 형태에 관한 퍼스널 컴퓨터(10)의 상세 구성의 예를 도시하는 도면이다. 도 3과 같이, 퍼스널 컴퓨터(10)는 컴퓨터 프로그램을 실행하고, 퍼스널 컴퓨터(10)를 제어하는 CPU(11)와, CPU(11)로 실행되는 컴퓨터 프로그램, 혹은 CPU(11)가 처리하는 데이터를 기억하는 메모리(12)와, CPU(11)를 각종 장치에 접속하는 인터페이스(13)와, 인터페이스(13)를 통하여 접속되는 방송 수신부(14), 통신부(15), 하드 디스크 구동 장치(16), 가반 매체 구동 장치(17), 조작부(18), 및 표시부(40) 등의 장치를 갖고 있다.
여기에서, CPU(11)는 컴퓨터 프로그램(음 신호 제어 프로그램 등)을 실행하고, 퍼스널 컴퓨터(10)의 각 부(部)를 제어함으로써 퍼스널 컴퓨터(10)를, 검지부(22), 방송 수신부(14), 출력 제어부(21), 출력 신호 생성부(23), 버퍼부(26), 검출부(27), 대체 데이터 생성부(28), 출력 제어부(21), 변경 결정부(31), 전환 검출부(32), 및 음 제어부(33) 등의 각 기능부를 갖는 장치로서 기능시킨다. 메모리(12)는 CPU(11)로 실행되는 프로그램, 및 CPU(11)로 처리되는 데이터를 기억한다. 메모리(12)는 휘발성의 RAM(Random Access Memory)과, 불휘발성의 ROM(Read Only Memory)을 포함한다. ROM에는, 플래시 메모리, EPROM(Erasable Programmable Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory)과 같은 재기입 가능한 반도체 메모리를 포함한다.
인터페이스(13)는 USB 등의 시리얼 인터페이스, 혹은, PCI(Peripheral Component Interconnect), ISA(Industry Standard Architecture), EISA(Extended ISA), ATA(AT Attachment), IDE(Integrated Drive Electronics), IEEE1394, SCSI(Small Computer System Interface) 등의 병렬 인터페이스 중 어느 하나여도 된다.
또한, 도 3에서는, 인터페이스(13)로 기재되어 있지만, CPU(11)와 각 장치 사이를 다른 인터페이스로 접속해도 된다. 또한, 복수의 인터페이스를 브리지 접속해도 된다.
방송 수신부(14)는 원세그 방송용의 텔레비전 튜너이다. 방송 수신부(14)는 동조 회로와 증폭기를 포함하는 고주파부 이외에, 디지털 신호의 복호기(OFDM(Orthogonal Frequency Division Multiplexing)의 복조기) 등을 포함한다.
여기에서, 고주파부는 고주파의 전자파(電磁波)를 베이스밴드(baseband) 신호로 변환한다. 또한 OFDM의 복조기는 FFT(Fast Fourier Transform) 처리 회로 및 직교 복조기를 포함하고, 베이스밴드 신호로부터 디지털 신호를 생성한다. 이들 처리는 곱합(績和) 연산을 실행하는 전용의 디지털 회로로 구성되어도 된다. 또한, DSP와 같은 프로세서와 프로그램으로 구성되어도 된다. 또한, 텔레비전 방송의 규격에 따라서 제조되어 판매되고 있는 복조용 LSI를 이용해도 된다.
통신부(15)는 브로드밴드 네트워크(broadband network)와의 인터페이스이다. 브로드밴드 네트워크는 예를 들면, LAN(Local Area Network), 케이블 텔레비전 네트워크, xDSL(x Digital Subscriber Line), ADSL, 광 네트워크 등의 유선 네트워크, 혹은 무선 LAN, 고정 무선 액세스(FWA) 등의 무선 액세스 가능한 네트워크이다. 통신부(15)는 예를 들면, 네트워크상의 서버로부터, 하드 디스크 구동 장치(16)에 인스톨되는 컴퓨터 프로그램이나, 텔레비전 방송의 전자 편성표 등을 취득한다. 이들 브로드밴드 네트워크는 일반적으로는, 인터넷에 접속가능하다.
하드 디스크 구동 장치(16)는 메모리(12)에 로드되는 프로그램을 저장한다. 또한, 하드 디스크 구동 장치(16)는 CPU(11)로 처리되는 데이터를 기억한다.
또한, 하드 디스크 구동 장치(16)는 1대로 한정되지 않고, 복수대 마련되어도 된다. 또한, 예를 들면 하드 디스크 구동 장치(16)는 네트워크상의 다른 컴퓨터, 예를 들면 디스크 서버가 관리하는 것이어도 된다. 그 경우에는, CPU(11)가 통신부(15)를 통하여 디스크 서버와 통신하도록 하면 된다. 그리고, CPU(11)가 디스크 서버로부터 취득한 EPG 등을 표시부(40)에 표시하면 된다.
가반 매체 구동 장치(17)는 예를 들면, CD(Compact Disc), DVD(Digital Versatile Disk), HD-DVD, 블루레이 디스크 등의 구동 장치이다. 또한, 가반 매체 구동 장치(17)는 플래시 메모리 등의 불휘발성 메모리를 갖는 카드 매체의 입출력 장치여도 된다. 가반 매체 구동 장치(17)가 구동하는 매체는 예를 들면, 하드 디스크 구동 장치(16)에 인스톨되는 컴퓨터 프로그램, 입력 데이터 등을 유지한다.
조작부(18)는 컴퓨터의 입력 장치, 예를 들면 키보드, 포인팅 디바이스 등이다. 또한, 조작부(18)로서, 적외선 수광부와 적외선 리모컨의 조합에 의한 리모컨 조작부나, 각종의 스위치, 채널 조작용의 손잡이 등이 포함된다. 포인팅 디바이스의 종류에는 특별한 한정은 없고, 마우스, 트랙 볼, 다이얼식 조작부, 스틱 형식으로 표시부(40) 상의 포인터를 이동하는 장치, 정전 용량에 의해 유저의 손가락의 조작을 검출하는 디바이스, 터치 패널, 조이스틱 등, 퍼스널 컴퓨터(10)의 특성, 유저의 필요 등에 따라, 적절한 것을 사용하면 된다.
키보드는 유저의 입력 조작에 따라, 입력된 키에 대응하는 전기 신호를 도시하지 않은 키보드 컨트롤러에 송신한다. 키보드 컨트롤러는 그 전기 신호에 대응하는 부호를 CPU(11)에 송신한다.
포인팅 디바이스는 유저 조작을 검지하고, 조작 신호를 도시하지 않은 포인팅 디바이스 제어 장치(예를 들면, 도시하지 않은 마우스 컨트롤러, 또는 인터페이스(13) 등)에 송신한다. 조작 신호를 받은 포인팅 디바이스 제어 장치는 조작의 방향 및 조작량을 생성하기 위한 정보를 CPU(11)에 송신한다. CPU(11)의 디바이스 드라이버는 포인팅 디바이스 제어 장치로부터의 조작 신호에 의거하여, 표시부(40) 상의 화면에 포인터를 표시하고, 화면 상(上)을 이동시킨다.
또한, CPU(11)의 OS는 포인터와, 화면상의 오브젝트(윈도, 버튼, 메뉴, 리스트 등)의 위치 관계를 판정한다. 그리고, 포인터가 존재하는 위치에 있는 오브젝트를 선택 상태, 혹은 포커스 상태로 한다. 또한, 포인팅 디바이스에 대한 선택 확정 조작, 예를 들면 마우스 버튼의 누름에 의해, 그 오브젝트의 선택을 확정한다.
표시부(40)는 예를 들면, 액정 표시 장치, 플라스마 디스플레이 패널, CRT(Cathode Ray Tube), 일렉트로루미네선스 패널 등이다. 또한, 도시하지는 않았지만, 표시부(40)에는, 화상 데이터를 저장하는 RAM, 및 RAM의 데이터에 의거하여 표시부(40)를 구동하는 구동 회로가 포함된다. 단, 화상 데이터를 저장하는 RAM, 표시부(40)를 구동하는 구동 회로 등은 화상 처리 기판으로서 독립으로 설치해도 된다. 그 경우에, 화상 처리 기판에는, CPU(11)로부터의 화면 정보를 구성하는 데이터가 입력된다.
또한, 표시부(40)에는, 스피커(음 출력부)가 부속되고, 출력 제어부(21)에서 출력된 음향 신호에 의거하는 음향, 하드 디스크 구동 장치(16) 또는 가반 매체 구동 장치(17)로부터 판독되고, 도시하지 않은 음성 합성 기판에서 재생된 음을 출력한다. 음성 합성 기판은 예를 들면, MP3 등의 디지털 데이터를 음으로 변환한다.
본 발명에 관한 정보 기기는 이상과 같은 퍼스널 컴퓨터(10)로서 구성할 수 있다. 단, 본 발명에 관한 정보 기기는 퍼스널 컴퓨터에 한정되지 않고, 동등한 기능을 갖는 다른 장치, 예를 들면 텔레비전 수신 장치여도 된다. 또한, 텔레비전 방송 수신용의 튜너, 셋탑 박스(settop Box), 텔레비전 방송 수신 기능이 있는 휴대 전화, 휴대 정보 단말(PDA), 게임기, 텔레비전 방송 수신 기능이 있는 차량 탑재 기기 등에 의해서도 실현할 수 있다.
도 4는 본 실시 형태에서의 대체 데이터 생성 처리 (1)의 개요를 도시하는 도면이다. 대체 데이터 생성 처리는 대체 데이터 생성부(28)에 의해 행해진다. 도 4의 (a)는 정상인 입력 데이터가 수신되어, 출력되고 있는 상태를 도시한다. 도면 중 장방형은 1초 분의 데이터 블록을 나타내고, N1, N2, N3…의 순으로 입력된다. 본 실시 형태에 관한 퍼스널 컴퓨터는 3초 분의 데이터를 버퍼하기 때문에, N4가 입력될 때에, 3초 전에 입력된 N1이 출력된다.
도 4의 (b)는 (a)로부터 1초 후의 상태를 도시한다. 여기서는, 입력되는 N5의 데이터가 정상이 아닐 경우, 이대로 처리를 계속하면 3초 후에 정상이 아닌 데이터가 출력되게 된다. 따라서, 본 실시 형태에서는, 정상이 아닌 N5보다도 후방, 또한 현재의 출력 포인트인 N2보다도 전방의 데이터 블록 N3 및 N4를, N3-N5의 대체가 되는 대체 데이터 블록 M3-M5로 평균화한다.
도 4의 (c)는 (b)부터 1초 후의 상태를 도시한다. 여기에서는, N3 대신에, M3에 의거하여 생성된 출력 신호(영상 신호 및 음향 신호)가 출력된다. 출력, 재생된 동화 및 음향은 대체 데이터 생성 처리 (1)가 행해지지 않았을 경우의 2/3의 속도의 슬로 재생이 된다. 이후, M4, M5가 계속해서 출력된다. M4 및 M5가 출력되어서 표시된 동화 및 음향에 관해서도, 통상의 2/3의 속도의 슬로 재생이다.
상기 설명한 대체 데이터 생성 처리 (1)에 의해, 결락한 데이터 블록 분의 재생 시간을 보간하는 것이 가능하다. 다만, 이대로 통상의 재생 처리로 되돌아가서, 입력된 데이터에 의거하는 출력을 행하는 것으로 하면, 결락한 데이터 블록(도 4에서의 N5)분의 움직임이 스킵되게 되고, 또한 통상의 2/3배의 속도의 슬로 재생으로부터 순시(瞬時)에 통상의 등(等)배의 재생으로 되돌아가기 때문에, 표시되는 동화 및 음향을 시청하는 시청자에게 주는 위화감이 커지게 된다. 이 때문에, 본 실시 형태에서는 대체 데이터 생성 처리 (1)에 이어서, 이하에 설명하는 대체 데이터 생성 처리 (2)를 실행한다.
도 5는 본 실시 형태에서의 대체 데이터 생성 처리의 개요를 도시하는 도면이다. 또한, 도 6은 도 5에 도시하는 대체 데이터 생성 처리를 행한 경우에 표시되는 영상의 예를 도시하는 도면이다. 도 5에 도시하는 처리에서는, 대체 데이터 생성 처리 (1)에서, N3이 결락하고, N1 및 N2가 M1-M3으로 평균화된 것으로 한다. 여기에서, 정상인 N4가 입력되지만, 상기한 이유로부터 시청자에게 주는 위화감이 커지게 되기 때문에, 데이터 블록 N4는 그대로 출력되지 않는다. 대체 데이터 생성부(28)는 대체 데이터 생성 처리 (1)로 평균화된 대체 데이터 블록 M2, M3 및 데이터 블록 N4의 데이터를, 대체 데이터 블록 M4로 평균화한다. 또한, 평균화 처리 때, 결락한 데이터 블록 N3에 관한 픽처 또는 음향은 평균화 처리에 따른 예측 처리에 의해 생성된다. 예를 들면, 동화 데이터의 평균화 처리에서는, 전술한 프레임간 예측과 동일한 예측 처리에 의해, 결락한 움직임(프레임)이 보완된다.
이때, 대체 데이터 블록 M2 및 M3의 정보량은 통상의 데이터 블록에 비해 2/3이기 때문에, M4의 정보량은 통상의 데이터 블록의 (2/3 + 2/3 + 1)/3=7/9배가 된다. 즉, M4에 의거하는 출력은 대체 데이터 생성 처리가 행해지지 않았을 경우의 7/9배의 속도의 슬로 재생이 된다. 이 속도는, M1으로부터 M3에 의거하는 출력 신호가 재생되었을 경우의 겉보기 속도가 통상의 2/3배이던 것과 비교해서 약간 빠르다. 이후, 동일한 방법으로, 대체 데이터 블록 M5, M6에의 평균화를 행한다. 이때, 다시 입력 데이터에 결락이 발생하지 않는 한, 평균화에 사용되는 신규 입력 데이터는 항상 통상의 등배의 정보량을 갖기 때문에, 대체 데이터 블록은 점차 통상의 정보량, 즉 통상의 속도에 근접한다(도 6을 참조). 본 실시 형태의 경우, 대체 데이터 블록 M5는 통상의 23/27배의 정보량(속도), 대체 데이터 블록 M6은 통상의 73/81배의 정보량(속도)이 된다(도 5의 계산식을 참조).
또한, 도 5에 도시하는 계산식에서는, 재계산된 대체 데이터 블록을, 「'(대시(dash))」를 첨부해서 도시하고 있다. 예를 들면, 대체 데이터 블록 M5의 생성에 채용되어 있는 M3'는 대체 데이터 블록 M4의 생성에 따른 평균화 처리에서 생성된 데이터 블록이다. 이 때문에, M3'의 정보량은 대체 데이터 블록 M3의 정보량이 통상의 2/3배인 것과 달리, 통상의 7/9배다.
상기 대체 데이터 생성 처리 (2)에 의해 신규 입력 데이터를 추가하면서 대체 데이터 블록에의 평균화를 행했다고 해도, 대체 데이터 블록의 생성 방법이 데이터의 평균화인 이상, 생성되는 대체 데이터 블록의 정보량이 통상의 등배가 되는 것은 아니다. 즉, 겉보기 재생 속도가 통상의 재생 속도를 따라잡지 못하는 상태가 계속되어버리는 것이 된다. 따라서, 본 실시 형태에서는 재생 속도가 소정 속도(예를 들면, 73/81배) 이상이 되었을 경우, 동화를 구성하는 프레임의 일치도를 모니터하고, 일치도가 소정 값(예를 들면, 90%) 이상의 프레임이 소정 수(예를 들면, 5프레임) 계속되는 기간을 전환 타이밍으로서 검출하고, 이 전환 타이밍에 1배속으로 변경한다. 이것을 대체 데이터 생성 처리 (3)이라 칭한다. 예를 들면, 도 5의 예에 따르면, 대체 데이터 블록 M6에서 73/81 배속에 달하므로, 데이터 블록 N7의 프레임을 서치하고, 어떤 프레임(N 프레임)과 상기 N+1 이후의 프레임을 비교하여, 일치도가 90%로부터 소정 프레임 후의 N+x 프레임까지를 화소 단위로 비교해서 상관을 구하고, 일치도가 소정 값 이상(예를 들면, 90% 이상)인 경우에, N+1 프레임으로부터 N+x 프레임까지를 전환 타이밍으로서 검출한다.
상기 전환 타이밍이 검출되었을 경우에는, 전술한 대로, 음 출력을 뮤트하고, 1배속으로 전환한다. 이후, 다음에 데이터의 결락이 검출될 때까지 대체 데이터 생성 처리는 행해지지 않고, 입력 데이터에 의거하는 출력 신호가 출력된다.
<처리 플로>
도 7 ~ 도 9에, 퍼스널 컴퓨터(10)의 처리 흐름을 도시한다. 도 7은 본 실시 형태에서의 신호 출력 처리의 전체의 흐름을 도시하는 흐름도이다. 본 흐름도에 도시되는 신호 출력 처리는 조작부(18)에서의 텔레비전 시청 개시 조작을 검지부(22)가 수신하고, 검지부(22)에 의해 신호 출력 처리의 개시 지시가 출력 제어부(21)에 대하여 출력됨으로써 실행된다.
스텝 S101에서는, 방송 수신부(14)에 출력된 3초 분의 데이터가 버퍼된다. 버퍼부(26)는 방송 수신부(14)에서 출력된 데이터를, 재생 시간으로 하여 3초분 버퍼 한다. 그 후, 처리는 스텝 S102로 진행된다.
스텝 S102에서는, 출력 신호가 생성된다. 출력 신호 생성부(23)는 버퍼부(26)에서 입력 데이터를 취득하고, 취득한 입력 데이터에 의거하여 영상 신호 및 음향 신호를 생성한다. 여기서, 영상 신호는 동화 표시에 필요한 각 프레임의 픽처를 포함하는 정보이다. 그 후, 처리는 스텝 S103으로 진행된다.
스텝 S103에서는, 영상 신호가 지연 출력된다. 출력 제어부(21)는 3초 분의 입력 데이터가 버퍼된 상태에서, 출력 신호 생성부(23)에 의해 생성된 영상 신호 및 음향 신호를, 방송이 수신된 시간으로부터 3초 지연시켜서, 표시부(40)에 출력한다. 즉, 출력 제어부(21)는 버퍼부(26)를 이용해서 3초간의 지연 출력을 행한다. 그 후, 처리는 스텝 S104로 진행된다.
스텝 S104에서는, 데이터의 결락이 감시된다. 검출부(27)는 버퍼부(26)에 의해 버퍼된 입력 데이터에, 정보 부족의 데이터 블록이 있는지의 여부, 즉 데이터의 결락의 유무를 감시한다. 데이터의 결락이 발견되지 않을 경우, 스텝 S101로부터 스텝 S104에 도시된 처리가 반복된다. 데이터의 결락이 발견되었을 경우, 처리는 스텝 S105로 진행된다.
스텝 S105에서는, 결락을 갖는 데이터 블록이 1개(즉, 1초 분)인지의 여부가 판정된다. 검출부(27)는 스텝 S104에서 검출된 결락 부분을 포함하는 데이터 블록을 특정하고, 대체 데이터 생성부(28) 및 변경 결정부(31)에 통지한다. 또한, 결락의 통지를 받은 변경 결정부(31)는 상기 결락 부분을 포함하는 데이터 블록이 1개인지의 여부를 판정한다. 여기에서, 결락된 데이터 블록이 1개라고 판정했을 경우, 슬로 재생(본 예에서는 2/3배)으로의 재생 속도의 변경을 결정하고, 스텝 S108로 진행된다. 한편, 결락된 데이터 블록이 1개가 아니라고(2개 이상임) 판정했을 경우, 이것을 출력 제어부(21)에 통지하고, 스텝 S106으로 진행된다.
스텝 S106에서는, 정상인 표시를 할 수 없다는 메시지가 표시된다. 출력 제어부(21)는 대체 데이터 생성부(28)에서 대체 데이터의 생성을 할 수 없음을 검지하고, 표시부(40)에 정상인 표시를 할 수 없다는 메시지를 포함하는 영상 신호를 출력한다. 이를 받아서 표시부(40)에는 정상인 표시를 할 수 없다는 메시지가 표시되고, 시청자는 어떠한 요인에 의해 시청을 할 수 없는 상황이 되어 있는 지를 파악하는 것이 가능하다. 그 후, 처리는 스텝 S107로 진행된다.
스텝 S107에서는, 정상인 데이터가 수신될 때까지의 대기 처리가 행해진다. 방송 수신부(14)에 의해 정상인 데이터가 수신되었을 경우, 처리는 스텝 S101로 진행되고, 영상의 출력 및 표시가 재개된다.
스텝 S108에서는, 대체 데이터 생성 처리가 행해진다. 대체 데이터 생성부(28)는 버퍼부(26)에 의해 버퍼된 입력 데이터로부터, 결락 데이터 블록의 후방, 또한 출력 제어부의 그 시점의 출력에 관한 데이터 블록의 전방의 데이터 블록을 변환용 데이터 블록으로서 취득하고, 이 변환용 데이터 블록을, 변환용 데이터 블록에 관한 재생 시간(본 실시 형태에서는 2초)에 결락 부분의 데이터 블록의 재생 시간(본 실시 형태에서는 1초)을 더한 재생 시간(본 실시 형태에서는 3초)분의 대체 데이터 블록에 평균화하고, 대체 데이터의 생성을 행한다. 대체 데이터 생성 처리의 상세에 대해서는, 도 8을 이용하여 후술한다. 그 후, 처리는 스텝 S101로 진행된다.
도 8, 9는 본 실시 형태에서의 대체 데이터 생성 처리의 흐름을 도시하는 흐름도이다. 본 흐름도에 도시되는 대체 데이터 생성 처리는 도 7에 도시된 스텝 S108에 상당한다.
스텝 S201에서는, 변환용 데이터 블록이 취득된다. 대체 데이터 생성부(28)는 버퍼부(26)에 의해 버퍼된 입력 데이터로부터, 결락해 있는 데이터 블록의 1개 이전 및 2개 이전의 데이터 블록(즉, 2초 분의 데이터 블록)을, 변환용 데이터 블록으로서 취득한다. 도 4를 예로서 이용하여 설명하면, 데이터 블록 N5가 결락해 있을 경우, 변환용 데이터 블록으로서 N3 및 N4를 취득한다. 그 후, 처리는 스텝 S202로 진행된다.
스텝 S202에서는, 취득한 변환용 데이터 블록이 사용가능할 지의 여부가 판정된다. 대체 데이터 생성부(28)는 스텝 S201에서 취득한 변환용 데이터 블록이 대체 데이터의 생성에 사용가능한 정상인 데이터 블록일지의 여부를 판정한다. 취득된 변환용 데이터 블록이 데이터의 결락 부분을 포함하는 등, 변환용 데이터 블록으로서 사용할 수 없다고 판정되었을 경우, 처리는 스텝 S213으로 진행된다. 취득된 데이터 블록이 변환용 데이터 블록으로서 사용할 수 있다고 판정되었을 경우, 처리는 스텝 S203으로 진행된다.
스텝 S203에서는, 변환용 데이터 블록으로서 취득된 2초 분의 데이터 블록이 3초 분의 대체 데이터 블록으로 평균화된다. 대체 데이터 생성부(28)는 변환용 데이터 블록으로서 취득된 2초 분의 데이터 블록을, 변환용 데이터 블록에 관한 재생 시간(본 실시 형태에서는 2초)에 결락 부분의 데이터 블록의 재생 시간(본 실시 형태에서는 1초)을 더한 재생 시간(본 실시 형태에서는 3초) 분의 대체 데이터 블록으로 평균화한다. 도 4의 예에 따르면, 합쳐서 2초 분(2블록 분)의 데이터 블록 N3 및 N4를, 3초 분의 대체 데이터 블록 M3, M4, M5로 평균화한다. 그 후, 처리는 스텝 S204로 진행된다.
스텝 S204에서는, 대체 데이터 블록에 의거하는 영상 신호가 출력된다. 대체 데이터 생성부(28)는 스텝 S203에서 얻어진 대체 데이터 블록 M3, M4, M5에 의거하여 출력 신호를 생성한다. 생성된 출력 신호는 순차적으로 출력 제어부(21)에 의해 영상 신호 및 음향 신호로서 표시부(40)에 출력된다. 그 후, 처리는 스텝 S205로 진행된다.
스텝 S205에서는, 다음의 데이터 블록이 취득된다. 대체 데이터 생성부(28)는 버퍼부(26)로부터 다음에 출력의 대상이 되는 데이터 블록을 취득한다. 그 후, 처리는 스텝 S206으로 진행된다.
스텝 S206에서는, 재생 속도가 소정 값(예를 들면, 73/81배)에 도달했는지의 여부를 변경 결정부(31)가 판정한다. 여기에서, 소정 값은 슬로 재생을 종료해도 시청자에게 위화감을 일으키지 않을 정도의 값으로 설정된다. 소정 값 이상인 재생 속도의 경우, 변경 결정부(31)는 1배속으로 변경할 것을 결정하고, 스텝 S209로 진행된다. 한편, 재생 속도가 소정 값 미만일 경우, 변경 결정부는 스텝 S207로 진행되고, 대체 데이터 생성 처리 (2)를 행하여 속도를 올리는, 즉 재생 속도를 1배에 근접시킬 것을 결정한다.
스텝 S207에서는, 다음의 변환용 데이터 블록이 취득된다. 대체 데이터 생성부(28)는 전회(前回)의 대체 데이터 생성 처리에서 얻어진 3개의 대체 데이터 블록 중 전방(즉, 출력 대상 데이터 블록에 가까운 측)의 2개의 대체 데이터 블록을 취득한다. 도 5의 예에 따르면, 스텝 S205에서 취득된 데이터 블록 N4 대신에 출력되는 대체 데이터 블록 M4를 얻기 위해, 대체 데이터 생성부(28)는 전회의 대체 데이터 생성 처리에서 얻어진 대체 데이터 블록 M2 및 M3을 취득한다. 그 후, 처리는 스텝 S208로 진행된다.
스텝 S208에서는, 변환용 데이터 블록 및 출력 대상 데이터 블록이 3초 분의 대체 데이터 블록으로 평균화된다. 대체 데이터 생성부(28)는 스텝 S205 및 스텝 S207에서 취득된 데이터 블록을 평균화함으로써, 다음 출력 대상 데이터 블록 대신에 출력되는 대체 데이터 블록을 얻는다. 도 5의 예에 따르면, 데이터 블록 N4 대신에 출력되는 대체 데이터 블록 M4를 얻기 위해, 대체 데이터 생성부(28)는 데이터 블록 N4, 전회의 대체 데이터 생성 처리에서 얻어진 대체 데이터 블록 M2 및 M3을 취득하고, 이들 3개의 데이터 블록을 평균화함으로써, 직전에 출력된 대체 데이터 블록 M3에 연속하여 출력되었을 경우에, 시청자에게 위화감을 주지 않는 대체 데이터 블록 M4를 얻는다. 그 후, 처리는 스텝 S204로 진행된다.
그리고, 대체 데이터 생성 처리 (2)를 되풀이하고, 스텝 S206에서, 재생 속도가 소정 값 이상으로 판정되었을 경우, 스텝 S209에서, 전환 검출부(32)가 스텝 S205에서 취득한 데이터 블록(예를 들면, N7)을 서치하고, 상기 데이터 블록의 각 프레임(동화상)의 일치도가 소정 값 이상인 기간을 검출한다(S210). 이와 같이, 동일한 프레임이 계속되고 있을 경우에는, 음성도 동일한 상황이 계속되고 있고, 변화가 적음을 유추할 수 있으므로, 여기를 재생 스피드의 전환 타이밍으로 한다. 또한, 전환 타이밍을 검출할 수 없었던 경우에는, 스텝 S207로 진행되어, 대체 데이터 생성 처리 (2)를 행하고, 다음의 데이터 블록을 서치하여(S209), 재차 전환 타이밍을 검출한다.
그리고, 이 검출한 기간 내, 즉 일치도가 소정 값 이상인 프레임의 재생시에, 뮤트를 개시하고(S211), 재생 속도를 1배로 전환하고(S212), 뮤트를 해제한다(S213). 즉, 여기에서 대체 데이터 생성 처리는 종료하고, 이후는 다시 데이터 결락이 발생할 때까지 통상의 출력 처리가 행해진다. 그 후, 본 흐름도에 도시된 처리는 종료하고, 도 7의 스텝 S101로 진행된다.
<변형예>
또한, 본 실시 형태에서는, 입력 데이터는 1초 단위의 데이터 블록을 갖고, 3초 분의 버퍼를 행하고, 대체 데이터 생성은 3블록 단위로 행해지는 것으로 하고 있지만, 이들 값은 실시 형태에 의해 적당하게 최적인 값이 선택되는 것이 바람직하다. 예를 들면, 입력 데이터가 0.5초 단위의 데이터 블록을 가질 경우, 버퍼 시간을 2초, 대체 데이터 생성을 4블록 단위로 하면, 데이터의 결락을 받아서 생성되는 대체 데이터 블록의 초기 정보량이 통상의 3/4배가 되고, 보다 시청자에게 위화감을 주기 어려운 보간을 행하는 것이 가능해진다.
도 7 ~ 도 9에서는, 도 2에 도시한 퍼스널 컴퓨터(10)의 내부 구성, 즉 검지부(22), 방송 수신부(14), 출력 제어부(21), 출력 신호 생성부(23), 버퍼부(26), 검출부(27), 대체 데이터 생성부(28) 및 출력 제어부(21) 등을 CPU(11)로 실행하는 프로그램에서 실현하는 예를 도시했다. 그러나, 이러한 구성 대신에, <퍼스널 컴퓨터의 개요 구성>에서 설명한 바와 같이, 퍼스널 컴퓨터(10)의 내부 구성 중 어느 하나가 1 이상을 CPU(11)와는 다른 프로세서, 하드웨어 회로 등에 의해 실현해도 된다. 즉, CPU(11)의 처리 능력과, 처리량에 따라서는, 도 2의 각각의 구성 요소를 다른 프로세서, 혹은 디지털 회로로 구성하면 된다. CPU(11) 이외의 프로세서 혹은 디지털 회로를 포함할 경우에도, 그것들의 처리 순서는 도 7 및 도 8에 도시한 것과 동일하다. 즉, 본 실시 형태의 퍼스널 컴퓨터(10)는 CPU(11)의 프로그램으로서, 혹은 전용 프로세서에 의해, 또한 전용의 디지털 회로에 의해 실현할 수 있다.
<유저의 조작에 의한 재생 속도의 전환 예>
상기의 예에서는, 데이터의 결락을 검지하여 자동적으로 재생 속도의 전환을 검출했을 경우에 음 출력을 뮤트했지만, 유저의 조작에 따라 재생 속도를 전환할 경우에도 음 출력의 뮤트를 행한다.
도 10은 유저 조작에 따른 전환 방법의 설명도이다.
우선, 장치를 기동하고, 입력 데이터에 의거하여 동화를 재생한다(S301).
다음으로, 검지부(22)가 유저의 조작, 예를 들면 재생(1배), 빨리 감기, 슬로 재생의 버튼이 눌린 것 등을 검지하여, 변경 결정부(31)에 통지한다(S302).
변경 결정부(31)는 통지된 조작이, 현재의 재생 속도와 다른 속도의 재생이면, 재생 속도의 변경을 결정하고, 전환 검출부(32) 및 출력 제어부(22)에 통지한다(S303). 예를 들면, 변(變)배속으로부터 1배속, 1배속으로부터 변배속, 변배속으로부터 다른 변배속으로의 전환을 통지한다.
이 통지를 계기로 전환 검출부(32)는 입력 데이터를 서치하고(S304), 동화를 구성하는 각 프레임(동화상)의 일치도가 소정 값 이상인 기간을 전환 타이밍으로서 검출하고, 이것을 출력 제어부(22)에 통지한다(S305). 또한, 검출할 수 없었을 경우에는 스텝 304로 되돌아가서 다음의 데이터 블록을 서치한다.
그리고, 이들 프레임의 재생을 개시할 때에, 음 제어부(33)가 음 출력의 뮤트를 개시(페이드 아웃(fade out))하고(S306), 상기 뮤트 개시 후, 출력 제어부(22)가 변경 결정부로부터 통지에 따라 재생 속도를 변경한다(S307).
출력 제어부(22)는 이 타이밍에, 예를 들면 동화 신호를 1프레임 걸러서 솎아내서 2배속으로 재생하고 있는 상태로부터, 솎아내지 않고 모든 프레임을 출력하는 것으로 바꾸어서 1배속으로 하거나, 혹은 2프레임 걸러서 출력하는 것으로 바꾸어서 3배속으로 한다. 또한, 동일한 프레임을 2번씩 출력하여 1/2배속으로 재생하고 있는 상태로부터, 각 프레임을 1번씩 출력하는 것으로 바꾸어서 1배속으로 하거나, 혹은 각 프레임을 3번씩 출력하는 것으로 바꾸어서 1/3배속으로 한다.
상기 재생 속도의 전환 후, 재생음 제어부(33)가 음 출력의 뮤트를 종료(페이드 인(fade in))시킨다(S308).
이렇게 본 예에 의하면, 재생 속도를 변경할 때, 일치도가 높은 프레임이 연속하는 기간 내에, 뮤트 개시, 재생 속도의 전환, 그리고 뮤트의 해제를 행하므로, 노이즈를 발생시킬 일 없이 적시에 전환를 행할 수 있다.
즉, 음의 뮤트 중에 전환을 행하므로, 노이즈의 발생이 없다. 그리고, 종래와 같이 무음 기간을 기다리는 것은 아니고, 일치도가 높은 프레임의 연속을 검출하여 뮤트를 행하는, 즉 무음 기간을 작성하므로, 적시에 전환을 행할 수 있다. 또한, 일치도가 높은 프레임의 연속을 검출하여 전환을 행하므로, 위화감 없이 전환을 행할 수 있다. 또한, 일치도가 높은 프레임이 연속하고 있을 경우에는, 음성에 관해서도 동일한 상태가 이어지고, 변동이 적기 때문에, 뮤트 개시 및 뮤트 해제를 짧은 기간에 행해도 위화감이 적고, 노이즈로서 인식될 일이 없다.
<그 외>
본 발명은 상술한 도시예에만 한정되는 것은 아니고, 본 발명의 요지를 일탈하지 않는 범위 내에서 각종 변경을 더할 수 있는 것은 물론이다. 또한, 상기 구성 요소는 가능한 한 조합시킬 수 있다.
14 : 방송 수신부
18 : 조작부
21 : 출력 제어부
22 : 검지부
23 : 출력 신호 생성부
26 : 버퍼부
27 : 검출부
28 : 대체 데이터 생성부
40 : 표시부

Claims (12)

  1. 동화(動畵) 신호 및 음(音) 신호를 포함하는 입력 데이터의 재생 속도의 변경을 결정하는 변경 결정부와,
    상기 재생 중에 상기 변경 결정부가 다른 재생 속도로의 변경을 결정했을 경우에, 동화상의 일치도가 소정 값 이상인 기간을 전환 타이밍으로서 검출하는 전환 검출부와,
    상기 입력 데이터에 의거하여 음 및 동화상을 재생하고, 상기 변경 결정부에 의해 재생 속도의 변경이 결정되었을 경우에, 상기 전환 타이밍에 재생 속도를 전환하는 재생부와,
    상기 전환 타이밍에 상기 음 신호에 의거하는 음 출력을 뮤트(mute)하는 음 제어부를 구비한 음 신호 제어 장치.
  2. 제 1 항에 있어서,
    상기 검출부가 동화 신호 중 N 프레임과 상기 N 프레임으로부터 소정 프레임 이후의 N+x 프레임까지를 비교해서 일치도가 소정 값 이상인 경우에, N+1 프레임으로부터 N+x 프레임까지를 전환 타이밍으로서 검출하는 음 신호 제어 장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 변경 결정부가 1배 미만의 재생 속도로부터 1배속으로 변경, 혹은 1배를 초과한 재생 속도로부터 1배속으로 변경했을 경우에,
    상기 음 제어부가 음 출력을 뮤트하는 음 신호 제어 장치.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 입력 데이터의 결락(欠落)을 검출하는 결락 검출부와,
    상기 결락 검출부에 의해 상기 입력 데이터의 결락이 검출되었을 경우에, 결락이 검출된 부분을 제(除)하고, 결락 부분의 전방의 입력 데이터 및 후방의 입력 데이터 중 적어도 어느 한쪽의 입력 데이터를, 상기 입력 데이터에 관한 재생 시간과 상기 결락 부분에 관한 재생 시간을 맞춘 재생 시간분의 데이터로서 평균화함으로써 대체 데이터를 생성하는 대체 데이터 생성부를 더 구비하고,
    상기 검출부에 의해 상기 입력 데이터의 결락이 검출되었을 경우에, 상기 변경 결정부가 1배 미만의 재생 속도로의 변경을 결정하고, 상기 재생부가 상기 화상 신호와 상기 대체 데이터에 의거하여 음 및 동화상을 재생하고, 상기 검출부에 의해 상기 입력 데이터의 결락이 검출되지 않게 되었을 경우에, 상기 변경 결정부가 1배의 재생 속도로의 변경을 결정하는 음 신호 제어 장치.
  5. 음 및 동화상의 재생 장치가,
    동화 신호 및 음 신호를 포함하는 입력 데이터의 재생 속도의 변경을 결정하는 스텝과,
    상기 재생 중에 상기 변경 결정부가 다른 재생 속도로의 변경을 결정했을 경우에, 동화상의 일치도가 소정 값 이상인 기간을 전환 타이밍으로서 검출하는 스텝과,
    상기 입력 데이터에 의거하여 음 및 동화상을 재생하고, 상기 변경 결정부에 의해 재생 속도의 변경이 결정되었을 경우에, 상기 전환 타이밍에 재생 속도를 전환하는 스텝과,
    상기 전환 타이밍에 상기 음 신호에 의거하는 음 출력을 뮤트하는 스텝을 실행하는 음 신호 제어 방법.
  6. 제 5 항에 있어서,
    상기 동화 신호 중 N 프레임과 상기 N 프레임으로부터 소정 프레임 이후의 N+x 프레임까지를 비교해서 일치도가 소정 값 이상인 경우에, N+1 프레임으로부터 N+x 프레임까지를 전환 타이밍으로서 검출하는 음 신호 제어 방법.
  7. 제 5 항 또는 제 6 항에 있어서,
    상기 재생 속도를 1배 미만의 재생 속도로부터 1배속으로 변경, 혹은 1배를 초과한 재생 속도로부터 1배속으로 변경했을 경우에,
    상기 음 출력을 뮤트하는 음 신호 제어 방법.
  8. 제 5 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 입력 데이터의 결락을 검출하는 스텝과,
    상기 결락 검출 스텝에 의해 상기 입력 데이터의 결락이 검출되었을 경우에, 결락이 검출된 부분을 제하고, 결락 부분의 전방의 입력 데이터 및 후방의 입력 데이터 중 적어도 어느 한쪽의 입력 데이터를, 상기 입력 데이터에 관한 재생 시간과 상기 결락 부분에 관한 재생 시간을 맞춘 재생 시간분의 데이터로서 평균화함으로써 대체 데이터를 생성하는 스텝을 더 구비하고,
    상기 입력 데이터의 결락이 검출되었을 경우에, 1배 미만의 재생 속도로의 변경을 결정하고, 상기 화상 신호와 상기 대체 데이터에 의거하여 음 및 동화상을 재생하고, 상기 입력 데이터의 결락이 검출되지 않게 되었을 경우에, 1배의 재생 속도로의 변경을 결정하는 음 신호 제어 방법.
  9. 음 및 동화상의 재생 장치에,
    동화 신호 및 음 신호를 포함하는 입력 데이터의 재생 속도로의 변경을 결정하는 스텝과,
    상기 재생 중에 상기 변경 결정부가 다른 재생 속도로의 변경을 결정했을 경우에, 동화상의 일치도가 소정 값 이상인 기간을 전환 타이밍으로서 검출하는 스텝과,
    상기 입력 데이터에 의거하여 음 및 동화상을 재생하고, 상기 변경 결정부에 의해 재생 속도의 변경이 결정되었을 경우에, 상기 전환 타이밍에 재생 속도를 전환하는 스텝과,
    상기 전환 타이밍에 상기 음 신호에 의거하는 음 출력을 뮤트하는 스텝을 실행시키는 음 신호 제어 프로그램.
  10. 제 9 항에 있어서,
    상기 동화 신호 중 N 프레임과 상기 N 프레임으로부터 소정 프레임 이후의 N+x 프레임까지를 비교해서 일치도가 소정 값 이상인 경우에, N+1 프레임으로부터 N+x 프레임까지를 전환 타이밍으로서 검출하는 음 신호 제어 프로그램.
  11. 제 9 항 또는 제 10 항에 있어서,
    상기 재생 속도를 1배 미만의 재생 속도로부터 1배속으로 변경, 혹은 1배를 초과한 재생 속도로부터 1배속으로 변경했을 경우에,
    상기 음 출력을 뮤트하는 음 신호 제어 프로그램.
  12. 제 9 항 내지 제 11 항 중 어느 한 항에 있어서,
    상기 입력 데이터의 결락을 검출하는 스텝과,
    상기 결락 검출 스텝에 의해 상기 입력 데이터의 결락이 검출되었을 경우에, 결락이 검출된 부분을 제하고, 결락 부분의 전방의 입력 데이터 및 후방의 입력 데이터 중 적어도 어느 한쪽의 입력 데이터를, 상기 입력 데이터에 관한 재생 시간과 상기 결락 부분에 관한 재생 시간을 맞춘 재생 시간분의 데이터로서 평균화함으로써 대체 데이터를 생성하는 스텝을 더 구비하고,
    상기 입력 데이터의 결락이 검출되었을 경우에, 1배 미만의 재생 속도로의 변경을 결정하고, 상기 화상 신호와 상기 대체 데이터에 의거하여 음 및 동화상을 재생하고, 상기 입력 데이터의 결락이 검출되지 않게 되었을 경우에, 1배의 재생 속도로의 변경을 결정하는 음 신호 제어 프로그램.
KR1020107006291A 2007-09-28 2007-09-28 음 신호 제어 장치 KR101189733B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2007/069053 WO2009040950A1 (ja) 2007-09-28 2007-09-28 音信号制御装置

Publications (2)

Publication Number Publication Date
KR20100049655A true KR20100049655A (ko) 2010-05-12
KR101189733B1 KR101189733B1 (ko) 2012-10-10

Family

ID=40510863

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107006291A KR101189733B1 (ko) 2007-09-28 2007-09-28 음 신호 제어 장치

Country Status (6)

Country Link
US (1) US8634697B2 (ko)
EP (1) EP2202973A4 (ko)
JP (1) JP5141689B2 (ko)
KR (1) KR101189733B1 (ko)
CN (1) CN101809999B (ko)
WO (1) WO2009040950A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5701017B2 (ja) * 2010-11-09 2015-04-15 キヤノン株式会社 動画再生装置、動画再生方法、コンピュータプログラム、記憶媒体
JP6732547B2 (ja) * 2016-06-10 2020-07-29 キヤノン株式会社 撮像装置及びその制御方法
JP6943949B2 (ja) * 2016-08-19 2021-10-06 スノー コーポレーション コンピュータプログラム、動画処理方法及び記録媒体
US10119469B2 (en) 2016-09-15 2018-11-06 General Electric Company Method and apparatus for modularized inlet silencer baffles
US10722990B2 (en) 2016-09-15 2020-07-28 General Electric Company Method for installing and removing modularized silencer baffles
CN108278158B (zh) 2017-01-06 2022-05-13 通用电气公司 用于改进的入口消音挡板的系统和方法
CN108278157B (zh) 2017-01-06 2022-08-02 通用电气公司 用于改进的入口消音挡板的系统和方法
JP7490330B2 (ja) 2018-06-27 2024-05-27 三菱重工サーマルシステムズ株式会社 フィルタ清掃ユニット及び空気調和機
JP2022077231A (ja) * 2020-11-11 2022-05-23 キヤノン株式会社 音響処理装置、音響処理方法、およびプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06337696A (ja) 1993-05-28 1994-12-06 Matsushita Electric Ind Co Ltd 速度変換制御装置と速度変換制御方法
JPH0779411A (ja) * 1993-09-06 1995-03-20 Sony Corp 画像信号再生方法および画像信号再生装置、ならびに 画像信号記録媒体
JPH07212319A (ja) 1994-01-17 1995-08-11 Nec Eng Ltd ディジタル音声信号切替ノイズ抑圧装置
JPH0855384A (ja) * 1994-08-17 1996-02-27 Sony Corp 電子情報装置
DE727780T1 (de) * 1995-02-16 1997-02-13 Toshiba Kawasaki Kk Ausgabesteuerungssystem für umschaltbare Torkanäle
JP3602635B2 (ja) * 1995-02-16 2004-12-15 株式会社東芝 音声切換方法および再生装置
JP2004214902A (ja) 2002-12-27 2004-07-29 Matsushita Electric Ind Co Ltd ストリーミング再生携帯端末、ストリーミング再生方法、コンピュータプログラム、並びにコンピュータ読み取り可能な記録媒体
US7990479B2 (en) * 2004-05-21 2011-08-02 Panasonic Corporation Communication system and communication method
JP4501808B2 (ja) * 2005-08-02 2010-07-14 船井電機株式会社 再生装置
CN1992846A (zh) * 2005-12-30 2007-07-04 乐金电子（南京）有限公司 影像显示装置及其控制方法
US20090002556A1 (en) * 2007-06-11 2009-01-01 Picongen Wireless Inc. Method and Apparatus for Packet Insertion by Estimation

Also Published As

Publication number Publication date
US20100172633A1 (en) 2010-07-08
CN101809999A (zh) 2010-08-18
KR101189733B1 (ko) 2012-10-10
EP2202973A1 (en) 2010-06-30
EP2202973A4 (en) 2012-01-11
US8634697B2 (en) 2014-01-21
CN101809999B (zh) 2012-07-18
JP5141689B2 (ja) 2013-02-13
JPWO2009040950A1 (ja) 2011-01-13
WO2009040950A1 (ja) 2009-04-02

Similar Documents

Publication Publication Date Title
KR101189733B1 (ko) 음 신호 제어 장치
JP5222543B2 (ja) テレビジョン装置
US7990473B2 (en) Image processing apparatus, image processing method, and image processing program
US20090154890A1 (en) Content replay apparatus, content playback apparatus, content replay method, content playback method, program, and recording medium
US20230186938A1 (en) Audio signal processing device and operating method therefor
KR101075870B1 (ko) 신호 출력 장치, 정보 기기 및 신호 출력 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체
KR100975843B1 (ko) 동영상 데이터 복호 장치
JP2009094796A (ja) テレビジョン受信機
JP4900246B2 (ja) タイムシフト視聴時に即時に提供すべき放送を優先する放送受信装置
JP2009105580A (ja) 情報処理装置、情報処理方法、プログラム並びに記録媒体
JP5213630B2 (ja) 映像信号再生装置
EP2560405A1 (en) Digital broadcast reception device
JP4268925B2 (ja) 要約再生装置、要約再生方法、要約再生プログラムおよびそのプログラムが記録された情報記録媒体
JP2002016858A (ja) デジタル放送受信装置
JP3803605B2 (ja) 副映像割り込み装置および方法
KR101430463B1 (ko) 타임 쉬프트 저장된 데이터의 제어 장치 및 방법
KR20050052369A (ko) 음성 출력 장치 및 음성 출력 방법
JP2012244319A (ja) デジタル放送受信機
KR20070082701A (ko) 방송 수신기의 방송 프로그램 하이라이트 구간 처리 방법
JP2005203834A (ja) デジタル放送受信記録装置
JP2008301320A (ja) 記録再生装置及びプログラム
JP2012130077A (ja) 記録再生装置及びプログラム
KR20090074629A (ko) 음향 모드 제어 방법
JP2012151889A (ja) 記録再生装置及びプログラム
KR20080023795A (ko) 녹화물 재생 장치 및 이를 이용한 녹화물 배속 재생 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150918

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160921

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170919

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180918

Year of fee payment: 7