KR100980792B1 - 자막첨부영상 재생장치 및 프로그램이 기록된 기록매체 - Google Patents

자막첨부영상 재생장치 및 프로그램이 기록된 기록매체 Download PDF

Info

Publication number
KR100980792B1
KR100980792B1 KR1020080047274A KR20080047274A KR100980792B1 KR 100980792 B1 KR100980792 B1 KR 100980792B1 KR 1020080047274 A KR1020080047274 A KR 1020080047274A KR 20080047274 A KR20080047274 A KR 20080047274A KR 100980792 B1 KR100980792 B1 KR 100980792B1
Authority
KR
South Korea
Prior art keywords
caption
subtitle
video
text
image
Prior art date
Application number
KR1020080047274A
Other languages
English (en)
Other versions
KR20080103016A (ko
Inventor
마사히로 야마자키
도모치카 오자키
마유미 나카데
유키노리 아사다
다카시 마츠바라
Original Assignee
엔이씨 카시오 모바일 커뮤니케이션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2007159510A external-priority patent/JP4367535B2/ja
Priority claimed from JP2007203612A external-priority patent/JP4821733B2/ja
Application filed by 엔이씨 카시오 모바일 커뮤니케이션즈 가부시키가이샤 filed Critical 엔이씨 카시오 모바일 커뮤니케이션즈 가부시키가이샤
Publication of KR20080103016A publication Critical patent/KR20080103016A/ko
Application granted granted Critical
Publication of KR100980792B1 publication Critical patent/KR100980792B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6112—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving terrestrial transmission, e.g. DVB-T
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • General Engineering & Computer Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

표시 대상의 자막을 선택하면 리스트와 자막첨부영상을 표시하는 「리스트첨부 시청모드」와, 리스트 없음으로 자막첨부영상을 재생하는「통상시청모드」를 구비한다. 「리스트첨부 시청모드」가 지시되면, 제어부(11)는 재생중의 자막문 및 영상과, 자막문을 선택하기 위한 리스트를 표시한다. 리스트로부터 자막문이 선택되면, 선택된 자막문과 대응하는 영상을 표시하고, 리스트를 갱신한다. 「통상시청모드」로 전환되면, 제어부(11)는 리스트의 표시를 정지하고, 자막문과 대응하는 영상을 표시한다.
자막문, 영상, 리스트, 시청모드

Description

자막첨부영상 재생장치 및 프로그램이 기록된 기록매체{CAPTIONED VIDEO PLAYBACK APPARATUS AND RECORDING MEDIUM RECORDED PROGRAM}
본 발명은 자막문 및 영상을 처리하는 자막첨부영상 재생장치에 관한 것이다.
일본국 특허공개공보 제2003-18491호는 자막표시장치를 개시한다.
이 자막표시장치는 영상과 이 영상중의 복수의 자막문을 기억하고, 사용자가 어느 하나의 자막문을 선택했을 때에, 자막문과 그 자막문에 대응하는 영상을 표시한다.
이 자막표시장치는 영상과 복수의 자막문을 동일한 화면에 표시한다. 따라서, 영상의 표시 에리어가 제한되는 동시에 자막의 표시 에리어도 제한된다. 그 때문에, 자막문의 문자 수에 따라서는 사용자가 스트림을 시청할 때나 자막을 선택할 때의 화면의 시인(육안인식)성이나 조작성이 나빠진다. 이 문제는 휴대 가능하다고 하는 특성으로부터 소형화가 요청되며, 화면 사이즈에 제한이 있는 휴대단말장치의 경우에는 현저하게 된다.
또, 이 자막표시장치는 영상과 표시중의 영상에 대응하는 자막문과 그 자막문의 이전의 자막문(자막문의 이력)을 표시한다. 따라서, 자막문 및 영상으로부터 얻어지는 정보가 한정된다.
본 발명은 상기 실정을 감안해서 이루어진 것으로서, 자막첨부영상을 시청할 때에, 사용자의 편리성을 향상시키는 것을 목적으로 한다.
또, 본 발명은 표시화상의 시인성이나 조작성이 높은 장치를 제공하는 것을 다른 목적으로 한다.
또, 본 발명은 자막문과 대응하는 영상을 적절히 재생할 수 있는 장치를 제공하는 것을 다른 목적으로 한다.
상기 과제를 해결하기 위해, 본 발명의 제 1 관점에 관한 자막첨부영상 재생장치는 복수의 자막문을 정의하는 자막신호와 복수의 영상을 정의하는 영상신호를 재생타이밍을 대응지어 기억하는 기억수단과, 상기 기억수단에 기억되어 있는 자막신호에 의해 정의되는 복수의 자막문 중의 어느 하나를 선택하는 자막선택수단과, 상기 자막선택수단에 의해 선택된 자막문을 재생하는 자막재생수단과, 상기 기억수단에 기억된 상기 영상신호를 재생하는 영상재생수단과, 상기 자막재생수단에 의해 선택하고 선택한 자막문과 해당 자막문에 대응하는 영상을 상기 자막재생수단 및 상기 영상재생수단에 의해 재생하는 자막시청모드와, 상기 영상재생수단에 의해 영상을 재생하는 통상시청모드를 전환하는 모드전환수단을 구비하는 것을 특징으로 한다.
상기 과제를 해결하기 위해, 본 발명의 제 2 관점에 관한 자막첨부영상 재생장치는 복수의 자막문을 정의하는 자막신호와 복수의 영상을 정의하는 영상신호를 재생타이밍을 대응지어 기억하는 자막영상 기억수단과, 상기 자막영상 기억수단이 기억하는 자막신호가 정의하는 복수의 자막문으로부터 적어도 2개 이상의 자막문을 재생하는 자막재생수단과, 상기 자막영상 기억수단이 기억하는 영상신호가 정의하는 영상으로부터, 상기 자막재생수단이 재생한 각 자막문에 부여된 재생타이밍에 대응하는 재생타이밍이 부여된 영상을 추출하는 영상추출수단과, 상기 영상추출수단이 추출한 영상을 재생하고 표시하는 영상재생 표시수단을 구비하는 것을 특징으로 한다.
상기 과제를 해결하기 위해, 본 발명의 제 3 관점에 관한 자막첨부영상 재생장치는 복수의 자막문을 정의하는 자막신호와 복수의 영상을 정의하는 영상신호를 재생순서에 의해 대응지어 기억하는 기억수단과, 상기 자막신호가 정의하는 자막문 을 재생하는 자막재생수단과, 시간을 계시하고 상기 자막재생수단이 재생중인 자막문의 재생 개시부터 소정 시간이 경과한 것을 검출하는 타이머수단과, 상기 타이머수단에서 소정 시간의 경과를 검출했을 때에, 상기 자막재생수단을 제어하고 현재 재생중인 자막문 대신에, 그 자막문의 다음의 재생 순서를 갖는 자막문을 재생시키는 자막전환수단과, 상기 영상신호가 정의하는 각 영상 중에서 상기 자막재생수단이 재생중인 자막문에 대응하는 재생순서를 갖는 영상을 재생하는 영상재생수단과, 상기 자막재생수단이 재생중인 자막문과, 그 자막문의 재생순서로부터 소정의 순서만큼 전에 있는 자막문과 그 자막문의 재생 순서로부터 소정의 순서만큼 후에 있는 자막문의 리스트를 생성하여 표시하는 리스트 표시수단을 구비하는 것을 특징으로 한다.
본 발명의 제 1 관점에 관한 자막첨부영상 재생장치에 의하면, 자막문(의 리스트)과 영상의 양쪽을 재생하는 상태와 영상을 재생하는 상태를 적절히 전환할 수 있어, 시인성 및 조작성이 향상한다.
본 발명의 제 2 관점에 관한 자막첨부영상 재생장치에 의하면, 복수의 영상과 대응하는 자막문을 병행하여 재생할 수 있다.
본 발명의 제 3 관점에 관한 자막첨부영상 재생장치에 의하면, 소정 시간이 경과할 때마다 자막문이 자동적으로 전환되고, 또한 영상도 전환된다.
<실시형태 1>
이하, 본 발명의 실시형태에 관한 자막첨부영상 재생장치를 설명한다. 본 실시형태는 자막첨부영상 재생장치를, 콘텐츠 수신기능을 구비하는 휴대전화장치(1)에 적용한 예이다. 휴대전화장치(1)는 임의의 데이터 전송방식에 따른 콘텐츠를 수신할 수 있다. 이하에서는 휴대전화장치(1)는 원세그(one-segment) 방송을 수신한다.
휴대전화(1)는 콘텐츠 녹화재생기능을 구비하는 휴대전화로서, 예를 들면, 도 1에 나타내는 바와 같은 폴더형의 것이며, 키보드(2), 표시패널(5) 등을 구비하고 있다.
키보드(2)는 커서키(3)와 표시전환버튼(4), 기타 각종의 버튼을 구비한다. 키보드(2)는 사용자에게 조작되어, 각종 데이터나 지시를 입력한다. 예를 들면, 키보드(2)는 자막첨부영상의 재생 및 종료, 자막문의 리스트(이하, 「자막리스트」라고 함)의 표시 또는 비표시 등의 지시의 입력에 사용된다.
표시패널(5)은 도트매트릭스 타입의 LCD(액정표시) 패널 등으로 구성되며, 데이터(예를 들면, 자막첨부영상, 자막리스트 등)를 표시한다.
또, 휴대전화장치(1)에는 통화용 마이크(6), 통화용 스피커(7), 스피커(8)가 배치되어 있다. 통화용 마이크(6)는 통화음성을 입력한다. 통화용 스피커(7)는 수화음성을 출력한다. 스피커(8)는 콘텐츠 재생시의 음성 등을 출력한다.
휴대전화(1)의 회로구성에 대해 설명한다. 휴대전화(1)는 도 2에 나타내는 바와 같이, 제어부(11), 기억부(12), 조작부(13), 표시부(14), 튜너(15), 디코드부(16), 음성출력부(17), 음성입력부(18), 통신부(19), 버스(20)를 구비한다.
제어부(11)는 마이크로 프로세서 유닛 등으로 구성되며, 휴대전화(1) 전체의 동작을 제어한다. 예를 들면, 제어부(11)는 녹화한 콘텐츠(영상)의 재생의 개시·종료를 제어한다. 또, 제어부(11)는 데이터(자막문, 영상, 자막리스트 등)를 표시부(14)를 통해 표시패널(5)에 표시시킨다.
기억부(12)는 각종 데이터를 기억한다. 예를 들면, 기억부(12)는 제어부(11)의 동작제어용 프로그램을 기억한다. 기억부(12)는 휴대전화(1)에 내장된 메모리 및/또는 분리가능한 외부메모리로 구성된다. 조작부(13)는 전술한 키보드(2) 등을 구비하며, 사용자의 조작에 응답하여 조작신호를 제어부(11)에 공급한다.
표시부(14)는 표시패널(5)과 드라이버회로 등으로 구성되며, 제어부(11)의 제어에 따라 화상을 표시패널(5)에 표시한다. 튜너(15)는 안테나를 통해 수신한 원세그 방송의 콘텐츠를 복조하고, 복조된 신호(베이스밴드 신호)를 디코드부(16)에 출력한다. 디코드부(16)는 튜너(15)가 출력한 콘텐츠를 디코드하여 출력한다.
음성출력부(17)는 전술한 통화용 스피커(7)와 스피커(8), DAC(Digital Analog Converter) 등을 구비하며, 예를 들면 제어부(11)가 재생한 콘텐츠의 음성신호에 DA변환을 실시하고, 스피커(8)에 의해 방음한다. 음성입력부(18)는 통화시 등에 음성신호를 수집하고, 통신부(19)에 공급한다. 통신부(19)는 기지국을 통해, 통화음성, 각종 데이터 등을 송수신한다. 버스(20)는 각 부 사이에서 서로 데이터를 전송한다.
다음에, 본 실시형태에 특징적인 자막리스트 표시 동작에 필요한 정보에 대해 설명한다. 도 2에 나타내는 기억부(12)는 도 3의 (a)에 나타내는 바와 같이, 콘 텐츠 녹화 데이터(121)와, 자막관리 데이터(122)와, 시크 포인트(seek-point) 관리정보(123)를 기억한다.
원세그 방송의 콘텐츠(텔레비전신호)는 도 3의 (b)에 나타내는 TSP(Transport Stream Packet, 전송 스트림 패킷)로 구성된다. 도시하는 바와 같이, TSP는 복수의 패킷의 스트림으로 구성된다. 복수의 패킷은 영상데이터를 페이로드(payload)에 저장하는 영상패킷 V(후술하는 VI와 VP를 포함), 음성데이터를 페이로드에 저장하는 음성패킷 Ap, 자막데이터를 페이로드에 저장하는 자막패킷 Cp를 포함한다.
제어부(11)는 수신한 TSP를 구성하는 각 패킷을, 저장하고 있는 데이터의 종류별로 분류한다. 제어부(11)는 분류한 패킷 순번을, 각 패킷에 부여되어 있는 패킷번호 등에 의거하여 재배치하여, 도 3의 (c)에 나타내는 비디오 PES(Packetized Elementary Stream)(131), 음성 PES(132), 자막 PES(133)를 생성한다. 제어부(11)는 이들을 콘텐츠 녹화 데이터(121)로서 기억부(12)에 저장한다.
비디오 PES(131)는 패킷화된 영상프레임의 압축 부호화 데이터이며, 각 영상프레임(영상)을 정의하는 데이터를 포함한다. 또, 각 영상프레임은 그 재생타이밍을 나타내는 데이터를 포함한다.
원세그 방송에 있어서의 TSP는 예측 부호화 방식에 따른 데이터이다. 따라서, 비디오 PES(131)는 다른 영상프레임을 참조하지 않는 IDR(Instantaneous Decoder Refresh) 프레임(독립 영상패킷 VI에 대응함)과 자기의 재생타이밍보다 먼저 재생되는 IDR 프레임을 참조하는 P프레임(참조 영상패킷 VP에 대응함)을 포함한 다.
또한, 원세그 방송에서는 영상프레임의 프레임레이트는 15프레임/초이다.
음성 PES(132)는 패킷화된 음성의 압축 부호화 데이터이다.
자막 PES(133)는 패킷화된 자막문의 압축 부호화 데이터이다. 자막 PES(133)는 자막관리 데이터(122)의 생성에 필요한 정보를 포함한다. 예를 들면, 자막 PES(133)는 자막문 Mn(n：1∼N, N：콘텐츠 녹화 데이터(121)내의 자막 PES의 수)와, 자막 재생타이밍 tmn(n：1∼N)과, 제어부호 CSn(n： 1∼N)을 나타내는 정보를 갖는다.
「자막문 Mn」은 자막첨부영상의 자막문의 내용을 나타내며, 자막관리 데이터(122)의 자막문 Mn으로서 저장되는 데이터이다. 「자막 재생타이밍 tmn」은 자막문 Mn을 재생하는 타이밍을 나타내며, PTS(Presentation Time Stamp) 단위로 나타내지고 있다. 원세그 방송에서는 각 자막문은 15초에 1회의 비율로 생성된다.
자막관리 데이터(122)는 도 4에 나타내는 바와 같이, 「자막표시시각 TMn」와 「자막문 Mn」을 대응짓는다. 「자막표시시각 TMn」은 자막문 Mn이 표시되는 시각을 나타낸다. 본 실시형태에서는 자막표시시각 TMn은 콘텐츠 녹화 데이터(121)의 재생 개시시를 기준으로 한 오프셋시각으로 한다. 「자막문 Mn」은 자막첨부영상의 자막문의 내용을 나타낸다. 또한, 자막표시시각 TMn은 프레임번호 등이어도 좋다.
시크 포인트 관리정보(123)는 도 5에 나타내는 바와 같이, 각 프레임의 영상 표시시각 TRn(n：1∼N)과 영상위치 PRn(n：1∼N)을 대응짓고 있다.
「영상표시시각 TRn」은 각 영상프레임이 표시되는 시각을 나타내고, PTS 단 위로 나타내어진다. 「영상위치 PRn」은 콘텐츠 녹화데이터(121)에 있어서의 영상프레임의 위치를 나타내는 인덱스이다. 본 실시형태에서는 IDR 프레임의 선두를 포함하는 TSP의 번호(패킷번호)에 의해 「영상위치 PRn」을 나타낸다.
다음에, 상기 구성을 갖는 실시형태 1의 휴대전화(1)의 동작을 설명한다. 휴대전화(1)의 통신동작 자체는 통상의 휴대전화와 동일하다. 그래서, 이하, 본 실시형태에서 특징적인 휴대전화(1)가 자막첨부영상을 재생하는 동작을 설명한다.
휴대전화(1)는 자막리스트를 표시하지 않고 자막첨부영상을 재생하는 「통상시청모드」와, 자막리스트를 표시하고 자막문의 선택을 접수하면서 자막첨부영상을 재생하는 「리스트첨부 시청모드」를 구비한다. 리스트첨부 시청모드에서는 사용자(시청자)는 표시되어 있는 자막의 리스트로부터 임의의 자막문을 선택할 수 있다. 자막이 선택되면, 선택된 자막문이 표시되는 동시에 해당 자막문에 대응하는 영상이 표시된다.
사용자는 표시전환버튼(4) 또는 소프트키의 조작에 의해, 「리스트첨부 시청모드」와 「통상시청모드」의 사이에서, 화면의 표시상태를 전환하는 것이 가능하다.
사용자가 「리스트첨부 시청모드」를 선택하면, 제어부(11)는 자막첨부영상을 표시하는 동시에 자막의 리스트를 표시한다. 이 자막의 리스트는 현재 표시중인 자막문과 그 자막문의 전후에 위치하는 소정수의 자막문을 포함한다. 리스트되는 자막문은 현재 표시중인 자막과, 이 자막문의 재생타이밍을 기준으로 하여, 재생타이밍이 소정의 시간범위내에 있는 자막문이다.
「리스트첨부 시청모드」에서 표시패널(5)에 표시되는 화면은 예를 들면, 도 7의 (a)에 나타내는 화면 D1이다. 본 실시형태에서는 자막리스트중에 나타내지는 자막문의 수는 5개이다.
제어부(11)는 자막리스트를 표시할 때에, 자막관리 데이터(122)로부터 자막문 Mn을 읽어낸다. 이 때문에, 제어부(11)는 콘텐츠 녹화 데이터(121)가 포함하는 자막 PES로부터 정보를 추출하고, 자막관리 데이터(122)를 미리 생성해 둔다.
이하, 제어부(11)가 이 자막관리 데이터(122)를 생성하는 동작에 대해 설명한다.
제어부(11)는 콘텐츠(TV신호)의 녹화 후, 자막관리 데이터(122)의 생성을 개시한다. 도 6에 나타내는 바와 같이, 제어부(11)는 콘텐츠 녹화 데이터(121)내의 자막 PES의 유무를 판별하고, 없으면(스텝 S11； No), 처리를 종료한다.
자막 PES가 있으면(스텝 S11； Yes), 제어부(11)는 자막 PES를 추출한다(스텝 S12). 제어부(11)는 그 자막 PES로부터 자막문 Mn을 추출할 수 있었는지 없었는지를 판별한다(스텝 S13). 추출할 수 있었으면(스텝 S13； Yes), 자막 PES를 해석하고, 자막 재생타이밍 tmn을 취득한다.
계속해서, 제어부(11)는 자막 재생타이밍 tmn으로부터, 콘텐츠 녹화 데이터(121)의 선두의 프레임의 재생타이밍을 빼고, 영상의 재생개시부터 자막문 Mn의 재생에 이를 때까지의 경과시간(PTS 단위)을 구한다(스텝 S14).
제어부(11)는 구한 경과시간(PTS 단위)을 시분초 단위(HMS 단위)로 환산한다(스텝 S15). 제어부(11)는 그 경과시간(시분초 단위)을 자막표시시각 TMn으로서 자막관리 데이터(122)에 저장한다(스텝 S16).
계속해서, 제어부(11)는 자막 PES(133)로부터 자막문 Mn을 추출하고, 자막관리 데이터(122)에 저장한다(스텝 S17). 제어부(11)는 콘텐츠 녹화 데이터(121)의 마지막에 도달할 때까지(스텝 S18； Yes), 상술한 처리를 반복한다. 이상으로, 자막관리 데이터(122)의 생성이 종료한다.
사용자가 표시전환버튼(4) 또는 소정의 소프트키(예를 들면, 화면 "soft1"키를 조작하여, 「리스트첨부 시청모드」에서 「통상시청모드」로의 전환을 지시하면, 제어부(11)는 자막리스트의 표시를 종료하고, 자막첨부영상만을 표시시키도록, 표시부(14)를 제어한다. 더욱 상세하게는 제어부(11)는 도 7의 (a)에 나타내는 화면 D1 대신에, 도 7의 (b)에 예시하는 자막첨부영상을 표시하는 화면 D2를 표시패널(5)에 표시시킨다. 제어부(11)는 빈 스페이스를 활용하기 위해, 예를 들면, 영상 및 자막문의 표시 사이즈를 종횡 k배하여, 상대적으로 큰 화면으로 화상을 표시한다. 혹은 자막리스트 이외의 임의의 정보(예를 들면, 수신한 뉴스, 메시지 등)를 표시한다.
이 상태에 있어서, 사용자가 표시전환버튼(4) 또는 소정의 소프트키를 조작하여, 「통상시청모드」에서 「리스트첨부 시청모드」로의 전환을 지시하면, 제어부(11)는 자막첨부영상의 재생동작을 유지하면서 자막리스트를 표시시킨다. 예를 들면, 제어부(11)는 도 7의 (b)에 예시하는 자막첨부영상을 표시하는 화면 D2 대신에, 도 7의 (c)에 나타내는 화면 D3을 표시패널(5)에 표시시킨다.
이하, 제어부(11)가 사용자 조작에 따라, 자막첨부영상의 표시모드를 「통상 시청모드」와 「리스트첨부 시청모드」의 사이에서 전환하는 처리에 대해 설명한다.
도 8에 나타내는 바와 같이, 사용자에 의한 표시전환버튼(4) 또는 소프트키(예를 들면, 도 7의 (a)에 나타내는「soft1」)의 누름을 검출하면, 제어부(11)는 이행지의 시청모드로서 「리스트첨부 시청모드」와 「통상시청모드」의 어느 하나가 지시되었는지를 판별한다(스텝 S21). 제어부(11)는 검출시의 시청모드가 「통상시청모드」이면, 「리스트첨부 시청모드」로의 이행이 지시되었다고 판별한다.
「리스트첨부 시청모드」로의 이행이면(스텝 S21； 리스트첨부 시청모드), 제어부(11)는 이행이 지시되었을 때에 재생하고 있던 영상의 영상표시시각(이하, 「전환시 표시시각 TS」라 함)을 취득한다(스텝 S22). 전환시 표시시각 TS는 예를 들면, 현재 표시중인 영상의 영상표시시각 TRn, 영상표시시각을 관리하기 위한 기준시각(STC) 등으로부터 취득할 수 있다.
계속해서, 제어부(11)는 이 전환시 표시시각 TS와 자막관리 데이터(122)내의 각 자막표시시각 TMn을 비교하고, 전환시 표시시각 TS보다 후이고 또한 맨 앞의 자막표시시각 TMn을 갖는 자막문 Mn을 특정한다(스텝 S23). 이것이 전환후에 재생을 개시하는 자막문으로 된다.
계속해서, 제어부(11)는 특정한 자막문 Mn 및 그 자막문보다 소정의 타이밍만큼 전 또는 후(의 범위에 있음)에 재생되는 자막문을 특정하고, 그 리스트(자막리스트)를 표시패널(5)에 표시시킨다(스텝 S24). 이 때, 제어부(11)는 자막리스트 표시용의 리스트영역 LA의 중앙에 현재 재생중인 자막문 Mn을 표시시킨다.
계속해서, 제어부(11)는 자막문 Mn에 대응하는 영상표시시각을 갖는 영상을 콘텐츠 녹화 데이터(121)로부터 추출하고, 영상영역 RA에 표시시킨다(스텝 S25).
스텝 S25의 처리의 상세를 도 9에 나타낸다. 도시하는 바와 같이, 제어부(11)는 비디오 PES로부터 영상프레임의 정보를 추출한다(스텝 S251). 제어부(11)는 추출한 정보에 의거하여, 추출한 영상프레임이 IDR 프레임인지 아닌지를 판별한다(스텝 S252). 추출한 영상프레임이 IDR 프레임이 아니면(스텝 S252； No), 처리는 스텝 S251로 되돌아간다.
한편, 추출한 영상프레임이 IDR 프레임이면(스텝 S252； Yes), 콘텐츠 녹화 데이터(121)내에서 선두의 영상(프레임)의 재생개시부터 그 IDR 프레임의 재생까지의 경과시간을 구한다(스텝 S253). 예를 들면, 제어부(11)는 추출한 IDR 프레임의 영상재생타이밍(PTS 단위)에서 선두의 영상의 재생타이밍을 빼고, 경과시간을 구한다.
다음에, 제어부(11)는 그 IDR 프레임이 현재 재생중인 자막문 Mn인지 아닌지를 판별한다. 그 때문에, 제어부(11)는 자막문 Mn의 자막표시시각 TMn이 금회 구한 경과시각보다 큰지 아닌지를 판별한다(스텝 S254).
자막표시시각 TMn이 금회 구한 경과시간보다 크면(스텝 S254； Yes), 추출한 IDR 프레임은 현재 재생중인 자막문 Mn보다 먼저 재생되고, 자막문 Mn에 대응할 가능성이 있다. 그 때문에, 제어부(11)는 그 IDR 프레임의 영상위치를 보존하고(스텝 S255), 처리는 스텝 S251로 되돌아간다.
한편, 자막표시시각이 금회 구한 경과시각보다 작으면(스텝 S254； No), 전 회 추출한 IDR 프레임은 자막문 Mn의 재생타이밍의 직전에 재생되고, 현재 재생중인 자막문 Mn에 대응한다. 이 때, 제어부(11)는 스텝 S255에서 저장한 영상위치 PRn으로부터 IDR 프레임을 읽어내고, 표시패널(5)에 표시시킨다(스텝 S256). 그리고, 처리는 도 8로 복귀되고, 종료한다.
한편, 도 8의 스텝 S21에 있어서 「통상시청모드」로의 이행이라고 판별하면, 제어부(11)는 자막리스트를 표시하지 않고 자막첨부영상의 일반적인 재생을 실행하기 위해, 처리를 스텝 S26으로 이행시킨다.
재생중의 자막문 Mn이 갖는 자막표시시각 TMn과, 시크 포인트 관리정보(123)내의 각 영상표시시각 TRn을 비교하고, 자막표시시각 TMn의 직전의 영상표시시각 TRn을 특정한다(스텝 S26).
또한, 특정한 영상표시시각 TRn에 대응하는 영상위치 PRn이 나타내는 패킷의 영상프레임을 재생한다(스텝 S27). 도 5의 예에서는 영상표시시각 TRn에 대응지어진 영상위치 PRn(TSP의 번호)이 나타내는 비디오 PES의 IDR 프레임 In부터 재생을 개시한다. 또, 제어부(11)는 현재 재생중인 영상에 대응하는 자막문 Mn을 재생한다(스텝 S27).
계속해서, 제어부(11)는 스텝 S29∼S30의 처리를 실행하고, 자막첨부영상을 재생한다. 제어부(11)는 타이머(예를 들면, 제어부(11)내의 소프트웨어 타이머)에 의해 경과시간의 계측을 개시한다. 제어부(11)는 소정 시간이 경과한 것을 검출하면(스텝 S29； Yes), 재생중의 자막문이 콘텐츠 녹화 데이터(121)내에서 마지막의 자막문인지 아닌지를 판별한다. 마지막의 자막문이 아니면(스텝 S30； No), 처리는 스텝 S26으로 되돌아가고, 마지막의 자막문이면(스텝 S30； Yes), 자막첨부영상의 재생을 종료한다. 이상으로, 리스트첨부 시청모드와 통상시청모드를 전환하여, 콘텐츠를 재생하는 처리가 종료한다.
이상 설명한 바와 같이, 본 실시형태에서는 사용자는 간단한 조작으로, 「리스트첨부 시청모드」와 「통상시청모드」를 적절히 전환할 수 있다. 리스트첨부 시청모드에서는 표시된 자막리스트를 이용하여 임의의 자막을 적절히 선택하고, 선택한 자막과 대응하는 영상을 표시시킬 수 있다.
한편, 통상시청모드에서는 자막리스트가 표시되지 않고, 작은 화면을 유효하게 이용하여 각종 정보를 표시할 수 있다. 예를 들면, 영상과 자막을 빈 스페이스를 사용하여 표시해도 좋고, 혹은 다른 정보를 표시할 수도 있다. 따라서, 한편으로 자막 선택시의 조작성을 유지하면서, 다른 한편으로 화면에 표시하는 정보량을 억제하는 것에 의한 시인성의 향상을 균형있게 유지할 수 있다.
<응용예 1-1>
상술한 실시형태에 있어서, 동작모드를 전환했을 때에, 재생영상의 개시점 및 재생하는 자막문의 선택의 방법에 따라서는 영상이 시간축을 거슬러 오르는 바와 같은 인상을 주는 경우가 있다.
이 점을, 도 10을 참조하여 구체예에 의거하여 설명한다.
도 10은 영상 PES 및 자막 PES에 의해 정의되는 영상프레임(IDRn와 Pm)과 자막(Mn)의 표시타이밍을 예시하는 도면이다.
여기서, 예를 들면, 「리스트첨부 시청모드」하에서의 자막문 M2 및 IDR 프 레임 I2의 재생중에, 사용자가 「통상시청모드」로의 전환을 지시했다고 한다. 이 때, 제어부(11)는 전환전에 재생하고 있던 자막문 M2의 직전에 있는 IDR 프레임, 즉 IDR 프레임 I2부터 재생을 개시한다.
또한, 이 「통상시청모드」로의 전환 후, IDR 프레임 I2∼P프레임 P4의 사이에 있는 어느 하나의 영상프레임의 재생중에 「리스트첨부 시청모드」로의 전환이 지시되었다고 한다. 이 때, 제어부(11)는 지시되었을 때에 재생하고 있던 영상의 재생타이밍의 시간적으로 직전의 자막문 M1을 재생한다. 계속해서, 제어부(11)는 자막문 M1의 시간적으로 직전에 위치하는 IDR 프레임 I1부터 영상의 재생을 개시한다.
이 때문에, 표시가 거슬러 올라간 인상을 시청자에게 주어 버린다. 이 점은 동작모드의 전환을 빈번히 실행하면, 현저하게 된다.
이러한 문제를 해결하기 위해서는 「리스트첨부 시청모드」에서 「통상시청모드」로 전환했을 때에, 전환전에 표시하고 있던 영상의 표시시각(표시타이밍)보다 느린 재생타이밍을 갖는 자막문을 표시하면 좋다. 즉, 사용자가 시청모드를 「리스트첨부 시청모드」에서 「통상시청모드」로 전환했을 때에, 전환전에 재생하고 있던 영상의 재생타이밍을 스텝 S28에서 특정하고, 특정한 재생타이밍 이후에서 맨 앞의 재생타이밍을 갖는 자막문을 스텝 S30에서 추출하고, 재생을 개시시키도록 하면 좋다.
마찬가지로, 「통상시청모드」에서 「리스트첨부 시청모드」로 전환했을 때에, 스텝 S23에서 선택하는 자막문을, 스텝 S22에서 특정한 재생타이밍 이후에서 맨 앞의 재생타이밍을 갖는 자막문으로 하고, 또한 스텝 S25에서 재생하는 영상의 개시점을 해당 자막문의 재생타이밍보다 후의 독립프레임과 같이 하면 좋다.
도 10을 예로 들어 설명하면, 예를 들면, 「통상시청모드」→「리스트첨부 시청모드」의 전환시에 프레임 P3을 표시하고 있었다고 하면, 도 8의 스텝 S28에서 프레임 P3의 표시시각을 판별하고, 그 직후의 독립 영상프레임 IDR3부터 영상의 재생을 개시하고(스텝 S29), 프레임 P3의 시간적으로 직후의 자막문 M2를 재생한다(스텝 S30).
또, 「리스트첨부 시청모드」→「통상시청모드」의 전환시에 프레임 P3을 표시하고 있었다고 하면, 도 8의 스텝 S23에서 프레임 P3의 표시시각을 판별하고(스텝 S22), 그 직후의 자막문 M2를 재생대상으로 하고(스텝 S23), 독립 영상프레임 IDR3부터 영상의 재생을 개시한다(스텝 S25).
이것에 의해, 시청모드의 전환이 단기간에 반복 실행된 경우에도, 자막첨부영상의 재생중에, 재생타이밍을 거슬러 올라가 자막문 및 영상이 표시되는 것을 회피할 수 있다.
이상 설명한 바와 같이, 응용예 1-1에 의하면, 리스트첨부 시청모드와 통상시청모드를 전환했을 때에, 전환전에 재생하고 있던 영상의 재생타이밍 이후에서 맨 앞의 재생타이밍을 갖는 자막문을 표시시킨다. 이것에 의해, 시청모드의 전환의 반복에 의해, 이미 재생된 자막문이 재차 표시되는 것을 회피할 수 있다.
시청모드의 전환시에 선택하는 영상프레임과 자막문은 상술한 예에 한정되지 않으며, 적절히 선택 가능하다.
<응용예 1-2>
휴대전화는 일반적으로 현재위치를 바꾸면서 콘텐츠를 수신한다. 그 때문에, 위치에 따라서는 방송파를 양호하게 수신할 수 없어, 콘텐츠 녹화 데이터(121)의 일부가 결락하는 경우가 있다.
예를 들면, 도 11의 예에서는 콘텐츠 녹화 데이터(121)는 콘텐츠가 결락하는 시간대(데이터 결락구간 TB)에 있어서, P프레임 P21∼P프레임 P34의 데이터 및 I프레임 IDR2∼IDR6의 데이터, 및 자막문 M1∼M3의 데이터가 결락하고 있다.
이 콘텐츠 녹화 데이터(121)를 「통상시청모드」에 있어서 데이터 결락구간 TB의 직후까지 재생했을 때에, 사용자가 「리스트첨부 시청모드」로의 전환을 지시했다고 한다. 이 때, 재생중의 자막문은 자막문 M4이다.
제어부(11)는 전환후에 최초로 재생하는 영상으로서 자막문 M4의 직전의 IDR 프레임을 추출한다. 여기서는 데이터 결락구간 TB에 있어서의 영상프레임이 존재하지 않기 때문에, 자막문 M4의 직전에 있는 IDR 프레임으로서 I프레임 IDR1을 추출하고, 재생한다. 이 경우, 재생중의 자막문 M4의 내용에 맞지 않는 영상이 재생될 우려가 있다.
이 문제를 해결하기 위해서는 데이터 결락구간 TB에 있어서의 콘텐츠의 재생중, 그 영상 대신에, 소정의 화면(예를 들면, 검게 칠한 화면)을 표시시키면 좋다. 이하, 이러한 동작을 실행하는 응용예 1-2의 휴대전화(1)에 대해 설명한다.
응용예 1-2에 있어서, 리스트첨부 시청모드와 통상시청모드를 전환하여, 콘텐츠를 재생하는 처리는 기본적으로 도 8을 참조하여 설명한 처리와 동일하다. 단, 응용예 1-2에서는 제어부(11)는 「리스트첨부 시청모드」에 있어서, 전술한 스텝 S25(도 9) 대신에, 도 12에 나타내는 스텝 V11∼V13의 처리를 실행한다.
제어부(11)는 도 8에 나타내는 스텝 S21∼S23의 처리를 실행하고, 「리스트첨부 시청모드」로의 전환을 검출하면, 재생하는 자막문을 특정한다. 다음에, 처리는 도 12의 스텝 V11로 진행하여, 특정한 자막문의 직전의 IDR을 특정하고, 다음에, 시크 포인트 관리정보(123)를 참조하여, 그 IDR의 표시시각을 구하고, 특정한 자막문의 자막표시시각 TMn과, 그 자막표시시각의 직전의 IDR 프레임의 영상표시시각의 차를 구한다(스텝 V11).
그 차가 소정값(예를 들면, 5초) 이상인 경우(스텝 V11； Yes), 콘텐츠 녹화 데이터(121)의 영상 대신에, 소정의 화면(예를 들면, 검게 칠한 화면, 화상이 결락되어 있다는 취치의 메세지)을 표시시킨다(스텝 V12). 이것에 의해, 콘텐츠 녹화 데이터(121)의 데이터가 일부 결락하고 있어도, 재생중인 자막문에 맞지 않는 영상이 표시되는 것을 회피할 수 있다.
한편, 구한 차가 소정값보다 작으면(스텝 V11； No), 영상위치 PRn이 나타내는 영상프레임을 표시시킨다(스텝 V13). 스텝 V13의 처리는 도 9에서 나타낸 예와 동일하다.
이상 설명한 바와 같이, 응용예 1-2에 의하면, 콘텐츠 녹화 데이터(121)내에 데이터 결락구간 TB가 존재하고, 그 구간이 소정시간보다 큰 경우, 콘텐츠의 영상 대신에, 소정의 화면을 표시시킨다. 이것에 의해, 재생중인 자막문에 맞지 않는 영상이 표시되는 것을 회피할 수 있다.
<변형예>
이상의 설명에 있어서는 자막문의 선택을 용이하게 하기 위해 자막문의 리스트를 표시하였지만, 자막문의 선택을 가능하게 하는 방법은 임의이다. 예를 들면, 자막문에 대응하는 아이콘이나 버튼을 표시하고, 이들 선택에 의해 자막문을 선택하도록 해도 좋다. 또, 자막문의 리스트를 계층화하는 등 해도 좋다. 또한, 키보드로부터의 입력으로 직접 자막문의 선택을 접수하도록 해도 좋다.
또, 도 8의 예에 있어서 「리스트첨부 시청모드」에서 「통상시청모드」로 전환한 경우, 「리스트첨부 시청모드」에서 스텝 S25의 처리를 종료하고 있으면, 스텝 S28∼S29의 처리를 실행하지 않아도 좋다. 그 경우, 전환전에 재생하고 있던 영상프레임으로부터 재생을 실행하면 좋다.
자막표시시각 TMn은 자막첨부영상의 재생개시시에 한정되지 않으며, 임의의 시각을 기준으로 해서 나타내도 좋다. 또, 자막표시시각 TMn 및 영상표시시각 TRn은 시분초 단위 또는 PTS(Presentation Time Stamp) 단위에 한정되지 않으며, 임의의 단위로 나타내도 좋다.
「통상시청모드」에서는 자막문을 표시하지 않고 콘텐츠를 재생해도 좋다. 또, 필요에 따라서, 빨리감기기능을 갖도록 구성해도 좋다.
「통상시청모드」에서 「리스트첨부 시청모드」로 전환한 경우, 비디오 PES로부터의 영상프레임 추출처리를 실행하지 않고, 자막관리 데이터(122)의 자막표시시각 TMn과 시크 포인트 관리정보(123)의 영상표시시각 TRn을 비교하고, 자막표시시각 TMn의 직전의 영상위치 PRn이 나타내는 TSP의 영상을 표시시켜도 좋다.
<실시형태 2>
이하, 본 발명의 제 2 실시형태에 관한 휴대전화에 대해 설명한다. 　
본 실시형태의 휴대전화(1)는 도 1 및 도 2에 나타내는 구성과 동일한 구성을 구비한다.
다음에, 도 13 내지 도 32를 참조하여, 휴대전화(1)의 자막첨부영상의 재생동작에 대해 설명한다.
본 실시형태에 있어서, 복수의 자막문과 각 자막문에 대응하는 각 영상을 동시에 재생하여 표시시키는 것도 가능하다(이하, 이 표시상태를 「복수영상 표시모드」라 함). 사용자는 표시전환버튼(4) 또는 소프트키의 조작에 의해 자막첨부영상을 시청할 때에, 표시패널(5)에 동시에 표시시키는 자막문 및 영상의 수를 선택하는 것이 가능하다.
제어부(11)는 제 1 실시형태와 마찬가지로, 콘텐츠의 녹화 후, TV신호가 포함하는 자막 PES(Packetized Elementary Stream)에 저장되어 있는 정보를 추출하고, 자막관리 데이터(122)를 생성한다. 자막관리 데이터(122)를 생성하는 동작은 도 6에 나타내는 제 1 실시형태에서 자막관리 데이터(122)를 작성하는 동작과 동일하다.
자막 PES는 패킷화된 자막의 압축 부호화 데이터이며, 자막관리 데이터(122)를 생성하기 위해 필요한 정보를 갖는다. 구체예로 설명하면, TV신호가 도 13에 나타내는 TV신호 SG로 한 경우, 자막 PES는 자막문 Mn(n：1∼N, N：TV신호 SG에 포함되는 자막 PES의 수), 자막 재생타이밍 tn(n：1∼N)의 정보, 제어부호 CSn(n：1∼ N) 등의 정보를 갖는다.
「자막문」은 자막첨부영상의 자막문의 내용을 나타내는 데이터이다. 「자막 재생타이밍」은 「자막문」을 재생하는 타이밍을 PTS(Presentation Time Stamp) 단위로 나타낸 타이밍이다. 도 13에 나타내는 TV신호 SG의 예에서는 복수의 자막 재생타이밍 t1∼tN은 각 자막문 M1∼MN을 재생하는 타이밍(PTS 단위)에 대응한다.
제어부호는 자막문을 소정의 단위로 일괄하여 구획하는 것을 의미하는 부호이다. 도 13에 나타내는 TV신호 SG의 예에서는 복수의 제어부호 CS1∼CSN은 각 자막문 M1∼MN에 대응하고, 각 자막문을 구획하는 것을 의미한다. 제어부(11)는 TV신호 SG에 포함되는 제어부호 CSn(n：1∼N)의 수와 동일수의 자막문을 추출한다. 이하, 제어부(11)가 전술한 자막 PES로부터 정보를 추출하고, 자막관리 데이터(122)를 생성하는 처리(도 6)에 대해, 도 13의 TV신호 SG를 예로 들어 설명한다.
도 6에 나타내는 바와 같이, 제어부(11)는 자막관리 데이터(122)의 생성을 개시하면, 우선 상술한 TV신호 SG로부터 자막 PES의 추출을 시도하고, TV신호 SG내의 자막 PES의 유무를 판별한다(스텝 S11). 없으면(스텝 S11； No), 제어부(11)는 자막관리 데이터(122)의 생성을 종료한다.
TV신호내에 자막 PES가 있으면(스텝 S11； Yes), 자막 PES의 추출후(스텝 S12), 제어부(11)는 그 자막 PES에 포함되는 정보로부터 자막문을 추출할 수 있었는지 없었는지를 판별한다(스텝 S13). 자막문을 추출할 수 있었으면(스텝 S13； Yes), 제어부(11)는 자막 PES를 해석하고, 자막문의 재생타이밍(PTS 단위)을 나타내는 정보를 꺼낸다.
계속해서, 제어부(11)는 도 13에 나타내는 TV신호 SG의 자막 PES로부터 최초로 추출한 자막문 M1의 자막 재생타이밍 t1로부터, 선두에 있는 영상 R1의 재생타이밍 TR1을 빼고, 선두의 영상 R1의 재생개시부터 자막문 M1의 재생시에 이를 때까지의 경과시간(PTS 단위)을 구한다(스텝 S14). 여기서 얻어지는 경과시간(PTS 단위)은 선두 영상의 재생타이밍을 기준시각 0으로 했을 때의 오프셋 시각에 상당한다.
계속해서, 제어부(11)는 스텝 S14에서 구한 경과시간(PTS 단위)을 통상의 시분초 단위로 환산하고(스텝 S15), 그 경과시간(시분초 단위)를 자막표시시각 TM1로서 자막관리 데이터(122)에 저장한다(스텝 S16).
도 13의 구체예로 설명하면, 제어부(11)는 스텝 S14에서 구한 경과시각(PTS 단위)을 시분초 단위로 환산한 「00：00：00」을 자막표시시각 TM1로서 자막관리 데이터(122)에 저장한다. 또한, 자막문의 표시시각은 시분초단위로 환산하지 않고 PTS 단위인 채 나타내도 좋다.
표시시각의 저장 후, 제어부(11)는 자막관리 데이터(122)에 저장하는 자막문을 TV신호로부터 추출한다. 그 때문에, 제어부(11)는 도 13에 나타내는 바와 같이, TV신호 SG의 최초의 자막 PES에 포함되는 제어부호 CS1 직전에 구획되는 문자열(「안녕하세요. 좋은 날씨입니다.」)을 자막관리 데이터(122)의 자막문 M1로서 저장한다(스텝 S17). 또한, TV신호 SG내에 제어부호 CS1 밖에 포함되지 않는 경우, 제어부(11)는 TV신호 SG에 포함되는 모든 자막문을 자막문 M1로서 자막관리 데이터(122)에 저장시킨다.
최초의 자막문 M1의 저장 후, 제어부(11)는 TV신호 SG내의 마지막 제어부호 CSN에 도달했는지의 여부를 판별한다(스텝 S18). 마지막의 제어부호에 도달해 있지 않으면(스텝 S18； No), 처리는 스텝 S11로 되돌아간다. 제어부(11)는 다음의 자막 PES를 추출하고(스텝 S12), 도 13에 나타내는 TV신호내의 제어부호 CS1과 제어부호 CS2의 사이에 있는 자막 재생타이밍(PTS 단위) t2를 취득한다. 취득 후, 제어부(11)는 그 자막 재생타이밍(PTS 단위) t2에서 선두의 영상 R1의 재생타이밍 TR1을 빼고(스텝 S14), 구한 경과시간을 PTS 단위에서 시분초 단위로 환산한다(스텝 S15).
제어부(11)는 스텝 S115에서 단위를 환산한 경과시간(「00:00:20」)을 자막표시시각 TM2로서 자막관리 데이터(122)에 저장한다(스텝 S16).
또, 제어부(11)는 자막관리 데이터(122)의 자막문 M2로서, 최초의 제어부호 CS1에서 다음의 제어부호 CS2까지의 사이에 포함되는 문자열을 저장한다(스텝 S17). 도 13에 나타내는 TV신호 SG의 예에서는 제어부(11)는 제어부호 CS1과 제어부호 CS2의 사이에 있는 문자열 「안녕하세요.」를 저장한다. 또한, 제어부(11)는 자막문 Mn(n：1∼N)을 자막표시시각 TMn(n：1∼N)에 의해 오름순으로 분류한다.
제어부(11)는 TV신호 SG내의 마지막의 제어부호 CSN에 도달할 때까지(스텝 S18；Yes), 이상의 처리를 반복하고, 자막관리 데이터(122)를 생성한다.
사용자가 표시전환버튼(4) 또는 소프트키의 조작에 의해, 「복수영상 표시모드」를 선택하면, 제어부(11)는 생성한 자막관리 데이터(122)에 의거하여, 복수의 자막문과 각 자막문의 재생타이밍에 대응하는 재생타이밍이 부여된 각 영상을 동시 에 재생 표시시킨다. 또한, K개(K코머)의 자막문 및 각 영상을 동시에 표시하는 복수영상 표시모드를 「K코머 표시모드」라고 한다.
이하에서는 3개의 자막문과 각 자막문의 재생타이밍에 대응하는 각 영상을 동시에 표시시키는 「3코머 표시모드」를 예를 들어, 본 실시형태의 복수의 자막문과 각 자막문의 재생타이밍에 대응하는 영상을 동시에 재생 표시하는 동작에 대해 설명한다.
사용자가 표시전환버튼(4) 또는 소프트키를 조작하여 「3코머 표시모드」를 선택하면, 제어부(11)는 표시패널(5)상에 각 데이터를 표시시키는 영역 전체로부터, 3개의 자막문과 각 자막문에 대응하는 각 영상을 표시시키기 위한 영역을 할당하는 처리를 실행한다. 이하, 이 처리에 대해, 도 14를 참조하여 설명한다.
우선, 제어부(11)는 표시패널(5) 전체에 대응하는 가상적인 표시영역 D에서, 픽트 아이콘을 표시시키기 위한 픽트영역 PA, 소프트키를 표시시키기 위한 소프트키 영역 FA를 뺀다.
다음에, 제어부(11)는 픽트영역 PA 및 소프트키영역 FA를 뺀 표시영역 D의 나머지 영역으로부터, i) 자막문을 표시시키기 위한 자막영역 MA로서 할당하는 가상적인 영역의 사이즈 및 위치, ii) 영상을 표시시키기 위한 영상영역 RA로서 할당하는 가상적인 영역의 사이즈 및 위치를 결정한다. 자막영역 MA 및 영상영역 RA는 예를 들면, 원세그 방송에 있어서의 자막 가상면 및 영상 가상면이다.
자막영역 MA, 영상영역 RA의 사이즈를 구하는 방법은 임의이지만, 일예로서 이하의 방법을 채용할 수 있다. 제어부(11)는 자막문에 포함되는 문자의 수와 폰트 데이터의 종횡의 화소수에 의거하여, 자막문의 표시에 필요한 영역의 사이즈를 결정한다. 또, 제어부(11)는 각 영상의 종횡의 화소수로부터, 각 영상의 표시에 필요한 영역의 사이즈를 결정한다.
사이즈의 결정 후, 제어부(11)는 자막영역 MA 및 영상영역 RA를 표시영역 D내에서 확보하는 위치를 결정한다. 자막영역 MA, 영상영역 RA의 위치를 구하는 방법은 임의이지만, 일예로서 이하의 방법을 채용할 수 있다. 제어부(11)는 자막영역 MA와 영상영역 RA가 중첩되지 않도록, 각 영역의 위치를 결정한다. 또한, 자막영역 MA 및 영상영역 RA의 위치를 결정했을 때에, 제어부(11)는 자막영역 MA, 영상영역 RA를 나타내는 직사각형의 4개의 정점의 좌표값(x, y)을 각각 기억부(12)에 기억시킨다.
계속해서, 제어부(11)는 표시시키는 자막문의 수 및 영상의 수(「3코머 표시모드」에서는 모두「3」)에 따라, 자막영역 MA 및 영상영역 RA를 각각 복수의 영역으로 분할한다. 제어부(11)는 자막영역 MA의 종방향(y방향)의 폭(y2-y1)을 균등하게 3분할했을 때의 2개의 분할점에 대응하는 y좌표값을 구한다. 구한 y좌표값이 도 15에 나타내는 자막영역 MA2를 정의하는 직사각형의 4개의 정점의 y좌표값으로 된다.
또, 제어부(11)는 도 14에 나타내는 자막영역 MA상의 x좌표의 최소값 x1 및 최대값 x0을 먼저 구한 2개의 분할점의 y좌표값에 조합하고, 도 15에 나타내는 자막영역 MA2의 4개의 정점의 좌표값(x, y)을 정한다. 제어부(11)는 자막영역 MA에서 자막영역 MA2를 빼고 얻어지는 2개의 영역을 각각, 도 15에 나타내는 자막영역 MA1, MA3으로 설정한다. 도 14에 나타내는 영상영역 RA를 도 15에 나타내는 영상영역 RA1∼RA3으로 분할할 때에도, 자막영역 MA를 3분할할 때와 실질적으로 동일한 방법을 적용하면 좋다.
제어부(11)는 분할 후의 자막영역은 자막관리 데이터(122)에 등록되어 있는 연속된 자막문 Mn을 표시하는 영역이다. 도 15에 나타내는「3코머 표시모드」의 화면 D1의 예에서는 제어부(11)는 자막영역 MA1상에 도 4에 나타내는 자막관리 데이터(122)중에서 맨 앞의 재생타이밍(자막표시시각 TM1)을 갖는 자막문 M1을 표시시키고, 자막영역 MA2에는 자막문 M1의 차순의 자막표시시각 TM2를 갖는 자막문 M2를 표시시킨다. 또, 제어부(11)는 자막영역 MA3에 자막문 M2의 차순의 자막문 M3을 표시시킨다.
제어부(11)는 분할 후의 각 영상영역에, 분할후의 각 자막영역에 표시되어 있는 각 자막문의 재생타이밍에 대응하는 재생타이밍을 갖는 각 영상을 각각 표시시킨다. 도 15에 나타내는 화면 D1의 예에서는 제어부(11)는 분할 후의 영상영역 RA1∼RA3에, 자막문 M1∼M3의 재생타이밍에 대응한 영상으로서 인물의 얼굴을 나타내는 영상 R1∼R3을 표시시킨다.
제어부(11)는 복수의 영상영역상에 현재 재생중인 각 자막문에 대응하는 각 영상을 표시시키기 위해, TV신호 SG의 영상신호로부터, 각 자막문의 재생타이밍에 대응하는 영상(영상프레임)을 추출한다. 이하, 제어부(11)가 영상데이터(121)를 검색하여, 도 15에 나타내는 화면 D1에 표시되어 있는 각 영상을 각 영상영역에 표시시키는 처리에 대해 설명한다.
사용자가 조작부(13)의 조작에 의해, 자막첨부영상 시청용의 어플리케이션의 개시 또는 「3코머 표시모드」의 선택을 지시하면, 제어부(11)는 도 16의 흐름의 처리를 실행한다.
도 16의 처리에 있어서, 제어부(11)는 TV신호 SG의 영상데이터(121)로부터, 표시패널(5)상의 각 영상영역에 표시시키는 수(이하, 「표시 영상수」라 함)의 영상을 취득한다. 제어부(11)는 취득한 영상의 수(이하, 「취득 완료수 」라 함)가 「표시 영상수」에 도달할 때까지 영상의 취득을 반복하고, 취득한 각 영상을 각 영상영역상에 표시시킨다.
「취득 완료수」의 카운트를 개시하기 위해, 제어부(11)는 우선, 취득완료 영상 카운터 C(도시하지 않음)를 클리어하여 0으로 설정한다(스텝 S1121). 또, 스텝 S1121에서, 제어부(11)는 TV신호 SG로부터 취득할 예정의 영상의 수(이하, 「취득 예정수」라 함)를 「표시 영상수」에 일치하도록 설정한다. 도 15에 나타내는 「3코머 표시모드」의 화면 D1의 예에서는 표시 영상수는 「3」이며, 제어부(11)는 취득 예정수를 「3」으로 설정한다.
다음에, 제어부(11)는 TV신호 SG의 영상신호에 포함되는 비디오 PES를 추출하고, 비디오 PES에 포함되는 정보에 의거하여, 각 자막문의 표시시각에 대응하는 영상의 재생타이밍(PTS 단위)을 특정한다. 그 때문에, 제어부(11)는 TV신호 SG의 영상신호로부터 비디오 PES를 추출하고, TV신호 SG 중에서 가장 선두에 있는 영상프레임의 정보를 추출한다(스텝 S1122).
이 영상프레임의 정보는 영상의 데이터 및 그 영상이 재생되는 재생타이밍을 나타내는 정보를 포함한다. 영상프레임의 정보는 예를 들면, 원세그 방송이면, IDR(Instantaneous Decoder Refresh) 액세스 유닛 또는 비IDR 액세스 유닛이다. 구체예로 설명하면, TV신호가 도 13에 나타내는 TV신호 SG로 한 경우, 영상프레임의 정보는 영상(영상프레임)의 데이터, 그 선두에 있는 영상 R1을 재생하는 재생타이밍 TR1을 나타내는 정보를 포함한다. 또한, 재생타이밍 TR1은 PTS 단위로 나타나고 있다.
제어부(11)는 스텝 S1122에서 추출한 영상프레임의 정보로부터, 추출한 영상프레임이 IDR 프레임인지 아닌지를 판별한다(스텝 S1123). 추출한 영상프레임이 IDR 프레임이 아니면(스텝 S1123； No), 처리는 스텝 S1122로 되돌아가고, 제어부(11)는 가장 선두에 있는 IDR 프레임의 정보를 추출하기 위해, 다음의 영상프레임의 정보를 TV신호 SG로부터 추출한다.
한편, 현재 추출중인 영상프레임이 IDR 프레임이면(스텝 S1123； Yes), 제어부(11)는 선두의 영상프레임의 재생을 개시하고 나서 그 IDR 프레임의 재생에 이를 때까지의 경과시간을 구한다(스텝 S1124). 이 때, 제어부(11)는 그 IDR 프레임이 갖는 재생타이밍(PTS 단위)에서 TV신호 SG의 선두에 있는 영상 R1의 재생타이밍(PTS 단위) TR1을 빼고, 그 경과시간을 구한다. 또한, 스텝 S1124에서 구한 경과시간은 TV신호 SG내에서 선두에 있는 영상의 재생시각을 기준시각 0으로 했을 때의, 현재 추출되어 있는 영상의 재생시에 이를 때까지의 오프셋시각이다.
제어부(11)는 자막관리 데이터(122)의 최초에 저장되어 있는 자막문 M1의 자막표시시각 TM1이 스텝 S1124에서 구한 경과시간보다 큰지 아닌지를 판별한다(스텝 S1125). 이 판별처리는 현재 추출되어 있는 IDR 프레임이, 자막문 M1이 대응하는 영상 R1에 의해 참조되는 프레임일 가능성의 유무를 판별하기 위해 실행된다.
자막문 M1의 표시시각 TM1이 선두의 영상의 재생개시로부터 현재 추출중인 IDR 프레임의 재생시에 이를 때까지의 경과시간보다 큰 경우(스텝 S1125； Yes), 현재 추출중인 IDR 프레임은 자막문 M1보다 먼저 재생되는 것이고, 자막문 M1이 대응하는 영상프레임에 의해서 참조되는 프레임일 가능성이 있다. 그 때문에, 제어부(11)는 스텝 S1124에서 추출한 영상프레임의 데이터의 위치(예를 들면, 기억부(12)내에서 저장되어 있는 어드레스)를 보존한다(스텝 S1126). 그 후, 처리는 스텝 S1122로 되돌아가고, 제어부(11)는 또한 영상프레임을 시크하고, 그 정보를 추출한다.
제어부(11)는 다음에 추출한 영상프레임의 재생타이밍에서 TV신호 SG의 가장 선두에 있는 영상 R1의 재생타이밍 TR1을 빼고, 다음에 추출한 영상프레임의 경과시간을 구한다. 그 경과시간도 자막문 M1의 표시시각 TM1보다 작으면(스텝 S1125； Yes), 그 영상프레임은 직전에 추출한 IDR 프레임보다 후에 재생되고 또한 자막문 M1보다 전에 재생된다. 그 때문에, 제어부(11)는 직전에 추출한 영상프레임의 데이터의 위치 대신에, 현재 추출중인 영상프레임의 데이터의 위치를 기억부(12)에 기억시킨다(스텝 S1126).
한편, 스텝 S1125에 있어서, 선두 영상의 재생개시부터 현재 추출중인 영상프레임이 재생될 때까지의 경과시간보다 자막문 M1의 자막표시시각 TM1이 작으면(스텝 S1125； No), 현재 추출중인 IDR 프레임은 자막문 M1에 대응하는 영상 R1보 다 후에 재생되고 또한 전회 추출된 IDR 프레임은 자막문 M1에 대응하는 영상 R1보다 먼저 재생되는 IDR 프레임중에서 재생타이밍이 가장 가까운 영상 R1에 가까운 프레임이다. 그 때문에, 제어부(11)는 스텝 S126에서 보존한 위치를, 영상영역 RA1에 표시시키는 영상 R1이 참조하는 IDR 프레임의 위치로서 기억부(12)에 기억시킨다(스텝 S1127).
계속해서, 제어부(11)는 영상프레임을 1개 취득한 것을 나타내기 위해, 취득완료 영상 카운터 C에 1을 가산한다(스텝 S1128). 여기서, 취득완료 영상 카운터 C를 1가산한 것에 의해, 「취득 완료수」가 영상영역에 표시시키는 영상의 수와 동일수로 설정된 「취득 예정수」에 도달한 경우, 이후, 영상 데이터(121)로부터 영상을 추출할 필요가 없다. 제어부(11)는 그 판별을 실행하기 위해, 취득완료 영상 카운터 C가 「취득 예정수」에 도달했는지의 여부를 판별한다(스텝 S1129). 「취득 예정수」에 도달해 있지 않으면(스텝 S1129； No), 처리는 스텝 S1122로 되돌아가고, 제어부(11)는 또한 영상프레임을 시크한다.
취득 영상수 카운터 C의 값이 「취득 예정수」(3코머 표시모드에서는 3)에 도달한 경우(스텝 S1129； Yes), 제어부(11)는 영상데이터의 위치정보에 따라, 각 영상프레임을 읽어낸다. 여기서 읽어내어지는 각 영상프레임은 도 15에 나타내는 화면 D1에 표시되어 있는 영상 R1∼R3에 상당한다.
계속해서, 제어부(11)는 표시부(14)를 통해, 영상데이터(121)로부터 읽어내어진 영상 R1을, 표시패널(5)상의 영상영역 RA1에 표시시킨다. 또, 제어부(11)는 영상데이터(121)내에서 영상 R1의 다음의 재생타이밍을 갖는 영상 R2를 영상영역 RA2에 표시시키고, 영상 R2의 다음의 영상 R3을 영상영역 RA3에 표시시킨다(스텝 S11210). 또한 이 때, 제어부(11)는 상술한 방법에 의해, 영상 R1∼R3을 표시시키기 위해, 영상영역 RA를 분할하여 각 영상영역 RA1∼RA3을 설정하는 처리를 실행한다.
또, 제어부(11)는 영상영역에 표시된 영상이 갖는 재생타이밍에 대응하는 재생타이밍의 자막문을 자막영역 MA1, MA2, MA3에 표시한다. 도 15에 나타내는 화면 D1의 예에서는 자막영역 MA1∼MA3에 자막문 M1∼M3를 표시시킨다. 이상으로, 복수의 자막문을 각 자막영역에 표시하고, 각 자막문에 대응하는 영상을 각 영상영역에 표시할 수 있다.
다음에, 각 자막영역 및 각 영상영역상에, 현재 표시중인 각 자막문 및 각 영상을 별개의 자막문 및 별개의 영상으로 교체하여 표시시키는 것에 의해, 사용자의 편리성을 향상시키는 실시형태에 대해 설명한다. 상기에 설명한 「3코머 표시모드」에 있어서, 현재 표시중인 자막문 및 영상을 1코머(1자막문)씩 위 또는 아래방향으로 코머보냄(1코머 스크롤) 할 수 있으면, 사용자는 콘텐츠의 내용을 순차 파악 가능하게 되어, 편리성이 향상한다.
각 자막영역 및 각 영상영역에 현재 표시중인 자막문 및 영상을 1코머 스크롤시킬 경우, 각 자막영역 및 각 영상영역에, 현재 표시중인 각 자막문 및 각 영상 대신에 그 전 또는 후의 재생타이밍을 갖는 자막문 및 그 자막문에 대응하는 영상을 표시하면 좋다.
구체예로서, 1코머만큼 아래방향으로 스크롤시키는 대상의 화면이 도 17의 (a)에 나타내는 화면 D21이라고 한다. 화면 D21 대신에, 도 17의 (b)에 나타내는 화면 D22를 표시시키기 위해서는 화면 D21상의 자막영역 MA1∼MA3에 현재 표시되어 있는 각 자막문 M1∼M3 대신에, 그 다음의 재생타이밍을 갖는 각 자막문 M2∼M4를 표시시키면 좋다. 또, 각 자막문 M2∼M4에 대응하는 각 영상 R2∼R4를 현재 표시중의 각 영상 R1∼R3 대신에, 각 영상영역 RA1∼RA3에 표시시키면 좋다.
이하, 도 18을 참조하여, 각 자막영역에 표시되어 있는 자막문을 1코머씩 스크롤 표시시키는 동작에 대해 설명한다. 또한, 화면 D21 및 D22에 표시되는 자막문은 도 4에 나타내는 자막관리 데이터(122)에 저장되어 있는 자막문인 것으로 하고(자막문의 수는 N개), 자막영역 MA1에 현재 표시중의 영상은 자막관리 데이터(122)의 선두부터 n번째에 위치하는 자막문 Mn인 것으로 한다(n：1 내지 N까지의 정의 정수).
제어부(11)는 사용자가 커서키(3)를 아래방향으로 누르면(스텝 S131； Yes), (N-n)과 2를 비교한다. 환언하면, 자막영역 MA3에 현재 표시중인 자막문이 자막관리 데이터(122)의 마지막에 저장되어 있는 자막문 MN인지 아닌지를 판별한다(스텝 S132). （N-n)이 2보다 크면(스텝 S132；＞), 자막영역 MA3에 현재 표시중인 자막문은 자막관리 데이터(122)의 마지막에 저장되어 있는 자막문 MN(마지막의 재생타이밍을 갖는 자막문)은 아니다. 이 때, 제어부(11)는 각 자막영역 MA1∼MA3에, 현재 표시중인 각 자막문 대신에 각 자막문의 차순에 있는 각 자막문을 표시시킨다(스텝 S133). 구체예에서는 도 17의 (a)의 화면 D21에 표시중인 자막문 M1∼M3이 도 17의 (b)의 화면 D22의 자막문 M2∼M4로 교체된다.
또, 제어부(11)는 스텝 S133에서 새로이 표시시킨 각 자막문에 대응하는 각 영상을 영상데이터(121)로부터 읽어내고, 각 자막영역 RA1∼RA3에 표시시킨다(스텝 S134). 구체예에서는 화면 D21에 표시중인 영상 R1∼R3이 화면 D22의 영상 R2∼R4로 교체된다. 이상으로, 아래방향으로 1화면 스크롤 표시시키는 처리가 종료된다.
한편, 스텝 S132에 있어서 (N-n)이 2이면, 자막영역 MA3에 표시중인 자막문은 자막관리 데이터(122)내의 마지막에 저장되어 있는 자막문이다. 이 때, 제어부(11)는 처리를 종료하고, 사용자가 아래방향으로 커서키(3)를 눌러도, 현재의 각 자막영역 MA1∼MA3에 표시되어 있는 자막의 표시를 유지한다.
한편, 사용자가 커서키(3)를 위방향으로 누른 경우(스텝 S135； Yes), 1코머씩 전의 자막문 및 영상을 표시시키는 상부 스크롤 표시가 실행된다.
이 때, 제어부(11)는 맨 앞의 자막영역 MA1에 표시중인 자막문 Mn이 자막관리 데이터(122)중에서 선두에 있는 자막문 M1인지 아닌지를 판별하기 위해, (n-1)이 0보다 큰지 아닌지를 판별한다(스텝 S136).
(n-1)이 0보다 크면(스텝 S136；>), 자막영역 MA1에 표시중인 자막문 Mn은 선두의 자막문 M1은 아니다. 이 때, 제어부(11)는 각 자막영역 MA1∼MA3에, 표시중인 각 자막문보다도 1개전의 표시시각이 부여된 각 자막문을 표시시킨다(스텝 S137). 또한, 제어부(11)는 스텝 S137에서 새로이 표시시킨 자막문에 대응하는 영상을 영상데이터(121)로부터 읽어내고, 영상영역 RA1∼RA3에 표시시킨다(스텝 S138).
구체적으로는 도 17의 (b)에 나타내는 화면 D22가 표시되어 있는 경우, 사용 자가 위방향으로 커서키(3)를 누르면, 스텝 S137의 처리에 의해, 자막영역 MA1∼MA3에는 표시중인 자막문 M2∼M4 대신에 자막문 M1∼M3이 표시된다. 또, 스텝 S138의 처리에 의해, 영상영역 RA1∼RA3에는 자막문 M1∼M3의 재생타이밍에 대응한 영상 R1∼R3이 표시중인 영상 R2∼R4 대신에 표시된다. 이것에 의해, 도 17의 (a)에 나타내는 화면 D21이 표시된다.
한편, 스텝 S136에 있어서 (n-1)이 0이면(스텝 S136；=), 자막영역 MA1에 표시중인 자막문은 자막관리 데이터(122)내에서 선두에 있는 자막문 M1이다. 이 때, 제어부(11)는 사용자가 위방향으로 커서키(3)를 눌러도, 각 자막영역 MA1∼MA3상에서 표시중인 자막문 M1∼M3의 표시를 유지한다. 이상으로, 사용자가 커서키(3)를 위방향 또는 아래방향으로 눌렀을 때에, 자막문과 그 자막문에 대응하는 영상을 1코머 스크롤하여 표시시킬 수 있다.
또한, 상기에 설명한 1코머 스크롤의 흐름의 처리내용을 일부 변경하고, 현재 표시중인 각 자막문을 각 자막문으로부터 세어 「표시 영상수(3코머 표시모드에서는 3)」만큼 전 또는 후에 위치하는 각 자막문으로 전부 교체한다. 이 때, 마치 책의 페이지를 넘기도록 표시시킬 수 있다(이 동작을 이하 「페이지 넘김」이라고 함).
또, 이하에서는 표시중의 각 자막문 및 각 영상 대신에, 「표시 영상수」분만큼 후의 재생타이밍이 부여된 각 자막분 및 각 영상을 표시시키는 동작을 「페이지를 보낸다」라고 한다. 또, 「표시 영상수」분만큼 전의 재생타이밍이 부여된 각 자막분 및 각 영상을 표시시키는 동작을 「페이지를 되돌린다」라고 한다. 이하, 「3코머 표시모드」를 예로 들어, 휴대전화(1)가 「페이지 넘김」을 실행할 때의 처리에 대해 설명한다.
도 20에 나타내는 바와 같이, 제어부(11)는 사용자에 의해 「페이지 보냄」이 지시되었는지 아닌지를 판별하기 위해, 커서키(3)의 우측방향으로의 누름의 유무를 판별한다(스텝 S141). 있으면(스텝 S141； Yes), 제어부(11)는 「페이지 보냄」의 가부를 판별하기 위해, 각 자막영역 MA1∼MA3에 마지막에서 3번째 이내의 자막문이 표시중인지 아닌지를 판별한다(스텝 S142). 표시중이 아니면(스텝 S142； No), 제어부(11)는 자막영역 MA1∼MA3에, 현재 표시중인 각 자막문 대신에 현재 표시중인 각 자막문보다 3개 후의 재생타이밍이 부여되어 있는 자막문을 표시시킨다(스텝 S143). 또, 각 자막영역 MA1∼MA3에 표시시킨 자막문에 대응하는 영상을 각 영상영역 RA1∼RA3에 표시시키고, 페이지를 보낸다(스텝 S144).
페이지를 보냈을 때의 표시패널(5)상의 화면의 천이를 구체예로 설명한다. 페이지를 보내는 대상의 화면이 도 19의 (a)에 나타내는 화면 D31이라고 한다. 화면 D31상의 영상영역 RA1, RA2, RA3에는 영상 R1, 영상 R2, 영상 R3이 표시되고, 자막영역 MA1, MA2, MA3에는 자막문 M1, 자막문 M2, 자막문 M3이 표시되어 있다.
여기서, 사용자가 커서키(3)를 우측방향으로 누르면, 제어부(11)는 자막영역 MA1∼MA3에, 자막문 M1∼M3보다 「표시 영상수(3)」만큼 후의 재생타이밍이 부여된 자막문 M4∼M6을 표시시키고, 또한 영상영역 RA1∼RA3에 영상 R4∼R6을 표시시킨다. 이 때, 도 19의 (b)에 나타내는 화면 D32가 표시패널(5)에 표시된다. 이후, 사용자가 커서키(3)를 우측방향으로 누를 때마다, 순차 자막문 및 그 자막문에 대응 하는 영상의 페이지가 보내진다.
또, 페이지를 되돌리는 경우, 제어부(11)는 도 20에 나타내는 스텝 S145에 있어서 커서키(3)의 좌측방향으로의 누름의 유무를 판별한다. 있으면(스텝 S145； Yes), 맨 앞의 자막영역 MA1에 표시되어 있는 자막문 Mn이 자막관리 데이터(122)에 있어서 선두의 표시시각이 부여된 자막문 M1인지 아닌지를 판별한다(스텝 S146).
선두의 자막문 M1이 아니면(스텝 S146； No), 페이지 되돌림이 가능하다. 이 때, 제어부(11)는 현재 표시중의 각 자막문보다 「표시 영상수(3)」만큼 전의 표시시각이 부여된 각 자막문을 자막관리 데이터(122)로부터 읽어내고, 각 자막영역 MA1∼MA3에 표시시킨다(스텝 S147). 또, 각 자막영역 MA1∼MA3에 표시시킨 각 자막문에 대응하는 각 영상을 각 영상영역 RA1∼RA3에 표시시키고, 페이지가 되돌아온다(스텝 S148).
이상으로, 「페이지 넘김(페이지의 보냄 또는 되돌림)」이 가능하게 된다. 또한, 페이지 넘김에 있어서의 화면의 전환방법은 커서키(3)의 좌우방향의 누름에 한정되지 않고, 소프트키영역 FA상에 표시된 소프트키 등을 조작부(13)에 의해 조작해도 좋다.
다음에, 「자막문의 표시」에 관해, 사용자의 편리성을 향상시키기 위한 실시형태에 대해 설명한다. 상기에서 설명한 실시형태에서는 콘텐츠의 자막문에 포함되는 문자수가 자막영역을 표시할 수 있는 문자수보다 많은 경우, 그 자막문을 자막영역에 표시해도, 자막문이 도중에 끊겨 전문(全文)이 표시되지 않는다고 하는 문제가 있다.
이 문제를 해결하기 위해서는 예를 들면, 자막영역을 확대하여, 각 자막영역을 표시할 수 있는 문자수를 콘텐츠의 자막문에 포함되는 문자수보다 크게 하면 좋다. 이하, 자막문의 문자수를 자막영역에 표시할 수 있는 문자수(이하, 「표시가능 문자수」라고 함)보다 많은 경우에, 자막영역을 확대하여, 표시가능 문자수보다 많은 문자를 포함하는 자막문(이하, 「긴 자막문」이라 함)을 표시하는 동작에 대해 설명한다.
도 23에 나타내는 바와 같이, 사용자가 커서 키로 임의의 자막문을 선택하면, 제어부(11)는 선택된 자막문의 문자수를 취득하고(스텝 S151), 그 문자수가 「표시가능 문자수」보다 큰지 아닌지를 판별한다(스텝 S152). 취득한 자막문의 문자수가 「표시가능 문자수」이하이고, 현재 확보되어 있는 자막영역에서 표시가능이면(스텝 S152； No), 처리를 종료한다.
한편, 취득한 자막문이 「긴 자막문」이고, 그 문자수가 「표시가능 문자수」보다 큰 경우(스텝 S152； Yes), 현재 확보되어 있는 자막영역에서는 자막문의 내용을 전부 표시할 수 없다. 이 때, 「긴 자막문」에 계속이 있는 것을 나타내기 위해, 제어부(11)는 「표시가능 문자수」분의 문자를 「긴 자막문」의 선두로부터 취득하고, 자막영역에 표시시키는 동시에, 「긴 자막문」중에서 비표시의 문자를 표시하도록 촉구하는 마크를 자막영역상에 표시시킨다(스텝 S153).
사용자가 선택한 자막문이 「긴 자막문」일 때, 스텝 S153에서 표시되는 화면을 구체예로 설명한다. 사용자가 「긴 자막문」을 선택했을 때의 화면이 도 21에 나타내는 화면 D41이라고 하면, 자막영역 MA2에 표시되어 있는 자막문 M2는 표시가 능 문자수보다 많은 문자수를 포함하는 「긴 자막문 M2」이며, 현재의 자막영역 MA2상에 전문을 표시할 수 없다.
이 때, 제어부(11)는 「긴 자막문 M2」의 문자중에서 선두로부터 「표시가능 문자수」분까지의 문자를 자막영역 MA2에 표시시킨다. 또, 「긴 자막문 M2」의 문자중에서 비표시의 문자를 표시하도록 사용자에게 촉구하기 위한 마크(「←」)를 표시시킨다.
계속해서, 제어부(11)는 사용자에 의한 조작부(13)의 조작을 검출할 때까지 대기하고, 검출한 경우에, 그 조작이 「긴 자막문」의 전체문자의 표시를 지시하는 조작인지 아닌지를 판별한다(스텝 S154). 전체문자의 표시의 지시는 표시확정키(도시하지 않음)의 누름에 의해 실행하도록 해도 좋다. 전체문자의 표시의 지시가 아니면(스텝 S154； No), 처리를 종료한다. 전체문자의 표시의 지시이면(스텝 S154； Yes), 제어부(11)는 선택된 「긴 자막문」을 표시하기 위해 필요한 자막영역의 사이즈를 산출한다(스텝 S155).
스텝 S155의 처리에 대해 구체적으로 설명한다. 사용자가 커서키(3)를 조작하여 도 21에 나타내는 화면 D41상의 자막영역 MA2를 선택했다고 한다. 이 때, 사용자가 계속해서 조작부(13)를 조작하고, 「긴 자막문」의 전체문자의 표시를 지시하면, 제어부(11)는 자막관리 데이터(122)에 저장되어 있는 자막문(「안녕하세요. 오늘도 열심히 노력합시다.」)의 문자수(20문자)를 취득한다. 또한, 제어부(11)는 예를 들면, 취득한 문자수에 동일한지 혹은 그보다 큰 수와, 각 문자의 폰트데이터의 화소의 사이즈(종방향의 화소수 × 횡방향의 화소수)를 곱하여, 「긴 자막문」 의 전체문자를 표시할 수 있는 자막영역의 사이즈를 구한다.
계속해서, 제어부(11)는 구한 사이즈에 따라, 「긴 자막문」을 표시시키는 자막영역을 표시영역상에 확보한다(스텝 S156). 제어부(11)는 그 자막영역에 「긴 자막문」의 전문을 표시시킨다(스텝 S157). 이상으로, 「긴 자막문」의 전문을, 자막영역을 확장하여 표시하는 처리가 종료한다.
또한, 스텝 S156의 처리에 의해 사이즈가 확장된 자막영역에, 스텝 S157의 처리에 의해 「긴 자막문」의 전문이 표시된 화면의 예에 대해 설명한다. 도 22의 (a)에 나타내는 화면 D42의 예에서는 사용자가 각 자막문 M1∼M3의 전문을 볼 수 있도록, 제어부(11)는 자막영역 MA2와 자막영역 MA1 및 MA3의 중복을 피해 자막영역 MA2의 종방향의 사이즈를 일정하게 유지하고, 횡방향으로만 사이즈를 확장하여 영역을 확보한다.
또, 도 22의 (b)에 나타내는 화면 D43의 예에서는 제어부(11)는 사용자가 자막문 M2의 전문과 함께 각 영상 R1∼R3을 볼 수 있도록, 자막영역 MA2와 영상영역 R2의 중복을 피해, 자막영역 MA2의 횡방향의 사이즈를 일정하게 유지하고, 종방향으로만 사이즈를 확장하여 영역을 확보한다. 이 때, 「긴 자막문」을 표시하고 있는 자막영역 이외의 자막영역 MA1, MA3상에는 자막문을 표시하지 않도록 하고 있다. 또한, 도 22의 (a)에 나타내는 화면 D42 및 도 22의 (b)에 나타내는 화면 D43이 표시된 상태에서, 도 21에 나타내는 사이즈 확장전의 화면 D41이 표시된 상태로 되돌아가는 경우, 확정 키의 재누름 또는 조작부(13)의 조작 등에 의해, 「긴 자막문」의 전문표시의 종료를 지시하면 좋다.
<응용예 2-1>
다음에, 콘텐츠 재생시의 「영상의 표시」에 관해, 사용자에 있어서의 편리성을 향상시키는 응용예에 대해 설명한다.
우선, 동일한 크기의 영상영역에 있어서, 동시에 표시되는 영상의 수를 늘림으로써, 사용자가 콘텐츠의 내용의 전후관계를 더욱 파악하기 쉽게 하는 실시형태에 대해 설명한다.
일반적으로, 텔레비전방송으로 송신되는 영상의 형식에는 그 가로의 사이즈와 세로의 사이즈의 비(애스펙트비)가 4：3인 영상(이하, 「통상영상」이라 함)과, 16：9인 영상(이하, 「가로로 긴 영상」이라 함)이 있다.
구체예로서, 통상영상이 도 24의 (a)에 나타내는 통상영상 R1, R2, R3이라고 하고, 또 가로로 긴 영상이 도 24의 (b)에 나타내는 가로로 긴 영상 Y1, Y2, Y3, Y4라고 한다. 각 통상영상 R1∼R3의 사이즈는 세로 240화소 × 가로 320화소이며, 각 가로로 긴 영상 Y1∼Y4의 사이즈는 세로 180화소 × 가로 320화소이다. 여기서, 세로의 사이즈가 720화소이고, 가로의 사이즈가 통상영상 R1∼R3 및 가로로 긴 영상 Y1∼Y4의 가로의 사이즈(320화소)와 동등한 영상영역을 확보했다고 한다. 이 때, 확보한 영상영역에는 도 24의 (a)에 나타내는 화면 D51과 같이, 통상영상 R1∼R3을 종방향으로 직렬로 3개 표시하는 것이 가능하다. 또, 이 영상영역에는 도 24의 (b)에 나타내는 화면 D52와 같이, 가로로 긴 영상 Y1∼Y4를 종방향으로 직렬로 4개 표시하는 것이 가능하다.
즉, 통상영상의 세로의 사이즈와 가로로 긴 영상의 세로의 사이즈가 모두 공 약수인 세로의 사이즈를 갖는 영상영역을 확보한 경우, 통상영상보다 많은 가로로 긴 영상을 동시에 표시할 수 있어, 사용자는 더욱 많은 영상을 확인할 수 있다. 또한, 이것은 영상영역의 가로의 사이즈에 대해서도 마찬가지로 적용된다.
이하, 영상데이터(121)로부터 읽어낸 영상이 통상영상일 때에 「3코머 표시모드」로 화면을 표시시키고, 가로로 긴 영상일 때 「4코머 표시모드」로 화면을 표시시키는 처리에 대해 설명한다. 전제로서, 처리의 기동시, 제어부(11)는 표시패널(5)의 표시영역상에 세로의 사이즈가 720화소, 가로의 사이즈가 320화소인 영상영역을 확보하고 있는 것으로 한다.
도 25에 나타내는 바와 같이, 사용자가 조작부(13)를 조작하여, 자막첨부영상 시청용의 어플리케이션의 개시, 또는 복수영상 표시모드의 선택을 지시하면, 제어부(11)는 화면설정처리를 개시한다. 개시 후, 제어부(11)는 영상데이터(121)로부터 읽어낸 영상의 사이즈를 그 종방향 및 횡방향의 화소수 등에 의거하여 취득한다(스텝 S161).
취득 후, 제어부(11)는 영상데이터(121)로부터 읽어낸 영상의 사이즈의 애스펙트비를 구하고, 그 애스펙트비가 16：9이면 가로로 긴 영상으로 판별하고(스텝 S162； Yes), 「표시 영상수」를 4로 설정한다(스텝 S163).
계속해서, 제어부(11)는 표시영역상에서 확보한 영상영역의 세로의 사이즈(720화소)를 스텝 S163에서 설정한 「표시 영상수」로 제산하고, 세로 180화소 × 가로 320화소의 종방향으로 직렬로 배열하는 4개의 각 영상영역 RA1∼RA4로 분할한다(스텝 S165).
또, 제어부(11)는 분할한 영상영역에 대응하도록 자막영역을 분할한다(스텝 S166). 제어부(11)는 스텝 S165에서 분할한 각 영상영역에 각 가로로 긴 영상 Y1∼Y4를 표시시키고, 스텝 S166에서 분할한 각 자막영역에 각 영상에 대응하는 각 자막문을 표시시킨다. 이 때, 표시패널(5)상에는 도 24의 (b)에 나타내는 화면 D52가 표시된다.
한편, 제어부(11)는 영상의 사이즈의 애스펙트비가 4：3이면 통상영상으로 판별하고(스텝 S162； No), 「표시 영상수」를 3으로 설정한다(스텝 S164). 계속해서, 제어부(11)는 이 영상영역의 세로의 사이즈를 3등분하고, 세로 240화소 × 가로 320화소의 종방향으로 직렬로 배열하는 3개의 각 영상영역 RA1∼RA3으로 분할한다(스텝 S165). 또, 제어부(11)는 분할후의 영상영역에 대응하도록 자막영역을 분할한다(스텝 S166). 제어부(11)는 스텝 S165에서 분할한 영상영역에 통상영상 R1∼R3을 표시시키고, 스텝 S166에서 분할한 자막영역에 각 영상에 대응하는 자막문을 표시시킨다. 이 때, 표시패널(5)상에는 도 24의 (a)에 나타내는 화면 D51이 표시된다.
이상에서, 콘텐츠의 영상의 형식(가로로 긴 영상 또는 통상영상)에 대응하여 각 영상을 표시시키고, 특히 가로로 긴 영상이었던 경우에는 통상영상보다 많은 영상을 표시시킬 수 있다. 또한, 이 실시형태에서도 i) 1코머 스크롤, ii) 페이지 넘김, iii) 자막영역의 표시가능 문자수보다 긴 자막문의 표시가 적용 가능하다.
상기에서 설명한 실시형태에서는 복수의 영상을 종방향으로 직렬로 표시시키는 표시형태에 대해 설명하였다. 그러나, 본 실시형태의 휴대전화(1)는 자막영역 및 영상영역의 표시위치를 변경하여, 자막문 및 영상을 각종의 배치로 표시시킬 수 있다.
이하에서는 4개의 자막문과 각 자막문에 대응하는 각 영상을 격자형상으로 배치하여 표시시키는 경우를 예로 들어, 실시형태의 변형에 대해 설명한다. 또한, 자막문과 각 자막문에 대응하는 영상을 격자형상으로 배치하여 표시하는 동작상태를 「가로로 긴 표시모드」라고 하고, 자막문과 각 자막문에 대응하는 영상을 종방향으로 직렬로 배열하여 표시하는 동작상태를 「세로로 긴 표시모드」라고 한다.
「가로로 긴 표시모드」로 표시되는 화면은 예를 들면, 도 26에 나타내는 표시화면 D6과 같이, 표시패널(5)상의 표시영역의 긴쪽방향과 각 가로로 긴 영상 Y1∼Y4의 긴쪽방향이 일치한 상태에서, 각 가로로 긴 영상 Y1∼Y4를 표시영역상에서 격자형상으로 배치한 것이다. 한편, 「세로로 긴 표시모드」로 표시되는 화면은 예를 들면, 상술한 도 15에 나타내는 화면 D1이다. 사용자는 조작부(13)를 조작하여, 「세로로 긴 표시모드」와 「가로로 긴 표시모드」를 전환할 수 있다.
이하, 「세로로 긴 표시모드」 및 「가로로 긴 표시모드」에 대응한 화면을 설정하는 처리에 대해 설명한다. 도 27에 나타내는 바와 같이, 제어부(11)는 표시영역의 긴쪽방향(이하, 「가로로 긴 방향」이라 함)에 대한 콘텐츠의 영상의 표시방향을 취득한다(스텝 S171). 이 때, 제어부(11)는 TV신호 SG의 영상신호에 포함되는 해상도의 정보에 의거하여 영상의 표시방향을 취득한다. 해상도의 정보는 예를 들면, 원세그 방송에 있어서의 가로로 긴 영상의 영상 가상면이면 「320화소 × 180화소 × 16비트」이다.
계속해서, 제어부(11)는 취득한 영상의 표시방향이 표시영역의 가로로 긴 방향에 일치하고 있는지 아닌지를 판별한다(스텝 S172). 가로로 긴 방향에 일치하고 있으면(스텝 S172； Yes), 제어부(11)는 영상데이터(121)로부터 취득하는 영상수(「취득 예정수」)를 4로 설정한다(스텝 S173). 설정 후, 제어부(11)는 「가로로 긴 표시모드」의 표시화면을 설정하기 위한 처리를 실행한다.
제어부(11)는 영상영역을 가로로 길게 배치하는 설정(스텝 S174) 및, 영상영역의 배치에 대응한 자막영역의 설정(스텝 S175)에 있어서, 각 영상영역 및 각 자막영역을 격자형상으로 배치할 수 있도록, 표시영역상에 자막영역 및 영상영역으로서 할당하기 위한 영역을 확보한다. 확보 후, 제어부(11)는 그 영역을 종방향의 중심위치 및 횡방향의 중심위치에서 각각 구획하고, 격자형상으로 배치된 4개의 영역으로 분할한다.
제어부(11)는 분할 후의 각 영역에 있어서, 스텝 S171에서 판별한 표시방향으로 각 영상을 배치하고, 배치한 각 영역을 영상영역으로 설정한다(스텝 S174). 설정 후의 영상영역을 구체예로 설명하면, 예를 들면, 도 26에 나타내는 화면 D6상의 4개의 영상영역 RA1∼RA4이다.
또, 제어부(11)는 분할 후의 각 영역에서 스텝 S175에서 설정한 각 영상영역을 뺀 나머지 영역을 각 자막영역으로 설정한다(스텝 S175). 설정 후의 각 자막영역은 구체예로 설명하면 도 26에 나타내는 화면 D6상의 4개의 자막영역 MA1∼MA4이다. 계속해서, 제어부(11)는 각 자막영역에, 각 영상영역에 표시되는 각 영상의 재생타이밍에 대응하는 각 자막문을 표시시킨다.
또, 스텝 S172에서 판별한 영상의 표시방향이 세로로 긴 방향이면(스텝 S172； No), 제어부(11)는 「취득 예정수」를 3으로 설정하고(스텝 S176), 「세로로 긴 표시모드」의 화면을 설정하기 위한 처리를 실행한다. 이 때, 제어부(11)는 각 영상영역 및 각 자막영역을 표시패널(5)상에서 종방향으로 직렬로 배치할 수 있도록, 화면 D6의 종방향의 사이즈를 균등하게 3분할하고, 직렬로 배치된 3개의 영역을 생성한다. 이후의 스텝 S177 및 스텝 S178의 처리내용에 대해서는 상술한 스텝 S174 및 S175와 실질적으로 동일하다.
이상에서, 「세로로 긴 표시모드」 및 「가로로 긴 표시모드」에 대응한 화면을 설정할 수 있다. 또한, 이 화면설정처리는 사용자가 조작부(13)를 조작하여, 자막첨부영상 시청용의 어플리케이션의 개시, 또는 복수영상 표시모드의 선택을 지시했을 때에, 상술한 도 16에 나타내는 흐름의 전에 기동함으로써, 콘텐츠의 영상의 표시방향에 따라, 자동적으로 「세로로 긴 표시모드」 및 「가로로 긴 표시모드」로 화면을 표시할 수 있다. 또한, 본 실시형태에서도 1화면 스크롤, 페이지 넘김, 「긴 자막문」 표시시의 자막영역의 확대를 적용할 수 있다.
다음에, 표시패널(5)상에 「서로 다른 콘텐츠의 영상」이 각각 표시되어 있을 때, 사용자의 편리성을 향상시키는 실시형태에 대해 설명한다. 복수의 콘텐츠의 영상이 동시에 표시패널(5)상에 표시되어 있으면, 사용자는 각 영상이 동일한 콘텐츠에 포함되어 있는 영상인지, 서로 다른 콘텐츠에 포함되어 있는 영상인지 분별하는 것이 곤란하다.
복수의 영상이 동시에 표시패널(5)에 표시되어 있을 때, 각 영상이 동일한 콘텐츠에 포함되는지, 또는 서로 다른 콘텐츠에 포함되는지를 구별하기 위해서는 각 콘텐츠에 타이틀을 부여하고, 복수의 영상이 동일한 콘텐츠에 포함되는 영상인지 아닌지를 구별하면 좋다(이하, 이 표시상태를 「타이틀첨부 표시모드」라 함).
타이틀첨부 표시모드의 동작을 실현하기 위한 휴대전화(1)의 기본구성은 도 2에 나타내는 구성과 동일하다. 단, 도 2에 나타내는 기억부(12)는 복수의 콘텐츠에 각각 대응하는 자막관리 데이터(122) 및 영상 데이터(121)를 기억한다.
또, 기억부(12)는 콘텐츠 리스트 데이터(124)를 기억한다. 콘텐츠 리스트 데이터(124)는 도 28에 예시하는 바와 같이, 「타이틀(TL)」, 「녹화일시(TT)」, 「장르(TJ)」의 항목을 포함하며, 각 콘텐츠에 이들 각 항목을 대응짓는다.
「타이틀(TL)」은 각 콘텐츠에 부여되어 있는 타이틀을 나타내는 항목이다. 「녹화일시(TT)」는 각 콘텐츠의 녹화가 개시된 일자 및 시각으로부터 종료된 일자 및 시각까지의 기간을 나타내는 항목이다. 「장르(TJ)」는 각 콘텐츠가 그 내용에 따라 분류된 분야, 예를 들면, 뉴스, 스포츠, 드라마 등을 나타내는 항목이다. 또한, 장르(TJ)에 저장해야 할 정보는 예를 들면 원세그 방송이면, EIT(Event Information Table) 등으로부터 취득할 수 있다.
사용자는 조작부(13)를 조작하여, 「타이틀(TL)」이 부여된 콘텐츠를 선택하는 것이 가능하다. 제어부(11)는 사용자가 선택한 콘텐츠의 타이틀(TL)을 콘텐츠 리스트 데이터(124)로부터 읽어내고, 그 타이틀(TL)을, 표시부(14)를 통해 표시패널(5)에 표시시킨다. 콘텐츠 리스트 데이터(124)로부터 읽어내어진 타이틀(TL)이 표시된 화면(이하, 「타이틀첨부 화면」이라 함)은 구체예로 설명하면, 도 29의 (a)에 나타내는 화면 D71이다.
타이틀첨부 화면 D71을 표시시키는 경우, 표시패널(5)상의 표시영역의 좌측하부에는 콘텐츠 리스트 데이터(124)로부터 선택한 현재 재생중인 콘텐츠의 타이틀 TL1을 표시하기 위한 타이틀영역 TA가 설치되고, 타이틀영역 TA에는 타이틀 TL1(「달의 이야기」)이 표시되어 있다. 또한, 타이틀 TL1의 콘텐츠는 도 28에 나타내는 콘텐츠 리스트 데이터(124)내에서 녹화일시(TT)가 가장 새로운 콘텐츠이다.
또, 표시영역의 중앙부에는 종방향으로 직렬로 배치된 영상영역 RA1∼RA3이 설치되고, 타이틀영역 TA에 현재 표시중인 타이틀 TL1에 대응하는 영상 R11∼R13이 표시되어 있다. 또한, 자막영역 MA1∼MA3에는 영상 R11∼R13에 대응하는 재생타이밍을 갖는 자막문 M11∼M13이 표시되어 있다.
또한, 영상이 직사각형으로 정의되는 소정 영역에 표시되어 있는 경우, 소정 영역상의 중심위치 근방에 영상이 표시되어 있는 쪽이 사용자에게 있어서 시인성이 양호한 경향이 있다. 그 때문에, 제어부(11)는 현재 재생되어 있는 콘텐츠의 복수의 영상을 표시하는 영상영역 RA1∼RA3을, 표시영역의 횡방향의 중앙위치 근방에서 종방향으로 직렬로 배치되도록 설정한다.
표시영역의 좌측중앙에는 도 28에 나타내는 콘텐츠 리스트 데이터(124)내에서 녹화일시(TT)가 가장 새로운 콘텐츠의 영상을 표시하기 위한 영상영역 RA4가 설치되어 있다. 단, 도 29의 (a)의 예에서는 최신의 콘텐츠(타이틀 TL1의 콘텐츠)는 현재 재생중이기 때문에, 그 다음에 녹화일시(TT)가 새로운 콘텐츠(타이틀 TL2(「새의 산책」))의 영상 R22가 표시되어 있다.
표시영역의 우측 중앙에는 콘텐츠 리스트 데이터(124)내에서 녹화일시(TT)가 가장 오래된 콘텐츠를 표시시키기 위한 영상영역 RA5가 설치되고, 타이틀(TL)(「차로 드라이브」)의 콘텐츠의 영상 R32가 표시되어 있다. 또한, 영상영역 RA4, RA5에 표시시키는 영상은 임의이며, 예를 들면, 콘텐츠의 최초의 IDR 프레임, 자막관리 데이터(122)내에서 선두에 있는 자막문에 대응한 영상 등이어도 좋다.
사용자는 표시영역상에 화면 D71이 표시되어 있는 상태에 있어서, 커서키(3)를 좌우방향으로 눌러, 현재 선택중인 콘텐츠 대신에, 다른 콘텐츠를 선택하는 것이 가능하다. 이 때, 제어부(11)는 사용자가 새로이 선택한 콘텐츠의 영상을 표시시키는 동시에, 그 콘텐츠에 부여되어 있는 타이틀(TL)을 타이틀영역 TA에 표시시킨다. 이하, 사용자에 의한 커서키(3)의 누름에 응답하여, 제어부(11)가, 표시패널(5)에 표시시키는 화면을 도 29의 (a)에 나타내는 화면 D71에서 도 29의 (b)에 나타내는 화면 D72로 전환하는 경우를 예로 들어, 타이틀(TL)의 표시를 전환하는 처리에 대해 설명한다.
도 30에 나타내는 바와 같이, 제어부(11)는 좌측방향으로 커서키(3)가 눌러진 것에 응답하여(스텝 S181； Yes), 콘텐츠 리스트 데이터(124) 중에서, 현재 타이틀영역 TA에 타이틀(TL)이 표시되어 있는 콘텐츠의 재생을 종료한다. 이것에 수반하여, 표시영역 중앙부의 종방향으로 직렬로 설치된 각 영상영역 RA1∼RA3으로의 각 영상의 표시가 종료한다(스텝 S182). 계속해서, 제어부(11)는 표시영역의 좌측 중앙에 설치된 영상영역 RA4에 표시중인 영상 R42를 포함하는 콘텐츠의 재생을 개시한다(스텝 S183).
콘텐츠의 재생 개시에 수반하여, 제어부(11)는 콘텐츠 리스트 데이터(124)로부터 재생을 개시한 콘텐츠의 타이틀 TL2를 읽어내고, 타이틀영역 TA에 표시시킨다(스텝 S184).
또, 제어부(11)는 자막영역 MA1∼MA3에, 재생을 개시한 타이틀 TL2의 콘텐츠의 자막문 M21∼M23을 각각 표시시키는(스텝 S185) 동시에, 각 자막문 M21∼M23의 재생타이밍에 대응하는 영상 R21∼R23을, 표시패널(5)상의 중앙에 배치되는 영상영역 RA1∼RA3에 각각 표시시킨다(스텝 S186). 이것에 의해, 도 30의 (b)에 나타내는 타이틀첨부 화면 D72가 표시된다.
또한, 표시패널(5)상에 화면 D72가 표시된 상태에서, 사용자가 커서키(3)를 우측방향으로 누르면(스텝 S187； Yes), 제어부(11)는 현재 재생중인 타이틀 TL2의 콘텐츠 즉, 영상영역 RA1∼RA3에 현재 표시중인 콘텐츠의 재생을 종료한다(스텝 S188). 계속해서, 제어부(11)는 표시영역의 우측 중앙에 설치된 영상영역 RA5에 영상 R32가 표시되어 있는 콘텐츠의 재생을 개시하고(스텝 S189), 상기에 설명한 스텝 S184∼S186의 처리와 실질적으로 동일한 처리(스텝 S1810∼S1812)를 실행하고, 도 29의 (a)에 나타내는 타이틀첨부 화면 D71을 표시시킨다. 이상으로, 타이틀첨부 화면을 표시하는 처리가 종료한다.
다음에, 콘텐츠 재생중의 「영상의 표시」에 관해, 사용자의 편리성을 더욱 향상시키는 실시형태에 대해 설명한다. 상기에서 설명한 실시형태에서는 각 영상을 동시에 표시시킬 때의 영상영역으로서, 전부 동일한 사이즈의 영역을 할당하였다.
그러나, 복수의 영상을 표시시키는 각 영상영역을 전부 동일한 사이즈로 확 보하면, 각 영상 중에 사용자가 주목하고자 하는 영상(예를 들면, 현재 재생되어 있는 장면의 영상)이 포함되어 있는 경우에도, 다른 영상과 동일한 사이즈로 표시되어 버린다. 이 문제를 해결하기 위해서는 사용자가 주목하고자 하는 영상이 표시되어 있는 영상영역을 크게 하여, 표시되는 영상을 확대하면 좋다.
이하, 제어부(11)가 사용자의 조작에 의해 선택되고 현재 재생중인 콘텐츠의 영상을 확대하여, 표시패널(5)에 표시시키는 동작에 대해 설명한다. 또, 현재 재생되어 있는 영상을 확대하여 표시시키는 동작상태를 「영상확대 표시모드」라 한다.
도 32에 나타내는 바와 같이, 영상 확대 표시모드에서는 사용자가 조작부(13)를 조작하여, 도 29의 (a)에 나타내는 화면 D71의 중앙에 표시되어 있는 영상을 선택하면, 제어부(11)는 도 31에 나타내는 화면 D8과 같이, 영상영역 RA2를 확대하여 영상영역 RA6을 새로이 확보하고, 표시영역의 중앙부에 영상영역 RA6을 배치한다(스텝 S191). 또한, 영상확대 표시모드에 있어서, 화면 D8의 중심위치에 확대된 영상영역 RA6을 배치하는 것은 직사각형으로 정의되는 표시영역상에서는 중심위치 근방 쪽이 사용자에 있어서 시인성이 양호하기 때문이다. 계속해서, 제어부(11)는 사용자에게 선택된 콘텐츠의 현재의 재생장면의 영상을 확대하여, 표시부(14)를 통해 표시패널(5)에 표시시킨다(스텝 S192).
다음에, 제어부(11)는 각 자막영역 MA1∼MA3에 표시중인 자막문의 다음의 표시시각이 부여된 각 자막문의 유무를 판별하고(스텝 S193), 없으면(스텝 S193；No), 영상확대 표시의 처리를 종료한다. 있으면(스텝 S193；Yes), 제어부(11)는 다음의 표시시각이 부여된 각 자막문을 판독하는(스텝 S194) 동시에, 각 자막문의 표 시시각에 대응한 영상을 검출한다(스텝 S195). 이 영상을 검출하는 방법은 도 16을 참조하여, 상술한 방법과 실질적으로 동일하다.
자막문의 판독과 영상의 검출을 완료하면, 제어부(11)는 타이머(도시하지 않음)를 개시하여 시간을 계시하고, 소정 시간이 경과한 것을 검출한다(스텝 S196). 또한, 타이머에 의해 시간을 계시하는 것은 자막관리 데이터(122)에 저장되어 있는 자막문 Mn의 자막표시시각 TMn에 도달한 것을 검출하기 위함이다.
소정 시간의 경과를 검출하면(스텝 S196； Yes), 제어부(11)는 각 자막영역 MA1∼MA3에 자막문을 표시시키는(스텝 S197) 동시에, 확대된 영상영역 RA6에, 스텝 S197에서 표시시킨 각 자막문의 표시시각에 대응하는 각 영상을 표시시킨다(스텝 S198). 즉, 영상영역 RA6상에, 타이틀 TL1의 콘텐츠의 영상이 자막문의 재생타이밍에 맞추어 순차 표시된다.
이후, 제어부(11)는 자막관리 데이터(122)내에서 그 콘텐츠에 관한 마지막의 자막문 MN에 도달할 때까지(스텝 S193； No), 상기 처리의 실행을 반복한다. 이상으로, 확대된 영상영역에 콘텐츠의 영상을 재생 표시하면서, 그 콘텐츠에 포함되는 자막문을 재생 표시하는 처리가 완료된다.
이상 설명한 바와 같이, 본 실시형태에 의하면, 표시패널(5)상에, 표시시각이 부여된 복수의 자막문을 재생 표시하는 동시에, 각 자막문에 부여된 표시시각에 대응한 각 영상을 재생 표시할 수 있다. 이것에 의해, 사용자는 자막첨부영상의 현재의 재생장면의 자막문 및 영상의 전후에 재생되는 자막문과 영상을 볼 수 있어, 사용자는 자막첨부영상의 내용 파악이 더욱 용이하게 된다.
본 실시형태에 의하면, 휴대전화(1)는 사용자에 의한 조작에 따라, 현재 표시패널(5)에 표시되어 있는 자막문과 각 자막문에 대응하는 영상을, 자막관리 데이터(122) 중에서 1개 전 또는 후에 위치하는 자막문과 그 자막문에 대응하는 영상으로 교체하여 표시시키고, 자막첨부영상의 「1코머 스크롤」을 실행한다. 이것에 의해, 사용자는 현재 표시중인 영상에 부여된 재생타이밍보다 전으로 거슬러 올라가 영상을 확인하거나, 표시중인 영상의 후에 재생되는 영상을 확인할 수 있다.
본 실시형태에 의하면, 사용자에 의한 조작에 따라, 현재 표시중인 자막문 및 각 자막문에 대응하는 영상을, 자막관리 데이터(122) 중에서 소정 타이밍만큼 전 또는 후에 재생되는 자막문 및 그 자막문에 대응하는 영상으로 교체하여 표시시키고, 자막첨부영상의 「페이지 넘김」을 실행한다. 이것에 의해, 사용자는 동시에 많은 영상의 내용을 확인할 수 있는 동시에, 「1코머 스크롤」에 비해, 더욱 짧은 시간에 자막첨부영상의 자막문 또는 영상을 찾아낼 수 있다.
본 실시형태에 의하면, 제어부(11)는 자막영역에서 표시할 수 있는 문자의 수보다 큰 자막문이 그 자막영역에 할당된 경우, 사용자의 조작에 응답하여 자막영역의 사이즈를 확대하고, 자막문이 포함하는 전체문자를 표시시킨다. 이것에 의해, 사용자는 현재 확보되어 있는 자막영역에서 표시할 수 있는 문자수보다 많은 문자를 포함하는 자막문이라도, 그 자막문의 전문을 한 번에 읽을 수 있어, 편리성이 향상된다.
또, 본 실시형태에 의하면, 자막영역의 사이즈를 확대했을 때에, 다른 각 자막영역 또는 각 영상영역과 중첩되지 않도록, 사이즈를 확대한 자막영역을 배치한 다. 이것에 의해, 사용자는 자막영역에서 표시할 수 있는 문자의 수보다 큰 자막문의 전후에 있는 자막문의 표시와 각 자막문에 대응하는 영상의 표시를 빠뜨리는 일 없이, 사이즈 확장 전에 전체문자를 표시할 수 없었던 자막문의 전문을 읽을 수 있다.
본 실시형태에 의하면, 콘텐츠의 영상의 형식(「가로로 긴 영상」또는「통상영상」)에 대응하여, 각 영상을 표시시키는 영상영역상에서 영상을 표시시키는 수를 변경한다. 특히, 표시대상의 영상이 「가로로 긴 영상」인 경우, 「통상영상」이 화면에 동시에 표시되는 수보다 많은 영상을 표시시킨다. 이것에 의해, 사용자는 시청하는 콘텐츠의 영상이 「가로로 긴 영상」이었던 경우, 「통상영상」을 포함하는 콘텐츠를 시청하는 경우에 비해, 더욱 많은 정보를 취득할 수 있다.
본 실시형태에 의하면, 서로 다른 각 콘텐츠의 영상이 동시에 표시되어 있는 경우에도, 그 중에서 현재 사용자에 의해 영상이 선택되어 있는 콘텐츠에 대해서는 타이틀영역 TA에 그 타이틀을 표시시킨다. 이것에 의해, 현재 사용자가 선택중인 콘텐츠의 영상을, 다른 콘텐츠의 영상으로부터 분별할 수 있는 동시에, 다른 콘텐츠의 영상을 확인할 수 있다.
또, 본 실시형태에 의하면, 동시에 표시패널(5)에 표시되어 있는 영상으로부터 사용자에게 영상이 선택된 콘텐츠를 자막첨부영상으로 재생 표시한다. 이것에 의해, 사용자는 선택한 영상을 포함하는 콘텐츠의 내용을 자막 표시에 의해 용이하게 파악할 수 있는 동시에, 현재 재생중인 콘텐츠와 다른 콘텐츠를 분별할 수 있다.
본 실시형태에 의하면, 표시영역의 중앙부에 배치된 영상영역에, 재생중인 콘텐츠의 현재의 재생장면의 영상이 표시된다. 이 때, 영상의 시인성을 향상시키기 위해, 현재의 재생장면의 영상이 표시되어 있는 영상영역은 다른 영상영역보다 크게 하고 있다. 이것에 의해, 영상의 시인성이 향상되는 동시에, 확대되어 있는 영상을 포함하는 콘텐츠가 선택되어 있는 것을 인식하기 쉬워진다.
이하, 본 실시형태의 변형에 대해 설명한다. 「긴 자막문」의 전문을 표시하는 경우, 도 22의 (b)에 나타내는 화면 D43의 예와 같이, 「긴 자막문」을 표시하고 있는 자막영역 이외의 자막영역 MA1, MA3상에는 자막문을 비표시로 하는 것에 한정되지 않고, 표시시키도록 해도 좋다.
「복수의 콘텐츠의 영상」이 동시에 표시되어 있는 경우, 도 29의 (a)에 나타내는 타이틀첨부 화면 D71의 타이틀영역 TA에는 현재 재생중인 콘텐츠의 타이틀만을 표시하는 것에 한정되지 않고, 현재 영상이 표시되어 있는 다른 콘텐츠의 타이틀도 표시하도록 해도 좋다.
또, 타이틀첨부 화면 D71의 타이틀영역 TA에는 현재 재생중인 콘텐츠의 타이틀뿐만 아니라, 그 콘텐츠보다 소정수만큼 전 또는 후에 콘텐츠 리스트 데이터(124)에 저장되어 있는 콘텐츠의 타이틀(TL)을 나타내는 리스트를 표시하도록 해도 좋다.
타이머가 계시하는 소정 시간은 사용자에 의해 임의로 설정 가능하게 해도 좋고, 또 표시하는 자막문에 포함되는 문자수가 많아짐에 수반하여, 제어부(11)가 소정 시간을 크게 하도록 해도 좋다.
「영상확대 표시모드」에 있어서 사용자가 조작부(13)를 조작하는 것에 의해, 도 31의 화면 D8에 있어서 현재 선택중인 확대표시를 종료 가능하게 하고, 도 29의 (a)의 화면 D71의 표시로 되돌리도록 해도 좋다.
<실시형태 3>
이하, 본 발명의 실시형태 3에 관한 휴대전화(1)의 동작에 대해 설명한다.
본 실시형태의 휴대전화(1)는 자막첨부영상의 재생중, 자막첨부영상과 함께 복수의 자막문을 나타내는 자막리스트를 동시에 표시한다. 또, 미리 정해진 「자막전환시간」의 경과를 타이머로 검출하면, 재생 표시하는 자막문과 자막리스트중에 표시되는 자막문을 교체한다.
자막문의 교체는 사용자의 조작을 수반하는 일 없이 자동적으로 실행되고, 교체 전에 자막리스트중에 표시되어 있던 자막문은 스크롤된다(이하, 「자동스크롤」이라 함). 사용자는 조작부(13)를 조작하여, 자동스크롤의 개시 및 종료를 지시할 수 있다.
또한, 자동스크롤 실행 동안, 현재 재생중인 자막문이 자막리스트의 중앙에 표시된다. 도 33에 나타내는 화면 D1의 예에서는 현재 재생중인 자막문(자막영역 MA에 표시되어 있는 자막문 「안녕하세요.」)이 자막리스트 표시용의 리스트영역 LA의 중앙에 배치된다. 현재 재생중인 자막문을 리스트영역 LA의 중앙에 배치시키는 것은 직사각형으로 정의되는 표시영역상에서는 중심위치 근방 쪽이 시인성이 양호하기 때문이다.
휴대전화(1)는 콘텐츠의 재생중, 자막관리 데이터(122)가 저장하는 자막표시 시각 TMn에 따라, 그 자막표시시각 TMn에 대응하는 자막문을 재생한다. 또한, 자막관리 데이터(122)는 도 6의 처리에 의해 생성된다.
다음에, 본 실시형태에서 특징적인 자동스크롤의 동작에 대해 설명한다. 사용자가 자동스크롤의 개시를 지시하면, 제어부(11)는 도 34에 나타내는 처리를 개시하고, 자동스크롤을 실행하는지 아닌지를 나타내는 자동스크롤 플래그를 「온」으로 설정한다(스텝 S221). 또한, 제어부(11)는 표시부(14)에 지시하여, 표시패널(5)상에 자막리스트를 표시시킨다. 도 33의 예에서는 리스트영역 LA에 자막리스트가 나타난 화면 D1이 표시된다.
이 상태에서, 사용자는 자막리스트중의 자막문으로부터 재생을 개시하는 자막문을 선택할 수 있다. 사용자가 자막문을 선택하면, 그 자막문의 자막표시시각에 대응하는 재생타이밍(PTS 단위)을 갖는 영상을 추출하기 위해, 처리는 스텝 S222로 이행한다.
제어부(11)는 비디오 PES로부터 영상프레임의 정보를 추출하고(스텝 S222), 그 영상프레임이 IDR 프레임이 아니면(스텝 S223； No), 처리를 스텝 S222으로 되돌린다.
한편, 추출한 영상프레임이 IDR 프레임이면(스텝 S223； Yes), 제어부(11)는 선두의 영상프레임의 재생개시부터 그 IDR 프레임의 재생에 이를 때까지의 경과시간을 구한다(스텝 S224). 이 경과시각은 그 IDR 프레임이 갖는 재생타이밍(PTS 단위)으로부터 콘텐츠 녹화 데이터(121) 선두의 영상의 재생타이밍(PTS 단위)을 뺀 차분이다.
계속해서, 추출한 IDR 프레임이, 재생중인 자막문 Mn에 대응하는 가능성의 유무를 판별한다. 그 때문에, 제어부(11)는 그 자막문 Mn의 자막표시시각 TMn이 금회 구한 경과시각보다 큰지 아닌지를 판별한다(스텝 S225).
자막표시시각 TMn이 금회 구한 경과시간보다 크면(스텝 S225； Yes), 추출한 IDR 프레임은 자막문 Mn보다 먼저 재생되고, 자막문 Mn에 대응할 가능성이 있다. 이 때, 제어부(11)는 그 IDR 프레임의 데이터의 위치를 보존하고(스텝 S226), 처리를 스텝 S222로 되돌린다. 스텝 S226에서 보존하는 데이터의 위치는 예를 들면, IDR 프레임의 표시시각, IDR 프레임을 저장하는 비디오 PES의 번호, IDR 프레임이 저장되어 있는 기억부(12)내의 어드레스 등이다.
자막표시시각 TMn이 금회 구한 경과시각보다 작으면(스텝 S225； No), 전회 추출한 IDR 프레임은 현재 재생중인 자막문 Mn의 직전에 재생된다. 그 때문에, 제어부(11)는 스텝 S226에서 저장한 영상위치로부터 영상프레임을 읽어내고, 표시패널(5)에 표시시킨다(스텝 S227).
제어부(11)는 자막영역 MA에, 표시중의 영상에 대응하는 자막문을 표시시킨다(스텝 S228). 또한, 제어부(11)는 자막리스트를 리스트영역에 표시시킨다(스텝 S229). 이 때, 현재 재생중인 자막문을 리스트영역 LA의 중앙 근방에 배치한다.
제어부(11)는 사용자에 의한 자동스크롤의 종료지시의 유무를 판별한다. 그 때문에, 자동스크롤 플래그가 「온」인지 아닌지를 판별하고, 「오프」이면(스텝 S2210； No), 처리를 종료한다.
한편, 자동스크롤 플래그가 「온」이면(스텝 S2210； Yes), 제어부(11)는 도 시하지 않은 타이머를 기동시키고, 기억부(12)가 기억하는 「자막전환시간」의 경과를 검출시킨다.
「자막전환시간」의 경과를 검출하면(스텝 S2211； Yes), 다음에 재생되는 자막문을 재생하기 위해, 자막관리 데이터(122)로부터, 그 자막문 및 그 자막문에 대응지어진 자막표시시각을 취득한다(스텝 S2212). 그 후, 처리는 스텝 S222로 되돌아온다. 이상으로, 미리 정해진 「자막전환시간」이 경과될 때마다, 각 자막문을 자동스크롤하는 처리가 종료된다.
<응용예 3-1>
상술한 실시형태 3에서는 자막리스트 중에 표시되는 각 자막문을 그 문자의 수에 관계없이 동일하게 설정된 자막전환시간의 경과마다 전환한다. 그 때문에, 자막문이 포함하는 문자의 수가 많은 경우, 사용자가 자막문을 다 읽기 전에 다음의 자막문이 표시될 우려가 있다. 또, 문자의 수가 적은 경우, 사용자가 자막문을 다 읽은 후에 다음의 자막문이 표시될 때까지의 동안에 대기시간이 발생한다.
이 문제를 회피하기 위해서는 「자막전환시간」을 자막문의 문자수에 따라 변경하면 좋다. 이하, 이러한 자동스크롤을 실행하는 응용예 3-1에 관한 휴대전화(1)에 대해 설명한다.
응용예 3-1의 휴대전화(1)의 기본구성은 도 2에 나타내는 구성과 동일하다. 단, 기억부(12)에는 도 4에 나타내는 자막관리 데이터(122) 대신에, 도 35에 나타내는 자막관리 데이터(122a)가 기억되어 있다. 이 자막관리 데이터(122a)는 자막표시시각 TMn, 자막문 Mn, 자막문의 문자수 KZn을 대응짓는다.
자막관리 데이터(122a)를 생성하는 처리는 도 5에서 나타낸 예와 기본적으로 동일하다. 단, 응용예 3-1에서는 도 36의 (a)에 나타내는 바와 같이, 제어부(11)는 전술한 도 5에 나타내는 스텝 S17과 실질적으로 동일한 처리의 실행 후(스텝 S217a), 또한 자막문에 포함되는 문자수를 카운트하고(스텝 S217b), 자막관리 데이터(122a)에 저장한다.
응용예 3-1의 자동스크롤 처리는 도 34에서 나타낸 예와 기본적으로 동일하다. 단, 제어부(11)는 도 34에 나타내는 스텝 S2210의 처리 대신에, 도 36의 (b)에 나타내는 처리를 실행한다. 즉, 자동스크롤 플래그가 「온」으로 판별되면(스텝 V11； Yes), 자막관리 데이터(122a)로부터 현재 표시중인 자막문 Mn의 문자수 KZn를 취득한다(스텝 V12).
계속해서, 제어부(11)는 취득한 문자수 KZn에 의거하여, 그 문자수 KZn에 따른 「자막전환시간」을 구한다(스텝 V13). 예를 들면, 문자수 KZn와 미리 정해진 1문자당 표시시간 t를 적산하고, 「자막전환시간」을 구한다. 예를 들면, 이 표시시간 t가 0.2초인 경우, 10문자의 자막문에 대응하는「자막전환시간」은 2초, 20문자의 자막문에서는 「자막전환시간」은 4초이다.
그 후, 처리는 도 34로 돌아가고, 타이머로 「자막전환시간」의 경과를 검출하면(스텝 S2211； Yes), 다음의 자막문을 취득하고(스텝 S2212), 스크롤 표시된다.
<응용예 3-2>
상술한 실시형태 3에서는 자막문 Mn의 문자수 KZn가 적은 경우, 1문자당 표 시시간 t의 값에 따라서는 사용자가 그 자막문을 판독할 수 없을 우려가 있다. 예를 들면, 표시시간 t가 0.2초인 경우, 문자수 KZn가 「1」인 자막문의 표시개시부터 「자막전환시간(0.2초)」 경과후에, 다음의 자막문이 표시되어 버린다.
이 문제를 해결하기 위해서는 문자수가 적은 자막문을 표시하는 경우에도 사용자가 판독할 수 있도록, 그 자막문에 대응하는 자막전환시간을 길게 하면 좋다.
그 때문에, 자막문의 문자수에 따라 구분을 정해두고, 각 구분에 해당하는 자막문을 판독하는데 바람직한 「자막전환시간」을 그 구분마다 설정하면 좋다. 예를 들면, 문자수 KZn이 1∼10인 경우, 자막전환시간을 2초로 설정하고, 11∼20인 경우, 자막전환시간을 3초로 설정한다. 이하, 이러한 자동스크롤을 실행하는 응용예 3-2에 관한 휴대전화(1)에 대해 설명한다.
응용예 3-2의 휴대전화(1)의 기본구성은 도 2에 나타내는 구성과 동일하다. 단, 도 2에 나타내는 기억부(12)에는 도 37의 (a)에 나타내는 바와 같이, 자막문의 문자수에 따라 설치된 구분 KB와, 그 구분 KB에 대응하는 「자막전환시간 TS」를 대응짓는 표시전환 시간정보(123)가 미리 기억되어 있다.
응용예 3-2의 자동스크롤 처리는 도 34에서 나타낸 예와 기본적으로 동일하다. 단, 응용예 3-2에서는 제어부(11)는 도 34에 나타내는 스텝 S2210 대신에, 도 37의 (b)에 나타내는 스텝 V21∼V23의 처리를 실행한다.
즉, 응용예 3-2에서는 도 34에 나타내는 스텝 S221∼스텝 S229와 실질적으로 동일한 처리를 실행하고, 자막첨부영상과 자막리스트를 표시시킨다.
계속해서, 제어부(11)는 자동스크롤 플래그가 「온」으로 판별되면(스텝 V21 ； Yes), 자막문의 문자수를 구한다(스텝 V22). 또한, 표시전환 시간정보(123)를 참조하여, 그 문자수가 해당하는 구분에 대응지어진 「자막전환시간 TS」를 읽어낸다(스텝 V23).
그 후, 처리는 도 34로 되돌아가고, 「자막전환시간」의 경과 후(스텝 S2211； Yes), 다음의 자막문을 취득하고(스텝 S2212), 자동스크롤시킨다. 이상으로, 자막문의 문자수에 따라 설치된 구분에 대응하는 「자막전환시간」에 따라, 자막문을 자동스크롤하는 처리가 종료된다.
일반적으로, 각 사용자에 의해 자막문을 다 읽는 시간은 다르다. 그 때문에, 사용자의 편리성을 향상시키는 관점에서, 상술한 실시형태 3 내지 응용예 3-2에서 각각 설정되는 「자막전환시간」을 사용자에 의해 편집가능하게 하는 것이 바람직하다. 이하, 휴대전화(1)의 편집기능에 대해 설명한다.
실시형태 3∼응용예 3-2에서는 자동스크롤의 실행 중, 도 38의 (a)에 예시하는 바와 같이, 자막첨부영상과 함께 자막리스트가 나타난 화면 D21이 표시된다. 이 상태에서, 사용자가 조작부(13)에 의해 소프트키 E1(「서브메뉴」)을 누르면, 제어부(11)는 서브메뉴화면을 표시시킨다. 도 38의 (b)의 예에서는 서브메뉴화면은 화면 D22이다.
또한, 사용자가 서브메뉴중의 선택후보 「1, 자동스크롤 시간 설정」을 선택하고 「선택」키를 누르면, 실시형태 3∼응용예 3-2에 대응하는 자동스크롤의 시간설정화면을 표시시킨다. 이하, 각 시간설정화면을 사용한 실시형태 3∼응용예 3-2에 있어서의 「자막전환시간」의 설정동작을 설명한다.
실시형태 3의 「자막전환시간」설정에서는 사용자는 「자막전환시간」의 값을 스스로가 원하는 값으로 직접 변경한다. 도 38의 (c)의 예에서는 사용자는 커서키(3) 등에 의해 「자막전환시간」으로 설정하는 값(텍스트박스 E2중에 표시되는 값)을 증감시켜, 원하는 값(예를 들면, 3초)을 선택한다.
원하는 값의 표시중에 사용자가 「결정」키를 누르면, 제어부(11)는 그 값을 「자막전환시간」으로서 기억부(12)에 기억시킨다. 또한, 「자막전환시간」으로 설정하는 값을 사용자가 직접 입력 가능하게 해도 좋다.
응용예 3-1의 「자막전환시간」설정에서는 1문자당 표시시간 t와 각 자막문의 문자수 KZn의 곱으로부터, 각 자막문의 「자막전환시간」을 구한다. 「자막전환시간」을 변경하기 위해, 사용자가 편집 가능한 파라미터는 1문자당 표시시간 t이다.
그 때문에, 도 38의 (d)에 나타내는 예와 같이, 표시시간 t로 설정하는 값(텍스트박스 E3 중의 값)을 편집 가능한 화면 D24를 표시시킨다. 표시시간 t로 설정하는 값은 사용자가 직접 입력가능하게 해도 좋고, 프리세트의 값을 커서키(3)로 증감하여 선택하도록 해도 좋다.
또한, 도 38의 (e)에 나타내는 바와 같이, 콘텐츠의 전체자막문의 재생에 요하는 전체자막 재생시간(텍스트박스 E4 중에 나타냄), 콘텐츠를 마지막까지 시청했을 때의 완료예정시각(텍스트박스 E5 중에 나타냄) 등을 동시에 표시해도 좋다. 이것에 의해, 1문자당 표시시간을 결정하는 기준으로 되기 때문에, 편리성을 향상할 수 있다.
그 때문에, 자막첨부영상에 포함되는 전체자막문의 문자수의 합(이하, 「전체자막 문자수 KZt」)을 구해 둔다. 제어부(11)는 도 35에 나타내는 자막관리 데이터(122a)의 문자수 KZ1∼KZN를 모두 가산하고, 얻어진 전체자막 문자수 KZt를 기억부(12)에 기억시킨다.
도 38의 (e)에서 나타낸 예에서는 사용자가 1문자당 표시시간 t의 값으로서 「0.3초」로 입력하면, 표시시간 t(0.3초) × 전체자막 문자수 KZt를 텍스트박스 E4에 표시한다. 또한, 현재시각에 텍스트박스 E4에 표시시킨 시간을 가산한 완료예정시각을 텍스트박스 E5에 표시시킨다.
전체자막 재생시간(텍스트박스 E4 중의 값)은 사용자에 의해 편집가능하게 해도 좋다. 이 때, 사용자가 편집한 값에 따라서 자동스크롤했을 때의 1문자당 표시시간을 텍스트박스 E3에 표시한다. 이 표시시간은 사용자가 편집한 전체자막 재생시간을 전체자막 문자수 KZt로 제산하여 구해진다. 텍스트박스 E5에는 현재시각에 사용자가 편집한 전체자막 재생시간을 가산한 시각을 표시시킨다.
완료예정시각을 사용자에 의해 편집 가능하게 해도 좋다. 이 때, 사용자가 편집한 값(완료예정시각)과 현재시각의 차분으로부터 구해지는 전체자막 재생시간을 텍스트박스 E4에 표시하고, 그 때의 1문자당 표시시간을 텍스트박스 E3에 표시시킨다.
응용예 3-2의 「자막전환시간」 설정에서는 자막문의 문자수에 따라 설치된 각 구분에 대응하는 「자막전환시간 TS」를 편집 가능하게 한다. 「자막전환시간 TS」에 설정하는 값은 사용자가 직접 입력할 수 있어도 좋고, 프리세트된 값으로부 터 선택해도 좋다.
도 38의 (f)의 예에서는 원하는 값의 표시중에 사용자가 「결정」키를 누르면, 그 값이, 도 37의 (a)에 나타내는 표시전환 시간정보(123) 중의 「자막전환시간」으로서 설정된다. 이 때, 문자수가 1∼10의 자막문에 대응하는 「자막전환시간」은 3초, 문자수가 11∼20의 자막문에 대응하는 「자막전환시간」은 6초로 설정된다.
<응용예 3-3>
상술한 실시형태 3 내지 응용예 3-2에서는 사용자는 현재 읽고 있는 자막문으로부터 다음의 자막문으로의 표시가 언제 전환되는지 파악할 수 없다. 이 경우, 사용자는 자막문의 표시가 전환되는 타이밍에 페이스를 맞추어 자막문을 읽는 것이 곤란하다.
이 문제를 회피하기 위해서는 현시점으로부터의 자막문의 표시가 전환될 때까지의 잔여시간을 표시시키면 좋다. 이하, 이러한 잔여시간을 표시하는 실시형태 9에 관한 휴대전화(1)에 대해 설명한다.
응용예 3-3에서는 다음의 자막문으로 전환될 때까지의 잔여시간을 구한다. 예를 들면, 「자막전환시간」에서 타이머가 계시한 시간을 뺀 차분이다. 또한, 자동스크롤의 실행 중, 그 잔여시간을 표시패널(5)상에 표시시킨다.
잔여시간을 나타내는 양태는 임의이다. 예를 들면, 텍스트표시에 의해 잔여시간을 나타내는 경우, 사용자에게 잔여시간을 통지하기 위한 메시지(예를 들면, 「다음의 자막까지 나머지 2초」) 등으로 잔여시간을 나타내면 좋다.
또, 아이콘표시에 의해 잔여시간을 나타내는 경우, 아날로그시계를 본뜬 아이콘 등으로 잔여시간을 나타내면 좋다. 이 경우, 그 아이콘이 나타내는 잔여시간이 제로가 되었을 때에 다음의 자막문의 표시로 전환하면 좋다.
또한, 재생중의 자막문의 색을 타이머가 계시하는 시간의 경과에 수반하여 변경시켜도 좋다. 예를 들면, 자막문의 재생 개시시에는 자막문을 청색으로 표시시키고, 다음의 자막문으로 전환하기 직전에는 적색으로 표시시켜도 좋다.
또한, 제어부(11)가 자막문의 표시를 전환했을 때, 그 취지를 알림음의 출력이나 바이브레이션동작에 의해 사용자가 통지해도 좋다. 이것에 의해, 사용자는 자막문이 전환된 것을 인식할 수 있기 때문에, 사용자에게 있어서의 편리성을 향상할 수 있다.
<응용예 3-4>
상술한 실시형태에서는 사용자는 표시중의 영상에 관해, 콘텐츠의 녹화시간중에서 재생되는 타이밍을 알 수 없다.
응용예 3-4는 콘텐츠 녹화 데이터(121) 전체의 재생시간(이하, 「전체 재생시간 TT」라 함)에 있어서의 현재 재생중의 영상의 표시시각을 표시시켜, 사용자에게 있어서의 편리성을 향상시키는 예이다.
응용예 3-4의 자동스크롤 처리는 도 34에서 나타낸 예와 기본적으로 동일하다. 단, 실시형태 10에서는 제어부(11)는 도 34의 스텝 S229의 처리의 실행 후, 스텝 S2210의 처리를 실행하기 전에, 도 40에 나타내는 스텝 V31∼V34의 처리를 실행한다.
즉, 자막첨부영상과 자막리스트의 표시 후(도 34, 스텝 S221∼스텝 S229), 제어부(11)는 현재 표시중의 콘텐츠 녹화 데이터(121)에 관한 전체 재생시간 TT를 취득한다(스텝 V31). 전체 재생시간 TT는 예를 들면, 녹화한 콘텐츠를 저장하는 파일의 속성으로서 콘텐츠 녹화 데이터(121)와 미리 대응지어 둠으로써, 취득할 수 있다.
계속해서, 도 34의 스텝 S226에서 저장한 현재 표시중인 영상의 경과시각을 취득하고(스텝 V32), 그 경과시각을 전체 재생시간 TT로 제산하고, 경과시각이 전체 재생시간에 차지하는 비율(이하, 「진척비율」이라 함)을 구한다(스텝 V33). 또한, 그 진척비율을 나타내는 화상을 표시패널(5)상에 표시시킨다(스텝 V34).
진척비율을 나타내는 양태는 임의이며, 화상표시로 나타내도, 텍스트표시로 나타내도 좋다. 여기서는 화상표시의 일예로서 전체 재생시간을 나타내는 전체 바 B1(예를 들면, 가로봉)과, 진척비율을 나타내는 비율 바 B2를 중첩해서 표시하는 예를 설명한다. 예를 들면, 전체 바 B1의 크기를 200화소로 설정한 경우, 진척비율이 10%일 때, 비율 바 B2의 크기는 200화소 × 10% = 20화소이다.
도 39의 (a)의 예에서는 선두의 자막문(자막표시시각 「00：00：00」) 및 그 자막문에 대응하는 영상을 표시중이기 때문에, 진척비율 RT는 0의 상태에 있다. 이 때, 전체 바 B1만을 표시시킨다.
도 39의 (b)의 예에서는 도 4에 나타내는 자막관리 데이터(122)내의 선두에서 2번째의 자막문을 표시중이다. 이 때, 영상의 표시시각(00：00：09)에 의거하여 정해지는 진척비율을 나타내는 비율 바 B2가 전체 바 B1에 중첩해서 표시된다.
전술한 도 39의 (b)의 표시방법의 예에서는 사용자는 현시점에서의 진척비율은 파악할 수 있지만, 시분초 단위 등으로 나타낸 시간 등에 관한 정보를 취득할 수 없다.
이 문제를 회피하기 위해, 도 39의 (c)에 예시하는 바와 같이, 전체 바 B1에 대응하는 전체 재생시간 TT, 비율 바 B2에 대응하는 재생중의 영상의 표시시각 등을 표시해도 좋다. 이것에 의해, 사용자는 시청중인 콘텐츠의 나머지 부분의 재생에 요하는 시간, 현시점에서 시청을 완료한 콘텐츠의 재생시간을 나타내는 정보를 취득할 수 있어, 편리성을 향상할 수 있다.
또한, 도 39의 (d)에 예시하는 바와 같이, 전체 바 B1이나 비율 바 B2와 함께, 각 자막문의 진척비율이 전체 바 B1에 대응하는 위치에, 각 자막문의 존재를 나타내는 화상 PI를 표시해도 좋다. 이것에 의해, 사용자는 자동스크롤의 실행에 수반하여 비율 바 B2의 끝점이 화상 PI에 도달했을 때에 자막문이 표시되는 것을 파악할 수 있다.
또, 녹화 프로그램내의 자막이 없는 부분을 한눈에 파악할 수 있다. 예를 들면, 녹화 프로그램이 드라마이면, 오프닝 테마 중이나 엔딩 테마 중, 광고 중 등과 같은 장면은 자막이 없다. 그러나, 오프닝만은 시청하고자 하는 사용자가 있던 경우, 화상 PI의 분포를 보아, 프로그램 선두 부근의 자막이 없는 부분이 오프닝인 것을 알 수 있고, 그것은 자막보냄을 하지 않고 재생함으로써 오프닝을 시청할 수 있다.
도 39의 (d)에 나타내는 변형예에서는 자막문 Mn마다 진척비율 RTn을 구하 고, 각 진척비율이 각 자막문에 대응지어진 자막관리 데이터(122b)를 기억부(12)에 저장해 둔다. 도 41에 나타내는 자막관리 데이터(122b)의 예에서는 선두의 자막문 M1의 자막표시시각 TM1이 00：00：00이기 때문에, 진척비율 RT1은 「0」이다. 또한, 진척비율은 콘텐츠의 재생전에 미리 구해 두어도 좋고, 콘텐츠의 재생중에 구하여 기억부(12)에 일시적으로 기억시켜도 좋다.
이 변형예에서 자동스크롤을 실행하는 경우, 도 40에 나타내는 스텝 V34에 있어서, 각 진척비율 RTn을 자막관리 데이터(122b)로부터 취득하고, 각 진척비율이 전체 바 B1상에서 대응하는 위치에 화상 PI를 표시시킨다. 화상 PI는 전체 바 B1 및 비율 바 B2와 중첩해서 표시되어도 분별할 수 있도록, 각 바와 다른 색으로 표시하는 것이 바람직하다.
<응용예 3-5>
상술한 실시형태에서는 사용자가 자막리스트 중에서 콘텐츠 녹화 데이터(121)내의 선두의 자막문을 선택한 경우, 선두의 자막문부터 재생을 개시하는 동시에, 그 자막문에 대응하는 재생타이밍을 갖는 영상으로부터 재생을 개시한다.
그 때문에, 선두의 자막문에 대응하는 IDR 프레임의 재생시 이전에 재생되는 영상프레임을 콘텐츠가 포함하는 경우에도, 그들 영상프레임이 재생되지 않는다고 하는 문제가 생겨 버린다. 예를 들면, 선두의 자막문이 콘텐츠의 재생개시부터 3분 후에 표시되는 경우, 그때까지 영상이 재생되지 않는다.
이 문제를 해결하기 위해, 선두의 영상프레임의 재생타이밍에 모의적인 자막문(이하, 「가자막문」이라 함)을 대응지어, 그 가자막문으로부터 자막문의 재생을 개시하면 좋다. 이하, 이러한 동작을 실시하는 실시형태 11에 관한 휴대전화(1)를 설명한다.
응용예 3-5의 휴대전화(1)의 기본구성은 도 2에서 나타낸 예와 동일하다. 단, 기억부(12)에는 도 5에서 나타낸 자막관리 데이터(122) 대신에, 도 42에 나타내는 자막관리 데이터(122c)를 기억시킨다. 이 자막관리 데이터(122c)의 자막문에는 콘텐츠 녹화 데이터(121)로부터 추출한 자막문 Mn 이외에, 콘텐츠 녹화 데이터(121)에 포함되어 있지 않은 가자막문이 추가되어 있다.
도 42중, 「(프로그램 선두)」라고 하는 내용은 새로이 추가된 것으로써, 그 내용을 나타내는 자막문은 가자막문 KM이다. 이 가자막문 KM은 콘텐츠 녹화 데이터(121)내의 선두의 IDR 프레임에 대응지어지도록, 그 자막표시시각 Mn은 「00：00：00」으로 설정되어 있다. 또한, 자막관리 데이터(122c)에의 가자막문의 저장은 자막 PES로부터 자막문 Mn을 추출할 때에 동시에 실행하면 좋다.
또, 콘텐츠 재생용의 어플리케이션의 실행 중, 자막문 Mn)을 표시시키기 위해 도 5에서 나타낸 자막관리 데이터(122)를 워크메모리에 전개할 때에, 가자막문을 추가해도 좋다.
이하에서는 자막관리 데이터(122)의 내용을 변경하는 일 없이 콘텐츠의 선두에 있는 영상을 표시하기 위한 처리를 설명한다. 도 44에 나타내는 바와 같이, 사용자가 콘텐츠 시청용의 어플리케이션의 실행을 지시하면, 제어부(11)는 선두의 자막문이 선두의 영상프레임에 대응하고 있는지 아닌지를 판별한다(스텝 V41).
이 때, 자막관리 데이터(122)를 참조하여, 선두의 자막문의 자막표시시각이 「00：00：00」인지 아닌지를 판별하고, 「00：00：00」이면(스텝 V41；Yes), 처리는 스텝 V45로 진행한다. 스텝 V45의 통상의 영상표시처리는 도 34에서 나타낸 스텝 S222∼S229와 실질적으로 동일한 처리이다.
한편, 선두의 자막표시시각이 「00：00：00」이 아니면(스텝 V41； No), 콘텐츠 녹화 데이터(121)의 선두에 있는 IDR 프레임을 표시한다(스텝 V42). 또한, 그 IDR 프레임에 대응하는 가자막문 KM을 자막영역 MA에 표시하고(스텝 V43), 표시중인 가자막문 KM이 중앙에 배치된 자막리스트를 리스트영역 LA에 표시한다(스텝 V44). 스텝 V42∼V44의 처리에 의해, 도 43의 (b)에 예시하는 화면 D42가 표시된다.
또, 응용예 3-5에서는 도 45에 나타내는 바와 같이, 사용자가 현재 표시중인 자막문 대신에 그 1개전의 자막문을 표시하도록 지시하면, 표시중인 자막문이 선두의 자막문인지 아닌지를 판별한다. 이 지시는 커서키(3)의 위방향으로의 누름 등에 의해 가능하다.
선두의 자막문이 아니면(스텝 V51； No), 처리는 스텝 V55로 진행한다. 스텝 V55의 처리는 도 34에서 나타낸 스텝 S222∼S229와 실질적으로 동일하다.
한편, 표시중인 자막문이 선두의 자막문이면(스텝 V51； Yes), 스텝 V52∼V54의 처리를 실행한다. 스텝 V52∼V54의 처리는 도 44에서 나타낸 스텝 V42∼V44의 처리와 실질적으로 동일하다. 그리고, 처리를 종료한다.
또한, 가자막문과 영상의 대응지음은 선두의 자막문과 선두의 영상이 대응하지 않는 경우에 한정되지 않는다. 예를 들면, 콘텐츠의 마지막의 자막문과 마지막 의 영상이 대응하지 않는 경우 등에도 마찬가지로 적용 가능하다. 마지막의 자막문과 마지막의 영상이 대응하지 않을 때, 마지막의 영상은 표시되지 않기 때문에, 도 43의 (c)에 예시하는 화면 D43이 표시된다. 마지막의 영상에 가자막문을 대응지어 가자막문을 표시했을 때는 도 43의 (d)에 예시하는 화면 D44가 표시된다.
이상 설명한 바와 같이, 본 발명의 실시형태 3에 의하면, 미리 정해진 「자막전환시간」이 경과할 때마다, 재생중인 자막문 대신에 다음의 자막문을 재생하는 동시에, 자막리스트를 자동스크롤한다. 이것에 의해, 사용자는 커서키(3) 등을 조작하여 자막문을 표시할 필요가 없어져, 사용자의 편리성을 향상할 수 있다.
응용예 3-1에 의하면, 미리 정해진 「1문자당 표시시간 t」와 자막문의 문자수 KZn을 곱한 「자막전환시간」에 따라, 자막리스트의 자동스크롤을 실행한다. 이것에 의해, 자막문의 문자수가 많아짐에 따라 그 자막문을 표시하는 시간도 길어지고, 사용자의 편리성을 향상할 수 있다.
응용예 3-2에 의하면, 문자수에 따른 구분에 의해 자막문을 분별하고, 그 구분에 대응하는 「자막전환시간」에 따라, 자막리스트의 자동스크롤을 실행한다. 이것에 의해, 표시중인 자막문의 문자수가 적은 경우에도 그 자막문은 분별된 구분 중에서 가장 문자수가 많은 자막문과 동일한 「자막전환시간」에 따라 표시되고, 사용자가 그 자막문을 판독하기 위한 시간이 길어진다.
또, 본 발명의 각 실시형태에 의하면, 사용자에 의해 「자막전환시간」을 편집 가능하게 한다. 이것에 의해, 사용자는 자기의 취향에 따라 자막문의 표시를 전환시킬 수 있다.
응용예 3-3에 의하면, 다음의 자막문으로 전환될 때까지의 잔여시간을 표시패널(5)에 표시시킨다. 이것에 의해, 사용자는 현재 표시중인 자막문에서 다음의 자막문의 표시로 전환되는 타이밍에 맞추어, 자막문을 읽는 페이스를 조정할 수 있다.
응용예 3-4에 의하면, 콘텐츠의 재생 중, 콘텐츠 녹화 데이터(121)의 전체 재생시간에 대해, 현시점까지의 콘텐츠 재생이 완료한 정도를 사용자에게 나타낸다. 이것에 의해, 사용자는 나타난 정도를 기준으로 하여 콘텐츠의 시청을 계속할지의 여부를 판단할 수 있다.
또한, 전체 재생시간, 표시중의 영상의 표시시각 등을 표시한다. 이것에 의해, 사용자는 시청중인 콘텐츠의 미재생부분의 재생완료에 요하는 시간, 콘텐츠 재생 개시시부터 현시점까지의 시청시간 등을 파악할 수 있다.
응용예 3-5에 의하면, 콘텐츠 중의 선두의 자막문과 선두의 영상이 대응하고 있지 않은 경우, 선두의 영상이 갖는 재생타이밍에 가자막문 KM을 대응짓는다. 그리고, 가자막문 KM부터 자막문의 재생을 개시한다. 이것에 의해, 사용자는 선두의 영상을 시청하는 것이 가능하게 되어, 사용자의 편리성을 향상할 수 있다.
또한, 자막리스트의 표시의 온 또는 오프를 사용자에 의해 편집 가능하게 해도 좋다. 이 때, 자막리스트 표시의 오프에서 온으로의 전환 후, 자막리스트에서 자막문이 선택되었을 때에 자동스크롤을 개시하면 좋다.
응용예 3-5에서는 가자막문의 내용은 「(프로그램 선두)」의 문자열에 한정되지 않고, 다른 문자열에서도 공백이어도 좋다. 또, 가자막문에 대응지어지는 영 상은 콘텐츠 중의 선두의 영상프레임에 한정되지 않고, 선두의 자막문의 자막표시시각에 대응하는 영상보다 먼저 재생되는 영상이면 좋다. 예를 들면, 프로그램 선두의 IDR 프레임에서도 그 IDR 프레임 근방의 P프레임이어도 좋다.
그 밖에, 본 발명의 개념은 전용의 컴퓨터시스템에 한정되지 않고, 예를 들면, 콘텐츠 녹화재생 기능을 구비하는 PDA, 전자카메라, 전자손목시계, 휴대형 TV, 카네비게이션장치 등의 임의의 휴대형 전자장치에 적용 가능하다. 즉, 컴퓨터를 휴대전화(1)로서 기능·동작시키기 위한 컴퓨터 프로그램을 작성하고, 배포하고, 대여하며, 이것을 컴퓨터에 설치하여, 휴대전화(1)로서 이것을 사용, 양도, 대여 등 해도 좋다.
도 1은 본 발명의 실시형태에 관한 휴대전화를 연 상태에서 정면에서 보았을 때의 외관도.
도 2는 도 1에 나타내는 휴대전화의 구성을 나타내는 블럭도.
도 3의 (a)는 기억부에 저장되는 데이터의 예를 나타내는 도면, (b)는 TSP의 구성을 예시하는 도면, (c)는 콘텐츠 데이터의 구성예를 나타내는 도면, (d)는 자막 PES의 구성예를 나타내는 도면.
도 4는 자막관리 데이터의 데이터 구조의 일예를 나타내는 도면.
도 5는 시크 포인트 관리정보의 데이터 구조의 일예를 나타내는 도면.
도 6은 콘텐츠 녹화 데이터로부터 정보를 추출하여, 자막관리 데이터를 생성하는 처리를 나타내는 흐름도.
도 7의 (a)는 리스트첨부 시청모드로 표시되는 화면의 제 1 예를 나타내는 도면, (b)는 통상시청모드로 표시되는 화면의 예를 나타내는 도면, (c)는 리스트첨부 시청모드로 표시되는 화면의 제 2 예를 나타내는 도면.
도 8은 「리스트첨부 시청모드」와 「통상시청모드」를 전환하여 자막첨부영상을 재생하는 처리를 나타내는 흐름도.
도 9는 영상추출처리의 흐름도.
도 10은 영상프레임과 자막 데이터의 재생타이밍의 일예를 나타내는 도면.
도 11은 영상프레임이 일부 결락한 콘텐츠 녹화 데이터의 일예를 나타내는 도면.
도 12는 실시형태 1의 응용예 2에 관한 영상추출처리를 나타내는 흐름도.
도 13은 TV신호로부터 정보를 추출하여, 자막관리 데이터를 생성하는 동작을 설명하기 위한 도면.
도 14는 표시패널의 표시영역 전체를 자막영역, 영상영역, 소프트키영역, ㅍ픽트영역으로 분할했을 때의 배치예를 나타내는 도면.
도 15는 3코머 표시모드에 있어서의 화면의 일예를 나타내는 도면.
도 16은 자막문의 표시시각에 대응하는 영상을 추출하는 처리를 나타내는 흐름도.
도 17의 (a)는 3코머 표시모드에 있어서, 1코머 아래 스크롤을 하기 전의 화면을 나타내는 도면, (b)는 3코머 표시모드에 있어서, 1코머 아래 스크롤 한 후의 화면을 나타내는 도면.
도 18은 1코머 스크롤의 처리를 나타내는 흐름도.
도 19의 (a)는 3코머 표시모드에 있어서, 페이지 되돌림을 했을 때의 화면의 예를 나타내는 도면, (b)는 3코머 표시모드에 있어서, 페이지 보냄을 했을 때의 화면의 예를 나타내는 도면.
도 20은 페이지 넘김의 처리를 나타내는 흐름도.
도 21은 자막영역의 표시가능 문자수보다 문자수가 많은 자막문의 전문을 표시하기 전의 화면의 일예를 나타내는 도면.
도 22의 (a)는 자막영역의 표시가능 문자수보다도 문자수가 많은 자막문의 전문을 표시한 후의 화면의 제 1 예를 나타내는 도면, (b)는 자막영역의 표시가능 문자수보다 문자수가 많은 자막문의 전문을 표시한 후의 화면의 제 2 예를 나타내는 도면.
도 23은 자막영역을 확대하는 처리를 나타내는 흐름도.
도 24의 (a)는 통상영상을 「3코머 표시모드」로 표시했을 때의 화면의 예를 나타내는 도면, (b)는 가로로 긴 영상을 「4코머 표시모드」로 표시했을 때의 화면의 예를 나타내는 도면.
도 25는 영상의 형식(가로로 긴 영상 또는 통상영상)에 대응하여, 「4코머 표시모드」 또는 「3코머 표시모드」의 화면을 설정하는 처리를 나타내는 흐름도.
도 26은 「가로로 긴 표시모드」의 화면 구성의 일예를 나타내는 도면.
도 27은 「가로로 긴 표시모드」의 화면을 설정하는 처리를 나타내는 흐름도.
도 28은 콘텐츠 리스트 데이터의 데이터 구조의 일예를 나타내는 도면.
도 29의 (a)는 복수의 콘텐츠의 각 영상이 동시에 표시되어 있을 때의 타이틀첨부 화면의 제 1 예를 나타내는 도면, (b)는 (a)의 타이틀첨부 화면의 표시 중에, 재생할 콘텐츠가 변경되었을 때의 타이틀첨부 화면을 나타내는 도면.
도 30은 「타이틀첨부 표시모드」에 있어서, 재생할 자막첨부영상의 변경에 수반하여, 그 타이틀을 변경하기 위한 처리를 나타내는 흐름도.
도 31은 「영상 확대 표시모드」의 화면의 일예를 나타내는 도면.
도 32는 「영상 확대 표시모드」의 동작을 나타내는 흐름도.
도 33은 응용예 2-2에 있어서, 자막첨부영상과 함께 자막리스트가 표시된 화 면을 나타내는 도면.
도 34는 실시형태 3에 관한 자동스크롤의 처리를 나타내는 흐름도.
도 35는 자막관리 데이터의 예를 나타내는 도면.
도 36의 (a)는 응용예 3-1에 있어서의 자막관리 데이터를 생성하는 처리를 나타내는 흐름도, (b)는 응용예 3-1에 있어서의 자동스크롤의 처리를 나타내는 흐름도.
도 37의 (a)는 표시전환 시간정보의 데이터 구조의 일예를 나타내는 도면, (b)는 응용예 3-2에 있어서의 자동스크롤의 처리를 나타내는 흐름도.
도 38의 (a)는 서브메뉴 표시전의 화면의 일예를 나타내는 도면, (b)는 서브메뉴 표시후의 화면의 일예를 나타내는 도면, (c)는 실시형태 3에 관한 자막전환시간의 설정화면의 일예를 나타내는 도면, (d)는 응용예 3-1에 관한 자막전환시간의 설정화면의 제 1 예를 나타내는 도면, (e)는 응용예 3-2에 관한 자막전환시간의 설정화면의 제 2 예를 나타내는 도면, (f)는 응용예 3-3에 관한 자막전환시간의 설정화면의 일예를 나타내는 도면.
도 39의 (a)는 응용예 3-1에 관한 화면의 제 1 예를 나타내는 도면, (b)는 응용예 3-1에 관한 화면의 제 2 예를 나타내는 도면, (c)는 응용예 3-1에 관한 화면의 제 3 예를 나타내는 도면, (d)는 응용예 3-1에 관한 화면의 예를 나타내는 도면.
도 40은 응용예 3-1에 있어서의 자동스크롤의 처리를 나타내는 흐름도.
도 41은 자막관리 데이터의 데이터 구조의 제 3 예를 나타내는 도면.
도 42는 자막관리 데이터의 데이터 구조의 제 4 예를 나타내는 도면.
도 43의 (a)는 선두 영상과 선두의 자막문이 대응하고 있지 않은 콘텐츠를 재생했을 때의 화면의 일예를 나타내는 도면, (b)는 선두 영상과 가자막문을 대응지어 콘텐츠를 재생했을 때의 화면의 일예를 나타내는 도면, (c)는 마지막의 영상과 마지막의 자막문이 대응하고 있지 않는 콘텐츠를 재생했을 때의 화면의 일예를 나타내는 도면, (d)는 마지막의 영상과 가자막문을 대응지어 콘텐츠를 재생했을 때의 화면의 일예를 나타내는 도면.
도 44는 응용예 3-2에 있어서의 선두의 영상에 대응하는 가자막문을 표시하는 처리를 나타내는 흐름도.
도 45는 응용예 3-2에 있어서의 현재 표시중의 1개 전의 자막문을 표시하는 처리를 나타내는 흐름도.

Claims (34)

  1. 복수의 자막문을 정의하는 자막신호와 복수의 영상을 정의하는 영상신호를 재생타이밍을 대응지어 기억하는 기억수단과,
    상기 기억수단에 기억되어 있는 자막신호에 의해 정의되는 복수의 자막문 중의 어느 하나를 선택하는 자막선택수단과,
    상기 자막선택수단에 의해 선택된 자막문을 재생하는 자막재생수단과,
    상기 기억수단에 기억된 상기 영상신호를 재생하는 영상재생수단과,
    상기 자막선택수단에 의해 자막문을 선택하고 선택한 자막문과 해당 자막문에 대응하는 영상을 상기 자막재생수단 및 상기 영상재생수단에 의해 재생하는 자막시청모드와, 상기 영상재생수단에 의해 자막첨부영상을 재생하는 통상시청모드를 전환하는 모드전환수단을 구비하는 것을 특징으로 하는 자막첨부영상 재생장치.
  2. 제 1 항에 있어서,
    상기 영상신호는 영상을 단독으로 정의하는 독립 프레임과 다른 영상프레임을 참조하여 영상을 정의하는 프레임을 포함하고,
    상기 영상재생수단은, 상기 모드전환수단이 동작모드를 자막시청모드에서 통상시청모드로 전환했을 때에, 재생할 영상신호의 선두를 상기 자막선택수단에서 선택된 자막문의 재생타이밍의 시간적으로 직전이 되는 독립 프레임에 설치하는 수단을 포함하는 것을 특징으로 하는 자막첨부영상 재생장치.
  3. 제 1 항에 있어서,
    상기 영상신호는 영상을 단독으로 정의하는 독립 프레임과 다른 영상프레임을 참조하여 영상을 정의하는 프레임을 포함하고,
    상기 영상재생수단은,
    상기 영상재생수단에 의해 재생중인 영상의 재생타이밍을 판별하는 영상재생타이밍 판별수단과,
    상기 모드전환수단이 동작모드를 통상시청모드에서 자막시청모드로 전환했을 때에, 상기 영상재생타이밍 판별수단에 의해 판별한 재생타이밍의 시간적으로 직후의 재생타이밍을 갖는 자막문을 선택상태로서 자막시청모드로 설정하는 수단을 포함하는 것을 특징으로 하는 자막첨부영상 재생장치.
  4. 제 1 항에 있어서,
    상기 영상재생수단은,
    상기 자막선택수단에서 선택된 자막문의 재생타이밍을 판별하는 자막재생 타이밍 판별수단과,
    상기 자막재생 타이밍 판별수단에 의해 판별된 자막문의 재생타이밍에 대응하는 상기 영상신호의 재생개시 타이밍을 판별하는 영상재생개시 타이밍 판별수단과,
    상기 자막재생 타이밍 판별수단에서 판별한 자막문의 재생타이밍과, 상기 영 상 재생개시 타이밍 판별수단에서 판별한 영상 재생개시 타이밍의 차분을 구하는 차분연산수단과,
    상기 차분연산수단에서 구한 차분이 소정값 이상인지 아닌지를 판별하는 차분판별수단과,
    상기 차분판별수단에서 상기 차분이 소정값 이상이라고 판별되었을 때에, 상기 기억수단이 기억하는 영상신호가 정의하는 영상 대신에 소정의 화상을 표시하는 수단을 구비하는 것을 특징으로 하는 자막첨부영상 재생장치.
  5. 제 1 항에 있어서,
    상기 자막선택수단은 선택 대상의 자막문의 리스트를 표시하는 리스트 표시수단과, 표시된 리스트 중에서 임의의 자막문을 선택하는 수단으로 구성되고,
    상기 자막시청모드에 있어서는 상기 영상재생수단에 의해 재생된 영상과, 상기 자막재생수단에 의해 재생된 자막문과, 상기 리스트 표시수단에 의한 리스트가 화면에 표시되는 것을 특징으로 하는 자막첨부영상 재생장치.
  6. 제 1 항에 있어서,
    상기 통상시청모드의 상기 자막첨부영상은 상기 영상재생수단에 의해 재생된 영상과, 상기 자막재생수단에 의해 재생된 자막문이 화면에 표시되는 것을 특징으로 하는 자막첨부영상 재생장치.
  7. 제 1 항에 있어서,
    상기 자막선택수단은 상기 기억수단에 기억되어 있는 자막신호가 정의하는 복수의 자막문 중에서 적어도 2개 이상의 자막문을 선택하고,
    상기 자막재생수단은 상기 자막선택수단에 의해 선택된 복수의 자막문을 재생하고,
    상기 영상재생수단은 상기 기억수단이 기억하는 영상신호가 정의하는 영상으로부터, 상기 자막재생수단이 재생한 각 자막문 중의 어느 하나에 부여된 재생타이밍에 대응하는 재생타이밍이 부여된 영상을 재생하는 영상재생수단을 구비하는 것을 특징으로 하는 자막첨부영상 재생장치.
  8. 제 7 항에 있어서,
    상기 자막선택수단은 재생중인 각 자막문의 재생타이밍보다 소정의 타이밍만큼 전의 재생타이밍, 또는 소정의 타이밍만큼 후의 재생타이밍이 부여된 자막문을 선택하는 수단을 구비하고,
    상기 자막재생수단은 상기 재생중인 각 자막문 대신에, 상기 선택수단에 의해서 선택된 각 자막문을 표시하고,
    상기 영상재생 표시수단은 상기 자막재생수단에 의해 재생되는 자막문이 변경될 때마다, 새로이 표시된 각 자막문의 재생타이밍에 대응하는 영상을 표시시키는 것을 특징으로 하는 자막첨부영상 재생장치.
  9. 제 8 항에 있어서,
    상기 자막선택수단은 재생중인 각 자막문에 부여된 재생타이밍보다 1개전의 재생타이밍, 또는 1개 후의 재생타이밍이 부여된 각 자막문을 선택하는 것을 특징으로 하는 자막첨부영상 재생장치.
  10. 제 7 항에 있어서,
    데이터를 표시하는 표시영역을 갖는 표시수단과,
    상기 표시영역상에 해당 각 자막문을 표시하기 위한 각 자막영역과, 상기 표시영역상에 표시되는 각 자막문의 재생타이밍에 대응하는 각 영상을 표시하기 위한 영상영역을 상기 표시영역상에 확보하는 영역확보수단을 구비하는 것을 특징으로 하는 자막첨부영상 재생장치.
  11. 제 10 항에 있어서,
    상기 영역확보수단은,
    재생중인 각 자막문에 포함되는 문자의 수를 판별하는 재생문자수 판별수단과,
    상기 재생문자수 판별수단이 판별한 수의 문자를 표시할 수 있도록, 해당 각 자막영역의 사이즈를 구하는 자막영역 사이즈 특정수단을 구비하고,
    상기 자막영역 사이즈 특정수단이 구한 사이즈의 각 자막영역을 상기 표시 영역으로부터 확보하는 것을 특징으로 하는 자막첨부영상 재생장치.
  12. 제 11 항에 있어서,
    상기 영역확보수단은,
    상기 각 자막영역상에서 각 자막문을 표시할 수 있는 문자의 수를 판별하는 표시문자수 판별수단과,
    상기 재생문자수 판별수단이 판별한 수가 상기 표시문자수 판별수단이 판별한 수보다 큰지 아닌지를 판별하는 문자수 대소 판별수단과,
    상기 문자수 대소 판별수단이 상기 재생문자수 판별수단에 의해 판별한 수가 크다고 판별한 경우에, 사용자의 조작에 응답하여, 자막영역 사이즈 특정수단에 해당 각 자막영역의 사이즈를 구하도록 지시하는 사이즈 특정 지시수단을 추가로 구비하는 것을 특징으로 하는 자막첨부영상 재생장치.
  13. 제 11 항에 있어서,
    상기 영역확보수단은,
    상기 각 자막영역과 상기 각 영상영역이 중첩되지 않도록, 각 자막영역을 확보하는 것을 특징으로 하는 자막첨부영상 재생장치.
  14. 제 11 항에 있어서,
    상기 영역확보수단은,
    상기 각 자막영역상에 각 자막문의 전문이 표시되어 있지 않은 것을 사용자 에게 통지하는 통지수단을 구비하고,
    상기 자막영역의 확보를 완료할 때까지의 동안에 사용자에게 통지를 실행하는 것을 특징으로 하는 자막첨부영상 재생장치.
  15. 제 10 항에 있어서,
    상기 영역확보수단은,
    상기 영상신호가 정의하는 각 영상의 사이즈를 판별하는 영상사이즈 판별수단과,
    상기 영상사이즈 판별수단이 판별한 각 영상의 사이즈에 의거하여, 해당 각 영상을 표시하는 각 영상영역의 수를 결정하는 영상영역수 결정수단을 구비하고,
    상기 영상영역수 결정수단이 결정한 수의 각 영상영역과, 해당 각 영상영역과 동일수의 각 자막영역을 상기 표시영역상으로부터 확보하는 것을 특징으로 하는 자막첨부영상 재생장치.
  16. 제 10 항에 있어서,
    상기 기억수단은,
    상기 표시영역에 있어서 각 자막문이 표시되는 방향과, 상기 각 자막영역을 확보하는 수 및 위치를 대응지어 기억하고,
    상기 영역확보수단은,
    상기 표시영역에 있어서 각 자막문이 표시되는 방향을 판별하는 자막방향 판별수단과,
    상기 자막방향 판별수단이 판별한 방향에 대응하는 상기 각 자막영역을 확보하는 수 및 위치를 상기 기억수단으로부터 판독하는 자막영역수 위치 판독수단과,
    상기 영상영역에 있어서 각 영상이 표시되는 방향을 판별하는 영상방향 판별수단을 구비하고,
    상기 자막영역수 위치 판독수단이 판독한 수 및 위치에 따라서 각 자막영역을 확보하고,
    상기 확보한 각 자막영역의 수와 동일수이고 또한 상기 자막방향 판별수단이 판별한 각 자막문이 표시되는 방향과 해당 각 자막문에 대응하는 영상이 표시되는 방향이 일치하도록 각 영상영역을 확보하는 것을 특징으로 하는 자막첨부영상 재생장치.
  17. 제 10 항에 있어서,
    상기 기억수단은,
    복수의 콘텐츠의 리스트와, 상기 각 콘텐츠에 포함되는 자막신호 및 영상신호를 기억하고,
    상기 자막재생수단은,
    상기 리스트로부터 재생후보로 되는 복수의 콘텐츠를 선택하는 재생후보 선택수단과,
    상기 재생후보 선택수단이 선택한 재생후보의 각 콘텐츠로부터 재생할 콘텐츠를 선택하는 재생 콘텐츠 선택수단을 구비하고,
    상기 재생 콘텐츠 선택수단이 선택한 콘텐츠에 포함되는 자막신호가 정의하는 복수의 자막문을 재생하고,
    상기 영상재생 표시수단은,
    상기 재생후보의 각 콘텐츠 중에서 상기 재생 콘텐츠 선택수단에 선택되지 않았던 각 콘텐츠의 각 영상을 표시하는 것을 특징으로 하는 자막첨부영상 재생장치.
  18. 제 17 항에 있어서,
    상기 영역확보수단은,
    각 영상을 표시중인 각 영상영역의 사이즈를 확대하는 확대수단을 구비하고,
    상기 확대수단이 확대한 사이즈의 영상영역을 확보하고,
    상기 자막재생수단은, 상기 확대수단이 확대한 영상영역에 표시되어 있는 영상의 재생타이밍에 대응하는 자막문을 재생하는 것을 특징으로 하는 자막첨부영상 재생장치.
  19. 제 1 항에 있어서,
    시간을 계시하고, 상기 자막재생수단이 재생중인 자막문의 재생 개시부터 소정 시간이 경과한 것을 검출하는 타이머수단을 추가로 구비하고,
    상기 자막선택수단은 상기 타이머수단에서 소정 시간의 경과를 검출했을 때에, 상기 자막재생수단을 제어하고, 현재 재생중인 자막문 대신에, 그 자막문의 다음의 재생순서를 갖는 자막문을 선택하는 자막전환수단을 구비하고.
    상기 자막재생수단은 자막선택수단에 의해 선택된 자막문과, 그 자막문의 재생순서를 기준으로 하여 소정의 재생순서의 범위내에 있는 자막문의 리스트를 생성하여 표시하는 리스트 표시수단을 구비하는 것을 특징으로 하는 자막첨부영상 재생장치.
  20. 제 19 항에 있어서,
    상기 타이머수단은,
    현재 재생중인 자막문에 포함되는 문자의 수를 판별하는 문자수 판별수단과, 상기 문자수 판별수단에서 판별한 수의 증대에 수반하여 상기 소정 시간을 크게 하고, 상기 수의 감소에 수반하여 상기 소정 시간을 작게 하는 시간변경수단을 구비하고,
    상기 시간변경수단에서 변경된 소정 시간이 경과한 것을 검출하는 것을 특징으로 하는 자막첨부영상 재생장치.
  21. 제 20 항에 있어서,
    상기 기억수단은 상기 자막문에 포함되는 각 문자의 재생시간을 나타내는 1문자 재생시간 정보를 기억하고 있고,
    상기 시간변경수단은 상기 1문자 재생시간 정보가 나타내는 재생시간과 상기 문자수 판별수단에서 판별한 수의 곱으로부터 정해지는 시간으로 상기 소정 시간을 변경하는 것을 특징으로 하는 자막첨부영상 재생장치.
  22. 제 21 항에 있어서,
    상기 자막신호가 정의하는 전체자막문의 총 문자수를 구하는 총 문자수 연산수단과,
    상기 기억수단이 기억하는 1문자 재생시간정보가 나타내는 재생시간과 상기총 문자수의 곱으로부터, 전체자막문의 재생에 요하는 전체자막문 재생시간을 구하는 전체자막 재생시간 취득수단과,
    상기 전체자막문 재생시간과 현재시각을 가산하여 자막문 재생 완료시각을 구하고, 그 자막문 재생 완료시각을 표시하는 수단을 추가로 구비하는 것을 특징으로 하는 자막첨부영상 재생장치.
  23. 제 20 항에 있어서,
    상기 기억수단은 상기 자막문에 포함되는 문자의 수와 상기 소정시간을 대응짓는 자막전환 시간정보를 기억하고 있고,
    상기 시간변경수단은,
    상기 자막전환 시간정보를 참조하여, 상기 문자수 판별수단에서 판별한 수에 대응하는 소정 시간을 특정하는 시간특정수단을 구비하고,
    상기 시간특정수단에서 특정한 소정 시간으로 상기 소정 시간을 변경하는 것을 특징으로 하는 자막첨부영상 재생장치.
  24. 제 19 항에 있어서,
    상기 타이머수단은,
    사용자의 조작에 응답하여 상기 소정 시간을 입력하는 시간입력수단을 구비하고,
    상기 시간입력수단이 입력한 소정 시간이 경과한 것을 검출하는 것을 특징으로 하는 자막첨부영상 재생장치.
  25. 제 19 항에 있어서,
    상기 자막전환수단은,
    상기 소정 시간과 상기 타이머수단에서 계시한 시간의 차로부터, 재생중인 자막문을 전환할 때까지의 잔여시간을 구하고, 그 잔여시간을 표시하는 잔여시간 표시수단을 구비하고,
    상기 잔여시간 표시수단이 표시중인 잔여시간이 제로로 되었을 때에, 상기 자막재생수단을 제어하여 자막문을 전환시키는 것을 특징으로 하는 자막첨부영상 재생장치.
  26. 제 19 항에 있어서,
    상기 영상신호가 정의하는 전체영상의 재생의 개시부터 종료까지의 시간을 나타내는 전체영상 재생시간을 구하는 전체영상시간 취득수단과,
    선두의 자막문의 재생 개시시부터 현재 재생중인 자막문의 재생시에 이를 때까지의 경과시간이 상기 전체영상 재생시간에 차지하는 비율을 나타내는 비율지시화상을 생성하는 비율화상 생성수단과,
    상기 비율화상 생성수단에서 생성한 비율지시화상을 표시하는 비율화상 표시수단을 구비하는 것을 특징으로 하는 자막첨부영상 재생장치.
  27. 제 26 항에 있어서,
    상기 전체영상시간 취득수단에서 구한 전체영상 재생시간에 있어서의 상기 각 자막문의 각 재생시각을 나타내는 재생시각 지시화상과, 상기 비율화상 생성수단에서 생성한 비율지시화상을 중첩해서 표시하는 수단을 구비하는 것을 특징으로 하는 자막첨부영상 재생장치.
  28. 제 19 항에 있어서,
    상기 기억수단은,
    상기 각 영상으로부터 상기 각 자막문에 재생순서가 대응지어져 있지 않은 영상을 추출하는 비대응 영상 추출수단을 구비하고,
    상기 비대응 영상 추출수단에서 추출한 영상과, 의사적인 자막문인 가자막문을 재생 순서에 의해 대응지어 기억하고,
    상기 자막재생수단은,
    상기 영상재생수단이 상기 비대응 영상 추출수단에서 추출한 영상을 재생했을 때에, 해당 영상에 대응지어진 가자막문을 재생하고,
    상기 리스트 표시수단은,
    상기 재생중인 가자막문과, 해당 가자막문의 재생 순서를 기준으로 하여 소정의 재생순서의 범위내에 있는 가자막문의 리스트를 표시하는 것을 특징으로 하는 자막첨부영상 재생장치.
  29. 제 19 항에 있어서,
    상기 자막전환수단은,
    재생중인 자막문 대신에 그 자막문의 다음의 재생순서를 갖는 자막문이 재생된 것을 사용자에게 통지하는 통지수단을 구비하고,
    상기 자막재생수단을 제어하여 상기 다음의 재생순서를 갖는 자막문을 재생시켰을 때에, 상기 통지수단에 의해 사용자에게 통지하는 것을 특징으로 하는 자막첨부영상 재생장치.
  30. 복수의 자막문을 정의하는 자막신호와 복수의 영상을 정의하는 영상신호를 재생타이밍을 대응지어 기억하는 자막영상 기억수단과,
    상기 자막영상 기억수단이 기억하는 자막신호가 정의하는 복수의 자막문으로부터 적어도 2개 이상의 자막문을 재생하는 자막재생수단과,
    상기 자막영상 기억수단이 기억하는 영상신호가 정의하는 영상으로부터, 상기 자막재생수단이 재생한 각 자막문에 부여된 재생타이밍에 대응하는 재생타이밍이 부여된 영상을 추출하는 영상추출수단과,
    상기 영상추출수단이 추출한 영상을 재생하고 표시하는 영상재생 표시수단을 구비하는 것을 특징으로 하는 자막첨부영상 재생장치.
  31. 복수의 자막문을 정의하는 자막신호와 복수의 영상을 정의하는 영상신호를 재생순서에 의해 대응지어 기억하는 기억수단과,
    상기 자막신호가 정의하는 자막문을 재생하는 자막재생수단과,
    시간을 계시하고, 상기 자막재생수단이 재생중인 자막문의 재생 개시부터 소정 시간이 경과한 것을 검출하는 타이머수단과,
    상기 타이머수단에서 소정 시간의 경과를 검출했을 때에, 상기 자막재생수단을 제어하고, 현재 재생중인 자막문 대신에 그 자막문의 다음의 재생순서를 갖는 자막문을 재생시키는 자막전환수단과,
    상기 영상신호가 정의하는 각 영상 중에서 상기 자막재생수단이 재생중인 자막문에 대응하는 재생순서를 갖는 영상을 재생하는 영상재생수단과,
    상기 자막재생수단이 재생중인 자막문과, 그 자막문의 재생순서를 기준으로 하여 소정의 재생 순서의 범위내에 있는 자막문의 리스트를 생성하고 표시하는 리스트 표시수단을 구비하는 것을 특징으로 하는 자막첨부영상 재생장치.
  32. 컴퓨터에,
    복수의 자막문을 정의하는 자막신호와 복수의 영상을 정의하는 영상신호를 재생타이밍을 대응지어 기억수단에 기억하는 기억단계,
    상기 기억수단에 기억되어 있는 자막신호에 의해 정의되는 복수의 자막문 중의 어느 하나를 선택하는 자막선택단계,
    상기 자막선택단계에 의해 선택된 자막문을 재생하는 자막재생단계,
    상기 기억수단에 기억된 상기 영상신호를 재생하는 영상재생단계, 및
    상기 자막재생단계에 의해 자막문을 선택하고 선택한 자막문과 해당 자막문에 대응하는 영상을 상기 자막재생단계 및 상기 영상재생단계에 의해 재생하는 자막시청모드와, 상기 영상재생단계에 의해 자막첨부영상을 재생하는 통상시청모드를 전환하는 모드전환단계를 포함하는 프로그램이 기록된 컴퓨터 판독가능 기록매체.
  33. 컴퓨터에,
    복수의 자막문을 정의하는 자막신호와 복수의 영상을 정의하는 영상신호를 재생타이밍을 대응지어 기억부에 기억시키는 기억단계,
    상기 기억부에 기억시킨 자막신호가 정의하는 복수의 자막문으로부터 적어도 2개 이상의 자막문을 판독시키며, 재생하는 재생단계,
    상기 기억부에 기억시킨 영상신호 중에서, 상기 재생시킨 각 자막문의 재생타이밍에 대응하는 재생타이밍이 부여된 각 영상신호를 검출시키는 검출단계, 및
    상기 검출시킨 각 영상신호가 정의하는 각 영상을 재생시키고, 표시부에 표시하는 표시단계를 포함하는 프로그램이 기록된 컴퓨터 판독가능 기록매체.
  34. 컴퓨터에,
    복수의 자막문을 정의하는 자막신호와 복수의 영상을 정의하는 영상신호를 재생순서에 의해 대응지어 기억부에 기억시키는 기억단계,
    상기 기억부에 기억시킨 자막신호가 정의하는 자막문을 재생하는 재생단계,
    시간을 계시하고, 상기 재생중인 자막문의 재생 개시부터 소정 시간이 경과한 것을 검출하는 검출단계,
    상기 소정 시간이 경과한 것을 검출했을 때에, 현재 재생중인 자막문 대신에 그 자막문의 다음의 재생순서를 갖는 자막문을 재생하는 다음 자막 재생단계,
    상기 영상신호가 정의하는 각 영상 중에서 상기 재생중인 자막문에 대응하는 재생순서를 갖는 영상을 재생하는 영상재생단계,및
    상기 재생중인 자막문과, 그 자막문의 재생순서를 기준으로 하여 소정의 재생 순서의 범위내에 있는 자막문의 리스트를 표시부에 표시하는 표시단계를 포함하는 프로그램이 기록된 컴퓨터 판독가능 기록매체.
KR1020080047274A 2007-05-21 2008-05-21 자막첨부영상 재생장치 및 프로그램이 기록된 기록매체 KR100980792B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2007133865 2007-05-21
JPJP-P-2007-00133865 2007-05-21
JP2007159510A JP4367535B2 (ja) 2007-06-15 2007-06-15 字幕付映像再生装置、プログラム
JPJP-P-2007-00159510 2007-06-15
JPJP-P-2007-00203612 2007-08-03
JP2007203612A JP4821733B2 (ja) 2007-08-03 2007-08-03 字幕付映像再生端末装置、プログラム

Publications (2)

Publication Number Publication Date
KR20080103016A KR20080103016A (ko) 2008-11-26
KR100980792B1 true KR100980792B1 (ko) 2010-09-10

Family

ID=40072486

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080047274A KR100980792B1 (ko) 2007-05-21 2008-05-21 자막첨부영상 재생장치 및 프로그램이 기록된 기록매체

Country Status (2)

Country Link
US (2) US8346049B2 (ko)
KR (1) KR100980792B1 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4569673B2 (ja) * 2008-06-24 2010-10-27 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 字幕付映像再生装置、字幕付映像再生方法及びプログラム
JP5249677B2 (ja) * 2008-08-21 2013-07-31 株式会社バッファロー 宣伝区間検出装置及び宣伝区間検出プログラム
US8130319B2 (en) * 2008-12-02 2012-03-06 Himax Media Solutions, Inc. Signal processing device and method
EP2356820B1 (en) 2008-12-02 2017-07-19 LG Electronics Inc. 3d caption display method and 3d display apparatus for implementing the same
JP4711152B2 (ja) * 2008-12-26 2011-06-29 ソニー株式会社 コンテンツ表示制御装置および方法、プログラム、並びに記録媒体
KR101702968B1 (ko) * 2010-01-08 2017-02-06 엘지전자 주식회사 영상표시장치 및 그 제어방법
US20110184738A1 (en) * 2010-01-25 2011-07-28 Kalisky Dror Navigation and orientation tools for speech synthesis
EP2397953B1 (en) * 2010-06-15 2019-02-20 Accenture Global Services Limited A computer-implemented method, a computer program product and an embedded system for displaying data more efficiently
US8234411B2 (en) 2010-09-02 2012-07-31 Comcast Cable Communications, Llc Providing enhanced content
US20130334300A1 (en) * 2011-01-03 2013-12-19 Curt Evans Text-synchronized media utilization and manipulation based on an embedded barcode
JP6317926B2 (ja) 2011-01-10 2018-04-25 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ キャプションを表示するシステム及び方法
JP5376685B2 (ja) * 2011-07-13 2013-12-25 Ｎｅｃビッグローブ株式会社 コンテンツデータ表示装置、コンテンツデータ表示方法及びプログラム
US20140359448A1 (en) * 2013-05-31 2014-12-04 Microsoft Corporation Adding captions and emphasis to video
KR102319456B1 (ko) * 2014-12-15 2021-10-28 조은형 콘텐츠 재생 방법 및 이를 수행하는 전자 기기
US11284170B1 (en) * 2015-06-29 2022-03-22 Twitter, Inc. Video preview mechanism
CN105187942A (zh) * 2015-09-16 2015-12-23 广东九联科技股份有限公司 一种节目实时快速分类方法
TWI659647B (zh) * 2017-11-21 2019-05-11 晶睿通訊股份有限公司 影像播放設備及其影像播放方法
CN108040277B (zh) 2017-12-04 2020-08-25 海信视像科技股份有限公司 针对解码后得到的多语种字幕的字幕切换方法及装置
US10459620B2 (en) * 2018-02-09 2019-10-29 Nedelco, Inc. Caption rate control
EP3554092A1 (en) * 2018-04-12 2019-10-16 InterDigital CE Patent Holdings Video system with improved caption display
CN110401848A (zh) * 2018-04-24 2019-11-01 北京视联动力国际信息技术有限公司 一种视频播放方法和装置
CN110774759B (zh) * 2018-07-31 2021-10-22 佳能株式会社 液体喷射头、液体喷射模块和液体喷射设备
CN110177295B (zh) * 2019-06-06 2021-06-22 北京字节跳动网络技术有限公司 字幕越界的处理方法、装置和电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006165772A (ja) * 2004-12-03 2006-06-22 Hitachi Ltd 情報再生装置及び方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5537151A (en) * 1994-02-16 1996-07-16 Ati Technologies Inc. Close caption support with timewarp
KR100326400B1 (ko) * 1999-05-19 2002-03-12 김광수 자막지향 탐색정보 생성 및 탐색방법과, 이를 사용하는 재생장치
US7034863B2 (en) * 2001-04-18 2006-04-25 Sarnoff Corporation Video streams for closed caption testing and the like
JP2003018491A (ja) 2001-07-04 2003-01-17 Sony Corp 字幕表示装置および方法
JP4100957B2 (ja) 2002-05-14 2008-06-11 松下電器産業株式会社 光ディスク再生装置
JP2004080476A (ja) 2002-08-20 2004-03-11 Sanyo Electric Co Ltd ディジタル映像再生装置
JP3884016B2 (ja) 2004-02-13 2007-02-21 ダイキン工業株式会社 情報処理装置および情報処理方法、プログラム、並びに、情報処理システム
JP4219841B2 (ja) 2004-04-07 2009-02-04 愛三工業株式会社 スロットル制御装置
JP2005303743A (ja) 2004-04-13 2005-10-27 Daikin Ind Ltd 情報処理装置および情報処理方法、プログラム、並びに、情報処理システム
US8832740B2 (en) * 2004-12-08 2014-09-09 Warner Bros. Entertainment Inc. Simulation of multiple DVD video streams in DVD-video user interfaces and related method
JP2006279312A (ja) 2005-03-28 2006-10-12 Pioneer Electronic Corp 字幕付き番組記録・再生装置及び字幕付き番組記録・再生方法
US7627349B2 (en) * 2005-07-11 2009-12-01 Nokia Corporation Alternative notifier for multimedia use
JP4364192B2 (ja) 2005-11-24 2009-11-11 富士通テン株式会社 表示装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006165772A (ja) * 2004-12-03 2006-06-22 Hitachi Ltd 情報再生装置及び方法

Also Published As

Publication number Publication date
US20130077939A1 (en) 2013-03-28
KR20080103016A (ko) 2008-11-26
US8989551B2 (en) 2015-03-24
US8346049B2 (en) 2013-01-01
US20080292272A1 (en) 2008-11-27

Similar Documents

Publication Publication Date Title
KR100980792B1 (ko) 자막첨부영상 재생장치 및 프로그램이 기록된 기록매체
US8285114B2 (en) Electronic apparatus and display method
JP5057918B2 (ja) 電子機器およびシーン種類表示方法
US8166420B2 (en) Electronic apparatus and image display control method of the electronic apparatus
JP4322945B2 (ja) 電子機器、及び画像表示制御方法
JP4834639B2 (ja) 電子機器および画像表示制御方法
JP5158595B2 (ja) 字幕付映像再生端末装置、プログラム
JP5524653B2 (ja) 表示制御装置及びその制御方法
MX2008011587A (es) Exploracion de video basada en imagenes pequeñas.
JP2009038680A (ja) 電子機器および顔画像表示方法
JP4856105B2 (ja) 電子機器および表示処理方法
JP5310808B2 (ja) 字幕付映像再生装置及び字幕付映像再生プログラム
JP4367535B2 (ja) 字幕付映像再生装置、プログラム
JP5036267B2 (ja) 携帯型電子装置
JP2002374219A (ja) 放送受信装置、放送受信方法、プログラムおよび記憶媒体
EP1484763A1 (en) Music program contents menu creation apparatus and method
JP2007180967A (ja) 録画番組管理装置
JP2009206724A (ja) 再生装置
JP4821733B2 (ja) 字幕付映像再生端末装置、プログラム
KR101481689B1 (ko) 숫자정보를 이용한 멀티미디어 컨텐츠 탐색방법 및 장치
JP2009171015A (ja) 字幕付映像再生装置及びプログラム
JP2003348477A (ja) 情報表示装置
JP5318171B2 (ja) 電子機器および画像表示制御方法
JP5566984B2 (ja) 電子機器および画像表示方法
JP2009089031A (ja) 電子機器および画像表示方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130822

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140828

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150730

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160727

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee