WO2010134479A1 - 動画表示装置 - Google Patents

動画表示装置 Download PDF

Info

Publication number
WO2010134479A1
WO2010134479A1 PCT/JP2010/058259 JP2010058259W WO2010134479A1 WO 2010134479 A1 WO2010134479 A1 WO 2010134479A1 JP 2010058259 W JP2010058259 W JP 2010058259W WO 2010134479 A1 WO2010134479 A1 WO 2010134479A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving image
data
image data
display
unit
Prior art date
Application number
PCT/JP2010/058259
Other languages
English (en)
French (fr)
Inventor
木村旭
大久保宏
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to CN201080021628XA priority Critical patent/CN102428517A/zh
Priority to JP2011514395A priority patent/JPWO2010134479A1/ja
Priority to US13/320,797 priority patent/US20120082435A1/en
Priority to BRPI1012202A priority patent/BRPI1012202A2/pt
Publication of WO2010134479A1 publication Critical patent/WO2010134479A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet

Definitions

  • the present invention relates to a moving image (moving image) display technology, and particularly to a moving image content list display technology in a mobile terminal device having a moving image display function.
  • Patent Document 1 a technique for decoding and reproducing a plurality of moving images in parallel is described. For example, when a plurality of moving images in which image signals of a plurality of channels are multiplexed are received, a normal decoding process is performed on code data of a predetermined channel, and a predetermined frame is applied to code data of other channels. By decoding only the multi-channel video, it is possible to decode and reproduce multi-channel moving images in parallel.
  • JP 2001-157111 A Image decoding method and apparatus and storage medium
  • FIG. 20 is a diagram illustrating an example of a preview display screen of a plurality of moving images (an example in which four moving images are displayed on one screen in FIG. 20) in an apparatus capable of displaying a plurality of moving image contents.
  • preview means that one or several frame images extracted from the video content or one scene of the video is reduced or displayed so that the content of the video content can be quickly confirmed. This is a simple reduction display of content.
  • preview is used in this sense.
  • the leftmost video 1 (Video 1) in the figure is decrypted, and the video decryption process is started.
  • a plurality of moving image preview areas are displayed, and moving image information (moving content index) of the four moving images is displayed.
  • moving image information moving content index
  • a representative image of only Video1 is displayed, and images after video 2 (Video2) are not displayed until image processing such as decryption of Video1 is completed.
  • the second video 2 descrambling process from the left and the video decrypting process are started. In this state, the representative image of Video2 is displayed, but the representative image after Video3 is not displayed.
  • An object of the present invention is to provide a technology that enables a user to quickly recognize an outline of a plurality of moving images.
  • the present invention is a processing control unit that controls a process of reproducing a plurality of moving images in parallel and displaying them on a display unit, an interface unit that acquires moving image data that operates based on an instruction from the processing control unit, A storage unit that stores first moving image data and second moving image data that are moving image data acquired by the interface unit, and a representative that extracts or creates still image data from the moving image data stored in the storage unit When a list display of the image acquisition unit, the first moving image data, and the second moving image data is instructed, the first still image data extracted or created from the first moving image data, And a display image processing unit that displays the first moving image data as a moving image after the second still image data extracted or created from the second moving image data is displayed on the display unit.
  • the first still image data is data of one frame of the first moving image data
  • the display image processing unit displays a moving image from the one frame when displaying the moving image of the first moving image data. It is preferable.
  • the first still image data is data of one frame of the first moving image data
  • the display image processing unit is configured to display the next frame after the one frame when displaying the moving image of the first moving image data. It is preferable to display a moving image from a frame.
  • the representative image acquisition unit extracts or creates a plurality of still image data from the moving image data, and the display image processing unit transfers the first still image data or the second still image data to the display unit.
  • the display image processing unit transfers the first still image data or the second still image data to the display unit.
  • a preview reproduction processing unit that performs image processing for creating preview data for displaying a preview of a moving image based on the moving image data stored in the storage unit, and the display image processing unit includes the preview reproduction process.
  • the preview data processed by the unit is received, the still image data of the corresponding moving image is preferably replaced with the preview data.
  • the still image data is preferably a still image representing the moving image or an image that does not require reference to frames before and after the moving image.
  • the present invention also provides a moving image display method for reproducing a plurality of moving images in parallel and displaying them on a display unit, the step of acquiring moving image data, and the first moving image data and the second moving image data that have been acquired.
  • a step of storing the moving image data, a representative image obtaining step of extracting or creating still image data from the stored moving image data, and a list display of the first moving image data and the second moving image data are instructed
  • the first still image data extracted or created from the first moving image data and the second still image data extracted or created from the second moving image data are displayed on the display unit.
  • a display image processing step of replacing the display of the first still image data with the moving image display of the first moving image data.
  • the present invention is a program for causing a computer to execute the moving image display method described above.
  • FIG. 2A is a diagram illustrating an example of a usage form of a mobile phone terminal
  • FIG. 2B is a diagram illustrating a configuration example of a file group stored in an external storage device.
  • It is a functional block diagram which shows one structural example of the mobile telephone terminal A by this Embodiment.
  • It is a figure which shows the flow of a process in the integrated process part of the mobile telephone terminal by this Embodiment.
  • a ... mobile phone terminal moving image display device
  • 3 ... display device 3a ... touch panel
  • 7 key input device
  • 11 external recording device
  • 21 external recording device
  • 23 ... processing control unit
  • 25 ... memory (DRAM)
  • 27 Moving image data acquisition unit
  • 31 Representative image acquisition unit
  • 33 Moving image decoding processing unit
  • 35 ... Preview reproduction processing unit
  • 37 O interface
  • 45 ... Decryption processing unit.
  • a moving image is one in which reproduction is performed according to the reproduction timing when the reproduction timing is included in the moving image data, or the reproduction timing included in the moving image data is not used, and the moving image data If the playback timing is not included, playback is performed such that the frames are updated at regular time intervals.
  • a representative image is an image that represents moving image data, such as a still image extracted or created from the moving image data, such as a still image cut out from a portion of the moving image, or a moving image that does not require reference to other frames before and after. One frame of data.
  • the representative image since the representative image is treated as a still image here, the representative image does not depend on the reproduction timing included in the moving image file, even if it is extracted from any part of the moving image file.
  • the process of extracting the representative image from the moving image data is faster than the process of displaying the moving image or displaying the preview of the moving image. This is because the processing for extracting the representative image is a part of the moving image data including the data for one frame, and is compared with the processing for displaying or previewing the moving image in which the entire moving image data is the processing target. This is because the length of the moving image data read into the memory becomes extremely small. Note that a case where a moving image is reduced or partially extracted and displayed is referred to as a preview display. A case where a moving image is displayed without such processing is simply referred to as moving image display.
  • FIG. 1 is a diagram illustrating an example of an external configuration of a mobile phone terminal A, and includes a housing 1, an LCD display device 3, a speaker 5, a key input device 7, and an external storage device 11 (built-in flash memory or removal). And a microphone 15.
  • the display device 3 may have a touch panel 3a.
  • a plurality of moving image contents can be stored in the external storage device 11, and the following description will be made on the assumption that a plurality of moving image contents are recorded.
  • the moving image may be taken by an attached camera (not shown) or may be received by streaming.
  • FIG. 2A is a diagram showing an example of a usage form of the mobile phone terminal A, and shows a state in which four moving image content indexes are displayed on the LCD display device 3 as a moving image content menu display example.
  • Content image display (1) to content image display (4) are moving image content list display screens on which representative images of video content (Video 1 to Video 4) stored in the external storage device 11 are displayed. Immediately after the moving image content list display screen is displayed (for example, immediately after a preview display instruction is given to a plurality of moving image contents), for example, the first frame image of each video content is displayed as a representative image.
  • video information such as a title of each video content (VideoX), creation date and time, and other text is displayed so as to correspond to the representative image. Such video information is described in an information file generated for each video content.
  • the preview display of the “video” of each video content is gradually started in the display area of each representative image, so that the video information can be visually confirmed in detail. be able to.
  • FIG. 2B shows an example of a file group stored in the external storage device 11.
  • a video file, a video information file, a video media offset information file, and a video management information file are stored in pairs.
  • moving image content saved in the SD-Video format is taken as an example.
  • moving image content is recorded in four files: an SB1 file, a PGI file, an MOI file, and an MAI file.
  • the SB1 file is a data string (encrypted) encoded with moving image / audio.
  • the MOI (Media Object Information) file is a file in which the position where the media data in the SB1 file is stored is recorded as offset information.
  • the PGI file is a file that stores a title, creation date and time, and the like.
  • the MAI file is a management file.
  • the SB1 file and the MOI file are related.
  • the video content is composed of video data encoded by MPEG4 / AVC and audio data encoded by MPEG4-Audio (AAC).
  • AAC MPEG4-Audio
  • these video contents are generally encrypted for content protection in a state where they are stored in a storage device, but are not limited to such contents.
  • FIG. 3 is a functional block diagram showing a configuration example of the mobile phone terminal A according to the present embodiment.
  • a mobile phone terminal A shown in FIG. 3 includes a display device 3 having a touch panel 3a function, a key input device 7 which is an input device for a user to start displaying a list of a plurality of moving images, and content stored
  • An external storage device 11 that is a flash memory or a memory card, a decryption processing unit 45 that decrypts encrypted video content stored in the external storage device 11, and a CPU (The inside of the broken line is a processing unit performed inside the CPU). The following configuration is included in the CPU.
  • Processing control unit 23 Controls a series of processing for displaying a list of previews of a plurality of videos.
  • Storage device I / O interface 41 This is an interface that manages the reading and writing of data to the external storage device 11.
  • the request data is read from the external storage device 11 and returned. If the request data is encrypted, it is returned after decryption.
  • DRAM Dynamic Random Access Memory
  • Moving picture data acquisition unit 27 Reads data of a certain size (for example, 720 kB) from the moving picture content data stored in the external storage device 11 and writes it into the memory (DRAM) 25.
  • a certain size for example, 720 kB
  • Representative image acquisition unit 31 (moving image identification data acquiring unit): Reads data including the first image of moving images from the moving image content data stored in the external storage device 11, and performs a process of decoding the image data. Or the process which acquires the data which can identify the moving image content data from the above-mentioned Video information is performed.
  • Preview playback processing unit 35 Reads the moving image content data written in the memory, sequentially decodes the moving image data, and sends the data to the display image processing unit.
  • Video decoding processing unit 33 H. It is a kind of H.264 decoder.
  • Display image processing unit 37 The image data received from the representative image processing unit 31 and the preview reproduction processing unit 35 are combined, and the display screen is updated.
  • Display device (LCD) 3 A display unit such as a liquid crystal panel that is generally widely used.
  • Input device interface 21 Receives input from the touch panel 3a and the key input device 7 and transmits it to the processing control unit 23.
  • FIG. 9 to FIG. 14 are diagrams showing a specific processing state in each processing unit.
  • the external storage device 11 has a PES packet including an IDR picture arranged at a position away from the head indicated by HPI and other IDR pictures for each data string from Video1 to Video4. PES packets including data other than those are arranged.
  • the moving image content data stored in the external storage device is generally encrypted for content protection.
  • the processing supervision unit 23 first instructs the representative image acquisition unit 31 to acquire the first data block including the image data to be the representative image.
  • the moving image data acquisition unit 27 is instructed to acquire moving image data blocks as much as it can fit in the memory slot (FIG. 10).
  • the representative image acquisition unit 31 acquires a data block including an IDR picture from the top of the data in accordance with an instruction from the processing supervision unit 23.
  • This data block is a PES packet (HPI) including the IDR picture shown in FIG. Since the acquired data is encoded, the moving image decoding processing unit 33 is used to decode the image data. The display apparatus 3 is instructed to output the decoded image as a representative image.
  • HPI PES packet
  • the main storage device (memory) 25 indicates a RAM (Random Access Memory). Strictly speaking, the RAM 25 is used by all the processing units, but only the portion related to the point of the present invention will be described here.
  • the memory 25 is provided with a plurality of memory slots, and data corresponding to FIG. 9 is stored in each memory slot.
  • the moving image data acquisition unit 27 acquires each video data from the external storage device 11 and copies it to the memory by, for example, 800 kB in the case of preview display.
  • a plurality of PES packets of each Video shown in FIG. 9 are stored in the memory slot as shown in FIG.
  • For the purpose of preview display for example, it suffices to have only about 10 to 15 seconds of data, so that it is possible to reduce the memory usage and speed up the preview process.
  • the representative image acquisition unit 31 extracts, for each Video data, representative image data decoded from the HPI that is a PES packet including an IDR picture.
  • the preview reproduction processing unit 35 operates in parallel with the representative image acquisition unit 31.
  • the preview reproduction processing unit 35 monitors the memory slot (FIG. 10) and waits for moving image data to be stored therein. When it is confirmed that the moving image data is stored in the memory slot, the data is read, and the moving image decoding processing unit 33 is used to start decoding of the moving image data.
  • the decoded moving image data is sent to the display device 3 together with the content number, and an instruction to update the display image from the representative image to the corresponding moving image is given. These are performed for all the memory slots, but switching of the memory slots to be processed is sequentially performed in a time division manner.
  • the display image processing unit 37 first displays a representative image, and when moving image data is sent, performs a process of replacing the representative image display with a moving image display and updating it. For example, when a preview display is performed as a moving image display, every time preview data is sent from the preview reproduction processing unit 35, a process of replacing the representative image display with the preview display and updating it is performed. By this process, the display process of the representative image and the replacement process with the preview display are smoothly performed.
  • control flow represents a flow in which an arrow generation block instructs a process or requests data for a block at the arrow destination.
  • the data flow represents a flow of data such as moving image data from the arrow generation block to the arrow destination block.
  • the target data format is MPEG2TS (ISO / IEC) 13818-1.
  • MPEG2TS ISO / IEC
  • a file is created as a data stream of encoded video data / audio data composed of data blocks of fixed length (188 bytes) called TS packets.
  • H header field
  • the conformance field includes time information and stuffing data (redundant data for length adjustment) that serve as a reference for reproducing moving image data.
  • Video data, audio data, and the like are stored in the payload.
  • FIG. 16 is a diagram showing a storage example of moving image data.
  • FIG. 16A is a diagram illustrating an example in which moving image data is stored in MPEG2TS.
  • the moving image is composed of IDR, P, P,...,
  • the audio data is composed of Frame, which are arranged on the time axis in the order of moving image and sound.
  • a region surrounded by a broken-line frame indicates a portion that needs to be synchronized.
  • video and audio that need to be synchronized are combined into one PES packet.
  • IDR picture data When IDR picture data is included, it is always included at the head of the PES packet.
  • the PES packet is divided into data of 184 bytes or less so as to fit in the TS packet.
  • FIG. 16B is a diagram showing a state in which a TS packet is configured by adding a 4-byte header and a conformance field to the divided payload.
  • FIG. 17 is a diagram showing an outline of the encryption processing described in the following embodiment.
  • the upper part of FIG. 17 shows the data structure of unencrypted video data, which is composed of a large number of TS packets.
  • the units of H header
  • compatible field and payload are repeated.
  • it is composed of a set of H, a matching field, and an encrypted payload.
  • FIG. 18 is a flowchart showing a simple flow from obtaining the above-mentioned encrypted content to obtaining a moving image stream.
  • encrypted data is prepared (step S61), and the encryption is released to obtain an MPEG2TS stream (step S62).
  • Decryption is performed by the decryption processing unit 45, and the acquired MPEG2TS stream is transferred to the moving image data acquisition unit 27 and the representative image acquisition unit 31 via the storage device I / O interface 41.
  • the moving picture data acquisition unit 27 writes the received MPEG2TS data in the memory (DRAM) 25 as it is.
  • the representative image acquisition unit 31 and the preview reproduction processing unit 35 merge TS packets from the obtained MPEG2 TS packets to form PES packets (step S63). Further, the representative image acquisition unit 31 and the preview reproduction processing unit 35 perform H.264 conversion from the obtained PES packet.
  • H.264 streams, A H.264 byte stream (access unit) is set (step S64).
  • a representative image and a moving image can be obtained from the H.264 byte stream (access unit) using a moving image decoding processing unit (H.264 decoder).
  • H.264 decoder moving image decoding processing unit
  • FIG. 4 is a diagram showing a flow of processing in the processing control unit 23.
  • the processing of the processing control unit 23 is started (step S1: START).
  • step S2 the display image processing unit 37 is instructed to generate a list display screen.
  • step S3 a memory slot area (see FIG. 10) for storing moving image data is secured in the memory 25 (a-0).
  • step S4 the representative image acquisition unit 31 (see FIG. 12) is instructed to start processing (a-1).
  • the processing based on (a-1) is completed, representative images of all moving image contents to be displayed are displayed in the list display.
  • step S5 the moving image data acquisition unit 27 (see FIG. 11) is instructed to start processing (a-2).
  • step S6 a list display is executed.
  • step S7 the process waits until the user performs an operation for finishing the list display.
  • the preview display unit continues to operate and repeats the moving image reproduction.
  • the preview reproduction processing unit is instructed to end the process, and the process ends in step S9.
  • FIG. 5 is a diagram showing a process flow of the representative image acquisition unit 31, and starts the process in response to an instruction from the processing supervision unit 23 (step S11: from a-1 in FIG. 4).
  • moving image data (Video [i]) is stored in the storage device I / O interface 41.
  • moving image data first moving image data
  • moving image data second moving image data
  • acquisition of the top data (PES packet)
  • the IDR picture data is included in the head data (PES packet) of the moving image data
  • acquisition of data for one head PES packet is requested.
  • the H.264 including the IDR picture from the acquired PES packet Separates 264 byte data strings.
  • step S15 the H.D.
  • the H.264 byte data string is decoded using the moving picture decoding processing unit 33.
  • the YUV420 format image data (one piece) is obtained from the IDR picture data obtained by the above procedure using the moving picture decoding processing unit 33. Note that IDR picture data is closed within one frame (reference to the previous and next frames is not necessary).
  • step S16 the decoded image is reduced to a display size. Since it is necessary to reduce the image size when displaying the list, reduction processing is performed at this stage.
  • step S17 the display image processing unit 37 is instructed to output the decoded representative image (reduced image). More specifically, the reduced image is written into the video buffer of the display image processing unit 37 and redrawing is instructed.
  • the process returns to step S13 and the process is repeated.
  • the displayed representative image data (including the first still image data and the second still image data) is a moving image reproduction process (first moving image data) by a preview reproduction processing unit described later. (Including the playback process) is performed.
  • a PES packet is used as a decoding unit (according to the one-segment specification). As long as the decoding unit is based on the H.264 access unit, other schemes are applicable (for example, applicable to the MP4 file format and the like).
  • FIGS. 6A to E and FIGS. 6F to H are diagrams showing an outline of a representative (first) image data acquisition method and a processing flow, respectively.
  • FIG. 6A is a diagram showing a data configuration in the external storage device 11.
  • Data stored in the external storage device 11 for example, an SB1 file (when encrypted) in an SD card (trade name), a data string having “header” + “encrypted data” as one unit It consists of
  • the header position includes a fixed data pattern.
  • the MOI file describes a list of positions (offsets) of data including IDR pictures, and the start position of the next data can be calculated from the data start position and the offset.
  • step S21-0 the representative image acquisition unit 31 sends the “first data” including the IDR picture to the external storage device I / O interface unit 41.
  • Request acquisition In step S21-1, the external storage device I / O interface unit 41 refers to the MOI file and calculates the range of “first data” from the offset of the data string including the IDR picture.
  • step S 21-2 the external storage device I / O interface unit 41 extracts encrypted data based on the calculated “leading data” range, and uses the decryption processing unit 45 to perform encryption. Release.
  • step S21-3 the external storage device I / O interface unit 41 returns the decrypted data string (MPEG2TS) to the representative image acquisition unit 31 (the returned data is stored in the memory 25). ).
  • MPEG2TS data data that has not been encrypted
  • steps S21-2 and 21-3 the processing of steps S21-2 and 21-3 is not performed, and the range of “first data” stored in the memory card as it is. It returns to the representative image acquisition unit 31.
  • FIG. 6B is a diagram illustrating an example of the decryption process. It is a figure which shows a mode that the encryption of encryption data is cancelled
  • FIG. 6C is a diagram showing how a PES packet is acquired.
  • the payload of the MPEG2TS data sequence can be concatenated to acquire a PES packet consisting of a PES header and a coded video data sequence. .
  • FIG. 6D is a diagram showing how the PES data portion is acquired.
  • the PES data portion includes a data string of encoded video data.
  • the data sequence of the encoded video data included in the PES packet is a data sequence in which “access units (AU)” are connected.
  • An access unit (AU) is one unit of encoding, and corresponds to one piece of IDR picture data or one piece of P picture data per access unit.
  • access units (AU) When access units (AU) are connected, a plurality of picture data is included in one PES packet.
  • the IDR picture data is always PES. Placed immediately after the header, the P picture data is placed at the rear of the IDR picture data.
  • the representative (top) image portion analyzes the PES header, detects the top position of the data string, and obtains the access unit including the video data.
  • the representative image acquisition unit 31 acquires the length of the matching field from the header of the found TS packet, and calculates the payload start position and payload length in the TS packet.
  • the representative image acquisition unit 31 extracts payload data using the calculated payload start position and payload length.
  • the representative image acquisition unit 31 moves the reference position of the MPEG2 TS data string to the position of the next TS packet.
  • step S24-10 the representative image acquisition unit 31 analyzes the header of the acquired PES packet, acquires the data size of the PES packet and the start position of the PES data unit, and extracts the PES data unit.
  • step S24-11 the representative image acquisition unit 31 inputs the PES data unit acquired from the PES packet to the moving image decoding processing unit 33, and instructs the decoding process.
  • FIG. 6E is a diagram illustrating how the top image data is acquired.
  • the PES data part shown in FIG. 6D is separated into access units including IDR pictures.
  • One access unit includes image data for one frame (in either case of IDR picture or P picture).
  • the access unit including the IDR picture is decoded into image data (YUV420 format). Decoding is executed in units of one access unit, and decoded image data (YUV420 format) can be acquired.
  • step S25-12 the representative image acquisition unit 31 inputs the PES data portion acquired from the PES packet to the moving image decoding processing unit 33 and instructs the decoding process.
  • step S25-13 the moving picture decoding processing unit 33 searches the input unit delimiter from the input PES data unit, and extracts the position of IDR picture data serving as representative image data.
  • step S25-14 the moving picture decoding processing unit 33 decodes the extracted IDR picture data, and obtains image data (YUV420 format).
  • step S25-15 the moving picture decoding processing unit 33 resizes the acquired image data to an image size used for display.
  • step S25-16 the moving image decoding processing unit 33 resizes the acquired image data to an image size used for display (thinning out data).
  • step S25-17 the moving picture decoding processing unit 33 outputs the resized image data and returns it to the representative image acquisition unit 31.
  • the representative image acquisition unit 31 instructs output to the display device 3.
  • the preview reproduction processing unit 35 performs the same processing as the above procedure from step S22-4 to step S25-12, and not only IDR picture data but also the last of the data from step S25-13 to step S25-12. Until reaching the tail, search for Access Unit Delimiter, and repeat the separation and decoding process.
  • FIG. 7 is a diagram showing a flow of processing in the moving image data acquisition unit 27.
  • the moving image data acquisition unit 27 starts processing in response to an instruction from the processing control unit 23 (step S31: START, a-2 in FIG. 4). Note that an area for storing moving image data is secured in advance by the processing control unit 23.
  • step S33 the start position of the memory area for storing the moving image data to be acquired is set. The head address of each storage destination memory area (memory slot) is associated with each content (see FIG. 10).
  • the storage device I / O interface 41 is requested to acquire data for a certain length of moving image data (Video [i]).
  • Video [i] unlike the case of step S13 in FIG.
  • step S35 data acquisition is requested only for the specified size (for example, 800 kB) of moving image data.
  • step S35 the data returned from the storage device I / O interface is stored as it is in the memory area set in step S33.
  • the data acquired here is directly written (transferred) to the memory slot without being temporarily stored in the working memory or the like.
  • step S36 the preview reproduction processing unit 35 is instructed to perform moving image reproduction processing (c-1), and when the writing to the memory area is completed, the operation of the preview reproduction processing unit 35 is started.
  • the preview reproduction processing can be operated in parallel with the processing of the moving image data acquisition unit 27 and the processing of the processing control unit 23 (the parallel operation can use a function provided by the operating system (OS)). .
  • OS operating system
  • FIG. 8 is a diagram showing a flow of processing in the preview reproduction processing unit 35. Processing is started by a notification from the moving image data acquisition unit 27. First, processing is started in step S41 (START), and in step S42, the memory reading position is set to the head position of the memory slot. Next, in step S43, data for one decoding unit (PES packet) is read from the memory slot and the encoded video data (stream) is separated. Since a plurality of frame data may be stored in one PES packet, it is further divided into frame units.
  • PES packet data for one decoding unit
  • step S44 the separated video data (stream) is divided into frame units (assumed to be divided into K pieces).
  • the frame data decoding in this process includes, in addition to the IDR picture, a P picture that restores image data using past decoded frame data.
  • inter-frame correction processing such as motion compensation is performed. Therefore, in step S45, which generally requires a larger amount of computation than an IDR picture that is completed within the frame, a frame included in the PES from the PES packet. Get the playback time of the data.
  • step S46 the reproduction time of the jth frame data is calculated from the reproduction time of the frame data included in the PES.
  • K frame data is included in the PES packet, all the images of the included K data are decoded and displayed before reading the next data.
  • step S48 the j-th frame data is decoded using the moving image decoding processing unit 33, and in step S49, the decoded image is reduced to a size for displaying the decoded image.
  • step S50 the display image processing unit 37 is instructed to output the decoded frame image (reduced image) together with the reproduction time. Upon receiving the output instruction, the display image processing unit 37 updates the preview display image according to the playback time received together with the frame image, and outputs the preview display image to the display device.
  • step S52 it is determined whether J> K. If YES, the process proceeds to step S53, and the memory reference position is sought at the next PES packet position.
  • step S54 it is determined whether or not there is a next PES packet. If YES, the process returns to step S42, and if NO, the process returns to step S47.
  • step S55 If there is an end instruction from the processing control unit 23 (step S55), an interrupt (usable OS function) is entered, all processing is interrupted, the memory 25 is released (step S56), and the processing ends. (Step S57).
  • FIG. 19 is a diagram showing an example of a preview display screen of a plurality of moving images (an example in which four moving images are displayed in FIG. 19) in an apparatus capable of reproducing a plurality of moving image contents according to the present embodiment based on the above processing. It is a figure corresponding to FIG. As shown in FIG. 19, when the start of preview is instructed, first, the decryption processing of the moving image 1 (Video 1) is performed, and the display processing of all representative images from Video 1 to Video 4 is performed. Continuously, data extraction, decryption, and video decryption are started in order from Video1. The display image of Video1 is updated from the representative image to the moving image.
  • the video 2 is similarly cut out, decrypted, and decrypted, and the display of the video 2 is updated from the representative image display to the preview display.
  • Video2 is similarly updated from the representative image to the moving image
  • Video4 is also updated from the representative image display to the preview display.
  • all (four) previews (display of representative images) displayed in a list are performed, and the contents of all moving images can be confirmed by preview display.
  • the representative image can be displayed quickly before the preview display is ready, the user can know what kind of moving image content is earlier. If possible, there are advantages.
  • the length of the video data to be processed is increased to a length that includes several frames of data, and expansion is performed to display the extracted data of several frames in order.
  • the same effect as this embodiment can be obtained.
  • the number of extracted frames is smaller than the number of frames of moving image data.
  • a mobile phone terminal has been described as an example of a moving image display device.
  • the present invention also applies to GUIs in other one-segment broadcasting display devices, video recorders, digital television receivers, personal computers, and the like. Is possible.
  • the present invention is applied to a digital television receiver having a display device with a high resolution, a personal computer having a high-speed CPU or a large-capacity memory, etc., when there is no need to reduce the image size. It is also possible to omit the reduction process for preview display and display the original image size instead of the preview display.
  • Modification 1 Replacing the representative image with arbitrary video identification data
  • the still image that is one frame of movie B is separated from the still image of movie A It is intended to be displayed.
  • the still image is preferably the first frame of the moving image, but may be another frame.
  • the moving image file may display information (file name, etc.) that characterizes the moving image other than the still image and the still image that are different from one frame of the moving image.
  • the above-mentioned representative images including the above-described still image
  • still images separately from one frame of the moving image and information characterizing the moving image (file name, etc. including the above-mentioned Video information) are collectively referred to as moving image identification data.
  • the moving image identification data is associated with the moving image data and enables identification of each moving image data.
  • Modification 3 The representative image and the moving image corresponding to the representative image are displayed at different positions
  • the representative image (still image) and the moving image corresponding to the representative image may be displayed at different positions.
  • This example includes a display method in which a moving image is displayed while the representative image is displayed, and a display method in which the representative image is deleted and a moving image is displayed.
  • moving image data (Video data) is stored in the external storage device 11 and passed to the moving image data acquisition unit 27 or the representative image acquisition unit 31 via the storage device I / O interface 41.
  • the moving image data may be stored in a storage unit (such as a hard disk or a memory) in the mobile phone terminal A.
  • the moving image data may be stored in a server or the like outside the mobile phone terminal A instead of the external storage device 11.
  • a communication interface is used instead of the storage device I / O interface 41.
  • the communication interface is an interface that connects a network such as a wireless or wired LAN or a telephone line to the moving image data acquisition unit 27 and the representative image acquisition unit 31.
  • the communication interface receives moving image data from a network or the like, and passes the moving image data to the moving image data acquisition unit 27 and the representative image acquisition unit 31.
  • a program for realizing the functions described in the present embodiment is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed to execute processing of each unit. May be performed.
  • the “computer system” here includes an OS and hardware such as peripheral devices.
  • the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.
  • the “computer-readable recording medium” means a storage device such as a flexible disk, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory in a computer system serving as a server or a client in that case is also used to hold a program for a certain period of time.
  • the program may be a program for realizing a part of the above-described functions, or may be a program that can realize the above-described functions in combination with a program already recorded in a computer system.
  • Representative images such as still images of the moving images A and B are displayed before the moving image A of the plurality of moving images is preview-displayed. Since the processing of the representative image acquisition unit for acquiring the representative image is fast, displaying the still images of A and B from the same state is completed earlier than displaying the previews of the moving images A and B from the undisplayed state. When preview display is possible, the still image is replaced with preview display.
  • a processing control unit that controls a process of reproducing a plurality of moving images in parallel and displaying them on a display unit, an interface unit that acquires moving image data that operates based on an instruction from the processing control unit, and the interface unit
  • a storage unit that temporarily stores the moving image data acquired by the user, a representative image acquisition unit that extracts a representative image of the moving image data stored in the storage unit, and a first still image and a second image that are the representative images.
  • a display image processing unit that replaces the first still image with a moving image corresponding to the first still image after the still image is displayed on the display unit.
  • the above process is started in response to an instruction to display a list of a plurality of videos from the operation unit, for example.
  • a preview reproduction processing unit configured to perform image processing for generating preview data for displaying a preview of a moving image based on the moving image data stored in the storage unit; and the display image processing unit is configured by the preview reproduction processing unit.
  • the processed preview data is received, the representative image of the corresponding moving image may be replaced with the preview data.
  • the representative image is preferably a still image that represents the moving image or an image that does not require reference to frames before and after the moving image.
  • a memory for temporarily storing the moving image data in a slot created for each data is provided, and the processing control unit reads the moving image data written in the memory and sequentially decodes the moving image data.
  • the moving image data may be sent to the display image processing unit. It is preferable that the processing supervision unit monitors that the moving image data is stored for each slot and starts reading the moving image data when stored.
  • a movie display method, a program for causing a computer to execute the movie display method, or a computer-readable recording medium for recording the program may be used.
  • the program may be acquired by a transmission medium such as the Internet.
  • the present invention can be used for a moving image display device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

動画の一覧表示の開始が指示されると、Video1、Video2それぞれの代表画像の表示処理が行われる。そしてVideo1の動画の復号化が行われ、Video1の動画が表示される。これによりユーザは、表示される複数の動画の内容の認識を早く行うことが可能になる。

Description

動画表示装置
 本発明は、動画(動画像)表示技術に関し、特に、動画表示機能を有する携帯端末装置における動画コンテンツの一覧表示技術に関する。
 近年、携帯端末装置の性能が向上するとともに、コンテンツが質・量ともに充実してきたことにより、複数の動画コンテンツを蓄積し、これらを再生して楽しむことが可能になってきている。下記特許文献1に記載の発明では、複数の動画を並行して復号・再生する技術が記載されている。例えば、複数チャネルの画像信号が多重された複数の動画を受信すると、所定のチャネルの符号データに対しては通常の復号処理が行われ、それ以外のチャネルの符号データに対しては所定のフレームだけを復号することにより、多チャネルの動画を並行して復号・再生することができる。
特開2001-157211号公報(画像復号化方法及び装置並びに記憶媒体)
 図20は、複数の動画コンテンツを表示することが可能な装置における複数の動画(図20では4つの動画を一画面に表示させる例を示す。)のプレビュー表示画面の一例を示す図である。ここでの「プレビュー」とは、動画コンテンツの中身を素早く確認できるように、動画コンテンツから抽出された1枚または数枚のフレーム画像、または、動画の1シーンを、縮小表示したものや、動画コンテンツを単純に縮小表示したもののことを指す。以後、本明細書では、「プレビュー」をそのような意味で用いる。図20に示すように、プレビューの開始が指示されると、まず、図における一番左の動画1(Video1)の暗号化が解除され、動画の復号処理が開始される。表示画面には、複数(ここでは例として4つの動画ファイルをプレビュー表示する例を示す。)の動画のプレビュー領域が表示され、4つの動画の動画情報(動画コンテンツのインデックス)が表示されている。しなしながら、Video1のみの代表画像が表示されており、Video1の暗号化解除等の画像処理が完了するまで、動画2(Video2)以降の画像は表示されない。次いで、Video1の暗号化解除処理等が完了した後に、左から2番目のVideo2の暗号化解除処理と動画の復号処理とが開始される。この状態では、Video2の代表画像は表示されるが、Video3以降の代表画像は表示されていない。次いで、左から3番目のVideo2の暗号化解除処理等が完了した後、Video3の暗号化解除処理、動画の復号処理が開始される。この時点で、Video3の代表画像が表示されるが、Video4の代表画像はまだ表示されていない。次いで、左から4番目のVideo3の暗号化解除処理等が完了した後に、Video4の暗号化処理が解除され、動画の復号化処理が開始される。この時点で初めて、一覧表示された全ての(4つの)プレビュー画像の表示が行われ、全ての動画の内容のプレビュー表示を行うまでに長い時間がかかる。従って、どのような動画を表示させることができるかをユーザは把握できるまでに時間がかかる。この問題は、さらに深刻になる。
 本発明は、複数の動画の概要をより早くユーザに認識可能とする技術を提供することを目的とする。
 本発明は、複数の動画を並行して再生し、表示部に表示する処理を統括する処理統括部と、前記処理統括部の指示に基づいて動作する、動画データを取得するインタフェイス部と、前記インタフェイス部が取得した動画データである第1の動画データと第2の動画データとを格納する記憶部と、前記記憶部に記憶された前記動画データから静止画データを抽出又は作成する代表画像取得部と、前記第1の動画データと前記第2の動画データとの一覧表示が指示されると、前記第1の動画データから抽出又は作成された第1の静止画データと、前記第2の動画データから抽出又は作成された第2の静止画データとを前記表示部に表示させた後に、前記第1の動画データを動画表示させる表示画像処理部とを有する動画表示装置である。
 前記第1の静止画データは前記第1の動画データの1フレームのデータであり、前記表示画像処理部は、前記第1の動画データの動画表示の際に、前記1フレームから動画表示を行うことが好ましい。
 また、前記第1の静止画データは前記第1の動画データの1フレームのデータであり、前記表示画像処理部は、前記第1の動画データの動画表示の際に、前記1フレームの次のフレームから動画表示を行うことが好ましい。
 また、前記代表画像取得部は前記動画データから複数枚の静止画データを抽出又は作成し、前記表示画像処理部は前記第1の静止画データ又は前記第2の静止画データの前記表示部への表示の際に、複数枚の静止画データを順に表示することが好ましい。
 また、前記記憶部に記憶された前記動画データに基づいて動画のプレビュー表示のためのプレビューデータを作成する画像処理を行うプレビュー再生処理部を有し、前記表示画像処理部は、前記プレビュー再生処理部により処理済みのプレビューデータを受け取ると、対応する動画の前記静止画データを前記プレビューデータで置き換えることが好ましい。
 前記静止画データは、前記動画を代表する静止画又は動画の前後のフレームの参照を必要としない画像であることが好ましい。
 また、本発明は、複数の動画を並行して再生し、表示部に表示する動画表示方法であって、動画データを取得するステップと、取得した動画データである第1の動画データと第2の動画データとを格納するステップと、格納された前記動画データから静止画データを抽出又は作成する代表画像取得ステップと、前記第1の動画データと前記第2の動画データとの一覧表示が指示されると、前記第1の動画データから抽出又は作成された第1の静止画データと、前記第2の動画データから抽出又は作成された第2の静止画データとを前記表示部に表示させた後に、前記第1の静止画データの表示を前記第1の動画データの動画表示で置き換える表示画像処理ステップと、を有する動画表示方法である。
 また、本発明は、上記に記載の動画表示方法を、コンピュータに実行させるためのプログラムである。
 本明細書は本願の優先権の基礎である日本国特許出願2009-120114号の明細書および/または図面に記載される内容を包含する。
 表示される複数の動画の内容の認識を早く行うことが可能になる。
本発明の一実施の形態による動画表示機能を有する携帯電話端末の外観構成例を示す図である。 図2(a)は、携帯電話端末の利用形態の一例を示す図であり、図2(b)は、外部記憶装置に記憶されているファイル群の一構成例を示す図である。 本実施の形態による携帯電話端末Aの一構成例を示す機能ブロック図である。 本実施の形態による携帯電話端末の統括処理部における処理の流れを示す図である。 本実施の形態による携帯電話端末の代表画像取得部(動画識別データ取得部)の処理の流れを示す図である。 外部記憶装置内のデータ構成を示す図である。 暗号化データの暗号化解除の処理の例を示す図である。 PESパケットの取得の様子を示す図である。 PESデータ部の取得の様子を示す図である。 代表(先頭)画像データの取得の様子を示す図である。 代表(先頭)画像データ取得処理の流れを示す図である。 代表(先頭)画像データ取得処理の流れを示す図である。 代表(先頭)画像データ取得処理の流れを示す図である。 動画データ取得部における処理の流れを示す図である。 プレビュー再生処理部における処理の流れを示す図である。 外部記憶装置における具体的な処理の様子を示す図である。 主記憶装置(メモリ)における具体的な処理の様子を示す図である。 動画データ取得部における具体的な処理の様子を示す図である。 代表画像取得部(動画識別データ取得部)における具体的な処理の様子を示す図である。 プレビュー再生処理部における具体的な処理の様子を示す図である。 表示画像処理部における具体的な処理の様子を示す図である。 一般的なMPEG2TSデータの一構成例を示す図である。 動画データの格納例を示す図である。 データの暗号化の例を示す図である。 データ暗号化処理の流れを示す図である。 本実施の形態による複数の動画コンテンツを再生可能な装置における複数の動画のプレビュー表示画面の一例を示す図である。 複数の動画コンテンツを再生可能な装置における複数の動画のプレビュー表示画面の一例を示す図である。
A…携帯電話端末(動画表示装置)、3…表示装置、3a…タッチパネル、7…キー入力装置、11…外部記録装置、21…入力装置インタフェイス、23…処理統括部、25…メモリ(DRAM)、27…動画データ取得部、31…代表画像取得部(動画識別データ取得部)、33…動画復号処理部、35…プレビュー再生処理部、37…表示画像処理部、41…記憶装置I/Oインタフェイス、45…暗号化解除処理部。
 本明細書において、動画とは、動画データに再生タイミングが含まれる場合には、その再生タイミングに従った再生を行うもの、または、動画データに含まれる再生タイミングを用いない場合、および、動画データに再生タイミングが含まれない場合には、一定の時間間隔でフレームを更新するような再生を行うものとする。代表画像とは、動画データを代表する画像であり、動画データから抽出又は作成される静止画、例えば、動画の一部を切り出した静止画、前後の他のフレームの参照を必要としない動画の1フレーム分のデータ、などである。また、代表画像は、ここでは静止画として扱われるため、動画ファイルの如何なる箇所から抽出されたとしても、その動画ファイルに含まれている再生タイミングには依存しない。したがって、時間が経過しても、同じフレーム(静止画)の表示が継続される。動画データから代表画像を抽出する処理は、動画の表示又は動画のプレビュー表示を行う処理よりも速い処理である。これは、代表画像を抽出する処理は、1フレーム分のデータを含む動画データの一部分を処理の対象としており、動画データの全体を処理の対象としている動画の表示又はプレビュー表示を行う処理に比べ、メモリに読み込む動画データの長さが極めて小さくなることによる。尚、動画を縮小したり一部抽出したりして表示する場合をプレビュー表示と称する。このような処理をしないで動画を表示する場合を単に動画の表示と称する。
 以下に、本発明の一実施の形態による動画表示装置の一例として、一般的な携帯電話端末を例にし、図面を参照しながら説明を行う。図1は、携帯電話端末Aの外観構成例を示す図であり、筐体1と、LCD表示装置3と、スピーカ5と、キー入力装置7と、外部記憶装置11(内蔵のフラッシュメモリ又は取り外し可能なメモリカード等)と、マイク15と、を有している。表示装置3は、タッチパネル3aを有していても良い。外部記憶装置11には、動画コンテンツを複数格納することができ、以下では、複数の動画コンテンツが記録されていることを前提として説明を行う。動画は、図示しない付属カメラにより撮影したものでも良く、ストリーミング受信しているものでも良い。
 図2(a)は、携帯電話端末Aの利用形態の一例を示す図であり、LCD表示装置3に動画コンテンツのメニュー表示例として動画コンテンツのインデックスが4つ表示されている状態を示している。コンテンツ画像表示(1)~コンテンツ画像表示(4)は、外部記憶装置11に格納されているビデオコンテンツ(Video1からVideo4)の代表画像が表示されている動画コンテンツ一覧表示画面である。この動画コンテンツ一覧表示画面が表示された直後(例えば、複数の動画コンテンツに対してプレビュー表示の指示がなされた直後)は、各ビデオコンテンツの例えば最初のフレーム画像が代表画像として表示される。さらに、任意ではあるが、コンテンツ情報表示として、代表画像と対応するように、各ビデオコンテンツ(VideoX)のようなタイトルや作成日時、その他のテキストなどのVideo情報が表示される。これらのVideo情報は、ビデオコンテンツごとに生成される情報ファイルに記述されている。
 時間が経過すると、徐々に、それぞれの代表画像の表示領域において、各ビデオコンテンツの「動画」のプレビュー表示が開始されるようになっており、これにより、動画の情報を詳細に視覚的に知ることができる。
 図2(b)は、外部記憶装置11に記憶されているファイル群の一例を示す図である。図2(b)に示すように、VideoファイルとVideo情報ファイルとVideoメディアオフセット情報ファイルとVideo管理情報ファイルとが組になって格納されている。この例では、SD-Video形式で保存された動画コンテンツを例にしている。SD-Video形式(フォーマット)では、動画コンテンツは、SB1ファイル、PGIファイル、MOIファイル、MAIファイルの4ファイルで記録される。図2(b)の各ファイル図形内に記載されているファイル名のうち、SB1ファイルは、動画・音声の符号化されたデータ列(暗号化されている)である。MOI(Media Object Information)ファイルは、SB1ファイル中のメディアデータが格納されている位置をオフセット情報で記録しているファイルである。PGIファイルは、タイトル、作成日時などが格納されたファイルである。MAIファイルは管理用ファイルである。本実施の形態では、SB1ファイルとMOIファイルとが関係する。尚、ビデオコンテンツは、MPEG4/AVCで符号化された映像データ、MPEG4-Audio(AAC)で符号化された音声データで構成されている。また、これらのビデオコンテンツは、記憶装置に格納されている状態では、コンテンツ保護のための暗号化が施されているのが一般的であるがそのようなコンテンツに限定されない。
 図3は、本実施の形態による携帯電話端末Aの一構成例を示す機能ブロック図である。図3に示す携帯電話端末Aは、タッチパネル3a機能を備えた表示装置3と、ユーザが複数動画の一覧表示を開始するために操作するための入力デバイスであるキー入力装置7と、コンテンツが保存されているフラッシュメモリ、またはメモリカードである外部記憶装置11と、外部記憶装置11内に格納されている、暗号化されているビデオコンテンツの暗号化を解除する暗号化解除処理部45と、CPU(破線内がCPU内部で行われる処理部である)と、を有している。CPU内には、以下の構成が含まれている。
a)処理統括部23: 複数の動画のプレビューの一覧表示を行う一連の処理を統括する。
b)記憶装置I/Oインタフェイス41: 外部記憶装置11へのデータの読み書きを管理するインタフェイスであり、下記の代表画像データ取得部、または、動画データ取得部からのデータ読み出し要求に対し、外部記憶装置11から要求データを読み出して返す。要求データが暗号化されているデータである場合には、暗号化を解除した後に返す。
c)メモリ(DRAM)25:一般的に広く利用されているメモリであり、DRAM(Dynamic Random Access Memory)の一種。
d)動画データ取得部27: 外部記憶装置11に格納されている動画コンテンツデータから、一定サイズ分(例えば720kB)のデータを読み込み、メモリ(DRAM)25に書き込む処理を行う。
e)代表画像取得部31(動画識別データ取得部): 外部記憶装置11に格納されている動画コンテンツデータから、動画の先頭画像を含むデータ等を読み込み、画像データを復号する処理を行なう。あるいは、前述のVideo情報からその動画コンテンツデータの識別を可能とするデータを取得する処理を行う。
f)プレビュー再生処理部35: メモリに書き込まれた動画コンテンツデータを読み出し、動画データを順次復号して表示画像処理部にデータを送出する。
g)動画復号処理部33: 一般的に利用されているH.264デコーダの一種である。
h)表示画像処理部37: 代表画像処理部31、および、プレビュー再生処理部35から受け取った画像データの合成処理を行い、表示画面の更新を行う。
i)表示装置(LCD)3: 一般的に広く利用されている液晶パネルなどの表示部である。
j)入力装置インタフェイス21:タッチパネル3a、キー入力装置7からの入力を受けて処理統括部23に伝える。
 図9から図14までは、各処理部における具体的な処理の様子を示す図である。図9に示すように、外部記憶装置11は、Video1から4までの各データ列について、HPIで示される先頭とそこから離れた位置に配置されIDRピクチャを含むPESパケットと、それ以外のIDRピクチャ以外のデータを含むPESパケットが配置されている。外部記憶装置に格納されている動画コンテンツデータは、一般的には、コンテンツ保護のため暗号化されている。
 ここで、処理統括部23は、最初に、代表画像取得部31に対し、代表画像となる画像データを含む先頭のデータブロックの取得を指示する。N個全ての代表画像の取得が完了すれば、動画データ取得部27に対し、メモリスロット(図10)に納まる分だけ動画データブロックの取得を指示する。
 代表画像取得部31は、処理統括部23からの指示に従って、データの先頭からIDRピクチャが含まれるデータブロックを取得する。このデータブロックとは、図9に示すIDRピクチャを含むPESパケット(HPI)である。取得したデータは符号化されているので、動画復号処理部33を利用して画像データを復号する。復号化された画像を代表画像として表示装置3に出力を指示する。
 図10に示すように、主記憶装置(メモリ)25は、RAM(Random Access Memory)を指す。厳密には、RAM25は、全ての処理部が利用するが、ここでは、本発明のポイントに関係する部分についてのみ説明する。メモリ25には、複数のメモリスロットが設けられ、それぞれのメモリスロットには、図9に対応するデータが格納される。図11に示すように、動画データ取得部27は、外部記憶装置11からそれぞれのVideoデータを取得し、プレビュー表示の場合には、例えば800kB分だけメモリにコピーする。動画データ取得部27のこの処理により、図9に示す各Videoの複数のPESパケットが、図10に示すようにメモリスロットに格納されることになる。尚、プレビュー表示の目的としては、例えば10から15秒程度のデータさえあればよいので、メモリ利用量の削減、プレビュー処理の高速化という効果がある。
 図12に示すように、代表画像取得部31は、Videoデータ毎に、IDRピクチャを含むPESパケットであるHPIから復号された代表画像データを抽出する。図13に示すように、プレビュー再生処理部35は、代表画像取得部31とは並列に動作する。プレビュー再生処理部35は、メモリスロット(図10)を監視し、そこに動画データが格納されるのを待つ。メモリスロットに動画データが格納されたことを確認すると、そのデータを読み込み、動画復号処理部33を利用して、動画データの復号を開始する。復号された動画データは、表示装置3に対し、コンテンツの番号とともに送られ、代表画像から対応する動画へと表示画像の更新が指示される。これらは、全てのメモリスロットについて行われるが、処理対象となるメモリスロットの切換は、時分割で逐次処理が行われる。
 図14に示すように、表示画像処理部37は、最初に代表画像を表示させておき、動画データが送られると、代表画像表示を動画表示で置き換えて更新していく処理を行う。例えば、動画表示として、プレビュー表示を行う場合には、プレビュー再生処理部35からプレビューデータが送られる毎に、代表画像表示をプレビュー表示で置き換えて更新していく処理を行う。この処理により、代表画像の表示、プレビュー表示への置換処理がスムーズに行われる。
 尚、制御フローとは、矢印発生ブロックが矢印先のブロックに対して、処理を指示したりデータ要求をしたりするフローを表す。データフローとは、矢印発生ブロックから矢印先のブロックに、動画データなど、データの流れを表すものである。
 次に、図15から図17までを参照しながら、ビデオコンテンツのデータフォーマットについて説明する。対象としているデータフォーマットは、MPEG2TS(ISO/IEC)13818-1である。尚、MPEG2TSでは、図15に示すように、符号化された映像データ・音声データが、TSパケットという固定長(188バイト)のデータブロックからなるデータストリームとしてファイルが作成される。H(ヘッダフィールド)には、パケット識別子などが含まれる。適合フィールドには、動画データを再生するための基準となる時間情報やスタッフィングデータ(長さ調節のための冗長データ)が含まれる。ペイロードには、映像データ、音声データなどが格納されている。
 図16は動画データの格納例を示す図である。図16(a)は、動画データをMPEG2TSに格納している例を示す図である。動画は、IDR、P、P、…から構成され、音声データは、Frameにより構成され、これらが、動画、音声の順番で時間軸上に配置されている。破線の枠で囲まれている領域は、同期をとる必要がある部分を示す。
 図16(b)の上図に示すように、同期を取る必要のある映像、音声が1つのPESパケットにまとめられる。IDRピクチャデータを含む場合、それは必ずPESパケットの先頭に含まれる。その下の図に示すように、PESパケットはTSパケットに収まるように184バイト以下のデータに分割されている。
 図16(b)の下図は、分割されたペイロードに4バイトのヘッダと適合フィールドとを付加してTSパケットを構成する様子を示す図である。ヘッダを付加する際に、PESパケットの先頭データを格納するTSパケットには、先頭であることを示すフラグがセットされている(PUSI=1)。分割された続きのデータは、PUSI=0がセットされる。また、ストリームを再生するための基準時間情報も含まれている。次の同期を取ることが必要なところで、先頭にPUSI=1のフラグがセットされる。尚、これらのデータフォーマットは、MPEG2TS(ISO/IEC 13818-1)および、ワンセグ規定によるものであり、例示的に示している。
 次に、本発明では任意の処理であるが、データの暗号化について説明する。図17は、以下の実施の形態において説明する暗号化処理の概要を示す図である。図17の上には、暗号化が施されていない動画データのデータ構成が示されており、多数のTSパケットから構成されている。このデータに暗号化を施すと、その下の図のように、ヘッダとストリームとの組の繰り返しからなり、映像・音声のPESパケットを単位として暗号化が施される(PUSI=1のパケットから、次のPUSI=1のパケットが出現する直前のパケットまでがPESパケットと判断できる)。
 上図の太線で囲まれた領域の詳細な構成を下図に示す。暗号化が施されていない動画データは、H(ヘッダ)と適合フィールドとペイロードとの単位が繰り替えられる。暗号化を行うと、Hと適合フィールドと暗号化されたペイロードとの組から構成されるようになる。PUSI=1のパケットのヘッダおよび、適合フィールドは暗号化されない(この適合フィールドにはストリームを再生するための基準となる時間情報が含まれている)。これを利用して、ストリームを再生することができる。
 図18は、上述の暗号化されたコンテンツから、動画ストリームを取得するまでの簡単な流れを示すフローチャート図である。図18に示すように、まず、暗号化データを準備し(ステップS61)、暗号化を解除してMPEG2TSストリームとする(ステップS62)。暗号化の解除は、暗号化解除処理部45によって行われ、取得されたMPEG2TSストリームは、記憶装置I/Oインタフェイス41を介して、動画データ取得部27および代表画像取得部31に渡される。なお、動画データ取得部27は受け取ったMPEG2TSデータはそのままメモリ(DRAM)25に書き込むこととなる。次いで、代表画像取得部31、および、プレビュー再生処理部35は、得られたMPEG2TSパケットから、TSパケットをマージし、PESパケットとする(ステップS63)。さらに、代表画像取得部31、および、プレビュー再生処理部35は、得られたPESパケットからH.264ストリームを分離し、H.264バイトストリーム(アクセスユニット)とする(ステップS64)。
 最終的に得られたH.264バイトストリーム(アクセスユニット)から、動画復号処理部(H.264デコーダ)を用いて代表画像および動画を得ることができる。
 以下に、本実施の形態による処理の詳細について説明する。図4は、処理統括部23における処理の流れを示す図である。ユーザが、キー入力装置7またはタッチパネル3aを介して複数の動画の一覧表示処理の開始を指示すると、処理統括部23の処理が開始される(ステップS1:START)。次いで、ステップS2において、表示画像処理部37に対して一覧表示画面の生成を指示する。ステップS3において、メモリ25内に動画データを格納するためのメモリスロット領域(図10参照)を確保する(a-0)。ステップS4において、代表画像取得部31(図12参照)に対して、処理の開始を指示する(a-1)。尚、(a-1)に基づく処理が完了した時点で、一覧表示には表示される全ての動画コンテンツの代表画像が表示されていることになる。ステップS5において、動画データ取得部27(図11参照)に対して、処理の開始を指示する(a-2)。この(a-2)の指示に基づく処理が完了した時点で、一覧表示には表示される全ての動画コンテンツが再生可能な状態となる(プレビュー表示が可能になる)。ステップS6において、一覧表示を実行させる。ステップS7において、ユーザから一覧表示の終了処理の操作があるまで待ち、一覧表示実行中はプレビュー表示部が動作し続け、動画再生を繰り返す。操作が検出されると(YES)、プレビュー再生処理部に対し処理の終了を指示し、ステップS9で処理が終了する。
 図5は、代表画像取得部31の処理の流れを示す図であり、処理統括部23からの指示により処理を開始する(ステップS11:図4のa-1から)。次いで、ステップS12において、i(代表画像の表示の順番)としてi=1を設定する。
 ステップS13において、記憶装置I/Oインタフェイス41に対し、動画データ(Video[i]。本実施の形態においては、ビデオコンテンツVideo1に対応する動画データ(第1の動画データ)をi=1(Video[1])、ビデオコンテンツVideo2に対応する動画データ(第2の動画データ)をi=2(Video[2])とする)の先頭データ(PESパケット)の取得を要求する。図16に示すように、動画データの先頭データ(PESパケット)には、IDRピクチャデータが含まれているため、ここでは、先頭PESパケット1つ分のデータの取得を要求する。ステップS14において、取得したPESパケットからIDRピクチャを含むH.264バイトデータ列を分離する。ここで、PESパケットからIDRピクチャとなるH.264のバイトストリームを分離する。H.264のアクセスユニットを解析することで分離することが可能である。次いで、ステップS15において、分離したIDRピクチャのH.264バイトデータ列を、動画復号処理部33を利用して復号する。上記の手順で取得したIDRピクチャデータから、動画復号処理部33を利用して、YUV420形式の画像データ(1枚)を取得する。尚、IDRピクチャデータは1フレーム内で閉じている(前後のフレームの参照が不要である)。ステップS16において、復号した画像を表示するサイズに縮小する。一覧表示する際は画像サイズを縮小する必要があるため、この段階で縮小処理を行う。
 ステップS17において、表示画像処理部37に、復号した代表画像(縮小画像)の出力を指示する。より詳細には、縮小画像を表示画像処理部37のビデオバッファに書き込み、再描画を指示する。ステップS18において、i=i+1とし、ステップS19においてi<=4であるか否かを判定し、NOであればステップS20で処理を終了し(a-1)に戻る。この時点では、Video[1](第1の動画データ)から抽出し作成された縮小画像である静止画(第1の静止画データ)と、Video[2](第2の動画データ)から抽出し作成された縮小画像である静止画(第2の静止画データ)とが表示装置3に表示されている。YESであれば、ステップS13に戻り、処理を繰り返す。これらの処理が完了した後、表示されている代表画像データ(第1の静止画データ、第2の静止画データを含む)は、後述するプレビュー再生処理部による動画再生処理(第1の動画データの再生処理を含む)が行われるまで静止したままとなる。この実施例においては、復号単位としてPESパケットを利用している(ワンセグ規定による)が、H.264アクセスユニットをベースとする復号単位であれば、他の方式であっても適用可能である(例えば、MP4ファイルフォーマットなどに適用可能である)。
 図6AからEまで及び図6FからHまでは、それぞれ、代表(先頭)画像データ取得方法の概要と処理の流れを示した図である。
 図6Aは、外部記憶装置11内のデータ構成を示す図である。外部記憶装置11内に格納されているデータ、例えばSDカード(商標名)内のSB1ファイル(暗号化されている場合)は、「ヘッダ」+「暗号化データ」を1つの単位とするデータ列で構成されている。ヘッダの位置には、固定のデータパターンが含まれている。さらに、MOIファイルは、IDRピクチャが含まれるデータの位置(オフセット)の一覧が記述されており、データ開始位置とオフセットから次データの開始位置を算出することができる。
 図6Fに示すように、処理を開始すると(start)、ステップS21-0において、代表画像取得部31は、外部記憶装置I/Oインタフェイス部41に対し、IDRピクチャを含む「先頭データ」の取得を要求する。ステップS21-1において、外部記憶装置I/Oインタフェイス部41は、上記のMOIファイルを参照し、IDRピクチャが含まれるデータ列のオフセットから、「先頭データ」の範囲を算出する。ステップS21-2において、外部記憶装置I/Oインタフェイス部41は、算出した「先頭データ」の範囲をもとに暗号化データを抽出し、暗号化解除処理部45を用いて、暗号化の解除を行う。ステップS21-3において、外部記憶装置I/Oインタフェイス部41は、暗号化が解除されたデータ列(MPEG2TS)を、代表画像取得部31に返す(返されたデータはメモリ25に保存される)。尚、暗号化が施されていないデータ(MPEG2TSデータ)を対象とする場合は、ステップS21-2、21-3の処理を行わず、そのままメモリカードに格納されている「先頭データ」の範囲を代表画像取得部31に返す。
 図6Bは、暗号化解除の処理の例を示す図である。暗号化データの暗号を解除してMPEG2TSデータ列を作成する様子を示す図である。
 「代表データ」の暗号化を解除すると、複数のTSパケットからなる、MPEG2TS形式のデータ列が復元される。TSパケットは、188バイトの固定長であるため、映像データを格納する場合に、1つのTSパケットに納まりきらない場合がある。そのような場合には、映像データは複数のTSパケットに分割される。TSパケットに含まれているデータが分割されているか否かは、TSパケットのヘッダに含まれる“PUSI”フラグを確認することで判断することができる。PUSI=1のパケットは、分割されているデータの開始位置を含んでいることを示し、PUSI=0のパケットは、分割されたデータの途中(または最後尾)を含んでいることを表す。
 図6Cは、PESパケットの取得の様子を示す図である。上記のMPEG2TSのデータ列からPESパケットを取得する場合には、MPEG2TSのデータ列のペイロードを連結し、PESヘッダと符号化されている映像データのデータ列とからなるPESパケットを取得することができる。
 図6Dは、PESデータ部の取得の様子を示す図である。上記のように、PESデータ部には符号化されている映像データのデータ列が含まれている。PESパケットに含まれている、符号化されている映像データのデータ列は、「アクセスユニット(AU)」が連結したデータ列になっている。アクセスユニット(AU)は符号化の1つの単位で、アクセスユニット1つにつき、1枚分のIDRピクチャデータ、または、1枚分のPピクチャデータに対応している。アクセスユニット(AU)が連結している場合には、1つのPESパケットに複数のピクチャデータが含まれることになるが、PESパケットにIDRピクチャデータが含まれる場合、そのIDRピクチャデータは、必ずPESヘッダの直後に置かれ、PピクチャデータはそのIDRピクチャデータの後部に置かれる。代表(先頭)画像部は、PESパケットを取得した後、PESヘッダを解析して、データ列の先頭位置を検出し、映像データが含まれるアクセスユニットの取得を行う。
 次いで、ステップS22-4に示すように、代表画像取得部31は、受け取ったMPEG2TSデータ列の先頭位置から、MPEG2TSデータ列に含まれるTSパケットのヘッダを解析し、PUSI=1のパケットを探索する(通常は、MPEG2TSデータ列の先頭にある)。ステップS22-5において、代表画像取得部31は、発見したTSパケットのヘッダから、適合フィールドの長さを取得し、TSパケット内のペイロード開始位置とペイロード長とを算出する。ステップS22-6において、代表画像取得部31は、算出したペイロード開始位置とペイロード長とを用いて、ペイロードデータを抽出する。ステップS22-7において、代表画像取得部31は、MPEG2TSデータ列の参照位置を次のTSパケットの位置に移す。
 図6Gに示すように、ステップS23-8において、代表画像取得部31は、TSパケットのヘッダを解析し、PUSI=0であれば、ステップS22-5からステップS22-7までの処理を繰り返し、抽出したペイロードデータを連結していく。ステップS23-9において、代表画像取得部31は、PUSI=1のTSパケットを検出または、MPEG2TSデータ列の最後尾に到達するまで繰り返す。尚、ステップS23-9の処理が完了した時点で、連結されたペイロードが、PESパケットを構成していることになる。ステップS24-10において、代表画像取得部31は、取得したPESパケットのヘッダを解析し、PESパケットのデータサイズと、PESデータ部の開始位置とを取得し、PESデータ部を抽出する。ステップS24-11において、代表画像取得部31は、PESパケットから取得したPESデータ部を、動画復号処理部33に入力し、デコード処理を指示する。
 図6Eは、先頭画像データの取得の様子を示す図である。上記図6Dに示すPESデータ部を、IDRピクチャを含むアクセスユニットに分離する。1つのアクセスユニットには、1フレーム分の画像データが含まれている(IDRピクチャ、Pピクチャのいずれの場合も)。アクセスユニットの開始位置には、Access Unit Delimeterという固定パターンがある。従って、そのパターンを探すことで、各データに分割することが可能である。次いで、IDRピクチャを含むアクセスユニットを復号し、画像データ(YUV420形式)とする。1つのアクセスユニット単位で、デコードが実行され、復号化された画像データ(YUV420形式)を取得することができる。
 図6Hに示すように、ステップS25-12において、代表画像取得部31は、PESパケットから取得したPESデータ部を、動画復号処理部33に入力し、デコード処理を指示する。ステップS25-13において、動画復号処理部33は、入力されたPESデータ部から、Access Unit Delimiterを探索し、代表画像データとなるIDRピクチャデータの位置を抽出する。ステップS25-14において、動画復号処理部33は、抽出したIDRピクチャデータの復号を行い、画像データ(YUV420形式)を取得する。ステップS25-15において、動画復号処理部33は、取得した画像データを表示に使われる画像サイズにリサイズする。ステップS25-16において、動画復号処理部33は、取得した画像データを表示に使われる画像サイズにリサイズする(データを間引く)。ステップS25-17において、動画復号処理部33は、リサイズされた画像データを出力し、代表画像取得部31に返す。以下、代表画像取得部31は表示装置3への出力を指示する。
 尚、プレビュー再生処理部35については、上記ステップS22-4~ステップS25-12までは上記手順と同様の処理を行い、ステップS25-13~17までは、IDRピクチャデータに限らず、データの最後尾に達するまで、Access Unit Delimiterの探索を行い、分離と復号の処理を繰り返す。
 図7は、動画データ取得部27における処理の流れを示す図である。まず、動画データ取得部27では、処理統括部23からの指示により処理を開始する(ステップS31:START、図4のa-2)。尚、動画データを格納する領域は、処理統括部23によって予め確保されている。ステップS33において、これから取得する動画データを格納するメモリ領域の先頭位置をセットする。コンテンツ毎に、それぞれの格納先メモリ領域(メモリスロット)の先頭アドレスを関連付ける(図10参照)。ステップS34において、記憶装置I/Oインタフェイス41に対し、動画データ(Video[i])の一定長分のデータ取得を要求する。ここでは、図5のステップS13の場合と異なり、動画データを指定したサイズ分(例えば800kB)だけのデータ取得を要求する。ステップS35において、記憶装置I/Oインタフェイスから返されるデータを、ステップS33でセットしたメモリ領域にそのまま格納する。ここで取得されたデータは、ワーキングメモリ等に一旦保存したりせずに、ダイレクトにメモリスロットに書き込む(転送する)。ステップS36において、プレビュー再生処理部35に対し、動画再生処理を指示(c-1)、メモリ領域への書き込みが完了すれば、プレビュー再生処理部35の動作を開始する。プレビュー再生処理は、動画データ取得部27の処理、および、処理統括部23の処理と並列に動作させることができる(並列動作は、オペレーティングシステム(OS)が提供する機能を利用することができる)。処理が完了すると、制御権を処理統括部23に戻す(図4のステップS5のa-2)。ステップS37で、i=i+1とし、ステップS38でi<=4であるか否かを判定し、NOであればステップS39で処理を終了し、ステップS5に戻る。YESであれば、ステップS33に戻り処理を継続する。
 図8は、プレビュー再生処理部35における処理の流れを示す図である。動画データ取得部27からの通知によって処理が開始される。まず、ステップS41において処理を開始し(START)、ステップS42において、メモリ読み込み位置を、メモリスロットの先頭位置にセットする。次いで、ステップS43において、メモリスロットから1復号単位(PESパケット)分のデータを読み込み符号化されている映像データ(ストリーム)を分離する。1つのPESパケットに、複数枚のフレームデータが格納されている場合があるので、さらにフレーム単位に分割する。
 ステップS44において、分離された映像データ(ストリーム)をフレーム単位に分割(K個に分割されたとする)する。この処理におけるフレームデータ復号化には、IDRピクチャ以外に、復号済みの過去のフレームデータを用いて画像データを復元するPピクチャが含まれる。Pピクチャの復号には、動き補償などのフレーム間の補正処理が行われるため、一般にフレーム内で処理が完結するIDRピクチャに比べ演算量が多くなるステップS45において、PESパケットからPESに含まれるフレームデータの再生時刻を取得する。
 ステップS46において、PESに含まれていたフレームデータの再生時刻からj番目のフレームデータの再生時刻を算出する。PESパケットにK個のフレームデータが含まれる場合、次のデータを読み込む前に、含まれているK個のデータの全ての画像を復号化し、画像の表示を行う。ステップS48において、j番目のフレームデータについて、動画復号処理部33を利用して復号処理を行い、ステップS49において、復号した画像を表示するサイズに縮小する。ステップS50において、再生時刻とともに表示画像処理部37に、復号化したフレーム画像(縮小画像)の出力を指示する。出力の指示を受けた表示画像処理部37は、フレーム画像とともに受け取った再生時刻に従って、プレビュー表示画像を更新し、表示装置に出力する。ステップS51において、j=j+1とし、ステップS52においてJ>Kであるか否かを判定し、YESであれば、ステップS53に進み、次のPESパケット位置にメモリの参照位置をシークする。次いで、ステップS54において、次のPESパケットが存在しないか否かを判定し、YESであればステップS42に戻り、NOであればステップS47に戻る。
 尚、処理統括部23から終了指示があれば(ステップS55)、割り込み(OSの機能を利用可能)が入り、全ての処理を中断し、メモリ25を解放して(ステップS56)、処理を終了する(ステップS57)。
 図19は、上記の処理に基づく本実施の形態による複数の動画コンテンツを再生可能な装置における複数の動画(図19では4つの動画を表示させる例を示す)のプレビュー表示画面の一例を示す図であり、図20に対応する図である。図19に示すように、プレビューの開始が指示されると、まず、動画1(Video1)の暗号化解除処理がなされるとともに、Video1からVideo4までの全ての代表画像の表示処理が行われる。継続して、Video1から順に、データの切り出しと暗号化解除及び動画の復号化が開始される。Video1の表示画像が代表画像から動画に更新される。続いて、Video2も同様にデータの切り出しと暗号化解除と動画の復号化が行われ、Video2の表示が代表画像表示からプレビュー表示に更新される。Video2の更新後、Video3も同様に代表画像から動画に更新され、その後、Video4も代表画像表示からプレビュー表示に更新される。この時点で、一覧表示された全ての(4つの)プレビュー(代表画像の表示)が行われ、全ての動画の内容をプレビュー表示により確認することができるようになる。図20の場合と比較して、プレビュー表示ができる状態になるまでの間に代表画像の表示を早く行うことができるため、ユーザにとって、どのような動画の内容であるかをより早く知ることが出来るとうい利点がある。
 尚、本実施の形態では、代表画像として1枚の静止画を用いる例を説明したが、代表画像に複数枚の静止画を用いるようにすることも可能である。代表画像取得部において、処理の対象とする動画データの長さを、数フレーム分のデータが含まれる長さまで大きくし、抽出した数フレーム分のデータを順番通りに表示するような拡張をほどこすことででも、本実施の形態と同様の効果が得られる。この場合、抽出したフレームのフレーム数は動画データのフレーム数よりも少ないものである。
 尚、本実施の形態では、動画表示装置の例として携帯電話端末を例に説明したが、その他のワンセグ放送表示装置、ビデオレコーダ、デジタルテレビジョン受信装置、パーソナルコンピュータ、などにおけるGUIなどにも適用可能である。さらに、解像度の大きい表示装置を備えるデジタルテレビジョン受信装置や、高速なCPUや大容量メモリを搭載するパーソナルコンピュータなどで本発明を適用する場合において、画像サイズを縮小する必要性がない場合には、プレビュー表示のための縮小処理を省略し、プレビュー表示ではなく、元の画像サイズで表示することも可能である。
 尚、複数の動画A、Bを並行して動画(プレビュー)表示する際に、以下のようなケースがあり、これらも本発明の範疇に入るものである。
 (変形例1:代表画像を任意の動画識別データに置換)
 動画Aの1フレームである静止画を表示した後に、Aの動画(プレビュー)表示を自動的に開始するまでの間に、動画Aの静止画とは別に動画Bの1フレームである静止画を表示させるようにするものである。尚、静止画は動画の先頭の1フレームであることが好ましいが、他のフレームであっても良い。この静止画の代わりに、動画ファイル(ストリーミングを含む)が、動画の1フレームとは別に持つ静止画、静止画以外の、動画を特徴付ける情報(ファイル名等)を表示しても良い。前述の代表画像(上述の静止画を含む)、動画の1フレームとは別に持つ静止画、動画を特徴付ける情報(ファイル名等。前述のVideo情報を含む)を総称して動画識別データと呼ぶ。動画識別データは動画データと対応付けられ、各動画データの識別を可能とするものである。
 (変形例2:代表画像と動画表示とのタイミングの調整)
また、Aのフレーム1表示(静止画)を行い、Aのフレーム1表示をBの静止画表示まで継続し、Bの静止画表示の後にAのフレーム『2』以降を動画(プレビュー)表示するというケースを含む。すなわち、静止画の表示と動画(プレビュー)表示とのタイミングは、適宜調整することができるものである。
 (変形例3:代表画像とその代表画像に対応する動画とを異なる位置に表示する)
また、代表画像(静止画)とその代表画像に対応する動画とを異なる位置に表示しても良い。代表画像を表示したまま動画を表示する表示方式や、代表画像の表示を消し動画を表示する表示方式がこの例に含まれる。
 尚、上記の例では、一般的な記録された動画データを例にして説明したが、対象となる動画データはストリーミングであっても良い。
 また、上記の実施の形態において、動画データ(Videoデータ)を外部記憶装置11内に格納し、記憶装置I/Oインタフェイス41を介して動画データ取得部27または代表画像取得部31に渡す例について記載したが、動画データの格納は携帯電話端末A内の記憶部(ハードディスクやメモリなど)に行っても良い。
 あるいは、外部記憶装置11の代わりに携帯電話端末Aの外部にあるサーバ等に動画データを格納してもよい。この場合、記憶装置I/Oインタフェイス41の代わりに通信インタフェイスを用いる。通信インタフェイスは無線又は有線LANなどのネットワークや電話回線と、動画データ取得部27および代表画像取得部31とを接続するインタフェイスである。通信インタフェイスはネットワーク等から動画データを受信し、動画データ取得部27および代表画像取得部31にその動画データを渡す。
 また、上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。
 また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
 また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
 また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
 また、本実施例の他の変形例として以下のものがある。
 複数の動画のうちの動画Aがプレビュー表示されるより前に、動画A、動画Bの静止画などの代表画像が表示される。代表画像を取得する代表画像取得部の処理が速いため、未表示状態から動画A、Bのプレビュー表示をするより、同じ状態からA、Bの静止画を表示する方が早く完了する。プレビュー表示が可能になると静止画をプレビュー表示で置き換える。
 複数の動画を並行して再生し、表示部に表示する処理を統括する処理統括部と、前記処理統括部の指示に基づいて動作する、動画データを取得するインタフェイス部と、前記インタフェイス部が取得した動画データを一時的に格納する記憶部と、前記記憶部に記憶された前記動画データの代表画像を抽出する代表画像取得部と、前記代表画像である第1の静止画及び第2の静止画を前記表示部に表示させた後に、前記第1の静止画に対応する動画で前記第1の静止画を置き換える表示画像処理部と、を有する動画表示装置が提供される。
 上記処理は、例えば操作部などからの複数の動画の一覧表示の指示を受けて開始される。前記記憶部に記憶された前記動画データに基づいて動画のプレビュー表示のためのプレビューデータを作成する画像処理を行うプレビュー再生処理部を有し、前記表示画像処理部は、前記プレビュー再生処理部により処理済みのプレビューデータを受け取ると、対応する動画の前記代表画像を前記プレビューデータで置き換えるようしにしても良い。
 前記代表画像は、前記動画を代表する静止画又は動画の前後のフレームの参照を必要としない画像であることが好ましい。
 また、前記動画データを、データ毎に作成されるスロットに一時的に格納するメモリを有し、前記処理統括部は、前記メモリに書き込まれた動画データが読み出され、前記動画データを順次復号して前記表示画像処理部に前記動画データを送るようにすると良い。前記処理統括部は、前記スロット毎に動画データが格納されることを監視し、格納されるとその動画データの読み込みを開始することが好ましい。
 動画表示方法、動画表示方法をコンピュータに実行させるためのプログラム、当該プログラムを記録するコンピュータ読み取り可能な記録媒体であっても良い。プログラムは、インターネットなどの伝送媒体によって取得されるものであっても良い。
 本発明は動画表示装置に利用可能である。
 本明細書で引用した全ての刊行物、特許および特許出願をそのまま参考として本明細書にとり入れるものとする。

Claims (8)

  1.  複数の動画を並行して再生し、表示部に表示する処理を統括する処理統括部と、
     前記処理統括部の指示に基づいて動作する、
     動画データを取得するインタフェイス部と、
     前記インタフェイス部が取得した動画データである第1の動画データと第2の動画データとを格納する記憶部と、
     前記記憶部に記憶された前記動画データから静止画データを抽出又は作成する代表画像取得部と、
     前記第1の動画データと前記第2の動画データとの一覧表示が指示されると、前記第1の動画データから抽出又は作成された第1の静止画データと、前記第2の動画データから抽出又は作成された第2の静止画データとを前記表示部に表示させた後に、前記第1の動画データを動画表示させる表示画像処理部と
    を有する動画表示装置。
  2.  前記第1の静止画データは前記第1の動画データの1フレームのデータであり、
     前記表示画像処理部は、前記第1の動画データの動画表示の際に、前記1フレームから動画表示させることを特徴とする請求項1に記載の動画表示装置。
  3.  前記第1の静止画データは前記第1の動画データの1フレームのデータであり、
     前記表示画像処理部は、前記第1の動画データの動画表示の際に、前記1フレームの次のフレームから動画表示させることを特徴とする請求項1に記載の動画表示装置。
  4.  前記代表画像取得部は前記動画データから複数枚の静止画データを抽出又は作成し、
     前記表示画像処理部は前記第1の静止画データ又は前記第2の静止画データの前記表示部への表示の際に、複数枚の静止画データを順に表示させることを特徴とする請求項1から3までのいずれか1項に記載の動画表示装置。
  5.  前記記憶部に記憶された前記動画データに基づいて動画のプレビュー表示のためのプレビューデータを作成する画像処理を行うプレビュー再生処理部を有し、
     前記表示画像処理部は、前記プレビュー再生処理部により処理済みのプレビューデータを受け取ると、対応する動画の前記静止画データを前記プレビューデータで置き換えることを特徴とする請求項1から4までのいずれか1項に記載の動画表示装置。
  6.  前記静止画データは、前記動画を代表する静止画又は動画の前後のフレームの参照を必要としない画像であることを特徴とする請求項1から5までのいずれか1項に記載の動画表示装置。
  7.  複数の動画を並行して再生し、表示部に表示する動画表示方法であって、
     動画データを取得するステップと、
     取得した動画データである第1の動画データと第2の動画データとを格納するステップと、
     格納された前記動画データから静止画データを抽出又は作成する代表画像取得ステップと、
     前記第1の動画データと前記第2の動画データとの一覧表示が指示されると、前記第1の動画データから抽出又は作成された第1の静止画データと、前記第2の動画データから抽出又は作成された第2の静止画データとを前記表示部に表示させた後に、前記第1の動画データを動画表示させる表示画像処理ステップと
    を有する動画表示方法。
  8.  請求項7に記載の動画表示方法を、コンピュータに実行させるためのプログラム。
PCT/JP2010/058259 2009-05-18 2010-05-17 動画表示装置 WO2010134479A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201080021628XA CN102428517A (zh) 2009-05-18 2010-05-17 运动图像显示装置
JP2011514395A JPWO2010134479A1 (ja) 2009-05-18 2010-05-17 動画表示装置
US13/320,797 US20120082435A1 (en) 2009-05-18 2010-05-17 Moving image display device
BRPI1012202A BRPI1012202A2 (pt) 2009-05-18 2010-05-17 dispositivo de exibição de imagem em movimento

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-120114 2009-05-18
JP2009120114 2009-05-18

Publications (1)

Publication Number Publication Date
WO2010134479A1 true WO2010134479A1 (ja) 2010-11-25

Family

ID=43126160

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/058259 WO2010134479A1 (ja) 2009-05-18 2010-05-17 動画表示装置

Country Status (5)

Country Link
US (1) US20120082435A1 (ja)
JP (1) JPWO2010134479A1 (ja)
CN (1) CN102428517A (ja)
BR (1) BRPI1012202A2 (ja)
WO (1) WO2010134479A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI520553B (zh) * 2013-11-21 2016-02-01 晨星半導體股份有限公司 資料解密電路與方法
CN104717053B (zh) * 2013-12-11 2018-08-07 晨星半导体股份有限公司 数据解密电路与方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008277930A (ja) * 2007-04-26 2008-11-13 Hitachi Ltd 動画記録再生装置
JP2009044560A (ja) * 2007-08-09 2009-02-26 Sharp Corp 映像表示装置及びその制御方法、プログラム、記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008277930A (ja) * 2007-04-26 2008-11-13 Hitachi Ltd 動画記録再生装置
JP2009044560A (ja) * 2007-08-09 2009-02-26 Sharp Corp 映像表示装置及びその制御方法、プログラム、記録媒体

Also Published As

Publication number Publication date
JPWO2010134479A1 (ja) 2012-11-12
US20120082435A1 (en) 2012-04-05
BRPI1012202A2 (pt) 2016-04-05
CN102428517A (zh) 2012-04-25

Similar Documents

Publication Publication Date Title
JP4270379B2 (ja) デジタル情報の効率的な伝送および再生
US10645466B2 (en) Video file universal identifier for metadata resolution
EP1239674B1 (en) Recording broadcast data
JP4846002B2 (ja) ファイル転送システムおよびファイル転送方法
KR20080057972A (ko) 프리뷰 기능을 갖는 멀티미디어 데이터 인코딩/디코딩 방법및 장치
JP2009188704A (ja) コンテンツ編集装置
JP2013093755A (ja) 映像記録装置及び映像記録方法
JP4315914B2 (ja) 画像再生装置及び画像再生方法
JP4444358B1 (ja) プログレッシブダウンロード再生用プログラム
JP4613860B2 (ja) Mpeg符号化ストリーム復号装置
KR101731829B1 (ko) 디지털 영상 수신기의 디지털 콘텐츠 처리 장치 및 방법
WO2010134479A1 (ja) 動画表示装置
JP6964436B2 (ja) 映像記録装置及び映像再生装置
KR101603976B1 (ko) 동영상 파일 결합 방법 및 그 장치
JP6744262B2 (ja) 電子装置及び方法
JP6742515B2 (ja) 符号化映像再生装置および符号化映像再生方法
JP6647131B2 (ja) 配信装置及びプログラム
JP4691173B2 (ja) 画像再生装置及び画像再生方法
JP4412122B2 (ja) 蓄積再生表示装置
JP2007166598A (ja) 情報記録装置及び電子機器
JP4349764B2 (ja) 再生装置、および記録再生装置
JP2012060297A (ja) プログレッシブダウンロード再生方法及び再生用プログラム
JP2008153955A (ja) 映像記録再生装置、その特殊再生方法
KR100431548B1 (ko) 스트림 헤더정보를 이용한 동영상 파일 재생장치
JP2009194758A (ja) 映像記録装置、映像再生装置、映像記録再生システム、方法、およびプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080021628.X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10777712

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2011514395

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13320797

Country of ref document: US

Ref document number: 8431/CHENP/2011

Country of ref document: IN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10777712

Country of ref document: EP

Kind code of ref document: A1

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: PI1012202

Country of ref document: BR

ENP Entry into the national phase

Ref document number: PI1012202

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20111117