WO2009119394A1 - 映像取得方法、映像取得装置、映像取得システム及び映像取得用プログラム - Google Patents
映像取得方法、映像取得装置、映像取得システム及び映像取得用プログラム Download PDFInfo
- Publication number
- WO2009119394A1 WO2009119394A1 PCT/JP2009/055233 JP2009055233W WO2009119394A1 WO 2009119394 A1 WO2009119394 A1 WO 2009119394A1 JP 2009055233 W JP2009055233 W JP 2009055233W WO 2009119394 A1 WO2009119394 A1 WO 2009119394A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- scene
- data
- video
- video data
- acquisition
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 109
- 238000013500 data storage Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 description 71
- 230000008569 process Effects 0.000 description 24
- 230000006854 communication Effects 0.000 description 17
- 230000004044 response Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/16—Analogue secrecy systems; Analogue subscription systems
- H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
- H04N7/17309—Transmission or handling of upstream communications
- H04N7/17318—Direct or substantially direct transmission and handling of requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
Definitions
- the present invention relates to a video acquisition method, a video acquisition system, and a video acquisition program, and more particularly to a video acquisition method, a video acquisition system, and a video acquisition program for acquiring video data divided into a plurality of scenes.
- a video acquisition method for acquiring video data divided into a plurality of scenes is used for acquiring and reproducing video data via a communication network such as the Internet from a video distribution server that holds a desired video.
- a video acquisition method a streaming type acquisition method that performs playback in real time while acquiring video data, and stores the video data in a storage area such as a hard disk of a playback terminal, and stores the video data from the storage area after storage.
- a storage type acquisition method that reads and reproduces.
- the video acquisition method using the streaming type acquisition method has an advantage that a real-time video can be viewed. In addition, there is an advantage that if a user requests a desired video, immediate viewing is possible. On the other hand, the video acquisition method using the storage-type acquisition method has an advantage that a high-definition video having a bandwidth larger than the communication bandwidth of the communication means can be viewed.
- Japanese Patent Application Laid-Open No. 2003-333593 discloses an image data transmitting device and an image data receiving device.
- the image data transmitting apparatus includes a dividing unit, a generating unit, a first transmitting unit, and a second transmitting unit.
- the dividing unit divides the transmission target image into a first partial image and a second partial image excluding the first partial image.
- the generation means includes first low-resolution image data representing a low-resolution image of the first partial image, second low-resolution image data representing a low-resolution image of the second partial image, the first High-resolution image data of one partial image and high-resolution image data of the second partial image are generated.
- the first transmission means includes the first low-resolution image data, the second low-resolution image data, the first high-resolution image data, and the second high-resolution image data in order.
- Each image data generated by the generating means is transmitted to the receiving device.
- the second transmitting unit transmits data indicating the position of the first partial image in the transmission target image in association with the data transmitted from the first transmitting unit to the receiving device.
- Japanese Patent Laid-Open No. 2003-158624 discloses an image data transmission method and apparatus.
- an image is recorded in a recording format for recording image data of a plurality of resolutions for one image content; at least one of a plurality of images recorded in the recording format as a transmission target. Selecting one image; specifying a communication time used to transmit the image according to the selection; starting transmission from the image data having a lower resolution of the plurality of resolutions for the image according to the selection at the time of image transmission;
- the high-resolution data is sequentially transmitted within the designated communication time, and when the designated communication time is reached, the transmission of the image data is stopped.
- the recording apparatus includes a data acquisition unit, a scene division unit, a scene information acquisition unit, a calculation unit, a recording unit, and a data storage unit.
- the data acquisition means acquires programs and contents.
- the scene dividing means divides the program or content for each scene.
- the scene information acquisition means acquires scene information of the program or content.
- the computing means calculates the importance of the divided scene.
- the recording means can control the recording quality for each scene according to the importance.
- the data storage means stores recording data.
- JP-A-2004-38575 discloses a data transmission / reception system and a data transmission / reception method, an information providing apparatus and an information providing method, and a data receiving apparatus and a data receiving method.
- an information providing apparatus that transmits content data and a data reception apparatus are connected via a network, and the content data is packetized and transmitted / received.
- the data receiving apparatus includes a missing packet detection unit that detects a missing packet, and a missing packet retransmission request unit that requests retransmission of the missing packet.
- the data receiving device receives the content data by connectionless communication. When a missing packet is detected by the missing packet detection unit, the missing packet retransmission request unit requests the information providing apparatus to transmit the missing packet again by connection-type communication. .
- the streaming type acquisition method and the storage type acquisition method have the advantages as described above, but there are the following problems.
- the video acquisition method using the streaming type acquisition method there is a problem that high-definition video cannot be viewed depending on the communication band of the communication means. The reason is that the amount of video data obtained via the communication means cannot catch up with the amount of video data necessary for real-time reproduction due to the limitation of the communication bandwidth of the communication means.
- the video acquisition method using the storage-type acquisition method has a problem that it takes time until viewing is possible. The reason is that it takes time until video data necessary for reproduction is obtained due to the limitation of the communication band of the communication means.
- An object of the present invention is to provide a video acquisition method, a video acquisition system, and a video which can immediately view the video in response to a video request by a viewer and can appropriately increase the resolution corresponding to the scene of the video.
- the purpose is to provide an acquisition program.
- the video acquisition method of the present invention is divided into a plurality of scenes, and each of the plurality of scenes includes low-resolution basic data and one or more extension data that gradually increase the resolution corresponding to the basic data.
- scene video data as basic data and extended data is sequentially acquired.
- This video acquisition method is a newly acquired scene video based on a set of already acquired scene video data, a scene importance for each of a plurality of scenes, and a current scene as a current scene of the plurality of scenes. Determining each time data is acquired; and acquiring scene video data for each determination based on the determination.
- the video acquisition device of the present invention is divided into a plurality of scenes, and each of the plurality of scenes includes a low-resolution basic data and one or more extended data that gradually increase the resolution corresponding to the basic data. From the data, scene video data as basic data and extended data is sequentially acquired.
- the video acquisition device includes a video data acquisition unit and a video data storage unit.
- the video data acquisition unit obtains a new scene video based on the already acquired set of scene video data, the scene importance for each of the plurality of scenes, and the current scene as the current scene of the plurality of scenes. Data is determined every time acquisition is performed, and scene video data is acquired for each determination.
- the video data storage unit stores the acquired scene video data.
- the video acquisition system of the present invention is divided into a plurality of scenes, and each of the plurality of scenes includes a low-resolution basic data and one or more extended data that gradually increase the resolution corresponding to the basic data.
- This is a video acquisition system that sequentially transmits and receives scene video data as basic data and extended data from data.
- the video acquisition system includes a video acquisition device and a video distribution device.
- the video acquisition device makes a request for newly acquired scene video data and is described in the paragraph above.
- the video distribution apparatus has a plurality of video data, and extracts scene video data from the plurality of video data based on a request from the video acquisition apparatus and transmits the scene video data to the video acquisition apparatus.
- the program of the present invention is divided into a plurality of scenes, and includes video data including low-resolution basic data for each of the plurality of scenes and one or more extended data for gradually increasing the resolution corresponding to the basic data.
- the computer is caused to execute a video acquisition method for sequentially acquiring scene video data as basic data and extension data.
- This program obtains newly acquired scene video data based on the set of already acquired scene video data, the scene importance for each of the plurality of scenes, and the current scene as the current scene of the plurality of scenes.
- a computer is caused to execute a video acquisition method including a step of determining each time of acquisition and a step of acquiring scene video data for each determination based on the determination.
- FIG. 1 is a block diagram showing a configuration of a video acquisition system according to an embodiment of the present invention.
- FIG. 2 is a schematic diagram showing video data according to the embodiment of the present invention.
- FIG. 3A is a table showing an example of information according to the embodiment of the present invention.
- FIG. 3B is a table showing an example of information according to the embodiment of the present invention.
- FIG. 3C is a table showing an example of information according to the embodiment of the present invention.
- FIG. 3D is a table showing an example of information according to the embodiment of the present invention.
- FIG. 3E is a table showing an example of information according to the embodiment of the present invention.
- FIG. 4 is a flowchart showing a video acquisition method according to the first embodiment of the present invention.
- FIG. 4 is a flowchart showing a video acquisition method according to the first embodiment of the present invention.
- FIG. 5 is a flowchart showing a video acquisition method according to the second embodiment of the present invention.
- FIG. 6 is a flowchart showing a method for creating a list of video acquisition methods according to the third embodiment of the present invention.
- FIG. 7 is a block diagram showing a configuration of a video acquisition system according to the fourth embodiment of the present invention.
- FIG. 1 is a block diagram showing a configuration of a video acquisition system according to the first embodiment of the present invention.
- This video acquisition system includes a video distribution device 1 and a video acquisition / playback device 3.
- the video distribution device 1 and the video acquisition / playback device 3 are connected to each other via a network 2 exemplified by the Internet so that bidirectional communication is possible.
- the video distribution device 1 is an information processing device exemplified by a computer having an input / output device, a storage device, and a central processing unit. In response to an external request, the video distribution apparatus 1 distributes video data corresponding to the request and information related to the video data from a storage device (not shown) that stores a plurality of video data.
- the storage device may be built in the video distribution device 1 or may be externally connected via a communication line.
- the video data is divided into a plurality of scenes.
- Each of the plurality of scenes includes low-resolution basic data and one or more extension data that gradually increase the resolution corresponding to the basic data. That is, the video data is divided into a plurality of scenes of the video.
- Each scene has basic data obtained by encoding a video with the lowest resolution and one or more extended data for each resolution capable of increasing the resolution in stages. This will be specifically described with reference to FIG.
- FIG. 2 is a schematic diagram showing video data according to the first embodiment of the present invention.
- video data A1 indicating an original video is divided into three scenes A11, A12, and A13.
- the video data of the scene A11 includes basic data A111, medium-resolution extension data A112, and high-resolution extension data A113.
- the video data of the scene A12 has basic data A121, extended data A122 for medium resolution, and extended data A123 for high resolution.
- the video data of the scene A13 includes basic data A131, medium resolution extension data A132, and high resolution extension data A133.
- the basic data and the extended data are also referred to as “scene video data” when they are not distinguished from each other.
- a scalable video coding (SVC) method can be used as a method for encoding a video having such properties.
- SVC scalable video coding
- a scene in video data is a continuous set on the time axis of a frame, which is the minimum unit of video.
- Each frame is always included in only one scene.
- Frame scene may be used.
- the video producer can determine which range of frames is a scene.
- a scene may be automatically determined based on features such as video and audio.
- the size of each frame need not be constant.
- the information related to the video data includes scene importance indicating the importance set for each of the basic data A111, A121, A131, extended data A112 / A113, A122 / A123, and A132 / A133. It is out.
- the scene importance may be an integer or a real number, it can be expressed sufficiently using an integer from 1 to the total number of scenes as long as it is known whether or not it is relatively important to other scenes. .
- the scene importance level may be set by the video producer for each scene, or may be automatically extracted and set based on features such as video and audio.
- a storage device (not shown) for storing the video data includes scene video data, scene video specification information for specifying the scene video data, and scene configuration for specifying the scene video data constituting each scene. Information, scene importance level information indicating the scene importance level of the scene video data, and resolution information for specifying the resolution (including basic data or extension data) of the scene video data are stored. Specific examples are shown in FIGS. 3A to 3E.
- the scene video designation information is exemplified by a URL (Uniform Resource Locator) such as ⁇ http: //.../dA111>, and scene video data ID (example: A111 and A112) are stored in association with each other.
- the scene video designation information designates a location for storing scene video data (video itself) of the scene video data ID.
- the scene configuration information is exemplified by a combination of scene video data IDs, and is stored in association with scene IDs (examples: A11, A12) for specifying a scene.
- the scene IDs are arranged according to the scene sequence. Further, as illustrated in FIG.
- the scene importance level information is exemplified by the scene importance level and is stored in association with the scene ID.
- the resolution information is exemplified by data types such as basic data and extended data, and is stored in association with the scene video data ID.
- the information shown in FIGS. 3A to 3D is associated with each other and is provided for each video data ID (example: A1) that specifies video data.
- the scene importance level information may not be present. In that case, all the importance levels shown in the following explanation are treated as the same. (FIG. 3E will be described later.)
- the video distribution device 1 includes a video data transmission unit 11 and a scene importance transmission unit 12.
- the video data transmission unit 11 and the scene importance transmission unit 12 are computer programs (software) that operate on the video distribution device 1.
- the video data transmission unit 11 and the scene importance transmission unit 12 may be realized by a combination of software and hardware, or only by hardware.
- the scene importance level transmission unit 12 receives scene video designation information (FIG. 3A, scene information) as information related to the video data specified by the first video request information.
- the configuration information (FIG. 3B), the scene importance level information (FIG. 3C), and the resolution information (FIG. 3D) are read from the storage device (not shown) and transmitted as the first transmission information to the video acquisition / playback device 3.
- the first video request information includes a video data ID for specifying video data, and request information for requesting scene video designation information, scene configuration information, scene importance level information, and resolution information.
- the unit 12 responds to the first video request information from the video acquisition / playback apparatus 3 for all scenes of the video data specified by the video data ID of the first video request information.
- Video designation information, scene configuration information can be collectively transmitted request information requesting scene importance information and resolution information.
- the video data transmission unit 11 In response to the second video request information from the video acquisition / playback device 3, the video data transmission unit 11 reads out the scene video data specified by the second video request information from the storage device (not shown), It transmits to the acquisition / playback apparatus 3 as second transmission information.
- the second video request information includes scene video designation information. That is, the video data transmission unit 11 responds to the second video request information from the video acquisition / playback device 3 and the basic data A111, A121, A131 specified by the scene video designation information of the second video request information, and the extension Data A112 to A113, A122 to A123, and A132 to A133 can be transmitted in any order.
- the video acquisition / playback apparatus 3 is an information processing apparatus exemplified by a computer having an input / output device, a storage device, and a central processing unit.
- the video acquisition / playback device 3 transmits the first video request information and the second video request information to the video distribution device 1. Then, the scene importance level and the scene video data are acquired from the video distribution apparatus 1, and the scene video data is assembled and reproduced as video data.
- the video acquisition / playback apparatus 3 includes a video data acquisition unit 32, a video data holding unit 33, and a video data playback unit 34.
- the video data acquisition unit 32 and the video data playback unit 34 are computer programs (software) that operate on the video acquisition / playback device 3. However, the video data acquisition unit 32 and the video data reproduction unit 34 may be realized by a combination of software and hardware, or only by hardware.
- the video data holding unit 33 is exemplified by a storage device such as a hard disk drive.
- the video data acquisition unit 32 sets video data to be acquired based on user input. Next, based on the video data, first video request information is generated and output to the video distribution apparatus 1. Then, the first transmission information including the scene importance for each scene of the video data is acquired from the scene importance transmission unit 12. Further, the video data acquisition unit 32 compares the first transmission information with the scene video data already acquired by the video data holding unit 33, and generates an unacquired scene video data list (example: FIG. 3E). .
- the set of scene video data already acquired in the video data holding unit 33 and the scene importance level for each scene (included in the first transmission information) acquired from the scene importance level transmission unit 12 The scene video data to be acquired next is sequentially determined for each acquisition based on the current scene being reproduced by or reproduced from the video data reproduction unit 34.
- second video request information is generated and output to the video distribution device 1.
- the determined scene video data is acquired from the video data transmission unit 11 as the second transmission information.
- the video data holding unit 33 holds the scene video data acquired by the video data acquisition unit 32.
- the scene video data is stored in association with a video data ID, a scene ID, a scene video data ID, scene importance level information, and resolution information. Alternatively, they may be stored in association with each other as shown in FIGS. 3A to 3D.
- the information video data reproduction unit 34 reproduces a video obtained by assembling the video data already acquired in the video data holding unit 33.
- the video data playback unit 34 can play back video even when the video data holding unit 33 does not have all the scene video data. Since a scene without basic data cannot be reproduced, the scene is skipped. At this time, the viewer may be informed that the video has been skipped by a notification, audio, image, video, or the like indicating that the video has been skipped. Scenes that can only acquire basic data are played back with the lowest resolution. Higher-resolution video is played in scenes with extended data.
- FIG. FIG. 4 is a flowchart showing a video acquisition method according to the first embodiment of the present invention.
- the video acquisition / playback apparatus 3 acquires video data A1 from the video distribution apparatus 1.
- the scene importance of scene A11 is 1
- the scene importance of scene A12 is 3
- the scene importance of scene A13 is 2.
- the current scene is A11.
- the video data acquisition unit 32 sets the video data A1 as video data to be acquired based on an input from a user or the like.
- the video data acquisition unit 32 generates first video request information (including a video data ID and request information) based on the video data A1, and outputs the first video request information to the video distribution device 1.
- the scene importance transmission unit 12 responds to the first video request information with respect to all scenes of the video data A1 specified by the first video request information (see FIG. 3A), scene configuration information (FIG. 3B), scene importance information (FIG. 3C), and resolution information (FIG. 3D) are read from a storage device (not shown).
- first transmission information including the read information is generated and transmitted to the video acquisition / playback apparatus 3.
- the video data acquisition unit 32 acquires the first transmission information from the scene importance level transmission unit 12 and stores it in the storage unit (not shown) (step S01).
- the video data acquisition unit 32 grasps all scenes (scene ID and scene video data ID) included in the video data A1 from the acquired first transmission information. Then, the scene video data held by the video data holding unit 33 is searched to create a list of unacquired scene video data among all the scenes included in the video data A1 (step S02). This list includes scene video data IDs of unacquired scenes. The list is exemplified by a list listing unacquired scene video data IDs as shown in FIG. 3E.
- the video data acquisition unit 32 determines whether scene video data after the current scene (in this example, scene A11) is included in this list (step S03). If it is included (step S03: YES), the scene video data before the current scene is deleted from the list (step S04). If not included (step S03: NO), the process proceeds to step S05.
- the video data acquisition unit 32 determines whether the data in this list is empty (step S05). If the data in this list is empty (step S05: YES), it is determined that there is no scene video data to be acquired, and the process ends. If the data in this list is not empty (step S05: NO), it is determined that there is scene video data to be acquired, and the process proceeds to the next process (step S06 and subsequent steps).
- the video data acquisition unit 32 determines the scene video data having the lowest resolution among the scene video data having the highest scene importance from the list thus generated as the scene video data to be acquired next (step S06). Since all the scene video data has not been acquired in the initial stage, the scene video data A121 is determined as the scene video data to be acquired next as the scene video data having the lowest resolution among the scene video data having the highest scene importance.
- the video data acquisition unit 32 refers to the scene video designation information (FIG. 3A) in the storage unit and generates second video request information (including scene video designation information) to generate the video data transmission unit 11. Send to.
- the video data transmission unit 11 reads scene video data specified by the second video request information from a storage device (not shown). Then, second transmission information including the scene video data is generated and transmitted to the video data acquisition unit 32.
- the video data acquisition unit 32 acquires the second transmission information from the video data transmission unit 11.
- the scene video data is stored in the video data holding unit 33 in association with the video data ID, scene ID, scene video data ID, scene importance level information, and resolution information (step S07). That is, the video data A 121 is acquired from the video data transmission unit 11 and stored in the video data holding unit 33.
- steps S02 to S07 are repeated until the list data is empty (YES in step S05). That is, first, the video data acquisition unit 32 searches the scene video data held by the video data holding unit 33 and generates a list of unacquired scene video data among all the scenes included in the video data A1. Update (step S02). Next, when there is video data after the current scene in the list (step S03: YES), the video data acquisition unit 32 deletes scene video data before the current scene from the list (step S04). . Subsequently, the video data acquisition unit 32 ends the process when the data in this list is empty (step S05: YES), and the next process (after step S06) when it is not empty (step S05: NO). Proceed to
- the video data acquisition unit 32 determines the video data having the lowest resolution among the video data having the highest scene importance from the list thus generated as the video data to be acquired next (step S06). At this stage, video data A122 is determined as video data to be acquired next as video data having the lowest resolution among video data having the highest scene importance.
- the video data acquisition unit 32 transmits the second video request information to the video data transmission unit 11 based on the determination.
- the video data transmission unit 11 transmits the requested scene video data to the video data acquisition unit 32 as the second transmission information.
- the video data acquisition unit 32 stores the scene video data of the second transmission information in the video data holding unit 33 in association with other information (step S07). That is, the video data A 122 is acquired from the video data transmission unit 11 and stored in the video data holding unit 33.
- scene video data A123, A131, A132, A133, A111, A112, A113 are obtained and stored in this order as scene video data thereafter.
- step S05: YES the video data acquisition unit 32 ends the process.
- the scene video data acquisition operation ends.
- step S06 in the next step of determining scene video data to be acquired (step S06), among the scene video data after the current scene, basic data that is continuous from the current scene by a predetermined number is preferentially acquired. You may decide to do. In that case, in step S07, for example, if the determined number is “2” and the current scene is A11, two basic data A111 and A121 of A11 and A12 are acquired. In this case, occurrence of scene skip can be suppressed. Fast forward playback is also easier.
- An example of such a predetermined number is a number that can obtain a sufficient number of scene video data for continuous reproduction while reproducing the predetermined number of basic data.
- the step of determining the next scene video data to be acquired includes scene video data that is temporally close to the current scene among scene video data after the current scene (within a time determined from the current scene). (Continuous scene video data that can be acquired at the same time) may be preferentially acquired.
- step S07 for example, if the predetermined time is “t0” and the current scene is A11, the basic data A111 and the extension data A112 are acquired, and the acquisition is terminated when the time t0 is reached.
- basic data A111, extended data A112, extended data A113, and basic data A12 are acquired, and the acquisition ends when time t0 is reached.
- the resolution of each scene can be made as high as possible.
- An example of such a time is a time during which scene video data with a high resolution can be acquired while the scene video data for that time is being reproduced.
- the scene video data playback operation can be performed at any stage before the video data acquisition operation ends.
- reproduction is started when acquisition of four scene video data of scene video data A121, A122, A123, and A131 is completed.
- the video data reproduction unit 34 When the video data reproduction unit 34 is instructed to reproduce the video data A1 by an input from the user or the like, the video data reproduction unit 34 reads the video data A1 from the plurality of video data in the video data holding unit 33 and starts reproduction. At this time, a scene for which basic data has not been acquired is skipped. At this stage, since the basic data A111 regarding the scene A11 has not been acquired, the scene A11 is skipped. Then, the next scene is reproduced.
- Scene A12 includes basic data A121 and extended data A122 and A123 which are scene video data of all resolutions. Therefore, decoding is performed using all of these scene video data, and high-resolution video is reproduced. Then, the next scene is reproduced.
- the expansion data A132 has been acquired by executing the video acquisition method performed in parallel during the reproduction of the scene A12.
- the scene A13 includes basic data A131 and extended data A132 that are scene video data up to medium resolution. Therefore, decoding is performed using all of these scene video data, and a medium-resolution video is reproduced. Then, the next scene is reproduced.
- the extension data A133 and the basic data A111 have been acquired by executing the video acquisition method performed in parallel with the reproduction of the scene A13. If it is not set to repeat playback, the scene video data playback operation ends at this point. If it is set to repeat playback, playback is resumed from scene A11.
- the scene A11 has already acquired basic data A111 which is scene video data. Therefore, the basic A111 which is the scene video data is decoded to reproduce a low resolution video. Then, the next scene is reproduced. Thereafter, reproduction is performed by the same operation.
- the viewer requests the desired video it can be viewed immediately, and high-definition video can be viewed in scenes that require high-definition video. It is possible to view high-definition video over the scene.
- the configuration of the video acquisition system according to the second embodiment of the present invention will be described.
- the configuration of the video acquisition system of the present embodiment is the same as that of the video acquisition system of the first embodiment shown in FIG. 1 except for the method of determining scene video data to be acquired in the video data acquisition unit 32. Description is omitted.
- the method of determining scene video data to be acquired by the video data acquisition unit 32 will be described in the video acquisition method in the present embodiment described later.
- FIG. 5 is a flowchart showing a video acquisition method according to the second embodiment of the present invention.
- the video acquisition / playback apparatus 3 acquires video data A1 from the video distribution apparatus 1.
- the scene importance of scene A11 is 1
- the scene importance of scene A12 is 3
- the scene importance of scene A13 is 2.
- the current scene is A11.
- steps S11 to S15 are the same as steps S01 to S05 of the first embodiment. That is, first, the video data acquisition unit 32 performs scene video designation information (FIG. 3A), scene configuration information (FIG. 3B), scene importance information (FIG. 3C), and resolution information (FIG. 3) for all scenes of the video data A1. 3D) is acquired from the scene importance level transmission unit 12 and stored in a storage unit (not shown) (step S11). Next, the video data acquisition unit 32 searches the scene video data held by the video data holding unit 33, and obtains a list of unacquired scene video data (FIG. 3E) among all the scenes included in the video data A1. Generate or update (step S12).
- step S13 when there is video data after the current scene in the list (step S13: YES), the video data acquisition unit 32 deletes the scene video data before the current scene from the list (step S14). . Thereafter, the video data acquisition unit 32 ends the process when the data in this list is empty (step S15: YES), and proceeds to the next process (after step S16) when it is not empty (step S15: NO). move on. Details of steps S11 to S15 are omitted.
- the video data acquisition unit 32 determines the scene video data having the highest scene importance among the scene video data having the lowest resolution from the list thus generated as the scene video data to be acquired next (step S16). Since all scene video data has not been acquired in the initial stage, the basic data A121 is determined as the scene video data to be acquired next as the scene video data having the highest scene importance among the scene video data having the lowest resolution.
- Step S17 is the same as step S07 in the first embodiment. That is, the video data acquisition unit 32 transmits the second video request information to the video data transmission unit 11 with reference to the scene video designation information (FIG. 3A) based on the determination. In response to the second video request information, the video data transmission unit 11 transmits the requested scene video data to the video data acquisition unit 32 as the second transmission information.
- the video data acquisition unit 32 stores the scene video data of the second transmission information in the video data holding unit 33 in association with other information (step S17). That is, the video data A 121 is acquired from the video data transmission unit 11 and stored in the video data holding unit 33. Details of step S17 are omitted.
- steps S12 to S17 are repeated until the list data becomes empty (YES in step S15). That is, first, the video data acquisition unit 32 searches the scene video data held by the video data holding unit 33 and generates a list of unacquired scene video data among all the scenes included in the video data A1. Update (step S12). Next, when there is video data after the current scene in the list (step S13: YES), the video data acquisition unit 32 deletes scene video data before the current scene from the list (step S14). . Subsequently, the video data acquisition unit 32 ends the process when the data in this list is empty (step S15: YES), and the next process (after step S16) when it is not empty (step S15: NO). Proceed to
- the video data acquisition unit 32 determines the scene video data having the highest scene importance among the scene video data having the lowest resolution from the list thus generated as the scene video data to be acquired next (step S16). At this stage, the video data A131 is determined as the scene video data to be acquired next as the scene video data having the highest scene importance among the scene video data having the lowest resolution.
- the video data acquisition unit 32 acquires the requested scene video data from the video data transmission unit 11 and stores it in the video data holding unit 33 in association with other information (step S17). That is, the video data A 131 is acquired from the video data transmission unit 11 and stored in the video data holding unit 33.
- scene video data A111, A122, A132, A112, A123, A133, A113 are acquired and stored in this order as scene video data thereafter.
- step S15 When all scene video data has been acquired, the list data becomes empty (step S15: YES), and the video data acquisition unit 32 ends the processing. As a result, the scene video data acquisition operation ends.
- the scene video data playback operation is the same as in the first embodiment, and a description thereof will be omitted.
- the configuration of the video acquisition system according to the third embodiment of the present invention will be described.
- the configuration of the video acquisition system of this embodiment is the same as that of the video acquisition system of the first embodiment shown in FIG. 1 except for the list creation method and the scene video data determination method to be acquired in the video data acquisition unit 32. Since there is, explanation is omitted.
- the list creation method and the scene video data determination method to be acquired in the video data acquisition unit 32 will be described in the video acquisition method in the present embodiment described later.
- the video data acquisition unit 32 sets the basic data or the resolution of each scene having a scene importance level equal to or higher than the nth scene importance level when the scene importance levels are arranged in descending order in the n-th list creation step. Expanded data that can be stepped up (if basic data is present in the ordered list) is added to the list in time order one by one in each scene to create the list. Then, the order of scene video data in the created list (a list in which all scene video data to be acquired is listed) is determined as the acquisition order of scene video data.
- Other configurations and operations are the same as those in the first embodiment, and thus description thereof is omitted.
- FIG. FIG. 6 is a flowchart showing a method for creating a list of video acquisition methods according to the third embodiment of the present invention.
- the video acquisition / playback apparatus 3 acquires video data A1 from the video distribution apparatus 1.
- the scene importance of scene A11 is 1
- the scene importance of scene A12 is 3
- the scene importance of scene A13 is 2.
- the current scene is A11.
- the video data acquisition unit 32 sets the video data A1 as video data to be acquired based on an input from a user or the like.
- the video data acquisition unit 32 generates first video request information (including a video data ID and request information) based on the video data A1, and outputs the first video request information to the video distribution device 1.
- the scene importance transmission unit 12 responds to the first video request information with respect to all scenes of the video data A1 specified by the first video request information (see FIG. 3A), scene configuration information (FIG. 3B), scene importance information (FIG. 3C), and resolution information (FIG. 3D) are read from a storage device (not shown).
- first transmission information including the read information is generated and transmitted to the video acquisition / playback apparatus 3.
- the video data acquisition unit 32 acquires the first transmission information from the scene importance level transmission unit 12 and stores it in the storage unit (not shown) (step S20).
- the video data acquisition unit 32 refers to the scene importance level information (FIG. 3C) and resolution information (FIG. 3D) in the storage unit in the N-th list creation step (steps S23 to S25).
- Each scene having a scene importance greater than or equal to the Nth scene importance when the degrees are arranged in descending order is extracted (step S23).
- the basic data or extended data that increases the resolution by one step is added to the list one by one in the time order for each scene (step S24).
- scene video data IDs (example: A111, A112) are added to the list.
- the list is exemplified as shown in FIG. 3E.
- N N + 1 is set (step S25), and the list creation process (steps S23 to S25) is repeated until all scene video data is listed in the list (step S22: YES).
- the video data acquisition unit 32 determines the order of the scene video data in the list created thereby as the order of acquiring the scene video data.
- step S21 1 and the list is set to be empty (step S21).
- the video data acquisition unit 32 compares the acquired first transmission information (scene configuration information (FIG. 3B) with the list at the present stage, and has completely acquired the scene video data necessary as the video data A1. It is determined that there is not (step S22: NO), and step S23 and subsequent steps are executed.
- scenes A12 and A13 correspond (step S23).
- the basic data or the extended data that increases the resolution by one step (when the basic data exists in the list) is added to the ordered list one by one for each scene in time order.
- the extended data A122 and the basic data A131 correspond, and the extended data A122 and the basic data A131 are added to the list in order of time.
- basic data A121, extended data A122, and basic data A131 are listed in this order (step S24).
- scenes A11, A12, and A13 correspond (step S23).
- the basic data or expanded data that increases the resolution by one step is added to the ordered list in order of time for each scene.
- basic data A111, extended data A123, and extended data A132 correspond, and basic data A111, extended data A123, and extended data A132 are added to the list in order of time.
- basic data A121, extended data A122, basic data A131, basic data A111, extended data A123, and extended data A132 are listed in this order (step S24).
- scenes A11, A12, and A13 correspond (step S23).
- the basic data or expanded data that increases the resolution by one step is added to the ordered list in order of time for each scene.
- extended data A112 and extended data A133 correspond, and extended data A112 and extended data A133 are added to the list in this order.
- step S24 basic data A121, extended data A122, basic data A131, basic data A111, extended data A123, extended data A132, extended data A112, and extended data A133 are listed in this order (step S24).
- scenes A11, A12, and A13 correspond (step S23).
- the basic data or expanded data that increases the resolution by one step is added to the ordered list in order of time for each scene.
- the extended data A113 corresponds, and the extended data A113 is added to the list.
- step S24 basic data A121, extended data A122, basic data A131, basic data A111, extended data A123, extended data A132, extended data A112, extended data A133, and extended data A113 are listed in this order (step S24).
- step S22 YES
- step S27 to S28 all scene video data IDs of the scene video data necessary as the video data A1 are listed in the list (step S22: YES), and the process proceeds to the scene video data acquisition step (steps S27 to S28).
- the video data acquisition unit 32 refers to the list at the current stage to determine whether the list is empty (“0 (zero”)) (step S26). When this list is empty (step S26: YES) Then, it is determined that all scene video data to be acquired has been acquired, and the scene video data acquisition process (steps S27 to S28) ends, and if this list is not empty (step S26: NO), it should be acquired. It is determined that there is still scene video data, and the process proceeds to the next process (steps S27 to S28).
- the video data acquisition unit 32 determines scene video data to be acquired in the order of the list as a scene video data determination method. That is, it is determined to acquire the first scene video data in the list. Based on the determination, the video data acquisition unit 32 refers to the scene video designation information (FIG. 3A), generates second video request information (including scene video designation information), and transmits it to the video data transmission unit 11. To do. In response to the second video request information from the video data acquisition unit 32, the video data transmission unit 11 reads scene video data specified by the second video request information from a storage device (not shown). Then, the scene video data is transmitted to the video data acquisition unit 32 as second transmission information. The video data acquisition unit 32 acquires the second transmission information from the video data transmission unit 11.
- the scene video data transmission unit 11 reads scene video data specified by the second video request information from a storage device (not shown). Then, the scene video data is transmitted to the video data acquisition unit 32 as second transmission information.
- the video data acquisition unit 32 acquires the second transmission information from the video data transmission unit 11.
- the scene video data is stored in the video data holding unit 33 in association with the video data ID, scene ID, scene video data ID, scene importance level information, and resolution information (step S27). That is, the video data acquisition unit 32 acquires the first scene video data (basic data A121) in the list from the video data transmission unit 11 and stores it in the video data holding unit 33 in association with related data. Thereafter, the video data acquisition unit 32 deletes the first scene video data (basic data A121) from the list (step S28).
- steps S27 to S28 are repeated until the list data is empty (YES in step S26). That is, the video data acquisition unit 32 acquires the first scene video data (extension data A122) in the list from the video data transmission unit 11, and stores the first scene video data in the video data holding unit 33 in association with the related data (step S27). . Thereafter, the video data acquisition unit 32 deletes the first scene video data (extended data A122) from the list (step S28). Similarly, the video data acquisition unit 32 acquires basic data A131, A111, extended data A123, A132, A112, A133, A113 as scene video data from the video data transmission unit 11 in this order, and holds the video data. The data is stored in the unit 33 (step S27). Thereafter, the video data acquisition unit 32 deletes the scene video data acquired from the list (step S28).
- scene video data A121, A122, A123, A132, A112, A133, and A113 are acquired and stored in this order as scene video data.
- step S26 YES
- the video data acquisition unit 32 ends the processing.
- the scene video data acquisition operation ends.
- the scene video data playback operation is the same as in the first embodiment, and a description thereof will be omitted.
- FIG. 7 is a block diagram showing a configuration of a video acquisition system according to the fourth embodiment of the present invention.
- This video acquisition system is different from the first to third embodiments in that the video acquisition / playback apparatus 3 further includes a scene priority acquisition instruction unit 35.
- the scene priority acquisition instruction unit 35 selects one or more scenes to be acquired preferentially and a scene video data to be acquired from among a plurality of scenes of the video data based on an input from a user, a set condition, or the like. Set the resolution level. Then, the scene priority acquisition instructing unit 35 outputs the scene to be acquired with priority and the resolution level thereof to the video data acquisition unit 32.
- the video data acquisition unit 32 stores the basic data of one or more scenes instructed by the scene priority acquisition instructing unit 35 and the extended data up to the specified resolution level during or before the acquisition of the scene video data. Get priority. Since other functions and other configurations of the video data acquisition unit 32 are the same as those in any of the first to third embodiments, description thereof will be omitted.
- FIG. 1 The video acquisition method according to the present embodiment includes the first embodiment (FIGS. 1, 2, 3A to 3E, and 4) and the second embodiment (FIGS. 1, 2, and 3A to 4). 3E, FIG. 5) and the third embodiment (FIGS. 1, 2, 3A to 3E, FIG. 6).
- the video data acquisition unit 32 starts acquiring scene video data up to the level of resolution to be acquired in one or more specified scenes.
- the video acquisition method of each embodiment is executed. Since the video acquisition method of each embodiment is the same as that of the embodiment, description thereof is omitted.
- the same effect as that of the first embodiment can be obtained. Furthermore, in the present invention, one or more scenes to be acquired with priority and a resolution level are designated, and extended data up to a resolution level corresponding to the basic data of the designated one or more scenes is given the highest priority. get. According to the present invention as described above, the viewer can intentionally improve the quality of an image of an arbitrary scene.
- the scene importance level (scene importance level information (FIG. 3C) can be dynamically changed. This change can be made even if the video producer intentionally changes the statistics.
- the video distribution device 1 or the like may be automatically changed based on information or the like.
- the change of the scene importance may or may not be notified to the video acquisition / playback apparatuses 3 and 3a.
- the video distribution apparatus 1 outputs a notification indicating that the scene importance level has been changed to the video acquisition / playback apparatuses 3 and 3a.
- the video acquisition / playback devices 3 and 3 a output the first video request information to the video distribution device 1.
- the video distribution device 1 outputs the first transmission information (including the scene importance level information) to the video acquisition / playback devices 3 and 3a.
- the video distribution device 1 directly outputs the first transmission information (including scene importance level information) to the video acquisition / playback devices 3 and 3a.
- the video acquisition / playback apparatuses 3 and 3a output the first video request information to the video distribution apparatus 1 as necessary to acquire the first transmission information.
- the video acquisition / playback apparatuses 3 and 3a continue to use the scene importance acquired before without particularly updating the scene importance.
- the present invention can also be implemented by a program. That is, from video data that is divided into a plurality of scenes and includes low-resolution basic data for each of the plurality of scenes and one or more extension data that gradually increase the resolution corresponding to the basic data, A program for causing a computer to execute a video acquisition method for sequentially acquiring basic video and scene video data as its extension data, and a set of the acquired scene video data and a scene importance for each of the plurality of scenes. A step of determining each newly acquired scene video data for each acquisition based on the current scene as the current scene of the plurality of scenes, and the scene video for each determination based on the determination. A program for causing a computer to execute a video acquisition method including a step of acquiring data.
- the determining step gives priority to the basic data when the scene importance is the same in descending order of the scene importance, and then in descending order of the resolution of the extended data.
- the program may include a step of determining an acquisition order so as to acquire scene video data.
- the determining step starts with the basic data, and then, in descending order of resolution of the extended data, the basic data and the extended data of the same resolution have a high scene importance.
- the program may include a step of determining an acquisition order so as to acquire the scene video data.
- the determining step includes a step of listing the scene video data in a list indicating an acquisition order for acquiring the scene video data, and the step of listing all the scene videos. Determining the acquisition order to acquire the scene video data in the order of the list obtained by repeating until the data is listed in the list, and the Nth (N is a natural number)
- the basic data or the basic data is listed in the list for each scene having the scene importance equal to or higher than the Nth scene importance when the scene importances are arranged in descending order. The resolution of the basic data is increased by one level.
- Rusono extended data may be a program including the step of adding one by one time in order that list at each scene.
- the step of determining is to preferentially obtain the basic data for a predetermined number of consecutive scene data from the current scene after the current scene.
- the program may include a step for determining an acquisition order.
- the determining step gives priority to the scene video data of a scene that is temporally close to the current scene of the plurality of scenes among the scene video data after the current scene.
- the program may include a step of determining the acquisition order so as to acquire the data.
- one or more scenes to be preferentially acquired and a level of resolution are specified, and the basic data of the specified one or more scenes And the step of acquiring the extended data up to the corresponding resolution level with the highest priority.
- program and data structure of the present invention may be recorded on a computer-readable storage medium and read from the storage medium into the information processing apparatus.
- the video can be immediately viewed in response to the video request from the viewer, and the high-definition is required in a scene where high-definition video is required.
- the video can be viewed.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
映像取得方法は、複数のシーンに分割され、複数のシーンの各々ごとに低解像度の基本データと基本データに対応して解像度を段階的に高める1つ以上の拡張データとを含む映像データから、基本データ及び拡張データとしてのシーン映像データを逐次取得する映像取得方法である。既に取得したシーン映像データの集合と複数のシーンの各々ごとのシーン重要度と複数のシーンのうちの現在再生中の再生シーンとに基づいて、新たに取得するシーン映像データを取得の度に決定するステップS06と、決定に基づいて、決定ごとにシーン映像データを取得するステップS07とを具備する。
Description
本発明は、映像取得方法、映像取得システムおよび映像取得用プログラムに関し、特に複数のシーンに分割された映像データを取得する映像取得方法、映像取得システムおよび映像取得用プログラムに関する。
一般に、複数のシーンに分割された映像データを取得する映像取得方法は、所望の映像を保持する映像配信サーバからインターネットのような通信網を経由して映像データを取得し再生するために用いられている。このような映像取得方法として、映像データを取得しながら実時間で再生を行うストリーミング型取得方法、及び、映像データを再生端末のハードディスクなどの記憶領域に蓄積し、蓄積後に記憶領域から映像データを読み出して再生を行う蓄積型取得方法がある。
ストリーミング型取得方法を用いた映像取得方法では、実時間の映像を観賞できるという利点がある。加えて、ユーザが所望の映像を要求すれば即時視聴可能であるという利点がある。一方、蓄積型取得方法を用いた映像取得方法では、通信手段の通信帯域よりも大きな帯域を持つ高精細な映像を視聴することができるという利点がある。
関連する技術として、特開2003-333593号公報に画像データ送信装置および画像データ受信装置が開示されている。この画像データ送信装置は、分割手段、生成手段、第1の送信手段、ならびに第2の送信手段を備えている。分割手段は、送信対象画像のうち第1の部分画像と上記第1の部分画像を除く第2の部分画像とに分ける。生成手段は、上記第1の部分画像の低解像度の画像を表す第1の低解像度の画像データ,上記第2の部分画像の低解像度の画像を表す第2の低解像度の画像データ,上記第1の部分画像の高解像度の画像データおよび上記第2の部分画像の高解像度の画像データをそれぞれ生成する。第1の送信手段は、上記第1の低解像度の画像データ,上記第2の低解像度の画像データ,上記第1の高解像度の画像データおよび上記第2の高解像度の画像データの順番で,上記生成手段によって生成されたそれぞれの画像データを受信装置に送信する。第2の送信手段は、上記第1の部分画像の上記送信対象画像における位置を示すデータを,上記第1の送信手段から送信されるデータに関連づけて上記受信装置に送信する。
また、特開2003-158624号公報に画像データ送信方法及び装置が開示されている。この画像データ送信方法は、一つの画像内容について複数の解像度の画像データを記録する記録形式によって画像を記録しておき;前記記録形式によって記録された複数の画像の中から送信対象とする少なくとも一つの画像を選択するとともに;当該選択に係る画像の送信に使う通信時間を指定し;画像送信時に前記選択に係る画像について前記複数の解像度のうち低い解像度の画像データから送信を開始し、前記指定された通信時間内で順次高い解像度のデータの送信を行い前記指定された通信時間に達すると、画像データの送信を中止する。
また、特開2002-33987号公報に記録装置および記録方法が開示されている。この記録装置は、データ取得手段と、シーン分割手段と、シーン情報取得手段と、演算手段と、記録手段と、データ蓄積手段とを備える。データ取得手段は、番組やコンテンツを取得する。シーン分割手段は、前記番組やコンテンツをシーン毎に分割する。シーン情報取得手段は、前記番組やコンテンツのシーン情報を取得する。演算手段は、前記分割したシーンの重要度を計算する。記録手段は、前記重要度に応じてシーン毎に記録品質が制御可能である。データ蓄積手段は、記録データを蓄積する。
また、特開2004-38575号公報にデータ送受信システム及びデータ送受信方法、情報提供装置及び情報提供方法、並びにデータ受信装置及びデータ受信方法が開示されている。このデータ送受信システムは、コンテンツデータを送信する情報提供装置とデータ受信装置とがネットワークを介して接続され該コンテンツデータをパケット化して送受信する。このデータ送受信システムにおいて、上記データ受信装置は、欠落パケットを検出する欠落パケット検出手段と、上記欠落パケットの再送信を要求する欠落パケット再送要求手段とを備える。上記データ受信装置は、上記コンテンツデータをコネクションレス型通信で受信する。そして、上記欠落パケット検出手段において欠落パケットが検出された場合、上記欠落パケット再送要求手段は、上記情報提供装置に対して該欠落パケットをコネクション型通信により再度送信するよう要求することを特徴とする。
ストリーミング型取得方法や蓄積型取得方法には上記のような利点があるが、一方で以下のような問題点がある。ストリーミング型取得方法を用いた映像取得方法では、通信手段の通信帯域によっては高精細な映像を視聴することはできないという問題点がある。その理由は、実時間の再生を行うために必要な映像データの量に対して通信手段を経由して得られる映像データの量が通信手段の通信帯域の制限により追い付かないためである。一方、蓄積型取得方法を用いた映像取得方法では、視聴が可能になるまでに時間がかかるという問題点がある。その理由は、通信手段の通信帯域の制限により再生を行うために必要となる映像データが揃うまでに時間がかかるためである。
本発明の目的は、視聴者による映像の要求に対して当該映像が即時視聴可能であり、当該映像のシーンに対応して解像度を適切に高めることが可能な映像取得方法、映像取得システムおよび映像取得用プログラムを提供することにある。
本発明の映像取得方法は、複数のシーンに分割され、その複数のシーンの各々ごとに低解像度の基本データとその基本データに対応して解像度を段階的に高める1つ以上の拡張データとを含む映像データから、基本データ及び拡張データとしてのシーン映像データを逐次取得する。この映像取得方法は、既に取得したシーン映像データの集合と複数のシーンの各々ごとのシーン重要度と複数のシーンのうちの現在のシーンとしての現在シーンとに基づいて、新たに取得するシーン映像データを取得の度に決定するステップと;その決定に基づいて、決定ごとにシーン映像データを取得するステップとを具備する。
本発明の映像取得装置は、複数のシーンに分割され、複数のシーンの各々ごとに低解像度の基本データと基本データに対応して解像度を段階的に高める1つ以上の拡張データとを含む映像データから、基本データ及び拡張データとしてのシーン映像データを逐次取得する。この映像取得装置は、映像データ取得部と、映像データ記憶部とを具備する。映像データ取得部は、既に取得したシーン映像データの集合と複数のシーンの各々ごとのシーン重要度と複数のシーンのうちの現在のシーンとしての現在シーンとに基づいて、新たに取得するシーン映像データを取得の度に決定し、決定ごとにシーン映像データを取得する。映像データ記憶部は、取得したシーン映像データを記憶する。
本発明の映像取得システムは、複数のシーンに分割され、複数のシーンの各々ごとに低解像度の基本データと基本データに対応して解像度を段階的に高める1つ以上の拡張データとを含む映像データから、基本データ及び拡張データとしてのシーン映像データを逐次送受信する映像取得システムである。この映像取得システムは、映像取得装置と、映像配信装置とを具備する。映像取得装置は、新たに取得するシーン映像データの要求を行い、上記段落に記載されている。映像配信装置は、複数の映像データを有し、映像取得装置からの要求に基づいて、複数の映像データからシーン映像データを抽出して映像取得装置へ送信する。
本発明のプログラムは、複数のシーンに分割され、複数のシーンの各々ごとに低解像度の基本データと基本データに対応して解像度を段階的に高める1つ以上の拡張データとを含む映像データから、基本データ及び拡張データとしてのシーン映像データを逐次取得する映像取得方法をコンピュータに実行させる。このプログラムは、既に取得したシーン映像データの集合と複数のシーンの各々ごとのシーン重要度と複数のシーンのうちの現在のシーンとしての現在シーンとに基づいて、新たに取得するシーン映像データを取得の度に決定するステップと、決定に基づいて、決定ごとにシーン映像データを取得するステップとを具備する映像取得方法をコンピュータに実行させる。
以下、本発明の映像取得方法、映像取得装置、映像取得システムおよび映像取得用プログラムの実施の形態に関して、添付図面を参照して説明する。
(第1の実施の形態)
まず、本発明の第1の実施の形態に係る映像取得システムの構成について図1を参照して説明する。図1は、本発明の第1の実施の形態に係る映像取得システムの構成を示すブロック図である。この映像取得システムは、映像配信装置1と映像取得再生装置3とを具備する。映像配信装置1と映像取得再生装置3とは、インターネットに例示されるネットワーク2により双方向通信可能に接続されている。
まず、本発明の第1の実施の形態に係る映像取得システムの構成について図1を参照して説明する。図1は、本発明の第1の実施の形態に係る映像取得システムの構成を示すブロック図である。この映像取得システムは、映像配信装置1と映像取得再生装置3とを具備する。映像配信装置1と映像取得再生装置3とは、インターネットに例示されるネットワーク2により双方向通信可能に接続されている。
映像配信装置1は、入出力装置、記憶装置及び中央演算処理装置を有するコンピュータに例示される情報処理装置である。映像配信装置1は、外部からの要求に応答して、複数の映像データを記憶する記憶装置(図示されず)から当該要求に対応する映像データ及びその映像データに関連する情報を配信する。記憶装置は、映像配信装置1に内蔵されていても、外部にあり通信回線を介して接続されていても良い。
ここで、映像データは、複数のシーンに分割されている。その複数のシーンの各々は、低解像度の基本データとその基本データに対応して解像度を段階的に高める1つ以上の拡張データとを含んでいる。すなわち、映像データは、映像の複数のシーンに分割されている。そして、シーンごとに、最低解像度の映像を符号化した基本データと、段階的に解像度を高めることのできる1つ以上の解像度ごとの拡張データとを有している。図2で具体的に説明する。
図2は、本発明の第1の実施の形態に係る映像データを示す概略図である。図2を参照すると、オリジナルの映像を示す映像データA1は3つのシーンA11、A12、A13に分割されている。そして、例えば、シーンA11の映像データは、基本データA111、中解像度用の拡張データA112、及び高解像度用の拡張データA113を有している。同様に、シーンA12の映像データは、基本データA121、中解像度用の拡張データA122、及び高解像度用の拡張データA123を有している。シーンA13の映像データは、基本データA131、中解像度用の拡張データA132、及び高解像度用の拡張データA133を有している。いか、基本データ及び拡張データは、両者を区別しない場合には「シーン映像データ」とも参照される。なお、図2におけるシーンの分割数(3個)や解像度別のデータの数(3個)は例示であり、本発明において特に制約はない。具体的には、例えば、このような性質を持つ映像の符号化方法としてスケーラブル・ビデオ・コーディング(SVC)方式を用いることができる。
ただし、映像データにおけるシーンとは、映像の最小単位であるフレームの時間軸上で連続した集合である。各フレームは、必ず1つのシーンだけに含まれている。フレーム=シーンであっても良い。どの範囲のフレームを1つのシーンとするかは、映像製作者が決定できる。また、映像や音声などの特徴に基づき自動的にシーンを決定してもよい。各フレームの大きさは一定である必要は無い。
また、映像データに関する情報は、上記の基本データA111、A121、A131、拡張データA112/A113、A122/A123、A132/A133の各々ごとに設定された、それらの重要度を示すシーン重要度を含んでいる。ただし、シーン重要度は、整数でも実数でもよいが、他のシーンに対して相対的に重要か否かがわかればよいので、1~総シーン数までの整数を用いて十分表現することができる。また、同一のシーン重要度を持つシーンが存在してもよい。シーン重要度はそれぞれのシーンごとに映像製作者が設定することはもちろん、映像や音声などの特長に基づき重要度を自動的に抽出して設定してもよい。
上記の映像データを格納する記憶装置(図示されず)は、映像データに関して、シーン映像データと、シーン映像データを指定するシーン映像指定情報と、各シーンを構成するシーン映像データを特定するシーン構成情報と、シーン映像データのシーン重要度を示すシーン重要度情報と、シーン映像データの解像度(基本データか拡張データかを含む)を特定する解像度情報とを格納している。図3A~図3Eに具体例を示す。
図3A~図3Eは、本実施の形態に係る情報の一例を示す表である。
図3Aに示されるように、シーン映像指定情報は、<http://…//dA111>のようなURL(Uniform Resource Locator)に例示され、シーン映像データを特定するシーン映像データID(例示:A111、A112)と関連付けて格納されている。シーン映像指定情報は、シーン映像データIDのシーン映像データ(映像そのもの)を格納する場所を指定している。また、図3Bに示されるように、シーン構成情報は、シーン映像データIDの組み合わせに例示され、シーンを特定するシーンID(例示:A11、A12)と関連付けて格納されている。シーンIDは、シーンのシーケンスどおりに並んでいる。また、図3Cに示されるように、シーン重要度情報は、シーン重要度に例示され、シーンIDと関連付けて格納されている。更に、図3Dに示されるように、解像度情報は、基本データや拡張データのようなデータ種別に例示され、シーン映像データIDと関連付けて格納されている。これら、図3A~図3Dに示される情報は、互いに関連付けられ、映像データを特定する映像データID(例示:A1)ごとに設けられている。なお、シーン重要度情報は無くても良い。その場合、後の説明に出てくる重要度は全て同じとして取り扱われる。(図3Eについては後述される。)
図3Aに示されるように、シーン映像指定情報は、<http://…//dA111>のようなURL(Uniform Resource Locator)に例示され、シーン映像データを特定するシーン映像データID(例示:A111、A112)と関連付けて格納されている。シーン映像指定情報は、シーン映像データIDのシーン映像データ(映像そのもの)を格納する場所を指定している。また、図3Bに示されるように、シーン構成情報は、シーン映像データIDの組み合わせに例示され、シーンを特定するシーンID(例示:A11、A12)と関連付けて格納されている。シーンIDは、シーンのシーケンスどおりに並んでいる。また、図3Cに示されるように、シーン重要度情報は、シーン重要度に例示され、シーンIDと関連付けて格納されている。更に、図3Dに示されるように、解像度情報は、基本データや拡張データのようなデータ種別に例示され、シーン映像データIDと関連付けて格納されている。これら、図3A~図3Dに示される情報は、互いに関連付けられ、映像データを特定する映像データID(例示:A1)ごとに設けられている。なお、シーン重要度情報は無くても良い。その場合、後の説明に出てくる重要度は全て同じとして取り扱われる。(図3Eについては後述される。)
図1に示されるように、映像配信装置1は、映像データ送信部11とシーン重要度送信部12とを備えている。映像データ送信部11及びシーン重要度送信部12は、映像配信装置1上で動作するコンピュータプログラム(ソフトウェア)である。ただし、映像データ送信部11及びシーン重要度送信部12は、ソフトウェアとハードウェアとの組み合わせや、ハードウェアのみによって実現しても良い。
シーン重要度送信部12は、映像取得再生装置3からの第1映像要求情報に応答して、その第1映像要求情報で特定される映像データに関する情報として、シーン映像指定情報(図3A、シーン構成情報(図3B)、シーン重要度情報(図3C)及び解像度情報(図3D)を記憶装置(図示されず)から読み出して、映像取得再生装置3へ第1送信情報として送信する。ただし、第1映像要求情報は、映像データを特定する映像データIDと、シーン映像指定情報、シーン構成情報、シーン重要度情報及び解像度情報を要求する要求情報とを含んでいる。すなわち、シーン重要度送信部12は、映像取得再生装置3からの第1映像要求情報に応答して、第1映像要求情報の映像データIDで特定される映像データの全シーンについて、シーン映像指定情報、シーン構成情報、シーン重要度情報及び解像度情報を要求する要求情報を一括して送信することができる。
映像データ送信部11は、映像取得再生装置3からの第2映像要求情報に応答して、その第2映像要求情報で特定されるシーン映像データを記憶装置(図示されず)から読み出して、映像取得再生装置3へ第2送信情報として送信する。ただし、第2映像要求情報は、シーン映像指定情報を含んでいる。すなわち、映像データ送信部11は、映像取得再生装置3からの第2映像要求情報に応答して、第2映像要求情報のシーン映像指定情報で特定される基本データA111、A121、A131、及び拡張データA112~A113、A122~A123、A132~A133をどのような順番でも送信することができる。
映像取得再生装置3は、入出力装置、記憶装置及び中央演算処理装置を有するコンピュータに例示される情報処理装置である。映像取得再生装置3は、映像配信装置1へ第1映像要求情報及び第2映像要求情報を送信する。そして、映像配信装置1からシーン重要度とシーン映像データとを取得し、そのシーン映像データを組み立てて映像データとして再生する。映像取得再生装置3は、映像データ取得部32と、映像データ保持部33と、映像データ再生部34とを備えている。映像データ取得部32及び映像データ再生部34は、映像取得再生装置3上で動作するコンピュータプログラム(ソフトウェア)である。ただし、映像データ取得部32及び映像データ再生部34は、ソフトウェアとハードウェアとの組み合わせや、ハードウェアのみによって実現しても良い。映像データ保持部33は、ハードディスクドライブのような記憶装置に例示される。
映像データ取得部32は、ユーザの入力に基づいて、取得する映像データを設定する。次に、その映像データに基づいて、第1映像要求情報を生成して映像配信装置1へ出力する。そして、その映像データのシーンごとのシーン重要度を含む第1送信情報をシーン重要度送信部12より取得する。
更に、映像データ取得部32は、その第1送信情報と映像データ保持部33において既に取得されたシーン映像データとを比較して、未取得のシーン映像データリスト(例示:図3E)を生成する。そして、そのリストを参照して、映像データ保持部33において既に取得されたシーン映像データの集合と、シーン重要度送信部12より取得した(第1送信情報に含まれる)シーンごとのシーン重要度と、映像データ再生部34により再生中又はこれから再生される現在のシーンとに基づいて、次に取得すべきシーン映像データを取得の度ごとに逐次決定する。次に、その決定に基づいて、第2映像要求情報を生成して映像配信装置1へ出力する。そして、決定されたシーン映像データを第2送信情報として映像データ送信部11から取得する。
更に、映像データ取得部32は、その第1送信情報と映像データ保持部33において既に取得されたシーン映像データとを比較して、未取得のシーン映像データリスト(例示:図3E)を生成する。そして、そのリストを参照して、映像データ保持部33において既に取得されたシーン映像データの集合と、シーン重要度送信部12より取得した(第1送信情報に含まれる)シーンごとのシーン重要度と、映像データ再生部34により再生中又はこれから再生される現在のシーンとに基づいて、次に取得すべきシーン映像データを取得の度ごとに逐次決定する。次に、その決定に基づいて、第2映像要求情報を生成して映像配信装置1へ出力する。そして、決定されたシーン映像データを第2送信情報として映像データ送信部11から取得する。
映像データ保持部33は、映像データ取得部32によって取得されたシーン映像データを保持する。シーン映像データは、映像データID、シーンID、シーン映像データID、シーン重要度情報及び解像度情報と関連付けられて格納されている。又は、図3A~図3Dで示されると関連付けられて格納されていても良い。情報映像データ再生部34は、映像データ保持部33に取得済みの映像データを組み立てて得られる映像を再生する。
映像データ再生部34は、映像データ保持部33にすべてのシーン映像データが揃っていない段階でも映像を再生することができる。基本データがないシーンについては再生ができないのでそのシーンについてはスキップされる。このとき、映像がスキップされたことを示す通知、音声、画像、映像などによりスキップされたことを視聴者に示してもよい。基本データだけしか取得できていないシーンは最低の解像度で映像の再生が行われる。拡張データの存在するシーンではより高解像度の映像が再生される。
次に、本発明の第1の実施の形態に係る映像取得方法(映像取得システムの動作方法)について図1、図2、図3A~図3E、図4を参照して説明する。図4は、本発明の第1の実施の形態に係る映像取得方法を示すフロー図である。映像取得再生装置3が映像配信装置1から映像データA1を取得する場合について考える。ここでは一例として、シーンA11のシーン重要度は1、シーンA12のシーン重要度は3、シーンA13のシーン重要度は2とする。また、映像取得再生装置3において現在のシーンをA11とする。
まず、映像データ取得部32は、ユーザ等からの入力に基づいて、取得する映像データとして映像データA1を設定する。次に、映像データ取得部32は、その映像データA1に基づいて、第1映像要求情報(映像データID、要求情報を含む)を生成して映像配信装置1へ出力する。シーン重要度送信部12は、映像データ取得部32からの第1映像要求情報に応答して、その第1映像要求情報で特定される映像データA1のすべてのシーンについて、シーン映像指定情報(図3A)、シーン構成情報(図3B)、シーン重要度情報(図3C)及び解像度情報(図3D)を記憶装置(図示されず)から読み出す。そして、すべてのシーンについて、それら読み出した情報を含む第1送信情報を生成して映像取得再生装置3へ送信する。映像データ取得部32は、その第1送信情報をシーン重要度送信部12より取得し、記憶部(図示されず)に記憶する(ステップS01)。
映像データ取得部32は、取得した第1送信情報から、映像データA1に含まれるすべてのシーン(シーンID及びシーン映像データID)を把握する。そして、映像データ保持部33の保持するシーン映像データを検索して、映像データA1に含まれるすべてのシーンのうち未取得のシーン映像データのリストを作成する(ステップS02)。このリストは、未取得のシーンのシーン映像データIDを含んでいる。そのリストは、図3Eのような未取得のシーン映像データIDを列挙したリストに例示される。
映像データ取得部32は、このリストに現在のシーン(この例の場合、シーンA11)以降のシーン映像データが含まれているかを判断する(ステップS03)。含まれている場合(ステップS03:YES)、その現在のシーンより前のシーン映像データをリストから削除する(ステップS04)。含まれていない場合(ステップS03:NO)、ステップS05の処理に進む。
映像データ取得部32は、このリストのデータが空か否かを判定する(ステップS05)。このリストのデータが空の場合(ステップS05:YES)、取得すべきシーン映像データが無いと判断して処理を終了する。このリストのデータが空でない場合(ステップS05:NO)、取得すべきシーン映像データがあると判断して次の処理(ステップS06以降)へ進む。
映像データ取得部32は、こうして生成されたリストの中からシーン重要度が最も高いシーン映像データのうち解像度の最も低いシーン映像データを次に取得するシーン映像データと決定する(ステップS06)。初期段階ではすべてのシーン映像データが未取得であるので、シーン重要度が最も高いシーン映像データのうち解像度の最も低いシーン映像データとしてシーン映像データA121を次に取得するシーン映像データとして決定する。
映像データ取得部32は、その決定に基づいて、記憶部のシーン映像指定情報(図3A)を参照して第2映像要求情報(シーン映像指定情報を含む)を生成して映像データ送信部11へ送信する。映像データ送信部11は、映像データ取得部32からの第2映像要求情報に応答して、その第2映像要求情報で特定されるシーン映像データを記憶装置(図示されず)から読み出す。そして、そのシーン映像データを含む第2送信情報を生成して映像データ取得部32へ送信する。映像データ取得部32は、その第2送信情報を映像データ送信部11より取得する。そして、そのシーン映像データを、映像データID、シーンID、シーン映像データID、シーン重要度情報及び解像度情報と関連付けて、映像データ保持部33に記憶する(ステップS07)。すなわち、映像データA121を映像データ送信部11より取得し、映像データ保持部33へ保存する。
以下同様にしてリストのデータが空(ステップS05がYES)になるまでステップS02~S07を繰り返す。すなわち、まず、映像データ取得部32は、映像データ保持部33の保持するシーン映像データを検索して、映像データA1に含まれるすべてのシーンのうち未取得のシーン映像データのリストを生成する又は更新する(ステップS02)。次に、映像データ取得部32は、このリストに現在のシーン以降の映像データが存在する場合(ステップS03:YES)、その現在のシーンより前のシーン映像データをリストから削除する(ステップS04)。続いて、映像データ取得部32は、このリストのデータが空の場合(ステップS05:YES)には処理を終了し、空でない場合(ステップS05:NO)には次の処理(ステップS06以降)へ進む。
映像データ取得部32は、こうして生成されたリストの中からシーン重要度が最も高い映像データのうち解像度の最も低い映像データを次に取得する映像データと決定する(ステップS06)。この段階では、シーン重要度が最も高い映像データのうち解像度の最も低い映像データとして映像データA122を次に取得する映像データとして決定する。
映像データ取得部32は、その決定に基づいて、第2映像要求情報を映像データ送信部11へ送信する。映像データ送信部11は、第2映像要求情報に応答して、要求されたシーン映像データを第2送信情報として映像データ取得部32へ送信する。映像データ取得部32は、その第2送信情報のシーン映像データを、他の情報と関連付けて映像データ保持部33に記憶する(ステップS07)。すなわち、映像データA122を映像データ送信部11より取得し、映像データ保持部33へ保存する。
こうして、同様にステップS02~S07を繰り返すことで、それ以降、シーン映像データとして、シーン映像データA123、A131、A132、A133、A111、A112、A113が、この順に取得、保存される。
全てのシーン映像データが取得し終わると、リストのデータが空(ステップS05:YES)となるので、映像データ取得部32は処理を終了する。それにより、シーン映像データの取得動作が終了する。
ただし、次に取得するシーン映像データ決定するステップ(ステップS06)は、現在のシーン以降のシーン映像データのうち、現在のシーンから定められた数の個数分だけ連続する基本データを優先して取得するように決定しても良い。その場合、ステップS07において、例えば、定められた数が“2”で、現在のシーンがA11とすると、A11及びA12の2個分の基本データA111、A121を取得する。この場合、シーンのスキップの発生を抑制することが出来る。早送り再生もやり易くなる。そのような定められた数としては、定められた数の個数分の基本データを再生中に、連続再生に十分な数のシーン映像データを得られる数に例示される。
あるいは、次に取得するシーン映像データ決定するステップ(ステップS06)は、現在のシーン以降のシーン映像データのうち、現在のシーンに時間的に近いシーン映像データ(現在のシーンから定められた時間内に取得できる連続したシーン映像データ)を優先して取得するように決定しても良い。その場合、ステップS07において、例えば、定められた時間が“t0”で、現在のシーンがA11とすると、基本データA111、拡張データA112と取得し、時間t0となったら取得を終了する。あるいは、例えば、基本データA111、拡張データA112、拡張データA113、基本データA12と取得し、時間t0となったら取得を終了する。この場合、各シーンの解像度をできるだけ高くすることが出来る。そのような時間としては、その時間分のシーン映像データを再生中に、高い解像度のシーン映像データを取得可能な時間に例示される。
次に、取得されたシーン映像データの再生動作について説明する。
シーン映像データの再生動作は、映像データの取得動作が終了する前の任意の段階においても動作することが可能である。ここでは一例として、シーン映像データA121、A122、A123、A131の4つのシーン映像データの取得が完了した時に、再生が開始されたものとする。
シーン映像データの再生動作は、映像データの取得動作が終了する前の任意の段階においても動作することが可能である。ここでは一例として、シーン映像データA121、A122、A123、A131の4つのシーン映像データの取得が完了した時に、再生が開始されたものとする。
映像データ再生部34は、ユーザ等の入力により映像データA1の再生を指示されると、映像データ保持部33内の複数の映像データの中から映像データA1を読み出して再生を開始する。このとき、基本データが取得されていないシーンについてはスキップを行う。この段階ではシーンA11に関する基本データA111は未取得であるため、シーンA11はスキップされる。そして、次のシーンの再生に移る。
シーンA12はすべての解像度のシーン映像データである基本データA121、拡張データA122、A123が揃っている。そのため、これらのシーン映像データをすべて使用して復号化を行い、高解像度の映像を再生する。そして、次のシーンの再生に移る。ここで、シーンA12の再生中に、並行して行われる上記映像取得方法の実行により、拡張データA132が取得完了したものとする。シーンA13は、中解像度までのシーン映像データである基本データA131、拡張データA132が揃っている。そのため、これらのシーン映像データをすべて使用して復号化を行い、中解像度の映像を再生する。そして、次のシーンの再生に移る。
ここで、シーンA13の再生中に、並行して行われる上記映像取得方法の実行により、拡張データA133、基本データA111が取得完了したものとする。リピート再生するように設定されていない場合、この時点でシーン映像データの再生動作を終了する。リピート再生するように設定されている場合、シーンA11から再生を再開する。シーンA11はシーン映像データである基本データA111を取得済みである。そのため、このシーン映像データである基本A111を復号化して、低解像度の映像を再生する。そして、次のシーンの再生に移る。以降、同様の動作により再生が行われる。
本発明では、映像のシーンごとに分割された低解像度の基本データと基本データに対応して解像度を段階的に高める1つ以上の拡張データとを含むシーン映像データの集合の中から、どの映像データを次に取得するかを逐次シーンごとのシーン重要度と現在再生中のシーンに基づき決定し、取得しながら、これまでに取得済みの映像データを復号化して映像の部分的ないし低解像度の映像を再生することが出来る。このような本発明により、重要度の高いシーンほどより早くより高精細の映像データを取得したり、現在のシーン以降のシーンの映像データの取得を優先的に行ったりすることがきる。それにより、視聴者が所望の映像を要求すれば即時視聴することができ、高精細な映像が必要とされるシーンにおいては高精細な映像の視聴が可能となり、十分な時間を経た後では全シーンにわたり高精細な映像を視聴することが可能となる。
(第2の実施の形態)
本発明の第2の実施の形態に係る映像取得システムの構成について説明する。本実施の形態の映像取得システムの構成は、映像データ取得部32における取得するシーン映像データの決定方法を除いて図1に示される第1の実施の形態の映像取得システムと同様であるのでその説明を省略する。なお、映像データ取得部32における取得するシーン映像データの決定方法は、後述の本実施の形態における映像取得方法において説明される。
本発明の第2の実施の形態に係る映像取得システムの構成について説明する。本実施の形態の映像取得システムの構成は、映像データ取得部32における取得するシーン映像データの決定方法を除いて図1に示される第1の実施の形態の映像取得システムと同様であるのでその説明を省略する。なお、映像データ取得部32における取得するシーン映像データの決定方法は、後述の本実施の形態における映像取得方法において説明される。
次に、本発明の第2の実施の形態に係る映像取得方法(映像取得システムの動作方法)について図1、図2、図3A~図3E、図5を参照して説明する。図5は、本発明の第2の実施の形態に係る映像取得方法を示すフロー図である。映像取得再生装置3が映像配信装置1から映像データA1を取得する場合について考える。ここでは一例として、シーンA11のシーン重要度は1、シーンA12のシーン重要度は3、シーンA13のシーン重要度は2とする。また、映像取得再生装置3において現在のシーンをA11とする。
本実施の形態に係る映像取得方法において、ステップS11~S15は、第1の実施の形態のステップS01~S05と同じである。すなわち、まず、映像データ取得部32は、映像データA1のすべてのシーンについて、シーン映像指定情報(図3A)、シーン構成情報(図3B)、シーン重要度情報(図3C)及び解像度情報(図3D)をシーン重要度送信部12より取得し、記憶部(図示されず)に記憶する(ステップS11)。次に、映像データ取得部32は、映像データ保持部33の保持するシーン映像データを検索して、映像データA1に含まれるすべてのシーンのうち未取得のシーン映像データのリスト(図3E)を生成する又は更新する(ステップS12)。続いて、映像データ取得部32は、このリストに現在のシーン以降の映像データが存在する場合(ステップS13:YES)、その現在のシーンより前のシーン映像データをリストから削除する(ステップS14)。その後、映像データ取得部32は、このリストのデータが空の場合(ステップS15:YES)には処理を終了し、空でない場合(ステップS15:NO)には次の処理(ステップS16以降)へ進む。ステップS11~S15の詳細は省略する。
映像データ取得部32は、こうして生成されたリストの中から解像度の最も低いシーン映像データのうち最もシーン重要度が高いシーン映像データを次に取得するシーン映像データと決定する(ステップS16)。初期段階ではすべてのシーン映像データが未取得であるので、解像度の最も低いシーン映像データのうち最もシーン重要度が高いシーン映像データとして基本データA121を次に取得するシーン映像データとして決定する。
ステップS17は、第1の実施の形態のステップS07と同じである。すなわち、映像データ取得部32は、その決定に基づいて、シーン映像指定情報(図3A)を参照して、第2映像要求情報を映像データ送信部11へ送信する。映像データ送信部11は、第2映像要求情報に応答して、要求されたシーン映像データを第2送信情報として映像データ取得部32へ送信する。映像データ取得部32は、その第2送信情報のシーン映像データを、他の情報と関連付けて映像データ保持部33に記憶する(ステップS17)。すなわち、映像データA121を映像データ送信部11より取得し、映像データ保持部33へ保存する。ステップS17の詳細は省略する。
以下同様にしてリストのデータが空(ステップS15がYES)になるまでステップS12~S17を繰り返す。すなわち、まず、映像データ取得部32は、映像データ保持部33の保持するシーン映像データを検索して、映像データA1に含まれるすべてのシーンのうち未取得のシーン映像データのリストを生成する又は更新する(ステップS12)。次に、映像データ取得部32は、このリストに現在のシーン以降の映像データが存在する場合(ステップS13:YES)、その現在のシーンより前のシーン映像データをリストから削除する(ステップS14)。続いて、映像データ取得部32は、このリストのデータが空の場合(ステップS15:YES)には処理を終了し、空でない場合(ステップS15:NO)には次の処理(ステップS16以降)へ進む。
映像データ取得部32は、こうして生成されたリストの中から解像度の最も低いシーン映像データのうち最もシーン重要度が高いシーン映像データを次に取得するシーン映像データと決定する(ステップS16)。この段階では、解像度の最も低いシーン映像データのうち最もシーン重要度が高いシーン映像データとして映像データA131を次に取得するシーン映像データとして決定する。
映像データ取得部32は、その決定に基づいて、要求されたシーン映像データを映像データ送信部11から取得し、他の情報と関連付けて映像データ保持部33に記憶する(ステップS17)。すなわち、映像データA131を映像データ送信部11より取得し、映像データ保持部33へ保存する。
こうして、同様にステップS12~S17を繰り返すことで、それ以降、シーン映像データとして、シーン映像データA111、A122、A132、A112、A123、A133、A113が、この順に取得、保存される。
全てのシーン映像データが取得し終わると、リストのデータが空(ステップS15:YES)となるので、映像データ取得部32は処理を終了する。それにより、シーン映像データの取得動作が終了する。
次に、取得されたシーン映像データの再生動作について説明する。
シーン映像データの再生動作は、第1の実施の形態と同様であるので、その説明を省略する。
シーン映像データの再生動作は、第1の実施の形態と同様であるので、その説明を省略する。
本実施の形態においても、第1の実施の形態と同様の効果を得ることが出来る。
(第3の実施の形態)
本発明の第3の実施の形態に係る映像取得システムの構成について説明する。本実施の形態の映像取得システムの構成は、映像データ取得部32におけるリスト作成方法及び取得するシーン映像データ決定方法を除いて図1に示される第1の実施の形態の映像取得システムと同様であるのでその説明を省略する。なお、映像データ取得部32におけるリストの作成方法及び取得するシーン映像データの決定方法は、後述の本実施の形態における映像取得方法において説明される。
本発明の第3の実施の形態に係る映像取得システムの構成について説明する。本実施の形態の映像取得システムの構成は、映像データ取得部32におけるリスト作成方法及び取得するシーン映像データ決定方法を除いて図1に示される第1の実施の形態の映像取得システムと同様であるのでその説明を省略する。なお、映像データ取得部32におけるリストの作成方法及び取得するシーン映像データの決定方法は、後述の本実施の形態における映像取得方法において説明される。
映像データ取得部32は、第n回目のリスト作成工程において、シーン重要度を高い順に並べたときの第n番目のシーン重要度以上のシーン重要度もつ各シーンについて、基本データ又はその解像度を一段階上げることのできる拡張データ(ただし基本データが順序リストに存在する場合)をそれぞれのシーンで1つずつ時間順にリストに追加して、リストを作成する。そして、その作成されたリスト(すべての取得すべきシーン映像データがリストアップされたリスト)におけるシーン映像データの順序を、シーン映像データの取得順序として決定する。その他の構成及び動作は、第1の実施の形態と同様であるのでその説明を省略する。
次に、本発明の第3の実施の形態に係る映像取得方法(映像取得システムの動作方法)について図1、図2、図3A~図3E、図6を参照して説明する。図6は、本発明の第3の実施の形態に係る映像取得方法のリストの作成方法を示すフロー図である。映像取得再生装置3が映像配信装置1から映像データA1を取得する場合について考える。ここでは一例として、シーンA11のシーン重要度は1、シーンA12のシーン重要度は3、シーンA13のシーン重要度は2とする。また、映像取得再生装置3において現在のシーンをA11とする。
まず、映像データ取得部32は、ユーザ等からの入力に基づいて、取得する映像データとして映像データA1を設定する。次に、映像データ取得部32は、その映像データA1に基づいて、第1映像要求情報(映像データID、要求情報を含む)を生成して映像配信装置1へ出力する。シーン重要度送信部12は、映像データ取得部32からの第1映像要求情報に応答して、その第1映像要求情報で特定される映像データA1のすべてのシーンについて、シーン映像指定情報(図3A)、シーン構成情報(図3B)、シーン重要度情報(図3C)及び解像度情報(図3D)を記憶装置(図示されず)から読み出す。そして、すべてのシーンについて、それら読み出した情報を含む第1送信情報を生成して映像取得再生装置3へ送信する。映像データ取得部32は、その第1送信情報をシーン重要度送信部12より取得し、記憶部(図示されず)に記憶する(ステップS20)。
映像データ取得部32は、初期値としてリスト作成工程(ステップS23~S25)の実行回数NにN=1を設定する。また、作成するリストのデータ(取得するシーン映像データ)を“0(zero)”、すなわち“空”を設定する(ステップS21)。そして、映像データ取得部32は、記憶部のシーン構成情報(図3Bと現段階でのリストとを比較して、映像データA1として必要なシーン映像データを全てリストアップしたか否かを判定する(ステップS22)。映像データA1として必要なシーン映像データを全てリストアップした場合(ステップS22:YES)、リスト作成工程(ステップS23~S25)を終了し、次のステップS26の処理を実行する。映像データA1として必要なシーン映像データのリストアップがまだ終了していない場合(ステップS22:NO)、次のリスト作成工程(ステップS23~S25)へ進む。
次に、映像データ取得部32は、第N回目のリスト作成工程(ステップS23~S25)において、記憶部のシーン重要度情報(図3C)及び解像度情報(図3D)を参照して、シーン重要度を高い順に並べたときの第N番目のシーン重要度以上のシーン重要度もつ各シーンを抽出する(ステップS23)。そして、抽出された各シーンについて、基本データ又はその解像度を一段階上げる拡張データ(ただし、基本データがリストに存在する場合)をそれぞれのシーンで1つずつ時間順にリストに追加する(ステップS24)。ただし、リスト作成工程において、リストに追加されるのは、シーン映像データID(例示:A111、A112)である。リストは、図3Eのような態様に例示される。その後、N=N+1として(ステップS25)、リスト作成工程(ステップS23~S25)を、すべてのシーン映像データをリストにリストアップし終わる(ステップS22:YES)まで繰り返す。映像データ取得部32は、これにより作成されたリストにおけるシーン映像データの順序を、シーン映像データを取得する順序として決定する。
具体的には以下のようになる。まず、N=1、リストが空に、それぞれ設定される(ステップS21)。次に、映像データ取得部32は、取得した第1送信情報(シーン構成情報(図3B)と現段階でのリストとを比較して、映像データA1として必要なシーン映像データを全く取得していないと判断し(ステップS22:NO)、ステップS23以下を実行する。
第1回目(N=1)のリスト作成工程(ステップS23~S25)において、映像データ取得部32は、シーン重要度を高い順に並べたときの第1番目(N=1による)のシーン重要度以上のシーン重要度もつ各シーンを抽出する。ここでは、シーンA12のみが該当する(ステップS23)。次に、そのシーンA12について、基本データ又はその解像度を一段階上げる拡張データ(ただし、基本データがリストに存在する場合)を、それぞれのシーンで1つずつ時間順に順序リストに追加する。ここでは、基本データA121のみが該当するので、リストには基本データA121がリストアップされる(ステップS24)。N=1+1=2とする(ステップS25)。
第2回目(N=2)のリスト作成工程において、映像データ取得部32は、シーン重要度を高い順に並べたときの第2番目(N=2による)のシーン重要度以上のシーン重要度もつ各シーンを抽出する。ここでは、シーンA12、A13が該当する(ステップS23)。次に、そのシーンA12とシーンA13について、基本データ又はその解像度を一段階上げる拡張データ(ただし、基本データがリストに存在する場合)を、それぞれのシーンで1つずつ時間順に順序リストに追加する。ここでは、拡張データA122、基本データA131が該当し、リストには時間順に拡張データA122、基本データA131がこの順に追加される。結果として基本データA121、拡張データA122、基本データA131の順にリストアップされる(ステップS24)。N=2+1=3とする(ステップS25)。
第3回目(N=3)のリスト作成工程において、映像データ取得部32は、シーン重要度を高い順に並べたときの第3番目(N=3による)のシーン重要度以上のシーン重要度もつ各シーンを抽出する。ここでは、シーンA11、A12、A13が該当する(ステップS23)。次に、そのシーンA11、A12、A13について、基本データ又はその解像度を一段階上げる拡張データ(ただし、基本データがリストに存在する場合)を、それぞれのシーンで1つずつ時間順に順序リストに追加する。ここでは、基本データA111、拡張データA123、拡張データA132が該当し、リストには時間順に基本データA111、拡張データA123、拡張データA132がこの順に追加される。結果として基本データA121、拡張データA122、基本データA131、基本データA111、拡張データA123、拡張データA132の順にリストアップされる(ステップS24)。N=3+1=4とする(ステップS25)。
第4回目(N=4)のリスト作成工程において、映像データ取得部32は、シーン重要度を高い順に並べたときの第4番目(N=4による)のシーン重要度以上のシーン重要度もつ各シーンを抽出する。ここでは、シーンA11、A12、A13が該当する(ステップS23)。次に、そのシーンA11、A12、A13について、基本データ又はその解像度を一段階上げる拡張データ(ただし、基本データがリストに存在する場合)を、それぞれのシーンで1つずつ時間順に順序リストに追加する。ここでは、拡張データA112、拡張データA133が該当し、リストには時間順に拡張データA112、拡張データA133がこの順に追加される。結果として基本データA121、拡張データA122、基本データA131、基本データA111、拡張データA123、拡張データA132、拡張データA112、拡張データA133の順にリストアップされる(ステップS24)。N=4+1=5とする(ステップS25)。
第5回目(N=5)のリスト作成工程において、映像データ取得部32は、シーン重要度を高い順に並べたときの第5番目(N=5による)のシーン重要度以上のシーン重要度もつ各シーンを抽出する。ここでは、シーンA11、A12、A13が該当する(ステップS23)。次に、そのシーンA11、A12、A13について、基本データ又はその解像度を一段階上げる拡張データ(ただし、基本データがリストに存在する場合)を、それぞれのシーンで1つずつ時間順に順序リストに追加する。ここでは、拡張データA113が該当し、リストには拡張データA113が追加される。結果として基本データA121、拡張データA122、基本データA131、基本データA111、拡張データA123、拡張データA132、拡張データA112、拡張データA133、拡張データA113がこの順にリストアップされる(ステップS24)。N=5+1=6とする(ステップS25)。
以上により、映像データA1として必要なシーン映像データのシーン映像データIDはリストにすべてリストアップされたため(ステップS22:YES)、処理はシーン映像データ取得工程(ステップS27~S28)へ移る。映像データ取得部32は、現段階でのリストを参照して、リストが空(“0(zero”)か否かを判定する(ステップS26)。このリストが空の場合(ステップS26:YES)、すべての取得すべきシーン映像データを取得したと判断する。そして、シーン映像データ取得工程(ステップS27~S28)を終了する。ここのリストが空でない場合(ステップS26:NO)、取得すべきシーン映像データがまだあると判断して次の処理(ステップS27~S28)へ進む。
映像データ取得部32はシーン映像データ決定方法として、リストの順番どおりに取得するシーン映像データを決定する。すなわち、リストの最初のシーン映像データを取得することを決定する。映像データ取得部32は、その決定に基づいて、シーン映像指定情報(図3A)を参照して、第2映像要求情報(シーン映像指定情報を含む)を生成して映像データ送信部11へ送信する。映像データ送信部11は、映像データ取得部32からの第2映像要求情報に応答して、その第2映像要求情報で特定されるシーン映像データを記憶装置(図示されず)から読み出す。そして、そのシーン映像データを第2送信情報として映像データ取得部32へ送信する。映像データ取得部32は、その第2送信情報を映像データ送信部11より取得する。そして、そのシーン映像データを、シーン映像データを、映像データID、シーンID、シーン映像データID、シーン重要度情報及び解像度情報と関連付けて、映像データ保持部33に記憶する(ステップS27)。すなわち、映像データ取得部32は、リストの先頭のシーン映像データ(基本データA121)を映像データ送信部11より取得し、関連するデータと関連付けて映像データ保持部33へ保存する。その後、映像データ取得部32は、リストから先頭のシーン映像データ(基本データA121)を削除する(ステップS28)。
同様にしてリストのデータが空(ステップS26がYES)になるまでステップS27~S28を繰り返す。すなわち、映像データ取得部32は、リストの最初のシーン映像データ(拡張データA122)を映像データ送信部11から取得して、関連するデータに関連付けて映像データ保持部33へ保存する(ステップS27)。その後、映像データ取得部32は、リストから先頭のシーン映像データ(拡張データA122)を削除する(ステップS28)。以下同様にして、映像データ取得部32は、シーン映像データとしての基本データA131、A111、拡張データA123、A132、A112、A133、A113をこの順に映像データ送信部11から取得して、映像データ保持部33へ保存する(ステップS27)。その後、映像データ取得部32は、リストから取得したシーン映像データを削除する(ステップS28)。
こうして、シーン映像データとして、シーン映像データA121、A122、A123、A132、A112、A133、A113が、この順に取得、保存される。
全てのシーン映像データが取得し終わると、リストのデータが空(ステップS26:YES)となるので、映像データ取得部32は処理を終了する。それにより、シーン映像データの取得動作が終了する。
次に、取得されたシーン映像データの再生動作について説明する。
シーン映像データの再生動作は、第1の実施の形態と同様であるので、その説明を省略する。
シーン映像データの再生動作は、第1の実施の形態と同様であるので、その説明を省略する。
本発明においても第1の実施の形態と同様の効果を得ることが出来る。
(第4の実施の形態)
まず、本発明の第4の実施の形態に係る映像取得システムの構成について図7を参照して説明する。図7は、本発明の第4の実施の形態に係る映像取得システムの構成を示すブロック図である。この映像取得システムは、映像取得再生装置3がシーン優先取得指示部35を更に有している点で、第1~第3の実施の形態と異なる。
まず、本発明の第4の実施の形態に係る映像取得システムの構成について図7を参照して説明する。図7は、本発明の第4の実施の形態に係る映像取得システムの構成を示すブロック図である。この映像取得システムは、映像取得再生装置3がシーン優先取得指示部35を更に有している点で、第1~第3の実施の形態と異なる。
シーン優先取得指示部35は、ユーザ等からの入力や設定された条件等に基づいて、映像データの複数のシーンのうち、優先的に取得する1つ以上のシーン及び取得すべきシーン映像データの解像度のレベルを設定する。そして、シーン優先取得指示部35は、優先的に取得すべきシーン及びその解像度のレベルを映像データ取得部32へ出力する。
映像データ取得部32は、シーン映像データの取得中または取得に先立って、シーン優先取得指示部35により指示された1つ以上のシーンの基本データと指示された解像度のレベルまでの拡張データを最優先で取得する。映像データ取得部32のその他の機能や、他の構成については、第1~第3の実施の形態のいずれかと同様であるのでその説明を省略する。
次に、本発明の第4の実施の形態に係る映像取得方法(映像取得システムの動作方法)について図1、図2、図3A~図3E、図4~図7を参照して説明する。本実施の形態に係る映像取得方法は、第1の実施の形態(図1、図2、図3A~図3E、図4)、第2の実施の形態(図1、図2、図3A~図3E、図5)、及び第3の実施の形態(図1、図2、図3A~図3E、図6)のそれぞれと同様である。ただし、シーン優先取得指示部35から指示された時点で、映像データ取得部32が指示された1つ以上のシーンにおける取得すべき解像度のレベルまでのシーン映像データの取得を開始し、それが取得完了した後に、各実施の形態の映像取得方法を実行する。各実施の形態の映像取得方法については、当該実施の形態と同様であるのでその説明を省略する。
本発明においても第1の実施の形態と同様の効果を得ることが出来る。
更に、本発明では、優先的に取得する1つ以上の前記シーンと解像度のレベルを指定し、指定された1つ以上のシーンの基本データと対応する解像度のレベルまでの拡張データを最優先で取得する。このような本発明により、任意のシーンの映像の質を視聴者が意図的に高めることが可能となる。
更に、本発明では、優先的に取得する1つ以上の前記シーンと解像度のレベルを指定し、指定された1つ以上のシーンの基本データと対応する解像度のレベルまでの拡張データを最優先で取得する。このような本発明により、任意のシーンの映像の質を視聴者が意図的に高めることが可能となる。
上記第1~第4の実施の形態において、シーン重要度(シーン重要度情報(図3C)は動的に変更可能である。この変更は、映像製作者が意図的に変更しても、統計情報などに基づいて映像配信装置1等が自動的に変更しても良い。
シーン重要度の変更は、映像取得再生装置3、3aへ通知しても良いし、しなくても良い。
シーン重要度の変更を通知する場合、例えば次の二つの方法が考えられる。第1の方法は、まず、映像配信装置1がシーン重要度の変更があったことを示す通知を映像取得再生装置3、3aへ出力する。それに応じて映像取得再生装置3、3aが第1映像要求情報を映像配信装置1へ出力する。そして映像配信装置1が第1送信情報(シーン重要度情報を含む)を映像取得再生装置3、3aへ出力する。第2の方法は、映像配信装置1が、第1送信情報(シーン重要度情報を含む)を直接映像取得再生装置3、3aへ出力する。
シーン重要度の変更を通知する場合、例えば次の二つの方法が考えられる。第1の方法は、まず、映像配信装置1がシーン重要度の変更があったことを示す通知を映像取得再生装置3、3aへ出力する。それに応じて映像取得再生装置3、3aが第1映像要求情報を映像配信装置1へ出力する。そして映像配信装置1が第1送信情報(シーン重要度情報を含む)を映像取得再生装置3、3aへ出力する。第2の方法は、映像配信装置1が、第1送信情報(シーン重要度情報を含む)を直接映像取得再生装置3、3aへ出力する。
一方、シーン重要度の変更を通知しない場合、例えば次の二つの方法が考えられる。第1の方法は、映像取得再生装置3、3aが必要に応じて第1映像要求情報を映像配信装置1へ出力して第1送信情報を取得する。第2の方法は、映像取得再生装置3、3aが特にシーン重要度の更新をせずに以前取得したシーン重要度を利用し続ける。
本発明はプログラムで実施することも可能である。すなわち、複数のシーンに分割され、その複数のシーンの各々ごとに低解像度の基本データとその基本データに対応して解像度を段階的に高める1つ以上の拡張データとを含む映像データから、その基本データ及びその拡張データとしてのシーン映像データを逐次取得する映像取得方法をコンピュータに実行させるプログラムであって、既に取得したそのシーン映像データの集合とその複数のシーンの各々ごとのシーン重要度とその複数のシーンのうちの現在のシーンとしての現在シーンとに基づいて、新たに取得するそのシーン映像データを取得の度に決定するステップと、その決定に基づいて、その決定ごとにそのシーン映像データを取得するステップとを具備する映像取得方法をコンピュータに実行させるプログラムである。
上記段落に記載のプログラムにおいて、その決定するステップは、そのシーン重要度の高い順に、そのシーン重要度が同一の場合にはその基本データを優先し、次いでその拡張データの解像度の低い順に、そのシーン映像データを取得するように取得順序を決定するステップを備えるプログラムであってもよい。
上記段落に記載のプログラムにおいて、その決定するステップは、その基本データを先頭とし、次いでその拡張データの解像度の低い順に、その基本データ及び同一の解像度のその拡張データについてはそのシーン重要度の高い順に、そのシーン映像データを取得するよう取得順序を決定するステップを備えるプログラムであってもよい。
上記段落に記載のプログラムにおいて、その決定するステップは、そのシーン映像データを取得する取得順序を示すリストに、そのシーン映像データをリストアップするステップと、そのリストアップするステップをすべてのそのシーン映像データがそのリストにリストアップし終わるまで繰り返すことにより得られるそのリストの順序で、そのシーン映像データを取得するように取得順序を決定するステップとを備え、第N回目(Nは自然数)のそのリストアップするステップは、そのシーン重要度を高い順に並べたときの第N番目のそのシーン重要度以上のそのシーン重要度を持つ各シーンについて、その基本データ又はその基本データがそのリストにリストアップされている場合にはその基本データの解像度を一段階上げることのできるその拡張データをそれぞれのシーンで1つずつ時間順にそのリストに追加するステップを含むプログラムであってもよい。
上記段落に記載のプログラムにおいて、その決定するステップは、その現在シーン以降のそのシーン映像データのうち、その現在シーンから定められた数の分の連続するその基本データを優先して取得するように取得順序を決定するステップを備えるプログラムであってもよい。
上記段落に記載のプログラムにおいて、その決定するステップは、その現在シーン以降のそのシーン映像データのうち、その複数のシーンのうちのその現在シーンに時間的に近いシーンのそのシーン映像データを優先して取得するように取得順序を決定するステップを備えるプログラムであってもよい。
上記段落に記載のプログラムにおいて、その決定するステップの前に、優先的に取得する1つ以上のそのシーンと解像度のレベルを指定するステップと、その指定された1つ以上のシーンのその基本データと対応するその解像度のレベルまでのその拡張データを最優先で取得するステップとを更に具備するプログラムであってもよい。
なお、本発明のプログラムやデータ構造は、コンピュータ読取可能な記憶媒体に記録され、その記憶媒体から情報処理装置に読み込まれても良い。
本発明は上記各実施の形態に限定されず、本発明の技術思想の範囲内において、各実施の形態は適宜変形又は変更され得ることは明らかである。
以上、実施の形態を参照して本発明を説明したが、本発明は上記実施の形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をすることができる。
本発明により、通信手段の帯域が十分に得られない場合でも、視聴者による映像の要求に対して当該映像が即時視聴可能であり、高精細な映像が必要とされるシーンにおいては高精細な映像の視聴が可能となる。
この出願は、2008年3月28日に出願された特許出願番号2008-088560号の日本特許出願に基づいており、その出願による優先権の利益を主張し、その出願の開示は、引用することにより、そっくりそのままここに組み込まれている。
Claims (15)
- 複数のシーンに分割され、前記複数のシーンの各々ごとに低解像度の基本データと前記基本データに対応して解像度を段階的に高める1つ以上の拡張データとを含む映像データから、前記基本データ及び前記拡張データとしてのシーン映像データを逐次取得する映像取得方法であって、
既に取得した前記シーン映像データの集合と、前記複数のシーンの各々ごとのシーン重要度と、前記複数のシーンのうちの現在のシーンである現在シーンとに基づいて、新たに取得する前記シーン映像データを取得の度に決定するステップと、
前記決定に基づいて、前記決定ごとに前記シーン映像データを取得するステップとを具備する
映像取得方法。 - 請求の範囲1に記載の映像取得方法において、
前記決定するステップは、
前記シーン重要度の高い順に、前記シーン重要度が同一の場合には前記基本データを優先し、次いで前記拡張データの解像度の低い順に、前記シーン映像データを取得するように取得順序を決定するステップを備える
映像取得方法。 - 請求の範囲1に記載の映像取得方法において、
前記決定するステップは、
前記基本データを先頭とし、次いで前記拡張データの解像度の低い順に、前記基本データ及び同一の解像度の前記拡張データについては前記シーン重要度の高い順に、前記シーン映像データを取得するよう取得順序を決定するステップを備える
映像取得方法。 - 請求の範囲1に記載の映像取得方法において、
前記決定するステップは、
前記シーン映像データを取得する取得順序を示すリストに、前記シーン映像データをリストアップするステップと、
前記リストアップするステップをすべての前記シーン映像データが前記リストにリストアップし終わるまで繰り返すことにより得られる前記リストの順序で、前記シーン映像データを取得するように取得順序を決定するステップとを備え、
第N回目(Nは自然数)の前記リストアップするステップは、
前記シーン重要度を高い順に並べたときの第N番目の前記シーン重要度以上の前記シーン重要度を持つ各シーンについて、前記基本データ又は前記基本データが前記リストにリストアップされている場合には前記基本データの解像度を一段階上げることのできる前記拡張データをそれぞれのシーンで1つずつ時間順に前記リストに追加するステップを含む
映像取得方法。 - 請求の範囲1乃至4のいずれか一項に記載の映像取得方法において、
前記決定するステップは、
前記現在シーン以降の前記シーン映像データのうち、前記現在シーンから定められた数の分の連続する前記基本データを優先して取得するように取得順序を決定するステップを備える
映像取得方法。 - 請求の範囲1乃至4のいずれか一項に記載の映像取得方法において、
前記決定するステップは、
前記現在シーン以降の前記シーン映像データのうち、前記複数のシーンのうちの前記現在シーンに時間的に近いシーンの前記シーン映像データを優先して取得するように取得順序を決定するステップを備える
映像取得方法。 - 請求の範囲2乃至6のいずれか一項に記載の映像取得方法において、
前記決定するステップの前に、優先的に取得する1つ以上の前記シーンと解像度のレベルを指定するステップと、
前記指定された1つ以上のシーンの前記基本データと対応する前記解像度のレベルまでの前記拡張データを最優先で取得するステップとを更に具備する
映像取得方法。 - 複数のシーンに分割され、前記複数のシーンの各々ごとに低解像度の基本データと前記基本データに対応して解像度を段階的に高める1つ以上の拡張データとを含む映像データから、前記基本データ及び前記拡張データとしてのシーン映像データを逐次取得する映像取得装置であって、
既に取得した前記シーン映像データの集合と前記複数のシーンの各々ごとのシーン重要度と前記複数のシーンのうちの現在のシーンとしての現在シーンとに基づいて、新たに取得する前記シーン映像データを取得の度に決定し、前記決定ごとに前記シーン映像データを取得する映像データ取得部と、
取得した前記シーン映像データを記憶する映像データ記憶部とを具備する
映像取得装置。 - 請求の範囲8に記載の映像取得装置において、
前記映像データ取得部は、
前記シーン重要度の高い順に、前記シーン重要度が同一の場合には前記基本データを優先し、次いで前記拡張データの解像度の低い順に、前記シーン映像データを取得するように取得順序を決定する
映像取得装置。 - 請求の範囲8に記載の映像取得装置において、
前記映像データ取得部は、
前記基本データを先頭とし、次いで前記拡張データの解像度の低い順に、前記基本データ及び同一の解像度の前記拡張データについては前記シーン重要度の高い順に、前記シーン映像データを取得するよう取得順序を決定する
映像取得装置。 - 請求の範囲8に記載の映像取得装置において、
前記映像データ取得部は、
前記シーン映像データを取得する取得順序を示すリストに、前記シーン映像データをリストアップし、
前記リストアップするステップをすべての前記シーン映像データが前記リストにリストアップし終わるまで繰り返すことにより得られる前記リストの順序で、前記シーン映像データを取得するように取得順序を決定し、
第N回目(Nは自然数)の前記リストアップは、
前記シーン重要度を高い順に並べたときの第N番目の前記シーン重要度以上の前記シーン重要度を持つ各シーンについて、前記基本データ又は前記基本データが前記リストにリストアップされている場合には前記基本データの解像度を一段階上げることのできる前記拡張データをそれぞれのシーンで1つずつ時間順に前記リストに追加する
映像取得装置。 - 請求の範囲8乃至11のいずれか一項に記載の映像取得装置において、
前記映像データ取得部は、
前記現在シーン以降の前記シーン映像データのうち、前記現在シーンから定められた数の分の連続する前記基本データを優先して取得するように取得順序を決定する
映像取得装置。 - 請求の範囲8乃至11のいずれか一項に記載の映像取得装置において、
前記映像データ取得部は、
前記現在シーン以降の前記シーン映像データのうち、前記複数のシーンのうちの前記現在シーンに時間的に近いシーンの前記シーン映像データを優先して取得するように取得順序を決定する
映像取得装置。 - 請求の範囲9乃至13のいずれか一項に記載の映像取得装置において、
前記映像データ取得部は、更に、
前記決定するステップの前に、優先的に取得する1つ以上の前記シーンと解像度のレベルを指定し、
前記指定された1つ以上のシーンの前記基本データと対応する前記解像度のレベルまでの前記拡張データを最優先で取得する
映像取得装置。 - 複数のシーンに分割され、前記複数のシーンの各々ごとに低解像度の基本データと前記基本データに対応して解像度を段階的に高める1つ以上の拡張データとを含む映像データから、前記基本データ及び前記拡張データとしてのシーン映像データを逐次送受信する映像取得システムであって、
新たに取得するシーン映像データの要求を行う請求の範囲8乃至14のいずれか一項に記載の映像取得装置と、
複数の前記映像データを有し、前記映像取得装置からの前記要求に基づいて、前記複数の映像データから前記シーン映像データを抽出して前記映像取得装置へ送信する映像配信装置と
を具備する映像取得システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010505567A JPWO2009119394A1 (ja) | 2008-03-28 | 2009-03-18 | 映像取得方法、映像取得装置、映像取得システム及び映像取得用プログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008088560 | 2008-03-28 | ||
JP2008-088560 | 2008-03-28 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2009119394A1 true WO2009119394A1 (ja) | 2009-10-01 |
Family
ID=41113591
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2009/055233 WO2009119394A1 (ja) | 2008-03-28 | 2009-03-18 | 映像取得方法、映像取得装置、映像取得システム及び映像取得用プログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2009119394A1 (ja) |
WO (1) | WO2009119394A1 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013511197A (ja) * | 2009-11-13 | 2013-03-28 | サムスン エレクトロニクス カンパニー リミテッド | 適応的なストリーミング方法及びその装置 |
US9197689B2 (en) | 2010-03-19 | 2015-11-24 | Samsung Electronics Co., Ltd. | Method and apparatus for adaptively streaming content including plurality of chapters |
US9277252B2 (en) | 2010-06-04 | 2016-03-01 | Samsung Electronics Co., Ltd. | Method and apparatus for adaptive streaming based on plurality of elements for determining quality of content |
JP2016040919A (ja) * | 2015-10-09 | 2016-03-24 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
US9699486B2 (en) | 2010-02-23 | 2017-07-04 | Samsung Electronics Co., Ltd. | Method and apparatus for transmitting and receiving data |
US9756364B2 (en) | 2009-12-07 | 2017-09-05 | Samsung Electronics Co., Ltd. | Streaming method and apparatus operating by inserting other content into main content |
US9860573B2 (en) | 2009-11-13 | 2018-01-02 | Samsung Electronics Co., Ltd. | Method and apparatus for providing and receiving data |
US10425666B2 (en) | 2009-11-13 | 2019-09-24 | Samsung Electronics Co., Ltd. | Method and apparatus for adaptive streaming using segmentation |
USRE48360E1 (en) | 2009-11-13 | 2020-12-15 | Samsung Electronics Co., Ltd. | Method and apparatus for providing trick play service |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11346166A (ja) * | 1998-04-03 | 1999-12-14 | Matsushita Electric Ind Co Ltd | 携帯視聴システム |
JP2000209258A (ja) * | 1999-01-13 | 2000-07-28 | Mitsubishi Electric Corp | 時系列デ―タ蓄積配信システム |
JP2002232823A (ja) * | 2000-11-17 | 2002-08-16 | Sony Corp | 通信装置及び通信方法、並びに記憶媒体 |
JP2005260319A (ja) * | 2004-03-09 | 2005-09-22 | Ricoh Co Ltd | 画像処理装置、プログラム、記憶媒体及び画像送信方法 |
-
2009
- 2009-03-18 JP JP2010505567A patent/JPWO2009119394A1/ja not_active Withdrawn
- 2009-03-18 WO PCT/JP2009/055233 patent/WO2009119394A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11346166A (ja) * | 1998-04-03 | 1999-12-14 | Matsushita Electric Ind Co Ltd | 携帯視聴システム |
JP2000209258A (ja) * | 1999-01-13 | 2000-07-28 | Mitsubishi Electric Corp | 時系列デ―タ蓄積配信システム |
JP2002232823A (ja) * | 2000-11-17 | 2002-08-16 | Sony Corp | 通信装置及び通信方法、並びに記憶媒体 |
JP2005260319A (ja) * | 2004-03-09 | 2005-09-22 | Ricoh Co Ltd | 画像処理装置、プログラム、記憶媒体及び画像送信方法 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013511197A (ja) * | 2009-11-13 | 2013-03-28 | サムスン エレクトロニクス カンパニー リミテッド | 適応的なストリーミング方法及びその装置 |
US9860573B2 (en) | 2009-11-13 | 2018-01-02 | Samsung Electronics Co., Ltd. | Method and apparatus for providing and receiving data |
US9967598B2 (en) | 2009-11-13 | 2018-05-08 | Samsung Electronics Co., Ltd. | Adaptive streaming method and apparatus |
US10425666B2 (en) | 2009-11-13 | 2019-09-24 | Samsung Electronics Co., Ltd. | Method and apparatus for adaptive streaming using segmentation |
USRE48360E1 (en) | 2009-11-13 | 2020-12-15 | Samsung Electronics Co., Ltd. | Method and apparatus for providing trick play service |
US9756364B2 (en) | 2009-12-07 | 2017-09-05 | Samsung Electronics Co., Ltd. | Streaming method and apparatus operating by inserting other content into main content |
US9699486B2 (en) | 2010-02-23 | 2017-07-04 | Samsung Electronics Co., Ltd. | Method and apparatus for transmitting and receiving data |
US9197689B2 (en) | 2010-03-19 | 2015-11-24 | Samsung Electronics Co., Ltd. | Method and apparatus for adaptively streaming content including plurality of chapters |
US9277252B2 (en) | 2010-06-04 | 2016-03-01 | Samsung Electronics Co., Ltd. | Method and apparatus for adaptive streaming based on plurality of elements for determining quality of content |
JP2016040919A (ja) * | 2015-10-09 | 2016-03-24 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2009119394A1 (ja) | 2011-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2009119394A1 (ja) | 映像取得方法、映像取得装置、映像取得システム及び映像取得用プログラム | |
US9288250B2 (en) | Mobile multimedia real-time transcoding system, apparatus, storage medium and method | |
ES2528406T3 (es) | Método, terminal y servidor para realizar una reproducción rápida denominada trickplay | |
JP4944484B2 (ja) | 再生装置、再生方法及びプログラム | |
JP7255116B2 (ja) | 情報処理システム、端末装置およびプログラム | |
JP6541309B2 (ja) | 送信装置、送信方法、及びプログラム | |
JP5928196B2 (ja) | 通信システム、端末装置、登録方法、及びプログラム | |
JP4315914B2 (ja) | 画像再生装置及び画像再生方法 | |
JP2005303925A (ja) | ストリームデータ送信装置、ストリームデータ受信装置およびそれらの処理をコンピュータに実行させるための処理プログラムを記録した記録媒体 | |
JP5135147B2 (ja) | 動画ファイル送信サーバおよびその動作制御方法 | |
JP2010154006A (ja) | プログレッシブダウンロード再生用プログラム | |
JP2004350043A (ja) | サーバ装置、情報処理装置、および情報処理方法、並びにコンピュータ・プログラム | |
JP2007259128A (ja) | 配信サーバ装置、クライアント装置、及びそれらに用いるプログラム | |
JP6891497B2 (ja) | 情報処理装置、情報処理システム及びプログラム | |
JP2016134702A (ja) | 映像データファイル生成プログラム、映像データファイル生成方法、及び映像データファイル生成装置 | |
JP2010087717A (ja) | 動画ファイル送信サーバおよびその動作制御方法 | |
JP5144771B2 (ja) | 画像処理装置、画像再生装置、画像記録装置、画像処理方法、画像再生方法、及び画像記録方法 | |
WO2019131200A1 (ja) | 復号装置、復号方法、およびプログラム | |
JP2015510727A (ja) | メディアファイル用のファイルデータを提供するための方法およびシステム | |
KR101665853B1 (ko) | 재생 지연 감소를 위한 동영상 스트리밍 방법 및 사용자의 패킷 저장 방법 및 장치 | |
JP6950386B2 (ja) | 配信装置、再生装置、配信方法、再生方法、再生プログラムおよびデータ構造 | |
JP6555030B2 (ja) | 情報機器 | |
JP3670581B2 (ja) | 映像音声配信装置及び映像音声ファイル解析方法 | |
JP2020141225A (ja) | 送信装置、送信方法、及びプログラム | |
NZ623572B2 (en) | Mobile multimedia real-time transcoding system, device, storage medium and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 09726177 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2010505567 Country of ref document: JP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 09726177 Country of ref document: EP Kind code of ref document: A1 |