WO2015033629A1 - 送信装置、中継装置及び受信装置 - Google Patents

送信装置、中継装置及び受信装置 Download PDF

Info

Publication number
WO2015033629A1
WO2015033629A1 PCT/JP2014/064480 JP2014064480W WO2015033629A1 WO 2015033629 A1 WO2015033629 A1 WO 2015033629A1 JP 2014064480 W JP2014064480 W JP 2014064480W WO 2015033629 A1 WO2015033629 A1 WO 2015033629A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
encoded data
quality
reproduction
position information
Prior art date
Application number
PCT/JP2014/064480
Other languages
English (en)
French (fr)
Inventor
健 宮下
佐藤 直之
大塚 学史
延浩 小川
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US14/915,857 priority Critical patent/US20160219316A1/en
Priority to JP2015535345A priority patent/JP6418160B2/ja
Priority to EP14842075.5A priority patent/EP3035689B1/en
Priority to CN201480046988.3A priority patent/CN105519122B/zh
Publication of WO2015033629A1 publication Critical patent/WO2015033629A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4126The peripheral being portable, e.g. PDAs or mobile phones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331Caching operations, e.g. of an advertisement for later insertion during playback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8549Creating video summaries, e.g. movie trailer

Definitions

  • the present disclosure relates to a transmission device, a relay device, and a reception device.
  • the waiting time until the start of streaming playback can be shortened by automatically transferring a starting block such as the first several tens of seconds of video content without any user operation. It is disclosed.
  • the playback position intended by the user may not be the first video content.
  • the user repeats seeking to move the reproduction position in order to find the reproduction position of the receiving device.
  • the user determines whether or not the current playback position is the target playback position by checking the video at the moved playback position, or to what extent the target playback position is before or after the current playback position. .
  • seeking is performed in order to find a target reproduction position by the user.
  • this operation is also referred to as zapping
  • the selected playback position is arbitrarily selected by the user. For this reason, for example, when a playback position other than the first several tens of seconds is selected, in the technique disclosed in Patent Document 1, a waiting time occurs until the start of streaming playback, and the responsiveness becomes low.
  • the present disclosure proposes a new and improved transmission device, relay device, and reception device that can enhance the responsiveness of content processing.
  • the first encoded data used for reproduction with the first quality, and the second quality higher than the first quality A storage unit that stores second encoded data used for reproduction with quality, and after transmitting the first encoded data to the receiving device, the first position information regarding the data position is received from the receiving device. And a communication unit that transmits a portion of the second encoded data corresponding to the first position information to the receiving device.
  • the first encoded data used for reproduction with the first quality for the same content having temporal continuity transmitted from the transmission device to the reception device and the first Relays the second encoded data used for reproduction with the second quality higher than the first quality, and relays the first position information related to the data position transmitted from the receiving apparatus to the transmitting apparatus.
  • the communication unit relays the first encoded data, then relays the first position information, and relays a portion corresponding to the first position information in the second encoded data.
  • a relay device method is provided.
  • the control unit that generates the first position information related to the data position and the same content having temporal continuity transmitted from the transmission device are reproduced with the first quality.
  • the first encoded data used for the transmission and the second encoded data used for reproduction with the second quality higher than the first quality are received, and the first position information is transmitted.
  • a communication unit that transmits to the apparatus, and a storage unit that stores encoded data including the received first encoded data and second encoded data, and the communication unit stores the first encoded data
  • a receiving apparatus is provided that transmits the first position information and receives a portion of the second encoded data corresponding to the first position information.
  • the present disclosure after the first encoded data is transmitted from the transmission device to the reception device, a portion of the second encoded data corresponding to the first position information is transmitted from the transmission device to the reception device. . Therefore, in the state where the first encoded data used for reproduction of the first quality is stored in the receiving device, the user among the second encoded data used for reproduction of the second quality. Only the part that requires is transmitted to the receiving apparatus.
  • a new and improved transmission device, relay device, and reception device capable of enhancing the responsiveness regarding content processing are provided.
  • FIG. 11 is an explanatory diagram illustrating an operation of editing a video and transmitting medium resolution data to a network different from a LAN in the data transmission system according to the second embodiment of the present disclosure.
  • FIG. 4 is a sequence diagram showing a transmission sequence of low resolution data and medium resolution data in the embodiment.
  • FIG. 4 is a sequence diagram showing a sequence for generating a medium resolution video and transmitting it to a network different from the LAN in the embodiment.
  • FIG. 6 is a flowchart showing a data relay operation of the relay device according to the embodiment.
  • FIG. 6 is an explanatory diagram showing an operation of editing video and transmitting high-resolution data to a network different from the LAN in the data transmission system according to the embodiment.
  • FIG. 4 is a sequence diagram showing a transmission sequence of low resolution data and medium resolution data in the embodiment. It is the sequence diagram which showed the sequence which produces
  • FIG. 3 is a block diagram for describing a hardware configuration of a transmission apparatus according to an embodiment of the present disclosure.
  • First embodiment (example of data in SVC format) 1-1.
  • Outline of data transmission system 1-2. 1.
  • Second embodiment (example in which data is compressed) 2-1.
  • Third embodiment (another data transmission system) 4). 4. Hardware configuration Conclusion
  • FIG. 1 is an explanatory diagram showing a configuration of a data transmission system according to the first embodiment of the present disclosure.
  • the data transmission system illustrated in FIG. 1 includes a transmission device 100, a relay device 200, and a reception device 300.
  • the transmission device 100 and the reception device 300 transmit and receive data via the relay device 200.
  • the transmission device 100, the relay device 200, and the reception device 300 transmit and receive data to and from each other by being connected to, for example, a local area network (LAN) using wireless communication.
  • the relay device 200 can be connected to a network 400 different from the LAN to which the transmission device 100 and the reception device 300 are connected, and transmits and receives data to and from other data storage devices connected to the different network 400.
  • content data such as video and audio having temporal continuity stored in the transmission device 100 is transmitted to the reception device 300 via the relay device 200.
  • the transmitted data is edited by the receiving device 300 and transmitted to another data storage device connected to the network 400 different from the LAN via the relay device 200.
  • FIG. 2 is a functional block diagram illustrating configurations of the transmission device 100, the relay device 200, and the reception device 300 according to the present embodiment.
  • the transmission device 100 is an imaging device that captures images such as a digital video camera.
  • the transmission device 100 includes, for example, a control unit 110, a storage unit 120, a communication unit 130, an input unit 140, and an imaging unit 150.
  • the control unit 110 controls each component included in the transmission device 100. For example, as illustrated in FIG. 2, the control unit 110 outputs a control signal corresponding to the operation signal output from the input unit 140 to each component, and executes imaging control, image processing control, recording control, and the like.
  • the control unit 110 also functions as a communication control unit that controls the communication unit 130.
  • the storage unit 120 may be, for example, a memory card, HDD (Hard It is a storage medium such as Disk Drive) or SSD (Solid State Drive).
  • the storage unit 120 stores data encoded in a predetermined format transmitted from the control unit 110, which will be described later, and data transmitted from an external device such as the relay device 200.
  • the communication unit 130 is an interface that performs wireless communication with surrounding external devices such as the relay device 200 according to control by the control unit 110. For example, the communication unit 130 transmits / receives data to / from the receiving device 300 and the relay device 200 connected to the same LAN via the relay device 200 by connecting to the Wi-Fi wireless LAN using the relay device 200 as an access point. Do.
  • the input unit 140 detects an operation input by the user and outputs it to the control unit 110 as an operation signal.
  • the input unit 140 may be a button having a physical configuration such as an imaging button to which imaging start and end are input, or may be a touch panel that detects a touch operation on the operation screen.
  • the imaging unit 150 includes, for example, an optical system such as a lens, a CCD (Charge Coupled Device), or a CMOS (Complementary).
  • a signal conversion unit including an imaging element such as a metal oxide semiconductor (Metal Oxide Semiconductor) is included.
  • the imaging unit 150 causes the signal conversion unit to convert an object image formed by the optical system into an electrical image signal under the control of the control unit 110.
  • the image signal is encoded in a predetermined format by the control unit 110 and sent to the storage unit 120.
  • the relay apparatus 200 is, for example, a mobile Wi-Fi router or a smartphone having a dithering function.
  • the relay device 200 includes, for example, a control unit 210, a storage unit 220, and a communication unit 230.
  • the control unit 210 controls each configuration of the relay apparatus 200.
  • the control unit 210 performs recording control, image processing control, and the like.
  • the control unit 210 also functions as a communication control unit that controls the communication unit 230.
  • the storage unit 220 is a storage medium such as a memory card, HDD, or SSD.
  • the storage unit 220 stores, for example, encoded data transmitted from the transmission device 100 to the communication unit 230 and data transmitted from the reception device 300 to the communication unit 230 according to control by the control unit 210.
  • the communication unit 230 is an interface that performs wireless communication with, for example, the transmission device 100 and the reception device 300 according to control by the control unit 210.
  • the communication unit 230 serves as an access point and forms a Wi-Fi wireless LAN in which the transmission device 100 and the reception device 300 are connected.
  • the communication unit 230 can be connected to a network 400 different from the LAN to which the transmission device 100 and the reception device 300 are connected, and can perform data communication with a data storage device connected to a different network.
  • the communication unit 230 functions as a gateway and can perform data communication with the Internet or the like different from the LAN.
  • the receiving apparatus 300 is an information processing apparatus such as a wearable device or a tablet terminal.
  • the receiving apparatus 300 includes, for example, a control unit 310, a storage unit 320, a communication unit 330, an input unit 340, and a display unit 360.
  • the control unit 310 controls each component included in the receiving device 300. For example, as illustrated in FIG. 2, the control unit 310 outputs a control signal corresponding to the operation signal output from the input unit 340 to each component, and executes image processing control, recording control, data generation control, and the like. In addition, the control unit 310 performs recording control and the like in response to data transmission from devices connected to the same LAN. Furthermore, the control unit 310 also functions as a communication control unit that controls the communication unit 330.
  • the storage unit 320 is a storage medium such as a memory card, HDD, or SSD.
  • the storage unit 320 stores data transmitted from the transmission device 100 via the relay device 200.
  • the storage unit 320 stores data generated by the control unit 310.
  • the communication unit 330 is an interface that performs wireless communication with, for example, the transmission device 100 and the relay device 200 according to control by the control unit 310. For example, the communication unit 330 transmits and receives data to and from the transmission device 100 and the relay device 200 connected to the same LAN via the relay device 200 by connecting to the Wi-Fi wireless LAN using the relay device 200 as an access point. Do.
  • the input unit 340 detects an operation input by the user and outputs it to the control unit 310 as an operation signal.
  • the input unit 340 may be a button having a physical configuration such as an imaging button to which a selection operation or a movement operation is input, or may be a touch panel that detects a touch operation on the display unit 360 described later. .
  • the display unit 360 is a display device such as an LCD (Liquid Crystal Display) or an organic EL (Electro Luminescence) display.
  • the display unit 360 displays content such as video stored in the storage unit 320 and presents it to the user under the control of the control unit 310, for example.
  • FIG. 3 is an explanatory diagram of a display example on the display unit 360 of the receiving apparatus 300 according to the present embodiment.
  • the display unit 360 includes a touch panel, and also functions as an input unit 340 that senses a user's contact operation.
  • a content display area 361, a seek bar 362, a playback position 363, a playback time 364, and a total playback time 365 are displayed.
  • the seek bar 362 indicates the relative position of the reproduction position 363 with respect to the total reproduction time 365.
  • the playback position 363 is displayed on the seek bar 362 and relatively indicates the playback position of the video being played back in the content display area 361.
  • the reproduction time 364 indicates the reproduction time at the reproduction position 363.
  • the total playback time 365 indicates the total playback time of the video displayed in the content display area 361.
  • the user can display a video at an arbitrary reproduction position in the content display area 361 by performing a contact operation and moving the reproduction position 363 to an arbitrary position on the seek bar 362.
  • the schematic configuration of the data transmission system according to the first embodiment of the present disclosure has been described above.
  • FIG. 4 is an explanatory diagram showing an operation of editing a video and transmitting it to a network 400 different from the LAN in the data transmission system according to the present embodiment.
  • FIG. 5A is a sequence diagram showing a transmission sequence of the low frequency component data D1 and the medium frequency component data D2 in the present embodiment.
  • FIG. 5B is a sequence diagram illustrating a transmission sequence of the high-frequency component data D3 and a sequence of generating and transmitting a video to a network different from the LAN in the present embodiment.
  • the video in the present embodiment is video data captured by the transmission device 100, for example.
  • the image captured by the transmission apparatus 100 is transmitted to the SVC (Scalable) by the control unit 110.
  • Video Coding) format and stored in the storage unit 120.
  • the SVC format is a video encoding format that has a multi-layer data structure and can be reproduced with a plurality of qualities by combining a plurality of layers.
  • the data encoded in the SVC format includes three encoded data of low frequency component data D1, medium frequency component data D2, and high frequency component data D3. It has a layer.
  • Data encoded in the SVC format can be reproduced in three qualities: low resolution, medium resolution and high resolution.
  • low resolution quality the low frequency component data D1 is used.
  • medium resolution quality two encoded data of low frequency component data D1 and medium frequency component data D2 are used.
  • high resolution quality three encoded data of low frequency component data D1, medium frequency component data D2, and high frequency component data D3 are used.
  • data for reproduction at a high resolution can be obtained by adding, as a difference, higher frequency component data in addition to the low frequency component data D1.
  • the control unit 110 selects encoded data to be transmitted to the reception device 300. At this time, for example, the control unit 110 determines whether or not the data format is the SVC format, and selects encoded data in the SVC format (S110).
  • the communication unit 130 transmits the low frequency component data D1 of the selected encoded data in the SVC format to the relay device 200 according to the control by the control unit 110 (S112).
  • control unit 210 of the relay apparatus 200 holds the transmitted low frequency component data D1 in the storage unit 220 (S114).
  • the communication unit 230 transmits the transmitted low-frequency component data D1 to the receiving device 300 according to control by the control unit 210 (S116).
  • Data retention in the present embodiment is not to temporarily store data for relaying but to store in the storage unit 220 so that the data can be processed even after relaying.
  • a state (i) illustrated in FIG. 4 indicates a state in which the process of step S118 is performed, and a state in which the low-frequency component data D1 transmitted from the transmission device 100 is stored in the relay device 200 and the reception device 300. It is.
  • the receiving apparatus 300 can reproduce the content with low resolution quality using the transmitted low frequency component data D1.
  • the user can check the low-resolution quality video and can grasp the outline of the video.
  • the low frequency component data D1 is stored in advance in the receiving apparatus 300 and is displayed without being influenced by the communication environment, so that the responsiveness can be improved.
  • a video or an image is displayed at a low resolution quality at the playback position selected by the user before the streaming playback is started. Can do.
  • the user can grasp what video is displayed before the streaming reproduction is started, and can easily find the target video.
  • the transmission sequence of the low frequency component data D1 may be automatically started by the control unit 110 or may be started based on a user operation.
  • the control unit 110 may select untransmitted SVC format encoded data from the encoded data stored in the storage unit 120 at regular intervals.
  • the control unit 110 may select untransmitted SVC format encoded data from the encoded data stored in the storage unit 120.
  • the transmission sequence of the medium frequency component data D2 starts, for example, when the reproduction position is selected by the user's operation based on the low frequency component data D1 in the receiving apparatus 300 after step S118.
  • the control unit 310 of the reception device 300 When the transmission sequence of the medium frequency component data D2 is started, the control unit 310 of the reception device 300 generates reproduction position information that is first position information indicating the selected reproduction position (S120).
  • the reproduction position information includes, for example, a reproduction time indicating the selected reproduction position.
  • the communication unit 330 transmits the generated reproduction position information to the relay device 200 according to the control by the control unit 310 (S122).
  • the communication unit 230 of the relay apparatus 200 transmits the received reproduction position information to the transmission apparatus 100 according to control by the control unit 210 (S124).
  • control unit 110 of the transmission device 100 selects at least a part of the medium frequency component data D2 corresponding to the received reproduction position information (S126).
  • the communication unit 130 transmits the selected medium frequency component data D2 to the relay device 200 according to control by the control unit 110 (S128).
  • control unit 210 of the relay apparatus 200 holds the received medium frequency component data D2 in the storage unit 220 (S130).
  • the communication unit 230 transmits the received medium frequency component data D2 to the receiving device 300 according to the control of the control unit 210 (S132).
  • control unit 310 of the receiving device 300 stores the received medium frequency component data D2 in the storage unit 320 (S134).
  • a state (ii) illustrated in FIG. 4 indicates a state in which the process of step S134 is performed, and is a state in which the selected medium frequency component data D2 is stored in the relay device 200 and the reception device 300.
  • the receiving apparatus 300 After the transmission sequence of the medium frequency component data starts, the receiving apparatus 300 reproduces the content with the medium resolution quality by using the received medium frequency component data D2 and the low frequency component data D1 stored in advance.
  • the control unit 310 changes the playback position P1 according to the frame rate. For example, when the frame rate is 30 frames per second, the controller 310 advances the playback position by 33 milliseconds. After the reproduction position P1 is changed, reproduction position information corresponding to the reproduction position P1 changed by the control unit 310 is generated, and the processes from S120 to S134 are repeated.
  • step S126 in addition to a part of the medium frequency component data D2 including the reproduction position P1 as the medium frequency component data D2 corresponding to the reproduction position information, one further corresponding to the reproduction position ahead. A part may be selected.
  • the control unit 110 causes a part of the medium frequency component data D2 including the reproduction position P1 to be transmitted first, and then causes a part of the medium frequency component data D2 corresponding to the further reproduction position to be transmitted. May be.
  • how far the playback position of the playback position is selected may be automatically set according to the communication environment, or may be arbitrarily set by the user.
  • a part of the intermediate frequency component data D2 including the reproduction position P1 and a part of the intermediate frequency component data D2 corresponding to the subsequent reproduction position include the relay device 200 and the reception device.
  • This is the state stored in 300.
  • FIG. 6 is a flowchart illustrating a process of acquiring the medium frequency component of the relay device 200 according to the present embodiment.
  • the control unit 310 of the receiving apparatus 300 selects the reproduction position P1 (S170).
  • the control unit 310 updates the medium frequency component data table of the storage unit 320 in which the medium frequency component data is stored according to the reproduction position P1 (S172).
  • the medium frequency component data table is a set of medium frequency component data D2 in the data table of the receiving apparatus 300 in FIG.
  • the algorithm used for updating by the control unit 310 is application-dependent, but the simplest algorithm is shown in Table 1.
  • each element of the table has the following four states. NONE: The medium frequency component data D2 does not exist and is not scheduled to be acquired. WILL_FETCH: Since the medium frequency component data D2 does not exist, it will be acquired. FETCHING: Medium frequency component data D2 does not exist and is being acquired. FILLED: Medium frequency component data exists.
  • control unit 310 determines whether or not there is an item “scheduled for acquisition” in the medium frequency component data table (S174).
  • step S174 If the result of determination in step S174 is that there is no “acquisition plan” item, the control unit 310 ends the operation of acquiring the intermediate frequency component data D2.
  • control unit 310 determines whether or not there is room for transmitting the medium frequency component data D2 in the communication band (S176).
  • step S176 If the result of determination in step S176 is that there is no margin in the communication band, the control unit 310 ends the operation of acquiring the medium frequency component.
  • step S176 when there is a margin in the communication band, the control unit 310 generates reproduction position information including the medium frequency component data D2 “to be acquired” and transmits it to the relay apparatus 200. Further, the control unit 310 changes the “acquisition plan” item to “acquiring” (S178). As a result, the medium frequency component data D ⁇ b> 2 “to be acquired” is transmitted from the transmission device 100 to the reception device 300 via the relay device 200.
  • the processing illustrated in FIG. 6 is also performed when the playback position is automatically changed, such as when a video is being played, or when the playback position is changed by a user operation.
  • the state (iv) in FIG. 4 shows a state in which the reproduction position P1 is moved to the previous reproduction position by the user's operation after the state (iii). After the reproduction position is moved, the processes of steps S120 to S134 are performed, and the medium frequency component data D2 corresponding to the moved reproduction position P1 is stored in the storage unit 320.
  • step S126 for example, in addition to a part of the medium frequency component data D2 including the reproduction position P1 as the medium frequency component data D2 corresponding to the reproduction position information, further corresponding to the further reproduction position P1. Some may be selected.
  • the control unit 110 causes a part of the medium frequency component data D2 including the reproduction position P1 to be transmitted first, and then causes a part of the medium frequency component data D2 corresponding to the further reproduction position to be transmitted. May be.
  • the medium frequency component data D2 corresponding to the reproduction position further ahead of the reproduction position P1 the medium frequency component corresponding to the relay apparatus 200 and the reception apparatus 300 as shown in the state (v) of FIG. Data D2 is stored.
  • the high-frequency component data transmission / high-quality image generation sequence starts after the trimming range is selected by the receiving apparatus 300 by, for example, a user operation after step S134.
  • the control unit 310 generates trimming range information based on a user's selection operation with respect to a range of an arbitrary reproduction position (S140).
  • the trimming range information includes, for example, position information of a reproduction position where trimming is started and position information of a reproduction position where trimming is finished.
  • the user's selection operation is an operation for selecting the trimming start position and end position on the seek bar 362 shown in FIG. 3, for example, and is detected by the input unit 340.
  • the state (v) in FIG. 4 shows a state where the playback position range P2 is selected based on the user's selection operation.
  • the communication unit 330 transmits trimming range information to the relay device 200 according to control by the control unit 310 (S142).
  • the communication unit 230 of the relay apparatus 200 transmits the received trimming range information to the transmission apparatus 100 according to control by the control unit 210 (S144).
  • control unit 110 of the transmission device 100 selects at least a part of the high frequency component data D3 corresponding to the received trimming range information (S146). At this time, the control unit 110 selects, for example, a portion of the high frequency component data D3 corresponding to the reproduction position range indicated by the trimming range information.
  • the communication unit 130 transmits the selected high-frequency component data D3 to the relay device 200 according to control by the control unit 110 (S148).
  • the control unit 210 of the relay apparatus 200 stores the received high frequency component data D3 in the storage unit 220 (S150).
  • the state (vi) in FIG. 4 shows a state in which the high frequency component data D3 corresponding to the reproduction position range P2 indicated by the trimming range information is stored in the storage unit 220 after step S150.
  • control unit 210 uses the low-frequency component data D1, the medium-frequency component data D2, and the high-frequency component data D3 stored in the storage unit 220, so that the high-resolution quality of the range corresponding to the trimming range information is obtained.
  • a video is generated (also referred to as rendering) (S152).
  • the state (vii) in FIG. 4 shows a state in which high-resolution quality video is generated for the range corresponding to the reproduction position range P2 indicated by the trimming range information after step S152.
  • the sequence of transmitting the rendered video to the network 400 different from the LAN may be started, for example, when a transmission operation is selected by the receiving device by a user operation after step S152. Further, the sequence of transmitting the rendered video to the network 400 different from the LAN may be automatically performed according to the control of the control unit 210 after step S152, for example.
  • the rendered video is transmitted to a data storage device such as a server or an information processing device connected to a network 400 different from the LAN, for example.
  • the control unit 210 of the relay device 200 causes the storage unit 220 to hold the encoded data such as the low frequency component data D1 and the medium frequency component data D2 transmitted from the transmission device. It may be determined based on the format of the encoded data.
  • the control unit 210 determines whether the received encoded data is in the SVC format. As a result of the determination, when the received encoded data is in the SVC format, the control unit 210 holds the received encoded data in the storage unit 220 and performs relaying. On the other hand, when the received encoded data is not in the SVC format, the control unit 210 does not hold the received encoded data and performs only the relay. Further, when the received encoded data is not in the SVC format, the encoded data may be retained by further making a determination based on, for example, another format described later.
  • low frequency component data D1 is transmitted in advance from the transmission device 100 and stored in the relay device 200 and the reception device 300 for the video stored in the SVC format.
  • the user can check the low-resolution quality video and can grasp the outline of the video.
  • the low frequency component data D1 is stored in advance in the receiving apparatus 300 and is displayed without being influenced by the communication environment, so that the responsiveness can be improved.
  • the medium frequency component data D2 corresponding to the reproduction position information is transmitted from the transmission device 100 to the reception device 300 and stored in the relay device 200 and the reception device 300.
  • the total data transfer amount can be reduced compared to the case where all the intermediate frequency component data D2 is transmitted. it can. Thereby, power consumption in the entire system can be suppressed.
  • the user seeks the target reproduction position or range while streaming and reproducing the video with medium resolution quality.
  • the total data transfer amount can be reduced and the responsiveness can be improved as compared with the case of seeking while streaming video with high resolution quality.
  • the relay apparatus 200 holds encoded data of the low frequency component data D1 and the intermediate frequency component data D2 to be relayed.
  • the encoded data stored in the relay apparatus 200 is used as the reception apparatus 300. Processing to send to is performed. Therefore, in the data transmission system according to the present embodiment, even in such a case, data transmission from the transmission device 100 to the reception device 300 does not occur, so that the total data transfer amount can be reduced and power consumption in the entire system can be suppressed. be able to.
  • the high frequency component data D3 corresponding to the trimming range information is transmitted from the transmission device 100 to the relay device 200, and the relay device 200 has a high resolution quality corresponding to the trimming range information.
  • the video is rendered.
  • the high-frequency component data D3 is not transmitted to the receiving device 300, and only the portion necessary for rendering the high-frequency component data D3 is transmitted to the relay device 200, so that the total data transfer amount is reduced.
  • power consumption in the entire system can be suppressed.
  • rendering is performed using the low-frequency component data D1, the medium-frequency component data D2, and the high-frequency component data D3 stored in the relay apparatus 200, and the rendered video is displayed on the LAN.
  • the rendered video is transmitted to the network 400 different from the LAN.
  • the amount can be reduced.
  • Second Embodiment (Example of Data in Compression Format)> [2-1. Outline of data transmission system]
  • the present embodiment is an example of processing in which a video stored in the transmission device 100 is edited and transmitted to a network 400 different from the LAN with a predetermined resolution quality.
  • This embodiment is different from the first embodiment in that encoded data for video is stored in the transmission device 100 in a compressed format.
  • the encoded data stored in the transmission device 100 is encoded data compressed in the spatial direction, for example.
  • the storage unit 120 stores a plurality of pieces of encoded data compressed at a plurality of compression rates indicating the same content.
  • the present embodiment is different from the first embodiment in that video is transmitted to a network 400 different from the LAN with a predetermined resolution quality. Note that the device configurations of the data transmission system, the transmission device 100, the relay device 200, and the reception device 300 according to the present embodiment are the same as those in the first embodiment.
  • FIG. 7 is an explanatory diagram illustrating an operation of editing a video and transmitting medium resolution data to a network 400 different from the LAN in the data transmission system according to the second embodiment of the present disclosure.
  • FIG. 8A is a sequence diagram showing a transmission sequence of the low resolution data D1 and the medium resolution data D2 in the present embodiment.
  • FIG. 8B is a sequence diagram showing a sequence for generating a medium-resolution video and transmitting it to a network different from the LAN in the present embodiment.
  • the storage unit 120 of the transmission device 100 stores three encodings of low resolution data D1, medium resolution data D2, and high resolution data D3 indicating the same content.
  • Data is stored.
  • the three encoded data have different compression rates, the low-resolution data D1 has the highest compression rate, and the high-resolution data D3 has the lowest compression rate. Therefore, the capacity of the three encoded data is the smallest for the low resolution data D1 and the largest for the high resolution data D3.
  • the low resolution data D1 is used individually for reproduction with low resolution quality
  • the medium resolution data D2 is used for reproduction with medium resolution quality
  • the high resolution data D3 is used for reproduction with high resolution quality.
  • the control unit 110 selects data to be transmitted to the reception device 300. At this time, the control unit 110 determines whether, for example, the encoded data indicating the same content is in a format compressed at a plurality of compression rates, and is compressed at three compression rates of low resolution, medium resolution, and high resolution.
  • the encoded data of the selected format is selected (S210).
  • the communication unit 130 transmits the selected low resolution data D1 to the relay device 200 according to the control of the control unit 110 (S212). After step S212, the communication unit 230 transmits the transmitted low resolution data D1 to the receiving device 300 according to control by the control unit 210 (S214).
  • control unit 310 of the receiving apparatus 300 stores the transmitted low resolution data D1 in the storage unit 320 (S216).
  • a state (i) illustrated in FIG. 7 indicates a state in which the process of step S118 is performed, and indicates a state in which the low-resolution data D1 transmitted from the transmission device 100 is stored in the reception device 300. In the state (i), for example, the receiving apparatus 300 can reproduce the content with low resolution quality by using the transmitted low resolution data D1.
  • the transmission sequence of the low resolution data D1 may be automatically started by the control unit 110, or may be started based on a user operation, similarly to the transmission sequence of the low frequency component data D1 in the first embodiment. Good.
  • the transmission sequence of the medium resolution data D2 starts, for example, after the playback position is selected by the user operation based on the low resolution D1 in the receiving apparatus 300 after step S216.
  • the control unit 310 of the receiving apparatus 300 generates reproduction position information that is first position information indicating the selected reproduction position (S220).
  • the reproduction position information includes, for example, a reproduction time indicating the selected reproduction position.
  • the communication unit 330 transmits the generated reproduction position information to the relay device 200 according to the control by the control unit 310 (S222).
  • the communication unit 230 of the relay apparatus 200 transmits the received reproduction position information to the transmission apparatus 100 according to control by the control unit 210 (S224).
  • control unit 110 of the transmission device 100 selects at least a part of the medium resolution data D2 corresponding to the received reproduction position information (S226).
  • the communication unit 130 transmits the selected medium resolution data D2 to the relay device 200 in accordance with control by the control unit 110 (S228).
  • control unit 210 of the relay apparatus 200 holds the received medium resolution data D2 in the storage unit 220 (S230).
  • the communication unit 230 transmits the received medium resolution data D2 to the receiving device 300 according to the control of the control unit 210 (S232).
  • the control unit 310 of the receiving device 300 stores the received medium resolution data D2 in the storage unit 320 (S234).
  • a state (ii) illustrated in FIG. 7 indicates a state where the process of step S234 is performed, and the selected medium resolution data D2 is stored in the transmission device 100 and the relay device 200.
  • the receiving apparatus 300 After the medium resolution data transmission sequence is started, the receiving apparatus 300 reproduces the content with the medium resolution quality by using the received medium resolution data D2. At this time, the controller 310 changes the playback position P1 according to the frame rate, as in the first embodiment.
  • the medium-resolution video generation sequence starts after the trimming range is selected by the receiving apparatus 300 by user operation after step S234.
  • the control unit 310 Based on a user's selection operation for a range of an arbitrary reproduction position, the control unit 310 generates trimming range information that is second position information (S240).
  • the trimming range information includes, for example, position information of a reproduction position where trimming is started and position information of a reproduction position where trimming is finished.
  • the user's selection operation is detected in the same manner as in the first embodiment.
  • the state (v) in FIG. 7 shows a state where the playback position range P2 is selected based on the user's selection operation.
  • the communication unit 330 transmits trimming range information to the relay device 200 according to control by the control unit 310 (S242).
  • control unit 210 uses the medium resolution data D2 stored in the storage unit 220 to generate a medium resolution quality video for the range corresponding to the trimming range information (S244).
  • the state (vii) in FIG. 7 shows a state in which a medium-resolution quality video is generated for the range corresponding to the reproduction position range P2 indicated by the trimming range information after step S244.
  • the sequence of transmitting the generated video to the network 400 different from the LAN may be started by selecting a transmission operation by a user operation after step S244, for example.
  • the sequence of transmitting the generated video to the network 400 different from the LAN may be automatically performed according to the control of the control unit 210 after step S244, for example.
  • the generated video is transmitted to a data storage device such as a server or an information processing device connected to a network 400 different from the LAN, for example.
  • the control unit 210 of the relay apparatus 200 retains and stores the encoded data such as the low resolution data D1 and the medium resolution data D2 transmitted from the transmission apparatus in the storage unit 220 when relaying the encoded data.
  • FIG. 9 is a flowchart showing a data relay operation of the relay apparatus 200 according to the present embodiment.
  • the communication unit 230 of the relay apparatus 200 receives data to be relayed (S280).
  • the data to be relayed is encoded data such as low resolution data D1, medium resolution data D2, or high resolution data D3 transmitted from the transmission device 100, for example.
  • the control unit 210 determines whether to retain the received data based on the quality information (S282).
  • the quality information indicates the quality of the content used in the processing of the relay apparatus 200.
  • the quality information indicates the quality of the content used in step S244 or step S250.
  • the control unit 210 holds the received data.
  • the quality information is set in advance before the low-frequency component data sequence is performed. For example, the quality information is set automatically or arbitrarily by the user.
  • step S282 determines whether the data is retained. If the result of determination in step S282 is that the data is retained, the control unit 210 causes the storage unit 220 to retain the received data (S284). After step S284, the communication unit 230 transmits the received data to the receiving device 300 according to the control of the control unit 210 (S286).
  • step S282 If the result of determination in step S282 is that data is not retained, processing in step S286 is performed. After step S286, the control unit 210 ends the relay operation.
  • the relay apparatus 200 generates a video with a medium resolution quality and transmits the rendered video to a network 400 different from the LAN. Therefore, the control unit 210 stores only the medium resolution data D2 in the storage unit 220. For example, between steps S212 to S214, since the data received from the transmission apparatus 100 is the low resolution data D1, the control unit 210 performs only the relay without holding the data. For example, in step S230, since the data received from the transmission device 100 is the medium resolution data D2, the control unit 210 holds the data.
  • the operation example of generating the medium resolution quality video and transmitting the generated video to the network 400 different from the LAN in the data transmission system according to the present embodiment has been described.
  • the low-resolution data D1 is transmitted from the transmission device 100 in advance and stored in the reception device 300.
  • the user can check the low-resolution quality video and can grasp the outline of the video.
  • the low resolution data D1 is stored in advance in the receiving apparatus 300 and is displayed without being affected by the communication environment, so that the responsiveness can be improved.
  • the medium frequency component data D2 corresponding to the reproduction position information is transmitted from the transmission device 100 to the reception device 300.
  • the total data transfer amount can be reduced compared to the case where all the intermediate frequency component data D2 is transmitted. it can. Thereby, power consumption in the entire system can be suppressed.
  • the user seeks the target reproduction position or range while streaming the video with the medium resolution quality.
  • the total data transfer amount can be reduced and the responsiveness can be improved as compared with the case of seeking while streaming video with high resolution quality.
  • rendering is performed using the medium resolution data D2 stored in the relay apparatus 200, and the rendered video is transmitted to the network 400 different from the LAN. Therefore, compared to the case where the relay device 200 does not store the medium resolution data D2, when the rendered video is transmitted to the network 400 different from the LAN, the data transfer between the transmission device 100 or the reception device 300 and the relay device 200 is performed. The amount can be reduced. Thereby, in the data transmission system according to the example, power consumption in the entire system can be suppressed.
  • FIG. 10 is an explanatory diagram showing an operation of editing a video and transmitting high-resolution data to a network 400 different from the LAN in the data transmission system according to the present embodiment.
  • FIG. 11 is a sequence diagram showing a transmission sequence of the low resolution data D1 and the medium resolution data D2 in the present embodiment.
  • FIG. 11B is a sequence diagram showing a transmission sequence of the high resolution data D3 and a sequence of generating a high resolution video and transmitting it to a network different from the LAN in the present embodiment.
  • the transmission sequence of the medium resolution data D2 starts, for example, after the playback position is selected by the user operation based on the low resolution D1 in the receiving apparatus 300 after step S316.
  • the control unit 310 of the receiving device 300 generates reproduction position information that is first position information indicating the selected reproduction position (S320).
  • the reproduction position information includes data indicating the selected reproduction position.
  • the communication unit 330 transmits the generated reproduction position information to the relay device 200 according to the control by the control unit 310 (S322).
  • the communication unit 230 of the relay device 200 transmits the received reproduction position information to the transmission device 100 according to control by the control unit 210 (S224).
  • control unit 110 of the transmission device 100 selects at least a part of the medium resolution data D2 corresponding to the received reproduction position information (S326).
  • the communication unit 130 transmits the selected medium resolution data D2 to the relay device 200 in accordance with control by the control unit 110 (S328).
  • the communication unit 230 of the relay device 200 transmits the received medium resolution data D2 to the receiving device 300 according to the control of the control unit 210 (S330).
  • control unit 310 of the receiving device 300 stores the received medium resolution data D2 in the storage unit 320 (S332).
  • a state (ii) illustrated in FIG. 10 indicates a state in which the process of step S ⁇ b> 332 is performed, and indicates a state in which the selected medium resolution data D ⁇ b> 2 is stored in the transmission device 100 and the reception device 300.
  • the receiving apparatus 300 After the medium resolution data transmission sequence is started, the receiving apparatus 300 reproduces the content with the medium resolution quality by using the received medium resolution data D2. At this time, the controller 310 changes the playback position P1 according to the frame rate, as in the first embodiment.
  • the control unit 310 generates trimming range information based on a user's selection operation for a range of an arbitrary reproduction position (S340).
  • the trimming range information includes, for example, position information of a reproduction position where trimming is started and position information of a reproduction position where trimming is finished.
  • the user's selection operation is detected in the same manner as in the first embodiment.
  • the state (v) in FIG. 10 shows a state where the playback position range P2 is selected based on the user's selection operation.
  • the communication unit 330 transmits trimming range information to the relay device 200 in accordance with control by the control unit 310 (S342).
  • the communication unit 230 of the relay apparatus 200 transmits the received trimming range information to the transmission apparatus 100 according to control by the control unit 210 (S344).
  • control unit 110 of the transmission device 100 selects at least a part of the high resolution data D3 corresponding to the received trimming range information (S346). At this time, the control unit 110 selects, for example, a portion of the high resolution data D3 corresponding to the reproduction position range indicated by the trimming range information.
  • the communication unit 130 transmits the selected high resolution data D3 to the relay device 200 according to the control by the control unit 110 (S348).
  • the control unit 210 of the relay apparatus 200 stores the received high resolution data D3 in the storage unit 220 (S350).
  • the state (vi) in FIG. 10 shows a state in which high-resolution data D3 corresponding to the reproduction position range P2 indicated by the trimming range information is stored in the storage unit 220 after step S350.
  • control unit 210 uses the high resolution data D3 stored in the storage unit 220 to generate a high resolution quality video for the range corresponding to the trimming range information (S352).
  • the state (vii) in FIG. 10 shows a state in which a high-resolution quality video is generated for the range corresponding to the reproduction position range P2 indicated by the trimming range information after step S352.
  • step S350 in the sequence for transmitting the generated video to the outside of the LAN is the same as the processing in step S250 described with reference to FIG. 8B.
  • control unit 210 does not store the low resolution data D1 and the medium resolution data D2 that are not used for high resolution quality video in the storage unit 220.
  • the data received from the transmission device 100 is the low resolution data D1, and therefore, the data is not held and only the relay is performed.
  • the data received from the transmission apparatus 100 is the medium resolution data D2, and therefore, the data is not retained and only the relay is performed.
  • the operation example of generating the high-resolution quality video and transmitting the generated video over the network 400 different from the LAN in the data transmission system according to the present embodiment has been described.
  • the low-resolution data D1 is transmitted from the transmission device 100 in advance and stored in the reception device 300.
  • the user can check the low-resolution quality video and can grasp the outline of the video.
  • the low resolution data D1 is stored in advance in the receiving apparatus 300 and is displayed without being affected by the communication environment, so that the responsiveness of the operation can be improved.
  • the medium frequency component data D2 corresponding to the reproduction position information is transmitted from the transmission device 100 to the reception device 300.
  • the total data transfer amount can be reduced compared to the case where all the intermediate frequency component data D2 is transmitted. it can. Thereby, power consumption in the entire system can be suppressed.
  • the user seeks the target reproduction position or range while streaming the video with the medium resolution quality.
  • the total data transfer amount can be reduced and the responsiveness of the operation can be improved as compared with the case of seeking while streaming video with high resolution quality.
  • the high resolution data D3 corresponding to the trimming range information is transmitted from the transmission device 100 to the relay device 200, and the relay device 200 has a high resolution quality corresponding to the trimming range information.
  • the video is rendered.
  • the high-resolution data D3 is not transmitted to the receiving device 300, and only the portion necessary for rendering the high-resolution data D3 is transmitted to the relay device 200, so that the total data transfer amount is reduced.
  • rendering is performed using the high resolution data D3 stored in the relay apparatus 200, and the rendered video is transmitted to the network 400 different from the LAN. Therefore, compared to the case where the high resolution data D3 is not stored in the relay device 200, when the rendered video is transmitted to the network 400 different from the LAN, the data transfer between the transmission device 100 or the reception device 300 and the relay device 200 is performed. The amount can be reduced. Thereby, in the data transmission system which concerns on this example, the power consumption in the whole system can be suppressed.
  • FIG. 12 is an explanatory diagram illustrating a data transmission system according to the third embodiment of the present disclosure.
  • the data transmission system includes a transmission device 100 and a reception device 300, and has a device configuration different from those of the first and second embodiments described above. Processing methods such as editing and transmission of encoded data are the same.
  • the transmission apparatus 100 and the reception apparatus 300 transmit and receive data to and from each other by being connected to a LAN using wireless communication, for example.
  • the receiving device 300 can be connected to a network 400 different from the LAN to which the transmitting device 100 is connected, and transmits / receives data to / from another data storage device connected to a different network.
  • FIG. 13 is a functional block diagram illustrating the configuration of the transmission device, the relay device, and the reception device according to this embodiment.
  • the device configuration of the transmission device 100 according to this embodiment is the same as that of the first embodiment and the second embodiment described above.
  • the receiving apparatus 300 according to the present embodiment has a device configuration in which the relay apparatus 200 and the receiving apparatus 300 according to the first embodiment are combined.
  • the communication unit 330 of the receiving device 300 according to the present embodiment performs the operation of the communication unit 230 according to the first embodiment in addition to the operation of the communication unit 330 according to the first embodiment.
  • the communication unit 330 according to the present embodiment serves as an access point and forms a Wi-Fi wireless LAN to which the transmission device 100 is connected.
  • the communication unit 330 can be connected to a network 400 outside the LAN to which the transmission device 100 is connected, and can perform data communication with a data storage device outside the LAN. Further, the communication unit 330 functions as a gateway and can perform data communication with the Internet outside the LAN.
  • the receiving device 300 performs the same operation as the relay device 200 and the receiving device 300 in the first and second embodiments. Thereby, the data transmission system in the first embodiment and the second embodiment can be realized even in the apparatus configuration shown in FIG.
  • FIG. 14 is a block diagram for explaining a hardware configuration of the transmission apparatus 100.
  • the illustrated transmission apparatus 100 can realize, for example, the transmission apparatus 100 in the above-described embodiment.
  • the transmission apparatus 100 includes an imaging apparatus 900, a driving apparatus 901, an AD (Analog-to-Digital) conversion apparatus 902, a TG (Timing Generator) 904, and a CPU (Central Processing Unit) 906.
  • the transmission device 100 includes an operation device 908, a sensor 910, a ROM (Read Only Memory) 912, a RAM (Random Access Memory) 914, a compression encoding circuit 916, an image processing circuit 918, and a display device 920. Further, the transmission device 100 includes a connection I / F 922, a storage medium 924, and a communication device 926.
  • the imaging apparatus 900 includes a lens 9001 and an imaging element 9003, and functions as the imaging unit 150.
  • the lens 9001 includes a plurality of lenses such as a zoom lens and a focus lens.
  • the imaging device 9003 is realized by, for example, a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • the image sensor 9003 receives subject light (incident light) captured by the lens 9001 and converts it into signal charges.
  • the image sensor 9003 outputs a voltage based on the converted signal charge as a pixel signal of each pixel.
  • a signal obtained by collecting pixel signals of each pixel is an image signal.
  • AD converter 902 converts the input analog signal into a digital signal. Specifically, the AD conversion apparatus 902 converts the image signal output from the image sensor 9003 from an analog signal to a digital signal, and writes the converted signal in the RAM 914.
  • the AD conversion apparatus 902 functions as one function of the control unit 110.
  • the AD conversion apparatus 902 digitizes an image composed of analog signals output from the imaging unit 150 and writes it in the RAM 914.
  • the RAM 914 is a storage area for temporarily storing data.
  • the RAM 914 stores an image signal digitized by the AD converter 902 or image data generated by an image processing circuit 918 described later.
  • the RAM 914 temporarily stores programs used in the execution of the CPU 906 described later, parameters that change as appropriate during the execution, and the like.
  • the driving device 901 moves each lens of the lens 9001 in the direction of the optical axis to focus the subject on the subject.
  • the TG 904 outputs a pulse signal to the image sensor 9003 and the AD converter 902 to synchronize the operation timing of the image sensor 9003 and the AD converter 902.
  • the image processing circuit 918 performs image processing such as white balance processing, color interpolation processing, contour compensation processing, and gradation conversion processing. Specifically, the image processing circuit 918 performs image processing on the image signal written in the RAM 914 to generate image data. Then, the image processing circuit 918 temporarily stores the generated image data in the RAM 914.
  • the image processing circuit 918 functions as one function of the control unit 110 in the first to third embodiments.
  • the compression encoding circuit 916 performs compression encoding processing on the image data that has been temporarily stored in the RAM 914 and has been subjected to image processing by the image processing circuit 918. For example, when the image data is based on a moving image, the compression coding circuit 916 performs the Mpeg (Moving Picture Experts Group) format or H.264 by compression coding processing. 26L format encoded data is generated. The compression encoding circuit 916 appends incidental information such as photographing conditions, photographing date and time, basic camera information, and the like to the encoded data, and writes it to the storage medium 924 connected to the connection I / F 922.
  • the compression code circuit 916 functions as one function of the control unit 110 in the first to third embodiments.
  • connection I / F 922 electrically connects the transmission device 100 and the storage medium 924. Accordingly, the transmission device 100 can write data to the storage medium 924 and read data stored in the storage medium 924.
  • the storage medium 924 functions as the storage unit 120 that stores image data.
  • the storage medium 924 is, for example, a flash memory such as a card type memory or a DVD (Digital This is realized by a recording medium such as Versatile Disc).
  • Display device 920 displays imaging settings and communication status.
  • the display device 920 is realized by, for example, an LCD (Liquid Crystal Display) or an OLED (Organic Light-Emitting Diode).
  • the communication device 926 is a communication interface configured with, for example, a communication device for connecting to a communication network.
  • the communication device 926 is realized by, for example, a communication card for wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the ROM stores programs used by the CPU 906, operation parameters, and the like.
  • the CPU 906 functions as an arithmetic processing device and a control device, and controls the overall operation in the transmission device 100 according to various programs.
  • the CPU 906 may include a ROM that stores programs to be used, calculation parameters, and the like, and a RAM that temporarily stores parameters that change as appropriate.
  • the CPU 906 according to an embodiment of the present disclosure controls the overall operation in the transmission device 100 by reading and executing a control program stored in the RAM 914.
  • the CPU 906 functions as one function of the control unit 110 in the first to third embodiments, and performs imaging control, recording control, and communication control.
  • the operation device 908 receives an imaging instruction and initial setting from the user, a setting at the time of imaging and reproduction, a setting of an aspect ratio of an output image, and the like.
  • the operation device 908 is realized as a touch panel formed integrally with a button, a touch sensor, and a display device 920, for example.
  • the operating device 908 functions as the input unit 140 in the first to third embodiments.
  • the sensor 910 is, for example, various sensors such as an acceleration sensor, a gyro sensor, a geomagnetic sensor, an optical sensor, a sound sensor, and an atmospheric pressure sensor.
  • the sensor 910 acquires information related to the state of the transmission device 100 such as the attitude of the housing of the transmission device 100 and information related to the surrounding environment of the transmission device 100 such as brightness and noise around the transmission device 100.
  • the sensor 910 may include a GPS sensor that receives a GPS (Global Positioning System) signal and measures the latitude, longitude, and altitude of the apparatus.
  • GPS Global Positioning System
  • relay device 200 Next, a hardware configuration of the relay device 200 according to an embodiment of the present disclosure will be described.
  • the relay device 200 according to the present embodiment can realize, for example, the relay device 200 according to the above-described embodiment.
  • the relay apparatus 200 includes a CPU 906, a ROM 912, a RAM 914, an image processing circuit 918, a connection I / F 922, a storage medium 924, and a communication apparatus 926 in the hardware configuration of the transmission apparatus 100 illustrated in FIG.
  • duplication description is abbreviate
  • the image processing circuit 918 generates image data of a predetermined reproduction quality in the reproduction range indicated by the trimming range information from the image data stored in the storage medium 924, and writes the image data to the storage medium 924 connected to the connection I / F 922. .
  • the receiving apparatus 300 can realize, for example, the receiving apparatus 300 in the above-described embodiment.
  • the reception device 300 includes a CPU 906, an operation device 908, a ROM 912, a RAM 914, a display device 920, a connection I / F 922, a storage medium 924, and a communication device 926 in the hardware configuration of the transmission device 100 illustrated in FIG.
  • duplication description is abbreviate
  • the display device 920 functions as a display unit 360 that displays image data.
  • the display device 920 is realized by, for example, an LCD or an OLED.
  • the display device 920 displays an image for setting when setting is performed in addition to the captured video.
  • the operation device 908 accepts a reproduction instruction, a reproduction position selection instruction, a setting at the time of reproduction, and the like from the user.
  • the operation device 908 is realized as a touch panel formed integrally with a button, a touch sensor, and a display device 920, for example.
  • the operating device 908 functions as the input unit 140 in the first to third embodiments.
  • each component described above may be configured using a general-purpose member, or may be configured by hardware specialized for the function of each component. Such a configuration can be appropriately changed according to the technical level at the time of implementation.
  • the transmission device 100, the relay device 200, and the reception device 300 according to the present disclosure, the first encoded data used for the first quality stored in the transmission device 100 is transmitted to the reception device 300. Thereafter, the portion corresponding to the reproduction position information in the second encoded data used for the second quality higher than the first quality is transmitted from the transmission device 100 to the reception device 300. Thereby, the user can improve responsiveness about operation which grasps
  • the transmission device 100, the relay device 200, and the reception device are connected via a Wi-Fi wireless LAN as a network using wireless communication, but the present technology is not limited to such an example.
  • it may be connected via a network based on Bluetooth (registered trademark).
  • the relay device 200 is a central device.
  • the receiving device 300 is a central device.
  • the transmission device 100, the relay device 200, and the reception device are connected via a network using wireless communication, but the present technology is not limited to such an example.
  • at least one of the devices may be connected by wire.
  • the relay device 200 or the receiving device 300 and the data storage device connected to a different network of the LAN are connected by wireless communication.
  • the present technology is not limited to such an example.
  • the relay device 200 or the reception device 300 and the data storage device may be connected by wire.
  • a high-resolution quality video is rendered and the rendered video is transmitted to a different network on the LAN.
  • the present technology is not limited to such an example.
  • a medium-resolution quality video may be rendered and the rendered video may be transmitted to different networks on the LAN.
  • the processing of steps S144 to S150 shown in FIG. 5A is not performed.
  • the control unit 210 may render a medium-resolution quality video corresponding to the trimming range information using the low-frequency component data D1 and the medium-frequency component data D2 stored in the storage unit 220. .
  • the transmission device 100 transmits the encoded data used for low-quality reproduction to the reception device 300 in advance according to the format of the encoded data, but the present disclosure is not limited to such an example.
  • the control unit 110 of the transmission apparatus 100 may determine whether or not to transmit encoded data used for reproduction with low resolution quality based on header information or the like stored in the encoded data. At this time, the header information may be added to the encoded data by a user operation.
  • the relay apparatus 200 determines whether to hold encoded data to be relayed according to the quality information, but the present disclosure is not limited to such an example.
  • the control unit 210 of the relay apparatus 200 may hold all encoded data to be relayed, as in the first embodiment. Thereby, for example, transmission from the relay apparatus 200 to the reception apparatus 300 is not normally performed, and transmission of data from the transmission apparatus 100 to the reception apparatus 300 does not occur even when encoded data is transmitted to the reception apparatus 300 again. . For this reason, the total transfer amount of data can be reduced, and power consumption in the entire system can be suppressed.
  • the encoded data is data compressed in the spatial direction, but the present disclosure is not limited to such an example.
  • the encoded data may be data compressed in the time direction or the space direction and the time direction.
  • the frame rate may be lowered
  • low resolution data D1 may be 1 frame per second
  • medium resolution data D2 may be 15 frames per second
  • high resolution data D3 may be 30 frames per second.
  • the transmission device 100, the relay device 200, and the reception device 300 perform transmission / reception of encoded data, but the present disclosure is not limited to such an example.
  • related data having temporal continuity associated with the encoded data may be transmitted and received together with the encoded data.
  • the related data is information obtained at the time of image capture when the content is a captured image, for example.
  • the related data is a distance from the subject image being shot obtained from the focal length.
  • the transmission device 100 is an imaging device that captures an image such as a digital video camera, but the present disclosure is not limited to such an example.
  • a storage device in which content such as video and audio is stored may be used.
  • the first encoded data used for reproduction with the first quality and the second quality higher than the first quality A storage unit that stores second encoded data used for reproduction of the image data, and after receiving the first encoded data to the receiving device, the first positional information on the data position is received from the receiving device. And a communication unit that transmits a portion of the second encoded data corresponding to the first position information to the reception device.
  • the transmitter according to (1) or (2), wherein: (4) The transmission apparatus according to (1) or (2), wherein the first encoded data is data having a higher compression rate than the second encoded data.
  • the storage unit stores third encoded data used for reproduction with a third quality higher than the second quality, and the communication unit stores the second code After the encoded data is transmitted to the receiving device, second position information related to the data position is received from the receiving device, and a portion corresponding to the second position information is transmitted from the third encoded data. , (1) to (4).
  • the communication unit After receiving the first position information, the communication unit selects a portion of the second encoded data corresponding to the previous reproduction position of the reproduction position corresponding to the first position information.
  • the transmission device according to any one of (1) to (5), further transmitting to the reception device.
  • the storage unit stores related data having temporal continuity related to the same content as the first encoded data, and the communication unit transmits the related data to the receiving device.
  • the transmission device according to any one of (6) to (6).
  • the first encoded data used for reproduction with the first quality, and the first quality Communication that relays first encoded data used for reproduction with high quality second quality and relays first position information related to a data position transmitted from the receiving apparatus to the transmitting apparatus.
  • the communication unit relays the first encoded data, then relays the first positional information, and corresponds to the first positional information in the second encoded data.
  • a relay device that relays parts. (9) Based on the format of the first encoded data relayed by the communication unit, a storage unit, and a control unit that determines whether to store the first encoded data in the storage unit; The relay device according to (8), further comprising: (10) The control unit causes the storage unit to hold first encoded data having a format used for both the reproduction of the first quality and the reproduction of the second quality, and the second The relay device according to (9), wherein the storage unit does not hold the first encoded data having a format that is not used for reproduction of the quality.
  • the first encoded data, the second encoded data, and the other encoded data are data having mutually different compression rates, and the first encoded data and the second encoded data
  • the communication unit is used for reproduction with a third quality higher than the second quality transmitted from the transmission device, and is a third code that is one of encoded data.
  • the relay device according to any one of (9) to (11), wherein the relay unit receives the encoded data, and the storage unit stores the third encoded data.
  • the relay device according to any one of (9) to (12), wherein the communication unit receives or relays second position information related to a data position transmitted from the receiving device to the transmitting device. .
  • a control unit that selects a portion corresponding to the second position information from at least one encoded data of the first encoded data, the second encoded data, and the other encoded data.
  • the relay device according to (13).
  • the communication unit communicates with a data storage device, and transmits a portion corresponding to the second position information in the encoded data selected by the control unit to the data storage device.
  • the relay device according to (14).
  • the first unit used for reproduction with the first quality for the control unit that generates the first position information regarding the data position and the same content having temporal continuity transmitted from the transmission device.
  • a communication unit that transmits, and a storage unit that stores encoded data including the received first encoded data and the second encoded data, and the communication unit includes the first encoded data
  • a receiving apparatus that receives the data, transmits the first position information, and receives a portion of the second encoded data corresponding to the first position information.
  • the control unit selects a portion corresponding to the second position information among at least one encoded data of the encoded data, and the communication unit performs communication with a data storage device and selects The receiving device according to (17), wherein a portion corresponding to the second position information is transmitted to a data storage device.
  • the communication unit receives third encoded data used for reproduction with a third quality higher than the second quality transmitted from the transmission device, and the storage unit The receiving apparatus according to any one of (16) to (18), which stores the third encoded data.
  • a data transmission system comprising: the transmission device according to (1); the relay device according to (2); and the reception device according to (3).
  • the computer uses the first encoded data used for reproduction with the first quality for the same content having temporal continuity, and the second quality higher than the first quality.
  • a storage unit for storing second encoded data used for reproduction with a quality of the first, and a first position related to a data position from the receiving apparatus after transmitting the first encoded data to the receiving apparatus A storage medium storing a program for functioning as a communication unit that receives information and transmits a portion of the second encoded data corresponding to the first position information to the receiving device.
  • (22) First encoded data used for reproduction with a first quality for the same content having temporal continuity transmitted from the transmission device to the reception device; and the first Relaying the second encoded data used for reproduction with the second quality higher than the quality of the first quality information, and the first position information regarding the data position transmitted from the receiving device to the transmitting device
  • a program for functioning as a communication unit to be relayed is stored, the communication unit relays the first encoded data, then relays the first location information, and includes the second encoded data.
  • the storage medium relays a portion corresponding to the first position information.
  • the computer is used for reproduction with the first quality for the same content having temporal continuity transmitted from the transmission device and the control unit that generates the first position information regarding the data position.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Library & Information Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】コンテンツの処理に関する即応性を高めることが可能な、新規かつ改良された送信装置、中継装置及び受信装置を提案する。 【解決手段】本開示によれば、時間的な連続性を有する同一のコンテンツについて、第1の品質での再生のために用いられる第1の符号化データと、第1の品質よりも高品質な第2の品質での再生のために用いられる第2の符号化データとを記憶する記憶部と、第1の符号化データを受信装置に送信した後、受信装置からデータ位置に関する第1の位置情報を受信し、第2の符号化データのうちで第1の位置情報に対応する部分を受信装置に送信する通信部と、を備える、送信装置が提供される。

Description

送信装置、中継装置及び受信装置
 本開示は、送信装置、中継装置及び受信装置に関する。
 近年、映像や音声などのコンテンツのデータを送信装置から再生及び編集の少なくとも一方が可能な受信装置に対して、配信するという需要が高まっている。
 例えば、特許文献1には、ビデオコンテンツの最初の数10秒などであるスターティングブロックをユーザからの操作なしに自動転送しておくことで、ストリーミング再生の開始までの待ち時間を短縮することが開示されている。
特開2006-109480号公報
 しかし、受信装置にて映像の再生が行われる場合、ユーザが目的とする再生位置は、ビデオコンテンツの最初でないことがあり得る。この場合、例えば、ユーザは受信装置の再生位置を探し出すために、再生位置を移動させるシーキングを繰り返す。ユーザは、移動した再生位置での映像を確認することで、現在の再生位置が目的とする再生位置か否か、または目的の再生位置が現在の再生位置のどの程度前後にあるかを判断する。また、受信装置にて配信された映像の編集が行われる場合についても同様に、ユーザが目的とする再生位置を探し出すために、シーキングが行われる。
 このような、シーキングにより複数の再生位置が選択される(このような操作をザッピングともいう)場合、選択される再生位置はユーザにより任意に選択される。このため、例えば最初の数10秒以外の再生位置が選択された場合、特許文献1で開示された技術では、ストリーミング再生の開始まで待ち時間が発生し、即応性が低くなる。
 そこで、本開示では、コンテンツの処理に関する即応性を高めることが可能な、新規かつ改良された送信装置、中継装置及び受信装置を提案する。
 本開示によれば、時間的な連続性を有する同一のコンテンツについて、第1の品質での再生のために用いられる第1の符号化データと、第1の品質よりも高品質な第2の品質での再生のために用いられる第2の符号化データとを記憶する記憶部と、第1の符号化データを受信装置に送信した後、受信装置からデータ位置に関する第1の位置情報を受信し、第2の符号化データのうちで第1の位置情報に対応する部分を受信装置に送信する通信部と、を備える、送信装置が提供される。
 また、本開示によれば、送信装置から受信装置に送信される時間的な連続性を有する同一のコンテンツについて、第1の品質での再生のために用いられる第1の符号化データと、第1の品質よりも高品質な第2の品質での再生のために用いられる第2の符号化データとを中継し、受信装置から送信装置に送信されるデータ位置に関する第1の位置情報を中継する通信部を備え、通信部は、第1の符号化データを中継した後、第1の位置情報を中継し、第2の符号化データのうちで第1の位置情報に対応する部分を中継する、中継装置法が提供される。
 また、本開示によれば、データ位置に関する第1の位置情報を生成する制御部と、送信装置から送信される時間的な連続性を有する同一のコンテンツについて、第1の品質での再生のために用いられる第1の符号化データと、第1の品質よりも高品質な第2の品質での再生のために用いられる第2の符号化データとを受信し、第1の位置情報を送信装置に送信する通信部と、受信した第1の符号化データと第2の符号化データとを含む符号化データを記憶する記憶部と、を備え、通信部は、第1の符号化データを受信した後、第1の位置情報を送信し、第2の符号化データのうちで第1の位置情報に対応する部分を受信する、受信装置が提供される。
 本開示によれば、第1の符号化データが送信装置から受信装置に送信された後、第1の位置情報に対応する第2の符号化データの部分が送信装置から受信装置に送信される。したがって、第1の品質の再生のために用いられる第1の符号化データが受信装置に記憶された状態で、第2の品質の再生のために用いられる第2の符号化データのうちでユーザが必要な部分のみが受信装置に送信される。
 以上説明したように本開示によれば、コンテンツの処理に関する即応性を高めることが可能な、新規かつ改良された送信装置、中継装置及び受信装置が提供される。
 なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の第1の実施形態に係るデータ伝送システムの構成を示した説明図である。 同実施形態に係る送信装置、中継装置及び受信装置の構成を示した機能ブロック図である。 同実施形態に係る受信装置の表示部における表示例の説明図である。 同実施形態に係るデータ伝送システムにおいて、映像を編集し、LANと異なるネットワークへ送信する動作を示した説明図である。 同実施形態における、低周波成分データ及び中周波成分データの送信シーケンスを示したシーケンス図である。 同実施形態における、高周波成分データの送信シーケンス及び映像を生成してLANと異なるネットワークへ送信するシーケンスを示したシーケンス図である。 同実施形態に係る中継装置の中周波成分を取得する処理を示したフローチャートである。 本開示の第2の実施形態に係るデータ伝送システムにおいて、映像を編集し、中解像度のデータをLANと異なるネットワークへ送信する動作を示した説明図である。 同実施形態における、低解像度データ及び中解像度データの送信シーケンスを示したシーケンス図である。 同実施形態における、中解像度の映像を生成してLANと異なるネットワークへ送信するシーケンスを示したシーケンス図である。 同実施形態に係る中継装置のデータの中継動作を示したフローチャートである。 同実施形態に係るデータ伝送システムにおいて、映像を編集し、高解像度のデータをLANと異なるネットワークへ送信する動作を示した説明図である。 同実施形態における、低解像度データ及び中解像度データの送信シーケンスを示したシーケンス図である。 同実施形態における、高解像度データの送信シーケンス及び高解像度の映像を生成してLANと異なるネットワークへ送信するシーケンスを示したシーケンス図である。 本開示の第3の実施形態に係るデータ伝送システムを示した説明図である。 同実施形態に係る送信装置、中継装置及び受信装置の構成を示した機能ブロック図である。 本開示の一実施形態に係る送信装置のハードウェア構成を説明するためのブロック図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 なお、説明は以下の順序で行うものとする。
 1.第1の実施形態(データがSVC形式の例)
  1―1.データ伝送システムの概略説明
  1―2.データを編集し、LANと異なるネットワークへ送信する動作例
 2.第2の実施形態(データが圧縮形式の例)
  2-1.データ伝送システムの概略説明
  2-2.中解像度のデータを編集し、LANと異なるネットワークへ送信する動作例
  2-3.高解像度のデータを編集し、LANと異なるネットワークへ送信する動作例
 3.第3の実施形態(他のデータ伝送システム)
 4.ハードウェア構成
 5.むすび
 <1.第1の実施形態(データがSVC形式の例)>
 [1-1.データ伝送システムの概略説明]
 まず、図1~図3を参照して、本開示の第1の実施形態に係るデータ伝送システムの概略構成について説明する。
 図1は、本開示の第1の実施形態に係るデータ伝送システムの構成を示した説明図である。図1に図示したデータ伝送システムは、送信装置100と、中継装置200と、受信装置300とを含む。
 図1に図示した例では、送信装置100と受信装置300とは、中継装置200を介してデータの送受信をする。送信装置100、中継装置200及び受信装置300は、例えば無線通信を利用したLAN(Local Area Network)に接続されることにより、互いにデータの送受信を行う。中継装置200は、送信装置100及び受信装置300が接続されたLANと異なるネットワーク400に接続することができ、異なるネットワーク400に接続された他のデータ記憶装置とデータの送受信を行う。
 本実施形態に係るデータ伝送システムでは、送信装置100に記憶された時間的な連続性を有する映像や音声などのコンテンツのデータが、中継装置200を介して受信装置300に送信される。送信されたデータは、受信装置300で編集され、中継装置200を介してLANと異なるネットワーク400に接続された他のデータ記憶装置へ送信される。
 図2は、本実施形態に係る送信装置100、中継装置200及び受信装置300の構成を示した機能ブロック図である。
 (送信装置100)
 送信装置100は、例えばデジタルビデオカメラ等の映像を撮像する撮像装置である。図2に図示した例では、送信装置100は、例えば制御部110と、記憶部120と、通信部130と、入力部140と、撮像部150とを含む。
 制御部110は、送信装置100が有する各構成を制御する。例えば、制御部110は、図2に示すように、入力部140から出力された操作信号に応じたコントロール信号を各構成に出力し、撮像制御、画像処理制御および記録制御等を実行する。また、制御部110は、通信部130を制御する通信制御部としても機能する。
 記憶部120は、例えばメモリーカード、HDD(Hard
Disk Drive)又はSSD(Solid State Drive)等の記憶媒体である。記憶部120は、後述する制御部110から送信される所定の形式に符号化されたデータや中継装置200等の外部装置から送信されるデータを記憶する。
 通信部130は、制御部110による制御に従い、例えば中継装置200等の周囲の外部装置と無線通信を行うインターフェイスである。例えば、通信部130は、中継装置200をアクセスポイントとするWi-Fi無線LANに接続することで、中継装置200を介して同じLANに接続された受信装置300や中継装置200とデータの送受信を行う。
 入力部140は、ユーザによる操作入力を検出し、操作信号として制御部110に出力する。入力部140は、例えば撮像の開始と終了が入力される撮像ボタン等の物理的な構成よりなるボタンであってもよく、操作画面へのタッチ操作を検出するタッチパネルであってもよい。
 撮像部150は、例えばレンズ等の光学系と、CCD(Charge Coupled Device)またはCMOS(Complementary
Metal Oxide Semiconductor)等の撮像素子からなる信号変換部を含む。撮像部150は、制御部110の制御に従い、光学系により形成される被写体像を信号変換部にて電気的な画像信号に変換させる。画像信号は、制御部110にて所定の形式に符号化され、記憶部120に送られる。
 (中継装置200)
 中継装置200は、例えばモバイルWi―Fiルーターやデザリング機能を有するスマートフォン等である。中継装置200は、例えば制御部210と、記憶部220と、通信部230とを含む。
 制御部210は、中継装置200が有する各構成を制御する。例えば、制御部210は、記録制御および画像処理制御等を実行する。また、制御部210は、通信部230を制御する通信制御部としても機能する。
 記憶部220は、例えばメモリーカード、HDD又はSSD等の記憶媒体である。記憶部220は、制御部210による制御に従い、例えば送信装置100から通信部230に送信される符号化データや、受信装置300から通信部230に送信されるデータを記憶する。
 通信部230は、制御部210による制御に従い、例えば送信装置100及び受信装置300と無線通信を行うインターフェイスである。例えば、通信部230は、アクセスポイントとなり、送信装置100と受信装置300とが接続されたWi-Fi無線LANを形成する。また、通信部230は、送信装置100と受信装置300とが接続されたLANと異なるネットワーク400に接続することができ、異なるネットワークに接続されたデータ記憶装置とデータ通信を行うことができる。さらに、通信部230は、ゲートウェイとして機能し、LANと異なるインターネット等にデータ通信をすることができる。
 (受信装置300)
 受信装置300は、例えばウェアブルデバイスやタブレット端末等の情報処理装置である。受信装置300は、例えば制御部310と、記憶部320と、通信部330と、入力部340と、表示部360とを含む。
 制御部310は、受信装置300が有する各構成を制御する。例えば、制御部310は、図2に示すように、入力部340から出力された操作信号に応じたコントロール信号を各構成に出力し、画像処理制御、記録制御およびデータ生成制御等を実行する。また、制御部310は、同じLANに接続された装置からのデータの送信に応じて、記録制御等を実行する。さらに、制御部310は、通信部330を制御する通信制御部としても機能する。
 記憶部320は、例えばメモリーカード、HDD又はSSD等の記憶媒体である。記憶部320は、中継装置200を介して送信装置100から送信されるデータを記憶する。また、記憶部320は、制御部310により生成されるデータを記憶する。
 通信部330は、制御部310による制御に従い、例えば送信装置100及び中継装置200と無線通信を行うインターフェイスである。例えば、通信部330は、中継装置200をアクセスポイントとするWi-Fi無線LANに接続することで、中継装置200を介して同じLANに接続された送信装置100や中継装置200とデータの送受信を行う。
 入力部340は、ユーザによる操作入力を検出し、操作信号として制御部310に出力する。入力部340は、例えば選択操作や移動操作が入力される撮像ボタン等の物理的な構成よりなるボタンであってもよく、後述する表示部360へのタッチ操作を検出するタッチパネルであってもよい。
 表示部360は、例えばLCD(Liquid Crystal Display)、または有機EL(Electro Luminescence)ディスプレイなどの表示装置である。表示部360は、制御部310による制御に従い、例えば記憶部320に記憶された映像等のコンテンツを表示してユーザに提示する。
 図3は、本実施形態に係る受信装置300の表示部360における表示例の説明図である。図3に図示した例では、表示部360は、タッチパネルからなり、ユーザの接触操作を感知する入力部340としても機能する。
 表示部360には、例えばコンテンツ表示領域361と、シークバー362と、再生位置363と、再生時間364と、総再生時間365とが表示される。
 コンテンツ表示領域361は、例えば記憶部320に記憶された映像が表示される。シークバー362は、総再生時間365に対する再生位置363の相対的な位置を示す。再生位置363は、シークバー362上に表示され、コンテンツ表示領域361に再生されている映像の再生位置を相対的に示す。再生時間364は、再生位置363における再生時間を示す。総再生時間365は、コンテンツ表示領域361に表示された映像の総再生時間を示す。
 例えば、ユーザは、接触操作を行い、再生位置363をシークバー362上の任意の位置に移動させることにより、任意の再生位置の映像をコンテンツ表示領域361に表示させることができる。以上、本開示の第1の実施形態に係るデータ伝送システムの概略構成を説明した。
 [1-2.データを編集し、LANと異なるネットワーク送信する動作例]
 次に、図4~6を参照して本実施形態に係るデータ伝送システムにおいて、映像を編集し、LANと異なるネットワーク400へ送信する動作の一例を説明する。本実施形態の編集方法では、送信装置100に記憶された高解像度の品質の映像について、ユーザが目的とする任意の再生時間の範囲の映像が切り出される(このような処理をトリミングともいう)。トリミングされた映像は、LANと異なるネットワーク400に接続されたデータ記憶装置に送信される。
 図4は、本実施形態に係るデータ伝送システムにおいて、映像を編集し、LANと異なるネットワーク400へ送信する動作を示した説明図である。図5Aは、本実施形態における、低周波成分データD1及び中周波成分データD2の送信シーケンスを示したシーケンス図である。図5Bは、本実施形態における、高周波成分データD3の送信シーケンス及び映像を生成してLANと異なるネットワークへ送信するシーケンスを示したシーケンス図である。
 本実施形態における映像は、例えば送信装置100にて撮像された映像のデータである。送信装置100で撮像される映像は、制御部110にてSVC(Scalable
Video Coding)形式に符号化され、記憶部120に記憶される。SVC形式は、多層的なデータ構造を有し、複数のレイヤの組み合わせにより複数の品質で再生させることができる映像符号化形式である。
 本実施形態では、図4に図示したように、SVC形式で符号化されたデータは、低周波成分データD1と、中周波成分データD2と、高周波成分データD3との3つの符号化データからなるレイヤを有する。SVC形式で符号化されたデータは、低解像度、中解像度及び高解像度の3つの品質で再生することができる。このとき、低解像度の品質で再生が行わる場合、低周波成分データD1が用いられる。また、中解像度の品質で再生が行われる場合、低周波成分データD1及び中周波成分データD2の2つの符号化データが用いられる。さらに、高解像度の品質で再生が行われる場合、低周波成分データD1、中周波成分データD2及び高周波成分データD3の3つの符号化データが用いられる。
 つまり、高い解像度で再生するためのデータは、低周波成分データD1に加えてそれよりも高い周波成分データを差分として追加することで得られる。
 (低周波成分データの送信シーケンス)
 まず、低周波成分データD1の送信シーケンスについて説明する。送信装置100の記憶部120に一つまたは複数のコンテンツについての符号化データが記憶されている場合、制御部110は、受信装置300に送信する符号化データを選択する。このとき、制御部110は、例えばデータの形式がSVC形式か否かを判断し、SVC形式の符号化データを選択する(S110)。
 次いで、通信部130は、制御部110による制御に従い、選択されたSVC形式の符号化データの低周波成分データD1を中継装置200に送信する(S112)。
 さらに、中継装置200の制御部210は、送信された低周波成分データD1を記憶部220に保持させる(S114)。ステップS114の後、通信部230は、制御部210による制御に従い、送信された低周波成分データD1を受信装置300に送信する(S116)。本実施形態におけるデータの保持とは、中継のためにデータを一時的に記憶させることではなく、中継後もデータを処理できるように記憶部220に記憶させることである。
 その後、受信装置300の制御部310は、送信された低周波成分データD1を記憶部320に記憶させる(S118)。図4に図示した状態(i)は、ステップS118の処理が行われた状態を示し、送信装置100から送信された低周波成分データD1が、中継装置200及び受信装置300に記憶されている状態である。
 状態(i)において、例えば受信装置300は、送信された低周波成分データD1を用いて低解像度の品質でコンテンツを再生することができる。これにより、ユーザは、低解像度の品質の映像を確認することができ、映像の概略を把握することができる。このとき、低周波成分データD1は、予め受信装置300内に記憶されており、通信環境の影響がなく表示されるため、即応性を高めることができる。
 また、後述する受信装置300にて中解像度の品質でストリーミング再生を行う場合においても、ユーザが選択した再生位置について、ストリーミング再生が開始される前に低解像度の品質で映像または画像を表示させることができる。これにより、ストリーミング再生が開始されるまでの間に、ユーザはどのような映像が表示されるかを把握することができ、目的の映像を容易に探し出すことが可能となる。
 低周波成分データD1の送信シーケンスは、制御部110により自動的に開始されてもよく、ユーザの操作に基づいて開始されてもよい。自動的にシーケンスが開始される場合、例えば制御部110が一定時間毎に記憶部120に記憶された符号化データから未送信のSVC形式の符号化データを選択してもよい。また、記憶部120に新たな符号化データが記憶されたタイミングで、制御部110は記憶部120に記憶された符号化データから未送信のSVC形式の符号化データを選択してもよい。
 (中周波成分データの送信シーケンス)
 次に、中周波成分データD2の送信シーケンスについて説明をする。中周波成分データD2の送信シーケンスは、例えば、ステップS118の後、受信装置300にて低周波成分データD1に基づいて再生位置がユーザの操作により選択されることで開始する。中周波成分データD2の送信シーケンスが開始すると、受信装置300の制御部310は、選択された再生位置を示す第1の位置情報である再生位置情報を生成する(S120)。再生位置情報は、例えば、選択された再生位置を示す再生時間を含む。
 さらに、通信部330は、制御部310による制御に従い、生成された再生位置情報を中継装置200に送信する(S122)。ステップS122の後、中継装置200の通信部230は、制御部210による制御に従い、受信した再生位置情報を送信装置100に送信する(S124)。
 その後、送信装置100の制御部110は、受信した再生位置情報に対応する中周波成分データD2の少なくとも一部を選択する(S126)。ステップS126の後、通信部130は、制御部110による制御に従い、選択された中周波成分データD2を中継装置200に送信する(S128)。
 次いで、中継装置200の制御部210は、受信した中周波成分データD2を記憶部220に保持させる(S130)。ステップS130の後、通信部230は、制御部210の制御に従い、受信した中周波成分データD2を受信装置300に送信する(S132)。
 さらに、受信装置300の制御部310は、受信した中周波成分データD2を記憶部320に記憶させる(S134)。図4に図示した状態(ii)は、ステップS134の処理が行われた状態を示し、選択された中周波成分データD2が中継装置200及び受信装置300に記憶されている状態である。
 中周波成分データの送信シーケンスが開始した後、受信装置300は、受信した中周波成分データD2と予め記憶していた低周波成分データD1を用いて、中解像度の品質でコンテンツを再生する。このとき、制御部310は、フレームレートに応じて再生位置P1を変更する。例えば、制御部310は、フレームレートが秒速30フレームである場合、33ミリ秒だけ再生位置を進める。再生位置P1が変更された後、制御部310により変更された再生位置P1に対応する再生位置情報が生成され、S120からS134までの処理が繰り返される。
 なお、本実施形態では、ステップS126において、再生位置情報に対応する中周波成分データD2として、再生位置P1を含む中周波成分データD2の一部に加え、さらにその先の再生位置に対応する一部が選択されてもよい。このとき、制御部110は、例えば再生位置P1を含む中周波成分データD2の一部を先に送信させ、その後、さらにその先の再生位置に対応する中周波成分データD2の一部を送信させてもよい。このとき、再生位置のどの程度先の再生位置が選択されるかは、通信環境に応じて自動的に設定されてもよく、ユーザにより任意に設定されてもよい。
 図4に示した状態(iii)は、再生位置P1を含む中周波成分データD2の一部、及びその先の再生位置に対応する中周波成分データD2の一部が、中継装置200及び受信装置300に記憶されている状態である。受信装置300において、コンテンツの再生中にこのような処理が行われることで、中解像度の品質でのストリーミング再生が行われる。
 図6を参照して、中周波成分データD2の取得する処理の詳細について説明する。図6は、本実施形態に係る中継装置200の中周波成分を取得する処理を示したフローチャートである。
 まず、中周波成分データD2の送信シーケンスが開始されると、受信装置300の制御部310は、再生位置P1を選択する(S170)。次いで、制御部310は、再生位置P1に応じて、中周波成分データが記憶される記憶部320の中周波成分データテーブルを更新する(S172)。中周波成分データテーブルは、図4の受信装置300のデータテーブルの中で、中周波成分データD2の集合である。制御部310が更新に用いるアルゴリズムは、アプリケーション依存ではあるが、最もシンプルなアルゴリズムを表1に示す。
Figure JPOXMLDOC01-appb-T000001
 表1の1行目を参照すると、テーブルの各要素は以下の4つの状態を持つ。
  NONE:              中周波成分データD2は存在しないし、取得する予定もない。
  WILL_FETCH:        中周波成分データD2は存在しないので、取得する予定。
  FETCHING:          中周波成分データD2は存在しないので、取得中。
  FILLED:            中周波成分データは存在する。
 また、表1の2行目~3行目を参照すると、再生位置に相当する要素がNONEの場合はWILL_FETCHとなり、中周波成分データD2の取得が試みられる。さらに、表1の4行目~5行目を参照すると、再生位置に相当する要素の次の要素がNONEの場合はWILL_FETCHとなり、中周波成分データD2の取得が試みられる。
 図6のステップS172の後、制御部310は、中周波成分データテーブルに「取得予定」の項目があるか否かを判断する(S174)。
 ステップS174の判断の結果、「取得予定」の項目がない場合、制御部310は、中周波成分データD2を取得する動作を終了する。
 また、ステップS174の判断の結果、「所得予定」の項目がある場合、制御部310は、通信帯域に中周波成分データD2を伝送する余裕があるか否かを判断する(S176)。
 ステップS176の判断の結果、通信帯域に余裕がない場合、制御部310は、中周波成分を取得する動作を終了する。
 また、ステップS176の判断の結果、通信帯域に余裕がある場合、制御部310は、「取得予定」の中周波成分データD2を含む再生位置情報を生成し、中継装置200に送信する。さらに、制御部310は、「取得予定」の項目を「取得中」に変更する(S178)。これにより、「取得予定」の中周波成分データD2が、送信装置100から中継装置200を介して受信装置300に送信される。
 なお、図6に図示した処理は、映像が再生中等の再生位置が自動で変化する場合、またはユーザの操作により再生位置が変化する場合にも行われる。図4の状態(iv)は、状態(iii)の後、再生位置P1がユーザの操作により先の再生位置に移動した状態を示す。再生位置が移動された後、ステップS120~S134の処理が行われ、移動した再生位置P1に対応した中周波成分データD2が記憶部320に記憶される。
 さらに、このとき、ステップS126において、例えば、再生位置情報に対応する中周波成分データD2として、再生位置P1を含む中周波成分データD2の一部に加え、さらにその先の再生位置P1に対応する一部が選択されてもよい。このとき、制御部110は、例えば再生位置P1を含む中周波成分データD2の一部を先に送信させ、その後、さらにその先の再生位置に対応する中周波成分データD2の一部を送信させてもよい。再生位置P1のさらにその先の再生位置に対応する中周波成分データD2が送信されることで、図4の状態(v)に示すように、中継装置200及び受信装置300に対応する中周波成分データD2が記憶される。
 (高周波成分データの送信・高画質映像の生成シーケンス)
 次に、高周波成分データの送信・高画質映像の生成シーケンスについて説明する。高周波成分データの送信・高画質映像の生成シーケンスは、ステップS134の後、例えばユーザの操作により受信装置300にてトリミング範囲が選択されることで開始する。
 まず、任意の再生位置の範囲に対するユーザの選択操作に基づいて、制御部310はトリミング範囲情報を生成する(S140)。トリミング範囲情報は、例えばトリミングを開始する再生位置の位置情報と、トリミングを終了する再生位置の位置情報とが含まれる。ユーザの選択操作は、例えば図3に図示したシークバー362上で、トリミングの開始位置と終了位置とが選択される操作であり、入力部340により検出される。図4の状態(v)は、ユーザの選択操作に基づいて、再生位置の範囲P2が選択された状態を示す。
 次いで、通信部330は、制御部310による制御に従い、トリミング範囲情報を中継装置200に送信する(S142)。S142の後、中継装置200の通信部230は、制御部210による制御に従い、受信したトリミング範囲情報を送信装置100に送信する(S144)。
 さらに、送信装置100の制御部110は、受信したトリミング範囲情報に対応する高周波成分データD3の少なくとも一部を選択する(S146)。このとき、制御部110は、例えばトリミング範囲情報が示す再生位置の範囲に対応する高周波成分データD3の部分を選択する。
 その後、通信部130は、制御部110による制御に従い、選択された高周波成分データD3を中継装置200に送信する(S148)。
 次いで、中継装置200の制御部210は、受信した高周波成分データD3を記憶部220に記憶させる(S150)。図4の状態(vi)は、ステップS150の後、トリミング範囲情報が示す再生位置の範囲P2に対応した高周波成分データD3が記憶部220に記憶されている状態を示す。
 さらに、制御部210は、記憶部220に記憶された、低周波成分データD1と中周波成分データD2と高周波成分データD3とを用いて、トリミング範囲情報に対応する範囲についての高解像度の品質の映像を生成(レンダリングともいう)する(S152)。図4の状態(vii)は、ステップS152の後、トリミング範囲情報の示す再生位置の範囲P2に対応した範囲についての高解像度の品質の映像が生成された状態を示す。
 (LANと異なるネットワークへの送信シーケンス)
 次に、中継装置200にてレンダリングされた映像をLANと異なるネットワーク400へ送信するシーケンスについて説明する。レンダリングされた映像をLANと異なるネットワーク400へ送信するシーケンスは、例えばステップS152の後、ユーザの操作により受信装置にて送信操作が選択されることで開始してもよい。また、レンダリングされた映像をLANと異なるネットワーク400へ送信するシーケンスは、例えばステップS152の後、制御部210の制御に従い、自動的に行われてもよい。本実施形態では、レンダリングされた映像は、例えばLANと異なるネットワーク400に接続されたサーバや情報処理装置等のデータ記憶装置に送信される。
 (中継装置200の中継動作)
 なお、本実施形態では、中継装置200の制御部210は、送信装置から送信される低周波成分データD1や中周波成分データD2等の符号化データを中継する際に、記憶部220に保持させるか否かを符号化データの形式に基づいて判断してもよい。
 例えば、制御部210は、中継するべき符号化データを受信した後、受信した符号化データがSVC形式か否かを判断する。判断の結果、受信した符号化データがSVC形式である場合、制御部210は、記憶部220に受信した符号化データを保持させ、中継を行う。一方、受信した符号化データがSVC形式でない場合、制御部210は、受信した符号化データを保持させず、中継のみ行う。さらに、受信した符号化データがSVC形式でない場合、例えば後述する他の形式に基づいた判断がさらに行われることで、符号化データの保持が行われてもよい。
 以上、本実施形態に係るデータ伝送システムにおいて、映像を編集し、LANと異なるネットワーク400へ送信する動作の一例を説明した。本実施形態に係るデータ伝送システムでは、SVC形式で記憶された映像について、予め低周波成分データD1が送信装置100から送信され、中継装置200と受信装置300とに記憶される。これにより、ユーザは、低解像度の品質の映像を確認することができ、映像の概略を把握することができる。このとき、低周波成分データD1は、予め受信装置300内に記憶されており、通信環境の影響がなく表示されるため、即応性を高めることができる。
 また、本実施形態に係るデータ伝送システムでは、再生位置情報に対応する中周波成分データD2が送信装置100から受信装置300に送信され、中継装置200及び受信装置300に記憶される。このとき、ユーザが選択した任意の箇所についての中周波成分データD2の部分のみが送信されるため、中周波成分データD2を全て送信する場合と比較すると、データの総転送量を低減することができる。これにより、システム全体における電力消費を抑えることができる。
 さらに、本実施形態に係るデータ伝送システムでは、ユーザは中解像度の品質で映像をストリーミング再生させながら、目的の再生位置又は範囲をシーキングする。このとき、本実施形態に係るデータ伝送システムでは、高解像度の品質で映像をストリーミング再生させながらシーキングする場合に比べ、データの総転送量を低減でき、即応性の高めることができる。
 さらに、本実施形態に係るデータ伝送システムでは、中継装置200は、中継する低周波成分データD1や中周波成分データD2の符号化データを保持する。例えば中継装置200から受信装置300への伝送が正常に行われず、受信装置300へ再度符号化データを伝送させる場合において、本実施形態では、中継装置200に記憶された符号化データを受信装置300に送信する処理が行われる。したがって、本実施形態に係るデータ伝送システムでは、かかる場合においても、送信装置100から受信装置300へのデータの伝送が発生しないため、データの総転送量を低減でき、システム全体における電力消費を抑えることができる。
 さらに、本実施形態に係るデータ伝送システムでは、トリミング範囲情報に対応する高周波成分データD3が送信装置100から中継装置200に送信され、中継装置200にてトリミング範囲情報に対応した高解像度の品質の映像がレンダリングされる。このとき、受信装置300には高周波成分データD3は送信されず、中継装置200にも高周波成分データD3のレンダリングに必要な部分しか送信されないため、データの総転送量が低減される。これにより、本実施形態に係るデータ伝送システムでは、システム全体における電力消費を抑えることができる。
 さらに、本実施形態に係るデータ伝送システムでは、中継装置200に記憶された、低周波成分データD1、中周波成分データD2及び高周波成分データD3を用いてレンダリングが行われ、レンダリングされた映像がLANと異なるネットワーク400に送信される。このため、中継装置200に各符号化データを記憶させない場合と比べ、レンダリングした映像をLANと異なるネットワーク400に送信する際に、送信装置100又は受信装置300と中継装置200との間のデータ転送量を低減することができる。これにより、本実施形態に係るデータ伝送システムでは、システム全体における電力消費を抑えることができる。
 <2.第2の実施形態(データが圧縮形式の例)>
 [2-1.データ伝送システムの概略説明]
 次に、本開示の第2の実施形態に係るデータ伝送システムについて説明する。本実施形態では、送信装置100に記憶された映像を編集し、所定の解像度の品質でLANと異なるネットワーク400へ送信する処理例である。
 本実施形態では、映像についての符号化データが圧縮された形式で送信装置100に記憶されることが、第1の実施形態と異なる。送信装置100に記憶された符号化データは、例えば空間方向に圧縮された符号化データである。記憶部120には、同一のコンテンツを示す複数の圧縮率で圧縮された複数の符号化データが記憶される。また、本実施形態では、映像を所定の解像度の品質でLANと異なるネットワーク400へ送信することが第1の実施形態と異なる。なお、本実施形態に係るデータ伝送システム、送信装置100、中継装置200及び受信装置300の装置構成については、上述の第1の実施形態と同様とする。
 [2-2.中解像度のデータを編集し、LANと異なるネットワークへ送信する動作例]
 図7~9を参照して、中解像度の品質の映像を生成し、生成した映像をLANと異なるネットワーク400へ送信する動作例について説明する。図7は、本開示の第2の実施形態に係るデータ伝送システムにおいて、映像を編集し、中解像度のデータをLANと異なるネットワーク400へ送信する動作を示した説明図である。図8Aは、本実施形態における、低解像度データD1及び中解像度データD2の送信シーケンスを示したシーケンス図である。図8Bは、本実施形態における、中解像度の映像を生成してLANと異なるネットワークへ送信するシーケンスを示したシーケンス図である。
 図7に図示したように、本実施形態では、送信装置100の記憶部120には、同一のコンテンツを示す低解像度データD1と、中解像度データD2と、高解像度データD3との3つの符号化データが記憶される。3つの符号化データは、圧縮率が異なり、低解像度データD1が最も圧縮率が高く、高解像度データD3が最も圧縮率が低くなる。したがって、3つの符号化データの容量は、低解像度データD1が最も少なく、高解像度データD3が最も多くなる。また、低解像度データD1は低解像度の品質での再生、中解像度データD2は中解像度の品質での再生、高解像度データD3は高解像度の品質での再生にそれぞれ個別に用いられる。
 (低解像度データの送信シーケンス)
 まず、低解像度データD1の送信シーケンスについて説明する。送信装置100の記憶部120に一つまたは複数のコンテンツについての符号化データが記憶されている場合、制御部110は、受信装置300に送信するデータを選択する。このとき、制御部110は、例えば同一のコンテンツを示す符号化データが複数の圧縮率で圧縮された形式か否かを判断し、低解像度、中解像度及び高解像度の3つの圧縮率で圧縮された形式の符号化データを選択する(S210)。
 次いで、通信部130は、制御部110による制御に従い、選択された低解像度データD1を中継装置200に送信する(S212)。ステップS212の後、通信部230は、制御部210による制御に従い、送信された低解像度データD1を受信装置300に送信する(S214)。
 さらに、受信装置300の制御部310は、送信された低解像度データD1を記憶部320に記憶させる(S216)。図7に図示した状態(i)は、ステップS118の処理が行われた状態を示し、送信装置100から送信された低解像度データD1が、受信装置300に記憶されている状態を示す。状態(i)において、例えば受信装置300は、送信された低解像度データD1を用いて低解像度の品質でコンテンツを再生することができる。
 低解像度データD1の送信シーケンスは、第1の実施形態における低周波成分データD1の送信シーケンスと同様に、制御部110により自動的に開始されてもよく、ユーザの操作に基づいて開始されてもよい。
 (中解像度データの送信シーケンス)
 次に、中解像度データD2の送信シーケンスについて説明をする。中解像度データD2の送信シーケンスは、例えば、ステップS216の後、受信装置300にて低解像度D1に基づいて再生位置がユーザの操作により選択されることで開始する。まず、中解像度データD2の送信シーケンスが開始すると、受信装置300の制御部310は、選択された再生位置を示す第1の位置情報である再生位置情報を生成する(S220)。再生位置情報は、例えば、選択された再生位置を示す再生時間を含む。
 次いで、通信部330は、制御部310による制御に従い、生成された再生位置情報を中継装置200に送信する(S222)。ステップS222の後、中継装置200の通信部230は、制御部210による制御に従い、受信した再生位置情報を送信装置100に送信する(S224)。
 さらに、送信装置100の制御部110は、受信した再生位置情報に対応する中解像度データD2の少なくとも一部を選択する(S226)。ステップS126の後、通信部130は、制御部110による制御に従い、選択された中解像度データD2を中継装置200に送信する(S228)。
 その後、中継装置200の制御部210は、受信した中解像度データD2を記憶部220に保持させる(S230)。ステップS230の後、通信部230は、制御部210の制御に従い、受信した中解像度データD2を受信装置300に送信する(S232)。
 次いで、受信装置300の制御部310は、受信した中解像度データD2を記憶部320に記憶させる(S234)。図7に図示した状態(ii)は、ステップS234の処理が行われた状態を示し、選択された中解像度データD2が、送信装置100及び中継装置200に記憶されている状態である。
 中解像度データの送信シーケンスが開始した後、受信装置300は、受信した中解像度データD2を用いて、中解像度の品質でコンテンツを再生する。このとき、制御部310は、第1の実施形態と同様に、フレームレートに応じて再生位置P1を変更する。
(中解像度の映像生成シーケンス)
 次に、中解像度の映像生成シーケンスについて説明する。中解像度の映像生成シーケンスは、ステップS234の後、ユーザの操作により受信装置300にてトリミング範囲が選択されることで開始する。
 まず、任意の再生位置の範囲に対するユーザの選択操作に基づいて、制御部310は第2の位置情報であるトリミング範囲情報を生成する(S240)。トリミング範囲情報は、例えばトリミングを開始する再生位置の位置情報と、トリミングを終了する再生位置の位置情報とが含まれる。ユーザの選択操作は、第1の実施形態と同様に検出される。図7の状態(v)は、ユーザの選択操作に基づいて、再生位置の範囲P2が選択された状態を示す。
 次いで、通信部330は、制御部310による制御に従い、トリミング範囲情報を中継装置200に送信する(S242)。
 さらに、制御部210は、記憶部220に記憶された、中解像度データD2を用いて、トリミング範囲情報に対応する範囲についての中解像度の品質の映像を生成する(S244)。図7の状態(vii)は、ステップS244の後、トリミング範囲情報の示す再生位置の範囲P2に対応した範囲についての中解像度の品質の映像が生成された状態を示す。
 (LANと異なるネットワークへの送信シーケンス)
 次に、生成した映像をLANと異なるネットワーク400へ送信するシーケンスについて説明する。生成した映像をLANと異なるネットワーク400へ送信するシーケンスは、例えばステップS244の後、ユーザの操作により送信操作が選択されることで開始してもよい。また、生成した映像をLANと異なるネットワーク400へ送信するシーケンスは、例えばステップS244の後、制御部210の制御に従い、自動的に行われてもよい。本実施形態では、生成された映像は、例えばLANと異なるネットワーク400に接続されたサーバや情報処理装置等のデータ記憶装置に送信される。
 (中継装置200の中継動作)
 なお、本実施形態では、中継装置200の制御部210は、送信装置から送信される低解像度データD1や中解像度データD2等の符号化データを中継する際に、保持して記憶部220に記憶させるか否かを判断する。図9は、本実施形態に係る中継装置200のデータの中継動作を示したフローチャートである。
 まず、中継装置200の通信部230は、中継するべきデータを受信する(S280)。中継するべきデータは、例えば送信装置100から送信される、低解像度データD1、中解像度データD2又は高解像度データD3等の符号化データである。
 次いで、制御部210は、受信したデータを品質情報に基づいて保持するか否かを判断する(S282)。品質情報は、中継装置200の処理で用いられるコンテンツの品質を示す。例えば、品質情報は、ステップS244やステップS250に用いられるコンテンツの品質を示す。制御部210は、受信したデータが、品質情報が示すコンテンツの品質の処理に用いられるデータである場合、受信したデータを保持する。品質情報は、低周波成分データシーケンスが行われる前に予め設定されており、例えば自動またはユーザにより任意に設定される。
 ステップS282の判断の結果、保持されるデータである場合、制御部210は、記憶部220に受信したデータを保持させる(S284)。ステップS284の後、通信部230は、制御部210の制御に従い、受信したデータを受信装置300に送信する(S286)。
 また、ステップS282の判断の結果、保持されないデータである場合、ステップS286の処理を行う。ステップS286の後、制御部210は、中継動作を終了させる。
 例えば、図8A及び図8Bに図示した例では、中継装置200は、中解像度の品質で映像を生成し、レンダリングした映像をLANと異なるネットワーク400へ送信する。したがって、制御部210は、中解像度データD2のみ記憶部220に保持させる。例えば、ステップS212~S214の間では、送信装置100から受信するデータは低解像度データD1であるため、制御部210はデータを保持せずに中継のみ行う。また、例えばステップS230では、送信装置100から受信するデータは中解像度データD2であるため、制御部210はデータを保持する。
 以上、本実施形態に係るデータ伝送システムにおいて、中解像度の品質の映像を生成し、生成した映像をLANと異なるネットワーク400送信する動作例について説明した。本動作例では、予め低解像度データD1が送信装置100から送信され、受信装置300に記憶される。これにより、ユーザは、低解像度の品質の映像を確認することができ、映像の概略を把握することができる。このとき、低解像度データD1は、予め受信装置300内に記憶されており、通信環境の影響がなく表示されるため、即応性を高めることができる。
 また、本動作例に係るデータ伝送システムでは、再生位置情報に対応する中周波成分データD2が送信装置100から受信装置300に送信される。このとき、ユーザが選択した任意の箇所についての中周波成分データD2の部分のみが送信されるため、中周波成分データD2を全て送信する場合と比較すると、データの総転送量を低減することができる。これにより、システム全体における電力消費を抑えることができる。
 さらに、本動作例に係るデータ伝送システムでは、ユーザは中解像度の品質で映像をストリーミング再生させながら、目的の再生位置又は範囲をシーキングする。このとき、作例に係るデータ伝送システムでは、高解像度の品質で映像をストリーミング再生させながらシーキングする場合に比べ、データの総転送量を低減でき、即応性の高めることができる。
 さらに、本動作例に係るデータ伝送システムでは、中継装置200に記憶された、中解像度データD2を用いてレンダリングが行われ、レンダリングされた映像がLANと異なるネットワーク400に送信される。このため、中継装置200に中解像度データD2を記憶させない場合と比べ、レンダリングした映像をLANと異なるネットワーク400に送信する際に、送信装置100又は受信装置300と中継装置200との間のデータ転送量を低減することができる。これにより、作例に係るデータ伝送システムでは、システム全体における電力消費を抑えることができる。
 [2-3.高解像度のデータを編集し、LANと異なるネットワークへ送信する動作例]
 次に、図10、図11A及び図11Bを参照して、高解像度の品質の映像を生成し、生成した映像をLANと異なるネットワーク400へ送信する動作例について説明する。図10は、本実施形態に係るデータ伝送システムにおいて、映像を編集し、高解像度のデータをLANと異なるネットワーク400へ送信する動作を示した説明図である。図11は、本実施形態における、低解像度データD1及び中解像度データD2の送信シーケンスを示したシーケンス図である。図11Bは、本実施形態における、高解像度データD3の送信シーケンス及び高解像度の映像を生成してLANと異なるネットワークへ送信するシーケンスを示したシーケンス図である。
 (低解像度データの送信シーケンス)
 まず、低解像度データD1の送信シーケンスについて説明する。低解像度データの送信シーケンスにおけるステップS310~S316の処理は、図8Aで説明したステップS210~S216の処理と同様である。
 (中解像度データの送信シーケンス)
 次に、中解像度データD2の送信シーケンスについて説明をする。中解像度データD2の送信シーケンスは、例えば、ステップS316の後、受信装置300にて低解像度D1に基づいて再生位置がユーザの操作により選択されることで開始する。中解像度データD2の送信シーケンスが開始すると、受信装置300の制御部310は、選択された再生位置を示す第1の位置情報である再生位置情報を生成する(S320)。再生位置情報は、選択された再生位置を示すデータを含む。
 さらに、通信部330は、制御部310による制御に従い、生成された再生位置情報を中継装置200に送信する(S322)。ステップS322の後、中継装置200の通信部230は、制御部210による制御に従い、受信した再生位置情報を送信装置100に送信する(S224)。
 その後、送信装置100の制御部110は、受信した再生位置情報に対応する中解像度データD2の少なくとも一部を選択する(S326)。ステップS326の後、通信部130は、制御部110による制御に従い、選択された中解像度データD2を中継装置200に送信する(S328)。
 次いで、中継装置200の通信部230は、制御部210の制御に従い、受信した中解像度データD2を受信装置300に送信する(S330)。
 さらに、受信装置300の制御部310は、受信した中解像度データD2を記憶部320に記憶させる(S332)。図10に図示した状態(ii)は、ステップS332の処理が行われた状態を示し、選択された中解像度データD2が、送信装置100及び受信装置300に記憶されている状態を示す。
 中解像度データの送信シーケンスが開始した後、受信装置300は、受信した中解像度データD2を用いて、中解像度の品質でコンテンツを再生する。このとき、制御部310は、第1の実施形態と同様に、フレームレートに応じて再生位置P1を変更する。
 (高解像度データの送信及び高解像度の映像生成シーケンス)
 次に、高解像度データの送信及び高解像度の映像生成シーケンスについて説明する。高解像度データの送信及び高解像度の映像生成シーケンスは、ステップS332の後、ユーザの操作により受信装置300にてトリミング範囲が選択されることで開始する。
 まず、任意の再生位置の範囲に対するユーザの選択操作に基づいて、制御部310はトリミング範囲情報を生成する(S340)。トリミング範囲情報は、例えばトリミングを開始する再生位置の位置情報と、トリミングを終了する再生位置の位置情報とが含まれる。ユーザの選択操作は、第1の実施形態と同様に検出される。図10の状態(v)は、ユーザの選択操作に基づいて、再生位置の範囲P2が選択された状態を示す。
 次いで、通信部330は、制御部310による制御に従い、トリミング範囲情報を中継装置200に送信する(S342)。S342の後、中継装置200の通信部230は、制御部210による制御に従い、受信したトリミング範囲情報を送信装置100に送信する(S344)。
 さらに、送信装置100の制御部110は、受信したトリミング範囲情報に対応する高解像度データD3の少なくとも一部を選択する(S346)。このとき、制御部110は、例えばトリミング範囲情報が示す再生位置の範囲に対応する高解像度データD3の部分を選択する。
 その後、通信部130は、制御部110による制御に従い、選択された高解像度データD3を中継装置200に送信する(S348)。
 次いで、中継装置200の制御部210は、受信した高解像度データD3を記憶部220に記憶させる(S350)。図10の状態(vi)は、ステップS350の後、トリミング範囲情報が示す再生位置の範囲P2に対応した高解像度データD3が記憶部220に記憶されている状態を示す。
 さらに、制御部210は、記憶部220に記憶された、高解像度データD3を用いて、トリミング範囲情報に対応する範囲についての高解像度の品質の映像を生成する(S352)。図10の状態(vii)は、ステップS352の後、トリミング範囲情報の示す再生位置の範囲P2に対応した範囲についての高解像度の品質の映像が生成された状態を示す。
 (LAN外への送信シーケンス)
 次に、生成した映像をLANの外へ送信するシーケンスについて説明する。生成した映像をLANの外へ送信するシーケンスにおけるステップS350の処理は、図8Bで説明したステップS250の処理と同一である。
 (中継装置200の中継動作)
 なお、高解像度の品質の映像を編集し、LANの外へ送信する場合においても、中継装置200のデータを中継する動作は、図9に図示した例と同様に行われる。
 したがって、制御部210は、高解像度の品質の映像に利用しない低解像度データD1と中解像度データD2は記憶部220に保持させない。例えば、ステップS312~S314の間では、送信装置100から受信するデータは低解像度データD1であるため、データの保持はせず、中継のみ行う。また、例えばステップS328~S330の間では、送信装置100から受信するデータは中解像度データD2であるため、データの保持はせず、中継のみ行う。
 以上、本実施形態に係るデータ伝送システムにおいて、高解像度の品質の映像を生成し、生成した映像をLANと異なるネットワーク400送信する動作例について説明した。本動作例では、予め低解像度データD1が送信装置100から送信され、受信装置300に記憶される。これにより、ユーザは、低解像度の品質の映像を確認することができ、映像の概略を把握することができる。このとき、低解像度データD1は、予め受信装置300内に記憶されており、通信環境の影響がなく表示されるため、操作の即応性を高めることができる。
 また、本動作例に係るデータ伝送システムでは、再生位置情報に対応する中周波成分データD2が送信装置100から受信装置300に送信される。このとき、ユーザが選択した任意の箇所についての中周波成分データD2の部分のみが送信されるため、中周波成分データD2を全て送信する場合と比較すると、データの総転送量を低減することができる。これにより、システム全体における電力消費を抑えることができる。
 さらに、本動作例に係るデータ伝送システムでは、ユーザは中解像度の品質で映像をストリーミング再生させながら、目的の再生位置又は範囲をシーキングする。このとき、本実施形態に係るデータ伝送システムでは、高解像度の品質で映像をストリーミング再生させながらシーキングする場合に比べ、データの総転送量を低減でき、操作の即応性の高めることができる。
 さらに、本動作例に係るデータ伝送システムでは、トリミング範囲情報に対応する高解像度データD3が送信装置100から中継装置200に送信され、中継装置200にてトリミング範囲情報に対応した高解像度の品質の映像がレンダリングされる。このとき、受信装置300には高解像度データD3は送信されず、中継装置200にも高解像度データD3のレンダリングに必要な部分しか送信されないため、データの総転送量が低減される。これにより、本動作例に係るデータ伝送システムでは、システム全体における電力消費を抑えることができる。
 さらに、本動作例に係るデータ伝送システムでは、中継装置200に記憶された、高解像度データD3を用いてレンダリングが行われ、レンダリングされた映像がLANと異なるネットワーク400に送信される。このため、中継装置200に高解像度データD3を記憶させない場合と比べ、レンダリングした映像をLANと異なるネットワーク400に送信する際に、送信装置100又は受信装置300と中継装置200との間のデータ転送量を低減することができる。これにより、本作例に係るデータ伝送システムでは、システム全体における電力消費を抑えることができる。
 <3.第3の実施形態(他のデータ伝送システム)>
 次に、図12及び図13を参照して、本開示に係るデータ伝送システムの第3の実施形態について説明する。図12は、本開示の第3の実施形態に係るデータ伝送システムを示した説明図である。
 図12に示したように、本実施形態に係るデータ伝送システムは、送信装置100と、受信装置300とからなり、上述の第1の実施形態及び第2の実施形態と異なる装置構成をとるが、符号化データの編集や送信等の処理方法は同様である。送信装置100と受信装置300とは、例えば無線通信を利用したLANに接続されることにより、互いにデータの送受信を行う。受信装置300は、送信装置100が接続されたLANと異なるネットワーク400に接続することができ、異なるネットワークに接続された他のデータ記憶装置とデータの送受信を行う。
 図13は、本実施形態に係る送信装置、中継装置及び受信装置の構成を示した機能ブロック図である。なお、本実施形態に係る送信装置100の装置構成は、上述の第1の実施形態及び第2の実施形態と同様とする。
 本実施形態に係る受信装置300は、第1の実施形態に係る中継装置200と受信装置300とを合わせた装置構成を有する。例えば、本実施形態に係る受信装置300の通信部330は、第1の実施形態に係る通信部330の動作に加え、第1の実施形態に係る通信部230の動作を行う。例えば、本実施形態に係る通信部330は、アクセスポイントとなり、送信装置100が接続されたWi-Fi無線LANを形成する。また、通信部330は、送信装置100が接続されたLANの外のネットワーク400に接続することができ、LANの外のデータ記憶装置とデータ通信を行うことができる。さらに、通信部330は、ゲートウェイとして機能し、LANの外のインターネットにデータ通信をすることができる。
 以上、本実施形態に係るデータ伝送システムについて説明した。本実施形態に係るデータ伝送システムは、受信装置300が、第1の実施形態及び第2の実施形態における中継装置200及び受信装置300と同様な動作を行う。これにより、第1の実施形態及び第2の実施形態におけるデータ伝送システムが、図13に示した装置構成においても実現できる。
 <4.ハードウェア構成>
 (送信装置100)
 図14を参照して、本開示の一実施形態に係る送信装置100のハードウェア構成について説明する。図14は、送信装置100のハードウェア構成を説明するためのブロック図である。図示された送信装置100は、例えば、上記の実施形態における送信装置100を実現しうる。
 送信装置100は、撮像装置900、駆動装置901、AD(Analog-to-Digital)変換装置902、TG(Timing Generator)904、及びCPU(Central Processing Unit)906を有する。また、送信装置100は、操作装置908、センサ910、ROM(Read Only Memory)912、RAM(Random Access Memory)914、圧縮符号回路916、画像処理回路918、及び表示装置920を有する。さらに、送信装置100は、接続用I/F922、記憶媒体924、及び通信装置926を有する。
 撮像装置900は、レンズ9001および撮像素子9003を有し、撮像部150として機能する。レンズ9001は、ズームレンズやフォーカスレンズなど、複数のレンズにより構成される。撮像素子9003は、例えばCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)により実現される。撮像素子9003は、レンズ9001により取り込まれた被写体光(入射光)を受光し、信号電荷に変換する。撮像素子9003は、変換した信号電荷に基づいた電圧を、各画素の画素信号として出力する。なお、各画素の画素信号をまとめた信号が画像信号となる。
 AD変換装置902は、入力されたアナログ信号をデジタル信号に変換する。具体的には、AD変換装置902は、撮像素子9003から出力された画像信号を、アナログ信号からデジタル信号に変換して、RAM914に書き込む。
 ここで、第1の実施形態~第3の実施形態においては、AD変換装置902が制御部110の一機能として機能する。即ち、第1の実施形態~第3の実施形態においては、AD変換装置902が、撮像部150から出力されたアナログ信号から成る画像をデジタル化して、RAM914に書き込む。
 RAM914は、データを一時的に記憶する記憶領域である。RAM914は、AD変換装置902によりデジタル化された画像信号、または後述の画像処理回路918により生成された画像データを記憶する。また、RAM914は、後述するCPU906の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。
 駆動装置901は、レンズ9001の各レンズを光軸方向に移動させて、焦点を被写体に合焦させる。
 TG904は、撮像素子9003およびAD変換装置902に対してパルス信号を出力することで、撮像素子9003およびAD変換装置902の動作タイミングを同期させる。
 画像処理回路918は、ホワイトバランス処理、色補間処理、輪郭補償処理、階調変換処理などの画像処理を行う。具体的には、画像処理回路918は、RAM914に書き込まれた画像信号に対してこれらの画像処理を行うことで、画像データを生成する。そして、画像処理回路918は、生成した画像データをRAM914に一時記憶させる。画像処理回路918は、第1の実施形態~第3の実施形態における制御部110の一機能として機能する。
 圧縮符号回路916は、RAM914に一時記憶された、画像処理回路918による画像処理済みの画像データに対して、圧縮符号化処理を行う。例えば、画像データが動画像に基づくものである場合、圧縮符号回路916は、圧縮符号処理により、Mpeg(Moving Picture Experts Group)形式やH.26L形式の符号化データを生成する。圧縮符号回路916は、この符号化データに、撮影条件、撮影日時、カメラの基本情報等からなる付帯情報を付帯して、接続用I/F922に接続した記憶媒体924に書き込む。圧縮符号回路916は、第1の実施形態~第3の実施形態における制御部110の一機能として機能する。
 接続用I/F922は、送信装置100と記憶媒体924とを電気的に接続する。これにより、送信装置100は、記憶媒体924へのデータの書き込みや、記憶媒体924に記憶されたデータの読み出しを行うことができる。
 記憶媒体924は、画像データを記憶する記憶部120として機能する。記憶媒体924は、例えばカード型メモリなどのフラッシュメモリや、DVD(Digital
Versatile Disc)などの記録媒体により実現される。
 表示装置920は、撮像の設定や通信状態を表示させる。表示装置920は、例えばLCD(Liquid Crystal Display)またはOLED(Organic Light-Emitting Diode)などにより実現される。
 通信装置926は、例えば、通信ネットワークに接続するための通信デバイスなどで構成された通信インターフェイスである。通信装置926は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カードなどにより実現される。
 ROMは、CPU906が使用するプログラムや演算パラメータなどを記憶する。
 CPU906は、演算処理装置および制御装置として機能し、各種プログラムに従って送信装置100内の動作全般を制御する。なお、CPU906は、使用するプログラムや演算パラメータ等を記憶するROM、および適宜変化するパラメータ等を一時記憶するRAMを含んでいてもよい。本開示の一実施形態に係るCPU906は、RAM914に格納される制御プログラムを読み出し実行することで、送信装置100内の動作全般を制御する。CPU906は、第1の実施形態~第3の実施形態における制御部110の一機能として機能し、撮像制御、記録制御及び通信制御を行う。
 操作装置908は、ユーザからの撮像指示や初期設定、撮像時や再生時の設定、出力する画像のアスペクト比の設定などを受け付ける。操作装置908は、例えば、ボタン、タッチセンサ、表示装置920と一体的に形成されるタッチパネルとして実現される。操作装置908は、第1の実施形態~第3の実施形態における入力部140として機能する。
 センサ910は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、気圧センサなど各種のセンサである。センサ910は、例えば送信装置100の筐体の姿勢など、送信装置100自体の状態に関する情報や、送信装置100の周辺の明るさや騒音など、送信装置100の周辺環境に関する情報を取得する。また、センサ910は、GPS(Global Positioning System)信号を受信して装置の緯度、経度および高度を測定するGPSセンサを含んでもよい。
 (中継装置200)
 次に、本開示の一実施形態に係る中継装置200のハードウェア構成について説明する。本実施形態に係る中継装置200は、例えば、上記の実施形態における中継装置200を実現しうる。
 中継装置200は、図14に図示した送信装置100のハードウェア構成の内、CPU906、ROM912、RAM914、画像処理回路918、接続用I/F922、記憶媒体924及び通信装置926を有する。なお、送信装置100と同様な機能構成を有する構成要件については重複説明を省略する。
 画像処理回路918は、記憶媒体924に記憶された画像データから、トリミング範囲情報の示す再生範囲の、所定の再生品質の画像データを生成し、接続用I/F922に接続した記憶媒体924に書き込む。
 (受信装置300)
 次に、本開示の一実施形態に係る受信装置300のハードウェア構成について説明する。本実施形態に係る受信装置300は、例えば、上記の実施形態における受信装置300を実現しうる。
 受信装置300は、図14に図示した送信装置100のハードウェア構成の内、CPU906、操作装置908、ROM912、RAM914、表示装置920、接続用I/F922、記憶媒体924及び通信装置926を有する。なお、送信装置100と同様な機能構成を有する構成要件については重複説明を省略する。
 表示装置920は、画像データを表示する表示部360として機能する。表示装置920は、例えばLCDまたはOLEDなどにより実現される。表示装置920は、撮像映像の他に、設定を行う際の設定用の画像を表示する。
 操作装置908は、ユーザからの再生指示や再生位置の選択指示、再生時の設定などを受け付ける。操作装置908は、例えば、ボタン、タッチセンサ、表示装置920と一体的に形成されるタッチパネルとして実現される。操作装置908は、第1の実施形態~第3の実施形態における入力部140として機能する。
 以上、送信装置100、中継装置200及び受信装置300のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
<5.むすび>
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明した。本開示に係る送信装置100、中継装置200及び受信装置300は、送信装置100に記憶された第1の品質のために用いられる第1の符号化データが受信装置300に送信される。この後、第1の品質よりも高品質な第2の品質のために用いられる第2の符号化データのうち、再生位置情報に対応する部分が送信装置100から受信装置300に送信される。これにより、ユーザは、第1の品質の映像通じた映像の概略を把握する操作について、即応性を高めることができる。また、第2の符号化データについては、ユーザが選択した再生位置情報に対応した部分のみが送信装置100から受信装置300に送信されるため、データ転送量が少なくなり、操作の即応性を高めることができる。
 なお、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 例えば、上記実施形態では、送信装置100と中継装置200と受信装置とは、無線通信を利用したネットワークとしてWi-Fi無線LANで接続されるとしたが、本技術はかかる例に限定されない。例えば、Bluetooth(登録商標)によるネットワークで接続されてもよい。この場合、例えば第1の実施形態及び第2の実施形態では、中継装置200がセントラル機器となる。また、例えば第3の実施形態では、受信装置300がセントラル機器となる。
 また、上記実施形態では、送信装置100と中継装置200と受信装置とは、無線通信を利用したネットワークで接続されるとしたが、本技術はかかる例に限定されない。例えば、少なくともいずれかの装置同士が有線にて接続されてもよい。
 また、上記実施形態では、中継装置200又は受信装置300とLANの異なるネットワークに接続されたデータ記憶装置とは、無線通信にて接続されるとしたが、本技術はかかる例に限定されない。例えば、中継装置200又は受信装置300とデータ記憶装置とが有線に接続されてもよい。
 例えば、上記第1の実施形態では、高解像度の品質の映像をレンダリングし、レンダリングした映像をLANの異なるネットワークに送信するとしたが、本技術はかかる例に限定されない。例えば、中解像度の品質の映像をレンダリングし、レンダリングした映像をLANの異なるネットワークに送信してもよい。このとき、図5Aに示したステップS144~S150の処理は行われない。さらに、ステップS152において、制御部210は、記憶部220に記憶した低周波成分データD1及び中周波成分データD2を用いて、トリミング範囲情報に対応する中解像度の品質の映像をレンダリングしてもよい。
 また、上記実施形態では、送信装置100は、符号化データの形式に応じて予め受信装置300に低解像度の品質の再生に用いる符号化データを送信したが、本開示はかかる例に限定されない。例えば、送信装置100の制御部110は、符号化データに記憶されたヘッダ情報等に基づいて低解像度の品質の再生に用いる符号化データを送信するかしないかを判断してもよい。このとき、ヘッダ情報は、ユーザの操作により符号化データに付加されてもよい。
 また、第2の実施形態では、中継装置200は、品質情報に応じて中継する符号化データを保持するか否かを判断するが、本開示はかかる例に限定されない。例えば、中継装置200の制御部210は、第1の実施形態と同様に、中継する符号化データを全て保持してもよい。これにより、例えば中継装置200から受信装置300への伝送が正常に行われず、受信装置300へ再度符号化データを伝送させる場合においても、送信装置100から受信装置300へのデータの伝送が発生しない。このため、データの総転送量を低減でき、システム全体における電力消費を抑えることができる。
 また、第2の実施形態では、符号化データは空間方向に圧縮されたデータであるが、本開示はかかる例に限定されない。例えば、符号化データは、時間方向又は空間方向と時間方向に圧縮されたデータであってもよい。時間方向に圧縮される場合、例えばフレームレートを下げ、低解像度データD1は秒速1フレーム、中解像度データD2は秒速15フレーム、高解像度データD3は秒速30フレームとしてもよい。
 また、上記実施形態では、送信装置100、中継装置200及び受信装置300は、符号化データの送受信を行うが、本開示はかかる例に限定されない。例えば、符号化データと共に符号化データに関連し、時間的な連続性を有する関連データを送受信してもよい。関連データは、例えばコンテンツが撮像された映像である場合、撮像時に得られる情報である。例えば、関連データは、焦点距離から得られる撮影中の被写体像との距離等である。
 また、上記実施形態では、送信装置100は、例えばデジタルビデオカメラ等の映像を撮像する撮像装置であるが、本開示はかかる例に限定されない。例えば、映像や音声等のコンテンツが記憶されたストレージ装置であってもよい。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)時間的な連続性を有する同一のコンテンツについて、第1の品質での再生のために用いられる第1の符号化データと、前記第1の品質よりも高品質な第2の品質での再生のために用いられる第2の符号化データとを記憶する記憶部と、前記第1の符号化データを受信装置に送信した後、前記受信装置からデータ位置に関する第1の位置情報を受信し、前記第2の符号化データのうちで前記第1の位置情報に対応する部分を前記受信装置に送信する通信部と、を備える、送信装置。
(2)前記記憶部に記憶されたデータから所定のデータ形式を有する前記第1の符号化データを選択し、選択した前記第1の符号化データを前記通信部に送信させる制御部をさらに備える、(1)に記載の送信装置。
(3)前記第1の品質の再生は、前記第1の符号化データが用いられ、前記第2の品質の再生は、前記第1の符号化データと前記第2の符号化データとの両方が用いられる、(1)または(2)に記載の送信装置。
(4)前記第1の符号化データは、前記第2の符号化データよりも圧縮率の高いデータである、(1)または(2)に記載の送信装置。
(5)前記記憶部は、前記第2の品質よりも高品質な第3の品質での再生のために用いられる第3の符号化データを記憶し、前記通信部は、前記第2の符号化データを前記受信装置に送信した後、前記受信装置からデータ位置に関する第2の位置情報を受信し、前記第3の符号化データのうちで前記第2の位置情報に対応する部分を送信する、(1)~(4)のいずれか1項に記載の受信装置。
(6)前記通信部は、前記第1の位置情報を受信した後、前記第2の符号化データのうちで前記第1の位置情報の対応する再生位置の先の再生位置に対応する部分をさらに前記受信装置に送信する、(1)~(5)のいずれか1項に記載の送信装置。
(7)前記記憶部は、前記第1の符号化データと同一コンテンツに関する時間的な連続性を有する関連データを記憶し、前記通信部は、前記関連データを前記受信装置に送信する、(1)~(6)のいずれか1項に記載の送信装置。
(8)送信装置から受信装置に送信される時間的な連続性を有する同一のコンテンツについて、第1の品質での再生のために用いられる第1の符号化データと、前記第1の品質よりも高品質な第2の品質での再生のために用いられる第2の符号化データとを中継し、前記受信装置から前記送信装置に送信されるデータ位置に関する第1の位置情報を中継する通信部を備え、前記通信部は、前記第1の符号化データを中継した後、前記第1の位置情報を中継し、前記第2の符号化データのうちで前記第1の位置情報に対応する部分を中継する、中継装置。
(9)記憶部と、前記通信部により中継された前記第1の符号化データの形式に基づき、当該第1の符号化データを前記記憶部に保持させるか否かを判断する制御部と、をさらに備える、(8)に記載の中継装置。
(10)前記制御部は、前記第1の品質の再生および前記第2の品質の再生の双方のために用いられる形式を有する第1の符号化データを前記記憶部に保持させ、前記第2の品質の再生のために用いられない形式を有する第1の符号化データを前記記憶部に保持させない、(9)に記載の中継装置。
(11)前記第1の符号化データ、前記第2の符号化データ及び前記その他の符号化データは、互いに圧縮率の異なるデータであり、前記第1の符号化データ、前記第2の符号化データまたはその他の符号化データのうち少なくとも一つの符号化データを前記記憶部に記憶させるか否かを、前記中継装置における処理で用いられるコンテンツの品質を示す品質情報に基づいて判断する制御部をさらに備える、(9)または(10)に記載の中継装置。
(12)前記通信部は、前記送信装置から送信される前記第2の品質よりも高品質な第3の品質での再生のために用いられ、符号化データの一つである第3の符号化データを受信し、前記記憶部は、前記第3の符号化データを記憶する、(9)~(11)のいずれか1項に記載の中継装置。
(13)前記通信部は、前記受信装置から送信されるデータ位置に関する第2の位置情報を受信または前記送信装置に中継する、(9)~(12)のいずれか1項に記載の中継装置。
(14)前記第1の符号化データ、前記第2の符号化データ及びその他の符号化データの少なくとも一つの符号化データのうちで前記第2の位置情報に対応する部分を選択する制御部を備える、(13)に記載の中継装置。
(15)前記通信部は、データ記憶装置との通信を行い、前記制御部により選択された前記符号化データのうちで前記第2の位置情報に対応する部分を前記データ記憶装置に送信する、(14)に記載の中継装置。
(16)データ位置に関する第1の位置情報を生成する制御部と、送信装置から送信される時間的な連続性を有する同一のコンテンツについて、第1の品質での再生のために用いられる第1の符号化データと、前記第1の品質よりも高品質な第2の品質での再生のために用いられる第2の符号化データとを受信し、前記第1の位置情報を前記送信装置に送信する通信部と、受信した前記第1の符号化データと前記第2の符号化データとを含む符号化データを記憶する記憶部と、を備え、前記通信部は、前記第1の符号化データを受信した後、前記第1の位置情報を送信し、前記第2の符号化データのうちで前記第1の位置情報に対応する部分を受信する、受信装置。
(17)前記制御部は、データ位置に関する第2の位置情報を生成し、前記通信部は、前記第2の位置情報を送信する、(16)に記載の受信装置。
(18)前記制御部は、前記符号化データの少なくとも一つの符号化データのうち前記第2の位置情報に対応する部分を選択し、前記通信部は、データ記憶装置との通信を行い、選択された前記前記第2の位置情報に対応する部分をデータ記憶装置に送信する、(17)に記載の受信装置。
(19)前記通信部は、前記送信装置から送信される前記第2の品質よりも高品質な第3の品質での再生のために用いられる第3の符号化データを受信し、前記記憶部は、前記第3の符号化データを記憶する、(16)~(18)のいずれか1項に記載の受信装置。
(20)(1)に記載の送信装置と、(2)に記載の中継装置と、(3)に記載の受信装置と、を備える、データ伝送システム。
(21)コンピュータを、時間的な連続性を有する同一のコンテンツについて、第1の品質での再生のために用いられる第1の符号化データと、前記第1の品質よりも高品質な第2の品質での再生のために用いられる第2の符号化データとを記憶する記憶部と、前記第1の符号化データを受信装置に送信した後、前記受信装置からデータ位置に関する第1の位置情報を受信し、前記第2の符号化データのうちで前記第1の位置情報に対応する部分を前記受信装置に送信する通信部と、して機能させるためのプログラムが記憶された記憶媒体。
(22)コンピュータを、送信装置から受信装置に送信される時間的な連続性を有する同一のコンテンツについて、第1の品質での再生のために用いられる第1の符号化データと、前記第1の品質よりも高品質な第2の品質での再生のために用いられる第2の符号化データとを中継し、前記受信装置から前記送信装置に送信されるデータ位置に関する第1の位置情報を中継する通信部として機能させるためのプログラムが記憶され、前記通信部は、前記第1の符号化データを中継した後、前記第1の位置情報を中継し、前記第2の符号化データのうちで前記第1の位置情報に対応する部分を中継する、記憶媒体。
(22)コンピュータを、データ位置に関する第1の位置情報を生成する制御部と、送信装置から送信される時間的な連続性を有する同一のコンテンツについて、第1の品質での再生のために用いられる第1の符号化データと、前記第1の品質よりも高品質な第2の品質での再生のために用いられる第2の符号化データとを受信し、前記第1の位置情報を前記送信装置に送信する通信部と、受信した前記第1の符号化データと前記第2の符号化データとを含む符号化データを記憶する記憶部と、して機能させるためのプログラムが記憶され、前記通信部は、前記第1の符号化データを受信した後、前記第1の位置情報を送信し、前記第2の符号化データのうちで前記第1の位置情報に対応する部分を受信する、記憶媒体。
 100  送信装置
 110  制御部
 120  記憶部
 130  通信部
 140  入力部
 150  撮像部
 200  中継装置
 210  制御部
 220  記憶部
 230  通信部
 300  受信装置
 310  制御部
 320  記憶部
 330  通信部
 340  入力部
 360  表示部
 361  コンテンツ表示領域
 362  シークバー
 363  再生位置
 364  再生時間
 365  総再生時間
 400  LANと異なるネットワーク

Claims (19)

  1.  時間的な連続性を有する同一のコンテンツについて、第1の品質での再生のために用いられる第1の符号化データと、前記第1の品質よりも高品質な第2の品質での再生のために用いられる第2の符号化データとを記憶する記憶部と、
     前記第1の符号化データを受信装置に送信した後、前記受信装置からデータ位置に関する第1の位置情報を受信し、前記第2の符号化データのうちで前記第1の位置情報に対応する部分を前記受信装置に送信する通信部と、
    を備える、送信装置。
  2.  前記記憶部に記憶されたデータから所定のデータ形式を有する前記第1の符号化データを選択し、選択した前記第1の符号化データを前記通信部に送信させる制御部をさらに備える、請求項1に記載の送信装置。
  3.  前記第1の品質の再生は、前記第1の符号化データが用いられ、
     前記第2の品質の再生は、前記第1の符号化データと前記第2の符号化データとの両方が用いられる、請求項1に記載の送信装置。
  4.  前記第1の符号化データは、前記第2の符号化データよりも圧縮率の高いデータである、請求項1に記載の送信装置。
  5.  前記記憶部は、前記第2の品質よりも高品質な第3の品質での再生のために用いられる第3の符号化データを記憶し、
     前記通信部は、前記第2の符号化データを前記受信装置に送信した後、前記受信装置からデータ位置に関する第2の位置情報を受信し、前記第3の符号化データのうちで前記第2の位置情報に対応する部分を送信する、請求項1に記載の受信装置。
  6.  前記通信部は、前記第1の位置情報を受信した後、前記第2の符号化データのうちで前記第1の位置情報の対応する再生位置の先の再生位置に対応する部分をさらに前記受信装置に送信する、請求項1に記載の送信装置。
  7.  前記記憶部は、前記第1の符号化データと同一コンテンツに関する時間的な連続性を有する関連データを記憶し、
     前記通信部は、前記関連データを前記受信装置に送信する、請求項1に記載の送信装置。
  8.  送信装置から受信装置に送信される時間的な連続性を有する同一のコンテンツについて、第1の品質での再生のために用いられる第1の符号化データと、前記第1の品質よりも高品質な第2の品質での再生のために用いられる第2の符号化データとを中継し、前記受信装置から前記送信装置に送信されるデータ位置に関する第1の位置情報を中継する通信部を備え、
     前記通信部は、前記第1の符号化データを中継した後、前記第1の位置情報を中継し、前記第2の符号化データのうちで前記第1の位置情報に対応する部分を中継する、中継装置。
  9.  記憶部と、
     前記通信部により中継された前記第1の符号化データの形式に基づき、当該第1の符号化データを前記記憶部に保持させるか否かを判断する制御部と、
    をさらに備える、請求項8に記載の中継装置。
  10.  前記制御部は、前記第1の品質の再生および前記第2の品質の再生の双方のために用いられる形式を有する第1の符号化データを前記記憶部に保持させ、前記第2の品質の再生のために用いられない形式を有する第1の符号化データを前記記憶部に保持させない、請求項9に記載の中継装置。
  11.  前記第1の符号化データ、前記第2の符号化データ及び前記その他の符号化データは、互いに圧縮率の異なるデータであり、
     前記第1の符号化データ、前記第2の符号化データまたはその他の符号化データのうち少なくとも一つの符号化データを前記記憶部に記憶させるか否かを、前記中継装置における処理で用いられるコンテンツの品質を示す品質情報に基づいて判断する制御部をさらに備える、請求項9に記載の中継装置。
  12.  前記通信部は、前記送信装置から送信される前記第2の品質よりも高品質な第3の品質での再生のために用いられ、符号化データの一つである第3の符号化データを受信し、
     前記記憶部は、前記第3の符号化データを記憶する、請求項9に記載の中継装置。
  13.  前記通信部は、前記受信装置から送信されるデータ位置に関する第2の位置情報を受信または前記送信装置に中継する、請求項9に記載の中継装置。
  14.  前記第1の符号化データ、前記第2の符号化データ及びその他の符号化データの少なくとも一つの符号化データのうちで前記第2の位置情報に対応する部分を選択する制御部を備える、請求項13に記載の中継装置。
  15.  前記通信部は、データ記憶装置との通信を行い、前記制御部により選択された前記符号化データのうちで前記第2の位置情報に対応する部分を前記データ記憶装置に送信する、請求項14に記載の中継装置。
  16.  データ位置に関する第1の位置情報を生成する制御部と、
     送信装置から送信される時間的な連続性を有する同一のコンテンツについて、第1の品質での再生のために用いられる第1の符号化データと、前記第1の品質よりも高品質な第2の品質での再生のために用いられる第2の符号化データとを受信し、前記第1の位置情報を前記送信装置に送信する通信部と、
     受信した前記第1の符号化データと前記第2の符号化データとを含む符号化データを記憶する記憶部と、
     を備え、
     前記通信部は、前記第1の符号化データを受信した後、前記第1の位置情報を送信し、前記第2の符号化データのうちで前記第1の位置情報に対応する部分を受信する、受信装置。
  17.  前記制御部は、データ位置に関する第2の位置情報を生成し、
     前記通信部は、前記第2の位置情報を送信する、請求項16に記載の受信装置。
  18.  前記制御部は、前記符号化データの少なくとも一つの符号化データのうち前記第2の位置情報に対応する部分を選択し、
     前記通信部は、データ記憶装置との通信を行い、選択された前記前記第2の位置情報に対応する部分をデータ記憶装置に送信する、請求項17に記載の受信装置。
  19.  前記通信部は、前記送信装置から送信される前記第2の品質よりも高品質な第3の品質での再生のために用いられる第3の符号化データを受信し、
     前記記憶部は、前記第3の符号化データを記憶する、請求項16に記載の受信装置。
PCT/JP2014/064480 2013-09-03 2014-05-30 送信装置、中継装置及び受信装置 WO2015033629A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US14/915,857 US20160219316A1 (en) 2013-09-03 2014-05-30 Transmission apparatus, relay apparatus and reception apparatus
JP2015535345A JP6418160B2 (ja) 2013-09-03 2014-05-30 中継装置
EP14842075.5A EP3035689B1 (en) 2013-09-03 2014-05-30 Transmission apparatus, relay apparatus and reception apparatus
CN201480046988.3A CN105519122B (zh) 2013-09-03 2014-05-30 发送设备、中继设备和接收设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013182349 2013-09-03
JP2013-182349 2013-09-03

Publications (1)

Publication Number Publication Date
WO2015033629A1 true WO2015033629A1 (ja) 2015-03-12

Family

ID=52628119

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/064480 WO2015033629A1 (ja) 2013-09-03 2014-05-30 送信装置、中継装置及び受信装置

Country Status (5)

Country Link
US (1) US20160219316A1 (ja)
EP (1) EP3035689B1 (ja)
JP (1) JP6418160B2 (ja)
CN (1) CN105519122B (ja)
WO (1) WO2015033629A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006109480A (ja) 2004-10-04 2006-04-20 Samsung Electronics Co Ltd マルチメディアコンテンツのストリーミング方法
JP2010178147A (ja) * 2009-01-30 2010-08-12 Nec Corp ストリーミング配信システム、その動作制御方法及びプログラム
JP2012015928A (ja) * 2010-07-05 2012-01-19 Hitachi Consumer Electronics Co Ltd 映像送信装置
JP2012054800A (ja) * 2010-09-02 2012-03-15 Hitachi Consumer Electronics Co Ltd 映像送信装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6496980B1 (en) * 1998-12-07 2002-12-17 Intel Corporation Method of providing replay on demand for streaming digital multimedia
KR100746005B1 (ko) * 2005-10-17 2007-08-06 삼성전자주식회사 다중 목적의 비디오 스트림을 처리하는 장치 및 방법
JP4915208B2 (ja) * 2006-10-26 2012-04-11 三菱電機株式会社 ストリームデータ再生システム
US7925774B2 (en) * 2008-05-30 2011-04-12 Microsoft Corporation Media streaming using an index file
JP5183570B2 (ja) * 2009-05-28 2013-04-17 三菱電機株式会社 映像送信装置、映像受信装置及び映像配信システム
KR101786051B1 (ko) * 2009-11-13 2017-10-16 삼성전자 주식회사 데이터 제공 방법 및 장치와 데이터 수신 방법 및 장치
JP5781550B2 (ja) * 2010-03-08 2015-09-24 サムスン エレクトロニクス カンパニー リミテッド メディアコンテンツデータ再生装置及び方法
KR101702562B1 (ko) * 2010-06-18 2017-02-03 삼성전자 주식회사 멀티미디어 스트림 파일의 저장 파일 포맷, 저장 방법 및 이를 이용한 클라이언트 장치
JP5586420B2 (ja) * 2010-10-26 2014-09-10 株式会社東芝 映像伝送システムとその送信処理装置、受信処理装置及び映像伝送方法
JP5891654B2 (ja) * 2011-08-29 2016-03-23 株式会社リコー Tv会議システム、映像配信装置、及びデータ処理方法
US9313510B2 (en) * 2012-12-31 2016-04-12 Sonic Ip, Inc. Use of objective quality measures of streamed content to reduce streaming bandwidth
US9178631B2 (en) * 2013-04-19 2015-11-03 Spacebar, Inc. Asynchronously streaming high quality audio of a live event from a handheld device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006109480A (ja) 2004-10-04 2006-04-20 Samsung Electronics Co Ltd マルチメディアコンテンツのストリーミング方法
JP2010178147A (ja) * 2009-01-30 2010-08-12 Nec Corp ストリーミング配信システム、その動作制御方法及びプログラム
JP2012015928A (ja) * 2010-07-05 2012-01-19 Hitachi Consumer Electronics Co Ltd 映像送信装置
JP2012054800A (ja) * 2010-09-02 2012-03-15 Hitachi Consumer Electronics Co Ltd 映像送信装置

Also Published As

Publication number Publication date
CN105519122B (zh) 2019-04-16
JPWO2015033629A1 (ja) 2017-03-02
CN105519122A (zh) 2016-04-20
EP3035689A4 (en) 2017-04-05
JP6418160B2 (ja) 2018-11-07
US20160219316A1 (en) 2016-07-28
EP3035689A1 (en) 2016-06-22
EP3035689B1 (en) 2021-05-19

Similar Documents

Publication Publication Date Title
JP4831017B2 (ja) 画像処理装置、現像装置、画像処理方法、現像方法、画像処理プログラム、および現像プログラム
US20180204381A1 (en) Image processing apparatus for generating virtual viewpoint image and method therefor
JP2018129716A (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
US10347298B2 (en) Method and apparatus for smart video rendering
KR20170023885A (ko) 음성 또는 영상 통화 중 컨텍스트 정보 합성 및 전송 기법
CN102739940A (zh) 摄像装置、摄像控制方法以及程序产品
EP2819396B1 (en) Moving image generating apparatus and moving image generating method
JP2015195571A (ja) 撮像装置及びその制御方法
JP2022536182A (ja) データストリームを同期させるシステム及び方法
US20150113582A1 (en) Communication System, Terminal Device, Video Display Method, and Storage Medium
TW201943284A (zh) 資訊處理裝置、方法、及程式
JP5147559B2 (ja) 映像表示装置及び映像表示方法
JP6319491B2 (ja) 撮像装置及び制御方法
JP4349288B2 (ja) 撮像装置、画像処理方法及びプログラム
JP6418160B2 (ja) 中継装置
JP2012034128A (ja) 画像処理装置およびそれを用いた撮像装置
JP6119447B2 (ja) 撮像システム、及び制御方法
US20210409613A1 (en) Information processing device, information processing method, program, and information processing system
CN107835433B (zh) 一种赛事宽视角直播系统、相关联的设备和直播方法
JP6583457B2 (ja) 撮像装置及び制御方法
JP5170278B2 (ja) 表示制御装置、表示制御方法、プログラム、および表示制御システム
JP2017063276A (ja) 映像表示装置、映像表示方法、及びプログラム
JP2006270405A (ja) 映像処理装置,映像処理方法,およびコンピュータプログラム
KR101521787B1 (ko) 영상을 배속 재생하는 방법 및 그를 위한 장치
JP6282136B2 (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14842075

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015535345

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2014842075

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14915857

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE