WO2011099254A1 - データ処理装置及びデータ符号化装置 - Google Patents

データ処理装置及びデータ符号化装置 Download PDF

Info

Publication number
WO2011099254A1
WO2011099254A1 PCT/JP2011/000575 JP2011000575W WO2011099254A1 WO 2011099254 A1 WO2011099254 A1 WO 2011099254A1 JP 2011000575 W JP2011000575 W JP 2011000575W WO 2011099254 A1 WO2011099254 A1 WO 2011099254A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
unit
encoding
content
encoded data
Prior art date
Application number
PCT/JP2011/000575
Other languages
English (en)
French (fr)
Inventor
平野　純
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US13/576,270 priority Critical patent/US8768140B2/en
Priority to JP2011553742A priority patent/JPWO2011099254A1/ja
Priority to EP11742004.2A priority patent/EP2538670B1/en
Priority to CN201180009453.5A priority patent/CN102754448B/zh
Publication of WO2011099254A1 publication Critical patent/WO2011099254A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4147—PVR [Personal Video Recorder]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Definitions

  • the present invention relates to a data processing apparatus and a data encoding apparatus for encoding content data.
  • 3rd Generation Partnership Program supports mobility (high-speed movement of terminal equipment), broadband (high-speed movement) to provide wireless communication services in a very wide range.
  • Throughput Data communication support has been developed to enable transmission of multimedia data such as video as well as voice.
  • the data to be communicated such as audio and video
  • the data to be communicated is encoded and transmitted to improve efficiency and stability in various points such as bandwidth consumption of the communication channel and characteristics of the communication channel. Is realized.
  • data encoding methods there is a hierarchical encoding technique.
  • Non-Patent Document 1 A technique described in Non-Patent Document 1 below is given as a precedent for a system that has already been used internationally as a voice hierarchical coding technique. Also in Patent Document 1 below, a method for compressing image data with different quality is disclosed.
  • Patent Document 2 discloses a video camera provided with an external unit that can be attached to and detached from the camera unit. According to the video camera disclosed in Patent Document 2, various types of users of digital video cameras can be obtained by separating the camera unit and other units, whether wired or wireless, and supplementing them with communication. Shooting corresponding to the use scene becomes possible.
  • ITU-T International Telecommunication Union-Telecommunication sector
  • the camera unit often includes other sensing devices (sound pickup device, distance measuring device, battery remaining amount sensor, acceleration sensor, etc.) other than the imaging device.
  • sensing unit various sensing devices including an imaging device
  • it is simply a camera unit (various sensing devices). It may be described as “assuming that it is provided”.
  • data acquired by the sensing device may be described as sensing data.
  • the sensing device is an imaging device
  • the sensing data includes video data
  • the sensing device is a sound collection device
  • the sensing data includes audio data.
  • corresponding sensing data is acquired also in other sensing devices.
  • the present invention efficiently performs data transmission between units in a sensing device in which a camera unit and other units (in particular, a display unit or an audio output unit) are separated and connected wirelessly. It is an object of the present invention to provide a data processing device and a data encoding device that are improved in convenience.
  • the data processing device of the present invention is wirelessly connected to an output device that outputs sensing data, and is capable of processing the sensing data for output by the output device.
  • a device A data acquisition unit for acquiring the sensing data output by the output device; A first encoding unit that encodes the sensing data acquired by the data acquisition unit with a predetermined quality to generate first encoded data; A wireless transmission unit that sequentially transmits the first encoded data generated by the first encoding unit to the output device via a wireless connection; A second encoding unit that extracts and encodes additional information that increases the quality of content included in the first encoded data from the sensing data acquired by the data acquisition unit, and generates second encoded data; A transmission unit for transmitting the first encoded data and the second encoded data to a recording device in order to record the first encoded data and the second encoded data on a recording medium; Have.
  • the time taken to output data (eg, video data or audio data) acquired by the sensing device to the output device (eg, display unit or audio output unit) is shortened and transmitted to the output device.
  • the amount of data to be reduced is also reduced, and stable data output is realized.
  • the data encoding device of the present invention is a data encoding device capable of processing specific sensing data, A first encoding unit that encodes input sensing data with a predetermined quality to generate first encoded data; A second encoding unit that extracts and encodes additional information that improves the quality of content included in the first encoded data from the input sensing data, and generates second encoded data; Have.
  • the present invention has the above-described configuration, and in a sensing device in which a sensing unit and other units (particularly a display unit or an audio output unit) are separated and connected wirelessly, data transmission between the units is efficiently performed. And has the effect of improving convenience.
  • the sequence chart which shows an example of the content process in the content communication apparatus of embodiment of this invention
  • the figure which shows the typical image of the encoding and the transmission method in embodiment of this invention
  • the block diagram which shows an example of a structure of the camera unit and display unit in embodiment of this invention
  • the block diagram which shows an example of a structure of the imaging
  • the block diagram which shows an example of a structure of the preservation
  • the shooting environment when shooting with a digital video camera is assumed to be in various places, but the confirmation content on the display unit is mainly used for composition adjustment (used to check timing, composition, subject, etc.)
  • the recording data and the display data are Encoding with different quality is performed for recording and display.
  • the content communication apparatus using the hierarchical encoding according to the present invention is not limited to specialized equipment that performs broadcasting / distribution (for example, equipment used in a television broadcasting station), and is not limited to general digital. It can be applied to a video camera. An embodiment in which the present invention is applied to a general digital video camera will be described below.
  • Status of the digital video camera to be notified such as video to be displayed on the viewfinder or LCD screen of the video camera, audio to be output, shooting parameters, recording time, remaining time, battery level, etc. (hereinafter collectively referred to as content) ) Is transmitted to a display unit located at a remote location using the communication method of the present invention, and when there is an operation or the like, it is sent back to the video camera.
  • the content shot by the video camera is basically stored in a recording unit built in or connected to the video camera.
  • the data size of the content to be saved is not necessarily limited. It cannot be transmitted to the display unit stably.
  • transmission from the camera unit of the video camera to the display unit is efficiently performed by distinguishing the content stored in the recording unit and the confirmation content of the coarse material.
  • the confirmation content the photographer cannot directly view the display device of the video camera (in a state where it is physically integrated with the video camera) such as zooming, composition adjustment, recording level adjustment, start and stop / Even in difficult conditions, it can be operated in real time.
  • the display unit that receives the confirmation content does not necessarily need to store the received content.
  • the recording unit is integrated with the video camera, it is transmitted to the recording unit via the connection interface in the video camera device, and the recording device is separated from the video camera (integrated with the display unit). Are transmitted to the recording unit via the interface of the video camera.
  • the camera unit and other units are separated and the units are connected wirelessly.
  • a camera with excellent convenience can be realized by applying a hierarchical encoding technique to data transmission between units.
  • FIG. 1 is a sequence chart showing an example of content processing in the content communication apparatus according to the embodiment of the present invention. Note that this sequence chart is illustrated focusing on content data at a certain time, but actually, data including confirmation content, saved content, and the like is sequentially transmitted and processed.
  • the video camera has a camera unit that can capture (and collect sound), but a display unit (such as a monitor) that displays and outputs the captured content is connected wirelessly. It is assumed that it is configured to be separable. Also, a recording unit (such as a memory device) that records captured content may be configured to be separable depending on the configuration of the video camera.
  • the content shot (and collected) by the camera unit of the video camera is recorded in the recording unit, wirelessly transmitted, and displayed on the display unit connected via wireless.
  • the captured (and sound-collected) content and other video cameras and information related to shooting are handled as content without particular distinction, but video, audio, other
  • Each piece of data may be handled separately.
  • video and other data (information to be notified by display) are transmitted to the display unit, while audio and other data (information to be notified by sound such as warning sound) are transmitted to the unit dedicated to sound.
  • Various configurations are also conceivable.
  • a method of encoding captured content from the camera unit it is possible to sequentially encode coarse material instead of adopting an encoding method that straddles frames with high image quality and high compression even when throughput is reduced. Emphasis is placed on reducing delay by sequentially transmitting various data from the camera unit to the recording unit and display unit.
  • a hierarchical encoding method is applied to the method of encoding photographed content, and the photographed content is hierarchized into a confirmation content (core) layer and a saved content (extended) layer.
  • the information of the confirmation content layer and the information of the storage content layer can be separated and can be transmitted / received individually, and the original photographed content can be obtained by combining them.
  • the confirmation content (core) layer encodes an encoding parameter set capable of high-speed encoding such as low pixel count, narrow band, monochrome, and monaural, and transmits each frame.
  • the data is divided into transmission units that shorten the data transmission unit time, such as each scanning line, each scanning line group, each phoneme segment, and each phoneme group.
  • encoded data belonging to the confirmation content (core) layer is referred to as confirmation content encoded data.
  • the saved content (enhancement) layer encodes parameter sets necessary for final content such as high pixel count, wideband, stereo, and wide color gamut, and performs high compression coding including interframe compression. Also good. Note that it is necessary to encode and transmit within a range that satisfies a delay (mainly a delay determined by a recording operation speed or the like in the recording unit) when recording the stored content.
  • the encoded data belonging to the storage content (extension) layer is referred to as storage content encoded data, and both the confirmation content encoded data and the storage content encoded data are decoded to check the original captured content.
  • the decryption process to be performed is called saved content decryption, and the content decrypted by the saved content decryption (equivalent to photographed content) is called saved content.
  • FIG. 2 is a diagram showing a schematic image of the encoding and transmission method in the embodiment of the present invention.
  • the camera unit applies hierarchical encoding to certain data to be encoded, performs high-speed encoding of the confirmation content layer for each predetermined processing unit, and sequentially creates the generated confirmation content encoded data and displays it Send to unit.
  • the stored content encoded data is encoded later than the corresponding confirmation content and is transmitted only to the recording unit (not transmitted to the display unit).
  • the saved content layer does not need to be transmitted sequentially unlike the confirmation content layer. For example, even if inter-frame high compression encoding is performed in consideration of the transmission efficiency and the utilization efficiency of the storage medium for recording. Good.
  • the confirmation content encoded data created by the high-speed encoding is sequentially transmitted from the camera unit to the recording unit and the display unit, and later, the stored content encoded data is transmitted only to the recording unit. Is done.
  • the camera unit sequentially transmits the confirmation content layer data to both the recording unit and the display unit (steps S802a to 802d).
  • the display unit by displaying the data of the confirmation content layer that arrives sequentially, the photographer (or the viewer of the display unit) can check the video (step S804).
  • data other than the captured content may be combined at the time of transmission of the confirmation content, or the display You may synthesize by unit.
  • the information is another appropriate unit. (For example, it is transmitted to the camera unit or the like (step S806).
  • the camera unit transmits the stored content layer data only to the recording unit (step S803).
  • the recording unit stores the storage content layer data received later.
  • the recording unit may store the confirmation content encoded data and the storage content encoded data as they are without being decoded (encoded state), or the confirmation content encoded data.
  • the stored content may be stored after decoding the stored content encoded data, or another encoding may be performed.
  • a public line such as a 3GPP line or a wireless LAN access network
  • transmission of confirmation content and storage content It is desirable to set different QoS (Quality of Service) for the transmission of the photographer and the transmission of the input information of the photographer.
  • QoS Quality of Service
  • the confirmation content encoded data is transmitted as data that does not allow a delay, and the encoded data of the stored content can accurately transmit a large amount of data while allowing a certain delay time.
  • the QoS setting and transmission method may be different depending on the type of each unit that sends encoded data.
  • encoded data transmitted to the display unit is transmitted as data that does not allow delay, and encoded data transmitted to the recording unit can accurately transmit a large amount of data while permitting some delay time. Is desirable. Also, regarding the transmission of photographer input information and other data, the transmission may be performed by adjusting the priority in accordance with the characteristics of each data (the operation command has a low delay and the remaining battery level is normal). The amount display can be delayed, etc.). In addition, it is desirable that data transmission management such as bearer, PDN (Packet Data Network) connection, session, etc. is also separate.
  • bearer Packet Data Network
  • the display unit can receive and display the confirmation content from the camera unit with low delay, and transmits the captured content as it is as in the conventional technology. Compared to this, the amount of data to be transmitted is greatly reduced. Compared with encoding of saved content (generally, it takes time to encode), encoding of confirmation content is performed in a simple and short cycle, so that the time required for encoding is short, and the camera unit The confirmation content can be transmitted immediately.
  • FIG. 3 is a block diagram showing an example of the configuration of the camera unit and the display unit in the embodiment of the present invention.
  • the camera unit 900 shown in FIG. 3 includes an imaging unit 901, a sound collection unit 902, a confirmation content encoding unit 903, a stored content encoding unit 904, a hierarchical encoding management unit 905, a confirmation content transmission unit 906, and a control unit 910. is doing.
  • the imaging unit 901 has a function of capturing an external subject as an image
  • the sound collection unit 902 has a function of collecting external sound.
  • the functions of the image capturing unit 901 and the sound collecting unit 902 are the same as the image capturing and sound collection in a normal camera.
  • the video / audio captured by the imaging unit 901 and the sound collection unit 902 is referred to as shooting content.
  • the captured information may be individually handled, or may be handled collectively as integrated multimedia data.
  • the video / audio data captured by the imaging unit 901 and the sound collection unit 902 are supplied to the confirmation content encoding unit 903 and the stored content encoding unit 904, respectively.
  • the confirmation content encoding unit 903 has a function of encoding captured content with emphasis on shortening the delay time.
  • the confirmation content encoding unit 903 encodes the captured content in a set short-term processing unit (one frame unit, scanning line unit, several milliseconds unit, etc.).
  • Each processing unit is encoded by a method that does not depend on at least subsequent information (for example, compression within a frame or differential code with already processed data) so that processing can be performed without waiting for data of the subsequent processing unit at the time of decoding. It is desirable that
  • the encoding parameters are set so that parameters related to the delay time such as the size of the confirmation content encoded data and the processing time required for encoding and decoding become small. For example, if display confirmation is used only for composition confirmation and timing confirmation on the display unit, the number of pixels of the video is compared with the original captured content by encoding the captured content with an emphasis on shortening the delay time. It may be rougher, the color gamut may be monochrome, and the audio may be mono. Further, such an encoding method (for example, the number of pixels in the display unit) may be selected by an operation in the camera unit or other units.
  • hierarchical coding generally increases the overhead as the number of hierarchical units increases, and the number of processing units increases as the number of processing units cut out increases. In some cases, the efficiency may be reduced. Therefore, it is desirable to set the short-term processing unit so that the entire processing time is shortened from a comprehensive viewpoint.
  • the confirmation content encoded data generated by the encoding by the confirmation content encoding unit 903 is output to the confirmation content transmission unit 906 and the recording unit 907, and the confirmation content transmission unit 906 transmits the confirmation content encoded data through a wireless connection. Send to another unit (here, display unit).
  • the confirmation content encoded data encoded by the confirmation content encoding unit 903 is preferably transferred from the confirmation content encoding unit 903 to the confirmation content transmission unit 906 so that the transmission process is immediately performed each time.
  • the confirmation content encoded data is transmitted to another unit (in this case, the display unit 950). Therefore, the confirmation content encoded data takes into account the overhead associated with other transmissions, and then transmits a single transmission unit (for example, if there is an excess or deficiency with respect to the transmission data size assigned to the transmission cycle of the communication terminal, the packet size unit of the transmission packet, etc., the processing unit is not consistent with the short-term processing unit. In spite of this, it is transmitted at the same time (the overhead may increase due to the division into processing units) or it is divided into smaller transmission units (further delay can be expected) It may be). Therefore, as a whole setting, it is desirable to use a processing unit that also considers the transmission unit. For example, the short-term processing unit and the transmission unit match, or one of them is a multiple of the other. Is desirable.
  • the confirmation content encoding unit 903 can control the relationship with the corresponding layer (stored content layer) from the layer encoding management unit 905 (dynamic setting of parameters, addition of management information, etc.) ), And information may be exchanged with the stored content encoding unit 904.
  • the stored content encoding unit 904 has a function of encoding captured content with required quality and parameters in order to generate necessary stored content layer information.
  • the stored content encoded data generated by the stored content encoding unit 904 is output to the recording unit 907.
  • an encoding unit may be required for each layer, but here, a case where there is one stored content encoding unit 904 is an example. Will be described. That is, a plurality of stored content encoding units 904 may exist depending on each layer in hierarchical encoding.
  • the storage content encoding unit 904 determines the original video content and What is necessary is just to encode the difference with the information already encoded in the confirmation content encoding part 903.
  • the saved content encoding unit 904 for example, encodes monochrome and color, luminance information, encodes a high-resolution portion of low-resolution video, encodes stereo audio differences for monaural audio, and encodes extended-band audio for narrowband audio. Encoding of interpolated data for coarse sampling data and coarse sampling data is performed to generate stored content encoded data.
  • the saved content encoding unit 904 can control the relationship with the corresponding layer (confirmation content) from the layer encoding management unit 905 (dynamic setting of parameters, addition of management information, etc.).
  • the information may be exchanged with the confirmation content encoding unit 903.
  • the hierarchical encoding management unit 905 manages each encoding in the confirmation content encoding unit 903 and the stored content encoding unit 904, hierarchizes the code in each encoding, and a series of encoded data (hierarchical code) It has the function to constitute as.
  • the hierarchical coding management unit 905 when the captured content is processed by the confirmation content coding unit 903 in a short-term processing unit, the confirmation content coding unit 903 corresponds to one or more It has a function of managing the correspondence with a short-term processing unit and adding (or encoding) additional information elements as a hierarchical encoding structure.
  • the hierarchical encoding management unit 905 associates each encoded data encoded by the confirmation content encoding unit 903 and the saved content encoding unit 904, and Control of the encoding unit (dynamic setting of parameters, addition of management information, etc.) and control of information transfer may be performed.
  • the confirmation content transmission unit 906 has a function of transmitting the confirmation content encoded data output from the photographed content encoding unit 903 to the display unit 950.
  • the recording unit is integrated with the camera unit 900 as an example, the stored content encoded data is not transmitted to the outside, but the recording unit is wireless as with the display unit 950.
  • a stored content transmission unit for transmitting the stored content encoded data is required in the same manner as the confirmation content transmission unit 906 for transmitting the confirmation content encoded data.
  • transmission of the confirmation content encoded data from the confirmation content encoded data transmission unit 906 is preferably processed with priority given to reducing the delay time.
  • a route with a short delay time When selecting communication modules, interfaces, etc., or setting communication path parameters (including when requesting QoS parameters etc. to the node managing the communication path), the delay time is set.
  • the communication path setting process may be performed so as to be set short, or the communication process (bearer, session, connection setting, etc.) different from the data communication including other encoded data may be performed.
  • the recording unit 907 is supplied with both the confirmation content encoded data encoded by the confirmation content encoding unit 903 and the stored content encoded data encoded by the storage content encoding unit 904. Has a function of recording digitized data on a recording medium.
  • the recording unit 907 may store the confirmation content encoded data and the stored content encoded data as they are without decoding (or encoded content).
  • the stored content may be stored after the data and the stored content encoded data are decoded, or another encoding may be performed.
  • the stored content obtained using the confirmation content encoded data and the stored content encoded data it is possible to obtain the original photographed content. Note that, depending on the encoding method, there may be a case where the information of the image itself is not completely restored in the process of reducing the redundancy in the encoding. In such a case, the original imaged content is included.
  • control unit 910 has a function of generating and managing other data and performing a determination process as to which unit is transmitted in what form. For example, the control unit 910 generates a shooting time (such as a time code), and displays it on the display unit 950 for display (with video display), as additional data (video) on the recording unit (not shown in FIG. 3). It is possible to control and transmit according to the characteristics of the data, such as transmitting while controlling (so as not to be directly reflected in the data) or transmitting the remaining battery power only to the display unit. In addition, the control unit 910 can exchange control signals with the control unit 960 of another unit (display unit 950).
  • a shooting time such as a time code
  • the display unit 950 shown in FIG. 3 includes a confirmation content reception unit 951, a confirmation content decryption unit 952, a display unit 953, an audio output unit 954, and a control unit 960.
  • the operation of the display unit 950 is simple and only decodes and outputs the received encoded data.
  • the confirmation content receiving unit 951 receives the confirmation content encoded data transmitted from the confirmation content transmission unit 906 of the camera unit 900, and the confirmation content decoding unit 952 decodes the confirmation content encoded data.
  • the confirmation content obtained as a result is output from the display unit 953 and the audio output unit 954.
  • control unit 960 exchanges with the control unit 910 of the camera unit 900, for example, transmits the battery remaining amount only to the display unit, for a specific function (display function in the case of the display unit 950). It is possible to receive and control the combined data.
  • the configurations of the camera unit 900 and the display unit 950 illustrated in FIG. 3 are merely examples.
  • the camera unit 900 only needs to be able to transmit data that can be sequentially encoded of confirmation content related to the captured content (core layer information in hierarchical encoding) with emphasis on delay.
  • a certain functional block may be realized as a part of another functional block, or a certain functional block may be mounted on another external device that can be connected through an interface.
  • the transmission destination of the confirmation content is not limited to the display unit 950, and can be transmitted to other units.
  • the storage content encoded data (enhancement layer information in hierarchical encoding) is also transmitted to the unit that needs the captured content itself, so that the captured content is transmitted to the transmission destination. Will be able to send.
  • FIG. 4 is a block diagram showing an example of the configuration of a photographed content encoder 500 that can be mounted on the camera unit according to the embodiment of the present invention. Note that the photographed content encoder 500 shown in FIG. 4 is illustrated with a focus on the function of creating the confirmed content encoded data and the stored content encoded data from the photographed content using the hierarchical encoding technique.
  • the 4 includes a core encoder 501, a core decoder 502, a difference component extractor 503, and an extension encoder 504.
  • the core encoder 501 and the extension encoder 504 correspond to the confirmation content encoder 903 and the stored content encoder 904 shown in FIG. 3, respectively.
  • the photographed content input to the photographed content encoder 500 is supplied to the core encoder 501 and the difference component extractor 503.
  • the core encoder 501 encodes the photographed content, so that the raw material is recorded.
  • Confirmation content encoded data including the confirmation content is generated.
  • the confirmation content encoded data generated by the core encoder 501 is supplied to the core decoder 502, and the core decoder 502 performs a decoding process on the supplied confirmation content encoded data to obtain confirmation content,
  • the confirmation content is supplied to the difference component extractor 503.
  • the difference component extractor 503 extracts the difference component between the supplied captured content and the confirmation content, and supplies the difference component to the extension encoder 504.
  • the extension encoder 504 encodes the supplied difference component to generate stored content encoded data. Then, the confirmation content encoded data obtained by the core encoder 501 and the saved content encoded data obtained by the extension encoder 504 are output.
  • the encoded data is output and transmitted in consideration of shortening the delay time, and is output from the captured content encoder 500 so that it is immediately transmitted when the confirmation content encoded data is obtained.
  • the stored content encoded data obtained after the remaining processing is output from the captured content encoder 500.
  • the confirmation content encoded data transmitted immediately is sent to at least the display unit, and as a result, the confirmation content can be quickly reproduced on the display unit.
  • both the confirmation content encoded data and the stored content encoded data are sent to the recording unit and recorded.
  • the confirmation content is obtained by decoding by the core decoder (confirmation content decoder), and the remaining code (stored content encoded data) is used for this. By adding the components obtained by decoding by the decoder (part of the stored content decoder), the original photographed content can be reproduced.
  • FIG. 5 is a block diagram showing an example of the configuration of the stored content decoder in the embodiment of the present invention.
  • the camera unit transmits the confirmed content encoded data and the stored content encoded data to the recording unit, and the recording unit stores the confirmed content encoded data and the stored content encoded data in the recording medium 600. .
  • the stored content decoder 610 when playing back the captured content recorded on the recording medium 600, the stored content decoder 610 reads the corresponding confirmed content encoded data and stored content encoded data from the recording medium 600.
  • the read confirmed content encoded data and stored content encoded data are input to the hierarchical decoder 611 that grasps the system layer of the hierarchical encoded data. Then, under the control of the hierarchical decoder 611 (management of the correspondence relationship of each hierarchically encoded data, etc.), all of the encoded data is used first by the core decoder (decoder equivalent to the confirmation content decoder) 612. Decryption is performed to obtain confirmation content, and then the extension decoder 613 performs decryption to obtain data corresponding to a difference component from the captured content (data belonging to the saved content layer). These pieces of data are added by an adder 614, whereby a photographed content is acquired.
  • the present invention has been described on the premise of a digital video camera.
  • the encoding method, the sending back method, the transmission system, and the like according to the present invention are other existing data communication technologies, and It can be applied to various data communication technologies that will develop in the future. In particular, it is applicable to TV broadcasting and network distribution technologies, and it is becoming possible for individuals with portable terminals to distribute and distribute contents taken in various places regardless of the general public or specific members.
  • it can be widely used as a personal data distribution method and an intermediate distribution service provision method.
  • the present invention can be applied even when the content is single, such as only audio (such as radio broadcasting) or only video (monitoring).
  • the recording unit may be separable as a device configuration.
  • audio units such as headsets worn by the operator
  • each unit is separately separated regardless of whether or not each unit is separable.
  • the configuration may be such that transmission to each unit is possible.
  • video, audio, and other data may be handled as different confirmation units and stored content by different units, and by different encoding units and decoding units (different entities). Good. In this case, video, audio, and other data need to operate in parallel (synchronously) under different controls, but the encoding, decoding, and transmission processes in the present invention described above are in any case The same applies to.
  • video, audio, and other data are collectively referred to as content, and the present invention is described mainly focusing on only video as content.
  • specific processing for each of video, audio, and other data can be performed as follows, for example.
  • core layer encoded data and enhancement layer encoded data are created by hierarchical encoding, the core layer encoded data is displayed in the display unit and the recording unit, and the enhancement layer encoded data is recorded in the recording unit. To each.
  • core layer encoded data and enhancement layer encoded data are created by hierarchical encoding, and the core layer encoded data is encoded into the audio output unit and the recording unit. Send data to each recording unit. Other data is classified into data related to video and data related to audio, and transmitted to the display unit and audio output unit as necessary. When other data is recorded, it is transmitted to the recording unit as necessary.
  • the combined encoded data is transmitted to the display unit after being combined with the encoded data of the core layer.
  • visible data of data related to video and encoded data of the core layer may be combined in the display unit.
  • sound data of data related to sound is transmitted to the sound output unit
  • the synthesized data is combined with the core layer encoded data, and then the combined encoded data is output as sound. May be transmitted to the unit, or may be separately transmitted to the audio output unit, and then in the audio output unit, the sound data of the data related to the audio and the core layer encoded data may be combined. Good.
  • the recording unit may also be present at a remote location (in the above description, integrated with the camera unit, integrated with the display unit, or both close to each other) and communicates.
  • the apparatus of the present invention operates even before and after the start of shooting.
  • the shooting content transmitted by the camera unit is transmitted and the confirmation content is transferred to the display unit.
  • the recording unit does not actually record, so it is not necessary to receive confirmation content and stored content in the recording unit.
  • only the confirmation content is transmitted from the camera unit to the display unit.
  • Such an operation mode is referred to as an idling mode.
  • the above-described shooting mode with normal recording and idling mode may be switched at the shooting start / end timing, respectively.
  • hierarchical encoding is applied so that the sum of the confirmation content and the stored content matches the photographed content without excess or shortage.
  • Redundant data encoding that does not match the hierarchical encoding technique may be performed as long as the recording unit has a function of generating and transmitting to the display unit and the recording unit can store the captured content.
  • the camera unit may generate stored content encoded data that includes content that overlaps part or all of the confirmation content.
  • the recording unit may perform processing assuming that a part or all of the confirmed content is included in the stored content encoded data.
  • each functional block used in the above description of the embodiment of the present invention is typically realized as an LSI (Large Scale Integration) which is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
  • LSI Large Scale Integration
  • IC Integrated Circuit
  • system LSI super LSI
  • ultra LSI ultra LSI depending on the degree of integration.
  • the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • the present invention improves the convenience by efficiently performing data transmission between units in a sensing device in which a sensing unit and other units (particularly a display unit or an audio output unit) are separated and connected wirelessly. It can be applied to a technique for encoding and transmitting content data acquired in a sensing device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

カメラユニットとその他のユニット（特に、表示ユニット）とが分離して無線で接続される撮像装置において、ユニット間のデータ伝送を効率的に行って利便性を向上させる技術が開示され、その技術によれば撮像部で撮像された映像コンテンツデータは階層符号化によって、コアレイヤの確認コンテンツ符号化データと、拡張レイヤの保存コンテンツ符号化データに符号化される。確認コンテンツ符号化データは、即座に確認コンテンツ送信部９０６から無線通信を介して表示ユニット９５０に送られて表示出力される。一方、保存コンテンツ符号化データは、確認コンテンツ符号化データと共に、記録部９０７に保存される。これにより、映像コンテンツデータの迅速な表示と、品質を保った保存の両方が実現される。

Description

データ処理装置及びデータ符号化装置
　本発明は、コンテンツデータの符号化を行うデータ処理装置及びデータ符号化装置に関する。
　移動通信の進歩に伴って、第３世代パートナーシッププログラム（３ＧＰＰ：3rd Generation Partnership Program）では、非常に広範囲において無線通信サービスを提供するうえで、モビリティ（端末装置の高速な移動）サポート、広帯域（高スループット）データ通信サポートなど、音声のみならず、映像などのマルチメディアデータの伝送が可能となるまでに発達している。
　マルチメディアデータの通信においては、音声、映像など、通信対象となるデータを符号化して伝送することで、通信路の帯域消費、通信路の特性など、様々な点での効率化、安定化などが実現される。こうしたデータの符号化方法の１つとして、階層符号化技術が存在する。
　階層符号化技術においては、映像、音声を品質、用途などで分類し、各レベルにより階層化することで、基本となるデータに対して付加的な情報が分離可能な情報ブロックとして符号化される。それぞれの情報ブロックは個別に送受信でき、必要に応じて合成することで１つの符号化データ群が様々な環境で利用できるようになる。なお、音声の階層符号化技術として国際的に既に使用されている方式の先例として、下記の非特許文献１に記載されている技術が挙げられる。また、下記の特許文献１においても、品質の異なる画像データの圧縮方法が開示されている。
　また、通常、ビデオカメラは、撮影者自身が把持して撮影、記録を行うことができるようになっている。ビデオカメラは比較的小型で、撮影者が撮影映像を確認する手段（主に、ビューファインダーなど）も一体型となっている。しかしながら、例えば、撮影者がビューファインダーを見ようとしてビデオカメラを持つ手を動かすだけでぶれてしまったり、あるいは、少し離れた場所から撮影映像を確認することが難しかったりする場合がある。下記の特許文献２には、カメラユニットに対して着脱可能な外部ユニットを設けたビデオカメラが開示されている。特許文献２に開示されているビデオカメラによれば、有線であれ無線であれ、カメラユニットとその他のユニットとを分離して、その間を通信で補うことにより、デジタルビデオカメラの使用者の様々な利用シーンに対応した撮影が可能となる。
特開２００８－５０７１８０号公報 特開２００５－３５４４１９号公報
ＩＴＵ－Ｔ（International Telecommunication Union - Telecommunication sector）標準Ｇ．７２９．１規格書、２００６年５月
　しかしながら、実際の使用環境においては、例えば、カメラユニットとビューファインダーなどの表示ユニットとを着脱可能とした場合であっても、ユニット間が有線で接続されている場合には、撮影者の機材の扱いが制限されたり煩雑になってしまったりするため、必ずしも利便性が向上されるわけではない。より利便性を向上させるのであれば、ユニット間を無線で接続することが望ましいが、ユニット間が無線接続である場合は、
・無線通信リソースの干渉（電波干渉）の耐性を付加しなければならない
・有線接続に比べて伝送帯域が制限されるため、デジタルデータの圧縮などの符号化が必要となる
・追加の画像処理が必要となるため、処理や伝送による遅延時間が生じ、カメラユニットの撮影映像が表示ユニットに表示させた場合、画像表示が大きく遅延してしまうため、実際の撮影映像に対する撮影者の直感的動作にズレが生じる
　などの課題が発生してしまう。なお、特に小型のビデオカメラにおいては、カメラユニットが撮像装置以外のその他のセンシング装置（収音装置、測距装置、バッテリー残量センサ、加速度センサなど）を備えていることが多く、本明細書においては、撮像装置を含む様々なセンシング装置を含んだユニットであることから、センシングユニットと記載することもあるが、説明の上で理解がしやすいように、単にカメラユニット（種々のセンシング装置を備えていることを前提とする）と記載する場合もある。また、センシング装置において取得されたデータをセンシングデータと記載する場合もある。センシング装置が撮像装置の場合には、センシングデータには映像データが含まれ、センシング装置が収音装置の場合には、センシングデータには音声データが含まれる。また、その他のセンシング装置においてもそれぞれ対応するセンシングデータが取得される。
　本発明は、上記課題を解決するため、カメラユニットとその他のユニット（特に、表示ユニット又は音声出力ユニット）とが分離して無線で接続されるセンシング装置において、ユニット間のデータ伝送を効率的に行って利便性を向上させるデータ処理装置及びデータ符号化装置を提供することを目的とする。
　上記目的を達成するため、本発明のデータ処理装置は、センシングデータを出力する出力装置と無線接続されており、前記出力装置が出力するための前記センシングデータの処理を行うことが可能なデータ処理装置であって、
　前記出力装置が出力する前記センシングデータを取得するデータ取得部と、
　前記データ取得部で取得された前記センシングデータを所定の品質で符号化して第１符号化データを生成する第１符号化部と、
　前記第１符号化部で生成された前記第１符号化データを、無線接続を介して前記出力装置へ逐次送信する無線送信部と、
　前記第１符号化データに含まれるコンテンツの品質を上げる付加情報を前記データ取得部で取得された前記センシングデータから抽出して符号化し、第２符号化データを生成する第２符号化部と、
　前記第１符号化データ及び前記第２符号化データを記録媒体へ記録させるため、前記第１符号化データ及び前記第２符号化データを記録装置へ送信する送信部とを、
　有している。
　この構成により、センシング装置で取得されたデータ（例えば、映像データ又は音声データ）を出力装置（例えば、表示ユニット又は音声出力ユニット）に出力させるまでの時間が短縮され、また、出力装置へ伝送されるデータ量も削減されて安定したデータ出力が実現される。
　また、上記目的を達成するため、本発明のデータ符号化装置は、特定のセンシングデータの処理を行うことが可能なデータ符号化装置であって、
　入力センシングデータを所定の品質で符号化して第１符号化データを生成する第１符号化部と、
　前記第１符号化データに含まれるコンテンツの品質を上げる付加情報を前記入力センシングデータから抽出して符号化し、第２符号化データを生成する第２符号化部とを、
　有している。
　この構成により、入力センシングデータの内容を確認できる第１符号化データを迅速に出力するとともに、さらに、その品質を向上させる第２符号化データを出力することが可能となる。
　本発明は、上記の構成を有しており、センシングユニットとその他のユニット（特に、表示ユニット又は音声出力ユニット）とが分離して無線で接続されるセンシング装置において、ユニット間のデータ伝送を効率的に行って利便性を向上させるという効果を有する。
本発明の実施の形態のコンテンツ通信装置におけるコンテンツ処理の一例を示すシーケンスチャート 本発明の実施の形態における符号化及び伝送方法の模式的なイメージを示す図 本発明の実施の形態におけるカメラユニット及び表示ユニットの構成の一例を示すブロック図 本発明の実施の形態におけるカメラユニットに実装され得る撮影コンテンツ符号化器の構成の一例を示すブロック図 本発明の実施の形態における保存コンテンツ復号器の構成の一例を示すブロック図
　以下、図面を参照しながら、本発明の実施の形態について説明する。
　例えば、デジタルビデオカメラによって撮影を行う際の撮影環境は様々な場所が想定されるが、表示ユニットでの確認内容は主に構図調整用途（タイミングや構図、被写体の確認などのために使用）であり、表示ユニットの表示画像に関しては、画像の解像度、フレームレート、音声帯域などの面において保存するデータと同等であることは必須の条件ではない場合が多い。このように、表示ユニットに表示する画像は、構図調整などが可能であればある程度が品質の劣化（粗素材）が許される点に注目し、本発明では、記録用データと表示用データとで品質の異なる符号化を行って、記録及び表示を行うようにする。
　本発明の階層符号化を用いたコンテンツ通信装置は、放送／配信を行うような専門的な機材（例えばテレビ放送局で用いられているような機材）に限定されることなく、一般的なデジタルビデオカメラに適用させることが可能である。以下に一般的なデジタルビデオカメラに本発明を適用した場合の実施の形態について説明する。
　ビデオカメラのビューファインダーや液晶画面などに表示する映像、出力する音声、撮影パラメータ、記録時間、残り時間、バッテリー量などの通知すべきデジタルビデオカメラのステータス（以降、上述を総称してコンテンツと呼ぶ）を、本発明の通信方法を用いて離れた場所に位置する表示ユニットに送信し、そこでの操作などがあった場合はビデオカメラに送り返す。
　このとき、ビデオカメラで撮影したコンテンツは基本的にビデオカメラに内蔵若しくは接続された記録ユニットに保存されるが、撮影中のコンテンツを確認するための伝送においては、必ずしも保存するコンテンツのデータサイズのまま、安定して表示ユニットへ伝送できるわけではない。
　本発明の方法では、記録ユニットへの保存コンテンツと、粗素材の確認コンテンツとを区別することで、ビデオカメラのカメラユニットから表示ユニットまでの伝送を効率的に行うようにする。確認コンテンツを参照することにより、撮影者はズーム、構図調整、録音レベル調整、開始、停止などの操作をビデオカメラの（ビデオカメラと物理的に一体化している状態の）表示装置を直視できない／しにくい状態にあってもリアルタイムに操作可能となる。
　ここで、保存コンテンツはビデオカメラに内蔵若しくは何らかの方法で接続された記録ユニットに記録されるので、確認コンテンツを受信する表示ユニットは、必ずしも受信したコンテンツを保存する必要はない。このとき、記録ユニットがビデオカメラと一体型であれば、ビデオカメラ装置内の接続インタフェースを介して記録ユニットに伝送され、記録装置がビデオカメラから分離されている場合（表示ユニットと一体化されている場合も含む）は、ビデオカメラのインタフェースを介して記録ユニットに伝送される。
　以下、本発明の実施の形態について具体的に説明する。本発明の実施の形態では、映像を撮像するとともに音声を収録するビデオカメラにおいて、カメラユニットと、その他のユニット（例えば、記録ユニットや表示ユニット）とを分離して、ユニット間が無線で接続されている構成において、ユニット間のデータ伝送に階層符号化技術を応用することで、利便性に優れたカメラが実現される。
　図１は、本発明の実施の形態のコンテンツ通信装置におけるコンテンツ処理の一例を示すシーケンスチャートである。なお、このシーケンスチャートは、ある時刻におけるコンテンツのデータに着目して図示されているが、実際には、確認コンテンツ、保存コンテンツなどを始めとするデータは逐次伝送及び処理されている。また、ここでは、ビデオカメラは、撮像（及び収音）することが可能なカメラユニットを有しているが、撮影されたコンテンツを表示出力する表示ユニット（モニタなど）は、無線を介して接続されており、分離可能なように構成されているとする。また、撮影されたコンテンツを記録する記録ユニット（メモリ装置など）も、ビデオカメラの構成によっては分離可能なように構成されていてもよい。
　ビデオカメラのカメラユニットで撮影（及び収音）されたコンテンツは、記録ユニットに記録されるとともに、無線伝送されて、無線を介して接続されている表示ユニットにて表示される。以降の説明では、主に、撮影（及び収音）されたコンテンツ及びその他のビデオカメラや撮影に関する情報を特に区別なくコンテンツとして扱う場合について説明している部分があるが、映像、音声、その他のデータはそれぞれ別々に扱われてもよい。例えば、映像やその他のデータ（表示にて通知する情報）は表示ユニットに伝送される一方、音声やその他のデータ（警告音など音声にて通知する情報）は音声専用のユニットに伝送されるような構成も考えられる。
　ここで、カメラユニットからの撮影コンテンツの符号化方法として、スループットが低下した状態においても高画質・高圧縮のフレームをまたぐような符号化方法を採用するのではなく、粗素材の逐次符号化可能なデータをカメラユニットから記録ユニットや表示ユニットへ逐次送信することで、遅延低減を重視する。具体的には、撮影コンテンツの符号化方法に関して階層符号化方法を応用し、撮影コンテンツを確認コンテンツ（コア）レイヤと保存コンテンツ（拡張）レイヤに階層化して符号化を行う。確認コンテンツレイヤの情報と保存コンテンツレイヤの情報は分離可能であって、それぞれ個別に送受信でき、また、これらを合成することで、元の撮影コンテンツを得ることが可能である。なお、本明細書では、２つのレイヤに階層化する場合について主に説明を行うが、３つ以上のレイヤに階層化してもよい。なお、符号化の方式によっては、符号化における冗長度の削減の過程において、撮影したそのものの情報が完全に復元されない場合もあるが、このような場合も含めて、元の撮影コンテンツとする。
　確認コンテンツ（コア）レイヤは、低画素数、狭帯域、モノクロ、モノラルなどの高速符号化が可能な符号化パラメータセットの符号化を行い、フレーム毎送信を行う。なお、フレーム毎送信においては、走査線毎、走査線グループ毎、音素片毎、音素片グループ毎などのデータ送信単位時間が短くなる送信単位に分割を行うようにする。なお、本明細書では、確認コンテンツ（コア）レイヤに属する符号化データを確認コンテンツ符号化データと呼ぶ。
　一方、保存コンテンツ（拡張）レイヤは、高画素数、広帯域、ステレオ、広色域カラーなどの最終コンテンツに必要なパラメータセットの符号化を行い、フレーム間圧縮も含めた高圧縮符号化を行ってもよい。なお、保存コンテンツを記録する際の遅延（主に、記録ユニットにおける記録動作速度などで定まる遅延）を満たす範囲で符号化、送信される必要がある。なお、本明細書では、保存コンテンツ（拡張）レイヤに属する符号化データを保存コンテンツ符号化データと呼び、確認コンテンツ符号化データ及び保存コンテンツ符号化データの両方を復号して元の撮影コンテンツを確認できるようにする復号処理を保存コンテンツ復号と呼び、保存コンテンツ復号によって復号されたコンテンツ（撮影コンテンツと同等）を保存コンテンツと呼ぶ。
　図２は、本発明の実施の形態における符号化及び伝送方法の模式的なイメージを示す図である。カメラユニットは、ある符号化対象データに対して階層符号化を適用し、所定の処理単位毎に確認コンテンツレイヤの高速符号化を行って、作成された確認コンテンツ符号化データを逐次記録ユニット及び表示ユニットへ送信する。一方、保存コンテンツレイヤに関しては、保存コンテンツ符号化データは、対応する確認コンテンツよりも遅れて符号化され、記録ユニットのみへ送信される（表示ユニットへは送信されない）。なお、保存コンテンツレイヤは、確認コンテンツレイヤと異なり逐次送信する必要はなく、例えば、伝送効率や記録のための記憶媒体の利用効率などを考慮してフレーム間高圧縮符号化などが行われてもよい。これにより、カメラユニットからは、高速符号化によって作成された確認コンテンツ符号化データが記録ユニット及び表示ユニットに向けて逐次送信されるとともに、その後遅れて、保存コンテンツ符号化データが記録ユニットにのみ送信される。
　カメラユニットは、確認コンテンツレイヤのデータを記録ユニット及び表示ユニットの両方に逐次送信する（ステップＳ８０２ａ～８０２ｄ）。表示ユニットでは、逐次到着する確認コンテンツレイヤのデータを表示することで、撮影者（あるいは、表示ユニットの閲覧者）は映像を確認することが可能となる（ステップＳ８０４）。この際、表示ユニットでの表示方式に依存するが、撮影コンテンツ以外のデータ（撮影モード、撮影時間などの表示）の合成は、確認コンテンツの伝送時点で合成しておいてもよく、あるいは、表示ユニットで合成してもよい。
　表示ユニットにおいて、撮影者（あるいは、表示ユニットの閲覧者）が表示ユニット（表示ユニットに備え付けの入力装置）に対して入力を行った場合には（ステップＳ８０５）、その情報は適切な別のユニット（例えば、カメラユニットなどに対して送信される（ステップＳ８０６）。
　一方、カメラユニットは、保存コンテンツレイヤのデータを記録ユニットに対してのみ送信する（ステップＳ８０３）。記録ユニットは、先に受信している確認コンテンツレイヤのデータに加えて、後から受信される保存コンテンツレイヤのデータを保存する。なお、記録ユニットは、確認コンテンツ符号化データ及び保存コンテンツ符号化データを記録する際、復号せずにそのままの状態（符号化された状態）で保存してもよく、あるいは、確認コンテンツ符号化データ及び保存コンテンツ符号化データの復号を行ってから保存コンテンツの保存を行ってもよいし、さらに別の符号化を行ってもよい。
　なお、カメラユニットとその他のユニット（記録ユニットや表示ユニット）との間の伝送路として、例えば３ＧＰＰ回線などの公衆回線、無線ＬＡＮアクセスネットワークなどを利用する場合には、確認コンテンツの伝送と保存コンテンツの伝送、さらには、撮影者の入力情報の伝送は、それぞれ異なるＱｏＳ（Quality of Service：サービス品質）の設定が行われることが望ましい。具体的には、確認コンテンツ符号化データは遅延を許さないデータとして伝送され、保存コンテンツの符号化データは、多少の遅延時間は許しつつも、大容量のデータを正確に伝送できることが望ましい。また、符号化データを送る各ユニットの種類に応じて、ＱｏＳの設定や伝送方法が異なるようにしてもよい。例えば、表示ユニットへ送信される符号化データは遅延を許さないデータとして伝送され、記録ユニットへ送信される符号化データは、多少の遅延時間は許しつつも、大容量のデータを正確に伝送できることが望ましい。また、撮影者の入力情報やその他のデータの伝送に関しても、それぞれのデータの特性に合わせて、優先度を調整して伝送が行われてもよい（操作コマンドは低遅延、通常のバッテリーの残量表示は遅延可能など）。また、ベアラ、ＰＤＮ（パケットデータネットワーク：Packet Data Network）コネクション、セッションなどデータの伝送管理も別々になっていることが望ましい。
　以上のように、本発明の実施の形態における動作によれば、表示ユニットは、カメラユニットからの確認コンテンツを低遅延で受信及び表示できるようになり、従来の技術のように撮影コンテンツをそのまま伝送することに比べて、伝送すべきデータ量が大きく低減されるようになる。また、保存コンテンツの符号化（一般に、符号化に時間を要する）、に比較して、確認コンテンツの符号化は簡素かつ短い周期で処理されるため、符号化に要する時間が短く、カメラユニットは即座に確認コンテンツを送信することが可能となる。
　次に、本発明の実施の形態におけるカメラユニット及び表示ユニットの構成例について説明する。
　図３は、本発明の実施の形態におけるカメラユニット及び表示ユニットの構成の一例を示すブロック図である。図３に示すカメラユニット９００は、撮像部９０１、収音部９０２、確認コンテンツ符号化部９０３、保存コンテンツ符号化部９０４、階層符号化管理部９０５、確認コンテンツ送信部９０６、制御部９１０を有している。
　撮像部９０１は、外部の被写体を映像として取り込む機能を有しており、収音部９０２は、外部の音声を収集する機能を有している。なお、撮像部９０１及び収音部９０２の機能は、通常のカメラにおける映像の撮像及び音声の収集と同様である。本明細書では、撮像部９０１及び収音部９０２で取り込まれた映像／音声を撮影コンテンツと呼ぶ。なお、取り込まれた情報（映像、音声、その他のデータ列など）はそれぞれが個別に扱われてもよく、また、統合されたマルチメディアデータとして一括で扱われてもよい。
　撮像部９０１及び収音部９０２で取り込まれた映像／音声データは、それぞれ確認コンテンツ符号化部９０３及び保存コンテンツ符号化部９０４へ供給される。
　確認コンテンツ符号化部９０３は、遅延時間の短縮を重視して撮影コンテンツを符号化する機能を有している。確認コンテンツ符号化部９０３は、設定された短期間の処理単位（１フレーム単位、走査線単位、数ミリ秒単位など）で撮影コンテンツを符号化する。それぞれの処理単位は、復号時に後続の処理単位のデータを待つ必要なく処理できるように、少なくとも後続の情報に依存しない方法（例えば、フレーム内圧縮や既処理データとの差分符号など）で符号化されることが望ましい。
　また、符号化のパラメータとしては、確認コンテンツ符号化データのサイズ、符号化及び復号に要する処理時間など、遅延時間に関連するパラメータが小さくなるように設定されることが望ましい。例えば、表示ユニットで表示確認を、構図の確認やタイミングの確認に使用するだけであるなら、遅延時間の短縮を重視した撮影コンテンツの符号化によって、映像の画素数を元の撮影コンテンツと比較して粗くしてもよく、色域もモノクロで音声はモノラルとしてもよいかもしれない。また、こうした符号化方法（例えば、表示ユニットにおける画素数など）をカメラユニットやその他のユニットにおける操作によって選択できるようにしてもよい。
　このように必要最小限の処理データ単位とすることで、処理時間を短縮することが可能である。ただし、階層符号化はその構造上、階層の単位が増加すると、一般にオーバヘッドが増加し、また、切り出す処理単位が短くなると相対的に処理単位数が増えるためにオーバヘッドが増加したり、符号化の効率が低下したりするといった影響を及ぼす場合がある。したがって、短期間の処理単位の設定は、総合的な観点から全体の処理時間が短縮されるように設定されることが望ましい。
　確認コンテンツ符号化部９０３による符号化で生成された確認コンテンツ符号化データは、確認コンテンツ送信部９０６及び記録部９０７へ出力され、確認コンテンツ送信部９０６が、この確認コンテンツ符号化データを無線接続を通じて別のユニット（ここでは、表示ユニット）へ送信する。確認コンテンツ符号化部９０３によって符号化された確認コンテンツ符号化データは、都度、即座に送信処理が行われるように確認コンテンツ符号化部９０３から確認コンテンツ送信部９０６へ渡されることが望ましい。
　なお、確認コンテンツ符号化データは、他のユニット（ここでは、表示ユニット９５０）へ伝送されるため、確認コンテンツ符号化データがその他の伝送に関わるオーバヘッドを加味したうえで、一回の伝送単位（例えば、通信端末の送信周期に割り当てられる送信データサイズ、伝送パケットのパケットサイズ単位など）に対して、過不足がある場合は、短期間の処理単位と整合せず、処理単位としては分割したにもかかわらず実質的には同時に送信されてしまう（処理単位に分割したためにオーバヘッドが増加してしまうかもしれない）ようになったり、さらに小さな伝送単位に分割される（更なる低遅延化が見込めるかもしれない）ようになったりすることが考えられる。したがって、全体の設定としては、伝送単位も考慮した処理単位とすることが望ましく、例えば、短期間の処理単位と伝送単位とが一致しているか、あるいは、一方が他方の逓倍となっていることが望ましい。
　また、確認コンテンツ符号化部９０３は、階層符号化管理部９０５から、対応する階層（保存コンテンツレイヤ）との関係性を符号化できるような制御（パラメータの動的な設定、管理情報の付加など）を受けるよう構成されていてもよく、また、保存コンテンツ符号化部９０４との間で情報の受け渡しが行われるよう構成されていてもよい。
　一方、保存コンテンツ符号化部９０４は、必要な保存コンテンツレイヤの情報を生成するために、必要とされる品質及びパラメータで撮影コンテンツを符号化する機能を有している。保存コンテンツ符号化部９０４で生成された保存コンテンツ符号化データは、記録部９０７へ出力される。なお、階層符号化において保存コンテンツのレイヤが複数あれば、それぞれのレイヤに対して符号化部が必要となるかもしれないが、ここでは、１つの保存コンテンツ符号化部９０４が存在する場合を一例として説明する。すなわち、階層符号化における各レイヤに応じて、保存コンテンツ符号化部９０４は、複数存在していてもよい。
　元となる（取り込んだ）映像コンテンツは、保存コンテンツ符号化部９０４においてその情報の一部は符号化されていると考えることができるので、保存コンテンツ符号化部９０４は、元となる映像コンテンツと確認コンテンツ符号化部９０３における符号化済みの情報との差分を符号化すればよい。保存コンテンツ符号化部９０４は、例えば、モノクロに対するカラー、輝度情報に関する符号化、低解像度映像に対する高解像度部分に関する符号化、モノラル音声に対するステレオ音声差分の符号化、狭帯域音声に対する拡張帯域音声の符号化、粗サンプリングデータに対する補間データの符号化などを行って、保存コンテンツ符号化データを生成する。
　また、保存コンテンツ符号化部９０４は、階層符号化管理部９０５から、対応する階層（確認コンテンツ）との関係性を符号化できるような制御（パラメータの動的な設定、管理情報の付加など）を受けるよう構成されていてもよく、また、確認コンテンツ符号化部９０３との間で情報の受け渡しが行われるよう構成されていてもよい。
　また、階層符号化管理部９０５は、確認コンテンツ符号化部９０３及び保存コンテンツ符号化部９０４における各符号化を管理し、各符号化における符号を階層化して、一連の符号化データ（階層符号）として構成する機能を有している。具体的には、階層符号化管理部９０５は、取り込んだ撮影コンテンツを確認コンテンツ符号化部９０３において短期間の処理単位で処理するときに、確認コンテンツ符号化部９０３において対応する１つ若しくは複数の短期間の処理単位との対応関係を管理し、階層符号化の構造として付加的な情報要素を付加（若しくは符号化）する機能を有している。なお、これはシステムレイヤとも呼ばれることがあり、階層符号化管理部９０５は、確認コンテンツ符号化部９０３及び保存コンテンツ符号化部９０４で符号化された各符号化データを関係付け、また、それぞれの符号化部の制御を行ったり（パラメータの動的な設定、管理情報の付加など）、情報の受け渡しの制御を行ったりすることもある。
　また、確認コンテンツ送信部９０６は、撮影コンテンツ符号化部９０３から出力される確認コンテンツ符号化データを表示ユニット９５０へ送る機能を有している。なお、ここでは、記録ユニットはカメラユニット９００と一体化されている構成を一例としているので、保存コンテンツ符号化データの外部への送信は行われないが、記録ユニットが表示ユニット９５０と同様に無線接続を介して接続されているような場合には、確認コンテンツ符号化データを送信する確認コンテンツ送信部９０６と同様に、保存コンテンツ符号化データを送信する保存コンテンツ送信部が必要となる。
　なお、確認コンテンツ符号化データ送信部９０６からの確認コンテンツ符号化データの送信については、遅延時間を短縮することを優先して処理することが望ましく、例えば、通信経路として、遅延時間が短い経路（通信モジュール、インタフェースなど）を選択したり、通信経路のパラメータ設定が可能であるような場合（通信路を管理するノードに対してＱｏＳパラメータなどの要求を行える場合なども含む）に、遅延時間を短く設定するように通信路設定の処理を行ったり、あるいは、他の符号化データを含むデータ通信とは異なる通信処理（ベアラ、セッション、コネクションの設定など）を行ったりしてもよい。
　また、記録部９０７は、確認コンテンツ符号化部９０３で符号化された確認コンテンツ符号化データと、保存コンテンツ符号化部９０４で符号化された保存コンテンツ符号化データの両方が供給され、これらの符号化データを記録媒体に記録する機能を有している。
　なお、記録部９０７は、確認コンテンツ符号化データ及び保存コンテンツ符号化データを記録する際、復号せずにそのままの状態（符号化された状態）で保存してもよく、あるいは、確認コンテンツ符号化データ及び保存コンテンツ符号化データの復号を行ってから保存コンテンツの保存を行ってもよいし、さらに別の符号化を行ってもよい。確認コンテンツ符号化データ及び保存コンテンツ符号化データを利用して得られる保存コンテンツでは、元の撮影コンテンツを得ることが可能である。なお、符号化の方式によっては、符号化における冗長度の削減の過程において、撮影したそのものの情報が完全に復元されない場合もあるが、このような場合も含めて、元の撮影コンテンツとする。
　また、制御部９１０は、その他のデータを生成、管理し、どのユニットに対してどのような形で伝送するかの判断処理を行う機能を有している。制御部９１０は、例えば、撮影の時間（タイムコードなど）を生成し、表示ユニット９５０には表示用に（映像表示と共に）、記録ユニット（図３には不図示）には付加データとして（映像データには直接写り込まないように）制御しながら伝送したり、バッテリー残量は表示ユニットにのみ伝送したりするなど、データの特性に合わせて制御、伝送を行うことが可能である。また、制御部９１０は、他のユニット（表示ユニット９５０）の制御部９６０と相互に制御信号のやり取りを行うことが可能である。
　一方、図３に示す表示ユニット９５０は、確認コンテンツ受信部９５１、確認コンテンツ復号部９５２、表示部９５３、音声出力部９５４、制御部９６０を有している。この表示ユニット９５０の動作は単純であり、受信した符号化データを復号して出力するだけである。具体的には、確認コンテンツ受信部９５１が、カメラユニット９００の確認コンテンツ送信部９０６から送信されてくる確認コンテンツ符号化データを受信し、確認コンテンツ復号部９５２が確認コンテンツ符号化データの復号を行い、その結果得られた確認コンテンツを表示部９５３及び音声出力部９５４から出力する。また、制御部９６０は、カメラユニット９００の制御部９１０とやり取りを行って、例えば、バッテリー残量は表示ユニットにのみ伝送したりするなど、特定の機能（表示ユニット９５０であれば表示機能）に合わせたデータの受信、制御を行うことが可能である。
　なお、図３に図示されているカメラユニット９００及び表示ユニット９５０の構成は一例に過ぎない。カメラユニット９００は、撮影コンテンツに関連する確認コンテンツの逐次符号化可能なデータ（階層符号化におけるコアレイヤの情報）を遅延重視で送信できればよい。なお、ある機能ブロックを別の機能ブロックの一部として実現したり、ある機能ブロックをインタフェースを通じて接続可能な別の外部機材に実装させたりしてもよい。
　また、確認コンテンツの送信先は表示ユニット９５０に限らず、他のユニットに送信することも可能である。さらに、撮影コンテンツそのものを必要とするユニットに対しては、確認コンテンツ符号化データに加えて、保存コンテンツ符号化データ（階層符号化における拡張レイヤの情報）も送信することで、送信先に撮影コンテンツを送信することができるようになる。
　また、図４は、本発明の実施の形態におけるカメラユニットに実装され得る撮影コンテンツ符号化器５００の構成の一例を示すブロック図である。なお、図４に示す撮影コンテンツ符号化器５００は、階層符号化技術を用いて撮影コンテンツから確認コンテンツ符号化データ及び保存コンテンツ符号化データを作成する機能に着目して図示されている。
　図４に示す撮影コンテンツ符号化器５００は、コア符号化器５０１、コア復号器５０２、差成分抽出器５０３、拡張符号化器５０４を有している。なお、コア符号化器５０１、拡張符号化器５０４はそれぞれ、図３に図示されている確認コンテンツ符号化器９０３、保存コンテンツ符号化器９０４に対応している。
　撮影コンテンツ符号化器５００に入力された撮影コンテンツは、コア符号化器５０１及び差成分抽出器５０３に供給される、まず、コア符号化器５０１が撮影コンテンツの符号化を行って、粗素材の確認コンテンツを含む確認コンテンツ符号化データを生成する。コア符号化器５０１で生成された確認コンテンツ符号化データは、コア復号器５０２に供給され、コア復号器５０２は、供給された確認コンテンツ符号化データの復号処理を行って確認コンテンツを得て、差成分抽出器５０３へ確認コンテンツを供給する。
　差成分抽出器５０３は、供給された撮影コンテンツと確認コンテンツとの差成分を抽出し、その差成分を拡張符号化器５０４へ供給する。拡張符号化器５０４は、供給された差成分を符号化して保存コンテンツ符号化データを生成する。そして、コア符号化器５０１で得られた確認コンテンツ符号化データ、拡張符号化器５０４で得られた保存コンテンツ符号化データがそれぞれ出力される。
　なお、符号化データの出力及び伝送のタイミングとしては、遅延時間の短縮を考慮し、まず、確認コンテンツ符号化データが得られた時点で即座に伝送するよう撮影コンテンツ符号化器５００より出力し、次に、残りの処理を行った後に得られる保存コンテンツ符号化データを撮影コンテンツ符号化器５００より出力する。これにより、即座に送信される確認コンテンツ符号化データは、少なくとも表示ユニットへ送られ、その結果、表示ユニットで迅速に確認コンテンツの再生が行えるようになる。また、確認コンテンツ符号化データ及び保存コンテンツ符号化データの両方は記録ユニットへ送られて記録される。記録ユニットに記録されている撮影コンテンツの再生の際には、コア復号器（確認コンテンツ復号器）による復号で確認コンテンツが得られ、これに残りの符号（保存コンテンツ符号化データ）を用いた拡張復号器（保存コンテンツ復号器の一部）による復号で得られる成分を加算することにより、元の撮影コンテンツが再生可能となる。
　また、図５は、本発明の実施の形態における保存コンテンツ復号器の構成の一例を示すブロック図である。なお、ここでは、カメラユニットが、確認コンテンツ符号化データ及び保存コンテンツ符号化データを記録ユニットへ送信し、記録ユニットが確認コンテンツ符号化データ及び保存コンテンツ符号化データを記録媒体６００に保存したとする。
　図５において、記録媒体６００に記録されている撮影コンテンツの再生を行う場合、保存コンテンツ復号器６１０は、対応する確認コンテンツ符号化データ及び保存コンテンツ符号化データを記録媒体６００から読み出す。
　読み出された確認コンテンツ符号化データ及び保存コンテンツ符号化データは、階層符号化データのシステムレイヤを把握する階層型復号器６１１に入力される。そして、階層型復号器６１１の制御（各階層符号化データの対応関係などの管理）によって、符号化データの全てを用いて、まずコア復号器（確認コンテンツ復号器と等価の復号器）６１２で復号を行って確認コンテンツを取得し、次に拡張復号器６１３で復号を行って撮影コンテンツとの差成分に相当するデータ（保存コンテンツレイヤに属するデータ）を取得する。そして、これらのデータは、加算器６１４において加算されることで、撮影コンテンツが取得される。
　なお、上述の実施の形態では、デジタルビデオカメラを前提として本発明の説明を行っているが、本発明に係る符号化方法、送り返し方法、伝送システムなどは、その他既存のデータ通信技術、及び、将来発展するであろう様々なデータ通信技術に適用することができる。特に、テレビ放送やネットワーク配信の技術に適用可能であり、また、携帯端末を所持する個人が様々な場所で撮影したコンテンツを一般公衆又は特定メンバを問わずに配布、配信することが可能となりつつあるデータ通信においては、個人のデータ配信方法、中間の配信サービス提供方法としても広く利用可能である。また、音声のみ（ラジオ放送など）や映像のみ（監視）など、コンテンツが単一の場合にも本発明の適用が可能であることは明らかである。
　また、説明を簡単にするため、主に、分離可能な表示ユニットに対して確認コンテンツをすべて伝送する構成の場合に関して説明したが、機器の構成としては、記録ユニットが分離可能でもよく、他にも、音声ユニット（操作者が装着するヘッドセットなど）などがさらに分離可能な構成になっていてもよく、また、それぞれのユニットが分離可能であるか否かに関わらず、別途分離状態にあるそれぞれのユニットに伝送可能であるような構成でもよい。また、分離されているユニットの構成により、確認コンテンツ、保存コンテンツとして、映像、音声、その他のデータがそれぞれ異なるユニットで、また、異なる符号化部、復号部で（異なるエンティティで）扱われてもよい。この場合は、映像、音声、その他のデータがそれぞれ異なる制御において並行して（同期して）動作する必要があるが、上述の本発明における、符号化、復号、伝送の処理は、いずれの場合においても同様に適用可能である。
　また、その他のデータは必ずしも階層符号化をする必要がない。データの性質に応じて、コアレイヤの符号化データ（確認コンテンツ符号化データ）と共に撮影者に伝送されるデータと、拡張レイヤの符号化データ（保存コンテンツ符号化データ）と共に保存のみがなされるデータに分類して処理してもよい。
　また、上述の実施の形態では、説明を簡単にするため、映像、音声、その他のデータについてコンテンツと総称し、また、主にコンテンツとして映像のみに焦点を当てながら本発明の説明を行っているが、映像、音声、その他のデータのそれぞれについての具体的な処理は、例えば、以下のように行うことが可能である。
　映像については、撮像後、階層符号化によってコアレイヤの符号化データと拡張レイヤの符号化データとを作成し、コアレイヤの符号化データを表示ユニット及び記録ユニットへ、拡張レイヤの符号化データを記録ユニットへそれぞれ送信する。音声についても同様に、収音後、階層符号化によってコアレイヤの符号化データと拡張レイヤの符号化データとを作成し、コアレイヤの符号化データを音声出力ユニット及び記録ユニットへ、拡張レイヤの符号化データを記録ユニットへそれぞれ送信する。また、その他のデータについては、映像に関連するデータと音声に関連するデータとに分別して、それぞれ必要に応じて表示ユニット、音声出力ユニットへ送信する。また、その他のデータを記録する場合には、必要に応じて記録ユニットへ送信する。
　なお、その他のデータ（映像に関連するデータのうちの可視データ）が表示ユニットへ送信される場合には、コアレイヤの符号化データと合成された後に、合成された符号化データが表示ユニットへ送信されてもよく、また、それぞれ別々に表示ユニットへ送信された後、表示ユニットにおいて、映像に関連するデータのうちの可視データと、コアレイヤの符号化データとが合成されてもよい。また、その他のデータ（音声に関連するデータのうちの音データ）が音声出力ユニットへ送信される場合も同様に、コアレイヤの符号化データと合成された後に、合成された符号化データが音声出力ユニットへ送信されてもよく、また、それぞれ別々に音声出力ユニットへ送信された後、音声出力ユニットにおいて、音声に関連するデータのうちの音データと、コアレイヤの符号化データとが合成されてもよい。
　さらに、上述の説明では、主にカメラユニットと表示ユニットが共に撮影者の至近距離にあるケースを示したが、公衆網、その他の広域無線、ネットワークを介して伝送されるようになっていてもよく、同様に、記録ユニットも離れた場所（上述の説明では、カメラユニットと一体、表示ユニットと一体、若しくは双方の至近距離としている）に存在し、通信を行うようになっていてもよい。
　また、実際の使用環境において、本発明の装置が、撮影の開始前後も含めて動作していることが考えられるが、この場合、カメラユニットでの撮影コンテンツが伝送されて確認コンテンツが表示ユニットに表示されるものの、記録ユニットでは実際には記録を行わないため、記録ユニットにおける確認コンテンツ及び保存コンテンツの受信を必要としない。この場合、カメラユニットから表示ユニットへの確認コンテンツの伝送のみが行われる。なお、このような動作モードを、アイドリングのモードと呼ぶことにする。上述した通常の記録を伴う撮影を行うモードと、アイドリングのモードとは、撮影開始／終了のタイミングでそれぞれ切り替わるようにしてもよい。
　また、上述の実施の形態では、階層符号化を応用して、確認コンテンツと保存コンテンツとを加算したものが、過不足なく撮影コンテンツに一致するようにしているが、カメラユニットが、確認コンテンツを生成して表示ユニットへ送信する機能を有し、かつ、記録ユニットが撮影コンテンツの保存を行うことが可能であれば、階層符号化技術と一致しない冗長なデータ符号化が行われてもよい。例えば、カメラユニットは、確認コンテンツの一部又は全部と重複する内容を含む保存コンテンツ符号化データを生成してもよい。この場合、記録ユニットにおいては、保存コンテンツ符号化データに重複して確認コンテンツの一部又は全部が含まれていることを前提とした処理を行えばよい。また、確認コンテンツの全部が保存コンテンツ符号化データに含まれるよう符号化が行われる場合には、図３に示すカメラユニット９００は、確認コンテンツ符号化器９０３と、入力される撮影コンテンツ全体を符号化する符号化器（撮影コンテンツ符号化器）とを有し、確認コンテンツ符号化データを即座に表示ユニットへ送信するとともに、遅れて、撮影コンテンツ全体を符号化したデータを記録ユニットに送信すればよい。
　なお、上記の本発明の実施の形態の説明で用いた各機能ブロックは、典型的には集積回路であるＬＳＩ（Large Scale Integration）として実現される。これらは個別に１チップ化されてもよいし、一部又はすべてを含むように１チップ化されてもよい。なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Integrated Circuit）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
　また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。例えば、バイオ技術の適応などが可能性としてあり得る。
　本発明は、センシングユニットとその他のユニット（特に、表示ユニット又は音声出力ユニット）とが分離して無線で接続されるセンシング装置において、ユニット間のデータ伝送を効率的に行って利便性を向上させるという効果を有しており、センシング装置において取得されたコンテンツデータの符号化及び伝送を行う技術に適用可能である。

Claims (18)

  1. 　センシングデータを出力する出力装置と無線接続されており、前記出力装置が出力するための前記センシングデータの処理を行うことが可能なデータ処理装置であって、
    　前記出力装置が出力する前記センシングデータを取得するデータ取得部と、
    　前記データ取得部で取得された前記センシングデータを所定の品質で符号化して第１符号化データを生成する第１符号化部と、
    　前記第１符号化部で生成された前記第１符号化データを、無線接続を介して前記出力装置へ逐次送信する無線送信部と、
    　前記第１符号化データに含まれるコンテンツの品質を上げる付加情報を前記データ取得部で取得された前記センシングデータから抽出して符号化し、第２符号化データを生成する第２符号化部と、
    　前記第１符号化データ及び前記第２符号化データを記録媒体へ記録させるため、前記第１符号化データ及び前記第２符号化データを記録装置へ送信する送信部とを、
    　有するデータ処理装置。
  2. 　前記センシングデータが映像データ又は音声データである請求項１に記載のデータ処理装置。
  3. 　前記第１符号化部及び前記第２符号化部が、前記データ取得部で取得されたセンシングデータの階層符号化を行い、前記第１符号化部が、前記階層符号化のコアレイヤの符号化データを前記第１符号化データとして生成し、前記第２符号化部が前記階層符号化の拡張レイヤの符号化データを前記第２符号化データとして生成するよう構成されている請求項１に記載のデータ処理装置。
  4. 　前記第１符号化部が、前記無線通信部における送信単位に合わせて前記第１符号化データを生成するように構成されている請求項１に記載のデータ処理装置。
  5. 　前記第１符号化部がフレーム毎圧縮による符号化を行い、前記第２符号化部がフレーム間圧縮による符号化を行うように構成されている請求項１に記載のデータ処理装置。
  6. 　前記記録装置と無線接続されている請求項１に記載のデータ処理装置。
  7. 　前記センシングデータが少なくとも映像データ及び音声データを含んでおり、前記第１符号化部及び前記第２符号化部が、前記映像データの符号化処理における符号化単位に合わせて前記音声データの符号化処理を行うように構成されている請求項１に記載のデータ処理装置。
  8. 　前記センシングデータが映像データ又は音声データとその他のセンシングデータとを含んでおり、前記その他のセンシングデータに関して階層符号化を行うように構成されている請求項５に記載のデータ処理装置。
  9. 　前記センシングデータが映像データ又は音声データとその他のセンシングデータとを含んでおり、前記その他のセンシングデータの中から前記出力装置が出力すべきデータを分別して前記出力装置へ送信するよう構成されている請求項１に記載のデータ処理装置。
  10. 　前記センシングデータが映像データ又は音声データとその他のセンシングデータとを含んでおり、前記その他のセンシングデータの中から前記記録装置が記録すべきデータを分別して前記記録装置へ送信するよう構成されている請求項９に記載のデータ処理装置。
  11. 　前記センシングデータが映像データ又は音声データとその他のセンシングデータとを含んでおり、前記その他のセンシングデータの中から前記出力装置が出力すべきデータを分別して、分別された前記出力装置が出力すべきデータと、前記出力装置へ送信すべき前記映像データ又は前記音声データとを合成するよう構成されている請求項１に記載のデータ処理装置。
  12. 　前記センシングデータが映像データ又は音声データとその他のセンシングデータとを含んでおり、前記その他のセンシングデータの中から前記出力装置が出力すべきデータを分別して前記出力装置へ送信し、前記出力装置において、分別された前記出力装置が出力すべきデータと、前記出力装置が出力すべき映像データ又は音声データとを合成させるよう構成されている請求項１に記載のデータ処理装置。
  13. 　特定のセンシングデータの処理を行うことが可能なデータ符号化装置であって、
    　入力センシングデータを所定の品質で符号化して第１符号化データを生成する第１符号化部と、
    　前記第１符号化データに含まれるコンテンツの品質を上げる付加情報を前記入力センシングデータから抽出して符号化し、第２符号化データを生成する第２符号化部とを、
    　有するデータ符号化装置。
  14. 　前記センシングデータが映像データ又は音声データである請求項１３に記載のデータ符号化装置。
  15. 　前記第１符号化部及び前記第２符号化部が、前記データ取得部で取得されたデータの階層符号化を行い、前記第１符号化部が、前記階層符号化のコアレイヤの符号化データを前記第１符号化データとして生成し、前記第２符号化部が、前記階層符号化の拡張レイヤの符号化データを前記第２符号化データとして生成するよう構成されている請求項１３に記載のデータ符号化装置。
  16. 　前記第１符号化部で生成された前記第１符号化データを復号して復号データを生成する復号部と、
    　前記入力センシングデータと、前記復号部で生成された前記復号データとの差成分を抽出して差成分データを生成する差成分抽出部とを、
    　有し、
    　前記第２符号化部が、前記差成分抽出部で生成された前記差成分データを前記階層符号化の拡張レイヤの符号化データとして、前記第２符号化データを生成するように構成されている請求項１３に記載のデータ符号化装置。
  17. 　前記第１符号化部が、前記第1符号化部と接続された出力部の出力単位に合わせて前記第１符号化データを生成するように構成されている請求項１３に記載のデータ符号化装置。
  18. 　前記第１符号化部がフレーム毎圧縮による符号化を行い、前記第２符号化部がフレーム間圧縮による符号化を行うように構成されている請求項１３に記載のデータ符号化装置。
PCT/JP2011/000575 2010-02-15 2011-02-02 データ処理装置及びデータ符号化装置 WO2011099254A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US13/576,270 US8768140B2 (en) 2010-02-15 2011-02-02 Data processing unit and data encoding device
JP2011553742A JPWO2011099254A1 (ja) 2010-02-15 2011-02-02 データ処理装置及びデータ符号化装置
EP11742004.2A EP2538670B1 (en) 2010-02-15 2011-02-02 Data processing unit
CN201180009453.5A CN102754448B (zh) 2010-02-15 2011-02-02 数据处理装置及数据编码装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010030278 2010-02-15
JP2010-030278 2010-02-15

Publications (1)

Publication Number Publication Date
WO2011099254A1 true WO2011099254A1 (ja) 2011-08-18

Family

ID=44367542

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/000575 WO2011099254A1 (ja) 2010-02-15 2011-02-02 データ処理装置及びデータ符号化装置

Country Status (5)

Country Link
US (1) US8768140B2 (ja)
EP (1) EP2538670B1 (ja)
JP (1) JPWO2011099254A1 (ja)
CN (1) CN102754448B (ja)
WO (1) WO2011099254A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8612821B2 (en) * 2010-10-06 2013-12-17 Cleversafe, Inc. Data transmission utilizing route selection and dispersed storage error encoding
US20150049099A1 (en) 2013-08-13 2015-02-19 Mediatek Inc. Data processing apparatus for transmitting/receiving compressed pixel data groups of picture over display interface and related data processing method
JP5769789B2 (ja) * 2013-12-13 2015-08-26 オリンパス株式会社 画像受信装置、撮像装置、撮像システム、画像受信方法、およびプログラム
US10291849B1 (en) * 2015-10-16 2019-05-14 Tribune Broadcasting Company, Llc Methods and systems for determining that a video-capturing device is unsteady
WO2020066186A1 (ja) * 2018-09-27 2020-04-02 富士フイルム株式会社 撮像素子、撮像装置、画像データ出力方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001177573A (ja) * 1999-12-20 2001-06-29 Fujitsu Ltd データ通信システム並びにデータ受信端末及びデータ送信端末
JP2005354419A (ja) 2004-06-10 2005-12-22 Sony Corp ビデオカメラ
JP2008507180A (ja) 2004-07-13 2008-03-06 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 空間的及びｓｎｒ画像圧縮の方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0595540A (ja) * 1991-09-30 1993-04-16 Sony Corp 動画像符号化装置
JP3429061B2 (ja) 1994-05-19 2003-07-22 富士写真フイルム株式会社 電子スチルカメラ
EP1407596B1 (en) 2001-07-19 2017-10-25 BRITISH TELECOMMUNICATIONS public limited company Video stream switching
US7450157B2 (en) * 2001-12-21 2008-11-11 Hewlett-Packard Development Company, L.P. Remote high resolution photography and video recording using a streaming video as a view-finder
US20090252425A1 (en) * 2004-12-13 2009-10-08 Koninklijke Philips Electronics, N.V. Scalable picture encoding
JP2007072130A (ja) * 2005-09-06 2007-03-22 Seiko Epson Corp 画像表示システム、画像表示装置、画像データ出力装置、画像処理プログラム、及びこの画像処理プログラムを記録した記録媒体
CN101313588B (zh) * 2005-09-27 2012-08-22 高通股份有限公司 基于内容信息的可缩放性技术的编码方法和设备
US8879856B2 (en) * 2005-09-27 2014-11-04 Qualcomm Incorporated Content driven transcoder that orchestrates multimedia transcoding using content information
KR101211432B1 (ko) * 2007-12-27 2012-12-12 보드 오브 트러스티즈 오브 미시건 스테이트 유니버시티 적응적 비디오 전송을 위한 채널용량 추정 및 코딩 레이트 조정 방법과, 그를 이용한 비디오 전송/수신 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001177573A (ja) * 1999-12-20 2001-06-29 Fujitsu Ltd データ通信システム並びにデータ受信端末及びデータ送信端末
JP2005354419A (ja) 2004-06-10 2005-12-22 Sony Corp ビデオカメラ
JP2008507180A (ja) 2004-07-13 2008-03-06 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 空間的及びｓｎｒ画像圧縮の方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ITU-T, May 2006 (2006-05-01)

Also Published As

Publication number Publication date
JPWO2011099254A1 (ja) 2013-06-13
EP2538670A4 (en) 2013-07-31
EP2538670A1 (en) 2012-12-26
CN102754448A (zh) 2012-10-24
US20120301099A1 (en) 2012-11-29
US8768140B2 (en) 2014-07-01
CN102754448B (zh) 2016-03-02
EP2538670B1 (en) 2018-05-09

Similar Documents

Publication Publication Date Title
JP6962325B2 (ja) 画像処理装置、画像処理方法、及びプログラム
WO2018082284A1 (zh) 3d全景音视频直播系统及音视频采集方法
EP2234406A1 (en) A three dimensional video communication terminal, system and method
US10511766B2 (en) Video transmission based on independently encoded background updates
JP6377784B2 (ja) オーディオビデオ同期取込によって一対多オーディオビデオストリーミングを行う方法
KR20070121566A (ko) 화상 처리 장치, 촬상 장치, 및 방법
CN102811373A (zh) 移动终端向互联网以及移动互联网进行视频直播的方法
KR101611531B1 (ko) 촬영장치 및 촬영영상 제공방법
CN101945096A (zh) 手机面向机顶盒和pc进行视频直播的系统及其工作方法
US20200288123A1 (en) Image processing apparatus and image processing method
WO2011099254A1 (ja) データ処理装置及びデータ符号化装置
JP5607084B2 (ja) コンテンツ通信装置及びコンテンツ加工装置並びにコンテンツ通信システム
CN113507574A (zh) 一种超高清视频的制播处理系统
JP2007274443A (ja) 画像伝送方法、送信装置、受信装置及び画像伝送システム
CN113132686A (zh) 一种基于国产linux系统的局域网视频监控的实现方法
JP5799958B2 (ja) 映像処理サーバおよび映像処理方法
KR20150035845A (ko) Cctv 영상신호 ip 전송기
KR20150126335A (ko) 촬영장치 및 촬영영상 제공방법
Chandra et al. Towards portable multi-camera high definition video capture using smartphones
Seo et al. HD Video Remote Collaboration Application
JP2012120011A (ja) 動画像通信装置、デジタルビデオカメラ、記録媒体および半導体集積回路

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180009453.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11742004

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011553742

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13576270

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2011742004

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE