WO2013061839A1 - 映像信号の符号化システム及び符号化方法 - Google Patents

映像信号の符号化システム及び符号化方法 Download PDF

Info

Publication number
WO2013061839A1
WO2013061839A1 PCT/JP2012/076813 JP2012076813W WO2013061839A1 WO 2013061839 A1 WO2013061839 A1 WO 2013061839A1 JP 2012076813 W JP2012076813 W JP 2012076813W WO 2013061839 A1 WO2013061839 A1 WO 2013061839A1
Authority
WO
WIPO (PCT)
Prior art keywords
encoding
stream
video
frame
prediction
Prior art date
Application number
PCT/JP2012/076813
Other languages
English (en)
French (fr)
Inventor
笠井　裕之
直史 宇地原
Original Assignee
株式会社Gnzo
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Gnzo filed Critical 株式会社Gnzo
Priority to EP12844021.1A priority Critical patent/EP2773113A4/en
Priority to CN201280057252.7A priority patent/CN103947212A/zh
Priority to KR20147010893A priority patent/KR20140085462A/ko
Priority to US14/354,129 priority patent/US20150127846A1/en
Priority to SG11201401713WA priority patent/SG11201401713WA/en
Priority to IN3191DEN2014 priority patent/IN2014DN03191A/en
Publication of WO2013061839A1 publication Critical patent/WO2013061839A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Definitions

  • the present invention relates to a video signal encoding system and encoding method.
  • the present invention relates to an encoding technique suitable for composing a single combined bit stream by arbitrarily connecting each MB line in a plurality of tile streams in units of each MB line.
  • Non-Patent Document 1 proposes a system that divides and encodes videos acquired from a plurality of video cameras and omnidirectional cameras on a tile, and decodes and displays only tile videos at the viewpoint position requested by the user. ing.
  • Non-Patent Document 2 proposes a system that realizes access to high-resolution panoramic images obtained from a plurality of video cameras based on Multi-View Coding, which is an extension standard of H.264 / AVC. .
  • the input video is divided and encoded, and a plurality of encoded streams are transmitted according to the viewing area requested by the user (client terminal).
  • this encoded stream can be decoded and panoramic video can be displayed.
  • the client terminal may be simply referred to as a client.
  • Non-Patent Documents 1 and 2 require simultaneous decoding and synchronous display of a plurality of streams at the client.
  • Non-Patent Document 1 does not mention the transmission method
  • Non-Patent Document 2 also requires multiple session control for simultaneous acquisition of multiple streams. Since these increase the complexity of processing in the client, it is considered that it is difficult to use the multi-vision service particularly in an environment where the calculation resources such as a smartphone are limited.
  • non-patent document 3 and patent document 1 below a system (non-patent document 3 and patent document 1 below) is proposed in which a single stream is generated by combining a plurality of streams on the server side without transmitting a plurality of streams, and then transmitting this single stream. ing.
  • a plurality of streams before combining are referred to as tile streams, and a single stream after combining is referred to as a combined stream.
  • Non-Patent Document 3 and Patent Document 1 only the combined stream acquired from the distribution server is decoded and displayed by the client. For this reason, with this technique, complicated processing such as simultaneous decoding of a plurality of streams and synchronous display of decoded video signals can be avoided on the client side. As a result, the client system can simultaneously reproduce a plurality of tile images using a conventional image reproduction system.
  • intra prediction encoding As intra prediction encoding, “4 ⁇ 4 intra prediction encoding that refers to adjacent pixels in 4 ⁇ 4 pixel block units” and “16 ⁇ 16 intra frame that refers to adjacent pixels in 16 ⁇ 16 pixel block units”.
  • One of “predictive coding” can be selected. For example, in “4 ⁇ 4 intra prediction encoding”, there is a mode for referring to an adjacent 4 ⁇ 4 pixel block for encoding the 4 ⁇ 4 pixel block.
  • tile streams are encoded using such a mode
  • image quality due to pixel reference information mismatch Deterioration will occur.
  • inconsistency can also occur in other scenes in encoding (for example, variable length encoding for the number of non-zero coefficients after DCT).
  • Non-Patent Document 3 proposes a method of correcting the prediction difference information in order to avoid this problem. Specifically, a part of the MB in which the mismatch occurs is decoded to the pixel region, and the pixel signal is corrected (variable length decoding of the MB, coefficient inverse quantization, inverse DCT, residual by re-prediction from adjacent pixel values) Signal regeneration, DCT, quantization) and correction of prediction information from adjacent MB.
  • Non-Patent Document 4 is a technique related to Video-in-Video, in which one different video is superimposed on one video screen.
  • a method for saving various information related to encoding mode control and encoding in a separate file Is adopted.
  • a recalculation process and a re-encoding process of motion vectors and non-zero coefficients are assumed in the superimposition process, there is a problem that the process at the server increases.
  • the present invention has been made in view of the above situation.
  • One of the objects of the present invention is to provide a technique capable of generating a combined stream while suppressing a load on a server by devising an encoding method of a video tile stream.
  • Another object of the present invention is to provide a technique for composing a single bit stream by arbitrarily connecting MB lines in a video tile stream.
  • the video signal receiving unit receives a video signal to be encoded
  • the encoding processing unit is configured to generate a video tile stream by encoding the video signal using appropriate prediction reference information
  • the encoding processing unit is a prediction reference information restriction method so that an error caused by a mismatch in signal prediction relationship does not occur even if each MB line in the video tile stream is arbitrarily connected in the encoding. Or, it is configured to use the prediction reference information fixing method,
  • the encoding system, wherein the stream output unit is configured to output the video tile stream obtained by encoding in the encoding processing unit.
  • the prediction reference information restriction method is a prediction method in which encoding information is restricted so as not to depend on a combination of encoding information held by mutually adjacent MBs between MB lines in different video tile streams.
  • the encoding system according to item 1, wherein the prediction reference information restriction method includes the following processes: (1) A process of encoding a frame constituting the video signal in one of two types of encoding modes of intra-frame prediction encoding and inter-frame prediction encoding; (2) In a plurality of MBs in a frame to be subjected to intraframe prediction encoding, encoding is performed using a prediction mode that refers to pixel values that do not depend on the contents of MBs adjacent to each other between MB lines in different video tile streams. Process.
  • the encoding system according to item 1, wherein the prediction reference information fixing method includes the following processes: (1) At least some of the luminance coefficient sequences and color differences in the MB in at least some of the MBs that constitute the video tile stream and are located in the peripheral portion of the frame of the video tile stream. A process of encoding the number of non-zero coefficients in the coefficient sequence as a preset fixed value; (2) In the case of MB referring to the number of non-zero coefficients of MB to be adjacent to the peripheral part of the frame of the video tile stream, there is an adjacent MB having the number of non-zero coefficients of the fixed value Assuming the encoding process.
  • the encoding system according to item 1, wherein the prediction reference information fixing method includes the following processes: (1) A process of performing inter-frame predictive encoding by fixing a motion vector held by the MB to a predetermined motion vector in at least a part of MBs located in a peripheral portion of the frame of the video tile stream; (2) In the case of an MB that refers to an MB motion vector to be adjacent to a peripheral portion of a frame of the video tile stream, it is assumed that there is an adjacent MB having the predetermined motion vector, and inter-frame predictive coding Processing to do.
  • the encoding processing unit includes an MB line code amount inserting unit, and the MB line code amount inserting unit encodes additional information for specifying a position of the MB line in the video tile stream.
  • the encoding system according to any one of items 1 to 6, wherein the encoding system is configured to be generated at a time.
  • Additional information for specifying the position of the MB line in the video tile stream can be used when MB lines are combined.
  • the video tile stream reception unit is configured to receive the video tile stream,
  • the combination processing unit is configured to generate a combined stream by performing the following processing: (1) Processing for detecting an end of the MB line in the video tile stream and acquiring a stream corresponding to the MB line; (2) A process of inserting a peripheral adjustment MB at the end of the MB line so as to be adjacent to the position of the peripheral edge of the frame in the combined stream in which the video tile streams are combined.
  • a part of the peripheral adjustment MBs is encoded by the encoding system according to any one of items 1 to 7;
  • the combined stream output unit is configured to output the combined stream generated by the combination processing unit.
  • the detection of the end of the MB line includes a process of detecting the end of the MB line by reading the code amount of the MB line generated and embedded by the MB line code amount insertion unit described in Item 7.
  • receiving a video signal to be encoded There, (1) receiving a video signal to be encoded; (2) generating a tile stream by encoding the video signal using appropriate prediction reference information; (3) outputting the video tile stream obtained by encoding,
  • the prediction reference information does not cause an error caused by a mismatch in the prediction relationship of signals even when a stream composed of MB lines of frames in the video tile stream is arbitrarily connected.
  • the encoding method is characterized in that a restriction method or the prediction reference information fixing method is used.
  • (Item 11) A data structure generated by combining streams corresponding to MB lines constituting a tile stream encoded by the system according to any one of items 1 to 7, wherein the video tile stream is combined
  • a peripheral adjustment MB is inserted at the end of the MB line so as to be adjacent to the position of the peripheral edge of the frame in the combined stream.
  • 8. A data structure in which at least a part of the peripheral adjustment MB is encoded by the encoding system according to any one of items 1 to 7.
  • the computer program and / or data structure described above can be stored in an appropriate recording medium, for example, an electrical, magnetic, or optical medium, and used by a computer.
  • the recording medium may be a recording medium that can be used via a network, for example, on cloud computing.
  • a single bit stream can be configured by arbitrarily connecting MB lines in a video tile stream.
  • This system includes a video input unit 1, a server 2, a client terminal 3, and a network 4.
  • the video input unit 1 includes a camera 11 or an external video distribution server 12.
  • the camera 11 is preferably capable of acquiring a high-definition moving image.
  • the external video distribution server 12 has already stored the encoded video bitstream, and the server 2 can acquire the video bitstream from the server 12 upon request. Since an existing camera or video distribution server can be used as the video input unit 1, further detailed description is omitted.
  • the server 2 includes a tile stream encoding unit 21, a bit stream group storage unit 22, a combined stream generation unit 23, a client status management server 24, a combined stream transmission unit 25, and a video stream decoding unit 26. Yes.
  • the video stream decoding unit 26 decodes the video bit stream sent from the external video distribution server 12 to generate a video signal, and sends this video signal to the tile stream encoding unit 21.
  • the video signal means an uncompressed signal.
  • the tile stream encoding unit 21 is a functional element corresponding to an example of the encoding system of the present invention.
  • the tile stream encoding unit 21 receives a video signal to be encoded from the camera 11 or the video stream decoding unit 26.
  • the tile stream encoding unit 21 according to the present embodiment can arbitrarily connect MB lines in a plurality of video tile streams in units of MB lines so that a single combined stream can be configured.
  • the video tile stream is encoded.
  • MB means a macroblock.
  • the tile stream encoding unit 21 includes a video signal receiving unit 211, an encoding processing unit 212, and a video tile stream output unit 213.
  • the video signal reception unit 211 receives a video signal to be encoded, sent from the camera of the video input unit 1 or the video stream decoding unit 26.
  • the encoding processing unit 212 is configured to generate a video tile stream by encoding a video signal using appropriate prediction reference information. Further, the encoding processing unit 212 may prevent the prediction reference information restriction method or the prediction so that an error caused by a mismatch in the prediction relationship of signals does not occur even if each MB line in the video tile stream is arbitrarily connected in the encoding.
  • the reference information fixing method is used. The prediction reference information restriction method or the prediction reference information fixing method will be described later.
  • the encoding processing unit 212 is configured to use an MB line code amount insertion method in encoding.
  • the MB line code amount insertion method is a bit amount of each MB line code string in all frames (in this specification, referred to as an MB line code amount) in order to execute the combination processing of each video tile stream at high speed. Is stored in the stream. However, the MB line code amount can be stored as a separate file or information without being stored in the tile stream.
  • the prediction reference information restriction method in the present embodiment is that the encoding information is limited so that it does not depend on the combination of encoding information held by mutually adjacent MBs between MB lines in different video tile streams. This is the prediction method.
  • the prediction reference information restriction method in the present embodiment includes the following processing: (1) A video signal is encoded for each frame in two types of encoding modes of intra-frame prediction encoding and inter-frame prediction encoding, and intra-frame prediction frames are inserted periodically or aperiodically; (2) In addition, in a plurality of MBs in an intra-frame prediction frame, encoding is performed using a prediction mode that refers to pixel values that do not depend on the contents of MBs adjacent to each other between MB lines in different video tile streams. .
  • the prediction reference information fixing method in the present embodiment is a method using prediction information fixed to a preset value.
  • the prediction reference information fixing method includes the following processes: (1) MB constituting a video tile stream and located at the peripheral part of the frame of the video tile stream, and at least a part of the luminance coefficient sequence and the color difference coefficient sequence in the MB in at least a part of the MB.
  • the prediction reference information fixing method of the present embodiment includes the following processing: (1) A process of performing inter-frame predictive encoding by fixing a motion vector held by the MB to a predetermined motion vector in at least a part of MBs located in a peripheral portion of the frame of the video tile stream; (2) In the case of an MB that refers to an MB motion vector that should be adjacent to the peripheral portion of the frame of the video tile stream, inter-frame prediction encoding is performed on the assumption that an adjacent MB having a predetermined motion vector exists. processing. A specific example of the prediction reference information fixing method will be described later.
  • the encoding processing unit 212 includes an orthogonal transform unit 2121a, a quantization unit 2121b, a coefficient adjustment unit 2122, a variable length coding unit 2123, an inverse quantization unit 2124a, an inverse orthogonal transform unit 2124b, a frame A memory 2125, a frame position and MB position management unit 2126, an encoding mode determination unit 2127, a motion search / compensation unit 2128, an intra prediction mode determination unit 2129, and an MB line code amount insertion unit 21291 are provided.
  • the configurations and operations of the orthogonal transform unit 2121a, the quantization unit 2121b, the inverse quantization unit 2124a, the inverse orthogonal transform unit 2124b, and the frame memory 2125 may be the same as those of the conventional (for example, in H.264). Detailed explanation is omitted. The operations of the remaining functional elements will be described in detail in the description of the encoding processing method described later.
  • the tile stream output unit 213 is configured to output a video tile stream obtained by encoding in the encoding processing unit 212 to the bit stream group storage unit 22.
  • the bit stream group storage unit 22 is a part that stores the video tile stream generated by the tile stream encoding unit 21.
  • the bit stream group accumulation unit 22 sends a predetermined MB bit stream sequence (video tile stream) that is a part of the video tile stream to the combined stream generation unit 23. It can be done.
  • the combined stream generation unit 23 is an example of a combined system for combining the MB lines constituting the video tile stream encoded by the tile stream encoding unit 21. As illustrated in FIG. 4, the combined stream generation unit 23 includes a video tile stream reception unit 231, a combination processing unit 232, and a combined stream output unit 233.
  • the video tile stream reception unit 231 is configured to receive a video tile stream from the bit stream group storage unit 22.
  • the combination processing unit 232 includes a peripheral edge adjusting MB information insertion unit 2321, an MB line code amount reading unit 2322, an MB line extraction unit 2323, and a combined stream header information generation / insertion unit 2324.
  • the peripheral edge adjustment MB information insertion unit 2321 performs the following processing to generate a combined stream: A process of inserting a peripheral adjustment MB at least at the end of the MB line so as to be adjacent to the position of the peripheral edge of the frame in the combined stream in which the video tile streams are combined.
  • the peripheral adjustment MB is encoded by the encoding system described above.
  • the MB line code amount reading unit 2322 is a part that reads the MB line code amount inserted by the MB line code amount insertion unit 21291 of the encoding processing unit 212. By reading the MB line code amount, the end of the MB line can be detected at high speed.
  • the MB line extraction unit 2323 performs a process of extracting a code string from the tile stream by the bit amount of the MB line code string acquired by the MB line code quantity reading unit 2322. As a result, it is possible to avoid the variable length decoding process that is originally necessary to obtain the MB line code string bit amount. Of course, it is also possible to extract a code string without using the bit amount of the MB line code string by performing variable length decoding processing.
  • the combined stream header information generation / insertion unit 2324 generates and inserts header information for the combined stream.
  • the generation and insertion of the combined stream header may be the same as in the conventional process, and detailed description thereof is omitted.
  • the combined stream output unit 233 is configured to output the combined stream generated by the combining processing unit 232.
  • An example of the generated combined stream will be described later.
  • the client status management server 24 receives a request sent from the client terminal 3, for example, information on a video area that the user wants to view (a specific example will be described later).
  • the combined stream transmission unit 25 sends the combined stream generated by the combined stream generation unit 23 to the client terminal 3 via the network 4.
  • the client terminal 3 is a terminal for a user to send a necessary command to the server 2 or to receive information sent from the server 2.
  • the client terminal 3 is normally operated by a user, but may operate automatically without requiring a user operation.
  • a mobile phone including a so-called smartphone
  • a mobile computer including a so-called desktop computer, or the like can be used.
  • the network 4 is for transmitting and receiving information between the server 2 and the client terminal 3.
  • the network 4 is usually the Internet, but may be a network such as a LAN or WAN.
  • the network only needs to be able to transmit and receive necessary information, and the protocol and physical medium used are not particularly limited.
  • Steps SA-1 and 2 in FIG. 5 First, a video signal is captured from the video input unit 1 to the encoding processing unit 21 of the server 2. Details of the encoding process in the encoding processing unit 21 will be described with reference to FIG.
  • the subsequent encoding processing is basically processing in MB units.
  • an MB line is composed of MBs
  • a tile stream frame is composed of MB lines
  • a combined stream frame is composed of tile stream frames.
  • the encoding processing unit 21 first determines an encoding mode for each MB.
  • the coding mode is either intra-frame predictive coding (so-called intra coding) or inter-frame predictive coding (so-called inter coding).
  • FIG. 1 An example of the encoding mode determination processing algorithm is shown in FIG.
  • Step SC-1 in FIG. 7 it is determined whether or not the frame to which the processing target MB belongs is a refresh frame.
  • This determination uses the number of processing frames obtained from the frame position and MB position management unit 2126. That is, the frame position and MB position management unit 2126 holds therein variables for counting the number of frames and the number of MBs for each process, and by referring to these variables, the number of frames to be processed and the number of MBs Can be obtained. Since the encoding processing unit 21 knows in advance which timing frame should be a refresh frame, the refresh frame is determined using the number of frames to be processed and predetermined timing information. Can do. In addition, refresh frames are usually inserted periodically (that is, at predetermined time intervals), but periodicity is not essential.
  • Step SC-2 in FIG. 7 When the determination in step SC-1 is Yes (that is, in the case of a refresh frame), the MB is determined to be intra-coded.
  • Step SC-3 in FIG. 7 When the determination in step SC-1 is No, it is determined that the MB should be subjected to interframe predictive coding.
  • the encoding mode of each MB can be determined by the above algorithm.
  • Step SB-2 in FIG. 6 a motion search / compensation technique by the motion search / compensation unit 2128 will be described with reference mainly to FIG.
  • H.264 motion search / compensation is performed in units of pixel division called “partition” in MB.
  • partition pixel sizes 16 ⁇ 16, 8 ⁇ 16, 16 ⁇ 8, 8 ⁇ 8, 4 ⁇ 8, 8 ⁇ 4, and 4 ⁇ 4 (see FIG. 9).
  • the motion vector information held by the partition E shown in FIG. 10A is encoded as a difference value from the median value of the motion vectors held by the adjacent partitions A, B, and C.
  • FIG. 10A shows a case where the sizes of the partitions are the same. However, as shown in FIG. 10B, adjacent partitions may have different sizes, and the encoding method in this case is the same as described above.
  • Step SD-1 in FIG. 8 The flag is set to 0 as initialization processing. In subsequent processing, it is determined to which position of the frame the processing MB belongs based on the MB position obtained from the frame position and MB position management unit 2126.
  • Steps SD-1-1 to SD-1-3 in FIG. 8 Next, it is determined whether the MB to which the partition to be processed belongs is at the left end of the frame.
  • Steps SD-2 to 4 in FIG. 8 If the determination result in step SD-1-1 is No, it is determined whether the MB to which the partition to be processed belongs belongs to the right end of the frame.
  • Steps SD-5 to 7 in Fig. 8 If the determination result in step SD-2 is No, it is determined whether the MB to which the partition to be processed belongs belongs to the lower end of the frame.
  • Steps SD-8 to 9 in Fig. 8 When the flag attached to the MB is not 1 (that is, remains 0), the prediction reference information is limited to refer to the block information in the frame, and the pixel value of the previous frame obtained from the frame memory is set. Based on the motion search.
  • This method is an example of a prediction reference information restriction method.
  • “restricting prediction information to refer to block information in a frame” is realized by providing a restriction that a motion vector search range is within a frame.
  • the limitation on the search range of the motion vector is pointed out in the literature (paragraphs 0074 to 0084 of JP 2011-55219 A).
  • the motion vector search restriction range is not within the target MB line but within the frame.
  • Step SD-10 in FIG. 8 If the determination result in step SD-8 is Yes, a fixed motion vector value is set. That is, a fixed value stored on the system side is taken out.
  • the setting of the fixed motion vector value corresponds to an example of a prediction reference information fixing method. Specifically, the same part of the previous frame is referred to (when the motion vector is fixed as (0, 0)).
  • Step SD-11 in FIG. 8 the motion search / compensation unit 2128 performs a motion compensation process using the searched motion vector value or the fixed motion vector value. Since the motion compensation process itself may be the same as the normal process in H.264, detailed description is omitted.
  • a “motion vector value of a partition that may be referred to from an adjacent partition because it is at the right end, left end, or lower end of a tile stream frame” can be a fixed value. In this way, even when adjacent MBs are different between encoding and combining, correct decoding can be performed without being affected by the contents of adjacent MBs.
  • Step SB-3 in FIG. 6 a processing algorithm in the intra prediction mode determination unit 2129 will be described with reference to FIG.
  • the intra prediction mode determination unit 2129 sets the prediction mode shown in FIG. 12 according to the MB position. As shown in FIG. 12, in this mode, in the plurality of MBs at the left end in the video tile stream, a prediction mode that refers to the pixel value of the MB in contact with each MB is used, and in each of the plurality of MBs at the top, A prediction mode that refers to the pixel value of the MB that touches the left of the MB is used. In the rightmost MB, the “prediction mode other than the two modes for prediction from the upper right MB (see FIG. 12)” is used. Further, in the upper left MB in the same frame, no other MB is referred to.
  • IPCM mode Use prediction mode
  • Such a prediction mode restriction corresponds to an example of a prediction reference information restriction method. By setting in this way, it is possible to encode without referring to the MB value of the adjacent frame, so even if the prediction information referred to at the time of encoding and combining is different in each frame of the tile stream, correct decoding is performed. Is possible. In other words, in this figure The prediction mode restriction is performed.
  • Step SE-2 in FIG. 11 According to the prediction mode set in step SE-1, a prediction reference pixel value is generated from one of “an adjacent pixel signal that has already been encoded and decoded” and “a pixel signal of a previous frame acquired from the frame memory”. The predicted reference pixel value is output. Since this process may be the same as the normal H.264 process, detailed description thereof is omitted.
  • Steps SB-4 and SB-5 in FIG. 6 a prediction difference signal with respect to the input signal is generated using the result of the processing in steps SB-2 and SB-3. Further, orthogonal transformation and quantization are performed. Since the prediction difference signal generation, orthogonal transform, and quantization methods may be the same as those in normal H.264 processing, detailed description thereof is omitted.
  • variable length coding is performed by the coefficient adjustment unit 2122 and the variable length coding unit 2123 (see FIG. 3).
  • a coefficient adjustment process is performed before a normal variable length coding process. Therefore, in the following description, first, the coefficient adjustment processing in the coefficient adjustment unit 2122 will be described based on FIG. 13, and then, the variable length coding processing in the variable length coding unit 2123 based on FIG. Will be explained.
  • Step SF-1 in FIG. 13 In order to determine the coefficient adjustment target block based on the MB position and the block position therein, the flag is set to 0.
  • the MB position information is obtained from the frame position and MB position management unit 2126.
  • the coefficient adjustment and variable length coding processing is performed in units of blocks, which are a set of transform coefficients in the MB.
  • the point of processing in block units is the same as the normal processing in H.264, so a detailed description is omitted.
  • Steps SF-2 to SF-4 in FIG. 13 When the MB to be processed is at the right end of the frame, it is determined whether or not the processing block is at the right end of the block (that is, the right end of the frame).
  • Step SF-5 to SF-7 in FIG. 13 If the determination in step SF-5 is No, the process proceeds to step SF-5.
  • the processing block is at the lower end of the block (that is, the lower end of the frame).
  • Step SF-8 in FIG. 13 Thereafter, it is determined whether or not the flag in the MB is 1, and if No, the process proceeds to variable length coding processing.
  • Step SF-9 to 10 in FIG. 13 If the determination result in step SF-8 is Yes, the number of non-zero coefficients in the block is compared with the number of non-zero coefficients set in advance (ie, held on the system side).
  • the preset number of non-zero coefficients may be different between the luminance space (Y) and the color difference space (UV) in the YUV signal.
  • the number of non-zero coefficients in the block is smaller than the preset number of non-zero coefficients, coefficients having values other than 0 are inserted from the high-frequency component side of the number of non-zero coefficients. Thereby, the number of non-zero coefficients can be adjusted to a predetermined value. Even if a coefficient having a value other than 0 is inserted on the high frequency component side, the influence on the image quality is small.
  • Steps SF-11 to 12 in FIG. 13 When the number of non-zero coefficients in the block is larger than the preset number of non-zero coefficients, a coefficient having a value of 0 is inserted from the high frequency component side of the number of non-zero coefficients instead of a coefficient having a value other than 0. To do. Thereby, the number of non-zero coefficients can be adjusted to a predetermined value. Even if a coefficient having a value of 0 is inserted instead of a coefficient having a value other than 0 on the high frequency component side, the influence on the image quality is small. Note that using a fixed number of non-zero coefficients corresponds to an example of a prediction reference information fixing method.
  • Step SG-1 in FIG. 14 a specific example of the variable length encoding process will be described with reference to FIG.
  • the coefficient-adjusted MB is subjected to variable length coding according to a command from the frame position and MB position management unit 2126.
  • initialization is performed by setting both the values of the flag 1 and the flag 2 used for determining the processing of the target MB to 0.
  • Steps SG-1-1 to SG-1-3 in FIG. 14 If the MB to be processed is the right end of the frame and the partition to be processed in the MB is the right end of the MB, flag 1 is set to 1.
  • Steps SG-2 to 6 in FIG. 14 If the MB to be processed is the left end of the frame and the block to be processed in the MB is the left end of the MB, flag 1 is set to 1. Further, flag 2 is set to 1 when the partition to be processed is at the left end.
  • Steps SG-7 to 11 in FIG. 14 The flag 1 is set to 1 when the MB to be processed is the upper end of the frame and the block to be processed in the MB is the upper end of the MB. Further, when the partition to be processed is at the upper end, the flag 2 of the MB is set to 1.
  • Step SG-7 when the determination result in Step SG-7 is No, normal variable-length encoding processing is performed, and thus illustration is omitted. If the determination of SG-10 is No, the process proceeds to step SG-12.
  • Step SG-12 in FIG. 14 Next, encoding such as skip information and MB encoding mode is performed. Since this processing may be the same as the processing in the conventional H.264, detailed description is omitted.
  • Steps SG-13 to 15 in FIG. 14 Next, when the flag 2 is not 1 and the MB is for inter-frame prediction encoding, the motion vector held by the partition to be processed is encoded by a normal method. If the MB is an intra-frame encoding, the process proceeds to SG-17.
  • Step SG-16 in FIG. 14 If the determination result in Step SG-13 is Yes, an adjacent partition on the left, upper or upper right of the partition to be processed is assumed. Then, the motion vector of the partition to be processed is encoded on the assumption that the motion vector held by the partition is a predetermined fixed value.
  • prediction reference information is generated from the left, upper, and upper right adjacent partitions, and a difference value from the prediction reference information is encoded, as shown in FIG. Therefore, in order to suppress prediction reference information mismatch at the time of combining, motion vectors are encoded on the assumption that these partitions exist.
  • Step SG-17 in FIG. 14 Next, other MB information is encoded.
  • Steps SG-18 to 19 in FIG. 14 Next, if the flag 1 of the MB to be processed is not 1, the variable length table is selected based on the average value of the number of non-zero coefficients in the block adjacent to the left or above. Since this process is the same as the normal H.264 process, detailed description is omitted.
  • Step SG-20 in FIG. 14 If the flag 1 of the MB to be processed is 1, a left or upper adjacent block that does not exist is assumed. Then, the variable length table is selected on the assumption that the number of non-zero coefficients of these left or upper adjacent blocks is a fixed value. As a result, even if the tile stream frame differs between the time of encoding and the time of combination, the correct variable length table can be selected, and variable length decoding can be normally performed.
  • variable length coding processing is performed.
  • Other variable-length encoding processing may be the same as normal processing in H.264, and thus detailed description thereof is omitted. In this way, a variable-length encoded bitstream can be generated.
  • Step SB-6-1 in FIG. 6 Next, the MB line code amount insertion procedure by the MB line code amount insertion unit 21291 will be described with further reference to FIG.
  • Step SJ-1 in FIG. 20 First, the amount of MB processed by the variable length encoding unit 2123 (hereinafter referred to as CurrentMBBit) is acquired.
  • Steps SJ-2 to 4 in FIG. 20 Next, if the MB position is at the left end of the frame, the bit amount (MBLinebit) of all MBs included in the MB line to be processed is set to 0. Otherwise, CurrentMBBit is added to the previous MBLinebit to make a new MBLinebit.
  • Steps SJ-5 to 6 in FIG. 20 When the MB position to be processed reaches the right end of the frame, the MBLinebit obtained by adding up to that point is inserted into the header of the MB line code string to form a bit stream. As long as the right end is not reached, the process from step SJ-1 is repeated each time a new MB is acquired.
  • Steps SB-7 to 9 in FIG. 6 The encoded bitstream is then inverse transformed for prediction and stored in the frame memory. Since these processes may be the same as the normal H.264 process, detailed description thereof is omitted. Next, the processing procedure returns to Step SB-1. Thereafter, when there is no more MB to be processed, the process is terminated.
  • Step SA-3 in FIG. 5 the tile stream encoding unit 21 stores the bit stream generated by the above procedure in the bit stream group storage unit 22.
  • each of the frames constituting the video is composed of tile stream frames (sometimes referred to as divided areas) Ap00 to Apmn.
  • the entire video frame composed of the tile stream frames Ap00 to Apmn is referred to as a combined stream frame or an entire area Aw.
  • the frames Ap00 to Apmn of each tile stream are composed of a set of MBs represented by MB00 to MBpq. Since these configurations may be the same as those described in Non-Patent Document 3 and Patent Document 1 by the present inventors, detailed description thereof will be omitted.
  • the user designates an area desired to be viewed on the client terminal 3.
  • the video area indicated by the frame Ap00 and the frame Ap01 of the tile stream is designated.
  • the combination is performed in units of MB lines of the frames of the tile stream.
  • the designation from the user is sent to the combined stream generation unit 23 via the client status management server 24.
  • the method for designating the video area by the user may be the same as that of Non-Patent Document 3 and Patent Document 1 by the present inventors, and therefore will not be described in further detail.
  • combining is performed in units of MB lines of the frames of the tile stream, but the viewing area may be specified in a narrower range.
  • Step SA-5 in FIG. 5 the combined stream generation unit 23 combines the MB lines to generate a combined stream. This generation procedure will be described with reference mainly to FIGS.
  • Step SH-1 in FIG. 16 The tile stream reception unit 231 of the combined stream generation unit 23 receives a tile stream to be transmitted to the user from the bit stream group storage unit 22 that stores the bit stream group encoded by the procedure described above (in this example, (Ap00 and Ap01 stream).
  • the margin adjustment MB information insertion unit 2321 of the combination processing unit 232 inserts the margin adjustment MB information around the frame of the tile streams to be combined.
  • FIG. A specific example is shown in FIG. In this example, it is assumed that frames of four tile streams are combined.
  • MB information for edge adjustment is inserted into the three sides excluding the lower side.
  • the MB information for edge adjustment is an MB for maintaining the consistency of encoding, and the data content and the encoding method are known in the combination processing unit 232. That is, as described above, the encoding of each tile stream frame employs an algorithm that can appropriately decode each tile stream frame even if the prediction information referred to at the time of encoding and when combined is different. .
  • a peripheral adjustment MB is inserted around the frame of the tile stream so as to match the encoding condition.
  • the pixel values of the MB for edge adjustment are all black. However, other pixel values can be used.
  • FIG. 18 shows specific encoding conditions in the peripheral adjustment MB of the present embodiment.
  • the encoding conditions for the peripheral adjustment MB are as follows.
  • ⁇ Intra_16x16 MB mode and intra-frame coding (in case of refresh frame) so that the lower end block has a fixed number of non-zero coefficients; ⁇ : Interframe coding so that the bottom block has a fixed number of non-zero coefficients and a fixed motion vector (except for refresh frames); ⁇ : No encoding limit; ⁇ : Intra_16x16 MB mode, intra-frame coding (in case of refresh frame) so that the rightmost block has a fixed number of non-zero coefficients; ⁇ : Interframe coding so that the rightmost block has a fixed number of non-zero coefficients and a fixed motion vector (except for refresh frames); ⁇ : Intraframe coding (in the case of a refresh frame) assuming that the number of non-zero coefficients of the boundary block adjacent to the left side of the MB is a fixed value; ⁇ : Assuming that the number of non-zero coefficients of the boundary block adjacent to the left side of the MB is a fixed value and the
  • Steps SH-3 to 4 in FIG. 16 Subsequently, the MB line code amount written in the header of the bit stream is read, and the MB line is extracted based on the MB line code amount.
  • the end of the MB line can be detected without performing variable length decoding. This is important for implementation in order to reduce the load on the system.
  • Step SH-5 in FIG. 16 the combined stream header information generation / insertion unit 2324 generates header information for the combined stream.
  • the generated header information is inserted into the extracted MB line code string.
  • a conceptual diagram of the combined stream with the header inserted is shown in FIG.
  • MB for edge adjustment at the left end of the m-th line Code string MB line code string (m-th line) of tile stream Ap00 to be combined, MB line code string (m-th line) of tile stream Ap01 to be combined, MB code for edge adjustment at the right end of the m-th line It becomes the structure of a row.
  • Step SH-6 in FIG. 16 Next, the generated combined stream is sent from the combined stream output unit 233 to the combined stream transmission unit 25.
  • the encoding method of the present embodiment enables video to be configured so that a single combined stream can be configured by arbitrarily connecting each MB line in a plurality of video tile streams in units of each MB line.
  • the tile stream is encoded. And this method (1) receiving a video signal to be encoded; (2) generating a tile stream by encoding the video signal using appropriate prediction reference information; (3) a step of outputting the video tile stream obtained by encoding.
  • the prediction reference information fixing method is used.
  • the combining method of the present embodiment is a combining method for combining the MB lines constituting the video tile stream encoded by the above-described encoding system of the present embodiment. And this method (1) detecting an end of an MB line in a video tile stream and obtaining a stream corresponding to the MB line; (2) inserting a peripheral adjustment MB at the end of the MB line so as to be adjacent to the position of the peripheral edge of the frame in the combined video stream in which the video tile streams are combined.
  • peripheral adjustment MBs are encoded by the above-described encoding method, and the combined video stream output unit 25 is configured to output the combined stream generated by the combination processing unit 232. .
  • the data structure shown in FIG. 19 is an example of a data structure generated by combining streams corresponding to MB lines constituting a tile stream encoded by the encoding system described above.
  • the MB for edge adjustment is inserted at the end of the MB line so as to be adjacent to the position of the frame periphery in the combined stream in which the video tile streams are combined.
  • at least a part of the peripheral adjustment MB is encoded by the encoding system described above.
  • Step SA-6 in FIG. 5 The combined stream transmission unit 25 transmits the combined stream to the client terminal 3 via the network 4.
  • the client terminal 3 can display an image by combining the combined streams. Since this decoding process may be the same as in the case of normal H.264, a detailed description is omitted.
  • the stream combined by the method of this embodiment can be correctly decoded by a decoder implemented for normal H.264.
  • the decoded image data can be presented to the user by displaying it on the client terminal 3. That is, according to the method of the present embodiment, it is possible to prevent deterioration in image quality displayed on the client terminal even when tile streams are arbitrarily combined. Moreover, in the method of the present embodiment, it is not necessary to decode up to the pixel level in order to correct the mismatch of the prediction reference information, so that the processing load on the server side can be reduced.
  • the prediction mode is limited for the MB to be intra-frame encoded
  • the prediction information referred to at the time of encoding and combining is the same in each frame of the tile stream. Decoding is possible.
  • each of the above-described components only needs to exist as a functional block, and does not have to exist as independent hardware.
  • a mounting method hardware or computer software may be used.
  • one functional element in the present invention may be realized by a set of a plurality of functional elements, and a plurality of functional elements in the present invention may be realized by one functional element.
  • each functional element constituting the present invention may exist in a discrete manner. If they exist in a discrete manner, necessary data can be transferred via a network, for example.
  • each function in each part can exist discretely.
  • each functional element in the present embodiment or a part thereof can be realized by using grid computing or cloud computing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　映像タイルストリームの符号化方式を工夫することにより、結合ストリームを、サーバへの負荷を抑えつつ、生成することができる技術を提供する。　符号化対象となる映像信号を受け付けた後、適宜の予測参照情報を用いて、映像信号を符号化することによって、タイルストリームを生成する。符号化によって得られた映像タイルストリームを出力する。ここで、映像情報の符号化においては、映像タイルストリームにおけるフレームの各MBラインで構成されるストリームを任意に接続しても信号の予測関係の不一致により発生する誤差を生じないように、予測参照情報制限方式又は予測参照情報固定方式を用いる。　タイルストリームの結合時に、符号化時に決定されてストリーム中に書込まれている予測情報の不一致を回避できる。

Description

映像信号の符号化システム及び符号化方法
　本発明は、映像信号の符号化システム及び符号化方法に関するものである。特に、本発明は、複数のタイルストリームにおける各MBラインを、各MBラインの単位で任意に接続して、単一の結合ビットストリームを構成するために好適な符号化技術に関するものである。
　動画像情報の高解像度化、広視野化、高機能化に対して、数多くの研究開発が行われてきた。例えば、下記非特許文献１は、複数のビデオカメラや全方位カメラから取得される映像をタイル上に分割、符号化し、ユーザが要求する視点位置のタイル映像だけを復号、表示するシステムを提案している。さらに、下記非特許文献２は、H.264/AVCの拡張規格であるMulti-View Codingに基づき、複数のビデオカメラから得られた高解像度パノラマ映像へのアクセスを実現するシステムを提案している。この技術においても、送信側（サーバ側）では、入力映像を分割して符号化を行い、ユーザ（クライアント端末）が要求する視聴領域に応じて複数の符号化ストリームを伝送する。ユーザ側（つまりクライアント端末）では、この符号化ストリームを復号して、パノラマ映像の表示を行うことができる。なお、以下では、クライアント端末のことを単にクライアントと称することがある。
　しかしながら、前記した非特許文献１及び２の技術では、いずれも、クライアントにおいて、複数ストリームを同時復号及び同期表示する必要がある。非特許文献１では伝送方式については言及していないものの、非特許文献２においては、複数ストリームの同時取得のための複数セッション制御も必要となる。これらは、クライアントにおける処理の複雑性を増加させるため、特にスマートフォン等の計算資源の限られた環境においては、マルチビジョンサービスの利用が困難になると考えられる。
　そこで、複数ストリームの伝送を行わず、サーバ側で複数ストリームを結合して単一ストリームを生成した後、この単一ストリームの伝送を行うシステム（下記非特許文献３及び特許文献１）が提案されている。以降、結合前の複数ストリームをタイルストリームと呼び、結合後の単一ストリームを結合ストリームと呼ぶものとする。
　非特許文献３及び特許文献１の技術では、配信サーバから取得した結合ストリームのみをクライアントで復号及び表示する。このため、この技術では、複数ストリームの同時復号、復号された映像信号の同期表示というような複雑な処理を、クライアント側において回避することが可能となる。これにより、クライアントシステムでは、従来からの映像再生システムを利用して、複数タイルの映像を同時再生することが可能となる。
　MPEG-２あるいはMPEG-４の規格を前提とすると、結合ストリーム生成は、あるタイルストリームのフレームのMB（マクロブロック）ラインの右端と、別のタイルストリームのフレームのMBラインの左端とを結合していくことにより達成できる。このような結合をしても、MPEG-２あるいはMPEG-４の規格であれば、特段の矛盾は生じない。
　しかしながら、符号化方式によっては、前記のような単純な結合を行うと、各々のMB（あるいはMBに含まれるブロックやパーティション）で参照している情報の不一致により、画質劣化（いわゆる誤差）が発生する場合がある。
　以下、標準符号化規格であるH.264/AVCベースラインプロファイルに準拠した符号化の例を示す。H.264/AVCでは、イントラ（画面内）予測符号化として、「４ｘ４画素ブロック単位で隣接画素を参照する４ｘ４画面内予測符号化」と「１６ｘ１６画素ブロック単位で隣接画素を参照する１６ｘ１６画面内予測符号化」のいずれかを選択することができる。例えば「４ｘ４画面内予測符号化」では、当該４ｘ４画素ブロックの符号化のために、隣接する４ｘ４画素ブロックを参照するモードが存在する。そのようなモードを用いてタイルストリームが符号化されることを想定すると、タイルストリーム結合時において、タイルストリーム符号化時と異なるブロックどうしが隣接してしまうと、画素の参照情報不一致に起因する画質劣化が発生することになる。このような不整合は、符号化における他の場面（例えばDCT後の非ゼロ係数の個数についての可変長符号化時など）でも発生しうる。
　非特許文献３では、この問題を回避するために、予測差分情報の修正を行う方法を提案している。具体的には、不一致が生じる一部のMBを画素領域まで復号し、画素信号の修正（当該MBの可変長復号、係数の逆量子化、逆DCT、隣接画素値からの再予測による残差信号の再生成、DCT、量子化）及び隣接MBからの予測情報の修正を行っている。
[1] S. Heymann, A. Smolic, K. Muller, Y. Guo, J. Rurainski, P. Eisert, and T. Wiegand, "Representaion, Coding and Interactive Rendering or High-Resolution Panoramic Images and Video using MPEG-4," Proc. Panoramic Photogrammetry Workshop, Berlin, Germany, Feb. 2005. [2] H. Kimata, S. Shimizu, Y. Kunita, M. Isogai and Y. Ohtani, "Panorama video coding for user-driven interactive video application," IEEE International Symposium on Consumer Electronics (ISCE2009), Kyoto, 2009. [3] N. Uchihara and H. Kasai, "Fast H.264/AVC stream joiner for interactive free view-area multivision video," IEEE Transactions on Consumer Electronics, vol.57, no.3, pp.1311-1319, August 2011. [4] E.Kaminsky, D.Grois, O.Hadar, "Efficient real-time video-in-video insertion into a pre-encoded video stream for the H.264/AVC," IEEE International Conference on Imaging Systems and Techniques (IST), pp.436-441, 1-2 July 2010.
[5] 特開２０１１－２４０１８号公報
　実環境におけるサービス提供を想定した場合、配信サーバは多数のクライアントからの要求を処理する必要があることから、配信サーバの負荷を減らして、高速化を図る必要がある。しかしながら、非特許文献３における前記した予測差分情報の修正処理は、複数ストリームの一部復号処理を伴うため、サーバでの処理量が増加する。また非特許文献４は、概略、1つの映像の画面内に1つの異なる映像を重ねるVideo-in-Videoに関する技術である。この技術では、これら二つの映像の重ね合わせ処理において、二つの符号化ビットストリームの復号処理を極力抑制するために、符号化モードの制御や符号化に関わる様々な情報を別ファイルに保存する方法を採用している。しかしながら、前記重ね合わせ処理において動きベクトルや非ゼロ係数の再計算処理及び再符号化処理を想定しているため、これによるサーバでの処理が増加するという課題がある。
　本発明は、前記の状況に鑑みてなされたものである。本発明の目的の一つは、映像タイルストリームの符号化方式を工夫することにより、結合ストリームを、サーバへの負荷を抑えつつ、生成することができる技術を提供することである。本発明の他の目的は、映像タイルストリームにおけるMBラインを任意に接続して単一ビットストリームを構成する技術を提供することである。
　前記した課題を解決する手段は、以下の項目のように記載できる。
　（項目１）
　複数の映像タイルストリームにおける各MBラインを、前記各MBライン単位で任意に接続して、単一の結合ストリームを構成可能なように、前記映像タイルストリームの符号化を行うための符号化システムであって、
　映像信号受付部と、符号化処理部と、映像タイルストリーム出力部とを備えており、
　前記映像信号受付部は、符号化対象となる映像信号を受け付けるものであり、
　前記符号化処理部は、適宜の予測参照情報を用いて、前記映像信号を符号化することによって、映像タイルストリームを生成する構成となっており、
　かつ、前記符号化処理部は、前記符号化において、前記映像タイルストリームにおける各MBラインを任意に接続しても信号の予測関係の不一致により発生する誤差を生じないように、予測参照情報制限方式又は予測参照情報固定方式を用いる構成とされており、
　前記ストリーム出力部は、前記符号化処理部での符号化によって得られた前記映像タイルストリームを出力する構成となっている
　ことを特徴とする符号化システム。
　（項目２）
　前記予測参照情報制限方式とは、異なる映像タイルストリームにおけるMBライン間で、相互に隣接するMBが保持する符号化情報の組み合わせに依存しないように、符号化情報を制限された予測方式とされている
　項目１に記載の符号化システム。
　（項目３）
　前記予測参照情報制限方式は、以下の処理を備える、項目１に記載の符号化システム：
（１）前記映像信号を構成するフレームを、フレーム内予測符号化とフレーム間予測符号化の二種類の符号化モードのうちのいずれかで符号化する処理；
（２）フレーム内予測符号化されるフレーム内の複数のMBにおいては、異なる映像タイルストリームにおけるMBライン間で、相互に隣接するMBの内容に依存しない画素値を参照する予測モードを用いて符号化する処理。
　（項目４）
　前記予測参照情報固定方式は、予め設定した値に固定された予測情報を用いる方式である
　項目１に記載の符号化システム。
　（項目５）
　前記予測参照情報固定方式は、以下の処理を備える、項目１に記載の符号化システム：
（１）前記映像タイルストリームを構成するMBであって、かつ、前記映像タイルストリームのフレームの周縁部分に位置するものうち、少なくとも一部のMBにおいて、MBにおける少なくとも一部の輝度係数列及び色差係数列のゼロでない係数の個数を、予め設定した固定値として符号化する処理；
（２）前記映像タイルストリームのフレームの周縁部分に隣接すべきMBの前記ゼロでない係数の個数を参照するMBの場合には、前記固定値の前記ゼロでない係数の個数を持つ隣接MBが存在すると仮定して、符号化する処理。
　（項目６）
　前記予測参照情報固定方式は、以下の処理を備える、項目１に記載の符号化システム：
（１）映像タイルストリームのフレームの周縁部分に位置するMBの内、少なくとも一部のMBにおいて、MBが保持する動きベクトルを既定の動きベクトルに固定してフレーム間予測符号化を行う処理；
（２）前記映像タイルストリームのフレームの周縁部分に隣接すべきMBの動きベクトルを参照するMBの場合には、前記既定の動きベクトルを持つ隣接MBが存在すると仮定して、フレーム間予測符号化を行う処理。
　（項目７）
　前記符号化処理部は、MBライン符号量挿入部を備えており、このMBライン符号量挿入部は、前記映像タイルストリーム中の前記MBラインの位置を特定するための付加情報を、前記符号化時において生成する構成となっている
　項目１～６のいずれか１項に記載の符号化システム。
　前記映像タイルストリーム中の前記MBラインの位置を特定するための付加情報を、MBラインの結合時に利用することができる。
　（項目８）
　項目１～６のいずれか１項に記載のシステムによって符号化された映像タイルストリームを構成するMBラインを結合するための結合システムであって、
　映像タイルストリーム受付部と、結合処理部と、結合ストリーム出力部とを備えており、
　前記映像タイルストリーム受付部は、前記映像タイルストリームを受け取る構成となっており、
　前記結合処理部は、以下の処理を行うことで、結合ストリームを生成する構成となっており：
（１）前記映像タイルストリームにおいて、前記MBラインの端部を検出し、かつ、前記MBラインに相当するストリームを取得する処理；
（２）前記映像タイルストリームが結合された状態である結合ストリームにおけるフレームの周縁となる位置に隣接するように、前記MBラインの端部に、周縁調整用MBを挿入する処理、ただし、ここで、一部の前記周縁調整用MBは、項目１～７のいずれか１項に記載の符号化システムで符号化されているものとする；
　前記結合ストリーム出力部は、前記結合処理部で生成された前記結合ストリームを出力する構成となっている
　結合システム。
　ここで、MBラインの端部の検出とは、項目７記載のMBライン符号量挿入部により生成及び埋め込まれたMBラインの符号量を読み取ることによりMBラインの端部を検出する処理を含む。
　（項目９）
　複数の映像タイルストリームにおける各MBラインを、前記各MBラインの単位で任意に接続して、単一の結合ストリームを構成可能なように、映像タイルストリームの符号化を行うための符号化方法であって、
（１）符号化対象となる映像信号を受け付けるステップと、
（２）適宜の予測参照情報を用いて、前記映像信号を符号化することによって、タイルストリームを生成するステップと、
（３）符号化によって得られた前記映像タイルストリームを出力するステップとを備えており、
　前記映像情報の符号化においては、前記映像タイルストリームにおけるフレームの各MBラインで構成されるストリームを任意に接続しても信号の予測関係の不一致により発生する誤差を生じないように前記予測参照情報制限方式又は前記予測参照情報固定方式を用いる構成とされている
　ことを特徴とする符号化方法。
　（項目１０）
　項目９に記載の各ステップをコンピュータに実行させるためのコンピュータプログラム。
　（項目１１）
　項目１～７のいずれか１項に記載のシステムによって符号化されたタイルストリームを構成するMBラインに相当するストリームを結合して生成されたデータ構造であって
　前記映像タイルストリームが結合された状態である結合ストリームにおけるフレームの周縁となる位置に隣接するように、前記MBラインの端部に、周縁調整用MBが挿入されており、
　少なくとも一部の前記周縁調整用MBは、項目１～７のいずれか１項に記載の符号化システムで符号化されている
データ構造。
　なお、前記したコンピュータプログラム及び／又はデータ構造については、適宜な記録媒体、例えば、電気的、磁気的、あるいは光学的な媒体に格納して、コンピュータにより利用することができる。また、この記録媒体は、ネットワークを介して利用可能な、例えばクラウドコンピューティング上での記録媒体であってもよい。
　本発明によれば、結合ストリームを生成するサーバなどの処理器の負荷を抑えることができる。また、本発明によれば、映像タイルストリームにおけるMBラインを任意に接続して単一ビットストリームを構成することができる。
本発明の一実施形態における符号化システム及び結合システムを組み込んだ映像提供システムの概略的な構成を示すブロック図である。 本発明の一実施形態におけるタイルストリーム符号化部の概略的な構成を示すブロック図である。 本発明の一実施例における符号化処理部の概略的な構成を示すブロック図である。 本発明の一実施例における結合ストリーム生成部の概略的な構成を示すブロック図である。 図１の映像提供システムの全体的な動作を説明するためのフローチャートである。 本実施形態における符号化処理を説明するためのフローチャートである。 本実施形態における符号化モード決定処理を説明するためのフローチャートである。 本実施形態における動き探索・補償の処理を説明するためのフローチャートである。 パーティションのサイズを説明するための説明図である。 パーティションにおける動きベクトルの符号化を説明するための説明図である。 本実施形態におけるイントラ予測モード決定の処理を説明するための説明図である。 図１１の処理において採用されるイントラ予測モードを説明するための説明図である。 本実施形態における係数調整の処理を説明するためのフローチャートである。 本実施形態における可変長符号化の処理を説明するためのフローチャートである。 タイルストリームのフレームの集合によって結合ストリームのフレームが形成される様子を説明するための説明図である。 本実施形態における結合ストリームの生成処理を説明するためのフローチャートである。 結合ストリームのフレームの周囲に周縁調整用MBを挿入する様子を説明するための説明図である。 周縁調整用MBの符号化条件を説明するための説明図である。 周縁調整用MBが挿入された結合ストリームのデータ構造を説明するための説明図である。 MBライン符号量を挿入する手順を説明するためのフローチャートである。
　以下、添付図面を参照しながら、本発明の実施形態に係る符号化システムについて説明する。
　（本実施形態の構成）
　まず、本実施形態の符号化システムが使用される映像信号提供システム全体の概略的構成を、図１を参照しながら説明する。
　このシステムは、映像入力部１と、サーバ２と、クライアント端末３と、ネットワーク４とから構成されている。
　（映像入力部）
　映像入力部１は、カメラ１１あるいは外部映像配信サーバ１２を備えている。カメラ１１としては、高精細の動画像を取得できるものが好ましい。外部映像配信サーバ１２には、既に符号化された映像ビットストリームが蓄積されており、サーバ２は要求に応じてサーバ１２から映像ビットストリームを取得できるものである。映像入力部１としては既存のカメラあるいは映像配信サーバを利用できるので、これ以上詳しい説明は省略する。
　（サーバ）
　サーバ２は、タイルストリーム符号化部２１と、ビットストリーム群蓄積部２２と、結合ストリーム生成部２３と、クライアントステータス管理サーバ２４と、結合ストリーム送信部２５と、映像ストリーム復号部２６とを備えている。
　映像ストリーム復号部２６は、外部映像配信サーバ１２から送られた映像ビットストリームを復号して映像信号を生成し、この映像信号をタイルストリーム符号化部２１に送るものである。なお、ここで映像信号とは、未圧縮の信号を意味する。
　タイルストリーム符号化部２１は、本発明の符号化システムの一例に対応する機能要素である。タイルストリーム符号化部２１は、カメラ１１あるいは映像ストリーム復号部２６から、符号化対象である映像信号を受け取るようになっている。本実施形態のタイルストリーム符号化部２１は、後述するように、複数の映像タイルストリームにおける各MBラインを、各MBライン単位で任意に接続して、単一の結合ストリームを構成可能なように、映像タイルストリームの符号化を行うようになっている。なお、本明細書においてMBとはマクロブロックの意味である。
　タイルストリーム符号化部２１は、図２に示すように、映像信号受付部２１１と、符号化処理部２１２と、映像タイルストリーム出力部２１３とを備えている。
　映像信号受付部２１１は、映像入力部１のカメラ又は映像ストリーム復号部２６から送られた、符号化対象となる映像信号を受け付けるものである。
　符号化処理部２１２は、適宜の予測参照情報を用いて、映像信号を符号化することによって、映像タイルストリームを生成する構成となっている。さらに、符号化処理部２１２は、符号化において、映像タイルストリームにおける各MBラインを任意に接続しても信号の予測関係の不一致により発生する誤差を生じないように、予測参照情報制限方式又は予測参照情報固定方式を用いる構成とされている。予測参照情報制限方式又は予測参照情報固定方式については後述する。さらに、符号化処理部２１２は、符号化において、MBライン符号量挿入方式を用いる構成とされている。MBライン符号量挿入方式とは、各々の映像タイルストリームの結合処理を高速に実行するために、全てのフレームにおける各々のMBライン符号列のビット量（この明細書ではMBライン符号量と称する）をストリーム中に保持する方式である。但し、前記MBライン符号量は、タイルストリーム中に保持せず、別のファイルや情報として保持することも可能である。
　ここで、本実施形態における予測参照情報制限方式とは、異なる映像タイルストリームにおけるMBライン間で、相互に隣接するMBが保持する符号化情報の組み合わせに依存しないように、符号化情報を制限された予測方式とされている。
　より具体的には、本実施形態における予測参照情報制限方式は、以下の処理を備える：
（１）映像信号を、フレーム毎に、フレーム内予測符号化とフレーム間予測符号化の二種類の符号化モードで符号化し、フレーム内予測フレームは周期的あるいは非周期的に挿入する；
（２）かつ、フレーム内予測フレーム内の複数のMBにおいては、異なる映像タイルストリームにおけるMBライン間で、相互に隣接するMBの内容に依存しない画素値を参照する予測モードを用いて符号化する。
　予測参照情報制限方式の具体例は後述する。
　本実施形態における予測参照情報固定方式は、予め設定した値に固定された予測情報を用いる方式である。
　より具体的には、予測参照情報固定方式は、以下の処理を備える：
（１）映像タイルストリームを構成するMBであって、かつ、映像タイルストリームのフレームの周縁部分に位置するものうち、少なくとも一部のMBにおいて、MBにおける少なくとも一部の輝度係数列及び色差係数列のゼロでない係数の個数（後述の非ゼロ係数個数）を、予め設定した固定値として符号化する処理；
（２）映像タイルストリームのフレームの周縁部分に隣接すべきMBのゼロでない係数の個数を参照するMBの場合には、固定値の「ゼロでない係数の個数」を持つ隣接MBが存在すると仮定して、符号化する処理。
　さらに、本実施形態の予測参照情報固定方式は、以下の処理を備える：
（１）映像タイルストリームのフレームの周縁部分に位置するMBの内、少なくとも一部のMBにおいて、MBが保持する動きベクトルを既定の動きベクトルに固定してフレーム間予測符号化を行う処理；
（２）映像タイルストリームのフレームの周縁部分に隣接すべきMBの動きベクトルを参照するMBの場合には、既定の動きベクトルを持つ隣接MBが存在すると仮定して、フレーム間予測符号化を行う処理。予測参照情報固定方式の具体例は後述する。
　符号化処理部２１２は、図３に示されるように、直交変換部２１２１ａ、量子化部２１２１ｂ、係数調整部２１２２、可変長符号化部２１２３、逆量子化部２１２４ａ、逆直交変換部２１２４ｂ、フレームメモリ２１２５、フレーム位置及びMB位置管理部２１２６、符号化モード決定部２１２７、動き探索・補償部２１２８、イントラ予測モード決定部２１２９、MBライン符号量挿入部２１２９１を備えている。これらのうち、直交変換部２１２１ａ、量子化部２１２１ｂ、逆量子化部２１２４ａ、逆直交変換部２１２４ｂ、フレームメモリ２１２５の構成及び動作は、従来の（例えばH.264における）ものと同様でよいので、詳しい説明は省略する。残る各機能要素の動作については、後述の符号化処理方法の説明において詳しく述べる。
　タイルストリーム出力部２１３は、符号化処理部２１２での符号化によって得られた映像タイルストリームを、ビットストリーム群蓄積部２２に出力する構成となっている。
　ビットストリーム群蓄積部２２は、タイルストリーム符号化部２１で生成された映像タイルストリームを蓄積する部分である。ビットストリーム群蓄積部２２は、結合ストリーム生成部２３からの要求に応じて、映像タイルストリームの一部である所定のMBビットストリーム列（映像タイルストリーム）を、結合ストリーム生成部２３に送ることができるようになっている。
　結合ストリーム生成部２３は、タイルストリーム符号化部２１によって符号化された映像タイルストリームを構成するMBラインを結合するための結合システムの一例である。結合ストリーム生成部２３は、図４に示すように、映像タイルストリーム受付部２３１と、結合処理部２３２と、結合ストリーム出力部２３３とを備えている。
　映像タイルストリーム受付部２３１は、ビットストリーム群蓄積部２２から映像タイルストリームを受け取る構成となっている。
　結合処理部２３２は、周縁調整用MB情報挿入部２３２１と、MBライン符号量読み取り部２３２２と、MBライン抽出部２３２３と、結合ストリームヘッダ情報生成／挿入部２３２４とを備えている。
　周縁調整用MB情報挿入部２３２１は、結合ストリームを生成するために、以下の処理を行う：
・映像タイルストリームが結合された状態である結合ストリームにおけるフレームの周縁となる位置に隣接するように、少なくともMBラインの端部に、周縁調整用MBを挿入する処理。ただし、ここで、周縁調整用MBは、前記した符号化システムで符号化されている。
　MBライン符号量読み取り部２３２２は、符号化処理部２１２のMBライン符号量挿入部２１２９１により挿入されたMBライン符号量を読み込む部分である。MBライン符号量を読み込むことにより、MBラインの端部を高速に検出することができる。
　MBライン抽出部２３２３は、MBライン符号量読み取り部２３２２により取得されたMBライン符号列のビット量の分だけ、タイルストリームから符号列の抽出を行う処理を行う。それにより、MBライン符号列ビット量を得るのに本来必要な可変長復号処理を回避することが可能となる。但し、当然ながら可変長復号処理を行なうことで前記MBライン符号列のビット量を用いずに符号列を抽出することも可能である。
　結合ストリームヘッダ情報生成／挿入部２３２４は、結合ストリームのためのヘッダ情報を生成して挿入するものである。結合ストリームヘッダの生成や挿入についても、従来の処理と同様でよいので、詳しい説明は省略する。
　結合ストリーム出力部２３３は、結合処理部２３２で生成された結合ストリームを出力する構成となっている。生成された結合ストリームの例は後述する。
　クライアントステータス管理サーバ２４は、クライアント端末３から送られた要求、例えば、ユーザが視聴を求める映像領域の情報（具体例は後述）を受け取るものである。
　結合ストリーム送信部２５は、結合ストリーム生成部２３で生成された結合ストリームを、ネットワーク４を介してクライアント端末３に送るものである。
　（クライアント端末）
　クライアント端末３は、ユーザがサーバ２に対して必要な指令を送り、あるいは、サーバ２から送られた情報を受信するための端末である。クライアント端末３は、通常、ユーザによって操作されるが、ユーザ操作を必要とせずに自動的に動作するものであってもよい。クライアント端末３としては、例えば、携帯電話（いわゆるスマートフォンを含む）、モバイル・コンピュータ、デスクトップ・コンピュータなどを用いることができる。
　（ネットワーク）
　ネットワーク４は、サーバ２とクライアント端末３との間での情報の送受信を行うためのものである。ネットワーク４としては、通常は、インターネットであるが、LANやWANなどのネットワークであっても良い。ネットワークとしては、必要な情報の送受信を行えるものであればよく、使用されるプロトコルや物理的な媒体は特に制約されない。
　（本実施形態の動作）
　次に、図５を主に参照しながら、本実施形態のシステムにおける符号化方法を説明する。
　（図５のステップＳＡ－１～２）
　まず、映像入力部１から、サーバ２の符号化処理部２１に映像信号を取り込む。符号化処理部２１での符号化処理の詳細を図６に基づいて説明する。なお、以降の符号化処理は、基本的には、全てMB単位の処理となる。ここで、非特許文献３及び特許文献１で説明されているように、MBによりMBラインが構成され、MBラインによりタイルストリームのフレームが構成され、タイルストリームのフレームにより結合ストリームのフレームが構成される。
　（図６のステップＳＢ－１）
　符号化処理部２１では、まず、MB毎の符号化モードを決定する。符号化モードとは、フレーム内予測符号化（いわゆるイントラ符号化）か、フレーム間予測符号化（いわゆるインター符号化）のいずれかである。
　符号化モード決定処理アルゴリズムの一例を図７に示す。
　（図７のステップＳＣ－１）
　まず、処理対象MBが属するフレームがリフレッシュフレームであるか否かを判定する。本判定は、フレーム位置及びMB位置管理部２１２６から得られる処理フレーム数を利用する。すなわち、フレーム位置及びMB位置管理部２１２６は、その内部にフレーム数及びMB数を処理毎にカウントする変数を保持しており、この変数を参照することにより、処理対象のフレーム数とMB数とを取得できるようになっている。そして、どのタイミングのフレームをリフレッシュフレームとすべきかについては、符号化処理部２１において予め把握しているので、処理対象のフレーム数と既定のタイミング情報とを用いて、リフレッシュフレームの判定を行うことができる。また、リフレッシュフレームは、通常、周期的に（つまり所定の時間間隔毎に）挿入されるが、周期性は必須ではない。
　（図７のステップＳＣ－２）
　ステップＳＣ－１での判定がYesであったとき（つまりリフレッシュフレームの場合）、当該MBはフレーム内符号化すべきものと決定する。
　（図７のステップＳＣ－３）
　ステップＳＣ－１での判定がNoであったときは、当該MBについてはフレーム間予測符号化すべきものと決定する。
　以上のアルゴリズムにより、各MBの符号化モードを決定することができる。
　（図６のステップＳＢ－２）
　ついで、動き探索・補償部２１２８による、動き探索・補償の手法を、図８を主に参照しながら説明する。
　ここでの説明の前提として、H.264における動き探索・補償の概要を説明する。H.264では、MBの中の「パーティション」と呼ばれる画素の区切りを単位として、動き探索・補償を行っている。H.264において、パーティションの画素サイズは、１６×１６、８×１６、１６×８、８×８、４×８、８×４、４×４という７種類がある（図９参照）。
　そして、H.264において、図１０（ａ）に示すパーティションＥが保持する動きベクトル情報は、隣接するパーティションＡ、Ｂ、Ｃが保持する動きベクトルの中央値との差分値として符号化される。なお、図１０（ａ）は、各パーティションのサイズが同じ場合を示している。ただし、図１０（ｂ）に示すように、隣接するパーティションのサイズが異なっていてもよく、この場合の符号化方法も前記と同様である。
　（図８のステップＳＤ－１）
　初期化処理としてフラグを０とする。以降の処理では、フレーム位置及びMB位置管理部２１２６から得られたMB位置を基に処理MBがフレームのどの位置に属するかを判定する。
　（図８のステップＳＤ－１－１～ＳＤ－１－３）
　ついで、処理対象であるパーティションが属するMBが、フレームの左端のものかどうかを判定する。
　判定結果がYesであれば、次に、当該パーティションが、MB中において（すなわちフレームにおいて）左端のものかどうかを判定する。結果がYesであればフラグを１とする。
　（図８のステップＳＤ－２～４）
　ステップＳＤ－１－１での判定結果がNoであったとき、処理対象であるパーティションが属するMBが、フレームの右端のものかどうかを判定する。
　判定結果がYesであれば、次に、当該パーティションが、MB中において（すなわちフレームにおいて）右端のものかどうかを判定する。結果がYesであればフラグを１とする。
　（図８のステップＳＤ－５～７）
　ステップＳＤ－２での判定結果がNoであったとき、処理対象であるパーティションが属するMBが、フレームの下端のものかどうかを判定する。
　判定結果がYesであれば、次に、当該パーティションが、MB中において（すなわちフレームにおいて）下端のものかどうかを判定する。結果がYesであればフラグを１とする。
　（図８のステップＳＤ－８～９）
　MBに付されたフラグが１ではない（つまり０のままである）ときは、フレーム内のブロック情報を参照するよう予測参照情報の制限を行い、フレームメモリから得られた前フレームの画素値を基に動き探索を行う。本手法は予測参照情報制限方式の一例である。
　具体的に、「フレーム内のブロック情報を参照するよう予測情報の制限を行うこと」とは、動きベクトルの探索範囲をフレーム内とするという制限を設けることで実現される。なお、動きベクトルの探索範囲の制限は文献（特開２０１１－５５２１９号公報の００７４～００８４段落）でも指摘されている。しかし、この文献では、エラーの伝搬を抑制することを目的に、エラー修正を行ったMBラインのみを動きベクトル探索制限範囲とすることで、それ以外のエラーの含有している可能性のある領域において参照しないよう制御している。これに対して、本実施形態では、動きベクトル探索制限範囲を、対象MBライン内ではなく、フレーム内としている。
　（図８のステップＳＤ－１０）
　ステップＳＤ－８での判定結果がYesであれば、固定動きベクトル値を設定する。すなわち、システム側に保存されている固定値を取り出す。固定動きベクトル値の設定は、予測参照情報固定方式の一例に対応する。具体的には、前フレームの同じ箇所を参照することとする（動きベクトルが(0、0)として固定する場合）。
　（図８のステップＳＤ－１１）
　ついで、動き探索・補償部２１２８は、探索された動きベクトル値又は固定された動きベクトル値を用いて、動き補償処理を行う。この動き補償処理自体は、H.264での通常処理と同様で良いので、詳しい説明は省略する。
　前記したアルゴリズムでは、「タイルストリームのフレームの右端、左端又は下端にあるために、隣接するパーティションから参照される可能性のあるパーティションの動きベクトル値」を固定値とすることができる。このようにすれば、隣接するMBが符号化時と結合時とで異なる場合でも、隣接するMBの内容に影響されずに、正しい復号を行うことが可能となる。
　（図６のステップＳＢ－３）
　つぎに、イントラ予測モード決定部２１２９での処理アルゴリズムを、図１１を参照しながら説明する。
　（図１１のステップＳＥ－１）
　まず、イントラ予測モード決定部２１２９は、MBの位置に応じて、図１２に示す予測モードを設定する。図１２に示すように、このモードでは、映像タイルストリーム内左端の複数のMBにおいては、各MBの上に接するMBの画素値を参照する予測モードを用い、上端の複数のMBにおいては、各MBの左に接するMBの画素値を参照する予測モードを用いる。また右端MBにおいては、「右上のMBから予測を行う二つのモード（図１２参照）以外の予測モード」を用いる、さらに、同フレーム内の左上端のMBにおいては、他のどのMBも参照しない予測モード（IPCMモード）を用いる。このような予測モードの制限は、予測参照情報制限方式の一例に対応する。このように設定することで、隣接するフレームのMBの値を参照せずに符号化できるので、各々タイルストリームのフレームにおいて符号化時と結合時で参照する予測情報が異なったとしても、正しい復号が可能となる。つまり、この図において
Figure JPOXMLDOC01-appb-I000001
という予測モード制限を行う。
　（図１１のステップＳＥ－２）
　ステップＳＥ－１で設定された予測モードに従って「すでに符号化及び復号の行われた隣接画素信号」及び「フレームメモリから取得される前のフレームの画素信号」のいずれかから予測参照画素値を生成し予測参照画素値を出力する。この処理は、通常のH.264での処理と同様で良いので、詳しい説明は省略する。
　（図６のステップＳＢ－４及びＳＢ－５）
　ついで、前記したステップＳＢ－２及びＳＢ－３の処理の結果を利用して、入力信号との予測差分信号を生成する。さらに、直交変換及び量子化を行う。予測差分信号の生成、直交変換及び量子化の手法は、通常のH.264での処理と同様で良いので、詳しい説明は省略する。
　（図６のステップＳＢ－６）
　ついで、係数調整部２１２２及び可変長符号化部２１２３（図３参照）により、可変長符号化を行う。この可変長符号化においては、通常の可変長符号化処理の前に、係数調整のための処理を行う。そこで、以下の説明では、まず、図１３に基づいて、係数調整部２１２２での係数調整処理を説明し、その後に、図１４に基づいて、可変長符号化部２１２３での可変長符号化処理を説明する。
　（図１３のステップＳＦ－１）
　係数調整対象ブロックをMB位置及びその中のブロック位置に基づき判定するため、そのフラグを０とする。ここで、MBの位置情報は、フレーム位置及びMB位置管理部２１２６から取得するものとする。なお、係数調整及び可変長符号化の処理は、MB内の変換係数の集合であるブロック単位で行われる。ブロック単位で処理する点は、H.264での通常の処理と同様なので詳しい説明は省略する。
　（図１３のステップＳＦ－２～ＳＦ－４）
　処理対象であるMBがフレームの右端にある場合は、処理ブロックがブロックの右端（つまりフレームの右端）にあるかどうかを判定し、Yesであればフラグを１とする。
　（図１３のステップＳＦ－５～ＳＦ－７）
　ステップＳＦ－５での判定がNoであったときは、ステップＳＦ－５に進む。ここで、処理対象であるMBがフレームの下端にある場合は、処理ブロックがブロックの下端（つまりフレームの下端）にあるかどうかを判定し、Yesであればフラグを１とする。
　（図１３のステップＳＦ－８）
　その後、当該MBにおけるフラグが１であるかを判定し、Noであれば可変長符号化処理に移る。
　（図１３のステップＳＦ－９～１０）
　ステップＳＦ－８での判定結果がYesであれば、当該ブロックにおける非ゼロ係数個数と、予め設定されている（すなわちシステム側で保持している）非ゼロ係数個数とを比較する。なお、予め設定される非ゼロ係数個数は、YUV信号における輝度空間（Y）と色差空間（UV）とで異なっていてもよい。当該ブロックにおける非ゼロ係数個数が、予め設定されている非ゼロ係数個数より小さいときは、非ゼロ係数個数の高周波成分側から、値０以外を有する係数を挿入する。これにより、非ゼロ係数個数を既定値に合わせることができる。高周波成分側に値０以外を有する係数を挿入しても、画質への影響は小さい。
　（図１３のステップＳＦ－１１～１２）
　当該ブロックにおける非ゼロ係数個数が、予め設定されている非ゼロ係数個数より大きいときは、非ゼロ係数個数の高周波成分側から、値０以外を有する係数に代えて、値０を有する係数を挿入する。これにより、非ゼロ係数個数を既定値に合わせることができる。高周波成分側において、値０以外を有する係数に代えて値０を有する係数を挿入しても、画質への影響は小さい。なお、固定の非ゼロ係数個数を用いることは、予測参照情報固定方式の一例に対応する。
　（図１４のステップＳＧ－１）
　以下、可変長符号化処理の具体例を、図１４を参照しながら説明する。ここで、係数調整済みのMBが、フレーム位置及びMB位置管理部２１２６からの指令により、可変長符号化の対象とされる。まず、対象となるMBの処理の判定に用いるためのフラグ１とフラグ２の値をいずれも０とすることで初期化を行う。
　（図１４のステップＳＧ－１－１～ＳＧ－１－３）
　処理対象であるMBがフレームの右端であり、かつ、MB中の処理対象となるパーティションがMBの右端であるときは、フラグ１を１とする。
　（図１４のステップＳＧ－２～６）
　処理対象であるMBがフレームの左端であり、かつ、MB中の処理対象となるブロックがMBの左端であるときは、フラグ１を１とする。さらに、処理対象となるパーティションが左端であるときはフラグ２を１とする。
　（図１４のステップＳＧ－７～１１）
　処理対象であるMBがフレームの上端であり、かつ、MB中の処理対象となるブロックがMBの上端であるときは、当該フラグ１を１とする。さらに、処理対象となるパーティションが上端であるときは当該MBのフラグ２を１とする。ここで、ステップＳＧ－７での判定結果がNoのときは、通常の可変長符号化処理が行われるので、図示を省略してある。SG-10の判定がNoである場合、ステップSG-12に処理を移す。
　（図１４のステップＳＧ－１２）
　ついで、スキップ情報及びMB符号化モード等の符号化を行う。この処理は従来のH.264における処理と同様でよいので、詳しい説明は省略する。
　（図１４のステップＳＧ－１３～１５）
　ついで、フラグ２が１でなく、かつ、当該MBがフレーム間予測符号化のものである場合は、処理対象のパーティションが保持する動きベクトルを、通常の手法で符号化する。当該MBがフレーム内符号化であるものである場合は、処理をSG-17に移す。
　（図１４のステップＳＧ－１６）
　ステップＳＧ－１３での判定結果がYesであれば、処理対象であるパーティションの左、上または右上の隣接パーティションを仮定する。そして、そのパーティションが保持する動きベクトルが既定の固定値である前提で、処理対象であるパーティションの動きベクトルを符号化する。ここで、当該パーティションが保持する動きベクトルの符号化時には、図１０記載のように、左、上、及び右上の隣接パーティションから予測参照情報を生成し、それとの差分値が符号化される。そのため、結合時における予測参照情報不一致を抑制するには、これらのパーティションが存在することを仮定し動きベクトルの符号化を行う。
　（図１４のステップＳＧ－１７）
　ついで、その他のMB情報を符号化する。
　（図１４のステップＳＧ－１８～１９）
　ついで、処理対象であるMBのフラグ１が１でなければ、左又は上に隣接するブロックにおける非ゼロ係数個数の平均値に基づいて、可変長テーブルを選択する。この処理は、通常のH.264での処理と同様なので、詳しい説明は省略する。
　（図１４のステップＳＧ－２０）
　処理対象であるMBのフラグ１が１であれば、存在しない左又は上隣接ブロックを仮定する。その上で、これらの左又は上隣接ブロックの非ゼロ係数個数が固定値である前提で、可変長テーブルを選択する。これにより、タイルストリームのフレームが符号化時と結合時で異なっても、正しい可変長テーブルを選択することができ、正常に可変長復号することができる。
　（図１４のステップＳＧ－２１～２２）
　ステップＳＧ－１９又はステップＳＧ－２０の後、可変長符号化処理を行う。但し、出力されるMBラインの最終ブロックの係数列を符号化して得られるビットストリームがバイト単位に区切られるように、ブロック係数列を調整することが好ましい。これ以外の可変長符号化処理は、H.264での通常の処理と同様でよいので、詳しい説明は省略する。このようにして、可変長符号化されたビットストリームを生成することができる。
　（図６のステップＳＢ－６－１）
　次に、MBライン符号量挿入部２１２９１によるMBライン符号量の挿入手順を、図２０をさらに参照しながら説明する。
　（図２０のステップＳＪ－１）
　まず、可変長符号化部２１２３により処理されたMBのビット量（以下CurrentMBBitとする）を取得する。
　（図２０のステップＳＪ－２～４）
　ついで、当該MBの位置がフレーム左端であれば、処理対象であるMBラインに含まれる全MBのビット量（MBLinebitとする）を０とする。そうでなければ、それまでのMBLinebitにCurrentMBBitを加え、新たなMBLinebitとする。
　（図２０のステップＳＪ－５～６）
　処理対象であるMB位置がフレームの右端に達すると、それまでの合算で得られたMBLinebitを、MBライン符号列のヘッダに挿入して、ビットストリームとする。右端に達しない間は、新たなMBを取得する度に、前記したステップＳＪ－１の処理から繰り返す。
　（図６のステップＳＢ－７～９）
　ついで、符号化されたビットストリームを、予測のために逆変換し、フレームメモリに格納する。これらの処理は、通常のH.264での処理と同様でよいので、詳しい説明は省略する。ついで、処理手順は、ステップＳＢ－１に戻る。その後、処理すべきMBがなくなれば、処理を終了する。
　（図５のステップＳＡ－３）
　ついで、タイルストリーム符号化部２１は、前記の手順により生成されたビットストリームを、ビットストリーム群蓄積部２２に蓄積する。
　（図５のステップＳＡ－４）
　その後、ユーザは、クライアント端末３を利用して、映像領域を指定する。ここで、映像領域の指定について、図１５を参照しながら説明する。前提として、映像を構成するフレームのそれぞれは、タイルストリームのフレーム（分割領域ということがある）Ａｐ００～Ａｐｍｎから構成される。タイルストリームのフレームＡｐ００～Ａｐｍｎで構成される映像フレーム全体については、結合ストリームのフレームあるいは全体領域Ａｗと称する。
　各タイルストリームのフレームＡｐ００～Ａｐｍｎは、ＭＢ００～ＭＢｐｑで表されるMBの組で構成されている。これらの構成は、本発明者らによる前記非特許文献３や特許文献１に記載されているものと同様でよいので、詳しい説明は省略する。
　ユーザは、クライアント端末３により、視聴を希望する領域を指定する。例えば、図１５の例では、タイルストリームのフレームＡｐ００と、フレームＡｐ０１とで示される映像領域が指定されたとする。なお、本実施形態では、タイルストリームのフレームのMBのラインの単位で、結合が行われる。ここで、ユーザからの指定は、クライアントステータス管理サーバ２４を介して、結合ストリーム生成部２３に送られる。なお、ユーザによる映像領域の指定方法は、本発明者らによる前記非特許文献３や特許文献１と同様で良いので、これ以上詳しい説明は省略する。例えば、本実施形態では、タイルストリームのフレームのMBのラインの単位で結合が行われるが、視聴領域の指定は、それより狭い範囲であってもよい。
　（図５のステップＳＡ－５）
　ついで、結合ストリーム生成部２３は、MBラインを結合して結合ストリームを生成する。この生成の手順を、図４及び図１６を主に参照しながら説明する。
　（図１６のステップＳＨ－１）
　結合ストリーム生成部２３のタイルストリーム受付部２３１は、既に説明した手順で符号化されたビットストリーム群を蓄積しているビットストリーム群蓄積部２２から、ユーザに送信すべきタイルストリーム（本例では、Ａｐ００とＡｐ０１のストリーム）を受け取る。
　（図１６のステップＳＨ－２）
　ついで、結合処理部２３２の周縁調整用MB情報挿入部２３２１は、結合すべきタイルストリームのフレームの周囲に、周縁調整用MB情報を挿入する。具体的な一例を、図１７に示す。この例では、四つのタイルストリームのフレームを結合する前提となっている。この場合、その下辺を除く三辺に、周縁調整用MB情報を挿入する。ここで、周縁調整用MB情報とは、符号化の整合性を保つためのMBであり、そのデータ内容及び符号化方法は、結合処理部２３２において既知となっている。すなわち、前記したとおり、各タイルストリームのフレームの符号化においては、各々タイルストリームのフレームにおいて符号化時と結合時で参照する予測情報が異なったとしても、適切に復号できるアルゴリズムを採用している。その符号化条件と整合するように、タイルストリームのフレームの周囲に周縁調整用MBを挿入する。
　本実施形態では、周縁調整用MBの画素値は全て黒色とされている。ただし、他の画素値を採用することは可能である。
　また、本実施形態の周縁調整用MBにおける具体的な符号化条件を図１８に示す。図示されているように、周縁調整用MBについての符号化条件は、以下のようになる。
　●: intra_16x16のMB モードで、かつ、下端ブロックが固定非ゼロ係数個数となるよう、フレーム内符号化（リフレッシュフレームの場合）；
　●: 下端ブロックが固定非ゼロ係数個数でかつ固定動きベクトルとなるようフレーム間符号化（リフレッシュフレーム以外の場合）；
　△: 符号化制限なし；
　×: Intra_16x16のMB モードで、右端ブロックが固定非ゼロ係数個数となるようフレーム内符号化（リフレッシュフレームの場合）；
　×: 右端ブロックが固定非ゼロ係数個数でかつ固定動きベクトルとなるようフレーム間符号化（リフレッシュフレーム以外の場合）；
　■: 当該MBの左側に隣接する境界ブロックの非ゼロ係数個数が固定値であることを仮定してフレーム内符号化（リフレッシュフレームの場合）；
　■: 当該MBの左側に隣接する境界ブロックの非ゼロ係数個数が固定値であり、かつ境界パーティションが保持する動きベクトルが固定動きベクトルであることを仮定して、当該MB自身も固定動きベクトルをもつようフレーム間符号化（リフレッシュフレーム以外の場合）。
　（図１６のステップＳＨ－３～４）
　ついで、ビットストリームのヘッダに書きこまれているMBライン符号量を読取り、このMBライン符号量に基づいて、MBラインを抽出する。このように、予めMBライン符号量をヘッダに書きこんでおくことにより、可変長復号を行わずに、MBラインの端部を検出することができる。このことは、システムへの負荷を減らす上で、実装上重要である。
　（図１６のステップＳＨ－５）
　ついで、結合ストリームヘッダ情報生成／挿入部２３２４において、結合ストリームについてのヘッダ情報を生成する。生成されたヘッダ情報は、抽出されたMBライン符号列に挿入される。ヘッダが挿入された結合ストリームの概念図を図１９に示す。この例では、先頭から、ＳＰＳ、ＰＰＳヘッダ、スライスヘッダ、上端（第０行目）の周縁調整用MB符号列、第１行目の左端のMB符号列、結合すべきタイルストリームＡｐ００のMBライン符号列（第１行目）、結合すべきタイルストリームＡｐ０１のMBライン符号列（第１行目）、第１行目右端の周縁調整用MB符号列、第２行目左端の周縁調整用MB符号列、結合すべきタイルストリームＡｐ００のMBライン符号列（第２行目）、結合すべきタイルストリームＡｐ０１のMBライン符号列（第２行目）…第ｍ行目の左端の周縁調整用MB符号列、結合すべきタイルストリームＡｐ００のMBライン符号列（第ｍ行目）、結合すべきタイルストリームＡｐ０１のMBライン符号列（第ｍ行目）、第ｍ行目右端の周縁調整用MB符号列…という構成となる。
　ＳＰＳ、ＰＰＳヘッダやスライスヘッダについては、従来と同様の構成とすることができるので、詳しい説明は省略する。
　（図１６のステップＳＨ－６）
　ついで、生成された結合ストリームを、結合ストリーム出力部２３３から結合ストリーム送信部２５に送る。
　以上の処理により、本実施形態の符号化方法は、複数の映像タイルストリームにおける各MBラインを、各MBラインの単位で任意に接続して、単一の結合ストリームを構成可能なように、映像タイルストリームの符号化を行うものとなっている。そしてこの方法は、
（１）符号化対象となる映像信号を受け付けるステップと、
（２）適宜の予測参照情報を用いて、前記映像信号を符号化することによって、タイルストリームを生成するステップと、
（３）符号化によって得られた前記映像タイルストリームを出力するステップとを備えたものとなっている。
　映像情報の符号化においては、映像タイルストリームにおけるフレームの各MBラインで構成されるストリームを任意に接続しても信号の予測関係の不一致により発生する誤差を生じないように予測参照情報制限方式又は予測参照情報固定方式を用いるものとなっている。
　また、本実施形態の結合方法は、前記した本実施形態の符号化システムによって符号化された映像タイルストリームを構成するMBラインを結合するための結合方法となっている。そして、この方法は、
（１）映像タイルストリームにおいて、MBラインの端部を検出し、かつ、MBラインに相当するストリームを取得するステップと；
（２）映像タイルストリームが結合された状態である結合映像ストリームにおけるフレームの周縁となる位置に隣接するように、MBラインの端部に、周縁調整用MBを挿入するステップとを有する。
　ここで、一部の周縁調整用MBは、前記した符号化方法で符号化されており、結合映像ストリーム出力部２５は、結合処理部２３２で生成された結合ストリームを出力する構成となっている。
　また、図１９に示すデータ構造は、前記した符号化システムによって符号化されたタイルストリームを構成するMBラインに相当するストリームを結合して生成されたデータ構造の一例である。そして、このデータ構造では、映像タイルストリームが結合された状態である結合ストリームにおけるフレームの周縁となる位置に隣接するように、MBラインの端部に、周縁調整用MBが挿入されている。さらに、少なくとも一部の周縁調整用MBは、前記した符号化システムで符号化されている。
　（図５のステップＳＡ－６）
　結合ストリーム送信部２５は、ネットワーク４を介して、クライアント端末３に結合ストリームを送信する。
　クライアント端末３においては、結合ストリームを複合して、画像を表示することができる。この復号処理は、通常のH.264の場合と同様で良いので、詳しい説明は省略する。
　本実施形態の手法で結合されたストリームは、通常のH.264用に実装されたデコーダにより、正しく復号処理することができる。また、復号された画像データを、クライアント端末３に表示することによって、ユーザに提示することができる。すなわち、本実施形態の手法によれば、タイルストリームを任意に結合した場合であっても、クライアント端末で表示される画質の劣化を防ぐことができる。しかも、本実施形態の手法では、予測参照情報の不整合を修正するために、画素レベルまで復号する必要がないので、サーバ側での処理の負担を軽減することができる。
　また、本実施形態の手法では、フレーム内符号化すべきMBについて、予測モードを制限したので、各々タイルストリームのフレームにおいて符号化時と結合時で参照する予測情報が同一となるため、クライアントにおいて正常な復号が可能となる。
　以上の符号化手順を採用することで、符号化時に決定されてストリーム中に書込まれた予測情報の不一致を、タイルストームを結合した場合において、回避することができる。このため、本実施形態によれば、例えば、予測情報の不一致を回避するために必要な符号の可変長復号、復号情報の再計算、再計算結果の再符号化の処理が不要となるという利点がある。また、MBライン符号量をヘッダに予め書込むことで、MBラインの端点を検出するための可変長復号などの復号処理を省略することができる。したがって、本実施形態によれば、高速に複数のタイルストリームの結合を実現することが可能となる。
　なお、本発明は、前記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更を加え得るものである。
　例えば、前記した各構成要素は、機能ブロックとして存在していればよく、独立したハードウエアとして存在しなくても良い。また、実装方法としては、ハードウエアを用いてもコンピュータソフトウエアを用いても良い。さらに、本発明における一つの機能要素が複数の機能要素の集合によって実現されても良く、本発明における複数の機能要素が一つの機能要素により実現されても良い。
　また、本発明を構成する各機能要素は、離散して存在しても良い。離散して存在する場合には、例えばネットワークを介して必要なデータを受け渡すことができる。各部の内部における各機能も、同様に、離散して存在することが可能である。例えば、グリッドコンピューティングやクラウドコンピューティングを用いて、本実施形態における各機能要素あるいはその一部分を実現することも可能である。

Claims (11)

  1. 　複数の映像タイルストリームにおける各MBラインを、前記各MBライン単位で任意に接続して、単一の結合ストリームを構成可能なように、前記映像タイルストリームの符号化を行うための符号化システムであって、
    　映像信号受付部と、符号化処理部と、映像タイルストリーム出力部とを備えており、
    　前記映像信号受付部は、符号化対象となる映像信号を受け付けるものであり、
    　前記符号化処理部は、適宜の予測参照情報を用いて、前記映像信号を符号化することによって、映像タイルストリームを生成する構成となっており、
    　かつ、前記符号化処理部は、前記符号化において、前記映像タイルストリームにおける各MBラインを任意に接続しても信号の予測関係の不一致により発生する誤差を生じないように、予測参照情報制限方式又は予測参照情報固定方式を用いる構成とされており、
    　前記ストリーム出力部は、前記符号化処理部での符号化によって得られた前記映像タイルストリームを出力する構成となっている
    　ことを特徴とする符号化システム。
  2. 　前記予測参照情報制限方式とは、異なる映像タイルストリームにおけるMBライン間で、相互に隣接するMBが保持する符号化情報の組み合わせに依存しないように、符号化情報を制限された予測方式とされている
    　請求項１に記載の符号化システム。
  3. 　前記予測参照情報制限方式は、以下の処理を備える、請求項１に記載の符号化システム：
    （１）前記映像信号を構成するフレームを、フレーム内予測符号化とフレーム間予測符号化の二種類の符号化モードのうちのいずれかで符号化する処理；
    （２）フレーム内予測符号化されるフレーム内の複数のMBにおいては、異なる映像タイルストリームにおけるMBライン間で、相互に隣接するMBの内容に依存しない画素値を参照する予測モードを用いて符号化する処理。
  4. 　前記予測参照情報固定方式は、予め設定した値に固定された予測情報を用いる方式である
    　請求項１に記載の符号化システム。
  5. 　前記予測参照情報固定方式は、以下の処理を備える、請求項１に記載の符号化システム：
    （１）前記映像タイルストリームを構成するMBであって、かつ、前記映像タイルストリームのフレームの周縁部分に位置するもののうち、少なくとも一部のMBにおいて、MBにおける少なくとも一部の輝度係数列及び色差係数列のゼロでない係数の個数を、予め設定した固定値として符号化する処理；
    （２）前記映像タイルストリームのフレームの周縁部分に隣接すべきMBの前記ゼロでない係数の個数を参照するMBの場合には、前記固定値の前記ゼロでない係数の個数を持つ隣接MBが存在すると仮定して、符号化する処理。
  6. 　前記予測参照情報固定方式は、以下の処理を備える、請求項１に記載の符号化システム：
    （１）映像タイルストリームのフレームの周縁部分に位置するMBの内、少なくとも一部のMBにおいて、MBが保持する動きベクトルを既定の動きベクトルに固定してフレーム間予測符号化を行う処理；
    （２）前記映像タイルストリームのフレームの周縁部分に隣接すべきMBの動きベクトルを参照するMBの場合には、前記既定の動きベクトルを持つ隣接MBが存在すると仮定して、フレーム間予測符号化を行う処理。
  7. 　前記符号化処理部は、MBライン符号量挿入部を備えており、このMBライン符号量挿入部は、前記映像タイルストリーム中の前記MBラインの位置を特定するための付加情報を、前記符号化時において生成する構成となっている
    　請求項１～６のいずれか１項に記載の符号化システム。
  8. 　請求項１～６のいずれか１項に記載のシステムによって符号化された映像タイルストリームを構成するMBラインを結合するための結合システムであって、
    　映像タイルストリーム受付部と、結合処理部と、結合ストリーム出力部とを備えており、
    　前記映像タイルストリーム受付部は、前記映像タイルストリームを受け取る構成となっており、
    　前記結合処理部は、以下の処理を行うことで、結合ストリームを生成する構成となっており：
    （１）前記映像タイルストリームにおいて、前記MBラインの端部を検出し、かつ、前記MBラインに相当するストリームを取得する処理；
    （２）前記映像タイルストリームが結合された状態である結合ストリームにおけるフレームの周縁となる位置に隣接するように、前記MBラインの端部に、周縁調整用MBを挿入する処理、ただし、ここで、一部の前記周縁調整用MBは、請求項１～７のいずれか１項に記載の符号化システムで符号化されているものとする；
    　前記結合ストリーム出力部は、前記結合処理部で生成された前記結合ストリームを出力する構成となっている
    　結合システム。
  9. 　複数の映像タイルストリームにおける各MBラインを、前記各MBラインの単位で任意に接続して、単一の結合ストリームを構成可能なように、映像タイルストリームの符号化を行うための符号化方法であって、
    （１）符号化対象となる映像信号を受け付けるステップと、
    （２）適宜の予測参照情報を用いて、前記映像信号を符号化することによって、タイルストリームを生成するステップと、
    （３）符号化によって得られた前記映像タイルストリームを出力するステップとを備えており、
    　前記映像情報の符号化においては、前記映像タイルストリームにおけるフレームの各MBラインで構成されるストリームを任意に接続しても信号の予測関係の不一致により発生する誤差を生じないように前記予測参照情報制限方式又は前記予測参照情報固定方式を用いる構成とされている
    　ことを特徴とする符号化方法。
  10. 　請求項９に記載の各ステップをコンピュータに実行させるためのコンピュータプログラム。
  11. 　請求項１～７のいずれか１項に記載のシステムによって符号化されたタイルストリームを構成するMBラインに相当するストリームを結合して生成されたデータ構造であって
    　前記映像タイルストリームが結合された状態である結合ストリームにおけるフレームの周縁となる位置に隣接するように、前記MBラインの端部に、周縁調整用MBが挿入されており、
    　少なくとも一部の前記周縁調整用MBは、請求項１～７のいずれか１項に記載の符号化システムで符号化されている
    データ構造。
PCT/JP2012/076813 2011-10-24 2012-10-17 映像信号の符号化システム及び符号化方法 WO2013061839A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP12844021.1A EP2773113A4 (en) 2011-10-24 2012-10-17 SYSTEM AND METHOD FOR CODING VIDEO SIGNALS
CN201280057252.7A CN103947212A (zh) 2011-10-24 2012-10-17 视频信号的编码系统以及编码方法
KR20147010893A KR20140085462A (ko) 2011-10-24 2012-10-17 영상 신호의 부호화 시스템 및 부호화 방법
US14/354,129 US20150127846A1 (en) 2011-10-24 2012-10-17 Encoding System and Encoding Method for Video Signals
SG11201401713WA SG11201401713WA (en) 2011-10-24 2012-10-17 Encoding system and encoding method for video signals
IN3191DEN2014 IN2014DN03191A (ja) 2011-10-24 2012-10-17

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011232863A JP5685682B2 (ja) 2011-10-24 2011-10-24 映像信号の符号化システム及び符号化方法
JP2011-232863 2011-10-24

Publications (1)

Publication Number Publication Date
WO2013061839A1 true WO2013061839A1 (ja) 2013-05-02

Family

ID=48167672

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/076813 WO2013061839A1 (ja) 2011-10-24 2012-10-17 映像信号の符号化システム及び符号化方法

Country Status (8)

Country Link
US (1) US20150127846A1 (ja)
EP (1) EP2773113A4 (ja)
JP (1) JP5685682B2 (ja)
KR (1) KR20140085462A (ja)
CN (1) CN103947212A (ja)
IN (1) IN2014DN03191A (ja)
SG (1) SG11201401713WA (ja)
WO (1) WO2013061839A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016019240A (ja) * 2014-07-10 2016-02-01 株式会社ドワンゴ 端末装置、動画配信装置、プログラム
CN105612756A (zh) * 2013-08-08 2016-05-25 国立大学法人电气通信大学 数据处理装置、数据处理方法、程序、记录介质以及数据处理系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10554969B2 (en) * 2015-09-11 2020-02-04 Kt Corporation Method and device for processing video signal
CN105554513A (zh) * 2015-12-10 2016-05-04 Tcl集团股份有限公司 一种基于h.264的全景视频传输方法及系统
WO2018074813A1 (ko) * 2016-10-17 2018-04-26 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001285876A (ja) * 2000-03-30 2001-10-12 Sony Corp 画像符号化装置とその方法、ビデオカメラ、画像記録装置、画像伝送装置
WO2006006564A1 (ja) * 2004-07-12 2006-01-19 Sony Corporation 符号化方法、符号化装置、復号方法、復号装置およびそれらのプログラム
JP2011024018A (ja) 2009-07-16 2011-02-03 Gunzoo Inc 送信装置、受信装置、送信方法、受信方法及び伝送システム
JP2011055219A (ja) 2009-09-01 2011-03-17 Sony Corp 画像送信装置、画像受信装置、画像送信方法及び画像受信方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7599438B2 (en) * 2003-09-07 2009-10-06 Microsoft Corporation Motion vector block pattern coding and decoding
CN101895760B (zh) * 2010-07-29 2013-05-01 西安空间无线电技术研究所 基于jpeg-ls算法的码流拼接实现系统及方法
CN102036073B (zh) * 2010-12-21 2012-11-28 西安交通大学 基于视觉潜在注意力目标区域的jpeg2000图像编解码方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001285876A (ja) * 2000-03-30 2001-10-12 Sony Corp 画像符号化装置とその方法、ビデオカメラ、画像記録装置、画像伝送装置
WO2006006564A1 (ja) * 2004-07-12 2006-01-19 Sony Corporation 符号化方法、符号化装置、復号方法、復号装置およびそれらのプログラム
JP2011024018A (ja) 2009-07-16 2011-02-03 Gunzoo Inc 送信装置、受信装置、送信方法、受信方法及び伝送システム
JP2011055219A (ja) 2009-09-01 2011-03-17 Sony Corp 画像送信装置、画像受信装置、画像送信方法及び画像受信方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
E.KAMINSKY; D.GROIS; O.HADAR: "Efficient real-time video-in-video insertion into a pre-encoded video stream for the H.264/AVC", IEEE INTERNATIONAL CONFERENCE ON IMAGING SYSTEMS AND TECHNIQUES (IST, 1 July 2010 (2010-07-01), pages 436 - 441, XP055148682, DOI: doi:10.1109/IST.2010.5548511
EVGENY KAMINSKY ET AL.: "Efficient real-time Video-in-Video insertion into a pre-encoded video stream for the H.264/AVC", INTERNATIONAL CONFERENCE ON IMAGING SYSTEMS AND TECHNIQUES (IST), July 2010 (2010-07-01), pages 436 - 441, XP055148682 *
H. KIMATA; S. SHIMIZU; Y. KUNITA; M. ISOGAI; Y. OHTANI: "Panorama video coding for user-driven interactive video application", IEEE INTERNATIONAL SYMPOSIUM ON CONSUMER ELECTRONICS (ISCE2009), KYOTO, 2009
N. UCHIHARA; H. KASAI: "Fast H.264/AVC stream joiner for interactive free view-area multivision video", IEEE TRANSACTIONS ON CONSUMER ELECTRONICS, vol. 57, no. 3, August 2011 (2011-08-01), pages 1311 - 1319, XP011386575, DOI: doi:10.1109/TCE.2011.6018889
NAOFUMI UCHIHARA ET AL.: "A Study on Video Delivery System with Free View-Area and Multiple Resolution Access for Multiple Users", IEICE TECHNICAL REPORT, vol. 109, no. 398, N, 2010, pages 89 - 94, XP008169220 *
NAOFUMI UCHIHARA ET AL.: "Fast H.264/AVC stream joiner for interactive free view-area multivision video", IEEE TRANSACTIONS ON CONSUMER ELECTRONICS, vol. 57, no. 3, August 2011 (2011-08-01), pages 1311 - 1319, XP011386575 *
S. HEYMANN; A. SMOLIC; K. MULLER; Y. GUO; J. RURAINSKI; P. EISERT; T. WIEGAND: "Representation, Coding and Interactive Rendering or High-Resolution Panoramic Images and Video using MPEG-4", PROC. PANORAMIC PHOTOGRAMMETRY WORKSHOP, BERLIN, GERMANY, February 2005 (2005-02-01)
See also references of EP2773113A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105612756A (zh) * 2013-08-08 2016-05-25 国立大学法人电气通信大学 数据处理装置、数据处理方法、程序、记录介质以及数据处理系统
JP2016019240A (ja) * 2014-07-10 2016-02-01 株式会社ドワンゴ 端末装置、動画配信装置、プログラム

Also Published As

Publication number Publication date
IN2014DN03191A (ja) 2015-05-22
JP2013093656A (ja) 2013-05-16
CN103947212A (zh) 2014-07-23
JP5685682B2 (ja) 2015-03-18
SG11201401713WA (en) 2014-09-26
EP2773113A4 (en) 2015-06-03
US20150127846A1 (en) 2015-05-07
EP2773113A1 (en) 2014-09-03
KR20140085462A (ko) 2014-07-07

Similar Documents

Publication Publication Date Title
US20200252650A1 (en) Video processing method for blocking in-loop filtering from being applied to at least one boundary in reconstructed frame and associated video processing apparatus
US8462196B2 (en) Method and apparatus for generating block-based stereoscopic image format and method and apparatus for reconstructing stereoscopic images from block-based stereoscopic image format
TW201911863A (zh) 用於360度視訊寫碼之參考圖推導及動作補償
US20240048766A1 (en) Image coding using transform index
US20220007028A1 (en) Method and device for signaling information on chroma format
CN110121065B (zh) 空间排序视频编码应用中的多向图像处理
US11838549B2 (en) Transform in intra prediction-based image coding
JP5685682B2 (ja) 映像信号の符号化システム及び符号化方法
US8704932B2 (en) Method and system for noise reduction for 3D video content
US20220264101A1 (en) Method for transform-based image coding and apparatus therefor
US11812059B2 (en) Image coding method based on transform, and device therefor
US20220377319A1 (en) Prediction weighted table-based image/video coding method and apparatus
US20220174270A1 (en) Method and device for configuring mpm list
US20240022727A1 (en) Image decoding method comprising generating prediction samples by applying determined prediction mode, and device therefor
US20220132137A1 (en) Image encoding/decoding method and device using symmetric motion vector difference (smvd), and method for transmitting bitstream
US11902530B2 (en) Image coding method based on transform and apparatus therefor
US20230164357A1 (en) Transform-based image coding method and device therefor
US9554131B1 (en) Multi-slice/tile encoder with overlapping spatial sections
US20230142928A1 (en) Transform-based image coding method and device therefor
CN116134821A (zh) 用于在图像/视频编码系统中处理高级语法的方法和设备
CN115104313A (zh) 发信号通知在图片或切片级适用的视频信息的方法和装置
CN114762350A (zh) 基于切片类型的图像/视频编译方法和设备
JP2017120980A (ja) インター予測装置、インター予測方法、動画像符号化装置、動画像復号装置及びコンピュータ可読記録媒体
CN115443660B (zh) 用于解码与符号数据隐藏相关的成像的方法和设备
US20220264103A1 (en) Transform-based image coding method and apparatus therefor

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12844021

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012844021

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20147010893

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14354129

Country of ref document: US