WO2011105137A1 - 画像符号化装置及び画像伝送システム - Google Patents

画像符号化装置及び画像伝送システム Download PDF

Info

Publication number
WO2011105137A1
WO2011105137A1 PCT/JP2011/050970 JP2011050970W WO2011105137A1 WO 2011105137 A1 WO2011105137 A1 WO 2011105137A1 JP 2011050970 W JP2011050970 W JP 2011050970W WO 2011105137 A1 WO2011105137 A1 WO 2011105137A1
Authority
WO
WIPO (PCT)
Prior art keywords
encoding
macroblock
image data
group
unit
Prior art date
Application number
PCT/JP2011/050970
Other languages
English (en)
French (fr)
Inventor
長谷川　弘
敏充 達可
武明 小室
Original Assignee
株式会社メガチップス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社メガチップス filed Critical 株式会社メガチップス
Publication of WO2011105137A1 publication Critical patent/WO2011105137A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Definitions

  • the present invention relates to an image encoding device that encodes a plurality of image data and outputs one compressed image data, and an image transmission system using the image encoding device.
  • a plurality of cameras may be installed. By monitoring from different angles using a plurality of cameras, it is possible to prevent the generation of blind spots.
  • the video signal generated by each camera is encoded and transmitted because the bandwidth of the transmission path is limited. Since it is necessary to simultaneously display and monitor the video of each camera, it is necessary to multiplex and transmit a plurality of video signals corresponding to each camera.
  • Patent Document 1 discloses a video signal encoding apparatus that converts a plurality of frame videos input from each camera into a single system of compressed data.
  • the video signal encoding apparatus deletes a frame video that is not encoded from a frame video input from each camera, and extracts a frame video to be encoded.
  • the extracted frame images are arranged for each camera.
  • the arranged frame images are encoded in GOP (Group of Pictures) units. Thereby, a plurality of frame images input from each camera are converted into one system of compressed data.
  • GOP Group of Pictures
  • Patent Document 1 aims to record the video of each camera on a recording medium for a long time, and does not assume that the video of each camera is transmitted in real time.
  • the video signal encoding apparatus extracts a frame video to be encoded.
  • the video signal encoding device cannot generate compressed data until the number of encoding target frame videos that can generate a GOP is extracted.
  • the time (delay) from when the frame video is input to the video signal encoding device to when it is output as compressed data becomes long, it is difficult to transmit the video of each camera in real time.
  • the image encoding device of the present invention compresses the first image data and the first image data.
  • the image encoding device generates a first encoding group by classifying the first macroblock of the first image data based on the set segmentation unit, and classifies the second macroblock of the second image data.
  • the encoding order for encoding the first macroblock and the second macroblock is changed so that the group generation unit for generating the second encoding group and the first encoding group and the second encoding group are alternately repeated.
  • the first image data and the second image data Encoding can be started. Accordingly, it is possible to shorten the delay associated with the encoding of the first image data and the second image data.
  • the image transmission system of the present invention includes an image encoding device that compresses first image data and second image data, and an image decoding device.
  • the image encoding device generates a first encoding group by classifying the first macroblock of the first image data based on the set segmentation unit, and classifies the second macroblock of the second image data.
  • the encoding order for encoding the first macroblock and the second macroblock is changed so that the group generation unit for generating the second encoding group and the first encoding group and the second encoding group are alternately repeated.
  • the image decoding apparatus includes: a receiving unit that receives the multiplexed compressed data; a demultiplexing unit that extracts the encoded first macroblock in order from the head of the received multiplexed compressed data; The decoding unit that decodes one macroblock in the extracted order, the decoded image data of the first macroblock, and the decoded image data of the second macroblock can be displayed at the timing when the first macroblock can be displayed.
  • An output control unit that outputs the decoded image data to the first display device.
  • the image decoding apparatus since the image decoding apparatus starts decoding without receiving all the encoded first macroblocks of the first encoding group, the delay associated with decoding is shortened. be able to.
  • the image decoding device outputs the decoded image data of the first macroblock to the display device when the decoded image data of both the first macroblock and the second macroblock can be displayed. Thereby, the first image data and the second image data can be displayed synchronously.
  • an object of the present invention is to provide a technique capable of reducing a delay that occurs when compressed data is generated from a plurality of image data.
  • FIG. 1 It is a figure which shows the structure of the image transmission system which concerns on the 1st Embodiment of this invention. It is a block diagram which shows the functional structure of the image coding apparatus shown in FIG. It is a figure which shows the structure of the macroblock of the uncompressed image data input into an image coding apparatus. It is a figure which shows the encoding order of a macroblock group. It is a figure which shows the encoding order of a macroblock group. It is a figure which shows the encoding order of a macroblock group. It is a figure which shows typically the structure of multiplexed compression data. It is a block diagram which shows the functional structure of a monitoring apparatus.
  • FIG. 1 is a diagram showing a configuration of an image transmission system according to an embodiment of the present invention.
  • An image transmission system 100 shown in FIG. 1 includes cameras 1a and 1b, an image encoding device 2, and monitoring devices 4a and 4b.
  • the image transmission system 100 is a system that monitors an ATM corner provided in a financial institution store in real time.
  • Cameras 1a and 1b are attached so that ATM corners can be photographed from different angles.
  • the cameras 1a and 1b take pictures of ATM corners and generate uncompressed image data 31a and 31b.
  • the image encoding device 2 is installed at the ATM corner together with the cameras 1a and 1b.
  • the frame of uncompressed image data 31a and 31b is input to the image encoding device 2 in synchronization.
  • the image encoding device 2 encodes and multiplexes the uncompressed image data 31a and 31b to generate multiplexed compressed data 33.
  • the multiplexed compressed data 33 is transmitted to a monitor room that monitors an ATM corner via a wireless communication network or the like.
  • the monitoring devices 4a and 4b are installed in the monitor room and receive the multiplexed compressed data 33.
  • the monitoring devices 4a and 4b perform demultiplexing and decoding processing on the multiplexed compressed data 33, and display images corresponding to the cameras 1a and 1b.
  • the cameras 1a and 1b photograph the same place (ATM corner) from different angles. For this reason, the monitoring devices 4a and 4b display the images of the cameras 1a and 1b in synchronization so that the timing for displaying the images of the cameras 1a and 1b is not shifted.
  • the monitor resident in the monitor room monitors the ATM corner by monitoring the images displayed on the monitoring devices 4a and 4b.
  • the image encoding device 2 classifies the macroblocks of the uncompressed image data 31a based on the set segmentation unit, and calls a macroblock group (hereinafter referred to as “MB group”) composed of one or more macroblocks. .) Is generated.
  • the image encoding device 2 partitions the macroblock of the uncompressed image data 31b based on the partition unit, and generates an MB group.
  • the image encoding device 2 determines an encoding order for encoding the MB group of the uncompressed image data 31a and 31b.
  • the image encoding device 2 encodes the macro blocks of the uncompressed image data 31a and 31b for each MB group in accordance with the encoding order.
  • Multiplexed compressed data 33 is generated by arranging the encoded macroblocks for each MB group.
  • the image encoding device 2 can start encoding of the uncompressed image data 31a and 31b when an image corresponding to the MB group is input from the uncompressed image data 31a and 31b. Since the time until the encoding of the uncompressed image data 31a and 31b is started is shortened, the delay until the images of the cameras 1a and 1b are displayed on the monitoring devices 4a and 4b can be shortened.
  • FIG. 2 is a block diagram illustrating a functional configuration of the image encoding device 2.
  • the image encoding device 2 includes an encoding control unit 21, an encoding unit 22, a multiplexing unit 23, and a communication unit 24.
  • the encoding control unit 21 determines the order of encoding the macroblocks of the uncompressed image data 31a and 31b.
  • the encoding control unit 21 includes a group generation unit 211 and an encoding order determination unit 212.
  • the group generation unit 211 classifies the macroblocks of the uncompressed image data 31a and 31b based on the set division unit, and generates an MB group.
  • the encoding order determination unit 212 determines an encoding order for encoding each macroblock of the uncompressed image data 31a and 31b for each MB group. At this time, the encoding order is determined so that the MB group (first MB group) of the uncompressed image data 31a and the MB group (second MB group) of the uncompressed image data 31b are alternately repeated.
  • the encoding unit 22 encodes the uncompressed image data 31a and 31b for each MB group based on the determined encoding order.
  • H.264 is used for encoding the uncompressed image data 31a and 31b.
  • An encoding method such as H.264 or MPEG2 is used.
  • the multiplexing unit 23 generates multiplexed compressed data 33 by arranging the macroblocks of the encoded uncompressed image data 31a and 31b in the encoded order.
  • the communication unit 24 adds an error correction signal to the multiplexed compressed data 33 and performs digital modulation.
  • the communication unit 24 transmits the digitally modulated multiplexed compressed data 33 to the monitoring devices 4a and 4b using wireless communication.
  • FIG. 3 is a diagram illustrating a configuration of macroblocks of uncompressed image data 31a and 31b. As shown in FIG. 3, the uncompressed image data 31a and 31b are composed of 24 macroblocks. It is assumed that the uncompressed image data 31a and 31b have the same frame rate.
  • the uncompressed image data 31a and 31b are composed of 6 macro blocks by 4 macro blocks.
  • the macro blocks of the uncompressed image data 31a are assigned numbers Ma0 to Ma23 from the upper left to the lower right.
  • Macro blocks of the uncompressed image data 31b are assigned numbers Mb0 to Mb23 from the upper left to the lower right.
  • a division unit used to classify the macroblocks of the uncompressed image data 31a and 31b is set.
  • MB groups are generated by dividing the macroblocks of the uncompressed image data 31a and 31b based on the division unit.
  • a frame, a macro block line, or a macro block can be set as a division unit.
  • the macro block line (hereinafter referred to as “MB line”) is composed of a plurality of macro blocks arranged in a line in the horizontal direction of the uncompressed image data 31a and 31b.
  • the partition unit is not limited to a frame, an MB line, and a macroblock.
  • the macro blocks Ma0 to Ma23 of the uncompressed image data 31a are classified as the first MB group.
  • Macroblocks Mb0 to Mb23 of the uncompressed image data 31b are classified as the second MB group.
  • the macro blocks Ma0 to Ma23 are divided into any of the MB lines La1, La2, La3, and La4 as the first MB group.
  • the macro blocks Mb0 to Mb23 are divided into any of MB lines Lb1, Lb2, Lb3, and Lb4 as the second MB group.
  • each of the macro blocks Ma0 to Ma23 is classified as a first MB group.
  • Each of the macro blocks Mb0 to Mb23 is divided as the second MB group.
  • the partition unit may be set so that the MB group is composed of one or more macroblocks. For example, when four macroblocks are set as the division unit, the macroblocks Ma0 to Ma3, Ma4 to Ma7, etc. of the uncompressed image data 31a are classified as the first MB group.
  • encoding order determination unit 212 determines the encoding order of macroblocks.
  • the frames of the uncompressed image data 31a and 31b are input to the image encoding device 2 in a synchronized state.
  • the frames of the uncompressed image data 31a and 31b input in synchronization are encoded for each MB group according to the determined encoding order.
  • FIG. 4 is a diagram showing an encoding order when MB groups are generated in units of frames.
  • the macroblocks Ma0 to Ma23 of the uncompressed image data 31a are classified as the first MB group.
  • the macro blocks Mb0 to Mb23 of the uncompressed image data 31b are classified as the second MB group.
  • the encoding order determination unit 212 first determines the encoding order so as to encode the macroblocks Mb0 to Mb23 (second MB group) after first encoding the macroblocks Ma0 to Ma23 (first MB group). That is, the frame Fa of the uncompressed image data 31a and the frame Fb of the uncompressed image data 31b input in synchronization are encoded alternately.
  • FIG. 5 is a diagram showing an encoding order when MB groups are generated in units of MB lines.
  • the encoding order determination unit 212 determines the encoding order so that the MB lines La1, Lb1, La2, Lb2,..., La4, Lb4 are encoded in this order. That is, the encoding order is determined so that the MB line of the uncompressed image data 31a and the MB line of the uncompressed image data 31b are encoded alternately.
  • FIG. 6 is a diagram showing an encoding order when MB groups are generated in units of macroblocks.
  • the encoding order determination unit 212 determines the encoding order so that the macro blocks Ma0, Mb0, Ma1, Mb1, Ma2, Mb2,..., Mb22, Ma23, and Mb23 are encoded in this order. That is, the encoding order is determined so that the macroblock of the uncompressed image data 31a and the macroblock of the uncompressed image data 31b are encoded alternately.
  • the encoding order determination unit 212 determines the encoding order of the MB groups so that the first MB group and the second MB group are alternately encoded.
  • the encoding control unit 21 outputs the MB group information 51 and the order information 52 to the encoding unit 22.
  • the MB group information 51 is information for specifying the macroblocks constituting the first MB group and the second MB group.
  • the order information 52 is information indicating the encoding order of the first MB group and the second MB group.
  • the encoding unit 22 identifies the MB line La1 to be encoded first based on the order information 52.
  • the encoding unit 22 specifies and encodes the macroblocks Ma0 to Ma5 constituting the MB line La1 based on the MB group information 51.
  • the encoded macro blocks Ma0 to Ma5 are output to the multiplexing unit 23 as encoded data 32a of the uncompressed image data 31a.
  • the encoding unit 22 specifies the MB line Lb1 to be encoded next to the MB line La1 based on the order information 52.
  • the encoding unit 22 specifies and encodes the macroblocks Mb0 to Mb5 constituting the MB line Lb1 based on the MB group information 51.
  • the encoded macro blocks Mb0 to Mb5 are output to the multiplexing unit 23 as encoded data 32b of the uncompressed image data 31b.
  • the macroblocks constituting the MB lines La2, Lb2, Lb3... Are encoded according to the order shown in FIG.
  • the multiplexing unit 23 inputs the MB group information 51.
  • the encoded data 32a corresponding to the MB line La1 is first input to the multiplexing unit 23.
  • the encoded data 32 b corresponding to the MB line Lb 1 is input to the multiplexing unit 23.
  • the multiplexing unit 23 arranges the encoded data 32 a and 32 b in the input order, and generates multiplexed compressed data 33.
  • FIG. 7 is a schematic diagram showing the configuration of the multiplexed compressed data 33.
  • the multiplexed compressed data 33 includes a stream header 34 and stream data Sa1, Sb1, Sa2,.
  • the stream header 34 includes control information used when reproducing the multiplexed compressed data 33.
  • the encoded data 32a is data obtained by encoding the macro blocks Ma0 to Ma5 of the MB line La1.
  • the group header 35 of the stream data Sa1 is generated based on the MB group information 51, and includes identification information of the uncompressed image data 31a and information for specifying the MB line La1.
  • the encoded data 32b is data obtained by encoding the macro blocks Mb0 to Mb5 of the MB line Lb1.
  • the group header 35 includes identification information of the uncompressed image data 31b and information for specifying the MB line Lb1.
  • the multiplexed compressed data 33 is generated by arranging the macroblocks encoded in units of MB groups in the encoding order.
  • the multiplexing unit 23 generates stream data each time the encoded data 32a and 32b are input.
  • the generated stream data is sequentially transmitted to the monitoring devices 4a and 4b as multiplexed compressed data 33.
  • the image encoding device 2 can start encoding of the uncompressed image data 31a and 31b if data corresponding to the MB group is input from the uncompressed image data 31a and 31b. Therefore, it is possible to reduce the delay that occurs with the encoding of the uncompressed image data 31a and 31b.
  • the encoding unit 22 and the multiplexing unit 23 process the encoded data 32a and 32b generated in units of frames or macroblocks. This is the same as the above except for the above points.
  • the monitoring devices 4a and 4b receive the multiplexed compressed data 33.
  • the monitoring devices 4a and 4b perform demultiplexing and decoding of the received multiplexed compressed data 33 to generate decoded data corresponding to the cameras 1a and 1b. Thereby, the images of the cameras 1a and 1b are displayed on the monitoring device 4a.
  • the monitoring device 4a controls the display timing of the decoded data corresponding to the cameras 1a and 1b so that the images of the cameras 1a and 1b are displayed in synchronization.
  • the details of the monitoring device 4a will be described by taking as an example a case where the monitoring device 4a displays the images taken by the cameras 1a and 1b in synchronization. Since the configuration and operation of the monitoring device 4b are the same as those of the monitoring device 4a, detailed description thereof is omitted.
  • FIG. 8 is a block diagram showing a functional configuration of the monitoring device 4a.
  • the monitoring device 4a includes a communication unit 41, a demultiplexing unit 42, a decoding unit 43, a display control unit 44, and a display unit 45.
  • the communication unit 41 receives the multiplexed compressed data 33 using wireless communication.
  • the demultiplexing unit 42 demultiplexes the multiplexed compressed data 33. That is, the demultiplexing unit 42 extracts the encoded data 32 a and 32 b corresponding to the cameras 1 a and 1 b and the group header 35 from the multiplexed compressed data 33.
  • the decoding unit 43 decodes the encoded data 32a and 32b to generate decoded data 36a and 36b.
  • the decoded data 36a corresponds to the decoded image of the macro block that forms the first MB group of the uncompressed image data 31a.
  • the decoded data 36b corresponds to the decoded image of the macro block that forms the second MB group of the uncompressed image data 31b.
  • the display control unit 44 controls the timing for displaying the decoded data 36 a and 36 b on the display unit 45 based on the group header 35 included in the multiplexed compressed data 33.
  • the communication unit 41 continuously receives the multiplexed compressed data 33.
  • the monitoring device 4a receives stream data Sa1, Sb1,... (See FIG. 7)
  • the monitoring device 4a extracts and decodes the encoded data 32a and 32b.
  • the encoded data 32a and 32b are alternately arranged in the order of generation. Therefore, the encoded data 32a and 32b are decoded in the order encoded by the image encoding device 2.
  • the frames of the uncompressed image data 31a and 31b generated by the cameras 1a and 1b are input to the image encoding device 2 in synchronization.
  • the monitoring devices 4a and 4b display the images of the cameras 1a and 1b in real time, it is necessary to display the decoded data 36a and 36b on the display unit 45 in synchronization.
  • the decoding unit 43 since the decoding unit 43 generates the decoded data 36a and 36b by alternately decoding the encoded data 32a and 32b, the timing at which the decoded data 36a can be displayed on the display unit 45 and the decoded data 36b are displayed. The timing that can be displayed on the unit 45 is different. Therefore, the display control unit 44 controls the timing of outputting the decoded data 36a and 36b from the decoding unit 43 so that the decoded data 36a and 36b are displayed on the display unit 45 in synchronization.
  • FIG. 9 is a diagram showing a period in which the encoded data 32a and 32b are decoded for each partition unit that generates the MB group.
  • MB groups in units of frames, units of MB lines, and units of one macroblock are shown in order from the top.
  • a thick solid line indicates a period during which the encoded data 32a and 32b are decoded.
  • some of the macroblock codes are omitted.
  • MB decoding time the time required for decoding the encoded data 32a and 32b. It is assumed that the MB decoding time is shorter than the time necessary for displaying the decoded image of one macroblock on the display unit 45 (MB display time).
  • Decoding of the encoded data 32b corresponding to the frame Fb is started from time T7.
  • the display control unit 44 instructs the decoding unit 43 to output the decoded data 36a and 36b. This is because, since the MB decoding time is shorter than the MB display time, the decoding of the encoded data 32b and the display of the decoded images of the macroblocks Mb1 to Mb23 are performed in parallel after the decoding of the macroblock Mb0 is completed. This is because it becomes possible to do this.
  • the synchronous display of the images of the cameras 1a and 1b starts from time T8.
  • the delay time generated when the multiplexed compressed data 33 is decoded is T8-T0 (milliseconds).
  • the MB lines La1 to La4 of the uncompressed image data 31a and the MB lines Lb1 to Lb4 of the uncompressed image data 31b are encoded in the order of the MB lines La1, Lb1, La2, Lb2,. (See FIG. 5). For this reason, the encoded data 32a corresponding to the MB line La1 is first decoded. Next, the encoded data 32b corresponding to the MB line Lb1 is decoded.
  • the encoded data 32a corresponding to the MB line La1 is decoded during the period from time T0 to T3. Since the MB lines La1 and Lb1 are displayed synchronously, the display control unit 44 does not instruct the decoding unit 43 to output the decoded data 36a corresponding to the MB line La1 at time T3.
  • Decoding of the encoded data 32b corresponding to the MB line Lb1 is started from time T3.
  • the display control unit 44 outputs the output of the decoded data 36a and 36b corresponding to the MB lines La1 and Lb1 to the decoding unit 43. Instruct.
  • the reason for this is the same as the reason for starting the display of the frames Fa and Fb at time T8.
  • Synchronous display of the images of the cameras 1a and 1b is started at time T4. Thereafter, synchronous display of other MB lines is executed in the same manner.
  • the delay time generated along with the decoding of the multiplexed compressed data 33 is T4-T0 (milliseconds).
  • the macroblocks Ma0, Ma1,... Of the uncompressed image data 31a and the macroblocks Mb0, Mb1,... Of the uncompressed image data 31b are encoded alternately (see FIG. 6). .
  • the encoded data 32a corresponding to the macroblock Ma0 is first decoded.
  • the encoded data 32b corresponding to the macroblock Mb0 is decoded.
  • the encoded data 32a corresponding to the macroblock Ma1 is decoded during the period of time T0 to T1. Since the macroblocks Ma0 and Mb0 are displayed synchronously, the display control unit 44 does not instruct the encoding unit 43 to output the decoded data 36a (macroblock Ma0) at the time T1.
  • Decoding of the encoded data 32b corresponding to the macroblock Mb0 starts from time T1.
  • the display control unit 44 instructs the decoding unit 43 to output the decoded data 36a and 36b corresponding to the macroblocks Ma0 and Mb0 at time T2 when the decoding of the macroblock Mb0 ends. Therefore, the synchronous display of the images of the cameras 1a and 1b is started at time T2. Thereafter, synchronous display of other macroblocks is executed in the same manner.
  • the delay time that accompanies the decoding of the multiplexed compressed data 33 is T2-T0 (milliseconds).
  • the time until the synchronous display starts becomes shorter. That is, by making the division unit fine, the delay time until the images of the cameras 1a and 1b are displayed on the display unit 45 can be shortened.
  • the division unit is set finely, the number of times of extracting the encoded data 32a and 32b from the multiplexed compressed data 33 increases.
  • the division unit is set finely, the overhead increases due to the demultiplexing process or the like, so the load on the monitoring device 4a increases.
  • the image encoding device 2 sets the division unit according to the characteristics of the uncompressed image data 31a and 31b.
  • the group generation unit 211 may detect the magnitude of motion of the uncompressed image data 31a and 31b, and change the division unit based on the detected magnitude of motion. If the uncompressed image data 31a and 31b are images with a large motion, the image encoding device 2 sets a macroblock as a unit of division with emphasis on real-time characteristics. If the uncompressed image data 31a and 31b are images with little movement, a frame is set as a segment unit in order to reduce the load on the monitoring device 4a.
  • an MB line may be set as a division unit.
  • the cameras 1a and 1b may output information specifying the division unit to the image encoding device 2 together with the uncompressed image data 31a and 31b.
  • the example in which the monitoring device 4a displays the images of both the cameras 1a and 1b has been described.
  • the monitoring devices 4a and 4b can display the images of the cameras 1a and 1b synchronously.
  • the monitoring device 4a starts displaying the MB line La1 from time T4.
  • the monitoring device 4b starts displaying the MB line Lb1 from time T4.
  • the monitoring devices 4a and 4b can decode the encoded data 32a and 32b to control the display timing of the decoded data. Therefore, it is not necessary to perform communication or the like between the monitoring devices 4a and 4b for synchronous display.
  • the monitoring device 4a may only decode the encoded data 32a corresponding to the camera 1a.
  • the monitoring device 4a may display the decoded data on the display unit 45 after the time when the decoding of the encoded data 32a ends and the time when the decoding of one macroblock ends.
  • FIG. 10 is a diagram showing a configuration of macroblocks of uncompressed image data 31a and 31b according to the present embodiment.
  • the configuration of the macroblock of the uncompressed image data 31a is the same as that in FIG.
  • the uncompressed image data 31b is composed of twelve macroblocks Mb0 to Mb12 of 4 horizontal x 3 vertical. That is, the number of macroblocks of the uncompressed image data 31a is twice (integer multiple) the number of macroblocks of the uncompressed image data 31b.
  • the MB group When an MB group is generated in units of MB lines, the MB group is generated according to the MB line of the uncompressed image data 31b having a small image size.
  • the number of macroblocks is four.
  • the solid line indicates a state in which the macro blocks of the uncompressed image data 31a and 31b are divided in units of MB lines. It can be seen that the MB group (first MB group) of the uncompressed image data 31a and the MB group (second MB group) of the uncompressed image data 31b are composed of four macroblocks.
  • the encoding order is determined so that the frames Fa and Fb are encoded alternately as in the above embodiment.
  • the encoding order determination unit 212 determines the encoding order based on the ratio of the number of macro blocks in the uncompressed image data 31a and 31b.
  • the encoding order will be described by taking as an example a case where MB groups are generated in units of macroblocks.
  • FIG. 11 is a diagram showing an encoding order when the MB groups of the uncompressed image data 31a and 31b shown in FIG. 10 are generated in units of macroblocks.
  • the encoding order determination unit 212 determines the encoding order such that the macro blocks Ma0, Ma1, Mb0, Ma2, Ma3, Mb1,. That is, after the two first MB groups are encoded, one second MB group is encoded.
  • the ratio of macroblocks between uncompressed image data 31a and uncompressed image data 31b is 2: 1 (see FIG. 10). For this reason, the encoding order determination unit 212 determines the encoding order so that the first MB group and the second MB group are encoded at a ratio of 2: 1. However, it is a condition that the second MB group of the uncompressed image data 31b having a small number of macroblocks is not continuously encoded.
  • the encoded data 32a corresponding to the macroblocks Ma0 and Ma1 is first decoded.
  • the encoded data 32b corresponding to the macroblock Mb0 is decoded.
  • the decoded macro blocks Ma0, Ma1, Mb0 are displayed on the display unit 45.
  • the ratio of macroblocks is not an integer multiple ⁇
  • the number of macroblocks of the uncompressed image data 31a may not be an integral multiple of the number of macroblocks of the uncompressed image data 31b.
  • FIG. 12 is a diagram showing the configuration of the macroblocks of the uncompressed image data 31a and 31b.
  • the configuration of the macroblock of the uncompressed image data 31a is the same as that shown in FIG.
  • the uncompressed image data 31b is composed of 15 macroblocks Mb0 to Mb14 having 5 horizontal rows and 3 vertical columns.
  • the number of macroblocks in the uncompressed image data 31a is not an integral multiple of the number of macroblocks in the uncompressed image data 31b.
  • FIG. 13 is a diagram showing an encoding order when the MB group of the uncompressed image data 31a and 31b shown in FIG. 12 is generated in units of macroblocks.
  • the encoding order is macroblocks Ma0, Ma1, Mb0, Ma2, Mb1, Ma3,. That is, the encoding order is determined so that MB groups of uncompressed image data 31b with a small number of macroblocks are not continuously encoded.
  • FIG. 14 is a diagram illustrating the timing at which the frames of the uncompressed image data 31a and 31b are input to the image encoding device 2.
  • the frame rate of the uncompressed image data 31a is 60 fps
  • the frame rate of the uncompressed image data 31b is 30 fps.
  • the frame Fa of the uncompressed image data 31a and the frame Fb of the uncompressed image data 31b are input to the image encoding device 2 in synchronization. Only the frame Fa is input to the image encoding device 2 at time 0.5Tf, 1.5Tf, and 2.5Tf.
  • the frame Fa synchronized with the frame Fb is referred to as a frame Fa0.
  • a frame Fa that is not synchronized with the frame Fb is referred to as a frame Fa1.
  • FIG. 15 is a diagram illustrating an example of an encoding order when the frame rates of the uncompressed image data 31a and 31b are different.
  • FIG. 15 shows an encoding order when MB groups are generated in units of MB lines.
  • the encoding order determination unit 212 determines the encoding order of MB lines so that the frames Fa0 and Fb input in synchronization are alternately encoded for each MB line. Specifically, the MB line La1 corresponding to the frame Fa0 is first encoded. Next, the MB line Lb1 corresponding to the frame Fb is encoded. Hereinafter, the MB lines of the frames Fa0 and Fb are encoded alternately.
  • the MB lines La1 to La4 of the frame Fa1 are encoded.
  • the frames Fa0 and Fb input to the image encoding device 2 in synchronization can be displayed in synchronization on the monitoring devices 4a and 4b.
  • the image transmission system 100 uses a monitor management device 6 instead of the monitoring devices 4a and 4b.
  • FIG. 16 is a block diagram showing a functional configuration of the monitor management device 6.
  • the monitor management device 6 and the monitors 61a and 61b are installed in a monitor room for remotely monitoring the ATM corner where the cameras 1a and 1b are installed.
  • the monitor management device 6 and the monitors 61a and 61b are connected by a video transmission cable.
  • the monitor management device 6 includes a communication unit 41, a demultiplexing unit 42, a decoding unit 43, and an output control unit 62.
  • the monitor management device 6 receives the multiplexed compressed data 33 and performs demultiplexing and decoding of the multiplexed compressed data 31. Demultiplexing and decoding of the multiplexed compressed data 33 are performed in the same manner as in the above embodiment.
  • the output control unit 62 outputs the decoded data 36a corresponding to the camera 1a to the monitor 61a, and outputs the decoded data 36b corresponding to the camera 1b to the monitor 61b.
  • the output control unit 42 controls the timing of outputting the decoded data 36a and 36b so that the images displayed on the cameras 1a and 1b are synchronized. In this way, by using the monitor management device 6, the images of the cameras 1a and 1b can be displayed in synchronization with a plurality of monitors.
  • the number of uncompressed image data input to the image encoding device 2 may be three or more.
  • an MB group is generated for each input uncompressed image data.
  • the image encoding device determines the encoding order so that the MB groups of the respective uncompressed image data are encoded in order.
  • uncompressed image data 31a and 31b with synchronized frames is input from the cameras 1a and 1b to the image encoding device 2 .
  • the image encoding device 2 may generate uncompressed image data 31a and 31b in which frames are synchronized inside the device itself.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　画像符号化装置（２）には、カメラ（１ａ，１ｂ）が生成した非圧縮画像データ（３１ａ，３１ｂ）が同期して入力される。画像符号化装置（２）は、非圧縮画像データ（３１ａ）のマクロブロックを区分単位に基づいてＭＢグループに区分する。同様に、非圧縮画像データ（３１ｂ）のマクロブロックが区分単位に基づいてＭＢグループに区分される。非圧縮画像データ（３１ａ，３１ｂ）のＭＢグループが交互に繰り返されるように、非圧縮画像データ（３１ａ，３１ｂ）のマクロブロックの符号化順序が決定される。画像符号化装置（２）は、非圧縮画像データ（３１ａ，３１ｂ）のマクロブロックを、符号化順序に基づいてＭＢグループごとに符号化する。符号化マクロブロックが符号化された順に配列されることにより、多重化圧縮データ（３３）が生成される。

Description

画像符号化装置及び画像伝送システム
　本発明は、複数の画像データを符号化して一つの圧縮画像データを出力する画像符号化装置、及びこの画像符号化装置を用いた画像伝送システムに関する。
　金融機関の店舗に設けられるＡＴＭ（ａｕｔｏｍａｔｅｄ　ｔｅｌｌｅｒ　ｍａｃｈｉｎｅ）コーナーなどを監視する際に、複数のカメラが設置されることがある。複数のカメラを用いて異なる角度から監視することにより、死角の発生を防ぐことができる。
　各カメラが生成した映像信号は、伝送路の帯域などが制限されているため、符号化された上で伝送される。各カメラの映像を同時に表示させて監視する必要があるため、各カメラに対応する複数の映像信号を多重化して伝送する必要がある。
　下記特許文献１には、各カメラから入力される複数のフレーム映像を１系統の圧縮データに変換する映像信号符号化装置が開示されている。
　特許文献１に係る映像信号符号化装置は、各カメラから入力されるフレーム映像から符号化しないフレーム映像を削除し、符号化対象のフレーム映像を抽出する。抽出されたフレーム映像は、カメラごとに配列される。配列されたフレーム映像は、ＧＯＰ（Ｇｒｏｕｐ　ｏｆ　Ｐｉｃｔｕｒｅｓ）単位で符号化される。これにより、各カメラから入力される複数のフレーム映像が、１系統の圧縮データに変換される。
特開２００５－１８４４１９号公報
　上記特許文献１では、各カメラの映像を記録媒体に長時間記録することを目的としており、各カメラの映像をリアルタイムに伝送することを想定していない。
　上述したように、上記特許文献１に係る映像信号符号化装置は、符号化対象のフレーム映像を抽出する。映像信号符号化装置は、ＧＯＰを生成できる数の符号化対象のフレーム映像を抽出するまで、圧縮データを生成することができない。この結果、フレーム映像が映像信号符号化装置に入力されてから圧縮データとして出力されるまでの時間（遅延）が長くなるため、各カメラの映像をリアルタイムに伝送することが困難である。
　本発明の画像符号化装置は、第１画像データと第画像データとを圧縮する。画像符号化装置は、設定された区分単位に基づいて、第１画像データの第１マクロブロックを区分して第１符号化グループを生成し、第２画像データの第２マクロブロックを区分して第２符号化グループを生成するグループ生成部と、第１符号化グループと第２符号化グループとが交互に繰り返されるように、第１マクロブロック及び第２マクロブロックを符号化する符号化順序を決定する符号化順序決定部と、符号化順序に基づいて、第１符号化グループごとに第１マクロブロックを符号化し、第２符号化グループごとに第２マクロブロックを符号化する符号化部と、符号化された第１マクロブロック及び第２マクロブロックを、符号化された順に配列して多重化圧縮データを生成する多重化部と、を備える。
　第１画像データのうち第１符号化グループに対応するデータと、第２画像データのうち第２符号化グループに対応するデータとが入力されていれば、第１画像データ及び第２画像データの符号化を開始できる。したがって、第１画像データ及び第２画像データの符号化に伴う遅延を短くすることができる。
　本発明の画像伝送システムは、第１画像データと第２画像データとを圧縮する画像符号化装置と、画像復号化装置と、を備える。画像符号化装置は、設定された区分単位に基づいて、第１画像データの第１マクロブロックを区分して第１符号化グループを生成し、第２画像データの第２マクロブロックを区分して第２符号化グループを生成するグループ生成部と、第１符号化グループと第２符号化グループとが交互に繰り返されるように、第１マクロブロック及び第２マクロブロックを符号化する符号化順序を決定する符号化順序決定部と、符号化順序に基づいて、第１符号化グループごとに第１マクロブロックを符号化し、第２符号化グループごとに第２マクロブロックを符号化する符号化部と、符号化された第１マクロブロック及び第２マクロブロックを、符号化された順に配列して多重化圧縮データを生成する多重化部と、多重化圧縮データを画像復号化装置に送信する送信部と、を備える。画像復号化装置は、多重化圧縮データを受信する受信部と、符号化された第１マクロブロックを、受信した多重化圧縮データの先頭から順に抽出する逆多重化部と、符号化された第１マクロブロックを抽出された順に復号化する復号化部と、第１マクロブロックの復号化画像データと、第２マクロブロックの復号化画像データとを表示可能となったタイミングに、第１マクロブロックの復号化画像データを第１表示装置に出力する出力制御部と、を備える。
　本発明に係る画像伝送システムにおいて、画像復号化装置は、第１符号化グループの符号化された第１マクロブロックを全て受信することなく復号化を開始するため、復号化に伴う遅延を短縮することができる。画像復号化装置は、第１マクロブロック及び第２マクロブロックの両方の復号化画像データを表示可能となったときに、第１マクロブロックの復号画像データを表示装置に出力する。これにより、第１画像データ及び第２画像データを同期表示することが可能となる。
　それゆえにこの発明の目的は、上記問題点に鑑み、複数の画像データから圧縮データを生成する際に生じる遅延を小さくすることができる技術を提供することである。
　この発明の目的、特徴、局面、および利点は、以下の詳細な説明と添付図面によって明白となる。
本発明の第１の実施の形態に係る画像伝送システムの構成を示す図である。 図１に示す画像符号化装置の機能的構成を示すブロック図である。 画像符号化装置に入力される非圧縮画像データのマクロブロックの構成を示す図である。 マクロブロックグループの符号化順序を示す図である。 マクロブロックグループの符号化順序を示す図である。 マクロブロックグループの符号化順序を示す図である。 多重化圧縮データの構成を模式的に示す図である。 監視装置の機能的構成を示すブロック図である。 符号化データの復号化に要する時間をマクロブロックの区分単位ごとに示す図である。 本発明の第２の実施の形態に係る非圧縮画像データのマクロブロックの構成を示す図である。 マクロブロックグループの符号化順序を示す図である。 本発明の第２の実施の形態における非圧縮画像データのマクロブロックの構成の変形例を示す図である。 マクロブロックグループの符号化順序を示す図である。 本発明の第３の実施の形態において非圧縮画像データが画像符号化装置に入力されるタイミングを示す図である。 マクロブロックグループの符号化順序を示す図である。 本発明の第４の実施の形態に係るモニタ管理装置の機能的構成を示すブロック図である。
　以下、図面を参照しつつ本発明の実施の形態について説明する。
［第１の実施の形態］
｛１．画像伝送システムの全体構成｝
　図１は、本発明の実施の形態に係る画像伝送システムの構成を示す図である。図１に示す画像伝送システム１００は、カメラ１ａ，１ｂと、画像符号化装置２と、監視装置４ａ，４ｂとを備える。画像伝送システム１００は、金融機関の店舗に設けられたＡＴＭコーナーをリアルタイムに監視するシステムである。
　カメラ１ａ，１ｂは、ＡＴＭコーナーを異なる角度から撮影できるように取り付けられる。カメラ１ａ，１ｂは、ＡＴＭコーナーの様子を撮影して、非圧縮画像データ３１ａ，３１ｂを生成する。画像符号化装置２は、カメラ１ａ，１ｂとともに、ＡＴＭコーナーに設置される。画像符号化装置２には、非圧縮画像データ３１ａ，３１ｂのフレームが同期して入力される。画像符号化装置２は、非圧縮画像データ３１ａ，３１ｂの符号化及び多重化を行って、多重化圧縮データ３３を生成する。多重化圧縮データ３３は、無線通信網などを介して、ＡＴＭコーナーを監視するモニタ室へ送信される。
　監視装置４ａ，４ｂは、モニタ室に設置され、多重化圧縮データ３３を受信する。監視装置４ａ，４ｂは、多重化圧縮データ３３に対して逆多重化及び復号化処理を行って、カメラ１ａ，１ｂに対応する映像を表示する。カメラ１ａ，１ｂは、同じ場所（ＡＴＭコーナー）を異なる角度から撮影している。このため、カメラ１ａ，１ｂの映像を表示するタイミングがずれないように、監視装置４ａ，４ｂは、カメラ１ａ，１ｂの映像を同期して表示させる。モニタ室に常駐する監視員は、監視装置４ａ，４ｂに表示される映像をモニタして、ＡＴＭコーナーを監視する。
　本実施の形態では、カメラ１ａ，１ｂの両者の映像を監視装置４ａのモニタに表示させる例を中心に説明する。カメラ１ａの映像を監視装置４ａに表示させ、カメラ１ｂの映像を監視装置４ｂに表示させる例については、後述する。
　画像符号化装置２は、非圧縮画像データ３１ａのマクロブロックを設定された区分単位に基づいて区分して、一つ以上のマクロブロックで構成されるマクロブロックグループ（以下、「ＭＢグループ」と呼ぶ。）を生成する。画像符号化装置２は、区分単位に基づいて非圧縮画像データ３１ｂのマクロブロックを区分して、ＭＢグループを生成する。画像符号化装置２は、非圧縮画像データ３１ａ，３１ｂのＭＢグループを符号化する符号化順序を決定する。画像符号化装置２は、符号化順序に従って、非圧縮画像データ３１ａ，３１ｂのマクロブロックをＭＢグループごとに符号化する。符号化されたマクロブロックがＭＢグループごとに配列されることにより、多重化圧縮データ３３が生成される。
　画像符号化装置２は、非圧縮画像データ３１ａ，３１ｂのうち、ＭＢグループに対応する画像が入力されれば、非圧縮画像データ３１ａ，３１ｂの符号化を開始することができる。非圧縮画像データ３１ａ，３１ｂの符号化が開始されるまでの時間が短縮されるため、監視装置４ａ、４ｂにカメラ１ａ，１ｂの映像が表示されるまでの遅延を短縮することができる。
｛２．画像符号化装置２の詳細｝
　以下、画像符号化装置２の構成及び動作について詳しく説明する。
｛２．１．画像符号化装置２の構成｝
　図２は、画像符号化装置２の機能的構成を示すブロック図である。図２に示すように、画像符号化装置２は、符号化制御部２１と、符号化部２２と、多重化部２３と、通信部２４とを備える。
　符号化制御部２１は、非圧縮画像データ３１ａ，３１ｂのマクロブロックを符号化する順序を決定する。符号化制御部２１は、グループ生成部２１１と、符号化順序決定部２１２とを備える。
　グループ生成部２１１は、非圧縮画像データ３１ａ，３１ｂのマクロブロックを、設定された区分単位に基づいて区分して、ＭＢグループを生成する。
　符号化順序決定部２１２は、非圧縮画像データ３１ａ，３１ｂの各マクロブロックを符号化する符号化順序を、ＭＢグループごとに決定する。このとき、非圧縮画像データ３１ａのＭＢグループ（第１ＭＢグループ）と、非圧縮画像データ３１ｂのＭＢグループ（第２ＭＢグループ）とが、交互に繰り返されるように符号化順序が決定される。
　符号化部２２は、非圧縮画像データ３１ａ，３１ｂを、決定された符号化順序に基づいてＭＢグループごとに符号化する。非圧縮画像データ３１ａ，３１ｂの符号化には、例えば、Ｈ．２６４あるいはＭＰＥＧ２などの符号化方式が用いられる。
　多重化部２３は、符号化された非圧縮画像データ３１ａ，３１ｂのマクロブロックを符号化された順に配列することにより、多重化圧縮データ３３を生成する。
　通信部２４は、多重化圧縮データ３３に対して誤り訂正信号の付加、及びデジタル変調などを行う。通信部２４は、デジタル変調された多重化圧縮データ３３を、無線通信を利用して監視装置４ａ，４ｂに送信する。
｛２．２．グループ生成部２１１の処理｝
　グループ生成部２１１の処理について説明する。図３は、非圧縮画像データ３１ａ，３１ｂのマクロブロックの構成を示す図である。図３に示すように、非圧縮画像データ３１ａ，３１ｂが、２４個のマクロブロックで構成されている。非圧縮画像データ３１ａ，３１ｂのフレームレートは、同一であるとする。
　非圧縮画像データ３１ａ，３１ｂは、横６個×縦４個のマクロブロックで構成されている。非圧縮画像データ３１ａのマクロブロックには、左上から右下に向かってＭａ０～Ｍａ２３の番号が付与されている。非圧縮画像データ３１ｂのマクロブロックには、左上から右下に向かってＭｂ０～Ｍｂ２３の番号が付与されている。
　グループ生成部２１１には、非圧縮画像データ３１ａ，３１ｂのマクロブロックの区分に用いられる区分単位が設定されている。非圧縮画像データ３１ａ，３１ｂのマクロブロックが区分単位に基づいて区分されることにより、ＭＢグループが生成される。
　区分単位として、フレーム、マクロブロックライン、及びマクロブロックのいずれかを設定することができる。マクロブロックライン（以下、「ＭＢライン」と呼ぶ。）は、非圧縮画像データ３１ａ，３１ｂの横方向に一列に並ぶ複数のマクロブロックにより構成される。後述するように、区分単位は、フレーム、ＭＢライン、及びマクロブロックに限定されない。
　区分単位としてフレームが設定されていた場合、非圧縮画像データ３１ａのマクロブロックＭａ０～Ｍａ２３が、第１ＭＢグループとして区分される。非圧縮画像データ３１ｂのマクロブロックＭｂ０～Ｍｂ２３が、第２ＭＢグループとして区分される。
　区分単位としてＭＢラインが設定されていた場合、マクロブロックＭａ０～Ｍａ２３は、第１ＭＢグループとしてＭＢラインＬａ１，Ｌａ２，Ｌａ３，Ｌａ４のいずれかに区分される。マクロブロックＭｂ０～Ｍｂ２３は、第２ＭＢグループとしてＭＢラインＬｂ１，Ｌｂ２，Ｌｂ３，Ｌｂ４のいずれかに区分される。
　区分単位としてマクロブロックが設定されていた場合、マクロブロックＭａ０～Ｍａ２３のそれぞれが第１ＭＢグループとして区分される。マクロブロックＭｂ０～Ｍｂ２３のそれぞれが第２ＭＢグループとして区分される。
　区分単位は、一つ以上のマクロブロックによりＭＢグループが構成されるように設定されていればよい。たとえば、区分単位として４個のマクロブロックが設定されている場合、非圧縮画像データ３１ａのマクロブロックＭａ０～Ｍａ３，Ｍａ４～Ｍａ７などが、第１ＭＢグループとして区分される。
｛２．３．符号化順序決定部２１２の処理｝
　符号化順序決定部２１２の処理について説明する。上述したように、符号化順序決定部２１２は、マクロブロックの符号化順序を決定する。
　非圧縮画像データ３１ａ，３１ｂのフレームは、同期がとれた状態で画像符号化装置２に入力される。同期して入力された非圧縮画像データ３１ａ，３１ｂのフレームが、決定された符号化順序に従ってＭＢグループごとに符号化される。
　以下、第１ＭＢグループ及び第２ＭＢグループが、フレーム単位、ＭＢライン単位及びマクロブロック単位で生成された場合における、ＭＢグループの符号化順序について説明する。
　図４は、フレーム単位でＭＢグループが生成された場合における符号化順序を示す図である。この場合、非圧縮画像データ３１ａのマクロブロックＭａ０～Ｍａ２３が第１ＭＢグループとして区分される。非圧縮画像データ３１ｂのマクロブロックＭｂ０～Ｍｂ２３が第２ＭＢグループとして区分される。
　符号化順序決定部２１２は、マクロブロックＭａ０～Ｍａ２３（第１ＭＢグループ）を最初に符号化した後に、マクロブロックＭｂ０～Ｍｂ２３（第２ＭＢグループ）を符号化するように符号化順序を決定する。つまり、同期して入力された非圧縮画像データ３１ａのフレームＦａと、非圧縮画像データ３１ｂのフレームＦｂとが交互に符号化される。
　図５は、ＭＢライン単位でＭＢグループが生成された場合における符号化順序を示す図である。この場合、符号化順序決定部２１２は、ＭＢラインＬａ１，Ｌｂ１，Ｌａ２，Ｌｂ２，・・・，Ｌａ４，Ｌｂ４の順に符号化されるように、符号化順序を決定する。つまり、非圧縮画像データ３１ａのＭＢラインと非圧縮画像データ３１ｂのＭＢラインとが交互に符号化されるように、符号化順序が決定される。
　図６は、マクロブロック単位でＭＢグループが生成された場合における符号化順序を示す図である。この場合、符号化順序決定部２１２は、マクロブロックＭａ０，Ｍｂ０，Ｍａ１，Ｍｂ１，Ｍａ２，Ｍｂ２，・・・，Ｍｂ２２，Ｍａ２３，Ｍｂ２３の順に符号化されるように、符号化順序を決定する。つまり、非圧縮画像データ３１ａのマクロブロックと非圧縮画像データ３１ｂのマクロブロックとが交互に符号化されるように、符号化順序が決定される。
　このように、符号化順序決定部２１２は、第１ＭＢグループ及び第２ＭＢグループが交互に符号化されるように、ＭＢグループの符号化順序を決定する。
｛２．４．符号化部２２及び多重化部２３の処理｝
　符号化部２２及び多重化部２３の処理について詳しく説明する。以下、ＭＢライン単位でＭＢグループが生成された場合を例にして、図５を参照しながら説明する。
　符号化制御部２１は、ＭＢグループ情報５１及び順序情報５２を符号化部２２に出力する。ＭＢグループ情報５１は、第１ＭＢグループ及び第２ＭＢグループを構成するマクロブロックを特定する情報である。順序情報５２は、第１ＭＢグループ及び第２ＭＢグループの符号化順序を示す情報である。
　符号化部２２は、順序情報５２に基づいて、最初に符号化するＭＢラインＬａ１を特定する。符号化部２２は、ＭＢラインＬａ１を構成するマクロブロックＭａ０～Ｍａ５をＭＢグループ情報５１に基づいて特定して符号化する。符号化されたマクロブロックＭａ０～Ｍａ５は、非圧縮画像データ３１ａの符号化データ３２ａとして多重化部２３へ出力される。
　符号化部２２は、順序情報５２に基づいて、ＭＢラインＬａ１の次に符号化するＭＢラインＬｂ１を特定する。符号化部２２は、ＭＢラインＬｂ１を構成するマクロブロックＭｂ０～Ｍｂ５をＭＢグループ情報５１に基づいて特定して符号化する。符号化されたマクロブロックＭｂ０～Ｍｂ５は、非圧縮画像データ３１ｂの符号化データ３２ｂとして多重化部２３へ出力される。以下、図５に示す順序に従って、ＭＢラインＬａ２，Ｌｂ２，Ｌｂ３・・・を構成するマクロブロックが符号化される。
　多重化部２３は、ＭＢグループ情報５１を入力する。ＭＢラインＬａ１に対応する符号化データ３２ａが、多重化部２３に最初に入力される。次に、ＭＢラインＬｂ１に対応する符号化データ３２ｂが、多重化部２３に入力される。多重化部２３は、入力された順に符号化データ３２ａ，３２ｂを配列して、多重化圧縮データ３３を生成する。
　図７は、多重化圧縮データ３３の構成を示す模式図である。多重化圧縮データ３３は、ストリームヘッダ３４と、ストリームデータＳａ１，Ｓｂ１，Ｓａ２，・・・とを備える。ストリームヘッダ３４は、多重化圧縮データ３３の再生時に使用する制御情報などを含む。
　ストリームデータＳａ１，Ｓｂ１，Ｓａ２，・・・は、ＭＢラインＬａ１，Ｌｂ１，Ｌａ２，・・・に対応する。ストリームデータＳａ１において、符号化データ３２ａは、ＭＢラインＬａ１のマクロブロックＭａ０～Ｍａ５が符号化されたデータである。ストリームデータＳａ１のグループヘッダ３５は、ＭＢグループ情報５１に基づいて生成され、非圧縮画像データ３１ａの識別情報と、ＭＢラインＬａ１を特定する情報とを含む。
　ストリームデータＳｂ１において、符号化データ３２ｂは、ＭＢラインＬｂ１のマクロブロックＭｂ０～Ｍｂ５が符号化されたデータである。グループヘッダ３５は、非圧縮画像データ３１ｂの識別情報と、ＭＢラインＬｂ１を特定する情報とを含む。
　このように、ＭＢグループ単位で符号化されたマクロブロックが符号化順に配列されることにより、多重化圧縮データ３３が生成される。多重化部２３は、符号化データ３２ａ，３２ｂが入力されるたびにストリームデータを生成する。生成されたストリームデータは、多重化圧縮データ３３として監視装置４ａ，４ｂへ順次送信される。画像符号化装置２は、非圧縮画像データ３１ａ，３１ｂのうちＭＢグループに対応するデータが入力されていれば、非圧縮画像データ３１ａ，３１ｂの符号化を開始することができる。したがって、非圧縮画像データ３１ａ，３１ｂの符号化に伴って発生する遅延を短縮することができる。
　ＭＢグループがフレーム単位で構成された場合、及びマクロブロック単位で構成された場合における符号化部２２及び多重化部２３の処理は、符号化データ３２ａ，３２ｂがフレーム単位またはマクロブロック単位で生成される点を除いて上記と同様である。
｛３．監視装置４ａの詳細｝
　監視装置４ａ，４ｂは、多重化圧縮データ３３を受信する。監視装置４ａ，４ｂは、受信した多重化圧縮データ３３の逆多重化及び復号化を行って、カメラ１ａ，１ｂに対応する復号化データを生成する。これにより、カメラ１ａ，１ｂの映像が、監視装置４ａに表示される。監視装置４ａは、カメラ１ａ，１ｂの映像が同期して表示されるように、カメラ１ａ，１ｂに対応する復号化データの表示タイミングを制御する。
　上述したように、監視装置４ａがカメラ１ａ，１ｂが撮影した映像を同期して表示するケースを例として、監視装置４ａの詳細を説明する。監視装置４ｂの構成及び動作は、監視装置４ａと同様であるため、その詳細な説明を省略する。
｛３．１．監視装置４ａの構成｝
　図８は、監視装置４ａの機能的構成を示すブロック図である。監視装置４ａは、通信部４１と、逆多重化部４２と、復号化部４３と、表示制御部４４と、表示部４５とを備える。
　通信部４１は、無線通信を利用して、多重化圧縮データ３３を受信する。逆多重化部４２は、多重化圧縮データ３３を逆多重化する。すなわち、逆多重化部４２は、多重化圧縮データ３３から、カメラ１ａ，１ｂに対応する符号化データ３２ａ，３２ｂと、グループヘッダ３５とを抽出する。
　復号化部４３は、符号化データ３２ａ，３２ｂを復号化して復号化データ３６ａ，３６ｂを生成する。復号化データ３６ａは、非圧縮画像データ３１ａの第１ＭＢグループを構成するマクロブロックの復号画像に対応する。復号化データ３６ｂは、非圧縮画像データ３１ｂの第２ＭＢグループを構成するマクロブロックの復号画像に対応する。
　表示制御部４４は、多重化圧縮データ３３に含まれるグループヘッダ３５に基づいて、復号化データ３６ａ、３６ｂを表示部４５に表示するタイミングを制御する。
｛３．２．表示タイミングの制御｝
　監視装置４ａにおいて、復号化部４３の数は一つであるため、符号化データ３２ａ，３２ｂは、同時に復号化されない。復号化部４３は、符号化データ３２ａ、３２ｂを交互に符号化する。
　具体的には、通信部４１は、多重化圧縮データ３３を継続的に受信している。監視装置４ａは、ストリームデータＳａ１，Ｓｂ１，・・・（図７参照）を受信するたびに、符号化データ３２ａ，３２ｂを抽出して復号化する。図７に示すように、多重化圧縮データ３３において、符号化データ３２ａ，３２ｂは、生成された順に交互に配列されている。したがって、符号化データ３２ａ，３２ｂは、画像符号化装置２により符号化された順に復号化される。
　上述したように、カメラ１ａ，１ｂが生成した非圧縮画像データ３１ａ，３１ｂのフレームは、同期して画像符号化装置２に入力される。監視装置４ａ，４ｂでカメラ１ａ，１ｂの映像をリアルタイムに表示する場合、復号化データ３６ａ，３６ｂを同期して表示部４５に表示する必要がある。
　しかし、復号化部４３が符号化データ３２ａ，３２ｂを交互に復号化して復号化データ３６ａ，３６ｂを生成するため、復号化データ３６ａを表示部４５に表示できるタイミングと、復号化データ３６ｂを表示部４５に表示できるタイミングとが異なる。このため、表示制御部４４は、復号化データ３６ａ，３６ｂが同期して表示部４５に表示されるように、復号化データ３６ａ，３６ｂを復号化部４３から出力するタイミングを制御する。
　以下、復号化データ３６ａ，３６ｂの表示タイミングを、図９を用いて、ＭＢグループの区分単位ごとに詳しく説明する。
　図９は、符号化データ３２ａ，３２ｂが復号化される期間を、ＭＢグループを生成した区分単位ごとに示した図である。図９において、上から順に、フレーム単位、ＭＢライン単位、及び一つのマクロブロック単位のＭＢグループを示している。太い実線は、符号化データ３２ａ，３２ｂが復号化される期間を示す。図９において、マクロブロックの符号の表示を一部省略している。
　符号化データ３２ａ，３２ｂの復号化に要する時間（ＭＢ復号化時間）は、全てのマクロブロックで同じであると仮定する。ＭＢ復号化時間は、１マクロブロックの復号画像を表示部４５に表示するために必要な時間（ＭＢ表示時間）よりも短いと仮定する。
（フレーム単位でＭＢグループが生成された場合）
　フレーム単位でＭＢグループが生成された場合、非圧縮画像データ３１ａのフレームＦａ、非圧縮画像データ３１ｂのフレームＦｂの順に符号化される（図４参照）。このため、フレームＦａに対応する符号化データ３２ａは、時刻Ｔ０～Ｔ７の期間に最初に復号化される。符号化データ３２ａの復号化が終了した時刻Ｔ７の時点で、表示制御部４４は、フレームＦａに対応する復号化データ３６ａの出力を復号化部４３に指示しない。これは、フレームＦａ，Ｆｂを同期して監視装置４ａの表示部４５に表示させるためである。
　フレームＦｂに対応する符号化データ３２ｂの復号化は、時刻Ｔ７から開始される。フレームＦｂの先頭マクロブロック（マクロブロックＭｂ０）の復号化が終了する時刻Ｔ８において、表示制御部４４は、復号化データ３６ａ，３６ｂの出力を復号化部４３に指示する。この理由は、ＭＢ復号化時間がＭＢ表示時間よりも短いため、マクロブロックＭｂ０の復号化が終了した後に、符号化データ３２ｂの復号化と、マクロブロックＭｂ１～Ｍｂ２３の復号画像の表示とを並行して行うことが可能となるためである。
　したがって、カメラ１ａ，１ｂの映像の同期表示は、時刻Ｔ８から開始される。フレーム単位でＭＢグループが生成された場合、多重化圧縮データ３３の復号化に伴って発生する遅延時間は、Ｔ８－Ｔ０（ミリ秒）となる。
（ＭＢライン単位でＭＢグループが生成された場合）
　上述したように、非圧縮画像データ３１ａのＭＢラインＬａ１～Ｌａ４と、非圧縮画像データ３１ｂのＭＢラインＬｂ１～Ｌｂ４は、ＭＢラインＬａ１，Ｌｂ１，Ｌａ２，Ｌｂ２，・・・の順に符号化される（図５参照）。このため、ＭＢラインＬａ１に対応する符号化データ３２ａが最初に復号化される。次に、ＭＢラインＬｂ１に対応する符号化データ３２ｂが復号化される。
　図９に示すように、ＭＢラインＬａ１に対応する符号化データ３２ａは、時刻Ｔ０～Ｔ３の期間に復号化される。ＭＢラインＬａ１，Ｌｂ１を同期表示するため、表示制御部４４は、時刻Ｔ３の時点で、ＭＢラインＬａ１に対応する復号化データ３６ａの出力を復号化部４３に指示しない。
　ＭＢラインＬｂ１に対応する符号化データ３２ｂの復号化は、時刻Ｔ３から開始される。ＭＢラインＬｂ１の先頭マクロブロック（マクロブロックＭｂ０）の復号化が終了する時刻Ｔ４に、表示制御部４４は、ＭＢラインＬａ１，Ｌｂ１に対応する復号化データ３６ａ，３６ｂの出力を復号化部４３に指示する。この理由は、時刻Ｔ８にフレームＦａ，Ｆｂの表示を開始する理由と同じである。カメラ１ａ，１ｂの映像の同期表示は、時刻Ｔ４に開始される。以下、他のＭＢラインの同期表示が、同様に実行される。ＭＢライン単位でＭＢグループが生成された場合、多重化圧縮データ３３の復号化に伴って発生する遅延時間は、Ｔ４－Ｔ０（ミリ秒）となる。
（マクロブロック単位でＭＢグループが構成された場合）
　上述したように、非圧縮画像データ３１ａのマクロブロックＭａ０，Ｍａ１，・・・と、非圧縮画像データ３１ｂのマクロブロックＭｂ０，Ｍｂ１，・・・とが交互に符号化される（図６参照）。このため、マクロブロックＭａ０に対応する符号化データ３２ａが最初に復号化される。次に、マクロブロックＭｂ０に対応する符号化データ３２ｂが復号化される。
　図９に示すように、マクロブロックＭａ１に対応する符号化データ３２ａは、時刻Ｔ０～Ｔ１の期間に復号化される。マクロブロックＭａ０，Ｍｂ０を同期表示するため、表示制御部４４は、時刻Ｔ１の時点で、復号化データ３６ａ（マクロブロックＭａ０）の出力を符号化部４３に指示しない。
　マクロブロックＭｂ０に対応する符号化データ３２ｂの復号化は、時刻Ｔ１から開始される。表示制御部４４は、マクロブロックＭｂ０の復号化が終了する時刻Ｔ２に、マクロブロックＭａ０，Ｍｂ０に対応する復号化データ３６ａ，３６ｂの出力を復号化部４３に指示する。したがって、カメラ１ａ，１ｂの映像の同期表示は、時刻Ｔ２に開始される。以下、他のマクロブロックの同期表示が、同様に実行される。この結果、多重化圧縮データ３３の復号化に伴って発生する遅延時間は、Ｔ２－Ｔ０（ミリ秒）となる。
　図９に示すように、ＭＢグループの区分単位が細かくなるにつれて、同期表示が開始されるまでの時間が短くなる。つまり、区分単位を細かくすることにより、カメラ１ａ，１ｂの映像が表示部４５に表示されるまでの遅延時間を短くすることができる。区分単位を細かく設定した場合、多重化圧縮データ３３から符号化データ３２ａ，３２ｂを抽出する回数が増加する。このように、区分単位を細かく設定した場合、逆多重化処理などでオーバーヘッドが増加するため、監視装置４ａの負荷が増加する。
　このため、画像符号化装置２は、非圧縮画像データ３１ａ，３１ｂの特性に応じて区分単位を設定することが望ましい。グループ生成部２１１が、非圧縮画像データ３１ａ，３１ｂの動きの大きさを検出し、検出した動きの大きさに基づいて区分単位を変更してもよい。非圧縮画像データ３１ａ，３１ｂが動きの大きい画像であれば、画像符号化装置２は、リアルタイム性を重視して、区分単位としてマクロブロックを設定する。非圧縮画像データ３１ａ，３１ｂが動きの少ない画像であれば、監視装置４ａの負荷を小さくするために、区分単位としてフレームを設定する。非圧縮画像データ３１ａ，３１ｂの動きが中間程度であれば、区分単位としてＭＢラインを設定すればよい。また、カメラ１ａ，１ｂが非圧縮画像データ３１ａ，３１ｂとともに、区分単位を指定する情報を画像符号化装置２に出力してもよい。
　本実施の形態では、監視装置４ａがカメラ１ａ，１ｂの両者の映像を表示する例を説明した。しかし、監視装置４ａにカメラ１ａの映像のみを表示させ、監視装置４ｂにカメラ１ｂの映像のみを表示させることも可能である。この場合であっても、上述の表示タイミングの制御が実行されることにより、監視装置４ａ，４ｂにおいて、カメラ１ａ，カメラ１ｂの映像を同期表示することが可能となる。
　たとえば、ＭＢライン単位で非圧縮画像データ３１ａ，３１ｂが符号化されていた場合、監視装置４ａは、時刻Ｔ４からＭＢラインＬａ１の表示を開始する。監視装置４ｂは、時刻Ｔ４からＭＢラインＬｂ１の表示を開始する。監視装置４ａ，４ｂが、符号化データ３２ａ，３２ｂの復号化をそれぞれ行うことにより、復号化データの表示タイミングを制御することができる。したがって、同期表示のために監視装置４ａ，４ｂの間で通信等を行わなくてもよい。
　監視装置４ａは、カメラ１ａの映像のみを表示する場合、カメラ１ａに対応する符号化データ３２ａの復号化のみを行ってもよい。監視装置４ａは、符号化データ３２ａの復号化が終了し、かつ１個のマクロブロックの復号化が終了した時間が経過した後に、復号化データを表示部４５に表示させればよい。
［第２の実施の形態］
　以下、本発明の第２の実施の形態について説明する。上記第１の実施の形態では、非圧縮画像データ３１ａ，３１ｂのマクロブロック数が同じであるときの処理を説明した。本実施の形態では、非圧縮画像データ３１ａ，３１ｂのフレームレートが同じであるが、マクロブロック数が異なる場合を説明する。以下、上記実施の形態と共通の点についてはその説明を省略する。
　図１０は、本実施の形態に係る非圧縮画像データ３１ａ，３１ｂのマクロブロックの構成を示す図である。非圧縮画像データ３１ａのマクロブロックの構成は、図３と同様である。非圧縮画像データ３１ｂは、横４個×縦３個の１２個のマクロブロックＭｂ０～Ｍｂ１２で構成されている。つまり、非圧縮画像データ３１ａのマクロブロック数が、非圧縮画像データ３１ｂのマクロブロック数の２倍（整数倍）となっている。
｛ＭＢグループの構成｝
　フレーム単位及びマクロブロック単位でＭＢグループが生成される場合、ＭＢグループの生成処理は、上記第１の実施の形態と同様である。
　ＭＢライン単位でＭＢグループが生成される場合、ＭＢグループは、画像サイズが小さい非圧縮画像データ３１ｂのＭＢラインに合わせて生成される。非圧縮画像データ３１ｂのＭＢラインにおいて、マクロブロックの数は４個である。図１０において、実線は、非圧縮画像データ３１ａ，３１ｂのマクロブロックがＭＢライン単位で区分された状態を示す。非圧縮画像データ３１ａのＭＢグループ（第１ＭＢグループ）と、非圧縮画像データ３１ｂのＭＢグループ（第２ＭＢグループ）とは、４個のマクロブロックにより構成されていることがわかる。
｛ＭＢグループの符号化順序の決定｝
　図１０に示す非圧縮画像データ３１ａ，３１ｂのＭＢグループの符号化順序について、区分単位ごとに説明する。
　ＭＢグループがフレーム単位で生成された場合、上記実施の形態と同様に、フレームＦａ，Ｆｂが交互に符号化されるように符号化順序が決定される。
　ＭＢグループがマクロブロック単位またはＭＢライン単位で生成された場合、符号化順序決定部２１２は、非圧縮画像データ３１ａ，３１ｂのマクロブロック数の比率に基づいて、符号化順序を決定する。以下、ＭＢグループがマクロブロック単位で生成されたケースを例にして符号化順序について説明する。
　図１１は、図１０に示す非圧縮画像データ３１ａ，３１ｂのＭＢグループをマクロブロック単位で生成した場合における符号化順序を示す図である。図１１に示すように、符号化順序決定部２１２は、マクロブロックＭａ０，Ｍａ１，Ｍｂ０，Ｍａ２，Ｍａ３，Ｍｂ１，・・・の順に符号化されるように、符号化順序を決定する。つまり、２個の第１ＭＢグループが符号化された後に、１個の第２ＭＢグループが符号化される。
　非圧縮画像データ３１ａと非圧縮画像データ３１ｂとのマクロブロックの比率が２：１である（図１０参照）。このため、符号化順序決定部２１２は、第１ＭＢグループと第２ＭＢグループとが２：１の比率で符号化されるように、符号化順序を決定する。ただし、マクロブロック数の少ない非圧縮画像データ３１ｂの第２ＭＢグループは、連続して符号化されないことが条件となる。
　監視装置４ａでは、マクロブロックＭａ０，Ｍａ１に対応する符号化データ３２ａが最初に復号化される。次に、マクロブロックＭｂ０に対応する符号化データ３２ｂが復号化される。マクロブロックＭｂ０（第２ＭＢグループの先頭マクロブロック）の復号化が終了したときに、復号化されたマクロブロックＭａ０，Ｍａ１，Ｍｂ０が表示部４５に表示される。これにより、監視装置４ａでカメラ１ａ，１ｂの映像を同期表示させる場合に、カメラ１ａ，１ｂの映像フレームの表示が開始される時間と、映像フレームの表示が完了する時間とを揃えることができる。
｛マクロブロックの比率が整数倍でない場合｝
　本実施の形態では、非圧縮画像データ３１ａのマクロブロック数が、非圧縮画像データ３１ｂのマクロブロック数の整数倍である場合を説明した。しかし、非圧縮画像データ３１ａのマクロブロック数が、非圧縮画像データ３１ｂのマクロブロック数の整数倍でなくてもよい。
　図１２は、非圧縮画像データ３１ａ，３１ｂのマクロブロックの構成を示す図である。非圧縮画像データ３１ａのマクロブロックの構成は、図３と同様である。非圧縮画像データ３１ｂは、横５個×縦３個の１５個のマクロブロックＭｂ０～Ｍｂ１４で構成されている。非圧縮画像データ３１ａのマクロブロックの数は、非圧縮画像データ３１ｂのマクロブロック数の整数倍となっていない。
　図１３は、図１２に示す非圧縮画像データ３１ａ，３１ｂのＭＢグループをマクロブロック単位で生成した場合における、符号化順序を示す図である。図１３に示すように、符号化順序は、マクロブロックＭａ０，Ｍａ１，Ｍｂ０，Ｍａ２，Ｍｂ１，Ｍａ３，・・・の順となっている。つまり、マクロブロック数の少ない非圧縮画像データ３１ｂのＭＢグループが連続して符号化されることのないように、符号化順序が決定される。
［第３の実施の形態］
　以下、本発明の第３の実施の形態について説明する。上記第１の実施の形態では、非圧縮画像データ３１ａ，３１ｂのフレームレートが同じであるケースを説明した。本実施の形態では、非圧縮画像データ３１ａ，３１ｂのフレームレートが異なる場合における、ＭＢグループの符号化順序の決定について説明する。符号化順序の決定以外の処理については、上記実施の形態と同様である。
　図１４は、非圧縮画像データ３１ａ，３１ｂの各フレームが画像符号化装置２に入力されるタイミングを示す図である。非圧縮画像データ３１ａのフレームレートを６０ｆｐｓ、非圧縮画像データ３１ｂのフレームレートを３０ｆｐｓとする。
　図１４に示すように、時刻Ｔ０，Ｔｆ，２Ｔｆにおいて、非圧縮画像データ３１ａのフレームＦａと、非圧縮画像データ３１ｂのフレームＦｂとが同期して画像符号化装置２に入力される。時刻０．５Ｔｆ，１．５Ｔｆ，２．５Ｔｆに、フレームＦａのみが画像符号化装置２に入力される。ここで、フレームＦｂに同期しているフレームＦａを、フレームＦａ０とする。フレームＦｂと同期しないフレームＦａを、フレームＦａ１とする。
　図１５は、非圧縮画像データ３１ａ，３１ｂのフレームレートが異なる場合における、符号化順序の一例を示す図である。図１５は、ＭＢライン単位でＭＢグループが生成された場合における符号化順序を示している。
　まず、符号化順序決定部２１２は、同期して入力されたフレームＦａ０，ＦｂがＭＢラインごとに交互に符号化されるように、ＭＢラインの符号化順序を決定する。具体的には、フレームＦａ０に対応するＭＢラインＬａ１が最初に符号化される。次に、フレームＦｂに対応するＭＢラインＬｂ１が符号化される。以下、フレームＦａ０，ＦｂのＭＢラインが交互に符号化される。
　フレームＦｂのＭＢラインＭｂ４の符号化が終了した後に、フレームＦａ１のＭＢラインＬａ１～Ｌａ４が符号化される。この結果、同期して画像符号化装置２に入力されたフレームＦａ０，Ｆｂを、監視装置４ａ，４ｂで同期して表示させることができる。
［第４の実施の形態］
　以下、本発明の第４の実施の形態について説明する。本実施の形態において、画像伝送システム１００は、監視装置４ａ，４ｂに代えて、モニタ管理装置６を用いる。
　図１６は、モニタ管理装置６の機能的構成を示すブロック図である。モニタ管理装置６及びモニタ６１ａ，６１ｂは、カメラ１ａ，１ｂが設置されたＡＴＭコーナーを遠隔監視するモニタ室に設置される。モニタ管理装置６と、モニタ６１ａ，６１ｂとは、映像伝送用のケーブルで接続されている。
　モニタ管理装置６は、通信部４１と、逆多重化部４２と、復号化部４３と、出力制御部６２とを備える。モニタ管理装置６は、多重化圧縮データ３３を受信し、多重化圧縮データ３１の逆多重化及び復号化を行う。多重化圧縮データ３３の逆多重化及び復号化は、上記実施の形態と同様に行われる。
　出力制御部６２は、カメラ１ａに対応する復号化データ３６ａをモニタ６１ａに出力し、カメラ１ｂに対応する復号化データ３６ｂをモニタ６１ｂに出力する。このとき、出力制御部４２は、監視装置４ａ，４ｂと同様に、カメラ１ａ，１ｂに表示される映像が同期するように、復号化データ３６ａ，３６ｂを出力するタイミングを制御する。このように、モニタ管理装置６を用いることによって、カメラ１ａ，１ｂの映像を複数のモニタに同期して表示させることができる。
　上記実施の形態では、二つの画像データ（非圧縮画像データ３１ａ，３１ｂ）が画像符号化装置２に入力される例を説明した。しかし、画像符号化装置２に入力される非圧縮画像データの数は、三つ以上でもよい。この場合、入力された非圧縮画像データごとにＭＢグループが生成される。画像符号化装置は、各非圧縮画像データのＭＢグループが順番に符号化されるように符号化順序を決定する。
　上記実施の形態では、フレームが同期した非圧縮画像データ３１ａ，３１ｂがカメラ１ａ，１ｂから画像符号化装置２に入力される例を説明した。しかし、画像符号化装置２が、自装置の内部で、フレームが同期した非圧縮画像データ３１ａ，３１ｂを生成してもよい。
　この発明を添付図面に示す実施態様について説明したが、この発明は、その詳細な発明の記載をもって制約されるものではなく、請求の範囲に記載する範囲において広く構成される。
 

Claims (12)

  1. 　第１画像データと第２画像データとを圧縮する画像符号化装置（２）であって、
    　設定された区分単位に基づいて、前記第１画像データの第１マクロブロックを区分して第１符号化グループを生成し、前記第２画像データの第２マクロブロックを区分して第２符号化グループを生成するグループ生成部（２１１）と、
    　第１符号化グループと第２符号化グループとが交互に繰り返されるように、前記第１マクロブロック及び前記第２マクロブロックを符号化する符号化順序を決定する符号化順序決定部（２１２）と、
    　前記符号化順序に基づいて、第１符号化グループごとに前記第１マクロブロックを符号化し、前記第２符号化グループごとに前記第２マクロブロックを符号化する符号化部（２２）と、
    　符号化された前記第１マクロブロック及び前記第２マクロブロックを、符号化された順に配列して多重化圧縮データを生成する多重化部（２３）と、
    を備える。
  2. 　請求項１に記載の画像符号化装置（２）であって、
    　前記符号化順序決定部（２１１）は、前記第１マクロブロックの数が前記第２マクロブロックの数よりも多い場合、前記第１符号化グループが連続するように符号化順序を決定することを許可する。
  3. 　請求項２に記載の画像符号化装置（２）であって、
    　前記符号化順序決定部（２１１）は、前記第１マクロブロックの数と前記第２マクロブロックの数との比率に基づいて、前記符号化順序を決定する画像符号化装置。
  4. 　請求項１に記載の画像符号化装置（２）であって、
    　前記第１画像データと前記第２画像データとは、フレームレートが互いに異なり、
    　前記符号化順序決定部は、前記第１画像データの第１フレームと前記第２画像データの第２フレームとが同期して入力された場合、前記第１フレームに対応する第１符号化グループと前記第２フレームに対応する第２符号化グループとが交互に繰り返されるように、前記符号化順序を決定する。
  5. 　請求項１に記載の画像符号化装置（２）であって、
    　前記グループ生成部は、前記第１画像データの特性及び前記第２画像データの特性に応じて、前記区分単位を変更する。
  6. 　請求項１に記載の画像符号化装置（２）であって、
    　前記区分単位が、フレーム単位で前記グループ生成部に設定されている。
  7. 　請求項１に記載の画像符号化装置（２）において、
    　前記区分単位が、水平方向に一列に配列されたマクロブロックのライン単位で前記グループ生成部に設定されている。
  8. 　請求項１に記載の画像符号化装置（２）であって、
    　前記区分単位が、マクロブロック単位で前記グループ生成部に設定されている。
  9. 　画像伝送システムであって、
    　第１画像データと第２画像データとを圧縮する画像符号化装置（２）と、
    　画像復号化装置（４ａ，４ｂ，６）と、
    を備え、
    　前記画像符号化装置（２）は、
    　設定された区分単位に基づいて、前記第１画像データの第１マクロブロックを区分して第１符号化グループを生成し、前記第２画像データの第２マクロブロックを区分して第２符号化グループを生成するグループ生成部（２１１）と、
    　第１符号化グループと第２符号化グループとが交互に繰り返されるように、前記第１マクロブロック及び前記第２マクロブロックを符号化する符号化順序を決定する符号化順序決定部（２１２）と、
    　前記符号化順序に基づいて、第１符号化グループごとに前記第１マクロブロックを符号化し、前記第２符号化グループごとに前記第２マクロブロックを符号化する符号化部（２２）と、
    　符号化された前記第１マクロブロック及び前記第２マクロブロックを、符号化された順に配列して多重化圧縮データを生成する多重化部（２３）と、
    　前記多重化圧縮データを前記画像復号化装置に送信する送信部（２４）と、
    を備え、
    　前記画像復号化装置（４ａ，４ｂ，６）は、
    　前記多重化圧縮データを受信する受信部（４１）と、
    　符号化された前記第１マクロブロックを、受信した前記多重化圧縮データの先頭から順に抽出する逆多重化部（４２）と、
    　符号化された前記第１マクロブロックを抽出された順に復号化する復号化部（４３）と、
    　前記第１マクロブロックの復号化画像データと、前記第２マクロブロックの復号化画像データとを表示可能となったタイミングに、前記第１マクロブロックの復号化画像データを第１表示装置に出力する出力制御部（４４，６２）と、
    を備える。
  10. 　請求項９に記載の画像伝送システムであって、
    　前記逆多重化部（４２）は、符号化された前記第１マクロブロック及び前記第２マクロブロックを、前記多重化圧縮データの先頭から順に抽出し、
    　前記復号化部（４３）は、符号化された前記第１マクロブロック及び前記第２マクロブロックを抽出された順に復号化する。
  11. 　請求項１０に記載の画像伝送システムであって、
    　前記出力制御部（４４，６２）は、前記第１マクロブロックの復号化画像データを前記第１表示装置へ出力し、前記第２マクロブロックの復号化画像データを第２表示装置へ出力する。
  12. 　第１～第Ｎ画像データを圧縮する画像符号化装置（２）であって、
    　ｋを１からＮまでの自然数とした場合において、設定された区分単位に基づいて第ｋ画像データの第ｋマクロブロックを区分して、第ｋ符号化グループを生成するグループ生成部（２１１）と、
    　第１符号化グループから第ｎ符号化グループまでが交互に繰り返されるように、第１マクロブロックから第ｎマクロブロックを符号化する符号化順序を決定する符号化順序決定部（２１２）と、
    　前記符号化順序に基づいて、前記第ｋ符号化グループごとに前記第ｋマクロブロックを符号化する符号化部（２２）と、
    　符号化された前記第ｋマクロブロックを、符号化された順に配列して多重化圧縮データを生成する多重化部（２３）と、
    を備える。
     
PCT/JP2011/050970 2010-02-25 2011-01-20 画像符号化装置及び画像伝送システム WO2011105137A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-040314 2010-02-25
JP2010040314A JP5444040B2 (ja) 2010-02-25 2010-02-25 画像符号化装置及び画像伝送システム

Publications (1)

Publication Number Publication Date
WO2011105137A1 true WO2011105137A1 (ja) 2011-09-01

Family

ID=44506559

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/050970 WO2011105137A1 (ja) 2010-02-25 2011-01-20 画像符号化装置及び画像伝送システム

Country Status (2)

Country Link
JP (1) JP5444040B2 (ja)
WO (1) WO2011105137A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107613301A (zh) * 2017-10-17 2018-01-19 郑州云海信息技术有限公司 一种图像处理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11346370A (ja) * 1998-06-02 1999-12-14 Matsushita Electric Ind Co Ltd 符号化方法、符合化装置、復号方法、復号装置、及び記録媒体
JP2002034047A (ja) * 2000-07-18 2002-01-31 Pioneer Electronic Corp 画像符号化装置及び画像符号化方法、情報符号化装置及び情報符号化方法、情報記録装置並びに情報記録媒体
JP2005184419A (ja) * 2003-12-19 2005-07-07 Hitachi Ltd 映像信号符号化装置および映像信号記録装置
JP2005223413A (ja) * 2004-02-03 2005-08-18 Sony Corp 送受信システム、送信装置、受信装置、情報処理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259315A (ja) * 2002-02-28 2003-09-12 Matsushita Electric Ind Co Ltd 画像伝送装置および画像伝送方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11346370A (ja) * 1998-06-02 1999-12-14 Matsushita Electric Ind Co Ltd 符号化方法、符合化装置、復号方法、復号装置、及び記録媒体
JP2002034047A (ja) * 2000-07-18 2002-01-31 Pioneer Electronic Corp 画像符号化装置及び画像符号化方法、情報符号化装置及び情報符号化方法、情報記録装置並びに情報記録媒体
JP2005184419A (ja) * 2003-12-19 2005-07-07 Hitachi Ltd 映像信号符号化装置および映像信号記録装置
JP2005223413A (ja) * 2004-02-03 2005-08-18 Sony Corp 送受信システム、送信装置、受信装置、情報処理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107613301A (zh) * 2017-10-17 2018-01-19 郑州云海信息技术有限公司 一种图像处理方法及装置
CN107613301B (zh) * 2017-10-17 2020-05-26 苏州浪潮智能科技有限公司 一种图像处理方法及装置

Also Published As

Publication number Publication date
JP5444040B2 (ja) 2014-03-19
JP2011176709A (ja) 2011-09-08

Similar Documents

Publication Publication Date Title
US8254458B2 (en) Moving picture encoding apparatus and method, moving picture decoding apparatus and method
US11044437B2 (en) Method and system for combining multiple area-of-interest video codestreams into a combined video codestream
JP2000013769A (ja) 多点画像会議システム及びその具現方法
CN107113447A (zh) 高帧速率‑低帧速率传输技术
CN102780881A (zh) 编解码器、编解码系统及方法、传送适配器和成像装置
JP2014207498A (ja) 符号化装置、復号化装置、符号化方法、復号化方法およびプログラム
US10382800B2 (en) Video surveillance system and video surveillance method
JP5172874B2 (ja) 映像同期装置、映像表示装置、映像同期方法及びプログラム
JP5444040B2 (ja) 画像符号化装置及び画像伝送システム
US8937999B2 (en) Moving image compression encoding apparatus, method, and control program
JP5688443B2 (ja) 画像符号化装置及び画像伝送システム
JP2009182372A (ja) 画像圧縮配信装置、及び画像圧縮配信方法
JP2005110113A (ja) 多視点画像伝送システムと方法、多視点画像圧縮装置と方法、多視点画像伸長装置と方法およびプログラム
JP4258063B2 (ja) データ送信装置
WO2011122285A1 (ja) 画像符号化装置
JP5635673B2 (ja) 画像符号化装置
JPH1013825A (ja) 多画面表示システム
WO2009098763A1 (ja) 映像処理装置、映像処理方法及び映像処理プログラム
JPH1066062A (ja) 多画面表示システム
JPH0993586A (ja) 画像信号多重化符号化復号化装置
JP2006050491A (ja) マルチチャネル画像コーデック装置
JP4464719B2 (ja) 画像データ送信システム
KR101170438B1 (ko) 메모리 셔플링을 이용한 카메라 영상 전송용 통신 네트워크 어댑터
JP5442688B2 (ja) 動画像符号化装置および方法、並びに動画像復号化装置および方法
JP6463907B2 (ja) 符号化装置、復号装置及びこれらのプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11747101

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11747101

Country of ref document: EP

Kind code of ref document: A1