WO2017051492A1 - 映像符号化装置及び映像復号装置 - Google Patents

映像符号化装置及び映像復号装置 Download PDF

Info

Publication number
WO2017051492A1
WO2017051492A1 PCT/JP2016/003227 JP2016003227W WO2017051492A1 WO 2017051492 A1 WO2017051492 A1 WO 2017051492A1 JP 2016003227 W JP2016003227 W JP 2016003227W WO 2017051492 A1 WO2017051492 A1 WO 2017051492A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
video
divided
divided image
screen
Prior art date
Application number
PCT/JP2016/003227
Other languages
English (en)
French (fr)
Inventor
佐藤　大介
貴之 石田
慶一 蝶野
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Publication of WO2017051492A1 publication Critical patent/WO2017051492A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Definitions

  • the present invention relates to a video encoding device, a video decoding device, a video system, a video encoding method, and a video encoding program based on an encoding method in which a video screen is divided and then compressed.
  • full HD (High Definition) video content in the horizontal direction (horizontal direction) 1920 x vertical direction (vertical direction) 1080 (pixels) is being supplied.
  • 4K high-definition video
  • Commercial broadcasting has started.
  • commercial broadcasting of a video having a size of 7680 pixels per line and 4320 lines that is, a high-definition video (hereinafter referred to as 8K) in the horizontal direction 7680 ⁇ vertical direction 4320 (pixels). Is planned.
  • one screen is divided into a plurality of screens, and each divided screen (divided image) is encoded and decoded. Can be considered. By performing such processing, the load of encoding processing and decoding processing is distributed, and high-speed processing becomes possible. For example, an 8K video screen is divided into four to obtain four 4K screens, which are independently encoded and decoded.
  • boundary line noise noise that is visible in the boundary area of the division
  • Patent Document 1 in order to reduce boundary noise, when dividing a screen, an overlapping area (area shared by a plurality of adjacent divided screens) is provided around the boundary of the division, and the overlapping area is divided.
  • a video encoding technique for encoding in a screen is described.
  • the video display device regarding a divided screen including an overlapping region, includes an overlapping region included in the other divided screen that exceeds the boundary of the division. Is not displayed. Similarly, for the other divided screen, the overlapping area included in one of the divided screens beyond the boundary is not displayed.
  • FIG. 20 is an explanatory diagram showing an example in which the screen division method described in Patent Document 1 is applied to 8K.
  • FIG. 20 shows an example where the number of pixels in the horizontal direction of the overlapping region is 384 pixels and the number of pixels in the vertical direction is 216 pixels.
  • the size of each of the divided screens # 0 to # 3 including the overlapping area is horizontal 4224 ⁇ vertical 2376 (pixels).
  • the overlapping area included in each of the divided screens # 0 to # 3 includes the area in the divided screen itself.
  • the overlapping area with the adjacent divided screen # 1 includes an area of 192 ⁇ 2160 (pixels) in the horizontal direction on the divided screen # 0.
  • 3 includes an area of horizontal 3840 ⁇ vertical 108 mm (pixel) in the divided screen # 0.
  • the video encoding apparatus When using the screen division method described in Patent Document 1, the video encoding apparatus also encodes the overlapping area for each divided screen, so that the number of pixels to be encoded increases and the amount of memory used And the time required for processing increases. In addition, when an 8K video screen is divided into four to obtain a 4K split screen, the number of pixels in each divided screen exceeds the number of 4K pixels. Therefore, a video encoding device and a video decoding device that support only 4K are: Processing cannot be performed for split screens that include overlapping areas.
  • each divided screen when a screen is divided into screens of a predetermined size, each divided screen includes an area that overlaps an area of another divided screen, and the divided areas are subsampled and divided.
  • a video encoding device for converting a screen into a predetermined size is described. For example, when an 8K video screen is divided into four 4K screens and the size of the split screen including the overlapping region is 3840 + ⁇ in the horizontal direction and 2160 + ⁇ in the vertical direction, sub-sampling of the overlapping region (number of pixels) By the reduction process), the image is converted into the horizontal direction 3840 and the vertical direction 2160.
  • FIG. 21 is an explanatory diagram showing an example in which the screen dividing method described in Patent Document 2 is applied to 8K.
  • the screen division method described in Patent Document 2 is used when applied to 8K, first, similarly to the screen division method described in Patent Document 1, each of divided screens # 0 to # 0 including an overlapping area is used. The size of # 3 is set (see FIG. 21A). Next, each of the divided screens # 0 to # 3 is reduced to the original size (horizontal direction 3840 ⁇ vertical direction 2160 (pixels)) by sub-sampling of the overlapping area (see FIGS. 21B and 21C). .
  • the present invention relates to a video encoding device, a video decoding device, a video system, and a video code that are capable of high-speed processing by distributing the load of encoding processing and decoding processing, and that can effectively reduce boundary noise. It is an object to provide an encoding method and a video encoding program.
  • a video encoding apparatus encodes a division unit that divides an image constituting a video into a predetermined number of divided images, a reduction unit that reduces the entire divided image at a predetermined magnification, and a reduced divided image. And an encoding means.
  • the video decoding apparatus decodes a sub-bitstream extracted from a bitstream including a sub-bitstream of a divided image including an overlapping region including a predetermined region in at least another divided image adjacent to the divided image.
  • image reproducing means for reproducing the image constituting the video after enlarging the entire divided image based on the information multiplexed in the bitstream and the arrangement information capable of specifying the arrangement position of the divided image in the image It is provided with.
  • the video encoding method according to the present invention is characterized in that an image constituting a video is divided into a predetermined number of divided images, the entire divided image is reduced at a predetermined magnification, and the reduced divided image is encoded.
  • the video decoding method decodes a sub-bitstream extracted from a bitstream including a sub-bitstream of a divided image including an overlapping region including a predetermined region in at least another divided image adjacent to the divided image, Based on the information multiplexed in the stream and the arrangement information that can specify the arrangement position of the divided image in the image, the entire divided image is enlarged, and then the image constituting the video is reproduced.
  • the video encoding program allows a computer to process a process for dividing an image constituting a video into a predetermined number of divided images, a process for reducing the entire divided image at a predetermined magnification, and a method for encoding the reduced divided images. It is characterized in that the processing is executed.
  • the video decoding program allows a computer to decode a sub-bitstream extracted from a bitstream including a sub-bitstream of a divided image including an overlapping region including a predetermined region in at least another divided image adjacent to the divided image. And a process of reproducing the image constituting the video after enlarging the entire divided image based on the arrangement information that is information multiplexed into the bitstream and that can specify the arrangement position of the divided image in the image. Is executed.
  • FIG. 1 is a block diagram illustrating a configuration example of a video encoding device according to the first embodiment.
  • the video encoding apparatus shown in FIG. 1 includes a screen division / reduction unit 111, encoding units 100A, 100B, 100C, and 100D, and a multiplexing unit 112 that constitutes multiplexing means.
  • the video encoding apparatus executes the encoding process based on the HEVC standard, but may execute the encoding process based on another standard, for example, the H.264 / AVC standard.
  • a case where an 8K video is mainly input will be described as an example.
  • FIG. 2 is an explanatory diagram showing an overlapping area in each embodiment.
  • FIG. 2 shows an example in which the screen size of the input video is 8K horizontal direction 7680 ⁇ vertical direction 4320 (pixels).
  • the overlapping area related to the divided screen # 0 (horizontal direction 3840 ⁇ vertical direction 2160 (pixel)) is an area adjacent to the divided screen # 0 in the adjacent divided screens # 1, # 2, and # 3. It is prescribed. Specifically, it consists of a region of horizontal direction 384 ⁇ vertical direction 2160 + 216 (pixel) and a region of horizontal direction 3840 + 384 ⁇ vertical direction 216 (pixel).
  • the overlapping area related to the divided screen # 0 does not include the original area of the divided screen # 0.
  • the divided screens # 1, # 2, and # 3 are also defined as areas adjacent to the divided screen (the divided screen # 1, # 2, or # 3) in the adjacent divided screen. .
  • FIG. 3 is a block diagram illustrating a configuration example of the encoding unit 100 which is an example of an encoding unit.
  • the encoding unit 100 corresponds to each of the encoding units 100A, 100B, 100C, and 100D shown in FIG.
  • the encoding unit 100 includes a frequency transformer / quantizer 103, an inverse quantizer / inverse frequency converter 104, a buffer 105, a predictor 106, and an entropy encoder 107.
  • the frequency converter / quantizer 103 performs frequency conversion on the prediction error image obtained by subtracting the prediction signal from the input video signal.
  • the frequency transformer / quantizer 103 further quantizes the frequency-converted prediction error image (frequency transform coefficient).
  • the quantized frequency transform coefficient is referred to as a transform quantization value.
  • the entropy encoder 107 entropy encodes the prediction parameter and the transform quantization value, and outputs a bit stream.
  • the prediction parameter is information related to CTUC (Coding Tree Unit) and block prediction, such as prediction mode (intra prediction, inter prediction), intra prediction block size, intra prediction direction, inter prediction block size, and motion vector.
  • the predictor 106 generates a prediction signal for the input video signal.
  • the prediction signal is generated based on intra prediction or interframe prediction.
  • the inverse quantization / inverse frequency converter 104 inversely quantizes the transform quantization value. Further, the inverse quantization / inverse frequency converter 104 performs inverse frequency conversion on the inversely quantized frequency conversion coefficient.
  • the reconstructed prediction error image subjected to inverse frequency conversion is supplied with a prediction signal and supplied to the buffer 105.
  • the buffer 105 stores the reconstructed image.
  • FIG. 4 is a block diagram illustrating a configuration example of the screen division / reduction unit 111.
  • the screen division / reduction unit 111 includes a screen division unit 121 and a downsampling unit 122.
  • the screen dividing unit 121 is an example of a dividing unit that divides an image constituting a video into a predetermined number of divided images
  • the downsampling unit 122 is an example of a reducing unit that reduces the entire divided image at a predetermined magnification. is there.
  • the screen dividing unit 121 may be configured so that the range of the overlapping area can be arbitrarily set for each screen constituting the input video. However, the screen dividing unit 121 can extract the image quality, motion, and the like of the adjacent divided screens. Preferably there is.
  • the down-sampling unit 122 down-samples the entire divided screen (including overlapping areas) generated by the screen dividing unit 121, and converts the size of the divided screen to a predetermined size.
  • the predetermined size is the original size excluding the overlapping area. That is, it is the size when the screen of the input video is simply divided. For example, when the screen size of the input video is horizontal 7680 ⁇ vertical 4320 (pixel), the predetermined size is horizontal 3840 ⁇ vertical 2160 (pixel).
  • the boundary of the divided screen is the boundary of the divided screen having the predetermined size.
  • FIG. 5 is an explanatory diagram showing the flow of processing of the video encoding device.
  • FIG. 6 is a flowchart showing the operation of the video encoding apparatus.
  • the screen division unit 121 divides the screen of the input video into four divided screens, and includes an overlapping area in each divided screen (step S101: see process A in FIG. 5). Therefore, the size of the divided screen including the overlapping area is horizontal 4224 ⁇ vertical 2376 (pixels) (see FIG. 2).
  • the downsampling unit 122 samples the entire image data of each divided screen so that each divided screen has a size of 3840 ⁇ vertical direction 2160 (pixels) (step S102A: process B in FIG. 5). reference).
  • step S103 Refer to the process C in FIG. 5).
  • the multiplexing unit 112 multiplexes the bit stream (sub bit stream) of the divided screen (step S104A).
  • the frequency characteristics of the overlapping area and the frequency characteristics of the area other than the overlapping area do not change. Specifically, since the frequency characteristics of the overlapping area and the frequency characteristics of the area other than the overlapping area change in the same manner, the boundary noise is reduced.
  • FIG. 7 is a block diagram illustrating a configuration example of an embodiment of a video decoding device.
  • the video decoding apparatus shown in FIG. 7 is a video decoding apparatus that receives a bit stream from the video encoding apparatus according to the first embodiment.
  • the video decoding apparatus includes a demultiplexing unit 211, decoding units 200 ⁇ / b> A, 200 ⁇ / b> B, 200 ⁇ / b> C, 200 ⁇ / b> D that perform decoding processing, and a screen expansion / combination unit 212.
  • the demultiplexing unit 211 demultiplexes the input bit stream.
  • the screen expansion / combination unit 212 combines the divided screens to reproduce one screen after expanding (increasing the number of pixels) the image data of the input divided screens.
  • FIG. 8 is a block diagram illustrating a configuration example of an embodiment of the decoding unit 200 which is an example of a decoding unit.
  • the decoding unit 200 corresponds to each of the decoding units 200A, 200B, 200C, and 200D shown in FIG.
  • 8 includes an entropy decoder 202, an inverse quantization / inverse frequency converter 203, a predictor 204, and a buffer 205.
  • the entropy decoder 202 entropy decodes the bit stream.
  • the entropy decoder 202 supplies the transform quantization value subjected to entropy decoding to the inverse quantization / inverse frequency converter 203.
  • the inverse quantization / inverse frequency converter 203 obtains a frequency conversion coefficient by inversely quantizing the converted quantization values of luminance and chrominance with a quantization step width. Further, the inverse quantization / inverse frequency converter 203 performs inverse frequency conversion on the inversely quantized frequency conversion coefficient.
  • the predictor 204 After the inverse frequency conversion, the predictor 204 generates a prediction signal using the reconstructed picture image stored in the buffer 205.
  • the reconstructed prediction error image subjected to inverse frequency conversion by the inverse quantization / inverse frequency converter 203 is added with the prediction signal supplied from the predictor 204 and supplied to the buffer 205 as a reconstructed picture. Then, the reconstructed picture stored in the buffer 205 is output as decoded video.
  • FIG. 9 is a block diagram illustrating a configuration example of the screen expansion / combination unit 212.
  • the screen expansion / combination unit 212 includes an upsampling unit 221 and a screen combination unit 222.
  • the upsampling unit 221 and the screen combining unit 222 expand the entire divided image based on the arrangement information that is information multiplexed into the bitstream and can specify the arrangement position of the divided image in the image, and then the video. This is an example of realizing an image reproducing unit that reproduces an image constituting the image.
  • the up-sampling unit 221 up-samples the image data of each divided screen, and reproduces the divided screen of the size before the down-sampling unit 122 in the video encoding device down-samples.
  • the screen combining unit 222 combines the divided screens after excluding unnecessary areas (overlapping areas) for each divided screen.
  • FIG. 10 is a flowchart showing the operation of the video decoding apparatus.
  • the demultiplexing unit 211 demultiplexes the input bitstream and extracts the video bitstream (step S201). Further, the demultiplexing unit 211 separates the video bitstream into bitstreams for each divided screen.
  • the decoding units 200A, 200B, 200C, and 200D perform a decoding process on the separated bitstream to obtain a divided screen (step S202).
  • the upsampling unit 221 upsamples the entire screen of each divided screen, and reproduces the divided screen of the size before the downsampling unit 122 in the video encoding device downsamples ( Step S203).
  • the upsampling unit 221 displays, for example, a split screen having a size of horizontal direction 4224 ⁇ vertical direction 2376 (pixels). Playback is performed (see FIG. 5).
  • the screen combining unit 222 combines the divided screens after excluding unnecessary areas (overlapping areas) for each divided screen (step S204).
  • the screen combining unit 222 includes, for example, a region (horizontal direction 3840 ⁇ vertical direction 2160 (pixels)) included in its own divided screen among divided screens (including overlapping regions) having a size of horizontal 4224 ⁇ vertical direction 2376 (pixels). )), And the image data of other areas (that is, overlapping areas) are discarded. Then, each divided screen is connected.
  • FIG. FIG. 11 is a block diagram illustrating a configuration example of the video encoding device according to the third embodiment.
  • a magnification determining unit 113 is added to the video encoding device shown in FIG.
  • the magnification determination unit 113 receives data indicating the input video size and information indicating the overlap area size.
  • the magnification determining unit 113 determines the frequency (magnification) of downsampling by the downsampling unit 122 based on the input data.
  • FIG. 12 is an explanatory diagram showing the flow of processing of the video encoding device.
  • FIG. 13 is a flowchart showing the operation of the video encoding apparatus.
  • the magnification determining unit 113 determines the magnification based on the input video size and the overlapping area size (step S100). The magnification determining unit 113 determines the horizontal magnification according to the equation (1).
  • the magnification determination unit 113 determines the magnification in the vertical direction according to the equation (2).
  • the magnification is The determination unit 113 determines the vertical magnification as (10/11) and the horizontal magnification as (10/11).
  • the screen dividing unit 121 determines the size of the divided screen (including the overlapping area) using the input data indicating the overlapping area size.
  • the down-sampling unit 122 samples the entire image data of each divided screen according to the magnification determined by the magnification determining unit 113 (step S102B).
  • the downsampling unit 122 has a size of each divided screen of horizontal 3840 (4224 ⁇ (10/11)) ⁇ vertical 2160 (2376 ⁇ (10/11)) (pixel). In this way, the entire image data of each divided screen is sampled.
  • Other processes are the same as those in the first embodiment.
  • step S100 execution order of the process of step S100 and the process of step S101 may be reverse or simultaneous with the order shown in FIG.
  • the magnification determining unit 113 determines the magnification, even if the screen size of the input video or the size of the overlapping area is changed, it can be flexibly dealt with, and versatility can be improved.
  • FIG. 14 is a block diagram illustrating a configuration example of a video encoding device according to the fourth embodiment.
  • the configuration of the video encoding device of the fourth embodiment is basically the same as the configuration of the video encoding device of the third embodiment.
  • the screen dividing / reducing unit 111 The multiplexing unit 112 is configured to output data indicating arrangement information of each divided screen.
  • the magnification determining unit 113 is configured to output data indicating the magnification to the multiplexing unit 112.
  • FIG. 15 is an explanatory diagram showing a flow of processing of the video encoding device.
  • FIG. 16 is a flowchart showing the operation of the video encoding apparatus.
  • the screen division unit 121 outputs data indicating the arrangement information of each divided screen to the multiplexing unit 112 (see FIG. 15).
  • the screen dividing unit 121 outputs data indicating the upper left position coordinates of each divided screen.
  • the data indicating the position coordinates indicates the absolute position coordinates.
  • such an expression format is an example, and data indicating the position coordinates in another expression format may be output. .
  • the multiplexing unit 112 includes, for example, data indicating arrangement information of each divided screen in auxiliary information and The auxiliary information is multiplexed together with the encoded data including the data indicating the magnification determined by the magnification determining unit 113 (step S104B).
  • FIG. FIG. 17 is a block diagram illustrating a configuration example of an embodiment of a video decoding device.
  • the video decoding apparatus shown in FIG. 17 is a video decoding apparatus that receives a bit stream from the video encoding apparatus according to the fourth embodiment.
  • the configuration of the video decoding apparatus according to the fifth embodiment is basically the same as the configuration of the video decoding apparatus according to the second embodiment.
  • the demultiplexing unit 211 includes a screen extension /
  • the combining unit 212 is configured to output data indicating arrangement information of each divided screen extracted from the bit stream and data indicating the magnification.
  • the upsampling unit 221 shown in FIG. 9 upsamples the image data of each divided screen based on the magnification input from the demultiplexing unit 211. For example, if the magnification is (10/11), the upsampling unit 221 performs sampling so that the number of pixels is (11/10) times. As a result, a divided screen (including overlapping areas) of 4224 horizontal directions ⁇ 2376 vertical pixels (including overlapping regions) is obtained (see FIG. 15).
  • the screen combining unit 222 connects the divided screens based on the arrangement information of the divided screens.
  • the arrangement information is as follows.
  • the size of one screen (for example, horizontal direction 7680 ⁇ vertical direction 4320 (pixels)) is known or notified from the video encoding device by auxiliary information or the like.
  • the number of divisions is known or is notified from the video encoding device as auxiliary information.
  • the screen combining unit 222 performs the 3456th to 3840th pixels (divided screen #) in the horizontal direction for the divided screen # 1. Focusing only on 1, the area (rectangular area) from 0 to 216) is determined to be an overlapping area and deleted, and an area of 2160 pixels in the vertical direction is set as a divided screen # 1 that does not include the overlapping area. cut.
  • the screen combining unit 222 connects the divided screens # 0, # 1, # 2, and # 3.
  • the video encoding apparatus transmits, as arrangement information, data indicating the base point of the divided screen including the overlapping area to the video decoding apparatus, but indicates the base point of the split screen not including the overlapping area. Data may be transmitted to the video decoding device.
  • the video encoding apparatus transmits the data indicating the arrangement information and the data indicating the magnification to the video decoding apparatus. Therefore, even if the screen size of the input video or the size of the overlapping area is changed, the video The decoding apparatus can flexibly cope with it, and versatility can be improved.
  • the video encoding apparatus also transmits data indicating the magnification to the video decoding apparatus.
  • the data indicating the arrangement information may be transmitted.
  • the upsampling unit 221 derives the magnification from the arrangement information.
  • the horizontal magnification [(3840-3456) / 3840 + 1].
  • the magnification in the vertical direction [(2160-1944) / 2160 + 1].
  • FIG. 18 is an explanatory diagram showing a flow of processing of a modification of the video encoding device.
  • the video encoding apparatus first reduces the entire screen, then sets an overlap area having a size suitable for the reduction, and the screen size of the input video is horizontal 7680 ⁇ vertical 4320 (pixels). ), The image is divided into divided screens of horizontal 3840 ⁇ vertical 2160 (pixels) (when the number of divisions is 4).
  • the overlapping area of the divided screens is an area in an adjacent divided screen.
  • the area is defined as an area including both the area on the self-divided screen and the area on the adjacent divided screen (area on both sides sandwiching the boundary of the divided screen). Can do.
  • each of the above embodiments can be configured by hardware, it can also be realized by a computer program.
  • the information processing system shown in FIG. 19 includes a processor 1001, a program memory 1002, a storage medium 1003 for storing video data, and a storage medium 1004 for storing a bitstream.
  • the storage medium 1003 and the storage medium 1004 may be separate storage media, or may be storage areas composed of the same storage medium.
  • a magnetic storage medium such as a hard disk can be used as the storage medium.
  • each of the program memory 1002 is shown in FIGS. 1, 3, 4, 7, 8, 9, 9, 11, and 17.
  • a program (video encoding program or video decoding program) for realizing the function of the block (excluding the block of the buffer) is stored.
  • the processor 1001 implements the function of the video encoding device or the video decoding device by executing processing according to the program stored in the program memory 1002.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

映像符号化装置は、映像を構成する画像を所定個の分割画像に分割する分割手段と、分割画像の全体を所定倍率で縮小する縮小手段と、縮小された分割画像を符号化する符号化手段とを備える。

Description

映像符号化装置及び映像復号装置
　本発明は、映像の画面を分割してから圧縮する符号化方法に基づく映像符号化装置、映像復号装置、映像システム、映像符号化方法、及び映像符号化プログラムに関する。
　映像の高精細化の要請に応じて、水平方向（横方向）1920×垂直方向（縦方向）1080（画素）のフルHD（High Definition ）の映像コンテンツが供給されている。また、映像を構成する画像の大きさが１ラインあたり3840画素で2160ラインである映像、すなわち、水平方向3840×垂直方向2160（画素）の高精細映像（以下、４Ｋという。）の試験放送や商用放送が開始されている。さらに、映像を構成する画像の大きさが１ラインあたり7680画素で4320ラインである映像、すなわち、水平方向7680×垂直方向4320（画素）の高精細映像（以下、８Ｋという。）の商用放送が計画されている。
　高精細映像を符号化したり復号したりする場合、多くの計算量が要求される。また、高精細映像をリアルタイムで記録したり伝送したりする場合には、高速な処理が要求される。
　高精細映像を構成する画像（高精細映像における画面）をそのまま符号化及び復号するのではなく、一画面を複数の画面に分割し、分割画面（分割画像）の各々を符号化及び復号することが考えられる。そのような処理を行うことによって、符号化処理及び復号処理の負荷が分散され、高速処理が可能になる。例えば、８Ｋの映像の画面を４分割して４つの４Ｋの画面を得て、それぞれを独立して符号化及び復号する。
　しかし、画面を分割してから符号化した場合、復号後の映像において、分割の境界領域で視認可能なノイズ（以下、境界線ノイズという。）が生じ画質が劣化することがある。
　特許文献１には、境界線ノイズを低減するために、画面を分割する際に、分割の境界を中心として重複領域（隣接する複数の分割画面で共有される領域）を設け、重複領域を分割画面に含めて符号化する映像符号化技術が記載されている。そのような映像符号化技術に基づく圧縮映像を復号して画面を表示するときに、映像表示装置は、重複領域を含む分割画面に関して、分割の境界を越えた他方の分割画面に含まれる重複領域を表示しない。また、他方の分割画面についても同様に、境界を越えた一方の分割画面に含まれる重複領域を表示しない。
　図２０は、特許文献１に記載された画面分割方法を８Ｋに適用した場合の例を示す説明図である。図２０には、重複領域の水平方向の画素数が384 画素、垂直方向の画素数が216 画素である場合の例が示されている。重複領域を含む各々の分割画面＃０～＃３のサイズは、水平方向4224×垂直方向2376（画素）である。なお、分割画面＃０～＃３の各々に含まれる重複領域には、分割画面自体における領域も含まれている。分割画面＃０を例にすると、例えば、隣接する分割画面＃１との重複領域には、分割画面＃０における水平方向192 ×垂直方向2160（画素）の領域が含まれ、隣接する分割画面＃３との重複領域には、分割画面＃０における水平方向3840×垂直方向108 （画素）の領域が含まれる。
　特許文献１に記載された画面分割方法を使用する場合、映像符号化装置は、各々の分割画面について、重複領域も符号化するので、符号化対象の画素数が増加し、使用されるメモリ量や処理に要する時間等が増加する。また、８Ｋの映像の画面を４分割して４Ｋの分割画面とする場合、各分割画面の画素数が４Ｋの画素数を越えるので、４Ｋのみに対応した映像符号化装置及び映像復号装置は、重複領域を含む分割画面について処理を行うことができない。
　特許文献２には、画面を所定のサイズの画面に分割するときに、各分割画面に、他の分割画面の領域と重複する領域を含め、各々の分割画面における重複領域をサブサンプリングして分割画面を所定の大きさに変換する映像符号化装置が記載されている。例えば、８Ｋの映像の画面を４分割して４つの４Ｋの画面にする場合、重複領域を含む分割画面のサイズが、水平方向3840＋α、垂直方向2160＋βである場合、重複領域のサブサンプリング（画素数減少処理）によって、水平方向3840、垂直方向2160に変換される。
　図２１は、特許文献２に記載された画面分割方法を８Ｋに適用した場合の例を示す説明図である。８Ｋに適用した場合に、特許文献２に記載された画面分割方法を使用するときに、まず、特許文献１に記載された画面分割方法と同様に、重複領域を含む各々の分割画面＃０～＃３のサイズが設定される（図２１（Ａ）参照）。次いで、重複領域のサブサンプリングによって、各々の分割画面＃０～＃３が本来のサイズ（水平方向3840×垂直方向2160（画素））に縮小される（図２１（Ｂ），（Ｃ）参照）。
特開平１０－２３４０４３号公報 特開２０１１－１８１９８０号公報
　しかし、特許文献２に記載された技術を用いた場合、符号化対象の画素数が増加するという課題は解消されるが、サブサンプリングされる領域（すなわち、重複領域）の周波数特性とサブサンプリングされない領域（すなわち、重複領域以外の領域）の周波数特性とが変わってしまう。その結果、使用されるメモリ量や処理に要する時間等の増加は抑制されるものの、境界線ノイズの低減効果が低下してしまう。
　本発明は、符号化処理及び復号処理の負荷が分散されて高速処理が可能になるとともに、境界線ノイズを効果的に低減することができる映像符号化装置、映像復号装置、映像システム、映像符号化方法、及び映像符号化プログラムを提供することを目的とする。
　本発明による映像符号化装置は、映像を構成する画像を所定個の分割画像に分割する分割手段と、分割画像の全体を所定倍率で縮小する縮小手段と、縮小された分割画像を符号化する符号化手段とを備えたことを特徴とする。
　本発明による映像復号装置は、少なくとも分割画像に隣接する他の分割画像における所定領域を含む重複領域が含まれる分割画像のサブビットストリームを含むビットストリームから抽出されたサブビットストリームを復号する復号手段と、ビットストリームに多重化された情報であって画像における分割画像の配置位置を特定可能な配置情報に基づいて、分割画像全体を拡大した後に、映像を構成する画像を再生する画像再生手段とを備えたことを特徴とする。
　本発明による映像符号化方法は、映像を構成する画像を所定個の分割画像に分割し、分割画像の全体を所定倍率で縮小し、縮小された分割画像を符号化することを特徴とする。
　本発明による映像復号方法は、少なくとも分割画像に隣接する他の分割画像における所定領域を含む重複領域が含まれる分割画像のサブビットストリームを含むビットストリームから抽出されたサブビットストリームを復号し、ビットストリームに多重化された情報であって画像における分割画像の配置位置を特定可能な配置情報に基づいて、分割画像全体を拡大した後に、映像を構成する画像を再生することを特徴とする。
　本発明による映像符号化プログラムは、コンピュータに、映像を構成する画像を所定個の分割画像に分割する処理と、分割画像の全体を所定倍率で縮小する処理と、縮小された分割画像を符号化する処理とを実行させることを特徴とする。
　本発明による映像復号プログラムは、コンピュータに、少なくとも分割画像に隣接する他の分割画像における所定領域を含む重複領域が含まれる分割画像のサブビットストリームを含むビットストリームから抽出されたサブビットストリームを復号する処理と、ビットストリームに多重化された情報であって画像における分割画像の配置位置を特定可能な配置情報に基づいて、分割画像全体を拡大した後に、映像を構成する画像を再生する処理とを実行させることを特徴とする。
　本発明によれば、高速処理が可能になるとともに、境界線ノイズを効果的に低減することができる。
映像符号化装置の第１の実施形態の構成例を示すブロック図である。 実施形態における重複領域を示す説明図である。 符号化部の構成例を示すブロック図である。 画面分割／縮小部の構成例を示すブロック図である。 第１の実施形態の映像符号化装置の処理の流れを示す説明図である。 第１の実施形態の映像符号化装置の動作を示すフローチャートである。 第２の実施形態の映像復号装置の実施形態の構成例を示すブロック図である。 復号部の構成例を示すブロック図である。 画面拡張／結合部の構成例を示すブロック図である。 映像復号装置の動作を示すフローチャートである。 映像符号化装置の第３の実施形態の構成例を示すブロック図である。 第３の実施形態の映像符号化装置の処理の流れを示す説明図である。 第３の実施形態の映像符号化装置の動作を示すフローチャートである。 映像符号化装置の第４の実施形態の構成例を示すブロック図である。 第４の実施形態の映像符号化装置の処理の流れを示す説明図である。 第４の実施形態の映像符号化装置の動作を示すフローチャートである。 第５の実施形態の映像復号装置の実施形態の構成例を示すブロック図である。 映像符号化装置の変形例の処理の流れを示す説明図である。 映像符号化装置及び映像復号装置の機能を実現可能な情報処理システムの構成例を示すブロック図である。 従来の画面分割方法を８Ｋに適用した場合の例を示す説明図である。 従来の画面分割方法を８Ｋに適用した場合の例を示す説明図である。
　以下、本発明の実施形態を図面を参照して説明する。なお、第１の実施形態では、入力映像の画面が４分割される場合を例にするが、分割数は４に限られない。
実施形態１．
　図１は、第１の実施形態の映像符号化装置の構成例を示すブロック図である。図１に示す映像符号化装置は、画面分割／縮小部１１１、符号化部１００Ａ，１００Ｂ，１００Ｃ，１００Ｄ、及び多重化手段を構成する多重化部１１２を含む。なお、映像符号化装置は、HEVC規格に基づいて符号化処理を実行するが、他の規格、例えば、H.264/AVC規格に基づいて符号化処理を実行してもよい。また、以下、主として、８Ｋの映像が入力される場合を例にする。
　図２は、各実施形態における重複領域を示す説明図である。図２には、入力映像の画面のサイズが８Ｋの水平方向7680×垂直方向4320（画素）である場合の例が示されている。図２に示すように、分割画面＃０（水平方向3840×垂直方向2160（画素））に関する重複領域は、隣接する分割画面＃１，＃２，＃３において分割画面＃０に隣接する領域として規定される。具体的には、水平方向384 ×垂直方向2160+216 （画素）の領域と水平方向3840+384 ×垂直方向216 （画素）の領域とからなる。換言すれば、分割画面＃０に関する重複領域は、本来の分割画面＃０の領域を含まない。
　なお、分割画面＃１，＃２，＃３も、分割画面＃０と同様に、隣接する分割画面において当該分割画面（分割画面＃１，＃２又は＃３）に隣接する領域として規定される。
　図３は、符号化手段の一例である符号化部１００の構成例を示すブロック図である。符号化部１００は、図１に示された符号化部１００Ａ，１００Ｂ，１００Ｃ，１００Ｄの各々に相当する。
　符号化部１００は、周波数変換／量子化器１０３、逆量子化／逆周波数変換器１０４、バッファ１０５、予測器１０６、及びエントロピー符号化器１０７を含む。
　周波数変換／量子化器１０３は、入力映像信号から予測信号を減じた予測誤差画像を周波数変換する。周波数変換／量子化器１０３は、さらに、周波数変換された予測誤差画像（周波数変換係数）を量子化する。以下、量子化された周波数変換係数を変換量子化値という。
　エントロピー符号化器１０７は、予測パラメータと変換量子化値をエントロピー符号化して、ビットストリームを出力する。予測パラメータは、予測モード（イントラ予測、インター予測）、イントラ予測ブロックサイズ、イントラ予測方向、インター予測ブロックサイズ、及び動きベクトルなど、CTU （Coding Tree Unit）及びブロックの予測に関連した情報である。
　予測器１０６は、入力映像信号に対する予測信号を生成する。予測信号は、イントラ予測又はフレーム間予測に基づいて生成される。
　逆量子化／逆周波数変換器１０４は、変換量子化値を逆量子化する。さらに、逆量子化／逆周波数変換器１０４は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、バッファ１０５に供給される。バッファ１０５は、再構築画像を格納する。
　図４は、画面分割／縮小部１１１の構成例を示すブロック図である。図４に示す例では、画面分割／縮小部１１１は、画面分割部１２１とダウンサンプリング部１２２とを含む。
　なお、画面分割部１２１は、映像を構成する画像を所定個の分割画像に分割する分割手段の一例であり、ダウンサンプリング部１２２は、分割画像の全体を所定倍率で縮小する縮小手段の一例である。
　画面分割部１２１は、入力映像を構成する画面ごとに、重複領域の範囲を任意に設定可能であるように構成されていてもよいが、隣接する分割画面の画質や動き等を抽出できる範囲であることが好ましい。
　ダウンサンプリング部１２２は、画面分割部１２１が生成した分割画面（重複領域を含む。）全体をダウンサンプリングして、分割画面のサイズを所定のサイズに変換する。所定のサイズは、重複領域を除いた本来のサイズである。すなわち、入力映像の画面を単純に分割したときのサイズである。例えば、入力映像の画面のサイズが水平方向7680×垂直方向4320（画素）である場合、所定のサイズは、水平方向3840×垂直方向2160（画素）である。なお、以下の説明において、分割画面の境界は、上記の所定のサイズの分割画面の境界である。
　次に、図５及び図６を参照して、映像符号化装置の動作を説明する。図５は、映像符号化装置の処理の流れを示す説明図である。図６は、映像符号化装置の動作を示すフローチャートである。
　画面分割／縮小部１１１において、画面分割部１２１は、入力映像の画面を、４つの分割画面に分割し、各分割画面に重複領域を含める（ステップＳ１０１：図５における処理Ａ参照）。よって、重複領域を含む分割画面のサイズは、水平方向4224×垂直方向2376（画素）である（図２参照）。
　次いで、ダウンサンプリング部１２２は、各分割画面が、水平方向3840×垂直方向2160（画素）のサイズになるように、各分割画面の全体の画像データをサンプリングする（ステップＳ１０２Ａ：図５における処理Ｂ参照）。
　そして、符号化部１００Ａ，１００Ｂ，１００Ｃ，１００Ｄは、分割画面について符号化処理を実行する（ステップＳ１０３：図５における処理Ｃ参照）。
　その後、多重化部１１２は、分割画面のビットストリーム（サブビットストリーム）を多重化する（ステップＳ１０４Ａ）。
　第１の実施形態では、分割画面全体に対してダウンサンプリングが施され、分割画面全体が縮小される。従って、重複領域の周波数特性と重複領域以外の領域の周波数特性とが変わることがない。具体的には、重複領域の周波数特性と重複領域以外の領域の周波数特性とが同様に変化するので、境界線ノイズが低減される。
実施形態２．
　図７は、映像復号装置の実施形態の構成例を示すブロック図である。図７に示す映像復号装置は、第１の実施形態の映像符号化装置からのビットストリームを受信する映像復号装置である。映像復号装置は、多重化解除部２１１、復号処理を行う復号部２００Ａ，２００Ｂ，２００Ｃ，２００Ｄ、及び画面拡張／結合部２１２を含む。多重化解除部２１１は、入力されるビットストリームを多重化解除する。画面拡張／結合部２１２は、入力される分割画面の画像データを拡張（画素数増加）した後、一画面を再生するために分割画面を結合する。
　図８は、復号手段の一例である復号部２００の実施形態の構成例を示すブロック図である。復号部２００は、図７に示された復号部２００Ａ，２００Ｂ，２００Ｃ，２００Ｄの各々に相当する。
　図８に示す復号部２００は、エントロピー復号器２０２、逆量子化／逆周波数変換器２０３、予測器２０４、及びバッファ２０５を含む。
　エントロピー復号器２０２は、ビットストリームをエントロピー復号する。エントロピー復号器２０２は、エントロピー復号された変換量子化値を逆量子化／逆周波数変換器２０３に供給する。
　逆量子化／逆周波数変換器２０３は、量子化ステップ幅で、輝度及び色差の変換量子化値を逆量子化して周波数変換係数を得る。さらに、逆量子化／逆周波数変換器２０３は、逆量子化した周波数変換係数を逆周波数変換する。
　逆周波数変換後、予測器２０４は、バッファ２０５に格納された再構築ピクチャの画像を用いて予測信号を生成する。逆量子化／逆周波数変換器２０３で逆周波数変換された再構築予測誤差画像は、予測器２０４から供給される予測信号が加えられて、再構築ピクチャとしてバッファ２０５に供給される。そして、バッファ２０５に格納された再構築ピクチャが復号映像として出力される。
　図９は、画面拡張／結合部２１２の構成例を示すブロック図である。図９に示す例では、画面拡張／結合部２１２は、アップサンプリング部２２１と画面結合部２２２とを含む。
　なお、アップサンプリング部２２１及び画面結合部２２２は、ビットストリームに多重化された情報であって画像における分割画像の配置位置を特定可能な配置情報に基づいて、分割画像全体を拡大した後に、映像を構成する画像を再生する画像再生手段の一実現例である。
　アップサンプリング部２２１は、各々の分割画面の画像データをアップサンプリングして、映像符号化装置におけるダウンサンプリング部１２２がダウンサンプリングする前のサイズの分割画面を再生する。画面結合部２２２は、各分割画面について、不要領域（重複領域）を除外した上で、各分割画面を結合する。
　次に、図１０を参照して、映像復号装置の動作を説明する。図１０は、映像復号装置の動作を示すフローチャートである。
　多重化解除部２１１は、入力されるビットストリームを多重化解除して、映像ビットストリームを抽出する（ステップＳ２０１）。さらに、多重化解除部２１１は、映像ビットストリームを分割画面ごとのビットストリームに分離する。
　復号部２００Ａ，２００Ｂ，２００Ｃ，２００Ｄは、分離されたビットストリームについて復号処理を行って分割画面を得る（ステップＳ２０２）。
　画面拡張／結合部２１２において、アップサンプリング部２２１は、各々の分割画面の画面全体についてアップサンプリングして、映像符号化装置におけるダウンサンプリング部１２２がダウンサンプリングする前のサイズの分割画面を再生する（ステップＳ２０３）。映像符号化装置の入力映像の画面のサイズが水平方向7680×垂直方向4320（画素）である場合、アップサンプリング部２２１は、例えば、水平方向4224×垂直方向2376（画素）のサイズの分割画面を再生する（図５参照）。
　画面結合部２２２は、各分割画面について、不要領域（重複領域）を除外した上で、各分割画面を結合する（ステップＳ２０４）。画面結合部２２２は、例えば、水平方向4224×垂直方向2376（画素）のサイズの分割画面（重複領域を含む。）のうち、自分割画面に含まれる領域（水平方向3840×垂直方向2160（画素）の領域）のみを残し、他の領域（すなわち重複領域）の画像データを破棄する。その後、各分割画面を連結する。
　以上のようにして、水平方向7680×垂直方向4320（画素）の画像が再生される。
実施形態３．
　図１１は、第３の実施形態の映像符号化装置の構成例を示すブロック図である。第３の実施形態では、図１に示された映像符号化装置に対して、倍率決定部１１３が付加されている。
　倍率決定部１１３には、入力映像サイズを示すデータと重複領域サイズを示す情報とが入力される。倍率決定部１１３は、入力されたデータに基づいて、ダウンサンプリング部１２２によるダウンサンプリングの周波数（倍率）を決定する。
　次に、図１２及び図１３を参照して、映像符号化装置の動作を説明する。図１２は、映像符号化装置の処理の流れを示す説明図である。図１３は、映像符号化装置の動作を示すフローチャートである。
　倍率決定部１１３は、入力映像サイズと重複領域サイズとに基づいて倍率を決定する（ステップＳ１００）。倍率決定部１１３は、水平方向の倍率を（１）式に従って決定する。
　［入力映像の画面の水平方向の画素数／ｎ（ｎ：水平方向の分割数）］
／｛［入力映像の画面の水平方向の画素数／ｎ）］＋水平方向の重複領域サイズ｝　　・・・（１）
　倍率決定部１１３は、垂直方向の倍率を（２）式に従って決定する。
　［入力映像の画面の垂直方向の画素数／ｍ（ｍ：垂直方向の分割数）］
／｛［入力映像の画面の垂直方向の画素数／ｍ］＋垂直方向の重複領域サイズ｝　　・・・（２）
　なお、図１２に示す例では、ｎ＝２であり、ｍ＝２である。また、図１２に示すように、入力映像の画面のサイズが水平方向7680×垂直方向4320（画素）である場合、重複領域のサイズが水平方向384 ×垂直方向216 （画素）であるときには、倍率決定部１１３は、垂直方向の倍率を（１０／１１）に決定し、水平方向の倍率を（１０／１１）に決定する。
　また、画面分割部１２１は、入力された重複領域サイズを示すデータを使用して、分割画面（重複領域を含む。）のサイズを決定する。
　ダウンサンプリング部１２２は、倍率決定部１１３が決定した倍率に従って、各分割画面の全体の画像データをサンプリングする（ステップＳ１０２Ｂ）。図１２に示す例では、ダウンサンプリング部１２２は、各分割画面が、水平方向3840（4224×(10/11) ）×垂直方向2160（2376×(10/11) ）（画素）のサイズになるように、各分割画面の全体の画像データをサンプリングする。その他の処理は、第１の実施形態の場合と同様である。
　なお、ステップＳ１００の処理とステップＳ１０１の処理の実行順序は、図１３に示された順序と逆又は同時であってもよい。
　第３の実施形態では、倍率決定部１１３が倍率を決定するので、入力映像の画面のサイズや重複領域のサイズが変更されても柔軟に対応することができ、汎用性を高めることができる。
実施形態４．
　図１４は、第４の実施形態の映像符号化装置の構成例を示すブロック図である。第４の実施形態の映像符号化装置の構成は、基本的に第３の実施形態の映像符号化装置の構成と同じであるが、第３の実施形態では、画面分割／縮小部１１１は、多重化部１１２に、各分割画面の配置情報を示すデータを出力するように構成されている。また、倍率決定部１１３は、多重化部１１２に、倍率を示すデータを出力するように構成されている。
　次に、図１５及び図１６を参照して、映像符号化装置の動作を説明する。図１５は、映像符号化装置の処理の流れを示す説明図である。図１６は、映像符号化装置の動作を示すフローチャートである。
　画面分割／縮小部１１１において、画面分割部１２１は、各分割画面の配置情報を示すデータを、多重化部１１２に出力する（図１５参照）。図１５に示す例では、画面分割部１２１は、各分割画面の左上の位置座標を示すデータを出力する。なお、図１５に示す例では、位置座標を示すデータは絶対的な位置座標を示すが、そのような表現形式は一例であり、他の表現形式による位置座標を示すデータを出力してもよい。
　ステップＳ１００，Ｓ１０２Ｂ，Ｓ１０３の処理は、第３の実施形態における処理と同じであるが、第４の実施形態は、多重化部１１２は、例えば補助情報に各分割画面の配置情報を示すデータと倍率決定部１１３によって決定された倍率を示すデータとを含め、補助情報を符号化データとともに多重化する（ステップＳ１０４Ｂ）。
実施形態５．
　図１７は、映像復号装置の実施形態の構成例を示すブロック図である。図１７に示す映像復号装置は、第４の実施形態の映像符号化装置からのビットストリームを受信する映像復号装置である。第５の実施形態の映像復号装置の構成は、基本的に第２の実施形態の映像復号装置の構成と同じであるが、第５の実施形態では、多重化解除部２１１は、画面拡張／結合部２１２に、ビットストリームから抽出した各分割画面の配置情報を示すデータと倍率を示すデータを出力するように構成されている。
　第５の実施形態では、図９に示されたアップサンプリング部２２１は、多重化解除部２１１から入力した倍率に基づいて各々の分割画面の画像データをアップサンプリングする。例えば、倍率が（１０／１１）であれば、アップサンプリング部２２１は、画素数が（１１／１０）倍になるようにサンプリングを行う。その結果、水平方向4224×垂直方向2376（画素）の分割画面（重複領域を含む。）を得る（図１５参照）。
　また、画面結合部２２２は、分割画面の配置情報に基づいて各分割画面を連結する。図１５に示された例では、配置情報は以下のようである。
・分割画面＃０　　基点（ｘ，ｙ）＝（０，０）
・分割画面＃１　　基点（ｘ，ｙ）＝（３４５６，０）
・分割画面＃２　　基点（ｘ，ｙ）＝（０，１９４４）
・分割画面＃３　　基点（ｘ，ｙ）＝（３４５６，１９４４）
　映像復号装置において、一画面のサイズ（例えば、水平方向7680×垂直方向4320（画素））は、既知であるか、又は、映像符号化装置から補助情報等で通知されているとする。また、分割数は、既知であるか、又は、映像符号化装置から補助情報等で通知されているとする。
　画面結合部２２２は、一画面のサイズ及び分割数に基づいて、水平方向の分割画面の境界は3840画素目であり、垂直方向の分割画面の境界は2160画素目であることがわかる。よって、画面結合部２２２は、分割画面＃０について、基点（ｘ，ｙ）＝（０，０）から、水平方向で3840画素、垂直方向で2160画素の領域を、重複領域を含まない分割画面＃０として切り出す。
　画面結合部２２２は、例えば、分割画面＃１の基点（ｘ，ｙ）＝（３４５６，０）であることから、分割画面＃１について、水平方向で3456画素目～3840画素目（分割画面＃１のみに着目すると、0 ～216 ）までの領域（矩形領域）が重複領域であると判断して削除した上で、垂直方向で2160画素の領域を、重複領域を含まない分割画面＃１として切り出す。
　また、画面結合部２２２は、例えば、分割画面＃２の基点（ｘ，ｙ）＝（０，１９４４）であることから、分割画面＃２について、垂直方向で1944画素～2160画素（分割画面＃２のみに着目すると、0 ～384 ）までの領域（矩形領域）が重複領域であると判断して削除した上で、水平方向で3840画素の領域を、重複領域を含まない分割画面＃２として切り出す。
　さらに、画面結合部２２２は、例えば、分割画面＃３の基点（ｘ，ｙ）＝（３８４０，２１６０）であることから、分割画面＃３について、水平方向で3456画素目～3840画素目（分割画面＃３のみに着目すると、0 ～216 ）までの領域（矩形領域）が重複領域であると判断して削除し、かつ、垂直方向で1944画素～2160画素（分割画面＃２のみに着目すると、0 ～384 ）までの領域（矩形領域）が重複領域であると判断して削除する。そして、残った領域を、重複領域を含まない分割画面＃３として切り出す。
　その後、画面結合部２２２は、分割画面＃０，＃１，＃２，＃３を連結する。
　なお、第４の実施形態において、映像符号化装置は、配置情報として、重複領域を含む分割画面の基点を示すデータを映像復号装置に伝送するが、重複領域を含まない分割画面の基点を示すデータを映像復号装置に伝送してもよい。
　第４の実施形態では、映像符号化装置は、配置情報を示すデータ及び倍率を示すデータを映像復号装置に伝送するので、入力映像の画面のサイズや重複領域のサイズが変更されても、映像復号装置が柔軟に対応することができ、汎用性を高めることができる。
　なお、第４の実施形態では、映像符号化装置は、倍率を示すデータも映像復号装置に伝送するが、配置情報を示すデータだけを伝送するようにしてもよい。その場合には、映像復号装置において、例えば、アップサンプリング部２２１が、配置情報から倍率を導出する。一例として、アップサンプリング部２２１は、水平方向の分割画面の境界が3840画素目であって垂直方向の分割画面の境界が2160画素目であることを把握し、分割画面＃１の基点（ｘ，ｙ）＝（３４５６，０）から水平方向の倍率を算出する。この例では、水平方向の倍率＝［（３８４０－３４５６）／３８４０＋１］である。また、例えば、分割画面＃２の基点（ｘ，ｙ）＝（０，１９４４）から垂直方向の倍率を算出する。この例では、垂直方向の倍率＝［（２１６０－１９４４）／２１６０＋１］である。
　図１８は、映像符号化装置の変形例の処理の流れを示す説明図である。変形例では、映像符号化装置は、まず、一画面全体を縮小し、次いで、縮小分に見合うサイズの重複領域を設定して、入力映像の画面のサイズが水平方向7680×垂直方向4320（画素）である場合、水平方向3840×垂直方向2160（画素）の分割画面に分割する（分割数４の場合）。
　そのような構成を採用した場合にも、上記の各実施形態の場合と同様に、境界線ノイズが低減される効果を得ることができる。
　また、上記の各実施形態では、図２に例示されたように、分割画面の重複領域は、隣接する分割画面における領域とされたが、例えば特許文献２に記載されているように、重複領域を、自分割画面における領域と隣接する分割画面における領域との双方を含む（分割画面の境界を挟む両側の領域）領域と規定される場合にも、上記の各実施形態の概念を適用することができる。
　また、上記の各実施形態では、符号化データが伝送される場合を例にしたが、符号化データを記録媒体に記録する用途にも本発明を適用することができる。
　また、上記の各実施形態を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
　図１９に示す情報処理システムは、プロセッサ１００１、プログラムメモリ１００２、映像データを格納するための記憶媒体１００３およびビットストリームを格納するための記憶媒体１００４を備える。記憶媒体１００３と記憶媒体１００４とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。
　図１９に示された情報処理システムにおいて、プログラムメモリ１００２には、図１，図３，図４，図７，図８，図９，図１１，図１４，図１７のそれぞれに示された各ブロック（バッファのブロックを除く）の機能を実現するためのプログラム（映像符号化プログラム又は映像復号プログラム）が格納される。そして、プロセッサ１００１は、プログラムメモリ１００２に格納されているプログラムに従って処理を実行することによって、映像符号化装置又は映像復号装置の機能を実現する。
　以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１５年９月２４日に出願された日本特許出願２０１５－１８６３７０を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１００，１００Ａ，１００Ｂ，１００Ｃ，１００Ｄ　　符号化部
　１０３　　周波数変換／量子化器
　１０４　　逆量子化／逆周波数変換器
　１０５　　バッファ
　１０６　　予測器
　１０７　　エントロピー符号化器
　１１１　　画面分割／縮小部
　１１２　　多重化部
　１１３　　倍率決定部
　１２１　　画面分割部
　１２２　　ダウンサンプリング部
　２００，２００Ａ，２００Ｂ，２００Ｃ，２００Ｄ　　復号部
　２０２　　エントロピー復号器
　２０３　　逆量子化／逆周波数変換器
　２０４　　予測器
　２０５　　バッファ
　２１１　　多重化解除部
　２１２　　画面拡張／結合部
　２２１　　アップサンプリング部
　２２２　　画面結合部
　１００１　プロセッサ
　１００２　プログラムメモリ
　１００３，１００４　記憶媒体

Claims (18)

  1. 　映像を構成する画像を所定個の分割画像に分割する分割手段と、
    　前記分割画像の全体を所定倍率で縮小する縮小手段と、
    　縮小された前記分割画像を符号化する符号化手段と
    　を備えた映像符号化装置。
  2. 　前記分割手段は、少なくとも分割画像に隣接する他の分割画像における所定領域を含む重複領域を当該分割画像に含める
    　請求項１記載の映像符号化装置。
  3. 　映像を構成する画像の大きさと前記所定領域の大きさとに基づいて前記所定倍率を決定する倍率決定手段を備えた
    　請求項２記載の映像符号化装置。
  4. 　画像における分割画像の配置位置を特定可能な配置情報をビットストリームに多重化する多重化手段を備えた
    　請求項１から請求項３のうちのいずれか１項に記載の映像符号化装置。
  5. 　映像を構成する画像の大きさが１ラインあたり７６８０画素で４３２０ラインの８Ｋ映像データを入力し、
    　分割手段は、画像を、同じサイズの４つの分割画像に分割する
    　請求項１から請求項４のうちのいずれか１項に記載の映像符号化装置。
  6. 　少なくとも分割画像に隣接する他の分割画像における所定領域を含む重複領域が含まれる分割画像のサブビットストリームを含むビットストリームから抽出されたサブビットストリームを復号する復号手段と、
    　前記ビットストリームに多重化された情報であって画像における分割画像の配置位置を特定可能な配置情報に基づいて、分割画像全体を拡大した後に、映像を構成する画像を再生する画像再生手段と
    　を備えた映像復号装置。
  7. 　映像を構成する画像を所定個の分割画像に分割し、
    　前記分割画像の全体を所定倍率で縮小し、
    　縮小された前記分割画像を符号化する
    　映像符号化方法。
  8. 　少なくとも分割画像に隣接する他の分割画像における所定領域を含む重複領域を当該分割画像に含める
    　請求項７記載の映像符号化方法。
  9. 　映像を構成する画像の大きさと前記所定領域の大きさとに基づいて前記所定倍率を決定する
    　請求項８記載の映像符号化方法。
  10. 　画像における分割画像の配置位置を特定可能な配置情報をビットストリームに多重化する
    　請求項７から請求項９のうちのいずれか１項に記載の映像符号化方法。
  11. 　映像を構成する画像の大きさが１ラインあたり７６８０画素で４３２０ラインの８Ｋ映像データを入力し、
    　画像を、同じサイズの４つの分割画像に分割する
    　請求項７から請求項１０のうちのいずれか１項に記載の映像符号化方法。
  12. 　少なくとも分割画像に隣接する他の分割画像における所定領域を含む重複領域が含まれる分割画像のサブビットストリームを含むビットストリームから抽出されたサブビットストリームを復号し、
    　前記ビットストリームに多重化された情報であって画像における分割画像の配置位置を特定可能な配置情報に基づいて、分割画像全体を拡大した後に、映像を構成する画像を再生する
    　映像復号方法。
  13. 　コンピュータに、
    　映像を構成する画像を所定個の分割画像に分割する処理と、
    　前記分割画像の全体を所定倍率で縮小する処理と、
    　縮小された前記分割画像を符号化する処理と
    　を実行させるための映像符号化プログラム。
  14. 　コンピュータに、少なくとも分割画像に隣接する他の分割画像における所定領域を含む重複領域を当該分割画像に含める処理を実行させる
    　請求項１３記載の映像符号化プログラム。
  15. 　コンピュータに、映像を構成する画像の大きさと前記所定領域の大きさとに基づいて前記所定倍率を決定する処理を実行させる
    　請求項１４記載の映像符号化プログラム。
  16. 　コンピュータに、画像における分割画像の配置位置を特定可能な配置情報をビットストリームに多重化する処理を実行させる
    　請求項１３から請求項１５のうちのいずれか１項に記載の映像符号化プログラム。
  17. 　コンピュータに、映像を構成する画像の大きさが１ラインあたり７６８０画素で４３２０ラインの８Ｋ映像データを入力した場合に、画像を、同じサイズの４つの分割画像に分割する処理を実行させる
    　請求項１３から請求項１６のうちのいずれか１項に記載の映像符号化プログラム。
  18. 　コンピュータに、
    　少なくとも分割画像に隣接する他の分割画像における所定領域を含む重複領域が含まれる分割画像のサブビットストリームを含むビットストリームから抽出されたサブビットストリームを復号する処理と、
    　前記ビットストリームに多重化された情報であって画像における分割画像の配置位置を特定可能な配置情報に基づいて、分割画像全体を拡大した後に、映像を構成する画像を再生する処理と
    　を実行させるための映像復号プログラム。
PCT/JP2016/003227 2015-09-24 2016-07-07 映像符号化装置及び映像復号装置 WO2017051492A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-186370 2015-09-24
JP2015186370 2015-09-24

Publications (1)

Publication Number Publication Date
WO2017051492A1 true WO2017051492A1 (ja) 2017-03-30

Family

ID=58385918

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/003227 WO2017051492A1 (ja) 2015-09-24 2016-07-07 映像符号化装置及び映像復号装置

Country Status (1)

Country Link
WO (1) WO2017051492A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112470473A (zh) * 2018-07-27 2021-03-09 索尼半导体解决方案公司 图像处理装置以及图像处理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05207440A (ja) * 1992-01-30 1993-08-13 Matsushita Electric Ind Co Ltd 符号量制御装置
JPH10234043A (ja) * 1997-02-20 1998-09-02 Toshiba Corp 動画像符号化／復号化装置
JPH11122610A (ja) * 1997-10-17 1999-04-30 Toshiba Corp 画像符号化方法及び画像復号化方法並びにこれらの装置
JP2001145073A (ja) * 1999-11-11 2001-05-25 Korabotekku:Kk 動画像伝送方法
JP2010226672A (ja) * 2009-03-25 2010-10-07 Nippon Hoso Kyokai <Nhk> 画像分割装置、分割画像符号化装置及びプログラム
JP2011181980A (ja) * 2010-02-26 2011-09-15 Nippon Hoso Kyokai <Nhk> 画面分割符号化装置およびそのプログラム、並びに、画面分割復号装置およびそのプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05207440A (ja) * 1992-01-30 1993-08-13 Matsushita Electric Ind Co Ltd 符号量制御装置
JPH10234043A (ja) * 1997-02-20 1998-09-02 Toshiba Corp 動画像符号化／復号化装置
JPH11122610A (ja) * 1997-10-17 1999-04-30 Toshiba Corp 画像符号化方法及び画像復号化方法並びにこれらの装置
JP2001145073A (ja) * 1999-11-11 2001-05-25 Korabotekku:Kk 動画像伝送方法
JP2010226672A (ja) * 2009-03-25 2010-10-07 Nippon Hoso Kyokai <Nhk> 画像分割装置、分割画像符号化装置及びプログラム
JP2011181980A (ja) * 2010-02-26 2011-09-15 Nippon Hoso Kyokai <Nhk> 画面分割符号化装置およびそのプログラム、並びに、画面分割復号装置およびそのプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112470473A (zh) * 2018-07-27 2021-03-09 索尼半导体解决方案公司 图像处理装置以及图像处理方法

Similar Documents

Publication Publication Date Title
KR100657268B1 (ko) 컬러 영상의 신축적 부호화, 복호화 방법 및 장치
US7899115B2 (en) Method for scalably encoding and decoding video signal
WO2015012227A1 (ja) 情報処理装置および方法
KR100903712B1 (ko) 부호화 데이터 출력 방법 및 장치, 재부호화 데이터 생성방법 및 장치, 부호화 데이터 복원 방법 및 장치, 부호화방법 및 장치, 및 컴퓨터 판독 가능한 기록 매체
KR20200023500A (ko) 화상 처리 장치 및 방법
JP2022513716A (ja) 相互予測と表示のための適応型画像解像度の再スケーリング
JP2016092837A (ja) 映像圧縮装置、映像再生装置および映像配信システム
JP5395307B2 (ja) 動画像復号化装置および動画像復号化方法
JP2022526726A (ja) 符号化ビデオストリームにおける適応パラメータセット参照および制約のための方法
JP5508024B2 (ja) ビデオ信号を符号化するための方法及びシステム、符号化されたビデオ信号、並びに、ビデオ信号を復号するための方法及びシステム
JPWO2007148619A1 (ja) 動画像復号装置、復号画像記録装置、それらの方法及びプログラム
JP2024102338A (ja) ピクチャヘッダを含む映像情報をコーディングする映像デコーディング方法及びその装置
JP6013547B2 (ja) 画像符号化装置および画像符号化方法
JP2023175009A (ja) ピクチャ分割情報をシグナリングする方法及び装置
CN114258682A (zh) 具有参考图片重采样的环绕运动补偿方法
WO2017051492A1 (ja) 映像符号化装置及び映像復号装置
WO2015005024A1 (ja) 画像処理装置及び画像処理方法
KR100708209B1 (ko) 컬러 영상의 신축적 부호화, 복호화 방법 및 장치
JP2022531117A (ja) ビデオデータをコーディングするための方法、装置、およびコンピュータプログラム
JP6566864B2 (ja) ビットストリーム変換装置、ビットストリーム変換方法、配信システム及びコンピュータ可読記録媒体
US20240275982A1 (en) Method and apparatus for deriving motion vector
WO2016098280A1 (ja) 映像符号化装置、映像復号装置および映像配信システム
JP2002135774A (ja) 圧縮映像情報の伝送装置
US20230319304A1 (en) Process and apparatus for controlling compressed motion vectors
US20240056591A1 (en) Method for image coding based on signaling of information related to decoder initialization

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16848286

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16848286

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP