WO2020022101A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2020022101A1
WO2020022101A1 PCT/JP2019/027642 JP2019027642W WO2020022101A1 WO 2020022101 A1 WO2020022101 A1 WO 2020022101A1 JP 2019027642 W JP2019027642 W JP 2019027642W WO 2020022101 A1 WO2020022101 A1 WO 2020022101A1
Authority
WO
WIPO (PCT)
Prior art keywords
video data
lines
image processing
data
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/027642
Other languages
English (en)
French (fr)
Inventor
平田 稔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2020532297A priority Critical patent/JP7350744B2/ja
Priority to CN201980048405.3A priority patent/CN112470473B/zh
Publication of WO2020022101A1 publication Critical patent/WO2020022101A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Definitions

  • the present disclosure relates to an image processing apparatus and an image processing method, and more particularly, to an image processing apparatus and an image processing method that can realize a codec system with reduced cost.
  • a codec system for an 8K4K image using a 4K2K (3840 ⁇ 2160 pixel) image or an 8K1K (7680 ⁇ 1080 pixel) image having the same processing amount as the codec processing at 60p or 120p, for example, in four parallels.
  • Patent Literature 1 discloses a display system in which a plurality of display control devices connected in cascade divide a video and perform display control.
  • a downstream display control device controls display of an image in its own display area based on control information included in an image from an upstream display control device.
  • the number of lines of video data input to each LSI is: It will be 1080 lines conforming to the standard.
  • the number of lines of codec processing performed by each LSI needs to be an integral multiple of 16 or 64, for example, 1088 lines or 1056 lines.
  • codec processing video data of the number of lines conforming to the standard the number of connection systems increases, so that the apparatus scale and power consumption increase and the cost increases.
  • the present disclosure has been made in view of such a situation, and is intended to realize a codec system with reduced cost.
  • An image processing device includes a plurality of image processing units that perform codec processing in parallel on video data having a standard number of lines obtained by dividing an image having a predetermined resolution, and one image processing unit includes: Output of the video data of a predetermined number of lines of the standard number of lines to another image processing unit, input from another image processing unit, and either of the output and the input
  • An image processing apparatus having a data generation unit for generating the video data of the number of lines capable of performing the codec processing.
  • An image processing method is directed to an image processing apparatus including a plurality of image processing units that codec processes video data of a standard number of lines obtained by dividing an image having a predetermined resolution in parallel.
  • a processing unit configured to output the video data of a predetermined number of lines of the standard number of lines to another image processing unit, an input from another image processing unit, and the output and the input.
  • An image processing method including a data generation unit that generates the video data of the number of lines that can be subjected to the codec processing by either of them.
  • video data of a predetermined number of lines of the standard number of lines is output to another image processing unit, further input from another image processing unit, and the output and the Either of the inputs generates video data for the number of lines that can be codec processed.
  • An image processing apparatus includes a plurality of image processing units that perform codec processing in parallel on video data having a standard number of lines obtained by dividing an image having a predetermined resolution, and one image processing unit includes: The video data of a predetermined number of lines out of the number of lines that can be subjected to the codec processing, output to another image processing unit, input from another image processing unit, and both the output and the input And an image processing apparatus having a data generation unit that generates the video data having the standard number of lines.
  • An image processing method is directed to an image processing apparatus including a plurality of image processing units that codec processes video data of a standard number of lines obtained by dividing an image having a predetermined resolution in parallel.
  • a processing unit the video data of a predetermined number of lines of the number of lines capable of the codec processing, output to the other image processing unit, further input from the other image processing unit, and the output and An image processing method for generating the video data of the standard number of lines by either of the inputs.
  • video data of a predetermined number of lines of the number of lines that can be subjected to codec processing output to another image processing unit, input from another image processing unit, and Either the output or the input generates video data of a standard number of lines.
  • An image processing apparatus includes a plurality of image processing units that perform codec processing in parallel on video data having a standard number of lines obtained by dividing an image having a predetermined resolution, and one image processing unit includes: Output of the video data of a predetermined number of lines of the standard number of lines to another image processing unit, input from another image processing unit, and either of the output and the input
  • a first data generation unit for generating the video data of the number of lines capable of performing the codec processing, and another image processing of the video data of a predetermined number of lines of the number of lines capable of performing the codec processing Output from the image processing unit, and the video data of the standard number of lines by either of the output and the input.
  • An image processing method is directed to an image processing apparatus including a plurality of image processing units that codec processes video data of a standard number of lines obtained by dividing an image of a predetermined resolution in parallel.
  • a processing unit configured to output the video data of a predetermined number of lines of the standard number of lines to another image processing unit, an input from another image processing unit, and the output and the input.
  • the video data of the number of lines capable of performing the codec processing is generated, and the video data of a predetermined number of lines of the number of lines capable of performing the codec processing is transmitted to another image processing unit.
  • the video data of the standard number of lines by an output, an input from another image processing unit, and either the output or the input.
  • video data of a predetermined number of lines of the standard number of lines is output to another image processing unit, further input from another image processing unit, and the output and the
  • video data of the number of lines that can be subjected to codec processing is generated, and the video data of a predetermined number of lines of the number of lines that can be processed by the codec is transmitted to another image processing unit.
  • the output, the input from the other image processing unit, and either the output or the input generate the video data of the standard number of lines.
  • FIG. 3 is a diagram for explaining connection between a video recorder and an image processing unit.
  • FIG. 4 is a diagram illustrating connection lines required for inputting video data.
  • FIG. 3 is a diagram illustrating input of video data.
  • FIG. 3 is a diagram illustrating input of video data.
  • FIG. 2 is a block diagram illustrating a configuration example of an image processing apparatus that processes an 8K4K image.
  • FIG. 2 is a block diagram illustrating a configuration example of an image processing apparatus that processes an 8K4K image.
  • 1 is a block diagram illustrating a configuration example of an encoding device to which the technology of the present disclosure has been applied. It is a flowchart explaining a video data generation process.
  • FIG. 4 is a diagram illustrating connection lines required for inputting video data.
  • FIG. 3 is a diagram illustrating input of video data.
  • FIG. 2 is a block diagram illustrating a configuration example of an image processing apparatus that processes an 8K4K image.
  • FIG. 1 is
  • FIG. 35 is a block diagram illustrating a configuration example of a decoding device to which the technology of the present disclosure has been applied. It is a flowchart explaining a video data generation process.
  • FIG. 3 is a diagram illustrating a flow of video data.
  • FIG. 3 is a diagram for describing details of a data flow in the encoding device. It is a figure which illustrates about the amount of data transmitted. It is a figure explaining the detail of the flow of data in a decoding device.
  • FIG. 35 is a block diagram illustrating another configuration example of the encoding device.
  • FIG. 35 is a block diagram illustrating another configuration example of the encoding device.
  • FIG. 39 is a block diagram illustrating another configuration example of the decoding device.
  • FIG. 4 is a diagram illustrating a data flow.
  • FIG. 35 is a block diagram illustrating another configuration example of the encoding device.
  • FIG. 3 is a block diagram illustrating a first configuration example of a codec device.
  • FIG. 4 is a block diagram illustrating a second configuration example of the codec device.
  • FIG. 3 is a diagram illustrating a flow of video data.
  • FIG. 3 is a diagram illustrating a flow of video data.
  • the number of pixels of the 8K4K image is 7680 ⁇ 4320 pixels for digital broadcasting, but may be 8192 ⁇ 4320 pixels for digital cinema.
  • the number of pixels of a 4K2K image is 3840 ⁇ 2160 pixels in recording media such as digital broadcasting and UHD BD (Ultra HD Blu-ray (registered trademark)), but may be 4096 ⁇ 2160 pixels for digital cinema. Good.
  • the parallel method 1 is a method in which chips capable of codec processing a 4K2K image at 60p or 120p are simply operated in a 4-parallel synchronous manner, and a bit stream generated from each chip is transmitted using a wired or wireless line. is there. On the receiving side, the four synchronized video data are restored and synchronously reproduced. This method can be realized relatively easily using existing equipment having a standard video data input / output IF.
  • the bit stream is divided into four systems instead of one system. Therefore, although this method can be used for demonstrations of limited applications and transmission, the parallel method 1 cannot be used because it does not conform to the 8K4K standard.
  • the parallel method 2 is a method in which chips for performing codec processing of an 8K1K (7680 ⁇ 1080 pixels) image having the same processing amount as a 4K2K image are used in four parallel.
  • parallel system 2 it is intended to generate one system of bit stream, and the video data input / output IF of each of the four chips inputs and outputs 1080 lines of video data, which is the standard number of lines.
  • the parallel system 3 is a system that satisfies the restriction on the number of lines of codec processing of each chip of four parallels and does not perform processing on the bottom eight lines.
  • each of the four parallel chips processes video data of 8K1K size obtained by dividing 8K4K video data into four from the top.
  • the video data of the top three areas processed by the chips # 01, # 02, and # 03 are 7680 ⁇ 1088 pixels, and The video data in the lowermost area processed by # 04 is 7680 ⁇ 1056 pixels.
  • the two parallel chips may process 8K2K video data obtained by dividing the 8K4K video data into two from the top.
  • the video data in the upper region processed by chip # 10 is 7680 ⁇ 2176 pixels
  • the video data in the lower region processed by chip # 11 is 7680. ⁇ 2144 pixels.
  • the parallel method 3 is a method in which 1088, 1054, 2176, and 2144 lines that do not conform to the standard are standardized as a new standard as an input / output IF standard between each chip and an external device, and a device that supports the new standard is used. .
  • each chip performs a decoding process for a specified number of lines, and outputs the data from an input / output IF compatible with the new standard.
  • the parallel method 3 in which it is necessary to add the number of lines that is not in the standard of the existing input / output IF is technically applicable and has no problem in the processing contents.
  • the parallel method 3 cannot be adopted.
  • the parallel method 4 is a method for processing video data of a number of lines that does not conform to the standard, like the parallel method 3.
  • 8K1K 7680 ⁇ 1088, 7680 ⁇ 1054 pixels
  • 8K2K 7680 ⁇ 2176, 7680 ⁇ 2144 pixels
  • a 4K2K (3840 ⁇ 2160 pixel) video recorder inputs video data using four full HD (1920 ⁇ 1080 pixel) video IFs. Each of the video data obtained by dividing the image into four parts in the vertical and horizontal directions becomes video data for four systems.
  • a 4K2K video recorder is used as an 8K1K (7680 ⁇ 1080 pixel) compatible device in which four full HD areas are arranged horizontally.
  • FIG. 1 is a diagram illustrating the connection between the above-described video recorder and an image processing unit (chip) that processes video data from the video recorder.
  • the block on the left side in the figure shows four video recorders, and the block on the right side in the figure shows four image processing units # 00, # 01, # 02, # 03.
  • each of the image processing units # 00, # 01, and # 02 has the 8G of the 3G-SDI cable or the HDMI 1.4a cable. Two connection lines are required. Although not shown, the image processing unit # 03 requires four connection lines. In the following, it is assumed that a 3G-SDI cable is used as a connection line.
  • 8K1K (7680 ⁇ Video data for 1080 pixels) is input as video data for four systems of full HD (1920 ⁇ 1080 pixels) using four 3G-SDI cables.
  • video data for the lower eight lines is not input, video data for eight lines is input as video data for four full HDs using four more 3G-SDI cables.
  • 3G-SDI cables As shown in FIG. 3, when inputting video data of 1080 lines of the standard, four 3G-SDI cables may be used. Therefore, to transmit 8K4K video data, 16 3G-SDI cables are used.
  • FIG. 5 is a block diagram illustrating a configuration example of an image processing apparatus that processes the above-described 8K4K image.
  • the block groups of four systems shown in FIG. 5 correspond to the image processing units # 00, # 01, # 02, and # 03 (FIG. 1) from the top.
  • a broken line arrow input to the video IO unit is a connection line with an external device conforming to the standard, and is, for example, a 3G-SDI cable.
  • the video IO unit performs serial / parallel conversion of the input 2160 lines of video data and outputs the converted data to the subsequent data processing unit.
  • the data processing unit generates 1088 lines of video data by reducing the number of lines of video data of 2160 lines, and outputs the video data to the codec processing unit at the subsequent stage.
  • the video IO section performs serial / parallel conversion on the input video data of 1080 lines and outputs the video data to the subsequent data processing section.
  • the data processing unit generates 1056 lines of video data by reducing the number of lines of video data for 1080 lines, and outputs the video data to the codec processing unit at the subsequent stage.
  • each image processing unit performs codec processing (encoding processing) on the video data from the data processing unit, and outputs the obtained video bit stream data to the stream processing unit.
  • the stream processing unit converts four sets of video bit stream data into one set of video bit stream data and outputs the data.
  • FIG. 6 is a block diagram illustrating a configuration example of an image processing apparatus that processes a 120p 8K4K image.
  • FIG. 6 requires twice the number of connection lines as compared with the configuration of FIG. 5, and the device scale is also doubled. Specifically, 56 3G-SDI cables will be used.
  • the parallel method 4 can be adopted at the stage of the principle trial production and the technical study, but cannot be adopted at the stage of commercializing the device.
  • a codec processing unit may perform a codec process in a raster system.
  • the four video recorders input video data by performing synchronous operation with each other. Since the main use of the images obtained by the video recorder is for screen display, the ability to completely maintain synchronization between the video recorders (devices) is limited. When the synchronization between the devices is temporarily disturbed, frame synchronization may be lost when a plurality of image processing units perform parallel operations.
  • FIG. 7 is a block diagram illustrating a configuration example of an encoding device to which the technology of the present disclosure has been applied.
  • the encoder 10 encodes an 8K4K image input from an external device such as a video recorder (not shown) and outputs video bit stream data.
  • the encoding device 10 includes image processing units 11-1 to 11-4.
  • Each of the image processing units 11-1 to 11-4 is composed of, for example, an independent device or board.
  • the image processing units 11-1 to 11-4 input and process video data of 8K1K size obtained by dividing 8K4K video data into four from the top, that is, video data of 1080 standard lines.
  • To each of the image processing units 11-1 to 11-4 four 3G-SDI cables are connected as connection lines, and video data of 8K1K size is input. That is, each of the image processing units 11-1 to 11-4 has an inter-device input IF corresponding to the standard number of lines.
  • the image processing unit 11-1 includes a data generation unit 20-1, a codec processing unit 30-1, and a stream processing unit 40.
  • the image processing unit 11-2 includes a data generation unit 20-2 and a codec processing unit. It has a section 30-2.
  • the image processing unit 11-3 has a data generation unit 20-3 and a codec processing unit 30-3, and the image processing unit 11-4 has a data generation unit 20-4 and a codec processing unit 30-4. are doing.
  • the data generation units 20-1 to 20-4 have video IO units 21-1 to 21-4 and data acquisition units 22-1 to 22-4, respectively.
  • Each of the data generation units 20-1 to 20-4 may be configured by one chip such as an FPGA (Field-Programmable Gate Array).
  • the image processing units 11-1 to 11-4 when the image processing units 11-1 to 11-4 are not distinguished from each other, they are simply referred to as the image processing unit 11.
  • the data generation units 20-1 to 20-4 when the data generation units 20-1 to 20-4 are not distinguished from each other, they are simply referred to as the data generation units 20, and when the codec processing units 30-1 to 30-4 are not distinguished from each other, they are simply called the codec processing units. It is called 30.
  • the data generation unit 20 outputs a predetermined number of lines of video data of the input 8K1K (1080 lines) video data to another image processing unit 11, further inputs from another image processing unit 11, and ,
  • the video data of the number of lines that can be subjected to the codec processing is generated by either the output or the input.
  • the data generation unit 20-1 receives the input 8K1K (1080 lines) video data and the eight lines of video data input from the image processing unit 11-2 (data generation unit 20-2). , Video data of 7680 ⁇ 1088 pixels (1088 lines) is generated. This video data becomes original format data inside the encoding device 10.
  • the video IO unit 21-1 performs serial / parallel conversion of the input 1080-line video data and outputs the data to the data acquisition unit 22-1.
  • the data acquisition unit 22-1 combines the 1080-line video data from the video IO unit 21-1 with the 8-line video data from the data generation unit 20-2 (video IO unit 21-2). , 1088 lines of video data.
  • a transmission line 51 for transmitting a predetermined number of lines of video data is provided between the data generation unit 20-1 (data acquisition unit 22-1) and the data generation unit 20-2 (video IO unit 21-2). ing.
  • the transmission path 51 is configured by a single connection line such as a single 3G-SDI cable.
  • the data generation unit 20-2 includes 1072 lines of video data obtained by removing the 8 lines of video data output to the image processing unit 11-1 from the input 8K1K (1080 lines) video data, and the image processing unit 11-3.
  • Video data of 7680 ⁇ 1088 pixels (1088 lines) is generated based on the 16 lines of video data input from the (data generation unit 20-3). This video data becomes original format data inside the encoding device 10.
  • the video IO unit 21-2 performs serial / parallel conversion of the input 1080-line video data once, separates the video data of the upper eight lines of the image, and then performs parallel / parallel conversion again. After serial conversion, the image data is output to the image processing unit 11-1 (data acquisition unit 22-1). Also, the video IO unit 21-2 separates the video data of the remaining 1072 lines of the lower part of the image from the 1080 lines, and outputs the video data to the data acquisition unit 22-2. The data acquisition unit 22-2 combines the 1072 lines of video data from the video IO unit 21-2 with the 16 lines of video data received from the data generation unit 20-3 (video IO unit 21-3). , 1088 lines of video data.
  • a transmission line 52 for transmitting a predetermined number of lines of video data is provided between the data generation unit 20-2 (data acquisition unit 22-2) and the data generation unit 20-3 (video IO unit 21-3). ing.
  • the transmission path 52 is configured by a single connection line such as a single 3G-SDI cable.
  • the data generation unit 20-3 includes 1064 lines of video data obtained by removing the 16 lines of video data output to the image processing unit 11-2 from the input 8K1K (1080 lines) video data, and the image processing unit 11-4.
  • Video data of 7680 ⁇ 1088 pixels (1088 lines) is generated based on the 24 lines of video data input from the (data generation unit 20-4). This video data becomes original format data inside the encoding device 10.
  • the video IO unit 21-3 performs serial / parallel conversion of the input 1080-line video data once, separates the video data of the upper 16 lines of the image, and then performs the parallel / video conversion again. After serial conversion, the data is output to the image processing unit 11-2 (data acquisition unit 22-2). Also, the video IO unit 21-3 separates the video data of the lower 1064 lines of the remaining 1080 lines of the image, and outputs the separated data to the data acquisition unit 22-3.
  • the data acquisition unit 22-3 combines the 1064 lines of video data from the video IO unit 21-3 with the 24 lines of video data received from the data generation unit 20-4 (video IO unit 21-4). , 1088 lines of video data.
  • a transmission line 53 for transmitting a predetermined number of lines of video data is provided between the data generation unit 20-3 (data acquisition unit 22-3) and the data generation unit 20-4 (video IO unit 21-4). ing.
  • the transmission path 53 is configured by a single connection line such as a single 3G-SDI cable.
  • the data generation unit 20-4 generates video data of 7680 ⁇ 1056 pixels (1056 lines) by removing the 24 lines of video data output to the image processing unit 11-3 from the input 8K1K (1080 lines) video data. I do. This video data becomes original format data inside the encoding device 10.
  • the video IO unit 21-4 performs serial / parallel conversion of the input 1080-line video data once, separates the video data of the upper 24 lines of the image, and then performs the parallel / After serial conversion, the image data is output to the image processing unit 11-3 (data acquisition unit 22-3). Further, the video IO unit 21-4 separates the video data of the lower 1056 lines of the remaining 1080 lines of the image, and outputs the video data to the data acquisition unit 22-4. The data acquisition unit 22-4 acquires 1056 lines of video data from the data generation unit 20-4.
  • Each codec processing section 30 performs codec processing (encoding processing) on the video data of the number of lines (1088 lines or 1056 lines) that can be subjected to codec processing generated by the data generation section 20, and converts the obtained video bit stream data. , To the stream processing unit 40 of the image processing unit 11-1. Each codec processing unit 30 is configured by one LSI.
  • the stream processing unit 40 of the image processing unit 11-1 converts the four video bit stream data of each image processing unit 11 into one video bit stream data and outputs it.
  • the stream processing unit 40 is configured by one LSI.
  • the codec processing unit 30-1 and the stream processing unit 40 may be configured by one LSI.
  • the transmission lines 51, 52, and 53 are configured by a single connection line such as a 3G-SDI cable.
  • a connection capable of transmitting a video data amount equal to or less than full HD such as an HDMI cable. It may be configured by a transmission path using an IF or a unique IF.
  • FIG. 8 is a flowchart illustrating a video data generation process in the encoding device 10.
  • the processing in FIG. 8 can be executed by hardware or can be executed by software.
  • a program constituting the software may be installed in an FPGA constituting the data generation unit 20.
  • step S11 the data generation unit 20 of each image processing unit 11 receives 8K1K (1080 lines) video data input from an external device.
  • each data generating unit 20 receives video data of a predetermined number of lines of the 8K1K video data from another image processing unit 11, sends it to another image processing unit 11, or Do both.
  • each data generation unit 20 performs encoding based on the video data obtained by receiving from the other image processing unit 11, sending to the other image processing unit 11, or both. Generates 1088 or 1056 lines of video data that can be processed.
  • the number of lines of codec processing can be reduced without inputting video data of a number of lines that do not conform to the standard. Can be satisfied.
  • the number of connection lines of the entire apparatus can be reduced from 28 to 19 in the configuration of FIG. 5, the apparatus scale, the component cost, the power consumption can be suppressed, and the codec system with reduced cost. Can be realized.
  • the amount of video data transmitted between the image processing units is a maximum of 24 lines
  • one transmission path capable of transmitting video data equivalent to full HD is provided between the image processing units. I just need. In this case, only 96 lines, which is four times at most 24 lines, are consumed for transmission.
  • FIG. 9 is a block diagram illustrating a configuration example of a decoding device to which the technology of the present disclosure has been applied.
  • the decoding device 60 performs a decoding process by dividing the video bit stream data output from the above-described encoding device 10 and the like into video bit stream data for each image processing unit and supplying the video bit stream data to each image processing unit. Further, the decoding device 60 reconstructs the video data restored in each image processing unit and outputs an 8K4K image.
  • the decoding device 60 includes image processing units 61-1 to 61-4.
  • Each of the image processing units 61-1 to 61-4 is configured by, for example, an independent device or board.
  • the image processing units 61-1 to 61-4 output 8K1K-size video data obtained by dividing 8K4K video data into four from the top, that is, standard-line 1080-line video data.
  • 8K1K-size video data obtained by dividing 8K4K video data into four from the top, that is, standard-line 1080-line video data.
  • To each of the image processing units 61-1 to 61-4 four 3G-SDI cables or the like are connected as connection lines, and video data of 8K1K size is output. That is, the image processing units 61-1 to 61-4 include the inter-device output IF corresponding to the standard number of lines.
  • the image processing unit 61-1 includes a stream processing unit 70 that processes video bit stream data, a codec processing unit 80-1, and a data generation unit 90-1. It has a unit 80-2 and a data generation unit 90-2.
  • the image processing section 61-3 has a codec processing section 80-3 and a data generation section 90-3, and the image processing section 61-4 has a codec processing section 80-4 and a data generation section 90-4. are doing.
  • the data generation units 90-1 to 90-4 have data acquisition units 91-1 to 91-4 and video IO units 92-1 to 92-4, respectively.
  • Each of the data generation units 90-1 to 90-4 may be configured by one chip such as an FPGA, for example.
  • the image processing units 61-1 to 61-4 when the image processing units 61-1 to 61-4 are not distinguished from each other, they are simply referred to as the image processing units 61.
  • the codec processing units 80-1 to 80-4 are not distinguished from each other, they are simply referred to as a codec processing unit 80.
  • the data generation units 90-1 to 90-4 are not distinguished from each other, they are simply referred to as data generation units. 90.
  • the stream processing unit 70 of the image processing unit 61-1 divides one system of video bit stream data into four systems of video bit stream data of each image processing unit 61 and outputs the divided data.
  • the stream processing unit 70 may be configured by one LSI.
  • Each codec processing section 80 performs codec processing (decoding processing) on the video bit stream data divided by the stream processing section 70, and converts the video data of the number of lines (1088 lines or 1056 lines) that can be subjected to codec processing to the data generation section 90. Output to This video data becomes original format data inside the decoding device 60.
  • Each codec processing unit 80 is configured by one LSI. In the image processing unit 61-1, the stream processing unit 70 and the codec processing unit 80-1 may be configured by one LSI.
  • the data generation unit 90 outputs the video data of the number of lines that can be subjected to codec processing from the codec processing unit 80 to the other image processing unit 61, further inputs from the other image processing unit 61, and outputs the video data. Either of the inputs generates video data of the standard number of lines (1080 lines).
  • the data generation unit 90-1 converts the 888 lines of video data to be output to the image processing unit 61-2 (video IO unit 92-2) from the codec processed (decoded) 1088 lines of video data.
  • 8K1K video data is generated based on the 1080-line video data excluding.
  • the data acquisition unit 91-1 outputs the 1080-line video data of the 1088-line video data from the codec processing unit 80-1 to the video IO unit 92-1.
  • the remaining eight lines of video data at the top of the image are converted from parallel / serial, and output to the data generator 90-2 (video IO unit 92-2).
  • the video IO unit 92-1 performs parallel / serial conversion of the video data of 1080 lines from the data acquisition unit 91-1 and outputs 8K1K video data.
  • a transmission line 101 for transmitting a predetermined number of lines of video data is provided between the data generation unit 90-1 (data acquisition unit 91-1) and the data generation unit 90-2 (video IO unit 92-2). ing.
  • the transmission path 101 is configured by a single connection line such as a single 3G-SDI cable.
  • the data generation unit 90-2 converts the eight lines of video data input from the image processing unit 61-1 (data generation unit 90-1) and the 1088 lines of video data subjected to codec processing (decoding processing) into an image processing unit 8K1K video data is generated based on the 1072 lines of video data excluding the 16 lines of video data output to 61-3 (video IO unit 92-3).
  • the data acquisition unit 91-2 receives 1088 lines of video data from the codec processing unit 80-2.
  • the data acquisition unit 91-2 outputs the 1072 lines of video data at the lower part of the image to the video IO unit 92-2, and performs parallel / serial conversion of the remaining 16 lines of video data at the upper part of the image.
  • the data is output to the data generation unit 90-3 (video IO unit 92-3).
  • the video IO unit 92-2 includes 1072 lines of video data at the bottom of the image from the data acquisition unit 91-2 and 8 lines of the top of the image from the image processing unit 61-1 (data generation unit 90-1). By synthesizing the video data, the video data of the standard number of lines (1080 lines) is restored, and further parallel / serial conversion is performed to output 8K1K video data.
  • a transmission line 102 for transmitting a predetermined number of lines of video data is provided between the data generation unit 90-2 (data acquisition unit 91-2) and the data generation unit 90-3 (video IO unit 92-3). ing.
  • the transmission path 102 is configured by a single connection line such as a single 3G-SDI cable.
  • the data generation unit 90-3 converts the 16-line video data input from the image processing unit 61-2 (data generation unit 90-1) and the 1088-line video data subjected to codec processing (decoding processing) into an image processing unit 8K1K video data is generated based on 1064 lines of video data excluding the 24 lines of video data output to 61-4 (video IO unit 92-4).
  • the data acquisition unit 91-3 receives 1088 lines of video data from the codec processing unit 80-3.
  • the data acquisition unit 91-3 outputs 1064 lines of video data at the lower part of the image to the video IO unit 92-3, and performs parallel / serial conversion on the remaining 24 lines of video data at the upper part of the image.
  • the data is output to the data generation unit 90-4 (video IO unit 92-4).
  • the video IO unit 92-3 includes 1064 lines of video data at the bottom of the image from the data acquisition unit 91-3 and 16 lines of the top of the image from the image processing unit 61-2 (data generation unit 90-2). By synthesizing the video data, the video data of the standard number of lines (1080 lines) is restored, and further parallel / serial conversion is performed to output 8K1K video data.
  • a transmission line 103 for transmitting a predetermined number of lines of video data is provided between the data generation unit 90-3 (data acquisition unit 91-3) and the data generation unit 90-4 (video IO unit 92-4). ing.
  • the transmission path 104 is composed of a single connection line such as one 3G-SDI cable.
  • the data generation unit 90-4 is configured based on the 24 lines of video data input from the image processing unit 61-3 (data generation unit 90-3) and the 1056 lines of video data subjected to codec processing (decoding processing). Generate 8K1K video data.
  • the data acquisition unit 91-4 receives 1056 lines of video data from the codec processing unit 80-4 and outputs the video data to the video IO unit 92-4 as video data to be the lower part of the image.
  • the video IO unit 92-4 includes 1056 lines of video data at the lower part of the image from the data acquisition unit 91-4 and 24 lines at the upper part of the image from the image processing unit 61-3 (data generation unit 90-3). By synthesizing the video data, the video data of the standard number of lines (1080 lines) is restored, and further parallel / serial conversion is performed to output 8K1K size video data.
  • the transmission paths 101, 102, and 103 are configured by 3G-SDI cables, but may be configured by transmission paths capable of transmitting full HD video data such as HDMI cables.
  • FIG. 10 is a flowchart illustrating the video data generation processing in the decoding device 60.
  • the processing in FIG. 10 can be executed by hardware or can be executed by software.
  • a program constituting the software may be installed in an FPGA constituting the data generation unit 90.
  • step S21 the data generation unit 90 of each image processing unit 61 receives the 1088-line or 1056-line video data decoded by the codec processing unit 80.
  • each data generation unit 90 receives video data of a predetermined number of lines of the decoded video data from another image processing unit 61, or sends the video data to another image processing unit 61, or Do both.
  • each data generating unit 90 receives a signal from another image processing unit 61, sends the data to another image processing unit 61, or performs standard processing based on video data obtained by performing both of them. 8K1K video data of the number of lines conforming to the standard is generated.
  • video data of a predetermined number of lines is transmitted between the image processing units, so that the video data of the number of lines conforming to the standard is satisfied while satisfying the restriction of the number of lines of the codec processing. Can be output.
  • the number of connection lines in the entire apparatus can be reduced, the apparatus scale, component cost, and power consumption can be suppressed, and a codec system with reduced cost can be realized.
  • FIG. 11 is a diagram for explaining the flow of video data between the encoding device 10 and the decoding device 60 described above.
  • the left side of the figure shows 8K1K (7680 ⁇ 1080 pixels) video data of the standard number of lines input from four 4K2K video recorders (Rec # 0 to # 3).
  • the 1080-line video data from Rec # 0 is combined with the 8-line video data from Rec # 1 by the encoding device 10 (image processing unit 11-1), and codec processing is performed based on the 1088-line video data. And output as video bit stream data.
  • the 1072 lines of video data from Rec # 1 excluding the upper eight lines of video data are combined with the 16 lines of video data from Rec # 2 by the encoding device 10 (image processing unit 11-2). , And codec processing is performed based on 1088 lines of video data, and output as video bit stream data.
  • the 1064 lines of video data from Rec # 2 excluding the upper 16 lines of video data are combined with the 24 lines of video data from Rec # 3 by the encoding device 10 (image processing unit 11-3). , And codec processing is performed based on 1088 lines of video data, and output as video bit stream data.
  • the video data of 1056 lines from Rec # 3 excluding the video data of the upper 24 lines is subjected to codec processing by the encoding device 10 (image processing unit 11-4) and output as video bit stream data. .
  • the video data of the number of lines that can be subjected to the codec processing is generated from the video data of the standard number of lines.
  • the video bit stream data of 1088 lines from the image processing unit 11-1 is divided into 1080 lines of video data and lower 8 lines of video data by the decoding device 60 (image processing unit 61-1).
  • 1080 lines of video data are output as restored video data of the standard number of lines (1080 lines) after codec processing.
  • the video bit stream data of 1088 lines from the image processing unit 11-2 is divided into 1072 lines of video data and 16 lower lines of video data by the decoding device 60 (image processing unit 61-2). Of these, 1072 lines of video data are combined with 8 lines of video data from the image processing unit 61-1 and, after codec processing, output as restored video data of the standard number of lines (1080 lines).
  • the video bit stream data of 1088 lines from the image processing unit 11-3 is divided into 1064 lines of video data and lower 24 lines of video data by the decoding device 60 (image processing unit 61-3). Among them, 1064 lines of video data are combined with 16 lines of video data from the image processing unit 61-2, and after codec processing, are output as restored video data of the standard number of lines (1080 lines).
  • the 1056-line video bit stream data from the image processing unit 11-4 is combined with the 24-line video data from the image processing unit 61-3 by the decoding device 60 (image processing unit 61-4), and subjected to codec processing. Thereafter, the video data is output as restored video data of the standard number of lines (1080 lines).
  • the video data having the standard number of lines is regenerated from the video bit stream data having the number of lines that can be subjected to the codec processing.
  • FIG. 12 is a diagram illustrating details of the data flow in the encoding device 10.
  • Sys-0 to Sys-3 indicate the above-described image processing units 11-1 to 11-4, respectively.
  • “Input @ 8K / 1080” in each of Sys-0 to Sys-3 indicates video data written to the memory by each image processing unit 11.
  • “Mem @ read” indicates video data read from the memory by each image processing unit 11, and “Codec @ IN # x” (x is 0 to 3) indicates a codec processing unit where codec processing (encoding processing) is performed. 3 shows video data input to the block 30.
  • the reading of the video data of each frame may be performed first, for example, in Sys-3.
  • Sys-2 when data is transmitted from Sys-3, 16 lines of video data are divided from the read 8K / 1080 lines of video data.
  • the divided 16 lines of video data are transmitted to Sys-1 together with the data indicating the frame number 0, as indicated by an arrow c21.
  • the video data of 8K / 1064 lines obtained by removing 16 lines from the 8K / 1080 lines is synthesized with the video data of 24 lines from Sys-3, input to the encoding processing unit 30-3 at the subsequent stage, and subjected to the encoding processing. Is performed.
  • the read 8K / 1080-line video data is combined with the 8-line video data from Sys-1, and the subsequent encoding process is performed.
  • the data is input to the unit 30-1 and is encoded.
  • data to be transmitted is data indicating 24-line video data and frame numbers, and is read out from Sys-3 having the largest data amount. Is started.
  • FIG. 13 is a diagram illustrating the amount of data transmitted from Sys-3 to Sys-2.
  • a transmission path capable of transmitting video data equivalent to full HD is provided between Sys-3 and Sys-2.
  • the left side of FIG. 13 illustrates the number of horizontal pixels of data transmitted in an HD format such as 29.97p, 30p, 59.94p, or 60p
  • the right side of FIG. 13 illustrates the number of lines (the number of vertical scanning lines).
  • the number of horizontal pixels is 2,200 pixels, which is the number of effective pixels of 1920 plus 280 pixels of the blanking area.
  • the number of lines is 1080, the number of effective lines is the sum of the upper 40 lines and the lower 5 lines of the blanking area. 1125 lines.
  • each image processing unit 11 (Sys-0 to Sys-3), after writing 1080 lines of video data of each frame input by the SQD method, when reading the video data, An address at which raster codec processing is possible is generated. As a result, codec processing without a time difference can be performed without adding a configuration such as providing an SQD / raster conversion function.
  • the frame number of each frame is transmitted together with the video data of a predetermined number of lines between the data generation units 20 of the image processing units 11 (Sys-0 to Sys-3).
  • FIG. 14 is a diagram illustrating details of the data flow in the decoding device 60.
  • “Write #n” and “Read #n” at the top indicate timings of writing / reading the video data of the n-th frame to / from the memory inside the decoding device 60, respectively.
  • Sys-0 to Sys-3 indicate the above-described image processing units 61-1 to 61-4, respectively.
  • Codec OUT in each of Sys-0 to Sys-3 indicates video data that has been codec-processed (decoded).
  • Mem @ read indicates video data read from the memory by each image processing unit 61, and
  • Output-x (x is 0 to 3) indicates video data output from each image processing unit 61. ing.
  • the reading of the video data of each frame is performed sequentially, for example, from Sys-0.
  • Sys-1 when data is transmitted from Sys-0, 16 lines of video data are divided from the read 1088 lines of video data. The divided 16 lines of video data are transmitted to Sys-2 together with the data indicating the frame number 0 as indicated by an arrow d12. Also, 1072 lines of video data excluding 16 lines from 1088 lines are combined with 8 lines of video data from Sys-0 and output as video data of the standard number of lines (1080 lines).
  • Sys-2 when data is transmitted from Sys-1, 24 lines of video data are divided from the read 1088 lines of video data. The divided 24 lines of video data are transmitted to Sys-3 together with the data indicating the frame number 0 as indicated by an arrow d23. Also, 1064 lines of video data excluding 24 lines from 1088 lines are combined with 16 lines of video data from Sys-1 and output as video data (1080 lines) of the standard number of lines.
  • the decoding process of the 0th frame is performed.
  • the decoding process is similarly performed for the first and subsequent frames.
  • the data generation unit 90 of each of the image processing units 61 (Sys-0 to Sys-3) writes video data that has been subjected to codec processing in the raster system, and then reads out the video data by one frame.
  • An address capable of outputting video data of 1080 lines per minute by the SQD method is generated.
  • codec processing without a time difference can be performed without adding a configuration such as providing an SQD / raster conversion function.
  • the frame number of each frame is transmitted together with the video data of a predetermined number of lines between the data generation units 90 of the image processing units 61 (Sys-0 to Sys-3).
  • FIG. 15 is a block diagram illustrating a configuration example of an encoding device that processes a 120p 8K4K image.
  • the encoding device 10 includes image processing units 11′-1 to 11′-4.
  • blocks corresponding to the respective components of the encoding device 10 of FIG. 7 are denoted by the same reference numerals with "" added thereto, and description of the same functions will be omitted. .
  • the image processing units 11'-1 to 11'-4 process 8K1K-size video data obtained by dividing 8K4K video data into four from the top, that is, standard-standard 1080-line video data.
  • each of the image processing units 11′-1 to 11′-4 has eight 3G-SDI cables. Are connected as connection lines, and video data of 8K1K size is input in two parallel.
  • the data generation unit 20 ′ (video IO unit 21 ′ and data acquisition unit 22 ′) of each image processing unit 11 ′ includes two data generation units 20 (video IO unit 21 and data acquisition unit 22) of FIG. Make a working configuration.
  • the transmission lines 51 ', 52', and 53 'connecting the data generation units 20' included in each image processing unit 11 ' correspond to the transmission lines 51, 52, and 53 (for example, 3G-SDI cables) in FIG. It may be configured by connecting two in parallel.
  • Each of the transmission lines 51 ', 52', and 53 ' is composed of a single transmission line, similarly to the transmission lines 51, 52, and 53 in FIG. Is also good.
  • the amount of video data transmitted between the image processing units is at most 24 lines.
  • the configuration of FIG. 15 when transmitting 24 lines of video data in the HD format, 192 lines are consumed, which is twice the 96 lines described in the example of FIG. Further, transmission of data indicating a frame number consumes two lines.
  • the frame number of each frame is transmitted between each of the data generation units 20 ′ of each image processing unit 11 ′, so that each image processing unit 11 ′ performs a parallel operation. Loss of frame synchronization can be prevented.
  • Second Embodiment> a configuration including two parallel image processing units that perform codec processing on 8K2K video data obtained by dividing an 8K4K image in parallel will be described.
  • FIG. 16 is a block diagram illustrating a configuration example of an encoding device including two parallel input IFs.
  • the encoder 110 encodes an 8K4K image input from an external device such as a video recorder (not shown), and outputs video bit stream data.
  • the encoding device 110 includes image processing units 111-1 and 111-2.
  • Each of the image processing units 111-1 and 111-2 is configured by, for example, an independent device or board.
  • the image processing units 111-1 and 111-2 process 8K2K video data obtained by dividing the 8K4K video data into two from the top, that is, 2160 lines of video data that is twice the standard 1080 lines.
  • Eight 3G-SDI cables or the like are connected as connection lines to each of the image processing units 111-1 and 111-2, and video data of 8K2K size is input. That is, the image processing units 111-1 and 111-2 are provided with inter-device input IFs corresponding to the standard number of lines.
  • the image processing unit 111-1 includes a data generation unit 120-1, a codec processing unit 130-1, and a stream processing unit 140.
  • the image processing unit 111-2 includes a data generation unit 120-2 and a codec processing unit. It has a section 130-2.
  • the data generation unit 120-1 has a video IO unit 121-1 and data acquisition units 122-10 and 122-11.
  • the data generation unit 120-2 has a video IO unit 121-2 and a data acquisition unit. It has parts 122-20 and 122-21.
  • Each of the data generation units 120-1 and 120-2 may be configured by one chip such as an FPGA.
  • the image processing units 111-1 and 111-2 are not distinguished from each other, they are simply referred to as the image processing unit 111.
  • the data generation units 120-1 and 120-2 are not distinguished from each other, they are simply referred to as data generation units 120.
  • the codec processing units 130-1 and 130-2 are not distinguished from each other, they are simply called codec processing units. It is called 130.
  • the data generation unit 120 outputs a predetermined number of lines of video data of the input 8K2K (2160 lines) video data to another image processing unit 111 and receives an input from the other image processing unit 111. Either of them generates video data of the number of lines that can be processed by the codec.
  • the data generation unit 120-1 receives the input 8K2K (2160 lines) video data and the 16-line video data input from the image processing unit 111-2 (data generation unit 120-2). , Video data of 7680 ⁇ 2176 pixels (2176 lines) is generated. This video data becomes original format data inside the encoding device 110.
  • the video IO unit 121-1 performs serial / parallel conversion of the input 2160 lines of video data and outputs the data to the data acquisition units 122-10 and 122-11.
  • the data acquisition units 122-10 and 122-11 convert the 2160 lines of video data from the video IO unit 121-1 and the 16 lines of video data from the data generation unit 120-2 (video IO unit 121-2). By synthesizing, 2176 lines of video data are generated.
  • a transmission path 151 for transmitting a predetermined number of lines of video data is provided between the data generation unit 120-1 (data acquisition unit 122-1) and the data generation unit 120-2 (video IO unit 121-2). ing.
  • the transmission line 151 is configured by a single connection line such as a single 3G-SDI cable.
  • the data generation unit 120-2 generates 7680 ⁇ 2144 pixels based on 2144 lines of video data obtained by removing 16 lines of video data output to the image processing unit 111-1 from the input 8K2K (2160 lines) video data. (2144 lines) of video data is generated. This video data becomes original format data inside the encoding device 110.
  • the video IO unit 121-2 once converts the input 2160 lines of video data into serial / parallel data, separates the upper 16 lines of the video data, and then converts the data into parallel / serial data again.
  • the data is converted and output to the image processing unit 111-1 (the data acquisition units 122-10 and 122-11). Further, the video IO unit 21-2 separates the video data of the remaining lower 2144 lines of the 1080 lines, performs serial / parallel conversion, and outputs the data to the data acquisition units 122-20 and 122-21.
  • the data acquisition units 122-20 and 122-21 acquire 2144 lines of video data from the video IO unit 121-1.
  • Each codec processing section 130 performs codec processing (encoding processing) on the video data of the number of lines (2176 lines or 2144 lines) for which codec processing can be performed, generated by the data generation section 120, and converts the obtained video bit stream data. , To the stream processing unit 140 of the image processing unit 111-1. Each codec processing unit 130 is configured by one LSI.
  • the stream processing unit 140 of the image processing unit 111-1 converts the two video bit stream data of each image processing unit 111 into one video bit stream data and outputs it.
  • the stream processing unit 140 is configured by one LSI.
  • the codec processing unit 130-1 and the stream processing unit 140 may be configured by one LSI.
  • the data acquisition units 122-10 and 122-11 and the data acquisition units 122-20 and 122-21 perform 60p / 30p conversion for converting 60p 8K2K video data to 30p 8K2K video data, respectively.
  • the processing is performed in two parallel.
  • the data acquisition units 122-10 and 122-11 and the data acquisition units 122-20 and 122-21 may respectively process 30p 8K2K video data as 60p 8K1K video data in two parallel.
  • the amount of video data transmitted between the image processing units is 16 lines at the maximum, so that a transmission path capable of transmitting video data equivalent to full HD corresponds to one system. , Between the image processing units. In this case, only 64 lines, four times 16 lines, are consumed for transmission.
  • FIG. 17 is a block diagram illustrating a configuration example of a decoding device including two parallel image processing units.
  • the decoding device 160 divides the video bit stream data output from the above-described encoding device 110 or the like, performs a decoding process on the video bit stream data, and outputs an 8K4K image.
  • the decoding device 160 includes image processing units 161-1 and 161-2. Each of the image processing units 161-1 and 161-2 is configured by, for example, an independent device or board.
  • the image processing units 161-1 and 161-2 respectively decode 8K2K-size video bitstream data obtained by dividing the 8K4K video bitstream data into two from the top. Further, the image processing units 161-1 and 161-2 restore the 8K2K size video data divided into two, and process 2160 lines of video data which is twice as large as the standard 1080 lines. Eight 3G-SDI cables and the like are connected as connection lines to each of the image processing units 161-1 and 161-2, and video data of 8K2K size is output. That is, the image processing units 161-1 and 161-2 have inter-device output IFs corresponding to the standard number of lines.
  • the image processing unit 161-1 includes a stream processing unit 170, a codec processing unit 180-1, and a data generation unit 190-1.
  • the image processing unit 161-2 includes a codec processing unit 180-2 and a data generation unit. It has a section 190-2.
  • the data generation section 190-1 has data acquisition sections 191-10 and 191-11 and a video IO section 192-1.
  • the data generation section 190-2 has data acquisition sections 191-20 and 191-21. And a video IO unit 192-2.
  • the image processing units 161-1 and 161-2 are not distinguished from each other, they are simply referred to as the image processing units 161.
  • the codec processing units 180-1 and 180-2 are not distinguished from each other, they are simply referred to as a codec processing unit 180.
  • the data generation units 190-1 and 190-2 are not distinguished from each other, they are simply referred to as data generation units. It is called 190.
  • the stream processing unit 170 of the image processing unit 161-1 divides one system of video bit stream data into two systems of video bit stream data of each image processing unit 161, and outputs the divided data.
  • the stream processing unit 170 is configured by one LSI.
  • Each codec processing unit 180 performs codec processing (decoding processing) of the video bit stream data divided by the stream processing unit 170, and restores video data of the number of lines (2176 lines or 2144 lines) that can be codec processed, Output to the data generation unit 190.
  • This video data becomes original format data inside the decoding device 160.
  • Each codec processing unit 180 is constituted by one LSI.
  • the stream processing unit 170 and the codec processing unit 180-1 may be configured by one LSI.
  • the data generation unit 190 outputs the video data of the number of lines that can be subjected to the codec processing from the codec processing unit 180 to the other image processing unit 161 and the input from the other image processing unit 161. Generate video data of the standard number of lines (2160 lines).
  • the data generation unit 190-1 converts the 1676-line video data output from the codec-processed (decoded) 2176-line video data to the image processing unit 161-2 (video IO unit 192-2). 8K2K video data is generated based on the 2160 lines of video data excluding.
  • the data acquisition sections 191-10 and 191-11 transfer the 2160 line video data of the 2176 line video data from the codec processing section 80-1 to the video IO section 192-1.
  • the video data of the remaining 16 lines at the top of the image are converted from parallel / serial, and output to the data generation unit 190-2 (video IO unit 192-2).
  • the video IO unit 192-1 outputs 8K2K video data by performing parallel / serial conversion of 2160 lines of video data from the data acquisition unit 91-1.
  • a transmission line for transmitting video data of a predetermined number of lines is provided between the data generation unit 190-1 (data acquisition units 191-10 and 191-11) and the data generation unit 190-2 (video IO unit 192-2).
  • 201 is provided.
  • the transmission path 201 is configured by a single connection line such as a single 3G-SDI cable.
  • the data generation unit 190-2 includes 16 lines of video data at the top of the image input from the image processing unit 161-1 (data generation unit 190-1), and 2144 at the bottom of the image after codec processing (decoding processing). 8K2K video data is generated based on the video data of the line.
  • the data acquisition units 191-20 and 191-21 output 2144 lines of video data from the codec processing unit 180-2 to the video IO unit 192-2.
  • the video IO unit 192-2 converts the 2144 lines of video data from the data acquisition unit 191-2 into parallel / serial data, and converts the 2144 lines of video data from the image processing unit 161-1 (data generation unit 190-1) into 16 lines of video data. By synthesizing, 8K2K video data is output.
  • the data acquisition units 191-10 and 191-11 and the data acquisition units 191-20 and 191-21 perform 30p / 60p conversion for converting 30p video data to 60p video data.
  • a predetermined number of lines of video data is transmitted between the image processing units, so that the video data of the number of lines conforming to the standard is output while satisfying the restriction of the number of lines of the codec processing. can do.
  • the number of connection lines of the entire device can be reduced, and the device scale, component cost, and power consumption can be suppressed.
  • FIG. 18 is a diagram for explaining the flow of video data between the encoding device 110 and the decoding device 160 described above.
  • the left side of the figure shows 8K1K (7680 ⁇ 1080 pixels) video data of the standard number of lines input from four 4K2K video recorders (Rec # 0 to # 3).
  • the 1080-line video data at the top of the image from Rec # 0 and the 1080-line video data at the bottom of the image from Rec # 1 are transmitted from Rec # 2 by the encoding device 110 (image processing unit 111-1). It is combined with 16 lines of video data at the bottom of the image.
  • the encoded 2176-line video data is encoded by the encoding device 110 (codec processing unit 130-1), so that 2176-line video bit stream data is generated and output.
  • the lower 1064 lines of video data from Rec # 2 excluding the upper 16 lines of video data and the 1080 lines of video data from Rec # 3 are combined by the encoding device 110 (image processing unit 111-2). You.
  • the encoded 2144-line video data is encoded by the encoding device 110 (codec processing unit 130-2), so that 2144-line video bit stream data is generated and output.
  • the video data of the standard number of lines As described above, from the video data of the standard number of lines, the video data of the number of lines that can be subjected to the codec processing is generated, and the codec processing unit generates the video bit stream data.
  • the video bit stream data of 2176 lines from the image processing unit 111-1 is decoded by the decoding device 160 (image processing unit 161-1), and the video data of 2176 lines is restored.
  • the 2176 lines of video data are divided into upper 2160 lines of video data and lower 16 lines of video data. Among them, 2160 lines of video data are output as video data of the standard number of lines (2160 lines or 1080 lines in two stages).
  • the video bit stream data for 2144 lines from the image processing unit 111-2 is decoded by the decoding device 160 (image processing unit 161-2), and 2144 lines of video data are restored.
  • the 2144 lines of video data are combined with the 16 lines of video data from the image processing unit 161-1 and output as video data of the standard number of lines (2160 lines or 1080 lines in two stages).
  • the video data having the standard number of lines is regenerated from the video bit stream data having the number of lines that can be subjected to the codec processing.
  • each of the four external devices inputs, instead of 8K1K video data, 4K2K video data obtained by dividing an 8K4K image vertically and horizontally.
  • the upper left 4K2K video data of the 8K4K image is input from the external device # 0 shown in the uppermost row
  • the upper right 4K2K video data of the 8K4K image is input from the external device # 1 shown in the second row. Is entered. That is, 60p 8K2K video data is input from the external devices # 0 and # 1.
  • video data of the upper 16 lines at the lower left of the 8K4K image is input from the external device # 2 shown in the third row, and the 8K4K image is input from the external device # 3 shown in the fourth row.
  • the video data of the upper 16 lines at the lower right is input.
  • FIG. 19 shows an example of 60p / 30p conversion by the data acquisition units 122-10 and 122-11 of the image processing unit 111-1.
  • data of each frame is divided into even frames and odd frames and processed in parallel. Specifically, the data of each frame is divided into 8K2K data (7680 pixels ⁇ 2176 lines) at the upper part of the image shown in FIG. 19 and 8K2K data (7680 pixels ⁇ 2144 lines) at the lower part of the image (not shown). Is done.
  • the data in the upper part of the image is composed of four data of 4K2K data of two upper parts of 3840 pixels ⁇ 2160 lines and data of two lower parts of 3840 pixels ⁇ 16 lines. It should be noted that the data at the lower part of the image is composed of two 3840 pixels ⁇ 2144 lines of 4K2K data excluding the above-mentioned 16 lines of data.
  • the 8K2K data (Frame-0) of the 0th frame is composed of the upper two 4K2K data L0-0 and L1-0 and the lower 16 lines of data L2-0 and L3-0.
  • the data L0-0 is supplied from the external device # 0, and is located at the upper left of the image.
  • the data L0-0 may be composed of four 2K full HD data of video data Ch0-0, Ch1-0, Ch2-0, Ch3-0.
  • the data L1-0 is supplied from the external device # 1 and is located at the upper right of the upper part of the image.
  • the data L1-0 may be composed of four 2K full HD data of video data Ch0-0, Ch1-0, Ch2-0, Ch3-0.
  • the data L2-0 and L3-0 of the lower 16 lines may be composed of two systems of data from the external devices # 2 and # 3.
  • the data L2-0 is the upper 16 lines of the video data Ch0-0 and Ch1-0 at the lower left of the 0K frame 8K2K data from the external device # 2, and is 2 systems of 2K1K data or 1 system of 4K1K data. There may be.
  • the data L3-0 is the upper 16 lines of the video data Ch0-0 and Ch1-0 at the lower right of the 8K2K data of the 0th frame from the external device # 3, and is composed of two systems of 2K1K data or one system of 4K1K data. It may be.
  • the data L2-0 and L3-0 from the external devices # 2 and # 3 also include data indicating the frame number 0.
  • the 0th frame is generated using even-numbered frames from the four external devices # 0, # 1, # 2, and # 3 as sources as long as they operate at 60p.
  • the 8K2K data (Frame-1) of the first frame is composed of the upper two 4K2K data L0-1 and L1-1 and the lower 16 lines of data L2-1 and L3-1.
  • the data L0-1 is supplied from the external device # 0, and is located at the upper left of the image.
  • the data L0-1 may be composed of four 2K full HD data of video data Ch0-1, Ch1-1, Ch2-1, and Ch3-1.
  • the data L1-1 is supplied from the external device # 1 and is at the upper right of the upper part of the image.
  • the data L1-1 may be composed of four 2K full HD data of video data Ch0-1, Ch1-1, Ch2-1, and Ch3-1.
  • the data L2-1 and L3-1 of the lower 16 lines may be composed of two systems of data from the external devices # 2 and # 3.
  • the data L2-1 is the upper 16 lines of the video data Ch0-1 and Ch1-1 at the lower left of the 8K2K data of the 0th frame from the external device # 2, and is 2 systems of 2K1K data or 1 system of 4K1K data. There may be.
  • the data L3-1 is the upper 16 lines of the lower right video data Ch0-1 and Ch1-1 from the external device # 3, and may be two systems of 2K1K data or one system of 4K1K data.
  • the data L2-1 and L3-1 from the external devices # 2 and # 3 also include data indicating the frame number 1.
  • the first frame is generated using odd-numbered frames from the four external devices # 0, # 1, # 2, and # 3 as long as they operate at 60p.
  • FIG. 19 shows an example of 60p / 30p conversion by the data acquisition units 122-10 and 122-11 of the image processing unit 111-1.
  • the 60p / 30p conversion of the video data from the external devices # 2 and # 3 by the data acquisition units 122-20 and 122-21 of the image processing unit 111-2 is also performed according to the flow of FIG.
  • the frame number of each frame is transmitted between the image processing unit 111-1 and the image processing unit 111-2, it is possible to prevent the occurrence of frame synchronization loss and to start the 60p / 30p conversion. Can be aligned.
  • the 60p / 30p conversion in the encoding device 110 has been described.
  • the 30p / 60p conversion is performed in a flow reverse to the example in FIG.
  • FIG. 20 is a block diagram illustrating a configuration example of an encoding device that processes a 120p 8K4K image.
  • the 'encoding device 110' includes image processing units 111'-1 and 111'-2.
  • blocks corresponding to the respective components of the encoding device 110 of FIG. 16 are denoted by the same reference numerals with “′” added, and descriptions of similar functions are omitted. .
  • the image processing units 111'-1 and 111'-2 process 8K2K video data obtained by dividing the 8K4K video data into two from the top, that is, video data twice as large as the standard 1080 lines. However, since video data is input twice as much per unit time as compared with the encoding device 110 of FIG. 16, each of the image processing units 111′-1 and 111′-2 has 16 3G-SDI cables. Are connected as connection lines, and video data of 8K2K size is input in two parallel.
  • each image processing unit 111' In the data generation unit 120 'of each image processing unit 111', two video IO units 121 'and two data acquisition units 122' are provided. Correspondingly, each image processing section 111 'is also provided with two codec processing sections 130'.
  • the video IO unit 121 ′, the data acquisition unit 122 ′, the codec processing unit 130 ′, and the stream processing unit 140 ′ of the encoding device 110 ′ of FIG. A configuration corresponding to each of the data acquisition unit 22 ', the codec processing unit 30', and the stream processing unit 40 'is adopted.
  • connection lines corresponding to the transmission lines 51 'and 53' in the encoding device 10 'of FIG. 15 are connection lines inside the image processing units 111'-1 and 111'-2, respectively. It is not necessary to use a standard input / output IF for internal connection. A 3G-SDI cable may be used as a connection line, or a unique input / output IF with lower power consumption may be used. Good. In this case, component cost and power consumption can be reduced as compared with the encoding device 10 'of FIG. 15 which processes a 120p 8K4K image in the same manner.
  • a transmission path 151 'that connects between the data generation units 120' included in each image processing unit 111 ' may be configured by connecting the transmission path 151 (for example, a 3G-SDI cable) of FIG. 16 in two parallel. Good.
  • the transmission path 151 ' may be configured with one transmission path, similarly to the transmission path 151 in FIG. 16, and data may be transmitted by time division multiplexing.
  • the amount of video data transmitted between the image processing units is a maximum of 16 lines.
  • 128 lines ie, two lines of 64 lines, four times the amount of 16 lines, are consumed. Even if two lines are consumed for transmitting the data indicating the frame number, the amount of data transmitted between the image processing units can be accommodated by 130 lines of data.
  • FIG. 21 is a block diagram illustrating a first configuration example of a codec device that performs both encoding processing and decoding processing of a 120p 8K4K image.
  • the codec device 300 includes image processing units 310 and 320. Each of the image processing units 310 and 320 is configured by, for example, an independent device or board.
  • 16 3G-SDI cables are connected as connection lines, and video data of 8K2K size is input in parallel.
  • 16 3G-SDI cables or the like are connected as connection lines to the output sides of the image processing sections 310 and 320, respectively, and video data of 8K2K size is output in two parallel.
  • the configuration from each input side to the stream processing unit 311 performs an encoding process
  • the configuration from the stream processing unit 312 to each output side performs a decoding process. I do.
  • the configuration on the encoding side is the same as that of the encoding device 110 'in FIG.
  • the codec device 300 can perform the encoding process and the decoding process simultaneously.
  • the image processing unit 320 is provided with a host CPU / memory system 321.
  • the video bit stream data output from the stream processing unit 311 is stored in the host CPU / memory system 321 and read by the stream processing unit 312.
  • the image processing units 310 and 320 are provided with path switching units 313 and 322, respectively.
  • the path switching units 313 and 322 switch the video data before the encoding process or the video data after the encoding / decoding process as the video data to the data generation unit on the decoding process side.
  • the path switching units 313 and 322 may adjust the timing of the two signals to be switched and may include a signal comparison circuit between the two signals and / or a signal statistic measurement circuit.
  • the stream processing unit 311 and the stream processing unit 312 may be directly connected.
  • FIG. 22 is a block diagram illustrating a second configuration example of a codec device that performs both encoding processing and decoding processing of a 120p 8K4K image.
  • the codec device 400 includes image processing units 410 and 420.
  • Each of the image processing units 410 and 420 is configured by, for example, an independent device or board.
  • the image processing units 410 and 420 in FIG. 22 differ from the image processing units 310 and 320 in FIG. 21 in that each of the codec processing units on the codec processing side and the decoding processing side is one codec processing unit.
  • the codec device 400 cannot perform the encoding process and the decoding process at the same time.
  • the image processing unit 420 is provided with a host CPU / memory system 421.
  • the video bit stream data output from the stream processing unit 411 is stored in the host CPU / memory system 421 and read by the stream processing unit 411.
  • the image processing units 410 and 420 are provided with path switching units 412 and 422, respectively.
  • the path switching units 412 and 422 switch between the video data before the encoding process and the video data after the encoding / decoding process as the video data, to the data generation unit on the decoding process side.
  • the path switching units 412 and 422 may adjust the timing of the two signals to be switched and may include a signal comparison circuit between the two signals and / or a signal statistic measurement circuit.
  • the configuration corresponding to the encoding device 110 ′ in FIG. 20 is adopted as the configuration combining the encoding device and the decoding device, but the configuration corresponding to the other encoding device and the decoding device in the above-described embodiment is adopted. May be done.
  • FIG. 23 is a diagram illustrating the flow of video data between the encoding device and the decoding device that perform the five-parallel processing.
  • the left side of the figure shows 8K1K (7680 ⁇ 1080 pixels) video data of the standard number of lines input from four 4K2K video recorders (Rec # 0 to # 3).
  • Video data of 864 lines excluding the lower 216 lines of video data from Rec # 0 is generated and input to the codec device (encoding device) # 0. Further, the encoding device # 0 generates and outputs 864 lines of video bit stream data.
  • the lower 216 lines of video data from Rec # 0 and the lower 432 lines of video data from Rec # 1 excluding the lower 432 lines of video data are combined to generate 864 lines of video data, and a codec device is generated. (Encoding device) Input to # 1. Further, the encoding device # 1 generates and outputs 864 lines of video bit stream data.
  • the lower 432 lines of video data from Rec # 1 and the upper 432 lines of video data from Rec # 2 are combined to generate 864 lines of video data, which are input to codec device (encoding device) # 2. You. Further, the encoding device # 2 generates 864 lines of video bit stream data and outputs the generated data.
  • the 648 lines of video data from Rec # 2 excluding the upper 432 lines of video data are combined with the upper 216 lines of video data from Rec # 3 to generate 864 lines of video data. (Encoding device) Input to # 3. Further, 864 lines of video bit stream data are generated and output by the encoding device # 3.
  • Video data of 864 lines excluding the video data of the upper 216 lines from Rec # 3 is generated and input to the codec device (encoding device) # 4. Further, 864 lines of video bit stream data are generated and output by the encoding device # 4.
  • 846 lines of video data that can be subjected to codec processing are generated from the video data of the standard number of lines, and video bit stream data is generated and output by the encoding device.
  • the video bit stream data of 864 lines at the first stage in the figure is decoded by the codec device (decoding device) # 0, and the video data of 864 lines is restored.
  • the restored 864 lines of video data are combined with the upper 216 lines of video data divided from the second-stage 864 lines of video data restored by the codec device (decoding device) # 1, and the standard number of lines ( It is output as 1080-line video data.
  • the 864 line video bit stream data in the second stage is decoded by the decoding device # 1, and the 864 line video data is restored.
  • the lower 648-line video data divided from the restored 864-line video data is the upper 432-line video divided from the third-stage 864-line video data restored by the codec device (decoding device) # 2. It is combined with the data and output as video data of the standard number of lines (1080 lines).
  • the 864 line video bit stream data in the third stage is decoded by the decoding device # 2, and the 864 line video data is restored.
  • the lower 432 line video data divided from the restored 864 line video data is the upper 648 line video divided from the fourth stage 864 line video data restored by the codec device (decoding device) # 3. It is combined with the data and output as video data of the standard number of lines (1080 lines).
  • the 864 line video bit stream data in the fourth stage is decoded by the decoding device # 3, and the 864 line video data is restored.
  • the lower 216 lines of video data divided from the restored 864 lines of video data are combined with the fifth stage of 864 lines of video data restored from the video bit stream data by the codec device (decoding device) # 4, It is output as video data of the standard number of lines (1080 lines).
  • the video data of the standard number of lines is regenerated by synthesizing the video data from a plurality of codec apparatuses from the video bit stream data of 846 lines that can be codec-processed.
  • FIG. 24 is a diagram illustrating the flow of video data between the encoding device and the decoding device that perform six parallel processing.
  • the left side of the figure shows 8K1K (7680 ⁇ 1080 pixels) video data of the standard number of lines input from four 4K2K video recorders (Rec # 0 to # 3).
  • the video data of 720 lines excluding the video data of the lower 360 lines from Rec # 0 is generated, and input to the codec device (encoding device) # 0. Further, 720-line video bit stream data is generated and output by the encoding device # 0.
  • the video data of the lower 360 lines from Rec # 0 and the video data of 360 lines from Rec # 1 are combined to generate 720 lines of video data, which are input to the codec device (encoding device) # 1. Furthermore, the encoding device # 1 generates and outputs 720 lines of video bit stream data.
  • Video data of 720 lines excluding the upper 360 lines of video data from Rec # 1 is generated and input to the codec device (encoding device) # 2. Further, 720 lines of video bit stream data are generated and output by the encoding device # 2.
  • the video data of 720 lines excluding the video data of the lower 360 lines from Rec # 2 is generated and input to the codec device (encoding device) # 3. Further, 720 lines of video bit stream data are generated and output by the encoding device # 3.
  • the lower 360 lines of video data from Rec # 2 and the 360 lines of video data from Rec # 3 are combined to generate 720 lines of video data, which are input to codec device (encoding device) # 4. . Further, 720 lines of video bit stream data are generated and output by the encoding device # 4.
  • the video data of 720 lines excluding the video data of the upper 360 lines from Rec # 3 is generated and input to the codec device (encoding device) # 5. Further, 720 lines of video bit stream data are generated and output by the encoding device # 5.
  • 720 lines of video data that can be subjected to codec processing are generated from the video data of the standard number of lines, and video bit stream data is generated and output by the encoding device.
  • the video bit stream data of the first 720 lines in the figure is decoded by the codec device (decoding device) # 0, and the video data of the 720 lines is restored.
  • the restored 720-line video data is combined with the upper 360-line video data divided from the second-stage 720-line video data restored by the codec device (decoding device) # 1, and the standard number of lines ( It is output as 1080-line video data.
  • the video bit stream data of 720 lines in the second stage is decoded by the decoding device # 1, and the video data of 720 lines is restored.
  • the lower 360-line video data divided from the restored 720-line video data is combined with the third-stage 720-line video data restored from the video bitstream data by the codec device (decoding device) # 2, It is output as video data of the standard number of lines (1080 lines).
  • the video bit stream data of 720 lines in the fourth stage is decoded by the codec device (decoding device) # 3, and the video data of 720 lines is restored.
  • the restored 720-line video data is combined with the upper 360-line video data divided from the fifth-stage 720-line video data restored by the codec device (decoding device) # 4, and the standard number of lines ( It is output as 1080-line video data.
  • the fifth-stage 720-line video bit stream data is decoded by the decoding device # 4, and the 720-line video data is restored.
  • the lower 360-line video data divided from the restored 720-line video data is combined with the sixth-stage 720-line video data restored from the video bitstream data by the codec device (decoding device) # 5, It is output as video data of the standard number of lines (1080 lines).
  • video data from a plurality of codec devices is synthesized from 720-bit video bit stream data that can be subjected to codec processing, whereby video data having a standard number of lines is regenerated.
  • audio data, metadata for controlling each image processing unit, and the like are transmitted via a transmission path between the image processing units. You may do so.
  • the above-described transmission path may be connected to another device such as a sound source, a machine, a vehicle, or the like, so that a synchronous operation with these other devices may be performed.
  • the technology according to the present disclosure can have the following configurations.
  • (1) Equipped with a plurality of image processing units for codec processing in parallel video data of a standard number of lines obtained by dividing an image of a predetermined resolution, The image processing unit according to claim 1, wherein the video data of a predetermined number of lines of the standard number of lines is output to another image processing unit, an input from another image processing unit, and the output is
  • An image processing apparatus comprising: a data generation unit configured to generate the video data having a number of lines capable of performing the codec processing according to either one of the input and the input.
  • (2) The image processing device according to (1), wherein the image is an 8K4K image.
  • the image processing apparatus further comprising: one transmission path that transmits the video data of the predetermined number of lines between each of the data generation units included in the plurality of image processing units.
  • the transmission path includes a transmission path capable of transmitting video data equivalent to full HD.
  • the transmission path transmits, together with the video data of the predetermined number of lines, a frame number of each frame constituting the video data.
  • the data generating unit After writing the video data of the standard number of lines for one frame input by the SQD method, the data generating unit generates an address at which the codec processing of the raster method can be performed when reading the video data.
  • the image processing apparatus according to any one of (2) to (5). (7) First to fourth image processing units for performing codec processing in parallel on 8K1K video data obtained by dividing the image into four in the vertical direction,
  • the data generating unit of the first image processing unit generates 1088 lines of video data based on the 8K1K video data and the eight lines of video data input from the second image processing unit
  • the data generation unit of the second image processing unit includes 1072 lines of video data obtained by removing the 8 lines of video data output to the first image processing unit from the 8K1K video data
  • the third image Based on the 16 lines of video data input from the processing unit, 1088 lines of video data are generated
  • the data generation unit of the third image processing unit includes 1064 lines of video data obtained by removing the 16 lines of video data output to the second image processing unit from the 8K1K video data
  • the fourth image Based on the 24 lines of video data input from the processing unit, 1088 lines of video data are generated
  • the data generating unit of the fourth image processing unit generates 1056 lines
  • First and second image processing units for performing codec processing in parallel on 8K2K video data obtained by dividing the image into two in the vertical direction
  • the data generating unit of the first image processing unit generates 2176 lines of video data based on the 8K2K video data and 16 lines of video data input from the second image processing unit
  • the data generation unit of the second image processing unit generates 2144 lines of video data by removing the 16 lines of video data output to the first image processing unit from the 8K2K video data (2) to (2) to
  • the image processing device according to any one of (6) and (6).
  • an image processing apparatus including a plurality of image processing units that perform codec processing in parallel on video data having a standard number of lines obtained by dividing an image having a predetermined resolution, 1, wherein the image processing unit comprises: Output of the video data of a predetermined number of lines of the standard number of lines to another image processing unit, input from another image processing unit, and either of the output and the input
  • An image processing method comprising: a data generation unit configured to generate the video data of the number of lines capable of performing the codec processing.
  • (10) Equipped with a plurality of image processing units for codec processing in parallel video data of a standard number of lines obtained by dividing an image of a predetermined resolution,
  • the image processing unit of 1 the video data of a predetermined number of lines of the number of lines capable of the codec processing, output to another image processing unit, further input from the other image processing unit, and
  • the image processing device according to (10), wherein the image is an 8K4K image.
  • (12) The image processing apparatus according to (10) or (11), further including one transmission path for transmitting the video data of the predetermined number of lines between each of the data generation units included in the plurality of image processing units.
  • the image processing device wherein the transmission path includes a transmission path capable of transmitting video data equivalent to full HD.
  • the transmission path transmits a frame number of each frame constituting the video data together with the video data of the predetermined number of lines.
  • the data generation unit can output the video data of the standard number of lines for one frame by the SQD system when reading the video data.
  • the image processing apparatus according to any one of (11) to (14), which generates an address.
  • First to fourth image processing units for performing codec processing in parallel on 8K1K video data obtained by dividing the image into four in the vertical direction The data generation unit of the first image processing unit is based on 1080 lines of video data obtained by removing the 8 lines of video data output to the second image processing unit from the codec processed 1088 lines of video data. To generate the 8K1K video data, The data generation unit of the second image processing unit performs the third image processing based on the eight lines of video data input from the first image processing unit and the 1088 lines of video data subjected to the codec processing.
  • the 8K1K video data is generated based on the 1072 lines of video data excluding the 16 lines of video data output to the unit,
  • the data generation unit of the third image processing unit performs the fourth image processing based on the 16 lines of video data input from the second image processing unit and the 1088 lines of video data subjected to the codec processing.
  • the 8K1K video data is generated based on 1064 lines of video data excluding the 24 lines of video data output to the unit,
  • the data generation unit of the fourth image processing unit performs the 8K1K based on the 24 lines of video data input from the third image processing unit and the 1056 lines of video data subjected to the codec processing.
  • the image processing device according to any one of (11) to (15), which generates video data.
  • First and second image processing units for performing codec processing in parallel on 8K2K video data obtained by dividing the image into two in the vertical direction The data generation unit of the first image processing unit is based on 2160 lines of video data obtained by removing 16 lines of video data output to the second image processing unit from the 2176 lines of video data subjected to the codec processing.
  • the data generation unit of the second image processing unit performs the 8K2K based on the 16 lines of video data input from the first image processing unit and the 2144 lines of video data subjected to the codec processing.
  • the image processing device according to any one of (11) to (15), which generates video data.
  • an image processing apparatus including a plurality of image processing units that perform codec processing in parallel on video data having a standard number of lines obtained by dividing an image having a predetermined resolution, 1, wherein the image processing unit comprises: The video data of a predetermined number of lines out of the number of lines that can be subjected to the codec processing, output to another image processing unit, input from another image processing unit, and both the output and the input
  • the image processing unit of 1 Output of the video data of a predetermined number of lines of the standard number of lines to another image processing unit, input from another image processing unit, and either of the output and the input
  • a first data generation unit that generates the video data of the number of lines capable of performing the codec processing,
  • a second data generation unit that generates the video data having the standard number of lines according to any one of (a) to (c).
  • the image processing unit inputs one of the video data before the codec processing generated by the first data generation unit and the video data after the codec processing to the second data generation unit.
  • the path switching unit includes a circuit for comparing signals between two signals to be switched and / or measuring signal statistics.
  • an image processing apparatus including a plurality of image processing units that perform codec processing in parallel on video data having a standard number of lines obtained by dividing an image having a predetermined resolution, 1, wherein the image processing unit comprises: Output of the video data of a predetermined number of lines of the standard number of lines to another image processing unit, input from another image processing unit, and either of the output and the input By generating the video data of the number of lines capable of the codec processing, The video data of a predetermined number of lines out of the number of lines that can be subjected to the codec processing, output to another image processing unit, input from another image processing unit, and both the output and the input An image processing method for generating the video data of the standard number of lines according to any one of the above.
  • ⁇ 10-1 encoding device ⁇ 11-1 to 11-4 ⁇ image processing unit, ⁇ 20-1 to 20-4 ⁇ data generation unit, ⁇ 21-1 to 21-4 ⁇ video IO unit, ⁇ 22-1 to 22-4 ⁇ data acquisition unit, ⁇ 30- 1 to 30-4 codec processing unit, ⁇ 40 ⁇ stream processing unit, ⁇ 60 ⁇ decoding device, ⁇ 61-1 to 61-4 ⁇ image processing unit, ⁇ 70 ⁇ stream processing unit, ⁇ 80-1 to 80-4 ⁇ codec processing unit, ⁇ 90-1 to 90 ⁇ -4 ⁇ data generation unit, ⁇ 91-1 to 91-4 ⁇ data acquisition unit, ⁇ 92-1 to 92-4 ⁇ video IO unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本開示は、コストを抑えたコーデックシステムを実現することができるようにする画像処理装置および画像処理方法に関する。 複数の画像処理部は、所定の解像度の画像を分割した標準規格ライン数のビデオデータを並列にコーデック処理する。1の画像処理部は、標準規格ライン数のうちの所定ライン数のビデオデータの、他の画像処理部への出力、さらに他の画像処理部からの入力、並びに、出力および入力の両方のいずれかによって、コーデック処理が可能なライン数のビデオデータを生成するデータ生成部を有する。本開示に係る技術は、例えば、8K4K画像のコーデックシステムに適用することができる。

Description

画像処理装置および画像処理方法
 本開示は、画像処理装置および画像処理方法に関し、特に、コストを抑えたコーデックシステムを実現することができるようにする画像処理装置および画像処理方法に関する。
 現在、8K4K(7680×4320画素)の超高精細画像を伝送するために、HEVC(High Efficiency Video Coding)方式のビデオコーデック(単にコーデックともいう)を採用したスーパーハイビジョンのデジタル放送の実用化が進められている。
 その中で、8K4K画像を60pまたは120pでHEVC方式のコーデック処理を行う1チップLSI(Large Scale Integration)の開発が検討されているが、現時点では、処理負荷や実装上の困難さから現実的ではない。
 そこで、4K2K(3840×2160画素)画像またはこれと同じ処理量となる8K1K(7680×1080画素)画像を60pまたは120pでコーデック処理可能なLSIを、例えば4並列で用いて、8K4K画像のコーデックシステムを実現することが検討されている。
 高解像度の画像を表示するための構成としては、例えば特許文献1に、カスケード接続された複数の表示制御機器が映像を分割して表示制御を行うディスプレイシステムが開示されている。このディスプレイシステムにおいては、下流の表示制御機器が、上流の表示制御機器からの映像に含まれる制御情報に基づいて、自身の表示領域の映像の表示制御を行う。
特開2017-142339号公報
 8K1K画像をコーデック処理可能なLSIを4並列に用いたり、コーデック装置を4台並列に用いるなどして、8K4K画像のコーデックシステムを実現する場合、各LSIに入力されるビデオデータのライン数は、標準規格に準拠した1080ラインとなる。
 一方、各LSIが行うコーデック処理のライン数は、例えば1088ラインや1056ラインなど、16または64の整数倍である必要がある。標準規格に準拠したライン数のビデオデータをコーデック処理する場合、接続系統数が多くなるため、装置規模や消費電力が大きくなり、コストが高くなってしまう。
 本開示は、このような状況に鑑みてなされたものであり、コストを抑えたコーデックシステムを実現することができるようにするものである。
 本開示の第1の側面の画像処理装置は、所定の解像度の画像を分割した標準規格ライン数のビデオデータを並列にコーデック処理する複数の画像処理部を備え、1の前記画像処理部は、前記標準規格ライン数のうちの所定ライン数の前記ビデオデータの、他の前記画像処理部への出力、さらに他の前記画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、前記コーデック処理が可能なライン数の前記ビデオデータを生成するデータ生成部を有する画像処理装置である。
 本開示の第1の側面の画像処理方法は、所定の解像度の画像を分割した標準規格ライン数のビデオデータを並列にコーデック処理する複数の画像処理部を備える画像処理装置において、1の前記画像処理部が、前記標準規格ライン数のうちの所定ライン数の前記ビデオデータの、他の前記画像処理部への出力、さらに他の前記画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、前記コーデック処理が可能なライン数の前記ビデオデータを生成するデータ生成部を有する画像処理方法である。
 本開示の第1の側面においては、標準規格ライン数のうちの所定ライン数のビデオデータの、他の画像処理部への出力、さらに他の画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、コーデック処理が可能なライン数のビデオデータが生成される。
 本開示の第2の側面の画像処理装置は、所定の解像度の画像を分割した標準規格ライン数のビデオデータを並列にコーデック処理する複数の画像処理部を備え、1の前記画像処理部は、前記コーデック処理が可能なライン数のうちの所定ライン数の前記ビデオデータの、他の前記画像処理部への出力、さらに他の前記画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、前記標準規格ライン数の前記ビデオデータを生成するデータ生成部を有する画像処理装置である。
 本開示の第2の側面の画像処理方法は、所定の解像度の画像を分割した標準規格ライン数のビデオデータを並列にコーデック処理する複数の画像処理部を備える画像処理装置において、1の前記画像処理部が、前記コーデック処理が可能なライン数のうちの所定ライン数の前記ビデオデータの、他の前記画像処理部への出力、さらに他の前記画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、前記標準規格ライン数の前記ビデオデータを生成する画像処理方法である。
 本開示の第2の側面においては、コーデック処理が可能なライン数のうちの所定ライン数のビデオデータの、他の画像処理部への出力、さらに他の画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、標準規格ライン数のビデオデータが生成される。
 本開示の第3の側面の画像処理装置は、所定の解像度の画像を分割した標準規格ライン数のビデオデータを並列にコーデック処理する複数の画像処理部を備え、1の前記画像処理部は、前記標準規格ライン数のうちの所定ライン数の前記ビデオデータの、他の前記画像処理部への出力、さらに他の前記画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、前記コーデック処理が可能なライン数の前記ビデオデータを生成する第1のデータ生成部と、前記コーデック処理が可能なライン数のうちの所定ライン数の前記ビデオデータの、他の前記画像処理部への出力、さらに他の前記画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、前記標準規格ライン数の前記ビデオデータを生成する第2のデータ生成部とを有する画像処理装置である。
 本開示の第3の側面の画像処理方法は、所定の解像度の画像を分割した標準規格ライン数のビデオデータを並列にコーデック処理する複数の画像処理部を備える画像処理装置において、1の前記画像処理部が、前記標準規格ライン数のうちの所定ライン数の前記ビデオデータの、他の前記画像処理部への出力、さらに他の前記画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、前記コーデック処理が可能なライン数の前記ビデオデータを生成し、前記コーデック処理が可能なライン数のうちの所定ライン数の前記ビデオデータの、他の前記画像処理部への出力、さらに他の前記画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、前記標準規格ライン数の前記ビデオデータを生成する画像処理方法である。
 本開示の第3の側面においては、標準規格ライン数のうちの所定ライン数のビデオデータの、他の画像処理部への出力、さらに他の画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、コーデック処理が可能なライン数のビデオデータが生成され、前記コーデック処理が可能なライン数のうちの所定ライン数の前記ビデオデータの、他の前記画像処理部への出力、さらに他の前記画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、前記標準規格ライン数の前記ビデオデータが生成される。
 本開示によれば、コストを抑えたコーデックシステムを実現することが可能となる。
 なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
ビデオレコーダと画像処理部との接続について説明する図である。 ビデオデータの入力に必要な接続線について説明する図である。 ビデオデータの入力について説明する図である。 ビデオデータの入力について説明する図である。 8K4K画像を処理する画像処理装置の構成例を示すブロック図である。 8K4K画像を処理する画像処理装置の構成例を示すブロック図である。 本開示の技術を適用したエンコード装置の構成例を示すブロック図である。 ビデオデータ生成処理について説明するフローチャートである。 本開示の技術を適用したデコード装置の構成例を示すブロック図である。 ビデオデータ生成処理について説明するフローチャートである。 ビデオデータの流れについて説明する図である。 エンコード装置におけるデータの流れの詳細について説明する図である。 伝送されるデータの量について例示する図である。 デコード装置におけるデータの流れの詳細について説明する図である。 エンコード装置の他の構成例を示すブロック図である。 エンコード装置の他の構成例を示すブロック図である。 デコード装置の他の構成例を示すブロック図である。 データの流れについて説明する図である。 60p/30p変換について説明する図である。 エンコード装置の他の構成例を示すブロック図である。 コーデック装置の第1の構成例を示すブロック図である。 コーデック装置の第2の構成例を示すブロック図である。 ビデオデータの流れについて説明する図である。 ビデオデータの流れについて説明する図である。
 以下、本開示を実施するための形態(以下、実施の形態とする)について説明する。なお、説明は以下の順序で行う。
 1.従来技術とその課題
 2.第1の実施の形態(4並列処理の構成)
 3.第2の実施の形態(2並列処理の構成)
 4.第3の実施の形態(エンコード装置とデコード装置を組み合わせた構成)
 5.変形例
<1.従来技術とその課題>
 現在、8K解像度(8K4K(7680×4320画素))の超高精細画像を伝送するために、HEVC方式のコーデックを採用したスーパーハイビジョンのデジタル放送の実用化が進められている。
 その中で、8K4K画像を60pまたは120pでHEVC方式のコーデック処理を行う1チップLSIの開発が検討されているが、現時点では、処理負荷や実装上の困難さから現実的ではない。
 そこで、4K2K(3840×2160画素)画像またはこれと同じ処理量となる8K1K(7680×1080画素)画像を60pまたは120pでコーデック処理可能なチップ(画像処理部)を、例えば4並列で用いて、8K4K画像のコーデックシステムを実現することが検討されている。
 以下においては、このようなコーデックシステムにおけるチップの並列方式として考え得る例について説明する。なお、8K4K画像の画素数は、デジタル放送用途の7680×4320画素であるものとするが、デジタルシネマ用途の8192×4320画素であってもよい。また、4K2K画像の画素数は、デジタル放送やUHD BD(Ultra HD Blu-ray(登録商標))などの記録メディアでは3840×2160画素であるが、デジタルシネマ用途の4096×2160画素であってもよい。
(並列方式1)
 並列方式1は、4K2K画像を60pまたは120pでコーデック処理可能なチップを、単純に4並列同期運転させ、それぞれのチップから生成されるビットストリームを有線または無線の回線などを用いて伝送する方式である。受信側では、同期した4つのビデオデータが復元され、同期再生される。この方式は、標準的なビデオデータ入出力IFを備える既存の機器を用いて、比較的簡単に実現可能である。
 しかしながら、この方式では、ビットストリームが1系統ではなく、4系統分に分かれている。そのため、この方式は、限られた用途や伝送に関するデモンストレーションには採用できるものの、8K4Kの規格には準拠しない点から、並列方式1は採用できない。
(並列方式2)
 並列方式2は、4K2K画像と同じ処理量となる8K1K(7680×1080画素)画像のコーデック処理を行うチップを4並列で用いる方式である。並列方式2では、1系統のビットストリームを生成することが念頭とされ、4つのチップそれぞれのビデオデータ入出力IFにおいては、標準規格のライン数である1080ラインのビデオデータが入出力される。
 ところで、各チップが行うコーデック処理のライン数は、16の整数倍である必要があるという制約があるが、1080ラインはその制約を満たさない。1080ラインに近い1088ラインがその制約を満たすことから、例えば1080ラインのビデオデータの最下部に8ラインの黒画素(画像)を加えた1088ラインのビデオデータをエンコード処理し、ビットストリームを生成するものとする。4つのチップからのビットストリームは合成され、1つのビットストリームが生成される。再生側では、1つのビットストリームが4分割され、デコード処理された各画像の最下部8ラインを除いた、標準規格の1080ラインのビデオデータが出力される。
 並列方式2においては、各チップに入出力されるのは、標準規格の1080ラインのビデオデータであるので、並列方式1と同様の入出力IFを適用することができる。しかしながら、最下部8ラインについての処理は、8K4Kの規格には準拠しない点から、並列方式2は採用できない。
(並列方式3)
 並列方式3は、並列方式2と同様に、4並列の各チップのコーデック処理のライン数についての制約を満たしつつ、最下部8ラインについての処理を行わない方式である。
 具体的には、4並列の各チップは、8K4Kのビデオデータを上から4つに分割した8K1Kサイズのビデオデータを処理する。
 このとき、4並列の各チップ#00,#01,#02,#03のうち、チップ#01,#02,#03が処理する上から3つの領域のビデオデータを7680×1088画素とし、チップ#04が処理する最下部の領域のビデオデータを7680×1056画素とする。
 また、2並列の各チップが、8K4Kのビデオデータを上から2つに分割した8K2Kサイズのビデオデータを処理するようにしてもよい。
 このとき、2並列の各チップ#10,#11のうち、チップ#10が処理する上側の領域のビデオデータを7680×2176画素とし、チップ#11が処理する下側の領域のビデオデータを7680×2144画素とする。
 並列方式3は、各チップと外部機器との入出力IFの規格として、標準規格に準拠しない1088,1054,2176,2144ラインを新たな規格として標準化し、新規格対応の機器を用いる手法である。
 並列方式3においても、各チップが生成するビットストリームを合成した1つのビットストリームを生成することができる。再生時においては、各チップが、規定ライン数のデコード処理を行い、新規格対応の入出力IFから出力するようにする。
 既存の入出力IFの規格にないライン数を追加する必要がある並列方式3は、技術的には適用可能であり、処理内容などにも問題のない方式である。しかしながら、新規格の導入・普及に要するコストや時間などの観点から、事実上実現困難であり、並列方式3は採用できない。
(並列方式4)
 並列方式4は、並列方式3と同様、標準規格に準拠しないライン数のビデオデータを処理する方式である。並列方式4においても、並列方式3と同様、8K1K(7680×1088,7680×1054画素)ビデオデータや8K2K(7680×2176,7680×2144画素)ビデオデータを各チップに入力してエンコード処理を行い、ビットストリームを作成するものとする。
 並列方式4においては、標準規格に準拠しないライン数のビデオデータを入力するための入力処理を行う必要がある。
 一般的に、4K2K(3840×2160画素)ビデオレコーダは、フルHD(1920×1080画素)ビデオIFを4系統用いてビデオデータの入力を行う。画像を上下左右に4分割したビデオデータそれぞれが、4系統分のビデオデータとなる。ここでは、4K2Kビデオレコーダを、フルHD領域を水平に4つ並べた8K1K(7680×1080画素)対応機器として用いる。
 図1は、上述したビデオレコーダと、そのビデオレコーダからのビデオデータを処理する画像処理部(チップ)との接続について説明する図である。図中左側のブロックが4台のビデオレコーダを示し、図中右側のブロックが4つの画像処理部#00,#01,#02,#03を示している。
 図1に示されるように、画像処理部#00,#01,#02それぞれには、4台のビデオレコーダから2本の矢印が接続され、画像処理部#03には1本の矢印が接続されている。1本の矢印は、8K1K(7680×1080画素)相当のビデオデータを転送するための接続線を表している。実際の接続線としては、3G-SDI(Serial Digital Interface)やHDMI(登録商標)(High-Definition Multimedia Interface)などのケーブルを複数用いることが想定される。業務用機器の場合、3G-SDIケーブルの利用が一般的とされる。従来、業務用機器の場合、3G-SDIケーブルの利用が一般的とされてきたが、HDMIケーブルが利用されることもある。
 例えば、フレームレートが50pまたは60p(59.94p)の場合、図2に示されるように、画像処理部#00,#01,#02それぞれには、3G-SDIケーブルまたはHDMI1.4aケーブルの8本の接続線が必要となる。また、図示はしないが、画像処理部#03には4本の接続線が必要となる。以下では、接続線として3G-SDIケーブルが用いられるものとする。
 画像処理部#00,#01,#02それぞれに、64の整数倍であって16の整数倍の1088ラインのビデオデータ(60p)を入力する場合、標準規格で定義されている8K1K(7680×1080画素)分のビデオデータを、3G-SDIケーブルを4本用いて、フルHD(1920×1080画素)4系統分のビデオデータとして入力する。このとき、下部8ライン分のビデオデータが入力されないので、さらに4本の3G-SDIケーブルを用いて、8ライン分のビデオデータを、フルHD4系統分のビデオデータとして入力する。
 図3および図4を参照して、上述したビデオデータの入力について説明する。
 図3に示されるように、標準規格の1080ラインのビデオデータを入力する場合、4本の3G-SDIケーブルを用いればよい。したがって、8K4Kのビデオデータを伝送するには、16本の3G-SDIケーブルが用いられる。
 一方、標準規格に準拠しない1088ラインのビデオデータを入力する場合、1080ラインのビデオデータに加えて、8ライン分のビデオデータを入力する必要がある。この場合、図4に示されるように、2160ライン分のビデオデータを入力可能な8本の3G-SDIケーブルを用いる。入力されたビデオデータのうち必要な1088ライン分のビデオデータが処理される。
 また、標準規格に準拠しない1056ラインのビデオデータを入力する場合には、4本の3G-SDIケーブルを用いればよい。入力されたビデオデータのうち必要な1056ライン分のビデオデータが処理される。
 以上のことから、上述した標準規格に準拠しないライン数のビデオデータを入力するためには、28本の3G-SDIケーブルが用いられることになる。
 図5は、上述した8K4K画像を処理する画像処理装置の構成例を示すブロック図を示している。図5に示される4系統のブロック群は、上から画像処理部#00,#01,#02,#03(図1)に対応する。
 図5において、ビデオIO部に入力される破線矢印は、標準規格に準拠した外部機器との接続線であり、例えば3G-SDIケーブルなどとされる。
 画像処理部#00,#01,#02においては、ビデオIO部は、入力された2160ライン分のビデオデータをシリアル/パラレル変換し、後段のデータ処理部に出力する。データ処理部は、2160ライン分のビデオデータのライン数を削減することで、1088ライン分のビデオデータを生成し、後段のコーデック処理部に出力する。
 一方、画像処理部#03においては、ビデオIO部は、入力された1080ライン分のビデオデータをシリアル/パラレル変換し、後段のデータ処理部に出力する。データ処理部は、1080ライン分のビデオデータのライン数を削減することで、1056ライン分のビデオデータを生成し、後段のコーデック処理部に出力する。
 各画像処理部のコーデック処理部は、データ処理部からのビデオデータをコーデック処理(エンコード処理)し、得られたビデオビットストリームデータをストリーム処理部に出力する。ストリーム処理部は、4系統のビデオビットストリームデータを1系統のビデオビットストリームデータに変換して出力する。
 以上においては、60pの8K4K画像を入力する例について説明したが、120pの8K4K画像を入力する場合、60p画像を2並列で入力する構成を適用することができる。
 図6は、120pの8K4K画像を処理する画像処理装置の構成例を示すブロック図を示している。
 詳細な説明は省略するが、図6の構成においては、図5の構成と比較して2倍の数の接続線が必要となり、装置規模も2倍となる。具体的には、56本の3G-SDIケーブルが用いられることになる。
 上述した構成によれば、標準規格に準拠しないライン数のビデオデータの入力に対応することができるが、接続線の数が多くなり、装置規模、部品コスト、消費電力が大きくなってしまう。デコード処理を行う出力系統側についても同様である。
 このように、並列方式4は、原理試作や技術検討の段階であれば採用可能であるが、装置の製品化の段階では採用できない。
 また、上述した構成においては、ビデオレコーダなどの外部機器からの入力に、SQD(Square Division)方式が用いられる一方、コーデック処理部がラスタ方式でコーデック処理を行う場合がある。この場合、各画像処理部のビデオIO部やデータ処理部において、データの処理方式を変換するSQD/ラスタ変換機能を設ける必要がある。
 さらに、上述した構成において、4台のビデオレコーダは、互いに同期運転を行うことでビデオデータを入力する。ビデオレコーダにより得られた画像の主な用途は画面表示であることから、ビデオレコーダ(装置)間の同期を完全に維持する能力には限界がある。装置間の同期が一時的に乱れることにより、複数の画像処理部が並列動作を行う上で、フレーム同期外れが発生するおそれがある。
 以下においては、画像処理部同士の間で、所定ライン数のビデオデータを入出力する構成を設けることで、装置全体の接続線の数を削減し、上述した並列方式4の課題を改善する構成について説明する。
<2.第1の実施の形態>
 まず、8K4K画像を分割した8K1Kのビデオデータを並列にコーデック処理する4並列の画像処理部を備える構成について説明する。
(エンコード装置の構成)
 図7は、本開示の技術を適用したエンコード装置の構成例を示すブロック図である。
 エンコード装置10は、図示せぬビデオレコーダなどの外部機器から入力される8K4K画像のエンコード処理を行い、ビデオビットストリームデータを出力する。
 エンコード装置10は、画像処理部11-1乃至11-4を備えている。画像処理部11-1乃至11-4はそれぞれ、例えば、独立した装置や基板により構成される。
 画像処理部11-1乃至11-4はそれぞれ、8K4Kのビデオデータを上から4つに分割した8K1Kサイズのビデオデータ、すなわち標準規格の1080ラインのビデオデータを入力し処理する。画像処理部11-1乃至11-4それぞれには、4本の3G-SDIケーブルが接続線として接続され、8K1Kサイズのビデオデータが入力される。すなわち、画像処理部11-1乃至11-4は、標準規格ライン数に対応した機器間入力IFを備えている。
 画像処理部11-1は、データ生成部20-1、コーデック処理部30-1、およびストリーム処理部40を有しており、画像処理部11-2は、データ生成部20-2とコーデック処理部30-2を有している。画像処理部11-3は、データ生成部20-3とコーデック処理部30-3を有しており、画像処理部11-4は、データ生成部20-4とコーデック処理部30-4を有している。
 データ生成部20-1乃至20-4はそれぞれ、ビデオIO部21-1乃至21-4と、データ取得部22-1乃至22-4を有している。データ生成部20-1乃至20-4はそれぞれ、例えばFPGA(Field-Programmable Gate Array)などの1つのチップで構成されてもよい。
 以下においては、画像処理部11-1乃至11-4を互いに区別しない場合には、単に画像処理部11という。また、データ生成部20-1乃至20-4を互いに区別しない場合には、単にデータ生成部20といい、コーデック処理部30-1乃至30-4を互いに区別しない場合には、単にコーデック処理部30という。
 データ生成部20は、入力された8K1K(1080ライン)のビデオデータのうちの所定ライン数のビデオデータの、他の画像処理部11への出力、さらに他の画像処理部11からの入力、並びに、その出力と入力の両方のいずれかによって、コーデック処理が可能なライン数のビデオデータを生成する。
 具体的には、データ生成部20-1は、入力された8K1K(1080ライン)のビデオデータと、画像処理部11-2(データ生成部20-2)から入力される8ラインのビデオデータとに基づいて、7680×1088画素(1088ライン)のビデオデータを生成する。このビデオデータは、エンコード装置10内部の独自フォーマットデータとなる。
 データ生成部20-1においては、ビデオIO部21-1が、入力された1080ラインのビデオデータをシリアル/パラレル変換し、データ取得部22-1に出力する。データ取得部22-1は、ビデオIO部21-1からの1080ラインのビデオデータと、データ生成部20-2(ビデオIO部21-2)からの8ラインのビデオデータとを合成することで、1088ラインのビデオデータを生成する。
 データ生成部20-1(データ取得部22-1)とデータ生成部20-2(ビデオIO部21-2)との間には、所定ライン数のビデオデータを伝送する伝送路51が設けられている。伝送路51は、例えば、1本の3G-SDIケーブルなど、1系統の接続線で構成される。
 データ生成部20-2は、入力された8K1K(1080ライン)のビデオデータから画像処理部11-1に出力した8ラインのビデオデータを除いた1072ラインのビデオデータと、画像処理部11-3(データ生成部20-3)から入力される16ラインのビデオデータとに基づいて、7680×1088画素(1088ライン)のビデオデータを生成する。このビデオデータは、エンコード装置10内部の独自フォーマットデータとなる。
 データ生成部20-2においては、ビデオIO部21-2が、入力された1080ラインのビデオデータを一度シリアル/パラレル変換し、このうちの画像上部8ラインのビデオデータを分離後、再びパラレル/シリアル変換して、画像処理部11-1(データ取得部22-1)に出力する。また、ビデオIO部21-2は、上記1080ラインの残りの画像下部1072ラインのビデオデータを分離後、データ取得部22-2に出力する。データ取得部22-2は、ビデオIO部21-2からの1072ラインのビデオデータと、データ生成部20-3(ビデオIO部21-3)から受け取る16ラインのビデオデータとを合成することで、1088ラインのビデオデータを生成する。
 データ生成部20-2(データ取得部22-2)とデータ生成部20-3(ビデオIO部21-3)との間には、所定ライン数のビデオデータを伝送する伝送路52が設けられている。伝送路52は、例えば、1本の3G-SDIケーブルなど、1系統の接続線で構成される。
 データ生成部20-3は、入力された8K1K(1080ライン)のビデオデータから画像処理部11-2に出力した16ラインのビデオデータを除いた1064ラインのビデオデータと、画像処理部11-4(データ生成部20-4)から入力される24ラインのビデオデータとに基づいて、7680×1088画素(1088ライン)のビデオデータを生成する。このビデオデータは、エンコード装置10内部の独自フォーマットデータとなる。
 データ生成部20-3においては、ビデオIO部21-3が、入力された1080ラインのビデオデータを一度シリアル/パラレル変換し、このうちの画像上部16ラインのビデオデータを分離後、再びパラレル/シリアル変換して、画像処理部11-2(データ取得部22-2)に出力する。また、ビデオIO部21-3は、上記1080ラインの残りの画像下部1064ラインのビデオデータを分離後、データ取得部22-3に出力する。データ取得部22-3は、ビデオIO部21-3からの1064ラインのビデオデータと、データ生成部20-4(ビデオIO部21-4)から受け取る24ラインのビデオデータとを合成することで、1088ラインのビデオデータを生成する。
 データ生成部20-3(データ取得部22-3)とデータ生成部20-4(ビデオIO部21-4)との間には、所定ライン数のビデオデータを伝送する伝送路53が設けられている。伝送路53は、例えば、1本の3G-SDIケーブルなど、1系統の接続線で構成される。
 データ生成部20-4は、入力された8K1K(1080ライン)のビデオデータから画像処理部11-3に出力した24ラインのビデオデータを除いた7680×1056画素(1056ライン)のビデオデータを生成する。このビデオデータは、エンコード装置10内部の独自フォーマットデータとなる。
 データ生成部20-4においては、ビデオIO部21-4が、入力された1080ラインのビデオデータを一度シリアル/パラレル変換し、このうちの画像上部24ラインのビデオデータを分離後、再びパラレル/シリアル変換して、画像処理部11-3(データ取得部22-3)に出力する。また、ビデオIO部21-4は、上記1080ラインの残りの画像下部1056ラインのビデオデータを分離後、データ取得部22-4に出力する。データ取得部22-4は、データ生成部20-4からの1056ラインのビデオデータを取得する。
 各コーデック処理部30は、データ生成部20により生成された、コーデック処理が可能なライン数(1088ラインまたは1056ライン)のビデオデータをコーデック処理(エンコード処理)し、得られたビデオビットストリームデータを、画像処理部11-1のストリーム処理部40に出力する。各コーデック処理部30はそれぞれ、1つのLSIにより構成される。
 画像処理部11-1のストリーム処理部40は、各画像処理部11の4系統のビデオビットストリームデータを1系統のビデオビットストリームデータに変換して出力する。ストリーム処理部40は、1つのLSIにより構成される。画像処理部11-1においては、コーデック処理部30-1とストリーム処理部40とが、1つのLSIにより構成されてもよい。
 以上においては、伝送路51,52,53は、3G-SDIケーブルなどの1系統の接続線で構成されるものとしたが、HDMIケーブルなどのフルHD相当以下のビデオデータ量を伝送可能な接続IFや独自IFを利用した伝送路で構成されてもよい。
(エンコード装置の動作)
 図8は、エンコード装置10におけるビデオデータ生成処理について説明するフローチャートである。図8の処理は、ハードウェアにより実行することもできるし、ソフトウエアにより実行することもできる。この処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、データ生成部20を構成するFPGAにインストールされてもよい。
 ステップS11において、各画像処理部11のデータ生成部20は、外部機器から入力される8K1K(1080ライン)のビデオデータを受け取る。
 ステップS12において、各データ生成部20は、8K1Kのビデオデータのうちの所定ライン数のビデオデータを、他の画像処理部11から受け取るか、さらに他の画像処理部11へ送るか、または、その両方を行う。
 ステップS13において、各データ生成部20は、他の画像処理部11から受け取るか、さらに他の画像処理部11へ送るか、または、その両方を行うことで得られたビデオデータに基づいて、エンコード処理可能な1088ラインまたは1056ラインのビデオデータを生成する。
 以上の構成および処理によれば、画像処理部同士の間で、所定ライン数のビデオデータが伝送されるので、標準規格に準拠しないライン数のビデオデータを入力しなくとも、コーデック処理のライン数の制約を満たすことができる。その結果、図5の構成における28本から19本へと、装置全体の接続線の数を削減することができ、装置規模、部品コスト、消費電力を抑えることができ、コストを抑えたコーデックシステムを実現することが可能となる。
 特に、画像処理部同士の間で伝送されるビデオデータの量は、最大でも24ライン分であるので、フルHD相当のビデオデータを伝送可能な伝送路が1本、画像処理部同士の間にあればよい。この場合、高々24ラインの4倍となる96ライン分が伝送に消費されるにすぎない。
(デコード装置の構成)
 図9は、本開示の技術を適用したデコード装置の構成例を示すブロック図である。
 デコード装置60は、上述したエンコード装置10などにより出力されたビデオビットストリームデータを、各画像処理部用のビデオビットストリームデータに分割し、各画像処理部に供給することで、デコード処理を行う。さらに、デコード装置60は、各画像処理部において復元されたビデオデータを再構築し、8K4K画像を出力する。
 デコード装置60は、画像処理部61-1乃至61-4を備えている。画像処理部61-1乃至61-4はそれぞれ、例えば、独立した装置や基板により構成される。
 画像処理部61-1乃至61-4はそれぞれ、8K4Kのビデオデータを上から4つに分割した8K1Kサイズのビデオデータ、すなわち標準規格の1080ラインのビデオデータを出力する。画像処理部61-1乃至61-4それぞれには、4本の3G-SDIケーブルなどが接続線として接続され、8K1Kサイズのビデオデータが出力される。すなわち、画像処理部61-1乃至61-4は、標準規格ライン数に対応した機器間出力IFを備えている。
 画像処理部61-1は、ビデオビットストリームデータを処理するストリーム処理部70、コーデック処理部80-1、およびデータ生成部90-1を有しており、画像処理部61-2は、コーデック処理部80-2とデータ生成部90-2を有している。画像処理部61-3は、コーデック処理部80-3とデータ生成部90-3を有しており、画像処理部61-4は、コーデック処理部80-4とデータ生成部90-4を有している。
 データ生成部90-1乃至90-4はそれぞれ、データ取得部91-1乃至91-4と、ビデオIO部92-1乃至92-4を有している。データ生成部90-1乃至90-4はそれぞれ、例えばFPGAなどの1つのチップで構成されてもよい。
 以下においては、画像処理部61-1乃至61-4を互いに区別しない場合には、単に画像処理部61という。また、コーデック処理部80-1乃至80-4を互いに区別しない場合には、単にコーデック処理部80といい、データ生成部90-1乃至90-4を互いに区別しない場合には、単にデータ生成部90という。
 画像処理部61-1のストリーム処理部70は、1系統のビデオビットストリームデータを各画像処理部61の4系統のビデオビットストリームデータに分割して出力する。ストリーム処理部70は、1つのLSIにより構成されてもよい。
 各コーデック処理部80は、ストリーム処理部70により分割されたビデオビットストリームデータをコーデック処理(デコード処理)し、コーデック処理が可能なライン数(1088ラインまたは1056ライン)のビデオデータをデータ生成部90に出力する。このビデオデータは、デコード装置60内部の独自フォーマットデータとなる。各コーデック処理部80はそれぞれ、1つのLSIにより構成される。画像処理部61-1においては、ストリーム処理部70とコーデック処理部80-1とが、1つのLSIにより構成されてもよい。
 データ生成部90は、コーデック処理部80からのコーデック処理が可能なライン数のビデオデータの、他の画像処理部61への出力、さらに他の画像処理部61からの入力、並びに、その出力と入力の両方のいずれかによって、標準規格ライン数(1080ライン)のビデオデータを生成する。
 具体的には、データ生成部90-1は、コーデック処理(デコード処理)された1088ラインのビデオデータから、画像処理部61-2(ビデオIO部92-2)に出力する8ラインのビデオデータを除いた1080ラインのビデオデータに基づいて、8K1Kのビデオデータを生成する。
 データ生成部90-1においては、データ取得部91-1が、コーデック処理部80-1からの1088ラインのビデオデータのうちの1080ラインのビデオデータをビデオIO部92-1に出力するとともに、画像上部となる残りの8ラインのビデオデータをパラレル/シリアル変換し、データ生成部90-2(ビデオIO部92-2)に出力する。ビデオIO部92-1は、データ取得部91-1からの1080ラインのビデオデータをパラレル/シリアル変換し、8K1Kのビデオデータを出力する。
 データ生成部90-1(データ取得部91-1)とデータ生成部90-2(ビデオIO部92-2)との間には、所定ライン数のビデオデータを伝送する伝送路101が設けられている。伝送路101は、例えば、1本の3G-SDIケーブルなど、1系統の接続線で構成される。
 データ生成部90-2は、画像処理部61-1(データ生成部90-1)から入力された8ラインのビデオデータと、コーデック処理(デコード処理)された1088ラインのビデオデータから画像処理部61-3(ビデオIO部92-3)に出力する16ラインのビデオデータを除いた1072ラインのビデオデータとに基づいて、8K1Kのビデオデータを生成する。
 データ生成部90-2においては、データ取得部91-2が、コーデック処理部80-2から1088ラインのビデオデータを受け取る。データ取得部91-2は、このうちの画像下部となる1072ラインのビデオデータをビデオIO部92-2に出力するとともに、画像上部となる残りの16ラインのビデオデータをパラレル/シリアル変換し、データ生成部90-3(ビデオIO部92-3)に出力する。ビデオIO部92-2は、データ取得部91-2からの画像下部となる1072ラインのビデオデータと、画像処理部61-1(データ生成部90-1)からの画像上部となる8ラインのビデオデータとを合成することで、標準規格ライン数(1080ライン)のビデオデータを復元し、さらにパラレル/シリアル変換することで、8K1Kのビデオデータを出力する。
 データ生成部90-2(データ取得部91-2)とデータ生成部90-3(ビデオIO部92-3)との間には、所定ライン数のビデオデータを伝送する伝送路102が設けられている。伝送路102は、例えば、1本の3G-SDIケーブルなど、1系統の接続線で構成される。
 データ生成部90-3は、画像処理部61-2(データ生成部90-1)から入力された16ラインのビデオデータと、コーデック処理(デコード処理)された1088ラインのビデオデータから画像処理部61-4(ビデオIO部92-4)に出力する24ラインのビデオデータを除いた1064ラインのビデオデータとに基づいて、8K1Kのビデオデータを生成する。
 データ生成部90-3においては、データ取得部91-3が、コーデック処理部80-3から1088ラインのビデオデータを受け取る。データ取得部91-3は、このうちの画像下部となる1064ラインのビデオデータをビデオIO部92-3に出力するとともに、画像上部となる残りの24ラインのビデオデータをパラレル/シリアル変換し、データ生成部90-4(ビデオIO部92-4)に出力する。ビデオIO部92-3は、データ取得部91-3からの画像下部となる1064ラインのビデオデータと、画像処理部61-2(データ生成部90-2)からの画像上部となる16ラインのビデオデータとを合成することで、標準規格ライン数(1080ライン)のビデオデータを復元し、さらにパラレル/シリアル変換することで、8K1Kのビデオデータを出力する。
 データ生成部90-3(データ取得部91-3)とデータ生成部90-4(ビデオIO部92-4)との間には、所定ライン数のビデオデータを伝送する伝送路103が設けられている。伝送路104は、例えば、1本の3G-SDIケーブルなど、1系統の接続線で構成される。
 データ生成部90-4は、画像処理部61-3(データ生成部90-3)から入力された24ラインのビデオデータと、コーデック処理(デコード処理)された1056ラインのビデオデータに基づいて、8K1Kのビデオデータを生成する。
 データ生成部90-4においては、データ取得部91-4が、コーデック処理部80-4から1056ラインのビデオデータを受け取り、画像下部となるビデオデータとして、ビデオIO部92-4に出力する。ビデオIO部92-4は、データ取得部91-4からの画像下部となる1056ラインのビデオデータと、画像処理部61-3(データ生成部90-3)からの画像上部となる24ラインのビデオデータとを合成することで、標準規格ライン数(1080ライン)のビデオデータを復元し、さらにパラレル/シリアル変換することで、8K1Kサイズのビデオデータを出力する。
 以上においては、伝送路101,102,103は、3G-SDIケーブルで構成されるものとしたが、HDMIケーブルなどのフルHD相当のビデオデータを伝送可能な伝送路で構成されてもよい。
(デコード装置の動作)
 図10は、デコード装置60におけるビデオデータ生成処理について説明するフローチャートである。図10の処理は、ハードウェアにより実行することもできるし、ソフトウエアにより実行することもできる。この処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、データ生成部90を構成するFPGAにインストールされてもよい。
 ステップS21において、各画像処理部61のデータ生成部90は、コーデック処理部80によりデコード処理された1088ラインまたは1056ラインのビデオデータを受け取る。
 ステップS22において、各データ生成部90は、デコード処理されたビデオデータのうちの所定ライン数のビデオデータを、他の画像処理部61から受け取るか、さらに他の画像処理部61へ送るか、または、その両方を行う。
 ステップS23において、各データ生成部90は、他の画像処理部61から受け取るか、さらに他の画像処理部61へ送るか、または、その両方を行うことで得られたビデオデータに基づいて、標準規格に準拠したライン数の8K1Kのビデオデータを生成する。
 以上の構成および処理によれば、画像処理部同士の間で、所定ライン数のビデオデータが伝送されるので、コーデック処理のライン数の制約を満たしつつ、標準規格に準拠したライン数のビデオデータを出力することができる。その結果、装置全体の接続線の数を削減することができ、装置規模、部品コスト、消費電力を抑えることができ、コストを抑えたコーデックシステムを実現することが可能となる。
(ビデオデータの流れ)
 図11は、上述したエンコード装置10とデコード装置60の間のビデオデータの流れについて説明する図である。
 図中左側には、4台の4K2Kビデオレコーダ(Rec#0乃至#3)から入力される、標準規格ライン数の8K1K(7680×1080画素)ビデオデータが示されている。
 Rec#0からの1080ラインのビデオデータは、エンコード装置10(画像処理部11-1)によって、Rec#1からの8ライン分のビデオデータと合成され、1088ラインのビデオデータを元にコーデック処理が行われ、ビデオビットストリームデータとして出力される。
 Rec#1からの、上部8ライン分のビデオデータを除いた1072ラインのビデオデータは、エンコード装置10(画像処理部11-2)によって、Rec#2からの16ライン分のビデオデータと合成され、1088ラインのビデオデータを元にコーデック処理が行われ、ビデオビットストリームデータとして出力される。
 Rec#2からの、上部16ライン分のビデオデータを除いた1064ラインのビデオデータは、エンコード装置10(画像処理部11-3)によって、Rec#3からの24ライン分のビデオデータと合成され、1088ラインのビデオデータを元にコーデック処理が行われ、ビデオビットストリームデータとして出力される。
 Rec#3からの、上部24ライン分のビデオデータを除いた1056ラインのビデオデータは、エンコード装置10(画像処理部11-4)によって、コーデック処理が行われ、ビデオビットストリームデータとして出力される。
 以上のようにして、標準規格ライン数のビデオデータから、コーデック処理が可能なライン数のビデオデータが生成される。
 一方、画像処理部11-1からの1088ラインのビデオビットストリームデータは、デコード装置60(画像処理部61-1)によって、1080ラインのビデオデータと下部8ラインのビデオデータに分割される。そのうち1080ラインのビデオデータは、コーデック処理の後、標準規格ライン数(1080ライン)の復元されたビデオデータとして出力される。
 画像処理部11-2からの1088ラインのビデオビットストリームデータは、デコード装置60(画像処理部61-2)によって、1072ラインのビデオデータと下部16ラインのビデオデータに分割される。そのうち1072ラインのビデオデータは、画像処理部61-1からの8ラインのビデオデータと合成され、コーデック処理の後、標準規格ライン数(1080ライン)の復元されたビデオデータとして出力される。
 画像処理部11-3からの1088ラインのビデオビットストリームデータは、デコード装置60(画像処理部61-3)によって、1064ラインのビデオデータと下部24ラインのビデオデータに分割される。そのうち1064ラインのビデオデータは、画像処理部61-2からの16ラインのビデオデータと合成され、コーデック処理の後、標準規格ライン数(1080ライン)の復元されたビデオデータとして出力される。
 画像処理部11-4からの1056ラインのビデオビットストリームデータは、デコード装置60(画像処理部61-4)によって、画像処理部61-3からの24ラインのビデオデータと合成され、コーデック処理の後、標準規格ライン数(1080ライン)の復元されたビデオデータとして出力される。
 以上のようにして、コーデック処理が可能なライン数のビデオビットストリームデータから、標準規格ライン数のビデオデータが再生成される。
(エンコード装置におけるデータの流れの詳細)
 図12は、エンコード装置10におけるデータの流れの詳細について説明する図である。
 図12において、最上段の“Write #n”,“Read #n”はそれぞれ、nフレーム目のビデオデータの、エンコード装置10内部のメモリに対する書き込み・読み出しのタイミングを示している。
 また、図12において、Sys-0乃至Sys-3はそれぞれ、上述した画像処理部11-1乃至11-4を示している。
 さらに、Sys-0乃至Sys-3それぞれにおける“Input 8K/1080”は、各画像処理部11によってメモリに書き込まれるビデオデータを示している。“Mem read”は、各画像処理部11によってメモリから読み出されるビデオデータを示しており、“Codec IN #x”(xは0乃至3)は、コーデック処理(エンコード処理)が行われるコーデック処理部30へと入力されるビデオデータを示している。
 Sys-0乃至Sys-3それぞれにおいては、各フレームの書き込みのタイミングで、8K/1080ラインのビデオデータが順次書き込まれる。
 一方で、各フレームのビデオデータの読み出しは、例えばSys-3において最初に行われてもよい。
 具体的には、Read #0のタイミングで0フレーム目の読み出しが開始されると、Sys-3においては、読み出された8K/1080ラインのビデオデータから24ラインのビデオデータが分割される。分割された24ラインのビデオデータは、矢印c32で示されるように、フレーム番号0を示すデータとともに、Sys-2に伝送される。また、8K/1080ラインから24ラインを除いた8K/1056ラインのビデオデータは、後段のエンコード処理部30-4へ入力されて、エンコード処理が行われる。
 次いで、Sys-2においては、Sys-3からデータが伝送されると、読み出された8K/1080ラインのビデオデータから16ラインのビデオデータが分割される。分割された16ラインのビデオデータは、矢印c21で示されるように、フレーム番号0を示すデータとともに、Sys-1に伝送される。また、8K/1080ラインから16ラインを除いた8K/1064ラインのビデオデータは、Sys-3からの24ラインのビデオデータと合成され、後段のエンコード処理部30-3へ入力されて、エンコード処理が行われる。
 さらに、Sys-1においては、Sys-2からデータが伝送されると、読み出された8K/1080ラインのビデオデータから8ラインのビデオデータが分割される。分割された8ラインのビデオデータは、矢印c10で示されるように、フレーム番号0を示すデータとともに、Sys-0に伝送される。また、8K/1080ラインから8ラインを除いた8K/1072ラインのビデオデータは、Sys-2からの16ラインのビデオデータと合成され、後段のエンコード処理部30-2へ入力されて、エンコード処理が行われる。
 そして、Sys-0においては、Sys-1からデータが伝送されると、読み出された8K/1080ラインのビデオデータが、Sys-1からの8ラインのビデオデータと合成され、後段のエンコード処理部30-1へ入力され、エンコード処理が行われる。
 このようにして、0フレーム目のエンコード処理が行われる。1フレーム目以降についても同様にしてエンコード処理が行われる。
 以上においては、各画像処理部11(Sys-0乃至Sys-3)の中で、伝送するデータが、24ラインのビデオデータとフレーム番号を示すデータで、最もデータ量の多いSys-3から読み出しが開始される。
 図13は、Sys-3からSys-2に伝送されるデータの量について例示する図である。
 上述したように、Sys-3とSys-2との間には、フルHD相当のビデオデータを伝送可能な伝送路が設けられる。
 図13左側は、例えば29.97p,30p,59.94p、または60pなどのHDフォーマットで伝送されるデータの水平画素数を例示しており、図13右側は、ライン数(垂直走査線数)を例示している。水平画素数は、有効画素数1920画素に、ブランキング領域の280画素を加えた2200画素となり、ライン数は、有効ライン数1080ラインに、ブランキング領域の上側40ラインと下側5ラインを加えた1125ラインとなる。
 上記フォーマットで8K/24ラインのビデオデータを伝送する場合、水平方向に4分割する必要があるので、24ラインの4倍となる96ライン分が消費される。また、フレーム番号を示すデータの伝送には、1ライン分が消費される。
 すなわち、Sys-3からSys-2に伝送されるデータとしては、図13右側に示されるように、ブランキング領域45ライン分のデータに、97ライン分のデータを加えた142ライン分のデータが伝送されるに過ぎない。
 したがって、各画像処理部11(Sys-0乃至Sys-3)の間には、フルHD相当のビデオデータを伝送可能な伝送路が1本あれば、ビデオデータの伝送は十分に可能となる。
 また、各画像処理部11(Sys-0乃至Sys-3)のデータ生成部20においては、SQD方式で入力された各フレームの1080ラインのビデオデータを書き込んだ後、そのビデオデータを読み出す際、ラスタ方式のコーデック処理が可能なアドレスが生成される。これにより、SQD/ラスタ変換機能を設けるなど、構成を追加することなく、時間差のないコーデック処理を行うことができる。
 さらに、上述したように、各画像処理部11(Sys-0乃至Sys-3)のデータ生成部20それぞれの間では、所定ライン数のビデオデータとともに、各フレームのフレーム番号が伝送される。これにより、ビデオレコーダなどの外部機器間の同期が一時的に乱れた場合であっても、各画像処理部11が並列動作を行う上で、フレーム同期外れが発生することを防ぐことができる。
(デコード装置におけるデータの流れの詳細)
 図14は、デコード装置60におけるデータの流れの詳細について説明する図である。
 図14において、最上段の“Write #n”,“Read #n”はそれぞれ、nフレーム目のビデオデータの、デコード装置60内部のメモリに対する書き込み・読み出しのタイミングを示している。
 また、図14において、Sys-0乃至Sys-3はそれぞれ、上述した画像処理部61-1乃至61-4を示している。
 さらに、Sys-0乃至Sys-3それぞれにおける“Codec OUT”は、コーデック処理(デコード処理)されたビデオデータを示している。“Mem read”は、各画像処理部61によってメモリから読み出されるビデオデータを示しており、“Output-x”(xは0乃至3)は、各画像処理部61から出力されるビデオデータを示している。
 Sys-0乃至Sys-3それぞれにおいては、各フレームの書き込みのタイミングで、デコード処理されたビデオデータが順次書き込まれる。
 一方で、各フレームのビデオデータの読み出しは、例えばSys-0から順次行われる。
 具体的には、Read #0のタイミングで0フレーム目の読み出しが開始されると、Sys-0においては、デコード処理された1088ラインのビデオデータから8ラインのビデオデータが分割される。分割された8ラインのビデオデータは、矢印d01で示されるように、フレーム番号0を示すデータとともに、Sys-1に伝送される。また、1088ラインから8ラインを除いた1080ラインのビデオデータは、標準規格ライン数のビデオデータとして出力される。
 次いで、Sys-1においては、Sys-0からデータが伝送されると、読み出された1088ラインのビデオデータから16ラインのビデオデータが分割される。分割された16ラインのビデオデータは、矢印d12で示されるように、フレーム番号0を示すデータとともに、Sys-2に伝送される。また、1088ラインから16ラインを除いた1072ラインのビデオデータは、Sys-0からの8ラインのビデオデータと合成され、標準規格ライン数(1080ライン)のビデオデータとして出力される。
 さらに、Sys-2においては、Sys-1からデータが伝送されると、読み出された1088ラインのビデオデータから24ラインのビデオデータが分割される。分割された24ラインのビデオデータは、矢印d23で示されるように、フレーム番号0を示すデータとともに、Sys-3に伝送される。また、1088ラインから24ラインを除いた1064ラインのビデオデータは、Sys-1からの16ラインのビデオデータと合成され、標準規格ライン数のビデオデータ(1080ライン)として出力される。
 そして、Sys-3においては、Sys-2からデータが伝送されると、読み出された1056ラインのビデオデータが、Sys-2からの24ラインのビデオデータと合成され、標準規格ライン数のビデオデータ(1080ライン)として出力される。
 このようにして、0フレーム目のデコード処理が行われる。1フレーム目以降についても同様にしてデコード処理が行われる。
 図14においても、各画像処理部61(Sys-0乃至Sys-3)のデータ生成部90においては、ラスタ方式でコーデック処理されたビデオデータを書き込んだ後、そのビデオデータを読み出す際、1フレーム分の1080ラインのビデオデータをSQD方式で出力可能なアドレスが生成される。これにより、SQD/ラスタ変換機能を設けるなど、構成を追加することなく、時間差のないコーデック処理を行うことができる。さらに、各画像処理部61(Sys-0乃至Sys-3)のデータ生成部90それぞれの間では、所定ライン数のビデオデータとともに、各フレームのフレーム番号が伝送される。これにより、各画像処理部61が並列動作を行う上で、フレーム同期外れが発生することを防ぐことができる。
(120pの8K4K画像を処理する構成)
 以上においては、60pの8K4K画像を処理する構成について説明したが、120pの8K4K画像を処理する場合、60p画像を2並列で処理する構成を適用することができる。
 図15は、120pの8K4K画像を処理するエンコード装置の構成例を示すブロック図である。
 エンコード装置10’は、画像処理部11’-1乃至11’-4を備えている。
 図15のエンコード装置10’において、図7のエンコード装置10の各構成に対応するブロックは、同一の数字に「’」を付した符号で示されるものとし、同様の機能についての説明は省略する。
 画像処理部11’-1乃至11’-4は、それぞれ、8K4Kのビデオデータを上から4つに分割した8K1Kサイズのビデオデータ、すなわち標準規格の1080ラインのビデオデータを処理する。ただし、図7のエンコード装置10と比較して、単位時間あたり2倍のビデオデータが入力されるため、画像処理部11’-1乃至11’-4それぞれには、8本の3G-SDIケーブルが接続線として接続され、8K1Kサイズのビデオデータが2並列で入力される。
 各画像処理部11’が有するデータ生成部20’(ビデオIO部21’およびデータ取得部22’)は、図7のデータ生成部20(ビデオIO部21およびデータ取得部22)が2並列で動作する構成をなす。
 各画像処理部11’が有するデータ生成部20’それぞれの間を接続する伝送路51’,52’,53’はそれぞれ、図7の伝送路51,52,53(例えば3G-SDIケーブル)を2並列で接続することで構成されてもよい。また、伝送路51’,52’,53’はそれぞれ、図7の伝送路51,52,53と同様、各1本の伝送路で構成され、時分割多重してデータ伝送されるようにしてもよい。
 図15の構成においても、画像処理部同士の間で、所定ライン数のビデオデータが伝送されるので、標準規格に準拠しないライン数のビデオデータを入力しなくとも、コーデック処理のライン数の制約を満たすことができる。その結果、図6の構成における56本から35本へと、装置全体の接続線の数を削減することができ、装置規模、部品コスト、消費電力を抑えることが可能となる。
 また、図15の構成において、画像処理部同士の間で伝送されるビデオデータの量は、最大でも24ライン分である。図15の構成では、HDフォーマットで24ラインのビデオデータを伝送する場合、図13の例で説明した96ライン分の2倍の192ライン分が消費される。また、フレーム番号を示すデータの伝送には、2ライン分が消費される。
 この場合、ブランキング領域45ライン分のデータに、194ライン分のデータを加えた239ライン分のデータが伝送されるに過ぎない。
 したがって、図15の構成においても、各画像処理部11’の間には、フルHD相当のビデオデータを伝送可能な伝送路が1系統分あれば、ビデオデータの伝送は十分に可能となる。
 また、上述したように、各画像処理部11’のデータ生成部20’それぞれの間で、各フレームのフレーム番号が伝送されることで、各画像処理部11’が並列動作を行う上で、フレーム同期外れが発生することを防ぐことができる。
<3.第2の実施の形態>
 以下では、8K4K画像を分割した8K2Kのビデオデータを並列にコーデック処理する2並列の画像処理部を備える構成について説明する。
(エンコード装置の構成)
 図16は、2並列の入力IFを備えるエンコード装置の構成例を示すブロック図である。
 エンコード装置110は、図示せぬビデオレコーダなどの外部機器から入力される8K4K画像のエンコード処理を行い、ビデオビットストリームデータを出力する。
 エンコード装置110は、画像処理部111-1,111-2を備えている。画像処理部111-1,111-2はそれぞれ、例えば、独立した装置や基板により構成される。
 画像処理部111-1,111-2はそれぞれ、8K4Kのビデオデータを上から2つに分割した8K2Kサイズのビデオデータ、すなわち標準規格の1080ラインの2倍の2160ラインのビデオデータを処理する。画像処理部111-1,111-2それぞれには、8本の3G-SDIケーブルなどが接続線として接続され、8K2Kサイズのビデオデータが入力される。すなわち、画像処理部111-1,111-2は、標準規格ライン数に対応した機器間入力IFを備えている。
 画像処理部111-1は、データ生成部120-1、コーデック処理部130-1、およびストリーム処理部140を有しており、画像処理部111-2は、データ生成部120-2とコーデック処理部130-2を有している。
 データ生成部120-1は、ビデオIO部121-1と、データ取得部122-10,122-11を有しており、データ生成部120-2は、ビデオIO部121-2と、データ取得部122-20,122-21を有している。データ生成部120-1,120-2はそれぞれ、例えばFPGAなどの1つのチップで構成されてもよい。
 以下においては、画像処理部111-1,111-2を互いに区別しない場合には、単に画像処理部111という。また、データ生成部120-1,120-2を互いに区別しない場合には、単にデータ生成部120といい、コーデック処理部130-1,130-2を互いに区別しない場合には、単にコーデック処理部130という。
 データ生成部120は、入力された8K2K(2160ライン)のビデオデータのうちの所定ライン数のビデオデータの、他の画像処理部111への出力、および、他の画像処理部111からの入力のいずれかによって、コーデック処理が可能なライン数のビデオデータを生成する。
 具体的には、データ生成部120-1は、入力された8K2K(2160ライン)のビデオデータと、画像処理部111-2(データ生成部120-2)から入力される16ラインのビデオデータとに基づいて、7680×2176画素(2176ライン)のビデオデータを生成する。このビデオデータは、エンコード装置110内部の独自フォーマットデータとなる。
 データ生成部120-1においては、ビデオIO部121-1が、入力された2160ラインのビデオデータをシリアル/パラレル変換し、データ取得部122-10,122-11に出力する。データ取得部122-10,122-11は、ビデオIO部121-1からの2160ラインのビデオデータと、データ生成部120-2(ビデオIO部121-2)からの16ラインのビデオデータとを合成することで、2176ラインのビデオデータを生成する。
 データ生成部120-1(データ取得部122-1)とデータ生成部120-2(ビデオIO部121-2)との間には、所定ライン数のビデオデータを伝送する伝送路151が設けられている。伝送路151は、例えば、1本の3G-SDIケーブルなど、1系統の接続線で構成される。
 データ生成部120-2は、入力された8K2K(2160ライン)のビデオデータから画像処理部111-1に出力した16ラインのビデオデータを除いた2144ラインのビデオデータに基づいて、7680×2144画素(2144ライン)のビデオデータを生成する。このビデオデータは、エンコード装置110内部の独自フォーマットデータとなる。
 データ生成部120-2においては、ビデオIO部121-2が、入力された2160ラインのビデオデータを一度シリアル/パラレル変換し、このうちの上部16ラインのビデオデータを分離後、再びパラレル/シリアル変換して、画像処理部111-1(データ取得部122-10,122-11)に出力する。また、ビデオIO部21-2は、上記1080ラインの残りの下部2144ラインのビデオデータを分離後、シリアル/パラレル変換し、データ取得部122-20,122-21に出力する。データ取得部122-20,122-21は、ビデオIO部121-1からの2144ラインのビデオデータを取得する。
 各コーデック処理部130は、データ生成部120により生成された、コーデック処理が可能なライン数(2176ラインまたは2144ライン)のビデオデータをコーデック処理(エンコード処理)し、得られたビデオビットストリームデータを、画像処理部111-1のストリーム処理部140に出力する。各コーデック処理部130はそれぞれ、1つのLSIにより構成される。
 画像処理部111-1のストリーム処理部140は、各画像処理部111の2系統のビデオビットストリームデータを1系統のビデオビットストリームデータに変換して出力する。ストリーム処理部140は、1つのLSIにより構成される。画像処理部111-1においては、コーデック処理部130-1とストリーム処理部140とが、1つのLSIにより構成されてもよい。
 詳細は後述するが、データ取得部122-10,122-11と、データ取得部122-20,122-21はそれぞれ、60pの8K2Kビデオデータを30pの8K2Kビデオデータに変換する60p/30p変換を行い2並列で処理する。なお、データ取得部122-10,122-11と、データ取得部122-20,122-21がそれぞれ、30pの8K2Kビデオデータを60pの8K1Kビデオデータとして2並列で処理するようにしてもよい。
 図16の構成においても、画像処理部同士の間で、所定ライン数のビデオデータが伝送されるので、標準規格に準拠しないライン数のビデオデータを入力しなくとも、コーデック処理のライン数の制約を満たすことができる。その結果、装置全体の接続線の数を削減することができ、装置規模、部品コスト、消費電力を抑えることが可能となる。
 また、図16の構成においては、画像処理部同士の間で伝送されるビデオデータの量は、最大でも16ライン分であるので、フルHD相当のビデオデータを伝送可能な伝送路が1系統分、画像処理部同士の間にあればよい。この場合、16ラインの4倍となる64ライン分が伝送に消費されるにすぎない。
(デコード装置の構成)
 図17は、2並列の画像処理部を備えるデコード装置の構成例を示すブロック図である。
 デコード装置160は、上述したエンコード装置110などにより出力されたビデオビットストリームデータを分割し、そのビデオビットストリームデータのデコード処理を行い、8K4K画像を出力する。
 デコード装置160は、画像処理部161-1,161-2を備えている。画像処理部161-1,161-2はそれぞれ、例えば、独立した装置や基板により構成される。
 画像処理部161-1,161-2はそれぞれ、8K4Kのビデオビットストリームデータを上から2つに分割した8K2Kサイズのビデオビットストリームデータのデコード処理を行う。さらに、画像処理部161-1,161-2は、2つに分割した8K2Kサイズのビデオデータを復元し、標準規格の1080ラインの2倍の2160ラインのビデオデータを処理する。画像処理部161-1,161-2それぞれには、8本の3G-SDIケーブルなどが接続線として接続され、8K2Kサイズのビデオデータが出力される。すなわち、画像処理部161-1,161-2は、標準規格ライン数に対応した機器間出力IFを備えている。
 画像処理部161-1は、ストリーム処理部170、コーデック処理部180-1、およびデータ生成部190-1を有しており、画像処理部161-2は、コーデック処理部180-2とデータ生成部190-2を有している。
 データ生成部190-1は、データ取得部191-10,191-11と、ビデオIO部192-1を有しており、データ生成部190-2は、データ取得部191-20,191-21と、ビデオIO部192-2を有している。
 以下においては、画像処理部161-1,161-2を互いに区別しない場合には、単に画像処理部161という。また、コーデック処理部180-1,180-2を互いに区別しない場合には、単にコーデック処理部180といい、データ生成部190-1,190-2を互いに区別しない場合には、単にデータ生成部190という。
 画像処理部161-1のストリーム処理部170は、1系統のビデオビットストリームデータを各画像処理部161の2系統のビデオビットストリームデータに分割して出力する。ストリーム処理部170は、1つのLSIにより構成される。
 各コーデック処理部180は、ストリーム処理部170により分割されたビデオビットストリームデータのコーデック処理(デコード処理)を行い、コーデック処理が可能なライン数(2176ラインまたは2144ライン)のビデオデータを復元し、データ生成部190に出力する。このビデオデータは、デコード装置160内部の独自フォーマットデータとなる。各コーデック処理部180はそれぞれ、1つのLSIにより構成される。画像処理部161-1においては、ストリーム処理部170とコーデック処理部180-1とが、1つのLSIにより構成されてもよい。
 データ生成部190は、コーデック処理部180からのコーデック処理が可能なライン数のビデオデータの、他の画像処理部161への出力、および、他の画像処理部161からの入力のいずれかによって、標準規格ライン数(2160ライン)のビデオデータを生成する。
 具体的には、データ生成部190-1は、コーデック処理(デコード処理)された2176ラインのビデオデータから、画像処理部161-2(ビデオIO部192-2)に出力する16ラインのビデオデータを除いた2160ラインのビデオデータに基づいて、8K2Kのビデオデータを生成する。
 データ生成部190-1においては、データ取得部191-10,191-11が、コーデック処理部80-1からの2176ラインのビデオデータのうちの2160ラインのビデオデータをビデオIO部192-1に出力するとともに、画像上部となる残りの16ラインのビデオデータをパラレル/シリアル変換し、データ生成部190-2(ビデオIO部192-2)に出力する。ビデオIO部192-1は、データ取得部91-1からの2160ラインのビデオデータをパラレル/シリアル変換することで、8K2Kのビデオデータを出力する。
 データ生成部190-1(データ取得部191-10,191-11)とデータ生成部190-2(ビデオIO部192-2)との間には、所定ライン数のビデオデータを伝送する伝送路201が設けられている。伝送路201は、例えば、1本の3G-SDIケーブルなど、1系統の接続線で構成される。
 データ生成部190-2は、画像処理部161-1(データ生成部190-1)から入力された画像上部となる16ラインのビデオデータと、コーデック処理(デコード処理)された画像下部となる2144ラインのビデオデータに基づいて、8K2Kのビデオデータを生成する。
 データ生成部190-2においては、データ取得部191-20,191-21が、コーデック処理部180-2からの2144ラインのビデオデータをビデオIO部192-2に出力する。ビデオIO部192-2は、データ取得部191-2からの2144ラインのビデオデータをパラレル/シリアル変換し、画像処理部161-1(データ生成部190-1)からの16ラインのビデオデータと合成することで、8K2Kのビデオデータを出力する。
 なお、データ取得部191-10,191-11と、データ取得部191-20,191-21においては、30pのビデオデータを60pのビデオデータに変換する30p/60p変換が行われる。
 図17の構成においても、画像処理部同士の間で、所定ライン数のビデオデータが伝送されるので、コーデック処理のライン数の制約を満たしつつ、標準規格に準拠したライン数のビデオデータを出力することができる。その結果、装置全体の接続線の数を削減することができ、装置規模、部品コスト、消費電力を抑えることが可能となる。
(ビデオデータの流れ)
 図18は、上述したエンコード装置110とデコード装置160の間のビデオデータの流れについて説明する図である。
 図中左側には、4台の4K2Kビデオレコーダ(Rec#0乃至#3)から入力される、標準規格ライン数の8K1K(7680×1080画素)ビデオデータが示されている。
 Rec#0からの画像上部となる1080ラインのビデオデータと、Rec#1からの画像下部となる1080ラインのビデオデータは、エンコード装置110(画像処理部111-1)によって、Rec#2からの画像最下部となる16ライン分のビデオデータと合成される。合成された2176ラインのビデオデータが、エンコード装置110(コーデック処理部130-1)によってエンコード処理されることによって、2176ラインのビデオビットストリームデータが生成され、出力される。
 Rec#2からの、上部16ライン分のビデオデータを除いた下部1064ラインのビデオデータと、Rec#3からの1080ラインのビデオデータは、エンコード装置110(画像処理部111-2)によって合成される。合成された2144ラインのビデオデータが、エンコード装置110(コーデック処理部130-2)によってエンコード処理されることによって、2144ラインのビデオビットストリームデータが生成され、出力される。
 以上のようにして、標準規格ライン数のビデオデータから、コーデック処理が可能なライン数のビデオデータが生成され、さらに、コーデック処理部によってビデオビットストリームデータが生成される。
 一方、画像処理部111-1からの2176ライン分のビデオビットストリームデータは、デコード装置160(画像処理部161-1)によってデコード処理され、2176ラインのビデオデータが復元される。2176ラインのビデオデータは、上部2160ラインのビデオデータと下部16ラインのビデオデータに分割される。そのうち2160ラインのビデオデータは、標準規格ライン数(2160ラインまたは1080ライン2段)のビデオデータとして出力される。
 画像処理部111-2からの2144ライン分のビデオビットストリームデータは、デコード装置160(画像処理部161-2)によって、デコード処理され、2144ラインのビデオデータが復元される。2144ラインのビデオデータは、画像処理部161-1からの16ラインのビデオデータと合成され、標準規格ライン数(2160ラインまたは1080ライン2段)のビデオデータとして出力される。
 以上のようにして、コーデック処理が可能なライン数のビデオビットストリームデータから、標準規格ライン数のビデオデータが再生成される。
(60p/30p変換)
 ここで、図19を参照して、エンコード装置110における、60pの8K2Kビデオデータを30pの8K2Kビデオデータに変換する60p/30p変換について説明する。
 図19の例では、4台の外部機器それぞれが、8K1Kビデオデータではなく、8K4K画像を上下左右に4分割した4K2Kビデオデータを入力するものとする。
 図19において、最上段に示される外部機器#0からは、8K4K画像の左上の4K2Kビデオデータが入力され、2段目に示される外部機器#1からは、8K4K画像の右上の4K2Kビデオデータが入力される。すなわち、外部機器#0,#1からは、60pの8K2Kビデオデータが入力される。
 また、図19において、3段目に示される外部機器#2からは、8K4K画像の左下の上部16ラインのビデオデータが入力され、4段目に示される外部機器#3からは、8K4K画像の右下の上部16ラインのビデオデータが入力される。
 すなわち、図19は、画像処理部111-1のデータ取得部122-10,122-11による60p/30p変換の例を示している。
 60p/30p変換においては、図中、中央に示されるように、各フレームのデータが偶数フレームと奇数フレームとに分かれて並列に処理される。具体的には、各フレームのデータは、図19に図示される画像上部の8K2Kデータ(7680画素×2176ライン)と、図示せぬ画像下部の8K2Kデータ(7680画素×2144ライン)に分かれて処理される。このうち、画像上部のデータは、上部2つの3840画素×2160ラインの4K2Kデータと、下部2つの3840画素×16ラインのデータの4つのデータから構成される。なお、画像下部のデータは、上述の16ライン分のデータが除かれた2つの3840画素×2144ラインの4K2Kデータから構成される。
 図19において、0フレーム目の8K2Kデータ(Frame-0)は、上部2つの4K2KデータL0-0,L1-0と、下部16ラインのデータL2-0,L3-0から構成される。データL0-0は、外部機器#0から供給され、画像上部の左上部となる。データL0-0は、ビデオデータCh0-0,Ch1-0,Ch2-0,Ch3-0の4つの2KフルHDのデータから構成されてもよい。データL1-0は、外部機器#1から供給され、画像上部の右上部となる。データL1-0は、ビデオデータCh0-0,Ch1-0,Ch2-0,Ch3-0の4つの2KフルHDのデータから構成されてもよい。下部16ラインのデータL2-0,L3-0は、外部機器#2,#3からの2系統のデータから構成されてもよい。データL2-0は、外部機器#2からの、0フレーム目の8K2Kデータ左下のビデオデータCh0-0,Ch1-0の上部16ライン分であり、2系統の2K1Kデータまたは1系統の4K1Kデータであってもよい。データL3-0は、外部機器#3からの、0フレーム目の8K2Kデータ右下のビデオデータCh0-0,Ch1-0の上部16ライン分であり、2系統の2K1Kデータまたは1系統の4K1Kデータであってもよい。また、図示はしないが、外部機器#2,#3からのデータL2-0,L3-0には、フレーム番号0を示すデータも含まれる。0フレーム目は、60pで動作している以上、4台の外部機器#0,#1,#2,#3からの偶数フレームを発生源として生成される。
 図19において、1フレーム目の8K2Kデータ(Frame-1)は、上部2つの4K2KデータL0-1,L1-1と、下部16ラインのデータL2-1,L3-1から構成される。データL0-1は、外部機器#0から供給され、画像上部の左上部となる。データL0-1は、ビデオデータCh0-1,Ch1-1,Ch2-1,Ch3-1の4つの2KフルHDのデータから構成されてもよい。データL1-1は、外部機器#1から供給され、画像上部の右上部となる。データL1-1は、ビデオデータCh0-1,Ch1-1,Ch2-1,Ch3-1の4つの2KフルHDのデータから構成されてもよい。下部16ラインのデータL2-1,L3-1は、外部機器#2,#3からの2系統のデータから構成されてもよい。データL2-1は、外部機器#2からの、0フレーム目の8K2Kデータ左下のビデオデータCh0-1,Ch1-1の上部16ライン分であり、2系統の2K1Kデータまたは1系統の4K1Kデータであってもよい。データL3-1は、外部機器#3からの右下のビデオデータCh0-1,Ch1-1の上部16ライン分であり、2系統の2K1Kデータまたは1系統の4K1Kデータであってもよい。また、図示はしないが、外部機器#2,#3からのデータL2-1,L3-1には、フレーム番号1を示すデータも含まれる。1フレーム目は、60pで動作している以上、4台の外部機器#0,#1,#2,#3からの奇数フレームを発生源として生成される。
 2フレーム目のデータ(Frame-2)、3フレーム目のデータ(Frame-3)も同様にして構成される。
 このようにして、図19においては、2176ラインの偶数フレームと奇数フレームとが並列に処理されることで、60pの8K2Kビデオデータが、30pの8K2Kビデオデータに変換される。
 図19においては、画像処理部111-1のデータ取得部122-10,122-11による60p/30p変換の例を示した。同様にして、画像処理部111-2のデータ取得部122-20,122-21による、外部機器#2,#3からのビデオデータに対する60p/30p変換も、図19の流れに従って行われる。このとき、画像処理部111-1と画像処理部111-2との間では、各フレームのフレーム番号が伝送されるので、フレーム同期外れが発生することを防ぐとともに、60p/30p変換の開始タイミングを揃えることができる。
 以上においては、エンコード装置110における60p/30p変換について説明したが、デコード装置160においては、図19の例とは逆の流れで30p/60p変換が行われる。
(120pの8K4K画像を処理する構成)
 以上においては、60pの8K4K画像を処理する構成について説明したが、120pの8K4K画像を処理する場合、60p画像を2並列で処理する構成を適用することができる。
 図20は、120pの8K4K画像を処理するエンコード装置の構成例を示すブロック図である。
 エンコード装置110’は、画像処理部111’-1,111’-2を備えている。
 図20のエンコード装置110’において、図16のエンコード装置110の各構成に対応するブロックは、同一の数字に「’」を付した符号で示されるものとし、同様の機能についての説明は省略する。
 画像処理部111’-1,111’-2はそれぞれ、8K4Kのビデオデータを上から2つに分割した8K2Kサイズのビデオデータ、すなわち標準規格の1080ラインの2倍のビデオデータを処理する。ただし、図16のエンコード装置110と比較して、単位時間あたり2倍のビデオデータが入力されるため、画像処理部111’-1,111’-2それぞれには、16本の3G-SDIケーブルが接続線として接続され、8K2Kサイズのビデオデータが2並列で入力される。
 各画像処理部111’が有するデータ生成部120’においては、それぞれ、ビデオIO部121’およびデータ取得部122’が2つずつ設けられている。これに対応して、各画像処理部111’においては、コーデック処理部130’も2つずつ設けられている。
 すなわち、図20のエンコード装置110’のビデオIO部121’、データ取得部122’、コーデック処理部130’、およびストリーム処理部140’は、図15のエンコード装置10’のビデオIO部21’、データ取得部22’、コーデック処理部30’、およびストリーム処理部40’のそれぞれと対応した構成を採る。
 ただし、図15のエンコード装置10’における伝送路51’,53’に対応する接続線は、それぞれ画像処理部111’-1,111’-2内部での接続線となる。内部での接続には、標準規格の入出力IFを用いる必要はなく、接続線として、3G-SDIケーブルが用いられてもよいし、消費電力のより低い独自の入出力IFが用いられてもよい。この場合、120pの8K4K画像を同様に処理する図15のエンコード装置10’よりも、部品コストと消費電力を抑えることができる。
 各画像処理部111’が有するデータ生成部120’それぞれの間を接続する伝送路151’は、図16の伝送路151(例えば3G-SDIケーブル)を2並列で接続することで構成されてもよい。また、伝送路151’は、図16の伝送路151と同様、各1本の伝送路で構成され、時分割多重してデータ伝送されるようにしてもよい。
 図20の構成において、画像処理部同士の間で伝送されるビデオデータの量は、最大で16ライン分である。図20の構成では、HD-SDIフォーマットで16ラインのビデオデータを伝送する場合、16ライン分の4倍の64ライン分の2系統分である128ライン分が消費される。フレーム番号を示すデータの伝送に2ライン分が消費されるとしても、画像処理部同士の間で伝送されるデータ量を、130ライン分のデータで収めることができる。
<4.第3の実施の形態>
 以上においては、8K4K画像のエンコード処理とデコード処理のいずれかを行う構成について説明した。以下においては、8K4K画像のエンコード処理とデコード処理の両方を行う構成について説明する。
(第1の構成例)
 図21は、120pの8K4K画像のエンコード処理とデコード処理の両方を行うコーデック装置の第1の構成例を示すブロック図である。
 コーデック装置300は、画像処理部310,320を備えている。画像処理部310,320はそれぞれ、例えば、独立した装置や基板により構成される。
 画像処理部310,320それぞれの入力側には、16本の3G-SDIケーブルが接続線として接続され、8K2Kサイズのビデオデータが2並列で入力される。同様に、画像処理部310,320それぞれの出力側にも、16本の3G-SDIケーブルなどが接続線として接続され、8K2Kサイズのビデオデータが2並列で出力される。
 詳細な説明は省略するが、画像処理部310,320においては、それぞれの入力側からストリーム処理部311までの構成がエンコード処理を行い、ストリーム処理部312からそれぞれの出力側までの構成がデコード処理を行う。エンコード処理側の構成は、図20のエンコード装置110’と同様に構成される。
 このような構成により、コーデック装置300は、エンコード処理とデコード処理を同時に行うことができる。
 図21の例では、画像処理部320に、ホストCPU/メモリシステム321が設けられている。ストリーム処理部311から出力されたビデオビットストリームデータは、ホストCPU/メモリシステム321に保存され、ストリーム処理部312によって読み出される。
 また、画像処理部310,320それぞれには、経路切替部313,322が設けられている。経路切替部313,322は、デコード処理側のデータ生成部に、ビデオデータとして、エンコード処理前のビデオデータを入力するか、エンコード・デコード処理後のビデオデータを入力するかを切り替える。なお、経路切替部313,322は、切り替え対象の2系統の信号のタイミングを調整し、2系統の信号間の信号比較回路および/または信号統計量の計測回路を有していてもよい。
 このような構成において、それぞれのビデオデータを基にした画像の比較などを行うことにより、画像処理部310,320それぞれが有するコーデック処理部のパラメータやコーデック処理の効果を調整・確認することができる。この場合、ストリーム処理部311とストリーム処理部312とが直接接続されるようにしてもよい。
(第2の構成例)
 図22は、120pの8K4K画像のエンコード処理とデコード処理の両方を行うコーデック装置の第2の構成例を示すブロック図である。
 コーデック装置400は、画像処理部410,420を備えている。画像処理部410,420はそれぞれ、例えば、独立した装置や基板により構成される。
 図22の画像処理部410,420は、コーデック処理側とデコード処理側の構成それぞれのコーデック処理部が1つのコーデック処理部になっている点で、図21の画像処理部310,320と異なる。
 したがって、コーデック装置400は、エンコード処理とデコード処理を同時に行うことはできない。
 図22の例では、画像処理部420に、ホストCPU/メモリシステム421が設けられている。ストリーム処理部411から出力されたビデオビットストリームデータは、ホストCPU/メモリシステム421に保存され、ストリーム処理部411によって読み出される。
 また、画像処理部410,420それぞれには、経路切替部412,422が設けられている。経路切替部412,422は、デコード処理側のデータ生成部に、ビデオデータとして、エンコード処理前のビデオデータを入力するか、エンコード・デコード処理後のビデオデータを入力するかを切り替える。なお、経路切替部412,422は、切り替え対象の2系統の信号のタイミングを調整し、2系統の信号間の信号比較回路および/または信号統計量の計測回路を有していてもよい。
 このような構成においても、それぞれのビデオデータを基にした画像の比較などを行うことにより、画像処理部410,420それぞれが有するコーデック処理部のパラメータやコーデック処理の効果を調整・確認することができる。
 以上においては、エンコード装置とデコード装置を組み合わせた構成として、図20のエンコード装置110’に対応する構成を採用したが、上述した実施の形態における他のエンコード装置やデコード装置に対応する構成が採用されてもよい。
<5.変形例>
 以下においては、上述した実施の形態の変形例について説明する。
(1)並列数
 以上においては、ビデオデータを4並列または2並列に処理する構成について説明したが、処理の並列数はこれに限られず、5並列や6並列に処理する構成を実現することもできる。
 図23は、5並列処理を行うエンコード装置とデコード装置の間のビデオデータの流れについて説明する図である。
 図中左側には、4台の4K2Kビデオレコーダ(Rec#0乃至#3)から入力される、標準規格ライン数の8K1K(7680×1080画素)ビデオデータが示されている。
 Rec#0からの、下部216ライン分のビデオデータを除いた864ラインのビデオデータが生成され、コーデック装置(エンコード装置)#0に入力される。さらに、エンコード装置#0によって、864ラインのビデオビットストリームデータが生成され、出力される。
 Rec#0からの下部216ライン分のビデオデータと、Rec#1からの、下部432ライン分のビデオデータを除いた648ラインのビデオデータが合成され、864ラインのビデオデータが生成され、コーデック装置(エンコード装置)#1に入力される。さらに、エンコード装置#1によって、864ラインのビデオビットストリームデータが生成され、出力される。
 Rec#1からの下部432ライン分のビデオデータと、Rec#2からの上部432ライン分のビデオデータが合成され、864ラインのビデオデータが生成され、コーデック装置(エンコード装置)#2に入力される。さらに、エンコード装置#2によって、864ラインのビデオビットストリームデータが生成され、として出力される。
 Rec#2からの、上部432ライン分のビデオデータを除いた648ラインのビデオデータと、Rec#3からの上部216ライン分のビデオデータが合成され、864ラインのビデオデータが生成され、コーデック装置(エンコード装置)#3に入力される。さらに、エンコード装置#3によって、864ラインのビデオビットストリームデータが生成され、出力される。
 Rec#3からの、上部216ライン分のビデオデータを除いた864ラインのビデオデータが生成され、コーデック装置(エンコード装置)#4に入力される。さらに、エンコード装置#4によって、864ラインのビデオビットストリームデータが生成され、出力される。
 以上のようにして、標準規格ライン数のビデオデータから、コーデック処理が可能な846ラインのビデオデータが生成され、エンコード装置によってビデオビットストリームデータが生成され、出力される。
 一方、図中1段目の864ラインのビデオビットストリームデータは、コーデック装置(デコード装置)#0によってデコード処理され、864ラインのビデオデータが復元される。復元された864ラインのビデオデータは、コーデック装置(デコード装置)#1によって復元された2段目の864ラインのビデオデータから分割された上部216ラインのビデオデータと合成され、標準規格ライン数(1080ライン)のビデオデータとして出力される。
 2段目の864ラインのビデオビットストリームデータは、デコード装置#1によってデコード処理され、864ラインのビデオデータが復元される。復元された864ラインのビデオデータから分割された下部648ラインのビデオデータは、コーデック装置(デコード装置)#2によって復元された3段目の864ラインのビデオデータから分割された上部432ラインのビデオデータと合成され、標準規格ライン数(1080ライン)のビデオデータとして出力される。
 3段目の864ラインのビデオビットストリームデータは、デコード装置#2によってデコード処理され、864ラインのビデオデータが復元される。復元された864ラインのビデオデータから分割された下部432ラインのビデオデータは、コーデック装置(デコード装置)#3によって復元された4段目の864ラインのビデオデータから分割された上部648ラインのビデオデータと合成され、標準規格ライン数(1080ライン)のビデオデータとして出力される。
 4段目の864ラインのビデオビットストリームデータは、デコード装置#3によってデコード処理され、864ラインのビデオデータが復元される。復元された864ラインのビデオデータから分割された下部216ラインのビデオデータは、コーデック装置(デコード装置)#4によってビデオビットストリームデータから復元された5段目の864ラインのビデオデータと合成され、標準規格ライン数(1080ライン)のビデオデータとして出力される。
 以上のようにして、コーデック処理が可能な846ラインのビデオビットストリームデータから、複数のコーデック装置からのビデオデータを合成することにより、標準規格ライン数のビデオデータが再生成される。
 図24は、6並列処理を行うエンコード装置とデコード装置の間のビデオデータの流れについて説明する図である。
 図中左側には、4台の4K2Kビデオレコーダ(Rec#0乃至#3)から入力される、標準規格ライン数の8K1K(7680×1080画素)ビデオデータが示されている。
 Rec#0からの、下部360ライン分のビデオデータを除いた720ラインのビデオデータが生成され、コーデック装置(エンコード装置)#0に入力される。さらに、エンコード装置#0によって、720ラインのビデオビットストリームデータが生成され、出力される。
 Rec#0からの下部360ラインのビデオデータと、Rec#1からの360ライン分のビデオデータが合成され、720ラインのビデオデータが生成され、コーデック装置(エンコード装置)#1に入力される。さらに、エンコード装置#1によって、720ラインのビデオビットストリームデータが生成され、出力される。
 Rec#1からの、上部360ライン分のビデオデータを除いた720ラインのビデオデータが生成され、コーデック装置(エンコード装置)#2に入力される。さらに、エンコード装置#2によって、720ラインのビデオビットストリームデータが生成され、出力される。
 Rec#2からの、下部360ライン分のビデオデータを除いた720ラインのビデオデータが生成され、コーデック装置(エンコード装置)#3に入力される。さらに、エンコード装置#3によって、720ラインのビデオビットストリームデータが生成され、出力される。
 Rec#2からの下部360ライン分のビデオデータと、Rec#3からの360ライン分のビデオデータが合成され、720ラインのビデオデータが生成され、コーデック装置(エンコード装置)#4に入力される。さらに、エンコード装置#4によって、720ラインのビデオビットストリームデータが生成され、出力される。
 Rec#3からの、上部360ライン分のビデオデータを除いた720ラインのビデオデータが生成され、コーデック装置(エンコード装置)#5に入力される。さらに、エンコード装置#5によって、720ラインのビデオビットストリームデータが生成され、出力される。
 以上のようにして、標準規格ライン数のビデオデータから、コーデック処理が可能な720ラインのビデオデータが生成され、エンコード装置によってビデオビットストリームデータが生成され、出力される。
 一方、図中1段目の720ラインのビデオビットストリームデータは、コーデック装置(デコード装置)#0によってデコード処理され、720ラインのビデオデータが復元される。復元された720ラインのビデオデータは、コーデック装置(デコード装置)#1によって復元された2段目の720ラインのビデオデータから分割された上部360ラインのビデオデータと合成され、標準規格ライン数(1080ライン)のビデオデータとして出力される。
 2段目の720ラインのビデオビットストリームデータは、デコード装置#1によってデコード処理され、720ラインのビデオデータが復元される。復元された720ラインのビデオデータから分割された下部360ラインのビデオデータは、コーデック装置(デコード装置)#2によってビデオビットストリームデータから復元された3段目の720ラインのビデオデータと合成され、標準規格ライン数(1080ライン)のビデオデータとして出力される。
 4段目の720ラインのビデオビットストリームデータは、コーデック装置(デコード装置)#3によってデコード処理され、720ラインのビデオデータが復元される。復元された720ラインのビデオデータは、コーデック装置(デコード装置)#4によって復元された5段目の720ラインのビデオデータから分割された上部360ラインのビデオデータと合成され、標準規格ライン数(1080ライン)のビデオデータとして出力される。
 5段目の720ラインのビデオビットストリームデータは、デコード装置#4によってデコード処理され、720ラインのビデオデータが復元される。復元された720ラインのビデオデータから分割された下部360ラインのビデオデータは、コーデック装置(デコード装置)#5によってビデオビットストリームデータから復元された6段目の720ラインのビデオデータと合成され、標準規格ライン数(1080ライン)のビデオデータとして出力される。
 以上のようにして、コーデック処理が可能な720ラインのビデオビットストリームデータから、複数のコーデック装置からのビデオデータを合成することにより、標準規格ライン数のビデオデータが再生成される。
(2)HFR(ハイフレームレート)対応
 上述したように、120pの8K4K画像を処理する場合、60p画像を2並列で処理する構成を適用するものとした。例えば180p以上などの、よりフレームレートの高い画像の処理は、並列数を増加することで実現することができる。
(3)同期動作
 画像処理部同士の間に設けられる伝送路として、3G-SDIケーブルなどの、伝送距離が100m以上である外部機器接続入出力IFを適用することで、離れた場所での同期動作が可能となる。
 また、画像処理部同士の間の伝送路によって、所定ライン数のビデオデータと、フレーム番号を示すデータに加えて、オーディオデータや、各画像処理部を制御するためのメタデータなどが伝送されるようにしてもよい。
 さらに、上述した伝送路を、音源、機械、乗り物などの他の機器と接続することにより、これら他の機器との同期動作を行えるようにしてもよい。
 本開示に係る技術の実施の形態は、上述した実施の形態に限定されるものではなく、本開示に係る技術の要旨を逸脱しない範囲において種々の変更が可能である。
 また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
 さらに、本開示に係る技術は以下のような構成をとることができる。
(1)
 所定の解像度の画像を分割した標準規格ライン数のビデオデータを並列にコーデック処理する複数の画像処理部を備え、
 1の前記画像処理部は、前記標準規格ライン数のうちの所定ライン数の前記ビデオデータの、他の前記画像処理部への出力、さらに他の前記画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、前記コーデック処理が可能なライン数の前記ビデオデータを生成するデータ生成部を有する
 画像処理装置。
(2)
 前記画像は、8K4K画像である
 (1)に記載の画像処理装置。
(3)
 前記複数の画像処理部が有する前記データ生成部それぞれの間に、前記所定ライン数の前記ビデオデータを伝送する1系統の伝送路を備える
 (1)または(2)に記載の画像処理装置。
(4)
 前記伝送路は、フルHD相当のビデオデータを伝送可能な伝送路で構成される
 (3)に記載の画像処理装置。
(5)
 前記伝送路は、前記所定ライン数の前記ビデオデータとともに、前記ビデオデータを構成する各フレームのフレーム番号を伝送する
 (3)または(4)に記載の画像処理装置。
(6)
 前記データ生成部は、SQD方式で入力された1フレーム分の前記標準規格ライン数の前記ビデオデータを書き込んだ後、前記ビデオデータを読み出す際に、ラスタ方式の前記コーデック処理が可能なアドレスを生成する
 (2)乃至(5)のいずれかに記載の画像処理装置。
(7)
 前記画像を垂直方向に4分割した8K1Kビデオデータを並列にコーデック処理する第1乃至第4の画像処理部を備え、
 前記第1の画像処理部の前記データ生成部は、前記8K1Kビデオデータと、前記第2の画像処理部から入力された8ラインのビデオデータとに基づいて、1088ラインのビデオデータを生成し、
 前記第2の画像処理部の前記データ生成部は、前記8K1Kビデオデータから前記第1の画像処理部に出力した前記8ラインのビデオデータを除いた1072ラインのビデオデータと、前記第3の画像処理部から入力された16ラインのビデオデータとに基づいて、1088ラインのビデオデータを生成し、
 前記第3の画像処理部の前記データ生成部は、前記8K1Kビデオデータから前記第2の画像処理部に出力した前記16ラインのビデオデータを除いた1064ラインのビデオデータと、前記第4の画像処理部から入力された24ラインのビデオデータとに基づいて、1088ラインのビデオデータを生成し、
 前記第4の画像処理部の前記データ生成部は、前記8K1Kビデオデータから前記第3の画像処理部に出力した前記24ラインのビデオデータを除いた1056ラインのビデオデータを生成する
 (2)乃至(6)のいずれかに記載の画像処理装置。
(8)
 前記画像を垂直方向に2分割した8K2Kビデオデータを並列にコーデック処理する第1および第2の画像処理部を備え、
 前記第1の画像処理部の前記データ生成部は、前記8K2Kビデオデータと、前記第2の画像処理部から入力された16ラインのビデオデータとに基づいて、2176ラインのビデオデータを生成し、
 前記第2の画像処理部の前記データ生成部は、前記8K2Kビデオデータから前記第1の画像処理部に出力した前記16ラインのビデオデータを除いた2144ラインのビデオデータを生成する
 (2)乃至(6)のいずれかに記載の画像処理装置。
(9)
 所定の解像度の画像を分割した標準規格ライン数のビデオデータを並列にコーデック処理する複数の画像処理部を備える画像処理装置において、
 1の前記画像処理部が、
 前記標準規格ライン数のうちの所定ライン数の前記ビデオデータの、他の前記画像処理部への出力、さらに他の前記画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、前記コーデック処理が可能なライン数の前記ビデオデータを生成するデータ生成部を有する
 画像処理方法。
(10)
 所定の解像度の画像を分割した標準規格ライン数のビデオデータを並列にコーデック処理する複数の画像処理部を備え、
 1の前記画像処理部は、前記コーデック処理が可能なライン数のうちの所定ライン数の前記ビデオデータの、他の前記画像処理部への出力、さらに他の前記画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、前記標準規格ライン数の前記ビデオデータを生成するデータ生成部を有する
 画像処理装置。
(11)
 前記画像は、8K4K画像である
 (10)に記載の画像処理装置。
(12)
 前記複数の画像処理部が有する前記データ生成部それぞれの間に、前記所定ライン数の前記ビデオデータを伝送する1系統の伝送路を備える
 (10)または(11)に記載の画像処理装置。
(13)
 前記伝送路は、フルHD相当のビデオデータを伝送可能な伝送路で構成される
 (12)に記載の画像処理装置。
(14)
 前記伝送路は、前記所定ライン数の前記ビデオデータとともに、前記ビデオデータを構成する各フレームのフレーム番号を伝送する
 (12)または(13)に記載の画像処理装置。
(15)
 前記データ生成部は、ラスタ方式で前記コーデック処理された前記ビデオデータを書き込んだ後、前記ビデオデータを読み出す際に、1フレーム分の前記標準規格ライン数の前記ビデオデータをSQD方式で出力可能なアドレスを生成する
 (11)乃至(14)のいずれかに記載の画像処理装置。
(16)
 前記画像を垂直方向に4分割した8K1Kビデオデータを並列にコーデック処理する第1乃至第4の画像処理部を備え、
 前記第1の画像処理部の前記データ生成部は、前記コーデック処理された1088ラインのビデオデータから前記第2の画像処理部に出力した8ラインのビデオデータを除いた1080ラインのビデオデータに基づいて、前記8K1Kビデオデータを生成し、
 前記第2の画像処理部の前記データ生成部は、前記第1の画像処理部から入力された前記8ラインのビデオデータと、前記コーデック処理された1088ラインのビデオデータから前記第3の画像処理部に出力した16ラインのビデオデータを除いた1072ラインのビデオデータとに基づいて、前記8K1Kビデオデータを生成し、
 前記第3の画像処理部の前記データ生成部は、前記第2の画像処理部から入力された前記16ラインのビデオデータと、前記コーデック処理された1088ラインのビデオデータから前記第4の画像処理部に出力した24ラインのビデオデータを除いた1064ラインのビデオデータとに基づいて、前記8K1Kビデオデータを生成し、
 前記第4の画像処理部の前記データ生成部は、前記第3の画像処理部から入力された前記24ラインのビデオデータと、前記コーデック処理された1056ラインのビデオデータとに基づいて、前記8K1Kビデオデータを生成する
 (11)乃至(15)のいずれかに記載の画像処理装置。
(17)
 前記画像を垂直方向に2分割した8K2Kビデオデータを並列にコーデック処理する第1および第2の画像処理部を備え、
 前記第1の画像処理部の前記データ生成部は、前記コーデック処理された2176ラインのビデオデータから前記第2の画像処理部に出力した16ラインのビデオデータを除いた2160ラインのビデオデータに基づいて、前記8K2Kビデオデータを生成し、
 前記第2の画像処理部の前記データ生成部は、前記第1の画像処理部から入力された前記16ラインのビデオデータと、前記コーデック処理された2144ラインのビデオデータとに基づいて、前記8K2Kビデオデータを生成する
 (11)乃至(15)のいずれかに記載の画像処理装置。
(18)
 所定の解像度の画像を分割した標準規格ライン数のビデオデータを並列にコーデック処理する複数の画像処理部を備える画像処理装置において、
 1の前記画像処理部が、
 前記コーデック処理が可能なライン数のうちの所定ライン数の前記ビデオデータの、他の前記画像処理部への出力、さらに他の前記画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、前記標準規格ライン数の前記ビデオデータを生成する
 画像処理方法。
(19)
 所定の解像度の画像を分割した標準規格ライン数のビデオデータを並列にコーデック処理する複数の画像処理部を備え、
 1の前記画像処理部は、
  前記標準規格ライン数のうちの所定ライン数の前記ビデオデータの、他の前記画像処理部への出力、さらに他の前記画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、前記コーデック処理が可能なライン数の前記ビデオデータを生成する第1のデータ生成部と、
  前記コーデック処理が可能なライン数のうちの所定ライン数の前記ビデオデータの、他の前記画像処理部への出力、さらに他の前記画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、前記標準規格ライン数の前記ビデオデータを生成する第2のデータ生成部と
 を有する
 画像処理装置。
(20)
 前記画像処理部は、前記第1のデータ生成部により生成された前記コーデック処理前の前記ビデオデータと、前記コーデック処理後の前記ビデオデータのいずれかを、前記第2のデータ生成部に入力する経路切替部をさらに有する
 (19)に記載の画像処理装置。
(21)
 前記経路切替部は、切り替え対象の2系統の信号間の信号比較および/または信号統計量の計測のための回路を有する
 (20)に記載の画像処理装置。
(22)
 所定の解像度の画像を分割した標準規格ライン数のビデオデータを並列にコーデック処理する複数の画像処理部を備える画像処理装置において、
 1の前記画像処理部が、
  前記標準規格ライン数のうちの所定ライン数の前記ビデオデータの、他の前記画像処理部への出力、さらに他の前記画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、前記コーデック処理が可能なライン数の前記ビデオデータを生成し、
  前記コーデック処理が可能なライン数のうちの所定ライン数の前記ビデオデータの、他の前記画像処理部への出力、さらに他の前記画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、前記標準規格ライン数の前記ビデオデータを生成する
 画像処理方法。
 10 エンコード装置, 11-1乃至11-4 画像処理部, 20-1乃至20-4 データ生成部, 21-1乃至21-4 ビデオIO部, 22-1乃至22-4 データ取得部, 30-1乃至30-4 コーデック処理部, 40 ストリーム処理部, 60 デコード装置, 61-1乃至61-4 画像処理部, 70 ストリーム処理部, 80-1乃至80-4 コーデック処理部, 90-1乃至90-4 データ生成部, 91-1乃至91-4 データ取得部, 92-1乃至92-4 ビデオIO部

Claims (22)

  1.  所定の解像度の画像を分割した標準規格ライン数のビデオデータを並列にコーデック処理する複数の画像処理部を備え、
     1の前記画像処理部は、前記標準規格ライン数のうちの所定ライン数の前記ビデオデータの、他の前記画像処理部への出力、さらに他の前記画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、前記コーデック処理が可能なライン数の前記ビデオデータを生成するデータ生成部を有する
     画像処理装置。
  2.  前記画像は、8K4K画像である
     請求項1に記載の画像処理装置。
  3.  前記複数の画像処理部が有する前記データ生成部それぞれの間に、前記所定ライン数の前記ビデオデータを伝送する1系統の伝送路を備える
     請求項2に記載の画像処理装置。
  4.  前記伝送路は、フルHD相当のビデオデータを伝送可能な伝送路で構成される
     請求項3に記載の画像処理装置。
  5.  前記伝送路は、前記所定ライン数の前記ビデオデータとともに、前記ビデオデータを構成する各フレームのフレーム番号を伝送する
     請求項3に記載の画像処理装置。
  6.  前記データ生成部は、SQD方式で入力された1フレーム分の前記標準規格ライン数の前記ビデオデータを書き込んだ後、前記ビデオデータを読み出す際に、ラスタ方式の前記コーデック処理が可能なアドレスを生成する
     請求項2に記載の画像処理装置。
  7.  前記画像を垂直方向に4分割した8K1Kビデオデータを並列にコーデック処理する第1乃至第4の画像処理部を備え、
     前記第1の画像処理部の前記データ生成部は、前記8K1Kビデオデータと、前記第2の画像処理部から入力された8ラインのビデオデータとに基づいて、1088ラインのビデオデータを生成し、
     前記第2の画像処理部の前記データ生成部は、前記8K1Kビデオデータから前記第1の画像処理部に出力した前記8ラインのビデオデータを除いた1072ラインのビデオデータと、前記第3の画像処理部から入力された16ラインのビデオデータとに基づいて、1088ラインのビデオデータを生成し、
     前記第3の画像処理部の前記データ生成部は、前記8K1Kビデオデータから前記第2の画像処理部に出力した前記16ラインのビデオデータを除いた1064ラインのビデオデータと、前記第4の画像処理部から入力された24ラインのビデオデータとに基づいて、1088ラインのビデオデータを生成し、
     前記第4の画像処理部の前記データ生成部は、前記8K1Kビデオデータから前記第3の画像処理部に出力した前記24ラインのビデオデータを除いた1056ラインのビデオデータを生成する
     請求項2に記載の画像処理装置。
  8.  前記画像を垂直方向に2分割した8K2Kビデオデータを並列にコーデック処理する第1および第2の画像処理部を備え、
     前記第1の画像処理部の前記データ生成部は、前記8K2Kビデオデータと、前記第2の画像処理部から入力された16ラインのビデオデータとに基づいて、2176ラインのビデオデータを生成し、
     前記第2の画像処理部の前記データ生成部は、前記8K2Kビデオデータから前記第1の画像処理部に出力した前記16ラインのビデオデータを除いた2144ラインのビデオデータを生成する
     請求項2に記載の画像処理装置。
  9.  所定の解像度の画像を分割した標準規格ライン数のビデオデータを並列にコーデック処理する複数の画像処理部を備える画像処理装置において、
     1の前記画像処理部が、
     前記標準規格ライン数のうちの所定ライン数の前記ビデオデータの、他の前記画像処理部への出力、さらに他の前記画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、前記コーデック処理が可能なライン数の前記ビデオデータを生成するデータ生成部を有する
     画像処理方法。
  10.  所定の解像度の画像を分割した標準規格ライン数のビデオデータを並列にコーデック処理する複数の画像処理部を備え、
     1の前記画像処理部は、前記コーデック処理が可能なライン数のうちの所定ライン数の前記ビデオデータの、他の前記画像処理部への出力、さらに他の前記画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、前記標準規格ライン数の前記ビデオデータを生成するデータ生成部を有する
     画像処理装置。
  11.  前記画像は、8K4K画像である
     請求項10に記載の画像処理装置。
  12.  前記複数の画像処理部が有する前記データ生成部それぞれの間に、前記所定ライン数の前記ビデオデータを伝送する1系統の伝送路を備える
     請求項11に記載の画像処理装置。
  13.  前記伝送路は、フルHD相当のビデオデータを伝送可能な伝送路で構成される
     請求項12に記載の画像処理装置。
  14.  前記伝送路は、前記所定ライン数の前記ビデオデータとともに、前記ビデオデータを構成する各フレームのフレーム番号を伝送する
     請求項12に記載の画像処理装置。
  15.  前記データ生成部は、ラスタ方式で前記コーデック処理された前記ビデオデータを書き込んだ後、前記ビデオデータを読み出す際に、1フレーム分の前記標準規格ライン数の前記ビデオデータをSQD方式で出力可能なアドレスを生成する
     請求項11に記載の画像処理装置。
  16.  前記画像を垂直方向に4分割した8K1Kビデオデータを並列にコーデック処理する第1乃至第4の画像処理部を備え、
     前記第1の画像処理部の前記データ生成部は、前記コーデック処理された1088ラインのビデオデータから前記第2の画像処理部に出力した8ラインのビデオデータを除いた1080ラインのビデオデータに基づいて、前記8K1Kビデオデータを生成し、
     前記第2の画像処理部の前記データ生成部は、前記第1の画像処理部から入力された前記8ラインのビデオデータと、前記コーデック処理された1088ラインのビデオデータから前記第3の画像処理部に出力した16ラインのビデオデータを除いた1072ラインのビデオデータとに基づいて、前記8K1Kビデオデータを生成し、
     前記第3の画像処理部の前記データ生成部は、前記第2の画像処理部から入力された前記16ラインのビデオデータと、前記コーデック処理された1088ラインのビデオデータから前記第4の画像処理部に出力した24ラインのビデオデータを除いた1064ラインのビデオデータとに基づいて、前記8K1Kビデオデータを生成し、
     前記第4の画像処理部の前記データ生成部は、前記第3の画像処理部から入力された前記24ラインのビデオデータと、前記コーデック処理された1056ラインのビデオデータとに基づいて、前記8K1Kビデオデータを生成する
     請求項11に記載の画像処理装置。
  17.  前記画像を垂直方向に2分割した8K2Kビデオデータを並列にコーデック処理する第1および第2の画像処理部を備え、
     前記第1の画像処理部の前記データ生成部は、前記コーデック処理された2176ラインのビデオデータから前記第2の画像処理部に出力した16ラインのビデオデータを除いた2160ラインのビデオデータに基づいて、前記8K2Kビデオデータを生成し、
     前記第2の画像処理部の前記データ生成部は、前記第1の画像処理部から入力された前記16ラインのビデオデータと、前記コーデック処理された2144ラインのビデオデータとに基づいて、前記8K2Kビデオデータを生成する
     請求項11に記載の画像処理装置。
  18.  所定の解像度の画像を分割した標準規格ライン数のビデオデータを並列にコーデック処理する複数の画像処理部を備える画像処理装置において、
     1の前記画像処理部が、
     前記コーデック処理が可能なライン数のうちの所定ライン数の前記ビデオデータの、他の前記画像処理部への出力、さらに他の前記画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、前記標準規格ライン数の前記ビデオデータを生成する
     画像処理方法。
  19.  所定の解像度の画像を分割した標準規格ライン数のビデオデータを並列にコーデック処理する複数の画像処理部を備え、
     1の前記画像処理部は、
      前記標準規格ライン数のうちの所定ライン数の前記ビデオデータの、他の前記画像処理部への出力、さらに他の前記画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、前記コーデック処理が可能なライン数の前記ビデオデータを生成する第1のデータ生成部と、
      前記コーデック処理が可能なライン数のうちの所定ライン数の前記ビデオデータの、他の前記画像処理部への出力、さらに他の前記画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、前記標準規格ライン数の前記ビデオデータを生成する第2のデータ生成部と
     を有する
     画像処理装置。
  20.  前記画像処理部は、前記第1のデータ生成部により生成された前記コーデック処理前の前記ビデオデータと、前記コーデック処理後の前記ビデオデータのいずれかを、前記第2のデータ生成部に入力する経路切替部をさらに有する
     請求項19に記載の画像処理装置。
  21.  前記経路切替部は、切り替え対象の2系統の信号間の信号比較および/または信号統計量の計測のための回路を有する
     請求項20に記載の画像処理装置。
  22.  所定の解像度の画像を分割した標準規格ライン数のビデオデータを並列にコーデック処理する複数の画像処理部を備える画像処理装置において、
     1の前記画像処理部が、
      前記標準規格ライン数のうちの所定ライン数の前記ビデオデータの、他の前記画像処理部への出力、さらに他の前記画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、前記コーデック処理が可能なライン数の前記ビデオデータを生成し、
      前記コーデック処理が可能なライン数のうちの所定ライン数の前記ビデオデータの、他の前記画像処理部への出力、さらに他の前記画像処理部からの入力、並びに、前記出力および前記入力の両方のいずれかによって、前記標準規格ライン数の前記ビデオデータを生成する
     画像処理方法。
PCT/JP2019/027642 2018-07-27 2019-07-12 画像処理装置および画像処理方法 Ceased WO2020022101A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020532297A JP7350744B2 (ja) 2018-07-27 2019-07-12 画像処理装置
CN201980048405.3A CN112470473B (zh) 2018-07-27 2019-07-12 图像处理装置以及图像处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018140947 2018-07-27
JP2018-140947 2018-07-27

Publications (1)

Publication Number Publication Date
WO2020022101A1 true WO2020022101A1 (ja) 2020-01-30

Family

ID=69181005

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/027642 Ceased WO2020022101A1 (ja) 2018-07-27 2019-07-12 画像処理装置および画像処理方法

Country Status (3)

Country Link
JP (1) JP7350744B2 (ja)
CN (1) CN112470473B (ja)
WO (1) WO2020022101A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114257838A (zh) * 2021-11-29 2022-03-29 新奥特(北京)视频技术有限公司 一种视频数据处理方法、装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004207862A (ja) * 2002-12-24 2004-07-22 Nippon Telegr & Teleph Corp <Ntt> 映像符号化装置及び映像復号化装置及びその方法並びにそのプログラム
JP2010226672A (ja) * 2009-03-25 2010-10-07 Nippon Hoso Kyokai <Nhk> 画像分割装置、分割画像符号化装置及びプログラム
JP2015185979A (ja) * 2014-03-24 2015-10-22 富士通株式会社 動画像符号化装置及び動画像符号化器
JP2018014750A (ja) * 2017-09-20 2018-01-25 日本電気株式会社 映像符号化装置、映像復号装置、映像システム、映像符号化方法、及び映像符号化プログラム
CN109714598A (zh) * 2019-01-31 2019-05-03 上海国茂数字技术有限公司 视频的编码方法、解码方法、处理方法以及视频处理系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5537293B2 (ja) * 2009-07-03 2014-07-02 パナソニック株式会社 画像符号化装置及び画像復号化装置
JP2012010182A (ja) * 2010-06-25 2012-01-12 Sony Corp 情報処理装置と情報処理方法
JP5741092B2 (ja) * 2011-03-15 2015-07-01 富士通株式会社 画像符号化方法及び画像符号化装置
JP2014003491A (ja) * 2012-06-19 2014-01-09 Nippon Hoso Kyokai <Nhk> 広帯域映像信号の送信装置、受信装置及びプログラム
EP3107297A4 (en) * 2014-02-10 2017-09-06 Nec Corporation Video encoding device, video encoding method, and program
WO2017051492A1 (ja) * 2015-09-24 2017-03-30 日本電気株式会社 映像符号化装置及び映像復号装置
CN105704407B (zh) * 2016-01-29 2017-12-22 京东方科技集团股份有限公司 一种显示处理装置、设备及方法
CN108886622A (zh) * 2016-03-18 2018-11-23 株式会社索思未来 图像处理装置以及图像处理方法
JP2017208674A (ja) * 2016-05-17 2017-11-24 キヤノン株式会社 映像処理装置及び映像処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004207862A (ja) * 2002-12-24 2004-07-22 Nippon Telegr & Teleph Corp <Ntt> 映像符号化装置及び映像復号化装置及びその方法並びにそのプログラム
JP2010226672A (ja) * 2009-03-25 2010-10-07 Nippon Hoso Kyokai <Nhk> 画像分割装置、分割画像符号化装置及びプログラム
JP2015185979A (ja) * 2014-03-24 2015-10-22 富士通株式会社 動画像符号化装置及び動画像符号化器
JP2018014750A (ja) * 2017-09-20 2018-01-25 日本電気株式会社 映像符号化装置、映像復号装置、映像システム、映像符号化方法、及び映像符号化プログラム
CN109714598A (zh) * 2019-01-31 2019-05-03 上海国茂数字技术有限公司 视频的编码方法、解码方法、处理方法以及视频处理系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114257838A (zh) * 2021-11-29 2022-03-29 新奥特(北京)视频技术有限公司 一种视频数据处理方法、装置、电子设备和存储介质
CN114257838B (zh) * 2021-11-29 2024-04-16 新奥特(北京)视频技术有限公司 一种视频数据处理方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
JPWO2020022101A1 (ja) 2021-08-02
JP7350744B2 (ja) 2023-09-26
CN112470473B (zh) 2024-08-20
CN112470473A (zh) 2021-03-09

Similar Documents

Publication Publication Date Title
CN112188136A (zh) 多合一拼接实时刻录视频的方法、系统、存储介质及设备
US8401339B1 (en) Apparatus for partitioning and processing a digital image using two or more defined regions
JP2009272724A (ja) ビデオ符号化・復号化装置
WO2014079303A1 (zh) 一种视频多画面合成方法、装置和系统
CN102572398B (zh) 多路视频处理装置、系统及方法
CN104052954A (zh) 图像处理设备及图像处理方法
JPS62193378A (ja) 方式変換装置
WO2021129887A1 (zh) 一种视频光纤坐席接收装置
US6490058B1 (en) Image decoding and display device
JP6778956B2 (ja) リアルタイム編集システム
CN111988552B (zh) 图像输出控制方法及装置和视频处理设备
US8179421B2 (en) Image synthesizing device and method and computer readable medium
KR20110055011A (ko) 초고화질 영상을 위한 실시간 입출력 모듈 시스템
JP7350744B2 (ja) 画像処理装置
CN113573111A (zh) 一种8k超高清视频转换点屏系统及点屏方法
US8334929B2 (en) Signal processing apparatus, and method for controlling signal processing apparatus
CN110213626B (zh) 视频处理方法及终端设备
CN112055159A (zh) 画质处理装置和显示设备
CN119865570A (zh) 基于fpga和rk3588的多路视频传输系统及方法
CN105657293A (zh) 多层信号叠加的多屏拼接处理器及其多层信号叠加方法
CN104581175A (zh) 影像处理装置与方法
JP2009296410A (ja) 高解像度の映像再生装置
WO2003017664A1 (fr) Procede de realisation d&#39;une combinaison d&#39;une pluralite d&#39;ensembles d&#39;images numeriques multiples et technique d&#39;interfaçage de bus
EP1606954B1 (en) Arrangement for generating a 3d video signal
JP2014003491A (ja) 広帯域映像信号の送信装置、受信装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19841215

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020532297

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19841215

Country of ref document: EP

Kind code of ref document: A1