WO2014171001A1 - 符号化方法及び符号化装置 - Google Patents

符号化方法及び符号化装置 Download PDF

Info

Publication number
WO2014171001A1
WO2014171001A1 PCT/JP2013/061566 JP2013061566W WO2014171001A1 WO 2014171001 A1 WO2014171001 A1 WO 2014171001A1 JP 2013061566 W JP2013061566 W JP 2013061566W WO 2014171001 A1 WO2014171001 A1 WO 2014171001A1
Authority
WO
WIPO (PCT)
Prior art keywords
bit depth
state
unit
encoding
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2013/061566
Other languages
English (en)
French (fr)
Inventor
稲田　圭介
岡田　光弘
溝添　博樹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Hitachi Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Maxell Ltd filed Critical Hitachi Maxell Ltd
Priority to PCT/JP2013/061566 priority Critical patent/WO2014171001A1/ja
Priority to US14/784,796 priority patent/US10554986B2/en
Priority to CN201380075235.0A priority patent/CN105284116B/zh
Priority to JP2015512260A priority patent/JP6093009B2/ja
Publication of WO2014171001A1 publication Critical patent/WO2014171001A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the technical field relates to video coding.
  • Patent Document 1 "Providing an encoding technique for efficiently encoding moving images with different pixel depths” (Patent Document 1 [0006]) is an issue, and as a means for solving them, “Moving images” Are hierarchically encoded, among a plurality of bit planes that give image data, an upper bit plane group is assigned to a basic layer, and a bit plane group having a larger number of bits including the upper bit plane group is assigned to an enhancement layer, In the enhancement layer, the difference between the difference picture by prediction in the enhancement layer and the difference picture by prediction in the base layer is encoded to generate encoded data of the enhancement layer ”(Patent Document 1 [0007] Reference).
  • Patent Document 1 does not consider reduction of power consumption.
  • the present application includes a plurality of means for solving the above-described problems.
  • a step of inputting image information and a feature of the input image information are described.
  • An analysis step for analyzing, a bit depth output step for determining and outputting a bit depth for video encoding, and an encoding step for encoding image information input using the bit depth output in the bit depth output step The bit depth output step switches the bit depth to be output based on the analysis result of the analysis step.
  • the power consumption can be reduced by changing the bit depth according to the characteristics of the image and the remaining power.
  • An example of a video encoding device in the first embodiment An example showing the feature amount of the image and the feature amount threshold range in the first embodiment Another example showing the feature amount of the image and the feature amount threshold range in the first embodiment An example showing the feature amount of the image and the feature amount threshold range in the first embodiment An example showing a feature value threshold range and a range threshold in the first embodiment Example showing bit depth for each frame in the first embodiment Another example showing bit depth for each frame in the first embodiment Another example showing bit depth for each frame in the first embodiment An example of a video encoding device in the second embodiment An example of a system using the video encoding device in the first embodiment or the second embodiment It is an example of a vehicle-mounted camera system. It is an example of a surveillance camera system. It is an example of a video conference system.
  • H. is a typical video encoding method.
  • a profile is defined according to the bit depth, and high gradation can be realized by video coding at a high bit depth.
  • FIG. 11 is a block diagram showing an example of an in-vehicle camera system.
  • a network 111 is mounted in the car 110, and camera units 112, 113, 114, 115, and an ECU (Engine Control Unit) unit 116 are connected to the network 111.
  • a monitor unit 117 is connected to the ECU unit.
  • the camera units 112, 113, 114, and 115 send image information around the imaged car 110 to the network 111.
  • the video information may be sent to the network 111 without being compressed, or may be sent to the network 111 after being subjected to pressure processing by the camera units 112, 113, 114, and 115.
  • the ECU unit 116 receives the video information sent to the network 111 and outputs the video information to the monitor 117. If the input video information is compressed, the ECU unit 116 performs decompression processing and outputs the obtained decoded video information to the monitor 117.
  • the monitor unit 117 performs video display of input video information.
  • the ECU unit 116 and the camera units 112, 113, 114, and 115 can exchange control signals via the network 111.
  • the ECU unit 116 can instruct the camera units 112, 113, 114, and 115 with information necessary for camera processing and compression processing.
  • information necessary for camera processing includes shooting start and shooting stop.
  • Some information necessary for the compression process includes a bit depth and a control threshold value.
  • FIG. 12 is a block diagram showing an example of a monitoring system. This example is an example of a monitoring system in which camera units 122, 123, and 124 and a monitoring center 120 are connected to a network 121.
  • the camera units 122, 123, and 124 capture image information of surroundings where the respective camera units are installed, and send them to the network 121.
  • the video information may be sent to the network 121 without being compressed, or may be sent to the network 121 after being subjected to pressure processing by the camera units 122, 123, and 124.
  • the monitoring center 120 inputs the video information sent to the network 121 and analyzes the video information. If the input video information is compressed, the monitoring center 120 performs an expansion process.
  • the monitoring center may have a monitor that displays the video information.
  • the monitoring center 120 and the camera units 122, 123, and 124 can exchange control signals via the network 111.
  • the monitoring center 120 can instruct the camera units 122, 123, and 124 with information necessary for camera processing and compression processing.
  • information necessary for camera processing includes shooting start and shooting stop.
  • Some information necessary for the compression process includes a bit depth and a control threshold value.
  • FIG. 13 is a block diagram showing an example of a video conference system. This example is an example of a TV conference system in which the terminal units 131, 134, and 137 are connected to the network 130.
  • the terminal unit 131 includes a camera unit 133 and a monitor unit 132.
  • the camera unit 133 captures video information around the camera unit and outputs it to the terminal unit 131.
  • the terminal unit 131 sends the input video information to the network 130.
  • the video information may be sent to the network 130 without being compressed, or may be sent to the network 130 after being subjected to pressure processing by the camera unit 133 or the terminal unit 131. Further, the terminal unit 131 inputs video information sent to the network 130 and outputs it to the monitor unit 132.
  • the monitor unit 132 displays the input video information. If the input video information is compressed, the terminal unit 131 or the monitor unit 132 decompresses the video information, and displays the decoded video information on the monitor unit.
  • the terminal units 131, 134, and 137 can exchange control signals with each terminal unit via the network 130.
  • the terminal unit 131 can instruct the terminal unit 134 of information necessary for camera processing and compression processing.
  • information necessary for camera processing includes shooting start and shooting stop.
  • Some information necessary for the compression process includes a bit depth and a control threshold value.
  • FIG. 10 is a block diagram illustrating an example of a camera system.
  • Each block may be configured by hardware, or a part or all of the function of each block may be realized using software.
  • the camera unit 2 is a block that digitizes and outputs the captured image.
  • the video encoding device 1 is a block that encodes and outputs image information output from the camera unit 2.
  • the network interface 3 is a block that outputs video encoded data output from the video encoding device 1 to a network 5 such as a LAN.
  • the CPU 4 is a block that controls the camera unit 2, the video encoding device 1, and the network interface 3.
  • an image captured by the camera unit 2 is encoded by the video encoding device 1 and then output to the network 5 via the network interface 3.
  • FIG. 1 is a block diagram illustrating an example of a video encoding apparatus according to the present embodiment.
  • Each block may be configured by hardware, or a part or all of the function of each block may be realized using software.
  • the video encoding device 1 is a video encoding device that performs input image encoding processing and outputs encoded video data.
  • the video encoding device 1 is used in, for example, a broadcast video distribution system, a broadcast relay system, a mobile terminal, a surveillance camera system, an in-vehicle camera system, and the like.
  • the input unit 10 is a block for inputting image data to the video encoding device.
  • Examples of image data input to the input unit include image data captured by an external camera and image data recorded on an external recording medium.
  • the input image analysis unit 11 receives the image data captured by the input unit 10 and extracts the feature amount of one or more types of image data for each feature amount extraction region.
  • the feature amount extraction region there is a rectangular pixel block including one pixel and X pixels ⁇ Y pixels (X and Y are both positive numbers).
  • the rectangular pixel block there is a macroblock composed of 16 pixels ⁇ 16 pixels which is a unit of video encoding.
  • Examples of the feature amount of the image data include a luminance value, a color difference value, a luminance or color difference variance value, a luminance or color difference average value, and a luminance or color difference correlation value.
  • An example of the average value is an average value of luminance values in a macroblock.
  • the bit depth determination unit 12 receives the feature amount of the image data, the feature amount threshold value 100, and the range threshold value 101, and determines and outputs the bit depth.
  • the bit depth determination unit 12 extracts a feature amount extraction region where the feature amount of the image data is greater than or equal to the feature amount threshold value 100. If the region where the extracted feature amount extraction regions are equal to or greater than the range threshold value 101, the bit depth determination unit 12 Output a higher bit depth than.
  • the feature amount threshold value 100 and the range threshold value 101 are supplied from, for example, the CPU 4 in FIG. Note that the bit depth determination unit 12 is also referred to as a bit depth output unit.
  • An example of the unit of the range threshold 101 is a pixel.
  • the range threshold 101 is 4096 pixels
  • a higher bit depth is output when the extracted continuous feature amount extraction region is 4096 pixels or more than when it is less than 4096 pixels.
  • Another example of the unit of the range threshold 101 is a feature amount extraction area.
  • the feature quantity extraction region is a macroblock composed of 16 pixels ⁇ 16 pixels.
  • the range threshold 101 is 16 macroblocks
  • a higher bit depth is output when the extracted continuous feature amount extraction area is 16 macroblocks or more than when it is less than 16 macroblocks.
  • bit depth there are 8 bits, 10 bits, and 12 bits.
  • the bit depth determination unit 12 outputs 12 bits when the continuous region of the feature amount extraction region is the range threshold 101 or more, In this case, 8 bits are output.
  • FIG. 4 is a diagram illustrating an example when the unit of the range threshold 101 is a feature amount extraction region.
  • the feature amount threshold value 100 has a lower limit value B0 and the range threshold value 101 has an upper limit value A1.
  • a frame 40 indicates an image frame region to be encoded.
  • the feature amount extraction region of the black portion is a feature amount extraction region in which the feature amount of the image data is less than the lower limit value B0.
  • the image areas 41 and 42 are enlarged views with respect to a partial image area in the frame 40 configured by a 6 ⁇ 6 feature amount extraction area.
  • Each feature amount extraction region is configured by a macroblock of 16 pixels ⁇ 16 pixels.
  • the image areas 43 and 44 shown in black are feature quantity extraction areas in which the feature quantity of the image data is less than the lower limit value B0.
  • the number of extracted feature quantity extraction regions in the image region 41 is five regions.
  • the number of extracted feature amount extraction regions in the image region 42 is 23 regions.
  • the bit depth for the frame 40 is The bit depth higher than the bit depth for the frame constituted only by the image regions having the number of consecutive feature quantity extraction regions less than the upper limit value A1 is output.
  • the upper limit value A1 of the range threshold 101 When the upper limit value A1 of the range threshold 101 is set to 10, one of the five extracted feature quantity extraction regions in the frame 40 and the 23 regions is equal to or greater than the upper limit value A1, so the bit for the frame 40 As the depth, a bit depth higher than the bit depth for a frame composed of only image regions in which the number of extracted feature amount extraction regions is less than the upper limit value A1 is output.
  • the upper limit value A1 of the range threshold 101 is set to 100, the number of consecutive feature quantity extraction regions extracted in the frame 40 is less than the upper limit value A1, so that the bit depth for the frame 40 is continuously extracted.
  • a bit depth lower than the bit depth for a frame including an image area whose feature quantity extraction area is equal to or greater than the upper limit A1 is output.
  • FIG. 2 is an example of an image captured by the in-vehicle camera.
  • a lower limit value B0 is provided as the feature amount threshold value 100
  • an upper limit value A1 is provided as the range threshold value 101
  • a feature amount extraction region in which the feature amount of the image data is less than the lower limit value B0 is illustrated in black.
  • a region 22 in the frame 20 indicates a feature amount extraction region where the feature amount of the image data is less than the lower limit value B0.
  • the other region 21 indicates a feature amount extraction region where the feature amount of the image data is equal to or greater than the lower limit value B0.
  • the bit depth determination unit 12 outputs a lower bit depth than when the region 22 is N or more during the period until the region 22 becomes N.
  • the bit depth determination unit 12 switches the bit depth to be output, and outputs a higher bit depth than when the region 22 is less than N.
  • the bit depth determination unit 12 switches the bit depth to be output, and outputs a higher bit depth than when the region 22 is less than N.
  • the car is away from the tunnel, it will need to approach the tunnel to a certain distance, output a lower bit depth than when entering the tunnel, approach the tunnel, and look inside the tunnel in detail.
  • the load of the encoding process can be reduced on average.
  • FIG. 3 is an example of an image captured by the in-vehicle camera.
  • an upper limit value A0 and a lower limit value B0 are provided as the feature amount threshold value
  • an upper limit value A1 is provided as the range threshold value 101
  • a feature amount extraction region in which the feature amount of the image data is less than the lower limit value B0 is shown in black.
  • a feature amount extraction area whose feature amount is equal to or greater than the upper limit value A0 is indicated by hatching.
  • the area 32 indicates an area in which the feature amount of the image data is less than the lower limit value B0.
  • An area 31 indicates an area where the feature amount of the image data is equal to or greater than the upper limit value A0.
  • a region 33 indicates a region where the feature amount of the image data is not less than the lower limit value B0 and less than the upper limit value A0.
  • a high bit depth is output.
  • the area 31 is a high brightness area and the area 32 is a low brightness area.
  • FIG. 5 shows an example in which image frames are arranged in time order.
  • a lower limit value B0 is provided as the feature amount threshold value 100
  • an upper limit value A1 is provided as the range threshold value 101.
  • Frames 50, 51, 52, 53, 54, and 55 indicate image frames arranged in time order.
  • the black portion in each frame indicates a region where the feature amount of the image data is less than the lower limit value B0 and a region where the number of consecutive extracted feature amount extraction regions is the upper limit value A1 or more.
  • the frames 50 and 51 include a region where the feature amount of the image data is less than the lower limit value B0 and a region where the number of extracted feature amount extraction regions is equal to or greater than the upper limit value A1.
  • bit depth A is lower than the bit depth B
  • bit depth B a region where the feature amount of the image data is less than the lower limit A0 and a region where the number of extracted feature amount extraction regions is the upper limit value A1 or more.
  • Bit depth B is output when the signal exists, and bit depth A is output otherwise.
  • bit depth B is output for the frames 50 and 51
  • bit depth A is output for the frames 52, 53, 54, and 55.
  • FIG. 6 shows another example in which image frames are arranged in time order.
  • the feature amount threshold 100 includes a lower limit value B0
  • the range threshold 101 includes an upper limit value A1 and dead zone information C1.
  • Dead zone information is information for maintaining the conventional bit depth without changing the bit depth for the designated number of frames when the bit depth changes.
  • the unit of the dead zone information C1 is the number of frames, and the value of the dead zone information C1 is 2 in FIG.
  • Frames 60, 61, 62, 63, 64, and 65 indicate image frames arranged in time order.
  • the black portion in each frame indicates a region where the feature amount of the image data is less than the lower limit value B0 and a region where the number of consecutive extracted feature amount extraction regions is the upper limit value A1 or more.
  • the frames 60 and 61 include a region where the feature amount of the image data is less than the lower limit value B0 and a region where the number of extracted feature amount extraction regions is equal to or greater than the upper limit value A1.
  • bit depth A is lower than the bit depth B as in FIG. 5, the number of extracted feature amount extraction regions that are regions where the feature amount of the image data is less than the lower limit value A0 is greater than or equal to the upper limit value A1.
  • a bit depth B is output for frames 60 and 61 in which an area is present.
  • Dead zone information for frames 62, 63, 64, and 65 in which there is no region where the feature amount of the image data is less than the lower limit value A0 and the number of consecutive extracted feature amount extraction regions is the upper limit value A1 or more.
  • the bit depth B that is the immediately preceding bit depth is maintained.
  • the bit depth A is output for the number of frames indicated by the dead band information C1, that is, the frames after two frames, that is, the frames 64 and 65.
  • the process shown in FIG. 6 can avoid frequent bit depth switching and erroneous bit depth switching.
  • FIG. 7 shows another example in which image frames are arranged in time order.
  • the feature amount threshold value 100 has a lower limit value B0
  • the range threshold value 101 has an upper limit value A1 and dead zone information D1.
  • the unit of the dead zone information D1 is the number of frames.
  • the value of the dead zone information D1 is set to 2.
  • Frames 70, 71, 72, 73, 74, and 75 indicate image frames arranged in time order.
  • the black portion in each frame indicates a region where the feature amount of the image data is less than the lower limit value B0 and a region where the number of extracted feature amount extraction regions is equal to or greater than the upper limit value A1.
  • the frames 70 and 71 there is no area where the feature amount of the image data is less than the lower limit value B0 and the number of consecutive extracted feature amount extraction areas is the upper limit value A1 or more.
  • the frames 72, 73, 74, and 75 there are regions where the feature amount of the image data is less than the lower limit value B0 and the number of extracted feature amount extraction regions that are continuously extracted is the upper limit value A1 or more.
  • bit depth A is lower than the bit depth B as in FIG. 5, the number of extracted feature amount extraction regions that are regions where the feature amount of the image data is less than the lower limit value A0 is greater than or equal to the upper limit value A1.
  • a bit depth A is output for frames 70 and 71 in which no region exists.
  • Dead zone information is provided for frames 72, 73, 74, and 75 in which there are regions where the feature amount of the image data is less than the lower limit value A0 and the number of consecutive extracted feature amount extraction regions is the upper limit value A1 or more.
  • D1 the number of frames indicated by D1 that is, two frames, that is, the frames 72 and 73
  • the bit depth A that is the immediately preceding bit depth is maintained.
  • a high bit depth A is output for the number of frames indicated by the dead zone information D1, that is, the frames after two frames, that is, the frames 74 and 75.
  • the processing shown in FIG. 7 can avoid frequent bit depth switching and erroneous switching.
  • FIG. 8 shows another example in which image frames are arranged in time order.
  • the feature amount threshold value 100 has a lower limit value B0
  • the range threshold value 101 has an upper limit value A1 and high bit depth insertion interval information E1.
  • the high bit depth insertion interval information is information indicating a frame interval at which a high bit depth B is inserted.
  • the unit of the high bit depth insertion interval information E1 is the number of frames. In FIG. 8, the value of the high bit depth insertion interval E1 is 2.
  • Frames 80, 81, 82, 83, 84, and 85 indicate image frames arranged in time order.
  • the black portion in each frame indicates a region where the feature amount of the image data is less than the lower limit value B0 and a region where the number of consecutive extracted feature amount extraction regions is the upper limit value A1 or more.
  • the frames 82, 83, 84, and 85 there are regions where the feature amount of the image data is less than the lower limit value B0, and regions where the number of consecutive feature amount extraction regions is equal to or more than the upper limit value A1.
  • a high bit depth B is output for each frame interval indicated by the high bit depth insertion interval E1, and a low bit depth is output for other frames.
  • the processing shown in FIG. 8 can avoid frequent bit depth switching and erroneous switching.
  • the bit depth depends on whether or not there is a region where the feature amount of the image data is less than the lower limit value B0 and the number of consecutive extracted feature amount extraction regions is the upper limit value A1 or more.
  • the bit depth switching may be controlled by another method based on the feature amount of the image data. For example, when the area or ratio of a region whose feature amount is less than a predetermined lower limit (for example, the ratio occupied in one frame) is greater than or equal to a predetermined threshold, the bit depth is higher than when the area is less than the predetermined value. Is output.
  • FIG. 9 is a block diagram showing another example of the video encoding device.
  • Each block may be configured by hardware, or a part or all of the function of each block may be realized using software.
  • the video encoding device in FIG. 9 is configured to be input to the external environment information 900 bit depth determination unit 90 in addition to the video encoding device shown in FIG.
  • the external environment information 900 is supplied from, for example, the CPU 4 in FIG. 10, similarly to the feature amount threshold value 100 and the range threshold value 101.
  • the bit depth determination unit 90 is also referred to as a bit depth output unit.
  • the remaining power level of the battery connected to the video encoding device as the external environment information 900 and the power level threshold value as the feature amount threshold 100, for example, the remaining power level of the battery connected to the video encoding device. Is less than the power threshold value, a lower bit depth is output than in other cases. As a result, when the remaining amount of power of the battery to which the present video encoding device is connected is reduced, it is possible to save power in the video encoding device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　先行技術文献では消費電力の削減について考慮されていない。　画像情報を符号化する符号化方法において、画像情報が入力されるステップと、入力された画像情報の特徴を解析する解析ステップと、　映像符号化に対するビット深度を決定して出力するビット深度出力ステップと、ビット深度出力ステップで出力したビット深度を用いて入力された画像情報の符号化処理を行う符号化ステップと、を有し、ビット深度出力ステップでは、解析ステップの解析結果に基づいて出力するビット深度を切替えることを特徴とする。

Description

符号化方法及び符号化装置
　技術分野は、映像符号化に関する。
　特許文献１には、「動画像に異なるピクセル深度をもたせて効率良く符号化するための符号化技術を提供すること」（特許文献１［０００６］）を課題とし、その解決手段として「動画像を階層的に符号化する際、画像データを与える複数のビットプレーンの内、上位ビットプレーン群を基本レイヤに、前記上位ビットプレーン群を含むより多いビット数のビットプレーン群を拡張レイヤに割り当て、前記拡張レイヤでは、前記拡張レイヤにおける予測による差分ピクチャと前記基本レイヤにおける予測による差分ピクチャのレイヤ間での差分を符号化して前記拡張レイヤの符号化データを生成する」（特許文献１［０００７］参照）ことが記載されている。
特開２００７-２６６７４９号公報（図１）
　しかし、特許文献１では消費電力の削減について考慮されていない。
　上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。
  本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、画像情報を符号化する符号化方法において、画像情報が入力されるステップと、入力された画像情報の特徴を解析する解析ステップと、　映像符号化に対するビット深度を決定して出力するビット深度出力ステップと、ビット深度出力ステップで出力したビット深度を用いて入力された画像情報の符号化処理を行う符号化ステップと、を有し、ビット深度出力ステップでは、解析ステップの解析結果に基づいて出力するビット深度を切替えることを特徴とする。
　本発明によれば、画像の特徴や電力残量に応じて、ビット深度を変更する事で、消費電力を削減することができる。
第一実施例における映像符号化装置の一例 第一実施例における画像の特徴量と特徴量閾値内範囲を示す一例 第一実施例における画像の特徴量と特徴量閾値内範囲を示す別の一例 第一実施例における画像の特徴量と特徴量閾値内範囲を示す一例 第一実施例における特徴量閾値内範囲と範囲閾値を示す一例 第一実施例におけるフレーム毎のビット深度を示す一例 第一実施例におけるフレーム毎のビット深度を示す別の一例 第一実施例におけるフレーム毎のビット深度を示す別の一例 第二実施例における映像符号化装置の一例 第一実施例または第二実施例における映像符号化装置を用いたシステムの一例 車載カメラシステムの一例である。 監視カメラシステムの一例である。 テレビ会議システムの一例である。
　近年、映像コンテンツの高画質化、車載カメラのデジタル化、また監視システムにおける更なる安全性向上実現に向けて、映像符号化処理における画像の高階調化の必要性が高まってきている。
　代表的な映像符号化方式であるＨ．２６４／ＡＶＣ規格では、ビット深度に応じてプロファイルが規定されており、高いビット深度で映像符号化することで、高階調化を実現する事が出来る。
　以下の実施例では、画像の高階調化を実現しつつ消費電力をより低減する符号化装置、及びそれを利用したシステムについて説明する。
　まずは、本実施例の映像符号化装置が適用される車載カメラシステム、監視システムおよびＴＶ会議システムの概要について説明する。
　図１１は車載カメラシステムの一例を示すブロック図である。本例では、車１１０内にはネットワーク１１１が搭載されており、カメラ部１１２、１１３、１１４、１１５、ＥＣＵ（Engine Control Unit）部１１６が、ネットワーク１１１に接続されている。また、モニタ部１１７がＥＣＵ部に接続される。
　カメラ部１１２、１１３、１１４、１１５は、撮像した車１１０の周囲の映像情報をネットワーク１１１に送出する。映像情報は、非圧縮のままネットワーク１１１に送出してもよいし、カメラ部１１２、１１３、１１４、１１５で圧処理した後に、ネットワーク１１１に送出してもよい。
　ＥＣＵ部１１６は、前記ネットワーク１１１に送出された映像情報を入力し、モニタ１１７に映像情報を出力する。入力する映像情報が圧縮されている場合には、ＥＣＵ部１１６は伸張処理を行い、得られた復号化後の映像情報をモニタ１１７に出力する。
　モニタ部１１７は、入力される映像情報の映像表示を行う。ＥＣＵ部１１６とカメラ部１１２、１１３、１１４、１１５は、ネットワーク１１１を介して制御信号の授受が可能である。例えば、ＥＣＵ部１１６からカメラ部１１２、１１３、１１４、１１５に対して、カメラ処理や圧縮処理に必要な情報などの指示を行うことが出来る。カメラ処理に必要な情報の一例として、撮影開始、撮影停止などがある。圧縮処理に必要な情報の一部として、ビット深度や制御用の閾値などがある。
　当該構成により、カメラ部１１２、１１３、１１４、１１５を制御しながら、各カメラが撮像した映像をモニタ１１７で視聴すること、ＥＣＵ部１１６で記録すること等が可能となる。
　図１２は監視システム一例を示すブロック図である。本例は、カメラ部１２２、１２３、１２４と、監視センタ１２０が、ネットワーク１２１に接続されている監視システムの一例である。
　カメラ部１２２、１２３、１２４は、各カメラ部が設置された周囲の映像情報を撮像してネットワーク１２１に送出する。映像情報は、非圧縮のままネットワーク１２１に送出してもよいし、カメラ部１２２、１２３、１２４で圧処理した後に、ネットワーク１２１に送出してもよい。
　監視センタ１２０は、前記ネットワーク１２１に送出された映像情報を入力し、映像情報を解析する。入力する映像情報が圧縮されている場合には、監視センタ１２０は伸張処理を行う。監視センタは前記映像情報を表示するモニタを有してもよい。
　監視センタ１２０とカメラ部１２２、１２３、１２４は、ネットワーク１１１を介して制御信号の授受が可能である。例えば、監視センタ１２０からカメラ部１２２、１２３、１２４に対して、カメラ処理や圧縮処理に必要な情報などの指示を行うことが出来る。カメラ処理に必要な情報の一例として、撮影開始、撮影停止などがある。圧縮処理に必要な情報の一部として、ビット深度や制御用の閾値などがある。
　当該構成により、監視センタ１２０からカメラ１２２、１２３、１２４を制御しながら、各カメラが撮像した映像を監視センタ１２０で視聴、記録等することが可能となる。
　図１３はテレビ会議システム一例を示すブロック図である。本例は、端末部１３１、１３４、１３７が、ネットワーク１３０に接続されているＴＶ会議システムの一例である。端末部１３１はカメラ部１３３とモニタ部１３２を有する。
　カメラ部１３３は、カメラ部が設置された周囲の映像情報を撮像して端末部１３１に出力する。端末部１３１は、入力された映像情報をネットワーク１３０に送出する。映像情報は、非圧縮のままネットワーク１３０に送出してもよいし、カメラ部１３３または端末部１３１で圧処理した後に、ネットワーク１３０に送出してもよい。また、端末部１３１は、前記ネットワーク１３０に送出された映像情報を入力し、モニタ部１３２へ出力する。
　モニタ部１３２は、入力した映像情報の表示を行う。入力する映像情報が圧縮されている場合には、端末部１３１またはモニタ部１３２で映像情報の伸張処理し、復号された映像情報をモニタ部で表示する。
　端末１３４、１３７は、端末１３１と同等の機能を有するため、説明は省略する。端末部１３１、１３４、１３７は、ネットワーク１３０を介して、各端末部との間で制御信号の授受が可能である。例えば、端末部１３１から端末部１３４、に対して、カメラ処理や圧縮処理に必要な情報などの指示を行うことが出来る。カメラ処理に必要な情報の一例として、撮影開始、撮影停止などがある。圧縮処理に必要な情報の一部として、ビット深度や制御用の閾値などがある。
　当該構成により、端末部１３１、１３４、１３７の間で映像情報、音声情報のやり取りが可能となり、テレビ会議システムを実現することができる。
　次に、図１１、図１２、図１３で用いられる車載カメラ、監視カメラ、ＴＶ会議システム用カメラについて説明する。図１０は、カメラシステムの一例を示すブロック図である。各ブロックはハードウェアにより構成してもよいし、各ブロックの機能の一部または全部をソフトウェアを用いて実現する構成としてもよい。
　カメラ部２は、取り込んだ画像をデジタル化して出力するブロックである。映像符号化装置１は、カメラ部２から出力された画像情報を符号化して出力するブロックである。ネットワークインタフェース３は、映像符号化装置１から出力された映像符号化データをＬＡＮ等のネットワーク５に出力するブロックである。ＣＰＵ４は、カメラ部２、映像符号化装置１、ネットワークインタフェース３を制御するブロックである。
　図１０のカメラシステムにおいては、カメラ部２で取り込まれた画像が映像符号化装置１により符号化された後、ネットワークインタフェース３を介してネットワーク５へ出力される。
　次に、図１０における映像符号化装置１の動作について説明する。図１は、本実施例の映像符号化装置の一例を示すブロック図である。各ブロックはハードウェアにより構成してもよいし、各ブロックの機能の一部または全部をソフトウェアを用いて実現する構成としてもよい。
　映像符号化装置１は、入力画像の符号化処理を行い、符号化映像データを出力する映像符号化装置である。映像符号化装置１は、例えば放送用映像配信システム、放送用中継システム、携帯端末、監視カメラシステム、車載カメラシステムなどに利用される。
　入力部１０は、画像データを映像符号化装置に入力するブロックである。入力部に入力される画像データの一例としては、外部カメラで撮像した画像データや、外部記録メディアに記録されている画像データなどがある。
　入力画像解析部１１は、入力部１０で取り込んだ画像データを入力とし、１種類または複数種類の画像データの特徴量を、特徴量抽出領域毎に抽出する。特徴量抽出領域の一例として、１画素や、Ｘ画素×Ｙ画素（Ｘ、Ｙは共に正の数）で構成される矩形型画素ブロックがある。矩形型画素ブロックの一例としては、映像符号化の単位である１６画素×１６画素で構成されるマクロブロックがある。
　画像データの特徴量の一例としては、輝度値、色差値、輝度または色差の分散値、輝度または色差の平均値、輝度や色差の相関値などがある。平均値の一例としては、マクロブロックにおける輝度値の平均値などがある。
　ビット深度判定部１２は、前記画像データの特徴量と、特徴量閾値１００と、範囲閾値１０１を入力とし、ビット深度を決定して出力する。ビット深度判定部１２は、画像データの特徴量が特徴量閾値１００以上である特徴量抽出領域を抽出し、抽出した特徴量抽出領域の連続する領域が、範囲閾値１０１以上の場合に、それ以外の場合よりも高いビット深度を出力する。特徴量閾値１００、範囲閾値１０１は、例えば図１０におけるＣＰＵ４から供給される。なお、ビット深度判定部１２は、ビット深度出力部ともいう。
　範囲閾値１０１の単位の一例として、画素がある。例えば、範囲閾値１０１を４０９６画素とすると、抽出された特徴量抽出領域の連続する領域が４０９６画素以上である場合、４０９６画素未満である場合に比べて高いビット深度を出力する。
　範囲閾値１０１の単位の別の一例として、特徴量抽出領域がある。例えば、特徴量抽出領域が１６画素×１６画素で構成されるマクロブロックである場合を考える。範囲閾値１０１を１６マクロブロックとすると、抽出された特徴量抽出領域の連続する領域が１６マクロブロック以上の場合、１６マクロブロック未満である場合に比べて高いビット深度を出力する。
　ビット深度の一例としては、８ビット、１０ビット、１２ビットがあり、例えばビット深度判定部１２では特徴量抽出領域の連続する領域が範囲閾値１０１以上の場合に１２ビットを出力し、それ以外の場合は８ビットを出力する。
　図４は、範囲閾値１０１の単位を特徴量抽出領域とした場合の一例を示す図である。本実施例では、特徴量閾値１００として下限値Ｂ０、範囲閾値１０１として上限値Ａ１を有する。フレーム４０は、符号化対象となる画像フレーム領域を示している。フレーム４０内で黒塗り部分の特徴量抽出領域は、画像データの特徴量が下限値Ｂ０未満の特徴量抽出領域である。
　画像領域４１及び４２は、６×６の特徴量抽出領域で構成されるフレーム４０内の一部画像領域に対する拡大図である。各特徴量抽出領域は、１６画素×１６画素のマクロブロックで構成される。黒塗りで示す画像領域４３及び４４は、画像データの特徴量が下限値Ｂ０未満である特徴量抽出領域である。画像領域４１における連続する抽出された特徴量抽出領域数は５領域である。画像領域４２における連続する抽出された特徴量抽出領域数は２３領域である。
　範囲閾値１０１の上限値Ａ１を４とした場合、フレーム４０内における連続する抽出された特徴量抽出領域数５領域及び２３領域は、供に上限値Ａ１以上であるため、フレーム４０に対するビット深度として、連続する抽出された特徴量抽出領域数が上限値Ａ１未満の画像領域のみで構成されるフレームに対するビット深度よりも高いビット深度を出力する。
　また、範囲閾値１０１の上限値Ａ１を１０とした場合、フレーム４０内における連続する抽出された特徴量抽出領域数５領域及び２３領域のうち片方が上限値Ａ１以上であるため、フレーム４０に対するビット深度として、連続する抽出された特徴量抽出領域数が上限値Ａ１未満の画像領域のみで構成されるフレームに対するビット深度よりも高いビット深度を出力する。
　また、範囲閾値１０１の上限値Ａ１を１００とした場合、フレーム４０内における連続する抽出された特徴量抽出領域数は上限値Ａ１未満であるため、フレーム４０に対するビット深度として、連続する抽出された特徴量抽出領域数が上限値Ａ１以上の画像領域を含むフレームに対するビット深度よりも低いビット深度を出力する。
　図２は、車載カメラにより撮像された画像の一例である。図２では、特徴量閾値１００として下限値Ｂ０、範囲閾値１０１として上限値Ａ１が設けられ、画像データの特徴量が下限値Ｂ０未満である特徴量抽出領域が黒塗りで示されている。フレーム２０内の領域２２は、画像データの特徴量が下限値Ｂ０未満である特徴量抽出領域を示す。また、それ以外の領域２１は、画像データの特徴量が下限値Ｂ０以上である特徴量抽出領域を示す。
　例えば、車載カメラシステムを搭載した車がトンネルに近づいて行く場合を考える。領域２２がトンネル部分である場合、車がトンネルに近づくにつれて、領域２２の範囲は大きくなる。範囲閾値１０１の上限値Ａ１をＮとした場合、領域２２がＮになるまでの期間は、ビット深度判定部１２は領域２２がＮ以上の場合よりも低いビット深度を出力する。
　領域２２がＮ以上になるまで車がトンネルに近づくと、ビット深度判定部１２は出力するビット深度を切り替えて、領域２２がＮ未満の場合よりも高いビット深度を出力する。本例では、車がトンネルから離れている場合にはトンネルに所定の距離まで近付き、トンネル内部に入ったときよりも低いビット深度を出力し、トンネルに近づき、トンネル内部を詳細に見る必要が生じた時点でそれまでよりも高いビット深度に切り替えることで、符号化処理の負荷を平均して削減することができる。
　図３は、車載カメラにより撮像された画像の一例である。図３では、特徴量閾値として上限値Ａ０及び下限値Ｂ０、範囲閾値１０１として上限値Ａ１が設けられ、画像データの特徴量が下限値Ｂ０未満である特徴量抽出領域が黒塗りで示され、特徴量が上限値Ａ０以上である特徴量抽出領域が斜線で示されている。フレーム３０内の画像領域のうち、領域３２は、画像データの特徴量が、前記下限値Ｂ０未満である領域を示す。領域３１は、画像データの特徴量が、前記上限値Ａ０以上である領域を示す。領域３３は、画像データの特徴量が、前記下限値Ｂ０以上かつ、前記上限値Ａ０未満である領域を示す。
　フレーム３０における連続する抽出された特徴量抽出領域数が、範囲閾値１０１の以上の場合に、高いビット深度を出力する。特徴量抽出領域としてマクロブロック、特徴量としてマクロブロックあたりの平均輝度値を例にとった場合、領域３１は高輝度領域、領域３２は低輝度領域となる。本実施例を適用する事で、所定領域以上の高輝度領域または低輝度領域が存在するフレームに対してそれ以外のフレームよりも高いビット深度での符号化処理を行うことが出来る。これにより、高輝度領域における白とびを抑制し、低輝度領域における暗部視認性を向上させることができる。
　図５に、画像フレームを時間順に並べた例を示す。図５では、特徴量閾値１００として下限値Ｂ０、範囲閾値１０１として、上限値Ａ１を設ける。
　フレーム５０、５１、５２、５３、５４、５５は、時間順に並べられた画像フレームを示す。各フレームにおける黒塗り部は、画像データの特徴量が、下限値Ｂ０未満である領域かつ、連続する抽出された特徴量抽出領域数が上限値Ａ１以上である領域を示す。
　フレーム５０及び５１は、画像データの特徴量が、下限値Ｂ０未満である領域かつ、連続する抽出された特徴量抽出領域数が上限値Ａ１以上である領域が存在する。
　一方、フレーム５２、５３、５４、５５では、画像データの特徴量が、下限値Ｂ０未満である領域かつ、連続する抽出された特徴量抽出領域数が上限値Ａ１以上である領域が存在しない。
　ここで、ビット深度Ａがビット深度Ｂよりも低いとすると、画像データの特徴量が、下限値Ａ０未満である領域かつ、連続する抽出された特徴量抽出領域数が上限値Ａ１以上である領域が存在する場合にビット深度Ｂを出力し、それ以外の場合にビット深度Ａを出力する。
　図５の例では、フレーム５０、５１に対してビット深度Ｂを出力し、フレーム５２、５３、５４、５５に対してビット深度Ａを出力する。これによって、全てのフレームに対して高いビット深度を出力する場合に比べて、符号化処理負荷や消費電力を削減することができる。
　図６に、画像フレームを時間順に並べた他の例を示す。図６では、特徴量閾値１００として下限値Ｂ０、範囲閾値１０１として、上限値Ａ１及び不感帯情報Ｃ１を有する。
　不感帯情報とは、ビット深度が変更となる条件に該当している場合において、指定されたフレーム数分はビット深度を変更せず、従来のビット深度を維持するための情報である。不感帯情報Ｃ１の単位はフレーム数であり、図６では不感帯情報Ｃ１の値を２としている。
　フレーム６０、６１、６２、６３、６４、６５は、時間順に並べられた画像フレームを示す。各フレームにおける黒塗り部は、画像データの特徴量が、下限値Ｂ０未満である領域かつ、連続する抽出された特徴量抽出領域数が上限値Ａ１以上である領域を示す。
　フレーム６０及び６１は、画像データの特徴量が、下限値Ｂ０未満である領域かつ、連続する抽出された特徴量抽出領域数が上限値Ａ１以上である領域が存在する。
　一方、フレーム６２、６３、６４、６５では、画像データの特徴量が、下限値Ｂ０未満である領域かつ、連続する抽出された特徴量抽出領域数が上限値Ａ１以上である領域が存在しない。
　ここで、図５と同様にビット深度Ａがビット深度Ｂよりも低いとすると、画像データの特徴量が下限値Ａ０未満である領域かつ連続する抽出された特徴量抽出領域数が上限値Ａ１以上である領域が存在するフレーム６０、６１に対して、ビット深度Ｂを出力する。
　画像データの特徴量が下限値Ａ０未満である領域かつ連続する抽出された特徴量抽出領域数が上限値Ａ１以上である領域が存在しないフレーム６２、６３、６４、６５に対しては、不感帯情報Ｃ１が示すフレーム数、すなわち２フレーム分、すなわちフレーム６２、６３に対しては、直前のビット深度であるビット深度Ｂを維持する。不感帯情報Ｃ１が示すフレーム数、すなわち２フレーム分よりも後のフレーム、すなわちフレーム６４、６５に対しては、ビット深度Ａを出力する。
　図６に示す処理により、頻繁なビット深度の切替や、誤ったビット深度の切替を回避する事が出来る。
　図７に、画像フレームを時間順に並べた他の例を示す。図７では、特徴量閾値１００として下限値Ｂ０を有し、範囲閾値１０１として上限値Ａ１及び不感帯情報Ｄ１を有する。不感帯情報Ｄ１の単位はフレーム数である。図７では、不感帯情報Ｄ１の値を２としている。
　フレーム７０、７１、７２、７３、７４、７５は、時間順に並べられた画像フレームを示す。各フレームにおける黒塗り部は、画像データの特徴量が下限値Ｂ０未満である領域かつ連続する抽出された特徴量抽出領域数が上限値Ａ１以上である領域を示す。
　フレーム７０及び７１は、画像データの特徴量が下限値Ｂ０未満である領域かつ連続する抽出された特徴量抽出領域数が上限値Ａ１以上である領域が存在しない。
　一方、フレーム７２、７３、７４、７５では、画像データの特徴量が、下限値Ｂ０未満である領域かつ連続する抽出された特徴量抽出領域数が上限値Ａ１以上である領域が存在する。
　ここで、図５と同様にビット深度Ａがビット深度Ｂよりも低いとすると、画像データの特徴量が下限値Ａ０未満である領域かつ連続する抽出された特徴量抽出領域数が上限値Ａ１以上である領域が存在しないフレーム７０、７１に対して、ビット深度Ａを出力する。画像データの特徴量が下限値Ａ０未満である領域かつ連続する抽出された特徴量抽出領域数が上限値Ａ１以上である領域が存在するフレーム７２、７３、７４、７５に対しては、不感帯情報Ｄ１が示すフレーム数、すなわち２フレーム分、すなわちフレーム７２、７３に対しては、直前のビット深度であるビット深度Ａを維持する。不感帯情報Ｄ１が示すフレーム数、すなわち２フレーム分よりも後のフレーム、すなわちフレーム７４、７５に対しては、高いビット深度Ａを出力する。
　図７に示す処理により、頻繁なビット深度の切替や、誤った切替を回避する事が出来る。
　図８に、画像フレームを時間順に並べた他の例を示す。図８では、特徴量閾値１００として下限値Ｂ０を有し、範囲閾値１０１として上限値Ａ１及び高ビット深度挿入間隔情報Ｅ１を有する。
　高ビット深度挿入間隔情報とは、高いビット深度Ｂを挿入するフレーム間隔を示す情報である。高ビット深度挿入間隔情報Ｅ１の単位はフレーム数である。図８では、高ビット深度挿入間隔Ｅ１の値を２としている。
　フレーム８０、８１、８２、８３、８４、８５は、時間順に並べられた画像フレームを示す。各フレームにおける黒塗り部は、画像データの特徴量が、下限値Ｂ０未満である領域かつ、連続する抽出された特徴量抽出領域数が上限値Ａ１以上である領域を示す。
　フレーム８０及び８１は、画像データの特徴量が、下限値Ｂ０未満である領域かつ、連続する抽出された特徴量抽出領域数が上限値Ａ１以上である領域が存在しない。
　一方、フレーム８２、８３、８４、８５では、画像データの特徴量が、下限値Ｂ０未満である領域かつ、連続する抽出された特徴量抽出領域数が上限値Ａ１以上である領域が存在する。
　図８では、画像データの特徴量に係わらず、高ビット深度挿入間隔Ｅ１が示すフレーム間隔毎に高いビット深度Ｂを出力し、その他のフレームに対しては低いビット深度を出力する。
　図８に示す処理により、頻繁なビット深度の切替や、誤った切替を回避する事が出来る。
　上記の実施例においては、画像データの特徴量が、下限値Ｂ０未満である領域かつ、連続する抽出された特徴量抽出領域数が上限値Ａ１以上である領域が存在するか否かでビット深度の切換を行っていたが、画像データの特徴量に基づいて他の方法でビット深度の切り替えを制御してもよい。例えば、特徴量が所定の下限値未満である領域の面積または割合（例えば、１フレームの中で占める割合）が所定の閾値以上であった場合に、所定値未満の場合に比べて高いビット深度を出力する。
　図９は、映像符号化装置の他の一例を示すブロック図である。各ブロックはハードウェアにより構成してもよいし、各ブロックの機能の一部または全部をソフトウェアを用いて実現する構成としてもよい。
　図９の映像符号化装置は、図１に示す映像符号化装置に、更に外部環境情報９００ビット深度判定部９０に入力される構成となる。外部環境情報９００は、特徴量閾値１００や範囲閾値１０１と同様に、例えば図１０のＣＰＵ４から供給される。なお、ビット深度判定部９０は、ビット深度出力部ともいう。
　外部環境情報９００として本映像符号化装置が接続されているバッテリーの電力残量、特徴量閾値１００として電力量閾値を例にとると、本映像符号化装置が接続されているバッテリーの電力残量が前記電力量閾値未満の場合には、それ以外の場合に比べて低いビット深度を出力する。これにより、本映像符号化装置が接続されているバッテリーの電力残量が少なくなった場合に、映像符号化装置の省電力化が可能となる。
　以上の実施例によれば、画像の特徴や電力残量に応じてビット深度を変更し、消費電力を削減することができる。
　１　　　映像符号化装置
　１０　　入力部
　１１　　入力画像解析部
　１２　　ビット深度判定部
　１３　　映像符号化部
　１００　特徴量閾値
　１０１　範囲閾値

Claims (14)

  1. 　画像情報が入力されるステップと、
    　入力された画像情報の特徴を解析する解析ステップと、
    　映像符号化に対するビット深度を決定して出力するビット深度出力ステップと、
    　前記ビット深度出力ステップで出力したビット深度を用いて入力された画像情報の符号化処理を行う符号化ステップと、を有し、
    　前記ビット深度出力ステップでは、前記解析ステップの解析結果に基づいて出力するビット深度を切替えることを特徴とする符号化方法。
  2. 　請求項１の符号化方法であって、
    　前記ビット深度出力ステップでは、前記解析ステップで解析された特徴の量が所定の閾値内である領域が第１の状態から第２の状態に変化すると、出力するビット深度を第１のビット深度から第２のビット深度に切り替えることを特徴とする符号化方法。
  3. 　請求項２の符号化方法であって、
    　前記解析ステップでは、入力された画像情報の特徴量を所定の単位領域ごとに解析し、
    　前記第１の状態とは前記解析ステップで解析された特徴量が所定の閾値内である単位領域の連続する数が所定の数以上である状態であり、
    　前記第２の状態とは前記解析ステップで解析された特徴量が所定の閾値内である単位領域の連続する数が前記所定の数未満である状態であり、
    　前記第１のビット深度は前記第２のビット深度よりも高いことを特徴とする符号化方法。
  4. 　請求項２の符号化方法であって、
    　前記第１の状態とは前記解析ステップで解析された特徴の量が所定の閾値内である領域の広さが所定の広さ以上である状態であり、
    　前記第２の状態とは前記解析ステップで解析された特徴の量が所定の閾値内である領域の広さが前記所定の広さ未満である状態であり、
    　前記第１のビット深度は前記第２のビット深度よりも高いことを特徴とする符号化方法。
  5. 　請求項２の符号化方法であって、
    　前記第１の状態とは前記解析ステップで解析された特徴の量が所定の閾値内である領域の１フレームに占める割合が所定の割合以上である状態であり、
    　前記第２の状態とは前記解析ステップで解析された特徴の量が所定の閾値内である領域の１フレームに占める割合が前記所定の割合未満である状態であり、
    　前記第１のビット深度は前記第２のビット深度よりも高いことを特徴とする符号化方法。
  6. 　請求項２～５の符号化方法であって、
    　前記ビット深度出力ステップにおいて、前記解析ステップで解析された特徴の量が所定の閾値内である領域が前記第１の状態から前記第２の状態に変化しても、変化してから所定の時間が経過するまでビット深度の切り替えを行わないことを特徴とする符号化方法。
  7. 　画像情報が入力される入力部と、
    　前記入力部に入力された画像情報の特徴を解析する解析部と、
    　映像符号化に対するビット深度を決定して出力するビット深度出力部と、
    　前記ビット深度出力部から出力されたビット深度を用いて前記入力部に入力された画像情報の符号化処理を行う符号化部と、を有し、
    　前記ビット深度出力部では、前記解析部の解析結果に基づいて出力するビット深度を切替えることを特徴とする符号化装置。
  8. 　請求項７の符号化装置であって、
    　前記ビット深度出力部では、前記解析部で解析された特徴の量が所定の閾値内である領域が第１の状態から第２の状態に変化すると、出力するビット深度を第１のビット深度から第２のビット深度に切り替えることを特徴とする符号化装置。
  9. 　請求項８の符号化装置であって、
    　前記解析部では、入力された画像情報の特徴量を所定の単位領域ごとに解析し、
    　前記第１の状態とは前記解析部で解析された特徴量が所定の閾値内である単位領域の連続する数が所定の数以上である状態であり、
    　前記第２の状態とは前記解析部で解析された特徴量が所定の閾値内である単位領域の連続する数が前記所定の数未満である状態であり、
    　前記第１のビット深度は前記第２のビット深度よりも高いことを特徴とする符号化装置。
  10. 　請求項８の符号化装置であって、
    　前記第１の状態とは前記解析部で解析された特徴の量が所定の閾値内である領域の広さが所定の広さ以上である状態であり、
    　前記第２の状態とは前記解析部で解析された特徴の量が所定の閾値内である領域の広さが前記所定の広さ未満である状態であり、
    　前記第１のビット深度は前記第２のビット深度よりも高いことを特徴とする符号化装置。
  11. 　請求項８の符号化装置であって、
    　前記第１の状態とは前記解析部で解析された特徴の量が所定の閾値内である領域の１フレームに占める割合が所定の割合以上である状態であり、
    　前記第２の状態とは前記解析部で解析された特徴の量が所定の閾値内である領域の１フレームに占める割合が前記所定の割合未満である状態であり、
    　前記第１のビット深度は前記第２のビット深度よりも高いことを特徴とする符号化装置。
  12. 　請求項８～１１の符号化装置であって、
    　前記ビット深度出力部は、前記解析部で解析された特徴の量が所定の閾値内である領域が前記第１の状態から前記第２の状態に変化しても、変化してから所定の時間が経過するまでビット深度の切り替えを行わないことを特徴とする符号化装置。
  13. 　画像情報が入力される入力部と、
    　前記入力部に入力された画像情報の符号化処理を行う符号化部と、を有し、
    　前記入力部に第１の特徴量を有する画像情報が入力されると、前記符号化部は第１のビット深度で符号化処理を行い、
    　前記入力部に第１の特徴量とは異なる第２の特徴量を有する画像情報が入力されると、前記符号化部は前記第１のビット深度とは異なる第２のビット深度で符号化処理を行うことを特徴とする符号化装置。
  14. 　請求項１３の符号化装置であって、
    　前記第１の特徴量を有する画像情報とは、当該画像情報の特徴量が所定の閾値未満の画像情報であり、
    　前記第２の特徴量を有する画像情報とは、当該画像情報の特徴量が所定の閾値以上の画像情報であり、
    　前記第１のビット深度は前記第２のビット深度よりも高いことを特徴とする符号化装置。
PCT/JP2013/061566 2013-04-19 2013-04-19 符号化方法及び符号化装置 Ceased WO2014171001A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2013/061566 WO2014171001A1 (ja) 2013-04-19 2013-04-19 符号化方法及び符号化装置
US14/784,796 US10554986B2 (en) 2013-04-19 2013-04-19 Encoding method and encoding device
CN201380075235.0A CN105284116B (zh) 2013-04-19 2013-04-19 摄像方法和摄像装置
JP2015512260A JP6093009B2 (ja) 2013-04-19 2013-04-19 符号化方法及び符号化装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/061566 WO2014171001A1 (ja) 2013-04-19 2013-04-19 符号化方法及び符号化装置

Publications (1)

Publication Number Publication Date
WO2014171001A1 true WO2014171001A1 (ja) 2014-10-23

Family

ID=51730970

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/061566 Ceased WO2014171001A1 (ja) 2013-04-19 2013-04-19 符号化方法及び符号化装置

Country Status (4)

Country Link
US (1) US10554986B2 (ja)
JP (1) JP6093009B2 (ja)
CN (1) CN105284116B (ja)
WO (1) WO2014171001A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113875232B (zh) * 2019-05-16 2024-07-09 北京字节跳动网络技术有限公司 视频编解码中的自适应颜色格式转换

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07131655A (ja) * 1993-11-02 1995-05-19 Fujitsu Commun Syst Ltd 動的多値化データ圧縮装置
JP2003169284A (ja) * 2001-12-04 2003-06-13 Fuji Photo Film Co Ltd 画像変換装置並びに画像変換プログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3409421B2 (ja) 1994-04-05 2003-05-26 松下電器産業株式会社 高能率符号化装置
JP3926947B2 (ja) 1999-06-22 2007-06-06 富士フイルム株式会社 画像データ形成装置および画像データ処理方法
JP2005354170A (ja) 2004-06-08 2005-12-22 Fuji Photo Film Co Ltd 撮像装置
JP2007266749A (ja) 2006-03-27 2007-10-11 Sanyo Electric Co Ltd 符号化方法
US8208560B2 (en) * 2007-10-15 2012-06-26 Intel Corporation Bit depth enhancement for scalable video coding
US8346203B2 (en) * 2009-08-14 2013-01-01 Apple Inc. Power management techniques for buffering and playback of audio broadcast data
JP5583439B2 (ja) * 2010-03-17 2014-09-03 パナソニック株式会社 画像符号化装置及びカメラシステム
US9024951B2 (en) * 2011-02-16 2015-05-05 Apple Inc. Devices and methods for obtaining high-local-contrast image data
JP5791336B2 (ja) * 2011-04-01 2015-10-07 キヤノン株式会社 画像処理装置及びその制御方法
US9363522B2 (en) * 2011-04-28 2016-06-07 Warner Bros. Entertainment, Inc. Region-of-interest encoding enhancements for variable-bitrate mezzanine compression
JPWO2013032008A1 (ja) * 2011-09-02 2015-03-23 株式会社ニコン 画像処理装置、プログラム
KR102013240B1 (ko) * 2012-02-02 2019-08-22 삼성전자주식회사 영역별 특성에 기초한 영상 부호화 방법 및 그 장치, 그리고 영상 복호화 방법 및 그 장치
US9432694B2 (en) * 2012-03-06 2016-08-30 Apple Inc. Signal shaping techniques for video data that is susceptible to banding artifacts
US10182241B2 (en) * 2014-03-04 2019-01-15 Microsoft Technology Licensing, Llc Encoding strategies for adaptive switching of color spaces, color sampling rates and/or bit depths

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07131655A (ja) * 1993-11-02 1995-05-19 Fujitsu Commun Syst Ltd 動的多値化データ圧縮装置
JP2003169284A (ja) * 2001-12-04 2003-06-13 Fuji Photo Film Co Ltd 画像変換装置並びに画像変換プログラム

Also Published As

Publication number Publication date
CN105284116A (zh) 2016-01-27
CN105284116B (zh) 2019-05-21
JPWO2014171001A1 (ja) 2017-02-16
US20160080750A1 (en) 2016-03-17
US10554986B2 (en) 2020-02-04
JP6093009B2 (ja) 2017-03-08

Similar Documents

Publication Publication Date Title
TWI804478B (zh) 編碼包括隱私遮罩之影像之方法
CN105472205B (zh) 编码过程中的实时视频降噪方法和装置
EP3402204B1 (en) Encoding a video stream having a privacy mask
US11095899B2 (en) Image processing apparatus, image processing method, and storage medium
JP2018137730A (ja) プライバシーマスクされた画像を符号化すること
CN112543330B (zh) 模糊隐私遮蔽的编码方法、系统及存储介质
CN101350929A (zh) 表示图像帧的非帧边缘区块时的增强的压缩
US20150139500A1 (en) Method and System for Optimizing Image Processing in Driver Assistance Systems
JP6093009B2 (ja) 符号化方法及び符号化装置
CN113785582A (zh) 从原影像流生成有用影像流的程序、装置以及方法
US10049436B1 (en) Adaptive denoising for real-time video on mobile devices
JP6499686B2 (ja) 符号化方法及び符号化装置
JP2010268307A (ja) 動画像処理装置、動画像処理プログラム、及び動画像処理方法
US20200106821A1 (en) Video processing apparatus, video conference system, and video processing method
CN112911299A (zh) 一种视频码率控制方法、装置、电子设备和存储介质
JP2021013145A (ja) 動画像伝送装置、動画像伝送方法
KR100487374B1 (ko) 디지털 비디오의 썸네일 영상 생성 장치
EP4492773A1 (en) Video data processing technology for reducing transmission bandwidth
CN118678082B (zh) 一种图像编解码方法、装置、编码器、解码器和系统
JP2021013148A (ja) 動画像伝送装置、動画像伝送方法
JP2005122571A (ja) 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP4241918B2 (ja) 動画像圧縮装置
CN121967696A (zh) 图像编码方法、图像解码方法、装置、设备、存储介质及程序产品
CN119277081A (zh) 一种图像的感兴趣区域确定方法及相关装置
Zhang et al. VLSI architecture of a low complexity face detection algorithm for real-time video encoding

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201380075235.0

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13882095

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14784796

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2015512260

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13882095

Country of ref document: EP

Kind code of ref document: A1