WO2014061664A1 - 画像伝送システム - Google Patents

画像伝送システム Download PDF

Info

Publication number
WO2014061664A1
WO2014061664A1 PCT/JP2013/077983 JP2013077983W WO2014061664A1 WO 2014061664 A1 WO2014061664 A1 WO 2014061664A1 JP 2013077983 W JP2013077983 W JP 2013077983W WO 2014061664 A1 WO2014061664 A1 WO 2014061664A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
bit accuracy
accuracy information
transmission system
bit
Prior art date
Application number
PCT/JP2013/077983
Other languages
English (en)
French (fr)
Inventor
恭平 海野
岡田　光弘
小味　弘典
Original Assignee
日立マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立マクセル株式会社 filed Critical 日立マクセル株式会社
Priority to US14/436,094 priority Critical patent/US9877026B2/en
Priority to CN201380054279.5A priority patent/CN104756497B/zh
Publication of WO2014061664A1 publication Critical patent/WO2014061664A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to an image transmission system.
  • Patent Document 1 JP-A-2005-252556
  • Patent Document 1 as a technique for encoding a high-gradation image with high efficiency, a feature of CT (Computed Tomography) image data is used, and “existing within a certain pixel value range for each pixel of image data. In other words, it is determined whether to perform high-precision encoding only for pixels within the range and low-precision encoding for pixels outside the range.
  • CT Computer Tomography
  • Patent Document 1 does not consider the case where an image other than a CT image is encoded and the case where the encoded image data is used for purposes other than image diagnosis.
  • the present invention solves the above-described problems and provides an image transmission system capable of efficiently reducing the code amount while maintaining the gradation of a high-gradation image that is an original image even when the subsequent application changes. It is.
  • An image transmission system that transmits image data from a transmission side and performs image processing on a reception side, and encodes an input image to output and transmit a bitstream; and receives the bitstream;
  • An image receiving device that decodes and performs image processing, a bit accuracy information generation unit that generates bit accuracy information of each region in the image, and an internal part of the image transmission device according to the bit accuracy information generated by the bit accuracy information generation unit
  • a quantization control unit that controls a quantization step width in the quantization process performed in step (b), and an image processing unit that performs image processing using the decoded image decoded by the image reception device, and the bit accuracy information generation unit
  • An image transmission system that switches a method of generating bit accuracy information according to a processing mode of the image processing unit.
  • an image transmission system capable of efficiently reducing the code amount while maintaining the gradation of the high gradation image which is the original image even when the subsequent application changes.
  • FIG. 6 is a graph showing the relationship between QP and quantization step width in H.264. It is a table
  • FIG. 1 shows a configuration example of a first embodiment of an image transmission system according to the present invention. Below, the case where this invention is applied to a vehicle-mounted camera system is demonstrated to an example.
  • the image transmission apparatus 101 receives light from the outside, converts it into an image, encodes the obtained image to generate a bitstream, packetizes or frames the bitstream, and receives the image reception apparatus via the network IF 109 To 121.
  • the image transmitting apparatus 101 also receives packetized or framed bit accuracy information, which will be described later, output from the image receiving apparatus 121.
  • the imaging unit 102 converts light input from the outside into a high gradation image, and outputs the high gradation image as an encoding target image.
  • the conversion unit 103 receives the encoding target image signal as input, performs processing to be described later, and outputs a conversion coefficient.
  • the prediction unit 110 receives the encoding target image and the decoded image of the encoded region output from the local decoding unit 104, and creates a prediction image of the encoding target image from the decoded image. Further, an error image is generated by calculating a difference between the predicted image and the encoding target image, and is output to the frequency conversion unit 111.
  • the frequency conversion unit 111 performs frequency conversion such as discrete cosine transform (DCT) on the error image, and outputs a conversion coefficient obtained as a result.
  • DCT discrete cosine transform
  • the frequency conversion unit 111 may directly convert the encoding target image.
  • the quantization unit 105 receives the frequency-transformed transform coefficient output from the transform unit 103, quantizes the transform coefficient internally, and outputs a quantized sample.
  • the quantization step width is controlled using the quantization parameter (QP), as in the encoding scheme such as ITU-T Rec. H.264
  • the QP used in the quantization unit 105 is called an encoded QP, and the encoded QP is output from the quantization control unit 106.
  • the encoding unit 107 receives the quantized sample output from the quantizing unit 105, performs entropy encoding therein, and outputs a bit stream.
  • the local decoding unit 104 receives the quantized sample output from the quantizing unit 105 as an input, performs an inverse quantization and an inverse frequency transform, obtains an error image including a quantization error, and then performs prediction in the transform unit 103.
  • the decoded image is generated by adding the prediction image output from the unit 110 and the decoded image is output to the prediction unit 110.
  • the QP setting unit 108 sets the QP for each frame using the encoded MB code amount output from the encoding unit 107, and outputs the QP to the quantization control unit 106. Specifically, for example, in order to realize encoding at the target bit rate, the target code amount preset for each frame is compared with the actual code amount, and the QP value of the frame is increased or decreased in a direction approaching the target code amount. Feedback control is performed.
  • the QP output from the QP setting unit is referred to as a base QP.
  • the base QP may be set for each MB or for each plurality of MBs. Furthermore, a fixed base QP may be used for the entire sequence.
  • the quantization control unit 106 receives the bit accuracy information output from the network IF 109 and calculates a QP offset internally. Thereafter, the base QP input from the QP setting unit 108 and the QP offset are added, and the obtained encoded QP is output to the quantization unit 105.
  • the bit accuracy information is information representing the number of gradations required for each area in the image in the image processing performed by the image processing unit 124 in the image receiving apparatus 121.
  • the network IF 109 receives the bit stream output from the encoding unit 107, performs a packetizing or framing process, and then outputs the packetized or framing bit stream. Further, the packet receiving or framing bit accuracy information is input from the image receiving apparatus 121 via the network, is depacketized or deframed, and is output to the quantization control unit 106.
  • the bit accuracy information is received for one screen at the head of each frame of the encoding target image, and is written in the RAM inside the quantization control unit 106.
  • the bit accuracy information written in the RAM is read and used when calculating the QP offset in each MB.
  • bit accuracy information can be changed for each frame, it is not always necessary to change every frame. If the bit accuracy information is not transmitted at the head of the frame, the bit accuracy information used in the immediately preceding frame is used as it is.
  • Bit accuracy information D MB in each MB the bit accuracy of the YUV components of the input image (gradation number)
  • D in represented by integers of 1 ⁇ D MB ⁇ D in.
  • D MB takes an integer value from 1 to 12.
  • the base QP is determined by the QP setting unit 108.
  • bit accuracy information of the MB is read from the bit accuracy information for one screen received from the image receiving apparatus 121 via the network IF 109.
  • the quantization control unit 106 calculates the QP offset QP off using the equation (Equation 1).
  • ⁇ is an arbitrary real number.
  • the QP offset is not a calculation formula as described above, but a table in which the relationship between D in , D MB , and QP off is defined in advance as shown in FIG. 5 is prepared every time D MB is input. You may determine by the method of referring.
  • the encoding target image can be encoded as an image having a bit accuracy equal to the bit accuracy information.
  • the encoding target image is within the image transmitting apparatus 101. Only the upper 8 bits of all 12 bits of the signal are used. Also, if there are variables that specify the bit precision of the image to be encoded, corresponding to bit_depth_luma and bit_depth_chroma in H.264, these variables are also set to a value equal to the DMB of the entire screen, for example, 8 bits, The information is incorporated into a bit stream and transmitted to the image receiving apparatus 121.
  • the image receiving apparatus 121 receives a packetized or framed bit stream from the image transmitting apparatus 101, internally decodes it, performs image processing such as recognition processing using the decoded image, and outputs an image or sound to a speaker or monitor To do. Also, the bit precision information is generated internally, and packetized or framing is output to the image transmitting apparatus 101.
  • the network IF 122 receives the packetized or framed bit stream output from the image transmission apparatus 101, depacketizes or deframes it, and outputs it to the decoding unit 123.
  • the bit accuracy information output from the bit accuracy information generation unit 125 is input, packetized or framed, and the packetized or framed bit accuracy information is output.
  • the decoding unit 123 receives the depacketized or deframed bitstream as an input, creates a decoded image therein, and outputs the decoded image to the image processing unit 124.
  • the image processing unit 124 receives the decoded image as an input, performs image recognition processing for realizing an advanced driving support system (hereinafter referred to as ADAS), for example, lane detection processing or obstacle detection processing, and outputs the recognition result image to the monitor 126. Output. When a lane departure warning or the like is performed, an audio signal is output to the speaker 127.
  • ADAS advanced driving support system
  • processing mode The type of processing in ADAS such as lane detection, obstacle detection, and overview monitor (hereinafter referred to as processing mode) can be switched during traveling.
  • the processing mode is switched, for example, in conjunction with the shift lever.
  • the shift lever selects the reverse range
  • the overview monitor mode is selected, and when the forward traveling range such as the drive range or the second range is selected, the lane This can be realized by automatically selecting each detection mode.
  • the processing mode can be specified by the driver or the passenger explicitly specifying the processing mode by a physical key or touch panel operation provided in a car navigation system, for example. It is also possible to switch between.
  • Processing mode information indicating which processing mode is currently being executed in the image processing unit 124 is output to the bit accuracy information generating unit 125.
  • the bit accuracy information generation unit 125 inputs the processing mode information from the image processing unit 124, and switches the setting method of the bit accuracy information of each MB in the screen according to the processing mode information.
  • the set bit accuracy information is output to the network IF 122.
  • step S130 the processing mode information is confirmed for each frame.
  • the processing mode information is mode 1
  • the process proceeds to step S131, if it is mode 2, the process proceeds to step S132, if it is mode 3, the process proceeds to step S133, and if it is mode 4, the process proceeds to step S134.
  • step S131 step S132, step S133, and step S134, the generation means in each mode stored in advance in the memory inside the bit accuracy information generation unit 125 is read. Thereafter, the process proceeds to step S135.
  • step S135 according to the setting means read in any of step S131, step S132, step S133, and step S134, bit accuracy information in each MB in the screen is generated.
  • the processing mode information is a lane detection mode and an overview monitor mode that displays an image as if the vehicle is viewed from above.
  • the processing mode information is a lane detection mode and an overview monitor mode that displays an image as if the vehicle is viewed from above.
  • the processing mode information is the lane detection mode.
  • the image shown in FIG. 6 is obtained by the front camera, only the road portion in the lower half of the screen is important for lane detection.
  • the front camera is used in the same mode, there is basically no change in angle, and the area occupied by the road portion in the entire screen is substantially constant.
  • bit accuracy information is set so that only the lower half of the screen has high bit accuracy and the upper half of the screen has low bit accuracy, the number of gradations important for lane detection processing can be maintained and efficiently maintained.
  • the amount of codes can be reduced.
  • the upper half and the lower half of the screen are shown, but it is not always necessary to divide them completely into half of the screen, so that the area occupied by the road portion and other areas in the entire screen are distinguished. Any method of division is acceptable.
  • FIG. 7 shows an example in which the bit accuracy information is set so that the upper half of the screen has low bit accuracy and the lower half of the screen has high bit accuracy.
  • the MB to be subjected to image recognition processing in the lane detection processing is 12-bit precision, and other MBs are widely used in display devices, assuming that an image is displayed on the monitor 126. Set to bit.
  • the overview monitor mode is a mode in which images taken by a total of four cameras, a front camera, left and right side cameras, and a rear camera, are converted and combined, and an image as shown in FIG. is there.
  • the image transmission device corresponds to the front camera, the left and right side cameras, and the rear camera, respectively. Since four of 101, 151, 152, and 153 are connected via the network 140 and image data is transferred simultaneously, the code amount of each image data must be reduced in consideration of the transmission band. Therefore, in the overview monitor mode, the bit accuracy information D MB is stored for all MBs in the screen as shown in FIG. Set to 10.
  • the bit accuracy information setting pattern for each mode is recorded in advance in the memory inside the bit accuracy information generation unit, and the appropriate setting pattern is read according to the processing mode information, so that it is recognized in each ADAS process. While maintaining the number of gradations of the portion used for processing, it is possible to efficiently encode by reducing the code amount of other portions.
  • the image processing unit 124 and the bit accuracy information generating unit 125 are both provided in the image receiving device 121, for example, in the case of the lane detection mode, the image processing unit 124 performs image recognition processing other than road portions and roads.
  • the bit accuracy information can also be set by a method of assigning high bit accuracy information to only the road portion by classifying the portion of the image and inputting the classification result to the bit accuracy information generation unit 125.
  • bit precision information may be assigned.
  • FIG. 9 describes another example of the processing mode information used for switching the type of the in-vehicle camera and the bit accuracy information generation method.
  • FIGS. 10, 11, and 12 show examples of setting bit accuracy information in the obstacle detection mode, road sign detection mode, and through mode in FIG. 9, respectively.
  • an obstacle detection mode as shown in FIG. 10, for example, an area that can be an obstacle for a vehicle, that is, a road portion in the screen and its vicinity, and a high bit accuracy in the upper part of the vehicle.
  • bit precision information in each mode is not limited to this, and can be variously changed. There may be other mode settings.
  • the processing mode information output from the image processing unit 124 is acquired and the bit accuracy generating unit in the bit accuracy information generating unit 125 is switched.
  • the image receiving apparatus 121 includes a CPU, and the CPU The processing mode of the image processing unit 124 and the bit accuracy information generation unit may be controlled by the above.
  • the types of processing performed in the image processing unit 124 are limited. Therefore, the bit accuracy stored in the bit accuracy information generating unit 125
  • the information setting pattern is also limited, and the memory for storing the setting pattern can be reduced.
  • the memory for storing the setting pattern of the bit accuracy information can be further reduced, and when there are only two modes, The mode used when the next switching occurs is uniquely determined by the mode currently used, and the address on the memory where the setting pattern is stored can be specified, so when the mode is switched
  • the setting pattern can be read at high speed.
  • the MB size is described as 16 ⁇ 16 pixels. However, the MB size may be other than 16 ⁇ 16 pixels such as 8 ⁇ 8 pixels or 32 ⁇ 32 pixels. Further, the shape is not limited to a square, and another polygon such as a rectangle may be used. The minimum size of MB is 1 pixel.
  • the embodiment of the present invention has been described by taking the in-vehicle camera system as an example.
  • the same configuration to the surveillance camera system using the image transmission device 101 and the image reception device 121.
  • a moving area such as a person in the screen may be detected by image recognition processing, and control may be performed such that only the moving area has a high bit precision and a low bit precision is dynamically assigned to other background portions.
  • the present invention is not limited to this.
  • an area where a person such as a passage in the screen can move may be assigned with high bit precision
  • an area such as the upper part of a wall may be assigned with low bit precision. Is possible.
  • FIG. 13 shows a configuration example of the second embodiment of the image transmission system according to the present invention.
  • the bit accuracy information generation unit 225 exists inside the image transmission device 201 instead of the image reception device 221, and the processing mode information output from the image processing unit 124 is a bit via the network IF 222 and the network IF 209.
  • the configuration is basically the same as that of FIG. 1 except that the accuracy information generation unit 225 is input.
  • the network IF 222 receives the packetized or framing bit stream from the image transmission apparatus 201, and depacketizes or deframes and outputs the bit stream to the decoding unit 123, but is the same as in the first embodiment.
  • the ADAS processing mode information output from the image processing unit 124 is input, packetized or framed, and transmitted to the image transmission apparatus 201.
  • the network IF 209 is similar to the first embodiment in that the bit stream is packetized or framed and output to the image transmission apparatus 221. However, instead of the bit precision information, the network IF 209 receives the packetized or framed processing mode information, Alternatively, it is deframed and output to the bit accuracy information generation unit 225.
  • the bit accuracy information generation unit 225 receives the processing mode information output from the network IF 209, internally sets the bit accuracy information of each MB in the screen, and sends the bit accuracy information of each MB to the quantization control unit 106. Output.
  • bit accuracy information generation unit 225 can generate the bit accuracy information by the same method as in the first embodiment.
  • bit accuracy information corresponding to the encoding target image by further inputting the encoding target image from the imaging unit 102 to the bit accuracy information generation unit 225.
  • an image taken with an in-vehicle camera has a mixture of bright and dark areas.
  • the imaging unit 102 when converting light into an image signal, the imaging unit 102 performs gain adjustment for conversion into an image signal for each frame according to the intensity of input light.
  • gain adjustment is performed in accordance with the bright region, and in the dark region, the difference in pixel value between the object or person and the background portion is small.
  • the image processing unit 124 wants to perform image recognition processing such as obstacle detection, the accuracy of detecting an object / person in a dark region is lowered.
  • the bit accuracy information generation unit 225 in the image transmission apparatus 201, the bit accuracy information considering the influence on the recognition processing can be obtained according to the characteristics of each region in the screen of the encoding target image. Can be generated.
  • the bit accuracy information is set based on the average luminance.
  • other indices obtained by analyzing the encoding target image such as edge strength and variance value for each MB, can be used or combined. May be set by using.
  • bit accuracy information 12 bits and 8 bits
  • 12 bits and 8 bits have been described as an example.
  • this embodiment can also be applied to a surveillance camera system.
  • a dark part and an other part in an image may be discriminated and high bit accuracy may be assigned only to the dark part.
  • the present invention is not limited to this.
  • an area where a person or the like such as a passage in the screen can move may be assigned with high bit precision, and an area such as an upper part of a wall may be assigned with low bit precision. is there.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

　後段のアプリケーションが変化する場合においても、高階調画像の階調を維持しつつ符号量を効率的に削減可能な画像伝送システムを提供する。送信側から画像データを伝送し、受信側で画像処理を行う画像伝送システムであって、入力画像を符号化してビットストリームを出力、伝送する画像送信装置と、ビットストリームを受信、復号して画像処理を行う画像受信装置と、画像内の各領域のビット精度情報を生成するビット精度情報生成部と、ビット精度情報生成部により生成されたビット精度情報に従って画像送信装置内部で行う量子化処理における量子化ステップ幅を制御する量子化制御部と、画像受信装置により復号された復号画像を使用して画像処理を行う画像処理部を備え、ビット情報生成部は、画像処理部の処理モードに従ってビット精度情報の生成手法を切り替える。

Description

画像伝送システム 参照による取り込み
　本出願は、2012年10月17日に出願された日本特許出願第2012-229431号の優先権を主張し、その内容を参照することにより本出願に取り込む。
　本発明は、画像伝送システムに関する。
　近年、ネットワークに接続された画像伝送システムは、監視カメラシステム等で広く使用されている。また今後、自動車に複数取り付けられたカメラをディジタルネットワークで接続し、運転支援システムに活用する等のアプリケーションが考えられている。
　上記使用例では、明暗部での視認性向上、また細部の形状の認識性向上のために、従来の８ビット精度のYUV信号から階調を拡大した高階調画像を用いる必要がある。
　このような高階調画像データをネットワーク等の伝送帯域が限られた条件下で伝送する場合、例えば原画像のYUV成分を12ビットでサンプリングし、符号化することで画像の階調表現は向上するが、一方で符号量が増加する。このため、原画像の階調数を可能な限り維持しつつ、符号化によって効率良く符号量を削減する技術が望まれる。
　本技術分野の背景技術として、特開2005-252556号公報（特許文献１）がある。
特開2005-252556号公報
　前記特許文献１には高階調画像を高効率に符号化するための技術として、CT（Computed Tomography）画像データの特徴を利用し「画像データの各画素に対して画素値がある範囲内に存在するかどうかを判定し、該範囲内の画素に対してのみ高精度の符号化を行い、範囲外の画素に対しては低い精度の符号化を行う」ことが記載されている。
　しかし、画像内のどの画素または領域を高精度に符号化すべきであるかは、符号化対象画像の特徴や、符号化した画像データを利用する後段のアプリケーションによって異なる。
　これに関し、前記特許文献１はCT画像以外の画像を符号化する場合、また符号化した画像データを画像診断以外に用いる場合については考慮されていない。
　本発明は、上記課題を解決し、後段のアプリケーションが変化する場合においても、原画像である高階調画像の階調を維持しつつ符号量を効率的に削減可能な画像伝送システムを提供するものである。
　本願において開示される発明のうち代表的なものの概要を簡単に説明すれば次の通りである。
（１）送信側から画像データを伝送し、受信側で画像処理を行う画像伝送システムであって、入力画像を符号化してビットストリームを出力、伝送する画像送信装置と、前記ビットストリームを受信、復号して画像処理を行う画像受信装置と、画像内の各領域のビット精度情報を生成するビット精度情報生成部と、前記ビット精度情報生成部により生成されたビット精度情報に従って前記画像送信装置内部で行う量子化処理における量子化ステップ幅を制御する量子化制御部と、前記画像受信装置により復号された復号画像を使用して画像処理を行う画像処理部を備え、前記ビット精度情報生成部は、前記画像処理部の処理モードに従ってビット精度情報の生成手法を切り替える画像伝送システムである。
　本発明によれば、後段のアプリケーションが変化する場合においても、原画像である高階調画像の階調を維持しつつ符号量を効率的に削減可能な画像伝送システムを提供できる。
　本発明の他の目的、特徴及び利点は添付図面に関する以下の本発明の実施例の記載から明らかになるであろう。
本発明に係る画像伝送システムの第１の実施形態の構成例を示す図である。 画像送信装置における変換部の構成例を示す図である。 H.264におけるQPと量子化ステップ幅の関係を表すグラフである。 ビット精度情報とQPオフセットの関係の第１の例を表す表である。 ビット精度情報とQPオフセットの関係の第２の例を表す表である。 車載カメラによって撮影される画像の例である。 車線検知モード時のビット精度情報の設定例である。 オーバービューモニタモード時のビット精度情報の設定例である。 ADASのモードと対応するカメラの種類をまとめた表である。 障害物検知モード時のビット精度情報の設定例である。 道路標識検知モード時のビット精度情報の設定例である。 スルーモード時のビット精度情報の設定例である。 本発明に係る画像伝送システムの第２の実施形態の構成例を示す図である。 ビット精度情報の生成法を設定するフローチャートである。 オーバービューモニタモード時にモニタに表示される画像の例である。 オーバービューモニタモードを実現するための構成図の例である。
　以下、本発明に係る実施の形態について図面を用いて説明する。
　図１は、本発明に係る画像伝送システムの第１の実施形態の構成例を示す。以下では、本発明を車載カメラシステムに適用する場合を例に説明する。
　画像送信装置１０１は、外部から光を入力されて画像へ変換し、得られた画像を符号化してビットストリームを生成し、前記ビットストリームをパケッタイズまたはフレーミングして、ネットワークIF１０９を介して画像受信装置１２１へ出力する。また、画像送信装置１０１は、画像受信装置１２１から出力された、後述するパケッタイズまたはフレーミングされたビット精度情報を入力する。
　撮像部１０２は、外部から入力された光を高階調画像へ変換して、前記高階調画像を符号化対象画像として出力する。
　以下、変換部１０３、局所復号部１０４、量子化部１０５、量子化制御部１０６、符号化部１０７、QP設定部１０８の処理についてそれぞれ説明するが、その処理は前記符号化対象画像を16×16画素に区切った領域（以下MB）毎に行う。
　変換部１０３は、前記符号化対象画像信号を入力とし、後述する処理を行い、変換係数を出力する。
　変換部１０３の内部構成の例を図２に示す。予測部１１０は符号化対象画像と、局所復号部１０４から出力される符号化済み領域の復号画像を入力とし、前記復号画像から前記符号化対象画像の予測画像を作成する。更に、前記予測画像と前記符号化対象画像の差分を算出することにより誤差画像を生成し、周波数変換部１１１へ出力する。
　周波数変換部１１１では、前記誤差画像に対して離散コサイン変換（DCT）等の周波数変換を施し、その結果として得られる変換係数を出力する。
　なお、ここでは変換部１０３の内部構成の一例として予測部１１０が存在する場合の構成について説明したが、ITU-T Rec.T.81 | ISO/IEC 10918-1（JPEG）のように予測を行わず、符号化対象画像を周波数変換部１１１において直接変換を行うという構成でも良い。
　量子化部１０５は、変換部１０３から出力される周波数変換後の変換係数を入力とし、前記変換係数を内部で量子化し、量子化サンプルを出力する。量子化ステップ幅は、ITU-T Rec. H.264 | ISO/IEC 14496-10 Advanced Video Coding（以下H.264）等の符号化方式と同様に、量子化パラメータ（QP）を用いて制御する。量子化部１０５で使用するQPを符号化QPと呼び、前記符号化QPは量子化制御部１０６から出力される。
　符号化部１０７は、量子化部１０５から出力される量子化サンプルを入力とし、内部でエントロピー符号化を行い、ビットストリームを出力する。
　局所復号部１０４は、量子化部１０５から出力される量子化サンプルを入力とし、逆量子化、逆周波数変換を行うことで量子化誤差を含む誤差画像を得た後、変換部１０３内部の予測部１１０から出力される予測画像と加算することで復号画像を生成し、前記復号画像を予測部１１０へ出力する。
　QP設定部１０８は、符号化部１０７から出力される符号化済みMBの符号量を用いて、フレーム毎にQPを設定し、前記QPを量子化制御部１０６へ出力する。具体的には、例えば目標ビットレートでの符号化を実現するために、フレーム毎に予め設定した目標符号量と実際の符号量を比較し、目標符号量に近づく方向にフレームのQP値を増減させるようフィードバック制御する。なお、以下ではQP設定部から出力されるQPをベースQPと呼ぶこととする。
　ここではフレーム毎にベースQPを決定する場合について説明したが、MB毎、または複数MB毎にベースQPを設定しても良い。更に、シーケンス全体で固定のベースQPを使用しても良い。
　量子化制御部１０６は、ネットワークIF１０９から出力されるビット精度情報を入力とし、内部でQPオフセットを算出する。その後、QP設定部１０８から入力されるベースQPと前記QPオフセットを加算し、得られる符号化QPを量子化部１０５へ出力する。ここでビット精度情報とは、画像受信装置１２１内の画像処理部１２４で行う画像処理において、画像内の各領域で必要とされる階調数を表す情報である。
　ネットワークIF１０９は、符号化部１０７から出力されるビットストリームを入力とし、パケッタイズまたはフレームミング処理を行った後、前記パケッタイズまたはフレーミングされたビットストリームを出力する。また、画像受信装置１２１からネットワークを経由して、パケッタイズまたはフレーミングされたビット精度情報を入力とし、デパケッタイズまたはデフレーミングして、量子化制御部１０６へ出力する。
　ビット精度情報は、前記符号化対象画像の各フレームの先頭で１画面分受信し、量子化制御部１０６内部のRAMに書き込む。RAMに書き込まれたビット精度情報は、各MBで前記QPオフセットを算出する際に読み出して使用する。
　このように、ビット精度情報はフレーム毎に設定を変更することが出来るが、必ずしも毎フレーム変更する必要はない。もし、フレームの先頭でビット精度情報が送信されてこなかった場合は、直前のフレームで使用したビット精度情報をそのまま引き継いで使用する。
　次に、ビット精度情報を用いた具体的な制御方法の例を説明する。
　各MBにおけるビット精度情報ＤＭＢは、入力画像のYUV各成分のビット精度（階調数）をＤｉｎとすると、1≦ＤＭＢ≦Ｄｉｎの整数で表される。例えば、入力画像のビット精度が１２ビット（Ｄｉｎ＝１２）の場合、ＤＭＢは１～１２のいずれかの整数値を取る。
　まず、QP設定部１０８においてベースQPを決定する。
　次に、画像受信装置１２１からネットワークIF１０９を経由して受信した１画面分のビット精度情報から、当該MBのビット精度情報を読み込む。
　前記当該MBのビット精度情報に基づき、量子化制御部１０６において、QPオフセットＱＰｏｆｆを式（数１）を用いて算出する。
（数１）ＱＰｏｆｆ＝（Ｄｉｎ－ＤＭＢ）×α
ここで、αは任意の実数である。H.264では、図３に示すようにQPが６増える毎に量子化ステップ幅が２倍となり、ビット精度を１ｂｉｔ削減することに相当する。よって、H.264と同様なQPを使用する場合は、式（数1）のα＝６とすることで、ビット精度情報に対応したQPオフセットを容易に求めることが出来る。
　図４にＤｉｎ＝１２、α＝６の場合のＱＰｏｆｆとＤＭＢの関係を示す。なお、図４にはＤＭＢが６の場合までしか記載されていないが、ＤＭＢ＜６の場合についてもＤＭＢ≧６の場合と同様な方法でＱＰｏｆｆを得ることが出来る。
　前記では、α＝６の場合を例に説明したが、αを予め決定しておけばα＝６でなくとも前記同様の手順でQPオフセットを容易に求めることが出来る。また、QPオフセットは前記のような算出式ではなく、図５のように予めＤｉｎ、ＤＭＢ、ＱＰｏｆｆの関係を定義したテーブルを用意しておき、ＤＭＢが入力されるたびにテーブルを参照するという方法で決定しても良い。
　また、１画面分の全てのMBのビット精度情報が同じ値に設定されていた場合は、符号化対象画像をビット精度情報と等しいビット精度を持つ画像として符号化処理を行うことも出来る。
　例えば、符号化対象画像のビット精度ＤｉｎがＤｉｎ＝１２、MB毎のビット精度情報ＤＭＢが画面内全てのMBにおいてＤＭＢ＝８だった場合、画像送信装置１０１内部において符号化対象画像信号の全１２ビット中上位８ビットのみを使用することとする。また、H.264におけるbit_depth_luma、bit_depth_chromaに相当する、符号化対象画像のビット精度を指定する変数が存在する場合は、それらの変数も画面全体のＤＭＢと等しい値、例えば８ビットに設定し、その情報をビットストリームへ組み込んで画像受信装置１２１へ送信する。
　以上のように、ビット精度情報に応じて演算に用いるビット数を削減し、使用していない演算器のクロックを停止することで、演算処理に要する消費電力を削減することが出来る。
　次に、図１における画像受信装置１２１の構成、及び処理について説明する。
　画像受信装置１２１は、パケッタイズまたはフレーミングされたビットストリームを画像送信装置１０１から受信し、内部で復号し、復号画像を用いて認識処理などの画像処理を行い、スピーカやモニタへ画像や音声を出力する。また、内部で前記ビット精度情報を生成し、パケッタイズまたはフレーミングして画像送信装置１０１へ出力する。
　ネットワークIF１２２は、画像送信装置１０１から出力されるパケッタイズまたはフレーミングされたビットストリームを入力とし、デパケッタイズまたはデフレーミングして復号部１２３へ出力する。また、ビット精度情報生成部１２５から出力されるビット精度情報を入力し、パケッタイズまたはフレーミングし、前記パケッタイズまたはフレーミングされたビット精度情報を出力する。
　復号部１２３は、前記デパケッタイズまたはデフレーミングされたビットストリームを入力とし、内部で復号画像を作成し、画像処理部１２４へ出力する。
　画像処理部１２４は、前記復号画像を入力とし、内部で先進運転支援システム（以下ADAS）を実現する画像認識処理、例えば車線検知処理や障害物検知処理を行い、認識結果の画像をモニタ１２６へ出力する。また、車線逸脱警報等を行う場合はスピーカ１２７へ音声信号を出力する。車線検知や障害物検知、オーバービューモニタといったようなADASにおける処理の種類（以下処理モード）は走行中に切り替え可能である。
　処理モードの切り替えは、例えばシフトレバーと連動し、シフトレバーがリバースレンジを選択している場合にはオーバービューモニタモード、ドライブレンジやセカンドレンジといった前進走行をするレンジを選択している場合は車線検知モードをそれぞれ自動的に選択することで実現できる。
　また、上記のようにシフトレバーと連動させる方法以外にも、例えばカーナビゲーションシステム等に備え付けられた物理キーまたはタッチパネル操作によって、ドライバーや同乗者が明示的に処理モードを指定することで、処理モードを切り替えることも可能である。
　画像処理部１２４において、現在どの処理モードを実行しているかという処理モード情報は、ビット精度情報生成部１２５へ出力される。
　ビット精度情報生成部１２５は、画像処理部１２４から前記処理モード情報を入力し、前記処理モード情報に従って画面内の各MBの前記ビット精度情報の設定方法を切り替える。設定したビット精度情報は、ネットワークIF１２２へ出力する。
　ここで、例として前記処理モードがモード１、モード２、モード３、モード４の計４種類存在する場合について、ビット精度情報の生成手段を切り替える手順を図１４を用いて説明する。
　まず、ステップＳ１３０において、フレーム毎に前記処理モード情報を確認する。次に、前記処理モード情報がモード１だった場合はステップＳ１３１、モード２だった場合はステップＳ１３２、モード３だった場合はステップＳ１３３、モード４だった場合はステップＳ１３４にそれぞれ進む。
　ステップＳ１３１、ステップＳ１３２、ステップＳ１３３、ステップＳ１３４ではそれぞれ、ビット精度情報生成部１２５内部のメモリに予め保存されている、各モードにおける生成手段を読み込む。その後、ステップＳ１３５へ進む。
　ステップＳ１３５では、ステップＳ１３１、ステップＳ１３２、ステップＳ１３３、ステップＳ１３４のいずれかで読み込んだ設定手段に従って、画面内の各MBにおけるビット精度情報を生成する。
　次に、前記処理モード情報が車線検知モードと、車両を上空から俯瞰したような画像を表示するオーバービューモニタモードの場合について、ビット精度情報の具体的な生成法の例をそれぞれ説明する。また、一般的に車載カメラには車両前部に設置されるフロントカメラ、車両側面部に設置されるサイドカメラ、車両後部に設置されるリアカメラの３種類が存在するが、ここではフロントカメラを使用する場合を例に説明する。
　初めに、前記処理モード情報が車線検知モードの場合について説明する。例えばフロントカメラによって図６のような映像が得られている場合、車線検知にとって重要なのは、画面下半分の道路部分のみである。このとき、フロントカメラを同一のモードで使用している場合は基本的にアングルの変化は無く、また画面全体における道路部分の占める領域もほぼ一定である。
　よって、画面下半分のみが高いビット精度、画面上半分は低いビット精度となるように前記ビット精度情報を設定すれば、車線検知処理に重要な部分の階調数を維持しつつ、効率的に符号量を削減することができる。尚、説明の便宜上、画面の上半分、下半分と記載しているが必ずしも完全に画面の１／２ずつに分ける必要はなく、画面全体における道路部分の占める領域とその他の領域を区別するような分け方であればよい。
　図７は画面上半分が低いビット精度、画面下半分が高いビット精度となるようにビット精度情報を設定した場合の例である。
　図７において水平方向、垂直方向に一定間隔で平行に引かれている直線はMBの境界線を表しており、各MB内に表示されている数字が、それぞれのMBのビット精度情報ＤＭＢを表している。
　図７の例では、車線検知処理において画像認識処理の対象となるMBについては１２ビット精度、その他のMBについてはモニタ１２６へ画像を表示する場合を想定し、表示装置に広く用いられている８ビットに設定している。
　次に、前記処理モード情報がオーバービューモニタモードに切り替わった場合について説明する。オーバービューモニタモードは、フロントカメラ、左右のサイドカメラ、リアカメラの計４つのカメラで撮影した画像を変換・合成し、車両を上空から俯瞰した図１５のような画像をモニタに表示するモードである。
　オーバービューモニタモードでは画像処理部１２４内部で特に画像認識処理は行わないが、図１６のように画像受信装置１２１に対して、フロントカメラ、左右のサイドカメラ、リアカメラにそれぞれ相当する画像送信装置１０１、１５１、１５２、１５３の４つをネットワーク１４０を介して接続し同時に画像データを転送するため、伝送帯域を考慮して各画像データの符号量を削減しなければならない。よって、オーバービューモニタモードの場合は、符号量の削減と画像変換処理を行う際の演算精度の両方を考慮して、例えば図８のように画面内の全てのMBについてビット精度情報ＤＭＢを１０に設定する。
　以上のように、それぞれのモードに対するビット精度情報の設定パターンを予めビット精度情報生成部内部のメモリに記録しておき、処理モード情報に従って適切な設定パターンを読み出すことで、ADASの各処理において認識処理に使用する部分の階調数を維持しつつ、その他の部分の符号量を削減して効率良く符号化することができる。
　また、本構成では画像処理部１２４とビット精度情報生成部１２５をともに画像受信装置１２１内部に備えているため、例えば車線検知モードの場合、画像処理部１２４で画像認識処理によって道路部分と道路以外の部分を分類し、分類結果をビット精度情報生成部１２５へ入力することで、道路部分のみに高いビット精度情報を割り当てるといった方法でも、ビット精度情報の設定が可能である。
　このとき、画像認識結果をそのまま用いるのではなく、過去数フレーム分の認識結果を基に、次に符号化するフレームでは例えば道路部分がどの領域になるかということを予測し、その予測結果に基づいてビット精度情報の割り当てを行っても良い。
　この場合、前記の設定パターンを予めメモリに記録しておく方式と比較して、認識処理にとって重要な道路部分に対してより正確に高いビット精度を割り当てることが可能となるため、認識精度及び符号化効率の双方を向上することが出来る。
　以上ではフロントカメラにおいて、車線検知モードとオーバービューモニタモードについてビット精度情報の設定方法を説明したが、車載カメラの種類とADASのモードの組み合わせは他にも存在する。図９に車載カメラの種類と、ビット精度情報生成法の切り替えに使用する処理モード情報のその他の例について記載する。また、図１０、図１１、図１２に、図９における障害物検知モード、道路標識検知モード、スルーモード時のビット精度情報の設定例をそれぞれ示す。それぞれの図面で示す通り、例えば、障害物検知モードの場合には、例えば図１０のように、車両にとって障害物となりうるエリア、すなわち画面内の道路部分とその周辺並びに車両の上部に高いビット精度情報を割り当てるようにし、道路標識検知モードの場合には、図１１のように、画面内で道路標識が写る上部領域に高いビット精度情報を割り当てるようにし、スルーモードの場合には、図１２のように、画面内で領域毎にビット精度情報の高低をつけず、復号画像をそのまま表示する。なお、各モードにおけるビット精度情報の設定例はこれに限られず種々変更可能であり、また、他のモード設定があっても構わない。
　なお、以上では画像処理部１２４から出力される処理モード情報を取得してビット精度情報生成部１２５におけるビット精度生成手段を切り替える場合について説明したが、画像受信装置１２１内部にCPUを備え、前記CPUによって画像処理部１２４とビット精度情報生成部の処理モードを制御するという構成でも良い。
　以上のように、カメラシステムの適用先を車載カメラシステムに限定することで、画像処理部１２４内部で行う処理の種類が限定されるため、ビット精度情報生成部１２５内部に保存しておくビット精度情報の設定パターンも限定され、設定パターン保存用のメモリを削減することができる。
　更に、前記処理モード情報を車線検知モードとオーバービューモニタモードの２種類の切り替えに限定することで、更にビット精度情報の設定パターンを保存するメモリを削減でき、またモードが２種類しかない場合、現在使用しているモードによって、次に切り替えが発生したときに使用されるモードが一意に決まり、設定パターンが保存されているメモリ上のアドレスも特定することが出来るため、モードが切り替わった際に設定パターンを高速に読み込むことが出来る。
　なお、以上ではMBのサイズを16×16画素として説明したが、MBのサイズは８×８画素や32×32画素といった16×16画素以外のサイズでも良い。また、形状も正方形に限らず、長方形等の別の多角形を用いても良い。MBの最小サイズは１画素である。
　また、以上では車載カメラシステムを例に本発明の実施形態を説明したが、同様の画像送信装置１０１、画像受信装置１２１を用いた構成にて監視カメラシステムへ適用することも可能である。監視カメラの場合は、例えば画像認識処理によって画面内における人物等の動領域を検出し、動領域のみ高いビット精度、その他の背景部分には低いビット精度を動的に割り当てるといった制御を行えばよいが、これに限られるものではなく、例えば、画面内における通路等の人物等が動きうる領域を高いビット精度で、壁の上部等の領域を低いビット精度で割り当てるようにしてもよく、種々変更可能である。
　図１３は、本発明に係る画像伝送システムの第２の実施形態の構成例を示す。なお、図１３はビット精度情報生成部２２５が画像受信装置２２１ではなく画像送信装置２０１の内部に存在し、画像処理部１２４から出力される処理モード情報はネットワークIF２２２、ネットワークIF２０９を経由してビット精度情報生成部２２５へ入力される点以外は、基本的に図１と同様な構成である。
　第１の実施形態での説明と同様な動作を行うものについては図１と同一の符号を付しており、それらの動作については適宜説明を省略する。
　ネットワークIF２２２は、パケッタイズまたはフレーミングされたビットストリームを画像送信装置２０１から受信し、デパケッタイズまたはデフレーミングして復号部１２３へ出力する点は第１の実施形態と同様だが、ビット精度情報の代わりに、画像処理部１２４から出力されるADASの処理モード情報を入力し、パケッタイズまたはフレーミングして、画像送信装置２０１へ送信する。
　ネットワークIF２０９は、ビットストリームをパケッタイズまたはフレーミングして画像送信装置２２１へ出力する点は第１の実施形態と同様だが、ビット精度情報の代わりにパケッタイズまたはフレーミングされた前記処理モード情報を受信し、デパケッタイズまたはデフレーミングしてビット精度情報生成部２２５へ出力する。
　ビット精度情報生成部２２５は、ネットワークIF２０９から出力される処理モード情報を入力とし、内部で画面内の各MBのビット精度情報を設定し、前記各MBのビット精度情報を量子化制御部１０６へ出力する。
　ここで、ビット精度情報生成部２２５では、第１の実施形態と同様な手法でビット精度情報を生成可能である。
　第２の実施形態では、更に撮像部１０２からビット精度情報生成部２２５へ符号化対象画像を入力することで、符号化対象画像に応じたビット精度情報を設定することも可能である。
　例えば、トンネル内や夜間に照明のある道路を走っている場合、車載カメラで撮影する画像には明るい領域と暗い領域とが混在する。ここで、撮像部１０２では光を画像信号に変換する際、１フレーム毎に入力光の強さによって、画像信号に変換する際のゲイン調整を行う。上記のように、明るい領域と暗い領域が１フレーム内に混在している場合には、明るい領域に合わせてゲイン調整が行われ、暗い領域では物体や人物と背景部分の画素値の差が小さくなる。このような状況下において、画像処理部１２４で例えば障害物検知等の画像認識処理を行いたい場合、暗い領域における物体・人物の検出精度が低下してしまう。
　そこで、画像内の暗い領域、即ちMB内の平均輝度値が予め設定した閾値よりも小さいMBについては、入力画像の階調数を維持するためＤＭＢ＝Ｄｉｎ＝１２に設定する。逆に、MB内の平均輝度値が閾値よりも大きいMBについては、ＤＭＢ＝８と設定する。
　以上のように、ビット精度情報生成部２２５を画像送信装置２０１内部に備えることで、符号化対象画像の画面内の各領域の特徴に応じて、認識処理への影響を考慮したビット精度情報を生成することが出来る。
　なお、ここでは平均輝度を基にビット精度情報を設定する例について説明したが、MB毎のエッジ強度や分散値など、符号化対象画像を解析することで得られる他の指標を用いたり、組み合わせて使用することで設定しても良い。
　また、前記ではビット精度情報が１２ビットと８ビットの２種類の場合を例に説明したが、閾値を複数設定することにより、同様の手法で３種類以上のビット精度情報を設定することも可能である。
　なお、本実施形態も監視カメラシステムへの適用が可能である。本実施形態を監視カメラシステムに適用する場合は、例えば上記と同様に、画像内の暗い部分とそれ以外の部分を判別し、暗い部分にのみ高いビット精度を割り当てるといった制御を行えばよいが、これに限られるものではなく、例えば、画面内における通路等の人物等が動きうる領域を高いビット精度で、壁の上部等の領域を低いビット精度で割り当てるようにしてもよく、種々変更可能である。
　上記記載は実施例についてなされたが、本発明はそれに限らず、本発明の精神と添付の請求の範囲の範囲内で種々の変更および修正をすることができることは当業者に明らかである。
　１０１　画像送信装置
　１０２　撮像部
　１０３　変換部
　１０４　局所復号部
　１０５　量子化部
　１０６　量子化制御部
　１０７　符号化部
　１０８　QP設定部
　１０９　ネットワークIF
　１１０　予測部
　１１１　周波数変換部
　１２１　画像受信装置
　１２２　ネットワークIF
　１２３　復号部
　１２４　画像処理部
　１２５　ビット精度情報生成部
　１２６　モニタ
　１２７　スピーカ
　１４０　ネットワーク
　１５１　画像送信装置
　１５２　画像送信装置
　１５３　画像送信装置
　２０１　画像送信装置
　２０９　ネットワークIF
　２２１　画像受信装置
　２２２　ネットワークIF
　２２５　ビット精度情報生成部

Claims (15)

  1. 　送信側から画像データを伝送し、受信側で画像処理を行う画像伝送システムであって、
    　入力画像を符号化してビットストリームを出力、伝送する画像送信装置と、
    　前記ビットストリームを受信、復号して画像処理を行う画像受信装置と、
    　画像内の各領域のビット精度情報を生成するビット精度情報生成部と、
    　前記ビット精度情報生成部により生成されたビット精度情報に従って前記画像送信装置内部で行う量子化処理における量子化ステップ幅を制御する量子化制御部と、
    　前記画像受信装置により復号された復号画像を使用して画像処理を行う画像処理部を備え、
    　前記ビット情報生成部は、前記画像処理部の処理モードに従ってビット精度情報の生成手法を切り替える画像伝送システム。
  2. 　請求項１に記載の画像伝送システムであって、
    　前記画像受信装置内に前記ビット精度情報生成部と前記画像処理部とを備え、
    　前記ビット精度情報生成部は、前記画像処理部の処理モードの情報と画像認識処理結果の少なくともいずれか一方を使用して前記ビット精度情報を生成する画像伝送システム。
  3. 　請求項２に記載の画像伝送システムであって、
    　前記画像伝送システムは車載カメラシステムであり、
    　前記ビット精度情報生成部は、前記画像処理部の運転支援システムモードに従ってビット精度情報の生成手法を切り替える画像伝送システム。
  4. 　請求項３に記載の画像伝送システムであって、
    　前記ビット精度情報生成部は、前記画像処理部の運転支援システムモードがオーバービューモニタモードであるか車線検知モードであるかによって、ビット精度情報の生成手法を切り替える画像伝送システム。
  5. 　請求項４に記載の画像伝送システムであって、
    　前記運転支援システムモードが車線検知モードの場合、前記ビット精度情報生成部は、画像のうち道路部分の占める領域が他の領域よりも高いビット精度となるように前記ビット精度情報を生成する画像伝送システム。
  6. 　請求項５に記載の画像伝送システムであって、
    　前記ビット精度情報は、前記運転支援システムモード毎に予め設定され記憶手段に記録されている画像伝送システム。
  7. 　請求項４に記載の画像伝送システムであって、
    　前記ビット精度情報は、前記運転支援システムモード毎に予め設定され記憶手段に記録されている画像伝送システム。
  8. 　請求項３に記載の画像伝送システムであって、
    　前記ビット精度情報は、前記運転支援システムモード毎に予め設定され記憶手段に記録されている画像伝送システム。
  9. 　請求項１に記載の画像伝送システムであって、
    　前記画像受信装置内に前記画像処理部を備え、
    　前記画像送信装置内に前記ビット精度情報生成部と前記入力画像を取得する撮像部とを備え、
    　前記画像受信装置は前記画像処理部の処理モードの情報を前記画像送信装置へ送信し、
    　前記ビット精度情報生成部は前記処理モードの情報と前記撮像部から出力される符号化対象画像の少なくともいずれか一方を使用して前記ビット精度情報を生成する画像伝送システム。
  10. 　請求項９に記載の画像伝送システムであって、
    　前記画像伝送システムは車載カメラシステムであり、
    　前記ビット精度情報生成部は、前記画像処理部の運転支援システムモードに従ってビット精度情報の生成手法を切り替える画像伝送システム。
  11. 　請求項１０に記載の画像伝送システムであって、
    　前記ビット精度情報生成部は、前記画像処理部の運転支援システムモードがオーバービューモニタモードであるか車線検知モードであるかによって、ビット精度情報の生成手法を切り替える画像伝送システム。
  12. 　請求項１１に記載の画像伝送システムであって、
    　前記運転支援システムモードが車線検知モードの場合、前記ビット精度情報生成部は、画像のうち道路部分の占める領域が他の領域よりも高いビット精度となるように前記ビット精度情報を生成する画像伝送システム。
  13. 　請求項１２に記載の画像伝送システムであって、
    　前記ビット精度情報は、前記運転支援システムモード毎に予め設定され記憶手段に記録されている画像伝送システム。
  14. 　請求項１１に記載の画像伝送システムであって、
    　前記ビット精度情報は、前記運転支援システムモード毎に予め設定され記憶手段に記録されている画像伝送システム。
  15. 　請求項１０に記載の画像伝送システムであって、
    　前記ビット精度情報は、前記運転支援システムモード毎に予め設定され記憶手段に記録されている画像伝送システム。
PCT/JP2013/077983 2012-10-17 2013-10-15 画像伝送システム WO2014061664A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/436,094 US9877026B2 (en) 2012-10-17 2013-10-15 Image transmission system
CN201380054279.5A CN104756497B (zh) 2012-10-17 2013-10-15 图像传送系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-229431 2012-10-17
JP2012229431A JP5986877B2 (ja) 2012-10-17 2012-10-17 画像伝送システム

Publications (1)

Publication Number Publication Date
WO2014061664A1 true WO2014061664A1 (ja) 2014-04-24

Family

ID=50488225

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/077983 WO2014061664A1 (ja) 2012-10-17 2013-10-15 画像伝送システム

Country Status (4)

Country Link
US (1) US9877026B2 (ja)
JP (1) JP5986877B2 (ja)
CN (1) CN104756497B (ja)
WO (1) WO2014061664A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6392572B2 (ja) * 2014-07-22 2018-09-19 ルネサスエレクトロニクス株式会社 画像受信装置、画像伝送システムおよび画像受信方法
JP6357385B2 (ja) * 2014-08-25 2018-07-11 ルネサスエレクトロニクス株式会社 画像通信装置、画像送信装置および画像受信装置
JP6533142B2 (ja) * 2015-10-14 2019-06-19 株式会社東海理化電機製作所 シフト装置
JP2019140472A (ja) * 2018-02-08 2019-08-22 株式会社Ｓｏｋｅｎ 遠隔操縦される車両に搭載される画像送信装置
US11259023B2 (en) * 2018-04-12 2022-02-22 Qualcomm Incorporated Harmonization of transform-based quantization and dynamic range adjustment scale derivation in video coding

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01228383A (ja) * 1988-03-09 1989-09-12 Fujitsu Ltd 画像伝送方式
JPH06165155A (ja) * 1992-09-28 1994-06-10 Sony Corp 動画像符号化、復号化方法およびその装置、並びに記録媒体
JPH09200764A (ja) * 1996-01-16 1997-07-31 Canon Inc 符号化装置
JPH10164572A (ja) * 1996-11-27 1998-06-19 Nec Corp 動画像符号化装置及び復号化装置
JP2003309835A (ja) * 2002-04-16 2003-10-31 Hitachi Ltd 映像配信及び受信システム
JP2005212709A (ja) * 2004-02-02 2005-08-11 Yoichi Takebayashi 車両運転支援システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3486871B2 (ja) * 2000-11-28 2004-01-13 財団法人理工学振興会 動画像情報の高性能符号圧縮システム
JP2003309832A (ja) 2002-04-16 2003-10-31 Mitsubishi Electric Corp テレビ会議予約システムおよびそのシステムに使用する会議予約サーバとネットワーク管理サーバ
JP4255071B2 (ja) 2004-03-03 2009-04-15 Ｋｄｄｉ株式会社 注目画素値選択型符号化装置および復号装置
JP5300595B2 (ja) * 2009-05-28 2013-09-25 キヤノン株式会社 画像処理装置及び方法、及びコンピュータプログラム
CN102036062B (zh) * 2009-09-29 2012-12-19 华为技术有限公司 视频编码方法、装置及电子设备
DE112010005565T5 (de) * 2010-05-14 2013-02-28 Mitsubishi Electric Corp. Einparkunterstützungsvorrichtung, Einparkunterstützungssystem und Einparkunterstützungskameraeinheit
CN102567736A (zh) * 2010-12-14 2012-07-11 三星电子株式会社 图像识别设备及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01228383A (ja) * 1988-03-09 1989-09-12 Fujitsu Ltd 画像伝送方式
JPH06165155A (ja) * 1992-09-28 1994-06-10 Sony Corp 動画像符号化、復号化方法およびその装置、並びに記録媒体
JPH09200764A (ja) * 1996-01-16 1997-07-31 Canon Inc 符号化装置
JPH10164572A (ja) * 1996-11-27 1998-06-19 Nec Corp 動画像符号化装置及び復号化装置
JP2003309835A (ja) * 2002-04-16 2003-10-31 Hitachi Ltd 映像配信及び受信システム
JP2005212709A (ja) * 2004-02-02 2005-08-11 Yoichi Takebayashi 車両運転支援システム

Also Published As

Publication number Publication date
JP5986877B2 (ja) 2016-09-06
CN104756497B (zh) 2018-01-16
CN104756497A (zh) 2015-07-01
US9877026B2 (en) 2018-01-23
US20150271497A1 (en) 2015-09-24
JP2014082651A (ja) 2014-05-08

Similar Documents

Publication Publication Date Title
US11909992B2 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
CN112690000B (zh) 用于进行反量化的装置和方法
ES2966479T3 (es) Un codificador, un decodificador y métodos correspondientes para la intrapredicción
CN114071165B (zh) 视频编码器、视频解码器及对应方法
JP5389172B2 (ja) 深度画像を再構成する方法および深度画像を再構成する復号器
WO2014061664A1 (ja) 画像伝送システム
CN113574567A (zh) 点云压缩的方法和装置
JP6449329B2 (ja) ディスプレイストリーム圧縮（ｄｓｃ）において量子化パラメータ（ｑｐ）を選択するためのシステムおよび方法
KR20090052849A (ko) 비디오 색 인핸스먼트 데이터를 인코딩하기 위한 방법 및 장치, 그리고 비디오 색 인핸스먼트 데이터를 디코딩하기 위한 방법 및 장치
JPH09214970A (ja) 画像符号変換方式
WO2020138464A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JPWO2009075245A1 (ja) 画質評価システム、それに用いる装置、方法およびプログラム
KR20220012345A (ko) 기하학적 파티션 모드에 대한 크로마 샘플 가중 도출
WO2020075862A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JP2008505522A (ja) ビデオ処理
KR20210104055A (ko) 삼차원 데이터 부호화 방법, 삼차원 데이터 복호 방법, 삼차원 데이터 부호화 장치, 및 삼차원 데이터 복호 장치
US20230085554A1 (en) Image encoding/decoding method and apparatus for signaling image feature information, and method for transmitting bitstream
CN114503558B (zh) 插值滤波器在仿射运动补偿中的适应性使用
EP3251351B1 (en) Predictive image encoding and decoding with pixel group based quantization
KR20160145181A (ko) 디스플레이 스트림 압축 (dsc) 을 위해 패턴 모드에서 코딩하기 위한 시스템 및 방법
JP2007208543A (ja) 動画像符号化装置
CN113875251A (zh) 用于几何分割模式的自适应滤波器强度指示
WO2020064732A1 (en) Transformation selection by transmitting a transformation set indicator for use in video coding
JP6256222B2 (ja) 端末装置及びデータ管理装置
WO2022213569A1 (en) Method and apparatus of encoding/decoding point cloud geometry data captured by a spinning sensors head

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13846806

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14436094

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13846806

Country of ref document: EP

Kind code of ref document: A1