JP7186374B2 - VIDEO SIGNAL PROCESSING DEVICE, VIDEO DISPLAY SYSTEM, AND VIDEO SIGNAL PROCESSING METHOD - Google Patents
VIDEO SIGNAL PROCESSING DEVICE, VIDEO DISPLAY SYSTEM, AND VIDEO SIGNAL PROCESSING METHOD Download PDFInfo
- Publication number
- JP7186374B2 JP7186374B2 JP2018020309A JP2018020309A JP7186374B2 JP 7186374 B2 JP7186374 B2 JP 7186374B2 JP 2018020309 A JP2018020309 A JP 2018020309A JP 2018020309 A JP2018020309 A JP 2018020309A JP 7186374 B2 JP7186374 B2 JP 7186374B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- video
- video data
- value
- signal processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本開示は、映像信号処理装置、映像表示システム、及び映像信号処理方法に関し、特に、比較的高いフレームレートを有する映像に好適な映像信号処理装置、映像表示システム、及び映像信号処理方法に関する。 The present disclosure relates to a video signal processing device, a video display system, and a video signal processing method, and more particularly to a video signal processing device, a video display system, and a video signal processing method suitable for video with a relatively high frame rate.
映像(動画像)に対して画像処理や伝送を行うことにより、表示装置に映像を表示する映像表示システムは、人の視覚を考慮して60fps(frame per seconds)以下のフレームレートにて動作するよう設計されるのが一般的である。このような映像表示システムでは、例えば、フレームレートが60fpsの場合には、1フレームあたりの時間が約16.6msとなるため、撮像装置によって生成された映像が表示装置で表示されるまでの間に、複数の画像処理や伝送が実行されることにより、システム全体としてある程度(例えば、100ms)の遅延が発生することになる。 A video display system that displays video on a display device by performing image processing and transmission on video (moving image) operates at a frame rate of 60 fps (frame per second) or less in consideration of human vision. It is generally designed as In such a video display system, for example, when the frame rate is 60 fps, the time per frame is about 16.6 ms. In addition, a certain amount of delay (for example, 100 ms) occurs in the entire system due to multiple image processing and transmission being executed.
そのような撮像(映像出力)に対する映像表示の遅延は、例えば、産業用ロボットで不規則に動く対象をピッキングする場合などのフィードバックを伴うリアルタイムシステムでは、ロボット等の動作の安定性に悪影響を及ぼし得る。また、そのような映像表示の遅延が解消されれば、リアルタイム映像を利用する内視鏡手術及び遠隔手術や、災害救助ロボットの遠隔操作などに用いられる映像表示システムにも有益である。 Such a delay in video display with respect to imaging (video output) adversely affects the stability of robot movements in a real-time system with feedback, such as when picking an object that moves irregularly with an industrial robot. obtain. In addition, if such a delay in video display is eliminated, it will be beneficial for video display systems used for endoscopic surgery and remote surgery using real-time video, remote control of disaster rescue robots, and the like.
一方で、映像に比較的高いフレームレート(例えば、960fps)を適用することにより、そのような遅延を解消(抑制)することも考えられるが、単にフレームレートを増大させた場合には、伝送量や演算量の増大を招くことになる。 On the other hand, applying a relatively high frame rate (for example, 960 fps) to the video may eliminate (suppress) such a delay. and an increase in the amount of calculation.
従来、映像の高解像度を維持しつつ伝送量を抑制するための技術として、例えば、監視用カメラによって撮影された映像に関し、人が出入りするドアの付近などに注目し、この監視したい注目監視エリアを高フレームレートで表示し、植物が置かれた場所や壁など注目監視エリアの背景となるようなエリアをネットワーク帯域の有効利用を考慮して低フレームレートで伝送を行うようにしたものが知られている。 Conventionally, as a technology for suppressing the amount of transmission while maintaining the high resolution of the image, for example, regarding the image taken by the surveillance camera, we focus on the vicinity of the door where people go in and out, and this attention monitoring area that we want to monitor. is displayed at a high frame rate, and areas such as plants and walls that serve as the background of the attention monitoring area are transmitted at a low frame rate in consideration of the effective use of the network bandwidth. It is
ところで、上記特許文献1に記載された従来技術では、高フレームレートとして30フレーム/秒程度が想定されているが、映像の高解像度を維持することが前提であるため、より高いフレームレート(例えば、960fps)を適用した場合には、高フレームレートの適用が画像の一部(注目監視エリア)であったとしても伝送量や演算量の増大は問題となり得る。
By the way, in the conventional technology described in
また、上記従来技術では、注目監視エリアのデータに対してMPEG等の方式で符号化処理を行うが、より高いフレームレート(例えば、960fps)を適用した場合には、撮像における露光時間が短くなって映像のS/N比が悪化することにより、MPEG等の符号化処理における画像の圧縮率が向上しないという問題も生じ得る。 Further, in the above-described conventional technology, encoding processing is performed on the data of the attention monitoring area by a method such as MPEG. As a result, the S/N ratio of the video deteriorates, which may cause a problem that the compression rate of the image in encoding processing such as MPEG cannot be improved.
本開示は、このような従来技術の課題を鑑みて案出されたものであり、比較的高いフレームレートを有する映像(例えば、フレームレートが60fpsを超える映像)を伝送する場合に、表示映像の品質低下を抑制しつつ、映像の伝送量および演算量の増大を抑制することを可能とする映像信号処理装置、映像表示システム、及び映像信号処理方法を提供することを主目的とする。 The present disclosure has been devised in view of such problems of the conventional technology. A main object of the present invention is to provide a video signal processing device, a video display system, and a video signal processing method capable of suppressing an increase in the amount of video transmission and the amount of calculation while suppressing deterioration in quality.
本開示の映像信号処理装置は、高いフレームレートの映像表示の場合にのみ発生する人間の視覚現象に基づいて、効率的且つ低遅延な映像データ圧縮を提供する。 The video signal processing device of the present disclosure provides efficient and low-delay video data compression based on the human visual phenomenon that occurs only in the case of high frame rate video display.
本開示の映像信号処理装置は、入力された第1のビット数を有する第1階調の映像データを符号化することにより、前記第1のビット数よりも小さい第2のビット数を有する第2階調の映像データとして出力する映像信号処理装置であって、前記第1階調の映像データに基づく入力データを前記第2階調の映像データに量子化した量子化データを順次出力する量子化器と、前記量子化器から出力される前記量子化データを順次記憶する記憶部と、現フレームに関する前記第1階調の映像データと前記記憶部に記憶された以前のフレームに関する前記量子化データとの差分を順次算出する差分計算器と、前記差分計算器から出力される前記差分を順次積算した積分データを、前記量子化器の前記入力データとして順次出力する積分器と、を備えたことを特徴とする。 The video signal processing device of the present disclosure encodes input video data of a first gradation having a first number of bits to obtain a second number of bits having a second number of bits smaller than the first number of bits. A video signal processing device for outputting video data of two gradations, wherein the input data based on the video data of the first gradation is quantized into the video data of the second gradation, and the quantized data is sequentially output. a storage section for sequentially storing the quantized data output from the quantizer; and the video data of the first gradation for the current frame and the quantization for the previous frame stored in the storage section. a difference calculator for sequentially calculating differences from data; and an integrator for sequentially outputting integral data obtained by sequentially accumulating the differences output from the difference calculator as the input data for the quantizer. It is characterized by
また、本開示の映像表示システムは、前記映像信号処理装置と、前記第1のビット数を有する第1階調の映像データを生成する撮像装置と、前記映像信号処理装置から出力された前記第2階調の映像データを受信し、この受信した前記第2階調の映像データを復号する復号回路と、前記復号回路によって復号された前記第2階調の映像データに基づく映像を表示する表示装置と、を備えたことを特徴とする。 Further, the video display system of the present disclosure includes the video signal processing device, an imaging device that generates video data of a first gradation having the first number of bits, and the first grayscale image data output from the video signal processing device. a decoding circuit that receives two-tone video data and decodes the received second-tone video data; and a display that displays video based on the second-tone video data decoded by the decoding circuit. and a device.
また、本開示の映像信号処理方法は、入力された第1のビット数を有する第1階調の映像データを符号化することにより、前記第1のビット数よりも小さい第2のビット数を有する第2階調の映像データとして出力する映像信号処理方法であって、前記第1階調の映像データに基づく入力データを、前記第2階調の映像データに順次量子化し、前記第2階調の映像データに量子化された量子化データを順次記憶し、現フレームに関する前記第1階調の映像データと前記記憶された以前のフレームに関する前記量子化データとの差分を順次算出し、算出された前記差分データを順次積算した積分データを、前記入力データとして生成することを特徴とする。 Further, the video signal processing method of the present disclosure encodes input video data of a first gradation having a first number of bits to obtain a second number of bits smaller than the first number of bits. a video signal processing method for outputting video data of a second gradation, wherein the input data based on the video data of the first gradation is sequentially quantized into the video data of the second gradation; sequentially storing the quantized data quantized to the grayscale video data, and sequentially calculating and calculating the difference between the first grayscale video data for the current frame and the quantized data for the stored previous frame; Integral data obtained by sequentially accumulating the obtained difference data is generated as the input data.
本開示によれば、比較的高いフレームレートを有する映像(例えば、フレームレートが60fpsを超える映像)を伝送する場合に、映像データを効率的に圧縮しつつ低遅延で伝送し、且つ、後続フレームの補正で視覚的階調も回復することが可能となる。このようなことは、従来の比較的低いフレームレートで行っても、時間的ちらつき(フリッカー)を増大させるだけであるが、高いフレームレートにおいて特有に機能する。 According to the present disclosure, when transmitting video with a relatively high frame rate (for example, video with a frame rate exceeding 60 fps), the video data is efficiently compressed and transmitted with low delay, and the following frame It is possible to recover the visual gradation by correcting . Such a thing only increases temporal flicker even at conventional relatively low frame rates, but works peculiarly at high frame rates.
前記課題を解決するためになされた第1の発明は、入力された第1のビット数を有する第1階調の映像データを符号化することにより、前記第1のビット数よりも小さい第2のビット数を有する第2階調の映像データとして出力する映像信号処理装置であって、前記第1階調の映像データに基づく入力データを前記第2階調の映像データに量子化した量子化データを順次出力する量子化器と、前記量子化器から出力される前記量子化データを順次記憶する記憶部と、現フレームに関する前記第1階調の映像データと前記記憶部に記憶された以前のフレームに関する前記量子化データとの差分を順次算出する差分計算器と、前記差分計算器から出力される前記差分を順次積算した積分データを、前記量子化器の前記入力データとして順次出力する積分器と、を備えたことを特徴とする。 A first invention, which has been made to solve the above-mentioned problems, encodes input video data of a first gradation having a first number of bits, whereby a second number of bits smaller than the first number of bits is encoded. A video signal processing device for outputting video data of a second gradation having a bit number of , wherein input data based on the video data of the first gradation is quantized into the video data of the second gradation. a quantizer for sequentially outputting data; a storage unit for sequentially storing the quantized data output from the quantizer; a difference calculator that sequentially calculates the difference between the quantized data and the frame of the frame; and an integration that sequentially outputs integral data obtained by sequentially accumulating the difference output from the difference calculator as the input data of the quantizer. and a container.
これによると、入力された映像データの階調を量子化により下げると共に、この量子化によって排除された情報(下位のビット)を、後続のフレームに反映させる構成としたため、比較的高いフレームレートを有する映像(例えば、フレームレートが60fpsを超える映像)を伝送する場合に、表示映像の品質低下を抑制しつつ、映像の伝送量および演算量の増大を抑制することが可能となる。 According to this, the gradation of the input video data is lowered by quantization, and the information (lower bits) eliminated by this quantization is reflected in subsequent frames, so a relatively high frame rate can be achieved. When transmitting a video having a frame rate of more than 60 fps, it is possible to suppress an increase in the amount of transmission of the video and the amount of calculation while suppressing deterioration in the quality of the displayed video.
また、第2の発明は、入力された第1のビット数を有する第1階調の映像データを符号化することにより、前記第1のビット数よりも小さい第2のビット数を有する第2階調の映像データとして出力する映像信号処理装置であって、前記第1階調の映像データに基づく入力データを前記第2階調の映像データに量子化した量子化データを順次出力する量子化器と、前記量子化器から出力される前記量子化データを順次記憶する記憶部と、前記記憶部に記憶された前記量子化データを順次積算した積分データを順次出力する積分器と、前記第1階調の映像データと前記積分データとの差分を順次算出し、前記量子化器の前記入力データとして順次出力する差分計算器と、を備えたことを特徴とする。 A second aspect of the invention encodes input video data of a first gradation having a first number of bits, thereby generating second data having a second number of bits smaller than the first number of bits. A video signal processing device for outputting video data of gradation, wherein the input data based on the video data of the first gradation is quantized into the video data of the second gradation and the quantized data is sequentially output. a storage unit for sequentially storing the quantized data output from the quantizer; an integrator for sequentially outputting integrated data obtained by sequentially integrating the quantized data stored in the storage unit; and a difference calculator that sequentially calculates a difference between the video data of one gradation and the integrated data, and sequentially outputs the difference as the input data of the quantizer.
これによると、入力された映像データの階調を量子化により下げると共に、この量子化によって排除された情報(下位のビット)を、後続のフレームに反映させる構成としたため、比較的高いフレームレートを有する映像(例えば、フレームレートが60fpsを超える映像)を伝送する場合に、表示映像の品質低下を抑制しつつ、映像の伝送量および演算量の増大を抑制することが可能となる。 According to this, the gradation of the input video data is lowered by quantization, and the information (lower bits) eliminated by this quantization is reflected in subsequent frames, so a relatively high frame rate can be achieved. When transmitting a video having a frame rate of more than 60 fps, it is possible to suppress an increase in the amount of transmission of the video and the amount of calculation while suppressing deterioration in the quality of the displayed video.
また、第3の発明は、入力された第1のビット数を有する第1階調の映像データを符号化することにより、前記第1のビット数よりも小さい第2のビット数を有する第2階調の映像データとして出力する映像信号処理装置であって、前記第2のビット数を有する変動値データを統計的または確率的に順次生成するパターン生成部と、前記第1階調の映像データに前記変動値データを順次加算する加算器と、前記加算器から出力されたデータを前記第2階調の映像データに量子化した量子化データを順次出力する量子化器と、を備えたことを特徴とする。 A third aspect of the present invention encodes input video data of a first gradation having a first number of bits, thereby generating second data having a second number of bits smaller than the first number of bits. A video signal processing apparatus for outputting grayscale video data, comprising: a pattern generator for sequentially generating variation value data having the second number of bits statistically or stochastically; and the first grayscale video data. and a quantizer for sequentially outputting quantized data obtained by quantizing the data output from the adder into video data of the second gradation. characterized by
これによると、入力された映像データの階調を量子化により下げると共に、この量子化によって排除される情報を代替する変動値データとして反映させる構成としたため、比較的高いフレームレートを有する映像(例えば、フレームレートが60fpsを超える映像)を伝送する場合に、表示映像の品質低下を抑制しつつ、映像の伝送量および演算量の増大を抑制することが可能となる。 According to this, the gradation of the input video data is lowered by quantization, and the information eliminated by this quantization is reflected as alternative fluctuation value data, so that video with a relatively high frame rate (for example, , video with a frame rate exceeding 60 fps), it is possible to suppress an increase in the amount of transmission of the video and the amount of calculation while suppressing deterioration in the quality of the displayed video.
また、第4の発明は、現フレームに関する前記第1階調の映像データとそれ以前のフレームに関する前記第1階調の映像データとの間で動きベクトルを算出する動き予測部と、前記動きベクトルに基づき、前記積分器における積分データを補正する動き補償部と、を更に備えたことを特徴とする。 A fourth aspect of the present invention is a motion prediction unit for calculating a motion vector between the first gradation video data relating to the current frame and the first gradation video data relating to the previous frame, and the motion vector and a motion compensator for correcting the integrated data in the integrator based on the above.
これによると、映像中に動く物体が存在する場合でも、量子化によって排除された情報(下位のビット)を、後続のフレームに適切に反映させることが可能となる。 According to this, even if there is a moving object in the video, the information (lower order bits) eliminated by quantization can be properly reflected in subsequent frames.
また、第5の発明は、前記量子化器から出力される前記量子化データを圧縮符号化する符号化器と、前記符号化器から出力される前記量子化データを復号化する復号化器と、を更に備え、前記記憶部は、前記復号化器によって復号化された前記量子化データを順次記憶することを特徴とする。 In a fifth aspect of the invention, there is provided an encoder that compression-encodes the quantized data output from the quantizer, and a decoder that decodes the quantized data output from the encoder. , wherein the storage unit sequentially stores the quantized data decoded by the decoder.
これによると、符号化器においてMPEG等の非可逆的な圧縮符号化を実行する場合でも、その圧縮符号化によって生じるノイズを抑制することが可能となる。 According to this, even when the encoder executes irreversible compression-encoding such as MPEG, it is possible to suppress noise caused by the compression-encoding.
また、第6の発明は、前記第1階調の映像データに関するフレームレートが、60fpsよりも大きいことを特徴とする。 A sixth aspect of the invention is characterized in that the frame rate of the video data of the first gradation is higher than 60 fps.
これによると、比較的高いフレームレートを有する映像に関し、表示映像の品質低下を抑制しつつ、符号化された映像の伝送量および演算量の増大を効果的に抑制することが可能となる。 According to this, it is possible to effectively suppress an increase in the amount of transmission and the amount of calculation of the encoded video while suppressing deterioration in the quality of the displayed video with respect to video having a relatively high frame rate.
また、第7の発明は、第1から第6の発明のいずれかに係る前記映像信号処理装置と、前記第1のビット数を有する前記第1階調の映像データを生成する撮像装置と、前記映像信号処理装置から出力された前記第2階調の映像データを受信し、この受信した前記第2階調の映像データを復号する復号回路と、前記復号回路によって復号された前記第2階調の映像データに基づく映像を表示する表示装置と、を備えたことを特徴とする映像表示システムである。 A seventh invention is the video signal processing device according to any one of the first to sixth inventions; an imaging device that generates video data of the first gradation having the first number of bits; a decoding circuit for receiving the video data of the second grayscale output from the video signal processing device and decoding the received video data of the second grayscale; and the second grayscale decoded by the decoding circuit. and a display device for displaying an image based on grayscale image data.
これによると、比較的高いフレームレートを有する映像(例えば、フレームレートが60fpsを超える映像)を処理する場合でも、表示映像の品質低下を抑制しつつ、符号化された映像の伝送量および演算量の増大を抑制することが可能となる。 According to this, even when processing video with a relatively high frame rate (for example, video with a frame rate exceeding 60 fps), the amount of transmission and the amount of calculation of the encoded video is suppressed while suppressing the deterioration of the quality of the displayed video. It is possible to suppress the increase in
また、第8の発明は、入力された第1のビット数を有する第1階調の映像データを符号化することにより、前記第1のビット数よりも小さい第2のビット数を有する第2階調の映像データとして出力する映像信号処理方法であって、前記第1階調の映像データに基づく入力データを、前記第2階調の映像データに順次量子化し、前記第2階調の映像データに量子化された量子化データを順次記憶し、現フレームに関する前記第1階調の映像データと前記記憶された以前のフレームに関する前記量子化データとの差分を順次算出し、前記差分を順次積算した積分データを、前記入力データとして生成することを特徴とする。 An eighth aspect of the present invention encodes input video data of a first gradation having a first number of bits, thereby generating second data having a second number of bits smaller than the first number of bits. A video signal processing method for outputting as gradation video data, wherein input data based on the first gradation video data is sequentially quantized into the second gradation video data, and the second gradation video is generated. sequentially storing the quantized data quantized in the data, sequentially calculating the difference between the video data of the first gradation regarding the current frame and the quantized data regarding the stored previous frame, and sequentially calculating the difference; It is characterized in that integrated integral data is generated as the input data.
これによると、入力された映像データの階調を量子化により下げると共に、この量子化によって排除された情報を、後続のフレームに反映させる構成としたため、比較的高いフレームレートを有する映像を伝送する場合に、表示映像の品質低下を抑制しつつ、映像の伝送量および演算量の増大を抑制することが可能となる。 According to this, the gradation of the input video data is lowered by quantization, and the information eliminated by this quantization is reflected in subsequent frames, so that video with a relatively high frame rate is transmitted. In this case, it is possible to suppress an increase in the amount of video transmission and the amount of calculation while suppressing deterioration in the quality of the displayed video.
また、第9の発明は、入力された第1のビット数を有する第1階調の映像データを符号化することにより、前記第1のビット数よりも小さい第2のビット数を有する第2階調の映像データとして出力する映像信号処理方法であって、前記第1階調の映像データに基づく入力データを、前記第2階調の映像データに順次量子化し、前記第2階調の映像データに量子化された量子化データを順次記憶し、前記記憶された前記量子化データを順次積算した積分データを順次生成し、前記第1階調の映像データと前記積分データとの差分を、前記入力データとして順次算出することを特徴とする。 A ninth aspect of the present invention encodes input video data of a first gradation having a first number of bits, thereby generating second data having a second number of bits smaller than the first number of bits. A video signal processing method for outputting as gradation video data, wherein input data based on the first gradation video data is sequentially quantized into the second gradation video data, and the second gradation video is generated. sequentially storing quantized data quantized in data, sequentially generating integral data by sequentially integrating the stored quantized data, and calculating a difference between the video data of the first gradation and the integral data, The input data is calculated sequentially.
これによると、入力された映像データの階調を量子化により下げると共に、この量子化によって排除された情報を、後続のフレームに反映させる構成としたため、比較的高いフレームレートを有する映像を伝送する場合に、表示映像の品質低下を抑制しつつ、映像の伝送量および演算量の増大を抑制することが可能となる。 According to this, the gradation of the input video data is lowered by quantization, and the information eliminated by this quantization is reflected in subsequent frames, so that video with a relatively high frame rate is transmitted. In this case, it is possible to suppress an increase in the amount of video transmission and the amount of calculation while suppressing deterioration in the quality of the displayed video.
また、第10の発明は、入力された第1のビット数を有する第1階調の映像データを符号化することにより、前記第1のビット数よりも小さい第2のビット数を有する第2階調の映像データとして出力する映像信号処理方法であって、前記第2のビット数を有する変動値データを統計的または確率的に順次生成し、入力された前記第1階調の映像データに前記変動値データを順次加算し、前記加算されたデータを前記第2階調の映像データに量子化した量子化データを順次出力することを特徴とする。 A tenth aspect of the present invention encodes input video data of a first gradation having a first number of bits, thereby generating second data having a second number of bits smaller than the first number of bits. A video signal processing method for outputting as gradation video data, wherein the variation value data having the second number of bits is sequentially generated statistically or stochastically, and the input video data of the first gradation is converted to The variation value data are sequentially added, and quantized data obtained by quantizing the added data into the video data of the second gradation are sequentially output.
これによると、入力された映像データの階調を量子化により下げると共に、この量子化によって排除される情報(下位のビット)を、変動値データとして反映させる構成としたため、比較的高いフレームレートを有する映像(例えば、フレームレートが60fpsを超える映像)を伝送する場合に、表示映像の品質低下を抑制しつつ、映像の伝送量および演算量の増大を抑制することが可能となる。 According to this, the gradation of the input video data is lowered by quantization, and the information (lower bits) eliminated by this quantization is reflected as fluctuation value data, so a relatively high frame rate can be achieved. When transmitting a video having a frame rate of more than 60 fps, it is possible to suppress an increase in the amount of transmission of the video and the amount of calculation while suppressing deterioration in the quality of the displayed video.
以下、本開示の実施の形態を、図面を参照しながら説明する。 Embodiments of the present disclosure will be described below with reference to the drawings.
(第1実施形態)
図1は、本開示の第1実施形態に係る映像表示システム1の全体構成図であり、図2は、映像表示システム1における処理(露光、伝送、及び表示)の一例を示すタイムチャートである。
(First embodiment)
FIG. 1 is an overall configuration diagram of a
図1に示すように、映像表示システム1は、所望の映像を撮影するカメラ(撮像装置)2と、カメラ2から入力される映像データ(映像信号)を、伝送路3を介して送信する送信機4と、送信機4から受信した映像データを受信する受信機5と、受信機5によって受信された映像データに基づく映像を表示する表示デバイス6とを主として備える。
As shown in FIG. 1, a
カメラ2は、公知の撮影機能や通信機能(無線通信を含む)を有するビデオカメラであり、ここでは、人間の視覚時間感度(すなわち、視覚情報処理の時間的解像度)を超える比較的高いフレームレート(ここでは、960fps)の映像を出力することが可能な高速度カメラである。カメラ2は、公知の通信ケーブル(または通信ネットワーク)を介して送信機4と通信可能に接続され、カメラ2の撮影によって生成された映像データは、リアルタイムで送信機4に対して順次出力される。カメラ2によって撮影される映像の階調は、特に限定されないが、例えば、RGBで各8ビット(24ビットカラー)とすることができる。
The
送信機4および受信機5は、CPUやGPU等のプロセッサやメモリ等の公知のハードウェアを備える。また、後述するように、送信機4および受信機5は、映像データに対して必要な画像処理を行うための画像処理機能や、公知の通信ケーブルまたは通信ネットワークから構成される伝送路3を介して映像データを相互に送受信するための公知の有線または無線通信機能を有する。送信機4はカメラ2と一体に設けられてもよく、また、受信機5は表示デバイス6と一体に設けられてもよい。
The
送信機4は、第1のビット数(例えば、8ビット)を有する第1階調の映像データを符号化することにより、その第1のビット数よりも小さい第2のビット数(例えば、4ビット)を有する第2階調の映像データとして出力する映像信号処理装置11と、映像信号処理装置11から出力される映像データにMPEG、ランレングス符号化等の公知の手法に基づき圧縮符号化(データ圧縮)処理を実行する符号化器12とを備える。また、受信機5は、送信機4から受信した量子化された映像データを復号する復号回路13を備え、復号された映像データに基づき、表示デバイス6で表示可能な表示データを生成する。なお、復号回路13は、後述する第2実施形態に係る映像表示システム1では、送信機4からの映像データを順次積算する機能を有する。
表示デバイス6は、送信機4から送信される映像データのフレームレートに応じて映像を表示するための機能を有し、特に限定されるものではないが、例えば、公知の構成を有する液晶ディスプレイやプラズマディスプレイ等から構成される。
The
この映像表示システム1は、カメラ2で撮影された比較的高いフレームレートを有する映像を、伝送等による大きな遅延を発生させることなく、表示デバイス6に表示させることが可能であり、例えば、リアルタイム映像を利用する内視鏡手術及び遠隔手術や、災害救助ロボットの遠隔操作などに用いるのに好適である。
This
また、映像表示システム1では、図2に示すように、カメラ2のイメージセンサにおける露光、送信機4および受信機5間の映像データの伝送、及び表示デバイス6における表示の処理を、所定周期(図2中の破線の間隔)で同期するように設定することが可能である。
Further, in the
図3は、図1に示した第1実施形態に係る映像信号処理装置11の概略構成を示すブロック図であり、図4は、第1実施形態に係る映像信号処理装置11の動作例を示す説明図である。
FIG. 3 is a block diagram showing a schematic configuration of the video
映像信号処理装置11は、量子化器21、第1フレームメモリ(記憶部)22、差分計算器23、積分器24、及び第2フレームメモリ25を備える。
The video
量子化器21は、積分器24から出力された第1階調(例えば、8ビット)の映像データに基づくデータ(入力データ)を、第2階調(例えば、4ビット)の映像データに量子化して順次出力する。例えば、量子化器21は、第1階調の8ビットの入力データのうちの上位4ビットを取得する(すなわち、下位4ビットを切り捨てる)ことにより、第2階調に階調を下げたデータ(量子化データ)を生成することができる。この量子化データは、映像データとして伝送路3側(ここでは、符号化器12)に順次出力されると共に、SDRAM等の公知のメモリによって構成される第1フレームメモリ22に順次記憶される。
The
差分計算器23は、カメラ2から順次入力される現フレームに関する8ビットの映像データと第1フレームメモリ22に記憶された以前のフレーム(ここでは、直前のフレーム)に関する量子化データとの差分を順次算出する。このような構成により、量子化器21の処理によって切り捨てられた下位4ビットの情報を、第1フレームメモリ22および差分計算器23を介したフィードバックループによって後続のフレームに順次反映させることが可能となる。
The
積分器24は、差分計算器23から出力される差分を順次積算した積分データを、量子化器21の入力データとして順次出力する。また、算出された積分データは、SDRAM等の公知のメモリによって構成される第2フレームメモリ25に順次記憶され、次回の積分データを算出する際に順次読み出される。
The
図4では、第1実施形態に係る映像信号処理装置11の動作例として、所定の時間間隔(例えば、1ms)で設定された時刻t0~t15において、0~240まで設定された8ビットの映像データ(入力データ)の各階調値が、カメラ2から映像信号処理装置11に入力される場合が示されている。ここでは、説明の便宜上、時刻t0~t15にそれぞれ対応する16のフレームの所定画素について、各階調値(同一の階調値)が連続して入力された場合(各階調値が16フレームにわたり変化しない場合)が示されている。ただし、実際の映像データの階調値はフレーム毎に適宜変化し得る。
In FIG. 4, as an operation example of the video
ここで、量子化器21は、8ビットの映像データの階調値を、0~15の階調値からなる4ビットの映像データに変換して順次出力する。例えば、映像データの階調値が3の場合には、量子化器21からの出力の初期値は、3を16で除した値(ただし、1未満の数値が生じた場合には切り捨てる(以下同様))である0となり、また、積分値(積分器24からの出力値)の初期値は0である。
Here, the
また、映像データの階調値が3の場合、時刻t0においては、量子化器21からの出力値(延いては、送信機4からの出力値)は、積分値の初期値0に映像データの階調値3を加えた値を16で除した値である0となり、積分値は、その初期値0に対し、映像データの階調値3と量子化器21からの出力の初期値との差分(すなわち、差分計算器23による算出値)を加算した値である3となる。ここで、差分計算器23による差分の計算には、量子化器21からの出力値に16を乗じて逆量子化した値が用いられる(以下同様)。
When the gradation value of the video data is 3, at time t0, the output value from the quantizer 21 (and the output value from the transmitter 4) is set to the initial integral value of 0 in the video data. is added to the gradation value of 3 and divided by 16, and the integrated value is 0, which is the initial value of 0. (that is, the value calculated by the difference calculator 23) is added. Here, a value obtained by multiplying the output value from the
続く時刻t1においては、量子化器21からの出力値は、時刻t0における積分値3に映像データの階調値3を加えた値を16で除した値である0となり、積分値は、時刻t0の積分値3に対し、映像データの階調値3と時刻t0における量子化器21からの出力値との差分を加算した値である6となる。
At the subsequent time t1, the output value from the
続く時刻t2においては、量子化器21からの出力値は、時刻t1における積分値6に映像データの階調値3を加えた値を16で除した値である0となり、積分値は、時刻t1の積分値6に対し、映像データの階調値3と時刻t1における量子化器21からの出力値との差分を加算した値である9となる。以降、時刻t3~時刻t15における量子化器21からの出力値および積分値も上述の場合と同様に設定される。また、映像データの階調値が3以外の場合も、上述の場合と同様に時刻t0~t15における量子化器21からの出力値および積分値を求めることができる。
At the following time t2, the output value from the
また、各階調値に関し、時刻t0~t15における量子化器21からの出力値の平均値に16を乗じた値(平均値の逆量子化値)は、元の階調値と概ね等しくなる。
Also, for each gradation value, the value obtained by multiplying the average value of the output values from the
このように、第1実施形態に係る映像信号処理装置11は、カメラ2から入力された映像データの階調を量子化により下げると共に、この量子化によって排除された情報(ここでは、下位の4ビット)を、積分器24での積分値を介して後続のフレームに反映させる構成としたため、人間の視覚時間感度を超える比較的高いフレームレートを有する映像(例えば、フレームレートが60fpsを超える映像)を伝送する場合に、表示デバイス6における表示映像の品質低下を抑制しつつ、映像の伝送量および演算量の増大を抑制することが可能となる。
As described above, the video
この場合、送信機4から第2階調(ここでは、4ビット)のデータが出力されるにも拘わらず、表示デバイス6に表示される映像を視聴するユーザは、人の視覚の性質上、表示される物体の運動に関しては1フレーム分の遅延としか認知できないにもかかわらず、階調に関しては10~20フレーム分程度(図4の例では各階調値の時刻t0~t15における複数のフレームに相当)の映像を残像として重ね合わせたように知覚されることになり、送信機4において排除された階調が視覚的に復元された(あたかも第1階調(ここでは、8ビット)の映像が表示された)ような効果が得られる。また、送信機4から受信機5への映像データの伝送時に一部のデータが欠落した場合も、一時的な階調低下を引き起こすのみで、継続の復号不能には陥らないため、再送制御を行わずにシステム動作を継続できるという利点もある。
In this case, despite the fact that data of the second gradation (here, 4 bits) is output from the
なお、映像表示システム1は、後述する他の実施形態や複数の変形例を含め、入力される現フレームに関する映像データの階調を量子化により下げると共に、この量子化によって排除された下位ビット(例えば、8ビットにおける下位4ビット)または統計的または確率的手法に基づくそれらの下位ビットに相当する代替データが、後続するフレームに関する映像データにおける上位ビット(例えば、8ビットにおける上位4ビット)に対して影響を及ぼすことが可能な構成であればよい。
Note that the
また、第1実施形態に係る映像信号処理装置11による動作は、従来の音声信号の符号化に用いられるΔΣ(デルタシグマ)変調に類似するが、音声信号に関するΔΣ変調の処理は、音声信号の量子化において発生し得るエイリアスノイズを低減して音質を向上させるためのものであり、映像信号処理装置11による映像の処理とは、目的や効果を異にするものである。
Further, the operation of the video
図5および図6は、それぞれ図3に示した映像信号処理装置11の第1及び第2変形例を示すブロック図である。図5および図6では、図3に示した映像信号処理装置11と同様の構成については、同一の符号が付してある。また、第1及び第2変形例に関し、以下で特に言及しない事項については、上述の第1実施形態に係る映像信号処理装置11と同様として詳細な説明を省略する。
5 and 6 are block diagrams showing first and second modifications of the video
(第1実施形態の第1変形例)
上述の例では、映像中に動く物体が存在する場合、例えば、背景画像に関して蓄積された量子化誤差(すなわち、下位4ビット)が、その動く物体の画像に適用されることにより、表示デバイス6で表示される映像品質が低下する(例えば、映像中の動く物体の明るさや色が不自然に変化する)場合がある。
(First Modification of First Embodiment)
In the example above, if there is a moving object in the image, the accumulated quantization error (i.e., the lower 4 bits) for the background image, for example, is applied to the image of the moving object so that the
そこで、第1変形例に係る映像信号処理装置11では、映像中に存在し得る動く物体の影響を排除するために、図5に示すように、動き予測部26、第3フレームメモリ27、及び動き補償部28を更に備える。
Therefore, in the video
動き予測部26は、カメラ2から入力される各フレームの映像データを第3フレームメモリ27に順次記憶すると共に、現フレームと参照フレームとの映像データの差分から、ブロックマッチング法等の公知の手法に基づき各画素に関する動きベクトルを算出する。
The
動き補償部28は、動き予測部26で算出された動きベクトルの情報を取得し、第2フレームメモリ25から積分データを読み出す場合に、その動きベクトルの情報(動き予測)に基づき、各画素のデータの読出し位置を補償する。
The
このような構成により、映像信号処理装置11では、映像中に動く物体が存在する場合でも、量子化器21における量子化によって排除された情報(下位のビット)を、後続のフレームに適切に反映させることが可能となる。
With such a configuration, in the video
(第1実施形態の第2変形例)
また、上述の例では、映像信号処理装置11の後の符号化器12(図1参照)においてMPEG等の非可逆的な圧縮符号化に基づく処理を実行した場合、圧縮符号化によって生じるノイズが送信機4から送信される映像データに含まれることになる。
(Second Modification of First Embodiment)
Further, in the above example, when the encoder 12 (see FIG. 1) after the video
そこで、第2変形例に係る映像信号処理装置11では、図6に示すように、符号化器12が内部に設けられ(すなわち、圧縮符号化が映像信号処理装置11の処理として実行され)、更に、符号化器12によって圧縮符号化された映像データを復号化する復号化器29を備える。
Therefore, in the video
このような構成により、非可逆的な圧縮符号化によって生じるノイズは、符号化器12および復号化器29を介して量子化データと共に第1フレームメモリ22に記憶されるため、送信機4から送信される映像データにおいて非可逆的な圧縮符号化によって生じるノイズを抑制することが可能となる。
With such a configuration, the noise generated by the irreversible compression encoding is stored in the
(第2実施形態)
図7は、本開示の第2実施形態に係る映像表示システム1における映像信号処理装置11の概略構成を示すブロック図であり、図8及び図9は、それぞれ第2実施形態に係る映像信号処理装置11の第1の動作例を示す説明図(数値例およびそれに対応するグラフ)であり、図10及び図11は、それぞれ第2実施形態に係る映像信号処理装置11の第2の動作例を示す説明図(数値例およびそれに対応するグラフ)である。なお、図8及び図10における数値例は、それぞれ一部を省略して示してある。また、第2実施形態に関し、以下で特に言及しない事項については、上述の第1実施形態に係る映像信号処理装置11と同様として詳細な説明を省略する。
(Second embodiment)
FIG. 7 is a block diagram showing a schematic configuration of the video
映像信号処理装置11は、量子化器31、第1フレームメモリ(記憶部)32、積分器33、差分計算器34、及び第2フレームメモリ35を備える。
The video
量子化器31は、上述の量子化器21と同様に、差分計算器34から出力された第1階調(例えば、8ビット)の映像データに基づくデータ(入力データ)を、第2階調(例えば、4ビット)の映像データに量子化して順次出力する。この量子化データは、伝送路3側(ここでは、符号化器12)に順次出力されると共に、SDRAM等の公知のメモリによって構成される第1フレームメモリ32に順次記憶される。
Similar to the
積分器33は、第1フレームメモリ32に記憶されたデータを順次積算した積分データを、差分計算器34に対して順次出力する。また、積分データは、SDRAM等の公知のメモリによって構成される第2フレームメモリ35に順次記憶され、次回の積分データを算出する際に順次読み出される。
The
差分計算器34は、カメラ2から入力される現フレームに関する8ビットの映像データと積分器33からの積分データとの差分を順次算出し、この差分データを量子化器31の入力データとして順次出力する。このような構成により、量子化器31の処理によって切り捨てられた下位4ビットの情報を、第1フレームメモリ32、積分器33、及び差分計算器34を介したフィードバックループにより後続のフレームに反映させることが可能となる。
The
図8及び図9では、第2実施形態に係る映像信号処理装置11の第1の動作例として、所定の時間間隔(例えば、1ms)で入力されるフレームの所定画素について、0~255まで設定された8ビットの映像データ(入力データ)の階調値が、変化しつつカメラ2から映像信号処理装置11に入力される場合が示されている。ただし、実際の映像データの階調値の変化は、ここに示すものに限定されず任意に変化し得る(後述する他の動作例についても同様)。
In FIGS. 8 and 9, as a first operation example of the video
ここで、量子化器31は、8ビットの映像データの階調値を、-8~7の階調値からなる4ビットの映像データに変換して順次出力する。図8において、例えば、フレームNo.1では、映像データの階調値8が入力され、この映像データの階調値8と積分値0(積分器33からの出力値)との差分(すなわち、差分計算器34による算出値)に基づく7が、送信機4からの出力値(すなわち、量子化器31からの出力値)となる。ここで、差分計算器34で算出された差分値が7を超える場合には、送信機4からの出力値は上限値7に設定され、その差分値が-8未満の場合には、送信機4からの出力値は下限値-8に設定される(以下同様)。表示デバイス6では、その送信機4からの出力値7を受信し、これを初期の輝度値0(フレームNo.0参照)に加算することにより、対象画素の表示に関して輝度値7が設定される。
Here, the
続くフレームNo.2では、映像データの階調値9が入力され、この映像データの階調値9からフレームNo.2の積分値7(すなわち、フレームNo.1の積分値0および送信機4からの出力値7の和)を減じた値に基づく2が、送信機4からの出力値となる。表示デバイス6では、その送信機4からの出力値2を受信し、これをフレームNo.1までの輝度値7(積分値)に加算することにより、対象画素の表示に関して輝度値9が設定される。
The next frame No. 2, the
続くフレームNo.3では、映像データの階調値10が入力され、この映像データの階調値10からフレームNo.3の積分値9(すなわち、フレームNo.2の積分値7および送信機4からの出力値2の和)を減じた値に基づく1が、送信機4からの出力値となる。表示デバイス6では、その送信機4からの出力値1を受信し、これをフレームNo.2までの輝度値9(積分値)に加算することにより、対象画素の表示に関して輝度値10が設定される。フレームNo.4以降についても、上述の場合と同様に、入力される映像データの階調値に基づき、積分値、送信機4からの出力値、及び表示デバイス6の輝度値がそれぞれ設定される。
The next frame No. 3, the
次に、図10及び図11では、第2実施形態に係る映像信号処理装置11の第2の動作例として、所定の時間間隔(例えば、1ms)で入力されるフレームの所定画素について、0~255まで設定された8ビットの映像データ(入力データ)の階調値が、変化しつつカメラ2から映像信号処理装置11に入力される場合が示されている。
Next, in FIGS. 10 and 11, as a second operation example of the video
ここで、量子化器31は、8ビットの映像データの階調値を、-1、1の階調値からなる1ビットの映像データに変換して順次出力する。図10において、例えば、フレームNo.1では、映像データの階調値8が入力され、この映像データの階調値8と積分値(積分器33からの出力値)との差分(すなわち、差分計算器34による算出値8)に基づく1が、送信機4からの出力値(すなわち、量子化器31からの出力値)となる。ここで、差分計算器34で算出された差分値が1を超える場合には、送信機4からの出力値は上限値1に設定され、その差分値が-1未満の場合には、送信機4からの出力値は下限値-1に設定される(以下同様)。表示デバイス6では、その送信機4からの出力値1を受信し、これを初期の輝度値0(フレームNo.0参照)に加算することにより、対象画素の表示に関して輝度値1が設定される。
Here, the
続くフレームNo.2では、映像データの階調値8が入力され、この映像データの階調値8からフレームNo.2の積分値1(すなわち、フレームNo.1の積分値0および送信機4からの出力値1の和)を減じた値(差分の値は7)に基づく1が、送信機4からの出力値となる。表示デバイス6では、その送信機4からの出力値1を受信し、これをフレームNo.1までの輝度値2(積分値)に加算することにより、対象画素の表示に関して輝度値2が設定される。
The next frame No. 2, the
続くフレームNo.3では、映像データの階調値8が入力され、この映像データの階調値8からフレームNo.3の積分値2(すなわち、フレームNo.2の積分値1および送信機4からの出力値1の和)を減じた値(差分の値は6)に基づく1が、送信機4からの出力値となる。表示デバイス6では、その送信機4からの出力値1を受信し、これをフレームNo.2までの輝度値2(積分値)に加算することにより、対象画素の表示に関して輝度値3が設定される。フレームNo.4以降についても、上述の場合と同様に、入力される映像データの階調値に基づき、積分値、送信機4からの出力値、及び表示デバイス6の輝度値がそれぞれ設定される。
The next frame No. 3, the
このように、第2実施形態に係る映像信号処理装置11は、上述の第1実施形態に係る映像信号処理装置11と同様に、カメラ2から入力された映像データの階調を量子化により下げると共に、この量子化によって排除された情報を、積分器33での積分値を介して後続のフレームに反映させる構成としたため、比較的高いフレームレートを有する映像を伝送する場合に、表示デバイス6における表示映像の品質低下を抑制しつつ(すなわち、図9、図11に示すように、映像データの階調値を表示デバイス6の輝度値と良好に一致させて、視覚的階調を回復しつつ)、映像の伝送量および演算量の増大を抑制することが可能となる。
As described above, the video
また、第2実施形態に係る映像信号処理装置11による動作は、従来の音声信号の符号化に用いられるΔ(デルタ)変調に類似するが、音声信号に関するΔ変調の処理は、音声信号の量子化において発生し得るエイリアスノイズを低減して音質を向上させるためのものであり、映像信号処理装置11による映像の処理とは、目的や効果を異にするものである。
Further, the operation of the video
図12、図13、及び図14は、それぞれ図7に示した第2実施形態に係る映像信号処理装置11の第1、第2、及び第3変形例を示すブロック図であり、図15及び図16は、第3変形例に係る映像信号処理装置11の動作例(数値例およびそれに対応するグラフ)を示す説明図である。図12~図14では、図7に示した映像信号処理装置11と同様の構成については、同一の符号が付してある。また、第1~第3変形例に関し、以下で特に言及しない事項については、上述の第2実施形態に係る映像信号処理装置11と同様として詳細な説明を省略する。
12, 13 and 14 are block diagrams respectively showing first, second and third modifications of the video
(第2実施形態の第1変形例)
上述の第1実施形態の場合と同様に、第2実施形態の第1変形例に係る映像信号処理装置11では、映像中に存在し得る動く物体の影響を排除するために、図12に示すように、動き予測部36、第3フレームメモリ37、及び動き補償部38を更に備える。
(First Modification of Second Embodiment)
As in the case of the above-described first embodiment, in the video
動き予測部36は、カメラ2から入力される各フレームの映像データを第3フレームメモリ37に順次記憶すると共に、現フレームと参照フレームとの映像データの差分から、ブロックマッチング法等の公知の手法に基づき各画素に関する動きベクトルを算出する。
The
動き補償部38は、動き予測部36で算出された動きベクトルの情報を取得し、第2フレームメモリ35から積分データを読み出す場合に、その動きベクトルの情報(動き予測)に基づき、各画素の読出し位置を補償する。
The
このような構成により、映像信号処理装置11では、映像中に動く物体が存在する場合でも、量子化器31における量子化によって排除された情報(下位のビット)を、後続のフレームに適切に反映させることが可能となる。
With such a configuration, in the video
(第2実施形態の第2変形例)
また、上述の第1実施形態の場合と同様に、第2変形例に係る映像信号処理装置11では、図13に示すように、符号化器12が内部に設けられ(すなわち、圧縮符号化が映像信号処理装置11の処理として実行され)、更に、符号化器12によって圧縮符号化された映像データを復号化する復号化器39を備える。
(Second modification of the second embodiment)
Further, as in the case of the first embodiment described above, in the video
このような構成により、非可逆的な圧縮符号化によって生じるノイズは、符号化器12および復号化器39を介して量子化データと共に第1フレームメモリ32に記憶されるため、送信機4から送信される映像データにおいて非可逆的な圧縮符号化によって生じるノイズを抑制することが可能となる。
With such a configuration, the noise generated by the irreversible compression encoding is stored in the
(第2実施形態の第3変形例)
第2実施形態の第3変形例に係る映像信号処理装置11では、量子化器31は、非線形量子化を実行し、また、図14に示すように、量子化器31からの出力を逆量子化する逆量子化部51を更に備える。逆量子化部51によって逆量子化された量子化器31からの出力は、上述の第2実施形態に係る映像信号処理装置11と同様に、第1フレームメモリ32に順次記憶される。
(Third Modification of Second Embodiment)
In the video
また、この第3変形例に係る映像信号処理装置11を備えた映像表示システム1では、受信機5には、上述のような送信機4からの映像データを順次積算(積分)する機能の他に、その積算される前の映像データを逆量子化するための逆量子化部51と同様の機能が設けられる。
In addition, in the
図15では、第2実施形態の第3変形例に係る映像信号処理装置11の動作例として、所定の時間間隔(例えば、1ms)で入力されるフレームの所定画素について、0~255まで設定された8ビットの映像データ(入力データ)の階調値が、変化しつつカメラ2から映像信号処理装置11に入力される場合が示されている。
In FIG. 15, as an operation example of the video
ここで、量子化器31は、非線形量子化を実行することにより、8ビットの映像データの階調値を、-5~5の階調値からなる4ビットの映像データに変換して順次出力する。図15において、例えば、フレームNo.1では、映像データの階調値10が入力され、この映像データの階調値10とフレームNo.1での積分値0(積分器33からの出力値)との差分(すなわち、差分計算器34による算出値)に基づく差分値10(すなわち、差分計算器34による算出値)が量子化器31に入力される。そこで、量子化器31では、その差分値が正の場合には、2を底とする差分値の対数(ただし、1未満の数値が生じた場合には切り捨てる(以下同様))を出力し、また、その差分値が負の場合には、2を底とする差分値の絶対値の対数(ただし、1未満の数値が生じた場合には切り捨てる(以下同様))に-1を乗じた値を出力し、また、差分値が0の場合には、0を出力する(以下同様)。これにより、フレームNo.1では、送信機4からの出力値(すなわち、量子化器31からの出力値)は3となる。ここで、量子化器31からの出力値を「Q」とすると、Qが0以上の場合には、逆量子化部51は、2のQ乗を算出することにより逆量子化を行い、また、Qが負の場合には、逆量子化部51は、2の-Q乗を算出することにより逆量子化を行う(以下同様)。これにより、フレームNo.1では、逆量子化部51からの出力値は8(2の3乗)となる。また、フレームNo.1に関する送信機4からの出力値を受信した受信機5では、逆量子化部51と同様の逆量子化値8が算出され、さらに、表示デバイス6では、その逆量子化値8を初期の輝度値0(フレームNo.0参照)に加算することにより、対象画素の表示に関して輝度値8が設定される。
Here, the
続くフレームNo.2では、映像データの階調値17が入力され、この映像データの階調値17とフレームNo.2での積分値8(フレームNo.1の積分値0と逆量子化値8との和)との差分に基づく差分値9が量子化器31に入力される。これにより、フレームNo.2では、送信機4(量子化器31)からの出力値は3となる。また、フレームNo.2では、逆量子化部51からの出力値は8となる。さらに、フレームNo.2に関し、表示デバイス6では、その逆量子化値8をフレームNo.1までの輝度値8(積分値)に加算することにより、対象画素の表示に関して輝度値16が設定される。
The next frame No. 2, the
続くフレームNo.3では、映像データの階調値28が入力され、この映像データの階調値28とフレームNo.3での積分値16(フレームNo.2の積分値8と逆量子化値8との和)との差分に基づく差分値12が量子化器31に入力される。これにより、フレームNo.3では、送信機4(量子化器31)からの出力値は3となる。また、フレームNo.3では、逆量子化部51からの出力値は8となる。さらに、フレームNo.3に関し、表示デバイス6では、その逆量子化値8をフレームNo.2までの輝度値16に加算することにより、対象画素の表示に関して輝度値24が設定される。フレームNo.4以降についても、上述の場合と同様に、入力される映像データの階調値に基づき、積分値、差分、送信機4からの出力値、及び表示デバイス6の輝度値がそれぞれ設定される。
The next frame No. 3, the
このように、第2実施形態の第3変形例に係る映像信号処理装置11は、上述の第1実施形態に係る映像信号処理装置11と同様に、カメラ2から入力された映像データの階調を量子化により下げると共に、この量子化によって排除された情報を、後続のフレームに反映させる構成としたため、比較的高いフレームレートを有する映像を伝送する場合に、表示デバイス6における表示映像の品質低下を抑制しつつ(すなわち、図16に示すように、映像データの階調値を表示デバイス6の輝度値と良好に一致させて、視覚的階調を回復しつつ)、映像の伝送量および演算量の増大を抑制することが可能となる。特に、第2実施形態の第3変形例に係る映像信号処理装置11では、非線形量子化を実行するため、カメラ2から入力された映像データの変動が比較的大きい場合(高い周波数を有する場合)にも、上述のような線形量子化を実行する場合と比べて円滑な処理が可能となるという利点がある。
In this way, the video
(第3実施形態)
図17は、本開示の第3実施形態に係る映像表示システム1における映像信号処理装置11の概略構成を示すブロック図であり、図18及び図19は、それぞれ第3実施形態に係る映像信号処理装置11の第1及び第2の動作例を示す説明図である。第3実施形態に関し、以下で特に言及しない事項については、上述の第1または第2実施形態に係る映像信号処理装置11と同様として詳細な説明を省略する。
(Third embodiment)
FIG. 17 is a block diagram showing a schematic configuration of the video
映像信号処理装置11は、パターン生成部41、加算器42、及び量子化器43を備える。
The video
パターン生成部41は、カメラ2から入力される第1階調の映像データよりも小さいビット数(例えば、4ビット)を有する変動値データを統計的または確率的に順次生成し、加算器42に対して出力する。このような変動値データは、例えば、乱数や三角波を利用して生成することができる。
The
加算器42は、カメラ2から順次入力される現フレームに関する8ビットの映像データと変動値データを加算したデータを生成し、これを量子化器43に対して出力する。
The
量子化器43は、上述の量子化器21と同様に、加算器42から出力されたデータを第2階調(例えば、4ビット)の映像データに量子化することにより、階調を下げたデータ(量子化データ)を生成することができる。
The
図18では、第3実施形態に係る映像信号処理装置11の第1の動作例として、0~240まで設定された8ビットの映像データ(入力データ)の各階調値が、所定の時間間隔(例えば、1ms)で、カメラ2から映像信号処理装置11に入力される場合が示されている。このとき、パターン生成部41は、三角波を利用して変動値0~15(変動値データ)を順次生成し、これにより、加算器42は、8ビットの映像データとその変動値を加算したデータを生成し、これを量子化器43に対して出力する。また、量子化器43は、加算器42からの8ビットの映像データの階調値を、0~15の階調値からなる4ビットの映像データに変換して順次出力する。
In FIG. 18, as a first operation example of the video
変動値0に関し、8ビットの階調値240は、それに変動値0を加算した値を16で除して求められる4ビットの階調値15(ただし、1未満の数値が生じた場合には切り捨てる(以下同様))に変換され、8ビットの階調値239は、それに変動値0を加算した値を16で除して求められる4ビットの階調値14に変換され、それ以降も同様に、8ビットの階調値が4ビットの階調値に変換される。また、変動値1に関し、映像データの8ビットの階調値(映像の輝度値)240は、それに変動値1を加算した値を16で除して求められる4ビットの階調値15に変換され、8ビットの階調値239は、それに変動値1を加算した値を16で除して求められる4ビットの階調値14に変換され、それ以降も同様に、8ビットの階調値が4ビットの階調値に変換される。また、変動値2~15に関しても同様に、映像データの8ビットの階調値から4ビットの階調値14に変換される。
Regarding the
図19では、第3実施形態に係る映像信号処理装置11の第2の動作例として、0~240まで設定された8ビットの映像データ(入力データ)の各階調値が、所定の時間間隔(例えば、1ms)で、カメラ2から映像信号処理装置11に入力される場合が示されている。このとき、パターン生成部41は、乱数を利用して変動値0~15(変動値データ)を順次生成し、これにより、加算器42は、8ビットの映像データとその変動値を加算したデータを生成し、これを量子化器43に対して出力する。また、量子化器43は、加算器42からの8ビットの映像データの階調値を、0~15の階調値からなる4ビットの映像データに変換して順次出力する。
In FIG. 19, as a second operation example of the video
変動値0に関し、8ビットの階調値240は、それに変動値0を加算した値を16で除して求められる4ビットの階調値15(ただし、1未満の数値が生じた場合には切り捨てる(以下同様))に変換され、8ビットの階調値239は、それに変動値0を加算した値を16で除して求められる4ビットの階調値14に変換され、それ以降も同様に、8ビットの階調値が4ビットの階調値に変換される。また、変動値15に関し、映像データの8ビットの階調値(映像の輝度値)240は、それに変動値15を加算した値を16で除して求められる4ビットの階調値15に変換され、8ビットの階調値239は、それに変動値15を加算した値を16で除して求められる4ビットの階調値15に変換され、それ以降も同様に、8ビットの階調値が4ビットの階調値に変換される。また、他の変動値についても同様に、映像データの8ビットの階調値から4ビットの階調値14に変換される。
Regarding the
ここで、8ビットの階調値を「元の階調値」、4ビットの階調値を「変動階調値」と呼ぶものとする。或るフレームにおいて、例えば元の階調値101を出力する場合には、変動階調値6を11回出力し、変動階調値7を5回出力する。即ち、101=6×11+7×5となり、4ビット階調を出力するにもかかわらず、16フレーム内において、変動階調値を必要に応じて変動させることにより、あたかも8ビット階調が表示されたように見せることができる。
Here, the 8-bit gradation value is called the "original gradation value", and the 4-bit gradation value is called the "varying gradation value". In a certain frame, for example, when outputting the
このような構成により、第3実施形態に係る映像信号処理装置11は、カメラ2から入力された映像データの階調を量子化により下げると共に、この量子化によって排除される情報を代替する変動値データとして反映させる構成としたため、比較的高いフレームレートを有する映像を伝送する場合に、表示映像の品質低下を抑制しつつ、映像の伝送量および演算量の増大を抑制することが可能となる。
With such a configuration, the video
以上、本開示を特定の実施の形態に基づいて説明したが、これらの実施の形態はあくまでも例示であって、本開示はこれらの実施の形態によって限定されるものではない。なお、上記実施の形態に示した本開示に係る映像信号処理装置、映像表示システム、及び映像信号処理方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。 As described above, the present disclosure has been described based on specific embodiments, but these embodiments are merely examples, and the present disclosure is not limited by these embodiments. Note that each component of the video signal processing device, video display system, and video signal processing method according to the present disclosure shown in the above embodiments is not necessarily essential, and at least as long as it does not depart from the scope of the present invention. It is possible to select appropriately.
本開示に係る映像信号処理装置、映像表示システム、及び映像信号処理方法は、比較的高いフレームレートを有する映像(例えば、フレームレートが60fpsを超える映像)を伝送する場合に、高いフレームレートを生かした低遅延の伝送を維持しつつ、表示映像の品質低下を抑制して、映像の伝送量および演算量の増大を抑制することを可能とし、比較的高いフレームレートを有する映像に好適な映像信号処理装置、映像表示システム、及び映像信号処理方法などとして有用である。 The video signal processing device, video display system, and video signal processing method according to the present disclosure utilize the high frame rate when transmitting video with a relatively high frame rate (for example, video with a frame rate exceeding 60 fps). A video signal suitable for video with a relatively high frame rate, capable of suppressing deterioration in the quality of displayed video and suppressing an increase in the amount of video transmission and computation while maintaining low-delay transmission. It is useful as a processing device, a video display system, a video signal processing method, and the like.
1 :映像表示システム
2 :カメラ(撮像装置)
3 :伝送路
4 :送信機
5 :受信機
6 :表示デバイス
11 :映像信号処理装置
12 :符号化器
13 :復号回路
21 :量子化器
22 :第1フレームメモリ(記憶部)
23 :差分計算器
24 :積分器
25 :第2フレームメモリ
26 :動き予測部
27 :第3フレームメモリ
28 :動き補償部
29 :復号化器
31 :量子化器
32 :第1フレームメモリ(記憶部)
33 :積分器
34 :差分計算器
35 :第2フレームメモリ
36 :動き予測部
37 :第3フレームメモリ
38 :動き補償部
39 :復号化器
41 :パターン生成部
42 :加算器
43 :量子化器
51 :逆量子化部
1: Video display system 2: Camera (imaging device)
3: Transmission line 4: Transmitter 5: Receiver 6: Display device 11: Video signal processing device 12: Encoder 13: Decoding circuit 21: Quantizer 22: First frame memory (storage unit)
23: difference calculator 24: integrator 25: second frame memory 26: motion prediction unit 27: third frame memory 28: motion compensation unit 29: decoder 31: quantizer 32: first frame memory (storage unit )
33: Integrator 34: Difference calculator 35: Second frame memory 36: Motion prediction unit 37: Third frame memory 38: Motion compensation unit 39: Decoder 41: Pattern generator 42: Adder 43: Quantizer 51: Inverse quantization unit
Claims (6)
前記第1の映像データを量子化した量子化データを出力する量子化器と、
前記量子化器から出力される前記量子化データを記憶する記憶部と、
前記第1の映像データに続けて入力される第2の映像データと前記記憶部に記憶された量子化データとの差分を算出する差分計算器と、
前記差分計算器から出力される前記差分を積算した積分データを出力する積分器と、を備え、
さらに、前記積分器は前記第2の映像データの出力値と前記積分データの出力値とを加えた出力データを生成し、前記量子化器は前記第2の映像データが入力されると前記積分器が生成した出力データを量子化することを特徴とする映像信号処理装置。 A video signal processing device for outputting video data having a smaller number of bits than the first number of bits by quantizing input first video data having the first number of bits,
a quantizer that outputs quantized data obtained by quantizing the first video data;
a storage unit that stores the quantized data output from the quantizer;
a difference calculator for calculating a difference between second video data input following the first video data and quantized data stored in the storage unit;
an integrator that outputs integrated data obtained by integrating the differences output from the difference calculator;
Further, the integrator generates output data by adding the output value of the second video data and the output value of the integration data, and the quantizer receives the second video data and integrates the data. A video signal processing device characterized by quantizing output data generated by a device.
前記動きベクトルに基づき、前記積分器における前記積分データを補正する動き補償部と、
を更に備えたことを特徴とする請求項1に記載の映像信号処理装置。 a motion prediction unit that calculates a motion vector between the first video data and video data before the first video data;
a motion compensation unit that corrects the integrated data in the integrator based on the motion vector;
2. The video signal processing apparatus according to claim 1, further comprising:
前記符号化器から出力される前記量子化データを復号化する復号化器と、
を更に備え、
前記記憶部は、前記復号化器によって復号化された前記量子化データを順次記憶することを特徴とする請求項1に記載の映像信号処理装置。 an encoder that compresses and encodes the quantized data output from the quantizer;
a decoder for decoding the quantized data output from the encoder;
further comprising
2. The video signal processing apparatus according to claim 1, wherein the storage section sequentially stores the quantized data decoded by the decoder.
前記第1のビット数を有する前記第1の映像データを生成する撮像装置と、
前記映像信号処理装置から出力された映像データを受信し、この受信した前記映像データを復号する復号回路と、
前記復号回路によって復号された映像データに基づく映像を表示する表示装置と、
を備えたことを特徴とする映像表示システム。 The video signal processing device according to claim 1;
an imaging device that generates the first video data having the first number of bits;
a decoding circuit that receives video data output from the video signal processing device and decodes the received video data;
a display device for displaying an image based on the image data decoded by the decoding circuit;
A video display system comprising:
前記第1の映像データに基づく入力データを、前記第2のビット数を有する映像データに量子化および出力し、
前記第2のビット数を有する映像データに量子化された量子化データを記憶し、
前記第1の映像データに続けて入力される第2の映像データと前記記憶された量子化データとの差分を算出し、
前記差分を積算した積分データを生成および出力し、
前記第2の映像データの出力値と前記積分データの出力値とを加えた出力データを生成し、前記第2の映像データが入力されると前記第2の映像データの出力値と前記積分データの出力値とを加えた出力データを量子化することを特徴とする映像信号処理方法。 A video signal processing method for outputting video data having a second number of bits smaller than the first number of bits by quantizing input first video data having a first number of bits, ,
quantizing and outputting input data based on the first video data into video data having the second number of bits;
storing quantized data obtained by quantizing video data having the second number of bits;
calculating a difference between second video data that is input following the first video data and the stored quantized data;
generating and outputting integral data obtained by accumulating the difference;
output data is generated by adding the output value of the second video data and the output value of the integral data, and when the second video data is input, the output value of the second video data and the integral data are generated; A video signal processing method characterized by quantizing output data obtained by adding an output value of .
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/652,841 US11245901B2 (en) | 2017-10-04 | 2018-09-26 | Video signal processing device, video display system, and video signal processing method |
PCT/JP2018/035562 WO2019069753A1 (en) | 2017-10-04 | 2018-09-26 | Video signal processing device, video display system, and video signal processing method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017194022 | 2017-10-04 | ||
JP2017194022 | 2017-10-04 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019068394A JP2019068394A (en) | 2019-04-25 |
JP7186374B2 true JP7186374B2 (en) | 2022-12-09 |
Family
ID=66340133
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018020309A Active JP7186374B2 (en) | 2017-10-04 | 2018-02-07 | VIDEO SIGNAL PROCESSING DEVICE, VIDEO DISPLAY SYSTEM, AND VIDEO SIGNAL PROCESSING METHOD |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7186374B2 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3462686A (en) | 1966-02-04 | 1969-08-19 | Westinghouse Electric Corp | Signal processing and reconstruction apparatus utilizing constant area quantization |
US4411001A (en) | 1980-10-30 | 1983-10-18 | U.S. Philips Corporation | Differential pulse code modulation transmission system |
US5258928A (en) | 1990-05-03 | 1993-11-02 | Rca Thomson Licensing Corporation | Parts efficient memory based functional circuit having selectable transfer characteristics |
WO1998026600A1 (en) | 1996-12-10 | 1998-06-18 | Thomson Consumer Electronics, Inc. | Data efficient quantization table for a digital video signal processor |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5258926A (en) * | 1988-08-08 | 1993-11-02 | Osterreichesches Forschungszentrum Seibersdorf Gmbh | Method of measuring radiation for a radiation measuring device |
-
2018
- 2018-02-07 JP JP2018020309A patent/JP7186374B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3462686A (en) | 1966-02-04 | 1969-08-19 | Westinghouse Electric Corp | Signal processing and reconstruction apparatus utilizing constant area quantization |
US4411001A (en) | 1980-10-30 | 1983-10-18 | U.S. Philips Corporation | Differential pulse code modulation transmission system |
US5258928A (en) | 1990-05-03 | 1993-11-02 | Rca Thomson Licensing Corporation | Parts efficient memory based functional circuit having selectable transfer characteristics |
WO1998026600A1 (en) | 1996-12-10 | 1998-06-18 | Thomson Consumer Electronics, Inc. | Data efficient quantization table for a digital video signal processor |
Also Published As
Publication number | Publication date |
---|---|
JP2019068394A (en) | 2019-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8233060B2 (en) | Image data processing apparatus, image data processing method, and program | |
KR102185803B1 (en) | Conditional concealment of lost video data | |
JP6729170B2 (en) | Image processing system and image decoding device | |
US20110150076A1 (en) | Rate control for two-pass encoder using adaptive quantization parameters | |
JPH0746596A (en) | Intrablock dc conversion coefficient quantization method | |
JP2007081474A (en) | Image coding apparatus and method | |
JP5133290B2 (en) | Video encoding apparatus and decoding apparatus | |
JP2004336103A (en) | Image information compression apparatus | |
TWI573443B (en) | Video coding using a saliency map | |
US5515105A (en) | Video signal coder using variance controlled quantization | |
JP5149427B2 (en) | Encoding device, decoding device, codec decoding system, encoding method, and decoding method | |
JP7445904B2 (en) | Video output device, video output method, and video output system | |
JP7186374B2 (en) | VIDEO SIGNAL PROCESSING DEVICE, VIDEO DISPLAY SYSTEM, AND VIDEO SIGNAL PROCESSING METHOD | |
Boitard et al. | Impact of temporal coherence-based tone mapping on video compression | |
US8442338B2 (en) | Visually optimized quantization | |
JP7113282B2 (en) | Video display system and video display method | |
US11245901B2 (en) | Video signal processing device, video display system, and video signal processing method | |
JP2009055236A (en) | Video coder and method | |
KR100387229B1 (en) | Apparatus for encoding images | |
JP3497664B2 (en) | Stereoscopic image coding device | |
Cierniak et al. | Video compression algorithm based on neural networks | |
JP2016082395A (en) | Encoder, coding method and program | |
US8929433B2 (en) | Systems, methods, and apparatus for improving display of compressed video data | |
JP2023524800A (en) | Determining Parameter Sets for Tonemapping Curves | |
JPH0998433A (en) | Device and method for transmitting image signal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220204 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220315 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220513 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220621 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220914 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220914 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20221005 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20221011 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221025 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221117 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7186374 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |