JP6694902B2 - 映像符号化装置及び映像符号化方法 - Google Patents
映像符号化装置及び映像符号化方法 Download PDFInfo
- Publication number
- JP6694902B2 JP6694902B2 JP2018034495A JP2018034495A JP6694902B2 JP 6694902 B2 JP6694902 B2 JP 6694902B2 JP 2018034495 A JP2018034495 A JP 2018034495A JP 2018034495 A JP2018034495 A JP 2018034495A JP 6694902 B2 JP6694902 B2 JP 6694902B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- compressed data
- compression
- angle
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 38
- 238000007906 compression Methods 0.000 claims description 226
- 230000006835 compression Effects 0.000 claims description 224
- 238000012545 processing Methods 0.000 claims description 153
- 238000013139 quantization Methods 0.000 description 35
- 238000010586 diagram Methods 0.000 description 22
- 238000003384 imaging method Methods 0.000 description 21
- 238000004364 calculation method Methods 0.000 description 17
- 238000006243 chemical reaction Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 230000033001 locomotion Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 230000007423 decrease Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- DSSYKIVIOFKYAU-XCBNKYQSSA-N (R)-camphor Chemical compound C1C[C@@]2(C)C(=O)C[C@@H]1C2(C)C DSSYKIVIOFKYAU-XCBNKYQSSA-N 0.000 description 1
- 241000723346 Cinnamomum camphora Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 229960000846 camphor Drugs 0.000 description 1
- 229930008380 camphor Natural products 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
- H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
従来、映像符号化装置で用いられる圧縮処理としては、符号化データを復号した際の歪に基づいて、量子化の程度を制御する方法があった。この方法では、撮像対象(絵柄)に応じて圧縮後のデータ量が増減する。
一方、圧縮後のデータ量が一定量となるように量子化を制御する圧縮処理もある。この方法では、絵柄によって復号後の画質が変化する。
従来の映像符号化装置の構成について図14を用いて説明する。図14は、従来の映像符号化装置の符号化部の構成ブロック図である。
図14に示すように、従来の映像符号化装置の符号化部(従来の符号化部)は、制御部51と、I(Intra-coded Picture)処理部52と、P(Predictive-coded Picture)処理部53と、I/P選択部54と、バッファメモリ55と、復号部56とを備えている。
制御部51は、各部に制御信号を出力し、圧縮の強さを調整して圧縮データ(S−CD)のデータ量を制御する。制御部51の処理については後述する。
I処理部52は、入力された映像信号(SI−VID)から、Iフレームとして圧縮データ(I−CD)を生成する処理を行う。Iフレームは、前後のフレームからの予測(フレーム間予測)を用いずに符号化されるフレームである。
復号部56は、圧縮データ(S−CD)を復号して、復号データ(V−DEM)を出力する。
圧縮データ量及び復号後の画質が適切となるよう、Iフレームの出力間隔(例えば2秒に1回)が設定されている。
I処理部52及びP処理部53は、comp制御信号に基づいて、量子化の粗さを変化させることで、発生符号量を増減させる。
このようにして、制御部51は、バッファメモリ55に蓄積されたデータ量(SUMの値)の大小に基づいて、comp制御信号によって量子化の粗さを調整し、新たな発生データ量を制御するものである。
従来の映像符号化装置の動作について簡単に説明する。
カメラから入力された映像信号(SI−VID)は、映像符号化装置の符号化部に入力され、I処理部52とP処理部53とに入力される。
I処理部52では、カメラからの映像信号(SI−VID)からIフレームの圧縮データ(I−CD)が生成され、P処理部53では、映像信号(SI−VID)と復号部56からの復号信号(V−DEM)との差分から成るPフレームの圧縮データ(P−CD)が生成される。
その際、I処理部52及びP処理部53では、圧縮データ量が適切となるよう、制御部51からのcomp制御信号に従って量子化を行う。
このようにして、従来の映像符号化装置の動作が行われるものである。
ところで、屋外で行われるロードレース等の映像では、背景に空が含まれる絵柄が度々出現する。
空の映像は、距離が遠く動きが少ないという特徴があり、また、青一面の背景にところどころ雲が浮かぶ、又は一面に灰色の雲が広がっている、といった画像で、絵柄も粗く単純なため、少ない圧縮データ量でも復号再現が可能である。
このように、ロードレース等の映像は、変化が小さく、少ない圧縮データ量でも復号可能な領域と、変化が大きく、十分な圧縮データ量が必要な領域とが混在している。
尚、映像符号化装置の従来技術としては、特開2016−184912号公報「符号化装置および符号化方法」(特許文献1)がある。
特許文献1には、符号化装置において、カメラアングルおよびレンズのズーム倍率の状態情報に応じて、検出された動きに重みづけを行って動きデータMvを生成し、SUMに基づいて、I処理によるデータI−CDか、P処理によるデータP−CDか、動きデータMvを選択して圧縮データとして出力することが記載されている。
また、本発明は、上記映像符号化装置において、制御部が、基準点を画面中央の点として、画面中央の点からの水平方向のずれ量と垂直方向のずれ量を算出して空エリア頂点を決定し、水平方向の画素数をKh、垂直方向のライン数をKvとした場合に、水平方向のずれHofを、Hof=Kh/2×tan(アングル角)/tan(水平画角/2)として算出し、垂直方向のずれVofを、Vof=Kv/2×tan(チルト角)/tan(垂直画角/2)として算出することを特徴としている。
また、本発明によれば、制御部が、基準点を画面中央の点として、水平方向のずれ量と垂直方向のずれ量を算出して空エリア頂点を決定し、水平方向の画素数をKh、垂直方向のライン数をKvとした場合に、水平方向のずれHofを、Hof=Kh/2×tan(アングル角)/tan(水平画角/2)として算出し、垂直方向のずれVofを、Vof=Kv/2×tan(チルト角)/tan(垂直画角/2)として算出する上記映像符号化装置としているので、簡易な演算で強圧縮エリアを算出することができる効果がある。
[実施の形態の概要]
本発明の実施の形態に係る映像符号化装置(本符号化装置)及び映像符号化方法(本符号化方法)は、制御部が、カメラのチルト、アングル、ズームといった角度の情報に基づいて、空などの変化の小さい領域を強圧縮エリアとして検出し、当該検出された領域については強く圧縮して圧縮データ量を減少させると共に、変化の大きい他の領域については圧縮の程度を弱めて圧縮データ量を増加させるようにしており、伝送データ量の制約があっても、圧縮データ量を有効に割り付けて目的とする撮像対象物を含む領域の画質を向上させることができるものである。
尚、弱圧縮テーブルは、通常の圧縮テーブルとしてもよい。
図1は、本発明の実施の形態に係る映像符号化装置の概略構成ブロック図である。
本符号化装置は、例えば、中継車に搭載したカメラからの映像を符号化して伝送するFPUの一部として構成される。
図1に示すように、本符号化装置は符号化部20を備え、符号化部20は、カメラ10と、角度検出部11に接続されている。
角度検出部11は、カメラ10の角度に関する情報を取得して角度情報として出力する。角度情報には、アングル(An)、チルト(Ti)、カメラ画角(Zm;ズーム)が含まれる。
ここで、アングルは水平方向の角度、チルトは垂直方向の角度、カメラ画角はズーム範囲を示す。
符号化部20は、制御部21と、ISW処理部22と、PSW処理部23と、I/P選択部24と、バッファメモリ25と、復号部26とを備えている。
これらの構成部分の内、I/P選択部24、バッファメモリ25、復号部26は、図11に示した従来の映像符号化装置におけるI/P選択部54、バッファメモリ55、復号部56とそれぞれ同じ構成及び動作であり、詳細な説明は省略する。
制御部21から出力される制御信号としては、ISW処理部22及びPSW処理部23に出力されるpart制御信号及びcomp制御信号、I/P選択部24に出力されるI/P制御信号がある。part制御信号は、符号化対象の領域が強く圧縮するエリアかどうかを指示する制御信号である。
制御部51の動作及び各制御信号については後述する。
PSW処理部23は、映像信号(SI−VID)と復号部26からの復号信号(V−DEM)からPフレームの圧縮データを生成するものであり、従来のP処理部とは構成及び動作が一部異なっている。
本符号化装置の特徴として、ISW処理部22及びPSW処理部23は、制御部21からのpart制御信号及びcomp制御信号に基づいて、領域毎に圧縮の強さを可変するようになっている。
ISW処理部22、PSW処理部23は、それぞれ、請求項に記載したI処理部、P処理部に相当している。ISW処理部22、PSW処理部23の具体的な構成及び動作については後述する。
本符号化装置の動作について説明する前に、本符号化装置における圧縮制御の概要について図2〜図4を用いて簡単に説明する。
図2は、本装置における圧縮制御の概要を示す説明図である。
図2(a)に示すように、走者の正面から撮影した画像においては、(b)に示す領域が空の映像となっている。本符号化装置では、この空の領域について圧縮データの量を低減し、その分、走者等のメインの撮像対象物を含む近距離や中距離の領域の圧縮データの量を増加させ、画質の改善を図るようにしている。
強圧縮エリアの算出方法については後述する。
図2(c)に示すように、カメラのアングル(水平方向の角度)は、0(ゼロ)°であり、正面を撮影している。また、図2(d)に示すように、カメラのチルト(垂直方向の角度)も0°であり、撮像面は垂直になっている。
つまり、図2(a)(b)は、基準状態(アングル=0°、チルト=0°)における画像及び空の領域を示している。
図3では、(c)(d)に示すように、カメラの向きが、アングル=0°,チルト=−10°の状態を示している。つまり、カメラが水平方向から10°下方向を向いた状態である。
この状態では、(a)のような映像が撮影され、(b)に示すように、空の領域は図2に比べて狭くなる。
図4では、(c)(d)に示すように、カメラの向きが、アングル=10°,チルト=0の状態を示している。つまり、カメラが正面から10°左方向を向いた状態である。
この状態では、(a)のように走者が画面右側に寄った映像が撮影され、(b)に示すように、空の領域は左右非対称の形状となる。
図2〜図4においては、ズームは一定としている。
本符号化装置では、このことを利用して、動きの小さい空のエリアを強圧縮エリアとして判定し、その部分の圧縮を強めに行うものである。更に、強圧縮エリア以外の領域(弱圧縮エリア)の圧縮を弱めて、目的とする撮像対象物の画質を向上させるようにしている。
本符号化装置の動作について簡単に説明する。
本符号化装置の基本的な動作は、図14に示した従来の映像符号化装置の動作と同様であるが、カメラの角度情報に基づく圧縮条件の制御を行う点が従来とは異なっている。
カメラ10で撮影された映像信号(SI−VID)は、本符号化装置の符号化部20に入力される。同様に、角度検出部11で検出された角度情報(An,Ti,Zm)を含む角度信号も、符号化部20に入力される。
また、制御部21が、SUMの値を監視しながら、データ量に余裕があると判断すると、空の領域以外の部分(弱圧縮エリア)の圧縮率を低減して、より多くの符号化データを発生させるよう制御する。
これらの制御については後述する。
ここで、各制御信号について説明する。
[part制御信号]
part制御信号は、本符号化装置の特徴であり、圧縮処理を施す領域(例えば8×8画素領域)が強圧縮エリアであるか否かを示す信号(エリア指示制御信号)である。ここでは、当該領域が、空の領域か、それ以外の領域かを示す信号としている。具体的には、制御部21が、角度情報に基づいて算出した強圧縮エリアに基づいて、圧縮処理を施す領域が空か否かを示すpart信号を出力する。
comp制御信号は、従来と同様に量子化の程度を制御する信号であるが、本符号化装置では、SUMの値に基づく制御を、更に強圧縮エリアか否かによって調整して、量子化の粗さ、すなわちバッファメモリ25に入力されるS−CDデータ量を可変するものである。
また、強圧縮エリア以外の領域(弱圧縮エリア)については、SUMの値が目標データ量より十分小さい場合には、comp制御信号により量子化のしきい値を下げて、圧縮データ量を増やす。これにより、目的の撮像対象が含まれる領域の画質を向上させることができるものである。
SUMの値が目標データ量を超えた場合には、従来と同様に、弱圧縮エリアについてもしきい値を上げて、圧縮データ量を低減させる。
そして、ISW処理部22及びPSW処理部23は、part制御信号、comp制御信号に基づいた圧縮処理を行う。ISW処理部22及びPSW処理部23の処理については後述する。
また、I/P選択信号は、I/P選択部24に対して、ISW処理部22からのIフレームと、PSW処理部23からのPフレームのいずれかを選択して出力させる信号であり、本符号化装置では、強圧縮エリアであれば、Iフレームを選択する間隔を大きくするよう制御するものである。Iフレームの頻度が低減することで、圧縮データ量を低減できる。
例えば、制御部21は、I/P選択信号によって、通常領域(弱圧縮エリア)では2秒に1回程度の割合でIフレームを選択させるが、強圧縮エリアの領域の場合には10秒に1回程度とする。
次に、本符号化装置のISW処理部22の構成について図5を用いて説明する。図5は、本符号化装置のISW処理部22の構成ブロック図である。
図5に示すように、本符号化装置のISW処理部22は、DCT(Discrete Cosine Transfer;離散コサイン変換)変換部31と、QSテーブル32と、QWテーブル33と、S/W選択部34と、量子化部35と、ハフマン符号器36とを備えている。
DCT変換部31は、入力された映像信号について、例えば8×8画素ブロック毎にDCT変換を行って、周波数成分(DCT係数)に変換する。
QSテーブル32は、強い圧縮を行って高周波成分を低減する強圧縮テーブルであり、高周波成分が低減されたDCT係数Isを出力する。
QWテーブル33は、高周波成分が残りやすい、QSテーブル32より弱い圧縮を行う弱圧縮テーブルであり、高周波成分がある程度残ったDCT係数Iwを出力する。ここで、弱圧縮テーブルを従来と同様の通常の圧縮テーブルとしてもよい。
圧縮テーブルについては後述する。
具体的には、S/W選択部34は、part制御信号によって強圧縮エリアである旨指示されると、QSテーブル32からのDCT係数Isを選択して、選択された係数Ikとして出力する。
また、S/W選択部34は、part制御信号によって強圧縮エリアではない(弱圧縮エリアである)と指示されると、QWテーブル33からのDCT係数Iwを選択して、選択された係数Ikとして出力する。
具体的には、量子化部35は、選択された係数Ikについて、設定されたしきい値に基づいて切り捨て処理を行うものであり、本符号化装置では、制御部21からのcomp制御信号に基づいて切り捨てしきい値を切り替えて設定し、切り捨て処理が施された係数(量子化後の係数)Ikqを出力する。
尚、comp制御信号は、しきい値の値そのものを指示する信号であってもよく、この場合には、量子化部35はcomp制御信号によって指示されたしきい値で量子化を行う。
これにより、空の領域についてはQsテーブル32で高周波成分が強く低減され、更に、量子化部35で大幅な切り捨てが行われて、高い圧縮率で圧縮されることになる。
本符号化装置においては、強圧縮エリアについてしきい値を高めて圧縮率を上げることで、弱エリアにおけるしきい値を従来よりも低く設定することが可能であり、これにより画質の向上を図ることができるものである。
但し、SUMの値が目標データ量を超えた場合には、従来と同様に、弱圧縮エリアについてもcomp制御信号がオンとなり、量子化部35は圧縮率を高める。
このようにすると、通常エリアの圧縮データ量を大幅に低減せずに済むものである。
ここで、圧縮テーブルについて図6を用いて説明する。図6は、圧縮テーブルの模式説明図であり、(a)は強圧縮テーブル、(b)は弱圧縮テーブルを示している。尚、ここでは5×5画素領域の圧縮を行う圧縮テーブルを示す。
図6(a)に示す強圧縮テーブルは、5×5のマトリクス状に数値が配列されたものであり、各数値は、DCT変換された5×5の各DCT係数を割り算する値(除数)である。
左上はDC成分用の除数(DC成分を割る数値)であり、右下に高周波成分用の除数が配置されている。
図6(a)に示すように、強圧縮テーブルでは、テーブルの右側及び下側に大きい数値が多く配置されており、高周波成分のDCT係数を大きい数値で除すことにより、高周波成分を大幅に低減させるものとなっている。
本符号化装置では、強圧縮テーブルを空のエリアに適用して、強く圧縮する。
本符号化装置では、弱圧縮テーブルを、空以外のエリア(弱圧縮エリア)に適用して弱く圧縮する。
これにより、空以外の通常エリアの画質を向上させることができるものである。
ISW処理部22の動作について図5を用いて説明する。
ISW処理部22では、映像信号(SI−VID)が、8×8画素ブロック毎にDCT変換部31でDCT変換されてQSテーブル32及びQWテーブル33に入力され、QSテーブル32では高周波成分が大幅に低減された圧縮データ(強圧縮データ)Isが生成され、QWテーブル33では高周波成分がある程度残った圧縮データ(弱圧縮データ)Iwが生成される。
上述したように、空の領域については、SUMの値に関わらず高いしきい値で量子化が行われるものである。
このようにして、ISW処理部22における動作が行われる。
次に、PSW処理部23の構成について図7を用いて説明する。図7は、本符号化装置のPSW処理部23の構成ブロック図である。
図7に示すように、本符号化装置のPSW処理部23は、差分算出部(図では「差分」と記載)40と、DCT変換部41と、QSテーブル42と、QWテーブル43と、S/W選択部44と、量子化部45と、ハフマン符号器46とを備えている。
差分算出部40は、カメラ10から入力される映像信号(SI−VID)と、復号部26から入力される復号信号(V−DEM)との差分を算出する。
以下、QSテーブル42、QWテーブル43、S/W選択部44、量子化部45、ハフマン符号器46は、ISW処理部22における各部と同様の構成及び動作であり、説明は省略する。
次に、ISW処理部の別の構成(別のISW処理部)について図8を用いて説明する。図8は、別のISW処理部の構成ブロック図である。
上述した例では、2種類の圧縮テーブル(QSテーブル32、QWテーブル33)を備え、強圧縮エリアかどうかを指示するpart制御信号に基づいて、いずれかの圧縮テーブルの出力を選択するものとしたが、別のISW処理部では、圧縮テーブルは1種類として、量子化部へのしきい値を変更することで圧縮の強さを可変するようにしている。
これらの内、DCT変換部221と、ハフマン符号器224は、図5に示したISW処理部22における構成部分と同等であるため、説明は省略する。
そして、別のISW処理部220では、圧縮テーブルとして弱圧縮テーブルのQWテーブル222のみを備えており、圧縮の強さを量子化部223でのしきい値を変えることで調整する。
具体的には、加算部225には、comp制御信号によって量子化のしきい値が入力されており、part制御信号によって弱圧縮エリアが指定された場合には、しきい値指示信号Comp−Iとして当該しきい値をそのまま量子化部223に設定する。
つまり、強圧縮エリアについては、量子化のしきい値を高く設定して、切り捨ての頻度を高め、強い圧縮を行って圧縮データIk−CDの量を低減するものである。
従って、別のISW処理部220では、圧縮テーブルと量子化の両方で符号化データ量を制御する図5の構成と比べて、量子化部223における強圧縮エリアのしきい値を更に高く設定することが望ましい。
次に、PSW処理部の別の構成(別のPSW処理部)について図9を用いて説明する。図9は、別のPSW処理部の構成ブロック図である。
別のPSW処理部230は、差分算出部(図では「差分」と記載)231と、DCT変換部232と、QWテーブル233と、量子化部234と、ハフマン符号器235と、加算部236とを備えている。
これにより、強圧縮エリアについては高いしきい値で量子化を行って、圧縮データPk−CDの量を低減するものである。
次に、映像信号の例について図10を用いて説明する。図10は、映像信号の例を示す模式説明図である。ここでは、ハイビジョンの信号構成を示す。
図10に示すように、2次元イメージにおいて、水平方向は映像期間(水平)、垂直方向は映像期間(垂直)を示す。太枠内が1画面に表示される映像情報であり、ハイビジョンでは、映像表示期間(垂直)の有効走査線は1080本、1走査線に含まれる有効画素数は1920画素である。
制御部は、入力された映像信号から、最終の走査線(ラインNo=1125)に続いて生じる水平ブランキング期間におけるラインNo=1を探すことにより、映像の表示開始タイミングを認識することができるものである。
次に、本符号化装置における強圧縮エリア(空のエリア、空エリア)の算出例について図11,12を用いて説明する。図11は、基本状態における空エリアの算出例を示す説明図であり、図12はカメラの角度情報を用いた空のエリアの算出例を示す説明図である。
本符号化装置では、空のエリアを三角形で近似して算出するようにしている。
まず、カメラの状態が基本状態にある場合の空エリアの算出例について図11を用いて説明する。
図11(a)では、チルト=0°,アングル=0°の場合の画像の例を示しており、この状態を基本状態とする。基本状態では、画面中央に空エリアの消失点があるものとして、この点を三角形で近似される空エリアの頂点(空エリア頂点)とする。
ハイビジョン映像において、水平方向の画素数は1920画素、垂直方向のライン数は1080であるため、基本状態における空エリア頂点P0の座標(画素番号,ライン番号)は、(960,540)となる。
そして、点P0、画面左上の角(0,0)、画面右上の角(0,1920)の三点を頂点とする三角形の領域を、基本状態における空エリアとする。
次に、角度情報を用いて空エリアを算出する場合について図12を用いて説明する。
図12(a)では、チルト及びアングルが0°ではない場合の画像の例を示しており、消失点(空エリア頂点)P1は、基本状態に比べて画面右上方向に移動している。尚、図12のズーム量は図9と同一である。
点P0からの水平方向のずれをHof、垂直方向のずれをVofとすると、点P1の座標は、(960+Hof,540+Vof)となる。
Hof=Kh/2×tan(アングル角)/tan(水平画角/2) 式(1)
として算出される。
ここで、Khは水平方向の画素数(1920)であり、また、水平画角はズームの値によって決まるものであり、広角の場合には大きく、望遠の場合には小さくなる。
Vof=Kv/2×tan(チルト角)/tan(垂直画角/2) 式(2)
として算出される。
ここで、Kvは垂直方向のライン数(1080)であり、チルト角の符号は中央に対して上をマイナス、下をプラスとする。また、垂直画角は、ズームの値によって決まるものであり、広角の場合には大きく、望遠の場合には小さくなる。
図12(b)では、アングル角の符号がプラス、チルト角の符号がマイナスの場合を示している。
本符号化装置では、三角形で近似することにより、簡易な演算で空エリアを算出することができるものである。
ここで、空エリア頂点P1を求めるための、画面中央の点P0からのずれ量の算出例について図13を用いて説明する。図13は、水平方向のずれ(Hof)の算出例を示す説明図である。
図13(a)は、図12(b)と同等の図であり、点P1の水平方向の座標(画素番号)は、960を中心として、アングル角に応じて1〜1920の値を取り、上述したように960+Hofで表される。
撮影される画面の水平方向範囲は、ズーム画角によって決まり、それがカメラ撮像素子数Khに取り込まれる。
図13(b)は、水平画角の両端(点A,点B)と、カメラ位置とで構成される撮影範囲を上面から見た三角形を表している。画面の中心点(点P0)は、辺ABの中点として表され、画面上で被写体が遠ざかり小さくなって消えていく点P1は、アングル角に応じて辺AB上を移動する。
d1=L*tan(水平画角/2)で表される。
この場合、点P0から点P1までの水平方向分の長さd2は、
d2=L*tan(アングル角)で表される。
Hof=Kh/2×(d2/d1)
=Kh/2×(tan(アングル角)/tan(水平画角/2))
で表すことができる。ハイビジョン映像の場合には、Kh=1920画素である。
このようにして、水平方向のずれHofを算出するものである。
例えば、上述した方法で求めた空エリア頂点Pを中心として、ズーム量に応じて左右に一定の長さ(画素数)だけ移動した点(点Q、点Rとする)を下底の頂点とする。そして、画面左上の角、点Q、点R、画面右上の角の4点を頂点とする台形の領域を、空エリアとして判定する。
このようにすると、ズーム量が大きくなっても、空のエリアを正確に求められるものである。
尚、強圧縮エリアについて、強圧縮テーブルでの圧縮と、高いしきい値を用いた量子化を行って、Iフレームの頻度を低減させずに圧縮データ量を低減させるよう制御してもよい。
本符号化装置で算出する強圧縮エリアは、動きの小さいエリアであるため、動きベクトルが小さくなる。
そのため、強圧縮エリアについて、動きベクトルのヘッダを省略することが可能となり、一層データ量の削減を図ることができるものである。
本符号化装置及び本符号化方法によれば、制御部21が、角度検出部11から入力されるカメラの角度情報に基づいて、空などの変化の小さい領域を強圧縮エリアとして検出し、ISW処理部22及びPSW処理部23に対して、強圧縮エリアについては、強圧縮テーブルでの圧縮データを選択させ、量子化のしきい値を高くして圧縮データ量を低減させると共に、弱圧縮エリアについては、弱圧縮テーブルでの圧縮データを選択させ、量子化のしきい値を低くして圧縮データ量を相対的に多くさせるよう制御し、更に、I/P選択部24に対して、強圧縮エリアについてIフレームの選択頻度を低下させ、バッファメモリ25に余裕ができた場合には、弱圧縮エリアについてIフレームの選択頻度を増加させるよう制御するようにしているので、領域毎に圧縮の強さを変えて効率的に圧縮データ量を割り当てることができ、伝送データ量に制約があっても、目的とする撮像対象物を含む領域の圧縮データ量を増やして、画質を向上させることができる効果がある。
この場合でも、圧縮データ量が大きくなるIフレームについて強圧縮エリアのデータ量を大幅に削減できるため、強圧縮エリア以外の領域の画質向上を図ることができる。
Claims (7)
- 屋外を移動する移動中継車に搭載したカメラで、アングル、チルト、及びズーム量を調整して、移動する撮像対象物を撮像した映像信号を入力して符号化し、圧縮データを出力する映像符号化装置であって、
前記映像信号において強く圧縮される強圧縮エリアを検出する制御部と、
前記映像信号からIフレームの圧縮データを生成するI処理部と、
前記映像信号からPフレームの圧縮データを生成するP処理部と、
前記Iフレームの圧縮データ又は前記Pフレームの圧縮データを選択して出力するI/P選択部とを有し、
前記制御部が、前記強圧縮エリアの頂点となる空エリア頂点を、前記カメラのアングル、チルト、及びズーム量について予め定めた基本状態における画面上の特定の基準点から、前記ズーム量によって決定される画角の中で、前記基本状態からの前記アングルの変動量に応じて左右に移動させ、前記基本状態からの前記チルトの変動量に応じて上下に移動させて、前記空エリア頂点を決定し、
前記決定された空エリア頂点と、画面左上の角と、画面右上の角の三点で囲まれる三角形の領域に基づいて前記強圧縮エリアを検出し、
前記I処理部及び前記P処理部が、前記検出された強圧縮エリアについては強く圧縮し、前記強圧縮エリア以外の弱圧縮エリアについては前記強圧縮エリアより弱く圧縮することを特徴とする映像符号化装置。 - 制御部が、基準点を画面中央の点として、水平方向のずれ量と垂直方向のずれ量を算出して空エリア頂点を決定し、
水平方向の画素数をKh、垂直方向のライン数をKvとした場合に、水平方向のずれHofを、Hof=Kh/2×tan(アングル角)/tan(水平画角/2)として算出し、垂直方向のずれVofを、Vof=Kv/2×tan(チルト角)/tan(垂直画角/2)として算出することを特徴とする請求項1記載の映像符号化装置。 - I/P選択部で選択された圧縮データを蓄積するバッファメモリを備え、
制御部が、強圧縮エリアについてIフレームの圧縮データを選択する頻度を低下させるよう前記I/P選択部を制御すると共に、前記バッファメモリに蓄積されたデータ量が目標値より小さい場合には、前記弱圧縮エリアについてIフレームの圧縮データを選択する頻度を増加させるよう前記I/P選択部を制御することを特徴とする請求項1又は2記載の映像符号化装置。 - I処理部又はP処理部、若しくは両処理部が、第1の圧縮テーブルを用いて映像信号を強く圧縮して第1の圧縮データを出力すると共に、第2の圧縮テーブルを用いて前記第1の圧縮テーブルより弱く圧縮して第2の圧縮データを出力し、前記第1の圧縮データ又は前記第2の圧縮データのいずれかを選択して出力するS/W選択部を備え、
制御部が、前記I処理部又は前記P処理部若しくは両処理部の前記S/W選択部を、強圧縮エリアについては前記第1の圧縮データを選択させ、弱圧縮エリアについては前記第2の圧縮データを選択させるよう制御することを特徴とする請求項1乃至3のいずれか記載の映像符号化装置。 - I処理部又はP処理部、若しくは両処理部が、S/W選択部からの出力を、用いられるしきい値未満の場合に「0」とする切り捨て処理を行う量子化部を備え、
制御部が、前記I処理部又は前記P処理部若しくは両処理部の前記量子化部を、強圧縮エリアについては高周波成分を大幅に切り捨てる第1のしきい値を用いて切り捨て処理させ、弱圧縮エリアについては前記第1のしきい値より低い第2のしきい値を用いて切り捨て処理させるよう制御することを特徴とする請求項4記載の映像符号化装置。 - 屋外を移動する移動中継車に搭載したカメラで、アングル、チルト、及びズーム量を調整して、移動する撮像対象物を撮像した映像信号を入力して符号化し、圧縮データを出力する映像符号化装置における映像符号化方法であって、
制御部が、前記カメラのアングル、チルト、及びズーム量について予め定めた基本状態における画面上の特定の基準点から、前記ズーム量によって決定される画角の中で、前記基本状態からの前記アングルの変動量に応じて左右に移動させ、前記基本状態からのチルトの変動量に応じて上下に移動させた点を、前記空エリア頂点として決定し、前記決定された空エリア頂点と、画面左上の角と、画面右上の角の三点で囲まれる三角形の領域に基づいて前記映像信号において強く圧縮される強圧縮エリアを検出し、
前記映像信号からIフレームの圧縮データを生成するI処理部及び前記映像信号からPフレームの圧縮データを生成するP処理部が、前記検出された強圧縮エリアについては強く圧縮し、前記強圧縮エリア以外の弱圧縮エリアについては前記強圧縮エリアより弱く圧縮し、
I/P選択部が、前記Iフレームの圧縮データ又は前記Pフレームの圧縮データのいずれかを選択して出力することを特徴とする映像符号化方法。 - 制御部が、強圧縮エリアについてIフレームの圧縮データを選択する頻度を低下させるようI/P選択部を制御することを特徴とする請求項6記載の映像符号化方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018034495A JP6694902B2 (ja) | 2018-02-28 | 2018-02-28 | 映像符号化装置及び映像符号化方法 |
PCT/JP2019/003642 WO2019167546A1 (ja) | 2018-02-28 | 2019-02-01 | 映像符号化装置及び映像符号化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018034495A JP6694902B2 (ja) | 2018-02-28 | 2018-02-28 | 映像符号化装置及び映像符号化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019149754A JP2019149754A (ja) | 2019-09-05 |
JP6694902B2 true JP6694902B2 (ja) | 2020-05-20 |
Family
ID=67806044
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018034495A Active JP6694902B2 (ja) | 2018-02-28 | 2018-02-28 | 映像符号化装置及び映像符号化方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6694902B2 (ja) |
WO (1) | WO2019167546A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023132163A1 (ja) * | 2022-01-05 | 2023-07-13 | 住友電気工業株式会社 | 映像圧縮方法、映像圧縮装置、コンピュータプログラム、及び映像処理システム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0583566A (ja) * | 1991-09-24 | 1993-04-02 | N T T Data Tsushin Kk | 画像符号化装置 |
JPH0670175A (ja) * | 1992-08-19 | 1994-03-11 | Fujitsu Ltd | 画像データ符号化方法及び装置 |
JPH0888853A (ja) * | 1994-09-16 | 1996-04-02 | Toshiba Corp | メディア処理システム |
JPH0998416A (ja) * | 1995-09-29 | 1997-04-08 | Denso Corp | 画像信号の符号化装置および画像の認識装置 |
JP2001148857A (ja) * | 1999-11-18 | 2001-05-29 | Canon Inc | 静止画撮影発信システム及び静止画伝送方法及び記憶媒体 |
JP2007328630A (ja) * | 2006-06-08 | 2007-12-20 | Fujitsu Ten Ltd | 物体候補領域検出装置、物体候補領域検出方法、歩行者認識装置および車両制御装置 |
JP2010093627A (ja) * | 2008-10-09 | 2010-04-22 | Sharp Corp | 動画像符号化装置 |
US10205953B2 (en) * | 2012-01-26 | 2019-02-12 | Apple Inc. | Object detection informed encoding |
JP5943084B2 (ja) * | 2012-08-31 | 2016-06-29 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
JP6086619B2 (ja) * | 2015-03-27 | 2017-03-01 | 株式会社日立国際電気 | 符号化装置および符号化方法 |
JP2017163228A (ja) * | 2016-03-07 | 2017-09-14 | パナソニックIpマネジメント株式会社 | 監視カメラ |
-
2018
- 2018-02-28 JP JP2018034495A patent/JP6694902B2/ja active Active
-
2019
- 2019-02-01 WO PCT/JP2019/003642 patent/WO2019167546A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2019167546A1 (ja) | 2019-09-06 |
JP2019149754A (ja) | 2019-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9420279B2 (en) | Rate control method for multi-layered video coding, and video encoding apparatus and video signal processing apparatus using the rate control method | |
JP5268743B2 (ja) | 画像通信システム | |
US7382932B2 (en) | Image processing apparatus and method, and computer program and computer-readable storage medium | |
JPH04196976A (ja) | 画像符号化装置 | |
JP2015050661A (ja) | 符号化装置、符号化装置の制御方法、及び、コンピュータプログラム | |
JP2006352198A (ja) | 画像符号化装置及び画像符号化プログラム | |
KR20180056382A (ko) | 비디오를 인코딩하기 위한 방법 및 인코더 시스템 | |
JP6435029B2 (ja) | 映像符号化装置及び映像符号化プログラム | |
JP6694902B2 (ja) | 映像符号化装置及び映像符号化方法 | |
JP5100572B2 (ja) | 符号化装置 | |
KR100366382B1 (ko) | 동영상 부호화 장치 및 방법 | |
JP5656575B2 (ja) | 画像符号化装置 | |
JPH0787586B2 (ja) | 画像信号符号化制御方式 | |
JP4857243B2 (ja) | 画像符号化装置及びその制御方法、コンピュータプログラム | |
KR20170095047A (ko) | 동적 프레임 삭제 장치 및 방법 | |
JP6694905B2 (ja) | 映像符号化装置及び映像符号化方法 | |
JP5171658B2 (ja) | 画像符号化装置 | |
JP5419560B2 (ja) | 撮像装置 | |
JP4857152B2 (ja) | 直交変換・量子化装置 | |
JP2009118096A (ja) | 画像符号化装置及びその制御方法、コンピュータプログラム | |
JP2007081744A (ja) | 動画像符号化装置及び動画像符号化方法 | |
WO2013073422A1 (ja) | 動画像符号化装置 | |
JP2015073192A (ja) | 映像符号化装置及び映像符号化プログラム | |
JP4406887B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
JP2006081066A (ja) | 画像生成装置および画像生成プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190307 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190425 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191001 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200409 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200420 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6694902 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |