JP6694902B2 - 映像符号化装置及び映像符号化方法 - Google Patents

映像符号化装置及び映像符号化方法 Download PDF

Info

Publication number
JP6694902B2
JP6694902B2 JP2018034495A JP2018034495A JP6694902B2 JP 6694902 B2 JP6694902 B2 JP 6694902B2 JP 2018034495 A JP2018034495 A JP 2018034495A JP 2018034495 A JP2018034495 A JP 2018034495A JP 6694902 B2 JP6694902 B2 JP 6694902B2
Authority
JP
Japan
Prior art keywords
area
compressed data
compression
angle
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018034495A
Other languages
English (en)
Other versions
JP2019149754A (ja
Inventor
宮下 敦
敦 宮下
武居 裕之
裕之 武居
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Kokusai Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Priority to JP2018034495A priority Critical patent/JP6694902B2/ja
Priority to PCT/JP2019/003642 priority patent/WO2019167546A1/ja
Publication of JP2019149754A publication Critical patent/JP2019149754A/ja
Application granted granted Critical
Publication of JP6694902B2 publication Critical patent/JP6694902B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、映像符号化装置及び映像符号化方法に係り、特にデータ伝送量に制約があっても、目的とする撮像対象物の画質を改善することができる映像符号化装置及び映像符号化方法に関する。
[先行技術の説明]
従来、映像符号化装置で用いられる圧縮処理としては、符号化データを復号した際の歪に基づいて、量子化の程度を制御する方法があった。この方法では、撮像対象(絵柄)に応じて圧縮後のデータ量が増減する。
一方、圧縮後のデータ量が一定量となるように量子化を制御する圧縮処理もある。この方法では、絵柄によって復号後の画質が変化する。
マラソン等の中継に用いられるFPU(Field Pickup Unit;無線中継伝送装置)では、伝送回線によって単位時間当たりに伝送可能なデータ量に制約があるため、データ量が一定となる後者の方法が採用されている。
マラソン等の中継において、移動中継車のカメラは、走者との距離や撮影角度(正面、斜め、横)を番組展開によって変化させる。また、レンズの焦点距離を変えることで画角(映る範囲)も変化する。
[従来の映像符号化装置の構成:図14]
従来の映像符号化装置の構成について図14を用いて説明する。図14は、従来の映像符号化装置の符号化部の構成ブロック図である。
図14に示すように、従来の映像符号化装置の符号化部(従来の符号化部)は、制御部51と、I(Intra-coded Picture)処理部52と、P(Predictive-coded Picture)処理部53と、I/P選択部54と、バッファメモリ55と、復号部56とを備えている。
従来の符号化部の各部について説明する。
制御部51は、各部に制御信号を出力し、圧縮の強さを調整して圧縮データ(S−CD)のデータ量を制御する。制御部51の処理については後述する。
I処理部52は、入力された映像信号(SI−VID)から、Iフレームとして圧縮データ(I−CD)を生成する処理を行う。Iフレームは、前後のフレームからの予測(フレーム間予測)を用いずに符号化されるフレームである。
P処理部53は、映像信号(SI−VID)と後述する復号データ(V−DEM)から、Pフレームとして圧縮データ(P−CD)を生成する処理を行う。Pフレームは、現映像フレームと直前の映像フレームとの差分データで構成されるフレームである。
I/P選択部54は、制御部50からのI/P制御信号に従って、I処理部52からの圧縮データ(I−CD)又はP処理部53からの圧縮データ(P−CD)のいずれかを選択して選択された圧縮データ(S−CD)を出力する。
バッファメモリ55は、I/P選択部54から出力された圧縮データ(S−CD)を格納し、出力する。また、バッファメモリ55は、蓄積された圧縮データの量に関する情報(SUM:圧縮データ量情報)を制御部51に出力する。
復号部56は、圧縮データ(S−CD)を復号して、復号データ(V−DEM)を出力する。
制御部51は、I/P選択部54に、I−CDを選択するか、P−CDを選択するかを指示するI/P制御信号を出力する。I/P制御信号は、特定のタイミングでI−CDを選択し、それ以外はP−CDを選択するよう指示する制御信号である。
圧縮データ量及び復号後の画質が適切となるよう、Iフレームの出力間隔(例えば2秒に1回)が設定されている。
また、制御部51は、バッファメモリ55からのSUMの値に基づいて、I処理部52及びP処理部53に、発生させる圧縮データの量を増減させる圧縮(comp)制御信号を出力する。
I処理部52及びP処理部53は、comp制御信号に基づいて、量子化の粗さを変化させることで、発生符号量を増減させる。
具体的には、制御部51は、SUMの値とバッファメモリ55に蓄積する目標データ量とを比較して、メモリ容量に余裕がある場合にはI処理部52及びP処理部53における量子化のしきい値を低く設定して、多くの符号化データを残すようにし、余裕がない場合にはしきい値を高く設定して、高周波成分を切り捨て、符号化データ量を抑える。
このようにして、制御部51は、バッファメモリ55に蓄積されたデータ量(SUMの値)の大小に基づいて、comp制御信号によって量子化の粗さを調整し、新たな発生データ量を制御するものである。
[従来の映像符号化装置の動作:図14
従来の映像符号化装置の動作について簡単に説明する。
カメラから入力された映像信号(SI−VID)は、映像符号化装置の符号化部に入力され、I処理部52とP処理部53とに入力される。
I処理部52では、カメラからの映像信号(SI−VID)からIフレームの圧縮データ(I−CD)が生成され、P処理部53では、映像信号(SI−VID)と復号部56からの復号信号(V−DEM)との差分から成るPフレームの圧縮データ(P−CD)が生成される。
その際、I処理部52及びP処理部53では、圧縮データ量が適切となるよう、制御部51からのcomp制御信号に従って量子化を行う。
そして、I/P選択部54において、制御部51からのI/P制御信号に基づいて、I処理部52からの圧縮データ(I−CD)又はP処理部52からの圧縮データ(P−CD)が選択され、選択された圧縮データ(S−CD)がバッファメモリ55に蓄積され、圧縮データとして出力される。I/P制御信号により、I/P選択部54は、予め設定されている所定のタイミングでI−CDを選択する。
バッファメモリ55では、データの蓄積量を表す情報(SUM)を制御部51に出力し、制御部51は、SUMの値に応じてcomp制御信号を調整する。
このようにして、従来の映像符号化装置の動作が行われるものである。
[ロードレース等の映像]
ところで、屋外で行われるロードレース等の映像では、背景に空が含まれる絵柄が度々出現する。
空の映像は、距離が遠く動きが少ないという特徴があり、また、青一面の背景にところどころ雲が浮かぶ、又は一面に灰色の雲が広がっている、といった画像で、絵柄も粗く単純なため、少ない圧縮データ量でも復号再現が可能である。
それに対して、空より下の部分では、中距離以下の沿道建物や、近距離の観衆やランナーが撮像対象となるため、移動速度が速く、絵柄も複雑で、必要な圧縮データ量は空に比べて多くなる。
このように、ロードレース等の映像は、変化が小さく、少ない圧縮データ量でも復号可能な領域と、変化が大きく、十分な圧縮データ量が必要な領域とが混在している。
[関連技術]
尚、映像符号化装置の従来技術としては、特開2016−184912号公報「符号化装置および符号化方法」(特許文献1)がある。
特許文献1には、符号化装置において、カメラアングルおよびレンズのズーム倍率の状態情報に応じて、検出された動きに重みづけを行って動きデータMvを生成し、SUMに基づいて、I処理によるデータI−CDか、P処理によるデータP−CDか、動きデータMvを選択して圧縮データとして出力することが記載されている。
特開2016−184912号公報
上述したように、従来の映像符号化装置では、ロードレース映像のように、少ない圧縮データ量でも復号可能な領域と、十分な圧縮データ量が必要な領域とが混在している映像について、全ての領域で同じ圧縮条件で圧縮を行っており、伝送データ量に制約があるシステムにおいて圧縮データ量を効果的に割り付けて画質を向上させることができないという問題点があった。
尚、特許文献1には、変化の少ない領域について圧縮条件を強め、その他の領域により多くの圧縮データを割り付けて、画質の向上を図ることは記載されていない。
本発明は上記実状に鑑みて為されたもので、画像の変化の小さい領域について圧縮データ量を低減すると共に、変化の大きい領域に多くの圧縮データ量を割り付け、伝送データ量に制約があっても、目的とする撮像対象物の画質を向上させることができる映像符号化装置及び映像符号化方法を提供することを目的とする。
上記従来例の問題点を解決するための本発明は、屋外を移動する移動中継車に搭載したカメラで、アングル、チルト、及びズームを調整して、移動する撮像対象物を撮像した映像信号を入力して符号化し、圧縮データを出力する映像符号化装置であって、映像信号において強く圧縮される強圧縮エリアを検出する制御部と、映像信号からIフレームの圧縮データを生成するI処理部と、映像信号からPフレームの圧縮データを生成するP処理部と、Iフレームの圧縮データ又はPフレームの圧縮データを選択して出力するI/P選択部とを有し、制御部が、強圧縮エリアの頂点となる空エリア頂点を、カメラのアングル、チルト、及びズーム量について予め定めた基本状態における画面上の特定の基準点から、ズーム量によって決定される画角の中で、基本状態からのアングルの変動量に応じて左右に移動させ、基本状態からのチルトの変動量に応じて上下に移動させて、空エリア頂点を決定し、決定された空エリア頂点と、画面左上の角と、画面右上の角の三点で囲まれる三角形の領域に基づいて強圧縮エリアを検出し、I処理部及びP処理部が、検出された強圧縮エリアについては強く圧縮し、強圧縮エリア以外の弱圧縮エリアについては圧縮エリアより弱く圧縮することを特徴としている。
また、本発明は、上記映像符号化装置において、制御部が、基準点を画面中央の点として、画面中央の点からの水平方向のずれ量と垂直方向のずれ量を算出して空エリア頂点を決定し、水平方向の画素数をKh、垂直方向のライン数をKvとした場合に、水平方向のずれHofを、Hof=Kh/2×tan(アングル角)/tan(水平画角/2)として算出し、垂直方向のずれVofを、Vof=Kv/2×tan(チルト角)/tan(垂直画角/2)として算出することを特徴としている。
また、本発明は、上記映像符号化装置において、I/P選択部で選択された圧縮データを蓄積するバッファメモリを備え、制御部が、強圧縮エリアについてIフレームの圧縮データを選択する頻度を低下させるようI/P選択部を制御すると共に、バッファメモリに蓄積されたデータ量が目標値より小さい場合には、弱圧縮エリアについてIフレームの圧縮データを選択する頻度を増加させるようI/P選択部を制御することを特徴としている。
また、本発明は、上記映像符号化装置において、I処理部又はP処理部、若しくは両処理部が、第1の圧縮テーブルを用いて映像信号を強く圧縮して第1の圧縮データを出力すると共に第2の圧縮テーブルを用いて前記第1の圧縮テーブルより弱く圧縮して第2の圧縮データを出力、前記第1の圧縮データ又は前記第2の圧縮データのいずれかを選択して出力するS/W選択部を備え、制御部が、I処理部又はP処理部若しくは両処理部の前記S/W選択部を、強圧縮エリアについては第1の圧縮データを選択させ、弱圧縮エリアについては第2の圧縮データを選択させるよう制御することを特徴としている。
また、本発明は、上記映像符号化装置において、I処理部又はP処理部、若しくは両処理部が、S/W選択部からの出力を、用いられるしきい値未満の場合に「0」とする切り捨て処理を行う量子化部を備え、制御部が、I処理部又はP処理部若しくは両処理部の量子化部を、強圧縮エリアについては高周波成分を大幅に切り捨てる第1のしきい値を用いて切り捨て処理させ、弱圧縮エリアについては前記第1のしきい値より低い第2のしきい値を用いて切り捨て処理させるよう制御することを特徴としている。
また、本発明は、屋外を移動する移動中継車に搭載したカメラで、アングル、チルト、及びズームを調整して、移動する撮像対象物を撮像した映像信号を入力して符号化し、圧縮データを出力する映像符号化装置における映像符号化方法であって、制御部が、カメラのアングル、チルト、及びズーム量について予め定めた基本状態における画面上の特定の基準点から、ズーム量によって決定される画角の中で、基本状態からのアングルの変動量に応じて左右に移動させ、基本状態からのチルトの変動量に応じて上下に移動させて、空エリア頂点を決定し、決定された空エリア頂点と、画面左上の角と、画面右上の角の三点で囲まれる三角形の領域に基づいて映像信号において強く圧縮される強圧縮エリアを検出し、映像信号からIフレームの圧縮データを生成するI処理部及び映像信号からPフレームの圧縮データを生成するP処理部が、検出された強圧縮エリアについては強く圧縮し、強圧縮エリア以外の弱圧縮エリアについては強圧縮エリアより弱く圧縮し、I/P選択部が、フレームの圧縮データ又は前記Pフレームの圧縮データのいずれかを選択して出力することを特徴としている。
また、本発明は、上記映像符号化方法において、制御部が、強圧縮エリアについてIフレームの圧縮データを選択する頻度を低下させるようI/P選択部を制御することを特徴としている。
本発明によれば、屋外を移動する移動中継車に搭載したカメラで、アングル、チルト、及びズームを調整して、移動する撮像対象物を撮像した映像信号を入力して符号化し、圧縮データを出力する映像符号化装置であって、映像信号において強く圧縮される強圧縮エリアを検出する制御部と、映像信号からIフレームの圧縮データを生成するI処理部と、映像信号からPフレームの圧縮データを生成するP処理部と、Iフレームの圧縮データ又はPフレームの圧縮データを選択して出力するI/P選択部とを有し、制御部が、強圧縮エリアの頂点となる空エリア頂点を、カメラのアングル、チルト、及びズーム量について予め定めた基本状態における画面上の特定の基準点から、ズーム量によって決定される画角の中で、基本状態からのアングルの変動量に応じて左右に移動させ、基本状態からのチルトの変動量に応じて上下に移動させて、空エリア頂点を決定し、決定された空エリア頂点と、画面左上の角と、画面右上の角の三点で囲まれる三角形の領域に基づいて前記強圧縮エリアを検出し、I処理部及びP処理部が、検出された強圧縮エリアについては強く圧縮し、強圧縮エリア以外の弱圧縮エリアについては強圧縮エリアより弱く圧縮する映像符号化装置としているので、画像の変化が小さい強圧縮エリアを強く圧縮して符号化データを低減させると共に、弱圧縮エリアを弱く圧縮して多くの符号化データを割り付けて、伝送データ量に制限がある場合でも、目的とする撮像対象物を含む領域の画質を向上させることができる効果がある。
また、本発明によれば、制御部が、基準点を画面中央の点として、水平方向のずれ量と垂直方向のずれ量を算出して空エリア頂点を決定し、水平方向の画素数をKh、垂直方向のライン数をKvとした場合に、水平方向のずれHofを、Hof=Kh/2×tan(アングル角)/tan(水平画角/2)として算出し、垂直方向のずれVofを、Vof=Kv/2×tan(チルト角)/tan(垂直画角/2)として算出する上記映像符号化装置としているので、簡易な演算で強圧縮エリアを算出することができる効果がある。
また、本発明によれば、I/P選択部で選択された圧縮データを蓄積するバッファメモリを備え、制御部が、強圧縮エリアについてIフレームの圧縮データを選択する頻度を低下させるようI/P選択部を制御すると共に、バッファメモリに蓄積されたデータ量が目標値より小さい場合には、弱圧縮エリアについてIフレームの圧縮データを選択する頻度を増加させるようI/P選択部を制御する上記映像符号化装置としているので、強圧縮エリアについて、符号化データ量の多いIフレームの頻度を低減させ、効率よく弱圧縮エリアの符号化データ量を増やすことができ、伝送データ量に制限がある場合でも、目的とする撮像対象物を含む領域の画質を向上させることができる効果がある。
また、本発明は、I処理部又はP処理部、若しくは両処理部が、第1の圧縮テーブルを用いて映像信号を強く圧縮して第1の圧縮データを出力すると共に第2の圧縮テーブルを用いて第1の圧縮テーブルより弱く圧縮して第2の圧縮データを出力、第1の圧縮データ又は第2の圧縮データのいずれかを選択して出力するS/W選択部を備え、制御部が、I処理部又はP処理部若しくは両処理部のS/W選択部を、強圧縮エリアについては第1の圧縮データを選択させ、弱圧縮エリアについては第2の圧縮データを選択させるよう制御する上記映像符号化装置としているので、強圧縮エリアについては強く圧縮し、弱圧縮エリアについては弱く圧縮して、符号化データ量を効果的に割り付けて、伝送データ量に制限がある場合でも、目的とする撮像対象物を含む領域の画質を向上させることができる効果がある。
また、本発明によれば、I処理部又はP処理部、若しくは両処理部が、S/W選択部からの出力を、用いられるしきい値未満の場合に「0」とする切り捨て処理を行う量子化部を備え、制御部が、I処理部又はP処理部若しくは両処理部の量子化部を、強圧縮エリアについては高周波成分を大幅に切り捨てる第1のしきい値を用いて切り捨て処理させ、弱圧縮エリアについては前記第1のしきい値より低い第2のしきい値を用いて切り捨て処理させるよう制御する上記映像符号化装置としているので、強圧縮エリアの高周波成分を低減させると共に、弱圧縮エリアについては高周波成分を残り易くすることができ、符号化データ量を効果的に割り付けて、伝送データ量に制限がある場合でも、目的とする撮像対象物を含む領域の画質を向上させることができる効果がある。
また、本発明によれば、屋外を移動する移動中継車に搭載したカメラで、アングル、チルト、及びズームを調整して、移動する撮像対象物を撮像した映像信号を入力して符号化し、圧縮データを出力する映像符号化装置における映像符号化方法であって、制御部が、カメラのアングル、チルト、及びズーム量について予め定めた基本状態における画面上の特定の基準点から、ズーム量によって決定される画角の中で、基本状態からのアングルの変動量に応じて左右に移動させ、基本状態からのチルトの変動量に応じて上下に移動させて、空エリア頂点を決定し、決定された空エリア頂点と、画面左上の角と、画面右上の角の三点で囲まれる三角形の領域に基づいて映像信号において強く圧縮される強圧縮エリアを検出し、映像信号からIフレームの圧縮データを生成するI処理部及び映像信号からPフレームの圧縮データを生成するP処理部が、検出された強圧縮エリアについては強く圧縮し、強圧縮エリア以外の弱圧縮エリアについては強圧縮エリアより弱く圧縮し、I/P選択部が、Iフレームの圧縮データ又はPフレームの圧縮データのいずれかを選択して出力する映像符号化方法としているので、画像の変化が小さい強圧縮エリアを強く圧縮して符号化データを低減させると共に、弱圧縮エリアを弱く圧縮して多くの符号化データを割り付けて、伝送データ量に制限がある場合でも、目的とする撮像対象物を含む領域の画質を向上させることができる効果がある。
また、本発明によれば、制御部が、強圧縮エリアについてIフレームの圧縮データを選択する頻度を低下させるようI/P選択部を制御する上記映像符号化方法としているので、強圧縮エリアについて、符号化データ量の多いIフレームの頻度を低減させ、効率よく弱圧縮エリアの符号化データ量を増やすことができ、伝送データ量に制限がある場合でも、目的とする撮像対象物を含む領域の画質を向上させることができる効果がある。
本発明の実施の形態に係る映像符号化装置の概略構成ブロック図である。 本装置における圧縮制御の概要を示す説明図である。 チルトによる圧縮制御の例を示す説明図である。 アングルによる圧縮制御の例を示す説明図である。 本符号化装置のISW処理部22の構成ブロック図である。 圧縮テーブルの模式説明図であり、(a)は強圧縮テーブル、(b)は弱圧縮テーブルの説明図である。 本符号化装置のPSW処理部23の構成ブロック図である。 別のISW処理部の構成ブロック図である。 別のPSW処理部の構成ブロック図である。 映像信号の例を示す模式説明図である。 基本状態における空エリアの算出例を示す説明図である。 カメラの角度情報を用いた空のエリアの算出例を示す説明図である。 水平方向のずれ(Hof)の算出例を示す説明図である。 従来の映像符号化装置の符号化部の構成ブロック図である。
本発明の実施の形態について図面を参照しながら説明する。
[実施の形態の概要]
本発明の実施の形態に係る映像符号化装置(本符号化装置)及び映像符号化方法(本符号化方法)は、制御部が、カメラのチルト、アングル、ズームといった角度の情報に基づいて、空などの変化の小さい領域を強圧縮エリアとして検出し、当該検出された領域については強く圧縮して圧縮データ量を減少させると共に、変化の大きい他の領域については圧縮の程度を弱めて圧縮データ量を増加させるようにしており、伝送データ量の制約があっても、圧縮データ量を有効に割り付けて目的とする撮像対象物を含む領域の画質を向上させることができるものである。
具体的には、本映像符号化装置及び本符号化方法では、I処理部及びP処理部における圧縮を、強い圧縮を行う強圧縮テーブルと、強圧縮テーブルよりも弱い圧縮を行う弱圧縮テーブルとを用いて行い、符号化を行う領域が強圧縮エリアに相当すれば強圧縮テーブルで圧縮した圧縮データを選択すると共に、当該領域が強圧縮エリアではない場合には、弱圧縮テーブルで圧縮した圧縮データを選択するようにしており、強圧縮エリアのデータ量の削減を図ると共に、削減されたデータ量を強圧縮エリア以外に割り付けて、画質を向上させることができるものである。
尚、弱圧縮テーブルは、通常の圧縮テーブルとしてもよい。
更に、本符号化装置及び本符号化方法では、I処理部及びP処理部における量子化のしきい値を、強圧縮エリアについては高く設定して高周波成分を大幅に低減し、強圧縮エリア以外については低く設定して高周波成分を残すようにして、圧縮データ量を有効に割り付けて強圧縮エリア以外の領域の画質を向上させることができるものである。
更にまた、本符号化装置及び本符号化方法では、Iフレーム又はPフレームのいずれかを選択するI/P選択部において、強圧縮エリアではIフレームの選択頻度を低下させ、圧縮データ量に余裕ができた場合には、強圧縮エリア以外のIフレームの選択頻度を高めるようにして、強圧縮エリア以外の領域の画質を向上させることができるものである。
[実施の形態に係る映像符号化装置の構成:図1]
図1は、本発明の実施の形態に係る映像符号化装置の概略構成ブロック図である。
本符号化装置は、例えば、中継車に搭載したカメラからの映像を符号化して伝送するFPUの一部として構成される。
図1に示すように、本符号化装置は符号化部20を備え、符号化部20は、カメラ10と、角度検出部11に接続されている。
カメラ10は、例えば、移動中継車等に搭載されて、ロードレース等の映像を取り込み、映像信号(SI−VID)として出力する。
角度検出部11は、カメラ10の角度に関する情報を取得して角度情報として出力する。角度情報には、アングル(An)、チルト(Ti)、カメラ画角(Zm;ズーム)が含まれる。
ここで、アングルは水平方向の角度、チルトは垂直方向の角度、カメラ画角はズーム範囲を示す。
符号化部20は、本符号化装置の特徴部分であり、角度検出部11からの角度情報に基づいて、画面の領域毎の圧縮条件を適宜制御しつつ映像信号(SI−VID)の符号化を行って圧縮データを出力するものである。
本符号化装置の符号化部20について具体的に説明する。
符号化部20は、制御部21と、ISW処理部22と、PSW処理部23と、I/P選択部24と、バッファメモリ25と、復号部26とを備えている。
これらの構成部分の内、I/P選択部24、バッファメモリ25、復号部26は、図11に示した従来の映像符号化装置におけるI/P選択部54、バッファメモリ55、復号部56とそれぞれ同じ構成及び動作であり、詳細な説明は省略する。
制御部21は、従来の符号化装置の制御部51と同様に、符号化部20における圧縮の強さを制御するものであるが、特に、本符号化装置の特徴として、角度検出部11から入力される角度情報に基づいて、画面内における強く圧縮するエリアを検出し、それに応じて領域毎の圧縮の条件を制御する。
制御部21から出力される制御信号としては、ISW処理部22及びPSW処理部23に出力されるpart制御信号及びcomp制御信号、I/P選択部24に出力されるI/P制御信号がある。part制御信号は、符号化対象の領域が強く圧縮するエリアかどうかを指示する制御信号である。
制御部51の動作及び各制御信号については後述する。
SW処理部22は、入力された映像信号(SI−VID)からIフレームの圧縮データを生成するものであり、従来のI処理部とは構成及び動作が一部異なっている。
SW処理部23は、映像信号(SI−VID)と復号部26からの復号信号(V−DEM)からPフレームの圧縮データを生成するものであり、従来のP処理部とは構成及び動作が一部異なっている。
本符号化装置の特徴として、ISW処理部22及びPSW処理部23は、制御部21からのpart制御信号及びcomp制御信号に基づいて、領域毎に圧縮の強さを可変するようになっている。
SW処理部22、PSW処理部23は、それぞれ、請求項に記載したI処理部、P処理部に相当している。ISW処理部22、PSW処理部23の具体的な構成及び動作については後述する。
[本符号化装置における圧縮制御の概要:図2〜図4]
本符号化装置の動作について説明する前に、本符号化装置における圧縮制御の概要について図2〜図4を用いて簡単に説明する。
図2は、本装置における圧縮制御の概要を示す説明図である。
図2(a)に示すように、走者の正面から撮影した画像においては、(b)に示す領域が空の映像となっている。本符号化装置では、この空の領域について圧縮データの量を低減し、その分、走者等のメインの撮像対象物を含む近距離や中距離の領域の圧縮データの量を増加させ、画質の改善を図るようにしている。
圧縮データの量を低減する領域を「強圧縮エリア」と称するものとする。尚、ここでは、強圧縮エリアが空の画像である場合を示しているが、遠景の道路、海、森林など、変化の小さい単純な絵柄の領域であれば、被写体の種類にかかわらず強圧縮エリアとすることが可能である。
強圧縮エリアの算出方法については後述する。
図2(a)の映像を撮影する場合のカメラの状態を図2(c)(d)に示す。(c)は、上から見た(上面視の)説明図であり、(d)は、横から見た(側面視の)説明図である。
図2(c)に示すように、カメラのアングル(水平方向の角度)は、0(ゼロ)°であり、正面を撮影している。また、図2(d)に示すように、カメラのチルト(垂直方向の角度)も0°であり、撮像面は垂直になっている。
つまり、図2(a)(b)は、基準状態(アングル=0°、チルト=0°)における画像及び空の領域を示している。
図3は、チルトによる圧縮制御の例を示す説明図である。
図3では、(c)(d)に示すように、カメラの向きが、アングル=0°,チルト=−10°の状態を示している。つまり、カメラが水平方向から10°下方向を向いた状態である。
この状態では、(a)のような映像が撮影され、(b)に示すように、空の領域は図2に比べて狭くなる。
図4は、アングルによる圧縮制御の例を示す説明図である。
図4では、(c)(d)に示すように、カメラの向きが、アングル=10°,チルト=0の状態を示している。つまり、カメラが正面から10°左方向を向いた状態である。
この状態では、(a)のように走者が画面右側に寄った映像が撮影され、(b)に示すように、空の領域は左右非対称の形状となる。
また、図示は省略するが、カメラレンズのズームを調節することで、カメラの画角が変化して、それに応じて空の領域も変化する。
図2〜図4においては、ズームは一定としている。
つまり、図2〜図4に示したように、アングル、チルト、ズームといったカメラの角度の変化に伴って、画面上の空の領域の形状が変化する。
本符号化装置では、このことを利用して、動きの小さい空のエリアを強圧縮エリアとして判定し、その部分の圧縮を強めに行うものである。更に、強圧縮エリア以外の領域(弱圧縮エリア)の圧縮を弱めて、目的とする撮像対象物の画質を向上させるようにしている。
[本符号化装置の動作概要:図1]
本符号化装置の動作について簡単に説明する。
本符号化装置の基本的な動作は、図14に示した従来の映像符号化装置の動作と同様であるが、カメラの角度情報に基づく圧縮条件の制御を行う点が従来とは異なっている。
カメラ10で撮影された映像信号(SI−VID)は、本符号化装置の符号化部20に入力される。同様に、角度検出部11で検出された角度情報(An,Ti,Zm)を含む角度信号も、符号化部20に入力される。
そして、制御部21が、角度情報に基づいて1画面の映像における空の領域を算出して強圧縮エリアと判定し、強圧縮エリアについて圧縮率を高めるように、part制御信号及びcomp制御信号でISW処理部22及びPSW処理部23を制御し、I/P制御信号でI/P選択部24を制御する。
また、制御部21が、SUMの値を監視しながら、データ量に余裕があると判断すると、空の領域以外の部分(弱圧縮エリア)の圧縮率を低減して、より多くの符号化データを発生させるよう制御する。
これらの制御については後述する。
[制御信号]
ここで、各制御信号について説明する。
[part制御信号]
part制御信号は、本符号化装置の特徴であり、圧縮処理を施す領域(例えば8×8画素領域)が強圧縮エリアであるか否かを示す信号(エリア指示制御信号)である。ここでは、当該領域が、空の領域か、それ以外の領域かを示す信号としている。具体的には、制御部21が、角度情報に基づいて算出した強圧縮エリアに基づいて、圧縮処理を施す領域が空か否かを示すpart信号を出力する。
[comp制御信号]
comp制御信号は、従来と同様に量子化の程度を制御する信号であるが、本符号化装置では、SUMの値に基づく制御を、更に強圧縮エリアか否かによって調整して、量子化の粗さ、すなわちバッファメモリ25に入力されるS−CDデータ量を可変するものである。
具体的には、強圧縮エリアの領域については、SUMの値に関わらず、comp制御信号により量子化のしきい値を上げて、多くの係数を0で置換して、圧縮データ量を低減させる。
また、強圧縮エリア以外の領域(弱圧縮エリア)については、SUMの値が目標データ量より十分小さい場合には、comp制御信号により量子化のしきい値を下げて、圧縮データ量を増やす。これにより、目的の撮像対象が含まれる領域の画質を向上させることができるものである。
SUMの値が目標データ量を超えた場合には、従来と同様に、弱圧縮エリアについてもしきい値を上げて、圧縮データ量を低減させる。
そして、ISW処理部22及びPSW処理部23は、part制御信号、comp制御信号に基づいた圧縮処理を行う。ISW処理部22及びPSW処理部23の処理については後述する。
[I/P選択信号]
また、I/P選択信号は、I/P選択部24に対して、ISW処理部22からのIフレームと、PSW処理部23からのPフレームのいずれかを選択して出力させる信号であり、本符号化装置では、強圧縮エリアであれば、Iフレームを選択する間隔を大きくするよう制御するものである。Iフレームの頻度が低減することで、圧縮データ量を低減できる。
例えば、制御部21は、I/P選択信号によって、通常領域(弱圧縮エリア)では2秒に1回程度の割合でIフレームを選択させるが、強圧縮エリアの領域の場合には10秒に1回程度とする。
更に、制御部21は、SUMの値を監視しながら、バッファメモリ25のデータ量に余裕があると判断した場合には、I/P選択信号によって、弱圧縮エリアの領域について、Iフレームを選択する間隔を短くするよう指示する。
[ISW処理部22の構成:図5]
次に、本符号化装置のISW処理部22の構成について図5を用いて説明する。図5は、本符号化装置のISW処理部22の構成ブロック図である。
図5に示すように、本符号化装置のISW処理部22は、DCT(Discrete Cosine Transfer;離散コサイン変換)変換部31と、QSテーブル32と、QWテーブル33と、S/W選択部34と、量子化部35と、ハフマン符号器36とを備えている。
SW処理部22の各部について説明する。
DCT変換部31は、入力された映像信号について、例えば8×8画素ブロック毎にDCT変換を行って、周波数成分(DCT係数)に変換する。
Sテーブル32は、強い圧縮を行って高周波成分を低減する強圧縮テーブルであり、高周波成分が低減されたDCT係数Isを出力する。
Wテーブル33は、高周波成分が残りやすい、QSテーブル32より弱い圧縮を行う弱圧縮テーブルであり、高周波成分がある程度残ったDCT係数Iwを出力する。ここで、弱圧縮テーブルを従来と同様の通常の圧縮テーブルとしてもよい。
圧縮テーブルについては後述する。
S/W選択部34は、制御部21からのpart制御信号に基づいて、QSテーブル32からのDCT係数IsとQWテーブル33からのDCT係数Iwのいずれかを選択して出力する。
具体的には、S/W選択部34は、part制御信号によって強圧縮エリアである旨指示されると、QSテーブル32からのDCT係数Isを選択して、選択された係数Ikとして出力する。
また、S/W選択部34は、part制御信号によって強圧縮エリアではない(弱圧縮エリアである)と指示されると、QWテーブル33からのDCT係数Iwを選択して、選択された係数Ikとして出力する。
つまり、S/W選択部34は、強圧縮エリアである空の領域については、強く圧縮されて高周波成分が大幅に低減された圧縮データを選択し、それ以外の領域については、弱い圧縮により高周波成分がある程度残った圧縮データを選択して出力するものである。
量子化部35は、選択された係数Ikについて量子化処理を施す。
具体的には、量子化部35は、選択された係数Ikについて、設定されたしきい値に基づいて切り捨て処理を行うものであり、本符号化装置では、制御部21からのcomp制御信号に基づいて切り捨てしきい値を切り替えて設定し、切り捨て処理が施された係数(量子化後の係数)Ikqを出力する。
ここでは、量子化部35には高いしきい値と低いしきい値の2種類のしきい値が記憶されており、comp制御信号のオン/オフに応じて、高いしきい値又は低いしきい値を用いて切り捨て処理を行うものとしている。
尚、comp制御信号は、しきい値の値そのものを指示する信号であってもよく、この場合には、量子化部35はcomp制御信号によって指示されたしきい値で量子化を行う。
符号化対象の領域が強圧縮エリアの場合、SUMの値に関わらず、制御部21によってcomp制御信号がオンとなり、量子化部35は高いしきい値を設定する。例えば、しきい値を0.99とすることで、0.99未満の係数をすべて「0」に置換し、0.99以上の係数のみを通過させ、圧縮率を高める。
これにより、空の領域についてはQテーブル32で高周波成分が強く低減され、更に、量子化部35で大幅な切り捨てが行われて、高い圧縮率で圧縮されることになる。
また、弱圧縮エリアでは、制御部21によりcomp制御信号がオフとなり、量子化部35は低いしきい値を設定する。例えば、しきい値を0.1として、0.1未満の係数を切り捨てて「0」に置換する。この場合には、係数が「0」となって切り捨てられる頻度が下がり、通過する係数が増加するため、弱い圧縮となる。
本符号化装置においては、強圧縮エリアについてしきい値を高めて圧縮率を上げることで、弱エリアにおけるしきい値を従来よりも低く設定することが可能であり、これにより画質の向上を図ることができるものである。
但し、SUMの値が目標データ量を超えた場合には、従来と同様に、弱圧縮エリアについてもcomp制御信号がオンとなり、量子化部35は圧縮率を高める。
尚、ここでは、量子化のしきい値を2段階としたが、3段階として、comp制御信号によって指定するようにしてもよい。例えば、最も高いしきい値を強圧縮エリアに適用し、中間のしきい値をSUMの値が目標データ量を超えた場合の弱圧縮エリアに適用し、最も低いしきい値をSUMの値が目標データ量以下の場合の弱圧縮エリアに適用する。
このようにすると、通常エリアの圧縮データ量を大幅に低減せずに済むものである。
ハフマン符号器36は、入力された係数をハフマン符号化して、図1に示したように、符号化されたIフレームの圧縮データIk−CDを出力する。
[圧縮テーブルの例:図6]
ここで、圧縮テーブルについて図6を用いて説明する。図6は、圧縮テーブルの模式説明図であり、(a)は強圧縮テーブル、(b)は弱圧縮テーブルを示している。尚、ここでは5×5画素領域の圧縮を行う圧縮テーブルを示す。
図6(a)に示す強圧縮テーブルは、5×5のマトリクス状に数値が配列されたものであり、各数値は、DCT変換された5×5の各DCT係数を割り算する値(除数)である。
左上はDC成分用の除数(DC成分を割る数値)であり、右下に高周波成分用の除数が配置されている。
図6(a)に示すように、強圧縮テーブルでは、テーブルの右側及び下側に大きい数値が多く配置されており、高周波成分のDCT係数を大きい数値で除すことにより、高周波成分を大幅に低減させるものとなっている。
本符号化装置では、強圧縮テーブルを空のエリアに適用して、強く圧縮する。
これに対して、図6(b)に示すように、弱圧縮テーブルでは、(a)の強圧縮テーブルと比較して、右側及び下側の高周波成分に対する数値が小さくなっている。これにより、(b)の弱圧縮テーブルは、高周波成分も残りやすく、弱い圧縮を行うものとなる。
本符号化装置では、弱圧縮テーブルを、空以外のエリア(弱圧縮エリア)に適用して弱く圧縮する。
尚、QSテーブル32及びQWテーブル33は8×8のテーブルであるが、それぞれ、上述した強圧縮テーブル、弱圧縮テーブルと同様の傾向で数値が配列されており、QSテーブル32では強い圧縮が行われ、QWテーブル33では弱い圧縮が行われるものである。
特に、本符号化装置においては、QSテーブル32を設けて強圧縮エリアの圧縮率を上げて圧縮データ量を削減しているため、その分、QWテーブル33を従来に比べて弱い圧縮を行うように数値を設定しておくことが可能である。
これにより、空以外の通常エリアの画質を向上させることができるものである。
[ISW処理部22の動作:図5]
SW処理部22の動作について図5を用いて説明する。
SW処理部22では、映像信号(SI−VID)が、8×8画素ブロック毎にDCT変換部31でDCT変換されてQSテーブル32及びQWテーブル33に入力され、QSテーブル32では高周波成分が大幅に低減された圧縮データ(強圧縮データ)Isが生成され、QWテーブル33では高周波成分がある程度残った圧縮データ(弱圧縮データ)Iwが生成される。
そして、S/W選択部34において、制御部21からのpart制御信号に従って、当該ブロックが強圧縮エリアであれば強圧縮データIsが選択され、強圧縮エリア以外であれば弱圧縮データIwが選択されて、出力される。
そして、量子化部35において、comp制御信号がオンであれば、高いしきい値で切り捨てを行って高周波成分を更に圧縮し、comp制御信号がオフであれば、低いしきい値で切り捨てを行って高周波成分を残すようにする。
上述したように、空の領域については、SUMの値に関わらず高いしきい値で量子化が行われるものである。
量子化部35から出力された量子化された係数は、ハフマン符号器36に入力されてハフマン符号化され、Iフレームの圧縮データ(Ik−CD)として出力される。
このようにして、ISW処理部22における動作が行われる。
[PSW処理部23の構成:図7]
次に、PSW処理部23の構成について図7を用いて説明する。図7は、本符号化装置のPSW処理部23の構成ブロック図である。
図7に示すように、本符号化装置のPSW処理部23は、差分算出部(図では「差分」と記載)40と、DCT変換部41と、QSテーブル42と、QWテーブル43と、S/W選択部44と、量子化部45と、ハフマン符号器46とを備えている。
差分算出部40は、カメラ10から入力される映像信号(SI−VID)と、復号部26から入力される復号信号(V−DEM)との差分を算出する。
DCT変換部41は差分信号についてDCT変換を行って周波数成分(DCT係数)を出力する。
以下、QSテーブル42、QWテーブル43、S/W選択部44、量子化部45、ハフマン符号器46は、ISW処理部22における各部と同様の構成及び動作であり、説明は省略する。
SW処理部23の選択部44においても、part制御信号によって強圧縮エリアである旨通知された場合には、QSテーブル42において強く圧縮された圧縮データ(強圧縮データ)Psが選択され、強圧縮エリアではない旨通知された場合には、弱い圧縮が施された圧縮データ(弱圧縮データ)Pwが選択されて出力される。
また、PSW処理部23の量子化部45においても、comp制御信号がオンであれば、しきい値を高くして高周波成分を切り捨て、comp制御信号がオフであれば、低いしきい値で切り捨てを行って高周波成分を残すようにする。
尚、ISW処理部22のQSテーブル32、及びPSW処理部23のQSテーブル42が、請求項に記載した第1のテーブルに相当し、強圧縮データIs及びPsが第1のデータに相当し、ISW処理部22のQWテーブル33、及びPSW処理部23のQWテーブル43が第2のテーブルに相当し、弱圧縮データIw及びPwが第2のデータに相当している。
[ISW処理部の別の構成:図8]
次に、ISW処理部の別の構成(別のISW処理部)について図8を用いて説明する。図8は、別のISW処理部の構成ブロック図である。
上述した例では、2種類の圧縮テーブル(QSテーブル32、QWテーブル33)を備え、強圧縮エリアかどうかを指示するpart制御信号に基づいて、いずれかの圧縮テーブルの出力を選択するものとしたが、別のISW処理部では、圧縮テーブルは1種類として、量子化部へのしきい値を変更することで圧縮の強さを可変するようにしている。
図8に示すように、別のISW処理部220は、DCT変換部221と、QWテーブル222と、量子化部223と、ハフマン符号器224と、加算部225とを備えている。
これらの内、DCT変換部221と、ハフマン符号器224は、図5に示したISW処理部22における構成部分と同等であるため、説明は省略する。
そして、別のISW処理部220では、圧縮テーブルとして弱圧縮テーブルのQWテーブル222のみを備えており、圧縮の強さを量子化部223でのしきい値を変えることで調整する。
別のISW処理部220の特徴部分である加算部225は、量子化部223にしきい値を設定するしきい値指示信号Comp−Iを出力するものである。
具体的には、加算部225には、comp制御信号によって量子化のしきい値が入力されており、part制御信号によって弱圧縮エリアが指定された場合には、しきい値指示信号Comp−Iとして当該しきい値をそのまま量子化部223に設定する。
ここで、comp制御信号によって指定されるしきい値は、低い値であり、弱圧縮エリアについては、高周波成分が残りやすくなるよう、切り捨ての頻度を抑えて弱い圧縮を行うものである。
また、part制御信号によって強圧縮エリアが指定された場合には、加算部225は、comp制御信号によるしきい値に、予め設定された特定の値を加算して、しきい値指示信号Comp−Iとして量子化部223に出力する。
つまり、強圧縮エリアについては、量子化のしきい値を高く設定して、切り捨ての頻度を高め、強い圧縮を行って圧縮データIk−CDの量を低減するものである。
このように、別のISW処理部220は、圧縮テーブルでの圧縮は、強圧縮エリア及び弱圧縮エリアについて同等に行い、強圧縮エリアについては、量子化による圧縮を強く行うものとしている。
従って、別のISW処理部220では、圧縮テーブルと量子化の両方で符号化データ量を制御する図5の構成と比べて、量子化部223における強圧縮エリアのしきい値を更に高く設定することが望ましい。
[PSW処理部の別の構成:図9]
次に、PSW処理部の別の構成(別のPSW処理部)について図9を用いて説明する。図9は、別のPSW処理部の構成ブロック図である。
別のPSW処理部230は、差分算出部(図では「差分」と記載)231と、DCT変換部232と、QWテーブル233と、量子化部234と、ハフマン符号器235と、加算部236とを備えている。
別のPSW処理部230も、別のISW処理部220と同様に加算部236を備え、加算部236が、part制御信号によって強圧縮エリアを指示されると、comp制御信号によるしきい値に、予め設定されている特定の値を加算して、しきい値指示信号Comp−Pにより、量子化部234に加算されたしきい値を設定する。
これにより、強圧縮エリアについては高いしきい値で量子化を行って、圧縮データPk−CDの量を低減するものである。
別のISW処理部220及び別のPSW処理部230では、図5及び図7の構成に比べて、圧縮テーブルの数を低減し、構成及び処理を簡易にすることができるものである。
[映像信号の例:図10]
次に、映像信号の例について図10を用いて説明する。図10は、映像信号の例を示す模式説明図である。ここでは、ハイビジョンの信号構成を示す。
図10に示すように、2次元イメージにおいて、水平方向は映像期間(水平)、垂直方向は映像期間(垂直)を示す。太枠内が1画面に表示される映像情報であり、ハイビジョンでは、映像表示期間(垂直)の有効走査線は1080本、1走査線に含まれる有効画素数は1920画素である。
また、2次元イメージとしては、1画面分の映像情報の左側に水平ブランキング期間が設けられ、下側に垂直ブランキング期間が設けられている。ブランキング期間は、無効期間であり、水平ブランキング期間にはライン番号(走査線番号)が挿入されている。
制御部は、入力された映像信号から、最終の走査線(ラインNo=1125)に続いて生じる水平ブランキング期間におけるラインNo=1を探すことにより、映像の表示開始タイミングを認識することができるものである。
時間軸信号イメージでは、走査線単位で、ラインNo=1から順に映像信号が出力される。各走査線の映像信号の前に水平ブランキング期間が設けられ、また、1081番目から1125番目の走査線に相当する部分が垂直ブランキング期間となっている。
[強圧縮エリアの算出:図11,12]
次に、本符号化装置における強圧縮エリア(空のエリア、空エリア)の算出例について図11,12を用いて説明する。図11は、基本状態における空エリアの算出例を示す説明図であり、図12はカメラの角度情報を用いた空のエリアの算出例を示す説明図である。
本符号化装置では、空のエリアを三角形で近似して算出するようにしている。
[基本状態における算出例:図11]
まず、カメラの状態が基本状態にある場合の空エリアの算出例について図11を用いて説明する。
図11(a)では、チルト=0°,アングル=0°の場合の画像の例を示しており、この状態を基本状態とする。基本状態では、画面中央に空エリアの消失点があるものとして、この点を三角形で近似される空エリアの頂点(空エリア頂点)とする。
図11(b)に示すように、基本状態における空エリア頂点を点P0とする。
ハイビジョン映像において、水平方向の画素数は1920画素、垂直方向のライン数は1080であるため、基本状態における空エリア頂点P0の座標(画素番号,ライン番号)は、(960,540)となる。
そして、点P0、画面左上の角(0,0)、画面右上の角(0,1920)の三点を頂点とする三角形の領域を、基本状態における空エリアとする。
[角度情報を用いた算出例:図12]
次に、角度情報を用いて空エリアを算出する場合について図12を用いて説明する。
図12(a)では、チルト及びアングルが0°ではない場合の画像の例を示しており、消失点(空エリア頂点)P1は、基本状態に比べて画面右上方向に移動している。尚、図12のズーム量は図9と同一である。
点P0からの水平方向のずれをHof、垂直方向のずれをVofとすると、点P1の座標は、(960+Hof,540+Vof)となる。
水平方向のずれHofは、
Hof=Kh/2×tan(アングル角)/tan(水平画角/2) 式(1)
として算出される。
ここで、Khは水平方向の画素数(1920)であり、また、水平画角はズームの値によって決まるものであり、広角の場合には大きく、望遠の場合には小さくなる。
垂直方向のずれVofは、
Vof=Kv/2×tan(チルト角)/tan(垂直画角/2) 式(2)
として算出される。
ここで、Kvは垂直方向のライン数(1080)であり、チルト角の符号は中央に対して上をマイナス、下をプラスとする。また、垂直画角は、ズームの値によって決まるものであり、広角の場合には大きく、望遠の場合には小さくなる。
図12(b)では、アングル角の符号がプラス、チルト角の符号がマイナスの場合を示している。
このように、カメラの角度情報に基づいて、式(1)(2)によってHof,Vofを算出して、空エリア頂点P1の座標を決定し、空エリア頂点P1、画面左上の角(点A)、画面右上の角(点B)、の三点を頂点とする三角形の領域を、当該画面における空エリアとする。
本符号化装置では、三角形で近似することにより、簡易な演算で空エリアを算出することができるものである。
[点P0からのずれ量の算出例:図13]
ここで、空エリア頂点P1を求めるための、画面中央の点P0からのずれ量の算出例について図13を用いて説明する。図13は、水平方向のずれ(Hof)の算出例を示す説明図である。
図13(a)は、図12(b)と同等の図であり、点P1の水平方向の座標(画素番号)は、960を中心として、アングル角に応じて1〜1920の値を取り、上述したように960+Hofで表される。
撮影される画面の水平方向範囲は、ズーム画角によって決まり、それがカメラ撮像素子数Khに取り込まれる。
被写体をアングル角を設けて撮影した場合の水平方向のずれHofの算出例を図13(b)を用いて説明する。
図13(b)は、水平画角の両端(点A,点B)と、カメラ位置とで構成される撮影範囲を上面から見た三角形を表している。画面の中心点(点P0)は、辺ABの中点として表され、画面上で被写体が遠ざかり小さくなって消えていく点P1は、アングル角に応じて辺AB上を移動する。
辺ABの中点P0とカメラ位置との距離をLとする。ズーム量によって水平画角が決定されると、カメラ位置から点P0及び点Bを見込む画角は水平画角/2であるから、点P0から点Bまでの長さd1は、
d1=L*tan(水平画角/2)で表される。
アングル角=0°の場合には、点P1は点P0と一致するが、アングル角が発生すると、点P1はアングル角の大きさに応じて点B方向に移動する(アングル角の符号を正とする)。
この場合、点P0から点P1までの水平方向分の長さd2は、
d2=L*tan(アングル角)で表される。
従って、画素数で表される水平方向のずれHofは、
Hof=Kh/2×(d2/d1)
=Kh/2×(tan(アングル角)/tan(水平画角/2))
で表すことができる。ハイビジョン映像の場合には、Kh=1920画素である。
このようにして、水平方向のずれHofを算出するものである。
また、垂直方向のずれVofを求める場合には、点P1を通る垂直方向の直線を用いて、ズーム各で決定される垂直画角及びチルト角に基づいて、上述した例と同様に算出することができる。
尚、ここでは空エリアを三角形で近似する場合を説明したが、ズーム量が大きくなった場合等には、三角形ではなく、台形として近似してもよい。
例えば、上述した方法で求めた空エリア頂点Pを中心として、ズーム量に応じて左右に一定の長さ(画素数)だけ移動した点(点Q、点Rとする)を下底の頂点とする。そして、画面左上の角、点Q、点R、画面右上の角の4点を頂点とする台形の領域を、空エリアとして判定する。
このようにすると、ズーム量が大きくなっても、空のエリアを正確に求められるものである。
そして、本符号化装置の制御部21では、映像信号(SI−VID)から映像開始タイミング(ライン=0)を検出すると共に、角度情報を入力し、図10に示したように、1画面分の映像信号における空エリアを算出し、その情報を保持しておく。
そして、制御部21は、8×8画素のブロック毎の符号化の際に、当該ブロックの領域が、空エリアであるかどうかを判断して、上述したように、part制御信号、comp制御信号をISW処理部22及びPSW処理部23に出力して、空エリアであれば強圧縮テーブルでの圧縮と、高いしきい値を用いた量子化を行って圧縮データを低減するよう制御すると共に、I/P制御信号によって、Iフレームの頻度を低減させて更に圧縮データ量を削減させる。
尚、強圧縮エリアについて、強圧縮テーブルでの圧縮と、高いしきい値を用いた量子化を行って、Iフレームの頻度を低減させずに圧縮データ量を低減させるよう制御してもよい。
また、空エリア以外の部分では、ISW処理部22及びPSW処理部23に対して、part制御信号により、弱圧縮テーブルでの圧縮データを選択させ、comp制御信号により、低いしきい値で量子化させ、十分な量の圧縮データを割り当てる。
更に、空エリアを強く圧縮することによって、SUMの値に余裕が発生した場合には、空エリア以外の領域について、comp制御信号によって量子化のしきい値を更に低くしたり、I/P選択信号により、Iフレーム選択の頻度を上げるよう制御することにより、圧縮データ量を増加させて画質を向上させることができるものである。
このようにして、本符号化装置では、伝送データ量の制限があっても、変化の小さい背景等の領域の圧縮データ量を大幅に低減すると共に、目的とする撮像対象物の領域により多くの圧縮データを割り当てて、効率的に圧縮データ量を分配し、目的とする撮像対象物の画質を向上させることができるものである。
[動きベクトルへの応用]
本符号化装置で算出する強圧縮エリアは、動きの小さいエリアであるため、動きベクトルが小さくなる。
そのため、強圧縮エリアについて、動きベクトルのヘッダを省略することが可能となり、一層データ量の削減を図ることができるものである。
[実施の形態の効果]
本符号化装置及び本符号化方法によれば、制御部21が、角度検出部11から入力されるカメラの角度情報に基づいて、空などの変化の小さい領域を強圧縮エリアとして検出し、ISW処理部22及びPSW処理部23に対して、強圧縮エリアについては、強圧縮テーブルでの圧縮データを選択させ、量子化のしきい値を高くして圧縮データ量を低減させると共に、弱圧縮エリアについては、弱圧縮テーブルでの圧縮データを選択させ、量子化のしきい値を低くして圧縮データ量を相対的に多くさせるよう制御し、更に、I/P選択部24に対して、強圧縮エリアについてIフレームの選択頻度を低下させ、バッファメモリ25に余裕ができた場合には、弱圧縮エリアについてIフレームの選択頻度を増加させるよう制御するようにしているので、領域毎に圧縮の強さを変えて効率的に圧縮データ量を割り当てることができ、伝送データ量に制約があっても、目的とする撮像対象物を含む領域の圧縮データ量を増やして、画質を向上させることができる効果がある。
また、本符号化装置及び本符号化方法では、強圧縮エリアの算出を、カメラの角度情報に基づいて行っているが、例えば、映像信号から抽出した情報等、その他の情報を利用して算出するようにしてもよい。
また、上述した例では、ISW処理部22及びPSW処理部23の両方に、強圧縮テーブルと弱圧縮テーブルを備えた場合について説明したが、例えばPSW処理部23は、従来と同様に通常圧縮テーブルのみを備えた構成としてもよい。
この場合でも、圧縮データ量が大きくなるIフレームについて強圧縮エリアのデータ量を大幅に削減できるため、強圧縮エリア以外の領域の画質向上を図ることができる。
更に、上述した本符号化装置の例では、強圧縮エリアについて、強圧縮テーブルで圧縮し、量子化部でのしきい値を上げて高周波成分を低減させ、Iフレームの頻度を低下させる制御を全て行うものとしているが、これらの制御の一部を行うものとしてもよい。
本発明は、伝送データ量に制約があっても、目的とする撮像対象物の画質を向上させることができる映像符号化装置及び映像符号化方法に適している。
20…符号化部、 21,51…制御部、 22…ISW処理部、 23…PSW処理部23、 24,54…I/P選択部、 25,55…バッファメモリ、 26,56…復号部、 31,41,221,232…DCT変換部、 32,42…QSテーブル、 33,43,222,233…QWテーブル、 34,44…S/W選択部、 35,45,223,234…量子化部、 36,46,224,235…ハフマン符号部、 40,231…差分算出部、 52…I処理部、 53…P処理部、 225,236…加算部

Claims (7)

  1. 屋外を移動する移動中継車に搭載したカメラで、アングル、チルト、及びズームを調整して、移動する撮像対象物を撮像した映像信号を入力して符号化し、圧縮データを出力する映像符号化装置であって、
    前記映像信号において強く圧縮される強圧縮エリアを検出する制御部と、
    前記映像信号からIフレームの圧縮データを生成するI処理部と、
    前記映像信号からPフレームの圧縮データを生成するP処理部と、
    前記Iフレームの圧縮データ又は前記Pフレームの圧縮データを選択して出力するI/P選択部とを有し、
    前記制御部が、前記強圧縮エリアの頂点となる空エリア頂点を、前記カメラのアングル、チルト、及びズーム量について予め定めた基本状態における画面上の特定の基準点から、前記ズーム量によって決定される画角の中で、前記基本状態からの前記アングルの変動量に応じて左右に移動させ、前記基本状態からの前記チルトの変動量に応じて上下に移動させて、前記空エリア頂点を決定し、
    前記決定された空エリア頂点と、画面左上の角と、画面右上の角の三点で囲まれる三角形の領域に基づいて前記強圧縮エリアを検出し、
    前記I処理部及び前記P処理部が、前記検出された強圧縮エリアについては強く圧縮し、前記強圧縮エリア以外の弱圧縮エリアについては前記強圧縮エリアより弱く圧縮することを特徴とする映像符号化装置。
  2. 制御部が、基準点を画面中央の点として、水平方向のずれ量と垂直方向のずれ量を算出して空エリア頂点を決定し、
    水平方向の画素数をKh、垂直方向のライン数をKvとした場合に、水平方向のずれHofを、Hof=Kh/2×tan(アングル角)/tan(水平画角/2)として算出し、垂直方向のずれVofを、Vof=Kv/2×tan(チルト角)/tan(垂直画角/2)として算出することを特徴とする請求項1記載の映像符号化装置。
  3. I/P選択部で選択された圧縮データを蓄積するバッファメモリを備え、
    制御部が、強圧縮エリアについてIフレームの圧縮データを選択する頻度を低下させるよう前記I/P選択部を制御すると共に、前記バッファメモリに蓄積されたデータ量が目標値より小さい場合には、前記弱圧縮エリアについてIフレームの圧縮データを選択する頻度を増加させるよう前記I/P選択部を制御することを特徴とする請求項1又は2記載の映像符号化装置。
  4. I処理部又はP処理部、若しくは両処理部が、第1の圧縮テーブルを用いて映像信号を強く圧縮して第1の圧縮データを出力すると共に、第2の圧縮テーブルを用いて前記第1の圧縮テーブルより弱く圧縮して第2の圧縮データを出力し、前記第1の圧縮データ又は前記第2の圧縮データのいずれかを選択して出力するS/W選択部を備え、
    制御部が、前記I処理部又は前記P処理部若しくは両処理部の前記S/W選択部を、強圧縮エリアについては前記第1の圧縮データを選択させ、弱圧縮エリアについては前記第2の圧縮データを選択させるよう制御することを特徴とする請求項1乃至3のいずれか記載の映像符号化装置。
  5. I処理部又はP処理部、若しくは両処理部が、S/W選択部からの出力を、用いられるしきい値未満の場合に「0」とする切り捨て処理を行う量子化部を備え、
    制御部が、前記I処理部又は前記P処理部若しくは両処理部の前記量子化部を、強圧縮エリアについては高周波成分を大幅に切り捨てる第1のしきい値を用いて切り捨て処理させ、弱圧縮エリアについては前記第1のしきい値より低い第2のしきい値を用いて切り捨て処理させるよう制御することを特徴とする請求項4記載の映像符号化装置。
  6. 屋外を移動する移動中継車に搭載したカメラで、アングル、チルト、及びズームを調整して、移動する撮像対象物を撮像した映像信号を入力して符号化し、圧縮データを出力する映像符号化装置における映像符号化方法であって、
    制御部が、前記カメラのアングル、チルト、及びズーム量について予め定めた基本状態における画面上の特定の基準点から、前記ズーム量によって決定される画角の中で、前記基本状態からの前記アングルの変動量に応じて左右に移動させ、前記基本状態からのチルトの変動量に応じて上下に移動させた点を、前記空エリア頂点として決定し、前記決定された空エリア頂点と、画面左上の角と、画面右上の角の三点で囲まれる三角形の領域に基づいて前記映像信号において強く圧縮される強圧縮エリアを検出し、
    前記映像信号からIフレームの圧縮データを生成するI処理部及び前記映像信号からPフレームの圧縮データを生成するP処理部が、前記検出された強圧縮エリアについては強く圧縮し、前記強圧縮エリア以外の弱圧縮エリアについては前記強圧縮エリアより弱く圧縮し、
    I/P選択部が、前記Iフレームの圧縮データ又は前記Pフレームの圧縮データのいずれかを選択して出力することを特徴とする映像符号化方法。
  7. 制御部が、強圧縮エリアについてIフレームの圧縮データを選択する頻度を低下させるようI/P選択部を制御することを特徴とする請求項6記載の映像符号化方法。
JP2018034495A 2018-02-28 2018-02-28 映像符号化装置及び映像符号化方法 Active JP6694902B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018034495A JP6694902B2 (ja) 2018-02-28 2018-02-28 映像符号化装置及び映像符号化方法
PCT/JP2019/003642 WO2019167546A1 (ja) 2018-02-28 2019-02-01 映像符号化装置及び映像符号化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018034495A JP6694902B2 (ja) 2018-02-28 2018-02-28 映像符号化装置及び映像符号化方法

Publications (2)

Publication Number Publication Date
JP2019149754A JP2019149754A (ja) 2019-09-05
JP6694902B2 true JP6694902B2 (ja) 2020-05-20

Family

ID=67806044

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018034495A Active JP6694902B2 (ja) 2018-02-28 2018-02-28 映像符号化装置及び映像符号化方法

Country Status (2)

Country Link
JP (1) JP6694902B2 (ja)
WO (1) WO2019167546A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023132163A1 (ja) * 2022-01-05 2023-07-13 住友電気工業株式会社 映像圧縮方法、映像圧縮装置、コンピュータプログラム、及び映像処理システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0583566A (ja) * 1991-09-24 1993-04-02 N T T Data Tsushin Kk 画像符号化装置
JPH0670175A (ja) * 1992-08-19 1994-03-11 Fujitsu Ltd 画像データ符号化方法及び装置
JPH0888853A (ja) * 1994-09-16 1996-04-02 Toshiba Corp メディア処理システム
JPH0998416A (ja) * 1995-09-29 1997-04-08 Denso Corp 画像信号の符号化装置および画像の認識装置
JP2001148857A (ja) * 1999-11-18 2001-05-29 Canon Inc 静止画撮影発信システム及び静止画伝送方法及び記憶媒体
JP2007328630A (ja) * 2006-06-08 2007-12-20 Fujitsu Ten Ltd 物体候補領域検出装置、物体候補領域検出方法、歩行者認識装置および車両制御装置
JP2010093627A (ja) * 2008-10-09 2010-04-22 Sharp Corp 動画像符号化装置
US10205953B2 (en) * 2012-01-26 2019-02-12 Apple Inc. Object detection informed encoding
JP5943084B2 (ja) * 2012-08-31 2016-06-29 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP6086619B2 (ja) * 2015-03-27 2017-03-01 株式会社日立国際電気 符号化装置および符号化方法
JP2017163228A (ja) * 2016-03-07 2017-09-14 パナソニックIpマネジメント株式会社 監視カメラ

Also Published As

Publication number Publication date
WO2019167546A1 (ja) 2019-09-06
JP2019149754A (ja) 2019-09-05

Similar Documents

Publication Publication Date Title
US9420279B2 (en) Rate control method for multi-layered video coding, and video encoding apparatus and video signal processing apparatus using the rate control method
JP5268743B2 (ja) 画像通信システム
US7382932B2 (en) Image processing apparatus and method, and computer program and computer-readable storage medium
JPH04196976A (ja) 画像符号化装置
JP2015050661A (ja) 符号化装置、符号化装置の制御方法、及び、コンピュータプログラム
JP2006352198A (ja) 画像符号化装置及び画像符号化プログラム
KR20180056382A (ko) 비디오를 인코딩하기 위한 방법 및 인코더 시스템
JP6435029B2 (ja) 映像符号化装置及び映像符号化プログラム
JP6694902B2 (ja) 映像符号化装置及び映像符号化方法
JP5100572B2 (ja) 符号化装置
KR100366382B1 (ko) 동영상 부호화 장치 및 방법
JP5656575B2 (ja) 画像符号化装置
JPH0787586B2 (ja) 画像信号符号化制御方式
JP4857243B2 (ja) 画像符号化装置及びその制御方法、コンピュータプログラム
KR20170095047A (ko) 동적 프레임 삭제 장치 및 방법
JP6694905B2 (ja) 映像符号化装置及び映像符号化方法
JP5171658B2 (ja) 画像符号化装置
JP5419560B2 (ja) 撮像装置
JP4857152B2 (ja) 直交変換・量子化装置
JP2009118096A (ja) 画像符号化装置及びその制御方法、コンピュータプログラム
JP2007081744A (ja) 動画像符号化装置及び動画像符号化方法
WO2013073422A1 (ja) 動画像符号化装置
JP2015073192A (ja) 映像符号化装置及び映像符号化プログラム
JP4406887B2 (ja) 動画像符号化装置及び動画像符号化方法
JP2006081066A (ja) 画像生成装置および画像生成プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200420

R150 Certificate of patent or registration of utility model

Ref document number: 6694902

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250