JP5986877B2 - 画像伝送システム - Google Patents

画像伝送システム Download PDF

Info

Publication number
JP5986877B2
JP5986877B2 JP2012229431A JP2012229431A JP5986877B2 JP 5986877 B2 JP5986877 B2 JP 5986877B2 JP 2012229431 A JP2012229431 A JP 2012229431A JP 2012229431 A JP2012229431 A JP 2012229431A JP 5986877 B2 JP5986877 B2 JP 5986877B2
Authority
JP
Japan
Prior art keywords
image
bit accuracy
accuracy information
unit
bit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012229431A
Other languages
English (en)
Other versions
JP2014082651A (ja
Inventor
恭平 海野
恭平 海野
岡田　光弘
岡田　　光弘
小味　弘典
弘典 小味
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Maxell Energy Ltd
Original Assignee
Hitachi Maxell Energy Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Maxell Energy Ltd filed Critical Hitachi Maxell Energy Ltd
Priority to JP2012229431A priority Critical patent/JP5986877B2/ja
Priority to PCT/JP2013/077983 priority patent/WO2014061664A1/ja
Priority to US14/436,094 priority patent/US9877026B2/en
Priority to CN201380054279.5A priority patent/CN104756497B/zh
Publication of JP2014082651A publication Critical patent/JP2014082651A/ja
Application granted granted Critical
Publication of JP5986877B2 publication Critical patent/JP5986877B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、画像伝送システムに関する。
近年、ネットワークに接続された画像伝送システムは、監視カメラシステム等で広く使用されている。また今後、自動車に複数取り付けられたカメラをディジタルネットワークで接続し、運転支援システムに活用する等のアプリケーションが考えられている。
上記使用例では、明暗部での視認性向上、また細部の形状の認識性向上のために、従来の8ビット精度のYUV信号から階調を拡大した高階調画像を用いる必要がある。
このような高階調画像データをネットワーク等の伝送帯域が限られた条件下で伝送する場合、例えば原画像のYUV成分を12ビットでサンプリングし、符号化することで画像の階調表現は向上するが、一方で符号量が増加する。このため、原画像の階調数を可能な限り維持しつつ、符号化によって効率良く符号量を削減する技術が望まれる。
本技術分野の背景技術として、特開2005-252556号公報（特許文献1）がある。
特開2005-252556号公報
前記特許文献1には高階調画像を高効率に符号化するための技術として、CT（Computed Tomography）画像データの特徴を利用し「画像データの各画素に対して画素値がある範囲内に存在するかどうかを判定し、該範囲内の画素に対してのみ高精度の符号化を行い、範囲外の画素に対しては低い精度の符号化を行う」と記載されている。
しかし、画像内のどの画素または領域を高精度に符号化すべきであるかは、符号化対象画像の特徴や、符号化した画像データを利用する後段のアプリケーションによって異なる。
これに関し、前記特許文献1はCT画像以外の画像を符号化する場合、また符号化した画像データを画像診断以外に用いる場合については考慮されていない。
本発明は、上記課題を解決し、後段のアプリケーションが変化する場合においても、原画像である高階調画像の階調を維持しつつ符号量を効率的に削減可能な画像伝送システムを提供するものである。
本願において開示される発明のうち代表的なものの概要を簡単に説明すれば次の通りである。
（１）送信側から画像データを伝送し、受信側で画像処理を行う画像伝送システムであって、入力画像を符号化してビットストリームを出力、伝送する画像送信装置と、前記ビットストリームを受信、復号して画像処理を行う画像受信装置と、画像内の各領域のビット精度情報を生成するビット精度情報生成部と、前記ビット精度情報生成部により生成されたビット精度情報に従って前記画像送信装置内部で行う量子化処理における量子化ステップ幅を制御する量子化制御部と、前記画像受信装置により復号された復号画像を使用して画像処理を行う画像処理部を備え、前記ビット情報生成部は、前記画像処理部の処理モードに従ってビット精度情報の生成手法を切り替えることを特徴とする画像伝送システムである。
本発明によれば、後段のアプリケーションが変化する場合においても、原画像である高階調画像の階調を維持しつつ符号量を効率的に削減可能な画像伝送システムを提供できる。
本発明に係る画像伝送システムの第1の実施形態の構成例を示す図である。 画像送信装置における変換部の構成例を示す図である。 H.264におけるQPと量子化ステップ幅の関係を表すグラフである。 ビット精度情報とQPオフセットの関係の例を表す表である。 ビット精度情報とQPオフセットの関係の例を表す表である。 車載カメラによって撮影される画像の例である。 車線検知モード時のビット精度情報の設定例である。 オーバービューモニタモード時のビット精度情報の設定例である。 ADASのモードと対応するカメラの種類をまとめた表である。 障害物検知モード時のビット精度情報の設定例である。 道路標識検知モード時のビット精度情報の設定例である。 スルーモード時のビット精度情報の設定例である。 本発明に係る画像伝送システムの第2の実施形態の構成例を示す図である。 ビット精度情報の生成法を設定するフローチャートである。 オーバービューモニタモード時にモニタに表示される画像の例である。 オーバービューモニタモードを実現するための構成図の例である。
以下、本発明に係る実施の形態について図面を用いて説明する。
図1は、本発明に係る画像伝送システムの第1の実施形態の構成例を示す。以下では、本発明を車載カメラシステムに適用する場合を例に説明する。
画像送信装置101は、外部から光を入力して画像へ変換し、得られた画像を符号化してビットストリームを生成し、前記ビットストリームをパケッタイズまたはフレーミングして、ネットワークIF109を介して画像受信装置121へ出力する。また、画像送信装置101は、画像受信装置121から出力された、後述するパケッタイズまたはフレーミングされたビット精度情報を入力する。
撮像部102は、外部から入力された光を高階調画像へ変換して、前記高階調画像を符号化対象画像として出力する。
以下、変換部103、局所復号部104、量子化部105、量子化制御部106、符号化部107、QP設定部108の処理についてそれぞれ説明するが、その処理は前記符号化対象画像を16×16画素に区切った領域（以下MB）毎に行う。
変換部103は、前記符号化対象画像信号を入力とし、後述する処理を行い、変換係数を出力する。
変換部103の内部構成の例を図2に示す。予測部110は符号化対象画像と、局所復号部104から出力される符号化済み領域の復号画像を入力とし、前記復号画像から前記符号化対象画像の予測画像を作成する。更に、前記予測画像と前記符号化対象画像の差分を算出することにより誤差画像を生成し、周波数変換部111へ出力する。
周波数変換部111では、前記誤差画像に対して離散コサイン変換（DCT）等の周波数変換を施し、その結果として得られる変換係数を出力する。
なお、ここでは変換部103の内部構成の一例として予測部110が存在する場合の構成について説明したが、ITU-T Rec.T.81 | ISO/IEC 10918-1（JPEG）のように予測を行わず、符号化対象画像を周波数変換部111において直接変換を行うという構成でも良い。
量子化部105は、変換部103から出力される周波数変換後の変換係数を入力とし、前記変換係数を内部で量子化し、量子化サンプルを出力する。量子化ステップ幅は、ITU-T Rec. H.264 | ISO/IEC 14496-10 Advanced Video Coding（以下H.264）等の符号化方式と同様に、量子化パラメータ（QP）を用いて制御する。量子化部105で使用するQPを符号化QPと呼び、前記符号化QPは量子化制御部106から出力される。
符号化部107は、量子化部105から出力される量子化サンプルを入力とし、内部でエントロピー符号化を行い、ビットストリームを出力する。
局所復号部104は、量子化部105から出力される量子化サンプルを入力とし、逆量子化、逆周波数変換を行うことで量子化誤差を含む誤差画像を得た後、変換部103内部の予測部110から出力される予測画像と加算することで復号画像を生成し、前記復号画像を予測部110へ出力する。
QP設定部108は、符号化部107から出力される符号化済みMBの符号量を用いて、フレーム毎にQPを設定し、前記QPを量子化制御部106へ出力する。具体的には、例えば目標ビットレートでの符号化を実現するために、フレーム毎に予め設定した目標符号量と実際の符号量を比較し、目標符号量に近づく方向にフレームのQP値を増減させるようフィードバック制御する。なお、以下ではQP設定部から出力されるQPをベースQPと呼ぶこととする。
ここではフレーム毎にベースQPを決定する場合について説明したが、MB毎、または複数MB毎にベースQPを設定しても良い。更に、シーケンス全体で固定のベースQPを使用しても良い。
量子化制御部106は、ネットワークIF109から出力されるビット精度情報を入力とし、内部でQPオフセットを算出する。その後、QP設定部108から入力されるベースQPと前記QPオフセットを加算し、得られる符号化QPを量子化部105へ出力する。ここでビット精度情報とは、画像受信装置121内の画像処理部124で行う画像処理において、画像内の各領域で必要とされる階調数を表す情報である。
ネットワークIF109は、符号化部107から出力されるビットストリームを入力し、パケッタイズまたはフレームミング処理を行った後、前記パケッタイズまたはフレーミングされたビットストリームを出力する。また、画像受信装置121からネットワークを経由して、パケッタイズまたはフレーミングされたビット精度情報を入力し、デパケッタイズまたはデフレーミングして、量子化制御部106へ出力する。
ビット精度情報は、前記符号化対象画像の各フレームの先頭で１画面分受信し、量子化制御部106内部のRAMに書き込む。RAMに書き込まれたビット精度情報は、各MBで前記QPオフセットを算出する際に読み出して使用する。
このように、ビット精度情報はフレーム毎に設定を変更することが出来るが、必ずしも毎フレーム変更する必要はない。もし、フレームの先頭でビット精度情報が送信されてこなかった場合は、直前のフレームで使用したビット精度情報をそのまま引き継いで使用する。
次に、ビット精度情報を用いた具体的な制御方法の例を説明する。
各MBにおけるビット精度情報DMBは、入力画像のYUV各成分のビット精度（階調数）をDinとすると、1≦DMB≦Dinの整数で表される。例えば、入力画像のビット精度が12ビット（Din =12）の場合、DMBは1〜12の整数値を取る。
まず、QP設定部108においてベースQPを決定する。
次に、画像受信装置121からネットワークIF109を経由して受信した１画面分のビット精度情報から、当該MBのビット精度情報を読み込む。
前記当該MBのビット精度情報に基づき、量子化制御部106において、QPオフセットQPoffを式（数１）を用いて算出する。
（数１）QPoff = (Din − DMB)×α
ここで、αは任意の実数である。H.264では、図3に示すようにQPが6増える毎に量子化ステップ幅が2倍となり、ビット精度を1bit削減することに相当する。よって、H.264と同様なQPを使用する場合は、式(数1)のα=6とすることで、ビット精度情報に対応したQPオフセットを容易に求めることが出来る。
図4にDin=12、α=6の場合のQPoffとDMBの関係を示す。なお、図4にはDMBが6の場合までしか記載されていないが、DMB＜6の場合についてもDMB≧6の場合と同様な方法でQPoffを得ることが出来る。
前記では、α=6の場合を例に説明したが、αを予め決定しておけばα=6でなくとも前記同様の手順でQPオフセットを容易に求めることが出来る。また、QPオフセットは前記のような算出式ではなく、図5のように予めDin、DMB、QPoffの関係を定義したテーブルを用意しておき、DMBが入力されるたびにテーブルを参照するという方法で決定しても良い。
また、1画面分の全てのMBのビット精度情報が同じ値に設定されていた場合は、符号化対象画像をビット精度情報と等しいビット精度を持つ画像として符号化処理を行うことも出来る。
例えば、符号化対象画像のビット精度DinがDin =12、MB毎のビット精度情報DMBが画面内全てのMBにおいてDMB =8だった場合、画像送信装置101内部において符号化対象画像信号の全12ビット中上位8ビットのみを使用することとする。また、H.264におけるbit_depth_luma、bit_depth_chromaに相当する、符号化対象画像のビット精度を指定する変数が存在する場合は、それらの変数も画面全体のDMBと等しい値、例えば8ビットに設定し、その情報をビットストリームへ組み込んで画像受信装置121へ送信する。
以上のように、ビット精度情報に応じて演算に用いるビット数を削減し、使用していない演算器のクロックを停止することで、演算処理に要する消費電力を削減することが出来る。
次に、図1における画像受信装置121の構成、及び処理について説明する。
画像受信装置121は、パケッタイズまたはフレーミングされたビットストリームを画像送信装置101から受信し、内部で復号し、復号画像を用いて認識処理などの画像処理を行い、スピーカやモニタへ画像や音声を出力する。また、内部で前記ビット精度情報を生成し、パケッタイズまたはフレーミングして画像送信装置101へ出力する。
ネットワークIF122は、画像送信装置101から出力されるパケッタイズまたはフレーミングされたビットストリームを入力し、デパケッタイズまたはデフレーミングして復号部123へ出力する。また、ビット精度情報生成部125から出力されるビット精度情報を入力し、パケッタイズまたはフレーミングし、前記パケッタイズまたはフレーミングされたビット精度情報を出力する。
復号部123は、前記デパケッタイズまたはデフレーミングされたビットストリームを入力とし、内部で復号画像を作成し、画像処理部124へ出力する。
画像処理部124は、前記復号画像を入力とし、内部で先進運転支援システム（以下ADAS）を実現する画像認識処理、例えば車線検知処理や障害物検知処理を行い、認識結果の画像をモニタ126へ出力する。また、車線逸脱警報等を行う場合はスピーカ127へ音声信号を出力する。車線検知や障害物検知、オーバービューモニタといったようなADASにおける処理の種類（以下処理モード）は走行中に切り替え可能である。
処理モードの切り替えは、例えばシフトレバーと連動し、シフトレバーがリバースレンジを選択している場合にはオーバービューモニタモード、ドライブレンジやセカンドレンジといった前進走行をするレンジを選択している場合は車線検知モードをそれぞれ自動的に選択することで実現できる。
また、上記のようにシフトレバーと連動させる方法以外にも、例えばカーナビゲーションシステム等に備え付けられた物理キーまたはタッチパネル操作によって、ドライバーや同乗者が明示的に処理モードを指定することで、処理モードを切り替えることも可能である。
画像処理部124において、現在どの処理モードを実行しているかという処理モード情報は、ビット精度情報生成部125へ出力される。
ビット精度情報生成部125は、画像処理部124から前記処理モード情報を入力し、前記処理モード情報に従って画面内の各MBの前記ビット精度情報の設定方法を切り替える。設定したビット精度情報は、ネットワークIF122へ出力する。
ここで、例として前記処理モードがモード1、モード2、モード3、モード4の計4種類存在する場合について、ビット精度情報の生成手段を切り替える手順を図14を用いて説明する。
まず、ステップS130において、フレーム毎に前記処理モード情報を確認する。次に、前記処理モード情報がモード1だった場合はステップS131、モード2だった場合はステップS132、モード3だった場合はステップS133、モード4だった場合はステップS134にそれぞれ進む。
ステップS131、ステップS132、ステップS133、ステップS134ではそれぞれ、ビット精度情報生成部125内部のメモリに予め保存されている、各モードにおける生成手段を読み込む。その後、ステップS135へ進む。
ステップS135では、ステップS131、ステップS132、ステップS133、ステップS134のいずれかで読み込んだ設定手段に従って、画面内の各MBにおけるビット精度情報を生成する。
次に、前記処理モード情報が車線検知モードと、車両を上空から俯瞰したような画像を表示するオーバービューモニタモードの場合について、ビット精度情報の具体的な生成法の例をそれぞれ説明する。また、一般的に車載カメラには車両前部に設置されるフロントカメラ、車両側面部に設置されるサイドカメラ、車両後部に設置されるリアカメラの3種類が存在するが、ここではフロントカメラを使用する場合を例に説明する。
初めに、前記処理モード情報が車線検知モードの場合について説明する。例えばフロントカメラによって図6のような映像が得られている場合、車線検知にとって重要なのは、画面下半分の道路部分のみである。このとき、フロントカメラを同一のモードで使用している場合は基本的にアングルの変化は無く、また画面全体における道路部分の占める領域もほぼ一定である。
よって、画面下半分のみが高いビット精度、画面上半分は低いビット精度となるように前記ビット精度情報を設定すれば、車線検知処理に重要な部分の階調数を維持しつつ、効率的に符号量を削減することができる。尚、説明の便宜上、画面の上半分、下半分と記載しているが必ずしも完全に画面の１／２ずつに分ける必要はなく、画面全体における道路部分の占める領域とその他の領域を区別するような分け方であればよい。
図7は画面上半分が低いビット精度、画面下半分が高いビット精度となるようにビット精度情報を設定した場合の例である。
図7において水平方向、垂直方向に一定間隔で平行に引かれている直線はMBの境界線を表しており、各MB内に表示されている数字が、それぞれのMBのビット精度情報DMBを表している。
図7の例では、車線検知処理において画像認識処理の対象となるMBについては12ビット精度、その他のMBについてはモニタ126へ画像を表示する場合を想定し、表示装置に広く用いられている8ビットに設定している。
次に、前記処理モード情報がオーバービューモニタモードに切り替わった場合について説明する。オーバービューモニタモードは、フロントカメラ、左右のサイドカメラ、リアカメラの計4つのカメラで撮影した画像を変換・合成し、車両を上空から俯瞰した図15のような画像をモニタに表示するモードである。
オーバービューモニタモードでは画像処理部124内部で特に画像認識処理は行わないが、図16のように画像受信装置121に対して、フロントカメラ、左右のサイドカメラ、リアカメラにそれぞれ相当する画像送信装置101、151、152、153の4つをネットワーク140を介して接続し同時に画像データを転送するため、伝送帯域を考慮して各画像データの符号量を削減しなければならない。よって、オーバービューモニタモードの場合は、符号量の削減と画像変換処理を行う際の演算精度の両方を考慮して、例えば図8のように画面内の全てのMBについてビット精度情報DMBを10に設定する。
以上のように、それぞれのモードに対するビット精度情報の設定パターンを予めビット精度情報生成部内部のメモリに記録しておき、処理モード情報に従って適切な設定パターンを読み出すことで、ADASの各処理において認識処理に使用する部分の階調数を維持しつつ、その他の部分の符号量を削減して効率良く符号化することができる。
また、本構成では画像処理部124とビット精度情報生成部125をともに画像受信装置121内部に備えているため、例えば車線検知モードの場合、画像処理部124で画像認識処理によって道路部分と道路以外の部分を分類し、分類結果をビット精度情報生成部125へ入力することで、道路部分のみに高いビット精度情報を割り当てるといった方法でも、ビット精度情報の設定が可能である。
このとき、画像認識結果をそのまま用いるのではなく、過去数フレーム分の認識結果を基に、次に符号化するフレームでは例えば道路部分がどの領域になるかということを予測し、その予測結果に基づいてビット精度情報の割り当てを行っても良い。
この場合、前記の設定パターンを予めメモリに記録しておく方式と比較して、認識処理にとって重要な道路部分に対してより正確に高いビット精度を割り当てることが可能となるため、認識精度及び符号化効率の双方を向上することが出来る。
以上ではフロントカメラにおいて、車線検知モードとオーバービューモニタモードについてビット精度情報の設定方法を説明したが、車載カメラの種類とADASのモードの組み合わせは他にも存在する。図9に車載カメラの種類と、ビット精度情報生成法の切り替えに使用する処理モード情報のその他の例について記載する。また、図10、図11、図12に、図9における障害物検知モード、道路標識検知モード、スルーモード時のビット精度情報の設定例をそれぞれ示す。それぞれの図面で示す通り、例えば、障害物検知モードの場合には、例えば図10のように、車両にとって障害物となりうるエリア、すなわち画面内の道路部分とその周辺並びに車両の上部に高いビット精度情報を割り当てるようにし、道路標識検知モードの場合には、図11のように、画面内で道路標識が写る上部領域に高いビット精度情報を割り当てるようにし、スルーモードの場合には、図12のように、画面内で領域毎にビット精度情報の高低をつけず、復号画像をそのまま表示する。なお、各モードにおけるビット精度情報の設定例はこれに限られず種々変更可能であり、また、他のモード設定があっても構わない。
なお、以上では画像処理部124から出力される処理モード情報を取得してビット精度情報生成部125におけるビット精度生成手段を切り替える場合について説明したが、画像受信装置121内部にCPUを備え、前記CPUによって画像処理部124とビット精度情報生成部の処理モードを制御するという構成でも良い。
以上のように、カメラシステムの適用先を車載カメラシステムに限定することで、画像処理部124内部で行う処理の種類が限定されるため、ビット精度情報生成部125内部に保存しておくビット精度情報の設定パターンも限定され、設定パターン保存用のメモリを削減することができる。
更に、前記処理モード情報を車線検知モードとオーバービューモニタモードの2種類の切り替えに限定することで、更にビット精度情報の設定パターンを保存するメモリを削減でき、またモードが2種類しかない場合、現在使用しているモードによって、次に切り替えが発生したときに使用されるモードが一意に決まり、設定パターンが保存されているメモリ上のアドレスも特定することが出来るため、モードが切り替わった際に設定パターンを高速に読み込むことが出来る。
なお、以上ではMBのサイズを16×16画素として説明したが、MBのサイズは8×8画素や32×32画素といった16×16画素以外のサイズでも良い。また、形状も正方形に限らず、長方形等の別の多角形を用いても良い。MBの最小サイズは1画素である。
また、以上では車載カメラシステムを例に本発明の実施形態を説明したが、同様の画像送信装置101、画像受信装置121を用いた構成にて監視カメラシステムへ適用することも可能である。監視カメラの場合は、例えば画像認識処理によって画面内における人物等の動領域を検出し、動領域のみ高いビット精度、その他の背景部分には低いビット精度を動的に割り当てるといった制御を行えばよいが、これに限られるものではなく、例えば、画面内における通路等の人物等が動きうる領域を高いビット精度で、壁の上部等の領域を低いビット精度で割り当てるようにしてもよく、種々変更可能である。
図13は、本発明に係る画像伝送システムの第2の実施形態の構成例を示す。なお、図13はビット精度情報生成部225が画像受信装置221ではなく画像送信装置201の内部に存在し、画像処理部124から出力される処理モード情報はネットワークIF222、ネットワークIF209を経由してビット精度情報生成部225へ入力される点以外は、基本的に図1と同様な構成である。
第1の実施形態での説明と同様な動作を行うものについては図1と同一の符号を付しており、それらの動作については適宜説明を省略する。
ネットワークIF222は、パケッタイズまたはフレーミングされたビットストリームを画像送信装置201から受信し、デパケッタイズまたはデフレーミングして復号部123へ出力する点は第1の実施形態と同様だが、ビット精度情報の代わりに、画像処理部124から出力されるADASの処理モード情報を入力し、パケッタイズまたはフレーミングして、画像送信装置201へ送信する。
ネットワークIF209は、ビットストリームをパケッタイズまたはフレーミングして画像送信装置221へ出力する点は第1の実施形態と同様だが、ビット精度情報の代わりにパケッタイズまたはフレーミングされた前記処理モード情報を受信し、デパケッタイズまたはデフレーミングしてビット精度情報生成部225へ出力する。
ビット精度情報生成部225は、ネットワークIF209から出力される処理モード情報を入力とし、内部で画面内の各MBのビット精度情報を設定し、前記各MBのビット精度情報を量子化制御部106へ出力する。
ここで、ビット精度情報生成部225では、第1の実施形態と同様な手法でビット精度情報を生成可能である。
第2の実施形態では、更に撮像部102からビット精度情報生成部225へ符号化対象画像を入力することで、符号化対象画像に応じたビット精度情報を設定することも可能である。
例えば、トンネル内や夜間に照明のある道路を走っている場合、車載カメラで撮影する画像には明るい領域と暗い領域とが混在する。ここで、撮像部102では光を画像信号に変換する際、1フレーム毎に入力光の強さによって、画像信号に変換する際のゲイン調整を行う。上記のように、明るい領域と暗い領域が1フレーム内に混在している場合には、明るい領域に合わせてゲイン調整が行われ、暗い領域では物体や人物と背景部分の画素値の差が小さくなる。このような状況下において、画像処理部124で例えば障害物検知等の画像認識処理を行いたい場合、暗い領域における物体・人物の検出精度が低下してしまう。
そこで、画像内の暗い領域、即ちMB内の平均輝度値が予め設定した閾値よりも小さいMBについては、入力画像の階調数を維持するためDMB= Din=12に設定する。逆に、MB内の平均輝度値が閾値よりも大きいMBについては、DMB=8と設定する。
以上のように、ビット精度情報生成部225を画像送信装置201内部に備えることで、符号化対象画像の画面内の各領域の特徴に応じて、認識処理への影響を考慮したビット精度情報を生成することが出来る。
なお、ここでは平均輝度を基にビット精度情報を設定する例について説明したが、MB毎のエッジ強度や分散値など、符号化対象画像を解析することで得られる他の指標を用いたり、組み合わせて使用することで設定しても良い。
また、前記ではビット精度情報が12ビットと8ビットの2種類の場合を例に説明したが、閾値を複数設定することにより、同様の手法で3種類以上のビット精度情報を設定することも可能である。
なお、本実施形態も監視カメラシステムへの適用が可能である。本実施形態を監視カメラシステムに適用する場合は、例えば上記と同様に、画像内の暗い部分とそれ以外の部分を判別し、暗い部分にのみ高いビット精度を割り当てるといった制御を行えばよいが、これに限られるものではなく、例えば、画面内における通路等の人物等が動きうる領域を高いビット精度で、壁の上部等の領域を低いビット精度で割り当てるようにしてもよく、種々変更可能である。
１０１・・・画像送信装置
１０２・・・撮像部
１０３・・・変換部
１０４・・・局所復号部
１０５・・・量子化部
１０６・・・量子化制御部
１０７・・・符号化部
１０８・・・QP設定部
１０９・・・ネットワークIF
１１０・・・予測部
１１１・・・周波数変換部
１２１・・・画像受信装置
１２２・・・ネットワークIF
１２３・・・復号部
１２４・・・画像処理部
１２５・・・ビット精度情報生成部
１２６・・・モニタ
１２７・・・スピーカ
１４０・・・ネットワーク
１５１・・・画像送信装置
１５２・・・画像送信装置
１５３・・・画像送信装置
２０１・・・画像送信装置
２０９・・・ネットワークIF
２２１・・・画像受信装置
２２２・・・ネットワークIF
２２５・・・ビット精度情報生成部

Claims (7)

  1. 送信側から画像データを伝送し、受信側で画像処理を行う画像伝送システムであって、
    入力画像を符号化してビットストリームを出力、伝送する画像送信装置と、
    前記ビットストリームを受信、復号して画像処理を行う画像受信装置と、
    画像内の各領域のビット精度情報を生成するビット精度情報生成部と、
    前記ビット精度情報生成部により生成されたビット精度情報に従って前記画像送信装置内部で行う量子化処理における量子化ステップ幅を制御する量子化制御部と、
    前記画像受信装置により復号された復号画像を使用して画像処理を行う画像処理部を備え、
    前記ビット精度情報生成部は、前記画像処理部の処理モードに従ってビット精度情報の生成手法を切り替えることを特徴とする画像伝送システム。
  2. 請求項１に記載の画像伝送システムであって、
    前記画像受信装置内に前記ビット精度情報生成部と前記画像処理部とを備え、
    前記ビット精度情報生成部は、前記画像処理部の処理モードの情報と画像認識処理結果の少なくともいずれか一方を使用して前記ビット精度情報を生成することを特徴とする画像伝送システム。
  3. 請求項１に記載の画像伝送システムであって、
    前記画像受信装置内に前記画像処理部を備え、
    前記画像送信装置内に前記ビット精度情報生成部と前記入力画像を取得する撮像部とを備え、
    前記画像受信装置は前記画像処理部の処理モードの情報を前記画像送信装置へ送信し、
    前記ビット精度情報生成部は前記処理モードの情報と前記撮像部から出力される符号化対象画像の少なくともいずれか一方を使用して前記ビット精度情報を生成することを特徴とする画像伝送システム。
  4. 請求項２または３に記載の画像伝送システムであって、
    前記画像伝送システムは車載カメラシステムであり、
    前記ビット精度情報生成部は、前記画像処理部の運転支援システムモードに従ってビット精度情報の生成手法を切り替えることを特徴とする画像伝送システム。
  5. 請求項４に記載の画像伝送システムであって、
    前記ビット精度情報生成部は、前記画像処理部の運転支援システムモードがオーバービューモニタモードであるか車線検知モードであるかによって、ビット精度情報の生成手法を切り替えることを特徴とする画像伝送システム。
  6. 請求項５に記載の画像伝送システムであって、
    前記運転支援システムモードが前記車線検知モードの場合、前記ビット精度情報生成部は、画像のうち道路部分の占める領域が他の領域よりも高いビット精度となるように前記ビット精度情報を生成することを特徴とする画像伝送システム。
  7. 請求項４乃至６のいずれかに記載の画像伝送システムであって、
    前記ビット精度情報は、前記運転支援システムモード毎に予め設定され記憶手段に記録されていることを特徴とする画像伝送システム。
JP2012229431A 2012-10-17 2012-10-17 画像伝送システム Active JP5986877B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012229431A JP5986877B2 (ja) 2012-10-17 2012-10-17 画像伝送システム
PCT/JP2013/077983 WO2014061664A1 (ja) 2012-10-17 2013-10-15 画像伝送システム
US14/436,094 US9877026B2 (en) 2012-10-17 2013-10-15 Image transmission system
CN201380054279.5A CN104756497B (zh) 2012-10-17 2013-10-15 图像传送系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012229431A JP5986877B2 (ja) 2012-10-17 2012-10-17 画像伝送システム

Publications (2)

Publication Number Publication Date
JP2014082651A JP2014082651A (ja) 2014-05-08
JP5986877B2 true JP5986877B2 (ja) 2016-09-06

Family

ID=50488225

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012229431A Active JP5986877B2 (ja) 2012-10-17 2012-10-17 画像伝送システム

Country Status (4)

Country Link
US (1) US9877026B2 (ja)
JP (1) JP5986877B2 (ja)
CN (1) CN104756497B (ja)
WO (1) WO2014061664A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6392572B2 (ja) * 2014-07-22 2018-09-19 ルネサスエレクトロニクス株式会社 画像受信装置、画像伝送システムおよび画像受信方法
JP6357385B2 (ja) * 2014-08-25 2018-07-11 ルネサスエレクトロニクス株式会社 画像通信装置、画像送信装置および画像受信装置
JP6533142B2 (ja) * 2015-10-14 2019-06-19 株式会社東海理化電機製作所 シフト装置
JP2019140472A (ja) * 2018-02-08 2019-08-22 株式会社Ｓｏｋｅｎ 遠隔操縦される車両に搭載される画像送信装置
US11259023B2 (en) * 2018-04-12 2022-02-22 Qualcomm Incorporated Harmonization of transform-based quantization and dynamic range adjustment scale derivation in video coding

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01228383A (ja) * 1988-03-09 1989-09-12 Fujitsu Ltd 画像伝送方式
JP3348310B2 (ja) * 1992-09-28 2002-11-20 ソニー株式会社 動画像符号化方法および動画像符号化装置
JPH09200764A (ja) * 1996-01-16 1997-07-31 Canon Inc 符号化装置
JPH10164572A (ja) * 1996-11-27 1998-06-19 Nec Corp 動画像符号化装置及び復号化装置
JP3486871B2 (ja) * 2000-11-28 2004-01-13 財団法人理工学振興会 動画像情報の高性能符号圧縮システム
JP2003309832A (ja) 2002-04-16 2003-10-31 Mitsubishi Electric Corp テレビ会議予約システムおよびそのシステムに使用する会議予約サーバとネットワーク管理サーバ
JP2003309835A (ja) * 2002-04-16 2003-10-31 Hitachi Ltd 映像配信及び受信システム
JP2005212709A (ja) * 2004-02-02 2005-08-11 Yoichi Takebayashi 車両運転支援システム
JP4255071B2 (ja) 2004-03-03 2009-04-15 Ｋｄｄｉ株式会社 注目画素値選択型符号化装置および復号装置
JP5300595B2 (ja) * 2009-05-28 2013-09-25 キヤノン株式会社 画像処理装置及び方法、及びコンピュータプログラム
CN102036062B (zh) * 2009-09-29 2012-12-19 华为技术有限公司 视频编码方法、装置及电子设备
DE112010005565T5 (de) * 2010-05-14 2013-02-28 Mitsubishi Electric Corp. Einparkunterstützungsvorrichtung, Einparkunterstützungssystem und Einparkunterstützungskameraeinheit
CN102567736A (zh) * 2010-12-14 2012-07-11 三星电子株式会社 图像识别设备及方法

Also Published As

Publication number Publication date
CN104756497B (zh) 2018-01-16
JP2014082651A (ja) 2014-05-08
US9877026B2 (en) 2018-01-23
US20150271497A1 (en) 2015-09-24
WO2014061664A1 (ja) 2014-04-24
CN104756497A (zh) 2015-07-01

Similar Documents

Publication Publication Date Title
JP7266686B2 (ja) 点群圧縮のための方法、装置、およびコンピュータプログラム
US11909992B2 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
US10582196B2 (en) Generating heat maps using dynamic vision sensor events
ES2966479T3 (es) Un codificador, un decodificador y métodos correspondientes para la intrapredicción
JP7167147B2 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JP5986877B2 (ja) 画像伝送システム
KR20210134375A (ko) 비디오 콘텐츠를 처리하기 위한 방법 및 시스템
KR102634079B1 (ko) 포인트 클라우드 데이터 처리 장치 및 방법
DE112017001540T5 (de) Verfahren und vorrichtung zum codieren von video unter verwendung signalabhängiger adaptiver quantisierung und decodierung
JP7167144B2 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US20230082561A1 (en) Image encoding/decoding method and device for performing feature quantization/de-quantization, and recording medium for storing bitstream
JP6449329B2 (ja) ディスプレイストリーム圧縮（ｄｓｃ）において量子化パラメータ（ｑｐ）を選択するためのシステムおよび方法
KR20140089487A (ko) 위상차를 고려한 영상 업샘플링을 이용하는 스케일러블 비디오 부호화 방법 및 장치, 스케일러블 비디오 복호화 방법 및 장치
JP2022539188A (ja) ポイントクラウドデータ処理方法及び装置
WO2020138464A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
WO2020075862A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US20230085554A1 (en) Image encoding/decoding method and apparatus for signaling image feature information, and method for transmitting bitstream
WO2020130134A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
CN114026864A (zh) 用于几何分割模式的色度样本权重推导
JP2008505522A (ja) ビデオ処理
KR20210107686A (ko) 삼차원 데이터 부호화 방법, 삼차원 데이터 복호 방법, 삼차원 데이터 부호화 장치, 및 삼차원 데이터 복호 장치
WO2020175588A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US20140369618A1 (en) Encoding device and monitoring system
JP2006246351A (ja) 画像符号化装置および画像復号化装置
CN114503558B (zh) 插值滤波器在仿射运动补偿中的适应性使用

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20140310

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20140317

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20140318

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20140319

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20140917

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160719

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160808

R150 Certificate of patent or registration of utility model

Ref document number: 5986877

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250