JP5288621B2

JP5288621B2 - 画像符号化伝送装置及び画像伝送方法

Info

Publication number: JP5288621B2
Application number: JP2009132107A
Authority: JP
Inventors: 森村　　淳; 正樹佐藤; 修二井上; 道雄三輪
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2009-06-01
Filing date: 2009-06-01
Publication date: 2013-09-11
Anticipated expiration: 2029-06-01
Also published as: JP2010278968A

Description

本発明は、カメラで撮影して得られた画像を符号化して伝送する画像符号化伝送装置及び画像伝送方法に関する。

カメラで撮影して得られた画像を符号化して伝送する場合、図２３に示すように、通常のフレームレートや解像度では符号量が増加するので、符号量を削減するようにしている。符号量を削減する方法として、特許文献１や特許文献２で開示された方法が知られている。即ち、特許文献１には、ＲＯＩ（Region Of Interest）領域の内部と外部で解像度を変える（例えば内部を高く、外部を低くする）方法が開示されている。ここで、ＲＯＩとは、画像中で注目する部分のことを言う。

特許文献２には、ＲＯＩ領域の外部のフレームレートを下げるとともに解像度を下げる方法が開示されている。この特許文献２で開示された方法は、例えば図２４に示すように、画像の背景領域５００を低解像度、低フレームレートとし、着目領域５０１を高解像度、高フレームレートとする。

特開２００９−００５２３８号公報特開２００６−０８０８３２号公報

しかしながら、情報伝送時のネットワークの輻輳などの状況により符号量を大きく削減すると見た目の主観画質が大きく低下し、またフレームレートの低下や解像度の低下が大きくなるにともない動きの全体像が判らなくなる問題がある。

本発明は、係る事情に鑑みてなされたものであり、ネットワークの輻輳状態により符号量を大きく削減した場合においても、見た目の主観画質の低下を最小限にとどめ、また動きの全体像がなるべく把握しやすい状態で入力画像を符号化する画像符号化伝送装置及び画像伝送方法を提供することを目的とする。

本発明の画像符号化伝送表示装置は、入力された画像を符号化する符号化手段と、前記符号化手段で符号化された画像をネットワーク経由で伝送する第１ネットワークインタフェース手段と、ネットワークの帯域に応じて符号量を制御する符号化制御手段と、を備え、前記符号化手段は、入力された画像から前景画像と背景画像を分離し、前記前景画像に対して、フレームレートを前記背景画像のフレームレートより高くして符号化し、前記背景画像に対して、前記前景画像の複数のフレーム期間の背景画像を合成した合成背景画像を用いて符号化する。

上記構成によれば、動きのある前景画像については、フレームレートを背景画像のフレームレートより高くして符号化し、動きの少ない背景画像については、後述するように前景画像の複数のフレーム期間の背景画像を人が見て直感的な理解ができるよう幾つかの画像として合成した合成背景画像を用いて符号化するので、符号量の削減を図りながらも、伝送表示された画像は、見た目の主観画質の大きな低下を防ぎ、また動きの全体像をなるべく判り易くできる。

上記構成において、前記符号化制御手段は、前記ネットワークの帯域を推定し、推定した帯域に応じて背景画像のフレームレートを変更する。

上記構成によれば、ネットワークの帯域を推定して、推定したネットワークの帯域に応じて背景画像のフレームレートを変更するので、ネットワークの帯域に応じた効率の良い符号化が可能となる。またフレームレートの長短に応じて直感的にフレームレートの長短がわかる背景画像を合成し、動きの全体像を判りやすくできる。

上記構成において、ネットワークにて伝送されてきた符号化された画像を復号化する復号化手段と、前記ネットワークの状態を推定する第２ネットワークインタフェース手段と、前記ネットワークの状態に対応して画像を合成する画像合成手段と、を備えている。

上記構成によれば、ネットワークの状態を推定して、ネットワークの状態に対応して画像を合成するので、符号量が制御された画像を適確に再生することができ、また伝送合成された画像は主観画質の低下が少なく、全体像の把握が行いやすいものとすることができる。

上記構成において、前記背景画像のフレームレートを表示する制御を行う表示制御手段を備えている。この構成により背景のフレームレートが容易に確認できる。

上記構成において、前記表示制御手段は、背景更新後の経過時間を表示する制御を行う。この構成により背景更新後の経過時間が容易に確認できる。

上記構成において、前記符号化手段は、定められたフレームレート内の画像を平均又はフレームレート内の一部の画像を平均して合成することで合成背景画像を得る。この構成によりＳ／Ｎを改善した背景画像が得られる。

上記構成において、前記符号化手段は、定められたフレームレート内の画像を平均又はフレームレート内の一部の画像を平均し、画像がフレーム間で変化している部分はその最も新しい画像を平均画像に上書きして合成することで合成背景画像を得る。この構成によりＳ／Ｎを改善した背景画像と共に変化部分のボケのない背景画像が得られる。

上記構成において、前記符号化手段は、定められたフレームレート内の画像を平均又はフレームレート内の一部の画像を平均し、画像がフレーム間で変化している部分は変化部分の画像を、定められた時間間隔で平均画像に上書きして合成することで合成背景画像を得る。この構成によりＳ／Ｎを改善した背景画像と共に変化部分の時間変化が判りやすい背景画像が得られる。

上記構成において、前記符号化手段は、前記変化部分の画像の上書き合成を背景画像のフレームレートに対応させる。この構成によりＳ／Ｎを改善した背景画像と共にフレームレート可変時でも判りやすい背景画像が得られる。

上記構成において、前記符号化手段は、前記変化部分の画像の上書き合成を背景画像のフレームレートに対応してその上書き時の画像の濃度を変化させる。この構成によりＳ／Ｎを改善した背景画像と共に時間経過が判りやすい背景画像が得られる。

上記構成において、前記符号化手段は、入力された画像からＲＯＩ画像を切り出し、切り出し合成する背景変化部分の背景伝送後の画像の座標値をＲＯＩ画像と共に送る。この構成により切り出されたＲＯＩ画像の背景伝送後の位置を知ることができる。

上記構成において、前記符号化手段は、入力された画像からＲＯＩ画像を切り出し、切り出し合成した背景変化部分の背景合成したときの座標値をＲＯＩ画像と共に送る。この構成により切り出されたＲＯＩ画像と背景画像を合成することができる。

上記構成において、前記符号化手段は、ネットワークの帯域が広いと推定された状況では背景変化部分の画像をＲＯＩ画像に格上げする。この構成により変化の大きい背景部分を新たなＲＯＩ画像とすることができる。

上記構成において、前記符号化手段は、ネットワークの状況により伝送エラーが生じた場合には背景更新を行わない。この構成により伝送エラーが生じたときでも背景画像が乱れることがない。

上記構成において、前記符号化手段は、ネットワークの状況により伝送エラーが生じた場合に背景更新を行えない状況にあれば、背景未更新を表示する。この構成により背景画像の未更新が判る。

上記構成において、前記符号化手段は、背景領域を複数に分割伝送する。この構成によりネットワークの帯域に応じた背景伝送ができる。

上記構成において、前記符号化手段は、ネットワークの状況により伝送エラーが生じた場合には複数に分割した背景の背景更新を行わない。この構成により背景が分割表示状態でも伝送エラー時に背景画像が乱れない。このようにネットワークの輻輳により一部のデータが廃棄された場合においても、後述するようにデータ廃棄を直感的に理解できる画像を合成することにより、ネットワークの輻輳状態を含めた全体像の把握が行いやすいものとすることができる。

上記構成において、前記表示制御手段は、背景画像のフレームレートを数値又は画像で表示する制御を行う。この構成により様々な状況でもフレームレートが判りやすく直感できる。

上記構成において、前記表示制御手段は、背景画像を更新した後の経過時間を数値又は画像で表示する制御を行う。この構成により背景画像を更新した後の経過時間が判りやすい。

上記構成において、前記表示制御手段は、背景画像を更新した後の経過時間に応じて背景画像に加算した背景変化部分画像の濃度を薄くする制御を行う。この構成により背景画像を更新した後の経過時間が判りやすく直感できる。

上記構成において、前記表示制御手段は、伝送された前景画像を一定時間間隔で背景画像に貼り付ける制御を行う。この構成により背景画像の時間変化が判りやすい。

本発明の画像符号化伝送表示法は、入力された画像を符号化する符号化ステップと、前記符号化ステップで符号化された画像をネットワーク経由で伝送する画像伝送ステップと、ネットワークの帯域に応じて符号量を制御する符号化制御ステップと、を備え、前記符号化ステップでは、入力された画像から前景画像と背景画像を分離し、前記前景画像に対して、フレームレートを前記背景画像のフレームレートより高くして符号化し、前記背景画像に対して、前記前景画像の複数のフレーム期間の背景画像を合成した合成背景画像を用いて符号化する。

上記方法によれば、動きのある前景画像については、フレームレートを背景画像のフレームレートより高くして符号化し、動きの少ない背景画像については、前景画像の複数のフレーム期間の背景画像を合成した合成背景画像を用いて符号化するので、符号量の削減を図りながらも、見た目の主観画質が低下したり、動きの全体像が判らなくなったりすることがない。

上記方法において、ネットワークにて伝送されてきた符号化された画像を復号化する復号化ステップと、前記ネットワークの状態を推定するネットワーク状態推定ステップと、前記ネットワークの状態に対応して画像を合成する画像合成ステップと、を備えている。

上記方法によれば、ネットワークの状態を推定して、ネットワークの状態に対応して画像を合成するので、符号量が制御された画像を適確に再生することができる。またネットワークの輻輳によりデータが廃棄された状態においても画像の全体が判りやすい再生をすることができる。

本発明は、カメラで撮影して得られた画像を符号化する際に、見た目の主観画質が低下したり、動きの全体像が判らなくなったりすることがなく、符号量の削減を図ることができる。

本発明の一実施の形態に係る画像符号化伝送表示装置の概略構成を示すブロック図図１の画像符号化伝送表示装置のＲＯＩ符号化部の詳細な構成を示すブロック図図１の画像符号化伝送表示装置のＲＯＩ復号化部の詳細な構成を示すブロック図図１の画像符号化伝送表示装置の動作を説明するための図図１の画像符号化伝送表示装置の動作を説明するための図図１の画像符号化伝送表示装置の動作を説明するための図図１の画像符号化伝送表示装置の動作を説明するための図図１の画像符号化伝送表示装置の動作を説明するための図図１の画像符号化伝送表示装置の動作を説明するための図図１の画像符号化伝送表示装置の動作を説明するための図図１の画像符号化伝送表示装置の動作を説明するための図図１の画像符号化伝送表示装置の動作を説明するための図図１の画像符号化伝送表示装置の動作を説明するための図図１の画像符号化伝送表示装置の動作を説明するための図図１の画像符号化伝送表示装置の動作を説明するための図図１の画像符号化伝送表示装置の動作を説明するための図図１の画像符号化伝送表示装置の動作を説明するための図図１の画像符号化伝送表示装置の動作を説明するための図図１の画像符号化伝送表示装置の動作を説明するための図図１の画像符号化伝送表示装置の動作を説明するための図図１の画像符号化伝送表示装置の動作を説明するための図図１の画像符号化伝送表示装置の動作を説明するための図カメラで撮影して得られた画像を符号化して伝送する場合の従来の符号量削減方法を説明するための図ＲＯＩ領域の外部のフレームレートを下げるとともに解像度を下げる従来の方法を説明するための図

以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。

図１は、本発明の一実施の形態に係る画像符号化伝送表示装置の概略構成を示すブロック図である。同図において、本実施の形態の画像符号化伝送表示装置１は、撮像装置１０と、表示装置２０と、画像符号化伝送装置３０と、画像受信復号化装置７０とを備えている。撮像装置１０は被写体を画像信号に変換して出力する。表示装置２０は、画像受信復号化装置７０で復号化された画像信号を表示する。画像符号化伝送装置３０は、撮像装置１０から入力された画像信号を符号化してネットワーク（ＮＷ）１１０に送出する。

画像符号化伝送装置３０は、ＲＯＩ符号化部４０と、ＲＯＩ符号化制御部５０と、ネットワークインタフェース（ＮＷＩＦ）６０とを備えて構成される。ＲＯＩ符号化部４０は、撮像装置１０から入力された画像信号を、設定された条件に応じて画像を分割し、合成して符号化する。ＲＯＩ符号化制御部５０は、符号化された画像を伝送するネットワーク１１０の状態を推定してＲＯＩ符号化部４０を制御する。ネットワークインタフェース６０は、ＲＯＩ符号化部４０で符号化された符号化データをネットワーク伝送形式に変換し、ネットワーク伝送に必要な通信情報を付加して送出するとともにネットワーク１１０の輻輳状態を確認する。ネットワークの輻輳状態は、例えば、受信側からのパケット（ネットワークに送出される符号化データの送出単位）破棄率、あるいは、パケットの再送制御を行っている場合には、再送回数により検知する。輻輳状態が検知された場合には、ＲＯＩ符号化制御部５０からＲＯＩ符号化部４０を制御し、フレームレートを低下させ、符号量を下げる制御を行う。

画像受信復号化装置７０は、ネットワーク１１０経由で伝送されてきた符号化データを復号して画像信号に変換するものであり、ＲＯＩ復号化部８０と、ＲＯＩ表示制御部９０と、ネットワークインタフェース（ＮＷＩＦ）１００とを備えて構成される。ＲＯＩ復号化部８０は、符号化された画像信号を制御信号に対応して復号化する。ＲＯＩ表示制御部９０は、画像信号とネットワーク１１０の輻輳状態に応じて画像の表示内容を制御する制御信号を生成しＲＯＩ復号化部８０に与える。ネットワークインタフェース１００は、伝送されたネットワーク伝送形式の符号化された画像信号を復号できる符号化画像信号に変換すると共にネットワーク１１０の輻輳状態、画像信号の受信状態を確認する。受信された情報からシーケンスＮｏ．より送信情報が廃棄されたことを確認した場合にはＲＯＩ表示制御部９０からＲＯＩ復号化部８０を制御して廃棄された情報の影響を最小限にするとともに、通信状況を判りやすく合成表示する。

図２は、画像符号化伝送装置３０のＲＯＩ符号化部４０の概略構成を示すブロック図である。同図において、ＲＯＩ符号化部４０は、画像入力部４１と、ＲＯＩ部切出部４２と、画像平均部４３と、背景変化切出部４４と、背景画像合成部４５と、ＦＲ制御タイミング制御部４６と、画像符号化部４７とを備えて構成される。画像入力部４１は、撮像装置１０からの画像を随時取り込み一時蓄積する。ＲＯＩ切出部４２は、入力された画像からＲＯＩの前景画像を切り出す。前景の切り出しは一定期間の複数フレームを平均した平均画像と入力画像の差をとり一定レベル以上の差があり、一定の大きさ以上の部分のかたまりを前景部とする。前景部や以下に説明する背景変化部分を求めるための複数フレームの平均画像は、メディアン値を用いて合成した画像でも良い。

画像平均部４３は、入力された画像を条件に応じて平均する。背景画像の送出タイミングに対応した期間の画像入力部の画像を平均する。背景画像が送出されるタイミングで新たな平均を開始して新たな画像を算出する。平均演算はメディアン演算でも良い。背景変化切出部４４は、入力された画像の背景部分の変化部を切り出す。背景部分の変化部は、遠くに存在し画像の上部にある小さな領域で、平均画像と一定以上の差のある部分のかたまりを、背景部分の変化部（背景変化部）とする。背景画像合成部４５は、入力画像、平均画像、背景変化画像から背景画像を合成する。最も基本となる背景画像は平均画像を用いる。またこの平均画像に、一定時間間隔で背景変化部を加算しても良い。また背景変化部の加算は背景画像送出直前の、1回のみの加算でも良い。背景画像として動いた部分の残像が不要な場合には、背景画像送出直前の平均しない入力画像でも良い。またネットワークの輻輳によるデータの廃棄の対応として、背景変化部の切り出した画像で背景送出直前の時点の静止画を単独で符号化する。フレームレート制御タイミング制御部４６は、ネットワーク１１０の状況に最適なフレームレート、最適な画像合成方法を得るための制御を行う。ネットワークが輻輳がなく、広い帯域が確保できる場合は高いフレームレートとし、輻輳が発生し帯域が狭くなった場合は低いフレームレートとする。フレームレートの設定はＲＯＩ符号化制御部５０により決定する。画像符号化部４７は前景画像と背景画像をＭＰＥＧやＪＰＥＧなどの規格に従い符号化する。またネットワークの極端な帯域の低下に対応するため、ＲＯＩの前景画像の座標値と背景変化部の座標値も画像情報とは別にデータとして送出する。

図３は、画像受信復号化装置７０のＲＯＩ復号化部８０の概略構成を示すブロック図である。同図において、ＲＯＩ復号化部８０は、画像復号化部８１と、ＲＯＩ部合成部８２と、背景画像合成部８３と、画像合成部８４と、フレームレート・ネットワーク適応制御部８５とを備えて構成される。画像復号化部８１は、ネットワーク１１０経由で伝送された符号化画像信号を復号化する。復号化によりＲＯＩの前景画像と背景画像が得られる。ＲＯＩ部合成部８２は、復号された前景をフレームレートやネットワーク１１０の状態に応じて表示する前景画像を合成する。背景のフレームレートが低くなった場合には一定時間間隔でＲＯＩの前景画像を残し、過去のＲＯＩ前景画像がどうのよに移動したかを判りやすくする前景画像としても良い。時間の経過と共に残したＲＯＩの前景画像は濃度を薄くして時間の経過を直感的に判りやすくする前景画像としても良い。

背景画像合成部８３は、復号された背景をフレームレートやネットワーク１１０の状態に応じて表示する背景画像を合成する。フレームレートが低くなった場合、受信された背景変化部の座標値に対応する背景画像に背景変化部（過去に受信されたもの）を上書き合成する。特にネットワークの輻輳により背景画像が破棄され、伝送エラーが生じた場合には伝送エラーの表示とともに古い背景画像に対して背景変化部の上書き合成を行い、全体の状況を判りやすく表示することは観察者の直感的理解に有効である。画像合成部８４は、合成されたＲＯＩ部合成部８２の前景と背景画像合成部８３の背景を用いてフレームレートやネットワーク１１０の状態に応じた表示する画像を合成する。特にネットワークの輻輳により背景画像が廃棄された伝送エラー状態において、後述する直感的に廃棄されたことが判りやすい画像を合成する。フレームレート・ネットワーク適応制御部８５は、ネットワーク１１０の輻輳状態や符号化時のフレームレートや受信状況を示す情報により、ＲＯＩ部合成部８２、背景画像合成部８３、画像合成部８４の各画像合成部を上記に示したように最適に制御する。ネットワークの輻輳により背景画像データが廃棄された場合は一定時間間隔での前景画像の貼り付けや、背景変化部の座標による合成などの制御を行う。

次に、画像符号化伝送装置３０におけるＲＯＩ符号化時の背景画像の合成について詳細に説明する。

（合成方法１）
図４は、フレームレート間隔内にある画像を平均した平均画像を示す図である。例えば、撮像装置（カメラ）１０が１秒間に６０枚の画像を出力する場合で、画像符号化伝送装置３０からフレームレート（ＦＲ）を１／８枚／秒で画像を送出する場合（即ち８秒毎にフレームを送出する）、フレーム間の画像の枚数は６０×８＝４８０枚となる。この４８０枚の画像が平均される。フレームレート間隔内にある画像を平均することで人などの動きのある部分はぼけるがＳ／Ｎ（信号対雑音比）を改善できる。また、平均画像には現在のフレームレート（ＦＲ＝１／８枚／秒）を表示し送出状態が一目で確認できるようにする。ＦＲを落とさざるを得ない場合、動いている部分はボケるが、全体の動きは観察者の想定によりある程度容易である。

図５は、図４の平均画像に対して、変化部分の直近画像を上書き合成した背景合成画像を示す図である。例えば上述した４８０枚の画像のうち、４７９番目の画像を直近画像として、この直近画像と平均画像で異なる部分（図４では人の部分のみ）を図４の平均画像に上書きする。このように、平均画像上に直近画像の変化部分を上書きすることで画像の動きは残像として残り、動きの全体像が想定でき、また動いている人の像のぼけは無くなり、より全体像が想定しやすくなる。また、このように合成した画像には現在のフレームレート（ＦＲ＝１／８枚／秒）を表示し送出状態が一目で確認できるようにする。

合成方法１によれば、以下の特徴がある。
・動きの全体像を確認（想像、想定）できる。
・フレームレートを大きく落としても見た目の主観画質の劣化が少ない。ネットワーク１１０の輻輳度合いをもとにフレームレートを長短制御しても主観画質の劣化が少ない。・フレームレートの確認ができ、ネットワークの輻輳状態や帯域を想定できる。

（合成方法２）
図６及び図７は、ＲＯＩ符号化時の背景画像の合成方法の他の例を示す図である。
図６は、図４の平均画像の中で動いた部分を切出し、それを動き差分画像として、一定時間間隔（例えば１秒に１回）で直近画像に上書き合成した背景合成画像を示す図である。また、この背景合成画像には現在のフレームレート（ＦＲ＝１／８枚／秒）を表示する。
図７は、図４の平均画像の中で動いた部分を切出し、それを動き差分画像として、一定時間間隔（例えば１秒に１回）で平均画像に上書き合成した背景合成画像を示す図である。この場合、上書き対象の画像が平均画像であるので残像が現れるが、例えば１秒間に１回貼り付けるので、人の形を明確に見ることができる。また、この背景合成画像には現在のフレームレート（ＦＲ＝１／８枚／秒）を表示する。

この合成方法２によれば、以下の特徴がある。
・動きの全体像を確認（想像、想定）がより容易に行える。
・フレームレートを大きく落としても見た目の主観画質の劣化が少ない。ネットワーク１１０の輻輳度合いをもとにフレームレートが低く制御された場合でも主観画質の劣化が少ない。
なお、図６及び図７に示す背景合成画像は、背景画像間で動画として符号化しても良い。また、切り出し画像（動き差分画像）は背景合成せずに時刻と座標と形を送るようにしても良い。

（合成方法３）
図８及び図９は、ＲＯＩ符号化時の背景画像の合成方法の他の例を示す図である。
図８は、平均画像に変化部分の直近画像を上書き合成し、さらに動き差分画像２１０を一定時間間隔で合成した背景合成画像を示す図である。図９は、直近画像に動き差分画像２１０を一定時間間隔で合成した背景合成画像を示す図である。図８及び図９のいずれの場合も動き差分画像２１０で時間が経ったものを薄くして合成する。即ち、動き差分画像２１０の濃度が現時点に近づくに従って濃くなるようにして合成する。また、図８及び図９のいずれの場合も現在のフレームレート（ＦＲ）を表示してフレームレートを知らせるとともに、背景画像更新後の時間（更新後６秒経過）を表示して時間の経過を知らせる。なお、受信側に動き差分画像２１０の切り出し部分の座標を送ることで、受信側で更新後経過時間に対応して薄く表示することもでき、背景画像更新後の時間が直感的に判りやすくなる。

この背景画像の合成方法３によれば、以下の特徴がある。
・フレームレートが直感的に判りやすい（フレームレートが低くなり画像更新間隔が延びると薄く合成される部分が増える）。
・ネットワークの帯域が確保できない場合はフレームレートを低く（画像更新間隔が長くなる）するが、そのフレームレートの変化が判りやすい。

次に、ＲＯＩ部分と背景画像の合成方法の以下の点について説明する。
１）ＲＯＩ部分を背景画像上に合成する。
２）ＲＯＩが移動する場合、ＲＯＩ部分も一定時間間隔で背景に貼り付け合成表示する。
３）ＲＯＩ貼り付け合成部分は以下のようにユーザ指定モードで更新表示
・一定時間後に消す。
・時間と共に薄くする。
・背景更新時に全てリセットする。
・背景更新時でもリセットしない。

図４〜図９の背景合成画像のいずれか１つとＲＯＩ画像を合成する。例えば、図１０は、図６の背景画像とＲＯＩ画像３００を合成した背景合成画像を示す図である。ＲＯＩ画像３００のみ動画である。また、この背景合成画像には現在のフレームレート（ＦＲ＝１／８枚／秒）を表示する。図１１は、図８の背景画像とＲＯＩ画像３００を合成した背景合成画像を示す図である。この背景合成画像には現在のフレームレート（ＦＲ＝１／８枚／秒）の他に、背景画像更新後の時間（更新後６秒経過）を表示する。

この背景画像の合成方法によれば、以下の特徴がある。
・ＲＯＩは動画で、背景部分は変化部分が合成された静止画を表示する。
・背景のフレームレートが低く画像更新期間が長くなった場合でも背景の動きの直感的な理解（想像、想定）ができ、主観的画質の低下は少ない。
・ネットワーク１１０の帯域が変動してフレームレートや背景更新後の経過時間が変動した場合も数字や画像の表現の変化で判りやすい。

図１２は、図６の背景画像に一定間隔でＲＯＩ画像を残して合成した背景合成画像を示す図である。即ち、ＲＯＩ画像を静止画３１０として一定間隔で貼り付けた背景合成画像を示す図である。ＲＯＩ画像は矢印Ａ方向に移動している。静止画としての各ＲＯＩ画像３１０はいずれも同じ濃さで表示し、一定時間経過後に順次消去する。このようにＲＯＩ画像を定期的に貼り付けることにより、背景更新期間内の時間の経過が把握しやすくなる。なお、背景更新時にＲＯＩ画像の静止画３１０を消去することで背景が更新されたことと、背景更新後の時間が直感的に判る。また、この背景合成画像には現在のフレームレート（ＦＲ＝１／８枚／秒）を表示する。

図１３は、図９の背景画像に一定間隔でＲＯＩ画像を残して合成するとともに、一定時間経過後に濃度を薄めて表示した背景合成画像を示す図である。背景更新後時間に対応して濃度を薄めることで背景更新後の時間経過がより直感的に判る。また、この背景合成画像には現在のフレームレート（ＦＲ＝１／８枚／秒）の他に背景画像更新後の時間（更新後６秒経過）を表示する。

この背景画像の合成方法によれば、以下の特徴がある。
・背景画像と同様の表示方法をとることにより、全体の時間経過や背景更新後の時間経過を直感的に理解（想像、想定）できる。またフレームレートが低く背景更新期間が長くなった場合でも見た目の違和感を小さくできる。
・ネットワークの帯域に応じてフレームレートを制御したときや、フレームレートや背景更新後経過時間で古いＲＯＩ画像の消去や濃度変更（薄める）によりネットワークの帯域（輻輳状態）も直感的に理解できる。

図１４は、図５の画像（平均画像に変化部分の直近画像を上書き合成した画像）に、一定間隔でＲＯＩ画像を残して合成するとともに、一定時間経過後に濃度を薄めて表示した背景合成画像を示す図である。ＲＯＩを静止画と動画で表示することで時間の流れが判る。背景画像の残像部分では背景画像の更新期間が想定でき、ＲＯＩ画像の静止画の数や濃度の薄くなり方で背景更新後の時間経過が想定でき、フレームレートを数字で表示しなくても直感的に見ただけで判る画像表現とすることができる。

図１５は、図８の画像（平均画像に変化部分の直近画像を上書き合成し、さらに動き差分画像２１０を一定時間間隔で合成した画像）に、一定間隔で静止画のＲＯＩ画像３１０を残して合成するとともに、一定時間経過後に濃度を薄めて表示した背景合成画像を示す図である。ＲＯＩを静止画と動画で表示することで時間の流れが判る。背景画像の変化部分を切り出して静止画加算し、残像表現した部分では背景画像の更新期間が想定でき、ＲＯＩ画像の静止画の数や濃度の薄くなり方で背景更新後の時間経過が想定でき、即ち、フレームレートを数字表示しなくてもより直感的に見ただけで時間の流れが判る画像表現とすることができる。

背景画像の変化切り出し部の合成方法は、フレームレートで表示方法を制御する。フレームレートが低く更新間隔が長くなる場合には、残像の部分が長くなり、また変化部分を切り出し貼り付けた部分の数が多くなる。ＲＯＩ画像の合成方法は、背景更新後経過時間で制御する。背景更新後経過時間が長くなると切り出し貼り付けたＲＯＩ画像の数が多くなる。以上の表示を行うことによりネットワークの状況を直感的に理解することができる。特に数値の表示を用いないで直感的に理解できる表示方法であり、一度に多くのカメラ画像を監視する場合に有効である。

次に、伝送エラー時の表示方法について説明する。
ネットワーク１１０は輻輳が発生したような異常時には伝送されたデータが廃棄され、伝送エラーが発生する。このようなネットワーク１１０の異常により伝送エラーが生じた場合についての対応について、以下に示す。
図１６は、背景画像とＲＯＩ動画像を合成した背景合成画像における伝送エラー時の表示例を示す図である。伝送エラー時に以下の処理を行う。

（１）背景画像３５０はエラー時の乱れた背景画像データを用いず未更新で保持する。即ち、伝送エラーであるので、正しいデータが来ないことから更新をせず現状を維持する。
（２）ＲＯＩ画像３００は受信情報に応じて更新する。ＲＯＩ画像３００は重要であり、また送信回数も多いので、受信できた情報でそのまま更新を行う。
（３）伝送エラーで背景更新ができない場合は、更新後経過時間３５１を赤字（などの目立つ色）に変更する。
（４）伝送エラーで背景更新ができない場合は、未更新回数３５２を表示する。この場合も赤字（などの目立つ色）で表示する。

図１７は、背景画像、動画像のＲＯＩ画像及び静止画のＲＯＩ画像を合成した背景合成画像における伝送エラー時の表示例を示す図である。伝送エラー時に以下の処理を行う。

（１）未更新背景画像３５３に、背景部分での変化切り出し部の最も新しいものを伝送された背景変化部分に対応する座標で合成する。座標値はデータ量が小さので、ＲＯＩデータとともに優先度を上げて伝送する。カメラを含む映像送出側から背景変化部分の座標情報を、ネットワーク経由で受信し未更新背景画像３５３に背景部分での変化切り出し部の最も新しいものを合成する。即ち、背景画像の更新ができていた場合、未更新背景画像上で背景画像中の変化している画像３５３はこの辺りにあることを知らせるため合成する。
（２）ＲＯＩ画像３００は受信情報に応じて更新する。
（３）ＲＯＩ画像３００のストップモーション部３５４は前回の背景時のものを用いる。時間経過後の濃度変化（時間経過とともに濃度を下げる）を行うことにより時間経過を画像で表現する。この適応は必要により実施、未実施どちらでも良い。
（４）伝送エラーで背景更新できない場合、更新後経過時間３５１を赤色（などの目立つ色）に変更する。図１７は、更新後１２秒経過したときの画像であり、“更新後１２秒経過”を赤字で表示する。
（５）伝送エラーで背景更新できない場合は未更新回数３５２を表示する。この場合も赤字で表示する。

なお、背景合成方法は前述のどの合成方法でも良い。また、ＲＯＩ合成方法は前述のどの合成方法でも良い。

図１８は、伝送エラー時の表示方法をまとめたものであり、図１７に示す状態から３秒経過したときの画像であり、“更新後１５秒経過”が赤字で表示されている。背景画像３５０は、伝送エラーで背景更新できなかったときの前の背景画像であり、送信側で合成される。ＲＯＩ動画像３００は、最新のＲＯＩ動画像である。ＲＯＩ静止画像３５５は、伝送エラー直後のＲＯＩ動画像から得られた静止画像である。ＲＯＩ切り出し貼り付け画像３５４は伝送エラー時に更新できなかったＲＯＩ画像である。なお、このＲＯＩ切り出し貼り付け画像３５４は、更新後経過時間に対応して画像を薄くしたり、消去したりするなど幾つかのバリエーションが可能であり、図１８では経過時間に対応して画像を薄くしている。背景変化部分３５６は、送信された座標値で伝送エラー発生後に追加合成した部分であり、送信側で送った座標情報により受信側で合成されたものである。

次に、背景画像分割時に伝送エラーが生じたときの表示方法について説明する。
図１９及び図２０は、画像を４分割したときの表示例を示す図である。
領域（１）は背景未更新１回（１０％薄く表示、１０％セピア色に表示）
領域（２）は背景未更新２回（２０％薄く表示、２０％セピア色に表示）
領域（３）及び（４）は背景未更新無し（薄く表示しない、色も変更しない）

図１９の領域（４）において、正確な値は文字（数値）で表示し、異常時（伝送エラーで画面更新ができないときなど）は、通常表示と異なる色で表示する。
図２０の領域（４）において、右下にある長方形は背景未更新を示すインジケータ４００である。このインジケータ４００において、
領域（１）は、背景未更新１回（黄色で表示）
領域（２）は、背景未更新２回（橙色で表示）
領域（３）、（４）は背景未更新無し（緑色で表示）
を示す。
なお、背景の分割は４つに限る必要はない。また、分割が多いと、伝送エラー時の背景更新ができない領域の面積が小さくなる。

図２１は、画像データの伝送順序を示す図である。図２１において、１０１は初めに伝送する背景画像データ、１０２は背景画像データ１０１のデータ送信後に伝送するＲＯＩ前景画像データ、１０３〜１０５はＲＯＩ前景画像データ１０２のデータ送信後に伝送するＲＯＩ前景画像データ群、１０６は２回目に伝送する背景画像データであり、ＲＯＩ前景画像データ群１０２〜１０５のＲＯＩ前景画像データ数は背景のフレームレートの間隔に応じて増減して背景ＦＲ＝１／８枚／秒でＲＯＩ前景のＦＲ＝３０枚／秒では２４０枚の画像データになる。１０７〜１１０はＲＯＩ前景画像データで２４０枚の画像データ、１１１は３回目に伝送する背景画像データ、１１２はその後に伝送するＲＯＩ前景画像データである。

図２２は、背景伝送画像データを４分割して伝送する場合の伝送送信順序を示す図である。図２２において、１２０は初めに伝送する４分割した背景画像データ、１２１及び１２２は背景画像データ１２０のデータ送信後に伝送するＲＯＩ前景画像データ群、１２３は２回目に伝送する４分割したうちの次の背景画像データであり、背景画像データ１２０及び１２３、ＲＯＩ前景画像データ群１２１及び１２２の間にあるＲＯＩ前景画像データ数は背景のフレームレートの間隔に応じて増減して背景ＦＲ＝１／８枚／秒でＲＯＩ前景のＦＲ＝３０枚／秒で背景を４分割する場合には６０枚の画像データになる。

１２４−１２５はＲＯＩ前景画像データで６０枚の画像データ群の一部、１２６は３回目に伝送する４分割した３つめの背景画像データ、１２７〜１２８はその後に伝送するＲＯＩ前景画像データ群、１２９は４分割した最後の残りの背景画像データであり４分割した背景画像データの送信は完了する。以後はその繰り返しであり、１３２、１３５、１３８、１４１、１４４、１４７、１５０、１５３は分割した背景画像データ、１３０〜１５５で分割背景以外のものはＲＯＩ前景画像データである。

以上のように本実施の形態の画像符号化伝送表示装置１によれば、入力された画像をＲＯＩ符号化部４０で符号化し、符号化された画像をネットワークインタフェース部６０がネットワーク１１０経由で伝送する。同時にネットワークインタフェース部６０はネットワーク１１０の送信可能な帯域を推定してＲＯＩ符号化制御部５０に情報を送る。画像を符号化する際、ＲＯＩ符号化制御部５０がネットワーク１１０の帯域に応じて符号量を制御し、ＲＯＩ符号化部４０は、入力された画像から前景画像と背景画像を分離し、前景画像に対して、フレームレートを背景画像のフレームレートより高くして符号化し、背景画像に対して、前景画像の複数のフレーム期間の背景画像を合成した合成背景画像を用いて符号化する。即ち、動きのある前景画像については、フレームレートを背景画像のフレームレートより高くして符号化し、動きの少ない背景画像については、実施例に示したように前景画像の複数のフレーム期間の背景画像を合成した合成背景画像を用いて符号化するので、符号量の削減を図りながらも、見た目の主観画質が低下したり、動きの全体像が判らなくなったりすることがない。また、ＲＯＩ符号化制御部５０とネットワークインタフェース部６０は、ネットワーク１１０の帯域を推定し、推定した帯域に応じて背景画像のフレームレートやＲＯＩ前景画像のフレームレートを変更するので、効率の良い符号化が可能となる。また、ネットワーク１１０にて伝送されてきた符号化された画像をネットワークインタフェース１００で受信し、ＲＯＩ復号化部８０がそれを復号化する。また、ネットワークインタフェース１００がネットワーク１１０の状態を推定し、ＲＯＩ復号化部８０は、推定されたネットワークの状態に対応して画像を合成するので、符号量が制御された画像を適確に再生することができる。またネットワークの輻輳によりデータが廃棄され伝送エラーが生じた状況においても、伝送エラーの状況を画面に判りやすく表示するとともに、表示画面の乱れをなくし、大変品質の高い画像の伝送と表示を実現することができる。以上のように本発明によれば、ネットワークの帯域が大きく制限された場合においても、ＲＯＩ画像や背景画像を合成して、ネットワークの帯域を最大限に生かす画像を合成して符号化し、伝送する。また受信側でも、ネットワークの輻輳による伝送エラーを検出し、伝送エラーを状況を判りやすく表示するとともに、画像の乱れをなくして画像を表示する。このようなシステムにより、ネットワークの帯域が大きく変動する状況においても判りやすい（主観画質の高い）画像の伝送表示を実現できる。

本発明は、符号量の削減を図りながらも、見た目の主観画質が低下したり、動きの全体像が判らなくなったりすることがないといった効果を有し、監視カメラなどへの適用が可能である。

１画像符号化伝送表示装置
１０撮像装置
２０表示装置
３０画像符号化伝送装置
４０ＲＯＩ符号化部
４１画像入力部
４２ＲＯＩ部切出部
４３画像平均部
４４背景変化切出部
４５背景画像合成部
４６フレームレート制御タイミング制御部
４７画像符号化部
５０ＲＯＩ符号化制御部
６０ネットワークインタフェース部
７０画像受信復号化装置
８０ＲＯＩ復号化部
８１画像復号化部
８２ＲＯＩ部合成部
８３背景画像合成部
８４画像合成部
８５フレームレート・ネットワーク適応制御部
９０ＲＯＩ表示制御部
１００ネットワークインタフェース部
１１０ネットワーク

Claims

入力された画像を符号化する符号化手段と、
前記符号化手段で符号化された画像をネットワーク経由で伝送する第１ネットワークインタフェース手段と、
ネットワークの帯域に応じて符号量を制御する符号化制御手段と、を備え、
前記符号化手段は、入力された画像から前景画像と背景画像とを分離し、前記前景画像を所定のフレームレートで符号化し、前記前景画像の複数のフレーム期間内の背景画像又は前記複数のフレーム期間内の一部の背景画像を平均し、前記背景画像又は一部の背景画像がフレーム間で変化している部分は変化部分の最新背景画像を平均画像に上書き合成した合成背景画像を生成し、該合成背景画像を前記所定のフレームレートより低いフレームレートで符号化することを特徴とする画像符号化伝送装置。
入力された画像を符号化する符号化手段と、
前記符号化手段で符号化された画像をネットワーク経由で伝送する第１ネットワークインタフェース手段と、
ネットワークの帯域に応じて符号量を制御する符号化制御手段と、を備え、
前記符号化手段は、入力された画像から前景画像と背景画像とを分離し、前記前景画像
を所定のフレームレートで符号化し、前記前景画像の複数のフレーム期間内の背景画像又は前記複数のフレーム期間内の一部の背景画像を平均し、前記背景画像又は一部の背景画像がフレーム間で変化している部分は変化部分の画像を、所定の時間間隔で平均画像に上書きして合成することで合成背景画像を生成し、該合成背景画像を前記所定のフレームレートより低いフレームレートで符号化することを特徴とする画像符号化伝送装置。
前記符号化手段は、前記変化部分の画像の上書き合成を背景画像のフレームレートに対応させる請求項２に記載の画像符号化伝送装置。
前記符号化手段は、前記変化部分の画像の上書き合成を背景画像のフレームレートに対応してその上書き時の画像の濃度を変化させる請求項３に記載の画像符号化伝送装置。
前記符号化制御手段は、前記ネットワークの帯域を推定し、推定した帯域に応じて背景画像のフレームレートを変更する請求項１乃至請求項４のいずれか一項に記載の画像符号化伝送装置。
前記背景画像のフレームレートを表示する制御を行う表示制御手段を備えた請求項１乃至請求項５のいずれか一項に記載の画像符号化伝送装置。
前記表示制御手段は、背景更新後の経過時間を表示する制御を行う請求項６に記載の画像符号化伝送装置。
前記符号化手段は、入力された画像からＲＯＩ画像を切り出し、切り出し合成する背景変化部分の背景伝送後の画像の座標値をＲＯＩ画像と共に送る請求項１乃至請求項７のいずれか一項に記載の画像符号化伝送装置。
前記符号化手段は、入力された画像からＲＯＩ画像を切り出し、切り出し合成した背景変化部分の背景合成したときの座標値をＲＯＩ画像と共に送る請求項１乃至請求項８のいずれか一項に記載の画像符号化伝送装置。
前記符号化手段は、ネットワークの帯域が広いと推定された状況では背景変化部分の画像をＲＯＩ画像に格上げする請求項８又は請求項９に記載の画像符号化伝送装置。
前記符号化手段は、ネットワークの状況により伝送エラーが生じた場合には背景更新を行わない請求項２乃至請求項１０のいずれか一項に記載の画像符号化伝送装置。
前記符号化手段は、ネットワークの状況により伝送エラーが生じた場合に背景更新を行わない状況にあれば、背景未更新を表示する請求項２乃至請求項１１のいずれか一項に記載の画像符号化伝送装置。
前記符号化手段は、背景領域を複数に分割伝送する請求項１乃至請求項１２のいずれか一項に記載の画像符号化伝送装置。
前記符号化手段は、ネットワークの状況により伝送エラーが生じた場合には複数に分割した背景の背景更新を行わない請求項１３に記載の画像符号化伝送装置。
前記表示制御手段は、背景画像のフレームレートを数値又は画像で表示する制御を行う請求項６乃至請求項１４のいずれか一項に記載の画像符号化伝送装置。
前記表示制御手段は、背景画像を更新した後の経過時間を数値又は画像で表示する制御を行う請求項６乃至請求項１４のいずれか一項に記載の画像符号化伝送装置。
前記表示制御手段は、背景画像を更新した後の経過時間に応じて背景画像に加算した背景変化部分画像の濃度を薄くする制御を行う請求項６乃至請求項１６のいずれか一項に記載の画像符号化伝送装置。
前記表示制御手段は、伝送された前景画像を一定時間間隔で背景画像に貼り付ける制御を行う請求項６乃至請求項１７のいずれか一項に記載の画像符号化伝送装置。
ネットワークにて伝送されてきた符号化された画像を復号化する復号化手段と、
前記ネットワークの状態を推定する第２ネットワークインタフェース手段と、
前記ネットワークの状態に対応して画像を合成する画像合成手段と、
を備えた画像復号化装置および請求項１乃至請求項１８のいずれか一項に記載の画像符号化伝送装置を有する画像符号化伝送システム。
入力された画像を符号化する符号化ステップと、
前記符号化ステップで符号化された画像をネットワーク経由で伝送する画像伝送ステップと、
ネットワークの帯域に応じて符号量を制御する符号化制御ステップと、を備え、
前記符号化ステップでは、入力された画像から前景画像と背景画像とを分離し、前記前景画像を所定のフレームレートで符号化し、前記前景画像の複数のフレーム期間内の背景画像又は前記複数のフレーム期間内の一部の背景画像を平均し、前記背景画像又は一部の背景画像がフレーム間で変化している部分は変化部分の最新背景画像を平均画像に上書き合成した合成背景画像を生成し、該合成背景画像を前記所定のフレームレートより低いフレームレートで符号化することを特徴とする画像伝送方法。
入力された画像を符号化する符号化ステップと、
前記符号化ステップで符号化された画像をネットワーク経由で伝送する画像伝送ステップと、
ネットワークの帯域に応じて符号量を制御する符号化制御ステップと、を備え、
前記符号化ステップでは、入力された画像から前景画像と背景画像とを分離し、前記前景画像を所定のフレームレートで符号化し、前記前景画像の複数のフレーム期間内の背景画像又は前記複数のフレーム期間内の一部の背景画像を平均し、前記背景画像又は一部の背景画像がフレーム間で変化している部分は変化部分の画像を、所定の時間間隔で平均画像に上書きして合成することで合成背景画像を生成し、該合成背景画像を前記所定のフレームレートより低いフレームレートで符号化することを特徴とする画像伝送方法。
ネットワークにて伝送されてきた符号化された画像を復号化する復号化ステップと、
前記ネットワークの状態を推定するネットワーク状態推定ステップと、
前記ネットワークの状態に対応して画像を合成する画像合成ステップと、
を備えた請求項２０または２１に記載の画像伝送方法。