JPWO2007099637A1 - 画像送信装置、画像受信装置、および画像送受信システム - Google Patents

Abstract

画像データの送信側から送信された画像データを、送信側よりも低い解像度を持つ受信側でも表示可能にすることを目的とし、画像送信装置が、符号化された画像データとともに、受信側で画像を表示するときの必須表示領域としての重要領域を指定するデータを送る画像データ送信部を備え、画像受信装置が、受信データのサイズが自装置で表示可能な最大サイズを超えるか否かを判定する画像サイズ判定部と、最大サイズを超えるとき、受信データ内で指定されている重要領域の画像データを復号化して表示するとともに、受信した画像データの一画面全ては表示させない画像復号化部とを備える。

Description

本発明は、画像データ、例えば動画像データの送受信方式に係り、さらに詳しくは送信側と受信側における画像処理性能、主として画像の表示領域や解像度が異なる場合の画像データの送受信方式に関する。

ブロードバンド通信、マルチメディア、モバイル通信、通信と放送の融合など、本格的な画像通信時代が始まっている。このような画像通信において、特に携帯端末など、比較的画像処理性能が低い通信装置と、ストリームデータ配信サーバのように比較的画像処理性能が高い通信装置との間では、通信性能の差に応じた通信が行われる。

図１は、そのように画像処理性能が異なる通信機器間での画像通信方式の従来例の説明図である。同図ではＶＧＡ（ビデオ・グラフィックス・アレー、６４０×４８０ドット）の解像度を持つＰＤＡ（パーソナル・デジタル・アシスタンツ）から、ＱＶＧＡ（クォーター ＶＧＡ、３２０×２４０ドット）の解像度を持つカメラ付き携帯端末、ＳＸＧＡ（スーパー・エクステンデッド・グラフィックス・アレー、１２８０×１０２４ドット）の解像度を持つパソコン、および解像度ＶＧＡのＰＤＡに対して画像を同報配信するものとするが、配信先の中に配信元のＰＤＡより解像度が劣るカメラ付き携帯端末が存在するために、配信元で特に細工しない限りはカメラ付き携帯端末側で受信エラー（受信不可能）が発生する。解像度の高いパソコンなどでは、送られた画像が小さな画像データとして扱われるだけで通信上の問題は発生しないが、このような場合には配信元が受信側のカメラ付き携帯端末の性能に合わせて画像を送信するか、あるいは受信できない性能のカメラ付き携帯端末へのデータ配信をあきらめるしかないという問題点があった。

図２は、このように最も画像処理性能が劣る配信先にあわせて、送信側が画像を配信する場合の従来例である。同図ではカメラ付き携帯端末の解像度ＱＶＧＡに合わせて、画像データ配信元のＰＤＡがＱＶＧＡの解像度で動画像を送ることによって、画像データの同報配信が可能となる。

しかしながら、このような場合には配信元で性能が一番低い配信先、およびその画像処理性能を知っている必要があり、またそれに合わせた画像処理が必要となるという問題点と、画像処理性能が高い配信先においてはあまりに解像度の低い画像は小さくて見づらかったり、単純に拡大するとブロック化などが起きるという問題点があった。

このような画像データ送受信に関する従来技術としての特許文献１では、相手側の映像と自分の映像とを１つの画面上に２画面表示するテレビ電話において、自分の映像と相手映像とが重なり合うことによって、相手映像の重要な部分が見にくくなるという問題点を解決する技術が開示されている。

また特許文献２では、例えば自動車を対象とする監視システムにおいて、監視画像を狭い帯域幅の伝送路で伝送するとしても、ユーザが重要と考える人物が含まれる画像領域を低い圧縮率で符号化して伝送することによって、より高画質で伝送する技術が開示されている。

次に特許文献３では、画像データ通信システムにおける受信側で、重要な部分の画像から順に徐々に解像度が高くなるように画像を表示できるように画像データを送信することによって、画像全体の表示が終了する前に、重要な部分については高解像度の画像を表示することができる技術が開示されている。

さらに特許文献４では、画像をスライス分割して伝送するシステムにおいて、画像の一部を重複して符号化、および復号化することによって伝送路エラーに対する耐性を高めることができる符号化、および復号化方法が開示されている。

しかしながらこのような従来技術を用いても、画像データの送信側と受信側とで画像処理性能、特に解像度が異なるときに解像度が高いままで画像データを送信する場合には、解像度の低い受信側は画像を受信できなくなるという問題点と、逆にもっとも解像度の低い受信側に合わせて画像データを同報配信する場合には、解像度が高い受信側で受信画像が小さくて見づらかったり、単純拡大するとブロック化が起きるなどの問題点を解決することができなかった。
特開平１０−２００８７３号 「テレビ電話装置」 特開平１１−２１５４８２号 「監視システム」 特開２００３−３３３５９３号 「画像データ送信装置および画像データ受信装置」 特開２００４−２３６３３７号 「映像の重複符号化および復号化方法とその装置」

本発明の目的は、上述の問題点に鑑み、画像データの送信側が受信側の画像処理性能、特に解像度を問題にすることなしに画像データを送信しても、解像度の低い受信側で送信された画像データを表示可能にすることである。

本発明の画像送信装置は、画像を符号化する画像符号化手段と、符号化された画像データとともに、その画像データの受信側で画像を表示するときの必須表示領域としての重要領域を指定するデータを、画像データの受信側に送る画像データ送信手段とを備える。

また本発明の画像受信装置は、受信した画像データのサイズが自装置で表示可能な最大表示サイズを超えるか否かを判定する画像サイズ判定手段と、最大表示サイズを超えるとき、受信データ内で指定されている重要領域の画像データを復号化して表示するとともに、受信した画像データの一画面全ては表示させない画像復号化手段とを備える。

さらに本発明の画像送受信システムは、このような画像送信装置と、１つ以上のこのような画像受信装置とによって構成される。

送信側の画像処理性能に合わせた画像配信方式の従来例の説明図である。 受信側の画像処理性能に合わせた画像配信方式の従来例の説明図である。 本発明の画像送受信システムの原理構成ブロック図である。 本実施形態における画像送信装置、または画像受信装置の基本構成ブロック図である。 冗長スライスを用いたエラー訂正方式の説明図である。 Ｈ．２６４におけるアクセスユニットの構造を示す図である。 重要な画像領域に対してエラー訂正に強い符号化を行う方式の説明図である。 フレキシブル・マクロブロック・オーダリングの説明図である。 本実施形態における画像内の重要領域の指定法の説明図である。 本実施形態における重要領域指定データのアクセスユニットへの格納の説明図である。 ソフトウェア処理を中心とする符号化・送信処理の説明図である。 ソフトウェア処理を中心とする復号化処理の説明図である。 ハードウェア処理を中心とする復号化処理の説明図である。 送信側におけるビデオＣＯＤＥＣの構成ブロック図である。 受信側におけるビデオＣＯＤＥＣの構成ブロック図である。

図３は、本発明の画像送受信システムの原理構成ブロック図である。同図において画像送受信システムは、画像送信装置１と、１つ以上、一般には複数の画像受信装置２とによって構成される。

画像送信装置１は、画像を符号化する画像符号化部３と、符号化された画像データとともに、その画像データの受信側で画像を表示するときの必須表示領域としての重要領域を指定するデータを受信側に送る画像データ送信部４とを備える。

画像受信装置２は、受信した画像データのサイズが自装置で表示可能な最大表示サイズを超えるか否かを判定する画像サイズ判定部５と、その最大表示サイズを超えるとき、受信データ内で指定されている重要領域の画像データを復号化して表示するとともに、受信した画像データの一画面全体は表示させない画像データ復号化部６とを備える。一般に複数の画像受信装置２は、異なる解像度、すなわち最大表示サイズを持つものとする。

本発明においては、前述の重要領域が画像のスライス分割伝送時において伝送エラー訂正のために伝送される冗長スライスに対応する領域であることも、また伝送エラー耐性の強い符号化が行われる重要スライスに対応する領域であることもできる。

以上のように本発明によれば、画像送信側から画像を表示するときの必須表示領域としての重要領域を指定するデータが画像データとともに送られ、受信側で受信した画像データのサイズが送信側で表示可能な最大表示サイズを超えるときにも、その重要領域の画像データが復号化されて表示されるとともに、受信した画像データの一画面全体は表示させないような制御が行われる。

図４は、本発明の画像通信システムを構成する画像送信装置、および画像受信装置の基本的な構成ブロック図である。同図において画像送信装置、または画像受信装置は、画像データの符号化、および復号化を行うビデオＣＯＤＥＣ１０を中心として構成されており、ビデオＣＯＤＥＣ１０にはＣＰＵ１１とメモリ１２とが接続され、さらにＣＰＵ１１にはキャッシュ１３が接続されている。

後述するように、図２の構成を持つ画像送信装置は、画像データをビデオＣＯＤＥＣ１０によって符号化するとともに、画像のうちで重要な領域を示すユーザデータを、符号化データとともに画像データの受信側に送信する。画像受信装置側では、画像内の重要領域を示すデータに対応して、必要に応じて重要領域のみの画像データ、または全体の画像データを復号化して、復号化後の画像データを表示する。本実施形態では、基本的には重要領域を示すデータの解析や画像の表示処理などはＣＰＵ１１によるソフトウェアによって処理し、符号化、および復号化のように処理速度を必要とする部分については、ビデオＣＯＤＥＣ１０によるハードウェア処理を行うものとする。

本発明の実施形態についてさらに詳細に説明する前に、本実施形態において適用するビットストリーム伝送におけるエラー対策に関する技術を、Ｈ．２６４動画像圧縮符号化標準方式を例として説明する。

Ｈ．２６４動画像圧縮符号化標準は、通信に関する国際標準化機関としてのＩＴＵ−Ｔ（インターナショナル・テレコミュニケーション・ユニオン−テレコミュニケーション・スタンダーダイゼーション・セクター）と、ＭＰＥＧ（ムービング・ピクチャ・エキスパーツ・グループ）によって共同で標準化された最新の画像圧縮技術であるが、本発明の実施形態をこの標準化技術におけるビットストリーム伝送エラー対策を用いて説明するものとする。

Ｈ．２６４では、１つの画面に相当するピクチャを細分化した小画面としてのスライスが符号化の基本単位となる。各スライスは複数のマクロブロックから構成される。一般的には各マクロブロックの画像データは一度だけ符号化／復号化されるが、伝送路品質が悪い場合にエラー訂正能力を高めるために、同じマクロブロックを複数回符号化／復号化する方法がある。基本的には１つのスライスに２回以上同じマクロブロックが含まれることは許されないため、冗長なスライスを作成して、伝送エラーの状態に応じて冗長スライスのデータを用いてエラー訂正を行うことができる。

図５は、このような冗長スライスを用いたエラー訂正方式の説明図である。同図においては、通常のスライスデータに加えて冗長スライスのデータも伝送され、通常の伝送スライスデータにエラーが生じたとしても、そのエラー箇所に該当するマクロブロックが冗長スライスに含まれ、かつその冗長スライスに対するエラーがない場合には、冗長スライス内のマクロブロックのデータを用いて画像データの復号を行うことによって、エラーのない画像を再現することができる。エラー箇所に該当するマクロブロックのデータが冗長スライスに存在しない場合にはエラー訂正を行うことはできない。

なお、Ｈ．２６４では複数のスライスを含むスライス・グループに多くの種類があり、マクロブロックを交互に並べたスライス、矩形のスライス、時計回り・反時計回り、逆ラスタ順などのスライス・グループがあるが、その詳細は本発明と直接の関連はないので、その説明を省略する。

Ｈ．２６４では、動画像符号化処理そのものを扱うＶＣＬ（ビデオ・コーディング・レイヤ）と、符号化された情報を伝送、蓄積する下位システムとの間にＮＡＬ（ネットワーク・アブストラクション・レイヤ）というレイヤが規定されており、下位システムとの間のビットストリームのマッピング（対応づけ）は、ＮＡＬの１区切りとしてのＮＡＬユニットを単位として行われる。そしてさらにビットストリーム中の情報をピクチャ単位でアクセスするために、いくつかのＮＡＬユニットがまとめられ、アクセスユニットと呼ばれる。

図６は、このアクセスユニットの構造を示す。同図においてアクセスユニットの先頭のＡＵ（アクセスユニット）デリミターはアクセスユニットの先頭を示す開始符号であり、次のＳＰＳ（シーケンス・パラメータ・セット）はシーケンスに関する情報（ヘッダ）であり、ＰＰＳ（ピクチャ・パラメータ・セット）はピクチャ全体の符号化モードの情報（ヘッダ）であり、ＳＥＩ（サプリメンタル・エンハンスメント・インフォメーション）は付加情報である。その後に画像データ全体に対応する主ピクチャ、さらにその後に冗長スライスに対応する冗長ピクチャが格納され、最後にシーケンスの終了を示すＥＯＳ（エンド・オブ・シーケンス）、およびストリームの終了を示すＥＯＳ（エンド・オブ・ストリーム）が格納される構造となっている。そして通常の画像データに相当する主ピクチャの後に格納される冗長ピクチャ内の冗長スライスは、図５で説明したように伝送路エラー訂正のために用いられる。

Ｈ．２６４において冗長スライスを使用する代わりに、画像の重要領域を、その他の領域に対応する通常スライスと異なる符号化方式を用いてエラー訂正に強い符号化を行った重要スライスとして受信側に伝送する方式がある。図７はこのような重要スライスを用いる画像エラー訂正方式の説明図である。画像内の重要領域を、その他の通常領域に対する通常スライスよりもエラー訂正に強い符号化を行って受信側に伝送することによって、重要スライス内にエラーが生じてもエラー訂正を行った復号化が可能となる。

図８は、このように重要スライスと通常スライスとに区別して、異なる符号化方式を用いる場合のスライス（マクロブロック）の順序の説明図である。このような順序はＦＭＯ（フレキシブル・マクロブロック・オーダリング）と呼ばれており、エラー耐性の強い符号化が行われた重要スライスの後に、通常の符号化が行われた通常スライスが格納される。

次に本実施形態において、以上のような伝送エラー対策を応用した画像伝送について説明する。図９は、本実施形態における重要領域の指定法の説明図である。本実施形態では前述の冗長スライスやＦＭＯなどの技術を活用して、画像処理性能、主として表示画像サイズが異なる画像送信装置と画像受信装置の間で画像表示上の問題が生じないように画像データの送受信を行うものとする。

図９において本実施形態では、画像内の重要領域はその中心点Ａと、重要領域のサイズＢ、すなわち横方向の画素数と縦方向の画素数によって定義するものとする。このような重要領域の指定は、画像データの送信側でそのような指定を用いるか否かを示すオン／オフ、および重要領域の中心点Ａの位置、重要領域のサイズＢとが定義されて画像データの受信側に送られ、受信側ではそのデータを解析して、例えば画像データのすべてを表示するか、重要領域だけを表示するかなどの選択が行われる。

このような重要領域の指定が行われる場合、すなわちオンの場合には、まずデフォルトの領域としての中心点Ａの位置、および領域のサイズＢが設定されているものとし、またこれらのデータについてはユーザのカスタマイズが可能なものとする。ユーザによるカスタマイズの方法としては、中心点Ａの位置を画面のイメージ上で設定させることによって、また重要領域のサイズＢについては、一般的な画像サイズから選択させることを基本とするが、ユーザが希望するサイズを指定することもできるものとする。ただし、ユーザが指定する場合には、サイズオーバーなどの問題を防ぐために画面上で指定させるような工夫が必要である。

一般的な画像サイズとしては前述のＶＧＡ、ＱＶＧＡ、ＳＸＧＡの他に、ＣＩＦ（コモン・インターフェース・フォーマット、３５２×２８８ドット）、およびＱＣＩＦ（クォータＣＩＦ、１７６×１４４ドット）などを指定させるものとする。

このように、画像データの送信側で設定された重要領域に関する情報としての重要領域の中心点の位置Ａ、およびそのサイズＢなどのデータと、前述のように冗長スライスを用いるか、あるいは図８で説明したＦＭＯの方式を用いるかなどのデータは、図６で説明したアクセスユニット内の付加情報ＳＥＩの領域に格納されて、画像データの受信側に送られるものとする。このＳＥＩは、画像のデコード処理とは直接には関係のない付加情報であり、このＳＥＩの中にユーザデータ領域が存在するため、図１０に示すようにこのＳＥＩの内部にユーザデータとしてこれらのデータを格納して、受信側に送信するものとする。

以上に説明した冗長スライスやＦＭＯ方式を用いる画像データの送受信について、図１１から図１５を用いてさらに説明する。図１１は、送信側において主としてソフトウェアを用いて行われる画像データ符号化・送信処理の説明図である。

図１１において、画像データの送信時には、まずステップＳ１で重要領域の指定がオン／オフのいずれであるかが判定され、オフ、すなわち重要領域の指定を行わない場合には、ステップＳ２でハードウェア処理としての通常符号化処理が行われ、ステップＳ３で画像データが送信されて処理を終了する。

重要領域の指定がオン、すなわち指定を行う場合にはステップＳ４で重要領域情報、すなわち中心点、サイズなどの抽出が行われる。この重要領域情報については、前述のようにデフォルトの値を用いることも、あるいはユーザから指定されるデータを用いることも可能である。そして図５、図６で説明した冗長スライスを用いるか、あるいは図７、図８で説明したＦＭＯ方式を用いるかによって、ステップＳ５、Ｓ６の処理が行われるか、あるいはステップＳ７、Ｓ８の処理が行われるかが決定される。

冗長スライスを用いる場合には、ステップＳ５で符号化パラメータ情報の指定が行われる。すなわち、重要領域（冗長スライス）のサイズや位置が指定され、またその重要領域情報がＳＥＩ内のユーザデータとして指定された後に、ハードウェア処理としての冗長スライス指定の符号化処理がステップＳ６で行われ、ステップＳ３で画像データが送信されて処理を終了する。

ＦＭＯ方式を用いる場合には、ステップＳ７で同様に重要領域（重要スライス）の位置とサイズが指定され、その重要領域情報がＳＥＩ内部のユーザデータとして指定された後に、ステップＳ８でハードウェア処理としてのスライス分割、すなわち重要スライスと通常スライスとの分割が指定された符号化処理が行われ、ステップＳ３で画像データが送信されて処理を終了する。

図１２は、ソフトウェア処理を中心とする受信側の処理の説明図である。同図において画像データを受信すると、ステップＳ１１でヘッダの復号化処理として、アクセスユニットのヘッダの復号化処理が行われ、ステップＳ１２で受信画像サイズが自装置における画像表示サイズ以上であるか否かが判定される。画像表示サイズ以上でない場合、すなわち受信画像の全体を表示できる場合には、ステップＳ１３でハードウェア処理としてのピクチャ（スライス）の通常復号化処理が行われ、ステップＳ１４で復号画像が表示されて処理を終了する。この場合には受信画像そのもののサイズの画像の表示が行われる。

ステップＳ１２で受信画像サイズが自装置の画像表示サイズ以上である場合には、ステップＳ１５で画像表示を行うべきか否かが判定され、行うべきでない場合にはステップＳ１６で受信不可として復号処理が中止されて処理を終了する。

画像表示を行うべき場合には、ステップＳ１７で送信側から送られたアクセスユニット内のＳＥＩにおけるユーザデータが解析され、重要領域の位置やサイズなどが抽出され、ステップＳ１８でハードウェア処理としての重要領域の内部のスライスの復号化処理が行われ、ステップＳ１９で復号画像の表示、すなわち重要領域のみの表示が行われて、処理を終了する。なお重要領域のみの表示を行う代わりに受信した画像データ一画面全体は表示させないようにすることも可能である。

図１３は、主としてハードウェア処理を用いる受信側の処理の説明図である。同図において画像データが受信されると、ステップＳ２１で例えば受信画像の表示サイズを与える復号化パラメータの設定処理がソフトウェア処理として行われた後に、ハードウェア処理としてステップＳ２２でアクセスユニット部のヘッダの復号化処理が行われ、ステップＳ２３で受信画像のサイズが自装置の画像表示サイズ以上であるか否かが判定され、以上でない場合にはステップＳ２４でピクチャ（スライス）の通常復号化処理が行われ、ステップＳ２５でソフトウェア処理として復号画像の表示が行われて処理を終了する。

ステップＳ２３で受信画像のサイズが自装置の画像表示サイズ以上であると判定されると、ステップＳ２６でＳＥＩの内部のユーザデータが解析され、重要領域のサイズなどが抽出されて、ステップＳ２７で重要領域の復号化処理が行われ、ステップＳ２５でソフトウェア処理としての復号画像の表示が行われて処理を終了する。なおここで重要領域の復号化処理としては冗長スライスを用いる図５、図６で説明した方式と図７、図８で説明した重要スライスを用いたＦＭＯ方式とでそれぞれ対応する復号化処理が行われる。

図１４は、図１１で説明した送信側の処理に対応するビデオＣＯＤＥＣのハードウェア構成の説明図である。同図においてビデオＣＯＤＥＣ１０は、入力画像データのヘッダの符号化を行うヘッダ符号化部１５と、画像データそのものの符号化を行う画像データ符号化部１６によって構成されている。

図１５は、図１３に対応するビデオＣＯＤＥＣの構成ブロック図である。同図において受信画像データが入力されると、ヘッダ復号化部１７によってアクセスユニット部のヘッダ復号化処理が行われ、ＳＥＩユーザ情報解析部１８によってアクセスユニットのＳＥＩ内のユーザデータが解析されて重要領域の中心点の位置やそのサイズなどが抽出され、画像データ復号化部１９によって、例えば重要領域のみの画像データの復号化が行われる。なお、図１２に対応するビデオＣＯＤＥＣは、ヘッダ復号化部１７、および画像データ復号化部１９だけを備え、ＳＥＩユーザ情報解析部を備えない構成となる。このＳＥＩユーザ情報解析部１８は基本的に論理回路などを用いて構成されるものである。

以上詳細に説明したように、本発明によれば、画像データの受信側における解像度が低く、最大画像表示サイズが小さい場合にも送信側から指定される重要領域の画像を表示することが可能となる。また、受信側の画像処理性能、すなわち解像度が送信側と同じである場合には送信側から送られたすべての画像データが表示され、受信表示画像の劣化を防ぐことができる。

Claims (10)

1. 画像を符号化する画像符号化手段と、
   該符号化された画像データとともに、該画像データの受信側で画像を表示するときの必須表示領域としての重要領域を指定するデータを、該画像データの受信側に送る画像データ送信手段とを備えることを特徴とする画像送信装置。
2. 前記重要領域が、画像のスライス分割伝送時において、伝送エラー訂正のために伝送される冗長スライスに対応する領域であることを特徴とする請求項１記載の画像送信装置。
3. 前記重要領域が、画像のスライス分割伝送時において、伝送エラー耐性の強い符号化が行われる重要スライスに対応する領域であることを特徴とする請求項１記載の画像送信装置。
4. 画像データを受信する手段と、
   該受信手段により受信されたデータが重要領域を指定するデータが付加された画像データである場合に、重要領域の画像データを復合化し表示するとともに、受信した画像データの一画面全ては表示させない画像復合化手段と、
   を有することを特徴とする画像受信装置。
5. 受信した画像データのサイズが、自装置で表示可能な最大表示サイズを超えるか否かを判定する画像サイズ判定手段と、
   該最大表示サイズを超えるとき、受信データ内で指定される重要領域の画像データを復号化し表示するとともに、受信した画像データの一画面全ては表示させない画像復号化手段とを備えることを特徴とする画像受信装置。
6. 前記重要領域が、画像のスライス分割伝送時において、伝送エラー訂正のために伝送される冗長スライスに対応する領域であることを特徴とする請求項４および５記載の画像受信装置。
7. 前記重要領域が、画像のスライス分割伝送時において、伝送エラー耐性の強い符号化が行われる重要スライスに対応する領域であることを特徴とする請求項４および５記載の画像受信装置。
8. 画像を符号化する画像符号化手段と、該符号化された画像データとともに、該画像データの受信側で画像を表示するときの必須表示領域としての重要領域を指定するデータを、該画像データの受信側に送る画像データ送信手段とを備える画像送信装置と、
   受信した画像データに重量領域を指定するデータが付加されていた場合に、受信データ内で指定されている重要領域の画像データのみを復号化し表示させるとともに、該受信データの一画面全ては表示させない画像復号化手段とを備える画像受信装置とで構成されることを特徴とする画像送受信システム。
9. 前記重要領域が、画像のスライス分割伝送時において、伝送エラー訂正のために伝送される冗長スライスに対応する領域であることを特徴とする請求項８記載の画像送受信システム。
10. 前記重要領域が、画像のスライス分割伝送時において、伝送エラー耐性の強い符号化が行われる重要スライスに対応する領域であることを特徴とする請求項８記載の画像送受信システム。