JP4190157B2 - 画像データ送信装置および画像データ受信装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、画像伝送技術に関し、特に画像データを送信または受信する装置に関する。
【０００２】
【従来の技術】
近年、ＰＣ（パーソナルコンピュータ）を代表とする各種情報機器の普及、デジタルカメラやカラープリンタなどの大衆化、インターネット人口の爆発的な増加などにより、一般人の日常生活にデジタル画像の文化が深く浸透した。こうした状況下、静止画像、動画像については、それぞれＪＰＥＧ（Joint Photographic Expert Group）、ＭＰＥＧ（Motion Picture Expert Group）などの符号化圧縮技術が標準化され、ＣＤ−ＲＯＭなどの記録媒体や、ネットワークまたは放送波などの伝送媒体を通じた画像の配信および再生の利便性が改善されている。なお、ＪＰＥＧの系列において、その進化版ともいうべきＪＰＥＧ２０００が発表され、またＭＰＥＧについても中長期に及ぶ目標が策定されている。
【０００３】
このように、画像の配信および再生の利便性が改善されるに伴って、ネットワークを通じてＰＣその他の情報機器間で画像の通信が盛んに行われるようになった。さらに、インターネットに接続可能な携帯電話やＰＤＡ（personal digital assistants）にも画像が配信されはじめている。今後は、さらにいろいろな形態の機器に対するリアルタイムの動画配信が、重要な市場を形成すると考えられる。
【０００４】
【発明が解決しようとする課題】
各種回線等のネットワークを通じて画像を配信する場合、回線の混雑によって受信側で画像が長時間再生されない事態が生じうる。特に、動画像を配信する場合、リアルタイムに再生されないおそれがある。
また、回線は混雑していなくとも、例えば受信側の装置が携帯電話やＰＤＡである場合、受信側の装置の処理速度によっては画像が迅速に再生されないおそれがある。
本発明者はこうした課題を認識することにより本発明をなしたものであり、その目的は、画像を適切に再生することのできる技術の提供にある。
【０００５】
【課題を解決するための手段】
本発明のある態様は、画像データ送信装置に関する。この送信装置は、画像データを送信する送信部と、前記画像データを送信する時間帯を保持する時間欄、前記画像データを送信する受信装置の属する送信先地域を保持する送信先地域欄、並びに前記時間帯および前記送信先地域における前記画像データの伝送速度に関連する回線の伝送状況を保持する伝送状況欄を含む伝送状況テーブルと、前記画像データを送信すべき送信先地域および現在の時刻を検出し、前記伝送状況テーブルを参照してその送信先地域および時刻に対応した伝送状況を検出し、その伝送状況に基づいて、送信すべき画像データの量を制御する制御部と、を備える。
この場合、前記制御部は、前記画像データを送信した受信装置またはその送信先地域に属する中継装置から受信した回線速度に関する実績値に基づいて、前記伝送状況テーブルを更新することが望ましい。
【００１０】
制御部は、前記情報をもとに、画像データの解像度を調整して画像データを圧縮してもよいし、画像データの低周波成分を抽出することによって画像データを圧縮してもよい。低周波成分により、原画像の最も基本的な性質を再現することができる。制御部は、前記情報をもとに、画像データに含まれる画素の表現ビット数を低減して画像データを圧縮してもよい。
【００１８】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【００１９】
【発明の実施の形態】
実施の形態では、画像を符号化して送信し、これを受信した装置が復号の後に再生する。符号化はＪＰＥＧ２０００に従う。まずＪＰＥＧ２０００の符号化と復号の概要を説明する。
図１は、ＪＰＥＧ２０００による符号化および復号の手順を示す図である。符号化において、符号化の対象である画像（以下「対象画像」という）に対し、まず１回ウェーブレット変換が施され、第１階層の画像ＷＩ１が生成される。ＪＰＥＧ２０００で利用されるウェーブレット変換のフィルタは、Daubechiesフィルタであり、その本質は、画像の縦横に対してそれぞれ同時にハイパスフィルタおよびローパスフィルタを作用させる点にある。したがって、その変換の結果画像はｘ、ｙの両方向に低周波成分を有するＬＬサブバンドと、ｘ、ｙの一方向に低周波成分を有し、かつ他方向に高周波成分を有するＨＬサブバンドおよびＬＨサブバンドと、ｘ、ｙの両方向に高周波成分を有するＨＨサブバンドの合計４つのバンドに分割される。またこのフィルタは、ｘ、ｙの両方向について画素数を１／２に軽減する作用も併せもつ。したがって、図１に示すごとく、第１階層の画像ＷＩ１において、模式的に示された４つのサブバンド（ここではＬＬ１、ＨＬ１、ＬＨ１、ＨＨ１と表記する）が生成される。
【００２０】
符号化におけるウェーブレット変換では、所定の回数フィルタリングが施される。図１では、ウェーブレット変換は２回おこなわれ、第２階層の画像ＷＩ２が生成される。２回目以降のウェーブレット変換は、直前の階層の画像のうち、ＬＬサブバンド成分に対してのみ施される。したがって、第２階層の画像ＷＩ２において、第１階層の画像ＷＩ１のＬＬ１サブバンドが、４つのサブバンドであるＬＬ２、ＨＬ２、ＬＨ２、ＨＨ２に分解されている。このあと量子化、ビットプレーン符号化、算術符号化、ビットストリーム生成などの処理を経て、最終的に符号化画像データＣＩ（Coded Image）が得られる。対象画像における低周波成分は、図１において、より左上に現れる。図１の場合、第２階層の画像ＷＩ２の左上隅にあるＬＬ２サブバンドがもっとも低周波寄りの成分を含む。
【００２１】
一方、復号では、まず符号化画像データＣＩが入力され、ビットストリーム解析および分解、算術復号、ピットプレーン復号などの処理を経たのち、逆量子化処理を受ける。この段階で対象画像に対して２回ウェーブレット変換が施されたものに相当する第２階層の画像ＷＩ２が得られる。つづいてこの画像にウェーブレット逆変換が施されて第１階層の画像ＷＩ１が生成され、もう１度ウェーブレット逆変換が施され、復号画像ＤＩ(Decoded Image)が得られる。
【００２２】
図２は、本発明の第１の実施形態に係る画像通信システムの構成を示す。画像通信システムは、画像データ送信装置の一例としての送信装置１０と、画像データ受信装置の一例としての受信装置２０とを有する。この送信装置１０および受信装置２０のぞれぞれの構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリのロードされた画像データ送信機能または画像データ受信機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【００２３】
送信装置１０と受信装置２０とは、例えば、インターネット等の回線３０を介して接続されている。送信装置１０は、記憶部１１と、制御部１２と、受信部１３と、圧縮部１４と、送信部１５とを有する。記憶部１１は、画像データの伝送速度に関する情報を格納する伝送状況テーブルを内蔵する。
【００２４】
図３は、その伝送状況テーブル１６を示す。伝送状況テーブル１６は、時間欄１７と、送信先地域欄１８と、伝送状況欄１９とを有する。時間欄１７は、画像データを送信するおよその時間帯を保持する。送信先地域欄１８は受信装置２０の属する地域、すなわち送信先地域を保持する。送信先地域は、例えばＩＰアドレスとそのアドレスをもつ装置が属するネットワークの地域とを対応付けておき、受信装置２０のＩＰアドレスをもとに特定される。伝送状況欄１９は、それぞれ対応する時間帯および送信先地域における画像データの伝送速度に関連する回線の伝送状況を格納する。本実施形態では、伝送状況として回線速度に基づいて、１、２、３、４、５のいずれかが格納されており、過去の実績から伝送速度が速いと予測されるものほど値が小さい。本テーブル１６によると、例えば、５：００〜６：００において、送信先地域がニューヨークであれば伝送速度が一番遅い。
【００２５】
制御部１２は、送信先地域を検出し、現在の時刻および送信先地域に対応する伝送状況を伝送状況テーブル１６から検出する。また、その伝送状況に基づいて圧縮部１４により圧縮させる画像データの解像度、またはトータルの画素数を制御する。本実施形態では、伝送速度が所定の速度より遅い場合、例えば、伝送状況の値が２以下の場合、解像度に関する圧縮を行う。
【００２６】
圧縮部１４は、送信対象の画像データを受け取り、制御部１２から圧縮の指示を受け取ったとき、画像データの解像度を落とす。一方、圧縮の指示を受け取らなかった場合、解像度は変換しない。
【００２７】
解像度を落とす処理として、例えば、画像の外周部分に属する画素を取り除くトリミングや、画像を複数のブロックに別けてそれぞれ代表画素を抽出する方法や、アベレージフィルタをかけて画素を統合する方法や、単純な間引きなど、いろいろな方法がある。対象が動画像データの場合、フレーム数はそのままで上述の解像度低減処理を行う。一連の処理により、伝送状況が悪いときには、少ない画像データを送ることで、受信装置２０における再生、とくに動画のリアルタイム再生をできる限り確保する。
【００２８】
その後、圧縮部１４は、画像データに対して前述のＪＰＥＧ２０００に基づく符号化処理を行い、符号化画像データＣＩを生成する。送信部１５は、符号化画像データＣＩを受信装置２０に回線３０を介して送信する。
【００２９】
受信装置２０において、回線３０を介して受信部２３が符号化画像データを受信し、再生部２２に渡す。再生部２２は、渡された符号化画像データＣＩに対して、算術復号、ピットプレーン復号などの処理を経たのち、逆量子化処理を行い、さらに、２回ウェーブレット逆変換を行い、復号画像データを生成し、表示部２１に渡す。表示部２１は、渡された復号画像デを画面に表示する。
このように、回線速度が遅い場合には、送信される画像データの量が減らされるので、受信側でリアルタイムの再生を確保しやすくなる。動画像データを送信する場合にも、フレーム数は維持されるため、ある程度の画質を維持しつつ、スムーズな動画像を再生することができる。
【００３０】
なお、送信装置１０において、受信部１３は、画像データやその他のデータを送信した際に、送信先の受信装置、送信先地域に属する図示しない中継装置等から回線速度に関する実績値を受信し、制御部１２に通知する。制御部１２は、受信部１３から通知された実績値に基づいて伝送状況テーブル１６の伝送状況を適宜更新する。これによって、実際の回線における伝送状況を伝送状況テーブル１６に反映することができる。
【００３１】
図４は、本発明の第２の実施形態に係る画像通信システムの構成を示す。この画像通信システムは、送信装置４０と受信装置５０とを有する。
【００３２】
受信装置５０において、制御部５２が記憶部５１から表示部５６における表示仕様を取り出し、送信部５３に渡す。表示仕様として、表示部５６の画面サイズ、カラー表示の可否と色数等がある。送信部５３は渡された表示仕様を回線３０を介して送信装置４０に通知する。
【００３３】
送信装置４０において、受信部４１が受信装置５０の表示仕様を受信し、制御部４２に渡す。制御部４２は、表示仕様に基づいて圧縮部４３により圧縮させる画像データの量を制御する。本実施形態では、表示仕様における画面サイズが圧縮部４３に渡された画像データのサイズより小さい場合、圧縮部４３により画像サイズ、すなわち画像データの画素数を減らすよう指示する。表示仕様により、画面が白黒のみであることが判明すれば、画像データの色コンポーネントである輝度Ｙ、色差Ｃｂ、Ｃｒのなかの輝度Ｙ以外を削除するよう指示する。表示仕様において、色数が画像データの色数より少ない場合、画像データ中の画素の表現ビット数を減らすよう指示する。
【００３４】
送信装置４０の圧縮部４３は、送信対象の画像データを受け取り、制御部４２から出された指示に応じて必要な範囲で画像データを圧縮する。しかる後、符号化の一連の処理を行う。指示が出ていない場合は、そのまま符号化する。送信部４４は、符号化画像データを受信装置５０に回線３０を介して送信する。
【００３５】
受信装置５０において、回線３０を介して受信部５４が符号化画像データを受信し、再生部５５に渡す。再生部５５は、渡された符号化画像データに対して、算術復号、ピットプレーン復号などの処理を経たのち、逆量子化処理を行い、さらに、２回ウェーブレット逆変換を行い、復号画像データを生成し、表示部５６に渡す。表示部５６は、渡された復号画像を画面に表示する。
【００３６】
以上、送信すべき画像データを表示仕様に適合するよう処理することにより、伝送量を減らすことができ、回線の混雑緩和に寄与できる。また、受信装置５０が受信する画像データが減るので、再生部５５の処理負荷を軽減でき、さらに、処理や通信に必要なメモリ量が低減され、ひいては製品コストの削減へも結びつく。また、受信装置５０における表示品質にも低下はない。受信される動画像データのフレーム数も維持できるので、スムーズな動画像を再生することができる。
【００３７】
図５は、本発明の第３の実施形態に係る画像通信システムの構成を示す。画像通信システムは、送信装置６０と受信装置７０とを有する。
【００３８】
本実施形態では、図１に示す画像の最も低周波寄りの成分であるＬＬ２サブバンドさえ得ることができれば、原画像の基本的な性質を再現できるという知見が利用される。
【００３９】
送信装置６０において、圧縮部６３は、送信対象の画像の画像データを受け取り、当該画像データに対して２回ウェーブレット変換を行い、このあと量子化、その他の処理を行い、符号化画像データＣＩを生成する。送信部６４は、圧縮部６３により圧縮された符号化画像データを受信装置７０に回線３０を介して送信する。
【００４０】
受信装置７０において、回線３０を介して受信部７１が符号化画像データを受信し、再生部７２の図示しないバッファに格納する。再生部７２は、バッファから符号化画像データＣＩを取り出し、当該符号化画像データに対して、算術復号、ピットプレーン復号などの処理を経たのち、逆量子化処理を行い、さらに、２回ウェーブレット逆変換を行い、復号画像データを生成して表示部７３に渡す。表示部７３は、渡された復号画像を画面に表示する。
【００４１】
この際、制御部７４は、再生部７２による処理、すなわち復号処理の進行状況を検出し、それに基づいて受信部７１が受信すべきデータ量を制御する。例えば制御部７４は、再生部７２のバッファに未処理の符号化画像データが格納しきれなくなる状況であれば、受信する画像データの量を抑える。そのために本実施形態では、例えばＬＬ２サブバンドに相当するデータを受信した後、受信を停止する。これにより、再生処理の中断や破綻を回避しやすくなる。
【００４２】
再生部７２は、ＬＬ２サブバンドのデータに基づいて復号画像を生成する。制御部７４は、送信部７５を介して画像データが所定の量に到達した旨を送信装置６０に通知する。送信装置６０では、受信部６１がその旨を受信し、これを制御部６２に通知する。制御部６２は、その通知を受けた場合には、送信中の画像データが静止画に関するものであれば圧縮部６３による画像データに対する処理を停止させ、動画に関するものであれば、圧縮部６３に指示して次のフレームのデータに対する処理を開始させる。
【００４３】
このため、受信装置７０側で使用されない画像データの送信を防止することができ、回線の混雑緩和に寄与できる。また受信装置７０ではある程度の画質を維持して適切に画像を表示させることができる。
【００４４】
以上、本発明を実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。たとえば、第１の実施の形態において、符号化前の画像データの解像度を落としたが、例えば、各画素の表現ビット数を減らしてもよく、画像データの低周波成分を抽出して送信してもよく、画像データの色コンポーネントの一部を削除してもよい。
【００４５】
第１の実施の形態では、画像データの送信に際して画像データの量を制御したが、受信装置２０側で伝送速度の実測値を取得し、当該実測値に基づいて受信装置２０において適応的に画像データの量を制御してもよい。
【００４６】
第２の実施の形態では、受信装置５０の表示仕様に基づいて画像データの量を制御したが、送信装置４０が受信装置５０における画像データの処理能力や処理の進行状況に関する情報を受信し、これに基づいて制御してもよい。
【００４７】
第３の実施の形態では、再生部７２の処理の進行状況に基づいて受信すべき画像データの量を制御したが、例えば、画像データの伝送速度や表示仕様に基づいて受信すべき画像データの量を制御してもよい。
【００４８】
第３の実施形態では、ＪＰＥＧ２０００形式の符号化画像データを例にとってＬＬ２サブバンドまでのデータを受信し、その後受信しないとしたが、適度な画質の画像が再生できるだけのデータまでを受信し、その後受信をうち切ってもよい。ＭＰＥＧ等のＤＣＴ（Discrete Cosine Transform）を用いる場合、当然ながら、より低周波側のＤＣＴ係数を受信した段階で受信をうち切る方法を採用してもよい。いずれの場合も、本発明は画像データをなんらかの意味でプログレッシブに伝送する方式とのマッチングがよい。
【００４９】
実施の形態で説明した送信側の制御および受信側の制御は、それらの任意の組合せもまた、有効である。たとえば、送信側では回線３０の実績値に基づいてある程度伝送量を最適化しつつ、受信側では自装置の処理能力に応じて適宜画像データの受信をうち切り、またはその旨を送信側に通知する構成であってもよい。
【００５０】
回線３０の伝送速度に応じた画像データ量の制御は、リアルタイムに行ってもよい。すなわち、回線３０の速度が速い間は画像の高周波成分まで伝送し、遅くなったときは低周波成分のみを送る、という構成であってもよい。
【００５１】
送信側は、受信側の装置の仕様や処理能力を一元管理する図示しないデータベースを有してもよい。その場合、受信装置単位できめの細かい送信制御をすることも可能である。
【００５２】
【発明の効果】
本発明によれば、画像を適切に再生させることができる。
【図面の簡単な説明】
【図１】 ＪＰＥＧ２０００による符号化および復号の手順を示す図である。
【図２】 本発明の第１の実施形態に係る画像通信システムの構成図である。
【図３】 伝送状況テーブルを示す図である。
【図４】 本発明の第２の実施形態に係る画像通信システムの構成図である。
【図５】 本発明の第３の実施形態に係る画像通信システムの構成図である。
図である。
【符号の説明】
１０，４０，６０ 送信装置
１１，５１ 記憶部
１２，４２，５２，６２，７４ 制御部
１３，２３，４１，５４，６１，７１ 受信部
１４，４３，６３ 圧縮部
１５，４４，５３，６４，７５ 送信部
２０，５０，７０ 受信装置
２１，５６，７３ 表示部
２２，５５，７２ 再生部
３０ 回線。

Claims (2)

1. 画像データを送信する送信部と、
   前記画像データを送信する時間帯を保持する時間欄、前記画像データを送信する受信装置の属する送信先地域を保持する送信先地域欄、並びに前記時間帯および前記送信先地域における前記画像データの伝送速度に関連する回線の伝送状況を保持する伝送状況欄を含む伝送状況テーブルと、
   前記画像データを送信すべき送信先地域および現在の時刻を検出し、前記伝送状況テーブルを参照してその送信先地域および時刻に対応した伝送状況を検出し、その伝送状況に基づいて、送信すべき画像データの量を制御する制御部と、
   を備えることを特徴とした画像データ送信装置。
2. 前記制御部は、前記画像データを送信した受信装置またはその送信先地域に属する中継装置から受信した回線速度に関する実績値に基づいて、前記伝送状況テーブルを更新することを特徴とした請求項１に記載の画像データ送信装置。

Images