JP5854247B2 - 画像情報伝送方法及びパケット通信システム - Google Patents
画像情報伝送方法及びパケット通信システム Download PDFInfo
- Publication number
- JP5854247B2 JP5854247B2 JP2014538358A JP2014538358A JP5854247B2 JP 5854247 B2 JP5854247 B2 JP 5854247B2 JP 2014538358 A JP2014538358 A JP 2014538358A JP 2014538358 A JP2014538358 A JP 2014538358A JP 5854247 B2 JP5854247 B2 JP 5854247B2
- Authority
- JP
- Japan
- Prior art keywords
- packet
- packets
- image information
- image
- delay time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000004891 communication Methods 0.000 title claims description 85
- 230000005540 biological transmission Effects 0.000 title claims description 42
- 238000000034 method Methods 0.000 title description 9
- 238000012545 processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000003111 delayed effect Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/12—Shortest path evaluation
- H04L45/121—Shortest path evaluation by minimising delays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0852—Delays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/762—Media network packet handling at the source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/02—Traffic management, e.g. flow control or congestion control
- H04W28/0231—Traffic management, e.g. flow control or congestion control based on communication conditions
- H04W28/0236—Traffic management, e.g. flow control or congestion control based on communication conditions radio quality, e.g. interference, losses or delay
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W72/00—Local resource management
- H04W72/50—Allocation or scheduling criteria for wireless resources
- H04W72/52—Allocation or scheduling criteria for wireless resources based on load
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/28—Flow control; Congestion control in relation to timing considerations
- H04L47/283—Flow control; Congestion control in relation to timing considerations in response to processing delays, e.g. caused by jitter or round trip time [RTT]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/36—Flow control; Congestion control by determining packet size, e.g. maximum transfer unit [MTU]
- H04L47/365—Dynamic adaptation of the packet size
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Environmental & Geological Engineering (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Information Transfer Between Computers (AREA)
Description
本発明はパケット通信による画像情報の伝送に関する。本発明は特に、少なくとも一部に移動体通信ネットワーク等の無線通信区間を含むデータ通信ネットワークを介したパケット通信による画像情報の伝送に関する。
画像情報を符号化してパケット通信網を介して送信すると、パケット通信網のトラヒックの混雑状況によってパケットの遅延が生じる場合がある。特に携帯電話等の移動体通信の場合、トラヒックの混雑状況は端末の位置や時間によって大きく変動する。
このため、通信の前にトラヒックの混雑状況を想定して、その混雑状況下で利用可能な帯域に応じたデータレートを予め定めておいて、そのデータレートで画像情報を符号化、パケット化して送信すると、必ずしも実際のトラヒックの混雑状況に適したビットレートにはならない。実際のトラヒックが想定したものよりも混雑している場合は、パケットが遅延してリアルタイム性を損なう。逆に、実際のトラヒックが想定したものよりも空いている場合は、そのトラヒック状況であれば遅延なしに送信可能だったはずの高いビットレートでの送信機会を逃すこととなる。
近年、特に企業などでは、高度なセキュリティを確保するために、シンクライアントの使用が普及し始めている。これは、端末から、あたかも実端末を操作するようにサーバ上の仮想クライアントを操作し仮想クライアントでアプリケーションを動作させて画面情報を生成し当該画面情報を端末に転送し端末のスクリーンに表示する技術である。端末にはデータを一切残さないため、端末を紛失しても秘密情報や企業情報などが外部に漏れる恐れがないという利点がある。
このため、通信の前にトラヒックの混雑状況を想定して、その混雑状況下で利用可能な帯域に応じたデータレートを予め定めておいて、そのデータレートで画像情報を符号化、パケット化して送信すると、必ずしも実際のトラヒックの混雑状況に適したビットレートにはならない。実際のトラヒックが想定したものよりも混雑している場合は、パケットが遅延してリアルタイム性を損なう。逆に、実際のトラヒックが想定したものよりも空いている場合は、そのトラヒック状況であれば遅延なしに送信可能だったはずの高いビットレートでの送信機会を逃すこととなる。
近年、特に企業などでは、高度なセキュリティを確保するために、シンクライアントの使用が普及し始めている。これは、端末から、あたかも実端末を操作するようにサーバ上の仮想クライアントを操作し仮想クライアントでアプリケーションを動作させて画面情報を生成し当該画面情報を端末に転送し端末のスクリーンに表示する技術である。端末にはデータを一切残さないため、端末を紛失しても秘密情報や企業情報などが外部に漏れる恐れがないという利点がある。
シンクライアントシステムには、端末側からの操作により、サーバ側でアプリケーションソフトを動作させて画面を生成し、画面を圧縮してネットワークを介して端末に転送し、端末で画面を復号して表示する方式のものがある。この種のシンクライアントシステムでは、サーバ側で画面を圧縮符号化して得たビットストリームを、ネットワークを介して端末に転送する。このとき、特に、モバイル網やインターネット網などでは、帯域幅が狭い上にネットワークを流れる他のトラヒックのデータ量に依存して使用できる帯域幅が時間的に大きく変動する。このため、シンクライアントで転送するデータ量を使用可能な帯域幅以下に抑えないと、ネットワークの途中でデータが滞留し、そのために、端末にデータが到着するまでの遅延時間が長くなったり、端末で画面更新用データの到着が遅れ画面がフリーズしたり、応答速度が遅くなったりするという問題があった。
本発明に関連する技術が記載された文献として特許文献1を挙げる。特許文献1には、第1の符号化画像データを送信した後に、第1の符号化画像データよりも高画質な第2の符号化画像データをクライアント端末に対して送信する場合は、第2の符号化画像データを構成する複数の画像データの中で、第1の符号化画像データを構成する画像データと異なる部分の画像データを送信するサーバ装置について記載されている。
本発明はこのような状況に鑑みてなされたものであり、本発明が解決しようとする課題は、パケット通信網を介して画像情報を伝送する際、パケット通信網のトラヒックの時間変動に対応して、遅延を生じることなく、かつ、より高品質なデータとして、その画像情報を伝送することである。
本発明に関連する技術が記載された文献として特許文献1を挙げる。特許文献1には、第1の符号化画像データを送信した後に、第1の符号化画像データよりも高画質な第2の符号化画像データをクライアント端末に対して送信する場合は、第2の符号化画像データを構成する複数の画像データの中で、第1の符号化画像データを構成する画像データと異なる部分の画像データを送信するサーバ装置について記載されている。
本発明はこのような状況に鑑みてなされたものであり、本発明が解決しようとする課題は、パケット通信網を介して画像情報を伝送する際、パケット通信網のトラヒックの時間変動に対応して、遅延を生じることなく、かつ、より高品質なデータとして、その画像情報を伝送することである。
上述の課題を解決するため、本発明は、その一態様として、第1及び第2のノードを備え、前記第1のノードは、伝送しようとしている画像情報を符号化して、前記画像情報にそれぞれのパケットが対応し、かつ、それぞれのパケットのデータ量q1、q2、・・・、qm(mは2以上の自然数)がq1<q2<・・・<qmの関係を有する複数のパケットP1、P2、・・・、Pmを生成するパケット生成手段と、当該第1のノードとは異なる第2のノードに対し、パケット通信網を介して前記複数のパケットP1、P2、・・・、Pmを送信するパケット送信手段とを備え、前記第2のノードは、前記複数のパケットP1、P2、・・・、Pmそれぞれの遅延時間t1、t2、・・・、tmを測定する遅延時間測定手段と、前記遅延時間t1、t2、・・・、tmに基づいて、前記複数のパケットP1、P2、・・・、Pmのいずれかひとつを選択するパケット選択手段とを備えることを特徴とするパケット通信システムを提供する。
また、本発明は、他の一態様として、伝送しようとしている画像情報を符号化して、前記画像情報にそれぞれのパケットが対応し、かつ、それぞれのパケットのデータ量q1、q2、・・・、qm(mは2以上の自然数)がq1<q2<・・・<qmの関係を有する複数のパケットP1、P2、・・・、Pmを、パケット通信網を介して受信するパケット受信手段と、前記複数のパケットP1、P2、・・・、Pmそれぞれの遅延時間t1、t2、・・・、tmを測定する遅延時間測定手段と、前記遅延時間t1、t2、・・・、tmに基づいて、前記複数のパケットP1、P2、・・・、Pmのいずれかひとつを選択するパケット選択手段とを備えることを特徴とするパケット通信装置を提供する。
また、本発明は、他の一態様として、伝送しようとしている画像情報を符号化して、前記画像情報にそれぞれのパケットが対応し、かつ、それぞれのパケットのデータ量q1、q2、・・・、qm(mは2以上の自然数)がq1<q2<・・・<qmの関係を有する複数のパケットP1、P2、・・・、Pmを生成するパケット生成手段と、当該パケット通信装置とは異なる宛先パケット通信装置に対し、パケット通信網を介して前記複数のパケットP1、P2、・・・、Pmを送信するパケット送信手段とを備え、前記宛先パケット通信装置は、前記複数のパケットP1、P2、・・・、Pmそれぞれの遅延時間t1、t2、・・・、tmを測定し、前記遅延時間t1、t2、・・・、tmに基づいて、前記複数のパケットP1、P2、・・・、Pmのいずれかひとつを選択することを特徴とするパケット通信装置を提供する。
また、本発明は、他の一態様として、伝送しようとしている画像情報を符号化して、前記画像情報にそれぞれのパケットが対応し、かつ、それぞれのパケットのデータ量q1、q2、・・・、qm(mは2以上の自然数)がq1<q2<・・・<qmの関係を有する複数のパケットP1、P2、・・・、Pmを、パケット通信網を介して受信するパケット受信手段と、前記複数のパケットP1、P2、・・・、Pmそれぞれの遅延時間t1、t2、・・・、tmを測定する遅延時間測定手段と、前記遅延時間t1、t2、・・・、tmに基づいて、前記複数のパケットP1、P2、・・・、Pmのいずれかひとつを選択するパケット選択手段としてコンピュータを機能させるためのプログラムを提供する。
また、本発明は、他の一態様として、伝送しようとしている画像情報を符号化して、前記画像情報にそれぞれのパケットが対応し、かつ、それぞれのパケットのデータ量q1、q2、・・・、qm(mは2以上の自然数)がq1<q2<・・・<qmの関係を有する複数のパケットP1、P2、・・・、Pmを生成するパケット生成手段と、当該パケット通信装置とは異なる宛先パケット通信装置に対し、パケット通信網を介して前記複数のパケットP1、P2、・・・、Pmを送信するパケット送信手段としてコンピュータを機能させるプログラムであって、前記宛先パケット通信装置は、前記複数のパケットP1、P2、・・・、Pmそれぞれの遅延時間t1、t2、・・・、tmを測定し、前記遅延時間t1、t2、・・・、tmに基づいて、前記複数のパケットP1、P2、・・・、Pmのいずれかひとつを選択する前記プログラムを提供する。
また、本発明は、他の一態様として、第1のノードから第2のノードにパケット通信網を介して画像情報を伝送する際に、伝送しようとしている画像情報を符号化して、前記画像情報にそれぞれのパケットが対応し、かつ、それぞれのパケットのデータ量q1、q2、・・・、qm(mは2以上の自然数)がq1<q2<・・・<qmの関係を有する複数のパケットP1、P2、・・・、Pmを前記第1のノードにて生成するパケット生成段階と、前記パケット通信網を介して前記第1のノードから前記第2のノードに前記複数のパケットP1、P2、・・・、Pmを送信するパケット送信段階と、前記第2のノードにて、前記複数のパケットP1、P2、・・・、Pmそれぞれの遅延時間t1、t2、・・・、tmを測定する遅延時間測定段階と、前記第2のノードにて、前記遅延時間t1、t2、・・・、tmに基づいて、前記複数のパケットP1、P2、・・・、Pmのいずれかひとつを選択するパケット選択段階とを含むことを特徴とする画像情報の伝送方法を提供する。
また、本発明は、他の一態様として、伝送しようとしている画像情報を符号化して、前記画像情報にそれぞれのパケットが対応し、かつ、それぞれのパケットのデータ量q1、q2、・・・、qm(mは2以上の自然数)がq1<q2<・・・<qmの関係を有する複数のパケットP1、P2、・・・、Pmを、パケット通信網を介して受信するパケット受信手段と、前記複数のパケットP1、P2、・・・、Pmそれぞれの遅延時間t1、t2、・・・、tmを測定する遅延時間測定手段と、前記遅延時間t1、t2、・・・、tmに基づいて、前記複数のパケットP1、P2、・・・、Pmのいずれかひとつを選択するパケット選択手段とを備えることを特徴とするパケット通信装置を提供する。
また、本発明は、他の一態様として、伝送しようとしている画像情報を符号化して、前記画像情報にそれぞれのパケットが対応し、かつ、それぞれのパケットのデータ量q1、q2、・・・、qm(mは2以上の自然数)がq1<q2<・・・<qmの関係を有する複数のパケットP1、P2、・・・、Pmを生成するパケット生成手段と、当該パケット通信装置とは異なる宛先パケット通信装置に対し、パケット通信網を介して前記複数のパケットP1、P2、・・・、Pmを送信するパケット送信手段とを備え、前記宛先パケット通信装置は、前記複数のパケットP1、P2、・・・、Pmそれぞれの遅延時間t1、t2、・・・、tmを測定し、前記遅延時間t1、t2、・・・、tmに基づいて、前記複数のパケットP1、P2、・・・、Pmのいずれかひとつを選択することを特徴とするパケット通信装置を提供する。
また、本発明は、他の一態様として、伝送しようとしている画像情報を符号化して、前記画像情報にそれぞれのパケットが対応し、かつ、それぞれのパケットのデータ量q1、q2、・・・、qm(mは2以上の自然数)がq1<q2<・・・<qmの関係を有する複数のパケットP1、P2、・・・、Pmを、パケット通信網を介して受信するパケット受信手段と、前記複数のパケットP1、P2、・・・、Pmそれぞれの遅延時間t1、t2、・・・、tmを測定する遅延時間測定手段と、前記遅延時間t1、t2、・・・、tmに基づいて、前記複数のパケットP1、P2、・・・、Pmのいずれかひとつを選択するパケット選択手段としてコンピュータを機能させるためのプログラムを提供する。
また、本発明は、他の一態様として、伝送しようとしている画像情報を符号化して、前記画像情報にそれぞれのパケットが対応し、かつ、それぞれのパケットのデータ量q1、q2、・・・、qm(mは2以上の自然数)がq1<q2<・・・<qmの関係を有する複数のパケットP1、P2、・・・、Pmを生成するパケット生成手段と、当該パケット通信装置とは異なる宛先パケット通信装置に対し、パケット通信網を介して前記複数のパケットP1、P2、・・・、Pmを送信するパケット送信手段としてコンピュータを機能させるプログラムであって、前記宛先パケット通信装置は、前記複数のパケットP1、P2、・・・、Pmそれぞれの遅延時間t1、t2、・・・、tmを測定し、前記遅延時間t1、t2、・・・、tmに基づいて、前記複数のパケットP1、P2、・・・、Pmのいずれかひとつを選択する前記プログラムを提供する。
また、本発明は、他の一態様として、第1のノードから第2のノードにパケット通信網を介して画像情報を伝送する際に、伝送しようとしている画像情報を符号化して、前記画像情報にそれぞれのパケットが対応し、かつ、それぞれのパケットのデータ量q1、q2、・・・、qm(mは2以上の自然数)がq1<q2<・・・<qmの関係を有する複数のパケットP1、P2、・・・、Pmを前記第1のノードにて生成するパケット生成段階と、前記パケット通信網を介して前記第1のノードから前記第2のノードに前記複数のパケットP1、P2、・・・、Pmを送信するパケット送信段階と、前記第2のノードにて、前記複数のパケットP1、P2、・・・、Pmそれぞれの遅延時間t1、t2、・・・、tmを測定する遅延時間測定段階と、前記第2のノードにて、前記遅延時間t1、t2、・・・、tmに基づいて、前記複数のパケットP1、P2、・・・、Pmのいずれかひとつを選択するパケット選択段階とを含むことを特徴とする画像情報の伝送方法を提供する。
本発明によれば、送信側のノードでは、一の画像情報を互いにデータ量が異なる複数のパケットとして送信し、受信側のノードでは、遅延なしに或いは許容可能な遅延時間以内に受信したパケットのうち最もデータ量が大きいものを選択して、その画像情報を復号する。このため、そのときのパケット通信網の混雑状況下で遅延なしに送信可能な範囲内でより高いビットレートで画像情報を伝送することができる。
図1は本発明の一実施の形態である画像情報伝送システム1を説明するためのブロック図である。
図2は本発明の第2の実施形態であるリモート型携帯通信システム100のブロック図である。
図3はサーバ装置110の構成を示すブロック図である。
図4は判別部185の構成を示すブロック図である。
図5は画像エンコード部186の構成を示すブロック図である。
図6は画像エンコーダとしてウェーブレット変換を用いる場合にウェーブレット変換係数の性質を示す図である。
図7は携帯端末170に搭載するクライアントソフトウェア171の構成を示すブロック図である。
図8は第1のパケット受信・遅延計測・選択部250の構成を示すブロック図である。
図2は本発明の第2の実施形態であるリモート型携帯通信システム100のブロック図である。
図3はサーバ装置110の構成を示すブロック図である。
図4は判別部185の構成を示すブロック図である。
図5は画像エンコード部186の構成を示すブロック図である。
図6は画像エンコーダとしてウェーブレット変換を用いる場合にウェーブレット変換係数の性質を示す図である。
図7は携帯端末170に搭載するクライアントソフトウェア171の構成を示すブロック図である。
図8は第1のパケット受信・遅延計測・選択部250の構成を示すブロック図である。
本発明の第1の実施の形態である画像情報伝送システム1について図1を参照して説明する。画像情報伝送システム1は送信ノード2、受信ノード3を備える。
送信ノード2は入力された画像情報X4を符号化、パケット化してパケット通信網を介して受信ノード3に送信するパケット通信装置であり、具体的にはパケットデータ通信を行う無線通信装置、例えば携帯電話端末が好適であるが、インターネット等のネットワーク上に設置されたサーバ装置、クライアント装置であってもよい。送信ノード2はエンコーダ5、可変長パケット生成部6、パケット送信部7を備える。
エンコーダ5は画像情報X4を符号化するが、ひとつの画像情報X4に対応して複数のデータd1、d2、・・・、dm(mは2以上の自然数)を生成する。このとき、データd1、d2、・・・、dmのデータ量をそれぞれデータ量q1、q2、・・・、qmとすると、q1<q2<・・・<qmの関係が成り立つようにして生成する。例えばm=4とし、データd1、d2、・・・、d4をそれぞれ128kbps、256kbps、512kbps、1Mbpsのビットレートで画像情報X4を符号化して生成する。
可変長パケット生成部6はデータ量に応じたパケット長を有する可変長のパケットを生成する。データd1、d2、・・・、dmに対応して、パケットP1、P2、・・・、Pmを生成する。可変長パケットなので、パケットP1、P2、・・・、Pmのデータ量の大小関係は、データd1、d2、・・・、dmの大小関係をそのまま引き継ぐ。
パケット送信部7は、パケットP1、P2、・・・、Pmをこの順にパケット通信網に送出する。画像情報X4に対応し、互いにデータ量が異なるm個のパケットからなるパケットセット8を、データ量が小さいものから大きいものの順に受信ノード3に送出することとなる。送出されたパケットの順序関係をパケットセット8として図示した。
受信ノード3は、好適にはインターネット等のネットワーク上に設置されたサーバ装置、クライアント装置であってもよい。或いは、受信ノード3は、パケットデータ通信を行う無線通信装置、例えば携帯電話端末であってもよい。受信ノード3では、パケット受信部9がパケットセット8を受信すると、遅延時間測定部10がパケット毎の遅延時間を測定する。パケット送信部7がパケットP1、P2、・・・、Pmの順に送信するため、パケット受信部8は基本的にはパケットP1、P2、・・・、Pmの順にパケットを受信することとなる。ここでパケットP1、P2、・・・、Pmそれぞれの遅延時間をt1、t2、・・・、tmとする。パケット選択部11は、遅延時間をt1、t2、・・・、tm及びそのパケットのデータ量に基づいて、遅延時間が許容可能であるパケットのうちで、データ量が最も大きいパケットを選択して出力する。
一般に、データ量が小さいパケットほどネットワークでの遅延時間は短く、逆に、データ量が大きいパケットほどネットワークでの遅延時間は長くなると考えられる。この点に着目し、パケット選択部11は、パケットP1、P2、・・・、Pmの順に受信したパケットの遅延時間を順次判定し、あるパケットの遅延時間が許容範囲を超えたと判定したとき、そのパケットの直前のパケットを選択することとが考えられる。この場合、以後のパケットについては遅延時間に基づく判定を行うことなくそのまま破棄することとしてもよい。
例えば、パケットP3の遅延時間t3に基づいて判定を行い、パケットP3が大きく遅延したと判定したとすると、パケット選択部11は、パケットP3の直前に受信したパケットP2を選択する。上述したように、データ量が小さいパケットほど遅延時間は短いと考えられる。このため、トラヒックの混雑状況が急変していない限り、画像情報X4に対応するパケットセットのうち、先に受信したパケットP1、P2では大きな遅延を検出せず、パケットP3では大きな遅延を検出したということは、以後のパケットP4、P5、・・・、Pmも大きく遅延すると考えられる。この考えに基づいて、パケットP4以後については遅延時間に基づく判定を省略してもよいし、また、パケットそのものをそのまま破棄してもよい。
また、パケットP1、P2、・・・、Pmをデータ量が小さいものから大きいものの順に送信しているため、大きく遅延したと判定されたパケットの直前に受信したパケットは、低遅延で受信したパケットの中で、最もデータ量が大きいものとなる。例えば上述のようにm=4とし、データd1、d2、・・・、d4をそれぞれ128kbps、256kbps、512kbps、1Mbpsのビットレートで画像情報X4を符号化、パケット化して送信したとする。このとき、m=3、即ち、512kbpsのデータレートでエンコードしたデータd3を格納するパケットP3の遅延時間t3が大きく遅延したとパケット選択部11が判定したとする。このとき、パケットP3以前に受信したパケットP1、P2はどちらも大きく遅延することなく受信ノード3に到着したが、これらパケットP1、P2の中でデータ量が最大なのは、パケットP3の直前に受信したパケットP2となる。
このようにして、パケット選択部11が遅延時間に基づいてパケットセット8のいずれかのパケットを選択して出力すると、デコーダ12はそのパケットに格納されているデータをデコードして画像情報X’13を出力する。これにより、単一のデータレートで生成したパケットのみを送信する場合と比較すると、受信ノード3では、パケット通信網の混雑状況に応じた、より大きなデータレートでエンコードされたデータに基づいて画像情報X’13をデコードすることができる。
或いは、受信ノード3は、パケット選択部11にて選択したパケットを、パケット送信部14を介して他のパケット通信装置に転送することとしてもよい。ここで第3のノードは一般のパケット通信装置であり、より具体的にはパケットデータ通信を行う無線通信装置、例えば携帯電話端末が好適であるが、インターネット等のネットワーク上に設置されたサーバ装置、クライアント装置であってもよい。第3のノードは第2のノードのようにパケット選択を行なう必要はなく、受信したパケットをそのままデコードする。
本発明の第2の実施の形態であるリモート型携帯通信システム100について説明する。図2を参照すると、リモート型携帯通信システム100では、ネットワークとしてモバイルネットワーク150を用いる例を示している。また、パケット転送装置としてSGSN/GGSNN装置を用いる場合の構成を示している。ここで、SGSN/GGSN装置とはSGSN(Serving GPRS Support Node)装置とGGSN(Gateway GPRS Support Node)装置を一体化した装置であることを意味する。また、図2では、一例として、シンクライアントのサーバ装置110はクラウド網130上に配置されており、クラウド網130とモバイルネットワーク150とが接続されている構成を示している。
図2において、エンドユーザは携帯端末170を、クラウド網130に配置されたサーバ装置110の仮想クライアントに接続し、前記仮想クライアントをあたかも実端末を操作するように操作する。そのために、携帯端末170に搭載しているクライアントソフトから、モバイルネットワーク150上の基地局194、RNC装置195、SGSN/GGSN装置190を経由して、サーバ装置110に対し、操作信号を格納したパケット送出する。ここで、操作信号は、携帯端末170でのキー操作、画面へのタッチ操作、文字入力、スクロールなどの操作により、携帯端末170のクライアントソフトから、サーバ装置110に送出される信号を意味する。
携帯端末170に搭載されたクライアントソフトにおけるパケット送信部から送出された操作信号パケットは、モバイルネットワーク150上にある、基地局装置194、RNC装置195、SGSN/GGSN装置190を介し、クラウド網130上のサーバ装置110に到達し、サーバ装置110が前記操作信号を受信する。ここで、前記操作信号を送出するときのプロトコルには周知のものを使用することができるが、ここでは、TCP/IPならびにその上位層としてHTTPを用いるものとする。なお、HTTP以外にSIP (Session Initiation Protocol)などを用いることもできる。
図3は、サーバ装置110の構成を示すブロック図である。
操作信号パケット受信部182は、携帯端末170のクライアントソフトから、操作信号を格納したパケットを、基地局194、RNC装置195、SGSN/GGSN装置190を経由して受信する。操作信号パケット受信部182は、受信した操作信号TCP/IPパケットから操作信号を抽出し、仮想クライアント部211に出力する。
仮想クライアント部211は、各種サービスに対応したアプリケーションソフト、制御部、画面生成部、キャッシュメモリ、などを有している。また、サーバ装置110の外部から前記アプリケーションソフトの更新を容易に行える構成となっている。なお、図3には記載していないが、仮想クライアント部は、ホストOS上に仮想環境を構築しその上でゲストOSを動かしゲストOS上で仮想クライアントを動作させる。ここで、ホストOSやゲストOSには任意のOSを使用することができる。仮想クライアント部211は、操作信号パケット受信部182から入力した操作信号を解析し、前記操作信号で指定されたアプリケーションソフトを起動する。アプリケーションソフトにより作られる画面をあらかじめ定められた画面解像度で生成し画面キャプチャ部180に出力する。
画面キャプチャ部180は、前記画面をあらかじめ定められた画面解像度およびフレームレートでキャプチャして、出力する。
画面全体を画像エンコーダで圧縮符号化することもできるし、画面を複数(たとえば2)の領域に分割し、領域毎に、異なる画像エンコーダで圧縮符号化することもできる。ここで、画面を2種類の領域に分割し、領域毎に異なる画像エンコーダを用いる例を示す。ここでは、一例として、領域としては動画領域とそれ以外の領域であるとする。
分割部184は、キャプチャした画面をあらかじめ定められたサイズの複数個のブロックに分割する。ここでは、ブロックのサイズは、たとえば、16画素×16ラインとするが、他のサイズ、例えば8画素×8ラインなどを用いることができる。ブロックのサイズが小さいほうが判別部での判別精度が向上するが処理量は増大する。分割部184は分割したブロックを判別部185に出力する。
判別部185の構成を図4に示す。ここで、本実施例においては、画面の領域を2種に判別する場合について説明する。ここで、2種とは、動画領域とその他の領域である。また、判別部で用いる画像特徴量として、動きベクトルを使用することとする。
図4において、動きベクトル算出部201は、ブロック毎に、例えば次の式1のDkを最小にする動きベクトルVk(dx,dy)を算出する。
ここで、f_n_k(Xi,Yj)、f_n−1(Xi,Yj)は、n番目のフレームのk番目のブロックに入る画素、n−1番目のフレームのk番目のブロックに入る画素、をそれぞれ示す。
次に、動きベクトル算出・判別部201は、各ブロック毎に、動きベクトルの大きさ、方向を次の式2、式3により求める。
ここで、Vkはk番目のブロックでの動きベクトルの大きさを示し、θkはk番目のブロックでの動きベクトルの角度(方向)を示す。
次に、領域判別部202は、複数の連続するブロックに対しVkとθkを調べ、連続する複数のブロックで、Vkがあらかじめ定められたしきい値を越えかつ、θkがばらつく場合に、これらのブロックに対し、動画領域であると判断する。ここでは、第1の領域は動画領域を意味するものとする。
なお、連続する複数のブロックで、Vkがしきい値を越えるがθkがほぼ同じ角度を示す場合は、動画領域とは見なさず、画面スクロールなどによる移動領域と判断する。
領域判別部202は、動画領域があるかどうかを示す判別フラグと、動画領域である場合は領域の範囲とを、図3の画像エンコード部186に出力する。ここで、動画領域としては、矩形の領域となるように整形したものとし、領域の範囲とは、当該矩形領域の水平方向の画素数と垂直方向のライン数ならびに、当該領域に含まれるブロックの番号とブロックのサイズとする。
次に、動画領域以外のその他の領域として、例えば、移動領域か、静止領域かを判別し、判別フラグと領域の範囲を図3の画像エンコーダ部186に出力する。
次に、画像エンコード部186の構成を図5を用いて説明する。図5において、縮小処理部225と第2の画像エンコーダ部228は、画像キャプチャ部180からキャプチャ画像を入力し、分割部184から分割するためのブロックのサイズを入力し、判別部185から、判別フラグ、動画領域の範囲とその他の領域(例えば、移動領域や静止領域)の範囲を入力する。
次に、縮小処理部225は、動画領域が存在する場合に、動画領域のサイズである、水平方向の画素数ならびに垂直方向のライン数が、あらかじめ定められたサイズを越えるか否かを判別する。ここでは、あらかじめ定められたサイズとは、例えば、QVGAサイズであるとする。もし、動画領域のサイズがQVGAサイズを越える場合は、動画領域に含まれる画像に対し、QVGAサイズになるように、縮小フィルタを演算して画像を縮小した上で、縮小後の画像を第1の画像エンコーダ227に出力する。この場合、第1の領域のサイズを縮小したので、変更前のサイズを動画領域の範囲として第1の画像エンコーダ227に出力する。もし、動画領域のサイズがあらかじめ定められたサイズを越えない場合は、縮小フィルタの演算はせずに、動画領域の画像をそのまま第1の画像エンコーダ227に出力し、動画領域のサイズもそのまま第1の画像エンコーダ227に出力する。
次に、第1の画像エンコーダ227は、動画領域の画像信号を入力し、あらかじめ定められた動画エンコーダを用いて、複数のビットレートに圧縮符号化した上で複数のビットレートのビットストリームを図3の第1のパケット送信部176に出力する。ここで、複数のビットレートは、端末の画像サイズや使用するネットワークの種類などの情報により、あらかじめ定めておいたもの中から選択するか、セッション開始時に前述の情報を端末から受信して選択する、などの構成を用いることが出来る。ここでは、一例として、4種類のビットレートを用いることとし、一例として、128kbps、256kbps、512kbps、1Mbpsとする。また、あらかじめ定められた動画エンコーダとして、H.264を用いることとするが、他の周知な動画コーデック、例えば、H.264 SVC (Scalable Codec)、MPEG−4、MPEG−4 SVC (Scalable Codec)など、を用いることもできる。H.264 SVCやMPEG−4 SVCを用いることで、複数ビットレートのエンコードを行なう際にエンコードの処理量を削減することができる。第1の画像エンコーダ227は、さらに、動画領域の情報を図3の第1のパケット送信部176に出力する。
次に、第2の画像エンコーダ228は、その他の領域の情報を入力し、静止画の場合は、静止画コーデックを用いて画像を複数ビットレートで圧縮符号化し前記複数ビットレートのビットストリームを図3の第1のパケット送信部176に出力する。ここでは、静止画コーデックとしてWaveletエンコーダやJPEG2000を用いることとするが、他の周知なコーデック、たとえば、JPEGなどを用いることもできる。なお、WaveletエンコーダやJPEG2000エンコーダを用いる場合は、これらで使用しているWavelet変換の性質により、Wavelet変換後の係数に対し、図6に示すように、低域から高域までの間で、LL、LH、HL、HHの4種類の領域毎に、それぞれ、B1、B2、B3、B4 の圧縮符号化ビットストリームが得られるので、この性質を利用して、例えば、B1、B1+B2、B1+B2+B3、B1+B2+B3+B4のビットストリームを、4種類のビットレートのビットストリームとして、第2の画像エンコーダ228から出力することもできる。このようにした方が端末で画質的な劣化が目立ちにくい構成となる。さらに、第2の画像エンコーダ228は、その他の領域の情報も図3の第1のパケット送信部176に出力する。
移動領域の場合は、移動前の画像を静止画コーデックで圧縮符号化したビットストリームと、代表的な動きベクトルを1種類、図3の第1のパケット送信部176に出力する。さらに、その他の領域の情報も図3の第1のパケット送信部176に出力する。
次に、画面にオーディオが付随する場合は、図3のオーディオエンコード部187は、画面キャプチャ部180から画面に付随するオーディオ信号を入力し、オーディオエンコーダにより圧縮符号化して図3の第2のパケット送信部177に出力する。ここでは、オーディオエンコーダとして、MPEG−4 AACを用いることとするが、他の周知なオーディオエンコーダを用いることもできる。
図3にもどって、第1のパケット送信部176は、図5の第1の画像エンコーダ227および第2の画像エンコーダ228から、領域情報を入力し、動画領域の場合は、図5の第1の画像エンコーダから、4種類のビットレートの圧縮符号化ビットストリームを入力し、各々のビットストリームを格納したパケットを4種類構築する。つまり、各々のビットストリームデータをあらかじめ定められたプロトコルのパケットのパイロードに格納し、あらかじめ定められた時間区間内に、4種類のパケットをあらかじめ定められた順番に並べ、短時間間隔だけ離して、4種類のパケットを連続的に、図2のSGSN/GGSN装置190に送出する。ここで、あらかじめ定められた時間間隔とは、低いビットレートから高いビットレートの順番であるものとし、前述のビットレートの例では、128kbps、256kbps、384kbps、512kbpsの順番であるとする。
次に、その他の領域の場合は、図5の第2の画像エンコーダ228から、例えば4種のビットレートのビットストリームを入力し4種類のパケットを構築する。つまり、各々のビットストリームをあらかじめ定められたプロトコルのパケットのパイロードに格納し、あらかじめ定められた時間区間内に、4種類のパケットをあらかじめ定められた順番に並べ、短時間間隔だけ離して、連続的に、図2のSGSN/GGSN装置190に送出する。ここで、あらかじめ定められた時間間隔とは、低いビットレートから高いビットレートの順番であるものとする。
なお、あらかじめ定められたプロトコルとは、例えば、UDP/IPを用いることが出来る。これ以外にも周知なプロトコル、例えば、RTP/UDP/IPなどを用いてもよい。またあらかじめ定められた時間区間とは、例えば、数10msから100msまでの時間区間を用いることができる。また短時間間隔とは、数msから数10msを用いることが出来る。
なお、領域の情報はRTPヘッダ部やUDPヘッダ部に格納してもよいし、ペイロード部に格納してもよい。
第2のパケット送信部177は、オーディオ信号に対する圧縮符号化ビットストリームをパケットのペイロードに格納しあらかじめ定められたプロトコルによるパケットを構築して、SGSN/GGSN装置190に送出する。ここでは、あらかじめ定められたプロトコルとして、周知のプロトコル、RTP/UDP/IP、UDP/IP、TCP/IPなど、を用いることができるが、一例として、UDP/IPを用いることとする。
SGSN/GGSN装置190は、サーバ装置110から受信したパケットを、GTP−UプロトコルによりトネリングしてRNC装置195に転送し、RNC装置195は基地局装置194を通して無線により携帯端末170に送出する。
本発明では、携帯端末170には、ユーザが端末を操作したときの操作信号をサーバに送出しするとともに、サーバからのパケットを受信し圧縮符号化ストリームをデコードして表示させるための、クライアントソフトウェア171を搭載する。クライアントソフトウェア171の構成を図7に示す。
まず、図7における第1のパケット受信・遅延計測・選択部250の構成を図8に示す。図8において、パケット受信部270は、動画領域ならびにその他の領域の各々に対し、連続した複数のパケットを受信する。動画領域に対し、ビットレートの低いものから順に受信した、4種類の連続したパケットに格納された動画領域情報と、受信時刻R(j)、送信時刻情報S(j)(1≦j≦4)を取り出し、4個のパケットのペイロードからビットストリーム情報を抽出し、これらを遅延計測部271_1に出力する。
各々のパケットに対し、S(j)とR(j)を用いて、次の式4により、4個のパケットの各々に対し、遅延時間D(j)を算出する。
ここで、D(j)は、j番目のパケットの遅延時間を示す。これらの遅延時間D(j)と抽出した4種類のビットストリームと動画領域情報を選出部272_1に出力する。
選出部272_1は、D(j)の比較を行い、遅延時間Djが急に大きくなる直前のパケットのビットストリームを選出する。例えば、D1=100ms,D2=120ms,D3=118ms,D4=250msであったとすると、急に大きくなる遅延時間は4番目のパケットについてのD4となるので、その直前のパケットは3番目のパケットとなり、この例では3番目のパケット、つまり384kbpsのビットレートのパケットのペイロード部分に格納されたビットストリームを選択する。そして選択されたビットストリームと動画領域情報を、図7の第1の画像デコーダ252に出力する。
一方、その他の領域についても同様の動作を行なう。パケット受信部270は、その他の領域に対し、連続した複数のパケットを受信する。その他の領域に対し、ビットレートの低いものから順に受信した、4種類の連続したパケットに格納されたその他の領域の情報と、受信時刻R’(m)、送信時刻情報S’(m)(1≦m≦4)を取り出し、4個のパケットのペイロードからビットストリーム情報を抽出し、これらを遅延計測部271_2に出力する。
各々のパケットに対し、S’(m)とR’(m)を用いて、次の式5により、4個のパケットの各々に対し、遅延時間D’(m)を算出する。
ここで、D’(m)は、m番目のパケットの遅延時間を示す。これらの遅延時間D’(m)と抽出した4種類のビットストリームとその他の領域情報を選出部272_2に出力する。
選出部272_2は、D’(m)の比較を行い、遅延時間D’(m,)が急に大きくなる直前のパケットのビットストリームを選出する。そして、選択されたビットストリームとその他の領域情報を、図7の第2の画像デコーダ253に出力する。
図7に戻って、第1の画像デコーダ252は、動画領域情報ならびに、第1のパケット受信・遅延計測・選択部250で選出されたビットレートのビットストリームを入力し、前記ビットストリームをデコードして拡大処理部254に出力する。さらに動画領域情報も拡大処理部254に出力する。ここでは、第1の画像デコーダとしては、例えば、H.264デコーダを用いることとするが、他の周知な画像デコーダ、例えば、H.264 SVCデコーダ、MPEG−4 SVCデコーダ、MPEG−4デコーダなど、を用いることもできる。ただし、サーバでの第1の画像エンコーダ227と同一種類を用いるのは言うまでもない。
次に、拡大処理部254は、デコード後の画像信号と動画の領域情報とを入力する。まず、デコード後の画像信号を用いてデコード後の画像信号の領域のサイズ(以降、Aと表記する)を算出し、動画の領域情報による動画領域のサイズ(以降、Bと表記する)と比較する。もし、A<Bの場合は、AがBに一致するように、デコード後の画像信号に対し周知のフィルタ演算により拡大処理を施し、Bのサイズとなった画像信号を画面表示部256に出力する。なお、もし、これらが一致する場合は、拡大処理はスルーさせ、デコードされた画像信号をそのまま画面表示部256に出力する。さらに動画領域情報を画面表示部256に出力する。
第2の画像デコーダ253は、その他の領域情報ならびに、第1のパケット受診・遅延計測・選出部250で選択されたビットストリームを入力し、その他の領域に対してビットストリームをデコードして画面表示部256に出力する。さらにその他の領域情報を画面表示部256に出力する。
画面表示部256は、拡大処理部254から、動画領域情報と動画領域における画像信号を入力し、第2の画像デコーダ253から、その他の領域情報とその他の領域における画像信号を入力し、第1の領域情報を用いて第1の領域に拡大処理部254からの出力画像を表示させ、その他の領域情報を用いてその他の領域に第2の画像デコーダ253からの出力画像を表示させることにより、各々の領域の画像信号を組み合わせて表示画面を生成し、出力する。
第2のパケット受信部251は、パケットを受信し、パケットに格納されたオーディオに関する圧縮符号化ビットストリームを取り出し、オーディオデコーダ255に出力する。
オーディオデコーダ255は、前記圧縮符号化ストリームを入力しデコードした上で、画面部分と同期をとって出力する。ここでオーディオデコーダとしては、例えばMPEG−4 AACを使うことができるが、他の周知なオーディオデコーダを使用してもよい。ただし、サーバ装置でのオーディオエンコーダと同一種類を用いることは言うまでもない。
操作信号生成部257は、ユーザが携帯端末170に対し入力した操作、例えば、画面タッチ、画面スクロール、アイコンタッチ、文字入力、などを検出し、各々に対し操作信号を生成しパケット送信部258に出力する。
パケット送信部258は、操作信号を入力し、あらかじめ定められたプロトコルによるパケットに格納し、ネットワークに送出する。ここで、あらかじめ定められたプロトコルとしては、TCP/IP、UDP/IPなどを用いることができる。
本実施形態によれば、ネットワークを介してシンクライアントを使いサーバ側で生成した画面を圧縮符号化しネットワークを介して端末に転送する場合に、実際に転送する複数種類のビットレートのビットストリームを用いてサーバからパケットで転送し、端末側で受信したパケットに対し各々の遅延時間を算出し遅延時間の増大のないパケットのビットストリームを選択して復号し表示するので、帯域の狭いネットワークであっても、ネットワークの帯域の変動があっても、遅延時間の増加や画面のフリーズがなくシンクライアントを使用することができるという効果がある。
以上、本発明を実施の形態に即して説明したが、本発明はこれに限定されるものではない。
判別部で判別する画面の領域の種類は3種類以上とすることもできる。また、領域の判別に用いる画像特徴量は動きベクトル以外を使用することもできるし、複数種類の特徴量を組み合わせて使用することもできる。
また、判別処理に関わる処理量などを削減するために、領域は1種類として、領域の分割や領域の判別は行なわず、画像エンコーダならびに画像デコーダを1種類のみ用いる構成をとることもできる。1種類のみの場合は、画像エンコーダ/デコーダとして、動画エンコーダ/デコーダあるいは、静止画エンコーダ/デコーダを用いることができる。
図2では、モバイルネットワーク150は、モバイルLTE/EPCネットワークとすることもできるし、WiMax網やWiFi網とすることもできる。さらに、固定網やNGN網やインターネット網とすることもできる。ただしこれらの場合は、携帯端末ではなく固定端末やPCからの接続となる。
図2では、サーバ装置をクラウド網に配置したが、インターネット網に配置することもできる。また、企業にシンクライアントのサーバを置く場合はサーバ装置を企業網に配置することもできる。また、別の構成として、通信事業者自らがシンクライアントのサーバを置く場合は、モバイルネットワーク150上や固定網上やNGN網上に、サーバ装置110を配置することもできる。
上記の実施形態の一部又は全部は以下の付記のようにも記載されうるが、これらに限定されるものではない。
(付記1)
第1及び第2のノードを備え、
前記第1のノードは、伝送しようとしている画像情報を符号化して、前記画像情報にそれぞれのパケットが対応し、かつ、それぞれのパケットのデータ量q1、q2、・・・、qm(mは2以上の自然数)がq1<q2<・・・<qmの関係を有する複数のパケットP1、P2、・・・、Pmを生成するパケット生成手段と、
当該第1のノードとは異なる第2のノードに対し、パケット通信網を介して前記複数のパケットP1、P2、・・・、Pmを送信するパケット送信手段とを備え、
前記第2のノードは、
前記複数のパケットP1、P2、・・・、Pmそれぞれの遅延時間t1、t2、・・・、tmを測定する遅延時間測定手段と、
前記遅延時間t1、t2、・・・、tmに基づいて、前記複数のパケットP1、P2、・・・、Pmのいずれかひとつを選択するパケット選択手段と、
前記選択したパケットに基づいて前記画像情報を復号化する復号化手段と
を備えることを特徴とするパケット通信システム。
(付記2)
前記パケット送信手段は、前記複数のパケットP1、P2、・・・、Pmを、データ量が少ないものから多いものの順に送信し、
前記パケット選択手段は、前記複数のパケットをそれぞれ受信するたびごとに、そのパケットの前記遅延時間に基づいてそのパケットについての可否判定を行い、否と判定した場合、そのパケットの直前に受信したパケットを選択する
ことを特徴とする付記1に記載のシステム。
(付記3)
一枚の画像を複数の画像領域に分割し、一の画像領域を前記画像情報として送信することを特徴とする付記1及び付記2のいずれかに記載のシステム。
(付記4)
前記複数の画像領域のそれぞれを、当該画像領域に係る画像特徴量に基づいて複数の種類のいずれかに分類し、予め定められた種類に分類された画像領域を、前記画像情報として送信することを特徴とする付記3に記載のシステム。
(付記5)
伝送しようとしている画像情報を符号化して、前記画像情報にそれぞれのパケットが対応し、かつ、それぞれのパケットのデータ量q1、q2、・・・、qm(mは2以上の自然数)がq1<q2<・・・<qmの関係を有する複数のパケットP1、P2、・・・、Pmを、パケット通信網を介して受信するパケット受信手段と、
前記複数のパケットP1、P2、・・・、Pmそれぞれの遅延時間t1、t2、・・・、tmを測定する遅延時間測定手段と、
前記遅延時間t1、t2、・・・、tmに基づいて、前記複数のパケットP1、P2、・・・、Pmのいずれかひとつを選択するパケット選択手段と
前記選択したパケットに基づいて前記画像情報を復号化する復号化手段と
を備えることを特徴とするパケット通信装置。
(付記6)
前記パケット受信手段は、前記複数のパケットP1、P2、・・・、Pmを、データ量が少ないものから多いものの順に受信し、
前記パケット選択手段は、前記複数のパケットをそれぞれ受信するたびごとに、そのパケットの前記遅延時間に基づいてそのパケットについての可否判定を行い、否と判定した場合、そのパケットの直前に受信したパケットを選択する
ことを特徴とする付記5に記載のパケット通信装置。
(付記7)
一枚の画像を複数の画像領域に分割し、一の画像領域を前記画像情報として送信することを特徴とする付記5及び付記6のいずれかに記載のパケット通信装置。
(付記8)
前記複数の画像領域のそれぞれを、当該画像領域に係る画像特徴量に基づいて複数の種類のいずれかに分類し、予め定められた種類に分類された画像領域を、前記画像情報として送信することを特徴とする付記7に記載のパケット通信装置。
(付記9)
伝送しようとしている画像情報を符号化して、前記画像情報にそれぞれのパケットが対応し、かつ、それぞれのパケットのデータ量q1、q2、・・・、qm(mは2以上の自然数)がq1<q2<・・・<qmの関係を有する複数のパケットP1、P2、・・・、Pmを生成するパケット生成手段と、
当該パケット通信装置とは異なる宛先パケット通信装置に対し、パケット通信網を介して前記複数のパケットP1、P2、・・・、Pmを送信するパケット送信手段とを備え、
前記宛先パケット通信装置は、
前記複数のパケットP1、P2、・・・、Pmそれぞれの遅延時間t1、t2、・・・、tmを測定し、
前記遅延時間t1、t2、・・・、tmに基づいて、前記複数のパケットP1、P2、・・・、Pmのいずれかひとつを選択し、
前記選択したパケットに基づいて前記画像情報を復号化する
ことを特徴とするパケット通信装置。
(付記10)
前記パケット送信手段は、前記複数のパケットP1、P2、・・・、Pmを、データ量が少ないものから多いものの順に送信し、
前記宛先パケット通信装置は、前記複数のパケットをそれぞれ受信するたびごとに、そのパケットの前記遅延時間に基づいてそのパケットについての可否判定を行い、否と判定した場合、そのパケットの直前に受信したパケットを選択することを特徴とする付記9に記載のパケット通信装置。
(付記11)
一枚の画像を複数の画像領域に分割し、一の画像領域を前記画像情報として送信することを特徴とする付記9及び付記10のいずれかに記載のパケット通信装置。
(付記12)
前記複数の画像領域のそれぞれを、当該画像領域に係る画像特徴量に基づいて複数の種類のいずれかに分類し、予め定められた種類に分類された画像領域を、前記画像情報として送信することを特徴とする付記11に記載のパケット通信装置。
(付記13)
伝送しようとしている画像情報を符号化して、前記画像情報にそれぞれのパケットが対応し、かつ、それぞれのパケットのデータ量q1、q2、・・・、qm(mは2以上の自然数)がq1<q2<・・・<qmの関係を有する複数のパケットP1、P2、・・・、Pmを、パケット通信網を介して受信するパケット受信手段と、
前記複数のパケットP1、P2、・・・、Pmそれぞれの遅延時間t1、t2、・・・、tmを測定する遅延時間測定手段と、
前記遅延時間t1、t2、・・・、tmに基づいて、前記複数のパケットP1、P2、・・・、Pmのいずれかひとつを選択するパケット選択手段と、
前記選択したパケットに基づいて前記画像情報を復号化する復号化手段
としてコンピュータを機能させるためのプログラム。
(付記14)
前記パケット受信手段は、前記複数のパケットP1、P2、・・・、Pmを、データ量が少ないものから多いものの順に受信し、
前記パケット選択手段は、前記複数のパケットをそれぞれ受信するたびごとに、そのパケットの前記遅延時間に基づいてそのパケットについての可否判定を行い、否と判定した場合、そのパケットの直前に受信したパケットを選択する
付記13に記載のプログラム。
(付記15)
一枚の画像を複数の画像領域に分割し、一の画像領域を前記画像情報として送信することを特徴とする付記13及び付記14のいずれかに記載のプログラム。
(付記16)
前記複数の画像領域のそれぞれを、当該画像領域に係る画像特徴量に基づいて複数の種類のいずれかに分類し、予め定められた種類に分類された画像領域を、前記画像情報として送信することを特徴とする付記15に記載のプログラム。
(付記17)
伝送しようとしている画像情報を符号化して、前記画像情報にそれぞれのパケットが対応し、かつ、それぞれのパケットのデータ量q1、q2、・・・、qm(mは2以上の自然数)がq1<q2<・・・<qmの関係を有する複数のパケットP1、P2、・・・、Pmを生成するパケット生成手段と、
当該パケット通信装置とは異なる宛先パケット通信装置に対し、パケット通信網を介して前記複数のパケットP1、P2、・・・、Pmを送信するパケット送信手段としてコンピュータを機能させるプログラムであって、
前記宛先パケット通信装置は、
前記複数のパケットP1、P2、・・・、Pmそれぞれの遅延時間t1、t2、・・・、tmを測定し、
前記遅延時間t1、t2、・・・、tmに基づいて、前記複数のパケットP1、P2、・・・、Pmのいずれかひとつを選択し、
前記選択したパケットに基づいて前記画像情報を復号化する
前記プログラム。
(付記18)
前記パケット送信手段は、前記複数のパケットP1、P2、・・・、Pmを、データ量が少ないものから多いものの順に送信し、
前記宛先パケット通信装置は、前記複数のパケットをそれぞれ受信するたびごとに、そのパケットの前記遅延時間に基づいてそのパケットについての可否判定を行い、否と判定した場合、そのパケットの直前に受信したパケットを選択する付記17に記載のプログラム。
(付記19)
一枚の画像を複数の画像領域に分割し、一の画像領域を前記画像情報として送信することを特徴とする付記17及び付記18のいずれかに記載のプログラム。
(付記20)
前記複数の画像領域のそれぞれを、当該画像領域に係る画像特徴量に基づいて複数の種類のいずれかに分類し、予め定められた種類に分類された画像領域を、前記画像情報として送信することを特徴とする付記19に記載のプログラム。
(付記21)
第1のノードから第2のノードにパケット通信網を介して画像情報を伝送する際に、
伝送しようとしている画像情報を符号化して、前記画像情報にそれぞれのパケットが対応し、かつ、それぞれのパケットのデータ量q1、q2、・・・、qm(mは2以上の自然数)がq1<q2<・・・<qmの関係を有する複数のパケットP1、P2、・・・、Pmを前記第1のノードにて生成するパケット生成段階と、
前記パケット通信網を介して前記第1のノードから前記第2のノードに前記複数のパケットP1、P2、・・・、Pmを送信するパケット送信段階と、
前記第2のノードにて、前記複数のパケットP1、P2、・・・、Pmそれぞれの遅延時間t1、t2、・・・、tmを測定する遅延時間測定段階と、
前記第2のノードにて、前記遅延時間t1、t2、・・・、tmに基づいて、前記複数のパケットP1、P2、・・・、Pmのいずれかひとつを選択するパケット選択段階と、
前記選択したパケットに基づいて前記画像情報を復号化する復号化段階と
を含むことを特徴とする画像情報の伝送方法。
(付記22)
前記パケット送信段階では、前記複数のパケットP1、P2、・・・、Pmを、データ量が少ないものから多いものの順に送信し、
前記パケット選択段階では、前記複数のパケットをそれぞれ受信するたびごとに、そのパケットの前記遅延時間に基づいてそのパケットについての可否判定を行い、否と判定した場合、そのパケットの直前に受信したパケットを選択する
ことを特徴とする付記21に記載の方法。
(付記23)
一枚の画像を複数の画像領域に分割し、一の画像領域を前記画像情報として送信することを特徴とする付記21及び付記22のいずれかに記載の方法。
(付記24)
前記複数の画像領域のそれぞれを、当該画像領域に係る画像特徴量に基づいて複数の種類のいずれかに分類し、予め定められた種類に分類された画像領域を、前記画像情報として送信することを特徴とする付記23に記載の方法。
この出願は、2012年9月27日に出願された日本出願特願第2012−214170号を基礎とする優先権を主張し、その開示のすべてをここに取り込むものである。
送信ノード2は入力された画像情報X4を符号化、パケット化してパケット通信網を介して受信ノード3に送信するパケット通信装置であり、具体的にはパケットデータ通信を行う無線通信装置、例えば携帯電話端末が好適であるが、インターネット等のネットワーク上に設置されたサーバ装置、クライアント装置であってもよい。送信ノード2はエンコーダ5、可変長パケット生成部6、パケット送信部7を備える。
エンコーダ5は画像情報X4を符号化するが、ひとつの画像情報X4に対応して複数のデータd1、d2、・・・、dm(mは2以上の自然数)を生成する。このとき、データd1、d2、・・・、dmのデータ量をそれぞれデータ量q1、q2、・・・、qmとすると、q1<q2<・・・<qmの関係が成り立つようにして生成する。例えばm=4とし、データd1、d2、・・・、d4をそれぞれ128kbps、256kbps、512kbps、1Mbpsのビットレートで画像情報X4を符号化して生成する。
可変長パケット生成部6はデータ量に応じたパケット長を有する可変長のパケットを生成する。データd1、d2、・・・、dmに対応して、パケットP1、P2、・・・、Pmを生成する。可変長パケットなので、パケットP1、P2、・・・、Pmのデータ量の大小関係は、データd1、d2、・・・、dmの大小関係をそのまま引き継ぐ。
パケット送信部7は、パケットP1、P2、・・・、Pmをこの順にパケット通信網に送出する。画像情報X4に対応し、互いにデータ量が異なるm個のパケットからなるパケットセット8を、データ量が小さいものから大きいものの順に受信ノード3に送出することとなる。送出されたパケットの順序関係をパケットセット8として図示した。
受信ノード3は、好適にはインターネット等のネットワーク上に設置されたサーバ装置、クライアント装置であってもよい。或いは、受信ノード3は、パケットデータ通信を行う無線通信装置、例えば携帯電話端末であってもよい。受信ノード3では、パケット受信部9がパケットセット8を受信すると、遅延時間測定部10がパケット毎の遅延時間を測定する。パケット送信部7がパケットP1、P2、・・・、Pmの順に送信するため、パケット受信部8は基本的にはパケットP1、P2、・・・、Pmの順にパケットを受信することとなる。ここでパケットP1、P2、・・・、Pmそれぞれの遅延時間をt1、t2、・・・、tmとする。パケット選択部11は、遅延時間をt1、t2、・・・、tm及びそのパケットのデータ量に基づいて、遅延時間が許容可能であるパケットのうちで、データ量が最も大きいパケットを選択して出力する。
一般に、データ量が小さいパケットほどネットワークでの遅延時間は短く、逆に、データ量が大きいパケットほどネットワークでの遅延時間は長くなると考えられる。この点に着目し、パケット選択部11は、パケットP1、P2、・・・、Pmの順に受信したパケットの遅延時間を順次判定し、あるパケットの遅延時間が許容範囲を超えたと判定したとき、そのパケットの直前のパケットを選択することとが考えられる。この場合、以後のパケットについては遅延時間に基づく判定を行うことなくそのまま破棄することとしてもよい。
例えば、パケットP3の遅延時間t3に基づいて判定を行い、パケットP3が大きく遅延したと判定したとすると、パケット選択部11は、パケットP3の直前に受信したパケットP2を選択する。上述したように、データ量が小さいパケットほど遅延時間は短いと考えられる。このため、トラヒックの混雑状況が急変していない限り、画像情報X4に対応するパケットセットのうち、先に受信したパケットP1、P2では大きな遅延を検出せず、パケットP3では大きな遅延を検出したということは、以後のパケットP4、P5、・・・、Pmも大きく遅延すると考えられる。この考えに基づいて、パケットP4以後については遅延時間に基づく判定を省略してもよいし、また、パケットそのものをそのまま破棄してもよい。
また、パケットP1、P2、・・・、Pmをデータ量が小さいものから大きいものの順に送信しているため、大きく遅延したと判定されたパケットの直前に受信したパケットは、低遅延で受信したパケットの中で、最もデータ量が大きいものとなる。例えば上述のようにm=4とし、データd1、d2、・・・、d4をそれぞれ128kbps、256kbps、512kbps、1Mbpsのビットレートで画像情報X4を符号化、パケット化して送信したとする。このとき、m=3、即ち、512kbpsのデータレートでエンコードしたデータd3を格納するパケットP3の遅延時間t3が大きく遅延したとパケット選択部11が判定したとする。このとき、パケットP3以前に受信したパケットP1、P2はどちらも大きく遅延することなく受信ノード3に到着したが、これらパケットP1、P2の中でデータ量が最大なのは、パケットP3の直前に受信したパケットP2となる。
このようにして、パケット選択部11が遅延時間に基づいてパケットセット8のいずれかのパケットを選択して出力すると、デコーダ12はそのパケットに格納されているデータをデコードして画像情報X’13を出力する。これにより、単一のデータレートで生成したパケットのみを送信する場合と比較すると、受信ノード3では、パケット通信網の混雑状況に応じた、より大きなデータレートでエンコードされたデータに基づいて画像情報X’13をデコードすることができる。
或いは、受信ノード3は、パケット選択部11にて選択したパケットを、パケット送信部14を介して他のパケット通信装置に転送することとしてもよい。ここで第3のノードは一般のパケット通信装置であり、より具体的にはパケットデータ通信を行う無線通信装置、例えば携帯電話端末が好適であるが、インターネット等のネットワーク上に設置されたサーバ装置、クライアント装置であってもよい。第3のノードは第2のノードのようにパケット選択を行なう必要はなく、受信したパケットをそのままデコードする。
本発明の第2の実施の形態であるリモート型携帯通信システム100について説明する。図2を参照すると、リモート型携帯通信システム100では、ネットワークとしてモバイルネットワーク150を用いる例を示している。また、パケット転送装置としてSGSN/GGSNN装置を用いる場合の構成を示している。ここで、SGSN/GGSN装置とはSGSN(Serving GPRS Support Node)装置とGGSN(Gateway GPRS Support Node)装置を一体化した装置であることを意味する。また、図2では、一例として、シンクライアントのサーバ装置110はクラウド網130上に配置されており、クラウド網130とモバイルネットワーク150とが接続されている構成を示している。
図2において、エンドユーザは携帯端末170を、クラウド網130に配置されたサーバ装置110の仮想クライアントに接続し、前記仮想クライアントをあたかも実端末を操作するように操作する。そのために、携帯端末170に搭載しているクライアントソフトから、モバイルネットワーク150上の基地局194、RNC装置195、SGSN/GGSN装置190を経由して、サーバ装置110に対し、操作信号を格納したパケット送出する。ここで、操作信号は、携帯端末170でのキー操作、画面へのタッチ操作、文字入力、スクロールなどの操作により、携帯端末170のクライアントソフトから、サーバ装置110に送出される信号を意味する。
携帯端末170に搭載されたクライアントソフトにおけるパケット送信部から送出された操作信号パケットは、モバイルネットワーク150上にある、基地局装置194、RNC装置195、SGSN/GGSN装置190を介し、クラウド網130上のサーバ装置110に到達し、サーバ装置110が前記操作信号を受信する。ここで、前記操作信号を送出するときのプロトコルには周知のものを使用することができるが、ここでは、TCP/IPならびにその上位層としてHTTPを用いるものとする。なお、HTTP以外にSIP (Session Initiation Protocol)などを用いることもできる。
図3は、サーバ装置110の構成を示すブロック図である。
操作信号パケット受信部182は、携帯端末170のクライアントソフトから、操作信号を格納したパケットを、基地局194、RNC装置195、SGSN/GGSN装置190を経由して受信する。操作信号パケット受信部182は、受信した操作信号TCP/IPパケットから操作信号を抽出し、仮想クライアント部211に出力する。
仮想クライアント部211は、各種サービスに対応したアプリケーションソフト、制御部、画面生成部、キャッシュメモリ、などを有している。また、サーバ装置110の外部から前記アプリケーションソフトの更新を容易に行える構成となっている。なお、図3には記載していないが、仮想クライアント部は、ホストOS上に仮想環境を構築しその上でゲストOSを動かしゲストOS上で仮想クライアントを動作させる。ここで、ホストOSやゲストOSには任意のOSを使用することができる。仮想クライアント部211は、操作信号パケット受信部182から入力した操作信号を解析し、前記操作信号で指定されたアプリケーションソフトを起動する。アプリケーションソフトにより作られる画面をあらかじめ定められた画面解像度で生成し画面キャプチャ部180に出力する。
画面キャプチャ部180は、前記画面をあらかじめ定められた画面解像度およびフレームレートでキャプチャして、出力する。
画面全体を画像エンコーダで圧縮符号化することもできるし、画面を複数(たとえば2)の領域に分割し、領域毎に、異なる画像エンコーダで圧縮符号化することもできる。ここで、画面を2種類の領域に分割し、領域毎に異なる画像エンコーダを用いる例を示す。ここでは、一例として、領域としては動画領域とそれ以外の領域であるとする。
分割部184は、キャプチャした画面をあらかじめ定められたサイズの複数個のブロックに分割する。ここでは、ブロックのサイズは、たとえば、16画素×16ラインとするが、他のサイズ、例えば8画素×8ラインなどを用いることができる。ブロックのサイズが小さいほうが判別部での判別精度が向上するが処理量は増大する。分割部184は分割したブロックを判別部185に出力する。
判別部185の構成を図4に示す。ここで、本実施例においては、画面の領域を2種に判別する場合について説明する。ここで、2種とは、動画領域とその他の領域である。また、判別部で用いる画像特徴量として、動きベクトルを使用することとする。
図4において、動きベクトル算出部201は、ブロック毎に、例えば次の式1のDkを最小にする動きベクトルVk(dx,dy)を算出する。
ここで、f_n_k(Xi,Yj)、f_n−1(Xi,Yj)は、n番目のフレームのk番目のブロックに入る画素、n−1番目のフレームのk番目のブロックに入る画素、をそれぞれ示す。
次に、動きベクトル算出・判別部201は、各ブロック毎に、動きベクトルの大きさ、方向を次の式2、式3により求める。
ここで、Vkはk番目のブロックでの動きベクトルの大きさを示し、θkはk番目のブロックでの動きベクトルの角度(方向)を示す。
次に、領域判別部202は、複数の連続するブロックに対しVkとθkを調べ、連続する複数のブロックで、Vkがあらかじめ定められたしきい値を越えかつ、θkがばらつく場合に、これらのブロックに対し、動画領域であると判断する。ここでは、第1の領域は動画領域を意味するものとする。
なお、連続する複数のブロックで、Vkがしきい値を越えるがθkがほぼ同じ角度を示す場合は、動画領域とは見なさず、画面スクロールなどによる移動領域と判断する。
領域判別部202は、動画領域があるかどうかを示す判別フラグと、動画領域である場合は領域の範囲とを、図3の画像エンコード部186に出力する。ここで、動画領域としては、矩形の領域となるように整形したものとし、領域の範囲とは、当該矩形領域の水平方向の画素数と垂直方向のライン数ならびに、当該領域に含まれるブロックの番号とブロックのサイズとする。
次に、動画領域以外のその他の領域として、例えば、移動領域か、静止領域かを判別し、判別フラグと領域の範囲を図3の画像エンコーダ部186に出力する。
次に、画像エンコード部186の構成を図5を用いて説明する。図5において、縮小処理部225と第2の画像エンコーダ部228は、画像キャプチャ部180からキャプチャ画像を入力し、分割部184から分割するためのブロックのサイズを入力し、判別部185から、判別フラグ、動画領域の範囲とその他の領域(例えば、移動領域や静止領域)の範囲を入力する。
次に、縮小処理部225は、動画領域が存在する場合に、動画領域のサイズである、水平方向の画素数ならびに垂直方向のライン数が、あらかじめ定められたサイズを越えるか否かを判別する。ここでは、あらかじめ定められたサイズとは、例えば、QVGAサイズであるとする。もし、動画領域のサイズがQVGAサイズを越える場合は、動画領域に含まれる画像に対し、QVGAサイズになるように、縮小フィルタを演算して画像を縮小した上で、縮小後の画像を第1の画像エンコーダ227に出力する。この場合、第1の領域のサイズを縮小したので、変更前のサイズを動画領域の範囲として第1の画像エンコーダ227に出力する。もし、動画領域のサイズがあらかじめ定められたサイズを越えない場合は、縮小フィルタの演算はせずに、動画領域の画像をそのまま第1の画像エンコーダ227に出力し、動画領域のサイズもそのまま第1の画像エンコーダ227に出力する。
次に、第1の画像エンコーダ227は、動画領域の画像信号を入力し、あらかじめ定められた動画エンコーダを用いて、複数のビットレートに圧縮符号化した上で複数のビットレートのビットストリームを図3の第1のパケット送信部176に出力する。ここで、複数のビットレートは、端末の画像サイズや使用するネットワークの種類などの情報により、あらかじめ定めておいたもの中から選択するか、セッション開始時に前述の情報を端末から受信して選択する、などの構成を用いることが出来る。ここでは、一例として、4種類のビットレートを用いることとし、一例として、128kbps、256kbps、512kbps、1Mbpsとする。また、あらかじめ定められた動画エンコーダとして、H.264を用いることとするが、他の周知な動画コーデック、例えば、H.264 SVC (Scalable Codec)、MPEG−4、MPEG−4 SVC (Scalable Codec)など、を用いることもできる。H.264 SVCやMPEG−4 SVCを用いることで、複数ビットレートのエンコードを行なう際にエンコードの処理量を削減することができる。第1の画像エンコーダ227は、さらに、動画領域の情報を図3の第1のパケット送信部176に出力する。
次に、第2の画像エンコーダ228は、その他の領域の情報を入力し、静止画の場合は、静止画コーデックを用いて画像を複数ビットレートで圧縮符号化し前記複数ビットレートのビットストリームを図3の第1のパケット送信部176に出力する。ここでは、静止画コーデックとしてWaveletエンコーダやJPEG2000を用いることとするが、他の周知なコーデック、たとえば、JPEGなどを用いることもできる。なお、WaveletエンコーダやJPEG2000エンコーダを用いる場合は、これらで使用しているWavelet変換の性質により、Wavelet変換後の係数に対し、図6に示すように、低域から高域までの間で、LL、LH、HL、HHの4種類の領域毎に、それぞれ、B1、B2、B3、B4 の圧縮符号化ビットストリームが得られるので、この性質を利用して、例えば、B1、B1+B2、B1+B2+B3、B1+B2+B3+B4のビットストリームを、4種類のビットレートのビットストリームとして、第2の画像エンコーダ228から出力することもできる。このようにした方が端末で画質的な劣化が目立ちにくい構成となる。さらに、第2の画像エンコーダ228は、その他の領域の情報も図3の第1のパケット送信部176に出力する。
移動領域の場合は、移動前の画像を静止画コーデックで圧縮符号化したビットストリームと、代表的な動きベクトルを1種類、図3の第1のパケット送信部176に出力する。さらに、その他の領域の情報も図3の第1のパケット送信部176に出力する。
次に、画面にオーディオが付随する場合は、図3のオーディオエンコード部187は、画面キャプチャ部180から画面に付随するオーディオ信号を入力し、オーディオエンコーダにより圧縮符号化して図3の第2のパケット送信部177に出力する。ここでは、オーディオエンコーダとして、MPEG−4 AACを用いることとするが、他の周知なオーディオエンコーダを用いることもできる。
図3にもどって、第1のパケット送信部176は、図5の第1の画像エンコーダ227および第2の画像エンコーダ228から、領域情報を入力し、動画領域の場合は、図5の第1の画像エンコーダから、4種類のビットレートの圧縮符号化ビットストリームを入力し、各々のビットストリームを格納したパケットを4種類構築する。つまり、各々のビットストリームデータをあらかじめ定められたプロトコルのパケットのパイロードに格納し、あらかじめ定められた時間区間内に、4種類のパケットをあらかじめ定められた順番に並べ、短時間間隔だけ離して、4種類のパケットを連続的に、図2のSGSN/GGSN装置190に送出する。ここで、あらかじめ定められた時間間隔とは、低いビットレートから高いビットレートの順番であるものとし、前述のビットレートの例では、128kbps、256kbps、384kbps、512kbpsの順番であるとする。
次に、その他の領域の場合は、図5の第2の画像エンコーダ228から、例えば4種のビットレートのビットストリームを入力し4種類のパケットを構築する。つまり、各々のビットストリームをあらかじめ定められたプロトコルのパケットのパイロードに格納し、あらかじめ定められた時間区間内に、4種類のパケットをあらかじめ定められた順番に並べ、短時間間隔だけ離して、連続的に、図2のSGSN/GGSN装置190に送出する。ここで、あらかじめ定められた時間間隔とは、低いビットレートから高いビットレートの順番であるものとする。
なお、あらかじめ定められたプロトコルとは、例えば、UDP/IPを用いることが出来る。これ以外にも周知なプロトコル、例えば、RTP/UDP/IPなどを用いてもよい。またあらかじめ定められた時間区間とは、例えば、数10msから100msまでの時間区間を用いることができる。また短時間間隔とは、数msから数10msを用いることが出来る。
なお、領域の情報はRTPヘッダ部やUDPヘッダ部に格納してもよいし、ペイロード部に格納してもよい。
第2のパケット送信部177は、オーディオ信号に対する圧縮符号化ビットストリームをパケットのペイロードに格納しあらかじめ定められたプロトコルによるパケットを構築して、SGSN/GGSN装置190に送出する。ここでは、あらかじめ定められたプロトコルとして、周知のプロトコル、RTP/UDP/IP、UDP/IP、TCP/IPなど、を用いることができるが、一例として、UDP/IPを用いることとする。
SGSN/GGSN装置190は、サーバ装置110から受信したパケットを、GTP−UプロトコルによりトネリングしてRNC装置195に転送し、RNC装置195は基地局装置194を通して無線により携帯端末170に送出する。
本発明では、携帯端末170には、ユーザが端末を操作したときの操作信号をサーバに送出しするとともに、サーバからのパケットを受信し圧縮符号化ストリームをデコードして表示させるための、クライアントソフトウェア171を搭載する。クライアントソフトウェア171の構成を図7に示す。
まず、図7における第1のパケット受信・遅延計測・選択部250の構成を図8に示す。図8において、パケット受信部270は、動画領域ならびにその他の領域の各々に対し、連続した複数のパケットを受信する。動画領域に対し、ビットレートの低いものから順に受信した、4種類の連続したパケットに格納された動画領域情報と、受信時刻R(j)、送信時刻情報S(j)(1≦j≦4)を取り出し、4個のパケットのペイロードからビットストリーム情報を抽出し、これらを遅延計測部271_1に出力する。
各々のパケットに対し、S(j)とR(j)を用いて、次の式4により、4個のパケットの各々に対し、遅延時間D(j)を算出する。
ここで、D(j)は、j番目のパケットの遅延時間を示す。これらの遅延時間D(j)と抽出した4種類のビットストリームと動画領域情報を選出部272_1に出力する。
選出部272_1は、D(j)の比較を行い、遅延時間Djが急に大きくなる直前のパケットのビットストリームを選出する。例えば、D1=100ms,D2=120ms,D3=118ms,D4=250msであったとすると、急に大きくなる遅延時間は4番目のパケットについてのD4となるので、その直前のパケットは3番目のパケットとなり、この例では3番目のパケット、つまり384kbpsのビットレートのパケットのペイロード部分に格納されたビットストリームを選択する。そして選択されたビットストリームと動画領域情報を、図7の第1の画像デコーダ252に出力する。
一方、その他の領域についても同様の動作を行なう。パケット受信部270は、その他の領域に対し、連続した複数のパケットを受信する。その他の領域に対し、ビットレートの低いものから順に受信した、4種類の連続したパケットに格納されたその他の領域の情報と、受信時刻R’(m)、送信時刻情報S’(m)(1≦m≦4)を取り出し、4個のパケットのペイロードからビットストリーム情報を抽出し、これらを遅延計測部271_2に出力する。
各々のパケットに対し、S’(m)とR’(m)を用いて、次の式5により、4個のパケットの各々に対し、遅延時間D’(m)を算出する。
ここで、D’(m)は、m番目のパケットの遅延時間を示す。これらの遅延時間D’(m)と抽出した4種類のビットストリームとその他の領域情報を選出部272_2に出力する。
選出部272_2は、D’(m)の比較を行い、遅延時間D’(m,)が急に大きくなる直前のパケットのビットストリームを選出する。そして、選択されたビットストリームとその他の領域情報を、図7の第2の画像デコーダ253に出力する。
図7に戻って、第1の画像デコーダ252は、動画領域情報ならびに、第1のパケット受信・遅延計測・選択部250で選出されたビットレートのビットストリームを入力し、前記ビットストリームをデコードして拡大処理部254に出力する。さらに動画領域情報も拡大処理部254に出力する。ここでは、第1の画像デコーダとしては、例えば、H.264デコーダを用いることとするが、他の周知な画像デコーダ、例えば、H.264 SVCデコーダ、MPEG−4 SVCデコーダ、MPEG−4デコーダなど、を用いることもできる。ただし、サーバでの第1の画像エンコーダ227と同一種類を用いるのは言うまでもない。
次に、拡大処理部254は、デコード後の画像信号と動画の領域情報とを入力する。まず、デコード後の画像信号を用いてデコード後の画像信号の領域のサイズ(以降、Aと表記する)を算出し、動画の領域情報による動画領域のサイズ(以降、Bと表記する)と比較する。もし、A<Bの場合は、AがBに一致するように、デコード後の画像信号に対し周知のフィルタ演算により拡大処理を施し、Bのサイズとなった画像信号を画面表示部256に出力する。なお、もし、これらが一致する場合は、拡大処理はスルーさせ、デコードされた画像信号をそのまま画面表示部256に出力する。さらに動画領域情報を画面表示部256に出力する。
第2の画像デコーダ253は、その他の領域情報ならびに、第1のパケット受診・遅延計測・選出部250で選択されたビットストリームを入力し、その他の領域に対してビットストリームをデコードして画面表示部256に出力する。さらにその他の領域情報を画面表示部256に出力する。
画面表示部256は、拡大処理部254から、動画領域情報と動画領域における画像信号を入力し、第2の画像デコーダ253から、その他の領域情報とその他の領域における画像信号を入力し、第1の領域情報を用いて第1の領域に拡大処理部254からの出力画像を表示させ、その他の領域情報を用いてその他の領域に第2の画像デコーダ253からの出力画像を表示させることにより、各々の領域の画像信号を組み合わせて表示画面を生成し、出力する。
第2のパケット受信部251は、パケットを受信し、パケットに格納されたオーディオに関する圧縮符号化ビットストリームを取り出し、オーディオデコーダ255に出力する。
オーディオデコーダ255は、前記圧縮符号化ストリームを入力しデコードした上で、画面部分と同期をとって出力する。ここでオーディオデコーダとしては、例えばMPEG−4 AACを使うことができるが、他の周知なオーディオデコーダを使用してもよい。ただし、サーバ装置でのオーディオエンコーダと同一種類を用いることは言うまでもない。
操作信号生成部257は、ユーザが携帯端末170に対し入力した操作、例えば、画面タッチ、画面スクロール、アイコンタッチ、文字入力、などを検出し、各々に対し操作信号を生成しパケット送信部258に出力する。
パケット送信部258は、操作信号を入力し、あらかじめ定められたプロトコルによるパケットに格納し、ネットワークに送出する。ここで、あらかじめ定められたプロトコルとしては、TCP/IP、UDP/IPなどを用いることができる。
本実施形態によれば、ネットワークを介してシンクライアントを使いサーバ側で生成した画面を圧縮符号化しネットワークを介して端末に転送する場合に、実際に転送する複数種類のビットレートのビットストリームを用いてサーバからパケットで転送し、端末側で受信したパケットに対し各々の遅延時間を算出し遅延時間の増大のないパケットのビットストリームを選択して復号し表示するので、帯域の狭いネットワークであっても、ネットワークの帯域の変動があっても、遅延時間の増加や画面のフリーズがなくシンクライアントを使用することができるという効果がある。
以上、本発明を実施の形態に即して説明したが、本発明はこれに限定されるものではない。
判別部で判別する画面の領域の種類は3種類以上とすることもできる。また、領域の判別に用いる画像特徴量は動きベクトル以外を使用することもできるし、複数種類の特徴量を組み合わせて使用することもできる。
また、判別処理に関わる処理量などを削減するために、領域は1種類として、領域の分割や領域の判別は行なわず、画像エンコーダならびに画像デコーダを1種類のみ用いる構成をとることもできる。1種類のみの場合は、画像エンコーダ/デコーダとして、動画エンコーダ/デコーダあるいは、静止画エンコーダ/デコーダを用いることができる。
図2では、モバイルネットワーク150は、モバイルLTE/EPCネットワークとすることもできるし、WiMax網やWiFi網とすることもできる。さらに、固定網やNGN網やインターネット網とすることもできる。ただしこれらの場合は、携帯端末ではなく固定端末やPCからの接続となる。
図2では、サーバ装置をクラウド網に配置したが、インターネット網に配置することもできる。また、企業にシンクライアントのサーバを置く場合はサーバ装置を企業網に配置することもできる。また、別の構成として、通信事業者自らがシンクライアントのサーバを置く場合は、モバイルネットワーク150上や固定網上やNGN網上に、サーバ装置110を配置することもできる。
上記の実施形態の一部又は全部は以下の付記のようにも記載されうるが、これらに限定されるものではない。
(付記1)
第1及び第2のノードを備え、
前記第1のノードは、伝送しようとしている画像情報を符号化して、前記画像情報にそれぞれのパケットが対応し、かつ、それぞれのパケットのデータ量q1、q2、・・・、qm(mは2以上の自然数)がq1<q2<・・・<qmの関係を有する複数のパケットP1、P2、・・・、Pmを生成するパケット生成手段と、
当該第1のノードとは異なる第2のノードに対し、パケット通信網を介して前記複数のパケットP1、P2、・・・、Pmを送信するパケット送信手段とを備え、
前記第2のノードは、
前記複数のパケットP1、P2、・・・、Pmそれぞれの遅延時間t1、t2、・・・、tmを測定する遅延時間測定手段と、
前記遅延時間t1、t2、・・・、tmに基づいて、前記複数のパケットP1、P2、・・・、Pmのいずれかひとつを選択するパケット選択手段と、
前記選択したパケットに基づいて前記画像情報を復号化する復号化手段と
を備えることを特徴とするパケット通信システム。
(付記2)
前記パケット送信手段は、前記複数のパケットP1、P2、・・・、Pmを、データ量が少ないものから多いものの順に送信し、
前記パケット選択手段は、前記複数のパケットをそれぞれ受信するたびごとに、そのパケットの前記遅延時間に基づいてそのパケットについての可否判定を行い、否と判定した場合、そのパケットの直前に受信したパケットを選択する
ことを特徴とする付記1に記載のシステム。
(付記3)
一枚の画像を複数の画像領域に分割し、一の画像領域を前記画像情報として送信することを特徴とする付記1及び付記2のいずれかに記載のシステム。
(付記4)
前記複数の画像領域のそれぞれを、当該画像領域に係る画像特徴量に基づいて複数の種類のいずれかに分類し、予め定められた種類に分類された画像領域を、前記画像情報として送信することを特徴とする付記3に記載のシステム。
(付記5)
伝送しようとしている画像情報を符号化して、前記画像情報にそれぞれのパケットが対応し、かつ、それぞれのパケットのデータ量q1、q2、・・・、qm(mは2以上の自然数)がq1<q2<・・・<qmの関係を有する複数のパケットP1、P2、・・・、Pmを、パケット通信網を介して受信するパケット受信手段と、
前記複数のパケットP1、P2、・・・、Pmそれぞれの遅延時間t1、t2、・・・、tmを測定する遅延時間測定手段と、
前記遅延時間t1、t2、・・・、tmに基づいて、前記複数のパケットP1、P2、・・・、Pmのいずれかひとつを選択するパケット選択手段と
前記選択したパケットに基づいて前記画像情報を復号化する復号化手段と
を備えることを特徴とするパケット通信装置。
(付記6)
前記パケット受信手段は、前記複数のパケットP1、P2、・・・、Pmを、データ量が少ないものから多いものの順に受信し、
前記パケット選択手段は、前記複数のパケットをそれぞれ受信するたびごとに、そのパケットの前記遅延時間に基づいてそのパケットについての可否判定を行い、否と判定した場合、そのパケットの直前に受信したパケットを選択する
ことを特徴とする付記5に記載のパケット通信装置。
(付記7)
一枚の画像を複数の画像領域に分割し、一の画像領域を前記画像情報として送信することを特徴とする付記5及び付記6のいずれかに記載のパケット通信装置。
(付記8)
前記複数の画像領域のそれぞれを、当該画像領域に係る画像特徴量に基づいて複数の種類のいずれかに分類し、予め定められた種類に分類された画像領域を、前記画像情報として送信することを特徴とする付記7に記載のパケット通信装置。
(付記9)
伝送しようとしている画像情報を符号化して、前記画像情報にそれぞれのパケットが対応し、かつ、それぞれのパケットのデータ量q1、q2、・・・、qm(mは2以上の自然数)がq1<q2<・・・<qmの関係を有する複数のパケットP1、P2、・・・、Pmを生成するパケット生成手段と、
当該パケット通信装置とは異なる宛先パケット通信装置に対し、パケット通信網を介して前記複数のパケットP1、P2、・・・、Pmを送信するパケット送信手段とを備え、
前記宛先パケット通信装置は、
前記複数のパケットP1、P2、・・・、Pmそれぞれの遅延時間t1、t2、・・・、tmを測定し、
前記遅延時間t1、t2、・・・、tmに基づいて、前記複数のパケットP1、P2、・・・、Pmのいずれかひとつを選択し、
前記選択したパケットに基づいて前記画像情報を復号化する
ことを特徴とするパケット通信装置。
(付記10)
前記パケット送信手段は、前記複数のパケットP1、P2、・・・、Pmを、データ量が少ないものから多いものの順に送信し、
前記宛先パケット通信装置は、前記複数のパケットをそれぞれ受信するたびごとに、そのパケットの前記遅延時間に基づいてそのパケットについての可否判定を行い、否と判定した場合、そのパケットの直前に受信したパケットを選択することを特徴とする付記9に記載のパケット通信装置。
(付記11)
一枚の画像を複数の画像領域に分割し、一の画像領域を前記画像情報として送信することを特徴とする付記9及び付記10のいずれかに記載のパケット通信装置。
(付記12)
前記複数の画像領域のそれぞれを、当該画像領域に係る画像特徴量に基づいて複数の種類のいずれかに分類し、予め定められた種類に分類された画像領域を、前記画像情報として送信することを特徴とする付記11に記載のパケット通信装置。
(付記13)
伝送しようとしている画像情報を符号化して、前記画像情報にそれぞれのパケットが対応し、かつ、それぞれのパケットのデータ量q1、q2、・・・、qm(mは2以上の自然数)がq1<q2<・・・<qmの関係を有する複数のパケットP1、P2、・・・、Pmを、パケット通信網を介して受信するパケット受信手段と、
前記複数のパケットP1、P2、・・・、Pmそれぞれの遅延時間t1、t2、・・・、tmを測定する遅延時間測定手段と、
前記遅延時間t1、t2、・・・、tmに基づいて、前記複数のパケットP1、P2、・・・、Pmのいずれかひとつを選択するパケット選択手段と、
前記選択したパケットに基づいて前記画像情報を復号化する復号化手段
としてコンピュータを機能させるためのプログラム。
(付記14)
前記パケット受信手段は、前記複数のパケットP1、P2、・・・、Pmを、データ量が少ないものから多いものの順に受信し、
前記パケット選択手段は、前記複数のパケットをそれぞれ受信するたびごとに、そのパケットの前記遅延時間に基づいてそのパケットについての可否判定を行い、否と判定した場合、そのパケットの直前に受信したパケットを選択する
付記13に記載のプログラム。
(付記15)
一枚の画像を複数の画像領域に分割し、一の画像領域を前記画像情報として送信することを特徴とする付記13及び付記14のいずれかに記載のプログラム。
(付記16)
前記複数の画像領域のそれぞれを、当該画像領域に係る画像特徴量に基づいて複数の種類のいずれかに分類し、予め定められた種類に分類された画像領域を、前記画像情報として送信することを特徴とする付記15に記載のプログラム。
(付記17)
伝送しようとしている画像情報を符号化して、前記画像情報にそれぞれのパケットが対応し、かつ、それぞれのパケットのデータ量q1、q2、・・・、qm(mは2以上の自然数)がq1<q2<・・・<qmの関係を有する複数のパケットP1、P2、・・・、Pmを生成するパケット生成手段と、
当該パケット通信装置とは異なる宛先パケット通信装置に対し、パケット通信網を介して前記複数のパケットP1、P2、・・・、Pmを送信するパケット送信手段としてコンピュータを機能させるプログラムであって、
前記宛先パケット通信装置は、
前記複数のパケットP1、P2、・・・、Pmそれぞれの遅延時間t1、t2、・・・、tmを測定し、
前記遅延時間t1、t2、・・・、tmに基づいて、前記複数のパケットP1、P2、・・・、Pmのいずれかひとつを選択し、
前記選択したパケットに基づいて前記画像情報を復号化する
前記プログラム。
(付記18)
前記パケット送信手段は、前記複数のパケットP1、P2、・・・、Pmを、データ量が少ないものから多いものの順に送信し、
前記宛先パケット通信装置は、前記複数のパケットをそれぞれ受信するたびごとに、そのパケットの前記遅延時間に基づいてそのパケットについての可否判定を行い、否と判定した場合、そのパケットの直前に受信したパケットを選択する付記17に記載のプログラム。
(付記19)
一枚の画像を複数の画像領域に分割し、一の画像領域を前記画像情報として送信することを特徴とする付記17及び付記18のいずれかに記載のプログラム。
(付記20)
前記複数の画像領域のそれぞれを、当該画像領域に係る画像特徴量に基づいて複数の種類のいずれかに分類し、予め定められた種類に分類された画像領域を、前記画像情報として送信することを特徴とする付記19に記載のプログラム。
(付記21)
第1のノードから第2のノードにパケット通信網を介して画像情報を伝送する際に、
伝送しようとしている画像情報を符号化して、前記画像情報にそれぞれのパケットが対応し、かつ、それぞれのパケットのデータ量q1、q2、・・・、qm(mは2以上の自然数)がq1<q2<・・・<qmの関係を有する複数のパケットP1、P2、・・・、Pmを前記第1のノードにて生成するパケット生成段階と、
前記パケット通信網を介して前記第1のノードから前記第2のノードに前記複数のパケットP1、P2、・・・、Pmを送信するパケット送信段階と、
前記第2のノードにて、前記複数のパケットP1、P2、・・・、Pmそれぞれの遅延時間t1、t2、・・・、tmを測定する遅延時間測定段階と、
前記第2のノードにて、前記遅延時間t1、t2、・・・、tmに基づいて、前記複数のパケットP1、P2、・・・、Pmのいずれかひとつを選択するパケット選択段階と、
前記選択したパケットに基づいて前記画像情報を復号化する復号化段階と
を含むことを特徴とする画像情報の伝送方法。
(付記22)
前記パケット送信段階では、前記複数のパケットP1、P2、・・・、Pmを、データ量が少ないものから多いものの順に送信し、
前記パケット選択段階では、前記複数のパケットをそれぞれ受信するたびごとに、そのパケットの前記遅延時間に基づいてそのパケットについての可否判定を行い、否と判定した場合、そのパケットの直前に受信したパケットを選択する
ことを特徴とする付記21に記載の方法。
(付記23)
一枚の画像を複数の画像領域に分割し、一の画像領域を前記画像情報として送信することを特徴とする付記21及び付記22のいずれかに記載の方法。
(付記24)
前記複数の画像領域のそれぞれを、当該画像領域に係る画像特徴量に基づいて複数の種類のいずれかに分類し、予め定められた種類に分類された画像領域を、前記画像情報として送信することを特徴とする付記23に記載の方法。
この出願は、2012年9月27日に出願された日本出願特願第2012−214170号を基礎とする優先権を主張し、その開示のすべてをここに取り込むものである。
Claims (10)
- 第1及び第2のノードを備え、
前記第1のノードは、伝送しようとしている画像情報を符号化して、前記画像情報にそれぞれのパケットが対応し、かつ、それぞれのパケットのデータ量q1、q2、・・・、qm(mは2以上の自然数)がq1<q2<・・・<qmの関係を有する複数のパケットP1、P2、・・・、Pmを生成するパケット生成手段と、
当該第1のノードとは異なる第2のノードに対し、パケット通信網を介して前記複数のパケットP1、P2、・・・、Pmを送信するパケット送信手段とを備え、
前記第2のノードは、
前記複数のパケットP1、P2、・・・、Pmそれぞれの遅延時間t1、t2、・・・、tmを測定する遅延時間測定手段と、
前記遅延時間t1、t2、・・・、tmに基づいて、前記複数のパケットP1、P2、・・・、Pmのいずれかひとつを選択するパケット選択手段と、
前記選択したパケットに基づいて前記画像情報を復号化する復号化手段と
を備えることを特徴とするパケット通信システム。 - 前記パケット送信手段は、前記複数のパケットP1、P2、・・・、Pmを、データ量が少ないものから多いものの順に送信し、
前記パケット選択手段は、前記複数のパケットをそれぞれ受信するたびごとに、そのパケットの前記遅延時間に基づいてそのパケットについての可否判定を行い、否と判定した場合、そのパケットの直前に受信したパケットを選択する
ことを特徴とする請求項1に記載のシステム。 - 一枚の画像を複数の画像領域に分割し、一の画像領域を前記画像情報として送信することを特徴とする請求項1及び請求項2のいずれかに記載のシステム。
- 前記複数の画像領域のそれぞれを、当該画像領域に係る画像特徴量に基づいて複数の種類のいずれかに分類し、予め定められた種類に分類された画像領域を、前記画像情報として送信することを特徴とする請求項3に記載のシステム。
- 伝送しようとしている画像情報を符号化して、前記画像情報にそれぞれのパケットが対応し、かつ、それぞれのパケットのデータ量q1、q2、・・・、qm(mは2以上の自然数)がq1<q2<・・・<qmの関係を有する複数のパケットP1、P2、・・・、Pmを、パケット通信網を介して受信するパケット受信手段と、
前記複数のパケットP1、P2、・・・、Pmそれぞれの遅延時間t1、t2、・・・、tmを測定する遅延時間測定手段と、
前記遅延時間t1、t2、・・・、tmに基づいて、前記複数のパケットP1、P2、・・・、Pmのいずれかひとつを選択するパケット選択手段と
前記選択したパケットに基づいて前記画像情報を復号化する復号化手段と
を備えることを特徴とするパケット通信装置。 - 前記パケット受信手段は、前記複数のパケットP1、P2、・・・、Pmを、データ量が少ないものから多いものの順に受信し、
前記パケット選択手段は、前記複数のパケットをそれぞれ受信するたびごとに、そのパケットの前記遅延時間に基づいてそのパケットについての可否判定を行い、否と判定した場合、そのパケットの直前に受信したパケットを選択する
ことを特徴とする請求項5に記載のパケット通信装置。 - 伝送しようとしている画像情報を符号化して、前記画像情報にそれぞれのパケットが対応し、かつ、それぞれのパケットのデータ量q1、q2、・・・、qm(mは2以上の自然数)がq1<q2<・・・<qmの関係を有する複数のパケットP1、P2、・・・、Pmを生成するパケット生成手段と、
当該パケット通信装置とは異なる宛先パケット通信装置に対し、パケット通信網を介して前記複数のパケットP1、P2、・・・、Pmを送信するパケット送信手段とを備え、
前記宛先パケット通信装置は、
前記複数のパケットP1、P2、・・・、Pmそれぞれの遅延時間t1、t2、・・・、tmを測定し、
前記遅延時間t1、t2、・・・、tmに基づいて、前記複数のパケットP1、P2、・・・、Pmのいずれかひとつを選択し、
前記選択したパケットに基づいて前記画像情報を復号化する
ことを特徴とするパケット通信装置。 - 伝送しようとしている画像情報を符号化して、前記画像情報にそれぞれのパケットが対応し、かつ、それぞれのパケットのデータ量q1、q2、・・・、qm(mは2以上の自然数)がq1<q2<・・・<qmの関係を有する複数のパケットP1、P2、・・・、Pmを、パケット通信網を介して受信するパケット受信手段と、
前記複数のパケットP1、P2、・・・、Pmそれぞれの遅延時間t1、t2、・・・、tmを測定する遅延時間測定手段と、
前記遅延時間t1、t2、・・・、tmに基づいて、前記複数のパケットP1、P2、・・・、Pmのいずれかひとつを選択するパケット選択手段と、
前記選択したパケットに基づいて前記画像情報を復号化する復号化手段
としてコンピュータを機能させるためのプログラム。 - 伝送しようとしている画像情報を符号化して、前記画像情報にそれぞれのパケットが対応し、かつ、それぞれのパケットのデータ量q1、q2、・・・、qm(mは2以上の自然数)がq1<q2<・・・<qmの関係を有する複数のパケットP1、P2、・・・、Pmを生成するパケット生成手段と、
当該パケット通信装置とは異なる宛先パケット通信装置に対し、パケット通信網を介して前記複数のパケットP1、P2、・・・、Pmを送信するパケット送信手段としてコンピュータを機能させるプログラムであって、
前記宛先パケット通信装置は、
前記複数のパケットP1、P2、・・・、Pmそれぞれの遅延時間t1、t2、・・・、tmを測定し、
前記遅延時間t1、t2、・・・、tmに基づいて、前記複数のパケットP1、P2、・・・、Pmのいずれかひとつを選択し、
前記選択したパケットに基づいて前記画像情報を復号化する
前記プログラム。 - 第1のノードから第2のノードにパケット通信網を介して画像情報を伝送する際に、
伝送しようとしている画像情報を符号化して、前記画像情報にそれぞれのパケットが対応し、かつ、それぞれのパケットのデータ量q1、q2、・・・、qm(mは2以上の自然数)がq1<q2<・・・<qmの関係を有する複数のパケットP1、P2、・・・、Pmを前記第1のノードにて生成するパケット生成段階と、
前記パケット通信網を介して前記第1のノードから前記第2のノードに前記複数のバケットP1、P2、・・・、Pmを送信するパケット送信段階と、
前記第2のノードにて、前記複数のパケットP1、P2、・・・、Pmそれぞれの遅延時間t1、t2、・・・、tmを測定する遅延時間測定段階と、
前記第2のノードにて、前記遅延時間t1、t2、・・・、tmに基づいて、前記複数のパケットP1、P2、・・・、Pmのいずれかひとつを選択するパケット選択段階と、
前記選択したパケットに基づいて前記画像情報を復号化する復号化段階と
を含むことを特徴とする画像情報の伝送方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014538358A JP5854247B2 (ja) | 2012-09-27 | 2013-09-04 | 画像情報伝送方法及びパケット通信システム |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012214170 | 2012-09-27 | ||
JP2012214170 | 2012-09-27 | ||
PCT/JP2013/074443 WO2014050547A1 (ja) | 2012-09-27 | 2013-09-04 | 画像情報伝送方法及びパケット通信システム |
JP2014538358A JP5854247B2 (ja) | 2012-09-27 | 2013-09-04 | 画像情報伝送方法及びパケット通信システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5854247B2 true JP5854247B2 (ja) | 2016-02-09 |
JPWO2014050547A1 JPWO2014050547A1 (ja) | 2016-08-22 |
Family
ID=50387954
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014538358A Expired - Fee Related JP5854247B2 (ja) | 2012-09-27 | 2013-09-04 | 画像情報伝送方法及びパケット通信システム |
Country Status (7)
Country | Link |
---|---|
US (1) | US20150256443A1 (ja) |
EP (1) | EP2903223A4 (ja) |
JP (1) | JP5854247B2 (ja) |
KR (1) | KR101640851B1 (ja) |
CN (1) | CN104685840A (ja) |
TW (1) | TWI566550B (ja) |
WO (1) | WO2014050547A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016049176A1 (en) * | 2014-09-25 | 2016-03-31 | Interdigital Patent Holdings, Inc. | Procedures for content aware caching and radio resource management for multi-point coordinated transmission |
US20170228206A1 (en) * | 2014-12-16 | 2017-08-10 | Hewlett-Packard Development Company, L.P. | Processing data in a thin client terminal |
KR102594608B1 (ko) * | 2016-12-06 | 2023-10-26 | 주식회사 알티캐스트 | 하이브리드 유저 인터페이스 제공 시스템 및 그 방법 |
US11820289B2 (en) * | 2018-07-31 | 2023-11-21 | Sony Semiconductor Solutions Corporation | Solid-state imaging device and electronic device |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002135322A (ja) * | 2000-10-30 | 2002-05-10 | Nec Corp | 音声符号化自動選択器 |
US20040240390A1 (en) * | 2003-05-30 | 2004-12-02 | Vidiator Enterprises Inc. | Method and apparatus for dynamic bandwidth adaptation |
US20040267503A1 (en) * | 2003-06-27 | 2004-12-30 | Batterberry Troy D | Midstream determination of varying bandwidth availability |
JP2008099261A (ja) * | 2006-09-12 | 2008-04-24 | Yamaha Corp | 通信装置およびプログラム |
JP2011135207A (ja) * | 2009-12-22 | 2011-07-07 | Nec Corp | ストリーム配信装置、方法及びプログラム |
JP2011142622A (ja) * | 2009-12-11 | 2011-07-21 | Nec Corp | ネットワーク帯域計測システム、ネットワーク帯域計測方法およびプログラム |
WO2011132783A1 (ja) * | 2010-04-23 | 2011-10-27 | 日本電気株式会社 | 利用可能帯域計測システム、送信装置、利用可能帯域計測方法および記録媒体 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03240981A (ja) * | 1990-02-15 | 1991-10-28 | Nisshin Steel Co Ltd | 鋼板変色防止剤 |
US6804403B1 (en) * | 1998-07-15 | 2004-10-12 | Digital Accelerator Corporation | Region-based scalable image coding |
US7327761B2 (en) * | 2000-02-03 | 2008-02-05 | Bandwiz Inc. | Data streaming |
US7539130B2 (en) * | 2000-03-28 | 2009-05-26 | Nokia Corporation | Method and system for transmitting and receiving packets |
JP4480119B2 (ja) * | 2000-03-30 | 2010-06-16 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
US7068683B1 (en) * | 2000-10-25 | 2006-06-27 | Qualcomm, Incorporated | Method and apparatus for high rate packet data and low delay data transmissions |
EP1359722A1 (en) * | 2002-03-27 | 2003-11-05 | BRITISH TELECOMMUNICATIONS public limited company | Data streaming system and method |
US7668968B1 (en) * | 2002-12-03 | 2010-02-23 | Global Ip Solutions, Inc. | Closed-loop voice-over-internet-protocol (VOIP) with sender-controlled bandwidth adjustments prior to onset of packet losses |
WO2005074291A1 (ja) * | 2004-01-28 | 2005-08-11 | Nec Corporation | コンテンツの符号化、配信及び受信方法と装置とシステムならびにプログラム |
EP2415215A1 (en) * | 2009-04-02 | 2012-02-08 | Nokia Siemens Networks OY | Method and device for data processing in a communication network |
JP5538792B2 (ja) * | 2009-09-24 | 2014-07-02 | キヤノン株式会社 | 画像処理装置、その制御方法、及びプログラム |
JP2011193357A (ja) | 2010-03-16 | 2011-09-29 | Nec Personal Products Co Ltd | サーバ装置、クライアント端末、通信システム、制御方法及びプログラム |
CN101888544B (zh) * | 2010-06-30 | 2012-05-30 | 杭州海康威视数字技术股份有限公司 | 一种低带宽的视频数据传输方法和硬盘录像机 |
KR20120058763A (ko) * | 2010-11-30 | 2012-06-08 | 삼성전자주식회사 | 영상 장치에서 영상 데이터를 송신하기 위한 장치 및 방법 |
JP5854246B2 (ja) * | 2012-09-27 | 2016-02-09 | 日本電気株式会社 | 音声情報伝送方法及びパケット通信システム |
-
2013
- 2013-09-04 EP EP13841733.2A patent/EP2903223A4/en not_active Withdrawn
- 2013-09-04 KR KR1020157004600A patent/KR101640851B1/ko active IP Right Grant
- 2013-09-04 JP JP2014538358A patent/JP5854247B2/ja not_active Expired - Fee Related
- 2013-09-04 WO PCT/JP2013/074443 patent/WO2014050547A1/ja active Application Filing
- 2013-09-04 US US14/431,567 patent/US20150256443A1/en not_active Abandoned
- 2013-09-04 CN CN201380050860.XA patent/CN104685840A/zh active Pending
- 2013-09-10 TW TW102132535A patent/TWI566550B/zh not_active IP Right Cessation
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002135322A (ja) * | 2000-10-30 | 2002-05-10 | Nec Corp | 音声符号化自動選択器 |
US20040240390A1 (en) * | 2003-05-30 | 2004-12-02 | Vidiator Enterprises Inc. | Method and apparatus for dynamic bandwidth adaptation |
US20040267503A1 (en) * | 2003-06-27 | 2004-12-30 | Batterberry Troy D | Midstream determination of varying bandwidth availability |
JP2008099261A (ja) * | 2006-09-12 | 2008-04-24 | Yamaha Corp | 通信装置およびプログラム |
JP2011142622A (ja) * | 2009-12-11 | 2011-07-21 | Nec Corp | ネットワーク帯域計測システム、ネットワーク帯域計測方法およびプログラム |
JP2011135207A (ja) * | 2009-12-22 | 2011-07-07 | Nec Corp | ストリーム配信装置、方法及びプログラム |
WO2011132783A1 (ja) * | 2010-04-23 | 2011-10-27 | 日本電気株式会社 | 利用可能帯域計測システム、送信装置、利用可能帯域計測方法および記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
TWI566550B (zh) | 2017-01-11 |
EP2903223A4 (en) | 2016-05-04 |
JPWO2014050547A1 (ja) | 2016-08-22 |
EP2903223A1 (en) | 2015-08-05 |
KR101640851B1 (ko) | 2016-07-19 |
CN104685840A (zh) | 2015-06-03 |
US20150256443A1 (en) | 2015-09-10 |
WO2014050547A1 (ja) | 2014-04-03 |
TW201424300A (zh) | 2014-06-16 |
KR20150040942A (ko) | 2015-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101557504B1 (ko) | 채널 적응형 비디오 전송 방법, 이를 이용한 장치 및 이를 제공하는 시스템 | |
CN106851281B (zh) | 实时视频传输的初始带宽估计 | |
CN103477650A (zh) | 用于计算机网络中的数据流送的系统和方法 | |
JP5854247B2 (ja) | 画像情報伝送方法及びパケット通信システム | |
CN106973294B (zh) | 实时视频传输的初始带宽估计 | |
KR101667970B1 (ko) | 서버 장치, 단말, 씬 클라이언트 시스템, 화면 송신 방법 및 프로그램 | |
KR20110124161A (ko) | 계층 부호화 영상의 송수신 방법 및 장치 | |
WO2011142311A1 (ja) | リモート型携帯通信システム、サーバ装置及びリモート型携帯通信システム制御方法 | |
JP5854246B2 (ja) | 音声情報伝送方法及びパケット通信システム | |
JP5505507B2 (ja) | サーバ装置、映像品質計測システム、映像品質計測方法およびプログラム | |
KR20150034778A (ko) | 리모트 통신 시스템, 서버 장치, 리모트 통신 방법, 및 프로그램 | |
CN107438187B (zh) | 实时视频传输的带宽调整 | |
KR101632012B1 (ko) | 통신 시스템, 서버 장치, 서버 장치의 제어 방법 및 프로그램을 저장하는 컴퓨터 판독 가능한 기록 매체 | |
WO2014057809A1 (ja) | 動画伝送システム及び方法 | |
WO2011052590A1 (ja) | リモート型携帯通信システム、方法及びプログラム | |
WO2014042137A1 (ja) | 通信システムと方法とサーバ装置及び端末 | |
Boukerche et al. | An adaptive rate control algorithm for real-time streaming of 3D image-based rendering over heterogeneous wireless networks | |
Boukerche et al. | Design and Implementation of a Rate Control Mechanism for Image-based Virtual Exploration over Wireless Networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151111 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151124 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5854247 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |