JPH1169325A - 動画通信管理装置 - Google Patents

動画通信管理装置

Info

Publication number
JPH1169325A
JPH1169325A JP21681497A JP21681497A JPH1169325A JP H1169325 A JPH1169325 A JP H1169325A JP 21681497 A JP21681497 A JP 21681497A JP 21681497 A JP21681497 A JP 21681497A JP H1169325 A JPH1169325 A JP H1169325A
Authority
JP
Japan
Prior art keywords
moving image
communication
code
video
protocol
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP21681497A
Other languages
English (en)
Other versions
JP3687293B2 (ja
Inventor
Yoshizo Honda
芳三 本多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ando Electric Co Ltd
Original Assignee
Ando Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ando Electric Co Ltd filed Critical Ando Electric Co Ltd
Priority to JP21681497A priority Critical patent/JP3687293B2/ja
Publication of JPH1169325A publication Critical patent/JPH1169325A/ja
Application granted granted Critical
Publication of JP3687293B2 publication Critical patent/JP3687293B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Communication Control (AREA)

Abstract

(57)【要約】 【課題】 利用画像品質の評価に基づく、最適な動画通
信プロトコルの選択を行う動画通信管理装置を提供す
る。 【解決手段】 ネットワーク50に接続した動画サーバ
40と端末60と動画通信分析装置80からなる装置に
おいて、端末60が受信した動画符号を動画通信分析装
置80に送信する。動画通信分析装置80は動画符号に
ついて分析した結果と、取得した利用状況を示すパラメ
ータを用いて、予め実装された推定を行う知識データ部
90とから動画通信プロトコルを比較評価する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は動画通信管理装置に
関し、特にディジタル動画データの送受信に用いられる
プロトコルを管理する動画通信管理装置に関する。
【0002】
【従来の技術】一般的に、データ伝送路を介して接続さ
れた計算機の間でデータの授受を行うためには、データ
送信側の計算機とデータ受信側の計算機との間で用いら
れるプロトコルを同一にする必要がある。この状況はデ
ィジタル動画データの通信においても同様であり、例え
ば動画送信端末又は動画サーバと呼ばれる動画送信装置
が、動画をネットワークを介して動画受信装置へ送信す
るにあたり、動画送信装置と動画受信装置とが同一の通
信プロトコル及び動画符号方式を予め実装する必要があ
る。
【0003】以下、本明細書では、「通信プロトコル」
とは、例えばUDP/IP(User Diagram Protocol/In
ternet Protocol)のように動画以外の通信にも利用さ
れる通信上のプロトコルを含む意味で用い、送信装置と
受信装置とでデータの送受信に先だってネゴシエーショ
ンを行うための通信も含むものとする。また、本明細書
では、「動画符号方式」とは、動画符号に関するプロト
コルであり、動画の通信を目的とした送信・受信、復号
・表示、及びネットワーク機器との間で取り決められた
規約を含む意味で用いる。この動画復号方式は、例えば
国際標準化機構であるISO(International Organiza
tion for Standardization)及びIEC(Internationa
l Electrotechnical Commission)によるMPEG(ISO
/IEC-11172)、MPEG−2(ISO/IEC-13818)、MP
EG−4(ISO/IEC-14496)、ITU(International T
elecommunication Union)勧告H.320、H.32
4、H.261、H.263等がある。
【0004】さらに、本明細書では、動画通信プロトコ
ルとは、動画通信に用いられるプロトコルであり、動画
符号方式と通信プロトコルとを組み合わせた意味で用い
る。例えば、MPEGに準拠して生成されたデータスト
リームをUDP/IPに準拠したパケットで送信する場
合などがある
【0005】従来、動画通信プロトコルは、処理速度の
点で専用のLSIを用いた専用ハードウェアにより処理
されていた。このため、ネットワークに接続された送信
装置及び受信装置は、専用ハードウェアが扱うことがで
きる最低限の共通プロトコルを用いて通信を行ってい
た。例えば、送信装置にMPEGエンコーダ、受信装置
にMPEGデコーダを実装して動画データの通信を行っ
ていた。
【0006】尚、本明細書で用いられる語句「一種類の
通信プロトコル」、「一種類の動画符号方式」、「一種
類の動画通信プロトコル」とは、他のプロトコルを選択
する余地がなく、送信装置及び受信装置が共通に用いる
一種類のプロトコルをいう。一般には、通称が一種類の
プロトコルである場合にも、異なるパラメータを設定し
て通信手順を変えることができたり、プロトコルそのも
のに選択肢が用意されていて、状況に応じていずれかを
選んで送信に用いることがある。
【0007】例えば、MPEG−2の規約の中には、双
方向予測/単方向予測の何れを行うかを選択する選択肢
がある。例えばメインプロファイル/シンプルプロファ
イルである。しかしながら、MPEG−2デコーダ・M
PEG−2エンコーダと呼ばれるものであっても双方向
予測に対応しないものもあるなど、「双方向予測による
MPEG−2」というプロトコルが共通である場合とそ
うでない場合とがある。この場合、本明細書では「単方
向予測によるMPEG−2」と「双方向予測によるMP
EG−2」を別種のプロトコルとする。
【0008】次に、プロトコルの使い分けについて述べ
る。画像通信において、どの動画通信プロトコルが最も
適しているかは、動画通信の利用目的、利用状況に応じ
て様々である。上記の双方向予測による方式は符号化効
率が高く少ない符号量で済むという特徴を有し、単方向
予測による方式は復号処理遅延時間が短くて済むという
特徴を有する。例えば、テレビ会議のような用途には、
復号遅延量が小さい単方向予測による方式の方が多くの
場合有効である。
【0009】送信装置と受信装置とが双方向予測/単方
向予測の何れも対応できる場合には、動画を送信する装
置内で適宜選択されて送信される。逆に、単方向予測の
みに対応するMPEG−2デコーダLSIを実装してい
る場合は、符号化効率の要求が高くても、単方向予測し
か利用できないという場合もある。
【0010】また受信装置又はデコーダの処理速度性能
が原因で、処理量が多く繁雑な方式では送受信できない
場合もある。更に、利用しているネットワークの利用可
能な帯域幅の制限によって、符号量が大きくなる方式を
用いた場合には送受信できないときもある。符号レート
の制限の下では符号量を増やす代わりに、解像度・階調
などの点で画質を粗くすることも多い。この場合は符号
化効率が高いと画質がよくなる。
【0011】また、前述の単方向予測/双方向予測以外
の動画通信プロトコルについて、ネットワークトラフィ
ックの影響を考慮して通信を行ったり、伝送エラー耐性
(誤り耐性)を考慮して通信を行ったり、数値のbit
表現により符号量を考慮して通信を行ったりする点にお
いて異なる動画通信プロトコルもある。ネットワークに
接続された計算機間で行われるデータ通信の授受を監視
する通信監視装置に関しては、同出願人によって出願さ
れた特願平09−078486号がある。
【0012】
【発明が解決しようとする課題】ところで、従来は、動
画通信プロトコルの実装について、処理速度の点で専用
のハードウェアによって実現していたが、装置内部に設
けられたCPU(中央処理装置)の処理速度が向上する
ことによって、ソフトウェアによる実装が可能となって
きた。更に、インターネット等のネットワークの発達に
より、動画通信プロトコルを実現するためのソフトウェ
アの配布が容易となるので、送受信装置での動画通信プ
ロトコルの変更が容易になり、また送受信端末にそれま
で実装されていない動画通信プロトコルでも、新たに実
装することが容易となる。はじめからソフトウェアプロ
トコルのインストール・アンインストールが想定された
端末も普及が予想される。このような状況では、動画通
信プロトコルを必要に応じて実装することになる。
【0013】利用目的・利用網に応じて最適な動画通信
プロトコルが各々開発されているが、新しい利用目的の
発見、新しい利用網の開発などにより、それぞれについ
て最適な動画通信プロトコルが開発されていき、今後、
利用可能な動画通信プロトコルの種類はますます増加し
ていくと予想される。そこで、利用目的や利用網に応じ
た動画通信プロトコルを選択して利用することが重要に
なってくる。
【0014】このような状況に加えて、さらに次の背景
がある。公衆移動網や無線LANが普及し、携帯端末も
多く利用される。無線区間を含む通信路で動画通信を利
用する場合は、従来の有線の通信とは伝送エラー率が桁
違いに大きいことから、次に述べる動画通信技術が必要
とされる。確実なデータ伝送の場合は、通信路の伝送エ
ラー率が大きい場合は、データの再送を行ってエラーを
含まなくなるまで繰り返せばいいが、動画通信では決め
られた時間内に到着する必要がある。
【0015】一方、データ伝送に比べ、画面の一部に短
時間に動画の欠損が生じても利用目的に応じて許容でき
る用途もある。そこで無線区間を含む動画通信では、独
特の要求条件の下で最適な動画通信プロトコルを利用す
る必要がある。無線区間の伝送エラーが出現する状況
は、利用網が変わると大きく異なるのはもちろんのこ
と、場所が変わっても異なるので、それぞれのケースを
評価しながら最適な動画通信プロトコルを利用すること
が重要になってくる。
【0016】このことを動画符号技術について予測符号
化方式を例に説明する。国際動画符号標準の中で、IT
U勧告のH.261、H.263、ISO/IEC規格
のMPEG、MPEG−2では、いずれも予測符号化方
式が採用されているので、極めて頻繁に利用される技術
である。予測符号化方式とは、少ない符号量で通信でき
るよう符号化効率を高くする目的で用いられる方式であ
り、参照値・予測式・予測係数を予め送信し、残差を送
る毎に元の値を復元する方法である。
【0017】予測符号化方式では、例えば、データ「1
02」、「107」、「105」・・を送信する場合、
参照値を「100」、予測式・予測係数は、「参照値+
残差」であるという取り決めを通信し、残差2、7、5
・・を通信する。復号する際には、100+2、100
+7、100+5・・という方法で復元する。さらに、
この例では一桁の整数に残差が頻出するが、頻出値ほど
短い符号を割り当てることにする可変長符号という方法
が組み合わされる。割り当ての表は予め送信される。
【0018】このような予測符号化方式では、多くの値
を復号するのに共通の参照値・予測式・予測係数を一度
通信するだけでよい。これによれば、それぞれ値を通信
するより、極めて少ない符号量で済む。残差が特定の値
に頻出するような予測を取り決めればよい。前例では値
がどれもほぼ同じくらいの大きさを持つことが多く、そ
れも「100」に近いことが多いという予測をしてい
る。値の現れる統計的性質を利用して、精度の高い予測
を行うほど符号が少なくできる。
【0019】次に、無線区間を含む通信路で予測符号化
方式を用いた場合の問題点を説明する。無線区間では伝
送エラーを考慮する必要がある。符号化効率を高めるた
めには、多くの残差と少ない参照値・予測係数・符号割
り当ての取り決めなどの情報を送る必要がある。この場
合に残差に伝送エラーが生じた場合は、ひとつの復号値
が誤りを含んでいるのみであり、動画としては多くの場
合は品質の劣化は小さい。
【0020】一方、参照値や予測係数に伝送エラーが生
じた場合は、それを利用している多数の復号値に誤りを
含んでいることになり、伝送エラー又は誤り訂正で見逃
したエラーが1bitに過ぎない場合でも、動画として
の品質は著しく劣化する。ひとつの参照値に属する復号
値の数を多くすれば、符号化効率は高くなるが誤り耐性
は小さくなる。
【0021】一般に、参照値の割合について、さまざま
な利用状況に応じて符号量の制限や伝送エラー率が異な
るので、最適な割合が利用状況に応じてそれぞれ存在す
ることになり、それぞれのケースを評価しながら最適な
動画通信プロトコルを利用することが重要になってく
る。
【0022】また、動画の通信を行う場合には次のよう
な事態が考えられる。この事態については前述の双方向
予測方式によって通信する場合を例に挙げて説明する。
以下において用いる「動画のフレーム」とは、動画を瞬
間瞬間の静止画の連続だと見なして、瞬間の一枚の静止
画のことをいう。動画は一般的に、毎秒1〜30フレー
ム前後のフレームからなる。動画の画面内を物体や人
物、あるいはその一部に注目すると、何フレームかにわ
たっておよそ一定の速度と向きで移動することが多い。
任意の2つのフレームにおける対応する位置の違いを横
方向の画素数と縦方向の画素数の組で表し、動きベクト
ルと呼ぶ。あるフレームで物体の特定の画素を予測する
際、その画素に対して、時間的に前方のフレームと後方
のフレームの中にそれぞれ対応する動きベクトルの指す
画素値を得て参照値とする。画素値の時間変化の速度が
一定と考えて内挿して得られる値を予測値とし、注目画
素値との差を残差とする。
【0023】例えば、第2フレームのある画素を双方向
予測するために、第1フレームと第4フレームに対する
それぞれの動きベクトルから得られる2つの参照画素値
の間を1:2に内分する値を予測値とし、残差を送信す
る。画素値の時間変化が一定なら残差は0を中心に頻出
するので、前述のような可変帳符号を用いて、符号量を
極めて少なくすることができる。
【0024】しかし、双方向予測における処理遅延時間
の問題点がある。まず符号化の際、第2フレームの予測
値は第4フレームが入力されてから算出されるので、第
2フレームの符号化は第4フレーム符号化の時間的に後
になる。また復号化の際、第2フレームの復号は、第4
フレームが復号部に入力されることにより参照値が得ら
れ、第2フレームの残差から復号される。このため、第
2フレームの復号は第4フレーム復号の時間的にあとに
なる。計算処理時間・伝送時間が充分に小さいとしても
第2フレームの復号は2フレーム間隔以上は遅れること
になる。
【0025】これに対して、単方向予測とは、動きベク
トルで対応する画素は変化しないことが多いという性質
を利用したものであり、例えば、第2フレームのある画
素を単方向予測するために、第1フレームに対する動き
ベクトルから得られる参照画素値をそのまま予測値と
し、残差を送信する。時間的にあとから前を予測するこ
とはないので単方向予測と呼ばれる。単方向予測での処
理遅延時間は、フレームの順にしたがって、処理される
ので双方向予測のような遅延はない。
【0026】テレビ会議のように動画を介して会話する
場合は遅延が重要である。会話が不自然にならないため
には、カメラに動画が入力されて、受信機で表示される
までを全遅延時間とすると、1秒の数分の一程度を越え
ないようにする必要がある。毎秒5フレームで偶数番目
のフレームに双方向予測を用いた場合は、フレーム間隔
である200msに処理遅延と伝送遅延時間とを加えた
遅延が発生するので、違和感を感じるおそれがあり、伝
送遅延時間や計算処理時間が追加され、問題が生じる。
【0027】このような状況で無線区間を含む通信路を
利用し、さらに無線区間では伝送エラーに対して誤りが
無くなるまで再送が実行される場合を考えると、伝送エ
ラーの程度に最大の伝送遅延時間が依存し、双方向予測
をやめて単方向予測とすることも検討される。単方向予
測の場合は双方向予測より相対的に符号量が増加するの
で、画質を粗くするとかフレームレートを下げるなど画
像品質劣化が想定される。このように、双方向予測/単
方向予測の選択は、伝送エラーの状況・遅延時間の許容
度・符号量制限(画像品質)などから利用目的と利用状
況に応じて決定する必要がある。
【0028】前述の例の他に、伝送エラー耐性(=誤り
耐性)の異なる方式、数値のbit表現により符号量の
異なる方式などを比較する場合、伝送エラーの状況・符
号量制限(画像品質)・復号処理速度の点から、利用目
的と利用状況に応じて決定する必要がある。以上説明し
たように、動画の通信を行うためには、利用目的によっ
て、利用状況の下で評価した上で、それぞれ異なる最適
な動画符号化方式を選択する必要がある、という課題が
発生する。
【0029】この課題に対して、図3を参照して、従来
の動画通信装置の問題点を説明する。図3は、従来一般
的に用いられている動画通信装置の構成を示す図であ
る。図3に示されたように従来の動画通信装置は、ネッ
トワーク20に接続された動画送信機である動画サーバ
10と、ネットワーク20に接続された無線固定局25
と無線によって通信を行う動画受信機である端末30と
からなる。動画サーバ10及び端末30は共通の動画符
号方式及び通信プロトコルを備えており、動画サーバ1
0から送信された動画符号は、ネットワーク20及び無
線固定局25を介して端末30へ送信される。
【0030】今、単方向予測及び双方向予測のどちらも
動画サーバ10及び端末30で共通のプロトコルである
とする。前述の課題である単方向予測か双方向予測かの
選択については、従来は、動画サーバ10の内部におい
て、単方向予測の場合の符号量と双方向予測の場合の符
号量を同時に算定して、符号量の少ない方の方式を選択
していた。
【0031】この例のように従来は、プロトコル選択が
動画送信機内部で処理されてきたために、ネットワーク
20を介して、全体の伝送エラーの状況、それによって
生じる最大の伝送遅延時間などを評価することができな
いので、符号量の少ない方という選択が、端末30で利
用される画像品質という点で最適な選択かどうか評価す
ることができないという問題がある。
【0032】従来は符号量に対して伝送帯域の比較的小
さな無線区間での動画通信の利用は少なかったので、伝
送エラー率の極めて小さな有線伝送路を利用することが
多かったので、影響は小さかったが、無線区間の伝送帯
域が従来より大きな伝送路が利用されるようになって、
無線区間で伝送エラーの動画品質に与える影響を、実際
にできるだけ近い状態で、評価する必要が大きい。
【0033】利用目的に応じて要求される受信機での画
像品質に対して、利用網の通信状態の上で、動画符号方
式と通信プロトコルが最適かどうかということを評価す
る必要性に対して、図3に示す従来の動画通信装置で
は、プロトコル選択が動画サーバ10の内部のみで処理
されてきたために、十分な評価ができないという問題点
がある。
【0034】端末でのデータ受信品質を評価して送信機
で最適な通信プロトコル選択を行う従来装置について
は、同出願人によって出願された特願平09−0784
86号がある。動画符号通信はデータ通信の一部である
が、限られた時間内に受信される必要があることと、伝
送エラーの許容度が比較的ゆるやかであることと、所与
の通信品質特性における利用動画品質が動画符号方式に
依存することが異なる。
【0035】動画通信の管理には、伝送エラー率や伝送
遅延時間などの通信特性が向上すれば、およそ利用画像
品質も向上するという点があるが、さらに最適な動画符
号方式を選択することによって、より確実に利用画像品
質を向上させることができる。利用画像品質の評価に基
づく動画通信に特定した通信管理装置が必要である。
【0036】本発明は、上記事情に鑑みてなされたもの
であり、利用画像品質の評価に基づく、最適な動画符号
及び通信プロトコル選択を行う動画通信管理装置を提供
することを目的とする。
【0037】
【課題を解決するための手段】上記課題を解決するため
に、本発明は、ネットワークに、ディジタルである動画
符号を送信する送信機と、前記動画符号を前記ネットワ
ークから受信する受信機とからなり、前記送信機は、複
数の動画符号方式および複数の通信プロトコルの中から
選択して、前記動画を送信し、前記受信機は、前記送信
機が用いる動画符号方式および通信プロトコルを用いて
前記動画を受信・復号する動画通信装置と、前記ネット
ワークに接続した動画通信分析装置とを備え、前記動画
通信装置を管理する動画通信管理装置において、前記動
画通信分析装置は、前記動画符号および前記通信プロト
コルを入力して分析する手段と、2種以上の前記動画符
号または2種以上の前記通信プロトコルとの比較分析す
る手段と、前記比較分析結果を前記送信機へ送出する手
段とを有し、前記送信機は、前記比較分析結果に基づい
て、複数の動画符号方式および複数の通信プロトコルの
中から選択する手段と、選択した動画符号方式および通
信プロトコルに対応する受信復号機能を前記受信機が持
つことを確認する手段と、確認した前記動画符号方式お
よび前記通信プロトコルを用いて前記動画を送信する手
段を備え、前記動画通信装置が適切なプロトコルを選択
して通信することを管理することを特徴とする。また、
本発明は、前記受信機が、受信した前記動画符号および
前記通信プロトコルの一部またはすべてを前記動画通信
分析装置に送信する手段を有することを特徴とする。ま
た、本発明は、ネットワークに、ディジタルである動画
符号を送信する送信機と、前記動画符号を前記ネットワ
ークから受信する受信機と、前記送信機の送信する前記
動画符号を中継し、前記受信機に送信する手段を有する
中継装置とからなり、前記送信機は、複数の動画符号方
式および複数の通信プロトコルの中から選択して、前記
動画を送信し、前記受信機は、前記中継装置から受信す
る動画符号方式および通信プロトコルを用いて前記動画
を受信・復号する動画通信装置と、前記ネットワークに
接続した動画通信分析装置とを備え、前記動画通信装置
を管理する動画通信管理装置において、前記中継装置
は、入力した前記動画符号および前記通信プロトコルの
一部またはすべてを前記動画通信分析装置に送信する手
段を有することを特徴とする。また、本発明は、前記動
画通信分析装置が、複数の動画符号方式および通信プロ
トコルのそれぞれの組について、前記分析結果の利用動
画品質パラメータまたは符号プロトコル評価値を一部ま
たはすべてをグラフ表示する手段を備え、2種以上の前
記動画符号または2種以上の前記通信プロトコルを、互
いに等しい様式のグラフで表示することを特徴とする。
また、本発明は、前記動画通信分析装置が、2種以上の
前記動画符号または2種以上の前記通信プロトコルのそ
れぞれの組について、復号手段を備え、前記入力動画符
号を用いて動画を復号し、前記動画通信分析装置は、前
記送信機から対応する原画を入力する手段を備え、前記
原画に対する前記復号動画の差画像の画素の自乗または
画素の絶対値の平均値を算出して、最小の平均値を与え
る動画符号および通信プロトコルを指示することを特徴
とする。また、本発明は、前記原画を入力する前記手段
が、前記ネットワークを介さず、前記送信機から前記動
画通信分析装置に前記原画を入力するインターフェース
であることを特徴とする。また、本発明は、前記動画通
信分析装置が、複数の前記動画符号および複数の前記通
信プロトコルのそれぞれについて、一種以上の利用動画
品質パラメータから符号プロトコル評価値を算出および
表示する手段と、動画品質評価関数に一種以上の動画品
質評価引数を入力して前記利用動画品質パラメータをそ
れぞれ算定する利用動画品質パラメータ算定手段と、前
記動画品質評価引数の値の第一の算定手段について、前
記動画通信中に前記原画および前記動画符号および前記
通信プロトコルの一部またはすべてを取得分析して算定
する手段と、前記動画品質評価引数の値の第二の算定手
段について、予め実行された実験値に基づいて特定の動
画符号および通信プロトコルにおける前記動画品質評価
引数を推定して算定する手段とを有し、2種以上の前記
動画符号または2種以上の前記通信プロトコルに対する
前記利用動画品質パラメータまたは前記符号プロトコル
評価値を比較することを特徴とする。また、本発明は、
前記受信機が、受信した前記動画符号および前記通信プ
ロトコルの一部またはすべてを、受信タイムスタンプと
共に前記動画通信分析装置に送信する手段を有すること
を特徴とする。また、本発明は、前記受信機が、動画受
信中の復号した動画の表示処理におけるアクション情報
の一部またはすべてを、前記動画通信分析装置に通知す
る手段を有することを特徴とする。また、本発明は、前
記動画通信分析装置が、前記動画品質評価関数を、前記
取得分析による前記動画品質評価引数の算定または前記
実験値に基づいて、前記動画品質評価引数の算定に一致
する関数に変更する手段を備えることを特徴とする。ま
た、本発明は、前記動画通信分析装置が、動画通信中に
入力した動画符号を分析して、2種以上の前記動画符号
または2種以上の前記通信プロトコルに対する前記動画
品質評価引数を算定し、前記動画品質評価関数を用いて
前記利用動画品質パラメータを算出し、前記利用動画品
質パラメータまたは符号プロトコル評価値を算出および
表示することにより、2種以上の前記動画符号または2
種以上の前記通信プロトコルを比較することを特徴とす
る。また、本発明は、前記動画通信分析装置が、動画通
信中に通信プロトコルを分析し、2種以上の前記動画符
号または2種以上の前記通信プロトコルに対する前記動
画品質評価引数を算定し、前記動画品質評価関数を用い
て前記利用動画品質パラメータを算出し、前記利用動画
品質パラメータまたは符号プロトコル評価値を算出およ
び表示することにより、2種以上の前記動画符号または
2種以上の前記通信プロトコルを比較することを特徴と
する。また、本発明は、前記動画通信分析装置が、動画
通信中の利用環境に関するパラメータを取得する手段を
備え、2種以上の前記動画符号または2種以上の前記通
信プロトコルに対する前記動画品質評価引数を算定し、
前記動画品質評価関数を用いて前記利用動画品質パラメ
ータを算出し、前記利用動画品質パラメータまたは符号
プロトコル評価値を算出および表示することにより、2
種以上の前記動画符号または2種以上の前記通信プロト
コルを比較することを特徴とする。また、本発明は、前
記送信機が、複数の前記動画符号および複数の前記通信
プロトコルについて、順にそれぞれ動画通信を行う手段
を有し、前記動画通信分析装置は、前記動画符号および
前記通信プロトコルのそれぞれについて、前記利用動画
品質パラメータを算出する手段を有することによって、
前記送信機の試験を行うことを特徴とする。また、本発
明は、前記送信機が、複数の前記動画符号および複数の
前記通信プロトコルについて、順にそれぞれ動画通信を
行う手段を有し、前記動画通信分析装置は、前記動画符
号および前記通信プロトコルのそれぞれについて、前記
受信機から前記利用動画品質パラメータを算出する手段
を有することによって、前記受信機の試験を行うことを
特徴とする。また、本発明は、前記送信機の動画符号を
入力する符号プロトコル変換部を備え、前記符号プロト
コル変換部は、前記動画通信分析装置の前記分析結果に
基づいて、複数の動画符号方式および複数の通信プロト
コルの中から選択する手段と、選択した前記動画符号方
式および前記通信プロトコルに対応する受信復号機能を
前記受信機が持つことを確認する手段と入力した前記動
画符号を、確認した前記動画符号方式および前記通信プ
ロトコルに変換する手段と、前記動画符号を前記受信機
に送信する手段とを備えることを特徴とする。
【0038】
【発明の実施の形態】以下、図面を参照して本発明の実
施形態について詳細に説明する。図1、本発明の実施形
態による動画通信管理装置の構成を示すブロック図であ
る。本実施形態では、図1に示されたように、動画サー
バ40及び中継装置70がネットワーク50に接続され
ており、更にネットワーク50には、無線固定局55が
接続され、この無線固定局55と端末60とが無線によ
って通信を行う場合を例に挙げて説明する。
【0039】上記ネットワーク50はLAN、公衆網、
専用線等である。また、このネットワーク50は無線区
間を含んでいても含まなくても良い。特に無線区間を含
む場合は、後述するように本発明の効果が大きくなるの
で、以下の説明では無線区間を含んだ場合を例に挙げて
説明する。無線区間は、例えば携帯電話、コードレス電
話、衛星通信網、無線LANによって実現される。
【0040】端末60は、複数種の通信プロトコルと、
これらのプロトコルを用いて送られてくる複数種の動画
符号を受信して復号し、動画の表示を行う。LANイン
ターフェースカードを接続したワークステーション、電
話回線に対応するターミナルを内蔵した携帯型パーソナ
ルコンピュータ、画像表示のできる液晶パネルを有する
携帯電話機などがある。複数種の通信プロトコルには、
TCP/IP、UDP/IP、ISDNプロトコルなど
がある。
【0041】複数種の動画符号には、国際標準にはMP
EG、MPEG−2、H.261、H.263などがあ
る。特に本実施形態においては、選択の余地のある動画
符号プロトコルは別種とみなす。したがって前述のよう
にMPEG−2の予測方式において、単方向予測、双方
向予測については選択の余地がある。別の例ではH.2
63のオプションとして、PBフレームモード、算術符
号モードなどがあり、それぞれ選択の余地があり、別種
のプロトコルであるとする。
【0042】尚、本実施形態では、端末60が受信を行
う場合についてのみ説明するが、動画送信機能を有して
いてもよい。動画サーバ40は、複数種の動画符号が生
成でき、それを複数種の通信プロトコルで、動画送信で
きる手段を有する動画送信機である。特にサーバ機能は
不可欠ということはない。またビデオカメラからリアル
タイムに符号圧縮しながら送信する場合と、記憶装置に
すでに動画符号を蓄積したものを読み出しながら送信す
る場合とがあるが、本発明では、動画符号の選択の余地
があればどちらも適用可能である。尚、本実施形態で
は、動画サーバ40が送信を行う場合についてのみ説明
するが、動画受信機能を持っていてもよい。
【0043】中継装置70は、ネットワーク50上の適
当な位置に設けられ、動画を中継する装置である。例え
ば、携帯電話網における基地局、LANにおけるルータ
などである。さらに、中継装置70が、端末60以外の
別の端末(図示省略)にも動画を配信する場合、端末6
0と中継装置70との接続が携帯電話網であり、別の端
末と中継装置70との接続がLANであるなど、複数の
端末の間で利用帯域・通信プロトコルが異なる場合があ
る。このような場合の特徴は、動画サーバ40から動画
が送信されたときの動画通信プロトコルと、端末60で
受信されたときの動画通信プロトコルとが同一であると
は限らないということがある。
【0044】後述するように中継装置70の前後の動画
通信プロトコルを評価する場合、端末60が無線を介し
てネットワーク50へ動画を送信する場合などでは中継
装置70における動画通信プロトコルが評価の対象とな
ることもある。以上が動画通信装置の例である。次に、
動画通信分析装置について説明する。
【0045】動画通信分析装置80は、通常はネットワ
ーク50に接続されているが、動画サーバ40、中継装
置70、端末60とそれぞれ必要に応じて接続すればよ
いし、それぞれ専用のインターフェースあるいはネット
ワークでもよい。ひとつの動画通信分析装置によって複
数の動画送受信機及び中継装置の評価ができるので、動
画通信分析装置80にとって通信の入出力を共通化する
目的ではネットワーク50に接続するのが、効率的であ
る。あるいは動画通信分析装置80が複数の装置からな
り、複数の装置はすべてネットワーク50に接続され、
互いに必要な通信を行う構成でも同じである。
【0046】動画通信分析装置80は、動画送信中の動
画符号及び通信プロトコルを一部又はすべて入力する。
その出力は必要に応じて次の場合がある。 (1)端末60で受信した動画符号及び通信プロトコル
を入力する。これは端末利用上の動画品質に注目した評
価を目的とする場合である。無線区間を経由して受信す
る場合には、無線区間の評価を目的とする。
【0047】端末60は、受信した動画符号及び通信プ
ロトコルを動画通信分析装置80に送信する場合に、次
に説明する受信タイムスタンプと表示アクション情報と
復号処理速度と利用環境情報のいずれか又はすべてと共
に送信してもよい。
【0048】受信タイムスタンプとは、動画のひとまと
まり、例えば各フレーム又は各オブジェクトの復号に必
要な動画符号の最終bitを受信した時刻を表すデータ
であり、時刻精度は1ミリ秒の程度である。この最終b
itを動画通信分析装置80に送信する時に続けて受信
タイムスタンプを送信する。あるいは、端末60が動画
をデータパケット形式で受信している場合は、パケット
の最終bitを受信した時刻を表すデータとして、この
パケットの動画符号を動画通信分析装置80に送信する
時に続けて受信タイムスタンプを送信してもよい。受信
タイムスタンプを動画通信分析装置80に送信すること
により、伝送遅延時間に関する評価ができる。
【0049】また表示アクション情報とは、端末60の
表示される画像の品質の推定確度を補強する目的で、端
末60が動画を表示する際の処理内容に関する情報であ
る。例えば、動画フレームの復号が遅延したため特定の
動画フレームの復号表示をとばして新たな動画フレーム
の復号表示を開始するというアクション、いわゆるフレ
ーム落ちの発生がある。
【0050】他の例では、伝送エラーにより受信した動
画符号の一部が復号できなかった場合、画像上で、同じ
動画フレームの隣接位置や同一位置の隣接動画フレーム
から画像を一部コピーすることにより、表示上目立たな
くするというアクション、いわゆるコンシールメント発
生の情報がある。
【0051】他の例では、復号により画素値を復元した
後、表示画像を見やすくする目的で行う画像処理、例え
ばポストデブロッキングフィルタの使用がある。これは
前述の国際動画符号標準で用いられているDCTと呼ば
れる方式に伴うブロック歪みという原画にはない模様が
出る欠点を低減するために復号後の画像に施される後処
理の画像処理フィルタである。
【0052】このような表示アクション情報を動画通信
分析装置80に送信することにより、表示画像品質の推
定確度がより高くなる。
【0053】また復号処理速度とは、端末が復号表示処
理全体に対する処理性能であり、前述のフレーム落ちの
発生の原因として復号処理速度が小さいという場合もあ
る。画面の解像度や動画フレームレートの選定のみなら
ず動画符号方式の選択によって、符号量が増加したり、
復号処理量が増加したりするので、端末の復号表示処理
性能に見合った動画符号方式の選択を行う必要がある。
この目的で端末60の復号処理速度を表す情報を動画通
信分析装置80に送信する。
【0054】復号処理速度が周知の端末であれば、例え
ば、端末60の製品型名、端末60で使用されているデ
コーダLSIの製品型名、端末60で使用されているCPU種
類及びOS種、あるいはCPUのクロック周波数、CPUの単位
時間当たりの命令処理数(MIPS)、CPUのベンクマークテ
スト性能などでも、復号表示処理速度が推定できるの
で、復号処理速度を表す情報として送信してもよい。
【0055】また利用環境情報とは、利用目的と接続網
に関する情報である。利用目的に関する情報としては、
例えば映画鑑賞のような高画質を要求する鑑賞目的かそ
うでないか、ビデオ会議のように双方向の会話で1秒の
数分の一以下の遅延を要求するリアルタイム目的かそう
でないか、などを表す情報である。動画通信分析装置8
0が評価において画質優先か低遅延性優先で行うかをき
める目的で送信する。
【0056】接続網に関する情報とは、動画通信分析装
置80が動画符号及び通信プロトコルを選択する際に、
例えば利用可能な通信プロトコル候補を限定し、利用可
能な符号レート上限を設定する目的で送信する。例えば
利用可能な通信プロトコルや利用可能な符号レートが周
知であれば、簡単に接続網種の名称でもよい。例えば、
PIAFSとか10BASEと送信してもよい。また、
接続網種から通信料金も明らかになる。
【0057】(2)中継装置70が送信する動画符号及
び通信プロトコルを入力する。これは中継装置70が、
動画サーバ40が送信した動画符号及び通信プロトコル
を変換して動画を配信する場合、変換後の動画品質に注
目した評価を目的とする場合である。
【0058】(3)中継装置70が無線区間から受信し
た動画符号及び通信プロトコルを入力する。これは無線
区間の評価を目的とする場合である。
【0059】中継装置70は、動画符号及び通信プロト
コルを動画通信分析装置80に送信する場合に、次に説
明する端末情報と中継情報と共に送信してもよい。端末
情報とは、前述の端末60が動画通信分析装置80に送
信する情報、すなわち、受信タイムスタンプと表示アク
ション情報と復号処理速度と利用環境情報の一部又はす
べてであり、中継装置70が通信を中継する。
【0060】中継情報とは、中継装置70が動画サーバ
40からの注目している動画の中継に関する情報であ
る。例えば、図1で図示しない端末60以外の端末に同
じ動画を配信している場合がある。端末は利用開始から
利用終了までの時間が異なったり、それぞれ利用帯域、
復号処理速度などが異なる場合があるので、中継装置7
0が動画配信を端末ごとに複数の動画チャンネルとして
配信する場合がある。中継情報とは、例えば、配信する
動画チャンネルの数とそれぞれのチャンネルにおける前
述の端末情報である。
【0061】次に動画通信分析装置80の構成と作用を
説明する。図1に動画通信分析装置80の内部のブロッ
ク構成を示す。まず、各ブロックを簡単に説明する。比
較プロトコル指定部81は、比較評価を行う動画符号及
び通信プロトコルの候補を指定する。動画通信分析装置
80のユーザが指定してもよい。又は、前述の端末情報
・中継情報を取得して、利用目的・利用網・利用帯域・
復号処理速度などにより限定した動画符号及び通信プロ
トコルを列挙することもできる。
【0062】利用分析部82は、前述の端末情報を端末
60から取得し、又は、中継装置70から中継情報を取
得する。必要な項目について知識データ部90へ出力す
る。伝送符号部83は、端末60又は中継装置70か
ら、動画通信中の動画符号及び通信プロトコルを入力す
る。通信プロトコルを通信分析部84へ出力し、動画符
号を符号分析部85と復号部86へ出力する。前述の端
末60からの受信タイムスタンプを取得し、通信分析部
84へ出力する場合もある。
【0063】通信分析部84は、伝送符号部83から通
信プロトコルを入力し分析する。例えば、通信プロトコ
ル種を判別したり、プロトコル上のパラメータを抽出し
たり、伝送エラー率・再送率・廃棄データ長、伝送遅延
時間・符号レートなどを分析する。この分析に前述の受
信タイムスタンプを利用することもできる。符号分析部
85は、伝送符号部83から動画符号を入力し分析す
る。例えば、画面サイズ・解像度/階調の粗さ・フレー
ムレート・予測符号化方式の種類と予測性能・誤り耐性
方式の種類と廃棄bit数・可変長符号の種類・符号レ
ートなどを分析する。
【0064】復号部86は、伝送符号部83から動画符
号を入力し画像を復号して画像分析部87又は画像比較
部88へ出力する。端末60から前述の表示アクション
情報を取得し、端末60における表示画像を推定生成又
はシミュレートすることもできる。復号部86は、動画
サーバ40の内部に置くこともできる。動画サーバ40
が動画符号化機能を持つ場合なら復号機能も同時に持つ
ので、この場合はリソースの効率的のため、動画符号を
一度動画サーバ40へ送信して、動画サーバ40の内部
で復号した画像を返信してもよい。動画サーバ40の処
理負担とネットワーク負荷が増えるが、適宜復号処理を
分散しても良い。
【0065】画像分析部87は、復号部86からの復号
画像を入力し分析する。動画符号だけでは分析できない
画像の特性を分析する。例えば、利用中でない別の動画
符号では符号量がどの程度になるかについて概略算出す
る。別の動画符号による符号化器を組み込んでもよい。
簡単な例では、前述のMPEG−2でフレーム間予測方
式を使わない方法を利用中に、同じ動画をMPEG−2
双方向予測を用いた場合の符号量を推定する。前述のよ
うに一定の動きが継続すれば、双方向予測の方が符号化
効率が高いことがわかる。ただし、前述のMPEG−2
で単方向予測方式を利用中なら、動画符号の中の動きベ
クトルの大きさの経過から動きが判別できるので、この
場合は符号分析部85で分析する。
【0066】画像比較部88は、動画サーバ40からの
原画を入力し、復号部86で復元された画像を入力し、
原画に対する復号画像の差画像を生成し、差画像の画素
の自乗又は絶対値の平均値をする。平均値は、ここで画
像誤差率ともよび、比較評価部89へ出力する。目的を
説明すると、別の動画符号を用いて通信して入力・復号
した復号画像から同様に算出された平均値と、前述の平
均値を比較するためである。平均値がゼロに近い方が原
画に近いので、その平均値を与える動画符号の方が適し
ているといえる。同じ動画を異なる動画符号で通信し
て、同様の処理から得られた数値を比較するので、視覚
など主観によっては不定の評価結果を用いることなく、
客観的に比較結果を求めることができる。
【0067】知識データ部90は、後述するが、予め動
画符号の特性を実験結果などから求めておき、利用中の
動画符号方式以外の動画符号を用いた場合の画像品質を
推定算出又はシミュレートしてもよい。その結果を、本
発明で、動画品質評価関数の値とよび、比較評価部89
へ出力する。前記関数の種類を利用動画品質パラメータ
とよぶ。後述するが、例えば、利用動画品質パラメータ
には、画像誤差率・符号量・遅延時間・処理量・利用コ
ストがある。
【0068】比較評価部89は、画像比較部88から画
像誤差率を入力してもよい。また、知識データ部90か
ら動画品質評価関数の値を入力する。前述の利用目的・
利用帯域・端末の復号処理速度などの情報を取得し、要
求条件を定め、動画品質評価関数の値から、総合判定を
行って、符号プロトコル評価値を算出する。この符号プ
ロトコル評価値が、目的の動画符号及び通信プロトコル
の適/不適を表す。複数の動画符号及び通信プロトコル
についてそれぞれの符号プロトコル評価値を比べ、最も
よい符号プロトコル評価値を与える動画符号及び通信プ
ロトコルを指定する。これが最適動画通信プロトコルで
あり、種名をプロトコル選択提示部91へ出力する。ま
た、利用動画品質パラメータに関する要求条件と動画品
質評価関数の値を、プロトコル選択提示部91へ出力す
る。
【0069】プロトコル選択提示部91は、比較評価部
89から最適な動画符号及び通信プロトコル種を入力し
て、動画サーバ40へ送信する。また図示しないが表示
器を持ち、動画通信分析装置80のユーザに対して、利
用動画品質パラメータに関する要求条件と動画品質評価
関数の値を表示してもよい。ここで、表示にグラフを用
いてもよい。
【0070】例えば図2に示すように、複数の動画符号
及び通信プロトコルに対して、符号量・処理量・遅延量
・利用コスト・画像誤差率に関する要求条件と符号プロ
トコル評価値を記入した等しい様式のグラフを、それぞ
れ表示してもよい。図2のうすい灰色で塗りつぶされた
5角形が示すレベルが要求条件を表し、内部なら適して
いて、外部なら不適である。したがって、符号量・処理
量・遅延時間・利用コスト・画像誤差率は大きい程不適
なので、外に向かうほど値が大きい。名称や数値の大小
は、この例の他にも適宜、設定すればよい。
【0071】ここで、知識データ部90と比較評価部8
9における利用動画品質パラメータの推定算出、すなわ
ちシミュレートについて説明する。推定すべき値は、特
定の動画符号及び通信プロトコルに対する利用画像品質
パラメータであり、例えば、符号量・処理量・遅延量・
利用コスト・画像誤差率である。利用画像品質パラメー
タは値を持ち動画品質評価関数値とよぶ。それぞれの利
用画像品質パラメータを推定するために、特定の動画符
号及び通信プロトコルに対する動画品質評価関数をそれ
ぞれ予め定めておく。関数値算定に必要な引数を、動画
品質評価引数とよび、ひとつの関数に対して一種以上の
動画品質評価引数が必要である。
【0072】動画品質評価引数には大きく分けて、利用
環境、通信状態、符号化方式、画像特性に関する値があ
る。それぞれ順に利用分析部82、通信分析部84、符
号分析部85、画像分析部87によって算定される。符
号量を推定するには、画像誤差率にも影響するDCT係
数の量子化特性すなわち解像度・階調の粗さを決定する
ために、詳細な符号化方式、すなわち画面サイズ・フレ
ームレート・可変長符号の種類・予測符号化方式の種類
・誤り耐性方式の種類などから暫定的に符号量標準値を
予め求めておく。符号化方式種名を引数として符号量標
準値を出力してもよい。さらに利用環境の利用可能な最
大帯域に十分入るように量子化特性を定める。この量子
化特性値は、画像誤差率推定にも用いる。符号量はデー
タ量に課金される場合は利用コストの推定に用いる。
【0073】処理量を推定するには、詳細な符号化方
式、すなわち画面サイズ・フレームレート・可変長符号
の種類・予測符号化方式の種類・誤り耐性方式の種類な
どから得られる。符号化方式種名を引数として出力して
もよい。
【0074】遅延量は、伝送遅延時間と復号処理時間の
和である。伝送エラー率から再送率を推定して伝送遅延
時間を得るか、再送率から伝送遅延時間を得るか、受信
タイムスタンプを取得して算定してもよい。復号処理に
よる遅延時間は、前述の処理量か、又は、特にフレーム
レートと予測符号化方式、画面サイズから処理量を求
め、復号処理速度により処理遅延時間が推定できる。
【0075】利用コストは、利用網種・接続時間・デー
タ量・サービス内容と、前述で求めた符号量とから得ら
れる。
【0076】画像誤差率は、詳細な符号化方式、すなわ
ち画面サイズ・フレームレート・可変長符号の種類・予
測符号化方式の種類・誤り耐性方式の種類と、前述で求
めた量子化特性と、さらに伝送エラー率、処理遅延時間
から表示の際のフレーム落ちの頻度、コンシールメント
機能の有無、ポストデブロッキングフィルタから、推定
する。
【0077】また、符号プロトコル評価値を得るには、
利用画像品質パラメータに対するそれぞれの要求条件を
定める必要がある。符号量に対しては利用帯域から定め
る。処理量については端末の復号処理速度から定める。
遅延量と画像誤差率については利用目的から定める。前
述で各動画品質評価関数値が得られたら、それぞれの要
求条件に対比して適性度を算定し、全利用画像品質パラ
メータにわたって、適性度を総合して符号プロトコル評
価値を得る。
【0078】動画サーバ40は、プロトコル選択提示部
91から最適な動画符号及び通信プロトコル種を受信す
ると、動画を受信する端末が前記動画符号及び通信プロ
トコルに関して実装済みかどうかをネットワーク50に
よる通信により確認してもよい。実装済みの場合は、前
記動画符号及び通信プロトコルを用いて動画通信を始め
る。未実装ならネットワーク50による通信により前記
動画符号及び通信プロトコルのために必要なプログラム
を送信して、実装してもよい。
【0079】プロトコル変換部92は、最適な動画符号
及び通信プロトコル種を、動画サーバ40に実装しない
場合でも、最適な動画符号及び通信プロトコルで端末6
0に動画を提供する目的で、動画サーバ40が何らかの
動画符号及び通信プロトコルで送信した動画をプロトコ
ル変換部92で受信し、最適な動画符号及び通信プロト
コルに変換して、ネットワーク50に送信してもよい。
【0080】次に、動画通信分析装置80を用いた複数
の動画符号及び通信プロトコルにより送信機、及び受信
機の試験方法を述べる。動画を送信する動画サーバ40
とその動画を受信する端末60において、前述のように
複数の動画符号及び通信プロトコルに対して、動画通信
を実行して、それぞれの動画符号及び通信プロトコルに
対して、受信した動画符号を復号して生成した復元画像
と原画との差画像の画素の自乗の平均値を求め、また利
用動画品質パラメータを求め、得られた複数の前記平均
値と利用動画品質パラメータを比較するので、特にネッ
トワーク50を十分伝送エラー率が小さく、十分利用帯
域が大きいなどの良好な特性を持つ網を利用すれば、動
画サーバ40と端末60に関して、複数の動画符号及び
通信プロトコルより試験をおこなうことができ、前述の
前記平均値と利用動画品質パラメータが試験結果として
利用できる。
【0081】
【発明の効果】以上説明したように、本発明による動画
通信管理装置は、動画通信装置が用いるネットワーク
に、動画通信分析装置を接続し、動画通信分析装置は、
動画送信機が送信した動画符号を、受信機から、又はネ
ットワークの中継装置から一部又はすべてを収集して分
析するので、受信機上の利用動画品質にもとづく動画通
信プロトコル評価ができ、特に無線区間を含む場合の評
価ができるという効果がある。
【0082】また、受信機処理速度や利用網の利用帯域
幅などといった利用環境を示すパラメータを取得する手
段を有し、伝送エラー率・再送率・伝送遅延時間・符号
レートなどといった通信状況を分析する手段を有し、動
画符号を分析して、画面サイズ・解像度/階調の粗さ・
フレームレート・予測符号化方式の種類と予測性能・誤
り耐性方式の種類と廃棄bit数・可変長符号の種類・
符号レートなどといった動画符号を分析する手段を有
し、送信に用いられた動画符号及び通信プロトコル以外
の動画符号及び通信プロトコルを評価する目的で、画像
誤差率・符号量・遅延時間・処理量・利用コストなどい
った一種以上の利用動画品質パラメータから目的の動画
符号及び通信プロトコルの適/不適を表す符号プロトコ
ル評価値を算出及び表示する手段を有し、前記利用動画
品質パラメータ算定手段は、取得した符号から分析して
得る手段を有し、あるいは、それぞれ動画品質評価関数
を予め決めておき、可変長符号の種類・予測符号化方式
の種類・誤り耐性方式の種類・伝送エラー率・受信機処
理速度などといった一種以上の動画品質評価引数を入力
して関数値を推定して、前記利用動画品質パラメータを
得る手段を有し、2種以上の前記動画符号又は2種以上
の前記通信プロトコルに対する前記利用動画品質パラメ
ータ又は前記符号プロトコル評価値を比較するので、実
測評価及び推定によって、比較対象のすべての動画符号
及び通信プロトコルによる送信を試行しなくても最適な
プロトコルを提示でき、適切なプロトコルを選択して通
信することを管理することができるという効果がある。
【0083】あるいは、原画を再構成して、2種以上の
動画符号又は2種以上の通信プロトコルにおける画像を
再構成し、前記原画に対する前記復号動画の差画像の画
素それぞれの自乗又は絶対値の平均値を算出して、前記
平均値の小さい方を与える動画符号及び通信プロトコル
を提示するので、実測に基づく客観的な画像の比較で適
切なプロトコルを選択して通信することを管理すること
ができるという効果がある。
【0084】あるいは、2種以上の前記動画符号又は2
種以上の前記通信プロトコルについて、画像誤差率・符
号量・遅延時間・処理量などいった一種以上の利用動画
品質パラメータを互いに等しい様式のグラフで表示を行
うので、ユーザは動画符号及び通信プロトコルが選択さ
れた理由とその適性の差などを概観できるという効果が
ある。
【図面の簡単な説明】
【図1】 本発明の実施形態による動画通信管理装置の
構成を示すブロック図である。
【図2】 本発明の実施形態の結果表示の一例を示す図
である。
【図3】 従来例を示す説明図である。
【符号の説明】
40 動画サーバ 50 ネットワーク 60 端末 70 中継装置 80 動画通信分析装置 81 比較プロトコル指定部 82 利用分析部 83 伝送符号部 84 通信分析部 85 符号分析部 86 復号部 87 画像分析部 88 画像比較部 89 比較評価部 90 知識データ部 91 プロトコル選択提示部 92 プロトコル変換部

Claims (16)

    【特許請求の範囲】
  1. 【請求項1】 ネットワークに、ディジタルである動画
    符号を送信する送信機と、 前記動画符号を前記ネットワークから受信する受信機と
    からなり、 前記送信機は、複数の動画符号方式および複数の通信プ
    ロトコルの中から選択して、前記動画を送信し、 前記受信機は、前記送信機が用いる動画符号方式および
    通信プロトコルを用いて前記動画を受信・復号する動画
    通信装置と、 前記ネットワークに接続した動画通信分析装置とを備
    え、 前記動画通信装置を管理する動画通信管理装置におい
    て、 前記動画通信分析装置は、前記動画符号および前記通信
    プロトコルを入力して分析する手段と、 2種以上の前記動画符号または2種以上の前記通信プロ
    トコルとの比較分析する手段と、 前記比較分析結果を前記送信機へ送出する手段とを有
    し、 前記送信機は、前記比較分析結果に基づいて、複数の動
    画符号方式および複数の通信プロトコルの中から選択す
    る手段と、 選択した動画符号方式および通信プロトコルに対応する
    受信復号機能を前記受信機が持つことを確認する手段
    と、 確認した前記動画符号方式および前記通信プロトコルを
    用いて前記動画を送信する手段を備え、 前記動画通信装置が適切なプロトコルを選択して通信す
    ることを管理することを特徴とする動画通信管理装置。
  2. 【請求項2】 前記受信機は、 受信した前記動画符号および前記通信プロトコルの一部
    またはすべてを前記動画通信分析装置に送信する手段を
    有することを特徴とする請求項1記載の動画通信管理装
    置。
  3. 【請求項3】 ネットワークに、ディジタルである動画
    符号を送信する送信機と、 前記動画符号を前記ネットワークから受信する受信機
    と、 前記送信機の送信する前記動画符号を中継し、前記受信
    機に送信する手段を有する中継装置とからなり、 前記送信機は、複数の動画符号方式および複数の通信プ
    ロトコルの中から選択して、前記動画を送信し、 前記受信機は、前記中継装置から受信する動画符号方式
    および通信プロトコルを用いて前記動画を受信・復号す
    る動画通信装置と、 前記ネットワークに接続した動画通信分析装置とを備
    え、 前記動画通信装置を管理する動画通信管理装置におい
    て、 前記中継装置は、入力した前記動画符号および前記通信
    プロトコルの一部またはすべてを前記動画通信分析装置
    に送信する手段を有することを特徴とする動画通信管理
    装置。
  4. 【請求項4】 前記動画通信分析装置は、 複数の動画符号方式および通信プロトコルのそれぞれの
    組について、 前記分析結果の利用動画品質パラメータまたは符号プロ
    トコル評価値を一部またはすべてをグラフ表示する手段
    を備え、 2種以上の前記動画符号または2種以上の前記通信プロ
    トコルを、互いに等しい様式のグラフで表示することを
    特徴とする請求項1乃至請求項3の何れかに記載の動画
    通信管理装置。
  5. 【請求項5】 前記動画通信分析装置は、 2種以上の前記動画符号または2種以上の前記通信プロ
    トコルのそれぞれの組について、復号手段を備え、前記
    入力動画符号を用いて動画を復号し、 前記動画通信分析装置は、前記送信機から対応する原画
    を入力する手段を備え、前記原画に対する前記復号動画
    の差画像の画素の自乗または画素の絶対値の平均値を算
    出して、最小の平均値を与える動画符号および通信プロ
    トコルを指示することを特徴とする請求項1乃至請求項
    4記載の何れかに記載の動画通信管理装置。
  6. 【請求項6】 前記原画を入力する前記手段は、前記ネ
    ットワークを介さず、前記送信機から前記動画通信分析
    装置に前記原画を入力するインターフェースであること
    を特徴とする請求項5記載の動画通信管理装置。
  7. 【請求項7】 前記動画通信分析装置は、 複数の前記動画符号および複数の前記通信プロトコルの
    それぞれについて、 一種以上の利用動画品質パラメータから符号プロトコル
    評価値を算出および表示する手段と、 動画品質評価関数に一種以上の動画品質評価引数を入力
    して前記利用動画品質パラメータをそれぞれ算定する利
    用動画品質パラメータ算定手段と、 前記動画品質評価引数の値の第一の算定手段について、
    前記動画通信中に前記原画および前記動画符号および前
    記通信プロトコルの一部またはすべてを取得分析して算
    定する手段と、 前記動画品質評価引数の値の第二の算定手段について、
    予め実行された実験値に基づいて特定の動画符号および
    通信プロトコルにおける前記動画品質評価引数を推定し
    て算定する手段とを有し、 2種以上の前記動画符号または2種以上の前記通信プロ
    トコルに対する前記利用動画品質パラメータまたは前記
    符号プロトコル評価値を比較することを特徴とする請求
    項1乃至請求項6の何れかに記載の動画通信管理装置。
  8. 【請求項8】 前記受信機は、受信した前記動画符号お
    よび前記通信プロトコルの一部またはすべてを、受信タ
    イムスタンプと共に前記動画通信分析装置に送信する手
    段を有することを特徴とする請求項1乃至請求項7の何
    れかに記載の動画通信管理装置。
  9. 【請求項9】 前記受信機は、動画受信中の復号した動
    画の表示処理におけるアクション情報の一部またはすべ
    てを、前記動画通信分析装置に通知する手段を有するこ
    とを特徴とする請求項1乃至請求項8記載の動画通信管
    理装置。
  10. 【請求項10】 前記動画通信分析装置は、前記動画品
    質評価関数を、前記取得分析による前記動画品質評価引
    数の算定または前記実験値に基づいて、前記動画品質評
    価引数の算定に一致する関数に変更する手段を備えるこ
    とを特徴とする請求項7記載の動画通信管理装置。
  11. 【請求項11】 前記動画通信分析装置は、 動画通信中に入力した動画符号を分析して、 2種以上の前記動画符号または2種以上の前記通信プロ
    トコルに対する前記動画品質評価引数を算定し、 前記動画品質評価関数を用いて前記利用動画品質パラメ
    ータを算出し、 前記利用動画品質パラメータまたは符号プロトコル評価
    値を算出および表示することにより、 2種以上の前記動画符号または2種以上の前記通信プロ
    トコルを比較することを特徴とする請求項7記載の動画
    通信管理装置。
  12. 【請求項12】 前記動画通信分析装置は、 動画通信中に通信プロトコルを分析し、 2種以上の前記動画符号または2種以上の前記通信プロ
    トコルに対する前記動画品質評価引数を算定し、 前記動画品質評価関数を用いて前記利用動画品質パラメ
    ータを算出し、 前記利用動画品質パラメータまたは符号プロトコル評価
    値を算出および表示することにより、 2種以上の前記動画符号または2種以上の前記通信プロ
    トコルを比較することを特徴とする請求項7記載の動画
    通信管理装置。
  13. 【請求項13】 前記動画通信分析装置は、 動画通信中の利用環境に関するパラメータを取得する手
    段を備え、 2種以上の前記動画符号または2種以上の前記通信プロ
    トコルに対する前記動画品質評価引数を算定し、 前記動画品質評価関数を用いて前記利用動画品質パラメ
    ータを算出し、 前記利用動画品質パラメータまたは符号プロトコル評価
    値を算出および表示することにより、 2種以上の前記動画符号または2種以上の前記通信プロ
    トコルを比較することを特徴とする請求項7記載の動画
    通信管理装置。
  14. 【請求項14】 前記送信機は、 複数の前記動画符号および複数の前記通信プロトコルに
    ついて、 順にそれぞれ動画通信を行う手段を有し、 前記動画通信分析装置は、前記動画符号および前記通信
    プロトコルのそれぞれについて、 前記利用動画品質パラメータを算出する手段を有するこ
    とによって、 前記送信機の試験を行うことを特徴とする請求項1乃至
    請求項13の何れかに記載の動画通信管理装置。
  15. 【請求項15】 前記送信機は、 複数の前記動画符号および複数の前記通信プロトコルに
    ついて、順にそれぞれ動画通信を行う手段を有し、 前記動画通信分析装置は、前記動画符号および前記通信
    プロトコルのそれぞれについて、前記受信機から前記利
    用動画品質パラメータを算出する手段を有することによ
    って、 前記受信機の試験を行うことを特徴とする請求項1乃至
    請求項13の何れかに記載の動画通信管理装置。
  16. 【請求項16】 前記送信機の動画符号を入力する符号
    プロトコル変換部を備え、 前記符号プロトコル変換部は、前記動画通信分析装置の
    前記分析結果に基づいて、複数の動画符号方式および複
    数の通信プロトコルの中から選択する手段と、 選択した前記動画符号方式および前記通信プロトコルに
    対応する受信復号機能を前記受信機が持つことを確認す
    る手段と入力した前記動画符号を、確認した前記動画符
    号方式および前記通信プロトコルに変換する手段と、 前記動画符号を前記受信機に送信する手段とを備えるこ
    とを特徴とする請求項1乃至請求項15の何れかに記載
    の動画通信管理装置。
JP21681497A 1997-08-11 1997-08-11 動画通信管理装置 Expired - Fee Related JP3687293B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP21681497A JP3687293B2 (ja) 1997-08-11 1997-08-11 動画通信管理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP21681497A JP3687293B2 (ja) 1997-08-11 1997-08-11 動画通信管理装置

Publications (2)

Publication Number Publication Date
JPH1169325A true JPH1169325A (ja) 1999-03-09
JP3687293B2 JP3687293B2 (ja) 2005-08-24

Family

ID=16694316

Family Applications (1)

Application Number Title Priority Date Filing Date
JP21681497A Expired - Fee Related JP3687293B2 (ja) 1997-08-11 1997-08-11 動画通信管理装置

Country Status (1)

Country Link
JP (1) JP3687293B2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002005558A1 (fr) * 2000-07-10 2002-01-17 Hitachi, Ltd. Terminal de communication multimedia
US6369852B1 (en) 1998-09-29 2002-04-09 Ando Electric Co., Ltd. Analytical system for moving picture regeneration
WO2002102072A1 (fr) * 2001-06-06 2002-12-19 Nikon Corporation Appareil d'imagerie electronique et systeme d'imagerie electronique
JP2003522485A (ja) * 2000-02-01 2003-07-22 スイスコム モービル アーゲー 画像オブジェクトを配信するシステムおよび方法
WO2005076629A1 (ja) * 2004-02-09 2005-08-18 Sanyo Electric Co., Ltd 画像符号化装置及び方法、画像復号化装置及び方法、及び撮像装置
JP2008148034A (ja) * 2006-12-11 2008-06-26 Nec Infrontia Corp 通信装置及びそのデュプレックス設定方法
JP2014518029A (ja) * 2011-04-20 2014-07-24 エンパイア テクノロジー ディベロップメント エルエルシー モバイルコンテンツのユーザ体感品質のリアルタイムでのフルリファレンス計算
JP2014523692A (ja) * 2011-07-06 2014-09-11 エンパイア テクノロジー ディベロップメント エルエルシー 最適な表示のための、トランスコーディング検出およびコンテンツの調整
WO2020158095A1 (ja) * 2019-02-01 2020-08-06 株式会社Nttドコモ 評価装置
CN113965752A (zh) * 2021-09-27 2022-01-21 微梦创科网络科技(中国)有限公司 一种srt推流码率自适应方法及系统
WO2022185795A1 (ja) * 2021-03-05 2022-09-09 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5917758A (ja) * 1982-07-22 1984-01-30 Toshiba Corp 伝送制御手順の検証方式
JPH0267042A (ja) * 1988-09-01 1990-03-07 Nippon Telegr & Teleph Corp <Ntt> 映像パケット伝送方式
JPH0477150A (ja) * 1990-07-17 1992-03-11 Nec Corp 音声圧縮比切替方式
JPH06225266A (ja) * 1992-07-29 1994-08-12 Internatl Business Mach Corp <Ibm> 音声映像通信プロセツサシステム
JPH07264264A (ja) * 1990-10-31 1995-10-13 Ando Electric Co Ltd 通信プロトコル解析装置および解析方法
JPH07288806A (ja) * 1994-04-20 1995-10-31 Hitachi Ltd 動画像通信システム
JPH08186615A (ja) * 1994-12-27 1996-07-16 Ando Electric Co Ltd プロトコルアナライザによる受信データの記録方法
JPH08195971A (ja) * 1995-01-17 1996-07-30 Nippon Telegr & Teleph Corp <Ntt> 画像データ転送評価システム
JPH08233610A (ja) * 1994-12-22 1996-09-13 Renishaw Plc 光電式スケール読み取り装置
JPH08317392A (ja) * 1995-05-17 1996-11-29 Matsushita Electric Ind Co Ltd 画像データ符号化装置
JPH0936877A (ja) * 1995-07-21 1997-02-07 Hitachi Ltd データ通信システム
JPH09149421A (ja) * 1995-09-18 1997-06-06 Oki Electric Ind Co Ltd 画像符号化装置、画像復号化装置及び画像伝送システム

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5917758A (ja) * 1982-07-22 1984-01-30 Toshiba Corp 伝送制御手順の検証方式
JPH0267042A (ja) * 1988-09-01 1990-03-07 Nippon Telegr & Teleph Corp <Ntt> 映像パケット伝送方式
JPH0477150A (ja) * 1990-07-17 1992-03-11 Nec Corp 音声圧縮比切替方式
JPH07264264A (ja) * 1990-10-31 1995-10-13 Ando Electric Co Ltd 通信プロトコル解析装置および解析方法
JPH06225266A (ja) * 1992-07-29 1994-08-12 Internatl Business Mach Corp <Ibm> 音声映像通信プロセツサシステム
JPH07288806A (ja) * 1994-04-20 1995-10-31 Hitachi Ltd 動画像通信システム
JPH08233610A (ja) * 1994-12-22 1996-09-13 Renishaw Plc 光電式スケール読み取り装置
JPH08186615A (ja) * 1994-12-27 1996-07-16 Ando Electric Co Ltd プロトコルアナライザによる受信データの記録方法
JPH08195971A (ja) * 1995-01-17 1996-07-30 Nippon Telegr & Teleph Corp <Ntt> 画像データ転送評価システム
JPH08317392A (ja) * 1995-05-17 1996-11-29 Matsushita Electric Ind Co Ltd 画像データ符号化装置
JPH0936877A (ja) * 1995-07-21 1997-02-07 Hitachi Ltd データ通信システム
JPH09149421A (ja) * 1995-09-18 1997-06-06 Oki Electric Ind Co Ltd 画像符号化装置、画像復号化装置及び画像伝送システム

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6369852B1 (en) 1998-09-29 2002-04-09 Ando Electric Co., Ltd. Analytical system for moving picture regeneration
JP2003522485A (ja) * 2000-02-01 2003-07-22 スイスコム モービル アーゲー 画像オブジェクトを配信するシステムおよび方法
US7712119B1 (en) 2000-07-10 2010-05-04 Hitachi, Ltd. Multimedia communication terminal
KR100716093B1 (ko) * 2000-07-10 2007-05-09 가부시키가이샤 히타치세이사쿠쇼 멀티미디어 통신 단말기
CN100385944C (zh) * 2000-07-10 2008-04-30 株式会社日立制作所 多媒体接收终端以及多媒体发送终端
WO2002005558A1 (fr) * 2000-07-10 2002-01-17 Hitachi, Ltd. Terminal de communication multimedia
WO2002102072A1 (fr) * 2001-06-06 2002-12-19 Nikon Corporation Appareil d'imagerie electronique et systeme d'imagerie electronique
WO2005076629A1 (ja) * 2004-02-09 2005-08-18 Sanyo Electric Co., Ltd 画像符号化装置及び方法、画像復号化装置及び方法、及び撮像装置
JPWO2005076629A1 (ja) * 2004-02-09 2007-10-18 三洋電機株式会社 画像符号化装置及び撮像装置
JP2008148034A (ja) * 2006-12-11 2008-06-26 Nec Infrontia Corp 通信装置及びそのデュプレックス設定方法
JP2014518029A (ja) * 2011-04-20 2014-07-24 エンパイア テクノロジー ディベロップメント エルエルシー モバイルコンテンツのユーザ体感品質のリアルタイムでのフルリファレンス計算
US9060191B2 (en) 2011-04-20 2015-06-16 Empire Technology Development Llc Full-reference computation of mobile content quality of experience in real-time
JP2014523692A (ja) * 2011-07-06 2014-09-11 エンパイア テクノロジー ディベロップメント エルエルシー 最適な表示のための、トランスコーディング検出およびコンテンツの調整
WO2020158095A1 (ja) * 2019-02-01 2020-08-06 株式会社Nttドコモ 評価装置
WO2022185795A1 (ja) * 2021-03-05 2022-09-09 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
CN113965752A (zh) * 2021-09-27 2022-01-21 微梦创科网络科技(中国)有限公司 一种srt推流码率自适应方法及系统

Also Published As

Publication number Publication date
JP3687293B2 (ja) 2005-08-24

Similar Documents

Publication Publication Date Title
EP2119204B1 (en) Method and arrangement for video telephony quality assessment
Takahashi et al. Standardization activities in the ITU for a QoE assessment of IPTV
US8510458B2 (en) Method and device for sharing bandwidth of a communication network
CN113992967B (zh) 一种投屏数据传输方法、装置、电子设备及存储介质
US20170094294A1 (en) Video encoding and decoding with back channel message management
JP3687293B2 (ja) 動画通信管理装置
WO2010054690A1 (en) Method for estimating the &#39;quality of experience&#39; of a user in respect of audio and/or video contents distributed through telecommunications networks
JP2000341688A (ja) 動画通信品質判定装置
US10506257B2 (en) Method and system of video processing with back channel message management
Lubkowski et al. The end-to-end rate adaptation application for real-time video monitoring
JP4787210B2 (ja) 映像品質推定方法、装置、およびプログラム
CN115529300B (zh) 自动调整关键帧量化参数和帧率的系统和方法
CN110418134B (zh) 基于视频质量的视频编码方法、装置及电子设备
JP2010098441A (ja) 映像データ送信装置、映像配信システム、映像品質評価方法及びプログラム
JP3493985B2 (ja) 動画通信評価装置
US6755531B2 (en) Motion picture code evaluator and billing system
JP4787303B2 (ja) 映像品質推定装置、方法、およびプログラム
JP2006174280A (ja) 画像処理装置、画像処理方法及びそのプログラム
Martínez et al. Objective video quality metrics: A performance analysis
US6778254B2 (en) Motion picture code evaluator and related systems
JP4733071B2 (ja) 映像品質推定方法および装置
CN106998328A (zh) 一种视频传输方法及装置
EP0814612A2 (en) Method and apparatus of moving picture transmission
JP2010063004A (ja) 映像データ送信装置、映像配信システム、映像品質評価方法及びプログラム
Huitema et al. Software codecs and work station video conferences

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040316

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040517

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20041001

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20050221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050315

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050530

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080617

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090617

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100617

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees