JP3668110B2 - 画像伝送システムおよび画像伝送方法 - Google Patents
画像伝送システムおよび画像伝送方法 Download PDFInfo
- Publication number
- JP3668110B2 JP3668110B2 JP2000264384A JP2000264384A JP3668110B2 JP 3668110 B2 JP3668110 B2 JP 3668110B2 JP 2000264384 A JP2000264384 A JP 2000264384A JP 2000264384 A JP2000264384 A JP 2000264384A JP 3668110 B2 JP3668110 B2 JP 3668110B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- unit
- buffer
- transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/30—Flow control; Congestion control in combination with information about buffer occupancy at either end or at transit nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
- H04L47/2458—Modification of priorities while in transit
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
- H04L67/62—Establishing a time schedule for servicing the requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/30—Definitions, standards or architectural aspects of layered protocol stacks
- H04L69/32—Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
- H04L69/322—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
- H04L69/329—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the application layer [OSI layer 7]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32609—Fault detection or counter-measures, e.g. original mis-positioned, shortage of paper
- H04N1/32614—Fault detection or counter-measures, e.g. original mis-positioned, shortage of paper related to a single-mode communication, e.g. at the transmitter or at the receiver
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32609—Fault detection or counter-measures, e.g. original mis-positioned, shortage of paper
- H04N1/32625—Fault detection
- H04N1/32641—Fault detection of transmission or transmitted data, e.g. interruption or wrong number of pages
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32609—Fault detection or counter-measures, e.g. original mis-positioned, shortage of paper
- H04N1/32646—Counter-measures
- H04N1/32683—Preventive counter-measures, e.g. using redundant hardware, or anticipating a fault
Description
【０００１】
【発明の属する技術分野】
本発明は画像伝送のためのシステムおよび方法に関し、特に符号化された動画像／静止画像をＩＳＤＮやインターネット等の有線通信網、あるいはＰＨＳや衛星通信等の無線通信網を用いて伝送するシステムおよび方法に関する。
【０００２】
【従来の技術】
近年、画像をはじめとする各種情報のディジタル符号化技術および広帯域ネットワーク技術の進展により、これらを利用したアプリケーションの開発が盛んになっており、圧縮符号化した画像などを、通信網を利用して伝送するシステムが開発されている。
【０００３】
特に近年、インターネット・イントラネットの普及により、データをパケット化して送受信するアプリケーションやシステムが増加してきている。パケット化は通信路の帯域を効率よく複数のユーザで共有するための非常に有効な手段となっている。インターネット・イントラネットでパケットデータを送受信するプロトコルとしてはＴＣＰ／ＩＰやＵＤＰ／ＩＰなどが存在する。ＴＣＰ／ＩＰは再送などの枠組みが組み込まれていることから誤りなどに強く、多少時間がかかっても正しくデータを受信したいダウンロード型のアプリケーションで有効である。これに対し、ＵＤＰ／ＩＰは再送の枠組みがない反面、再送などにかかる遅延がなく、リアルタイム性を求められるアプリケーションには非常に有効である。
【０００４】
通常の動画像通信の場合、画像データは非常に膨大なデータ量であり、ネットワークの帯域に収まらない場合がほとんどである。その場合、画像データを符号化し、データ量を小さくしてから伝送するという手法が用いられる。動画像信号の圧縮符号化技術としては動き補償、離散コサイン変換（ＤＣＴ）、サブバンド符号化、ピラミッド符号化、可変長符号化等の技術やこれらを組み合わせた方式が開発されている。動画像符号化の国際標準方式としてはＩＳＯ ＭＰＥＧ−１，ＭＰＥＧ−２，ＩＴＵ−Ｔ Ｈ．２６１，Ｈ．２６２，Ｈ．２６３が存在し、また動画像、音声・オーディオ信号を圧縮した符号列や他のデータを多重化する国際標準方式としてはＩＳＯ ＭＰＥＧシステム、ＩＴＵ−Ｔ Ｈ．２２１，Ｈ．２２３が存在する。
【０００５】
従来、動画像データをインターネット・イントラネット上で伝送する場合、図２３に示すような構成が用いられていた。画像入力部１０１から出力された画像データ１３１を画像符号化部１０２において符号化しネットワークの帯域に合った符号化データ１３２に変換される。符号化データ１３２は符号化データ送信部１０７において、指定された受信先へ送信データ１３６として送信されることとなる。ここで画像符号化部１０２では、ネットワークの帯域に合った形でデータを符号化する必要がある。通常、動画像データのフレームレートはＮＴＳＣで２９．９７ｆｐｓ、ＰＡＬで２５ｆｐｓとなっている。しかし、このフレームレートそのままでは既存の符号化方式を用いてもインターネットやイントラネットといった回線の帯域では有効な画質を得ることが難しい。そこで、図２４のように、全フレームを符号化するのではなくフレームを間引きながら符号化して、データ量を抑える方式を取ることが多い。
【０００６】
しかしこのようなフレーム間引き符号化方式を用いると、画像符号化部１０２から出力される符号化データ１３２の出力タイミングが図２５に示すように非常に偏ったものとなる。符号化データ送信部１０７で符号化データ１３２をそのまま受信側に送信すると、全体ではネットワークの帯域以下のデータでも一部区間を見ると帯域を越えているため、正しく送受信できなくなる。そこで従来は、図２６に示すようなバッファ制御を用いて、必要な伝送レートが平滑化するように制御していた。バッファを含む符号化データ送信部１０７の基本構成を図２８に示す。
【０００７】
画像符号化部１０２から出力された符号化データ１３２はパケット構成部１０３においてある長さのパケット１３３に分割された後にバッファ部１０４に蓄えられる。送信部１０５では、このバッファ部１０４からデータ１３４を順次取り出し、受信側へ送信する。この手法をとることによりネットワークの帯域に合わせた送信を行うことが可能となる。
【０００８】
ネットワークの帯域に合わせるためのバッファ制御などを行う場合、送信部によるデータの送出量が画像符号化部からのデータの出力量よりも少ないと、バッファがデータで一杯になった状態になってしまう。最悪は、バッファに入りきらないデータが発生してしまい、バッファあふれの状態になってしまう。従来はバッファが一杯になった場合は、画像符号化部を一旦停止し、送信部がデータを出力しバッファに空き容量が出来た時点で画像符号化部を再度動作させるという手順をとることでバッファあふれの問題を回避している。
【０００９】
【発明が解決しようとする課題】
従来では伝送路の帯域に合わせるためにバッファ制御を行っていた。しかし、バッファ制御を利用しても、パケットの送信間隔には粗密な状態が発生してしまう。密な部分では、図２７に示すようにパケットの送信間隔が狭くなるので、たとえデータ量が少なくネットワークの帯域は満足していても受信側のバッファやネットワークの途中のルータなどのバッファあふれによるデータ損失が発生する。
【００１０】
また、送信側におけるバッファあふれの問題に関しては、従来方式では画像符号化部を一旦停止させるなどの処理によってデータの損失につながるようなあふれ状態は未然に防いでいる。しかし、この場合、バッファは常に一杯の状態で使用されることが多くなり、画像符号化部が動作したり停止したりと安定的に動作できない状態になってしまう。これでは、フレーム間引き符号化を行った際、図２９に示すように、フレームの間隔が一定でなくなり、非常に見ずらい画像となってしまう。さらに、バッファの中にデータが入っている時間が多くなるため、図３０に示されているように、取り込んだ画像が受信側に届くまで非常に時間がかかることになる。これはリアルタイムコミュニケーションにおいては致命的な問題となる。
【００１１】
本発明は上述の事情を考慮してなされたものであり、受信側のバッファやネットワークの途中のルータなどのバッファあふれによるデータ損失を防止でき、またバッファの状態を考慮した効率のよいシステム動作を実現することが可能な画像伝送システムを提供することを目的とする。
【００１２】
【課題を解決するための手段】
上述の課題を解決するため、本発明の画像伝送システムは、画像信号を入力する画像入力手段と、前記画像入力手段によって入力された入力画像信号を符号化する画像符号化手段と、前記画像符号化手段によって符号化されたデータをパケット化して送信する符号化データ送信手段であって、パケット化されたデータを蓄えるバッファと、前記バッファに蓄えられたパケットデータそれぞれが少なくとも予め決められた所定間隔以上空けて送信されるように、パケットデータ毎にその送信タイミングを遅延させるための遅延手段とを含む符号化データ送信手段と、前記バッファの蓄積データ量に応じて、前記画像入力手段、前記画像符号化手段および前記符号化データ送信手段それぞれの動作処理の優先度を変化させて前記入力画像信号のフレームレートを変化させる手段とを具備することを特徴とする。
【００１３】
この画像伝送システムにおいては、符号化データ送信手段にパケットデータを遅延させて出力するための遅延手段が設けられており、この遅延手段による遅延時間の設定により、パケットデータに所定の送信時間間隔を設定することが可能となる。よって、パケットデータそれぞれを少なくとも予め決められた所定間隔以上空けて送信することができるので、非常に短い送信間隔でのパケット送出を抑制することが可能となり、受信側におけるデータ損失を少なくすることができる。
【００１６】
また、前記バッファの蓄積データ量に応じて、前記画像入力手段、前記画像符号化手段および前記符号化データ送信手段それぞれの動作処理の優先度を変化させて前記入力画像信号のフレームレートを変化させることにより、バランス良く各処理を実行することが可能となる。よって、フレーム間引きの偏りなどの問題を解消できると共に、バッファにあまりデータが溜まらないように各処理を制御することで、画像伝送のリアルタイム性の向上を図ることも可能となる。特に、本画像伝送システムをマイクロプロセッサベースやソフトウェアによって実現する場合には、各処理の優先度はシステムリソースの割り当てによって容易に実現できる。
【００１７】
また、前記入力画像信号の画像サイズに基づいて前記バッファのバッファサイズを算出するバッファサイズ算出手段と、前記バッファサイズ算出手段によって算出されたバッファサイズに基づいて、前記バッファとして使用されるデータ格納領域をメモリ上に確保する手段とをさらに具備することにより、メモリの使用量についても必要な分だけに留めることが可能となる。
【００１８】
【発明の実施の形態】
（第１の実施形態）
図１は本発明の第１の実施形態に係る画像送信装置の基本構成図である。この画像送信装置は入力画像信号を符号化し、その符号化された画信号を有線通信網あるいは無線通信網を用いて伝送するためのものであり、図示のように、画像入力部１０１、画像符号化部１０２、パケット構成部１０３、バッファ部１０４、遅延発生部１０５、および送信部１０６を備えている。
【００１９】
画像入力部１０１より入力された動画像／静止画像などの画像信号１３１は画像符号化部１０２で符号化される。画像符号化部１０２により符号化された符号化データ１３２はパケット構成部１０３に入力される。パケット構成部１０３では、符号化データ１３２をある決まった規則にしたがいヘッダ情報を付加しパケット化する。パケット構成部１０３で構成されたパケットデータ１３３はバッファ部１０４に入力され、そこに一時的に蓄えられる。
【００２０】
バッファ部１０４から出力されたパケットデータ１３４は遅延発生部１０５に入力され、遅延発生部１０５により決定された時間だけ遅延される。遅延発生部１０５により遅延されたパケットデータ１３５は送信部１０６に入力され、有線通信網あるいは無線通信網を介して送信データ１３６として受信側に送信される。以下では場合により、パケット構成部１０３、バッファ部１０４、遅延発生部１０５、送信部１０６を合わせて符号化データ送信部１０７と呼ぶ。この符号化データ送信部１０７は、符号化データをパケット化し、パケットデータ毎にその送信タイミングを遅延発生部１０５を用いて遅延させることにより、パケットデータそれぞれを少なくとも予め決められた所定間隔以上空けて送信するためのものである。
【００２１】
図２に遅延発生部１０５の詳細な構成図を示す。
【００２２】
遅延発生部１０５は、図示のように、遅延部２０１、遅延量計算部２０２、およびタイマ部２０３から構成されている。バッファ部１０４から出力されたパケットデータ１３４は遅延部２０１に入力される。遅延部２０１では、入力されたパケットデータ１３４のデータサイズ、パケットデータの時間情報等のパケット構成情報２３１を遅延量計算部２０２に通知する。遅延量計算部２０２では遅延部２０１から通知されたパケット構成情報２３１から遅延量２３２を計算し、遅延部２０１に計算結果を遅延量２３２として通知する。遅延部２０１では遅延量計算部２０２から通知された遅延量２３２を元にタイマ部２０３からの時刻情報２３３と比較し、送信部１０６へのパケットデータ１３５の出力を一時的に中断し遅延させる。
【００２３】
遅延量計算部２０２ではパケットデータのサイズとあらかじめ設定されているネットワークの帯域、および最低遅延時間とから遅延時間を計算する。最低遅延時間は、パケットデータの最小送信時間間隔に相当するものである。
【００２４】
例えばパケットデータサイズをＮ（ｂｙｔｅ）、ネットワークの帯域（伝送レート）をＲ（ｂｐｓ）、最低遅延時間ｔ（ｍｓｅｃ）とすると、以下に数１として示す数式１により求められるＴ（ｍｓｅｃ）が、遅延量として計算される。
【００２５】
【数１】
【００２６】
この式を利用して遅延時間を求めることで、ネットワークの帯域が非常に余裕がある場合など（（Ｎ＊８／Ｒ）＊１０００が非常に小さく０に近くなる場合など）でも最低遅延時間ｔにより連続してパケットが送出されることがなくなり、受信側へ安定したデータ伝送が可能となる。すなわち、（Ｎ＊８／Ｒ）＊１０００が最低遅延時間ｔ以上であれば、遅延量Ｔ（ｍｓｅｃ）は（Ｎ＊８／Ｒ）＊１０００となり、（Ｎ＊８／Ｒ）＊１０００が最低遅延時間ｔよりも小さい場合には、遅延量Ｔ（ｍｓｅｃ）は最低遅延時間ｔとなる。
【００２７】
また、ネットワークの帯域については、あらかじめ設定された値を用いる他に、ＲＴＰ／ＲＴＣＰ（Real Time Transport Protocol／Real Time Control Protocol）などのプロトコルを利用する等で実際の帯域を知ることが可能である。これらの値からＲを動的に変化させて計算することで、さらにネットワークの状況に応じた遅延時間の制御を行うことも可能である。
【００２８】
図３に本実施形態でのパケット送出間隔と従来例との比較の図を示す。従来型ではパケットの送信間隔が粗密な状態で密な部分では受信側でパケットロスを起こす可能性が存在した。これを本実施形態を採用し非常に短い送信間隔でのパケット送出を抑制することで、問題点を解決している。つまり、本実施形態では、バッファ部１０４に蓄積されたパケットを待ち時間をおかずに連続して送信するのではなく、遅延発生部１０５による遅延時間の制御により、パケットデータの送信時間間隔を最低遅延時間ｔ以上に保ちながら送信しているので、粗密の少ない安定したパケットデータ送信が可能となるのである。
【００２９】
図４に本実施形態での画像データの変換過程とそれに伴う処理時刻の推移について示す。これは、パケットそれぞれの送信タイミング間に、ある固定間隔だけ時間を空け、連続してパケットが送出されないようにしている例であり、符号化データから生成されたパケットデータ（ａ）〜（ｄ）はそれぞれパケット送出間隔Δｔだけ時間を空けて送信される。図５が同様に従来型の例を示した図であり、パケット送出間隔はゼロであり、待ち時間を置かずに連続的に送信される。さらに図６が前述の数式１を用いてパケット送出間隔を制御した場合の例であり、パケットデータ（ａ）〜（ｄ）それぞれのデータサイズの違いにより、それぞれ最適なパケット送出間隔Δｔa ，Δｔb，Δｔc，Δｔdが設定される。なお、図４は、数式１のＲを無限大にした場合の特殊解と位置付けることも可能であり、本実施形態の範囲で説明付けることが可能である。
【００３０】
（第１の実施形態の効果）
本実施形態を用いることで伝送ネットワークの帯域と受信側の処理速度双方に適応したデータ送信間隔を実現することが可能となる。これにより、帯域、処理速度等の理由によるデータ損失や誤りといった現象を防ぐことが可能となり、受信側での再生画像の品質低下を防ぐ効果がある。
【００３１】
（第１の実施形態の変形例）
図１においてパケット構成部１０３、バッファ部１０４、遅延発生部１０５の構成順序は、特にこの接続に限定されるものではない。例えば、図７に示すように画像符号化部１０２から出力された符号化データ１３２をバッファ部１０４で保持し、その後、遅延発生部１０５を経てパケット構成部１０３に入力し、送信部１０６へ出力する構成でも本実施形態の効果を得ることが可能である。また、図８に示すようにバッファ部１０４の出力をパケット構成部１０３に入力後、遅延発生部１０５を経て送信部１０６へ出力される構成でも同様である。図１、図７、図８のいずれの場合でも、バッファ部１０４に蓄積されるのは符号化後のデータである。
【００３２】
また、図９に示すように、予め符号化されたデータが符号化データ蓄積部９０１に存在し、それを前述の図１の実施形態と同様にパケット構成部１０３に入力し、その後バッファ部１０４で蓄積、遅延発生部１０５により遅延を生じさせ、送信部１０６から送信するというシステムを構成することも可能である。この例では符号化データを蓄積していたが、他の方法として、図１０に示すように、符号化データをパケット化した後のパケットデータをパケットデータ蓄積部１００１に予め蓄積しておき、それをバッファ部１０４、遅延発生部１０５、送信部１０６を介して送信するというシステム構成を利用しても良い。
【００３３】
（第２の実施形態）
図１１は本発明の第２の実施形態に係る画像送信装置の基本構成図である。ここでは、第１の実施形態と同一部分には同一の符号を付して説明を簡略化し、第１の実施形態と異なる部分を中心に説明することにする。
【００３４】
画像入力部１０１より入力された画像信号１３１は画像符号化部１０２で符号化される。画像符号化部１０２により符号化された符号化データ１３２は符号化データ送信部１０７に入力される。符号化データ送信部１０７では、入力された符号化データ１０７を受信側に送信する。画像入力部１０１および画像符号化部１０２、符号化データ送信部１０７は、それぞれの処理量等の負荷情報１１３１，１１３２，１１３３を制御部１１０１に入力する。制御部１１０１では画像入力部１０１、画像符号化部１０２、符号化データ送信部１０７より入力された負荷情報１１３１，１１３２，１１３３から画像入力部１０１、画像符号化部１０２、符号化データ送信部１０７の優先度を決定する。
【００３５】
制御部１１０１で決定された画像入力部１０１、画像符号化部１０２、符号化データ送信部１０７の優先度情報１１３４，１１３５，１１３６はそれぞれ画像入力部１０１、画像符号化部１０２、符号化データ送信部１０７に出力される。画像入力部１０１、画像符号化部１０２、符号化データ送信部１０７では入力された優先度情報１１３４，１１３５，１１３６に基づき動作を行う。
【００３６】
次に制御部１１０１による優先度の割当方法について述べる。これはどのような方法でも用いることは可能であるが、効果的な例について以下に述べる。
【００３７】
まず、画像入力部１０１、画像符号化部１０２、符号化データ送信部１０７に対し全て同じ優先度で動作を開始する。画像入力部１０１、画像符号化部１０２、符号化データ送信部１０７それぞれの負荷情報１１３１，１１３２，１１３３は例えば画像入力部１０１については入力画像のフレームレート（ｆｐｓ）を、画像符号化部１０２も符号化するフレームレート（ｆｐｓ）、符号化データ送信部１０７ではバッファ部１０４に蓄えられているデータ量を用いることとする。
【００３８】
ただし、画像符号化部１０２のフレームレートは画像入力部１０１のフレームレートが下がると自動的に下がることから、画像入力部１０１の負荷情報１１３１と優先度１１３４で、画像入力部１０１および画像符号化部１０２の両方を制御しているのと同等とみなすことができる。よって、以下では画像入力部１０１および符号化データ送信部１０７の優先度の設定方法について述べるものとする。
【００３９】
リアルタイム通信の場合、遅延というのが非常に問題になることから、バッファ部１０４内にデータがあまり溜まらない状態にすることが望ましい。そこで、符号化データ送信部１０７のバッファ部１０４に存在するデータ数がある値を超えた場合に、優先度に変化をつける制御を行う。基本的な制御フローを図１２に示す。
【００４０】
まずステップ１３０１でバッファ部１０４内のデータ数がある値Ｌを超えたかどうかの判定を行う。超えている場合はステップ１３０２で符号化データ送信部の優先度を上げ、反対に画像入力部の優先度を下げ、バッファ部１０４からデータがなくなりやすく制御を行う。超えていない場合は、特に優先度の変更はしない。例えば、最初どの部の負荷が大きいかわからないようなシステムでは、本制御方式を利用することで、適切な優先度の設定が可能となる。
【００４１】
次に図１３に一度変化させた優先度を元に戻すステップを組み込んだ方式のフローを示す。まずステップ１３０１でバッファ部１０４内のデータ数がある値Ｌを超えているかどうかの判定を行う。超えていた場合にはステップ１３０２で前述の方法と同様に符号化データ送信部１０７の優先度を上げ、反対に画像入力部１０１の優先度を下げる制御を行う。超えていなかった場合には、ステップ１４０１で符号化データ送信部１０７、画像入力部１０１を同一または初期値にする。この方法ではバッファ部１０４にデータが溜まりすぎている状態では符号化データ送信部１０７の優先度を上げることで、バッファ溜まりを解消するように動作し、バッファ部１０４に余裕が出てきた場合には、逆にフレームレートを上げ品質を高める方向に動作するようにできる。特に、システムの負荷がいつも一定ではなく、上下するようなシステムに対して有効である。
【００４２】
図１４は図１３の方式を発展させた制御方法である。図１３の制御方法はバッファ部１０４側の負荷にだけ対応し、それ以外は初期値や均等な優先度で動作していた。それに対し図１４の方法では、画像入力部１０４側をより優先度を高くする制御も可能となる。この方式は、まずステップ１３０１でバッファ部１０４内のデータ数がＬ１を超えているかどうかの判定を行う。超えていた場合、ステップ１３０２で符号化データ送信部１０７の優先度を上げ、反対に画像入力部１０１の優先度を下げる制御を行う。反対にステップ１３０１でバッファ部１０４内のデータ数がＬ１を超えていない場合、ステップ１５０１に進む。ステップ１５０１では、バッファ部１０４内のデータ数がＬ２以下かどうかの判定を行う。Ｌ２以下の場合には、バッファ部１０４に余裕が出てきたと判定し、符号化データ送信部１０７の優先度を下げ、反対に画像入力部１０１の優先度を上げる制御を行う。もし、Ｌ２を超えていた場合には、まだバッファ部１０４に余裕がないことから、現状を維持する。
【００４３】
このように、バッファ部１０４の蓄積データ量に応じて、画像入力部１０１、画像符号化部１０２、符号化データ送信部１０７のどの処理を優先的に実行させるかを制御することにより、バランス良く各処理を実行することが可能となる。よって、フレーム間引き符号化を行う場合でも、間引きフレームの偏りなどの問題を解消できると共に、バッファ部１０４にあまりデータが溜まらないように各処理を制御することで、画像伝送のリアルタイム性の向上を図ることが可能となる。
【００４４】
優先度の制御は画像入力部１０１、画像符号化部１０２、符号化データ送信部１０７それぞれの動作処理速度を可変設定したり、あるいは本システムがマイクロプロセッサベースやコンピュータプログラムなどによって実現される場合には、画像入力部１０１、画像符号化部１０２、符号化データ送信部１０７それぞれに対するリソースの割り当てによって各部の動作処理の優先度を制御することができる。
【００４５】
図１５に本発明を受信側のシステムに適用した場合の構成図を示す。
【００４６】
送信側からの符号化データ１６３１は符号化データ受信部１６０１で受信され、符号化データ１６３２として画像復号化部１３０２に入力される。画像復号化部１６０２では入力された符号化データ１６３２を復号し、画像信号１６３３を再生する。画像復号化部１６０２から出力された画像信号１６３３は画像出力部１６０３に入力され、画面に表示されたり、記憶媒体に記録されたりする。その際、符号化データ受信部１６０１および画像復号化部１６０２、画像出力部１６０３は、それぞれの処理量等の負荷情報１６３４，１６３５，１６３６を制御部１６０４に入力する。制御部１６０４では符号化データ受信部１６０１、画像復号化部１６０２、画像出力部１６０３より入力された負荷情報１６３４，１６３５，１６３６から符号化データ受信部１６０１、画像復号化部１６０２、画像出力部１６０３の優先度を決定する。制御部１６０４で決定された符号化データ受信部１６０１、画像復号化部１６０２、画像出力部１６０３の優先度情報１６３７，１６３８，１６３９はそれぞれ符号化データ受信部１６０１、画像復号化部１６０２、画像出力部１６０３に出力される。符号化データ受信部１６０１、画像復号化部１６０２、画像出力部１６０３では入力された優先度情報１６３７，１６３８，１６３９に基づき動作を行う。
【００４７】
優先度の設定方法については、前述の画像送信装置と同様に行うことが可能である。図１６に示すように符号化データ受信部１６０１では、受信部１８０１が受信したパケットデータ１８３１を一旦バッファ部１８０２に蓄積し、パケット復号部１８０３で元の符号化データ１６３２に復元した後、画像復号化部１６０２に出力する。これにより、バッファ部１８０２のところで画像送信装置と同様のバッファ溜まりの問題が発生する。そこで、画像受信装置の場合には図１７で示すようなフローで制御を行う。
【００４８】
まずステップ１７０１でバッファ部１８０２内のデータ数がある値Ｌを超えたかどうかの判定を行う。超えている場合はステップ１７０２で符号化データ受信部１６０１の優先度を下げ、反対に画像復号化部１６０２の優先度を上げ、バッファ部１８０２からデータがなくなりやすく制御を行う。超えていない場合は、特に優先度の変更はしない。
【００４９】
（第２の実施形態の効果）
本実施形態を用いることでシステム全体として最適なパフォーマンスを得ることができるようになる。特にパーソナルコンピュータ上で実行されるソフトウェアを用いて画像送信／画像受信を行う場合には、各処理に対するＣＰＵの割り当てを最適化することが可能となる。
【００５０】
（第３の実施形態）
図１８は本発明の第３の実施形態に係る画像送信装置の基本構成図である。ここでは、第１の実施形態と同一部分には同一の符号を付して説明を簡略化し、第１の実施形態と異なる部分を中心に説明することにする。
【００５１】
画像入力部１０１より入力された画像信号１３１は画像符号化部１０２で符号化される。画像符号化部１０２により符号化された符号化データ１３２はパケット構成部１０３に入力される。パケット構成部１０３では、符号化データ１３２をある決まった規則にしたがいヘッダ情報を付加しパケット化する。パケット構成部１０３で構成されたパケットデータ１３３はバッファ部１０４に入力されパケットデータ１３３が一時的に蓄えられる。バッファ部１０４から出力されたパケットデータ１３４は遅延発生部１０５に入力され、遅延発生部１０５により決定された時間だけ遅延される。遅延発生部１０５により遅延されたパケットデータ１３５は送信部１０６に入力され、受信側に送信される。
【００５２】
画像入力部１０１、画像符号化部１０２、パケット構成部１０３、バッファ部１０４、遅延発生部１０５、送信部１０６は、制御部１９０１から出力される制御情報１９３１，１９３２，１９３３，１９３４，１９３５，１９３６を用いて動作を行う。図１９にバッファ部１０４の詳細な構成図を示す。
【００５３】
バッファ部１０４はバッファサイズ計算部２１０１とデータ格納部２１０２とから構成されている。バッファサイズ計算部２１０１では、制御部１９０１から通知された画像サイズ、パケットサイズ等の制御情報１９３４からバッファ量として適当なサイズを計算する。算出されたバッファサイズ２１３１はデータ格納部２１０２に入力されバッファサイズ２１３１に基づきデータ格納領域の確保が行われる。その後、パケット構成部１０３から出力されたパケットデータ１３３がデータ格納部に蓄えられるとともに、順次遅延発生部１０５に対してパケットデータ１３４を出力していく。
【００５４】
ここで述べるバッファサイズというのはデータ格納部でパケットデータをいくつ保存することができるかという値である。ここでは、Ｎb 個と定義する。ビットレートＢＲ（ｂｐｓ）、パケットサイズＳp （ｂｙｔｅ）、バッファに蓄える最大時間Ｔ（ｓｅｃ）とした場合、Ｎb は、以下に数２として示す式により求められる。
【００５５】
【数２】
【００５６】
ここでαはシステムに余裕をもたせるための値で、任意に設定することが可能である。
【００５７】
例えばコンピュータ上で実行されるソフトウェアによって画像送信装置を実現した場合には、コンピュータのメモリ上にバッファ部１０４のデータ格納部２１０２が確保されることになるが、上述のようなバッファサイズの最適化機能を組み込むことにより、メモリの使用量を必要分だけにとどめることが可能となる。
【００５８】
次に画像受信装置について述べる。画像受信装置でも前述の画像送信装置と同様の手法が利用可能である。
【００５９】
図２０に画像受信装置の基本構成図を示す。
送信側からの符号化データ１６３１は符号化データ受信部１６０１で受信され、符号化データ１６３２として画像復号化部１６０２に入力される。画像復号化部１６０２では入力された符号化データ１６３２を復号し、画像信号１６３３を再生する。画像復号化部１６０２から出力された画像信号１６３３は画像出力部１６０３に入力され、画面に表示されたり、記憶媒体に記録されたりする。符号化データ受信部１６０１は、図示のように、受信部１８０１、バッファ部１８０２、パケット復号部１８０３から構成される。受信部１８０１では送信側から送信されたデータ１６３１を受信し、そのデータ受信部１８０１から出力する。バッファ部１８０２では受信部１８０１から出力された受信データ１８３１を入力し、一時蓄積を行いパケット復号部１８０３へ出力する。パケット復号部１８０３ではバッファ部１８０２から出力されたパケットデータ１８３２から元の符号化データ１６３２を復号し画像復号化部１６０２へ出力する。
【００６０】
受信部１８０１、バッファ部１８０２、パケット復号部１８０３、画像復号化部１６０２、および画像出力部１６０３は、制御部２００１から出力される制御情報２０３１，２０３２，２０３３，２０３４，２０３５を用いて動作を行う。バッファ部１８０２の構成は画像送信装置と同様に図２１のようになる。
【００６１】
すなわち、バッファ部１８０２は、バッファサイズ計算部２１０１とデータ格納部２１０２とから構成されている。バッファサイズ計算部２１０１では、制御部２００１から通知された画像サイズ、パケットサイズ等の制御情報２０３２からバッファ量として適当なサイズを計算する。算出されたバッファサイズ２１３１はデータ格納部２１０２に入力されバッファサイズに基づきデータ格納領域の確保が行われる。その後、受信部１８０１から出力されたパケットデータ１８３１がデータ格納部２１０２に蓄えられるとともに、順次パケット復号部１８０３に対してパケットデータ１８３２を出力していく。
【００６２】
ここで、受信側は初期状態ではどのような画像サイズの画像が送信されてくるか不明な場合がある。ＭＰＥＧ−４のような画像符号化データなどはその符号化データの中に画像サイズ等の情報を含んでいる。そこで、初期状態ではバッファサイズは未定とし、最初のデータを受信、パケット内容を解析してから、バッファサイズを決定する方法も可能である。この方式に対応した構成図を図２２に示す。図２０と異なる点は、画像復号化部１６０２から制御部２００１に対して復号した画像サイズ等のデータ２２３１を通知することが可能となっている点である。これにより、バッファ部１８０２ではまず、初期値のバッファサイズで格納領域を確保し、その後受信したデータを復号することにより判明した画像サイズ等のデータで再度バッファの格納領域を決定し動作する。
【００６３】
（第３の実施形態の効果）
バッファサイズを、伝送する画像サイズ（解像度）に合わせて適応的に変更することで、メモリ等の資源を有効活用することが可能である。例えば、ＮＴＳＣのＴＶサイズ（７２０画素×４８６画素）で画像を伝送する場合と、非常に小さなＱＣＩＦ（１７６画素×１４４画素）で画像を伝送する場合で同じバッファ量を確保していてはＱＣＩＦの場合は無駄になる。特に、携帯電話やＰＤＡなどのようにメモリ容量の小さな機器などで動作させることを考える場合この方法は有効である。
【００６４】
以上、各実施形態に分けてその機能及び動作について説明したが、実施形態１〜３は適宜組み合わせて利用することができる。また、各実施形態の画像送信装置／画像受信装置の機能はコンピュータプログラムによって実現することもでき、そのコンピュータプログラムをコンピュータ読み取り可能な記憶媒体に記憶しておき、その記憶媒体からコンピュータプログラムを読み取ってＣＰＵに実行させることにより、通常のコンピュータ上で本実施形態と同様の効果を容易に得ることが可能となる。
【００６５】
なお、本発明は、上記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題の少なくとも１つが解決でき、発明の効果の欄で述べられている効果の少なくとも１つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【００６６】
【発明の効果】
以上説明したように、本発明によれば、パケットデータそれぞれを少なくとも予め決められた所定間隔以上空けて送信することにより、受信側におけるデータ損失を少なくすることができる。また、効率的に優先度を設定することでシステム全体を効率的に動作させることも可能となる。さらに、メモリの使用量を必要分だけにとどめることが可能となる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る画像送信装置の構成を示すブロック図。
【図２】同第１実施形態の画像送信装置に設けられている遅延発生部の構成を示すブロック図。
【図３】従来型のパケット送信間隔と同第１実施形態の画像送信装置のパケット送信間隔を示す図。
【図４】同第１実施形態の画像送信装置によるデータ変換過程と処理時間との関係を示す図。
【図５】従来型のデータ変換過程と処理時間との関係を示した図。
【図６】同第１実施形態の画像送信装置によるデータ変換過程と処理時間との関係の別の例を示す図。
【図７】同第１実施形態の画像送信装置に適用される符号化データ送信部の第２の構成例を示すブロック図。
【図８】同第１実施形態の画像送信装置に適用される符号化データ送信部の第３の構成例を示すブロック図。
【図９】同第１実施形態の画像送信装置の変形例を示すブロック図。
【図１０】同第１実施形態の画像送信装置の他の変形例を示すブロック図。
【図１１】本発明の第２実施形態に係る画像送信装置の構成を示すブロック図。
【図１２】同第２実施形態の画像送信装置における優先度割当方法の第１の例を示すフローチャート。
【図１３】同第２実施形態の画像送信装置における優先度割当方法の第２の例を示すフローチャート。
【図１４】同第２実施形態の画像送信装置における優先度割当方法の第３の例を示すフローチャート。
【図１５】同第２実施形態の画像送信装置の優先度割当方法を適用した画像受信装置の構成を示すブロック図。
【図１６】図１５の画像受信装置に設けられる符号化データ受信部の構成を示すブロック図。
【図１７】図１５の画像受信装置における優先度割当方法の例を示すフローチャート。
【図１８】本発明の第３実施形態に係る画像送信装置の構成を示すブロック図。
【図１９】同第３実施形態の画像送信装置に設けられるバッファ部の構成を示すブロック図。
【図２０】同第３実施形態の画像送信装置におけるバッファサイズ割り当て方法を適用した画像受信装置の構成を示すブロック図。
【図２１】図２０の画像受信装置に設けられるバッファ部の構成を示すブロック図。
【図２２】図２０の画像受信装置の他の構成例を示すブロック図。
【図２３】従来の画像送信装置の基本構成図。
【図２４】全フレーム符号化とフレーム間引き符号化の説明図。
【図２５】全フレーム符号化とフレーム間引き符号化のデータ量を示す図。
【図２６】バッファ未使用とバッファ使用の画像送信装置における伝送レートの推移を示す図。
【図２７】従来のパケット送信間隔による受信失敗の例を示す図。
【図２８】従来の符号化データ送信部の構成図。
【図２９】従来のバッファを利用した画像送信装置の出力フレームの例を示す図。
【図３０】従来のバッファを利用した場合の総遅延時間を表した図。
【符号の説明】
１０１…画像入力部
１０２…画像符号化部
１０３…パケット構成部
１０４，１８０２…バッファ部
１０５…遅延発生部
１０６…送信部
１０７…符号化データ送信部
２０１…遅延部
２０２…遅延計算部
２０３…タイマ部
２３１…パケット構成情報
９０１…符号化データ蓄積部
１００１…バケットデータ蓄積部
１１０１，１６０４，１９０１，２００１…制御部
１６０１…符号化データ受信部
１６０２…画像復号化部
１６０３…画像出力部
１８０１…受信部
１８０３…パケット復号部
２１０１…バッファサイズ計算部
２１０２…データ格納部
【発明の属する技術分野】
本発明は画像伝送のためのシステムおよび方法に関し、特に符号化された動画像／静止画像をＩＳＤＮやインターネット等の有線通信網、あるいはＰＨＳや衛星通信等の無線通信網を用いて伝送するシステムおよび方法に関する。
【０００２】
【従来の技術】
近年、画像をはじめとする各種情報のディジタル符号化技術および広帯域ネットワーク技術の進展により、これらを利用したアプリケーションの開発が盛んになっており、圧縮符号化した画像などを、通信網を利用して伝送するシステムが開発されている。
【０００３】
特に近年、インターネット・イントラネットの普及により、データをパケット化して送受信するアプリケーションやシステムが増加してきている。パケット化は通信路の帯域を効率よく複数のユーザで共有するための非常に有効な手段となっている。インターネット・イントラネットでパケットデータを送受信するプロトコルとしてはＴＣＰ／ＩＰやＵＤＰ／ＩＰなどが存在する。ＴＣＰ／ＩＰは再送などの枠組みが組み込まれていることから誤りなどに強く、多少時間がかかっても正しくデータを受信したいダウンロード型のアプリケーションで有効である。これに対し、ＵＤＰ／ＩＰは再送の枠組みがない反面、再送などにかかる遅延がなく、リアルタイム性を求められるアプリケーションには非常に有効である。
【０００４】
通常の動画像通信の場合、画像データは非常に膨大なデータ量であり、ネットワークの帯域に収まらない場合がほとんどである。その場合、画像データを符号化し、データ量を小さくしてから伝送するという手法が用いられる。動画像信号の圧縮符号化技術としては動き補償、離散コサイン変換（ＤＣＴ）、サブバンド符号化、ピラミッド符号化、可変長符号化等の技術やこれらを組み合わせた方式が開発されている。動画像符号化の国際標準方式としてはＩＳＯ ＭＰＥＧ−１，ＭＰＥＧ−２，ＩＴＵ−Ｔ Ｈ．２６１，Ｈ．２６２，Ｈ．２６３が存在し、また動画像、音声・オーディオ信号を圧縮した符号列や他のデータを多重化する国際標準方式としてはＩＳＯ ＭＰＥＧシステム、ＩＴＵ−Ｔ Ｈ．２２１，Ｈ．２２３が存在する。
【０００５】
従来、動画像データをインターネット・イントラネット上で伝送する場合、図２３に示すような構成が用いられていた。画像入力部１０１から出力された画像データ１３１を画像符号化部１０２において符号化しネットワークの帯域に合った符号化データ１３２に変換される。符号化データ１３２は符号化データ送信部１０７において、指定された受信先へ送信データ１３６として送信されることとなる。ここで画像符号化部１０２では、ネットワークの帯域に合った形でデータを符号化する必要がある。通常、動画像データのフレームレートはＮＴＳＣで２９．９７ｆｐｓ、ＰＡＬで２５ｆｐｓとなっている。しかし、このフレームレートそのままでは既存の符号化方式を用いてもインターネットやイントラネットといった回線の帯域では有効な画質を得ることが難しい。そこで、図２４のように、全フレームを符号化するのではなくフレームを間引きながら符号化して、データ量を抑える方式を取ることが多い。
【０００６】
しかしこのようなフレーム間引き符号化方式を用いると、画像符号化部１０２から出力される符号化データ１３２の出力タイミングが図２５に示すように非常に偏ったものとなる。符号化データ送信部１０７で符号化データ１３２をそのまま受信側に送信すると、全体ではネットワークの帯域以下のデータでも一部区間を見ると帯域を越えているため、正しく送受信できなくなる。そこで従来は、図２６に示すようなバッファ制御を用いて、必要な伝送レートが平滑化するように制御していた。バッファを含む符号化データ送信部１０７の基本構成を図２８に示す。
【０００７】
画像符号化部１０２から出力された符号化データ１３２はパケット構成部１０３においてある長さのパケット１３３に分割された後にバッファ部１０４に蓄えられる。送信部１０５では、このバッファ部１０４からデータ１３４を順次取り出し、受信側へ送信する。この手法をとることによりネットワークの帯域に合わせた送信を行うことが可能となる。
【０００８】
ネットワークの帯域に合わせるためのバッファ制御などを行う場合、送信部によるデータの送出量が画像符号化部からのデータの出力量よりも少ないと、バッファがデータで一杯になった状態になってしまう。最悪は、バッファに入りきらないデータが発生してしまい、バッファあふれの状態になってしまう。従来はバッファが一杯になった場合は、画像符号化部を一旦停止し、送信部がデータを出力しバッファに空き容量が出来た時点で画像符号化部を再度動作させるという手順をとることでバッファあふれの問題を回避している。
【０００９】
【発明が解決しようとする課題】
従来では伝送路の帯域に合わせるためにバッファ制御を行っていた。しかし、バッファ制御を利用しても、パケットの送信間隔には粗密な状態が発生してしまう。密な部分では、図２７に示すようにパケットの送信間隔が狭くなるので、たとえデータ量が少なくネットワークの帯域は満足していても受信側のバッファやネットワークの途中のルータなどのバッファあふれによるデータ損失が発生する。
【００１０】
また、送信側におけるバッファあふれの問題に関しては、従来方式では画像符号化部を一旦停止させるなどの処理によってデータの損失につながるようなあふれ状態は未然に防いでいる。しかし、この場合、バッファは常に一杯の状態で使用されることが多くなり、画像符号化部が動作したり停止したりと安定的に動作できない状態になってしまう。これでは、フレーム間引き符号化を行った際、図２９に示すように、フレームの間隔が一定でなくなり、非常に見ずらい画像となってしまう。さらに、バッファの中にデータが入っている時間が多くなるため、図３０に示されているように、取り込んだ画像が受信側に届くまで非常に時間がかかることになる。これはリアルタイムコミュニケーションにおいては致命的な問題となる。
【００１１】
本発明は上述の事情を考慮してなされたものであり、受信側のバッファやネットワークの途中のルータなどのバッファあふれによるデータ損失を防止でき、またバッファの状態を考慮した効率のよいシステム動作を実現することが可能な画像伝送システムを提供することを目的とする。
【００１２】
【課題を解決するための手段】
上述の課題を解決するため、本発明の画像伝送システムは、画像信号を入力する画像入力手段と、前記画像入力手段によって入力された入力画像信号を符号化する画像符号化手段と、前記画像符号化手段によって符号化されたデータをパケット化して送信する符号化データ送信手段であって、パケット化されたデータを蓄えるバッファと、前記バッファに蓄えられたパケットデータそれぞれが少なくとも予め決められた所定間隔以上空けて送信されるように、パケットデータ毎にその送信タイミングを遅延させるための遅延手段とを含む符号化データ送信手段と、前記バッファの蓄積データ量に応じて、前記画像入力手段、前記画像符号化手段および前記符号化データ送信手段それぞれの動作処理の優先度を変化させて前記入力画像信号のフレームレートを変化させる手段とを具備することを特徴とする。
【００１３】
この画像伝送システムにおいては、符号化データ送信手段にパケットデータを遅延させて出力するための遅延手段が設けられており、この遅延手段による遅延時間の設定により、パケットデータに所定の送信時間間隔を設定することが可能となる。よって、パケットデータそれぞれを少なくとも予め決められた所定間隔以上空けて送信することができるので、非常に短い送信間隔でのパケット送出を抑制することが可能となり、受信側におけるデータ損失を少なくすることができる。
【００１６】
また、前記バッファの蓄積データ量に応じて、前記画像入力手段、前記画像符号化手段および前記符号化データ送信手段それぞれの動作処理の優先度を変化させて前記入力画像信号のフレームレートを変化させることにより、バランス良く各処理を実行することが可能となる。よって、フレーム間引きの偏りなどの問題を解消できると共に、バッファにあまりデータが溜まらないように各処理を制御することで、画像伝送のリアルタイム性の向上を図ることも可能となる。特に、本画像伝送システムをマイクロプロセッサベースやソフトウェアによって実現する場合には、各処理の優先度はシステムリソースの割り当てによって容易に実現できる。
【００１７】
また、前記入力画像信号の画像サイズに基づいて前記バッファのバッファサイズを算出するバッファサイズ算出手段と、前記バッファサイズ算出手段によって算出されたバッファサイズに基づいて、前記バッファとして使用されるデータ格納領域をメモリ上に確保する手段とをさらに具備することにより、メモリの使用量についても必要な分だけに留めることが可能となる。
【００１８】
【発明の実施の形態】
（第１の実施形態）
図１は本発明の第１の実施形態に係る画像送信装置の基本構成図である。この画像送信装置は入力画像信号を符号化し、その符号化された画信号を有線通信網あるいは無線通信網を用いて伝送するためのものであり、図示のように、画像入力部１０１、画像符号化部１０２、パケット構成部１０３、バッファ部１０４、遅延発生部１０５、および送信部１０６を備えている。
【００１９】
画像入力部１０１より入力された動画像／静止画像などの画像信号１３１は画像符号化部１０２で符号化される。画像符号化部１０２により符号化された符号化データ１３２はパケット構成部１０３に入力される。パケット構成部１０３では、符号化データ１３２をある決まった規則にしたがいヘッダ情報を付加しパケット化する。パケット構成部１０３で構成されたパケットデータ１３３はバッファ部１０４に入力され、そこに一時的に蓄えられる。
【００２０】
バッファ部１０４から出力されたパケットデータ１３４は遅延発生部１０５に入力され、遅延発生部１０５により決定された時間だけ遅延される。遅延発生部１０５により遅延されたパケットデータ１３５は送信部１０６に入力され、有線通信網あるいは無線通信網を介して送信データ１３６として受信側に送信される。以下では場合により、パケット構成部１０３、バッファ部１０４、遅延発生部１０５、送信部１０６を合わせて符号化データ送信部１０７と呼ぶ。この符号化データ送信部１０７は、符号化データをパケット化し、パケットデータ毎にその送信タイミングを遅延発生部１０５を用いて遅延させることにより、パケットデータそれぞれを少なくとも予め決められた所定間隔以上空けて送信するためのものである。
【００２１】
図２に遅延発生部１０５の詳細な構成図を示す。
【００２２】
遅延発生部１０５は、図示のように、遅延部２０１、遅延量計算部２０２、およびタイマ部２０３から構成されている。バッファ部１０４から出力されたパケットデータ１３４は遅延部２０１に入力される。遅延部２０１では、入力されたパケットデータ１３４のデータサイズ、パケットデータの時間情報等のパケット構成情報２３１を遅延量計算部２０２に通知する。遅延量計算部２０２では遅延部２０１から通知されたパケット構成情報２３１から遅延量２３２を計算し、遅延部２０１に計算結果を遅延量２３２として通知する。遅延部２０１では遅延量計算部２０２から通知された遅延量２３２を元にタイマ部２０３からの時刻情報２３３と比較し、送信部１０６へのパケットデータ１３５の出力を一時的に中断し遅延させる。
【００２３】
遅延量計算部２０２ではパケットデータのサイズとあらかじめ設定されているネットワークの帯域、および最低遅延時間とから遅延時間を計算する。最低遅延時間は、パケットデータの最小送信時間間隔に相当するものである。
【００２４】
例えばパケットデータサイズをＮ（ｂｙｔｅ）、ネットワークの帯域（伝送レート）をＲ（ｂｐｓ）、最低遅延時間ｔ（ｍｓｅｃ）とすると、以下に数１として示す数式１により求められるＴ（ｍｓｅｃ）が、遅延量として計算される。
【００２５】
【数１】
この式を利用して遅延時間を求めることで、ネットワークの帯域が非常に余裕がある場合など（（Ｎ＊８／Ｒ）＊１０００が非常に小さく０に近くなる場合など）でも最低遅延時間ｔにより連続してパケットが送出されることがなくなり、受信側へ安定したデータ伝送が可能となる。すなわち、（Ｎ＊８／Ｒ）＊１０００が最低遅延時間ｔ以上であれば、遅延量Ｔ（ｍｓｅｃ）は（Ｎ＊８／Ｒ）＊１０００となり、（Ｎ＊８／Ｒ）＊１０００が最低遅延時間ｔよりも小さい場合には、遅延量Ｔ（ｍｓｅｃ）は最低遅延時間ｔとなる。
【００２７】
また、ネットワークの帯域については、あらかじめ設定された値を用いる他に、ＲＴＰ／ＲＴＣＰ（Real Time Transport Protocol／Real Time Control Protocol）などのプロトコルを利用する等で実際の帯域を知ることが可能である。これらの値からＲを動的に変化させて計算することで、さらにネットワークの状況に応じた遅延時間の制御を行うことも可能である。
【００２８】
図３に本実施形態でのパケット送出間隔と従来例との比較の図を示す。従来型ではパケットの送信間隔が粗密な状態で密な部分では受信側でパケットロスを起こす可能性が存在した。これを本実施形態を採用し非常に短い送信間隔でのパケット送出を抑制することで、問題点を解決している。つまり、本実施形態では、バッファ部１０４に蓄積されたパケットを待ち時間をおかずに連続して送信するのではなく、遅延発生部１０５による遅延時間の制御により、パケットデータの送信時間間隔を最低遅延時間ｔ以上に保ちながら送信しているので、粗密の少ない安定したパケットデータ送信が可能となるのである。
【００２９】
図４に本実施形態での画像データの変換過程とそれに伴う処理時刻の推移について示す。これは、パケットそれぞれの送信タイミング間に、ある固定間隔だけ時間を空け、連続してパケットが送出されないようにしている例であり、符号化データから生成されたパケットデータ（ａ）〜（ｄ）はそれぞれパケット送出間隔Δｔだけ時間を空けて送信される。図５が同様に従来型の例を示した図であり、パケット送出間隔はゼロであり、待ち時間を置かずに連続的に送信される。さらに図６が前述の数式１を用いてパケット送出間隔を制御した場合の例であり、パケットデータ（ａ）〜（ｄ）それぞれのデータサイズの違いにより、それぞれ最適なパケット送出間隔Δｔa ，Δｔb，Δｔc，Δｔdが設定される。なお、図４は、数式１のＲを無限大にした場合の特殊解と位置付けることも可能であり、本実施形態の範囲で説明付けることが可能である。
【００３０】
（第１の実施形態の効果）
本実施形態を用いることで伝送ネットワークの帯域と受信側の処理速度双方に適応したデータ送信間隔を実現することが可能となる。これにより、帯域、処理速度等の理由によるデータ損失や誤りといった現象を防ぐことが可能となり、受信側での再生画像の品質低下を防ぐ効果がある。
【００３１】
（第１の実施形態の変形例）
図１においてパケット構成部１０３、バッファ部１０４、遅延発生部１０５の構成順序は、特にこの接続に限定されるものではない。例えば、図７に示すように画像符号化部１０２から出力された符号化データ１３２をバッファ部１０４で保持し、その後、遅延発生部１０５を経てパケット構成部１０３に入力し、送信部１０６へ出力する構成でも本実施形態の効果を得ることが可能である。また、図８に示すようにバッファ部１０４の出力をパケット構成部１０３に入力後、遅延発生部１０５を経て送信部１０６へ出力される構成でも同様である。図１、図７、図８のいずれの場合でも、バッファ部１０４に蓄積されるのは符号化後のデータである。
【００３２】
また、図９に示すように、予め符号化されたデータが符号化データ蓄積部９０１に存在し、それを前述の図１の実施形態と同様にパケット構成部１０３に入力し、その後バッファ部１０４で蓄積、遅延発生部１０５により遅延を生じさせ、送信部１０６から送信するというシステムを構成することも可能である。この例では符号化データを蓄積していたが、他の方法として、図１０に示すように、符号化データをパケット化した後のパケットデータをパケットデータ蓄積部１００１に予め蓄積しておき、それをバッファ部１０４、遅延発生部１０５、送信部１０６を介して送信するというシステム構成を利用しても良い。
【００３３】
（第２の実施形態）
図１１は本発明の第２の実施形態に係る画像送信装置の基本構成図である。ここでは、第１の実施形態と同一部分には同一の符号を付して説明を簡略化し、第１の実施形態と異なる部分を中心に説明することにする。
【００３４】
画像入力部１０１より入力された画像信号１３１は画像符号化部１０２で符号化される。画像符号化部１０２により符号化された符号化データ１３２は符号化データ送信部１０７に入力される。符号化データ送信部１０７では、入力された符号化データ１０７を受信側に送信する。画像入力部１０１および画像符号化部１０２、符号化データ送信部１０７は、それぞれの処理量等の負荷情報１１３１，１１３２，１１３３を制御部１１０１に入力する。制御部１１０１では画像入力部１０１、画像符号化部１０２、符号化データ送信部１０７より入力された負荷情報１１３１，１１３２，１１３３から画像入力部１０１、画像符号化部１０２、符号化データ送信部１０７の優先度を決定する。
【００３５】
制御部１１０１で決定された画像入力部１０１、画像符号化部１０２、符号化データ送信部１０７の優先度情報１１３４，１１３５，１１３６はそれぞれ画像入力部１０１、画像符号化部１０２、符号化データ送信部１０７に出力される。画像入力部１０１、画像符号化部１０２、符号化データ送信部１０７では入力された優先度情報１１３４，１１３５，１１３６に基づき動作を行う。
【００３６】
次に制御部１１０１による優先度の割当方法について述べる。これはどのような方法でも用いることは可能であるが、効果的な例について以下に述べる。
【００３７】
まず、画像入力部１０１、画像符号化部１０２、符号化データ送信部１０７に対し全て同じ優先度で動作を開始する。画像入力部１０１、画像符号化部１０２、符号化データ送信部１０７それぞれの負荷情報１１３１，１１３２，１１３３は例えば画像入力部１０１については入力画像のフレームレート（ｆｐｓ）を、画像符号化部１０２も符号化するフレームレート（ｆｐｓ）、符号化データ送信部１０７ではバッファ部１０４に蓄えられているデータ量を用いることとする。
【００３８】
ただし、画像符号化部１０２のフレームレートは画像入力部１０１のフレームレートが下がると自動的に下がることから、画像入力部１０１の負荷情報１１３１と優先度１１３４で、画像入力部１０１および画像符号化部１０２の両方を制御しているのと同等とみなすことができる。よって、以下では画像入力部１０１および符号化データ送信部１０７の優先度の設定方法について述べるものとする。
【００３９】
リアルタイム通信の場合、遅延というのが非常に問題になることから、バッファ部１０４内にデータがあまり溜まらない状態にすることが望ましい。そこで、符号化データ送信部１０７のバッファ部１０４に存在するデータ数がある値を超えた場合に、優先度に変化をつける制御を行う。基本的な制御フローを図１２に示す。
【００４０】
まずステップ１３０１でバッファ部１０４内のデータ数がある値Ｌを超えたかどうかの判定を行う。超えている場合はステップ１３０２で符号化データ送信部の優先度を上げ、反対に画像入力部の優先度を下げ、バッファ部１０４からデータがなくなりやすく制御を行う。超えていない場合は、特に優先度の変更はしない。例えば、最初どの部の負荷が大きいかわからないようなシステムでは、本制御方式を利用することで、適切な優先度の設定が可能となる。
【００４１】
次に図１３に一度変化させた優先度を元に戻すステップを組み込んだ方式のフローを示す。まずステップ１３０１でバッファ部１０４内のデータ数がある値Ｌを超えているかどうかの判定を行う。超えていた場合にはステップ１３０２で前述の方法と同様に符号化データ送信部１０７の優先度を上げ、反対に画像入力部１０１の優先度を下げる制御を行う。超えていなかった場合には、ステップ１４０１で符号化データ送信部１０７、画像入力部１０１を同一または初期値にする。この方法ではバッファ部１０４にデータが溜まりすぎている状態では符号化データ送信部１０７の優先度を上げることで、バッファ溜まりを解消するように動作し、バッファ部１０４に余裕が出てきた場合には、逆にフレームレートを上げ品質を高める方向に動作するようにできる。特に、システムの負荷がいつも一定ではなく、上下するようなシステムに対して有効である。
【００４２】
図１４は図１３の方式を発展させた制御方法である。図１３の制御方法はバッファ部１０４側の負荷にだけ対応し、それ以外は初期値や均等な優先度で動作していた。それに対し図１４の方法では、画像入力部１０４側をより優先度を高くする制御も可能となる。この方式は、まずステップ１３０１でバッファ部１０４内のデータ数がＬ１を超えているかどうかの判定を行う。超えていた場合、ステップ１３０２で符号化データ送信部１０７の優先度を上げ、反対に画像入力部１０１の優先度を下げる制御を行う。反対にステップ１３０１でバッファ部１０４内のデータ数がＬ１を超えていない場合、ステップ１５０１に進む。ステップ１５０１では、バッファ部１０４内のデータ数がＬ２以下かどうかの判定を行う。Ｌ２以下の場合には、バッファ部１０４に余裕が出てきたと判定し、符号化データ送信部１０７の優先度を下げ、反対に画像入力部１０１の優先度を上げる制御を行う。もし、Ｌ２を超えていた場合には、まだバッファ部１０４に余裕がないことから、現状を維持する。
【００４３】
このように、バッファ部１０４の蓄積データ量に応じて、画像入力部１０１、画像符号化部１０２、符号化データ送信部１０７のどの処理を優先的に実行させるかを制御することにより、バランス良く各処理を実行することが可能となる。よって、フレーム間引き符号化を行う場合でも、間引きフレームの偏りなどの問題を解消できると共に、バッファ部１０４にあまりデータが溜まらないように各処理を制御することで、画像伝送のリアルタイム性の向上を図ることが可能となる。
【００４４】
優先度の制御は画像入力部１０１、画像符号化部１０２、符号化データ送信部１０７それぞれの動作処理速度を可変設定したり、あるいは本システムがマイクロプロセッサベースやコンピュータプログラムなどによって実現される場合には、画像入力部１０１、画像符号化部１０２、符号化データ送信部１０７それぞれに対するリソースの割り当てによって各部の動作処理の優先度を制御することができる。
【００４５】
図１５に本発明を受信側のシステムに適用した場合の構成図を示す。
【００４６】
送信側からの符号化データ１６３１は符号化データ受信部１６０１で受信され、符号化データ１６３２として画像復号化部１３０２に入力される。画像復号化部１６０２では入力された符号化データ１６３２を復号し、画像信号１６３３を再生する。画像復号化部１６０２から出力された画像信号１６３３は画像出力部１６０３に入力され、画面に表示されたり、記憶媒体に記録されたりする。その際、符号化データ受信部１６０１および画像復号化部１６０２、画像出力部１６０３は、それぞれの処理量等の負荷情報１６３４，１６３５，１６３６を制御部１６０４に入力する。制御部１６０４では符号化データ受信部１６０１、画像復号化部１６０２、画像出力部１６０３より入力された負荷情報１６３４，１６３５，１６３６から符号化データ受信部１６０１、画像復号化部１６０２、画像出力部１６０３の優先度を決定する。制御部１６０４で決定された符号化データ受信部１６０１、画像復号化部１６０２、画像出力部１６０３の優先度情報１６３７，１６３８，１６３９はそれぞれ符号化データ受信部１６０１、画像復号化部１６０２、画像出力部１６０３に出力される。符号化データ受信部１６０１、画像復号化部１６０２、画像出力部１６０３では入力された優先度情報１６３７，１６３８，１６３９に基づき動作を行う。
【００４７】
優先度の設定方法については、前述の画像送信装置と同様に行うことが可能である。図１６に示すように符号化データ受信部１６０１では、受信部１８０１が受信したパケットデータ１８３１を一旦バッファ部１８０２に蓄積し、パケット復号部１８０３で元の符号化データ１６３２に復元した後、画像復号化部１６０２に出力する。これにより、バッファ部１８０２のところで画像送信装置と同様のバッファ溜まりの問題が発生する。そこで、画像受信装置の場合には図１７で示すようなフローで制御を行う。
【００４８】
まずステップ１７０１でバッファ部１８０２内のデータ数がある値Ｌを超えたかどうかの判定を行う。超えている場合はステップ１７０２で符号化データ受信部１６０１の優先度を下げ、反対に画像復号化部１６０２の優先度を上げ、バッファ部１８０２からデータがなくなりやすく制御を行う。超えていない場合は、特に優先度の変更はしない。
【００４９】
（第２の実施形態の効果）
本実施形態を用いることでシステム全体として最適なパフォーマンスを得ることができるようになる。特にパーソナルコンピュータ上で実行されるソフトウェアを用いて画像送信／画像受信を行う場合には、各処理に対するＣＰＵの割り当てを最適化することが可能となる。
【００５０】
（第３の実施形態）
図１８は本発明の第３の実施形態に係る画像送信装置の基本構成図である。ここでは、第１の実施形態と同一部分には同一の符号を付して説明を簡略化し、第１の実施形態と異なる部分を中心に説明することにする。
【００５１】
画像入力部１０１より入力された画像信号１３１は画像符号化部１０２で符号化される。画像符号化部１０２により符号化された符号化データ１３２はパケット構成部１０３に入力される。パケット構成部１０３では、符号化データ１３２をある決まった規則にしたがいヘッダ情報を付加しパケット化する。パケット構成部１０３で構成されたパケットデータ１３３はバッファ部１０４に入力されパケットデータ１３３が一時的に蓄えられる。バッファ部１０４から出力されたパケットデータ１３４は遅延発生部１０５に入力され、遅延発生部１０５により決定された時間だけ遅延される。遅延発生部１０５により遅延されたパケットデータ１３５は送信部１０６に入力され、受信側に送信される。
【００５２】
画像入力部１０１、画像符号化部１０２、パケット構成部１０３、バッファ部１０４、遅延発生部１０５、送信部１０６は、制御部１９０１から出力される制御情報１９３１，１９３２，１９３３，１９３４，１９３５，１９３６を用いて動作を行う。図１９にバッファ部１０４の詳細な構成図を示す。
【００５３】
バッファ部１０４はバッファサイズ計算部２１０１とデータ格納部２１０２とから構成されている。バッファサイズ計算部２１０１では、制御部１９０１から通知された画像サイズ、パケットサイズ等の制御情報１９３４からバッファ量として適当なサイズを計算する。算出されたバッファサイズ２１３１はデータ格納部２１０２に入力されバッファサイズ２１３１に基づきデータ格納領域の確保が行われる。その後、パケット構成部１０３から出力されたパケットデータ１３３がデータ格納部に蓄えられるとともに、順次遅延発生部１０５に対してパケットデータ１３４を出力していく。
【００５４】
ここで述べるバッファサイズというのはデータ格納部でパケットデータをいくつ保存することができるかという値である。ここでは、Ｎb 個と定義する。ビットレートＢＲ（ｂｐｓ）、パケットサイズＳp （ｂｙｔｅ）、バッファに蓄える最大時間Ｔ（ｓｅｃ）とした場合、Ｎb は、以下に数２として示す式により求められる。
【００５５】
【数２】
ここでαはシステムに余裕をもたせるための値で、任意に設定することが可能である。
【００５７】
例えばコンピュータ上で実行されるソフトウェアによって画像送信装置を実現した場合には、コンピュータのメモリ上にバッファ部１０４のデータ格納部２１０２が確保されることになるが、上述のようなバッファサイズの最適化機能を組み込むことにより、メモリの使用量を必要分だけにとどめることが可能となる。
【００５８】
次に画像受信装置について述べる。画像受信装置でも前述の画像送信装置と同様の手法が利用可能である。
【００５９】
図２０に画像受信装置の基本構成図を示す。
送信側からの符号化データ１６３１は符号化データ受信部１６０１で受信され、符号化データ１６３２として画像復号化部１６０２に入力される。画像復号化部１６０２では入力された符号化データ１６３２を復号し、画像信号１６３３を再生する。画像復号化部１６０２から出力された画像信号１６３３は画像出力部１６０３に入力され、画面に表示されたり、記憶媒体に記録されたりする。符号化データ受信部１６０１は、図示のように、受信部１８０１、バッファ部１８０２、パケット復号部１８０３から構成される。受信部１８０１では送信側から送信されたデータ１６３１を受信し、そのデータ受信部１８０１から出力する。バッファ部１８０２では受信部１８０１から出力された受信データ１８３１を入力し、一時蓄積を行いパケット復号部１８０３へ出力する。パケット復号部１８０３ではバッファ部１８０２から出力されたパケットデータ１８３２から元の符号化データ１６３２を復号し画像復号化部１６０２へ出力する。
【００６０】
受信部１８０１、バッファ部１８０２、パケット復号部１８０３、画像復号化部１６０２、および画像出力部１６０３は、制御部２００１から出力される制御情報２０３１，２０３２，２０３３，２０３４，２０３５を用いて動作を行う。バッファ部１８０２の構成は画像送信装置と同様に図２１のようになる。
【００６１】
すなわち、バッファ部１８０２は、バッファサイズ計算部２１０１とデータ格納部２１０２とから構成されている。バッファサイズ計算部２１０１では、制御部２００１から通知された画像サイズ、パケットサイズ等の制御情報２０３２からバッファ量として適当なサイズを計算する。算出されたバッファサイズ２１３１はデータ格納部２１０２に入力されバッファサイズに基づきデータ格納領域の確保が行われる。その後、受信部１８０１から出力されたパケットデータ１８３１がデータ格納部２１０２に蓄えられるとともに、順次パケット復号部１８０３に対してパケットデータ１８３２を出力していく。
【００６２】
ここで、受信側は初期状態ではどのような画像サイズの画像が送信されてくるか不明な場合がある。ＭＰＥＧ−４のような画像符号化データなどはその符号化データの中に画像サイズ等の情報を含んでいる。そこで、初期状態ではバッファサイズは未定とし、最初のデータを受信、パケット内容を解析してから、バッファサイズを決定する方法も可能である。この方式に対応した構成図を図２２に示す。図２０と異なる点は、画像復号化部１６０２から制御部２００１に対して復号した画像サイズ等のデータ２２３１を通知することが可能となっている点である。これにより、バッファ部１８０２ではまず、初期値のバッファサイズで格納領域を確保し、その後受信したデータを復号することにより判明した画像サイズ等のデータで再度バッファの格納領域を決定し動作する。
【００６３】
（第３の実施形態の効果）
バッファサイズを、伝送する画像サイズ（解像度）に合わせて適応的に変更することで、メモリ等の資源を有効活用することが可能である。例えば、ＮＴＳＣのＴＶサイズ（７２０画素×４８６画素）で画像を伝送する場合と、非常に小さなＱＣＩＦ（１７６画素×１４４画素）で画像を伝送する場合で同じバッファ量を確保していてはＱＣＩＦの場合は無駄になる。特に、携帯電話やＰＤＡなどのようにメモリ容量の小さな機器などで動作させることを考える場合この方法は有効である。
【００６４】
以上、各実施形態に分けてその機能及び動作について説明したが、実施形態１〜３は適宜組み合わせて利用することができる。また、各実施形態の画像送信装置／画像受信装置の機能はコンピュータプログラムによって実現することもでき、そのコンピュータプログラムをコンピュータ読み取り可能な記憶媒体に記憶しておき、その記憶媒体からコンピュータプログラムを読み取ってＣＰＵに実行させることにより、通常のコンピュータ上で本実施形態と同様の効果を容易に得ることが可能となる。
【００６５】
なお、本発明は、上記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題の少なくとも１つが解決でき、発明の効果の欄で述べられている効果の少なくとも１つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【００６６】
【発明の効果】
以上説明したように、本発明によれば、パケットデータそれぞれを少なくとも予め決められた所定間隔以上空けて送信することにより、受信側におけるデータ損失を少なくすることができる。また、効率的に優先度を設定することでシステム全体を効率的に動作させることも可能となる。さらに、メモリの使用量を必要分だけにとどめることが可能となる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る画像送信装置の構成を示すブロック図。
【図２】同第１実施形態の画像送信装置に設けられている遅延発生部の構成を示すブロック図。
【図３】従来型のパケット送信間隔と同第１実施形態の画像送信装置のパケット送信間隔を示す図。
【図４】同第１実施形態の画像送信装置によるデータ変換過程と処理時間との関係を示す図。
【図５】従来型のデータ変換過程と処理時間との関係を示した図。
【図６】同第１実施形態の画像送信装置によるデータ変換過程と処理時間との関係の別の例を示す図。
【図７】同第１実施形態の画像送信装置に適用される符号化データ送信部の第２の構成例を示すブロック図。
【図８】同第１実施形態の画像送信装置に適用される符号化データ送信部の第３の構成例を示すブロック図。
【図９】同第１実施形態の画像送信装置の変形例を示すブロック図。
【図１０】同第１実施形態の画像送信装置の他の変形例を示すブロック図。
【図１１】本発明の第２実施形態に係る画像送信装置の構成を示すブロック図。
【図１２】同第２実施形態の画像送信装置における優先度割当方法の第１の例を示すフローチャート。
【図１３】同第２実施形態の画像送信装置における優先度割当方法の第２の例を示すフローチャート。
【図１４】同第２実施形態の画像送信装置における優先度割当方法の第３の例を示すフローチャート。
【図１５】同第２実施形態の画像送信装置の優先度割当方法を適用した画像受信装置の構成を示すブロック図。
【図１６】図１５の画像受信装置に設けられる符号化データ受信部の構成を示すブロック図。
【図１７】図１５の画像受信装置における優先度割当方法の例を示すフローチャート。
【図１８】本発明の第３実施形態に係る画像送信装置の構成を示すブロック図。
【図１９】同第３実施形態の画像送信装置に設けられるバッファ部の構成を示すブロック図。
【図２０】同第３実施形態の画像送信装置におけるバッファサイズ割り当て方法を適用した画像受信装置の構成を示すブロック図。
【図２１】図２０の画像受信装置に設けられるバッファ部の構成を示すブロック図。
【図２２】図２０の画像受信装置の他の構成例を示すブロック図。
【図２３】従来の画像送信装置の基本構成図。
【図２４】全フレーム符号化とフレーム間引き符号化の説明図。
【図２５】全フレーム符号化とフレーム間引き符号化のデータ量を示す図。
【図２６】バッファ未使用とバッファ使用の画像送信装置における伝送レートの推移を示す図。
【図２７】従来のパケット送信間隔による受信失敗の例を示す図。
【図２８】従来の符号化データ送信部の構成図。
【図２９】従来のバッファを利用した画像送信装置の出力フレームの例を示す図。
【図３０】従来のバッファを利用した場合の総遅延時間を表した図。
【符号の説明】
１０１…画像入力部
１０２…画像符号化部
１０３…パケット構成部
１０４，１８０２…バッファ部
１０５…遅延発生部
１０６…送信部
１０７…符号化データ送信部
２０１…遅延部
２０２…遅延計算部
２０３…タイマ部
２３１…パケット構成情報
９０１…符号化データ蓄積部
１００１…バケットデータ蓄積部
１１０１，１６０４，１９０１，２００１…制御部
１６０１…符号化データ受信部
１６０２…画像復号化部
１６０３…画像出力部
１８０１…受信部
１８０３…パケット復号部
２１０１…バッファサイズ計算部
２１０２…データ格納部
Claims (6)
- 画像信号を入力する画像入力手段と、
前記画像入力手段によって入力された入力画像信号を符号化する画像符号化手段と、
前記画像符号化手段によって符号化されたデータをパケット化して送信する符号化データ送信手段であって、パケット化されたデータを蓄えるバッファと、前記バッファに蓄えられたパケットデータそれぞれが少なくとも予め決められた所定間隔以上空けて送信されるように、パケットデータ毎にその送信タイミングを遅延させるための遅延手段とを含む符号化データ送信手段と、
前記バッファの蓄積データ量に応じて、前記画像入力手段、前記画像符号化手段および前記符号化データ送信手段それぞれの動作処理の優先度を変化させて前記入力画像信号のフレームレートを変化させる手段とを具備することを特徴とする画像伝送システム。 - 前記入力画像信号の画像サイズに基づいて前記バッファのバッファサイズを算出するバッファサイズ算出手段と、
前記バッファサイズ算出手段によって算出されたバッファサイズに基づいて、前記バッファとして使用されるデータ格納領域をメモリ上に確保する手段とをさらに具備することを特徴とする請求項１記載の画像伝送システム。 - 前記遅延手段による遅延時間は、前記所定間隔を示す最小遅延時間と、前記パケットデータの送信に使用されるネットワークの帯域と、前記パケットデータのデータサイズとに基づいて決定されることを特徴とする請求項１または請求項２記載の画像伝送システム。
- 符号化された画像信号をパケット化して送信するための画像伝送方法であって、
画像信号を入力する画像入力処理を実行するステップと、
入力された画像信号を間引いて符号化する画像符号化処理を実行するステップと、
符号化によって得られたデータをパケット化して送信する符号化データ送信処理であって、前記パケット化されたデータをバッファに蓄積する処理と、パケットデータ毎にその送信タイミングを遅延させることにより、パケットデータそれぞれを少なくとも予め決められた所定間隔以上空けて送信する処理とを含む符号化データ送信処理を実行するステップと、
前記バッファの蓄積データ量に応じて、前記画像入力処理、前記画像符号化処理および前記符号化データ送信処理それぞれの動作処理の優先度を変化させて前記入力画像信号のフレームレートを変化させるステップとを具備することを特徴とする画像伝送方法。 - 前記入力画像信号の画像サイズに基づいて前記バッファのバッファサイズを算出するステップと、
前記算出されたバッファサイズに基づいて、前記バッファとして使用されるデータ格納領域をメモリ上に確保するステップとをさらに具備することを特徴とする請求項４記載の画像伝送方法。 - 前記符号化データ送信処理を実行するステップにおける前記所定間隔以上空けて送信する処理による遅延時間は、前記所定間隔を示す最小遅延時間と、前記パケットデータの送信に使用されるネットワークの帯域と、前記パケットデータのデータサイズとに基づいて決定されることを特徴とする請求項４または請求項５記載の画像伝送方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000264384A JP3668110B2 (ja) | 2000-08-31 | 2000-08-31 | 画像伝送システムおよび画像伝送方法 |
| EP20010307364 EP1187460A3 (en) | 2000-08-31 | 2001-08-30 | Image transmitting method and apparatus and image receiving method and apparatus |
| US09/941,686 US20020054635A1 (en) | 2000-08-31 | 2001-08-30 | Image transmitting method and apparatus and image receiving method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000264384A JP3668110B2 (ja) | 2000-08-31 | 2000-08-31 | 画像伝送システムおよび画像伝送方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002077260A JP2002077260A (ja) | 2002-03-15 |
| JP3668110B2 true JP3668110B2 (ja) | 2005-07-06 |
Family
ID=18751810
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000264384A Expired - Fee Related JP3668110B2 (ja) | 2000-08-31 | 2000-08-31 | 画像伝送システムおよび画像伝送方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20020054635A1 (ja) |
| EP (1) | EP1187460A3 (ja) |
| JP (1) | JP3668110B2 (ja) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4585155B2 (ja) * | 2001-09-07 | 2010-11-24 | 株式会社リコー | 通信端末装置の伝送制御方法及び通信端末装置 |
| JP2003209594A (ja) * | 2002-01-16 | 2003-07-25 | Sony Corp | プログラム、記録媒体、並びに情報送信装置および方法 |
| EP1581004B1 (en) * | 2002-11-29 | 2014-10-29 | Sony Corporation | Encoder and its method |
| US6886203B2 (en) * | 2003-01-15 | 2005-05-03 | Louis J. Drakos | Mattress lifter |
| KR100602916B1 (ko) * | 2003-05-23 | 2006-07-19 | 가부시키가이샤 히다치 고쿠사이 덴키 | 화상전송방법 및 화상전송장치 |
| JP4541758B2 (ja) * | 2003-05-23 | 2010-09-08 | 株式会社日立国際電気 | 画像伝送装置 |
| KR101014233B1 (ko) * | 2003-10-22 | 2011-02-14 | 엘지전자 주식회사 | 대화형 광디스크의 부가 오디오 파일 관리 및 재생방법 |
| JP4289138B2 (ja) * | 2003-12-09 | 2009-07-01 | ソニー株式会社 | データ処理装置およびその方法と符号化装置 |
| KR100652689B1 (ko) * | 2004-10-26 | 2006-12-07 | 엘지전자 주식회사 | 휴대단말기에서의 컨텐츠의 사이즈 분석 방법 |
| US20060239152A1 (en) * | 2005-04-25 | 2006-10-26 | Mediatek Incorporation | Disc recording methods and systems |
| JP4404848B2 (ja) * | 2005-12-05 | 2010-01-27 | Ｎｅｃアクセステクニカ株式会社 | 帯域制限方法および装置、それを用いたネットワーク通信機器 |
| JP2007200076A (ja) * | 2006-01-27 | 2007-08-09 | Toshiba Corp | データ送受信システム、データ送信装置、データ送受信方法、及びプログラム |
| JP4488027B2 (ja) * | 2007-05-17 | 2010-06-23 | ソニー株式会社 | 情報処理装置および方法、並びに、情報処理システム |
| JP4936542B2 (ja) | 2007-08-14 | 2012-05-23 | キヤノン株式会社 | 通信制御装置、通信制御方法、及びコンピュータプログラム |
| JP5449010B2 (ja) * | 2010-04-28 | 2014-03-19 | 三菱電機株式会社 | 映像信号送信端末、映像信号受信端末、及び通信システム |
| JP5776022B2 (ja) | 2011-04-13 | 2015-09-09 | パナソニックＩｐマネジメント株式会社 | 制御装置 |
| CN102739511B (zh) * | 2011-04-14 | 2015-06-24 | 富士通株式会社 | 数据处理系统及数据处理方法 |
| US20170244894A1 (en) * | 2016-02-22 | 2017-08-24 | Seastar Labs, Inc. | Method and Apparatus for Managing Latency of Remote Video Production |
| US10904224B2 (en) * | 2017-09-29 | 2021-01-26 | Rolls-Royce Corporation | Aircraft engine monitoring system |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5566208A (en) * | 1994-03-17 | 1996-10-15 | Philips Electronics North America Corp. | Encoder buffer having an effective size which varies automatically with the channel bit-rate |
| US5668599A (en) * | 1996-03-19 | 1997-09-16 | International Business Machines Corporation | Memory management for an MPEG2 compliant decoder |
| JP3908789B2 (ja) * | 1996-08-30 | 2007-04-25 | コーニンクレッカ、フィリップス、エレクトロニクス、エヌ．ヴィ． | ビデオ伝送システム |
| US5995488A (en) * | 1996-10-08 | 1999-11-30 | Advanced Micro Devices, Inc. | Method and apparatus for regulating data flow in networks |
| US5838688A (en) * | 1996-10-11 | 1998-11-17 | Advanced Micro Devices, Inc. | Determining the number of active nudes on an ethernet network by counting a number of packet receptions |
| US5963560A (en) * | 1997-03-05 | 1999-10-05 | Advanced Micro Devices, Inc. | Method and arrangement for providing multi-level priority in a rotating priority arrangement for access to medium in an ethernet network |
| US6040866A (en) * | 1997-08-19 | 2000-03-21 | Chen; Meng-Chang | Transmission of variable-bit-rate information data on constant-bit-rate channel |
| US6625656B2 (en) * | 1999-05-04 | 2003-09-23 | Enounce, Incorporated | Method and apparatus for continuous playback or distribution of information including audio-visual streamed multimedia |
| US7031306B2 (en) * | 2000-04-07 | 2006-04-18 | Artel Video Systems, Inc. | Transmitting MPEG data packets received from a non-constant delay network |
-
2000
- 2000-08-31 JP JP2000264384A patent/JP3668110B2/ja not_active Expired - Fee Related
-
2001
- 2001-08-30 US US09/941,686 patent/US20020054635A1/en not_active Abandoned
- 2001-08-30 EP EP20010307364 patent/EP1187460A3/en not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| EP1187460A3 (en) | 2002-11-20 |
| US20020054635A1 (en) | 2002-05-09 |
| JP2002077260A (ja) | 2002-03-15 |
| EP1187460A2 (en) | 2002-03-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3668110B2 (ja) | 画像伝送システムおよび画像伝送方法 | |
| US8848790B2 (en) | Encoding processing apparatus and method for a moving image | |
| JP4309098B2 (ja) | 階層型ビデオ符号化情報の伝送方法 | |
| US8711929B2 (en) | Network-based dynamic encoding | |
| US8837605B2 (en) | Method and apparatus for compressed video bitstream conversion with reduced-algorithmic-delay | |
| JP2003244695A (ja) | 映像情報伝送方式、それに用いられる装置およびプログラム | |
| JP2003525547A (ja) | スケーラブルビデオをストリーミングするための方法及び装置 | |
| JP2007089137A (ja) | ロバストなストリーミングを行うためのサーバメディア処理による適応型メディアプレイアウト | |
| JP2005260935A (ja) | 圧縮ビデオ・ビットストリームにおいて平均イメージ・リフレッシュ・レートを増加させる方法及び装置 | |
| JP4903435B2 (ja) | メディア信号の送信方法と受信方法ならびに送受信方法及び装置 | |
| US20050089092A1 (en) | Moving picture encoding apparatus | |
| KR100601615B1 (ko) | 네트워크 대역폭에 적응적인 영상 압축 장치 | |
| EP1371225A1 (en) | A low-delay video encoding method for concealing the effects of packet loss in multi-channel packet switched networks | |
| JPH10336670A (ja) | 画像伝送装置および画像伝送方法、提供媒体 | |
| US6412013B1 (en) | System for controlling data output to a network | |
| KR100511034B1 (ko) | 화상전송장치및화상전송방법 | |
| US9009344B2 (en) | Method of sending data and associated device | |
| JP2005322995A (ja) | リアルタイム映像転送におけるバッファ制御方法、送信端末、受信端末、映像配信システム、およびプログラム | |
| US20070110168A1 (en) | Method for generating high quality, low delay video streaming | |
| JP2003023639A (ja) | データ伝送装置及び方法、データ伝送プログラム、並びに記録媒体 | |
| JP2008263443A (ja) | 情報処理装置および方法、並びにプログラム | |
| JP3948597B2 (ja) | 動画像圧縮符号化送信装置、受信装置および送受信装置 | |
| JP5675164B2 (ja) | 送信装置、送信方法、並びにプログラム | |
| JP4343808B2 (ja) | 双方向画像通信システムにおけるサーバ及びその処理方法並びにプログラム | |
| JP4049378B2 (ja) | 双方向画像通信システムにおけるサーバ及びその処理方法並びにプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041007 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041012 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041213 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050405 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050407 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080415 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090415 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |