JPWO2004093445A1 - Ip画像伝送装置 - Google Patents

Ip画像伝送装置 Download PDF

Info

Publication number
JPWO2004093445A1
JPWO2004093445A1 JP2004570892A JP2004570892A JPWO2004093445A1 JP WO2004093445 A1 JPWO2004093445 A1 JP WO2004093445A1 JP 2004570892 A JP2004570892 A JP 2004570892A JP 2004570892 A JP2004570892 A JP 2004570892A JP WO2004093445 A1 JPWO2004093445 A1 JP WO2004093445A1
Authority
JP
Japan
Prior art keywords
bus
memory
data
encoded data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004570892A
Other languages
English (en)
Other versions
JP4037411B2 (ja
Inventor
靖 梅崎
靖 梅崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2004093445A1 publication Critical patent/JPWO2004093445A1/ja
Application granted granted Critical
Publication of JP4037411B2 publication Critical patent/JP4037411B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43622Interfacing an external recording device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334Recording operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • H04N21/64322IP

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Information Transfer Systems (AREA)
  • Communication Control (AREA)
  • Telephonic Communication Services (AREA)

Abstract

画像及び音声符号化データをTCP及びUDP伝送をするIP画像伝送装置において、蓄積媒体と、第1メモリと、第1バスと、第2バスと、画像及び音声データを符号化データに符号化して、第1バスに出力する符号化部と、第1バスに出力された符号化データを第2バスを通して第1メモリに書き込む符号化データ転送部と、第1バスに出力された符号化データを前記第1バスを通して前記蓄積媒体に書き込み制御をする蓄積データ書込制御部と、蓄積媒体に書き込まれた蓄積データを第1バスを通して読み出し、第2バスを通して第1メモリに書き込み制御する蓄積データ読出制御部とを具備して構成する。

Description

本発明は、IPネットワークを利用して画像配信を行う画像伝送装置(IP画像伝送装置)に関するものであり、特に、ライブ配信機能(UDP伝送)とサーバ蓄積機能(TCP伝送)の実現に必要となるデータバス方式に関するものである。
IP画像伝送装置では、UDP伝送により画像及び音声符号化データを伝送してライブ配信を行い、TCP伝送により画像及び音声符号化データをサーバに蓄積している。図7はIP画像伝送システムの構成図である。図7に示すように、IP画像伝送装置10は、カメラ12により撮像された画像及びカメラ12に内蔵されたマイクロフォンにより録音された音声データを符号化し、図7中の(2)に示すようにUDP伝送により、IPネットワーク20を通して、IP画像伝送装置30に送信する。IP画像伝送装置30は、UDP伝送された符号化データを画像及び音声データに復号化してTVモニタ32に出力する。一方、IP画像伝送装置10は、符号化データをIP画像伝送装置内蓄積媒体14に一旦蓄積してから、この蓄積された符号化データをTCP伝送により、IPネットワーク20を通して、蓄積サーバ40に送信する。蓄積サーバ40は、蓄積データをサーバ内HDD42に蓄積する。
ライブ配信機能は、リアルタイム且つ低遅延なライブ配信機能をIPネットワーク上で実現させるため再送処理の行わないUDPを用いてリアルタイム性を優先したデータ伝送を行っている。ライブ配信データの伝送処理は、各符号化方式による符号化データを一定以上の伝送速度で送信する必要がある。即ち、ある伝送速度でリアルタイム性を実現するためには、送信処理を一定時間内に終える必要がある。その一定時間の最小単位は、ひとつのUDPパケット送信処理にかかる時間(ライブ配信最小単位時間)である。ここで、ライブ配信最小時間Tliveは次式(1)で表される。
TLive=(符号化レート[bps])/(8×UDPパケットサイズ[byte])
・・・(1)
ここで、符号化レートとは、画像や音声データを符号化するビットレートをいう。サーバ蓄積機能は、フレーム落ちのないデータをサーバに蓄積するため、蓄積データの転送には再送処理を含むTCPによる信頼性を優先したデータ伝送を行っている。従って、IPネットワーク上でライブ配信機能とサーバ蓄積機能を同時に実現するにはライブ配信最小単位時間内に両方の処理が終了することが最低条件である。
図8はIP画像伝送装置における符号化データ転送時間配分を示す図である。図8に示すように、ライブ配信最小時間Tlive内に符号化データUDP配信処理を行い、サーバ蓄積機能のTCP送信処理は、UDP配信処理以外の空き時間を使って行われる。これは、UDP配信処理、TCP送信処理は、1個のCPU上のプロセスが動作することにより行われるからである。サーバ蓄積機能では、TCPパケットの再送処理を伴うことがあるため、符号化データは蓄積媒体に一旦蓄積してからTCPパケットを送信している。しかし、この空き時間内にUDP配信処理と同じ量のデータを転送できなければ、蓄積媒体への書き込み速度よりも読み出し速度が遅くなりいずれIP画像伝送装置内の蓄積媒体はオーバフローを起こし、サーバ蓄積機能は破綻してしまう。従って、上述したように、ライブ配信機能とサーバ蓄積機能を実現させるためには、ライブ配信とサーバ蓄積のための処理が単位時間内にIP画像伝送装置内で処理されなければならないことが分かる。
図9は従来のIP画像伝送装置ブロック図である。図9に示すように、IP画像伝送装置は、オーディオA/Dコンバータ50、ビデオA/Dコンバータ52、画像/音声符号化デバイス54、蓄積媒体56、メモリ58、メインCPU60、ネットワーク制御デバイス62、ネットワークI/F64及びCPUバス66により構成される。メインCPU60は、リアルタイムOS70、符号化LSI制御プロセス72、蓄積制御プロセス74、IPパケット処理プロセス76、ネットワーク送信処理プロセス78、httpサーバ処理プロセス80及び装置全体制御プロセス82が実行される。
図10は従来のIP画像伝送装置内のデータの流れを示す図である。IP画像伝送装置では、図10に示す9本のストリームデータが以下のようにしてリアルタイムに転送される。
(1)符号化データ転送
符号化LSI制御プロセス72はオーディオA/Dコンバータ50によりアナログ/ディジタル変換された音声データ及びビデオA/Dコンバータ52によりアナログ/ディジタル変換された画像データが画像/音声符号化デバイス54により符号化された符号化データをメモリ58にCPUバス66を通して転送する。
(2)符号化データ読出
IPパケット処理プロセス76はメモリ58の符号化データをCPUバス66を通して読み出す。
(3)UDPパケット化データ書込
IPパケット処理プロセス76は符号化データをUDPパケット化してCPUバス66を通してメモリ58に書き込む。
(4)UDPデータ送出
ネットワーク送信処理プロセス78はメモリ58からUDPパケットをCPUバス66を通して読み出し、ネットワーク制御デバイス62及びネットワークI/F64を通してIPネットワークへUDP伝送をする。
(5)蓄積データ書込
蓄積制御プロセス74はメモリ58からCPUバス56を通して符号化データを読み出し、蓄積媒体56へ転送する。
(6)蓄積データ読出
蓄積制御プロセス74は蓄積媒体56から符号化データをCPUバス256を通して読み出し、メモリ58へ転送する。
(7)符号化データ読込
IPパケット処理プロセス76はメモリ58から符号化データ(蓄積データ)をCPUバス66を通して読み出す。
(8)TCPパケット化データ書込
IPパケット処理プロセス76は蓄積データをTCPパケット化して、CPUバス66を通してメモリ58に書き込む。
(9)TCPデータ送出
ネットワーク送信処理プロセス78はメモリ58からCPUバス66を通してTCPパケットを読み出し、ネットワーク制御デバイス62及びネットワークI/F64を通してIPネットワークへTCP伝送をする。
図11は従来のIP画像伝送装置内の符号化データ転送処理時間配分を示す図であり、ライブ配信最小時間単位における、画像/音声符号化デバイス54、蓄積媒体56、CPU60−メモリ58間、ネットワーク制御デバイス62での各処理時間を示している。図11に示すように、符号化データ転送(1)、符号化データ読出(2)、UDPパケット化データ書込(3)、UDPデータ送出(4)までのUDP配信処理が行われてから、蓄積データ書込(5)、蓄積データ読出(6)、符号化データ書込(7)、TCPパケット化データ書込(8)、TCPデータ送出(9)までのTCP送信処理が行われる。ここで、蓄積データ書込(5)及び蓄積データ読出(6)の処理時間が他と比べて長くなっているのは、蓄積媒体56のアクセス速度がCPU60、メモリ58の処理速度(アクセス速度)に比べて低速であることによる。ライブ配信最小単位時間内のUDP配信処理、TCP送信処理を除く時間にサーバとの通信処理、装置全体制御処理等のその他の処理(10)が行われる。
ライブ配信の画像や音声の品質向上のために符号化レートを大きくすることへのニーズがある。図11に示す符号化レートでは、ライブ配信最小単位時間内で(1)〜(10)の処理を行うと残余の時間が無い場合を示している。ここで、符号化レートを図11に示す符号化レートの1.5倍にしたときの符号化データ転送処理時間配分について考える。
図12は符号化レートを1.5倍にしたときのIP画像伝送装置内の符号化データ転送処理時間配分を示す図である。図12では、図9中の各構成要素を変更しない場合を示している。符号化レートを1.5倍にすることは、図11と同じライブ配信処理単位時間に処理するべきデータ量が1.5倍に増加することを意味する。よって、図12中の破線で示すように、符号化データ転送(1)〜UDPデータ送出(4)までのUDP配信処理時間及び蓄積データ書込(5)〜TCPデータ送出(9)までのTCP送信処理時間がそれぞれ1.5倍となる。ところが、図11に示したように、ライブ配信最小時間における符号化データ転送処理時間配分に余裕がない場合には、当該ライブ配信最小時間内に上記(1)〜(9)の処理が終了せずに、例えば、図12に示すように蓄積データ読出(6)迄で最小時間単位を使い切ってしまい、残り3つの処理ができない。即ち、符号化レートを1.5倍に引き上げるとサーバ蓄積機能は実現できないことになる。ここで、符号化レートを大きくしたときの処理を高速化してCPUバスの転送速度を高速にすることが考えられる。ここでは、符号化レートを1.5倍にしたときのCPUバスの転送速度を2倍にした場合を例に説明する。
図13は符号化レートを1.5倍、CPUバスの転送速度を2倍にしたときのIP画像伝送装置内の符号化データ転送処理時間配分を示す図である。図13中の(1)〜(9)の処理における実線及び破線はCPUバス66の転送速度を2倍にしたときの、図11に示した符号化レートでの処理時間及び符号化レートが1.5倍での処理時間を示している。図13に示すように、CPU60−メモリ58間の処理だけが速くなるが、蓄積媒体56ではデバイスそのものが遅いため、蓄積データ書込(5)、蓄積データ読出(6)の時間が図12と比較して変化しない。そのため、例えば、蓄積データ読出(7)途中で最小時間単位を使い切ってしまい残り2つの処理ができない。即ち、CPUバスの転送速度を2倍にしても、符号化レートを1.5倍に引き上げるとサーバ蓄積機能は実現できない。従って、CPUバス1本のデータバス構成をそのままにして符号化レートの増加に対応するには、2倍のアクセス速度を持つ蓄積媒体を採用する必要が出てくる。上述したように、従来のデータバス方式のままでは、符号化レートを上げるためにはバスの高速化と高速な蓄積媒体を利用するしか手段がない。
しかし、高速なバスを使用することは、高速なCPU等を使用する必要になり消費電力の増加、設計マージンの減少を招き、高コスト、開発費の増大など、あらゆる面でリソースを多く消費する。また、高速な蓄積媒体の採用も、コスト増、実装面積増加を招き、耐環境、低消費電力、小型化等の装置要件をクリアできないなどの課題を抱えている。
また、先行技術文献としては、以下の特許文献1〜2がある。
特許文献1は、画像処理装置とメモリをCPUバスとは別の専用ローカルバスで接続し、CPUバスと専用ローカルバス間は、DMAで接続する構成を開示している。
特許文献2は、画像処理装置と蓄積装置をCPUバスとは別のローカルバスで接続し、CPUバスとローカル間はバッファメモリで転送制御することを開示している。
WO00/43868号公報 特開2000−236403号公報
特許文献1は画像符号化装置の符号化/復号化処理そのものが対象であるため、画像配信を対象とする本発明の上記課題を解決することができない。また、特許文献2が対象とする技術分野はファクシミリ装置が対象であり、IP画像伝送装置が対象である本発明の技術分野と全く異なる分野であり、本発明の上記課題を解決することができない。
本発明の目的は、耐環境、低消費電力、小型化等の装置要件をクリアし、符号化レートを上げることのできるIP画像伝送装置を提供することである。
本発明の側面によれば、符号化データをTCP及びUDP伝送をするIP画像伝送装置であって、蓄積媒体と、第1メモリと、第1バスと、第2バスと、画像又は音声データを符号化データに符号化して、前記第1バスに出力する符号化部と、前記第1バスに出力された符号化データを前記第2バスを通して前記第1メモリに書き込む符号化データ転送部と、前記第1バスに出力された符号化データを前記第1バスを通して前記蓄積媒体に書き込み制御をする蓄積データ書込制御部と、前記蓄積媒体に書き込まれた蓄積データを前記第1バスを通して読み出し、前記第2バスを通して前記第1メモリに書き込み制御する蓄積データ読出制御部とを具備したことを特徴とするIP画像伝送装置が提供される。
好ましくは、第2メモリを具備し、前記符号化データ転送部は前記第1バスに出力された符号化データを前記第2メモリに書き込み、当該第2メモリに書き込んだ符号化データを読み出し、前記第2バスを通して前記第1メモリに書き込むようにする。
更に好ましくは、前記蓄積データ読出制御部は、前記第1バスを通して読み出した前記蓄積データを前記第2メモリに書き込み、当該第2メモリに書き込んだ符号化データを読み出し、前記第2バスを通して前記第1メモリに書き込むようにする。
図1は本発明の原理図;
図2は本発明の実施形態によるIP画像伝送装置の構成図;
図3はIP画像伝送装置の構成例を示す図;
図4はIP画像伝送装置内のデータの流れ図;
図5はIP画像装置内の符号化データ転送処理時間配分図;
図6は符号化レートを1.5倍にした場合のIP画像装置内の符号化データ転送処理時間配分図;
図7はIP画像伝送全体システム構成図;
図8はIP画像伝送装置における符号化データ転送時間配分図;
図9は従来のIP画像伝送装置の構成図;
図10は従来のIP画像伝送装置内のデータの流れ図;
図11は従来のIP画像伝送装置内の符号化データ転送処理時間配分図;
図12は符号化レートを1.5倍にした場合の従来のIP画像伝送装置内の符号化データ転送処理時間配分図;
図13は符号化レートを1.5倍にし、CPUバスのデータ転送速度を2倍にした場合の従来のIP画像伝送装置内の符号化データ転送処理時間配分図である。
発明を実施するための最良の態様
本発明の実施形態の説明をする前に本発明の原理の説明をする。図1は本発明の原理図である。図1に示すように、IP画像伝送装置は、蓄積媒体100、第1メモリ102、第1バス104、第2バス106、符号化部108、符号化データ転送部110、蓄積データ書込制御部112及び蓄積データ読出制御部114を具備する。符号化部108は、(2)に示すように、画像や音声を符号化データに符号化して、第1バス104に出力する。符号化データ転送部110は、(4)に示すように、第1バス104に出力された符号化データを第2バス106を通して第1メモリ102に書き込む。
蓄積データ書込制御部112は、(6)に示すように、第1バス104に出力された符号化データを第1バス104を通して蓄積媒体100に書き込み制御をする。このとき、蓄積媒体100への蓄積データの書き込みが第2バス106を通さずに第1バス104を通して行うので、符号化データ転送部110による第2バス106を通した第1メモリ102への符号化データの転送処理と、蓄積データ書込制御部112への符号化データの蓄積処理とを並列処理することができる。
蓄積データ読出制御部114は、(8)に示すように、蓄積媒体100に書き込まれた蓄積データを第1バス104を通して読み出し、第2バス106を通して第1メモリ104に書き込み制御する。このとき、蓄積媒体100からの読み出しが第1バス104を通して行われるので、第1バス104を用いた蓄積データの読出処理中に並列して、第2バス106を通して第1メモリ102へアクセスして処理することができるので処理時間を短縮することができる。
図2は本発明の実施形態によるIP画像伝送装置構成ブロック図である。図2に示すように、IP画像伝送装置は、画像A/Dコンバータ150、音声A/Dコンバータ152、画像/音声符号化デバイス154、メインCPU156、符号化データ専用DMAC(専用DMACと略す)158、メモリ160、蓄積媒体162、ネットワーク制御デバイス164、ネットワークI/F166、CPUバス168及び符号化データ専用バス(専用バスと略す)170を有する。
画像A/Dコンバータ150は、野外等に設置されたビデオカメラにより撮影されたアナログ画像をディジタル画像に変換する。音声A/Dコンバータ152は、マイクロフォンにより録音したアナログ音声信号をディジタル音声に変換する。画像/音声符号化デバイス154は、次の機能を有する。(1)ディジタル画像及び音声をMPEG−2方式等により符号化して、図示しないフレームメモリに蓄積する。(2)専用DMAC158を通してメインCPU156上の符号化LSI制御プロセス192からの指示に従って、フレームメモリから符号化データを読み出して、専用バス170に出力する。
メインCPU190は、IP画像伝送に係わる制御及び処理を行うためのCPUであり、リアルタイムOS190並びに符号化LSI制御プロセス192、蓄積制御プロセス194、IPパケット処理プロセス196、ネットワーク送信処理プロセス198、httpサーバ処理プロセス200及び装置全体制御プロセス202を実行する。リアルタイムOS190は、リアルタイム配信を行うためにプロセスの高速な切り替えをするオペレーティングシステムである。符号化LSI制御プロセス192は、専用DMAC158に画像/音声符号化デバイス154が符号化した符号化データのメインメモリ168への転送を指示する。蓄積制御プロセス194は、次の機能を有する。(1)専用DMAC158に符号化データの蓄積媒体162への蓄積を指示する。(2)蓄積媒体162から蓄積データのメモリ160への読み出しを指示する。
IPパケット処理プロセス196は次の処理を有する。(1)メモリ160よりCPUバス168を通してメインCPU156に符号化データを読み出す。(2)メモリ160より読み出した符号化データをUDPパケット化する。(3)UDPパケットをCPUバス168を通してメモリ160に書き込む。(4)メモリ160よりCPUバス168を通してメインCPU156に蓄積データを読み出す。(5)メモリ160より読み出された蓄積データをTCPパケット化する。(6)TCPパケットをメモリ160に書き込む。
ネットワーク送信処理プロセス198は、次の処理をする。(1)メモリ160よりUDPパケットをCPUバス168を通してネットワーク制御デバイス164に転送する。(2)メモリ160よりTCPパケットをCPUバス168を通してネットワーク制御デバイス164に転送する。httpサーバ処理プロセス200は、次の処理を行う。(1)サーバ装置からの指示に従って、自装置IPアドレスの設定をする。(2)サーバからの指示に従って、符号化レート(符号化方式)を設定する。
装置全体制御プロセス202は、次の機能を有する。(1)ライブ配信最小単位時間内でUDP配信処理、TCP送信処理、その他の処理が終了するように、後述する符号化LSI制御プロセス192等の処理シーケンスを制御する。(2)アラームの監視等、装置内の監視制御を行う。
専用DMAC158は、転送メモリ180を有し、メインCPU156からの図示しない信号線による指示に従って次の処理を行う。(1)画像/音声符号化デバイス154より専用バス170が空きであるとき、符号化データを専用バス170上に読み出し、レジスタに格納すると共に転送メモリ180に書き込む処理を単位時間内に必要とされる符号化データについて行う。転送メモリ158に一定の符号化データが書き込まれると、転送メモリ158より符号化データを読み出してCPUバス168を通してメインメモリ160に書き込む。(2)専用バス170を獲得して、レジスタに書き込まれた符号化データを専用バス170上に出力を通して蓄積媒体162に書き込むために専用バス170上に出力し、バスサイクル終了後にバス170を開放する。蓄積媒体162への書き込みが終了するとバス170を獲得して、レジスタに書き込まれた次の符号化データを専用バス170上に出力を通して蓄積媒体162に書き込むために専用バス170上に出力し、バスサイクル終了後にバス170を開放する。この処理を単位時間内に必要とされる符号化データについて行う。(3)蓄積媒体162に書き込まれた蓄積データを専用バス170を通して転送メモリ180に読み出す。転送メモリ180に一定の蓄積データが読み出されると、転送メモリ180より蓄積データを読み出して、CPUバス168を通してメインメモリ160に書き込む。(4)CPU156からの要求に従って、CPUバス168のバスを獲得する。
転送メモリ180は、バッファメモリである。転送メモリ180を使用するのは以下の理由による。(1)画像/音声符号化デバイス154から専用バス170を通しての符号化データの転送レートとCPUバス168の転送レートとの間に差があるためである。(2)メモリ160へ符号化データを転送するタイミングを制御するためである。(3)蓄積媒体162から専用バス170を通しての蓄積データの読み出し速度とCPUバス168の転送レートとの間に差があるためである。(4)蓄積データをメモリ160へ書き込むタイミングを制御するためである。
メモリ160は、符号化データ、プロセスを記憶するメインメモリ及び符号化LSI制御プログラム192等に対応するプログラムを記憶するROMである。蓄積媒体162は、TCP送信のための符号化データを蓄積する記憶媒体であり、コントローラを有する。コントローラは、専用バス170上の符号化データを蓄積媒体162に書き込み、蓄積媒体162から蓄積データを専用バス170上に読み出す。ネットワーク制御デバイス164はIP画像伝送装置が接続されるネットワークをインタフェースするものである。ネットワークI/F166は、IP画像伝送装置を通信ケーブルと接続するコネクタやトランス等である。
CPUバス168は、メインCPU156−メモリ160、専用DMAC158−メモリ160間の符号化データ、UDPパケット、蓄積データ及びTCPパケットの書き込み・読み出しを行うためのバスである。専用バス170は、蓄積媒体162への書き込み、蓄積媒体162からの読み出し及び画像/符号化デバイス154から符号化データの読み出しのためのものである。
図3は図2に示すIP画像伝送装置の構成例を示す図であり、図2中の構成要素に該当する構成要素は同一の符号を附している。画像/音声符号化デバイス154はMPEG−2エンコーダLSIであり、IP画像伝送装置ライブ配信/サーバ蓄積機能同時動作可能符号化レートを6Mbpsであるとしている。メインCPU156は、例えば、クロック周波数が162MHzである。フラッシュROM166aはメモリ166を構成するROMであり、例えば、転送レート、約20MbpsのATAフラッシュカードである。SDRAM160bはメモリ1668を構成するメインメモリである。専用DMAC158は、FPGAにより作製されて、DMAC182#1,182#2,182#3及びメモリ180を有する。
ネットワーク制御デバイス164は、例えば、LANコントローラである。DMAC182#1は、符号化データLSI制御DMACであり、符号化LSI制御プロセス192の指示に従って次の処理を行う。(1)専用バス170が空きのとき、画像/音声符号化デバイス154より専用バス170上に符号化データを読み出して、レジスタに書き込む。(2)レジスタに書き込んだ符号化データを転送メモリ170に書き込む。
DMAC182#2は、蓄積制御DMACであり、蓄積制御プロセス194の指示に従って次の処理を行う。(1)専用バス170を獲得して、レジスタに書き込まれた符号化データを専用バス170を通して蓄積媒体162に書き込み要求を行い、バスサイクル後に専用バス170を開放する処理を単位時間内に必要とされる符号化データについて行う。(2)専用バス170を獲得して、蓄積媒体162より蓄積データを専用バス170を通して読み出し、転送メモリ170に書き込む。
DMAC182#3は、メモリ制御DMACであり、次の処理を行う。(1)転送メモリ180に書き込まれた符号化データ/蓄積データが一定になると、CPUバス168を通して、メモリ160に書き込む。(2)IPパケット処理プロセス196又はネットワーク送信処理プロセス198の指示に従って、CPUバス168を獲得する。
転送メモリ180は、例えば、デュアルポートメモリで構成される。符号化データの書き込みと読み出しが同時に行われることがあるからである。蓄積媒体162は、小型・軽量化の構成要件により、転送レートが約22MbpsのATAHDDカードであり、コントローラを有する。CPUバス168は、例えば、バス幅32ビット、最大転送速度は324Mバイト/秒である。
図4はIP画像伝送装置内のデータの流れを示す図である。図5はIP画像伝送装置内の符号化データ転送処理時間配分を示す図であり、画像/音声符号化デバイス154、蓄積媒体162、専用DMAC158、CPU158−メモリ160及びネットワーク制御デバイス164における処理時間を示している。図5中のハッチングで示す画像符号化デバイス154、蓄積媒体162及び専用DMAC158に係わる処理が専用バス170を使用する処理である。図5中のライブ配信最小単位時間は図11と同一の時間である。図4に示すように、IP画像伝送装置内では同時に9本のストリームデータをリアルタイムに転送する必要があり、以下のようにして本実施形態では実現される。
(1) 符号化データ転送
画像/音声符号化デバイス154は、MPEG−2方式に従って音声及び画像データを符号化してフレームメモリに蓄積する。装置全体制御プロセス202は、図5に示す単位時間の開始において、符号化LSI制御プロセス192を起動する。符号化LSI制御プロセス192は、専用DMAC182#1を通して画像/音声符号化デバイス154に符号化データの読み出しを指示する。画像/音声符号化デバイス154は、図4中の(1)及び図5中の(1a)に示すように、DMAC182#1の指示に従って専用バス170上に符号化データを出力する。DMAC182#1は、符号化データを専用バス170から読み出して、レジスタに書き込む。バスサイクルが終了すると、専用バス170を開放する。
後述する蓄積データ書込(5)のためのバスサイクルが終了して、専用バス170が空きになると、DMAC182#1が画像/音声符号化デバイス154より次の符号化データを専用バス170上に読み出し、レジスタに書き込む。画像/音声符号化デバイス154からの符号化データ転送(1a)がUDPパケット化に必要な符号化データについて行われる。DMAC182#1は、図4中の(1)及び図5中の(1b)に示すように、レジスタに書き込まれた符号化データを転送メモリ170に書き込む。メモリ制御用DMAC182#3は、転送メモリ170への書き込みと並列的に、転送メモリ170から符号化データを読み出し、CPUバス168を通してメモリ160へ書き込みを行う。
(2) 符号化データ読み込み
装置全体制御プロセス202は、図5に示すようにメモリ160への符号化データ転送(1b)が終了すると、IPパケット処理プロセス194を起動する。IPパケット処理プロセス194は、図4及び図5中の(2)に示すように、CPUバス168を通して、メモリ160より符号化データを読み出す。
(3) UDPパケット化データ書き込み
IPパケット処理プロセス194は、メモリ160より読み出した符号化データをUDPパケット化し、CPUバス168を通して、(3)に示すようにUDPパケット化データをメモリ160に書き込む。
(4) UDPパケットデータ送出
装置全体制御プロセス202は、UDPパケット化データ書き込み(3)が終了すると、ネットワーク送信処理プロセス198を起動する。ネットワーク送信処理プロセス198は、図4及び図5中の(4)に示すように、CPUバス168を通して、メモリ160よりUDPパケットを読み出し、ネットワーク制御デバイス164に出力する。ネットワーク制御デバイス164は、ネットワークI/F166を通してUDPパケットデータのUDP伝送を行う。
(5) 蓄積データ書込
装置全体制御プロセス202は、図5に示す符号化データ転送(1a)により符号化データがレジスタに書き込まれると、蓄積制御プロセス194を起動する。蓄積制御プロセス194は、DMAC182#2に符号化データの蓄積を指示する。DMAC182#2は、専用バス170を獲得し、図4中の(5)に示すように、レジスタに書き込まれた符号化データを蓄積媒体162へ書き込みのために専用バス170に出力し、バスサイクル終了後に専用バス170を開放する。
蓄積媒体162中のコントローラは専用バス170より符号化データを受信して、図5中の(5)に示すように蓄積媒体162に蓄積する。DMAC182#2は、符号化データの蓄積媒体162へ書き込みが終了すると、上述したと同様に専用バス170を通して蓄積媒体162に書き込む。レジスタに書き込まれた符号化データについて蓄積媒体162への上述の書き込みを繰り返す。蓄積データ書込(5)はDMAC182#2が専用バス170を通して行い、符号化データ転送(1b)はDMAC182#3が、符号化データ読込(2)及びUDPパケット化データ書込(3)はCPU156がCPUバス168を通して行うことから、処理(5)と処理(1b),(2),(3)とを並列的に行うことができる。
(6a) 蓄積データ読出
装置全体制御プロセス202は、蓄積データ書込(5)が終了すると、蓄積制御プロセス194を起動する。蓄積制御プロセス194は、蓄積制御DMAC182#2に蓄積媒体162から該当する符号化データの読み出しを指示する。DMAC182#2は、図5中の(6a)に示すように、蓄積媒体162中のコントローラを通して蓄積媒体162から蓄積データを専用バス170に順次読み出し、転送メモリ180に書き込む。このとき、蓄積データ読出(6a)はDMAC182#2が専用バス170を通して行い、例えば、UDPデータ送出(4)やサーバとの通信処理、装置全体制御処理等のその他の処理(10)はCPU156がCPUバス168を通して行うことから、処理(6a)と処理(4)及びその他の処理(10)は並行して行うことができる。
(6b) 蓄積データ読出
DMAC182#3は、図4中の(6)及び図5中の(6b)に示すように、転送メモリ180に蓄積データが書き込まれると、処理(6a)と並列的に、転送メモリ180から蓄積データを読み出し、CPUバス168を通してメモリ160に書き込む。
(7) 符号化データ読込
装置全体制御プロセス202は、図5に示す蓄積データ読出(6b)が終了すると、IPパケット処理プロセス196を起動する。IPパケット処理プロセス196は、図4及び図5中の(7)に示すように、メモリ160よりCPUバス168上に蓄積データの読み込みを行う。
(8) TCPパケットデータ書込
IPパケット処理プロセス196は、図4及び図5中の(8)に示すように、CPUバス168上に読み出された蓄積データを受信してTCPパケット化する。IPパケット処理プロセス196はCPUバス168を通してメモリ160にTCPパケットデータの書き込みを行う。
(9) TCPデータ送出
装置全体制御プロセス202は、図5に示すTCPパケットデータ書込(8)が終了すると、ネットワーク送信処理プロセス198を起動する。ネットワーク送信処理プロセス198は、図4及び図5中の(9)に示すように、メモリ制御DMAC182#3を通してメモリ160よりCPUバス168上にTCPパケットデータ読み出し、ネットワークデバイス164に出力する。ネットワーク制御デバイス164は、ネットワークI/F166を通してTCPパケットデータのTCP伝送を行う。
(10) その他の処理
装置全体制御プロセス202は、図5中の(10)に示すように、UDPパケット処理及びTCPパケット処理の空き時間、例えば、UDPデータ送出(4)が終了すると、サーバとの通信処理、アラーム処理等装置全体制御処理をCPU156−メモリ160間で行う。
図5に示すように、蓄積データ書込(5)と符号化データ転送(1b)、符号化データ読込(2)及びUDPバケットデータ書込(3)、並びに蓄積データ読出(6a)とUDPデータ送出及びその他の処理(10)を並行して行うことができるため、例えば、符号化データ転送処理時間が従来方式よりも3割程度短縮する。
図6はIP画像伝送装置内の符号化レートを1.5倍にした場合の符号化データ転送時間を示す図である。図6中の破線で示すように、最小単位時間内に処理するべきデータ量が1.5倍となるため、符号化データ転送(1a)等の処理時間がそれぞれ図5に示す処理時間に比べて1.5倍となっているが、図5に示したように、従来方式では、図11に示したように、ライブ配信最小単位時間内で、UDP送信処理、TCP送信処理及びその他の処理に時間的な余裕がない場合でも、図5に示したように、従来に比べて3割程度処理時間が短縮するとき、図6に示すように符号化レートを1.5倍としても単位時間内に処理が可能となる。
以上説明した本発明によれば、専用バスを設けることにより、CPUバスを介したメモリへのアクセスによるUDP・TCP処理と、専用バスを介した蓄積媒体への書込・読出処理を並列的に処理することが可能となり、蓄積媒体やCPUバスの転送速度を高速化せずとも符号化データ転送処理時間を短縮し、符号化レートを上げることができる。

Claims (7)

  1. 符号化データをTCP及びUDP伝送をするIP画像伝送装置であって、
    蓄積媒体と、
    第1メモリと、
    第1バスと、
    第2バスと、
    画像や音声データを符号化データに符号化して、前記第1バスに出力する符号化部と、
    前記第1バスに出力された符号化データを前記第2バスを通して前記第1メモリに書き込む符号化データ転送部と、
    前記第1バスに出力された符号化データを前記第1バスを通して前記蓄積媒体に書き込み制御をする蓄積データ書込制御部と、
    前記蓄積媒体に書き込まれた蓄積データを前記第1バスを通して読み出し、前記第2バスを通して前記第1メモリに書き込み制御する蓄積データ読出制御部と、
    を具備したことを特徴とするIP画像伝送装置。
  2. 第2メモリを具備し、前記符号化データ転送部は前記第1バスに出力された符号化データを前記第2メモリに書き込み、当該第2メモリに書き込んだ符号化データを読み出し、前記第2バスを通して前記第1メモリに書き込むことを特徴とする請求項1記載のIP画像伝送装置。
  3. 前記蓄積データ読出制御部は、前記第1バスを通して読み出した前記蓄積データを前記第2メモリに書き込み、当該第2メモリに書き込んだ符号化データを読み出し、前記第2バスを通して前記第1メモリに書き込むことを特徴とする請求項2記載のIP画像伝送装置。
  4. 前記蓄積媒体への前記蓄積データの前記第1バスを通した書き込み及び前記蓄積媒体からの前記蓄積データの前記第1バスを通した読み出しと、前記第1メモリへの符号化データの前記泰2バスを通した書き込み及び前記第1メモリからの前記第2バスを通した読み出しとを並列的に処理するように制御するシーケンス制御部を具備したことを特徴とする請求項1記載のIP画像伝送装置。
  5. 単位時間に処理すべき符号化データが前記第1メモリに書き込まれた直後に当該符号化データを前記第1メモリより前記第2バスを通して読出し、当該符号化データをUDPパケット化し、当該UDPパケットを前記第2バスを通して前記第1メモリに書き込み及び当該UDPパケットを前記第1メモリより読み出してUDPデータを送出する処理を順次行うUDP処理部を具備したことを特徴とする請求項2記載のIP画像伝送装置。
  6. 前記蓄積データ読出制御部は、前記UDPデータを送出してから一定時間経過後に前記第2メモリから蓄積データを読み出して、前記第1メモリに書き込みを行い、単位時間に処理すべき蓄積データが前記第1メモリに書き込まれた直後に当該蓄積データを前記第1メモリより前記第2バスを通して読出し、当該符号化データをTCPパケット化し、当該TCPパケットを前記第2バスを通して前記第1メモリに書き込み及び当該TCPパケットを前記第1メモリより読み出してTCPデータを送出する処理を順次行うTCP処理部を具備したことを特徴とする請求項5記載のIP画像伝送装置。
  7. 前記蓄積データ書込制御部は、前記第1バスに出力された符号化データをレジスタに格納し、前記第1バスのバスサイクルだけバスを獲得した後、前記第1バスを開放し、前記蓄積媒体への前記符号化データの書き込みが終了すると、前記レジスタに格納されている次の符号化データを前記第1バスを通して前記蓄積媒体へ書き込み制御を行い、前記符号化部は、前記蓄積データ書込制御部が前記第1バスを開放したとき、次の符号化データを前記第1バスへ出力することを特徴とする請求項1記載のIP画像伝送装置。
JP2004570892A 2003-04-16 2003-04-16 Ip画像伝送装置 Expired - Fee Related JP4037411B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2003/004854 WO2004093445A1 (ja) 2003-04-16 2003-04-16 Ip画像伝送装置

Publications (2)

Publication Number Publication Date
JPWO2004093445A1 true JPWO2004093445A1 (ja) 2006-07-13
JP4037411B2 JP4037411B2 (ja) 2008-01-23

Family

ID=33193243

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004570892A Expired - Fee Related JP4037411B2 (ja) 2003-04-16 2003-04-16 Ip画像伝送装置

Country Status (2)

Country Link
JP (1) JP4037411B2 (ja)
WO (1) WO2004093445A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007086484A (ja) * 2005-09-22 2007-04-05 Brother Ind Ltd コンテンツ配信システム及びコンテンツ配信方法並びにそれに用いる配信装置、端末装置及びそのプログラム
JP2009093393A (ja) * 2007-10-09 2009-04-30 Nec Electronics Corp データ処理装置及びデータ処理装置の自己診断方法
CN107078740A (zh) * 2014-10-22 2017-08-18 太阳诱电株式会社 可重构设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3526187B2 (ja) * 1997-10-03 2004-05-10 日本ビクター株式会社 画像圧縮装置及びその制御装置並びに方法、画像圧縮制御用プログラムの記録された記録媒体、画像圧縮方法
WO2000043868A1 (en) * 1999-01-20 2000-07-27 Hitachi, Ltd. Data processor and device for arithmetic operation
JP3221430B2 (ja) * 1999-02-17 2001-10-22 日本電気株式会社 画像処理装置
JP3280951B2 (ja) * 2000-03-22 2002-05-13 株式会社エスアイエレクトロニクス デジタル放送受信機
JP4767443B2 (ja) * 2001-07-04 2011-09-07 富士通株式会社 ネットワーク蓄積型ビデオカメラシステム
JP4315618B2 (ja) * 2001-08-14 2009-08-19 株式会社エヌエイチケイアイテック デジタル放送の放送番組記録装置

Also Published As

Publication number Publication date
JP4037411B2 (ja) 2008-01-23
WO2004093445A1 (ja) 2004-10-28

Similar Documents

Publication Publication Date Title
JP4505450B2 (ja) データ要求送信装置及びプロセス並びに対応するプロダクツ
CN110121114B (zh) 发送流数据的方法及数据发送设备
US9153127B2 (en) Video transmitting apparatus, video receiving apparatus, and video transmission system
US8018931B2 (en) Communication apparatus and integrated circuit for communication
CN114286035B (zh) 图像采集卡、图像采集方法及图像采集系统
US7496114B2 (en) IP image transmission apparatus
CN107786243A (zh) 基于跳频tdma组网通信系统的压缩视频传输系统及方法
JP4883520B2 (ja) メモリ制御装置およびメモリ制御方法
US20150295860A1 (en) Method and system for remotely configuring an ethernet switch using ethernet packets
JP4037411B2 (ja) Ip画像伝送装置
US20080187075A1 (en) Data transfer apparatus and transfer control method
EP1333678A2 (en) Computer apparatus and system configuration method
JP2000295597A (ja) メディアデータ受信および送信装置
JP2010198138A (ja) データ転送装置、データ転送制御方法、データ転送制御プログラム及び記録媒体
US20080117474A1 (en) Data communication apparatus and data communication method
WO2005062618A1 (ja) 撮像装置
JP5082703B2 (ja) バスインターフェース回路および情報処理装置
JP3221430B2 (ja) 画像処理装置
JPH1141608A (ja) 画像伝送装置および画像符号化方法および画像符号化装置
JP2004088480A (ja) 撮像装置及びそのデータ伝送制御方法
JP2008016939A (ja) プログラム、情報記憶媒体、データ伝送装置およびデータ伝送システム
JP2007019902A (ja) 画像圧縮回路及び半導体集積回路及び画像圧縮方法
JP2007329844A (ja) 映像サーバ装置
JPH1074140A (ja) データ転送方法、復号装置、データ転送装置及びデータ処理装置
CN117278761A (zh) 车载视频传输系统及方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071030

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071031

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101109

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101109

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111109

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111109

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121109

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees