JP4341405B2 - カメラサーバ及び画像配信方法 - Google Patents

カメラサーバ及び画像配信方法 Download PDF

Info

Publication number
JP4341405B2
JP4341405B2 JP2003572304A JP2003572304A JP4341405B2 JP 4341405 B2 JP4341405 B2 JP 4341405B2 JP 2003572304 A JP2003572304 A JP 2003572304A JP 2003572304 A JP2003572304 A JP 2003572304A JP 4341405 B2 JP4341405 B2 JP 4341405B2
Authority
JP
Japan
Prior art keywords
client
time
image data
image
transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003572304A
Other languages
English (en)
Other versions
JPWO2003073763A1 (ja
Inventor
実 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2003073763A1 publication Critical patent/JPWO2003073763A1/ja
Application granted granted Critical
Publication of JP4341405B2 publication Critical patent/JP4341405B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/2866Architectures; Arrangements
    • H04L67/30Profiles
    • H04L67/303Terminal profiles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/61Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources taking into account QoS or priority requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/62Establishing a time schedule for servicing the requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40Network security protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637Control signals issued by the client directed to the server or network components
    • H04N21/6373Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1101Session protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/14Multichannel or multilink protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/24Negotiation of communication capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30Definitions, standards or architectural aspects of layered protocol stacks
    • H04L69/32Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
    • H04L69/322Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
    • H04L69/329Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the application layer [OSI layer 7]

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、インターネット等のネットワークを介してクライアントに向けて画像データを配信するためのカメラサーバ及び画像配信処理方法に関する。
【0002】
本出願は、日本国において2002年2月28日に出願された日本特許出願番号2002−054509を基礎として優先権を主張するものであり、この出願は参照することにより、本出願に援用される。
【0003】
【従来の技術】
近年、インターネット等のネットワークを介してクライアントに向けて画像データを配信する画像配信システムが普及し始めている。この種の画像配信システムは、予め蓄積された画像ファイルから画像データを読み出しながら伝送するビデオオンデマンド型のシステムと、ビデオカメラなどからの画像をその場で圧縮符号化して伝送するリアルタイム放送型のシステムに分けられる。
【0004】
リアルタイム放送型の画像配信システムは、画像を入力するビデオカメラ、ビデオカメラから与えられた画像をインターネット等のネットワークを介して配信する画像サーバ、画像サーバから配信された画像を受信する複数の受信クライアントからなるクライアント・サーバシステムとして構成される。ネットワークへの接続機能を備えるネットワークカメラをカメラサーバとして用いて、インターネット等のネットワークに接続される複数の受信クライアントにカメラサーバから画像を配信することもできる。
【0005】
ところで、インターネットなどを介してサービスを受けるユーザは、それぞれの接続環境などの違いにより、許容される通信帯域などが異なっている
【0006】
従来は、カメラサーバの送信性能、通信回線の帯域、クライアントの画像描画性能の中で、一番条件の悪い物が、ボトルネックとなり、動画像データのフレームレートが決定していたので、以下のような問題点があった。
必要以上に通信回線の帯域を使用する場合がある。
【0007】
複数のクライアントに対して、送信される画像データ量が同じにできず、公平なサービスができない。
【0008】
クライアントマシンの性能によっては、画像描画の負荷が大きくなって、同時に他の処理を行うことができない場合がある。
【0009】
【発明が解決しようとする課題】
そこで、本発明の目的は、インターネット等のネットワークを介してクライアントに向けて画像データを配信するに当たり、各クライアントに対して、公平なサービスを行うことが可能なカメラサーバ及び画像配信処理方法を提供することにある。
【0010】
本発明の他の目的は、各クライアントが所属するネットワークに適した帯域で、データ転送を行うことが可能なカメラサーバ及び画像配信処理方法を提供することにある。
【0011】
また、本発明の他の目的は、各クライアントマシンのCPU負荷を制御できるようにしたカメラサーバ及び画像配信処理方法を提供することにある。
【0012】
さらに、フレームレートを低く設定した場合でも、自然な感じで動画像を表示することができるカメラサーバ及び画像配信処理方法を提供することにある。
【0013】
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施例の説明から一層明らかにされるであろう。
【0014】
【課題を解決するための手段】
本発明は、上述の実情に鑑みて提案されるものであって、ネットワークに接続されたクライアントへ、画像データを配信するカメラサーバであって、撮像手段と、上記撮像手段により得られた画像データを圧縮画像データに変換する圧縮処理手段と、上記ネットワークを介して各クライアントと通信するためのネットワークインタフェース手段と、上記ネットワークインタフェース手段を介して受信されるクライアントからの画像データの送信要求に付加された各クライアントに対応した画像送信情報が、上記画像データの送信要求のあったクライアントを示すクライアント情報とともに登録される記憶手段と、上記記憶手段に登録されているクライアント情報及び上記画像送信情報の送信間隔でクライアントに対して上記圧縮処理手段により得られる圧縮画像データを上記ネットワークインタフェース手段を介して配信する制御を行う制御手段とを備え、上記制御手段は、同じクライアントに対して、前回画像を送信した前回送信時刻からの経過時間を現在時刻と上記前回送信時刻から計算し、上記記憶手段に登録されているクライアントによって設定されたインターバル設定時間と上記経過時間とを比較し、上記インターバル設定時間を経過時間が越えると最新画像の圧縮画像データを送信して、前回送信時刻に送信した最新画像の時刻をセットし、1カウントアップした送信枚数と上記クライアントによって要求された設定枚数を比較する処理を上記送信枚数が上記設定枚数を超えるまで繰り返し行うことを特徴とする。
【0015】
また、本発明は、ネットワークに接続されたクライアントへ、画像データを配信する画像配信方法において、撮像手段により得られた画像データを圧縮画像データに圧縮処理し、クライアントからの画像データの送信要求に付加された各クライアントに対応した画像送信情報と、上記画像データの送信要求のあったクライアントを示すクライアント情報とを登録し、同じクライアントに対して、前回画像を送信した前回送信時刻からの経過時間を現在時刻と上記前回送信時刻から計算し、上記記憶手段に登録されているクライアントによって設定されたインターバル設定時間と上記経過時間とを比較し、上記インターバル設定時間を経過時間が越えると最新画像の圧縮画像データを送信して、前回送信時刻に送信した最新画像の時刻をセットし、1カウントアップした送信枚数と上記クライアントによって要求された設定枚数を比較する処理を上記送信枚数が上記設定枚数を超えるまで繰り返し行い、上記登録されたクライアント情報及び上記画像送信情報の送信間隔でクライアントに対して上記圧縮処理された圧縮画像データを配信することを特徴とする。
【0016】
また、本発明は、ネットワークに接続された複数台のクライアントへ、画像データをリアルタイムで配信するカメラサーバであって、撮像手段と、上記撮像手段により得られた画像データを圧縮画像データに変換する圧縮処理手段と、上記ネットワークを介して各クライアントと通信するためのネットワークインタフェース手段と、上記ネットワークインタフェース手段を介して受信される各クライアントからの画像データの送信要求に付加された各クライアントに対応したフレームレート情報が、上記画像データの送信要求のあったクライアントを示すクライアント情報とともに登録される記憶手段と、上記クライアント情報及びフレームレート情報を上記記憶手段に登録する制御を行うととともに、上記記憶手段に登録されているクライアント情報及びフレームレート情報に基づいて、要求されたフレームレートで各クライアントに対して上記圧縮処理手段により得られる圧縮画像データを上記ネットワークインタフェース手段を介して配信する制御を行う制御手段とを備え、上記制御手段は、上記記憶手段に登録されている各クライアントに対して、前回画像を送信した前回送信時刻からの経過時間を現在時刻と上記前回送信時刻から計算し、上記記憶手段に登録されている各フレームレート情報に基づいて計算されるフレーム間の時間と上記経過時間を比較し、上記フレーム間の時間を経過時間が越えたクライアントに対して最新画像の圧縮画像データを送信して、前回送信時刻に送信した最新画像の時刻をセットする処理を繰り返すことで、上記各クライアントからの要求フレームレートで最新画像の圧縮画像データを上記ネットワークインタフェース手段を介して配信することを特徴とする。
【0017】
さらに、本発明は、ネットワークに接続されたクライアントへ、撮像手段により得られた画像データを圧縮画像データに変換してカメラサーバから配信する画像配信方法であって、カメラサーバ側でネットワークインタフェースを介して受信される各クライアントからの画像データの送信要求に付加された各クライアントに対応したフレームレート情報を上記画像データの送信要求のあったクライアントを示すクライアント情報とともに登録し、上記登録されている各クライアントに対して、前回画像を送信した前回送信時刻からの経過時間を現在時刻と上記前回送信時刻から計算し、上記登録されている各フレームレート情報に基づいて計算されるフレーム間の時間と上記経過時間を比較し、上記フレーム間の時間を経過時間が越えたクライアントに対して最新画像の圧縮画像データを送信して、前回送信時刻に送信した最新画像の時刻をセットする処理を繰り返すことで、上記各クライアントからの要求フレームレートで最新画像の圧縮画像データを上記ネットワークインタフェースを介して配信することを特徴とする。
【0018】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【0019】
本発明は、例えば図1に示すような構成のクライアント・サーバシステム7に適用される。
【0020】
このクライアント・サーバシステム7は、例えば監視システムやアトラクション用途のサーバシステムであって、インターネットやローカルネットワークなどのネットワーク2にカメラサーバ1と複数台の例えばPCクライアントA、B、C、Dが接続され、インターネットやローカルネットワークなどのネットワーク2に接続されたカメラサーバ1の撮像出力を、上記ネットワーク2を介して複数台のPCクライアントA、B、C、Dにリアルタイムで配信する。
【0021】
上記カメラサーバ1は、図2に示すように、撮像用のカメラブロック10、カメラブロック10による撮像出力が供給される信号処理部20、外部のネットワークに接続して通信を行うための通信インタフェース部30、これらを制御するためのシステム制御部40などからなる。
【0022】
カメラブロック10は、インタライン型CCDイメージセンサ11、このインタライン型CCDイメージセンサ11を動作させるためのタイミングジェネレータ12、上記インタライン型CCDイメージセンサ11による撮像出力が供給されるフロントエンド部13、このフロントエンド部13の出力が供給されるデジタル信号処理部14、このデジタル信号処理部14の動作を制御したり、上記デジタル信号処理部14からの情報をもとにホワイトバランス、フォーカス等のカメラ制御を行うためのカメラ制御用CPU15等により構成されている。
【0023】
このカメラブロック10において、上記インタライン型CCDイメージセンサ11は、フィールド周期で光電変換を行い、インタレース出力すなわち1フレームを構成する奇数フィールドの撮像出力と偶数フィールドの撮像出力を交互に出力するもので、各フィールドの撮像出力としてアナログ撮像信号を順次出力する。 また、上記フロントエンド部13は、上記インタライン型CCDイメージセンサ11からのアナログ撮像信号をサンプルホールドし、アナログ/デジタル変換を行うA/D変換器等で構成される。そして、上記デジタル信号処理部14は、上記フロントエンド部13からのデジタル撮像信号にデジタル信号処理を施し、インタレースYUV(4:1:1)デジタル画像信号を出力する。
【0024】
信号処理部20は、上記カメラブロック10のデジタル信号処理部14からインタレースYUV(4:1:1)デジタル画像信号が供給されるフォーマット変換部17、このフォーマット変換部17の出力が供給されるライトFIFOメモリ18、このライトFIFOメモリ18の出力が供給されるフレームメモリライトコントローラ19、このフレームメモリライトコントローラ19の出力が供給されるフレームメモリインタフェース部21、このフレームメモリインタフェース部21に接続されたフレームメモリ31、上記フレームメモリインタフェース部21の出力が供給されるフレーム画像用フレームメモリリードコントローラ22及びフィールド画像用フレームメモリリードコントローラ23、上記フレーム画像用フレームメモリリードコントローラ22又はフィールド画像用フレームメモリリードコントローラ23の出力が画像選択器24を介して選択的に供給されるリードFIFOメモリ25、このリードFIFOメモリ25の出力が供給されるJPEG・I/F部26、このJPEG・I/F部26に接続されたJPEG圧縮処理部27及びラインバッファメモリ32、上記JPEG圧縮処理部27の出力が供給されるCPU・I/F部28、このCPU・I/F部28に接続された画像選択ビットレジスタ29等により構成されている。
【0025】
この信号処理部20において、上記フォーマット変換部17は、上記デジタル信号処理部14からのインタレースYUV(4:1:1)デジタル画像信号をJPEG圧縮するためにYCbCr(4:2:2)信号に変換する。
【0026】
また、上記ライトFIFOメモリ18は、上記カメラブロック10からの信号の速度とフレームメモリ31に書き込む速度の差を吸収する。そして、上記フレームメモリライトコントローラ19は、上記フォーマット変換部17から上記ライトFIFOメモリ18を介して供給されるYCbCr(4:2:2)信号をインタレース信号からノンインタレース信号に変換するために、上記フレームメモリインタフェース部21を介して上記フレームメモリ31に書き込む制御を行う。
上記フレームメモリインタフェース部21は、上記フレームメモリ31に対してライト、リード、リフレッシュを時分割に制御する。
【0027】
上記フレーム画像用フレームメモリリードコントローラ22は、上記フレームメモリ31から上記フレームメモリインタフェース部21を介して第1フィールド画像及び第2フィールド画像を1枚のフレーム画像として読み出す制御を行う。
【0028】
また、上記フィールド画像用フレームメモリリードコントローラ23は、上記フレームメモリ31から上記フレームメモリインタフェース部21を介して第1フィールド画像若しくは第2フィールド画像のみを読み出す制御を行う。
【0029】
そして、上記画像選択器24は、システム制御部40のシステム制御用CPU41から上記CPU・I/F部28を介して画像選択ビットレジスタ29に供給される画像選択ビットに基づくSel信号により、上記フレーム画像用フレームメモリリードコントローラ22により上記フレームメモリ31から読み出されるフレーム画像のYCbCr(4:2:2)信号、又は、上記フィールド画像用フレームメモリリードコントローラ23により上記フレームメモリ31から読み出されるフィールド画像のYCbCr(4:2:2)信号を選択する。
【0030】
上記リードFIFOメモリ25は、上記フレームメモリ31から読み出されるフレーム画像又はフィールド画像のYCbCr(4:2:2)信号の速度とJPEG圧縮速度の差を吸収する。上記JPEGI/F部26は、上記画像選択器24を介して供給されるフレーム画像又はフィールド画像のYCbCr(4:2:2)信号をラインバッファメモリ32に一時蓄積し、ラスタ・ブロック変換を行ってJPEG圧縮処理部27に入力するとともに、上記JPEG圧縮処理部27の動作を制御する。そして、上記JPEG圧縮処理部27は、ラスタ・ブロック変換されたYCbCr(4:2:2)信号について、JPEGに準拠した圧縮処理を行う。このJPEG圧縮処理部27の出力すなわちJPEG圧縮画像データは、CPU・I/F部28を経由してシステム制御部40のシステムRAM42に書き込まれる。
【0031】
上記JPEG圧縮画像データは、例えばシステム制御用CPUのDMA機能を使用したり、システム制御用CPU41経由でシステムRAM42に書き込まれる。
【0032】
上記通信インタフェース部30は、ネットワークインタフェース用のEthernetコントローラ(MAC)35、物理層チップ36、インピーダンスマッチングを取るためのパルストランス37、RJ−45コネクタ38などより構成されている。
【0033】
上記システム制御部40は、バスを介して接続されたシステム制御用CPU41、バッファ及びワーキングエリア用システムRAM42、プログラム用のシステムROM43からなり、上記システム制御用CPU41によりシステムの制御やカメラ制御用CPU15と通信を行う。
【0034】
そして、このカメラサーバ1は、ソフトウエアとして、TCP/IP、HTTP等のプロトコルスタックを搭載し、インターネットエクスプローラ(IE)等のビューワで遠隔から画像を見たり、カメラのコントロールができるようになっている。カメラコントロールメニューには画像サイズを選ぶ事が可能で、例えば640×480(フレーム画像)、640×240(フィールド画像)の画像をユーザが選べられるようになっている。
【0035】
このクライアント・サーバシステム7において、上記カメラサーバ1は、上記ネットワーク2を介して複数台のPCクライアントA、B、C、Dに撮像出力をJPEG圧縮画像データとしてリアルタイムで配信する。
【0036】
ここで、このクライアント・サーバシステム7におけるカメラサーバ1は、上記通信インタフェース部30を介して各クライアントA、B、C、Dからの要求を上記システム制御部40により受け付け、画像データの送信要求のあったクライアントを登録する画像登録先テーブルTBをシステムRAM42上に形成しておき、この画像登録先テーブルTBに従って、各クライアントA、B、C、Dからの要求に応じた画像データを上記通信インタフェース部30を介して配信する。
このクライアント・サーバシステム7における要求処理の手順を図3に示す。
【0037】
すなわち、図3に示すように、このクライアント・サーバシステム7において、画像を表示したいクライアントは、カメラサーバ1へ画像データの送信要求を最初に1回だけ送信する(ステップS1)。カメラサーバ1は、上記通信インタフェース部30を介して上記送信要求を受信すると、上記システム制御部40のシステムRAM42上に形成される画像送信先テーブルTBにクライアントを追加し(ステップS2)、上記通信インタフェース部30を介して画像データの送信を開始する(ステップS3)。また、画像表示を終了したいクライアントは、カメラサーバ1へ画像データの停止要求を送信する(ステップS4)。この送信停止要求を受信したカメラサーバ1は、画像送信先テーブルTBからクライアントを削除し(ステップS5)、画像データの送信を停止する(ステップS6)。
【0038】
このカメラサーバ1では、クライアントから画像データの送信要求を1回受け付けると、次にそのクライアントから画像データの停止要求を受けるまで、連続的に画像データの送信を続ける。
【0039】
次に、このクライアント・サーバシステム7における画像データの送信処理手順を図4に示す。
【0040】
すなわち、図4に示すように、カメラサーバ1は、上記要求処理により書き換えられる画像送信先テーブルTBを参照して、送信要求のあった各PCクライアントA、B、C、Dに順次画像データを送信する。
【0041】
そして、このクライアント・サーバシステム7におけるカメラサーバ1は、各クライアントA、B、C、Dからの画像データの送信要求に付加されるフレームレート情報に基づいて、フレームレートを次のように制御する。
【0042】
すなわち、カメラサーバ1は、クライアントからの画像データの送信要求に付加されたフレームレート情報を受け取ると、画像送信先テーブルTBのクライアント情報の中にフレームレート情報を入れて保持する。このように各クライアントA、B、C、Dに関連付けてフレームレート情報を保持することで、それぞれのクライアントの要求に応じたサービスを行うことが可能になる。
【0043】
カメラサーバ1は、リアルタイム画像(NTSC:30frame/sec,PAL:25frame/sec)を順次メモリに格納するが、格納する際に画像情報テーブルTBに画像圧縮時刻を入れておく。カメラサーバ1は、クライアントに画像データを送信するが、その時に送信した画像の圧縮時刻を記憶しておく。
【0044】
そして、カメラサーバ1は、図5に示す手順に従ってフレームレートを次のように制御する。
【0045】
すなわち、フレームレートの制御では、先ず、前回送信時刻に0を入力することにより初期化を行う(ステップS11)。
【0046】
次に同じクライアントへ画像データを送信する場合、前回送信した画像時刻と現在画像の時刻から経過時間TAを計算する(ステップS12)。
【0047】
さらに、クライアントからの送信要求に付加されていたフレームレート情報に基づいて画像間隔すなわちフレーム間の時間TBを計算する(ステップS13)。
【0048】
次に、経過時間TAとフレーム間の時間TBと比較を行う(ステップS14)。
【0049】
そして、時間TA≧時間TBでなければ上記ステップS12の処理に戻って、ステップS12〜ステップS14の処理を繰り返し行い、時間TA≧時間TBであれば画像データの送信を行う(ステップS15)。
【0050】
さらに前回送信時刻に送信した画像データの時刻をセットして(ステップS16)上記ステップS12の処理に戻って、ステップS12〜ステップS16の処理を繰り返し行う。
【0051】
カメラサーバ1は、このような動作を連続的に行うことで、クライアントからの要求フレームレートでの画像データの転送を行う。
【0052】
上記のようなフレーム間の時刻を制御して、目標とするフレームレートを実現する方式の場合、画像間隔がほぼ一定となるので、フレームレートが低い場合でも、動画像を表示した場合に自然感じで画像を再現することが可能となる。
【0053】
また、ネットワーク遅延やカメラサーバ1の過負荷などで転送フレームレートがクライアントの要求フレームレートより低下した場合でも、前回送信した画像時刻とのみ、比較を行うことで、フレームレートの低下を即座に検出することが可能となり、必要以上にフレームレートの低下を招くことなく画像データの転送を行うことが実現できる。クライアントの要求フレームレートを実現できない場合はその条件下で最速のフレームレートで送信する、いわゆるベストエフォート型のコントロールを実現することが可能となる。
【0054】
また、カメラサーバ1は、図6に示す手順に従って画像をクライアントに対して次のように制御してもよい。ここで、カメラサーバは、固有のカメラ用時計を有している。
【0055】
先ず、カメラ用時計の前回送信時刻を0にセットし、送信枚数を0にセットすることにより初期化を行う(ステップS21)。
【0056】
次に同じクライアントへ画像データを送信する場合、前回送信したカメラ用時計の画像送信時刻と現在のカメラ用時計の時刻から経過時間TCを計算する(ステップS12)。
【0057】
さらに、クライアントによって設定されたインターバル設定時間TBと上記経過時間TCとを比較する(ステップS23)。
【0058】
そして、時間TC≧時間TDでなければ上記ステップS22の処理に戻って、ステップS22〜ステップS23の処理を繰り返し行い、時間TA≧時間TBであれば画像データの送信を行う(ステップS24)。
【0059】
さらに前回送信時刻に送信した画像データの時刻をセットし、送信枚数を1カウントアップする繰り返し行う。
【0060】
送信枚数Eとクライアントによって要求された設定枚数Fを比較し、送信枚数E>設定枚数FであればS22の処理に戻り、S22〜S25の処理を繰り返し行う(ステップ26)。
【0061】
カメラサーバ1は、このような動作を連続的に行うことで、クライアントから要求された画像送信間隔と画像送信枚数に基づいて画像データの転送を行う。
上記のように送信間隔と送信枚数を制御することにより、所望の画像送信を可能とし、フレームレートに関係なく、所望の画像送信間隔で画像送信を一定間隔で正確に送信することができ、クライアントの要求する画像の精度で動画像を表示することが可能となる。また、クライアントが要求する画像枚数分だけ、正確にクライアントに対して送信することができる。上記時刻は、カメラサーバが有している固有のカメラ用時計の時間を基準にしたが、一般に使用されている、日本標準時間などの時間を基準にしてもよい。上記方法は、画像枚数で制御する方法を記載したが、画像枚数を管理するだけでなく、画像送信時間を管理するようにすれば、正確な画像送信時間のみ画像送信をするということもできる。また、画像送信間隔と画像送信時間を管理することにより、画像送信枚数を管理することもできる。
【0062】
なお、本発明は、図面を参照して説明した上述の実施例に限定されるものではなく、添付の請求の範囲及びその主旨を逸脱することなく、様々な変更、置換又はその同等のものを行うことができることは当業者にとって明らかである。
【0063】
【発明の効果】
本発明によれば、それぞれのクライアントごとにネットワーク上の都合や、クライアントのPC等の端末などの都合、クライアントの要求などに対して、適当な画像送信をすることができる。
【0064】
また、本発明によれば、画像データは情報量が多いので、ネットワークの使用帯域が大きくなる傾向がある。各クライアントで転送フレームレートを制御できれば、各クライアントが所属するネットワークに適した帯域で、データ転送を行うことが可能になる。
【0065】
また、本発明によれば、フレームレートを制御することで、各クライアントマシンのCPU負荷を制御できるようになる。フレームレートを低く設定すれば、CPUの負荷は低減されるので、画像を表示しながら、他の処理を行うことが可能になる。
【0066】
また、本発明によれば、フレームレートを低く設定した場合でも、カメラサーバから、ほぼ等間隔の時間経過した画像を送信するので、自然な感じで動画像を表示することが可能になる。
【0067】
さらに、本発明によれば、画像送信間隔と画像送信枚数を制御することで、所望の画像送信を可能とし、所望の画像送信間隔で画像送信を一定間隔で正確に送信することもできる。クライアントの要求する画像の精度で動画像を表示することが可能となる。また、クライアントが要求する画像枚数分だけ、正確にクライアントに対して送信することができる。
【図面の簡単な説明】
【図1】 本発明が適用されるクライアント・サーバシステムの構成例を示すブロック図である。
【図2】 上記クライアント・サーバシステムにおけるカメラサーバの構成例を示すブロック図である。
【図3】 上記クライアント・サーバシステムにおける要求処理の手順を示すフローチャートである。
【図4】 上記クライアント・サーバシステムにおける画像データの送信処理手順を示すフローチャートである。
【図5】 上記カメラサーバによるフレームレート制御手順を示すフローチャートである。
【図6】 上記カメラサーバによる画像送信間隔、画像送信枚数の制御手順を示すフローチャートである。

Claims (4)

  1. ネットワークに接続されたクライアントへ、画像データを配信するカメラサーバであって、
    撮像手段と、
    上記撮像手段により得られた画像データを圧縮画像データに変換する圧縮処理手段と、
    上記ネットワークを介して各クライアントと通信するためのネットワークインタフェース手段と、
    上記ネットワークインタフェース手段を介して受信されるクライアントからの画像データの送信要求に付加された各クライアントに対応した画像送信情報が、上記画像データの送信要求のあったクライアントを示すクライアント情報とともに登録される記憶手段と、
    上記記憶手段に登録されているクライアント情報及び上記画像送信情報の送信間隔でクライアントに対して上記圧縮処理手段により得られる圧縮画像データを上記ネットワークインタフェース手段を介して配信する制御を行う制御手段とを備え、
    上記制御手段は、同じクライアントに対して、前回画像を送信した前回送信時刻からの経過時間を現在時刻と上記前回送信時刻から計算し、上記記憶手段に登録されているクライアントによって設定されたインターバル設定時間と上記経過時間とを比較し、上記インターバル設定時間を経過時間が越えると最新画像の圧縮画像データを送信して、前回送信時刻に送信した最新画像の時刻をセットし、1カウントアップした送信枚数と上記クライアントによって要求された設定枚数を比較する処理を上記送信枚数が上記設定枚数を超えるまで繰り返し行うカメラサーバ。
  2. ネットワークに接続されたクライアントへ、画像データを配信する画像配信方法において、
    撮像手段により得られた画像データを圧縮画像データに圧縮処理し、
    クライアントからの画像データの送信要求に付加された各クライアントに対応した画像送信情報と、上記画像データの送信要求のあったクライアントを示すクライアント情報とを登録し、
    同じクライアントに対して、前回画像を送信した前回送信時刻からの経過時間を現在時刻と上記前回送信時刻から計算し、上記記憶手段に登録されているクライアントによって設定されたインターバル設定時間と上記経過時間とを比較し、上記インターバル設定時間を経過時間が越えると最新画像の圧縮画像データを送信して、前回送信時刻に送信した最新画像の時刻をセットし、1カウントアップした送信枚数と上記クライアントによって要求された設定枚数を比較する処理を上記送信枚数が上記設定枚数を超えるまで繰り返し行い、
    上記登録されたクライアント情報及び上記画像送信情報の送信間隔でクライアントに対して上記圧縮処理された圧縮画像データを配信する画像配信方法。
  3. ネットワークに接続された複数台のクライアントへ、画像データをリアルタイムで配信するカメラサーバであって、
    撮像手段と、
    上記撮像手段により得られた画像データを圧縮画像データに変換する圧縮処理手段と、
    上記ネットワークを介して各クライアントと通信するためのネットワークインタフェース手段と、
    上記ネットワークインタフェース手段を介して受信される各クライアントからの画像データの送信要求に付加された各クライアントに対応したフレームレート情報が、上記画像データの送信要求のあったクライアントを示すクライアント情報とともに登録される記憶手段と、
    上記クライアント情報及びフレームレート情報を上記記憶手段に登録する制御を行うととともに、上記記憶手段に登録されているクライアント情報及びフレームレート情報に基づいて、要求されたフレームレートで各クライアントに対して上記圧縮処理手段により得られる圧縮画像データを上記ネットワークインタフェース手段を介して配信する制御を行う制御手段とを備え、
    上記制御手段は、上記記憶手段に登録されている各クライアントに対して、前回画像を送信した前回送信時刻からの経過時間を現在時刻と上記前回送信時刻から計算し、上記記憶手段に登録されている各フレームレート情報に基づいて計算されるフレーム間の時間と上記経過時間を比較し、上記フレーム間の時間を経過時間が越えたクライアントに対して最新画像の圧縮画像データを送信して、前回送信時刻に送信した最新画像の時刻をセットする処理を繰り返すことで、上記各クライアントからの要求フレームレートで最新画像の圧縮画像データを上記ネットワークインタフェース手段を介して配信するカメラサーバ。
  4. ネットワークに接続されたクライアントへ、撮像手段により得られた画像データを圧縮画像データに変換してカメラサーバから配信する画像配信方法であって、 カメラサーバ側でネットワークインタフェースを介して受信される各クライアントからの画像データの送信要求に付加された各クライアントに対応したフレームレート情報を上記画像データの送信要求のあったクライアントを示すクライアント情報とともに登録し、
    上記登録されている各クライアントに対して、前回画像を送信した前回送信時刻からの経過時間を現在時刻と上記前回送信時刻から計算し、上記登録されている各フレームレート情報に基づいて計算されるフレーム間の時間と上記経過時間を比較し、上記フレーム間の時間を経過時間が越えたクライアントに対して最新画像の圧縮画像データを送信して、前回送信時刻に送信した最新画像の時刻をセットする処理を繰り返すことで、上記各クライアントからの要求フレームレートで最新画像の圧縮画像データを上記ネットワークインタフェースを介して配信する画像配信方法。
JP2003572304A 2002-02-28 2003-02-27 カメラサーバ及び画像配信方法 Expired - Fee Related JP4341405B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2002054509 2002-02-28
JP2002054509 2002-02-28
PCT/JP2003/002263 WO2003073763A1 (fr) 2002-02-28 2003-02-27 Serveur de camera et procede de distribution d'image

Publications (2)

Publication Number Publication Date
JPWO2003073763A1 JPWO2003073763A1 (ja) 2005-06-23
JP4341405B2 true JP4341405B2 (ja) 2009-10-07

Family

ID=27764400

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003572304A Expired - Fee Related JP4341405B2 (ja) 2002-02-28 2003-02-27 カメラサーバ及び画像配信方法

Country Status (4)

Country Link
US (1) US20050015808A1 (ja)
EP (1) EP1480460A4 (ja)
JP (1) JP4341405B2 (ja)
WO (1) WO2003073763A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040205824A1 (en) * 2003-04-10 2004-10-14 Chic Technology Corp. Web home security system
US20060029127A1 (en) * 2004-08-05 2006-02-09 Vicon Industries Inc. Controlling the distribution of different frames per second of a video stream to various recipients
JP4549769B2 (ja) * 2004-08-05 2010-09-22 株式会社メガチップス 画像閲覧方法
JP4654463B2 (ja) * 2004-09-10 2011-03-23 株式会社メガチップス 画像再生方法およびシステム
JP4577118B2 (ja) * 2005-06-24 2010-11-10 ブラザー工業株式会社 サービス提供システム、クライアント、サーバおよびプログラム
US8873932B2 (en) * 2007-12-11 2014-10-28 Cisco Technology, Inc. Inferential processing to ascertain plural levels of picture interdependencies
US8416859B2 (en) 2006-11-13 2013-04-09 Cisco Technology, Inc. Signalling and extraction in compressed video of pictures belonging to interdependency tiers
US8875199B2 (en) 2006-11-13 2014-10-28 Cisco Technology, Inc. Indicating picture usefulness for playback optimization
US8155207B2 (en) 2008-01-09 2012-04-10 Cisco Technology, Inc. Processing and managing pictures at the concatenation of two video streams
US8958486B2 (en) 2007-07-31 2015-02-17 Cisco Technology, Inc. Simultaneous processing of media and redundancy streams for mitigating impairments
US8804845B2 (en) 2007-07-31 2014-08-12 Cisco Technology, Inc. Non-enhancing media redundancy coding for mitigating transmission impairments
JP2009076172A (ja) * 2007-09-25 2009-04-09 Hitachi Ltd データ伝送方法、光ディスク記録方法及び光ディスク記録装置
US8416858B2 (en) 2008-02-29 2013-04-09 Cisco Technology, Inc. Signalling picture encoding schemes and associated picture properties
WO2009152450A1 (en) 2008-06-12 2009-12-17 Cisco Technology, Inc. Picture interdependencies signals in context of mmco to assist stream manipulation
US8699578B2 (en) 2008-06-17 2014-04-15 Cisco Technology, Inc. Methods and systems for processing multi-latticed video streams
US8971402B2 (en) 2008-06-17 2015-03-03 Cisco Technology, Inc. Processing of impaired and incomplete multi-latticed video streams
US8705631B2 (en) 2008-06-17 2014-04-22 Cisco Technology, Inc. Time-shifted transport of multi-latticed video for resiliency from burst-error effects
US8259814B2 (en) 2008-11-12 2012-09-04 Cisco Technology, Inc. Processing of a video program having plural processed representations of a single video signal for reconstruction and output
US8949883B2 (en) 2009-05-12 2015-02-03 Cisco Technology, Inc. Signalling buffer characteristics for splicing operations of video streams
US8279926B2 (en) 2009-06-18 2012-10-02 Cisco Technology, Inc. Dynamic streaming with latticed representations of video
JP2015164240A (ja) * 2014-02-28 2015-09-10 オリンパス株式会社 通信機器、撮像装置、サーバ、通信システム、通信方法、及び通信プログラム
US11232302B2 (en) 2018-10-01 2022-01-25 JBT AeroTech Corporation Video messaging system

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5822524A (en) * 1995-07-21 1998-10-13 Infovalue Computing, Inc. System for just-in-time retrieval of multimedia files over computer networks by transmitting data packets at transmission rate determined by frame size
US6233017B1 (en) * 1996-09-16 2001-05-15 Microsoft Corporation Multimedia compression system with adaptive block sizes
JPH10164553A (ja) * 1996-11-29 1998-06-19 Canon Inc 映像サーバ及びクライアント及び制御方法及び記憶媒体
JP4035211B2 (ja) * 1997-09-30 2008-01-16 キヤノン株式会社 映像制御装置及び制御方法及び記憶媒体
JPH10304334A (ja) * 1997-04-25 1998-11-13 Canon Inc 通信方法、通信装置、送信装置、受信装置、通信システム、及び記憶媒体
JPH10336627A (ja) * 1997-06-05 1998-12-18 Canon Inc 画像処理装置及び方法及び記憶媒体
JPH11308555A (ja) * 1998-04-17 1999-11-05 Minolta Co Ltd 動画像記録システム
JPH11308267A (ja) * 1998-04-21 1999-11-05 Canon Inc 情報配信サーバ及びその制御方法及び記憶媒体
JP2000338944A (ja) * 1999-05-26 2000-12-08 Mitsubishi Electric Corp マルチディスプレイビデオ表示装置
JP2001069472A (ja) * 1999-08-26 2001-03-16 Toshiba Corp 映像通信端末
US7143432B1 (en) * 1999-10-01 2006-11-28 Vidiator Enterprises Inc. System for transforming streaming video data
JP2001136502A (ja) * 1999-11-02 2001-05-18 Canon Inc 分散システム、その表示方法、通信装置および記憶媒体
JP3927346B2 (ja) * 2000-02-10 2007-06-06 株式会社メガチップス 画像送信装置、画像受信装置、および、画像伝送システム
JP2002125226A (ja) * 2000-10-17 2002-04-26 Matsushita Electric Ind Co Ltd フレームレート制御方法及び画像伝送装置

Also Published As

Publication number Publication date
JPWO2003073763A1 (ja) 2005-06-23
US20050015808A1 (en) 2005-01-20
EP1480460A1 (en) 2004-11-24
EP1480460A4 (en) 2007-02-14
WO2003073763A1 (fr) 2003-09-04

Similar Documents

Publication Publication Date Title
JP4341405B2 (ja) カメラサーバ及び画像配信方法
US6697097B1 (en) Synchronizing voice and video transmitted over separate channels
JP4712238B2 (ja) 映像信号符号化装置、映像信号送信装置、および映像信号符号化方法
KR101796179B1 (ko) 피어-투-피어 네트워크에서 대역폭을 협상하기 위한 방법 및 디바이스
US8160129B2 (en) Image pickup apparatus and image distributing method
WO2013132828A1 (ja) 通信システムおよび中継装置
JP3908789B2 (ja) ビデオ伝送システム
JP2001094625A (ja) データ通信装置、データ通信方法及び記憶媒体
US6707947B1 (en) Frame switcher and method of switching, digital camera, and monitoring system
JP2003299069A (ja) 画像配信方法およびその動作処理を実行するプログラムおよびそのプログラムを記憶した記憶媒体、および画像配信装置および画像受信装置
US7804516B2 (en) Network capturing apparatus, displaying method, computer-readable recording medium, and network system
EP0939545A2 (en) Video service system
WO2008050621A1 (fr) Système de serveur de caméra, procédé de traitement de données et serveur de caméra
JP2007281552A (ja) 通信装置
JP2000050235A (ja) 監視装置
US6947447B1 (en) Image communication apparatus, image communication method and recording medium which stores the sound and image
US7298397B2 (en) Digital transmission system
JP4371859B2 (ja) 動画情報伝送方法および装置
JP4277365B2 (ja) 動画配信システム
JP2007281973A (ja) 映像データ送信装置、映像データ送信方法及びプログラム
KR20140111324A (ko) 비디오 감시 방법, 관련 시스템, 관련 감시 서버, 및 관련 감시 카메라
JP2003209828A (ja) 動画像リアルタイム配信システム
JPS62188579A (ja) 動画像情報予約提供方式
JP2003219397A (ja) 映像配信サーバ及び映像配信システム
JPH06339139A (ja) データ伝送装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090616

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090629

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120717

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120717

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees