JP7463268B2 - ビデオのモニタリングにおけるリアルタイム偏差 - Google Patents

ビデオのモニタリングにおけるリアルタイム偏差 Download PDF

Info

Publication number
JP7463268B2
JP7463268B2 JP2020218149A JP2020218149A JP7463268B2 JP 7463268 B2 JP7463268 B2 JP 7463268B2 JP 2020218149 A JP2020218149 A JP 2020218149A JP 2020218149 A JP2020218149 A JP 2020218149A JP 7463268 B2 JP7463268 B2 JP 7463268B2
Authority
JP
Japan
Prior art keywords
bitrate
video bitstream
event
video stream
output video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020218149A
Other languages
English (en)
Other versions
JP2021114763A (ja
JP2021114763A5 (ja
Inventor
マティアス ペッターソン，
Original Assignee
アクシス アーベー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アクシス アーベー filed Critical アクシス アーベー
Publication of JP2021114763A publication Critical patent/JP2021114763A/ja
Publication of JP2021114763A5 publication Critical patent/JP2021114763A5/ja
Application granted granted Critical
Publication of JP7463268B2 publication Critical patent/JP7463268B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19604—Image analysis to detect motion of the intruder, e.g. by frame subtraction involving reference image or background adaptation with time to compensate for changing conditions, e.g. reference image update on detection of light level change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19667—Details realated to data compression, encryption or encoding, e.g. resolution modes for reducing data volume to lower transmission bandwidth or memory requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/23805—Controlling the feeding rate to the network, e.g. by controlling the video pump
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2385—Channel allocation; Bandwidth allocation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2401—Monitoring of the client buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26216—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the channel capacity, e.g. network bandwidth
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

この開示は一般的に、ビデオのモニタリングに関する。
ビデオ管理システムでは、オペレータ（例えば、警備員）は、多くの異なる監視エリアをカバーする、多くの異なるビデオストリームを見る場合がある。ビデオストリームを監視することに加えて、オペレータはまた、それらの監視エリアにて発生しているイベントに関連付けられた警報に対応する責任を負う場合もある。例えば、監視エリアには、温度センサ、モーションデテクタ、アライバルセンサ、プレゼンスセンサ、ドア開／閉（例えば、接触）センサ、光センサ、などがある場合がある。オペレータは、監視エリアにおけるモーション、及び／又は、ドアが開いた状態に対する警報を受ける場合がある。
方法は、ライブシーンのビデオストリームをネットワークを経由してリアルタイムの伝送速度にて伝送することと、伝送されたビデオストリームに関連付けられたイベントを検出することと、を含んでよい。イベントは、ビデオストリームにおける開始時間及び終了時間を有する。本方法はまた、ビデオストリームをネットワークを経由してリアルタイムの伝送速度より低い速度にてイベント中に伝送することであって、ビデオストリームをリアルタイムの伝送速度より低い速度にて伝送することは、ビデオストリームがスローモーションにて再生されるようにするタイムストレッチを導入する、ビデオストリームを伝送することと、ビデオストリームのビットレートをイベント後に下げることと、ビットレートが下げられたビデオストリームをネットワークを経由してイベント後に伝送してタイムストレッチを補うことと、をも含んでよい。この実施形態は、例えば、追加的情報（例えば、モーション情報）が、それが失われること（例えば、パケットロス、又は、さもなければ、より低いビットレートへのエンコーディング）なく、エンコードされることを可能にし得る。この実施形態は、オペレータが、（追加的情報を含む）ビデオストリームをスローモーションにて見ることを可能にし得る。
ビットレートが下げられたビデオストリームを伝送することは、ビットレートが下げられたビデオストリームをリアルタイムの伝送速度を超える速度にてイベント後に伝送してタイムストレッチを補うことを含んでよい。この実施形態は、タイムストレッチを補うことを可能にし得、オペレータがビデオをファストモーションにて見ることを可能にし得る。この方法は、ビデオストリームをイベント中にバッファにバッファリングすることを含んでよい。バッファは、アプリケーションレイヤバッファである。この実施形態は、多数のビデオストリーム又は他の情報を含み得るネットワークレベル上ではない、特定のビデオストリームに対してバッファリングが行われることに関する決定を可能にし得る。
この方法は、ビデオストリームを伝送するためのネットワークにおけるチャネルの最大伝送速度に相当するチャネル容量を判定することを含んでよい。ビデオストリームをネットワークを経由してリアルタイムの伝送速度にて伝送することは、ビデオストリームをネットワークを経由してチャネル容量にて伝送することを含んでよい。この実施形態は、チャネル容量での、又は、それに近い容量でのビデオストリームの伝送を可能にし得る一方で、例えば、ビデオストリームのビットレートがイベント中にチャネル容量を超えることを依然として可能にし得る。
この方法は、イベント中の時間に相当するビデオストリームをネットワークを経由してリアルタイムの伝送速度未満の速度にて受信することと、イベント中の時間に相当するビデオをディスプレイ上にタイムストレッチに相当するスローモーションにて表示することと、を含んでよい。この実施形態は、オペレータが、イベント中に、ビデオストリーム（例えば、モーション）においてエンコードされた追加的情報を見ることを可能にし得る。
この方法は、イベント後の時間に相当するビデオストリームをネットワークを経由してリアルタイムの伝送速度を超える速度にて受信することと、イベント後に相当するビデオをディスプレイ上にファストモーションにて表示することと、を含んでよい。この実施形態は、オペレータが、イベント後に、ビデオストリームにおいてリアルタイムに見ることに「追いつく」ことを可能にし得る。
伝送されたビデオストリームは、イベント前の第１のビットレートと、イベント中の第２のビットレートと、を有する。１つの実施形態では、第２のビットレートは、第１のビットレートより高い。伝送されたビデオストリームは、イベント前の第１のビットレートと、イベント後の第３のビットレートと、を有する。第３のビットレートは、下げられたビットレートに相当する。１つの実施形態では、第３のビットレートは、第１のビットレートより低い。ビデオストリームのビットレートを下げることは、ビデオストリームの品質係数を下げることを含んでよい。ビデオストリームの品質係数を下げることは、ビデオストリームにおけるフレームレート、量子化パラメータ、又は画像の解像度を下げることを含んでよい。
ビデオストリームに関連付けられた、対象とするイベントを検出することは、ビデオストリームのビデオにおけるモーションを検出すること、ビデオストリームにおけるビットレートの上昇を検出すること、制御システムにおいてイベントメッセージを受信すること、又は、物理的アクセス制御システムにおいてイベントメッセージを受信すること、を含んでよい。この実施形態は、モニタリングシステムが、ビデオストリームにおける追加的情報（例えば、モーション又は品質の改善など）をキャプチャすることを可能にし得る一方で、ビデオストリームのビットレートがチャネル容量より高い場合に、この情報の伝送を依然として可能にし得る。
デバイスは、トランスミッタと、プロセッサと、を含んでよい。トランスミッタは、ライブシーンのビデオストリームをネットワークを経由してリアルタイムの伝送速度にて伝送してよい。プロセッサは、伝送されたビデオストリームに関連付けられたイベントを検出してよい。イベントは、ビデオストリームにおける開始時間及び終了時間を有する。トランスミッタは、ビデオストリームをネットワークを経由してリアルタイムの伝送速度より低い速度にてイベント中に伝送してよい。ビデオストリームがリアルタイムの伝送速度より低い速度にて伝送されると、ビデオストリームがスローモーションにて再生されるようにするタイムストレッチが導入される。プロセッサは、ビデオストリームのビットレートをイベント後に下げてよい。トランスミッタは、ビットレートが下げられたビデオストリームをネットワークを経由してイベント後に伝送してタイムストレッチを補ってよい。この実施形態は、例えば、追加的情報（例えば、モーション情報）が、それが失われること（例えば、パケットロス、又は、さもなければ、より低いビットレートへのエンコーディング）なく、エンコードされることを可能にし得る。この実施形態は、オペレータが、（追加的情報を含む）ビデオストリームをスローモーションにて見ることを可能にし得る。
１つの実施形態では、トランスミッタは、ビットレートが下げられたビデオストリームをリアルタイムの伝送速度を超える速度にてイベント後に伝送することにより、ビットレートが下げられたビデオストリームを伝送してタイムストレッチを補ってよい。この実施形態は、タイムストレッチを補うことを可能にし得、オペレータがビデオをファストモーションにて見ることを可能にし得る。デバイスは、ビデオストリームをイベント中にバッファにバッファリングする当該バッファを含んでよい。１つの実施形態では、バッファは、アプリケーションレイヤバッファである。この実施形態は、多数のビデオストリーム又は他の情報を含み得るネットワークレベル上ではない、特定のビデオストリームに対してバッファリングが行われることに関する決定を可能にし得る。
プロセッサは、ビデオストリームを伝送するためのネットワークにおけるチャネルの最大伝送速度に相当するチャネル容量を判定するよう構成されてよい。トランスミッタは、ビデオストリームをネットワークを経由してチャネル容量にて伝送することにより、ビデオストリームをネットワークを経由してリアルタイムの伝送速度にて伝送してよい。この実施形態は、チャネル容量での、又は、それに近い容量でのビデオストリームの伝送を可能にし得る一方で、例えば、ビデオストリームのビットレートがイベント中にチャネル容量を超えることを依然として可能にし得る。
デバイスは、イベント中の時間に相当するビデオストリームをネットワークを経由してリアルタイムの伝送速度未満の速度にて受信するレシーバに関連付けられてよい。デバイスは、イベント中の時間に相当するビデオをディスプレイ上にタイムストレッチに相当するスローモーションにて表示するディスプレイに関連付けられてよい。１つの実施形態では、トランスミッタは、ビットレートが下げられたビデオストリームをリアルタイムの伝送速度を超える速度にてイベント後に伝送することにより、ビットレートが下げられたビデオストリームを伝送してタイムストレッチを補ってよい。この実施形態は、オペレータが、イベント中に、ビデオストリーム（例えば、モーション）においてエンコードされた追加的情報を見ることを可能にし得る。
レシーバは、イベント後の時間に相当するビデオストリームをネットワークを経由してリアルタイムの伝送速度を超える速度にて受信してよい。ディスプレイは、イベント後に相当するビデオをディスプレイ上にファストモーションにて表示してよい。この実施形態は、オペレータが、イベント後に、ビデオストリームにおいてリアルタイムに見ることに「追いつく」ことを可能にし得る。
伝送されたビデオストリームは、イベント前の第１のビットレートと、イベント中の第２のビットレートと、を有する。１つの実施形態では、第２のビットレートは、第１のビットレートより高い。伝送されたビデオストリームは、イベント前の第１のビットレートと、イベント後の第３のビットレートと、を有する。１つの実施形態では、第３のビットレートは、下げられたビットレートに相当する。第３のビットレートは、第１のビットレートより低い。
プロセッサは、ビデオストリームの品質係数を下げることにより、ビデオストリームのビットレートを下げてよい。プロセッサは、ビデオストリームにおけるフレームレート、量子化パラメータ、又は画像の解像度を下げることにより、ビデオストリームの品質係数を下げてよい。プロセッサは、ビデオストリームのビデオにおけるモーションを検出すること、ビデオストリームにおけるビットレートの上昇を検出すること、制御システムにおいてイベントメッセージを受信すること、又は、物理的アクセス制御システムにおいてイベントメッセージを受信すること、により、ビデオストリームに関連付けられた、対象とするイベントを検出するよう構成されてよい。この実施形態は、モニタリングシステムが、ビデオストリームにおける追加的情報（例えば、モーション又は品質の改善など）をキャプチャすることを可能にし得る一方で、ビデオストリームのビットレートがチャネル容量より高い場合に、この情報の伝送を依然として可能にし得る。
図１は、１つの実施形態における、例示的な環境を示すブロック図である。 図２は、１つの実施形態における、図１のカメラの例示的なコンポーネントを示すブロック図である。 図３は、１つの実施形態における、コンピューティングモジュールの例示的なコンポーネントを示すブロック図である。 図４は、１つの実施形態における、図１のカメラ及び／又はビデオモニタリングシステムの例示的な機能的コンポーネントのブロック図である。 図５は、１つの実施形態における、図１のモーションデテクタ、フェイスデテクタ、及び／又はセンサの例示的な機能的コンポーネントのブロック図である。 図６は、１つの実施形態における、図１のモニタリングステーションの例示的な機能的コンポーネントのブロック図である。 図７は、簡略化したモニタリングシステム環境のブロック図である。 図８Ａ及び図８Ｂは、１つの実施形態における、ビデオモニタリングシステムにおけるリアルタイム偏差に対する処理のフローチャートである。 図９Ａ、図９Ｂ、及び図９Ｃは、１つの実施形態において、オペレータがイベント前、イベント中、及びイベント後にディスプレイ上に見るであろうものを示す。 図１０は、１つの実施形態における、イベント前、イベント中、及びイベント後のビットレートを示す。 図１１は、別の実施形態における、イベント前、イベント中、及びイベント後のビットレートを示す。 図１２は、図１１の実施形態において、オペレータがイベント中にディスプレイ上に見るであろうものを示す。 図１３は、別の実施形態における、イベント前、イベント中、及びイベント後のビットレートを示す。
以下の詳細説明は、添付の図面を参照する。それぞれの図面において、同じ参照番号は、同じ構成要素又は同様の構成要素を特定する。
上述するように、オペレータはモニタリングステーションにおり、セキュリティカメラから流れてくるビデオを監視する。監視エリアにおいて、モーションなどの「イベント」が発生すると、モニタリングシステムにおいて問題が生じる場合がある。追加的情報がエンコードされる必要があるため、モーションにより、ビデオストリームのビットレートが一時的に上がる場合がある。この上昇したビットレートは、ネットワーク容量より高い場合があるため、この上昇により、パケットが結果として失われる場合がある。結果として、ビデオにおける、オペレータにとって最も関心のある正確な瞬間を逃す場合がある。いくつかのモニタリングシステムは、（例えば、フレームレート、画像品質、又はモーションキャプチャを下げることにより）ビデオの品質を下げて、ビットレートが上がることを防ぐ場合がある。これにより、オペレータにとって最も関心のある正確な瞬間のビデオの品質が下がることとなる。
以下に開示する実施形態は、ネットワークに大きな負荷を掛けることや、パケットが欠落することが必ずしもなく、（例えば、追加的モーション情報を含むよう）モニタリングシステムがビデオストリームのビットレートを上げることを可能にし得る。その代わりに、下記の実施形態は、例えば、オペレータが、ビットレートがより高いイベントをスローモーションにて見ることを可能にし得る。
図１は、１つの実施形態における、例示的な環境１００を示すブロック図である。環境１００は、例えば、エリアを保護する、又は、公共の安全を提供するモニタリングシステムであってよい。図１に示すように、環境１００は、カメラ１１０－１から１１０－Ｍ、ネットワーク１２０、ビデオ管理システム（ｖｉｄｅｏ ｍａｎａｇｅｍｅｎｔ ｓｙｓｔｅｍ又はＶＭＳ）１５０、モニタリングステーション１２５－１から１２５－Ｎ、及び／又はディスプレイ１３０－１から１３０－Ｎを含んでよい。環境１００はまた、モーションデテクタ１１１、スモークデテクタ１１２、及び／又はセンサ１１３をも含んでよい。
カメラ１１０－１から１１０－Ｍ（単一の「カメラ１１０」又は複数の「カメラ１１０」）は、監視エリア１０６の画像及び／又はビデオを撮像する。エリア１０６は、撮像されたビデオストリームがライブシーン又はライブイベントを表すことを意味する「ライブシーン」又は「ライブイベント」を含んでよい。監視エリア１０６は、１つ又はそれ以上のカメラ１１０により監視されてよい。例えば、カメラ１１０－１及びカメラ１１０－２が、対象１０２－１を含むエリア１０６－１を監視する。対象１０２は、ドア、人、動物、車両、車両のライセンスプレートなど、ビデオストリームにおいて識別可能ないずれの対象を含んでよい。
カメラ１１０は、可視光、赤外線光、及び／又は他の非可視電磁放射線（例えば、紫外線光、遠赤外線光、テラヘルツ放射線、マイクロ波放射線、など）を使用して、イメージデータを撮像してよい。カメラ１１０は、サーマルカメラ及び／又はレーダー撮像用のレーダー（ｒａｄｉｏ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｒａｎｇｉｎｇ又はｒａｄａｒ）を含んでよい。撮像されたイメージデータは、連続するイメージシーケンス（例えば、ビデオ）、限定的なイメージシーケンス、静止画像、及び／又はそれらの組み合わせを含んでよい。カメラ１１０は、画像を撮像してそれをデジタル化するデジタルカメラ、及び／又は、画像を撮像してそのイメージデータをアナログフォーマットにて保存するアナログカメラを含んでよい。
カメラ１１０は、１つ又はそれ以上の二次元アレイ（単一又は複数）（例えば、イメージデータ又はビデオデータ）に配置されたデータを生成するセンサを含んでよい。ここで使用されるように、「ビデオデータ」、「ビデオストリーム」、及び「ビデオ」は、より一般的に、「イメージデータ」及び「画像」とそれぞれ呼ばれ得る。したがって、「イメージデータ」又は「画像」は、特に明記しない限り、「ビデオデータ」、「ビデオストリーム」、及び「ビデオ」を含むよう意味する。同様に、「ビデオデータ」、「ビデオストリーム」、又は「ビデオ」は、特に明記しない限り、静止画像を含み得る。
他のモニタリングデバイス又はセンサは、監視エリア１０６からの情報をキャプチャしてよい。例えば、モーションデテクタ１１１（例えば、これは、カメラ以外のデバイスを含んでよい）は、エリア１０６－１におけるモーションを検出してよい。モーションデテクタ１１１は、近接センサ、磁気センサ、侵入センサ、圧力センサ、赤外線光センサ、レーダーセンサ、及び／又は放射線センサを含んでよい。スモークデテクタ１１２は、エリア１０６－１における煙を検出してよい。スモークデテクタ１１２はまた、ヒートセンサをも含んでよい。センサ１１３は、例えば、ドア又はウィンドウが開けられたり閉じられたりしたこと、又は、開いたか閉じたことを判定する近接センサを含む、いずれのタイプのセンサを含んでよい。
モニタリングステーション１２５－１から１２５－Ｎは、ディスプレイ１３０－１から１３０－Ｎ（それぞれが単一の、「モニタリングステーション１２５」及び「ディスプレイ１３０」）に接続されている。モニタリングステーション１２５及びディスプレイ１３０は、オペレータ（図１に図示せず）が、カメラ１１０からの画像を見ることを可能にする。モニタリングステーション１２５及びディスプレイ１３０のそれぞれは、環境１００に示すモニタリングシステムとやりとりするオペレータのための「クライアント」であってよい。
ディスプレイ１３０は、１つ又はそれ以上のカメラ１１０からのビデオストリーム（単一又は複数）を受信して表示してよい。単一のディスプレイ１３０は、単一のカメラ１１０からの、又は、多数のカメラ１１０からの画像を（例えば、ディスプレイ１３０上の多数のフレーム又はウィンドウに）示してよい。単一のディスプレイ１３０はまた、単一のカメラからの複数の画像をも、それぞれ異なるフレームにて示してよい。つまり、単一のカメラは、例えば、広角又は魚眼レンズを含んでよく、多数のエリア１０６の複数の画像を提供してよい。異なるエリア１０６からの画像のそれぞれは、異なるウィンドウ及び／又はフレームにおいて個別に分けられてディスプレイ１３０上に示されてよい。ディスプレイ１３０は、液晶ディスプレイ（ｌｉｑｕｉｄ－ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ又はＬＣＤ）、発光ダイオード（ｌｉｇｈｔ－ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ又はＬＥＤ）ディスプレイ、有機ＬＥＤ（ｏｒｇａｎｉｃ ＬＥＤ又はＯＬＥＤ）ディスプレイ、陰極線管（ｃａｔｈｏｄｅ ｒａｙ ｔｕｂｅ又はＣＲＴ）ディスプレイ、プラズマディスプレイ、レーザビデオディスプレイ、電気泳動ディスプレイ、量子ドットディスプレイ、ビデオプロジェクタ、及び／又はいずれの他のタイプのディスプレイを含んでよい。
ネットワーク１２０は、１つ又はそれ以上の回線交換ネットワーク及び／又はパケット交換ネットワークを含んでよい。例えば、ネットワーク１２０は、ローカルエリアネットワーク（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ又はＬＡＮ）、ワイドエリアネットワーク（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ又はＷＡＮ）、メトロポリタンエリアネットワーク（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ又はＭＡＮ）、公衆交換電話網（Ｐｕｂｌｉｃ Ｓｗｉｔｃｈｅｄ Ｔｅｌｅｐｈｏｎｅ Ｎｅｔｗｏｒｋ又はＰＳＴＮ）、アドホックネットワーク、イントラネット、インターネット、光ファイバに基づくネットワーク、ワイヤレスネットワーク、及び／又は、これら若しくは他のタイプのネットワークの組み合わせを含んでよい。
ＶＭＳ１５０は、カメラ１１０及び／又はディスプレイ１３０の作動をコーディネートするサーバーデバイスなどの、１つ又はそれ以上のコンピュータデバイスを含んでよい。ＶＭＳ１５０は、カメラ１１０からのイメージデータを受信して、これを保存してよい。ＶＭＳ１５０はまた、ＶＭＳ１５０に保存されたイメージデータ又はカメラ１１０から流れてくるイメージデータを見る、モニタリングステーション１２５のオペレータのためのユーザインターフェースをも提供してよい。ＶＭＳ１５０は、カメラ１１０からのイベントの通知を受信して、それらの通知が、（例えば、アラームを生成する）作動を行うためのルール（例えば、適合基準）を呼び出すか否かを判定するルールエンジンを含んでよい。例えば、エリア１０６におけるモーションをカメラ１１０が検出すると、カメラ１１０はこれをＶＭＳ１５０に通知してよい。ルールの結果として、ＶＭＳ１５０におけるルールエンジンは、モニタリングステーション１２５におけるディスプレイ１３０にネットワーク１２０を通してアラームを送信してよい。イベント（及び、それらの通知）は、環境１００における、カメラ１１０以外のデバイス及びセンサによりトリガされてよい。例えば、環境は、イベントの通知を生成できるモーションデテクタやフォトデテクタなどを含んでよい。
いくつかの実施形態では、環境１００は、個別のＶＭＳ１５０を含まない。その代わりに、ＶＭＳ１５０により提供されるサービスは、モニタリングステーション１２５及び／又はカメラ１１０自体により提供されるか、又は、環境１００におけるデバイス間に分散して提供される。例えば、カメラ１１０は、イベントの通知により、（例えば、検出されたモーションに基づいてアラームを発令する）作動を行うルールが呼び出されたときを判定するルールエンジンを含んでよい。同様に、ＶＭＳ１５０は、カメラ１１０により行われるものとして説明された作動を行ってよい。例えば、ＶＭＳ１５０は、カメラ１１０の代わりにイメージデータを解析してモーションを検出してよい。
図１は、環境１００の例示的なコンポーネントを示すが、他の実装では、環境１００は、図１に描くものと比較して、より少ないコンポーネント、異なるコンポーネント、異なって配置されたコンポーネント、又は追加的コンポーネントを含んでよい。加えて、又はその代わりに、いずれの１つのデバイス（又は、いずれのグループのデバイス）は、１つ又はそれ以上の他のデバイスにより行われるものとして説明された機能を行ってよい。
図２は、１つの実施形態における、カメラ１１０の例示的なコンポーネントを示すブロック図である。図２に示すように、カメラ１１０は、光学系チェーン２１０、センサアレイ２２０、バス２２５、イメージプロセッサ２３０、コントローラ２４０、メモリ２４５、ビデオエンコーダ２５０、及び／又は通信インターフェース２６０を含んでよい。１つの実施形態では、カメラ１１０は、カメラ１１０をパン、チルト、及びズームするための、１つ又はそれ以上のモータコントローラ２７０（例えば、３つ）と、１つ又はそれ以上のモータ２７２（例えば、３つ）と、を含んでよい。バス２２５は、カメラ１１０におけるコンポーネントが互いに通信できるようにする通信パスである。
光学系チェーン２１０は、入射放射線（例えば、光、可視光、赤外線波、ミリメートル波、など）をセンサアレイ２２０に向ける筐体を含み、入射放射線に基づく画像を撮像する。光学系チェーン２１０は、監視エリアからの入射放射線を集めて、これらの焦点をセンサアレイ２２０上に合わせるレンズ２１２を含む。
センサアレイ２２０は、センサアレイ２２０に入射する、又は、ここに落ちる放射線（例えば、光）を検知し、感知し、そして測定するセンサのアレイを含んでよい。放射線は、可視光波長帯、赤外線波長帯、又は他の波長帯にあってよい。センサアレイ２２０は、例えば、電荷結合素子（ｃｈａｒｇｅｄ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ又はＣＣＤ）アレイ及び／又はアクティブピクセルアレイ（例えば、相補型金属酸化膜半導体（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ－ｏｘｉｄｅ－ｓｅｍｉｃｏｎｄｕｃｔｏｒ又はＣＭＯＳ）センサアレイ）を含んでよい。センサアレイ２２０はまた、マイクロボロメータをも含んでよい（例えば、カメラ１１０が、サーマルカメラ又はデテクタを含む場合）。
センサアレイ２２０は、センサアレイ２２０上に入射する放射線（例えば、光）を示す（例えば、性状又は性質を説明する）データを出力する。例えば、センサアレイ２２０から出力されたデータは、センサアレイ２２０における１つ又はそれ以上のピクセル上に入射する光の強度（例えば、輝度）や色などの情報を含んでよい。センサアレイ２２０上に入射する光は、光学系チェーン２１０におけるレンズそれぞれの結果としてその光の焦点が合ってよい「画像」であってよい。センサアレイ２２０は、「イメージセンサ」とみなすことができる。なぜならこれは、センサアレイ２２０上に衝突する電磁放射線（例えば、光）を感知して、これらの放射線を多次元信号に変換するからである。用語「画像」は、ここで使用されるように、センサアレイ２２０上に入射する放射線を示す（例えば、光の性状又は性質を説明する）データを含む。これにより、用語「画像」はまた、画像を説明する「イメージセンサデータ」、又は、いずれのデータ若しくはデータセットを意味するよう使用されてもよい。さらに、「ピクセル」は、放射線の測定（単一又は複数）（例えば、センサアレイ２２０上に入射する光を示す測定）が行われる、センサアレイ２２０のいずれの領域又はエリアを意味してよい。ピクセルは、センサアレイ２２０における１つ又はそれ以上（又は、１未満）のセンサ（単一又は複数）に相当してよい。代替的な実施形態では、センサ２２０は、スキャニングハードウェア（例えば、回転ミラー）を使用して画像を形成してよいリニアアレイ、又は、イメージプロセッサ２３０及び／又はコントローラ２４０に依存してイメージセンサデータを作成してよいノンアレイセンサであってよい。
ビデオエンコーダ２５０は、ステーション１２５及び／又はＶＭＳ１５０などの、環境１００における他のデバイスへの伝送のためのイメージセンサデータをエンコードしてよい。ビデオエンコーダ２５０は、ＩＳＯ／ＭＰＥＧ又はＩＴＵ－Ｈ．２６Ｘファミリのビデオコーディング標準などのビデオコーディング技術を使用してよい。
イメージプロセッサ２３０及び／又はコントローラ２４０は、センサアレイ２２０により撮像されたイメージデータに対する信号処理動作を行ってよい。イメージプロセッサ２３０及び／又はコントローラ２４０は、各種の命令を解釈して実行する、いずれのタイプのシングルコア又はマルチコアプロセッサ、マイクロプロセッサ、ラッチベースプロセッサ、及び／又は、処理ロジック（又は、プロセッサ、マイクロプロセッサ、及び／又は処理ロジックのファミリ）を含んでよい。イメージプロセッサ２３０及び／又はコントローラ２４０は、グラフィック処理ユニット（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ又はＧＰＵ）、汎用グラフィック処理ユニット（ｇｅｎｅｒａｌ ｐｕｒｐｏｓｅ ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ又はＧＰＧＰＵ）、セル（Ｃｅｌｌ）、フィールドプログラマブルゲートアレイ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ又はＦＰＧＡ）、特定用途向け集積回路（アプリケーション ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ又はＡＳＩＣ）、及び／又は、別のタイプの集積回路又は処理ロジックなどの、ハードウェアアクセラレータを含んでよい、又は、これに接続されてよい。
コントローラ２４０はまた、カメラ１１０の所望する焦点及び位置（例えば、チルト及びズーム）をも判定して制御してよい。そのために、コントローラ２４０は、１つ又はそれ以上のモータコントローラ２７０にコマンドを送信し、１つ又はそれ以上のモータ２７２を駆動し、カメラ１１０をチルト及び／又はパンするか、又は、レンズ２１２を光学的にズームする。
メモリ２４５は、情報及び／又は命令を保存する、いずれのタイプの揮発性及び／又は不揮発性ストレージデバイスを含んでよい。メモリ２４５は、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ又はＲＡＭ）若しくはいずれのタイプのダイナミックストレージデバイス、読み取り専用メモリ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ又はＲＯＭ）デバイス若しくはいずれのタイプのスタティックストレージデバイス、磁気的若しくは光学的記録メモリデバイス及びそれに相当するドライブ、又は、リムーバブルメモリデバイスを含んでよい。メモリ２４５は、プロセッサカメラ１１０による使用のための、情報及び命令（例えば、アプリケーション及び／又はオペレーティングシステム）と、データ（例えば、アプリケーションデータ）と、を保存してよい。
メモリ２４５は、コントローラ２４０及び／又はイメージプロセッサ２３０による実行のための命令を保存してよい。ソフトウェア命令は、別のコンピュータ可読媒体から、又は、別のデバイスから、メモリ２４５に読み込まれてよい。ソフトウェア命令は、コントローラ２４０及び／又はイメージプロセッサ２３０に、ここに説明する処理を行わせてよい。例えば、カメラ１１０は、メモリ２４５に保存されているソフトウェア命令を実行するコントローラ２４０及び／又はイメージプロセッサ２３０に応えて、画像処理（例えば、対象をエンコードすること、トランスコードすること、検出すること、など）に関連する作動を行ってよい。代替的に、配線接続された回路（例えば、ロジック）が、ソフトウェア命令の代わりに、又は、これらと組み合わせて使用されて、ここに説明する処理を実装してよい。
通信インターフェース２６０は、別のデバイスへのデータの伝送を促進する、入力及び／又は出力ポート、入力及び／又は出力システム、及び／又は、他の入力及び出力コンポーネントを含む回路及びロジック回路を含む。例えば、通信インターフェース２６０は、有線通信用のネットワークインターフェースカード（例えば、イーサネット（Ｅｔｈｅｒｎｅｔ（登録商標））カード）、又は、無線通信用のワイヤレスネットワークインターフェース（例えば、ＷｉＦｉ（登録商標））カードを含んでよい。
カメラ１１０（例えば、メモリ２４５、イメージプロセッサ２３０、ビデオエンコーダ２５０、及び／又はコントローラ２４０）は、イメージパイプラインと、ビデオストリームをクライアント（例えば、モニタリングステーション１２５）に提供するストリーミングサーバーと、の間のバッファとして作用するキャッシュを実装してよい。イメージパイプラインは安定した状態にて流れ、データをキャッシュにプッシュする。ストリーミングサーバーは、各クライアントに対して独立して、キャッシュ（又は、バッファ）からデータを取り出してよい。１つの実施形態では、ストリーミングサーバーは、クライアントへの最終的な伝送のために、リアルタイムより速いレートにて、リアルタイムにて、リアルタイムより遅いレートにて、キャッシュからデータを取り出してよい。
図２は、カメラ１１０の例示的なコンポーネントを示すが、他の実装では、カメラ１１０は、図２に描くものと比較して、より少ないコンポーネント、異なるコンポーネント、異なって配置されたコンポーネント、又は追加的コンポーネントを含んでよい。加えて、又はその代わりに、カメラ１１０の１つ又はそれ以上のコンポーネントは、カメラ１１０の１つ又はそれ以上の他のコンポーネントにより行われるものとして説明された機能を行ってよい。例えば、コントローラ２４０は、イメージプロセッサ２３０により行われるものとして説明された機能を行ってよいし、逆もまたしかりである。その代わりに、又それに加えて、カメラ１１０は、図３に関連して下に説明するようなコンピューティングモジュールを含んでよい。
図３は、１つの実施形態における、コンピューティングモジュール３００の例示的なコンポーネントを示すブロック図である。環境１００における各種のデバイス（例えば、ＶＭＳ１５０、ディスプレイ１３０、モーションデテクタ１１１、スモークデテクタ１１２、及び／又はセンサ１１３）は、１つ又はそれ以上のコンピューティングモジュール３００を含んでよい。図３に示すように、コンピューティングモジュール３００は、バス３１０、プロセッサ３２０、メモリ３３０、及び／又は通信インターフェース３６０を含んでよい。いくつかの実施形態では、コンピューティングモジュール３００はまた、入力デバイス３４０及び／又は出力デバイス３５０をも含んでよい。
バス３１０は、コンピューティングモジュール３００又は他のデバイスのコンポーネント間の通信を可能にするパスを含む。プロセッサ３２０は、各種の命令を解釈して実行する、いずれのタイプのシングルコアプロセッサ、マルチコアプロセッサ、マイクロプロセッサ、ラッチベースプロセッサ、及び／又は、処理ロジック（又は、プロセッサ、マイクロプロセッサ、及び／又は処理ロジックのファミリ）を含んでよい。プロセッサ３２０は、ＡＳＩＣ、ＦＰＧＡ、及び／又は別のタイプの集積回路又は処理ロジックを含んでよい。プロセッサ３２０は、ＧＰＵ、ＧＰＧＰＵ、セル、ＦＰＧＡ、ＡＳＩＣ、及び／又は、別のタイプの集積回路又は処理ロジックなどの、ハードウェアアクセラレータを含んでよい、又は、これに接続されてよい。
メモリ３３０は、情報及び／又は命令を保存する、いずれのタイプの揮発性及び／又は不揮発性ストレージデバイスを含んでよい。メモリ３３０は、ＲＡＭ若しくはいずれのタイプのダイナミックストレージデバイス、ＲＯＭ若しくはいずれのタイプのスタティックストレージデバイス、磁気的若しくは光学的記録メモリデバイス及びそれに相当するドライブ、又はリムーバブルメモリデバイスを含んでよい。メモリ３３０は、プロセッサ３２０による使用のための、情報及び命令（例えば、アプリケーション及びオペレーティングシステム）と、データ（例えば、アプリケーションデータ）と、を保存してよい。
メモリ３３０は、プロセッサ３２０による実行のための命令を保存してよい。ソフトウェア命令は、別のコンピュータ可読媒体から、又は、別のデバイスから、メモリ３３０に読み込まれてよい。ソフトウェア命令は、プロセッサ３２０に、ここに説明する処理を行わせてよい。代替的に、配線接続された回路（例えば、ロジック）が、ソフトウェア命令の代わりに、又は、これらと組み合わせて使用されて、ここに説明する処理を実装してよい。
オペレーティングシステムは、コンピューティングモジュール３００のハードウェアリソース及びソフトウェアリソースを管理するためのソフトウェア命令を含んでよい。例えば、オペレーティングシステムは、Ｌｉｎｕｘ（登録商標）、Ｗｉｎｄｏｗｓ（登録商標）、ＯＳ Ｘ（登録商標）、Ａｎｄｒｏｉｄ（登録商標）、埋め込み型オペレーティングシステム、などを含んでよい。アプリケーション及びアプリケーションデータは、特定のコンピューティングモジュール３００が見つかるデバイスに依存して、ネットワークサービスを提供してよい、又は、アプリケーションを含んでよい。
通信インターフェース３６０は、コンピューティングモジュール３００が、他のコンポーネント、デバイス、及び／又はシステムと通信できるようにするトランスミッタ及び／又はレシーバ（例えば、トランシーバ）を含んでよい。通信インターフェース３６０は、無線通信（例えば、ラジオ周波数（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ又はＲＦ）、赤外線、など）、有線通信、又はそれらの組み合わせを介して通信してよい。通信インターフェース３６０は、ベースバンド信号をラジオ周波数（ＲＦ）信号に変換する、又は、その逆にも変換するトランシーバを含んでよく、これは、アンテナに接続されてよい。
通信インターフェース３６０は、他のデバイスへのデータの伝送を促進する、入力及び／又は出力ポート、入力及び／又は出力システム、及び／又は他の入力及び出力コンポーネントを含むロジカルコンポーネントを含んでよい。例えば、通信インターフェース３６０は、有線通信用のネットワークインターフェースカード（例えば、イーサネットカード）、又は、無線通信用のワイヤレスネットワークインターフェース（例えば、ＷｉＦｉ）カードを含んでよい。
いくつかのデバイスはまた、入力デバイス３４０と、出力デバイス３５０と、をも含んでよい。入力デバイス３４０は、ユーザが、情報をコンピューティングモジュール３００に入力できるようにしてよい。入力デバイス３７０は、キーボード、マウス、ペン、マイクロフォン、カメラ、タッチスクリーンディスプレイ、などを含んでよい。
出力デバイス３５０は、ユーザに情報を出力してよい。出力デバイス３５０は、ディスプレイ、プリンタ、スピーカ、などを含んでよい。入力デバイス３４０及び出力デバイス３５０は、ユーザが、コンピューティングモジュール３００により実行されるアプリケーションとやりとりできるようにしてよい。「ヘッドレス」デバイス（展開されたリモートカメラなど）の場合、入力及び出力は主に、入力デバイス３４０及び出力デバイス３５０ではなく、通信インターフェース３６０を通る。
コンピューティングモジュール３００は、データを受信すること、伝送すること、及び／又は処理することを支援する他のコンポーネント（図示せず）を含んでよい。さらに、コンピューティングモジュール３００において、他の構成のコンポーネントが可能である。他の実装では、コンピューティングモジュール３００は、図３に描くものと比較して、より少ないコンポーネント、異なるコンポーネント、追加的コンポーネント、又は異なって配置されたコンポーネントを含んでよい。加えて、又はその代わりに、コンピューティングモジュール３００の１つ又はそれ以上のコンポーネントは、コンピューティングモジュール３００の１つ又はそれ以上の他のコンポーネントにより行われるものとして説明された、１つ又はそれ以上のタスクを行ってよい。
図４は、１つの実施形態における、カメラ１１０及び／又はＶＭＳ１５０の例示的な機能的コンポーネントのブロック図である。カメラ１１０及び／又はＶＭＳ１５０は、リアルタイム偏差ロジック４０２、チャネル容量デテクタ４０４、エンコーダ４０６、バッファ４０８、ルールテーブル４１０、ルールエンジン４１２、モーション検出ロジック４１４、及び／又は対象検出ロジック４１６を含んでよい。
リアルタイム偏差ロジック４０２は、カメラ１１０及び／又はＶＭＳ１５０が、ビデオストリームをビデオストリームのビットレート（例えば、リアルタイムのビットレート又は速度）にて伝送することから逸脱し得るときを判定する。例えば、１つ又はそれ以上の適格条件（例えば、ビデオストリームにおけるモーション、ドアが開く、など）が満たされると、リアルタイム偏差ロジック４０２は、ビデオのビットレートを上げるよう判定してよく（又は、ビデオのビットレートを上げることを許可する、又は、これを可能にする）、ビデオストリームがビデオストリームのビットレートにて伝送され得ない程度にビデオをバッファリングしてよく、オペレータがディスプレイ１３０上にて（例えば、スローモーションにて）見る、より長い時間間隔（タイムストレッチ）にわたり、ビデオストリームをモニタリングステーション１２５に伝送してよい。
チャネル容量デテクタ４０４は、カメラ１１０とモニタリングステーション１２５との間のチャネルの容量（例えば、ビット数毎秒での最大伝送速度）を判定する。チャネル容量を判定するための、多くの異なる方法が使用されてよい。チャネル容量ロジック４０４は、パケットが欠落する伝送速度を判定するために上げた速度にて、ネットワーク１２０を通してデータを伝送することにより、チャネル容量を判定してよい。チャネル容量を超えていると、パケットが欠落し始める。その容量を測定するためにネットワーク１２０を通過するデータは、ビデオストリームを含んでよい。つまり、ネットワーク１２０の容量に到達していると、ビデオストリームにおけるパケットが欠落し始める。１つの実施形態では、チャネル容量は、連続して測定されてよい、又は、これが判定されてよい。１つの実施形態では、チャネル容量は、カメラ１１０又は特定のビデオストリームにアサインされてよい（例えば、ネットワーク１２０の実際の容量を考慮することなく）。例えば、構成中、環境１００における各カメラ１１０には、各カメラ１１０が超えるべきではないチャネル容量が提供されてよい。別の実施形態では、チャネル容量は、カメラ１１０により（例えば、エンコーダ４０６により）設定されたダイナミックな閾値であってよい。例えば、エンコーダ４０６に、可変ビットレート（ｖａｒｉａｂｌｅ ｂｉｔｒａｔｅ又はＶＢＲ）エンコーダが採用されている場合、チャネル容量は、ＶＢＲエンコーダにアサインされた最大ビットレートであってよい。エンコーダ４０６に、一定ビットレート（ｃｏｎｓｔａｎｔ ｂｉｔｒａｔｅ又はＣＢＲ）エンコーダが採用されている場合、チャネル容量は、ＣＢＲエンコーダにアサインされた一定ビットレートであってよい。ここに説明するように、イベント中、エンコーダ４０６は、チャネル容量より高いビットレートを提供可能であってよい。これは、エンコーダ４０６が、そのアサインされた最大ビットレートより高い（ＶＢＲエンコーダについて）、又は、そのアサインされた一定ビットレートより高い（ＣＢＲエンコーダについて）ビットレートを用いて、ストリームを（例えば、イベント中に）生成可能であることを含んでよい。チャネル容量はまた、いずれの他の理由によりビデオストリームがしたがわなければならない、任意のビットレート閾値ともされ得る。
エンコーダ４０６は、画像情報及び／又はビデオ情報を入力し、それを、ネットワーク１２０を通してモニタリングステーション１２５に伝送するために、ビデオストリームにエンコードする。エンコーダ４０６は、可変ビットレートエンコーディング法を使用してよい。エンコーダ４０６は、ビデオにおけるモーションによっては、ビットレートを上げてよい。例えば、カメラ１１０が、ドアのシーンのビデオを撮像しており、そのシーンに人が入ると、エンコーダ４０６は、そのシーンに入る人に関する追加的情報をエンコードするために、ビットレートを上げてよい。エンコーダ４０６は、ビデオの品質を必ずしも変えることなく、（例えば、エンコーディングモーションの結果として）ビットレートを上げてよい。追加的要因は、エンコーダ４０６に、ビデオストリームのビットレートを上げさせてよい。エンコーダ４０６は、ビデオストリームの「品質係数」を変えることにより、ビデオの品質を調整してよい。品質係数は、（離散余弦変換（ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ又はＤＣＴ）係数に対する）量子化パラメータ、画像解像度、フレームレート、ダイナミックカラーレンジ、無色（例えば、黒及び白）、などを含んでよい。品質の向上及び／又は追加的情報（モーションなど）は結果として、より高いビットレートとなる場合がある。エンコーダ４０６は、ネットワーク１２０の容量に依存して、ビデオストリームを異なるビットレートにてエンコードしてよい。つまり、ネットワーク１２０を通る、より高いチャネル容量により、より高いビットレート及びより高い品質のビデオが可能となり得る。一方、ネットワーク１２０を通る、より低いチャネル容量により、ビデオの品質及びビットレートが下がり得る（例えば、伝送中にパケットを失うことを回避するために）。
バッファ４０８は、ビデオストリームのビットレートが、ネットワーク１２０を通るビデオストリームの伝送レートより高い場合は、伝送前にビデオストリームを保存してよい。ビデオストリームのビットレートは、（モーションイベントなど）より多くの情報がエンコードされる必要があり得るイベント中などは、伝送レートより高くともよい。メモリ３３０及び／又はメモリ２４５は、バッファ４０８を含んでよい。１つの実施形態では、バッファ４０８は、アプリケーションレイヤバッファである（例えば、ネットワークレイヤバッファとは対照的に）。この実施形態では、バッファ４０８は、（オペレーティングシステムのカーネルにあってよい）伝送制御プロトコル（ｔｒａｎｓｍｉｓｓｉｏｎ ｃｏｎｔｒｏｌ ｐｒｏｔｏｃｏｌ又はＴＣＰ）バッファとは別の、アプリケーションレイヤバッファである。加えて、バッファ４０８は、カーネルにおけるバッファに関連付けられなくともよい、ユーザデータグラムプロトコル（ｕｓｅｒ ｄａｔａｇｒａｍ ｐｒｏｔｏｃｏｌ又はＵＤＰ）にて使用されてよい。アプリケーションレイヤでは、バッファ４０８は、（例えば、ネットワークデバイスにおける）カーネル又はネットワークにおいてではなく、イメージデータの撮像に近くともよい。１つの実施形態では、バッファ４０８は、イメージパイプラインとストリーミングサーバーとの間にあってよい。
ルールテーブル４１０は、ルールの条件が満たされる場合に取る、ルールエンジン４１２に対するアクションを保存する。ルールエンジン４１２は、（例えば、センサから）イベント通知を受信し、ルールテーブル４１０に保存されたルールを解釈し、ルールの条件が満たされる場合にアクションを行う。例えば、モーション検出ロジック４１４によりモーションが検出されると、ルールエンジン４１２は、エンコーダ４０６に指示を出し、ビデオストリームにおけるより高いビットレートを許可し、リアルタイム偏差モードを受理し、及び／又は、モニタリングステーション１２５に伝送されており、ディスプレイ１３０上に表示されているビデオストリームの品質を上げてよい（ビットレートが上がることがあっても）。別の例として、センサが、ドアが開いたことを判定すると、ルールエンジン４１２は、エンコーダ４０６に指示を出し、ビデオストリームのより高いビットレートを許可し（例えば、品質係数を変えて、又は、これを変えることなく）、リアルタイム偏差モードを受理し、及び／又は、モニタリングステーション１２５に伝送されており、ディスプレイ１３０上に表示されているビデオストリームの品質を上げてよい（ビットレートが上がることがあっても）。
モーション検出ロジック４１４は、モーションイベントを検出し、モーションイベントの通知を、他のデバイス及び／又はルールエンジン４１２に送信する。例えば、カメラ１１０におけるモーション検出ロジック４１４は、１つの画像を次の画像と比較して、モーションを検出してよい。モーション（例えば、イベント）が検出されると、モーション検出ロジック４１４は、イベント通知を、別のデバイスのルールエンジン４１２に送信してよい。１つの実施形態では、モーション検出ロジック４１４は、ビデオストリームのビットレートが上がったことを判定することにより、モーションイベントを判定してよい。
対象検出ロジック４１６は、ビデオストリームにおける対象を検出してよい。特定の対象（例えば、イベント）が検出されると、対象検出ロジック４１６は、イベント通知を、別のデバイスに、又は、ルールエンジン４１２に送信してよい。イベントは、対象であって、カメラの視野に入る対象の動きや、カメラの視野を出る対象の動きを含んでよく、対象が、特定のクラスの物理的対象に属することを認識する、又は、対象が、特定の人の顔であることを認識する。
図５は、１つの実施形態における、モーションデテクタ１１１、対象デテクタ１１２、及び／又はセンサ１１３の例示的な機能的コンポーネントのブロック図である。これらのデバイスは、対象検出ロジック５０２、モーション検出ロジック５０４、及び／又はセンサロジック５０６を含んでよい。
対象検出ロジック５０２は、対象検出ロジック４１６と同様に作動してよいが、カメラ１１０とは分けられてよい。対象検出ロジック４１６と同様に、対象検出ロジック５０２は、ビデオストリームにおける対象及び／又は顔を検出してよい。特定の対象又は顔（例えば、イベント）が検出されると、対象検出ロジック５０２は、イベント通知を、別のデバイスに、又は、ルールエンジン４１２に送信してよい。ルールエンジン４１２は、エンコーダ４０６に指示を出し、（例えば、品質係数を変えて、又は、これを変えることなく）ビデオストリームのより高いビットレートを許可し、リアルタイム偏差モードを受理し、及び／又は、モニタリングステーション１２５に伝送されており、ディスプレイ１３０上に表示されているビデオストリームの品質を上げてよい。
モーション検出ロジック５０４は、モーション検出ロジック４１４と同様に作動してよいが、カメラ１１０とは分けられてよい。モーション検出ロジック５０４は、モーションイベントを検出し、モーションイベントの通知を、他のデバイス及び／又はルールエンジン４１２に送信する。例えば、モーション（例えば、イベント）が検出されると、モーション検出ロジック５０４は、イベント通知を、別のデバイスのルールエンジン４１２に送信してよい。ルールエンジン４１２は、エンコーダ４０６に指示を出し、（例えば、品質係数を変えて、又は、これを変えることなく）ビデオストリームのより高いビットレートを許可し、リアルタイム偏差モードを受理し、及び／又は、モニタリングステーション１２５伝送されており、ディスプレイ１３０上に表示されているビデオストリームの品質を上げてよい。
センサロジック５０６は、イベントを作成できるいずれのタイプのセンサを含む。例えば、ドアが開いたことをセンサロジック５０６が判定すると、センサロジック５０６は、イベントメッセージをルールエンジン４１２に送信してよい。ルールエンジン４１２は、エンコーダ４０６に指示を出し、ビデオストリームのより高いビットレートを許可し、リアルタイム偏差モードを受理し、及び／又は、モニタリングステーション１２５に伝送されており、ディスプレイ１３０上に表示されているビデオストリームの品質を上げてよい。
図６は、１つの実施形態における、モニタリングステーション１２５の例示的な機能的コンポーネントのブロック図である。モニタリングステーション１２５は、デコーダ６０２と、表示ロジック６０４と、を含んでよい。デコーダ６０２は、ネットワーク１２０を通して受信したビデオストリームをデコードし、ビデオをディスプレイ１３０上に表示する。表示ロジック６０４は、例えば、ビデオがスローモーション又はファストモーションにて表示されているときを、オペレータに知らせる。１つの実施形態では、表示ロジック６０４はまた、カメラ１１０及び／又はＶＭＳ１５０に信号を送信し戻し、リアルタイム偏差の停止を要求してよい。
図７は、簡略化したモニタリングシステム環境７００のブロック図である。環境７００は、エリア１０６の画像を撮像し、その画像を、ネットワークチャネル７０２を経由して伝送するためのビデオストリームにエンコードするためのカメラ１１０を含む。チャネル７０２は単一の線として示されているが、チャネル７０２は、ネットワーク（例えば、ネットワーク１２０）を含んでよい。したがって、チャネル７０２は、多数のデバイスによりシェアされてよく、各セグメントが異なるデバイスによりシェアされている多くのセグメントを有する場合がある。環境７００はまた、ビデオストリームをディスプレイ１３０上にてオペレータ７０４に見せるためのディスプレイ１３０を伴うモニタリングステーション１２５をも含む。環境７００は簡略化されている。コンポーネントの追加的又は異なる配置が可能であり、それらは、チャネル７０２を経由して伝送するためのビデオストリームをエンコードするため、及び／又は、これをトランスコードするための、ＶＭＳ１５０の使用を含む。
ビデオストリームは、「ビットレート」又は「ビデオストリームのビットレート」を有する。ビデオストリームのビットレートは、撮像されたシーンにおける、単位時間毎のビデオストリームにおけるビット数に相当する。したがって、１秒間のビデオをエンコードするために、ビデオストリームが１メガビット（ｍｅｇａｂｉｔ又はＭｂ）を使用する場合、ビデオストリームに対するビットレートは、１メガビット／秒（ｍｅｇａｂｉｔｓ ｐｅｒ ｓｅｃｏｎｄ又はＭｂｐｓ）となる。ビデオストリームは、チャネル７０２に、「伝送速度」にて伝送される。「伝送速度」はまた、ビット／秒にて測定されてもよい。したがって、トランスミッタが１秒間に１Ｍｂのデータを伝送する場合、伝送速度は１Ｍｂｐｓとなる。ビデオストリームの伝送速度がビデオストリームのビットレートにマッチすると、伝送速度は、「リアルタイムの伝送速度」とみなされる。ビデオストリームが（例えば、デコーダにより）受信されたレートは一般的に、（パケットが失われていないものと仮定して）伝送速度と同じである。この用語「レート」は、「速度」と同義とみなされる。
伝送速度は、チャネル７０２の容量（「チャネル容量」）により制限されてよい。なぜなら、チャネル７０２は一般的に、他のデバイス（他のカメラ１１０など）によりシェアされる多くのセグメントを持つネットワーク１２０であるためである。チャネル容量は、時間と共に変わってよい（例えば、他のデバイスが起動してオフラインとなる場合、又は、別のデバイスが一時的に、より高いビットレートを必要とする場合）。チャネル容量はまた、ビット／秒にて表されてもよい。伝送レートがチャネル容量より高いと、パケットがネットワークにおいて欠落する場合があり、データが失われる場合がある。
ビデオストリームのビットレートがチャネル容量より高いと、システムは、（１）ビデオストリームを、チャネル容量より高い伝送レートにて伝送しようと試みる場合がある。この場合、パケットがネットワーク１２０にて欠落する場合があり、デコーダが不完全なビデオを提示する場合がある。代替的に、ビデオストリームのビットレートがチャネル容量より高いと、システムは、（２）ビデオストリームのビットレートより低いレートにて伝送する場合がある。この場合、伝送速度がリアルタイムの速度より低く、デコーダが、唐突に始まって唐突に終わるビデオを提示する場合がある。なぜなら、デコーダが、ビデオストリームを、リアルタイムのレートより低いレートにて受信するからである。別の代替例として、ビデオストリームのビットレートがチャネル容量より高いと、システムは、（２）ビデオストリームのビットレートを下げて、チャネル容量にマッチするよう、ビデオをエンコード、トランスコード、及び／又は再エンコードする場合がある。この場合、オペレータ７０４に提示されるビデオの品質が低くなり得る。
オペレータ７０４は一般的に、エリア１０６にて生じるビデオを見ることに関して、２つの基準を有する。第１に、オペレータ７０４は、できるだけ高品質のビデオを見たがる。第２に、（チャネル７０２における）伝送ディレイと、潜在的なエンコーディングディレイ及びデコーディングディレイと、があることを理解した上で、オペレータ７０４は、「リアルタイム」に生じていることを、又は、生じていることを「そのまま」見たがる。それら２つの基準を満たすＶＭＳ１５０及び／又はカメラ１１０の能力は、チャネル７０２の容量に依存する。より高い品質のビデオとは一般的に、より高いビデオストリームのビットレートを意味する。したがって、カメラ１１０及び／又はＶＭＳ１５０は、ビデオストリームのビットレートがチャネル容量に相当するようになる（例えば、ビデオストリームのビットレートが、チャネル容量と同じになる、又は、これより低くなる）までビデオ品質を上げる。ビデオ品質をいくぶん高く上げることは、パケットが失われたり、又は、ディレイが生じたりして、結果として、オペレータ７０４に提示されるビデオ品質が下がることを意味することとなる。
これは、ビデオストリームのビットレートが変動することがあるため（特に、エンコーダが可変ビットレートアルゴリズムを使用する場合）、システムに問題が生じる場合がある。例えば、人がエリア１０６に入ると（「イベント」）、ビデオストリームのビットレートが一時的に上がる場合がある。なぜなら、（モーションを含む）追加的情報がエンコードされる必要があるからである。ビデオストリームのビットレートがチャネル容量を超えて上がることを防ぐために、本システムは、オペレータ７０４が、ビデオの品質が下がることを望まない場合がある（しかし、品質が維持される、及び／又は、これが上がることを望む場合がある）正確な時間に、ビデオの品質を下げるよう、ビデオをエンコードしてよい。ここに開示するものは、システムが、そのような状況においても（例えば、イベント中）、モニタリングシステムにおけるビデオ品質を維持することを可能にし得る方法である。
図８Ａ及び図８Ｂは、１つの実施形態における、ビデオモニタリングシステムにおけるリアルタイム偏差に対する処理のフローチャートである。処理８００Ａは、ビデオストリームを撮像することと、エンコードすることと、伝送することと、に関する。処理８００Ｂは、ビデオストリームを受信することと、表示することと、に関する。処理８００Ａ及び処理８００Ｂ（まとめて、処理８００）は、カメラ１１０及び／又はＶＭＳ１５０、そして、モニタリングステーション１２５及び／又はディスプレイ１３０、にて、又は、これらにより、実行され得る。処理８００Ａは、デバイスにおいて、メモリ（例えば、メモリ２４５及び／又はメモリ３３０）に保存された命令を実行するプロセッサ（例えば、プロセッサ２３０、エンコーダ２５０、コントローラ２４０、及び／又はプロセッサ３２０）により実行されてよい。処理８００Ａは、図７、図９Ａから図９Ｃ、及び図１０と合わせて説明される。図９Ａ、図９Ｂ、及び図９Ｃは、１つの実施形態において、オペレータ７０４が、イベント前、イベント中、及びイベント後のそれぞれに、ディスプレイ１３０上に見るであろうものを示す。図１０は、１つの実施形態における、イベント前、イベント中、及びイベント後のビットレートを示す。
処理８００Ａは、イメージデータ及び／又はビデオデータの撮像及びエンコーディングと共に始まる（ブロック８０２）。この例では、カメラ１１０は、エリア１０６の画像を撮像する。モニタリングシステムでは、カメラ１１０は、エリア１０６の「ライブ」画像（例えば、ライブシーン又はライブイベント）を撮像する。ビデオストリームの品質の判定を支援するために、チャネル容量（例えば、パケットロスのない最大伝送速度）が判定されてよい（ブロック８０４）。チャネル容量を判定するための、多くの異なる技術が使用されてよい。例えば、チャネル容量ロジック４０４は、パケットが欠落する伝送速度を判定ために上げた速度にて、チャネル７０２を通してデータを伝送することにより、チャネル容量を判定してよい。チャネル容量を超えていると、パケットが欠落し始める。その容量を測定するためにチャネル７０２を通過するデータは、ビデオストリームを含んでよい。つまり、チャネル７０２の容量に到達していると、ビデオストリームにおけるパケットが欠落し始める。１つの実施形態では、チャネル容量は、連続して測定されてよい、又は、これが判定されてよい。図１０は、チャネル容量１００２を、一点短鎖線として示す。１つの実施形態では、イベントが発生していないとき（例えば、イベント前）のチャネル容量が判定される。他の実施形態では、チャネル容量ロジック４０４は、チャネル容量（ブロック８０４）をカメラ１１０又は特定のビデオストリームにアサインしてよい（例えば、ネットワーク１２０の実際の容量を考慮することなく）。例えば、構成中、環境１００における各カメラ１１０には、各カメラ１１０が超えるべきではないチャネル容量が提供されてよい。別の実施形態では、チャネル容量は、カメラ１１０により（例えば、チャネル容量ロジック４０４及び／又はエンコーダ４０６により）設定されたダイナミックな閾値であってよい。例えば、エンコーダ４０６に、可変ビットレート（ｖａｒｉａｂｌｅ ｂｉｔｒａｔｅ又はＶＢＲ）エンコーダが採用されている場合、チャネル容量は、ＶＢＲエンコーダにアサインされた最大ビットレートであってよい。エンコーダ４０６に、一定ビットレート（ｃｏｎｓｔａｎｔ ｂｉｔｒａｔｅ又はＣＢＲ）エンコーダが採用されている場合、チャネル容量は、ＣＢＲエンコーダにアサインされた一定ビットレートであってよい。
ビデオストリームの品質係数は、チャネル容量に基づいて調整されてよい（ブロック８０５）。例えば、チャネル７０２が追加的データを運ぶことができれば、画像の解像度が上げられてよい（及び、ビデオストリームのビットレートが上げられてよい）。別の例として、チャネル７０２が追加的データを運ぶことができれば、レベル数を増やすことができるように、ＤＣＴ係数の量子化パラメータが変更されてよい（及び、ビデオストリームのビットレートが上げられてよい）。一方、チャネル７０２においてパケットが欠落する場合には、画像の解像度が下げられてよい（及び、ビデオストリームのビットレートが下げられてよい）。代替的に、チャネル７０２においてパケットが欠落する場合には、レベル数を減らすよう、ＤＣＴ係数の量子化パラメータが変更されてよい（及び、ビデオストリームのビットレートが下げられてよい）。品質係数が判定されると、処理８００Ａは、イメージデータ及びビデオデータを撮像することと、これをエンコードすることと（ブロック８０６）、ビデオストリームを（リアルタイムの速度にて）チャネル７０２を通して伝送することと（ブロック８０７）、に続いてよい。この処理（例えば、ブロック８０４から８０７）は、ビデオが撮像されて伝送されると共に続いてよい。処理８００Ｂ（図８Ｂを参照されたい）は、ビデオストリームをリアルタイムの速度にてチャネル７０２から受信することと（ブロック８５２）、ビデオをリアルタイムの速度にて表示することと（ブロック８５４）、により始まってよい。
図１０は、ビデオストリームのビットレート１００４（上）と、イベント前、イベント中、及びイベント後の伝送レート１００６（下）と、のグラフを示す。この例では、イベント開始時間１０１０の前に、ビデオストリームのビットレート（セクション１０１４）は、チャネル容量１００２の近くをたどっている。この時間中、ビデオストリームのビットレートはチャネル容量未満であるため、ビデオストリームは、そのリアルタイムの速度にて伝送される（ブロック８０７）（図１０の下を参照されたい）。モニタリングステーション１２５は、図９Ａに示すように、ビデオストリームを（リアルタイムのレートにて）受信し（ブロック８５２）、ビデオストリームをディスプレイ１３０上に表示する（ブロック８５４）。図９Ａは、エリア１０６が（カメラ１１０から）「ライブ」にて示されていることを示すウィンドウ９２０Ａのあるディスプレイ１３０を示す。ウィンドウ９２０Ａにおけるビデオはまた、ノーマルモーション速度（例えば、スローモーション又はファストモーションではない）にて表示されてもよい（ブロック８５４）。このシチュエーションは、イベント開始時間１０１０まで続いてよい。
処理８００Ａ（例えば、ブロック８０４から８０７）は、イベントが検出されたら中断されてよい（ブロック８０８）。対象とするイベントは、例えば、モーション検出ロジック４１４又は５０２、対象検出ロジック４１６又は５０４、及び／又はセンサロジック５０６による、モーション、対象検出、及び／又は、顔検出を含んでよい。イベントを検出することは、ビデオの画像におけるモーションに起因する上昇などの、ビデオストリームのビットレートが上がったことを判定することを含んでよい。イベント中、ビデオストリームのビットレートが（例えば、モーションからの結果として）上がることが望ましくともよい（ブロック８１０）。例えば、図９Ｂに示すように、人９１０がエリア１０６に入る。これは、イベント開始時間１０１０でのイベントに相当する。図１０に示すように、ビデオストリームのビットレート１００４は、チャネル容量１００２より高いレートまで上がる（セグメント１０１６）。上記の１つの実施形態では、イベント中、エンコーダ４０６は、チャネル容量より高いビットレートを提供可能であってよい。これは、エンコーダ４０６が、そのアサインされた最大ビットレートより高い（ＶＢＲエンコーダについて）、又は、そのアサインされた一定ビットレートより高い（ＣＢＲエンコーダについて）ビットレートを用いて、ストリームを（例えば、イベント中に）生成可能であることを含んでよい。
ビデオストリームのビットレートがチャネル容量より高いため、ビデオストリームをリアルタイムのレートにて伝送することは、パケットが結果として失われる場合がある。これにより、ビデオストリームは、リアルタイムのビットレートより低いビットレートにて伝送されてよい（ブロック８１２）。ビデオストリームがリアルタイムのレートより低いレートにて伝送されるため、ビデオストリームの伝送には、（対応するビデオ記録時間より）多くの時間がかかる。図１０に示すように、イベント中の時間セグメント１０１６には、伝送中に、ストレッチがある（対応するセグメント１０１８まで）。この時間中、ビデオストリームは、イベント中にパケットを失うことを回避するために、バッファリングされてよい（ブロック８１３）。ビデオストリームをリアルタイム伝送レートより低いレートにて伝送することは、タイムストレッチ１０２５を導入する。リアルタイム偏差ロジック４０２は、ビデオストリームをバッファリングするために、バッファ４０８を使用してよい。バッファはアプリケーションレイヤバッファであるため（ネットワークレイヤバッファではなく）、ビデオストリームのビットレートがチャネル容量より高い場合でも、パケットは欠落しない。１つの実施形態では、伝送されたビデオストリームは、ビデオストリームにタイムストレッチがあることを、デコーダ６０２に示す情報を含んでよい。別の実施形態では、デコーダ６０２は、ビデオストリームに追加的情報が加えられることなく、タイムストレッチを暗示してよい。
処理８００Ｂは、ビデオストリームをリアルタイムの速度未満の速度にて受信することと（ブロック８５６）、ビデオをスローモーションにて表示することと（ブロック８５８）、に続く。モニタリングステーション１２５は、ビデオストリームをリアルタイム伝送レートより低いレートにて受信する。唐突に始まって唐突に終わるビデオを表示する代わりに、モニタリングステーション１２５は、ビデオをスローモーションにて表示する。図９Ｂに示すように、ディスプレイ１３０上のウィンドウ９２０Ｂは、ビデオがスローモーションにて（例えば、リアルタイムの速度の９０％にて）表示されていることと、（例えば、より高いビットレートにて提供するために）表示されているシーンには追加的な１秒の累積的なディレイがあることと、を、オペレータ７０４に示す。より高いビットレートでのスローモーションは、イベントの終わりまで続いてよい。１つの実施形態では、オペレータ７０４は、図９Ｂに「リアルタイムまで早送り」とマークされているボタン９２４を選択することにより、イベントを終えてよい（例えば、早送り、スキップ送り、及び／又は、ノーマル速度に戻る）。１つの実施形態では、ビデオストリームをリアルタイムの速度より低いレートにて受信することは、ビデオをスローモーションにて表示させる（例えば、デコーダ６０２により）。別の実施形態では、ビデオストリームは、デコーダ６０２にビデオをスローモーションにて表示させるモニタリングステーション１２５にて解釈される（例えば、エンコーダ４０６により加えられる）情報を含んでよい。
イベントの終了が検出されるか、又は、これが判定されると（ブロック８１４）、ビデオストリームのビットレートは下げられてよい（ブロック８１６）。イベントの終了は、例えば、モーション検出ロジック４１４又は５０２、対象検出ロジック４１６又は５０４、及び／又はセンサロジック５０６により、モーションが無いこと、対象が検出されないこと、及び／又は、顔が認識されないことを含んでよい。例えば、図９Ｃに示すように、人９１０がシーンを退出する場合がある。これは、イベント終了時間１０１２後に相当する。イベントが終わったことを判定することはまた、ビデオの画像においてモーションが無いことに起因する減少など、ビデオストリームのビットレートが下がったことを判定することをも含んでよい。図１０に示すように、ビデオストリームのビットレートは、追加的チャネル容量（例えば、セグメント１０２０中のビデオストリームのビットレート１００４とチャネル容量１００２との間の差）が存在する程度にまで下げられる。トランスミッタがビデオストリームのこの部位（例えば、セクション１０２０）を伝送すると、ビデオストリームは、リアルタイム伝送レートより高い伝送レートにて（ブロック８１８）伝送されてよく、これは、バッファが空になり得るまで（ブロック８２０）続いてよい。リアルタイム伝送レートより高いレートでの伝送は、先のイベント中に導入されたタイムストレッチ１０２５を補う。１つの実施形態では、伝送されたビデオストリームは、ビデオストリームが、タイムストレッチ１０２５を補うよう伝送されたことを、デコーダ６０２に示す情報を含んでよい。別の実施形態では、デコーダ６０２は、ビデオストリームに追加的情報を加えることなく、これを暗示してよい。
処理８００Ｂは、ビデオストリームをリアルタイムの速度を超える速度にて受信することと（ブロック８６０）、ビデオをファストモーションにて表示することと（ブロック８６２）、に続く。モニタリングステーション１２５は、ビデオストリームをリアルタイムのレートより高いレートにて受信する。ビデオをリアルタイムのレートにて表示する代わりに、モニタリングステーション１２５は、ビデオをファストモーションにて表示する。図９Ｃに示すように、ディスプレイ１３０上のウィンドウ９２０Ｃは、ビデオがファストモーションにて（例えば、リアルタイムの速度の１１０％にて）表示されていることと、（例えば、より高いビットレートにて提供するために）表示されているシーンには追加的な０．５秒の累積的なディレイがあることと、を、オペレータ７０４に示す。より低いビットレートでのファストモーションは、バッファが空になるまで（ブロック８２０）、及び／又は、モニタリングステーション１２５が、ビデオストリームをリアルタイムのレートに相当する伝送レートにて受信し始めるまで、続いてよい。
バッファが空になった後は、処理８００Ａは、リアルタイム伝送レートに相当するビデオストリームのビットレートを用いて再度始まってよい。イベントが終わったことの判定（ブロック８１４）後及びバッファが空になる（ブロック８２０）前に、別のイベントが検出されてよい（ブロック８０８）。ブロック８１０から８１３（例えば、ビデオストリームのビットレートを上げることと（ブロック８１０）、ビデオストリームをリアルタイムのレートより低いビットレートにて伝送することと（ブロック８１２）、ビデオストリームをバッファリングすることと（ブロック８１３）、ビデオをスローモーションにて再生することと（ブロック８５８））が繰り返されてよい。
図１０に示すように、伝送されたビデオストリームは、イベント前の第１のビットレート（セグメント１０１４）と、イベント中の第２のビットレート（セグメント１０１６）と、を有する。１つの実施形態では、第２のビットレートは、第１のビットレートより高い。伝送されたビデオストリームは、イベント後の第３のビットレートを有する（セグメント１０２０）。第３のビットレートは、下げられたビットレートに相当する。１つの実施形態では、第３のビットレートは、第１のビットレートより低い。ビデオストリームのビットレートを下げることは、ビデオストリームの品質係数を下げることを含んでよい。ビデオストリームの品質係数を下げることは、ビデオストリームにおけるフレームレート、量子化パラメータ、及び／又は画像の解像度を下げることを含んでよい。
図１１は、別の実施形態における、イベント前、イベント中、及びイベント後のビットレートを示す。図１１に示すように、イベント中、ビデオストリームは、ベースレイヤ１１０２と、エンハンスメントレイヤ１１０４と、の２つに分けられてよい。ベースレイヤ１１０２は、より高い品質のバージョンのビデオを達成するために、エンハンスメントレイヤ１１０４を用いてエンハンス可能な、より低い品質のバージョンのビデオである。ベースレイヤ１１０２は、リアルタイム伝送レートにて伝送されてよい一方で、エンハンスメントレイヤ１１０４は、リアルタイム伝送レートより低いレートにて伝送されてよい。この場合、バッファ４０８には、エンハンスメントレイヤ１１０４が満たされてよい。結果として、モニタリングステーション１２５は、より高い品質（及び、スローモーション）のバージョンのビデオと、より低い品質（実際の速度又はノーマルモーションの速度）のバージョンのビデオと、の双方共を、同時に表示してよい。イベントが終わると、バッファ４０８は空にされ、モニタリングステーション１２５にチャネル容量にて伝送されてよい。図１２は、図１１の実施形態において、オペレータがイベント中にディスプレイ上に見るであろうものを示す。図１２では、ディスプレイ１３０は、エリア１０６のリアルタイム（ノーマルモーション）での低品質ビューを映す小さいウィンドウ１１２２を含む。ディスプレイ１３０はまた、エリア１０６のスローモーションでのより高い品質のビューを映す大きなウィンドウ１１２２を含む。
図１３は、別の実施形態における、イベント前、イベント中、及びイベント後のビットレートを示す。（図１１と同様に）図１３に示すように、イベント中、ビデオストリームは、ベースレイヤ１１０２と、エンハンスメントレイヤ１１０４と、の２つに分けられてよい。図１３の場合では、ベースレイヤ１１０２は、リアルタイム伝送レートにて伝送されてよい一方で、エンハンスメントレイヤ１１０４は、低品質伝送を中断することなく、リアルタイム伝送レートより低いレートにて伝送されてよい（図１１に示すように）。結果として、モニタリングステーション１２５は、より高い品質（及び、スローモーション）のバージョンのビデオと、より低い品質（実際の速度又はノーマルモーションの速度）のバージョンのビデオと、の双方共を、同時に表示してよい。
１つの実施形態では、ビデオストリームがオーディオを含む場合、このオーディオはまた、オーディオピッチが変わらない方法にて、タイムストレッチされてもよい（例えば、ビデオがタイムストレッチされる場合）か、又は、時間圧縮されてもよい（例えば、ビデオが時間圧縮される場合）。つまり、ビデオがモニタリングステーション１２５によりスローモーション及び／又はファストモーションにて再生され得るとしても、オーディオピッチは、下方又は上方にはシフトしない。オーディオが調整される場合、これは、モニタリングステーション１２５におけるデコーダ６０２により行われてよい。代替的に、オーディオの調整は、カメラ１１０及び／又はＶＭＳ１５０におけるエンコーダ４０６により行われてよい。
モニタリングシステム（環境１００におけるオペレータ７０４など）は、ビデオストリームからオーディオを除外してよい。例えば、オペレータ７０４は、ディスプレイ１３０上に１つを超えるビデオストリームを見る場合がある。このシチュエーションでは、１つを超えるオーディオストリームを再生することは、オペレータ７０４を混乱させる場合がある。結果として、カメラ１１０及び／又はＶＭＳ１５０は、いずれのビデオストリームからオーディオを（例えば、ソースにて）除外する機能を含んでよい。オーディオは、他の理由によっても、望ましくない場合がある（例えば、オーディオは、帯域幅に関連しない、又は、これを保持しない場合がある）。上記の方法及びシステムは、ビデオストリームからオーディオを除外してよい（この場合、スローモーション又はファストモーション中のオーディオに対するピッチ調整は必要なくなる）。
別の実施形態では、上記の本方法及びシステムは、ビデオストリームを伴わないオーディオストリームに適用されてよい。つまり、オーディオストリームのビットレートが閾値を超える場合（又は、イベントが検出された場合）（ブロック８０８と同様）、オーディオビットレートは、リアルタイムのレートより低いレートにて伝送されてよい（例えば、バッファが使用されている間）（ブロック８１０から８１３と同様）。イベントが終わると（ブロック８１４と同様）、オーディオビットレートは下げられてよく、リアルタイムのレートより高いレートにて伝送されてよい（ブロック８１６から８２０と同様）。
上述するように、ここに説明する方法及びシステムは、ネットワークに大きな負荷を掛けることや、パケットが欠落することが必ずしもなく、（例えば、追加的モーション情報又は品質の向上を含むよう）モニタリングシステムがビデオストリームのビットレートを上げることを可能にし得る。その代わりに、下記の実施形態は、例えば、オペレータが、ビットレートがより高いイベントを、より高い品質にて、スローモーションにて見ることを可能にし得る。これらの方法及びシステムはまた、（例えば、フレームレート、画像品質、又はモーションキャプチャを下げることにより）ビデオの品質を下げて、ビットレートが上がることを防ぐ場合がある。
先の説明では、添付の図面を参照して、各種の好ましい実施形態を説明した。しかし、以下の特許請求の範囲に示す通りの、本発明のより広い範囲から逸脱することなく、様々な改変及び変更がそれらに行われてよいこと、及び、追加的実施形態が実装されてよいことが明白となるであろう。本明細書及び図面はこれにより、限定的意味を持つものではなく、例示的なものとみなされる。
例えば、フローチャートを含む図面に関連して、いくつかのシリーズのブロックを説明した一方で、他の実装では、ブロックの順序が変更されてよい。さらに、互いに依存しないブロックが平行して行われてよい。
上述するようなシステム及び／又は方法は、図面に示す実装において、多くの異なる形態のソフトウェア、ファームウェア、及びハードウェアにて実施されてよいことが明らかとなるであろう。これらのシステム及び方法を実施するために使用される実際のソフトウェアコード又は専用制御ハードウェアは、本実施形態に限定されない。したがって、システム及び方法の作動及び動作は、特定のソフトウェアコードを参照することなく説明した。しかし、ソフトウェア及び制御ハードウェアは、本説明に基づくシステム及び方法を実装するよう設計できることが理解される。
さらに、上記の特定の部位は、１つ又はそれ以上の機能を行うコンポーネントとして実装されてよい。ここで使用されるように、コンポーネントは、プロセッサ、ＡＳＩＣ、若しくはＦＰＧＡなどのハードウェアを含んでよいし、又は、ハードウェアとソフトウェアの組み合わせ（例えば、ソフトウェアを実行するプロセッサ）を含んでよい。
用語「含む（ｃｏｍｐｒｉｓｅｓ）」／「含む（ｃｏｍｐｒｉｓｉｎｇ）」が本明細書にて使用される場合、これらは、ここに記す特徴、整数、ステップ、又はコンポーネントの存在を明記するために用いられるが、１つ又はそれ以上の他の特徴、整数、ステップ、コンポーネント、又はそれらのグループの存在又は追加を除外しない、ということが強調されるべきである。
本出願において使用される構成要素、作用、又は命令はいずれも、特にそのように明記しない限り、実施形態にとって重要又は必須なものとして解釈されるべきではない。また、ここで使用されるように、冠詞「ａ」は、１つ又はそれ以上のアイテムを含むことを意図する。さらに、フレーズ「に基づいて（ｂａｓｅｄ ｏｎ）」は、特に明記しない限り、「に、少なくとも部分的に基づいて（ｂａｓｅｄ， ａｔ ｌｅａｓｔ ｉｎ ｐａｒｔ， ｏｎ）」を意味することを意図する。

Claims (20)

  1. 最大伝送ビットレートに関連付けられたネットワーク伝送チャネルを介して、エンコードされたビデオビットストリームを伝送することと、
    カメラによってキャプチャされたライブビデオデータに関連付けられた、開始時間と終了時間を有するイベントを検出することと
    を含む方法であって、
    前記イベントの開始時間の前に、前記方法が、
    前記ネットワーク伝送チャネルの前記最大伝送ビットレートより低い第１の出力ビデオビットストリームビットレートを有するように、エンコードされたビデオビットストリームセットに前記キャプチャされたライブビデオデータをエンコードすることと、
    前記最大伝送ビットレートより低い伝送ビットレートで、前記ネットワーク伝送チャネルを介して前記第１の出力ビデオビットストリームビットレートを有する前記エンコードされたビデオビットストリームを伝送して、それによりリアルタイム通信を可能にすることと
    を含み、
    前記イベントの間に、前記方法が、
    前記ネットワーク伝送チャネルの前記最大伝送ビットレートより高い第２の出力ビデオビットストリームビットレートを有するように、エンコードされたビデオビットストリームセットに前記キャプチャされたライブビデオデータをエンコードすることと、
    前記第２の出力ビデオビットストリームビットレートを有する前記エンコードされたビデオビットストリームをバッファリングすることと、
    前記第２の出力ビデオビットストリームビットレートより低い伝送ビットレートで、前記ネットワーク伝送チャネルを介して前記第２の出力ビデオビットストリームビットレートを有する前記エンコードされたビデオビットストリームを伝送して、それにより前記第２の出力ビデオビットストリームビットレートを有する前記エンコードされたビデオビットストリームにタイムストレッチを導入することと
    を含み、
    前記イベントの終了時間の後に、前記方法が、
    前記ネットワーク伝送チャネルの前記最大伝送ビットレートより低い第３の出力ビデオビットストリームビットレートを有するように、エンコードされたビデオビットストリームセットに前記キャプチャされたライブビデオデータを、エンコーダによってエンコードすることと、
    バッファが空になるまで、前記第３の出力ビデオビットストリームビットレートより高い伝送ビットレートで、前記ネットワーク伝送チャネルを介して前記第３の出力ビデオビットストリームビットレートを有する前記エンコードされたビデオビットストリームを伝送して、それにより前記イベントの間に導入された前記タイムストレッチを補うように追いつくことと
    を含む、方法。
  2. 前記バッファが、アプリケーションレイヤバッファである、請求項１に記載の方法。
  3. 前記ネットワーク伝送チャネルの前記最大伝送ビットレートを決定すること
    をさらに含む、請求項１に記載の方法。
  4. 前記イベントの間に、前記方法がさらに、
    モニタリングステーションで、前記第２の出力ビデオビットストリームビットレートを有する前記エンコードされたビデオビットストリームを受信することと、
    前記第２の出力ビデオビットストリームビットレートを有する前記エンコードされたビデオビットストリームをビデオにデコードすることと、
    前記タイムストレッチに相当するスローモーションで、ディスプレイ上に前記ビデオを表示することと
    を含む、請求項１に記載の方法。
  5. 前記イベントの終了時間の後に、前記方法がさらに、
    前記モニタリングステーションで、前記第３の出力ビデオビットストリームビットレートを有する前記エンコードされたビデオビットストリームを受信することと、
    前記第３の出力ビデオビットストリームビットレートを有する前記エンコードされたビデオビットストリームを前記ビデオにデコードすることと、
    ファストモーションで、ディスプレイ上に前記ビデオを表示することと
    を含む、請求項４に記載の方法。
  6. 前記第２の出力ビデオビットストリームビットレートが前記第１の出力ビデオビットストリームビットレートより高い、請求項１に記載の方法。
  7. 前記第３の出力ビデオビットストリームビットレートが前記第１の出力ビデオビットストリームビットレートより低い、請求項１に記載の方法。
  8. 前記イベントの開始時間の前に、エンコードされたビデオビットストリームセットに前記キャプチャされたライブビデオデータをエンコードすることが、前記ネットワーク伝送チャネルの前記最大伝送ビットレートに基づいて品質係数を調整することを含み、
    前記イベントの間に、第２の出力ビデオビットストリームビットレートを有するように、エンコードされたビデオビットストリームセットに前記キャプチャされたライブビデオデータをエンコードすることが、ビットレートを上げることを含み、
    前記イベントの終了時間の後に、第３の出力ビデオビットストリームビットレートを有するように、エンコードされたビデオビットストリームセットに前記キャプチャされたライブビデオデータをエンコードすることが、ビットレートを下げることを含む、請求項１に記載の方法。
  9. 前記イベントの終了時間の後に、ビットレートを下げることが、品質係数を下げることを含み、
    前記イベントの間に、ビットレートを上げることが、品質係数を上げることを含み、
    前記品質係数が、フレームレート、量子化パラメータ、又は画像の解像度を含む、請求項８に記載の方法。
  10. 前記ライブビデオデータに関連付けられたイベントを検出することが、
    ライブビデオデータにおけるモーションを検出すること、
    前記第１の出力ビデオビットストリームビットレートを有する前記エンコードされたビデオビットストリームにおけるビットレートの上昇を検出すること、
    制御システムにおいてイベントメッセージを受信すること、又は
    物理的アクセス制御システムにおいてイベントメッセージを受信すること
    を含む、請求項１に記載の方法。
  11. カメラによってキャプチャされたライブビデオデータに関連付けられたイベントを検出するプロセッサと、
    前記ライブビデオデータを、エンコードされたビデオビットストリームにエンコードするように構成されたエンコーダと、
    前記エンコードされたビデオビットストリームをバッファリングするように構成されたメモリと、
    最大伝送ビットレートに関連付けられたネットワーク伝送チャネルを介して、前記エンコードされたビデオビットストリーム送信するトランスミッタと
    を備えるデバイスであって、
    前記プロセッサがイベントを検出する前に、
    前記エンコーダが、前記ネットワーク伝送チャネルの前記最大伝送ビットレートより低い第１の出力ビデオビットストリームビットレートを有するエンコードされたビデオビットストリームに前記キャプチャされたライブビデオデータをエンコードするように設定され、
    前記トランスミッタが、伝送ビットレートで、前記ネットワーク伝送チャネルを介して前記第１の出力ビデオビットストリームビットレートを有する前記エンコードされたビデオビットストリームを伝送して、それによりリアルタイム通信を可能にするように構成され、
    を含み、
    前記イベントの間に、
    前記エンコーダが、前記ネットワーク伝送チャネルの前記最大伝送ビットレートより高い第２の出力ビデオビットストリームビットレートを有するエンコードされたビデオビットストリームに前記ライブビデオデータをエンコードするように構成され、
    前記メモリが、前記第２の出力ビデオビットストリームビットレートを有する前記エンコードされたビデオビットストリームをバッファリングするように構成され、
    前記トランスミッタが、前記第２の出力ビデオビットストリームビットレートより低い伝送ビットレートで、前記第２の出力ビデオビットストリームビットレートを有する前記エンコードされたビデオビットストリームを伝送して、それにより前記第２の出力ビデオビットストリームビットレートを有する前記エンコードされたビデオビットストリームにタイムストレッチを導入するように構成され、
    前記イベントの終了時間の後に、
    前記エンコーダが、前記ネットワーク伝送チャネルの前記最大伝送ビットレートより低い第３の出力ビデオビットストリームビットレートを有するエンコードされたビデオビットストリームに前記キャプチャされたライブビデオデータをエンコードするように構成され、
    前記トランスミッタが、前記メモリが空になるまで、前記第３の出力ビデオビットストリームビットレートより高い伝送ビットレートで、前記ネットワーク伝送チャネルを介して前記第３の出力ビデオビットストリームビットレートを有する前記エンコードされたビデオビットストリームを送信して、それにより前記イベントの間に導入された前記タイムストレッチを補うように追いつくように構成されている、デバイス。
  12. バッファリングするように構成された前記メモリがアプリケーションレイヤバッファである、請求項１１に記載のデバイス。
  13. 前記プロセッサが、前記ネットワーク伝送チャネルの最大伝送ビットレートを決定するように構成されている、請求項１１に記載のデバイス。
  14. モニタリングステーションで、前記第２の出力ビデオビットストリームビットレートを有する前記エンコードされたビデオビットストリームを取得するレシーバと、
    前記第２の出力ビデオビットストリームビットレートを有する前記エンコードされたビデオビットストリームをビデオにデコードするデコーダと、
    前記イベントの間に、前記タイムストレッチに相当するスローモーションでビデオを提示するディスプレイと
    をさらに備える、請求項１１に記載のデバイス。
  15. 前記デバイスが、ファストモーションで、前記イベントの後に相当する前記ビデオをディスプレイに提示するように構成されている、請求項１４に記載のデバイス。
  16. 前記第２の出力ビデオビットストリームビットレートが前記第１の出力ビデオビットストリームビットレートより高い、請求項１１に記載のデバイス。
  17. 前記第３の出力ビデオビットストリームビットレートが前記第１の出力ビデオビットストリームビットレートより低い、請求項１１に記載のデバイス。
  18. 前記イベントの開始時間の前に、前記エンコーダが、前記ネットワーク伝送チャネルの前記最大伝送ビットレートに基づいて品質係数を調整することによって、第１の出力ビデオビットストリームビットレートを有するエンコードされたビデオビットストリームに前記キャプチャされたライブビデオデータをエンコードするように構成され、
    前記イベントの間に、前記エンコーダがさらに、ビットレートを上げることによって、前記第２の出力ビデオビットストリームビットレートを有する前記エンコードされたビデオビットストリームに前記キャプチャされたライブビデオデータをエンコードするように構成され、
    前記イベントの終了時間の後に、前記エンコーダがさらに、ビットレートを下げることによって、前記第３の出力ビデオビットストリームビットレートを有する前記エンコードされたビデオビットストリームに前記キャプチャされたライブビデオデータをエンコードするように構成されている、請求項１１に記載のデバイス。
  19. 前記エンコーダが、前記品質係数を下げることによって、前記イベントの終了時間の後に、ビットレートを下げるように構成され、
    前記エンコーダが、前記品質係数を上げることによって、前記イベントの間に、ビットレートを上げるように構成され、
    前記プロセッサが、フレームレート、量子化パラメータ、又は画像の解像度を下げることによって、前記品質係数を調整するように構成されている、請求項１８に記載のデバイス。
  20. 前記プロセッサが、
    前記ライブビデオデータにおけるモーションを検出すること、
    前記第１の出力ビデオビットストリームビットレートを有する前記エンコードされたビデオビットストリームにおけるビットレートの上昇を検出すること、
    制御システムにおいてイベントメッセージを受信すること、又は
    物理的アクセス制御システムにおいてイベントメッセージを受信すること
    によって、前記ライブビデオデータに関連付けられた前記イベントを検出するように構成されている、請求項１１に記載のデバイス。
JP2020218149A 2019-12-30 2020-12-28 ビデオのモニタリングにおけるリアルタイム偏差 Active JP7463268B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US16/729,985 US11232686B2 (en) 2019-12-30 2019-12-30 Real-time deviation in video monitoring
US16/729,985 2019-12-30
EP20153030.0A EP3846461B1 (en) 2019-12-30 2020-01-22 Real-time deviation in video monitoring
EP20153030 2020-01-22

Publications (3)

Publication Number Publication Date
JP2021114763A JP2021114763A (ja) 2021-08-05
JP2021114763A5 JP2021114763A5 (ja) 2024-01-12
JP7463268B2 true JP7463268B2 (ja) 2024-04-08

Family

ID=69187603

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020218149A Active JP7463268B2 (ja) 2019-12-30 2020-12-28 ビデオのモニタリングにおけるリアルタイム偏差

Country Status (6)

Country Link
US (1) US11232686B2 (ja)
EP (1) EP3846461B1 (ja)
JP (1) JP7463268B2 (ja)
KR (1) KR20210086535A (ja)
CN (1) CN113132751A (ja)
TW (1) TW202141991A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11974012B1 (en) * 2023-11-03 2024-04-30 AVTech Select LLC Modifying audio and video content based on user input

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010028693A (ja) 2008-07-24 2010-02-04 Nec Corp コンテンツ配信システム、コンテンツ受信方法および装置
US20110102588A1 (en) 2009-10-02 2011-05-05 Alarm.Com Image surveillance and reporting technology
JP2018110397A (ja) 2016-12-30 2018-07-12 アクシス アーベー 方法、およびコンピュータ装置
JP2018110398A (ja) 2016-12-30 2018-07-12 アクシス アーベー 方法、およびコンピュータシステム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0757490A3 (en) 1995-08-02 1999-01-13 Matsushita Electric Industrial Co., Ltd. Video coding device and video transmission system using the same, quantization control method and average throughput calculation method used therein
AU2002222097A1 (en) * 2000-11-29 2002-06-11 British Telecommunications Public Limited Company Transmitting and receiving real-time data
US20030159152A1 (en) * 2001-10-23 2003-08-21 Shu Lin Fast motion trick mode using dummy bidirectional predictive pictures
US8893207B2 (en) * 2002-12-10 2014-11-18 Ol2, Inc. System and method for compressing streaming interactive video
US20100166056A1 (en) * 2002-12-10 2010-07-01 Steve Perlman System and method for encoding video using a selected tile and tile rotation pattern
EP2479991A3 (en) 2006-12-04 2014-01-08 Lynx System Developers, Inc. Autonomous systems and methods for still and moving picture production
US8838824B2 (en) * 2009-03-16 2014-09-16 Onmobile Global Limited Method and apparatus for delivery of adapted media
WO2011133720A2 (en) 2010-04-20 2011-10-27 Brainlike, Inc. Auto-adaptive event detection network: video encoding and decoding details
WO2014075087A2 (en) * 2012-11-12 2014-05-15 Moontunes, Inc. Systems and methods for communicating a live event to users using the internet
US10110940B2 (en) * 2013-05-20 2018-10-23 Verint Americas Inc. System and method of video quality adaptation
US9674257B2 (en) 2013-12-31 2017-06-06 Echostar Technologies L.L.C. Placeshifting live encoded video faster than real time
WO2016088409A1 (ja) 2014-12-01 2016-06-09 株式会社Ｊｖｃケンウッド 画像送信装置、画像送信方法、画像送信プログラム、画像送信制御装置、画像送信制御方法、画像送信制御プログラム
US10506237B1 (en) 2016-05-27 2019-12-10 Google Llc Methods and devices for dynamic adaptation of encoding bitrate for video streaming
WO2018071046A1 (en) * 2016-10-14 2018-04-19 Rovi Guides, Inc. Systems and methods for providing a slow motion video stream concurrently with a normal-speed video stream upon detection of an event
WO2018125590A1 (en) * 2016-12-30 2018-07-05 Tivo Solutions Inc. Advanced trick-play modes for streaming video
US10038858B1 (en) 2017-03-31 2018-07-31 Intel Corporation Automated stop-motion animation
US20180302455A1 (en) 2017-04-18 2018-10-18 Facebook, Inc. Systems and methods for adjusting video transmission bitrates
EP3396954A1 (en) 2017-04-24 2018-10-31 Axis AB Video camera and method for controlling output bitrate of a video encoder
US10659514B2 (en) * 2018-03-28 2020-05-19 Arlo Technologies, Inc. System for video monitoring with adaptive bitrate to sustain image quality

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010028693A (ja) 2008-07-24 2010-02-04 Nec Corp コンテンツ配信システム、コンテンツ受信方法および装置
US20110102588A1 (en) 2009-10-02 2011-05-05 Alarm.Com Image surveillance and reporting technology
JP2018110397A (ja) 2016-12-30 2018-07-12 アクシス アーベー 方法、およびコンピュータ装置
JP2018110398A (ja) 2016-12-30 2018-07-12 アクシス アーベー 方法、およびコンピュータシステム

Also Published As

Publication number Publication date
JP2021114763A (ja) 2021-08-05
US20210201639A1 (en) 2021-07-01
CN113132751A (zh) 2021-07-16
KR20210086535A (ko) 2021-07-08
US11232686B2 (en) 2022-01-25
EP3846461B1 (en) 2022-09-21
EP3846461A1 (en) 2021-07-07
TW202141991A (zh) 2021-11-01

Similar Documents

Publication Publication Date Title
JP6708622B2 (ja) 方法、およびコンピュータ装置
US10110802B2 (en) Historical gaze heat map for a video stream
JP7353015B2 (ja) 方法、装置、およびカメラ
RU2628745C2 (ru) Система защитного наблюдения и соответствующий способ инициирования тревожной сигнализации
TWI647663B (zh) 用於產生事件視訊序列之方法及系統及包含該系統之攝影機
US10643443B2 (en) Alarm masking based on gaze in video management system
US20100283857A1 (en) Event based dynamic change in video quality parameters of network cameras
JP7463268B2 (ja) ビデオのモニタリングにおけるリアルタイム偏差
EP3989537B1 (en) Alert generation based on event detection in a video feed
KR102474706B1 (ko) 감시 장치
TWM499717U (zh) 智慧錄影和播放裝置
KR20150095080A (ko) 영상 데이터 전송 장치 및 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231228

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231228

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20231228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240327

R150 Certificate of patent or registration of utility model

Ref document number: 7463268

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150