TWI662834B - 凝視控制位元率 - Google Patents

凝視控制位元率 Download PDF

Info

Publication number
TWI662834B
TWI662834B TW106146137A TW106146137A TWI662834B TW I662834 B TWI662834 B TW I662834B TW 106146137 A TW106146137 A TW 106146137A TW 106146137 A TW106146137 A TW 106146137A TW I662834 B TWI662834 B TW I662834B
Authority
TW
Taiwan
Prior art keywords
bit rate
gaze
video stream
camera
display
Prior art date
Application number
TW106146137A
Other languages
English (en)
Other versions
TW201830961A (zh
Inventor
嵩 袁
Original Assignee
瑞典商安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞典商安訊士有限公司 filed Critical 瑞典商安訊士有限公司
Publication of TW201830961A publication Critical patent/TW201830961A/zh
Application granted granted Critical
Publication of TWI662834B publication Critical patent/TWI662834B/zh

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • G08B13/19693—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound using multiple video sources viewed on a single or compound screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19682—Graphic User Interface [GUI] presenting system data to the user, e.g. information on a screen helping a user interacting with an alarm system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Social Psychology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Chemical & Material Sciences (AREA)
  • Neurosurgery (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明揭示一種方法，其可包含：自一攝影機接收一視訊流；及將該視訊流顯示於一顯示器上。該方法可進一步包含：經由一眼球追蹤感測器獲得識別注視該顯示器之一使用者之一凝視區域之資訊；產生自該凝視區域至該顯示器之邊緣之一梯度；及指示該攝影機基於該所產生之梯度來降低該凝視區域外之該視訊流之一位元率。

Description

凝視控制位元率
諸如一攝影機之一監視裝置可經安裝以擷取一所關注區域之影像或視訊。一使用者或一使用者群組可在定位於攝影機遠端處之一顯示器上監視來自攝影機之影像或視訊。由攝影機擷取之資料可經處理且通過一網路連接發送至顯示器。例如，影像或視訊可經壓縮以減少必須跨網路傳輸之資料量。一系統可包含跨網路傳輸大量資料之大量攝影機。大量資料會占用網路之資源。
根據一態樣，一種由一電腦裝置執行之方法可包含：自一攝影機接收一視訊流；將該視訊流顯示於一顯示器上；經由一眼球追蹤感測器獲得識別注視該顯示器之一使用者之一凝視區域之資訊；產生自該凝視區域朝向該顯示器之邊緣之一梯度；及指示該攝影機基於該所產生之梯度來降低該凝視區域外之該視訊流之一位元率。此方法可導致節約網路資源及減少攝影機及監視站之一監視系統之處理器及記憶體負載之技術效應。 另外，該方法可包含：基於該所獲得之資訊來計算一預測凝視軌跡；及沿該預測凝視軌跡提高該視訊流之該位元率。沿該預測凝視軌跡提高該視訊流之該位元率可提供在不必提高該整個視訊流之位元率之情況下提供將變成該凝視區域之部分之該視訊流之部分中之更多資訊之優點。 另外，該方法可進一步包含：判定該凝視區域落於該顯示器外；及回應於判定該凝視區域落於該顯示器外而降低該整個視訊流之該位元率。降低該整個視訊流之該位元率可提供進一步節約網路資源及減少攝影機及監視站之一監視系統之處理器及記憶體負載之優點。 另外，該方法可進一步包含：偵測該凝視區域外之該視訊流中之一移動物體；及使該凝視區域與該移動物體關聯。使該凝視區域與該移動物體關聯可提供預測該凝視區域會移動至之一區域之優點。 另外，產生自該凝視區域至該顯示器之邊緣之該梯度可包含：界定自該凝視區域之一邊緣至相距於該凝視區域之該邊緣之一特定距離之一第一區域之一第一位元率降低因數，其中該第一位元率降低因數指示該第一區域之一位元率降低之一程度；及界定自該特定距離至該顯示器之該等邊緣之一第二區域之一第二位元率降低因數，其中該第二位元率降低因數指示該第二區域之一位元率降低之一程度，其中該第二位元率降低因數高於該第一位元率降低因數。界定一第一位元率降低因數及一第二位元率降低因數可提供進一步節約網路資源及減少攝影機及監視站之一監視系統之處理器及記憶體負載之優點。 另外，產生自該凝視區域至該顯示器之邊緣之該梯度可進一步包含：界定自該凝視區域之一邊緣朝向該顯示器之該等邊緣之一線性減小之位元率降低因數，其中該顯示器之一特定位置處之該位元率降低因數指示該特定位置處之一位元率降低之一程度。界定一線性減小之位元率降低因數可提供進一步節約網路資源及減少攝影機及監視站之一監視系統之處理器及記憶體負載之優點。 另外，指示該攝影機基於該所產生之梯度來降低該凝視區域外之該視訊流之一位元率可進一步包含：指示該攝影機降低與該凝視區域外之該視訊流之一區域相關聯之一感測器之一取樣率。降低與該凝視區域外之該視訊流之該區域相關聯之一感測器之該取樣率可提供節約網路資源及減少一感測器之處理器及記憶體負載之優點。 另外，指示該攝影機基於該所產生之梯度來降低該凝視區域外之該視訊流之一位元率可進一步包含：指示該攝影機在編碼該視訊流之前降低該凝視區域外之該視訊流之一區域之解析度。在編碼該視訊流之前降低該凝視區域外之該視訊流之該區域之該解析度可提供節約網路資源及減少一影像處理器之處理及記憶體負載之優點。 另外，指示該攝影機基於該所產生之梯度來降低該凝視區域外之該視訊流之一位元率可進一步包含：指示該攝影機在編碼該視訊流之前增加該凝視區域外之該視訊流之一區域之一雜訊降低程序。在編碼該視訊流之前增加該凝視區域外之該視訊流之該區域之一雜訊降低程序可提供節約網路資源及減少一影像處理器之處理及記憶體負載之優點。 另外，指示該攝影機基於該所產生之梯度來降低該凝視區域外之該視訊流之一位元率可進一步包含：指示該攝影機增大與該凝視區域外之該視訊流之一區域相關聯之一編碼處理單元之一壓縮參數值。指示該攝影機增大與該凝視區域外之該視訊流之該區域相關聯之該編碼處理單元之一壓縮參數值可提供節約網路資源及減少一編碼處理單元之處理及記憶體負載之優點。 另外，該視訊流可包含複數個視訊流且該顯示器可包含複數個顯示器。判定複數個顯示器之複數個視訊流之該凝視區域可提供節約網路資源及減少包含複數個視訊流及複數個顯示器之一系統之處理器及記憶體負載之優點。 根據另一態樣，一種電腦裝置可包含：一記憶體，其儲存指令；及一處理器，其經組態以執行該等指令以：自一攝影機接收一視訊流；將該視訊流顯示於一顯示器上；經由一眼球追蹤感測器獲得識別注視該顯示器之一使用者之一凝視區域之資訊；產生自該凝視區域至該顯示器之邊緣之一梯度；及指示該攝影機基於該所產生之梯度來降低該凝視區域外之該視訊流之一位元率。此電腦裝置可提供節約網路資源及減少攝影機及監視站之一監視系統之處理器及記憶體負載之技術效應。 另外，該處理器可經進一步組態以執行該等指令以：基於該所獲得之凝視資訊來計算一預測凝視軌跡；及沿該預測凝視軌跡提高該視訊流之該位元率。沿該預測凝視軌跡提高該視訊流之該位元率可提供在不必提高該整個視訊流之該位元率之情況下提供將變成該凝視區域之部分之該視訊流之部分中之更多資訊之優點。 另外，當產生自該凝視區域至該顯示器之邊緣之該梯度時，該處理器可經進一步組態以：界定自該凝視區域之一邊緣至相距於該凝視區域之該邊緣之一特定距離之一第一區域之一第一位元率降低因數，其中該第一位元率降低因數指示該第一區域之一位元率降低之一程度；及界定自該特定距離朝向該顯示器之該等邊緣之一第二區域之一第二位元率降低因數，其中該第二位元率降低因數指示該第二區域之一位元率降低之一程度，其中該第二位元率降低因數高於該第一位元率降低因數。界定一第一位元率降低因數及一第二位元率降低因數可提供進一步節約網路資源及減少攝影機及監視站之一監視系統之處理器及記憶體負載之優點。 另外，當產生自該凝視區域至該顯示器之邊緣之該梯度時，該處理器可經進一步組態以界定自該凝視區域之一邊緣朝向該顯示器之該等邊緣之一線性減小之位元率降低因數，其中該顯示器之一特定位置處之該位元率降低因數指示該特定位置處之一位元率降低之一程度。界定一線性減小之位元率降低因數可提供進一步節約網路資源及減少攝影機及監視站之一監視系統之處理器及記憶體負載之優點。 另外，當指示該攝影機基於該所產生之梯度來降低該凝視區域外之該視訊流之一位元率時，該處理器可經進一步組態以指示該攝影機降低與該凝視區域外之該視訊流之一區域相關聯之一感測器之一取樣率。降低與該凝視區域外之該視訊流之該區域相關聯之一感測器之該取樣率可提供節約網路資源及減少一感測器之處理器及記憶體負載之優點。 另外，當指示該攝影機基於該所產生之梯度來降低該凝視區域外之該視訊流之一位元率時，該處理器可經進一步組態以指示該攝影機在編碼該視訊流之前降低該凝視區域外之該視訊流之一區域之解析度。在編碼該視訊流之前降低該凝視區域外之該視訊流之該區域之該解析度可提供節約網路資源及減少一影像處理器之處理及記憶體負載之優點。 另外，當指示該攝影機基於該所產生之梯度來降低該凝視區域外之該視訊流之一位元率時，該處理器可經進一步組態以指示該攝影機在編碼該視訊流之前增加該凝視區域外之該視訊流之一區域之一雜訊降低程序。在編碼該視訊流之前增加該凝視區域外之該視訊流之該區域之一雜訊降低程序可提供節約網路資源及減少一影像處理器之處理及記憶體負載之優點。 另外，當指示該攝影機基於該所產生之梯度來降低該凝視區域外之該視訊流之一位元率時，該處理器可經進一步組態以指示該攝影機增大與該凝視區域外之該視訊流之一區域相關聯之一編碼處理單元之一壓縮參數值。指示該攝影機增大與該凝視區域外之該視訊流之該區域相關聯之該編碼處理單元之一壓縮參數值可提供節約網路資源及減少一編碼處理單元之處理及記憶體負載之優點。 根據又一態樣，一種系統可包含：一攝影機，其經組態以產生一視訊流；及一電腦裝置，其經組態以：自該攝影機接收該視訊流；將該視訊流顯示於一顯示器上；經由一眼球追蹤感測器獲得識別注視該顯示器之一使用者之一凝視區域之資訊；產生自該凝視區域朝向該顯示器之邊緣之一梯度；及將一指令發送至該攝影機以基於該所產生之梯度來降低該凝視區域外之該視訊流之一位元率；及其中該攝影機經進一步組態以基於該所接收之指令來降低該凝視區域外之該視訊流之該位元率。此系統可提供節約網路資源及減少攝影機及監視站之一監視系統之處理器及記憶體負載之技術效應。
以下詳細描述參考附圖。不同圖式中之相同元件符號識別相同或類似元件。 本文所描述之實施方案係關於一凝視控制位元率。一監視攝影機將一所關注區域之視訊串流傳輸至一顯示器。視訊流會有高頻寬要求且會占用大量網路頻寬。此外，處理一視訊流需要處理器及記憶體資源。注視顯示器之一個體(本文中指稱一「操作者」或「使用者」)在任何給定時間可能僅能夠注視顯示器之一部分。此外，操作者可能負責注視來自多個攝影機之多個顯示且每次僅可使其目光凝視一單一顯示器。一眼球追蹤器可用於識別操作者之凝視區域且因此識別顯示器之一部分或操作者未注視之一顯示器群組中之一或多個顯示器。因此，降低操作者未注視之一視訊流之一部分中之視訊流之位元率可導致節約網路資源及減少攝影機及監視站之一監視系統之處理器及記憶體負載之技術效應。 一視訊管理系統可管理包含一顯示器之一用戶端裝置。該顯示器可自一攝影機接收一視訊流且將該視訊流顯示於該顯示器上。該視訊管理系統可經由一眼球追蹤感測器獲得識別注視該顯示器之一使用者之一凝視區域之資訊，產生自該凝視區域至該顯示器之邊緣之一梯度，且指示該攝影機基於該所產生之梯度來降低該凝視區域外之該視訊流之一位元率。在一些實施方案中，該視訊流可包含多個視訊流且該顯示器可包含多個顯示器。 該梯度可由一或多個位元率降低因數界定。一視訊流之一區域之一位元率降低因數可指示該區域之一位元率相較於未經受位元降低之該區域之一位元率而降低之一程度。作為一實例，產生該梯度可包含：界定自該凝視區域之一邊緣至相距於該凝視區域之該邊緣之一設定距離之一第一區域之一第一位元率降低因數；及界定自該設定距離至自該顯示器之該等邊緣之一第二區域之一第二位元率降低因數，該第二位元率降低因數高於該第一位元率降低因數。作為另一實例，產生該梯度可包含：界定自該凝視區域之一邊緣至該顯示器之該等邊緣之一線性減小之位元率降低因數。作為又一實例，產生該梯度可包含：判定凝視區域落於該顯示器外；及回應於判定該凝視區域落於該顯示器外而降低該整個視訊流之該位元率。作為又一實例，產生該梯度可包含：指示該攝影機提高該凝視區域內之該視訊流之一位元率。 位元率降低因數可用於界定位元率降低而非實際位元率值，因為實際位元率值可能無法預測。實際位元率可取決於可基於一特定視訊流之性質來針對該視訊流達成之壓縮量。因此，事實上，在特定情形中會發生：具有一高位元率降低因數之一第一區域將導致比不具有位元率降低或具有一低位元率降低因數之一第二區域高之一位元率，因為該第一區域中之影像資料可被壓縮更多(例如，由於圖框內壓縮)。 該視訊管理系統可對該視訊流之一區域之一位元率執行其他調整。作為一實例，可基於該凝視區域之一移動來計算一預測凝視軌跡且可沿該預測凝視軌跡提高一位元率。作為另一實例，可偵測該視訊流中之一移動物體且可使該凝視區域與該移動物體相關聯。若該凝視區域開始朝向該移動物體移動，則可減小與該移動物體相關聯之位元率降低因數。 可在沿自由一感測器陣列擷取視訊資料之點至將一經編碼視訊流經由一網路連接傳輸至顯示器之一處理路徑之若干點的任何者處，降低位元率。作為一實例，指示該攝影機降低該凝視區域外之該視訊流之該位元率可包含：指示該攝影機降低與該凝視區域外之該視訊流之一區域相關聯之一感測器之一取樣率。作為另一實例，指示該攝影機降低該凝視區域外之該視訊流之該位元率可包含：指示該攝影機在編碼該視訊流之前，降低該凝視區域外之該視訊流之一區域的解析度。作為又一實例，指示該攝影機降低該凝視區域外之該視訊流之該位元率可包含：指示該攝影機在編碼該視訊流之前，增加該凝視區域外之該視訊流之一區域之一雜訊降低程序。作為又一實例，指示該攝影機降低該凝視區域外之該視訊流之該位元率可包含：指示該攝影機增大與該凝視區域外之該視訊流之一區域相關聯之一編碼處理單元之一壓縮參數值。 圖1係繪示一實施例中之一例示性環境100之一方塊圖。環境100可為(例如)用於使一區域安全或提供公共安全之一監視系統。如圖1中所展示，環境100可包含攝影機110-1至110-M、網路120、監視站125-1至125-N、顯示器130-1至130-N、眼球追蹤器140-1至140-N，及/或一視訊管理系統(VMS) 150。 攝影機110-1至110-M (個別地指稱「攝影機110」或統稱為「攝影機110」)擷取監視區域106之影像及/或視訊。一監視區域106可係由一或多個攝影機110監視。例如，兩個攝影機可監視包含一物體102-1之區域106-1。物體102可包含諸如門、人、動物、車輛、車輛上之車牌等等的任何物體。 攝影機110可使用可見光、紅外光及/或其他非可見電磁輻射(例如紫外光、遠紅外光、兆赫輻射、微波輻射等等)來擷取影像資料。攝影機110可包含一熱感攝影機，及/或用於雷達成像之一雷達裝置。所擷取之影像資料可包含一連續影像序列(例如視訊)、一有限影像序列、靜態影像，及/或其等之一組合。攝影機110可包含用於擷取及數位化影像之一數位攝影機，及/或用於擷取影像及以一類比格式儲存影像資料之一類比攝影機。 攝影機110可包含產生經配置成一或多個二維陣列之資料(例如影像資料或視訊資料)的感測器。如本文所使用，「視訊資料」及「視訊」可更一般地分別指稱「影像資料」及「影像」。因此，除非另有說明，否則「影像資料」或「影像」意謂包含「視訊資料」及「視訊」。同樣地，除非另有說明，否則「視訊資料」或「視訊」可包含一靜態影像。此外，在一些實施方案中，「視訊資料」可包含音訊資料。 監視站125-1至125-N可包含為VMS 150之用戶端且經耦合至顯示器130-1至130-N的電腦裝置(分別個別地指稱「監視站125」及「顯示器130」)。在一實施例中，監視站125-1至125-N亦經耦合至眼球追蹤器140-1至140-N (個別地指稱「眼球追蹤器140」)。監視站125及顯示器130使操作者(圖1中未展示)能夠觀看來自攝影機110之影像。眼球追蹤器140追蹤觀看顯示器130之一操作者之凝視。各監視站125、顯示器130及眼球追蹤器140可為用於與環境100中所展示之監視系統互動之一操作者之一「用戶端」。 顯示器130接收及顯示來自一或多個攝影機110之(若干)視訊流。一單一顯示器130可展示來自一單一攝影機110或多個攝影機110 (例如，在顯示器130上之多個圖框或視窗中)之影像。一單一顯示器130亦可展示來自一單一攝影機但在不同圖框中之影像。即，一單一攝影機可包含(例如)一廣角或魚眼鏡頭且提供多個區域106之影像。來自不同區域106之影像可被分離且在不同視窗及/或圖框中單獨展示於顯示器130上。顯示器130可包含一液晶顯示器(LCD)、一發光二極體(LED)顯示器、一有機LED (OLED)顯示器、一陰極射線管(CRT)顯示器、一電漿顯示器、一雷射視訊顯示器、一電泳顯示器、一量子點顯示器、一視訊投影器及/或任何其他類型之顯示裝置。 眼球追蹤器140包含使VMS 150 (或環境100中之任何其他裝置)能夠判定一操作者之眼睛聚焦之位置之一感測器(例如一攝影機)。例如，一組近紅外光束可被導引至一操作者之眼睛以引起操作者之角膜中之反射。反射可由包含於眼球追蹤器140中之一攝影機追蹤以判定操作者之凝視區域。凝視區域可包含一凝視點及一中央窩聚焦區域。例如，一操作者可坐在監視站125之顯示器130前面。眼球追蹤器140判定操作者聚焦於顯示器130之哪個部分。各顯示器130可與一單一眼球追蹤器140相關聯。替代地，一眼球追蹤器140可對應於多個顯示器130。在此情況中，眼球追蹤器140可判定操作者聚焦於哪個顯示器及/或該顯示器130之哪個部分。 眼球追蹤器140亦可判定一使用者之存在、注意力、集中度、睡意、意識及/或其他狀態。眼球追蹤器140亦可判定一使用者之身份。來自眼球追蹤器140之資訊可用於洞察操作者隨時間之行為或判定操作者之當前狀態。在一些實施方案中，顯示器130及眼球追蹤器140可實施於由一操作者穿戴之一虛擬實境(VR)頭戴耳機中。操作者可使用一或多個攝影機110執行區域106之一虛擬檢查以作為至VR頭戴耳機中之輸入。 網路120可包含一或多個電路交換網路及/或分封交換網路。例如，網路120可包含一區域網路(LAN)、一廣域網路(WAN)、一都會區域網路(MAN)、一公用交換電話網路(PSTN)、一特用網路、一內部網路、網際網路、一光纖網路、一無線網路及/或此等或其他類型之網路之一組合。 VMS 150可包含協調攝影機110、顯示裝置130及/或眼球追蹤系統140之操作之一或多個電腦裝置，諸如(例如)伺服器裝置。VMS 150可接收及儲存來自攝影機110之影像資料。VMS 150亦可對監視站125之操作者提供一使用者介面以觀看儲存於VMS 150中之影像資料或自攝影機110串流傳輸之影像資料。VMS 150可包含一規則引擎以藉由指示攝影機110降低操作者之凝視區域外之一區域之一位元率來節約系統資源。 在一些實施例中，環境100不包含一單獨VMS 150。替代地，由VMS 150提供之服務係由監視站125 (例如與顯示器130相關聯之電腦裝置)及/或攝影機110本身提供或依一分佈方式提供於環境100中之裝置之間。例如，攝影機110可包含一規則引擎以藉由指示攝影機110降低操作者之凝視區域外之一區域之一位元率來節約系統資源。類似地，VMS 150可執行描述為由攝影機110執行之操作。 儘管圖1展示環境100之例示性組件，但在其他實施方案中，環境100可相較於圖1中之描繪而包含更少組件、不同組件、不同配置組件或額外組件。另外或替代地，任一裝置(或任何裝置群組)可執行描述為由一或多個其他裝置執行之功能。 圖2係繪示一實施例中之一攝影機110之例示性組件的一方塊圖。如圖2中所展示，攝影機110可包含一光學器件系列210、一感測器陣列220、一匯流排225、一影像處理器230、一控制器240、一記憶體245、一視訊編碼器250及/或一通信介面260。在一實施例中，攝影機110可包含用於使攝影機110平移、傾斜、旋轉及/或變焦之一或多個(例如三個)馬達控制器270及一或多個(例如三個)馬達272。 光學器件系列210包含一外殼，其將入射輻射(例如光、可見光、紅外波、毫米波等等)導引至一感測器陣列220以基於入射輻射來擷取一影像之。光學器件系列210包含一或多個鏡頭212以將來自一監視區域之入射輻射收集及聚焦至感測器陣列220上。 感測器陣列220可包含用於記錄、感測及量測入射或落入至感測器陣列220上之輻射(例如光)之一感測器陣列。輻射可在可見光波長範圍、紅外線波長範圍或其他波長範圍內。 感測器陣列220可包含(例如)一電荷耦合裝置(CCD)陣列及/或一主動像素陣列(例如一互補金屬氧化物半導體(CMOS)感測器陣列)。感測器陣列220亦可包含一微測輻射熱計(例如，當攝影機110包含一熱感攝影機或偵測器時)。 感測器陣列220輸出指示(例如，描述性質或特性)入射於感測器陣列220上之輻射(例如光)之資料。例如，自感測器陣列220輸出之資料可包含入射於感測器陣列220中之一或多個像素上之資訊，諸如光強度(例如照度)、色彩等等。入射於感測器陣列220上之光可為一「影像」，因為光可由於光學器件系列210中之鏡頭而聚焦。在一些實施方案中，控制器240可藉由切斷來降低與感測器陣列220之一特定區域相關聯之位元率及/或降低感測器陣列220之一特定感測器或一組感測器之一取樣率。 感測器陣列220可被視為一「影像感測器」，因為其感測落入感測器陣列220上之影像。當該術語用於本文中時，一「影像」包含指示入射於感測器陣列220上之輻射(例如，描述光之性質或特性)之資料。相應地，術語「影像」亦可用於意謂「影像感測器資料」或描述一影像之任何資料或資料集。此外，一「像素」可意謂對其進行輻射之(若干)量測(例如指示入射於感測器陣列220上之光之量測)之感測器陣列220之任何區域。一像素可對應於感測器陣列220中之一或多個(或一個以下)感測器。在替代實施例中，感測器陣列220可為可使用掃描硬體(例如一旋轉鏡)來形成影像之一線性陣列或可依靠影像處理器230及/或控制器240來產生影像感測器資料之一非陣列感測器。 匯流排225包含使攝影機110中之組件能夠彼此通信之一通信路徑。控制器240及/或影像處理器230對由感測器陣列220擷取之影像資料執行信號處理操作。例如，影像處理器230可對由感測器陣列220擷取之影像執行影像處理，諸如雜訊降低、濾波、縮放等等。控制器240可控制攝影機110之操作且可對攝影機110之其他組件(諸如感測器陣列220、影像處理器230、視訊編碼器250、通信介面260及/或(若干)馬達控制器270)提供指令。 控制器240及/或影像處理器230可包含解譯及執行指令之任何類型之單核心或多核心處理器、微處理器、基於鎖存器之處理器及/或處理邏輯(或處理器、微處理器及/或處理邏輯之族群)。控制器240及/或影像處理器230可包含或耦合至一硬體加速器，諸如一圖形處理單元(GPU)、一通用圖形處理單元(GPGPU)、一胞元、一場可程式化閘陣列(FPGA)、一特定應用積體電路(ASIC)及/或另一類型之積體電路或處理邏輯。 控制器240亦可判定及控制攝影機110之所要焦點及位置(例如傾斜、平移、旋轉、變焦等等)。為此，控制器240將命令發送至一或多個馬達控制器270以驅動一或多個馬達272使攝影機110傾斜、平移、旋轉及/或變焦或使鏡頭212光學變焦。 記憶體245可包含儲存資訊及/或指令之任何類型之揮發性及/或非揮發性儲存裝置。記憶體245可包含一隨機存取記憶體(RAM)或任何類型之動態儲存裝置、一唯讀記憶體(ROM)裝置或任何類型之靜態儲存裝置、一磁性或光學記錄記憶體裝置及其對應碟機或一可抽換記憶體裝置。記憶體245可儲存用於由處理器攝影機110使用之資訊及指令(例如應用程式及/或作業系統)及資料(例如應用資料)。記憶體245可儲存識別一或多個位元率降低因數及/或特定感測器陣列擷取、影像處理及/或編碼程序及/或一或多個位元率降低因數將應用於其之參數之資訊。 記憶體245可儲存用於由控制器240、影像處理器230、視訊編碼器250及/或通信介面260執行之指令。軟體指令可自另一電腦可讀媒體或另一裝置讀取至記憶體245中。軟體指令可引起控制器240、影像處理器230、視訊編碼器250及/或通信介面260執行本文所描述之程序。例如，攝影機110可回應於控制器240、影像處理器230及/或視訊編碼器250執行儲存於記憶體245中之軟體指令而執行與影像處理相關之操作(例如編碼、雜訊降低、轉碼、偵測物體等等)。替代地，固線式電路(例如邏輯)可替代軟體指令或與軟體指令組合使用以實施本文所描述之程序。 視訊編碼器250可基於一或多個視訊編解碼器(諸如一H.262/動畫專家群(MPEG)-2編解碼器、一H.263/MPEG-2第2部分編解碼器、一H.264/MPEG-4編解碼器、一H.265/MPEG-H高效率視訊編碼(HVEC)編解碼器及/或另一類型之編解碼器)來壓縮視訊資料。 通信介面260包含電路及邏輯電路，其包含輸入及/或輸出埠、輸入及/或輸出系統及/或促進資料傳輸至另一裝置之其他輸入及輸出組件。例如，通信介面260可包含用於有線通信之一網路介面卡(例如乙太網路卡)或用於無線通信之一無線網路介面(例如長期演進(LTE)、WiFi、Bluetooth等等)卡。 儘管圖2展示攝影機110之例示性組件，但在其他實施方案中，攝影機110可相較於圖2中之描繪而包含更少組件、不同組件、不同配置組件或額外組件。另外或替代地，攝影機110之一或多個組件可執行描述為由攝影機110之一或多個其他組件執行之功能。例如，控制器240可執行描述為由影像處理器230執行之功能，且反之亦然。替代地或另外，攝影機110可包含下文將相對於圖3描述之一運算模組。 圖3係繪示一實施例中之一運算模組300之例示性組件的一方塊圖。諸如VMS 150、眼球追蹤系統140、監視站125及/或顯示裝置130之裝置可包含一或多個運算模組300。如圖3中所展示，運算模組300可包含一匯流排310、一處理器320、一記憶體330及/或一通信介面360。在一些實施例中，運算模組300亦可包含一輸入裝置340及/或一輸出裝置350。 匯流排310包含允許運算模組300之組件或其他裝置之間的通信之一路徑。處理器320可包含解譯及執行指令之任何類型之單核心處理器、多核心處理器、微處理器、基於鎖存器之處理器及/或處理邏輯(或處理器、微處理器及/或處理邏輯之族群)。處理器320可包含一特定應用積體電路(ASIC)、一FPGA及/或另一類型之積體電路或處理邏輯。處理器320可包含或耦合至一硬體加速器，諸如一GPU、一GPGPU、一胞元、一FPGA、一ASIC及/或另一類型之積體電路或處理邏輯。 記憶體330可包含可儲存用於由處理器320執行之資訊及/或指令之任何類型之動態儲存裝置及/或可儲存用於由處理器320使用之資訊之任何類型之非揮發性儲存裝置。例如，記憶體330可包含一RAM或另一類型之動態儲存裝置、一ROM裝置或另一類型之靜態儲存裝置、一磁性及/或光學記錄記憶體裝置及其對應碟機(例如硬碟機、光碟機等等)及/或一可抽換形式之記憶體(諸如一快閃記憶體)。 記憶體330可儲存用於由處理器320執行之指令。軟體指令可自另一電腦可讀媒體或另一裝置讀取至記憶體330中。軟體指令可引起處理器320執行本文所描述之程序。替代地，固線式電路(例如邏輯)可替代軟體指令或與軟體指令組合使用以實施本文所描述之程序。 作業系統可包含用於管理運算模組300之硬體及軟體資源之軟體指令。例如，作業系統可包含Linux、Windows、OS X、Android、嵌入式作業系統等等。應用程式及應用資料可取決於其中發現特定運算模組300之裝置而提供網路服務或包含應用程式。 通信介面360可包含使運算模組300能夠與其他組件、裝置及/或系統通信之一傳輸器及/或接收器(例如一收發器)。通信介面360可經由無線通信(例如射頻、紅外線及/或視覺光學器件等等)、有線通信(例如導線、雙絞線電纜、同軸電纜、傳輸線、光纖電纜及/或波導等等)或其等之一組合通信。通信介面360可包含將基頻信號轉換為射頻(RF)信號或反之亦然之一收發器且可包含一天線總成。 通信介面360可包含一邏輯組件，其包含輸入及/或輸出埠、輸入及/或輸出系統及/或促進資料傳輸至其他裝置之其他輸入及輸出組件。例如，通信介面360可包含用於有線通信之一網路介面卡(例如乙太網路卡)及/或用於無線通信之一無線網路介面(例如WiFi)卡。通信介面360亦可包含用於通過一電纜通信之一通用串列匯流排(USB)埠、一Bluetooth™無線介面、一射頻識別(RFID)介面、一近場通信(NFC)無線介面及/或將資料自一形式轉換為另一形式任何其他類型之介面。 在一些實施方案中，運算模組300亦可包含輸入裝置340及輸出裝置350。輸入裝置340可使一使用者能夠將資訊輸入運算模組300中。輸入裝置340可包含(例如)一鍵盤、一滑鼠、一筆、一麥克風、一遠端控制、一音訊擷取裝置、一影像及/或視訊擷取裝置、一觸控螢幕顯示器及/或另一類型之輸入裝置。 輸出裝置350可將資訊輸出至使用者。輸出裝置350可包含一顯示器、一印表機、一揚聲器及/或另一類型之輸出裝置。輸入裝置340及輸出裝置350可使一使用者能夠與由運算模組300執行之應用程式互動。就一「無頭」裝置(諸如一部署遠端攝影機)而言，輸入及輸出主要透過通信介面360而非輸入裝置340及輸出裝置350。 如下文將詳細描述，運算模組300可執行與基於一凝視區域之位元率調整相關之特定操作。運算模組300可回應於處理器320執行含於一電腦可讀媒體(諸如記憶體330)中之軟體指令而執行此等操作。一電腦可讀媒體可界定為一非暫時性記憶體裝置。一記憶體裝置可實施於一單一實體記憶體裝置內或散佈於多個實體記憶體裝置之間。軟體指令可自另一電腦可讀媒體或另一裝置讀取至記憶體330中。含於記憶體330中之軟體指令可引起處理器320執行本文所描述之程序。替代地，固線式電路可替代軟體指令或與軟體指令組合使用以實施本文所描述之程序。因此，本文所描述之實施方案不受限於硬體電路及軟體之任何特定組合。 運算模組300可包含促進接收、傳輸及/或處理資料之其他組件(圖中未展示)。再者，運算模組300中之組件之其他組態係可行的。在其他實施方案中，運算模組300可相較於圖3中之描繪而包含更少組件、不同組件、額外組件或不同配置組件。另外或替代地，運算模組300之一或多個組件可執行描述為由運算模組300之一或多個其他組件執行之一或多個任務。 圖4繪示一實施例中之觀看具有眼球追蹤器140之顯示器130之一操作者402之一例示性環境400。顯示器130可包含用於對操作者402展示資訊之任何類型的顯示器。操作者402觀看顯示器130，且可經由運行於監視站125上之一應用程式來與VMS 150互動。例如，操作者402可注視區域106之一視訊。 眼球追蹤器140包含使監視站125能夠判定操作者402之眼睛聚焦之位置之一感測器(例如一攝影機)。例如，在圖4中，操作者402坐在顯示器130前面，且眼球追蹤器140中之感測器感測操作者402之眼睛。例如，眼球追蹤器140可判定可表示為顯示器130上之一位置(例如與一或多個像素相關聯之像素值)之一凝視點410。可基於操作者及顯示器130之相對位置來估計對應於操作者402之中央窩視覺之一中央窩視覺區域420 (或「區域420」)。中央窩視覺對應於眼睛之詳細視覺感知，且大致對向1至2個球面度。相應地，可計算顯示器130上之區域420，且將其理解為對應於具有全視覺敏銳度之操作者402之視覺的部分。 在一替代實施例中，可在一特定操作者402之一設置程序期間，通過實驗來判定中央窩視覺區域420。中央窩視覺區域420係與中央窩視覺區域420外之周邊視覺區域430形成對比，周邊視覺區域430對應於操作者402之周邊視覺。凝視點410大致位於區域420之中心，且對應於自凝視點410至操作者402之眼睛的視線。在一實施例中，識別凝視點410之資訊可被傳輸至VMS 150。 圖5A繪示操作者402所見之顯示器130。如圖5A中所展示，顯示器130包含凝視點410、中央窩視覺區域420，及周邊視覺區域430。顯示器130亦包含其中對操作者402呈現一視訊流之一視訊圖框520。在此實例中，圖框520展示來自區域106之攝影機110之一視訊流，其碰巧包含一門及似乎在移動之一個體。操作者402之中央窩視覺區域420涵蓋個體，且凝視點410正位於個體之臉上。另一方面，圖框520中所顯示之門出現於操作者402之周邊視覺區域430中。 在一些實施方案中，可將操作者之凝視區域標定為對應於中央窩視覺區域420。在其他實施方案中，可將操作者之凝視區域標定為對應於基於凝視點410及中央窩視覺區域420之一不同區域。作為一實例，可將操作者之凝視區域之大小標定為大致介於凝視點410的大小與中央窩視覺區域420的大小之間。作為另一實例，可將操作者之凝視區域標定為比中央窩視覺區域420大且集中於中央窩視覺區域420上之一區域。 可基於所標定之凝視區域來觸發不同動作，使得由眼球追蹤器140產生之資訊可被解譯為至視訊管理系統之一使用者輸入。例如，若眼球追蹤器140-1判定操作者402在觀看展示來自攝影機110-1之視訊流的圖框520-1，則監視站125-1、VMS 150及/或攝影機110-1可降低與操作者之凝視區域外之圖框520之區域相關聯之視訊流之區域之一位元率。 圖5B亦繪示操作者402所見之顯示器130。然而，與圖5A相比，圖5B中之顯示器130展示諸多圖框520-1至520-N (指稱「個別圖框520」或「複數個圖框520」)。各圖框520-1至520-N可呈現一不同視訊流，因此，操作者402可監視一個以上區域。不同流可係由不同攝影機110-1至110-M產生。在其他實施例中，各圖框520-1至520-N可被顯示在經配置於操作者前面(例如，配置於一牆壁上，在操作者前面配置成一弧形，等等)之一不同顯示器130上。替代地或另外，各圖框520-1至520-N可顯示由一共同攝影機110-x產生之不同流。例如，攝影機110-x可使用一「魚眼」鏡頭，且自一擴展角區域擷取視訊。視訊可經處理以減少由魚眼鏡頭引入之失真且將擴展角區域分離成對應於不同區域之分離視訊流(其可單獨呈現於圖框520-1至520-N中)。如同圖5A，圖5B中之顯示器130包含凝視點410、中央窩視覺區域420及周邊視覺區域430。 在此實例中，圖框520-1可展示來自區域106-1之攝影機110-1之一視訊流，視訊圖框520-2可展示來自區域106-2之攝影機110-2之一視訊流，等等。圖5B中之操作者402之中央窩視覺區域420涵蓋圖框520-1之大部分且凝視點410接近個體之臉。圖框520-1中所顯示之門亦位於中央窩視覺區域420中。另一方面，其他圖框520-2至520-N位於操作者402之周邊視覺區域430中。凝視點410及/或中央窩視覺區域420之位置可用於選擇及/或指定用於後續處理之一特定圖框520-x (其可不同於其他圖框520)。例如，如圖5B中所展示，凝視點410可用於指示圖框520-1係操作者所關注之一圖框。相應地，視訊監視系統可將更多資源分配給圖框520-1 (例如頻寬及/或處理資源)以改良圖框520-1中之視訊流之呈現，且減少分配給對應於不是操作者之關注點(例如，在周邊視覺中)之圖框之其他流的資源。 圖6係攝影機110、顯示器130及VMS 150之功能組件600之一圖式。可(例如)經由控制器240執行儲存於記憶體245中之指令來實施攝影機110之功能組件。替代地，可經由固線式電路來實施包含於攝影機110中之一些或所有功能組件。可(例如)經由處理器320執行儲存於記憶體330中之指令來實施顯示器130及/或VMS 150之功能組件。替代地，可經由固線式電路來實施包含於顯示器130及/或VMS 150中之一些或所有功能組件。 如圖6中所展示，攝影機110可包含一感測器陣列管理器610、一影像處理器620、一編碼器630及一用戶端介面640；監視站125可包含一解碼器650及一顯示介面660；及VMS 150可包含一眼球追蹤器介面670、一資源管理器680、一攝影機資料庫(DB) 685及一攝影機介面690。 來自攝影機110之一視訊流可沿以下處理路徑到達顯示器130。感測器陣列管理器610指導感測器陣列220擷取視訊流之一組影像。影像處理器620可對所擷取之影像執行影像處理，諸如雜訊降低操作及/或縮放操作。接著，編碼器630可使用一編解碼器(諸如(例如) MPEG-4)壓縮影像。接著，用戶端介面640可將經編碼影像封裝成一聯集(諸如(例如) MPEG-4第14部分(MP4))且可將所含之編碼影像經由資料單元跨網路120傳輸至監視站125以顯示於顯示器130上。解碼器650可自聯集擷取編碼影像，可解碼影像，且可將解碼影像提供至顯示介面660。顯示介面660可將解碼影像儲存於一緩衝器中且可串流傳輸來自緩衝器之解碼影像以作為顯示器130上之一視訊流。 資源管理器680可管理與環境100相關聯之資源。例如，資源管理器680可管理與將資料自攝影機110跨網路120傳輸至監視站125及相關聯顯示器130相關聯之網路資源及/或與攝影機110、監視站125及/或顯示器130相關聯之處理器及記憶體資源。資源管理器680可指示攝影機110針對一操作者之凝視區域外之一視訊流之一區域來降低與自攝影機110至顯示器130之一視訊流相關聯之一位元率。眼球追蹤器介面670可經組態以與眼球追蹤器140通信。例如，眼球追蹤器介面670可使用與眼球追蹤器140相關聯之一特定應用程式設計介面(API)來自眼球追蹤器140獲得識別與一特定視訊流相關聯之一凝視區域之資訊。 資源管理器680可經由眼球追蹤器介面670自眼球追蹤器140收集凝視區域資訊，可基於儲存於攝影機DB 685中之資訊來判定一或多個位元率降低因數，且可指示一或多個攝影機110將一或多個位元率降低因數應用於一視訊流之一或多個區域。攝影機DB 685可儲存與特定攝影機110相關之資訊。下文將參考圖7描述可儲存於攝影機DB 685中之例示性資訊。攝影機介面690可經組態以與攝影機110通信且可經由與攝影機110相關聯之一特定API發送來自資源管理器680之指令。 感測器陣列管理器610可儲存、管理及/或應用一或多個感測器陣列參數。例如，感測器陣列管理器610可儲存操縱是否應接通或切斷感測器陣列220中之一特定感測器之參數、一特定感測器之一取樣率、一特定感測器之一敏感度因數及/或另一類型之感測器參數。再者，感測器陣列管理器610可儲存感測器陣列220之一或多個設定以判定由感測器陣列220擷取之影像之一類型。例如，一第一設定可對應於一常規影像，一第二影像可對應於一廣角或全景影像，一第三設定可對應於一低光設定，等等。感測器陣列管理器610可自VMS 150接收一指令以調整儲存參數之一或多者以基於由VMS 150判定之凝視區域資訊來調整感測器陣列220之一區域中之一位元率。 影像處理器620可儲存、管理及/或應用一或多個影像處理參數。例如，影像處理器620可儲存與一雜訊降低程序(諸如一低通濾波)相關之參數、與一縮放程序相關之參數及/或可用於改變與一視訊流之一區域相關聯之一位元率之其他類型之影像處理參數。影像處理器620可自VMS 150接收一指令以調整儲存參數之一或多者以基於由VMS 150判定之凝視區域資訊來調整一視訊流之一區域中之一位元率。 編碼器630可儲存、管理及/或應用包含圖框內編碼參數及圖框間編碼參數之一或多個編碼參數。例如，編碼器630可儲存一視訊流之特定區域及/或物體之一量化參數(QP)，儲存一離散餘弦變換(DCT)之一組係數、預測誤差參數之一平均絕對差(MAD)及/或其他編碼參數。編碼器630可自VMS 150接收一指令以調整儲存編碼參數之一或多者以基於由VMS 150判定之凝視區域資訊來調整一視訊流之一區域中之一位元率。 用戶端介面640可儲存、管理及/或應用一或多個影像傳輸參數。例如，用戶端介面640可儲存一服務品質(QoS)參數。用戶端介面640可自VMS 150接收一指令以調整儲存編碼參數之一或多者以基於由VMS 150判定之凝視區域資訊來調整一視訊流之一區域中之一位元率。 儘管圖6展示攝影機110、顯示器130及VMS 150之功能組件，但在其他實施方案中，攝影機110、顯示器130或VMS 150可相較於圖6中之描繪包含更少功能組件、不同功能組件、不同配置功能組件或額外功能組件。另外，攝影機110、顯示器130及VMS 150之組件之任一者(或任何組件群組)可執行描述為由攝影機110、顯示器130及VMS 150之一或多個其他功能組件執行之功能。 圖7係圖6之攝影機資料庫之例示性組成之一圖式。如圖7中所展示，攝影機DB 685可儲存一或多個攝影機記錄701。各攝影機記錄701可儲存與一特定攝影機110相關之資訊。攝影機記錄701可包含一攝影機識別符(ID)欄位710、一凝視區域欄位720、一梯度欄位730及一位元率降低欄位740。 攝影機ID欄位710可儲存與一特定攝影機110相關聯之一或多個ID。例如，攝影機ID可儲存特定攝影機110之一媒體存取控制(MAC)位址、特定攝影機110之一網際網路協定(IP)位址、由VMS 150指派給特定攝影機110之一名稱及/或另一類型之ID。此外，攝影機ID欄位710可儲存特定攝影機110之製造及型號資訊及/或安裝於特定攝影機110上之一軟體版本。再者，攝影機ID欄位710可包含使VMS 150能夠與特定攝影機110建立一安全連接之特定攝影機110之鑑認資訊。 凝視區域欄位720可包含識別特定攝影機110之一當前或最近識別之凝視區域之資訊。例如，凝視區域欄位720可識別凝視點410、中央窩視覺區域420及/或另一標定凝視區域。此外，凝視區域欄位720可包含與特定攝影機110相關聯之視訊流之凝視區域相關聯之歷史資訊。歷史凝視區域資訊可(例如)用於預測與特定攝影機110相關聯之視訊流之一凝視軌跡。 梯度欄位730可儲存識別與特定攝影機110相關聯之一位元率降低因數梯度之資訊。例如，梯度欄位730可儲存一組可能梯度且可儲存識別來自一組可能梯度之一選擇或主動梯度之一指示。梯度可由一或多個位元率降低因數界定，諸如自凝視區域之一邊緣至相距於凝視區域之邊緣之一設定距離之一第一區域之一第一位元率降低因數及自設定距離至顯示器之邊緣之一第二區域之一第二位元率降低因數，該第二位元率降低因數高於該第一位元率降低因數。作為另一實例，一梯度可界定自凝視區域之一邊緣至顯示器之邊緣之一線性減小之位元率降低因數。作為又一實例，一梯度可界定一非線性減小之位元率降低因數(例如一呈指數減小之位元率降低因數、一呈對數減小之位元率降低因數等等)。 此外，梯度欄位730可包含用於調整一位元率之額外指令及/或規範。作為又一實例，梯度欄位730可指定：若凝視區域落於顯示器外，則應降低整個視訊流之位元率。作為另一實例，產生梯度可包含：指示攝影機提高凝視區域內之視訊流之一位元率。作為又一實例，梯度欄位730可指定在一凝視軌跡指示凝視區域移動至降低位元率之一區域中時提高該區域中之位元率。 位元率降低欄位740可識別將應用於特定情形中之一或多個位元率降低因數。此外，位元率降低欄位740可識別當前應用於與特定攝影機110相關聯之一視訊流之一或多個位元率降低因數。例如，位元率降低欄位740可識別一或多個感測器陣列管理器610參數、一或多個影像處理器620參數、一或多個編碼器參數及/或一或多個用戶端介面640參數。編碼器參數可包含可經調整以影響位元率之不同標準編碼設定檔。例如，當使用H.264視訊編碼標準時，可選擇之編碼設定檔包含Baseline、Extended、Main、High、High 10、High 4:2:2及High 4:4:4 Predictive。另外或替代地，可調整較低階編碼參數以進一步調整位元率。例如，針對MPEG編碼標準，可選擇量化縮放矩陣來增加量化以降低編碼圖框內之位元率。再者，可調整改變臨限位準以改變編碼中間圖框之壓縮率。例如，可在編碼P圖框及/或B圖框時提高移動之臨限值，且因此編碼會降低一編碼視訊流之位元率之較少改變。 圖8係根據本文所描述之一實施方案之基於一凝視區域來控制一位元率之一程序之一流程圖。在一實施方案中，圖8之程序可由VMS 150執行。在其他實施方案中，圖8之一些或所有程序可由與VMS 150分離及/或包含VMS 150之另一裝置或一裝置群組(諸如攝影機110及/或監視站125)執行。 圖8之程序可包含：自一攝影機接收一視訊流(區塊810)；及將視訊流顯示於一顯示器上(區塊820)。例如，一操作者可登入與監視站125及/或顯示器130相關聯之一電腦裝置且可登入VMS 150以組態一或多個攝影機110。VMS 150可組態攝影機110以將監視區域106之一視訊流提供至顯示器130，且顯示器130可不斷自攝影機110接收視訊流資料且顯示視訊流資料。 可相對於注視顯示器之一使用者及/或一操作者獲得識別一凝視區域之資訊(區塊830)。例如，眼球追蹤器140可監視使用者之眼睛以判定凝視點410及/或中央窩視覺區域420且基於所判定之凝視點410及/或中央窩視覺區域420來判定凝視區域。可將識別所判定之凝視區域之資訊提供至VMS 150之資源管理器680。替代地，可將來自眼球追蹤器140之原始資料提供至VMS 150且VMS 150可基於原始資料來判定凝視區域。 可產生自凝視區域朝向顯示器之邊緣之一梯度(區塊840)。例如，資源管理器680可產生與攝影機110相關聯之視訊流之一梯度。可基於一或多個參數來選擇來自梯度欄位730之一特定梯度。作為一實例，可在低網路負載之時間期間選擇一更保守梯度(例如自凝視區域之一邊緣朝向顯示器之邊緣之一線性減小之位元率降低因數)且可在高網路負載之時間期間選擇一更嚴格梯度(例如，將一位元率降低因數應用於凝視區域外之所有區域)。作為另一實例，特定攝影機110可被賦予重要性評級且與一較高重要性評級相關聯之一第一攝影機110可被賦予比與一較低重要性評級相關聯之一第二攝影機110保守之一梯度。作為又一實例，不同使用者及/或監視站125可被賦予重要性評級且可基於所賦予之重要性評級來選擇一梯度。 可指示攝影機基於所產生之梯度來降低凝視區域外之視訊流之位元率(區塊850)。例如，VMS 150可自特定攝影機110之位元率降低欄位740選擇一或多個位元率降低因數，諸如一感測器陣列位元率降低因數、一影像處理位元率降低因數、一編碼位元率降低因數及/或一影像傳輸位元率降低因數。作為一實例，VMS 150可選擇：調整與視訊流之一區域相關聯之感測器陣列220中之一感測器子集之一取樣率、降低視訊流之該區域之取樣率(例如，降低解析度)、增加視訊流之該區域中之一雜訊降低程序、增大一編碼壓縮參數及/或調整可導致視訊流之該區域中之一降低位元率之另一參數。 可基於一或多個參數來選擇一特定位元率降低因數。作為一實例，可基於與視訊流相關聯之特定攝影機110之一製造及型號來選擇一位元率降低因數。作為另一實例，可基於一預測位元率降低(例如，基於特定攝影機110之歷史資料)來選擇位元率降低因數且可選擇與最高預測位元率降低相關聯之一位元率降低因數。作為又一實例，可基於由使用者選擇之一手動設定來選擇位元率降低因數。在另一實例中，位元率降低可與場景之內容及/或一受偵測物體相關聯。 圖9A至圖9C係根據本文所描述之一或多個實施方案之例示性位元率降低方案之圖式。圖9A繪示顯示器130上之一第一例示性位元率降低方案901。如圖9A中所展示，標定為中央窩視覺區域420之凝視區域駐留於顯示器130之右下角中。可使用一第一位元降低區域910及一第二位元降低區域920設定一梯度。可將第一位元降低區域910界定為自中央窩視覺區域420之邊緣延伸至一設定距離。可(例如)基於很有可能偵測到運動之一周邊視覺區域來判定設定距離。作為另一實例，設定距離可對應於自中央窩視覺區域420之邊緣朝向顯示器130之邊緣之距離之一百分比(例如至邊緣之距離之30%、至邊緣之距離之50%等等)。可將第二位元降低區域920界定為自設定距離進一步朝向顯示器130之邊緣延伸。 第一位元降低區域910可與一第一位元率降低因數相關聯且第二位元降低區域920可與比第一位元率降低因數高之一第二位元率降低因數相關聯。因此，第二位元降低區域920可提供具有一低位元率之一低品質視訊流，第一位元降低區域910可提供具有一較高品質及位元率之一視訊流，且中央窩視覺區域420可提供其中位元率未自其標稱視訊壓縮率降低之一高品質視訊流。在一些實施方案中，可提高中央窩視覺區域420內之位元率(例如藉由降低一壓縮值、藉由減少雜訊降低、藉由提高一感測器子集之一取樣率等等)。 圖9B繪示顯示器130上之一第二例示性位元率降低方案902。如圖9A中所展示，標定為中央窩視覺區域420之凝視區域亦駐留於顯示器130之右下角中。可設定包含自中央窩視覺區域420朝向顯示器130之邊緣之一線性增大位元率降低因數之一梯度。區域930、932、934、936、938、940及942可與增大位元率降低因數相關聯且因此與降低位元率及視訊品質相關聯。 圖9C繪示顯示器130上之一第三例示性位元率降低方案903。在方案903中，使用一高位元率降低因數降低中央窩視覺區域420外之區域950之位元率。在降低位元率之後，凝視區域開始隨所建立之一軌跡960自先前凝視區域970改變至當前凝視區域980。軌跡960可用於預測對應於區域990之凝視區域之一將來軌跡。作為回應，可藉由將降低位元率提高回至與凝視區域相關聯之一高位元率來消除區域990中之位元率降低。因此，可預知落入至區域990中之使用者之凝視且可在使用者之凝視到達區域990之前提高區域990中之位元率。此可防止操作者之凝視落於區域990上之時間與使用者能夠在區域990中看到一高品質視訊流之時間之間的任何滯後時間或延時。軌跡可使用儲存凝視區域970之先前軌跡之軌跡運算法來預測，且可使用統計技術來預知凝視區域970之移動之將來變化。在一實施例中，視訊流中之辨識物體之間的關聯性會影響凝視區域990之預知移動之判定。例如，可預期所關注之物體會吸引使用者之注意，因此，所關注之一物體之出現及/或所關注之物體之軌跡會影響凝視區域970之預測軌跡之計算。 本申請案將與本專利申請案同日申請之以下專利申請案以引用的方式併入本文中：名稱為「Gaze Heat Map」且在2016年12月30日申請之美國專利申請案第15/395,892號(代理檔案號P160085/US (0090-0018))、2016年12月30日申請之名稱為「Alarm Masking Based on Gaze in Video Management System」之美國專利申請案第15/395,403號(代理檔案號P160191 (0090-0023))及2016年12月30日申請之名稱為「Block Level Frame Rate Control Based on Gaze」之美國專利申請案第15/395,790號(代理檔案號P160193 (0090-0024))。 在本說明書中，已參考附圖描述各種較佳實施例。然而，顯而易見，可在不背離以下申請專利範圍中所闡述之本發明之較廣泛範疇之情況下對本發明作出各種修改及改變及實施額外實施例。相應地，本說明書及圖式被視為具繪示性而非限制性。 例如，儘管已參考圖8描述區塊系列，但可在其他實施方案中修改區塊之順序。此外，可並行執行非相依區塊及/或信號流。 應明白，上文所描述之系統及/或方法可在圖中所繪示之實施方案中以諸多不同形式之軟體、韌體及硬體實施。用於實施此等系統及方法之實際軟體碼或特殊控制硬體不限制實施例。因此，在無需參考特定軟體碼之情況下描述系統及方法之操作及行為，應瞭解，軟體及控制硬體可經設計以實施基於本文描述之系統及方法。 此外，上文所描述之特定部分可實施為執行一或多個功能之一組件。如本文所使用，一組件可包含硬體(諸如一處理器、一ASIC或一FPGA)或硬體及軟體之一組合(例如執行軟體之一處理器)。如本文所使用，用語「例示性」意謂「作為用於繪示之一實例」。 本說明書中所使用之術語「包括」被視為特指存在所陳述之特徵、整體、步驟或組件，但不排除存在或新增一或多個其他特徵、整體、步驟、組件或其等之群組。 如本文所使用，術語「邏輯」可係指經組態以執行儲存於一或多個記憶體裝置中之指令之一或多個處理器之一組合，可係指固線式電路，及/或可係指其等之一組合。此外，一邏輯可包含於一單一裝置中或可分佈於多個及可能遠端之裝置中。 為描述及界定本發明，術語「實質上」在本文中用於表示可歸因於任何定量比較、值、量測或其他表示之固有不確定性程度。術語「實質上」在本文中亦用於表示一定量表示在不導致所討論之標的之基本功能改變之情況下可自一所述參考變動之程度。 除非明確說明，否則本申請案中所使用之元件、動作或指令不應被解釋為實施例之至關重要或必不可少部分。另外，如本文所使用，冠詞「一」意欲包含一或多個項目。此外，除非另有明確說明，否則片語「基於」意欲意謂「至少部分基於」。
100‧‧‧環境
102‧‧‧物體
102-1‧‧‧物體
106‧‧‧監視區域
106-1‧‧‧監視區域
106-2‧‧‧監視區域
110‧‧‧攝影機
110-1至110-M‧‧‧攝影機
120‧‧‧網路
125‧‧‧監視站
125-1至125-N‧‧‧監視站
130‧‧‧顯示器
130-1至130-N‧‧‧顯示器
140‧‧‧眼球追蹤器
140-1至140-N‧‧‧眼球追蹤器
150‧‧‧視訊管理系統(VMS)
210‧‧‧光學器件系列
212‧‧‧鏡頭
220‧‧‧感測器陣列
225‧‧‧匯流排
230‧‧‧影像處理器
240‧‧‧控制器
245‧‧‧記憶體
250‧‧‧視訊編碼器
260‧‧‧通信介面
270‧‧‧馬達控制器
272‧‧‧馬達
300‧‧‧運算模組
310‧‧‧匯流排
320‧‧‧處理器
330‧‧‧記憶體
340‧‧‧輸入裝置
350‧‧‧輸出裝置
360‧‧‧通信介面
400‧‧‧環境
402‧‧‧操作者
410‧‧‧凝視點
420‧‧‧中央窩視覺區域
430‧‧‧周邊視覺區域
520‧‧‧視訊圖框
520-1至520-N‧‧‧圖框
610‧‧‧感測器陣列管理器
620‧‧‧影像處理器
630‧‧‧編碼器
640‧‧‧用戶端介面
650‧‧‧解碼器
660‧‧‧顯示介面
670‧‧‧眼球追蹤器介面
680‧‧‧資源管理器
685‧‧‧攝影機資料庫(DB)
690‧‧‧攝影機介面
701‧‧‧攝影機記錄
710‧‧‧攝影機識別符(ID)欄位
720‧‧‧凝視區域欄位
730‧‧‧梯度欄位
740‧‧‧位元率降低欄位
810‧‧‧區塊
820‧‧‧區塊
830‧‧‧區塊
840‧‧‧區塊
850‧‧‧區塊
901‧‧‧第一例示性位元率降低方案
902‧‧‧第二例示性位元率降低方案
903‧‧‧第三例示性位元率降低方案
910‧‧‧第一位元降低區域
920‧‧‧第二位元降低區域
930‧‧‧區域
932‧‧‧區域
934‧‧‧區域
936‧‧‧區域
938‧‧‧區域
940‧‧‧區域
942‧‧‧區域
950‧‧‧區域
960‧‧‧軌跡
970‧‧‧先前凝視區域
980‧‧‧當前凝視區域
990‧‧‧區域
圖1係繪示根據本文所描述之一實施方案之包含眼球追蹤之一例示性環境的一方塊圖； 圖2係繪示根據本文所描述之一實施方案之一攝影機之例示性組件的一方塊圖； 圖3係繪示根據本文所描述之一實施方案之一運算模組之例示性組件的一方塊圖； 圖4繪示根據本文所描述之一實施方案之其中一操作者觀看具有一眼球追蹤器之一顯示器的一環境； 圖5A及圖5B繪示根據本文所描述之一或多個實施方案之一操作者所見之顯示器； 圖6係圖1之一些組件之功能組件之一圖式； 圖7係圖6之攝影機資料庫之例示性組成之一圖式； 圖8係根據本文所描述之一實施方案之基於一凝視區域來控制一位元率之一程序之一流程圖；及 圖9A至圖9C係根據本文所描述之一或多個實施方案之例示性位元率降低方案之圖式。

Claims (20)

  1. 一種由一或多個電腦裝置執行之方法，該方法包括：自一攝影機接收一視訊流(stream)；將該視訊流顯示於一顯示器上；經由一眼球追蹤感測器獲得識別注視該顯示器之一使用者之一凝視區域的資訊；產生自該凝視區域朝向該顯示器之多個邊緣之一梯度(gradient)；及基於所產生之該梯度指示該攝影機降低該凝視區域外之該視訊流之一位元率。
  2. 如請求項1之方法，進一步包括：基於所獲得之該資訊來計算一預測凝視軌跡；及沿該預測凝視軌跡提高該視訊流之該位元率。
  3. 如請求項1之方法，進一步包括：判定該凝視區域落於該顯示器外；及回應於判定該凝視區域落於該顯示器外，降低該整個視訊流之該位元率。
  4. 如請求項2之方法，其進一部包含：偵測該凝視區域外之該視訊流中之一移動物體；及使該凝視區域與該移動物體關聯。
  5. 如請求項1之方法，其中產生自該凝視區域至該顯示器之該等邊緣之該梯度包含：界定自該凝視區域之一邊緣至距該凝視區域之該邊緣之一特定距離之一第一區域之一第一位元率降低因數，其中該第一位元率降低因數指示該第一區域之一位元率降低之一程度；及界定自該特定距離至自該顯示器之該等邊緣之一第二區域之一第二位元率降低因數，其中該第二位元率降低因數指示該第二區域之一位元率降低之一程度，其中該第二位元率降低因數高於該第一位元率降低因數。
  6. 如請求項1之方法，其中產生自該凝視區域至該顯示器之該等邊緣之該梯度包含：界定自該凝視區域之一邊緣朝向該顯示器之該等邊緣之一線性減小之位元率降低因數，其中該顯示器之一特定位置處之該位元率降低因數指示該特定位置處之一位元率降低之一程度。
  7. 如請求項1之方法，其中基於所產生之該梯度指示該攝影機降低該凝視區域外之該視訊流之一位元率包含：指示該攝影機降低與該凝視區域外之該視訊流之一區域相關聯之一感測器之一取樣率。
  8. 如請求項1之方法，其中基於所產生之該梯度指示該攝影機降低該凝視區域外之該視訊流之一位元率包含：指示該攝影機在編碼該視訊流之前，降低該凝視區域外之該視訊流之一區域之解析度。
  9. 如請求項1之方法，其中基於所產生之該梯度指示該攝影機降低該凝視區域外之該視訊流之一位元率包含：指示該攝影機在編碼該視訊流之前，增加該凝視區域外之該視訊流之一區域之一雜訊降低程序。
  10. 如請求項1之方法，其中基於所產生之該梯度指示該攝影機降低該凝視區域外之該視訊流之一位元率包含：指示該攝影機增大與該凝視區域外之該視訊流之一區域相關聯之一編碼處理單元之一壓縮參數值。
  11. 如請求項1之方法，其中該視訊流包含複數個視訊流且其中該顯示器包含複數個顯示器。
  12. 一種電腦裝置，其包括：一記憶體，其儲存多個指令；及一處理器，其經組態以執行該等指令以：自一攝影機接收一視訊流；將該視訊流顯示於一顯示器上；經由一眼球追蹤感測器獲得識別注視該顯示器之一使用者之一凝視區域的資訊；產生自該凝視區域至該顯示器之多個邊緣之一梯度；及基於所產生之該梯度指示該攝影機降低該凝視區域外之該視訊流之一位元率。
  13. 如請求項12之電腦裝置，其中該處理器經進一步組態以執行該等指令以：基於所獲得之凝視資訊來計算一預測凝視軌跡(trajectory)；及沿該預測凝視軌跡提高該視訊流之該位元率。
  14. 如請求項12之電腦裝置，其中當產生自該凝視區域至該顯示器之該等邊緣之該梯度時，該處理器經進一步組態以：界定自該凝視區域之一邊緣至距該凝視區域之該邊緣之一特定距離之一第一區域之一第一位元率降低因數，其中該第一位元率降低因數指示該第一區域之一位元率降低之一程度；及界定自該特定距離朝向該顯示器之該等邊緣之一第二區域之一第二位元率降低因數，其中該第二位元率降低因數指示該第二區域之一位元率降低之一程度，其中該第二位元率降低因數高於該第一位元率降低因數。
  15. 如請求項12之電腦裝置，其中當產生自該凝視區域至該顯示器之該等邊緣之該梯度時，該處理器經進一步組態以：界定自該凝視區域之一邊緣朝向該顯示器之該等邊緣之一線性減小之位元率降低因數，其中該顯示器之一特定位置處之該位元率降低因數指示該特定位置處之一位元率降低之一程度。
  16. 如請求項12之電腦裝置，其中當基於所產生之該梯度指示該攝影機降低該凝視區域外之該視訊流之一位元率時，該處理器經進一步組態以：指示該攝影機降低與該凝視區域外之該視訊流之一區域相關聯之一感測器之一取樣率。
  17. 如請求項12之電腦裝置，其中當基於所產生之該梯度指示該攝影機降低該凝視區域外之該視訊流之一位元率時，該處理器經進一步組態以：指示該攝影機在編碼該視訊流之前，降低該凝視區域外之該視訊流之一區域之解析度。
  18. 如請求項12之電腦裝置，其中當基於所產生之該梯度指示該攝影機降低該凝視區域外之該視訊流之一位元率時，該處理器經進一步組態以：指示該攝影機在編碼該視訊流之前，增加該凝視區域外之該視訊流之一區域之一雜訊降低程序。
  19. 如請求項12之電腦裝置，其中當基於所產生之該梯度指示該攝影機降低該凝視區域外之該視訊流之一位元率時，該處理器經進一步組態以：指示該攝影機增大與該凝視區域外之該視訊流之一區域相關聯之一編碼處理單元之一壓縮參數值。
  20. 一種系統，其包括：一攝影機，其經組態以：產生一視訊流；及一電腦裝置，其經組態以：自該攝影機接收該視訊流；將該視訊流顯示於一顯示器上；經由一眼球追蹤感測器獲得識別注視該顯示器之一使用者之一凝視區域的資訊；產生自該凝視區域至該顯示器之多個邊緣之一梯度；及基於所產生之該梯度發送一指令至該攝影機以降低該凝視區域外之該視訊流之一位元率；及其中該攝影機經進一步組態以：基於所接收之該指令以降低該凝視區域外之該視訊流之該位元率。
TW106146137A 2016-12-30 2017-12-28 凝視控制位元率 TWI662834B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US15/395,856 US10121337B2 (en) 2016-12-30 2016-12-30 Gaze controlled bit rate
US15/395,856 2016-12-30
EP17154582.5A EP3343917A1 (en) 2016-12-30 2017-02-03 Gaze controlled bit rate
??17154582.5 2017-02-03

Publications (2)

Publication Number Publication Date
TW201830961A TW201830961A (zh) 2018-08-16
TWI662834B true TWI662834B (zh) 2019-06-11

Family

ID=57995042

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106146137A TWI662834B (zh) 2016-12-30 2017-12-28 凝視控制位元率

Country Status (6)

Country Link
US (1) US10121337B2 (zh)
EP (1) EP3343917A1 (zh)
JP (1) JP6708622B2 (zh)
KR (1) KR102065479B1 (zh)
CN (1) CN108270997A (zh)
TW (1) TWI662834B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
JP2019103067A (ja) 2017-12-06 2019-06-24 キヤノン株式会社 情報処理装置、記憶装置、画像処理装置、画像処理システム、制御方法、及びプログラム
US10805653B2 (en) * 2017-12-26 2020-10-13 Facebook, Inc. Accounting for locations of a gaze of a user within content to select content for presentation to the user
US10686859B2 (en) * 2017-12-28 2020-06-16 Intel Corporation Content scenario and network condition based multimedia communication
US20190265787A1 (en) * 2018-02-26 2019-08-29 Tobii Ab Real world interaction utilizing gaze
KR102547106B1 (ko) * 2018-05-07 2023-06-23 애플 인크. 동적 포비티드 파이프라인
US10419738B1 (en) * 2018-06-14 2019-09-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing 360° immersive video based on gaze vector information
CN108833976B (zh) * 2018-06-27 2020-01-24 深圳看到科技有限公司 一种全景视频动态切流后的画面质量评估方法及装置
US10757389B2 (en) 2018-10-01 2020-08-25 Telefonaktiebolaget Lm Ericsson (Publ) Client optimization for providing quality control in 360° immersive video during pause
KR102238125B1 (ko) * 2018-11-26 2021-04-08 수니코리아 엘엘씨(한국뉴욕주립대학교) 가상 현실 영상의 부호화 장치 및 방법, 및 복호화 장치 및 방법
US11032607B2 (en) * 2018-12-07 2021-06-08 At&T Intellectual Property I, L.P. Methods, devices, and systems for embedding visual advertisements in video content
TWI697832B (zh) * 2019-02-01 2020-07-01 宏碁股份有限公司 多螢幕顯示系統及其訊息提示方法
US11055976B2 (en) 2019-09-19 2021-07-06 Axis Ab Using a skip block mask to reduce bitrate from a monitoring camera
US11232686B2 (en) 2019-12-30 2022-01-25 Axis Ab Real-time deviation in video monitoring
CN114071150B (zh) * 2020-07-31 2023-06-16 京东方科技集团股份有限公司 图像压缩方法及装置、图像显示方法及装置和介质
US20220111859A1 (en) * 2020-10-12 2022-04-14 Ford Global Technologies, Llc Adaptive perception by vehicle sensors
US11830168B2 (en) * 2021-03-31 2023-11-28 Tobii Ab Method of compressing image data for network transport
EP4329293A1 (en) * 2022-08-25 2024-02-28 Artificialy SA Support system of the control of surveillance cameras
KR102497227B1 (ko) * 2022-11-11 2023-02-08 (주)아이브리지닷컴 심리스 동영상 스트리밍 재생 장치 및 그 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050018911A1 (en) * 2003-07-24 2005-01-27 Eastman Kodak Company Foveated video coding system and method
US20070074266A1 (en) * 2005-09-27 2007-03-29 Raveendran Vijayalakshmi R Methods and device for data alignment with time domain boundary
US20120146891A1 (en) * 2010-12-08 2012-06-14 Sony Computer Entertainment Inc. Adaptive displays using gaze tracking
JP2016515242A (ja) * 2013-02-27 2016-05-26 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 校正不要な注視点推定の方法と装置
US9460601B2 (en) * 2009-09-20 2016-10-04 Tibet MIMAR Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4513317A (en) 1982-09-28 1985-04-23 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Retinally stabilized differential resolution television display
JPH07135623A (ja) 1993-10-27 1995-05-23 Kinseki Ltd 網膜直接表示装置
JP3263278B2 (ja) * 1995-06-19 2002-03-04 株式会社東芝 画像圧縮通信装置
JPH0951519A (ja) * 1995-08-08 1997-02-18 Nippon Telegr & Teleph Corp <Ntt> 情報提供方法及び情報提供装置並びに課金方法
JPH09200756A (ja) * 1996-01-17 1997-07-31 Kubota Corp 画像データ圧縮方法及び装置，画像データ送受信方法及び装置並びに画像データ受信装置
JPH10304335A (ja) * 1997-04-28 1998-11-13 Fujitsu Ltd 情報伝送装置
ES2203222T3 (es) * 1999-12-30 2004-04-01 Swisscom Mobile Ag Procedimiento de transmision de datos de imagen.
JP2001045494A (ja) * 2000-01-01 2001-02-16 Mitsubishi Electric Corp 画像符号化装置
JP4602632B2 (ja) 2000-04-28 2010-12-22 スイスコム モービル アーゲー ビデオ会議の方法とシステム
JP2002218441A (ja) * 2001-01-22 2002-08-02 Matsushita Electric Ind Co Ltd 画像提供装置およびその方法
US7068813B2 (en) * 2001-03-28 2006-06-27 Koninklijke Philips Electronics N.V. Method and apparatus for eye gazing smart display
JP4162398B2 (ja) * 2001-11-19 2008-10-08 株式会社日立製作所 映像表示システムおよびその方法
DE10300048B4 (de) * 2002-01-05 2005-05-12 Samsung Electronics Co., Ltd., Suwon Verfahren und Vorrichtung zur Bildcodierung und -decodierung
JP2004056335A (ja) * 2002-07-18 2004-02-19 Sony Corp 情報処理装置および方法、表示装置および方法、並びにプログラム
US7046924B2 (en) * 2002-11-25 2006-05-16 Eastman Kodak Company Method and computer program product for determining an area of importance in an image using eye monitoring information
CN101184221A (zh) * 2007-12-06 2008-05-21 上海大学 基于视觉关注度的视频编码方法
JP5082141B2 (ja) * 2008-04-07 2012-11-28 富士フイルム株式会社 画像処理システム、画像処理方法、およびプログラム
JP2010136032A (ja) * 2008-12-04 2010-06-17 Hitachi Ltd 映像監視システム
KR20100095833A (ko) * 2009-02-23 2010-09-01 주식회사 몬도시스템즈 Ｒｏｉ 의존형 압축 파라미터를 이용하여 영상을 압축하는 장치 및 방법
JP5210212B2 (ja) * 2009-03-16 2013-06-12 キヤノン株式会社 画像処理装置、画像処理方法
US9507418B2 (en) * 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US8184069B1 (en) * 2011-06-20 2012-05-22 Google Inc. Systems and methods for adaptive transmission of data
KR101920646B1 (ko) * 2011-12-15 2018-11-22 한국전자통신연구원 시각인식 기반의 프로그래시브 비디오 스트리밍 장치 및 방법
JP2013157802A (ja) * 2012-01-30 2013-08-15 Mitsubishi Electric Corp 監視カメラ装置
JP5873982B2 (ja) * 2012-10-09 2016-03-01 パナソニックＩｐマネジメント株式会社 ３次元表示装置、３次元画像処理装置および３次元表示方法
JP6138453B2 (ja) * 2012-10-29 2017-05-31 京セラ株式会社 テレビ電話機能付き機器、プログラムおよびテレビ電話機能付き機器の制御方法
KR101492919B1 (ko) * 2012-12-21 2015-02-12 서울시립대학교 산학협력단 저비용 다중 카메라 감시 시스템 및 방법
US10514541B2 (en) * 2012-12-27 2019-12-24 Microsoft Technology Licensing, Llc Display update time reduction for a near-eye display
US10242462B2 (en) * 2013-04-02 2019-03-26 Nvidia Corporation Rate control bit allocation for video streaming based on an attention area of a gamer
EP2838268B1 (en) 2013-07-31 2019-02-20 Axis AB Method, device and system for producing a merged digital video sequence
KR101882594B1 (ko) * 2013-09-03 2018-07-26 토비 에이비 휴대용 눈 추적 디바이스
GB2536025B (en) * 2015-03-05 2021-03-03 Nokia Technologies Oy Video streaming method
JP2018004950A (ja) * 2016-07-01 2018-01-11 フォーブ インコーポレーテッド 映像表示システム、映像表示方法、映像表示プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050018911A1 (en) * 2003-07-24 2005-01-27 Eastman Kodak Company Foveated video coding system and method
US20070074266A1 (en) * 2005-09-27 2007-03-29 Raveendran Vijayalakshmi R Methods and device for data alignment with time domain boundary
US9460601B2 (en) * 2009-09-20 2016-10-04 Tibet MIMAR Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
US20120146891A1 (en) * 2010-12-08 2012-06-14 Sony Computer Entertainment Inc. Adaptive displays using gaze tracking
JP2016515242A (ja) * 2013-02-27 2016-05-26 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 校正不要な注視点推定の方法と装置

Also Published As

Publication number Publication date
KR102065479B1 (ko) 2020-01-13
US10121337B2 (en) 2018-11-06
CN108270997A (zh) 2018-07-10
EP3343917A1 (en) 2018-07-04
JP6708622B2 (ja) 2020-06-10
KR20180079189A (ko) 2018-07-10
TW201830961A (zh) 2018-08-16
US20180190091A1 (en) 2018-07-05
JP2018110397A (ja) 2018-07-12

Similar Documents

Publication Publication Date Title
TWI662834B (zh) 凝視控制位元率
TWI654879B (zh) 凝視熱區圖
TWI767972B (zh) 基於凝視感測來解碼/編碼視訊資料之方法、顯示裝置、及攝影機
US10110929B2 (en) Method of pre-processing digital images, and digital image preprocessing system
US20170201689A1 (en) Remotely controlled communicated image resolution
US10643443B2 (en) Alarm masking based on gaze in video management system
JP7463268B2 (ja) ビデオのモニタリングにおけるリアルタイム偏差
KR102315524B1 (ko) 영상의 비트레이트 조절 방법 및 영상 획득 장치
US20140269910A1 (en) Method and apparatus for user guided pre-filtering