TW201830952A - 凝視熱區圖 - Google Patents

凝視熱區圖 Download PDF

Info

Publication number
TW201830952A
TW201830952A TW106146136A TW106146136A TW201830952A TW 201830952 A TW201830952 A TW 201830952A TW 106146136 A TW106146136 A TW 106146136A TW 106146136 A TW106146136 A TW 106146136A TW 201830952 A TW201830952 A TW 201830952A
Authority
TW
Taiwan
Prior art keywords
low
camera
video stream
day
gaze
Prior art date
Application number
TW106146136A
Other languages
English (en)
Other versions
TWI654879B (zh
Inventor
比約恩 阿爾多
費德立克 皮爾
Original Assignee
瑞典商安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞典商安訊士有限公司 filed Critical 瑞典商安訊士有限公司
Publication of TW201830952A publication Critical patent/TW201830952A/zh
Application granted granted Critical
Publication of TWI654879B publication Critical patent/TWI654879B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Social Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Chemical & Material Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Neurosurgery (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Alarm Systems (AREA)

Abstract

本發明揭示一種方法及一種視訊管理系統。該方法可包含:自一攝影機接收一視訊串流;及將該視訊串流顯示於一顯示器上。該方法可包含:經由一眼球追蹤感測器獲得注視該顯示器之一操作者之凝視資訊。該方法可包含:基於該所獲得之凝視資訊來產生該視訊串流在一時段內之一歷史凝視熱區圖;及基於該所產生之歷史凝視熱區圖來判定該視訊串流之一低關注度區域。該方法可包含:指示該攝影機降低該低關注度區域中之該視訊串流之一位元率。

Description

凝視熱區圖
諸如一攝影機之一監視裝置可經安裝以擷取一所關注區域之影像或視訊。一操作者或一操作者群組可在定位於攝影機遠端處之一顯示器上監視來自攝影機之影像或視訊。由攝影機擷取之資料可經處理且通過一網路連接發送至顯示器。例如,影像或視訊可經壓縮以減少必須跨網路傳輸之資料量。一系統可包含跨網路傳輸大量資料之大量攝影機。大量資料會占用網路之資源。
根據一態樣,一種由一電腦裝置執行之方法可包含:自一攝影機接收一視訊串流;將該視訊串流顯示於一顯示器上;經由一眼球追蹤感測器獲得注視該顯示器之一操作者之凝視資訊;基於該所獲得之凝視資訊來產生該視訊串流在一時段內之一歷史凝視熱區圖;基於該所產生之歷史凝視熱區圖來判定該視訊串流之一低關注度區域;及指示該攝影機降低該低關注度區域中之該視訊串流之一位元率。此方法可導致節約網路資源及減少攝影機及監視站之一監視系統之處理器及記憶體負載之技術效應。 另外,該方法可包含:基於該所產生之歷史凝視熱區圖來判定該視訊串流之一高關注度區域;及指示該攝影機提高該高關注度區域中之該視訊串流之一位元率。指示該攝影機提高該高關注度區域中之該視訊串流之該位元率可提供在不必提高整個視訊串流之位元率之情況下提供具有高關注度之該視訊串流之部分中之更多資訊之優點。 另外,該時段可比一天長。使用比一天長之一時段可提供基於一長期模式之一低關注度區域之優點。 另外,該時段可對應於一天中之一特定時間或一周中之一特定天,且基於該所產生之歷史凝視熱區圖來判定該視訊串流之該低關注度區域可包含:基於在一天中之一第一時間或一周中之某天之多個時刻針對一天中之該第一時間或一周中之該天所產生之一歷史凝視熱區圖來判定一天中之該第一時間或一周中之該天之一第一低關注度區域;及判定一天中之一第二時間或一周中之某天之一第二低關注度區域,其中該第二低關注度區域基於在一天中之該第二時間或一周中之該天之多個時刻針對一天中之該第二時間或一周中之該天所產生之一歷史凝視熱區圖而不同於該第一低關注度區域。判定一天中之不同時間或一周中之某些天之不同低關注度區域可提供使該低關注度區域適應於一天中之不同時間或一周中之某些天之優點。 另外,基於該所產生之歷史凝視熱區圖來判定該視訊串流之一低關注度區域可包含:識別該攝影機之一平移、變焦、傾斜、旋轉或影像類型設定;選擇與該攝影機之該經識別平移、變焦、傾斜、旋轉或影像類型設定相關聯之該所產生之歷史凝視熱區圖之一子集;及基於該所產生之歷史凝視熱區圖之該選定子集來判定該視訊串流之該低關注度區域。判定該攝影機之不同平移、變焦、傾斜、旋轉或影像類型設定之不同低關注度區域可提供使該低關注度區域適應於不同攝影機設定之優點。 另外,該視訊串流可包含複數個視訊串流且其中該顯示器可包含複數個顯示器。判定複數個顯示器之複數個視訊串流之一低關注度區域可提供節約網路資源及減少包含複數個視訊串流及複數個顯示器之一系統之處理器及記憶體負載之優點。 另外,該方法可包含:使一事件類型與該歷史凝視熱區圖之一特定變化相關聯;偵測該相關聯事件類型之一事件;及回應於偵測到該事件而基於該歷史凝視熱區圖之該特定變化來改變該低關注度區域。基於該歷史凝視熱區圖之該特定變化來改變該低關注度區域可提供使該低關注度區域適應於改變條件之優點。 另外,指示該攝影機降低該低關注度區域中之該視訊串流之該位元率可包含:指示該攝影機降低與該低關注度區域相關聯之一感測器之一取樣率。降低與該低關注度區域相關聯之一感測器之該取樣率可提供節約網路資源及減少一感測器之處理器及記憶體負載之優點。 另外,指示該攝影機降低該低關注度區域中之該視訊串流之該位元率可包含:指示該攝影機在編碼該視訊串流之前增加該低關注度區域之一雜訊降低程序。增加該低關注度區域之一雜訊降低程序可提供節約網路資源及減少一影像處理器之處理及記憶體負載之優點。 另外,指示該攝影機降低該低關注度區域中之該視訊串流之該位元率可包含:指示該攝影機調整與該低關注度區域相關聯之一編碼處理單元之一編碼參數。指示該攝影機調整與該低關注度攝影機相關聯之該編碼處理單元之該編碼參數可提供節約網路資源及減少一編碼處理單元之處理及記憶體負載之優點。 根據另一態樣,一電腦系統可包含:一記憶體,其用於儲存指令;及一接收器,其用於自一攝影機接收一視訊串流;一顯示器,其用於顯示該視訊串流;一處理器,其經組態以執行該等指令以:經由一眼球追蹤感測器獲得注視該顯示器之一操作者之凝視資訊,基於該所獲得之凝視資訊來產生該視訊串流在一時段內之一歷史凝視熱區圖,基於該所產生之歷史凝視熱區圖來判定該視訊串流之一低關注度區域,且決定指示該攝影機降低該低關注度區域中之該視訊串流之一位元率;及一傳輸器,其用於將一指令發送至該攝影機以降低該低關注度區域中之該視訊串流之該位元率。此電腦系統可提供節約網路資源及減少攝影機及監視站之一監視系統之處理器及記憶體負載之技術效應。 另外,該處理器可經進一步組態以基於該所產生之歷史凝視熱區圖來自判定該視訊串流之一高關注度區域,且該處理器可經組態以決定指示該攝影機提高該高關注度區域中之該視訊串流之一位元率,且該傳輸器可經組態以將一指令發送至該攝影機以提高該高關注度區域中之該視訊串流之該位元率。指示該攝影機提高該高關注度區域中之該視訊串流之該位元率可提供在不必提高整個視訊串流之位元率之情況下提供具有高關注度之該視訊串流之部分中之更多資訊之優點。 另外,該時段可比一天長。使用比一天長之一時段可提供基於一長期模式之一低關注度區域之優點。 另外,該時段可對應於一天中之一特定時間或一周中之一特定天,且該處理器可經進一步組態以基於在一天中之一第一時間或一周中之某天之多個時刻針對一天中之該第一時間或一周中之該天所產生之一歷史凝視熱區圖來判定一天之該第一時間或一周中之該天之一第一低關注度區域;及判定一天中之一第二時間或一周中之某天之一第二低關注度區域,其中該第二低關注度區域基於在一天之該第二時間或一周中之該天之多個時刻針對一天中之該第二時間或一周中之該天所產生之一歷史凝視熱區圖而不同於該第一低關注度區域。判定一天中之不同時間或一周中之某些天之不同低關注度區域可提供使該低關注度區域適應於一天中之不同時間或一周中之某些天之優點。 另外,該處理器可經進一步組態以:識別該攝影機之一平移、變焦、傾斜、旋轉或影像類型設定;選擇與該攝影機之該經識別平移、變焦、傾斜、旋轉或影像類型設定相關聯之該所產生之歷史凝視熱區圖之一子集;及基於該所產生之歷史凝視熱區圖之該選定子集來判定該視訊串流之該低關注度區域。判定該攝影機之不同平移、變焦、傾斜、旋轉或影像類型設定之不同低關注度區域可提供使該低關注度區域適應於不同攝影機設定之優點。 另外,該視訊串流可包含複數個視訊串流且該顯示器可包含複數個顯示器。判定複數個顯示器之複數個視訊串流之一低關注度區域可提供節約網路資源及減少包含複數個視訊串流及複數個顯示器之一系統之處理器及記憶體負載之優點。 另外,該處理器可經進一步組態以:使一事件類型與該歷史凝視熱區圖之一特定變化相關聯;偵測該相關聯事件類型之一事件;及回應於偵測到該事件而基於該歷史凝視熱區圖之該特定變化來改變該低關注度區域。基於該歷史凝視熱區圖之該特定變化來改變該低關注度區域可提供使該低關注度區域適應於改變條件之優點。 另外,該處理器可經進一步組態以:決定指示該攝影機降低與該低關注度區域相關聯之一感測器之一取樣率,且用於降低該低關注度區域中之該視訊串流之該位元率之該指令可包含使該攝影機降低與該低關注度區域相關聯之該感測器之該取樣率之一指令。降低與該低關注度區域相關聯之一感測器之該取樣率可提供節約網路資源及減少一感測器之處理器及記憶體負載之優點。 另外,該處理器可經進一步組態以決定指示該攝影機在編碼該視訊串流之前增加該低關注度區域之一雜訊降低程序,且用於降低該低關注度區域中之該視訊串流之該位元率之該指令可包含用於在編碼該視訊串流之前增加該低關注度區域之該雜訊降低程序之一指令。增加該低關注度區域之一雜訊降低程序可提供節約網路資源及減少一影像處理器之處理及記憶體負載之優點。 另外,該處理器可經進一步組態以決定指示該攝影機調整與該低關注度區域相關聯之一編碼處理單元之一編碼參數,且用於降低該低關注度區域中之該視訊串流之該位元率之該指令可包含用於調整與該低關注度區域相關聯之該編碼處理單元之該編碼參數之一指令。指示該攝影機調整與該低關注度攝影機相關聯之該編碼處理單元之該編碼參數可提供節約網路資源及減少一編碼處理單元之處理及記憶體負載之優點。
以下詳細描述參考附圖。不同圖式中之相同元件符號識別相同或類似元件。 本文所描述之實施方案係關於一凝視熱區圖。一監視攝影機將一所關注區域之視訊串流傳輸至一顯示器。視訊串流會有高頻寬要求且會占用大量網路頻寬。此外,處理一視訊串流需要處理器及記憶體資源。注視顯示器之一個體(本文中指稱一「操作者」或「使用者」)會發現顯示器上所展示之一場景之特定區域具有高關注度且會發現該場景之其他區域具有低關注度。例如,若攝影機監視具有一路徑及一門之一區域,則操作者會花大量時間注視門及路徑且會花相對較少時間量注視門周圍之牆壁。 一眼球追蹤器可用於識別操作者之凝視區域且因此識別操作者注視之顯示器之一部分或一顯示器群組中之一或多個顯示器。在一段時間內,可產生一歷史凝視熱區圖,其指示操作者注視一顯示器上之特定位置所花之時間量以展示在一特定時段內來自一特定攝影機之一視訊串流。可基於視訊串流之一預期可變性來選擇時段。在一些實施方案中,時段可為至少一天。在其他實施方案中,時段可比一天長(例如一周、一月等等)。 歷史凝視熱區圖可(例如)將一值賦予一視訊串流之一圖框中之各像素或像素組,其中所賦予之值表示操作者之凝視點對應於像素或像素組之時長。例如,賦予一像素或像素組之一較高值可對應於由操作者注視對應於像素或像素組之視訊串流圖框之位置所花之一較長時間量。 歷史凝視熱區圖可用於判定視訊串流之一低關注度區域且可指示攝影機降低低關注度區域中之視訊串流之一位元率。降低一視訊串流之一低關注度區域中之視訊串流之位元率可導致節約網路資源及減少攝影機及監視站之一監視系統之處理器及記憶體負載之技術效應。在一些實施方案中,視訊串流可包含多個視訊串流且顯示器可包含多個顯示器。 此外,在一些實施方案中,可基於歷史凝視熱區圖來判定視訊串流之一高關注度區域且可指示攝影機提高高關注度區域中之視訊串流之一位元率。 歷史凝視熱區圖可儲存特定資料點之額外資訊且額外資訊可用於相對於一特定參數改良凝視熱區圖。作為一實例,針對凝視熱區圖中之視訊串流之各位置(例如像素、像素組等等),當收集凝視資訊時,額外資訊可包含識別一天中之一特定時間或一周中之一特定天之資訊。因此,可基於在一天中之一特定時間或一周中之某天收集視訊串流之凝視資訊之多個時刻來自歷史凝視熱區圖擷取一天中之不同時間或一周中之某些天之凝視熱區圖。因此,例如,可基於在一天中之一第一時間或一周中之某天之多個時刻針對一天中之該第一時間或一周中之該天所產生之一歷史凝視熱區圖來判定一天中之該第一時間或一周中之該天之一第一低關注度區域,且可基於在一天中之一第二時間或一周中之某天之多個時刻針對一天之該第二時間或一周中之該天所產生之一歷史凝視熱區圖來產生一天之該第二時間或一周中之該天之一第二低關注度區域。 作為另一實例,針對凝視熱區圖中之視訊串流之各位置,當收集凝視資訊時,額外資訊可包含識別一特定攝影機設定之資訊。因此,可自歷史凝視熱區圖擷取不同攝影機設定之凝視熱區圖。例如,可選擇攝影機之一平移、變焦、傾斜、旋轉或影像類型(例如法線角對廣角等等)設定,可基於攝影機設定選擇來產生歷史凝視熱區圖之一子集,且可基於凝視熱區圖子集來判定選定攝影機設定之視訊串流之一低關注度區域。 作為又一實例,針對凝視熱區圖中之視訊串流之各位置,額外資訊可包含識別一特定事件類型之資訊。可基於以下各者來識別一事件類型:所產生之一警報、記錄於與一監視區域相關聯之一日曆中且由一視訊管理系統管理之一事件、由操作者輸入之人工資訊及/或識別一事件之另一技術。一事件類型可與歷史凝視熱區圖之一特定變化相關聯。若今後偵測到事件類型,則可基於歷史凝視熱區圖之相關聯變化來改變低關注度區域。例如,一門感測器可指示一門已被打開且操作者之凝視可在啟動門感測器之一特定時間內改變至與門相關聯之一區域。在與門感測器相關聯之後,若今後啟動門感測器,則與門相關聯之一低關注度區域可變成一高關注度區域且可提高門之一位元率。 可在沿自由一感測器陣列擷取視訊資料之點至將一經編碼視訊串流經由一網路連接傳輸至顯示器之一處理路徑之若干點之任何者處降低位元率。作為一實例,指示攝影機降低低關注度區域中之視訊串流之位元率可包含:指示攝影機降低與低關注度區域相關聯之一感測器之一取樣率。作為另一實例,指示攝影機降低低關注度區域中之視訊串流之位元率可包含:指示攝影機在編碼視訊串流之前降低低關注度區域之解析度。作為又一實例,指示攝影機降低低關注度區域中之視訊串流之位元率可包含:指示攝影機在編碼視訊串流之前增加低關注度區域之一雜訊降低程序。作為又一實例,指示攝影機降低低關注度區域中之視訊串流之位元率可包含:指示攝影機增大與低關注度區域相關聯之一編碼處理單元之一壓縮參數值。 圖1係繪示一實施例中之一例示性環境100的一方塊圖。環境100可為(例如)用於使一區域安全或提供公共安全之一監視系統。如圖1中所展示,環境100可包含攝影機110-1至110-M、網路120、監視站125-1至125-N、顯示器130-1至130-N、眼球追蹤器140-1至140-N及/或一視訊管理系統(VMS) 150。 攝影機110-1至110-M (「個別攝影機110」或「複數個攝影機110」)擷取監視區域106之影像及/或視訊。一監視區域106可由一或多個攝影機110監視。例如,兩個攝影機可監視包含一物體102-1之區域106-1。物體102可包含諸如門、人、動物、車輛、車輛上之車牌等等之任何物體。 攝影機110可使用可見光、紅外光及/或其他非可見電磁輻射(例如紫外光、遠紅外光、兆赫輻射、微波輻射等等)擷取影像資料。攝影機110可包含一熱感攝影機及/或用於雷達成像之一雷達裝置。所擷取之影像資料可包含一連續影像序列(例如視訊)、一有限影像序列、靜態影像及/或其等之一組合。攝影機110可包含用於擷取及數位化影像之一數位攝影機及/或用於擷取影像及以一類比格式儲存影像資料之一類比攝影機。 攝影機110可包含產生配置成一或多個二維陣列之資料(例如影像資料或視訊資料)之感測器。如本文所使用,「視訊資料」及「視訊」可更一般地分別指稱「影像資料」及「影像」。因此,除非另有說明,否則「影像資料」或「影像」意謂包含「視訊資料」及「視訊」。同樣地,除非另有說明,否則「視訊資料」或「視訊」可包含一靜態影像。此外,在一些實施方案中,「視訊資料」可包含音訊資料。 監視站125-1至125-N可包含為VMS 150之用戶端且耦合至顯示器130-1至130-N之電腦裝置(分別個別地指稱「監視站125」及「顯示器130」)。在一實施例中,監視站125-1至125-N亦耦合至眼球追蹤器140-1至140-N (個別地指稱「眼球追蹤器140」)。監視站125及顯示器130使操作者(圖1中未展示)能夠觀看來自攝影機110之影像。眼球追蹤器140追蹤觀看顯示器130之一操作者之凝視。各監視站125、顯示器130及眼球追蹤器140可為用於與環境100中所展示之監視系統互動之一操作者之一「用戶端」。 顯示器130接收及顯示來自一或多個攝影機110之(若干)視訊串流。一單一顯示器130可展示來自一單一攝影機110或多個攝影機110 (例如,在顯示器130上之多個圖框或視窗中)之影像。一單一顯示器130亦可展示來自一單一攝影機但在不同圖框中之影像。即,一單一攝影機可包含(例如)一廣角或魚眼鏡頭且提供多個區域106之影像。來自不同區域106之影像可被分離且在不同視窗及/或圖框中單獨展示於顯示器130上。顯示器130可包含一液晶顯示器(LCD)、一發光二極體(LED)顯示器、一有機LED (OLED)顯示器、一陰極射線管(CRT)顯示器、一電漿顯示器、一雷射視訊顯示器、一電泳顯示器、一量子點顯示器、一視訊投影器及/或任何其他類型之顯示裝置。 眼球追蹤器140包含使VMS 150 (或環境100中之任何其他裝置)能夠判定一操作者之眼睛聚焦之位置之一感測器(例如一攝影機)。例如,一組近紅外光束可被導引至一操作者之眼睛以引起操作者之角膜中之反射。反射可由包含於眼球追蹤器140中之一攝影機追蹤以判定操作者之凝視區域。凝視區域可包含一凝視點及一視窩聚焦區域。例如,一操作者可坐在監視站125之顯示器130前面。眼球追蹤器140判定操作者聚焦於顯示器130之哪個部分。各顯示器130可與一單一眼球追蹤器140相關聯。替代地,一眼球追蹤器140可對應於多個顯示器130。在此情況中,眼球追蹤器140可判定操作者聚焦於哪個顯示器及/或該顯示器130之哪個部分。 眼球追蹤器140亦可判定一使用者之存在、注意力、集中度、睡意、意識及/或其他狀態。眼球追蹤器140亦可判定一使用者之身份。來自眼球追蹤器140之資訊可用於洞察操作者隨時間之行為或判定操作者之當前狀態。在一些實施方案中,顯示器130及眼球追蹤器140可實施於由一操作者穿戴之一虛擬實境(VR)頭戴耳機中。操作者可使用一或多個攝影機110執行區域106之一虛擬檢查以作為至VR頭戴耳機中之輸入。 網路120可包含一或多個電路交換網路及/或分封交換網路。例如,網路120可包含一區域網路(LAN)、一廣域網路(WAN)、一都會區域網路(MAN)、一公用交換電話網路(PSTN)、一特用網路、一內部網路、網際網路、一光纖網路、一無線網路及/或此等或其他類型之網路之一組合。 VMS 150可包含協調攝影機110、顯示裝置130及/或眼球追蹤系統140之操作之一或多個電腦裝置,諸如(例如)伺服器裝置。VMS 150可接收及儲存來自攝影機110之影像資料。VMS 150亦可對監視站125之操作者提供一使用者介面以觀看儲存於VMS 150中之影像資料或自攝影機110串流傳輸之影像資料。VMS 150可包含一規則引擎以藉由指示攝影機110降低操作者之凝視區域外之一區域之一位元率來節約系統資源。 在一些實施例中,環境100不包含一單獨VMS 150。替代地,由VMS 150提供之服務係由監視站125 (例如與顯示器130相關聯之電腦裝置)及/或攝影機110本身提供或依一分佈方式提供於環境100中之裝置之間。例如,攝影機110可包含一規則引擎以藉由指示攝影機110降低操作者之凝視區域外之一區域之一位元率來節約系統資源。類似地,VMS 150可執行描述為由攝影機110執行之操作。 儘管圖1展示環境100之例示性組件,但在其他實施方案中,環境100可相較於圖1中之描繪而包含更少組件、不同組件、不同配置組件或額外組件。另外或替代地,任一裝置(或任何裝置群組)可執行描述為由一或多個其他裝置執行之功能。 圖2係繪示一實施例中之一攝影機110之例示性組件的一方塊圖。如圖2中所展示,攝影機110可包含一光學器件系列210、一感測器陣列220、一匯流排225、一影像處理器230、一控制器240、一記憶體245、一視訊編碼器250及/或一通信介面260。在一實施例中,攝影機110可包含用於使攝影機110平移、傾斜、旋轉及/或變焦之一或多個(例如三個)馬達控制器270及一或多個(例如三個)馬達272。 光學器件系列210包含一外殼,其將入射輻射(例如光、可見光、紅外波、毫米波等等)導引至一感測器陣列220以基於入射輻射來擷取一影像之。光學器件系列210包含一或多個鏡頭212以將來自一監視區域之入射輻射收集及聚焦至感測器陣列220上。 感測器陣列220可包含用於記錄、感測及量測入射或落入至感測器陣列220上之輻射(例如光)之一感測器陣列。輻射可在可見光波長範圍、紅外線波長範圍或其他波長範圍內。 感測器陣列220可包含(例如)一電荷耦合裝置(CCD)陣列及/或一主動像素陣列(例如一互補金屬氧化物半導體(CMOS)感測器陣列)。感測器陣列220亦可包含一微測輻射熱計(例如,當攝影機110包含一熱感攝影機或偵測器時)。 感測器陣列220輸出指示(例如,描述性質或特性)入射於感測器陣列220上之輻射(例如光)之資料。例如,自感測器陣列220輸出之資料可包含入射於感測器陣列220中之一或多個像素上之資訊,諸如光強度(例如照度)、色彩等等。入射於感測器陣列220上之光可為一「影像」,因為光可由於光學器件系列210中之鏡頭而聚焦。在一些實施方案中,控制器240可藉由切斷來降低與感測器陣列220之一特定區域相關聯之位元率及/或降低感測器陣列220之一特定感測器或一組感測器之一取樣率。 感測器陣列220可被視為一「影像感測器」,因為其感測落入感測器陣列220上之影像。當該術語用於本文中時,一「影像」包含指示入射於感測器陣列220上之輻射(例如,描述光之性質或特性)之資料。相應地,術語「影像」亦可用於意謂「影像感測器資料」或描述一影像之任何資料或資料集。此外,一「像素」可意謂對其進行輻射之(若干)量測(例如指示入射於感測器陣列220上之光之量測)之感測器陣列220之任何區域。一像素可對應於感測器陣列220中之一或多個(或一個以下)感測器。在替代實施例中,感測器陣列220可為可使用掃描硬體(例如一旋轉鏡)來形成影像之一線性陣列或可依靠影像處理器230及/或控制器240來產生影像感測器資料之一非陣列感測器。 匯流排225包含使攝影機110中之組件能夠彼此通信之一通信路徑。控制器240及/或影像處理器230對由感測器陣列220擷取之影像資料執行信號處理操作。例如,影像處理器230可對由感測器陣列220擷取之影像執行影像處理,諸如雜訊降低、濾波、縮放等等。控制器240可控制攝影機110之操作且可對攝影機110之其他組件(諸如感測器陣列220、影像處理器230、視訊編碼器250、通信介面260及/或(若干)馬達控制器270)提供指令。 控制器240及/或影像處理器230可包含解譯及執行指令之任何類型之單核心或多核心處理器、微處理器、基於鎖存器之處理器及/或處理邏輯(或處理器、微處理器及/或處理邏輯之族群)。控制器240及/或影像處理器230可包含或耦合至一硬體加速器,諸如一圖形處理單元(GPU)、一通用圖形處理單元(GPGPU)、一胞元、一場可程式化閘陣列(FPGA)、一特定應用積體電路(ASIC)及/或另一類型之積體電路或處理邏輯。 控制器240亦可判定及控制攝影機110之所要焦點及位置(例如傾斜、平移、旋轉、變焦等等)。為此,控制器240將命令發送至一或多個馬達控制器270以驅動一或多個馬達272使攝影機110傾斜、平移、旋轉及/或變焦或使鏡頭212光學變焦。 記憶體245可包含儲存資訊及/或指令之任何類型之揮發性及/或非揮發性儲存裝置。記憶體245可包含一隨機存取記憶體(RAM)或任何類型之動態儲存裝置、一唯讀記憶體(ROM)裝置或任何類型之靜態儲存裝置、一磁性或光學記錄記憶體裝置及其對應碟機或一可抽換記憶體裝置。記憶體245可儲存用於由處理器攝影機110使用之資訊及指令(例如應用程式及/或作業系統)及資料(例如應用資料)。記憶體245可儲存識別一或多個位元率降低因數及/或特定感測器陣列擷取、影像處理及/或編碼程序及/或一或多個位元率降低因數將應用於其之參數之資訊。 記憶體245可儲存用於由控制器240、影像處理器230、視訊編碼器250及/或通信介面260執行之指令。軟體指令可自另一電腦可讀媒體或另一裝置讀取至記憶體245中。軟體指令可引起控制器240、影像處理器230、視訊編碼器250及/或通信介面260執行本文所描述之程序。例如,攝影機110可回應於控制器240、影像處理器230及/或視訊編碼器250執行儲存於記憶體245中之軟體指令而執行與影像處理相關之操作(例如編碼、雜訊降低、轉碼、偵測物體等等)。替代地,固線式電路(例如邏輯)可替代軟體指令或與軟體指令組合使用以實施本文所描述之程序。 視訊編碼器250可基於一或多個視訊編解碼器(諸如一H.262/動畫專家群(MPEG)-2編解碼器、一H.263/MPEG-2第2部分編解碼器、一H.264/MPEG-4編解碼器、一H.265/MPEG-H高效率視訊編碼(HVEC)編解碼器及/或另一類型之編解碼器)來壓縮視訊資料。 通信介面260包含電路及邏輯電路,其包含輸入及/或輸出埠、輸入及/或輸出系統及/或促進資料傳輸至另一裝置之其他輸入及輸出組件。例如,通信介面340可包含用於有線通信之一網路介面卡(例如乙太網路卡)或用於無線通信之一無線網路介面(例如長期演進(LTE)、WiFi、Bluetooth等等)卡。 儘管圖2展示攝影機110之例示性組件,但在其他實施方案中,攝影機110可相較於圖2中之描繪而包含更少組件、不同組件、不同配置組件或額外組件。另外或替代地,攝影機110之一或多個組件可執行描述為由攝影機110之一或多個其他組件執行之功能。例如,控制器240可執行描述為由影像處理器230執行之功能,且反之亦然。替代地或另外,攝影機110可包含下文將相對於圖3描述之一運算模組。 圖3係繪示一實施例中之一運算模組300之例示性組件的一方塊圖。諸如VMS 150、眼球追蹤系統140、監視站125及/或顯示裝置130之裝置可包含一或多個運算模組300。如圖3中所展示,運算模組300可包含一匯流排310、一處理器320、一記憶體330及/或一通信介面360。在一些實施例中,運算模組300亦可包含一輸入裝置340及/或一輸出裝置350。 匯流排310包含允許運算模組300之組件或其他裝置之間的通信之一路徑。處理器320可包含解譯及執行指令之任何類型之單核心處理器、多核心處理器、微處理器、基於鎖存器之處理器及/或處理邏輯(或處理器、微處理器及/或處理邏輯之族群)。處理器320可包含一特定應用積體電路(ASIC)、一FPGA及/或另一類型之積體電路或處理邏輯。處理器320可包含或耦合至一硬體加速器,諸如一GPU、一GPGPU、一胞元、一FPGA、一ASIC及/或另一類型之積體電路或處理邏輯。 記憶體330可包含可儲存用於由處理器320執行之資訊及/或指令之任何類型之動態儲存裝置及/或可儲存用於由處理器320使用之資訊之任何類型之非揮發性儲存裝置。例如,記憶體330可包含一RAM或另一類型之動態儲存裝置、一ROM裝置或另一類型之靜態儲存裝置、一磁性及/或光學記錄記憶體裝置及其對應碟機(例如硬碟機、光碟機等等)及/或一可抽換形式之記憶體(諸如一快閃記憶體)。 記憶體330可儲存用於由處理器320執行之指令。軟體指令可自另一電腦可讀媒體或另一裝置讀取至記憶體330中。軟體指令可引起處理器320執行本文所描述之程序。替代地,固線式電路(例如邏輯)可替代軟體指令或與軟體指令組合使用以實施本文所描述之程序。 作業系統可包含用於管理運算模組300之硬體及軟體資源之軟體指令。例如,作業系統可包含Linux、Windows、OS X、Android、嵌入式作業系統等等。應用程式及應用資料可取決於其中發現特定運算模組300之裝置而提供網路服務或包含應用程式。 通信介面360可包含使運算模組300能夠與其他組件、裝置及/或系統通信之一傳輸器及/或接收器(例如一收發器)。通信介面360可經由無線通信(例如射頻、紅外線及/或視覺光學器件等等)、有線通信(例如導線、雙絞線電纜、同軸電纜、傳輸線、光纖電纜及/或波導等等)或其等之一組合通信。通信介面360可包含將基頻信號轉換為射頻(RF)信號或反之亦然之一收發器且可包含一天線總成。 通信介面360可包含一邏輯組件,其包含輸入及/或輸出埠、輸入及/或輸出系統及/或促進資料傳輸至其他裝置之其他輸入及輸出組件。例如,通信介面360可包含用於有線通信之一網路介面卡(例如乙太網路卡)及/或用於無線通信之一無線網路介面(例如WiFi)卡。通信介面460亦可包含用於通過一電纜通信之一通用串列匯流排(USB)埠、一Bluetooth™無線介面、一射頻識別(RFID)介面、一近場通信(NFC)無線介面及/或將資料自一形式轉換為另一形式任何其他類型之介面。 在一些實施方案中,運算模組300亦可包含輸入裝置340及輸出裝置350。輸入裝置340可使一使用者能夠將資訊輸入運算模組300中。輸入裝置370可包含(例如)一鍵盤、一滑鼠、一筆、一麥克風、一遠端控制、一音訊擷取裝置、一影像及/或視訊擷取裝置、一觸控螢幕顯示器及/或另一類型之輸入裝置。 輸出裝置350可將資訊輸出至使用者。輸出裝置350可包含一顯示器、一印表機、一揚聲器及/或另一類型之輸出裝置。輸入裝置340及輸出裝置350可使一使用者能夠與由運算模組300執行之應用程式互動。就一「無頭」裝置(諸如一部署遠端攝影機)而言,輸入及輸出主要透過通信介面360而非輸入裝置340及輸出裝置350。 如下文將詳細描述,運算模組300可執行與基於一歷史凝視熱區圖之位元率調整相關之特定操作。運算模組300可回應於處理器320執行含於一電腦可讀媒體(諸如記憶體330)中之軟體指令而執行此等操作。一電腦可讀媒體可界定為一非暫時性記憶體裝置。一記憶體裝置可實施於一單一實體記憶體裝置內或散佈於多個實體記憶體裝置之間。軟體指令可自另一電腦可讀媒體或另一裝置讀取至記憶體330中。含於記憶體330中之軟體指令可引起處理器320執行本文所描述之程序。替代地,固線式電路可替代軟體指令或與軟體指令組合使用以實施本文所描述之程序。因此,本文所描述之實施方案不受限於硬體電路及軟體之任何特定組合。 運算模組300可包含促進接收、傳輸及/或處理資料之其他組件(圖中未展示)。再者,運算模組300中之組件之其他組態係可行的。在其他實施方案中,運算模組300可相較於圖3中之描繪而包含更少組件、不同組件、額外組件或不同配置組件。另外或替代地,運算模組300之一或多個組件可執行描述為由運算模組300之一或多個其他組件執行之一或多個任務。 圖4繪示一實施例中之觀看具有眼球追蹤器140之顯示器130之一操作者402之一例示性環境400。顯示器130可包含用於對操作者402展示資訊之任何類型之顯示器。操作者402觀看顯示器130且可經由運行於監視站125上之一應用程式與VMS 150互動。例如,操作者402可注視區域106之一視訊。 眼球追蹤器140包含使監視站125能夠判定操作者402之眼睛聚焦之位置之一感測器(例如一攝影機)。例如,在圖4中,操作者402坐在顯示器130前面且眼球追蹤器140中之感測器感測操作者402之眼睛。例如,眼球追蹤器140可判定可表示為顯示器130上之一位置(例如與一或多個像素相關聯之像素值)之一凝視點410。可基於操作者及顯示器130之相對位置來估計對應於操作者402之視窩視覺之一視窩視覺區域420 (或「區域420」)。視窩視覺對應於眼睛之詳細視覺感知且大致對向1至2個球面度。相應地,可計算顯示器130上之區域420且將其理解為對應於具有全視覺敏銳度之操作者402之視覺之部分。 在一替代實施例中,可在針對一特定操作者402之一設置程序期間通過實驗判定視窩視覺區域420。視窩視覺區域420與視窩視覺區域420外之周邊視覺區域430形成對比,周邊視覺區域430對應於操作者402之周邊視覺。凝視點410大致位於區域420之中心且對應於自凝視點410至操作者402之眼睛之視線。在一實施例中,識別凝視點410之資訊可傳輸至VMS 150。 圖5A繪示操作者402所見之顯示器130。如圖5A中所展示,顯示器130包含凝視點410、視窩視覺區域420及周邊視覺區域430。顯示器130亦包含其中對操作者402呈現一視訊串流之一視訊圖框520。在此實例中,圖框520展示來自區域106之攝影機110之一視訊串流,其碰巧包含一門及似乎在移動之一個體。操作者402之視窩視覺區域420涵蓋個體且凝視點410正位於個體之臉上。另一方面,圖框520中所顯示之門出現於操作者402之周邊視覺區域430中。 在一些實施方案中,可基於凝視點410來產生凝視熱區圖。在其他實施方案中,可基於視窩視覺區域420來產生凝視熱區圖。在其他實施方案中,可基於具有大致介於凝視點410之大小與視窩視覺區域420之大小之間的大小之一區域來產生凝視熱區圖。在其他實施方案中,可基於比視窩視覺區域420大且集中於視窩視覺區域420上之一區域來產生凝視熱區圖。 圖5B亦繪示操作者402所見之顯示器130。然而,與圖5A相比,圖5B中之顯示器130展示諸多圖框520-1至520-N (指稱「個別圖框520」或「複數個圖框520」)。各圖框520-1至520-N可呈現一不同視訊串流,因此,操作者402可監視一個以上區域。不同串流可由不同攝影機110-1至110-M產生。在其他實施例中,各圖框520-1至520-N可顯示於配置於操作者前面(例如,配置於一牆壁上,在操作者前面配置成一弧形,等等)之一不同顯示器130上。替代地或另外,各圖框520-1至520-N可顯示由一共同攝影機110-x產生之不同串流。例如,攝影機110-x可使用一「魚眼」鏡頭且自一擴展角區域擷取視訊。視訊可經處理以減少由魚眼鏡頭引入之失真且將擴展角區域分離成對應於不同區域之分離視訊串流(其可單獨呈現於圖框520-1至520-N中)。如同圖5A,圖5B中之顯示器130包含凝視點410、視窩視覺區域420及周邊視覺區域430。 在此實例中,圖框520-1可展示來自區域106-1之攝影機110-1之一視訊串流,視訊圖框520-2可展示來自區域106-2之攝影機110-2之一視訊串流,等等。圖5B中之操作者402之視窩視覺區域420涵蓋圖框520-1之大部分且凝視點410接近個體之臉。圖框520中所顯示之門亦位於視窩視覺區域420中。另一方面,其他圖框520-2至520-N位於操作者402之周邊視覺區域430中。凝視點410及/或視窩視覺區域420之位置可用於選擇及/或指定用於後續處理之一特定圖框520-x (其可不同於其他圖框520)。例如,如圖5B中所展示,凝視點410可用於指示圖框520-1係操作者所關注之一圖框。相應地,視訊監視系統可將更多資源分配給圖框520-1 (例如頻寬及/或處理資源)以改良圖框520-1中之視訊串流之呈現,且減少分配給對應於不是操作者之關注點(例如,在周邊視覺中)之圖框之其他串流的資源。 圖6係攝影機110、顯示器130及VMS 150之功能組件之一圖式。可(例如)經由控制器240執行儲存於記憶體245中之指令來實施攝影機110之功能組件。替代地,可經由固線式電路來實施包含於攝影機110中之一些或所有功能組件。可(例如)經由處理器320執行儲存於記憶體330中之指令來實施顯示器130及/或VMS 150之功能組件。替代地,可經由固線式電路來實施包含於顯示器130及/或VMS 150中之一些或所有功能組件。 如圖6中所展示,攝影機110可包含一感測器陣列管理器610、一影像處理器620、一編碼器630及一用戶端介面640;監視站125可包含一解碼器650及一顯示介面660;及VMS 150可包含一眼球追蹤器介面670、一資源管理器680、一攝影機資料庫(DB) 685及一攝影機介面690。 來自攝影機110之一視訊串流可沿以下處理路徑到達顯示器130。感測器陣列管理器610指導感測器陣列220擷取視訊串流之一組影像。影像處理器620可對所擷取之影像執行影像處理,諸如雜訊降低操作及/或縮放操作。接著,編碼器630可使用一編解碼器(諸如(例如) MPEG-4)壓縮影像。接著,用戶端介面640可將經編碼影像封裝成一聯集(諸如(例如) MPEG-4第14部分(MP4))且可將所含之編碼影像經由資料單元跨網路120傳輸至監視站125以顯示於顯示器130上。解碼器650可自聯集擷取編碼影像,可解碼影像,且可將解碼影像提供至顯示介面660。顯示介面660可將解碼影像儲存於一緩衝器中且可串流傳輸來自緩衝器之解碼影像以作為顯示器130上之一視訊串流。 資源管理器680可管理與環境100相關聯之資源。例如,資源管理器680可管理與將資料自攝影機110跨網路120傳輸至監視站125及相關聯顯示器130相關聯之網路資源及/或與攝影機110、監視站125及/或顯示器130相關聯之處理器及記憶體資源。資源管理器680可指示攝影機110針對基於一歷史凝視熱區圖所判定之一低關注度區域來降低與自攝影機110至顯示器130之一視訊串流相關聯之一位元率。眼球追蹤器介面670可經組態以與眼球追蹤器140通信。例如,眼球追蹤器介面670可使用與眼球追蹤器140相關聯之一特定應用程式設計介面(API)來自眼球追蹤器140獲得識別與一特定視訊串流相關聯之一凝視區域之資訊。 資源管理器680可經由眼球追蹤器介面670自眼球追蹤器140收集凝視資訊且可在一時段內基於所收集之凝視資訊來產生一歷史凝視熱區圖。資源管理器580可將所產生之歷史凝視熱區圖儲存於攝影機DB 685中。資源管理器580可基於所產生之歷史凝視熱區圖來判定攝影機110之一或多個低關注度區域及/或一或多個高關注度區域。接著,資源管理器580可指示攝影機降低一或多個低關注度區域之一位元率及/或提高一或多個高關注度區域之一位元率。 攝影機DB 685可儲存與特定攝影機110相關之資訊。下文將參考圖7A描述可儲存於攝影機DB 685中之例示性資訊。攝影機介面690可經組態以與攝影機110通信且可經由與攝影機110相關聯之一特定API發送來自資源管理器680之指令。 感測器陣列管理器610可儲存、管理及/或應用一或多個感測器陣列參數。例如,感測器陣列管理器610可儲存操縱是否應接通或切斷感測器陣列220中之一特定感測器之參數、一特定感測器之一取樣率、一特定感測器之一敏感度因數及/或另一類型之感測器參數。再者,感測器陣列管理器610可儲存感測器陣列220之一或多個設定以判定由感測器陣列220擷取之影像之一類型。例如,一第一設定可對應於一常規影像,一第二影像可對應於一廣角或全景影像,一第三設定可對應於一低光設定,等等。感測器陣列管理器610可自VMS 150接收一指令以調整儲存參數之一或多者以基於由VMS 150判定之一凝視熱區圖來調整感測器陣列220之一低關注度區域中之一位元率。 影像處理器620可儲存、管理及/或應用一或多個影像處理參數。例如,影像處理器620可儲存與一雜訊降低程序(諸如一低通濾波)相關之參數、與一縮放程序相關之參數及/或可用於改變與一視訊串流之一區域相關聯之一位元率之其他類型之影像處理參數。影像處理器620可自VMS 150接收一指令以調整儲存參數之一或多者以基於由VMS 150判定之一凝視熱區圖來調整一視訊串流之一低關注度區域中之一位元率。 編碼器630可儲存、管理及/或應用包含圖框內編碼參數及圖框間編碼參數之一或多個編碼參數。例如,編碼器630可儲存一視訊串流之特定區域及/或物體之一量化參數(QP),儲存一離散餘弦變換(DCT)之一組係數、預測誤差參數之一平均絕對差(MAD)及/或其他編碼參數。編碼器630可自VMS 150接收一指令以調整儲存編碼參數之一或多者以基於由VMS 150判定之一凝視熱區圖來調整一視訊串流之一低關注度區域中之一位元率。 用戶端介面640可儲存、管理及/或應用一或多個影像傳輸參數。例如,用戶端介面640可儲存一服務品質(QoS)參數。用戶端介面640可自VMS 150接收一指令以調整儲存編碼參數之一或多者以基於由VMS 150判定之一凝視熱區圖來調整一視訊串流之一低關注度區域中之一位元率。 儘管圖6展示攝影機110、顯示器130及VMS 150之功能組件,但在其他實施方案中,攝影機110、顯示器130或VMS 150可相較於圖6中之描繪包含更少功能組件、不同功能組件、不同配置功能組件或額外功能組件。另外,攝影機110、顯示器130及VMS 150之組件之任一者(或任何組件群組)可執行描述為由攝影機110、顯示器130及VMS 150之一或多個其他功能組件執行之功能。 圖7A係圖6之攝影機資料庫之例示性組成之一圖式。如圖7A中所展示,攝影機DB 685可儲存一或多個攝影機記錄701。各攝影機記錄701可儲存與一特定攝影機110相關之資訊。攝影機記錄701可包含一攝影機識別符(ID)欄位710、一凝視熱區圖720、一低關注度區域欄位730及一位元率降低欄位740。 攝影機ID欄位710可儲存與一特定攝影機110相關聯之一或多個ID。例如,攝影機ID可儲存特定攝影機110之一媒體存取控制(MAC)位址、特定攝影機110之一網際網路協定(IP)位址、由VMS 150指派給特定攝影機110之一名稱及/或另一類型之ID。此外,攝影機ID欄位710可儲存特定攝影機110之製造及型號資訊及/或安裝於特定攝影機110上之一軟體版本。再者,攝影機ID欄位710可包含使VMS 150能夠與特定攝影機110建立一安全連接之特定攝影機110之鑑認資訊。 凝視熱區圖720可儲存特定攝影機110之凝視熱區圖資訊。例如,視訊串流之各位置(例如像素、像素組等等)可與指示凝視資訊之一組資料點相關聯。下文將參考圖7B描述可儲存於凝視熱區圖720中之例示性資訊。 低關注度區域欄位730可儲存識別特定攝影機110之一或多個低關注度區域之資訊。此外,亦可在低關注度區域欄位730中識別一或多個高關注度區域。另外,低關注度區域欄位730可識別一天中之一特定時間、一周中之一特定天、特定攝影機110之一特定平移、傾斜、變焦、旋轉及/或影像類型設定、一特定事件類型、一特定操作者及/或其他類型之參數之一或多個低關注度區域。各低關注度區域可識別為來自特定攝影機110之視訊串流中之一組像素。 位元率降低欄位740可識別將應用於特定情形中之一或多個位元率降低因數。此外,位元率降低欄位740可識別當前應用於與特定攝影機110相關聯之一視訊串流之一或多個位元率降低因數。例如,位元率降低欄位740可識別一或多個感測器陣列管理器610參數、一或多個影像處理器620參數、一或多個編碼器參數及/或一或多個用戶端介面640參數。編碼器參數可包含可經調整以影響位元率之不同標準編碼設定檔。例如,當使用H.264視訊編碼標準時,可選擇之編碼設定檔包含Baseline、Extended、Main、High、High 10、High 4:2:2及High 4:4:4 Predictive。另外或替代地,可調整較低階編碼參數以進一步調整位元率。例如,針對MPEG編碼標準,可選擇量化縮放矩陣來增加量化以降低編碼圖框內之位元率。再者,可調整改變臨限位準以改變編碼中間圖框之壓縮率。例如,可在編碼P圖框及/或B圖框時提高移動之臨限值,且因此編碼會降低一編碼視訊串流之位元率之較少改變。 儘管圖7A展示攝影機DB 685之例示性組成,但在其他實施方案中,攝影機DB 685可相較於圖7A中之描繪而儲存更少組成、不同組成、不同配置組成或額外組成。 圖7B繪示凝視熱區圖720之例示性組成。如圖7B中所展示,凝視熱區圖720可包含一組位置記錄750。各位置記錄750可儲存凝視資訊及與攝影機記錄701相關聯之攝影機110之視訊串流中之一特定位置之額外資訊。位置記錄750可包含一位置欄位752、一值欄位754及一或多個凝視資訊記錄760。 位置欄位752可識別一特定位置。例如,位置欄位752可識別一像素、一子像素、一組像素、一區域及/或來自攝影機110之一視訊串流之另一子單元。值欄位754可儲存與特定位置相關聯之一或多個凝視熱區圖值。例如,值欄位754可儲存凝視點410之時數之一正規化值或在一特定時段落入特定位置內之凝視資訊之另一量測(例如視窩視覺區域420、具有圍繞凝視點410之一指定半徑之一區域等等)。若特定時段持續進行,則值欄位754可因自眼球追蹤器140接收新凝視資訊而不斷更新。 此外,值欄位754可儲存額外值。例如,值欄位754可儲存對應於基於一參數(諸如一天中之一時間、一攝影機設定等等)所過濾之凝視資訊記錄760之一子集的值。再者,值欄位754可儲存用於判定一低關注度區域之一或多個臨限值及/或用於判定一高關注度區域之一或多個臨限值。例如,可基於來自攝影機110之視訊串流之頻寬及/或處理器負載之一所要減少來設定不同臨限值。若選擇頻寬及/或處理器負載之一較高減少,則可選擇一較高臨限值,其可導致更多位置自凝視熱區圖720濾除以導致一較高低關注度區域。 各凝視資訊記錄760可儲存與特定位置相關聯之一特定凝視資訊資料點相關之資訊。凝視資訊記錄760可包含一凝視點欄位762、一時戳欄位764、一攝影機設定欄位766、一操作者欄位768及一事件類型欄位770。 凝視點欄位762可識別一特定凝視點資料點。例如,凝視點欄位762可儲存自眼球追蹤器140接收之凝視資訊資料。時戳欄位764可包含特定凝視點資料點之一時戳(例如時間及日期)。攝影機設定欄位766可識別與特定凝視點資料點相關聯之一或多個攝影機設定。攝影機設定資訊可接收自與顯示器130相關聯之一電腦裝置及/或經由攝影機介面690自攝影機110接收。攝影機設定資訊可包含識別一平移設定、一傾斜設定、一旋轉設定及/或一變焦設定之資訊。此外,攝影機設定資訊可識別一特定影像類型設定,諸如一法線角設定、一廣角設定、一魚眼鏡頭設定、一濾色器設定、一光源設定、一感測器陣列設定(例如可見光、紅外光等等)及/或另一類型之影像類型設定。 操作者欄位768可識別與凝視點資料點相關聯之一特定操作者。例如,不同操作者會偏好觀看視訊圖框之不同部分。可(例如)基於自與顯示器130相關聯之電腦裝置獲得之登入資訊來識別操作者。事件類型欄位770可識別與特定凝視點資料點相關聯之一事件類型。例如,VMS 150可獲得一特定感測器(諸如一運動感測器、一門感測器、一火警感測器、一麥克風、一人員計數感測器、一車庫中之一車輛感測器及/或另一類型之感測器)已在獲得特定凝視點資料點時與攝影機110一起啟動之資料。此外,VMS 150可經組態以接收與監視區域106相關聯之日曆資訊,諸如針對特定區域所排定之事件(例如為一會議所預訂之一會議室、排定維修、排定一火警等等)。 儘管圖7B展示凝視熱區圖720之例示性組成,但在其他實施方案中,凝視熱區圖720可相較於圖7B中之描繪而儲存更少組成、不同組成、不同配置組成或額外組成。 圖8係根據本文所描述之一實施方案之基於一凝視區域來控制一位元率之一程序之一流程圖。在一實施方案中,圖8之程序可由VMS 150執行。在其他實施方案中,圖8之一些或所有程序可由與VMS 150分離及/或包含VMS 150之另一裝置或一裝置群組(諸如攝影機110及/或監視站125)執行。 圖8之程序可包含:自一攝影機接收一視訊串流(區塊810);及將視訊串流顯示於一顯示器上(區塊820)。例如,一操作者可登入與監視站125及/或顯示器130相關聯之一電腦裝置且可登入VMS 150以組態一或多個攝影機110。VMS 150可組態攝影機110以將監視區域106之一視訊串流提供至顯示器130,且顯示器130可不斷自攝影機110接收視訊串流資料且顯示視訊串流資料。 可經由一眼球追蹤感測器獲得注視顯示器之一操作者之凝視資訊(區塊830)。例如,眼球追蹤器140可監視操作者之眼睛以判定凝視點410及/或視窩視覺區域420且基於所判定之凝視點410及/或視窩視覺區域420來判定凝視區域。可將識別所判定之凝視區域之資訊提供至VMS 150之資源管理器680。替代地,可將來自眼球追蹤器140之原始資料提供至VMS 150且VMS 150可基於原始資料來判定凝視區域。 可基於所獲得之凝視資訊來產生視訊串流之一歷史凝視熱區圖(區塊840)。例如,VMS 150可彙總視訊串流之各位置之凝視資訊且可產生各位置之一值,該值指示操作者之凝視點410 (及/或視窩視覺區域420)有多少次或有多頻繁地落入位置上。VMS 150可使用所產生之值來識別視訊串流之低關注度(及/或高關注度)區域。 在一些實施方案中,VMS 150可產生可供操作者或管理者觀看之凝視熱區圖之一圖示。VMS 150可將一蔭影或一色彩賦予圖示中之凝視熱區圖之各值。例如,可將一深陰影或色彩賦予對應於與操作者之凝視點410頻繁相關聯之一位置之一高值且可將一淺陰影或色彩賦予對應於與操作者之凝視點410不太頻繁相關聯之一位置之一低值。 可基於所產生之歷史凝視熱區圖來判定視訊串流之一低關注度區域(區塊850)。例如,VMS 150可分析歷史凝視熱區圖以識別具有低歷史凝視發生率之區域。可針對視訊串流中之一特定位置(諸如一像素或一組像素)來設定一低關注度區域臨限值以判定位置是否滿足一低關注度區域之要求。作為一實例,若一操作者每單位時間(例如每小時)觀看位置少於臨限次數,則可將位置標定為一低關注度區域。作為另一實例,若操作者觀看位置之時間少於注視視訊串流之總時間量之一臨限百分比,則可將位置標定為一低關注度區域。一類似程序可用於識別一高關注度區域。例如,若一操作者每單位時間(例如每小時)觀看位置超過臨限次數及/或若操作者觀看位置之時間超過注視視訊串流之總時間量之一臨限百分比,則可將位置標定為一高關注度區域。 如上文相對於攝影機DB 685之凝視熱區圖欄位720所提及,凝視熱區圖中之各位置可包含額外資訊,諸如各凝視資訊資料點之時間及日期資訊、攝影機設定資訊、操作者資訊及/或事件類型資訊。額外資訊可用於相對於包含於凝視熱區圖中之任何參數來改良凝視熱區圖。一經改良凝視熱區圖可用於產生相對於特定參數之低關注度(及/或高關注度)區域。 因此,可針對歷史凝視熱區圖之不同過濾準則來選擇不同低關注度區域(及/或高關注度區域)。例如,可針對一天中之不同時間、一周中之不同天、不同攝影機設定、不同操作者及/或不同事件類型來選擇不同低關注度區域。 此外,在一些實施方案中,可產生一經改良凝視熱區圖之一圖示且可使其由操作者或管理者觀看。因此,例如,可產生一天中之一特定時間之凝視熱區圖之一圖示。 可指示攝影機降低低關注度區域中之視訊串流之位元率(區塊860)。例如,VMS 150可自特定攝影機110之位元率降低欄位740選擇一或多個位元率降低因數,諸如一感測器陣列位元率降低因數、一影像處理位元率降低因數、一編碼位元率降低因數及/或一影像傳輸位元率降低因數。作為一實例,VMS 150可選擇:調整與低關注度區域相關聯之感測器陣列220中之一感測器子集之一取樣率、降低低關注度區域之取樣率(例如降低解析度)、增加低關注度區域中之一雜訊降低程序、增加低關注度區域中之一編碼壓縮參數及/或調整可導致低關注度區域中之一降低位元率之另一參數。 圖9A至圖9D係根據本文所描述之一或多個實施方案之例示性凝視熱區圖情境之圖式。如圖9A中所展示,顯示器130上之視訊圖框組901可包含來自四個不同攝影機110之視訊串流。圖框910顯示來自監視一辦公大樓之一入口大廳之一攝影機之一視訊串流。大廳包含入口門、一前廳及一門廳。圖框920顯示來自監視具有通至一門之一路徑之一停車場之一攝影機之一視訊串流。圖框930顯示來自監視具有小隔間之一辦公套房之一攝影機之一視訊串流。圖框940顯示來自監視通至一小徑之一後門之一攝影機之一視訊串流。 圖9B繪示針對視訊圖框組901所產生之一組凝視熱區圖902。凝視熱區圖組902可對應於儲存於凝視熱區圖720中之資訊之一圖示。若凝視熱區圖720之一特定位置752處之一值低於一臨限值,則可將位置標定為不包含於一圖示中之凝視熱區圖720中或為了判定一低關注度區域。可基於請求來產生凝視熱區圖720之一圖示且將其顯示給一操作者或管理者。另外,經識別之低關注度區域可與凝視熱區圖一起顯示。在一些實施方案中,一使用者或一操作者可經由顯示凝視熱區圖720之圖示之一圖形使用者介面來手動選擇一或多個低關注度區域或手動調整經識別之低關注度區域。 凝視熱區圖920對應於圖框910。凝視熱區圖920指示操作者花大部分時間注視大門及人自正門沿前廳及側門廳所走之路徑。圖框910包含一低關注度區域922及一低關注度區域924,其等對應於操作者花相對較少時間量注視之圖框910之區域,因為較少人在該等區域中行走或站立。 凝視熱區圖930對應於圖框912。凝視熱區圖930指示操作者花大部分時間注視通至大樓入口及停車場之走道。圖框912包含一低關注度區域932、一低關注度區域934及一低關注度區域936,其等對應於操作者花相對較少時間量注視之圖框912之區域,諸如緊鄰走道之草地。 凝視熱區圖940對應於圖框914。凝視熱區圖940指示操作者花大部分時間注視小隔間及小隔間之間的路徑。圖框914包含一低關注度區域942、一低關注度區域944及一低關注度區域946,其等對應於操作者不常注視之圖框914之區域,諸如小隔間上方之牆壁或使前台中之小隔間分離之牆壁。 凝視熱區圖950對應於圖框916。凝視熱區圖950指示操作者花大部分時間注視樓梯及人們出去吸煙之附近區域及通至附近行人有時通過之背後區域之一小徑。圖框916包含操作者花相對較少時間量注視之低關注度區域952,因為該區域看不到很多行人。 圖9C及圖9D繪示一天中之不同時間之一組凝視熱區圖903及904。如圖9C中所展示,凝視熱區圖903可對應於員工進入與提供圖框910、912、914及916之視訊串流之攝影機110相關聯之大樓時之一早上高峰時段。在早上時段期間,操作者不會關注來自監視通至一小徑之一後門之攝影機之視訊串流之圖框916,因為在此期間一般不會有人出現在此區域。因此,可將整個圖框916標定為一低關注度區域954且可在此等時間期間降低圖框916之整個視訊串流之位元率。 如圖9D中所展示,凝視熱區圖904可對應於員工已離開與提供圖框910、912、914及916之視訊串流之攝影機110相關聯之大樓時之一夜晚時段。在此時間期間,操作者不太會關注圖框910及914。例如,操作者會繼續監視通至大廳之前門,但不會監視大廳之前廳,因為在夜晚期間沒人在周圍走動。因此,在夜晚期間,可將低關注度區域922及924擴展至低關注度區域928中。類似地,操作者不會花太多時間觀察圖框914中之小隔間,且在夜間期間,可將低關注度區域942、944及946改變為低關注度區域948及949。 本申請案將與本專利申請案同日申請之以下專利申請案以引用的方式併入本文中:名稱為「Gaze Controlled Bit Rate」且在2016年12月30日申請之美國專利申請案第__/___,___號(代理檔案號P160069/US (0090-0022))、2016年12月30日申請之名稱為「Alarm Masking Based on Gaze in Video Management System」之美國專利申請案第__/___,___號(代理檔案號P160191 (0090-0023))及2016年12月30日申請之名稱為「Block Level Frame Rate Control Based on Gaze」之美國專利申請案第__/___,___號(代理檔案號P160193 (0090-0024))。 在本說明書中,已參考附圖描述各種較佳實施例。然而,顯而易見,可在不背離以下申請專利範圍中所闡述之本發明之較廣泛範疇之情況下對本發明作出各種修改及改變及實施額外實施例。相應地,本說明書及圖式被視為具繪示性而非限制性。 例如,儘管已參考圖8描述區塊系列,但可在其他實施方案中修改區塊之順序。此外,可並行執行非相依區塊及/或信號串流。 應明白,上文所描述之系統及/或方法可在圖中所繪示之實施方案中以諸多不同形式之軟體、韌體及硬體實施。用於實施此等系統及方法之實際軟體碼或特殊控制硬體不限制實施例。因此,在無需參考特定軟體碼之情況下描述系統及方法之操作及行為,應瞭解,軟體及控制硬體可經設計以實施基於本文描述之系統及方法。 此外,上文所描述之特定部分可實施為執行一或多個功能之一組件。如本文所使用,一組件可包含硬體(諸如一處理器、一ASIC或一FPGA)或硬體及軟體之一組合(例如執行軟體之一處理器)。如本文所使用,用語「例示性」意謂「作為用於繪示之一實例」。 本說明書中所使用之術語「包括」被視為特指存在所陳述之特徵、整體、步驟或組件,但不排除存在或新增一或多個其他特徵、整體、步驟、組件或其等之群組。 如本文所使用,術語「邏輯」可係指經組態以執行儲存於一或多個記憶體裝置中之指令之一或多個處理器之一組合,可係指固線式電路,及/或可係指其等之一組合。此外,一邏輯可包含於一單一裝置中或可分佈於多個及可能遠端之裝置中。 為描述及界定本發明,術語「實質上」在本文中用於表示可歸因於任何定量比較、值、量測或其他表示之固有不確定性程度。術語「實質上」在本文中亦用於表示一定量表示在不導致所討論之標的之基本功能改變之情況下可自一所述參考變動之程度。 除非明確說明,否則本申請案中所使用之元件、動作或指令不應被解釋為實施例之至關重要或必不可少部分。另外,如本文所使用,冠詞「一」意欲包含一或多個項目。此外,除非另有明確說明,否則片語「基於」意欲意謂「至少部分基於」。
100‧‧‧環境
102‧‧‧物體
102-1‧‧‧物體
106‧‧‧監視區域
106-1‧‧‧監視區域
106-2‧‧‧監視區域
110‧‧‧攝影機
110-1至110-M‧‧‧攝影機
120‧‧‧網路
125‧‧‧監視站
125-1至125-N‧‧‧監視站
130‧‧‧顯示器
130-1至130-N‧‧‧顯示器
140‧‧‧眼球追蹤器
140-1至140-N‧‧‧眼球追蹤器
150‧‧‧視訊管理系統(VMS)
210‧‧‧光學器件系列
212‧‧‧鏡頭
220‧‧‧感測器陣列
225‧‧‧匯流排
230‧‧‧影像處理器
240‧‧‧控制器
245‧‧‧記憶體
250‧‧‧視訊編碼器
260‧‧‧通信介面
270‧‧‧馬達控制器
272‧‧‧馬達
300‧‧‧運算模組
310‧‧‧匯流排
320‧‧‧處理器
330‧‧‧記憶體
340‧‧‧輸入裝置
350‧‧‧輸出裝置
360‧‧‧通信介面
400‧‧‧環境
402‧‧‧操作者
410‧‧‧凝視點
420‧‧‧視窩視覺區域
430‧‧‧周邊視覺區域
520‧‧‧視訊圖框
520-1至520-N‧‧‧圖框
610‧‧‧感測器陣列管理器
620‧‧‧影像處理器
630‧‧‧編碼器
640‧‧‧用戶端介面
650‧‧‧解碼器
660‧‧‧顯示介面
670‧‧‧眼球追蹤器介面
680‧‧‧資源管理器
685‧‧‧攝影機資料庫(DB)
690‧‧‧攝影機介面
701‧‧‧攝影機記錄
710‧‧‧攝影機識別符(ID)欄位
720‧‧‧凝視熱區圖/凝視熱區圖欄位
730‧‧‧低關注度區域欄位
740‧‧‧位元率降低欄位
750‧‧‧位置記錄
752‧‧‧位置欄位
754‧‧‧值欄位
760‧‧‧凝視資訊記錄
762‧‧‧凝視點欄位
764‧‧‧時戳欄位
766‧‧‧攝影機設定欄位
768‧‧‧操作者欄位
770‧‧‧事件類型欄位
810‧‧‧區塊
820‧‧‧區塊
830‧‧‧區塊
840‧‧‧區塊
850‧‧‧區塊
860‧‧‧區塊
901‧‧‧視訊圖框組
902‧‧‧凝視熱區圖
903‧‧‧凝視熱區圖
904‧‧‧凝視熱區圖
910‧‧‧圖框
912‧‧‧圖框
914‧‧‧圖框
916‧‧‧圖框
920‧‧‧凝視熱區圖
922‧‧‧低關注度區域
924‧‧‧低關注度區域
928‧‧‧低關注度區域
930‧‧‧凝視熱區圖
932‧‧‧低關注度區域
934‧‧‧低關注度區域
936‧‧‧低關注度區域
940‧‧‧凝視熱區圖
942‧‧‧低關注度區域
944‧‧‧低關注度區域
946‧‧‧低關注度區域
948‧‧‧低關注度區域
949‧‧‧低關注度區域
950‧‧‧凝視熱區圖
952‧‧‧低關注度區域
954‧‧‧低關注度區域
圖1係繪示根據本文所描述之一實施方案之包含眼球追蹤之一例示性環境的一方塊圖; 圖2係繪示根據本文所描述之一實施方案之一攝影機之例示性組件的一方塊圖; 圖3係繪示根據本文所描述之一實施方案之一運算模組之例示性組件的一方塊圖; 圖4繪示根據本文所描述之一實施方案之其中一操作者觀看具有一眼球追蹤器之一顯示器的一環境; 圖5A及圖5B繪示根據本文所描述之一或多個實施方案之一操作者所見之顯示器; 圖6係圖1之一些組件之功能組件之一圖式; 圖7A至圖7B係圖6之攝影機資料庫之例示性組成之圖式; 圖8係根據本文所描述之一實施方案之基於一凝視區域來控制一位元率之一程序之一流程圖;及 圖9A至圖9D係根據本文所描述之一或多個實施方案之例示性凝視熱區圖情境之圖式。

Claims (15)

  1. 一種由一電腦裝置執行之方法,該方法包括: 自一攝影機接收一視訊串流; 將該視訊串流顯示於一顯示器上; 經由一眼球追蹤感測器獲得注視該顯示器之一操作者之凝視資訊; 基於該所獲得之凝視資訊來產生該視訊串流在一時段內之一歷史凝視熱區圖; 基於該所產生之歷史凝視熱區圖來判定該視訊串流之一低關注度區域;及 指示該攝影機降低該低關注度區域中之該視訊串流之一位元率。
  2. 如請求項1之方法,其進一步包括: 基於該所產生之歷史凝視熱區圖來判定該視訊串流之一高關注度區域;及 指示該攝影機提高該高關注度區域中之該視訊串流之一位元率。
  3. 如請求項1之方法,其中該時段對應於一天中之一特定時間或一周中之一特定天,且其中基於該所產生之歷史凝視熱區圖來判定該視訊串流之該低關注度區域包含: 基於在一天中之一第一時間或一周中之某天之多個時刻針對一天中之該第一時間或一周中之該天所產生之一歷史凝視熱區圖來判定一天中之該第一時間或一周中之該天之一第一低關注度區域;及 判定一天中之一第二時間或一周中之某天之一第二低關注度區域,其中該第二低關注度區域基於在一天中之該第二時間或一周中之該天之多個時刻針對一天中之該第二時間或一周中之該天所產生之一歷史凝視熱區圖而不同於該第一低關注度區域。
  4. 如請求項1之方法,其中基於該所產生之歷史凝視熱區圖來判定該視訊串流之一低關注度區域包含: 識別該攝影機之一平移、變焦、傾斜、旋轉或影像類型設定; 選擇與該攝影機之該經識別平移、變焦、傾斜、旋轉或影像類型設定相關聯之該所產生之歷史凝視熱區圖之一子集;及 基於該所產生之歷史凝視熱區圖之該選定子集來判定該視訊串流之該低關注度區域。
  5. 如請求項1之方法,其中該視訊串流包含複數個視訊串流且其中該顯示器包含複數個顯示器。
  6. 如請求項1之方法,其中指示該攝影機降低該低關注度區域中之該視訊串流之該位元率包含: 指示該攝影機降低與該低關注度區域相關聯之一感測器之一取樣率。
  7. 如請求項1之方法,其中指示該攝影機降低該低關注度區域中之該視訊串流之該位元率包含: 指示該攝影機在編碼該視訊串流之前增加該低關注度區域之一雜訊降低程序。
  8. 如請求項1之方法,其中指示該攝影機降低該低關注度區域中之該視訊串流之該位元率包含: 指示該攝影機調整與該低關注度區域相關聯之一編碼處理單元之一編碼參數。
  9. 一種電腦系統,其包括: 一記憶體,其用於儲存指令;及 一接收器,其用於自一攝影機接收一視訊串流; 一顯示器,其用於顯示該視訊串流; 一處理器,其經組態以執行該等指令以: 經由一眼球追蹤感測器獲得注視該顯示器之一操作者之凝視資訊, 基於該所獲得之凝視資訊來產生該視訊串流在一時段內之一歷史凝視熱區圖, 基於該所產生之歷史凝視熱區圖來判定該視訊串流之一低關注度區域,及 決定指示該攝影機降低該低關注度區域中之該視訊串流之一位元率;及 一傳輸器,其用於將一指令發送至該攝影機以降低該低關注度區域中之該視訊串流之該位元率。
  10. 如請求項9之電腦系統, 其中該處理器經進一步組態以基於該所產生之歷史凝視熱區圖來判定該視訊串流之一高關注度區域; 其中該處理器經組態以決定指示該攝影機提高該高關注度區域中之該視訊串流之一位元率;且 其中傳輸器經組態以將一指令發送至該攝影機以提高該高關注度區域中之該視訊串流之該位元率。
  11. 如請求項9之電腦系統,其中該時段對應於一天中之一特定時間或一周中之一特定天,且其中該處理器經進一步組態以: 基於在一天中之一第一時間或一周中之某天之多個時刻針對一天中之該第一時間或一周中之該天所產生之一歷史凝視熱區圖來判定一天中之該第一時間或一周中之該天之一第一低關注度區域;及 判定一天中之一第二時間或一周中之某天之一第二低關注度區域,其中該第二低關注度區域基於在一天中之該第二時間或一周中之該天之多個時刻針對一天中之該第二時間或一周中之該天所產生之一歷史凝視熱區圖而不同於該第一低關注度區域。
  12. 如請求項9之電腦系統,其中該處理器經進一步組態以: 識別該攝影機之一平移、變焦、傾斜、旋轉或影像類型設定; 選擇與該攝影機之該經識別平移、變焦、傾斜、旋轉或影像類型設定相關聯之該所產生之歷史凝視熱區圖之一子集;及 基於該所產生之歷史凝視熱區圖之該選定子集來判定該視訊串流之該低關注度區域。
  13. 如請求項9之電腦系統, 其中該處理器經組態以決定指示該攝影機降低與該低關注度區域相關聯之一感測器之一取樣率;且 其中用於降低該低關注度區域中之該視訊串流之該位元率之該指令包含使該攝影機降低與該低關注度區域相關聯之該感測器之該取樣率之一指令。
  14. 如請求項9之電腦系統, 其中該處理器經進一步組態以決定指示該攝影機在編碼該視訊串流之前增加該低關注度區域之一雜訊降低程序;且 其中用於降低該低關注度區域中之該視訊串流之該位元率之該指令包含用於在編碼該視訊串流之前增加該低關注度區域之該雜訊降低程序之一指令。
  15. 如請求項9之電腦系統, 其中該處理器經組態以決定指示該攝影機調整與該低關注度區域相關聯之一編碼處理單元之一編碼參數,且 用於降低該低關注度區域中之該視訊串流之該位元率之該指令包含用於調整與該低關注度區域相關聯之該編碼處理單元之該編碼參數之一指令。
TW106146136A 2016-12-30 2017-12-28 凝視熱區圖 TWI654879B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US15/395,893 2016-12-30
US15/395,893 US10110802B2 (en) 2016-12-30 2016-12-30 Historical gaze heat map for a video stream
??17154581.7 2017-02-03
EP17154581.7A EP3343937B1 (en) 2016-12-30 2017-02-03 Method and computer system for video encoding using a historical gaze heat map

Publications (2)

Publication Number Publication Date
TW201830952A true TW201830952A (zh) 2018-08-16
TWI654879B TWI654879B (zh) 2019-03-21

Family

ID=58017914

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106146136A TWI654879B (zh) 2016-12-30 2017-12-28 凝視熱區圖

Country Status (6)

Country Link
US (1) US10110802B2 (zh)
EP (1) EP3343937B1 (zh)
JP (1) JP6453991B2 (zh)
KR (1) KR101936155B1 (zh)
CN (1) CN108270996B (zh)
TW (1) TWI654879B (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11017211B1 (en) 2012-09-07 2021-05-25 Stone Lock Global, Inc. Methods and apparatus for biometric verification
US11017213B1 (en) 2012-09-07 2021-05-25 Stone Lock Global, Inc. Methods and apparatus for biometric verification
US11017212B2 (en) 2012-09-07 2021-05-25 Stone Lock Global, Inc. Methods and apparatus for biometric verification
US11017214B1 (en) 2012-09-07 2021-05-25 Stone Lock Global, Inc. Methods and apparatus for biometric verification
CN106372095B (zh) * 2015-10-16 2020-02-07 北京智谷睿拓技术服务有限公司 电子地图显示方法、装置及车载设备
US10582196B2 (en) 2017-06-30 2020-03-03 Intel Corporation Generating heat maps using dynamic vision sensor events
US10349060B2 (en) * 2017-06-30 2019-07-09 Intel Corporation Encoding video frames using generated region of interest maps
US10853965B2 (en) * 2017-08-07 2020-12-01 Standard Cognition, Corp Directional impression analysis using deep learning
US10623791B2 (en) 2018-06-01 2020-04-14 At&T Intellectual Property I, L.P. Field of view prediction in live panoramic video streaming
US10812774B2 (en) 2018-06-06 2020-10-20 At&T Intellectual Property I, L.P. Methods and devices for adapting the rate of video content streaming
WO2019235084A1 (ja) 2018-06-08 2019-12-12 三菱日立ツール株式会社 切削インサートおよび刃先交換式切削工具
US10747760B2 (en) * 2018-06-08 2020-08-18 Capital One Services, Llc Method and system for tracking virtual reality experiences
US10419738B1 (en) 2018-06-14 2019-09-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing 360° immersive video based on gaze vector information
US10616621B2 (en) 2018-06-29 2020-04-07 At&T Intellectual Property I, L.P. Methods and devices for determining multipath routing for panoramic video content
US10916040B2 (en) * 2018-07-24 2021-02-09 Apical Ltd. Processing image data using different data reduction rates
US10841662B2 (en) 2018-07-27 2020-11-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for inserting advertisement content in 360° immersive video
US11019361B2 (en) * 2018-08-13 2021-05-25 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic view of a camera for capturing video content
AU2019322625A1 (en) * 2018-08-17 2021-03-18 Stone Lock Global, Inc. Methods and apparatus for facial recognition
US10757389B2 (en) 2018-10-01 2020-08-25 Telefonaktiebolaget Lm Ericsson (Publ) Client optimization for providing quality control in 360° immersive video during pause
US10708642B1 (en) * 2018-12-13 2020-07-07 Sling Media Pvt Ltd Systems, methods, and devices for optimizing streaming bitrate based on variations in processor load
WO2020152860A1 (ja) * 2019-01-25 2020-07-30 オリンパス株式会社 情報処理装置、情報処理方法、及びプログラム
CN110505481B (zh) * 2019-07-15 2021-06-01 杭州亿圣信息技术有限公司 一种利用眼动监测提高视频poi低损编码效率的方法
JP7385385B2 (ja) 2019-07-19 2023-11-22 株式会社ソニー・インタラクティブエンタテインメント 画像配信システムおよび画像配信方法
CN110441901A (zh) * 2019-08-14 2019-11-12 东北大学 一种可实时追踪注视位置的光学显微镜系统及方法
CN110602506B (zh) * 2019-09-25 2023-04-28 咪咕视讯科技有限公司 视频处理方法、网络设备及计算机可读存储介质
JP7496677B2 (ja) 2019-09-30 2024-06-07 株式会社ソニー・インタラクティブエンタテインメント 画像データ転送装置、画像表示システム、および画像圧縮方法
US11023729B1 (en) * 2019-11-08 2021-06-01 Msg Entertainment Group, Llc Providing visual guidance for presenting visual content in a venue
US11232686B2 (en) 2019-12-30 2022-01-25 Axis Ab Real-time deviation in video monitoring
KR102287281B1 (ko) * 2020-01-13 2021-08-06 주식회사 비주얼캠프 시선 분석 방법 및 이를 수행하기 위한 장치
CN111443665A (zh) * 2020-03-11 2020-07-24 东南大学 一种基于眼动信号的智慧病房控制方法和系统
JP7542994B2 (ja) * 2020-05-26 2024-09-02 キヤノン株式会社 電子機器
US11310553B2 (en) 2020-06-19 2022-04-19 Apple Inc. Changing resource utilization associated with a media object based on an engagement score
CN111479112B (zh) * 2020-06-23 2020-11-03 腾讯科技(深圳)有限公司 一种视频编码方法、装置、设备和存储介质
US11999356B2 (en) * 2020-11-13 2024-06-04 Toyota Research Institute, Inc. Cognitive heat map: a model for driver situational awareness
USD976904S1 (en) 2020-12-18 2023-01-31 Stone Lock Global, Inc. Biometric scanner
US11567633B2 (en) * 2021-02-08 2023-01-31 Microsoft Technology Licensing, Llc Intention image analysis for determining user focus
CN113238693B (zh) * 2021-06-09 2023-10-24 维沃移动通信有限公司 图标排序方法、图标排序装置和电子设备
WO2023229647A1 (en) * 2022-05-24 2023-11-30 Google Llc Positioning a graphical keyboard within a graphical user interface
US12086301B2 (en) 2022-06-01 2024-09-10 Sphere Entertainment Group, Llc System for multi-user collaboration within a virtual reality environment

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4513317A (en) 1982-09-28 1985-04-23 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Retinally stabilized differential resolution television display
JPH07135623A (ja) 1993-10-27 1995-05-23 Kinseki Ltd 網膜直接表示装置
US9075136B1 (en) * 1998-03-04 2015-07-07 Gtj Ventures, Llc Vehicle operator and/or occupant information apparatus and method
EP1201082B1 (de) 2000-04-28 2003-09-03 Swisscom Mobile AG Verfahren und system für videokonferenzen
JP2003132362A (ja) * 2001-10-22 2003-05-09 Sony Corp 情報通信システム、および情報通信方法、並びにコンピュータ・プログラム
JP2006332882A (ja) * 2005-05-24 2006-12-07 Mitsubishi Electric Corp 動画像符号化装置
EP2000889B1 (en) 2006-03-15 2018-06-27 Omron Corporation Monitor and monitoring method, controller and control method, and program
GB0611969D0 (en) 2006-06-16 2006-07-26 Robert Gordon The University Video content prioritisation
CN102292017B (zh) 2009-01-26 2015-08-05 托比股份公司 由光学基准信号辅助的对凝视点的检测
KR20100095833A (ko) * 2009-02-23 2010-09-01 주식회사 몬도시스템즈 Roi 의존형 압축 파라미터를 이용하여 영상을 압축하는 장치 및 방법
CN101943982B (zh) * 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
CN102612697B (zh) * 2009-07-21 2014-10-22 高通股份有限公司 用于视频图像的检测和增强的方法及系统
US8493390B2 (en) * 2010-12-08 2013-07-23 Sony Computer Entertainment America, Inc. Adaptive displays using gaze tracking
US20140092006A1 (en) 2012-09-28 2014-04-03 Joshua Boelter Device and method for modifying rendering based on viewer focus area from eye tracking
US10116911B2 (en) * 2012-12-18 2018-10-30 Qualcomm Incorporated Realistic point of view video method and apparatus
JP6157170B2 (ja) * 2013-03-28 2017-07-05 大阪瓦斯株式会社 監視支援システム
EP2838268B1 (en) 2013-07-31 2019-02-20 Axis AB Method, device and system for producing a merged digital video sequence
EP3140716B1 (en) * 2014-05-08 2020-04-01 Sony Corporation Portable electronic equipment and method of controlling a portable electronic equipment
US20150339589A1 (en) 2014-05-21 2015-11-26 Brain Corporation Apparatus and methods for training robots utilizing gaze-based saliency maps
KR101619635B1 (ko) * 2014-11-06 2016-05-10 현대자동차주식회사 시선추적을 이용한 메뉴 선택장치
KR101657227B1 (ko) * 2015-01-09 2016-09-21 에스케이플래닛 주식회사 고객 정보 관리 장치, 고객 정보 관리 방법, 고객 정보 관리 시스템 및 컴퓨터 프로그램이 기록된 기록매체
US9778740B2 (en) * 2015-04-10 2017-10-03 Finwe Oy Method and system for tracking an interest of a user within a panoramic visual content
US10475370B2 (en) * 2016-02-17 2019-11-12 Google Llc Foveally-rendered display

Also Published As

Publication number Publication date
KR101936155B1 (ko) 2019-01-08
EP3343937B1 (en) 2018-12-26
JP6453991B2 (ja) 2019-01-16
EP3343937A1 (en) 2018-07-04
TWI654879B (zh) 2019-03-21
CN108270996A (zh) 2018-07-10
JP2018110398A (ja) 2018-07-12
US10110802B2 (en) 2018-10-23
CN108270996B (zh) 2019-04-16
KR20180079190A (ko) 2018-07-10
US20180191952A1 (en) 2018-07-05

Similar Documents

Publication Publication Date Title
TWI654879B (zh) 凝視熱區圖
JP6708622B2 (ja) 方法、およびコンピュータ装置
TWI767972B (zh) 基於凝視感測來解碼/編碼視訊資料之方法、顯示裝置、及攝影機
RU2628745C2 (ru) Система защитного наблюдения и соответствующий способ инициирования тревожной сигнализации
US20150358537A1 (en) Adaptive camera setting modification based on analytics data
US20180005048A1 (en) Traffic-counting system and method thereof
CN102857786A (zh) 视频监视系统中的质量检查
JP7539951B2 (ja) 撮像装置
JP6809114B2 (ja) 情報処理装置、画像処理システム、プログラム
KR102694107B1 (ko) 비디오 모니터링의 실시간 편차