KR102065479B1 - 시선 제어된 비트 레이트 - Google Patents

시선 제어된 비트 레이트 Download PDF

Info

Publication number
KR102065479B1
KR102065479B1 KR1020170180026A KR20170180026A KR102065479B1 KR 102065479 B1 KR102065479 B1 KR 102065479B1 KR 1020170180026 A KR1020170180026 A KR 1020170180026A KR 20170180026 A KR20170180026 A KR 20170180026A KR 102065479 B1 KR102065479 B1 KR 102065479B1
Authority
KR
South Korea
Prior art keywords
bit rate
video stream
camera
area
display
Prior art date
Application number
KR1020170180026A
Other languages
English (en)
Other versions
KR20180079189A (ko
Inventor
송 위안
Original Assignee
엑시스 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엑시스 에이비 filed Critical 엑시스 에이비
Publication of KR20180079189A publication Critical patent/KR20180079189A/ko
Application granted granted Critical
Publication of KR102065479B1 publication Critical patent/KR102065479B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • G08B13/19693—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound using multiple video sources viewed on a single or compound screen
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19682—Graphic User Interface [GUI] presenting system data to the user, e.g. information on a screen helping a user interacting with an alarm system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H04N5/23206—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream

Abstract

카메라로부터 비디오 스트림을 수신하는 단계 및 디스플레이상에 비디오 스트림을 디스플레이하는 단계를 포함하는 방법이 개시된다. 상기 방법은 시각 추적 센서를 통해 상기 디스플레이를 보고 있는 사용자에 대한 시선 영역을 식별하는 정보를 획득하는 단계; 상기 시선 영역으로부터 상기 디스플레이의 에지까지의 그라디언트를 생성하는 단계; 생성된 그라디언트에 기초하여 시선 영역 외부의 비디오 스트림의 비트 레이트를 감소시키도록 카메라에 지시하는 단계를 포함한다.

Description

시선 제어된 비트 레이트{GAZE CONTROLLED BIT RATE}
본 발명은 시선 제어된 비트 레이트에 관한 것이다.
관심 영역의 이미지 또는 비디오를 캡처하기 위해 카메라와 같은 모니터링 장치가 설치될 수 있다. 사용자 또는 사용자 그룹은 카메라의 원격 위치에 있는 디스플레이에서 카메라의 이미지 또는 비디오를 모니터링할 수 있다. 카메라에 의해 캡처한 데이터는 처리되어 네트워크 연결을 통해 디스플레이로 전송될 수 있다. 예를 들어, 네트워크를 통해 전송해야 하는 데이터의 양을 줄이기 위해 이미지 또는 비디오가 압축될 수 있다. 시스템은 네트워크를 통해 많은 양의 데이터를 전송하는 다수의 카메라를 포함할 수 있다. 많은 양의 데이터는 네트워크 자원에 많은 부담을 줄 수 있다.
일 양태에 따르면, 컴퓨터 장치에 의해 수행되는 방법은 카메라로부터 비디오 스트림을 수신하는 단계; 디스플레이상에 비디오 스트림을 디스플레이하는 단계; 시각 추적 센서를 통해, 상기 디스플레이를 보고 있는 사용자의 시선 영역을 식별하는 정보를 획득하는 단계; 상기 시선 영역으로부터 상기 디스플레이의 에지까지의 그라디언트를 생성하는 단계; 및 생성된 그라디언트에 기초하여 시선 영역 외부의 비디오 스트림의 비트 레이트를 감소시키도록 카메라에 명령하는 단계를 포함한다. 이 방법에 따르면 네트워크 자원을 보존하고 카메라 및 모니터링 스테이션의 모니터링 시스템의 프로세서 및 메모리 부하를 줄이는 기술적 효과를 얻을 수 있다.
또한, 상기 방법은 상기 획득된 정보에 기초하여 예측된 시선 궤도를 계산하는 단계; 및 상기 예측된 시선 궤도를 따라 상기 비디오 스트림의 비트 레이트를 증가시키는 단계를 더 포함할 수 있다. 예측된 시선 궤도를 따라 비디오 스트림의 비트 레이트를 증가시키게 되면 전체 비디오 스트림에 대한 비트 레이트를 증가시킬 필요없이 시선 영역의 일부가 될 비디오 스트림의 부분에 더 많은 정보를 제공하는 장점을 제공할 수 있다.
또한, 상기 방법은 상기 시선 영역이 상기 디스플레이 외부에 있다고 결정하는 단계; 및 상기 시선 영역이 상기 디스플레이 외부에 있다는 결정에 응답하여, 상기 전체 비디오 스트림에 대한 상기 비트 레이트를 감소시키는 단계를 더 포함할 수 있다. 전체 비디오 스트림에 대한 비트 레이트를 감소시키게 되면 네트워크 자원을 더 보존하고 카메라 및 모니터링 스테이션의 모니터링 시스템의 프로세서 및 메모리 부하를 줄이는 장점을 제공할 수 있다.
또한, 상기 방법은 상기 시선 영역 외부의 상기 비디오 스트림에서 움직이는 물체를 검출하는 단계; 및 상기 시선 영역과 상기 움직이는 물체를 상관시키는 단계를 더 포함할 수 있다. 시선 영역을 움직이는 물체와 상관시키게 되면 시선 영역이 움직일 수 있는 영역을 예측하는 장점을 제공할 수 있다.
또한, 상기 시선 영역으로부터 상기 디스플레이의 에지까지의 그라디언트를 생성하는 단계는 시선 영역의 에지로부터 상기 시선 영역의 에지에서부터 특정 거리까지의 제1 영역에 대한 제1 비트 레이트 감소 인자를 정의하는 단계 - 제1 비트 레이트 감소 인자는 제1 영역에 대한 비트 레이트가 감소하는 정도를 나타냄 -; 및 상기 특정 거리로부터 디스플레이의 에지까지의 제2 영역에 대한 제2 비트 레이트 감소 인자를 정의하는 단계를 포함할 수 있고, 제2 비트 레이트 감소 인자는 제1 비트 레이트 감소 인자보다 더 크다. 제1 비트 레이트 감소 인자와 제2 비트 레이트 감소 인자를 정의하게 되면 네트워크 자원을 더 보존하고 카메라 및 모니터링 스테이션의 모니터링 시스템에 대한 프로세서 및 메모리 부하를 줄이는 장점을 제공할 수 있다.
또한, 상기 시선 영역으로부터 상기 디스플레이의 에지까지의 그라디언트를 생성하는 단계는 시선 영역의 에지로부터 디스플레이의 에지로 선형적으로 감소하는 비트 레이트 감소 인자를 정의하는 단계를 더 포함하고, 여기에서 디스플레이의 특정 위치에서의 비트 레이트 감소 인자는 상기 특정 위치에서의 비트 레이트가 감소되는 정도를 나타낸다. 선형적으로 감소하는 비트 레이트 감소 인자를 정의하게 되면 네트워크 자원을 더 보존하고 카메라 및 모니터링 스테이션의 모니터링 시스템에 대한 프로세서 및 메모리 부하를 줄이는 장점을 제공할 수 있다.
부가적으로, 상기 생성된 그라디언트에 기초하여 시선 영역 외부의 비디오 스트림의 비트 레이트를 감소시키도록 카메라에 명령하는 단계는 시선 영역 외부의 비디오 스트림 영역과 연관된 센서의 샘플링 레이트를 감소시키도록 카메라에 명령하는 단계를 더 포함할 수 있다, 시선 영역 외부의 비디오 스트림 영역과 관련된 센서의 샘플링 속도를 감소시키게 되면 네트워크 자원을 보존하고 센서에 대한 프로세서 및 메모리 부하를 줄이는 장점을 제공할 수 있다.
추가적으로, 상기 생성된 그라디언트에 기초하여 시선 영역 외부의 비디오 스트림의 비트 레이트를 감소시키도록 카메라에 명령하는 단계는, 비디오 스트림을 인코딩하기 전에 시야 영역 외부의 비디오 스트림의 영역에 대한 해상도를 낮추도록 카메라에 명령하는 단계를 더 포함할 수 있다. 비디오 스트림을 인코딩하기 전에 시선 영역 외부의 비디오 스트림 영역에 대한 해상도를 낮추게 되면 네트워크 자원을 보존하고 이미지 프로세서에 대한 처리 및 메모리 부하를 줄이는 장점을 제공할 수 있다.
부가적으로, 상기 생성된 그라디언트에 기초하여 시선 영역 외부의 비디오 스트림의 비트 레이트를 감소시키도록 카메라에 명령하는 단계는 비디오 스트림을 인코딩하기 전에 시선 영역 외부의 비디오 스트림의 영역에 대한 노이즈 감소 프로세스를 증가시키도록 카메라에 명령하는 단계를 더 포함할 수 있다. 비디오 스트림을 인코딩하기 전에 시선 영역 외부의 비디오 스트림 영역에 대한 노이즈 감소 프로세스를 증가시키게 되면 네트워크 자원을 보존하고 이미지 프로세서에 대한 프로세싱 및 메모리 부하를 감소시키는 장점을 제공할 수 있다.
또한, 상기 생성된 그라디언트에 기초하여 시선 영역 외부의 비디오 스트림의 비트 레이트를 감소시키도록 카메라에 명령하는 단계는 시선 영역 외부의 비디오 스트림의 영역과 연관된 인코딩 프로세싱 유닛에 대한 압축 파라미터 값을 증가시키도록 카메라에 명령하는 단계를 더 포함할 수 있다. 시선 영역 외부의 비디오 스트림의 영역과 연관된 인코딩 프로세싱 유닛에 대한 압축 파라미터 값을 증가시키도록 카메라에 명령하게 되면 네트워크 자원을 보존하고 인코딩 프로세싱 유닛에 대한 프로세싱 및 메모리 부하를 감소시키는 장점을 제공할 수 있다.
또한, 비디오 스트림은 복수의 비디오 스트림을 포함할 수 있고, 디스플레이는 복수의 디스플레이를 포함할 수 있다. 복수의 디스플레이의 복수의 비디오 스트림에 대해 시선 영역을 결정하게 되면 네트워크 자원을 보존하고 복수의 비디오 스트림 및 복수의 디스플레이를 포함하는 시스템에 대한 프로세서 및 메모리 부하를 감소시키는 장점을 제공할 수 있다.
다른 양태에 따르면, 컴퓨터 장치는 명령들을 저장하는 메모리; 및 상기 명령들을 실행하여 카메라로부터 비디오 스트림을 수신하고, 디스플레이상에 비디오 스트림을 디스플레이하고, 시각 추적 센서를 통해 상기 디스플레이를 보고 있는 사용자의 시선 영역을 식별하는 정보를 획득하고; 상기 시선 영역으로부터 상기 디스플레이의 에지까지의 그라디언트를 생성하고; 생성된 그라디언트에 기초하여 시선 영역 외부의 비디오 스트림의 비트 레이트를 감소시키도록 카메라에 명령하도록 구성된 프로세서를 포함할 수 있다. 이 컴퓨터 장치는 네트워크 자원을 보존하고 카메라 및 모니터링 스테이션의 모니터링 시스템에 대한 프로세서 및 메모리 부하를 줄이는 기술적 효과를 제공할 수 있다.
또한, 상기 프로세서는 상기 명령을 실행하여 상기 획득된 시선 정보에 기초하여 예측된 시선 궤도를 계산하고; 예측된 시선 궤도를 따라 비디오 스트림의 비트 레이트를 증가시키도록 더욱 구성될 수 있다. 예측된 시선 궤도를 따라 비디오 스트림의 비트 레이트를 증가시키게 되면 전체 비디오 스트림에 대한 비트 레이트를 증가시킬 필요없이 시선 영역의 일부가 될 비디오 스트림의 부분에 더 많은 정보를 제공하는 장점을 제공할 수 있다.
또한, 상기 시선 영역으로부터 상기 디스플레이의 에지까지의 그라디언트를 생성할 때, 상기 프로세서는 상기 시선 영역의 에지로부터 상기 시선 영역에서부터 특정 거리까지의 제1 영역에 대한 제1 비트 레이트 감소 인자를 정의하고 - 상기 제1 비트 레이트 감소 인자는 상기 제1 영역에 대한 비트 레이트가 감소되는 정도를 나타냄 -, 상기 특정 거리로부터 상기 디스플레이의 에지까지의 제2 영역에 대한 제2 비트 레이트 감소 인자를 정의하도록 더욱 구성될 수 있고, 상기 제2 비트 레이트 감소 인자는 상기 제2 영역에 대한 비트 레이트가 감소되는 정도를 나타내고, 상기 제2 비트 레이트 감소 인자는 제1 비트 레이트 감소 인자보다 높다. 제1 비트 레이트 감소 인자와 제2 비트 레이트 감소 인자를 정의하게 되면 네트워크 자원을 더 보존하고 카메라 및 모니터링 스테이션의 모니터링 시스템에 대한 프로세서 및 메모리 부하를 감소시키는 장점을 제공할 수 있다.
또한, 상기 시선 영역으로부터 상기 디스플레이의 에지까지의 그라디언트를 생성할 때, 상기 프로세서는 상기 시선 영역의 에지에서 상기 디스플레이의 에지로 선형적으로 감소하는 비트 레이트 감소 인자를 정의하도록 더욱 구성될 수 있으며, 디스플레이의 특정 위치에서의 비트 레이트 감소 인자는 특정 위치에서의 비트 레이트가 감소되는 정도를 나타낸다. 선형적으로 감소하는 비트 레이트 감소 계수를 정의하면 네트워크 자원을 더 보존하고 카메라 및 모니터링 스테이션의 모니터링 시스템에 대한 프로세서 및 메모리 부하를 줄이는 장점을 제공할 수 있다.
부가적으로, 생성된 그라디언트에 기초하여 시선 영역 외부의 비디오 스트림의 비트 레이트를 감소시키도록 카메라에 명령할 때, 프로세서는 시선 영역 외부의 비디오 스트림의 영역과 관련된 센서에 대한 샘플링 레이트를 감소시키도록 카메라에 명령하도록 더욱 구성될 수 있다. 시선 영역 외부의 비디오 스트림의 영역과 관련된 센서의 샘플링 속도를 감소시키게 되면 네트워크 자원을 보존하고 센서에 대한 프로세서 및 메모리 부하를 줄이는 장점을 제공할 수 있다.
부가적으로, 생성된 그라디언트에 기초하여 시선 영역 외부의 비디오 스트림의 비트 레이트를 감소시키도록 카메라에 명령할 때, 프로세서는 비디오 스트림을 인코딩하기 전에 시선 영역 외부의 비디오 스트림의 영역에 대한 해상도를 낮추도록 카메라를 명령하도록 더욱 구성될 수 있다. 비디오 스트림을 인코딩하기 전에 시선 영역 외부의 비디오 스트림의 영역에 대한 해상도를 낮추게 되면 네트워크 자원을 보존하고 이미지 프로세서에 대한 처리 및 메모리 부하를 줄이는 장점을 제공할 수 있다.
또한, 생성된 그라디언트에 기초하여 시선 영역 외부의 비디오 스트림의 비트 레이트를 감소시키도록 카메라에 명령할 때, 프로세서는 비디오 스트림을 인코딩하기 전에 시선 영역 외부의 비디오 스트림의 영역에 대한 노이즈 감소 프로세스를 증가시키도록 카메라에 명령하도록 더욱 구성될 수 있다. 비디오 스트림을 인코딩하기 전에 시선 영역 외부의 비디오 스트림의 영역에 대한 노이즈 감소 프로세스를 증가시키게 되면 네트워크 자원을 보존하고 이미지 프로세서에 대한 프로세싱 및 메모리 부하를 감소시키는 장점을 제공할 수 있다.
부가적으로, 생성된 그라디언트에 기초하여 시선 영역 외부의 비디오 스트림의 비트 레이트를 감소시키도록 카메라에 명령할 때, 프로세서는 시선 영역 외부의 비디오 스트림의 영역과 연관된 인코딩 프로세싱 유닛에 대한 압축 파라미터 값을 증가시키도록 카메라에 명령하도록 더욱 구성될 수 있다. 시선 영역 외부의 비디오 스트림의 영역과 연관된 인코딩 프로세싱 유닛에 대한 압축 파라미터 값을 증가시키도록 카메라에 명령하게 되면 네트워크 자원을 보존하고 인코딩 프로세싱 유닛에 대한 프로세싱 및 메모리 부하를 감소시키는 장점을 제공할 수 있다.
또 다른 양태에 따르면, 시스템은 비디오 스트림을 생성하도록 구성된 카메라; 및 상기 카메라로부터 상기 비디오 스트림을 수신하고, 디스플레이상에 비디오 스트림을 디스플레이하고; 시각 추적 센서를 통해 상기 디스플레이를 보고 있는 사용자에 대한 시선 영역을 식별하는 정보를 획득하고; 상기 시선 영역으로부터 상기 디스플레이의 에지까지의 그라디언트를 생성하고; 상기 생성된 그라디언트에 기초하여 상기 시선 영역 외부의 상기 비디오 스트림의 비트 레이트를 감소시키도록 하는 명령을 상기 카메라에 전송하도록 구성된 컴퓨터 장치를 포함할 수 있고, 상기 카메라는 상기 수신된 명령에 기초하여 상기 시선 영역 외부의 상기 비디오 스트림의 비트 레이트를 감소시키도록 더욱 구성된다. 이 시스템은 네트워크 자원을 보존하고 카메라 및 모니터링 스테이션의 모니터링 시스템에 대한 프로세서 및 메모리 부하를 줄이는 기술적 효과를 제공할 수 있다.
도 1은 본 명세서에 설명된 구현 예에 따른 시각 추적을 포함하는 예시적인 환경을 나타내는 블럭도이다.
도 2는 본 명세서에서 설명된 구현 예에 따른 카메라의 예시적인 구성 요소를 나타내는 블럭도이다.
도 3은 본 명세서에 설명된 구현 예에 따른 컴퓨팅 모듈의 예시적인 구성 요소를 나타내는 블럭도이다.
도 4는 본 명세서에 설명된 구현 예에 따라 조작자가 시각 추적기를 구비한 디스플레이를 보는 환경을 도시한다.
도 5a 및 5b는 본 명세서에서 설명된 하나 이상의 구현 예에 따른 조작자의 관점에서 본 디스플레이를 도시한다.
도 6은 도 1의 구성 요소들 중 일부의 기능적 구성 요소들의 도면이다.
도 7은 도 6의 카메라 데이터베이스의 예시적인 구성 요소들의 도면이다.
도 8은 본 명세서에 설명된 구현 예에 따라 시선 영역에 기초하여 비트 레이트를 제어하기 위한 프로세스의 흐름도이다.
도 9a-9c는 본 명세서에 설명된 하나 이상의 구현 예에 따른 예시적인 비트 레이트 감소 시나리오의 다이어그램이다.
다음의 상세한 설명은 첨부한 도면을 참조한다. 상이한 도면에서 동일한 참조 번호는 동일하거나 유사한 요소를 식별한다.
본 명세서에서 설명된 구현 예들은 시선 제어된 비트 레이트에 관한 것이다. 모니터링 카메라는 관심 영역의 비디오를 디스플레이로 스트리밍한다. 비디오 스트림은 높은 대역폭 요구 사항을 가질 수 있으며 상당한 네트워크 대역폭을 소비할 수 있다. 또한, 비디오 스트림을 처리하는 데에는 프로세서 및 메모리 자원을 필요로 할 수 있다. 본 명세서에서 "조작자" 또는 "사용자"로 지칭되는, 디스플레이를 보는 사람은 주어진 시간에 디스플레이의 일부분만을 볼 수 있다. 또한, 조작자는 다수의 카메라로부터 다수의 디스플레이를 보면서 작업할 수 있으며, 한 번에 하나의 디스플레이에만 시선을 향하게 할 수 있다. 시각 추적기는 조작자의 시선 영역을 식별하고 따라서 조작자가 보고 있지 않은 디스플레이의 일부 또는 디스플레이 그룹 내의 하나 이상의 디스플레이를 식별하는데 사용될 수 있다. 따라서, 조작자가 보고 있지 않은 비디오 스트림의 일부의 비디오 스트림의 비트 레이트를 감소시키게 되면, 네트워크 자원을 보존하고 카메라 및 모니터링 스테이션의 모니터링 시스템에 대한 프로세서 및 메모리 부하를 감소시키는 기술적 효과를 가져올 수 있다.
비디오 관리 시스템은 디스플레이를 포함하는 클라이언트 장치를 관리할 수 있다. 디스플레이는 카메라로부터 비디오 스트림을 수신하고 비디오 스트림을 디스플레이상에 디스플레이할 수 있다. 비디오 관리 시스템은 시각 추적 센서를 통해 디스플레이를 보는 사용자에 대한 시선 영역을 식별하는 정보를 획득하고, 시선 영역으로부터 디스플레이의 에지까지의 그라디언트를 생성하고, 생성된 그라디언트에 기초하여 시선 영역 외부의 비디오 스트림의 비트 레이트를 감소시키도록 카메라에 명령할 수 있다. 일부 구현 예에서, 비디오 스트림은 다수의 비디오 스트림을 포함할 수 있고, 디스플레이는 다수의 디스플레이를 포함할 수 있다.
그라디언트는 하나 이상의 비트 레이트 감소 인자에 의해 정의될 수 있다. 비디오 스트림의 영역에 대한 비트 레이트 감소 인자는 이 영역의 비트 레이트가 비트 감소가 적용되지 않은 영역의 비트 레이트와 비교하여 감소되는 정도를 나타낼 수 있다. 일 예로서, 상기 그라디언트를 생성하는 단계는 상기 시선 영역의 에지로부터 상기 시선 영역의 에지에서부터 설정 거리까지의 제1 영역에 대해 제1 비트 레이트 감소 인자를 정의하는 단계와, 상기 설정 거리로부터 디스플레이의 에지까지의 제2 영역에 대해 제1 비트 레이트 감소 인자보다 더 큰 제2 비트 레이트 감소 인자를 정의하는 단계를 포함할 수 있다. 다른 예로서, 상기 그라디언트를 생성하는 단계는 상기 시선 영역의 에지에서 상기 디스플레이의 에지로 선형적으로 감소하는 비트 레이트 감소 인자를 정의하는 단계를 포함할 수 있다. 또 다른 예로서, 상기 그라디언트를 생성하는 단계는 상기 시선 영역이 상기 디스플레이 외부에 있다고 결정하는 단계와, 상기 시선 영역이 상기 디스플레이 외부에 있다고 결정한 것에 응답하여, 상기 전체 비디오 스트림에 대한 상기 비트 레이트를 감소시키는 단계를 포함할 수 있다. 또 다른 예로서, 그라디언트를 생성하는 단계는 시선 영역 내의 비디오 스트림의 비트 레이트를 증가시키도록 카메라에 명령하는 단계를 포함할 수 있다.
비트 레이트 감소 인자는, 실제 비트 레이트가 예측 가능하지 않을 수 있기 때문에, 실제 비트 레이트 값보다는 비트 레이트 감소를 정의하는데 사용될 수 있다. 실제 비트 레이트는 비디오 스트림의 특성에 기초하여 특정 비디오 스트림에 대해 달성 가능한 압축량에 의존할 수 있다. 따라서, 실제로, 특정한 상황에서는 높은 비트 레이트 감소 인자를 갖는 제1 영역이 비트 레이트 감소가 전혀 없거나 비트 레이트 감소 인자가 낮은 제2 영역보다 더 높은 비트 레이트가 결과될 수도 있는데, 이는 제1 영역의 이미지 데이터가 더욱 압축 가능하기 때문이다(예를 들어, 인트라프레임 압축으로 인해).
비디오 관리 시스템은 비디오 스트림의 영역의 비트 레이트에 대해 다른 조정을 수행할 수도 있다. 예를 들어, 예측된 시선 궤도는 시선 영역의 움직임에 기초하여 계산될 수 있고, 비트 레이트는 예측된 시선 궤도를 따라 증가될 수 있다. 다른 예로서, 움직이는 물체가 비디오 스트림에서 검출될 수 있고, 시선 영역이 움직이는 물체와 상관될 수 있다. 시선 영역이 움직이는 물체를 향해 이동하기 시작하면, 움직이는 물체와 관련된 비트 레이트 감소 인자는 감소될 수 있다.
비트 레이트는 센서 어레이에 의한 비디오 데이터의 캡처 시점으로부터 네트워크 접속을 통해 디스플레이로 인코딩된 비디오 스트림을 송신하기까지의 처리 경로를 따라 다수의 지점들 중 어느 지점에서 감소될 수 있다. 예를 들어, 시선 영역 외부의 비디오 스트림의 비트 레이트를 감소시키도록 카메라에 명령하는 단계는 시선 영역 외부의 비디오 스트림의 영역과 연관된 센서에 대한 샘플링 레이트를 감소시키도록 카메라에 명령하는 단계를 포함할 수 있다. 다른 예로서, 시선 영역 외부의 비디오 스트림의 비트 레이트를 감소시키도록 카메라에 명령하는 단계는 비디오 스트림을 인코딩하기 전에 시선 영역 외부의 비디오 스트림의 영역에 대한 해상도를 낮추도록 카메라를 명령하는 단계를 포함할 수 있다. 또 다른 예로서, 시선 영역 외부의 비디오 스트림의 비트 레이트를 감소시키도록 카메라에 명령하는 단계는, 비디오 스트림을 인코딩하기 전에 시선 영역 외부의 비디오 스트림의 영역에 대한 노이즈 감소 프로세스를 증가시키도록 카메라에 명령하는 단계를 포함할 수 있다. 또 다른 예로서, 시선 영역 외부의 비디오 스트림의 비트 레이트를 감소시키도록 카메라에 명령하는 단계는 시선 영역 외부의 비디오 스트림의 영역과 연관된 인코딩 프로세싱 유닛에 대한 압축 파라미터 값을 증가시키도록 카메라에 명령하는 단계를 포함할 수 있다.
도 1은 일 실시예의 예시의 환경(100)을 설명하는 블럭도이다. 환경(100)은 예를 들어, 구역의 안전을 지키거나 공공 안전을 제공하는 모니터링 시스템일 수 있다. 도 1에 도시된 바와 같이, 환경(100)은 카메라들(110-1 내지 110-M), 네트워크(120), 모니터링 스테이션들(125-1 내지 125-N), 디스플레이들(130-1 내지 130-N), 시각 추적기들(140-1 내지 140-N), 및/또는 비디오 관리 시스템(VMS; 150)을 포함할 수 있다.
카메라들(110-1 내지 110-M)(개별적으로 "카메라(110)", 집합적으로 "카메라들(100)")은 모니터링된 영역(106)의 이미지 및/또는 비디오를 캡처한다. 모니터링된 영역(106)은 하나 이상의 카메라(100)에 의해 모니터링될 수 있다. 예를 들어, 두 대의 카메라가 객체(102-1)를 포함하는 영역(106-1)을 모니터링할 수 있다. 객체(102)는 문, 사람, 동물, 차량, 자동차의 번호판 등과 같은 임의의 객체를 포함할 수 있다.
카메라(110)는 가시광, 적외광 및/또는 다른 비가시 전자기 방사선(예를 들어, 자외선, 원적외선, 테라 헤르쯔 방사선, 마이크로파 방사선 등)을 사용하여 이미지 데이터를 캡처할 수 있다. 카메라(110)는 열 화상 카메라 및/또는 레이더 영상을 위한 레이더를 포함할 수 있다. 캡처된 이미지 데이터는 연속적인 이미지 시퀀스(예를 들어, 비디오), 제한된 이미지 시퀀스, 정지 이미지 및/또는 이들의 조합을 포함할 수 있다. 카메라(110)는 이미지를 캡처하고 디지털화하기 위한 디지털 카메라 및/또는 이미지를 캡처하고 아날로그 포맷으로 이미지 데이터를 저장하기 위한 아날로그 카메라를 포함할 수 있다.
카메라(110)는 하나 이상의 2차원 어레이(들)(예를 들어, 이미지 데이터 또는 비디오 데이터)에 배열된 데이터를 생성하는 센서를 포함할 수 있다. 본 명세서에 사용된 바와 같이, "비디오 데이터" 및 "비디오"는 보다 일반적으로 각각 "이미지 데이터" 및 "이미지"로 지칭될 수 있다. 따라서, "이미지 데이터" 또는 "이미지"는 다른 언급이 없는 한 "비디오 데이터" 및 "비디오"를 포함하는 것을 의미한다. 마찬가지로, "비디오 데이터" 또는 "비디오"는 다르게 언급되지 않는 한 정지 이미지를 포함할 수 있다. 더욱, 어떤 구현 예에서, "비디오 데이터"는 오디오 데이터를 포함할 수 있다.
모니터링 스테이션들(125-1 내지 125-N)은 디스플레이들(130-1 내지 130-N)(각각 개별적으로 "모니터링 스테이션(125)" 및 "디스플레이(130)")에 결합된다. 일 실시예에서, 모니터링 스테이션들(125-1 내지 125-N)은 또한 시각 추적기들(140-1 내지 140-N)(개별적으로 "시각 추적기(140)")에 연결된다. 모니터링 스테이션(125) 및 디스플레이(130)는 카메라(100)에 의해 형성된 이미지를 조작자(도 1에는 도시하지 않음)가 볼 수 있게 한다. 시각 추적기(140)는 디스플레이(130)를 보는 조작자의 시선을 추적한다. 각 모니터링 스테이션(125-x), 디스플레이(130-x) 및 시각 추적기(140-x)는 조작자가 환경(100)에 도시된 모니터링 시스템과 상호 작용하는 "클라이언트"일 수 있다.
디스플레이(130)는 하나 이상의 카메라(110)로부터 비디오 스트림(들)을 수신하여 디스플레이한다. 단일의 디스플레이(130)는 단일 카메라(110) 또는 다수의 카메라(110)로부터(예를 들어, 디스플레이(130)상의 다중 프레임 또는 윈도우에서) 이미지를 보여줄 수 있다. 단일의 디스플레이(130)는 또한 단일의 카메라로부터이지만 다른 프레임으로 이미지를 보여줄 수 있다. 즉, 단일 카메라는 예를 들어 광각 또는 어안 렌즈를 포함할 수 있고, 다수의 영역(106)의 이미지를 제공할 수 있다. 상이한 영역(106)으로부터의 이미지는 분리되어 상이한 윈도우 및/또는 프레임에서 개별적으로 디스플레이(130)상에 표시될 수 있다. 디스플레이(130)는 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 LED(OLED) 디스플레이, CRT 디스플레이, 플라즈마 디스플레이, 레이저 비디오 디스플레이, 전기 영동 디스플레이, 양자점 디스플레이, 비디오 프로젝터 및/또는 임의의 다른 유형의 디스플레이 장치일 수 있다.
시각 추적기(140)는 VMS(150)(또는 환경(100) 내의 임의의 장치)가 조작자의 눈이 어디에 집중하고 있는지를 결정할 수 있게 하는 센서(예를 들어, 카메라)를 포함한다. 예를 들어, 한 세트의 근적외선 광선이 조작자의 눈을 향하여, 조작자의 각막에 반사를 일으킬 수 있다. 반사는 조작자의 시선 영역을 결정하기 위해 시각 추적기(140)에 포함된 카메라에 의해 추적될 수 있다. 시선 영역은 시선 포인트 및 중심 초점 영역을 포함할 수 있다. 예를 들어, 조작자는 모니터링 스테이션(125)의 디스플레이(130) 앞에 앉을 수 있다. 시각 추적기(140)는 조작자가 디스플레이(130)의 어느 부분에 집중하고 있는지를 결정한다. 각 디스플레이(130)는 단일의 시각 추적기(140)와 연관될 수 있다. 다르게, 시각 추적기(140)는 다수의 디스플레이(130)에 대응할 수 있다. 이 경우에, 시각 추적기(140)는 조작자가 어느 디스플레이 및/또는 해당 디스플레이(130)의 어느 부분에 집중하고 있는지를 결정할 수 있다.
시각 추적기(140)는 또한 사용자의 존재, 주의 수준, 집중, 졸음, 생각 및/또는 그 외 상태를 결정할 수 있다. 시각 추적기(140)는 또한 사용자의 신원을 결정할 수 있다. 시각 추적기(140)의 정보는 시간 경과에 따른 조작자 행동을 간파하거나 조작자의 현 상태를 결정하기 위해 사용될 수 있다. 몇 구현 예에서, 디스플레이(130) 및 시각 추적기(140)는 조작자가 착용한 가상 실현 (VR) 헤드셋으로 구현될 수 있다. 조작자는 하나 이상의 카메라(110)를 VR 헤드셋에의 입력으로 이용하여 영역(106)의 가상 검사를 수행할 수 있다.
네트워크(120)는 하나 이상의 회선 교환 네트워크 및/또는 패킷 교환 네트워크를 포함할 수 있다. 예를 들어, 네트워크(120)는 근거리 통신망(Local Area Network; LAN), 원거리 통신망(Wide Area Network; WAN)), 도시 지역 통신망(Metropolitan Area Network; MAN), 공중 교환 전화망(Public Switched Telephone Network; PSTN), 애드혹 네트워크, 인트라넷, 인터넷, 광섬유 기반 네트워크, 무선 네트워크 및/또는 이들 또는 다른 유형의 네트워크의 조합을 포함할 수 있다.
VMS(150)는 카메라(110), 디스플레이 장치(130) 및/또는 시각 추적 시스템(140)의 동작을 조정하는, 예를 들어 서버 장치와 같은 하나 이상의 컴퓨터 장치를 포함할 수 있다. VMS(150)는 카메라(110)로부터 이미지 데이터를 수신하고 저장한다. VMS(150)는 또한 모니터링 스테이션(125)의 조작자가 VMS(150)에 저장된 이미지 데이터 또는 카메라(110)로부터 스트리밍된 이미지 데이터를 볼 수 있도록 사용자 인터페이스를 제공할 수 있다. VMS(150)은 룰 엔진을 포함하여 조작자의 시선 영역 외부인 영역에 대한 비트 레이트를 감소시키도록 카메라(110)에 명령하여 시스템 자원을 보존할 수 있다.
몇 실시예에서, 환경(100)은 별도의 VMS(150)를 포함하지 않는다. 대신에, VMS(150)에 의해 제공되는 서비스는 모니터링 스테이션(125)(예를 들어, 디스플레이(130)와 연관된 컴퓨터 장치) 및/또는 카메라(110) 자체에 의해 또는 환경(100)에서의 장치들 간에 분산되는 방식으로 제공된다. 예를 들어, 카메라(110)는 조작자의 시선 영역 외부인 영역에 대한 비트 레이트를 감소시키도록 카메라(110)에 명령하여 시스템 자원을 보존하는 룰 엔진을 포함할 수 있다. 유사하게, VMS(150)는 카메라(110)에 의해 수행되는 것으로 기술된 동작을 수행할 수 있다.
도 1은 환경(100)의 예시적인 구성 요소를 도시하고 있지만, 다른 구현 예에서, 환경(100)은 도 1에 도시된 것보다 적은 수의 구성 요소, 다른 구성 요소, 다르게 배치된 구성 요소 또는 추가 구성 요소를 포함할 수 있다. 부가적으로 또는 대안적으로, 임의의 하나의 장치(또는 임의의 장치 그룹)는 하나 이상의 다른 장치에 의해 수행되는 것으로 기술된 기능을 수행할 수 있다.
도 2는 일 실시예에서 카메라의 예시적인 구성 요소들을 도시한 블럭도이다. 도 2에 도시된 바와 같이, 카메라(110)는 광학 체인(210), 센서 어레이(220), 버스(225), 이미지 프로세서(230), 제어기(240), 메모리(245), 비디오 인코더(250) 및/또는 통신 인터페이스(260)를 포함할 수 있다. 일 실시예에서, 카메라(110)는 카메라(110)를 패닝(panning), 틸팅(tilting) 및 주밍(zooming)하기 위한 하나 이상의 모터 제어기(270)(예를 들어, 3개) 및 하나 이상의 모터(272)(예를 들어 3개)를 포함할 수 있다.
광학 체인(210)은 입사 방사선(예를 들어, 광, 가시광, 적외선, 밀리미터파 등)을 센서 어레이(220)로 지향시켜 입사 방사선에 기초하여 이미지를 포착하기 위한 엔클로저를 포함한다. 광학 체인(210)은 모니터링된 영역으로부터 입사 방사선을 수집하여 센서 어레이(220) 상에 포커싱하는 렌즈(212)를 포함한다.
센서 어레이(220)는 센서 어레이(220)에 입사하거나 떨어지는 방사선(예를 들어, 빛)을 등록, 감지 및 측정하기 위한 센서 어레이를 포함할 수 있다. 방사선은 가시광선 파장 범위, 적외선 파장 범위 또는 다른 파장 범위에 있을 수 있다.
센서 어레이(220)는 예를 들어 전하 결합 소자(CCD) 어레이 및/또는 액티브 픽셀 어레이(예를 들어, 상보형 금속 산화물 반도체(CMOS) 센서 어레이)를 포함할 수 있다. 센서 어레이(220)는 또한 (예를 들어, 카메라(110)가 열 카메라 또는 검출기를 포함하는 경우) 마이크로볼로미터(microbolometer)를 포함할 수 있다.
센서 어레이(220)는 센서 어레이(220)에 입사하는 방사선(예를 들어, 광)을 나타내는 데이터를 출력한다(예를 들어, 속성 또는 특성을 기술한다). 예를 들어, 센서 어레이(220)로부터 출력된 데이터는, 센서 어레이(220)의 하나 이상의 픽셀에 입사하는 빛의 강도(예를 들어, 휘도), 색 등의 정보를 포함할 수 있다. 센서 어레이(220)에 입사하는 광은, 광학 체인(210)의 렌즈들의 결과로서 광이 집중된다는 점에서 "이미지"일 수 있다. 몇 구현 예에서, 제어기(240)는 특정 센서, 센서의 세트, 또는 센서 어레이(220)의 샘플링 속도를 턴오프하고/하거나 감소시킴으로써 센서 어레이(220)의 특정 영역과 연관된 비트 레이트를 감소시킬 수 있다.
센서 어레이(220)는 센서 어레이(220)에 떨어지는 이미지를 감지하기 때문에 "이미지 센서"로 간주될 수 있다. 본 명세서에서 사용된 바와 같이, "이미지"는 센서 어레이(220)에 입사하는 방사선을 나타내는 데이터를 포함한다(예를 들어, 광의 속성이나 특성을 기술함). 따라서, "이미지"라는 용어는 "이미지 센서 데이터" 또는 이미지를 기술하는 임의의 데이터 또는 데이터 세트를 의미하는데 사용될 수도 있다. 또한, "픽셀"은 방사선의 측정(들)(예를 들어, 센서 어레이(220)상에 입사하는 광의 지표인 측정치)이 취해지는 센서 어레이(220)의 임의의 영역 또는 구역을 의미할 수 있다. 픽셀은 센서 어레이(220) 내의 하나 이상의 (또는 하나보다 적은) 센서(들)에 대응할 수 있다. 대안적인 실시예에서, 센서 어레이(220)는 이미지를 형성하도록 스캐닝 하드웨어(예를 들어, 회전 거울)을 사용할 수 있는 선형 어레이이거나, 이미지 센서 데이터 데이터를 생성하는데에 이미지 프로세서(230) 및/또는 제어기(240)에 의존할 수 있는 불규칙 어레이 센서일 수 있다.
버스(225)는 카메라(110) 내의 구성 요소들이 서로 통신할 수 있게 하는 통신 경로를 포함한다. 제어기(240) 및/또는 이미지 프로세서(230)는 센서 어레이(220)에 의해 캡처된 이미지 데이터에 대해 신호 처리 동작을 수행한다. 예를 들어, 이미지 프로세서(230)는 노이즈 감소, 필터링, 스케일링 등과 같이, 센서 어레이(220)에 의해 캡처된 이미지에 대해 이미지 처리를 수행할 수 있다. 제어기(240)는 카메라(110)의 동작을 제어하고 센서 어레이(220), 이미지 프로세서(230), 비디오 인코더(2500, 통신 인터페이스, 및/또는 모터 제어기(들)(270)와 같은, 카메라(110)의 다른 구성 요소에 명령을 제공할 수 있다.
제어기(240) 및/또는 이미지 프로세서(230)는 임의의 유형의 단일 코어 또는 멀티 코어 프로세서, 마이크로프로세서, 래치 기반 프로세서, 및/또는 명령을 해석하고 실행하는 프로세싱 로직(또는 프로세서, 마이크로프로세서 및/또는 프로세싱 로직의 계열)을 포함할 수 있다. 제어기(240) 및/또는 이미지 프로세서(230)는 그래픽 처리 장치(graphics processing unit; GPU), 범용 그래픽 처리 장치(General Purpose Graphics Processing Unit; GPGPU), 셀(Cell), 전계 프로그래머블 게이트 어레이(field programmable gate array; FPGA), 주문형 집적 회로(ASIC), 및/또는 다른 유형의 집적 회로나 처리 로직 등과 같은 하드웨어 가속기를 포함하거나 이에 결합될 수 있다.
제어기(240)는 또한 카메라(110)의 원하는 초점과 위치(예를 들어, 틸트 및 줌)를 결정하고 조절할 수 있다. 이를 위해, 제어기(240)는 하나 이상의 모터(272)가 카메라(110) 또는 선택적으로 줌 렌즈(212)를 기울이고/이거나 상하좌우로 회전하게 하도록 하나 이상의 모터 제어기(270)에 명령을 보낸다.
메모리(245)는 정보 및/또는 명령들을 저장하는 임의의 유형의 휘발성 및/또는 비휘발성 저장 장치를 포함할 수 있다. 메모리(245)는 RAM(random access memory) 또는 임의의 유형의 동적 저장 장치, 판독 전용 메모리(ROM) 장치 또는 임의 유형의 정적 저장 장치, 자기 또는 광학 기록 메모리 장치 및 그 대응 드라이브, 또는 이동식 메모리 장치를 포함할 수 있다. 메모리(245)는 프로세서 카메라(110)에 의한 사용을 위해 정보 및 명령들(예를 들어, 애플리케이션 및/또는 운영 시스템) 및 데이터(예를 들어, 애플리케이션 데이터)를 저장할 수 있다. 메모리(245)는 하나 이상의 비트 레이트 감소 인자 및/또는 특정 센서 어레이 캡처, 이미지 프로세싱, 및/또는 인코딩 프로세스를 식별하는 정보 및/또는 상기 적어도 하나 이상의 비트 레이트 감소 인자가 적용되게 되는 변수를 저장할 수 있다.
메모리(245)는 제어기(240) 및/또는 이미지 프로세서(230)에 의해 실행하기 위한 명령을 저장할 수 있다. 소프트웨어 명령은 다른 컴퓨터 판독 가능 매체 또는 다른 장치로부터 메모리(245)로 판독될 수 있다. 소프트웨어 명령은 제어기(240), 비디오 인코더(260) 및/또는 이미지 프로세서(230)가 본 명세서에서 설명된 프로세스를 수행하게 할 수 있다. 예를 들어, 카메라(110)는 메모리(245)에 저장된 소프트웨어 명령을 실행하는 제어기(240), 비디오 인코더(250) 및/또는 이미지 프로세서(230)에 응답하여 이미지 처리(예를 들어, 인코딩, 노이즈 감소, 트랜스코딩, 객체 검출 등)에 관한 동작을 실행할 수 있다. 대안으로, 하드와이어 회로(예를 들어, 로직)가 본 명세서에서 설명된 프로세스를 구현하기 위해 소프트웨어 명령 대신에 또는 소프트웨어 명령과 함께 사용될 수 있다.
비디오 인코더(250)는 H.262/동영상 전문가 그룹(MPEG)-2 코덱, H.263/MPEG-2 Part 2 코덱, H.264/MPEG-4 코덱, H.265/MPEG-H 고효율 비디오 코딩(HVEC) 코덱, 및/또는 다른 유형의 코덱과 같은, 하나 이상의 비디오 코덱에 기초하여 비디오 데이터를 압축할 수 있다.
통신 인터페이스(260)는 입력 및/또는 출력 포트, 입력 및/또는 출력 시스템, 및/또는 다른 장치로의 데이터 전송을 용이하게 하는 다른 입력 및 출력 구성 요소를 포함하는 회로 및 로직 회로를 포함한다. 예를 들어, 통신 인터페이스(260)는 유선 통신용 네트워크 인터페이스 카드(예를 들어, 이더넷 카드) 또는 무선 통신용 무선 네트워크 인터페이스(예를 들어, 롱텀 에볼루션(LTE), WiFi, 블루투스 등) 카드를 포함할 수 있다.
도 2는 다른 구현 예로 카메라(110)의 예시적인 구성 요소를 도시하고 있지만, 카메라(110)는 도 2에 도시된 것보다 적은 수의 구성 요소, 다른 구성 요소, 상이하게 배치된 구성 요소 또는 추가 구성 요소를 포함할 수 있다. 추가적으로 또는 대안적으로, 카메라(110)의 하나 이상의 구성 요소는 카메라(110)의 하나 이상의 다른 구성 요소에 의해 수행되는 것으로 기술된 기능을 수행할 수 있다. 예를 들어, 제어기(240)는 이미지 프로세서(230)에 의해 실행되는 것으로 기술된 기능을 실행하거나, 그 반대일 수 있다. 선택적으로 또는 부가적으로, 카메라(110)는 도 3과 관련하여 후술되는 컴퓨팅 모듈을 포함할 수 있다.
도 3은 일 실시예에서 컴퓨팅 모듈의 예시적인 구성 요소들을 도시하는 블럭도이다. VMS(150), 시각 추적 시스템(140) 및/또는 디스플레이 장치(130)와 같은 장치는 하나 이상의 컴퓨팅 모듈(300)을 포함할 수 있다. 도 3에 도시된 바와 같이, 컴퓨팅 모듈(300)은 버스(310), 프로세서(320), 메모리(330) 및/또는 통신 인터페이스(360)를 포함할 수 있다. 일부 실시예에서, 컴퓨팅 모듈(300)은 입력 장치(34) 및/또는 출력 장치(350)를 또한 포함할 수 있다.
버스(310)는 컴퓨팅 모듈(300)의 구성 요소나 다른 장치들 간의 통신을 허용하는 경로를 포함한다. 프로세서(320)는 명령을 해석하고 실행하는 임의 유형의 단일 코어 프로세서, 멀티 코어 프로세서, 마이크로프로세서, 래치 기반 프로세서 및/또는 프로세싱 로직(또는 프로세서, 마이크로프로세서 및/또는 프로세싱 로직의 계열)을 포함할 수 있다. 프로세서(320)는 ASIC, FPGA, 및/또는 다른 유형의 집적 회로 또는 프로세싱 로직을 포함할 수 있다. 프로세서(320)는 GPU, GPGPU, 셀, FPGA, ASIC 및/또는 다른 유형의 집적 회로 또는 프로세싱 로직과 같은 하드웨어 가속기를 포함하거나 그에 결합될 수 있다.
메모리(330)는 정보 및/또는 명령들을 저장할 수 있는 임의의 유형의 동적 저장 장치 및/또는 프로세서(320)에 의해 사용할 정보를 저장할 수 있는 임의의 유형의 비휘발성 저장 장치를 포함할 수 있다. 예를 들어, 메모리(330)는 RAM 또는 다른 유형의 동적 저장 장치, ROM 또는 다른 유형의 정적 저장 장치, 자기 또는 광학 기록 장치 및 그 대응 드라이브(예를 들어, 하드 디스크 드라이브, 광학 드라이브 등) 및/또는 플래시 메모리와 같은 착탈식 메모리 장치를 포함할 수 있다.
메모리(330)는 프로세서(320)에 의한 실행을 위한 명령을 저장할 수 있다. 소프트웨어 명령은 다른 컴퓨터 판독 가능 매체 또는 다른 장치로부터 메모리(330)로 판독될 수 있다. 소프트웨어 명령은 프로세서(320)가 본 명세서에 기술된 프로세스를 수행하게 할 수 있다. 대안으로, 하드웨어 회로(예를 들어, 로직)는 소프트웨어 명령 대신에 또는 소프트웨어 명령과 함께 사용되어 본 명세서에 기술된 프로세스들을 구현하는 데에 사용될 수 있다.
운영 체제는 컴퓨팅 모듈(300)의 하드웨어 및 소프트웨어 자원을 관리하기 위한 소프트웨어 명령을 포함한다. 예를 들어, 운영 체제는 리눅스, 윈도우즈, OS X, 안드로이드, 임베디드 운영 체제 등을 포함할 수 있다. 애플리케이션 및 애플리케이션 데이터는 특정 컴퓨팅 모듈(300)이 발견되는 장치에 따라, 네트워크 서비스를 제공하거나 애플리케이션을 포함할 수 있다.
통신 인터페이스(360)는 컴퓨팅 모듈(300)이 다른 구성 요소, 장치 및/또는 시스템과 통신할 수 있게 하는 송신기 및/또는 수신기(예를 들어, 송수신기)를 포함할 수 있다. 통신 인터페이스(360)는 무선 통신(예컨대, 무선 주파수, 적외선 등), 유선 통신(예를 들어, 도전성 와이어, 트위스트페어 케이블, 동축 케이블 통신선, 광섬유 케이블 및/또는 도파관 등), 또는 이들의 조합을 통해 통신할 수 있다. 통신 인터페이스(360)는 기저 대역 신호를 무선 주파수(RF) 신호로 또는 그 반대로 변환하는 트랜시버를 포함할 수 있으며 안테나에 연결될 수 있다.
통신 인터페이스(360)는 입력 및/또는 출력 포트, 입력 및/또는 출력 시스템, 및/또는 그 외 다른 장치로의 데이터 전송을 용이하게 하는 다른 입력 및 출력 구성 요소를 포함하는 논리 구성 요소를 포함할 수 있다. 예를 들어, 통신 인터페이스(360)는 유선 통신용 네트워크 인터페이스 카드(예를 들어, 이더넷 카드) 또는 무선 통신용 무선 네트워크 인터페이스(예를 들어, WiFi) 카드를 포함할 수 있다. 통신 인터페이스(460)는 또한 케이블을 통한 통신용 범용 직렬 버스(USB), BluetoothTM 무선 인터페이스, 무선 주파수 식별(RFID) 인터페이스, 근접 전계 통신(NFC) 무선 인터페이스 및/또는 데이터를 하나의 유형에서 다른 유형으로 변환하는 다른 유형의 인터페이스를 포함할 수 있다.
일부 구현 예에서, 컴퓨팅 모듈(300)은 또한 입력 장치(340) 및 출력 장치(350)를 포함할 수 있다. 입력 장치(340)는 사용자가 정보를 컴퓨팅 모듈(300)에 입력할 수 있게 한다. 입력 장치(370)는 키보드, 마우스, 펜, 마이크로폰, 원격 제어, 오디오 캡처 장치, 이미지 및/또는 비디오 캡처 장치, 터치스크린 디스플레이 및/또는 다른 유형의 입력 장치를 포함할 수 있다.
출력 장치(350)는 사용자에게 정보를 출력할 수 있다. 출력 장치(350)는 디스플레이, 프린터, 스피커 등을 포함할 수 있다. 입력 장치(340) 및 출력 장치(350)는 사용자가 컴퓨팅 모듈(300)에 의해 실행되는 애플리케이션과 상호 작용할 수 있게 한다. "헤드리스" 장치 (배치된 원격 카메라 등)의 경우, 입력 및 출력은 입력 장치(340) 및 출력 장치(350)보다는 주로 통신 인터페이스(360)를 통해 이루어진다.
이하 상세히 설명되는 바와 같이, 컴퓨팅 모듈(300)은 시선 영역에 기초하여 비트 레이트 조정에 관한 특정 동작을 수행할 수 있다. 컴퓨팅 모듈(300)은 메모리(300)와 같이, 컴퓨터 판독 가능 매체에 포함된 소프트웨어 명령을 실행하는 프로세서(320)에 응답하여 이들 동작을 수행할 수 있다. 컴퓨터 판독 가능 매체는 비일시적 메모리 장치로 정의될 수 있다. 메모리 장치는 단일의 물리적 메모리 장치 내에서 구현되거나 다수의 물리적 메모리 장치에 걸쳐 분산될 수 있다. 소프트웨어 명령은 다른 컴퓨터 판독 가능 매체로부터 또는 다른 장치로부터 메모리(330)에 판독될 수 있다. 메모리(330)에 포함된 소프트웨어 명령은 프로세서(320)가 본 명세서에 기재된 프로세스를 실행하게 할 수 있다. 다르게, 하드와이어 회로는 본 명세서에 기재된 프로세스를 구현하기 위해 소프트웨어 명령 대신에, 또는 이와 결합하여 이용될 수 있다. 따라서, 본 명세서에 기재된 구현은 하드웨어 회로 및 소프트웨어의 특정 조합에 제한되지 않는다.
컴퓨팅 모듈(300)은 데이터 수신, 송신 및/또는 처리를 보조하는 다른 구성 요소(미도시)를 포함할 수 있다. 또한, 컴퓨팅 모듈(300)의 구성 요소의 다른 구성도 가능하다. 다른 구현 예에서, 컴퓨팅 모듈(300)은 도 3에 도시된 것보다 적은 수의 구성 요소, 다른 구성 요소, 추가 구성 요소 또는 상이하게 배치된 구성 요소를 포함할 수 있다. 부가적으로 또는 대안적으로, 컴퓨팅 모듈(300)의 하나 이상의 구성 요소는 컴퓨팅 모듈(300)의 하나 이상의 다른 구성 요소에 의해 수행되는 것으로 기술된 하나 이상의 작업을 수행할 수 있다.
도 4는 일 실시예에서 조작자(402)가 시각 추적기(140)를 구비한 디스플레이(130)를 보고 있는 예시의 환경을 도시한다. 디스플레이(130)는 조작자(402)에게 정보를 보여주기 위한 임의의 유형의 디스플레이를 포함할 수 있다. 조작자(402)는 디스플레이(130)를 보고, 모니터링 스테이션(125)에서 실행되는 애플리케이션을 통해 VMS(150)와 상호 작용할 수 있다. 예를 들어, 조작자(402)는 영역(106)의 비디오를 볼 수 있다.
시각 추적기(140)는 모니터링 스테이션(125)으로 하여금 조작자(402)의 눈이 어디에 집중하고 있는지를 결정할 수 있게 하는 센서(예를 들어, 카메라)를 포함한다. 도 4에서, 예를 들어, 조작자(402)는 디스플레이(130) 앞에 앉아 있고 시각 추적기(140)의 센서는 조작자(402)의 눈을 감지한다. 예를 들어, 시각 추적기(140)는 시선 포인트(410)를 결정하고, 시선 포인트는 디스플레이(130)상의 위치로서(예를 들어, 픽셀 값) 나타낼 수 있다. 조작자와 디스플레이(130)의 상대적 위치에 기초하여, 조작자(402)의 중심 시야에 대응하는 중심 시야 영역(420)(또는 "영역(420)")이 추정될 수 있다. 중심 시야는 눈의 상세한 시각적 인식에 해당하며 1-2도 정도이다. 따라서, 디스플레이(130)상의 영역(420)은 완전한 시력을 가진 조작자(402)의 시야의 일부에 대응하는 것으로 연산되며 이해될 수 있다.
대안적인 실시예에서, 중심 시야 영역(420)은 특정 조작자(402)에 대한 설정 과정 중에 실험적으로 결정될 수 있다. 영역(420)은 조작자(402)의 주변 시야에 대응하는 중심 시야 영역(420) 외부의 주변 시야 영역(430)에 대비된다. 시선 포인트(410)는 대략 영역(420)의 중심에 있고 시선 포인트(410)로부터 조작자(402)의 눈에 이르는 시선에 대응한다. 일 실시예에서, 시선 포인트(410)를 식별하는 정보는 비디오 관리 시스템(150)에 전송될 수 있다.
도 5a는 조작자(402)의 관점에서 본 디스플레이(130)를 도시한다. 도 5a에서 도시된 바와 같이, 디스플레이(130)는 시선 포인트(410), 중심 시야 영역(420) 및 주변 시야 영역(430)을 포함한다. 디스플레이(130)는 또한 비디오 스트림이 조작자(402)에게 제공되는 비디오 프레임(520)을 포함한다. 이 예에서, 프레임(520)은 움직이고 있는 것으로 보이는 개인과 문을 포함하고 있는 상황인, 영역(106-1)의 카메라(110-1)로부터의 비디오 스트림을 나타낸다. 조작자(402)의 중심 시야 영역(420)은 개인을 둘러싸고, 시선 포인트(410)는 바로 개인의 얼굴 위에 있다. 한편, 프레임(520)에 디스플레이된 문은 조작자(402)의 주변 시야 영역(430)에 나타난다.
일부 구현 예에서, 조작자의 시선 영역은 중심 시야 영역(420)에 대응하는 것으로 지정될 수 있다. 다른 구현 예에서, 조작자의 시선은 시선 포인트(410) 및 중심 시야 영역(420)에 기초하여 다른 영역에 대응하는 것으로 지정될 수 있다. 일 예로, 조작자의 시선 영역은 시선 포인트(410)의 크기와 중심 시야 영역(420) 사이 어느 크기로 지정될 수 있다. 다른 예로, 조작자의 시선 영역은 중심 시야 영역(420)보다 더 큰 영역으로 지정되거나 이 영역(420)에 집중될 수 있다.
지정된 시선 영역에 기초하여, 상이한 동작이 트리거되므로 시각 추적기(140)에 의해 생성된 정보가 비디오 관리 시스템에 대한 사용자 입력으로 해석될 수 있다. 예를 들어, 시각 추적기(140-1)가 조작자(402)가 카메라(110-1)로부터의 비디오 스트림을 나타내는 프레임(520-1)을 보고 있다고 결정하면, 스테이션(125-1), VMS(150), 및/또는 카메라(110-1)는 조작자의 시선 영역의 외부인 프레임(520)의 영역과 연관되는 비디오 스트림의 영역에 대한 비트 레이트를 감소시킬 수 있다.
도 5b는 또한 조작자(402)의 관점에서 본 디스플레이(130)를 도시한다. 그러나, 도 5a와 비교하여, 도 5b의 디스플레이(130)는 수많은 프레임들(520-1 내지 520-N)(개별적으로 "프레임(520-x)", 복수로는 "프레임들(520)")을 보이고 있다. 각각의 프레임(520-1 내지 520-N)은 조작자(402)가 하나 이상의 영역을 모니터링할 수 있도록 상이한 비디오 스트림을 제공할 수 있다. 상이한 스트림은 상이한 카메라(110-1 내지 110-M)에 의해 생성될 수 있다. 선택적으로 또는 추가적으로, 각각의 프레임(520-1 내지 520-N)은 공통 카메라(110-x)에 의해 생성된 상이한 스트림을 디스플레이할 수 있다. 예를 들어, 카메라(110-x)는 "어안(fisheye)" 렌즈를 사용하여 확장된 각도 영역으로부터 비디오를 캡처할 수 있다. 비디오는 어안 렌즈에 의해 도입된 왜곡을 감소시키고 확장된 각도 영역을 프레임들(520-1 내지 520-N)에 개별적으로 제공될 수 있는 상이한 영역에 대응하는 개별적인 비디오 스트림으로 분리하도록 처리될 수 있다. 도 5a에서와 같이, 도 5b의 디스플레이(130)는 시선 포인트(410), 중심 시야 영역(420) 및 주변 시야 영역(430)을 포함한다.
이 예에서, 프레임(520-1)은 영역(106-1)의 카메라(110-1)로부터의 비디오 스트림을 보여줄 수 있고; 비디오 프레임(520-2)은 영역(106-2)(도시 생략)의 카메라(110-2)로부터의 비디오 스트림을 보여줄 수 있는 등이다. 도 5b의 조작자(402)의 중심 시야 영역(420)은 대다수 프레임(520-1)을 포함하고 시선 포인트(410)는 개인의 얼굴에 가깝다. 프레임(520)에 디스플레이된 문은 또한 중심 시야 영역(420)에 있다. 한편, 다른 프레임(520-2 내지 520-N)은 조작자(402)의 주변 시야 영역(430)에 있다. 시선 포인트(410) 및/또는 중심 시야 영역(420)의 위치는 다른 프레임들(520)과는 다른 후속 프로세싱을 위해 특정 프레임(520-x)을 선택 및/또는 지정하는데 사용될 수 있다. 예를 들어, 도 5b에 도시된 바와 같이, 시선 포인트(410)는 프레임(520-1)이 조작자에게 관심 프레임이라는 것을 지시하기 위해 사용될 수 있다. 따라서, 비디오 모니터링 시스템은 프레임(520-1)에 비디오 스트림의 제공을 개선하기 위해 프레임(520-1)에 더 많은 자원(예를 들어, 대역폭 및/또는 프로세싱 자원)을 할당하고, (예를 들어, 주변 시야에서) 조작자의 초점이 아닌 프레임에 대응하는 다른 스트림에 할당되는 자원을 줄일 수 있다.
도 6은 카메라(110), 디스플레이(130) 및 VMS(150)의 기능적 구성 요소들을도시한다. 카메라(110)의 기능적 구성 요소들은, 예를 들어 메모리(245)에 저장된 명령들을 실행하는 제어기(240)를 통해 구현될 수 있다. 카메라(110)에 포함된 기능적 구성 요소의 일부나 전부는 하드와이어 회로를 통해 구현될 수 있다. 디스플레이(130) 및/또는 VMS(150)의 기능적 구성 요소들은 예를 들어, 메모리(330)에 저장된 명령들을 실행하는 프로세서(320)를 통해 구현될 수 있다. 다르게, 디스플레이(130) 및/또는 VMS(150)에 포함된 기능적 구성 요소들 일부나 전부는 하드와이어 회로를 통해 구현될 수 있다.
도 6에 도시된 바와 같이, 카메라(110)는 센서 어레이 관리자(610), 이미지 프로세서(620), 인코더(630) 및 클라이언트 인터페이스(640)를 포함할 수 있고; 모니터링 스테이션(125)은 디코더(650) 및 디스플레이 인터페이스(660)를 포함할 수 있으며; VMS(150)는 시각 추적기 인터페이스(670), 자원 관리자(680), 카메라 데이터베이스(DB)(685) 및 카메라 인터페이스(690)를 포함할 수 있다.
카메라(110)로부터의 비디오 스트림은 디스플레이(130)에 대한 다음 처리 경로를 따를 수 있다. 센서 어레이 관리자(610)는 센서 어레이(220)가 비디오 스트림에 대한 이미지 세트를 캡처하도록 지시한다. 이미지 프로세서(620)는 노이즈 감소 동작들 및/또는 스케일링 동작들과 같은 캡처된 이미지들에 대한 이미지 프로세싱을 수행할 수 있다. 인코더(630)는 예를 들어, MPEG-4와 같은 코덱을 사용하여 이미지를 압축할 수 있다. 클라이언트 인터페이스(640)는 인코딩된 이미지를 예를 들어, MPEG-4 파트 14(MP4)와 같은 컨테이너로 압축하고 디스플레이(130)에 디스플레이하기 위해 상기 압축된 인코딩된 이미지를 네트워크(120)를 통해 데이터 유닛을 거쳐 모니터링 스테이션(125)으로 전송할 수 있다. 디코더(650)는 컨테이너로부터 인코딩된 이미지를 검색하고, 이 이미지를 디코딩할 수 있으며, 디코딩된 이미지를 디스플레이 인터페이스(660)에 제공할 수 있다. 디스플레이 인터페이스(660)는 이 디코딩된 이미지를 버퍼에 저장할 수 있고 디코딩된 이미지를 버퍼로부터 디스플레이(130)상의 비디오 스트림으로서 스트리밍할 수 있다.
자원 관리자(680)는 환경(100)과 연관된 자원을 관리할 수 있다. 예를 들어, 자원 관리자(680)는 네트워크(120)를 통해 카메라(110)로부터 모니터링 스테이션(125) 및 연관된 디스플레이(130)로의 데이터 전송과 연관되는 네트워크 자원, 및/또는 카메라(110), 모니터링 스테이션(125) 및/또는 디스플레이(130)와 연관된 프로세서 및 메모리 자원을 관리할 수 있다. 자원 관리자(680)는 조작자의 시선 영역의 외부에 있는 비디오 스트림의 영역에 대해 카메라(110)로부터 디스플레이(130)로의 비디오 스트림과 관련된 비트 레이트를 감소시키도록 카메라(110)에 명령할 수 있다. 시각 추적기 인터페이스(670)는 시각 추적기(140)와 통신하도록 구성된다. 예를 들어, 시각 추적기 인터페이스(670)는 시각 추적기(140)와 연관된 특정 애플리케이션 프로그래밍 인터페이스(API)를 사용하여 시각 추적기(140)로부터의 특정 비디오 스트림과 연관된 시선 영역을 식별하는 정보를 획득할 수 있다.
자원 관리자(680)는 시각 추적기 인터페이스(670)를 통해 시각 추적기(140)로부터 시선 영역 정보를 수집하고, 카메라 DB(685)에 저장된 정보에 기초하여 하나 이상의 비트 레이트 감소 인자를 결정할 수 있으며, 비디오 스트림의 하나 이상의 영역들에 하나 이상의 비트 레이트 감소 인자들을 적용하도록 하나 이상의 카메라(110)에 명령할 수 있다. 카메라 DB(685)는 특정 카메라(110)에 관한 정보를 저장할 수 있다. 카메라 DB(685)에 저장될 수 있는 예시의 정보는 도 7을 참조하여 이하에서 설명된다. 카메라 인터페이스(690)는 카메라(110)와 통신하도록 구성될 수 있으며, 카메라(110)와 관련된 특정 API를 통해 자원 관리자(680)로부터 명령을 전송할 수 있다.
센서 어레이 관리자(610)는 하나 이상의 센서 어레이 파라미터를 저장, 관리 및/또는 적용할 수 있다. 예를 들어, 센서 어레이 관리자(610)는 센서 어레이(220) 내의 특정 센서가 턴온 또는 턴오프되어야 하는지, 특정 센서에 대한 샘플링 레이트, 특정 센서에 대한 감도 인자, 및/또는 다른 유형의 센서 파라미터를 통제하는 파라미터를 저장할 수 있다. 또한, 센서 어레이 관리자(610)는 센서 어레이(220)에 의해 캡처된 이미지의 유형을 결정하기 위해 센서 어레이(220)에 대한 하나 이상의 설정을 저장할 수 있다. 예를 들어, 제1 설정은 정규 이미지에 대응할 수 있고, 제2 설정은 광각 또는 파노라마 이미지에 대응하고, 제3 설정은 낮은 광 설정에 대응하는 등이다. 센서 어레이 관리자(610)는 VMS(150)에 의해 결정된 시선 영역 정보에 기초하여 센서 어레이(220)의 영역에서 비트 레이트를 조정하기 위해 저장된 파라미터들 중 하나 이상을 조정하라는 명령을 VMS(150)로부터 수신할 수 있다.
이미지 프로세서(620)는 하나 이상의 이미지 프로세싱 파라미터를 저장, 관리 및/또는 적용할 수 있다. 예를 들어, 이미지 프로세서(620)는 저역 통과 필터와 같은 노이즈 감소 프로세스에 관한 파라미터, 스케일링 프로세스와 관련된 파라미터, 및/또는 비디오 스트림의 영역과 연관된 비트 레이트를 변경하기 위해 이용될 수 있는 다른 유형의 이미지 프로세싱 파라미터를 저장할 수 있다. 이미지 프로세서(620)는 VMS(150)에 의해 결정된 시선 영역 정보에 기초하여 비디오 스트림의 영역에서 비트 레이트를 조정하기 위해 저장된 파라미터 중 하나 이상을 조정하라는 명령을 VMS(150)로부터 수신할 수 있다.
인코더(630)는 인트라프레임 인코딩 파라미터 및 인터프레임 인코딩 파라미터를 포함하여 하나 이상의 인코딩 파라미터를 저장, 관리 및/또는 적용할 수 있다. 예를 들어, 인코더(630)는 비디오 스트림의 특정 영역 및/또는 객체에 대한 양자화 파라미터(QP)를 저장할 수 있고, 이산 코사인 변환(DCT)에 대한 계수의 세트, 예측 오차 파라미터의 평균 절대 차(MAD), 및/또는 다른 인코딩 파라미터들을 저장할 수 있다. 인코더(630)는 VMS(150)에 의해 결정된 시선 영역 정보에 기초하여 비디오 스트림의 영역에서의 비트 레이트를 조정하기 위해 저장된 인코딩 파라미터 중 하나 이상을 조정하라는 명령을 VMS(150)로부터 수신할 수 있다.
클라이언트 인터페이스(640)는 하나 이상의 이미지 전송 파라미터를 저장, 관리 및/또는 적용할 수 있다. 예를 들어, 클라이언트 인터페이스(640)는 서비스 품질(QoS) 파라미터를 저장할 수 있다. 클라이언트 인터페이스(640)는 VMS(150)에 의해 결정된 시선 영역 정보에 기초하여 비디오 스트림의 영역에서 비트 레이트를 조정하기 위해 저장된 인코딩 파라미터 중 하나 이상을 조정하라는 명령을 VMS(150)로부터 수신할 수 있다.
클라이언트 인터페이스(640)는 하나 이상의 이미지 전송 파라미터를 저장, 관리 및/또는 적용할 수 있다. 예를 들어, 클라이언트 인터페이스(640)는 서비스 품질(QoS) 파라미터를 저장할 수 있다. 클라이언트 인터페이스(640)는 VMS(150)에 의해 결정된 시선 영역 정보에 기초하여 비디오 스트림의 영역에서 비트 레이트를 조정하기 위해 저장된 인코딩 파라미터 중 하나 이상을 조정하기 위해 VMS(150)로부터 명령을 수신할 수 있다.
도 6은 카메라(110), 디스플레이(130), 및 VMS(150)의 예시의 기능적 구성 요소들을 도시하지만, 다른 구현 예에서, 카메라(110), 디스플레이(130) 또는 VMS(150)는 도 6에 도시된 것보다 더 적은 기능적 구성 요소, 상이한 기능적 구성 요소, 다르게 배열된 기능적 구성 요소, 또는 추가의 기능적 구성 요소를 포함할 수 있다. 부가하여, 카메라(110), 디스플레이(130), 및 VMS(150)의 구성 요소 중 임의의 하나(또는 임의의 그룹의 구성 요소)는 카메라(110), 디스플레이(130), 및 VMS(150)의 하나 이상의 다른 기능적 구성 요소들에 의해 수행되는 것으로 기술된 기능을 수행할 수 있다.
도 7은 도 6의 카메라 데이터베이스의 예시의 구성 요소의 도면이다. 도 7에 도시된 바와 같이, 카메라 DB(685)는 하나 이상의 카메라 레코드(701)를 저장할 수 있다. 각각의 카메라 레코드(701)는 특정 카메라(110)에 관한 정보를 저장할 수 있다. 카메라 레코드(701)는 카메라 식별자(ID) 필드(710), 시선 영역 필드(720), 그라디언트 필드(730) 및 비트 레이트 감소 필드(740)를 포함할 수 있다.
카메라 ID 필드(710)는 특정 카메라(110)와 연관된 하나 이상의 ID를 저장할 수 있다. 예를 들어, 카메라 ID는 특정 카메라(110)에 대한 매체 접근 제어 (Media Access Control; MAC) 어드레스, 특정 카메라(110)에 대한 인터넷 프로토콜 (IP) 어드레스, VMS(150)에 의해 특정 카메라(110)에 할당된 이름, 및/또는 다른 유형의 ID를 포함할 수 있다. 또한, 카메라 ID 필드(710)는 특정 카메라(110)의 제조 및 모델 정보 및/또는 특정 카메라(110) 상에 설치된 소프트웨어 버전을 저장할 수 있다. 또한, 카메라 ID 필드(710)는 VMS(150)가 특정 카메라(110)에 보안 접속할 수 있게 하는 특정 카메라(110)에 대한 인증 정보를 포함할 수 있다.
시선 영역 필드(720)는 특정 카메라(110)에 대해 현재 또는 가장 최근에 식별된 시선 영역을 식별하는 정보를 포함할 수 있다. 예를 들어, 시선 영역 필드(720)는 시선 포인트(410), 중심 시야 영역(420), 및/또는 다른 지정된 시선 영역을 식별할 수 있다. 더욱, 시선 영역 필드(720)는 특정 카메라(110)와 연관된 비디오 스트림에 대한 시선 영역과 연관된 이력 정보를 포함할 수 있다. 이력 시선 영역 정보는 예를 들어, 특정 카메라(110)와 연관된 비디오 스트림에 대한 시선 궤도를 예측하는 데에 사용될 수 있다.
그라디언트 필드(730)는 특정 카메라(110)와 관련된 비트 레이트 감소 인자 그라디언트를 식별하는 정보를 저장할 수 있다. 예를 들어, 그라디언트 필드(730)는 가능한 그라디언트 세트를 저장할 수 있고, 가능한 그라디언트 세트로부터 선택또는 활성인 그라디언트를 식별하는 식별자를 저장할 수 있다. 그라디언트는 시선 영역의 에지로부터 시선 영역의 에지에서부터 설정 거리까지의 제1 영역에 대한 제1 비트 레이트 감소 인자와, 설정 거리로부터 디스플레이이의 에지까지의 제2 영역에 대한, 제1 비트 레이트 감소 인자보다 더 큰 제2 비트 레이트 감소 인자와 같은 하나 이상의 비트 레이트 감소 인자로 정의될 수 있다. 다른 예로서, 그라디언트는 시선 영역의 에지에서 디스플레이의 에지로 선형적으로 감소하는 비트 레이트 감소 인자를 정의할 수 있다. 또 다른 예로서, 그라디언트는 비선형적으로 감소하는 비트 레이트 감소 인자(예를 들어, 지수적으로 감소하는 비트 레이트 감소 인자, 로그적으로 감소하는 비트 레이트 감소 인자 등)를 정의할 수 있다.
또한, 그라디언트 필드(730)는 비트 레이트를 조정하기 위한 추가 명령 및/또는 사양을 포함할 수 있다. 예를 들어, 그라디언트 필드(730)는, 시선 영역이 디스플레이 외부에 있는 경우 전체 비디오 스트림에 대해 비트 레이트가 감소되어야한다고 특정할 수 있다. 다른 예로서, 그라디언트를 생성하는 단계는 시선 영역 내의 비디오 스트림의 비트 레이트를 증가시키도록 카메라에 명령하는 단계를 포함할 수 있다. 또 다른 예로서, 시선 궤도가 시선 영역이 감소된 비트 레이트의 영역으로 이동하고 있다고 지시하는 경우, 그라디언트 필드(730)는 이 감소된 비트 레이트의 영역에서 비트 레이트를 증가시킬 것을 특정할 수 있다.
비트 레이트 감소 필드(740)는 특정 상황에서 적용될 하나 이상의 비트 레이트 감소 인자를 식별할 수 있다. 또한, 비트 레이트 감소 필드(740)는 특정 카메라(110)와 관련된 비디오 스트림에 현재 적용되고 있는 하나 이상의 비트 레이트 감소 인자를 식별할 수 있다. 예를 들어, 비트 레이트 감소 필드(740)는 하나 이상의 센서 어레이 관리자(610) 파라미터, 하나 이상의 이미지 프로세서 파라미터(620), 하나 이상의 인코더 파라미터, 및/또는 하나 이상의 클라이언트 인터페이스 파라미터(640)를 식별할 수 있다. 인코더 파라미터는 비트 레이트를 달성하도록 조정될 수 있는 상이한 표준 인코딩 프로파일을 포함할 수 있다. 예를 들어 H.264 비디오 인코딩 표준을 사용하는 경우, 선택가능한 인코딩 프로파일은 베이스라인(Baseline), 확장(Extended), 메인(Main), 하이(High), 하이 10, 하이 4:2:2, 및 하이4:4:4 프리딕티브(Predictive)를 포함한다. 부가적으로 또는 대안적으로, 낮은 레벨 인코딩 파라미터는 비트 레이트를 더 조정하도록 조정될 수 있다. 예를 들어, MPEG 인코딩 표준의 경우, 양자화 스케일링 행렬을 선택하여 인코딩된 인트라프레임에 대한 비트 레이트를 감소시키기 위해 양자화를 증가시킬 수 있다. 또한, 변경 임계 레벨은 인코딩된 인터프레임에 대한 압축률을 변경하도록 조정될 수 있다. 예를 들어, P-프레임 및/또는 B-프레임을 인코딩할 때 움직임에 대한 임계치가 높아지고, 따라서 변경이 덜 인코딩되어 인코딩된 비디오 스트림에 대한 비트 레이트를 낮추게 된다.
도 8은 본 명세서에서 설명된 구현에 따라 시선 영역에 기초하여 비트 레이트를 제어하기 위한 프로세스의 흐름도이다. 일 구현 예에서, 도 8의 프로세스는 VMS(150)에 의해 수행될 수 있다. 다른 구현 예에서, 도 8의 프로세스의 일부 또는 전부는 카메라(110) 및/또는 모니터링 스테이션(125)과 같이, VMS(150)와 별도의 다른 장치 및/또는 이를 포함하는 장치 그룹에 의해 수행될 수 있다.
도 8의 프로세스는 카메라로부터 비디오 스트림을 수신하는 단계(블럭(810)) 및 디스플레이상에 비디오 스트림을 디스플레이하는 단계(블럭(820))를 포함할 수 있다. 예를 들어, 조작자는 모니터링 스테이션(125) 및/또는 디스플레이(130)와 연관된 컴퓨터 장치에 로그인할 수 있고 하나 이상의 카메라(110)를 구성하기 위해 VMS(150)에 로그인할 수 있다. VMS(150)는 디스플레이(130)에 모니터링된 영역(106)의 비디오 스트림을 제공하도록 카메라(110)를 구성할 수 있고 디스플레이(130)는 카메라(110)로부터 계속 비디오 스트림 데이터를 수신하고 비디오 스트림 데이터를 디스플레이할 수 있다.
시선 영역을 식별하는 정보는 디스플레이를 보고 있는 사용자 및/또는 조작자에 대해 획득될 수 있다(블럭 830). 예를 들어, 시각 추적기(140)는 시선 포인트(410) 및/또는 중심 시야 영역(420)을 결정하고 결정된 시선 포인트(410) 및/또는 중심 시야 영역(420)에 기초하여 시선 영역을 결정하기 위해 사용자의 눈을 모니터링할 수 있다. 이 결정된 시선 영역을 식별하는 정보는 VMS(150)의 자원 관리자(680)에 제공될 수 있다. 대안적으로, 시각 추적기(140)로부터의 미가공 데이터는 VMS(150)에 제공될 수 있고, VMS(150)는 미가공 데이터에 기초하여 시선 영역을 결정할 수 있다.
시선 영역으로부터 디스플레이의 에지까지의 그라디언트가 생성될 수 있다(블럭(840)). 예를 들어, 자원 관리자(680)는 카메라(110)와 관련된 비디오 스트림에 대한 그라디언트를 생성할 수 있다. 그라디언트 필드(730)로부터의 특정 그라디언트는 하나 이상의 파라미터에 기초하여 선택될 수 있다. 예를 들어, 보다 보수적인 그라디언트 (예를 들어, 시선 영역의 에지에서 디스플레이의 에지로 선형적으로 감소하는 비트 레이트 감소 인자)은 네트워크 부하가 낮은 시간 동안 선택될 수 있으며 보다 엄격한 그라디언트(예를 들어, 시선 영역 외부의 모든 영역에 비트 레이트 감소 인자를 적용함)는 네트워크 부하가 높은 시간 동안 선택될 수 있다. 다른 예로서, 특정 카메라(110)에는 중요도 등급이 할당될 수 있고, 더 높은 중요도 등급과 연관된 제1 카메라(110)는 더 낮은 중요도 등급과 연관된 제2 카메라(110)보다 더 보수적인 그라디언트가 할당될 수 있다. 또 다른 예로서, 상이한 사용자 및/또는 모니터링 스테이션(125)에 중요도 등급이 할당될 수 있고, 그라디언트는 할당된 중요도 등급에 기초하여 선택될 수 있다.
생성된 그라디언트에 기초하여 시선 영역 외부의 비디오 스트림의 비트 레이트를 감소시키도록 카메라에 명령할 수 있다(블럭 850). 예를 들어, VMS(150)는 특정 카메라(110)에 대한 비트 레이트 감소 필드(740)로부터 하나 이상의 비트 레이트 감소 인자, 예컨대 센서 어레이 비트 레이트 감소 인자, 이미지 처리 비트 레이트 감소 인자, 인코딩 비트 레이트 감소 인자, 및/또는 이미지 송신 비트 레이트 감소 인자를 선택할 수 있다. 예를 들어, VMS(150)는 비디오 스트림의 영역과 연관된 센서 어레이(220) 내의 센서의 서브세트의 샘플링 레이트를 조정하여, 비디오 스트림의 영역을 다운 샘플링하고(예를 들어, 해상도를 낮추고), 비디오 스트림의 영역에서 노이즈 감소 프로세스를 증가시키고, 인코딩 압축 파라미터를 증가시키고, 및/또는 비디오 스트림의 영역에서 감소된 비트 레이트를 초래할 수 있는 또 다른 파라미터를 조정할 수 있다.
특정 비트 레이트 감소 인자는 하나 이상의 파라미터들에 기초하여 선택될 수 있다. 예로서, 비트 레이트 감소 인자는 비디오 스트림과 연관된 특정 카메라(110)의 제조사 및 모델에 기초하여 선택될 수 있다. 다른 예로서, 비트 레이트 감소 인자는 예측된 비트 레이트 감소에 기초하여 (예를 들어, 특정 카메라(110)에 대한 이력 데이터에 기초하여) 선택될 수 있고, 가장 높게 예측된 비트 레이트 감소와 관련된 비트 레이트 감소 인자가 선택될 수 있다. 또 다른 예로서, 비트 레이트 감소 인자는 사용자에 의해 선택된 수동 설정에 기초하여 선택될 수 있다. 다른 예에서, 비트 레이트 감소는 장면 및/또는 검출된 객체의 콘텐츠와 관련될 수 있다.
도 9a-9c는 본 명세서에 기술된 하나 이상의 구현 예에 따른 예시적인 비트 레이트 감소 시나리오의 도면이다. 도 9a는 디스플레이(130)상에서의 제1 예시의 비트 레이트 감소 시나리오(901)를 도시한다. 도 9a에 도시한 바와 같이, 중심 시야 영역(420)으로 지정된 시선 영역은 디스플레이(130)의 하부 우측 코너에 놓여 있다. 그라디언트는 제1 비트 감소 영역(910) 및 제2 비트 감소 영역(920)으로 설정될 수 있다. 제1 비트 감소 영역(910)은 중심 시야 영역(420)의 에지로부터 설정 거리까지 연장한 것으로 정의될 수 있다. 설정 거리는 예를 들어, 움직임을 검출할 가능성이 큰 주변 시야 영역에 기초하여 결정될 수 있다. 다른 예로서, 설정 거리는 중심 시야 영역(420)의 에지로부터 디스플레이(130)의 에지까지의 거리의 백분율에 대응할 수 있다(예를 들어, 에지까지 거리의 30%, 에지까지 거리의 50% 등). 제2 비트 감소 영역(920)은 설정 거리로부터 디스플레이(130)의 에지 쪽으로 더 연장된 것으로 정의될 수 있다.
제1 비트 감소 영역(910)은 제1 비트 레이트 감소 인자와 연관될 수 있고 제2 비트 감소 영역(920)은 제1 비트 레이트 감소 인자보다 높은 제2 비트 레이트 감소 인자와 연관될 수 있다. 따라서, 제2 비트 감소 영역(920)은 낮은 비트 레이트에서 낮은 품질 비디오 스트림을 제공할 수 있고, 제1 비트 감소 영역(910)은 높은 품질 및 비트 레이트로 비디오 스트림을 제공할 수 있으며, 비트 레이트가 명목상의 비디오 압축률에서 감소하지 않았던 중심 시야 영역(420)은 높은 품질의 비디오 스트림을 제공할 수 있다. 일부 구현 예에서, (예를 들어, 압축 값을 낮춤으로써, 노이즈 감소를 감소시킴으로써, 센서의 서브세트의 샘플링 속도를 증가시킴으로써) 중심 시야 영역(420) 내부의 비트 레이트를 증가시킬 수 있다.
도 9b는 디스플레이(130)상에서의 제2 예시의 비트 레이트 감소 시나리오(902)를 도시한다. 도 9a에 도시된 바와 같이, 중심 시야 영역(420)으로 지정된 시선 영역은 다시 디스플레이(130)의 하부 우측 코너에 존재한다. 중심 시야 영역(420)에서 디스플레이(130)의 에지로 선형적으로 증가하는 비트 레이트 감소 인자를 포함하는 그라디언트가 설정될 수 있다. 영역(930, 932, 934, 936, 938, 940 및 942)은 점차 비트 레이트 감소 인자는 증가하고 이에 따라 비트 레이트 및 비디오 품질은 감소할 수 있다.
도 9c는 디스플레이(130)상에서의 제3 예시적인 비트 레이트 감소 시나리오(903)를 도시한다. 시나리오(903)에서, 중심 시야 영역(420) 외부의 영역(950)에 대한 비트 레이트는 고 비트 레이트 감소 인자를 사용하여 감소된다. 비트 레이트가 감소된 후에, 이전 시선 영역(970)으로부터 현재 시선 영역(980)으로의 궤도(960)가 설정됨에 따라 시선 영역이 변경되기 시작한다. 궤도(960)는 시선 영역의 장래 궤도를 영역(990)에 대응하는 것으로 예측하기 위해 사용될 수 있다. 이에 응답하여, 영역(990)의 비트 레이트 감소는 이 감소된 비트 레이트를 시선 영역과 연관된 높은 비트 레이트로 다시 증가시킴으로써 제거될 수 있다. 따라서, 사용자의 시선이 영역(990)에 있다고 예상될 수 있고, 비트 레이트는 사용자의 시선이 영역(990)에 도달하기 전에 영역(990)에서 증가될 수 있다. 이것을 조작자의 시선이 영역(990)에 들어갈 때와 사용자가 영역(990)에서 높은 품질의 비디오 스트림을 볼 수 있을 때 사이의 지연 시간 또는 레이턴시를 방지할 수 있다. 궤도는 시선 영역(970)의 이전 궤도를 저장하는 추적 알고리즘을 사용하여 예측될 수 있고 시선 영역(970)의 이동의 미래의 변경을 예상하기 위해 통계적 기술을 사용할 수 있다. 일 실시예에서, 비디오 스트림 내의 인식된 객체들 간의 상관 관계는 시선 영역(990)의 예상된 움직임의 결정에 영향을 미칠 수 있다. 예를 들어, 관심 객체는 사용자의 주목을 끌 것으로 예상될 수 있으므로, 관심 객체의 출현 및/또는 관심 객체의 궤도가 시선 영역(970)의 예측된 궤도의 계산에 영향을 미칠 수 있다.
본 출원은 본 특허 출원과 같은 날짜에 출원된 다음의 특허 출원을 본 명세서에서 참고로 인용한다: 2016년 12월 30일자로 "시선 히트 맵(Gaze Heat Map)"이라는 발명의 명칭으로 제출된 미국 특허 출원 번호 제 15/395,893 호 (대리인 문서 번호 P160085/US(0090-0018)); 2016년 12월 30일자로 "비디오 관리 시스템의 시선에 기반한 알람 마스킹"이라는 발명의 명칭으로 제출된 미국 특허 출원 번호 제15/395,403호(대리인 관리 번호 P160191(0090-0023)); 및 2016년 12월 30일자로 "시선에 기초한 블럭 레벨 프레임 속도 제어"라는 발명의 명칭으로 제출된 미국 특허 출원 번호 제 15/395,790호 (대리인 관리 번호 P160193(0090-0024)).
전술한 명세서에서, 다양한 바람직한 실시예가 첨부 도면을 참조하여 설명되었다. 그러나 첨부된 청구 범위에 설명된 본 발명의 보다 넓은 범위를 벗어나지 않으면서 다양한 변형 및 변경이 이루어질 수 있으며, 추가 실시예가 구현될 수 있음이 명백할 것이다. 따라서, 명세서 및 도면은 제한적인 의미가 아니라 예시적인 의미로 간주되어야 한다.
예를 들어, 일련의 블럭들이 도 8과 관련하여 설명되었지만, 블럭들의 순서는 다른 구현 예에서 수정될 수 있다. 또한, 비의존적 블럭들 및/또는 신호 흐름들이 병렬로 수행될 수 있다.
전술한 시스템 및/또는 방법은 도면에 도시된 구현 예에서 소프트웨어, 펌웨어 및 하드웨어의 많은 다른 형태로 구현될 수 있음이 명백할 것이다. 이러한 시스템 및 방법을 구현하는데 사용되는 실제 소프트웨어 코드 또는 특수 제어 하드웨어는 실시예를 제한하지 않는다. 따라서, 시스템 및 방법의 운영 및 동작은 특정 소프트웨어 코드를 참조하지 않고 설명되었으므로 소프트웨어 및 제어 하드웨어는 본 명세서의 설명에 기초하여 시스템 및 방법을 구현하도록 설계될 수 있는 것으로 이해된다.
또한, 상술한 특정 부분은 하나 이상의 기능을 수행하는 구성 요소로서 구현될 수 있다. 본 명세서에서 사용되는 구성 요소는 프로세서, ASIC, 또는 FPGA와 같은 하드웨어, 또는 하드웨어와 소프트웨어의 조합(예를 들어, 소프트웨어를 실행하는 프로세서)을 포함할 수 있다. 본 명세서에서 사용된 "예시적인"이라는 단어는 "설명을 위한 예시로서"를 의미한다.
본 명세서에서 사용되는 용어 "포함한다" 및 "포함하는"은 언급된 특징, 정수, 단계 또는 구성 요소의 존재를 명시하는 것으로 간주되지만 하나 이상의 다른 특징, 정수, 단계, 구성 요소 또는 이들 그룹의 존재 또는 추가를 배제하지 않는다.
본 명세서에서 사용되는 "로직"이라는 용어는 하나 이상의 메모리 장치에 저장된 명령어를 실행하도록 구성된 하나 이상의 프로세서의 조합을 지칭할 수 있고, 하드 와이어드 회로를 지칭할 수 있으며, 및/또는 이들의 조합을 지칭할 수 있다 . 또한, 로직은 단일 디바이스에 포함될 수 있거나 또는 복수의, 가능하면 원격의 장치에 분산될 수 있다.
본 발명을 기술하고 정의하기 위해, "실질적으로"라는 용어는 임의의 정량적 비교, 값, 측정 또는 다른 표현에 기인할 수 있는 고유한 불확실성의 정도를 나타내기 위해 본원에서 사용된다. "실질적으로"라는 용어는 본 명세서에서 문제의 주제의 기본 기능을 변화시키지 않으면서 정량적 표현이 명시된 기준과 다를 수 있는 정도를 나타내기 위해 사용된다.
본 출원에서 사용된 어떠한 요소, 동작 또는 명령도 명시적으로 기술되지 않는 한 실시예에 대해 결정적이거나 필수적인 것으로 해석되어서는 안된다. 또한, 본 명세서에서 사용되는 바와 같이, 단수로 기재한 항목은 하나 이상의 항목을 포함하는 것으로 의도된다. 또한, "~에 기초한"이라는 문구는 명시적으로 다르게 언급되지 않는 한, "적어도 부분적으로 기초하여"를 의미하는 것으로 의도된다.

Claims (20)

  1. 하나 이상의 컴퓨터 장치에 의해 수행되는 방법에 있어서,
    카메라로부터 비디오 스트림을 수신하는 단계;
    상기 비디오 스트림을 디스플레이상에 디스플레이하는 단계;
    시각 추적 센서를 통해, 상기 디스플레이를 보고 있는 사용자에 대한 시선 영역을 식별하는 정보를 획득하는 단계;
    시선 영역 외부의 다수의 영역에 대한 다수의 다른 비트 레이트 감소 인자를 정의하는 단계로서, 각각의 비트 레이트 감소 인자는, 비트 레이트가 감소되지 않은 대응하는 영역의 비트 레이트와 비교하여, 상기 대응하는 영역의 비트 레이트가 감소되는 정도를 지시하고, 상기 다수의 다른 비트 레이트 감소 인자는 상기 시선 영역의 에지에서 상기 디스플레이의 에지로의 그라디언트를 정의하는 단계; 및,
    상기 다수의 다른 비트 레이트 감소 인자에 기초하여 상기 시선 영역 외부의 상기 비디오 스트림의 비트 레이트를 감소시키도록 상기 카메라에 명령하는 단계를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 획득된 정보에 기초하여 예측된 시선 궤도를 연산하는 단계; 및
    상기 예측된 궤도를 따라 상기 비디오 스트림의 상기 비트 레이트를 상승시키는 단계를 더 포함하는 방법.
  3. 제1항에 있어서,
    상기 시선 영역이 상기 디스플레이의 외부에 있다고 결정하는 단계; 및
    상기 시선 영역이 상기 디스플레이의 외부에 있다는 결정에 응답하여, 상기 비디오 스트림 전체에 대한 상기 비트 레이트를 감소시키는 단계를 더 포함하는 방법.
  4. 제2항에 있어서,
    상기 시선 영역 외부의 상기 비디오 스트림에서 움직이는 물체를 검출하는 단계; 및
    상기 시선 영역과 상기 움직이는 물체를 상관시키는 단계를 더 포함하는 방법.
  5. 제1항에 있어서, 상기 다수의 다른 비트 레이트 감소 인자를 정의하는 단계는:
    상기 시선 영역의 에지로부터 상기 시선 영역의 에지에서부터 특정 거리까지의 제1 영역에 대한 제1 비트 레이트 감소 인자를 정의하는 단계 - 상기 제1 비트 레이트 감소 인자는 비트 레이트가 감소되지 않은 상기 제1 영역의 비트 레이트에 비해 상기 제 1 영역에 대한 비트 레이트가 감소되는 정도를 지시함 - ; 및
    상기 특정 거리로부터 상기 디스플레이의 에지까지의 제2 영역에 대한 제2 비트 레이트 감소 인자를 정의하는 단계를 포함하고,
    상기 제2 비트 레이트 감소 인자는 비트 레이트가 감소되지 않은 상기 제2 영역의 비트 레이트에 비해 상기 제2 영역에 대한 비트 레이트가 감소되는 정도를 지시하고, 상기 제2 비트 레이트 감소 인자는 상기 제1 비트 레이트 감소 인자보다 높은 방법.
  6. 제1항에 있어서, 상기 다수의 다른 비트 레이트 감소 인자를 정의하는 단계는:
    상기 시선 영역의 에지에서 상기 디스플레이의 에지로 선형적으로 감소하는 비트 레이트 감소 인자를 정의하는 단계를 포함하고, 상기 디스플레이의 특정 위치에서의 상기 비트 레이트 감소 인자는 상기 특정 위치에서의 비트 레이트가 감소되는 정도를 지시하는 방법.
  7. 제5항에 있어서,
    상기 카메라는 시선 영역 내부의 상기 비디오 스트림의 비트 레이트를 감소시키지 않고, 그리고
    상기 카메라가 상기 비트 레이트를 감소시킨 후의, 상기 제1 영역의 비트 레이트는 상기 시선 영역의 비트 레이트보다 더 큰, 방법.
  8. 제1항에 있어서, 상기 다수의 다른 비트 레이트 감소 인자에 기초하여 상기 시선 영역 외부의 상기 비디오 스트림의 비트 레이트를 감소시키도록 상기 카메라에 명령하는 단계는:
    상기 시선 영역 외부의 상기 비디오 스트림 영역과 관련된 센서의 샘플링 레이트를 감소시키도록 상기 카메라에 명령하는 단계; 또는
    상기 비디오 스트림을 인코딩하기 전에 상기 시선 영역 외부의 상기 비디오 스트림의 영역에 대한 해상도를 낮추도록 상기 카메라에 명령하는 단계를 포함하는 방법.
  9. 제1항에 있어서, 상기 다수의 다른 비트 레이트 감소 인자에 기초하여 상기 시선 영역 외부의 상기 비디오 스트림의 비트 레이트를 감소시키도록 상기 카메라에 명령하는 단계는:
    상기 비디오 스트림을 인코딩하기 전에 상기 시선 영역 외부의 상기 비디오 스트림의 영역에 대한 노이즈 감소 프로세스를 증가시키도록 상기 카메라에 명령하는 단계를 포함하는 방법.
  10. 제1항에 있어서, 상기 다수의 다른 비트 레이트 감소 인자에 기초하여 상기 시선 영역 외부의 상기 비디오 스트림의 비트 레이트를 감소시키도록 상기 카메라에 명령하는 단계는:
    상기 시선 영역 외부의 상기 비디오 스트림의 영역과 관련된 인코딩 프로세싱 유닛에 대한 압축 파라미터 값을 증가시키도록 상기 카메라에 명령하는 단계를 포함하는 방법.
  11. 제1항에 있어서, 상기 비디오 스트림은 복수의 비디오 스트림을 포함하고 상기 디스플레이는 복수의 디스플레이를 포함하는 방법.
  12. 컴퓨터 장치에 있어서,
    명령들을 저장하는 메모리; 및
    상기 명령들을 실행하여,
    카메라로부터 비디오 스트림을 수신하고;
    상기 비디오 스트림을 디스플레이에 디스플레이하고;
    시각 추적 센서를 통해 상기 디스플레이를 보고 있는 사용자의 시선 영역을 식별하는 정보를 획득하고;
    시선 영역 외부의 다수의 영역에 대한 다수의 다른 비트 레이트 감소 인자를 정의하되, 각각의 비트 레이트 감소 인자는, 비트 레이트가 감소되지 않은 대응하는 영역의 비트 레이트와 비교하여, 상기 대응하는 영역의 비트 레이트가 감소되는 정도를 지시하고, 상기 다수의 다른 비트 레이트 감소 인자는 상기 시선 영역의 에지에서 상기 디스플레이의 에지로의 그라디언트를 정의하고; 및
    상기 다수의 다른 비트 레이트 감소 인자에 기초하여 상기 시선 영역 외부의 상기 비디오 스트림의 비트 레이트를 감소시키도록 상기 카메라에 명령하도록 구성된 프로세서를 포함하는 컴퓨터 장치.
  13. 제12항에 있어서,
    상기 프로세서는,
    상기 획득된 정보에 기초하여 예측된 시선 궤도를 연산하고,
    상기 예측된 궤도를 따라 상기 비디오 스트림의 상기 비트 레이트를 상승시키는 명령어를 실행하는 컴퓨터 장치.
  14. 제12항에 있어서, 상기 다수의 다른 비트 레이트 감소 인자를 정의할 때, 상기 프로세서는:
    상기 시선 영역의 에지로부터 상기 시선 영역의 에지에서부터 특정 거리까지의 제1 영역에 대한 제1 비트 레이트 감소 인자를 정의하고 - 상기 제1 비트 레이트 감소 인자는 비트 레이트가 감소되지 않은 상기 제1 영역의 비트 레이트에 비해 상기 제 1 영역에 대한 비트 레이트가 감소되는 정도를 지시함 - ;
    상기 특정 거리로부터 상기 디스플레이의 에지까지의 제2 영역에 대한 제2 비트 레이트 감소 인자를 정의하도록 더 구성되고,
    상기 제2 비트 레이트 감소 인자는 비트 레이트가 감소되지 않은 상기 제2 영역의 비트 레이트에 비해 상기 제2 영역에 대한 비트 레이트가 감소되는 정도를 지시하며, 상기 제2 비트 레이트 감소 인자는 제1 비트 레이트 감소 인자보다 더 큰 컴퓨터 장치.
  15. 제12항에 있어서, 상기 다수의 다른 비트 레이트 감소 인자를 정의할 때, 상기 프로세서는:
    상기 시선 영역의 에지에서 상기 디스플레이의 에지로 선형적으로 감소하는 비트 레이트 감소 인자를 정의하도록 더 구성되고, 상기 디스플레이의 특정 위치에서의 상기 비트 레이트 감소 인자는 상기 특정 위치에서의 비트 레이트가 감소되는 정도를 나타내는 컴퓨터 장치.
  16. 제14항에 있어서,
    상기 카메라는 상기 시선 영역 내부의 상기 비디오 스트림의 비트 레이트를 감소시키지 않고, 그리고
    상기 카메라가 상기 비트 레이트를 감소시킨 후의, 상기 제1 영역의 비트 레이트는 상기 시선 영역의 비트 레이트보다 더 큰, 컴퓨터 장치.
  17. 제12항에 있어서, 상기 다수의 다른 비트 레이트 감소 인자에 기초하여 상기 시선 영역 외부의 상기 비디오 스트림의 비트 레이트를 감소시키도록 상기 카메라에 명령할 때, 상기 프로세서는:
    상기 시선 영역 외부의 상기 비디오 스트림 영역과 관련된 센서의 샘플링 레이트를 감소시키도록 상기 카메라에 명령하거나, 또는
    상기 비디오 스트림을 인코딩하기 전에 상기 시선 영역 외부의 상기 비디오 스트림의 영역에 대한 해상도를 낮추도록 상기 카메라에 명령하도록 구성되는 컴퓨터 장치.
  18. 제12항에 있어서, 상기 다수의 다른 비트 레이트 감소 인자에 기초하여 상기 시선 영역 외부의 상기 비디오 스트림의 비트 레이트를 감소시키도록 상기 카메라에 명령할 때, 상기 프로세서는:
    비디오 스트림을 인코딩하기 전에 상기 시선 영역 외부의 상기 비디오 스트림의 영역에 대한 노이즈 감소 프로세스를 증가시키도록 상기 카메라에 명령하는 컴퓨터 장치.
  19. 제12항에 있어서, 상기 다수의 다른 비트 레이트 감소 인자에 기초하여 상기 시선 영역 외부의 상기 비디오 스트림의 비트 레이트를 감소시키도록 상기 카메라에 명령할 때, 상기 프로세서는:
    상기 시선 영역 외부의 비디오 스트림의 영역과 연관된 인코딩 프로세싱 유닛에 대한 압축 파라미터 값을 증가시키도록 상기 카메라에 명령하도록 구성되는 컴퓨터 장치.
  20. 비디오 스트림을 생성하도록 구성된 카메라; 및
    상기 카메라로부터 상기 비디오 스트림을 수신하고, 디스플레이상에 비디오 스트림을 디스플레이하고;
    시각 추적 센서를 통해 상기 디스플레이를 보고 있는 사용자에 대한 시선 영역을 식별하는 정보를 획득하고;
    시선 영역 외부의 다수의 영역에 대한 다수의 다른 비트 레이트 감소 인자를 정의하되, 각각의 비트 레이트 감소 인자는, 비트 레이트가 감소되지 않은 대응하는 영역의 비트 레이트와 비교하여, 상기 대응하는 영역의 비트 레이트가 감소되는 정도를 지시하고, 상기 다수의 다른 비트 레이트 감소 인자는 상기 시선 영역의 에지에서 상기 디스플레이의 에지로의 그라디언트를 정의하고; 그리고
    상기 다수의 다른 비트 레이트 감소 인자에 기초하여 상기 시선 영역 외부의 상기 비디오 스트림의 비트 레이트를 감소시키도록 하는 명령을 상기 카메라에 전송하도록 구성된 컴퓨터 장치를 포함할 수 있고,
    상기 카메라는 상기 수신된 명령에 기초하여 상기 시선 영역 외부의 상기 비디오 스트림의 비트 레이트를 감소시키는, 시스템.
KR1020170180026A 2016-12-30 2017-12-26 시선 제어된 비트 레이트 KR102065479B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US15/395,856 US10121337B2 (en) 2016-12-30 2016-12-30 Gaze controlled bit rate
US15/395,856 2016-12-30
EP17154582.5 2017-02-03
EP17154582.5A EP3343917A1 (en) 2016-12-30 2017-02-03 Gaze controlled bit rate

Publications (2)

Publication Number Publication Date
KR20180079189A KR20180079189A (ko) 2018-07-10
KR102065479B1 true KR102065479B1 (ko) 2020-01-13

Family

ID=57995042

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170180026A KR102065479B1 (ko) 2016-12-30 2017-12-26 시선 제어된 비트 레이트

Country Status (6)

Country Link
US (1) US10121337B2 (ko)
EP (1) EP3343917A1 (ko)
JP (1) JP6708622B2 (ko)
KR (1) KR102065479B1 (ko)
CN (1) CN108270997A (ko)
TW (1) TWI662834B (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
JP2019103067A (ja) 2017-12-06 2019-06-24 キヤノン株式会社 情報処理装置、記憶装置、画像処理装置、画像処理システム、制御方法、及びプログラム
US10805653B2 (en) * 2017-12-26 2020-10-13 Facebook, Inc. Accounting for locations of a gaze of a user within content to select content for presentation to the user
US10686859B2 (en) * 2017-12-28 2020-06-16 Intel Corporation Content scenario and network condition based multimedia communication
US20190265787A1 (en) * 2018-02-26 2019-08-29 Tobii Ab Real world interaction utilizing gaze
WO2019217261A1 (en) * 2018-05-07 2019-11-14 Zermatt Technologies Llc Dynamic foveated pipeline
US10419738B1 (en) * 2018-06-14 2019-09-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing 360° immersive video based on gaze vector information
CN108833976B (zh) * 2018-06-27 2020-01-24 深圳看到科技有限公司 一种全景视频动态切流后的画面质量评估方法及装置
US10757389B2 (en) 2018-10-01 2020-08-25 Telefonaktiebolaget Lm Ericsson (Publ) Client optimization for providing quality control in 360° immersive video during pause
KR102238125B1 (ko) * 2018-11-26 2021-04-08 수니코리아 엘엘씨(한국뉴욕주립대학교) 가상 현실 영상의 부호화 장치 및 방법, 및 복호화 장치 및 방법
US11032607B2 (en) * 2018-12-07 2021-06-08 At&T Intellectual Property I, L.P. Methods, devices, and systems for embedding visual advertisements in video content
TWI697832B (zh) * 2019-02-01 2020-07-01 宏碁股份有限公司 多螢幕顯示系統及其訊息提示方法
US11055976B2 (en) 2019-09-19 2021-07-06 Axis Ab Using a skip block mask to reduce bitrate from a monitoring camera
US11232686B2 (en) 2019-12-30 2022-01-25 Axis Ab Real-time deviation in video monitoring
CN114071150B (zh) * 2020-07-31 2023-06-16 京东方科技集团股份有限公司 图像压缩方法及装置、图像显示方法及装置和介质
US20220111859A1 (en) * 2020-10-12 2022-04-14 Ford Global Technologies, Llc Adaptive perception by vehicle sensors
US11830168B2 (en) * 2021-03-31 2023-11-28 Tobii Ab Method of compressing image data for network transport
EP4329293A1 (en) * 2022-08-25 2024-02-28 Artificialy SA Support system of the control of surveillance cameras
KR102497227B1 (ko) * 2022-11-11 2023-02-08 (주)아이브리지닷컴 심리스 동영상 스트리밍 재생 장치 및 그 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120146891A1 (en) * 2010-12-08 2012-06-14 Sony Computer Entertainment Inc. Adaptive displays using gaze tracking

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4513317A (en) 1982-09-28 1985-04-23 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Retinally stabilized differential resolution television display
JPH07135623A (ja) 1993-10-27 1995-05-23 Kinseki Ltd 網膜直接表示装置
JP3263278B2 (ja) * 1995-06-19 2002-03-04 株式会社東芝 画像圧縮通信装置
JPH0951519A (ja) * 1995-08-08 1997-02-18 Nippon Telegr & Teleph Corp <Ntt> 情報提供方法及び情報提供装置並びに課金方法
JPH09200756A (ja) * 1996-01-17 1997-07-31 Kubota Corp 画像データ圧縮方法及び装置，画像データ送受信方法及び装置並びに画像データ受信装置
JPH10304335A (ja) * 1997-04-28 1998-11-13 Fujitsu Ltd 情報伝送装置
DE59906217D1 (de) * 1999-12-30 2003-08-07 Swisscom Mobile Ag Verfahren für die übermittlung von bilddaten
JP2001045494A (ja) * 2000-01-01 2001-02-16 Mitsubishi Electric Corp 画像符号化装置
JP4602632B2 (ja) 2000-04-28 2010-12-22 スイスコム モービル アーゲー ビデオ会議の方法とシステム
JP2002218441A (ja) * 2001-01-22 2002-08-02 Matsushita Electric Ind Co Ltd 画像提供装置およびその方法
US7068813B2 (en) * 2001-03-28 2006-06-27 Koninklijke Philips Electronics N.V. Method and apparatus for eye gazing smart display
JP4162398B2 (ja) * 2001-11-19 2008-10-08 株式会社日立製作所 映像表示システムおよびその方法
DE10300048B4 (de) * 2002-01-05 2005-05-12 Samsung Electronics Co., Ltd., Suwon Verfahren und Vorrichtung zur Bildcodierung und -decodierung
JP2004056335A (ja) * 2002-07-18 2004-02-19 Sony Corp 情報処理装置および方法、表示装置および方法、並びにプログラム
US7046924B2 (en) * 2002-11-25 2006-05-16 Eastman Kodak Company Method and computer program product for determining an area of importance in an image using eye monitoring information
US20050018911A1 (en) 2003-07-24 2005-01-27 Eastman Kodak Company Foveated video coding system and method
US8879857B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Redundant data encoding methods and device
CN101184221A (zh) * 2007-12-06 2008-05-21 上海大学 基于视觉关注度的视频编码方法
JP5082141B2 (ja) * 2008-04-07 2012-11-28 富士フイルム株式会社 画像処理システム、画像処理方法、およびプログラム
JP2010136032A (ja) * 2008-12-04 2010-06-17 Hitachi Ltd 映像監視システム
KR20100095833A (ko) * 2009-02-23 2010-09-01 주식회사 몬도시스템즈 Ｒｏｉ 의존형 압축 파라미터를 이용하여 영상을 압축하는 장치 및 방법
JP5210212B2 (ja) * 2009-03-16 2013-06-12 キヤノン株式会社 画像処理装置、画像処理方法
US9460601B2 (en) * 2009-09-20 2016-10-04 Tibet MIMAR Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
US9507418B2 (en) * 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US8184069B1 (en) * 2011-06-20 2012-05-22 Google Inc. Systems and methods for adaptive transmission of data
KR101920646B1 (ko) * 2011-12-15 2018-11-22 한국전자통신연구원 시각인식 기반의 프로그래시브 비디오 스트리밍 장치 및 방법
JP2013157802A (ja) * 2012-01-30 2013-08-15 Mitsubishi Electric Corp 監視カメラ装置
WO2014057618A1 (ja) * 2012-10-09 2014-04-17 パナソニック株式会社 ３次元表示装置、３次元画像処理装置および３次元表示方法
JP6138453B2 (ja) * 2012-10-29 2017-05-31 京セラ株式会社 テレビ電話機能付き機器、プログラムおよびテレビ電話機能付き機器の制御方法
KR101492919B1 (ko) * 2012-12-21 2015-02-12 서울시립대학교 산학협력단 저비용 다중 카메라 감시 시스템 및 방법
US10514541B2 (en) * 2012-12-27 2019-12-24 Microsoft Technology Licensing, Llc Display update time reduction for a near-eye display
KR20150122666A (ko) * 2013-02-27 2015-11-02 톰슨 라이센싱 교정-프리 응시 추정을 위한 방법 및 디바이스
US10242462B2 (en) * 2013-04-02 2019-03-26 Nvidia Corporation Rate control bit allocation for video streaming based on an attention area of a gamer
EP2838268B1 (en) 2013-07-31 2019-02-20 Axis AB Method, device and system for producing a merged digital video sequence
CN108209857B (zh) * 2013-09-03 2020-09-11 托比股份公司 便携式眼睛追踪设备
GB2536025B (en) * 2015-03-05 2021-03-03 Nokia Technologies Oy Video streaming method
JP2018004950A (ja) * 2016-07-01 2018-01-11 フォーブ インコーポレーテッド 映像表示システム、映像表示方法、映像表示プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120146891A1 (en) * 2010-12-08 2012-06-14 Sony Computer Entertainment Inc. Adaptive displays using gaze tracking

Also Published As

Publication number Publication date
US10121337B2 (en) 2018-11-06
JP2018110397A (ja) 2018-07-12
US20180190091A1 (en) 2018-07-05
JP6708622B2 (ja) 2020-06-10
TW201830961A (zh) 2018-08-16
KR20180079189A (ko) 2018-07-10
TWI662834B (zh) 2019-06-11
CN108270997A (zh) 2018-07-10
EP3343917A1 (en) 2018-07-04

Similar Documents

Publication Publication Date Title
KR102065479B1 (ko) 시선 제어된 비트 레이트
TWI654879B (zh) 凝視熱區圖
JP7353015B2 (ja) 方法、装置、およびカメラ
US10582196B2 (en) Generating heat maps using dynamic vision sensor events
EP3293974B1 (en) Quantization parameter determination method and image capture apparatus
CN102629978A (zh) 一种通过自动聚焦来检测靶面平整度的高清网络半球
JP7463268B2 (ja) ビデオのモニタリングにおけるリアルタイム偏差
US11115619B2 (en) Adaptive storage between multiple cameras in a video recording system
KR102315524B1 (ko) 영상의 비트레이트 조절 방법 및 영상 획득 장치
KR102126794B1 (ko) 영상 데이터 전송 장치 및 방법
Huang et al. Multiple-priority region-of-interest H. 264 video compression using constraint variable bitrate control for video surveillance

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant