WO2020147792A1 - 一种视频显示方法、装置、系统及摄像机 - Google Patents

一种视频显示方法、装置、系统及摄像机 Download PDF

Info

Publication number
WO2020147792A1
WO2020147792A1 PCT/CN2020/072521 CN2020072521W WO2020147792A1 WO 2020147792 A1 WO2020147792 A1 WO 2020147792A1 CN 2020072521 W CN2020072521 W CN 2020072521W WO 2020147792 A1 WO2020147792 A1 WO 2020147792A1
Authority
WO
WIPO (PCT)
Prior art keywords
view
target
field
video frame
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2020/072521
Other languages
English (en)
French (fr)
Inventor
李文伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN201910040917.7A external-priority patent/CN111447403B/zh
Priority claimed from CN201910040919.6A external-priority patent/CN111447404B/zh
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to US17/285,727 priority Critical patent/US12169620B2/en
Publication of WO2020147792A1 publication Critical patent/WO2020147792A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00Two-dimensional [2D] image generation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04803Split screen, i.e. subdividing the display area or the window area into separate subareas
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • G06V40/173Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks

Definitions

  • a playback control located on the upper right side of the video display window, displaying the face image or the human body image included in the alarm information;
  • a video display window located on the left side of the graphical user interface, for real-time display of the video frame sent by the multi-sensor camera, the video frame being the large field of view video frame or the small field of view video frame;
  • FIG. 8 is a schematic diagram of a processing flow of a small field of view video frame provided by an embodiment of the application.
  • FIG. 9 is a schematic flowchart of a video display method provided by an embodiment of the application.
  • a play control 310 is located on the upper right side of the video display window and is used to display the face image or the human body image included in the alarm information.
  • a target may be understood as a person determined by performing target detection on a video frame.
  • step of the processor 24 sending the correspondence between the first coordinates, the first global identifier, and the video frame of the large field of view to the server 10 may specifically include.
  • the first region to be intercepted may be a face image including the first target, or may be a human body image including the first target.
  • step b12 the processor 24 encodes the first region to obtain a first target image.
  • the preset duration of the analysis interval for the small field of view video frame is the same as the preset duration of the analysis interval for the large field of view video frame, so as to reduce the image deviation caused by the time inconsistency.
  • the processor 24 may also obtain the first characteristic information of the first target and the second characteristic information of the second target.
  • the processor 24 detects whether the similarity between the first characteristic information and the second characteristic information is greater than a preset similarity threshold. If the first detection result is yes and the second detection result is yes, it is determined that the first target and the second target are the same target, the global identifier of the second target is determined as the first global identifier of the first target, and the first global The corresponding relationship between the identifier and the small field of view video frame is sent to the server.
  • the first characteristic information and the second characteristic information include, but are not limited to, information such as movement trend, hair color, and hair length.
  • the original resolution of a small field of view video frame is 800W pixels
  • the second resolution is 100W pixels.
  • the processor 24 fetches the small field of view video frame according to 100W pixels, that is, encodes the small field of view video frame according to 100W pixels, obtains the encoded small field of view video frame, and reduces the resolution of the small field of view video frame to 100W pixels.
  • the server 10 can play a small field of view video frame at 100W pixels. Since the pixels of the small field of view video frame are reduced, the data amount of the small field of view video frame is reduced, and the transmission efficiency is improved.
  • the processor 24 processes the small field of view video frame to obtain the encoded small field of view video frame and the second target image, and sends the second coordinates, the first global identifier, and the encoded small field of view video frame to the server 10 Correspondence with the second target image.
  • the small field of view video frame and the large field of view video frame are associated with the global identifier, so that the server 10 can analyze and process the video frame.
  • a window list 320 located on the right side of the graphical user interface, displays the alarm information associated with each target sent by the camera; the alarm information associated with each target includes the trajectory information of the target and the image containing the target, and the trajectory of the target.
  • the information includes at least one image coordinate of the target, and the image containing the target includes a face image and/or a human body image of the target.
  • the aforementioned image coordinates are: the coordinates of the target in the coordinate system of the video frame displayed in the video display window 300.
  • the embodiment of the present application also provides a server, as shown in FIG. 12, including a processor 1201 and a memory 1202; the memory 1202 is used to store computer programs; the processor 1201 is used to execute The computer program stored in the memory 1202 implements any step of the above video display method.
  • the server has a graphical user interface, and the graphical user interface includes:
  • At least one image coordinate is superimposed on the video frame for display.
  • the memory may include RAM (Random Access Memory, random access memory), and may also include NVM (Non-Volatile Memory, non-volatile memory), such as at least one disk storage.
  • the memory may also be at least one storage device located far away from the foregoing processor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本申请实施例提供了一种视频显示方法、装置、系统及摄像机,摄像机包括:一个大视场镜头组件和大视场镜头组件对应的大视场传感器;至少一个小视场镜头组件和小视场镜头组件对应的小视场传感器;其中,大视场镜头组件的视场角大于小视场镜头组件的视场角,且对于同一目标,大视场传感器的清晰度小于小视场传感器的清晰度;处理器,用于对大视场图像进行人体分析,对至少一帧小视场图像进行人脸分析或头肩分析或人体分析。应用本申请实施例提供的技术方案,能够降低监控时安装和调试摄像机的工作量,降低对服务器的性能要求,降低监控成本。

Description

一种视频显示方法、装置、系统及摄像机
本申请要求于2019年1月16日提交中国专利局、申请号为201910040919.6发明名称为“一种摄像机”的中国专利申请,以及2019年1月16日提交中国专利局、申请号为201910040917.7发明名称为“一种视频显示方法、装置及系统”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及视频监控技术领域,特别是涉及一种视频显示方法、装置、系统及摄像机。
背景技术
目前,对场景的监控是通过多个摄像机实现的。具体的,在该场景中部署多个摄像机,每个摄像机的监控区域为该场景的一部分区域,多个摄像机的监控区域构成整个场景。其中,每一个摄像机采集视频帧,并对视频帧进行人脸识别,将识别到的人脸、人脸对应的人员的轨迹信息和视频帧,发送给服务器。服务器对某一时刻各个摄像机采集的视频帧进行拼接,得到整个场景在该时刻的监控视频帧。另外,服务器还需要对各摄像机识别到的人脸进行对比,从而从各摄像机发送的轨迹信息中找到同一人员的多个轨迹信息,合并这多个轨迹信息,进而显示在监控视频帧上。
由上可见,为实现对场景的监控,获得高清的视频帧,需要安装多个摄像机,并调试这多个摄像机,保证这多个摄像机的监控区域存在重叠部分且构成整个场景,而安装和调试摄像机,使得工作人员的工作量很大。另外,对场景进行监控时,服务器需要进行视频帧拼接、合并轨迹信息等处理,对服务器的性能要求较高,而使用性能较高的服务器,将导致监控成本较高。
发明内容
本申请提供一种视频显示方法、装置、系统及摄像机,以在对场景进行监控时,降低安装和调试摄像机的工作量,降低对服务器的性能要求,降低监控成本。具体技术方案如下:
本申请实施例提供了一种摄像机,所述摄像机包括:
大视场镜头组件和所述大视场镜头组件对应的大视场传感器,所述大视场传感器用于根据从所述大视场镜头组件进入的光线生成大视场视频帧;
小视场镜头组件和所述小视场镜头组件对应的小视场传感器,所述小视场传感器用于根据从所述小视场镜头组件进入的光线生成小视场视频帧;其中,所述大视场镜头组件的 视场角大于所述小视场镜头组件的视场角,且对于同一目标,所述大视场传感器的清晰度小于所述小视场传感器的清晰度;
处理器,用于对所述大视场视频帧进行人体分析,对所述小视场视频帧进行人脸分析或头肩分析或人体分析。
本申请实施例还提供了一种视频显示方法,应用于具有图形用户界面的服务器,所述图形用户界面包括:
一个视频显示窗口,位于所述图形用户界面的左侧,实时显示摄像机发送的视频帧;所述视频帧中包括N个目标,N为正整数,N≥1;
一个窗口列表,位于所述图形用户界面的右侧,显示所述摄像机发送的与每个目标关联的警报信息;每个目标关联的警报信息包括该目标的轨迹信息和包含该目标的图像,该目标的轨迹信息包括该目标的至少一个图像坐标,包含该目标的图像包括该目标的人脸图像和/或人体图像;
一个播放控件,位于所述视频显示窗口的右上侧,显示所述警报信息中包括的人脸图像或人体图像;
所述方法包括:
接收外界输入的针对所述窗口列表中显示的报警信息M 1的选择指令;
获取所述警报信息M 1包括的轨迹信息M 2,所述轨迹信息M 2包括目标D的至少一个图像坐标;
将所述至少一个图像坐标叠加至所述视频帧上显示。
一个实施例中,在接收外界输入的针对所述窗口列表中显示的报警信息M 1的选择指令之后,还包括:
获取所述警报信息M 1包括的人脸图像或人体图像;
控制所述播放控件显示所获取的人脸图像或人体图像。
本申请实施例还提供了一种视频显示系统,所述系统包括具有图形用户界面的服务器,与所述服务器连接的多sensor(传感器)摄像机;
所述多sensor摄像机包括:一个大视场镜头组件和所述大视场镜头组件对应的大视场传感器,所述大视场传感器用于根据从所述大视场镜头组件进入的光线生成大视场视频帧;至少一个小视场镜头组件和所述小视场镜头组件对应的小视场传感器,所述小视场传感器用于根据从对应的小视场镜头组件进入的光线生成小视场视频帧;其中,所述大视场镜头组件的视场角大于所述小视场镜头组件的视场角,且对于同一目标,所述大视场传感器的清晰度小于所述小视场传感器的清晰度;
所述多sensor摄像机的处理器实时将所述大视场视频帧发送给所述服务器,对所述大视场视频帧以及所述小视场视频帧进行分析,获得包含目标的图像,以及该目标的轨迹信息;所述大视场视频帧中包括N个目标,N为正整数,N≥1;
所述图形用户界面包括:
一个视频显示窗口,位于所述图形用户界面的左侧,用于实时显示所述多sensor摄像机发送的视频帧,所述视频帧为所述大视场视频帧或所述小视场视频帧;
一个窗口列表,位于所述图形用户界面的右侧,用于显示所述摄像机发送的与每个目标关联的警报信息;每个目标关联的警报信息包括该目标的轨迹信息和包含该目标的图像,该目标的轨迹信息包括该目标的至少一个图像坐标,包含该目标的图像包括该目标的人脸图像和/或人体图像;
一个播放控件,位于所述视频显示窗口的右上侧,用于显示所述警报信息中包括的人脸图像或人体图像;
所述服务器,用于接收外界输入的针对所述窗口列表中显示的报警信息的选择指令;获取所述警报信息包括的轨迹信息,所述轨迹信息包括目标的至少一个图像坐标;将所述至少一个图像坐标叠加至所述视频帧上显示。
本申请实施例提供的技术方案中,摄像机的大视场镜头组件和大视场传感器可用于对整个场景的监控,摄像机的小视场镜头组件和小视场传感器可用于采集到场景中目标的高清图像,实现目标的准确监控。此时,对于一个场景,安装一个摄像机即可满足对整个场景的监控以及目标的高清图像的采集的需求,不需要为了满足监控需求调试多个摄像机,这在实现场景监控的同时,降低了监控时安装和调试摄像机的工作量。服务器在视频显示窗口中显示视频帧,窗口列表中显示警报信息,播放控件中显示警报信息中包括的人脸图像或人体图像。另外,服务器不必对视频帧进行拼接,也不需要对轨迹信息做合并处理等,降低了对服务器的性能要求,进行场景监控时不需要使用性能较高的服务器,降低了监控成本。
当然,实施本申请的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为相关技术提供的监控场景的一种部署示意图;
图2为本申请实施例提供的视频显示系统的第一种结构示意图;
图3为本申请实施例提供的图形用户界面的一种结构示意图;
图4为本申请实施例提供的大视场镜头组件的视场范围与小视场镜头组件的视场范围的一种示意图;
图5为本申请实施例提供的大视场视频帧的一种处理流程示意图;
图6为本申请实施例提供的视频显示系统的第二种结构示意图;
图7为本申请实施例提供的图形界面的视频帧展示的一个示意图;
图8为本申请实施例提供的小视场视频帧的一种处理流程示意图;
图9为本申请实施例提供的视频显示方法的一种流程示意图;
图10a为本申请实施例提供的轨迹信息展示的第一种示意图;
图10b为本申请实施例提供的轨迹信息展示的第二种示意图;
图10c为本申请实施例提供的轨迹信息展示的第三种示意图;
图11为本申请实施例提供的视频显示装置的一种结构示意图;
图12为本申请实施例提供的服务器的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
目前,如图1所示的监控场景,包括:多个摄像机100和服务器101。在对场景进行监控时,每一摄像机100对场景的一部分区域进行监控,采集视频帧。摄像机100采集到视频帧后,对视频帧进行目标检测,如人脸识别,将识别结果和视频帧发送给服务器101。服务器101对各个摄像机100采集的视频帧进行拼接,得到整个场景的监控视频帧。另外,服务器101对各摄像机100识别到的人脸进行对比,确定同一目标的人脸,记录识别到该人脸的摄像机100和采集包含该人脸的视频帧的时间点,得到该人脸对应的目标的轨迹信息。本申请实施例中,目标可以理解为具有识别到的人脸的人员。
由上可见,为实现对一场景的监控,获得高清的视频帧,便于服务器101得到整个场景的监控视频帧,需要安装多个摄像机100,并调试每个摄像机100,保证各个摄像机100的监控区域存在重叠部分且构成整个场景,而安装和调试摄像机,使得工作人员的工作量很大。另外,对一场景进行监控时,服务器101需要进行视频帧拼接、合并轨迹信息等处理,对服务器的性能要求较高,而使用性能较高的服务器,将导致监控成本较高。
在对场景进行监控时,为了降低安装和调试摄像机的工作量,降低对服务器的性能要求,降低监控成本,本申请实施例提供了一种视频显示系统。如图2所示,该视频显示系统包括具有图形用户界面的服务器10,以及与服务器10连接的多sensor(传感器)摄像机11。
多sensor摄像机11包括:大视场镜头组件20和大视场镜头组件20对应的大视场传感器21小视场镜头组件22和小视场镜头组件22对应的小视场传感器23。
其中,大视场传感器21与大视场镜头组件20连接,光线通过大视场镜头组件20进入摄像机,进而与大视场镜头组件20连接的大视场传感器21根据从大视场镜头组件20进入的光线生成大视场视频帧。小视场镜头组件22可以包括一个或多个,而一个镜头组件对应一个传感器,因此小视场传感器23可以包括一个或多个。小视场传感器23与小视场镜头组件22连接,光线通过小视场镜头组件22进入摄像机,进而与小视场镜头组件22连接的小视场传感器23根据从小视场镜头组件22进入的光线生成大视场视频帧。
大视场镜头组件20的视场角大于小视场镜头组件22的视场角,且对于同一目标,大视场传感器21的清晰度小于小视场传感器23的清晰度。也可以理解为,对于同一目标,大视场传感器21生成的大视场视频帧的像素小于小视场传感器23生成的小视场视频帧的像素。
多sensor摄像机11的处理器24实时将大视场传感器21生成的大视场视频帧发送给服务器10,对大视场视频帧以及小视场视频帧进行分析,获得包含目标的图像,以及该目标的轨迹信息;大视场视频帧中包括N个目标,N为正整数,N≥1。
服务器10的图形用户界面,如图3所示,包括:一个视频显示窗口300、一个窗口列表320和一个播放控件310。
其中,一个视频显示窗口300,位于图形用户界面的左侧,用于实时显示多sensor摄像机11发送的视频帧。这里,视频帧可以为上述大视场视频帧或小视场视频帧。
一个窗口列表320,位于图形用户界面的右侧,用于显示摄像机发送的与每个目标关联的警报信息;每个目标关联的警报信息包括该目标的轨迹信息和包含该目标的图像,该目标的轨迹信息包括该目标的至少一个图像坐标,包含该目标的图像包括该目标的人脸图像和/或人体图像。
一个播放控件310,位于视频显示窗口的右上侧,用于显示警报信息中包括的人脸图像或人体图像。
服务器10,用于接收外界输入的针对窗口列表中显示的报警信息M 1的选择指令;获取警报信息M 1包括的轨迹信息M 2,轨迹信息M 2包括目标D的至少一个图像坐标;将至 少一个图像坐标叠加至视频帧上显示。
本申请实施例中,目标可以理解为对视频帧进行目标检测所确定的人员。
本申请实施例提供的技术方案中,摄像机的大视场镜头组件和大视场传感器可用于对整个场景的监控,摄像机的小视场镜头组件和小视场传感器可用于采集到场景中目标的高清图像,实现目标的准确监控。此时,对于一个场景,安装一个摄像机即可满足对整个场景的监控以及目标的高清图像的采集的需求,不需要为了满足监控需求调试多个摄像机,这在实现场景监控的同时,降低了监控时安装和调试摄像机的工作量。服务器在视频显示窗口中显示视频帧,窗口列表中显示警报信息,播放控件中显示警报信息中包括的人脸图像或人体图像。另外,服务器不必对视频帧进行拼接,也不需要对轨迹信息做合并处理等,降低了对服务器的性能要求,进行场景监控时不需要使用性能较高的服务器,降低了监控成本。
基于上述视频显示系统,本申请实施例提供了一种摄像机,如图2所示的摄像机11。该摄像机11包括如下部件。
大视场镜头组件20和大视场镜头组件20对应的大视场传感器21。
小视场镜头组件22和小视场镜头组件22对应的小视场传感器23。
本申请实施例中,摄像机中的镜头组件分为大视场镜头组件20和小视场镜头组件22,小视场镜头组件22可以包括一个或多个。大视场镜头组件20可以为短焦距大光圈镜头,小视场镜头组件22可以为长焦距高清镜头。一个镜头组件对应一个传感器,即一个镜头组件连接一个传感器,可以理解的,一个镜头组件与一个传感器连接即该镜头组件的出光口与该传感器的入光口连接。摄像机若包括M个小视场镜头组件22,则包括M个小视场传感器23,M为正整数,M≥1。
光线通过大视场镜头组件20进入摄像机,大视场传感器21根据从大视场镜头组件20进入的光线生成大视场视频帧。光线通过小视场镜头组件22进入摄像机,该小视场镜头组件22对应的小视场传感器23根据从小视场镜头组件22进入的光线生成小视场视频帧。
本申请实施例中,为降低监控时安装和调试摄像机的工作量,大视场镜头组件20的视场角大于小视场镜头组件22的视场角,如图4所示。另外,对于同一目标,大视场传感器21生成的大视场视频帧的清晰度小于小视场传感器23生成的小视场视频帧的清晰度。也可以理解为,对于同一目标,大视场传感器21生成的大视场视频帧的像素小于小视场传感器23生成的小视场视频帧的像素。这里,大视场传感器21生成的大视场视频帧的清晰度即为大视场传感器21的清晰度,小视场传感器23生成的小视场视频帧的清晰度即为小视场传感器23的清晰度。
一个实施例中,大视场传感器21可以采用分辨率为200W或400W像素的低照度效果较好的传感器,小视场传感器23可以采用分辨率为400W或800W像素的传感器。
一个示例中,不同的小视场传感器23,可以采用相同的分辨率的传感器。例如,摄像机包括2个小视场传感器23,这两个小视场传感器23均为400W像素的传感器。
另一个示例中,不同的小视场传感器23,可以采用不同的分辨率的传感器。例如,摄像机包括2个小视场传感器23,其中一个小视场传感器23为400W像素的传感器,另一个小视场传感器23为800W像素的传感器。
在本申请的一个实施例中,摄像机11还可以包括红外补光组件。小视场镜头组件22使用红外补光组件进行红外光补光。具体的,摄像机11的处理器24控制红外补光组件打开或关闭。当红外补光组件打开时,对小视场镜头组件22进行红外光补光。
这样,小视场传感器23在顺光、逆光、夜晚场景下生成的视频帧可以达到比较统一的效果,小视场传感器23可以用于目标的高清大图采集。
在本申请的一个实施例中,摄像机11还可以包括白光补光组件。大视场镜头组件20使用白光补光组件进行白光补光。具体的,摄像机11的处理器24控制白光补光组件打开或关闭。当白光补光组件打开时,对大视场镜头组件20进行白光补光。
这样,大视场传感器21生成的视频帧可达到全彩的效果,大视场传感器21可以在夜晚也能提供目标的穿衣色彩等关键信息。
在本申请的一个实施例中,为了保证目标的完整检出,如图4所示,大视场镜头组件20的视场范围包含小视场镜头组件22的视场范围的部分或全部,且重合视场宽度大于目标的最大宽度阈值,重合视场宽度为大视场镜头组件20的视场范围与小视场镜头组件22的视场范围相重合部分的宽度。这里,目标的最大宽度阈值可以为根据经验设定。例如,小视场视频帧用于人脸分析,人脸的最大宽度阈值为100像素,则重合视场宽度大于100像素。
在本申请的一个实施例中,为了减小由于时间采集不一致导致的图像偏差,大视场传感器21和上述至少一个小视场传感器23的时间偏差不大于一个视频帧的时长。一个示例中,为了减少不同的传感器生成的视频帧的时间偏差,大视场传感器21和上述至少一个小视场传感器23可使用同一时钟源。另一个示例中,大视场传感器21和上述至少一个小视场传感器23可使用严格同步的时钟源。
本申请实施例中,摄像机11还包括处理器24。处理器24,用于对大视场视频帧进行人体分析,对至少一帧小视场视频帧进行人脸分析或头肩分析或人体分析。
本申请实施例中,针对不同的传感器生成的视频帧,处理器24可以使用不同的处理 逻辑处理。其中,目标检测的处理逻辑。例如,处理器24对大视场传感器21生成的大视场视频帧进行人体分析,对小视场传感器23生成的小视场视频帧进行人脸分析或头肩分析或人体分析。
一个示例中,摄像机11可以包括多个小视场镜头组件22和小视场镜头组件22对应的小视场传感器23,处理器24对不同小视场传感器23生成的小视场视频帧可以使用相同的处理逻辑处理。例如,摄像机11包括2个小视场传感器23,处理器24对这两个小视场传感器23生成的小视场视频帧均进行人脸分析。
另一个示例中,摄像机11可以包括多个小视场镜头组件22和小视场镜头组件22对应的小视场传感器23,处理器24对不同小视场传感器23生成的小视场视频帧可以使用不同的处理逻辑处理。例如,摄像机包括2个小视场传感器23,对于其中一个小视场传感器23生成的小视场视频帧,处理器24对该小视场视频帧进行人脸分析,对于另一个小视场传感器23生成的小视场视频帧,处理器24对该小视场视频帧进行头肩分析。
本申请实施例提供的技术方案中,摄像机的大视场镜头组件和大视场传感器可用于对整个场景的监控,摄像机的小视场镜头组件和小视场传感器可用于采集到场景中目标的高清图像,实现目标的准确监控。此时,对于一个场景,安装一个摄像机即可满足对整个场景的监控以及目标的高清图像的采集的需求,不需要为了满足监控需求调试多个摄像机,这在实现场景监控的同时,降低了监控时安装和调试摄像机的工作量。
在本申请的一个实施例中,处理器24对大视场视频帧的处理流程可参考图5所示,可包括如下步骤。
步骤501,对大视场视频帧进行人体分析。
一个实施例中,处理器24对大视场传感器21生成的每一帧大视场视频帧均进行人体分析,检测大视场视频帧中是否存在第一目标。这样,处理器24可以及时地发现第一目标。一帧大视场视频帧中的目标可以为一个或多个。这里,仅以第一目标为例进行说明,并不起限定作用。
另一个实施例中,处理器24每间隔预设时长对大视场传感器21生成的一帧大视场视频帧进行人体分析,也就是,每间隔预设数量帧的大视场视频帧,对大视场视频帧进行人体分析,检测大视场视频帧中是否存在第一目标。这样,减轻了处理器24的负担,提高了处理器24的处理效率。
在本申请的一个实施例中,为便于对大视场视频帧进行人体分析,减轻处理器24的负担,如图6所示,摄像机11中还可以包括高性能计算模块25。处理器24将大视场视频帧送入高性能计算模块25。高性能计算模块25对大视场视频帧进行人体分析,并将分析 结果反馈给处理器24。
步骤502,若分析得到大视场视频帧中包括第一目标,则确定第一目标的第一坐标和第一目标的第一全局标识。其中,第一坐标为第一目标在大视场视频帧中的坐标。第一坐标可以为第一目标的人体中心在大视场视频帧中的坐标,可以为第一目标的头部在大视场视频帧中的坐标,还可以为第一目标的肩膀在大视场视频帧中的坐标。本申请实施例对第一坐标的确定方式不做具体限定。
处理器24对大视场视频帧进行人体分析后,若确定大视场视频帧中包括第一目标,则确定第一目标在该大视场视频帧中的第一坐标,并确定第一目标的第一全局标识。
一个实施例中,处理器24可采用如下方式确定第一全局标识。
步骤a11,处理器24获取第一目标的第一坐标。
步骤a12,处理器24检测上一次分析大视场视频帧得到目标中是否存在第一参考目标。若存在,则执行步骤a13。若不存在,则执行步骤a14。
其中,第一参考目标为:处理器24上一次分析大视场视频帧得到目标中,预测在本次分析的大视场视频帧中的坐标与第一坐标的距离小于预设参考距离阈值的目标。也就是,处理器24预测第一参考目标在本次分析的大视场视频帧中的坐标与第一坐标的距离小于预设参考阈值。
本申请实施例中,预设参考距离阈值可根据需要进行设定。
步骤a13,处理器24获取第一参考目标的全局标识,作为第一目标的第一全局标识。
步骤a14,处理器24为第一目标分配一个全局标识,作为第一全局标识。
另一个实施例中,为了准确的确定出第一目标的第一全局标识,处理器24可采用如下方式确定第一全局标识。
步骤a21,处理器24获取第一目标的第一坐标和第一特征信息。这里,第一特征信息可以包括但不限于头发颜色、头发长度、上衣颜色、裤子颜色和运动趋势等。
步骤a22,处理器24检测上一次分析大视场视频帧得到目标中是否存在第一参考目标。若存在,则执行步骤a23。若不存在,则执行步骤a25。
其中,第一参考目标为:处理器24上一次分析大视场视频帧得到目标中,预测在本次分析的大视场视频帧中的坐标与第一坐标的距离小于预设参考距离阈值的目标。预设参考距离阈值可根据需要进行设定。
本申请实施例中,上述第一参考目标可以为一个或多个。
步骤a23,处理器24检测第一参考目标的特征信息与第一特征信息的相似度是否大于预设参考相似度阈值。若是,则执行步骤a24。若否,则执行步骤a25。
本申请实施例中并不限定步骤a22与步骤a23的执行顺序。只需要在上一次分析大视场视频帧得到目标在本次分析的大视场视频帧中的坐标与第一坐标的距离小于预设参考距离阈值,且该目标的特征信息与第一特征信息的相似度大于预设参考相似度阈值,则执行步骤a24。否则,执行步骤25。
步骤a24,处理器24将第一参考目标的全局标识作为第一目标的第一全局标识。
一个实施例中,若第一参考目标为多个,处理器24计算每个第一参考目标的特征信息与第一特征信息的相似度,检测计算得到的相似度中最大的相似度是否大于预设参考相似度阈值。若是,则处理器24将最大的相似度对应的第一参考目标的全局标识作为第一目标的第一全局标识。
步骤a25,处理器24为第一目标分配一个全局标识,作为第一全局标识。
这里,考虑了第一目标的第一坐标,又考虑了第一目标的第一特征信息,提高了确定第一全局标识的准确性。
步骤503,将第一坐标、第一全局标识和大视场视频帧的对应关系,发送给服务器10。
处理器24获取到第一全局标识后,向服务器10发送第一坐标、第一全局标识和大视场视频帧的对应关系。
一个实施例中,处理器24可直接将第一坐标、第一全局标识和大视场视频帧的对应关系发送给服务器10。
另一个实施例中,处理器24将第一坐标、第一全局标识和大视场视频帧的对应关系发送给服务器10的步骤(步骤503),具体可以包括。
步骤b11,处理器24从大视场视频帧中截取第一目标所在第一区域。
本申请实施例中,截取的第一区域可以为包括第一目标的人脸图像,也可以为包括第一目标的人体图像。
步骤b12,处理器24对第一区域进行编码,获得第一目标图像。
处理器24获得第一区域后,直接对第一区域进行编码,获得第一目标图像。
例如,大视场视频帧的原始分辨率为400W像素,处理器24从大视场视频帧中截取的第一区域为200像素。处理器24对第一区域进行编码,获得第一目标图像,即第一目标图像的分辨率为200像素的图像。这样,服务器就可以按照原始分辨率播放第一目标图像,保证了服务器可以获取到清晰的第一目标图像。
步骤b13,处理器24对大视场视频帧进行编码,获得预设的第一分辨率的编码后大视场视频帧;第一分辨率小于等于大视场图像的分辨率。
处理器24按照预设的第一分辨率,对大视场视频帧进行编码,获得编码后大视场视 频帧,即降低大视场视频帧的分辨率至第一分辨率。
例如,大视场视频帧的原始分辨率为400W像素,第一分辨率为100W像素。处理器24按照100W像素对大视场视频帧取流,即按照100W像素对大视场视频帧进行编码,获得100W像素的编码后大视场视频帧,将大视场视频帧的分辨率降至100W像素。这样,服务器10就可以按照100W像素播放大视场视频帧。由于降低了大视场视频帧的像素,减轻了大视场视频帧的数据量,提高了传输效率。
本申请实施例中并不限定步骤b12与步骤b13的执行顺序。
b14,处理器24将第一坐标、第一全局标识、编码后大视场视频帧和第一目标图像的对应关系发送给服务器10。
处理器24在获取到编码后大视场视频帧和第一目标图像后,向服务器10发送将第一坐标、第一全局标识、编码后大视场视频帧和第一目标图像的对应关系。
在本申请的一个实施例中,若处理器24对大视场视频帧进行人体分析未得到第一目标,则处理器24可以丢弃该大视场视频帧,不将该大视场视频帧发送给服务器10,节约了网络资源。
本申请实施例中,服务器10接收到大视场视频帧,可以在视频显示窗口300显示大视场视频帧。此时,服务器10可以在第一坐标处标示出第一目标。例如,服务器10可以利用矩形框将第一目标标示出。如图7所示,在P位置处利用矩形框将第一目标标示出。这样,可以使用户方便直观的查看到目标所在的位置。服务器10接收到第一目标图像,可以在播放控件310中显示第一目标图像,也可以在视频显示窗口300显示第一目标图像。
在本申请的一个实施例中,对于每一个小视场传感器23生成的小视场视频帧,处理器24对小视场视频帧的处理流程可参考图8所示,包括如下步骤。
步骤801,对小视场视频帧进行人脸分析或头肩分析或人体分析。
一个实施例中,处理器24对小视场传感器23生成的每一帧小视场视频帧均进行人脸分析或头肩分析或人体分析,检测小视场视频帧中是否存在第二目标。这样,处理器24可以及时地发现第二目标。一帧小视场图像中的目标可以为一个或多个。这里,仅以第二目标为例进行说明,并不起限定作用。
另一个实施例中,处理器24每间隔预设时长对小视场传感器23生成的一帧小视场视频帧进行人脸分析或头肩分析或人体分析,也就是,每间隔预设数量帧的小视视频帧,对小视场视频帧进行人脸分析或头肩分析或人体分析,检测小视场视频帧中是否存在第二目标。这样,减轻了处理器24的负担,提高了处理器24的处理效率。
这里,对小视场视频帧进行分析间隔的预设时长与对大视场视频帧进行分析间隔的预 设时长相同,减少由于时间不一致导致的图像偏差。
在本申请的一个实施例中,为便于对小视场视频帧进行人脸分析或头肩分析或人体分析,减轻了处理器24的负担,如图6所示,摄像机11中还可以包括高性能计算模块25。处理器24将小视场视频帧送入高性能计算模块25。高性能计算模块25对小视场视频帧进行人脸分析或头肩分析或人体分析,并将分析结果反馈给处理器24。
步骤802,若分析得到小视场视频帧中包括第二目标,则确定第二目标的第二坐标。其中,第二坐标为第二目标在小视场视频帧中的坐标。第二坐标可以为第二目标的人体中心在小视场视频帧中的坐标,可以为第二目标的头部在小视场视频帧中的坐标,还可以为第二目标的肩膀在小视场视频帧中的坐标。本申请实施例对第二坐标的确定方式不做具体限定。
处理器24对小视场视频帧进行人脸分析或头肩分析或人体分析后,若确定小视场视频帧中包括第二目标,则确定第二目标在该小视场视频帧中的第二坐标。
步骤803,检测第二坐标与第一坐标间的距离是否小于第一预设距离阈值,得到第一检测结果。
其中,第一检测结果可以为是,即第一检测结果为第二坐标与第一坐标间的距离小于第一预设距离阈值。第一检测结果也可以为否,即第一检测结果为第二坐标与第一坐标间的距离不小于第一预设距离阈值。
在本申请的一个实施例中,为便于确定第二坐标与第一坐标间的距离是否小于第一预设距离阈值,可预先设置参考坐标系。处理器24将第一坐标映射至参考坐标系下,得到第一参考坐标;将第二坐标映射至参考坐标系下,得到第二参考坐标。处理器24计算第一参考坐标和第二参考坐标间的物理距离。若连续预设次数计算得到的物理距离小于目标预设距离阈值,则处理器24可确定第一检测结果为第二坐标与第一坐标间的距离小于第一预设距离阈值。否则,处理器24可确定第一检测结果为第二坐标与第一坐标间的距离不小于第一预设距离阈值。目标预设距离阈值可以根据实际需求进行设定,目标预设距离阈值可以与第一预设距离阈值相同,也可以不同。
本申请实施例中,可以对大视场传感器21与小视场传感器23进行标定,将第一坐标和第二坐标转换至参考坐标系下。这里,进行标定时,考虑大视场传感器21与小视场传感器23的畸变参数,以对大视场传感器21与小视场传感器23本身的畸变进行矫正。
在本申请的一个实施例中,为了提高检测效率,提高检测结果的准确性,处理器24检测第二坐标与第一坐标间的距离是否小于第一预设距离阈值时,上述第一坐标对应的大视场视频帧的生成时间与上述第二坐标对应的小视场视频帧的生成时间相同,或上述第一 坐标对应的大视场视频帧的生成时间与上述第二坐标对应的小视场视频帧的生成时间的时间偏差不大于一个视频帧的时长。
步骤804,若第一检测结果为是,则将第一全局标识与小视场视频帧的对应关系发送给服务器10。
本申请实施例中,若第一检测结果为是,则处理器24确定第一目标和第二目标为同一目标,确定第二目标的全局标识为第一目标的第一全局标识。通过全局标识将小视场视频帧与大视场视频帧关联,便于服务器10对图像进行分析处理。
在本申请的一个实施例中,为了准确确定第一目标和第二目标是否为同一目标,处理器24还可以获取第一目标的第一特性信息和第二目标的第二特性信息。处理器24检测第一特性信息与第二特性信息的相似度是否大于预设相似度阈值。若第一检测结果为是,且第二检测结果为是,则确定第一目标和第二目标为同一目标,确定第二目标的全局标识为第一目标的第一全局标识,将第一全局标识与小视场视频帧的对应关系发送给服务器。其中,第一特征信息和第二特性信息包括但不限于运动趋势、头发颜色、头发长度等信息。
在本申请的一个实施例中,处理器24将第一全局标识与小视场视频帧的对应关系发送给服务器的步骤(步骤804),具体可以包括。
步骤c11,处理器24从小视场视频帧中截取第二目标所在第二区域。
本申请实施例中,截取的第二区域可以为包括第二目标的人脸图像,也可以为包括第二目标的人体图像。
步骤c12,处理器24对第二区域进行编码,获得第二目标图像。
处理器24获得第二区域后,直接对第二区域进行编码,获得第二目标图像。
例如,小视场视频帧的原始分辨率为800W像素,服务器取流的分辨率为200W,处理器24从小视场视频帧中截取的第二区域为200像素。处理器24对第二区域进行编码获得第二目标图像,即第二目标图像的分辨率为200像素的图像。这样,服务器就可以按照200W取流,同时又获得原始分辨率下高清分辨率的目标图。
步骤c13,处理器24对小视场视频帧进行编码,获得预设的第二分辨率的编码后小视场视频帧;第二分辨率小于等于小视场视频帧的分辨率。
处理器24对小视场视频帧进行编码,获得预设的第二分辨率的编码后小视场视频帧,即降低小视场视频帧的分辨率至第二分辨率。
例如,小视场视频帧的原始分辨率为800W像素,第二分辨率为100W像素。处理器24按照100W像素对小视场视频帧取流,即按照100W像素对小视场视频帧进行编码,获得编码后小视场视频帧,将小视场视频帧的分辨率降至100W像素。这样,服务器10就可 以按照100W像素播放小视场视频帧。由于降低了小视场视频帧的像素,减轻了小视场视频帧的数据量,提高了传输效率。
本申请实施例中并不限定步骤c12与步骤c13的执行顺序。
步骤c14,处理器24将第二坐标、第一全局标识、编码后小视场视频帧和第二目标图像的对应关系发送给服务器10。
本申请实施例中,处理器24对小视场视频帧进行处理,得到编码后小视场视频帧和第二目标图像,向服务器10发送第二坐标、第一全局标识、编码后的小视场视频帧和第二目标图像的对应关系。通过全局标识将小视场视频帧与大视场视频帧关联,便于服务器10对视频帧进行分析处理。
在本申请的一个实施例中,若处理器24对小视场视频帧进行人体分析未得到第二目标,则处理器24可以丢弃该小视场视频帧,不将小视场视频帧发送给服务器,节约了网络资源。
本申请实施例中,服务器10接收到小视场视频帧后,可以在视频显示窗口300中显示小视场视频帧。此时,服务器10可以在第二坐标处标示出第二目标。例如,服务器10可以利用矩形框将第二目标标示出。服务器10接收到第二目标图像后,可以在播放控件310中显示第二目标图像,也可以在视频显示窗口300中显示第二目标图像。
服务器采用上述方式处理小视场视频帧和第二目标图像,可以使用户方便直观的查看到目标所在的位置。
在本申请的一个实施例中,处理器24预先记录包括第二目标的小视场高清图像。对于一个小视场镜头组件22,处理器24从小视场传感器23生成的小视场视频帧中检测到第二目标,在从该小视场视频帧中截取第二目标所在第二区域之后,根据本次截取的第二区域的清晰度,以及本次截取的第二区域中第二目标的姿态,计算第二区域的综合评分。其中,清晰度越高,姿态与预设姿态相似度越高,则综合评分越高。预设姿态可以为人脸的正脸姿态。
处理器24比较本次截取的第二区域的综合评分与记录的小视场高清图像的综合评分,得到综合评分高的第二图像。处理器24将记录的小视场高清图像更新为第二图像。
一个实施例中,若本次截取的第二区域为该小视场镜头组件对应的小视场传感器23生成的第一张包括第二目标的区域,则处理器24可以直接将本次截取的第二区域确定为第二图像,将记录的小视场高清图像更新为本次截取的第二图像。
若处理器24从小视场传感器23生成的小视场视频帧中分析得到第二目标,则当检测到第二目标离开该小视场视频帧对应的小视场镜头组件22(该小视场传感器23对应的小 视场镜头组件22)的视场范围时,处理器24将第一全局标识与小视场高清图像的对应关系发送给服务器。
在本申请的一个实施例中,处理器24预先记录包括第一目标的大视场高清图像。对于一个大视场镜头组件20,处理器24从该大视场镜头组件对应的大视场传感器生成的大视场视频帧中检测到第一目标,在从该大视场视频帧中截取第一目标所在第一区域之后,根据本次截取的第一区域的清晰度,以及本次截取的第一区域中第一目标的姿态,计算第一区域的综合评分。其中,清晰度越高,姿态与预设姿态相似度越高,则综合评分越高。预设姿态可以为人脸的正脸姿态。
处理器24比较本次截取的第一区域的综合评分与记录的大视场高清图像的综合评分,得到综合评分高的第一图像。处理器24将记录的大视场高清图像更新为第一图像。
一个实施例中,若本次截取的第一区域为大视场传感器21生成的第一张包括第一目标的区域,则处理器24可以直接将本次截取的第一区域确定为第一图像,将记录的大视场高清图像更新为本次截取的第一图像。
若处理器24从一小视场传感器21生成的小视场视频帧中分析得到第二目标,且第二目标与第一目标为同一目标,则当检测到第二目标离开生成该小视场视频帧对应的小视场镜头组件22的视场范围时,处理器24将第一全局标识与大视场高清图像的对应关系发送给服务器10。
一个实施例中,若处理器24从小视场传感器23生成小视场视频帧中分析得到第二目标,则当检测到第二目标离开生成该小视场视频帧对应的小视场镜头组件22时,处理器24还可将第一目标的轨迹信息发送给服务器。第二目标与第一目标为同一目标。一个示例中,第一目标的轨迹信息包括:第一目标经过第一坐标的时间以及第一目标在第一坐标的停留时长。
一个实施例中,处理器24可采用如下方式确定轨迹信息。具体为:处理器24检测第一坐标与最新记录的第一目标的坐标间的距离是否大于第二预设距离阈值。若是,则记录第一坐标。若否,则不记录第一坐标。对于小视场传感器23采集的第二目标与第一目标为同一目标的情况,检测第二目标是否离开小视场视频帧对应的小视场镜头组件22的视场范围。当检测到第二目标离开小视场视频帧对应的小视场镜头组件的视场范围时,根据记录的第一目标的坐标生成针对第一目标的轨迹信息,将第一全局标识与针对第一目标的轨迹信息的对应关系发送给服务器10。
例如,处理器24记录的目标S的坐标x1-x2-x3,最新记录的目标S为x3。当获取目标S的第一坐标x4时,处理器24确定检测x4与x3间的距离是否大于第二预设距离阈值。 若是,则处理器24记录第一坐标x4,即记录的目标S的坐标更新为x1-x2-x3-x4。若否,则处理器24不记录第一坐标x4。另外,处理器24检测目标S是否离开小视场视频帧对应的一小视场镜头组件的视场范围。若检测到目标S离开生成小视场视频帧对应的一小视场镜头组件的视场范围,则根据记录的目标S的坐标生成针对目标S的轨迹信息,将目标S的全局标识与针对目标S的轨迹信息的对应关系发送给服务器10。
一个实施例中,处理器24若确定第一目标与第二目标匹配,即第一目标与第二目标为同一目标,则当检测到第二目标离开小视场视频帧对应的小视场镜头组件22时,可将小视场信息、大视场信息、轨迹信息携带在一个报警信息中发送给服务器10。其中,小视场信息包括:第一全局标识与小视场高清图像的对应关系,第一全局标识与编码后小视场视频帧的对应关系、第二坐标等。大视场信息包括:第一全局标识与大视场高清图像的对应关系,第一全局标识与编码后的大视场视频帧的对应关系等。
处理器24若确定第一目标与第二目标不匹配,即第一目标与第二目标不是同一目标,则当检测到第二目标离开小视场视频帧对应的小视场镜头组件22时,可将小视场信息携带在一个报警信息中发送给服务器10。
本申请实施例中,服务器10接收到报警信息,在窗口列表320中展示报警信息。为便于用户查看,服务器10在窗口列表320中展示的报警信息时,可以展示出报警信息中包括的小视场高清图像或大视场高清图像。如图7所示,图形用户界面右侧的窗口列表320中展示有多个小视场高清图像。服务器10在窗口列表320中展示的报警信息时,也可以展示出报警信息的序号等。本申请实施例中,对窗口列表320中展示的报警信息形式不做限定。
当用户选择一个报警信息时,服务器10可以确定该报警信息对应的全局标识,通过确定的全局标识,查找到对应的小视场高清图像、大视场高清图像、轨迹信息等。服务器可以在播放控件中展示小视场高清图像或大视场高清图像。另外,服务器10还可以根据获取的轨迹信息,在视频显示窗口300显示的大视场视频帧中叠加显示获取的轨迹信息。
基于上述视频显示系统,本申请实施例提供了一种视频显示方法。参考图9,图9为本申请实施例提供的视频显示方法的一种流程示意图。该方法应用于具有图形用户界面的服务器。图形用户界面的结构可参考图3所示,包括:一个视频显示窗口300、一个窗口列表320和一个播放控件310。
其中,一个视频显示窗口300,位于图形用户界面的左侧,实时显示摄像机发送的视频帧;视频帧中包括N个目标,N为正整数,N≥1。
一个窗口列表320,位于图形用户界面的右侧,显示摄像机发送的与每个目标关联的 警报信息;每个目标关联的警报信息包括该目标的轨迹信息和包含该目标的图像,该目标的轨迹信息包括该目标的至少一个图像坐标,包含该目标的图像包括该目标的人脸图像和/或人体图像。上述图像坐标为:目标在视频显示窗口300所显示视频帧的坐标系下的坐标。
一个播放控件310,位于视频显示窗口300的右上侧,显示警报信息中包括的人脸图像或人体图像。
基于该图形用户界面,上述视频显示方法包括如下步骤。
步骤901,接收外界输入的针对窗口列表中显示的报警信息M 1的选择指令。
本申请实施例中,用户可以根据图形用户界面上显示的信息,从窗口列表中显示的多个报警信息中确定出与目标D关联的报警信息M 1,通过鼠标、键盘等输入设备,向服务器输入针对报警信息M 1的选择指令。
一个实施例中,为了便于用户从窗口列表中选择选择出需要的目标D的报警信息M 1。窗口列表320具体可以用于显示报警信息中包括的人脸图像或人体图像。例如,如图7所示,在图形用户界面右侧的窗口列表中,显示有多个人脸图像,每一人脸图像对应一条报警信息。
窗口列表320显示人脸图像或人体图像流程可以包括:服务器接收摄像机发送的报警信息,报警信息中包括全局标识、轨迹信息与包含目标的图像的对应关系;服务器保存报警信息,并从报警信息中提取出包含目标的图像,在窗口列表320显示该包含目标的图像,并将建立该包含目标的图像与该报警信息中的全局标识的关系。
步骤902,获取警报信息M 1包括的轨迹信息M 2,轨迹信息M 2包括目标D的至少一个图像坐标。
服务器在接收到选择指令后,获取警报信息M 1包括的目标D的轨迹信息M 2。轨迹信息M 2包括目标D的至少一个图像坐标。
一个实施例中,窗口列表320显示的报警信息中包括人脸图像或人体图像,也就是,窗口列表320显示的报警信息中包括包含目标的图像。基于此,服务器接收针对窗口列表320中显示的图像T 1的选择指令,在接收到针对窗口列表320中显示的图像T 1的选择指令之后,根据预先存储的图像与全局标识的对应关系,确定图像T 1对应的第一全局标识。服务器根据预先存储的全局标识与轨迹信息对应关系,确定第一全局标识对应的轨迹信息M 2。这里,预先存储的全局标识与轨迹信息对应关系,可以包含在服务器预先存储的报警信息中。如上述报警信息中可以包括全局标识、轨迹信息与目标的图像的对应关系。
步骤903,将至少一个图像坐标叠加至视频帧上显示。
一个实施例中,在获取到目标D的至少一个图像坐标后,服务器可以将至少一个图像 坐标以点的形式叠加至视频帧上显示。如图10a所示,图10a中每一实心圆点代表一个图像坐标,由这多个图像坐标组成目标D的轨迹信息,将该轨迹信息叠加显示在视频帧上。
另一个实施例中,在获取到目标D的至少一个图像坐标后,服务器可以将至少一个图像坐标以连线的形式叠加至视频帧上显示,如图10b所示。图10c中每一实心圆点代表一个图像坐标,将这多个图像坐标以直线连接,组成目标D的轨迹信息,将该轨迹信息叠加显示在视频帧上。
一个示例中,为便于用户查看,服务器可从报警信息中包括的至少一个图像坐标中选择出符合预设条件的目标图像坐标,将目标图像坐标叠加至视频帧上显示,并将目标图像坐标以直线连接。如图10c所示。图10c中每一实心圆点代表一个图像坐标。从图10b包括的多个图像坐标中确定出目标图像坐标,将这多个目标图像坐标采用直线连接,组成目标D的轨迹信息,将该轨迹信息叠加显示在视频帧上。
上述预设条件可以根据用户需求进行设定,如预设条件可以为两个图像坐标间的距离大于距离阈值,也可以为目标达到两个图像坐标的时间间隔大于时间阈值等。本申请实施例对预设条件不进行限定。
一个实施例中,为了便于用户观察分析目标的运动情况,上述轨迹信息还可包括:目标经过中每一图像坐标的经过时间,以及该目标在每一图像坐标处停留时长。服务器在获取到轨迹信息M 2后,还可以将目标D对应的每一经过时间和停留时长叠加至视频帧上对应的图像坐标处显示,如图10c所示。
一个实施例中,在将至少一个图像坐标叠加至视频帧上显示之后,服务器可以在视频帧上至少一个图像坐标中最新的图像坐标处标示出目标D。例如,服务器可以利用矩形框将目标D标示出,如图7所示。
一个实施例中,为便于用户观察目标,将目标与目标的轨迹信息关联,服务器在接收到外界输入的针对窗口列表中显示的报警信息M 1的选择指令之后,可以获取警报信息M 1包括人脸图像或人体图像,控制播放控件显示所获取的人脸图像或人体图像。例如,如图7所示,在播放控件320中显示有所获取的人脸图像。
本申请实施例提供的技术方案中,一个摄像机采集了视频帧和包含目标的图像,该包含目标的图像包括该目标的人脸图像和/或人体图像。服务器在视频显示窗口中显示视频帧,窗口列表中显示警报信息,播放控件中显示警报信息中包括的人脸图像或人体图像。此时,对于一个场景,安装一个摄像机即可满足对整个场景的监控以及目标的高清图像的采集的需求,不需要为了满足监控需求调试多个摄像机,这在实现场景监控的同时,降低了监控时安装和调试摄像机的工作量。另外,服务器不必对视频帧进行拼接,也不需要对轨迹信 息做合并处理等,降低了对服务器的性能要求,进行场景监控时不需要使用性能较高的服务器,降低了监控成本。
与上述视频显示方法实施例对应,本申请实施例提供了一种视频显示装置。参考图11,图11为本申请实施例提供的视频显示装置的一种结构示意图。该装置应用于具有图形用户界面的服务器,图形用户界面包括:
一个视频显示窗口,位于图形用户界面的左侧,用于实时显示摄像机发送的视频帧;视频帧中包括N个目标,N为正整数,N≥1;
一个窗口列表,位于图形用户界面的右侧,用于显示摄像机发送的与每个目标关联的警报信息;每个目标关联的警报信息包括该目标的轨迹信息和包含该目标的图像,该目标的轨迹信息包括该目标的至少一个图像坐标,包含该目标的图像包括该目标的人脸图像和/或人体图像;
一个播放控件,位于视频显示窗口的右上侧,用于显示警报信息中包括的人脸图像或人体图像。
上述视频显示装置包括:接收模块1101、获取模块1102和叠加模块1103。
接收模块1101,用于接收外界输入的针对窗口列表中显示的报警信息M 1的选择指令;
获取模块1102,用于获取警报信息M 1包括的轨迹信息M 2,轨迹信息M 2包括目标D的至少一个图像坐标;
叠加模块1103,用于将至少一个图像坐标叠加至视频帧上显示。
一个实施例中,获取模块1102,还可以用于在接收外界输入的针对窗口列表中显示的报警信息M 1的选择指令之后,获取警报信息M 1包括的人脸图像或人体图像。
此时,上述视频显示装置还可以包括:控制模块,用于控制播放控件显示所获取的人脸图像或人体图像。
一个实施例中,窗口列表,具体可以用于显示报警信息中包括的人脸图像或人体图像。
一个实施例中,接收模块1101,具体可以用于接收外界输入的针对窗口列表中显示的图像T 1的选择指令;
获取模块1102,具体可以用于确定图像T 1的第一全局标识;根据预先存储的全局标识与轨迹信息对应关系,确定第一全局标识对应的轨迹信息M 2
一个实施例中,叠加模块1103,具体可以用于将至少一个图像坐标以点或连线的形式叠加至视频帧上显示。
一个实施例中,轨迹信息M 2还包括:目标D经过至少一个图像坐标中每一图像坐标的经过时间,以及目标D在至少一个图像坐标中每一图像坐标处停留时长。
此时,叠加模块1103,还可以用于将目标D对应的每一经过时间和停留时长叠加至视频帧上对应的图像坐标处显示。
一个实施例中,叠加模块1103,还可以用于在将至少一个图像坐标叠加至视频帧上显示之后,在视频帧上至少一个图像坐标中最新的图像坐标处标示出目标D。
本申请实施例提供的技术方案中,一个摄像机采集了视频帧和包含目标的图像,该包含目标的图像包括该目标的人脸图像和/或人体图像。服务器在视频显示窗口中显示视频帧,窗口列表中显示警报信息,播放控件中显示警报信息中包括的人脸图像或人体图像。此时,对于一个场景,安装一个摄像机即可满足对整个场景的监控以及目标的高清图像的采集的需求,不需要为了满足监控需求调试多个摄像机,这在实现场景监控的同时,降低了监控时安装和调试摄像机的工作量。另外,服务器不必对视频帧进行拼接,也不需要对轨迹信息做合并处理等,降低了对服务器的性能要求,进行场景监控时不需要使用性能较高的服务器,降低了监控成本。
与上述视频显示方法实施例对应,本申请实施例还提供了一种服务器,如图12所示,包括处理器1201和存储器1202;存储器1202,用于存放计算机程序;处理器1201,用于执行存储器1202上所存放的计算机程序时,实现上述视频显示方法的任一步骤。其中,该方法中,服务器具有图形用户界面,图形用户界面包括:
一个视频显示窗口,位于图形用户界面的左侧,用于实时显示摄像机发送的视频帧;视频帧中包括N个目标,N为正整数,N≥1;
一个窗口列表,位于图形用户界面的右侧,用于显示摄像机发送的与每个目标关联的警报信息;每个目标关联的警报信息包括该目标的轨迹信息和包含该目标的图像,该目标的轨迹信息包括该目标的至少一个图像坐标,包含该目标的图像包括该目标的人脸图像和/或人体图像;
一个播放控件,位于视频显示窗口的右上侧,用于显示警报信息中包括的人脸图像或人体图像;
该视频显示方法包括:
接收外界输入的针对窗口列表中显示的报警信息M 1的选择指令;
获取警报信息M 1包括的轨迹信息M 2,轨迹信息M 2包括目标D的至少一个图像坐标;
将至少一个图像坐标叠加至视频帧上显示。
本申请实施例提供的技术方案中,一个摄像机采集了视频帧和包含目标的图像,该包含目标的图像包括该目标的人脸图像和/或人体图像。服务器在视频显示窗口中显示视频帧,窗口列表中显示警报信息,播放控件中显示警报信息中包括的人脸图像或人体图像。此时, 对于一个场景,安装一个摄像机即可满足对整个场景的监控以及目标的高清图像的采集的需求,不需要为了满足监控需求调试多个摄像机,这在实现场景监控的同时,降低了监控时安装和调试摄像机的工作量。另外,服务器不必对视频帧进行拼接,也不需要对轨迹信息做合并处理等,降低了对服务器的性能要求,进行场景监控时不需要使用性能较高的服务器,降低了监控成本。
存储器可以包括RAM(Random Access Memory,随机存取存储器),也可以包括NVM(Non-Volatile Memory,非易失性存储器),例如至少一个磁盘存储器。一个实施例,存储器还可以是至少一个位于远离前述处理器的存储装置。
处理器可以是通用处理器,包括CPU(Central Processing Unit,中央处理器)、NP(Network Processor,网络处理器)等;还可以是DSP(Digital Signal Processing,数字信号处理器)、ASIC(Application Specific Integrated Circuit,专用集成电路)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)或其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例还提供了一种机器可读存储介质,机器可读存储介质内存储有计算机程序,计算机程序被处理器执行时实现上述视频显示方法的任一步骤。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于视频显示装置、服务器、机器可读存储介质实施例而言,由于其基本相似于视频显示方法实施例,所以描述的比较简单,相关之处参见视频显示方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。

Claims (22)

  1. 一种摄像机,其特征在于,所述摄像机包括:
    大视场镜头组件和所述大视场镜头组件对应的大视场传感器,所述大视场传感器用于根据从所述大视场镜头组件进入的光线生成大视场视频帧;
    小视场镜头组件和所述小视场镜头组件对应的小视场传感器,所述小视场传感器用于根据从所述小视场镜头组件进入的光线生成小视场视频帧;其中,所述大视场镜头组件的视场角大于所述小视场镜头组件的视场角,且对于同一目标,所述大视场传感器的清晰度小于所述小视场传感器的清晰度;
    处理器,用于对所述大视场视频帧进行人体分析,对所述小视场视频帧进行人脸分析或头肩分析或人体分析。
  2. 根据权利要求1所述的摄像机,其特征在于,所述摄像机还包括:红外补光组件和白光补光组件;
    所述大视场传感器用于使用所述白光补光组件进行白光补光;
    所述小视场传感器用于使用所述红外补光组件进行红外光补光。
  3. 根据权利要求1所述的摄像机,其特征在于,所述大视场镜头组件使用短焦距大光圈镜头;所述小视场镜头组件使用长焦距高清镜头。
  4. 根据权利要求1所述的摄像机,其特征在于,所述大视场镜头组件的视场范围包含所述小视场镜头组件的视场范围的部分或全部,且重合视场宽度大于目标的最大宽度阈值,所述重合视场宽度为所述大视场镜头组件的视场范围与所述小视场镜头组件的视场范围相重合部分的宽度。
  5. 根据权利要求1所述的摄像机,其特征在于,所述大视场传感器和所述至少一个小视场传感器的时间偏差不大于一个视频帧的时长。
  6. 根据权利要求1所述的摄像机,其特征在于,所述处理器,具体用于:每间隔预设时长对所述大视场视频帧进行人体分析,每间隔所述预设时长对所述至少一帧小视场视频帧进行人脸分析或头肩分析或人体分析。
  7. 根据权利要求1所述的摄像机,其特征在于,在所述处理器用于对所述大视场视频帧进行人体分析之后,所述处理器,还用于:
    当对所述大视场视频帧进行人体分析得到第一目标后,确定所述第一目标的第一坐标和所述第一目标的第一全局标识;
    向服务器发送所述第一坐标、所述第一全局标识和所述大视场视频帧的对应关系。
  8. 根据权利要求7所述的摄像机,其特征在于,所述处理器用于:
    从所述大视场视频帧中截取所述第一目标所在第一区域;
    对所述第一区域进行编码,获得第一目标图像;
    对所述大视场视频帧进行编码,获得预设的第一分辨率的编码后大视场视频帧;所述第一分辨率小于等于所述大视场视频帧的分辨率;
    向服务器发送所述第一坐标、所述第一全局标识、所述编码后大视场视频帧和所述第一目标图像的对应关系。
  9. 根据权利要求8所述的摄像机,其特征在于,所述处理器,还用于:
    记录包括所述第一目标的大视场高清图像;
    在从所述大视场视频帧中截取所述第一目标所在第一区域之后,根据本次截取的所述第一区域的清晰度,以及本次截取的所述第一区域中所述第一目标的姿态,计算所述第一区域的综合评分;
    比较本次截取的所述第一区域的综合评分与记录的大视场高清图像的综合评分,得到综合评分高的第一图像;
    将记录的大视场高清图像更新为所述第一图像;
    当检测到第二目标离开所述小视场镜头组件的视场范围时,向所述服务器发送所述第一全局标识与记录的所述大视场高清图像的对应关系;所述第二目标为对所述小视场视频帧进行人脸分析或头肩分析或人体分析得到的目标,所述第二目标与所述第一目标为同一目标。
  10. 根据权利要求7所述的摄像机,其特征在于,在所述处理器用于对所述小视场视频帧进行人脸分析或头肩分析或人体分析之后,所述处理器,还用于:
    当对所述小视场视频帧进行人脸分析或头肩分析或人体分析得到第二目标后,确定所述第二目标的第二坐标;
    检测所述第二坐标与所述第一坐标间的距离是否小于预设距离阈值,得到第一检测结果;
    若所述第一检测结果为是,则向所述服务器发送所述第一全局标识与所述小视场视频帧的对应关系。
  11. 根据权利要求10所述的摄像机,其特征在于,所述处理器,还用于:
    获取所述第一目标的第一特性信息和所述第二目标的第二特性信息;
    检测所述第一特性信息与所述第二特性信息的相似度是否大于预设相似度阈值,得到第二检测结果;
    所述若所述第一检测结果为是,则向所述服务器发送所述第一全局标识与所述小视场 视频帧的对应关系的步骤,包括:
    若所述第一检测结果为是且所述第二检测结果为是,则向所述服务器发送所述第一全局标识与所述小视场视频帧的对应关系。
  12. 根据权利要求11所述的摄像机,其特征在于,所述处理器,还用于:
    记录包括所述第二目标的小视场高清图像
    在从所述小视场视频帧中截取所述第二目标所在第二区域之后,根据本次截取的所述第二区域的清晰度,以及本次截取的所述第二区域中所述第二目标的姿态,计算所述第二区域的综合评分;
    比较本次截取的所述第二区域的综合评分与记录的小视场高清图像的综合评分,得到综合评分高的第二图像;
    将记录的所述小视场高清图像更新为所述第二图像;
    当检测到所述第二目标离开所述小视场镜头组件的视场范围时,向所述服务器发送所述第一全局标识与记录的所述小视场高清图像的对应关系。
  13. 根据权利要求1所述的摄像机,其特征在于,所述处理器,还用于:
    当检测到第二目标离开所述小视场镜头组件的视场范围时,将第一目标的轨迹信息发送给所述服务器;所述第一目标为对所述大视场视频帧进行人体分析得到的目标,所述第二目标为对所述小视场视频帧进行人脸分析或头肩分析或人体分析得到的目标,所述第二目标与所述第一目标为同一目标。
  14. 根据权利要求13所述的摄像机,其特征在于,所述轨迹信息包括:所述第一目标经过所述第一坐标的时间以及所述第一目标在所述第一坐标的停留时长。
  15. 一种视频显示方法,其特征在于,应用于具有图形用户界面的服务器,所述图形用户界面包括:
    所述视频显示窗口,位于所述图形用户界面的左侧,实时显示摄像机发送的视频帧;所述视频帧中包括N个目标,N为正整数,N≥1;
    所述窗口列表,位于所述图形用户界面的右侧,显示所述摄像机发送的与每个目标关联的警报信息;每个目标关联的警报信息包括该目标的轨迹信息和包含该目标的图像,该目标的轨迹信息包括该目标的至少一个图像坐标,包含该目标的图像包括该目标的人脸图像和/或人体图像;
    所述播放控件,位于所述视频显示窗口的右上侧,显示所述警报信息中包括的人脸图像或人体图像;
    所述方法包括:
    接收外界输入的针对所述窗口列表中显示的报警信息的选择指令;
    获取所述警报信息包括的轨迹信息,所述轨迹信息包括目标的至少一个图像坐标;
    将所述至少一个图像坐标叠加至所述视频帧上显示。
  16. 根据权利要求15所述的方法,其特征在于,在接收外界输入的针对所述窗口列表中显示的报警信息的选择指令之后,还包括:
    获取所述警报信息包括的人脸图像或人体图像;
    控制所述播放控件显示所获取的人脸图像或人体图像。
  17. 根据权利要求16所述的方法,其特征在于,所述窗口列表,具体用于显示所述报警信息中包括的人脸图像或人体图像。
  18. 根据权利要求17所述的方法,其特征在于,所述接收外界输入的针对所述窗口列表中显示的报警信息的选择指令的步骤,包括:
    接收外界输入的针对所述窗口列表中显示的图像的选择指令;
    所述获取所述警报信息包括的轨迹信息的步骤,包括:
    确定所述图像的第一全局标识;
    根据预先存储的全局标识与轨迹信息对应关系,确定所述第一全局标识对应的轨迹信息。
  19. 根据权利要求18所述的方法,其特征在于,所述将所述至少一个图像坐标叠加至所述视频帧上显示的步骤,包括:
    将所述至少一个图像坐标以点或连线的形式叠加至所述视频帧上显示。
  20. 根据权利要求15所述的方法,其特征在于,所述轨迹信息还包括:所述目标经过所述至少一个图像坐标中每一图像坐标的经过时间,以及所述目标在所述至少一个图像坐标中每一图像坐标处停留时长;所述方法还包括:
    将所述目标对应的每一经过时间和停留时长叠加至所述视频帧上对应的图像坐标处显示。
  21. 根据权利要求15所述的方法,其特征在于,在将所述至少一个图像坐标叠加至所述视频帧上显示之后,还包括:
    在所述视频帧上所述至少一个图像坐标中最新的图像坐标处标示出所述目标。
  22. 一种视频显示系统,其特征在于,所述系统包括具有图形用户界面的服务器,与所述服务器连接的多传感器sensor摄像机;
    所述多sensor摄像机包括:大视场镜头组件和所述大视场镜头组件对应的大视场传感器,所述大视场传感器用于根据从所述大视场镜头组件进入的光线生成大视场视频帧;小 视场镜头组件和所述小视场镜头组件对应的小视场传感器,所述小视场传感器用于根据从对应的小视场镜头组件进入的光线生成小视场视频帧;其中,所述大视场镜头组件的视场角大于所述小视场镜头组件的视场角,且对于同一目标,所述大视场传感器的清晰度小于所述小视场传感器的清晰度;
    所述多sensor摄像机的处理器,用于实时将所述大视场视频帧发送给所述服务器,对所述大视场视频帧以及所述小视场视频帧进行分析,获得包含目标的图像,以及该目标的轨迹信息;所述大视场视频帧中包括N个目标,N为正整数,N≥1;
    所述图形用户界面包括:
    一个视频显示窗口,位于所述图形用户界面的左侧,用于实时显示所述多sensor摄像机发送的视频帧,所述视频帧为所述大视场视频帧或所述小视场视频帧;
    一个窗口列表,位于所述图形用户界面的右侧,用于显示所述摄像机发送的与每个目标关联的警报信息;每个目标关联的警报信息包括该目标的轨迹信息和包含该目标的图像,该目标的轨迹信息包括该目标的至少一个图像坐标,包含该目标的图像包括该目标的人脸图像和/或人体图像;
    一个播放控件,位于所述视频显示窗口的右上侧,用于显示所述警报信息中包括的人脸图像或人体图像;
    所述服务器,用于接收外界输入的针对所述窗口列表中显示的报警信息的选择指令;获取所述警报信息包括的轨迹信息,所述轨迹信息包括目标的至少一个图像坐标;将所述至少一个图像坐标叠加至所述视频帧上显示。
PCT/CN2020/072521 2019-01-16 2020-01-16 一种视频显示方法、装置、系统及摄像机 Ceased WO2020147792A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/285,727 US12169620B2 (en) 2019-01-16 2020-01-16 Video display method, device and system, and video camera

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN201910040919.6 2019-01-16
CN201910040917.7 2019-01-16
CN201910040917.7A CN111447403B (zh) 2019-01-16 2019-01-16 一种视频显示方法、装置及系统
CN201910040919.6A CN111447404B (zh) 2019-01-16 2019-01-16 一种摄像机

Publications (1)

Publication Number Publication Date
WO2020147792A1 true WO2020147792A1 (zh) 2020-07-23

Family

ID=71614448

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/072521 Ceased WO2020147792A1 (zh) 2019-01-16 2020-01-16 一种视频显示方法、装置、系统及摄像机

Country Status (2)

Country Link
US (1) US12169620B2 (zh)
WO (1) WO2020147792A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113286096A (zh) * 2021-05-19 2021-08-20 中移(上海)信息通信科技有限公司 视频识别方法及系统
CN115474021A (zh) * 2022-07-19 2022-12-13 北京普利永华科技发展有限公司 一种多组件联控下的卫星转发器数据处理方法及系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG10201913024QA (en) * 2019-12-23 2020-10-29 Sensetime Int Pte Ltd Target Object Identification System, Method And Apparatus, Electronic Device And Storage Medium
CN115592272B (zh) * 2022-10-27 2024-12-13 张荣德 一种智能激光雕刻装置及其控制方法
CN116109976B (zh) * 2023-01-28 2026-04-21 咪咕视讯科技有限公司 视频清晰度的检测方法、装置、设备及可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100141767A1 (en) * 2008-12-10 2010-06-10 Honeywell International Inc. Semi-Automatic Relative Calibration Method for Master Slave Camera Control
CN202583667U (zh) * 2012-05-15 2012-12-05 重庆盾银科技有限公司 双视场一体摄像机
CN103581627A (zh) * 2013-11-07 2014-02-12 北京环境特性研究所 一种高清视频的图像和信息融合显示方法
US20150215516A1 (en) * 2014-01-27 2015-07-30 Ratheon Company Imaging system and methods with variable lateral magnification
CN105872475A (zh) * 2016-05-20 2016-08-17 北京格灵深瞳信息技术有限公司 一种监控摄像装置
US20160277673A1 (en) * 2015-03-17 2016-09-22 Disney Enterprises, Inc. Method and system for mimicking human camera operation
CN106503622A (zh) * 2016-09-26 2017-03-15 北京格灵深瞳信息技术有限公司 一种车辆反跟踪方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007243267A (ja) 2006-03-06 2007-09-20 Sony Corp 映像監視システムおよび映像監視プログラム
US9544563B1 (en) * 2007-03-23 2017-01-10 Proximex Corporation Multi-video navigation system
US9036001B2 (en) * 2010-12-16 2015-05-19 Massachusetts Institute Of Technology Imaging system for immersive surveillance
US8744125B2 (en) * 2011-12-28 2014-06-03 Pelco, Inc. Clustering-based object classification
CN102932605B (zh) 2012-11-26 2014-12-24 南京大学 一种视觉感知网络中摄像机的组合选择方法
CN104427337B (zh) 2013-08-21 2018-03-27 杭州海康威视数字技术股份有限公司 基于目标检测的感兴趣区域视频编码方法及其装置
CN103780873A (zh) 2013-11-28 2014-05-07 国网四川省电力公司信息通信公司 一种变电站视频监控系统实现3d场景显示的方法
JP6401110B2 (ja) 2015-05-18 2018-10-03 富士フイルム株式会社 撮像レンズおよび撮像装置
JP6961363B2 (ja) * 2017-03-06 2021-11-05 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム
CN110476421A (zh) 2017-03-31 2019-11-19 日本电气株式会社 视频图像处理设备、视频图像分析系统、方法和程序
EP3404913B1 (en) 2017-05-16 2019-11-06 Axis AB A system comprising a video camera and a client device and a method performed by the same
CN107978051B (zh) 2017-12-15 2020-10-30 湖北联城通科技股份有限公司 一种基于人脸识别的门禁系统及方法
CN108076297A (zh) 2017-12-22 2018-05-25 湖南源信光电科技股份有限公司 基于Kalman滤波与Camshift算法结合的目标跟踪算法的摄像机系统
CN110830756B (zh) * 2018-08-07 2022-05-17 华为技术有限公司 一种监控方法与装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100141767A1 (en) * 2008-12-10 2010-06-10 Honeywell International Inc. Semi-Automatic Relative Calibration Method for Master Slave Camera Control
CN202583667U (zh) * 2012-05-15 2012-12-05 重庆盾银科技有限公司 双视场一体摄像机
CN103581627A (zh) * 2013-11-07 2014-02-12 北京环境特性研究所 一种高清视频的图像和信息融合显示方法
US20150215516A1 (en) * 2014-01-27 2015-07-30 Ratheon Company Imaging system and methods with variable lateral magnification
US20160277673A1 (en) * 2015-03-17 2016-09-22 Disney Enterprises, Inc. Method and system for mimicking human camera operation
CN105872475A (zh) * 2016-05-20 2016-08-17 北京格灵深瞳信息技术有限公司 一种监控摄像装置
CN106503622A (zh) * 2016-09-26 2017-03-15 北京格灵深瞳信息技术有限公司 一种车辆反跟踪方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113286096A (zh) * 2021-05-19 2021-08-20 中移(上海)信息通信科技有限公司 视频识别方法及系统
CN115474021A (zh) * 2022-07-19 2022-12-13 北京普利永华科技发展有限公司 一种多组件联控下的卫星转发器数据处理方法及系统
CN115474021B (zh) * 2022-07-19 2023-08-08 北京普利永华科技发展有限公司 一种多组件联控下的卫星转发器数据处理方法及系统

Also Published As

Publication number Publication date
US12169620B2 (en) 2024-12-17
US20220004748A1 (en) 2022-01-06

Similar Documents

Publication Publication Date Title
WO2020147792A1 (zh) 一种视频显示方法、装置、系统及摄像机
US9953225B2 (en) Image processing apparatus and image processing method
US10445887B2 (en) Tracking processing device and tracking processing system provided with same, and tracking processing method
US9049384B2 (en) Video processing apparatus, camera apparatus, video processing method, and program
JP6555906B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN108198199B (zh) 运动物体跟踪方法、运动物体跟踪装置和电子设备
US10127456B2 (en) Information processing apparatus that corrects image distortion to set a passage detection line, information processing method, and medium
JP2019186955A (ja) 情報処理システム、情報処理方法及びプログラム
US10991124B2 (en) Determination apparatus and method for gaze angle
JP2004227160A (ja) 侵入物体検出装置
US20160379079A1 (en) System, apparatus, method, and computer readable storage medium for extracting information
CN109905641B (zh) 一种目标监控方法、装置、设备及系统
US10346709B2 (en) Object detecting method and object detecting apparatus
JP2008226109A (ja) 映像解析システムおよび映像解析方法
TWI420440B (zh) 物品展示系統及方法
CN111447403B (zh) 一种视频显示方法、装置及系统
CN111447404B (zh) 一种摄像机
US20130265420A1 (en) Video processing apparatus, video processing method, and recording medium
JP6798609B2 (ja) 映像解析装置、映像解析方法およびプログラム
US12056910B2 (en) Method and system of evaluating the valid analysis region of a specific scene
JP2010152672A (ja) 物体検知識別装置
CN111325064B (zh) 一种人员轨迹确定系统、方法、装置
WO2024201708A1 (ja) 情報処理装置、監視システム、制御方法、及び制御プログラム
RU2663884C1 (ru) Способ эмуляции по меньшей мере двух стационарных виртуальных видеокамер при использовании одной поворотной (PTZ) видеокамеры
TW201314585A (zh) 影像監控系統及其操作方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20741580

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20741580

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 07.09.2021)

122 Ep: pct application non-entry in european phase

Ref document number: 20741580

Country of ref document: EP

Kind code of ref document: A1