WO2021083141A1 - 辅助查验机器人以及包括该机器人的辅助查验机器人系统 - Google Patents

辅助查验机器人以及包括该机器人的辅助查验机器人系统 Download PDF

Info

Publication number
WO2021083141A1
WO2021083141A1 PCT/CN2020/123975 CN2020123975W WO2021083141A1 WO 2021083141 A1 WO2021083141 A1 WO 2021083141A1 CN 2020123975 W CN2020123975 W CN 2020123975W WO 2021083141 A1 WO2021083141 A1 WO 2021083141A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
inspection
robot
video
auxiliary inspection
Prior art date
Application number
PCT/CN2020/123975
Other languages
English (en)
French (fr)
Inventor
陈志强
李元景
崔锦
胡斌
李金路
王海
凌忠奇
彭志
胡煜
林东
吉东旭
王志勇
罗大勇
张清
刘春辉
Original Assignee
清华大学
同方威视技术股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 清华大学, 同方威视技术股份有限公司 filed Critical 清华大学
Publication of WO2021083141A1 publication Critical patent/WO2021083141A1/zh

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/006—Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass

Definitions

  • the manual inspection business of the customs is in a human-oriented state
  • the inspection platform is an open space
  • the inspection means is mainly manual inspection
  • the equipment inspection is supplemented
  • the individual PAD is used to realize the information interaction with the inspection management system.
  • the current customs inspection process mainly has the following phenomena and characteristics.
  • Another purpose of the present disclosure is to provide an auxiliary inspection robot system, which is helpful for a more comprehensive auxiliary customs staff to perform customs inspection work.
  • the inspection equipment integration unit is used to perform the inspection of the inspected objects
  • the environmental safety detection unit is used to perform the safety detection of the environment in which the inspected object is located;
  • the robot may further include: a movable chassis for moving the robot; and a housing, which is provided on the movable chassis, for accommodating the inspection equipment integration unit, the environmental safety detection unit, video and image acquisition Unit, communication unit and main control unit.
  • the robot may further include: a basic intelligent auxiliary inspection unit with a knowledge base built inside; wherein the basic intelligent auxiliary inspection unit captures the inspection object and/or the auxiliary inspection robot according to the video and image acquisition unit.
  • the video/image of the environment is queried, compared and analyzed in the knowledge base, and then the analysis results and/or operation suggestions are output.
  • the video/image of the inspected object taken by the video and image acquisition unit and/or the environment where the auxiliary inspection robot is located includes: trademark image, label image, transportation logo image, hazardous chemical identification of the inspected object At least one of the image, the box number image, the seal image, the image of the inspected object, and the image of the container containing the inspected object; the extended intelligent auxiliary inspection unit of the remote inspection management system or the basic intelligent auxiliary inspection unit of the robot compares the image Perform analysis.
  • the extended intelligent auxiliary inspection unit of the remote inspection management system is used to analyze the video and the images/videos taken by the image acquisition unit;
  • the basic intelligent auxiliary inspection unit of the auxiliary inspection robot is used to analyze the video and the image/video taken by the image acquisition unit.
  • the inspection equipment integrated unit may include at least one of a Raman detection device, a polymer component screening device, and a harmful element content detection device.
  • the robot may further include: a communication unit, which receives data and/or instructions from the remote inspection management system, and sends data to the remote inspection management system, and the main control unit processes the data from the remote inspection management system And/or instructions.
  • a communication unit which receives data and/or instructions from the remote inspection management system, and sends data to the remote inspection management system, and the main control unit processes the data from the remote inspection management system And/or instructions.
  • the remote inspection management system may further include: an extended intelligent auxiliary inspection unit, the extended intelligent auxiliary inspection unit is built with a knowledge base, and the basic intelligent auxiliary inspection unit is expanded according to the video and image acquisition unit to capture inspection objects and/or The video/image that assists in the inspection of the environment in which the robot is located is queried, compared and analyzed in the knowledge base, and then the analysis results and/or operation suggestions are output.
  • an extended intelligent auxiliary inspection unit the extended intelligent auxiliary inspection unit is built with a knowledge base
  • the basic intelligent auxiliary inspection unit is expanded according to the video and image acquisition unit to capture inspection objects and/or The video/image that assists in the inspection of the environment in which the robot is located is queried, compared and analyzed in the knowledge base, and then the analysis results and/or operation suggestions are output.
  • the intelligent auxiliary inspection robot has a built-in safety module to realize real-time online detection of toxic and harmful gases and nuclear radiation, and comprehensively guarantee the safety of customs staff.
  • FIG. 2 is a schematic block diagram of a centralized management unit in the auxiliary inspection robot system according to an exemplary embodiment of the present disclosure to centrally manage multiple auxiliary inspection robots;
  • FIG. 3 is a schematic diagram of a three-dimensional structure of an auxiliary inspection robot according to an exemplary embodiment of the present disclosure
  • FIG. 5 is a schematic diagram of the front structure of an auxiliary inspection robot according to an exemplary embodiment of the present disclosure
  • an auxiliary inspection robot which at least includes: an inspection equipment integration unit for performing inspections on an inspected object; and an environmental safety detection unit for performing inspections on the environment in which the inspected object is located.
  • Security detection used to collect and analyze the video and/or image of the environment in which the inspected object and/or auxiliary inspection robot is located; communication unit, receive data and/or instructions from the remote inspection management system , And send data to the remote inspection management system; and a main control unit for controlling the inspection equipment integration unit, the environmental safety detection unit, the video and image acquisition unit, and the communication unit, and processing data from the inspection equipment
  • the data and/or signals of the integration unit, the environmental safety detection unit, and the video and image acquisition unit process data and/or instructions from the remote inspection management system.
  • the robot may further include: a human-computer interaction unit, which is used to perform human-computer interaction between the auxiliary inspection robot and a user (such as a customs worker); wherein the main control unit is also used to control the human-computer interaction unit, And process data and/or signals from the human-computer interaction unit.
  • a human-computer interaction unit which is used to perform human-computer interaction between the auxiliary inspection robot and a user (such as a customs worker); wherein the main control unit is also used to control the human-computer interaction unit, And process data and/or signals from the human-computer interaction unit.
  • the robot may not have a human-computer interaction unit.
  • the human-computer interaction can be implemented through a centralized management unit that communicates with the robot.
  • the robot may further include: a basic intelligent auxiliary inspection unit with a knowledge base built inside; wherein the basic intelligent auxiliary inspection unit captures the inspection object and/or the auxiliary inspection robot according to the video and image acquisition unit.
  • the video/image of the environment is queried, compared and analyzed in the knowledge base, and then the analysis results and/or operation suggestions are output.
  • the video/image of the inspected object taken by the video and image acquisition unit and/or the environment where the inspection assisting robot is located may include: trademark image, label image, transportation logo image, hazardous chemicals of the inspected object At least one of the identification image, the box number image, and the seal image, the image of the inspected object, and the image of the container containing the inspected object; the extended intelligent auxiliary inspection unit of the remote inspection management system or the basic intelligent auxiliary inspection unit of the robot The image is analyzed.
  • the surveillance video/image of the inspected object taken by the video and image acquisition unit and/or the environment in which the inspection assisting robot is located may include: images and videos of personnel at the boxing site, and/or the boxing site The images and videos of the personnel; the extended intelligent auxiliary inspection unit of the remote inspection management system or the basic intelligent auxiliary inspection unit of the robot analyze the images and videos.
  • the robot may further include: a sensing and perception unit for acquiring environmental information of the auxiliary inspection robot, and sending data and/or signals about the environmental information to the navigation control unit And a navigation control unit for controlling the movement of the auxiliary inspection robot according to the environmental information sent by the sensing and perception unit.
  • the navigation control unit may include: a controller, a motor driver, and a safety module; and the sensing and perception unit may include: a laser radar, a laser array, an obstacle avoidance ultrasonic array, and a 3D depth camera installed on the robot At least one of them.
  • the robot may further include: a power management unit for providing power and performing power management, wherein the power management unit includes a battery pack, a battery pack management module, a battery charging module, a power supply module, and power exchange Module.
  • a power management unit for providing power and performing power management, wherein the power management unit includes a battery pack, a battery pack management module, a battery charging module, a power supply module, and power exchange Module.
  • the inspection equipment integrated unit may include at least one of a Raman detection device, a polymer component screening device, and a harmful element content detection device.
  • the video and image acquisition unit may include a camera, a pan-tilt camera, and an infrared thermal imager set on the robot.
  • the video and image acquisition unit may further include a lidar sensor.
  • the communication unit may include: a wireless AP device for communicating with a remote inspection management system; a 4G or 5G wireless network for online interaction with the Internet; and a local area network switch for interconnection and intercommunication within the robot.
  • an auxiliary inspection robot may include: an inspection device integration unit for performing an inspection of the physical and chemical properties of an inspected object; and a video and image acquisition unit for Collect videos/images of the environment in which the inspected object and/or the auxiliary inspection robot is located; the basic intelligent auxiliary inspection unit, which builds a knowledge base internally, and the basic intelligent auxiliary inspection unit shoots the inspection object and/or auxiliary according to the video and image acquisition unit
  • the video/image of the environment where the inspection robot is located is queried, compared and analyzed in the knowledge base, and then the analysis results and/or operation suggestions are output; and the main control unit is used to control the inspection equipment integration unit, the video and An image acquisition unit and a basic intelligent auxiliary inspection unit, and process data and/or signals from the inspection equipment integration unit, the video and image acquisition unit, and the basic intelligent auxiliary inspection unit.
  • an auxiliary inspection robot system including: at least one auxiliary inspection robot according to any one of the preceding embodiments; and a remote inspection management system, including a system for managing the at least one auxiliary inspection The centralized management unit of the robot.
  • the auxiliary inspection robot system 10 includes a remote inspection management system 30 and at least one auxiliary inspection robot 20.
  • the auxiliary inspection robot 20 includes: an inspection equipment integration unit 110, an environmental safety detection unit 1230 composed of a toxic and hazardous gas detection module 120 and a nuclear radiation monitoring module 130, a communication unit 300, a video and image acquisition unit 140, and a main Control unit 200.
  • the remote inspection management system 30 includes a centralized management unit 500 and an extended intelligent auxiliary inspection unit 920.
  • the auxiliary inspection robot may also include: a human-computer interaction unit 400, a movable chassis 700, a navigation control unit 600, a sensing and perception unit 610, and a power management unit 800.
  • the main control unit 200 communicates with other units or unit components in the robot through the communication unit 300.
  • the above-mentioned units or unit components communicate and integrate into the auxiliary inspection robot 100. That is, the centralized management unit 500 and the extended intelligent auxiliary inspection unit 920 in the remote inspection management system 30 can be physically independent of the auxiliary inspection robot 100, and communicate with one or more auxiliary inspection robots 100 through the communication unit 300 to achieve The management, scheduling, and command of one or more auxiliary inspection robots 100 are as shown in FIG. 2.
  • the inspection equipment integration unit 110 in FIG. 1 is used to perform inspections on inspected objects (for example, customs clearance goods).
  • the inspection equipment integration unit 110 includes, but is not limited to: Raman, rapid polymer component screening, hazardous element content detection and other types of inspection technology equipment, which can realize commodity radioactivity (i.e., radioactivity detection of the inspected object itself), abnormal smell, Inclusion content, appearance traits, etc. are identified to assist rapid on-site determination, and automatically generate "on-site rapid screening records”.
  • the environmental safety detection unit 1230 in FIG. 1 is used to perform safety detection of the environment in which the auxiliary inspection robot is located. That is, the environmental safety detection unit 1230 is used to detect the safety status of a specific area or space where the object to be detected is placed or accommodated, for example, to detect whether there is toxic and harmful gas or radioactive radiation in the container that accommodates the object to be detected.
  • the auxiliary inspection robot equipped with the auxiliary inspection robot system can enter the environment with dangerous radiation possibility that is not suitable for the user to enter by itself, and perform the safety inspection of the environment.
  • the environmental safety detection unit 1230 may be composed of a toxic and harmful gas detection module 120 and a nuclear radiation monitoring module 130.
  • the video and image acquisition unit 140 in FIG. 1 includes but is not limited to: 1 set of 360° (or 4*90°, where 360° or 90° refers to the field of view) high-definition camera, 1 liftable pan/tilt camera (with 360° horizontal rotation, ⁇ 90° pitch), infrared thermal imager and other network video surveillance equipment and hard disk video recorder are interconnected, and the image acquisition also includes a 3D lidar sensor, which can simultaneously collect on-site three-dimensional environmental data.
  • the main control unit 200 in Figure 1 includes, but is not limited to: an algorithm workstation that provides local algorithm deployment and assists in robot interaction, manipulation, instruction input and decomposition, task management and planning, integrated management of inspection equipment, centralized camera data processing, etc. Core industrial computer supported by related businesses.
  • the human-computer interaction unit 400 in FIG. 1 includes, but is not limited to: a voice interaction system, a touch display screen, voice intercom and broadcast, touch buttons, sound and light warning lights, etc.
  • the sensing and sensing unit 610 in FIG. 1 includes, but is not limited to, sensors such as lidar, laser array, obstacle avoidance ultrasonic array, laser array, 3D depth camera, etc. These sensors collect and process data related to the environment, and combine these data Provided to the navigation control unit described below.
  • the navigation control unit 600 in FIG. 1 includes, but is not limited to: a controller, a motor driver controlled by the controller, a safety module (including emergency stop switches, circuit breakers, contactors, etc.) and other navigation-related stand-alone devices. These stand-alone devices Connect with the controller in the navigation control unit, and perform data processing by the controller. Finally, the controller completes SLAM (real-time positioning and map construction), navigation positioning, path planning, obstacle avoidance and fall detection, mobile walking, safe emergency stop, etc. Bottom navigation function.
  • the navigation control unit 600 processes the related data collected by the sensing and sensing unit 610 or uses the related data collected by the sensing and sensing unit 610 as a data basis for robot navigation control.
  • the power management unit 800 in FIG. 1 includes, but is not limited to: a battery pack and a battery pack management module, a battery charging module, a power supply module, and a power exchange module that provide electric energy for the robot.
  • the present disclosure also provides an auxiliary inspection robot with the aforementioned auxiliary inspection robot system.
  • the auxiliary inspection robot includes at least: a main body with a movable chassis; and the aforementioned auxiliary inspection robot system provided on the main body.
  • the inspection equipment integrated unit may include, but is not limited to, at least one of a Raman inspection technology device, a polymer component rapid screening device, a harmful element content detection device, etc., provided on the main body.
  • the video and image acquisition unit may include, but is not limited to, at least one of a camera, a pan-tilt camera, an infrared thermal imager, a lidar sensor, etc., which are arranged on the main body.
  • the human-computer interaction unit may include, but is not limited to, at least one of a voice interaction subsystem, a touch display screen, a touch button, and a sound and light warning light provided on the main body.
  • the navigation control unit may include, but is not limited to, a controller, a motor driver, and a safety module installed on the main body; and the sensing and perception unit may include, but is not limited to, a lidar, an obstacle avoidance ultrasonic array, and a 3D depth camera installed on the main body. At least one of them.
  • the power management unit may include, but is not limited to, at least one of a battery pack, a battery pack management module, a battery charging module, a power supply module, and a power exchange module provided on the main body.
  • the toxic and harmful gas detection module in the environmental safety detection unit may include, but is not limited to, at least one of a configurable online gas detection sensor provided on the main body and the like.
  • the nuclear radiation monitoring module in the environmental safety detection unit may include, but is not limited to, at least one of a radioactive substance detector and the like provided on the main body.
  • the communication unit includes at least one of an internal local area network switch, a router, a wireless AP network device, and a 4G wireless network device provided on the main body.
  • the movable chassis is arranged below the main body, and the movable chassis may include, but is not limited to, driving wheels and driven wheels.
  • the inspection assistant robot 100 includes: a main body 100a having a movable chassis 700; and the aforementioned inspection assistant robot system provided on the main body 100a.
  • a movable chassis 700 is provided at the bottom of the main body 100a, the movable chassis 700 is provided with a driving wheel 702 and a driven wheel 703, and the movable chassis 700 may be provided with Automatic charging port 701 connected to an external power source.
  • the front of the main body 100a is provided with a bright touch screen 101 as an interactive interface, a speaker 102 for audio output, a 3D depth camera 112 for video and image capture, and a sensor for sensing And the sensing ultrasonic sensor 113 and the anti-drop sensor 114.
  • the top of the main body 100a is provided with a pan-tilt camera 103 for video and image collection, a 4*90° web camera 104, a 3D lidar 105, a 4-Mike language interactive board 106, and the like.
  • the side of the main body 100a is provided with an inspection equipment integration unit accommodating space 107 (it should be noted that in the illustrated embodiment, the inspection equipment integration unit 100 may be a detection device independent of the robot body , It is placed in the accommodating space denoted by the reference number 107.
  • the communication unit 300 may include LAN switches and router units for the internal interconnection of the robot, wireless AP devices for the interconnection and intercommunication of the robot and the centralized management unit, etc., and may also include the online interaction between the robot and the Internet. 4G wireless network and so on.
  • the back of the main body 100a may be provided with an emergency stop switch 115, an interactive button 116, a heat dissipation port 117, and the like.
  • the basic functions of the customs auxiliary inspection robot and the auxiliary inspection robot system including the robot include but are not limited to the following content.
  • the robot is designed with a radioactivity detection unit to monitor the level of radioactivity.
  • a radioactivity detection unit can be equipped with biochemical detection according to the site conditions to achieve nuclear, biochemical and other hazard identification;
  • a dangerous gas monitoring unit is designed inside, which can be manually inserted into the container, and the detection box is toxic Whether the gas concentration is below the safety limit, real-time online monitoring is provided to monitor the concentration of poisonous gas in the inspection area to ensure the safety of personnel.
  • Sealed box number recognition equipped with a fixed high-definition camera to automatically take pictures of the box number and lead number. Automatically recognize the box number and seal number in the image according to the photo, and automatically compare it with the customs declaration.
  • Intelligent auxiliary inspection An expert knowledge base is built in the system, and the expert knowledge base can be intelligently searched by looking for pictures from pictures, and the images are automatically compared with tags/identifications to complete intellectual property infringement inspections. Automatic identification and comparison of marks and customs declarations, optimization of equipment recommendation, sensitive information query and prompt, real-time entry of results, complete all-round intelligent auxiliary inspection, and improve the standardization of inspection operations, the effectiveness of inspection results, and the pertinence of the inspection process.
  • On-site preliminary screening It can integrate various inspection technologies and equipment such as Raman, rapid polymer component screening, hazardous element content detection, etc., to identify product radioactivity, abnormal odor, inclusion content, appearance characteristics, etc., to assist in rapid on-site determination, Automatically generate "on-site quick screening record form".
  • Voice interaction can be performed with the robot, and the robot can also be issued and controlled by voice commands on the robot side. At the same time, during the inspection process, the robot can also be used for auxiliary inspection service queries and other tasks through voice commands.
  • Face recognition Through face recognition, the inspection area is accompanied by inspection behavior control, and the freight forwarding tracking inspection system is strictly regulated.
  • the robot is equipped with a large-size touch LCD screen, full-color LED lights, full-frequency speakers and other smart devices, which can provide data and instruction interaction between people and machines.
  • a large-size touch LCD screen full-color LED lights, full-frequency speakers and other smart devices, which can provide data and instruction interaction between people and machines.
  • the customs-assisted inspection robot provided in this disclosure and the customs-assisted inspection robot system including the robot are deeply integrated with various customs business processes, aiming at the actual needs of port customs manual inspection and law enforcement, and integrating artificial intelligence technology and high-tech inspection of artificial intelligence technology. equipment.
  • the customs auxiliary inspection robot system is mainly for the on-site manual inspection personnel of the customs, assisting the manual inspection process, ensuring the personal safety of the inspectors, reducing the labor burden, improving working conditions, and improving work efficiency.
  • the customs-assisted inspection robot system can conduct real-time online detection of harmful gases, nuclear, biological and chemical substances to ensure personnel safety; conduct preliminary on-site inspections of commodities and goods such as chemicals and metal materials that are not easily recognized by human eyes Identification can reduce the frequency of sampling and delivery and improve the pertinence of inspection.
  • customs-assisted inspection robot provided by the embodiments of the present disclosure and the customs-assisted inspection robot system including the robot can at least realize the following functions and innovations.
  • the robot has a variety of intelligent auxiliary functions, including seal recognition, face recognition, box number recognition, toxic and hazardous gas detection, nuclear radiation monitoring, box removal instruction review, infringement recognition, product information prompt, customs declaration information query, and tax regulations Inquiry, video surveillance, on-site preliminary screening and other functions that are deeply integrated with the customs business, intelligently assist the customs and customs staff to complete the inspection business.
  • robots as the carrier, through the integration of dangerous goods detection, nuclear, biological and chemical explosion detection, substance identification, law enforcement record and other functions, it realizes effective safety monitoring and substance detection in the inspection process, and effectively guarantees the safety of personnel.
  • the robot has the function of face recognition, which can realize the intelligent management of personnel behavior during the inspection; the robot has image recognition, which can realize effective control of the entire inspection process for the supervision of loading and unloading, law enforcement supervision, and the site, personnel, and materials.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

一种辅助查验机器人，包括：查验设备集成单元（110），用于执行对被查验对象的查验；环境安全检测单元（1230），用于执行对被查验对象所处的环境的安全检测；视频和图像采集单元（140），用于采集对被查验对象所处的环境的视频/图像；通信单元（300）；和主控单元（200），用于控制查验设备集成单元（110）、环境安全检测单元（1230）、视频和图像采集单元（140）以及通信单元（300），并且处理来自查验设备集成单元（110）、环境安全检测单元（1230）以及视频和图像采集单元（140）的数据和/或信号，处理来自远程查验管理系统（30）的数据和/或指令。还涉及一种包括该机器人的辅助查验机器人系统。

Description

辅助查验机器人以及包括该机器人的辅助查验机器人系统
相关申请的交叉引用
本公开要求于2019年10月30日向中国国家知识产权局递交的中国专利申请201921856591.7以及2020年4月20日向中国国家知识产权局递交的中国专利申请202010314567.1的权益，该申请的公开内容通过引用整体并入本公开中。
技术领域
本公开涉及海关查验技术领域，尤其涉及一种用于海关查验的辅助查验机器人以及包括该机器人的辅助查验机器人系统。
背景技术
目前海关的人工查验业务处于以人为主的状态，查验平台为开放式空间，查验手段上以手工检查为主，设备检查为辅，使用单兵PAD实现与查验管理系统的信息交互。当前的海关查验环节主要存在以下现象和特点。
a)开放式区域存在监管风险。查验场地为开放式作业区，缺乏人员信息核实的技术手段，无法实现对人员进出的有效控制，进入作业区的人员混杂，存在偷、换货风险。
b)查验设备应用效能不高，难以满足新形势下海关防控安全准入风险要求。查验手段以手工检查为主，设备检查为辅，查验设备种类少、使用率低，不利于进一步提升监管查验效能。
c)信息化支撑不足。目前，现场查验作业已使用移动查验单兵作业系统，但该系统对于监管制度规范、商品知识、查验技巧等方面支撑不够，特别是在“查检合一”业务融合后，检验检疫对商品监管专业性要求更高，需要应用人工智能等技术提供更加系统全面、便捷高效的辅助支持。同时，查验管理系统、执法记录仪、固定视频监控、手持式查验装备等缺少系统整合和信息互联互通。
发明内容
本公开旨在克服或者减轻上述现有使技术中存在的至少一个或多个技术问题。
本公开的至少一个目的在于提供一种辅助查验机器人，有助于较为全面的辅助海关工作人员执行海关查验工作。
本公开的另一个目的在于提供一种辅助查验机器人系统，有助于较为全面的辅助海关工作人员执行海关查验工作。
根据本公开的一个方面，提供了一种辅助查验机器人，包括：
查验设备集成单元，用于执行对被查验对象的查验；
环境安全检测单元，用于执行对被查验对象所处的环境的安全检测；
视频和图像采集单元，用于采集对被查验对象和/或辅助查验机器人所处的环境的视频和/或图像；
通信单元，接收来自远程查验管理系统的数据和/或指令，并向远程查验管理系统发送数据；和
主控单元，用于控制查验设备集成单元、环境安全检测单元、视频和图像采集单元以及通信单元，并且处理来自查验设备集成单元、环境安全检测单元以及视频和图像采集单元的数据和/或信号，处理来自远程查验管理系统的数据和/或指令。
在一些实施例中，该机器人还可以包括：可移动底盘，用于使机器人移动；和壳体，设置在可移动底盘上，用于容纳查验设备集成单元、环境安全检测单元、视频和图像采集单元、通信单元以及主控单元。
在一些实施例中，该机器人还可以包括：人机交互单元，用于执行辅助查验机器人与用户的人机交互；其中，主控单元还用于控制人机交互单元，并且处理来自人机交互单元的数据和/或信号。
在一些实施例中，该机器人还可以包括：基本智能辅助查验单元，内部构建有知识库；其中，基本智能辅助查验单元根据视频和图像采集单元拍摄的查验对象和/或辅助查验机器人所处的环境的视频/图像在该知识库中查询比对并进行分析，然后输出分析结果和/或操作建议。
在一些实施例中，视频和图像采集单元拍摄的被查验对象和/或辅助 查验机器人所处的环境的视频/图像包括：被查验对象的商标图像、标签图像、运输标志图像、危化品标识图像、箱号图像、封志图像中的至少一种、被查验对象的图像、以及容纳查验对象的容器的图像；远程查验管理系统的扩展智能辅助查验单元或者机器人的基本智能辅助查验单元对图像进行分析。
在一些实施例中，视频和图像采集单元拍摄的被查验对象和/或辅助查验机器人所处的环境的监控视频/图像包括：掏箱现场的人员的图像和视频、和/或装箱现场的人员的图像和视频；远程查验管理系统的扩展智能辅助查验单元或者机器人的基本智能辅助查验单元对图像和视频进行分析。
在一些实施例中，当辅助查验机器人能够通过通信单元与远程查验管理系统进行通信时，采用远程查验管理系统的扩展智能辅助查验单元对视频和图像采集单元拍摄的图像/视频进行分析；当辅助查验机器人不能与远程查验管理系统进行通信时，采用辅助查验机器人的基本智能辅助查验单元对视频和图像采集单元拍摄的图像/视频进行分析。
在一些实施例中，该机器人还可以包括：传感与感知单元，用于获取辅助查验机器人的环境信息，并且将关于环境信息的数据和/或信号发送至导航控制单元；和导航控制单元，用于根据传感与感知单元发送的环境信息控制辅助查验机器人的移动。
在一些实施例中，该机器人还可以包括：导航控制单元包括：控制器、电机驱动器和安全模块；和传感与感知单元包括：设置在机器人上的激光雷达、激光阵列、避障超声阵列和3D深度相机中的至少一个。
在一些实施例中，该机器人还可以包括：电源管理单元，用于提供电力并且执行电源管理；其中，电源管理单元包括蓄电池组、电池组管理模块、蓄电池充电模块、供电模块和电源交换模块。
在一些实施例中，环境安全检测单元进一步可以包括：有毒有害气体检测模块，用于执行对被查验对象所处的环境的有毒有害气体检测；和核辐射监测模块，用于执行对被查验对象所处的环境的核辐射监测。
在一些实施例中，有毒有害气体检测模块可以包括：设置在机器人上的在线式气体检测传感器，气体检测传感器的气路输入口位置设置有可插 入容器内部的探针装置；核辐射监测模块可以包括：设置在机器人上的放射性物质检测仪。
在一些实施例中，查验设备集成单元可以包括：拉曼检测装置、聚合物组分筛查装置和有害元素含量检测装置中的至少一种。
在一些实施例中，视频和图像采集单元可以包括：设置在机器人上的摄像头、云台摄像机和红外热像仪。
在一些实施例中，视频和图像采集单元还可以包括：激光雷达传感器。
在一些实施例中，通信单元可以包括：无线AP设备，用于和远程查验管理系统通信；4G或5G无线网络，用于和互联网在线交互；和局域网交换机，用于机器人内部的互联互通。
根据本公开的另一个方面，提供了一种辅助查验机器人，包括：查验设备集成单元，用于执行对被查验对象的物理化学特性的查验；视频和图像采集单元，用于采集对被查验对象和/或辅助查验机器人所处的环境的视频/图像；基本智能辅助查验单元，内部构建有知识库，基本智能辅助查验单元根据视频和图像采集单元拍摄的查验对象和/或辅助查验机器人所处的环境的视频/图像在知识库中查询比对并进行分析，然后输出分析结果和/或操作建议；和主控单元，用于控制查验设备集成单元、视频和图像采集单元以及基本智能辅助查验单元，并且处理来自查验设备集成单元、视频和图像采集单元以及基本智能辅助查验单元的数据和/或信号。
在一些实施例中，该机器人还可以包括：环境安全检测单元，用于执行对被查验对象所处的环境的安全检测。
在一些实施例中，该机器人还可以包括：通信单元，通信单元接收来自远程查验管理系统的数据和/或指令，并向远程查验管理系统发送数据，主控单元处理来自远程查验管理系统的数据和/或指令。
根据本公开的又一个方面，提供了一种辅助查验机器人系统，包括：至少一个如任一前述实施例所述的辅助查验机器人；和远程查验管理系统，包括用于管理至少一个辅助查验机器人的集中管理单元。
在一些实施例中，远程查验管理系统还可以包括：扩展智能辅助查验单元，扩展智能辅助查验单元内部构建有知识库，扩展基本智能辅助查验单元根据视频和图像采集单元拍摄的查验对象和/或辅助查验机器人所处 的环境的视频/图像在该知识库中查询比对并进行分析，然后输出分析结果和/或操作建议。
本公开至少取得了如下技术效果：
1、将海关人工查验业务与机器人功能集成于一体，能够更好的服务于海关海关工作人员，协助完成海关查验现场人工查验任务，降低人员劳动强度和避免人员因重复性劳作带来的弊端。
2、智能辅助查验机器人内置安全模块，实现有毒有害气体、核辐射的实时在线检测，全方位保障海关工作人员安全。
3、智能辅助查验机器人可以通过多种技术手段缩短海关工作人员现场工作时间，仅在核心的查验环节，需要海关工作人员在现场，提高查验效率；整个查验过程实现语音交互，减少手工输入，查验信息自动记录、上传；查验完成后自动生成查验报告。
4、智能辅助查验机器人能够实现箱号、封志智能识别、核验；商品信息智能比对，提供知识产权侵权提示；提供专家知识库、历史数据自动比对分析和以图找图功能，协助海关工作人员快速、准确完成查验；通过不断丰富知识库，不断自主学习，能够越来越“智能”的辅助海关工作人员做到“精准查验”。
本公开能够实现的其它发明目的以及可以取得的其它技术效果将在下述的具体实施方式中结合对具体实施例的描述和附图的示意进行阐述。
附图说明
为了让本公开的上述和其它目的、特征及优点能更加明显易懂，下面结合附图和具体实施方式对本公开作进一步说明。
图1是根据本公开示例性实施例的一种辅助查验机器人系统的架构框图；
图2是根据本公开示例性实施例的辅助查验机器人系统中的集中管理单元集中管理多个辅助查验机器人的示意性框图；
图3是根据本公开示例性实施例的一种辅助查验机器人的立体结构示意图；
图4是根据本公开示例性实施例的一种辅助查验机器人的侧面结构示 意图；
图5是根据本公开示例性实施例的一种辅助查验机器人的正面结构示意图；
图6是根据本公开示例性实施例的一种辅助查验机器人的另一侧面结构示意图；和
图7是根据本公开示例性实施例的一种辅助查验机器人的背面结构示意图。
具体实施方式
下面详细描述本公开的具体实施例，所述具体实施例的示例在附图中示出，其中自始至终相同的标号表示相同或相似的元件。下面参考附图描述的具体实施例是示例性的，旨在解释本公开，而不能解释为对本公开的一种限制。
根据本公开的一个方面，提供了一种辅助查验机器人，至少包括：查验设备集成单元，用于执行对被查验对象的查验；环境安全检测单元，用于执行对被查验对象所处的环境的安全检测；视频和图像采集单元，用于采集和分析对被查验对象和/或辅助查验机器人所处的环境的视频和/或图像；通信单元，接收来自远程查验管理系统的数据和/或指令，并向远程查验管理系统发送数据；和主控单元，用于控制所述查验设备集成单元、所述环境安全检测单元、所述视频和图像采集单元以及通信单元，并且处理来自所述查验设备集成单元、所述环境安全检测单元以及所述视频和图像采集单元的数据和/或信号，处理来自远程查验管理系统的数据和/或指令。
在一些实施例中，该机器人还可以包括：用于使机器人移动的可移动底盘；和设置在可移动底盘上的壳体，用于容纳查验设备集成单元、环境安全检测单元、视频和图像采集单元、通信单元以及主控单元。
在一些实施例中，该机器人还可以包括：人机交互单元，用于执行辅助查验机器人与用户(例如海关工作人员)的人机交互；其中，主控单元还用于操控人机交互单元，并且处理来自人机交互单元的数据和/或信号。当然，在机器人也可不具有人机交互单元，这时可通过与机器人通信的集 中管理单元实施人机交互。
在一些实施例中，该机器人还可以包括：基本智能辅助查验单元，内部构建有知识库；其中，基本智能辅助查验单元根据视频和图像采集单元拍摄的查验对象和/或辅助查验机器人所处的环境的视频/图像在该知识库中查询比对并进行分析，然后输出分析结果和/或操作建议。
在一些实施例中，视频和图像采集单元拍摄的被查验对象和/或辅助查验机器人所处的环境的视频/图像可以包括：被查验对象的商标图像、标签图像、运输标志图像、危化品标识图像、箱号图像、封志图像中的至少一种、被查验对象的图像、以及容纳查验对象的容器的图像；远程查验管理系统的扩展智能辅助查验单元或者机器人的基本智能辅助查验单元对所述图像进行分析。
在一些实施例中，视频和图像采集单元拍摄的被查验对象和/或辅助查验机器人所处的环境的监控视频/图像可以包括：掏箱现场的人员的图像和视频、和/或装箱现场的人员的图像和视频；远程查验管理系统的扩展智能辅助查验单元或者机器人的基本智能辅助查验单元对所述图像和视频进行分析。
在一些实施例中，当辅助查验机器人能够通过通信单元与远程查验管理系统进行通信时，采用远程查验管理系统的扩展智能辅助查验单元对视频和图像采集单元拍摄的图像/视频进行分析；当辅助查验机器人不能与远程查验管理系统进行通信时，采用辅助查验机器人的基本智能辅助查验单元对视频和图像采集单元拍摄的图像/视频进行分析。
在一些实施例中，该机器人还可以包括：传感与感知单元，用于获取所述辅助查验机器人的环境信息，并且将关于所述环境信息的数据和/或信号发送至所述导航控制单元；和导航控制单元，用于根据传感与感知单元发送的环境信息控制所述辅助查验机器人的移动。
在一些实施例中，导航控制单元可以包括：控制器、电机驱动器和安全模块；而传感与感知单元可以包括：设置在机器人上的激光雷达、激光阵列、避障超声阵列和3D深度相机中的至少一个。
在一些实施例中，该机器人还可以包括：电源管理单元，用于提供电力并且执行电源管理，其中，所述电源管理单元包括蓄电池组、电池组管 理模块、蓄电池充电模块、供电模块和电源交换模块。
在一些实施例中，该机器人中的环境安全检测单元可以进一步包括：有毒有害气体检测模块，用于执行对被查验对象所处的环境的有毒有害气体检测；和核辐射监测模块，用于执行对被查验对象所处的环境的核辐射监测。
在一些实施例中，有毒有害气体检测模块可以包括：设置在机器人上的在线式气体检测传感器，气体检测传感器的气路输入口位置设置有可插入容器内部的探针装置；而核辐射监测模块包括：设置在机器人上的放射性物质检测仪。
在一些实施例中，查验设备集成单元可以包括：拉曼检测装置、聚合物组分筛查装置和有害元素含量检测装置中的至少一种。
在一些实施例中，视频和图像采集单元可以包括：设置在机器人上的摄像头、云台摄像机和红外热像仪。
在一些实施例中，视频和图像采集单元还可以包括：激光雷达传感器。
在一些实施例中，通信单元可以包括：无线AP设备，用于和远程查验管理系统通信；4G或5G无线网络，用于和互联网在线交互；和局域网交换机，用于机器人内部的互联互通。
根据本公开的另一各方面，提供了一种辅助查验机器人，所述机器人可以包括：查验设备集成单元，用于执行对被查验对象的物理化学特性的查验；视频和图像采集单元，用于采集对被查验对象和/或辅助查验机器人所处的环境的视频/图像；基本智能辅助查验单元，内部构建知识库，基本智能辅助查验单元根据视频和图像采集单元拍摄的查验对象和/或辅助查验机器人所处的环境的视频/图像在知识库中查询比对并进行分析，然后输出分析结果和/或操作建议；和主控单元，用于控制所述查验设备集成单元、所述视频和图像采集单元以及基本智能辅助查验单元，并且处理来自所述查验设备集成单元、所述视频和图像采集单元以及基本智能辅助查验单元的数据和/或信号。
在一些实施例中，所述机器人还可以包括：环境安全检测单元，用于执行对被查验对象所处的环境的安全检测。
在一些实施例中，所述机器人还可以包括：通信单元，所述通信单元 接收来自远程查验管理系统的数据和/或指令，并向远程查验管理系统发送数据，所述主控单元处理来自远程查验管理系统的数据和/或指令。
根据本公开的又一个方面，提供了一种辅助查验机器人系统，包括：至少一个如任一前述实施例所述的辅助查验机器人；和远程查验管理系统，包括用于管理所述至少一个辅助查验机器人的集中管理单元。
在一些实施例中，所述远程查验管理系统还包括：扩展智能辅助查验单元，所述扩展智能辅助查验单元内部构建知识库，所述扩展基本智能辅助查验单元根据视频和图像采集单元拍摄的查验对象和/或辅助查验机器人所处的环境的视频/图像在该知识库中查询比对并进行分析，然后输出分析结果和/或操作建议。
参见图1，辅助查验机器人系统10包括远程查验管理系统30和至少一个辅助查验机器人20。其中，所述辅助查验机器人20包括：查验设备集成单元110、由有毒有害气体检测模块120和核辐射监测模块130构成的环境安全检测单元1230、通信单元300、视频和图像采集单元140、和主控单元200。所述远程查验管理系统30包括集中管理单元500和扩展智能辅助查验单元920。辅助查验机器人还可以包括：人机交互单元400、可移动底盘700、导航控制单元600、传感与感知单元610、和电源管理单元800。主控单元200通过通信单元300与机器人中的其它单元或单元组件通信。需要说明的是，除了远程查验管理系统30中的集中管理单元500和扩展智能辅助查验单元920之外，上述这些单元或单元组件通信集成到辅助查验机器人100中。也就是说，远程查验管理系统30中的集中管理单元500和扩展智能辅助查验单元920可以物理上独立于辅助查验机器人100，并通过通信单元300与一个或多个辅助查验机器人100进行通信以实现对一个或多个辅助查验机器人100的管理、调度和指挥，如图2所示。
图1中的查验设备集成单元110用于执行对被查验对象(例如海关过关货物)的查验。查验设备集成单元110包括但不限于：拉曼、聚合物组分快速筛查、有害元素含量检测等各类查验技术装备，可实现商品放射性(即被查验对象本身的放射性检测)、异常气味、夹杂物含量、外观性状等进行识别，辅助现场快速判定，自动生成“现场快速筛查记录表”。
图1中的环境安全检测单元1230用于执行对辅助查验机器人所处的 环境的安全检测。也就是说，环境安全检测单元1230用于检测放置或容纳待检测对象的特定区域或特定空间的安全状态，例如，检测容纳待检测对象的集装箱内是否存在有毒有害气体或放射性辐射。通过采用环境安全检测单元1230，配备有辅助查验机器人系统的辅助查验机器人可以自行进入不适合用户进入的具有危险辐射可能性的环境，并执行对该环境的安全检测。环境安全检测单元1230可以由有毒有害气体检测模块120和核辐射监测模块130构成。
图1中的有毒有害气体检测模块120包括但不限于：可配置的在线式气体检测传感器组成，传感器的气路输入口位置设计有可插入集装箱内部的探针装置，有毒有害气体传感器可对常见熏蒸剂(磷化氢、溴甲烷等)、工业常见有毒有害气体(一氧化氮、二氧化氮、氨气、硫化氢、可燃气体、有机挥发气体)等进行实时在线监测和告警。
图1中的核辐射监测模块130包括但不限于：由放射性物质检测仪，内部包含高灵敏度的伽马探测器及其可选配的中子探测器。
图1中的视频和图像采集单元140包括但不限于：1组360°(或4*90°，这里的360°或90°指视场角)高清摄像头、1台可升降云台相机(具备360°水平旋转，±90°俯仰)、红外热像仪等网络视频监控设备和硬盘录像机互联构成，同时图像采集还包括1台3D激光雷达传感器，可同步采集现场三维环境数据。
图1中的主控单元200包括但不限于：提供本地算法部署的算法工作站和辅助完成机器人交互、操控、指令输入和分解、任务管理和规划、查验设备集成管理、摄像头数据集中处理等所有机器人相关业务支持的核心工控机。
图1中的通信单元300包括但不限于：机器人内部互联互通的局域网交换机和路由器单元、机器人用于和集中管理单元互联互通的无线AP设备、机器人用于和互联网在线交互的4G无线网络三部分任意组合构成。
图1中的人机交互单元400包括但不限于：语音交互系统、触摸显示屏、语音对讲和广播、触控按钮、声光提示告警灯等。
图1中的可移动底盘700包括但不限于：能够驱动机器人行走的驱动轮装置、随动轮装置、减震装置及其相关结构件。
图1中的传感与感知单元610包括但不限于：激光雷达、激光阵列、避障超声阵列、激光阵列、3D深度相机等传感器，这些传感器采集和处理与环境相关的数据，并将这些数据提供至下面将要描述的导航控制单元。
图1中的导航控制单元600包括但不限于：控制器、以及由控制器控制的电机驱动器、安全模块(包括急停开关、断路器、接触器等)等导航相关的单机设备，这些单机设备与导航控制单元中的控制器连接，并由控制器进行数据处理，最终由控制器完成SLAM(实时定位与地图构建)、导航定位、路径规划、避障跌落检测、移动行走、安全急停等底层导航功能。导航控制单元600对传感与感知单元610采集的相关数据进行处理或将传感与感知单元610采集的相关数据作为机器人导航控制的数据基础。
图1中的电源管理单元800包括但不限于：为机器人提供电能的蓄电池组及其电池组管理模块、蓄电池充电模块、供电模块及其电源交换模块。
与此同时，本公开还提供一种具有前述辅助查验机器人系统的辅助查验机器人。辅助查验机器人至少包括：具有可移动底盘的主体；以及设置在主体上的、如前所述的辅助查验机器人系统。查验设备集成单元可以包括但不限于设置在主体上的拉曼查验技术装置、聚合物组分快速筛查装置和有害元素含量检测装置等中的至少一个。视频和图像采集单元可以包括但不限于设置在主体上的摄像头、云台摄像机、红外热像仪和激光雷达传感器等中的至少一个。人机交互单元可以包括但不限于设置在主体上的语音交互子系统、触摸显示屏、触控按钮和声光提示告警灯等中的至少一个。导航控制单元可以包括但不限于设置在主体上的控制器、电机驱动器和安全模块；而传感与感知单元可以包括但不限于设置在主体上的激光雷达、避障超声阵列和3D深度相机等中的至少一个。电源管理单元可以包括但不限于设置在主体上的蓄电池组、电池组管理模块、蓄电池充电模块、供电模块和电源交换模块中的至少一个。环境安全检测单元中的有毒有害气体检测模块可以包括但不限于设置在主体上的可配置的在线式气体检测传感器等中的至少一个。环境安全检测单元中的核辐射监测模块可以包括但不限于设置在主体上的放射性物质检测仪等中的至少一个。通信单元包括设置在所述主体上的内部局域网交换器、路由器、无线AP网络设备和4G无线网络设备中的至少一个。可移动底盘设置在主体的下方，并且可 移动底盘可以包括但不限于主动轮和从动轮。
参见图3至图7，该辅助查验机器人100包括：具有可移动底盘700的主体100a；以及设置在主体100a上的如前所述的辅助查验机器人系统。
如图3至图7所示，该辅助查验机器人100中，主体100a的底部设有可移动底盘700，可移动底盘700设有驱动轮702和从动轮703，并且可移动底盘700可设有用于与外部电源连接的自动充电口701。如图3至图6所示，主体100a的正面设有作为交互界面的高亮触摸显示屏101、用于音频输出的音响102、用于视频和图像采集的3D深度相机112、用于传感和感知的超声传感器113和防跌落传感器114。主体100a的顶部设有用于视频和图像采集的云台摄像机103、4*90°网络摄像头104、3D激光雷达105和4麦语言交互板106等。如图3和图4所示，主体100a的侧面设有查验设备集成单元容纳空间107(需要说明的是，在图示的实施例中，查验设备集成单元100可以是独立于机器人本体的检测装置，其置放于由标号107表示的容纳空间。在该实施例中，需要时用户可以将查验设备集成单元100从容纳空间107中取出，作为独立的检测装置执行对被查验对象的微量物质查验。而在另一些未图示的实施例中，查验设备集成单元100可以集成到机器人本体)、有毒有害气体探针108、辐射探测器组件109和人脸识别摄像头111等。如图3和图6所示，主体100a的内部可设有主控单元200、通信单元300、配电模块810和电源交换模块820等。这里，通信单元300可以为无线通信单元。通信单元300既可以包括用于机器人内部互联互通的局域网交换机和路由器单元等，也可以包括用于实现机器人和集中管理单元互联互通的无线AP设备等，还可以包括用于实现机器人和互联网在线交互的4G无线网络等。如图3和图7所示，主体100a的背面可设有急停开关115、交互按钮116和散热口117等。
该海关辅助查验机器人以及包括该机器人的辅助查验机器人系统具备的基本功能包括且不限于如下内容。
智能移动：智能移动可提供定点移动任务、跟随移动、自动避障、自动定位、三维场景分析等多种任务方式。在移动过程中机器人可躲避人员和固定障碍物。机器人可根据自身的位置传感器实现自动定位，并实时上报当前位置。当系统电量低或长时间无任务分派时可实现自动充电。海关 工作人员可选择不同的移动任务方式。
作业安全检查：机器人内设计有放射性检测单元，监测放射性水平，同时可根据现场情况配备生化检测，达到核生化等危险识别；同时内部设计危险气体监测单元，可由人工插入集装箱内，检测箱内有毒气体浓度是否在安全限值之下，同时提供实时在线监测，监测查验位区域内毒气浓度，保障人员安全。
封志箱号识别：配备固定式高清摄像机对箱号、铅号自动拍照。根据照片自动进行图像中箱号及铅封号的识别，自动和报关单比对。
监掏监装(监督掏箱和监督装箱)：通过固定的高清摄像机、音频设备、激光雷达等设备在查验过程中提供音视频辅助录像，掏箱、装箱全程监控；同时基于三维场景重建和数据分析比对等方式，完成货物堆码形状感知，实现掏箱指令复核等。
智能辅助查验：系统内部构建专家知识库，可通过以图片找图片的方式智能查询专家知识库，图像自动比对标签/标识，完成知识产权侵权查验。唛头、报关单自动识别比对，优化装备推荐、敏感信息查询及提示、结果实时录入，完成全方位智能辅助查验，提高查验作业规范性、查验结果有效性和查验过程针对性。
现场初筛：可集成拉曼、聚合物组分快速筛查、有害元素含量检测等各类查验技术装备，对商品放射性、异常气味、夹杂物含量、外观性状等进行识别，辅助现场快速判定，自动生成“现场快速筛查记录表”。
自动避障：配备激光雷达等传感器，可在工作区域内绕开障碍物。
自动充电：工作过程中，电力不足情况下，可自行寻找充电桩进行充电。
语音交互：可与机器人进行语音交互，亦可在机器人端通过语音指令对机器人进行控制指令下发和操控，同时在查验过程中也可在机器人端通过语音指令进行辅助查验业务的查询等工作。
人脸识别：通过人脸识别，实现查验区陪同查验行为管控，严格规范货代跟踪验货制度。
人机交互：机器人端配备有大尺寸触摸液晶屏、全彩LED灯、全频喇叭等多种智能设备，可提供人员和机器之间的数据和指令交互，同时机 器人背部设计有独立的操控按钮控制区域，操作人员可直接进行操控操作。
本公开提供的海关辅助查验机器人以及包括该机器人的海关辅助查验机器人系统，深度结合海关各项业务流程，针对港口海关人工查验执法工作的实际需求情况，融合人工智能技术和人工智能技术的高新查验装备。海关辅助查验机器人系统主要是面向海关现场人工查验人员，辅助人工查验流程，保障查验人员的人身安全，减轻人工负担，改善工作条件，提高工作效率的新型智能装备。
海关辅助查验机器人系统通过对查验设备的集成，可对有害气体、核生化等物质的进行实时在线检测，保障人员安全；对不易人眼识别的化工类、金属材料等商品及货物进行现场的初步鉴别，可减少取用送样频次并提高送检针对性。通过与海关查管系统的互联互通，可实现查验指令的获取、查验过程中逐步建立的商品、案例等专家知识库的支持、以及查验结果和查验过程信息的上报；通过标准化查验流程的制定，可指导海关工作人员按照既定步骤完成查验作业；通过智能化的相关技术，实现对整个查验过程的监装监卸、执法监督以及场地和人员、物资的有效管控。通过最先进的自主行走、柔性避障及智能跟随等人工智能技术，实现节省人力投入，提高人性化服务体验。
可见，本公开实施例提供的海关辅助查验机器人以及包括该机器人的海关辅助查验机器人系统至少可以实现以下功能和创新。
1、机器人具备多种智能辅助功能，包括封志识别、人脸识别、箱号识别、有毒有害气体探测、核辐射监测、掏箱指令复核、侵权识别、商品信息提示、报关单信息查询、税则查询、视频监控、现场初筛等多种和海关业务深度结合的功能，智能辅助海关海关工作人员完成查验业务。
2、采用机器人为载体，通过集成危险物品检测、核生化爆检测、物质识别、执法录证等多种功能，实现查验环节有效的安全监测和物质检测，有效保障人员安全。
3、机器人具备人脸识别功能，可实现查验过程人员行为智能管理；机器人具备图像识别可对整个查验过程的监装监卸、执法监督以及场地和人员、物资实现有效管控。
4、模式创新和应用创新，将机器人应用于海关人工查验环节。
以上的详细描述通过使用示意图、流程图和/或示例，已经阐述了上述基于本公开的众多实施例。在这种示意图、流程图和/或示例包含一个或多个功能和/或操作的情况下，本领域技术人员应理解，这种示意图、流程图或示例中的每一功能和/或操作可以通过各种结构、硬件、软件、固件或实质上它们的任意组合来单独和/或共同实现。
上述本公开的具体实施例仅例示性的说明了本公开的原理及其功效，而非用于限制本公开，熟知本领域的技术人员应明白，在不偏离本公开的精神和范围的情况下，对本公开所作的任何改变和改进都在本公开的范围内。本公开的权利保护范围，应如本公开的申请专利范围所界定的为准。

Claims (21)

  1. 一种辅助查验机器人，所述机器人包括：
    查验设备集成单元，用于执行对被查验对象的查验；
    环境安全检测单元，用于执行对被查验对象所处的环境的安全检测；
    视频和图像采集单元，用于采集对被查验对象和/或辅助查验机器人所处的环境的视频和/或图像；
    通信单元，接收来自远程查验管理系统的数据和/或指令，并向远程查验管理系统发送数据；和
    主控单元，用于控制所述查验设备集成单元、所述环境安全检测单元、所述视频和图像采集单元以及通信单元，并且处理来自所述查验设备集成单元、所述环境安全检测单元以及所述视频和图像采集单元的数据和/或信号，处理来自远程查验管理系统的数据和/或指令。
  2. 如权利要求1所述的机器人，还包括：
    可移动底盘，用于使机器人移动；和
    壳体，设置在可移动底盘上，用于容纳查验设备集成单元、环境安全检测单元、视频和图像采集单元、通信单元以及主控单元。
  3. 如权利要求1所述的机器人，还包括：
    人机交互单元，用于执行所述辅助查验机器人与用户的人机交互；
    其中，所述主控单元还用于控制所述人机交互单元，并且处理来自所述人机交互单元的数据和/或信号。
  4. 如权利要求1所述的机器人，还包括：
    基本智能辅助查验单元，所述基本智能辅助查验单元的内部构建有知识库；
    其中，所述基本智能辅助查验单元根据视频和图像采集单元拍摄的查验对象和/或辅助查验机器人所处的环境的视频/图像在该知识库中查询比对并进行分析，然后输出分析结果和/或操作建议。
  5. 如权利要求1或4所述的机器人，其中，
    视频和图像采集单元拍摄的被查验对象和/或辅助查验机器人所处的环境的视频/图像包括：被查验对象的商标图像、标签图像、运输标志图像、危化品标识图像、箱号图像、封志图像中的至少一种、被查验对象的图像、以及容纳查验对象的容器的图像；远程查验管理系统的扩展智能辅助查验单元或者机器人的基本智能辅助查验单元对所述图像进行分析。
  6. 如权利要求1或4所述的机器人，其中，
    视频和图像采集单元拍摄的被查验对象和/或辅助查验机器人所处的环境的监控视频/图像包括：掏箱现场的人员的图像和视频、和/或装箱现场的人员的图像和视频；远程查验管理系统的扩展智能辅助查验单元或者机器人的基本智能辅助查验单元对所述图像和视频进行分析。
  7. 如权利要求4所述的机器人，其中，
    当辅助查验机器人能够通过通信单元与远程查验管理系统进行通信时，采用远程查验管理系统的扩展智能辅助查验单元对视频和图像采集单元拍摄的图像/视频进行分析；
    当辅助查验机器人不能与远程查验管理系统进行通信时，采用辅助查验机器人的基本智能辅助查验单元对视频和图像采集单元拍摄的图像/视频进行分析。
  8. 如权利要求1所述的机器人，还包括：
    传感与感知单元，用于获取所述辅助查验机器人的环境信息，并且将关于所述环境信息的数据和/或信号发送至所述导航控制单元；和
    导航控制单元，用于根据传感与感知单元发送的环境信息控制所述辅助查验机器人的移动。
  9. 如权利要求8所述的机器人，其中，
    所述导航控制单元包括：控制器、电机驱动器和安全模块；和
    所述传感与感知单元包括：设置在机器人上的激光雷达、激光阵列、避障超声阵列和3D深度相机中的至少一个。
  10. 如权利要求1所述的机器人，还包括：
    电源管理单元，用于提供电力并且执行电源管理；
    其中，所述电源管理单元包括蓄电池组、电池组管理模块、蓄电池充电模块、供电模块和电源交换模块。
  11. 如权利要求1至10中任一所述的机器人，所述环境安全检测单元进一步包括：
    有毒有害气体检测模块，用于执行对被查验对象所处的环境的有毒有害气体检测；和
    核辐射监测模块，用于执行对被查验对象所处的环境的核辐射监测。
  12. 如权利要求11所述的机器人，其中，
    所述有毒有害气体检测模块包括：设置在机器人上的在线式气体检测传感器，所述气体检测传感器的气路输入口位置设置有可插入容器内部的探针装置；
    所述核辐射监测模块包括：设置在所述机器人上的放射性物质检测仪。
  13. 如权利要求1所述的辅助查验机器人，其中，
    所述查验设备集成单元包括：拉曼检测装置、聚合物组分筛查装置和有害元素含量检测装置中的至少一种。
  14. 如权利要求1所述的辅助查验机器人，其中，
    所述视频和图像采集单元包括：设置在机器人上的摄像头、云台摄像机和红外热像仪。
  15. 如权利要求14所述的辅助查验机器人，其中，所述视频和图像采集单元还包括：激光雷达传感器。
  16. 如权利要求1所述的辅助查验机器人，其中，所述通信单元包括：
    无线AP设备，用于和远程查验管理系统通信；
    4G或5G无线网络，用于和互联网在线交互；和
    局域网交换机，用于机器人内部的互联互通。
  17. 一种辅助查验机器人，所述机器人包括：
    查验设备集成单元，用于执行对被查验对象的物理化学特性的查验；
    视频和图像采集单元，用于采集对被查验对象和/或辅助查验机器人所处的环境的视频/图像；
    基本智能辅助查验单元，所述基本智能辅助查验单元的内部构建有知识库，基本智能辅助查验单元根据视频和图像采集单元拍摄的查验对象和/或辅助查验机器人所处的环境的视频/图像在知识库中查询比对并进行分析，然后输出分析结果和/或操作建议；和
    主控单元，用于控制所述查验设备集成单元、所述视频和图像采集单元以及基本智能辅助查验单元，并且处理来自所述查验设备集成单元、所述视频和图像采集单元以及基本智能辅助查验单元的数据和/或信号。
  18. 如权利要求17所述的机器人，还包括：
    环境安全检测单元，用于执行对被查验对象所处的环境的安全检测。
  19. 如权利要求17所述的机器人，还包括：
    通信单元，所述通信单元接收来自远程查验管理系统的数据和/或指令，并向远程查验管理系统发送数据，所述主控单元处理来自远程查验管理系统的数据和/或指令。
  20. 一种辅助查验机器人系统，包括：
    至少一个如权利要求1-19中任一项所述的辅助查验机器人；和
    远程查验管理系统，包括用于管理所述至少一个辅助查验机器人的集中管理单元。
  21. 如权利要求所述20所述的辅助查验机器人系统，其中，
    所述远程查验管理系统还包括：扩展智能辅助查验单元，
    所述扩展智能辅助查验单元的内部构建有知识库，所述扩展基本智能辅助查验单元根据视频和图像采集单元拍摄的查验对象和/或辅助查验机器人所处的环境的视频/图像在该知识库中查询比对并进行分析，然后输出分析结果和/或操作建议。
PCT/CN2020/123975 2019-10-30 2020-10-27 辅助查验机器人以及包括该机器人的辅助查验机器人系统 WO2021083141A1 (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN201921856591 2019-10-30
CN201921856591.7 2019-10-30
CN202010314567.1 2020-04-20
CN202010314567.1A CN112743552A (zh) 2019-10-30 2020-04-20 辅助查验机器人以及包括该机器人的辅助查验机器人系统

Publications (1)

Publication Number Publication Date
WO2021083141A1 true WO2021083141A1 (zh) 2021-05-06

Family

ID=75645144

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/123975 WO2021083141A1 (zh) 2019-10-30 2020-10-27 辅助查验机器人以及包括该机器人的辅助查验机器人系统

Country Status (2)

Country Link
CN (1) CN112743552A (zh)
WO (1) WO2021083141A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408512A (zh) * 2021-06-03 2021-09-17 云从科技集团股份有限公司 利用机器人进行集装箱查验的方法、系统、装置及介质
CN115437032A (zh) * 2021-06-04 2022-12-06 同方威视技术股份有限公司 海关查验系统
CN113256632B (zh) * 2021-07-07 2022-02-11 同方威视技术股份有限公司 集装箱的掏箱检测方法、装置、设备及存储介质
CN114782028B (zh) * 2022-06-20 2022-09-02 广州智建云信息技术有限公司 一种智能查验方法和平台

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1611331A (zh) * 2003-10-29 2005-05-04 中国科学院自动化研究所 移动机械手系统
JP2008090757A (ja) * 2006-10-04 2008-04-17 Secom Co Ltd 移動ロボット
CN201931461U (zh) * 2011-01-22 2011-08-17 李华军 防疫用三防检测机器人
EP2815854A2 (en) * 2013-05-10 2014-12-24 Ngandwe Chitumbo Tele-operated robotic post-Fukushima nuclear safety and security compliance enhancement tool
CN105234920A (zh) * 2015-10-19 2016-01-13 浙江核芯监测科技有限公司 核与辐射应急机器人系统
WO2016053126A1 (en) * 2014-10-02 2016-04-07 Introsys - Integration For Robotic Systems - Integração De Sistemas Robóticos, S.A. Mobile service robot capable of collecting biological and soil samples for environmental monitoring

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10110795B2 (en) * 2002-06-04 2018-10-23 General Electric Company Video system and method for data communication
US10088317B2 (en) * 2011-06-09 2018-10-02 Microsoft Technologies Licensing, LLC Hybrid-approach for localization of an agent
CN102280826B (zh) * 2011-07-30 2013-11-20 山东鲁能智能技术有限公司 变电站智能机器人巡检系统及巡检方法
CN106096846A (zh) * 2016-06-16 2016-11-09 北京数智源科技股份有限公司 一体化辅助查验方法
CN107368073A (zh) * 2017-07-27 2017-11-21 上海工程技术大学 一种全环境多信息融合智能探测机器人系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1611331A (zh) * 2003-10-29 2005-05-04 中国科学院自动化研究所 移动机械手系统
JP2008090757A (ja) * 2006-10-04 2008-04-17 Secom Co Ltd 移動ロボット
CN201931461U (zh) * 2011-01-22 2011-08-17 李华军 防疫用三防检测机器人
EP2815854A2 (en) * 2013-05-10 2014-12-24 Ngandwe Chitumbo Tele-operated robotic post-Fukushima nuclear safety and security compliance enhancement tool
WO2016053126A1 (en) * 2014-10-02 2016-04-07 Introsys - Integration For Robotic Systems - Integração De Sistemas Robóticos, S.A. Mobile service robot capable of collecting biological and soil samples for environmental monitoring
CN105234920A (zh) * 2015-10-19 2016-01-13 浙江核芯监测科技有限公司 核与辐射应急机器人系统

Also Published As

Publication number Publication date
CN112743552A (zh) 2021-05-04

Similar Documents

Publication Publication Date Title
WO2021083141A1 (zh) 辅助查验机器人以及包括该机器人的辅助查验机器人系统
CN103550892B (zh) 基于物联网的消防监管系统
CN211955374U (zh) 一种用于检测有限空间作业环境的检测装置、检测系统
CN108527399A (zh) 一种基于互联网的变电站智能巡检机器人监测系统
CN113706355A (zh) 化工园区智慧应急系统搭建方法
CN110262355A (zh) 基于智慧矿山管控平台的智慧矿山管理系统及方法
CN210466137U (zh) 一种安全防爆巡检机器人
WO2007149629A1 (en) Intelligent railyard monitoring system
CN209928282U (zh) 一种安全警示巡检机器人
CN114925873A (zh) 面向化工聚集区的实战化应急管理系统
WO2024093420A1 (zh) 一种无人机与地面巡检机器人协同作业的巡检方法及装置
CN103439954A (zh) 一种仓库环境管控智能化系统
CN110319888A (zh) 一种石油化工巡检机器人及其工作方法
Lopez et al. Robotman: A security robot for human-robot interaction
CN115246121A (zh) 巡逻机器人及巡逻机器人系统
CN210036823U (zh) 一种石油化工巡检机器人
CN108319265A (zh) 一种用于电力机房巡检的地面行走机器人的控制系统及方法
CN211292801U (zh) 化工园区气体监控系统
CN114563411A (zh) 一种转向架装配质量检测系统
CN117895649A (zh) 基于5g通信的智能数字化站房运维系统及其运维方法
CN207858845U (zh) 实验室夜间巡逻机器人
CN204623601U (zh) 一种危化品泄露事故应急监测移动机器人
CN116068977A (zh) 一种基于火电厂数字孪生体的安全防范实现方法和系统
CN102902256A (zh) 基于ZigBee的探伤车间人员安全防护系统
US20220203546A1 (en) Sampling robot, robot system for goods sampling and detection and detection method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20882724

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20882724

Country of ref document: EP

Kind code of ref document: A1