WO2022220560A1 - 열화상 및 일반 카메라를 이용한 fod 및 lod 검출 방법 및 장치 - Google Patents

열화상 및 일반 카메라를 이용한 fod 및 lod 검출 방법 및 장치 Download PDF

Info

Publication number
WO2022220560A1
WO2022220560A1 PCT/KR2022/005312 KR2022005312W WO2022220560A1 WO 2022220560 A1 WO2022220560 A1 WO 2022220560A1 KR 2022005312 W KR2022005312 W KR 2022005312W WO 2022220560 A1 WO2022220560 A1 WO 2022220560A1
Authority
WO
WIPO (PCT)
Prior art keywords
fod
lod
general camera
camera
thermal imager
Prior art date
Application number
PCT/KR2022/005312
Other languages
English (en)
French (fr)
Inventor
이자현
이이균
Original Assignee
주식회사 와이파워원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 와이파워원 filed Critical 주식회사 와이파워원
Publication of WO2022220560A1 publication Critical patent/WO2022220560A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L53/00—Methods of charging batteries, specially adapted for electric vehicles; Charging stations or on-board charging equipment therefor; Exchange of energy storage elements in electric vehicles
    • B60L53/10—Methods of charging batteries, specially adapted for electric vehicles; Charging stations or on-board charging equipment therefor; Exchange of energy storage elements in electric vehicles characterised by the energy transfer between the charging station and the vehicle
    • B60L53/12—Inductive energy transfer
    • B60L53/124—Detection or removal of foreign bodies
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L3/00—Electric devices on electrically-propelled vehicles for safety purposes; Monitoring operating variables, e.g. speed, deceleration or energy consumption
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L53/00—Methods of charging batteries, specially adapted for electric vehicles; Charging stations or on-board charging equipment therefor; Exchange of energy storage elements in electric vehicles
    • B60L53/30—Constructional details of charging stations
    • B60L53/34—Plug-like or socket-like devices specially adapted for contactless inductive charging of electric vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L53/00—Methods of charging batteries, specially adapted for electric vehicles; Charging stations or on-board charging equipment therefor; Exchange of energy storage elements in electric vehicles
    • B60L53/30—Constructional details of charging stations
    • B60L53/35—Means for automatic or assisted adjustment of the relative position of charging devices and vehicles
    • B60L53/37—Means for automatic or assisted adjustment of the relative position of charging devices and vehicles using optical position determination, e.g. using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L53/00—Methods of charging batteries, specially adapted for electric vehicles; Charging stations or on-board charging equipment therefor; Exchange of energy storage elements in electric vehicles
    • B60L53/60—Monitoring or controlling charging stations
    • B60L53/68—Off-site monitoring or control, e.g. remote control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J50/00—Circuit arrangements or systems for wireless supply or distribution of electric power
    • H02J50/10—Circuit arrangements or systems for wireless supply or distribution of electric power using inductive coupling
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J50/00—Circuit arrangements or systems for wireless supply or distribution of electric power
    • H02J50/60—Circuit arrangements or systems for wireless supply or distribution of electric power responsive to the presence of foreign objects, e.g. detection of living beings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/90—Vehicles comprising electric prime movers
    • B60Y2200/91—Electric vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/91—Battery charging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/60—Other road transportation technologies with climate change mitigation effect
    • Y02T10/70—Energy storage systems for electromobility, e.g. batteries
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/60—Other road transportation technologies with climate change mitigation effect
    • Y02T10/7072—Electromobility specific charging systems or methods for batteries, ultracapacitors, supercapacitors or double-layer capacitors

Definitions

  • the present invention relates to wireless charging of an electric vehicle, and more particularly, by using a thermal image and a general camera to classify and detect foreign object detection (FOD) and living object detection (LOD) according to categories, the object detection rate according to wireless charging It relates to a method and apparatus for detecting FOD and LOD using a thermal imager and a general camera for providing safe wireless charging control information.
  • FOD foreign object detection
  • LOD living object detection
  • a method of recognizing a living organism uses a PIR (Passive Infrared Sensor) sensor to detect motion or measures a change amount of an ultrasonic sensor, and for metal recognition, there is a method for detecting a change amount measured by using a magnetic field sensor.
  • PIR Passive Infrared Sensor
  • each sensor can detect only an object belonging to one classification, and there is a problem that the detection rate is not high because the recognition range of the sensor is not wide and there is a blind spot.
  • the present invention was devised to solve such a problem, and by detecting foreign object detection (FOD) and living object detection (LOD) using a thermal image and a general camera in wireless charging of electric vehicles, objects belonging to different classifications
  • An object of the present invention is to provide a FOD and LOD detection method using a thermal imager and a general camera for safety according to wireless charging by detecting and increasing the detection rate.
  • a method for detecting FOD and LOD using a general camera and a thermal imager mounted on an electric vehicle or installed in a charging infrastructure area (a) an object in an image received from a general camera. detecting; (b) detecting the temperature of the object in the image received from the thermal imaging camera; and (c) determining the wireless charging state by synthesizing the information detected in the steps (a) and (b).
  • the object detection in step (a) includes: (a1) checking the location of the object through AI using the image as an input value; and (a2) classifying the object whose location is confirmed in step (a1) into FOD and LOD.
  • the object temperature detection of step (b) includes: (b1) checking whether the temperature of the object in the image is equal to or greater than a fire threshold temperature; and (b2) determining whether there is an abnormality in the room temperature when there is no abnormality in the fire occurrence threshold temperature as a result of the determination in step (b1).
  • step (c) the wireless charging state is at least one of dangerous, normal, and warning.
  • the risk is, if classified as the FOD, the classified FOD is above the fire occurrence threshold temperature.
  • the normal is classified as the FOD, and the classified FOD is not equal to or greater than the fire occurrence threshold temperature, or is classified as the LOD and the classified LOD is not equal to or greater than the room temperature.
  • the warning is when the LOD is classified and the classified LOD is above the room temperature.
  • the general camera and the thermal imaging camera are initially position-corrected.
  • Another aspect of the present invention for achieving the above object is a method of detecting FOD and LOD using a general camera and a thermal imaging camera mounted on an electric vehicle or installed in a charging infrastructure area, (a) an image received from a general camera. confirming the position of the object through AI using as an input value; (b) classifying the object identified in step (a) into FOD and LOD; and (c) whether the FOD classified in step (b) is above the fire threshold temperature in the image received from the thermal imaging camera, and the LOD classified in (b) is above room temperature in the image received from the thermal imaging camera and determining whether there is a wireless charging state.
  • the wireless charging state is at least one of dangerous, normal, and warning.
  • the risk is, if classified as the FOD, the classified FOD is above the fire occurrence threshold temperature.
  • the normal is classified as the FOD, and the classified FOD is not equal to or greater than the fire occurrence threshold temperature, or is classified as the LOD and the classified LOD is not equal to or greater than the room temperature.
  • the warning is when the LOD is classified and the classified LOD is above the room temperature.
  • the general camera and the thermal imaging camera are initially position-corrected.
  • Another aspect of the present invention for achieving the above object is a method of detecting FOD and LOD using a general camera and a thermal imaging camera mounted on an electric vehicle or installed in a charging infrastructure area, (a) input from the thermal imaging camera. checking whether the temperature of the object in the image is greater than or equal to the threshold temperature for fire occurrence; (b) as a result of checking step (a), if there is no fire occurrence threshold temperature or more, checking whether there is more than room temperature; and (c) determining the wireless charging state by classifying the object above the room temperature into FOD and LOD using AI from the image input from the general camera when there is an abnormality in the room temperature as a result of the confirmation of step (b) include
  • the wireless charging state is at least one of danger, normal, and warning.
  • the risk is that, as a result of the confirmation of step (a), there is more than the threshold temperature for fire occurrence.
  • the normality is one of the cases in which there is no room temperature abnormality, or the room temperature abnormality is present and the object classified in step (b) is FOD as a result of the confirmation of step (b).
  • the warning is when, as a result of the confirmation of step (b), the room temperature is higher than the room temperature, and the object classified in step (b) is an LOD.
  • the general camera and the thermal imaging camera are initially position-corrected.
  • the position correction may include: superimposing a general camera screen and a thermal imager image; and aligning the position of the specific object image between the specific object image on the general camera screen and the thermal imaging camera screen to the same position.
  • the FOD and LOD detection method using the thermal image and the general camera may include: determining a type of an object of a general camera image; and transmitting the determined object information to a charging controller or an electric vehicle wireless charging communication control device (EVCC).
  • a charging controller or an electric vehicle wireless charging communication control device (EVCC).
  • EVCC electric vehicle wireless charging communication control device
  • the method may further include transmitting the wireless charging state information to a charging controller or an electric vehicle wireless charging communication controller (EVCC).
  • a charging controller or an electric vehicle wireless charging communication controller (EVCC).
  • EVCC electric vehicle wireless charging communication controller
  • an FOD and LOD detection apparatus using a thermal imager and a general camera, comprising: an image receiving unit for receiving a photographed image from a thermal imager and a general camera; a position correcting unit which initially performs position correction with respect to the thermal imager and the general camera; a FOD/LOD detector for detecting FOD and LOD from the images acquired by the thermal imaging camera and the general camera; and a communication unit for transmitting the object information or wireless charging state information detected by the FOD/LOD detection unit to a charging controller or an electric vehicle wireless charging communication control device (EVCC).
  • a charging controller or an electric vehicle wireless charging communication control device (EVCC).
  • EVCC electric vehicle wireless charging communication control device
  • the FOD and LOD detection apparatus using the thermal imager and the general camera may be installed in a charging infrastructure area.
  • the FOD and LOD detection apparatus using the thermal imager and the general camera may be mounted in an electric vehicle.
  • the type of the detected object may include information on whether it is a living organism or information on whether it is a metal object.
  • the FOD/LOD detection unit may further include a function of detecting a position of a heat generating object in the images acquired by the thermal imaging camera and the general camera.
  • a FOD and LOD detection system using a thermal imager and a general camera comprising: a thermal imager and a general camera; an image receiving unit for receiving a photographed image from the thermal imaging camera and the general camera; a position correcting unit which initially performs position correction with respect to the thermal imager and the general camera; a FOD/LOD detector for detecting FOD and LOD from the images acquired by the thermal imaging camera and the general camera; and a communication unit for transmitting the object information or wireless charging state information detected by the FOD/LOD detection unit to a charging controller or an electric vehicle wireless charging communication control device (EVCC).
  • a thermal imager and a general camera comprising: a thermal imager and a general camera; an image receiving unit for receiving a photographed image from the thermal imaging camera and the general camera; a position correcting unit which initially performs position correction with respect to the thermal imager and the general camera; a FOD/LOD detector for detecting FOD and LOD from the images acquired by the thermal imaging camera and the general camera; and
  • the present invention it is possible to improve the recognition rate of FOD and LOD detection in various environments and to prevent and cope with safety problems that may occur in wireless charging by using a thermal imaging camera to detect FOD and LOD in advance.
  • FIG. 1 is a diagram showing the configuration of a computer device equipped with a FOD and LOD detection application using a thermal imager and a general camera according to the present invention.
  • FIG. 2 is a conceptual diagram illustrating a configuration in which the FOD and LOD detection device using a thermal imager and a general camera according to the present invention is mounted in an electric vehicle.
  • FIG 3 is a view showing an FOD and LOD detection apparatus using a thermal imager and a general camera according to the present invention.
  • FIG. 4 is a conceptual diagram illustrating an output through position correction according to object detection of a thermal image and a general camera in the FOD and LOD detection apparatus using a thermal image and a general camera according to FIG. 3 .
  • FIG. 5 is a flowchart for performing the FOD and LOD detection method using a thermal imager and a general camera according to FIG. 1 .
  • FIG. 6 is a flowchart illustrating a first embodiment of a FOD and LOD detection method using a thermal imager and a general camera according to FIG. 1 .
  • FIG. 7 is a flowchart illustrating a second embodiment of a FOD and LOD detection method using a thermal imager and a general camera according to FIG. 1 .
  • FIG. 8 is a view for explaining an initial position correction setting.
  • FIG. 9 is a view showing a state of detecting a biological temperature and detecting a metal object.
  • FIG. 10 is a view showing an exemplary form of the FOD and LOD detection device mounted on the wireless charging charger.
  • FIG. 1 is a diagram showing the configuration of a computer device equipped with a FOD and LOD detection application using a thermal imager and a general camera according to the present invention.
  • the FOD and LOD detection apparatus 100 using a thermal imager and a general camera includes a processor 110, a non-volatile storage unit 111 for storing programs and data, a volatile memory 112 for storing a running program, and other devices. It consists of a communication unit 113 for performing communication, a bus serving as an internal communication path between these devices, and the like.
  • the running program may include a device driver, an operating system, and various applications.
  • the electronic device includes a power supply unit such as a battery.
  • the FOD and LOD detection system using a thermal image and general camera means a structure in which the thermal image and general camera 20 are further included in the FOD and LOD detection apparatus 100 using a thermal image and general camera, and a separate communication interface is provided. Communication is made with the electric vehicle wireless charging communication control device (EVCC) 200 using.
  • EVCC electric vehicle wireless charging communication control device
  • the FOD and LOD detection apparatus 100 using a thermal image and a general camera receives a thermal image mounted on a moving object moving on the ground, for example, an electric vehicle, and an image of a specific area acquired by the general camera 20 .
  • the image obtained from the thermal image and the general camera is transferred to the FOD and LOD detection application 120 using the thermal image and the general camera.
  • the FOD and LOD detection apparatus 100 using a thermal image and a general camera may receive it from a data interface device (not shown), etc., and appropriately transmit it to the FOD and LOD detection application 120 using a thermal image and a general camera.
  • the data interface device may serve as a kind of buffer in the process of transferring the image signal to the FOD and LOD detection application 120 using a thermal image and a general camera.
  • the thermal imager and general camera driver 121 is installed in the FOD and LOD detection apparatus 100 using a thermal imager and a general camera to control the operation of the thermal imager and general camera 20 as described above. can do.
  • the FOD and LOD detection application 120 using a thermal imager and a general camera serves to detect FOD and LOD from images acquired by the thermal imager and general camera as described above.
  • the FOD and LOD detection application 120 using the thermal image and general camera is a program installed and operated in the FOD and LOD detection apparatus 100 using the thermal image and general camera using the image signal of the thermal image and general camera.
  • the FOD and LOD detection method by performing the FOD and LOD detection application 120 using a thermal image and a general camera will be described below with reference to FIGS. 5 to 7 .
  • FIG. 2 is a conceptual diagram illustrating a configuration in which the FOD and LOD detection apparatus using a thermal imager and a general camera according to the present invention is mounted on an electric vehicle
  • FIG. 3 is a FOD and LOD detection apparatus using a thermal imager and a general camera according to the present invention.
  • 4 is a conceptual diagram illustrating an output through position correction according to object detection of a thermal image and a general camera in the device according to FIG. 3 .
  • the inside of the electric vehicle 1 capable of wireless charging may include a camera 20 , a small artificial intelligence computer 10 , and a display 30 .
  • the camera 20 is composed of a pair of a general camera 20a and a thermal imaging camera 20b that acquires an image on any part of the electric vehicle 1 capable of wireless charging, as shown in FIGS. 2 to 3 , , in the present invention, the camera 20 is mounted on the front of the electric vehicle 1 to detect FOD and LOD existing in the charging area, and at this time, real object and thermal information are acquired.
  • the camera 20 includes a communication interface to transmit the acquired information to the outside, and this communication interface allows the acquired image information to be transmitted to an external processing device. That is, the information is transmitted to the electric vehicle wireless charging communication control device or the in-vehicle information providing terminal through a separate interface (CAN, USB) or the like.
  • position correction for object detection of the general camera 20a and the thermal imaging camera 20b is initially performed through a separate input device.
  • (40) shows the synthesized output, and although not shown, when LOD is detected, the detected organism name can be displayed along with thermal information on the screen, and when FOD is detected, thermal information and detected The name of the FOD metal body is displayed on the screen.
  • the computer 10 for small artificial intelligence is an external processing device for detecting FOD and LOD through the camera 11 , and may be included in the electric vehicle 1 or may be included in the electric vehicle wireless charging server.
  • the computer 10 for small artificial intelligence receives information obtained from the camera 20 to detect FOD and LOD. After synthesizing each image obtained from the camera 20, an algorithm for detecting FOD and LOD is performed. . Thereafter, the result of the operation may be transmitted to an electric vehicle wireless charging communication controller (EVCC), and the communication charger may be requested to set a charging-related value and to stop charging. For example, an object belonging to one classification is found and the temperature, classification name, and status (normal, warning, dangerous) of the object can be displayed in the detection area of the thermal imaging camera calibrated through initial setting. In addition, it is possible to set charging parameters and request to stop charging with a charger with established communication.
  • EVCC electric vehicle wireless charging communication controller
  • the display 30 displays the result processed by the small artificial intelligence computer 10 or outputs warning and danger information according to wireless charging.
  • FIG. 5 is a flowchart illustrating a method for detecting FOD and LOD using a thermal imager and a general camera according to the present invention.
  • the thermal imager and the general camera mounted on the electric vehicle compare the object information detected by the general camera and the object extracted from the thermal imager as shown in FIG. 4 . To ensure the position correction function is activated.
  • an object is detected in an image received from a general camera (S100).
  • object detection uses an image as an input value to confirm the location of an object through AI, and classifies the object whose location is confirmed into FOD and LOD using AI.
  • the temperature detection checks whether the temperature detected in the image is equal to or higher than the fire occurrence threshold temperature (80 degrees), and if there is no fire occurrence threshold temperature or higher, it is checked whether the temperature is higher than the room temperature.
  • the wireless charging state is determined by synthesizing the information detected in steps S100 and S110 (S120).
  • the information synthesis is determined whether the FOD detected in step S100 and the fire occurrence threshold temperature when detected in step S110 is higher than the fire occurrence threshold temperature when the LOD detected in step S100 is detected in step 110, and there is no higher than the fire occurrence threshold temperature, that is, room temperature. Checking for any abnormalities and synthesizing them. Then, the wireless charging state of danger, normal, and warning lights is determined according to the check result.
  • the classified FOD has a fire occurrence threshold temperature or higher, wireless charging is in a dangerous state, and if the classified FOD is not higher than the fire occurrence threshold temperature, it is in a wireless charging normal state. And if the classified LOD is above room temperature, it is a wireless charging warning state, and if the classified LOD is above room temperature, it is in a wireless charging normal state.
  • FIG. 6 is a flowchart illustrating a first embodiment of a method for detecting FOD and LOD using a thermal imager and a general camera according to the present invention.
  • the position of the object is confirmed through AI using the image received from the general camera as an input value (S200).
  • step S200 is classified using AI (S210).
  • classification category of the object is classified into FOD and LOD as metal and living organism.
  • FIG. 7 is a flowchart illustrating a second embodiment of a method for detecting FOD and LOD using a thermal imager and a general camera according to the present invention.
  • step S320 it is checked whether the object classified in step S320 is an LOD (S330).
  • the wireless charging normal (S350) state is obtained, and if the classified object is the LOD, it becomes the wireless charging warning (S360) state.
  • FIG. 8 is a diagram for explaining an initial position correction setting.
  • FIG. 8 shows a screen displaying image information transmitted from the camera 20 shown in FIG. 3 .
  • a general camera image 51 and a thermal imaging camera image 52 of a specific object are shown.
  • the thermal imaging camera image 52 is shown in pale white, and its position is slightly shifted from the general camera image 51 .
  • the FOD and LOD detection application 120 of the FOD and LOD detection apparatus 100 using the thermal image and general camera of the present invention overlaps the general camera screen and the thermal imaging camera screen as described above, and then a general camera image for a specific object Initial position correction is performed in such a way that one screen is moved to align 51 and the thermal imaging camera image 52 to the same position. For example, by moving the thermal region 53 shown in gray in FIG.
  • the initial position correction is performed by aligning the general camera image 51 and the thermal imaging camera image 52 to the same position.
  • the thermal region 53 may be set by a user or may be automatically set by the FOD and LOD detection application 120 based on a region in which heat is detected.
  • the position adjustment may be performed automatically by the FOD and LOD detection application 120 as described above, or may be performed by a user using a keyboard or the like on a screen provided as shown in FIG. 8 .
  • FIG. 9 is a diagram illustrating a state of detecting a biological temperature and detecting a metal object.
  • FIG. 9 shows a screen for detecting FOD and LOD.
  • the object information and thermal information are synthesized and displayed on the screen.
  • the thermal region is indicated by a thermal region indicator line 61, and a 'thermal region' indicator character 62 indicates that the thermal region is a thermal region.
  • FIG. 9( a ) a person is detected as an 'object', and the area of the object is indicated by an object area display line 71 , and the temperature 72 of the object is indicated.
  • FIG. 9(b) a metal object is detected as an 'object', and the area of the object is indicated by an object area display line 81, and the temperature 82 of the object is indicated.
  • the detection of whether the object in the image is a person, another living organism, or a metal object is performed by using an AI-based algorithm in the image received from the general camera 20a, by the FOD and LOD detection application 120 of the present invention.
  • the temperature displayed for the object is the temperature measured by the thermal imaging camera 20b, and is information received by the FOD and LOD detection application 120 of the present invention from the thermal imaging camera 20b.
  • the reception of images from the general camera 20a and the thermal imaging camera 20b is performed by the image receiving unit of the FOD and LOD detection apparatus 100 using the thermal imaging and general cameras.
  • the image receiving unit may be performed by the thermal image and general camera driver 121 of FIG. 1 , or may include a separate image receiving unit.
  • the detected living body and metal object information and temperature information may be transmitted to the electric vehicle wireless charging communication control device (EVCC) 200 through the communication unit 113 .
  • the detected biological and metallic object information and temperature information may be transmitted to the communication controller 300 through the communication unit 113 .
  • the FOD and LOD detection application 120 of the present invention transmits the wireless charging state information to the charging controller 300 or the electric vehicle wireless charging communication control device. (EVCC) can be transmitted.
  • EVCC electric vehicle wireless charging communication control device
  • FIG 10 is a view showing an exemplary form of the FOD and LOD detection device 100 mounted on the wireless charging charger.
  • 'charging infrastructure' will be used as a name for an infrastructure including the charging controller 300 and the feeding pads 310, 320, and 330.
  • the FOD and LOD detection apparatus 100 using a thermal imager and a general camera performing the FOD and LOD detection method described with reference to FIGS. 1 to 9 may be mounted on the electric vehicle 1 or shown in FIG. 10 . As described above, it may be installed in the charging infrastructure area and interlocked with the charging controller 300 for controlling charging in the feeding pads 310 , 320 , and 330 .
  • the FOD and LOD detection device 100 is 'interlocked with the charging controller 300', it means that the charging controller 300 is connected to the charging controller 300 to enable wireless or wired communication. That is, the FOD and LOD detection apparatus 100 may be mounted in the charge controller 300 in some cases, but is not limited thereto, and wireless or wired communication with the charge controller 300 is possible as described above. should be closely connected.
  • the camera 20 that provides an image to the FOD and LOD detection apparatus 100 may be mounted on the electric vehicle 1 or charged as shown in FIG. 10 . It can be installed in the infrastructure area.
  • the 'charging infrastructure area' means an area in which the charging controller 300 and the power feeding pads 310, 320, and 330 are installed.
  • it is installed near the feeding pads 310 , 320 , and 330 , so that living or metal objects on the feeding pads 310 , 320 , 330 can be photographed.
  • the term 'charging infrastructure area in which the camera 20 is installed' refers to an area near the feeding pads 310, 320, 330.
  • both the camera 20 and the FOD and LOD detection apparatus 100 may be installed in the electric vehicle 1 or all may be installed in the charging infrastructure area.
  • the camera 20 is installed in the charging infrastructure area and the FOD and LOD detection device 100 is installed in the electric vehicle 1 , or conversely, the camera 20 is installed in the electric vehicle 1 and the FOD and LOD detection apparatus 100 is installed in the electric vehicle 1 .
  • the camera 20 may interwork with the FOD and LOD detection apparatus 100 to provide the FOD and LOD detection apparatus 100 with images on the feeding pads 310 , 320 , and 330 .
  • the FOD and LOD detection device 100 uses the communication through the communication unit 113 to communicate with the charging controller 300 and the feeding pads 310, 320, 330 on the Information on the detection object, that is, information on the type and temperature of the object, and the like may be provided.
  • the charging controller 300 When the charging controller 300 receives from the FOD and LOD detecting device 100 object information of a condition that should not be on the feeding pads 310, 320, 330, it can stop charging in the corresponding feeding pad, and in some cases, an alarm It is possible to generate a warning on the corresponding power supply pad through the like.
  • the electric vehicle wireless charging communication control device mounted on the electric vehicle 1 also using communication through the communication unit 113 .
  • the (EVCC) 200 may provide information on the detection object on the power supply pads 310 , 320 , 330 , that is, information on the type and temperature of the object.
  • the electric vehicle wireless charging communication control device (EVCC) 200 receives from the FOD and LOD detection device 100 object information of a condition that should not be on the power feeding pads 310, 320, 330, the driver can be warned through a display. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Sustainable Development (AREA)
  • Sustainable Energy (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)

Abstract

본 발명은 전기차의 무선 충전에 관한 것으로서, 더욱 상세하게는 열화상 및 일반 카메라를 이용하여 카테고리에 따른 FOD(Foreign object detection) 및 LOD(Living object detection)를 분류 검출함으로써 무선 충전에 따른 객체 검출률을 높임으로 안전한 제어 정보 제공을 위한 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 방법 및 장치에 관한 것이다.

Description

열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 방법 및 장치
본 발명은 전기차의 무선 충전에 관한 것으로서, 더욱 상세하게는 열화상 및 일반 카메라를 이용하여 카테고리에 따른 FOD(Foreign object detection) 및 LOD(Living object detection)를 분류 검출함으로써 무선 충전에 따른 객체 검출률을 높여 안전한 무선 충전 제어 정보 제공을 위한 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 방법 및 장치에 관한 것이다.
일반적으로 생물체를 인식하는 방법은 PIR(Passive Infrared Sensor) 센서를 이용하여 움직임을 감지하거나 초음파 센서의 변화량을 측정하며, 금속 인식은 자기장 센서를 이용하여 측정되는 변화량을 확인하여 탐지하는 방법이 있다. 그러나 각 센서는 하나의 분류에 속하는 객체만을 탐지 가능하고, 센서의 인식 범위가 넓지 않아 사각이 존재하여 검출률이 높지 않은 문제가 있다.
본 발명은 이와 같은 문제점을 해결하기 위하여 창안된 것으로서, 전기차의 무선 충전에서 FOD(Foreign object detection) 및 LOD(Living object detection)를 열화상 및 일반 카메라를 이용하여 검출함으로, 서로 다른 분류에 속하는 객체를 탐지하여 검출률을 높임으로, 무선 충전에 따른 안전을 위한 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 방법을 제공하는 것을 그 목적으로 한다.
이와 같은 목적을 달성하기 위하여 본 발명에 따른 전기차에 탑재되거나 또는 충전 인프라 영역에 설치된 일반 카메라 및 열화상 카메라를 이용하여 FOD 및 LOD를 검출하는 방법으로서, (a) 일반 카메라로부터 수신된 영상에서 객체를 탐지하는 단계; (b) 열화상 카메라로부터 수신된 화상에서 객체의 온도를 탐지하는 단계; 및 (c) 상기 단계 (a) 및 상기 단계 (b)에서 탐지된 정보를 합성하여 무선충전 상태를 판단하는 단계를 포함한다.
상기 단계 (a)의 객체 탐지는, (a1) 상기 영상을 입력값으로 하여 AI를 통해 객체의 위치를 확인하는 단계; 및 (a2) 상기 단계 (a1)에서 위치가 확인된 객체를 FOD와 LOD로 분류하는 단계를 포함하는 것이다.
상기 단계 (b)의 객체 온도 탐지는, (b1) 상기 화상에서 객체의 온도가 화재 발생 임계 온도 이상이 있는지를 확인하는 단계; 및 (b2) 상기 단계 (b1)의 판단 결과, 상기 화재 발생 임계 온도 이상이 없는 경우, 상온 이상이 있는지를 판단하는 단계를 포함하는 것이다.
상기 단계 (c)에서 무선 충전 상태는 위험, 정상, 그리고 경고 중 적어도 어느 하나인 것이다.
상기 위험은, 상기 FOD로 분류되고, 이 분류된 FOD가 상기 화재 발생 임계 온도 이상인 경우인 것이다.
상기 정상은, 상기 FOD로 분류되고, 이 분류된 FOD가 상기 화재 발생 임계 온도 이상이 아니거나, 또는 상기 LOD로 분류되고, 이 분류된 LOD가 상기 상온 이상이 아닌 경우 중 어느 하나인 것이다.
상기 경고는, 상기 LOD로 분류되고, 이 분류된 LOD가 상기 상온 이상인 경우인 것이다.
상기 일반 카메라 및 열화상 카메라는 초기에 위치 보정이 이루어지는 것이다.
이와 같은 목적을 달성하기 위한 본 발명의 다른 측면은 전기차에 탑재되거나 또는 충전 인프라 영역에 설치된 일반 카메라 및 열화상 카메라를 이용하여 FOD 및 LOD를 검출하는 방법으로서, (a) 일반 카메라로부터 수신된 영상을 입력값으로 하여 AI를 통해 객체의 위치를 확인하는 단계; (b) 상기 단계 (a)에서 위치가 확인된 객체를 FOD와 LOD로 분류하는 단계; 및 (c) 상기 단계 (b)에서 분류된 FOD가 열화상 카메라로부터 수신된 영상에서 화재 발생 임계 온도 이상이 있는지, 그리고 상기 (b)에서 분류된 LOD가 열화상 카메라로부터 수신된 영상에서 상온 이상이 있는지를 확인하여 무선 충전 상태를 판단하는 단계를 포함한다.
상기 무선 충전 상태는 위험, 정상, 그리고 경고 중 적어도 어느 하나인 것이다.
상기 위험은, 상기 FOD로 분류되고, 이 분류된 FOD가 상기 화재 발생 임계 온도 이상인 경우인 것이다.
상기 정상은, 상기 FOD로 분류되고, 이 분류된 FOD가 상기 화재 발생 임계 온도 이상이 아니거나, 또는 상기 LOD로 분류되고, 이 분류된 LOD가 상기 상온 이상이 아닌 경우 중 어느 하나인 것이다.
상기 경고는, 상기 LOD로 분류되고, 이 분류된 LOD가 상기 상온 이상인 경우 인 것이다.
상기 일반 카메라 및 열화상 카메라는 초기에 위치 보정이 이루어지는 것이다.
이와 같은 목적을 달성하기 위한 본 발명의 또 다른 측면은 전기차에 탑재되거나 또는 충전 인프라 영역에 설치된 일반 카메라 및 열화상 카메라를 이용하여 FOD 및 LOD를 검출하는 방법으로서, (a) 열화상 카메라로부터 입력된 화상에서 객체의 온도가 화재 발생 임계 온도 이상이 있는지를 확인하는 단계; (b) 상기 단계 (a)의 확인 결과, 상기 화재 발생 임계 온도 이상이 없는 경우, 상온 이상이 있는지를 확인하는 단계; 및 (c) 상기 단계 (b)의 확인 결과, 상기 상온 이상이 있는 경우, 이 상온 이상의 객체를 일반 카메라에서 입력된 영상에서 AI를 이용하여 FOD와 LOD로 분류하여 무선 충전 상태를 판단하는 단계를 포함한다.
상기 무선충전 상태는, 위험, 정상, 그리고 경고 중 적어도 어느 하나인 것이다.
상기 위험은, 상기 단계 (a)의 확인 결과, 상기 화재 발생 임계 온도 이상이 있는 경우인 것이다.
상기 정상은, 상기 단계 (b)의 확인 결과, 상기 상온 이상이 없거나, 또는 상온 이상이 있고 상기 단계 (b)에서 분류된 객체가 FOD 인 경우 중 하나인 것이다.
상기 경고는, 상기 단계 (b)의 확인 결과, 상기 상온 이상이 있고, 상기 단계 (b)에서 분류된 객체가 LOD 인 경우인 것이다.
상기 일반 카메라 및 열화상 카메라는 초기에 위치 보정이 이루어지는 것이다.
상기 위치 보정은, 일반 카메라 화면과 열화상 카메라 영상을 겹쳐놓는 단계; 및, 일반 카메라 화면상의 특정 물체 이미지와 열화상 카메라 화면상의 사이 특정 물체 이미지의 위치를 동일 위치로 맞추는 단계를 통하여 수행될 수 있다.
상기 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 방법은, 일반 카메라 영상의 객체의 종류를 판별하는 단계; 및, 상기 판별된 객체 정보를 충전제어기 또는 전기차 무선충전 통신 제어장치(EVCC)로 송신하는 단계를 더 포함할 수 있다.
무선 충전 상태가 위험 또는 경고인 경우, 상기 무선 충전 상태 정보를 충전제어기 또는 전기차 무선충전 통신 제어장치(EVCC)로 송신하는 단계를 더 포함할 수 있다.
이와 같은 목적을 달성하기 위한 본 발명의 또 다른 측면은 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 장치는, 열화상 카메라 및 일반 카메라로부터, 촬영된 영상을 수신하는 영상 수신부; 상기 열화상 카메라 및 상기 일반 카메라에 대하여 초기에 위치 보정을 수행하는 위치 보정부; 상기 열화상 카메라 및 상기 일반 카메라에서 획득된 영상에서 FOD 및 LOD를 검출하는 FOD/LOD 검출부; 및, 상기 FOD/LOD 검출부가 검출한 객체의 정보 또는 무선 충전 상태 정보를 충전제어기 또는 전기차 무선충전 통신 제어장치(EVCC)로 송신하는 통신부를 포함한다.
상기 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 장치는, 충전 인프라 영역에 설치될 수 있다.
상기 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 장치는, 전기차에 장착될 수 있다.
상기 검출한 객체의 종류에는, 생물체인지 여부에 대한 정보 또는 금속물체인지 여부에 대한 정보를 포함할 수 있다.
상기 FOD/LOD 검출부는, 상기 열화상 카메라 및 상기 일반 카메라에서 획득된 영상에서 열 발생 물체의 위치를 검출하는 기능을 더 포함할 수 있다.
이와 같은 목적을 달성하기 위한 본 발명의 또 다른 측면은 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 시스템으로서, 열화상 카메라 및 일반 카메라; 상기 열화상 카메라 및 상기 일반 카메라로부터, 촬영된 영상을 수신하는 영상 수신부; 상기 열화상 카메라 및 상기 일반 카메라에 대하여 초기에 위치 보정을 수행하는 위치 보정부; 상기 열화상 카메라 및 상기 일반 카메라에서 획득된 영상에서 FOD 및 LOD를 검출하는 FOD/LOD 검출부; 및, 상기 FOD/LOD 검출부가 검출한 객체의 정보 또는 무선 충전 상태 정보를 충전제어기 또는 전기차 무선충전 통신 제어장치(EVCC)로 송신하는 통신부를 포함한다.
본 발명에 의하면, 다양한 환경에서 FOD 및 LOD 검출 인식률을 향상시키고 열화상 카메라를 이용하여 FOD 및 LOD 검출을 동반하여 무선 충전에 발생될 수 있는 안전 문제를 사전에 예방하고 대처할 수 있는 효과가 있다.
도 1은 본 발명에 따른 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 어플리케이션이 탑재된 컴퓨터 장치의 구성을 나타낸 도면.
도 2는 본 발명에 따른 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 장치가 전기차에 장착되는 구성을 나타낸 개념도.
도 3은 본 발명에 따른 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 장치를 나타낸 도면.
도 4는 도 3에 따른 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 장치에서 열화상 및 일반 카메라의 객체 탐지에 따른 위치 보정을 통한 출력을 보여주는 개념도.
도 5는 도 1에 따른 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 방법을 수행하는 순서도.
도 6은 도 1에 따른 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 방법의 제 1 실시예를 나타낸 순서도.
도 7은 도 1에 따른 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 방법의 제 2 실시예를 나타낸 순서도.
도 8은 초기 위치보정 설정을 설명하기 위한 도면.
도 9는 생물체 온도 검출 및 금속 물체 검출 모습을 나타내는 도면.
도 10은 무선 충전 충전기에 장착된 FOD 및 LOD 검출장치의 예시적 형태를 나타내는 도면.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명에 따른 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 어플리케이션이 탑재된 컴퓨터 장치의 구성을 나타낸 도면이다.
열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 장치(100)는 프로세서(110), 프로그램과 데이터를 저장하는 비휘발성 저장부(111), 실행 중인 프로그램을 저장하는 휘발성 메모리(112), 다른 기기와 통신을 수행하기 위한 통신부(113), 이들 장치 사이의 내부 통신 통로인 버스 등으로 이루어져 있다. 실행중인 프로그램으로는, 장치 드라이버, 운영체계(Operating System), 및 다양한 어플리케이션이 있을 수 있다. 도시되지는 않았지만 전자장치는 배터리와 같은 전력제공부를 포함한다.
열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 시스템은 열화상 및 일반카메라를 이용한 FOD 및 LOD 검출 장치(100)에 열화상 및 일반 카메라(20)가 더 포함된 구조를 의미하며 별도의 통신 인터페이스를 이용하여 전기차 무선충전 통신 제어장치(EVCC)(200)와 통신이 이루어진다.
열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 장치(100)는 지상에서 이동하는 이동체, 예를 들어 전기차 등에 장착된 열화상 및 일반 카메라(20)에서 획득된 특정지역의 영상을 수신한다. 그리고 열화상 및 일반 카메라에서 획득된 영상을 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 어플리케이션(120)으로 전달해준다. 물론 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 장치(100)에는 데이터 인터페이스 장치(미도시) 등에서 이를 받아 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 어플리케이션(120)으로 적절히 전달해 줄 수 있다. 즉 데이터 인터페이스 장치는 영상 신호를 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 어플리케이션(120)으로 전달하는 과정에서 일종의 버퍼 역할을 수행할 수 있다. 또한 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 장치(100)에는 열화상 및 일반 카메라 드라이버(121)가 설치되어, 전술한 바와 같은 열화상 및 일반 카메라(20)의 작동을 제어하는 역할을 수행할 수 있다.
열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 어플리케이션(120)은, 전술한 바와 같은 열화상 및 일반 카메라에서 획득된 영상에서 FOD 및 LOD를 검출하는 역할을 수행한다. 이러한 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 어플리케이션(120)은 열화상 및 일반 카메라의 영상 신호를 이용하여 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 장치(100)에 설치되어 동작되는 프로그램이며, 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 어플리케이션(120)의 수행에 의한 FOD 및 LOD 검출 방법에 관하여는 이하 도 5 내지 도 7을 참조하여 후술하기로 한다.
도 2는 본 발명에 따른 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 장치가 전기차에 장착되는 구성을 나타낸 개념도이고, 도 3은 본 발명에 따른 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 장치를 나타낸 도면이며, 도 4는 도 3에 따른 장치에서 열화상 및 일반 카메라의 객체 탐지에 따른 위치 보정을 통한 출력을 보여주는 개념도이다.
도 2에 도시된 바와 같이 무선 충전이 가능한 전기차(1)의 내부에는 카메라(20)와, 소형 인공지능용 컴퓨터(10), 디스플레이(30)를 포함할 수 있다.
카메라(20)는 도 2 내지 도 3에 도시된 바와 같이 무선 충전이 가능한 전기차(1)의 임의의 부분에 이미지를 획득하는 일반 카메라(20a) 및 열화상 카메라(20b)가 쌍을 이루어 구성되며, 본 발명에서는 카메라(20)가 전기차(1)의 전면에 장착되어 충전영역에 존재하는 FOD 및 LOD를 검출하게 되는데, 이때 실제 객체 및 열 정보를 획득하게 된다. 그리고 카메라(20)는 획득된 정보를 외부로 전달하기 위하여 통신 인터페이스를 포함하고 있으며, 이 통신 인터페이스는 획득된 이미지 정보를 외부 처리장치에 전달되도록 한다. 즉 별도의 인터페이스(CAN, USB) 등을 통하여 전기차 무선충전 통신 제어 장치 혹은 차량 내부 정보제공 단말에 정보를 전달한다. 그리고 별도의 입력장치를 통하여 일반 카메라(20a)와 열화상 카메라(20b)의 객체 탐지를 위한 위치 보정이 초기에 이루어지며, 도 4는 열화상 및 일반 카메라에서 실제 객체 탐지를 위한 위치 보정으로 객체(40)가 합성되는 출력을 보여주고 있으며, 도시되지는 않았지만 LOD를 탐지하였을 때, 열 정보와 함께 탐지된 생물체 명을 화면상에 표시할 수 있고, FOD를 탐지하였을 때 또한 열 정보와 탐지된 FOD 금속체 명을 화면상에 표시한다.
소형 인공지능용 컴퓨터(10)는 카메라(11)를 통하여 FOD 및 LOD가 검출되도록 하기 위한 외부 처리장치로서, 전기차(1) 내부에 포함될 수 있으며, 전기차 무선 충전 서버에 포함되어 구성될 수도 있다. 소형 인공지능용 컴퓨터(10)가 카메라(20)로부터 획득된 정보를 수신하여 FOD 및 LOD를 탐지하는데 카메라(20)에서 획득된 각 이미지를 합성한 후 FOD 및 LOD를 검출하는 알고리즘을 수행하게 된다. 이후 전기차 무선충전 통신 제어장치(EVCC; Elcectric Vehicle Communication Controller)에 수행된 결과를 전달하여 통신이 이루어진 충전기에 충전 관련 값 설정 및 충전 중단을 요청할 수 있다. 예를 들어 하나의 분류에 속하는 객체가 발견되며 초기 설정을 통하여 보정된 열화상 카메라의 검출 영역에서 해당 객체의 온도, 분류명, 상태(정상, 경고, 위험)를 표시할 수 있도록 한다. 또한 통신이 수립된 충전기로 충전 파라메터 설정 및 충전 중단 요청을 수행할 수 있다.
디스플레이(30)는 소형 인공지능 컴퓨터(10)에서 처리된 결과를 표시하거나무선 충전에 따른 경고 및 위험 정보를 출력하게 된다.
도 5는 본 발명에 따른 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 방법을 수행하는 순서도이다.
먼저 열화상 및 일반 카메라를 이용하여 FOD 및 LOD를 검출하기 이전에 전기차에 탑재된 열화상 및 일반 카메라는 도 4에서와 같이 일반 카메라에서 검출된 객체 정보와 열화상 카메라에서 추출되는 객체의 동일성을 보장하기 위하여 위치 보정기능이 동작된다.
도 5를 참조하면 일반 카메라로부터 수신된 영상에서 객체를 탐지한다(S100). 여기서 객체 탐지는 영상을 입력값으로 하여 AI를 통해 객체의 위치를 확인하고, 위치가 확인된 객체를 AI를 이용하여 FOD와 LOD로 분류한다.
그리고 열화상 카메라로부터 수신된 화상에서 온도를 탐지한다(S110). 이때 온도 탐지는 화상에서 검출된 온도가 화재 발생 임계 온도(80도) 이상이 있는지를 확인하고, 상기 화재 발생 임계 온도 이상이 없는 경우, 상온 이상이 있는지를 확인한다.
이후 단계 S100 및 단계 S110에서 탐지된 정보를 합성하여 무선충전 상태를 판단한다(S120). 여기서 정보 합성은 단계 S100에서 탐지된 FOD와 단계 S110에서 탐지 시 화재 발생 임계 온도 이상이 있는지와 단계 S100에서 탐지된 LOD가 단계 110에서 탐지 시 화재 발생 임계 온도 이상이 없고 생명체 감시 온도인, 즉 상온 이상이 있는지를 확인하여 이를 합성하는 것이다. 그리고 확인 결과에 따라 무선 충전 위험, 정상, 경고등의 무선 충전 상태를 판단한다. 따라서 분류된 FOD가 화재 발생 임계 온도 이상이 있으면, 무선 충전 위험 상태이고, 분류된 FOD가 화재 발생 임계 온도 이상이 없으면 무선 충전 정상 상태가 된다. 그리고 분류된 LOD가 상온 이상이면 무선 충전 경고 상태이고, 분류된 LOD가 상온 이상이 아니면 무선 충전 정상 상태가 된다.
도 6은 본 발멸에 따른 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 방법의 제 1 실시예를 보여주는 순서도이다.
먼저 일반 카메라로부터 수신된 영상을 입력값으로 하여 AI를 통해 객체의 위치를 확인한다(S200).
이후 단계 S200의 위치 확인된 객체를 AI를 이용하여 분류한다(S210). 이때 객체의 분류 카테고리는 금속 및 생물체로 FOD 및 LOD로 분류하게 된다.
이어서 FOD로 분류된 객체가 열화상 카메라로부터 수신된 영상에서 화재 발생 임계 온도 이상이 있는지를 확인한다(S220).
확인(S220) 결과, 분류된 FOD에 화재 발생 임계 온도 이상이 있으면 무선충전 위험(S240)이 되며, 분류된 FOD에 화재 발생 임계 온도 이상이 없으면, 무선 충전 정상(S250)이 된다.
반면 LOD로 분류된 객체에 열화상 카메라로부터 수신된 영상에서 상온 이상이 있는지를 확인(S230)하여, 분류된 LOD에 상온 이상이 없으면 무선 충전 정상(S50) 상태가 되며, 분류된 LOD에 상온 이상이 있으면 무선 충전 경고(S260) 상태가 된다.
도 7은 본 발명에 따른 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 방법의 제 2 실시예를 보여주는 순서도이다.
먼저 열화상 카메라로부터 입력된 화상에서 검출된 온도가 화재 발생 임계 온도 이상이 있는지를 확인한다(300).
확인(S300) 결과, 검출된 온도가 화재 발생 임계 온도 이상이 있을 경우 무선 충전 위험(S340) 상태가 되며, 검출된 온도가 화재 발생 임계 온도 이상이 없을 경우, 검출된 온도가 상온 이상이 있는지를 확인한다(S310).
확인(S310) 결과, 검출된 온도가 상온 이상이 없을 경우, 무선 충전 정상(S350) 상태가 되며, 검출된 온도가 상온 이상이 있을 경우, 검출된 상온 이상의 객체를 일반 카메라에서 입력된 영상에서 객체의 위치를 AI를 이용하여 확인하고 분류한다(S320). 여기서 앞서 설명한 도 6의 제 1 실시예와 도 7의 제 2 실시예와의 차이점은 제 2 실시예에서는 일반 카메라에서 입력된 영상에서 객체의 위치를 확인하고 분류하는 과정이 열화상 카메라에서 검출된 온도가 상온 이상이 있을 경우에 만 AI를 이용하여 객체의 위치 및 분류 과정이 이루어지므로 전력장치의 배터리 소모를 줄일 수 있다.
이어서 단계 S320에서 분류된 객체가 LOD 인지를 확인한다(S330).
확인(S330) 결과, 분류된 객체가 LOD가 아닌 경우에는 무선 충전 정상(S350) 상태가 되며, 분류된 객체가 LOD인 경우에는 무선 충전 경고(S360) 상태가 된다.
도 8은 초기 위치보정 설정을 설명하기 위한 도면이다.
도 8에서는 도 3에 도시된 카메라(20)에서 전달되는 이미지 정보들을 표시하는 화면이 도시되어 있다. 특정 물체에 대한 일반 카메라 이미지(51)와 열화상 카메라 이미지(52)가 도시되어 있다. 열화상 카메라 이미지(52)는 옅은 흰색으로 나타나 있으며, 일반 카메라 이미지(51)와는 그 위치가 약간 어긋나 있다. 본 발명의 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 장치(100)의 FOD 및 LOD 검출 어플리케이션(120)은, 이와 같이 일반 카메라 화면과 열화상 카메라 화면을 겹친 후, 특정 물체에 대한 일반 카메라 이미지(51)와 열화상 카메라 이미지(52)를 동일 위치로 맞추도록 어느 한 화면을 이동시키는 방식으로 초기 위치보정을 수행한다. 예를 들어 도 8에서 회색으로 나타난 thermal region(53)을 이동시킴으로써 일반 카메라 이미지(51)와 열화상 카메라 이미지(52)를 동일 위치로 맞추는 방식으로 초기 위치보정을 수행한다. Thermal region(53)은, 사용자가 설정할 수도 있고, 또는 열이 검출된 영역을 중심으로 FOD 및 LOD 검출 어플리케이션(120)이 자동으로 설정할 수도 있다. 또한 이러한 위치조정은 전술한 바와 같이 FOD 및 LOD 검출 어플리케이션(120)이 자동으로 수행할 수도 있고, 또는 도 8과 같이 제공되는 화면에서 사용자가 키보드 등을 이용하여 수행할 수도 있다.
도 9는 생물체 온도 검출 및 금속 물체 검출 모습을 나타내는 도면이다.
도 9에서는 FOD 및 LOD의 검출 화면을 나타낸다. 도 8에서 설정된 Thermal Region(53) 안에서 검출될 경우 물체의 정보와 열 정보를 화면상에 합성하여 표시한다. 도 9(a),(b)에서 thermal region은, thermal region 표시선(61)으로 나타내어지고, 'thermal region' 표시글자(62)에 의해 thermal region임을 알려준다.
도 9(a)에서, 사람이 '객체'로 검출되어, 그 객체의 영역이 객체영역 표시선(71)으로 나타내어져 있고, 객체의 온도(72)가 표시되어 있다. 마찬가지로 도 9(b)에서도, 금속물체가 '객체'로 검출되어, 그 객체의 영역이 객체영역 표시선(81)으로 나타내어져 있고, 객체의 온도(82)가 표시되어 있다.
이와 같이 영상 내의 물체가 사람인지, 다른 생물체인지 또는 금속 객체인지 등의 검출은, 일반 카메라(20a)로부터 수신한 영상에서, 본 발명의 FOD 및 LOD 검출 어플리케이션(120)이 AI 기반 알고리즘을 이용하여 수행할 수 있다. 또한 해당 객체에 대하여 표시된 온도는 열화상 카메라(20b)에서 측정된 온도로서, 본 발명의 FOD 및 LOD 검출 어플리케이션(120)이 열화상 카메라(20b)로부터 수신한 정보이다.
일반 카메라(20a) 및 열화상 카메라(20b)로부터의 영상의 수신은, 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 장치(100)의 영상 수신부에 의해 수행된다. 이러한 영상 수신부는, 도 1의 열화상 및 일반 카메라 드라이버(121)가 수행할 수도 있고, 또는 별도의 영상 수신부를 구비할 수도 있다.
이와 같이 검출된 생물체 및 금속물체 정보 및 온도 정보는 통신부(113)를 통하여 전기차 무선충전 통신 제어장치(EVCC)(200)로 전달될 수 있다. 또한 이러한 검출된 생물체 및 금속물체 정보 및 온도 정보는 통신부(113)를 통하여 통신제어기(300)로 전달될 수도 있다.
또한 도 6 또는 도 7에서 무선 충전 상태가 위험 또는 경고인 것으로 판단된 경우, 본 발명의 FOD 및 LOD 검출 어플리케이션(120)은 상기 무선 충전 상태 정보를 충전제어기(300) 또는 전기차 무선충전 통신 제어장치(EVCC)로 송신할 수 있다.
도 10은 무선 충전 충전기에 장착된 FOD 및 LOD 검출장치(100)의 예시적 형태를 나타내는 도면이다.
이하에서 '충전 인프라'는 충전제어기(300) 및 급전패드(310,320,330)를 포함하는 인프라에 대한 명칭으로 사용하기로 한다.
도 1 내지 도 9를 참조하여 설명한 FOD 및 LOD 검출 방법을 수행하는 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 장치(100)는, 전기차(1)에 장착될 수도 있고, 또는 도 10에 도시된 바와 같이 충전 인프라 영역에 설치되어 급전패드(310,320,330)에서의 충전을 제어하는 충전제어기(300)와 연동되어 있을 수도 있다. FOD 및 LOD 검출 장치(100)가 '충전제어기(300)와 연동'되어 있다 함은, 충전제어기(300)와 무선 또는 유선의 통신이 가능하게 연결되어 있음을 의미한다. 즉, FOD 및 LOD 검출 장치(100)는, 경우에 따라 충전제어기(300) 내에 장착되어 있을 수도 있으나, 이에 한정되는 것은 아니며, 전술한 바와 같이 충전제어기(300)와 무선 또는 유선의 통신이 가능하게 연결되어 있으면 된다.
또한 역시 도 1 내지 도 9를 참조하여 설명한, FOD 및 LOD 검출 장치(100)에 영상을 제공하는 카메라(20)는, 전기차(1)에 장착될 수도 있고, 또는 도 10에 도시된 바와 같이 충전 인프라 영역에 설치될 수 있다. '충전 인프라 영역'이라 함은 충전제어기(300) 및 급전패드(310,320,330)가 설치된 영역을 의미한다. 바람직하게는 도 10에 도시된 바와 같이 급전패드(310,320,330) 인근에 설치되어, 급전패드(310,320,330) 상의 생물체 또는 금속물체를 촬영할 수 있도록 하는 것이 좋다. 즉, 충전제어기(300)가 급전패드(310,320,330)와 연동되어 있지만, 공간상으로는 멀리 떨어진 경우라면 '카메라(20)가 설치되는 충전 인프라 영역'이라 함은 급전패드(310,320,330) 인근 영역을 가리키는 것이다.
즉, 카메라(20)와 FOD 및 LOD 검출 장치(100)는 모두 전기차(1)에 장착되거나 모두 충전 인프라 영역에 설치될 수도 있다. 또는 카메라(20)는 충전 인프라 영역에 설치되고 FOD 및 LOD 검출 장치(100)는 전기차(1)에 설치되거나, 그 반대로 카메라(20)는 전기차(1)에 설치되고 FOD 및 LOD 검출 장치(100)는 충전 인프라 영역에 설치될 수도 있다.
어떤 경우든지 카메라(20)는, FOD 및 LOD 검출 장치(100)와 연동되어, FOD 및 LOD 검출 장치(100)로 급전 패드(310,320,330) 위의 영상을 제공할 수 있다.
또한 FOD 및 LOD 검출 장치(100)는, 전기차(1)에 장착되든지 또는 충전 인프라 영역에 설치되든지, 통신부(113)를 통한 통신을 이용하여 충전제어기(300)와, 급전 패드(310,320,330) 위의 검출 객체에 대한 정보, 즉, 객체의 종류 및 온도 정보 등의 제공 등을 수행할 수 있다.
충전제어기(300)가, 급전 패드(310,320,330) 위에 있지 않아야 될 조건의 객체 정보를 FOD 및 LOD 검출 장치(100)로부터 수신한 경우, 해당 급전 패드에서의 충전을 중지시킬 수 있고, 경우에 따라 알람 등을 통하여 해당 급전 패드 상에 경고를 발생시킬 수 있다.
또한 FOD 및 LOD 검출 장치(100)가 전기차(1)에 장착되든지 또는 충전 인프라 영역에 설치되든지, 역시 통신부(113)를 통한 통신을 이용하여, 전기차(1)에 장착된 전기차 무선충전 통신 제어장치(EVCC)(200)로 급전 패드(310,320,330) 위의 검출 객체에 대한 정보, 즉, 객체의 종류 및 온도 정보 등을 제공할 수 있다.
전기차 무선충전 통신 제어장치(EVCC)(200)가 급전 패드(310,320,330) 위에 있지 않아야 될 조건의 객체 정보를 FOD 및 LOD 검출 장치(100)로부터 수신한 경우, 디스플레이 등을 통하여 운전자에게 경고할 수 있다.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.

Claims (29)

  1. 전기차에 탑재되거나 또는 충전 인프라 영역에 설치된 일반 카메라 및 열화상 카메라를 이용하여 FOD 및 LOD를 검출하는 방법으로서,
    (a) 일반 카메라로부터 수신된 영상에서 객체를 탐지하는 단계;
    (b) 열화상 카메라로부터 수신된 화상에서 객체의 온도를 탐지하는 단계; 및
    (c) 상기 단계 (a) 및 상기 단계 (b)에서 탐지된 정보를 합성하여 무선충전 상태를 판단하는 단계
    를 포함하는 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 방법.
  2. 청구항 1에 있어서,
    상기 단계 (a)의 객체 탐지는,
    (a1) 상기 영상을 입력값으로 하여 AI를 통해 객체의 위치를 확인하는 단계; 및
    (a2) 상기 단계 (a1)에서 위치가 확인된 객체를 FOD와 LOD로 분류하는 단계
    를 포함하는 것을 특징으로 하는 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 방법.
  3. 청구항 1에 있어서,
    상기 단계 (b)의 객체 온도 탐지는,
    (b1) 상기 화상에서 객체의 온도가 화재 발생 임계 온도 이상이 있는지를 확인하는 단계; 및
    (b2) 상기 단계 (b1)의 판단 결과, 상기 화재 발생 임계 온도 이상이 없는 경우, 상온 이상이 있는지를 판단하는 단계
    를 포함하는 것을 특징으로 하는 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 방법.
  4. 청구항 1에 있어서,
    상기 단계 (c)에서 무선 충전 상태는
    위험, 정상, 그리고 경고 중 적어도 어느 하나인 것을 특징으로 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 방법.
  5. 청구항 4에 있어서
    상기 위험은,
    상기 FOD로 분류되고, 이 분류된 FOD가 상기 화재 발생 임계 온도 이상인 경우인 것
    을 특징으로 하는 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 방법.
  6. 청구항 4에 있어서,
    상기 정상은,
    상기 FOD로 분류되고, 이 분류된 FOD가 상기 화재 발생 임계 온도 이상이 아니거나, 또는 상기 LOD로 분류되고, 이 분류된 LOD가 상기 상온 이상이 아닌 경우 중 어느 하나인 것
    을 특징으로 하는 열화상 및 일반 카메라를 이용한 FDO 및 LOD 검출 방법.
  7. 청구항 4에 있어서,
    상기 경고는,
    상기 LOD로 분류되고, 이 분류된 LOD가 상기 상온 이상인 경우인 것
    을 특징으로 하는 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 방법.
  8. 청구항 1에 있어서,
    상기 일반 카메라 및 열화상 카메라는 초기에 위치 보정이 이루어지는 것
    을 특징으로 하는 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 방법.
  9. 전기차에 탑재되거나 또는 충전 인프라 영역에 설치된 일반 카메라 및 열화상 카메라를 이용하여 FOD 및 LOD를 검출하는 방법으로서,
    (a) 일반 카메라로부터 수신된 영상을 입력값으로 하여 AI를 통해 객체의 위치를 확인하는 단계;
    (b) 상기 단계 (a)에서 위치가 확인된 객체를 FOD와 LOD로 분류하는 단계; 및
    (c) 상기 단계 (b)에서 분류된 FOD가 열화상 카메라로부터 수신된 영상에서 화재 발생 임계 온도 이상이 있는지, 그리고 상기 (b)에서 분류된 LOD가 열화상 카메라로부터 수신된 영상에서 상온 이상이 있는지를 확인하여 무선 충전 상태를 판단하는 단계
    를 포함하는 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 방법.
  10. 청구항 9에 있어서,
    상기 무선 충전 상태는
    위험, 정상, 그리고 경고 중 적어도 어느 하나 인 것을 특징으로 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 방법.
  11. 청구항 10에 있어서,
    상기 위험은,
    상기 FOD로 분류되고, 이 분류된 FOD가 상기 화재 발생 임계 온도 이상인 경우 인 것
    을 특징으로 하는 열화상 카메라 및 일반 카메라를 이용한 FOD 및 LOD 검출 방법.
  12. 청구항 10에 있어서
    상기 정상은,
    상기 FOD로 분류되고, 이 분류된 FOD가 상기 화재 발생 임계 온도 이상이 아니거나, 또는 상기 LOD로 분류되고, 이 분류된 LOD가 상기 상온 이상이 아닌 경우 중 어느 하나인 것
    을 특징으로 하는 열화상 및 일반 카메라를 이용한 FDO 및 LOD 검출 방법.
  13. 청구항 10에 있어서
    상기 경고는,
    상기 LOD로 분류되고, 이 분류된 LOD가 상기 상온 이상인 경우 인 것
    을 특징으로 하는 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 방법.
  14. 청구항 9에 있어서,
    상기 일반 카메라 및 열화상 카메라는 초기에 위치 보정이 이루어지는 것
    을 특징으로 하는 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 방법.
  15. 전기차에 탑재되거나 또는 충전 인프라 영역에 설치된 일반 카메라 및 열화상 카메라를 이용하여 FOD 및 LOD를 검출하는 방법으로서,
    (a) 열화상 카메라로부터 입력된 화상에서 객체의 온도가 화재 발생 임계 온도 이상이 있는지를 확인하는 단계;
    (b) 상기 단계 (a)의 확인 결과, 상기 화재 발생 임계 온도 이상이 없는 경우, 상온 이상이 있는지를 확인하는 단계; 및
    (c) 상기 단계 (b)의 확인 결과, 상기 상온 이상이 있는 경우, 이 상온 이상의 객체를 일반 카메라에서 입력된 영상에서 AI를 이용하여 객체의 위치를 확인하고 FOD와 LOD로 분류하여 무선 충전 상태를 판단하는 단계
    를 포함하는 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 방법.
  16. 청구항 15에 있어서,
    상기 무선충전 상태는,
    위험, 정상, 그리고 경고 중 적어도 어느 하나인 것을 특징으로 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 방법.
  17. 청구항 16에 있어서,
    상기 위험은,
    상기 단계 (a)의 확인 결과, 상기 화재 발생 임계 온도 이상이 있는 경우인 것
    을 특징으로 하는 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 방법.
  18. 청구항 16에 있어서,
    상기 정상은,
    상기 단계 (b)의 확인 결과, 상기 상온 이상이 없거나, 또는 상온 이상이 있고 상기 단계 (b)에서 분류된 객체가 FOD 인 경우 중 하나인 것
    을 특징으로 하는 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 방법.
  19. 청구항 16에 있어서,
    상기 경고는,
    상기 단계 (b)의 확인 결과, 상기 상온 이상이 있고, 상기 단계 (b)에서 분류된 객체가 LOD 인 경우인 것
    을 특징으로 하는 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 방법,
  20. 청구항 15에 있어서,
    상기 일반 카메라 및 열화상 카메라는 초기에 위치 보정이 이루어지는 것
    을 특징으로 하는 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 방법.
  21. 청구항 8, 청구항 14 및 청구항 20 중 어느 한 항에 있어서,
    상기 위치 보정은,
    일반 카메라 화면과 열화상 카메라 영상을 겹쳐놓는 단계; 및,
    일반 카메라 화면상의 특정 물체 이미지와 열화상 카메라 화면상의 사이 특정 물체 이미지의 위치를 동일 위치로 맞추는 단계
    를 통하여 수행되는 것을 특징으로 하는 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 방법.
  22. 청구항 1, 청구항 9 및 청구항 15 중 어느 한 항에 있어서,
    일반 카메라 영상의 객체의 종류를 판별하는 단계; 및,
    상기 객체의 정보를 충전제어기 또는 전기차 무선충전 통신 제어장치(EVCC)로 송신하는 단계
    를 더 포함하는 것을 특징으로 하는 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 방법.
  23. 청구항 4, 청구항 10 및 청구항 16 중 어느 한 항에 있어서,
    무선 충전 상태가 위험 또는 경고인 경우,
    상기 무선 충전 상태 정보를 충전제어기 또는 전기차 무선충전 통신 제어장치(EVCC)로 송신하는 단계
    를 더 포함하는 것을 특징으로 하는 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 방법.
  24. 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 장치로서,
    열화상 카메라 및 일반 카메라로부터, 촬영된 영상을 수신하는 영상 수신부;
    상기 열화상 카메라 및 상기 일반 카메라에 대하여 초기에 위치 보정을 수행하는 위치 보정부;
    상기 열화상 카메라 및 상기 일반 카메라에서 획득된 영상에서 FOD 및 LOD를 검출하는 FOD/LOD 검출부; 및,
    상기 FOD/LOD 검출부가 검출한 객체의 정보 또는 무선 충전 상태 정보를 충전제어기 또는 전기차 무선충전 통신 제어장치(EVCC)로 송신하는 통신부
    를 포함하는 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 장치.
  25. 청구항 24에 있어서,
    상기 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 장치는,
    충전 인프라 영역에 설치되는 것
    을 특징으로 하는 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 장치.
  26. 청구항 24에 있어서,
    상기 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 장치는,
    전기차에 장착되는 것
    을 특징으로 하는 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 장치.
  27. 청구항 24에 있어서,
    상기 검출한 객체의 종류에는,
    생물체인지 여부에 대한 정보 또는 금속물체인지 여부에 대한 정보를 포함하는 것
    을 특징으로 하는 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 장치.
  28. 청구항 24에 있어서,
    상기 FOD/LOD 검출부는,
    상기 열화상 카메라 및 상기 일반 카메라에서 획득된 영상에서 열 발생 물체의 위치를 검출하는 기능
    을 더 포함하는 것을 특징으로 하는 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 장치.
  29. 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 시스템으로서,
    열화상 카메라 및 일반 카메라;
    상기 열화상 카메라 및 상기 일반 카메라로부터, 촬영된 영상을 수신하는 영상 수신부;
    상기 열화상 카메라 및 상기 일반 카메라에 대하여 초기에 위치 보정을 수행하는 위치 보정부;
    상기 열화상 카메라 및 상기 일반 카메라에서 획득된 영상에서 FOD 및 LOD를 검출하는 FOD/LOD 검출부; 및,
    상기 FOD/LOD 검출부가 검출한 객체의 정보 또는 무선 충전 상태 정보를 충전제어기 또는 전기차 무선충전 통신 제어장치(EVCC)로 송신하는 통신부
    를 포함하는 열화상 및 일반 카메라를 이용한 FOD 및 LOD 검출 시스템.
PCT/KR2022/005312 2021-04-12 2022-04-12 열화상 및 일반 카메라를 이용한 fod 및 lod 검출 방법 및 장치 WO2022220560A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210047073 2021-04-12
KR10-2021-0047073 2021-04-12

Publications (1)

Publication Number Publication Date
WO2022220560A1 true WO2022220560A1 (ko) 2022-10-20

Family

ID=83640505

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/005312 WO2022220560A1 (ko) 2021-04-12 2022-04-12 열화상 및 일반 카메라를 이용한 fod 및 lod 검출 방법 및 장치

Country Status (2)

Country Link
KR (1) KR20220141756A (ko)
WO (1) WO2022220560A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102605549B1 (ko) * 2022-11-17 2023-11-24 동양이엔피 주식회사 무선 충전 안전 관리 시스템
KR102630077B1 (ko) * 2022-12-19 2024-01-29 (주)이카플러그 전기차 충전기의 화재 위험 감지 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013133470A1 (ko) * 2012-03-06 2013-09-12 충남대학교 산학협력단 열화상 내에서 특정부위 추적이 가능한 열상시스템 및 이를 이용한 특정부위의 추적방법
US20150364944A1 (en) * 2014-06-17 2015-12-17 Qualcomm Incorporated Methods and systems for object detection and sensing for wireless charging systems
US20180262014A1 (en) * 2015-09-16 2018-09-13 Energous Corporation Systems and methods of object detection using one or more sensors in wireless power charging systems
KR20200100976A (ko) * 2019-02-19 2020-08-27 삼성전자주식회사 무선 전력 충전 방법 및 이를 사용하는 전자 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100440771B1 (ko) 2002-04-08 2004-07-21 한국수력원자력 주식회사 Ｃｃｄ 카메라와 적외선 열영상 카메라를 이용한원자로시설 이상진단 방법 및 그 장치
KR101836229B1 (ko) 2016-04-25 2018-03-09 금오공과대학교 산학협력단 카메라와 적외선 센서를 이용한 벽면 이동 로봇의 장애물 인식에 따른 이동 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013133470A1 (ko) * 2012-03-06 2013-09-12 충남대학교 산학협력단 열화상 내에서 특정부위 추적이 가능한 열상시스템 및 이를 이용한 특정부위의 추적방법
US20150364944A1 (en) * 2014-06-17 2015-12-17 Qualcomm Incorporated Methods and systems for object detection and sensing for wireless charging systems
US20180262014A1 (en) * 2015-09-16 2018-09-13 Energous Corporation Systems and methods of object detection using one or more sensors in wireless power charging systems
KR20200100976A (ko) * 2019-02-19 2020-08-27 삼성전자주식회사 무선 전력 충전 방법 및 이를 사용하는 전자 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PARK, YONG JU ET AL.: "Trend of FOD Research in kW Wireless Power Transmission System", KICS - THE JOURNAL OF THE KOREAN INSTITUTE OF COMMUNICATION SCIENCE, KOREAN INSTITUTE OF COMMUNICATION SCIENCE, KOREA, vol. 38, no. 3, 1 March 2021 (2021-03-01), Korea , pages 27 - 36, XP009540593, ISSN: 1226-4725 *

Also Published As

Publication number Publication date
KR20220141756A (ko) 2022-10-20

Similar Documents

Publication Publication Date Title
WO2022220560A1 (ko) 열화상 및 일반 카메라를 이용한 fod 및 lod 검출 방법 및 장치
WO2019139433A1 (en) Electronic device and method for transmission of reason wireless charging is stopping
WO2019221466A1 (ko) 외부 객체의 근접에 기반하여, 외부 장치로부터 전송될 무선 전력을 조정하기 위한 정보를 외부 장치로 전달하는 전자 장치 및 방법
WO2014157806A1 (en) Display device and control method thereof
WO2018236054A1 (ko) 전자 장치 및 그의 충전 제어 방법
WO2020226195A1 (ko) 충전 로봇 및 그를 제어하는 기기
WO2018066880A1 (ko) 충전을 수행하는 전자 장치 및 그 제어 방법
WO2014061904A1 (ko) 전기차 관리 시스템 및 방법
WO2020235939A2 (ko) 이동통신 단말기에서의 안면 인식을 이용한 관련 질환 모니터링 방법 및 시스템
WO2015030307A1 (en) Head mounted display device and method for controlling the same
WO2014092380A1 (ko) 차량용 블랙박스 시스템 및 그 운용방법
WO2019088610A1 (ko) 도어의 개폐 상태를 감지하기 위한 센싱 장치 및 그 센싱 장치를 제어하는 방법
WO2020032483A1 (ko) 수분 감지에 따라 인터페이스에 포함된 적어도 하나의 핀을 개방 상태로 제어하는 방법 및 이를 수행하는 전자 장치
WO2021157794A1 (ko) 도어락을 제어하는 장치 및 방법
WO2023120818A1 (ko) 자율주행차량이 혼재된 교통흐름 제어를 위한 교통흐름 제어 장치 및 이를 이용하는 방법
WO2021118101A1 (ko) 휴대용 화재 감지 장치
WO2021040126A1 (ko) 복합환경 측정을 이용한 지능형 웨어러블 위험 상태 판단 장치 및 그 방법
WO2021157918A1 (ko) 안전 서비스를 제공하는 전자 장치 및 그 방법
WO2020145653A1 (ko) 이미지의 촬영 장소를 추천하는 전자 장치 및 방법
WO2018012879A1 (ko) 차량 운전 보조장치
WO2019225875A1 (ko) 재고 추적 방법 및 장치
WO2023158068A1 (ko) 객체검출률 향상을 위한 학습시스템 및 그 방법
WO2019103219A1 (ko) 행동정보를 이용한 질병예측방법 및 장치
WO2022145594A1 (ko) 딥러닝 객체 추적을 통한 무인주차 관제 시스템 및 방법
WO2022039373A1 (ko) 개인 위험 상태 감지 기반 상황 정보 획득 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22788416

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22788416

Country of ref document: EP

Kind code of ref document: A1