WO2023277422A1 - 자율 주행용 차량의 카메라 백업 시스템 및 방법 - Google Patents

자율 주행용 차량의 카메라 백업 시스템 및 방법 Download PDF

Info

Publication number
WO2023277422A1
WO2023277422A1 PCT/KR2022/008669 KR2022008669W WO2023277422A1 WO 2023277422 A1 WO2023277422 A1 WO 2023277422A1 KR 2022008669 W KR2022008669 W KR 2022008669W WO 2023277422 A1 WO2023277422 A1 WO 2023277422A1
Authority
WO
WIPO (PCT)
Prior art keywords
sub
camera
camera unit
compressed air
unit
Prior art date
Application number
PCT/KR2022/008669
Other languages
English (en)
French (fr)
Inventor
김배훈
Original Assignee
김배훈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김배훈 filed Critical 김배훈
Publication of WO2023277422A1 publication Critical patent/WO2023277422A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Definitions

  • the present invention relates to a camera backup system and method for an autonomous driving vehicle, which can reduce the load of processing image data of a camera for autonomous driving, and can maintain driving data normally by driving a backup system when a disturbance event occurs. It relates to a camera backup system and method for an autonomous vehicle.
  • the sensor combination consisting of lidar, camera, and radar is the most adopted for autonomous driving.
  • Lidar has an advantage in driving environments where light is scarce. Lidar has its own light source and is not affected by performance even in environments with insufficient light.
  • LIDAR enables 3D mapping by grasping the distance information of a target object by directly emitting a laser.
  • LiDAR just like a camera
  • the frequency of the light emitted by the lidar sensor is located between visible light and infrared light invisible to the naked eye, and is closer to visible light than infrared. That is, the laser emitted by lidar may also be affected by various objects, such as visible light recognized by a camera. For example, in an environment with severe fog or heavy rain, the laser emitted from lidar cannot pass through rain or fog, which may affect performance. This shows that lidar and cameras have similar problems.
  • lidar In addition, the visual information provided by lidar is more limited than that of cameras. In today's driving environment, there are many elements that require the driver's vision, such as signs, milestones, and traffic lights. However, Lidar can collect information about surrounding objects and provide precise 3D images, but it lacks the ability to process various other visual information such as colors and text.
  • the autonomous driving system is limited in recognizing the surrounding environment.
  • radar can be used in any bright or dark environment, but there is a problem in terms of cost because the visual information provided like lidar is more limited and expensive than cameras.
  • the camera may obtain various visual data including color or text as well as information on surrounding objects.
  • the data collected through such a camera has the advantage of being able to extract more diverse information about the driving environment through a deep learning model learned based on big data.
  • a 3D image may be derived through a deep learning model by collecting 2D images obtained through a camera.
  • the machine learning model must be very sophisticated enough to have a high level of cognitive ability at the level of an actual driver, and in order to derive such a model, a large amount of high-quality data, especially for specific and unusual traffic situations, must be secured. .
  • the present invention has been devised to solve the conventional problems, and the present invention can reduce the load of processing video data of a camera for autonomous driving, and can maintain driving data normally by driving a backup system when a disturbance event occurs. It is intended to provide a camera backup system and method for an autonomous vehicle.
  • a camera backup system for an autonomous vehicle includes a main camera unit for capturing an external image; a processor analyzing the image captured by the main camera to determine whether the main camera is in a normal state, and generating a sub-camera drive signal when it is determined to be abnormal; and at least one sub-camera unit that captures an external image when the sub-camera driving signal is received.
  • a camera backup system for an autonomous vehicle includes a main camera unit for capturing an external image; a sub camera provided adjacent to the main camera unit and capturing an external image by receiving a sub camera driving signal from a processor when the shooting state of the main camera unit is abnormal; and a cleaning unit receiving a cleaning signal from the processor and spraying compressed air to the front of the sub-camera to clean foreign substances.
  • a camera backup system for an autonomous driving vehicle analyzes an image obtained from a main camera unit to determine whether a photographing state of the main camera unit is normal, and if it is determined to be abnormal, a sub camera drive signal a processor that generates and transmits to a sub-camera unit so that the sub-camera unit captures an external image; and a cleaning unit configured to spray compressed air to the front of the sub-camera unit to clean foreign substances when a cleaning signal is received from the processor.
  • a camera backup system for an autonomous vehicle includes a main camera unit for capturing an external image; a plurality of sub-camera units provided adjacent to the main camera unit; and a processor configured to transmit a sub-camera driving signal to one sub-camera unit to allow the sub-camera unit to capture an external image when the main camera unit's capturing state is abnormal, wherein the processor determines that the capturing state is normal.
  • External images are sequentially photographed from the first sub-camera unit to the N-th sub-camera unit until
  • a method for backing up a camera of an autonomous vehicle includes receiving an external image captured through a main camera unit; determining whether a photographing state of the main camera unit is normal; generating a sub-camera drive signal when it is determined that the photographing state is abnormal; and transmitting the sub-camera driving signal to a sub-camera unit so that the sub-camera unit captures an external image.
  • a method for backing up a camera of an autonomous vehicle includes detecting an unexpected event occurring in an autonomous vehicle based on a main camera; collecting driving direction, driving speed, and sudden event information of the vehicle; determining a driving method for a plurality of sub-cameras by analyzing the collected information based on a pre-learned artificial intelligence algorithm; and driving the sub camera according to the determined method.
  • the camera backup system for an autonomous vehicle can reduce the load by reducing the data capacity and calculation amount of image data processing work by relatively reducing the angle of view by installing the camera outside the vehicle It works.
  • the camera backup system of an autonomous driving vehicle can maintain driving data normally by driving the backup system even when a disturbance event occurs in the main camera unit.
  • LIDAR data measured while the vehicle is moving is less precise because errors due to relative speed and errors caused by shaking of the vehicle occur, whereas the present invention obtains a two-dimensional image and Since 3D relative coordinates can be matched from 2D images in images), precision can be increased.
  • FIG. 1 is a block diagram showing the configuration of a camera backup system for an autonomous vehicle according to an embodiment of the present invention.
  • FIG. 2 is a diagram schematically illustrating the configuration of a camera backup system for an autonomous vehicle according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating an example of a plurality of sub-camera units according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an example of a processor according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating an example of a processor according to an embodiment of the present invention.
  • FIG. 6 is a diagram schematically showing the structure of a cleaning unit according to another embodiment of the present invention.
  • FIG. 7 shows an example of a cleaning unit according to an embodiment of the present invention.
  • FIG. 8 is a diagram for explaining a group of cameras provided for at least a part of an automobile according to an embodiment of the present invention.
  • FIG. 9 is a diagram schematically illustrating the configuration of cameras of a camera backup system for an autonomous vehicle according to a second embodiment of the present invention.
  • FIG. 10 is a flowchart illustrating a camera backup method of an autonomous vehicle according to an embodiment of the present invention.
  • FIG. 11 is a flowchart illustrating a method for backing up a camera of an autonomous vehicle according to a second embodiment of the present invention.
  • FIG. 1 is a block diagram showing the configuration of a camera backup system for an autonomous vehicle according to an embodiment of the present invention.
  • a camera backup system for an autonomous vehicle includes a main camera unit 100, a sub camera unit 200, a processor 300, and a cleaning unit 400. do.
  • the main camera unit 100 captures an external image for autonomous vehicle driving and transmits the captured image data to an image processing unit.
  • the main camera unit 100 is installed outside the vehicle to reduce the load of processing image data by narrowing the angle of view rather than inside the vehicle, but in some cases it is installed inside the vehicle. It can be installed, and the installation location is not limited.
  • the processor 300 controls overall operations of a camera backup system of an autonomous vehicle.
  • the processor 300 may analyze image data captured through the main camera unit 100 to determine whether or not the shooting state of the main camera unit 100 is normal.
  • the processor 300 may perform real-time capture of an image by the camera because rain or dust caused by weather or contaminants caused by the surrounding environment may interfere. As a result, it is possible to determine whether a photographing state is normal by analyzing image data photographed through the main camera unit 100 .
  • the processor 300 may determine whether the image data obtained from the main camera unit 100 is normal based on at least one of the size, slope, continuity, and frequency.
  • the processor 300 autonomously travels while servicing the main camera unit 100 back to normal or by driving the sub camera unit 200 instead of the main camera unit 100. It is possible to continuously record external images for
  • the front of the sub camera unit 200 may face the same direction as the main camera unit 100 .
  • a plurality of sub camera units 200 may be provided in an area adjacent to the main camera unit 100 .
  • FIG 3 shows an embodiment in which the sub camera unit 200 is arranged in a row on both sides of the main camera unit 100, but any arrangement can be implemented as long as the front side of the main camera unit 100 faces the same direction. Yes, and may or may not be limited.
  • the processor 300 determines that the shooting state of the main camera unit 100 is abnormal, the processor 300 transmits a cleaning signal to the cleaning unit 400 so that the cleaning unit 400 applies compressed air to the front of the sub camera unit 200. may be sprayed to clean foreign substances on the front of the sub-camera unit 200.
  • the processor 300 is provided as a control unit 310 independently provided outside the main camera unit 100 as shown in FIG. 2, or the main camera unit 100 as shown in FIG. ), or may be provided as an ADAS (Advanced Driver Assistance System) as shown in FIG. 5, convert image data acquired from a camera, and image data It can be replaced if it is a configuration capable of determining whether or not the photographing state is normal by analyzing.
  • ADAS Advanced Driver Assistance System
  • FIG. 2 is a diagram schematically showing the configuration of a camera backup system for an autonomous vehicle according to the present invention.
  • the main camera unit 100 is composed of a lens 110 mainly used in a camera of an autonomous driving vehicle, and includes a main sealed housing 110 mounting the lens 110 .
  • the sub-camera unit 200 includes a pinhole 201 with a hole formed at a position corresponding to the front side, a light transmission unit 202 that can be opened and closed at a part corresponding to the front side of the pinhole 201, and a light transmission unit controlled by the processor 300. It consists of a pinhole opening and closing valve 204 that opens and closes the pinhole from the outside by controlling the opening and closing of 202, and is provided with a sub-seal housing 205 to mount them.
  • a pinhole camera is a camera that transmits light through a pinhole, which is a small hole, detects subject information by an image sensor, and converts it into an image signal to take pictures.
  • the pinhole camera has the advantage of being able to clearly check the image even in the hole of a needle, and being ultra-small, it can be installed regardless of the installation location.
  • the cleaning unit 400 includes an air compression motor 410, a compressed air storage tank 420, an air pipe 430, and an air valve 440.
  • Compressed air is generated by the air compression motor 410, and the compressed air generated by the air compression motor 410 is stored in the compressed air storage tank 420, and the sub-sealed housing 205 from the compressed air storage tank 420 Compressed air may be delivered through the air pipe 430 connected to the inside.
  • the air valve 440 connected to the air pipe 430 is controlled by the control unit 310 to determine the movement of compressed air between the compressed air storage tank 420 and the sub-seal housing 205 .
  • control unit 310 analyzes image data captured through the main camera unit 100 and transmits an air valve open signal to the air valve 440 when it is determined that the shooting state of the main camera unit 100 is abnormal. and controls the compressed air from the compressed air storage tank 420 to move into the sub-seal housing 205.
  • the pinhole valve open signal is transmitted to the pinhole opening/closing valve 204 to open the light transmission part 202, so that the compressed air moved into the sub-seal housing 205 is injected through the open light transmission part 202, Any foreign substances may be blasted from the front of the camera unit by the pressure of the compressed air.
  • the opening of the light transmission part 202 by the pinhole valve open signal is set to follow the opening of the air valve 440 by the air valve open signal, so that the sub-sealing is performed by the air applied from the compressed air storage tank 420.
  • the pressure inside the housing rises, when the light transmission part 202 is opened, compressed air is injected from the inside of the sub-seal housing 205 through the light transmission part 202 by pressure, and the pressure of the air is injected into the sub camera. Foreign substances on the front of the unit 200 may be removed.
  • the controller 310 receives an image photographed by the sub camera unit 200 whose front surface is cleaned in this way.
  • the controller 310 may include an image processing unit that processes image data photographed through the main camera unit 100 .
  • the image processing unit includes an Image Signal Processor (ISP) chip that performs image processing including gain correction, white balance adjustment, and noise correction on image data, a scaler that adjusts the size of the image data, and the image data. It is configured to include at least one of encoders (Encoders) that converts from the first type to the second type.
  • ISP Image Signal Processor
  • such an image processing unit is included in the control unit 310 independently provided outside the main camera unit 100 or integrated inside the main camera unit 100 shown in FIG. 4 . It may be included in the control unit 320 provided as , or may be provided in an Advanced Driver Assistance System (ADAS) as shown in FIG. 5 .
  • ADAS Advanced Driver Assistance System
  • the sub camera unit 200 may share an image processing unit connected to the main camera unit 100 . Even when there are a plurality of sub-camera units 200 as shown in FIG. 3 , image data captured by each sub-camera unit 200 may be processed through an image processing unit connected to the main camera unit 100. It is possible to determine whether a photographing state is normal by analyzing image data photographed by the camera unit 200 .
  • a plurality of sub-camera units 200 may be provided in an area adjacent to the main camera unit 100.
  • N is a natural number excluding 0
  • sub-camera units 210, 220, 230, and 240 may be included.
  • the processor 300 may repeat the driving performed on the first sub-camera unit sequentially from the first sub-camera unit to the N-th sub-camera unit until the photographing state is determined to be normal.
  • each of the first to fourth sub-camera units 210 to 240 includes a pinhole formed at a position corresponding to the front side and a light transmission portion capable of opening and closing the pinhole at a portion corresponding to the front side of the pinhole. It consists of a sub-sealing housing and a pinhole opening/closing valve that opens and closes the pinhole by adjusting the opening and closing of the light transmission part under the control of the processor 300.
  • first to fourth sub-camera units 210 to 240 may share the cleaning unit 400 for applying compressed air to the inside of each sub-seal housing.
  • the air compression motor 410 for generating compressed air constituting the cleaning unit 400 and the compressed air storage tank 420 for storing the compressed air generated by the air compression motor 410 have the configuration and functions described above in FIG. 2 this is the same
  • N air pipes connected from the compressed air storage tank 420 to the inside of each of the sub-seal housings and each connected to the N air pipes are controlled by the processor 300, and the compressed air storage tank 420 and N number of air valves 441 , 442 , 443 , 444 for determining the movement of compressed air between the sub-seal housings may be further included.
  • the processor 300 transmits the L+1th air valve open signal to the L+1th air valve to store compressed air when it is determined that the photographing state of the Lth (L is a natural number excluding 0) camera in the previous step is abnormal.
  • the compressed air from the tank 420 is controlled to move into the L+1 sub-seal housing corresponding to the L+1 camera in the next step, and the L+1 pinhole valve open signal is transmitted to the L+1 pinhole opening/closing valve. by opening the L+1 th light transmission part, foreign substances may be blasted from the front of the camera using the pressure of the compressed air.
  • the processor 300 may receive an image captured by the L+1 sub-camera unit.
  • the main camera unit 100 and the sub-camera unit 200 including the first sub-camera unit to the N-th sub-camera unit may be provided as a group in at least one or more parts of the outer surface of the vehicle as shown in FIG. 8 . .
  • the processor 300 may recognize an object in the image through image processing of the captured image in real time and estimate a distance to the object.
  • the processor 300 estimates the 3D coordinate values of each pixel of the image in real time using modeling by a pinhole camera model and linear interpolation of the image data, so that The relative position with an object (vehicle, etc.) and semantic information (lane, etc.) for autonomous driving can be estimated in real time.
  • a 3D standard value for each pixel may be estimated based on the ground of the captured image.
  • the present invention can acquire information having sufficient reliability in real time without using expensive equipment in autonomous driving.
  • FIG. 6 is a diagram schematically showing the structure of a cleaning unit according to another embodiment of the present invention.
  • the cleaning unit 400 includes an air compression motor 410, a compressed air storage tank 420, and an air pipe 430 in the same manner as the cleaning unit 400 shown in FIG. and an air valve 440.
  • the air pipe 430 is not connected to the entire inside of the sub-seal housing 205, but a nozzle that is an end of the air pipe 430 is selectively disposed toward the light transmission portion 202.
  • Compressed air may be delivered from the compressed air storage tank 420 to the nozzle at the end through the air pipe 430 .
  • the air valve 440 connected to the air pipe 430 is controlled by the control unit 310, and compressed air is injected to the lens surface through the nozzle.
  • control unit 310 analyzes image data captured through the main camera unit 100 and transmits an air valve open signal to the air valve 440 when it is determined that the shooting state of the main camera unit 100 is abnormal. , and controls the compressed air from the compressed air storage tank 420 to be sprayed toward the light transmission unit 202 through the end nozzle of the air pipe 430 .
  • the pinhole valve open signal is transmitted to the pinhole opening/closing valve 204 to open the light transmission unit 202, so that the sub camera unit 200 captures a front image.
  • Foreign substances may be cleaned from the front surface of the sub-camera unit 200 by compressed air sprayed from the nozzle toward the light transmission unit 202 .
  • the opening of the air valve 440 by the air valve open signal and the opening of the light transmission unit 202 by the pinhole valve open signal may be executed simultaneously or in any order.
  • the controller 310 receives an image photographed by the sub camera unit 200 whose front surface is cleaned in this way.
  • FIG. 7 illustrates an embodiment of a camera front section according to an embodiment of the present invention.
  • a main camera unit 100 and a sub camera unit 200 are provided in an area adjacent to a peripheral device such as a vehicle light 500, and a cleaning unit for cleaning the main camera unit 100 ( 480) may be provided.
  • the cleaning units 480 (482, 484, 486) perform cleaning on the main camera unit 100 while the sub camera unit 200 takes over the role of the main camera unit 100 to clean the lenses attached to the lens. It can play a role in removing foreign matter.
  • the sub-camera unit 200 is not limited to being further provided in addition to the aforementioned cleaning unit 400 to help in cleaning the sub-camera unit 200 as well.
  • the cleaning unit 480 includes a camera wiper 482 provided to contact the camera lens, a nozzle 484 spraying a cleaning liquid toward the camera lens, and a motor 486 providing driving force to the camera wiper 482.
  • a motor 488 configured to drive the camera wiper 482 may be provided inside the vehicle, and the motor 486 may be fixed to one end of the camera wiper 482 moving on the camera lens.
  • the processor 300 transmits a signal for applying a voltage to the motor 486, the motor 486 causes the camera wiper 482 to come into contact with the camera lens and make both ends reciprocate, and the processor 300 moves the nozzle 484 It can be controlled so that the washing liquid is sprayed from.
  • the processor 300 causes the main camera unit 100 to capture an external image, analyzes the captured image, and returns to the main camera unit 100. ), it is possible to determine whether the main camera unit 100 is to be restarted according to the determination result.
  • the main camera unit 100 is driven again, and the sub camera unit 200 is turned off. (off) can be turned off.
  • the cleaning drive for the main camera unit 100 is executed again, and the sub camera unit 200 continues. ) can be controlled so that the role of the main camera unit 100 can be continuously performed.
  • FIG. 9 is a diagram schematically illustrating the configuration of cameras of a camera backup system for an autonomous vehicle according to a second embodiment of the present invention.
  • cameras of a camera backup system for an autonomous vehicle include a plurality of sub-camera units 200 around the main camera unit 100 as in the first embodiment. can be provided with
  • the processor 300 may additionally drive the sub-camera unit 200 to prepare for an emergency when an unexpected event such as a collision, sudden stop, sudden braking, or sudden turn occurs in the autonomous vehicle.
  • an unexpected event such as a collision, sudden stop, sudden braking, or sudden turn occurs in the autonomous vehicle.
  • the processor 300 additionally sets the sub-camera unit 200 when the operation characteristics of at least one sensor and parts are detected to be in an abnormal range above or below a preset threshold due to an unexpected event occurring in the autonomous vehicle. It can be driven to record an external image.
  • the processor 300 may selectively drive the plurality of sub-cameras 200 according to the condition of the sudden event.
  • the processor 300 collects information about the driving direction and speed of the vehicle and the type of sudden event, analyzes the collected information based on a pre-learned artificial intelligence algorithm, and sends information to the plurality of sub-cameras 200.
  • drive method can be determined.
  • the driving method determines whether all sub cameras 200 are driven or selectively driven, in which direction the sub cameras 200 are driven, or in which direction the sub cameras 200 are sequentially located in an arrangement. Including whether to drive or not.
  • FIG. 9 shows an embodiment in which the main camera unit 100 and the sub camera unit 200 are arranged in the vertical direction, and the sub camera 200 is selectively driven by the processor 300's decision. It may be driven sequentially in an upward or downward direction.
  • (b) is an embodiment in which the main camera unit 100 and the sub camera unit 200 are arranged in the horizontal direction. They may be sequentially driven in the right direction.
  • (c) is an embodiment in which the sub camera unit 200 surrounds the main camera unit 100 in a 360-degree direction with the main camera unit 100 as the center. 200 may be selectively driven or sequentially driven clockwise or counterclockwise.
  • FIG. 10 is a flowchart illustrating a camera backup method of an autonomous vehicle according to an embodiment of the present invention.
  • an external image captured through the main camera unit is first received (S110), and the received image data is analyzed to ensure that the shooting state of the main camera unit is normal. It is determined whether or not (S120).
  • step S120 external images for autonomous driving may be continuously captured while the main camera unit is being maintained back to normal or by driving the sub camera unit instead of the main camera unit.
  • a cleaning signal is transmitted to the cleaning unit so that the cleaning unit blows compressed air on the front of the sub-camera unit to clean foreign substances on the front side of the sub-camera unit (S130).
  • the sub-camera driving signal is transmitted to the sub-camera unit (S140), and as the sub-camera is driven, an image captured by the sub-camera unit whose front surface is cleaned is received (S140).
  • the driving performed on the sub-camera unit may be repeated sequentially from the 1st sub-camera unit to the N-th sub-camera unit until the shooting state is determined to be normal, and shooting through the above process.
  • a photographed image determined to be in a normal state may be used as autonomous driving data (S160).
  • the camera backup system for an autonomous vehicle has the effect of reducing the load by reducing the data capacity and calculation amount of image data processing work by relatively reducing the angle of view by installing the camera outside the vehicle.
  • the camera backup system of an autonomous driving vehicle can maintain driving data normally by driving the backup system even when a disturbance event occurs in the main camera unit.
  • LIDAR data measured while the vehicle is moving is less precise because errors due to relative speed and errors caused by shaking of the vehicle occur, whereas the present invention obtains a two-dimensional image and Since 3D relative coordinates can be matched from 2D images in images), precision can be increased.
  • FIG. 11 is a flowchart illustrating a method for backing up a camera of an autonomous vehicle according to a second embodiment of the present invention.
  • an unexpected event occurring in the self-driving vehicle is detected (S210).
  • the operation characteristics of at least one sensor and parts are detected in an abnormal range above or below a predetermined threshold due to an unexpected event occurring in the autonomous vehicle, it may be detected that an unexpected event has occurred.
  • the sudden event may be caused by a vehicle collision, sudden stop, sudden braking, sudden turn, or sudden acceleration.
  • the driving direction and speed of the vehicle and the type of sudden event are collected (S220), and the collected information is analyzed based on the pre-learned artificial intelligence algorithm to determine the driving method for the plurality of sub-cameras (S220). S230).
  • the sub-camera may be driven according to the driving method determined for the sub-camera in step S230 (S240).
  • the driving method determines whether to drive all or selectively of a plurality of sub-cameras, which direction to drive the sub-cameras 200, or sequentially driving the sub-cameras 200 in which directions in an arrangement. Including what to do, etc.
  • the vehicle's main server for example, Tesla's neural network
  • the information system provided for driving bears the responsibility of about 20%.
  • the first is the instantaneous contamination that occurs to the camera while driving the vehicle.
  • cleaning may be performed simply and quickly through the cleaning unit provided in the main camera unit described above, a problem may be that there is a type of contamination that cannot be cleaned.
  • the second is a situation in which the front of the lens is momentarily covered by materials such as wet leaves or newspaper while driving.
  • a lens which is a relatively weak part of durability, is damaged by a falling object such as a stone or wood while driving.
  • solvent solution is automatically sprayed and air pressure is sprayed to perform cleaning, which causes a gap in blocking image information during cleaning.
  • the camera backup system of an autonomous driving vehicle overcomes all of the above-mentioned four problems, thereby increasing the reliability and stability of autonomous driving.
  • the method and server according to the present invention may be driven by instructions that cause one or more processors to perform the functions and processors described above.
  • such instructions may include interpreted instructions, such as script instructions such as JavaScript or ECMAScript instructions, or executable code or other instructions stored on a computer readable medium.
  • the device according to the present invention may be implemented in a distributed manner over a network, such as a server farm, or may be implemented in a single computer device.
  • implementations of the subject matter and functional operations described herein may be implemented in other types of digital electronic circuitry, or may be implemented in other types of digital electronic circuitry, or may include the structures disclosed herein and their structural equivalents. It may be implemented as computer software, firmware, or hardware, or a combination of one or more of them. Implementations of the subject matter described herein relate to one or more computer program products, that is to say computer program instructions encoded on a tangible program storage medium for execution by or for controlling the operation of an apparatus according to the present invention. It can be implemented as more than one module.
  • a computer readable medium may be a machine readable storage device, a machine readable storage substrate, a memory device, a composition of matter that affects a machine readable propagating signal, or a combination of one or more of these.
  • Implementations of the subject matter described herein may include back-end components, such as, for example, data servers, or may include middleware components, such as, for example, application servers, or may include, for example, web browsers or graphical users through which users may interact with implementations of the subject matter described herein. It may be implemented in a computing system that includes a front-end component such as a client computer having an interface or any combination of one or more of such back-ends, middleware or front-end components. The components of the system are interconnectable by any form or medium of digital data communication, such as, for example, a communication network.
  • the present invention can be applied to a camera backup system of an autonomous driving vehicle that can reduce the load of processing video data of a camera for autonomous driving and can maintain driving data normally by driving the backup system when an interruption event occurs.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Studio Devices (AREA)

Abstract

자율 주행용 카메라의 영상 데이터를 처리하는 부하를 줄일 수 있고, 방해 이벤트가 발생하면 백업 시스템을 구동하여 주행 데이터를 정상적으로 유지할 수 있는 자율 주행용 차량의 카메라 백업 시스템 및 방법에 관한 것이다.

Description

자율 주행용 차량의 카메라 백업 시스템 및 방법
본 발명은 자율 주행용 차량의 카메라 백업 시스템 및 방법에 관한 것으로서, 자율 주행용 카메라의 영상 데이터를 처리하는 부하를 줄일 수 있고, 방해 이벤트가 발생하면 백업 시스템을 구동하여 주행 데이터를 정상적으로 유지할 수 있는 자율 주행용 차량의 카메라 백업 시스템 및 방법에 관한 것이다.
자율 주행 업계는 완전한 자율 주행 시스템을 구현해내기 위해 라이다(LiDar), 카메라, 레이더, 초음파 센서 등 다양한 센서 조합에 대한 실험을 진행해왔다. 하지만, 현재 자율 주행 업체들의 견해에 어느 정도 차이가 있으며, 특히 라이다의 필요성이 쟁점의 중심에 있다.
현 시점에서는 라이다, 카메라 및 레이더로 이루어져 있는 센서 조합이 자율 주행에 가장 많이 채용되고 있다.
라이다는 빛이 부족한 주행환경에서 우위를 가진다. 라이다는 자체적인 광원을 갖추고 있으며, 빛이 부족한 환경에서도 성능상의 영향을 받지 않는다.
라이다는 직접적으로 레이저를 발사하는 방식으로 대상 물체의 거리 정보를 파악하여 3D 맵핑을 가능하게 한다.
그러나, 라이다 또한 카메라와 다를 것 없이 투과성의 제한을 받을 수 있다. 라이다 센서가 발사하는 광선의 주파수는 눈에 보이는 가시광선과 육안으로는 식별할 수 없는 적외선 사이에 위치해 있으며, 적외선보다는 가시광선에 가깝다. 즉, 라이다가 발사하는 레이저도 카메라가 인식하는 가시광선과 같이 각종 물체에 의해 여러 영향을 받을 수 있다. 예를 들어, 안개가 심하게 끼거나 폭우가 내리는 환경에서는 라이다로부터 발사된 레이저가 비, 안개 등을 통과할 수 없어 성능상의 영향을 받을 수 있다. 이러한 사항은 라이다와 카메라가 비슷한 문제를 갖고 있다는 것을 보여준다.
또한, 라이다가 제공하는 시각정보는 카메라보다 제한적이다. 오늘날의 주행환경에는 표지판, 이정표, 신호등 등 운전자의 시각을 요구하는 다수 요소들이 존재한다. 하지만 라이다는 주변 물체들에 대한 정보를 수집하여 정밀한 3D 이미지를 제공할 수는 있으나, 색깔이나 글자 등 그 외의 다양한 시각 정보에 대한 처리 능력이 결여되어 있다.
따라서, 라이다로는 자율 주행 시스템이 주변환경을 인지하는데 제한적이다.
그리고, 레이더는 밝거나 어두운 어느 환경에서도 활용 가능하지만, 라이다처럼 제공하는 시각정보가 카메라보다 제한적이며, 고가이기 때문에 비용 측면에서도 문제가 있다.
반면, 카메라는 주변 물체들에 대한 정보뿐만 아니라 색깔이나 글자 등을 포함한 다양한 시각 데이터를 획득할 수 있다.
이와 같은 카메라를 통해서 수집된 데이터는 빅데이터 기반으로 학습된 딥러닝 모델을 통해 주행 환경에 대한 더욱 다양한 정보를 추출해 낼 수 있는 장점이 있다.
즉, 카메라를 통해 획득한 2D 이미지를 수집하여 딥러닝 모델을 통해 3D 이미지를 도출해낼 수 있다. 이를 위해, 머신 러닝 모델은 실제 운전자 수준의 높은 인지능력을 갖출 정도로 매우 정교해야 하고, 이러한 모델을 도출하기 위해서는 방대한 양의 양질의 데이터, 특히 일반적이지 않은 특정 교통 상황에 대한 데이터를 다수 확보해야 한다.
한편, 자율 주행용 카메라를 차량 내부에 설치하는 경우, 외부 오염물질에 의한 방해를 받지 않으므로 그에 의한 오류가 발생하는 문제는 거의 발생하지 않지만, 카메라를 외부에 설치하는 경우보다 전방에 대한 화각이 넓어져야 하기 때문에 내부 카메라를 통해 촬영한 이미지 데이터를 처리하는데 부하가 커지게 되는 단점이 있다. 부하가 크면 연산 오류가 발생되거나 일시적인 통신 지연을 일으켜 정보 처리 효율이 저하되는 문제가 있다.
본 발명은 종래의 문제를 해결하기 위해 안출한 것으로서, 본 발명은 자율 주행용 카메라의 영상 데이터를 처리하는 부하를 줄일 수 있고, 방해 이벤트가 발생하면 백업 시스템을 구동하여 주행 데이터를 정상적으로 유지할 수 있는 자율 주행용 차량의 카메라 백업 시스템 및 방법을 제공하고자 한다.
본 발명의 일 실시예에 따른 자율 주행용 차량의 카메라 백업 시스템은 외부 영상을 촬영하는 메인 카메라부; 상기 메인 카메라를 통해 촬영된 영상을 분석하여 상기 메인 카메라의 촬영 상태의 정상여부를 판단하고, 비정상인 것으로 판단된 경우 서브 카메라 구동 신호를 생성하는 프로세서; 및 상기 서브 카메라 구동 신호를 수신하면 외부 영상을 촬영하는 적어도 하나의 서브 카메라부를 포함한다.
본 발명의 일 실시예에 따른 자율 주행용 차량의 카메라 백업 시스템은 외부 영상을 촬영하는 메인 카메라부; 상기 메인 카메라부에 인접하게 구비되어 상기 메인 카메라부의 촬영 상태가 비정상인 경우, 프로세서로부터 서브 카메라 구동 신호를 수신하여 외부 영상을 촬영하는 서브 카메라; 및 상기 프로세서로부터 클리닝 신호를 수신하여 상기 서브 카메라 전면에 압축된 공기를 분사시켜 이물질을 클리닝하는 클리닝부를 포함한다.
본 발명의 일 실시예에 따른 자율 주행용 차량의 카메라 백업 시스템은 메인 카메라부로부터 획득된 영상을 분석하여 상기 메인 카메라부의 촬영 상태의 정상여부를 판단하고, 비정상인 것으로 판단된 경우 서브 카메라 구동 신호를 생성하여 서브 카메라부로 전송하여 상기 서브 카메라부가 외부 영상을 촬영하게 하는 프로세서; 및 상기 프로세서로부터 클리닝 신호를 수신하면 상기 서브 카메라부 전면에 압축된 공기를 분사시켜 이물질을 클리닝하는 클리닝부를 포함한다.
본 발명의 일 실시예에 따른 자율 주행용 차량의 카메라 백업 시스템은 외부 영상을 촬영하는 메인 카메라부; 상기 메인 카메라부에 인접하게 구비되는 복수 개의 서브 카메라부; 및 상기 메인 카메라부의 촬영 상태가 비정상인 경우, 서브 카메라 구동 신호를 하나의 상기 서브 카메라부로 전송하여 상기 서브 카메라부가 외부 영상을 촬영하게 하는 프로세서를 포함하고, 상기 프로세서는 촬영 상태가 정상으로 판단될 때까지 제1 서브 카메라부부터 제N 서브 카메라부까지 순차적으로 외부 영상을 촬영시킨다.
본 발명의 일 실시예에 따른 자율 주행용 차량의 카메라 백업 방법은 메인 카메라부를 통해 촬영된 외부 영상을 수신하는 단계; 상기 메인 카메라부의 촬영 상태의 정상 여부를 판단하는 단계; 상기 촬영 상태가 비정상인 것으로 판단된 경우, 서브 카메라 구동 신호를 생성하는 단계; 및 상기 서브 카메라 구동 신호를 서브 카메라부로 전송하여 상기 서브 카메라부가 외부 영상을 촬영하게 하는 단계를 포함한다.
본 발명의 다른 실시예에 따른 자율 주행용 차량의 카메라 백업 방법은 메인 카메라를 기반으로 자율 주행하는 차량에 발생한 돌발 이벤트를 감지하는 단계; 상기 차량의 주행 방향, 주행 속도 및 돌발 이벤트 정보를 수집하는 단계; 상기 수집된 정보를 미리 학습된 인공지능 알고리즘 기반으로 분석하여 복수의 서브 카메라에 대한 구동 방법을 결정하는 단계; 및 상기 결정된 방법에 따라 상기 서브 카메라를 구동시키는 단계를 포함한다.
상기와 같은 본 발명의 실시예에 따른 자율 주행용 차량의 카메라 백업 시스템은 카메라를 차량의 외부에 설치하여 상대적으로 화각을 줄임으로써, 영상 데이터 처리 작업의 데이터 용량과 계산량을 줄여 부하를 줄일 수 있는 효과가 있다.
아울러, 본 발명의 실시예에 따른 자율 주행용 차량의 카메라 백업 시스템은 메인 카메라부에 방해 이벤트가 발생하여도 백업 시스템을 구동하여 주행 데이터를 정상적으로 유지할 수 있다.
더불어, 차량이 움직이면서 측정되는 라이다의 데이터는 상대 속도에 따른 오차와 차량의 흔들림으로 발생하는 오차가 발생하기 때문에 정밀도가 떨어지는 반면, 본 발명은 2차원 영상을 획득하여, 정적인 상태(촬영된 영상)에서의 2차원 영상으로부터 3차원의 상대 좌표를 대응시킬 수 있기 때문에 정밀도를 높일 수 있다.
도 1은 본 발명의 실시예에 따른 자율 주행용 차량의 카메라 백업 시스템의 구성을 도시하는 블록도이다.
도 2는 본 발명의 실시예에 따른 자율 주행용 차량의 카메라 백업 시스템의 구성을 개략적으로 도시한 도면이다.
도 3은 본 발명의 실시 예에 따른 복수개의 서브 카메라부의 일 예를 도시한 도면이다.
도 4는 본 발명의 실시 예에 따른 프로세서의 일 예를 도시하는 도면이다.
도 5은 본 발명의 실시 예에 따른 프로세서의 일 예를 도시하는 도면이다.
도 6은 본 발명의 다른 실시예에 따른 클리닝부의 구조를 개략적으로 도시한 도면이다.
도 7은 본 발명의 실시예에 따른 클리닝부의 일 실시예를 도시한다.
도 8은 본 발명의 실시 예에 따라 자동차의 적어도 일부마다 구비되는 카메라 군집을 설명하기 위한 도면이다.
도 9는 본 발명의 제2 실시예에 따른 자율 주행용 차량의 카메라 백업 시스템의 카메라들의 구성을 개략적으로 도시한 도면이다.
도 10은 본 발명의 실시예에 따른 자율 주행용 차량의 카메라 백업 방법을 설명하기 위한 순서도이다.
도 11은 본 발명의 제2 실시예에 따른 자율 주행용 차량의 카메라 백업 방법을 설명하기 위한 순서도이다.
이하에서 본 발명의 기술적 사상을 명확화하기 위하여 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하도록 한다. 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성요소에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략할 것이다. 도면들 중 실질적으로 동일한 기능구성을 갖는 구성요소들에 대하여는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호들 및 부호들을 부여하였다. 설명의 편의를 위하여 필요한 경우에는 장치와 방법을 함께 서술하도록 한다.
도 1은 본 발명의 실시예에 따른 자율 주행용 차량의 카메라 백업 시스템의 구성을 도시하는 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 자율 주행용 차량의 카메라 백업 시스템은 메인 카메라부(100), 서브 카메라부(200), 프로세서(300) 및 클리닝부(400)를 포함한다.
메인 카메라부(100)는 차량의 자율 주행을 위해 외부 영상을 촬영하고, 촬영된 영상 데이터를 이미지 프로세싱 유닛으로 전송한다.
본 발명의 실시예에서 메인 카메라부(100)는 차량의 내부에 설치하는 것보다 화각을 좁혀 영상 데이터를 처리하는 부하를 줄이기 위해 차량의 외부에 설치하기로 하지만, 경우에 따라서는 차량의 내부에 설치할 수도 있으며 설치 위치에 대해서는 한정하지 않는다.
프로세서(300)는 자율 주행용 차량의 카메라 백업 시스템의 전반적인 동작을 제어한다. 특히, 프로세서(300)는 메인 카메라부(100)를 통해 촬영된 영상 데이터를 분석하여 메인 카메라부(100)의 촬영 상태의 정상여부를 판단할 수 있다.
예를 들어, 메인 카메라부(100)를 차량의 외부에 설치한 경우, 날씨에 의한 비나 먼지 또는 주변 환경에 의한 오염물질에 의해 카메라의 영상 촬영이 방해를 받을 수 있기 때문에 프로세서(300)가 실시간으로 메인 카메라부(100)를 통해 촬영된 영상 데이터를 분석하여 촬영 상태의 정상여부를 판단할 수 있다.
일 실시예로, 프로세서(300)는 메인 카메라부(100)로부터 획득된 영상 데이터의 크기, 기울기, 연속성 및 빈도 중 적어도 하나를 기반으로 정상여부를 판단할 수 있다.
여기서, 촬영 상태가 비정상인 것으로 판단된 경우, 프로세서(300)는 메인 카메라부(100)를 다시 정상 상태로 정비하는 동안 또는 메인 카메라부(100) 대신 서브 카메라부(200)를 구동시켜 자율 주행을 위한 외부 영상을 연속적으로 촬영하게 할 수 있다.
이를 위해, 서브 카메라부(200)는 메인 카메라부(100)와 전방이 동일한 방향을 향하도록 배치될 수 있다. 또한, 서브 카메라부(200)는 도 3에 도시된 바와 같이 메인 카메라부(100)의 인접한 영역에 복수 개 구비될 수 있다.
도 3에는 서브 카메라부(200)를 메인 카메라부(100)의 양옆으로 일렬로 배치한 일 실시예를 들었지만, 메인 카메라부(100)와 전방이 동일한 방향을 향하는 위치라면 어떠한 배치라도 구현될 수 있고, 한정하지 않을 수 있다.
프로세서(300)는 메인 카메라부(100)의 촬영 상태가 비정상인 것으로 판단된 경우, 클리닝 신호를 클리닝부(400)로 전송하여 클리닝부(400)가 서브 카메라부(200)의 전면에 압축 공기를 분사하게 하여 서브 카메라부(200) 전면의 이물질을 클리닝하게 할 수 있다.
일 실시예로, 프로세서(300)는 도 2에 도시된 바와 같이 메인 카메라부(100)의 외부에 독립적으로 구비된 제어부(310)로 구비되거나, 도 4에 도시된 바와 같이 메인 카메라부(100)의 내부에 일체형으로 구비된 제어부(320)로 구비될 수도 있고, 도 5에 도시된 바와 같이 ADAS(Advanced Driver Assistance System)로 구비될 수도 있으며, 카메라로부터 획득된 영상 데이터를 변환하고, 영상 데이터를 분석하여 촬영 상태의 정상여부를 판단할 수 있는 구성이라면 대체 가능하다.
프로세서(300)가 촬영 상태의 정상여부를 판단하여 촬영 영상을 백업하는 실행에 대해 도 2 내지 도 8을 참조하여 상세히 설명하기로 한다.
도 2는 본 발명의 자율 주행용 차량의 카메라 백업 시스템의 구성을 개략적으로 도시한 도면이다.
도 2를 참조하면, 메인 카메라부(100)는 자율 주행용 자동차의 카메라에 주로 채용되는 렌즈(110)로 구성되고, 렌즈(110)를 실장하는 메인 밀폐 하우징(110)을 구비한다.
서브 카메라부(200)는 전방에 대응하는 위치에 홀이 형성된 핀홀(201), 핀홀 (201)의 전방에 대응하는 일부에 개폐 가능한 광투과부(202), 프로세서(300)의 제어에 의해 광투과부(202)의 개폐를 조절함으로써 핀홀을 외부로부터 개폐하는 핀홀 개폐 밸브(204)로 구성되고, 이들을 실장하는 서브 밀폐 하우징(205)을 구비한다.
핀홀 카메라는 작은 구멍인 핀홀(pinhole)을 통해 빛을 통과시켜 이미지 센서에 의해 피사체 정보를 감지하여 영상신호로 변환함으로써 촬영하는 카메라이다. 핀홀 카메라는 바늘구멍에서도 영상을 명확하게 확인할 수 있고, 초소형으로 설치장소에 구애받지 않고 설치 가능한 장점이 있다.
이외에도 메인 카메라부(100) 및 서브 카메라부(200)를 구성하는 부품들이 더 존재하지만 본 발명의 실시예를 설명하기 위한 주요 구성만 설명하기로 한다.
클리닝부(400)는 공기 압축 모터(410), 압축공기 저장탱크(420), 공기 파이프(430) 및 에어 밸브(440)으로 구성된다.
공기 압축 모터(410)에서 압축 공기를 생성하고, 공기 압축 모터(410)에서 생성된 압축 공기를 압축공기 저장탱크(420)에서 저장하며, 압축공기 저장탱크(420)로부터 서브 밀폐 하우징(205) 내부로 연결된 공기 파이프(430)를 통해 압축공기가 전달될 수 있다. 이때, 공기 파이프(430)에 연결된 에어 밸브(440)가 제어부(310)에 의해 제어되어 압축공기 저장탱크(420)와 서브 밀폐 하우징(205) 간의 압축 공기의 이동이 결정된다.
구체적으로, 제어부(310)는 메인 카메라부(100)를 통해 촬영된 영상 데이터를 분석하여 메인 카메라부(100)의 촬영상태가 비정상인 것으로 판단된 경우, 에어 밸브 오픈 신호를 에어 밸브(440)로 전송하여, 압축공기 저장탱크(420)로부터 압축 공기가 서브 밀폐 하우징(205) 내부로 이동하도록 제어한다.
그리고, 핀홀 밸브 오픈 신호를 핀홀 개폐 밸브(204)로 전송하여 광투과부(202)를 오픈함으로써, 서브 밀폐 하우징(205) 내부로 이동된 압축 공기를 오픈된 광투과부(202)를 통해 분사시키고, 상기 분사되는 압축 공기의 압력에 의해 카메라부 전면으로부터 임의의 이물질들을 블래스팅할 수 있다.
이때, 에어 밸브 오픈 신호에 의한 에어 밸브(440)의 오픈보다 핀홀 밸브 오픈 신호에 의한 광투과부(202)의 오픈이 후행하도록 설정됨으로써, 압축공기 저장탱크(420)로부터 인가된 공기에 의해 서브 밀폐 하우징 내부의 압력이 상승한 후, 광투과부(202)가 오픈되면 서브 밀폐 하우징(205)의 내부로부터 압축 공기가 압력에 의해 광투과부(202)를 통해 분사되고, 분사되는 공기의 압력에 의해 서브 카메라부(200) 전면의 이물질이 제거될 수 있다.
제어부(310)는 이와 같이 전면이 클리닝된 서브 카메라부(200)에 의해 촬영된 영상을 수신한다.
제어부(310)는 메인 카메라부(100)를 통해 촬영된 영상 데이터를 가공하는 이미지 프로세싱 유닛을 포함할 수 있다.
상기 이미지 프로세싱 유닛은 영상 데이터에 대해 게인 보정, 화이트 밸런스 조정, 노이즈 포정을 포함하는 이미지 처리를 수행하는 ISP(Image Signal Processor)칩, 상기 영상 데이터의 크기를 조절하는 스케일러(Scaler) 및 상기 영상 데이터를 제1 타입에서 제2 타입으로 변환하는 인코더(Encoder) 중 적어도 하나를 포함하여 구성된다.
이와 같은 이미지 프로세싱 유닛은 도 2에 도시된 실시예에서는 메인 카메라부(100)의 외부에 독립적으로 구비된 제어부(310)에 포함되거나, 도 4에 도시된 메인 카메라부(100)의 내부에 일체형으로 구비된 제어부(320)에 포함될 수도 있고, 도 5에 도시된 바와 같이 ADAS(Advanced Driver Assistance System)에 구비될 수도 있다.
특히, 본 발명의 실시예에서는 서브 카메라부(200)가 메인 카메라부(100)에 연결된 이미지 프로세싱 유닛을 공유할 수 있다. 서브 카메라부(200)가 도 3에 도시된 바와 같이 복수개인 경우에도 각 서브 카메라부(200)에서 촬영된 영상 데이터를 메인 카메라부(100)에 연결된 이미지 프로세싱 유닛을 통해 가공할 수 있으며, 서브 카메라부(200)에서 촬영된 영상 데이터를 분석하여 촬영 상태의 정상 여부를 판단할 수 있다.
도 3을 참조하면, 본 발명의 제1 실시예에 따라 서브 카메라부(200)는 메인 카메라부(100)에 인접한 영역에 복수개로 구비될 수 있고, 일 실시예로 제1 서브 카메라부부터 제N(N은 0을 제외한 자연수) 서브 카메라부(210, 220, 230, 240)를 포함할 수 있다.
이러한 구성을 기반으로, 프로세서는(300)는 촬영 상태가 정상으로 판단될 때까지 제1 서브 카메라부부터 제N 서브 카메라부까지 순차적으로 제1 서브 카메라부에 시행된 구동을 반복할 수 있다.
도 3에 도시된 바와 같이 제1 내지 제4 서브 카메라부(210~240)는 각각, 전방에 대응하는 위치에 형성된 핀홀, 상기 핀홀의 전방에 대응하는 일부에 상기 핀홀을 개폐 가능한 광투과부를 포함하는 서브 밀폐 하우징 및 프로세서(300)의 제어에 의해 상기 광투과부의 개폐를 조절함으로써, 상기 핀홀을 개폐하는 핀홀 개폐 밸브로 구성된다.
그리고, 제1 내지 제4 서브 카메라부(210~240)는 각 서브 밀폐 하우징의 내부로 압축된 공기를 인가하는 클리닝부(400)를 공유할 수 있다.
도 2를 참조하여 전술한 바와 동일하게, 핀홀 개폐 밸브(204)에 의해 광투과부(202)가 오픈되면 클리닝부(400)로부터 서브 밀폐 하우징의 내부로 인가된 압축 공기가 광투과부(202)를 통해 분사되면서 서브 카메라부 전면의 이물질이 제거될 수 있다. 즉, 각 서브 카메라부(210~240)의 구성과 동작은 동일하다.
클리닝부(400)를 구성하는 압축 공기를 생성하는 공기 압축 모터(410)와 공기 압축 모터(410)에서 생성된 압축 공기를 저장하는 압축공기 저장탱크(420)는 도 2에서 전술한 구성과 기능이 동일하다.
다만, 압축공기 저장탱크(420)로부터 상기 각 서브 밀폐 하우징 내부로 연결되는 N개의 공기 파이프 및 상기 N개의 공기 파이프에 각각 연결되고, 프로세서(300)에 의해 제어되어 압축공기 저장탱크(420)와 서브 밀폐 하우징 간의 압축된 공기의 이동을 결정하는 N개의 에어 밸브(441, 442, 443, 444)를 더 포함할 수 있다.
프로세서(300)는 전 단계의 제L(L은 0을 제외한 자연수) 카메라 촬영상태가 비정상인 것으로 판단된 경우, 제L+1 에어 밸브 오픈 신호를 제L+1 에어 밸브로 전송하여 압축공기 저장탱크(420)로부터 압축된 공기가 다음 단계의 제L+1 카메라에 대응하는 제L+1 서브 밀폐 하우징 내부로 이동하도록 제어하고, 제L+1 핀홀 밸브 오픈 신호를 제L+1 핀홀 개폐 밸브로 전송하여 상기 제L+1 광투과부를 오픈시킴으로써, 상기 분사되는 압축 공기의 압력을 이용하여 카메라 전면으로부터 이물질들을 블래스팅할 수 있다.
이에 프로세서(300)는 제L+1 서브 카메라부에 의해 촬영된 영상을 수신할 수 있다.
이와 같은 메인 카메라부(100) 및 제1 서브 카메라부부터 제N 서브 카메라부를 포함하는 서브 카메라부(200)는 도 8에 도시된 바와 같이 자동차 외면의 적어도 한곳 이상의 일부마다 군집으로 구비될 수 있다.
그리고, 프로세서(300)는 실시간으로 촬영된 영상에 대한 영상 처리를 통해 영상 내의 객체를 인식하고, 해당 객체까지의 거리를 추정할 수 있다.
일 실시예로, 프로세서(300)는 영상 데이터를 핀홀 카메라 모델(Pinhole camera model)에 의한 모델링과 선형보간법을 이용하여, 영상의 픽셀별 3차원 좌표값을 실시간으로 추정함으로써, 자율주행에서 요구되는 객체(차량 등)와의 상대적 위치와, 자율주행용 의미정보(차선 등)를 실시간으로 추정할 수 있다. 이때, 촬영된 영상의 지면을 기준으로 각 픽셀별 3차원 표준값을 추정할 수 있다.
이에, 본 발명은 자율주행에서 고가의 장비를 사용하지 않으면서도, 충분한 신뢰성을 갖는 정보를 실시간으로 획득할 수 있다.
한편, 본 발명의 클리닝부(400)는 다른 구조로도 구비될 수 있다. 도 6은 본 발명의 다른 실시예에 따른 클리닝부의 구조를 개략적으로 도시한 도면이다.
도 6을 참조하면, 다른 실시 예에 따른 클리닝부(400)는 도 2에 도시된 클리닝부(400)와 동일하게 공기 압축 모터(410), 압축공기 저장탱크(420), 공기 파이프(430) 및 에어 밸브(440)으로 구성된다.
다만, 공기 파이프(430)가 서브 밀폐 하우징(205)의 전체 내부로 연결되는 것이 아니라, 공기 파이프(430)의 말단인 노즐(nozzle)이 선택적으로 광투과부(202)를 향하게 배치된다.
압축공기 저장탱크(420)로부터 공기 파이프(430)를 통해 말단의 노즐까지 압축공기가 전달될 수 있다. 이때, 공기 파이프(430)에 연결된 에어 밸브(440)가 제어부(310)에 의해 제어되어 상기 노즐을 통해 렌즈 표면으로 압축공기 분사가 결정된다.
구체적으로, 제어부(310)는 메인 카메라부(100)를 통해 촬영된 영상 데이터를 분석하여 메인 카메라부(100)의 촬영상태가 비정상인 것으로 판단된 경우, 에어 밸브 오픈 신호를 에어 밸브(440)로 전송하여, 압축공기 저장탱크(420)로부터 압축공기가 공기 파이프(430)의 말단 노즐을 통해 광투과부(202)를 향해 분사되도록 제어한다.
그리고, 핀홀 밸브 오픈 신호를 핀홀 개폐 밸브(204)로 전송하여 광투과부(202)를 오픈하여, 서브 카메라부(200)가 전방 영상을 촬영하게 한다.
상기 노즐로부터 광투과부(202)를 향해 분사되는 압축공기에 의해 서브 카메라부(200)의 전면으로부터 이물질들을 클리닝할 수 있다.
이때에는, 에어 밸브 오픈 신호에 의한 에어 밸브(440)의 오픈과 핀홀 밸브 오픈 신호에 의한 광투과부(202)의 오픈을 동시에 실행할 수 있고, 순서에 상관없이 실행할 수도 있다.
제어부(310)는 이와 같이 전면이 클리닝된 서브 카메라부(200)에 의해 촬영된 영상을 수신한다.
도 7은 본 발명의 실시예에 따른 카메라 전면부의 일 실시예를 도시한다. 도 7을 참조하면, 차량의 라이트(500)와 같은 주변 장치와 인접한 영역에 메인 카메라부(100) 및 서브 카메라부(200)가 구비되고, 메인 카메라부(100)의 세척을 위한 클리닝부(480)가 구비될 수 있다.
구체적으로, 클리닝부(480: 482, 484, 486)는 서브 카메라부(200)가 메인 카메라부(100)의 역할을 대신하는 동안에 메인 카메라부(100)에 대해 클리닝을 실행하여 렌즈에 부착된 이물질을 제거하는 역할을 할 수 있다. 또한, 서브 카메라부(200)에 대해서도 전술한 클리닝부(400)에 추가적으로 더 구비되어 서브 카메라부(200)의 세척에도 일조할 수 있음에 한정하지 않는다.
클리닝부(480)는 카메라 렌즈에 접하도록 구비된 카메라 와이퍼(482), 카메라 렌즈를 향하여 세척액을 분사하는 노즐(484) 및 카메라 와이퍼(482)에 구동력을 제공하는 모터(486)를 포함한다.
카메라 와이퍼(482)를 구동하도록 구성되는 모터(488)는 차량의 내측에 구비될 수 있고, 모터(486)는 카메라 렌즈 상을 움직이는 카메라 와이퍼(482)의 일단과 고정될 수 있다. 프로세서(300)가 모터(486)에 전압을 인가하는 신호를 전송하면, 모터(486)가 카메라 와이퍼(482)를 카메라 렌즈와 접하며 양단을 왕복 운동하게 하고, 프로세서(300)가 노즐(484)로부터 세척액이 분사되도록 제어할 수 있다.
클리닝부(480)에 의해 메인 카메라부(100)의 세척이 완료되면, 프로세서(300)는 메인 카메라부(100)가 외부 영상을 촬영하게 하고, 촬영된 영상을 분석하여 다시 메인 카메라부(100)의 촬영 상태의 정상여부를 판단하여, 판단 결과에 따라 메인 카메라부(100)의 재구동 여부를 결정할 수 있다.
즉, 메인 카메라부(100)의 세척이 완료된 후, 메인 카메라부(100)의 촬영상태가 정상인 것으로 판단된 경우, 메인 카메라부(100)를 다시 구동하게 하고, 서브 카메라부(200)는 오프(off)시킬 수 있다.
반대로, 메인 카메라부(100)의 세척이 완료된 후에도 메인 카메라부(100)의 촬영상태가 비정상인 것으로 판단되면, 메인 카메라부(100)에 대한 세척 구동을 다시 실행시키고, 계속 서브 카메라부(200)가 메인 카메라부(100)의 역할을 계속해서 대행할 수 있도록 제어할 수 있다.
도 9는 본 발명의 제2 실시예에 따른 자율 주행용 차량의 카메라 백업 시스템의 카메라들의 구성을 개략적으로 도시한 도면이다.
도 9를 참조하면, 본 발명의 제2 실시예에 따른 자율 주행용 차량의 카메라 백업 시스템의 카메라들은 제1 실시예와 동일하게 메인 카메라부(100)의 주변에 서브 카메라부(200)를 복수개로 구비할 수 있다.
제1 실시예와의 차이점은 다음과 같다.
프로세서(300)가 자율 주행 차량에 충돌이나 급정지, 급제동, 급회전 등의 돌발 이벤트가 발생했을 때, 만약의 상황을 대비하기 위한 차원에서 서브 카메라부(200)를 추가적으로 구동 시킬 수 있다.
일 실시예로, 프로세서(300)는 자율 주행 차량에 발생한 돌발 이벤트에 의해 적어도 하나의 센서 및 부품들의 동작 특성이 기 설정된 임계치 이상 또는 이하의 비정상 범위로 검출되면, 서브 카메라부(200)를 추가적으로 구동시켜 외부 영상을 촬영하게 할 수 있다.
자율 주행 차량에 돌발 이벤트가 발생하는 상황에서는 차량의 외부에 구비된 메인 카메라부(100)의 정상적인 촬영이 방해받을 확률이 높기 때문에 프로서세(300)는 돌발 이벤트의 발생을 감지하면, 메인 카메라부(100)의 촬영 상태가 정상인지 판단하는 단계를 생략하고 곧바로 서브 카메라부(200)를 구동 시킴으로써, 돌발 이벤트에 신속하고 정확하게 대처하는데 도움이 될 수 있다.
그리고, 프로세서(300)는 돌발 이벤트의 상황 조건에 따라 복수개의 서브 카메라(200)를 선택적으로 구동시킬 수 있다.
구체적으로, 프로세서(300)는 차량의 주행 방향과 주행 속도 및 돌발 이벤트의 종류에 대한 정보를 수집하고, 수집된 정보에 대해 미리 학습된 인공지능 알고리즘 기반으로 분석하여 복수의 서브 카메라(200)에 대한 구동 방법을 결정할 수 있다.
여기서, 구동 방법은 서브 카메라(200)를 모두 구동시킬지 또는 선택적으로 구동시킬지에 대한 여부와 어느 방향에 위치한 서브 카메라(200)를 구동시킬지, 또는 배열상에서 어느 방향으로 서브 카메라(200)를 순차적으로 구동시킬지 등에 관한 것을 포함한다.
일 예로, 도 9의 (a)는 메인 카메라부(100)와 서브 카메라부(200)가 세로 방향으로 배열된 실시예로, 프로세서(300)의 결정에 의해 서브 카메라(200)가 선택적으로 구동될 수도 있고, 상향 또는 하향 방향으로 순차적으로 구동될 수 있다. (b)는 메인 카메라부(100) 및 서브 카메라부(200)가 가로 방향으로 배열된 실시예로, 프로세서(300)의 결정에 의해 서브 카메라(200)가 선택적으로 구동될 수도 있고, 좌측 또는 우측 방향으로 순차적으로 구동될 수도 있다. (c)는 메인 카메라부(100)를 중심으로 서브 카메라부(200)가 메인 카메라부(100)를 360도 방향으로 에워싸는 구조로 배열된 실시예로, 프로세서(300)의 결정에 의해 서브 카메라(200)가 선택적으로 구동될 수도 있고, 시계 또는 반시계 방향으로 순차적으로 구동될 수도 있다.
도 10은 본 발명의 실시예에 따른 자율 주행용 차량의 카메라 백업 방법을 설명하기 위한 순서도이다.
도 10을 참조하면, 본 발명에 의한 자율 주행용 차량의 카메라 백업 방법은 먼저, 메인 카메라부를 통해 촬영된 외부 영상을 수신하고(S110), 수신된 영상 데이터를 분석하여 메인 카메라부의 촬영 상태의 정상여부를 판단한다(S120).
S120 단계에서 촬영 상태가 비정상인 것으로 판단된 경우, 메인 카메라부를 다시 정상 상태로 정비하는 동안 또는 메인 카메라부 대신 서브 카메라부를 구동시켜 자율 주행을 위한 외부 영상을 연속적으로 촬영하게 할 수 있다.
이를 위해, 클리닝 신호를 클리닝부로 전송하여 클리닝부가 서브 카메라부의 전면에 압축 공기를 분사하게 하여 서브 카메라부 전면의 이물질을 클리닝하게 한다(S130).
그리고, 서브 카메라 구동 신호를 서브 카메라부로 전송하여(S140), 서브 카메라를 구동시킴에 따라, 전면이 클리닝된 서브 카메라부에 의해 촬영된 영상을 수신한다(S140).
여기서, 서브 카메라부에 대해서도 촬영 상태가 정상으로 판단될 때까지 제1 서브 카메라부부터 제N 서브 카메라부까지 순차적으로 상기 서브 카메라부에 시행된 구동을 반복할 수 있고, 상기의 과정을 거쳐 촬영상태가 정상으로 판단된 촬영 영상을 자율 주행 데이터로 활용할 수 있다(S160).
이와 같은 본 발명의 실시예에 따른 자율 주행용 차량의 카메라 백업 시스템은 카메라를 차량의 외부에 설치하여 상대적으로 화각을 줄임으로써, 영상 데이터 처리 작업의 데이터 용량과 계산량을 줄여 부하를 줄일 수 있는 효과가 있다.
아울러, 본 발명의 실시예에 따른 자율 주행용 차량의 카메라 백업 시스템은 메인 카메라부에 방해 이벤트가 발생하여도 백업 시스템을 구동하여 주행 데이터를 정상적으로 유지할 수 있다.
더불어, 차량이 움직이면서 측정되는 라이다의 데이터는 상대 속도에 따른 오차와 차량의 흔들림으로 발생하는 오차가 발생하기 때문에 정밀도가 떨어지는 반면, 본 발명은 2차원 영상을 획득하여, 정적인 상태(촬영된 영상)에서의 2차원 영상으로부터 3차원의 상대 좌표를 대응시킬 수 있기 때문에 정밀도를 높일 수 있다.
도 11은 본 발명의 제2 실시예에 따른 자율 주행용 차량의 카메라 백업 방법을 설명하기 위한 순서도이다.
도 11을 참조하면, 제2 실시예에 따른 자율 주행용 차량의 카메라 백업 방법은 먼저, 자율 주행 차량에 발생한 돌발 이벤트를 감지한다(S210).
일 실시예로, 자율 주행 차량에 발생한 돌발 이벤트에 의해 적어도 하나의 센서 및 부품들의 동작 특성이 기 설정된 임계치 이상 또는 이하의 비정상 범위로 감지되면 돌발 이벤트가 발생한 것으로 감지할 수 있다. 돌발 이벤트는 차량의 충돌이나 급정지, 급제동, 급회전, 급발진 등에 의해 발생할 수 있다.
다음으로, 차량의 주행 방향과 주행 속도 및 돌발 이벤트의 종류 정보를 수집하여(S220), 상기 수집된 정보를 미리 학습된 인공지능 알고리즘 기반으로 분석하여 복수의 서브 카메라에 대한 구동 방법을 결정한다(S230).
자율 주행 차량에 돌발 이벤트가 발생하는 상황에서는 차량의 외부에 구비된 메인 카메라부의 정상적인 촬영이 방해받을 확률이 높기 때문에 돌발 이벤트의 발생을 감지하면, 메인 카메라부의 촬영 상태가 정상인지 판단하는 단계를 생략하고 곧바로 서브 카메라부를 구동 시킴으로써, 돌발 이벤트에 신속하고 정확하게 대처하는데 도움이 될 수 있다. 여기서, 메인 카메라부와 서브 카메라부의 구성 및 역할에 대해서는 전술한 내용을 참고하기로 한다.
다음으로, S230 단계에서 서브 카메라에 대해 결정된 구동방법에 따라 서브 카메라를 구동시킬 수 있다(S240). 여기서, 구동 방법은 복수 개의 서브 카메라를 모두 구동시킬지 또는 선택적으로 구동시킬지에 대한 여부와 어느 방향에 위치한 서브 카메라(200)를 구동시킬지, 또는 배열상에서 어느 방향으로 서브 카메라(200)를 순차적으로 구동시킬지 등에 관한 것을 포함한다.
한편, 종래에는 차량의 운전에 대한 책임이 운전자에게 거의 전부 부담되는 상황에서 카메라들은 운전자의 운행에 도움을 주는 명목으로 구비되어 있었다면, 자율 주행시대에서는 자율 주행 차량의 운행에 대해 운전자가 100% 책임을 부담하는 것이 아니라, 예를 들면 차량의 메인 서버(일 예로, 테슬라의 뉴럴 네트워크)가 80% 정도로 부담하고, 운전을 위해 제공되는 정보 시스템에 20% 정도의 부담이 실리도록 책임이 지워질 수 있다.
이러한 상황에서 자율 주행 차량에 카메라들이 탑재되는 부위가 최대한 자유로울수록, 또한 숫자도 최대한 많이 구비될수록 위험에 대처하기에 유리하게 된다.
더불어, 자율주행차량이라는 특수 상황 하에서 극복해야할 문제도 있다. 여기서, 자율주행차량의 특수 상황 하에 일어날 문제는 예를 들면 4가지 정도로 구분될 수 있는데 이는 다음과 같다.
첫째는, 차량의 운행 중에 카메라에 대해 발생하는 순간적인 오염이다. 간단히 전술한 메인 카메라부에 구비된 클리닝부를 통해 신속히 클리닝 할 수도 있지만, 문제는 클리닝이 불가능한 유형의 오염도 존재할 수 있다.
둘째는, 주행 중에 젖은 낙엽이나 신문지 등의 물질이 렌즈 전면을 순간적으로 가리는 상황이다.
셋째는, 주행 중에 돌이나 목재 등의 낙하물에 의해 내구성이 상대적으로 취약한 부위인 렌즈가 파손되는 경우이다.
넷째는, 자율 주행용 카메라 중 오염도가 기준치를 넘으면 자동적으로 용매액이 분사되고 공기압이 분사되어 클리닝을 하게 되는 경우, 클리닝하는 동안의 영상정보차단의 갭이 발생하는 문제이다.
본 발명의 실시예에 의한 자율 주행용 차량의 카메라 백업 시스템은 전술한 네 가지 문제점을 모두 극복함으로써, 자율주행 운행의 신뢰도와 안정성을 높일 수 있다.
본 발명에 따른 방법 및 서버는 하나 이상의 프로세서로 하여금 앞서 설명한 기능들과 프로세서를 수행하도록 하는 명령에 의하여 구동될 수 있다.
예를 들어 그러한 명령으로는, 예컨대 JavaScript나 ECMAScript 명령 등의 스크립트 명령과 같은 해석되는 명령이나 실행 가능한 코드 혹은 컴퓨터로 판독 가능한 매체에 저장되는 기타의 명령이 포함될 수 있다. 나아가 본 발명에 따른 장치는 서버 팜(Server Farm)과 같이 네트워크에 걸쳐서 분산형으로 구현될 수 있으며, 혹은 단일의 컴퓨터 장치에서 구현될 수도 있다.
비록 본 명세서와 도면에서는 예시적인 장치 구성을 기술하고 있지만, 본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 다른 유형의 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다. 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 본 발명에 따른 장치의 동작을 제어하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조성물 혹은 이들 중 하나 이상의 조합일 수 있다.
본 명세서에서 설명한 주제의 구현물은 예컨대 데이터 서버와 같은 백엔드 컴포넌트를 포함하거나, 예컨대 어플리케이션 서버와 같은 미들웨어 컴포넌트를 포함하거나, 예컨대 사용자가 본 명세서에서 설명한 주제의 구현물과 상호 작용할 수 있는 웹 브라우저나 그래픽 유저 인터페이스를 갖는 클라이언트 컴퓨터와 같은 프론트엔드 컴포넌트 혹은 그러한 백엔드, 미들웨어 혹은 프론트엔드 컴포넌트의 하나 이상의 모든 조합을 포함하는 연산 시스템에서 구현될 수 있다. 시스템의 컴포넌트는 예컨대 통신 네트워크와 같은 디지털 데이터 통신의 어떠한 형태나 매체에 의해서도 상호 접속 가능하다.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.
본 명세서에서 설명한 주제의 특정한 실시형태를 설명하였다. 기타의 실시형태들은 이하의 청구항의 범위 내에 속한다. 예컨대, 청구항에서 인용된 동작들은 상이한 순서로 수행되면서도 여전히 바람직한 결과를 성취할 수 있다. 일 예로서, 첨부도면에 도시한 프로세스는 바람직한 결과를 얻기 위하여 반드시 그 특정한 도시된 순서나 순차적인 순서를 요구하지 않는다. 특정한 구현 예에서, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다.
본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 당업자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다.
따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.
본 발명은 자율 주행용 카메라의 영상 데이터를 처리하는 부하를 줄일 수 있고, 방해 이벤트가 발생하면 백업 시스템을 구동하여 주행 데이터를 정상적으로 유지할 수 있는 자율 주행용 차량의 카메라 백업 시스템에 적용될 수 있다.

Claims (27)

  1. 외부 영상을 촬영하는 메인 카메라부;
    상기 메인 카메라를 통해 촬영된 영상을 분석하여 상기 메인 카메라의 촬영 상태의 정상여부를 판단하고, 비정상인 것으로 판단된 경우 서브 카메라 구동 신호를 생성하는 프로세서; 및
    상기 서브 카메라 구동 신호를 수신하면 외부 영상을 촬영하는 적어도 하나의 서브 카메라부를 포함하는 것을 특징으로 하는 자율 주행용 차량의 카메라 백업 시스템.
  2. 제 1 항에 있어서,
    상기 메인 카메라부 및 상기 서브 카메라부로부터 전방이 동일한 방향을 향하도록 배치되는 것을 특징으로 하는 자율 주행용 차량의 카메라 백업 시스템.
  3. 제 1 항에 있어서,
    상기 메인 카메라부는,
    렌즈;
    상기 메인 카메라부를 통해 촬영된 영상 데이터를 가공하여 가공된 데이터를 상기 프로세서로 전송하는 이미지 프로세싱 유닛; 및
    상기 메인 카메라를 밀폐하는 메인 밀폐 하우징으로 구성되는 것을 특징으로 하는 자율 주행용 차량의 카메라 백업 시스템.
  4. 제 1 항에 있어서,
    상기 서브 카메라부는,
    전방에 대응하는 위치에 형성된 핀홀;
    상기 핀홀의 전방에 대응하는 일부에 상기 핀홀을 개폐 가능한 광투과부를 포함하는 서브 밀폐 하우징; 및
    상기 프로세서의 제어에 의해 상기 광투과부의 개폐를 조절함으로써, 상기 핀홀을 개폐하는 핀홀 개폐 밸브;로 구성되는 것을 특징으로 하는 자율 주행용 차량의 카메라 백업 시스템.
  5. 제 4 항에 있어서,
    상기 프로세서로부터 클리닝 신호를 수신하여 상기 서브 카메라 전면에 압축 공기를 분사시켜 이물질을 클리닝하는 클리닝부를 더 포함하고,
    상기 핀홀 개폐 밸브에 의해 상기 광투과부가 오픈되면 상기 클리닝부로부터 상기 서브 밀폐 하우징의 내부로 인가된 압축 공기가 상기 광투과부를 통해 분사되면서 상기 서브 카메라부 전면의 이물질을 제거하는 것을 특징으로 하는 자율 주행용 차량의 카메라 백업 시스템.
  6. 제 5 항에 있어서,
    상기 클리닝부는,
    압축 공기를 생성하는 공기 압축 모터;
    상기 공기 압축 모터에서 생성된 압축 공기를 저장하는 압축공기 저장탱크;
    상기 압축공기 저장탱크로부터 상기 서브 밀폐 하우징 내부로 연결되어 압축공기를 전달하는 공기 파이프; 및
    상기 공기 파이프에 연결되고, 상기 프로세서에 의해 제어되어 상기 압축공기 저장탱크와 상기 서브 밀폐 하우징 간의 압축된 공기의 이동을 결정하는 에어 밸브;를 포함하는 것을 특징으로 하는 자율 주행용 차량의 카메라 백업 시스템.
  7. 제 6 항에 있어서,
    상기 프로세서는,
    상기 메인 카메라부의 촬영상태가 비정상인 것으로 판단된 경우, 에어 밸브 오픈 신호를 상기 에어 밸브로 전송하여 상기 압축공기 저장탱크로부터 압축된 공기가 상기 서브 밀폐 하우징 내부로 이동하도록 제어하고,
    핀홀 밸브 오픈 신호를 상기 핀홀 개폐 밸브로 전송하여 상기 광투과부를 오픈시키며,
    상기 서브 카메라부에 의해 촬영된 영상을 수신하는 것을 특징으로 하는 자율 주행용 차량의 카메라 백업 시스템.
  8. 제 3 항에 있어서,
    상기 이미지 프로세싱 유닛은,
    상기 영상 데이터에 대해 게인 보정, 화이트 밸런스 조정, 노이즈 포정을 포함하는 이미지 처리를 수행하는 ISP(Image Signal Processor)칩, 상기 영상 데이터의 크기를 조절하는 스케일러(Scaler) 및 상기 영상 데이터를 제1 타입에서 제2 타입으로 변환하는 인코더(Encoder) 중 적어도 하나를 포함하는 것을 특징으로 하는 자율 주행용 차량의 카메라 백업 시스템.
  9. 제 7 항에 있어서,
    상기 서브 카메라부는 상기 메인 카메라부에 연결된 상기 이미지 프로세싱 유닛을 공유하는 것을 특징으로 하는 자율 주행용 차량의 카메라 백업 시스템.
  10. 제 1 항에 있어서,
    상기 프로세서는,
    상기 메인 카메라부로부터 획득된 영상 데이터의 크기, 기울기, 연속성 및 빈도 중 적어도 하나를 기반으로 정상여부를 판단하는 것을 특징으로 하는 자율 주행용 차량의 카메라 백업 시스템.
  11. 제 7 항에 있어서,
    상기 서브 카메라부는,
    상기 메인 카메라부에 인접하게 구비된 제1 서브 카메라부부터 제N(N은 0을 제외한 자연수) 서브 카메라부를 포함하는 것을 특징으로 하는 자율 주행용 차량의 카메라 백업 시스템.
  12. 제 11 항에 있어서,
    상기 프로세서는,
    촬영 상태가 정상으로 판단될 때까지 상기 제1 서브 카메라부부터 상기 제N 서브 카메라부까지 순차적으로 상기 제1 서브 카메라부에 관련된 구동을 반복하는 것을 특징으로 하는 자율 주행용 차량의 카메라 백업 시스템.
  13. 제 12 항에 있어서,
    상기 메인 카메라부 및 상기 제1 서브 카메라부부터 제N 서브 카메라부는,
    자동차 외면의 적어도 한 곳 이상의 일부마다 군집으로 구비되는 것을 특징으로 하는 자율 주행용 차량의 카메라 백업 시스템.
  14. 제 4 항에 있어서,
    상기 프로세서로부터 클리닝 신호를 수신하여 상기 서브 카메라의 전면을 향해 압축 공기를 분사시켜 이물질을 클리닝하는 클리닝부를 더 포함하고,
    상기 클리닝부는,
    압축 공기를 생성하는 공기 압축 모터;
    상기 공기 압축 모터에서 생성된 압축 공기를 저장하는 압축공기 저장탱크;
    상기 압축공기 저장탱크로부터 말단의 노즐이 상기 광투과부를 향하게 구비되어 압축공기가 상기 압축공기 저장탱크로부터 상기 광투과부를 향해 분사되게 하는 공기 파이프; 및
    상기 공기 파이프에 연결되고, 상기 프로세서에 의해 제어되어 상기 압축공기 저장탱크로부터 상기 공기 파이프의 말단의 노즐로 압축공기의 이동을 결정하는 에어 밸브;를 포함하는 것을 특징으로 하는 자율 주행용 차량의 카메라 백업 시스템.
  15. 제 14 항에 있어서,
    상기 프로세서는,
    상기 메인 카메라부의 촬영상태가 비정상인 것으로 판단된 경우, 에어 밸브 오픈 신호를 상기 에어 밸브로 전송하여 상기 압축공기 저장탱크로부터 압축 공기가 상기 공기 파이프의 말단 노즐을 통해 분사되도록 제어하고,
    핀홀 밸브 오픈 신호를 상기 핀홀 개폐 밸브로 전송하여 상기 광투과부를 오픈시키며,
    상기 서브 카메라부에 의해 촬영된 영상을 수신하는 것을 특징으로 하는 자율 주행용 차량의 카메라 백업 시스템.
  16. 외부 영상을 촬영하는 메인 카메라부;
    상기 메인 카메라부에 인접하게 구비되어 상기 메인 카메라부의 촬영 상태가 비정상인 경우, 프로세서로부터 서브 카메라 구동 신호를 수신하여 외부 영상을 촬영하는 서브 카메라; 및
    상기 프로세서로부터 클리닝 신호를 수신하여 상기 서브 카메라 전면에 압축된 공기를 분사시켜 이물질을 클리닝하는 클리닝부를 포함하는 것을 특징으로 하는 자율 주행용 차량의 카메라 백업 시스템.
  17. 메인 카메라부로부터 획득된 영상을 분석하여 상기 메인 카메라부의 촬영 상태의 정상여부를 판단하고, 비정상인 것으로 판단된 경우 서브 카메라 구동 신호를 생성하여 서브 카메라부로 전송하여 상기 서브 카메라부가 외부 영상을 촬영하게 하는 프로세서; 및
    상기 프로세서로부터 클리닝 신호를 수신하면 상기 서브 카메라부 전면에 압축된 공기를 분사시켜 이물질을 클리닝하는 클리닝부를 포함하는 것을 특징으로 하는 자율 주행용 차량의 카메라 백업 시스템.
  18. 외부 영상을 촬영하는 메인 카메라부;
    상기 메인 카메라부에 인접하게 구비되는 복수 개의 서브 카메라부; 및
    상기 메인 카메라부의 촬영 상태가 비정상인 경우, 서브 카메라 구동 신호를 하나의 상기 서브 카메라부로 전송하여 상기 서브 카메라부가 외부 영상을 촬영하게 하는 프로세서를 포함하고,
    상기 프로세서는 촬영 상태가 정상으로 판단될 때까지 제1 서브 카메라부부터 제N 서브 카메라부까지 순차적으로 외부 영상을 촬영시키는 것을 특징으로 하는 자율 주행용 차량의 카메라 백업 시스템.
  19. 제 18 항에 있어서,
    상기 제1 내지 제N 서브 카메라부는 각각,
    전방에 대응하는 위치에 형성된 핀홀;
    상기 핀홀의 전방에 대응하는 일부에 상기 핀홀을 개폐 가능한 광투과부를 포함하는 서브 밀폐 하우징; 및
    상기 프로세서의 제어에 의해 상기 광투과부의 개폐를 조절함으로써, 상기 핀홀을 개폐하는 핀홀 개폐 밸브;로 구성되는 것을 특징으로 하는 자율 주행용 차량의 카메라 백업 시스템.
  20. 제 19 항에 있어서,
    상기 서브 밀폐 하우징의 내부로 압축된 공기를 인가하는 클리닝부를 더 포함하고,
    상기 핀홀 개폐 밸브에 의해 상기 광투과부가 오픈되면 상기 클리닝부로부터 상기 서브 밀폐 하우징의 내부로 인가된 압축 공기가 상기 광투과부를 통해 분사되면서 상기 서브 카메라부 전면의 이물질을 제거하는 것을 특징으로 하는 자율 주행용 차량의 카메라 백업 시스템.
  21. 제 20 항에 있어서,
    상기 클리닝부는,
    압축 공기를 생성하는 공기 압축 모터;
    상기 공기 압축 모터에서 생성된 압축 공기를 저장하는 압축공기 저장탱크;
    상기 압축공기 저장탱크로부터 상기 각 서브 밀폐 하우징 내부로 연결되는 N개의 공기 파이프; 및
    상기 N개의 공기 파이프에 각각 연결되고, 상기 프로세서에 의해 제어되어 상기 압축공기 저장탱크와 상기 서브 밀폐 하우징 간의 압축된 공기의 이동을 결정하는 N개의 에어 밸브;를 포함하는 것을 특징으로 하는 자율 주행용 차량의 카메라 백업 시스템.
  22. 제 21 항에 있어서,
    상기 프로세서는,
    전 단계의 제L(L은 0을 제외한 자연수) 카메라 촬영상태가 비정상인 것으로 판단된 경우, 제L+1 에어 밸브 오픈 신호를 제L+1 에어 밸브로 전송하여 상기 압축공기 저장탱크로부터 압축된 공기가 다음 단계의 제L+1 카메라에 대응하는 제L+1 서브 밀폐 하우징 내부로 이동하도록 제어하고,
    제L+1 핀홀 밸브 오픈 신호를 제L+1 핀홀 개폐 밸브로 전송하여 상기 제L+1 광투과부를 오픈시키며,
    상기 제L+1 서브 카메라부에 의해 촬영된 영상을 수신하는 것을 특징으로 하는 자율 주행용 차량의 카메라 백업 시스템.
  23. 메인 카메라부를 통해 촬영된 외부 영상을 수신하는 단계;
    상기 메인 카메라부의 촬영 상태의 정상 여부를 판단하는 단계;
    상기 촬영 상태가 비정상인 것으로 판단된 경우, 서브 카메라 구동 신호를 생성하는 단계; 및
    상기 서브 카메라 구동 신호를 서브 카메라부로 전송하여 상기 서브 카메라부가 외부 영상을 촬영하게 하는 단계를 포함하는 것을 특징으로 하는 자율 주행용 차량의 카메라 백업 방법.
  24. 제 23 항에 있어서,
    상기 메인 카메라부의 촬영 상태가 비정상인 것으로 판단된 이후,
    상기 서브 카메라 전면에 압축된 공기를 분사시켜 이물질을 클리닝하는 단계를 더 포함하는 것을 특징으로 하는 자율 주행용 차량의 카메라 백업 방법.
  25. 제 23 항에 있어서,
    상기 서브 카메라부의 촬영 상태의 정상 여부를 판단하는 단계를 더 포함하고,
    촬영 상태가 정상으로 판단될 때까지 적어도 하나 이상의 서브 카메라부를 순차적으로 구동시켜 외부 영상을 촬영시키는 것을 특징으로 하는 자율 주행용 차량의 카메라 백업 방법.
  26. 메인 카메라를 기반으로 자율 주행하는 차량에 발생한 돌발 이벤트를 감지하는 단계;
    상기 차량의 주행 방향, 주행 속도 및 돌발 이벤트 정보를 수집하는 단계;
    상기 수집된 정보를 미리 학습된 인공지능 알고리즘 기반으로 분석하여 복수의 서브 카메라에 대한 구동 방법을 결정하는 단계; 및
    상기 결정된 방법에 따라 상기 서브 카메라를 구동시키는 단계를 포함하는 것을 특징으로 하는 자율 주행용 차량의 카메라 백업 방법.
  27. 제 26 항에 있어서,
    상기 돌발 이벤트를 감지하는 단계는,
    상기 차량에 구비된 적어도 하나의 센서 및 부품들의 동작 특성이 기 설정된 임계치 이상 또는 임계치 이하의 비정상 범위로 감지되는 것을 검출하는 것을 특징으로 하는 자율 주행용 차량의 카메라 백업 방법.
PCT/KR2022/008669 2021-06-30 2022-06-20 자율 주행용 차량의 카메라 백업 시스템 및 방법 WO2023277422A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210086116A KR20230004178A (ko) 2021-06-30 2021-06-30 자율 주행용 차량의 카메라 백업 시스템 및 방법
KR10-2021-0086116 2021-06-30

Publications (1)

Publication Number Publication Date
WO2023277422A1 true WO2023277422A1 (ko) 2023-01-05

Family

ID=84692873

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/008669 WO2023277422A1 (ko) 2021-06-30 2022-06-20 자율 주행용 차량의 카메라 백업 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR20230004178A (ko)
WO (1) WO2023277422A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007189369A (ja) * 2006-01-12 2007-07-26 Alpine Electronics Inc カメラのレンズ汚れ検出装置及び画像表示システム
JP2010136295A (ja) * 2008-12-08 2010-06-17 Xanavi Informatics Corp 撮像表示制御装置と方法及びこれを用いたカーナビゲーションシステムとカメラシステム
KR20150110089A (ko) * 2014-03-24 2015-10-02 (주)디앤씨테크 렌즈전면부 이물질 제거장치를 갖는 무인감시 카메라
KR20170075521A (ko) * 2015-12-23 2017-07-03 에스엘 주식회사 차량용 주변 감시 장치 및 방법
KR102195146B1 (ko) * 2019-08-22 2020-12-28 장현민 전방위 어라운드 뷰 모니터링 기반 자동차의 안전사고 방지 시스템 및 그 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102219843B1 (ko) 2020-11-10 2021-02-25 (주)뉴빌리티 자율주행을 위한 위치 추정 장치 및 방법
KR102256541B1 (ko) 2020-11-30 2021-05-25 에스케이증권 주식회사 라이다 센서를 가지는 스마트폴을 이용한 자율주행 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007189369A (ja) * 2006-01-12 2007-07-26 Alpine Electronics Inc カメラのレンズ汚れ検出装置及び画像表示システム
JP2010136295A (ja) * 2008-12-08 2010-06-17 Xanavi Informatics Corp 撮像表示制御装置と方法及びこれを用いたカーナビゲーションシステムとカメラシステム
KR20150110089A (ko) * 2014-03-24 2015-10-02 (주)디앤씨테크 렌즈전면부 이물질 제거장치를 갖는 무인감시 카메라
KR20170075521A (ko) * 2015-12-23 2017-07-03 에스엘 주식회사 차량용 주변 감시 장치 및 방법
KR102195146B1 (ko) * 2019-08-22 2020-12-28 장현민 전방위 어라운드 뷰 모니터링 기반 자동차의 안전사고 방지 시스템 및 그 방법

Also Published As

Publication number Publication date
KR20230004178A (ko) 2023-01-06

Similar Documents

Publication Publication Date Title
WO2020085881A1 (en) Method and apparatus for image segmentation using an event sensor
WO2020071839A1 (ko) 선박 및 항만 모니터링 장치 및 방법
WO2015194868A1 (ko) 광각 카메라가 탑재된 이동 로봇의 주행을 제어하기 위한 장치 및 그 방법
WO2021091021A1 (ko) 화재 검출 시스템
EP2381416B1 (en) Method for image restoration in a computer vision system
WO2015194867A1 (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
WO2013077623A1 (ko) 구조물 변위 측정 시스템 및 방법
WO2012005387A1 (ko) 다중 카메라와 물체 추적 알고리즘을 이용한 광범위한 지역에서의 물체 이동 감시 방법 및 그 시스템
WO2020213955A1 (ko) 모바일 로봇의 초기화 진단 방법 및 시스템
JPH10501386A (ja) 可動プラットフォームから移動物体を表示するビデオ技術
WO2018186520A1 (ko) 주차된 차량의 상태를 감시하는 시스템
WO2019225880A1 (en) Semi-dense depth estimation from a dynamic vision sensor (dvs) stereo pair and a pulsed speckle pattern projector
WO2020046038A1 (ko) 로봇 및 그의 제어 방법
WO2020138736A1 (ko) 멀티 카메라를 이용한 이동경로 추적기술이 적용된 영상감시장치
WO2021261656A1 (ko) 엣지 컴퓨팅 기반 보안 감시 서비스 제공 장치, 시스템 및 그 동작 방법
CN113011252B (zh) 轨道异物侵限检测系统及方法
WO2020218644A1 (ko) 인공지능을 이용하여 로봇의 위치를 재정의하는 방법 및 로봇
WO2016167499A1 (ko) 촬영 장치 및 촬영 장치의 제어 방법
WO2020189831A1 (ko) 자율주행 차량의 모니터링 및 제어 방법
WO2023277422A1 (ko) 자율 주행용 차량의 카메라 백업 시스템 및 방법
CN108789500A (zh) 人机安全防护系统及安全防护方法
WO2016086380A1 (zh) 一种物体检测方法、装置及遥控移动设备、飞行器
US11443529B2 (en) Method and apparatus for detecting surroundings, and vehicle with such an apparatus
WO2020230930A1 (ko) 열화상 카메라 및 그 제어 방법
WO2013151208A1 (ko) 기상 현상으로 인해 훼손된 영상을 복원하는 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22833478

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE