WO2022102967A1 - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
WO2022102967A1
WO2022102967A1 PCT/KR2021/013495 KR2021013495W WO2022102967A1 WO 2022102967 A1 WO2022102967 A1 WO 2022102967A1 KR 2021013495 W KR2021013495 W KR 2021013495W WO 2022102967 A1 WO2022102967 A1 WO 2022102967A1
Authority
WO
WIPO (PCT)
Prior art keywords
dynamic object
distance
electronic device
sensor
driving
Prior art date
Application number
PCT/KR2021/013495
Other languages
English (en)
French (fr)
Inventor
김도훈
백아론
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of WO2022102967A1 publication Critical patent/WO2022102967A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/12—Target-seeking control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the present invention relates to an electronic device for recognizing a dynamic object and driving, and a method for controlling the same.
  • an electronic device that provides a service to a user within a specific space, such as a guide bot or a retail bot, has been commercialized.
  • the electronic device identifies a moving object (hereinafter, referred to as a dynamic object) such as a user in a driving process
  • the electronic device operates according to an algorithm for preventing a collision with the dynamic object.
  • Existing electronic devices have a problem in that efficient driving is difficult because only an algorithm that stops the dynamic object until it deviates from the driving path of the electronic device or performs simple avoidance driving without considering the motion characteristics of the dynamic object.
  • the present disclosure is directed to an electronic device having various driving modes for preventing collision with a dynamic object and a control method thereof.
  • the processor may include a processor controlling the driving unit to avoid the dynamic object when the threshold distance is decreased by more than one distance.
  • the processor may control the driving unit to track and travel the dynamic object when the second distance decreases to less than the threshold distance or the second distance increases than the first distance.
  • the processor is configured to calculate the speed of the dynamic object based on a plurality of fourth data obtained from the sensor while tracking the dynamic object, and adjust the speed of the electronic device based on the calculated speed.
  • the driving unit may be controlled.
  • the processor controls the driving unit to stop the avoidance driving.
  • the processor may control the driving unit to stop at the current position or return to a position before the avoidance driving starts.
  • the processor may control the driving unit to increase the speed of the electronic device during avoidance driving of the dynamic object.
  • the processor may identify a first distance to the dynamic object based on the second data obtained from the sensor .
  • the processor may control the driving unit to avoid driving the dynamic object regardless of a distance from the dynamic object.
  • the senor includes a camera and a lidar sensor
  • the processor is configured to: when a rear surface of the dynamic object is identified based on the first data acquired from the camera, second data acquired from the lidar sensor A first distance to the dynamic object may be identified based on .
  • the processor inputs a plurality of first data obtained from the camera into a neural network model to obtain information on whether the rear surface of the dynamic object is included in the first data, and the neural network model includes a plurality of It may be learned to identify the back side of the dynamic object from an input image.
  • the dynamic object and the dynamic object based on the second data obtained from the sensor identifying a first distance to the dynamic object based on third data obtained from the sensor after a threshold time, and wherein the second distance is greater than or equal to a threshold distance from the first distance If it decreases, it may include the step of avoiding the dynamic object.
  • the method may further include tracking and driving the dynamic object.
  • the step of tracking and driving the dynamic object may include calculating a velocity of the dynamic object based on a plurality of fourth data acquired from the sensor while tracking the dynamic object, and calculating the velocity of the dynamic object based on the calculated velocity. You can adjust the speed of your device.
  • the method may further include stopping the avoidance driving when the distance to the dynamic object is identified as less than a threshold distance based on the fifth data obtained from the sensor while avoiding the dynamic object.
  • the method may further include stopping at the current position or returning to a position before the avoidance driving starts.
  • the electronic device can efficiently travel in response to the movement characteristic of a dynamic object, the quality of a service provided to a user can be improved.
  • 1 is a view for explaining a driving method of an electronic device for preventing a collision with a dynamic object.
  • FIG. 2 is a block diagram illustrating a configuration of an electronic device according to an embodiment of the present disclosure.
  • 3A and 3B are diagrams for explaining a driving method of an electronic device corresponding to a movement characteristic of a dynamic object according to an embodiment of the present disclosure
  • FIGS. 4A and 4B are diagrams for explaining various avoidance driving methods of an electronic device according to an embodiment of the present disclosure.
  • FIG. 5 is a view for explaining a simple avoidance driving method of an electronic device according to an embodiment of the present disclosure.
  • FIG. 6 is a diagram for explaining a neural network model according to an embodiment of the present disclosure.
  • FIG. 7 is a block diagram for specifically explaining a functional configuration of an electronic device according to an embodiment of the present disclosure.
  • FIG. 8 is a flowchart illustrating a control method according to an embodiment of the present disclosure.
  • FIG. 9 is a diagram for explaining determining a driving method based on a distance according to an embodiment of the present disclosure.
  • FIG. 10 is a diagram for explaining determining a driving method based on a speed according to an embodiment of the present disclosure
  • expressions such as “have,” “may have,” “include,” or “may include” indicate the presence of a corresponding characteristic (eg, a numerical value, function, operation, or component such as a part). and does not exclude the presence of additional features.
  • a component eg, a first component
  • another component eg, a second component
  • an element may be directly connected to another element or may be connected through another element (eg, a third element).
  • a “module” or “unit” performs at least one function or operation, and may be implemented as hardware or software, or a combination of hardware and software.
  • a plurality of “modules” or a plurality of “units” are integrated into at least one module and implemented with at least one processor (not shown) except for “modules” or “units” that need to be implemented with specific hardware.
  • the term user may refer to a person who uses an electronic device.
  • the operation of the electronic device will be described on the assumption that the specific space in which the electronic device operates is an indoor space.
  • 1 is a view for explaining a driving method of an electronic device for preventing a collision with a dynamic object.
  • the electronic device 100 may be implemented as a robot that provides a service to a user, but is not limited thereto.
  • an electronic device 100 moves based on a driving route 10 from a current location to a destination.
  • the electronic device 100 may identify the driving area 11 having a constant width along the driving path.
  • the driving region 11 may be a region that the electronic device 100 can pass through while driving.
  • an object located on the driving area 11 of the electronic device may exist.
  • the object may be either a static object that does not move, such as a column, or a dynamic object that moves, such as a user.
  • the electronic device 100 may avoid driving the corresponding object.
  • the object is a dynamic object
  • the electronic device 100 unconditionally evades driving, a situation in which the electronic device 100 collides with the dynamic object may occur.
  • the electronic device 100 may drive in various ways to prevent a collision with a dynamic object.
  • the electronic device 100 may drive in different modes based on the distance 20 between the electronic device and the user. .
  • the electronic device 100 may track the user 200 while driving 31 or avoid driving the user 200 32 .
  • the conventional electronic device is equipped with an algorithm that stops at the original position or always avoids the user 200 without considering the movement characteristics of the user 200 , so that the user 200 does not deviate from the driving area 11 . There was a problem of not reaching the destination and a problem of colliding with the user 200 moving at a high speed during the avoidance driving (32) process.
  • FIG. 2 is a block diagram illustrating a configuration of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 may include a sensor 110 , a driving unit 120 , and a processor 130 .
  • the sensor 110 may measure a physical quantity or detect an operating state of the electronic device 100 , and may convert the measured or sensed information into an electrical signal.
  • the sensor 110 may include a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor (eg, an RGB (red, green, blue) sensor), a biometric sensor, and an on/off sensor. It may include at least one of a humidity sensor, an illuminance sensor, and an ultra violet (UV) sensor.
  • the sensor 110 according to an embodiment of the present disclosure may be implemented as a distance sensor and a speed sensor.
  • the sensor 110 may also be implemented in the form of a sensor module including at least one or more sensors.
  • the sensor 110 may acquire first data and second data.
  • the first data may be image data obtained by the sensor 110 .
  • the sensor 110 may be implemented as a camera to acquire image data.
  • the sensor 110 may include a lens that focuses the visible light or signal reflected and received by the object, for example, the user 200 to the image sensor, and an image sensor capable of detecting the visible light or signal.
  • the image sensor may include a 2D pixel array divided into a plurality of pixels.
  • the second data according to an embodiment of the present disclosure may be distance data obtained by the sensor 110 .
  • the sensor 110 may be implemented as a distance sensor to obtain distance data.
  • the sensor 110 may measure a distance between the location of the electronic device 100 and the location of the user 200 .
  • the sensor 110 according to an example may be implemented as a light detection and ranging (LIDAR) or a depth camera.
  • the sensor 110 according to an example may measure the distance between the electronic device 100 and the user 200 through a triangulation method, a time of flight (TOF) measurement method, or a phase difference displacement measurement method.
  • LIDAR light detection and ranging
  • TOF time of flight
  • the driving unit 120 is a device capable of driving the electronic device 100 , and according to the control of the processor 130 , the driving unit 120 may adjust the driving direction and driving speed.
  • the driving unit 120 is a power generating device that generates power for the electronic device 100 to travel (eg, a gasoline engine, a diesel engine, or a liquefied petroleum gas (LPG) depending on the fuel used (or energy source). ) engines, electric motors, etc.), steering devices for controlling the driving direction (eg manual steering, hydraulics steering, electronic control power steering (EPS), etc.), electronic depending on the power It may include a driving device (eg, a wheel, a propeller, etc.) for driving the device 100 .
  • the driving unit 120 may be deformed according to a driving type (eg, a wheel type, a walking type, a flying type, etc.) of the electronic device 100 .
  • the processor 130 controls the overall operation of the electronic device 100 .
  • the processor 130 may be connected to each component of the electronic device 100 to control the overall operation of the electronic device 100 .
  • the processor 130 may be connected to the sensor 110 and the driving unit 120 to control the operation of the electronic device 100 .
  • the processor 130 includes a digital signal processor (DSP), a microprocessor, a central processing unit (CPU), a micro controller unit (MCU), and a micro processing unit (MPU). unit), a Neural Processing Unit (NPU), a controller, and an application processor (AP), etc.
  • DSP digital signal processor
  • CPU central processing unit
  • MCU micro controller unit
  • MPU micro processing unit
  • NPU Neural Processing Unit
  • controller controller
  • AP application processor
  • the processor 130 may be implemented in a system on chip (SoC), large scale integration (LSI), or a field programmable gate array (FPGA) format.
  • SoC system on chip
  • LSI large scale integration
  • FPGA field programmable gate array
  • the processor 130 may include a volatile memory such as SRAM.
  • the processor 130 may determine a first distance from the dynamic object based on the second data obtained from the sensor 110 . can be identified.
  • the processor 130 measures the distance to the dynamic object when the rear surface of the dynamic object located on the driving area of the electronic device is recognized based on the first and second data obtained by the sensor 110, , the distance may not be measured if the front of the dynamic object is recognized. This will be described in detail with reference to FIG. 5 .
  • the processor 130 may identify the second distance to the dynamic object based on the third data obtained from the sensor 110 after the threshold time.
  • the third data may be distance data obtained by the sensor 110 .
  • the processor 130 may control the driving unit 120 to avoid a dynamic object in order to prevent a collision.
  • the avoidance driving refers to a driving in which the electronic device 100 moves through a region other than the existing driving region in order to avoid a dynamic object.
  • a manufacturer and a user of the electronic device 100 may set the threshold distance arbitrarily, and according to an embodiment, when the threshold distance is 0, the electronic device 100 becomes closer to the dynamic object as time passes. It is possible to avoid driving a dynamic object based on
  • the processor 130 determines whether to avoid driving based on the first distance and the second distance, but according to another example, the processor 130 determines whether the distance between the electronic device 100 and the dynamic object is set in advance. If it is identified as less than the value, the dynamic object may be evaded and driven.
  • the processor 130 may control the driving unit 120 to track and drive the dynamic object when the second distance decreases to less than a threshold distance or the second distance increases than the first distance.
  • the tracking driving refers to driving in which the electronic device 100 moves along the dynamic object in the existing driving area based on the identification that the possibility of collision with the dynamic object is not high.
  • the processor 130 calculates the velocity of the dynamic object based on a plurality of fourth data acquired from the sensor 110 while tracking the dynamic object, and based on the calculated velocity, the electronic device
  • the driving unit 120 may be controlled to adjust the speed of
  • the fourth data may include at least one of distance data and speed data.
  • the fourth data may be image data.
  • the processor 130 may calculate the speed of the dynamic object based on the size of the dynamic object included in the image data.
  • the processor 130 may control the driving unit 120 to drive the electronic device 100 at the same speed as the dynamic object in tracking and driving the dynamic object. Specifically, when it is identified that the dynamic object is moving faster than the electronic device 100 , the processor 130 controls the driving unit 120 to increase the speed of the electronic device 100 , and the dynamic object moves faster than the electronic device 100 . ), the driving unit 120 may be controlled to decrease the speed of the electronic device 100 when it is identified that the moving device is moving slower than the .
  • the processor 130 is configured to stop the avoidance driving when the distance to the dynamic object is identified as less than a threshold distance based on the fifth data obtained from the sensor 110 while avoiding the dynamic object.
  • the driving unit 120 may be controlled.
  • the fifth data may include at least one of distance data and image data.
  • the processor 130 may control the driving unit 120 to increase the speed of the electronic device 100 during avoidance driving of a dynamic object. Specifically, the processor 130 may increase the speed of the electronic device 100 so as not to collide with the electronic device 100 even if the speed of the dynamic object increases during the avoidance driving.
  • the processor 130 may communicate with the dynamic object based on the second data obtained from the sensor 110 .
  • a first distance may be identified. That is, the processor 130 according to an example may identify the distance between the electronic device 100 and the dynamic object only when the dynamic object is located in the driving area of the electronic device 100 .
  • the sensor 110 may be controlled to detect only the driving area of the electronic device 100 .
  • the processor 130 may control the driving unit 120 to avoid driving the dynamic object regardless of the distance from the dynamic object.
  • the sensor 110 includes a camera and a lidar sensor
  • the processor 130 according to an embodiment is a lidar when a rear surface of a dynamic object is identified based on first data obtained from the camera.
  • the first distance to the dynamic object may be identified based on the second data obtained from the sensor.
  • the processor 130 may input a plurality of first data obtained from the camera into the neural network model to obtain information on whether the rear surface of the dynamic object is included in the first data.
  • the neural network model may be a model trained to identify the back surface of a dynamic object from a plurality of input images.
  • 3A and 3B are diagrams for explaining a driving method of an electronic device corresponding to a movement characteristic of a dynamic object according to an embodiment of the present disclosure
  • the electronic device 100 when the rear surface of the user 200 is identified based on the image data acquired through the sensor 110 , the The first distance d1 310 with the user 200 may be identified based on the distance data. Thereafter, the electronic device 100 and the user 200 may move in the same direction, and the electronic device 100 may move at a faster speed than the user 200 .
  • the electronic device 100 according to an example identifies the second distance d2 320 with the user 200 based on the distance data obtained from the sensor 110 when a threshold time elapses after the identification d1 310 . can
  • the electronic device 100 may avoid driving the user 200 .
  • the (d1 - d2) value is a positive number equal to or less than the threshold value, the user 200 may be tracked and driven.
  • the electronic device 100 may move at a slower speed than the user 200 .
  • the electronic device 100 identifies the second distance d2 330 with the user 200 based on the distance data obtained from the sensor 110 when a threshold time elapses after the identification d1 310 . can
  • the electronic device 100 may track and drive the user 200 .
  • the electronic device 100 may adjust the speed of the electronic device 100 during tracking driving based on distance data and speed data obtained through the sensor 110 .
  • FIGS. 4A and 4B are diagrams for explaining various avoidance driving methods of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 may move while maintaining a distance equal to or greater than a threshold distance from the user 200 in the avoidance driving process. Specifically, when the distance to the user 200 is identified as less than the threshold distance based on the distance data obtained from the sensor 110 during the avoidance driving of the user 200, the electronic device 100 may stop the avoidance driving. .
  • the electronic device 100 may start the avoidance driving 32 for the user 200 from the initial location 410 . While the electronic device 100 avoids driving, the user 200 may move from the first location 210 to the second location 220 . In this case, the user 200 may move at a constant speed.
  • the electronic device 100 may continue the avoidance driving 32 .
  • the user 200 may move from a first location 210 to a third location 230 while the electronic device 100 avoids driving according to an example. In this case, the user 200 may move at a faster speed than before.
  • the electronic device 100 When the distance between the electronic device 100 and the user 200 decreases to less than the threshold distance when the electronic device 100 reaches the intermediate position 430 according to an example, the electronic device 100 performs avoidance driving ( 32) can be stopped.
  • the electronic device 100 may stop at the intermediate position 430 or return to the initial position 410 , which is a position before the avoidance driving 32 starts.
  • the electronic device 100 may accelerate driving during the avoidance driving 32 in case the speed of the user 200 increases in the process of the avoidance driving 32 . Accordingly, the electronic device 100 can continue the avoidance driving 32 even if the user 200 moves at a faster speed than before in the process of the avoidance driving 32 .
  • FIG. 5 is a view for explaining a simple avoidance driving method of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 may identify the user 200 on the driving area 11 .
  • the user 200 when the front of the user 200 is identified based on the first data obtained from the sensor 110 , the user 200 is irrespective of the distance between the electronic device 100 and the user 200 . ) can be avoided running (32).
  • the front of the user 200 when the front of the user 200 is identified, the distance between the electronic device 100 and the user 200 will continuously decrease, so in order to prevent a collision, the electronic device 100 does not go through the distance identification process and the user ( 200) can be avoided driving (32).
  • the first data according to an example may be image data including a plurality of frames, and the electronic device 100 according to an example acquires the plurality of first data by using image data including a preset number of frames as a unit.
  • image data including a preset number of frames as a unit.
  • the front or rear of the user 200 may be identified therefrom.
  • the electronic device 100 identifies the rear surface of the user 200 and then identifies the distance. However, the electronic device 100 prefers to identify the distance to the user 200 over the rear surface of the user 200 . may be In this case, if the front side of the user 200 is identified while the user 200 is tracking and driving based on the identified distance, the electronic device 100 may stop the tracking driving and avoid driving the user 200 ( 32 ). .
  • FIG. 6 is a diagram for explaining a neural network model according to an embodiment of the present disclosure.
  • the processor 130 obtains information 620 on whether the back surface of the dynamic object is included in the plurality of first data 610 obtained through the sensor 110 using the neural network model 600 .
  • the neural network model 600 may be a model trained to identify the back surface of a dynamic object from a plurality of input images, and the neural network model 600 is stored in a memory (not shown) that is a component of the electronic device 100 or stored in an external server. It can also be downloaded from (not shown). In this case, the neural network model 600 may be updated periodically or when an event occurs.
  • the neural network model 600 may include a plurality of neural network layers.
  • Each of the plurality of neural network layers has a plurality of weight values, and a neural network operation is performed through an operation between the operation result of a previous layer and the plurality of weights.
  • the plurality of weights of the plurality of neural network layers may be optimized by the learning result of the neural network model. For example, a plurality of weights may be updated so that a loss value or a cost value obtained from the neural network model during the learning process is reduced or minimized.
  • the artificial neural network may include a deep neural network (DNN), for example, a Convolutional Neural Network (CNN), a Deep Neural Network (DNN), a Recurrent Neural Network (RNN), a Restricted Boltzmann Machine (RBM), There may be a Deep Belief Network (DBN), a Bidirectional Recurrent Deep Neural Network (BRDNN), or a Deep Q-Networks, but is not limited thereto.
  • DNN Deep Neural Network
  • DNN Deep Belief Network
  • BBDNN Bidirectional Recurrent Deep Neural Network
  • Deep Q-Networks Deep Q-Networks
  • FIG. 7 is a block diagram for specifically explaining a functional configuration of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 ′ includes a camera 111 , a distance sensor 112 , a speed sensor 113 , a driving unit 120 , a processor 130 , a memory 140 , and a communication interface 150 .
  • a camera 111 includes a camera 111 , a distance sensor 112 , a speed sensor 113 , a driving unit 120 , a processor 130 , a memory 140 , and a communication interface 150 .
  • the speed sensor 113 is a device for measuring the speed of the electronic device 100 ′.
  • the speed sensor 113 may be attached to the driving unit 120 to measure the speed of the electronic device 100 ′ based on the operation of the driving unit, and may include navigation devices such as Global Positioning System (GPS) and Inertial Navigation System (INS). may be implemented to measure the speed of the electronic device 100'.
  • GPS Global Positioning System
  • INS Inertial Navigation System
  • the memory 140 may store data necessary for various embodiments of the present disclosure.
  • the memory 140 may be implemented in the form of a memory embedded in the electronic device 100 ′ or a memory that is detachable from the electronic device 100 ′ depending on the purpose of data storage.
  • data for driving the electronic device 100 ′ is stored in an embedded memory in the electronic device 100
  • data for an extension function of the electronic device 100 ′ is stored in the electronic device 100 ′.
  • a volatile memory eg, dynamic RAM (DRAM), static RAM (SRAM), or synchronous dynamic RAM (SDRAM), etc.
  • non-volatile memory e.g.
  • a memory card eg, a CF ( compact flash), SD (secure digital), Micro-SD (micro secure digital), Mini-SD (mini secure digital), xD (extreme digital), MMC (multi-media card), etc.
  • a memory eg, USB memory
  • the memory 140 may store a neural network model.
  • the communication interface 150 may input and output various types of data.
  • the communication interface 150 is an AP-based Wi-Fi (Wi-Fi, Wireless LAN network), Bluetooth (Bluetooth), Zigbee (Zigbee), wired / wireless LAN (Local Area Network), WAN (Wide Area Network), Ethernet, IEEE 1394, HDMI (High-Definition Multimedia Interface), USB (Universal Serial Bus), MHL (Mobile High-Definition Link), AES/EBU (Audio Engineering Society/ European Broadcasting Union), Optical , Coaxial, etc. to communicate various types of data with an external device (eg, a source device), an external storage medium (eg, a USB memory), and an external server (eg, a web hard drive). can transmit and receive.
  • an external device eg, a source device
  • an external storage medium eg, a USB memory
  • an external server eg, a web hard drive
  • FIG. 8 is a flowchart illustrating a control method according to an embodiment of the present disclosure.
  • the control method of the electronic device identifies a first distance to the dynamic object based on second data obtained from the sensor when the rear surface of the dynamic object is identified based on first data obtained from a sensor do (S810). Next, a second distance to the dynamic object is identified based on the third data obtained from the sensor after the threshold time (S820). Finally, when the second distance decreases by more than a threshold distance compared to the first distance, the driving avoids the dynamic object (S830).
  • the method may further include tracking and driving the dynamic object.
  • the step of tracking and driving the dynamic object may include calculating a speed of the dynamic object based on a plurality of fourth data obtained from a sensor while tracking the dynamic object, and adjusting the speed of the electronic device based on the calculated speed.
  • the method may further include stopping the avoidance driving when the distance to the dynamic object is identified as less than a threshold distance based on fifth data obtained from the sensor while avoiding the dynamic object.
  • the method may further include stopping at the current position or returning to a position before the evasive driving starts.
  • the method may further include increasing the speed of the electronic device during avoidance driving of the dynamic object.
  • the first distance to the dynamic object is performed based on second data obtained from the sensor. distance can be identified.
  • the method may further include, when the front of the dynamic object is identified based on the first data, avoiding driving the dynamic object regardless of a distance from the dynamic object.
  • the step of identifying the first distance to the dynamic object if the rear surface of the dynamic object is identified based on the first data obtained from the camera, it is connected to the dynamic object based on the second data obtained from the lidar sensor. A first distance may be identified.
  • the method may further include inputting a plurality of first data obtained from the camera into the neural network model to obtain information on whether the rear surface of the dynamic object is included in the first data, wherein the neural network model includes a plurality of input images It may be a model trained to identify the back side of a dynamic object from
  • FIG. 9 is a diagram for explaining determining a driving method based on a distance according to an embodiment of the present disclosure.
  • a driving route is set ( S910 ). Then, the user is recognized within the driving route (S920).
  • within the driving path may mean an area within a critical distance from the driving path.
  • the recognized user's rear surface is identified (S930).
  • the distance between the user and the robot is identified (S940).
  • a user evasive driving is determined (S970) and the robot speed is adjusted to a speed corresponding to the evasive driving (S980).
  • the user's avoidance driving is determined (S970) and the speed of the robot is adjusted to a speed corresponding to the avoiding driving (S980).
  • FIG. 10 is a diagram for explaining determining a driving method based on a speed according to an embodiment of the present disclosure
  • a driving route is set ( S1010 ). Then, the user is recognized within the driving route (S1020).
  • the recognized user's rear surface is identified (S1030).
  • the user's back is identified (S1030: Y)
  • the user's speed is identified (S1040).
  • it is determined whether the identified speed is less than a threshold distance (S1050). If the identified speed is greater than or equal to the threshold speed (S1050: N), the user determines the tracking driving (S1060) and adjusts the speed of the robot to a speed corresponding to the tracking driving (S1080).
  • the user determines the avoidance driving (S1070) and adjusts the speed of the robot to a speed corresponding to the avoidance driving (S1080).
  • the user evasion driving is determined (S1070) and the speed of the robot is adjusted to a speed corresponding to the evasion driving (S1080).
  • the various embodiments described above may be implemented in a recording medium readable by a computer or a similar device using software, hardware, or a combination thereof.
  • the embodiments described herein may be implemented by the processor 130 itself.
  • embodiments such as the procedures and functions described in this specification may be implemented as separate software modules. Each of the software modules may perform one or more functions and operations described herein.
  • computer instructions for performing the processing operation of the electronic device 100 according to various embodiments of the present disclosure described above may be stored in a non-transitory computer-readable medium.
  • the specific device When the computer instructions stored in the non-transitory computer-readable medium are executed by the processor of the specific device, the specific device performs the processing operation in the electronic device 100 according to the various embodiments described above.
  • the non-transitory computer-readable medium refers to a medium that stores data semi-permanently, rather than a medium that stores data for a short moment, such as a register, a cache, a memory, and can be read by a device.
  • Specific examples of the non-transitory computer-readable medium may include a CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)

Abstract

전자 장치가 개시된다. 전자 장치는 센서, 구동부 및 프로세서를 포함한다. 프로세서는 센서로부터 획득된 제1 데이터에 기초하여 동적 객체의 후면이 식별되면 센서로부터 획득된 제2 데이터에 기초하여 동적 객체와의 제1 거리를 식별하고, 임계 시간 이후에 센서로부터 획득된 제3 데이터에 기초하여 동적 객체와의 제2 거리를 식별하고, 제2 거리가 제1 거리보다 임계 거리 이상 감소하면 동적 객체를 회피 주행하도록 구동부를 제어한다.

Description

전자 장치 및 그 제어 방법
본 발명은 동적 객체를 인식하여 주행하는 전자 장치 및 그 제어 방법에 관한 것이다.
최근 가이드 봇(Guide Bot) 또는 리테일 봇(Retail Bot)과 같이 특정 공간 내에서 사용자에게 서비스를 제공하는 전자 장치가 상용화되고 있다. 전자 장치는 주행 과정에서 사용자와 같은 움직이는 객체(이하, 동적 객체)를 식별하면 동적 객체와의 추돌을 방지하는 알고리즘에 따라 동작한다. 기존의 전자 장치는 동적 객체가 전자 장치의 주행 경로 상에서 이탈할 때까지 정지하거나 동적 객체의 움직임 특성을 고려하지 않고 단순 회피 주행을 실시하는 알고리즘만을 탑재하여 효율적인 주행이 어려운 문제점이 있었다.
이에 특정 공간 내에서 전자 장치가 동적 객체와 추돌하지 않고 효율적으로 주행할 수 있는 방법에 대한 지속적인 요구가 있었다.
본 개시는 상술한 필요성에 따른 것으로, 본 발명의 목적은 동적 객체와의 추돌을 방지하는 다양한 주행 모드를 갖는 전자 장치 및 그 제어 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 전자 장치는, 센서, 구동부 및 상기 센서로부터 획득된 제1 데이터에 기초하여 동적 객체의 후면이 식별되면, 상기 센서로부터 획득된 제2 데이터에 기초하여 상기 동적 객체와의 제1 거리를 식별하고, 임계 시간 이후에 상기 센서로부터 획득된 제3 데이터에 기초하여 상기 동적 객체와의 제2 거리를 식별하고, 상기 제2 거리가 상기 제1 거리보다 임계 거리 이상 감소하면 상기 동적 객체를 회피 주행하도록 상기 구동부를 제어하는 프로세서를 포함할 수 있다.
여기서, 상기 프로세서는, 상기 제2 거리가 상기 제1 거리보다 상기 임계 거리 미만으로 감소하거나 상기 제2 거리가 상기 제1 거리보다 증가하면, 상기 동적 객체를 추적 주행하도록 상기 구동부를 제어할 수 있다.
여기서, 상기 프로세서는, 상기 동적 객체를 추적하는 동안 상기 센서로부터 획득된 복수의 제4 데이터에 기초하여 상기 동적 객체의 속도를 산출하고, 상기 산출된 속도에 기초하여 상기 전자 장치의 속도를 조정하도록 상기 구동부를 제어할 수 있다.
한편, 상기 프로세서는, 상기 동적 객체를 회피 주행하는 동안 상기 센서로부터 획득된 제5 데이터에 기초하여 상기 동적 객체와의 거리가 임계 거리 미만으로 식별되면, 상기 회피 주행을 중지하도록 상기 구동부를 제어할 수 있다.
여기서, 상기 프로세서는, 현 위치에서 정지하거나, 상기 회피 주행이 시작되기 전 위치로 복귀하도록 상기 구동부를 제어할 수 있다.
한편, 상기 프로세서는, 상기 동적 객체의 회피 주행 시 상기 전자 장치의 속도가 증가되도록 상기 구동부를 제어할 수 있다.
또한, 상기 프로세서는, 상기 전자 장치의 주행 경로로부터 임계 거리 내에서 상기 동적 객체의 후면이 식별되면, 상기 센서로부터 획득된 제2 데이터에 기초하여 상기 동적 객체와의 제1 거리를 식별할 수 있다.
또한, 상기 프로세서는, 상기 제1 데이터에 기초하여 상기 동적 객체의 전면이 식별되면 상기 동적 객체와의 거리와 관계없이 상기 동적 객체를 회피 주행하도록 상기 구동부를 제어할 수 있다.
또한, 상기 센서는, 카메라 및 라이다 센서를 포함하며, 상기 프로세서는, 상기 카메라로부터 획득된 상기 제1 데이터에 기초하여 상기 동적 객체의 후면이 식별되면, 상기 라이다 센서로부터 획득된 제2 데이터에 기초하여 상기 동적 객체와의 제1 거리를 식별할 수 있다.
여기서, 상기 프로세서는, 상기 카메라로부터 획득된 복수의 제1 데이터를 신경망 모델에 입력하여 상기 제1 데이터에 상기 동적 객체의 후면이 포함되는지 여부에 대한 정보를 획득하고, 상기 신경망 모델은, 복수의 입력 이미지로부터 상기 동적 객체의 후면을 식별하도록 학습된 것일 수 있다.
한편, 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법은, 센서로부터 획득된 제1 데이터에 기초하여 동적 객체의 후면이 식별되면, 상기 센서로부터 획득된 제2 데이터에 기초하여 상기 동적 객체와의 제1 거리를 식별하는 단계, 임계 시간 이후에 상기 센서로부터 획득된 제3 데이터에 기초하여 상기 동적 객체와의 제2 거리를 식별하는 단계 및 상기 제2 거리가 상기 제1 거리보다 임계 거리 이상 감소하면 상기 동적 객체를 회피 주행하는 단계를 포함할 수 있다.
여기서, 상기 제2 거리가 상기 제1 거리보다 상기 임계 거리 미만으로 감소하거나 상기 제2 거리가 상기 제1 거리보다 증가하면, 상기 동적 객체를 추적 주행하는 단계를 더 포함할 수 있다.
여기서, 상기 동적 객체를 추적 주행하는 단계는, 상기 동적 객체를 추적하는 동안 상기 센서로부터 획득된 복수의 제4 데이터에 기초하여 상기 동적 객체의 속도를 산출하고, 상기 산출된 속도에 기초하여 상기 전자 장치의 속도를 조정할 수 있다.
한편, 상기 동적 객체를 회피 주행하는 동안 상기 센서로부터 획득된 제5 데이터에 기초하여 상기 동적 객체와의 거리가 임계 거리 미만으로 식별되면, 상기 회피 주행을 중지하는 단계를 더 포함할 수 있다.
여기서, 현 위치에서 정지하거나, 상기 회피 주행이 시작되기 전 위치로 복귀하는 단계를 더 포함할 수 있다.
본 개시의 다양한 실시 예에 따르면, 전자 장치가 동적 객체의 이동 특성에 대응하여 효율적으로 주행할 수 있으므로 사용자에게 제공되는 서비스의 품질이 제고될 수 있다.
도 1은 동적 객체와의 추돌을 방지하기 위한 전자 장치의 주행 방법을 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 3a 및 3b는 본 개시의 일 실시 예에 따른 동적 객체의 이동 특성에 대응되는 전자 장치의 주행 방법을 설명하기 위한 도면이다.
도 4a 및 4b는 본 개시의 일 실시 예에 따른 전자 장치의 다양한 회피 주행 방법을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 전자 장치의 단순 회피 주행 방법을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 신경망 모델을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시 예에 따른 전자 장치의 기능적 구성을 구체적으로 설명하기 위한 블록도이다.
도 8은 본 개시의 일 실시 예에 따른 제어 방법을 설명하기 위한 흐름도이다.
도 9는 본 개시의 일 실시 예에 따른 거리에 기초한 주행 방법 결정을 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시 예에 따른 속도에 기초한 주행 방법 결정을 설명하기 위한 도면이다.
-
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
본 개시에서 사용자라는 용어는 전자 장치를 사용하는 사람을 지칭할 수 있다. 또한, 전자 장치가 동작하는 특정 공간은 실내 공간인 것을 전제로 전자 장치의 동작을 설명하도록 한다.
이하 첨부된 도면들을 참조하여 본 개시의 일 실시 예를 보다 상세하게 설명한다.
도 1은 동적 객체와의 추돌을 방지하기 위한 전자 장치의 주행 방법을 설명하기 위한 도면이다.
본 개시의 일 실시 예에 따른 전자 장치(100)는 사용자에게 서비스를 제공하는 로봇으로 구현될 수 있으나, 이에 한정되지는 않는다.
도 1을 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(100)는 현재 위치로부터 목적지까지 이르는 주행 경로(10)에 기초하여 이동한다. 전자 장치(100)는 주행 경로를 따라 일정한 폭을 갖는 주행 영역(11)을 식별할 수 있다. 여기서 주행 영역(11)은 전자 장치(100)가 주행하는 과정에서 통과할 수 있는 영역일 수 있다.
전자 장치(100)가 동작하는 실내 공간에서는 전자 장치의 주행 영역(11) 상에 위치하는 객체가 존재할 수 있다. 이 경우 객체는 기둥과 같이 이동하지 않는 정적 객체 또는 사용자와 같이 이동하는 동적 객체 중 하나일 수 있다.
본 명세서에서는 사용자(200)가 동적 객체의 대표적인 예인 것으로 상정하여 두 표현을 혼용하도록 한다.
본 개시의 일 실시 예에 따른 전자 장치(100)의 주행 영역(11)상에 위치하는 객체가 정적 객체인 경우 전자 장치(100)는 해당 객체를 회피 주행할 수 있다. 반면, 객체가 동적 객체인 경우 전자 장치(100)가 무조건적으로 회피 주행을 할 경우 되려 동적 객체와 추돌하는 상황이 발생할 수 있다.
이에 전자 장치(100)는 동적 객체와의 추돌을 방지하기 위해 다양한 방법으로 주행할 수 있다. 본 개시의 일 실시 예에 따른 전자 장치(100)는 주행 영역(11) 상에 위치하는 사용자(200)가 식별되면 전자 장치와 사용자와의 거리(20)에 기초하여 상이한 모드로 주행할 수 있다.
구체적으로 일 예에 따른 전자 장치(100)는 사용자(200)를 추적 주행(31)할 수도 있고, 사용자(200)를 회피 주행(32)할 수도 있다. 종래의 전자 장치는 사용자(200)의 이동 특성을 고려하지 않고 원래 위치에 정지하거나 언제나 사용자(200)를 회피 주행하는 알고리즘을 탑재하고 있어, 사용자(200)가 주행 영역(11)을 벗어나지 않는 경우 목적지에 도달하지 못하는 문제점 및 회피 주행(32) 과정에서 빠른 속도로 이동하는 사용자(200)와 추돌하는 문제점이 있었다.
본 명세서에서는 상술한 문제점을 해결하기 위해 동적 객체와의 추돌을 방지하는 다양한 주행 모드를 갖는 전자 장치 및 그 제어 방법에 관하여 설명하도록 한다.
이에 따라, 이하에서는 전자 장치가 동적 객체의 이동 특성에 대응하여 효율적으로 주행할 수 있는 다양한 실시 예에 대해 좀더 구체적으로 설명하도록 한다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 2를 참조하여, 본 개시의 일 실시 예에 따른 전자 장치(100)는 센서(110), 구동부(120) 및 프로세서(130)를 포함할 수 있다.
센서(110)는 물리량을 계측하거나 전자 장치(100)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서(110)는 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러(color) 센서(예: RGB(red, green, blue) 센서), 생체 센서, 온/습도 센서, 조도 센서, 또는 UV(ultra violet) 센서 중의 적어도 하나를 포함할 수 있다. 특히 본 개시의 일 실시 예에 따른 센서(110)는 거리 센서 및 속도 센서로 구현될 수 있다.
본 개시의 일 실시 예에 따른 센서(110)는 적어도 하나 이상의 센서를 포함하는 센서 모듈의 형태로도 구현될 수 있다.
본 개시의 일 실시 예에 따른 센서(110)는 제1 데이터 및 제2 데이터를 획득할 수 있다. 일 예에 따른 제1 데이터는 센서(110)에 의해 획득된 이미지 데이터일 수 있다. 여기서 센서(110)는 이미지 데이터를 획득하기 위해 카메라로 구현될 수 있다. 구체적으로, 센서(110)는 객체, 예를 들어 사용자(200)에 의해 반사되어 수신되는 가시광 또는 신호를 이미지 센서로 포커싱하는 렌즈 및 가시광 또는 신호를 감지할 수 있는 이미지 센서를 포함할 수 있다. 여기서, 이미지 센서는 복수의 픽셀로 구분되는 2D의 픽셀 어레이를 포함할 수 있다.
본 개시의 일 실시 예에 따른 제2 데이터는 센서(110)에 의해 획득된 거리 데이터일 수 있다. 여기서 센서(110)는 거리 데이터를 획득하기 위해 거리 센서로 구현될 수 있다. 구체적으로, 센서(110)는 전자 장치(100)의 위치와 사용자(200)의 위치 사이의 거리를 측정할 수 있다. 일 예에 따른 센서(110)는 라이다(LIDAR, Light Detection And Ranging) 또는 뎁스 카메라(Depth Camera) 등으로 구현될 수 있다. 일 예에 따른 센서(110)는 삼각 측정법, TOF(Time of flight) 측정법 또는 위상차 변위 측정법을 통해 전자 장치(100)와 사용자(200) 사이의 거리를 측정할 수 있다.
구동부(120)는 전자 장치(100)를 주행시킬 수 있는 장치이며, 프로세서(130)의 제어에 따라 구동부(120)는 주행 방향 및 주행 속도를 조절할 수 있다. 이를 위해, 구동부(120)는 전자 장치(100)가 주행하기 위한 동력을 발생시키는 동력발생장치(예: 사용 연료(또는 에너지원)에 따라 가솔린 엔진(engine), 디젤 엔진, LPG(liquefied petroleum gas) 엔진, 전기 모터 등), 주행 방향을 조절하기 위한 조향 장치(예: 기계식 스티어링(manual steering), 유압식 스티어링(hydraulics steering), 전자식 스티어링(electronic control power steering; EPS) 등), 동력에 따라 전자 장치(100)를 주행시키는 주행 장치(예: 바퀴, 프로펠러 등) 등을 포함할 수 있다. 여기서, 구동부(120)는 전자 장치(100)의 주행 타입(예: 휠 타입, 보행 타입, 비행 타입 등)에 따라 변형 실시될 수 있다.
프로세서(130)는 전자 장치(100)의 동작을 전반적으로 제어한다. 구체적으로, 프로세서(130)는 전자 장치(100)의 각 구성과 연결되어 전자 장치(100)의 동작을 전반적으로 제어할 수 있다. 예를 들어, 프로세서(130)는 센서(110) 및 구동부(120)와 연결되어 전자 장치(100)의 동작을 제어할 수 있다.
일 실시 예에 따라 프로세서(130)는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), NPU(Neural Processing Unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)) 등 다양한 이름으로 명명될 수 있으나, 본 명세서에서는 프로세서(130)로 기재한다.
프로세서(130)는 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다. 또한, 프로세서(130)는 SRAM 등의 휘발성 메모리를 포함할 수 있다.
일 실시 예에 따른 프로세서(130)는 센서(110)로부터 획득된 제1 데이터에 기초하여 동적 객체의 후면이 식별되면 센서(110)로부터 획득된 제2 데이터에 기초하여 동적 객체와의 제1 거리를 식별할 수 있다.
일 예에 따른 프로세서(130)는 센서(110)가 획득한 제1 및 제2 데이터에 기초하여 전자 장치의 주행 영역 상에 위치하는 동적 객체의 후면이 인식되면 해당 동적 객체와의 거리를 측정하며, 동적 객체의 전면이 인식되면 거리를 측정하지 않을 수 있다. 이에 대해서는 도 5에서 상세히 설명한다.
본 개시의 일 실시 예에 따른 프로세서(130)는 임계 시간 이후에 센서(110)로부터 획득된 제3 데이터에 기초하여 동적 객체와의 제2 거리를 식별할 수 있다. 여기서 제3 데이터는 센서(110)에 의해 획득된 거리 데이터일 수 있다.
본 개시의 일 실시 예에 따른 프로세서(130)는 제2 거리가 제1 거리보다 임계 거리 이상 감소하면 추돌을 방지하기 위해 동적 객체를 회피 주행하도록 구동부(120)를 제어할 수 있다. 여기서 회피 주행이란 전자 장치(100)가 동적 객체를 회피하기 위하여 기존의 주행 영역 외의 영역을 통과하여 이동하는 주행을 말한다.
일 실시 예에 따른 임계 거리는 전자 장치(100)의 제조사 및 사용자가 임의로 설정할 수 있으며, 일 예에 따라 임계 거리가 0인 경우 전자 장치(100)는 동적 객체와의 거리가 시간이 지남에 따라 가까워짐에 기초하여 동적 객체를 회피 주행할 수 있다.
이상에서는 프로세서(130)가 제1 거리 및 제2 거리에 기초하여 회피 주행 여부를 결정하는 것으로 설명했으나, 다른 예에 따른 프로세서(130)는 전자 장치(100)와 동적 객체와의 거리가 기설정된 값 이하로 식별되는 경우 동적 객체를 회피 주행할 수도 있다.
본 개시의 일 실시 예에 따른 프로세서(130)는 제2 거리가 제1 거리보다 임계 거리 미만으로 감소하거나 제2 거리가 제1 거리보다 증가하면 동적 객체를 추적 주행하도록 구동부(120)를 제어할 수 있다.
여기서 추적 주행이란 전자 장치(100)가 동적 객체와의 추돌 가능성이 크지 않다고 식별함에 기초하여 기존의 주행 영역 내에서 동적 객체를 따라 이동하는 주행을 말한다.
본 개시의 일 실시 예에 따른 프로세서(130)는 동적 객체를 추적하는 동안 센서(110)로부터 획득된 복수의 제4 데이터에 기초하여 동적 객체의 속도를 산출하고, 산출된 속도에 기초하여 전자 장치의 속도를 조정하도록 구동부(120)를 제어할 수 있다.
일 예로, 제4 데이터는 거리 데이터 또는 속도 데이터 중 적어도 하나의 데이터를 포함할 수 있다. 다른 예로, 제4 데이터는 이미지 데이터일 수 있다. 이 경우 프로세서(130)는 이미지 데이터에 포함된 동적 객체의 크기에 기초하여 동적 객체의 속도를 산출할 수 있다.
일 예에 따른 프로세서(130)는 동적 객체를 추적 주행함에 있어 동적 객체와 같은 속도로 전자 장치(100)가 주행하도록 구동부(120)를 제어할 수 있다. 구체적으로, 프로세서(130)는 동적 객체가 전자 장치(100)보다 빠르게 이동하고 있는 것으로 식별되면 전자 장치(100)의 속도를 증가시키도록 구동부(120)를 제어하며, 동적 객체가 전자 장치(100)보다 느리게 이동하고 있는 것으로 식별되면 전자 장치(100)의 속도를 감소시키도록 구동부(120)를 제어할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(130)는 동적 객체를 회피 주행하는 동안 센서(110)로부터 획득된 제5 데이터에 기초하여 동적 객체와의 거리가 임계 거리 미만으로 식별되면 회피 주행을 중지하도록 구동부(120)를 제어할 수 있다.
여기서 제5 데이터는 거리 데이터 또는 이미지 데이터 중 적어도 하나를 포함할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(130)는 동적 객체의 회피 주행 시 전자 장치(100)의 속도가 증가되도록 구동부(120)를 제어할 수 있다. 구체적으로, 프로세서(130)는 회피 주행 도중 동적 객체의 속도가 증가하더라도 전자 장치(100)와 추돌하지 않도록 전자 장치(100)의 속도를 증가시킬 수 있다.
본 개시의 일 실시 예에 따른 프로세서(130)는 전자 장치(100)의 주행 경로로부터 임계 거리 내에서 동적 객체의 후면이 식별되면 센서(110)로부터 획득된 제2 데이터에 기초하여 동적 객체와의 제1 거리를 식별할 수 있다. 즉, 일 예에 따른 프로세서(130)는 전자 장치(100)의 주행 영역 내에 동적 객체가 위치하는 경우에만 전자 장치(100)와 동적 객체 사이의 거리를 식별할 수 있다. 이를 위해 센서(110)는 전자 장치(100)의 주행 영역만을 감지하도록 제어될 수 있다.
본 개시의 일 실시 예에 따른 프로세서(130)는 제1 데이터에 기초하여 동적 객체의 전면이 식별되면 동적 객체와의 거리와 관계 없이 동적 객체를 회피 주행하도록 구동부(120)를 제어할 수 있다.
본 개시의 일 실시 예에 따른 센서(110)는 카메라 및 라이다 센서를 포함하며, 일 예에 따른 프로세서(130)는 카메라로부터 획득된 제1 데이터에 기초하여 동적 객체의 후면이 식별되면 라이다 센서로부터 획득된 제2 데이터에 기초하여 동적 객체와의 제1 거리를 식별할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(130)는 카메라로부터 획득된 복수의 제1 데이터를 신경망 모델에 입력하여 제1 데이터에 동적 객체의 후면이 포함되는지 여부에 대한 정보를 획득할 수 있다. 여기서 신경망 모델은 복수의 입력 이미지로부터 동적 객체의 후면을 식별하도록 학습된 모델일 수 있다.
도 3a 및 3b는 본 개시의 일 실시 예에 따른 동적 객체의 이동 특성에 대응되는 전자 장치의 주행 방법을 설명하기 위한 도면이다.
도 3a를 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(100)는 센서(110)를 통해 획득된 이미지 데이터에 기초하여 사용자(200)의 후면이 식별되면 센서(110)에 의해 획득된 거리 데이터에 기초하여 사용자(200)와의 제1 거리 d1(310)을 식별할 수 있다. 이후 전자 장치(100)와 사용자(200)는 같은 방향으로 이동할 수 있으며 전자 장치(100)는 사용자(200)보다 빠른 속도로 이동할 수 있다. 일 예에 따른 전자 장치(100)는 d1(310) 식별 후 임계 시간이 경과한 시점에서 센서(110)로부터 획득한 거리 데이터에 기초하여 사용자(200)와의 제2 거리 d2(320)를 식별할 수 있다.
일 예에 따른 전자 장치(100)는 (d1 - d2)값이 임계 값 이상의 양수인 경우 사용자(200)를 회피 주행할 수 있다. 반면 (d1 - d2)값이 임계 값 이하의 양수인 경우 사용자(200)를 추적 주행할 수 있다.
도 3b를 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(100)는 사용자(200)보다 느린 속도로 이동할 수 있다. 일 예에 따른 전자 장치(100)는 d1(310) 식별 후 임계 시간이 경과한 시점에서 센서(110)로부터 획득한 거리 데이터에 기초하여 사용자(200)와의 제2 거리 d2(330)를 식별할 수 있다.
일 예에 따른 전자 장치(100)는 (d1 - d2)값이 음수인 경우 사용자(200)를 추적 주행할 수 있다. 이 경우 전자 장치(100)는 센서(110)를 통해 획득된 거리 데이터 및 속도 데이터에 기초하여 추적 주행 시 전자 장치(100)의 속도를 조정할 수 있다.
도 4a 및 4b는 본 개시의 일 실시 예에 따른 전자 장치의 다양한 회피 주행 방법을 설명하기 위한 도면이다.
일 예에 따른 전자 장치(100)는 회피 주행 과정에서 사용자(200)와 임계 거리 이상의 거리를 유지한 채로 이동할 수 있다. 구체적으로, 전자 장치(100)는 사용자(200)를 회피 주행하는 동안 센서(110)로부터 획득된 거리 데이터에 기초하여 사용자(200)와의 거리가 임계 거리 미만으로 식별되면 회피 주행을 중지할 수 있다.
도 4a를 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(100)는 최초 위치(410)에서 사용자(200)에 대한 회피 주행(32)을 시작할 수 있다. 전자 장치(100)가 회피 주행하는 과정에서 사용자(200)는 제1 위치(210)에서 제2 위치(220)로 이동할 수 있다. 이 경우 사용자(200)는 일정한 속도로 이동할 수 있다.
일 예에 따른 전자 장치(100)가 최초 위치(410)에서 최종 위치(420)까지 사용자(200)를 회피 주행하는 동안 전자 장치(100)와 사용자(200)와의 거리가 임계 거리 이상을 유지하기 때문에 전자 장치(100)는 회피 주행(32)을 계속할 수 있다.
도 4b를 참조하면 일 예에 따른 전자 장치(100)가 회피 주행하는 과정에서 사용자(200)는 제1 위치(210)에서 제3 위치(230)로 이동할 수 있다. 이 경우 사용자(200)는 이전보다 빠른 속도로 이동할 수 있다.
일 예에 따른 전자 장치(100)가 중간 위치(430)에 도달하는 시점에 전자 장치(100)와 사용자(200)와의 거리가 임계 거리 미만으로 감소할 경우, 전자 장치(100)는 회피 주행(32)을 중지할 수 있다. 여기서 전자 장치(100)는 중간 위치(430)에서 정지하거나 회피 주행(32)이 시작 되기 전 위치인 최초 위치(410)로 복귀할 수 있다.
도 4b에서 설명한 바와 같이 일 예에 따른 전자 장치(100)는 회피 주행(32) 과정에서 사용자(200)의 속도가 증가하는 경우를 대비하여 회피 주행(32) 시 가속 주행할 수 있다. 이에 따라 전자 장치(100)는 회피 주행(32) 과정에서 사용자(200)가 이전보다 빠른 속도로 이동하더라도 회피 주행(32)을 계속할 수 있게 된다.
도 5는 본 개시의 일 실시 예에 따른 전자 장치의 단순 회피 주행 방법을 설명하기 위한 도면이다.
본 개시의 일 실시 예에 따른 전자 장치(100)는 주행 영역(11) 상에서 사용자(200)를 식별할 수 있다. 일 예에 따른 전자 장치(100)는 센서(110)로부터 획득된 제1 데이터에 기초하여 사용자(200)의 전면이 식별되면 전자 장치(100)와 사용자(200)와의 거리에 관계 없이 사용자(200)를 회피 주행(32)할 수 있다. 구체적으로, 사용자(200)의 전면이 식별되는 경우 전자 장치(100)와 사용자(200) 사이의 거리는 지속적으로 감소할 것이므로 추돌을 방지하기 위해 전자 장치(100)는 거리 식별 프로세스를 거치지 않고 사용자(200)를 회피 주행(32)할 수 있다.
일 예에 따른 제1 데이터는 복수의 프레임으로 이루어진 이미지 데이터일 수 있으며, 일 예에 따른 전자 장치(100)는 기설정된 개수의 프레임으로 이루어진 이미지 데이터를 일 단위로 하여 복수의 제1 데이터를 획득하여 이로부터 사용자(200)의 전면 또는 후면을 식별할 수도 있다.
이상에서는 전자 장치(100)가 사용자(200)의 후면을 식별한 후 거리를 식별하는 것으로 설명하였으나, 전자 장치(100)는 사용자(200)와의 거리를 사용자(200)의 후면보다 우선하여 식별할 수도 있다. 이 경우 식별된 거리에 기초하여 사용자(200)를 추적 주행하는 도중 사용자(200)의 전면이 식별되면 전자 장치(100)는 추적 주행을 중지하고 사용자(200)를 회피 주행(32)할 수 있다.
도 6은 본 개시의 일 실시 예에 따른 신경망 모델을 설명하기 위한 도면이다.
일 예에 따라 프로세서(130)는 신경망 모델(600)을 이용하여 센서(110)를 통해 획득된 복수의 제1 데이터(610)에 동적 객체의 후면이 포함되는지 여부에 대한 정보(620)를 획득할 수 있다. 여기서 신경망 모델(600)은 복수의 입력 이미지로부터 동적 객체의 후면을 식별하도록 학습된 모델일 수 있으며, 신경망 모델(600)은 전자 장치(100)의 구성인 메모리(미도시)에 저장되거나 외부 서버(미도시)로부터 다운로드 받을 수도 있다. 이 경우, 신경망 모델(600)은 주기적으로 또는 이벤트 발생시 업데이트될 수 있다.
또한 신경망 모델(600)은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 신경망 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 신경망 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 인공 신경망은 심층 신경망(DNN: Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.
도 7은 본 개시의 일 실시 예에 따른 전자 장치의 기능적 구성을 구체적으로 설명하기 위한 블록도이다.
도 7에 따르면, 전자 장치(100')는 카메라(111), 거리 센서(112), 속도 센서(113), 구동부(120), 프로세서(130), 메모리(140) 및 통신 인터페이스(150)를 포함한다. 도 7에 도시된 구성 중 도 2에 도시된 구성과 중복되는 구성에 대해서는 자세한 설명을 생략하도록 한다.
속도 센서(113)는 전자 장치(100')의 속도를 측정하는 장치이다. 속도 센서(113)는 구동부(120)에 부착되어 구동부의 동작에 기초하여 전자 장치(100')의 속도를 측정할 수도 있고, GPS(Golbal Positioning System) 및 INS(Inertial navigation system)과 같은 항법 장치로 구현되어 전자 장치(100')의 속도를 측정할 수도 있다.
메모리(140)는 본 개시의 다양한 실시 예를 위해 필요한 데이터를 저장할 수 있다. 메모리(140)는 데이터 저장 용도에 따라 전자 장치(100')에 임베디드된 메모리 형태로 구현되거나, 전자 장치(100')에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 전자 장치(100')의 구동을 위한 데이터의 경우 전자 장치(100)에 임베디드된 메모리에 저장되고, 전자 장치(100')의 확장 기능을 위한 데이터의 경우 전자 장치(100')에 탈부착이 가능한 메모리에 저장될 수 있다. 한편, 전자 장치(100')에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현될 수 있다. 또한, 전자 장치(100')에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
또한 일 예에 따른 메모리(140)는 신경망 모델을 저장할 수도 있다.
통신 인터페이스(150)는 다양한 타입의 데이터를 입력 및 출력할 수 있다. 예를 들어 통신 인터페이스(150)는 AP 기반의 Wi-Fi(와이파이, Wireless LAN 네트워크), 블루투스(Bluetooth), 지그비(Zigbee), 유/무선 LAN(Local Area Network), WAN(Wide Area Network), 이더넷(Ethernet), IEEE 1394, HDMI(High-Definition Multimedia Interface), USB(Universal Serial Bus), MHL(Mobile High-Definition Link), AES/EBU(Audio Engineering Society/ European Broadcasting Union), 옵티컬(Optical), 코액셜(Coaxial) 등과 같은 통신 방식을 통해 외부 장치(예를 들어, 소스 장치), 외부 저장 매체(예를 들어, USB 메모리), 외부 서버(예를 들어 웹 하드)와 다양한 타입의 데이터를 송수신할 수 있다.
도 8은 본 개시의 일 실시 예에 따른 제어 방법을 설명하기 위한 흐름도이다.
본 개시의 일 실시 예에 따른 전자 장치의 제어 방법은 센서로부터 획득된 제1 데이터에 기초하여 동적 객체의 후면이 식별되면 센서로부터 획득된 제2 데이터에 기초하여 동적 객체와의 제1 거리를 식별한다(S810). 이어서 임계 시간 이후에 센서로부터 획득된 제3 데이터에 기초하여 동적 객체와의 제2 거리를 식별한다(S820). 마지막으로 제2 거리가 제1 거리보다 임계 거리 이상 감소하면 동적 객체를 회피 주행한다(S830).
여기서, 제2 거리가 제1 거리보다 임계 거리 미만으로 감소하거나 제2 거리가 제1 거리보다 증가하면, 동적 객체를 추적 주행하는 단계를 더 포함할 수 있다.
여기서, 동적 객체를 추적 주행하는 단계는 동적 객체를 추적하는 동안 센서로부터 획득된 복수의 제4 데이터에 기초하여 동적 객체의 속도를 산출하고, 산출된 속도에 기초하여 전자 장치의 속도를 조정할 수 있다.
한편, 동적 객체를 회피 주행하는 동안 센서로부터 획득된 제5 데이터에 기초하여 동적 객체와의 거리가 임계 거리 미만으로 식별되면 회피 주행을 중지하는 단계를 더 포함할 수 있다.
여기서, 현 위치에서 정지하거나, 회피 주행이 시작되기 전 위치로 복귀하는 단계를 더 포함할 수 있다.
또한, 동적 객체의 회피 주행 시 전자 장치의 속도를 증가시키는 단계를 더 포함할 수 있다.
또한, 동적 객체와의 제1 거리를 식별하는 단계(S810)는 전자 장치의 주행 경로로부터 임계 거리 내에서 동적 객체의 후면이 식별되면 센서로부터 획득된 제2 데이터에 기초하여 동적 객체와의 제1 거리를 식별할 수 있다.
또한, 제1 데이터에 기초하여 동적 객체의 전면이 식별되면 동적 객체와의 거리와 관계없이 동적 객체를 회피 주행하는 단계를 더 포함할 수 있다.
또한, 동적 객체와의 제1 거리를 식별하는 단계(S810)는 카메라로부터 획득된 제1 데이터에 기초하여 동적 객체의 후면이 식별되면 라이다 센서로부터 획득된 제2 데이터에 기초하여 동적 객체와의 제1 거리를 식별할 수 있다.
여기서, 카메라로부터 획득된 복수의 제1 데이터를 신경망 모델에 입력하여 제1 데이터에 동적 객체의 후면이 포함되는지 여부에 대한 정보를 획득하는 단계를 더 포함할 수 있으며, 신경망 모델은 복수의 입력 이미지로부터 동적 객체의 후면을 식별하도록 학습된 모델일 수 있다.
도 9는 본 개시의 일 실시 예에 따른 거리에 기초한 주행 방법 결정을 설명하기 위한 도면이다.
도 9에서는 전자 장치가 로봇으로 구현되는 것을 전제로 설명하도록 한다.
본 개시의 일 실시 예에 따른 주행 방법은 주행 경로를 설정한다(S910). 이어서 주행 경로 내에서 사용자를 인식한다(S920). 여기서, 주행 경로 내라 함은 주행 경로로부터 임계 거리 내의 영역을 의미할 수 있다.
이어서 인식된 사용자의 후면이 식별되었는지 판단한다(S930). 사용자의 후면이 식별된 경우(S930: Y) 사용자와 로봇 사이의 거리를 식별한다(S940). 이어서 식별된 거리가 임계 거리 미만인지를 판단한다(S950). 식별된 거리가 임계 거리 이상인 경우(S950: N) 사용자 추적 주행을 결정하고(S960) 추적 주행에 대응되는 속도로 로봇의 속도를 조정한다(S980).
만일 식별된 거리가 임계 거리 미만이라면(S950: Y) 사용자 회피 주행을 결정하고(S970) 회피 주행에 대응되는 속도로 로봇의 속도를 조정한다(S980).
만일 사용자의 전면이 식별된다면(S930: N) 사용자 회피 주행을 결정하고(S970) 회피 주행에 대응되는 속도로 로봇의 속도를 조정한다(S980).
도 10은 본 개시의 일 실시 예에 따른 속도에 기초한 주행 방법 결정을 설명하기 위한 도면이다.
도 10에서는 전자 장치가 로봇으로 구현되는 것을 전제로 설명하도록 한다.
본 개시의 일 실시 예에 따른 주행 방법은 주행 경로를 설정한다(S1010). 이어서 주행 경로 내에서 사용자를 인식한다(S1020).
이어서 인식된 사용자의 후면이 식별되었는지 판단한다(S1030). 사용자의 후면이 식별된 경우(S1030: Y) 사용자의 속도를 식별한다(S1040). 이어서 식별된 속도가 임계 거리 미만인지를 판단한다(S1050). 식별된 속도가 임계 속도 이상인 경우(S1050: N) 사용자 추적 주행을 결정하고(S1060) 추적 주행에 대응되는 속도로 로봇의 속도를 조정한다(S1080).
만일 식별된 속도가 임계 속도 미만이라면(S1050: Y) 사용자 회피 주행을 결정하고(S1070) 회피 주행에 대응되는 속도로 로봇의 속도를 조정한다(S1080).
만일 사용자의 전면이 식별된다면(S1030: N) 사용자 회피 주행을 결정하고(S1070) 회피 주행에 대응되는 속도로 로봇의 속도를 조정한다(S1080).
한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 어플리케이션 형태로 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들은 전자 장치에 구비된 임베디드 서버 또는 적어도 하나의 외부 서버를 통해 수행되는 것도 가능하다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들이 프로세서(130) 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 전자 장치(100)의 프로세싱 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium) 에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 전자 장치(100)에서의 처리 동작을 특정 기기가 수행하도록 한다.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해 되어져서는 안될 것이다.

Claims (15)

  1. 센서;
    구동부; 및
    상기 센서로부터 획득된 제1 데이터에 기초하여 동적 객체의 후면이 식별되면, 상기 센서로부터 획득된 제2 데이터에 기초하여 상기 동적 객체와의 제1 거리를 식별하고,
    임계 시간 이후에 상기 센서로부터 획득된 제3 데이터에 기초하여 상기 동적 객체와의 제2 거리를 식별하고,
    상기 제2 거리가 상기 제1 거리보다 임계 거리 이상 감소하면 상기 동적 객체를 회피 주행하도록 상기 구동부를 제어하는 프로세서;를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 제2 거리가 상기 제1 거리보다 상기 임계 거리 미만으로 감소하거나 상기 제2 거리가 상기 제1 거리보다 증가하면, 상기 동적 객체를 추적 주행하도록 상기 구동부를 제어하는, 전자 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 동적 객체를 추적하는 동안 상기 센서로부터 획득된 복수의 제4 데이터에 기초하여 상기 동적 객체의 속도를 산출하고, 상기 산출된 속도에 기초하여 상기 전자 장치의 속도를 조정하도록 상기 구동부를 제어하는, 전자 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 동적 객체를 회피 주행하는 동안 상기 센서로부터 획득된 제5 데이터에 기초하여 상기 동적 객체와의 거리가 임계 거리 미만으로 식별되면, 상기 회피 주행을 중지하도록 상기 구동부를 제어하는, 전자 장치.
  5. 제4항에 있어서,
    상기 프로세서는,
    현 위치에서 정지하거나, 상기 회피 주행이 시작되기 전 위치로 복귀하도록 상기 구동부를 제어하는, 전자 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 동적 객체의 회피 주행 시 상기 전자 장치의 속도가 증가되도록 상기 구동부를 제어하는, 전자 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 전자 장치의 주행 경로로부터 임계 거리 내에서 상기 동적 객체의 후면이 식별되면, 상기 센서로부터 획득된 제2 데이터에 기초하여 상기 동적 객체와의 제1 거리를 식별하는, 전자 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 데이터에 기초하여 상기 동적 객체의 전면이 식별되면 상기 동적 객체와의 거리와 관계없이 상기 동적 객체를 회피 주행하도록 상기 구동부를 제어하는, 전자 장치.
  9. 제1항에 있어서,
    상기 센서는, 카메라 및 라이다 센서를 포함하며,
    상기 프로세서는,
    상기 카메라로부터 획득된 상기 제1 데이터에 기초하여 상기 동적 객체의 후면이 식별되면, 상기 라이다 센서로부터 획득된 제2 데이터에 기초하여 상기 동적 객체와의 제1 거리를 식별하는 전자 장치.
  10. 제9항에 있어서,
    상기 프로세서는,
    상기 카메라로부터 획득된 복수의 제1 데이터를 신경망 모델에 입력하여 상기 제1 데이터에 상기 동적 객체의 후면이 포함되는지 여부에 대한 정보를 획득하고,
    상기 신경망 모델은,
    복수의 입력 이미지로부터 상기 동적 객체의 후면을 식별하도록 학습된, 전자 장치.
  11. 전자 장치의 제어 방법에 있어서,
    센서로부터 획득된 제1 데이터에 기초하여 동적 객체의 후면이 식별되면, 상기 센서로부터 획득된 제2 데이터에 기초하여 상기 동적 객체와의 제1 거리를 식별하는 단계;
    임계 시간 이후에 상기 센서로부터 획득된 제3 데이터에 기초하여 상기 동적 객체와의 제2 거리를 식별하는 단계; 및
    상기 제2 거리가 상기 제1 거리보다 임계 거리 이상 감소하면 상기 동적 객체를 회피 주행하는 단계;를 포함하는, 제어 방법.
  12. 제11항에 있어서,
    상기 제2 거리가 상기 제1 거리보다 상기 임계 거리 미만으로 감소하거나 상기 제2 거리가 상기 제1 거리보다 증가하면, 상기 동적 객체를 추적 주행하는 단계;를 더 포함하는 제어 방법.
  13. 제12항에 있어서,
    상기 동적 객체를 추적 주행하는 단계는,
    상기 동적 객체를 추적하는 동안 상기 센서로부터 획득된 복수의 제4 데이터에 기초하여 상기 동적 객체의 속도를 산출하고, 상기 산출된 속도에 기초하여 상기 전자 장치의 속도를 조정하는, 제어 방법.
  14. 제11항에 있어서,
    상기 동적 객체를 회피 주행하는 동안 상기 센서로부터 획득된 제5 데이터에 기초하여 상기 동적 객체와의 거리가 임계 거리 미만으로 식별되면, 상기 회피 주행을 중지하는 단계;를 더 포함하는, 제어 방법.
  15. 제14항에 있어서,
    현 위치에서 정지하거나, 상기 회피 주행이 시작되기 전 위치로 복귀하는 단계;를 더 포함하는, 제어 방법.
PCT/KR2021/013495 2020-11-11 2021-10-01 전자 장치 및 그 제어 방법 WO2022102967A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0150498 2020-11-11
KR1020200150498A KR20220064222A (ko) 2020-11-11 2020-11-11 전자 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
WO2022102967A1 true WO2022102967A1 (ko) 2022-05-19

Family

ID=81601416

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/013495 WO2022102967A1 (ko) 2020-11-11 2021-10-01 전자 장치 및 그 제어 방법

Country Status (2)

Country Link
KR (1) KR20220064222A (ko)
WO (1) WO2022102967A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000280784A (ja) * 1999-03-31 2000-10-10 Daihatsu Motor Co Ltd 追従走行装置及びその制御方法
KR100773184B1 (ko) * 2003-03-14 2007-11-02 마츠시다 덴코 가부시키가이샤 자율 이동로봇
KR20100027013A (ko) * 2008-08-29 2010-03-10 가부시키가이샤 히타치세이사쿠쇼 자율 이동 로봇 장치 및 이러한 장치에 있어서의 튀어나옴 충돌 회피 방법
JP2011059905A (ja) * 2009-09-08 2011-03-24 Hiroshima Univ ロボット、制御プログラム、及び記録媒体
US20200225659A1 (en) * 2017-07-07 2020-07-16 Zoox, Inc. Interactions between vehicle and teleoperations system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000280784A (ja) * 1999-03-31 2000-10-10 Daihatsu Motor Co Ltd 追従走行装置及びその制御方法
KR100773184B1 (ko) * 2003-03-14 2007-11-02 마츠시다 덴코 가부시키가이샤 자율 이동로봇
KR20100027013A (ko) * 2008-08-29 2010-03-10 가부시키가이샤 히타치세이사쿠쇼 자율 이동 로봇 장치 및 이러한 장치에 있어서의 튀어나옴 충돌 회피 방법
JP2011059905A (ja) * 2009-09-08 2011-03-24 Hiroshima Univ ロボット、制御プログラム、及び記録媒体
US20200225659A1 (en) * 2017-07-07 2020-07-16 Zoox, Inc. Interactions between vehicle and teleoperations system

Also Published As

Publication number Publication date
KR20220064222A (ko) 2022-05-18

Similar Documents

Publication Publication Date Title
WO2019143040A1 (en) Device and method for assisting with driving of vehicle
WO2017196062A1 (en) Distance sensor, and calibration method performed by device and system including the distance sensor
WO2020159076A1 (ko) 랜드마크 위치 추정 장치와 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체
WO2021002519A1 (ko) 차량용 광고 제공 장치 및 차량용 광고 제공 방법
WO2019117459A1 (ko) 컨텐츠를 표시하기 위한 장치 및 방법
WO2018169164A1 (ko) 차량의 주행을 보조하는 장치 및 방법
WO2020138950A1 (ko) 전자 장치 및 그 제어 방법
WO2021101045A1 (en) Electronic apparatus and method for controlling thereof
WO2015147371A1 (ko) 차량의 위치 보정 장치 및 방법과 이를 이용한 차량 위치 보정 시스템 및 무인 운행이 가능한 차량
WO2020138760A1 (ko) 전자 장치 및 그의 제어 방법
WO2022154153A1 (ko) 로봇 및 그 제어 방법
WO2022102967A1 (ko) 전자 장치 및 그 제어 방법
WO2021194109A1 (ko) 차량의 위치 정보 및 신호등 정보를 이용한 주행 안내 제공 방법, 장치 및 컴퓨터프로그램
WO2021201569A1 (ko) 강화학습 기반 신호 제어 장치 및 신호 제어 방법
WO2013022153A1 (en) Apparatus and method for detecting lane
WO2020230921A1 (ko) 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 방법 및 이를 적용한 식별장치와 로봇
WO2020204500A1 (en) Electronic apparatus and method for assisting with driving of vehicle
WO2021201425A1 (ko) 차량의 주행 안내 방법 및 전자 장치
WO2019240374A1 (ko) 대기열을 인식하는 이동식 로봇 및 이동식 로봇의 동작 방법
WO2022154242A1 (ko) 로봇 및 그 제어 방법
WO2022225135A1 (ko) 로봇, 로봇 및 사용자 단말을 포함하는 시스템 및 그 제어 방법
WO2022197042A1 (ko) 교차로 꼬리물기 인지 및 영상 저장 장치
WO2022014831A1 (ko) 오브젝트 검출 방법 및 장치
WO2015170794A1 (ko) 주변 차량 탐지 장치 및 방법
WO2019225925A1 (ko) 객체 위치 추정 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21892137

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21892137

Country of ref document: EP

Kind code of ref document: A1