WO2023038230A1 - 로봇 및 그것의 제어방법 - Google Patents

로봇 및 그것의 제어방법 Download PDF

Info

Publication number
WO2023038230A1
WO2023038230A1 PCT/KR2022/007417 KR2022007417W WO2023038230A1 WO 2023038230 A1 WO2023038230 A1 WO 2023038230A1 KR 2022007417 W KR2022007417 W KR 2022007417W WO 2023038230 A1 WO2023038230 A1 WO 2023038230A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
robot
space
control unit
pattern
Prior art date
Application number
PCT/KR2022/007417
Other languages
English (en)
French (fr)
Inventor
정순홍
김형석
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210121275A external-priority patent/KR20230038031A/ko
Priority claimed from KR1020210121274A external-priority patent/KR20230038030A/ko
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of WO2023038230A1 publication Critical patent/WO2023038230A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination

Definitions

  • the present invention relates to a robot that recognizes an object using lighting and a control method thereof.
  • lamps capable of emitting light to a desired location have been commercialized, technologies for moving a lamp to correspond to a moving direction or finding and illuminating a location where an object is located have been developed.
  • dynamic lighting may be implemented using headlamps.
  • the driving direction can be predicted to some extent by driving manipulation of the vehicle, and the position of the lighting can also be predicted.
  • the robot since the robot has a much higher degree of freedom for movement, the area to be covered with lights is wider than that of a vehicle.
  • Devices that require such object recognition may include terminals, vehicles, and robots.
  • Robots may be divided into mobile/portable robots and stationary robots according to whether or not they are movable. Again, the robot may be divided into a handheld robot and a vehicle mounted robot depending on whether the user can directly carry the robot.
  • robots are diversifying. For example, there are functions of data and voice communication, photographing and video recording through a camera, voice recording, music file reproduction through a speaker system, and outputting an image or video to a display unit.
  • Some robots have an electronic game play function added or a multimedia player function.
  • recent robots can receive multicast signals that provide visual content such as broadcasting and video or television programs.
  • robots diversify their functions, for example, they are in the form of multimedia players equipped with complex functions such as taking pictures or videos, playing music or video files, playing games, and receiving broadcasts. is being implemented
  • the present invention is to provide a robot capable of recognizing an object in an optimized way and a control method thereof.
  • the present invention is to provide a robot capable of securing an optimized object recognition rate by controlling lighting and a control method thereof.
  • a robot includes a light source unit including a plurality of light emitting devices, a sensing unit for sensing information related to a space in which the light source unit outputs light, and an object existing in the space through the sensing unit to be recognized. And a control unit for emitting light of the light source unit, wherein the control unit emits light from at least one of the plurality of light emitting elements so that a light pattern for recognizing the object becomes equal to or higher than a preset value is irradiated into the space. do.
  • the plurality of light emitting elements are formed to emit light into different spaces, respectively, and when a light emitting element among the plurality of light emitting elements is different, the light pattern of the light to be irradiated is different.
  • the sensing unit recognizes the object based on the light irradiated from the light source unit being reflected and received by the object, and when the light pattern of the light output from the light source unit changes, the recognition rate for recognizing the object changes. characterized by
  • a memory for storing space-related information and light pattern information in association with each other is included, and the control unit, based on the space-related information sensed by the sensing unit, determines the sensed space and the light pattern. It is characterized in that it determines whether related information exists in the memory.
  • control unit if information related to the sensed space exists in the memory, based on information on a light pattern linked to the information related to the sensed space, causes the plurality of light emitting elements to emit light. characterized by
  • control unit emits light from at least some of the plurality of light emitting elements so as to emit light with a light pattern corresponding to information on a light pattern linked to the information related to the sensed space.
  • control unit if information related to the sensed space does not exist in the memory, a light pattern that causes a recognition rate for recognizing the object to be equal to or greater than a preset value is irradiated to the space, the plurality of It is characterized in that at least a portion of the light emitting elements emits light at random to radiate a plurality of random light patterns to the space.
  • control unit based on a recognition rate for recognizing an object when light is irradiated with any light pattern among the plurality of random light patterns is greater than or equal to the preset value, the information related to the certain light pattern. It is characterized by storing in memory.
  • the information related to the certain light pattern may include information about a light emitting device that should emit light to generate the certain light pattern.
  • the information related to the certain light pattern may be stored in a memory in association with information related to the sensed space.
  • control unit may sense a motion of an object existing in the space through the sensing unit, and predict an area where the object will be located after a predetermined time based on the sensed motion.
  • control unit when the object is located in the predicted area, a light pattern that makes a recognition rate for recognizing the object equal to or greater than a preset value is radiated to the predicted area among the plurality of light emitting devices. It is characterized in that at least one emits light.
  • control unit increases the preset value when the robot is in a stationary state without motion, and decreases the preset value when the robot moves.
  • the controller uses the sensing unit to track an object existing in the space while radiating a light pattern that makes the recognition rate equal to or greater than a preset value, and when the object being tracked disappears, a new light pattern It is characterized by generating.
  • control unit when at least one of the light emitting devices for irradiating the light pattern is out of order, causes at least one of the light emitting devices adjacent to the malfunctioning light emitting device to emit light and emits a light pattern corresponding to the light pattern. , characterized in that for controlling the light emission of at least one of the adjacent light emitting elements.
  • a robot includes a light source unit including a plurality of light emitting elements, a sensing unit for sensing information related to a space in which the light source unit outputs light, and an object existing in the space through the sensing unit to be recognized. and a control unit for emitting light from the light source unit, wherein the control unit determines, when a plurality of objects exist in the space, whether types of objects existing in the space are the same, and based on a result of the determination, the first object It is characterized in that the light source unit is controlled to recognize an object existing in the space in a recognition mode or a second object recognition mode.
  • the controller when a plurality of objects existing in the space are of different types, the controller recognizes the object in a first object recognition mode, and when a plurality of objects existing in the space are of the same type, the controller recognizes the object in a first object recognition mode. 2 It is characterized in that the object is recognized in the object recognition mode.
  • the first object recognition mode is characterized in that a recognition rate of an object is extracted for each type and the object is recognized based on the recognition rate of the extracted object for each type.
  • control unit extracts recognition rates of objects of each type and controls the light source unit so that an average of the extracted recognition rates of objects of each type exceeds a threshold value of each type.
  • control unit upon entering the first object recognition mode, emits at least some of the plurality of light emitting elements to determine a light pattern such that an average of recognition rates of each type of object exceeds a threshold value for each type characterized by
  • the second object recognition mode may be a mode for recognizing objects based on a recognition rate for a plurality of objects of the same type.
  • control unit extracts recognition rates for each of a plurality of objects in the second object recognition mode, and controls the light source unit so that an average of the extracted recognition rates exceeds a threshold value.
  • the control unit when entering the second object recognition mode, emits light from at least some of the plurality of light emitting devices to determine a light pattern such that an average of recognition rates of the plurality of objects exceeds a threshold value. It is characterized by doing.
  • control unit may control the light source unit based on an object recognition rate of a type having the highest priority with respect to different types of objects in the first object recognition mode.
  • control unit may control the light source unit to irradiate a light pattern in which a recognition rate for an object having the highest priority exceeds a threshold value.
  • control unit may vary a threshold value of an object recognition rate based on types of a plurality of objects in the first object recognition mode.
  • control unit sets a threshold for recognizing the object as a first threshold, and when a preset type of object is included in the plurality of objects, the threshold is higher than the threshold. It is characterized by setting it as a threshold value of 2.
  • control unit controls the light source unit to irradiate a light pattern having an object recognition rate greater than the second threshold value.
  • the present invention can provide a new robot and its control method capable of maintaining an object recognition rate higher than a threshold value by utilizing lighting when recognizing an object.
  • object recognition can be performed in an optimized way by performing lighting control differently according to the type of object.
  • FIG. 1 is a block diagram for explaining a robot related to the present invention.
  • FIGS. 2A and 2B are conceptual diagrams for explaining a light source included in a robot related to the present invention.
  • 3A and 3B are conceptual diagrams for explaining a plurality of light emitting elements provided in the light source unit of the present invention.
  • FIG. 4 is a flowchart representatively showing the control method of the present invention.
  • 6a and 6b are conceptual diagrams for explaining the control method described in FIG. 4 .
  • FIG. 7 is a flowchart illustrating an object recognition method according to an embodiment of the present invention.
  • the description of the robot in the present invention includes all types of devices that move the body such as mobile terminals, vehicles, vacuum cleaners, etc., as well as all types of devices equipped with a function for recognizing objects (e.g., CCTVs, mobile cameras). , depth information measuring device, 3D camera, etc.)
  • the robot described herein includes a mobile phone, a smart phone, a laptop computer, a digital broadcasting robot, a PDA (personal digital assistants), a PMP (portable multimedia player), a navigation device, a slate PC (slate PC), A tablet PC, an ultrabook, a wearable device (eg, a smartwatch, a smart glass, a head mounted display (HMD)), and the like may be included.
  • a PDA personal digital assistants
  • PMP portable multimedia player
  • a navigation device e.g, a portable multimedia player
  • slate PC slate PC
  • a tablet PC an ultrabook
  • a wearable device eg, a smartwatch, a smart glass, a head mounted display (HMD)
  • HMD head mounted display
  • FIG. 1 is a block diagram for explaining a robot related to the present invention.
  • the robot 100 includes a wireless communication unit 110, an input unit 120, a sensing unit 140, an output unit 150, an interface unit 160, a memory 170, a control unit 180, and a power supply unit 190. etc. may be included.
  • the components shown in FIG. 1A are not essential to implement the robot, so the robot described herein may have more or fewer components than the components listed above.
  • the wireless communication unit 110 among the components is wireless communication between the robot 100 and the wireless communication system, between the robot 100 and another robot 100, or between the robot 100 and an external server. may include one or more modules that enable In addition, the wireless communication unit 110 may include one or more modules that connect the robot 100 to one or more networks.
  • the wireless communication unit 110 may include at least one of a broadcast reception module 111, a mobile communication module 112, a wireless Internet module 113, a short-distance communication module 114, and a location information module 115. .
  • the input unit 120 includes a camera 121 or video input unit for inputting a video signal, a microphone 122 for inputting an audio signal, or a user input unit 123 for receiving information from a user, for example , a touch key, a push key (mechanical key, etc.). Voice data or image data collected by the input unit 120 may be analyzed and processed as a user's control command.
  • the sensing unit 140 may include one or more sensors for sensing at least one of information within the robot, environment information surrounding the robot, and user information.
  • the sensing unit 140 may include a proximity sensor 141, an illumination sensor 142, a touch sensor, an acceleration sensor, a magnetic sensor, and gravity.
  • G-sensor gyroscope sensor
  • motion sensor motion sensor
  • RGB sensor infrared sensor
  • IR sensor infrared sensor
  • finger scan sensor ultrasonic sensor
  • an optical sensor eg, a camera (see 121)), a microphone (see 122), a battery gauge, an environmental sensor (eg, a barometer, a hygrometer, a thermometer, a radiation detection sensor, It may include at least one of a heat detection sensor, a gas detection sensor, etc.), a chemical sensor (eg, an electronic nose, a healthcare sensor, a biometric sensor, etc.).
  • the robot disclosed in this specification may combine and utilize information sensed by at least two or more of these sensors.
  • the output unit 150 is for generating an output related to sight, hearing, or touch, and includes at least one of a display unit 151, a sound output unit 152, a haptic module 153, and an optical output unit 154. can do.
  • the display unit 151 may implement a touch screen by forming a mutual layer structure or integrally with the touch sensor. Such a touch screen may function as a user input unit 123 providing an input interface between the robot 100 and the user and provide an output interface between the robot 100 and the user.
  • the interface unit 160 serves as a passage for various types of external devices connected to the robot 100 .
  • the interface unit 160 connects a device equipped with a wired/wireless headset port, an external charger port, a wired/wireless data port, a memory card port, and an identification module. It may include at least one of a port, an audio input/output (I/O) port, a video input/output (I/O) port, and an earphone port.
  • the robot 100 may perform appropriate control related to the connected external device.
  • the memory 170 stores data supporting various functions of the robot 100 .
  • the memory 170 may store a plurality of application programs (application programs or applications) driven by the robot 100, data for operation of the robot 100, and commands. At least some of these application programs may be downloaded from an external server through wireless communication. In addition, at least some of these application programs may exist on the robot 100 from the time of shipment for basic functions of the robot 100 (eg, incoming call, outgoing function, message reception, and outgoing function). Meanwhile, the application program may be stored in the memory 170, installed on the robot 100, and driven by the control unit 180 to perform the operation (or function) of the robot.
  • the controller 180 controls overall operations of the robot 100 in addition to operations related to the application program.
  • the control unit 180 may provide or process appropriate information or functions to the user by processing signals, data, information, etc. input or output through the components described above or by running an application program stored in the memory 170.
  • controller 180 may control at least some of the components discussed in conjunction with FIG. 1 in order to drive an application program stored in the memory 170 . Furthermore, the controller 180 may combine and operate at least two or more of the components included in the robot 100 to drive the application program.
  • the power supply unit 190 receives external power and internal power under the control of the controller 180 and supplies power to each component included in the robot 100 .
  • the power supply unit 190 includes a battery, and the battery may be a built-in battery or a replaceable battery.
  • At least some of the above components may operate in cooperation with each other to implement operation, control, or a control method of a robot according to various embodiments described below.
  • the operation, control, or control method of the robot may be implemented on the robot by driving at least one application program stored in the memory 170 .
  • the robot 100 related to the present invention may extract depth information of an image received through a camera 121 (see FIG. 1A).
  • the robot 100 may recognize an object existing around the robot using an image received through a camera.
  • An image received through the camera may be referred to as a preview image.
  • the preview image means an image received through a camera in real time.
  • the preview image may be changed based on the movement of the robot equipped with the camera 121 by an external force or the movement of the subject.
  • the depth information may be named a depth value, depth information, depth value, and the like.
  • the depth information may mean a distance (or distance value) between a subject corresponding to a pixel included in the image and a robot (more specifically, a camera).
  • the depth information of the specific pixel may be a specific value corresponding to n.
  • the specific value corresponding to n may be the n or a value converted by a preset algorithm.
  • the depth information may mean a value corresponding to a z-axis perpendicular to the x-axis and the y-axis, respectively.
  • the absolute value of the depth information may increase as the distance between the subject and the robot increases.
  • Such depth information can be utilized in various fields.
  • the depth information is used to photograph/generate a 3D stereoscopic image, or to generate 3D printing data used in a 3D printer, or the motion of an object (subject) around the robot can be used to detect
  • the robot related to the present invention may extract depth information of an image received through a camera in various ways.
  • the control unit 180 (see FIG. 1A ) extracts depth information using a stereo vision method for extracting depth information using at least two cameras and light emitting elements arranged to form a preset pattern.
  • Depth information is extracted using a structured light method that extracts depth information and a ToF (Time of Flight) method that extracts depth information based on the time it takes for light emitted from a light emitting device to reflect and return, or a combination thereof. can do.
  • ToF Time of Flight
  • the structured light method emits light to a subject by controlling a plurality of light emitting elements arranged to have a predetermined pattern, detects the light reflected from the subject, and returns the sensed light (or the detected light pattern). It is a method of extracting depth information based on
  • the control unit 180 of the robot related to the present invention controls a plurality of light emitting elements arranged to have a preset pattern to emit light to a subject. Thereafter, the controller 180 of the robot may detect (sens) the light reflected by the subject and returned through the camera 121 or the sensing unit 140 (see FIG. 1).
  • the controller 180 may extract depth information of an image received through the camera 121 based on the detection result. For example, the controller 180 compares the predetermined pattern with a pattern formed by reflected light or compares the time/intensity of light emitted and then reflected and returned to detect the camera 121. Depth information of an image received through the method may be extracted. To this end, the plurality of light emitting elements may be formed to emit light into a space corresponding to an image received through the camera 121 .
  • the preset pattern may be determined (set) by a user or may be predetermined when a robot product is manufactured. In addition, the preset pattern may be changed by a user's request or control of a controller.
  • the plurality of light emitting elements may emit infrared rays.
  • the light emitting device may be a laser diode that converts an electrical signal into an optical signal, and may be, for example, a vertical cavity surface emitting laser (VCSEL).
  • VCSEL vertical cavity surface emitting laser
  • the structured light method by using the structured light method, it is possible to extract depth information of an image through only one camera (infrared camera or 3D camera), and depth information can be extracted even when the subject has a single color. Further, accuracy of depth information may be improved by combining the structured light method and the stereo vision method using at least two cameras or by combining the structured light method and the ToF method.
  • FIGS. 3A and 3B are conceptual diagrams for explaining a plurality of light emitting devices included in a light source unit according to the present invention.
  • a light source unit 124 may be provided in the robot 100 related to the present invention.
  • the light source unit 124 may have the same configuration as the previously described flash 124 or a separate configuration.
  • reference numeral 124 will be used for the light source unit.
  • the light source unit 124 may include at least one light emitting device 125 .
  • a plurality of light emitting elements 125 may be provided in the light source unit 124, and the plurality of light emitting elements 125 may be arranged in various ways. Details related to the arrangement of the plurality of light emitting devices 125 will be described later with reference to FIGS. 3A and 3B.
  • the light source unit 124 may be disposed adjacent to the camera 121 .
  • the light source unit 124 may be disposed around the camera 121b as shown in FIG. 2A.
  • the light source unit 124 may be integrally formed with the camera 121b.
  • the plurality of light emitting devices 125 included in the light source unit 124 may be a VCSEL, which is one of infrared diodes.
  • Each light emitting element may emit infrared rays toward a subject.
  • emitting light from a light emitting device may mean emitting infrared rays from a vixel.
  • the light emitted from the light emitting device may be taken as meaning that light having a wavelength in a specific range is projected.
  • the camera 121b may be a 3D camera or an infrared camera used to extract depth information.
  • the camera 121b may include an infrared ray (IR) pass filter for passing infrared rays received from the outside and an image sensor capable of detecting infrared rays.
  • IR infrared ray
  • the image sensor may be implemented in the form of a Charge-Coupled Device (CCD) or Complementary Mental-Oxide Semiconductor (CMOS).
  • CCD Charge-Coupled Device
  • CMOS Complementary Mental-Oxide Semiconductor
  • the camera 121b may be used to recognize an object and may be included in the sensing unit 160 .
  • the camera 121b may detect infrared rays received from the outside, that is, infrared rays emitted from a light emitting element included in the light source unit to a subject and then reflected and returned.
  • the controller 180 of the robot related to the present invention may detect infrared rays through the sensing unit 140 (eg, an infrared sensor) described above.
  • the camera 121b may detect light having a specific wavelength.
  • the light source unit 124 may be configured to emit light toward a space corresponding to an image received through the camera 121b. Specifically, the plurality of light emitting elements 125 included in the light source unit 124 may emit light into a space corresponding to the image 300 received through the camera.
  • the space corresponding to the image 300 received through the camera may mean a space (field of view) captured by the camera among spaces other than the space occupied by the robot 100 (real space).
  • a space corresponding to an image received through the camera may be determined based on a view angle (view angle) of the camera.
  • a specific light emitting element among the plurality of light emitting elements may emit light into a space corresponding to a specific pixel(s) (partial image or part) of an image received through a camera.
  • the plurality of light emitting devices 125 included in the light source unit 124 of the present invention may be grouped into a plurality of groups.
  • Each of the plurality of groups may include at least two light emitting devices.
  • the controller 180 may control the plurality of light emitting devices 125 individually or in groups including at least two light emitting devices.
  • the plurality of light emitting devices may be grouped into groups having various shapes, and the shape of the group may be determined by a user setting or control of a controller.
  • a light emitting device included in a first group G1 among a plurality of groups G1 , G2 , ... included in the light source unit 124 is a camera 121b. It may be formed to emit light into a space corresponding to the first part R1 of the image 300 received through the image 300 .
  • the light emitting elements included in the second group G2 different from the first group G1 are transmitted through the camera 121b. It may be formed to emit light into a space corresponding to a second part R2 different from the first part R1 of the received image 300 .
  • an image 300 received through a camera may be output to the display unit 151 of the robot related to the present invention.
  • the image 300 may be an image corresponding to a space (field of view of a scene, subject) (S) captured by a camera.
  • the light source unit 124 of the robot related to the present invention may be formed to emit light into a space (S) corresponding to the image 300 .
  • the light source unit 124 may include a plurality of light emitting devices, and the plurality of light emitting devices may be grouped into a plurality of groups G1, G2, ....
  • the light emitting devices included in each group may emit light to spaces corresponding to different parts of the image 300 .
  • the light emitting device included in the first group G1 of the plurality of groups is formed to emit light into a space S1 corresponding to the first part R1 of the image 300
  • a light emitting device included in the second group G2 of the plurality of groups may emit light into a space S2 corresponding to the second portion R2 of the image 300 .
  • the light source unit 124 related to the present invention may further include a lens.
  • the lens may refract or diffuse the light emitted from the light source unit 124 .
  • the lens may be a single lens corresponding to the light source unit 124, a plurality of lenses formed to correspond to each of a plurality of groups included in the light source unit 124, or a plurality of lenses included in the light source unit 124. It may also be a plurality of lenses formed to correspond to each light emitting element.
  • the lens may be controlled to emit light emitted from the light source unit 124 to a space corresponding to an image received through a camera, under the control of the controller 180 .
  • the controller 180 controls the size of the light source unit 124 to the space S.
  • the lens may be controlled so that light is emitted correspondingly. To this end, the lens may be formed to change its curvature or move its position.
  • a plurality of light emitting devices included in the light source unit 124 related to the present invention may be arranged to form a preset pattern. Through this, in the present invention, depth information of an image received through a camera can be extracted using a structured light method.
  • the plurality of light emitting devices 125 may be arranged or controlled in various ways.
  • a plurality of light emitting elements may be arranged in a matrix form at predetermined intervals.
  • the controller 180 may emit light from only some of the plurality of light emitting elements so that a predetermined pattern is formed among the plurality of light emitting elements.
  • control unit 180 controls the light source unit 124 to emit light from only some of the light emitting elements 125a among the plurality of light emitting elements 125 arranged in a 4 by 4 shape to form a preset pattern Pa1.
  • the plurality of light emitting devices 125 may be grouped into a plurality of groups.
  • the light emitting devices included in the plurality of groups may be controlled to form different patterns.
  • the controller 180 causes the light emitting element to emit light to have a first pattern in a first group among a plurality of groups, and a second group different from the first pattern among the plurality of groups emits light.
  • the light emitting device may emit light to have two patterns.
  • a plurality of light emitting elements may be arranged to form a predetermined pattern in the light source unit 124 related to the present invention.
  • the plurality of light emitting devices may be arranged to form different patterns for each group.
  • light emitting elements included in a first group are arranged to form a first pattern Pa2, and light emitting elements included in a second group are arranged to form a second pattern Pa3;
  • the light emitting devices included in the third group may be arranged to form the third pattern Pa4.
  • the first to third patterns may be different from each other.
  • the present invention is not limited thereto, and all of the plurality of light emitting devices included in the light source unit 124 may be arranged or controlled to form a specific pattern. there is.
  • the light emitting elements included in the group formed to do so may be at least two light emitting elements formed (arranged) in a predetermined pattern.
  • a space corresponding to the specific part among a plurality of light emitting elements (or a plurality of groups) included in the light source unit 124 A light emitting element formed to emit light (or a light emitting element included in a group) may emit light.
  • the light emitting device configured to emit light into a space corresponding to the specific portion may be formed (arranged) in a predetermined pattern. Accordingly, the light emitted from the light emitting element formed in a predetermined pattern in the light source unit 124 may be projected into the space corresponding to the specific portion. Light projected into the space may be reflected and returned to the robot.
  • the object can be recognized based on the light reflected from the space and returned.
  • the robot of the present invention capable of having at least one of the components described above can recognize an object using an image received through a camera in an optimized way, and for this purpose, the light source unit 124 A plurality of included light emitting devices may be controlled in a group unit.
  • FIG. 4 is a flowchart representatively showing the control method of the present invention
  • FIGS. 5, 6a and 6b are conceptual diagrams for explaining the control method described in FIG. 4 .
  • a step of receiving an image through a camera proceeds (S410).
  • the image received through the camera may be output to the display unit 151 .
  • the camera may be activated based on a user request.
  • the camera may be activated based on the execution of an application related to the camera.
  • a light emitting element emitting light may emit light into a space corresponding to a part of a plurality of light emitting elements so as to be used for recognizing an object existing in a part of an image (S420).
  • a plurality of light emitting elements may be provided in the light source unit 124 provided in the robot of the present invention.
  • the plurality of light emitting elements may be formed to emit light into a space corresponding to an image received through the camera.
  • the controller 180 may select (set, designate) a part of the image 300 received through the camera.
  • the portion may be selected based on a user's request or may be selected based on satisfying a preset condition.
  • the part may mean, for example, a region in which an object to be recognized through image analysis exists.
  • the controller 180 displays the image 300 based on a point (region or portion) where a touch is applied to the image 300. You can choose a part.
  • the controller 180 may select a predetermined area among images received through a camera as the portion.
  • the preset area may refer to an area previously set by a user.
  • the controller 180 may select, as the part, an area having depth information within a preset range among images received through a camera.
  • the part includes at least one region including a region having depth information within the preset range among the plurality of regions. may be the area of
  • the part may be set or changed based on the image being captured or the robot moving by an external force.
  • the controller 180 may select an area where an object sensed through the sensing unit 140 exists as the portion.
  • the controller 180 when a portion 300a of the image 300 received through the camera is selected, displays the portion 300a of the plurality of light emitting elements provided in the light source unit 124.
  • the light emitting element 125a configured to emit light into the corresponding space Sa may emit light.
  • control unit 180 groups the plurality of light emitting devices included in the light source unit 124 into a plurality of groups, and emits light into a space Sa corresponding to the portion 300a among the plurality of groups.
  • the light emitting device 125a may be arranged to form a preset pattern, and light may be projected to form the preset pattern in the space Sa corresponding to the portion 300a.
  • the controller 180 may detect light reflected and returned from the space through a camera or a detector, and extract depth information of a part of the image based on the detection result.
  • the structured light method for extracting depth information using light arranged to form a preset pattern is a general technique, a detailed description thereof will be omitted.
  • a light emitting element (or group) provided in the light source unit, an image received through a camera, and a space corresponding to the image may have a mutually corresponding relationship.
  • the light source unit 124 related to the present invention includes a plurality of light emitting elements, and the plurality of light emitting elements may be grouped into a plurality of groups.
  • the control unit 180 of the robot related to the present invention when trying to recognize an object in a portion of the image 300 received through the camera, selects a group formed to emit light into a space corresponding to the portion among the plurality of groups.
  • the included light emitting device may emit light.
  • the controller 180 when extracting the depth information of the first part of the image 300, the controller 180 is included in the first group formed to emit light to a space corresponding to the first part among the plurality of groups.
  • the light emitting element can emit light.
  • the controller 180 when extracting depth information of a second part different from the first part of the image 300, the controller 180 is formed to emit light to a space corresponding to the second part among the plurality of groups.
  • the light emitting elements included in Group 2 can emit light.
  • the image 300 received through the camera 121 may be divided (segmented) into a plurality of areas.
  • the plurality of regions may correspond to a plurality of groups in which a plurality of light emitting elements are grouped in the light source unit 124 .
  • the controller 180 When extracting the depth information of the first part (or the first area among a plurality of areas included in the image) 601a of the image 300, the controller 180 performs a plurality of pluralities included in the light source unit 124.
  • a light emitting element included in a group 601b formed to emit light into a space corresponding to the first portion 601a among the groups may emit light.
  • the controller 180 may emit light from a light emitting element included in a group 602b formed to emit light to a space corresponding to the second part 602a among a plurality of groups included in the light source unit 124 .
  • each of the plurality of light emitting elements grouped into a plurality of groups will be described as one light emitting element.
  • the light source unit 124 provided with a plurality of light emitting elements (12 light emitting elements) provided in an arrangement of 4 horizontally and 3 vertically.
  • each light emitting device may be formed to emit light into a corresponding space.
  • the light output from the light source unit is closely related to the recognition rate for recognizing an object.
  • a method of improving an object recognition rate when a robot recognizes an object will be described in more detail with reference to the accompanying drawings.
  • FIG. 7 is a flowchart for explaining an object recognition method according to an embodiment of the present invention, and FIGS. 8, 9, 10, 11, 12, 13, and 14 illustrate the method described in FIG. 7. It is a conceptual diagram and flow chart for
  • the robot control method includes sensing information related to a space in which the sensing unit 140 outputs light from the light source unit (S710).
  • the light source unit 124 may include a plurality of light emitting elements, and the plurality of light emitting elements may output light to different spaces (areas).
  • the sensing unit 140 may sense information related to a space in which light is output from the light source unit.
  • the sensing unit 140 may sense information about a space where the light output from the light source unit is irradiated.
  • the space may include not only a space where the light output from the light source unit 124 is irradiated, but also a space around the robot (eg, a space within a radius of a predetermined distance).
  • the sensing unit 140 may be formed to sense an object existing in the space or to sense the environment of the space.
  • the sensing unit 140 includes a camera 121, a motion sensor, an RGB sensor, an infrared sensor (IR sensor), an ultrasonic sensor, an optical sensor, a microphone ( microphone, 122), battery gauge, environmental sensor (e.g., barometer, hygrometer, thermometer, radiation sensor, heat sensor, gas sensor, etc.), chemical sensor (e.g., electronic nose, healthcare sensors, biometric sensors, etc.).
  • a camera 121 e.g., a motion sensor, an RGB sensor, an infrared sensor (IR sensor), an ultrasonic sensor, an optical sensor, a microphone ( microphone, 122), battery gauge, environmental sensor (e.g., barometer, hygrometer, thermometer, radiation sensor, heat sensor, gas sensor, etc.), chemical sensor (e.g., electronic nose, healthcare sensors, biometric sensors, etc.).
  • the sensing unit 140 may be implemented by combining at least two of a camera, a radar, a lidar, an ultrasonic sensor, and an infrared sensor included in the object detection device.
  • the sensing unit 140 may sense information related to the robot robot.
  • the information related to the robot may be at least one of robot information (or driving state of the robot) and surrounding information of the robot.
  • the robot information includes the robot's driving speed, the robot's weight, the number of passengers on the robot, the robot's braking force, the robot's maximum braking force, the robot's driving mode (whether autonomous driving mode or manual driving mode), and the robot's parking mode.
  • autonomous parking mode automatic parking mode, manual parking mode
  • whether a user is inside the robot and information related to the user (eg, whether the user is an authenticated user), and the like.
  • the surrounding information of the robot is, for example, the condition of the road surface on which the robot is driving (friction force), weather, the distance to the front (or rear) robot, the relative speed of the front (or rear) robot, and the case where the driving lane is a curve.
  • the surrounding information (or surrounding environment information) of the robot is external information of the robot (eg, ambient brightness, temperature, sun position, surrounding subject (human, other robot, sign, etc.) information, type of road surface being driven) , terrain feature, line information, driving lane information), information necessary for autonomous driving/autonomous parking/automatic parking/manual parking mode may be included.
  • the surrounding information of the robot includes the distance between an object (object) existing around the robot and the robot, the type of the object, a parking space in which the robot can park, an object for identifying a parking space (eg, a parking line, strings, tarrobots, walls, etc.) and the like may be further included.
  • information related to the robot is whether the mobile terminal is mounted on a cradle provided in the robot, whether the mobile terminal has entered (exists) in the robot, or whether the mobile terminal has entered (exists) within a certain distance from the robot. , whether or not the mobile terminal and the robot control device are communicatively connected.
  • Information related to the robot sensed through the sensing unit may be used in an autonomous driving mode for autonomous driving of the robot.
  • the control unit 180 may autonomously drive the robot using information related to the robot sensed through the sensing unit 140 .
  • the foregoing description can be equally/similarly applied even when the robot is a vehicle.
  • the present invention can be more suitably applied to a robot with a high degree of freedom of movement as well as a vehicle.
  • the robot can drive as long as it is an empty space and a space larger than the robot's volume, a large area around the robot, that is, a larger area than the vehicle, must be covered with lighting.
  • robots require a higher object recognition rate than vehicles.
  • the robot must ensure autonomous driving performance at night or in bad weather.
  • the lamp control method has been configured for human convenience, but in the autonomous driving era, it should be developed in the direction of maximizing the recognition rate in robots/robots rather than humans.
  • the present invention can provide a robot capable of irradiating an optimal lamp pattern or light pattern for recognizing an object in the robot and a control method thereof.
  • the sensing unit 140 may sense information related to a space in which light is output from the light source unit using at least one sensor described above.
  • the sensing unit 140 may sense environmental factors.
  • Environmental factors include illuminance (illuminance sensor), humidity (humidity sensor), temperature (temperature sensor), weather (snow/rain/fog/fine dust), time (0-24 hours) (information received through V2X), road It can include slope, road surface material (eg, haze on asphalt) (robot internal IMU sensor), road condition (reflection, etc.) (camera sensor), etc.
  • the sensing unit 140 may sense a robot state (eg, a robot state).
  • the robot state may include robot speed (robot internal speed sensor), robot motion (GPS, IMU sensor), and the like.
  • the sensing unit 140 may sense a surrounding element (eg, a surrounding robot element), and may include, for example, whether the surrounding robot emits light (information received through V2V).
  • a surrounding element eg, a surrounding robot element
  • the sensing unit 140 may sense a target object (object) element.
  • the target object elements may include the number of objects, the position of the object (x, y, z, deg), the type (class) of the object, the speed of the object (including dynamic and static classification), and the material of the object (reflection, etc.) can
  • the light source attribute element may be a lamp attribute element, and may include lamp brightness, lamp temperature, lamp angle (information received through a sensor in the lamp), and lamp color (lamp initial color temperature setting value).
  • the lamp may be a light source unit or a light emitting device described herein.
  • the sensing unit 140 detects and recognizes (recognizes) the approximate position of an object through an object recognition algorithm by utilizing information on the light source unit (eg, robot headlight information) and shape information of the object through the camera.
  • information on the light source unit eg, robot headlight information
  • shape information of the object through the camera e.g., shape information of the object through the camera.
  • controller 180 may detect the location of the object from various sensors such as LiDAR, Radar, and V2X.
  • controller 180 may predict the location of an object based on previous object detection information, detect the location of an object based on the prediction result, or locate a fixed object from an HD-map. .
  • control unit 180 may emit light from the light source unit 124 to recognize an object existing in the space through the sensing unit 140 (S720).
  • the controller 180 may control (emit light) the light source unit 124 to recognize an object existing in a space to which the light output from the light source unit 124 is irradiated.
  • the control unit 180 may emit light from at least one of the plurality of light emitting elements so that a light pattern that makes the recognition rate for recognizing an object equal to or higher than a preset value (or a reference value or a threshold value) is irradiated into the space ( S730).
  • the plurality of light emitting devices may be formed to emit light to different spaces, respectively.
  • the light pattern of the irradiated light may be different.
  • a first light pattern in which a light source at a position of (1, 1) and a light source at a position of (1, 3) are irradiated, a light source at a position of (2, 2) and a light source at a position of (3, 4) are irradiated.
  • the second light patterns may be different from each other.
  • the sensing unit 140 may recognize an object based on the fact that the light irradiated from the light source unit 124 is reflected and received by the object.
  • the recognition rate for recognizing the object may be different.
  • the controller 180 may control the light source unit 124 to irradiate a light pattern that has a maximum object recognition rate in the space-related information sensed by the current sensing unit.
  • the controller 180 may randomly (randomly) emit light from at least some of the plurality of light emitting elements so that the light pattern is changed for a predetermined period of time.
  • the controller 180 may extract an object recognition rate for each light pattern irradiated onto an object, and store the light pattern having the highest object recognition rate within a predetermined time in a memory in association with information related to a currently sensed space.
  • the controller 180 may receive an image through the sensing unit 140 (eg, the camera 124) (S810).
  • the controller 180 may detect a current environment around the device based on information sensed by the sensing unit 140 (eg, an image received through a camera) (S820). That is, the controller 180 may sense environment information around the robot through the sensing unit.
  • information sensed by the sensing unit 140 eg, an image received through a camera
  • the controller 180 may detect a position of an object existing in the vicinity (existing in a space where light output from the light source unit is irradiated) and set a region of interest (ROI) (S830).
  • ROI region of interest
  • the ROI may include an area where objects exist, and if a plurality of objects exist, it may include all areas where a plurality of objects exist or areas where a specific type of object exists.
  • the controller 180 may search for a lamp pattern capable of maximizing an object recognition rate in the current environment (S840).
  • the controller 180 may arbitrarily emit light from a plurality of light emitting devices included in the light source unit 124 in order to find a light pattern that maximizes the recognition rate of an object for a predetermined period of time. At this time, among the plurality of light emitting elements that emit light at random, the type/position/number of light emitting elements turned on/off may all be different.
  • the light patterns irradiated to the space are different from each other, and the recognition rate of the object existing in the space may be varied based on the light pattern being changed.
  • the controller 180 may determine a light pattern having a maximum object recognition rate while varying the light pattern for a predetermined time.
  • the controller 180 may store the object recognition result, the result of the current environment (space-related information) and the light pattern (or the lamp pattern for irradiating the light pattern) in the memory 170 .
  • control unit 180 when the information on the light pattern corresponding to the information related to the sensed space (ie, the current environment) is stored in the memory, the light pattern corresponding to the information on the light pattern stored in the memory to the object
  • the light source unit 124 may be controlled to be irradiated.
  • space-related information and light pattern information may be linked and stored.
  • the controller 180 may determine whether information related to the sensed space exists in the memory based on information related to the space sensed by the sensing unit 124 .
  • the controller 180 may emit light from the plurality of light emitting elements based on information on a light pattern linked to the information related to the sensed space.
  • control unit 180 may emit light from at least some of the plurality of light emitting devices so as to emit light in a light pattern corresponding to the information on the light pattern linked to the information related to the sensed space.
  • the control unit 180 controls the plurality of light emitting lights so that a light pattern that makes a recognition rate for recognizing the object equal to or higher than a preset value is radiated into the space.
  • a plurality of random light patterns may be radiated into the space by arbitrarily emitting light from at least a part of the elements.
  • the controller 180 stores information related to a certain light pattern in a memory, based on a recognition rate of recognizing an object being greater than or equal to the predetermined value when light is irradiated with a certain light pattern among the plurality of random light patterns.
  • the information related to the certain light pattern may include information about a light emitting device that needs to emit light to generate the certain light pattern.
  • information related to the certain light pattern may be stored in a memory in association with information related to the sensed space.
  • the controller 180 may sense the current surrounding state of the device using the sensing unit 140 (S910).
  • the controller 180 may search the memory for a light pattern corresponding to the current peripheral state of the device (S920).
  • the controller 180 may control the light source unit 124 to recognize an object using the searched light pattern (S930 and S940).
  • the controller 180 may randomly generate a light pattern using one or more light sources (light emitting devices) (S950).
  • the controller 180 may recognize the object by radiating a randomly generated light pattern to the object (S960).
  • the controller 180 may randomly generate another light pattern when the object recognition rate does not exceed a predetermined value (threshold) (S970). Thereafter, the controller 180 may repeatedly perform steps S950 to S970 when the object recognition rate does not exceed the preset value. Such repetitive performance may be performed for a predetermined period of time.
  • the controller 180 may store information on a corresponding light pattern in a memory when the object recognition rate is equal to or greater than a preset value (S970 and S980).
  • Information on the light pattern may be stored in a memory in association with a current surrounding state of the device (environmental information around the device).
  • controller 180 may use the recognition result to autonomously drive the robot or use information about the object in various ways (S990).
  • the controller 180 may search a DB (or cloud) for a lamp pattern suitable for the current environment, and use the searched lamp pattern if the search result exists.
  • a DB or cloud
  • the controller 180 may perform pattern random generation when there is no search result, and may repeatedly perform pattern random generation until a sufficient recognition rate is secured.
  • control unit 180 may update the pattern to a DB (or cloud) and derive a recognition result.
  • the controller 180 may sense the motion of an object existing in the space through the sensing unit 140 .
  • the controller 180 may predict an area where the object will be located after a predetermined time.
  • the controller 180 controls at least one of the plurality of light emitting devices so that the predicted area is irradiated with a light pattern that makes the recognition rate for recognizing the object equal to or greater than a preset value. can glow.
  • both the robot and surrounding objects are moving rapidly in road environments such as highways or automobile roads.
  • the controller 180 measures both the motion information of the robot and the motion information of the surrounding object, and then calculates the relative movement information of the surrounding object. can be calculated.
  • the controller 180 may pre-calculate a light irradiation area (or lamp irradiation area) to obtain a high recognition rate by predicting the motion of the surrounding objects.
  • the controller 180 recognizes the driving direction of the surrounding object, that is, whether it is in the forward direction like the robot or in the opposite direction, and can predict in advance the path on which the surrounding object is expected to move by referring to map information. .
  • control unit 180 predicts the position of the object after a certain time in advance based on road curvature information of the map and past speed information of the object, and covers the corresponding area so that the recognition rate does not drop. After creating a pattern (lamp pattern), it can be irradiated.
  • the controller 180 may measure motion information of the robot (robot) (S1010) and motion information of surrounding objects through the sensing unit (S1020).
  • control unit 180 predicts the location information of the surrounding object after a certain time (S1030), generates a light pattern to increase the recognition rate of the surrounding object including the predicted area, and then displays the generated light pattern.
  • a surrounding object may be irradiated (S1030, S1040, S1050).
  • control unit 180 may lower the weight of the robot state when generating the random pattern compared to normal driving, and consider the weight of the environmental factor as high as the weight of the robot state is lowered.
  • control unit 180 increases the weights of illuminance, weather, road slope, road surface, and road condition, and since the classification probability of the target object is higher at low speed than at high speed, the weight of the target object element when generating a random pattern can increase
  • the controller may increase a preset value serving as a reference for an object recognition rate when the robot is in a stationary state without motion, and decrease the preset value when the robot moves.
  • the controller 180 may receive (sens) environmental elements through a sensor (sensing unit) or vehicle to everything (V2X) communication (S1110).
  • the environmental factors may include illumination, humidity, temperature, weather, time, road slope, road surface, and road conditions.
  • the controller 180 may determine a target object element through a sensor (S1120). For example, the controller 180 may determine the number of objects, location, speed, material, and the like.
  • the controller 180 may generate a random light pattern for a similar environment (S1130).
  • the controller 180 may control the light source unit 124 to generate a corresponding light pattern when there is information on a light pattern corresponding to the environmental element and the target object element in the memory.
  • the control unit 180 may determine a robot state around the robot element through a sensor and V2V (Vehicle to Vehicle) communication, and may determine a lamp (light source unit) attribute element (S1140 and S1150).
  • V2V Vehicle to Vehicle
  • the controller 180 may adjust the brightness of a light pattern for a similar environment (S1160).
  • control unit 180 may find an optimal light pattern using more various random patterns because the change in the surroundings is not large. Accordingly, the controller 180 may verify all patterns or perform this until there is motion of the robot.
  • the controller 180 may receive an environmental element through a sensor or V2X communication (S1210) and determine a target object element through the sensor (S1220).
  • the controller 180 searches whether light patterns (ie, light patterns) corresponding to the environmental element and the target object element exist in the memory, and if not, may generate a random light pattern (S1230 and S1240). .
  • the controller 180 may recognize an object to which an arbitrary light pattern is irradiated, and determine an optimal light pattern having a recognition rate equal to or greater than a predetermined value (S1250 and 1260).
  • controller 180 may terminate the light pattern search process when verification is performed on all light patterns or motion of the robot is detected (S1270 and S1280).
  • the speed of the robot is low (30 kph or less), and environmental factors, surrounding robot factors, and target object factors have a greater influence on object recognition than the state of the robot.
  • control unit 180 may increase weights of related parameters because indoor illuminance, surrounding robot elements, and road conditions among environmental factors have a greater influence on object recognition.
  • the controller 180 may increase weights of related parameters because weather, outdoor illumination, humidity, temperature, surrounding robot elements, and road conditions among environmental factors have a greater influence on object recognition.
  • the controller 180 searches for an optimal light pattern (light pattern) using various random patterns until all patterns are verified or a parking area is found.
  • the controller 180 may receive an environmental element through a sensor or V2X communication and determine a target object element through the sensor (S1310 and S1320).
  • the controller 180 may increase the weights for the indoor illuminance, surrounding robot elements, and road surface conditions (S1330 and S1340).
  • the controller 180 may increase weights for weather, outdoor illumination, humidity, temperature, surrounding robot (robot) elements, and road conditions (S1330 and S1350).
  • control unit 180 may search for a light pattern, perform a random light pattern, and determine an optimal light pattern after recognizing an object (S1360, S1370, S1380, and S1390).
  • Determining the optimal light pattern in the present specification means determining a light pattern having an object recognition rate of at least a predetermined value (threshold) or selecting a light pattern having the highest object recognition rate among a plurality of random light patterns irradiated within a predetermined time. It can mean deciding.
  • the controller 180 may control a plurality of light emitting elements irradiated to the light source unit 124 so that a pattern of light irradiated to the object varies.
  • the three light patterns shown in FIG. 14 are one of light patterns randomly irradiated, and if the light patterns irradiated to an object are different, the object recognition rate may vary.
  • the controller 180 may randomly emit light from a plurality of light emitting devices to vary the light pattern so as to determine a light pattern having the highest object recognition rate.
  • the light source unit when a plurality of objects exist in a space where light output from the light source unit is irradiated, the light source unit may be controlled to have an optimized object recognition rate.
  • the controller 180 may determine whether the types of objects existing in the space are the same.
  • the controller 180 may control the light source unit to recognize an object existing in the space in the first object recognition mode or the second object recognition mode, based on the determination result.
  • the controller 180 may determine an object recognition rate of each object. .
  • the controller 180 may derive an optimal lamp pattern (light pattern) based on an average of object recognition rates of a plurality of (N) objects.
  • the controller 180 extracts the object recognition rate (class probability) of each object, and for each type of the plurality of objects An optimal lamp pattern (light pattern) can be derived based on the average of the object recognition rates.
  • the controller 180 recognizes the object in the first object recognition mode when the plurality of objects existing in the space are of different types, and when the plurality of objects existing in the space are of the same type, the controller 180 recognizes the object in the first object recognition mode. 2
  • the object can be recognized in the object recognition mode.
  • the first object recognition mode may be a mode for extracting a recognition rate of an object by type and recognizing an object based on the recognition rate of an object extracted by type.
  • the controller 180 may extract recognition rates of objects of each type and control the light source unit so that an average of the extracted object recognition rates of each type exceeds a threshold value of each type.
  • the controller 180 may emit light from at least some of the plurality of light emitting devices to determine a light pattern such that an average of object recognition rates for each type exceeds a threshold value for each type.
  • the first object recognition mode may be a selective method, and may be a mode for recognizing objects based on whether an object recognition rate for each type exceeds a threshold value for each type.
  • the second object recognition mode may be a mode for recognizing objects based on recognition rates for a plurality of objects of the same type.
  • the controller 180 may extract recognition rates for a plurality of objects, respectively, and control the light source unit so that an average of the extracted recognition rates exceeds a threshold value.
  • the controller 180 may emit light from at least some of the plurality of light emitting devices to determine a light pattern such that an average of recognition rates of the plurality of objects exceeds a threshold value.
  • the second object recognition mode may be a normalized method, and since it is a mode for recognizing a plurality of objects of a single type, it may be a mode for recognizing an object based on an average of a plurality of object recognition rates.
  • the controller 180 may recognize (recognize) an object through the sensing unit (S1702).
  • the control unit 180 senses information on the current environment (information related to space) through the sensing unit 140, and detects a light pattern for the current environment (ie, a light pattern corresponding to information related to the current space). information) may be determined (S1704).
  • the control unit 180 may control the light source unit 124 so that the light pattern corresponding to the information on the light pattern is irradiated to the object when there is information on the light pattern corresponding to the information related to the current space ( S1708).
  • control unit 180 may randomly select one or more light sources (light emitting elements) and radiate an arbitrary light pattern to the object. (S1706, S1708).
  • the controller 180 may calculate recognition rates for each of the plurality of objects (S1710).
  • the controller 180 determines whether the types of the plurality of objects existing in the space are the same (S1712), and recognizes the object in the first object recognition mode or the second object recognition mode according to whether or not the types are the same (S1712).
  • the controller 180 may recognize the object in a first object recognition mode (Selective Method) (S1714).
  • the controller 180 may determine whether an average of object recognition rates for each type exceeds a threshold value for each type.
  • the controller 180 may derive the corresponding light pattern as an optimal light pattern (lamp pattern) (S1718).
  • the controller 180 may link information on the corresponding light pattern with information related to the type of object and the current space and store it in a memory.
  • the controller 180 may recognize the object in the second object recognition mode (Normalized Method) (S1716).
  • the controller 180 may determine whether an average value of object recognition rates of the same type exceeds a threshold value.
  • the controller 180 may derive the corresponding light pattern as an optimal light pattern (lamp pattern) when the average of the object recognition rates of the same type exceeds the threshold value (S1718).
  • the controller 180 may store information on the corresponding light pattern in a memory in association with information related to the type of object and the current space.
  • the controller 180 may recognize an object through a sensor and search whether a lamp pattern DB for the current environment exists in a lamp pattern DB constructed by learning existing data.
  • the controller 180 may control the light source unit 124 to emit a light pattern corresponding to the lamp pattern DB.
  • the controller 180 may randomly select one or more light sources and control the light source unit 124 to emit an arbitrary light pattern.
  • the controller 180 calculates class probabilities (object recognition rates) for N objects based on image data according to irradiated light patterns.
  • the controller 180 classifies the types of N objects.
  • the controller 180 controls lamp brightness so as to generally improve object class probabilities for N objects.
  • the controller 180 selects a corresponding lamp pattern as an optimal lamp pattern when the average of the class probabilities of the N objects is greater than or equal to the threshold. (Normalized Method)
  • the controller 180 controls lamp brightness to selectively improve the object class probability according to the importance of the object types.
  • the controller 180 may assign a high class probability threshold when the object type is related to a person, such as a pedestrian, a bicyclist, or a cyclist.
  • the controller 180 selects a corresponding lamp pattern as an optimal lamp pattern when an average of class probabilities of each type of object is greater than or equal to a threshold value for each type.
  • the controller 180 may control the light source unit based on an object recognition rate of a type having the highest priority with respect to different types of objects.
  • the controller 180 may control the light source unit to irradiate a light pattern in which a recognition rate for an object having the highest priority exceeds a threshold value.
  • the controller 180 may vary the object recognition rate threshold based on the types of the plurality of objects.
  • the controller 180 sets the threshold for recognizing the object as a first threshold, and when the plurality of objects includes a preset type of object, the threshold is higher than the threshold. It can be set as the second threshold.
  • the controller 180 may control the light source unit to emit a light pattern having an object recognition rate greater than the second threshold value.
  • the controller 180 may set an ROI in a space where light is irradiated from the light source unit.
  • the controller 180 may generate a light pattern within the ROI.
  • the controller 180 sets an ROI around the detected object and emits a random light pattern around the ROI.
  • the controller 180 sets 3D ROIs based on the detected objects and emits a random light pattern around the set ROIs.
  • the controller 180 may set (adjust) an ROI so that light is not irradiated to the upper body when a person is included in a single object or a plurality of objects.
  • an ROI is set so that light is not directly irradiated to the robot or the person's upper body, and the light source unit 124 is set to radiate light to the set ROI. You can control it.
  • the controller 180 may intensify lamp brightness or emit high-beam after a robot or a person passes by.
  • the controller 180 may search (determine) a light pattern by analyzing information (input image) sensed based on previously learned data.
  • Data used for learning may include environmental factors, self-states of the object recognition device, surrounding robot elements, target object elements, lamp properties, and the like, which have been described above.
  • the controller 180 may input object information sensed through the sensing unit as an input and radiate an arbitrary light pattern to the object based on the learned data.
  • the input value may include the distance, number, and type of the object.
  • the controller 180 may learn information about the arbitrary light pattern when the average of object recognition rates is higher than the object recognition rate of previously learned light patterns when a random light pattern is radiated to the set ROI.
  • the controller 180 recognizes an object through the sensing unit, and if the object exists, irradiates an arbitrary light pattern to the object based on the current state and information about the type of object in the memory. It can be (S2210, S2220, S2230).
  • the controller 180 may store information about the random light pattern in the memory (S2240).
  • the controller 180 performs object recognition based on the currently irradiated light pattern or irradiates the learned light pattern. After controlling the light source unit to do so, object recognition may be performed (S2250).
  • the control unit 180 When generating a lamp pattern (in case of lamp pattern initialization), the control unit 180 recognizes the current environment around the robot by utilizing sensors in the device or external infrastructure (V2V, V2I), and in the Lamp Pattern DB or Lamp Pattern Cloud. It searches whether there is a lamp pattern for the current environment, and if there is no lamp pattern in the DB, one or more light sources can be randomly generated through lamp pattern generation.
  • the controller 180 may randomly generate one light source through lamp pattern generation (lamp pattern re- generation).
  • the control unit 180 performs lamp pattern generation until an object recognition rate (class probability) is greater than or equal to a set threshold. (lamp pattern generation iteration)
  • control unit 180 updates the lamp pattern to the DB (or Cloud).
  • the controller 180 re-performs lamp pattern generation when the class probability is less than or equal to the threshold and the object is in the camera FOV or projection area.
  • the controller 180 terminates lamp pattern generation when the class probability is less than or equal to the threshold and the object is out of the camera FOV or the lamp projection area.
  • the controller 180 may use a sensing unit to track an object existing in space and irradiate a light pattern that causes the recognition rate to be equal to or greater than a preset value. Thereafter, the controller 180 may generate a new light pattern when the object being tracked disappears.
  • the controller 180 may perform lamp pattern re-generation when the class probability decreases to a threshold or less.
  • control unit 180 re-performs lamp pattern generation when the class probability is less than or equal to Threshold and the object exists within the camera FOV.
  • control unit 180 may terminate lamp pattern generation when the class probability is less than or equal to Threshold and the object is out of the camera FOV.
  • control unit 180 may control light pattern generation in various ways according to whether the robot (robot) is moving and an object tracking result.
  • the controller 180 may determine whether the device (robot) is stopped through the sensing unit and, if the vehicle is stopped, increase the object recognition rate threshold (S2402 and S2404).
  • the controller 180 may lower the object recognition rate threshold (S2406).
  • the controller 180 may newly generate a light pattern when the object being tracked through the sensing unit disappears (S2408 and S2410).
  • the controller 180 lowers the Detection Threshold to prevent recognition from failing because blurring or the like may occur in the sensing input for an object due to the motion of the robot and the object recognition rate may decrease. lower the ratio In the opposite case, that is, when the robot is stopped, it is raised on the contrary.
  • the controller 180 creates a new light pattern suitable for a given environment since an existing light pattern generated according to the object cannot be used.
  • control unit 180 when at least one of the light emitting elements for irradiating the light pattern is broken, emits at least one of the light emitting elements adjacent to the broken light emitting element, so that the light pattern corresponding to the light pattern is irradiated, Light emission of at least one of the adjacent light emitting devices may be controlled.
  • the controller 180 may use another light source when one of the light emitting devices 2500 for irradiating a light pattern having an object recognition rate higher than a preset value fails.
  • the controller 180 may utilize another light source 2510 when the light source 2500 selected to emit the corresponding light pattern fails.
  • control unit 180 may select LEDs (adjacent light emitting elements) around the failed LED.
  • the control unit 180 may adjust the angle of the lamp within the selected peripheral LED in the direction of the failed LED lamp.
  • the control unit 180 adjusts the intensity of the lamp in the selected surrounding LED to be stronger than that of the existing LED.
  • the controller 180 may implement a lamp pattern similar to the optimal lamp pattern by irradiating the selected peripheral LEDs by adjusting the LED characteristics.
  • the present invention can perform optimal lamp brightness control by utilizing the surrounding LEDs even when the LED is out of order.
  • the present invention can provide a new robot and its control method capable of maintaining an object recognition rate higher than a threshold value by utilizing lighting when recognizing an object.
  • object recognition can be performed in an optimized way by performing lighting control differently according to the type of object.
  • the above-described present invention can be implemented as computer readable code on a medium on which a program is recorded.
  • the computer-readable medium includes all types of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable media include Hard Disk Drive (HDD), Solid State Disk (SSD), Silicon Disk Drive (SDD), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. , and also includes those implemented in the form of a carrier wave (eg, transmission over the Internet).
  • the computer may include a controller 180 of the robot. Accordingly, the above detailed description should not be construed as limiting in all respects and should be considered illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 로봇 및 그것의 제어방법을 제공한다. 본 발명의 일 실시 예에 따른 로봇은, 복수의 발광소자를 포함하는 광원부, 상기 광원부에서 광을 출력하는 공간과 관련된 정보를 센싱하는 센싱부 및 상기 센싱부를 통해 상기 공간에 존재하는 객체를 인식하도록 상기 광원부를 발광시키는 제어부를 포함하고, 상기 제어부는, 상기 객체를 인식하는 인식률이 기 설정된 값 이상이 되게 하는 광 패턴이 상기 공간에 조사되도록 상기 복수의 발광소자 중 적어도 하나를 발광시키는 것을 특징으로 한다.

Description

로봇 및 그것의 제어방법
본 발명은 조명을 활용하여 객체를 인식하는 로봇 및 그것의 제어방법에 관한 것이다.
최근에는 원하는 곳으로 빛을 비출 수 있는 램프가 상용화됨에 따라, 움직일 방향에 대응되도록 램프가 움직이거나, 객체가 있는 곳을 찾아 빛을 비추는 기술들이 개발되고 있다.
일 예로, 차량에서는 헤드램프를 이용하여 동적 조명을 구현할 수 있다. 차량의 경우 주행 가능한 방향이 차량의 주행조작에 의하여 어느 정도 예측이 가능하고, 조명의 위치도 예측이 가능하다.
한편, 로봇은 움직임에 대한 자유도가 훨씬 높기 때문에 조명으로 커버해야 하는 영역이 차량에 비해 광범위해진다.
게다가, 주변 조명 및 날씨 같은 환경변화를 동적으로 예측하기가 어렵기 때문에 모든 상황에 적합하게 원하는 세기의 조명을 비추기가 어렵다.
이와 같은 객체 인식을 필요로 하는 장치는, 단말기, 차량 및 로봇을 포함할 수 있다.
로봇은 이동 가능여부에 따라 로봇(mobile/portable robot) 및 고정 로봇(stationary robot)으로 나뉠 수 있다. 다시 로봇은 사용자의 직접 휴대 가능 여부에 따라 휴대(형) 로봇(handheld robot) 및 거치형 로봇(vehicle mounted robot)로 나뉠 수 있다.
로봇의 기능은 다양화 되고 있다. 예를 들면, 데이터와 음성통신, 카메라를 통한 사진촬영 및 비디오 촬영, 음성녹음, 스피커 시스템을 통한 음악파일 재생 그리고 디스플레이부에 이미지나 비디오를 출력하는 기능이 있다. 일부 로봇은 전자게임 플레이 기능이 추가되거나, 멀티미디어 플레이어 기능을 수행한다. 특히 최근의 로봇은 방송과 비디오나 텔레비전 프로그램과 같은 시각적 컨텐츠를 제공하는 멀티캐스트 신호를 수신할 수 있다.
이와 같은 로봇(robot)은 기능이 다양화됨에 따라 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송의 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다.
이러한 로봇의 기능 지지 및 증대를 위해, 로봇의 구조적인 부분 및/또는 소프트웨어적인 부분을 개량하는 것이 고려될 수 있다.
본 발명은 최적화된 방법으로 객체를 인식하는 것이 가능한 로봇 및 그것의 제어방법을 제공하는데 있다.
본 발명은 조명을 제어하여 최적화된 객체 인식률을 확보하는 것이 가능한 로봇 및 그것의 제어방법을 제공하는데 있다.
본 발명의 일 실시 예에 따른 로봇은, 복수의 발광소자를 포함하는 광원부, 상기 광원부에서 광을 출력하는 공간과 관련된 정보를 센싱하는 센싱부 및 상기 센싱부를 통해 상기 공간에 존재하는 객체를 인식하도록 상기 광원부를 발광시키는 제어부를 포함하고, 상기 제어부는, 상기 객체를 인식하는 인식률이 기 설정된 값 이상이 되게 하는 광 패턴이 상기 공간에 조사되도록 상기 복수의 발광소자 중 적어도 하나를 발광시키는 것을 특징으로 한다.
실시 예에 있어서, 상기 복수의 발광소자는, 각각 서로 다른 공간으로 빛을 조사하도록 형성되고, 상기 복수의 발광소자 중 발광하는 소자가 달라지면, 조사되는 광의 광 패턴이 달라지는 것을 특징으로 한다.
실시 예에 있어서, 상기 센싱부는, 상기 광원부에서 조사된 광이 객체에 반사되어 수신되는 것에 근거하여 상기 객체를 인식하며, 상기 광원부에서 출력된 광의 광 패턴이 달라지면, 상기 객체를 인식하는 인식률은 달라지는 것을 특징으로 한다.
실시 예에 있어서, 공간과 관련된 정보와 광 패턴에 대한 정보를 연계하여 저장하는 메모리를 더 포함하고, 상기 제어부는, 상기 센싱부에 의해 센싱된 공간과 관련된 정보에 근거하여, 상기 센싱된 공간과 관련된 정보가 상기 메모리에 존재하는지 결정하는 것을 특징으로 한다.
실시 예에 있어서, 상기 제어부는, 상기 메모리에 상기 센싱된 공간과 관련된 정보가 존재하면, 상기 센싱된 공간과 관련된 정보에 연계된 광 패턴에 대한 정보에 근거하여, 상기 복수의 발광소자를 발광시키는 것을 특징으로 한다.
실시 예에 있어서, 상기 제어부는, 상기 센싱된 공간과 관련된 정보에 연계된 광 패턴에 대한 정보에 대응되는 광 패턴으로 빛을 조사하도록, 상기 복수의 발광소자 중 적어도 일부를 발광시키는 것을 특징으로 한다.
실시 예에 있어서, 상기 제어부는, 상기 메모리에 상기 센싱된 공간과 관련된 정보가 미존재하면, 상기 객체를 인식하는 인식률이 기 설정된 값 이상이 되게 하는 광 패턴이 상기 공간에 조사되도록, 상기 복수의 발광소자 중 적어도 일부를 임의로 발광시켜 복수의 랜덤 광 패턴을 상기 공간에 조사하는 것을 특징으로 한다.
실시 예에 있어서, 상기 제어부는, 상기 복수의 랜덤 광 패턴 중 어느 광 패턴으로 빛을 조사했을 때 객체를 인식하는 인식률이 상기 기 설정된 값 이상이 되는 것에 근거하여, 상기 어느 광 패턴과 관련된 정보를 메모리에 저장하는 것을 특징으로 한다.
실시 예에 있어서, 상기 어느 광 패턴과 관련된 정보는, 상기 어느 광 패턴을 생성하기 위해 발광되어야 하는 발광소자에 대한 정보를 포함하는 것을 특징으로 한다.
실시 예에 있어서, 상기 어느 광 패턴과 관련된 정보는, 상기 센싱된 공간과 관련된 정보와 연계되어 메모리에 저장되는 것을 특징으로 한다.
실시 예에 있어서, 상기 제어부는, 상기 센싱부를 통해 상기 공간에 존재하는 객체의 움직임을 센싱하고, 상기 센싱된 움직임에 근거하여, 일정시간 이후 상기 객체가 위치할 영역을 예측하는 것을 특징으로 한다.
실시 예에 있어서, 상기 제어부는, 상기 예측된 영역에 상기 객체가 위치하였을 때 상기 객체를 인식하는 인식률이 기 설정된 값 이상이 되게 하는 광 패턴이 상기 예측된 영역에 조사되도록 상기 복수의 발광소자 중 적어도 하나를 발광시키는 것을 특징으로 한다.
실시 예에 있어서, 상기 제어부는, 로봇의 움직임이 없는 정지 상태인 경우, 상기 기 설정된 값을 증가시키고, 상기 로봇의 움직임이 있는 경우, 상기 기 설정된 값을 감소시키는 것을 특징으로 한다.
실시 예에 있어서, 상기 제어부는, 상기 센싱부를 이용하여 상기 공간에 존재하는 객체를 추적하면서 상기 인식률이 기 설정된 값 이상이 되게 하는 광 패턴을 조사하며, 상기 추적중인 객체가 사라지는 경우, 새로운 광 패턴을 생성하는 것을 특징으로 한다.
실시 예에 있어서, 상기 제어부는, 상기 광 패턴을 조사하기 위한 발광소자 중 적어도 하나가 고장난 경우, 고장난 발광소자에 인접한 발광소자 중 적어도 하나를 발광시키며, 상기 광 패턴에 대응되는 광 패턴이 조사되도록, 상기 인접한 발광소자 중 적어도 하나의 발광을 제어하는 것을 특징으로 한다.
본 발명의 다른 실시 예에 따른 로봇은, 복수의 발광소자를 포함하는 광원부, 상기 광원부에서 광을 출력하는 공간과 관련된 정보를 센싱하는 센싱부 및 상기 센싱부를 통해 상기 공간에 존재하는 객체를 인식하도록 상기 광원부를 발광시키는 제어부를 포함하고, 상기 제어부는, 상기 공간에 복수의 객체가 존재하는 경우, 상기 공간에 존재하는 객체의 종류가 동일한지 여부를 결정하고, 결정 결과에 근거하여, 제1 객체 인식 모드 또는 제2 객체 인식 모드로 상기 공간에 존재하는 객체를 인식하도록 상기 광원부를 제어하는 것을 특징으로 한다.
실시 예에 있어서, 상기 제어부는, 상기 공간에 존재하는 복수의 객체가 서로 다른 종류인 경우, 제1 객체 인식 모드로 객체를 인식하고, 상기 공간에 존재하는 복수의 객체가 동일한 종류인 경우, 제2 객체 인식 모드로 객체를 인식하는 것을 특징으로 한다.
실시 예에 있어서, 상기 제1 객체 인식 모드는, 종류별로 객체의 인식률을 추출하고, 종류별로 추출된 객체의 인식률에 근거하여 객체를 인식하는 모드인 것을 특징으로 한다.
실시 예에 있어서, 상기 제어부는, 상기 제1 객체 인식 모드에서, 종류별 객체의 인식률을 추출하고, 추출된 종류별 객체의 인식률의 평균이 종류별 임계값을 초과하도록 상기 광원부를 제어하는 것을 특징으로 한다.
실시 예에 있어서, 상기 제어부는, 상기 제1 객체 인식 모드에 진입하면, 상기 복수의 발광소자 중 적어도 일부를 발광하여, 종류별 객체의 인식률의 평균이 종류별 임계값을 초과하도록 하는 광 패턴을 결정하는 것을 특징으로 한다.
실시 예에 있어서, 상기 제2 객체 인식 모드는, 동일한 종류의 복수의 객체에 대한 인식률에 근거하여 객체를 인식하는 모드인 것을 특징으로 한다.
실시 예에 있어서, 상기 제어부는, 상기 제2 객체 인식 모드에서, 복수의 객체에 대하여 인식률을 각각 추출하고, 추출된 인식률의 평균이 임계값을 초과하도록 상기 광원부를 제어하는 것을 특징으로 한다.
실시 예에 있어서, 상기 제어부는, 상기 제2 객체 인식 모드에 진입하면, 상기 복수의 발광소자 중 적어도 일부를 발광하여, 상기 복수의 객체의 인식률의 평균이 임계값을 초과하도록 하는 광 패턴을 결정하는 것을 특징으로 한다.
실시 예에 있어서, 상기 제어부는, 상기 제1 객체 인식 모드에서, 서로 다른 종류의 객체에 대하여, 우선순위가 가장 높은 종류의 객체 인식률을 기준으로 상기 광원부를 제어하는 것을 특징으로 한다.
실시 예에 있어서, 상기 제어부는, 상기 우선순위가 가장 높은 종류의 객체에 대한 인식률이 임계값을 초과하는 광 패턴이 조사되도록 상기 광원부를 제어하는 것을 특징으로 한다.
실시 예에 있어서, 상기 제어부는, 상기 제1 객체 인식 모드에서, 복수의 객체에 대한 종류에 근거하여, 객체 인식률의 임계값을 가변하는 것을 특징으로 한다.
실시 예에 있어서, 상기 제어부는, 상기 객체를 인식하는 임계값을 제1 임계값으로 설정하고, 상기 복수의 객체에 기 설정된 종류의 객체가 포함된 경우, 상기 임계값을 상기 임계값 보다 높은 제2 임계값으로 설정하는 것을 특징으로 한다.
실시 예에 있어서, 상기 제어부는, 상기 복수의 객체에 상기 기 설정된 종류의 객체가 포함된 경우, 객체의 인식률이 상기 제2 임계값보다 큰 값을 가지는 광 패턴이 조사되도록 상기 광원부를 제어하는 것을 특징으로 한다.
본 발명에 따른 로봇 및 그 제어 방법의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 본 발명은 객체를 인식할 때 조명을 활용하여 객체 인식률을 임계값보다 이상이 되도록 유지할 수 있는 새로운 로봇 및 그것의 제어방법을 제공할 수 있다.
본 발명은 복수의 객체가 존재하는 경우에도 객체의 종류에 따라 조명 제어를 다르게 수행하여 최적화된 방법으로 객체 인식을 수행할 수 있다.
본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.
도 1은 본 발명과 관련된 로봇을 설명하기 위한 블록도이다.
도 2a 및 도 2b는 본 발명과 관련된 로봇에 구비된 광원부를 설명하기 위한 개념도이다.
도 3a 및 도 3b는 본 발명의 광원부에 구비된 복수의 발광소자를 설명하기 위한 개념도이다.
도 4는 본 발명의 제어방법을 대표적으로 나타내는 흐름도이다.
도 5, 도 6a 및 도 6b는 도 4에서 살펴본 제어방법을 설명하기 위한 개념도이다.
도 7은 본 발명의 일 실시 예에 따른 객체 인식 방법을 설명하기 위한 흐름도이다.
도 8, 도 9, 도 10, 도 11, 도 12, 도 13 및 도 14 은 도 7에서 살펴본 방법을 설명하기 위한 개념도 및 흐름도이다.
도 15, 도 16 및 도 17은 본 발명의 다른 실시 예에 따른 객체 인식 방법을 설명하기 위한 개념도 및 흐름도이다.
도 18, 도 19, 도 20, 도21, 도 22, 도 23, 도 24 및 도 25는 본 발명의 다양한 객체 인식 방법을 설명하기 위한 개념도 및 흐름도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명에서 로봇에 대하여 설명하는 내용은, 이동 단말기, 차량, 청소기 등 본체를 이동시키는 모든 종류의 장치뿐만 아니라, 객체를 인식하는 기능이 구비된 모든 종류의 장치(예를 들어, CCTV, 이동형 카메라, 깊이정보 측정 장치, 3D 카메라 등)에도 동일/유사하게 유추적용될 수 있다.
본 명세서에서 설명되는 로봇에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 로봇, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 로봇 (smartwatch), 글래스형 로봇 (smart glass), HMD(head mounted display)) 등이 포함될 수 있다.
그러나, 본 명세서에 기재된 실시 예에 따른 구성은 로봇에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등과 같은 고정 로봇에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.
도 1은 본 발명과 관련된 로봇을 설명하기 위한 블록도이다.
상기 로봇(100)은 무선 통신부(110), 입력부(120), 센싱부(140), 출력부(150), 인터페이스부(160), 메모리(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1a에 도시된 구성요소들은 로봇을 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 로봇은 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
보다 구체적으로, 상기 구성요소들 중 무선 통신부(110)는, 로봇(100)와 무선 통신 시스템 사이, 로봇(100)와 다른 로봇(100) 사이, 또는 로봇(100)와 외부서버 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 상기 무선 통신부(110)는, 로봇(100)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.
이러한 무선 통신부(110)는, 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114), 위치정보 모듈(115) 중 적어도 하나를 포함할 수 있다.
입력부(120)는, 영상 신호 입력을 위한 카메라(121) 또는 영상 입력부, 오디오 신호 입력을 위한 마이크로폰(microphone, 122), 또는 오디오 입력부, 사용자로부터 정보를 입력받기 위한 사용자 입력부(123, 예를 들어, 터치키(touch key), 푸시키(mechanical key) 등)를 포함할 수 있다. 입력부(120)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.
센싱부(140)는 로봇 내 정보, 로봇을 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱부(140)는 근접센서(141, proximity sensor), 조도 센서(142, illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라(121 참조)), 마이크로폰(microphone, 122 참조), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 명세서에 개시된 로봇은, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(151), 음향 출력부(152), 햅팁 모듈(153), 광 출력부(154) 중 적어도 하나를 포함할 수 있다. 디스플레이부(151)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 로봇(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(123)로써 기능함과 동시에, 로봇(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.
인터페이스부(160)는 로봇(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 인터페이스부(160)는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 중 적어도 하나를 포함할 수 있다. 로봇(100)에서는, 상기 인터페이스부(160)에 외부 기기가 연결되는 것에 대응하여, 연결된 외부 기기와 관련된 적절할 제어를 수행할 수 있다.
또한, 메모리(170)는 로봇(100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(170)는 로봇(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 로봇(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 로봇(100)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 로봇(100)상에 존재할 수 있다. 한편, 응용 프로그램은, 메모리(170)에 저장되고, 로봇(100) 상에 설치되어, 제어부(180)에 의하여 상기 로봇의 동작(또는 기능)을 수행하도록 구동될 수 있다.
제어부(180)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 로봇(100)의 전반적인 동작을 제어한다. 제어부(180)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(170)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
또한, 제어부(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, 도 1과 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(180)는 상기 응용 프로그램의 구동을 위하여, 로봇(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.
전원공급부(190)는 제어부(180)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 로봇(100)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원공급부(190)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체가능한 형태의 배터리가 될 수 있다.
상기 각 구성요소들 중 적어도 일부는, 이하에서 설명되는 다양한 실시 예들에 따른 로봇의 동작, 제어, 또는 제어방법을 구현하기 위하여 서로 협력하여 동작할 수 있다. 또한, 상기 로봇의 동작, 제어, 또는 제어방법은 상기 메모리(170)에 저장된 적어도 하나의 응용 프로그램의 구동에 의하여 로봇 상에서 구현될 수 있다.
이하에서는 이와 같이 구성된 로봇에서 구현될 수 있는 제어 방법과 관련된 실시 예들에 대해 첨부된 도면을 참조하여 살펴보겠다. 본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다.
본 발명과 관련된 로봇(100)은, 카메라(121, 도 1a 참조)를 통해 수신되는 영상의 깊이정보를 추출할 수 있다. 또한, 로봇(100)은, 카메라를 통해 수신되는 영상을 이용하여 로봇 주변에 존재하는 객체를 인식할 수 있다.
상기 카메라를 통해 수신되는 영상은, 프리뷰 영상(preview image)라고 명명될 수 있다. 구체적으로, 상기 프리뷰 영상은, 실시간으로 카메라를 통해 수신되는 영상을 의미한다. 상기 프리뷰 영상은 카메라(121)가 구비된 로봇이 외력에 의해 움직이거나, 피사체가 움직이는 것에 근거하여 변경될 수 있다.
상기 깊이정보는, 깊이값, 뎁스(depth)정보, 뎁스값 등으로 명명될 수 있다. 상기 깊이정보는, 상기 영상에 포함된 픽셀에 대응하는 피사체와 로봇(보다 구체적으로, 카메라) 사이의 거리(또는 거리값)를 의미할 수 있다.
예를 들어, 상기 영상의 특정 픽셀에 대응하는 피사체와 상기 로봇 사이의 거리가 n인 경우, 상기 특정 픽셀의 깊이정보는 상기 n에 대응하는 특정값일 수 있다. 상기 n에 대응하는 특정값은, 상기 n일 수도 있고, 기 설정된 알고리즘에 의해 변환된 값일 수 있다.
또한, 상기 깊이정보는, 상기 영상의 좌표를 x축과 상기 x축에 수직한 y축으로 설정하는 경우, 상기 x축과 y축에 각각 수직한 z축에 대응하는 값을 의미할 수 있다. 상기 깊이정보의 절대값은, 피사체와 로봇 사이의 거리가 멀수록 커질 수 있다.
이러한 깊이정보는 다양한 분야에 활용될 수 있다. 일 예로, 상기 깊이정보는 3D 입체영상(Stereoscopy)을 촬영/생성하는 데에 이용되거나, 되거나, 3D 프린터에 이용되는 3D 프린팅 데이터를 생성하는 데에 이용되거나, 로봇 주변의 물체(피사체)의 움직임을 감지하는 데에 이용될 수 있다.
본 발명과 관련된 로봇은 다양한 방식으로 카메라를 통해 수신되는 영상의 깊이정보를 추출할 수 있다. 예를 들어, 제어부(180, 도 1a 참조)는, 적어도 두 개의 카메라를 이용하여 깊이정보를 추출하는 스테레오 비전(stereo vision) 방식, 기 설정된 패턴을 형성하도록 배치된 발광소자를 이용하여 깊이정보를 추출하는 구조광(structure light) 방식 및 발광소자에서 방출된 빛이 반사되어 돌아오는 시간에 근거하여 깊이정보를 추출하는 ToF(Time of Flight) 방식 등을 이용하거나 이들의 조합을 통해 깊이정보를 추출할 수 있다.
이하에서는 위에서 설명한 방식 중 구조광 방식을 이용하여 깊이정보를 추출하는 것을 중점적으로 설명하기로 한다.
구조광 방식은 기 설정된 패턴을 갖도록 배치된 복수의 발광소자들을 제어하여 피사체로 빛을 방출시키고, 상기 피사체로부터 반사되어 돌아오는 빛을 감지한 후 상기 감지된 빛(또는, 감지된 빛의 패턴)에 근거하여 깊이정보를 추출하는 방식이다. 예를 들어, 본 발명과 관련된 로봇의 제어부(180)는, 기 설정된 패턴을 갖도록 배치된 복수의 발광소자가 피사체로 빛을 방출하도록 제어한다. 이후, 로봇의 제어부(180)는 카메라(121) 또는 센싱부(140, 도 1 참조)를 통해 상기 피사체에 의해 반사되어 돌아오는 빛을 감지(센싱)할 수 있다.
이 때, 제어부(180)는 상기 감지결과에 근거하여, 카메라(121)를 통해 수신되는 영상의 깊이정보를 추출할 수 있다. 예를 들어, 제어부(180)는, 상기 기 설정된 패턴과 반사되어 돌아오는 빛에 의해 형성된 패턴을 비교하거나, 빛이 방출된 후 반사되어 돌아오는 시간/세기 등을 비교하여, 카메라(121)를 통해 수신되는 영상의 깊이정보를 추출할 수 있다. 이를 위해, 상기 복수의 발광소자는, 상기 카메라(121)를 통해 수신되는 영상에 대응되는 공간으로 빛을 방출하도록 형성될 수 있다.
상기 기 설정된 패턴은 사용자에 의해 결정(설정)되거나, 로봇의 제품을 생산할 때 미리 결정되어 있을 수 있다. 또한, 상기 기 설정된 패턴은 사용자의 요청 또는 제어부의 제어에 의해 변경될 수 있다.
또한, 상기 복수의 발광소자들은 적외선을 방출할 수 있다. 또한 상기 발광소자는 전기 신호를 광 신호로 바꾸어 주는 레이저 다이오드일 수 있으며, 일 예로, 빅셀(Vertical Cavity Surface Emitting Laser: VCSEL)일 수 있다.
본 발명에서는 구조광 방식을 이용함으로써, 하나의 카메라(적외선 카메라 또는 3D 카메라)만을 통해 영상의 깊이정보를 추출하는 것이 가능하며, 상기 피사체가 단일 색상인 경우에도 깊이정보를 추출할 수 있다. 또한, 구조광 방식과 적어도 두 개의 카메라를 이용하는 스테레오 비전 방식을 조합하거나, 구조광 방식과 ToF방식을 조합함으로써, 깊이정보에 대한 정확성을 향상시킬 수 있다.
도 2a 및 도 2b는 본 발명과 관련된 로봇에 구비된 광원부를 설명하기 위한 개념도이고, 도 3a 및 도 3b는 본 발명의 광원부에 구비된 복수의 발광소자를 설명하기 위한 개념도이다.
본 발명과 관련된 로봇(100)에는 광원부(124)가 구비될 수 있다. 상기 광원부(124)는 앞서 설명한 플래시(124)와 동일한 구성이거나, 별도의 구성일 수 있다. 이하에서는, 광원부에 대하여 도면부호 124를 사용하기로 한다.
상기 광원부(124)는 적어도 하나의 발광소자(125)를 포함할 수 있다. 구체적으로, 상기 광원부(124)에는 복수의 발광소자(125)가 구비될 수 있으며, 상기 복수의 발광소자(125)는 다양한 방식으로 배치될 수 있다. 상기 복수의 발광소자(125)의 배치와 관련된 내용은 도 3a 및 도 3b를 참조하여 후술하기로 한다.
상기 광원부(124)는 카메라(121)와 인접하여 배치될 수 있다. 예를 들어, 상기 광원부(124)는, 도 2a에 도시된 것과 같이, 카메라(121b) 주변에 배치될 수 있다. 도시되진 않았지만, 상기 광원부(124)는 상기 카메라(121b)와 일체형으로 형성될 수도 있다.
상기 광원부(124)에 포함된 복수의 발광소자(125)는, 앞서 설명한 것과 같이, 적외선 다이오드 중 하나인 빅셀(VCSEL)일 수 있다. 각 발광소자는 피사체를 향하여 적외선을 방출할 수 있다. 예를 들어, 발광소자에서 빛을 방출한다는 것은, 빅셀에서 적외선을 방출한다는 것을 의미할 수 있다. 또한, 상기 발광소자에서 방출하는 빛은 특정 범위의 파장을 갖는 빛을 투사한다는 의미로 받아들여질 수 있다.
상기 카메라(121b)는 깊이정보를 추출하는 데에 이용되는 3D 카메라 또는 적외선 카메라일 수 있다. 상기 카메라(121b)는 외부로부터 수신되는 적외선을 통과시키는 IR(Infrared Ray) Pass Filter 및 적외선을 감지하는 것이 가능한 이미지 센서(Image Sensor)를 포함할 수 있다. 상기 이미지 센서(Image Sensor)는 CCD(Charge-Coupled Device) 또는 CMOS(Complementary Mental-Oxide Semiconductor)의 형태로 구현될 수 있다.
또한, 상기 카메라(121b)는, 객체를 인식하는데 사용될 수 있으며, 센싱부(160)에 포함될 수 있다.
카메라(121b)는 외부로부터 수신되는 적외선, 즉 광원부에 포함된 발광소자로부터 피사체로 방출된 후 반사되어 돌아오는 적외선을 감지할 수 있다. 이 밖에도, 본 발명과 관련된 로봇의 제어부(180)는, 앞서 설명한 센싱부(140)(예를 들어, 적외선 센서(IR 센서: infrared sensor))를 통해 적외선을 감지할 수 있다. 또한, 상기 카메라(121b)는, 특정 파장을 갖는 빛을 감지할 수 있다.
한편, 상기 광원부(124)는, 카메라(121b)를 통해 수신되는 영상에 대응하는 공간을 향해 빛을 방출하도록 형성될 수 있다. 구체적으로, 광원부(124)에 포함된 복수의 발광소자(125)들은, 카메라를 통해 수신되는 영상(300)에 대응하는 공간으로 빛을 방출할 수 있다.
여기서, 상기 카메라를 통해 수신되는 영상(300)에 대응하는 공간은, 로봇(100)가 차지하는 공간 이외의 공간(현실 공간) 중 카메라에 의해 촬영되는 공간(장면의 시야)을 의미할 수 있다. 예를 들어, 상기 카메라를 통해 수신되는 영상에 대응하는 공간은, 카메라의 화각(시야각)에 근거하여 결정될 수 있다.
예를 들어, 상기 복수의 발광소자 중 특정 발광소자는, 카메라를 통해 수신되는 영상 중 특정 픽셀(들)(일부 영상 또는 일부분)에 대응하는 공간으로 빛을 방출하도록 형성될 수 있다.
한편, 본 발명의 광원부(124)에 포함된 복수의 발광소자(125)는, 복수의 그룹으로 그룹화될 수 있다. 상기 복수의 그룹 각각에는 적어도 두 개의 발광소자가 포함될 수 있다. 구체적으로, 제어부(180)는 복수의 발광소자(125)를 각각 제어할 수도 있고, 적어도 두 개의 발광소자가 포함된 그룹 단위로 제어할 수도 있다. 상기 복수의 발광소자는 다양한 형태를 갖는 그룹으로 그룹화될 수 있으며, 상기 그룹의 형태는 사용자 설정 또는 제어부의 제어에 의해 결정될 수 있다.
예를 들어, 도 2a에 도시된 것과 같이, 광원부(124)에 포함된 복수의 그룹(G1, G2, ...) 중 제1 그룹(G1)에 포함된 발광소자는, 카메라(121b)를 통해 수신되는 영상(300) 중 제1 부분(R1)에 대응하는 공간으로 빛을 방출하도록 형성될 수 있다.
또한, 광원부(124)에 포함된 복수의 그룹(G1, G2, ...) 중 상기 제1 그룹(G1)과 다른 제2 그룹(G2)에 포함된 발광소자는, 카메라(121b)를 통해 수신되는 영상(300) 중 상기 제1 부분(R1)과 다른 제2 부분(R2)에 대응하는 공간으로 빛을 방출하도록 형성될 수 있다.
보다 구체적으로, 도 2b를 참조하면, 본 발명과 관련된 로봇의 디스플레이부(151)에는 카메라를 통해 수신되는 영상(300)이 출력될 수 있다. 상기 영상(300)은, 카메라로 촬영되는 공간(장면의 시야, 피사체)(S)에 대응하는 영상일 수 있다.
또한, 본 발명과 관련된 로봇의 광원부(124)는, 상기 영상(300)에 대응하는 공간(S)으로 빛을 방출하도록 형성될 수 있다.
상기 광원부(124)는 복수의 발광소자를 포함할 수 있고, 상기 복수의 발광소자는 복수의 그룹(G1, G2, ...)으로 그룹화될 수 있다. 각 그룹에 포함된 발광소자는, 상기 영상(300) 중 서로 다른 부분에 대응하는 공간으로 빛을 방출하도록 형성될 수 있다.
예를 들어, 상기 복수의 그룹 중 제1 그룹(G1)에 포함된 발광소자는, 상기 영상(300) 중 제1 부분(R1)에 대응하는 공간(S1)으로 빛을 방출하도록 형성되고, 상기 복수의 그룹 중 제2 그룹(G2)에 포함된 발광소자는, 상기 영상(300) 중 제2 부분(R2)에 대응하는 공간(S2)으로 빛을 방출하도록 형성될 수 있다.
이를 위해, 본 발명과 관련된 광원부(124)는 렌즈를 더 포함할 수 있다. 상기 렌즈는 상기 광원부(124)에서 방출된 빛을 굴절시키거나 확산시킬 수 있다. 상기 렌즈는 상기 광원부(124)에 대응되는 하나의 렌즈일 수도 있고, 상기 광원부(124)에 포함된 복수의 그룹별로 대응되도록 형성된 복수의 렌즈일 수도 있고, 상기 광원부(124)에 포함된 복수의 발광소자 각각에 대응되도록 형성된 복수의 렌즈일 수도 있다.
상기 렌즈는, 제어부(180)의 제어에 의해, 상기 광원부(124)에서 방출된 빛을 카메라를 통해 수신되는 영상에 대응하는 공간으로 방출하도록 제어될 수 있다. 구체적으로, 제어부(180)는 광원부(124)의 크기가 카메라를 통해 수신되는 영상(300)에 대응하는 공간(S)의 크기가 보다 큰 경우, 상기 광원부(124)에서 상기 공간(S)에 대응되도록 빛이 방출되도록 렌즈를 제어할 수 있다. 이를 위해, 상기 렌즈는, 곡률이 변경되도록 형성되거나, 위치가 이동될 수 있도록 형성될 수 있다.
한편, 본 발명과 관련된 광원부(124)에 포함된 복수의 발광소자는 기 설정된 패턴을 형성하도록 배치될 수 있다. 이를 통해, 본 발명에서는 카메라를 통해 수신되는 영상의 깊이정보를 구조광 방식으로 추출할 수 있다.
이를 위해, 상기 복수의 발광소자(125)는 다양한 방식으로 배치되거나 제어될 수 있다.
일 예로, 도 3a를 참조하면, 본 발명과 관련된 광원부(124)에는 복수의 발광소자가 기 설정된 간격으로 배치된 매트릭스(matrix) 형태로 배치될 수 있다. 제어부(180)는 상기 복수의 발광소자 중 기 설정된 패턴이 형성되도록, 상기 복수의 발광소자 중 일부만을 발광시킬 수 있다.
예를 들어, 제어부(180)는 4 by 4 형태로 배치된 복수의 발광소자(125) 중 일부 발광소자(125a)만을 발광시켜, 기 설정된 패턴(Pa1)이 형성되도록 광원부(124)를 제어할 수 있다.
앞서 설명한 것과 같이, 상기 복수의 발광소자(125)는 복수의 그룹으로 그룹화될 수 있다. 상기 복수의 그룹에 포함된 발광소자들은 서로 다른 패턴을 형성하도록 제어될 수 있다. 예를 들어, 제어부(180)는 복수의 그룹 중 제1 그룹에서 제1 패턴을 갖도록 발광소자를 발광시키고, 상기 복수의 그룹 중 상기 제1 그룹과 다른 제2 그룹에서 상기 제1 패턴과 다른 제2 패턴을 갖도록 발광소자를 발광시킬 수 있다.
다른 예로, 도 3b를 참조하면, 본 발명과 관련된 광원부(124)에는 복수의 발광소자가 기 설정된 패턴을 형성하도록 배치될 수 있다. 이 때, 상기 복수의 발광소자는, 각 그룹별로 서로 다른 패턴을 형성하도록 배치될 수 있다.
예를 들어, 복수의 그룹 중 제1 그룹에 포함된 발광소자는 제1 패턴(Pa2)을 형성하도록 배치되고, 제2 그룹에 포함된 발광소자는 제2 패턴(Pa3)을 형성하도록 배치되며, 제3 그룹에 포함된 발광소자는 제3 패턴(Pa4)을 형성하도록 배치될 수 있다. 여기서 상기 제1 내지 제3 패턴을 서로 다를 수 있다.
이상에서는 각 그룹별로 발광소자가 특정 패턴을 형성하도록 배치되거나 제어되는 경우를 설명하였지만, 이에 한정되지 않고, 광원부(124)에 포함된 복수의 발광소자 전체가 특정 패턴을 형성하도록 배치되거나 제어될 수 있다.
또한, 도 2a 및 도 2b에서 설명한 것과 같이, 복수의 발광소자 중 카메라를 통해 수신되는 영상의 일부분에 대응하는 공간으로 방출하는 발광소자, 또는 복수의 그룹 중 상기 영상의 일부분에 대응하는 공간으로 방출하도록 형성된 그룹에 포함된 발광소자는, 도 3a 및 도 3b에서 설명한 것과 같이, 기 설정된 패턴으로 형성된(배치된) 적어도 두 개의 발광소자일 수 있다.
즉, 본 발명에서는 카메라를 통해 수신되는 영상 중 특정 부분에 대한 깊이정보를 추출하는 경우, 광원부(124)에 포함된 복수의 발광소자(또는, 복수의 그룹) 중 상기 특정 부분에 대응하는 공간으로 빛을 방출하도록 형성된 발광소자(또는, 그룹에 포함된 발광소자)를 발광시킬 수 있다.
여기서, 상기 특정 부분에 대응하는 공간으로 빛을 방출하도록 형성된 발광소자는, 기 설정된 패턴으로 형성(배치)될 수 있다. 이에 따라, 상기 특정 부분에 대응하는 공간에는, 광원부(124)에서 기 설정된 패턴으로 형성된 발광소자에서 방출된 빛이 투사될 수 있다. 상기 공간으로 투사된 빛은 반사되어 로봇으로 되돌아올 수 있다.
이후, 본 발명에서는 상기 공간에서 반사되어 돌아오는 빛에 근거하여, 객체를 인식할 수 있다.
이상에서 살펴본 것과 같은 구성요소들 중 적어도 하나를 구비하는 것이 가능한 본 발명의 로봇은, 최적화된 방법으로 카메라를 통해 수신되는 영상을 이용하여 객체를 인식할 수 있으며, 이를 위해, 광원부(124)에 포함된 복수의 발광소자를 그룹 단위로 제어할 수 있다.
이하에서는, 본 발명의 일 실시 예에 따른 광원부를 제어하는 방법에 대하여 첨부된 도면을 참조하여 보다 구체적으로 살펴본다.
도 4는 본 발명의 제어방법을 대표적으로 나타내는 흐름도이고, 도 5, 도 6a 및 도 6b는 도 4에서 살펴본 제어방법을 설명하기 위한 개념도이다.
우선, 도 4를 참조하면, 본 발명에서는 카메라를 통해 영상을 수신하는 단계가 진행된다(S410). 상기 카메라를 통해 수신된 영상은, 디스플레이부(151)에 출력될 수 있다. 상기 카메라는 사용자 요청에 근거하여 활성화될 수 있다.
예를 들어, 상기 카메라는 카메라와 관련된 애플리케이션이 실행되는 것에 근거하여 활성화될 수 있다.
이후, 본 발명에서는 영상 중 일부분에 존재하는 객체를 인식하는데 이용되도록, 복수의 발광소자 중 상기 일부분에 대응하는 공간으로 빛을 방출하는 발광소자를 발광시킬 수 있다(S420).
앞서 설명한 것과 같이, 본 발명의 로봇에 구비된 광원부(124)에는 복수의 발광소자가 구비될 수 있다. 또한, 상기 복수의 발광소자는, 상기 카메라를 통해 수신되는 영상에 대응하는 공간으로 빛을 방출하도록 형성될 수 있다.
구체적으로, 제어부(180)는, 도 5에 도시된 것과 같이, 카메라를 통해 수신되는 영상(300) 중 일부분을 선택(설정, 지정)할 수 있다. 상기 일부분은 사용자의 요청에 근거하여 선택될 수도 있고, 기 설정된 조건을 만족하는 것에 근거하여 선택될 수도 있다.
상기 일부분은, 일 예로, 영상 분석을 통해 인식해야 되는 객체가 존재하는 영역을 의미할 수 있다.
예를 들어, 제어부(180)는 디스플레이부(151)에 카메라를 통해 수신되는 영상(300)이 출력된 상태에서, 상기 영상(300)에 터치가 가해지는 지점(영역, 부분)에 근거하여 상기 일부분을 선택할 수 있다.
다른 예로, 제어부(180)는 카메라를 통해 수신되는 영상 중 기 설정된 영역을 상기 일부분으로 선택할 수도 있다. 상기 기 설정된 영역은 사용자에 의해 미리 설정된 영역을 의미할 수 있다.
또 다른 예로, 제어부(180)는 카메라를 통해 수신되는 영상 중 기 설정된 범위 내의 깊이정보를 갖는 영역을 상기 일부분으로 선택할 수 있다. 또는, 상기 영상이 광원부(124)에 구비된 복수의 그룹에 대응하도록 복수의 영역으로 구분된 경우, 상기 일부분은, 상기 복수의 영역 중 상기 기 설정된 범위 내의 깊이정보를 갖는 영역을 포함하는 적어도 하나의 영역일 수 있다.
또한, 상기 일부분은 상기 영상이 촬영되거나, 로봇이 외력에 의해 움직이는 것에 근거하여 설정되거나 변경될 수 있다.
또 다른 예로, 제어부(180)는, 센싱부(140)를 통해 센싱된 객체가 존재하는 영역을 상기 일부분으로 선택할 수 있다.
다시 돌아와, 도 5를 참조하면, 제어부(180)는 카메라를 통해 수신되는 영상(300) 중 일부분(300a)이 선택되면, 광원부(124)에 구비된 복수의 발광소자 중 상기 일부분(300a)에 대응하는 공간(Sa)으로 빛을 방출하도록 형성된 발광소자(125a)를 발광시킬 수 있다.
다른 말로, 제어부(180)는, 상기 광원부(124)에 포함된 복수의 발광소자를 복수의 그룹으로 그룹화하고, 상기 복수의 그룹 중 상기 일부분(300a)에 대응하는 공간(Sa)으로 빛을 방출하도록 형성된 그룹에 포함된 발광소자(125a)를 발광시킬 수 있다.
상기 발광소자(125a)는, 기 설정된 패턴을 형성하도록 배치될 수 있으며, 상기 일부분(300a)에 대응하는 공간(Sa)에는, 상기 기 설정된 패턴을 형성하도록 빛이 투사될 수 있다. 제어부(180)는 카메라 또는 감지부를 통해 상기 공간에서 반사되어 돌아오는 빛을 감지하고, 상기 감지결과에 근거하여 상기 영상 중 일부분의 깊이정보를 추출할 수 있다. 이와 같이, 기 설정된 패턴을 형성하도록 배치된 빛을 이용하여 깊이정보를 추출하는 구조광 방식에 대해서는 일반적인 기술이므로 구체적인 설명을 생략한다.
이상에서 살펴본 것과 같이, 광원부에 구비된 발광소자(또는, 그룹)와, 카메라를 통해 수신되는 영상과 상기 영상에 대응하는 공간은 상호 대응하는 관계일 수 있다.
이러한 구성을 통해, 본 발명에서는, 카메라를 통해 수신되는 영상 중 일부분에 존재하는 객체를 인식하는 경우, 광원부에 구비된 복수의 발광소자를 전부 발광시키는 것이 아닌, 상기 일부분에 대응하는 공간으로 빛을 방출하도록 형성된 발광소자 일부만을 발광시킴으로써, 전력 소모를 줄일 수 있고, 피크(peak) 전력을 감소시킬 수 있다.
본 발명과 관련된 광원부(124)에는 복수의 발광소자가 구비되고, 상기 복수의 발광소자는 복수의 그룹으로 그룹화될 수 있다.
본 발명과 관련된 로봇의 제어부(180)는, 카메라를 통해 수신되는 영상(300) 중 일부분에서 객체를 인식하고자 하는 경우, 상기 복수의 그룹 중 상기 일부분에 대응하는 공간으로 빛을 방출하도록 형성된 그룹에 포함된 발광소자를 발광시킬 수 있다.
구체적으로, 제어부(180)는 상기 영상(300) 중 제1 부분의 깊이 정보를 추출하는 경우, 상기 복수의 그룹 중 상기 제1 부분에 대응하는 공간으로 빛을 방출하도록 형성된 제1 그룹에 포함된 발광소자를 발광시킬 수 있다. 또한, 제어부(180)는 상기 영상(300) 중 상기 제1 부분과 다른 제2 부분의 깊이 정보를 추출하는 경우, 상기 복수의 그룹 중 상기 제2 부분에 대응하는 공간으로 빛을 방출하도록 형성된 제2 그룹에 포함된 발광소자를 발광시킬 수 있다.
예를 들어, 도 6a에 도시된 것과 같이, 상기 카메라(121)를 통해 수신되는 영상(300)은, 복수의 영역으로 구분(구획)될 수 있다. 여기서, 상기 복수의 영역은, 광원부(124)에서 복수의 발광소자들이 그룹화된 복수의 그룹에 대응될 수 있다.
상기 영상(300) 중 제1 부분(또는, 상기 영상에 포함된 복수의 영역 중 제1 영역)(601a)의 깊이 정보를 추출하는 경우, 제어부(180)는, 광원부(124)에 포함된 복수의 그룹 중 상기 제1 부분(601a)에 대응하는 공간으로 빛을 방출하도록 형성된 그룹(601b)에 포함된 발광소자를 발광시킬 수 있다.
다른 예로, 도 6b에 도시된 것과 같이, 상기 영상(300) 중 제2 부분(또는, 상기 영상에 포함된 복수의 영역 중 제2 영역)(602a)의 깊이정보를 추출하는 경우, 제어부(180)는 광원부(124)에 포함된 복수의 그룹 중 상기 제2 부분(602a)에 대응하는 공간으로 빛을 방출하도록 형성된 그룹(602b)에 포함된 발광소자를 발광시킬 수 있다.
이하에서는, 설명의 편의를 위해, 앞서 복수의 그룹으로 그룹화한 복수의 발광소자 각각을, 하나의 발광소자인 것으로 설명하기로 한다.
예를 들어, 도 6a의 경우, 가로 4개, 세로 3개의 배열로 구비된 복수의 발광소자(12개의 발광소자)가 구비된 광원부(124)로 이해될 수 있다.
이 경우에도 각 발광소자는, 대응되는 공간으로 빛을 방출하도록 형성될 수 있다.
한편, 광원부에서 출력되는 조명은, 객체를 인식하는 인식률과 밀접한 관련이 있다. 이하에서는, 로봇이 객체를 인식할 때 객체 인식률을 향상시키는 방법에 대하여 첨부된 도면을 참조하여 보다 구체적으로 살펴본다.
도 7은 본 발명의 일 실시 예에 따른 객체 인식 방법을 설명하기 위한 흐름도이고, 도 8, 도 9, 도 10, 도 11, 도 12, 도 13 및 도 14 은 도 7에서 살펴본 방법을 설명하기 위한 개념도 및 흐름도이다.
도 7을 참조하면, 본 발명의 일 실시 예에 따른 로봇의 제어방법은, 센싱부(140)가 광원부에서 광을 출력하는 공간과 관련된 정보를 센싱하는 단계를 포함한다(S710).
구체적으로, 광원부(124)는 복수의 발광소자를 포함할 수 있으며 상기 복수의 발광소자는 각각 서로 다른 공간(영역)에 광을 출력할 수 있다.
센싱부(140)는, 광원부에서 광을 출력하는 공간과 관련된 정보를 센싱할 수 있다.
센싱부(140)는, 광원부에서 출력된 광이 조사되는 공간에 대한 정보를 센싱할 수 있다. 상기 공간은, 광원부(124)에서 출력되는 광이 조사되는 공간 뿐만 아니라, 로봇의 주변(예를 들어, 소정 거리의 반경 이내의 공간)을 포함할 수 있다
센싱부(140)는, 일 예로, 상기 공간에 존재하는 객체를 센싱하거나, 상기 공간의 환경을 센싱하도록 형성될 수 있다.
이를 위해 센싱부(140)는, 카메라(121), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor), 마이크로폰(microphone, 122 참조), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다.
또한, 상기 센싱부(140)는, 상기 오브젝트 검출장치에 포함된 카메라, 레이다, 라이다, 초음파센서, 적외선 센서 중 적어도 두 개가 조합되어 구현될 수도 있다.
센싱부(140)는, 로봇로봇과 관련된 정보를 센싱할 수 있다.
상기 로봇과 관련된 정보는, 로봇 정보(또는, 로봇의 주행 상태) 및 로봇의 주변정보 중 적어도 하나일 수 있다.
예를 들어, 로봇 정보는, 로봇의 주행속도, 로봇의 무게, 로봇의 탑승인원, 로봇의 제동력, 로봇의 최대 제동력, 로봇의 주행모드(자율주행모드인지 수동주행인지 여부), 로봇의 주차모드(자율주차모드, 자동주차모드, 수동주차모드), 로봇 내에 사용자가 탑승해있는지 여부 및 상기 사용자와 관련된 정보(예를 들어, 상기 사용자가 인증된 사용자인지 여부) 등을 포함할 수 있다.
로봇의 주변정보는, 예를 들어, 로봇이 주행중인 노면의 상태(마찰력), 날씨, 전방(또는 후방) 로봇과의 거리, 전방(또는 후방) 로봇의 상대속도, 주행중인 차선이 커브인 경우 커브의 굴곡률, 로봇 주변밝기, 로봇을 기준으로 기준영역(일정영역) 내에 존재하는 객체와 관련된 정보, 상기 일정영역으로 객체가 진입/이탈하는지 여부, 로봇 주변에 사용자가 존재하는지 여부 및 상기 사용자와 관련된 정보(예를 들어, 상기 사용자가 인증된 사용자인지 여부) 등일 수 있다.
또한, 상기 로봇의 주변정보(또는 주변 환경정보)는, 로봇의 외부 정보(예를 들어, 주변밝기, 온도, 태양위치, 주변 피사체(사람, 타로봇, 표지판 등) 정보, 주행중인 노면의 종류, 지형지물, 차선(Line) 정보, 주행차로(Lane) 정보), 자율주행/자율주차/자동주차/수동주차 모드에 필요한 정보를 포함할 수 있다.
또한, 로봇의 주변정보는, 로봇 주변에 존재하는 객체(오브젝트)와 로봇까지의 거리, 상기 객체의 종류, 로봇이 주차 가능한 주차공간, 주차공간을 식별하기 위한 객체(예를 들어, 주차선, 노끈, 타로봇, 벽 등) 등을 더 포함할 수 있다.
또한, 상기 로봇과 관련된 정보는, 로봇 내에 구비된 거치대에 이동 단말기가 거치되었는지 여부, 로봇 내에 이동 단말기가 진입했는지(존재하는지) 여부 또는 로봇으로부터 일정거리 이내에 이동 단말기가 진입했는지(존재하는지) 여부, 이동 단말기와 로봇 제어 장치가 통신 연결되었는지 여부 등을 포함할 수 있다.
상기 센싱부를 통해 센싱된 로봇과 관련된 정보들은, 로봇의 자율주행을 위한 자율주행모드에서 이용될 수 있다. 구체적으로, 제어부(180)는, 센싱부(140)를 통해 센싱된 로봇과 관련된 정보를 이용하여, 로봇을 자율주행시킬 수 있다.
앞서 설명한 내용은, 로봇이 차량인 경우에도 동일/유사하게 유추적용할 수 있다.본 발명은 차량 뿐만 아니라, 이동의 자유도가 높은 로봇에 보다 적합하게 적용될 수 있다.
차량의 경우, 차도 안에서 움직여야 한다는 제약이 존재하기 때문에, 움직이는 경로 방향의 조명 만으로도 경로 안의 물체를 인식하는데 큰 무리가 없다.
반면에, 로봇은 빈 공간이면서 로봇의 부피보다 큰 공간이기만 하면 주행이 가능하기 때문에, 로봇 주변의 많은 영역, 즉, 차량에 비해 더 넓은 영역을 조명으로 커버해야 한다.
더불어, 로봇의 경우, 객체 사이 공간으로 주행하고자 하는 경우, 현재 주행중인 진행 방향과 전혀 다른 경로로 주행이 가능하므로, 객체의 경계를 더 정확히 검출해야 할 필요가 있다.
즉, 로봇의 경우, 차량보다 더 높은 객체 인식률을 필요로 한다.
또한, 로봇은 야간이나 악천후에서 자율주행의 성능이 보장되어야 한다.
특히, 실외배송로봇의 경우, 야간 및 악천후 상황에서 사용자의 수요가 더 늘어나기 때문에, 더욱더 객체에 대한 인식 정확도가 필요하다.
야간이나 악천후에 시야를 확보하기 위해서는 램프가 보조수단으로 반드시 필요하다.
종래에는 램프 제어 방법은 사람 편의를 위하여 구성이 되었지만, 자율주행시대에는 사람보다 로봇/로봇에 있어서 인식률을 극대화 시키는 방향으로 발전해야 한다.
본 발명은 로봇에서 객체를 인식하기 위한 최적의 램프 패턴 또는 광 패턴을 조사하는 것이 가능한 로봇 및 그것의 제어방법을 제공할 수 있다.
이를 위해, 센싱부(140)는, 앞서 설명한 적어도 하나의 센서를 이용하여, 광원부에서 광을 출력하는 공간과 관련된 정보를 센싱할 수 있다.
센싱부(140)는, 환경요소를 센싱할 수 있다. 환경 요소는, 조도(조도 센서), 습도(습도 센서), 온도(온도 센서), 날씨(눈/비/안개/미세먼지), 시간(0~24시) (V2X를 통한 정보 수신), 도로 경사, 도로 노면 재질(ex. 아스팔트에서 아지랑이 발생) (로봇 내부 IMU센서), 도로 상태(반사 등) (카메라 센서) 등을 포함할 수 있다.
센싱부(140)는, 로봇의 상태(예를 들어, 로봇 상태)를 센싱할 수 있다. 일 예로, 로봇 상태는, 로봇 속도(로봇 내부 속도 센서), 로봇 모션(GPS, IMU센서) 등을 포함할 수 있다.
센싱부(140)는, 주변 요소(예를 들어, 주변 로봇 요소)를 센싱할 수 있으며, 일 예로, 주변 로봇 발광 여부 (V2V를 통한 정보 수신)를 포함할 수 있다.
센싱부(140)는, 목표 객체(물체) 요소를 센싱할 수 있다. 목표 객체 요소는, 물체의 개수, 물체의 위치(x,y,z, deg), 물체의 type(class), 물체의 속도(동적, 정적 구분 포함), 물체의 재질(반사 등)을 포함할 수 있다.
광원부 속성 요소는, 램프 속성 요소일 수 있으며, 램프 밝기, 램프 온도, 램프 각도 (램프 내의 센서를 통한 정보 수신), 램프 색 (램프 초기 색온도 설정 값)을 포함할 수 있다. 램프는, 본 명세서에서 설명하는 광원부 또는 발광소자일 수 있다.
센싱부(140)는, 카메라를 통해 광원부의 정보(예를 들어, 로봇의 헤드라이트 정보), 객체의 모양 정보 등을 활용하여 객체 인식 알고리즘으로 객체의 대략적인 위치를 검출하고 인지(인식)할 수 있다.
또한, 제어부(180)는, LiDAR, Radar, V2X 등 다양한 센서로부터 객체의 위치를 검출할 수 있다.
또한, 제어부(180)는, 이전 객체 검출 정보를 바탕으로 객체의 위치를 예측할 수 있으며, 예측 결과에 근거하여 객체의 위치를 검출할 수도 있고, HD-map 으로 부터 고정된 객체의 위치 파악할 수도 있다.
이후, 본 발명에서는, 제어부(180)가 센싱부(140)를 통해 공간에 존재하는 객체를 인식하도록 광원부(124)를 발광할 수 있다(S720).
즉, 제어부(180)는, 광원부(124)가 출력한 광이 조사되는 공간에 존재하는 객체를 인식하도록, 광원부(124)를 제어(발광)할 수 있다.
제어부(180)는, 객체를 인식하는 인식률이 기 설정된 값(또는 기준값, 임계값(Threshold)) 이상이 되게 하는 광 패턴이 상기 공간에 조사되도록 복수의 발광소자 중 적어도 하나를 발광시킬 수 있다(S730).
앞서, 설명한 것과 같이, 상기 복수의 발광소자는, 각각 서로 다른 공간으로 빛을 조사하도록 형성될 수 있다.
또한, 상기 복수의 발광소자 중 발광하는 소자가 달라지면, 조사되는 광의 광 패턴이 달라질 수 있다.
예를 들어, (1, 1) 위치의 광원과 (1, 3) 위치의 광원이 조사되는 제1 광 패턴과, (2, 2) 위치의 광원과 (3, 4) 위치의 광원이 조사되는 제2 광 패턴은 서로 상이할 수 있다.
센싱부(140)는, 광원부(124)에서 조사된 광이 객체에 반사되어 수신되는 것에 근거하여, 객체를 인식할 수 있다.
이 때, 광원부(124)에서 출력된 광의 광 패턴이 달라지면, 객체를 인식하는 인식률은 달라질 수 있다.
제어부(180)는, 현재 센싱부에서 센싱된 공간과 관련된 정보에서, 최대의 객체 인식률을 갖도록 하는 광 패턴이 조사되도록, 광원부(124)를 제어할 수 있다.
이를 위해, 제어부(180)는, 소정 시간동안, 광 패턴이 달라지도록, 복수의 발광소자 중 적어도 일부를 임의로(랜덤(random)으로) 발광시킬 수 있다.
이후, 제어부(180)는, 객체에 조사되는 광 패턴별 객체 인식률을 추출하고, 소정 시간 이내에 가장 높은 객체 인식률을 갖는 광 패턴을, 현재 센싱된 공간과 관련된 정보와 연계하여 메모리에 저장할 수 있다.
도 8을 참조하면, 제어부(180)는, 센싱부(140)(예를 들어, 카메라(124))를 통해 영상을 수신할 수 있다(S810).
제어부(180)는, 센싱부(140)를 통해 센싱된 정보(예를 들어, 카메라를 통해 수신된 영상)에 근거하여, 현재 장치 주변 환경 상태를 검출할 수 있다(S820). 즉, 제어부(180)는, 센싱부를 통해, 로봇의 주변 환경 정보를 센싱할 수 있다.
제어부(180)는, 주변에 존재하는(광원부에서 출력하는 광이 조사되는 공간에 존재하는) 객체의 위치를 검출하고, ROI(Region Of Interest)를 설정할 수 있다(S830).
일 예로, 상기 ROI는, 객체가 존재하는 영역을 포함할 수 있으며, 복수의 객체가 존재하는 경우, 복수의 객체가 존재하는 모든 영역 혹은 특정 종류의 객체가 존재하는 영역을 포함할 수 있다.
제어부(180)는, 현재 환경에서 객체 인식률을 최대화할 수 있는 램프 패턴을 검색할 수 있다(S840).
앞서 설명한 것과 같이, 제어부(180)는, 소정시간 동안 객체의 인식률이 최대가 되게 하는 광 패턴을 찾기 위해, 광원부(124)에 포함된 복수의 발광소자를 임의로 발광시킬 수 있다. 이 때, 임의로 발광되는 복수의 발광소자는, 온/오프 되는 발광소자의 종류/위치/개수가 모두 달라질 수 있다.
이에 따라, 공간에 조사되는 광 패턴은 서로 상이해지며, 상기 공간에 존재하는 객체의 인식률은, 광 패턴이 달라지는 것에 근거하여 가변될 수 있다.
제어부(180)는, 소정 시간동안 광 패턴을 가변하면서, 객체의 인식률이 최대가 되는 광 패턴을 결정할 수 있다.
이후, 제어부(180)는, 객체 인식 결과, 현재 환경(공간과 관련된 정보) 및 광 패턴(또는 해당 광 패턴을 조사하기 위한 램프 패턴)에 대한 결과를 메모리(170)에 저장할 수 있다.
한편, 제어부(180)는, 센싱된 공간과 관련된 정보(즉, 현재 환경)에 대응되는 광 패턴에 대한 정보가 메모리에 저장된 경우, 메모리에 저장된 광 패턴에 대한 정보에 대응되는 광 패턴이 객체에 조사되도록 광원부(124)를 제어할 수 있다.
메모리(170)에는, 공간과 관련된 정보와 광 패턴에 대한 정보를 연계하여 저장될 수 있다.
제어부(180)는, 센싱부(124)에 의해 센싱된 공간과 관련된 정보에 근거하여, 상기 센싱된 공간과 관련된 정보가 상기 메모리에 존재하는지 결정할 수 있다.
제어부(180)는, 상기 메모리에 상기 센싱된 공간과 관련된 정보가 존재하면, 상기 센싱된 공간과 관련된 정보에 연계된 광 패턴에 대한 정보에 근거하여, 상기 복수의 발광소자를 발광시킬 수 있다.
즉, 제어부(180)는, 상기 센싱된 공간과 관련된 정보에 연계된 광 패턴에 대한 정보에 대응되는 광 패턴으로 빛을 조사하도록, 상기 복수의 발광소자 중 적어도 일부를 발광시킬 수 있다.
한편, 제어부(180)는, 상기 메모리에 상기 센싱된 공간과 관련된 정보가 미존재하면, 상기 객체를 인식하는 인식률이 기 설정된 값 이상이 되게 하는 광 패턴이 상기 공간에 조사되도록, 상기 복수의 발광소자 중 적어도 일부를 임의로 발광시켜 복수의 랜덤 광 패턴을 상기 공간에 조사할 수 있다.
제어부(180)는, 상기 복수의 랜덤 광 패턴 중 어느 광 패턴으로 빛을 조사했을 때 객체를 인식하는 인식률이 상기 기 설정된 값 이상이 되는 것에 근거하여, 상기 어느 광 패턴과 관련된 정보를 메모리에 저장할 수 있다.
상기 어느 광 패턴과 관련된 정보는, 상기 어느 광 패턴을 생성하기 위해 발광되어야 하는 발광소자에 대한 정보를 포함할 수 있다.
또한, 상기 어느 광 패턴과 관련된 정보는, 상기 센싱된 공간과 관련된 정보와 연계되어 메모리에 저장될 수 있다.
도 9를 참조하면, 제어부(180)는, 센싱부(140)를 이용하여 현재 장치 주변 상태를 센싱할 수 있다(S910).
제어부(180)는, 현재 장치 주변 상태에 대응되는 광 패턴을 메모리에서 검색할 수 있다(S920).
제어부(180)는, 검색 결과가 존재하는 경우, 검색된 광 패턴을 사용하여 객체를 인식하도록 광원부(124)를 제어할 수 있다(S930, S940).
제어부(180)는, 검색 결과가 미존재하는 경우, 1개 이상의 광원(발광소자)로 광 패턴을 임의로 생성할 수 있다(S950).
이후, 제어부(180)는, 임의로 생성된 광 패턴을 객체에 조사하여, 객체를 인식할 수 있다(S960).
제어부(180)는, 객체 인식률이 기 설정된 값(임계값) 이상이 되지 않는 경우, 다른 광 패턴을 임의로 생성할 수 있다(S970). 이후, 제어부(180)는, 객체 인식률이 상기 기 설정된 값 이상이 되지 않는 경우, 상기 S950 내지 S970를 반복 수행할 수 있다. 이러한 반복 수행은, 소정 시간동안 진행될 수 있다.
제어부(180)는, 객체 인식률이 기 설정된 값 이상이 되는 경우, 해당 광 패턴에 대한 정보를 메모리에 저장할 수 있다(S970, S980).
상기 광 패턴에 대한 정보는, 현재 장치 주변 상태(장치 주변 환경 정보)와 연계되어 메모리에 저장될 수 있다.
이후, 제어부(180)는, 인식 결과를 활용하여, 로봇을 자율주행시키거나, 객체에 대한 정보를 다양하게 이용할 수 있다(S990).
즉, 제어부(180)는, 현재 환경에 맞는 램프 패턴을 DB (or cloud) 에서 검색하고, 검색 결과가 존재하면 검색된 램프 패턴을 사용할 수 있다.
제어부(180)는, 검색 결과가 존재하지 않으면 패턴 random generation을 수행하고, 인식률이 충분히 확보될 때 까지 패턴 random generation을 반복 수행할 수 있다.
제어부(180)는, 인식률이 일정 threshold 이상이면 패턴을 DB (or cloud) 에 업데이트 하고, 인식 결과 도출할 수 있다.
한편, 제어부(180)는, 센싱부(140)를 통해 상기 공간에 존재하는 객체의 움직임을 센싱할 수 있다.
제어부(180)는, 상기 센싱된 움직임에 근거하여, 일정시간 이후 상기 객체가 위치할 영역을 예측할 수 있다.
제어부(180)는, 상기 예측된 영역에 상기 객체가 위치하였을 때 상기 객체를 인식하는 인식률이 기 설정된 값 이상이 되게 하는 광 패턴이 상기 예측된 영역에 조사되도록 상기 복수의 발광소자 중 적어도 하나를 발광시킬 수 있다.
도 10을 참조하면, 로봇이 주행중인 경우, 예를 들어, 고속 주행 중인 경우, 대부분 고속도로나 자동차 전용도로 등의 도로 환경에서 로봇과 주변 객체 모두 빠르게 움직이는 상황이다.
로봇(예를 들어, 로봇 또는 차량) 및 주변 객체가 모두 동시에 빠르게 움직이는 상황이므로, 제어부(180)는, 로봇의 움직임 정보와 주변 객체의 움직임 정보를 모두 측정한 후, 주변 객체의 상대적인 움직인 정보를 계산할 수 있다.
로봇 및 주변 객체의 이동속도가 빠르므로, 제어부(180)는, 주변 객체의 움직임을 예측하여 높은 인식률을 얻을 수 있도록 광 조사 영역(또는 램프 조사 영역)을 미리 계산할 수 있다.
광 조사 영역을 미리 계산하기 위해서는, 주변 객체의 이동 경로를 미리 예측하는 것이 중요하다.
이를 위해서, 제어부(180)는, 주변 객체의 주행 방향, 즉 로봇과 같은 정방향인지, 아니면 마주오는 역방향인지를 인식하고, 지도 정보 등을 참고하여 주변 객체가 움직일 것으로 예상되는 경로를 미리 예측할 수 있다.
예를 들면, 제어부(180)는, 지도의 도로 곡률 정보 및 상기 객체의 과거 속도 정보를 기반으로, 일정 시간 이후의 상기 객체의 위치를 미리 예측하여 인식률이 떨어지지 않도록 해당 영역을 커버할 수 있도록 광 패턴(램프 패턴)을 생성한 후 조사할 수 있다.
이를 위해, 도 10에 도시된 것과 같이, 제어부(180)는, 로봇(로봇)의 움직임 정보를 측정하고(S1010), 주변 객체의 움직임 정보를 센싱부를 통해 측정할 수 있다(S1020).
이후, 제어부(180)는, 주변 객체의 일정 시간 이후의 위치 정보를 예측하고(S1030), 예측한 영역을 포함하여 주변 객체에 대한 인식률을 높일 수 있도록 광 패턴을 생성한 후 생성된 광 패턴을 주변 객체에 조사할 수 있다(S1030, S1040, S1050).
한편, 로봇이 저속 주행중인 경우, 저속으로 로봇의 움직임이 크지 않으므로, 로봇의 상태가 객체를 인지하는데 영향이 크지 않다. 따라서, 제어부(180)는, 일반 주행 시에 비해, 랜덤 패턴 생성시 로봇 상태의 가중치를 낮추고, 로봇 상태의 가중치를 낮춘 만큼, 환경요소의 가중치를 높게 고려할 수 있다.
특히, 제어부(180)는, 조도, 날씨, 도로 경사, 도로 노면, 도로 상태의 가중치를 높이고, 저속 시에는 고속 시에 비해 목표 객체의 classification probability 가 높아지므로, 랜덤 패턴 생성시 목표 객체 요소의 가중치를 높일 수 있다.
예를 들어, 상기 제어부는, 로봇의 움직임이 없는 정지 상태인 경우, 객체 인식률의 기준이 되는 기 설정된 값을 증가시키고, 상기 로봇의 움직임이 있는 경우, 상기 기 설정된 값을 감소시킬 수 있다.
도 11을 참조하면, 제어부(180)는, 센서(센싱부) 또는 V2X(Vehicle to everything) 통신을 통해 환경요소를 수신(센싱)할 수 있다(S1110). 상기 환경요소는, 조도, 습도, 온도, 날씨, 시간, 도로경사, 도로 노면, 도로 상태 등을 포함할 수 있다.
제어부(180)는, 센서를 통해 목표 객체 요소를 파악할 수 있다(S1120). 예를 들어, 제어부(180)는, 객체의 개수, 위치 속도, 재질 등을 파악할 수 있다.
제어부(180)는, 유사한 환경에 대한 랜덤 광 패턴을 생성할 수 있다(S1130). 제어부(180)는, 메모리에 상기 환경요소 및 목표 객체 요소에 대응되는 광 패턴에 대한 정보가 존재하는 경우, 대응되는 광 패턴을 생성하도록 광원부(124)를 제어할 수 있다.
제어부(180)는, 센서, V2V(Vehicle to Vehicle) 통신을 통해 로봇 상태 주변 로봇 요소를 파악하고, 램프(광원부) 속성 요소를 파악할 수 있다(S1140, S1150).
제어부(180)는, 유사한 환경에 대한 광 패턴의 밝기를 조절할 수 있다(S1160).
한편, 로봇이 정차 중에는 움직임에 대한 변수가 없기 때문에, 주변 환경에 대한 변수를 최대한 이용할 수 있다.
제어부(180)는, 로봇의 움직임이 없으므로, 주변의 변화도 크지 않기 때문에, 더욱 다양한 랜덤 패턴을 이용하여 최적의 광 패턴을 찾을 수 있다. 이에, 제어부(180)는, 모든 패턴을 검증하거나 로봇의 움직임이 존재하기 전까지 이를 수행할 수 있다.
도 12를 참조하면, 제어부(180)는, 제어부(180)는, 센서 또는 V2X 통신을 통해 환경 요소를 수신하고(S1210), 센서를 통해 목표 객체 요소를 파악할 수 있다(S1220).
이후, 제어부(180)는, 환경 요소 및 목표 객체 요소에 대응되는 라이트 패턴(즉, 광 패턴)이 메모리에 존재하는지 검색하고, 없는 경우, 임의의 광 패턴을 생성할 수 있다(S1230, S1240).
제어부(180)는, 임의의 광 패턴이 조사되는 객체를 인식하고, 인식률이 기 설정된 값 이상을 갖는 최적의 광 패턴을 결정할 수 있다(S1250, 1260).
이후, 제어부(180)는, 모든 광 패턴에 대하여 검증이 수행하거나, 로봇의 움직임이 감지되면, 광 패턴 검색과정을 종료할 수 있다(S1270, S1280).
한편, 로봇이 주차 중인 경우에는, 로봇의 속도가 저속으로 (30kph 이하) 로봇의 상태보다 환경요소, 주변 로봇 요소, 목표 객체 요소가 객체 인식에 더 큰 영향을 준다.
제어부(180)는, 주차장이 실내인 경우, 환경요소 중 실내의 조도, 주변 로봇 요소 및 노면 상태가 객체 인식에 더 큰 영향을 주므로 관련 파라미터의 가중치를 높일 수 있다.
제어부(180)는, 주차장이 실외인 경우, 환경요소 중 날씨, 실외의 조도, 습도, 온도, 주변 로봇 요소 및 노면 상태가 객체 인식에 더 큰 영향을 주므로 관련 파라미터의 가중치를 높일 수 있다.
제어부(180)는, 모든 패턴을 검증하거나 주차할 영역을 찾을 때까지 다양한 랜덤 패턴을 이용하여 최적의 광 패턴(라이트 패턴) 검색을 수행한다.
도 13을 참조하면, 제어부(180)는, 센서 또는 V2X 통신을 통해 환경 요소를 수신하고, 센서를 통해 목표 객체 요소를 파악할 수 있다(S1310, S1320).
이후, 제어부(180)는, 로봇이 실내 주차장인 경우, 실내의 조도, 주변 로봇 요소 및 노면 상태에 대한 가중치를 상향할 수 있다(S1330, S1340).
반면, 제어부(180)는, 로봇이 실외 주차장인 경우, 날씨, 실외의 조도, 습도, 온도, 주변 로봇(로봇) 요소 및 노면 상태에 대한 가중치를 상향할 수 있다(S1330, S1350).
가중치가 상향된 상태에서, 제어부(180)는, 광 패턴을 검색하고, 랜덤 광 패턴하며, 객체 인식 후 최적의 광 패턴을 결정할 수 있다(S1360, S1370, S1380, S1390).
본 명세서에서 최적의 광 패턴을 결정한다는 것은, 객체 인식률이 기 설정된 값(임계값) 이상인 광 패턴을 결정하는 것 또는 소정 시간 이내에 조사된 복수의 랜덤 광 패턴 중 가장 높은 객체 인식률을 갖는 광 패턴을 결정하는 것을 의미할 수 있다.
도 14에 도시된 것과 같이, 제어부(180)는, 객체에 조사되는 광 패턴이 달라지도록, 광원부(124)에 조사되는 복수의 발광소자를 제어할 수 있다.
예를 들어, 도 14에 도시된 3 개의 광 패턴은, 임의로 조사되는 광 패턴들 중 하나이며, 객체에 조사되는 광 패턴이 달라지면, 객체 인식률이 달라질 수 있다.
제어부(180)는, 객체 인식률이 가장 높은 광 패턴을 결정하도록, 복수의 발광소자를 임의로 발광시켜 광 패턴을 가변시킬 수 있다.
한편, 본 발명은, 광원부에서 출력된 광이 조사되는 공간에 복수의 객체가 존재하는 경우, 최적화된 객체 인식률을 갖도록 광원부를 제어할 수 있다.
도 15, 도 16 및 도 17은 본 발명의 다른 실시 예에 따른 객체 인식 방법을 설명하기 위한 개념도 및 흐름도이다.
도 15를 참조하면, 제어부(180)는, 광원부에서 광을 출력하는 공간에 복수의 객체가 존재하는 경우, 상기 공간에 존재하는 객체의 종류가 동일한지 여부를 결정할 수 있다.
이후, 제어부(180)는, 결정 결과에 근거하여, 제1 객체 인식 모드, 또는 제2 객체 인식 모드로 공간에 존재하는 객체를 인식하도록 광원부를 제어할 수 있다.
도 15에 도시된 것과 같이, 광원부에서 광을 출력하는 공간에 동일한 종류의 복수의 객체(예를 들어, 사람)가 존재하는 경우, 제어부(180)는, 각각의 객체의 객체 인식률을 결정할 수 있다.
이후, 제어부(180)는, 단일 종류(class)의 객체인 경우, 복수 개(N개)의 객체의 객체 인식률의 평균을 기반으로 최적의 램프 패턴(광 패턴)을 도출할 수 있다.
반면, 제어부(180)는, 도 16에 도시된 것과 같이, 여러 종류의 복수의 객체가 상기 공간에 존재하는 경우, 각 객체의 객체 인식률(class probability)를 추출하고, 복수의 객체의 각 종류별로 객체 인식률의 평균을 기반으로 최적의 램프 패턴(광 패턴)을 도출할 수 있다.
이를 위해, 제어부(180)는, 상기 공간에 존재하는 복수의 객체가 서로 다른 종류인 경우, 제1 객체 인식 모드로 객체를 인식하고, 상기 공간에 존재하는 복수의 객체가 동일한 종류인 경우, 제2 객체 인식 모드로 객체를 인식할 수 있다.
상기 제1 객체 인식 모드는, 종류별로 객체의 인식률을 추출하고, 종류별로 추출된 객체의 인식률에 근거하여 객체를 인식하는 모드일 수 있다.
제어부(180)는, 상기 제1 객체 인식 모드에서, 종류별 객체의 인식률을 추출하고, 추출된 종류별 객체의 인식률의 평균이 종류별 임계값을 초과하도록 상기 광원부를 제어할 수 있다.
제어부(180)는, 상기 제1 객체 인식 모드에 진입하면, 상기 복수의 발광소자 중 적어도 일부를 발광하여, 종류별 객체의 인식률의 평균이 종류별 임계값을 초과하도록 하는 광 패턴을 결정할 수 있다.
상기 제1 객체 인식 모드는, Selective Method일 수 있으며, 종류별로 객체 인식률이 종류별 임계값을 초과하는지 여부에 근거하여 객체를 인식하는 모드일 수 있다.
한편, 상기 제2 객체 인식 모드는, 동일한 종류의 복수의 객체에 대한 인식률에 근거하여 객체를 인식하는 모드일 수 있다.
제어부(180)는, 상기 제2 객체 인식 모드에서, 복수의 객체에 대하여 인식률을 각각 추출하고, 추출된 인식률의 평균이 임계값을 초과하도록 상기 광원부를 제어할 수 있다.
제어부(180)는, 상기 제2 객체 인식 모드에 진입하면, 상기 복수의 발광소자 중 적어도 일부를 발광하여, 상기 복수의 객체의 인식률의 평균이 임계값을 초과하도록 하는 광 패턴을 결정할 수 있다.
상기 제2 객체 인식 모드는, Normalized Method일 수 있으며, 단일 종류의 복수의 객체를 인식하는 모드이므로, 복수의 객체 인식률의 평균에 근거하여 객체를 인식하는 모드일 수 있다.
도 17을 참조하면, 제어부(180)는, 센싱부를 통해 객체를 인식(인지)할 수 있다(S1702).
제어부(180)는, 센싱부(140)를 통해 현재 환경에 대한 정보(공간과 관련된 정보)에 대하여 센싱하고, 현재 환경에 대한 광 패턴(즉, 현재의 공간과 관련된 정보에 대응되는 광 패턴에 대한 정보)가 존재하는지 여부를 판단할 수 있다(S1704).
제어부(180)는, 현재 공간과 관련된 정보에 대응되는 광 패턴에 대한 정보가 존재하는 경우, 상기 광 패턴에 대한 정보에 대응되는 광 패턴이 객체에 조사되도록 광원부(124)를 제어할 수 있다(S1708).
한편, 제어부(180)는, 현재 공간과 관련된 정보에 대응되는 광 패턴에 대한 정보가 미존재하는 경우, 1개 이상의 광원(발광소자)를 임의로 선택하여 임의의 광 패턴을 객체에 조사할 수 있다(S1706, S1708).
이후, 제어부(180)는, 복수의 객체에 대한 인식률을 각각 계산할 수 있다(S1710).
제어부(180)는, 상기 공간에 존재하는 복수의 객체의 종류(type)이 동일한지 여부를 판단하고(S1712), 동일 여부에 따라 제1 객체 인식 모드 또는 제2 객체 인식 모드로 객체를 인식할 수 있다.
예를 들어, 제어부(180)는, 복수의 객체의 종류가 서로 상이한 경우, 제1 객체 인식 모드(Selective Method)로 객체를 인식할 수 있다(S1714).
일 예로, 제어부(180)는, 종류(type)별 객체 인식률의 평균이 종류별 임계값을 초과하는지 여부를 판단할 수 있다.
제어부(180)는, 상기 종류별 객체 인식률의 평균이 종류별 임계값을 초과하는 경우, 해당 광 패턴을 최적의 광 패턴(램프 패턴)으로 도출할 수 있다(S1718).
제어부(180)는, 상기 종류별 객체 인식률의 평균이 종류별 임계값을 초과하는 경우, 해당 광 패턴에 대한 정보를 객체의 종류 및 현재 공간과 관련된 정보와 연계하여 메모리에 저장할 수 있다.
한편, 제어부(180)는, 복수의 객체의 종류가 동일한 경우, 제2 객체 인식 모드(Normalized Method)로 객체를 인식할 수 있다(S1716).
일 예로, 제어부(180)는, 동일한 종류의 객체 인식률의 평균값이 임계값을 초과하는지 여부를 판단할 수 있다.
제어부(180)는, 동일한 종류의 객체 인식률의 평균이 임계값을 초과하는 경우, 해당 광 패턴을 최적의 광 패턴(램프 패턴)으로 도출할 수 있다(S1718).
제어부(180)는, 동일한 종류의 객체 인식률의 평균이 임계값을 초과하는 경우, 해당 광 패턴에 대한 정보를 객체의 종류 및 현재 공간과 관련된 정보와 연계하여 메모리에 저장할 수 있다.
제어부(180)는, 센서를 통하여 객체를 인지하고, 기존 데이터를 학습하여 구축한 Lamp Pattern DB 내에 현재 환경에 대한 램프 패턴 DB가 존재하는지 검색할 수 있다.
제어부(180)는 램프 패턴 DB가 존재하는 경우, 램프 패턴 DB에 대응되는 광 패턴을 조사하도록 광원부(124)를 제어할 수 있다.
제어부(180)는, 램프 패턴 DB가 존재하지 않는 경우, 1개 이상의 광원을 random으로 선택하여, 임의의 광 패턴을 조사하도록 광원부(124)를 제어할 수 있다.
제어부(180)는, 조사된 광 패턴에 따른 영상 데이터를 기반으로 N개의 객체에 대한 class probability(객체 인식률)를 계산한다.
제어부(180)는, 객체가 다수개인 경우, N개 객체(Object)의 종류(Type)를 분류(Classification)한다.
제어부(180)는, N개의 객체의 종류가 모두 동일한 경우, N개의 객체에 대한 Object class probability 를 전반적으로 향상 시킬 수 있도록 램프 밝기를 제어한다.
제어부(180)는, N개 Object의 class probability 의 평균이 Threshold 이상이 될 때, 해당 램프 패턴을 최적의 램프 패턴으로 선정한다. (Normalized Method)
제어부(180)는, N개의 객체의 종류이 다른 경우, 객체 종류의 중요도에 따라 Object class probability 를 선별적으로 향상 시킬 수 있도록 램프 밝기를 제어한다.
예를 들어, 제어부(180)는, 객체 종류가 Pedestrian, Bicyclist, Cyclist와 같이 사람이 관련된 경우는 class probability Threshold를 높게 부여할 수 있다.
제어부(180)는, 종류별 객체의 인식률(class probability)의 평균이 종류별 임계값(Threshold)이상이 될 때, 해당 램프 패턴을 최적의 램프 패턴으로 선정한다. (Selective Method)
제어부(180)는, 상기 제1 객체 인식 모드에서, 서로 다른 종류의 객체에 대하여, 우선순위가 가장 높은 종류의 객체 인식률을 기준으로 상기 광원부를 제어할 수 있다.
제어부(180)는, 상기 우선순위가 가장 높은 종류의 객체에 대한 인식률이 임계값을 초과하는 광 패턴이 조사되도록 상기 광원부를 제어할 수 있다.
한편, 제어부(180)는, 상기 제1 객체 인식 모드에서, 복수의 객체에 대한 종류에 근거하여, 객체 인식률의 임계값을 가변할 수 있다.
예를 들어, 제어부(180)는, 상기 객체를 인식하는 임계값을 제1 임계값으로 설정하고, 상기 복수의 객체에 기 설정된 종류의 객체가 포함된 경우, 상기 임계값을 상기 임계값 보다 높은 제2 임계값으로 설정할 수 있다.
제어부(180)는, 상기 복수의 객체에 상기 기 설정된 종류의 객체가 포함된 경우, 객체의 인식률이 상기 제2 임계값보다 큰 값을 가지는 광 패턴이 조사되도록 상기 광원부를 제어할 수 있다.
도 18, 도 19, 도 20, 도21, 도 22, 도 23, 도 24 및 도 25는 본 발명의 다양한 객체 인식 방법을 설명하기 위한 개념도 및 흐름도이다.
제어부(180)는, 광원부에서 광을 조사하는 공간에서 ROI를 설정할 수 있다.
제어부(180)는, ROI 내에서 광 패턴을 생성할 수 있다.
도 18을 참조하면, 제어부(180)는, 하나의 객체가 감지되는 경우, 감지된 객체 위주의 ROI를 설정하고, 이를 중심으로 임의의 광 패턴(random pattern)을 발산한다.
제어부(180)는, 다수의 객체가 감지되는 경우, 감지된 객체들을 기반으로 3D ROI를 설정하고, 설정된 ROI를 중심으로 임의의 광 패턴(random pattern)을 발산한다.
도 19를 참조하면, 제어부(180)는, 단일 또는 복수의 객체에 사람이 포함되어 있을 경우, 상반신 부분에는 광이 조사되지 않도록 ROI를 설정(조정)할 수 있다.
도 20을 참조하면, 객체 사이에 반대편 차로에 로봇 또는 사람이 존재하는 경우, 광이 로봇 또는 사람의 상반신 부분에 직접 조사되지 않도록 ROI를 설정하고, 설정된 ROI로 광을 조사하도록 광원부(124)를 제어할 수 있다.
예를 들어, 제어부(180)는, 로봇 또는 사람이 지나간 후 램프 밝기를 강화하거나, 상향등을 조사할 수 있다.
도 21을 참조하면, 제어부(180)는, 기존에 학습된 데이터에 기반으로 센싱된 정보(입력 영상)을 분석하여, 광 패턴을 검색(결정)할 수 있다.
학습에 사용되는 데이터는, 앞서 설명한, 환경요소, 객체 인식 장체의 자체 상태, 주변 로봇 요소, 목표 객체 요소, 램프 속성 등을 포함할 수 있다.
제어부(180)는, 센싱부를 통해 센싱된 객체의 정보를 입력으로 입력하고, 학습된 데이터 기반으로 임의의 광 패턴을 객체에 조사할 수 있다.
이 때, 입력값은, 객체의 거리, 개수, 종류 등을 포함할 수 있다.
제어부(180)는, 설정된 ROI에 임의의 광 패턴을 조사했을 때 객체 인식률의 평균이 기존 학습된 광 패턴의 객체 인식률보다 높은 경우, 상기 임의의 광 패턴에 대한 정보를 학습할 수 있다.
도 22를 참조하면, 제어부(180)는, 센싱부를 통해 객체를 인식하고, 객체가 존재하는 경우, 메모리에 현재 상태 및 객체의 종류에 대한 정보에 근거하여, 임의의 광 패턴을 객체에 조사할 수 있다(S2210, S2220, S2230).
제어부(180)는, 임의의 광 패턴의 객체 인식률이 기존에 학습되어 저장된 광 패턴의 객체 인식률보다 높은 경우, 메모리에 임의의 광 패턴에 대한 정보를 저장할 수 있다(S2240).
제어부(180)는, 현재 조사된 임의의 광 패턴의 객체 인식률이 기존 학습된 광 패턴의 객체 인식률보다 낮은 경우, 현재 조사된 광 패턴에 근거하여 객체 인식을 수행하고나, 학습된 광 패턴을 조사하도록 광원부를 제어한 후 객체 인식을 수행할 수 있다(S2250).
제어부(180)는, 램프 패턴을 생성할 때(Lamp pattern Initialization 하는 경우), 장치 내 센서 혹은 외부 Infra (V2V, V2I)를 활용하여 현재 로봇 주변 환경을 인식하고, Lamp Pattern DB 혹은 Lamp Pattern Cloud 내 현재 환경에 대한 Lamp Pattern이 존재하는지 검색하며, DB 내 Lamp Pattern이 존재하지 않는 경우, lamp pattern generation을 통해 1개 이상의 광원을 random으로 생성할 수 있다.
제어부(180)는, 객체 인식률이 임계값 이하로 감소하는 경우(Class probability 가 Threshold 이하로 감소하는 경우), 2) lamp pattern generation을 통해 1개 광원을 random으로 생성할 수 있다(lamp pattern re-generation).
제어부(180)는, 객체 인식률(Class probability)이 설정한 Threshold 이상이 될 때까지 lamp pattern generation을 수행한다. (lamp pattern generation iteration)
제어부(180)는, Class probability 가 Threshold 이상이면, lamp pattern을 DB (or Cloud)에 업데이트 한다.
제어부(180)는, Class probability 가 Threshold 이하이고, Object가 camera FOV 혹은 lamp 조사 가능범위(projection area)에 있으면, lamp pattern generation을 재 수행한다.
제어부(180)는, Class probability 가 Threshold 이하이고, Object가 camera FOV 혹은 lamp 조사 가능범위(projection area)에서 벗어나면, lamp pattern generation을 종료한다.
한편, 제어부(180)는, 센싱부를 이용하여 공간에 존재하는 객체를 추적하면서 인식률이 기 설정된 값 이상이 되게 하는 광 패턴을 조사할 수 있다. 이후, 제어부(180)는, 추적중인 객체가 사라지는 경우, 새로운 광 패턴을 생성할 수 있다.
도 23을 참조하면, 첫 번째 도면이 T=t, iteration =1인 경우, 제어부(180)는, Class probability 가 Threshold 이하로 감소하여, Lamp pattern re-generation을 수행할 수 있다.
두 번째 도면이 T=t+1, iteration = 10인 경우, 제어부(180)는, Class probability 가 Threshold 이하이고, Object가 camera FOV 내 존재하면, lamp pattern generation을 재 수행한다.
세 번째 도면이 T=t+2, iteration = 20인 경우, 제어부(180)는, Class probability 가 Threshold 이하이고, Object가 camera FOV 내에서 벗어나면, lamp pattern generation을 종료할 수 있다.
한편, 제어부(180)는, 로봇(로봇)의 움직임 여부 및 객체 추적 결과에 따라 광 패턴 생성을 다양하게 제어할 수 있다.
도 24를 참조하면, 제어부(180)는, 센싱부를 통해 장치(로봇)가 정차중인지 판단하고, 정차중인 경우, 객체 인식률의 임계값을 상향시킬 수 있다(S2402, S2404).
한편, 제어부(180)는, 센싱부를 통해 장치가 움직이는 경우, 객체 인식률의 임계값을 하향시킬 수 있다(S2406).
제어부(180)는, 센싱부를 통해 추적중인 객체가 사라지는 경우, 광 패턴을 새롭게 생성할 수 있다(S2408, S2410).
제어부(180)는, 로봇이 정차 중이 아닌 경우, 즉 로봇이 움직이는 경우에는 로봇의 모션에 의해 객체에 대한 센싱 입력에 Blurring 등이 발생하여 객체 인식률이 떨어질 수 있으므로, Detection Threshold를 낮춰서 인식이 실패하는 비율을 낮춘다. 그 반대의 경우, 즉 로봇이 정차 중인 경우에는 반대로 상향시킨다.
제어부(180)는, 추적 중인 객체가 사라진 경우에는 상기 객체에 맞춰 생성된 기존 라이트 패턴을 사용할 수 없으므로, 주어진 환경에 맞는 새로운 라이트 패턴을 생성한다.
한편, 제어부(180)는, 상기 광 패턴을 조사하기 위한 발광소자 중 적어도 하나가 고장난 경우, 고장난 발광소자에 인접한 발광소자 중 적어도 하나를 발광시키며, 상기 광 패턴에 대응되는 광 패턴이 조사되도록, 상기 인접한 발광소자 중 적어도 하나의 발광을 제어할 수 있다.
도 25를 참조하면, 제어부(180)는, 기 설정된 값 이상의 객체 인식률을 갖도록 하는 광 패턴을 조사하기 위한 발광소자 중 어느 하나(2500)가 고장(fail)난 경우, 다른 광원을 활용할 수 있다.
제어부(180)는, 해당 광 패턴을 조사하기 위해 선택된 광원(2500)이 fail인 경우, 다른 광원(2510)을 활용할 수 있다.
예를 들어, 제어부(180)는, 최적의 lamp pattern을 조사하기 위한 발광소자(LED)가 fail인 경우, fail인 LED 주변 LED(인접한 발광소자)를 선택할 수 있다.
제어부(180)는, 선택된 주변 LED 내 lamp 각도를 fail인 LED lamp 방향으로 조절할 수 있다.
제어부(180)는, 선택된 주변 LED 내 lamp 강도를 기존 LED의 강도보다 강하게 조절한다.
제어부(180)는, 선택된 주변 LED를 LED 특성을 조절하여 조사하여 최적 Lamp Pattern과 유사한 램프 패턴을 구현할 수 있다.
이를 통해, 본 발명은, LED가 고장난 경우에도, 주변 LED를 활용하여 최적의 램프 밝기 제어를 수행할 수 있다.
본 발명에 따른 로봇 및 그 제어 방법의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 본 발명은 객체를 인식할 때 조명을 활용하여 객체 인식률을 임계값보다 이상이 되도록 유지할 수 있는 새로운 로봇 및 그것의 제어방법을 제공할 수 있다.
본 발명은 복수의 객체가 존재하는 경우에도 객체의 종류에 따라 조명 제어를 다르게 수행하여 최적화된 방법으로 객체 인식을 수행할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 로봇의 제어부(180)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (28)

  1. 복수의 발광소자를 포함하는 광원부;
    상기 광원부에서 광을 출력하는 공간과 관련된 정보를 센싱하는 센싱부; 및
    상기 센싱부를 통해 상기 공간에 존재하는 객체를 인식하도록 상기 광원부를 발광시키는 제어부를 포함하고,
    상기 제어부는,
    상기 객체를 인식하는 인식률이 기 설정된 값 이상이 되게 하는 광 패턴이 상기 공간에 조사되도록 상기 복수의 발광소자 중 적어도 하나를 발광시키는 것을 특징으로 하는 로봇.
  2. 제 1 항에 있어서,
    상기 복수의 발광소자는, 각각 서로 다른 공간으로 빛을 조사하도록 형성되고,
    상기 복수의 발광소자 중 발광하는 소자가 달라지면, 조사되는 광의 광 패턴이 달라지는 것을 특징으로 하는 로봇.
  3. 제 1 항에 있어서,
    상기 센싱부는,
    상기 광원부에서 조사된 광이 객체에 반사되어 수신되는 것에 근거하여 상기 객체를 인식하며,
    상기 광원부에서 출력된 광의 광 패턴이 달라지면, 상기 객체를 인식하는 인식률은 달라지는 것을 특징으로 하는 로봇.
  4. 제 1 항에 있어서,
    공간과 관련된 정보와 광 패턴에 대한 정보를 연계하여 저장하는 메모리를 더 포함하고,
    상기 제어부는,
    상기 센싱부에 의해 센싱된 공간과 관련된 정보에 근거하여, 상기 센싱된 공간과 관련된 정보가 상기 메모리에 존재하는지 결정하는 것을 특징으로 하는 로봇.
  5. 제 4 항에 있어서,
    상기 제어부는,
    상기 메모리에 상기 센싱된 공간과 관련된 정보가 존재하면, 상기 센싱된 공간과 관련된 정보에 연계된 광 패턴에 대한 정보에 근거하여, 상기 복수의 발광소자를 발광시키는 것을 특징으로 하는 로봇.
  6. 제 5 항에 있어서,
    상기 제어부는,
    상기 센싱된 공간과 관련된 정보에 연계된 광 패턴에 대한 정보에 대응되는 광 패턴으로 빛을 조사하도록, 상기 복수의 발광소자 중 적어도 일부를 발광시키는 것을 특징으로 하는 로봇.
  7. 제 4 항에 있어서,
    상기 제어부는,
    상기 메모리에 상기 센싱된 공간과 관련된 정보가 미존재하면, 상기 객체를 인식하는 인식률이 기 설정된 값 이상이 되게 하는 광 패턴이 상기 공간에 조사되도록, 상기 복수의 발광소자 중 적어도 일부를 임의로 발광시켜 복수의 랜덤 광 패턴을 상기 공간에 조사하는 것을 특징으로 하는 로봇.
  8. 제 7 항에 있어서,
    상기 제어부는,
    상기 복수의 랜덤 광 패턴 중 어느 광 패턴으로 빛을 조사했을 때 객체를 인식하는 인식률이 상기 기 설정된 값 이상이 되는 것에 근거하여, 상기 어느 광 패턴과 관련된 정보를 메모리에 저장하는 것을 특징으로 하는 로봇.
  9. 제 8 항에 있어서,
    상기 어느 광 패턴과 관련된 정보는, 상기 어느 광 패턴을 생성하기 위해 발광되어야 하는 발광소자에 대한 정보를 포함하는 것을 특징으로 하는 로봇.
  10. 제 9 항에 있어서,
    상기 어느 광 패턴과 관련된 정보는, 상기 센싱된 공간과 관련된 정보와 연계되어 메모리에 저장되는 것을 특징으로 하는 로봇.
  11. 제 1 항에 있어서,
    상기 제어부는,
    상기 센싱부를 통해 상기 공간에 존재하는 객체의 움직임을 센싱하고,
    상기 센싱된 움직임에 근거하여, 일정시간 이후 상기 객체가 위치할 영역을 예측하는 것을 특징으로 하는 로봇.
  12. 제 11 항에 있어서,
    상기 제어부는,
    상기 예측된 영역에 상기 객체가 위치하였을 때 상기 객체를 인식하는 인식률이 기 설정된 값 이상이 되게 하는 광 패턴이 상기 예측된 영역에 조사되도록 상기 복수의 발광소자 중 적어도 하나를 발광시키는 것을 특징으로 하는 로봇.
  13. 제 1 항에 있어서,
    상기 제어부는,
    로봇의 움직임이 없는 정지 상태인 경우, 상기 기 설정된 값을 증가시키고,
    상기 로봇의 움직임이 있는 경우, 상기 기 설정된 값을 감소시키는 것을 특징으로 하는 로봇.
  14. 제 1 항에 있어서,
    상기 제어부는,
    상기 센싱부를 이용하여 상기 공간에 존재하는 객체를 추적하면서 상기 인식률이 기 설정된 값 이상이 되게 하는 광 패턴을 조사하며,
    상기 추적중인 객체가 사라지는 경우, 새로운 광 패턴을 생성하는 것을 특징으로 하는 로봇.
  15. 제 1 항에 있어서,
    상기 제어부는,
    상기 광 패턴을 조사하기 위한 발광소자 중 적어도 하나가 고장난 경우, 고장난 발광소자에 인접한 발광소자 중 적어도 하나를 발광시키며,
    상기 광 패턴에 대응되는 광 패턴이 조사되도록, 상기 인접한 발광소자 중 적어도 하나의 발광을 제어하는 것을 특징으로 하는 로봇.
  16. 복수의 발광소자를 포함하는 광원부;
    상기 광원부에서 광을 출력하는 공간과 관련된 정보를 센싱하는 센싱부; 및
    상기 센싱부를 통해 상기 공간에 존재하는 객체를 인식하도록 상기 광원부를 발광시키는 제어부를 포함하고,
    상기 제어부는,
    상기 공간에 복수의 객체가 존재하는 경우, 상기 공간에 존재하는 객체의 종류가 동일한지 여부를 결정하고,
    결정 결과에 근거하여, 제1 객체 인식 모드 또는 제2 객체 인식 모드로 상기 공간에 존재하는 객체를 인식하도록 상기 광원부를 제어하는 것을 특징으로 하는 로봇.
  17. 제 16 항에 있어서,
    상기 제어부는,
    상기 공간에 존재하는 복수의 객체가 서로 다른 종류인 경우, 제1 객체 인식 모드로 객체를 인식하고,
    상기 공간에 존재하는 복수의 객체가 동일한 종류인 경우, 제2 객체 인식 모드로 객체를 인식하는 것을 특징으로 하는 로봇.
  18. 제 17 항에 있어서,
    상기 제1 객체 인식 모드는, 종류별로 객체의 인식률을 추출하고, 종류별로 추출된 객체의 인식률에 근거하여 객체를 인식하는 모드인 것을 특징으로 하는 로봇.
  19. 제 18 항에 있어서,
    상기 제어부는,
    상기 제1 객체 인식 모드에서, 종류별 객체의 인식률을 추출하고, 추출된 종류별 객체의 인식률의 평균이 종류별 임계값을 초과하도록 상기 광원부를 제어하는 것을 특징으로 하는 로봇.
  20. 제 19 항에 있어서,
    상기 제어부는,
    상기 제1 객체 인식 모드에 진입하면, 상기 복수의 발광소자 중 적어도 일부를 발광하여, 종류별 객체의 인식률의 평균이 종류별 임계값을 초과하도록 하는 광 패턴을 결정하는 것을 특징으로 하는 로봇.
  21. 제 17 항에 있어서,
    상기 제2 객체 인식 모드는, 동일한 종류의 복수의 객체에 대한 인식률에 근거하여 객체를 인식하는 모드인 것을 특징으로 하는 로봇.
  22. 제 21 항에 있어서,
    상기 제어부는,
    상기 제2 객체 인식 모드에서, 복수의 객체에 대하여 인식률을 각각 추출하고, 추출된 인식률의 평균이 임계값을 초과하도록 상기 광원부를 제어하는 것을 특징으로 하는 로봇.
  23. 제 22 항에 있어서,
    상기 제어부는,
    상기 제2 객체 인식 모드에 진입하면, 상기 복수의 발광소자 중 적어도 일부를 발광하여, 상기 복수의 객체의 인식률의 평균이 임계값을 초과하도록 하는 광 패턴을 결정하는 것을 특징으로 하는 로봇.
  24. 제 16 항에 있어서,
    상기 제어부는,
    상기 제1 객체 인식 모드에서, 서로 다른 종류의 객체에 대하여, 우선순위가 가장 높은 종류의 객체 인식률을 기준으로 상기 광원부를 제어하는 것을 특징으로 하는 로봇.
  25. 제 24 항에 있어서,
    상기 제어부는,
    상기 우선순위가 가장 높은 종류의 객체에 대한 인식률이 임계값을 초과하는 광 패턴이 조사되도록 상기 광원부를 제어하는 것을 특징으로 하는 로봇.
  26. 제 16 항에 있어서,
    상기 제어부는,
    상기 제1 객체 인식 모드에서, 복수의 객체에 대한 종류에 근거하여, 객체 인식률의 임계값을 가변하는 것을 특징으로 하는 로봇.
  27. 제 26 항에 있어서,
    상기 제어부는,
    상기 객체를 인식하는 임계값을 제1 임계값으로 설정하고,
    상기 복수의 객체에 기 설정된 종류의 객체가 포함된 경우, 상기 임계값을 상기 임계값 보다 높은 제2 임계값으로 설정하는 것을 특징으로 하는 로봇.
  28. 제 27 항에 있어서,
    상기 제어부는,
    상기 복수의 객체에 상기 기 설정된 종류의 객체가 포함된 경우, 객체의 인식률이 상기 제2 임계값보다 큰 값을 가지는 광 패턴이 조사되도록 상기 광원부를 제어하는 것을 특징으로 하는 로봇.
PCT/KR2022/007417 2021-09-10 2022-05-25 로봇 및 그것의 제어방법 WO2023038230A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020210121275A KR20230038031A (ko) 2021-09-10 2021-09-10 로봇 및 그것의 제어방법
KR10-2021-0121275 2021-09-10
KR10-2021-0121274 2021-09-10
KR1020210121274A KR20230038030A (ko) 2021-09-10 2021-09-10 로봇 및 그것의 제어방법

Publications (1)

Publication Number Publication Date
WO2023038230A1 true WO2023038230A1 (ko) 2023-03-16

Family

ID=85507675

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/007417 WO2023038230A1 (ko) 2021-09-10 2022-05-25 로봇 및 그것의 제어방법

Country Status (1)

Country Link
WO (1) WO2023038230A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080090367A (ko) * 2008-08-26 2008-10-08 엘지전자 주식회사 이동로봇 및 그 동작방법
KR20130141979A (ko) * 2012-06-18 2013-12-27 엘지전자 주식회사 이동 로봇
KR20150119585A (ko) * 2014-04-15 2015-10-26 주식회사 삼광산전 객체 인식을 이용한 조명 제어 시스템 및 조명 제어 방법
US20190366552A1 (en) * 2018-05-29 2019-12-05 Abb Schweiz Ag Depth sensing robotic hand-eye camera using structured light
KR20200005858A (ko) * 2018-07-09 2020-01-17 엘지이노텍 주식회사 광 출력 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080090367A (ko) * 2008-08-26 2008-10-08 엘지전자 주식회사 이동로봇 및 그 동작방법
KR20130141979A (ko) * 2012-06-18 2013-12-27 엘지전자 주식회사 이동 로봇
KR20150119585A (ko) * 2014-04-15 2015-10-26 주식회사 삼광산전 객체 인식을 이용한 조명 제어 시스템 및 조명 제어 방법
US20190366552A1 (en) * 2018-05-29 2019-12-05 Abb Schweiz Ag Depth sensing robotic hand-eye camera using structured light
KR20200005858A (ko) * 2018-07-09 2020-01-17 엘지이노텍 주식회사 광 출력 방법 및 장치

Similar Documents

Publication Publication Date Title
WO2018159864A1 (ko) 이동 단말기 및 그 이동 단말기의 제어 방법
WO2021006366A1 (ko) 디스플레이 패널의 색상을 조정하는 인공 지능 장치 및 그 방법
WO2016182132A1 (ko) 이동단말기 및 그 제어방법
WO2018169135A1 (en) Terminal and method of controlling therefor
WO2017003053A1 (ko) 차량용 디스플레이 장치 및 차량
WO2016175424A1 (ko) 이동 단말기 및 그 제어 방법
WO2018056515A1 (ko) 차량용 카메라 장치 및 방법
WO2018139790A1 (ko) 이동 단말기
WO2019135621A1 (ko) 영상 재생 장치 및 그의 제어 방법
WO2018093002A1 (ko) 이동 단말기 및 그 제어 방법
WO2022010122A1 (ko) 영상을 제공하는 방법 및 이를 지원하는 전자 장치
WO2017204498A1 (ko) 이동 단말기
WO2015194773A1 (ko) 디스플레이 장치 및 그 구동 방법
WO2021029457A1 (ko) 사용자에게 정보를 제공하는 인공 지능 서버 및 그 방법
WO2017164717A1 (ko) 센서 모듈 및 이의 동작 방법
WO2016114437A1 (ko) 이동 단말기 및 그것의 제어방법
WO2022154387A1 (ko) 전자 장치 및 그의 동작 방법
WO2020085873A1 (ko) 카메라, 및 이를 구비하는 단말기
WO2018052159A1 (ko) 이동 단말기 및 그 제어방법
WO2017043705A1 (ko) 센서, 헤드 램프 및 차량
WO2016204507A1 (ko) 자율 주행 차량
WO2021215752A1 (ko) 광학 장치 및 이를 구비하는 카메라 장치와 전자기기
WO2023038230A1 (ko) 로봇 및 그것의 제어방법
WO2017065352A1 (ko) 차량용 어라운드 뷰 제공 장치 및 차량
WO2017082472A1 (ko) 이동단말기 및 그 제어방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22867499

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE