WO2022124477A1 - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
WO2022124477A1
WO2022124477A1 PCT/KR2021/000999 KR2021000999W WO2022124477A1 WO 2022124477 A1 WO2022124477 A1 WO 2022124477A1 KR 2021000999 W KR2021000999 W KR 2021000999W WO 2022124477 A1 WO2022124477 A1 WO 2022124477A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual
robot
sensing data
error rate
sensor
Prior art date
Application number
PCT/KR2021/000999
Other languages
English (en)
French (fr)
Inventor
호종현
구민수
정대경
임종록
정연모
허인
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of WO2022124477A1 publication Critical patent/WO2022124477A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems

Definitions

  • One technical problem to be solved by the present invention is to provide simulation data in which an error rate of a sensor is reflected.
  • Another technical problem to be solved by the present invention is to provide parameters related to the robot based on simulation data.
  • an electronic device includes: a communication interface; a memory storing at least one instruction; and a processor, wherein the processor generates a virtual robot and a virtual environment for driving simulation of the virtual robot, obtains control information for controlling the virtual robot from a robot control device, and based on the control information performing a driving simulation on the virtual robot, and while performing the driving simulation, sensing data corresponding to a distance between the virtual robot and an object in the virtual environment is obtained, and the sensing data and the virtual robot are
  • An electronic device that obtains virtual sensing data output when the virtual sensor measures the distance between the virtual robot and the object based on the error rate of the included virtual sensor, and outputs the virtual sensing data to the robot control device can be provided.
  • a method of controlling an electronic device comprising: generating a virtual robot and a virtual environment for simulating driving of the virtual robot; obtaining control information for controlling the virtual robot from a robot control device; performing a driving simulation on the virtual robot based on the control information; acquiring sensing data corresponding to a distance between the virtual robot and an object in the virtual environment while performing the driving simulation; acquiring virtual sensing data output when the virtual sensor measures a distance between the virtual robot and the object based on the sensing data and an error rate of a virtual sensor included in the virtual robot; and outputting the virtual sensing data to the robot control device.
  • a control method comprising a may be provided.
  • 3A is a diagram for explaining a method of learning a neural network model for acquiring virtual sensing data according to an embodiment of the present disclosure.
  • FIG. 4 is a diagram for explaining an error rate of a virtual sensor according to an embodiment of the present disclosure.
  • the electronic device 100 may generate the virtual robot 11 and a virtual environment for driving simulation of the virtual robot 11 .
  • the electronic device 100 may perform a driving simulation of the virtual robot 11 in a virtual environment.
  • the virtual robot 11 may acquire sensing data related to the virtual environment from the virtual sensor 12 .
  • the virtual sensor 12 is a LiDAR (Light Detection And Ranging) sensor
  • the virtual robot 11 uses the virtual sensor 12 to obtain distance information about the object 13 existing in the virtual environment. can be obtained
  • the virtual robot 11 may drive based on the acquired sensing data.
  • the electronic device 100 may reflect the sensing error rate in the sensing data of the virtual sensor 12 similarly to the real sensor 15 , and obtain the sensing data reflecting the error rate and provide it to the user. .
  • the communication interface 110 may perform data communication by wire or wirelessly.
  • the communication interface 110 may be implemented as a wired communication module (eg, LAN, etc.).
  • the communication interface 110 is a Wi-Fi communication module, a cellular communication module, a 3G (3rd generation) mobile communication module, a 4G (4th generation) mobile communication module, a 4th generation LTE (Long) It may include at least one of a Term Evolution) communication module and a 5G (5th generation) mobile communication module.
  • the sensing data acquired through the sensing data acquisition module 135 may be ground truth data that does not include an error that is inevitably generated in a real environment.
  • a lidar sensor in a real environment acquires sensing data having an error rate according to various factors including a distance from an object and a characteristic (eg, material or transmittance) of the object.
  • the virtual robot acquires sensing data in a virtual environment, it is possible to acquire ground truth data having no error rate.
  • the real robot is modeled by applying the sensing data obtained in the virtual environment as it is, the real robot may malfunction.
  • the robot may move to an inefficient driving path, and thus the user's satisfaction and convenience may decrease.
  • the virtual sensing data Dp may be modeled as in [Equation 1] below.
  • the determination module 220 may determine how to operate the virtual robot based on the virtual sensing data and the analysis result of the recognition module 210 . That is, the determination module 220 may determine an action to be performed by the virtual robot. For example, if an object exists within a preset distance from the virtual robot, the determination module 220 may determine an action to bypass the object and travel.
  • each of the modules 131 to 136 has been described as a configuration of the processor 130 , but this is only an exemplary embodiment, and each of the modules 131 to 136 may be stored in the memory 120 .
  • the processor 130 may load the plurality of modules 131 to 136 stored in the memory 120 from the nonvolatile memory to the volatile memory to execute respective functions of the plurality of modules 131 to 136 .
  • each module of the processor 130 may be implemented as software or a combination of software and hardware.
  • 3A is a diagram for explaining a method of learning a neural network model for acquiring virtual sensing data according to an embodiment of the present disclosure.
  • 3B is a diagram for explaining a method of acquiring virtual sensing data using a neural network model according to an embodiment of the present disclosure.
  • the neural network model 30 according to the present disclosure is not necessarily learned by the electronic device 100 . That is, the neural network model 30 is trained by an external device (or an external server), and the electronic device 100 may receive the neural network model 30 that has been trained by the external device.
  • the electronic device 100 may acquire the virtual sensing data 32 by inputting the sensing data 31 into the neural network model 30 on which training has been completed. Meanwhile, the weights W1 , W2 , and W3 of the neural network model 30 may correspond to the error rates Ed, Ema, and Emo of the aforementioned virtual sensor. That is, the electronic device 100 may acquire the error rates Ed, Ema, and Emo of the virtual sensor through the process of learning the neural network model 30 .
  • the error rate of the virtual sensor according to the present disclosure may be selected from among a plurality of values falling within a specific range.
  • the error rate of the virtual sensor may be selected as one of values corresponding to a normal distribution function as shown in FIG. 4 .
  • the first function 41 may correspond to the first error rate
  • the second function 42 may correspond to the second error rate
  • the third function 43 may correspond to the third error rate.
  • the virtual sensing data Dp may be modeled as in Equation 2 below.
  • the electronic device 100 may randomly obtain each error rate based on [Equation 2]. When each error rate is obtained, the electronic device 100 may repeatedly perform a driving simulation of the virtual robot based on each obtained error rate. In addition, the electronic device 100 may acquire simulation data corresponding to each driving simulation and store it in the memory 120 .
  • the simulation data may include at least one of a driving route, a driving distance, a driving time, and power consumed for driving of the virtual robot to reach a specific destination.
  • the simulation data may include difficulty and cost of a process for manufacturing a real robot corresponding to the virtual robot in each driving simulation.
  • the electronic device 100 may identify at least one driving simulation based on the simulation data. For example, the electronic device 100 may identify a first driving simulation having the smallest driving distance among a plurality of driving simulations. Alternatively, the electronic device 100 may identify a second driving simulation having the smallest driving time among a plurality of driving simulations. In addition, the electronic device 100 may identify a third driving simulation in which power consumed for driving is the smallest among the plurality of driving simulations. Then, the electronic device 100 may acquire an error rate (or parameter) corresponding to the identified driving simulation. The electronic device 100 may output the obtained error rate and provide it to the user. For example, when the first driving simulation is identified, the electronic device 100 may output a parameter corresponding to the first driving simulation and provide it to the user. In this way, the electronic device 100 may recommend a specific parameter to the user. Accordingly, the user may manufacture an actual sensor based on the parameters provided by the electronic device 100 , and thus the user's convenience and satisfaction may be improved.
  • the error rate of the virtual sensor as a parameter of the virtual sensor has been mainly described, but this is only an example, and the electronic device 100 obtains virtual sensing data based on parameters for various information, and Optimal parameters can be provided.
  • the parameters of the virtual sensor may include information about specifications such as a detection distance, a detection range, a scanning period, and a sampling period of the virtual sensor.
  • the parameter of the virtual sensor may include arrangement information such as an installation position or posture of the virtual sensor.
  • the parameter according to the present disclosure may include information about a virtual environment (eg, map information) or a simulation purpose (eg, driving the shortest distance) as well as information about the virtual sensor.
  • the electronic device may generate a virtual robot and a virtual environment for driving simulation of the virtual robot ( S510 ).
  • the electronic device 100 may display the generated virtual robot and the virtual environment.
  • the electronic device may obtain control information for controlling the virtual robot from the robot control device ( S520 ), and perform a driving simulation on the virtual robot based on the control information ( S530 ).
  • the electronic device may acquire sensing data corresponding to the distance between the virtual robot and the object in the virtual environment while performing the driving simulation ( S540 ).
  • the electronic device 100 may acquire sensing data based on location information (or coordinate information) of the virtual robot and the object. Location information about the virtual robot and the object may be stored in the memory 120 .
  • the electronic device may obtain virtual sensing data output when the virtual sensor measures the distance between the virtual robot and the object based on the sensing data and the error rate of the virtual sensor included in the virtual robot ( S550 ).
  • the electronic device 100 may obtain an error value based on the sensing data and the error rate of the virtual sensor.
  • the electronic device 100 may acquire virtual sensing data by summing the sensing data and the error value.
  • the error rate of the virtual sensor may include at least one of a first error rate related to the distance between the virtual sensor and the object, a second error rate related to the material of the object, and a third error rate related to a motor included in the virtual sensor.
  • the electronic device 100 may obtain virtual sensing data by inputting the learned neural network model.
  • the learned neural network model may be learned based on sensing data and a real sensor corresponding to the virtual sensor.
  • the weight of the learned neural network model may correspond to the error rate of the virtual sensor.
  • the error rate of the virtual sensor may have a value corresponding to a normal distribution function.
  • the electronic device 100 may repeatedly perform the driving simulation while changing the error rate of the virtual sensor.
  • the electronic device 100 may identify at least one driving simulation based on at least one of a driving path, a driving distance, and a driving time of the virtual robot according to the driving simulation.
  • the electronic device 100 may output an error rate of the virtual sensor corresponding to the identified driving simulation.
  • the electronic device 100 may include a communication interface 110 , a memory 120 , a processor 130 , an input unit 140 , and a display 150 . Meanwhile, since the communication interface 110 , the memory 120 , and the processor 130 have been described in detail with reference to FIG. 2 , a redundant description will be omitted.
  • the processor 130 may generate a virtual robot and a virtual environment for driving simulation of the virtual robot.
  • the processor 130 may generate a virtual robot and a virtual environment based on a user input obtained through the input unit 140 .
  • the user input may include information on the virtual robot (eg, the size or shape of the virtual robot) and information on the virtual environment (eg, information on an object included in the virtual environment).
  • the processor 130 may store the obtained information on the virtual robot and the virtual environment in the memory 120 .
  • the processor 130 may obtain control information for controlling the virtual robot from the robot control device 200 .
  • the processor 130 may perform a driving simulation for the virtual robot based on the control information. While performing the driving simulation, the processor 130 may acquire sensing data corresponding to the distance between the virtual robot and the object in the virtual environment. For example, the processor 130 may acquire sensing data based on location information about a virtual robot and an object pre-stored in the memory 120 .

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

전자 장치가 개시된다. 본 개시에 따른 전자 장치는, 통신 인터페이스, 메모리 및 프로세서를 포함하고, 프로세서는, 가상 로봇 및 가상 로봇의 주행 시뮬레이션을 위한 가상 환경을 생성하고, 로봇 제어 장치로부터 가상 로봇을 제어하기 위한 제어 정보를 획득하고, 제어 정보를 바탕으로 가상 로봇에 대한 주행 시뮬레이션을 수행하고, 주행 시뮬레이션을 수행하는 동안, 가상 환경 내에서 가상 로봇과 오브젝트와의 거리에 대응되는 센싱 데이터를 획득하고, 센싱 데이터 및 가상 로봇에 포함된 가상 센서의 에러율을 바탕으로 가상 센서가 가상 로봇과 상기 오브젝트 사이의 거리를 측정할 때 출력되는 가상 센싱 데이터를 획득한다.

Description

전자 장치 및 그 제어 방법
본 개시는 전자 장치 및 그 제어 방법으로, 보다 상세하게는, 시뮬레이션 환경에서 획득되는 가상 로봇의 센싱 데이터를 제공하는 전자 장치 및 그 제어 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 로봇(robot)이 개발되고 있다. 최근에는, 로봇의 제작 비용을 줄이고 안전성을 사전에 체크하기 위해, 가상 환경에서 가상 로봇을 구성하고 시뮬레이션하는 시뮬레이터(simulator)가 활발하게 이용되고 있다.
한편, 시뮬레이션 환경은 가상의 환경이므로 실제 환경에서 발생되는 여러 오차를 반영하지 못할 수 있다. 가령, 실제 센서는 필연적으로 에러율을 갖는 반면 가상 환경의 가상 센서는 에러율을 갖지 않으므로, 가상 환경을 실제 환경과 동일하게 구성하더라도 실제 센서의 측정 데이터는 가상 센서의 센싱 데이터와 상이할 수 있다. 따라서, 가상 센서의 센싱 데이터를 그대로 적용하여 실제 로봇을 제작할 경우, 실제 로봇이 가상 로봇과 다르게 작동하거나 오작동하는 등의 문제가 발생할 수 있다.
이러한 문제를 방지하기 위해서는, 가상 환경에서 획득된 센싱 데이터에 센서의 에러율을 반영하여 제공하는 기술이 필요하다.
본 발명이 해결하고자 하는 일 기술적 과제는, 센서의 에러율이 반영된 시뮬레이션 데이터를 제공하는 것이다.
본 발명이 해결하고자 하는 다른 일 기술적 과제는, 시뮬레이션 데이터를 바탕으로 로봇과 관련된 파라미터를 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.
상술한 기술적 과제를 해결하기 위한 본 개시의 예시적인 일 실시 예에 따르면, 전자 장치에 있어서, 통신 인터페이스; 적어도 하나의 인스트럭션을 저장하는 메모리; 및 프로세서;를 포함하고, 상기 프로세서는, 가상 로봇 및 상기 가상 로봇의 주행 시뮬레이션을 위한 가상 환경을 생성하고, 로봇 제어 장치로부터 상기 가상 로봇을 제어하기 위한 제어 정보를 획득하고, 상기 제어 정보를 바탕으로 상기 가상 로봇에 대한 주행 시뮬레이션을 수행하고, 상기 주행 시뮬레이션을 수행하는 동안, 상기 가상 환경 내에서 상기 가상 로봇과 오브젝트와의 거리에 대응되는 센싱 데이터를 획득하고, 상기 센싱 데이터 및 상기 가상 로봇에 포함된 가상 센서의 에러율을 바탕으로 상기 가상 센서가 상기 가상 로봇과 상기 오브젝트 사이의 거리를 측정할 때 출력되는 가상 센싱 데이터를 획득하고, 상기 가상 센싱 데이터를 상기 로봇 제어 장치로 출력하는 전자 장치가 제공될 수 있다.
상술한 기술적 과제를 해결하기 위한 본 개시의 예시적인 다른 일 실시 예에 따르면, 전자 장치의 제어 방법에 있어서, 가상 로봇 및 상기 가상 로봇의 주행 시뮬레이션을 위한 가상 환경을 생성하는 단계; 로봇 제어 장치로부터 상기 가상 로봇을 제어하기 위한 제어 정보를 획득하는 단계; 상기 제어 정보를 바탕으로 상기 가상 로봇에 대한 주행 시뮬레이션을 수행하는 단계; 상기 주행 시뮬레이션을 수행하는 동안, 상기 가상 환경 내에서 상기 가상 로봇과 오브젝트와의 거리에 대응되는 센싱 데이터를 획득하는 단계; 상기 센싱 데이터 및 상기 가상 로봇에 포함된 가상 센서의 에러율을 바탕으로 상기 가상 센서가 상기 가상 로봇과 상기 오브젝트 사이의 거리를 측정할 때 출력되는 가상 센싱 데이터를 획득하는 단계; 및 상기 가상 센싱 데이터를 상기 로봇 제어 장치로 출력하는 단계;를 포함하는 제어 방법이 제공될 수 있다.
본 개시의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
이상과 같은 본 개시의 다양한 실시 예에 따르면, 전자 장치는 센서의 에러율이 반영된 센싱 데이터를 바탕으로 시뮬레이션을 수행하여 실제 환경에 보다 부합되는 파라미터를 제공할 수 있다. 따라서, 로봇 제작을 위한 시행착오가 줄어들어, 사용자의 만족감이 향상되며, 로봇 제작 비용이 감소할 수 있다.
그 외에 본 개시의 실시 예로 인하여 얻을 수 있거나 예측되는 효과에 대해서는 본 개시의 실시 예에 대한 상세한 설명에서 직접적 또는 암시적으로 개시하도록 한다. 예컨대, 본 개시의 실시 예에 따라 예측되는 다양한 효과에 대해서는 후술될 상세한 설명 내에서 개시될 것이다.
도 1은 본 개시의 일 실시 예에 따른 시뮬레이션 시스템의 컨셉을 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 시뮬레이션 시스템의 구성을 도시한 블록도이다.
도 3a는 본 개시의 일 실시 예에 따른 가상 센싱 데이터를 획득하기 위한 신경망 모델의 학습 방법을 설명하기 위한 도면이다.
도 3b는 본 개시의 일 실시 예에 따른 신경망 모델을 이용하여 가상 센싱 데이터를 획득하는 방법을 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시 예에 따른 가상 센서의 에러율을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 순서도이다.
도 6은 본 개시의 다른 일 실시 예에 따른 전자 장치의 구성을 도시한 블록도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.　
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.　그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 개시의 일 실시 예에 따른 시뮬레이션 시스템의 컨셉을 설명하기 위한 도면이다.
전자 장치(100)는 가상 로봇(11)과 가상 로봇(11)의 주행 시뮬레이션을 위한 가상 환경을 생성할 수 있다. 그리고, 전자 장치(100)는 가상 환경에서 가상 로봇(11)의 주행 시뮬레이션을 수행할 수 있다. 가상 로봇(11)은 가상 센서(12)를 가상 환경과 관련된 센싱 데이터를 획득할 수 있다. 예로, 가상 센서(12)가 라이다(LiDAR: Light Detection And Ranging) 센서인 경우, 가상 로봇(11)은 가상 센서(12)를 이용하여 가상 환경에 존재하는 오브젝트(13)에 대한 거리 정보를 획득할 수 있다. 그리고, 가상 로봇(11)은 획득된 센싱 데이터를 바탕으로 주행할 수 있다.
한편, 사용자는 가상 환경에서의 시뮬레이션 결과를 바탕으로 가상 로봇(11)에 대응되는 실제 로봇(14)을 제조할 수 있다. 예로, 사용자는 가상 센서(12)의 파라미터(예로, 측정 범위)에 대응되는 파라미터를 갖는 실제 센서(15)를 실제 로봇(14)에 장착할 수 있다.
그러나, 가상 센서(12)는 실제 센서(15)와 달리 측정 오차를 갖지 않으므로, 가상 센서(12)를 통해 획득된 센싱 데이터와 실제 센서(15)를 통해 획득되는 측정 데이터가 상이할 수 있다. 예로, 실제 환경에서의 실제 로봇(14)과 실제 오브젝트(16)의 거리가 가상 환경에서의 가상 로봇(11)과 가상 오브젝트(13)의 거리와 동일하더라도, 가상 센서(12)를 통해 획득되는 제1 거리(d1)와 실제 센서(15)를 통해 획득되는 제2 거리(d2)는 상이할 수 있다. 이에 따라, 실제 로봇(14)은 가상 로봇(11)과 상이하게 동작할 수 있다. 가령, 실제 로봇(14)은 가상 로봇(11)과 상이한 경로로 주행할 수 있다.
이처럼, 가상 센서(12)와 실제 센서(15)의 센싱 데이터는 상이할 수 있으므로, 가상 센서(12)의 센싱 결과를 그대로 이용하여 실제 로봇(14)을 구현하면, 실제 로봇(14)이 의도한대로 동작하지 않을 수 있다. 이러한 문제를 방지하기 위해, 전자 장치(100)는 실제 센서(15)와 유사하게 가상 센서(12)의 센싱 데이터에도 센싱 오차율을 반영하고, 오차율이 반영된 센싱 데이터를 획득하여 사용자에게 제공할 수 있다.
도 2는 본 개시의 일 실시 예에 따른 시뮬레이션 시스템의 구성을 도시한 블록도이다. 시뮬레이션 시스템(1000)은 전자 장치(100) 및 로봇 제어 장치(200)를 포함할 수 있다. 전자 장치(100)는 가상 환경에서 가상 로봇에 대한 주행 시뮬레이션을 수행하기 위한 구성이다. 예로, 전자 장치(100)는 개인용 컴퓨터(personal computer: PC), 서버 컴퓨터(Server Computer), 노트북(Laptop) 또는 휴대폰(Mobile Phone)일 수 있다. 로봇 제어 장치(200)는 로봇을 제어하기 위한 제어 정보를 생성할 수 있다. 예로, 로봇 제어 장치(200)는 실제 로봇에 탑재되는 마이크로컨트롤러(Microcontroller) 또는 MCU(Micro Controller Unit)일 수 있다. 한편, 로봇 제어 장치(200)는 전자 장치(100)와 분리되어 구현되거나, 전자 장치(100)에 통합되어 구현될 수 있다.
전자 장치(100)는 통신 인터페이스(110), 메모리(120) 및 프로세서(130)를 포함할 수 있다. 이하 전자 장치(100)의 각 구성에 대하여 상세히 설명하도록 한다.
통신 인터페이스(110)는 적어도 하나의 회로를 포함하며 다양한 유형의 통신 방식에 다라 다양한 유형의 외부 기기와 통신을 수행할 수 있다. 예를 들어, 통신 인터페이스(110)는 로봇 제어 장치(200)로부터 로봇 제어 장치(200)에 의해 제어될 실제 로봇에 대응되는 가상 로봇을 제어하기 위한 제어 정보를 수신할 수 있다. 여기서, 제어 정보는 가상 로봇을 구동시키기 위한 정보(예로, 가상 로봇의 이동 속도, 가상 로봇의 액추에이터를 구동시키기 위한 파워 등)를 포함한 제어 메시지일 수 있다. 또한, 통신 인터페이스(110)는 전자 장치(100)가 획득한 센싱 데이터를 로봇 제어 장치(200)로 전송할 수 있다.
한편, 통신 인터페이스(110)는 유선 혹은 무선으로 데이터 통신을 수행할 수 있다. 유선 통신 방식으로 외부 기기와 통신을 수행할 경우, 통신 인터페이스(110)는 유선 통신 모듈(예를 들어, LAN 등)로 구현될 수 있다. 무선 통신 방식으로 외부 기기와 통신을 수행할 경우, 통신 인터페이스(110)는 와이파이 통신 모듈, 셀룰러 통신모듈, 3G(3세대) 이동통신 모듈, 4G(4세대) 이동통신 모듈, 4세대 LTE(Long Term Evolution) 통신 모듈, 5G(5세대) 이동통신 모듈 중 적어도 하나를 포함할 수 있다.
메모리(120)는 전자 장치(100)의 구성요소들의 전반적인 동작을 제어하기 위한 운영체제(OS: Operating System) 및 전자 장치(100)의 구성요소와 관련된 명령 또는 데이터를 저장할 수 있다. 예로, 메모리(120)는 가상 환경 및 가상 로봇에 관한 정보를 저장할 수 있다. 한편, 메모리(120)는 비휘발성 메모리(ex: 하드 디스크, SSD(Solid state drive), 플래시 메모리), 휘발성 메모리 등으로 구현될 수 있다.
프로세서(130)는 전자 장치(100)의 전반적인 동작을 제어할 수 있다. 프로세서(130)는 가상 로봇 생성 모듈(131), 시뮬레이션 환경 구축 모듈(132), 제어 정보 획득 모듈(133), 주행 시뮬레이션 모듈(134), 센싱 데이터 획득 모듈(135) 및 가상 센싱 데이터 획득 모듈(136)을 포함할 수 있다.
가상 로봇 생성 모듈(131)은 가상 로봇(또는 가상 로봇 모델)을 생성할 수 있다. 가상 로봇은 가상 환경에 존재하는 로봇으로, 실제 로봇을 구성하는 컴포넌트(component)에 대응되는 가상 컴포넌트를 포함할 수 있다. 예로, 실제 로봇이 라이다 센서를 포함하는 경우, 가상 로봇은 라이다 센서에 대응되는 가상 센서를 포함할 수 있다. 이외에도, 가상 로봇은 사용자 입력에 따라 다양한 가상 컴포넌트들을 포함할 수 있다.
시뮬레이션 환경 구축 모듈(132)은 가상 로봇의 주행 시뮬레이션을 위한 가상 환경을 생성할 수 있다. 시뮬레이션 환경 구축 모듈(132)은 사용자 입력에 기초하여 가상 환경에 관한 정보를 획득하며, 획득된 정보에 기초하여 가상 환경을 생성할 수 있다. 시뮬레이션 환경 구축 모듈(132)은 가상 환경을 생성하기 위한 렌더링(rendering)을 수행할 수 있다. 한편, 가상 환경에 관한 정보는 가상 환경의 크기, 지형 및 가상 환경에 포함되는 오브젝트에 대한 정보를 포함할 수 있다.
제어 정보 획득 모듈(133)은 통신 인터페이스(110)를 통해 로봇 제어 장치(200)로부터 가상 로봇을 제어하기 위한 제어 정보를 획득할 수 있다. 예를 들어, 제어 정보 획득 모듈(133)은 가상 로봇의 주행 속도에 대한 정보를 획득할 수 있다. 또는, 제어 정보 획득 모듈(133)은 가상 로봇에 포함된 액추에이터(actuator)를 구동시키기 위한 파워에 대한 정보를 획득할 수 있다.
주행 시뮬레이션 모듈(134)은 제어 정보 획득 모듈(133)을 통해 획득된 제어 정보를 바탕으로 가상 로봇에 대한 주행 시뮬레이션을 수행할 수 있다. 주행 시뮬레이션이 수행되는 동안, 센싱 데이터 획득 모듈(135)은 가상 환경에 대한 다양한 정보를 수집할 수 있다. 예를 들어, 센싱 데이터 획득 모듈(135)은 가상 로봇은 가상 환경에 존재하는 오브젝트 사이의 거리에 대응되는 센싱 데이터를 획득할 수 있다. 센싱 데이터 획득 모듈(135)은 가상 센서를 이용하여 가상 환경을 촬상한 이미지를 획득하거나, 가상 환경에 대한 뎁스 정보를 획득할 수 있다.
한편, 센싱 데이터 획득 모듈(135)을 통해 획득되는 센싱 데이터는 실제 환경에서 필연적으로 발생되는 오차를 포함하지 않는 그라운드 트루스(ground truth) 데이터일 수 있다. 예로, 실제 환경에서의 라이다 센서는 오브젝트와의 거리 및 오브젝트의 특성(예로, 재질 또는 투과율)을 비롯한 다양한 요인들에 의해 오차율을 갖는 센싱 데이터를 획득한다. 이에 반해, 가상 로봇은 가상 환경 내에서 센싱 데이터를 획득하므로, 오차율을 갖지 않는 그라운드 트루스 데이터를 획득할 수 있다. 이처럼, 가상 환경에서 획득된 센싱 데이터와 실제 환경에서 획득되는 센싱 데이터는 차이가 있으므로, 가상 환경에서 획득된 센싱 데이터를 그대로 적용하여 실제 로봇을 모델링할 경우, 실제 로봇은 오작동할 수 있다. 예로, 센싱 데이터가 로봇과 오브젝트 사이의 거리에 대응되는 경우, 로봇은 비효율적인 주행 경로로 이동할 수 있으며, 이에 따라 사용자의 만족감 및 편의성이 감소할 수 있다.
이러한 문제점을 해결하기 위해, 가상 센싱 데이터 획득 모듈(136)은 센싱 데이터를 실제 환경의 오차가 반영된 가상 센싱 데이터로 변환할 수 있다. 예를 들어, 가상 센싱 데이터 획득 모듈(136)은 가상 센서의 에러율을 바탕으로 오차를 산출할 수 있다. 그리고, 가상 센싱 데이터 획득 모듈(136)은 산출된 오차를 센싱 데이터에 더하여 가상 센싱 데이터를 획득할 수 있다.
한편, 가상 센서의 에러율은 실제 센서의 에러율을 바탕으로 설정될 수 있다. 예로, 가상 센서의 에러율은, 오브젝트의 거리에 따라 발생하는 제1 에러율 및 오브젝트의 재질에 따라 발생하는 제2 에러율을 포함할 수 있다. 가상 센서가 라이다 센서에 대응되는 경우, 가상 센서의 에러율은 라이다 센서에 구비된 모터의 회전 각도의 오차에 대응되는 제3 에러율을 포함할 수 있다. 또한, 가상 센서의 각 에러율은 특정 값을 가질 수도 있으나, 특정 범위의 값을 가질 수도 있다. 예를 들어, 가상 센서의 에러율은 정규 분포 형태의 값을 가질 수 있다.
일 실시 예에 따른 가상 센싱 데이터(Dp)는 아래 [수학식 1]과 같이 모델링될 수 있다.
Figure PCTKR2021000999-appb-img-000001
여기서,
Figure PCTKR2021000999-appb-img-000002
은 센싱 데이터 획득 모듈(135)을 통해 획득되는 센싱 데이터,
Figure PCTKR2021000999-appb-img-000003
는 제1 에러율,
Figure PCTKR2021000999-appb-img-000004
는 제2 에러율,
Figure PCTKR2021000999-appb-img-000005
는 제3 에러율이다.
한편, 가상 센싱 데이터 획득 모듈(136)은 학습된 신경망 모델에 센싱 데이터를 입력하여 가상 센싱 데이터를 획득할 수 있다. 신경망 모델은 센싱 데이터가 입력되면 가상 센싱 데이터를 출력하도록 학습될 수 있다. 신경망 모델은 출력된 가상 센싱 데이터와 실제 환경에서 측정된 실측 데이터(또는 라벨 데이터)의 차이가 최소화되도록 학습될 수 있다. 이 때, 학습이 완료된 신경망 모델의 가중치는 가상 센서의 에러율에 대응될 수 있다. 즉, 제1 에러율, 제2 에러율 및 제3 에러율은 각각 학습된 신경망 모델의 가중치에 해당할 수 있다.
가상 센싱 데이터 획득 모듈(136)은 통신 인터페이스(110)를 통해 가상 센싱 데이터를 로봇 제어 장치(200)로 전송할 수 있다. 로봇 제어 장치(200)는 인식 모듈(210), 판단 모듈(220) 및 구동 모듈(230)을 포함할 수 있다. 인식 모듈(210)은 전자 장치(100)로부터 가상 센싱 데이터를 획득하고, 가상 센싱 데이터를 분석할 수 있다. 예로, 가상 센싱 데이터가 가상 로봇 주변을 촬상한 이미지인 경우, 인식 모듈(210)은 이미지에 포함된 오브젝트를 인식할 수 있다. 이 때, 인식 모듈(210)은 각 오브젝트에 대응되는 위치에 포인트 클라우드(point cloud)를 생성할 수 있다.
판단 모듈(220)은 가상 센싱 데이터 및 인식 모듈(210)의 분석 결과를 바탕으로 가상 로봇을 어떻게 동작시킬 지 판단할 수 있다. 즉, 판단 모듈(220)은 가상 로봇이 수행할 액션을 결정할 수 있다. 예로, 가상 로봇으로부터 기설정된 거리 이내에 오브젝트가 존재하면, 판단 모듈(220)은 오브젝트를 우회하여 주행하는 액션을 결정할 수 있다.
구동 모듈(230)은 판단 모듈(220)의 판단 결과를 바탕으로 가상 로봇의 구동을 위한 구동 정보(또는 제어 정보)를 획득하기 위한 구성일 수 있다. 예로, 구동 모듈(230)은 오브젝트를 회피하기 위한 가상 로봇의 이동 속도 또는 가상 로봇의 액추에이터의 회전 토크를 획득할 수 있다. 구동 모듈(230)을 통해 획득된 구동 정보는 전자 장치(100)로 전송될 수 있다. 그리고, 전자 장치(100)는 구동 정보를 바탕으로 가상 로봇에 대한 시뮬레이션을 반복적으로 수행할 수 있다.
한편, 도 2에서는 각 모듈(131 내지 136)들을 프로세서(130)의 구성으로 설명하였으나, 이는 일 실시 예에 불과하며, 각 모듈(131 내지 136)들은 메모리(120)에 저장될 수 있다. 이 때, 프로세서(130)는 메모리(120)에 저장된 복수의 모듈(131 내지 136)을 비휘발성 메모리에서 휘발성 메모리로 로딩(loading)하여 복수의 모듈(131 내지 136)의 각 기능들을 실행할 수 있다. 또한, 프로세서(130)의 각 모듈들은 소프트웨어(software)로 구현되거나, 소프트웨어와 하드웨어(hardware)가 결합된 형태로 구현될 수 있다.
도 3a는 본 개시의 일 실시 예에 따른 가상 센싱 데이터를 획득하기 위한 신경망 모델의 학습 방법을 설명하기 위한 도면이다. 도 3b는 본 개시의 일 실시 예에 따른 신경망 모델을 이용하여 가상 센싱 데이터를 획득하는 방법을 설명하기 위한 도면이다.
도 3a를 참조하면, 전자 장치(100)는 센싱 데이터(31)를 신경망 모델(30)에 입력하여 가상 센싱 데이터(32)를 획득할 수 있다. 그리고, 전자 장치(100)는 가상 센싱 데이터(32)와 실측 데이터(33)를 비교하여 오차를 획득할 수 있다. 여기서, 실측 데이터(33)는 실제 환경에서 실제 센서를 바탕으로 측정된 라벨 데이터(label data)이다. 전자 장치(100)는 획득된 오차를 바탕으로 신경망 모델(30)의 가중치(W1, W2, W3)를 업데이트할 수 있다. 전자 장치(100)는 오차가 기설정된 값보다 작아질 때까지, 상술한 동작을 반복적으로 수행할 수 있다. 학습이 완료되면, 전자 장치(100)는 최종적으로 업데이트된 가중치(또는, 파라미터)를 메모리(120)에 저장할 수 있다.
한편, 본 개시에 따른 신경망 모델(30)이 반드시 전자 장치(100)에 의해 학습되는 것은 아니다. 즉, 신경망 모델(30)은 외부 장치(또는 외부 서버)에 의해 학습되며, 전자 장치(100)는 외부 장치에 의해 학습이 완료된 신경망 모델(30)을 수신할 수 있다.
도 3b를 참조하면, 전자 장치(100)는 학습이 완료된 신경망 모델(30)에 센싱 데이터(31)를 입력하여 가상 센싱 데이터(32)를 획득할 수 있다. 한편, 신경망 모델(30)의 가중치(W1, W2, W3)는 전술한 가상 센서의 에러율(Ed, Ema, Emo)에 대응될 수 있다. 즉, 전자 장치(100)는 신경망 모델(30)을 학습하는 과정을 통해 가상 센서의 에러율(Ed, Ema, Emo)을 획득할 수 있다.
한편, 본 개시에 따른 가상 센서의 에러율은 특정 범위 내에 속하는 복수의 값들 중 하나로 선택될 수 있다. 예로, 가상 센서의 에러율은 도 4에 도시된 바와 같은 정규 분포 함수에 대응되는 값들 중 하나로 선택될 수 있다. 제1 함수(41)는 제1 에러율에 대응되며, 제2 함수(42)는 제2 에러율에 대응되며, 제3 함수는(43)는 제3 에러율에 대응될 수 있다.
이 때, 가상 센싱 데이터(Dp)는 아래 [수학식 2]와 같이 모델링될 수 있다.
Figure PCTKR2021000999-appb-img-000006
여기서,
Figure PCTKR2021000999-appb-img-000007
는 제1 에러율,
Figure PCTKR2021000999-appb-img-000008
는 제2 에러율,
Figure PCTKR2021000999-appb-img-000009
는 제3 에러율을 의미한다.
Figure PCTKR2021000999-appb-img-000010
는 정규 분포의 평균,
Figure PCTKR2021000999-appb-img-000011
는 표준 편차를 의미한다. 한편, 정규 분포의 평균 및 표준 편차의 값은 사용자의 설정에 따라 달라질 수 있다.
한편, 전자 장치(100)는 [수학식 2]에 기초하여 랜덤하게 각 에러율을 획득할 수 있다. 각 에러율이 획득되면, 전자 장치(100)는 획득된 각 에러율을 바탕으로 가상 로봇의 주행 시뮬레이션을 반복적으로 수행할 수 있다. 그리고, 전자 장치(100)는 각 주행 시뮬레이션에 대응되는 시뮬레이션 데이터를 획득하여 메모리(120)에 저장할 수 있다. 여기서, 시뮬레이션 데이터는 특정 목적지까지 도달하기 위한 가상 로봇의 주행 경로, 주행 거리, 주행 시간 및 주행을 위해 소모된 전력 중 적어도 하나를 포함할 수 있다. 뿐만 아니라, 시뮬레이션 데이터는 각 주행 시뮬레이션 시 가상 로봇에 대응되는 실제 로봇을 제조하기 위한 공정의 난이도 및 비용을 포함할 수 있다.
전자 장치(100)는 시뮬레이션 데이터를 바탕으로 적어도 하나의 주행 시뮬레이션을 식별할 수 있다. 예를 들어, 전자 장치(100)는 복수의 주행 시뮬레이션 중 주행 거리가 가장 작은 제1 주행 시뮬레이션을 식별할 수 있다. 또는, 전자 장치(100)는 복수의 주행 시뮬레이션 중 주행 시간이 가장 작은 제2 주행 시뮬레이션을 식별할 수 있다. 뿐만 아니라, 전자 장치(100)는 복수의 주행 시뮬레이션 중 주행을 위해 소모된 전력이 가장 작은 제3 주행 시뮬레이션을 식별할 수 있다. 그리고, 전자 장치(100)는 식별된 주행 시뮬레이션에 대응되는 에러율(또는, 파라미터)를 획득할 수 있다. 전자 장치(100)는 획득된 에러율을 출력하여 사용자에게 제공할 수 있다. 가령, 제1 주행 시뮬레이션이 식별된 경우, 전자 장치(100)는 제1 주행 시뮬레이션에 대응되는 파라미터를 출력하여 사용자에게 제공할 수 있다. 이와 같이, 전자 장치(100)는 특정 파라미터를 사용자에게 추천할 수 있다. 이에 따라, 사용자는 전자 장치(100)가 제공한 파라미터를 바탕으로 실제 센서를 제조할 수 있어, 사용자의 편의성 및 만족감이 향상될 수 있다.
한편, 이상에서는 가상 센서의 파라미터로서 가상 센서의 에러율을 중심으로 설명하였으나, 이는 일 실시 예에 불과하며, 전자 장치(100)는 다양한 정보에 대한 파라미터에 기초하여 가상 센싱 데이터를 획득하고, 사용자에게 최적의 파라미터를 제공할 수 있다. 예를 들어, 가상 센서의 파라미터는 가상 센서의 감지 거리, 감지 범위, 스캐닝 주기 및 샘플링 주기와 같은 스펙에 관한 정보를 포함할 수 있다. 또는, 가상 센서의 파라미터는 가상 센서의 설치 위치나 자세와 같은 배치 정보를 포함할 수 있다. 또한, 본 개시에 따른 파라미터는 가상 센서에 관한 정보뿐만 아니라, 가상 환경에 대한 정보(예로, 맵 정보) 또는 시뮬레이션 목적(예로, 최단 거리 경로 주행)에 관한 정보를 포함할 수 있다.
도 5는 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 순서도이다.
전자 장치는 가상 로봇 및 가상 로봇의 주행 시뮬레이션을 위한 가상 환경을 생성할 수 있다(S510). 가상 로봇 및 가상 환경이 생성되면, 전자 장치(100)는 생성된 가상 로봇 및 가상 환경을 디스플레이할 수 있다.
전자 장치는 로봇 제어 장치로부터 가상 로봇을 제어하기 위한 제어 정보를 획득하고(S520), 제어 정보를 바탕으로 가상 로봇에 대한 주행 시뮬레이션을 수행할 수 있다(S530).
전자 장치는 주행 시뮬레이션을 수행하는 동안, 가상 환경 내에서 가상 로봇과 오브젝트와의 거리에 대응되는 센싱 데이터를 획득할 수 있다(S540). 이 때, 전자 장치(100)는 가상 로봇 및 오브젝트에 대한 위치 정보(또는 좌표 정보)에 기초하여 센싱 데이터를 획득할 수 있다. 가상 로봇 및 오브젝트에 대한 위치 정보는 메모리(120)에 저장되어 있을 수 있다.
전자 장치는 센싱 데이터 및 가상 로봇에 포함된 가상 센서의 에러율을 바탕으로 가상 센서가 가상 로봇과 오브젝트 사이의 거리를 측정할 때 출력되는 가상 센싱 데이터를 획득할 수 있다(S550). 전자 장치(100)는 센싱 데이터 및 가상 센서의 에러율을 바탕으로 에러값을 획득할 수 있다. 그리고, 전자 장치(100)는 센싱 데이터와 에러값을 합산하여 가상 센싱 데이터를 획득할 수 있다. 한편, 가상 센서의 에러율은 가상 센서와 오브젝트의 거리와 관련된 제1 에러율, 오브젝트의 재질과 관련된 제2 에러율 및 가상 센서에 포함된 모터와 관련된 제3 에러율 중 적어도 하나를 포함할 수 있다.
한편, 전자 장치(100)는 학습된 신경망 모델에 입력하여 가상 센싱 데이터를 획득할 수 있다. 여기서, 학습된 신경망 모델은 센싱 데이터 및 가상 센서에 대응되는 실제 센서를 바탕으로 학습될 수 있다. 그리고, 학습된 신경망 모델의 가중치는 가상 센서의 에러율에 대응될 수 있다. 한편, 가상 센서의 에러율은 정규 분포 함수에 대응되는 값을 가질 수 있다. 이 때, 전자 장치(100)는 가상 센서의 에러율을 변경시키면서 주행 시뮬레이션을 반복적으로 수행할 수 있다. 그리고, 전자 장치(100)는 주행 시뮬레이션에 따른 가상 로봇의 주행 경로, 주행 거리 및 주행 시간 중 적어도 하나를 바탕으로 적어도 하나의 주행 시뮬레이션을 식별할 수 있다. 전자 장치(100)는 식별된 주행 시뮬레이션에 대응되는 가상 센서의 에러율을 출력할 수 있다.
전자 장치는 가상 센싱 데이터를 로봇 제어 장치로 출력할 수 있다(S560). 로봇 제어 장치(200)는 가상 센싱 데이터를 바탕으로 가상 로봇을 제어하기 위한 제어 정보를 생성할 수 있다. 로봇 제어 장치(200)가 제어 정보를 전자 장치(100)로 전송하면, 전자 장치(100)는 다시 제어 정보를 바탕으로 가상 로봇에 대한 주행 시뮬레이션을 수행할 수 있다.
도 6은 본 개시의 다른 일 실시 예에 따른 전자 장치의 구성을 도시한 블록도이다. 도 6을 참조하면, 전자 장치(100)는 통신 인터페이스(110), 메모리(120), 프로세서(130), 입력부(140) 및 디스플레이(150)를 포함할 수 있다. 한편, 통신 인터페이스(110), 메모리(120) 및 프로세서(130)는 도 2에서 상세히 설명한 바, 중복 설명은 생략하도록 한다.
프로세서(130)는 가상 로봇 및 가상 로봇의 주행 시뮬레이션을 위한 가상 환경을 생성할 수 있다. 프로세서(130)는 입력부(140)를 통해 획득되는 사용자 입력에 기초하여 가상 로봇 및 가상 환경을 생성할 수 있다. 여기서, 사용자 입력은 가상 로봇에 대한 정보(예로, 가상 로봇의 크기나 형태) 및 가상 환경에 대한 정보(예로, 가상 환경에 포함되는 오브젝트에 대한 정보)를 포함할 수 있다. 프로세서(130)는 획득된 가상 로봇 및 가상 환경에 대한 정보를 메모리(120)에 저장할 수 있다.
프로세서(130)는 로봇 제어 장치(200)로부터 가상 로봇을 제어하기 위한 제어 정보를 획득할 수 있다. 프로세서(130)는 제어 정보를 바탕으로 가상 로봇에 대한 주행 시뮬레이션을 수행할 수 있다. 주행 시뮬레이션을 수행하는 동안, 프로세서(130)는 가상 환경 내에서 가상 로봇과 오브젝트와의 거리에 대응되는 센싱 데이터를 획득할 수 있다. 예로, 프로세서(130)는 메모리(120)에 기저장된 가상 로봇 및 오브젝트에 대한 위치 정보를 바탕으로 센싱 데이터를 획득할 수 있다.
프로세서(130)는 센싱 데이터 및 가상 로봇에 포함된 가상 센서의 에러율을 바탕으로 가상 센서가 가상 로봇과 오브젝트 사이의 거리를 측정할 때 출력되는 가상 센싱 데이터를 획득할 수 있다. 예로, 프로세서(130)는 센싱 데이터 및 가상 센서의 에러율을 바탕으로 에러값을 획득하고, 센싱 데이터와 에러값을 합산하여 가상 센싱 데이터를 획득할 수 있다. 또는, 프로세서(130)는 센싱 데이터를 학습된 신경망 모델에 입력하여 가상 센싱 데이터를 획득할 수 있다.
한편, 가상 센서의 에러율은 정규 분포 함수에 대응되는 값을 가질 수 있다. 이 때, 프로세서(130)는 가상 센서의 에러율을 변경시키면서 주행 시뮬레이션을 반복적으로 수행할 수 있다. 프로세서(130)는 주행 시뮬레이션에 따른 가상 로봇의 주행 경로, 주행 거리 및 주행 시간 중 적어도 하나를 바탕으로 적어도 하나의 주행 시뮬레이션을 식별할 수 있다. 예로, 프로세서(130)는 복수의 주행 시뮬레이션 중 주행 거리가 가장 작은 주행 시뮬레이션을 식별할 수 있다. 프로세서(130)는 식별된 주행 시뮬레이션에 대응되는 가상 센서의 에러율을 출력할 수 있다. 예로, 프로세서(130)는 가상 센서의 에러율을 표시하도록 디스플레이(150)를 제어할 수 있다.
프로세서(130)는 가상 센싱 데이터를 로봇 제어 장치로 출력할 수 있다. 예로, 프로세서(130)는 가상 센싱 데이터를 로봇 제어 장치(200)로 전송하도록 통신 인터페이스(110)를 제어할 수 있다.
본 개시에 따른 인공지능과 관련된 기능은 프로세서(130)와 메모리(120)를 통해 동작된다. 프로세서(130)는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 메모리(120)에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.
기 정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 한다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.
인공지능 모델은 학습을 통해 만들어 질 수 있다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다.
본 개시에 따른 전자 장치(100)는 가상 센싱 데이터를 획득하기 위하여 인공지능 모델을 이용할 수 있다. 프로세서(130)는 가상 센서의 센싱 데이터에 대해 전처리 과정을 수행하여 인공지능 모델의 입력으로 사용하는 데에 적합한 형태로 변환할 수 있다. 인공지능 모델은 학습을 통해 만들어 질 수 있다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다.
추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론(Knowledge based Reasoning), 최적화 예측(Optimization Prediction), 선호 기반 계획(Preference-based Planning), 추천(Recommendation) 등을 포함한다.
인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), GAN (Generative Adversarial Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.
입력부(140)는 사용자가 전자 장치(100)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예로, 프로세서(130)는 입력부(140)를 통해 가상 로봇에 관한 정보(예로, 가상 로봇의 형상이나 크기) 및 가상 센서에 관한 정보(예로, 가상 센서의 파라미터)를 획득할 수 있다. 한편, 입력부(140)에는 키보드(key board), 마우스(mouse), 키 패드(key pad), 터치 패드 등이 있을 수 있으나 이에 한정되는 것은 아니다.
디스플레이(150)는 다양한 화면을 표시할 수 있다. 예를 들어, 디스플레이(150)는 가상 로봇의 주행 시뮬레이션 과정을 표시할 수 있다. 또는, 디스플레이(150)는 특정 주행 시뮬레이션에 대응되는 파라미터(또는 에러율)를 표시할 수 있다. 한편, 디스플레이(150)는 LCD(Liquid Crystal Display Panel), OLED(Organic Light Emitting Diodes) 등으로 구현될 수 있다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 처리 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium) 에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 처리 동작을 특정 기기가 수행하도록 할 수 있다.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
한편, 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어 TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (15)

  1. 전자 장치에 있어서,
    통신 인터페이스;
    적어도 하나의 인스트럭션을 저장하는 메모리; 및
    프로세서;를 포함하고,
    상기 프로세서는,
    가상 로봇 및 상기 가상 로봇의 주행 시뮬레이션을 위한 가상 환경을 생성하고,
    로봇 제어 장치로부터 상기 가상 로봇을 제어하기 위한 제어 정보를 획득하고,
    상기 제어 정보를 바탕으로 상기 가상 로봇에 대한 주행 시뮬레이션을 수행하고,
    상기 주행 시뮬레이션을 수행하는 동안, 상기 가상 환경 내에서 상기 가상 로봇과 오브젝트와의 거리에 대응되는 센싱 데이터를 획득하고,
    상기 센싱 데이터 및 상기 가상 로봇에 포함된 가상 센서의 에러율을 바탕으로 상기 가상 센서가 상기 가상 로봇과 상기 오브젝트 사이의 거리를 측정할 때 출력되는 가상 센싱 데이터를 획득하고,
    상기 가상 센싱 데이터를 상기 로봇 제어 장치로 출력하는
    전자 장치.
  2. 제1 항에 있어서,
    상기 프로세서는,
    상기 메모리에 기저장된 상기 가상 로봇 및 상기 오브젝트에 대한 위치 정보를 바탕으로 상기 센싱 데이터를 획득하는
    전자 장치.
  3. 제1 항에 있어서,
    상기 프로세서는,
    상기 센싱 데이터 및 상기 가상 센서의 에러율을 바탕으로 에러값을 획득하고,
    상기 센싱 데이터와 상기 에러값을 합산하여 상기 가상 센싱 데이터를 획득하는
    전자 장치.
  4. 제1 항에 있어서,
    상기 가상 센서의 에러율은
    상기 가상 센서와 상기 오브젝트의 거리와 관련된 제1 에러율, 상기 오브젝트의 재질과 관련된 제2 에러율 및 상기 가상 센서에 포함된 모터와 관련된 제3 에러율 중 적어도 하나를 포함하는
    전자 장치.
  5. 제1 항에 있어서,
    상기 프로세서는,
    상기 센싱 데이터를 상기 센싱 데이터 및 상기 가상 센서에 대응되는 실제 센서를 바탕으로 획득된 실측 데이터를 바탕으로 학습된 신경망 모델에 입력하여 상기 가상 센싱 데이터를 획득하는
    전자 장치.
  6. 제5 항에 있어서,
    상기 가상 센서의 에러율은,
    상기 학습된 신경망 모델의 가중치에 대응되는
    전자 장치.
  7. 제1 항에 있어서,
    상기 가상 센서의 에러율은 정규 분포 함수에 대응되는 값을 가지며,
    상기 프로세서는,
    상기 가상 센서의 에러율을 변경시키면서 상기 주행 시뮬레이션을 반복적으로 수행하고,
    상기 주행 시뮬레이션에 따른 상기 가상 로봇의 주행 경로, 주행 거리 및 주행 시간 중 적어도 하나를 바탕으로 적어도 하나의 주행 시뮬레이션을 식별하고,
    상기 식별된 주행 시뮬레이션에 대응되는 상기 가상 센서의 에러율을 출력하는
    전자 장치.
  8. 전자 장치의 제어 방법에 있어서,
    가상 로봇 및 상기 가상 로봇의 주행 시뮬레이션을 위한 가상 환경을 생성하는 단계;
    로봇 제어 장치로부터 상기 가상 로봇을 제어하기 위한 제어 정보를 획득하는 단계;
    상기 제어 정보를 바탕으로 상기 가상 로봇에 대한 주행 시뮬레이션을 수행하는 단계;
    상기 주행 시뮬레이션을 수행하는 동안, 상기 가상 환경 내에서 상기 가상 로봇과 오브젝트와의 거리에 대응되는 센싱 데이터를 획득하는 단계;
    상기 센싱 데이터 및 상기 가상 로봇에 포함된 가상 센서의 에러율을 바탕으로 상기 가상 센서가 상기 가상 로봇과 상기 오브젝트 사이의 거리를 측정할 때 출력되는 가상 센싱 데이터를 획득하는 단계; 및
    상기 가상 센싱 데이터를 상기 로봇 제어 장치로 출력하는 단계;를 포함하는
    제어 방법.
  9. 제8 항에 있어서,
    상기 센싱 데이터를 획득하는 단계는,
    상기 전자 장치에 기저장된 상기 가상 로봇 및 상기 오브젝트에 대한 위치 정보를 바탕으로 상기 센싱 데이터를 획득하는
    제어 방법.
  10. 제8 항에 있어서,
    상기 가상 센싱 데이터를 획득하는 단계는,
    상기 센싱 데이터 및 상기 가상 센서의 에러율을 바탕으로 에러값을 획득하는 단계, 및
    상기 센싱 데이터와 상기 에러값을 합산하여 상기 가상 센싱 데이터를 획득하는 단계를 포함하는
    제어 방법.
  11. 제8 항에 있어서,
    상기 가상 센서의 에러율은
    상기 가상 센서와 상기 오브젝트의 거리와 관련된 제1 에러율, 상기 오브젝트의 재질과 관련된 제2 에러율 및 상기 가상 센서에 포함된 모터와 관련된 제3 에러율 중 적어도 하나를 포함하는
    제어 방법.
  12. 제8 항에 있어서,
    상기 가상 센싱 데이터를 획득하는 단계는,
    상기 센싱 데이터를 상기 센싱 데이터 및 상기 가상 센서에 대응되는 실제 센서를 바탕으로 획득된 실측 데이터를 바탕으로 학습된 신경망 모델에 입력하여 상기 가상 센싱 데이터를 획득하는
    제어 방법.
  13. 제12 항에 있어서,
    상기 가상 센서의 에러율은,
    상기 학습된 신경망 모델의 가중치에 대응되는
    제어 방법.
  14. 제8 항에 있어서,
    상기 가상 센서의 에러율은 정규 분포 함수에 대응되는 값을 가지며,
    상기 제어 방법은,
    상기 가상 센서의 에러율을 변경시키면서 상기 주행 시뮬레이션을 반복적으로 수행하는 단계;
    상기 주행 시뮬레이션에 따른 상기 가상 로봇의 주행 경로, 주행 거리 및 주행 시간 중 적어도 하나를 바탕으로 적어도 하나의 주행 시뮬레이션을 식별하는 단계; 및
    상기 식별된 주행 시뮬레이션에 대응되는 상기 가상 센서의 에러율을 출력하는 단계;를 더 포함하는
    제어 방법.
  15. 제8 항 내지 제14 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 비일시적인(non-transitory) 기록매체.
PCT/KR2021/000999 2020-12-07 2021-01-26 전자 장치 및 그 제어 방법 WO2022124477A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0169597 2020-12-07
KR1020200169597A KR20220080464A (ko) 2020-12-07 2020-12-07 전자 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
WO2022124477A1 true WO2022124477A1 (ko) 2022-06-16

Family

ID=81973610

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/000999 WO2022124477A1 (ko) 2020-12-07 2021-01-26 전자 장치 및 그 제어 방법

Country Status (2)

Country Link
KR (1) KR20220080464A (ko)
WO (1) WO2022124477A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011100306A (ja) * 2009-11-06 2011-05-19 Hitachi Ltd シミュレーションシステム
KR101363092B1 (ko) * 2012-09-20 2014-02-14 강원대학교산학협력단 로봇시스템의 ｒｉｌｓ 구현 방법 및 시스템
KR20140144919A (ko) * 2013-06-12 2014-12-22 국민대학교산학협력단 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템
JP2020086569A (ja) * 2018-11-16 2020-06-04 株式会社ＭｉｎＤ ｉｎ ａ Ｄｅｖｉｃｅ デバイス制御システム
KR102146012B1 (ko) * 2020-04-21 2020-08-19 (주) 한일프로텍 복수의 자율 주행 데이터를 이용하여 가상 자율 주행 환경에 대한 데이터를 생성하는 방법 및 이를 위한 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011100306A (ja) * 2009-11-06 2011-05-19 Hitachi Ltd シミュレーションシステム
KR101363092B1 (ko) * 2012-09-20 2014-02-14 강원대학교산학협력단 로봇시스템의 ｒｉｌｓ 구현 방법 및 시스템
KR20140144919A (ko) * 2013-06-12 2014-12-22 국민대학교산학협력단 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템
JP2020086569A (ja) * 2018-11-16 2020-06-04 株式会社ＭｉｎＤ ｉｎ ａ Ｄｅｖｉｃｅ デバイス制御システム
KR102146012B1 (ko) * 2020-04-21 2020-08-19 (주) 한일프로텍 복수의 자율 주행 데이터를 이용하여 가상 자율 주행 환경에 대한 데이터를 생성하는 방법 및 이를 위한 장치

Also Published As

Publication number Publication date
KR20220080464A (ko) 2022-06-14

Similar Documents

Publication Publication Date Title
US10706331B2 (en) Task execution system, task execution method, training apparatus, and training method
US11699295B1 (en) Machine learning for computing enabled systems and/or devices
US10282623B1 (en) Depth perception sensor data processing
JP6900918B2 (ja) 学習装置及び学習方法
US10102449B1 (en) Devices, systems, and methods for use in automation
WO2020122432A1 (ko) 전자 장치 및 그의 3d 이미지 표시 방법
WO2011074838A2 (ko) 로봇 동기화 장치 및 그 방법
EP3889887A1 (en) Image generation device, robot training system, image generation method, and image generation program
US11473996B2 (en) Remote pneumatic testing system
US20210291369A1 (en) Information processing device, intermediation device, simulation system, and information processing method
CN111670004A (zh) 用于测量心率的电子装置和方法
CN114730407A (zh) 使用神经网络对工作环境中的人类行为进行建模
US11430137B2 (en) Electronic device and control method therefor
WO2022124477A1 (ko) 전자 장치 및 그 제어 방법
KR102499379B1 (ko) 전자 장치 및 이의 피드백 정보 획득 방법
JP6897593B2 (ja) 学習対象装置及び動作方法
KR102636586B1 (ko) 자율 주행 차량의 주행 테스트 제어 장치 및 방법
US20220215648A1 (en) Object detection device, object detection system, object detection method, program, and recording medium
WO2022114847A1 (ko) 전자 장치 및 그 제어 방법
KR20190102140A (ko) 자가진단을 수행하는 인공 지능 장치 및 그 방법
WO2024101643A1 (ko) 외부 디바이스의 인공지능 모델을 이용하여 객체를 인식하는 증강 현실 디바이스 및 그 동작 방법
WO2023200114A1 (ko) 오픈 소스 라이선스를 검증하는 전자 장치 및 방법
KR102594885B1 (ko) 3d공간의 원격제어 기능 도입 시스템
KR102615292B1 (ko) 산업재해 예방 및 인명 보호를 위한 인공지능 기반 기계식 주차장 영상통합관제 시스템 및 방법
KR102655066B1 (ko) 자율 주행 차량의 적응 순항 제어 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21903526

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21903526

Country of ref document: EP

Kind code of ref document: A1