WO2020256160A1 - 인공지능 홈 로봇 및 그의 제어 방법 - Google Patents

인공지능 홈 로봇 및 그의 제어 방법 Download PDF

Info

Publication number
WO2020256160A1
WO2020256160A1 PCT/KR2019/007258 KR2019007258W WO2020256160A1 WO 2020256160 A1 WO2020256160 A1 WO 2020256160A1 KR 2019007258 W KR2019007258 W KR 2019007258W WO 2020256160 A1 WO2020256160 A1 WO 2020256160A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
security code
home robot
data
motion
Prior art date
Application number
PCT/KR2019/007258
Other languages
English (en)
French (fr)
Inventor
김남건
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US16/490,447 priority Critical patent/US20210331328A1/en
Priority to PCT/KR2019/007258 priority patent/WO2020256160A1/ko
Priority to KR1020190103006A priority patent/KR20190104935A/ko
Publication of WO2020256160A1 publication Critical patent/WO2020256160A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/003—Controls for manipulators by means of an audio-responsive input
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0003—Home robots, i.e. small robots for domestic use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/30—Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/32—Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
    • G06Q20/322—Aspects of commerce using mobile devices [M-devices]
    • G06Q20/3226—Use of secure elements separate from M-devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/382—Payment protocols; Details thereof insuring higher security of transaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G10L17/24—Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase

Definitions

  • home appliances such as washing machines, air conditioners, and vacuum cleaners used in predetermined spaces such as homes or offices individually performed their own functions and operations.
  • a refrigerator stores food
  • a washing machine handles laundry
  • an air conditioner adjusts room temperature
  • a cooking appliance cooks food.
  • Home appliances constituting a network can transmit data from one device to another device, and can check information of another device from one device.
  • This network of devices in the home is also called a smart home.
  • the washing machine itself communicates with the user based on the presence and humidity of the laundry, and follow-up measures are performed according to the result, so that damage caused by leaving the laundry for a long time can be fundamentally suppressed. .
  • the conventional smart home technology remains at the level of providing or controlling specific device information to the user through a portable terminal even when the user is in the home.
  • the user must operate the mobile terminal every time.
  • robots have been developed for industrial use and have been responsible for a part of factory automation.
  • the field of application of robots has been further expanded, medical robots, aerospace robots, and the like have been developed, and home robots that can be used in general homes are also being made.
  • a variety of home appliances are being driven using such a home robot.
  • An object of the present invention is to provide a home robot that can increase user convenience by performing security authentication through a voice input and a control method thereof.
  • An object of the present invention is to provide a payment system using a home robot capable of accurate authentication with only voice by analyzing and confirming a user's voice for a security code that is randomly generated.
  • receiving a payment instruction from the user Providing a request to utter a security code to the user; Receiving an utterance of the security code from the user within a predetermined time; And analyzing the received speech data, comparing it with the security code, and comparing it with the previously stored user's voice to perform identity authentication.
  • the step of generating the security code at random and providing the security code to the user may be further included.
  • Providing the security code may be provided visually through a display of the home robot.
  • the received speech data may be pre-processed for speech recognition, and an intention analysis of the pre-processed speech data may be performed to determine whether or not the security code is identical.
  • the method may further include comparing the pre-processed speech data with pre-stored user voice data to determine whether the pre-processed speech data matches the user's voice data.
  • Providing the security code may be audibly provided to the user.
  • the requesting of the security code speech may further include requesting a cryptographic motion.
  • the cryptographic motion and the security code may be preset.
  • the performing of the identity authentication may include obtaining a cryptographic motion provided by the user as image data, obtaining a security code uttered by the user as utterance data, and performing motion recognition based on the image data It may include determining whether the cryptographic motion matches the motion of the image data, and determining whether the speech data is the same as the preset security code.
  • the body forming an internal storage space;
  • a support part disposed under the body to support the body;
  • a display capable of displaying an image;
  • a head positioned on the upper side of the body and on which the display is disposed on the front side;
  • a voice input unit including a plurality of microphones (MICs) for receiving voice signals;
  • MICs microphones
  • the control unit may generate the security code randomly and provide the security code to the user before requesting the utterance of the security code.
  • the control unit may visually provide the security code through the display.
  • the control unit may determine whether the received speech data is identical to the security code by performing pre-processing of speech recognition and analyzing the intention of the pre-processed speech data.
  • the control unit may compare the pre-processed speech data with previously stored user's voice data to determine whether it matches the user's voice data.
  • the security code may be provided audibly to the user.
  • the control unit may further include requesting a cryptographic motion together with a request for uttering the security code.
  • the cryptographic motion and the security code may be preset.
  • the control unit obtains the cryptographic motion provided by the user as image data, obtains a security code uttered by the user as utterance data, and performs motion recognition based on the image data to obtain the cryptographic motion and the image data. It is possible to determine whether the motions of are identical, and determine whether the speech data is identical to the preset security code.
  • the control unit may further include stopping an operation for a payment request when the identification is not successful and is determined whether the authentication is repeated a predetermined number of times or more.
  • FIG. 1 is a block diagram of a smart home system including a home robot according to an embodiment of the present invention.
  • FIG 3 is an example of a simplified internal block diagram of a home robot according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a method of controlling a home robot according to an embodiment of the present invention.
  • 5A and 5B are diagrams illustrating operations according to the control method of FIG. 4.
  • FIG. 6 is a flowchart illustrating a method of controlling a home robot according to another embodiment of the present invention.
  • FIG. 7 is a diagram illustrating an operation according to the control method of FIG. 6.
  • 9A to 9C are diagrams illustrating operations according to the control method of FIG. 8.
  • each component is exaggerated, omitted, or schematically illustrated for convenience and clarity of description. Also, the size and area of each component do not fully reflect the actual size or area.
  • FIG. 1 is a configuration diagram of an artificial intelligence robot system according to an embodiment of the present invention
  • FIG. 2 is a view looking at the home robot 100 of FIG. 1
  • FIG. 3 is a view of a home robot according to an embodiment of the present invention. This is an example of a simplified internal block diagram.
  • a robot system may include one or more robots 100 to provide a service at a prescribed place such as a house.
  • the robot system may include a home robot 100 that interacts with a user at home or the like and provides various entertainment to the user.
  • the home robot 100 may provide a payment service by performing online shopping or online ordering according to a user's request.
  • the plurality of robots 100 and the server 2 may be provided with a communication means (not shown) that supports one or more communication standards and communicate with each other.
  • the plurality of robots 100 and the server 2 may communicate with a PC, a mobile terminal, and other external servers 2.
  • a plurality of robots 100 and servers 2 may be implemented to wirelessly communicate with wireless communication technologies such as IEEE 802.11 WLAN, IEEE 802.15 WPAN, UWB, Wi-Fi, Zigbee, Z-wave, Blue-Tooth, etc. I can.
  • the robot 100 may vary depending on what other devices to communicate with or the communication method of the server 2.
  • the plurality of robots 100 may implement wireless communication with other robots 100 and/or the server 2 through a 5G network.
  • the robot 100 wirelessly communicates through a 5G network, real-time response and real-time control are possible.
  • the user can check information on the robots 100 in the robot system through the user terminal 3 such as a PC or a mobile terminal.
  • the user terminal 3 such as a PC or a mobile terminal.
  • the server 2 is implemented as a cloud server 2, and the cloud server 2 is interlocked with the robot 100 to monitor and control the robot 100 and provide various solutions and contents remotely. .
  • the server 2 may store and manage information received from the robot 100 and other devices.
  • the server 2 may be a server 2 provided by a manufacturer of the robot 100 or a company entrusted with a service by the manufacturer.
  • the server 2 may be a control server 2 that manages and controls the robot 100.
  • the server 2 may control the robot 100 in a batch and the same manner, or control each robot 100 individually. Meanwhile, the server 2 may be configured by distributing information and functions to a plurality of servers, or may be configured as a single integrated server.
  • the robot 100 and the server 2 may be provided with a communication means (not shown) supporting one or more communication standards and communicate with each other.
  • the robot 100 may transmit data related to a space, an object, and a usage to the server 2.
  • the data is a space
  • the object-related data is the space and object-related data recognized by the robot 100, or the space and the object ( Object) may be image data.
  • the robot 100 and the server 2 are software or hardware-type artificial neural networks (ANNs) that have been learned to recognize at least one of a user, a voice, a space attribute, an object attribute such as an obstacle, etc. It may include.
  • ANNs artificial neural networks
  • the server 2 learns a deep neural network (DNN) based on data received from the robot 100 and data input by a user, and then transmits the updated deep neural network (DNN) structure data to the robot 1 I can. Accordingly, the structure of a deep neural network (DNN) of artificial intelligence included in the robot 100 may be updated.
  • DNN deep neural network
  • usage-related data is data obtained according to the use of the robot 100, and may correspond to use history data, a detection signal obtained from the sensor unit 110, and the like.
  • the learned deep neural network structure may receive input data for recognition, recognize attributes of people, objects, and spaces included in the input data, and output the result.
  • the learned deep neural network structure receives input data for recognition, analyzes and learns usage-related data (Data) of the robot 100 to recognize usage patterns, usage environments, etc. .
  • data related to space, object, and usage may be transmitted to the server 2 through the communication unit 190.
  • the server 2 may learn a deep neural network (DNN) based on the received data, and then transmit the updated deep neural network (DNN) structure data to the artificial intelligence robot 100 for updating.
  • DNN deep neural network
  • the robot 100 becomes more and more smart, and it is possible to provide a user experience (UX) that evolves as it is used.
  • UX user experience
  • the robot 100 and the server 2 may also use external information.
  • the server 2 may provide an excellent user experience by comprehensively using external information acquired from another linked service server (not shown).
  • the robot 100 can provide more diverse and active control functions to the user by actively first providing information or outputting a voice recommending a function or service.
  • FIG 2 is a front view showing the appearance of a home robot 100 capable of providing a medication service to a user.
  • the home robot 100 includes main bodies 101 and 102 that form an exterior and accommodate various parts therein.
  • the main bodies 101 and 102 include a body 111 forming a space in which various parts constituting the home robot 100 are accommodated, and a support part 112 disposed under the body 111 to support the body 111. ) Can be included.
  • a front direction may mean a +y axis direction
  • an up-down direction may mean a z-axis direction
  • a left-right direction may mean an x-axis direction
  • the head 110 may rotate within a predetermined angle range around the x-axis.
  • the head 110 may perform a nodding operation moving in the vertical direction as if a person nods his head in the vertical direction.
  • the head 110 may rotate within a predetermined range as if a person nods his or her head in an up-down direction, and then perform an operation to return to the original position one or more times.
  • the body 111 may be configured to be rotatable in left and right directions. That is, the body 111 may be configured to be rotatable 360 degrees around the z-axis.
  • the body 111 is also configured to be rotatable within a predetermined angular range around the x-axis, so that it can move as if nodding in the vertical direction.
  • the head 110 may also rotate about an axis in which the body 111 rotates.
  • the home robot 100 may include an image acquisition unit 120 capable of capturing a predetermined range around the main bodies 101 and 102, at least around the front surfaces of the main bodies 101 and 102.
  • the home robot 100 may include a voice input unit 125 for receiving a user's voice input.
  • the voice input unit 125 may include a processor for converting analog sound into digital data or may be connected to the processor to convert a user input voice signal into data so that the server 2 or the controller 140 can recognize it.
  • the plurality of microphones MIC may be disposed to be spaced apart from each other, and may obtain an external audio signal including an audio signal and process it as an electrical signal.
  • At least two microphones which are input devices, are required to estimate the direction of the user and the sound source that generated the sound. As the distance between the microphones is physically further apart, the resolution (angle) of direction detection is higher.
  • two microphones may be disposed on the head 110. In addition, by further including two microphones on the rear of the head 110, it is possible to determine the location of the user in the three-dimensional space.
  • the sound output unit 181 is disposed on the left and right sides of the head 110 to output predetermined information as sound.
  • the appearance and structure of the robot 100 illustrated in FIG. 2 are exemplary, and the present invention is not limited thereto.
  • the entire robot 100 may be tilted or shaken in a specific direction.
  • the home robot 100 may include a power supply unit (not shown) connected to an outlet in the home to supply power to the home robot 100.
  • the home robot 100 may include a power supply unit (not shown) provided with a rechargeable battery (not shown) to supply power to the home robot 100.
  • the power supply unit may include a wireless power receiver for wirelessly charging the battery.
  • the home robot 100 may include an image acquisition unit 120 capable of capturing a predetermined range around the main bodies 101 and 102 and at least in the front of the main units 101 and 102.
  • the image acquisition unit 120 photographs the surroundings of the main bodies 101 and 102, an external environment, and the like, and may include a camera module.
  • the camera module may include a digital camera.
  • the digital camera includes an image sensor (eg, a CMOS image sensor) comprising at least one optical lens and a plurality of photodiodes (eg, pixels) formed by light passing through the optical lens, It may include a digital signal processor (DSP) that configures an image based on signals output from photodiodes.
  • the digital signal processor is capable of generating not only still images but also moving images composed of frames composed of still images.
  • the image acquisition unit 120 may include a front camera provided on the front of the head 110 to acquire an image of the front of the main bodies 101 and 102.
  • the number, arrangement, type, and shooting range of cameras provided by the image acquisition unit 120 are not necessarily limited thereto.
  • the image acquisition unit 120 may photograph a front direction of the home robot 100 and may photograph an image for user recognition.
  • the image acquired by photographing the image acquisition unit 120 may be stored in the storage unit 130.
  • the home robot 100 may include a voice input unit 125 for receiving a user's voice input.
  • the voice input unit 125 may include a processing unit for converting analog sound into digital data or may be connected to the processing unit to convert a user input voice signal into data so that the server 70 or the controller 140 can recognize it.
  • the voice input unit 125 may include a plurality of microphones in order to increase the accuracy of receiving the user's voice input and to determine the location of the user.
  • the voice input unit 125 may include at least two microphones.
  • the plurality of microphones MIC may be disposed to be spaced apart from each other, and may obtain an external audio signal including an audio signal and process it as an electrical signal.
  • At least two microphones which are input devices, are required to estimate the direction of the user and the sound source that generated the sound. As the distance between the microphones is physically further apart, the resolution (angle) of direction detection is higher.
  • two microphones may be disposed on the head 110.
  • the home robot 100 includes a control unit 140 for controlling overall operations, a storage unit 130 for storing various data, and a communication unit 190 for transmitting and receiving data to and from other devices such as the server 2.
  • Can include.
  • the home robot 100 may further include a driving unit 160 that rotates the head 110 and the body 101.
  • the driving unit 160 may include a plurality of driving motors (not shown) that rotate and/or move the body 101 and the head 110.
  • the controller 140 controls the image acquisition unit 120, the driving unit 160, and the display 182 constituting the home robot 100 to control the overall operation of the home robot 100.
  • the storage unit 130 records various types of information required for control of the home robot 100 and may include a volatile or nonvolatile recording medium.
  • a recording medium stores data that can be read by a micro processor, and is a hard disk drive (HDD), solid state disk (SSD), silicon disk drive (SDD), ROM, RAM, CD-ROM, magnetic It may include a tape, a floppy disk, an optical data storage device, and the like.
  • controller 140 may transmit the operation state of the home robot 100 or a user input, etc. to the server 2 through the communication unit 190.
  • the communication unit 190 includes at least one communication module so that the home robot 100 is connected to the Internet or a predetermined network.
  • the communication unit 190 processes data transmission/reception between the home robot 100 and the home appliance (not shown) by connecting with a communication module provided in a home appliance (not shown).
  • data for voice recognition may be stored in the storage unit 130, and the controller 140 may process a user's voice input signal received through the voice input unit 125 and perform a voice recognition process.
  • the speech recognition process can use a variety of well-known speech recognition algorithms. In particular, it performs pre-processing such as tokenization, POS tagging, and stopword processing from the received speech by performing natural language processing (NLP), and Based on the data, it is possible to find the exact meaning of the speech data through feature extraction, modeling and inference.
  • pre-processing such as tokenization, POS tagging, and stopword processing from the received speech by performing natural language processing (NLP), and Based on the data, it is possible to find the exact meaning of the speech data through feature extraction, modeling and inference.
  • NLP natural language processing
  • the controller 140 may perform a deep learning algorithm such as RNN or CNN, or may apply various machine learning modeling.
  • the controller 140 may control the home robot 100 to perform a predetermined operation based on a result of speech recognition.
  • the controller 140 may control to transmit a control signal based on the command included in the voice signal to the control target home appliance.
  • the controller 140 may start a security system to perform identity authentication and transmit payment information to a vendor.
  • the speech recognition process may not be performed by the home robot 100 itself, but may be performed by the server 2.
  • the controller 140 may control the communication unit 190 to transmit a user input voice signal to the server 2.
  • simple speech recognition may be performed by the home robot 100, and high-level speech recognition such as natural language processing may be performed by the server 2.
  • controller 140 may control to perform a specific operation only for a voice input of a registered user.
  • the controller 140 may identify a user who has control authority for the home robot 100, and when a user who has the control authority is identified, it may control the head 110 to nod. Accordingly, the user can intuitively know that the home robot 100 has identified himself/herself.
  • control unit 140 may control the body 101 and/or the head 111 to rotate based on the user image information acquired through the image acquisition unit 120.
  • the controller 140 may rotate the body 101 in the left and right directions based on the user image information. For example, when the number of faces included in the user image information is one, the body 101 is moved in the left and right direction so that the face included in the user image information is located at the center of the camera of the image acquisition unit 120. Can rotate.
  • control unit 140 controls the head 111 to rotate in the vertical direction so that the display 182 faces the face included in the user image information, so that the user can more easily display on the display 182. You can have them check the information.
  • the home robot 100 Since the home robot 100 is used in the home, a plurality of family members can use the home robot 100 together. In this case, it may be more natural that the home robot 100 is not directed toward any one of the family members, but toward the average value of the positions of the plurality of users when there is another person adjacent to the speaking user.
  • the voice even if a plurality of users are recognized, it may be set to face the speaker who uttered the voice.
  • the controller 140 may control the body 101 to rotate based on at least one of the number of faces, location information of the face, and area information included in the acquired user image information.
  • the home robot 100 may control to look toward an optimized position by considering not only the number and location of users included in the image acquired by the image acquisition unit 120, but also information on the area of the face.
  • the home robot 100 may include the output unit 180 to display predetermined information as an image or output as sound.
  • the output unit 180 may include a display 182 that displays information corresponding to a user's command input, a processing result corresponding to the user's command input, an operation mode, an operation state, an error state, etc. as an image.
  • the display 182 may be disposed on the front side of the head 110 as described above.
  • the display 182 may be configured as a touch screen by forming a layer structure with a touch pad.
  • the display 182 may be used as an input device capable of inputting information by a user's touch in addition to an output device.
  • the output unit 180 may further include an audio output unit 181 that outputs an audio signal.
  • the sound output unit 181 displays a warning sound, an operation mode, a notification message such as an operation state, an error state, etc., information corresponding to a user's command input, a processing result corresponding to the user's command input, etc. It can be output as sound.
  • the sound output unit 181 may convert an electrical signal from the control unit 140 into an audio signal and output it. To this end, a speaker or the like may be provided.
  • the sound output units 181 are disposed on the left and right sides of the head 110 to output predetermined information as sound.
  • the appearance and structure of the home robot illustrated in FIG. 2 are exemplary, and the present invention is not limited thereto.
  • the position and number of the audio input unit 125, the image acquisition unit 120, and the sound output unit 181 may vary according to design specifications, and the rotation direction and angle of each component may also vary.
  • the home robot 100 may provide not only various entertainment functions, but also a service so that a user can make various shopping or ordering in the home.
  • the home robot 100 may perform identity authentication of the user, and when the user requests a service such as shopping or ordering with the home robot, the home robot 100 operates a predetermined security system to perform identity authentication. do.
  • the user may command access to a specific shopping mall using the home robot 100, command to store a specific item, and command to pay.
  • the home robot 100 may perform identity authentication by operating the security system according to the user's payment command.
  • FIGS. 5A and 5B are views illustrating an operation according to the control method of FIG. 4.
  • the home robot 100 operates a security system when a payment command is received from a user through a plurality of microphones (MIC) included in the voice input unit 125. Do (S10).
  • control unit 140 determines whether the currently operated security system has been operated less than m times (S11).
  • the security system when the security system is continuously operated more than a predetermined number of times and payment is not made multiple times, the security system is terminated and the user is notified that the security system has been rejected through the display 182 or the sound output unit 181.
  • control unit 140 randomly generates a security code (S12).
  • Such a security code is a combination of random numbers, and may be a combination of a predetermined number or less of Korean characters, alphabets, and numbers, and may exclude symbols that can be read in a plurality of ways.
  • the control unit 140 outputs the generated security code on the display 182 and provides it to the user (S13).
  • the home robot 100 may provide an utterance request such as “Please read the security code aloud” from the sound output unit 125 to the user.
  • the controller 140 determines whether an utterance from the user is received within n seconds after outputting the request of the sound output unit 181 to the user (S14).
  • n seconds is preferably 5 seconds, more preferably, only within 3 seconds can be recognized, and in the case of a longer time, it is deemed that acquisition of the security code has failed and the security system is operated again.
  • the controller 140 performs preprocessing for speech recognition (S16).
  • This pre-processing may filter the corresponding speech data by performing tokenization, POS tagging, and stopword processing from the speech of the received security code by performing natural language processing (NLP).
  • NLP natural language processing
  • the controller 140 analyzes the exact intention of the speech data through feature extraction, modeling, and inference from the preprocessed speech data by performing speech recognition intention analysis (S17).
  • whether or not the two values are the same may be determined to be equal to a case where the identity is equal to or more than 80%, and preferably to a case that is equal to or more than 90%.
  • the home robot 100 transmits the data related to the purchase and purchase of the item selected by the user to the server, and the data related to the purchase and purchase of such product is transmitted to the server of the seller and the server of the financial company, Payment is possible through card information or account information (S20).
  • a security code which is a random number code, is randomly generated and provided to the user, and the user ignites it and matches the utterance data to strengthen the user himself. Authentication is possible.
  • FIG. 6 is a flow chart showing a control method of the home robot 100 according to another embodiment of the present invention
  • FIG. 7 is a view showing an operation according to the control method of FIG. 6.
  • the home robot 100 operates a security system when a payment command is received from a user through a plurality of microphones (MIC) included in the voice input unit 125 Do (S30).
  • MIC microphones
  • the security system when the security system is continuously operated more than a predetermined number of times and payment is not made multiple times, the security system is terminated and the user is notified that the security system has been rejected through the display 182 or the sound output unit 181.
  • control unit 140 randomly generates a security code (S32).
  • Such a security code is a combination of random numbers, and may be a combination of a predetermined number or less of Korean characters, alphabets, and numbers, and may exclude symbols that can be read in a plurality of ways.
  • the security code is “Arirang 386”
  • the security code is provided by voice to the user through the sound output unit 181 as shown in FIG. 7.
  • the home robot 100 may continuously provide an utterance request such as “Please read along the security code” from the sound output unit 181 to the user.
  • n seconds is preferably 5 seconds, more preferably, only within 3 seconds can be recognized. If the time is longer than this, it is considered that the security code acquisition has failed and the security system is operated again.
  • control unit 140 performs preprocessing for speech recognition (S36).
  • This pre-processing may filter the corresponding speech data by performing tokenization, POS tagging, and stopword processing from the speech of the received security code by performing natural language processing (NLP).
  • NLP natural language processing
  • the controller 140 analyzes the exact intention of the speech data through feature extraction, modeling, and inference from the preprocessed speech data by performing speech recognition intention analysis (S37).
  • the controller 140 may recognize a speaker by performing frequency matching or the like whether the preprocessed speech data matches a previously stored user's voice.
  • the control unit 140 performs a deep learning algorithm such as RNN and CNN, or applies various machine learning modeling to determine the speech data. You can analyze the exact intention.
  • whether or not the two values are the same may be determined to be equal to a case where the identity is equal to or more than 80%, and preferably to a case that is equal to or more than 90%.
  • the home robot 100 transmits the data related to the purchase and purchase of the item selected by the user to the server, and the data related to the purchase and purchase of such product is transmitted to the server of the seller and the server of the financial company, Payment is possible through card information or account information (S40).
  • a security code which is a random number code, is randomly generated and provided to the user, and the user ignites it and matches the utterance data to strengthen the user himself. Authentication is possible.
  • FIG. 8 is a flowchart illustrating a method of controlling the home robot 100 according to another embodiment of the present invention
  • FIGS. 9A to 9C are views illustrating operations according to the control method of FIG. 8.
  • the home robot 100 through a plurality of microphones (MIC) included in the voice input unit 125, when receiving a payment command from the user, the security system It operates (S50).
  • MIC microphones
  • a preset security code and a password motion exist between the user and the home robot 100.
  • These preset settings can be performed at the time of initial setting of the home robot 100, and can be simply set in the setting menu of the home robot 100.
  • control unit 140 determines whether the currently operated security system has been operated less than m times (S51).
  • the security system when the security system is continuously operated more than a predetermined number of times and payment is not made multiple times, the security system is terminated and the user is notified that the security system has been rejected through the display 182 or the sound output unit.
  • control unit 140 If the security system has been continuously operated for less than m times, the control unit 140 provides a password motion request voice to the user “Show the encrypted motion” as shown in Fig. 9a, and requests the security code utterance “Please tell me the security code”. It can provide the voice continuously.
  • control unit 140 obtains the user's encrypted motion through the image acquisition unit 125 (S52).
  • the preset cryptographic motion may be a simple and relatively easy to discriminate motion such as shaking a hand, bowing his head, shaking both hands, and raising a hand.
  • the control unit 140 may determine motion information in an image acquired through the image acquisition unit 120 using a face recognition technology or a motion recognition technology.
  • a face recognition technology using geometric features of a face may be used.
  • This technique is one of the most commonly used among various facial recognition techniques. This technique recognizes each individual's face or shape using geometric factors and elements such as the location, size, and distance between facial features such as eyes, nose and mouth.
  • control unit 140 may induce an utterance from the user to obtain a security code (S53).
  • control unit 140 determines whether motion input and speech from the user are received within n seconds after outputting the request of the sound output unit 181 to the user (S54).
  • n seconds is preferably 10 seconds, more preferably, only motion input and ignition within 5 seconds can be recognized, and in the case of a longer time, it is considered that acquisition of the security code has failed, and the security system is operated again.
  • the controller 140 performs a motion recognition pre-process (S55). That is, the feature points of each frame are extracted, the motion is analyzed, and it is determined whether the analyzed motion matches a preset cryptographic motion.
  • control unit 140 performs pre-processing for speech recognition on the speech data of the security code (S56).
  • This pre-processing may filter the corresponding speech data by performing tokenization, POS tagging, and stopword processing from the speech of the received security code by performing natural language processing (NLP).
  • NLP natural language processing
  • the controller 140 analyzes the exact intention of the speech data through feature extraction, modeling, and inference from the preprocessed speech data by performing speech recognition intention analysis (S57).
  • the controller 140 may recognize the speaker by performing frequency matching or the like whether the preprocessed speech data matches the previously stored user's voice.
  • the control unit 140 performs a deep learning algorithm such as RNN and CNN, or applies various machine learning modeling to determine the speech data. You can analyze the exact intention.
  • whether or not the two values are the same may be determined to be equal to a case where the identity is equal to or more than 80%, and preferably to a case that is equal to or more than 90%.
  • the home robot 100 transmits the data related to the purchase and purchase of the item selected by the user to the server, and the data related to the purchase and purchase of such product is transmitted to the server of the seller and the server of the financial company, Payment is possible through card information or account information (S60).
  • the home robot 100 according to the present invention is not limited to the configuration and method of the embodiments described as described above, but the embodiments are all or part of each embodiment so that various modifications can be made. It may be configured in combination.
  • the home robot 100 and a method of operating a smart home system including the same may be implemented as a code that can be read by a processor on a recording medium that can be read by a processor.
  • the processor-readable recording medium includes all types of recording devices that store data that can be read by the processor. Examples of recording media that can be read by the processor include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, etc., and also include those implemented in the form of carrier waves such as transmission through the Internet. . Further, the processor-readable recording medium is distributed over a computer system connected through a network, so that the processor-readable code can be stored and executed in a distributed manner.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Computer Security & Cryptography (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Finance (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Acoustics & Sound (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 내부 수납 공간을 형성하는 바디(body); 상기 바디의 하측에 배치되어 상기 바디를 지지하는 지지부; 영상을 표시할 수 있는 디스플레이; 상기 바디의 상측에 위치하고, 상기 디스플레이가 전면에 배치되는 헤드(head); 음성 신호가 수신되는 복수의 마이크(MIC)를 포함하는 음성 입력부; 및 사용자로부터 결제 명령을 수신하면, 보안 코드의 발화를 요청하고, 상기 사용자로부터 상기 보안 코드의 발화를 수신하고, 상기 보안 코드와 비교하고, 기 저장된 상기 사용자의 음성과 비교하여 본인 인증을 수행하는 제어부를 포함하는 인공지능 홈 로봇을 제공한다. 따라서, 음성 입력을 통해 보안 인증을 수행함으로써 사용자 편의성을 증대시킬 수 있는 인공 지능 홈 로봇을 제공할 수 있다.

Description

인공지능 홈 로봇 및 그의 제어 방법
본 발명은 인공지능 홈 로봇 및 이를 포함하는 스마트 홈 시스템의 제어 방법에 관한 것이다. 더욱 상세하게는 인공지능 홈 로봇을 이용하여 결제 등을 진행하면서 사용자의 음성 입력에 따라 보안 인증을 수행하여 결제 서비스를 제공할 수 있는 홈 로봇 및 그 제어 방법에 관한 것이다.
종래에는 가정이나 사무실 등의 소정 공간에서 사용되는 세탁기, 공기조화기, 청소기 등 홈 어플라이언스(Home appliance)들은 각각 개별적으로 고유의 기능과 동작을 수행하였다.
예를 들어, 냉장고는 음식물을 저장하고, 세탁기는 세탁물을 처리하며, 공기조화기는 실내 온도를 조정하고, 조리기기는 음식물을 조리하는 기능 등을 수행한다.
근래에는, 다양한 통신 기술의 발달에 따라, 다수의 홈 어플라이언스들이 유/무선 통신으로 네트워크 연결되고 있다.
네트워크를 구성하는 홈 어플라이언스들은, 어느 하나의 기기에서 다른 기기로 데이터를 전송할 수 있고, 어느 하나의 기기에서 다른 기기의 정보를 확인할 수 있다.
또한, 휴대 단말기 등 스마트 기기(smart device)를 포함하여 네트워크를 구성함으로써, 사용자는 언제 어디서든 자신의 스마트 기기를 이용하여, 홈 어플라이언스들의 정보를 확인하고 제어할 수 있다.
이러한 가정 내 기기들의 네트워크는 스마트 홈(smart home)으로 불리기도 한다.
스마트 홈 기술과 관련하여 종래기술(출원번호 10-2003-0093196)은, 세탁기 등을 포함하는 홈 네트워크를 구성한다.
종래기술은 세탁 종료 후에 일정 시간이 지나면 세탁물의 존재 여부 및 습도를 기준으로 세탁기 스스로가 사용자와의 커뮤니케이션을 하고 그 결과에 따라 후속 조치를 하므로 세탁물의 장시간 방치에 의한 손상을 원천적으로 억제할 수 있다.
즉, 세탁 종료 후에 사용자의 휴대 단말기로 세탁물 방치에 관한 정보 및 후속 조치의 진행 여부를 묻는 질문 메시지를 전송하고, 이에 대한 응답이 수신되면 응답에 따라 후속 조치를 수행하게 된다.
상기 종래기술과 같이, 종래의 스마트 홈 기술은 사용자가 가정 내에 있을 때에도 휴대 단말기를 통하여 특정 기기의 정보를 사용자에게 제공하거나 제어하는 수준에 머물러 있다. 또한, 사용자가 매번 휴대 단말기를 조작해야 하는 불편함이 있었다.
한편, 로봇은 산업용으로 개발되어 공장 자동화의 일 부분을 담당하여 왔다. 최근에는 로봇을 응용한 분야가 더욱 확대되어, 의료용 로봇, 우주 항공 로봇 등이 개발되고, 일반 가정에서 사용할 수 있는 가정용 홈 로봇도 만들어지고 있다.
이와 같은 가정용 홈 로봇을 이용하여 다양한 홈 어플라이언스들을 구동하고자 하고 있다.
그러나, 이와 같은 홈 어플라이언스 들을 구동하거나 쇼핑 등을 진행하고자 하는 경우, 결제를 위한 본인 인증을 수행하여야 하는 어려움이 있다.
홈 로봇의 경우, 음성 인식으로부터 사용자를 인식하고 본인 인증을 수행하여야 하나, 아직 음성만으로 사용자를 구분하는데 오인식이 많이 발생한다. 또한, 다른 생체 인식, 예를 들어 지문, 홍체 등을 통한 인식은 아직까지 개인정보보호의 문제가 존재하고 있다.
[선행기술문헌]
[특허문헌]
출원번호 10-2003-0093196 (출원일 2003년 12월 18일)
본 발명의 목적은, 음성 입력을 통해 보안 인증을 수행함으로써 사용자 편의성을 증대시킬 수 있는 홈 로봇 및 그 제어 방법을 제공함에 있다.
본 발명의 목적은, 랜덤하게 발생하는 보안 코드에 대하여 사용자 음성을 분석하여 확인함으로써 음성만으로도 정확한 인증이 가능한 홈 로봇을 이용한 결제 시스템을 제공하는 것이다.
본 발명에 따르면, 사용자로부터 결제 명령을 수신하는 단계; 보안 코드의 발화 요청을 상기 사용자에게 제공하는 단계; 상기 사용자로부터 상기 보안 코드의 발화를 소정 시간 내에 수신하는 단계; 및 수신된 발화 데이터를 분석하여 상기 보안 코드와 비교하고, 기 저장된 상기 사용자의 음성과 비교하여 본인 인증을 수행하는 단계를 포함하는 홈 로봇의 제어 방법을 제공한다.
상기 보안 코드의 발화 요청 전에, 상기 보안 코드를 랜덤으로 생성하여 상기 사용자에게 제공하는 단계를 더 포함할 수 있다.
상기 보안 코드를 제공하는 단계는, 상기 홈 로봇의 디스플레이를 통해 시각적으로 제공할 수 있다.
상기 본인 인증을 수행하는 단계는, 수신된 상기 발화 데이터를 음성 인식 전처리를 수행하고, 전처리된 발화 데이터의 의도 분석을 수행하여 상기 보안 코드와 동일성 여부를 판단할 수 있다.
상기 전처리된 발화 데이터에 대하여 기 저장된 사용자의 음성 데이터와 비교하여 사용자의 음성 데이터와 일치하는지 판단하는 단계를 더 포함할 수 있다.
상기 보안 코드를 제공하는 단계는, 상기 사용자에게 청각적으로 제공할 수 있다.
상기 보안 코드 발화를 요청하는 단계는, 암호 모션을 요청하는 단계를 더 포함할 수 있다.
상기 암호 모션 및 상기 보안 코드는 기 설정될 수 있다.
상기 본인 인증을 수행하는 단계는, 상기 사용자가 제공하는 암호 모션을 영상 데이터로 수득하는 단계, 상기 사용자가 발화하는 보안 코드를 발화 데이터로 수득하는 단계, 상기 영상 데이터를 기초로 모션 인식을 수행하여 상기 암호 모션과 상기 영상 데이터의 모션이 일치하는지 판단하고, 상기 발화 데이터가 기 설정된 상기 보안 코드와 동일한지 판단하는 단계를 포함할 수 있다.
상기 본인 인증이 성공하지 않고, 소정 횟수만큼 반복되었는지 판단하여 소정 횟수 이상인 경우, 결제 요청에 대한 동작을 중단하는 것을 더 포함할 수 있다.
한편, 본 발명에 따르면, 내부 수납 공간을 형성하는 바디(body); 상기 바디의 하측에 배치되어 상기 바디를 지지하는 지지부; 영상을 표시할 수 있는 디스플레이; 상기 바디의 상측에 위치하고, 상기 디스플레이가 전면에 배치되는 헤드(head); 음성 신호가 수신되는 복수의 마이크(MIC)를 포함하는 음성 입력부; 및 사용자로부터 결제 명령을 수신하면, 보안 코드의 발화를 요청하고, 상기 사용자로부터 상기 보안 코드의 발화를 수신하고, 상기 보안 코드와 비교하고, 기 저장된 상기 사용자의 음성과 비교하여 본인 인증을 수행하는 제어부를 포함하는 홈 로봇을 제공한다.
상기 제어부는 상기 보안 코드의 발화 요청 전에, 상기 보안 코드를 랜덤으로 생성하여 상기 사용자에게 제공할 수 있다.
상기 제어부는 상기 디스플레이를 통해 상기 보안 코드를 시각적으로 제공할 수 있다.
상기 제어부는 수신된 상기 발화 데이터를 음성 인식 전처리를 수행하고, 전처리된 발화 데이터의 의도 분석을 수행하여 상기 보안 코드와 동일성 여부를 판단할 수 있다.
상기 제어부는, 상기 전처리된 발화 데이터에 대하여 기 저장된 사용자의 음성 데이터와 비교하여 사용자의 음성 데이터와 일치하는지 판단할 수 있다.
상기 보안 코드는 상기 사용자에게 청각적으로 제공될 수 있다.
상기 제어부는 상기 보안 코드 발화를 요청과 함께 암호 모션을 요청하는 것을 더 포함할 수 있다.
상기 암호 모션 및 상기 보안 코드는 기 설정될 수 있다.
상기 제어부는, 상기 사용자가 제공하는 암호 모션을 영상 데이터로 수득하고, 상기 사용자가 발화하는 보안 코드를 발화 데이터로 수득하고, 상기 영상 데이터를 기초로 모션 인식을 수행하여 상기 암호 모션과 상기 영상 데이터의 모션이 일치하는지 판단하고, 상기 발화 데이터가 기 설정된 상기 보안 코드와 동일한지 판단할 수 있다.
상기 제어부는 본인 인증이 성공하지 않고, 소정 횟수만큼 반복되었는지 판단하여 소정 횟수 이상인 경우, 결제 요청에 대한 동작을 중단하는 것을 더 포함할 수 있다.
본 발명의 실시예들 중 적어도 하나에 의하면, 음성 입력을 통해 보안 인증을 수행함으로써 사용자 편의성을 증대시킬 수 있는 홈 로봇을 제공할 수 있다.
또한, 랜덤하게 발생하는 보안 코드에 대하여 사용자 음성을 분석하여 확인함으로써 사용자의 음성만으로도 정확한 인증이 가능하다.
도 1은 본 발명의 일 실시예에 따른 홈 로봇을 포함하는 스마트 홈 시스템 구성도이다.
도 2는 본 발명의 일 실시예에 따른 홈 로봇의 외관을 도시하는 정면도이다.
도 3은 본 발명의 일 실시예에 따른 홈 로봇의 간략한 내부 블록도의 일예이다.
도 4는 본 발명의 일 실시예에 따른 홈 로봇의 제어 방법을 도시한 순서도이다.
도 5a 및 도 5b는 도 4의 제어 방법에 따른 동작을 나타내는 도면이다.
도 6은 본 발명의 다른 실시예에 따른 홈 로봇의 제어 방법을 도시한 순서도이다.
도 7은 도 6의 제어 방법에 따른 동작을 나타내는 도면이다.
도 8은 본 발명의 또 다른 실시예에 따른 홈 로봇의 제어 방법을 도시한 순서도이다.
도 9a 내지 도 9c는 도 8의 제어 방법에 따른 동작을 나타내는 도면이다.
이하에서 언급되는 “전(F)/후(R)/좌(Le)/우(Ri)/상(U)/하(D)” 등의 방향을 지칭하는 표현은 도면에 표시된 바에 따라 정의하나, 이는 어디까지나 본 발명이 명확하게 이해될 수 있도록 설명하기 위한 것이며, 기준을 어디에 두느냐에 따라 각 방향들을 다르게 정의할 수도 있음은 물론이다.
이하에서 언급되는 구성요소 앞에 ‘제1, 제2’ 등의 표현이 붙는 용어 사용은, 지칭하는 구성요소의 혼동을 피하기 위한 것일 뿐, 구성요소 들 사이의 순서, 중요도 또는 주종관계 등과는 무관하다. 예를 들면, 제1 구성요소 없이 제2 구성요소 만을 포함하는 발명도 구현 가능하다.
도면에서 각 구성의 두께나 크기는 설명의 편의 및 명확성을 위하여 과장되거나 생략되거나 또는 개략적으로 도시되었다. 또한 각 구성요소의 크기와 면적은 실제크기나 면적을 전적으로 반영하는 것은 아니다.
또한, 본 발명의 구조를 설명하는 과정에서 언급하는 각도와 방향은 도면에 기재된 것을 기준으로 한다. 명세서에서 구조에 대한 설명에서, 각도에 대한 기준점과 위치관계를 명확히 언급하지 않은 경우, 관련 도면을 참조하도록 한다.
도 1은 본 발명의 일 실시예에 따른 인공지능 로봇 시스템의 구성도이고, 도 2는 도 1의 홈로봇(100)을 바라본 도면이며, 도 3은 본 발명의 일 실시예에 따른 홈 로봇의 간략한 내부 블록도의 일 예이다.
도 1 내지 도 3을 참고하면, 본 발명의 실시예에 따른 로봇 시스템은, 하나 이상의 로봇(100)을 구비하여 집 등의 규정된 장소에서 서비스를 제공할 수 있다. 예를 들어, 로봇 시스템은 가정 등에서 사용자와 인터랙션(interaction)하며, 사용자에게 다양한 엔터테이징을 제공하는 홈 로봇(100)을 포함할 수 있다. 또한 이러한 홈 로봇(100)은 사용자의 요청에 따라 온라인 쇼핑 또는 온라인 주문 등을 진행하여 결제서비스를 제공할 수 있다.
바람직하게는, 본 발명의 일 실시예에 따른 로봇 시스템은, 복수의 인공지능 로봇(100) 및 복수의 인공지능 로봇(100)을 관리하고 제어할 수 있는 서버(2)를 포함할 수 있다. 서버(2)는 원격에서 복수의 로봇(1)의 상태를 모니터링하고, 제어할 수 있고, 로봇 시스템은 복수의 로봇(1)을 이용하여 더 효과적인 서비스 제공이 가능하다.
복수의 로봇(100) 및 서버(2)는 하나 이상의 통신 규격을 지원하는 통신 수단(미도시)을 구비하여, 상호 통신할 수 있다. 또한, 복수의 로봇(100) 및 서버(2)는 PC, 이동 단말기, 외부의 다른 서버(2)와 통신할 수 있다.
예를 들어, 복수의 로봇(100) 및 서버(2)는 IEEE 802.11 WLAN, IEEE 802.15 WPAN, UWB, Wi-Fi, Zigbee, Z-wave, Blue-Tooth 등과 같은 무선 통신 기술로 무선 통신하게 구현될 수 있다. 로봇(100)은 통신하고자 하는 다른 장치 또는 서버(2)의 통신 방식이 무엇인지에 따라 달라질 수 있다.
특히, 복수의 로봇(100)은 5G 네트워크를 통해 다른 로봇(100) 및/또는 서버(2)와 무선통신을 구현할 수 있다. 로봇(100)이 5G 네트워크를 통해 무선 통신하는 경우, 실시간 응답 및 실시간 제어가 가능하다.
사용자는 PC, 이동 단말기 등의 사용자 단말(3)을 통하여 로봇 시스템 내의 로봇들(100)에 관한 정보를 확인할 수 있다.
서버(2)는 클라우드(cloud) 서버(2)로 구현되어, 로봇(100)에 클라우드 서버(2)가 연동되어 로봇(100)을 모니터링, 제어하고 다양한 솔루션과 콘텐츠를 원격으로 제공할 수 있다.
서버(2)는, 로봇(100), 기타 기기로부터 수신되는 정보를 저장 및 관리할 수 있다. 상기 서버(2)는 로봇(100)의 제조사 또는 제조사가 서비스를 위탁한 회사가 제공하는 서버(2)일 수 있다. 상기 서버(2)는 로봇(100)을 관리하고 제어하는 관제 서버(2)일 수 있다.
상기 서버(2)는 로봇(100)을 일괄적으로 동일하게 제어하거나, 개별 로봇(100) 별로 제어할 수 있다. 한편, 상기 서버(2)는, 복수의 서버로 정보, 기능이 분산되어 구성될 수도 있고, 하나의 통합 서버로 구성될 수도 있을 것이다.
로봇(100) 및 서버(2)는 하나 이상의 통신 규격을 지원하는 통신 수단(미도시)을 구비하여, 상호 통신할 수 있다.
로봇(100)은 공간(space), 사물(Object), 사용(Usage) 관련 데이터(Data)를 서버(2)로 전송할 수 있다.
여기서, 데이터는 공간(space), 사물(Object) 관련 데이터는 로봇(100)이 인식한 공간(space)과 사물(Object)의 인식 관련 데이터이거나, 영상획득부가 획득한 공간(space)과 사물(Object)에 대한 이미지 데이터일 수 있다.
실시예에 따라서, 로봇(100) 및 서버(2)는 사용자, 음성, 공간의 속성, 장애물 등 사물의 속성 중 적어도 하나를 인식하도록 학습된 소프트웨어 또는 하드웨어 형태의 인공신경망(Artificial Neural Networks: ANN)을 포함할 수 있다.
본 발명의 일 실시예에 따르면, 로봇(100) 및 서버(2)는 딥러닝(Deep Learning)으로 학습된 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DBN(Deep Belief Network) 등 심층신경망(Deep Neural Network: DNN)을 포함할 수 있다. 예를 들어, 로봇(100)의 제어부(140)에는 CNN(Convolutional Neural Network) 등 심층신경망 구조(DNN)가 탑재될 수 있다.
서버(2)는 로봇(100)으로부터 수신한 데이터, 사용자에 의해 입력되는 데이터 등에 기초하여, 심층신경망(DNN)을 학습시킨 후, 업데이트된 심층신경망(DNN) 구조 데이터를 로봇(1)으로 전송할 수 있다. 이에 따라, 로봇(100)이 구비하는 인공지능(artificial intelligence)의 심층신경망(DNN) 구조를 업데이트할 수 있다.
또한, 사용(Usage) 관련 데이터(Data)는 로봇(100)의 사용에 따라 획득되는 데이터로, 사용 이력 데이터, 센서부(110)에서 획득된 감지 신호 등이 해당될 수 있다.
학습된 심층신경망 구조(DNN)는 인식용 입력 데이터를 입력받고, 입력 데이터에 포함된 사람, 사물, 공간의 속성을 인식하여, 그 결과를 출력할 수 있다.
또한, 상기 학습된 심층신경망 구조(DNN)는 인식용 입력 데이터를 입력받고, 로봇(100)의 사용(Usage) 관련 데이터(Data)를 분석하고 학습하여 사용 패턴, 사용 환경 등을 인식할 수 있다.
한편, 공간(space), 사물(Object), 사용(Usage) 관련 데이터(Data)는 통신부(190)를 통하여 서버(2)로 전송될 수 있다.
서버(2)는 수신한 데이터에 기초하여, 심층신경망(DNN)을 학습시킨 후, 업데이트된 심층신경망(DNN) 구조 데이터를 인공지능 로봇(100)으로 전송하여 업데이트하게 할 수 있다.
이에 따라, 로봇(100)이 점점 스마트하게 되며, 사용할수록 진화되는 사용자 경험(UX)을 제공할 수 있다.
로봇(100) 및 서버(2)는 외부 정보(external information)도 이용할 수 있다. 예를 들어, 서버(2)가 다른 연계 서비스 서버(도시하지 않음)로부터 획득한 외부 정보를 종합적으로 사용하여 우수한 사용자 경험을 제공할 수 있다.
또한, 본 발명에 따르면, 로봇(100)이 능동적으로 먼저 정보를 제공하거나 기능, 서비스를 추천하는 음성을 출력함으로써 사용자에게 더욱 다양하고 적극적인 제어 기능을 제공할 수 있다.
도 2는 사용자에게 복약 서비스를 제공할 수 있는 홈 로봇(100)의 외관을 도시하는 정면도이다.
도 2를 참조하면, 홈 로봇(100)은, 외관을 형성하고 그 내부에 각종 부품을 수납하는 본체(101,102)를 포함한다.
본체(101,102)는 홈 로봇(100)을 구성하는 각종 부품들이 수용되는 공간을 형성하는 바디(body, 111)와 상기 바디(111)의 하측에 배치되어 상기 바디(111)를 지지하는 지지부(112)를 포함할 수 있다.
홈 로봇(100)은 본체(101,102)의 상측에 배치되는 헤드(head, 110)를 포함할 수 있다. 헤드(110)의 전면에는 영상을 표시할 수 있는 디스플레이(182)가 배치될 수 있다.
본 명세서에서 전면 방향은 +y 축 방향을 의미하고, 상하 방향은 z축 방향, 좌우 방향은 x축 방향을 의미할 수 있다.
상기 헤드(110)는 x축을 중심으로 소정 각도 범위 내에서 회전할 수 있다.
이에 따라, 전면에서 봤을 때, 상기 헤드(110)는 사람이 고개를 상하 방향으로 끄덕거리는 것처럼 상하 방향으로 움직이는 노딩(Nodding) 동작이 가능하다. 예를 들어, 상기 헤드(110)는 사람이 머리를 상하 방향으로 끄덕거리는 것처럼 소정 범위 내에서 회전 후 원위치 복귀 동작을 1회 이상 수행할 수 있다.
한편, 실시예에 따라서는, 헤드(110) 중 사람의 안면에 대응할 수 있는 디스플레이(182)가 배치되는 전면 중 적어도 일부가 노딩되도록 구현될 수 있다.
따라서, 상기 헤드(110) 전체가 상하 방향으로 움직이는 실시예를 중심으로 기술하지만, 특별히 설명하지 않는 한, 헤드(110)가 상하 방향으로 노딩(Nodding)하는 동작은, 디스플레이(182)가 배치되는 전면 중 적어도 일부가 상하 방향으로 노딩하는 동작으로 대체 가능할 것이다.
상기 바디(111)는 좌우 방향으로 회전 가능하도록 구성될 수 있다. 즉, 상기 바디(111)는 z축을 중심으로 360도 회전 가능하도록 구성될 수 있다.
또한, 실시예에 따라서는, 상기 바디(111)도 x축을 중심으로 소정 각도 범위 내에서 회전가능하게 구성됨으로써, 상하 방향으로도 끄덕거리는 것처럼 움직일 수 있다. 이 경우에, 상기 바디(111)가 상하 방향으로 회전함에 따라, 상기 바디(111)가 회전하는 축을 중심으로 상기 헤드(110)도 함께 회전할 수 있다.
한편, 홈 로봇(100)은 본체(101,102) 주변, 적어도 본체(101,102) 전면을 중심으로 소정 범위를 촬영할 수 있는 영상 획득부(120)를 포함할 수 있다.
영상 획득부(120)는 본체(101,102) 주변, 외부 환경 등을 촬영하는 것으로, 카메라 모듈을 포함할 수 있다. 이러한 카메라는 촬영 효율을 위해 각 부위별로 여러 개가 설치될 수도 있다. 바람직하게, 영상 획득부(120)는, 본체(101,102) 전면의 영상을 획득하도록 헤드(110)의 전면에 구비되는 전면 카메라를 포함할 수 있다.
또한, 홈 로봇(100)은 사용자의 음성 입력을 수신하는 음성 입력부(125)를 포함할 수 있다.
음성 입력부(125)는 아날로그 소리를 디지털 데이터로 변환하는 처리부를 포함하거나 처리부에 연결되어 사용자 입력 음성 신호를 서버(2) 또는 제어부(140)에서 인식할 수 있도록 데이터화할 수 있다.
음성 입력부(125)는 사용자 음성 입력 수신의 정확도를 높이고, 사용자의 위치를 판별하기 위해, 복수의 마이크를 포함할 수 있다.
예를 들어, 음성 입력부(125)는 적어도 2이상의 마이크를 포함할 수 있다.
복수의 마이크(MIC)는, 서로 다른 위치에 이격되어 배치될 수 있고, 음성 신호를 포함한 외부의 오디오 신호를 획득하여 전기적인 신호로 처리할 수 있다.
한편, 입력 장치인 마이크는 음향을 발생시킨 음원, 사용자의 방향 추정을 위하여 최소 2개가 필요하며, 마이크 사이의 간격은 물리적으로 멀리 떨어져 있을수록 방향 검출의 해상도(각도)가 높다. 실시예에 따라서는 2개의 마이크가 상기 헤드(110)에 배치될 수 있다. 또한, 상기 헤드(110)의 후면에 2개의 마이크를 더 포함함으로써, 사용자의 3차원 공간상의 위치를 판별할 수 있다.
또한, 음향 출력부(181)가 헤드(110)의 좌우측면에 배치되어, 소정 정보를 음향으로 출력할 수 있다.
한편, 도 2에 예시된 로봇(100)의 외관 및 구조는 예시적인 것으로 본 발명은 이에 한정되지 않는다. 예를 들어, 도 2에서 예시된 로봇(100)의 회전 방향과 달리 로봇(100) 전체가 특정 방향으로 기울어지거나 흔들리는 동작도 가능하다.
한편, 홈 로봇(100)은 가정 내 콘센트에 연결되어 홈 로봇(100) 내로 전원을 공급하는 전원 공급부(미도시)를 포함할 수 있다.
또는, 홈 로봇(100)은 충전 가능한 배터리(미도시)를 구비하여 홈 로봇(100) 내로 전원을 공급하는 전원 공급부(미도시)를 포함할 수 있다. 실시예에 따라서는 전원 공급부(미도시)는 상기 배터리를 무선 충전하기 위한 무선전력 수신부를 구비할 수 있다.
한편, 홈 로봇(100)은 본체(101, 102) 주변, 적어도 본체(101, 102) 전면을 중심으로 소정 범위를 촬영할 수 있는 영상 획득부(120)를 포함할 수 있다.
영상 획득부(120)는 본체(101, 102) 주변, 외부 환경 등을 촬영하는 것으로, 카메라 모듈을 포함할 수 있다. 상기 카메라 모듈은 디지털 카메라를 포함할 수 있다. 디지털 카메라는 적어도 하나의 광학렌즈와, 광학렌즈를 통과한 광에 의해 상이 맺히는 다수개의 광다이오드(photodiode, 예를 들어, pixel)를 포함하여 구성된 이미지센서(예를 들어, CMOS image sensor)와, 광다이오드들로부터 출력된 신호를 바탕으로 영상을 구성하는 디지털 신호 처리기(DSP: Digital Signal Processor)를 포함할 수 있다. 디지털 신호 처리기는 정지영상은 물론이고, 정지영상으로 구성된 프레임들로 이루어진 동영상을 생성하는 것도 가능하다.
이러한 카메라는 촬영 효율을 위해 각 부위별로 여러 개가 설치될 수도 있다. 바람직하게, 영상 획득부(120)는, 본체(101, 102) 전면의 영상을 획득하도록 헤드(110)의 전면에 구비되는 전면 카메라를 포함할 수 있다. 하지만, 영상 획득부(120)가 구비하는 카메라의 개수, 배치, 종류, 촬영범위가 반드시 이에 한정되어야 하는 것은 아니다.
영상 획득부(120)는, 홈 로봇(100)의 전면 방향을 촬영할 수 있고, 사용자 인식용 영상을 촬영할 수 있다.
또한, 상기 영상 획득부(120)가 촬영하여 획득된 영상은 저장부(130)에 저장될 수 있다.
또한, 홈 로봇(100)은 사용자의 음성 입력을 수신하는 음성 입력부(125)를 포함할 수 있다.
음성 입력부(125)는 아날로그 소리를 디지털 데이터로 변환하는 처리부를 포함하거나 처리부에 연결되어 사용자 입력 음성 신호를 서버(70) 또는 제어부(140)에서 인식할 수 있도록 데이터화할 수 있다.
음성 입력부(125)는 사용자 음성 입력 수신의 정확도를 높이고, 사용자의 위치를 판별하기 위해, 복수의 마이크를 포함할 수 있다.
예를 들어, 음성 입력부(125)는 적어도 2이상의 마이크를 포함할 수 있다.
복수의 마이크(MIC)는, 서로 다른 위치에 이격되어 배치될 수 있고, 음성 신호를 포함한 외부의 오디오 신호를 획득하여 전기적인 신호로 처리할 수 있다.
한편, 입력 장치인 마이크는 음향을 발생시킨 음원, 사용자의 방향 추정을 위하여 최소 2개가 필요하며, 마이크 사이의 간격은 물리적으로 멀리 떨어져 있을수록 방향 검출의 해상도(각도)가 높다.
실시예에 따라서는 2개의 마이크가 상기 헤드(110)에 배치될 수 있다.
또한, 상기 헤드(110)의 후면에 2개의 마이크를 더 포함함으로써, 사용자의 3차원 공간상의 위치를 판별할 수 있다.
도 3을 참조하면, 홈 로봇(100)은 전반적인 동작을 제어하는 제어부(140), 각종 데이터를 저장하는 저장부(130), 서버(2) 등 다른 기기와 데이터를 송수신하는 통신부(190)를 포함할 수 있다.
또한, 홈 로봇(100)은 상기 헤드(110), 상기 바디(101)를 회전하는 구동부(160)를 더 포함할 수 있다. 구동부(160)는 바디(101) 및 헤드(110)를 회전 및/또는 이동시키는 복수의 구동 모터(미도시)를 포함할 수 있다.
제어부(140)는 홈 로봇(100)을 구성하는 영상 획득부(120), 구동부(160), 디스플레이(182) 등을 제어하여, 홈 로봇(100)의 동작 전반을 제어한다.
저장부(130)는 홈 로봇(100)의 제어에 필요한 각종 정보들을 기록하는 것으로, 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 기록 매체는 마이크로 프로세서(micro processor)에 의해 읽힐 수 있는 데이터를 저장한 것으로, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등을 포함할 수 있다.
또한, 제어부(140)는 통신부(190)를 통해 홈 로봇(100)의 동작상태 또는 사용자 입력 등을 서버(2) 등으로 전송할 수 있다.
통신부(190)는 적어도 하나의 통신모듈을 포함하여 홈 로봇(100)이 인터넷, 또는 소정의 네트워크에 연결되도록 한다.
또한, 통신부(190)는 홈 어플라이언스(미도시)에 구비되는 통신 모듈과 연결하여 홈 로봇(100)과 홈 어플라이언스(미도시) 간의 데이터 송수신을 처리한다.
한편, 저장부(130)에는 음성 인식을 위한 데이터가 저장될 수 있고, 제어부(140)는 음성 입력부(125)를 통하여 수신되는 사용자의 음성 입력 신호를 처리하고 음성 인식 과정을 수행할 수 있다.
음성 인식 과정은 공지된 다양한 음성 인식 알고리즘을 사용할 수 있으며, 특히 자연어 처리 알고리즘(NLP: Natural language processing)을 수행하여 수신되는 음성으로부터 토큰화, POS Tagging, Stopword 처리 등의 전처리를 수행하고, 전처리된 데이터를 바탕으로 특징 추출, 모델링 및 추론을 통해 음성 데이터가 의미하는 정확한 의미를 찾아갈 수 있다.
이때, 제어부(140)는 RNN, CNN 등의 딥러닝 알고리즘을 수행하거나, 다양한 기계학습 모델링을 적용할 수 있다.
한편, 제어부(140)는 음성 인식 결과에 기초하여 홈 로봇(100)이 소정 동작을 수행하도록 제어할 수 있다.
예를 들어, 제어부(140)는 음성 신호에 포함되는 명령이 소정 홈 어플라이언스의 동작을 제어하는 명령인 경우, 상기 음성 신호에 포함되는 명령에 기초한 제어 신호를 제어 대상 홈 어플라이언스로 전송하도록 제어할 수 있다.
또한, 제어부(140)는 사용자의 음성 신호에 포함되는 명령이 결제 등의 본인 인증을 수행하여야 하는 경우, 보안 시스템을 시작하여 본인 인증을 진행하고, 판매 업체로 결제 정보를 전송할 수 있다.
한편, 실시예에 따라서는, 제어부(140)는 영상 획득부(120)를 통하여 획득되는 사용자 영상을 저장부(130)에 기저장된 정보와 비교하여 등록된 사용자인지 여부를 판별할 수 있다.
한편, 음성 인식 과정은 홈 로봇(100) 자체에서 실시되지 않고 서버(2)에서 수행될 수 있다.
이 경우에, 제어부(140)는 사용자 입력 음성 신호가 상기 서버(2)로 송신되도록 통신부(190)를 제어할 수 있다. 또는, 간단한 음성 인식은 홈 로봇(100)이 수행하고, 자연어 처리 등 고차원의 음성 인식은 서버(2)에서 수행될 수 있다.
또한, 제어부(140)는 등록된 사용자의 음성 입력에 대해서만 특정 동작을 수행하도록 제어할 수 있다.
또한, 제어부(140)는 홈 로봇(100)에 대한 제어 권한을 가지는 사용자를 식별할 수 있으며, 제어 권한을 가지는 사용자가 식별되면, 헤드(110)가 노딩되도록 제어할 수 있다. 이에 따라, 사용자는 홈 로봇(100)이 자신을 식별했음을 직관적으로 알 수 있다.
한편, 상기 제어부(140)는, 상기 영상 획득부(120)를 통하여 획득된 사용자 영상 정보에 기초하여, 상기 바디(101) 및/또는 상기 헤드(111)를 회전하도록 제어할 수 있다.
상기 제어부(140)는, 상기 사용자 영상 정보에 기초하여, 바디(101)를 좌우 방향으로 회전할 수 있다. 예를 들어, 상기 사용자 영상 정보에 포함되는 얼굴의 개수가 하나인 경우에, 상기 사용자 영상 정보에 포함되는 얼굴이 상기 영상 획득부(120)의 카메라 중심에 오도록 상기 바디(101)를 좌우 방향으로 회전할 수 있다.
또한, 상기 제어부(140)는, 디스플레이(182)가 상기 사용자 영상 정보에 포함되는 얼굴을 향하도록 상기 헤드(111)를 상하 방향으로 회전하도록 제어함으로써, 사용자가 더욱 쉽게 디스플레이(182)에 표시되는 정보를 확인하게 할 수 있다.
또한, 홈 로봇(100)의 사용자 식별, 이후의 사진 촬영 등의 특정 동작 수행에도 유리한 장점이 있다.
이에 따라, 사용자와 홈 로봇(100) 상호 간의 인터랙션(interaction)과 커뮤니케이션(communication)이 용이하게 할 수 있다.
한편, 상기 제어부(140)는, 상기 사용자 영상 정보에 포함되는 얼굴의 개수가 복수인 경우에, 상기 사용자 영상 정보에 포함되는 복수의 얼굴 위치의 평균값이 상기 영상 획득부(120)의 카메라 중심에 오도록 상기 홈 로봇(100)의 바디(101)를 회전하도록 제어할 수 있다.
홈 로봇(100)은 가정 내에서 사용되므로, 복수의 가족 구성원이 함께 홈 로봇(100)을 사용할 수 있다. 이 경우에, 홈 로봇(100)은 가족 구성원 중 어느 한 사람을 향하는 것이 아니라, 말하고 있는 사용자와 인접해서 다른 사람이 있는 경우에 복수의 사용자들의 위치의 평균값을 향하는 것이 더 자연스러울 수 있다.
또한, 복수 사용자의 식별, 가족 구성원 등 복수의 사용자들을 위한 단체 사진 촬영 등의 특정 동작 수행에도 유리한 장점이 있다.
한편, 실시예에 따라서는, 복수의 사용자가 인식되더라도 음성을 발화한 화자를 향하도록 설정될 수 있다.
한편, 상기 제어부(140)는, 상기 획득된 사용자 영상 정보에 포함되는 얼굴의 개수, 얼굴의 위치 정보, 및 면적 정보 중 적어도 하나에 기초하여 바디(101)를 회전하도록 제어할 수 있다.
사용자와 홈 로봇(100)의 거리에 따라, 영상 획득부(120)가 획득한 영상 내의 얼굴 크기가 달라지게 된다. 따라서, 홈 로봇(100)은, 영상 획득부(120)가 획득한 영상에 포함되는 사용자의 수, 위치뿐만 아니라, 얼굴의 면적 정보를 고려함으로써, 최적화된 위치를 향해 바라보도록 제어할 수 있다.
한편, 홈 로봇(100)은 출력부(180)를 포함하여, 소정 정보를 영상으로 표시하거나 음향으로 출력할 수 있다.
출력부(180)는 사용자의 명령 입력에 대응하는 정보, 사용자의 명령 입력에 대응하는 처리 결과, 동작모드, 동작상태, 에러상태 등을 영상으로 표시하는 디스플레이(182)를 포함할 수 있다.
상기 디스플레이(182)는 상술한 것과 같이 헤드(110)의 전면에 배치될 수 있다.
실시예에 따라서는, 상기 디스플레이(182)는 터치패드와 상호 레이어 구조를 이루어 터치스크린으로 구성될 수 있다. 이 경우에, 상기 디스플레이(182)는 출력 장치 이외에 사용자의 터치에 의한 정보의 입력이 가능한 입력 장치로도 사용될 수 있다.
또한, 출력부(180)는 오디오 신호를 출력하는 음향 출력부(181)를 더 포함할 수 있다. 음향 출력부(181)는 제어부(140)의 제어에 따라 경고음, 동작모드, 동작상태, 에러상태 등의 알림 메시지, 사용자의 명령 입력에 대응하는 정보, 사용자의 명령 입력에 대응하는 처리 결과 등을 음향으로 출력할 수 있다. 음향 출력부(181)는, 제어부(140)로부터의 전기 신호를 오디오 신호로 변환하여 출력할 수 있다. 이를 위해, 스피커 등을 구비할 수 있다.
도 2를 참조하면, 음향 출력부(181)는 헤드(110)의 좌우측면에 배치되어, 소정 정보를 음향으로 출력할 수 있다.
한편, 도 2에 예시된 홈 로봇의 외관 및 구조는 예시적인 것으로 본 발명은 이에 한정되지 않는다. 예를 들어, 음성 입력부(125), 영상 획득부(120), 음향 출력부(181)의 위치, 개수 등은 설계 사양에 따라 달라질 수 있고, 각 구성 부품의 회전 방향과 각도도 달라질 수 있다.
이러한 홈 로봇(100)은 다양한 엔터테이닝 기능뿐만 아니라, 사용자가 가정 내에서 다양한 쇼핑 또는 주문이 가능하도록 서비스를 제공할 수 있다.
이때, 홈 로봇(100)은 사용자의 본인 인증을 수행할 수 있으며, 사용자가 홈 로봇으로 쇼핑 또는 주문 등의 서비스를 요청하는 경우, 홈 로봇(100)은 정해진 보안 시스템을 가동하여 본인 인증을 수행한다.
구체적으로, 사용자는 홈 로봇(100)을 이용하여 특정 쇼핑몰에 접속할 것을 명령하고, 특정 물품을 담을 것을 명령하고, 결제할 것을 명령할 수 있다. 이때, 홈 로봇(100)은 사용자의 결제 명령에 따라 보안 시스템을 가동하여 본인 인증을 수행할 수 있다.
이하에서는 도 4 내지 도 9를 참고하여 본 발명의 다양한 실시예에 따른 인공지능 홈 로봇의 보안 시스템 구동에 대하여 설명한다.
도 4는 본 발명의 일 실시예에 따른 홈 로봇의 제어 방법을 도시한 순서도이고, 도 5a 및 도 5b는 도 4의 제어 방법에 따른 동작을 나타내는 도면이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 홈 로봇(100)은, 음성 입력부(125)에 포함되는 복수의 마이크(MIC)를 통하여, 사용자로부터 결제 명령을 수신하면, 보안 시스템을 가동한다(S10).
보안 시스템이 가동되면, 제어부(140)는 현재 가동된 보안 시스템 가동이 m회 미만으로 가동된 것인지 판단한다(S11).
즉, 소정 횟수 이상으로 보안 시스템을 연속 가동하여 결제가 복수회에 걸쳐 미진행된 경우, 보안 시스템을 종료하고 디스플레이(182) 또는 음향 출력부(181)를 통해 보안 시스템이 거부되었음을 사용자에게 알림한다.
m회 미만으로 보안 시스템이 연속 가동된 경우에는 제어부(140)는 보안 코드를 랜덤하게 생성한다(S12).
이러한 보안 코드는 난수 결합으로서, 소정 개수 이하의 한글, 알파벳, 숫자의 조합일 수 있으며, 복수의 방법으로 읽힐 수 있는 기호를 제외할 수 있다.
이때, 보안 코드의 글자 개수가 임의로 정해져 있을 수 있으며, 정해진 글자 갯수에 따라 난수 결합이 진행된다.
제어부(140)는 이와 같이 생성된 보안 코드를 디스플레이(182)에 출력하여 사용자에게 제공한다(S13).
이때, 도 5a와 같이 홈 로봇(100)은 음향 출력부(125)로부터 사용자에게 “보안코드를 소리내어 읽어주세요” 와 같은 발화 요청을 함께 제공할 수 있다.
이와 같이 시각적, 청각적 안내를 통해 사용자에게 보안 코드를 제공하고 그에 대한 피드백을 요청할 수 있다.
제어부(140)는 사용자에게 음향출력부(181)의 요청을 출력한 이후로 n초 이내에 사용자로부터의 발화가 수신되는지 판단한다(S14).
이때, n초는 바람직하게는 5초, 더욱 바람직하게는 3초 이내의 발화만을 인정할 수 있으며, 이보다 긴 시간인 경우, 보안 코드 습득에 실패한 것으로 보아 다시 보안 시스템의 가동을 진행한다.
한편, 도 5b와 같이, n초 내의 발화, 즉 사용자로부터 해당 보안 코드를 읽어내는 발화가 입력되면(S15), 제어부(140)는 음성 인식을 위한 전처리를 진행한다(S16).
이러한 전처리는 자연어 처리 알고리즘(NLP: Natural language processing)을 수행하여 수신되는 보안 코드의 발화로부터 토큰화, POS Tagging, Stopword 처리를 수행하여 해당 발화 데이터를 필터링할 수 있다.
다음으로, 제어부(140)는 음성 인식 의도 분석을 수행함으로써 전처리된 발화 데이터로부터 특징 추출, 모델링 및 추론을 통해 발화 데이터가 의미하는 정확한 의도를 분석한다(S17).
또한, 제어부(140)는 전처리된 발화 데이터가 기 저장되어 있는 사용자의 음성과 매칭되는지 주파수 매칭 등을 수행하여 화자를 인식할 수 있다. 전처리된 발화 데이터가 기 저장되어 있는 사용자의 음성과 매칭된다고 판단되면, 제어부(140)는 제어부(140)는 RNN, CNN 등의 딥러닝 알고리즘을 수행하거나, 다양한 기계학습 모델링을 적용하여 발화 데이터의 정확한 의도를 분석할 수 있다.
다음으로, 분석된 발화 데이터의 의도 분석 결과와 현재 보안 시스템에서 생성된 보안 코드와 동일한지 비교한다(S18).
이때, 두 개의 값이 동일한지 여부는 동일성이 100%를 충족하는 경우 외에도 80% 이상인 경우, 바람직하게는 90% 이상인 경우까지를 동일한 것으로 판단할 수 있다.
다음으로, 보안 코드와 발화 데이터의 의도 분석 결과가 동일하다고 판단되면, 결제를 승인하고, 본인 인증이 성공한 것으로 사용자에게 알림한다(S19).
다음으로, 홈 로봇(100)은 서버로 사용자가 선택한 물품의 매매의사 및 결제 관련 데이터를 전송하고, 이러한 물품의 매매의사 및 결제 관련 데이터는 판매 업체의 서버 및 금융회사 서버에 전송되고, 기 저장된 카드 정보 또는 계좌 정보를 통해 결제가 가능하다(S20).
이와 같이, 사용자의 음성 데이터를 기 저장된 음성과 매칭하여 물리적으로 사용자 인증을 수행하면서, 사용자에게 난수 코드인 보안 코드를 랜덤 생성하여 제공하고 이를 사용자가 발화하여 이러한 발화 데이터를 매칭시켜 강화된 사용자 본인 인증이 가능하다.
도 6은 본 발명의 다른 실시예에 따른 홈 로봇(100)의 제어 방법을 도시한 순서도이고, 도 7은 도 6의 제어 방법에 따른 동작을 나타내는 도면이다.
도 6을 참조하면, 본 발명의 다른 실시예에 따른 홈 로봇(100)은, 음성 입력부(125)에 포함되는 복수의 마이크(MIC)를 통하여, 사용자로부터 결제 명령을 수신하면, 보안 시스템을 가동한다(S30).
보안 시스템이 가동되면, 제어부(140)는 현재 가동된 보안 시스템 가동이 m회 미만으로 가동된 것인지 판단한다(S31).
즉, 소정 횟수 이상으로 보안 시스템을 연속 가동하여 결제가 복수회에 걸쳐 미진행된 경우, 보안 시스템을 종료하고 디스플레이(182) 또는 음향 출력부(181)를 통해 보안 시스템이 거부되었음을 사용자에게 알림한다.
m회 미만으로 보안 시스템이 연속 가동된 경우에는 제어부(140)는 보안 코드를 랜덤하게 생성한다(S32).
이러한 보안 코드는 난수 결합으로서, 소정 개수 이하의 한글, 알파벳, 숫자의 조합일 수 있으며, 복수의 방법으로 읽힐 수 있는 기호를 제외할 수 있다.
이때, 보안 코드의 글자 개수가 임의로 정해져 있을 수 있으며, 정해진 글자 갯수에 따라 난수 결합이 진행된다.
제어부(140)는 이와 같이 생성된 보안 코드를 음성으로 변환하여 음향출력부(181)에 출력하여 사용자에게 제공한다(S33).
일 예로 보안 코드가 “아리랑 386”인 경우, 도 7과 같이 음향출력부(181)를 통해 사용자에게 음성으로 보안 코드가 제공된다.
이때, 도 7과 같이 홈 로봇(100)은 연속적으로 음향출력부(181)로부터 사용자에게 “보안코드를 따라 읽어주세요” 와 같은 발화 요청을 함께 제공할 수 있다.
이와 같이 청각적 안내를 통해 사용자에게 보안 코드를 제공하고 그에 대한 피드백을 요청할 수 있다.
제어부(140)는 사용자에게 음향출력부(181)의 요청을 출력한 이후로 n초 이내에 사용자로부터의 발화가 수신되는지 판단한다(S34).
이때, n초는 바람직하게는 5초, 더욱 바람직하게는 3초 이내의 발화만을 인정할 수 있으며, 이보다 긴 시간인 경우, 보안코드 습득에 실패한 것으로 보아 다시 보안 시스템의 가동을 진행한다.
한편, n초 내의 발화, 즉 사용자로부터 해당 보안 코드를 읽어내는 발화가 입력되면(S35), 제어부(140)는 음성 인식을 위한 전처리를 진행한다(S36).
이러한 전처리는 자연어 처리 알고리즘(NLP: Natural language processing)을 수행하여 수신되는 보안 코드의 발화로부터 토큰화, POS Tagging, Stopword 처리를 수행하여 해당 발화 데이터를 필터링할 수 있다.
다음으로, 제어부(140)는 음성 인식 의도 분석을 수행함으로써 전처리된 발화 데이터로부터 특징 추출, 모델링 및 추론을 통해 발화 데이터가 의미하는 정확한 의도를 분석한다(S37).
또한, 제어부(140)는 전처리된 발화 데이터가 기 저장되어 있는 사용자의 음성과 매칭되는지 주파수 매칭 등을 수행하여 화자를 인식할 수 있다. 전처리된 발화 데이터가 기 저장되어 있는 사용자의 음성과 매칭된다고 판단되면, 제어부(140)는 제어부(140)는 RNN, CNN 등의 딥러닝 알고리즘을 수행하거나, 다양한 기계학습 모델링을 적용하여 발화 데이터의 정확한 의도를 분석할 수 있다.
다음으로, 분석된 발화 데이터의 의도 분석 결과와 현재 보안 시스템에서 생성된 보안 코드와 동일한지 비교한다(S38).
이때, 두 개의 값이 동일한지 여부는 동일성이 100%를 충족하는 경우 외에도 80% 이상인 경우, 바람직하게는 90% 이상인 경우까지를 동일한 것으로 판단할 수 있다.
다음으로, 보안 코드와 발화 데이터의 의도 분석 결과가 동일하다고 판단되면, 결제를 승인하고, 본인 인증이 성공한 것으로 사용자에게 알림한다(S39).
다음으로, 홈 로봇(100)은 서버로 사용자가 선택한 물품의 매매의사 및 결제 관련 데이터를 전송하고, 이러한 물품의 매매의사 및 결제 관련 데이터는 판매 업체의 서버 및 금융회사 서버에 전송되고, 기 저장된 카드 정보 또는 계좌 정보를 통해 결제가 가능하다(S40).
이와 같이, 사용자의 음성 데이터를 기 저장된 음성과 매칭하여 물리적으로 사용자 인증을 수행하면서, 사용자에게 난수 코드인 보안 코드를 랜덤 생성하여 제공하고 이를 사용자가 발화하여 이러한 발화 데이터를 매칭시켜 강화된 사용자 본인 인증이 가능하다.
도 8은 본 발명의 또 다른 실시예에 따른 홈 로봇(100)의 제어 방법을 도시한 순서도이고, 도 9a 내지 도 9c는 도 8의 제어 방법에 따른 동작을 나타내는 도면이다.
도 8을 참조하면, 본 발명의 또 다른 실시예에 따른 홈 로봇(100)은, 음성 입력부(125)에 포함되는 복수의 마이크(MIC)를 통하여, 사용자로부터 결제 명령을 수신하면, 보안 시스템을 가동한다(S50).
이때, 또 다른 실시예에 따르면 사용자와 홈 로봇(100) 사이에 기 설정되어 있는 보안 코드 및 암호 모션이 존재하는 것으로 가정한다. 이러한 기 설정은 홈 로봇(100)의 초기 설정 시에 진행할 수 있으며, 홈 로봇(100)의 설정 메뉴에서 간단하게 설정 가능하다.
보안 시스템이 가동되면, 제어부(140)는 현재 가동된 보안 시스템 가동이 m회 미만으로 가동된 것인지 판단한다(S51).
즉, 소정 횟수 이상으로 보안 시스템을 연속 가동하여 결제가 복수회에 걸쳐 미진행된 경우, 보안 시스템을 종료하고 디스플레이(182) 또는 음향 출력부를 통해 보안 시스템이 거부되었음을 사용자에게 알림한다.
m회 미만으로 보안 시스템이 연속 가동된 경우에는 제어부(140)도 9a와 같이 사용자에게 “암호 모션을 보여주세요” 라는 암호 모션 요청 음성을 제공하고, “보안 코드를 말해주세요”라는 보안 코드 발화 요청 음성을 연속적으로 제공할 수 있다.
제어부(140)는 도 9b와 같이 영상획득부(125)를 통해 사용자의 암호 모션을 수득한다(S52).
기 설정되어 있는 암호 모션으로는, 손 흔들기, 고개 숙이기, 양손 흔들기, 손 들기 등의 단순하고 판별이 비교적 용이한 모션일 수 있다.
상기 제어부(140)는, 얼굴 인식(Face Recognition) 기술 또는 모션 인식 기술을 이용하여 상기 영상 획득부(120)를 통하여 획득한 영상 내의 모션 정보를 판별할 수 있다.
모션 인식을 위하여 다양한 기술들이 공개되어 있고, 본 발명에서는 기존에 제안된 다양한 모션 인식 알고리즘들을 사용할 수 있다. 기하학적인 인체 특징 요소를 검출하는 방법, 에지(edge) 정보를 검출하고 그 주위 데이터를 판별하여 얼굴을 인식하는 방법 등도 가능하다.
예를 들어, 빠른 인식 속도가 요구되는 경우, 얼굴의 기하학적인 특징들을 이용한 얼굴 인식 기술이 사용될 수 있다. 이 기술은 다양한 얼굴 인식 기술들 중에서 보편적으로 사용되는 방법 중 하나이다. 이 기술은, 눈, 코, 입과 같은 얼굴의 특징점들의 위치, 크기, 및 이들 사이의 거리와 같은 기하학적 인자, 요소들을 사용하여 개인들 각각의 얼굴 또는 형태를 인식하는 것이다.
이와 같이 모션 정보가 입력되면, 제어부(140)는 사용자로부터의 발화를 유도하여 보안 코드를 수득할 수 있다(S53).
즉, 도 9c와 같이 기 설정된 보안 코드가 “아리랑 386”인 경우, 이에 대한 사용자의 발화를 음성입력부(125)를 통해 수득한다.
다음으로, 제어부(140)는 사용자에게 음향출력부(181)의 요청을 출력한 이후로 n초 이내에 사용자로부터의 모션 입력 및 발화가 수신되는지 판단한다(S54).
이때, n초는 바람직하게는 10초, 더욱 바람직하게는 5초 이내의 모션 입력 및발화만을 인정할 수 있으며, 이보다 긴 시간인 경우, 보안코드 습득에 실패한 것으로 보아 다시 보안 시스템의 가동을 진행한다.
한편, n초 내의 모션 입력이 수행된 경우, 제어부(140)는 모션 인식 전처리를 진행한다(S55). 즉, 각 프레임의 특징점 들을 추출하여 해당 모션을 분석하고 분석된 모션이 기 설정된 암호 모션과 일치하는지 판단한다.
다음으로, 제어부(140)는 보안 코드의 발화 데이터에 대하여 음성 인식을 위한 전처리를 진행한다(S56). 이러한 전처리는 자연어 처리 알고리즘(NLP: Natural language processing)을 수행하여 수신되는 보안 코드의 발화로부터 토큰화, POS Tagging, Stopword 처리를 수행하여 해당 발화 데이터를 필터링할 수 있다.
다음으로, 제어부(140)는 음성 인식 의도 분석을 수행함으로써 전처리된 발화 데이터로부터 특징 추출, 모델링 및 추론을 통해 발화 데이터가 의미하는 정확한 의도를 분석한다(S57).
또한, 제어부(140)는 전처리된 발화 데이터가 기 저장되어 있는 사용자의 음성과 매칭되는지 주파수 매칭 등을 수행하여 화자를 인식할 수 있다. 전처리된 발화 데이터가 기 저장되어 있는 사용자의 음성과 매칭된다고 판단되면, 제어부(140)는 제어부(140)는 RNN, CNN 등의 딥러닝 알고리즘을 수행하거나, 다양한 기계학습 모델링을 적용하여 발화 데이터의 정확한 의도를 분석할 수 있다.
다음으로, 분석된 발화 데이터의 의도 분석 결과와 현재 보안 시스템에서 기설정된 보안 코드와 동일한지 비교한다(S58).
이때, 두 개의 값이 동일한지 여부는 동일성이 100%를 충족하는 경우 외에도 80% 이상인 경우, 바람직하게는 90% 이상인 경우까지를 동일한 것으로 판단할 수 있다.
다음으로, 암호 모션이 일치하고, 보안 코드와 발화 데이터의 의도 분석 결과가 동일하다고 판단되면, 결제를 승인하고, 본인 인증이 성공한 것으로 사용자에게 알림한다(S59).
다음으로, 홈 로봇(100)은 서버로 사용자가 선택한 물품의 매매의사 및 결제 관련 데이터를 전송하고, 이러한 물품의 매매의사 및 결제 관련 데이터는 판매 업체의 서버 및 금융회사 서버에 전송되고, 기 저장된 카드 정보 또는 계좌 정보를 통해 결제가 가능하다(S60).
이와 같이, 사용자의 음성 데이터를 기 저장된 음성과 매칭하여 물리적으로 사용자 인증을 수행하면서, 사용자에게 보안 코드를 음성으로 요청하는 한편, 모션 암호를 부가적으로 요청하여 강화된 사용자 본인 인증이 가능하다.
본 발명에 따른 홈 로봇(100)은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
한편, 본 발명의 실시예에 따른 홈 로봇(100) 및 이를 포함하는 스마트 홈 시스템의 동작 방법은, 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
[부호의 설명]
서버: 2
홈 로봇: 100
디스플레이 182
음향출력부181
제어부 140

Claims (20)

  1. 사용자로부터 결제 명령을 수신하는 단계;
    보안 코드의 발화 요청을 상기 사용자에게 제공하는 단계;
    상기 사용자로부터 상기 보안 코드의 발화를 소정 시간 내에 수신하는 단계; 및
    수신된 발화 데이터를 분석하여 상기 보안 코드와 비교하고, 기 저장된 상기 사용자의 음성과 비교하여 본인 인증을 수행하는 단계
    를 포함하는 홈 로봇의 제어 방법.
  2. 제1항에 있어서,
    상기 보안 코드의 발화 요청 전에, 상기 보안 코드를 랜덤으로 생성하여 상기 사용자에게 제공하는 단계를 더 포함하는 것을 특징으로 하는 홈 로봇의 제어 방법.
  3. 제2항에 있어서,
    상기 보안 코드를 제공하는 단계는,
    상기 홈 로봇의 디스플레이를 통해 시각적으로 제공되는 것을 특징으로 하는 홈 로봇의 제어 방법.
  4. 제1항에 있어서,
    상기 본인 인증을 수행하는 단계는,
    수신된 상기 발화 데이터를 음성 인식 전처리를 수행하고, 전처리된 발화 데이터의 의도 분석을 수행하여 상기 보안 코드와 동일성 여부를 판단하는 것을 특징으로 하는 홈 로봇의 제어 방법.
  5. 제4항에 있어서,
    상기 전처리된 발화 데이터에 대하여 기 저장된 사용자의 음성 데이터와 비교하여 사용자의 음성 데이터와 일치하는지 판단하는 단계를 더 포함하는 것을 특징으로 하는 홈 로봇의 제어 방법.
  6. 제2항에 있어서,
    상기 보안 코드를 제공하는 단계는,
    상기 사용자에게 청각적으로 제공되는 것을 특징으로 하는 홈 로봇의 제어 방법.
  7. 제1항에 있어서,
    상기 보안 코드 발화를 요청하는 단계는,
    암호 모션을 요청하는 단계를 더 포함하는 것을 특징으로 하는
    홈 로봇의 제어 방법.
  8. 제7항에 있어서,
    상기 암호 모션 및 상기 보안 코드는 기 설정되어 있는 것을 특징으로 하는 홈 로봇의 제어 방법.
  9. 제8항에 있어서,
    상기 본인 인증을 수행하는 단계는,
    상기 사용자가 제공하는 암호 모션을 영상 데이터로 수득하는 단계,
    상기 사용자가 발화하는 보안 코드를 발화 데이터로 수득하는 단계,
    상기 영상 데이터를 기초로 모션 인식을 수행하여 상기 암호 모션과 상기 영상 데이터의 모션이 일치하는지 판단하고, 상기 발화 데이터가 기 설정된 상기 보안 코드와 동일한지 판단하는 단계
    를 포함하는 것을 특징으로 하는 홈 로봇의 제어 방법.
  10. 제1항에 있어서,
    상기 본인 인증이 성공하지 않고, 소정 횟수만큼 반복되었는지 판단하여 소정 횟수 이상인 경우, 결제 요청에 대한 동작을 중단하는 것을 더 포함하는 것을 특징으로 하는 홈 로봇의 제어 방법.
  11. 내부 수납 공간을 형성하는 바디(body);
    상기 바디의 하측에 배치되어 상기 바디를 지지하는 지지부;
    영상을 표시할 수 있는 디스플레이;
    상기 바디의 상측에 위치하고, 상기 디스플레이가 전면에 배치되는 헤드(head);
    음성 신호가 수신되는 복수의 마이크(MIC)를 포함하는 음성 입력부; 및
    사용자로부터 결제 명령을 수신하면, 보안 코드의 발화를 요청하고, 상기 사용자로부터 상기 보안 코드의 발화를 수신하고, 상기 보안 코드와 비교하고, 기 저장된 상기 사용자의 음성과 비교하여 본인 인증을 수행하는 제어부
    를 포함하는 홈 로봇.
  12. 제11항에 있어서,
    상기 제어부는 상기 보안 코드의 발화 요청 전에, 상기 보안 코드를 랜덤으로 생성하여 상기 사용자에게 제공하는 홈 로봇.
  13. 제12항에 있어서,
    상기 제어부는 상기 디스플레이를 통해 상기 보안 코드를 시각적으로 제공하는 것을 특징으로 하는 홈 로봇.
  14. 제11항에 있어서,
    상기 제어부는
    수신된 상기 발화 데이터를 음성 인식 전처리를 수행하고, 전처리된 발화 데이터의 의도 분석을 수행하여 상기 보안 코드와 동일성 여부를 판단하는 것을 특징으로 하는 홈 로봇.
  15. 제14항에 있어서,
    상기 제어부는,
    상기 전처리된 발화 데이터에 대하여 기 저장된 사용자의 음성 데이터와 비교하여 사용자의 음성 데이터와 일치하는지 판단하는 것을 특징으로 하는 홈 로봇.
  16. 제12항에 있어서,
    상기 보안 코드는 상기 사용자에게 청각적으로 제공되는 것을 특징으로 하는 홈 로봇.
  17. 제11항에 있어서,
    상기 제어부는 상기 보안 코드 발화를 요청과 함께 암호 모션을 요청하는 것을 더 포함하는 것을 특징으로 하는
    홈 로봇.
  18. 제17항에 있어서,
    상기 암호 모션 및 상기 보안 코드는 기 설정되어 있는 것을 특징으로 하는 홈 로봇.
  19. 제18항에 있어서,
    상기 제어부는, 상기 사용자가 제공하는 암호 모션을 영상 데이터로 수득하고, 상기 사용자가 발화하는 보안 코드를 발화 데이터로 수득하고, 상기 영상 데이터를 기초로 모션 인식을 수행하여 상기 암호 모션과 상기 영상 데이터의 모션이 일치하는지 판단하고, 상기 발화 데이터가 기 설정된 상기 보안 코드와 동일한지 판단하는 것을 특징으로 하는 홈 로봇.
  20. 제11항에 있어서,
    상기 제어부는 본인 인증이 성공하지 않고, 소정 횟수만큼 반복되었는지 판단하여 소정 횟수 이상인 경우, 결제 요청에 대한 동작을 중단하는 것을 더 포함하는 것을 특징으로 하는 홈 로봇.
PCT/KR2019/007258 2019-06-17 2019-06-17 인공지능 홈 로봇 및 그의 제어 방법 WO2020256160A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/490,447 US20210331328A1 (en) 2019-06-17 2019-06-17 Artificial intelligence robot and method of controlling the same
PCT/KR2019/007258 WO2020256160A1 (ko) 2019-06-17 2019-06-17 인공지능 홈 로봇 및 그의 제어 방법
KR1020190103006A KR20190104935A (ko) 2019-06-17 2019-08-22 인공지능 로봇 및 그의 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/007258 WO2020256160A1 (ko) 2019-06-17 2019-06-17 인공지능 홈 로봇 및 그의 제어 방법

Publications (1)

Publication Number Publication Date
WO2020256160A1 true WO2020256160A1 (ko) 2020-12-24

Family

ID=67949341

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/007258 WO2020256160A1 (ko) 2019-06-17 2019-06-17 인공지능 홈 로봇 및 그의 제어 방법

Country Status (3)

Country Link
US (1) US20210331328A1 (ko)
KR (1) KR20190104935A (ko)
WO (1) WO2020256160A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220357721A1 (en) * 2021-05-10 2022-11-10 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for controlling a robot
CN113954091A (zh) * 2021-10-15 2022-01-21 北京小乔机器人科技发展有限公司 一种具有在线购药功能的机器人
US11940211B2 (en) * 2022-02-14 2024-03-26 Haier Us Appliance Solutions, Inc. Refrigerator appliance with smart door alarm
CN116494241A (zh) * 2023-06-01 2023-07-28 上海启丰电子科技有限公司 一种机器人保安控制系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100130809A (ko) * 2009-06-04 2010-12-14 유비벨록스(주) 음향 인식 기반의 주문과 음성 또는 영상 인식 기반의 인증을 통한 음반 전자상거래 시스템
KR20140143047A (ko) * 2013-06-05 2014-12-15 브이피 주식회사 음성 정보를 이용한 결제 방법 및 결제 중계 서버
US20150230095A1 (en) * 2001-06-28 2015-08-13 At&T Intellectual Property I, L.P. Voice recognition for performing authentication and completing transactions in a systems interface to legacy systems
KR20170130796A (ko) * 2016-05-19 2017-11-29 이제훈 사용자 동작 기반 인증 시스템 및 그 방법
KR20180110348A (ko) * 2017-03-29 2018-10-10 삼성전자주식회사 발화를 이용하여 결제를 수행하는 전자 장치 및 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002281567A (ja) * 2001-03-14 2002-09-27 Nec Corp 遠隔操作方法、遠隔操作システム、および遠隔制御システムにおけるプログラム
JP2003233725A (ja) * 2002-02-08 2003-08-22 Canon Inc サービス提供システム、サービス提供装置、サービス提供方法およびプログラム
US9323912B2 (en) * 2012-02-28 2016-04-26 Verizon Patent And Licensing Inc. Method and system for multi-factor biometric authentication
TW201714109A (zh) * 2015-10-08 2017-04-16 三竹資訊股份有限公司 視訊身分確認裝置與方法及其電腦程式產品
SG10201600561YA (en) * 2016-01-25 2017-08-30 Mastercard Asia Pacific Pte Ltd A Method For Facilitating A Transaction Using A Humanoid Robot
WO2018012446A1 (ja) * 2016-07-11 2018-01-18 Ｇｒｏｏｖｅ Ｘ株式会社 活動量をコントロールされる自律行動型ロボット

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150230095A1 (en) * 2001-06-28 2015-08-13 At&T Intellectual Property I, L.P. Voice recognition for performing authentication and completing transactions in a systems interface to legacy systems
KR20100130809A (ko) * 2009-06-04 2010-12-14 유비벨록스(주) 음향 인식 기반의 주문과 음성 또는 영상 인식 기반의 인증을 통한 음반 전자상거래 시스템
KR20140143047A (ko) * 2013-06-05 2014-12-15 브이피 주식회사 음성 정보를 이용한 결제 방법 및 결제 중계 서버
KR20170130796A (ko) * 2016-05-19 2017-11-29 이제훈 사용자 동작 기반 인증 시스템 및 그 방법
KR20180110348A (ko) * 2017-03-29 2018-10-10 삼성전자주식회사 발화를 이용하여 결제를 수행하는 전자 장치 및 방법

Also Published As

Publication number Publication date
KR20190104935A (ko) 2019-09-11
US20210331328A1 (en) 2021-10-28

Similar Documents

Publication Publication Date Title
WO2020256160A1 (ko) 인공지능 홈 로봇 및 그의 제어 방법
WO2020050595A1 (ko) 음성 인식 서비스를 제공하는 서버
WO2019164148A1 (ko) 음성 명령을 수행하는 방법 및 시스템
WO2019216499A1 (ko) 전자 장치 및 그 제어 방법
WO2019156314A1 (ko) 챗봇과 대화하기 위한 전자 장치 및 그의 동작 방법
WO2019031707A1 (en) MOBILE TERMINAL AND METHOD FOR CONTROLLING A MOBILE TERMINAL USING MACHINE APPRENTICESHIP
WO2017185316A1 (zh) 一种无人机第一视角飞行的控制方法及系统、智能眼镜
WO2019216578A1 (en) Method and apparatus for executing cleaning operation
WO2020149454A1 (ko) 사용자에 대한 인증을 수행하는 전자 장치 및 그 동작 방법
WO2015023145A1 (ko) 공간 해상도가 가변되는 거리 정보를 획득할 수 있는 거리검출장치 및 이를 구비한 영상표시장치
WO2017099314A1 (ko) 사용자 정보를 제공하는 전자 장치 및 방법
WO2021251549A1 (en) Display device
WO2016006831A1 (ko) 홍채 인식을 이용한 도어록과 그 시스템 및 그에 사용되는 이동통신단말기와 네트워크 게이트웨이 및 사용자 인증 방법
WO2020256161A1 (ko) 인공지능 홈 로봇 및 그의 제어 방법
EP3773111A1 (en) Method and apparatus for executing cleaning operation
WO2017007101A1 (ko) 스마트 디바이스 및 이의 제어방법
WO2016032039A1 (ko) 영상 투사 장치 및 그의 동작 방법
WO2020085844A1 (en) Electronic device and method of operating the same
WO2019088338A1 (ko) 전자 장치 및 그 제어 방법
WO2019240434A1 (en) Electronic device and method of controlling thereof
WO2022102945A1 (ko) 전자장치 및 그 제어방법
WO2022098204A1 (ko) 가상현실 서비스를 제공하는 전자 장치 및 방법
WO2022055107A1 (ko) 음성 인식을 위한 전자장치 및 그 제어방법
WO2021241793A1 (ko) 디스플레이 장치
WO2020159318A1 (ko) 적어도 하나의 그래픽 엘리먼트를 표시하는 전자장치 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19933710

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19933710

Country of ref document: EP

Kind code of ref document: A1