KR102426071B1 - Artificial intelligence based gaze recognition device and method, and unmanned information terminal using the same - Google Patents

Artificial intelligence based gaze recognition device and method, and unmanned information terminal using the same Download PDF

Info

Publication number
KR102426071B1
KR102426071B1 KR1020210095701A KR20210095701A KR102426071B1 KR 102426071 B1 KR102426071 B1 KR 102426071B1 KR 1020210095701 A KR1020210095701 A KR 1020210095701A KR 20210095701 A KR20210095701 A KR 20210095701A KR 102426071 B1 KR102426071 B1 KR 102426071B1
Authority
KR
South Korea
Prior art keywords
user
gaze
virtual keypad
size
virtual
Prior art date
Application number
KR1020210095701A
Other languages
Korean (ko)
Inventor
정희석
나현정
Original Assignee
정희석
나현정
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 정희석, 나현정 filed Critical 정희석
Priority to KR1020210095701A priority Critical patent/KR102426071B1/en
Application granted granted Critical
Publication of KR102426071B1 publication Critical patent/KR102426071B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/40—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for devices for accepting orders, advertisements, or the like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Abstract

Disclosed are a device and method for artificial intelligence-based gaze recognition and an unmanned information terminal using the same. According to one embodiment of the present invention, the artificial intelligence-based gaze recognition device comprises: a data collection unit which accumulates facial big data by collecting a plurality of pieces of user facial information including facial images and biometric information matching the facial images; a learning processing unit which generates an artificial neural network model for recognizing a gaze of a user by performing learning processing including at least one of pattern recognition, classification, and relational linkage on the accumulated facial big data according to preset conditions; a sensor which detects information required to recognize a user's approach, a user's biometric profile, a separation distance from the user, or a user's gaze movement; and a control unit which applies, when receiving the photographed user facial images from the sensor, the user facial images to the artificial neural network model to identify two pupils of the user, sets a first zero point by regarding the center between the identified two pupils as an eye position, and generates a virtual keypad including a center area having the first zero point as a center coordinate and a plurality of border areas adjacent with respect to the center area. According to the present invention, it is possible to manipulate a terminal which can be touched by many and unspecified persons in a non-contact manner. Therefore, public health can be maintained in a clean state.

Description

인공지능 기반 시선 인식 장치 및 방법과 이를 이용한 무인 정보 단말기{ARTIFICIAL INTELLIGENCE BASED GAZE RECOGNITION DEVICE AND METHOD, AND UNMANNED INFORMATION TERMINAL USING THE SAME}Artificial intelligence-based gaze recognition device and method, and unmanned information terminal using the same

본 발명의 실시예들은 인공지능 기반 시선 인식 장치 및 방법과 이를 이용한 무인 정보 단말기와 관련된다.Embodiments of the present invention relate to an artificial intelligence-based gaze recognition apparatus and method and an unmanned information terminal using the same.

사용자 및 사업주의 편의를 위해 음식점, 약국, 오프라인 쇼핑몰 등 다양한 장소에 무인 키오스크를 배치시켜 직원이 상주하지 않아도 상품 정보 제공 및 결제를 비롯한 관련 서비스 제공이 이루어질 수 있도록 하고 있다.For the convenience of users and business owners, unmanned kiosks are placed in various places, such as restaurants, pharmacies, and offline shopping malls, so that product information and related services, including payment, can be provided even without employees.

한편, 인공지능 기반 기술 및 무선통신 기술이 발달함에 따라, 무인 키오스크를 이용하는 사용자들에게도 보다 양질의 서비스를 제공하기 위한 방법이 모색되고 있는 실정이다.Meanwhile, with the development of artificial intelligence-based technology and wireless communication technology, a method for providing a higher quality service to users using an unmanned kiosk is being sought.

대한민국 공개특허공보 제10-2020-0031283호 (2020. 03. 24.)Republic of Korea Patent Publication No. 10-2020-0031283 (2020.03.24.)

본 발명의 실시예들은 사용자가 비접촉 상태에서 각종 콘텐츠 서비스를 제공받을 수 있도록 사용자의 시선을 인식하기 위한 인공지능 기반 시선 인식 장치 및 방법과 이를 이용한 무인 정보 단말기를 제공하기 위한 것이다.SUMMARY Embodiments of the present invention are to provide an artificial intelligence-based gaze recognition apparatus and method for recognizing a user's gaze so that the user can receive various content services in a non-contact state, and an unmanned information terminal using the same.

본 발명의 예시적인 실시예에 따르면, 인공지능 기반 시선 인식 장치는 안면 이미지와 이에 매칭되는 생체정보를 포함하는 복수의 사용자 안면 정보를 수집하여 안면 빅 데이터를 축적하도록 하는 데이터 수집부; 축적된 상기 안면 빅 데이터를 기 설정된 조건에 따라 패턴인식, 분류 및 연관성 연계 중 적어도 하나 이상을 포함하는 학습 처리를 수행하여 사용자의 시선을 인식하기 위한 인공 신경망 모델을 생성하는 학습 처리부; 사용자의 접근, 사용자의 생체 프로필, 사용자와의 이격 거리 또는 사용자의 시선 이동을 인식하는데 요구되는 정보를 감지하기 위한 감지 센서; 및 상기 감지 센서로부터 촬영된 사용자의 안면 이미지를 수신하면, 이를 상기 인공 신경망 모델에 적용하여 사용자의 두 눈동자를 파악하고 파악된 상기 두 눈동자 사이의 중심을 눈 위치로 간주하여 제1 영점으로 설정하고, 상기 제1 영점을 중심 좌표로 하는 중심 영역 및 상기 중심 영역을 기준으로 인접한 복수의 테두리 영역을 포함하는 가상 키패드를 생성하는 제어부를 포함한다.According to an exemplary embodiment of the present invention, an artificial intelligence-based gaze recognition apparatus includes: a data collection unit configured to collect a plurality of user facial information including a facial image and biometric information matching it to accumulate facial big data; a learning processing unit for generating an artificial neural network model for recognizing a user's gaze by performing a learning process including at least one of pattern recognition, classification, and association linkage on the accumulated facial big data according to a preset condition; a detection sensor for sensing information required to recognize a user's approach, a user's biometric profile, a separation distance from the user, or a movement of the user's gaze; and when receiving the user's face image taken from the detection sensor, it is applied to the artificial neural network model to identify the user's two pupils, and the center between the two identified pupils is regarded as the eye position and set as the first zero point, , a control unit for generating a virtual keypad including a central region having the first zero point as a central coordinate and a plurality of border regions adjacent to the central region.

상기 제어부는, 상기 중심 좌표에 가상 커서(virtual cursor)가 위치하도록 하고, 상기 감지 센서로부터 사용자의 신규 안면 이미지를 획득하면, 상기 사용자의 신규 안면 이미지를 상기 인공 신경망 모델에 적용하여 사용자의 시선을 추적하고, 추적 결과 상기 눈 위치의 변경을 인지하면 사용자의 시선 이동 이벤트를 발생시켜 상기 가상 키패드 상에서 상기 중심 좌표에 위치하는 상기 가상 커서를 상기 사용자의 시선 이동 위치로 이동시킬 수 있다.The control unit places a virtual cursor at the central coordinates, and when a new facial image of the user is obtained from the detection sensor, the user's gaze is obtained by applying the new facial image of the user to the artificial neural network model. Upon tracking and recognizing a change in the eye position as a result of tracking, a user's gaze movement event may be generated to move the virtual cursor located at the central coordinate on the virtual keypad to the user's gaze movement position.

상기 제어부는, 상기 감지 센서로부터 상기 사용자와의 이격거리를 획득하고, 획득된 상기 사용자와의 이격거리를 기초로 상기 가상 키패드의 사이즈를 설정 사이즈로 조정할 수 있다.The control unit may obtain a separation distance from the user from the detection sensor, and adjust the size of the virtual keypad to a set size based on the obtained separation distance from the user.

상기 제어부는, 상기 사용자와의 이격거리가 멀수록 상기 가상 키패드의 사이즈가 기 설정된 비율로 작아지도록 조정할 수 있다.The controller may adjust the size of the virtual keypad to decrease at a preset ratio as the distance from the user increases.

상기 제어부는, 상기 가상 키패드의 사이즈를 조정할 때, 상기 가상 키패드에 포함되는 상기 중심 영역 및 상기 복수의 테두리 영역 각각의 소단위 사이즈 또는 상기 가상 키패드의 전체 사이즈가 기 설정된 비율에 따라 조정되도록 제어할 수 있다.When the size of the virtual keypad is adjusted, the control unit may control the subunit size of each of the central region and the plurality of edge regions included in the virtual keypad or the overall size of the virtual keypad to be adjusted according to a preset ratio. have.

상기 제어부는, 상기 가상 키패드의 사이즈가 상기 설정 사이즈를 기초로 기 설정된 비율로 조정될 때, 상기 가상 키패드의 가상 커서를 상기 가상 키패드의 사이즈 조정 비율에 대응되는 거리만큼 이동시킬 수 있다.When the size of the virtual keypad is adjusted at a preset ratio based on the set size, the controller may move the virtual cursor of the virtual keypad by a distance corresponding to the size adjustment ratio of the virtual keypad.

상기 제어부는, 상기 가상 키패드 상의 상기 제1 영점을 상기 사용자의 시선 이동 위치에 대응되는 제2 영점으로 재 설정하고, 상기 제2 영점을 중심 좌표로 하는 중심 영역을 형성하고, 형성된 상기 중심 영역을 기준으로 인접한 복수의 테두리 영역을 포함하는 가상 키패드를 생성할 수 있다.The control unit resets the first zero point on the virtual keypad to a second zero point corresponding to a movement position of the user's gaze, forms a center area using the second zero point as a center coordinate, and selects the formed center area A virtual keypad including a plurality of adjacent border regions may be generated as a reference.

상기 감지 센서는, 상기 사용자의 접근, 상기 사용자와의 이격 거리, 상기 사용자의 생체 프로필 또는 상기 사용자의 시선 이동을 인식하기 위한 초음파 센서, 적외선 센서, 레이저 센서 및 위치 감지 센서를 포함하는 근거리 무선 감지 센서, 접근 인식 센서, IOT(internet of things) 센서, 및 영상 촬영기 중 적어도 하나 이상을 포함할 수 있다.The detection sensor includes an ultrasonic sensor, an infrared sensor, a laser sensor, and a position detection sensor for recognizing the user's approach, the separation distance from the user, the user's bio-profile or the user's gaze movement It may include at least one of a sensor, an approach recognition sensor, an Internet of things (IOT) sensor, and an image capturer.

본 발명의 예시적인 실시예에 따르면, 인공지능 기반 시선 인식 방법은 안면 이미지와 이에 매칭되는 생체정보를 포함하는 복수의 사용자 안면 정보를 수집하여 안면 빅 데이터를 축적하는 단계; 축적된 상기 안면 빅 데이터를 기 설정된 조건에 따라 패턴인식, 분류 및 연관성 연계 중 적어도 하나 이상을 포함하는 학습 처리를 수행하여 사용자의 시선 인식을 위한 인공 신경망 모델을 생성하는 단계; 촬영된 사용자의 안면 이미지를 상기 인공 신경망 모델에 적용하여 사용자의 두 눈동자를 파악하고 파악된 상기 두 눈동자 사이의 중심을 눈 위치로 간주하여 제1 영점으로 설정하는 단계; 및 상기 제1 영점을 중심 좌표로 하는 중심 영역 및 상기 중심 영역을 기준으로 인접한 복수의 테두리 영역을 포함하는 가상 키패드를 생성하는 단계를 포함한다.According to an exemplary embodiment of the present invention, an AI-based gaze recognition method includes: accumulating facial big data by collecting a plurality of user facial information including a facial image and matching biometric information; generating an artificial neural network model for recognizing a user's gaze by performing a learning process including at least one of pattern recognition, classification, and association linkage on the accumulated facial big data according to a preset condition; applying the photographed facial image of the user to the artificial neural network model to identify the user's two pupils, and setting the center between the two identified pupils as the eye position as a first zero point; and generating a virtual keypad including a central region having the first zero point as a central coordinate and a plurality of border regions adjacent to the central region.

상기 인공지능 기반 시선 인식 방법은, 상기 가상 키패드를 생성하는 단계에서, 상기 중심 좌표에 가상 커서(virtual cursor)를 위치시키고, 상기 가상 키패드를 생성하는 단계 이후에, 사용자의 신규 안면 이미지를 획득하면, 이를 상기 인공 신경망 모델에 적용하여 상기 사용자의 시선을 추적하는 단계; 추적 결과 상기 눈 위치의 변경을 인지하면 사용자의 시선 이동 이벤트를 발생시키는 단계; 및 상기 가상 키패드 상에서 상기 중심 좌표에 위치하는 상기 가상 커서를 상기 사용자의 시선 이동 위치로 이동시키는 단계를 더 포함할 수 있다.In the artificial intelligence-based gaze recognition method, in the step of generating the virtual keypad, a virtual cursor is positioned at the central coordinates, and after the step of generating the virtual keypad, a new facial image of the user is obtained , applying this to the artificial neural network model to track the gaze of the user; generating a user's gaze movement event upon recognizing a change in the eye position as a result of tracking; and moving the virtual cursor positioned at the central coordinates on the virtual keypad to a movement position of the user's gaze.

상기 가상 키패드를 생성하는 단계는, 상기 사용자와의 이격거리를 획득하는 단계; 및 획득된 상기 사용자와의 이격거리를 기초로 상기 가상 키패드의 사이즈를 설정 사이즈로 조정하는 단계를 더 포함할 수 있다.The generating of the virtual keypad may include: obtaining a separation distance from the user; and adjusting the size of the virtual keypad to a set size based on the obtained separation distance from the user.

상기 인공지능 기반 시선 인식 방법은, 상기 가상 키패드의 사이즈를 설정 사이즈로 조정하는 단계에서, 상기 사용자와의 이격거리가 멀수록 상기 가상 키패드의 사이즈가 기 설정된 비율로 작아지도록 조정할 수 있다.In the artificial intelligence-based gaze recognition method, in the step of adjusting the size of the virtual keypad to a preset size, as the distance from the user increases, the size of the virtual keypad may be adjusted to decrease at a preset ratio.

상기 인공지능 기반 시선 인식 방법은, 상기 가상 키패드의 사이즈를 설정 사이즈로 조정하는 단계에서, 상기 가상 키패드에 포함되는 상기 중심 영역 및 상기 복수의 테두리 영역 각각의 소단위 사이즈 또는 상기 가상 키패드의 전체 사이즈를 기 설정된 비율에 따라 조정할 수 있다.In the artificial intelligence-based gaze recognition method, in the step of adjusting the size of the virtual keypad to a set size, the subunit size of each of the central region and the plurality of edge regions included in the virtual keypad or the entire size of the virtual keypad It can be adjusted according to a preset ratio.

상기 인공지능 기반 시선 인식 방법은, 상기 가상 커서를 상기 사용자의 시선 이동 위치로 이동시키는 단계에서, 상기 가상 키패드의 가상 커서를 상기 가상 키패드의 사이즈 조정 비율에 대응되는 거리만큼 이동시킬 수 있다.In the AI-based gaze recognition method, in moving the virtual cursor to the user's gaze movement position, the virtual cursor of the virtual keypad may be moved by a distance corresponding to a size adjustment ratio of the virtual keypad.

상기 인공지능 기반 시선 인식 방법은, 상기 가상 커서를 상기 사용자의 시선 이동 위치로 이동시키는 단계 이후에, 상기 가상 키패드 상의 상기 제1 영점을 상기 사용자의 시선 이동 위치에 대응되는 제2 영점으로 재 설정하는 단계; 및 상기 제2 영점을 중심 좌표로 하는 중심 영역을 형성하고, 형성된 상기 중심 영역을 기준으로 인접한 복수의 테두리 영역을 포함하는 가상 키패드를 재 생성하는 단계를 더 포함할 수 있다.The artificial intelligence-based gaze recognition method resets the first zero point on the virtual keypad to a second zero point corresponding to the user's gaze movement position after moving the virtual cursor to the user's gaze movement position to do; and forming a central region having the second zero point as a central coordinate, and re-creating a virtual keypad including a plurality of adjacent edge regions based on the formed central region.

상기 사용자와의 이격거리는, 상기 사용자와의 이격거리를 감지하는 거리 인식 센서의 위치로부터 상기 사용자 간의 이격거리이거나, 또는 상기 사용자의 안면 이미지를 촬영하는 영상 촬영기의 위치로부터 상기 사용자 간의 이격거리일 수 있다.The separation distance from the user may be a separation distance between the users from a location of a distance recognition sensor that detects the separation distance from the user, or a separation distance between the users from a location of an imager capturing the user's face image. have.

본 발명의 예시적인 실시예에 따르면, 인공지능을 이용한 무인 정보 단말기는, 사용자의 안면 이미지를 획득하면, 상기 사용자의 안면 이미지로부터 사용자의 두 눈동자를 파악하고 파악된 상기 두 눈동자 사이의 중심을 눈 위치로 간주하여 제1 영점으로 설정하고, 상기 제1 영점을 중심 좌표로 하는 중심 영역 및 상기 중심 영역을 기준으로 인접한 복수의 테두리 영역을 포함하는 가상 키패드를 생성하는 시선 인식 모듈; 및 미디어 정보, 상품 리스트 및 온오프라인 쇼핑몰 정보 중 적어도 하나 이상을 포함하는 콘텐츠를 상기 가상 키패드의 영역별 위치에 대응되는 복수의 영역을 포함하는 디스플레이 상에 출력하되, 상기 시선 인식 모듈을 통해 파악된 사용자의 시선에 따라 이동하는 상기 가상 커서를 기초로 해당 콘텐츠를 출력하는 무인 정보 제공 모듈을 포함할 수 있다.According to an exemplary embodiment of the present invention, when the unmanned information terminal using artificial intelligence acquires the user's face image, the user's two pupils are identified from the user's face image and the center between the two identified pupils is the eye a gaze recognition module that sets a first zero point to be regarded as a position, and generates a virtual keypad including a central region having the first zero point as a central coordinate and a plurality of border regions adjacent to the central region; and outputting content including at least one of media information, product list, and online/offline shopping mall information on a display including a plurality of regions corresponding to positions of each region of the virtual keypad, but identified through the gaze recognition module It may include an unattended information providing module that outputs the corresponding content based on the virtual cursor moving according to the user's gaze.

상기 시선 인식 모듈은, 상기 중심 좌표에 가상 커서(virtual cursor)를 위치시키며, 사용자의 신규 안면 이미지에서 상기 사용자의 시선을 추적하고, 추적 결과 상기 눈 위치의 변경을 인지하면 사용자의 시선 이동 이벤트를 발생시켜 상기 가상 키패드 상에서 상기 중심 좌표에 위치하는 상기 가상 커서를 상기 사용자의 시선 이동 위치로 이동시킬 수 있다.The gaze recognition module places a virtual cursor in the central coordinates, tracks the gaze of the user in a new facial image of the user, and detects a gaze movement event of the user when recognizing a change in the eye position as a result of tracking generated to move the virtual cursor located at the central coordinates on the virtual keypad to a position where the user's gaze moves.

상기 무인 정보 제공 모듈은, 상기 가상 커서의 위치 이동에 대응되는 콘텐츠 관련 서비스를 제공할 수 있다.The unattended information providing module may provide a content-related service corresponding to the movement of the virtual cursor.

본 발명의 예시적인 실시예에 따르면, 사용자의 얼굴을 비롯한 생체 이미지 정보를 인공 신경망 모델에 적용함에 따라 사용자의 시선을 인식하고, 이를 기초로 각종 콘텐츠 및 관련 서비스를 비접촉 방식으로 제공할 수 있다는 효과를 기대할 수 있다.According to an exemplary embodiment of the present invention, when biometric image information including the user's face is applied to the artificial neural network model, the user's gaze is recognized, and various contents and related services can be provided in a non-contact manner based on this. can be expected

또한, 본 발명의 실시예들에 따르면, 불특정 다수가 접촉할 수 있는 단말기를 비접촉 방식에 따라 조작할 수 있기 때문에, 감염 예방 등을 비롯하여 공중 위생을 청결한 상태로 유지할 수 있다는 것이다.In addition, according to embodiments of the present invention, since a terminal that can be contacted by an unspecified number can be operated according to a non-contact method, it is possible to keep public hygiene in a clean state, including prevention of infection.

도 1은 본 발명의 일 실시예에 따른 인공지능 기반 시선 인식 장치를 설명하기 위한 블록도
도 2는 본 발명의 일 실시예에 따른 인공지능 기반 무인 정보 단말기를 설명하기 위한 블록도
도 3 내지 도 7은 본 발명의 일 실시예에 따른 가상 키패드 생성 방법을 설명하기 위한 예시도
도 8 내지 도 9는 본 발명의 일 실시예에 따른 가상 키패드의 사이즈 조절 방법을 설명하기 위한 예시도
도 10은 본 발명의 일 실시예에 따른 인공지능 기반 무인 정보 단말기, 주문 관리 서버 및 콘텐츠 서비스 서버 간의 연결 관계를 설명하기 위한 블록도
도 11은 본 발명의 일 실시예에 따른 인공지능 기반 시선 인식 방법을 설명하기 위한 흐름도
도 12는 본 발명의 일 실시예에 따른 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도1 is a block diagram illustrating an artificial intelligence-based gaze recognition apparatus according to an embodiment of the present invention;
2 is a block diagram illustrating an artificial intelligence-based unmanned information terminal according to an embodiment of the present invention;
3 to 7 are exemplary views for explaining a method for generating a virtual keypad according to an embodiment of the present invention;
8 to 9 are exemplary views for explaining a method for adjusting the size of a virtual keypad according to an embodiment of the present invention;
10 is a block diagram illustrating a connection relationship between an artificial intelligence-based unmanned information terminal, an order management server, and a content service server according to an embodiment of the present invention;
11 is a flowchart illustrating an AI-based gaze recognition method according to an embodiment of the present invention;
12 is a block diagram illustrating and explaining a computing environment including a computing device according to an embodiment of the present invention;

이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. The following detailed description is provided to provide a comprehensive understanding of the methods, apparatus, and/or systems described herein. However, this is merely an example and the present invention is not limited thereto.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.In describing the embodiments of the present invention, if it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. And, the terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to intentions or customs of users and operators. Therefore, the definition should be made based on the content throughout this specification. The terminology used in the detailed description is for the purpose of describing embodiments of the present invention only, and should in no way be limiting. Unless explicitly used otherwise, expressions in the singular include the meaning of the plural. In this description, expressions such as “comprising” or “comprising” are intended to indicate certain features, numbers, steps, acts, elements, some or a combination thereof, one or more other than those described. It should not be construed to exclude the presence or possibility of other features, numbers, steps, acts, elements, or any part or combination thereof.

도 1은 본 발명의 일 실시예에 따른 인공지능 기반 시선 인식 장치를 설명하기 위한 블록도이다.1 is a block diagram illustrating an artificial intelligence-based gaze recognition apparatus according to an embodiment of the present invention.

이하에서는, 본 발명의 일 실시예에 따른 가상 키패드 생성 방법을 설명하기 위한 예시도인 도 3 내지 도 7 및 본 발명의 일 실시예에 따른 가상 키패드의 사이즈 조절 방법을 설명하기 위한 예시도인 도 8 내지 도 9를 참조하여 설명하기로 한다.Hereinafter, FIGS. 3 to 7 are exemplary diagrams for explaining a method for generating a virtual keypad according to an embodiment of the present invention, and an exemplary diagram for explaining a method for adjusting the size of a virtual keypad according to an embodiment of the present invention It will be described with reference to FIGS. 8 to 9 .

도 1을 참고하면, 인공지능 기반 시선 인식 장치(이하에서는 '시선 인식 장치'라고 하기로 함)(100)는 네트워크 통신 인터페이스(110), 입출력 인터페이스(120), 데이터 수집부(130), 감지 센서(140), 학습 처리부(150), 디스플레이(160), 저장 장치(170) 및 제어부(180)를 포함할 수 있다.Referring to FIG. 1 , an artificial intelligence-based gaze recognition device (hereinafter referred to as a 'gaze recognition device') 100 includes a network communication interface 110 , an input/output interface 120 , a data collection unit 130 , and detection. It may include a sensor 140 , a learning processing unit 150 , a display 160 , a storage device 170 , and a controller 180 .

보다 상세히 설명하면, 네트워크 통신 인터페이스(110)는 후술하는 주문 관리 서버(300) 및 콘텐츠 서비스 서버(400)를 비롯한 외부 장치와 정보 송수신을 위한 통신을 수행하기 위한 구성일 수 있다.In more detail, the network communication interface 110 may be configured to perform communication for transmitting and receiving information with an external device including the order management server 300 and the content service server 400 to be described later.

입출력 인터페이스(120)는 하나 이상의 입출력 장치(예를 들어, 디스플레이(160))를 위한 인터페이스를 제공하는 구성으로서, 하나 이상 구현될 수 있다.The input/output interface 120 is a configuration that provides an interface for one or more input/output devices (eg, the display 160 ), and may be implemented with one or more.

데이터 수집부(130)는 안면 이미지와 이에 매칭되는 생체정보를 포함하는 복수의 사용자 안면 정보를 수집하여 안면 빅 데이터를 축적하도록 할 수 있다. 이때, 빅 데이터(big data)는 디지털 환경에서 생성되는 데이터로 그 규모가 방대하고, 생성 주기도 짧고, 형태도 수치 데이터뿐 아니라 문자와 영상 데이터를 포함하는 대규모 데이터를 의미하는 것으로서, 본 발명의 실시예에서는 후술하는 인공 신경망 모델을 생성하기 위해 감지 센서(140)를 통해 감지되어 수집되는 정보뿐만 아니라 주문 관리 서버(300) 및 콘텐츠 서비스 서버(400)를 비롯하여 각종 외부 장치로부터 수집되는 정보를 포함할 수 있다. 이에 한정되지 않고, 빅 데이터는 운용자에 의해서 임의로 입력되는 정보를 포함하는 것 역시 가능하다 할 것이다. The data collection unit 130 may collect a plurality of user facial information including a facial image and matching biometric information to accumulate facial big data. In this case, big data is data generated in a digital environment, and the scale of the data is large, the generation cycle is short, and the form means large-scale data including not only numerical data but also text and image data. In the example, information collected from various external devices, including the order management server 300 and the content service server 400, as well as information detected and collected through the detection sensor 140 to create an artificial neural network model to be described later. can Without being limited thereto, big data may also include information arbitrarily input by an operator.

감지 센서(140)는 사용자의 접근, 사용자의 생체 프로필, 사용자와의 이격 거리 또는 사용자의 시선 이동을 인식하는데 요구되는 정보를 감지하기 위한 구성일 수 있다.The detection sensor 140 may be configured to detect information required to recognize a user's approach, a user's biometric profile, a separation distance from the user, or a movement of the user's gaze.

도 1에서 도시하는 바와 같이, 감지 센서(140)는 사용자의 접근을 인식하기 위한 접근 인식 센서, 사용자의 생체 프로필을 파악하기 위한 사용자의 얼굴을 비롯한 생체 이미지를 촬영하기 위한 영상 촬영기, 인식된 사용자와의 이격 거리를 감지하기 위한 거리 인식 센서를 포함할 수 있다.As shown in FIG. 1 , the detection sensor 140 includes an access recognition sensor for recognizing a user's approach, an imager for capturing a biometric image including a user's face for identifying a user's biometric profile, and a recognized user. It may include a distance recognition sensor for detecting the separation distance from the .

한편, 감지 센서(140)는 사용자의 접근, 사용자와의 이격 거리, 사용자의 생체 프로필 또는 사용자의 시선 이동을 인식하기 위한 초음파 센서, 적외선 센서, 레이저 센서 및 위치 감지 센서를 포함하는 근거리 무선 감지 센서, 접근 인식 센서, IOT(internet of things) 센서, 및 영상 촬영기 중 적어도 하나 이상을 포함할 수 있으며, 이에 한정되지 않는다.On the other hand, the detection sensor 140 is a short-distance wireless detection sensor including an ultrasonic sensor, an infrared sensor, a laser sensor, and a position detection sensor for recognizing the user's approach, the separation distance from the user, the user's bio-profile or the user's gaze movement. , an approach recognition sensor, an Internet of things (IOT) sensor, and may include at least one or more of an image capturer, but is not limited thereto.

학습 처리부(150)는 축적된 안면 빅 데이터를 기 설정된 조건에 따라 패턴인식, 분류 및 연관성 연계 중 적어도 하나 이상을 포함하는 학습 처리를 수행하여 사용자의 시선을 인식하기 위한 인공 신경망 모델을 생성할 수 있다.The learning processing unit 150 may generate an artificial neural network model for recognizing a user's gaze by performing a learning process including at least one of pattern recognition, classification, and association linkage on the accumulated facial big data according to a preset condition. have.

이때, 인공 신경망 모델은 사용자로부터 감지되는 생체 이미지를 비롯한 관련 정보를 이용하여 사용자가 특정 메뉴를 물리적으로 선택하지 않아도 사용자의 시선 인식을 통해 비접촉 방식으로 서비스를 제공받을 수 있도록 하기 위한 것일 수 있다. 즉, 본 실시예는 인식되는 사용자의 시선을 특정 메뉴를 선택하는 수단으로 활용할 수 있는 것이다.In this case, the artificial neural network model may be used to provide a service in a non-contact manner through the user's gaze recognition even if the user does not physically select a specific menu by using related information including a biometric image sensed by the user. That is, the present embodiment can utilize the recognized user's gaze as a means for selecting a specific menu.

디스플레이(160)는 시선 인식 장치(100)와 관련된 각종 정보를 표시하여 사용자가 확인할 수 있도록 할 수 있다.The display 160 may display various types of information related to the gaze recognition apparatus 100 so that the user can check the information.

저장 장치(170)는 수집하여 축적된 안면 빅 데이터 및 인공 신경망 모델을 비롯하여 시선 인식 장치(100)와 관련된 각종 정보를 저장할 수 있다. The storage device 170 may store various types of information related to the gaze recognition apparatus 100 , including facial big data and artificial neural network models that are collected and accumulated.

제어부(180)는 감지 센서(140)로부터 촬영된 사용자의 안면 이미지를 수신하면, 이를 인공 신경망 모델에 적용하여 사용자의 두 눈동자를 파악하고 파악된 두 눈동자 사이의 중심을 눈 위치로 간주하여 제1 영점으로 설정할 수 있다.When the control unit 180 receives the user's face image photographed from the detection sensor 140, the controller 180 recognizes the user's two pupils by applying it to the artificial neural network model, and considers the center between the two identified pupils as the eye position to first It can be set to zero.

도 3을 참고하면, 제어부(180)는 사용자의 안면 이미지에서 사용자의 두 눈동자를 파악하고, 두 눈동자 사이의 중심 C를 눈 위치로 판단하여 영점으로 설정할 수 있는 것이다.Referring to FIG. 3 , the controller 180 may determine the user's two pupils from the user's face image, determine the center C between the two pupils as the eye position, and set it as the zero point.

상기 눈 위치는 사용자가 응시하는 시선을 판단하기 위한 기준위치로, 실시간으로 획득되는 안면 이미지로부터 눈 위치를 파악하고, 이에 변경이 발생하는 경우 사용자의 시선 이동이 발생하였다고 판단할 수 있는 것이다.The eye position is a reference position for determining the gaze the user is gazing at. The eye position is recognized from the face image acquired in real time, and when the change occurs, it can be determined that the user's gaze movement has occurred.

제어부(180)는 제1 영점을 중심 좌표로 하는 중심 영역 및 중심 영역을 기준으로 인접한 복수의 테두리 영역을 포함하는 가상 키패드를 생성할 수 있다. 이때, 제어부(180)는 중심 좌표에 가상 커서(virtual cursor)가 위치하도록 할 수 있다.The controller 180 may generate a virtual keypad including a central region having the first zero point as a central coordinate and a plurality of border regions adjacent to the central region. In this case, the controller 180 may position a virtual cursor at the center coordinates.

도 4 및 도 5를 참고하면, 제어부(180)는 제1 영점을 중심 좌표로 하여 중심 영역(0영역)을 설정하고, 이에 인접하게 테두리 영역(1영역, 2영역, 3영역, 4영역, 5영역, 6영역, 7영역 및 8영역)을 포함하여 가상 키패드를 생성할 수 있다. 이때, 가상 커서는 0영역에 위치할 수 있다.4 and 5 , the controller 180 sets a central region (region 0) with the first zero point as a central coordinate, and adjacent to the border regions (region 1, region 2, region 3, region 4, 5, 6, 7, and 8 regions), you can create a virtual keypad. In this case, the virtual cursor may be located in area 0.

제어부(180)는 감지 센서(140)로부터 사용자의 신규 안면 이미지를 획득하면, 사용자의 신규 안면 이미지를 인공 신경망 모델에 적용하여 사용자의 시선을 추적하고, 추적 결과 상기 눈 위치의 변경을 인지하면 사용자의 시선 이동 이벤트를 발생시켜 상기 가상 키패드 상에서 상기 중심 좌표에 위치하는 상기 가상 커서를 상기 사용자의 시선 이동 위치로 이동시킬 수 있다.When the control unit 180 obtains a new facial image of the user from the detection sensor 140, the user's new facial image is applied to the artificial neural network model to track the user's gaze. By generating a gaze movement event of , the virtual cursor located at the central coordinates on the virtual keypad may be moved to a gaze movement position of the user.

제어부(180)는 가상 키패드 상의 제1 영점을 사용자의 시선 이동 위치에 대응되는 제2 영점으로 재 설정하고, 제2 영점을 중심 좌표로 하는 중심 영역을 형성하며, 형성된 중심 영역을 기준으로 인접한 복수의 테두리 영역을 포함하는 가상 키패드를 생성할 수 있다.The controller 180 resets the first zero point on the virtual keypad to a second zero point corresponding to the movement position of the user's gaze, forms a center area having the second zero point as the center coordinate, and a plurality of adjacent areas based on the formed center area. It is possible to create a virtual keypad including the border area of .

도 6을 참고하면, 제어부(180)는 신규 안면 이미지를 통해 사용자의 눈 위치가 0영역에서 4영역으로 변경되었음을 인지할 수 있고, 이러한 경우 사용자 시선 이동 이벤트를 발생시킬 수 있다. 이때, 제어부(180)는 사용자의 시선 이동에 따라 0영역에 위치하는 가상 커서를 4영역으로 이동시킬 수 있다.Referring to FIG. 6 , the controller 180 may recognize that the user's eye position is changed from region 0 to region 4 through the new facial image, and in this case, may generate a user gaze movement event. In this case, the controller 180 may move the virtual cursor located in the 0 area to the 4 area according to the movement of the user's gaze.

도 7을 참고하면, 제어부(180)는 사용자의 눈 위치가 이동한 도 6의 4영역을 신규 영점인 제2 영점으로 설정하고, 제2 영점을 중심 좌표로 하여 중심 영역으로 설정하고, 중심 영역에 인접하게 테두리 영역을 형성하여 가상 키패드를 재 설정할 수 있다. 제어부(180)는 사용자의 시선 이동이 발생하면, 가상 커서를 사용자의 시선 이동 위치로 이동시킨 후, 영점을 이전 영점(제1 영점)에서 사용자의 시선 이동 위치인 신규 영점(제2 영점)로 변경하고, 이를 기초로 가상 키패드를 재 설정할 수 있다. 즉, 제어부(180)는 사용자 시선 이동 이벤트가 발생할 때마다 가상 키패드를 재 형성할 수 있는 것이다.Referring to FIG. 7 , the controller 180 sets the fourth region of FIG. 6 to which the user's eye position has moved as a new zero point, a second zero point, and sets the second zero point as the central coordinate region as the central region, and the central region You can reset the virtual keypad by forming a border area adjacent to . When the user's gaze movement occurs, the controller 180 moves the virtual cursor to the user's gaze movement position, and then moves the zero point from the previous zero point (first zero point) to a new zero point (second zero point) that is the user's gaze movement position. You can change and reset the virtual keypad based on this. That is, the controller 180 may re-form the virtual keypad whenever a user gaze movement event occurs.

제어부(180)는 감지 센서(140)로부터 사용자와의 이격거리를 획득하고, 획득된 사용자와의 이격거리를 기초로 가상 키패드의 사이즈를 설정 사이즈로 조정할 수 있다.The controller 180 may obtain a separation distance from the user from the detection sensor 140 and adjust the size of the virtual keypad to a set size based on the obtained separation distance from the user.

제어부(180)는 사용자와의 이격거리가 멀수록 가상 키패드의 사이즈가 기 설정된 비율로 작아지도록 조정할 수 있다.The controller 180 may adjust the size of the virtual keypad to decrease at a preset ratio as the separation distance from the user increases.

도 8 및 도 9를 참조하면, 사용자가 감지 센서(140)로부터 D1만큼 이격된 위치에 서 있는 경우, 제어부(180)는 도 9의 D1와 같은 크기의 가상 키패드를 생성할 수 있다. 만약, 사용자가 감지 센서(140)로부터 D2만큼 이격된 위치에 서 있는 경우, 제어부(180)는 도 9의 D2와 같이 가상 키패드의 사이즈를 기 설정된 비율에 따라 축소시킬 수 있다.Referring to FIGS. 8 and 9 , when the user stands at a position spaced apart from the detection sensor 140 by D1 , the controller 180 may generate a virtual keypad having the same size as that of D1 of FIG. 9 . If the user stands at a position spaced apart from the detection sensor 140 by D2, the controller 180 may reduce the size of the virtual keypad according to a preset ratio as shown in D2 of FIG. 9 .

제어부(180)는 가상 키패드의 사이즈를 조정할 때, 가상 키패드에 포함되는 중심 영역 및 복수의 테두리 영역 각각의 소단위 사이즈 또는 가상 키패드의 전체 사이즈가 기 설정된 비율에 따라 조정되도록 제어할 수 있다.When adjusting the size of the virtual keypad, the controller 180 may control the subunit size of each of the central region and the plurality of edge regions included in the virtual keypad or the overall size of the virtual keypad to be adjusted according to a preset ratio.

제어부(180)는 가상 키패드의 사이즈가 설정 사이즈를 기초로 기 설정된 비율로 조정될 때, 가상 키패드의 가상 커서를 가상 키패드의 사이즈 조정 비율에 대응되는 거리만큼 이동시킬 수 있다.When the size of the virtual keypad is adjusted at a preset ratio based on the set size, the controller 180 may move the virtual cursor of the virtual keypad by a distance corresponding to the size adjustment ratio of the virtual keypad.

도 2는 본 발명의 일 실시예에 따른 인공지능 기반 무인 정보 단말기를 설명하기 위한 블록도이다.2 is a block diagram illustrating an artificial intelligence-based unmanned information terminal according to an embodiment of the present invention.

후술하는 시선 인식 모듈(210)는 도 1에서 개시하는 시선 인식 장치(100)와 동일한 구성일 수 있으며, 이에 따라, 시선 인식 장치(100)의 모든 구성을 동일하게 구비함은 당연하다 할 것이다.The gaze recognition module 210 to be described later may have the same configuration as the gaze recognition apparatus 100 illustrated in FIG. 1 , and accordingly, it will be natural to have all the configurations of the gaze recognition apparatus 100 identically.

도 2를 참조하면, 인공지능을 이용한 무인 정보 단말기(이하에서는 '무인 정보 단말기'라고 하기로 한다)(200)는 시선 인식 모듈(210) 및 무인 정보 제공 모듈(230)를 포함할 수 있다.Referring to FIG. 2 , an unmanned information terminal using artificial intelligence (hereinafter, referred to as an 'unmanned information terminal') 200 may include a gaze recognition module 210 and an unmanned information providing module 230 .

시선 인식 모듈(210)은 사용자의 안면 이미지를 획득하면, 사용자의 안면 이미지로부터 사용자의 두 눈동자를 파악하고 파악된 두 눈동자 사이의 중심을 눈 위치로 간주하여 제1 영점으로 설정하고, 제1 영점을 중심 좌표로 하는 중심 영역 및 중심 영역을 기준으로 인접한 복수의 테두리 영역을 포함하는 가상 키패드를 생성할 수 있다. 이때, 시선 인식 모듈(210)은 중심 좌표에 가상 커서(virtual cursor)를 위치시킬 수 있다.When the gaze recognition module 210 acquires the user's face image, the user's two pupils are identified from the user's face image, and the center between the identified two pupils is regarded as the eye position and is set as the first zero point, and the first zero point A virtual keypad including a center area having a center coordinate of , and a plurality of border areas adjacent to the center area may be generated. In this case, the gaze recognition module 210 may position a virtual cursor at the center coordinates.

시선 인식 모듈(210)은 사용자의 신규 안면 이미지에서 사용자의 시선을 추적하고, 추적 결과 눈 위치의 변경을 인지하면 사용자의 시선 이동 이벤트를 발생시켜 가상 키패드 상에서 중심 좌표에 위치하는 가상 커서를 사용자의 시선 이동 위치로 이동시킬 수 있다.The gaze recognition module 210 tracks the user's gaze in the new facial image of the user, and when a change in the eye position is recognized as a result of the tracking, the user's gaze movement event is generated to generate a virtual cursor located at the central coordinate on the virtual keypad of the user. It can be moved to the eye movement position.

무인 정보 제공 모듈(230)은 미디어 정보, 상품 리스트 및 온오프라인 쇼핑몰 정보 중 적어도 하나 이상을 포함하는 콘텐츠를 가상 키패드의 영역별 위치에 대응되는 복수의 영역을 포함하는 디스플레이 상에 출력하되, 시선 인식 모듈(210)을 통해 파악된 사용자의 시선에 따라 이동하는 가상 커서를 기초로 해당 콘텐츠를 출력할 수 있다.The unattended information providing module 230 outputs content including at least one of media information, product list, and online/offline shopping mall information on a display including a plurality of regions corresponding to positions of each region of the virtual keypad, but gaze recognition The corresponding content may be output based on the virtual cursor moving according to the gaze of the user identified through the module 210 .

무인 정보 제공 모듈(230)은 가상 커서의 위치 이동에 대응되는 콘텐츠 관련 서비스를 제공할 수 있다.The unattended information providing module 230 may provide a content-related service corresponding to the movement of the virtual cursor.

도 10은 본 발명의 일 실시예에 따른 인공지능 기반 무인 정보 단말기, 주문 관리 서버 및 콘텐츠 서비스 서버 간의 연결 관계를 설명하기 위한 블록도이다.10 is a block diagram illustrating a connection relationship between an artificial intelligence-based unmanned information terminal, an order management server, and a content service server according to an embodiment of the present invention.

무인 정보 단말기(200)는 광고를 비롯한 각종 미디어 정보 또는 상품 정보를 디스플레이 상에 출력하기 위한 단말기로서, 복수 개가 구비되어 다양한 장소에 설치될 수 있다.The unmanned information terminal 200 is a terminal for outputting various media information or product information, including advertisements, on a display. A plurality of unmanned information terminals 200 may be provided and installed in various places.

무인 정보 단말기(200)는 사용자가 비접촉 방식으로 콘텐츠 정보를 제공받을 수 있도록 서비스를 제공하는 구성으로서, 각종 감지 센서를 통해 사용자의 얼굴 패턴을 인식하여 사용자 선호 콘텐츠를 제공할 수 있다. 또한, 무인 정보 단말기(200)는 사용자에 의해서 선택된 콘텐츠에 대한 상세 설명 및 주문 처리를 비접촉 방식으로 이루어질 수 있도록 할 수 있다.The unmanned information terminal 200 is a configuration that provides a service so that a user can receive content information in a non-contact manner, and can provide user preferred content by recognizing a user's face pattern through various detection sensors. In addition, the unmanned information terminal 200 may enable detailed description of the content selected by the user and order processing in a non-contact manner.

구체적으로, 무인 정보 단말기(200)는 사용자 생체 프로필에 따라 광고, 브랜드, 드라마 및 영화를 비롯한 미디어 정보, 상품 리스트 및 온오프라인 쇼핑몰 정보 중 적어도 하나 이상을 포함하는 사용자 선호 콘텐츠를 디스플레이를 통해 제공할 수 있다. 상기 사용자 생체 프로필은, 사용자의 얼굴 패턴, 성별, 연령, 사용자의 눈동자 위치, 신장 및 사용자의 눈높이 중 적어도 하나 이상을 포함할 수 있다.Specifically, the unmanned information terminal 200 may provide, through a display, user preference content including at least one or more of advertisements, brands, dramas and movies, media information, product list, and online/offline shopping mall information according to the user's biometric profile. can The user biometric profile may include at least one of a user's face pattern, gender, age, user's pupil position, height, and user's eye level.

또한, 무인 정보 단말기(200)는 사용자 선호 콘텐츠 중 사용자의 시선이동에 따라 결정된 선택 콘텐츠에 대한 상세 설명을 추출 및 출력하고, 감지 센서로부터 사용자 주문 동작 감지에 따른 주문 이벤트를 수신하면, 수신된 주문 이벤트에 매칭되는 선택 콘텐츠의 주문을 위한 결제정보 링크(link)를 생성하여 출력할 수 있다. 이때, 사용자의 시선이동을 인지하는 것은 상술한 시선 인식 장치(100)를 통해 구현될 수 있다.In addition, the unmanned information terminal 200 extracts and outputs a detailed description of the selected content determined according to the user's gaze movement among the user's preferred content, and when receiving an order event according to the user's order motion detection from the detection sensor, the received order A payment information link for ordering selected content matching the event may be generated and output. In this case, recognizing the user's gaze movement may be implemented through the above-described gaze recognition apparatus 100 .

무인 정보 단말기(200)는 사용자 선호 콘텐츠 중 선택 콘텐츠에 대한 상세 설명을 제공할 때, 사용자의 시선이 기 설정된 기준 시간 이상 유지한 콘텐츠를 선택 콘텐츠로 결정하거나, 또는 사용자의 시선이동이 기 설정된 선택패턴에 매칭된 콘텐츠를 선택 콘텐츠로 결정할 수 있다.When the unmanned information terminal 200 provides a detailed description of the selected content among the user's preferred content, the user's gaze is maintained for more than a preset reference time as the selected content, or the user's gaze movement is a preset selection Content matching the pattern may be determined as selection content.

무인 정보 단말기(200)는 상품 주문 수량, 상품 가격, 회원 상품 결제 수단, 비회원 상품 결제 수단 입력란, 상품 판매 쇼핑몰, 회원 배송지 주소, 비회원 배송지 주소 입력란 및 적어도 하나 이상을 포함하는 상기 선택 콘텐츠의 비접촉 결제를 위한 결제 시스템으로의 연결 기능을 포함하는 상기 결제정보 링크를 생성하여 디스플레이를 통해 출력하도록 할 수 있다.The unmanned information terminal 200 includes a product order quantity, product price, member product payment means, non-member product payment means input box, product sales shopping mall, member delivery address, non-member delivery address input box, and contactless payment of the selected content including at least one or more It is possible to generate the payment information link including a connection function to a payment system for

사용자가 회원인 경우, 결제정보 링크는 상품 결제 시 사용자가 필수로 입력해야 하는 사용자의 결제수단, 배송지 주소를 비롯한 개인정보를 미리 포함시켜 사용자의 편의를 증대시킬 수 있다.If the user is a member, the payment information link may increase the convenience of the user by including in advance personal information including the user's payment method and delivery address, which the user must input when paying for a product.

무인 정보 단말기(200)는 감지 센서를 통해 측정된 사용자의 생체 프로필 및 감지 센서의 설치위치 중 적어도 하나 이상을 인공 신경망 모델에 적용하여 사용자의 신장을 고려한 사용자의 눈높이 또는 사용자의 손높이를 파악할 수 있다.The unmanned information terminal 200 applies at least one of the user's biometric profile measured through the detection sensor and the installation position of the detection sensor to the artificial neural network model to determine the user's eye level or the user's hand height in consideration of the user's height. have.

무인 정보 단말기(200)는 결제정보 링크 또는 콘텐츠를 디스플레이를 통해 출력할 때, 디스플레이 전면 중 사용자의 눈높이, 사용자의 손높이 또는 기 설정된 지점에 대응되는 위치에 결제정보 링크(link)가 출력되도록 제어할 수 있다. 상기 결제정보 링크는 QR 코드(Quick Response code), 바코드(Barcode) 및 URL(Uniform Resource Locator) 중 적어도 하나 이상을 포함할 수 있다.When the unmanned information terminal 200 outputs the payment information link or content through the display, control so that the payment information link is output at a position corresponding to the user's eye level, the user's hand level, or a preset point in the front of the display can do. The payment information link may include at least one of a Quick Response code (QR), a barcode, and a Uniform Resource Locator (URL).

한편, 무인 정보 단말기(200)는 사용자의 접근이 인식되면, 사용자의 얼굴 패턴을 파악하고, 파악된 사용자의 얼굴 패턴과 일치하는 페이스 아이디(face ID)가 존재하는 경우 사용자의 동의 여부에 따라 페이스 아이디를 기초한 비접촉 로그인 절차를 수행할 수 있다. 이때, 사용자의 얼굴 패턴을 파악하는 것 역시 기 설정된 인공 신경망 모델의 알고리즘을 통해 파악할 수 있다. 이때, 얼굴 패턴 파악을 위한 인공 신경망 모델은 수집된 생체 이미지 및 생체 정보들을 기 설정된 조건에 따라 패턴인식, 분류 및 연관성 연계를 포함하는 학습 처리를 수행하여, 사용자의 신장을 비롯한 사용자의 생체 프로필 및 사용자의 동작 중 적어도 하나 이상을 인식하기 위한 알고리즘을 포함할 수 있다.On the other hand, when the user's access is recognized, the unmanned information terminal 200 recognizes the user's face pattern, and when a face ID matching the identified user's face pattern exists, the face according to the user's consent A contactless login procedure based on an ID can be performed. In this case, the recognition of the user's face pattern may also be determined through an algorithm of a preset artificial neural network model. At this time, the artificial neural network model for recognizing a face pattern performs a learning process including pattern recognition, classification, and association linkage on the collected biometric images and biometric information according to a preset condition, so that the user's biometric profile including the user's height and An algorithm for recognizing at least one of the user's actions may be included.

상술한 사용자의 동의 여부 역시 비접촉 방식으로 이루어질 수 있다. 예를 들어, 무인 정보 단말기(200)는 디스플레이를 통해 "고객님의 페이스 아이디가 존재합니다. 페이스 아이디를 통한 로그인 절차를 수행하시겠습니까?", "회원이십니까?", "다른 아이디 형태로 로그인 절차를 수행하시겠습니까?"등 다양한 형태의 로그인 동의 여부를 표시하고, 사용자의 시선 추적 또는 동작 인식 등의 비접촉 방식을 통한 사용자 응답 회신을 수신하고, 수신 결과에 따라 로그인을 처리하거나 미처리할 수 있는 것이다. Whether or not the above-described user consents may be made in a non-contact manner. For example, the unmanned information terminal 200 may display, "Your Face ID exists. Do you want to perform a login procedure through Face ID?", "Are you a member?", "Perform a login procedure with a different ID" Do you want to?", etc., can be displayed, receive user response replies through non-contact methods such as eye tracking or gesture recognition, and log in can be processed or unprocessed according to the received result.

무인 정보 단말기(200)는 감지 센서로부터 사용자의 접근 인식 정보를 수신하기 이전에, 무인 정보 단말기(200) 설치 장소의 지역 특성 및 유동 인구 특성에 따라 결정된 콘텐츠를 디스플레이를 통해 출력할 수 있다.Before receiving the user's access recognition information from the detection sensor, the unmanned information terminal 200 may output content determined according to the regional characteristics and floating population characteristics of the place where the unmanned information terminal 200 is installed through the display.

무인 정보 단말기(200)는 최종 선택된 콘텐츠, 콘텐츠별 사용자 시선 유지 시간, 기 설정된 횟수 이상으로 사용자 시선이 인식된 콘텐츠 및 이들의 조합 중 적어도 하나 이상을 포함하는 사용자 선호 정보를 주문 관리 서버(300)로 전송할 수 있다.The unmanned information terminal 200 transmits user preference information including at least one of the last selected content, the user's gaze retention time for each content, the content for which the user's gaze is recognized more than a preset number of times, and a combination thereof, to the order management server 300 . can be sent to

주문 관리 서버(300)는 복수의 무인 정보 단말기(200, 200a, 200b) 및 복수의 콘텐츠 서비스 서버(400, 400a, 400b)와 연결되어, 각각에서 다루는 데이터를 수집하여 저장 및 관리하는 구성일 수 있다.The order management server 300 is connected to a plurality of unmanned information terminals 200, 200a, 200b and a plurality of content service servers 400, 400a, 400b, and collects, stores, and manages data handled in each. have.

주문 관리 서버(300)는 무인 정보 단말기(200)에서 인식된 사용자의 생체 이미지를 기초로 사용자의 얼굴 패턴을 인식하고, 이를 기초로 사용자별 선호 콘텐츠를 파악할 수 있도록 하는 인공 신경망 모델을 생성하여 무인 정보 단말기(200)로 제공할 수 있다. 이때, 인공 신경망 모델을 생성 및 제공하는 주체는 주문 관리 서버(300)에 한정되지 않고, 무인 정보 단말기(200)를 비롯한 타 구성에서 구현하는 것 역시 가능하다 할 것이다.The order management server 300 recognizes the user's face pattern based on the biometric image of the user recognized by the unmanned information terminal 200, and creates an artificial neural network model that allows the user's preferred content to be identified based on this. It may be provided to the information terminal 200 . In this case, the subject that generates and provides the artificial neural network model is not limited to the order management server 300 , and it is also possible to implement it in other configurations including the unmanned information terminal 200 .

콘텐츠 서비스 서버(400)는 무인 정보 단말기(200)를 통해 제공되는 미디어 정보 또는 상품 정보의 관리 및 제공을 직접적으로 처리하는 구성으로서, 후술하는 상품의 결제 처리를 위한 기능도 포함할 수 있으며, 이에 한정되지 않고, 별도의 결제 서비스 서버(미도시)에서 수행할 수 있음도 당연하다 할 것이다.The content service server 400 is a configuration that directly processes the management and provision of media information or product information provided through the unmanned information terminal 200 , and may also include a function for payment processing of products to be described later, It is not limited, and it will be natural that it may be performed in a separate payment service server (not shown).

예를 들어, 콘텐츠 서비스 서버(400)는 연예인, 인플루언서(influencer), 광고, 드라마, 영화, 방송 프로그램, 경제, SNS(Social Network Service) 및 이들의 조합을 포함하는 각종 미디어 정보를 제공하거나, 또는 의류, 식품 및 여행 상품을 비롯한 상품 정보를 제공 및 판매하는 서버일 수 있다.For example, the content service server 400 provides various media information including entertainers, influencers, advertisements, dramas, movies, broadcast programs, economy, social network service (SNS), and combinations thereof, or , or may be a server that provides and sells product information including clothing, food, and travel products.

도 11은 본 발명의 일 실시예에 따른 인공지능 기반 시선 인식 방법을 설명하기 위한 흐름도이다. 도 11에 도시된 방법은 예를 들어, 전술한 시선 인식 장치(100)에 의해 수행될 수 있다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.11 is a flowchart illustrating an AI-based gaze recognition method according to an embodiment of the present invention. The method illustrated in FIG. 11 may be performed, for example, by the above-described gaze recognition apparatus 100 . In the illustrated flowchart, the method is described by dividing the method into a plurality of steps, but at least some of the steps are performed in a different order, are performed together in combination with other steps, are omitted, are performed in sub-steps, or are not shown. One or more steps may be added and performed.

101 단계에서, 시선 인식 장치(100)는 안면 이미지와 이에 매칭되는 생체정보를 포함하는 복수의 사용자 안면 정보를 수집하여 안면 빅 데이터를 축적할 수 있다.In step 101 , the gaze recognition apparatus 100 may accumulate facial big data by collecting a plurality of user facial information including a facial image and biometric information matching the facial image.

103 단계에서, 시선 인식 장치(100)는 축적된 안면 빅 데이터를 기 설정된 조건에 따라 패턴인식, 분류 및 연관성 연계 중 적어도 하나 이상을 포함하는 학습 처리를 수행하여 사용자의 시선 인식을 위한 인공 신경망 모델을 생성할 수 있다.In step 103, the gaze recognition apparatus 100 performs a learning process including at least one of pattern recognition, classification, and association linkage on the accumulated facial big data according to a preset condition to perform an artificial neural network model for recognizing a user's gaze can create

105 단계에서, 시선 인식 장치(100)는 촬영된 사용자의 안면 이미지를 인공 신경망 모델에 적용하여 사용자의 두 눈동자를 파악하고 파악된 두 눈동자 사이의 중심을 눈 위치로 간주하여 제1 영점으로 설정할 수 있다.In step 105, the gaze recognition apparatus 100 applies the photographed facial image of the user to the artificial neural network model to identify the user's two pupils, consider the center between the two identified pupils as the eye position, and set it as the first zero point. have.

107 단계에서, 시선 인식 장치(100)는 제1 영점을 중심 좌표로 하는 중심 영역 및 중심 영역을 기준으로 인접한 복수의 테두리 영역을 포함하는 가상 키패드를 생성할 수 있다. 이때, 시선 인식 장치(100)는 중심 좌표에 가상 커서(virtual cursor)를 위치시킬 수 있다.In operation 107 , the gaze recognition apparatus 100 may generate a virtual keypad including a central region having the first zero point as central coordinates and a plurality of border regions adjacent to the central region. In this case, the gaze recognition apparatus 100 may position a virtual cursor at the center coordinates.

이때, 시선 인식 장치(100)는 감지 센서(140)를 통해 사용자와의 이격거리를 획득하고, 획득된 사용자와의 이격거리를 기초로 가상 키패드의 사이즈를 설정 사이즈로 조정할 수 있다. 상기 사용자와의 이격거리는 사용자와의 이격거리를 감지하는 거리 인식 센서 위치로부터 사용자 간의 이격거리이거나, 또는 사용자의 안면 이미지를 촬영하는 영상 촬영기의 위치로부터 상기 사용자 간의 이격거리일 수 있다.In this case, the gaze recognition apparatus 100 may obtain the separation distance from the user through the detection sensor 140 , and adjust the size of the virtual keypad to a set size based on the obtained separation distance from the user. The separation distance from the user may be a separation distance between users from a location of a distance recognition sensor sensing the separation distance from the user, or a separation distance between the users from a location of an imager capturing a user's face image.

가상 키패드의 사이즈를 설정 사이즈로 조정할 때, 시선 인식 장치(100)는 사용자와의 이격거리가 멀수록 가상 키패드의 사이즈가 기 설정된 비율로 작아지도록 조정할 수 있다. 이때, 시선 인식 장치(100)는 가상 키패드에 포함되는 중심 영역 및 복수의 테두리 영역 각각의 소단위 사이즈 또는 가상 키패드의 전체 사이즈를 기 설정된 비율에 따라 조정할 수 있다.When adjusting the size of the virtual keypad to the set size, the gaze recognition apparatus 100 may adjust the size of the virtual keypad to decrease at a preset ratio as the distance from the user increases. In this case, the gaze recognizing apparatus 100 may adjust the sub-unit size of each of the central region and the plurality of edge regions included in the virtual keypad or the overall size of the virtual keypad according to a preset ratio.

109 단계에서, 시선 인식 장치(100)는 사용자의 신규 안면 이미지를 획득하면, 이를 인공 신경망 모델에 적용하여 상기 사용자의 시선을 추적할 수 있다. 또한, 추적 결과 눈 위치의 변경을 인지하면 시선 인식 장치(100)는 사용자의 시선 이동 이벤트를 발생시킬 수 있다. 시선 인식 장치(100)는 가상 키패드 상에서 중심 좌표에 위치하는 가상 커서를 사용자의 시선 이동 위치로 이동시킬 수 있다. 이때, 시선 인식 장치(100)는 가상 키패드의 가상 커서를 가상 키패드의 사이즈 조정 비율에 대응되는 거리만큼 이동시킬 수 있다. 즉, 사용자와의 이격거리에 따라 가상 키패드의 사이즈가 조정될 때, 시선 인식 장치(100)는 가상 키패드 상에서 특정 포인팅 위치를 인식하기 위한 용도로 적용되는 가상 커서의 위치 역시 조정하는 것이다.In step 109 , when the gaze recognition apparatus 100 acquires a new facial image of the user, it may be applied to an artificial neural network model to track the gaze of the user. Also, when the change in the eye position is recognized as a result of the tracking, the gaze recognition apparatus 100 may generate a user's gaze movement event. The gaze recognition apparatus 100 may move the virtual cursor located at the center coordinate on the virtual keypad to the user's gaze movement position. In this case, the gaze recognition apparatus 100 may move the virtual cursor of the virtual keypad by a distance corresponding to the size adjustment ratio of the virtual keypad. That is, when the size of the virtual keypad is adjusted according to the separation distance from the user, the gaze recognition apparatus 100 also adjusts the position of the virtual cursor applied for recognizing a specific pointing position on the virtual keypad.

111 단계에서, 시선 인식 장치(100)는 가상 키패드 상의 제1 영점을 사용자의 시선 이동 위치에 대응되는 제2 영점으로 재 설정할 수 있다. 시선 인식 장치(100)는 제2 영점을 중심 좌표로 하는 중심 영역을 형성하고, 형성된 중심 영역을 기준으로 인접한 복수의 테두리 영역을 포함하는 가상 키패드를 재 생성할 수 있다.In step 111 , the gaze recognition apparatus 100 may reset the first zero point on the virtual keypad to a second zero point corresponding to the user's gaze movement position. The gaze recognition apparatus 100 may form a central region having the second zero point as a central coordinate, and regenerate a virtual keypad including a plurality of adjacent edge regions based on the formed central region.

도 12는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에 서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.12 is a block diagram illustrating and describing a computing environment 10 including a computing device suitable for use in example embodiments. In the illustrated embodiment, each component may have different functions and capabilities other than those described below, and may include additional components in addition to those described below.

도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 시선 인식 장치(100)일 수 있다. 또한, 컴퓨팅 장치(12)는 무인 정보 단말기(200), 주문 관리 서버(300) 및 콘텐츠 서비스 서버(400)일 수 있다.The illustrated computing environment 10 includes a computing device 12 . In one embodiment, computing device 12 may be gaze recognition device 100 . In addition, the computing device 12 may be the unmanned information terminal 200 , the order management server 300 , and the content service server 400 .

컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.Computing device 12 includes at least one processor 14 , computer readable storage medium 16 , and communication bus 18 . The processor 14 may cause the computing device 12 to operate in accordance with the exemplary embodiments discussed above. For example, the processor 14 may execute one or more programs stored in the computer-readable storage medium 16 . The one or more programs may include one or more computer-executable instructions that, when executed by the processor 14, configure the computing device 12 to perform operations in accordance with the exemplary embodiment. can be

컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.Computer-readable storage medium 16 is configured to store computer-executable instructions or program code, program data, and/or other suitable form of information. The program 20 stored in the computer readable storage medium 16 includes a set of instructions executable by the processor 14 . In one embodiment, computer-readable storage medium 16 includes memory (volatile memory, such as random access memory, non-volatile memory, or a suitable combination thereof), one or more magnetic disk storage devices, optical disk storage devices, flash It may be memory devices, other forms of storage medium that can be accessed by computing device 12 and store desired information, or a suitable combination thereof.

통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.Communication bus 18 interconnects various other components of computing device 12 , including processor 14 and computer readable storage medium 16 .

컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.Computing device 12 may also include one or more input/output interfaces 22 and one or more network communication interfaces 26 that provide interfaces for one or more input/output devices 24 . The input/output interface 22 and the network communication interface 26 are coupled to the communication bus 18 . Input/output device 24 may be coupled to other components of computing device 12 via input/output interface 22 . Exemplary input/output device 24 may include a pointing device (such as a mouse or trackpad), a keyboard, a touch input device (such as a touchpad or touchscreen), a voice or sound input device, various types of sensor devices, and/or imaging devices. input devices and/or output devices such as display devices, printers, speakers and/or network cards. The exemplary input/output device 24 may be included in the computing device 12 as a component constituting the computing device 12 , and may be connected to the computing device 12 as a separate device distinct from the computing device 12 . may be

이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Although representative embodiments of the present invention have been described in detail above, those of ordinary skill in the art to which the present invention pertains will understand that various modifications are possible within the limits without departing from the scope of the present invention with respect to the above-described embodiments. . Therefore, the scope of the present invention should not be limited to the described embodiments, and should be defined by the claims described below as well as the claims and equivalents.

10: 컴퓨팅 환경
12: 컴퓨팅 장치
14: 프로세서
16: 컴퓨터 판독 가능 저장 매체
18: 통신 버스
20: 프로그램
22, 120: 입출력 인터페이스
24: 입출력 장치
26, 110: 네트워크 통신 인터페이스
100: 시선 인식 장치
130: 데이터 수집부
140: 감지 센서
150: 학습 처리부
160: 디스플레이
170: 저장 장치
180: 제어부
200, 200a, 200b: 무인 정보 단말기
300: 주문 관리 서버
400, 400a, 400b: 콘텐츠 서비스 서버10: Computing Environment
12: computing device
14: Processor
16: computer readable storage medium
18: communication bus
20: Program
22, 120: input/output interface
24: input/output device
26, 110: network communication interface
100: gaze recognition device
130: data collection unit
140: detection sensor
150: learning processing unit
160: display
170: storage device
180: control unit
200, 200a, 200b: unmanned information terminal
300: order management server
400, 400a, 400b: content service server

Claims (19)

디스플레이;
안면 이미지와 이에 매칭되는 생체정보를 포함하는 복수의 사용자 안면 정보를 수집하여 안면 빅 데이터를 축적하도록 하는 데이터 수집부;
축적된 상기 안면 빅 데이터를 기 설정된 조건에 따라 패턴인식, 분류 및 연관성 연계 중 적어도 하나 이상을 포함하는 학습 처리를 수행하여 사용자의 시선을 인식하기 위한 인공 신경망 모델을 생성하는 학습 처리부;
사용자의 접근, 사용자의 생체 프로필, 사용자와의 이격 거리 또는 사용자의 시선 이동을 인식하는데 요구되는 정보를 감지하기 위한 감지 센서; 및
상기 감지 센서로부터 촬영된 사용자의 안면 이미지를 수신하면, 이를 상기 인공 신경망 모델에 적용하여 사용자의 두 눈동자를 파악하고 파악된 상기 두 눈동자 사이의 중심을 눈 위치로 간주하여, 상기 눈 위치를 기준으로 상기 사용자가 응시하는 시선에 대응되는 위치를 상기 디스플레이 상에서 제1 영점으로 설정하고, 상기 제1 영점을 중심 좌표로 하는 중심 영역 및 상기 중심 영역을 기준으로 인접한 복수의 테두리 영역을 포함하는 가상 키패드를 생성하여 상기 디스플레이를 통해 출력하는 제어부를 포함하고,
상기 제어부는, 상기 중심 좌표에 가상 커서(virtual cursor)가 위치하도록 하고, 상기 감지 센서로부터 사용자의 신규 안면 이미지를 획득하면, 상기 사용자의 신규 안면 이미지를 상기 인공 신경망 모델에 적용하여 사용자의 시선을 추적하고, 추적 결과 상기 눈 위치의 변경을 인지하면 사용자의 시선 이동 이벤트를 발생시켜 상기 가상 키패드 상에서 상기 중심 좌표에 위치하는 상기 가상 커서를 상기 사용자의 시선 이동 위치로 이동시키며,
상기 제어부는, 상기 감지 센서로부터 상기 사용자와의 이격거리를 획득하고 획득된 상기 사용자와의 이격거리를 기초로 상기 가상 키패드의 사이즈를 설정 사이즈로 조정하고,
상기 제어부는, 상기 사용자와의 이격거리가 멀수록 상기 가상 키패드의 사이즈가 기 설정된 비율로 작아지도록 조정하며,
상기 제어부는, 상기 가상 키패드의 사이즈를 조정할 때, 상기 가상 키패드에 포함되는 상기 중심 영역 및 상기 복수의 테두리 영역 각각의 소단위 사이즈 또는 상기 가상 키패드의 전체 사이즈가 기 설정된 비율에 따라 조정되도록 제어하고,
상기 제어부는, 상기 가상 키패드의 사이즈가 상기 설정 사이즈를 기초로 기 설정된 비율로 조정될 때, 상기 가상 키패드의 상기 가상 커서를 상기 가상 키패드의 사이즈 조정 비율에 대응되는 거리만큼 이동시키는 인공지능 기반 시선 인식 장치.
display;
a data collection unit configured to collect a plurality of user facial information including a facial image and matching biometric information to accumulate facial big data;
a learning processing unit for generating an artificial neural network model for recognizing a user's gaze by performing a learning process including at least one of pattern recognition, classification, and association linkage on the accumulated facial big data according to a preset condition;
a detection sensor for detecting information required to recognize a user's approach, a user's biometric profile, a separation distance from the user, or a movement of the user's gaze; and
When receiving the user's facial image taken from the sensor, it is applied to the artificial neural network model to identify the user's two pupils, and the center between the two identified pupils is regarded as the eye position, and based on the eye position, A virtual keypad including a central region having the first zero point as a central coordinate and a plurality of border regions adjacent to the central region by setting a position corresponding to the gaze of the user as a first zero point on the display; and a control unit for generating and outputting through the display,
The control unit places a virtual cursor at the central coordinates, and when a new facial image of the user is obtained from the detection sensor, the user's gaze is obtained by applying the new facial image of the user to the artificial neural network model. When tracking and recognizing a change in the eye position as a result of tracking, a user's gaze movement event is generated to move the virtual cursor located at the central coordinate on the virtual keypad to the user's gaze movement position,
The control unit obtains a separation distance from the user from the detection sensor and adjusts the size of the virtual keypad to a set size based on the obtained separation distance from the user,
The control unit adjusts the size of the virtual keypad to be smaller at a preset ratio as the distance from the user increases,
When the size of the virtual keypad is adjusted, the control unit controls such that a sub-unit size of each of the central region and the plurality of edge regions included in the virtual keypad or the entire size of the virtual keypad is adjusted according to a preset ratio,
When the size of the virtual keypad is adjusted at a preset rate based on the set size, the control unit moves the virtual cursor of the virtual keypad by a distance corresponding to the size adjustment rate of the virtual keypad, AI-based gaze recognition Device.
 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 청구항 1에 있어서,
상기 제어부는,
상기 가상 키패드 상의 상기 제1 영점을 상기 사용자의 시선 이동 위치에 대응되는 제2 영점으로 재 설정하고, 상기 제2 영점을 중심 좌표로 하는 중심 영역을 형성하고, 형성된 상기 중심 영역을 기준으로 인접한 복수의 테두리 영역을 포함하는 가상 키패드를 생성하는 인공지능 기반 시선 인식 장치.
The method according to claim 1,
The control unit is
resetting the first zero point on the virtual keypad to a second zero point corresponding to a movement position of the user's gaze, forming a central area having the second zero point as a center coordinate, and forming a plurality of adjacent areas based on the formed center area An artificial intelligence-based gaze recognition device that creates a virtual keypad including the border area of
 청구항 1에 있어서,
상기 감지 센서는,
상기 사용자의 접근, 상기 사용자와의 이격 거리, 상기 사용자의 생체 프로필 또는 상기 사용자의 시선 이동을 인식하기 위한 초음파 센서, 적외선 센서, 레이저 센서 및 위치 감지 센서를 포함하는 근거리 무선 감지 센서, 접근 인식 센서, IOT(internet of things) 센서, 및 영상 촬영기 중 적어도 하나 이상을 포함하는 인공지능 기반 시선 인식 장치.
The method according to claim 1,
The detection sensor is
A short-range wireless sensing sensor, an approach recognition sensor including an ultrasonic sensor, an infrared sensor, a laser sensor, and a position detection sensor for recognizing the user's approach, the separation distance from the user, the user's bio-profile or the user's gaze movement , an Internet of things (IOT) sensor, and an artificial intelligence-based gaze recognition device including at least one of an image recorder.
 시선 인식 장치에서 사용자의 시선을 인식하기 위한 방법으로서,
상기 시선 인식 장치가 안면 이미지와 이에 매칭되는 생체정보를 포함하는 복수의 사용자 안면 정보를 수집하여 안면 빅 데이터를 축적하는 단계;
상기 시선 인식 장치가 축적된 상기 안면 빅 데이터를 기 설정된 조건에 따라 패턴인식, 분류 및 연관성 연계 중 적어도 하나 이상을 포함하는 학습 처리를 수행하여 사용자의 시선 인식을 위한 인공 신경망 모델을 생성하는 단계;
상기 시선 인식 장치가 촬영된 사용자의 안면 이미지를 상기 인공 신경망 모델에 적용하여 사용자의 두 눈동자를 파악하고 파악된 상기 두 눈동자 사이의 중심을 눈 위치로 간주하여, 상기 눈 위치를 기준으로 상기 사용자가 응시하는 시선에 대응되는 위치를 디스플레이 상에서 제1 영점으로 설정하는 단계;
상기 시선 인식 장치가 상기 제1 영점을 중심 좌표로 하는 중심 영역 및 상기 중심 영역을 기준으로 인접한 복수의 테두리 영역을 포함하는 가상 키패드를 생성하여 상기 디스플레이를 통해 출력하되, 상기 중심 좌표에 가상 커서(virtual cursor)를 위치시키는 단계;
상기 시선 인식 장치가 사용자의 신규 안면 이미지를 획득하면, 이를 상기 인공 신경망 모델에 적용하여 상기 사용자의 시선을 추적하는 단계;
상기 시선 인식 장치가 상기 눈 위치의 변경을 인지하면 사용자의 시선 이동 이벤트를 발생시키는 단계; 및
상기 시선 인식 장치가 상기 가상 키패드 상에서 상기 중심 좌표에 위치하는 상기 가상 커서를 상기 사용자의 시선 이동 위치로 이동시키는 단계를 포함하고,
상기 가상 키패드를 생성하는 단계는, 상기 사용자와의 이격거리를 획득하는 단계; 및 획득된 상기 사용자와의 이격거리를 기초로 상기 가상 키패드의 사이즈를 설정 사이즈로 조정하는 단계를 더 포함하며,
상기 가상 키패드의 사이즈를 설정 사이즈로 조정하는 단계에서, 상기 사용자와의 이격거리가 멀수록 상기 가상 키패드의 사이즈가 기 설정된 비율로 작아지도록 조정하고,
상기 가상 키패드의 사이즈를 설정 사이즈로 조정하는 단계에서, 상기 가상 키패드에 포함되는 상기 중심 영역 및 상기 복수의 테두리 영역 각각의 소단위 사이즈 또는 상기 가상 키패드의 전체 사이즈를 기 설정된 비율에 따라 조정하며,
상기 가상 커서를 상기 사용자의 시선 이동 위치로 이동시키는 단계에서, 상기 가상 키패드의 가상 커서를 상기 가상 키패드의 사이즈 조정 비율에 대응되는 거리만큼 이동시키는 인공지능 기반 시선 인식 방법.
A method for recognizing a user's gaze in a gaze recognition device, comprising:
accumulating, by the gaze recognition device, facial big data by collecting a plurality of user facial information including a facial image and matching biometric information;
generating an artificial neural network model for recognizing a user's gaze by performing a learning process including at least one of pattern recognition, classification, and association linkage on the facial big data accumulated by the gaze recognition device according to a preset condition;
By applying the facial image of the user photographed by the gaze recognition device to the artificial neural network model, the user's two pupils are identified, and the center between the two identified pupils is regarded as the eye position, and the user based on the eye position setting a position corresponding to the gazing gaze as a first zero point on the display;
The gaze recognition device generates a virtual keypad including a central region having the first zero point as a central coordinate and a plurality of border regions adjacent to the central region, and outputs it through the display, but a virtual cursor ( locating a virtual cursor);
when the gaze recognition device acquires a new facial image of the user, applying it to the artificial neural network model to track the gaze of the user;
generating a user's gaze movement event when the gaze recognition device recognizes a change in the eye position; and
moving, by the gaze recognition device, the virtual cursor located at the central coordinates on the virtual keypad to a position of the user's gaze movement,
The generating of the virtual keypad may include: obtaining a separation distance from the user; and adjusting the size of the virtual keypad to a set size based on the obtained separation distance from the user,
In the step of adjusting the size of the virtual keypad to a set size, the larger the separation distance from the user, the smaller the size of the virtual keypad is adjusted at a preset ratio,
In the step of adjusting the size of the virtual keypad to a set size, the sub-unit size of each of the central region and the plurality of border regions included in the virtual keypad or the overall size of the virtual keypad is adjusted according to a preset ratio,
In the step of moving the virtual cursor to the movement position of the user's gaze, the artificial intelligence-based gaze recognition method of moving the virtual cursor of the virtual keypad by a distance corresponding to a size adjustment ratio of the virtual keypad.
 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 청구항 9에 있어서,
상기 가상 커서를 상기 사용자의 시선 이동 위치로 이동시키는 단계 이후에,
상기 가상 키패드 상의 상기 제1 영점을 상기 사용자의 시선 이동 위치에 대응되는 제2 영점으로 재 설정하는 단계; 및
상기 제2 영점을 중심 좌표로 하는 중심 영역을 형성하고, 형성된 상기 중심 영역을 기준으로 인접한 복수의 테두리 영역을 포함하는 가상 키패드를 재 생성하는 단계를 더 포함하는 인공지능 기반 시선 인식 방법.
10. The method of claim 9,
After moving the virtual cursor to the user's eye movement position,
resetting the first zero point on the virtual keypad to a second zero point corresponding to the user's gaze movement position; and
The AI-based gaze recognition method further comprising: forming a central region having the second zero point as a central coordinate; and re-creating a virtual keypad including a plurality of adjacent border regions based on the formed central region.
 청구항 9에 있어서,
상기 사용자와의 이격거리는,
상기 사용자와의 이격거리를 감지하는 거리 인식 센서의 위치로부터 상기 사용자 간의 이격거리이거나, 또는 상기 사용자의 안면 이미지를 촬영하는 영상 촬영기의 위치로부터 상기 사용자 간의 이격거리인 인공지능 기반 시선 인식 방법.
10. The method of claim 9,
The separation distance from the user,
An artificial intelligence-based gaze recognition method that is a distance between the users from a location of a distance recognition sensor that detects the distance from the user, or a distance between the users from a location of an imager that captures the user's face image.
 사용자의 안면 이미지를 획득하면, 상기 사용자의 안면 이미지로부터 사용자의 두 눈동자를 파악하고 파악된 상기 두 눈동자 사이의 중심을 눈 위치로 간주하여 제1 영점으로 설정하고, 상기 제1 영점을 중심 좌표로 하는 중심 영역 및 상기 중심 영역을 기준으로 인접한 복수의 테두리 영역을 포함하는 가상 키패드를 생성하여 디스플레이를 통해 출력하는 시선 인식 모듈; 및
미디어 정보, 상품 리스트 및 온오프라인 쇼핑몰 정보 중 적어도 하나 이상을 포함하는 콘텐츠를 상기 가상 키패드의 영역별 위치에 대응되는 복수의 영역을 포함하는 상기 디스플레이 상에 출력하되, 상기 시선 인식 모듈을 통해 파악된 사용자의 시선에 따라 이동하는 가상 커서를 기초로 해당 콘텐츠를 출력하는 무인 정보 제공 모듈을 포함하고,
상기 시선 인식 모듈은, 상기 중심 좌표에 상기 가상 커서가 위치하도록 하고, 감지 센서로부터 사용자의 신규 안면 이미지를 획득하면, 상기 사용자의 신규 안면 이미지를 인공 신경망 모델에 적용하여 사용자의 시선을 추적하고, 추적 결과 상기 눈 위치의 변경을 인지하면 사용자의 시선 이동 이벤트를 발생시켜 상기 가상 키패드 상에서 상기 중심 좌표에 위치하는 상기 가상 커서를 상기 사용자의 시선 이동 위치로 이동시키며,
상기 시선 인식 모듈은, 상기 감지 센서로부터 상기 사용자와의 이격거리를 획득하고 획득된 상기 사용자와의 이격거리를 기초로 상기 가상 키패드의 사이즈를 설정 사이즈로 조정하고,
상기 시선 인식 모듈은, 상기 사용자와의 이격거리가 멀수록 상기 가상 키패드의 사이즈가 기 설정된 비율로 작아지도록 조정하며,
상기 시선 인식 모듈은, 상기 가상 키패드의 사이즈를 조정할 때, 상기 가상 키패드에 포함되는 상기 중심 영역 및 상기 복수의 테두리 영역 각각의 소단위 사이즈 또는 상기 가상 키패드의 전체 사이즈가 기 설정된 비율에 따라 조정되도록 제어하고,
상기 시선 인식 모듈은, 상기 가상 키패드의 사이즈가 상기 설정 사이즈를 기초로 기 설정된 비율로 조정될 때, 상기 가상 키패드의 상기 가상 커서를 상기 가상 키패드의 사이즈 조정 비율에 대응되는 거리만큼 이동시키는 인공지능을 이용한 무인 정보 단말기.
When the user's face image is obtained, the user's two pupils are identified from the user's face image, the center between the two identified pupils is regarded as the eye position, and the first zero point is set, and the first zero point is the central coordinate. a gaze recognition module for generating and outputting a virtual keypad including a central region and a plurality of border regions adjacent to the central region based on the central region; and
The content including at least one of media information, product list, and online/offline shopping mall information is output on the display including a plurality of regions corresponding to the positions of each region of the virtual keypad, and the content is identified through the gaze recognition module. Including an unattended information providing module that outputs the corresponding content based on the virtual cursor moving according to the user's gaze,
The gaze recognition module places the virtual cursor at the central coordinates, and when a new facial image of the user is obtained from a detection sensor, the user's gaze is tracked by applying the new facial image of the user to an artificial neural network model, When a change in the eye position is recognized as a result of tracking, a user's gaze movement event is generated to move the virtual cursor located at the central coordinate on the virtual keypad to the user's gaze movement position,
The gaze recognition module obtains the separation distance from the user from the detection sensor and adjusts the size of the virtual keypad to a set size based on the obtained separation distance from the user,
The gaze recognition module adjusts the size of the virtual keypad to decrease at a preset rate as the distance from the user increases,
The gaze recognition module controls, when adjusting the size of the virtual keypad, the subunit size of each of the central region and the plurality of edge regions included in the virtual keypad or the overall size of the virtual keypad according to a preset ratio do,
The gaze recognition module, when the size of the virtual keypad is adjusted at a preset ratio based on the set size, artificial intelligence for moving the virtual cursor of the virtual keypad by a distance corresponding to the size adjustment ratio of the virtual keypad Unmanned information terminal used.
 삭제delete 청구항 17에 있어서,
상기 무인 정보 제공 모듈은,
상기 가상 커서의 위치 이동에 대응되는 콘텐츠 관련 서비스를 제공하는 무인 정보 단말기.18. The method of claim 17,
The unmanned information providing module,
An unmanned information terminal that provides a content-related service corresponding to the movement of the virtual cursor.
KR1020210095701A 2021-07-21 2021-07-21 Artificial intelligence based gaze recognition device and method, and unmanned information terminal using the same KR102426071B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210095701A KR102426071B1 (en) 2021-07-21 2021-07-21 Artificial intelligence based gaze recognition device and method, and unmanned information terminal using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210095701A KR102426071B1 (en) 2021-07-21 2021-07-21 Artificial intelligence based gaze recognition device and method, and unmanned information terminal using the same

Publications (1)

Publication Number Publication Date
KR102426071B1 true KR102426071B1 (en) 2022-07-27

Family

ID=82701380

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210095701A KR102426071B1 (en) 2021-07-21 2021-07-21 Artificial intelligence based gaze recognition device and method, and unmanned information terminal using the same

Country Status (1)

Country Link
KR (1) KR102426071B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130010012A (en) * 2010-04-16 2013-01-24 퀄컴 인코포레이티드 Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size
KR101382772B1 (en) * 2012-12-11 2014-04-08 현대자동차주식회사 Display system and method
KR20150055327A (en) * 2013-11-13 2015-05-21 엘지전자 주식회사 Mobile terminal and controlling method thereof
KR20190030140A (en) * 2017-09-13 2019-03-21 주식회사 비주얼캠프 Method for eye-tracking and user terminal for executing the same
KR20200031283A (en) 2018-09-14 2020-03-24 주식회사 더베스트페이 Method for paying cost using kiosk

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130010012A (en) * 2010-04-16 2013-01-24 퀄컴 인코포레이티드 Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size
KR101382772B1 (en) * 2012-12-11 2014-04-08 현대자동차주식회사 Display system and method
KR20150055327A (en) * 2013-11-13 2015-05-21 엘지전자 주식회사 Mobile terminal and controlling method thereof
KR20190030140A (en) * 2017-09-13 2019-03-21 주식회사 비주얼캠프 Method for eye-tracking and user terminal for executing the same
KR20200031283A (en) 2018-09-14 2020-03-24 주식회사 더베스트페이 Method for paying cost using kiosk

Similar Documents

Publication Publication Date Title
US11341515B2 (en) Systems and methods for sensor data analysis through machine learning
US10909386B2 (en) Information push method, information push device and information push system
US8577087B2 (en) Adjusting a consumer experience based on a 3D captured image stream of a consumer response
US20190147228A1 (en) System and method for human emotion and identity detection
KR20230015272A (en) Unmanned information terminal using artificial intelligence, order management server, and method for providing order information
US20150215674A1 (en) Interactive streaming video
US20200387865A1 (en) Environment tracking
KR20190118965A (en) System and method for eye-tracking
US20230410514A1 (en) Information processing apparatus, information processing method, and program
WO2013107038A1 (en) Method and apparatus for user recognition
US20230111437A1 (en) System and method for content recognition and data categorization
US20210195095A1 (en) Systems and methods for guiding image sensor angle settings in different environments
KR102426071B1 (en) Artificial intelligence based gaze recognition device and method, and unmanned information terminal using the same
KR102249666B1 (en) System for service shopping mall of using eye tracking technology and computing device for executing the same
US20220180640A1 (en) Electronic device for providing response method, and operating method thereof
US20210176519A1 (en) System and method for in-video product placement and in-video purchasing capability using augmented reality with automatic continuous user authentication
KR102548625B1 (en) Method for providing shopping contents of based eye tracking and computing device for executing the method
US11688250B2 (en) Systems and methods for detecting human presence near a transaction kiosk
KR102424316B1 (en) Self-checkout system and method for self-service cafeteria
KR102480468B1 (en) Apparatus for providing information on a product worn by users, and a method therefor
US20230033062A1 (en) Non-transitory computer-readable recording medium, customer service detection method, and information processing device
KR20230053269A (en) A payment system that tracks and predicts customer movement and behavior
JPWO2019207795A1 (en) Behavior-related information provision system, behavior-related information provision method, program, and camera
WO2009102231A1 (en) Method and system for automated confirmation of receiving visual information and quantitative evaluation of influence efficiency degree caused by said information on individuals

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant