KR102592923B1 - Kiosk capable of providing user custom service by human behavioral analysis - Google Patents
Kiosk capable of providing user custom service by human behavioral analysis Download PDFInfo
- Publication number
- KR102592923B1 KR102592923B1 KR1020230082978A KR20230082978A KR102592923B1 KR 102592923 B1 KR102592923 B1 KR 102592923B1 KR 1020230082978 A KR1020230082978 A KR 1020230082978A KR 20230082978 A KR20230082978 A KR 20230082978A KR 102592923 B1 KR102592923 B1 KR 102592923B1
- Authority
- KR
- South Korea
- Prior art keywords
- kiosk
- unit
- user
- interface
- disability
- Prior art date
Links
- 230000003542 behavioural effect Effects 0.000 title abstract description 5
- 238000000605 extraction Methods 0.000 claims abstract description 29
- 238000012795 verification Methods 0.000 claims description 8
- 208000032041 Hearing impaired Diseases 0.000 claims description 4
- 238000000034 method Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 29
- 230000000007 visual effect Effects 0.000 abstract description 6
- 230000004424 eye movement Effects 0.000 abstract description 3
- 230000001815 facial effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000000193 eyeblink Effects 0.000 description 2
- 230000005057 finger movement Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 208000025721 COVID-19 Diseases 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 235000013410 fast food Nutrition 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 210000000088 lip Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07F—COIN-FREED OR LIKE APPARATUS
- G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
- G07F17/40—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for devices for accepting orders, advertisements, or the like
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Ophthalmology & Optometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명에 의하면, 키오스크 이용자의 영상과 음성 중의 어느 하나 이상을 입력받기 위한 영상/음성 입력부(10); 영상/음성 입력부(10)에 의하여 키오스크 이용자의 눈동자의 움직임을 포함한 안면을 인식하기 위한 안면 감지부(20); 키오스크 이용자의 손가락 동작의 모션을 감지하기 위한 모션 감지부(40); 안면 감지부(20)와 자세 감지부(30) 중의 어느 하나 이상으로부터 감지되는 데이터에 의하여 키오스크 이용자의 장애의 종류를 판별하기 위한 장애 판별부(50); 장애 판별부(50)에 의하여 분류된 장애의 종류에 따라 인터페이스로 입력되기 위한 키오스크 이용자의 시선 변화를 추출하거나 손가락 모션 변화를 추출하기 위한 이미지 추출부(60); 및 장애 판별부(50)로부터 판별된 장애 종류에 대응하여 이미지 추출부(60)로부터 추출되는 시선 변화나 모션 변화에 대응하여 시각이나 청각의 인터페이스 데이터를 생성하기 위한 인터페이스 생성부(70)를 포함하는 행동분석을 통한 사용자 맞춤형 인터페이스 제공용 키오스크가 제공된다.According to the present invention, a video/audio input unit 10 for receiving one or more of a kiosk user's video and audio input; A face detection unit (20) for recognizing the face including eye movements of the kiosk user by the video/audio input unit (10); A motion detection unit 40 for detecting the motion of a kiosk user's finger motion; A disability determination unit 50 for determining the type of disability of the kiosk user based on data detected from one or more of the face detection unit 20 and the posture detection unit 30; An image extraction unit 60 for extracting a change in the kiosk user's gaze or a change in finger motion to be input into the interface according to the type of disability classified by the disability determination unit 50; And an interface generator 70 for generating visual or auditory interface data in response to a change in gaze or motion extracted from the image extractor 60 in response to the type of disorder determined by the disorder determination unit 50. A kiosk is provided to provide a user-customized interface through behavioral analysis.
Description
본 발명은 행동분석을 통한 사용자 맞춤형 인터페이스 제공용 키오스크에 관한 것으로서, 보다 상세하게는 키오스크 이용자의 안면의 변화나 행동의 변화 등을 인식하고 이들 변화에 대한 반응들을 인공지능적으로 학습하여 키오스크의 사용자에게 적합한 인터페이스를 제공할 수 있는 행동분석을 통한 사용자 맞춤형 인터페이스 제공용 키오스크에 관한 것이다.The present invention relates to a kiosk for providing a user-customized interface through behavior analysis. More specifically, the present invention relates to a kiosk that recognizes changes in the face or behavior of the kiosk user and artificially learns the responses to these changes to inform the user of the kiosk. This relates to a kiosk that provides a user-customized interface through behavioral analysis that can provide an appropriate interface.
기술 발전과 코로나 19 등으로 인해 언택트 시대에 맞추어 편의점, 패스트 푸드점, 카페 등 많은 장소들을 기준으로 키오스크 사용이 증가하고 있으며, 심지어는 인건비를 줄이는 명목하에 키오스크만 존재하는 곳도 점차 늘어나고 있다.Due to technological advancements and COVID-19, the use of kiosks is increasing in many places such as convenience stores, fast food restaurants, and cafes in line with the untact era, and the number of places where only kiosks exist in the name of reducing labor costs is gradually increasing.
이러한 키오스크에 있어서 다양한 외형을 가진 고객에 대하여 이용의 편의성을 갖고 있지 못하는 문제점을 해결하기 위하여 공개특허 제10-2022-0120878호는 도 1에 도시된 바와 같이, 몸체부, 상기 몸체부의 상측에 구비되고, 사람의 접근 여부를 거리 측정에 의해 감지하는 센서부, 상기 센서부의 감지시, 제어부의 제어하에 동작되어 사람의 얼굴 안면을 촬영하는 카메라부, 상기 카메라부에서 촬영되는 얼굴 안면의 위치에 따라 제어부의 제어하에 카메라 촬영 영역의 정중앙에 안면이 위치하도록 상하 또는 좌우로 구동 제어되는 구동부, 상기 센서부의 감지 신호를 수신하여 상기 카메라부를 동작시켜 사람의 얼굴 안면을 촬영하도록 제어하고, 카메라 촬영 영역의 정중앙에 안면이 위치하도록 상기 구동부를 상하 또는 좌우로 이동 제어하는 상기 제어부, 상기 구동부에 결합되어 상기 구동부의 제어에 따라 상하 또는 좌우로 이동되도록 제어되는 디스플레이부를 포함하는 안면인식을 이용한 사용자 맞춤형 키오스크를 개시하고 있다.In order to solve the problem of not having convenience of use for customers with various appearances in such kiosks, as shown in FIG. 1, Patent Publication No. 10-2022-0120878 includes a body portion and an upper side of the body portion. A sensor unit detects whether a person is approaching by measuring the distance, a camera unit that operates under the control of the control unit when detected by the sensor unit and takes pictures of the person's face, depending on the position of the face captured by the camera unit. A driving unit that controls the movement up and down or left and right so that the face is located in the exact center of the camera shooting area under the control of the control unit, receives a detection signal from the sensor unit and controls the camera unit to operate to capture the face of the person, and controls the camera unit to capture the face of the person. A user-customized kiosk using facial recognition including a control unit that controls the driving unit to move up and down or left and right so that the face is located in the exact center, and a display unit that is coupled to the driving unit and is controlled to move up and down or left and right according to the control of the driving unit. It is starting.
이러한 기술에 의하여 사용자의 안면이 카메라부의 중심에 위치하도록 조절함으로써 신장이 과도하게 큰사람이나 아동 및 장애인과 같은 노약자, 특히 휠체어에 앉은 장애인들이 사용함에 있어서 편의성을 향상시킬 수 있었다.By adjusting the user's face to be located at the center of the camera unit, this technology has improved the convenience of use by people who are excessively tall, the elderly such as children and the disabled, and especially those in wheelchairs.
그러나, 이러한 기술에 의하더라도 키오스크를 이용하는 사용자에게 제공되는 제품이나 서비스의 만족이나 불만족의 정도를 무인으로 운영하는 한계로 인하여 인식할 수 없을 뿐만 아니라, 그로 인하여 정확하게 고객에 필요한 제품이나 서비스의 제공이 이루어질 수 없는 문제점이 있다.However, even with these technologies, the level of satisfaction or dissatisfaction with the products or services provided to users of the kiosk cannot be recognized due to the limitations of operating the kiosk unmanned, and as a result, it is difficult to provide exactly the products or services that customers need. There is a problem that cannot be achieved.
따라서 이러한 문제점을 해결하기 위하여 특허 제 10-2480291호는, 도 2에 도시된 바와 같이, 키오스크의 이용고객의 이용접근과 이용고객에 대하여 제공되는 제품이나 서비스의 선택을 감지하기 위한 센서부(10); 센서부(10)에 의하여 감지된 이용고객의 영상이미지를 입력받기 위한 영상입력부(20); 영상입력부(20)로부터 입력된 이미지의 데이터로부터 이용고객의 안면 이미지(I_f)를 감지하여 추출하기 위한 안면 감지부(30); 안면 감지부(30)로부터 추출된 안면 이미지(I_f)에 대하여 동공, 미간 및 입술 이미지(E_f, B_f, L_f) 중의 어느 하나 이상의 이미지변화 데이터(I_v)를 추출하기 위한 안면이미지 추출부(40); 안면이미지 추출부(40)에 의하여 추출된 이미지변화 데이터(I_v)와 관련된 감정 변화의 데이터가 축적되어 저장되며 이미지변화 데이터(I_v)를 기반으로 이용고객에 의하여 선택된 제품이나 서비스의 매출변화를 저장하기 위한 데이터 베이스부(50); 및 이미지변화 데이터(I_v)를 기반으로 이용고객에 의하여 선택된 제품이나 서비스의 매출변화 데이터(D_s)에 대한 가중치에 따라 데이터 베이스부(50)의 감정변화 데이터(D_e)를 갱신하도록 제어하기 위한 제어부(60)를 포함하는 안면인식을 통한 고객 맞춤 서비스 제공 시스템을 개시하고 있다.Therefore, in order to solve this problem, Patent No. 10-2480291, as shown in FIG. 2, uses a sensor unit (10) to detect the customer's access to the kiosk and the selection of products or services provided to the customer. ); An image input unit 20 for receiving a video image of a user detected by the sensor unit 10; A face detection unit 30 for detecting and extracting a customer's facial image (I_f) from image data input from the image input unit 20; A facial image extraction unit 40 for extracting image change data (I_v) of one or more of the pupil, eyebrow, and lip images (E_f, B_f, L_f) with respect to the facial image (I_f) extracted from the face detection unit 30. ; Data on emotional changes related to the image change data (I_v) extracted by the facial image extraction unit 40 are accumulated and stored, and changes in sales of products or services selected by customers are stored based on the image change data (I_v). a database unit 50 for; and a control unit for controlling updating the emotional change data (D_e) of the database unit 50 according to the weight of the sales change data (D_s) of the product or service selected by the customer based on the image change data (I_v). We are launching a system to provide customized services through facial recognition, including (60).
이러한 기술에 의하여 키오스크를 이용하는 사용자에게 제공되는 제품이나 서비스의 만족도 여부에 대한 얼굴 감정 변화를 인공지능적으로 인지하여 정확하게 고객에 필요한 제품이나 서비스의 제공이 이루어질 수 있으나, 시각청각이나 신체 장애등으로 인하여 적절하게 키오스크에 대하여 피드백에 대한 데이터를 입력할 수 없는 문제점이 있다.With this technology, it is possible to accurately provide the products or services needed to customers by artificially recognizing changes in facial emotions regarding whether the user using the kiosk is satisfied with the product or service provided. However, due to visual, hearing, or physical disabilities, etc. Unfortunately, there is a problem in that feedback data cannot be entered into the kiosk.
따라서 이러한 문제점을 해결할 수 있는 기술의 개발이 요구되고 있다.Therefore, the development of technology that can solve these problems is required.
따라서 본 발명의 목적은 키오스크를 이용하는 사용자의 신체적 장애에 구애를 받지 않고 키오스크의 인터페이스를 제공할 수 있는 행동분석을 통한 사용자 맞춤형 인터페이스 제공용 키오스크를 제공하는 것이다.Therefore, the purpose of the present invention is to provide a kiosk for providing a user-customized interface through behavior analysis that can provide a kiosk interface regardless of the physical disability of the user using the kiosk.
본 발명의 일면에 의하면, 키오스크 이용자의 영상과 음성 중의 어느 하나 이상을 입력받기 위한 영상/음성 입력부(10); 영상/음성 입력부(10)에 의하여 키오스크 이용자의 눈동자의 움직임을 포함한 안면을 인식하기 위한 안면 감지부(20); 키오스크 이용자의 손가락 동작의 모션을 감지하기 위한 모션 감지부(40); 안면 감지부(20)와 자세 감지부(30) 중의 어느 하나 이상으로부터 감지되는 데이터에 의하여 키오스크 이용자의 장애의 종류를 판별하기 위한 장애 판별부(50); 장애 판별부(50)에 의하여 분류된 장애의 종류에 따라 인터페이스로 입력되기 위한 키오스크 이용자의 시선 변화를 추출하거나 손가락 모션 변화를 추출하기 위한 이미지 추출부(60); 및 장애 판별부(50)로부터 판별된 장애 종류에 대응하여 이미지 추출부(60)로부터 추출되는 시선 변화나 모션 변화에 대응하여 시각이나 청각의 인터페이스 데이터를 생성하기 위한 인터페이스 생성부(70)를 포함하는 행동분석을 통한 사용자 맞춤형 인터페이스 제공용 키오스크가 제공된다.According to one aspect of the present invention, a video/audio input unit 10 for receiving one or more of the video and audio of a kiosk user; A face detection unit (20) for recognizing the face including eye movements of the kiosk user by the video/audio input unit (10); A motion detection unit 40 for detecting the motion of a kiosk user's finger movement; A disability determination unit 50 for determining the type of disability of the kiosk user based on data detected from one or more of the face detection unit 20 and the posture detection unit 30; An image extraction unit 60 for extracting a change in the kiosk user's gaze or a change in finger motion to be input into the interface according to the type of disability classified by the disability determination unit 50; And an interface generator 70 for generating visual or auditory interface data in response to a change in gaze or motion extracted from the image extractor 60 in response to the type of disorder determined by the disorder determination unit 50. A kiosk is provided to provide a user-customized interface through behavioral analysis.
여기서, 인터페이스 생성부(70)에 의하여 생성되어 출력되는 인터페이스에 대하여 키오스크 이용자의 시선 변화나 모션 변화에 따라 제공되는 인터페이스의 적합성을 검증하기 위한 피드백 검증부(80)를 더 포함하는 것이 바람직하다.Here, it is preferable to further include a feedback verification unit 80 for verifying the suitability of the interface generated and output by the interface creation unit 70 according to changes in gaze or motion of the kiosk user.
또한, 안면 감지부(20)는 영상/음성 입력부(10)에 의하여 키오스크 이용자의 눈동자의 촛점변화를 포함한 안면을 인식하기 위한 알고리즘을 구비하며, 모션 감지부(40)는 키오스크 이용자의 손가락 동작의 모션(손가락의 변화)를 감지하기 위한 알고리즘을 구비하는 것이 바람직하다.In addition, the face detection unit 20 is equipped with an algorithm for recognizing the face including the change in focus of the kiosk user's eyes by the video/audio input unit 10, and the motion detection unit 40 is configured to detect the kiosk user's finger movements. It is desirable to have an algorithm for detecting motion (change of fingers).
또한, 장애 판별부(50)는 안면 감지부(20)와 자세 감지부(30) 중의 어느 하나 이상으로부터 감지되는 데이터에 의하여 키오스크 이용자의 장애의 종류를 판별하기 위한 알고리즘을 구비하는 것이 바람직하다.In addition, the disability determination unit 50 preferably includes an algorithm for determining the type of disability of the kiosk user based on data detected from one or more of the face detection unit 20 and the posture detection unit 30.
또한, 이미지 추출부(60)는 장애 판별부(50)에 의하여 분류된 장애의 종류에 따라 인터페이스로 입력되기 위한 키오스크 이용자의 시선 변화를 추출하기 위한 시선변화 추출부(62)와, 키오스크 이용자의 손가락 모션 변화를 추출하기 위한 모션변화 추출부(64)를 포함하는 것이 바람직하다.In addition, the image extraction unit 60 includes a gaze change extraction unit 62 for extracting the gaze change of the kiosk user to be input into the interface according to the type of disability classified by the disability determination unit 50, and a gaze change extraction unit 62 It is desirable to include a motion change extraction unit 64 for extracting finger motion changes.
또한, 이미지 추출부(60)의 시선변화 추출부(62)는 키오스크 이용자가 디스플레이 화면상에 표시되는 메뉴들에 대하여 일정시간 동안 머무는 시선변화와 눈깜박임을 추출하는 것이 바람직하다.In addition, it is desirable for the gaze change extraction unit 62 of the image extraction unit 60 to extract gaze changes and eye blinks that the kiosk user stays on for a certain period of time with respect to menus displayed on the display screen.
또한, 피드백 검증부(80)는 인터페이스 생성부(70)에 의하여 생성되어 출력되는 인터페이스에 대하여 키오스크 이용자의 시선 변화나 모션 변화에 따라 제공되는 인터페이스의 적합성을 검증하기 위한 알고리즘을 구비하는 것이 바람직하다.In addition, the feedback verification unit 80 is preferably provided with an algorithm for verifying the suitability of the interface provided according to the change in gaze or motion of the kiosk user with respect to the interface generated and output by the interface creation unit 70. .
한편, 본 발명의 다른 일면에 의하면, 키오스크 이용자의 안면과 모션 중의 어느 하나 이상의 영상을 입력받기 위한 제1 단계; 장애 판별부(50)에 의하여 키오스크 이용자의 장애 여부와 종류를 판별하는 제2 단계; 키오스크 이용자가 청각 장애인일 경우 인터페이스 생성부(70)에 의하여 디스플레 화면상에 제공되는 메뉴에 대하여 키오스크 이용자가 손가락으로 메뉴선택과 관련된 손가락 형태가 동시에 표시되도록 하는 제3 단계; 이미지 추출부(60)에 의하여 동일한 키오스크 이용자의 손가락 형태가 추출될 경우 인터페이스 생성부(70)는 선택의 유효성을 질의하기 위한 'O'형의 손가락 표시가 디스플레이되도록 하는 제4 단계; 및 피드백 검증부(80)는 이미지 추출부(60)로부터 선택의 유효성에 대한 피드백과 관련된 'O'형의 손가락 표시 입력되는지를 검증함으로써 연속적인 메뉴 선택이나 완료가 이루어지도록 하는 제5 단계를 포함하는 행동분석을 통한 사용자 맞춤형 인터페이스 제공 방법이 제공된다.Meanwhile, according to another aspect of the present invention, a first step of receiving one or more images of the face and motion of a kiosk user; A second step of determining whether and what type of disability the kiosk user has by the disability determination unit 50; If the kiosk user is hearing impaired, a third step of allowing the kiosk user to simultaneously display the finger shape related to menu selection with his or her finger on the menu provided on the display screen by the interface creation unit 70; When the finger shape of the same kiosk user is extracted by the image extraction unit 60, the interface creation unit 70 performs a fourth step of displaying an 'O'-shaped finger mark to query the validity of the selection; And the feedback verification unit 80 includes a fifth step to ensure continuous menu selection or completion by verifying whether an 'O'-shaped finger mark related to feedback on the validity of the selection is input from the image extraction unit 60. A method of providing a user-customized interface through behavioral analysis is provided.
따라서 본 발명에 의하면 키오스크를 이용하는 사용자의 신체적 장애에 구애를 받지 않고 키오스크의 인터페이스를 제공할 수 있다.Therefore, according to the present invention, it is possible to provide a kiosk interface regardless of the physical disability of the user using the kiosk.
도 1은 공개특허 제10-2022-0120878호에 따른 인식을 이용한 사용자 맞춤형 키오스크의 개략도이다.
도 2는 특허 제 10-2480291호에 따른 안면인식을 통한 고객 맞춤 서비스 제공 시스템의 블록도이다.
도 3은 본 발명의 바람직한 실시예에 따른 행동분석을 통한 사용자 맞춤형 인터페이스 제공용 키오스크의 개략적인 블록도이다.
도 4는 본 발명의 바람직한 실시예에 따른 행동분석을 통한 사용자 맞춤형 인터페이스 제공용 키오스크에 디스플레이되는 화면 인터페이스의 화면이다.
도 4는 본 발명의 바람직한 실시예에 따른 행동분석을 통한 사용자 맞춤형 인터페이스 제공용 키오스크의 동작 흐름도이다.Figure 1 is a schematic diagram of a user-customized kiosk using recognition according to Publication Patent No. 10-2022-0120878.
Figure 2 is a block diagram of a system for providing customized services through facial recognition according to Patent No. 10-2480291.
Figure 3 is a schematic block diagram of a kiosk for providing a user-customized interface through behavior analysis according to a preferred embodiment of the present invention.
Figure 4 is a screen of a screen interface displayed on a kiosk for providing a user-customized interface through behavior analysis according to a preferred embodiment of the present invention.
Figure 4 is an operation flowchart of a kiosk for providing a user-customized interface through behavior analysis according to a preferred embodiment of the present invention.
이하, 첨부된 도면을 참조하면서 본 발명의 바람직한 실시예에 따른 행동분석을 통한 사용자 맞춤형 인터페이스 제공용 키오스크에 대하여 상세히 설명하기로 한다.Hereinafter, a kiosk for providing a user-customized interface through behavior analysis according to a preferred embodiment of the present invention will be described in detail with reference to the attached drawings.
도 3은 본 발명의 바람직한 실시예에 따른 행동분석을 통한 사용자 맞춤형 인터페이스 제공용 키오스크의 개략적인 블록도이며, 도 4는 본 발명의 바람직한 실시예에 따른 행동분석을 통한 사용자 맞춤형 인터페이스 제공용 키오스크에 디스플레이되는 화면 인터페이스의 예시 화면이며, 도 4는 본 발명의 바람직한 실시예에 따른 행동분석을 통한 사용자 맞춤형 인터페이스 제공용 키오스크의 동작 흐름도이다.Figure 3 is a schematic block diagram of a kiosk for providing a user-customized interface through behavior analysis according to a preferred embodiment of the present invention, and Figure 4 is a schematic block diagram of a kiosk for providing a user-customized interface through behavior analysis according to a preferred embodiment of the present invention. This is an example screen of the displayed screen interface, and Figure 4 is an operation flowchart of a kiosk for providing a user-customized interface through behavior analysis according to a preferred embodiment of the present invention.
도 3 내지 도 5에 도시된 바와 같이, 본 발명의 바람직한 실시예에 따른 행동분석을 통한 사용자 맞춤형 인터페이스 제공용 키오스크에 의하면, 키오스크 이용자의 영상과 음성 중의 어느 하나 이상을 입력받기 위한 영상/음성 입력부(10), 영상/음성 입력부(10)에 의하여 키오스크 이용자의 눈동자의 움직임을 포함한 안면을 인식하기 위한 안면 감지부(20), 키오스크 이용자의 자세를 감지하기 위한 자세 감지부(30), 키오스크 이용자의 손가락 동작의 모션을 감지하기 위한 모션 감지부(40), 안면 감지부(20)와 자세 감지부(30) 중의 어느 하나 이상으로부터 감지되는 데이터에 의하여 키오스크 이용자의 장애의 종류를 판별하기 위한 장애 판별부(50), 장애 판별부(50)에 의하여 분류된 장애의 종류에 따라 인터페이스로 입력되기 위한 키오스크 이용자의 시선 변화를 추출하거나 손가락 모션 변화를 추출하기 위한 이미지 추출부(60), 장애 판별부(50)로부터 판별된 장애 종류에 대응하여 이미지 추출부(60)로부터 추출되는 시선 변화나 모션 변화에 대응하여 시각이나 청각의 인터페이스 데이터를 생성하기 위한 인터페이스 생성부(70), 및 인터페이스 생성부(70)에 의하여 생성되어 출력되는 인터페이스에 대하여 키오스크 이용자의 시선 변화나 모션 변화에 따라 제공되는 인터페이스의 적합성을 검증하기 위한 피드백 검증부(80)를 포함한다. As shown in Figures 3 to 5, according to the kiosk for providing a user-customized interface through behavior analysis according to a preferred embodiment of the present invention, a video/audio input unit for receiving one or more of the video and voice of the kiosk user (10), a face detection unit 20 for recognizing the face including the eye movement of the kiosk user by the video/audio input unit 10, a posture detection unit 30 for detecting the posture of the kiosk user, the kiosk user A disability for determining the type of disability of a kiosk user based on data detected from one or more of the motion detection unit 40, the face detection unit 20, and the posture detection unit 30 for detecting finger motion. Determination unit 50, image extraction unit 60 for extracting changes in the kiosk user's gaze or finger motion changes to be input into the interface according to the type of disability classified by the disability determination unit 50, disability determination An interface generation unit 70 for generating visual or auditory interface data in response to changes in gaze or motion extracted from the image extraction unit 60 in response to the type of disability determined by the unit 50, and an interface creation unit. It includes a feedback verification unit 80 for verifying the suitability of the interface generated and output by (70) according to the change in gaze or motion of the kiosk user.
영상/음성 입력부(10)는 키오스크 이용자의 영상과 음성 중의 어느 하나 이상을 입력받기 위한 입력부로 이루어진다.The video/audio input unit 10 consists of an input unit for receiving one or more of the kiosk user's video and audio input.
안면 감지부(20)는 영상/음성 입력부(10)에 의하여 키오스크 이용자의 눈동자의 촛점변화를 포함한 안면을 인식하기 위한 알고리즘을 구비한다. The face detection unit 20 is equipped with an algorithm for recognizing the face including the change in focus of the kiosk user's pupils by the video/audio input unit 10.
자세 감지부(30)는 키오스크 이용자의 자세, 예를 들면, 이용자의 거동 상태를 감지하기 위한 알고리즘을 구비한다.The posture detection unit 30 includes an algorithm for detecting the posture of a kiosk user, for example, the user's movement state.
모션 감지부(40)는 키오스크 이용자의 손가락 동작의 모션, 예를 들면, 도 3에 도시된 바와 같이 키오스크 이용자의 손가락의 변화를 감지하기 위한 알고리즘을 구비한다.The motion detection unit 40 is provided with an algorithm for detecting the motion of the kiosk user's finger motion, for example, a change in the kiosk user's finger as shown in FIG. 3.
장애 판별부(50)는 안면 감지부(20)와 자세 감지부(30) 중의 어느 하나 이상으로부터 감지되는 데이터에 의하여 키오스크 이용자의 장애의 종류를 판별하기 위한 알고리즘을 구비한다. 예를 들면, 안면 감지부(20)에 의하여 키오스크 이용자의 눈동자 촛점 변화가 일정시간 이상 이루어지지 않을 경우 시각 장애인으로 판별하며, 키오스크의 이용자에 대하여 양방향으로 대칭적으로 구비된 음성 스피커로부터 출력되는 음성 메세지에 대하여 일정 시간 반응이 이루어지지 않을 경우 청각 장애인으로 판별한다.The disability determination unit 50 is provided with an algorithm for determining the type of disability of the kiosk user based on data detected from one or more of the face detection unit 20 and the posture detection unit 30. For example, if the face detection unit 20 does not change the focus of the kiosk user's eyes for more than a certain period of time, the kiosk user is determined to be visually impaired, and the voice output from the voice speaker provided symmetrically in both directions for the kiosk user If a person does not respond to a message for a certain period of time, he or she is judged to be hearing impaired.
이미지 추출부(60)는 장애 판별부(50)에 의하여 분류된 장애의 종류에 따라 인터페이스로 입력되기 위한 키오스크 이용자의 시선 변화를 추출하기 위한 시선변화 추출부(62)와, 키오스크 이용자의 손가락 모션 변화를 추출하기 위한 모션변화 추출부(64)를 포함한다.The image extraction unit 60 includes a gaze change extraction unit 62 for extracting the gaze change of the kiosk user to be input into the interface according to the type of disability classified by the disability determination unit 50, and the kiosk user's finger motion It includes a motion change extraction unit 64 for extracting changes.
이미지 추출부(60)의 시선변화 추출부(62)는 키오스크 이용자가 디스플레이 화면상에 표시되는 메뉴들에 대하여 일정시간 동안 머무는 시선변화와 눈깜박임을 추출한다.The gaze change extraction unit 62 of the image extraction unit 60 extracts the gaze change and eye blinks of a kiosk user staying for a certain period of time with respect to menus displayed on the display screen.
이미지 추출부(60)의 모션변화 추출부(64)는 키오스크 이용자의 손가락 모션 변화를 추출한다.The motion change extraction unit 64 of the image extraction unit 60 extracts the change in finger motion of the kiosk user.
인터페이스 생성부(70)는 장애 판별부(50)로부터 판별된 장애 종류에 대응하여 이미지 추출부(60)로부터 추출되는 시선 변화나 모션 변화에 대응하여 시각이나 청각의 인터페이스 데이터를 생성하여 출력한다. 이 때, 인터페이스 생성부(70)에 의하여 출력되는 인터페이스 데이터는 디스플레 화면으로 출력되는 시각 데이터이거나 음성 스피커를 통하여 출력되는 청각 데이터이다.The interface generation unit 70 generates and outputs visual or auditory interface data in response to a change in gaze or motion extracted from the image extraction unit 60 in response to the type of failure determined by the failure determination unit 50. At this time, the interface data output by the interface generator 70 is visual data output on a display screen or auditory data output through a voice speaker.
피드백 검증부(80)는 인터페이스 생성부(70)에 의하여 생성되어 출력되는 인터페이스에 대하여 키오스크 이용자의 시선 변화나 모션 변화에 따라 제공되는 인터페이스의 적합성을 검증하기 위한 알고리즘을 구비한다.The feedback verification unit 80 is provided with an algorithm for verifying the suitability of the interface generated and output by the interface creation unit 70 according to changes in the gaze or motion of the kiosk user.
한편, 도 4와 도5에 도시된 바와 같이, 키오스크 이용자가 청각 장애인일 경우 인터페이스 생성부(70)에 의하여 디스플레 화면상에 제공되는 메뉴에 대하여 키오스크 이용자가 손가락으로 메뉴선택과 관련된 손가락 형태가 동시에 표시되도록 하며, 이미지 추출부(60)에 의하여 동일한 키오스크 이용자의 손가락 형태가 추출될 경우 인터페이스 생성부(70)는 선택의 유효성을 질의하기 위한 'O'형의 손가락 표시가 디스플레이되도록 하며, 피드백 검증부(80)는 이미지 추출부(60)로부터 선택의 유효성에 대한 피드백과 관련된 'O'형의 손가락 표시 입력되는지를 검증함으로써 연속적인 메뉴 선택이나 완료가 이루어지도록 한다.On the other hand, as shown in Figures 4 and 5, when the kiosk user is hearing impaired, the kiosk user uses his or her finger to select the menu and the finger shape related to the menu provided on the display screen by the interface creation unit 70 at the same time. When the same kiosk user's finger shape is extracted by the image extraction unit 60, the interface creation unit 70 displays an 'O'-shaped finger mark to query the validity of the selection, and provides feedback verification. The unit 80 verifies whether an 'O'-shaped finger mark related to feedback on the validity of the selection is input from the image extraction unit 60, thereby enabling continuous menu selection or completion.
전술한 바와 같이, 본 발명의 바람직한 실시예에 따른 행동분석을 통한 사용자 맞춤형 인터페이스 제공용 키오스크에 의하면, 키오스크 이용자의 장애여부과 종류를 실시간 판별하고 그에 적합한 인터페이스를 제공함으로써 효율적인 인터페이스를 제공할 수 있다.As described above, according to the kiosk for providing a user-customized interface through behavior analysis according to a preferred embodiment of the present invention, an efficient interface can be provided by determining in real time the type of disability of the kiosk user and providing an interface suitable for it.
10: 영상/음성 입력부
20: 안면 감지부
30: 자세 감지부
40: 모션 감지부
50: 장애 판별부
60: 이미지 추출부
62: 시선변화 추출부
64: 모션변화 추출부
70: 인터페이스 생성부
80: 피드백 검증부
90: 제어부10: Video/audio input unit
20: Face detection unit
30: Posture detection unit
40: Motion detection unit
50: Disability determination unit
60: Image extraction unit
62: Gaze change extraction unit
64: Motion change extraction unit
70: Interface creation unit
80: Feedback verification unit
90: control unit
Claims (8)
장애 판별부(50)에 의하여 키오스크 이용자의 장애 여부와 종류를 판별하는 제2 단계;
키오스크 이용자가 청각 장애인일 경우 인터페이스 생성부(70)에 의하여 디스플레 화면상에 제공되는 메뉴에 대하여 키오스크 이용자가 손가락으로 메뉴선택과 관련된 손가락 형태가 동시에 표시되도록 하는 제3 단계;
이미지 추출부(60)에 의하여 동일한 키오스크 이용자의 손가락 형태가 추출될 경우 인터페이스 생성부(70)는 선택의 유효성을 질의하기 위한 'O'형의 손가락 표시가 디스플레이되도록 하는 제4 단계; 및
피드백 검증부(80)는 이미지 추출부(60)로부터 선택의 유효성에 대한 피드백과 관련된 'O'형의 손가락 표시 입력되는지를 검증함으로써 연속적인 메뉴 선택이나 완료가 이루어지도록 하는 제5 단계를 포함하는 것을 특징으로 하는 행동분석을 통한 사용자 맞춤형 인터페이스 제공 방법.A first step for receiving one or more images of the kiosk user's face and motion;
A second step of determining whether and what type of disability the kiosk user has by the disability determination unit 50;
If the kiosk user is hearing impaired, a third step of allowing the kiosk user to simultaneously display the finger shape related to menu selection with his or her finger on the menu provided on the display screen by the interface creation unit 70;
When the finger shape of the same kiosk user is extracted by the image extraction unit 60, the interface creation unit 70 performs a fourth step of displaying an 'O'-shaped finger mark to query the validity of the selection; and
The feedback verification unit 80 includes a fifth step of ensuring continuous menu selection or completion by verifying whether an 'O'-shaped finger mark related to feedback on the validity of the selection is input from the image extraction unit 60. A method of providing a user-customized interface through behavior analysis, characterized by:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230082978A KR102592923B1 (en) | 2023-06-27 | 2023-06-27 | Kiosk capable of providing user custom service by human behavioral analysis |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230082978A KR102592923B1 (en) | 2023-06-27 | 2023-06-27 | Kiosk capable of providing user custom service by human behavioral analysis |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102592923B1 true KR102592923B1 (en) | 2023-10-23 |
Family
ID=88508335
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230082978A KR102592923B1 (en) | 2023-06-27 | 2023-06-27 | Kiosk capable of providing user custom service by human behavioral analysis |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102592923B1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100734003B1 (en) * | 2005-12-28 | 2007-06-29 | 엠텍비젼 주식회사 | User terminal capable of function selection using camera and function selection method thereof |
| KR20120127842A (en) * | 2011-05-16 | 2012-11-26 | 삼성전자주식회사 | Method of processing input signal in portable terminal and apparatus teereof |
| JP2019012485A (en) * | 2017-07-01 | 2019-01-24 | 株式会社ラブ・ボート | User interface |
| KR102296271B1 (en) * | 2021-03-24 | 2021-09-01 | 주식회사 시스메이트 | Kiosk for visually impaired and hard of hearing person |
-
2023
- 2023-06-27 KR KR1020230082978A patent/KR102592923B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100734003B1 (en) * | 2005-12-28 | 2007-06-29 | 엠텍비젼 주식회사 | User terminal capable of function selection using camera and function selection method thereof |
| KR20120127842A (en) * | 2011-05-16 | 2012-11-26 | 삼성전자주식회사 | Method of processing input signal in portable terminal and apparatus teereof |
| JP2019012485A (en) * | 2017-07-01 | 2019-01-24 | 株式会社ラブ・ボート | User interface |
| KR102296271B1 (en) * | 2021-03-24 | 2021-09-01 | 주식회사 시스메이트 | Kiosk for visually impaired and hard of hearing person |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102553190B1 (en) | Automatic control of wearable display device based on external conditions | |
| US10592763B2 (en) | Apparatus and method for using background change to determine context | |
| CN110291478B (en) | Driver Monitoring and Response System | |
| JP5863423B2 (en) | Information processing apparatus, information processing method, and program | |
| WO2019196133A1 (en) | Head-mounted visual aid device | |
| Grauman et al. | Communication via eye blinks and eyebrow raises: Video-based human-computer interfaces | |
| CN109872359A (en) | Sitting posture detecting method, device and computer readable storage medium | |
| JP2008269588A (en) | Recognition device, recognition method, and recognition program | |
| Magee et al. | A human–computer interface using symmetry between eyes to detect gaze direction | |
| JPH09251342A (en) | Device and method for estimating closely watched part and device, information display device/method using the same | |
| KR102351008B1 (en) | Apparatus and method for recognizing emotions | |
| KR20190030140A (en) | Method for eye-tracking and user terminal for executing the same | |
| KR102296271B1 (en) | Kiosk for visually impaired and hard of hearing person | |
| KR102112846B1 (en) | Seocho Smart-Senior Kiosk Education System | |
| JP2003150306A (en) | Information display device and method thereof | |
| JP2016076259A (en) | Information processing apparatus, information processing method, and program | |
| JP3027521B2 (en) | Unattended terminal device | |
| KR20220045291A (en) | Device, method and program for kiosk proficiency training | |
| US20210303258A1 (en) | Information processing device, information processing method, and recording medium | |
| JP2020173787A (en) | Information processing apparatus, information processing system, information processing method, and information processing program | |
| KR102592923B1 (en) | Kiosk capable of providing user custom service by human behavioral analysis | |
| KR20190048144A (en) | Augmented reality system for presentation and interview training | |
| CN112074804A (en) | Information processing system, information processing method, and recording medium | |
| JP2019152953A (en) | Visual support device | |
| WO2020175969A1 (en) | Emotion recognition apparatus and emotion recognition method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |