KR102474399B1 - 사회적 약자가 손쉽게 활용하도록 접근성을 높인 키오스크와 키오스크의 콘텐츠 제공 방법 - Google Patents

사회적 약자가 손쉽게 활용하도록 접근성을 높인 키오스크와 키오스크의 콘텐츠 제공 방법 Download PDF

Info

Publication number
KR102474399B1
KR102474399B1 KR1020210110702A KR20210110702A KR102474399B1 KR 102474399 B1 KR102474399 B1 KR 102474399B1 KR 1020210110702 A KR1020210110702 A KR 1020210110702A KR 20210110702 A KR20210110702 A KR 20210110702A KR 102474399 B1 KR102474399 B1 KR 102474399B1
Authority
KR
South Korea
Prior art keywords
module
user
image
kiosk
content
Prior art date
Application number
KR1020210110702A
Other languages
English (en)
Inventor
박지호
Original Assignee
박지호
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박지호 filed Critical 박지호
Priority to KR1020210110702A priority Critical patent/KR102474399B1/ko
Application granted granted Critical
Publication of KR102474399B1 publication Critical patent/KR102474399B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0334—Foot operated pointing devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/40—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for devices for accepting orders, advertisements, or the like
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H04N5/2257—
    • H04N5/2259—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 무인계산에 있어 사용자의 편의와 작업의 효율성을 높이고 사회적 약자의 활용성을 개선한 키오스크와 키오스크의 콘텐츠 제공 방법에 관한 것으로, 콘텐츠 정보를 저장하는 콘텐츠 관리모듈; 이용자의 음성을 받아 음성신호로 생성하는 마이크; 상기 음성신호를 음성데이터로 변환하고 음성내용을 인식하는 음성인식모듈; 지정된 촬영각과 배율만으로 세팅되며 이용자의 안면을 포함한 전신이 촬영된 촬영이미지를 촬영데이터로 생성하는 카메라; 화면에 영상을 디스플레이하고 화면의 터치 위치에 상응한 입력신호를 생성하는 터치스크린; 상기 촬영데이터의 촬영이미지에서 눈 이미지를 추출하여 추출된 위치인 제1위치를 파악하고, 상기 제1위치를 기준으로 눈 이미지의 활동범위를 규정치에 따라 설정하며, 상기 활동범위 내에서 눈 이미지의 이동방향을 추적하는 영상분석모듈; 음성정보가 구성된 가상현실 영상을 디스플레이하는 메타버스 프로그램이 실행되도록 실행값을 생성해 입력하고, 이용자가 특정 위치에서 자세를 취하며 밟을 수 있도록 키오스크의 하단에서 지정된 위치에 배치되는 발판스위치; 상기 실행값이 입력되면 메타버스 프로그램을 실행해서, 상기 터치스크린의 입력신호, 상기 음성인식모듈의 음성내용, 상기 영상분석모듈이 확인한 제1위치와 이동방향에 대응하는 위치정보에 따라 해당하는 가상현실 영상과 콘텐츠 정보를 디스플레이하는 메타버스 모듈; 상기 콘텐츠 관리모듈과 마이크와 음성인식모듈과 카메라와 터치스크린과 영상분석모듈과 발판스위치와 메타버스 모듈 간의 데이터 통신을 중계하고, 상기 메타버스 프로그램이 미실행 중에는 콘텐츠 안내 프로그램을 실행해서 터치스크린의 입력신호에 대응하는 2D 영상과 콘텐츠를 디스플레이하는 제어모듈;을 포함하는 것이다.

Description

사회적 약자가 손쉽게 활용하도록 접근성을 높인 키오스크와 키오스크의 콘텐츠 제공 방법{Kiosk for enhance accessibility of social weal persons to support easy using and Contents offering method of kiosk}
본 발명은 무인계산에 있어 사용자의 편의와 작업의 효율성을 높이고 사회적 약자의 활용성을 개선한 키오스크와 키오스크의 콘텐츠 제공 방법에 관한 것이다.
키오스크(Kiosk)란 일반적으로 공공장소에 설치된 무인 정보 단말기를 말한다. 이러한 키오스크는 일반 대중들이 쉽게 이용할 수 있도록 공공장소에 설치되며, 터치 스크린 등의 입출력 수단을 통하여 사용자에게 정보를 전달하고 사용자는 키오스크를 제어한다.
이러한 키오스크의 입출력 수단 중 일 예인 터치 스크린(touch screen)은 GUI(graphice user interface) 사용자 애플리케이션(application)을 제공하고, 사용자는 GUI 화면을 직접 조작함으로써 다양한 콘텐츠를 제공받고 사용자의 정보를 입력한다. 예를 들면, 상거래용 키오스트는 터치 스크린을 통해 상거래 대상자에게 구매 콘텐츠(contents)를 선택하도록 제공하고, 선택된 콘텐츠에 대응한 결제 과정을 수행한다.
한편, IT 기술의 발전은 사람들이 손쉽게 콘텐츠에 접근할 수 있게 하였다. 그런데 이러한 세상에는 다양한 사람 즉, 언어, 신체, 나이, 장애, 문화, 가치관 등 모두 다른 사람들이 살아가고 있음에도 콘텐츠 접근을 위한 상기 기술들은 소위 MZ 세대로 불리는 10대에서 30대 젊은 층들의 이용 수준에 맞춰져 제공되고 있고, 콘텐츠 제공을 위해서 사회 주변에 갖춰진 키오스크 역시 건강한 젊은이들에게 맞춰지게 구축되었다. 결국, 키오스크의 이용 지식이 상대적으로 부족한 사회적 약자와 중장년층, 노인들(이하 '사회적 약자'라 통칭함)은 점점 키오스크에 접근하기 어렵고, 키오스크 이용을 시도해도 작동오류가 빈번하므로 이용을 기피하게 되었다. 따라서 사회적 약자는 복잡하게 구성된 기술에 접근이 어려워서 사회활동이 위축되고 일상화된 발전 기술인 키오스크로부터 멀어지는 문제가 있었다.
선행기술문헌 1. 특허공개번호 제10-2021-0093793호(2021.07.28 공개)
이에 본 발명은 상기의 문제를 해소하기 위한 것으로, 키오스크 이용에 필수적인 시각과 지체에 장애가 있는 사회적 약자의 활용 접근성을 개선해서 키오스크를 통한 콘텐츠 이용의 불편을 줄이고 자신감 있는 사회 활동을 독려할 수 있는 사회적 약자가 손쉽게 활용하도록 접근성을 높인 키오스크와 이를 기반으로 실행하는 콘텐츠 제공 방법의 제공을 해결하고자 하는 과제로 한다.
상기의 과제를 달성하기 위하여 본 발명은,
콘텐츠 정보를 저장하는 콘텐츠 관리모듈;
이용자의 음성을 받아 음성신호로 생성하는 마이크;
상기 음성신호를 음성데이터로 변환하고 음성내용을 인식하는 음성인식모듈;
지정된 촬영각과 배율만으로 세팅되며 이용자의 안면을 포함한 전신이 촬영된 촬영이미지를 촬영데이터로 생성하는 카메라;
화면에 영상을 디스플레이하고 화면의 터치 위치에 상응한 입력신호를 생성하는 터치스크린;
상기 촬영데이터의 촬영이미지에서 눈 이미지를 추출하여 추출된 위치인 제1위치를 파악하고, 상기 제1위치를 기준으로 눈 이미지의 활동범위를 규정치에 따라 설정하며, 상기 활동범위 내에서 눈 이미지의 이동방향을 추적하는 영상분석모듈;
음성정보가 구성된 가상현실 영상을 디스플레이하는 메타버스 프로그램이 실행되도록 실행값을 생성해 입력하고, 이용자가 특정 위치에서 자세를 취하며 밟을 수 있도록 키오스크의 하단에서 지정된 위치에 배치되는 발판스위치;
상기 실행값이 입력되면 메타버스 프로그램을 실행해서, 상기 터치스크린의 입력신호, 상기 음성인식모듈의 음성내용, 상기 영상분석모듈이 확인한 제1위치와 이동방향에 대응하는 위치정보에 따라 해당하는 가상현실 영상과 콘텐츠 정보를 디스플레이하는 메타버스 모듈; 및
상기 콘텐츠 관리모듈과 마이크와 음성인식모듈과 카메라와 터치스크린과 영상분석모듈과 발판스위치와 메타버스 모듈 간의 데이터 통신을 중계하고, 상기 메타버스 프로그램이 미실행 중에는 콘텐츠 안내 프로그램을 실행해서 터치스크린의 입력신호에 대응하는 2D 영상과 콘텐츠를 디스플레이하는 제어모듈;
을 포함하는 사회적 약자가 손쉽게 활용하도록 접근성을 높인 키오스크이다.
상기의 본 발명은, 터치스크린으로 한정된 키오스크의 입출력 수단에 메타버스 기술 기반의 음성인식 시스템을 보강해서 사회적 약자가 대화를 통해 키오스크를 손쉽게 제어하며 콘텐츠를 제공받고 제어를 위한 정보를 키오스크에 입력하므로, 사회적 약자는 물론 일반 사용자도 키오스크를 일반 대화 방식으로 제어해서 이용의 편의성을 높이고, 키오스크의 사용 부담을 줄여서 접근성을 높일 수 있는 효과가 있다.
도 1은 본 발명에 따른 키오스크의 일실시 예를 도시한 사시도이고,
도 2는 본 발명에 따른 키오스크의 구성요소를 도시한 블록도이고,
도 3은 본 발명에 따른 키오스크를 기반으로 실행하는 콘텐츠 제공 방법을 순차 도시한 플로차트이고,
도 4는 본 발명에 따른 키오스크가 이용자에게 안내모드의 종류를 제시하는 모습을 도시한 도면이고,
도 5는 본 발명에 따른 키오스크의 발판스위치를 개략적으로 도시한 측면도이고,
도 6는 본 발명에 따른 키오스크의 콘텐츠 제공 화면을 개략적으로 도시한 도면이고,
도 7은 본 발명에 따른 키오스크가 이용자의 눈 위치 확인을 위해 정면을 촬영하는 모습을 개략적으로 도시한 측면도이고,
도 8은 본 발명에 따른 키오스크가 이용자의 눈의 활동범위 설정 모습을 개략적으로 도시한 도면이고,
도 9는 본 발명에 따른 키오스크가 이용자의 눈 위치에 맞춰 안내 영상의 위치를 조정하는 모습을 개략적으로 도시한 도면이고,
도 10은 본 발명에 따른 키오스크가 이용자의 눈의 동작방향을 추적하는 모습을 개략적으로 도시한 도면이다.
실시 예들에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 “…부”, “…모듈” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
이하 첨부된 도면을 참고하여 본 개시의 실시 예를 상세히 설명하기로 한다.
도 1은 본 발명에 따른 키오스크의 일실시 예를 도시한 사시도이고, 도 2는 본 발명에 따른 키오스크의 구성요소를 도시한 블록도이다.
도 1과 도 2를 참조하면, 본 발명에 따른 키오스크(100)는, 콘텐츠 정보를 저장하는 콘텐츠 관리모듈(110)과, 이용자의 음성을 받아 음성신호로 생성하는 마이크(120)와, 상기 음성신호를 음성데이터로 변환하고 음성내용을 인식하는 음성인식모듈(121)과, 지정된 촬영각과 배율만으로 세팅되며 이용자의 안면을 포함한 전신이 촬영된 촬영이미지를 촬영데이터로 생성하는 카메라(130)와, 화면에 영상을 디스플레이하고 화면의 터치 위치에 상응한 입력신호를 생성하는 터치스크린(140)과, 상기 촬영데이터에서 눈 이미지의 위치인 제1위치와 눈 이미지의 활동범위와 눈 이미지의 이동방향을 추적하는 영상분석모듈(131)과, 메타버스 프로그램의 실행을 위해 이용자가 밟을 수 있도록 키오스크(100)의 하단에서 지정된 위치에 배치되는 발판스위치(150)과, 설정된 프로세스에 따라 가상현실 영상을 실행하는 메타버스 모듈(160)과, 콘텐츠 관리모듈(110)과 마이크(120)와 음성인식모듈(121)과 카메라(130)와 터치스크린(140)과 영상분석모듈(131)과 발판스위치(150)와 메타버스 모듈(160) 간의 데이터 통신을 중계는 제어모듈(170)을 포함한다. 여기서 제어모듈(170)은 메타버스 프로그램이 미실행 중에는 콘텐츠 안내 프로그램을 실행해서 터치스크린(140)의 입력신호에 대응하는 2D 영상과 콘텐츠를 디스플레이한다.
키오스크(100)가 안내하는 콘텐츠의 일실시 예를 들어 키오스크(100)의 각 구성에 대해 좀 더 구체적으로 설명한다.
본 실시 예에서 콘텐츠 관리모듈(110)이 저장 및 관리하는 콘텐츠 정보는 식품과, 해당 식품의 재료인 식료품으로 구성된다. 또한, 상기 콘텐츠 정보는 식품을 설명하는 안내멘트와 식품영상이 더 포함된다.
마이크(120)는 키오스크(100)의 이용자가 음성인식으로 콘텐츠를 안내받도록 이용자의 음성을 받아 음성신호로 생성한다. 이를 위해 마이크(120)는 이용자의 음성을 정확히 수집하도록, 본 실시 예에서 이용자가 마주하는 키오스크(100)의 정면에 설치된다. 마이크(120)의 기능과 내부 구성 등은 이미 공지의 기술이므로, 마이크(120)에 관한 구체적인 기술 설명은 생략한다.
음성인식모듈(121)은 마이크(120)의 음성신호를 음성데이터로 변환하며, 상기 음성데이터의 음성내용을 인식해서 지정된 내용인지 여부를 파악한다. 일 예를 들어 설명하면, 콘텐츠 관리모듈(110)에 저장된 콘텐츠 정보는 식품명 또는 식료품명을 포함한다. 이용자는 식품명 또는 식료품명을 말하고, 음성인식모듈(121)은 이용자의 음성을 음성데이터로 변환해서 음성내용을 인식한다. 따라서, 음성인식모듈(121)이 인식한 음성내용을 콘텐츠 관리모듈(110)의 식품명 또는 식료품명과 비교할 수 있다. 음성인식모듈(121)은 컴퓨터가 마이크와 같은 소리 센서를 통해 얻은 음향학적 신호(acoustic speech signal)를 단어나 문장으로 변환시키는 공지의 기술이므로, 음성내용 인식을 위한 구체적인 기술 설명은 생략한다.
카메라(130)는 이용자의 눈이 촬영되도록 이용자의 안면을 포함하는 촬영이미지를 생성한다. 상기 촬영이미지에서 눈 이미지의 위치를 파악할 수 있도록, 상기 촬영이미지는 이용자의 전신을 포함한다. 이를 위해 카메라(130)는 이용자의 눈을 포함한 전신이 촬영되도록 키오스크(100)의 정면에 배치된다. 이용자는 키오스크(100)를 조작하기 위해서 키오스크(100)의 정면에 근접할 수밖에 없으므로, 이용자의 눈을 포함한 전신 촬영을 위해서 이용자를 향해 하향 촬영하도록 카메라(130)를 키오스크(100)의 상부에 배치한다.
터치스크린(140)은 공지된 바와 같이, 화면에 영상을 디스플레이하고 화면의 터치 위치에 상응한 입력신호를 생성한다. 터치스크린(140)의 기능과 내부 구성 등은 이미 공지의 기술이므로, 터치스크린(140)에 관한 구체적인 기술 설명은 생략한다.
영상분석모듈(131)은 상기 촬영데이터의 촬영이미지에서 눈 이미지를 추출하여 추출된 위치인 제1위치를 파악한다. 전술한 바와 같이 촬영데이터의 촬영이미지는 이용자의 전신을 포함하므로, 영상분석모듈(131)은 상기 촬영이미지에서 전신 이미지를 추출하고, 상기 전신 이미지 대비 제1위치를 확인해서 전신 이미지에서 눈 이미지의 위치를 확인할 수 있다. 계속해서 영상분석모듈(131)은 상기 제1위치를 중심으로 활동범위를 규정치에 따라 설정한다. 상기 활동범위는 눈 이미지의 추적을 위한 제1위치의 유효한 구간을 규정치에 따라 설정한 것으로, 이용자가 자세를 조정하거나 고개를 돌림으로써 제1위치가 활동범위를 벗어나면 해당 제1위치는 이동방향의 파악 대상에서 제외된다. 상기 이동방향은 활동범위 내에서 제1위치의 변화를 파악한다. 한편, 영상분석모듈(131)은 터치스크린(140) 상에서 제1위치에 대응하는 제2위치를 파악한다. 이를 위해 영상분석모듈(131)은 전술한 바와 같이 촬영이미지에서 전신 이미지 대비 제1위치를 확인하고, 키오스크(100)의 터치스크린(140)에서 상기 전신 이미지의 길이에 대응하는 위치를 확인하며, 상기 전신 이미지 대비 제1위치를 통해 제1위치에 대응하는 제2위치를 터치스크린(140)에서 파악한다. 따라서 영상분석모듈(131)은 터치스크린(140)에서 이용자의 눈이 마주하는 위치를 추정할 수 있다.
발판스위치(150)는 음성정보가 구성된 가상현실 영상을 디스플레이하는 메타버스 프로그램이 실행되도록 실행값을 생성해 입력하고, 이용자가 밟을 수 있도록 키오스크(100)의 하단에 배치된다. 따라서 터치스크린(140)에 안내되는 설명에 따라 터치스크린(140)을 조작할 수 없는 사회적 약자가 발판스위치(150)를 디디는 것만으로 키오스크(100)가 가상현실 영상을 디스플레이하도록 조작할 수 있다. 참고로, 이용자가 지정된 위치에 서서 키오스크(100)를 조작할 수 있도록 발판스위치(150)는 지정된 일지점에 배치된다. 따라서 발판스위치(150)를 조작하는 이용자는 편안한 발판스위치(150) 조작을 위해 지정된 위치에 서서 키오스크(100)를 조작하게 된다.
메타버스 모듈(160)은 상기 실행값이 입력되면 메타버스 프로그램을 실행해서, 터치스크린(140)의 입력신호, 음성인식모듈(121)의 음성내용, 영상분석모듈(131)이 확인한 제1위치와 이동방향에 대응하는 위치정보에 따라 해당하는 가상현실 영상과 콘텐츠를 디스플레이한다. 메타버스(Metaverse)는 가상현실 영상을 디스플레이하며 현실과 커뮤니케이션하도록 하는 기술이다. 본 발명에 따른 키오스크는 가상현실 영상과의 커뮤니케이션을 위해 음성인식 기술과 영상분석 기술을 응용한다. 본 실시 예에서 메타버스 모듈(160)은 안내캐릭터 이미지를 3D 이미지 형태로 생성 및 출력시켜서 안내캐릭터 이미지와의 대화를 이용자가 체감하게 하고, 이용자의 음성 또는 제스처에 대응하는 후속 프로세스를 실행시켜서 이용자가 요구하는 콘텐츠를 제공할 수 있게 한다. 메타버스 모듈(160)에 관한 기술은 본 발명에 따른 콘텐츠 제공 방법의 설명과 더불어 한다.
제어모듈(170)은 콘텐츠 관리모듈(110)과 마이크(120)와 음성인식모듈(121)과 카메라(130)와 터치스크린(140)과 영상분석모듈(131)과 발판스위치(150)와 메타버스 모듈(160) 간의 데이터 통신을 중계하고, 상기 메타버스 프로그램이 미실행 중에는 콘텐츠 안내 프로그램을 실행해서 터치스크린(140)의 입력신호에 대응하는 2D 영상과 콘텐츠를 디스플레이한다.
전술한 구성요소와 더불어 본 발명에 따른 키오스크(100)는, 메타버스 모듈(160) 또는 제어모듈(170)이 제공한 콘텐츠의 비용을 정산하고 결제 처리하는 정산모듈(180)을 더 포함한다. 본 실시 예에서 정산모듈(180)은 키오스크(100)에서 제공한 콘텐츠인 식품 또는 식료품을 구매하기 위한 결제 솔루션으로, 이용자가 선택한 식품 또는 식료품의 비용을 합산해서 제시하고, 이용자가 입력한 카드정보, 계좌정보 등의 결제수단으로 결제를 처리한다. 이를 위해 정산모듈(180)은 온라인을 통해 결제시스템과 통신하고, 결제승인이 완료되면 주문서를 생성해서 주문단말기(200)에 전달한다. 참고로 주문단말기(200)는 식품 또는 식료품 포장 등을 위해 현장에서 판매자가 확인하도록 키오스크(100)의 상기 주문서를 출력한다. 정산모듈(180)의 기능과 내부 구성 등은 이미 공지의 기술이므로, 정산모듈(180)에 관한 구체적인 기술 설명은 생략한다.
미설명부호 '181'는 정산모듈(180)에 구성된 '카드리더'이고, '182'는 정산모듈(180)에 구성된 '영수증 발급기'이다.
도 3은 본 발명에 따른 키오스크를 기반으로 실행하는 콘텐츠 제공 방법을 순차 도시한 플로차트이고, 도 4는 본 발명에 따른 키오스크의 발판스위치를 개략적으로 도시한 측면도이고, 도 5는 본 발명에 따른 키오스크의 콘텐츠 제공 화면을 개략적으로 도시한 도면이고, 도 6은 본 발명에 따른 키오스크가 이용자에게 안내모드의 종류를 제시하는 모습을 도시한 도면이고, 도 7은 본 발명에 따른 키오스크가 이용자의 눈 위치 확인을 위해 정면을 촬영하는 모습을 개략적으로 도시한 측면도이고, 도 8은 본 발명에 따른 키오스크가 이용자의 눈의 활동범위 설정 모습을 개략적으로 도시한 도면이고, 도 9는 본 발명에 따른 키오스크가 이용자의 눈 위치에 맞춰 안내 영상의 위치를 조정하는 모습을 개략적으로 도시한 도면이고, 도 10은 본 발명에 따른 키오스크가 이용자의 눈의 동작방향을 추적하는 모습을 개략적으로 도시한 도면이다.
도 2 내지 도 10을 참조하면, 본 발명에 따른 콘텐츠 제공 방법은 키오스크(100)를 기반으로 실행된다.
S10, S11; 키오스크 실행 단계
이용자가 키오스크(100)를 이용하기 위해 접근하거나 터치스크린(140)의 화면이 터치되면 키오스크(100)의 제어모듈(170)은 이용자의 접근을 감지한 센서(미도시함) 또는 터치스크린(140)의 신호를 받아 콘텐츠 안내 프로그램을 실행한다.
본 실시 예에서 제어모듈(170)의 식품 또는 식료품 안내 및 주문이 시각적으로 이루어지는 시각모드와 청각적으로 이루어지는 청각모드로 구성된다. 상기 시각모드는 식품 또는 식료품 안내 및 주문을 위한 기본 모드이며, 이용자가 청각모드를 요청하지 않으면 자동으로 시각모드가 실행된다.
제어모듈(170)이 실행되면 도 4와 같이 청각모드 선택을 위한 안내멘트가 터치스크린(140)의 스피커를 통해 출력된다. 이용자가 상기 안내멘트에 대응해서 발판스위치(150)를 밟아 조작하지 않으면(S11), 제어모듈(170)은 콘텐츠 정보의 기본 안내방식인 시각모드로 이용자에게 식품 또는 식료품을 안내하고 주문을 받는다. 도 6의 (a)도면과 같이 식품 또는 식료품의 메뉴를 터치스크린(140)에 게시하고, 이용자가 구매 의사가 있는 메뉴를 터치하면 해당 메뉴에 관한 설명과 함께 구매 여부를 질의한다.
참고로, 상기 기본 안내방식인 시각모드의 주문 프로세스는 제어모듈(170)이 콘텐츠 정보를 저장하는 콘텐츠 관리모듈(110)을 검색하고(S12), 검색된 콘텐츠 정보를 설정 프로세스에 따라 게시하며(S13), 제어모듈(170)의 제어를 받아 정산모듈(180)이 해당 콘텐츠 정보의 식품 또는 식료품을 결제하도록 진행된다(S21).
S15; 메타버스 실행 단계
이용자가 상기 안내멘트에 따라 발판스위치(150)을 밟아 조작하면, 발판스위치(150)는 실행값을 생성해서 제어모듈(170)에 전송하고, 제어모듈(170)은 메타버스 프로그램을 실행시켜서 청각모드를 실행하는 메타버스 모듈(160)을 활성화한다. 전술한 바와 같이, 발판스위치(150)는 이용자(H)가 밟을 수 있도록 키오스크(100)의 하단에 배치된다.
계속해서, 메타버스 모듈(160)은 시각모드의 실행을 정지하고 도 6의 (b)도면과 같이 터치스크린(140) 화면에 가상현실 영상을 디스플레이한다. 본 실시 예에서 상기 가상현실 영상에는 오프라인과 같이 콘텐츠를 설명하고 결제 절차 등을 안내하는 안내캐릭터 이미지(C)와, 음성 안내 중인 콘텐츠가 게시된 정보레이어(P)가 구성된다. 따라서 키오스크(100)의 전면에 서 있는 이용자(H)는 3D 이미지 형식의 안내캐릭터 이미지(C)와 대화하거나 신체적인 행동을 취해서 키오스크(100)에 이용자(D)의 의사를 전달한다. 또한, 안내캐릭터 이미지(C)를 통해 음성으로 안내되는 콘텐츠 정보를 정보레이어(P)를 통해 이용자(H)가 시각적으로 확인하도록 한다.
S16; 인식수단 확인 단계
제어모듈(170)은 메타버스 모듈(160)의 활성화와 함께, 이용자(H)의 음성을 수집해서 음성신호를 생성하는 마이크(120)와, 상기 음성신호를 음성데이터로 변환하고 음성내용을 인식하는 음성인식모듈(121)와, 이용자(H)의 안면을 포함한 전신을 촬영하여 촬영데이터로 생성하는 카메라(130)와, 상기 촬영데이터에서 눈 이미지의 위치와 활동범위 설정과 눈 이미지의 이동방향을 추적하는 영상분석모듈(131) 등의 인식수단을 활성화한다. 여기서 영상분석모듈(131)은 터치스크린(140)의 화면에서 눈 이미지가 마주하는 위치를 확인한다.
따라서 키오스크(100)는 전면에 위치한 이용자(H)의 음성과 눈을 체크해서 이용자(H)와 커뮤니케이션할 수 있는 환경을 구축한다.
S17; 이용자의 눈 위치 확인 단계
활성화된 카메라(130)는 이용자(H)를 촬영해서 촬영이미지에 대한 촬영데이터를 생성하고, 영상분석모듈(131)은 상기 촬영데이터에서 눈 이미지(E)를 추출하며, 눈 이미지(E)의 제1위치를 파악한다. 상기 제1위치는 촬영이미지에서 눈 이미지(E)가 위치한 지점이다. 계속해서 영상분석모듈(131)은 촬영이미지에서 이용자(H)의 전신이미지를 추출하고, 추출된 전신이미지 대비 제1위치를 확인한다.
계속해서, 영상분석모듈(131)은 상기 제1위치를 중심으로 활동범위를 설정한다. 상기 활동범위는 제1위치의 유효한 구간을 규정치(Z1, Z2)에 따라 설정한 것으로, 영상분석모듈(131)은 상기 활동범위 내에서 이동하는 눈 이미지(E)만을 유효한 것으로 보고 추적한다. 눈 이미지(E)의 이동은 터치스크린(140)의 화면을 확인하는 이용자(H)가 자세를 변경하거나 고개를 돌릴 경우에 일어나며, 이용자(H)가 터치스크린(140)을 주시하며 키오스크(100)의 안내에 따라 행동할 경우, 즉 이용자(H)가 안내캐릭터(C)가 안내한 내용에 대응해서 고개를 상하 또는 좌우로 흔들 경우에는 상기 활동범위 안에 눈 이미지(E)가 도 10과 같이 상하 또는 좌우로 이동한다. 눈 이미지(E)의 이동이 활동범위 내에서 이루어지면, 영상분석모듈(131)은 눈 이미지(E)의 이동방향을 추적한다.
한편, 영상분석모듈(131)은 이용자(H)의 전신 이미지(L) 대비 눈 이미지(E)의 위치, 즉 전신 이미지(L) 대비 제1위치를 토대로 제1위치에 대응하는 제2위치를 파악한다. 이에 관해 좀 더 구체적으로 설명하면, 카메라(130)가 항상 일정한 촬영각과 배율로 일정한 위치와 범위를 촬영하도록 세팅되므로, 상기 촬영이미지의 촬영 범위는 이용자(H)의 신장에 상관없이 일정할 수밖에 없다. 일정한 범위가 촬영된 일정 크기의 상기 촬영이미지에서 전신 이미지(L)의 길이를 계측한다. 이용자(H)의 신장이 클수록 상기 전신 이미지(L)의 길이가 일정한 비율로 증가하므로, 상기 전신 이미지(L)의 길이로부터 이용자(H)의 신장을 확인할 수 있다. 또한, 상기 전신 이미지(L)에서 제1위치의 높이를 확인한다. 상기 전신 이미지(L)에서 제1위치의 높이는 전신 이미지(L)의 발 이미지에서 눈 이미지까지의 거리이며, 상기 거리를 계측해서 이용자(H)의 눈높이를 확인할 수 있다. 상기 눈높이가 확인되면 터치스크린(140) 내에서 눈높이에 대응하는 제2위치를 파악하여 키오스크에서 음성 안내 중인 콘텐츠가 게시된 정보레이어(P)를 가상현실 영상에서 제2위치에 보강 출력한다. 터치스크린(140)은 콘텐츠 정보의 게시를 위해 충분한 크기의 화면을 구성하므로, 상기 눈높이는 터치스크린(140) 내에 위치한다. 결국, 도 9와 같이 이용자(H)는 눈높이에 맞춰 출력된 정보레이어(P)에서 콘텐츠 정보를 확인하므로, 자세의 불편 없이 지속적인 콘텐츠 정보를 제공받는다.
S18; 콘텐츠 정보 검색 단계
메타버스 모듈(160)은 제어모듈(170)을 통해 콘텐츠 관리모듈(110)에서 콘텐츠 정보를 검색한다. 콘텐츠 정보의 검색은 시각모드의 콘텐츠 정보 검색과 동일하게 이루어진다.
S19; 콘텐츠 정보 음성 출력 단계
메타버스 모듈(160)은 검색된 콘텐츠 정보를 제어모듈(170)의 제어에 따라 터치스크린(140)의 스피커를 통해 출력시키고, 정보레이어(P)에 해당 콘텐츠 정보를 게시해서 출력시킨다.
S20; 콘텐츠 선택 단계
키오스크(100)의 터치스크린(140)에서 콘텐츠 정보가 음성 및 가상현실 영상으로 제시되는 중에 이용자(H)는 음성 또는 고개 움직임으로 특정 콘텐츠를 선택한다. 우선 이용자(H)가 음성으로 '이것' 또는 '이거요'와 같이 특정 단어를 말하거나, 콘텐츠의 명칭을 말하면, 마이크(120)에서 음성신호를 생성하고 음성인식모듈(121)은 해당 음성신호를 음성데이터로 변환한 후 음성내용을 인식한다. 음성인식 결과 상기 특정 단어임이 확인되면, 제어모듈(170)은 해당하는 음성내용의 콘텐츠 정보를 콘텐츠 관리모듈(110)에서 확인하여 정산모듈(180)에 전달한다.
이와 더불어, 이용자(H)의 고개 움직임에 따른 눈 이미지(E)의 이동방향을 영상분석모듈(131)에서 확인한다. 눈 이미지(E)가 상기 활동범위 내에서 도 10의 (a)도면과 같이 좌우로 이동하면 이용자(H)는 고개를 좌우로 흔드는 것이므로 메타버스 모듈(160)은 키오스크(100)에서 현재 안내 중인 콘텐츠는 이용자(H)가 거부한 것으로 판단하고, 도 10의 (b)도면과 같이 상하로 이동하면 이용자(H)는 고개를 상하로 흔드는 것이므로 메타버스 모듈(160)은 키오스크(100)에서 현재 안내 중인 콘텐츠는 이용자(H)가 구매를 결정한 것으로 판단한다. 이후 제어모듈(170)은 해당하는 음성내용의 콘텐츠 정보를 콘텐츠 관리모듈(110)에서 확인하여 정산모듈(180)에 전달한다.
S21; 정산 단계
제어모듈(170)의 제어에 따라 정산모듈(180)이 해당 콘텐츠 정보의 식품 또는 식료품을 결제하도록 진행된다.
앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예들을 참조해 설명했지만, 해당 기술분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
C; 안내캐릭터 이미지 E; 눈 이미지 H; 이용자
L; 전신 이미지 P; 정보레이어 Z1, Z2; 규정치

Claims (4)

  1. 콘텐츠 정보를 저장하는 콘텐츠 관리모듈; 이용자의 음성을 받아 음성신호로 생성하는 마이크; 상기 음성신호를 음성데이터로 변환하고 음성내용을 인식하는 음성인식모듈; 지정된 촬영각과 배율만으로 세팅되며 이용자의 안면을 포함한 전신이 촬영된 촬영이미지를 촬영데이터로 생성하는 카메라; 화면에 영상을 디스플레이하고 화면의 터치 위치에 상응한 입력신호를 생성하는 터치스크린; 상기 촬영데이터의 촬영이미지에서 눈 이미지를 추출하여 추출된 위치인 제1위치를 파악하고, 상기 제1위치를 기준으로 규정치에 따라 유효한 구간인 활동범위를 설정하며, 상기 유효한 구간 내에서 눈 이미지의 위치변화에 따른 이동방향을 추적해서 이용자의 고개 움직임을 확인하는 영상분석모듈; 음성정보가 구성된 가상현실 영상을 디스플레이하는 메타버스 프로그램이 실행되도록 실행값을 생성해 입력하고, 이용자가 특정 위치에서 자세를 취하며 밟을 수 있도록 키오스크의 하단에서 지정된 위치에 배치되는 발판스위치; 상기 발판스위치의 조작을 통해 생성된 실행값이 입력되면 메타버스 프로그램을 실행해서, 상기 터치스크린의 입력신호, 상기 음성인식모듈의 음성내용, 상기 영상분석모듈이 확인한 제1위치와 눈 이미지의 이동방향에 대응하는 위치정보에 따라 해당하는 가상현실 영상과 콘텐츠 정보를 디스플레이하는 메타버스 모듈; 상기 콘텐츠 관리모듈과 마이크와 음성인식모듈과 카메라와 터치스크린과 영상분석모듈과 발판스위치와 메타버스 모듈 간의 데이터 통신을 중계하고, 상기 메타버스 프로그램이 미실행 중에는 콘텐츠 안내 프로그램을 실행해서 터치스크린의 입력신호에 대응하는 2D 영상과 콘텐츠를 디스플레이하는 제어모듈; 상기 메타버스 모듈 또는 제어모듈이 제공한 콘텐츠의 비용을 정산하고 결제 처리하는 정산모듈;을 포함하고,
    상기 제어모듈은, 콘텐츠 안내와 주문 기능의 메뉴가 터치스크린에 이미지로 출력되고 이용자에 의해 상기 메뉴가 터치되면 주문 절차가 실행되는 시각모드와, 상기 메타버스 모듈의 실행을 통해 3D 이미지 형태의 안내캐릭터 이미지와 음성정보가 출력되고 음성인식모듈에 의해 인식된 이용자의 음성에 따라 주문 절차가 실행되는 청각모드를, 이용자의 키오스크 이용을 위한 안내 방식으로 구성하고, 상기 청각모드 선택을 위한 안내멘트를 출력하며, 상기 발판스위치가 생성한 실행값이 입력되면 메타버스 모듈을 활성화하고;
    상기 영상분석모듈은, 일정한 촬영각과 배율로 일정한 범위가 촬영된 상기 촬영이미지에서 이용자의 전신 이미지 대비 제1위치를 통해 터치스크린에서 제1위치에 대응하는 제2위치를 확인하되; 상기 터치스크린에서 제2위치의 높이는, 상기 촬영이미지에서 전신 이미지의 길이를 계측하여 이용자의 신장을 확인하고, 상기 전신 이미지에서 제1위치의 높이를 계측해서 이용자의 눈높이를 확인하고, 상기 터치스크린 내에서 눈높이에 대응하는 제2위치를 파악하며;
    상기 메타버스 모듈은, 상기 키오스크에서 음성 안내 중인 콘텐츠가 게시된 정보레이어를 가상현실 영상에서 이용자의 눈과 마주하도록 제2위치에 보강 출력하고, 상기 영상분석모듈이 확인한 눈 이미지의 이동방향에 대응한 이용자의 고개 움직임에 따라 안내 콘텐츠의 거부 또는 구매 결정을 판단하고, 상기 구매 결정으로 판단하면 정산에 관한 안내를 속행하면서 정산모듈을 활성화하며, 상기 거부로 판단하면 이후 안내를 정지하는 것;을 특징으로 하는 사회적 약자가 손쉽게 활용하도록 접근성을 높인 키오스크.
  2. 삭제
  3. 삭제
  4. 삭제
KR1020210110702A 2021-08-23 2021-08-23 사회적 약자가 손쉽게 활용하도록 접근성을 높인 키오스크와 키오스크의 콘텐츠 제공 방법 KR102474399B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210110702A KR102474399B1 (ko) 2021-08-23 2021-08-23 사회적 약자가 손쉽게 활용하도록 접근성을 높인 키오스크와 키오스크의 콘텐츠 제공 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210110702A KR102474399B1 (ko) 2021-08-23 2021-08-23 사회적 약자가 손쉽게 활용하도록 접근성을 높인 키오스크와 키오스크의 콘텐츠 제공 방법

Publications (1)

Publication Number Publication Date
KR102474399B1 true KR102474399B1 (ko) 2022-12-07

Family

ID=84441199

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210110702A KR102474399B1 (ko) 2021-08-23 2021-08-23 사회적 약자가 손쉽게 활용하도록 접근성을 높인 키오스크와 키오스크의 콘텐츠 제공 방법

Country Status (1)

Country Link
KR (1) KR102474399B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102603659B1 (ko) * 2023-05-09 2023-11-20 주식회사 엘토브 전력 절감이 가능한 디스플레이형 단말 및 그 제어 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010082389A (ko) * 2001-04-12 2001-08-30 전화성 음성인식,합성 3차원아바타시스템
US20080012699A1 (en) * 2006-07-11 2008-01-17 Crowley Christopher W Passenger screening system and method
KR20190141410A (ko) * 2018-06-14 2019-12-24 (주)이지위드 키오스크 서비스 제공 시스템 및 방법
KR102112846B1 (ko) * 2019-12-17 2020-05-19 서울특별시 서초구 서초 스마트 시니어 키오스크 교육시스템
KR102140583B1 (ko) * 2020-01-02 2020-08-05 (주)럭스콘 다기능 키오스크
KR20210000078A (ko) * 2019-06-24 2021-01-04 건국대학교 글로컬산학협력단 개인 맞춤형 조절이 가능한 키오스크 및 그 제어 시스템
KR20210093793A (ko) 2020-01-20 2021-07-28 김태익 시각장애인용 키오스크 장치 및 이의 동작방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010082389A (ko) * 2001-04-12 2001-08-30 전화성 음성인식,합성 3차원아바타시스템
US20080012699A1 (en) * 2006-07-11 2008-01-17 Crowley Christopher W Passenger screening system and method
KR20190141410A (ko) * 2018-06-14 2019-12-24 (주)이지위드 키오스크 서비스 제공 시스템 및 방법
KR20210000078A (ko) * 2019-06-24 2021-01-04 건국대학교 글로컬산학협력단 개인 맞춤형 조절이 가능한 키오스크 및 그 제어 시스템
KR102112846B1 (ko) * 2019-12-17 2020-05-19 서울특별시 서초구 서초 스마트 시니어 키오스크 교육시스템
KR102140583B1 (ko) * 2020-01-02 2020-08-05 (주)럭스콘 다기능 키오스크
KR20210093793A (ko) 2020-01-20 2021-07-28 김태익 시각장애인용 키오스크 장치 및 이의 동작방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102603659B1 (ko) * 2023-05-09 2023-11-20 주식회사 엘토브 전력 절감이 가능한 디스플레이형 단말 및 그 제어 방법

Similar Documents

Publication Publication Date Title
US11593984B2 (en) Using text for avatar animation
US20230388409A1 (en) Accelerated task performance
CN112416484B (zh) 加速任务执行
US11442607B2 (en) Task shortcut user interface
US20210090314A1 (en) Multimodal approach for avatar animation
EP4057128A1 (en) Continuous dialog with a digital assistant
US8700392B1 (en) Speech-inclusive device interfaces
KR20190002586A (ko) 디지털 어시스턴트와의 애플리케이션 통합
KR20190038900A (ko) 단어 흐름 주석
US10996474B2 (en) Virtual reality system and information processing system
KR20180082347A (ko) 디지털 어시스턴트와의 애플리케이션 통합
CN108242007A (zh) 服务提供方法及装置
US20200043488A1 (en) Voice recognition image feedback providing system and method
WO2013059726A1 (en) Systems, devices and methods for list display and management
US20190134812A1 (en) Electronic device capable of moving and operating method thereof
CN113867516B (zh) 加速的任务执行
KR102296271B1 (ko) 시각 및 청각장애인용 키오스크
KR20190030140A (ko) 시선 추적 방법 및 이를 수행하기 위한 사용자 단말
WO2021073743A1 (en) Determining user input based on hand gestures and eye tracking
Troncoso Aldas et al. AIGuide: An augmented reality hand guidance application for people with visual impairments
KR102474399B1 (ko) 사회적 약자가 손쉽게 활용하도록 접근성을 높인 키오스크와 키오스크의 콘텐츠 제공 방법
US20190237078A1 (en) Voice recognition image feedback providing system and method
US20180089706A1 (en) Systems And Methods for Generating Surveys
KR20220045291A (ko) 키오스크 숙련도 교육 장치, 방법 및 프로그램
CN116450022A (zh) 用户输入界面

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
AMND Amendment
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant