KR102547308B1 - 키오스크 사용에 대한 헬프서비스를 제공하는 키오스크 시스템 - Google Patents

키오스크 사용에 대한 헬프서비스를 제공하는 키오스크 시스템 Download PDF

Info

Publication number
KR102547308B1
KR102547308B1 KR1020230032726A KR20230032726A KR102547308B1 KR 102547308 B1 KR102547308 B1 KR 102547308B1 KR 1020230032726 A KR1020230032726 A KR 1020230032726A KR 20230032726 A KR20230032726 A KR 20230032726A KR 102547308 B1 KR102547308 B1 KR 102547308B1
Authority
KR
South Korea
Prior art keywords
information
user
helper
help service
kiosk
Prior art date
Application number
KR1020230032726A
Other languages
English (en)
Inventor
백현민
정상연
함진원
Original Assignee
주식회사 샘물정보통신
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 샘물정보통신 filed Critical 주식회사 샘물정보통신
Priority to KR1020230032726A priority Critical patent/KR102547308B1/ko
Application granted granted Critical
Publication of KR102547308B1 publication Critical patent/KR102547308B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/40—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for devices for accepting orders, advertisements, or the like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F9/00—Details other than those peculiar to special kinds or types of apparatus
    • G07F9/002—Vending machines being part of a centrally controlled network of vending machines
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F9/00—Details other than those peculiar to special kinds or types of apparatus
    • G07F9/006—Details of the software used for the vending machines
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F9/00—Details other than those peculiar to special kinds or types of apparatus
    • G07F9/009—User recognition or proximity detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Signal Processing (AREA)
  • Ophthalmology & Optometry (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명에 따른 키오스크 사용에 대한 헬프서비스를 제공하는 키오스크 시스템은 사용자가 키오스크 장치를 사용하는데 도움을 제공하는 헬프서비스가 상기 사용자에 의해 요청되었음을 나타내는 헬프서비스 요청 정보 및 상기 키오스크 장치의 사용에 대한 상기 사용자의 능숙한 정도를 나타내는 능숙도 정보 중 하나 이상에 기초하여 상기 사용자에게 상기 헬프서비스의 제공 여부를 판단하고, 상기 제공 여부의 판단 결과에 대응하여 헬프서비스 중계 요청 신호를 서버로 송신하는 키오스크 장치; 복수의 헬퍼 장치 중에서 어느 하나의 헬퍼 장치로 헬프서비스 요청 신호를 송신하는 서버; 및 상기 헬프서비스 요청 신호가 수신되면, 상기 헬퍼를 촬영한 헬퍼 영상 정보, 상기 헬퍼의 음성을 녹음한 헬퍼 음성 정보 및 상기 키오스크 장치를 원격 제어하는 원격 제어 정보 중 하나 이상을 상기 헬퍼로부터 획득하여 헬프서비스 정보로 생성하는 헬퍼 장치;를 포함하고, 상기 키오스크 장치는 상기 서버를 통해 상기 헬퍼 장치로부터 생성된 상기 헬프서비스 정보를 수신하고, 상기 헬퍼 영상 정보 및 상기 헬퍼 음성 정보 중 하나 이상의 출력 및 상기 원격 제어 정보에 기초한 키오스크 기능 제어 중 하나 이상을 수행할 수 있다.

Description

키오스크 사용에 대한 헬프서비스를 제공하는 키오스크 시스템{Kiosk system for providing help service for kiosk use}
본 발명은 키오스크 사용에 대한 헬프서비스를 제공하는 키오스크 시스템에 관한 것으로서, 더욱 상세하게는 키오스크 장치의 사용자에게 헬프서비스를 제공해야 하는 것으로 판단되면, 사용자와 헬퍼 간의 커뮤니케이션 방식을 결정하고, 결정된 커뮤니케이션 방식에 대응되는 헬퍼 장치와 키오스크 장치를 통신 연결하여 헬프서비스 정보를 사용자에게 제공할 수 있는 키오스크 사용에 대한 헬프서비스를 제공하는 키오스크 시스템에 관한 것이다.
일반적으로 키오스크(KIOSK)는 정보통신 분야에서 정보 서비스와 업무의 무인자동화를 위하여 대중들이 쉽게 이용할 수 있도록 공공장소나 상점 등에 설치한 무인 단말기를 말한다. 보통 각종 공공시설, 대형서점, 백화점, 전시장 또는 공항이나 철도역 등에 설치하여 각종 행정절차나 상품정보 및 결제, 시설물의 이용 방법 등을 제공한다.
대부분 키보드를 사용하지 않고 손을 화면에 갖다 대는 터치스크린(touch screen)을 채택하여 단계적으로 쉽게 검색할 수 있고, 이용자에게 편의를 제공한다는 장점 외에도, 정보 제공자 쪽에서 보면 직접 안내하는 사람을 두지않아도 되기 때문에 인력절감 효과가 크므로, 시간이 갈수록 시장이 커지고 있으며 최근에는 동네 골목상점까지 키오스크가 설치되고 있는 실정이다.
키오스크를 통해 상품을 구매하고 결제하는 방법은 보통 신용카드나 체크카드와 같은 카드를 이용하는 방법과 현금을 이용하는 방법이 사용되는데, 최근에는 실제로 현금을 가지고 다니지 않는 비율이 높아지고 디지털 결제방식을 선호하며 또한 키오스크 내 현금제어기의 미설치에 따른 비용 절감 차원에서 현금으로 결제를 하지 않는 키오스크가 늘어나고 있는 추세이다.
그러나 고령자나 어린이의 경우 카드를 사용하지 않고 현금으로 결제하는 경우가 많으며, 일부 청년이나 중장년층도 현금 결제를 선호하는 사람들이 적지 않다.
한편, 고령자나 어린이 또는 장애인과 같은 정보소외계층의 경우 키오스크가 제공하는 메뉴 제공이나 선택 등의 안내 화면이 복잡해서 이용에 어려움이 있을 수 있다. 또한 고령자의 경우 시력이 않좋으므로 화면의 활자나 이미지가 작아서 이용에 불편을 느낄 수 있다.
한국등록특허 제10-2425456호
본 발명의 목적은, 키오스크 장치의 사용자에게 헬프서비스를 제공해야 하는 것으로 판단되면, 사용자와 헬퍼 간의 커뮤니케이션 방식을 결정하고, 결정된 커뮤니케이션 방식에 대응되는 헬퍼 장치와 키오스크 장치를 통신 연결하여 헬프서비스 정보를 사용자에게 제공할 수 있는 키오스크 사용에 대한 헬프서비스를 제공하는 키오스크 시스템을 제공함에 있다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명에 따른 키오스크 사용에 대한 헬프서비스를 제공하는 키오스크 시스템은 사용자가 키오스크 장치를 사용하는데 도움을 제공하는 헬프서비스가 상기 사용자에 의해 요청되었음을 나타내는 헬프서비스 요청 정보 및 상기 키오스크 장치의 사용에 대한 상기 사용자의 능숙한 정도를 나타내는 능숙도 정보 중 하나 이상에 기초하여 상기 사용자에게 상기 헬프서비스의 제공 여부를 판단하고, 상기 제공 여부의 판단 결과에 대응하여 헬프서비스 중계 요청 신호를 서버로 송신하는 키오스크 장치; 복수의 헬퍼 장치 중에서 어느 하나의 헬퍼 장치로 헬프서비스 요청 신호를 송신하는 서버; 및 상기 헬프서비스 요청 신호가 수신되면, 상기 헬퍼를 촬영한 헬퍼 영상 정보, 상기 헬퍼의 음성을 녹음한 헬퍼 음성 정보 및 상기 키오스크 장치를 원격 제어하는 원격 제어 정보 중 하나 이상을 상기 헬퍼로부터 획득하여 헬프서비스 정보로 생성하는 헬퍼 장치;를 포함하고, 상기 키오스크 장치는 상기 서버를 통해 상기 헬퍼 장치로부터 생성된 상기 헬프서비스 정보를 수신하고, 상기 헬퍼 영상 정보 및 상기 헬퍼 음성 정보 중 하나 이상의 출력 및 상기 원격 제어 정보에 기초한 키오스크 기능 제어 중 하나 이상을 수행할 수 있다.
상기 키오스크 장치는 상기 사용자로부터 헬프서비스 요청이 입력되면 상기 헬프서비스가 상기 사용자에 의해 요청되었음을 나타내는 상기 헬프서비스 요청 정보를 생성하고, 상기 사용자에게 상기 헬프서비스를 제공하는 것으로 판단할 수 있다.
상기 키오스크 장치는 상기 사용자에게 제공되도록 출력한 제공 정보에 대응되는 상기 사용자의 입력에 기초하여 상기 능숙도 정보를 생성하고, 상기 능숙도 정보가 나타내는 능숙도가 미리 설정된 기준 능숙도 미만이면 상기 사용자에게 상기 헬프서비스를 제공하는 것으로 판단할 수 있다.
상기 키오스크 장치는 상기 제공 정보 중에서 상기 사용자로부터 입력이 요구되는 제공 정보를 출력한 출력 시점을 확인하고, 상기 출력 시점으로부터 미리 설정된 제한 시간 내에 상기 사용자로부터 상기 출력 시점에 출력된 제공 정보에 대응되는 입력이 입력되지 않은 경우, 상기 능숙도 정보가 나타내는 능숙도를 감산하여 상기 능숙도 정보를 생성할 수 있다.
상기 키오스크 장치는 상기 사용자의 시선을 추적한 시선 추적 데이터, 상기 사용자의 신체 활동을 추적한 신체 추적 데이터, 상기 사용자의 연령 정보, 상기 사용자의 성별 정보, 상기 사용자의 사용 언어 정보, 상기 사용자의 국적 정보, 상기 사용자의 장애 판정 정보 중 하나 이상을 포함하는 사용자 데이터를 획득하고, 상기 키오스크 장치는 상기 헬프서비스 중계 요청 신호와 함께 상기 사용자 데이터를 서버로 송신할 수 있다.
상기 서버는 상기 사용자 데이터에 기초하여 상기 사용자와 상기 헬퍼 간의 커뮤니케이션 방식을 결정하여 커뮤니케이션 방식 정보로 생성하고, 상기 복수의 헬퍼 장치 중에서 상기 커뮤니케이션 방식 정보에 대응되는 어느 하나의 상기 헬퍼 장치로 상기 헬프서비스 요청 신호를 송신할 수 있다.
상기 헬퍼 장치는 상기 헬프서비스 요청 신호를 수신한 이후, 상기 서버를 통해 상기 키오스크 장치로부터 획득된 상기 사용자를 촬영한 사용자 영상 정보 및 상기 사용자의 음성을 녹음한 사용자 음성 정보 중 하나 이상을 수신하여 출력할 수 있다.
본 발명에 따르면, 키오스크 장치의 사용자에게 헬프서비스를 제공해야 하는 것으로 판단되면, 사용자와 헬퍼 간의 커뮤니케이션 방식을 결정하고, 결정된 커뮤니케이션 방식에 대응되는 헬퍼 장치와 키오스크 장치를 통신 연결하여 헬프서비스 정보를 사용자에게 제공함으로써, 키오스크 장치의 사용이 익숙하지 않은 사용자에게 헬퍼가 직접적인 도움을 제공할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 키오스크 사용에 대한 헬프서비스를 제공하는 키오스크 시스템의 구성도이다.
도 2는 본 발명의 일 실시 예에 따른 키오스크 사용에 대한 헬프서비스를 제공하는 키오스크 시스템에 포함된 키오스크 장치의 사시도이다.
도 3은 본 발명의 일 실시 예에 따른 키오스크 사용에 대한 헬프서비스를 제공하는 키오스크 시스템에 포함된 구성 요소 각각의 블록도이다.
도 4는 본 발명의 일 실시 예에 따른 키오스크 사용에 대한 헬프서비스를 제공하는 키오스크 시스템의 키오스크 장치가 출력하는 제공 정보의 일 예를 도시한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 키오스크 사용에 대한 헬프서비스를 제공하는 키오스크 시스템의 헬퍼 장치가 헬프서비스 정보를 획득하는 모습의 일 예를 도시한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 키오스크 사용에 대한 헬프서비스를 제공하는 키오스크 시스템의 키오스크 장치에 헬프서비스 정보가 적용된 일 예를 도시한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 키오스크 사용에 대한 헬프서비스를 제공하는 키오스크 시스템의 헬퍼 장치가 헬프서비스 정보를 획득하는 모습의 다른 예를 도시한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 키오스크 사용에 대한 헬프서비스를 제공하는 키오스크 시스템의 키오스크 장치에 헬프서비스 정보가 적용된 다른 예를 도시한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 키오스크 사용에 대한 헬프서비스를 제공하는 키오스크 시스템의 키오스크 장치에 헬프서비스 정보가 적용된 또 다른 예를 도시한 도면이다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형 태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대 해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다", "가질 수 있다", "포함한다", 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 작동, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B", "A 또는/및 B 중 적어도 하나", 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현 은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", "A 및 B 중 적어도 하나", 또는 "A 또는 B 중 적어도 하나"는 (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중 요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성 요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 어떤 구성요소와 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합 한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성(또는 설정)된"은 하드웨어적으로 "특별히 설계된(specifically designed to)"것 만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성 (또는 설정)된 제어부"는 해당 작동을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 작동들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
특히, 본 명세서에서, “~장치” 및 “~서버”는 중앙처리장치(Central Processing Unit (CPU)), 애플리케이션 프로세서(Application Processor (AP)) 및 커뮤니케이션 프로세서(Communication Processor (CP)) 중 하나 이상을 포함할 수 있다.
본 명세서에서, “~장치” 및 “~서버”는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 작동하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, “~장치” 및 “~서버”는 기계 구동 장치, 키오스크, 서버, 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.
도 1은 본 발명의 일 실시 예에 따른 키오스크 사용에 대한 헬프서비스를 제공하는 키오스크 시스템의 구성도이고, 도 2는 본 발명의 일 실시 예에 따른 키오스크 사용에 대한 헬프서비스를 제공하는 키오스크 시스템에 포함된 키오스크 장치의 사시도이고, 도 3은 본 발명의 일 실시 예에 따른 키오스크 사용에 대한 헬프서비스를 제공하는 키오스크 시스템에 포함된 구성 요소 각각의 블록도이다.
도 1 내지 도 3을 참조하면, 본 발명의 일 실시 예에 따른 키오스크 사용에 대한 헬프서비스를 제공하는 키오스크 시스템(이하, '시스템'이라 함)은 키오스크 장치(100), 서버(200) 및 헬퍼 장치(300)를 포함할 수 있다.
키오스크 장치(100)는 다양한 장소에 배치되어 배치된 장소와 관련한 정보를 사용자에게 제공할 수 있다.
예를 들어, 키오스크 장치(100)는 공항에 배치되는 경우, 공항 시설의 위치, 공항을 경유하는 대중 교통 및 공항 주변의 관광지 각각에 대한 정보를 사용자에게 제공할 수 있다.
이하, 키오스크 장치(100)가 사용자에게 제공하는 정보를 '제공 정보'라 한다.
이러한, 키오스크 장치(100)는 이미지로 구성되거나 오디오로 구성된 제공 정보를 사용자에게 제공할 수 있다. 즉, 키오스크 장치(100)는 이미지로 구성된 제공 정보를 디스플레이에 출력 및 표시하여 사용자에게 제공하고, 오디오로 구성된 제공 정보를 스피커로 출력하여 사용자에게 제공할 수 있다.
이때, 키오스크 장치(100)는 사용자의 키오스크 장치(100) 사용에 대한 능숙한 정도에 따라 헬프서비스를 제공할 수 있다.
이러한, 키오스크 장치(100)는 사용자에게 헬프서비스를 제공하기 위해, 헬퍼 장치(300)로부터 생성된 헬프서비스 정보를 수신하여 출력하고, 헬프서비스 정보에 따라 기능을 제어함으로써, 사용자에게 헬프서비스를 제공할 수 있다.
여기서, 헬프서비스란, 사용자가 키오스크 장치(100)를 사용하는데 도움을 제공하는 서비스로써, 헬퍼를 촬영한 헬퍼 영상 정보 및 헬퍼의 음성을 녹음한 헬퍼 음성 정보 중 하나 이상을 키오스크 장치(100)가 출력하거나 키오스크 장치(100)의 키오스크 기능이 원격지에 위치한 헬퍼에 의해 원격 제어됨으로써, 사용자에게 제공되는 서비스일 수 있다.
이때, 헬퍼 영상 정보는 수어를 수행하는 헬퍼가 촬영된 영상일 수 있다.
즉, 키오스크 장치(100)는 사용자에게 헬프서비스의 제공이 필요하다고 판단되거나 사용자로부터 헬프서비스의 요청이 입력되면, 서버(200)로 헬프서비스 중계 요청 신호를 송신하고, 서버(200)는 사용자에게 제공될 헬프서비스에 대한 헬프서비스 정보를 생성하게 될 헬퍼 장치(300)를 선택하며, 선택한 헬퍼 장치(300)로 헬프서비스 요청 신호를 송신할 수 있다.
이후, 헬프서비스 요청 신호를 수신한 헬퍼 장치(300)는 키오스크 장치(100)로부터 획득 및 생성된 사용자의 사용자 영상 정보와 사용자 음성 정보 중 하나 이상을 수신하여 출력하고, 헬퍼의 헬퍼 영상 정보, 헬퍼의 헬퍼 음성 정보, 헬퍼로부터 입력된 키오스크 장치(100)의 원격 제어 정보 중 하나 이상을 포함하는 헬프서비스 정보를 생성하여 서버(200)로 송신할 수 있다.
이어서, 키오스크 장치(100)는 서버(200)를 통해 헬퍼 장치(300)로부터 생성된 헬프서비스 정보를 수신하고, 수신된 헬프서비스 정보에 헬퍼 영상 정보와 헬퍼 음성 정보 중 하나 이상이 포함되어 있으면, 해당 헬퍼 영상 정보와 헬퍼 음성 정보 중 하나 이상을 출력하고, 수신된 헬프서비스 정보에 원격 제어 정보가 포함되어 있으면, 원격 제어 정보에 기초한 키오스크 기능 제어를 수행할 수 있다.
이하, 본 발명의 일 실시 예에 따른 키오스크 사용에 대한 헬프서비스를 제공하는 키오스크 시스템에 포함된 구성 요소 각각의 역할에 대해 구체적으로 설명하도록 한다.
도 4는 본 발명의 일 실시 예에 따른 키오스크 사용에 대한 헬프서비스를 제공하는 키오스크 시스템의 키오스크 장치가 출력하는 제공 정보의 일 예를 도시한 도면이다.
도 4를 더 참조하면, 키오스크 장치(100)는 사용자가 키오스크 장치(100)를 사용하는데 도움을 제공하는 헬프서비스가 사용자에 의해 요청되었음을 나타내는 헬프서비스 요청 정보 및 키오스크 장치의 사용에 대한 사용자의 능숙한 정도를 나타내는 능숙도 정보 중 하나 이상에 기초하여 사용자에게 헬프서비스의 제공 여부를 판단할 수 있다.
구체적으로, 키오스크 장치(100)는 복수의 버튼을 구비한 입력부(160)에 사용자로부터 헬프서비스 요청이 입력되거나 터치패널을 구비한 디스플레이(130)에 사용자로부터 헬프서비스 요청이 입력되면, 헬프서비스가 사용자에 의해 요청되었음을 나타내는 헬프서비스 요청 정보를 생성할 수 있다.
이후, 키오스크 장치(100)는 헬프서비스 요청 정보가 생성되면 사용자에게 헬프서비스를 제공하는 것으로 판단할 수 있다.
한편, 키오스크 장치(100)는 도 4에 도시된 바와 같이, 사용자에게 제공되도록 출력한 제공 정보(I1 내지 I4)에 대응되는 사용자의 입력에 기초하여 능숙도 정보를 생성할 수 있다.
구체적으로, 키오스크 장치(100)는 출력되는 제공 정보들 중에서 사용자로부터 입력이 요구되는 제공 정보를 출력한 출력 시점을 확인하고, 출력 시점으로부터 미리 설정된 제한 시간 내에 사용자로부터 출력 시점에 출력된 제공 정보에 대응되는 입력이 입력되지 않은 경우, 능숙도 정보가 나타내는 능숙도를 감산하여 능숙도 정보를 생성할 수 있다.
예를 들어, 키오스크 장치(100)는 복수의 안내 정보를 포함하여 출력하고 복수의 안내 정보 중에서 어느 하나를 사용자가 선택 입력하도록 요구되는 제공 정보를 출력하는 경우, 출력 시점으로부터 미리 설정된 제한 시간 내에 복수의 안내 정보 중 어느 하나의 안내 정보가 사용자로부터 선택 입력되지 않으면 현재 사용자의 능숙도 정보가 나타내는 능숙도를 감산하여 능숙도 정보를 생성할 수 있다.
이때, 키오스크 장치(100)는 사용자에 대해 최초에 소정의 기본값으로 능숙도를 할당하여 능숙도 정보를 생성하고, 출력 시점으로부터 미리 설정된 제한 시간 내에 사용자로부터 출력 시점에 출력된 제공 정보에 대응되는 입력이 입력되지 않았을 때마다 능숙도를 감산하여 능숙도 정보를 생성할 수 있다.
여기서, 능숙도는 사용자의 키오스크 장치(100)에 대한 사용의 능숙한 정도를 나타내는 수치일 수 있다.
한편, 다른 실시 예에 따른, 키오스크 장치(100)는 출력된 제공 정보 각각에 대해 사용자로부터 선택 입력이 입력되면 선택 입력 횟수를 누적하여 산출하고, 미리 설정된 기준 시간 내에 선택 입력 횟수가 기준 횟수를 초과하는 경우, 능숙도 정보가 나타내는 능숙도를 감산하여 능숙도 정보를 생성할 수 있다.
이를 통해, 키오스크 장치(100)는 키오스크 장치(100)의 사용이 능숙하지 않아 동일한 제공 정보(버튼)를 미리 설정된 기준 시간 내에 기준 횟수를 초과하여 선택 입력하는 사용자에 대해서 능숙도를 낮춰서 능숙도 정보를 생성할 수 있다.
즉, 키오스크 장치(100)는 사용자에게 제공되는 제공 정보에 대한 사용자의 반응에 기초하여 사용자의 키오스크 장치(100)에 대한 사용의 능숙한 정도를 능숙도 정보로 생성할 수 있다.
이어서, 키오스크 장치(100)는 능숙도 정보가 나타내는 능숙도가 미리 설정된 기준 능숙도 미만이면 사용자에게 헬프서비스를 제공하는 것으로 판단할 수 있다.
키오스크 장치(100)는 사용자에게 헬프서비스를 제공하는 것으로 판단되면, 헬프서비스 중계 요청 신호를 서버(200)로 송신할 수 있다.
이때, 키오스크 장치(100)는 헬프서비스를 제공할지 여부를 판단하기까지 동안, 획득해둔 사용자 데이터를 헬프서비스 중계 요청 신호와 함께 서버(200)로 송신할 수 있다.
여기서, 사용자 데이터는 사용자에 대한 데이터로써, 사용자의 시선을 추적한 시선 추적 데이터, 사용자의 신체 활동을 추적한 신체 추적 데이터, 사용자의 연령 정보, 사용자의 성별 정보, 사용자의 사용 언어 정보, 사용자의 국적 정보, 사용자의 장애 판정 정보 중 하나 이상을 포함할 수 있다.
이때, 키오스크 장치(100)는 사용자 데이터를 후술되는 획득부(110)를 통해 획득하거나, 사용자 데이터에 포함되는 정보 중에서 사용자의 연령 정보, 사용자의 성별 정보, 사용자의 사용 언어 정보, 사용자의 국적 정보, 사용자의 장애 판정 정보만을 사용자로부터 직접 입력받을 수 있다.
이러한, 사용자 데이터는 키오스크 장치(100)의 획득부(110)에 의해 획득할 수 있다.
획득부(110)는 사용자의 안구를 촬영하여 시선 추적 데이터를 획득하고, 사용자의 신체를 촬영하여 신체 추적 데이터를 획득할 수 있다.
이를 위해, 획득부(110)는 카메라로 구현되는 촬영부(111)를 구비할 수 있다.
한편, 획득부(110)는 사용자의 사용자 장치(미도시) 또는 서버(200)로부터 사용자의 연령 정보, 사용자의 성별 정보, 사용자의 사용 언어 정보, 사용자의 국적 정보 및 사용자의 장애 판정 정보를 획득할 수 있다.
구체적으로, 획득부(110)는 사용자 장치 및 서버(200)와 통신을 수행하는 통신부(112)를 통해 사용자 장치 또는 서버(200)로부터 사용자의 연령 정보, 사용자의 성별 정보, 사용자의 사용 언어 정보, 사용자의 국적 정보 및 사용자의 장애 판정 정보를 수신하여 획득할 수 있다.
한편, 상술한 바와 같이, 획득부(110) 외에도 터치 패널을 구비한 디스플레이(130) 및 복수의 버튼을 구비한 입력부(160) 각각은 사용자로부터 사용자의 연령 정보, 사용자의 성별 정보, 사용자의 사용 언어 정보, 사용자의 국적 정보 및 사용자의 장애 판정 정보를 입력받아 획득할 수 있다.
또는, 디스플레이(130)와 입력부(160)가 결합되어 사용자로부터 사용자의 연령 정보, 사용자의 성별 정보, 사용자의 사용 언어 정보, 사용자의 국적 정보 및 사용자의 장애 판정 정보를 입력받아 획득할 수 있다.
이후, 서버(200)는 키오스크 장치(100)로부터 헬프서비스 중계 요청 신호가 수신되면, 복수의 헬퍼 장치(300) 중에서 어느 하나의 헬퍼 장치(300)로 헬프서비스 요청 신호를 송신할 수 있다.
이를 위해, 서버(200)는 헬프서비스 중계 요청 신호와 함께 수신된 사용자 데이터에 기초하여 사용자와 헬퍼 간의 커뮤니케이션 방식을 결정하여 커뮤니케이션 방식 정보로 생성하고, 복수의 헬퍼 장치(300) 중에서 커뮤니케이션 방식 정보에 대응되는 어느 하나의 헬퍼 장치(300)로 헬프서비스 요청 신호를 송신할 수 있다.
이를 위해, 복수의 헬퍼 장치(300) 각각은 해당 헬퍼가 사용자와 커뮤니케이션을 수행하는데 이용하는 커뮤니케이션 방식이 하기의 표 1과 같이, 미리 매칭될 수 있다.
커뮤니케이션 방식 정보
사용 언어 정보 수어 여부 정보
제1 헬퍼 장치 한국어 수어 사용
… …
제n 헬퍼 장치 영어 수어 미사용
서버(200)는 생성된 커뮤니케이션 방식 정보에 대응되는 커뮤니케이션 방식이 매칭된 헬퍼 장치(300)를 선택하여 선택된 헬퍼 장치(300)로 헬프서비스 요청 신호를 송신할 수 있다.
여기서, 커뮤니케이션 방식 정보는 표 1과 같이, 사용자와 헬퍼 간의 커뮤니케이션에 사용되는 언어 종류를 나타내는 언어 종류 정보, 사용자와 헬퍼 간의 커뮤니케이션에 수어를 사용할지 여부를 나타내는 수어 사용 여부 정보를 포함할 수 있다.
예를 들어, 키오스크 장치(100)는 한국어를 나타내는 언어 종류 정보와 수어를 사용함을 나타내는 수어 사용 여부 정보를 포함하는 커뮤니케이션 방식 정보가 사용자에 대해 생성되면, 복수의 헬퍼 장치(300) 중에서 한국어를 나타내는 언어 종류 정보와 수어를 사용함을 나타내는 수어 사용 여부 정보를 포함하는 커뮤니케이션 방식 정보가 매칭된 헬퍼 장치(300)를 선택하고, 선택한 헬퍼 장치(300)로 헬프서비스 요청 신호를 송신할 수 있다.
한편, 키오스크 장치(100)는 헬프서비스 중계 요청 신호를 서버(200)로 송신하기 전에 사용자로부터 커뮤니케이션 방식 정보를 입력받고, 헬프서비스 중계 요청 신호와 함께 커뮤니케이션 방식 정보를 서버(200)로 송신할 수 있다.
이와 다르게, 서버(200)는 헬프서비스 중계 요청 신호와 함께 사용자 데이터가 수신되면, 사용자 데이터에 기반하여 커뮤니케이션 방식 정보를 결정하도록 훈련된 인공지능 모델에 사용자 데이터를 입력하고, 인공지능 모델로부터 커뮤니케이션 방식 정보를 획득할 수 있다.
서버(200)는 인공지능 모델을 이용하지 않고, 작업자에 의해 미리 커뮤니케이션 방식 정보가 결정된 사용자 데이터를 훈련 데이터로 하여 인공지능 모델을 훈련시킬 수 있다.
이하, 헬퍼 장치(300)가 헬퍼로부터 헬프서비스 정보를 획득하여 키오스크 장치(100)에 제공하고, 키오스크 장치(100)가 헬프서비스 정보를 이용하여 헬퍼의 영상 및 음성 중 하나 이상을 출력하거나 원격 제어 정보에 따라 키오스크 기능을 제어하는 과정에 대해 설명하도록 한다.
우선, 신체 장애는 없으나 고령자이거나 키오스크 장치(300)에 능숙하지 않고, 한국어를 사용하는 사용자에 대해 헬프서비스를 제공하는 제1 과정을 설명하도록 한다.
도 5는 본 발명의 일 실시 예에 따른 키오스크 사용에 대한 헬프서비스를 제공하는 키오스크 시스템의 헬퍼 장치가 헬프서비스 정보를 획득하는 모습의 일 예를 도시한 도면이고, 도 6은 본 발명의 일 실시 예에 따른 키오스크 사용에 대한 헬프서비스를 제공하는 키오스크 시스템의 키오스크 장치에 헬프서비스 정보가 적용된 일 예를 도시한 도면이다.
도 5 및 도 6을 더 참조하면, 헬퍼 장치(300)는 헬프서비스 요청 신호가 수신되면, 헬퍼(H1)를 촬영한 헬퍼 영상 정보, 헬퍼(H1)의 음성을 녹음한 헬퍼 음성 정보 및 키오스크 장치를 원격 제어하는 원격 제어 정보 중 하나 이상을 헬퍼(H1)로부터 획득하여 헬프서비스 정보로 생성할 수 있다.
이때, 헬퍼 영상 정보는 사용자가 키오스크 장치(100)를 원활하게 사용하도록 도움을 주기 위한 헬퍼(H1)의 모습이 촬영된 정보이고, 헬퍼 음성 정보는 사용자가 키오스크 장치(100)를 원활하게 사용하도록 도움을 주기 위한 헬퍼(H1)의 음성이 녹음된 정보일 수 있다.
또한, 원격 제어 정보는 사용자가 키오스크 장치(100)를 원활하게 사용하도록 도움을 주기 위해 사용자를 대신하여 헬퍼(H1)가 키오스크 장치(100)에 입력하는 제어 정보일 수 있다.
한편, 다른 실시 예에 따른 헬퍼 장치(300)는 헬퍼 음성 정보에 녹음된 헬퍼(H1)의 음성을 텍스트로 변환하여 헬퍼 텍스트 정보로 생성하고, 사용자가 키오스크 장치(100)를 원활하게 사용하도록 도움을 주기 위한 안내 멘트를 헬퍼(H1)로부터 입력받아 안내 멘트 정보로 생성할 수 있다.
이후, 다른 실시 예에 따른 헬퍼 장치(300)는 헬퍼 텍스트 정보와 안내 멘트 정보를 더 포함시켜 헬프서비스 정보로 생성할 수 있다.
헬퍼 장치(300)는 헬프서비스 정보를 서버(200)로 송신하고, 서버(200)는 헬프서비스 정보를 수신하여 키오스크 장치(100)로 송신할 수 있다.
한편, 키오스크 장치(100)는 서버(200)로부터 수신된 헬프서비스 정보에 헬퍼 영상 정보와 헬퍼 음성 정보가 포함되어 있으면, 포함된 헬퍼 영상 정보(HM1)와 헬퍼 음성 정보를 출력할 수 있다.
또한, 키오스크 장치(100)는 수신된 헬프서비스 정보에 원격 제어 정보가 포함되어 있으면, 원격 제어 정보에 기초한 키오스크 기능을 제어할 수 있다.
또한, 키오스크 장치(100)는 수신된 헬프서비스 정보에 헬퍼 텍스트 정보와 안내 멘트 정보가 포함되어 있으면, 헬퍼 텍스트 정보와 안내 멘트 정보를 텍스트 또는 오디오로 출력할 수 있다.
한편, 키오스크 장치(100)는 헬프서비스 중계 요청 신호를 송신한 이후, 서버(200)를 통해 헬퍼 장치(300)와 통신이 연결되면, 사용자를 촬영한 사용자 영상 정보 및 사용자의 음성을 녹음한 사용자 음성 정보 중 하나 이상을 서버(200)로 송신할 수 있다.
이후, 헬퍼 장치(300)는 헬프서비스 요청 신호를 수신한 이후, 서버(200)를 통해 사용자 영상 정보 및 사용자 음성 정보 중 하나 이상을 수신하고, 수신된 사용자 영상 정보(UM) 및 사용자 음성 정보를 출력할 수 있다.
이를 통해, 헬퍼(H1)는 사용자와 영상 및 음성으로 커뮤니케이션을 수행하면서 헬프서비스를 사용자에게 제공할 수 있다.
한편, 헬퍼 장치(300)는 헬프서비스 요청 신호를 수신한 이후, 서버(200)를 통해 키오스크 장치(100)에서 출력되는 제공 정보를 수신하고, 키오스크 장치(100)에서 출력되는 제공 정보를 동일하게 출력할 수 있다.
이를 통해, 헬퍼(H1)는 사용자가 키오스크 장치(100)로 출력받는 제공 정보를 동일하게 공유받아 원활하게 헬프서비스를 제공할 수 있다.
한편, 청각 장애로 인해 오디오로 출력되는 제공 정보를 수용하기 힘든 사용자에 대해 헬프서비스를 제공하는 제2 과정을 설명하도록 한다.
도 7은 본 발명의 일 실시 예에 따른 키오스크 사용에 대한 헬프서비스를 제공하는 키오스크 시스템의 헬퍼 장치가 헬프서비스 정보를 획득하는 모습의 다른 예를 도시한 도면이고, 도 8은 본 발명의 일 실시 예에 따른 키오스크 사용에 대한 헬프서비스를 제공하는 키오스크 시스템의 키오스크 장치에 헬프서비스 정보가 적용된 다른 예를 도시한 도면이다.
도 7 및 도 8을 더 참조하면, 서버(200)는 사용자의 커뮤니케이션 방식 정보에 포함된 수어 여부 정보가 사용자와 헬퍼 간에 커뮤니케이션을 위해 수어를 사용함을 나타내면, 헬퍼 장치(300)와 키오스크 장치(100) 간에 헬퍼(H2)가 수어를 수행하는 모습을 촬영한 헬퍼 영상 정보를 송수신할 수 있다.
상술된 제1 과정 대비, 제2 과정은 헬퍼 영상 정보와 사용자 영상 정보를 필수로 헬퍼 장치(300)와 키오스크 장치(100) 간에 송수신하되, 헬퍼 영상 정보는 헬퍼(H2)가 수어를 수행하는 모습을 촬영된 정보이고, 사용자 영상 정보는 사용자(U)가 수어를 수행하는 모습을 촬영된 정보일 수 있다.
여기서, 헬퍼(H2)가 수어를 수행하는 모습을 촬영한 헬퍼 영상 정보에는 사용자가 키오스크 장치(100)를 원활하게 사용하도록 도움을 제공하기 위한 내용의 수어가 포함될 수 있다.
이에 따라, 키오스크 장치(100)는 서버(200)로부터 수신된 헬프서비스 정보에 포함된 헬퍼 영상 정보(HM2)를 출력할 수 있다.
또한, 키오스크 장치(100)로부터 획득되는 사용자 영상 정보는 수어를 수행하는 사용자가 촬영된 영상 정보일 수 있으며, 이러한 사용자 영상 정보는 헬퍼 장치(300)에 출력될 수 있다.
이에 따라, 헬퍼는 사용자와 수어를 수행하여 헬프서비스를 제공할 수 있다.
한편, 다른 실시 예에 따른 서버(200)는 사용자의 커뮤니케이션 방식 정보의 수어 여부 정보가 수어 사용을 나타내고, 매칭된 커뮤니케이션 방식 정보의 수어 여부 정보가 수어 미사용을 나타내는 헬퍼 장치(300)가 선택된 경우, 사용자 영상 정보의 사용자의 수어 수행 모습으로부터 수어를 텍스트로 변환하여 사용자 텍스트 정보로 생성하고, 생성된 사용자 텍스트 정보를 헬퍼 장치(300)로 송신할 수 있다.
이를 통해, 서버(200)는 수어를 수행하지 못하는 헬퍼와 수어로 커뮤니케이션을 수행하는 사용자 간의 커뮤니케이션이 가능하도록 할 수 있다.
이를 위해, 서버(200)는 수어를 수행하는 모습이 촬영된 영상을 입력받아 해당 수어를 텍스트로 변환하는 수어 변환 알고리즘을 이용하여 사용자 텍스트 정보를 생성할 수 있다.
도 9는 본 발명의 일 실시 예에 따른 키오스크 사용에 대한 헬프서비스를 제공하는 키오스크 시스템의 키오스크 장치에 헬프서비스 정보가 적용된 또 다른 예를 도시한 도면이다.
한편, 또 다른 실시 예에 따른, 키오스크 장치(100)는 상술된 제1 경우와 같이, 매칭된 수어 여부 정보가 수어 미사용을 나타내는 헬퍼 장치(300) 즉, 수어를 사용하지 않는 헬퍼의 헬퍼 장치(300)로부터 헬퍼 영상 정보(HM1), 헬퍼 음성 정보 및 원격 제어 정보를 수신하여 출력하는 동안, 사용자로부터 수어 통역 요청을 입력받을 수 있다.
여기서, 수어 통역 요청은 수어를 사용하지 않는 헬퍼의 음성을 수어 사용이 가능한 다른 헬퍼에게 전달하고, 다른 헬퍼가 수어를 사용하지 않는 헬퍼의 음성을 수어로 통역하여 사용자에게 전달해줄 것을 요하는 요청일 수 있다.
이를 위해, 키오스크 장치(100)는 수어 통역 요청이 입력되면, 수어 통역 중계 요청 신호를 서버(200)로 송신하고, 서버(200)는 수어 통역 중계 요청 신호가 수신되면 매칭된 수어 여부 정보가 수어 사용을 나타내는 다른 헬퍼 장치(300)를 추가로 선택하고, 선택된 다른 헬퍼 장치(300)로 수어 통역 요청 신호를 송신할 수 있다.
이때, 서버(200)는 수어 통역 요청 신호와 함께 사용자 음성 정보, 사용자 영상 정보, 수어를 사용하지 않는 헬퍼의 헬퍼 영상 정보(HM1) 및 헬퍼 음성 정보를 다른 헬퍼 장치(300)로 송신할 수 있다.
이후, 다른 헬퍼 장치(300)는 수어 통역 요청 신호가 수신되면, 수어 통역 요청 신호와 함께 수신된 사용자 음성 정보, 사용자 영상 정보, 수어를 사용하지 않는 헬퍼의 헬퍼 영상 정보(HM1) 및 헬퍼 음성 정보를 출력할 수 있다.
이어서, 다른 헬퍼 장치(300)는 수어를 사용하는 다른 헬퍼로부터 헬퍼 영상 정보(HM2) 및 헬퍼 음성 정보를 획득하여 서버(200)로 송신할 수 있다.
서버(200)는 수신된 다른 헬퍼의 헬퍼 영상 정보(HM2)와 헬퍼 음성 정보를 헬퍼 장치(300)와 키오스크 장치(100) 각각으로 송신하고, 헬퍼 장치(300)와 키오스크 장치(100) 각각은 수신된 다른 헬퍼의 헬퍼 영상 정보(HM2)와 헬퍼 음성 정보를 출력할 수 있다.
여기서, 다른 헬퍼 장치(300)가 수어를 사용하는 다른 헬퍼로부터 획득한 헬퍼 영상 정보(HM2)는 수어를 사용하는 다른 헬퍼가 수어를 사용하지 않는 헬퍼의 음성을 수어로 통역하는 다른 헬퍼의 모습이 촬영된 영상 정보이고, 수어를 사용하는 다른 헬퍼로부터 획득한 헬퍼 음성 정보는 사용자의 수어를 통역한 다른 헬퍼의 음성이 녹음된 음성 정보일 수 있다.
이를 통해, 사용자와 수어가 사용 불가한 헬퍼 간에 통신을 통해 헬프 서비스가 수행되는 중에, 사용자의 수어 통역이 요청되면, 수어가 사용 가능한 다른 헬퍼를 사용자와 수어가 사용 불가한 헬퍼 각각과 연결시켜 수어 통역 서비스를 제공할 수 있다.
도 3을 다시 참조하면, 키오스크 장치(100)는 획득부(110), 프로세서(120), 디스플레이(130), 스피커(150), 입력부(160), 저장부(170)를 포함할 수 있다.
상술한 바와 같이, 획득부(110)는 사용자의 안구를 촬영하여 시선 추적 데이터를 획득하고, 사용자의 신체를 촬영하여 신체 추적 데이터를 획득할 수 있다.
이를 위해, 획득부(110)는 카메라로 구현되는 촬영부(111)를 구비할 수 있다. 또한, 다양한 정보를 획득하는 통신부(112)를 구비할 수 있다.
통신부(112)는 서버(200)와 통신을 수행하여 다양한 신호, 정보, 값 및 데이터 등을 송수신할 수 있다. 특히, 통신부(112)는 와이파이 칩, 블루투스 칩, 무선 통신 칩, NFC칩, 저전력 블루투스 칩(BLE 칩) 등과 같은 다양한 통신 칩을 포함할 수 있다. 이때, 와이파이 칩, 블루투스 칩, NFC 칩은 각각 LAN 방식, WiFi 방식, 블루투스 방식, NFC 방식으로 통신을 수행한다. 와이파이 칩이나 블루투스칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신 하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신칩은 IEEE, 지그비, 3G(2rd Generation), 3GPP(2rd Generation Partnership Project), LTE(Long Term Evolution), 5G(5th Generation) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다.
프로세서(120)는 저장부(170)에 저장된 각종 프로그램을 이용하여 키오스크 장치(100)의 구성 요소들을 제어함으로써, 키오스크 장치(100)의 전반적인 작동을 제어할 수 있다. 프로세서(120)는 RAM, ROM, 그래픽 처리부, 메인 CPU, 제1 내지 n 인터페이스 및 버스로 구성될 수 있다. 이때, RAM, ROM, 그래픽 처리부, 메인 CPU, 제1 내지 n 인터페이스 등은 버스를 통해 서로 연결될 수 있다.
RAM은 O/S 및 어플리케이션 프로그램을 저장한다. 구체적으로, 키오스크 장치(100)가 부팅되면 O/S가 RAM에 저장되고, 사용자가 선택한 각종 어플리케이션 데이터가 RAM에 저장될 수 있다.
ROM에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, 메인 CPU는 ROM에 저장된 명령어에 따라 저장부(170)에 저장된 O/S를 RAM에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU는 저장부(170)에 저장된 각종 어플리케이션 프로그램을 RAM에 복사하고, RAM에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
메인 CPU는 저장부(170)에 액세스하여, 저장부(170)에 저장된 OS를 이용하여 부팅을 수행한다. 그리고, 메인 CPU는 저장부(170)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
제1 내지 n 인터페이스는 상술한 각종 구성요소들과 연결된다. 제1 내지 n 인터페이스 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
한편, 프로세서(120)는 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.
일 실시예에 따른 프로세서(120)는 저장부(170)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 본 발명과 관련하여 설명된 방법을 수행한다.
한편, 프로세서(120)는 프로세서(120) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(120)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.
디스플레이(130)는 다양한 신호, 정보, 값 및 데이터를 표시할 수 있다.
입력부(160)는 사용자로부터 다양한 입력을 입력받을 수 있다.
도 3을 다시 참조하면, 서버(200)는 통신부(210), 프로세서(220) 및 저장부(230)를 포함할 수 있다.
통신부(210)는 키오스크 장치(100) 및 헬퍼 장치(300)와 통신을 수행하여 다양한 신호, 정보, 값 및 데이터 등을 송수신할 수 있다. 특히, 통신부(210)는 와이파이 칩, 블루투스 칩, 무선 통신 칩, NFC칩, 저전력 블루투스 칩(BLE 칩) 등과 같은 다양한 통신 칩을 포함할 수 있다. 이때, 와이파이 칩, 블루투스 칩, NFC 칩은 각각 LAN 방식, WiFi 방식, 블루투스 방식, NFC 방식으로 통신을 수행한다. 와이파이 칩이나 블루투스칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신 하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신칩은 IEEE, 지그비, 3G(2rd Generation), 3GPP(2rd Generation Partnership Project), LTE(Long Term Evolution), 5G(5th Generation) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다.
프로세서(220)는 저장부(230)에 저장된 각종 프로그램을 이용하여 서버(200)의 구성 요소들을 제어함으로써, 서버(200)의 전반적인 작동을 제어할 수 있다. 프로세서(220)는 RAM, ROM, 그래픽 처리부, 메인 CPU, 제1 내지 n 인터페이스 및 버스로 구성될 수 있다. 이때, RAM, ROM, 그래픽 처리부, 메인 CPU, 제1 내지 n 인터페이스 등은 버스를 통해 서로 연결될 수 있다.
디스플레이(240)는 다양한 신호, 정보, 값 및 데이터를 표시할 수 있다.
저장부(230)는 서버(200)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 저장부(230)는 비휘발성 메모리, 휘발성 메모리, 플래시 메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다.
저장부(230)에는 프로세서(220)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 저장부(230)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.
도 3을 다시 참조하면, 헬퍼 장치(300)는 입력부(310), 프로세서(320), 통신부(330), 디스플레이(340), 저장부(350), 촬영부(360), 마이크(370) 및 스피커(380)를 포함할 수 있다.
입력부(310)는 헬퍼로부터 다양한 입력을 입력받을 수 있다.
이를 위해, 입력부(310)는 다양한 입력 인터페이스를 구비할 수 있다. 예를 들어, 입력부(310)는 터치패널로 구성된 입력 인터페이스를 구비할 수 있다.
프로세서(320)는 저장부(350)에 저장된 각종 프로그램을 이용하여 헬퍼 장치(300)의 구성 요소들을 제어함으로써, 헬퍼 장치(300)의 전반적인 작동을 제어할 수 있다. 프로세서(320)는 RAM, ROM, 그래픽 처리부, 메인 CPU, 제1 내지 n 인터페이스 및 버스로 구성될 수 있다. 이때, RAM, ROM, 그래픽 처리부, 메인 CPU, 제1 내지 n 인터페이스 등은 버스를 통해 서로 연결될 수 있다.
통신부(330)는 키오스크 장치(100) 및 서버(200)와 통신을 수행하여 다양한 신호, 정보, 값 및 데이터 등을 송수신할 수 있다. 특히, 통신부(330)는 와이파이 칩, 블루투스 칩, 무선 통신 칩, NFC칩, 저전력 블루투스 칩(BLE 칩) 등과 같은 다양한 통신 칩을 포함할 수 있다. 이때, 와이파이 칩, 블루투스 칩, NFC 칩은 각각 LAN 방식, WiFi 방식, 블루투스 방식, NFC 방식으로 통신을 수행한다. 와이파이 칩이나 블루투스칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신 하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신칩은 IEEE, 지그비, 3G(2rd Generation), 3GPP(2rd Generation Partnership Project), LTE(Long Term Evolution), 5G(5th Generation) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다.
디스플레이(340)는 다양한 신호, 정보, 값 및 데이터를 표시할 수 있다.
저장부(350)는 헬퍼 장치(300)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 저장부(350)는 비휘발성 메모리, 휘발성 메모리, 플래시 메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다.
저장부(350)에는 프로세서(320)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 저장부(350)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.
촬영부(360)는 헬퍼의 모습을 촬영할 수 있다.
마이크(370)는 헬퍼의 음성을 녹음할 수 있다.
스피커(380)는 다양한 오디오를 출력할 수 있다.
이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한 정하려는 의도가 아닐 수 있다. 단수의 표현은 컨텍스트 상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은 관련 기술의 컨텍스트 상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
100 : 키오스크 장치
200 : 서버
300 : 헬퍼 장치

Claims (7)

  1. 사용자가 키오스크 장치를 사용하는데 도움을 제공하는 헬프서비스가 상기 사용자에 의해 요청되었음을 나타내는 헬프서비스 요청 정보 및 상기 키오스크 장치의 사용에 대한 상기 사용자의 능숙한 정도를 나타내는 능숙도 정보 중 하나 이상에 기초하여 상기 사용자에게 상기 헬프서비스의 제공 여부를 판단하고, 상기 제공 여부의 판단 결과에 대응하여 헬프서비스 중계 요청 신호를 서버로 송신하는 키오스크 장치;
    복수의 헬퍼 장치 중에서 어느 하나의 헬퍼 장치로 헬프서비스 요청 신호를 송신하는 서버; 및
    상기 헬프서비스 요청 신호가 수신되면, 상기 헬퍼를 촬영한 헬퍼 영상 정보, 상기 헬퍼의 음성을 녹음한 헬퍼 음성 정보 및 상기 키오스크 장치를 원격 제어하는 원격 제어 정보 중 하나 이상을 상기 헬퍼로부터 획득하여 헬프서비스 정보로 생성하는 헬퍼 장치;를 포함하고,
    상기 키오스크 장치는
    상기 서버를 통해 상기 헬퍼 장치로부터 생성된 상기 헬프서비스 정보를 수신하고, 상기 헬퍼 영상 정보 및 상기 헬퍼 음성 정보 중 하나 이상의 출력 및 상기 원격 제어 정보에 기초한 키오스크 기능 제어 중 하나 이상을 수행하고,
    상기 키오스크 장치는
    상기 사용자의 시선을 추적한 시선 추적 데이터, 상기 사용자의 신체 활동을 추적한 신체 추적 데이터, 상기 사용자의 연령 정보, 상기 사용자의 성별 정보, 상기 사용자의 사용 언어 정보, 상기 사용자의 국적 정보, 상기 사용자의 장애 판정 정보 중 하나 이상을 포함하는 사용자 데이터를 획득하고,
    상기 키오스크 장치는
    상기 헬프서비스 중계 요청 신호와 함께 상기 사용자 데이터를 서버로 송신하는 것을 특징으로 하는
    시스템.
  2. 제1항에 있어서,
    상기 키오스크 장치는
    상기 사용자로부터 헬프서비스 요청이 입력되면 상기 헬프서비스가 상기 사용자에 의해 요청되었음을 나타내는 상기 헬프서비스 요청 정보를 생성하고, 상기 사용자에게 상기 헬프서비스를 제공하는 것으로 판단하는 것을 특징으로 하는
    시스템.
  3. 제1항에 있어서,
    상기 키오스크 장치는
    상기 사용자에게 제공되도록 출력한 제공 정보에 대응되는 상기 사용자의 입력에 기초하여 상기 능숙도 정보를 생성하고, 상기 능숙도 정보가 나타내는 능숙도가 미리 설정된 기준 능숙도 미만이면 상기 사용자에게 상기 헬프서비스를 제공하는 것으로 판단하는 것을 특징으로 하는
    시스템.
  4. 제3항에 있어서,
    상기 키오스크 장치는
    상기 제공 정보 중에서 상기 사용자로부터 입력이 요구되는 제공 정보를 출력한 출력 시점을 확인하고, 상기 출력 시점으로부터 미리 설정된 제한 시간 내에 상기 사용자로부터 상기 출력 시점에 출력된 제공 정보에 대응되는 입력이 입력되지 않은 경우, 상기 능숙도 정보가 나타내는 능숙도를 감산하여 상기 능숙도 정보를 생성하는 것을 특징으로 하는
    시스템.
  5. 삭제
  6. 제1항에 있어서,
    상기 서버는
    상기 사용자 데이터에 기초하여 상기 사용자와 상기 헬퍼 간의 커뮤니케이션 방식을 결정하여 커뮤니케이션 방식 정보로 생성하고, 상기 복수의 헬퍼 장치 중에서 상기 커뮤니케이션 방식 정보에 대응되는 어느 하나의 상기 헬퍼 장치로 상기 헬프서비스 요청 신호를 송신하는 것을 특징으로 하는
    시스템.
  7. 제1항에 있어서,
    상기 헬퍼 장치는
    상기 헬프서비스 요청 신호를 수신한 이후, 상기 서버를 통해 상기 키오스크 장치로부터 획득된 상기 사용자를 촬영한 사용자 영상 정보 및 상기 사용자의 음성을 녹음한 사용자 음성 정보 중 하나 이상을 수신하여 출력하는 것을 특징으로 하는
    시스템.
KR1020230032726A 2023-03-13 2023-03-13 키오스크 사용에 대한 헬프서비스를 제공하는 키오스크 시스템 KR102547308B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230032726A KR102547308B1 (ko) 2023-03-13 2023-03-13 키오스크 사용에 대한 헬프서비스를 제공하는 키오스크 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230032726A KR102547308B1 (ko) 2023-03-13 2023-03-13 키오스크 사용에 대한 헬프서비스를 제공하는 키오스크 시스템

Publications (1)

Publication Number Publication Date
KR102547308B1 true KR102547308B1 (ko) 2023-06-23

Family

ID=86993393

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230032726A KR102547308B1 (ko) 2023-03-13 2023-03-13 키오스크 사용에 대한 헬프서비스를 제공하는 키오스크 시스템

Country Status (1)

Country Link
KR (1) KR102547308B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150072676A (ko) * 2013-12-20 2015-06-30 노틸러스효성 주식회사 Ｐｃ 기반의 금융자동화기기 원격 제어 방법 및 원격 제어 시스템
KR20170042953A (ko) * 2015-10-12 2017-04-20 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
KR20170086814A (ko) * 2016-01-19 2017-07-27 삼성전자주식회사 음성 인식 기능을 제공하는 전자 장치 및 그 동작 방법
KR20200000010A (ko) * 2018-06-22 2020-01-02 효성티앤에스 주식회사 음성인식 기반 거래 선택 메뉴 제공 기능을 구비한 셀프 뱅킹 키오스크 및 그에 적용되는 거래 선택 메뉴 제공 방법
KR102425456B1 (ko) 2022-05-18 2022-07-27 주식회사 아이윈 비접촉식 키오스크의 사용자접근 감지장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150072676A (ko) * 2013-12-20 2015-06-30 노틸러스효성 주식회사 Ｐｃ 기반의 금융자동화기기 원격 제어 방법 및 원격 제어 시스템
KR20170042953A (ko) * 2015-10-12 2017-04-20 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
KR20170086814A (ko) * 2016-01-19 2017-07-27 삼성전자주식회사 음성 인식 기능을 제공하는 전자 장치 및 그 동작 방법
KR20200000010A (ko) * 2018-06-22 2020-01-02 효성티앤에스 주식회사 음성인식 기반 거래 선택 메뉴 제공 기능을 구비한 셀프 뱅킹 키오스크 및 그에 적용되는 거래 선택 메뉴 제공 방법
KR102425456B1 (ko) 2022-05-18 2022-07-27 주식회사 아이윈 비접촉식 키오스크의 사용자접근 감지장치

Similar Documents

Publication Publication Date Title
US10917369B2 (en) Information processing apparatus, information processing system, and information processing method
US9858924B2 (en) Voice processing apparatus and voice processing method
US10061771B1 (en) Double-sided display simultaneous translation device, method and apparatus and electronic device
US20170147919A1 (en) Electronic device and operating method thereof
US9110888B2 (en) Service server apparatus, service providing method, and service providing program for providing a service other than a telephone call during the telephone call on a telephone
KR20200095719A (ko) 전자 장치 및 그 제어 방법
WO2013018731A1 (ja) カウンセリングシステム、カウンセリング装置、及びクライアント端末
KR101753649B1 (ko) 위치정보 기반의 실시간 자동 번역 및 통역 서비스 시스템 및 그 방법
US20180288110A1 (en) Conference support system, conference support method, program for conference support device, and program for terminal
US11438469B2 (en) Wireless terminal, management server and intention interpretation server
WO2019035371A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2020136921A (ja) ビデオ通話システム、およびコンピュータプログラム
JP6834256B2 (ja) 情報処理装置、情報処理システム、及びプログラム
KR102547308B1 (ko) 키오스크 사용에 대한 헬프서비스를 제공하는 키오스크 시스템
KR20160094663A (ko) 온라인 채팅 서비스의 사용자 이모티콘 제공 방법
JP2019088009A (ja) 通訳サービスシステム、通訳依頼者端末、通訳サービス方法及び通訳サービスプログラム
Teixeira et al. Applications of the multimodal interaction architecture in ambient assisted living
KR20200045867A (ko) 다국어 서비스 제공 서버 및 시스템
CN117971154A (zh) 多模态响应
KR102583069B1 (ko) 사용자 데이터에 대응되는 인터페이스를 제공하는 베리어프리 키오스크 장치 및 시스템
KR102152326B1 (ko) 글로벌 수화 통역 지원 시스템
US11082380B2 (en) Systems and methods for providing in-application messaging
JP2023506468A (ja) 使用者端末、放送装置、それを含む放送システム、及びその制御方法
Wołk et al. Pictogram-based mobile first medical aid communicator
CN115066908A (zh) 用户终端及其控制方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant