KR102669422B1 - 생성형 인공지능을 활용한 키오스크 시스템과 동작 방법 - Google Patents

생성형 인공지능을 활용한 키오스크 시스템과 동작 방법 Download PDF

Info

Publication number
KR102669422B1
KR102669422B1 KR1020240022374A KR20240022374A KR102669422B1 KR 102669422 B1 KR102669422 B1 KR 102669422B1 KR 1020240022374 A KR1020240022374 A KR 1020240022374A KR 20240022374 A KR20240022374 A KR 20240022374A KR 102669422 B1 KR102669422 B1 KR 102669422B1
Authority
KR
South Korea
Prior art keywords
kiosk
artificial intelligence
generative
cloud server
user
Prior art date
Application number
KR1020240022374A
Other languages
English (en)
Inventor
노성환
박정우
노희정
Original Assignee
주식회사 타키
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 타키 filed Critical 주식회사 타키
Priority to KR1020240022374A priority Critical patent/KR102669422B1/ko
Application granted granted Critical
Publication of KR102669422B1 publication Critical patent/KR102669422B1/ko

Links

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/40—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for devices for accepting orders, advertisements, or the like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3347—Query execution using vector based model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/338—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F9/00—Details other than those peculiar to special kinds or types of apparatus
    • G07F9/006—Details of the software used for the vending machines
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 키오스크 사용자가 사용법을 모르더라도 인공지능과의 대화를 통하여 인공지능이 키오스크를 쉽고 편리하게 사용할 수 있게 하기 위한 생성형 인공지능을 활용한 키오스크 시스템과 동작 방법에 관한 것으로, 보다 상세하게는, 생성형 인공지능을 활용한 키오스크 시스템은, 터치스크린 방식의 정보전달을 위해 공공장소에 설치되는 키오스크 시스템에 있어서, 생성형 인공지능 기술을 활용하여 자연어로 사용자와 의사소통이 가능하고, 사용자와의 대화를 통해 화면 전환, 메뉴 선택, 결제를 포함하는 정보전달 기능을 수행하는 키오스크, 및 상기 키오스크와 통신하며, 고객 정보, 메뉴 정보, 결제 정보를 포함하는 키오스크 정보를 데이터베이스화하여 저장하는 클라우드 서버를 포함한다.

Description

생성형 인공지능을 활용한 키오스크 시스템과 동작 방법{Kiosk system using generative artificial intelligence and operation method}
본 발명은 생성형 인공지능을 활용한 키오스크 시스템과 동작 방법에 관한 것으로서, 더욱 상세하게는, 키오스크를 사용하는 손님들이 보다 편리하게 사용하기 위해서 키오스크 시스템 사용법을 학습한 인공지능이 사용자와의 음성 대화의 문맥을 파악하여 키오스크 시스템을 변경하는 등의 맞춤형 서비스를 실현시켜주는 능동형 인공지능 키오스크 시스템과 생성형 인공지능을 활용한 키오스크 시스템의 동작 방법에 관한 것이다.
기술 발전과 코로나 19 등으로 인해 언택트 시대에 맞추어 편의점, 패스트 푸드점, 카페 등 많은 장소들을 기준으로 키오스크 사용이 증가하고 있으며, 심지어는 인건비를 줄이는 명목하에 키오스크만 존재하는 곳도 점차 늘어나고 있다.
이러한 키오스크에 있어서, 고객에 대한 이용의 편의성 문제를 해결하기 위하여 공개특허 제10-2022-0120878호"안면 인식을 이용한 사용자 맞춤형 키오스크 및 이를 이용한 제어방법"와 같은 다양한 기술을 활용한 키오스크가 등장하고 있지만, 사용법을 전혀 알지 못하는 어린이 또는 노약자와 같은 사용자들이 사용하기 불편한 문제점이 있었다.
한편, 최근 인공지능 기술의 발달으로 챗GPT의 기본 인공지능 모델인 GPT 인공지능 엔진을 이용하여 사람과 완벽하게 자연어로 의사소통이 가능하다.
따라서, 고객의 정보, 상담의 특정 가이드라인, 문맥을 읽고 사용자에게 맞춤형으로 시스템 변경과 고객안내, 특정상황에서는 다른 행동을 통해 키오스크를 음성으로 제어하는 능동형 인공지능 기술이 적용되는 키오스크를 개발하기 위한 노력이 계속되고 있었다.
대한민국 공개특허 제10-2022-0120878호 (2021.02.24.)
본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 사용자가 궁금해하는 사용법을 인공지능이 대화로 안내하고, 사용자가 손으로 입력하는 방법 대신 인공지능에게 대화로 키오스크로 명령하여 화면 전환, 메뉴 선택, 결제 등을 수행할 수 있는 생성형 인공지능을 활용한 키오스크 시스템과 동작 방법을 제공하는 것이다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명의 기술분야에서 통상의 지식을 지닌 자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위하여, 본 발명에 따른 생성형 인공지능을 활용한 키오스크 시스템은, 터치스크린 방식의 정보전달을 위해 공공장소에 설치되는 키오스크 시스템에 있어서, 생성형 인공지능 기술을 활용하여 자연어로 사용자와 의사소통이 가능하고, 사용자와의 대화를 통해 화면 전환, 메뉴 선택, 결제를 포함하는 정보전달 기능을 수행하는 키오스크, 및 상기 키오스크와 통신하며, 고객 정보, 메뉴 정보, 결제 정보를 포함하는 키오스크 정보를 데이터베이스화하여 저장하는 클라우드 서버를 포함한다.
또한, 상기 키오스크는, 사용자의 인공지능 기능 선택 여부에 따라 동작하며, 사용자의 음성을 입력받아 문자로 변환하여 상기 클라우드 서버로 전달하는 음성 입력부와, 상기 클라우드 서버로부터 인공지능이 상기 음성에 대하여 어떠한 동작을 수행할지 판단한 응답 데이터를 수신하는 클라우드 서버 응답 수신부와, 상기 응답 데이터에 기반하여 키오스크의 동작을 제어하는 키오스크 인공지능 제어부를 포함하는 것을 특징으로 한다.
또한, 상기 클라우드 서버는, 상기 키오스크의 사용법을 사전에 학습한 생성형 인공지능 모델이 상기 음성 입력부로부터 전달받은 문자를 벡터로 변환하여 문맥을 이해하고, 사용자의 질문 또는 키오스크 제어에 대한 응답 데이터를 생성 후 상기 클라우드 서버 응답 수신부로 전달하는 인공지능 응답 생성부를 포함하는 것을 특징으로 한다.
또한, 상기 인공지능 응답 생성부는, 키오스크 제어에 맞지 않는 문맥으로 이해한 경우, 추가 질문을 요청하는 응답 데이터를 클라우드 서버 응답 수신부로 전달하는 것을 특징으로 한다.
또한, 상기 키오스크는, 상기 응답 데이터에 따른 결과를 제공하는 서비스에 대한 팁을 요구하는 팁 요청부를 더 포함하는 것을 특징으로 한다.
또한, 상기 키오스크는, 사용자가 인공지능이 어떠한 단계인지 시각적으로 알 수 있도록 하기 위해 인공지능의 동작 단계별 애니메이션을 스크린에 표시하는 것을 특징으로 한다.
한편, 다른 관점에 따른 생성형 인공지능을 활용한 키오스크 동작 방법은, 적어도 하나의 프로세서에 의해 수행되는, 생성형 인공지능을 활용한 키오스크 동작 방법에 있어서, 키오스크가 생성형 인공지능 기능 동작명령을 수신하면 생성형 인공지능 기능에 대한 음성안내 이후 음성 명령 대기 상태로 들어가는 단계, 키오스크가 사용자의 음성을 입력받아 텍스트로 변환 후 클라우드 서버로 명령 데이터를 전달하는 단계, 키오스크가 상기 클라우드 서버로부터 응답 데이터를 수신할 때까지 대기상태로 전환하는 단계, 클라우드 서버가 상기 키오스크로부터 전달받은 텍스트를 벡터로 변환하여 사전에 키오스크의 사용법을 미리 학습한 생성형 인공지능 모델에 입력하여 상기 생성형 인공지능 모델이 어떠한 동작을 수행해야 하는지 문맥을 이해하는 단계, 상기 클라우드 서버가 상기 문맥 이해에 대한 결과에 기초하여 사용자의 질문 또는 키오스크 제어에 대한 응답 데이터를 생성 후 상기 키오스크로 전달하는 단계, 상기 키오스크가 상기 클라우드 서버로부터 전달받은 응답 데이터에 기초하여 사용자에게 음성안내와 키오스크의 동작을 제어하는 단계를 포함한다.
또한, 상기 응답 데이터를 생성 후 키오스크로 전달하는 단계는, 상기 문맥이 사용법 질문인 경우, 생성형 인공지능 모델이 사용법을 텍스트로 만드는 단계 또는, 상기 문맥이 키오스크 제어 명령인 경우, 데이터베이스에 저장된 시나리오에 해당되는 응답 데이터를 불러오는 단계로 분기되어 수행되는 것을 특징으로 한다.
상기 데이터베이스에 저장된 시나리오에 해당되는 응답 데이터를 불러오는 단계는, 상기 문맥 이해에 대한 결과가 상기 데이터베이스에 해당되지 않는 제어 명령인 경우, 상기 키오스크로 추가 질문을 요청하는 응답 데이터를 전달하는 것을 특징으로 한다.
또한, 상기 키오스크의 동작을 제어하는 단계 이후에, 상기 생성형 인공지능 모델은 대화안내 서비스 제공에 대한 팁을 요청하는 단계를 더 포함하는 것을 특징으로 한다.
한편, 상기 각각의 단계에서는, 현재 키오스크의 동작이 어떠한 단계인지 시각적으로 알 수 있게 하기 위하여 상기 각 단계에 해당하는 상태 애니메이션을 키오스크에 표시하는 단계를 더 수행할 수 있는 것을 특징으로 한다.
본 발명에 따른 생성형 인공지능을 활용한 키오스크 시스템과 동작 방법은, 키오스크 사용자가 사용법을 모르더라도 인공지능과의 대화를 통하여 인공지능이 시스템을 쉽고 편리하게 사용할 수 있게 지원하여 사용자의 편리성을 향상시킬 수 있는 효과가 있다.
도 1은 본 발명에 따른 생성형 인공지능을 활용한 키오스크 시스템을 나타낸 구성도이다.
도 2는 본 발명에 따른 생성형 인공지능을 활용한 키오스크 시스템을 구성하는 키오스크를 나타낸 블록도이다.
도 3은 본 발명에 따른 생성형 인공지능을 활용한 키오스크 시스템을 구성하는 클라우드 서버에서의 특정 동작(2step)을 설명하기 위한 도이다.
도 4는 본 발명에 따른 생성형 인공지능을 활용한 키오스크 시스템을 구성하는 키오스크가 인공지능의 동작 단계를 표시한 예시도이다.
도 5는 본 발명의 다른 관점에 따른 생성형 인공지능을 활용한 키오스크 동작 방법의 전체적인 흐름을 나타낸 순서도이다.
도 6은 본 발명의 다른 관점에 따른 생성형 인공지능을 활용한 키오스크 동작 방법의 흐름을 상세히 나타낸 상세순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
아래 첨부된 도면을 참조하여 본 발명의 실시를 위한 구체적인 내용을 상세히 설명한다. 도면에 관계없이 동일한 부재번호는 동일한 구성요소를 지칭하며, "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
본 명세서에서 사용되는 OpenAI 또는 OpenAI API는, 프롬프트에 들어간 내용과 미리 제작해놓은 최적화된 프롬프트, 고객의 정보를 활용하여 친절한 응답을 하는역할 또는 고객의 질문에서 문맥을 파악하고 그것이 어떤 것에 대한 질문인지 파악하고 랭체인(LangChain) 프레임워크의 툴체인 에이전트(Agent)로 넘겨주는 역할을 하기 위한 기술로 해석될 수 있다.
또한, 상기 랭체인(LangChain) 프레임워크의 툴체인 에이전트(Agent)는, OpenAI API에서 판단한 것을 함수로 연결시켜 특정 타입을 연결하는 역할, 실제 고객의 시스템을 변경시키는 역할, 프롬프트, 사용하는 인공지능모델, 사용자의 입력과 유사한 벡터저장소와의 연결, 연결을 통해 결과값을 키오스크에 전달해 특정 행동을 하게 만드는 역할등 다양하게 해석될 수 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 1은 본 발명에 따른 생성형 인공지능을 활용한 키오스크 시스템을 나타낸 구성도이다.
도 1을 참조하면, 본 발명에 따른 생성형 인공지능을 활용한 키오스크 시스템은, 터치스크린 방식의 정보전달을 위해 공공장소에 설치되는 키오스크 시스템에 있어서, 크게, 키오스크(100)와 클라우드 서버(200)를 포함한다.
먼저, 키오스크(100)는 생성형 인공지능 기술을 활용하여 자연어로 사용자와 의사소통이 가능하도록 구성되어, 사용자와의 대화를 통해 화면 전환, 메뉴 선택, 결제를 포함하는 정보전달 기능을 수행한다.
여기서, 상기 정보전달 기능은 이에 한정되는 것은 아니며, 메뉴 추천, 길 안내, 사용법 안내 등 장소나 목적에 따라 다양한 기능을 수행하도록 설정 또는 구성될 수 있음은 물론이다.
도 2는 본 발명에 따른 생성형 인공지능을 활용한 키오스크 시스템을 구성하는 키오스크를 나타낸 블록도이다.
도 2를 참조하여, 상기 키오스크(100)에 대하여 좀 더 구체적으로 설명하자면, 상기 키오스크(100)는 음성 입력부(110), 클라우드 서버 응답 수신부(120) 및 키오스크 인공지능 제어부(130)를 포함하여 이루어질 수 있다.
상기 음성 입력부(110)는 사용자의 인공지능 기능 선택 여부에 따라 동작하며, 사용자의 음성을 입력받아 문자로 변환하여 상기 클라우드 서버로 전달하는 역할을 한다.
이때, 상기 키오스크(100)는 언제든지 인공지능을 호출하여 사용할 수 있도록 화면 어디서든 누를 수 있는 인공지능 버튼이 존재하도록 구성되며, 상기 사용자의 인공지능 기능 선택 여부는 상기 인공지능 버튼을 누르면 인공지능이 간단한 안내를 음성으로 하고 사용자의 음성 명령을 받도록 대기하는 동작을 의미할 수 있다.
또한, 상기 음성 입력부(110)는 사용자의 음성 명령이 있으면 STT(음성인식, Speech to Text) 서비스를 통해 사용자의 음성을 문자로 변환하도록 구성될 수 있으며, 예컨대, 인공지능이 STT를 이용하여 사용자의 음성 명령을 https 통신을 통해 클라우드 서버(200)로 전송하도록 구성될 수 있다.
상기 클라우드 서버 응답 수신부(120)는 상기 클라우드 서버(200)로부터 인공지능이 사용자의 음성 명령에 대하여 어떠한 동작을 수행할지 판단한 응답 데이터를 수신한다.
상기 키오스크 인공지능 제어부(130)는 상기 응답 데이터에 기반하여 키오스크(100)의 동작을 제어하는 역할을 수행한다.
예컨대, 상기 키오스크 인공지능 제어부(130)는 상기 응답 데이터에 기반하여 TTS(음성합성, Text to Speech) 기술을 이용하여 사용자에게 추가 질문을 하거나, 사용자가 원하는 결과를 안내 또는 표시하도록 구성될 수 있다.
한편, 상기 키오스크(100)는 도면 상에 도시되어 있지는 않지만, 상기 응답 데이터에 따른 결과를 제공하는 서비스에 대한 팁(Tip)을 요구하는 팁 요청부(미도시)를 더 포함하여 이루어질 수 있다.
상기 팁 요청부는 인공지능이 사용자에게 편의를 제공했으면 팁을 지불해주기를 권하는 업세일링(Up-Sailing) 기술이 적용될 수 있다.
다음, 클라우드 서버(200)는 상기 키오스크(100)와 통신하며, 고객 정보, 메뉴 정보, 결제 정보를 포함하는 키오스크 정보를 데이터베이스화하여 저장한다.
또한, 상기 클라우드 서버(200)는 상기 키오스크(100)의 사용법을 사전에 학습한 생성형 인공지능 모델이 상기 음성 입력부로부터 전달받은 문자를 벡터로 변환하여 문맥을 이해하고, 사용자의 질문 또는 키오스크 제어에 대한 응답 데이터를 생성 후 상기 클라우드 서버 응답 수신부(120)로 전달하는 인공지능 응답 생성부(210)를 포함한다.
상기 인공지능 응답 생성부(210)는 키오스크 제어에 맞지 않는 문맥으로 이해한 경우, 추가 질문을 요청하는 응답 데이터를 클라우드 서버 응답 수신부(120)로 전달하도록 구성된다.
이와 같은 구성을 포함하는 상기 인공지능 응답 생성부(210)에 대하여 보다 상세하게 설명하자면, 상기 인공지능 응답 생성부(210)는 기지정한 키오스크 사용 메뉴얼 파일을 로드하여, 설정된 글자수로 중첩되는 내용을 만들고, 설정된 글자수로 분할하여 복수 개의 청크를 생성하는 역할을 수행한다.
이는, 인공지능 모델 예컨대, 거대 언어 모델(LLM)은 콘텍스트(context) 길이에 제한이 있으므로 설명서와 같은 문서를 청크로 분할해서 사용해야 하며, 이때 생성되는 청크는 분할과정에서 키오스크 사용 매뉴얼 문서의 내용이 중간이 끊어져 오답을 하지 않도록 인접 정크 간의 중첩이 필요하며 바람직하게는 2,000 글자의 사이즈로 분할하며, 중첩(overlab)은 500 글자수로 설정한다.
또한, 상기 인공지능 응답 생성부(210)는 생성된 정크를 임베딩작업을 통해 벡터로 변환(예: 문자열을 1536차원의 벡터값으로 리턴)하여 벡터 저장소에 저장한다.
한편, 상기 인공지능 응답 생성부(210)는 상기 키오스크(100)에 접속한 사용자의 정보를 키오스크(100)로부터 전달 받아 고객의 시리얼 넘버를 통해 데이터베이스에 접근해 사용언어, 페이지정보, 디바이스정보, 유저정보를 포함하는 키오스크 정보를 수신하도록 수행되며, 상기 키오스크 정보는 JSON 파일 형태로 받아올 수 있으며, 이에 한정되는 것은 아니다.
더불어, 상기 인공지능 응답 생성부(210)는 기설정한 키오스크 시스템의 사용법 등에 대한 역할 부여와 연관된 예시 및 지시문을 포함하는 프롬프트에 수신한 상기 키오스크 정보들을 텍스트로 변환하여 입력하고, 랭체인(LangChain)으로 사용할 인공지능 모델과 상기 기설정한 프롬프트 및 상기 청크를 프롬프트에 입력하는 역할을 한다. 이는, 기본적인 사용자를 안내하는 툴로 사용됨을 의미한다.
상기 인공지능 응답 생성부(210)는 사용자의 음성 명령을 전달받아 사용자가 어떤 기능을 원하는지 파악하기 위해 랭체인(LangChain)과 에이전트(Agent)와 OpenAI API로부터 답을 받아와서 정해진 특정 함수를 트리거 시켜, 그 결과로 result, type, action, data(아래 [표 1] 참조) 키오스크(100) 전달하여 모달을 표시하거나, 주문을 담아주거나 하는 키오스크 제어를 하도록 구성된다.
페이지 시스템 변경 대화의 문맥 전달-action 전달-type 전달-data
시작 체크인-포장 포장 체크인 show checkin takeout
시작 체크인-매장 매장 체크인 show checkin store
시작 직원호출 직원호출 show staff
시작 언어변경 한국어변경 do lan ko
시작 언어변경 중국어변경 do lan ch
시작 언어변경 일본어변경 do lan jp
시작 언어변경 영어변경 do lan en
메뉴 메뉴요청 주문 show order 주문메뉴명
메뉴 메뉴취소 취소 page first
메뉴 메뉴추천 메뉴추천 2step recommand
결제화면 결제 결제 show pay
결제화면 취소 취소 page menu
전체 챗봇 다른것에 해당되지않는 질문
2step 성별기반추천 성별 recommand gender
2step 나이기반추천 나이 recommand age
2step 인기도기반추천 인기도 recommand like
도 3은 본 발명에 따른 생성형 인공지능을 활용한 키오스크 시스템을 구성하는 클라우드 서버에서의 특정 동작(2step)을 설명하기 위한 도이다.
이때, 상기 인공지능 응답 생성부(210)는 도 3과 같이, 구체적인 정보가 필요한 것들은 2step을 이용해 사용자의 질문을 한 번 더 하게하고, 그 정보를 바탕으로 재수행을 하도록 구성된다.
예컨대, 사용자가 음식을 추천해달라는 질문을 하면 2step의 질문으로 "연령대, 성별, 인기도 중 어떤 기준으로 음식을 추천해드릴까요?"라고 하고 각각에 맞는 알고리즘을 통해 메뉴를 화면에 띄우는 방법으로 추천해준다.
이는, 인공지능이 특정문맥을 파악하여 능동적으로 기능을 수행하는 것을 의미한다.
도 4는 본 발명에 따른 생성형 인공지능을 활용한 키오스크 시스템을 구성하는 키오스크가 인공지능의 동작 단계를 표시한 예시도이다.
추가적으로, 도 4와 같이 본 발명에 따른 생성형 인공지능을 활용한 키오스크 시스템은, 상기 키오스크(100)가 사용자가 인공지능이 어떠한 단계인지 시각적으로 알 수 있도록 하기 위해 인공지능의 동작 단계별 애니메이션을 스크린에 표시하도록 이루어질 수 있다.
도 5는 본 발명의 다른 관점에 따른 생성형 인공지능을 활용한 키오스크 동작 방법의 전체적인 흐름을 나타낸 순서도이고, 도 6은 본 발명의 다른 관점에 따른 생성형 인공지능을 활용한 키오스크 동작 방법의 흐름을 상세히 나타낸 상세순서도이다.
하기에서는, 본 발명의 다른 관점에 따른 생성형 인공지능을 활용한 키오스크 동작 방법에 대하여 설명하도록 한다.
도 5를 참조하면, 본 발명의 다른 관점에 따른 생성형 인공지능을 활용한 키오스크 동작 방법은, 먼저, 키오스크(100)에 언제든지 인공지능을 호출하여 사용할 수 있도록 화면 어디서든 누를 수 있는 인공지능 버튼을 누르면 인공지능이 간단한 안내를 음성으로 하고 사용자의 음성 명령을 받도록 대기하는 단계(S100)를 수행한다.
다음, 사용자의 음성 명령이 있으면 인공지능은 음성인식(예: STT)을 이용하여 명령을 통신(예: https)을 통해 클라우드 서버(200)로 전송(S200)하고, 상기 키오스크(100)는 응답 데이터 수신 대기하는 단계(S300)를 수행한다.
그리고, 상기 클라우드 서버(200)에서 생성형 인공지능을 이용한 인공지능이 어떠한 동작을 수행해야 하는지 상기 음성 명령에 대한 문맥을 이해(S400)하고, 시스템 분기하여 그 결과 맞는 응답 데이터 생성하고 상기 키오스크(100)로 통신(예: https)을 통해 데이터를 전달하는 단계(S500)를 수행한다.
그러면, 상기 키오스크(100)는 음성합성(예: TTS) 기술로 추가 질문을 하거나, 원하는 결과를 사용자에게 보여주는 단계(S600)를 수행함으로써, 키오스크(100)를 사용하는 사용자들이 보다 편리하게 사용하기 위해서 키오스크 시스템 사용법을 학습한 인공지능이 사용자와의 음성 대화의 문맥을 파악하여 키오스크 시스템을 변경하는 등의 맞춤형 서비스를 실현하는 것을 주요 기술적 요지로 한다.
도 6을 참조하여, 상기 일련의 과정에 대하여 보다 상세하게 설명하자면, 본 발명의 다른 관점에 따른 생성형 인공지능을 활용한 키오스크 동작 방법은, 적어도 하나의 프로세서에 의해 수행되는, 생성형 인공지능을 활용한 키오스크 동작 방법에 있어서, 먼저, 키오스크(100)가 생성형 인공지능 기능 동작명령을 수신(S100)하면 생성형 인공지능 기능에 대한 음성안내 이후 음성 명령 대기 상태로 들어가는 단계(S110)를 수행한다.
다음, 상기 키오스크(100)가 사용자의 음성을 입력받아(S200) 텍스트로 변환(S210) 후 클라우드 서버(200)로 명령 데이터를 전달하는 단계(S220)를 수행한다.
상기 텍스트 변환 단계(S210)에서 텍스트 변환이 실패하는 경우, 음성인식 실패로 간주하고 안내 동작을 수행(S230)한다.
다음, 상기 키오스크(100)가 상기 클라우드 서버(200)로부터 응답 데이터를 수신할 때까지 대기상태로 전환하는 단계(S300)를 수행한다.
다음, 상기 클라우드 서버(200)가 상기 키오스크(100)로부터 전달받은 텍스트를 벡터로 변환(S400)하여 사전에 키오스크의 사용법을 미리 학습한 생성형 인공지능 모델에 입력하여 상기 생성형 인공지능 모델이 어떠한 동작을 수행해야 하는지 문맥을 이해하는 단계(S410)를 수행한다.
다음, 상기 클라우드 서버(200)가 상기 문맥 이해에 대한 결과에 기초하여 사용자의 질문 또는 키오스크 제어에 대한 응답 데이터를 생성 후 상기 키오스크(100)로 전달하는 단계(S500)를 수행한다.
여기서, 상기 문맥이 사용법 질문인 경우, 생성형 인공지능 모델이 사용법을 텍스트로 만드는 단계(S510)를 수행하고, 상기 문맥이 키오스크 제어 명령인 경우S520), 데이터베이스에 저장된 시나리오에 해당되는 응답 데이터를 불러오는 단계(S522)로 분기되어 수행한다.
한편, 상기 문맥 이해에 대한 결과가 상기 데이터베이스에 해당되지 않는 제어 명령인 경우(S521), 상기 키오스크로 추가 질문을 요청하는 응답 데이터를 전달하는 단계를 수행한다.
다음, 상기 키오스크(100)가 상기 클라우드 서버(200)로부터 전달받은 응답 데이터에 기초하여 사용자에게 음성안내와 키오스크의 동작을 제어하는 단계(S600)를 수행한다.
한편, 상기 키오스크의 동작을 제어하는 단계(S600) 이후에, 상기 생성형 인공지능 모델은 대화안내 서비스 제공에 대한 팁을 요청하는 단계를 더 수행할 수 있다.
더불어, 상기 각각의 단계는, 현재 키오스크의 동작이 어떠한 단계인지 시각적으로 알 수 있게 하기 위하여 상기 각 단계에 해당하는 상태 애니메이션을 키오스크에 표시하는 단계를 언제든지 수행할 수 있다.
이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해되어야 한다.
100: 키오스크
110: 음성 입력부
120: 클라우드 서버 응답 수신부
130: 키오스크 인공지능 제어부
200: 클라우드 서버
210: 인공지능 응답 생성부

Claims (11)

  1. 터치스크린 방식의 정보전달을 위해 공공장소에 설치되는 키오스크 시스템에 있어서,
    생성형 인공지능 기술을 활용하여 자연어로 사용자와 의사소통이 가능하고, 사용자와의 대화를 통해 화면 전환, 메뉴 선택, 결제를 포함하는 정보전달 기능을 수행하는 키오스크; 및
    상기 키오스크와 통신하며, 고객 정보, 메뉴 정보, 결제 정보를 포함하는 키오스크 정보를 데이터베이스화하여 저장하는 클라우드 서버;를 포함하되,
    상기 키오스크는, 사용자의 인공지능 기능 선택 여부에 따라 동작하며, 사용자의 음성을 입력받아 문자로 변환하여 상기 클라우드 서버로 전달하는 음성 입력부와, 상기 클라우드 서버로부터 인공지능이 상기 음성에 대하여 어떠한 동작을 수행할지 판단한 응답 데이터를 수신하는 클라우드 서버 응답 수신부와, 상기 응답 데이터에 기반하여 키오스크의 동작을 제어하는 키오스크 인공지능 제어부를 포함하고,
    상기 클라우드 서버는, 상기 키오스크의 사용법을 사전에 학습한 생성형 인공지능 모델이 상기 음성 입력부로부터 전달받은 문자를 벡터로 변환하여 문맥을 이해하고, 사용자의 질문 또는 키오스크 제어에 대한 응답 데이터를 생성 후 상기 클라우드 서버 응답 수신부로 전달하는 인공지능 응답 생성부를 포함하되,
    상기 인공지능 응답 생성부는, 키오스크 제어에 맞지 않는 문맥으로 이해한 경우, 추가 질문을 요청하는 응답 데이터를 클라우드 서버 응답 수신부로 전달하도록 이루어져, 키오스크 시스템 사용법을 학습한 생성형 인공지능이 사용자와의 음성 대화의 문맥을 파악하여 맞춤형 서비스를 수행하여 키오스크를 사용하는 손님들이 보다 편리하게 키오스크를 사용할 수 있도록 하고,
    상기 키오스크는, 상기 응답 데이터에 따른 결과를 제공하는 서비스에 대한 팁을 요구하는 팁 요청부를 더 포함하여, 상기 팁 요청부를 통해 생성형 인공지능이 사용자에게 편의를 제공했으면 팁을 지불해주기를 권하는 업세일링(Up-Sailing) 기술 적용을 통해 사용자에게 만족스러운 서비스를 제공함과 동시에 기업의 매출까지 동시에 증대시킬 수 있는 것을 특징으로 하는 생성형 인공지능을 활용한 키오스크 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 키오스크는,
    사용자가 인공지능이 어떠한 단계인지 시각적으로 알 수 있도록 하기 위해 인공지능의 동작 단계별 애니메이션을 스크린에 표시하는 것을 특징으로 하는 생성형 인공지능을 활용한 키오스크 시스템.
  7. 적어도 하나의 프로세서에 의해 수행되는, 생성형 인공지능을 활용한 키오스크 동작 방법에 있어서,
    (a) 키오스크가 생성형 인공지능 기능 동작명령을 수신하면 생성형 인공지능 기능에 대한 음성안내 이후 음성 명령 대기 상태로 들어가는 단계;
    (b) 키오스크가 사용자의 음성을 입력받아 텍스트로 변환 후 클라우드 서버로 명령 데이터를 전달하는 단계;
    (c) 키오스크가 상기 클라우드 서버로부터 응답 데이터를 수신할 때까지 대기상태로 전환하는 단계;
    (d) 클라우드 서버가 상기 키오스크로부터 전달받은 텍스트를 벡터로 변환하여 사전에 키오스크의 사용법을 미리 학습한 생성형 인공지능 모델에 입력하여 상기 생성형 인공지능 모델이 어떠한 동작을 수행해야 하는지 문맥을 이해하는 단계;
    (e) 상기 클라우드 서버가 상기 문맥 이해에 대한 결과에 기초하여 사용자의 질문 또는 키오스크 제어에 대한 응답 데이터를 생성 후 상기 키오스크로 전달하는 단계;
    (f) 상기 키오스크가 상기 클라우드 서버로부터 전달받은 응답 데이터에 기초하여 사용자에게 음성안내와 키오스크의 동작을 제어하는 단계;를 포함하되,
    상기 (e) 단계는, (e-1) 상기 문맥이 사용법 질문인 경우, 생성형 인공지능 모델이 사용법을 텍스트로 만드는 단계 또는, (e-2) 상기 문맥이 키오스크 제어 명령인 경우, 데이터베이스에 저장된 시나리오에 해당되는 응답 데이터를 불러오는 단계로 분기되어 수행되되,
    상기 (e-2) 단계는, 상기 문맥 이해에 대한 결과가 상기 데이터베이스에 해당되지 않는 제어 명령인 경우, 상기 키오스크로 추가 질문을 요청하는 응답 데이터를 전달하도록 수행되어, 키오스크 시스템 사용법을 학습한 생성형 인공지능이 사용자와의 음성 대화의 문맥을 파악하여 맞춤형 서비스를 수행하여 키오스크를 사용하는 손님들이 보다 편리하게 키오스크를 사용할 수 있도록 하고,
    상기 (f) 단계 이후에, 상기 생성형 인공지능 모델은 대화안내 서비스 제공에 대한 팁을 요청하는 단계를 더 포함하여, 생성형 인공지능이 사용자에게 편의를 제공했으면 팁을 지불해주기를 권하는 업세일링(Up-Sailing) 기술 적용을 통해 사용자에게 만족스러운 서비스를 제공함과 동시에 기업의 매출까지 동시에 증대시킬 수 있는 것을 특징으로 하는 생성형 인공지능을 활용한 키오스크 동작 방법.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 제7항에 있어서,
    상기 각각의 단계는,
    현재 키오스크의 동작이 어떠한 단계인지 시각적으로 알 수 있게 하기 위하여 상기 각 단계에 해당하는 상태 애니메이션을 키오스크에 표시하는 단계를 더 포함하는 것을 특징으로 하는 생성형 인공지능을 활용한 키오스크 동작 방법.
KR1020240022374A 2024-02-16 2024-02-16 생성형 인공지능을 활용한 키오스크 시스템과 동작 방법 KR102669422B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020240022374A KR102669422B1 (ko) 2024-02-16 2024-02-16 생성형 인공지능을 활용한 키오스크 시스템과 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020240022374A KR102669422B1 (ko) 2024-02-16 2024-02-16 생성형 인공지능을 활용한 키오스크 시스템과 동작 방법

Publications (1)

Publication Number Publication Date
KR102669422B1 true KR102669422B1 (ko) 2024-05-29

Family

ID=91277670

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020240022374A KR102669422B1 (ko) 2024-02-16 2024-02-16 생성형 인공지능을 활용한 키오스크 시스템과 동작 방법

Country Status (1)

Country Link
KR (1) KR102669422B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102253279B1 (ko) * 2020-12-11 2021-05-18 고태건 인공지능을 사용하는 키오스크 기반 무인결제시스템 및 그 방법
KR20220120878A (ko) 2021-02-24 2022-08-31 충남대학교산학협력단 안면 인식을 이용한 사용자 맞춤형 키오스크 및 이를 이용한 제어방법
KR20230076734A (ko) * 2021-11-22 2023-05-31 주식회사 유나이티드어소시에이츠 교육 컨텐츠 주제 기반의 대화형 인공지능 아바타 영어 말하기 교육 방법, 장치 및 이에 대한 시스템
KR20230119313A (ko) * 2022-02-07 2023-08-16 상명대학교산학협력단 심리 테라피용 자기긍정 내면소통 챗봇 어플리케이션 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102253279B1 (ko) * 2020-12-11 2021-05-18 고태건 인공지능을 사용하는 키오스크 기반 무인결제시스템 및 그 방법
KR20220120878A (ko) 2021-02-24 2022-08-31 충남대학교산학협력단 안면 인식을 이용한 사용자 맞춤형 키오스크 및 이를 이용한 제어방법
KR20230076734A (ko) * 2021-11-22 2023-05-31 주식회사 유나이티드어소시에이츠 교육 컨텐츠 주제 기반의 대화형 인공지능 아바타 영어 말하기 교육 방법, 장치 및 이에 대한 시스템
KR20230119313A (ko) * 2022-02-07 2023-08-16 상명대학교산학협력단 심리 테라피용 자기긍정 내면소통 챗봇 어플리케이션 시스템

Similar Documents

Publication Publication Date Title
US7016848B2 (en) Voice site personality setting
JP7209818B2 (ja) 自動ナビゲーションを容易にするためのウェブページの分析
US20180005328A1 (en) Information management and synchronous communications system
US10332297B1 (en) Electronic note graphical user interface having interactive intelligent agent and specific note processing features
US7184539B2 (en) Automated call center transcription services
US8880397B2 (en) Systems, devices and methods for list display and management
US20020097261A1 (en) Apparatus and method for simple wide-area network navigation
US11662995B2 (en) Network efficient location-based dialogue sequence using virtual processor
US20080304639A1 (en) System and method for communicating with interactive service systems
US7171361B2 (en) Idiom handling in voice service systems
GB2317070A (en) Voice processing/internet system
JPH10501904A (ja) サービスオーダー方法及びそのシステム
KR102076793B1 (ko) 음성을 통한 전자문서 제공 방법, 음성을 통한 전자문서 작성 방법 및 장치
US11120455B2 (en) Intelligent channel steering based on dynamically determined intents during channel interactions
US7020611B2 (en) User interface selectable real time information delivery system and method
KR102669422B1 (ko) 생성형 인공지능을 활용한 키오스크 시스템과 동작 방법
JP2001197207A (ja) 多言語応対装置
EP3493049B1 (en) Speech interactive control system and control method
JP2021051385A (ja) 情報処理システム、情報処理方法及びプログラム
US11842415B2 (en) Intelligent web server with multi-modes of contact, multi-communications protocols, multi-user and parallel operational capabilities for use in a hospitality market comprising
US20140270106A1 (en) Method and system for interactive telephone waiting
JP2018014065A (ja) 異言語間会話を支援する方法及びプログラム
Gunawan et al. Development of Voice Chatbot for E-Concierge System of Front Office Hotel
US20230038007A1 (en) Techniques for an agent-assisted browsing system
KR101121145B1 (ko) 음성인식자동응답시스템용 시나리오 문서 자동 생성 시스템 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant