KR20160149488A - 대화 상황 및 주제에 따른 대화 순서 관리 장치 및 방법 - Google Patents

대화 상황 및 주제에 따른 대화 순서 관리 장치 및 방법 Download PDF

Info

Publication number
KR20160149488A
KR20160149488A KR1020150086534A KR20150086534A KR20160149488A KR 20160149488 A KR20160149488 A KR 20160149488A KR 1020150086534 A KR1020150086534 A KR 1020150086534A KR 20150086534 A KR20150086534 A KR 20150086534A KR 20160149488 A KR20160149488 A KR 20160149488A
Authority
KR
South Korea
Prior art keywords
conversation
turn
user
situation
dialogue
Prior art date
Application number
KR1020150086534A
Other languages
English (en)
Inventor
박천수
김재홍
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020150086534A priority Critical patent/KR20160149488A/ko
Publication of KR20160149488A publication Critical patent/KR20160149488A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/30—Transportation; Communications
    • G06F17/30—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages

Abstract

본 발명은 사용자의 발화 정보로부터 키워드를 추출하여 대화 주제를 판단하여 대화 순서를 결정하고 이를 관리하는 턴(turn) 관리부, 사용자의 시선, 발화, 제스처, 및 터치를 포함하는 명시적 신호를 이용해 플로어 액션의 상태를 결정하는 플로어 액션 관리부, 대화 상황에 따른 대화 모델을 저장하고 관리하는 대화 상황 지식 데이터베이스 및 사용자의 발화 정보로부터 추출된 키워드와 대화 상황 지식 데이터베이스에 저장된 키워드를 이용하여 대화 모델을 매핑하는 대화 모델 관리부를 포함하는 대화 상황 및 주제에 따른 대화 순서 관리 장치에 관한 것이다.

Description

대화 상황 및 주제에 따른 대화 순서 관리 장치 및 방법{APPARATUS AND METHOD FOR TURN-TAKING MANAGEMENT USING CONVERSATION SITUATION AND THEMES}
본 발명은 대화 순서 관리 장치를 포함하며 인간과 상호작용하는 로봇이 대화 상황 및 주제에 따라 대화 순서(turn-taking)를 다르게 적용 할 수 있는 방법에 관한 것이다.
보다 상세하게, 본 발명은 로봇이 퀴즈나 게임, 안내 서비스, 스케쥴 관리, 토론, 책 읽어주기, 이야기 들어주기 등 대화 주제에 따라 상황과 키워드를 기반으로 대화 순서(turn-taking)를 다르게 제공하는 방법에 관한 것이다.
인간은 대화 중에 대화의 주제와 상황에 따라서 상대방의 의도를 파악하여 상황에 맞는 대화 순서를 정하고 의사소통을 한다. 즉, 인간끼리 대화를 하는 중 상대방이 급작스레 주제를 바꾸거나, 갑자기 대화에 끼어드는 등 변수가 발생하게 되며 인간은 이에 능동적으로 대처하여 바뀐 주제에 대한 대화를 이어나가거나, 자신이 말을 할 차례였더라도 상대방의 급작스런 대화참여에 대응하여 상대방의 말을 듣는 행동 등을 한다.
음성인식 장치 및 로봇장치 기술의 발달로 인하여, 인간과 로봇장치가 대화를 통하여 상호간에 정보를 주고 받는 사례들이 종종 나타나고 있다. 예컨대, 스마트 폰 및 스마트 패드 등 이동 통신 단말은 인간의 말로부터 명령을 인식하고 필요한 정보를 추출하여 다시 인간에게 제공하는 기술을 포함하고 이러한 기술이 상용화 되었으나 이는 단순한 정보의 제공만을 담당하여 화자의 발화 의도 등을 고려하지 못하는 문제점이 있다.
이때, 로봇장치는 화자의 발화 의도를 파악하여 대화 순서(turn-taking)를 정하는 것이 바람직하지만 화자의 지역, 성격, 연령, 성별에 따라 발화 의도는 달라질 수 있기 때문에 로봇장치가 사용자 발화 의도를 파악하는 데는 한계가 있다. 따라서 사용자 발화를 기반으로 키워드를 추출하여 대화 상황을 파악하며 다양한 주제의 대화 지식을 구축하여 선택하고 제공할 수 있는 대화 상황 및 주제에 따른 대화 순서 관리 장치가 필요한 실정이다.
한국 공개특허공보 2012-0111510호 (2012.10.10.)
본 발명의 목적은, 상기 문제점을 해결하기 위한 것으로, 로봇장치가 대화 상황을 파악하여 대화 순서(turn-taking)를 다르게 적용 할 수 있는 방법을 제공하기 위함이다.
즉, 본 발명의 목적은 로봇장치가 퀴즈, 게임, 안내 서비스, 스케쥴 관리, 토론, 책 읽어주기 및 이야기 들어주기 등 여러 가지 대화 주제 및 상황정보를 키워드와 센서를 이용하여 파악하고 대화 순서(turn-taking)를 다르게 제공할 수 있도록 하기 위함이다.
상기한 목적을 달성하기 위하여 본 발명의 실시예에 따른 대화 상황 및 주제에 따른 대화 순서 관리 장치는, 사용자의 발화 정보로부터 키워드를 추출하여 대화 주제를 판단하여 대화 순서를 결정하고 이를 관리하는 턴(turn) 관리부, 사용자의 시선, 발화, 제스처, 및 터치를 포함하는 명시적 신호를 이용해 플로어 액션의 상태를 결정하는 플로어 액션 관리부, 대화 상황에 따른 대화 모델을 저장하고 관리하는 대화 상황 지식 데이터베이스 및 사용자의 발화 정보로부터 추출된 키워드와 상기 대화 상황 지식 데이터베이스에 저장된 키워드를 이용하여 대화 모델을 매핑하는 대화 모델 관리부를 포함한다.
플로어 액션은, 턴(turn)을 가져오는 행동, 턴(turn)을 유지하는 행동, 턴(turn)을 기다리는 행동 및 턴(turn)을 넘겨주는 행동 중 적어도 하나 이상을 포함한다.
대화 모델 관리부는 사용자가 발화한 음성을 기계적으로 분석하기 위해 기계가 이해할 수 있는 형태인 자연어로 변환하는 음성 인식부를 포함한다.
대화 모델 관리부는 음성 인식부가 수집하여 생성한 자연어를 기반으로 대화 상황에서 발생하는 키워드를 추출하는 키워드(keyword) 추출부를 포함한다.
대화 모델은, 퀴즈, 게임, 안내 서비스, 스케쥴 관리, 토론, 책 읽어주기 및 이야기 들어주기 중 적어도 하나 이상을 포함한다.
상기한 목적을 달성하기 위하여 본 발명의 실시예에 따른 대화 상황 및 주제에 따른 대화 순서 관리 방법은, 사용자의 발화 정보를 수신하는 단계, 사용자의 발화 정보에서 키워드를 추출하는 단계, 추출한 키워드를 대화 상황 지식 데이터 베이스에 저장된 키워드와 매핑하여 대화 모델을 선택하는 단계 및 대화 순서를 판단하고 플로어 액션(floor action)을 결정하는 단계를 포함한다.
플로어 액션은, 턴(turn)을 가져오는 행동, 턴(turn)을 유지하는 행동, 턴(turn)을 기다리는 행동 및 턴(turn)을 넘겨주는 행동 중 적어도 하나 이상을 포함한다.
키워드를 추출하는 단계는, 음성 인식부가 수집하여 생성한 자연어를 기반으로 대화 상황에서 발생하는 키워드를 추출하는 것을 특징으로 한다.
대화 모델은, 퀴즈, 게임, 안내 서비스, 스케쥴 관리, 토론, 책 읽어주기 및 이야기 들어주기 중 적어도 하나 이상을 포함한다.
대화 순서를 판단하고 플로어 액션(floor action)을 결정하는 단계는, 대화 순서를 판단하는 단계 및 판단된 대화 순서에 따라 플로어 액션(floor action)을 결정하는 단계를 포함한다.
본 발명에 따르면, 인간과 로봇장치가 상호작용을 함에 있어서, 대화의 상황 및 주제에 따라 로봇장치가 대화모델을 다르게 적용함으로써 이미 구축되어있는 대화모델 중 가장 적절한 대화모델을 자동적으로 선택할 수 있으며, 인간과 로봇장치의 상호작용에 있어서 자연스러운 상호작용을 유도할 수 있다.
도 1은 본 발명의 실시예에 따른, 대화 상황 및 주제에 따른 대화 순서 관리 장치를 설명하기 위한 구성도이다.
도 2는 본 발명의 실시예에 따른, 턴 관리부를 설명하기 위한 구성도이다.
도 3은 본 발명의 실시예에 따른, 대화 모델 선택부를 설명하기 위한 구성도이다.
도 4는 본 발명의 실시예에 따른, 대화 상황 및 주제에 따른 대화 순서 관리 방법을 설명하기 위한 순서도이다.
도 5는 본 발명의 실시예에 따른, 대화 순서 판단 및 플로어 액션 결정 단계를 설명하기 위한 순서도이다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부 도면을 참조하여 설명하기로 한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
이하, 본 발명의 실시예에 따른 대화 상황 및 주제에 따른 대화 순서 관리 장치 및 방법을 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다.
도 1은 대화 상황 및 주제에 따른 대화 순서 관리 장치를 설명하기 위한 구성도이다. 도 2는 턴 관리부를 설명하기 위한 구성도이다. 도 3은 대화 모델 선택부를 설명하기 위한 구성도이다. 도 4는 대화 상황 및 주제에 따른 대화 순서 관리 방법을 설명하기 위한 순서도이다. 도 5는 대화 순서 판단 및 플로어 액션 결정 단계를 설명하기 위한 순서도이다.
도 1에 도시된 바와 같이, 대화 상황 및 주제에 따른 대화 순서 관리 장치는 센서(100), 턴(turn) 관리부(200), 대화모델 관리부(300) 및 대화 상황 데이터베이스(400)를 포함한다.
이때, 대화 상황 및 주제에 따른 대화 순서 관리 장치는 로봇장치에 포함될 수 있다. 여기서, 로봇장치는 인간형 로봇, 스마트 폰, 차량의 음성인식 장치를 비롯하여 인간의 명령을 받아 인간과 상호작용을 하고 정보를 제공하는 모든 종류의 장치를 포함할 수 있다.
여기서, 센서(100)는 음성 정보를 획득하는 음성 인식 센서, 제스처 및 시선을 비롯한 영상 정보를 획득하는 영상 센서, 터치를 인식하는 터치 센서 등을 포함할 수 있으며, 이외에도 로봇장치와 인간의 상호작용을 위하여 로봇장치가 인간의 명령을 입력받을 수 있는 모든 종류의 센서를 포함할 수 있다.
턴(turn) 관리부(200)는 사용자의 발화 정보로부터 키워드를 추출하여 대화 주제를 판단하고 대화의 순서를 결정한다.
즉, 턴(turn) 관리부(200)는 센서(100)가 수집한 정보를 이용하여 대화 순서 관리 장치의 턴(turn)의 전이 여부, 즉 대화 순서를 판단하고 플로어 액션(floor action)을 결정하고 결정된 플로어 액션(floor action)에 따라 적절한 대화모델을 선택한다.
이때, 플로어 액션(floor action)은 턴(turn)을 가져오는 행동, 턴(turn)을 유지하는 행동, 턴(turn)을 기다리는 행동 및 턴(turn)을 넘겨주는 행동을 비롯하여 대화 순서 관리 장치가 자신과 사용자의 대화 순서를 결정하는 행동들을 포함한다.
대화 모델 관리부(300)는 대화 상황 지식 데이터베이스(400)를 관리한다. 나아가, 대화 모델 관리부(300)는 키워드 추출부(222)(도3 참조)가 추출한 사용자 발화 정보의 키워드와 대화 상황 지식 데이터베이스(400)에 저장된 키워드를 이용하여 대화 모델을 매핑한다. 이때, 키워드 추출부(222)가 추출한 키워드와 대화 상황 지식 데이터베이스(400)에 저장된 키워드가 완전히 일치하지 않는 경우 대화 모델 관리부(300)는 키워드 추출부(222)가 추출한 키워드와 가장 유사한 키워드를 대화 상황 지식 데이터베이스(400)에서 추출하여 매핑할 수 있다.
대화 상황 지식 데이터베이스(400)는 퀴즈, 게임, 안내 서비스, 스케쥴 관리, 토론, 책 읽어주기 및 이야기 들어주기를 포함하는 특정 상황에 대한 대화 모델을 저장할 수 있으며, 나아가 각 상황에 따른 대화 모델 중 사용 빈도가 높은 키워드를 따로 저장할 수 있으며, 특정 상황에 따라 어떤 키워드를 선택하여 대응할지에 대한 대응 순서를 저장할 수 있다.
즉 대화 상황 지식 데이터베이스(400)는 대화 상황에 따른 대화 모델을 저장하고 이를 관리한다.
도 2에 도시된 바와 같이, 턴(turn) 관리부(200)는 플로어 액션(floor action) 단서 추출부(210), 대화 모델 선택부(220), 턴 전이 판단부(230) 및 플로어 액션(floor action) 관리부(240)를 포함한다.
플로어 액션(floor action) 단서 추출부(210)는 센서(100)로부터 검출된 사용자의 행동을 분석한다. 이때, 플로어 액션(floor action) 단서 추출부(210)가 분석하는 사용자의 행동에는 음성 인식 센서를 통해 수집된 사용자의 발화, 영상 센서를 통해 수집된 사용자의 시선 및 사용자의 제스처, 터치 센서를 통해 수집된 사용자의 터치가 있을 수 있으며, 플로어 액션(floor action) 단서 추출부(210)는 분석된 사용자의 행동 정보를 턴(turn) 전이 판단부(230), 플로어 액션(floor action) 관리부(240)에 전달한다. 나아가, 분석된 사용자의 행동 정보가 음성 인식 센서를 통해 수집된 사용자의 발화라면 해당되는 사용자의 행동 정보를 대화모델 선택부(220)의 음성 인식부(221)(도3 참조)에 전송한다.
나아가, 사용자의 발화 정보는 턴(turn)의 전이와 대화 순서를 판단하는데 가장 중요한 역할을 담당할 수 있으나, 이외의 다른 정도 또한 턴(turn)의 전이와 대화 순서를 판단하는데 이용될 수 있다.
이때, 플로어 액션(floor action)은 턴(turn)을 가져오는 행동, 턴(turn)을 유지하는 행동, 턴(turn)을 기다리는 행동 및 턴(turn)을 넘겨주는 행동을 비롯하여 대화 순서 관리 장치가 자신과 사용자의 대화 순서를 결정하는 행동들을 포함한다.
대화 모델 선택부(220)는 사용자의 발화를 분석하고, 해당되는 발화 내에서 키워드를 추출한다. 그 뒤 대화 모델 관리부(300)를 통해 대화 상황 지식 데이터베이스(400)에 저장된 대화 지식 모델과 매핑하여 대화 순서 관리 장치가 이용할 대화 모델을 선택한다.
턴(turn) 전이 판단부(230)는 플로어 액션(floor action) 단서 추출부(210)를 통해 분석된 사용자의 행동 정보를 이용하여 턴(turn)의 전이를 판단한다.
예를 들어, 음성 인식 센서가 사용자의 음성이 지속되다가 더 이상 음성이 수집되지 않는다는 정보를 수집했다면, 턴(turn) 전이 판단부(230)는 사용자의 발화가 끝났으며, 이제 대화 순서 관리 장치를 포함하는 로봇장치가 대화할 차례임을 판단할 수 있다. 또한 음성 인식 센서가 사용자의 음성을 지속적으로 수집한다면, 턴(turn) 전이 판단부(230)는 아직 사용자가 말을 하고 있으며 따라서 대화 순서 관리 장치를 포함하는 로봇장치가 말할 차례가 아님을 판단할 수 있다. 한편, 대화 순서 관리 장치를 포함하는 로봇장치가 말을 하고 있는 중에 음성 인식 센서가 급작스런 사용자의 음성을 수집한다면, 턴(turn) 전이 판단부(230)는 사용자가 다시 말을 하기를 원한다는 것을 판단할 수 있다. 또한 대화 순서 관리 장치를 포함하는 로봇장치가 말을 하고 있는 중에 음성 인식 센서가 사용자의 음성을 수집하지 않는다면, 턴(turn) 전이 판단부(230)는 아직 사용자가 말하기를 원하지 않으며 자신이 계속 말해도 된다는 것을 판단할 수 있다.
나아가, 턴(turn) 전이 판단부(230)는 음성 인식 센서뿐 아니라 영상 센서 및 터치 센서를 포함하는 여러 종류의 센서를 이용하여 사용자가 대화하는 차례인지, 대화 순서 관리 장치를 포함하는 로봇장치가 대화하는 차례인지를 판단하여 턴(turn)이 전이되는지 여부를 판단할 수 있다.
플로어 액션(floor action) 관리부(240)는 턴(turn) 전이 판단부(230)가 판단한 결과에 대응하여 대화 순서 관리 장치를 포함하는 로봇장치가 턴(turn)과 관련하여 어떠한 행동을 하게 될지를 관리한다.
즉, 플로어 액션(floor action) 관리부(240)는 사용자의 시선, 발화, 제스처 및 명시적 신호(터치)를 이용하여 플로어 액션의 상태를 결정한다.
더욱 상세하게 플로어 액션(floor action)에는 턴(turn)을 가져오는 행동, 턴(turn)을 유지하는 행동, 턴(turn)을 기다리는 행동 및 턴(turn)을 넘겨주는 행동이 포함될 수 있으며, 상술한 예시에서 턴(turn) 전이 판단부(230)가 사용자의 발화가 끝났으며, 이제 대화 순서 관리 장치를 포함하는 로봇장치가 대화할 차례임을 판단한 경우 플로어 액션(floor action) 관리부(240)는 턴(turn)을 가져오는 행동을 해야 함을 결정하고, 턴(turn) 전이 판단부(230)가 아직 사용자가 말을 하고 있으며 따라서 대화 순서 관리 장치를 포함하는 로봇장치가 말할 차례가 아님을 판단한 경우 플로어 액션(floor action) 관리부(240)는 턴(turn)을 기다리는 행동을 해야 함을 결정하며, 턴(turn) 전이 판단부(230)가 사용자가 다시 말을 하기를 원한다는 것을 판단하면 플로어 액션(floor action) 관리부(240)는 턴(turn)을 넘겨주는 행동을 해야 함을 결정하고, 턴(turn) 전이 판단부(230)가 아직 사용자가 말하기를 원하지 않으며 자신이 계속 말해도 된다는 것을 판단한 경우 플로어 액션(floor action) 관리부(240)는 턴(turn)을 유지하는 행동을 해야 함을 결정할 수 있다.
도 3에 도시된 바와 같이, 대화 모델 선택부(220)는 음성 인식부(221) 및 키워드 추출부(222)를 포함한다.
음성 인식부(221)는 센서(100)를 통해 수집한, 사용자가 발화한 음성을 기계적으로 분석하기 위해 기계가 이해할 수 있는 형태인 자연어로 변환한다.
더욱 상세하게, 음성 인식부(221)는 표기문자의 음절 단위로 음성을 인식하는 이산 발성 인식 방법, 개별 단어 별로 음성을 인식하는 단어 발성 인식 방법 및 문장 그 자체를 인식하는 연속 발성 인식 방법을 포함하는 방법들로 사용자의 음성을 인식하며, 인식한 음성을 기계가 이해할 수 있도록 변환한다.
키워드(keyword) 추출부(222)는 음성 인식부(221)가 수집하여 생성한 자연어를 기반으로 대화 상황에서 발생하는 키워드를 추출한다.
이때, 키워드는 대화 모델 관리부(300)가 대화 상황 지식 데이터베이스(400)에서 추출한 대화 상황 키워드와 매핑되어 키워드가 동일하거나 유사한 범주에 있으면 특정 대화 모델을 선택하는 기준이 된다. 이때, 키워드는 특정 문장에서 사용자가 현재 처한 상황을 알 수 있도록 선택된 단어일 수 있다. 예를 들어 사용자가 '로봇, 안녕하세요'와 같은 발화를 한 경우 키워드는 '안녕하세요'일 수 있다. 즉, 키워드 추출부(222)는 키워드 '안녕하세요'를 추출하고 대화 모델 관리부(300)는 대화 상황 지식 데이터베이스(400)가 저장하고 있는 대화 상황 키워드 중 키워드 '안녕하세요'와 가장 유사한 '안녕'을 선택한 뒤, 대화 상황 지식 데이터베이스(400)의 대화 상황 키워드인 '안녕'과 매핑하여, 대화 모델 선택부(220)가 인사를 건네는 대화 모델을 선택하는 기준을 제시할 수 있다.
이때, 대화 상황 및 주제에 따른 대화 순서 관리 장치를 포함하는 로봇 장치는 결정된 대화 모델, 대화 순서 및 플로어 액션(floor action)을 이용하여 사용자와 상호작용할 수 있다.
도 4에 도시된 바와 같이, 대화 상황 및 주제에 따른 대화 순서 관리 방법은, 사용자의 발화 정보를 수신하는 단계(S100), 사용자의 발화 정보에서 키워드를 추출하는 단계(S200), 추출한 키워드를 대화 상황 지식 데이터 베이스(400)에 저장된 키워드와 매핑하여 대화 모델을 선택하는 단계(S300) 및 대화 순서를 판단하고 플로어 액션(floor action)을 결정하는 단계(S400)를 포함한다.
사용자의 발화 정보를 수집하는 단계(S100)에서 음성 인식 센서는 사용자의 발화에 따라 음성 정보를 수집한다. 나아가, 수집된 음성 정보는 플로어 액션(floor action) 단서 추출부(210)에 전송되어 턴(turn)을 가져오는 행동, 턴(turn)을 유지하는 행동, 턴(turn)을 기다리는 행동 및 턴(turn)을 넘겨주는 행동을 비롯하여 대화 순서 관리 장치가 자신과 사용자의 대화 순서를 결정하는 행동을 선택하는 기준이 될 수 있다.
이때, 음성 인식 기술은 표기문자의 음절 단위로 음성을 인식하는 이산 발성 인식 방법, 개별 단어 별로 음성을 인식하는 단어 발성 인식 방법 및 문장 그 자체를 인식하는 연속 발성 인식 방법을 포함하는 사용자의 음성을 기계장치가 인식할 수 있도록 하는 모든 종류의 기술을 포함할 수 있다.
나아가, 수집된 음성 정보는 대화 모델 선택부(220)의 음성 인식부(221)에 전송되어, 키워드를 이용하여 대화 모델을 선택하는 기준이 될 수 있다.
사용자의 발화 정보에서 키워드를 추출하는 단계(S200)에서, 대화 모델 선택부(220)의 키워드 추출부(222)는 자연어 분석을 통해 사용자의 발화 정보에서 키워드를 추출한다. 이때, 키워드는 사용자가 처해있는 상황 및 하고 싶은 대화의 종류를 선택하는 기준이 될 수 있다. 예컨대, 사용자가 '로봇, 안녕하세요?'와 같은 발화를 하였다면 사용자는 인사말을 건네고 싶은 상황에 놓여 있다는 것을 알 수 있다. 이 경우, 사용자가 인사말을 건네고 싶은 상황을 로봇장치가 이해하기 위해서는 키워드를 이용해야 하며, 이때 키워드는 '안녕하세요' 또는 '안녕'일 수 있다.
추출한 키워드를 대화 상황 지식 데이터 베이스(400)에 저장된 키워드와 매핑하여 대화 모델을 선택하는 단계(S300)에서 대화 모델 관리부(300)는 사용자의 발화 정보에서 키워드를 추출하는 단계(S200)에서, 대화 모델 선택부(220)의 키워드 추출부(222)가 추출한 키워드를 대화 상황 지식 데이터베이스(400)에서 추출한 키워드에 매핑한다. 이때, 대화 모델 선택부(220)가 추출한 사용자의 대화 정보의 키워드와 상황 지식 데이터베이스(400)에 저장된 키워드가 완전히 일치하지 않는 경우가 있을 수 있다. 이때, 대화 모델 관리부(300)는 추출된 키워드와 가장 유사한 키워드를 매칭할 수 있다. 그 뒤, 대화 상황 지식 데이터베이스(400)에 저장된 대화 모델 중 매칭된 키워드에 대응하는 대화 모델을 선택한다.
이때, 대화 모델은 퀴즈, 게임, 안내 서비스, 스케쥴 관리, 토론, 책 읽어주기 및 이야기 들어주기를 포함할 수 있다.
대화 순서를 판단하고 플로어 액션(floor action)을 결정하는 단계(S400)에서 센서(100)가 수집한 정보는 플로어 액션 단서 추출부(210)를 통해 턴 전이 판단부(230)에 전달된다. 이때, 턴 전이 판단부(230)는 사용자의 행동 정보를 이용하여 턴(turn)의 전이, 즉 대화 순서를 판단한다. 그 뒤, 플로어 액션(floor action) 관리부(240)는 턴 전이 판단부(230)가 판단한 결과에 대응하여 대화 순서 관리 장치를 포함하는 로봇장치가 턴(turn)과 관련하여 어떠한 플로어 액션(floor action)을 하게 될지를 정한다.
도 5에 도시된 바와 같이, 대화 순서 판단 및 플로어 액션(floor action) 결정 단계(S400)는 대화 순서를 판단하는 단계(S410) 및 판단된 대화 순서에 따라 플로어 액션(floor action)을 결정하는 단계(S420)를 포함한다.
대화 순서를 판단하는 단계(S410)에서, 턴(turn) 전이 판단부(230)는 플로어 액션(floor action) 단서 추출부(210)를 통해 분석된 사용자의 행동 정보를 이용하여 대화의 순서를 판단한다.
예를 들어, 음성 인식 센서가 사용자의 음성이 지속되다가 더 이상 음성이 수집되지 않는다는 정보를 수집했다면, 턴(turn) 전이 판단부(230)는 사용자의 발화가 끝났으며, 이제 대화 순서 관리 장치를 포함하는 로봇장치가 대화할 차례임을 판단할 수 있다. 또한 음성 인식 센서가 사용자의 음성을 지속적으로 수집한다면, 턴(turn) 전이 판단부(230)는 아직 사용자가 말을 하고 있으며 따라서 대화 순서 관리 장치를 포함하는 로봇장치가 말할 차례가 아님을 판단할 수 있다. 한편, 대화 순서 관리 장치를 포함하는 로봇장치가 말을 하고 있는 중에 음성 인식 센서가 급작스런 사용자의 음성을 수집한다면, 턴(turn) 전이 판단부(230)는 사용자가 다시 말을 하기를 원한다는 것을 판단할 수 있다. 또한 대화 순서 관리 장치를 포함하는 로봇장치가 말을 하고 있는 중에 음성 인식 센서가 사용자의 음성을 수집하지 않는다면, 턴(turn) 전이 판단부(230)는 아직 사용자가 말하기를 원하지 않으며 자신이 계속 말해도 된다는 것을 판단할 수 있다.
나아가, 턴(turn) 전이 판단부(230)는 음성 인식 센서뿐 아니라 영상 센서 및 터치 센서를 포함하는 여러 종류의 센서를 이용하여 사용자가 대화하는 차례인지, 대화 순서 관리 장치를 포함하는 로봇장치가 대화하는 차례인지를 판단하여 턴(turn)이 전이되는지 여부를 판단할 수 있다.
플로어 액션(floor action)을 결정하는 단계(S420)에서 플로어 액션(floor action) 관리부(240)는 턴(turn) 전이 판단부(230)가 판단한 결과에 대응하여 대화 순서 관리 장치를 포함하는 로봇장치가 턴(turn)과 관련하여 어떠한 행동을 하게 될지를 관리한다.
더욱 상세하게 플로어 액션(floor action)에는 턴(turn)을 가져오는 행동, 턴(turn)을 유지하는 행동, 턴(turn)을 기다리는 행동 및 턴(turn)을 넘겨주는 행동이 포함될 수 있으며, 상술한 예시에서 턴(turn) 전이 판단부(230)가 사용자의 발화가 끝났으며, 이제 대화 순서 관리 장치를 포함하는 로봇장치가 대화할 차례임을 판단한 경우 플로어 액션(floor action) 관리부(240)는 턴(turn)을 가져오는 행동을 해야 함을 결정하고, 턴(turn) 전이 판단부(230)가 아직 사용자가 말을 하고 있으며 따라서 대화 순서 관리 장치를 포함하는 로봇장치가 말할 차례가 아님을 판단한 경우 플로어 액션(floor action) 관리부(240)는 턴(turn)을 기다리는 행동을 해야 함을 결정하며, 턴(turn) 전이 판단부(230)가 사용자가 다시 말을 하기를 원한다는 것을 판단하면 플로어 액션(floor action) 관리부(240)는 턴(turn)을 넘겨주는 행동을 해야 함을 결정하고, 턴(turn) 전이 판단부(230)가 아직 사용자가 말하기를 원하지 않으며 자신이 계속 말해도 된다는 것을 판단한 경우 플로어 액션(floor action) 관리부(240)는 턴(turn)을 유지하는 행동을 해야 함을 결정할 수 있다.
상술한 단계를 거쳐, 대화 상황 및 주제에 따른 대화 순서 관리 장치를 포함하는 로봇 장치는 결정된 대화 모델, 대화 순서 및 플로어 액션(floor action)을 이용하여 사용자와 상호작용할 수 있다.
이상에서 본 발명에 따른 바람직한 실시예에 대해 설명하였으나, 다양한 형태로 변형이 가능하며, 본 기술분야에서 통상의 지식을 가진 자라면 본 발명의 특허청구범위를 벗어남이 없이 다양한 변형예 및 수정예를 실시할 수 있을 것으로 이해된다.
100: 센서 200: 턴 관리부
210: 플로어 액션 단서 추출부
220: 대화 모델 선택부 221: 음성 인식부
222: 키워드 추출부 230: 턴 전이 판단부
240: 플로어 액션 관리부 300: 대화 모델 관리부
400: 대화 상황 지식 데이터베이스

Claims (1)

  1. 사용자의 발화 정보로부터 키워드를 추출하여 대화 주제를 판단하여 대화 순서를 결정하고 상기 대화 순서를 관리하는 턴(turn) 관리부;
    사용자의 시선, 발화, 제스처, 및 터치를 포함하는 명시적 신호를 이용해 플로어 액션의 상태를 결정하는 플로어 액션 관리부;
    대화 상황에 따른 대화 모델을 저장하고 상기 대화 모델을 관리하는 대화 상황 지식 데이터베이스; 및
    발화 정보로부터 추출된 키워드와 상기 대화 상황 지식 데이터베이스에 저장된 키워드를 이용하여 대화 모델을 매핑하는 대화 모델 관리부를 포함하는,
    대화 상황 및 주제에 따른 대화 순서 관리 장치.
KR1020150086534A 2015-06-18 2015-06-18 대화 상황 및 주제에 따른 대화 순서 관리 장치 및 방법 KR20160149488A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150086534A KR20160149488A (ko) 2015-06-18 2015-06-18 대화 상황 및 주제에 따른 대화 순서 관리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150086534A KR20160149488A (ko) 2015-06-18 2015-06-18 대화 상황 및 주제에 따른 대화 순서 관리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20160149488A true KR20160149488A (ko) 2016-12-28

Family

ID=57724250

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150086534A KR20160149488A (ko) 2015-06-18 2015-06-18 대화 상황 및 주제에 따른 대화 순서 관리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20160149488A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019194451A1 (ko) * 2018-04-06 2019-10-10 삼성전자주식회사 인공지능을 이용한 음성 대화 분석 방법 및 장치
CN111339266A (zh) * 2020-02-13 2020-06-26 深圳市人马互动科技有限公司 聊天机器人的开发系统和聊天机器人模块
KR20200086587A (ko) * 2019-01-09 2020-07-17 주식회사 솔트룩스 모듈형 대화 모델을 위한 시스템 및 방법
KR20200114920A (ko) 2019-03-27 2020-10-07 한국과학기술원 지식 학습을 위한 대화 에이전트의 대화 주도 방법 및 장치
KR20200143991A (ko) * 2019-06-17 2020-12-28 주식회사 오니온파이브 텍스트의 내용 및 감정 분석에 기반한 답변 추천 시스템 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120111510A (ko) 2011-04-01 2012-10-10 경남대학교 산학협력단 대화형 음성 인식을 통한 로봇 제어 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120111510A (ko) 2011-04-01 2012-10-10 경남대학교 산학협력단 대화형 음성 인식을 통한 로봇 제어 시스템

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019194451A1 (ko) * 2018-04-06 2019-10-10 삼성전자주식회사 인공지능을 이용한 음성 대화 분석 방법 및 장치
US11769492B2 (en) 2018-04-06 2023-09-26 Samsung Electronics Co., Ltd. Voice conversation analysis method and apparatus using artificial intelligence
KR20200086587A (ko) * 2019-01-09 2020-07-17 주식회사 솔트룩스 모듈형 대화 모델을 위한 시스템 및 방법
KR20200114920A (ko) 2019-03-27 2020-10-07 한국과학기술원 지식 학습을 위한 대화 에이전트의 대화 주도 방법 및 장치
KR20200143991A (ko) * 2019-06-17 2020-12-28 주식회사 오니온파이브 텍스트의 내용 및 감정 분석에 기반한 답변 추천 시스템 및 방법
CN111339266A (zh) * 2020-02-13 2020-06-26 深圳市人马互动科技有限公司 聊天机器人的开发系统和聊天机器人模块

Similar Documents

Publication Publication Date Title
US11017779B2 (en) System and method for speech understanding via integrated audio and visual based speech recognition
US10019992B2 (en) Speech-controlled actions based on keywords and context thereof
JP4557919B2 (ja) 音声処理装置、音声処理方法および音声処理プログラム
KR20160149488A (ko) 대화 상황 및 주제에 따른 대화 순서 관리 장치 및 방법
KR101423258B1 (ko) 상담 대화 제공 방법 및 이를 이용하는 장치
US20190371318A1 (en) System and method for adaptive detection of spoken language via multiple speech models
JP3945356B2 (ja) 音声対話装置及びプログラム
CN112074899A (zh) 基于多模态传感输入的人机对话的智能发起的系统和方法
US11183187B2 (en) Dialog method, dialog system, dialog apparatus and program that gives impression that dialog system understands content of dialog
JP2017215468A (ja) 音声対話装置および音声対話方法
CN107403011B (zh) 虚拟现实环境语言学习实现方法和自动录音控制方法
US20220101856A1 (en) System and method for disambiguating a source of sound based on detected lip movement
JP6654691B2 (ja) 情報処理装置
JP6633250B2 (ja) 対話ロボットおよび対話システム、並びに対話プログラム
JP2011504624A (ja) 自動同時通訳システム
CN111192585A (zh) 一种音乐播放控制系统、控制方法及智能家电
JP6797338B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20010056345A1 (en) Method and system for speech recognition of the alphabet
CN115167656A (zh) 基于人工智能虚拟形象的互动服务方法及装置
WO2021066399A1 (ko) 관계 설정을 이용한 실감형 인공지능기반 음성 비서시스템
KR100898104B1 (ko) 상호 대화식 학습 시스템 및 방법
EP1316944A2 (en) Sound signal recognition system and method, and dialog control system and method using it
JP4947439B2 (ja) 音声ガイダンス装置と音声ガイダンス方法、音声ガイダンスプログラム
CA2839285A1 (en) Hybrid dialog speech recognition for in-vehicle automated interaction and in-vehicle user interfaces requiring minimal cognitive driver processing for same
KR20150136583A (ko) 사용자와 다국어 대화를 수행하는 장치 및 그 수행 방법