KR20220128897A - 인공지능 아바타를 활용한 회화 능력 평가 시스템 및 그 방법 - Google Patents

Abstract

본 발명은 인공지능 아바타를 활용한 회화 능력 평가 시스템 제공 방법이 기술되며, 인공지능 아바타가 문제 별 대화 주제와 상황을 응시자에게 설명하는 단계, 인공지능 아바타가 대화를 시작하면서 주제와 상황에 맞는 질문과 요청을 하는 단계, 응시자가 발화하는 동안 인공지능 아바타가 적절한 리액션과 추임새를 취하는 단계, 응시자의 응답을 텍스트로 변환하여 현재 대화 문맥에 맞게 이해하고 인공지능 아바타의 응답과 제스처로 생성하고 표현하는 단계, 응시자와 인공지능 아바타가 각 문제 별 주제와 상황에 기반한 대화 내용을 분석하고 각 평가 항목별로 평가 점수를 산출하고 구체적인 평가 요인 및 개선 방안을 제공하는 단계, 응시자와 인공지능 아바타가 현재까지 진행한 문제 별 평과 결과를 기반으로 다음 문제의 주제와 상황 정보를 제시하는 단계, 응시자의 정보를 기반한 응시자 그룹을 만들고 그룹의 평가 점수 및 랭킹을 제공하는 단계, 각 문제 별 대화 주제와 상황에 따라 인공지능 아바타와 그 배경에 광고 배너를 노출하는 단계를 포함한다.

Description

인공지능 아바타를 활용한 회화 능력 평가 시스템 및 그 방법 {Speaking Test System and Method with AI Avatar}

본 발명은 응시자가 인공지능 아바타와 대화를 하고 이를 기반으로 회화 능력을 평가할 수 있는 방법에 관한 것으로, 더욱 상세하게는 인공지능 아바타가 대화 상대자로 화면에 보여지고, 응시자에게 문제 별 특정 주제와 상황을 제시한 후 대화를 시작하고, 응시자의 발화를 입력 받아 의미를 이해하고, 대화 문맥에 맞는 응답을 오디오로 들려준다. 응시자와 해당 문맥에 맞는 연속적인 대화를 하게 되고, 대화를 하면서 응시자의 회화 능력을 유창성, 표현력, 발음, 문법적인 정확도 등의 관점에서 평가한다. 인공지능 아바타는 사람 같은 자연스러운 대화 경험을 이끌기 위해 듣고 있을 때, 말하고 있을 때의 각 문맥에 맞는 제스처를 보여준다. 인공지능 아바타가 응시자와의 깊이 있는 대화를 통해 응시자의 회화 능력을 정밀하게 평가할 수 있도록 한 회화 능력 평가 시스템 및 방법에 관한 것이다.

외국어 말하기 시험은 면대면 인터뷰와 컴퓨터 기반의 평가 방법이 있다. 면대면 인터뷰는 응시자와 평가자 간 특정 주제와 상황에 대해서 질문과 응답을 하는 형식으로 진행된다. 이런 면대면 인터뷰는 물리적인 시간과 리소스 부족으로 응시 비용이 비싸고, 대중적으로 적용되기에는 무리가 있다.

컴퓨터 기반의 평가는 실제 생활에서 얼마나 효과적이고 적절한 언어를 사용할 수 있는가를 측정하는 평가 도구로 응시자들이 컴퓨터를 통해 질문에 대한 답변을 녹음하는 것으로 상대적으로 면대면 인터뷰 보다 많이 활용되고 있다. 이런 컴퓨터 기반의 평가들도 실제 응시자가 컴퓨터에 나오는 가이드에 따라 질문을 받으면 이에 대한 응답만 하게 되어 응시자의 실질적인 회화 능력을 깊이 있게 평가하기에는 한계가 있다.

종래의 인공지능 외국어 말하기 시험은 주어진 텍스트를 읽는 영어 발음, 사진을 보고 묘사, 질문에 대한 간단한 대답을 통해 회화 능력을 평가한다. 이런 말하기 시험에서는 단순 발음 능력을 측정하거나, 질문을 한 후, 수초 이상을 응시자가 답변을 생각하고 정리한 후 주어진 시간 분량 안에 대답을 하게 한다. 이런 시험은 평가하는 측면에서, 발음의 정확도, 사진 묘사력, 질문의 이해 및 답변의 유창성 일관성을 평가한다. 이런 인공지능 말하기 시험도 응시자의 회화 능력을 심층적으로 평가하기는 어렵고, 흔히 응시자의 설문 입력 내용을 기반으로 문제를 큐레이션 하는 것으로 응시자가 문제 패턴을 익힌 후, 해당 패턴에 맞는 답변만 미리 준비하면, 높은 말하기 능력 평가 점수를 받을 수 있는 한계가 있다. 또한 응시자들은 본인의 평가 결과에 대한 점수와 대략적인 설명만 받을 수 있고, 응시자가 말한 내용을 분석한 세세한 항목별 피드백을 받을 수 없어, 어떤 부분에서 부족한지 파악하기 어려운 한계가 있다.

본 발명은 전술한 바와 같이 종래 기술의 제반 문제점을 해결하기 위해 제안된 것으로, 본 발명은 인공지능 아바타가 응시자에게 문제 별로 주어진 주제와 상황을 응시자에게 설명하고, 응시자의 회화 능력을 평가하기 위해 자연스럽게 대화를 이끌어 가고, 응시자의 발화를 대화 문맥에 맞게 이해하면서 적절한 제스처와 소리로 리액션을 보여주고, 응시자의 발화가 끝난 후, 이에 맞는 응답을 생성한 후 제스처와 함께 오디오로 응답을 들려준다. 응시자와 해당 문맥에 맞는 연속적인 대화를 하게 되고, 대화를 하면서 응시자의 회화 능력을 유창성, 표현력, 발음, 문법적인 정확도 등의 평가 항목으로 실시간으로 측정한다. 인공지능 아바타가 응시자와의 깊이 있는 대화를 통해 응시자의 회화 능력을 정밀하고 실시간으로 평가할 수 있도록 한 인공지능 아바타를 활용한 회화 능력 평가 시스템 및 방법을 제공하는데 목적이 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 인공지능 아바타가 문제 별 대화 주제와 상황을 응시자에게 설명하는 단계, 인공지능 아바타가 대화를 시작하면서 대화 주제와 상황을 설명하고, 이에 맞는 질문과 요청을 하는 단계, 응시자가 발화하는 동안 인공지능 아바타가 적절한 리액션과 추임새를 보여주는 단계, 응시자의 응답을 텍스트로 변환하여 현재 대화 문맥에 맞게 이해하고, 인공지능 아바타의 응답과 제스처를 생성하고 표현하는 단계, 응시자와 인공지능 아바타가 각 문제 별 주제와 상황에 기반한 대화 내용을 분석하고 각 평가 항목별로 평가 점수를 산출하고 구체적인 평가 요인 및 개선 방안을 제공하는 단계, 응시자와 인공지능 아바타가 현재까지 진행한 문제 별 평과 결과를 기반으로 다음 문제의 주제와 상황 정보를 제시하는 단계, 응시자의 정보를 기반한 응시자 그룹을 만들고 그룹의 평가 점수 및 랭킹을 제공하는 단계, 각 문제 별 대화 주제와 상황에 따라 인공지능 아바타와 그 배경에 광고 배너를 노출하는 단계를 포함한다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 인공지능 아바타가 응시자의 회화 능력 평가를 위한 대화 상대가 되고, 주어진 문제의 대화 주제와 상황에 맞는 자연스러운 대화로 이끌어 가고, 응시자와 대화하는 동안 제스처와 추임새를 통해 실제 대화의 경험을 살리고, 현재 대화 문맥을 기반으로 응시자 발화를 이해하고, 이에 맞는 응답과 제스처를 생성하고, 응시자의 요청이나 인공지능 아바타의 제안으로 다음 문제로 넘어가고, 문제 별 응시자와 인공지능 아바타 간 대화를 인공지능으로 분석하여 회화 능력을 실시간으로 평가하고, 각 평가 항목에 대한 구체적인 개선 방안을 제안하여 회화 능력 평가의 효율성과 정확정을 높이는 인공지능 아바타를 활용한 회화 능력 평가 시스템을 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 인공지능 아바타 활용한 회화 능력 평가 시스템을 설명하기 위한 도면이다.
도 2, 도 3, 도 4, 도 5, 도 6, 도 7은 본 발명의 일 실시예에 따른 인공지능 아바타를 활용한 회화 능력 평가 시스템이 구현된 일 실시예를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 도 1의 인공지능 아바타를 활용한 회화 능력 평가 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신 되는 과정을 나타낸 도면이다.

본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해 설명과 관련 없는 부분은 생략하였으며, 명세서 전체에서 유사한 부분에 대해서는 유사한 도면 부호를 붙인다.

명세서 전체에서 어떤 부분이 다른 부분과 '연결' 되어 있다고 할 때, 이는 '직접적으로 연결' 되어 있는 경우 뿐 아니라, 그 중간에 다른 모듈을 두고 연결되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 '포함' 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

명세서 전체에서 사용되는 정도의 용어 '약', '실질적으로' 등은 언급된 의미에 고유한 제조 및 물질 허용오차 가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 '~(하는) 단계' 또는 '~의 단계'는 '~를 위한 단계'를 의미하지 않는다.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다.

본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.

본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 인공지능 아바타를 활용한 회화 능력 평가 시스템을 설명하기 위한 도면이다. 도 1을 참조하면, 인공지능 아바타를 활용한 회화 능력 평가 시스템은, 응시자가 시스템에 접근할 수 있는 클라이언트(100), 네트워크(200), 인공지능 아바타 회화 능력 평가 서비스를 제공하는 서버(300)를 포함할 수 있다. 도 1은 본 발명의 일 실시예에 불과하므로, 도 1을 통해 본 발명이 한정 해석되는 것은 아니다.

도 1의 각 구성요소들은 일반적으로 네트워크(200)를 통해 연결된다. 여기서 네트워크는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 RF, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5GPP(5rd Generation Partnership Project) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스 (Bluetooth) 네트워크, NFC 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다. 적어도 하나의 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명 하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경 가능하다.

클라이언트(100)는 인공지능 아바타가 응시자와 직접적인 대화를 할 수 있는 아바타 제어부(110), 문제 별 대화 주제와 상황 가이드를 제공하는 컨텐츠 제어부(120), 인공지능 아바타와 응시자가 대화한 것을 텍스트로 보여주는 대화 관리부(130), 상기 3개 모듈(110, 120, 130) 간의 연결과 단말의 시스템 내부 기능과 서버(300)간 제어를 해 주는 시스템 제어부(140), 응시자의 회화 능력 평가 결과를 제공하는 평가 결과부(150)로 구성될 수 있다.

아바타 제어부(110)는 인공지능 아바타의 전신이나 얼굴을 포함한 신체 일부가 특정 배경과 함께 보여 진다. 인공 지능 아바타의 종류는 문제 별 대화 주제와 상황에 따라 다양한 형태와 모습으로 제공된다. 배경 또한 달라지는데, 가령 대학 생활에서 도서관 관련 주제이면, 도서관에서 책을 대여하는 장면으로 나타날 수 있다.

인공지능 아바타는 응시자가 발화하는 것을 듣고 있을 때, 응시자에게 발화할 때, 다음 입력을 대기 중일 때에 따라 제스처가 달라진다. 응시자가 발화하는 동안 응시자의 상황과 발화 의미 등의 문맥을 이해하여 문맥에 맞는 적절한 리액션을 보여주면서 응시자에게 잘 듣고 있다는 것을 인지시키고 자연스럽게 응시자와의 대화를 이어 간다. 가령, 응시자가 답변 도중 머뭇거리면서 말하는 포인트를 잃는 경우, 인공지능 아바타는 응시자가 여유를 가질 수 있게 현재 질문한 것과 응시자가 말하는 것을 다시 한번 언급해 주며 응시자가 발화를 다시 할 수 있게 도와준다.

또한, 아바타 제어부(110)는 인공지능 아바타와 응시자의 발화 입력 턴을 자동으로 조절할 수 있다. 가령 인공지능 아바타의 발화가 끝나면, 수초 뒤에 응시자가 발화할 수 있게 자동으로 마이크가 켜지고, 응시자가 이를 인지할 수 있게 소리와 마이크 아이콘을 녹음 중 아이콘으로 변경한다. 응시자의 발화가 끝나면 시스템은 이를 인지하고, 마이크 아이콘을 꺼진 상태로 표시한다.

응시자의 발화 입력은 수동으로도 할 수 있다. 인공지능 아바타가 발화하고 있는 경우, 상태 표시가 인공지능 아바타 발화하는 중으로 표시되고, 인공지능 아바타의 발화가 끝나면, 상태 표시가 마이크 아이콘으로 바뀐다. 이때 응시자가 마이크 버튼을 누른 경우, 응시자는 자신의 발화를 녹음할 수 있게 된다. 응시자가 발화를 끝내고, 다시 녹음 중 아이콘을 누르면 녹음이 종료가 되고, 마이크 아이콘은 꺼진 상태로 보여 진다.

아바타 제어부(110)는 인공지능 아바타와 함께 배경에 광고 배너를 자연스럽게 보여준다. 현재 문제의 대화 주제와 상황에 맞는 배경이 등장하고, 이 배경에 있는 광고 배너는 서버(300)의 광고 제공부(360)에서 큐레이션 한 것이다. 가령 현재 대화 주제가 씨티은행 고객센터에 본인 계좌관련 정보를 문의하는 상황이라면, 씨티은행의 고객센터 배경을 보여주고, 회사 로고 및 아바타의 의상에 자연스럽게 브랜드 광고가 응시자에게 노출된다.

컨텐츠 제어부(120)는 인공지능 아바타와 응시자간 문제 별 대화 주제 및 상황 정보를 제공해 준다. 여기서 대화 주제는 일상 생활 및 전문 영역을 포함한 대부분의 영역을 포함하고, 대화 주제는 텍스트와 사진, 오디오, 비디오 등으로 표시될 수 있다. 상황 정보는 인공지능 아바타와 응시자간 역할, 문제 해결, 도움, 설명 등 다양하게 설정될 수 있다. 또한 특정 지문이나 사진, 소리, 영상으로 제공되고 이와 관련한 대화 주제와 상황으로 인공지능 아바타와 응시자간 대화가 시작되게 한다.

컨텐츠 제어부(120)는 응시자가 인공지능 아바타와 다른 문제로 넘어갈 수 있게 컨트롤 버튼을 제공한다. 또한 아바타 제어부(110)에서 응시자가 발화를 통해 주제를 변경할 것을 요청할 수 있다. 가령, 응시자는 인공지능 아바타에게 다른 주제로 대화하자고 제안하거나, 특정 주제를 지정해서 대화하자고 말을 할 수도 있다. 이렇게 대화 주제가 바뀌면, 인공지능 아바타는 해당 주제와 관련된 문제에 대한 정보 제공 및 상황 설명을 한 후 자연스럽게 후속 대화를 이어간다. 또한 응시자가 현재까지 진행한 문제 및 주제의 난이도, 중간 평가 데이터를 기반으로 서버(300)의 컨텐츠 관리부(320)는 현재 난이도에 비해 응시자의 평가 결과가 낮을 경우 문제 및 주제의 난이도가 현재 수준 보다 더 낮은 것으로 큐레이션 한다.

대화 관리부(130)는 아바타 제어부(110)에서 인공지능 아바타나 응시자의 발화가 끝나면, 해당 발화의 텍스트를 보여준다. 여기서 입력된 텍스트는 서버(300)의 상호작용 처리부(330)와 대화 평가부(340)로 전달되고, 응시자 발화에 대한 응답과 제스처를 생성하고, 현재 대화 문맥상 평가 항목에 따라 인공지능 평가 모델로 실시간으로 응시자 발화를 평가하게 된다. 또한 대화 관리부(130)는 인공지능 아바타가 응시자의 발화를 인식한 것과 실제 응시자가 인지하고 있는 자신의 발화와 차이가 있는 경우, 응시자가 직접 시스템으로 발화 인식 결과 확인 필요 피드백을 줄 수 있는 기능도 제공할 수 있다. 가령 대화 관리부(130)의 응시자 본인의 발화가 인식된 텍스트를 누르거나, 발화를 통해 인공지능 아바타가 본인의 발음을 잘 못 인식했다고 알려줄 수 있다.

시스템 제어부(140)는 상기 세가지 모듈(110, 120, 130)간의 연결과 단말의 시스템 내부 기능과 서버(300)간 제어를 해 준다. 좀 더 구체적으로는 문제 별 응시자와의 대화 주제 및 상황 정보를 네트워크(200)를 통해 서버(300)의 컨텐츠 관리부(320)에서 받아오고 이를 컨텐츠 제어부(120)에 전달한다. 또한 아바타 관리부(310)에서 인공지능 아바타의 페르소나와 현재 대화 주제에 맞는 배경, 광고 제공부(360)에서 현재 대화 주제에 맞는 광고 배너를 받아 아바타 제어부(110)에 전달한다. 이후 시스템 제어부(140)은 아바타 제어부(110)에 현재 문제 관련 주제와 상황에 대한 대화 시작을 트리거(Trigger)하고, 인공지능 아바타와 응시자가 발화한 것을 인식하여 대화 관리부(130)에 전달한다. 상기 설명한 플로우 외에 다른 클라이언트 서버 모듈간 모든 연결과 제어를 포함할 수 있다.

평가 결과부(150)는 각 문제 별 대화 내용을 분석하여, 응시자의 말하기 평가 점수를 제공하고, 각 평가 항목 별 응시자가 개선해야할 구체적인 항목을 제공한다. 좀 더 구체적으로는, 응시자가 매 발화시 마다 현재 문제의 대화 주제와 상황, 지금까지 인공지능 아바타와 응시자가 발화한 대화 문맥을 기반으로, 서버(300)의 대화 평가부(340)에서 현재 문제의 대화 주제 및 상황에 맞게 직전까지 나눈 대화의 문맥을 유지하며 응답을 했는지 평가하는 대화 컨텍스트 유지 측면, 다양한 표현과 어휘를 사용하고 문장 구조를 자유롭게 변경했는지 측정하는 유창성 측면, 문법적인 오류가 없고 듣고 이해 가능한 지 측정하는 표현의 정확성 측면, 현재 문제의 주제와 상황 설명에 나타난 정보를 잘 이해하고 이를 반영하여 응답을 했는지 측정하는 이해도 측면, 네이티브 스피커가 쉽게 이해가능한 표현을 잘 썼는지 측정하는 자연스러움 측면, 해당 언어를 사용하는 일반적인 사람들이 인지할 수 있는 억양과 발음을 구사했는지 측정하는 발음의 정확성 측면, 인공지능 아바타가 응시자와의 대화의 문맥을 유지하며 깊이 있는 대화를 했는지 여부를 측정하는 대화 몰입성 측면을 평가하여 응시자에게 각 항목별 및 전체 점수를 보여준다. 또한, 평가 결과부(150)는 각 평가 항목별 구체적인 평가 결과 및 개선 방안도 제공한다. 가령, 대화 컨텍스트 유지 측면에서는, 특정 문제에 대한 인공지능 아바타와 응시자의 대화 내용을 보여주고, 어떤 응시자의 발화가 대화 문맥에서 벗어났는지 보여주고, 이 문맥에 맞게 사용될 수 있는 다른 응답을 제시할 수 있다. 또한, 유창성 측면에서는, 응시자가 동일한 단어를 반복적으로 사용하는 경우, 이 대화의 문맥에 맞게 사용될 수 있는 다른 표현이나 단어를 제공할 수 있다. 또한, 표현의 정확성 측면에서는, 응시자 발화의 문법적인 오류 구간을 표시하고, 이를 정정한 표현을 제공할 수 있다. 또한, 주제 및 상황 이해도 측면에서는, 응시자가 주어진 상황에 맞는 페르소나에 따른 충실한 역할을 하지 못 한 경우, 이런 역할에 맞는 대화 예시를 제공할 수 있다. 또한 표현의 자연스러움 측면에서는, 네이티브 스피커가 아닌 응시자들이 흔히 범하는 네이티브 스피커가 절대 사용하지 않는 어색한 표현들을 정정한 표현을 제공할 수 있다. 또한 발음의 정확성 측면에서는, 해당 언어를 사용하는 다양한 지역의 네이티브 스피커들의 발음을 이해할 수 있는 인공지능 아바타가 응시자의 현재 발화를 인식 못하거나 인식하더라도 과도한 추측으로 인식한 경우, 이에 해당하는 정확한 발음을 오디오, 발음기호, 입 모양 그림이나 영상으로 제공할 수 있다. 또한 대화 몰입성 측면에서는, 인공지능 아바타가 응시자와의 깊이 있는 대화를 진행하기 위해 다양한 질문을 이끌어 낼 수 있는 핵심 키워드나 표현을 사용하지 않은 경우, 해당 문제의 대화 내용과 함께 이런 핵심 키워드와 표현을 사용할 것을 제시할 수 있다.

서버(300)는 인공지능 아바타의 페르소나(Persona)와 제스처를 정의하고, 문제 별 대화 주제와 상황에 따라 달라지는 인공지능 아바타를 관리하는 아바타 관리부(310), 응시자와 인공지능 아바타가 대화를 하기 위한 문제 별 주제와 상황을 제공하는 컨텐츠 관리부(320), 인공지능 아바타의 페르소나(Persona), 대화 주제 및 상황, 현재 대화의 문맥에 따라 응답과 적절한 제스처를 생성하는 상호작용 처리부(330), 응시자가 발화한 텍스트를 각 평가 항목 별 인공지능 평가 모델로 실시간 평가를 하고 개선 방안을 제시하는 대화 평가부(340), 전체 응시자들이 속한 그룹별 평균 점수와 랭킹을 제공하는 통계 처리부(350), 문제 별 대화 주제 및 상황에서 인공지능 아바타가 등장하는 배경에 자연스러운 광고 배너를 삽입하는 광고 제공부(360)로 구성될 수 있다.

아바타 관리부(310)는 응시자들과 문제 별 주제 및 상황에 맞게 대화하는 인공지능 아바타들을 정의하고 관리한다. 인공지능 아바타는 사람 같은 성격이나 이력, 경험 등을 가질 수 있고, 이에 기반하여 상호작용 처리부(330)에서 응답과 제스처를 생성한다. 인공지능 아바타는 사람 같은 형상을 지닐 수 있고, 동물이나 게임에 나오는 인물 같이 다양한 캐릭터로 나올 수 있다. 이런 인공지능 아바타는 대화 주제나 문맥에 따라 다양한 제스처를 취할 수 있는데, 아바타 마다 같은 대화 문맥이라도 제스처가 달라질 수 있다. 이렇게 정의된 주요 제스처 들은 상호작용 처리부(330)에서 사용된다. 인공지능 아바타는 자신 만의 독특한 표현들도 사용할 수 있고 이런 주요 표현 방식들도 아바타 관리부(310)에서 정의된다. 또한 인공지능 아바타는 자신의 목소리도 가진다. 이런 목소리를 생성하는 음성합성 모델은 사전에 학습되어 아바타 관리부(310)에 등록된다.

컨텐츠 관리부(320)는 응시자가 테스트를 시작한 이후, 응시자에 인공지능 아바타가 대화를 하기 위한 문제 별 주제와 상황을 제공한다. 이러한 주제와 상황은 대화하는 응시자의 회화 능력에 따라 달라질 수 있다. 응시자가 현재까지 진행한 문제 및 주제의 난이도, 중간 평가 데이터를 실시간으로 분석하여 현재 난이도에 비해 응시자의 평가 결과가 낮을 경우 다음 문제 및 주제는 현재 수준 보다 더 낮은 난이도로 큐레이션 한다. 문제 별 대화 주제 및 상황은 일상 생활에 관련된 소재부터 전문 분야 지식까지 다양하게 될 수 있고, 상황은 응시자와 인공지능 아바타가 역할, 질의 응답, 문제 해결, 설명 등의 조건이 주어 질 수 있다. 또한 이런 문제 별 대화 주제 및 상황은 텍스트, 그림, 사진, 오디오, 비디오를 포함할 수 있다.

상호작용 처리부(330)는 인공지능 아바타의 페르소나(Persona), 문제 별 대화 주제 및 상황, 현재 대화의 문맥에 따라 인공지능 아바타의 응답과 제스처를 생성한다. 응답을 생성함에 있어서는, 사람 간의 실제 대화 데이터를 딥러닝으로 학습하여 베이스 모델을 만들고, 특정 주제에 대한 각 인공지능 아바타의 페르소나에 맞는 대화 데이터를 추가 학습하여 대화 모델을 만든다. 또한, 인공지능 아바타와 응시자 간의 자연스러운 대화를 통한 회화 능력 평가에 목적을 두고 있어, 현재 문제의 주제 및 상황에 맞지 않을 수는 있으나, 응시자가 흔히 할 수 있는 질문이나 요청들은 룰기반으로 학습한 모델로 응답을 생성할 수 있다. 또한 새로운 문제의 주제와 상황 정보를 기반으로 대화를 시작하기 위해, 인공지능 아바타는 응시자와의 인사나 문제 설명, 주제 및 상황 가이드를 응시자에게 주는데, 이때는 사전에 정의된 템플릿 기반의 대화 문구를 생성해서 사용할 수 있다.

인공지능 아바타의 제스처는 응시자가 발화할 때 인공지능 아바타가 듣는 상황의 제스처, 듣고 난 후 이를 해석하여 인공지능 아바타가 응답하면서 취하는 제스처, 그리고 응시자의 입력이나 스스로 아무런 액션을 하지 않는 대기중의 제스처를 생성한다. 듣는 상황에서는 응시자가 발화하는 것을 듣고 있다는 것을 보여주고, 발화하는 중간에 쉼이 있는 경우, 그 때까지 이해한 것을 기반으로 리액션을 준다. 가령, 응시자가 하는 말에 인공지능 아바타가 납득이 되거나 설득이 되는 경우, 고개를 끄덕이면서 맞아 라는 리액션을 생성할 수 있다.

인공지능 아바타는 응시자의 발화를 이해한 후 응답을 생성하고, 해당 응답을 인공지능 아바타가 발화하는 중간에 강조나 지시 등이 필요한 경우 바디 랭귀지(Body Language)를 사용하는 제스처를 포함할 수 있다.

대화 평가부(340)는 클라이언트(100)의 아바타 제어부(110)를 통해 인공지능 아바타와 응시자간 각 문제 별 대화를 할 때, 매 응시자의 발화를 시스템 제어부(140)을 통해 전달받고, 응시자의 현재 발화를 각 평가 항목 별 실시간 인공지능 평가 모델로 점수를 부여한다. 좀 더 구체적으로는, 현재 문제의 대화 주제 및 상황에 맞게 직전까지 나눈 대화의 문맥을 유지하며 응답을 했는지 평가하는 대화 컨텍스트 유지 측면, 다양한 표현과 어휘를 사용하고 문장 구조를 자유롭게 변경했는지 측정하는 유창성 측면, 문법적인 오류가 없고 듣고 이해 가능한 지 측정하는 표현의 정확성 측면, 현재 문제의 주제와 상황 설명에 나타난 정보를 잘 이해하고 이를 반영하여 응답을 했는지 측정하는 이해도 측면, 네이티브 스피커가 쉽게 이해가능한 표현을 잘 썼는지 측정하는 자연스러움 측면, 해당 언어를 사용하는 일반적인 사람들이 인지할 수 있는 억양과 발음을 구사했는지 측정하는 발음의 정확성 측면, 인공지능 아바타가 응시자와의 대화의 문맥을 유지하며 깊이 있는 대화를 했는지 여부를 측정하는 대화 몰입성 측면을 평가한다.

대화 평가부(340)는 각 평가 항목별 딥러닝으로 학습시킨 인공지능 평가 모델을 사전에 만들고, 이 모델에 각 문제 별 주제 및 상황 정보, 직전까지 나눈 대화 내용과 현재 응시자 발화의 텍스트를 사용하여 각 평가 항목별 7단계 리커트 척도로 평가 결과를 표시할 수 있다. 통상적으로 5단계와 9단계 리커트 척도 및 이를 100점 환산해서 숫자로 표시할 수 있다.

대화 평가부(340)는 각 평가 항목별 인공지능 모델을 지속적으로 개선할 수 있게 응시자와 인공지능 아바타의 대화 평가 데이터를 가공하여 해당 모델 학습에 활용한다. 가령, 응시자와 인공지능 아바타의 대화 평가 결과에 오류가 있는 경우, 해당 대화 데이터를 학습 데이터로 가공하여 다음 인공지능 평가 모델을 학습할 때 활용한다.

대화 평가부(340)는 응시자와 인공지능 아바타 대화 기반 각 평가 항목의 점수를 생성하면서, 동시에 어떤 부분에서 개선이 필요한지 구체적인 항목을 생성한다.

대화 컨텍스트 유지 측면에서는, 응시자의 발화 중 대화 문맥에 벗어난 발화를 추출하고, 이 문맥상 응시자의 답변을 대체할 수 있는 표현이나 문장을 제시할 수 있다. 대화 컨텍스트 평가 모델은 현재 문제의 주제와 상황, 직전 대화까지의 대화 내용을 기반으로 응시자의 발화 내용이 대화 컨텍스트에 맞는지 안 맞는지 평가를 한다. 이때, 맞지 않는다면, 해당 대화 컨텍스트에 맞는 응시자의 답변을 대신 생성한다. 이런 평가 모델은 대용량 말뭉치 기반으로 사전 학습 언어 모델을 만들고, 이 모델 위에 대화 컨텍스트 평가를 위한 상세 학습 데이터를 파인튜닝(Fine-tuning)하여 만들 수 있는 트랜스퍼 러닝(Transfer Learning)의 결과로 생성될 수 있다.

또한, 유창성 측면에서는, 응시자가 동일한 단어를 반복적으로 사용하는 경우, 이 발화의 문맥에 맞게 사용될 수 있는 다른 표현이나 단어를 제공할 수 있다. 또한 응시자가 어려운 용어나 이디엄(Idiom) 같은 고급 어휘나 표현을 적절히 구사하고, 문장 구조를 잘 잡아 인공지능 아바타가 쉽게 이해할 수 있는 수준일 경우, 높은 점수를 주게 된다. 유창성 평가 모델은 각 문제 별 대화 데이터와 전체 문제의 대화 데이터를 기반으로 평가한다. 응시자가 개별 문제 내나 전체 문제의 대화 데이터에서 수번 이상의 단어나 표현을 반복적으로 사용하는 것을 발견하고, 어려운 용어나 이디엄(Idiom)이 응시자 발화에서 자연스럽게 활용되고, 두괄식 형태로 문장 구조가 얼마나 짜임새 있게 잡혔는지를 판단한다. 이런 평가 모델은 사전 대용량 말뭉치 기반으로 큰 스케일의 언어 모델을 만들고, 파인튜닝(Fine-tuning)을 위한 추가 대화 데이터에 반복 표현 여부, 고급 어휘 사용 여부, 두괄식 문장 구조 여부를 태깅한 것을 학습 데이터로 사용하여 트랜스퍼 러닝(Transfer Learning)으로 모델을 만들 수 있다. 응시자가 동일한 단어나 표현을 반복적으로 사용하는 문장의 경우, 패러프레이징(Paraphrasing) 문장을 생성하는 모델을 활용하여, 구체적인 개선 항목으로 제시할 수 있다. 또한, 사전 학습된 대용량 언어 모델을 통해 반복적으로 사용된 단어나 표현이 포함된 문장에서 해당 단어와 표현만 마스킹(Masking) 한 것을 생성하게 하여 전체 문장을 새로운 단어와 표현으로 포함하여 재 구성할 수 있다.

또한, 표현의 정확성 측면에서는, 응시자 발화의 문법적인 오류 구간을 표시하고, 이를 정정한 표현을 제공할 수 있다. 표현의 정확성 평가 모델은 대용량 말뭉치로 사전 학습시킨 큰 언어 모델을 기반으로, 파인튜닝(Fine-tuning) 학습 데이터로 문법적인 오류를 포함한 문장과 문장 내의 오류 구간을 표시하고, 이 오류를 수정한 정답 셋을 만들어 트랜스퍼 러닝(Transfer Learning)을 통해 생성할 수 있다. 문법적인 오류의 범위는 시제, 관사/정관사, 철자 오류 등 네이티브 스피커들이 인지 할 수 있는 모든 오류를 포함할 수 있다.

또한, 주제 및 상황 이해도 측면에서는, 응시자가 주어진 상황에 맞는 페르소나 역할을 수행하는 대화하지 못 한 경우, 이런 역할에 맞는 대화 예시를 제공할 수 있다. 주제 및 상황 이해 모델은, 각 문제 별 주제와 상황에서 응시자가 반드시 발화해야 할 표현이나 문장을 사용했는지, 또한 인공지능 아바타가 응시자에게 하고자 하는 발화들이 대화에서 잘 나왔는지를 측정한다. 가령, 대학 생활에서 교내 장학금을 알아보는 상황이 주어지면, 응시자는 반드시 교내 장학금이 어떤 것이 있는지, 어떻게 하면 받을 수 있는 지 등의 구체적인 사항을 인공지능 아바타에게 물어볼 수 있고, 인공지능 아바타도 교내 장학금에 대한 상세 정보를 응시자에게 답변을 주는 것을 기대하고 대화를 한다. 만약 응시자가 해당 상황에 맞는 페르소나 역할을 하지 못한 경우, 응시자와 인공지능 아바타가 교내 장학금 관련 대화 내용이 불충분하게 되어 주제 및 상황 이해 정도의 평가는 낮게 나올 수 있다. 이런 주제 및 상황 이해 모델은 각 문제 별 주제와 상황에 대한 응시자와 인공지능 아바타의 예상 발화가 얼마나 많이 실제 대화에 나왔는지를 사전 학습된 언어 모델의 문장 리프리젠테이션(Sentence Representation)의 유사도 비교를 통해 측정될 수 있다.

또한 표현의 자연스러움 측면에서는, 네이티브 스피커가 아닌 응시자들이 흔히 범하는 네이티브 스피커가 절대 사용하지 않는 어색한 표현들을 정정한 표현을 제공할 수 있다. 표현의 자연스러움을 판단하는 모델은, 각 문제 별 주제와 상황, 현재 대화의 컨텍스트에서 응시자 발화의 표현이나 문장이 어색한지를 판단한다. 흔히 네이티브 스피커가 아닌 지역에서 외국어를 배우는데 자주 사용하는 어색한 표현이나 문장 데이터와 비교하여 목록에 있는 경우, 매우 어색하다는 평가를 내리게 되고, 대체 문장이나 표현을 제시한다. 또한, 사전 학습된 큰 대화 모델, 가령 인공지능 아바타가 사용중인 대화 모델에 현재 문제의 주제와 상황, 대화 컨텍스트를 넣어서 응답으로 나오는 문장들과 유사도를 계산하여 유사도가 낮은 경우 표현의 자연스러움 측면에서는 낮은 평가를 받을 수 있다.

또한 발음의 정확성 측면에서는, 해당 언어를 사용하는 다양한 지역의 네이티브 스피커 발음을 이해할 수 있는 인공지능 아바타가 응시자의 발음을 인식하지 못하거나 인식하더라도 과도한 추측으로 인식한 경우, 이에 해당하는 정확한 발음을 오디오, 발음기호, 입 모양 그림이나 영상으로 제공할 수 있다. 인공지능 아바타는 특정 언어에 대한 다양한 권역의 사람들이 발음하는 것을 사전 학습 데이터로 만들어 발음의 정확성 측정 모델을 만든다. 좀 더 상세하게는 특정 권역에서 응시자들이 자주 실수하는 발음 목록과 이에 해당하는 정확한 발음을 오디오 형태로 가지고 있고, 응시자의 발음을 실수하는 발음 오디오와 비교를 하여, 유사할 경우, 발음의 정확성 평가는 낮은 점수를 받을 수 있다. 또한 응시자의 발화를 의미 있는 단위로 끊어 이에 해당하는 정확한 발음 기호대로 인식이 되는지 여부를 측정하여 발음의 정확성을 평가할 수도 있다. 또한 인공지능 아바타가 응시자의 발화를 인식한 후, 이 인식한 발화 텍스트를 응시자와 유사한 보이스 스타일을 가진 표준 사람 목소리로 오디오를 생성한 후, 응시자 발화 오디오와 표준 응시자 목소리 오디오간 유사도를 측정하여 발음의 정확성을 평가할 수 있다.

또한 대화 몰입성 측면에서는, 인공지능 아바타가 응시자와의 깊이 있는 대화를 진행하기 위해 다양한 질문을 이끌어 낼 수 있는 핵심 키워드나 표현을 사용하지 않은 경우, 해당 문제의 대화 내용과 함께 이런 핵심 키워드와 표현을 사용할 것을 제시할 수 있다. 대화 몰입성 평가 모델은, 각 문제 별 주제와 상황이 주어졌을 때, 응시자와 인공지능 아바타가 어느 정도로 깊이 있게 대화를 했는지를 평가한다. 이런 평가를 위해서는 사전에 각 문제의 주제와 상황과 관련하여 응시자와 인공지능 아바타의 몰입 정도에 따라 달라지는 어휘나 표현, 문장 목록을 정의하고 있다. 실제 응시자와 인공지능 아바타가 특정 문제에 대한 대화를 마치면, 대화 몰입성 평가 모델은 현재 대화 내용이 어느 정도 몰입을 했는지 각 몰입 단계에 해당하는 어휘나 표현, 문장 목록을 기반으로 유사도를 측정하여 몰입성 정도를 측정한다. 대화 몰입성 평가 모델은 사전에 대용량으로 학습된 언어 모델을 활용하여, 현재 대화 내용과 어휘나 표현, 문장 간의 유사도 분류 학습데이터로 파인튜닝(Fine-tuning)한 트랜스퍼 러닝(Transfer Learning)을 통해 생성할 수 있다.

통계 처리부(350)은 응시자의 성적이 전체에서 차지하는 위치 및 응시자가 소속된 그룹별 랭킹을 만든다. 또한 응시자들을 각 평가 항목 별 유사한 수준으로 가상의 그룹을 만들어서, 비슷한 수준의 응시자들이 자주 범하는 오류 들을 파악한다. 가령 응시자는 본인과 비슷한 나이대의 다른 응시자들에 비해 성적이 어느 위치에 있는지 확인할 수 있고, 응시자가 속한 학교나 반에 따라 그룹이 만들어 지고, 이 그룹별 랭킹도 제공될 수 있다.

광고 제공부(360)는 문제 별 대화 주제 및 상황에서 인공지능 아바타가 등장하는 배경에 자연스러운 광고 배너를 삽입한다. 특정 문제 별 대화 주제 및 상황이 정해지면, 이에 맞는 아바타와 배경이 정해지고, 광고 배너도 이에 맞게 자동으로 선택된다. 가령 대화 주제 및 상황이 은행 계좌 개설 문의 전화라고 한다면, 아바타의 페르소나는 은행 상담원이고 배경은 특정 은행의 로고가 있는 오피스가 될 수 있다. 광고 배너를 선택하는 모델은 대화 주제 및 상황, 이와 관련된 기대되는 응시자 발화 및 인공지능 아바타의 발화와 광고 배너에 기술된 메타 정보의 유사도를 비교하고, 노출 조건을 고려하여 선택될 수 있다.

도 2에서 도 7까지 도면은 본 발명의 일 실시예에 따른 인공지능 아바타를 활용한 회화 능력 평가 시스템을 이용한 회화 능력 평가 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.

도 2를 참조하면, 응시자가 회화 능력 평가를 시작하면, 컨텐츠 제어부(120)에서 문제 별 주제와 상황이 주어지고, 인공지능 아바타가 등장하여 대화를 시작한다. 이런 문제 별 주제와 상황은 서버(300)의 컨텐츠 관리부(320)에서 큐레이션 한다. 문제 별 주제와 상황 난이도는 응시자의 초기 설정에 따라 정해질 수 있고, 응시자의 문제 별 회화 능력 평가 중간 점수에 따라 다음 문제의 난이도가 결정되고, 이에 맞게 다음 문제가 큐레이션 된다.

인공지능 아바타가 발화를 하면, 인공지능 아바타 제어부(110)에 인공지능 아바타가 발화하고 있다는 것이 표시되고, 발화하는 컨텍스트에 맞게 적절한 제스처도 취한다. 인공지능 아바타의 발화가 끝나면, 대화 관리부(130)에 발화한 것이 텍스트로 표시된다.

도 3을 참조하면, 인공지능 아바타의 발화가 끝나면, 수초 뒤 자동으로 응시자 발화를 입력 받기 위한 마이크가 켜지고, 응시자가 인지할 수 있게 녹음 중 아이콘을 표시해 주고 녹음 시작 소리를 들려준다. 이에 응시자는 인공지능 아바타에게 현재 문제의 대화 주제와 주어진 상황을 기반하여, 발화를 입력한다. 응시자의 발화 입력은 수동으로도 할 수 있다. 즉, 인공지능 아바타의 발화가 끝나면, 응시자는 인공지능 아바타 제어부(110)의 마이크 버튼을 눌러 발화를 입력하고, 이때 녹음 중이라는 표시가 나오는 데, 발화가 끝난 후 이 녹음 중 표시를 누르면 다시 마이크가 꺼진다. 응시자가 발화한 것은 대화 관리부(130)에 텍스트로 표시된다. 도 4를 참조하면, 응시자와 인공지능 아바타는 각 문제의 주제와 상황에 따라 다수의 턴으로 대화를 이어 갈 수 있다. 응시자의 발화가 입력되는 경우 인공지능 아바타는 현재 문제의 대화 주제와 상황, 직전 대화의 내용을 포함하여, 시스템 제어부(140)를 통해 서버(300)의 상호작용 처리부(330)로 보내고, 여기서 인공지능 아바타가 말해야 하는 텍스트와 제스처를 생성하여 다시 시스템 제어부(140)로 전달한다. 인공지능 아바타 제어부(110)에서 인공지능 아바타는 상호작용 처리부(330)로부터 받은 제스처를 취하면서 텍스트도 인공지능 아바타의 목소리 오디오로 변환하여 재생한다. 인공지능 아바타의 발화가 끝나면, 대화 관리부(130)에 텍스트로 인공지능 아바타가 발화한 것이 표시된다.

인공지능 아바타 제어부(110)의 인공지능 아바타 배경은 현재 문제의 대화 주제와 상황과 관련된 시각 자료가 표시되고, 이 시각 자료 내에 광고 배너가 같이 포함될 수 있다. 가령 도 4의 문제 대화 주제가 일상 생활에서 은행에 전화하는 것이고, 상황 정보에는 가지고 있는 신용카드 밸런스를 확인하고 대학생 계좌에서 일반인 계좌로 변경하는 대화 설정이 있다. 이에 아바타와 아바타 배경도 씨티은행의 전화 상담 직원과 오피스를 보여주고, 자연스럽고 씨티은행 로고를 응시자에게 노출할 수 있다.

도 5를 참조하면, 응시자와 인공지능 아바타가 모든 문제에 대한 대화를 마치면, 실시간으로 평가한 결과를 보여주는 실시예이다. 클라이언트(100)에서 응시자와 인공지능 아바타가 각 문제 별 대화한 것이 네트워크(200)를 거쳐 서버(300)의 대화 평가부(340)로 전달되고, 대화 평가부(340)는 각 평가 모델에 필요한 입력 데이터를 넣어 평가 결과를 실시간으로 생성하게 된다. 상기 서술한 것 같이 평가 항목들은 응시자의 매 발화마다 평가할 수 있는 것과, 각 문제 별 대화가 끝나고 평가할 수 있는 것, 전체 문제의 대화 내용을 평가할 수 있는 것으로 나눠질 수 있고, 각 항목 별 평균치로 최종 평가 결과를 사용할 수 있다.

도 6을 참조하면, 응시자는 본인의 평가 점수에 대한 상세한 피드백을 볼 수 있다. 가령 대화 컨텍스트 유지에 대해서는 실제 응시자와 인공지능 아바타가 대화한 내용을 보여주고, 어디에서 응시자가 대화 컨텍스트에 맞지 않는 발화를 했는지 표시하고, 이 대화 컨텍스트에 맞는 다른 문장이나 표현을 제시할 수 있다. 이런 도 6의 대화 컨텍스트 항목 외에 다른 평가 항목들도 개별적인 평가 점수가 왜 이렇게 됐는지 설명하고, 응시자에게 상세한 피드백을 줄 수 있다.

도 7을 참조하면, 응시자는 본인이 속한 그룹의 평균 점수와 다른 그룹 들과의 랭킹을 볼 수 있다. 서버(300)의 통계 처리부(350)는 응시자의 나이, 학교, 지역, 회사 등의 정보를 기반으로 유사 정보를 가진 다른 응시자와 그룹을 만들고, 이 그룹의 평가 점수를 측정하고 랭킹을 만들 수 있다.

이와 같은 도 2에서 도 7까지 도면의 인공지능 아바타를 활용한 회화 능력 평가 시스템을 이용한 회화 능력 평가 서비스에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 인공지능 아바타를 활용한 회화 능력 평가 시스템을 이용한 회화 능력 평가 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 2에서 도 7을 통해 설명된 일 실시예에 따른 인공지능 아바타를 활용한 회화 능력 평가 시스템 제공 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

도 8을 참조하면, 본 발명의 일 실시예에 따른 도 1의 인공지능 아바타를 활용한 회화 능력 평가 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신 되는 과정을 나타낸 도면이다. 이하, 도 8을 통해 각 구성들 상호간에 데이터가 송수신되는 과정의 일 예를 설명할 것이나, 이와 같은 실시예로 본원이 한정 해석되는 것은 아니며, 앞서 설명한 다양한 실시예들에 따라 도 8에 도시된 데이터가 송수신 되는 과정이 변경될 수 있음은 기술분야에 속하는 사람들에게는 자명하다.

도 8을 참조하면, 인공지능 아바타를 활용한 회화 능력 평가 시스템 서버(300)은 적어도 하나 이상의 모델 학습 서버(400)로부터, 인공지능 아바타 상호작용 모델, 회화 능력 평가 모델, 문제 별 대화 주제 및 광고 큐레이션 모델을 제공받고(S1100), 시스템이 시작되면서 해당 모델을 엔진에 로딩 한다(S1100).

응시자는 클라이언트(100)를 통해 회화 능력 평가 서비스를 시작하고, 각 문제 별 대화 세션에 진입한다(S2000). 서버(300)는 응시자와 인공지능 아바타가 각 문제 별 대화할 주제 및 상황 선택하고, 관련 아바타의 모습과 광고를 포함한 배경을 설정한다(S2100). 클라이언트(100)는 서버(300)로부터 각 문제 별 대화 주제, 상황, 아바타 모습, 배경 정보를 전달받고(S2200), 화면에 표시한다.

인공지능 아바타는 응시자에게 각 문제 별 대화 주제와 상황 가이드를 설명하고, 대화를 시작한다(S3000). 인공지능 아바타의 질문이나 요청에 응시자는 발화를 통해 본인의 응답을 제공하고, 클라이언트는 음성인식을 통해 응시자 발화 텍스트와 현재 대화 내용을 서버(300)에 전달한다(S3100). 서버(300)는 대화 문맥을 이해하여, 인공지능 아바타의 응답 텍스트 및 제스처를 생성한다(S3200).

이에, 클라이언트(100)는 서버(300)에서 생성한 응답과 제스처를 전달받아 인공지능 아바타를 통해 응시자에게 발화하고, 대화 텍스트 뷰에 해당 발화 텍스트를 표시한다(S3300). 각 문제 별 대화 주제의 세션이 종료될 때까지(S3400), 상술한 인공지능 아바타와 응시자간 문제 별 대화의 단계들은 루프를 돌며 반복한다.

각 문제 별 응시자와 인공지능 아바타의 대화가 종료되면(S3400), 서버(300)는 현재 문제의 주제와 상황, 대화 내용을 분석하여 응시자의 회화 능력을 평가한다. 모든 문제에 대한 응시자와 인공지능 아바타의 대화가 종료되면, 각 문제 별 평가한 항목과 전체 문제 별 대화 내용을 추가 분석하여 회화 능력 평가 항목 별 최종 점수를 산정한다. 각 문제 별 응시자와 인공지능 아바타의 대화가 종료가 되면, 이전 문제까지 평가한 점수와 주제의 난이도를 고려하여, 다음 문제의 대화 주제 및 상황을 선택한다.

모든 문제에 대한 응시자와 인공지능 아바타의 대화가 끝나면 서버(300)에서 평가한 결과 및 상세 평가 항목 별 문제가 되는 부분과 개선 방안을 클라이언트(100)으로 전달하고, 응시자에게 해당 결과를 보여준다(S4200). 또한, 모든 문제 별 주제와 상황, 대화 이력, 평가 결과 및 피드백은 평가 데이터로 저장되고, 이를 정제해서 상술한 모델들의 학습 데이터로 사용하기 위해 모델 학습 서버(400)로 업데이트 된다(S4300).

상술한 단계들(S1100~S4300)간의 순서는 예시일 뿐, 이에 한정되지 않는다. 즉, 상술한 단계들(S1100~S4300)간의 순서는 상호 변동될 수 있으며, 이중 일부 단계들은 동시에 실행되거나 삭제될 수 있다.

이와 같은 도 8의 인공지능 아바타를 활용한 회화 능력 평가 시스템 제공 방법에 대해서 설명되지 아니한 사항은 앞서 상술한 다른 도면을 통해 인공지능 아바타를 활용한 회화 능력 평가 시스템 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

전술한 본 발명의 일 실시예에 따른 인공지능 아바타를 활용한 회화 능력 평가 시스템 제공 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 응시자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션 (즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 대화형 인공지능 아바타를 활용한 회화 능력 평가 서비스 제공 방법은 단말기에 기본적으로 설치되거나 응시자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시 적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (7)

1. 회화 능력 평가 시스템 제공 응시자 단말과 서버에서 실행되는 인공지능 아바타를 활용한 회화 능력 평가 시스템 제공 방법에 있어서,
   대화 데이터 제공 서버로부터 인공지능 아바타 대화 모델링 데이터, 이 대화와 연관된 제스처 변화 데이터,
   평가 데이터 제공 서버로부터 대화 주제별 대화 데이터에 각 발화 별 대화 컨텍스트 유지 여부를 표기한 데이터, 표현이나 어휘가 반복된 구간과 고급 어휘 사용 여부, 두괄식 문장 구조 여부를 표기한 데이터, 문법적인 오류 포함 여부와 해당 구간을 표기하고 수정 표현을 기술한 데이터, 대화 주제 및 상황에 따라 반드시 사용해야할 표현이나 문장을 기술한 데이터, 표현이나 문장의 자연스러움 여부를 표기하고, 부자연스러운 것을 수정한 표현을 기술한 데이터, 특정 지역 별 해당 언어 응시자들이 자주 실수하는 발음 오디오 데이터, 대화의 몰입 단계에 따라 달라지는 어휘나 표현, 문장을 정의한 데이터를 수집하는 단계;
   상기 수집된 대화 모델링 데이터와 제스처 변화 데이터로 인공지능 신경망 알고리즘을 이용하여 상호작용 모델을 학습하고,
   대화 모델링 데이터와 각 발화 별 대화 컨텍스트 유지여부를 표기한 데이터로 인공지능 신경망 알고리즘을 이용하여 대화 컨텍스트 유지 평가 모델을 학습하고,
   대화 모델링 데이터와 표현이나 어휘가 반복된 구간과 고급 어휘 사용 여부, 두괄식 문장 구조 여부를 표기한 데이터로 인공지능 신경망 알고리즘을 이용하여 대화 유창성 평가 모델을 학습하고,
   대화 모델링 데이터와 문법적인 오류 포함 여부와 해당 구간을 표기하고 수정 표현을 기술한 데이터로 인공지능 신경망 알고리즘을 이용하여 대화 표현의 정확성 평가 모델을 학습하고,
   대화 모델링 데이터와 대화 주제 및 상황에 따라 반드시 사용해야할 표현이나 문장을 기술한 데이터로 인공지능 신경망 알고리즘을 이용하여 대화 주제 및 상황 이해 평가 모델을 학습하고,
   대화 모델링 데이터와 표현이나 문장의 자연스러움 여부를 표기하고, 부자연스러운 것을 수정한 표현을 기술한 데이터로 인공지능 신경망 알고리즘을 이용하여 대화 표현의 자연스러움 평가 모델을 학습하고,
   대화 모델링 데이터와 특정 지역 별 해당 언어 응시자들이 자주 실수하는 발음 오디오 데이터로 인공지능 신경망 알고리즘을 이용하여 발음의 정확성 평가 모델을 학습하고,
   대화 모델링 데이터와 특정 주제와 상황 별 대화의 몰입 단계에 따라 달라지는 어휘나 표현, 문장을 정의한 데이터로 대화 몰입성 평가 모델을 학습하는 단계;
   응시자 단말로부터 인공지능 아바타를 활용한 회화 능력 평가 시스템에 접속하는 단계;
   대화 컨텐츠 제공 서버로부터 각 문제 별 대화 주제 및 상황, 인공지능 아바타 관리 서버로부터 아바타 페르소나와 제스처 모델을 클라이언트에 구동하는 단계;
   인공지능 아바타가 각 문제 별 대화 주제와 상황을 이해한 후, 응시자에게 설명할 문장과 제스처를 생성하여, 응시자에게 설명하는 단계;
   인공지능 아바타가 현재 대화 주제와 상황, 응시자와의 직전 대화 내용 이해 기반으로 질문과 제스처를 생성하고 말하는 단계;
   응시자가 질문을 이해하고, 응답을 말하면, 음성 인식을 한 후 적절한 리액션과 추임새를 취하는 단계;
   응시자의 응답이 종료되면, 응답을 텍스트로 변환하고, 현재 대화 주제 및 상황, 대화 문맥에 맞게 이해하는 단계;
   이해한 것을 기반으로 적절한 응답과 제스처를 생성하고 말하는 단계;
   응시자가 인공지능 아바타와 각 문제 별 주제와 상황에 따라 대화한 내용을 인공지능 신경망 알고리즘으로 학습한 평가 모델로 회화 능력을 실시간으로 평가하고 각 평가 항목 별 상세한 문제점과 개선 방안을 제시하는 단계;
   응시자가 인공지능 아바타와 특정 문제의 대화 세션을 마친 후 다음 문제로 넘어갈 때, 현재까지 진행한 문제 별 평가 결과를 기반으로 다음 문제의 주제와 상황 정보를 제시하는 단계;
   응시자의 정보를 기반한 응시자 그룹을 만들고 그룹의 평가 점수 및 랭킹을 제공하는 단계;
   상기 수집된 대화 모델링 데이터와 광고 배너 제공 서버로부터 수집된 광고 컨텐츠로 인공지능 신경망 알고리즘을 이용하여 관련도 모델을 학습하고 각 문제 별 주제와 상황에 따라 인공지능 아바타와 그 배경에 광고 배너를 삽입하는 단계를 포함하는
   인공지능 아바타를 활용한 회화 능력 평가 시스템 제공 방법.
   
2. 제 1 항에 있어서,
   응시자 단말로 부터 인공지능 아바타를 활용한 회화 능력 평가 시스템에 접속하는 단계 이전에,
   적어도 하나의 인공지능 아바타 페르소나를 정의하고 대화 모델링을 실시하는 단계;
   상기 적어도 하나의 인공지능 아바타가 사용한 대화 모델링 데이터와 제스처 데이터를 매핑하고, 대화 모델링 데이터와 각 발화 별 대화 컨텍스트 유지여부를 표기한 데이터를 매핑하고, 대화 모델링 데이터와 표현이나 어휘가 반복된 구간과 고급 어휘 사용 여부, 두괄식 문장 구조 여부를 표기한 데이터를 매핑하고, 대화 모델링 데이터와 문법적인 오류 포함 여부와 해당 구간을 표기하고 수정 표현을 기술한 데이터를 매핑하고, 대화 모델링 데이터와 대화 주제 및 상황에 따라 반드시 사용해야할 표현이나 문장을 기술한 데이터를 매핑하고, 대화 모델링 데이터와 표현이나 문장의 자연스러움 여부를 표기하고, 부자연스러운 것을 수정한 표현을 기술한 데이터를 매핑하고, 대화 모델링 데이터와 특정 지역 별 해당 언어 응시자들이 자주 실수하는 발음 오디오 데이터를 매핑하고, 대화 모델링 데이터와 특정 주제와 상황 별 대화의 몰입 단계에 따라 달라지는 어휘나 표현, 문장을 정의한 데이터를 매핑하고 저장하는 단계;
   상기 대화 주제와 상황에서 응시자의 응답과 이를 평가한 데이터와 비슷한 난이도 대화 주제와 상황을 매핑한 데이터를 저장하는 단계;
   상기 주어진 대화 주제와 상황과 관련 있는 광고 컨텐츠를 매핑하고 저장하는 단계;
   를 더 포함하는 것인, 인공지능 아바타를 활용한 회화 능력 평가 시스템 제공 방법.
   
3. 제 1 항에 있어서,
   상기 입력된 응시자 발화를 자연어 처리 알고리즘을 통해 분석한 후, 상기 입력된 응시자 발화에 대한 응답 텍스트와 제스처를 결정하는 단계는,
   상기 입력된 응시자 발화를 부분적으로 이해하고, 응시자가 말하고 있는 중에, 추임새와 제스처 리액션을 제공하는 단계;
   를 포함하고, 상기 부분적 이해는, 응시자가 말하고 있는 중간에 의미가 구분되는 단락으로 끊어, 그 단락의 문맥에 맞는 추임새와 제스처를 보여주는 것인,
   인공지능 아바타를 활용한 회화 능력 평가 시스템 제공 방법.
   
4. 제 1 항에 있어서,
   상기 생성된 응답 텍스트를 상기 인공지능 아바타의 생성된 제스처와 함께 발화하는 단계는,
   상기 결정된 제스처에 대응하는 기 저장된 제스처 애니메이션 클립을 추출하는 단계;
   상기 추출된 애니메이션 클립간 연결을 부드럽게 하는 중간단계 이미지들을 생성하여 합성하는 단계;
   를 수행함으로써 실행되는 것인, 인공지능 아바타를 활용한 회화 능력 평가 시스템 제공 방법.
   
5. 제 1 항에 있어서,
   상기 응시자가 인공지능 아바타와 각 문제 별 주제와 상황에 따라 대화한 내용을 기반으로 인공지능 신경망 알고리즘을 이용하여 응시자의 회화 수준을 실시간으로 평가하는 단계는,
   상기 특정 주제와 상황에 대한 대화 데이터를 대화 컨텍스트 유지, 대화 유창성, 대화 표현의 정확성, 대화 주제 및 상황 이해, 대화 표현의 자연스러움, 발음의 정확성, 대화의 몰입성의 요소 항목 점수를 매핑한 데이터를 저장하는 단계;
   상기 저장된 데이터로 회화 평가 항목 별 평가 모델을 만드는 단계;
   상기 응시자가 각 문제 별 인공지능 아바타와 대화한 내용을 상기 회화 능력 평가 모델에 넣어 실시간으로 회화 능력을 점수로 산출하는 단계;
   를 수행함으로써 실행되는 것인, 인공지능 아바타를 활용한 회화 능력 평가 시스템 제공 방법.
   
6. 제 1 항에 있어서,
   상기 응시자에게 다음 문제를 제시할 때, 현재까지 진행한 문제 별 평가 결과를 기반으로 다음 문제의 주제와 상황 정보를 제시하는 단계는,
   상기 문제 별 주제와 상황, 대화 내용을 회화 능력 평가 모델에 넣어 평가 항목 별 중간 결과를 추출하는 단계;
   상기 평가한 문제의 난이도와 응시자의 회화 능력 중간 평가 결과를 본 후, 다음 문제의 주제와 상황 정보의 난이도를 결정하는 단계;
   상기 결정된 난이도에 속하는 문제와 대화 주제 및 상황을 다음 문제로 선택하는 단계;
   를 수행함으로써 실행되는 것인, 인공지능 아바타를 활용한 회화 능력 평가 시스템 제공 방법.
   
7. 제 1 항에 있어서,
   상기 문제 별 대화 주제와 상황에 따라 인공지능 아바타 배경에 광고 배너를 삽입하는 단계는,
   상기 광고 배너의 인공지능 아바타가 있는 장소가 화면에 표시되고, 장소안에 임베딩(Embedding)되어 보여주는 것과,
   상기 인공지능 아바타가 있는 장소가 화면에 표시되고, 장소 위에 플로팅(Floating)되어 보여주는 것과,
   상기 인공지능 아바타가 있는 장소와 화면내 분리된 공간에 별도로 보여주는 것과,
   상기 인공지능 아바타가 입고 있는 신발, 의류 등에 내재되어 표시되는 것
   을 포함하는 인공지능 아바타를 활용한 회화 능력 평가 시스템 제공 방법.
   

Images