KR20210104690A - 정보 처리 단말기, 정보 처리 장치, 및 정보 처리 방법 - Google Patents

정보 처리 단말기, 정보 처리 장치, 및 정보 처리 방법 Download PDF

Info

Publication number
KR20210104690A
KR20210104690A KR1020217017238A KR20217017238A KR20210104690A KR 20210104690 A KR20210104690 A KR 20210104690A KR 1020217017238 A KR1020217017238 A KR 1020217017238A KR 20217017238 A KR20217017238 A KR 20217017238A KR 20210104690 A KR20210104690 A KR 20210104690A
Authority
KR
South Korea
Prior art keywords
information
reply
server
inquiry
user
Prior art date
Application number
KR1020217017238A
Other languages
English (en)
Inventor
에미르 츠노오
히로아키 오가와
치에 가마다
아키라 다카하시
노리코 도츠카
가즈야 다테이시
유이치로 고야마
유키 다케다
요시노리 마에다
히데아키 와타나베
아키라 후쿠이
칸 구로다
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20210104690A publication Critical patent/KR20210104690A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/01—Customer relationship services
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9532—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/01—Customer relationship services
    • G06Q30/015—Providing customer assistance, e.g. assisting a customer within a business location or via helpdesk
    • G06Q30/016—After-sales
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Databases & Information Systems (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Human Resources & Organizations (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Telephonic Communication Services (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 개시에 관한 정보 처리 단말기는, 유저 발화 내용 또는 자주적으로 수집한 특정한 기기의 상태에 기초하여, 특정한 기기에 관한 문의 정보를 서버에 송신하는 처리와, 상기 서버로부터, 미리 준비된 회답 정보가 등록된 회답 데이터베이스에 기초하는 회답 정보를 수신한 경우, 당해 회답 정보를 출력하는 처리와, 상기 서버에서 상기 회답 정보가 발견되지 않은 경우, 상기 문의 정보에 대하여 오퍼레이터에 문의를 행하는 처리를 행하는 제어부(100)를 구비한다.

Description

정보 처리 단말기, 정보 처리 장치, 및 정보 처리 방법
본 개시는, 정보 처리 단말기, 정보 처리 장치, 및 정보 처리 방법에 관한 것이다.
종래, 가전 등 일상적으로 이용하는 제품에 결함이 발생한 경우에, 유저가 스스로 인터넷에 액세스하고, 미리 준비된 응답(FAQ 등)을 참조하여 문제 해결을 행하는 것이 행해지고 있다.
또한, 하기 특허문헌 1에서는, 유저로부터의 문의에 관하여, 유저가 시스템과 대화를 행하면서 회답을 검색하는 것이 가능한 대화 시스템이 제안되어 있다.
국제 공개 제2017/208518호 공보
그러나, 종래의 기술에서는, 유저가 스스로 결함에 대하여 파악하고, 스마트폰이나 PC 등에서, 제품 홈페이지 등에 게재된 FAQ(Frequently Asked Questions)를 검색하지 않으면 안 되고, 검색 조작의 수고가 부담이 되고 있었다. 또한, 시스템과의 대화에 의해 해결 방법을 얻는 경우에는, 미리 질문에 대응할 수 있도록 회답을 준비하지 않으면 안 되고, 모든 질문에 대응하는 것이 어렵고, 또한, 통상적으로는 대화 에이전트가 탑재된 제품 자체에 관한 회답을 준비해 두는 것이 상정되어, 다른 메이커 제품 등에 대응하는 것은 곤란했다.
본 개시에 의하면, 유저 발화 내용 또는 자주적으로 수집한 특정한 기기의 상태에 기초하여, 특정한 기기에 관한 문의 정보를 서버에 송신하는 처리와, 상기 서버로부터, 미리 준비된 회답 정보가 등록된 회답 데이터베이스에 기초하는 회답 정보를 수신한 경우, 당해 회답 정보를 출력하는 처리와, 상기 서버에서 상기 회답 정보가 발견되지 않은 경우, 상기 문의 정보에 대하여 오퍼레이터에 문의를 행하는 처리를 행하는 제어부를 구비하는, 정보 처리 단말기를 제안한다.
본 개시에 의하면, 미리 준비된 회답 정보가 등록된 회답 데이터베이스와, 연락처 정보가 등록된 연락처 데이터베이스와, 정보 처리 단말기로부터 송신된, 유저 발화 내용 또는 자주적으로 수집한 특정한 기기의 상태에 기초하는 특정한 기기에 관한 문의 정보에 기초하여, 상기 회답 데이터베이스로부터 회답 정보를 검색하고, 검색한 회답 정보를 상기 정보 처리 단말기에 송신하고, 해당하는 회답 정보가 없는 경우, 상기 문의 정보에 대하여, 상기 연락처 데이터베이스를 참조하여 오퍼레이터에 문의하는 처리를 행하는 제어부를 구비하는, 정보 처리 장치를 제안한다.
본 개시에 의하면, 프로세서가, 유저 발화 내용 또는 자주적으로 수집한 특정한 기기의 상태에 기초하여, 특정한 기기에 관한 문의 정보를 서버에 송신하는 것과, 상기 서버로부터, 미리 준비된 회답 정보가 등록된 회답 데이터베이스에 기초하는 회답 정보를 수신한 경우, 당해 회답 정보를 출력하는 것과, 상기 서버에서 상기 회답 정보가 발견되지 않은 경우, 상기 문의 정보에 대하여 오퍼레이터에 문의를 행하는 것을 포함하는, 정보 처리 방법을 제안한다.
본 개시에 의하면, 프로세서가, 정보 처리 단말기로부터 송신된, 유저 발화 내용 또는 자주적으로 수집한 특정한 기기의 상태에 기초하는 특정한 기기에 관한 문의 정보에 기초하여, 미리 준비된 회답 정보가 등록된 회답 데이터베이스로부터 회답 정보를 검색하는 것과, 검색한 회답 정보를 상기 정보 처리 단말기에 송신하는 것과, 해당하는 회답 정보가 없는 경우, 상기 문의 정보에 대하여, 연락처 정보가 등록된 연락처 데이터베이스를 참조하여 오퍼레이터에 문의를 행하는 것을 포함하는, 정보 처리 방법을 제안한다.
도 1은 본 개시의 일 실시 형태에 의한 조리 시스템의 개요에 대하여 설명하는 도면이다.
도 2는 본 실시 형태에 의한 에이전트 단말기의 구성의 일례를 도시하는 블록도이다.
도 3은 본 실시 형태에 의한 회답 서버의 구성의 일례를 도시하는 블록도이다.
도 4는 본 실시 형태에 의한 기기에 관한 문의에 대한 에이전트에 의한 응답의 출력 예를 도시하는 도면이다.
도 5는 본 실시 형태에 의한 기기에 관한 문의에 대한 에이전트에 의한 응답의 출력 예를 도시하는 도면이다.
도 6은 본 실시 형태에 의한 정보 처리 시스템의 제1 동작 처리의 흐름의 일례를 도시하는 흐름도이다.
도 7은 본 실시 형태에 의한 정보 처리 시스템의 제2 동작 처리의 흐름의 일례를 도시하는 흐름도이다.
도 8은 본 실시 형태에 의한 정보 처리 시스템의 제3 동작 처리의 흐름의 일례를 도시하는 흐름도이다.
도 9는 본 실시 형태에 의한 정보 처리 시스템의 제4 동작 처리의 흐름의 일례를 도시하는 흐름도이다.
도 10은 본 실시 형태에 의한 정보 처리 시스템의 제5 동작 처리의 흐름의 일례를 도시하는 흐름도이다.
도 11은 본 실시 형태에 의한 정보 처리 시스템의 제6 동작 처리의 흐름의 일례를 도시하는 흐름도이다.
도 12는 본 실시 형태에 의한 정보 처리 시스템의 제7 동작 처리의 흐름의 일례를 도시하는 흐름도이다.
도 13은 본 실시 형태에 의한 정보 처리 시스템의 제8 동작 처리의 흐름의 일례를 도시하는 흐름도이다.
도 14는 도 13에 도시하는 동작 처리의 계속을 나타내는 흐름도이다.
도 15는 본 실시 형태에 의한 정보 처리 시스템의 제9 동작 처리의 흐름의 일례를 도시하는 흐름도이다.
도 16은 본 실시 형태에 의한 정보 처리 시스템의 제10 동작 처리의 흐름의 일례를 도시하는 흐름도이다.
도 17은 본 개시의 실시 형태에 관한 시스템 구성예로서 클라이언트-서버형의 시스템 구성예를 도시하는 도면이다.
도 18은 본 개시의 실시 형태에 관한 시스템 구성예로서 분산형 시스템의 경우에 대하여 설명하는 도면이다.
도 19는 본 개시의 실시 형태에 관한 시스템 구성예로서 중간 서버를 포함하는 시스템의 예를 도시하는 도면이다.
도 20은 본 개시의 실시 형태에 관한 시스템 구성예로서, 호스트로서 기능하는 단말 장치를 포함하는 시스템에 대하여 설명하는 도면이다.
이하에 첨부 도면을 참조하면서, 본 개시의 적합한 실시 형태에 대하여 상세하게 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는, 동일한 번호를 부여함으로써 중복 설명을 생략한다.
또한, 설명은 이하의 순서로 행하는 것으로 한다.
1. 본 개시의 일 실시 형태에 의한 정보 처리 시스템의 개요
2. 구성예
2-1. 에이전트 단말기의 구성예
2-2. 회답 서버의 구성예
3. 에이전트에 의한 응답 출력 예
4. 동작 처리
4-1. 제1 동작 처리: 에이전트 단말기(10)의 문제를 자기 해결
4-2. 제2 동작 처리: 에이전트 단말기(10)의 문제를 서버에 문의
4-3. 제3 동작 처리: 에이전트 단말기(10)의 문제를 자주적으로 보고
4-4. 제4 동작 처리: 에이전트 단말기(10)의 문제를 자주적으로 서버에 문의
4-5. 제5 동작 처리: 다른 기기(11)의 문제를 에이전트 단말기(10)가 해결
4-6. 제6 동작 처리: 다른 기기(11)의 문제를 에이전트 단말기(10)가 서버에 문의
4-7. 제7 동작 처리: 다른 기기(11)의 문제를 에이전트 단말기(10)가 인식하고 서버에 문의
4-8. 제8 동작 처리: 다른 기기(11)의 문제를 콜 센터에 문의
4-9. 제9 동작 처리: 문제에 대하여 서포트에 로그 정보를 송신
4-10. 제10 동작 처리: 문제에 대하여 개발자에 피드백
5. 변형예
5-1. 에이전트 단말기(10)로부터의 콜 센터 등에의 직접 문의
5-2. 시스템 구성예
6. 정리
<<1. 본 개시의 일 실시 형태에 의한 정보 처리 시스템의 개요>>
도 1은, 본 개시의 일 실시 형태에 의한 정보 처리 시스템의 개요에 대하여 설명하는 도면이다. 도 1에 도시한 바와 같이, 본 시스템은, 에이전트 단말기(10)(정보 처리 단말기), 다른 기기(11), 회답 서버(20)(정보 처리 장치), 콜 센터 서버(40), 서포트 서버(42), 및 개발 관리 서버(44)를 포함한다. 또한 도 1에 도시하는 시스템 구성은 일례이고, 본 실시 형태는 이것에 한정되지는 않는다.
도 1에 도시하는 에이전트 단말기(10)(정보 처리 단말기)는, 유저와의 음성 대화가 가능하고, 에이전트 단말기(10) 자신이나, 에이전트 단말기(10)와 통신 접속하는 다른 기기(11)(11a 내지 11c)의 음성에 의한 컨트롤을 가능하게 한다.
에이전트 단말기(10)는, 예를 들어 전용의 스마트 스피커 장치라도 좋고, 텔레비전 장치, 냉장고, 조명 장치, PC, 스마트폰, 태블릿 단말기, HMD(Head Mounted Display), 음향 장치, 로봇 등의 다양한 전자 기기에 에이전트 기능이 탑재되는 것이 상정된다.
또한, 다른 기기(11)도, 스마트 스피커 장치, 텔레비전 장치, 냉장고, 조명 장치, PC, 스마트폰, 태블릿 단말기, HMD(Head Mounted Display), 음향 장치, 로봇 등의 다양한 전자 기기가 상정된다.
여기서, 일반적으로, 단말 장치와의 음성 대화에 의해, 단말 장치와 접속하는 다른 단말 장치를 컨트롤하는 것에 편리성이 있는 한편, 유저로부터의 단말 장치 자신에 관한 문의에의 응답에 관해서는, 미리 시스템에 회답을 준비하지 않으면 안 되고, 모든 질문에 대응하는 것이 어려웠다. 또한, 다른 단말 장치가 다른 메이커 제품인 경우, 컨트롤은 가능하여도, 그 밖의 메이커 제품에 관한 문의에 대하여 응답하는 것은 곤란했다.
그래서, 본 개시에서는, 유저와의 대화를 행하는 정보 처리 단말기에 있어서, 기기(정보 처리 단말기 자신도 포함하고, 다른 기기도 포함한다)에 관한 문의에의 대응력을 높이고, 유저의 편리성을 보다 향상시키는 것을 가능하게 한다.
구체적으로는, 예를 들어 에이전트 단말기(10)는, 유저의 발화 내용에 기초하여, 특정한 기기에 관한 문의 정보를, 네트워크(30)를 통하여 회답 서버(20)에 송신하고, 회답 서버(20)의 회답 데이터베이스로부터 회답이 얻어지면, 이것을 제시(에이전트에 의한 응답으로서 유저에 회답)한다.
한편, 회답 데이터베이스에 회답이 준비되어 있지 않은 경우, 회답 서버(20)는, 문의의 긴급성이 높으면 콜 센터 서버(40)에 문의하여 오퍼레이터에 연락해도 좋다. 또한, 긴급성이 높지 않은 문의인 경우, 회답 서버(20)는, 서포트 서버(42)나 개발 관리 서버(44)에 문의 정보를 송신하고, 로그 정보로서 축적해도 좋다. 또한, 에이전트 단말기(10)는, 회답 서버(20)로부터의 통지에 따라, 오퍼레이터에의 대리 전화를 행하는 것이나, 문의 내용에 대하여 서포트나 개발측에 알린 것을, 유저에 전달하도록 해도 좋다.
이상, 본 개시의 일 실시 형태에 의한 정보 처리 시스템의 개요에 대하여 설명했다. 계속해서, 본 실시 형태에 의한 정보 처리 시스템을 구성하는 주요한 장치의 구성예에 대하여 구체적으로 설명한다.
<<2. 구성예>>
<2-1. 에이전트 단말기의 구성예>
도 2는, 본 실시 형태에 의한 에이전트 단말기(10)의 구성의 일례를 도시하는 블록도이다. 도 2에 도시한 바와 같이, 에이전트 단말기(10)는, 제어부(100), 다른 기기(11), 마이크(120), 스피커(130), 표시부(140), FAQ DB(데이터베이스)(150), 및 촬상부(160)를 갖는다.
(제어부(100))
제어부(100)는, 연산 처리 장치 및 제어 장치로서 기능하고, 각종 프로그램에 따라서 에이전트 단말기(10) 내의 동작 전반을 제어한다. 제어부(100)는, 예를 들어 CPU(Central Processing Unit), 마이크로프로세서 등의 전자 회로에 의해 실현된다. 또한, 제어부(100)는, 사용하는 프로그램이나 연산 파라미터 등을 기억하는 ROM(Read Only Memory) 및 적절히 변화하는 파라미터 등을 일시 기억하는 RAM(Random Access Memory)을 포함하고 있어도 좋다.
또한, 제어부(100)는, 음성 인식부(101), 상태 분석부(102), 응답 처리부(103), 유저 감정 해석부(104), 및 긴급도 추정부(105)로서도 기능한다.
음성 인식부(101)는, 마이크(120)에 의해 수음한 유저 발화 음성 등의 음성 신호에 대하여, 음성 인식(자연 언어 처리)을 행하고, 문자열(텍스트 데이터)을 생성한다. 또한, 음성 인식부(101)는, 발화 음성으로부터 생성된 문자열에 대하여, 의미 해석을 행해도 좋다.
상태 분석부(102)는, 음성 인식부(101)에 의해 인식된 유저 발화 내용으로부터, 대상의 기기를 특정하고, 당해 대상 기기의 상태를 분석한다. 예를 들어 에이전트 단말기(10)가, 음성 대화 기능을 가진(에이전트 기능이 탑재된) 텔레비전 장치이고, 유저 발화 내용이, 「화면이 나오지 않게 되었다」, 「지상파가 보이지 않는다」, 「녹화 프로그램이 보이지 않는다」, 「DVD가 나오지 않는다」, 「음성이 들리지 않는다」 등인 경우, 상태 분석부(102)는, 대상 기기는 자체 장치(에이전트 단말기(10))의 것이라고 판단할 수 있다. 한편, 에이전트 단말기(10)가, 음성 대화 기능을 가진(에이전트 기능이 탑재된) 텔레비전 장치이고, 유저 발화 내용이, 「주방의 전기가 켜지지 않는다」, 「냉장고로부터 이상한 소리가 난다」, 「스마트 스피커가 반응하지 않는다」 등인 경우, 상태 분석부(102)는, 대상 기기는 다른 기기(각각, 주방의 조명 장치, 냉장고, 스마트 스피커)의 것이라고 판단한다.
대상의 기기가 에이전트 단말기(10) 자신인 경우, 상태 분석부(102)는, 내부 상태를 분석한다. 예를 들어 에이전트 단말기(10)가 텔레비전 장치인 경우, 전원 상태나, 각 케이블의 접속 상태, 외부 기기와의 접속 상태, 화면 표시의 상태, 화면 설정이나 그 밖의 설정 상태 등이 어떻게 되어 있는지를 수집한다. 한편, 대상의 기기가 다른 기기인 경우, 상태 분석부(102)는, 대상의 다른 기기와 통신 접속할 수 있는 경우는, 당해 대상의 다른 기기에 대하여 상태 정보의 요구를 행하고, 당해 대상의 다른 기기의 상태를 나타내는 정보를 수신한다. 예를 들어 홈 네트워크 등에 의해 에이전트 단말기(10)를 포함하여 다수의 기기가 접속하고 있는 경우나, 에이전트 단말기(10)가 직접 통신 접속하고 있는 경우를 상정한다. 이때, 상태 분석부(102)는, 대상의 다른 기기로부터, 메이커나 제품 번호 등의 식별 정보도 수신한다. 특히 에이전트 단말기(10)와 동일한 메이커의 제품이라면(동일한 메이커끼리의 기기의 제휴), 보다 긴밀한 제품 정보의 공유가 가능한 경우도 있다.
또한, 다른 기기와 통신 접속할 수 없는 경우, 상태 분석부(102)는, 촬상부(160)에 의해 다른 기기를 촬상하고, 촬상 화상을 상태 정보로서 취득한다. 상태 분석부(102)에 있어서 촬상 화상으로부터 상태 정보의 분석(예를 들어 다른 기기의 거동이나 점등 상태, 표시 화면의 모습 등)을 행해도 좋고, 촬상 화상을 상태 정보로서 회답 서버(20)에 송신하고, 상태 정보의 분석은 회답 서버(20)에서 행하도록 해도 좋다.
또한, 「이상한 소리가 난다」 등의 발화 음성에 의해, 소리에 이상이 있다고 판단된 경우 등은, 상태 분석부(102)는, 마이크(120)에 의해 수음한 음성 정보도, 대상의 기기의 상태 정보로서 취득할 수 있다.
응답 처리부(103)는, 시스템(에이전트)으로부터 유저에의 응답 정보를 생성하고, 스피커(130)나 표시부(140)로부터 유저에 출력한다. 응답 처리부(103)가 응답 정보를 생성해도 좋고, 회답 서버(20) 등 클라우드에서 생성된 응답 정보를 취득해도 좋다. 음성 에이전트에 의한 유저와의 대화 시스템에 있어서의 기본적인 응답 처리의 알고리즘에 대해서는 본 실시 형태에서는 특별히 한정하지 않고, 다양한 기술을 적용할 수 있다.
또한, 본 실시 형태에 의한 응답 처리부(103)는, 음성 인식부(101)에 의해 인식된 유저 발화 음성과, 상태 분석부(102)에 의해 분석된 대상 기기의 상태에 기초하여, 대상 기기에 관한 문의에 대한 회답 정보를 취득하고, 스피커(130)나 표시부(140)로부터 유저에 응답하는 처리를 행한다. 「유저의 대상 기기에 관한 문의」란, 유저에 의한 명시적인 문의라도 좋고, 유저의 사소한 중얼거림이나 표정 등으로부터 응답 처리부(103)가 추출한 것이라도 좋다. 또한, 응답 처리부(103)는, 상태 분석부(102)에 의해 기기의 상태를 정기적/부정기적으로 분석시켜, 기기의 결함 등을 발견하여 유저에 통지하고, 회답 정보(해결 방법)를 제시하는 등, 자주적으로 문제를 발견해도 좋다.
회답 정보의 취득 방법의 베리에이션에 대해서는, 후술하는 각 동작 처리에 대하여 구체적으로 설명하지만, 예를 들어 응답 처리부(103)는, 에이전트 단말기(10)가 갖는 FAQ DB(150)로부터 회답 정보를 취득해도 좋고, 회답 서버(20)에 문의하여, 회답 서버(20)가 갖는 FAQ DB(220)로부터 회답 정보를 취득해도 좋다. 또한, 응답 처리부(103)는, 회답 서버(20)에 문의하여, 회답 서버(20)가 오퍼레이터로부터 얻은 회답 정보(오퍼레이터의 음성 발화 정보나, 오퍼레이터에 의해 입력된 텍스트 데이터 등)을 취득해도 좋다.
응답 처리부(103)는, 회답 서버(20)에 문의할 때는, 문의 정보로서, 상태 분석부(102)에 의해 취득한 상태 정보와, 대상 기기의 식별 정보(메이커, 형식 번호 등)를 포함하여, 회답 서버(20)에 송신한다. 또한, 응답 처리부(103)는, 또한, 유저 감정 해석부(104)에 의해 해석한 유저 감정 정보를 문의 정보에 포함하여 회답 서버(20)에 송신해도 좋다. 또한, 응답 처리부(103)는, 또한, 긴급도 추정부(105)에 의해 추정한 긴급도(또는 긴급성의 유무의 판단 결과)를 문의 정보에 포함하여 회답 서버(20)에 송신해도 좋다.
유저 감정 해석부(104)는, 음성 정보나 촬상 화상 등에 기초하여 유저의 감정을 해석한다. 예를 들어, 유저를 촬상한 촬상 화상으로부터 유저의 표정이나 거동을 취득하고, 조바심이나 화가 나 있거나, 초조해하는 등의 유저의 모습을 해석한다. 또한, 유저의 발화 음성으로부터 음 높이, 말하는 속도 등의 언어적인 정보 이외의 정보(파라 언어 정보)를 취득하고, 유저의 어조로부터, 유저가 어느 정도 화가 나 있는지 등을 해석한다.
긴급도 추정부(105)는, 유저의 발화 음성, 발화 내용, 표정, 해석한 감정 등으로부터, 긴급도를 추정한다. 예를 들어 유저가 시스템과의 대화에서 기기의 결함에 대하여 말한 때에 「서둘러 대응해줘」, 「즉시 고쳐줘」 등이라고 말한 경우나, 유저가 몹시 화가 나 있는 모습의 경우, 또한, 기기의 결함의 상태(문의 내용)에 따라, 긴급도가 높다(긴급성이 있다)라고 추정한다. 또한, 긴급도 추정부(105)는, 유저에 대하여, 「즉시 고칩니까?」 등의 질문을 행하여 긴급도를 추정해도 좋다.
(다른 기기(110))
다른 기기(110)는, 유선/무선에 의해 다른 기기와의 사이에서 데이터의 송수신을 행하기 위한 통신 모듈이다. 통신부(110)는, 예를 들어 유선 LAN(Local Area Network), 무선 LAN, Wi-Fi(Wireless Fidelity, 등록 상표), 적외선 통신, Bluetooth(등록 상표), 근거리/비접촉 통신, 휴대 통신망(LTE(Long Term Evolution), 3G(제3 세대의 이동체 통신 방식)) 등의 방식으로, 다른 기기와 직접 또는 네트워크 액세스 포인트를 통하여 무선 통신한다.
예를 들어 통신부(110)는, 다른 기기(11)나, 회답 서버(20)와, 데이터의 송수신을 행할 수 있다.
(마이크(120))
마이크로폰(본 명세서에서는, 마이크로 생략해서 칭한다)(120)은, 주위의 소리(유저의 발화 음성을 포함한다)를 수음하고, 증폭기 및 ADC(Analog Digital Converter)를 통하여 디지털 신호로 변환한 음성 신호를 출력하는 장치이다.
(스피커(130))
스피커는, DAC(Digital Analog Converter) 및 증폭기를 통하여, 음성 데이터를 아날로그 신호로 변환하고, 출력(재생)한다.
(표시부(140))
표시부(140)는, 예를 들어, 액정 디스플레이(LCD: Liquid Crystal Display), 유기 EL(Electro Luminescence) 디스플레이 등의 표시 장치라도 좋다. 에이전트 단말기(10)가 텔레비전 장치인 경우, 표시부(140)는 텔레비전 화면에 상당한다. 또한, 표시부(140)는, 응답 처리부(103)의 제어에 의해, 에이전트에 의한 응답 정보(텍스트, 화상)을 표시한다.
(FAQ DB(150))
FAQ DB(150)는, 미리 상정된 문의에 대하여 준비된 회답 정보를 축적한다. 또한, 회답 정보에는, 제품의 매뉴얼 데이터가 포함되어 있어도 좋다.
또한, 도 2에는 도시하고 있지 않지만, 에이전트 단말기(10)는, 기억부를 갖고, FAQ DB(150)는, 당해 기억부에 저장될 수 있다. 기억부는, 상술한 제어부(100)의 처리에 사용되는 프로그램이나 연산 파라미터 등을 기억하는 ROM(Read Only Memory) 및 적절히 변화하는 파라미터 등을 일시 기억하는 RAM(Random Access Memory)에 의해 실현되어도 좋다.
(촬상부(160))
촬상부(160)는, RGB 카메라 등의, 렌즈계, 구동계, 및 촬상 소자를 갖고, 화상(정지 화상 또는 동화상)을 촬상하는 촬상 장치이다.
이상, 본 실시 형태에 의한 에이전트 단말기(10)의 구성에 대하여 구체적으로 설명했다. 또한, 도 2을 사용하여 설명한 상기의 구성은 어디까지나 일례이고, 본 실시 형태에 관한 에이전트 단말기(10)의 기능 구성은 관련된 예에 한정되지는 않는다. 예를 들어, 에이전트 단말기(10)가 FAQ DB(150)나 표시부(140)를 갖지 않는 구성이라도 좋고, 촬상부(160)가 에이전트 단말기(10)와 통신 접속하는 다른 장치에 마련되어 있어도 좋다. 또한, 에이전트 단말기(10)가, 또한 각종 센서(유저 감정을 해석하기 위한 생체 센서, 유저의 거동을 인식하기 위한 뎁스 카메라, 기기의 상태를 분석하기 위한 온도 센서, 진동 센서, 가속도 센서, 자이로 센서, 지자기 센서, 광 센서, 조도 센서 등)나, 조작 입력부(마우스, 키보드, 터치 패널, 버튼, 마이크로폰, 스위치, 레버, 리모트 컨트롤러로부터의 조작 입력 신호를 수신하는 수신부 등)를 갖고 있어도 좋다.
또한, 제어부(100)의 각 기능 중 적어도 일부를, 클라우드 상에서 행하도록 해도 좋다.
<2-2. 회답 서버의 구성예>
도 3은, 본 실시 형태에 의한 회답 서버(20)의 구성의 일례를 도시하는 블록도이다. 도 3에 도시한 바와 같이, 회답 서버(20)는, 제어부(200), 통신부(210), FAQ DB(220), 및 연락처 DB(230)를 갖는다.
(제어부(200))
제어부(200)는, 연산 처리 장치 및 제어 장치로서 기능하고, 각종 프로그램에 따라서 회답 서버(20) 내의 동작 전반을 제어한다. 제어부(200)는, 예를 들어 CPU(Central Processing Unit), 마이크로프로세서 등의 전자 회로에 의해 실현된다. 또한, 제어부(100)는, 사용하는 프로그램이나 연산 파라미터 등을 기억하는 ROM(Read Only Memory) 및 적절히 변화하는 파라미터 등을 일시 기억하는 RAM(Random Access Memory)을 포함하고 있어도 좋다.
또한, 제어부(200)는, 응답 처리부(201), 유저 감정 해석부(202), 긴급도 추정부(203), 콜 센터 문의부(204), 및 로그 정보 송신 제어부(205)로서도 기능한다.
응답 처리부(201)는, 시스템(에이전트)으로부터 유저에의 응답 정보를 생성하고, 통신부(210)로부터 네트워크(30)를 통하여 에이전트 단말기(10)에 출력한다. 음성 에이전트에 의한 유저와의 대화 시스템에 있어서의 기본적인 응답 처리의 알고리즘에 대해서는 본 실시 형태에서는 특별히 한정하지 않고, 다양한 기술을 적용할 수 있다.
또한, 응답 처리부(201)는, 에이전트 단말기(10)로부터 송신된 「대상 기기에 관한 문의 정보」에의 회답을 취득하고, 회답 정보를 회답 서버(20)에 회신하도록 제어한다. 예를 들어 201은, FAQ DB(220)로부터 회답을 취득한다. 또한, FAQ DB(220)에 회답이 없었을 경우, 콜 센터 문의부(204)에 의해 콜 센터 서버(40)에의 문의를 행하고(에이전트에 의한 대리 전화), 오퍼레이터로부터 회답을 취득한다.
콜 센터 문의부(204)는, 대상 기기에 관한 문의의 연락처 정보(전화 번호, 메일 어드레스, URL 등)를 연락처 DB(230)로부터 취득하고, 대상 기기에 관한 문의 내용(기기의 상태 정보, 형식 번호 등의 식별 정보)을, 그 연락처(예를 들어 서포트 서버(42))에 송신한다. 콜 센터 문의부(204)는, 대상 기기에 관한 문의 내용을 오퍼레이터에 전달하기 위한 음성 신호(에이전트 음성)를 생성하고, 오퍼레이터와의 음성 통화(에이전트에 의한 대리 전화)를 행하고, 오퍼레이터로부터 회답(음성에 의한 회답이나, 텍스트 데이터에 의한 회답 등)을 얻어도 좋다. 오퍼레이터는, 자신이 대응 가능하다면, 음성 통화에 의해 회답하거나, 또한, 텍스트 데이터를 오퍼레이터 단말기에 타이핑하여 회답 서버(20)에 송신하거나 한다. 또한, 오퍼레이터가, 서포트(제품의 수리 등의 서포트를 행하는 담당자)에 해결을 의뢰하는 것도 상정된다. 이 경우, 서포트 담당자로부터 유저에 직접 전화 연락이 행해지거나, 방문 수리가 행해지거나 한다.
콜 센터 문의부(204)에 의한 콜 센터에의 문의는, 문의의 긴급도가 높다(즉, 긴급성이 있다)고 추정된 경우에만 행하도록 해도 좋다. 문의의 긴급도는, 긴급도 추정부(203)에 의해 추정되어도 좋고, 에이전트 단말기(10)의 긴급도 추정부(105)에 의해 추정된 긴급도 정보가 문의 정보에 포함하여 송신되어도 좋다.
유저 감정 해석부(202) 및 긴급도 추정부(203)의 기능은, 도 2을 참조하여 설명한 유저 감정 해석부(104)와 긴급도 추정부(105)의 기능과 마찬가지이다. 유저 감정의 해석 처리 및 긴급도의 추정 처리는, 에이전트 단말기(10)에서 행해져도 좋고, 회답 서버(20)에서 행해져도 좋다.
로그 정보 송신 제어부(205)는, 문의 정보를, (대상 기기의) 로그 정보로서, 서포트 서버(42)나 개발 관리 서버(44)에 송신하는 제어를 행한다. 예를 들어 로그 정보 송신 제어부(205)는, 긴급도가 높다(즉, 긴급성이 있다)고 추정된 경우에, 문의 정보(대상의 기기 식별 정보 및 상태 정보, 유저 감정 정보 등)를 로그 정보로서 서포트 서버(42)에 송신해도 좋다. 서포트 서버(42)는, 취득한 로그 정보를 축적함과 함께, 예를 들어 서포트 담당자가 소유하는 전용 통신 단말기에 통지하고, 수리 대응(방문 수리, 전화 연락 등)의 의뢰를 행한다.
또는, 로그 정보 송신 제어부(205)는, 긴급도가 낮다(즉, 긴급성이 없다)고 추정된 경우에, 문의 정보(대상의 기기 식별 정보 및 상태 정보, 유저 감정 정보 등)를 로그 정보로서, 서포트 서버(42)나 개발 관리 서버(44)에 송신해도 좋다. 문의 내용에는, 「프로그램 표의 색이 보기 흉하다」, 「조작 방법을 알기 어렵다」 등의 불만도 포함되고, 이것들은 긴급도가 낮기 때문에, 예를 들어 로그 정보로서 개발 관리 서버(44)에 축적하고, 개발자에 공유하는 것으로, 차후의 제품 개발이나, 대상 기기에 탑재되어 있는 소프트웨어의 업데이트 등의 때에 고려될 수 있다. 또한, 로그 정보로서, 유저 감정도 송신됨으로써, 당해 문제가 유저에게 어느 정도의 임팩트가 있는 것인지를 해석하고, 장래의 개발에 도움될 수 있다.
(통신부(210))
통신부(210)는, 유선/무선에 의해 다른 기기와의 사이에서 데이터의 송수신을 행하기 위한 통신 모듈이다. 통신부(210)는, 예를 들어 유선 LAN(Local Area Network), 무선 LAN, Wi-Fi(Wireless Fidelity, 등록 상표), 적외선 통신, Bluetooth(등록 상표), 근거리/비접촉 통신, 휴대 통신망(LTE(Long Term Evolution), 3G(제3 세대의 이동체 통신 방식)) 등의 방식으로, 다른 기기와 직접 또는 네트워크 액세스 포인트를 통하여 무선 통신한다.
예를 들어 통신부(210)는, 에이전트 단말기(10)와, 데이터의 송수신을 행할 수 있다.
(FAQ DB(220))
FAQ DB(220)는, 미리 상정된 문의에 대하여 준비된 회답 정보를 축적한다. 또한, 회답 정보에는, 제품의 매뉴얼 데이터가 포함되어 있어도 좋다. 회답 서버(20)가 갖는 FAQ DB(220)의 회답 정보는, 예를 들어, 에이전트 단말기(10)가 갖는 FAQ DB(150)에 축적되는 회답 정보보다도 많고, 최신의 회답 정보(적절히 갱신되어 있는)인 것으로 해도 좋다. 또한, FAQ DB(220)에 축적되는 회답 정보는, 에이전트 단말기(10)에 관하여 상정되는 문의에 대하여 준비된 회답 정보나, 본 시스템을 제공하고 있는 사람이나 에이전트 단말기(10)의 메이커 제품에 대하여 준비된 회답 정보인 것으로 해도 좋다(자사 제품이라면, 미리 문의를 상정하여 회답(해결 방법 등)을 준비하는 것은 용이하다고 생각할 수 있다).
(연락처 DB(230))
연락처 DB(230)는, 각 메이커나 제품에 관한 연락처 정보를 축적한다. 연락처 정보는, 예를 들어 콜 센터의 전화 번호나, 서포트 담당자/개발자의 메일 어드레스, 각 서버(콜 센터 서버(40), 서포트 서버(42), 및 개발 관리 서버(44))의 URL 등이다.
또한, 도 3에는 도시하고 있지 않지만, 회답 서버(20)는, 기억부를 갖고, FAQ DB(220) 및 연락처 DB(230)는, 당해 기억부에 저장될 수 있다. 기억부는, 상술한 제어부(200)의 처리에 사용되는 프로그램이나 연산 파라미터 등을 기억하는 ROM(Read Only Memory) 및 적절히 변화하는 파라미터 등을 일시 기억하는 RAM(Random Access Memory)에 의해 실현되어도 좋다.
이상, 본 실시 형태에 의한 회답 서버(20)의 구성에 대하여 구체적으로 설명했다. 또한, 도 3을 사용하여 설명한 상기의 구성은 어디까지나 일례이고, 본 실시 형태에 관한 회답 서버(20)의 기능 구성은 관련된 예에 한정되지는 않는다. 예를 들어, 회답 서버(20)가 복수의 장치에 의해 구성되어 있어도 좋다.
<<3. 에이전트에 의한 응답 출력 예>>
도 4 및 도 5에, 본 실시 형태에 의한 기기에 관한 문의에 대한 에이전트에 의한 응답의 출력 예를 도시한다. 도 4 및 도 5에 도시하는 예에서는, 예를 들어 에이전트 단말기(10)가 텔레비전 장치인 경우에, 유저가 「화면이 나오지 않게 되었다」 등의 발화를 행했을 때의 응답으로서, 「케이블을 확인해 주세요」라고 한 회답 정보를 (FAQ 또는 오퍼레이터로부터) 얻은 경우에 있어서의 구체적인 출력 예를 도시한다.
도 4 좌측에 도시하는 바와 같이, 예를 들어 에이전트 단말기(10)(텔레비전 장치)의 화면 상에 텍스트 데이터에 의해 응답을 표시해도 좋고, 도 4 중앙에 도시하는 바와 같이, 음성(에이전트 음성)에 의해 응답을 출력해도 좋다.
또한, 예를 들어 텔레비전 장치의 화면에 문제가 있는 경우, 도 4 우측에 도시하는 바와 같이, 텔레비전 장치의 화면 일부(예를 들어 절반의 영역)에 응답을 표시하고, 유저의 대응에 의해, 문제의 현상이 변화했는지 여부를 확인할 수 있도록 해도 좋다.
또한, 도 5 좌측에 도시하는 바와 같이, 에이전트 단말기(10)와 제휴하는 기기(13a)(예를 들어 스마트폰)의 화면에, 응답을 표시하도록 해도 좋다. 또한, 도 5 우측에 도시하는 바와 같이, 에이전트 단말기(10)와 제휴하는 기기(13b)(예를 들어 스마트 스피커)로부터, 응답을 음성 출력하도록 해도 좋다. 이들 제휴하는 기기(13)는, 에이전트 단말기(10)의 타사 제품이라도 좋다.
또한, 이러한 각종 응답(피드백)의 방식의 선택은, 기계 학습 등을 사용하여, 개인 맞춤화하고, 보다 해결하기 쉬운 응답, 혹은 유저의 스트레스가 적은 응답을 행하도록 해도 좋다. 이 때문에, 본 시스템에서는, 문의 내용, 회답 정보, 및 응답 방법을 유저에 관련 지어, 이력 정보로서 에이전트 단말기(10)나 회답 서버(20)에 축적하도록 해도 좋다.
<<4. 동작 처리>>
계속해서, 본 실시 형태에 의한 정보 처리 시스템의 동작 처리에 대하여 설명한다.
<4-1. 제1 동작 처리: 에이전트 단말기(10)의 문제를 자기 해결>
도 6은, 본 실시 형태에 의한 정보 처리 시스템의 제1 동작 처리의 흐름의 일례를 도시하는 흐름도이다.
도 6에 도시하는 바와 같이, 먼저, 유저가 에이전트 단말기(10)의 문제를 음성 발화하면(스텝 S103), 에이전트 단말기(10)는, 음성 인식부(101)에 의해 음성 인식하고(스텝 S106), 대상의 기기(여기서는, 에이전트 단말기(10))에 관한 문의 정보를 추출한다. 예를 들어, 「텔레비전의 화면이 나오지 않는다!」라고 말한 음성 발화로부터, 텔레비전 장치(에이전트 단말기(10))의 화면이 표시되지 않는다라고 말한 문의 정보를 추출한다.
이어서, 에이전트 단말기(10)는, 문의 대상의 기기가 자신이기 때문에, 상태 분석부(102)에 의해, 내부 상태를 분석한다(스텝 S109).
이어서, 에이전트 단말기(10)의 응답 처리부(103)는, FAQ DB(150)를 검색하고, 회답을 취득한다(스텝 S112). 예를 들어, 응답 처리부(103)는, 「텔레비전의 화면이 표시되지 않는다」라고 말한 문의 내용과, 내부 상태(예를 들어 HDMI(등록 상표)(High-Definition Multimedia Interface) 케이블이 접속되어 있지 않은 등)에 기초하여, FAQ DB(150)에 미리 준비된 회답(예를 들어 「HDMI 케이블을 확인해 주세요」 등)을 취득한다.
그리고, 에이전트 단말기(10)의 응답 처리부(103)는, 취득한 회답을 유저에 통지한다(스텝 S115). 구체적으로는, 응답 처리부(103)는, 스피커(130)로부터 회답을 음성 출력하거나, 표시부(140)로부터 표시 출력하거나 한다.
<4-2. 제2 동작 처리: 에이전트 단말기(10)의 문제를 서버에 문의>
도 7은, 본 실시 형태에 의한 정보 처리 시스템의 제2 동작 처리의 흐름의 일례를 도시하는 흐름도이다.
제2 동작 처리에서는, 에이전트 단말기(10)가 FAQ DB(150)를 갖고 있지 않은 경우 또는, FAQ DB(150)를 갖고 있지만 문제 해결을 할 수 없었던(회답이 발견되지 않은) 경우에, 회답 서버(20)에 문의를 행하는 경우에 대하여 설명한다.
도 7에 도시하는 스텝 S123 내지 S129에서는, 제1 동작 처리에 도시하는 스텝 S103 내지 S109과 마찬가지로, 에이전트 단말기(10)가, 유저 발화에 따라, 자신의 문제를 파악한다.
이어서, 에이전트 단말기(10)는, 문의 정보로서, 대상의 기기(여기서는, 에이전트 단말기(10))의 메이커, 형식 번호 등의 식별 정보와, 증상(상태 정보)을, 회답 서버(20)에 송신하고, 회답을 요구한다(스텝 S132).
이어서, 회답 서버(20)는, FAQ DB(220)를 검색하여 회답을 취득하고(스텝 S135), 회답을 에이전트 단말기(10)에 송신한다(스텝 S138).
그리고, 에이전트 단말기(10)는, 회답 서버(20)로부터 취득한 회답을, 유저에 통지한다(스텝 S141).
<4-3. 제3 동작 처리: 에이전트 단말기(10)의 문제를 자주적으로 보고>
도 8은, 본 실시 형태에 의한 정보 처리 시스템의 제3 동작 처리의 흐름의 일례를 도시하는 흐름도이다.
제3 동작 처리에서는, 유저의 음성 발화에 한하지 않고, 에이전트 단말기(10)가 자신의 문제를 자주적으로 발견하고, 보고하는 경우에 대하여 설명한다.
도 8에 도시하는 바와 같이, 에이전트 단말기(10)는, 정기적/부정기적으로, 내부 상태를 분석하고(스텝 S153), 문제의 가능성(문제가 발생하고 있는 가능성)을 유저에 통지한다(스텝 S156).
이어서, 에이전트 단말기(10)는, FAQ DB(150)를 검색하고(스텝 S159), 회답을 유저에 통지한다(스텝 S162).
<4-4. 제4 동작 처리: 에이전트 단말기(10)의 문제를 자주적으로 서버에 문의>
도 9는, 본 실시 형태에 의한 정보 처리 시스템의 제4 동작 처리의 흐름의 일례를 도시하는 흐름도이다.
제4 동작 처리에서는, 에이전트 단말기(10)가 자신의 문제를 자주적으로 발견한 경우이고, 또한, 에이전트 단말기(10)가 FAQ DB(150)를 갖고 있지 않은 경우 또는 FAQ DB(150)를 갖고 있지만 문제 해결을 할 수 없었던(회답이 발견되지 않은) 경우에, 회답 서버(20)에 문의를 행하는 경우에 대하여 설명한다.
도 9에 도시하는 바와 같이, 에이전트 단말기(10)는, 내부 상태를 분석하여(스텝 S173), 문제의 가능성을 유저에 통지함과 함께(스텝 S176), 문의 정보로서, 대상의 기기(여기서는, 에이전트 단말기(10))의 메이커, 형식 번호 등의 식별 정보와, 증상(상태 정보)을, 회답 서버(20)에 송신하고, 회답을 요구한다(스텝 S179).
이어서, 회답 서버(20)는, FAQ DB(220)를 검색하여 회답을 취득하고(스텝 S182), 회답을 에이전트 단말기(10)에 송신한다(스텝 S185).
그리고, 에이전트 단말기(10)는, 회답 서버(20)로부터 취득한 회답을, 유저에 통지한다(스텝 S188).
<4-5. 제5 동작 처리: 다른 기기(11)의 문제를 에이전트 단말기(10)가 해결>
도 10은, 본 실시 형태에 의한 정보 처리 시스템의 제5 동작 처리의 흐름의 일례를 도시하는 흐름도이다.
제5 동작 처리에서는, 유저의 발화 음성에 따라, 에이전트 단말기(10)가 다른 기기(11)의 문제를 해결하는 경우에 대하여 설명한다.
도 10에 도시하는 바와 같이, 먼저, 유저가 다른 기기(11)의 문제를 음성 발화하면(스텝 S203), 에이전트 단말기(10)는, 음성 인식부(101)에 의해 음성 인식하고(스텝 S206), 대상의 기기(여기서는, 다른 기기(11))에 관한 문의 정보를 추출한다. 예를 들어, 「냉장고의 조작 패널이 표시되지 않는다!」라고 말한 음성 발화로부터, 에이전트 기능이 마련되어 있는 에이전트 단말기(10) 자신(예를 들어 텔레비전 장치나, 스마트 스피커 등)이 아니라, 다른 기기인 「냉장고」의 조작 패널이 표시되지 않는다라고 말한 문의 정보를 추출한다.
이어서, 에이전트 단말기(10)는, 문의 대상의 기기가 다른 기기(11)이기 때문에, 다른 기기(11)에, 내부 상태의 문의를 행한다(스텝 S209).
이어서, 다른 기기(11)는, 내부 상태 정보를 수집하고, 에이전트 단말기(10)에 송신한다(스텝 S212). 다른 기기(11)가 에이전트 단말기(10)와 동일한 메이커의 제품이라면, 보다 상세한 정보를 얻을 수 있는 가능성이 높고(자사 제품의 제휴 때문에 미리 정보의 송출이 허가되어 있는 등), 또한, 다른 메이커 제품이라도(타사 제품과의 제휴), 어느 정도의 정보(예를 들어, 「냉장고의 도어가 닫혀 있지 않다」 등)를 얻을 수 있는 것으로서 설명한다. 또한, 내부 상태 정보가 송신될 때, 아울러, 당해 다른 기기(11)의 식별 정보(메이커명, 형식 번호 등)도 송신될 수 있다.
이어서, 에이전트 단말기(10)는, 상태 정보에 기초하여, FAQ DB(150)를 검색하고, 회답(예를 들어, 「냉장고의 도어를 한번 열어서 제대로 닫아 주세요」 등)을 취득한다(스텝 S215). 또한, 다른 기기(11)는, 다른 메이커 제품이라도 좋다. FAQ DB(150)에는, 기본적으로는, 에이전트 단말기(10)와 동일한 메이커의 제품에 관한 미리 상정된 문의와 회답(매뉴얼)이 등록되어 있는 것이 상정되지만, 예를 들어 미리 제휴가 권장되고 있는 다른 메이커 제품의 회답 정보가 등록되어 있는 경우도 상정된다.
그리고, 에이전트 단말기(10)는, 취득한 회답을 유저에 통지한다(스텝 S218).
<4-6. 제6 동작 처리: 다른 기기(11)의 문제를 에이전트 단말기(10)가 서버에 문의>
도 11은, 본 실시 형태에 의한 정보 처리 시스템의 제6 동작 처리의 흐름의 일례를 도시하는 흐름도이다.
제6 동작 처리에서는, 에이전트 단말기(10)가 FAQ DB(150)를 갖고 있지 않은 경우 또는, FAQ DB(150)를 갖고 있지만 문제 해결을 할 수 없었던(회답이 발견되지 않은) 경우에, 회답 서버(20)에 문의를 행하는 경우에 대하여 설명한다.
도 11에 도시하는 스텝 S223 내지 S232에서는, 제5 동작 처리에 도시하는 스텝 S203 내지 S212과 마찬가지로, 에이전트 단말기(10)가, 유저 발화에 따라, 다른 기기(11)의 문제를 파악한다.
이어서, 에이전트 단말기(10)는, 문의 정보로서, 대상의 기기(여기서는, 다른 기기(11))의 메이커, 형식 번호 등의 식별 정보와, 증상(상태 정보)을, 회답 서버(20)에 송신하고, 회답을 요구한다(스텝 S235).
이어서, 회답 서버(20)는, FAQ DB(220)를 검색하여 회답을 취득하고(스텝 S238), 회답을 에이전트 단말기(10)에 송신한다(스텝 S241).
그리고, 에이전트 단말기(10)는, 회답 서버(20)로부터 취득한 회답을, 유저에 통지한다(스텝 S244).
<4-7. 제7 동작 처리: 다른 기기(11)의 문제를 에이전트 단말기(10)가 인식하고 서버에 문의>
도 12는, 본 실시 형태에 의한 정보 처리 시스템의 제7 동작 처리의 흐름의 일례를 도시하는 흐름도이다.
제7 동작 처리에서는, 에이전트 단말기(10)가 다른 기기(11)과 통신 접속할 수 없고 상태 정보를 취득할 수 없는 경우에, 다른 기기(11)를 촬영함으로써, 다른 기기(11)의 식별 정보나 상태 정보를 인식하는 경우에 대하여 설명한다.
도 12에 도시하는 바와 같이, 먼저, 유저가 다른 기기(11)의 문제를 음성 발화하면(스텝 S253), 에이전트 단말기(10)는, 음성 인식부(101)에 의해 음성 인식하고(스텝 S256), 대상의 기기(여기서는, 다른 기기(11))에 관한 문의 정보를 추출한다.
이어서, 에이전트 단말기(10)는, 대상의 기기와 통신 접속할 수 없는 경우, 촬상부(160)에 의해 대상의 기기를 촬상하고, 촬상 화상의 인식에 의해, 메이커, 형식 번호 등의 다른 기기(11)의 식별 정보나, 외관으로부터 알 수 있는 증상을 추정한다(스텝 S259). 또한 에이전트 단말기(10)는, 또한 음성 정보로부터, 대상의 기기 증상을 추정해도 좋다. 예를 들어 에이전트 단말기(10)가 텔레비전 장치이고, 근처에 존재하는 다른 기기(11)를 촬상할 수 있는 경우를 상정한다. 다른 기기(11)의 촬영은 유저가 행해도 좋다. 또한, 메이커, 형식 번호 등의 식별은, 기계 학습 등을 사용하여 행해져도 좋다. 이에 의해, 예를 들어 대상의 다른 기기(11)를, 옆이나 비스듬하게 해서 촬영해도, 메이커나 형식 번호가 인식될 수 있다. 또한, 에이전트 단말기(10)는, 유저에 대하여, 「메이커나 형식 번호는 알 수 있나요?」 등의 질문을 행하고, 대상의 기기 식별 정보 등을 취득해도 좋다.
이어서, 에이전트 단말기(10)는, 문의 정보로서, 추정된 대상의 기기(여기서는, 다른 기기(11))의 메이커, 형식 번호 등의 식별 정보와, 증상(상태 정보)을, 회답 서버(20)에 송신하고, 회답을 요구한다(스텝 S262).
이어서, 회답 서버(20)는, FAQ DB(220)를 검색하여 회답을 취득하고(스텝 S265), 회답을 에이전트 단말기(10)에 송신한다(스텝 S268).
그리고, 에이전트 단말기(10)는, 회답 서버(20)로부터 취득한 회답을, 유저에 통지한다(스텝 S271).
<4-8. 제8 동작 처리: 다른 기기(11)의 문제를 콜 센터에 문의>
도 13 및 도 14은, 본 실시 형태에 의한 정보 처리 시스템의 제8 동작 처리의 흐름의 일례를 도시하는 흐름도이다.
제8 동작 처리에서는, FAQ DB(220)로부터 회답이 발견되지 않은 경우에, 콜 센터(콜 센터 서버(40))에 문의를 행하는 경우에 대하여 설명한다. 대상의 기기는, 에이전트 단말기(10)라도 좋고, 다른 기기(11)라도 좋다.
도 13에 도시하는 바와 같이, 먼저, 유저가 에이전트 단말기(10) 또는 다른 기기(11)의 문제를 음성 발화하면(스텝 S303), 에이전트 단말기(10)는, 음성 인식을 행하고(스텝 S306), 에이전트 단말기(10) 또는 다른 기기(11)의 메이커, 형식 번호, 증상 등을 취득(또는 상술한 바와 같이 화상 인식에 의해 추정)한다(스텝 S309).
이어서, 긴급도 추정부(105)는, 유저의 언동으로부터 긴급도를 추정한다(스텝 S312). 또한 본 흐름도에서는, 긴급도를 에이전트 단말기(10)에서 추정하고 있지만, 이것에 한정되지는 않고, 긴급도를 추정하기 위한 정보를 회답 서버(20)에 송신하여 회답 서버(20)에서 긴급도를 추정하도록 해도 좋다.
이어서, 에이전트 단말기(10)는, 메이커나 형식 번호 등의 식별 정보, 증상(상태 정보), 및 긴급도 정보 등을, 문의 정보로서 회답 서버(20)에 송신한다(스텝 S315).
이어서, 회답 서버(20)는, FAQ DB(220)를 검색하고(스텝 S318), 회답이 발견된 경우는(스텝 S321/"예"), 회답을 에이전트 단말기(10)에 송신한다(스텝 S324).
그리고, 에이전트 단말기(10)는, 회답 서버(20)로부터 취득한 회답을, 유저에 통지한다(스텝 S327).
한편, 회답이 발견되지 않은 경우(스텝 S321/"아니오"), 도 14에 도시하는 바와 같이, 긴급성이 있는 문의인지 여부를 판단한다(스텝 S330).
이어서, 긴급성이 있는 문의인 경우(스텝 S330/"예"), 회답 서버(20)는, 에이전트 단말기(10)를 통하여, 유저에, 콜 센터에의 연락 가부의 확인을 행한다(스텝 S333, 스텝 S336). 예를 들어, 에이전트 단말기(10)는, 「내가 콜 센터에 문의를 해도 좋겠습니까?」 등의 에이전트 음성을 출력한다.
이어서, 유저가 콜 센터에의 연락에 동의한 경우(스텝 S339, 스텝 S342), 회답 서버(20)는, 연락처 DB(230)로부터, 대상의 기기 식별 정보에 대응하는 콜 센터에의 연락처(전화 번호 등)를 검색한다(스텝 S345).
이어서, 회답 서버(20)는, 콜 센터 서버(40)에 대하여, 대상의 기기 문제에 대하여 문의(예를 들어 에이전트 음성에 의한 대리 전화)를 행한다(스텝 S3458).
이어서, 콜 센터 서버(40)는(구체적으로는, 콜 센터 서버(40)와 접속하는 오퍼레이터 단말기를 조작하는 오퍼레이터의 조작에 기초하여), 필요에 따라, 서포트 서버(42)에 서포트 해결 의뢰를 행해도 좋다(스텝 S351).
계속해서, 콜 센터 서버(40)는, 대응 방법(문제에의 해결 수단 등)을, 회답 서버(20)에 회답한다(스텝 S354). 콜 센터 서버(40)에의 문의가 대리 전화(음성 통화)에 의해 행해진 경우, 회답도, 오퍼레이터로부터 얻은 음성이라도 좋다. 혹은 음성을 텍스트화한 데이터라도 좋다.
이어서, 회답 서버(20)는, 콜 센터 서버(40)로부터 취득한 대응 방법(회답)을, 에이전트 단말기(10)에 송신한다.
그리고, 에이전트 단말기(10)는, 회답 서버(20)로부터 취득한 회답을, 유저에 통지한다(스텝 S244).
또한, 상기 스텝 S351에서 서포트 해결 의뢰가 된 경우, 서포트로부터 오퍼레이터에 회답을 행해도 좋고, 서포트로부터 유저에 직접 전화 연락이나, 유저에 확인한 후, 방문 수리를 행하도록 해도 좋다.
또한, 상기 스텝 S333 내지 S342에 도시하는 처리와 같이, 매번, 유저에, 콜 센터에의 연락 가부를 확인해도 좋고, 미리 콜 센터에의 연락 가부가 유저에 의해 설정되어 있어도 되고, 콜 센터에의 연락 가부 확인의 학습 이력에 의해 판단해도 좋다.
<4-9. 제9 동작 처리: 문제에 대하여 서포트에 로그 정보를 송신>
도 15은, 본 실시 형태에 의한 정보 처리 시스템의 제9 동작 처리의 흐름의 일례를 도시하는 흐름도이다. 대상의 기기는, 에이전트 단말기(10)라도 좋고, 다른 기기(11)라도 좋다.
제9 동작 처리에서는, 긴급성은 있지만 콜 센터에의 연락은 유저에 의해 거부되고, 서포트 로그의 송신이 허가된 경우에 대하여 설명한다.
도 15에 도시하는 동작 처리는, 도 13에 도시하는 스텝 S321에 있어서, 회답 서버(20)의 FAQ DB(220)에서 회답이 발견되지 않은 경우(스텝 S321/"아니오")의 처리이다.
회답 서버(20)는, 긴급성이 있는 문의인 경우(스텝 S370/"예"), 유저에 콜 센터에의 연락 가부의 확인을 행한다(스텝 S373 내지 스텝 S376).
이어서, 유저로부터 콜 센터에의 연락은 동의되지 않은 경우(스텝 S379 내지 스텝 S382), 회답 서버(20)는, 유저에, 서포트 로그의 송신 가부를 확인한다(스텝 S385 내지 스텝 S388).
이어서, 유저로부터 서포트 로그의 송신이 동의된 경우(스텝 S391 내지 스텝 S394), 회답 서버(20)는, 메이커, 형식 번호, 증상 등을 포함하는 로그 정보를, 서포트 서버(42)에 송신한다(스텝 S397). 로그 정보에는, 유저 감정 정보를 포함시켜도 좋다. 서포트 서버(42)는, 로그 정보를 기록한다(스텝 S400).
이어서, 회답 서버(20)는, 로그 정보를 송신한 취지를, 에이전트 단말기(10)를 통하여 유저에 통지한다(스텝 S403, 스텝 S406). 예를 들어, 에이전트 단말기(10)는, 「서포트에 로그 정보를 송신하여 해결 의뢰를 행했습니다. 등록된 메일 어드레스에 상세가 보내집니다.」 등의 에이전트 음성을 출력한다.
이어서, 서포트 서버(42)에서 문제 해결이 행해지면(스텝 S409), 필요에 따라, 유저에 대하여 전화 연락 또는, 방문 수리의 통지 등이 행해진다(스텝 S412 내지 S418).
<4-10. 제10 동작 처리: 문제에 대하여 개발자에 피드백>
도 16은, 본 실시 형태에 의한 정보 처리 시스템의 제10 동작 처리의 흐름의 일례를 도시하는 흐름도이다. 대상의 기기는, 에이전트 단말기(10)라도 좋고, 다른 기기(11)라도 좋다.
제10 동작 처리에서는, 사소한 불만이나, 즉시는 해결 가능하지 않은 것 등, 긴급성이 없는 경우에, 문제를 개발자에 피드백하는 경우에 대하여 설명한다.
도 16에 도시하는 동작 처리는, 도 15에 도시하는 스텝 S370에 있어서, 긴급성이 없는 문의로 판단된 경우(스텝 S370/"아니오")의 처리이다.
회답 서버(20)는, 긴급성이 없는 문의인 경우(스텝 S370/"아니오"), 메이커, 형식 번호, 증상, 유저로부터의 불만 등을 포함하는 로그 정보를, 개발 관리 서버(44)에 송신한다(스텝 S500).
이어서, 회답 서버(20)는, 개발자에 문제를 전달한 취지를, 에이전트 단말기(10)를 통하여 유저에 통지한다(스텝 S503 내지 S506). 예를 들어, 에이전트 단말기(10)는, 「개발자에, 상황과 함께, 『아이콘을 알기 어렵다』라고 송신했습니다.」 등의 에이전트 음성을 출력한다.
이어서, 서포트 서버(42)에서는, 필요하면 문제의 대응이 행해진다(스텝 S509). 문제의 대응은 즉시 행해지지 않고, 소프트웨어의 업데이트 타이밍에 고려되는 것이라도 좋다.
이어서, 대상의 기기(에이전트 단말기(10)나 다른 기기(11))의 소프트웨어 업데이트가 행해지고, 문제를 해결할 수 있다(스텝 S512, S515).
또한, 긴급도는, 에이전트 단말기(10)에서 기능하는 대화 에이전트를 사용하여 유저에 대하여 확인한 후(예를 들어, 「즉시 대응이 필요합니까?」 등), 판단해도 좋다.
이상, 본 실시 형태에 의한 각 동작 처리의 일례에 대하여 설명했다. 또한 각 흐름도에 도시하는 동작 처리는 일례이고, 본 개시는 이들에 한정되지는 않는다. 예를 들어, 본 개시는, 각 흐름도에 도시하는 스텝의 순서로 한정되지는 않는다. 적어도 어느 것의 스텝이 병렬로 처리되어도 좋고, 역의 순서로 처리되어도 좋다. 또한, 각 흐름도에 도시하는 모든 처리가 반드시 실행되지 않더라도 좋다.
<<5. 변형예>>
<5-1. 에이전트 단말기(10)로부터의 콜 센터 등에의 직접 문의>
에이전트 단말기(10)가, 콜 센터의 전화 번호 등, 메이커나 제품에 대응하는 연락처 정보를 축적한 데이터베이스를 갖고, 또는 연락처 정보를 클라우드로부터 취득하고, 에이전트 단말기(10)가, 콜 센터에의 대리 전화나, 서포트 서버(42)에의 수리 의뢰나, 개발 관리 서버(44)에의 로그 정보의 송신 등을(회답 서버(20)를 통하지 않고) 행해도 좋다.
<5-2. 시스템 구성예>
본 실시 형태에 의한 정보 처리 시스템의 시스템 구성예에 대하여, 몇 가지의 예를 들어서 설명한다.
(5-2-1. 클라이언트-서버형 시스템)
도 17은, 본 개시의 실시 형태에 관한 시스템 구성예로서 클라이언트-서버형의 시스템 구성예를 도시하는 도면이다.
도시된 예에서는, 에이전트 단말기(10)가 복수 존재하고, 어느 에이전트 단말기(10)도, 유저와의 대화가 가능하고, 어느 1개의 에이전트 단말기(10)와의 대화에 있어서 문제 해결의 의뢰를 행할 때는, 당해 에이전트 단말기(10)에 있어서, 다른 에이전트 단말기(10)가, 상술한 다른 기기(11)에 상당하게 된다.
도시되고 있는 바와 같이, 에이전트 단말기(10)에는, 예를 들어, 스마트폰, 태블릿, 혹은 노트북 PC(Personal Computer)와 같은 모바일 디바이스(10-1), 아이웨어 또는 콘택트 렌즈형 단말기, 손목 시계형 단말기, 팔찌형 단말기, 반지형 단말기, 헤드셋, 의복 부착형 또는 의복 일체형 단말기, 구두 부착형 또는 구두 일체형 단말기, 혹은 목걸이형 단말기와 같은 웨어러블 디바이스(10-2), 카 내비게이션 시스템이나 리어 시트 엔터테인먼트 시스템과 같은 차량 탑재 디바이스(10-3), 스마트 스피커(10-4), 텔레비전(10-5), 디지털 카메라(10-6), 냉장고, 전자 레인지, 세탁기, 청소기, 에어 컨디셔너, 조명 장치, 레코더, 게임기, 혹은 데스크탑 컴퓨터와 같은 CE(Consumer Electronics) 디바이스(10-7), 로봇 장치, 설비에 부대하여 설치되는 센서 등을 포함하는 디바이스 또는 가두에 설치되는 디지털 사인보드(디지털 사이니지)(10-8) 등이 포함될 수 있다. 이들 에이전트 단말기(10)는, 네트워크를 통하여 회답 서버(20)와 통신한다.
이들 장치는, 장치 상호 간에 개별로 제휴 동작해도 좋고, 모든 장치가 제휴 동작 가능한 시스템이 구축되어 있어도 좋다.
도 17에 도시한 예는, 본 개시의 정보 처리 시스템이 클라이언트-서버 시스템에 있어서 실현되는 예를 이해하기 쉽게 하기 위해서 도시된 것이고, 본 시스템은 이러한 클라이언트-서버 시스템에 한정되지는 않는다. 또한, 에이전트 단말기(10)의 예는, 도 17에 도시하는 예에는 한정되지는 않고, 다른 종류의 단말 장치가 포함되어도 좋다.
(5-2-2. 분산형 시스템)
도 18은, 본 개시의 실시 형태에 관한 시스템 구성예로서 분산형 시스템의 경우에 대하여 설명하는 도면이다. 도시된 예에서는, 에이전트 단말기(10)가 노드이고, 이들 에이전트 단말기(10)는, 네트워크를 통하여 서로 접속하고 있다.
도 18에 도시하는 분산형 시스템에서는, 장치 상호 간에 개별로 제휴 동작하거나, 데이터를 분산관리하거나, 처리를 분산하거나 하는 것이 가능하다. 이에 의해, 처리 부담의 경감, 리얼타임성의 향상(응답 시간이나 처리 속도의 향상), 시큐리티의 담보를 실현하는 것이 가능하게 된다.
또한, 분산형 시스템은, 분산 협조적으로 기계 학습을 행하는 것도 가능하고, 대량의 데이터를 처리할 수 있다.
또한, 도 18에 도시하는 분산형 시스템에서는, 집중형 시스템에 있어서의 서버를 필요로 하지 않고, 서로 데이터의 감시를 행하여 그 신빙성을 확보하는 것도 가능하다. 구체적으로는, 예를 들어 거래 정보(대장)를 참가자 전원(각 에이전트 단말기(10))과 공유하여 정당성을 엄밀하게 유지할 수 있다(소위 블록 체인). 블록 체인에 있어서는, 참가자 전원의 대장을 모두 조작하는 것은 실질적으로 불가능하기 때문에, 보다 확실하게 신빙성을 확보 가능하게 된다. 또한, 블록 체인에 있어서, 과거의 블록에 포함되는 데이터를 조작하는 경우, 그 블록 이후의 블록에 포함되는 해시 값을 모두 재계산할 필요가 있기 때문에, 처리 부하가 높고 실질적으로 불가능하기 때문에, 보다 확실하게 신빙성을 확보 가능하게 된다.
또한, 블록 체인에서는, 참가자 전원이 거래 정보를 공유하고(분산 데이타베이스), 이러한 분산 데이타베이스에의 기입을 특정한 합의 형성에 의해 행하기 때문에, 특정한 참가자에 의한 부정을 방지하고, 공평성이 유지된다.
(5-2-3. 중간 서버를 포함하는 시스템 구성)
도 19는, 본 개시의 실시 형태에 관한 시스템 구성예로서 중간 서버(22)를 포함하는 시스템의 예를 도시하는 도면이다.
에이전트 단말기(10)의 일례로서, 모바일 디바이스(10-1), 웨어러블 디바이스(10-2), 차량 탑재 디바이스(10-3), 스마트 스피커(10-4), 텔레비전(10-5), 디지털 카메라(10-6), CE 디바이스(10-7), 로봇 디바이스 또는 사인보드(10-8) 등이 포함될 수 있다. 이들 에이전트 단말기(10)는, 네트워크를 통하여 중간 서버(22)와 통신 접속한다.
중간 서버(22)는, 네트워크를 통하여 회답 서버(20)와 통신 접속한다.
중간 서버(22)는, 단순히 에이전트 단말기(10)와 회답 서버(20)와의 데이터의 송수신을 개재하는 것이라도 좋고, 상술한 실시 형태에 있어서 에이전트 단말기(10) 또는 회답 서버(20)에서 행해지는 처리의 적어도 일부를 행하는 것이라도 좋다.
(5-2-4. 호스트로서 기능하는 단말 장치를 포함하는 시스템 구성예)
도 20은, 본 개시의 실시 형태에 관한 시스템 구성예로서, 호스트로서 기능하는 단말 장치를 포함하는 시스템에 대하여 설명하는 도면이다.
도 17 내지 도 19에 든 시스템 구성예에서는, 다수의 단말 장치 중, 모두가, 상술한 에이전트 단말기(10)로서 기능할 수 있지만, 도 20에 도시하는 시스템 구성예에서는, 1개의 단말 장치가 호스트로서 기능한다. 즉, 1개의 단말 장치가, 회답 서버(20)와의 데이터 통신을 행함과 함께, 다른 단말 장치(다른 기기(11)에 상당하는)와 데이터 통신을 행하는 것을 상정한다. 도 20에 도시하는 시스템 구성예는, 도 1에 도시하는 시스템 구성예의 더 구체예라고 말할 수 있다.
도시된 예에 있어서, 다른 기기(11)로서, 예를 들어 모바일 디바이스(11a), 웨어러블 디바이스(11b), 차량 탑재 디바이스(11c), 스마트 스피커(11d), 디지털 카메라(11e), 로봇 디바이스, 설비에 부대하여 설치되는 센서 등을 포함하는 디바이스, CE 디바이스(11f), 및 사인보드(11g)가 포함될 수 있다. 이들 다른 기기(11)(단말 장치)는, 예를 들어 Bluetooth(등록 상표)나 Wi-Fi와 같은 네트워크를 통하여, 텔레비전(10-5)(에이전트 단말기(10))과 통신한다.
또한, 도 20에서는, 호스트로서 기능하는 단말 장치의 일례로서, 텔레비전(10-5)을 예시하고 있다.
또한, 호스트로서 기능하는 단말 장치(에이전트 단말기(10))는, 도시된 예에 있어서의 텔레비전(10-5)에는 한정되지는 않고, 적절한 통신 기능 및 처리 기능을 갖는 각종 단말 장치가, 호스트로서 기능할 수 있다. 또한, 단말 장치의 예로서 도시한 모바일 디바이스(11a), 웨어러블 디바이스(11b), 차량 탑재 디바이스(11c), 스마트 스피커(11d), 디지털 카메라(11e), CE 디바이스(11f), 및 사인보드(11g)는, 이들 장치 이외의 단말 장치를 이 예에서 제외하는 것은 아니고, 에이전트 단말기(10)가 텔레비전(10-5)인 경우의 다른 기기(11)로서 있을 수 있는 전형적인 단말 장치의 예를 나타내고 있는 것에 지나지 않는다.
<<6. 정리>>
이상, 첨부 도면을 참조하면서 본 개시의 적합한 실시 형태에 대하여 상세하게 설명했지만, 본 기술은 관련된 예에 한정되지는 않는다. 본 개시의 기술 분야에 있어서의 통상의 지식을 갖는 사람이라면, 청구범위에 기재된 기술적 사상의 범주 내에서, 각종 변경예 또는 수정예를 생각해낼 수 있는 것은 명확하고, 이들에 대해서도, 당연히 본 개시의 기술적 범위에 속하는 것이라고 이해된다.
본 실시 형태에 따르면, FAQ로부터 회답이 얻어지지 않는 경우에, 콜 센터에 에이전트가 대리 전화 등의 연락을 행함으로써, 유저의 수고를 줄이거나, 욕구불만을 억제하거나 할 수 있다. 또한, 전화를 대행하는 경우, 지금까지의 콜 센터의 설비를 이용하여 문제 해결을 실현할 수 있다.
또한, 동일 메이커끼리의 기기 제휴에 한정되지는 않고, 다른 메이커의 제품과 제휴하여 다른 메이커의 제품 컨트롤 등을 행하고 있는 상황에 있어서, 다른 메이커의 제품 불만이나 결함, 문제 등에도 적절히 대처하는 것이 가능하게 되고, 편리성이 높아진다.
또한, 유저의 중얼거림(「이 아이콘 알기 어렵구나」 등)이나, 에이전트와의 음성 대화(「텔레비전의 메뉴 화면의 UI가 사용하기 어려워요」 등)로부터, 불만이나 문제가 추출되기 때문에, 불만이나 문제를 전달하는 심리적, 수고적인 장애(유저가 스스로 콜 센터에 전화하는, Web의 입력 폼에 입력하는 등)이 낮아지고, 개발에 의미 있는 피드백을 많이 수집할 수 있다.
또한, 상술한 에이전트 단말기(10), 다른 기기(11), 회답 서버(20), 콜 센터 서버(40), 서포트 서버(42), 또는, 개발 관리 서버(44)에 내장되는 CPU, ROM, 및 RAM 등의 하드웨어에, 에이전트 단말기(10), 다른 기기(11), 회답 서버(20), 콜 센터 서버(40), 서포트 서버(42), 또는, 개발 관리 서버(44)의 기능을 발휘시키기 위한 컴퓨터 프로그램도 작성 가능하다. 또한, 당해 컴퓨터 프로그램을 기억시킨 컴퓨터 판독 가능한 기억 매체도 제공된다.
또한, 본 명세서에 기재된 효과는, 어디까지나 설명적 또는 예시적인 것으로서 한정적이지 않다. 즉, 본 개시에 관한 기술은, 상기의 효과와 함께 또는 상기의 효과 대신에, 본 명세서의 기재로부터 당업자에게는 명확한 것 다른 효과를 발휘할 수 있다.
또한, 본 기술은 이하와 같은 구성도 취할 수 있다.
(1)
유저 발화 내용 또는 자주적으로 수집한 특정한 기기의 상태에 기초하여, 특정한 기기에 관한 문의 정보를 서버에 송신하는 처리와,
상기 서버로부터, 미리 준비된 회답 정보가 등록된 회답 데이터베이스에 기초하는 회답 정보를 수신한 경우, 당해 회답 정보를 출력하는 처리와,
상기 서버에서 상기 회답 정보가 발견되지 않은 경우, 상기 문의 정보에 대하여 오퍼레이터에 문의를 행하는 처리를 행하는 제어부를 구비하는, 정보 처리 단말기.
(2)
상기 제어부는,
상기 서버에서 상기 회답 정보가 발견되지 않은 취지와, 상기 오퍼레이터에의 대리 전화를 행하는 취지를 유저에 통지하는 처리를 행하는, 상기 (1)에 기재된 정보 처리 단말기.
(3)
상기 제어부는,
상기 유저로부터, 상기 오퍼레이터에의 대리 전화의 허가를 얻은 경우, 상기 서버에 대하여, 상기 오퍼레이터에의 대리 전화가 허가된 취지를 통지하는 처리를 행하는, 상기 (2)에 기재된 정보 처리 단말기.
(4)
상기 제어부는,
상기 특정한 기기의 상태 정보와, 당해 기기의 식별 정보를 취득하고,
상기 상태 정보와 상기 식별 정보를, 상기 문의 정보에 포함하여 상기 서버에 송신하는
처리를 행하는, 상기 (1) 내지 (3) 중 어느 한 항에 기재된 정보 처리 단말기.
(5)
상기 식별 정보는, 상기 기기의 메이커 및 형식 번호 중 적어도 하나를 포함하는, 상기 (4)에 기재된 정보 처리 단말기.
(6)
상기 특정한 기기는, 상기 정보 처리 단말기, 또는 다른 기기인, 상기 (4) 또는 (5)에 기재된 정보 처리 단말기.
(7)
상기 제어부는,
촬상부에 의해 상기 특정한 기기를 촬상한 촬상 화상으로부터, 상기 식별 정보 또는 상기 상태 정보 중 적어도 하나를 인식하는 처리를 행하는, 상기 (4) 내지 (6) 중 어느 한 항에 기재된 정보 처리 단말기.
(8)
상기 제어부는,
상기 서버로부터, 상기 오퍼레이터에의 문의에 의해 취득한 회답 정보를 출력하는 처리를 행하는, 상기 (1) 내지 (7) 중 어느 한 항에 기재된 정보 처리 단말기.
(9)
미리 준비된 회답 정보가 등록된 회답 데이터베이스와,
연락처 정보가 등록된 연락처 데이터베이스와,
정보 처리 단말기로부터 송신된, 유저 발화 내용 또는 자주적으로 수집한 특정한 기기의 상태에 기초하는 특정한 기기에 관한 문의 정보에 기초하여, 상기 회답 데이터베이스로부터 회답 정보를 검색하고,
검색한 회답 정보를 상기 정보 처리 단말기에 송신하고,
해당하는 회답 정보가 없는 경우, 상기 문의 정보에 대하여, 상기 연락처 데이터베이스를 참조하여 오퍼레이터에 문의하는 처리를 행하는 제어부를
구비하는, 정보 처리 장치.
(10)
상기 제어부는,
상기 정보 처리 단말기로부터 수신한 문의 정보에 포함되는 상기 특정한 기기의 식별 정보에 기초하여, 상기 연락처 데이터베이스로부터 상기 오퍼레이터에의 연락처를 취득하고,
상기 문의 정보에 포함되는 상기 식별 정보 및 상기 특정한 기기의 상태 정보를 나타내는 음성 정보를, 상기 오퍼레이터의 연락처에 송신하는 대리 전화 처리를 행하는, 상기 (9)에 기재된 정보 처리 장치.
(11)
상기 제어부는,
상기 오퍼레이터로부터 얻은 회답에 기초하는 회답 정보를, 상기 정보 처리 단말기에 송신하는 처리를 행하는, 상기 (9) 또는 (10)에 기재된 정보 처리 장치.
(12)
상기 제어부는,
상기 문의 정보에 포함되는 상기 유저의 발화 내용, 유저 감정 정보 또는, 문의 내용 중 적어도 하나에 기초하여, 긴급성을 요한다고 판단한 경우에는, 상기 오퍼레이터에의 문의를 행하고, 긴급성을 요하지 않는다고 판단한 경우에는, 상기 문의 정보를 로그 정보로서 개발 관리 서버에 송신하는 처리를 행하는, 상기 (9) 내지 (11) 중 어느 한 항에 기재된 정보 처리 장치.
(13)
프로세서가,
유저 발화 내용 또는 자주적으로 수집한 특정한 기기의 상태에 기초하여, 특정한 기기에 관한 문의 정보를 서버에 송신하는 것과,
상기 서버로부터, 미리 준비된 회답 정보가 등록된 회답 데이터베이스에 기초하는 회답 정보를 수신한 경우, 당해 회답 정보를 출력하는 것과,
상기 서버에서 상기 회답 정보가 발견되지 않은 경우, 상기 문의 정보에 대하여 오퍼레이터에 문의를 행하는 것을
포함하는, 정보 처리 방법.
(14)
프로세서가,
정보 처리 단말기로부터 송신된, 유저 발화 내용 또는 자주적으로 수집한 특정한 기기의 상태에 기초하는 특정한 기기에 관한 문의 정보에 기초하여, 미리 준비된 회답 정보가 등록된 회답 데이터베이스로부터 회답 정보를 검색하는 것과,
검색한 회답 정보를 상기 정보 처리 단말기에 송신하는 것과,
해당하는 회답 정보가 없는 경우, 상기 문의 정보에 대하여, 연락처 정보가 등록된 연락처 데이터베이스를 참조하여 오퍼레이터에 문의를 행하는 것을
포함하는, 정보 처리 방법.
10 에이전트 단말기
100 제어부
101 음성 인식부
102 상태 분석부
103 응답 처리부
104 유저 감정 해석부
105 긴급도 추정부
110 통신부
120 마이크로폰
130 스피커
140 표시부
150 FAQ DB
160 촬상부
20 회답 서버
200 제어부
201 응답 처리부
202 유저 감정 해석부
203 긴급도 추정부
204 콜 센터 문의부
205 로그 정보 송신 제어부
210 통신부
220 FAQ DB
230 연락처 DB

Claims (14)

  1. 유저 발화 내용 또는 자주적으로 수집한 특정한 기기의 상태에 기초하여, 특정한 기기에 관한 문의 정보를 서버에 송신하는 처리와,
    상기 서버로부터, 미리 준비된 회답 정보가 등록된 회답 데이터베이스에 기초하는 회답 정보를 수신한 경우, 당해 회답 정보를 출력하는 처리와,
    상기 서버에서 상기 회답 정보가 발견되지 않은 경우, 상기 문의 정보에 대하여 오퍼레이터에 문의를 행하는 처리를 행하는 제어부를 구비하는, 정보 처리 단말기.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 서버에서 상기 회답 정보가 발견되지 않은 취지와, 상기 오퍼레이터에의 대리 전화를 행하는 취지를 유저에 통지하는 처리를 행하는, 정보 처리 단말기.
  3. 제2항에 있어서,
    상기 제어부는,
    상기 유저로부터, 상기 오퍼레이터에의 대리 전화의 허가를 얻은 경우, 상기 서버에 대하여, 상기 오퍼레이터에의 대리 전화가 허가된 취지를 통지하는 처리를 행하는, 정보 처리 단말기.
  4. 제1항에 있어서,
    상기 제어부는,
    상기 특정한 기기의 상태 정보와, 당해 기기의 식별 정보를 취득하고,
    상기 상태 정보와 상기 식별 정보를, 상기 문의 정보에 포함하여 상기 서버에 송신하는 처리를 행하는, 정보 처리 단말기.
  5. 제4항에 있어서,
    상기 식별 정보는, 상기 기기의 메이커 및 형식 번호 중 적어도 하나를 포함하는, 정보 처리 단말기.
  6. 제4항에 있어서,
    상기 특정한 기기는, 상기 정보 처리 단말기, 또는 다른 기기인, 정보 처리 단말기.
  7. 제4항에 있어서,
    상기 제어부는,
    촬상부에 의해 상기 특정한 기기를 촬상한 촬상 화상으로부터, 상기 식별 정보 또는 상기 상태 정보 중 적어도 하나를 인식하는 처리를 행하는, 정보 처리 단말기.
  8. 제1항에 있어서,
    상기 제어부는,
    상기 서버로부터, 상기 오퍼레이터에의 문의에 의해 취득한 회답 정보를 출력하는 처리를 행하는, 정보 처리 단말기.
  9. 미리 준비된 회답 정보가 등록된 회답 데이터베이스와,
    연락처 정보가 등록된 연락처 데이터베이스와,
    정보 처리 단말기로부터 송신된, 유저 발화 내용 또는 자주적으로 수집한 특정한 기기의 상태에 기초하는 특정한 기기에 관한 문의 정보에 기초하여, 상기 회답 데이터베이스로부터 회답 정보를 검색하고,
    검색한 회답 정보를 상기 정보 처리 단말기에 송신하고,
    해당하는 회답 정보가 없는 경우, 상기 문의 정보에 대하여, 상기 연락처 데이터베이스를 참조하여 오퍼레이터에 문의하는 처리를 행하는 제어부를
    구비하는, 정보 처리 장치.
  10. 제9항에 있어서,
    상기 제어부는,
    상기 정보 처리 단말기로부터 수신한 문의 정보에 포함되는 상기 특정한 기기의 식별 정보에 기초하여, 상기 연락처 데이터베이스로부터 상기 오퍼레이터에의 연락처를 취득하고,
    상기 문의 정보에 포함되는 상기 식별 정보 및 상기 특정한 기기의 상태 정보를 나타내는 음성 정보를, 상기 오퍼레이터의 연락처에 송신하는 대리 전화 처리를 행하는, 정보 처리 장치.
  11. 제9항에 있어서,
    상기 제어부는,
    상기 오퍼레이터로부터 얻은 회답에 기초하는 회답 정보를, 상기 정보 처리 단말기에 송신하는 처리를 행하는, 정보 처리 장치.
  12. 제9항에 있어서,
    상기 제어부는,
    상기 문의 정보에 포함되는 상기 유저 발화 내용, 유저 감정 정보 또는, 문의 내용 중 적어도 하나에 기초하여, 긴급성을 요한다고 판단한 경우에는, 상기 오퍼레이터에의 문의를 행하고, 긴급성을 요하지 않는다고 판단한 경우에는, 상기 문의 정보를 로그 정보로서 개발 관리 서버에 송신하는 처리를 행하는, 정보 처리 장치.
  13. 프로세서가,
    유저 발화 내용 또는 자주적으로 수집한 특정한 기기의 상태에 기초하여, 특정한 기기에 관한 문의 정보를 서버에 송신하는 것과,
    상기 서버로부터, 미리 준비된 회답 정보가 등록된 회답 데이터베이스에 기초하는 회답 정보를 수신한 경우, 당해 회답 정보를 출력하는 것과,
    상기 서버에서 상기 회답 정보가 발견되지 않은 경우, 상기 문의 정보에 대하여 오퍼레이터에 문의를 행하는 것을
    포함하는, 정보 처리 방법.
  14. 프로세서가,
    정보 처리 단말기로부터 송신된, 유저 발화 내용 또는 자주적으로 수집한 특정한 기기의 상태에 기초하는 특정한 기기에 관한 문의 정보에 기초하여, 미리 준비된 회답 정보가 등록된 회답 데이터베이스로부터 회답 정보를 검색하는 것과,
    검색한 회답 정보를 상기 정보 처리 단말기에 송신하는 것과,
    해당하는 회답 정보가 없는 경우, 상기 문의 정보에 대하여, 연락처 정보가 등록된 연락처 데이터베이스를 참조하여 오퍼레이터에 문의를 행하는 것을
    포함하는, 정보 처리 방법.
KR1020217017238A 2018-12-20 2019-12-13 정보 처리 단말기, 정보 처리 장치, 및 정보 처리 방법 KR20210104690A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018238780 2018-12-20
JPJP-P-2018-238780 2018-12-20
PCT/JP2019/049063 WO2020129865A1 (ja) 2018-12-20 2019-12-13 情報処理端末、情報処理装置、および、情報処理方法

Publications (1)

Publication Number Publication Date
KR20210104690A true KR20210104690A (ko) 2021-08-25

Family

ID=71101391

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217017238A KR20210104690A (ko) 2018-12-20 2019-12-13 정보 처리 단말기, 정보 처리 장치, 및 정보 처리 방법

Country Status (4)

Country Link
US (1) US20220076671A1 (ko)
EP (1) EP3901881A4 (ko)
KR (1) KR20210104690A (ko)
WO (1) WO2020129865A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7540933B2 (ja) 2020-10-21 2024-08-27 東京瓦斯株式会社 会話ロボットおよびプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017208518A1 (ja) 2016-05-30 2017-12-07 ソニー株式会社 情報処理装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4718813B2 (ja) * 2004-09-10 2011-07-06 Ｎｅｃパーソナルプロダクツ株式会社 サポート情報処理システム及びサポート情報処理方法
WO2012094520A2 (en) * 2011-01-04 2012-07-12 Nexstep, Inc. Consumer electronic registration, control and support concierge device and method
JP4980484B1 (ja) * 2011-09-26 2012-07-18 株式会社インテリジェントウェイブ Ｗｅｂページ案内プログラム、Ｗｅｂページ応答サーバ、Ｗｅｂページ案内システム及びＷｅｂページの案内方法
US10147037B1 (en) * 2015-07-28 2018-12-04 Intuit Inc. Method and system for determining a level of popularity of submission content, prior to publicizing the submission content with a question and answer support system
US10470005B1 (en) * 2019-07-09 2019-11-05 Republic Wireless, Inc. Techniques for managing outbound voice messages in a communication system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017208518A1 (ja) 2016-05-30 2017-12-07 ソニー株式会社 情報処理装置

Also Published As

Publication number Publication date
WO2020129865A1 (ja) 2020-06-25
EP3901881A4 (en) 2022-02-16
US20220076671A1 (en) 2022-03-10
EP3901881A1 (en) 2021-10-27

Similar Documents

Publication Publication Date Title
KR102342623B1 (ko) 음성 및 연결 플랫폼
US8660970B1 (en) Passive learning and autonomously interactive system for leveraging user knowledge in networked environments
US12033629B2 (en) Systems and methods for automating voice commands
US8818554B2 (en) Event execution method and system for robot synchronized with mobile terminal
US20190065498A1 (en) System and method for rich conversation in artificial intelligence
US10403272B1 (en) Facilitating participation in a virtual meeting using an intelligent assistant
CN107170446A (zh) 语义处理服务器及用于语义处理的方法
US12002471B2 (en) Interruption detection and handling by digital assistants
US11398224B2 (en) Communication system and method for providing advice to improve a speaking style
KR101376292B1 (ko) 통화 중 감정 분석 서비스 제공 방법 및 장치
JP6973380B2 (ja) 情報処理装置、および情報処理方法
CN115810356A (zh) 语音控制方法、装置、存储介质以及电子设备
KR20210104690A (ko) 정보 처리 단말기, 정보 처리 장치, 및 정보 처리 방법
US20190026074A1 (en) Electronic device and method for expressing natural language
US10862841B1 (en) Systems and methods for automating voice commands
CN112612874A (zh) 一种数据处理方法、装置及电子设备
CN110196900A (zh) 用于终端的交互方法和装置
US10650832B2 (en) Information processing device and information processing method
WO2019017033A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2021157530A1 (ja) 対話ユーザの感情情報の提供装置
CA3143953A1 (en) Systems and methods for automating voice commands
CN110311994A (zh) Ip地址的分配请求方法、装置和可读存储介质
CN111599446A (zh) 医疗显示设备的管理方法及相关设备
CN111723003A (zh) 一种灰度测试方法、装置、电子设备及存储介质
JP2014215835A (ja) ユーザ端末、ネットワークサーバ、情報共有方法、及びネットワークサーバ用プログラム

Legal Events

Date Code Title Description
WITB Written withdrawal of application