KR102014623B1

KR102014623B1 - 화상 표시장치, 화제 선택 방법, 화제 선택 프로그램, 화상 표시 방법 및 화상 표시 프로그램

Info

Publication number: KR102014623B1
Application number: KR1020177017320A
Authority: KR
Inventors: 미노리 타케치; 나오히로 야스카와; 와타루 타케히; 타쿠미 지마
Original assignee: 게이트박스 가부시키가이샤
Priority date: 2016-07-19
Filing date: 2016-09-23
Publication date: 2019-08-26
Also published as: WO2018016095A1; CN108140383A; TW201802663A; US10713006B2; KR20190100428A; US20190138266A1; TWI692717B; KR20180030767A; HK1252060A1

Abstract

화상 표시장치는, 캐릭터를 표시하는 표시부와 캐릭터가 유저와 대화를 실행하는 대화부와, 캐릭터가 유저의 통신 단말과 채팅을 실행하는 채팅부를 구비하고, 대화부는, 실행한 대화의 내용 및 채팅부가 실행한 채팅의 내용에 기반하여 다음 화제를 선택하고, 채팅부는, 실행한 채팅의 내용 및 대화부가 실행한 대화의 내용에 기반하여 다음 화제를 선택한다.

Description

화상 표시장치, 화제 선택 방법, 화제 선택 프로그램, 화상 표시 방법 및 화상 표시 프로그램{IMAGE DISPLAY APPARATUS, TOPIC SELECTION METHOD, TOPIC SELECTION PROGRAM, IMAGE DISPLAY METHOD AND IMAGE DISPLAY PROGRAM}

본 발명은, 캐릭터 화상을 표시하는 화상 표시장치에 관한 것으로, 유저가 캐릭터를, 보다 가까이에서 느끼는 것을 가능하게 하는 화상 표시장치에 관한 것이다.

종래, 여러가지 캐릭터 상품이 판매되고 있으며, 그 중에는, 데스크탑 캐릭터라고 호칭되는 것이 있다. 이것은, PC 등의 모니터상에 캐릭터를 표시시키고, 미리 정해진 알고리즘에 따라서 동작하며, 특정의 대사를 표시하거나 음악을 보내거나 하는 어플리케이션이다. 또한, 유저의 통신 단말상에 표시시킨 캐릭터에게 채팅 시스템을 이용하여, 제공하고 있는 서비스의 설명을 하게 하는 어플리케이션도 있다(예를 들면, 특허 문헌 1).

그런데, 종래부터, 외부로부터의 음성 등에 따라 커뮤니케이션을 실시하는 커뮤니케이션 로봇이나, 외부로부터의 음성 등에 따라 동작하는 전자 완구 등이 존재한다(예를 들면, 특허 문헌 2 및 3 참조).

한편, 이러한 로봇이나 완구에 의한 응답은 한정되어 있다. 구체적으로는, 로봇이나 완구는, 음성에 대해서, 특정의 응답이나 움직임을 할 수는 있다. 그렇지만, 로봇이나 완구에서는 단순한 응답뿐이며, 감정 표현까지는 되지 않는다. 따라서, 유저는, 이러한 로봇이나 완구를 가까이에서 느끼기 어려운 점이 있다.

선행 기술 문헌

특허 문헌

특허 문헌 1: 특개 2004-145541호 공보

특허 문헌 2: 특개 2011-227237호 공보

특허 문헌 3: 특개 2002-307354호 공보

그런데, 그러한 캐릭터 상품에 있어서는, 캐릭터를 보다 가까이에서 느껴지도록 하는 상품이 바람직하게 되고 있다.

본 발명은, 특정의 캐릭터와의 커뮤니케이션을 실현하는 것과 동시에, 캐릭터를 보다 가까이에서 느끼도록 할 수 있는 화상 표시장치를 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위해, 화상 표시장치는, 캐릭터를 표시하는 표시부와, 캐릭터가 유저와 대화를 실행하는 대화부와, 캐릭터가 유저의 통신 단말과 채팅을 실행하는 채팅부를 구비하고, 대화부는, 실행한 대화의 내용 및 채팅부가 실행한 채팅의 내용에 기반하여 다음 화제를 선택하고, 채팅부는, 실행한 채팅의 내용 및 대화부가 실행한 대화의 내용에 기반하여 다음 화제를 선택한다.

화상 표시장치는, 특정의 캐릭터와의 커뮤니케이션을, 유저가 캐릭터와 실시하는 실대화와 유저가 자신의 통신 단말로 화상 표시장치와 실시하는 채팅으로, 서로 화제를 연동시키는 것으로, 유저에게 캐릭터를 보다 가까이에서 느끼도록 할 수 있다.

도 1은, 본 발명의 실시 형태와 관련되는 화상 표시장치를 상방에서 본 사시도이다.
도 2는, 본 발명의 실시 형태와 관련되는 화상 표시장치를 하방에서 본 사시도이다.
도 3은, 본 발명의 실시 형태와 관련되는 화상 표시장치의 좌측면도이다.
도 4a는, 본 발명의 실시 형태와 관련되는 화상 표시장치에 탑재되는 기기이며, 상부 수용부에 설치되는 기기를 모식적으로 나타내는 도면이다.
도 4a는, 본 발명의 실시 형태와 관련되는 화상 표시장치에 탑재되는 기기이며, 주부(柱部)에 설치되는 기기를 모식적으로 나타내는 도면이다.
도 4c는, 본 발명의 실시 형태와 관련되는 화상 표시장치에 탑재되는 기기이며, 하부 수용부에 설치되는 기기를 모식적으로 나타내는 도면이다.
도 5는, 본 발명의 실시 형태와 관련되는 화상 표시장치의 기능 블럭도이며 일 사용 형태를 나타내는 도면이다.
도 6은, 본 발명의 실시 형태와 관련되는 화상 표시장치의 다른 기능 블럭도이다.
도 7a는, 본 발명의 실시 형태와 관련되는 화상 표시장치로 이용되는 화상 데이터의 데이터 구성도이다.
도 7b는, 본 발명의 실시 형태와 관련되는 화상 표시장치로 이용되는 음성 데이터의 데이터 구성도이다.
도 7c는, 본 발명의 실시 형태와 관련되는 화상 표시장치로 이용되는 신호 데이터의 데이터 구성도이다.
도 8은, 본 발명의 실시 형태와 관련되는 화상 표시장치로 출력되는 음성의 패턴을 설명하는 도면이다.
도 9는, 본 발명의 실시 형태와 관련되는 화상 표시장치로 이용되는 대화 이력 데이터의 데이터 구성예를 나타내는 데이터 구성도이다.
도 10은, 본 발명의 실시 형태와 관련되는 화상 표시장치로 이용되는 채팅 이력 데이터의 데이터 구성예를 나타내는 데이터 구성도이다.
도 11은, 본 발명의 실시 형태와 관련되는 화상 표시장치로 이용되는 랜덤 대화 데이터의 데이터 구성예를 나타내는 데이터 구성도이다.
도 12는, 본 발명의 실시 형태와 관련되는 화상 표시장치에 있어서의 상태 천이를 설명하는 도면이다.
도 13a는, 본 발명의 실시 형태와 관련되는 화상 표시장치에서 표시되는 화상의 일례이다.
도 13b는, 본 발명의 실시 형태와 관련되는 화상 표시장치에서 표시되는 화상의 다른 예이다.
도 13c는, 본 발명의 실시 형태와 관련되는 화상 표시장치에 있어서의 처리를 설명하는 플로차트이다.
도 14a는, 본 발명의 실시 형태와 관련되는 화상 표시장치에 있어서의 커뮤니케이션 모드를 설명하는 도면이다.
도 14b는, 본 발명의 실시 형태와 관련되는 화상 표시장치에 있어서의 커뮤니케이션 모드를 설명하는 도면이다.
도 14c는, 본 발명의 실시 형태와 관련되는 화상 표시장치에 있어서의 커뮤니케이션 모드를 설명하는 도면이다.
도 14d는, 본 발명의 실시 형태와 관련되는 화상 표시장치에 있어서의 커뮤니케이션 모드를 설명하는 도면이다.
도 14e는, 본 발명의 실시 형태와 관련되는 화상 표시장치에 있어서의 커뮤니케이션 모드를 설명하는 도면이다.
도 14f는, 본 발명의 실시 형태와 관련되는 화상 표시장치에 있어서의 커뮤니케이션 모드를 설명하는 도면이다.
도 14g는, 본 발명의 실시 형태와 관련되는 화상 표시장치에 있어서의 커뮤니케이션 모드를 설명하는 도면이다.
도 14h는, 본 발명의 실시 형태와 관련되는 화상 표시장치에 있어서의 커뮤니케이션 모드를 설명하는 도면이다.
도 14i는, 본 발명의 실시 형태와 관련되는 화상 표시장치에 있어서의 커뮤니케이션 모드를 설명하는 도면이다.
도 15a는, 본 발명의 실시 형태와 관련되는 화상 표시장치에 있어서의 커뮤니케이션 모드를 설명하는 도면이다.
도 15b는, 본 발명의 실시 형태와 관련되는 화상 표시장치에 있어서의 커뮤니케이션 모드를 설명하는 도면이다.
도 15c는, 본 발명의 실시 형태와 관련되는 화상 표시장치에 있어서의 커뮤니케이션 모드를 설명하는 도면이다.
도 16은, 본 발명의 실시 형태와 관련되는 화상 표시장치의 커뮤니케이션 모드에 있어서의 동작을 나타내는 플로차트이다.
도 17a는, 본 발명의 실시 형태와 관련되는 화상 표시장치에 유저의 스케줄을 등록하는 화면예이다.
도 17b는, 본 발명의 실시 형태와 관련되는 화상 표시장치에 유저의 스케줄을 등록하는 화면예이다.
도 18은, 본 발명의 실시 형태와 관련되는 화상 표시장치에 있어서의 기상 모드를 설명하는 차트이다.
도 19는, 본 발명의 실시 형태와 관련되는 화상 표시장치에 있어서의 외출 모드를 설명하는 차트이다.
도 2는, 본 발명의 실시 형태와 관련되는 화상 표시장치에 있어서의 귀가 모드를 설명하는 차트이다.
도 21은, 본 발명의 실시 형태와 관련되는 화상 표시장치에 있어서의 채팅 모드를 설명하는 플로차트이다.
도 22a는, 본 발명의 실시 형태와 관련되는 채팅 모드의 유저의 통신 단말의 표시 화면예를 나타내는 도면이다.
도 22b는, 본 발명의 실시 형태와 관련되는 채팅 모드의 유저의 통신 단말의 표시 화면예를 나타내는 도면이다.
도 23은, 본 발명의 실시 형태와 관련되는 화상 표시장치의 회로 구성도이다.

이하, 본 발명의 실시 형태와 관련되는 화상 표시장치에 대해 도면을 참조하여 설명한다. 실시 형태와 관련되는 화상 표시장치는, 캐릭터 화상을 표시하는 것과 동시에, 캐릭터의 음성을 출력하는 것이다. 이 때, 화상 표시장치에 표시되는 캐릭터 화상 및 캐릭터의 음성은, 화상 표시장치가 놓여지는 환경, 해당 장치를 소유하는 유저에 관한 정보, 시각 정보에 따라 결정된다.

〈장치 구성〉

우선, 도 1 내지 도 4c를 이용하여, 실시 형태에 화상 표시장치 1의 장치 구성에 대해 설명한다. 도 1은, 화상 표시장치 1을 상방에서 본 사시도이다. 도 2는, 화상 표시장치 1을 하방에서 본 사시도이다.

도 1, 도 2에서 나타낸 것처럼, 화상 표시장치 1은, 주로, 내부가 공동인 원통형의 투명의 케이스 2와 그 케이스 2의 내부에 거의 수직에 입설한 투과 필름(본 발명의 평평한 형상의 부재) 3과 캐릭터 화상 등을 출력하는 프로젝터 4와 반사 미러 5 등의 부품이나 기기를 구비한다.

이러한 구성의 화상 표시장치 1에 있어서, 프로젝터 4로부터 출력된 화상은, 반사 미러 5에 의한 반사를 통해 투과 필름 3에 투영 되며, 유저는, 이와 같이 된 투과 필름 3에 투영 된 화상을 투명한 케이스 2를 통해 볼 수 있다.

케이스 2는, 일부 또는 전부가 투광성 부재로 구성되는 케이스이며, 예를 들면, 아크릴판 등에 의해서 형성되어 있다. 예를 들면, 케이스 2는, 2개의 투명한 반원 기둥 모양의 케이스 부재 2a, 2b를, 2개의 지주 23에 끼워넣는 것으로 전체가 투명한 일체의 원통체를 형성하고 있다. 다만, 미리 성형된 원통체를 케이스 2로 이용할 수도 있으며, 또한, 탄성 또는 가요성을 가지는 직사각형 모양의 판재나 막재를 반원 기둥 모양으로 만곡시켜, 이것을 지주 23에 끼워넣어 형성한 원통체를 케이스 2로서 이용할 수도 있다. 이와 같이 원통형의 케이스 2를 이용하는 것으로, 좌우의 어느 각도로부터 에서도 투과 필름 3에 투영 되는 화상을 적절하게 시인할 수 있다. 덧붙여, 지주 23은 투명한 부재로 형성되어 있을 수 있고, 이 경우, 케이스 2의 거의 전부를 투명하게 할 수 있다. 다만, 지주 23은, 불투명이나 반투명일 수도 있다.

케이스 2의 정면측 상부에는, 케이스 2의 표면을 따라서 만곡시킨 띠모양의 불투명한 차폐부 25를 마련하고 있다. 이것에 의해, 케이스 2를 정면측으로부터 보았을 때에, 반사 미러 5는, 차폐부 25의 후방에 있기 때문에, 가려져 보이지 않게 될 수 있다. 또한, 도시하고 있지는 않지만, 케이스 2의 상저면에 해당하는 원형부에는, 차광 도료의 도포 등의, 차광 처리를 가하고 있다. 이것에 의해, 투과 필름 3에 실내의 조명 등이 비집고 들어가는 것을 막을 수 있어, 투과 필름 3에 표시되는 화상을 보기 쉽도록 할 수 있다. 또한, 케이스 2의 배면측 상부(케이스 부재 2b의 상부)는, 개구를 형성하고 있어 반사 미러 5로부터의 화상을 형성하는 빛이 케이스 부재 2b를 통하지 않고, 직접 투과 필름 3에 도달할 수 있도록 하고 있다. 덧붙여 케이스 2는, 투명한 부재로 한정하지 않고, 유백색과 같이 반투명의 부재를 이용할 수 있다.

이러한 케이스 2의 내부에는, 투과 필름 3이 마련되어 있으며, 또한, 케이스 2의 상방, 하방, 배면 측에는, 후술 하는 상부 수용부 21, 하부 수용부 22, 주부 6이 마련되어 있다.

투과 필름 3은, 본 발명의 "투광성을 가지는 평평한 형상의 부재"의 일실시 형태이며, 소정의 화상이 투영 되는 투명한 스크린으로서 기능한다. 본 실시 형태의 투과 필름 3은 직사각형 모양이며, 이것이, 케이스 2의 내부의 중앙 부근에 거의 수직이 되도록 입설되고 있다. 구체적으로는, 투과 필름 3은, 대좌 221의 양단에 입설된 2개의 지주 23에 의해서 지지되고, 이것에 의해, 표면이 정면측(배면측)을 향하면서, 대좌 221의 중앙에 수직으로 입설되어 있다. 덧붙여 투과 필름 3 대신에, 투명의 판재, 반투명의 판재나 막재 등을 이용할 수도 있다.

하부 수용부 22는, 플라스틱 등으로 구성되는 상자체이며, 프로젝터 4의 출력 제어를 포함하는 여러 가지의 제어 동작을 실시하는 제어 보드 701 그 외의 기기(도 4c 참조)를 설치하는 스페이스를 가진다. 하부 수용부 22에는, 착탈 가능한 하부 커버 222가 마련되어 있어, 설치하는 것으로 내부를 숨길 수 있으며, 탈거하는 것으로 내부의 기기의 유지보수 등을 가능하게 하고 있다. 하부 수용부 22의 상면의 대좌 221에는, 투과 필름 3의 입설 위치의 좌우의 단부에 지주 23을 입설하고 있다.

투과 필름 3이나 케이스 부재 2a, 2b는, 이러한 지주 23에 의해 지지되는 것으로 대좌 221상에 일체로 입설된다. 이것에 의해, 원통형의 케이스 2가 대좌 221상에 입설되고 투과 필름 3은, 측부가 케이스 2의 내측에 내접 하면서, 하부(하단)가 대좌 221의 상면(표면)을 따르도록 마련된다.

대좌 221은, 케이스 2내에 표시되는 캐릭터 등을 가상으로 재치하는 받침대로서 기능한다. 즉, 대좌 221은, 인형이나 모형을 전시 가능하게 수용하는 디스플레이 케이스의 베이스 기재처럼 보일 수 있다.

화상 표시장치 1에서는, 미러 부착부 51에 의해 반사 미러 5의 각도나 방향을 조정하는 것으로, 투과 필름 3의 하단에, 캐릭터 등의 발끝을 일치시켜 표시시키도록 하고 있다(도 1). 이와 같이 하는 것으로, 캐릭터 등이 대좌 221 위에 실제로 서있는 것처럼 보이게 할 수 있다.

또한, 대좌 221은 소정의 시인성을 가진다. 구체적으로는, 대좌 221의 표면에 무늬나 착색을 입히거나 형상에 특징을 입히는 것으로, 대좌 221의 존재가 눈에 띄도록 하고 있다. 예를 들면, 본 실시 형태의 대좌 221은, 아크릴판의 표면에, 레이저 가공 등에 의해, 이른바 매직 스퀘어의 모양을 따르는 도랑을 입히도록 하고 있다. 덧붙여 이러한 모양은 일례에 지나지 않고, 예를 들면, 마법진으로서는, 오망성으로 할 수 있고, 그 외의 복잡한 기하학적 형상을 입히는 것을 할 수 있다.

또한, 대좌 221은, 아크릴판의 하부에 복수의 연출용 LED 706(본 발명의 발광 수단)를 분산하여 배치하는 것으로, 대좌 221의 전면에 연출용 LED 706로부터의 빛이 널리 퍼지도록 하고 있다. 이와 같이 하면, 대좌 221의 표면에 있어서, 투과 필름 3을 넘어 각각의 영역이 강하게 인식되기 때문에, 투과 필름 3에 투영된 캐릭터 등의 전후에서 대좌 221의 존재를 보다 강조할 수 있다. 그렇게 하면, 캐릭터 등이, 대좌 221 위에 제대로 착지해 있도록 보이게 할 수 있다.

상부 수용부 21은, 화상 출력을 실시하는 프로젝터 4 등의 기기(도 4a 참조)를 설치하는 스페이스를 가진다. 구체적으로는, 상부 수용부 21은, 주부 6의 상부에 연결된 사다리 형상의 상부 기기 부착부 211을 마련하고 있고, 이러한 상부 기기 부착부 211의 하면에 프로젝터 4가 설치되어 있다.

상부 기기 부착부 211은, 도 2나 도 3에서 나타낸 것처럼, 주부 6과의 연결부 213으로부터 정면측 상방으로 기운 상태로 고정되고 있고, 이것에 수반하여, 상부 기기 부착부 211에 설치된 프로젝터 4도 비스듬하게 기운 상태로 고정되어 있다. 이와 같이, 프로젝터 4를 비스듬하게 설치하는 것으로, 화상의 출력 방향이 해당 프로젝터 4의 배면측 하방에 위치하는 반사 미러 5로 향하도록 하고 있다.

덧붙여 상부 기기 부착부 211은, 주부 6과의 연결에 있어서, 볼트 등의 축부재를 이용하여 축지시켜, 축을 중심으로 임의의 위치까지 회동시켜서 너트 등의 고정 부재에 의해 고정될 수도 있다. 이와 같이 하면, 프로젝터 4의 기울기를 용이하게 변경할 수 있고, 이러한 변경에 의해서 화상의 출력을 상하 방향으로 조정할 수 있다.

상부 수용부 21에는, 착탈 가능한 상부 커버 212가 마련되어 있어, 설치하는 것에 의해, 상부 기기 부착부 211이나 프로젝터 4 등의 기기를 숨길 수 있으며, 탈거하는 것으로 내부의 기기의 유지보수 등을 가능하게 하고 있다.

프로젝터 4는, 캐릭터 화상 등의 화상의 출력을 실시하는 화상 출력 수단이다. 이런 종류의 프로젝터 4는, 통상, 이른바 스크린에 대해 직접 영상을 투사 하는 것으로 화상을 표시하지만, 본 실시 형태에서는, 반사 미러 5를 개입시켜 간접적으로 스크린(투과 필름 3)에 화상을 투사 하도록 하고 있다. 구체적으로는, 본 실시 형태의 프로젝터 4는, 케이스 2의 배면 측에 이간하여 입설되고 있는 주부 6의 상부의 반사 미러 5에 출력 화상이 향하도록, 상부 수용부 21에 대해 경사진 상태로 설치되고 있다.

그런데, 프로젝터의 사양에는, 초점거리(이하, "허용 투사 거리"라고 함)와 투사비(이하, "허용 투사각도"라고 함)가 있다. "허용 투사 거리"는, 화상 사이즈에 대응한 필요한 투사 거리(프로젝터로부터 스크린에 이르는 광로의 거리)이다. 실제의 투사 거리가 허용 투사 거리에 못 미치면 초점이 맞지 않고 화상을 선명히 비출 수 없다. "허용 투사각도"는, 스크린에 투사 되는 화상의 광로와 스크린과의 각도의 허용치이다. 실제의 투사각도가 허용 투사각도에 못 미치면 화상의 일그러짐이 커지고, 또한, 화상의 양단으로 광량이 다르게 되고, 화상이 희미해지는 등 화질이 저하한다.

이러한 점을 고려하여, 본 실시 형태의 프로젝터 4는, 비교적, 허용 투사 거리가 짧고, 허용 투사각도가 작은 사양의 것을 이용하고, 또한, 반사 미러 5를 이용하는 것으로, 프로젝터 4로 스크린(즉, 투과 필름 3)을 콤팩트하게 일체화할 수 있도록 하고 있다.

주부 6은, 하부 수용부 22의 최배측에 입설된 기둥 모양의 부재이며, 케이스 2의 배면 측에 케이스 2와는 이간하여 입설되고 있다. 이와 같이, 주부 6을 케이스 2의 배면 측에 마련하는 것으로, 투과 필름 3에 실내의 조명 등이 비집고 들어가는 것을 막아, 투과 필름 3에 표시되는 화상을 보기 쉽게 할 수 있다. 주부 6에는, 반사 미러 5나 각종 센서를 설치하고 있다(도 2, 도 3, 도 4b 등 참조).

반사 미러 5는, 주부 6의 상부에 경면(鏡面)이 거의 수직(즉, 투과 필름 3의 면과 거의 평행)이 되도록 마련되어 있다. 이것에 의해, 프로젝터 4로부터 배면측 경사의 하방향으로 출력된 소정의 입사각의 화상의 빛을 이것과 동각도(반사각)로 반사하여, 그 반사광에 의해서 화상을 투과 필름 3에 투영 하도록 하고 있다. 이와 같이 하면, 투과 필름 3에 있어서의 화상의 상부와 하부의 투사 거리의 거리차이를 억제할 수 있기 때문에, 투과 필름 3에 투영 되는 화상이 희미해짐 등을 억제할 수 있다.

도 3에서 나타낸 것처럼, 프로젝터 4로부터 출력된 화상의 빛은, 반사 미러 5에 의해서 반사되고, 그 반사된 화상의 빛은, 정면측 경사의 하방향으로 진행되어, 케이스 부재 2b의 개구를 통과하고, 케이스 2의 내부에 설치된 투과 필름 3을 배면측으로부터 투사 한다. 이러한 상태에 있어서, 케이스 2를 통해 투과 필름 3에 투영 된 캐릭터 등의 화상을 보면, 캐릭터 등이, 보다 입체적으로 같은 공간에 있는 실체물처럼 시인될 수 있다.

이러한 시인 효과를 상주하는 이유에 대해 이하에서 설명한다. 전술한 바와 같이, 화상 표시장치 1은, 투명한 케이스 2의 내부에 투명한 필름(투과 필름 3)을 마련하여, 이러한 투명한 필름에 화상을 투영 하도록 하고 있다. 이러한 화상 표시장치 1에 있어서는, 유저는, 투명한 케이스 2를 통해 투명한 필름에 표시되는 캐릭터 등을 보게 된다.

이 경우, 유저는, 케이스 2에서 구분되는 것으로 제한된 케이스 2내 라고 하는 공간에서, 그 3D환경, 즉, 세로(높이)·가로·깊이를 인식하게 된다. 이 때문에, 특히, 그 공간내에 표시되는 캐릭터 등과 케이스 2와의 관계로부터 발생하는 깊이를 인식하는 것에 의해, 캐릭터 등 자체도 3D(입체적)로 보이게 된다고 하는 시각 효과(3D환경 효과)를 상주하게 된다.

즉, 캐릭터 등의 내측에 투명한 케이스 2를 시인하는 것으로, 폐공간내에 캐릭터 등과 깊이측(奧側)의 구분이 모두 시인되게 되며, 이 결과, 동일한 공간에 있어서의 캐릭터 등과 투명한 케이스 2와의 깊이감에 기반하여 캐릭터 등이 입체적으로 보이게 된다.

이것에 비해, 만일 케이스 2를 없게 하여, 주위에 아무것도 없는 개방된 공간안에서, 투명한 필름에 투영 되는 캐릭터 등의 화상을 보았을 경우에는, 주위의 공간이 세로·가로의 인식이 강해지는 한편, 깊이의 인식은 약해진다. 그렇다면, 이러한 개방된 환경에서 투명한 필름에 투영 되는 캐릭터 등의 화상을 보더라도, 필름의 존재감이 증가하는 것뿐이므로 깊이감을 느끼기 어렵게 되므로, 전술한 것과 같은 입체적인 시각 효과를 상주할 수 없게 된다.

또한, 투명한 케이스 2를 통해 투명한 필름을 보았을 경우, 투명한 필름이 눈에 띄지 않게 된다. 이것은, 케이스 2에 투과 필름 3이 내접 되고 있는 것으로, 투과 필름 3의 좌우의 단부가 보이지 않게 되는 것에 기인한다. 또한, 투명한 물질을 포함하여, 전방의 물질을 통해 후방을 보면, 해당 후방의 물질을 인식 하기가 어려워진다.

이것을 화상 표시장치 1에 적용시키면, 예를 들면, 케이스 2를 정면측에서 보았을 때에, 케이스 2(케이스 부재 2a)의 후방에 있는 투과 필름 3은 인식 하기가 어려워진다. 그렇다면, 평면 형상의 투과 필름 3의 존재가 인식되지 않는 것으로, 그 투과 필름 3에 투영 되는 캐릭터 등은, 평면이 아닌 입체물이 부유 하는 것처럼 보인다. 이러한 이유로부터도, 케이스 2가 없는 경우보다 케이스 2가 있는 것이, 캐릭터 등의 화상을 보다 입체적으로 보이게 할 수 있다.

또한, 본 실시 형태의 화상 표시장치 1은, 투과 필름 3의 하방(하단)에 대좌 221을 마련하여, 캐릭터 등의 발끝을 투과 필름 3의 하단에 일치시켜 표시하도록 하고 있다. 이와 같이 하면, 마치 캐릭터 등이 대좌 221 위에 서있는 것처럼 보여 캐릭터 등이 마치 질량이 있는 입체물과 같이 착각하게 할 수 있다.

특히, 대좌 221은, 표면이 시인하기 쉽게 무늬 등을 입히고 있는 것 외에 투과 필름 3을 넘는 정면측의 영역과 배면측의 영역의 쌍방에 연출용 LED 706를 배치하여 발광시키도록 하고 있다. 이것에 의해, 캐릭터 등의 전후에 대좌 221이 있는 것을 명확하게 인식시킬 수 있고, 나아가, 캐릭터 등이, 대좌 221에 제대로 착지한 상태로 서있도록 보이게 할 수 있다. 따라서, 이러한 대좌 221과의 관계에 의해서, 투명한 케이스 2내의 투과 필름 3에 투영 되는 캐릭터 등을 실체가 있는 입체물과 같이 보이게 할 수 있다.

또한, 투과 필름 3에 대해서는, 배면측 상부에 마련한 반사 미러 5로부터의 반사광에 의한 투영을 실시하도록 하고 있어, 화상의 빛의 일부가 투과 필름 3을 투과 하고, 대좌 221상에 빛의 그림자(影)로서 비추어지도록 하고 있다. 이러한 그림자가 시인되는 것에 의해서, 표시 대상을 보다 입체적으로 시인시키는 효과를 상주한다.

다음으로, 화상 표시장치 1에 탑재되는 기기에 대해 도 4a~도 4c를 참조하면서 설명한다. 도 4a는, 상부 수용부에 설치되는 기기, 도 4b는, 주부에 설치되는 기기, 도 4c는, 하부 수용부에 설치되는 기기의 모식도이다.

덧붙여 케이스 2의 측면은 불투명하게 하거나 측면부에 불투명한 필름을 접착하거나 하는 등, 측면에서의 캐릭터의 시인성을 저하시키는 것으로, 유저가 정면측으로부터 캐릭터를 보도록 할 수 있다. 또한, 여기에서는, 투과 필름 3에 프로젝터로부터의 화상을 투영 하는 것으로 하고 있지만, 이것은, 예를 들면, 화상 표시장치에 예를 들면 물방울 등을 분무할 수 있는 구성을 마련하고, 분무된 물방울에 프로젝션을 실시한다라고 하는 입체 홀로그래피로 캐릭터를 투영 하는 것으로 할 수도 있다. 입체 홀로그래피 기술을 응용하는 것으로, 보다 입체감이 있는 캐릭터를 표시할 수 있다.

<하부 수용부의 설치 기기>

도 4c에서 나타낸 것처럼, 하부 수용부 22에는, 제어 보드 701, 사람 감지 센서 702, 적외선 LED 703, 마이크 704, 스피커 705, 연출용 LED 706, 적외선 수광부 707, 스테이터스 LED 708, 기동 버튼 709, USB 허브 710외에, Wi-Fi(등록상표) 모듈이나 Bluetooth(등록상표) 모듈 등이 설치되어 있다.

제어 보드 701은, CPU, ROM, RAM, HDMI(등록상표) 포트, LAN 포트, USB 포트, 각종 입출력 포트 등이 탑재된 하나 또는 복수의 제어 칩이 탑재되어 각종 센서 등으로부터 입력된 정보에 기반하여, 화상, 음성을 포함하는 여러가지 출력 동작을 소정의 기기에서 실행시킨다.

사람 감지 센서 702는, 적외선의 변화량을 검지하여 사람의 소재를 검출하는 센서이며, 정면측의 좌우에 마련하고 있다.

적외선 LED 703는, 정면 상부에 방사상으로 설치되어 이른바 적외선 리모콘으로서 기능한다. 구체적으로는, 적외선을 주위에 출력하는 것으로, 텔레비전이나 청소기 등의 외부의 기기의 원격 조작을 가능하게 하고 있다.

마이크 704는, 유저로부터 발하는 음성을 입력한다. 예를 들면, 마이크 704는, 정면의 하단에 1개가 설치된다.

스피커 705는, 음성이나 음악 등의 소리 정보를, 증폭기를 개입시켜 출력한다. 도 4c에서 나타내는 예에서는, 스피커 705는, 정면 측에 마련되어 있지만, 후방 주부의 좌우에 스테레오 방식으로 설치되는 것이 바람직하다.

연출용 LED 706는, 대좌 221에 있어서의 발광 수단이다.

적외선 수광부 707은, 정면 측에 설치되어 텔레비전이나 조명기구, 에어컨, 로봇 청소기 등의 가전제품의 리모콘으로부터, 그 리모콘으로 이용되는 리모콘 조작에 관한 적외선 정보를 수신한다.

스테이터스 LED 708는, 화상 표시장치 1의 상태(예를 들면, 전원 온, 에러 발생, 통신 중 또는, 후술 하는 "슬립 상태", "미소환 상태", "소환 상태" 등)를 나타내는 알림 수단이며, 특정의 점멸 패턴이나 발광색 등에 의해서 각종 상태를 식별 가능하게 알린다.

기동 버튼 709는, 화상 표시장치 1 본체의 전원의 온/오프를 수행하기 위한 조작 수단이다.

USB 허브 710은, USB 기기를 복수 접속하기 위한 허브이다.

Wi-Fi(등록상표) 모듈은, USB 허브에 접속된 무선 LAN 모듈이며, 액세스 포인트로서 무선 LAN 기기에 인터넷 환경을 제공하거나 무선 LAN 기기로서 다른 액세스 포인트를 통해서 인터넷에 접속하거나 할 수 있다.

Bluetooth(등록상표) 모듈은, 소정 규격에 대응하는 키보드나 마우스, 스마트 폰 등의 통신 단말, 마이크, 스피커 등의 주변기기와 라디오 커뮤니케이션을 가능하게 하는 라디오 커뮤니케이션 인터페이스이다.

<주부의 설치 기기>

도 4b에서 나타낸 것처럼, 주부 6에는, 기술의 반사 미러 5에 더하여 온습도 센서 611, 진동 센서 612, 소음 센서 613이 마련되어 있다.

온습도 센서 611은, 실내의 온도 및 습도를 측정하고, 이러한 측정치를 입력한다.

진동 센서 612는, 진동을 검지하기 위한 센서이며, 예를 들면, 피에조 진동 센서에 대응한다. 진동 센서 612에 의해서 검출되는 진동으로서는, 지진과 같이 큰 흔들림외에, 발소리나 도어의 여닫기를 식별 가능한 비교적 작은 진동이 있다.

소음 센서 613은, 실내의 환경음을 검출하기 위한 센서이다. 소음 센서 613에 의해서 검출되는 환경음으로서는, 예를 들면, 소정의 기준 음량에 기반하여 판별되는 유저의 생활음(텔레비전의 소리를 포함함), 근처의 환경음, 소음이 있다.

<상부 수용부의 설치 기기>

도 4c에서 나타낸 것처럼, 상부 수용부 21에는, 프로젝터 4, 적외선 LED 703, 광 센서(조도 센서) 721 및 카메라 722가 마련되어 있다.

프로젝터 4는, 기술한 것처럼, 반사 미러 5를 개입시켜 투과 필름 3에 화상을 투사 한다. 프로젝터 4로부터 출력되는 화상으로는, 예를 들면, 여러가지 만화나 애니메이션에 등장하는 각 캐릭터나 실재의 인물, 물품 등의 2D화상이나 3D화상, 캐릭터의 감정 표현을 연출하는 연출용의 화상이 있다.

적외선 LED 703는, 좌우에 각각 설치되어 상부 수용부 21에 마련되어 있는 것과 같이, 적외선 리모콘으로서 기능한다.

광 센서(조도 센서) 721은, 밝기(조도)를 측정하는 센서이다.

카메라 722는, 전방에서 설치되어 정지화면이나 동영상을 촬영하는 촬상 수단이다.

〈기능〉

다음으로, 기술한 각 기기에 의해서 실현되는 기능에 대해 도 5 및 도 6을 참조해 설명한다. 도 5는, 실시 형태와 관련되는 화상 표시장치 1의 기능 블럭도이다. 도 5에서 나타낸 것처럼, 화상 표시장치 1은, 표시부 700과, 대화부 717과, 채팅부 718을 구비한다.

표시부 700은, 캐릭터를 표시하는 기능을 가지는 것이다. 예를 들면, 전술한 프로젝터 4에 캐릭터와 관련되는 화상을 투과 필름 3에 투영 시키는 것으로, 캐릭터를 표시한다. 표시부 700은, 예를 들면, 프로세서나 그래픽 엔진 등에 의해서 실현되지만, 실현의 수법은 이것에 한정되는 것은 아니다. 캐릭터는, 애니메이션, 만화, 소설, 컴퓨터 게임, 소설 등에 등장하는 인물이나 동물 등이지만, 이것에 한정되지 않고, 오리지날의 창조상의 인물일 수도 있다. 또한, 인물이나 동물에 한정하지 않고, 개성을 가지는 무기물도 캐릭터로 될 수 있다. 예를 들면, 로봇 등이다.

대화부 717은, 유저와 대화하는 기능을 가지는 것이며, 캐릭터가 유저와 대화하고 있도록 연출하는 기능을 가지는 것이다. 대화부 717은, 예를 들면, 프로세서에 의해 실현되며, 미리 정해진 알고리즘에 따라서, 유저와의 대화를 실시한다. 대화부 717은, 미리 기억하고 있는 음성중에서, 유저와의 대화의 화제를 선택하고, 그 음성을 스피커 705로부터 출력하고, 마이크 704로부터 입력되는 유저의 음성을 해석하는 것으로 대화를 실행한다. 덧붙여 여기서, 캐릭터의 음성은 미리 기억하고 있는 것으로 했지만, 이것에 한정되지 않고, 캐릭터는 음성으로서 합성 음성을 출력하는 것을 할 수 있다.

채팅부 718은, 유저가 보관 유지하는 통신 단말과의 사이에서, 채팅을 실행하는 것이며, 예를 들면, 프로세서에 의해 실현되어 미리 정해진 알고리즘에 따라서, 유저와 채팅을 실시한다. 채팅부 718은, 유저의 통신 단말과 직접 라디오 커뮤니케이션을 실행하고 채팅을 실시하는 것으로 할 수 있고, 소정의 메시징 서버(채팅 서버)를 개입시켜, 채팅을 실행하는 것을 할 수 있다. 여기서 말하는 채팅은 이른바 메시지(통신문)의 교환을 수행하기 위한 것이다. 채팅부 718은, 자동으로 대화의 내용을 선택하고, 선택한 대화의 내용을 문자열로서 송신하는 것과 동시에, 유저의 통신 단말로부터 송신된 채팅의 내용을 해석하고, 해석한 내용에 따른 화제를 선택해 응답을 생성하고, 그 메시지를 송신한다.

여기서, 대화부 717과 채팅부 718는 서로 연동한다. 대화부 717과 채팅부 718이 서로 연동한다는 것은, 유저와의 사이에 대화부 717이 실행한 캐릭터-유저 사이의 대화가 채팅부 718이 실행하는 채팅의 내용에 반영되어 채팅부 718이 유저의 통신 단말과의 사이에 실행한 채팅의 내용이, 대화부 717이 실행하는 대화의 내용에 반영되는 것을 말한다. 채팅의 내용이나, 대화의 내용이란, 발언의 내용 그 자체나 화제이다. 그리고, 대화부 717과 채팅부 718이 연동한다는 것은, 예를 들면, 대화부가 야구에 관한 대화를 유저와의 사이에서 실행할 경우에, 채팅부가 실행하는 화제에 야구에 관한 화제를 포함하게 하는 것이고, 보다 정확하게는, 야구에 관한 화제를 실행할 가능성을 갖게 하는 것을 말한다. 대화부 717, 채팅부 718은, 하기에 있어서와 같이 제어부 71에 의해 실현된다.

또한, 화상 표시장치 1은, 도 1 내지 도 3을 이용하여 상술한 것처럼 적어도 일부가 투광성 부재로 구성되는 케이스 2를 더 갖출 수 있다. 그리고, 표시부 700은, 케이스 2내에 입설한 투광성의 평판 부재인 투과 필름 3과 평판 부재인 투과 필름 3에, 캐릭터 화상 및 연출용 화상을 투광 하는 투광 장치인 프로젝터 4와 투광 장치인 프로젝터를 개입시킨 화상의 표시 제어하는 표시 처리부 713을 가질 수 있다.

구체적으로는, 화상 표시장치 1은, 도 6에서 나타낸 것처럼, 제어부 71과, 입력부 72와, 출력부 73과, 조작부 74와, 기억장치 75와, 통신부 76을 구비한다. 이러한 기억장치 75에 기억되는 화상 표시 프로그램 P1나, 대화 프로그램 P2, 채팅 프로그램 P3가 실행되는 것으로, 제어부 71이 취득 처리부 711, 해석부 712, 표시 처리부 713, 음성 출력부 714, 송신 처리부 715 및 데이터 관리부 716으로서의 처리를 실행할 수 있다.

입력부 72는, 각종 센서에 의해서 검출된 여러가지 정보가 입력되는 수단이다. 입력부 72에 입력되는 데이터에는, 예를 들면, 사람 감지 센서 702가 사람을 검지했을 때에 사람 감지 센서 702로부터 출력되는 식별 정보, 마이크 704를 개입시켜 입력된 음성 정보, 온습도 센서 611에 의해서 검출되는 실내의 온도나 습도의 정보, 진동 센서 612가 검출한 진동의 크기나 변화를 식별 가능한 정보, 소음 센서 613을 개입시켜 입력된 음량 정보, 광 센서 721을 개입시켜 입력된 조도 정보, 카메라 722에 의해서 촬상된 정지화면·동영상의 정보 등이 있다.

출력부 73은, 소정의 명령에 의거해 신호나 정보의 출력을 실시하는 출력 수단이다. 출력부 73에 의해서 출력되는 신호나 정보에는, 예를 들면, 적외선 LED 703로부터 출력되는 외부 기기의 동작을 제어하기 위한 적외선 신호, 스피커 705를 개입시켜 출력되는 음성 정보, 연출용 LED 706로부터 발광되는 빛, 프로젝터 4로부터 출력되는 화상 등이 있다.

조작부 74는, 유저에 의한 조작 수단이며, 예를 들면, 도시하지 않는 키보드나 마우스, 화상 표시장치 1에 설치된 조작 버튼(하드 키)이나, 터치 패널에 대응한다. 조작부 74에 의해서 행해지는 조작에는, 예를 들면, 기동 버튼 709에 의한 장치 본체의 전원의 온/오프나, 화상 표시장치 1을 슬립 상태(비소환 상태)와 액티브 상태(소환 상태)를 바꾸기 위한 버튼 등이 있다.

기억장치 75는, 예를 들면, 화상 표시장치 1을 구성하는 RAM나, EEPROM나 플래쉬 메모리 등의 불휘발성 메모리 등에 의해 구성되어 화상 표시장치 1이 가지는 각종 기능을 실행하기 위한 프로그램이나 데이터를 기억하는 기억 수단이다. 기억장치 75에 기억되는 데이터에는, 캐릭터 등의 화상 데이터 751이나 음성 데이터 752, 텔레비전이나 조명기구 등의 외부 기기를 조작하는 신호 데이터 753, 유저의 속성 정보 등에 관한 유저 데이터 754, 화상 표시장치 1이 유저와의 사이에 주고 받은 대화의 이력을 나타내는 대화 이력 데이터 755, 화상 표시장치 1이 유저의 통신 단말과의 사이에서 실행한 채팅의 이력을 나타내는 채팅 이력 데이터 756, 외부 기기의 리모콘에 관한 리모콘 정보, 캘린더 사이트에서 등록한 캘린더 정보, 장치 본체나 각 기기의 속성 정보, 센서로부터 입력한 정보, 음악 정보, 언어 데이터 등이 있다. 또한, 기억장치 75에, 기억되는 프로그램으로는, 후술 하는 각종 제어 동작을 실행하기 위한 화상 표시 프로그램 P1의 외에, 유저와의 사이에 직접 대화를 주고 받기 위한 대화 프로그램 P2나, 유저의 통신 단말과의 사이에(채팅 서버를 개입시켜) 채팅을 실행하기 위한 채팅 프로그램 P3, 음성인식 프로그램이나 인공지능 프로그램 등이 있다.

화상 데이터 751은, 화상을 표시하는 표시 조건과 해당 조건에 기인하여 표시되는 캐릭터 화상을 특정하는 캐릭터 화상 정보(제1 화상 정보) 및 연출용 화상을 특정하는 연출용 화상 정보(제2 화상 정보)가 연관되는 데이터이다. 연출용 화상은, 캐릭터의 감정 등을 표현하는 것이며, 감정 등을 나타내는 말의 문자를 포함하는 화상일 수 있고, 성형이나 하트형 등의 파티클을 포함하는 화상일 수도 있다. 덧붙여 연출용 화상은, 필수적인 것은 아니고, 표시하지 않을 수도 있다. 예를 들면, 소정의 확률로 표시하는 것을 할 수 있다. 구체적으로는, 예를 들면, 1일로 바뀌는 랜덤인 역치를 마련해 연출용 화상을 표시하는 타이밍에 표시할지 여부를 그때 그때로 랜덤치를 산출하고, 그 랜덤치가 설정한 역치를 넘는지 여부로 연출용 화상을 표시할 수 있다. 캐릭터 화상 정보는, 삼차원 화상의 화상 정보인 것이 바람직하다. 또한, 연출용 화상 정보는, 상황에 따라, 이차원 화상의 화상 정보, 또는, 삼차원 화상 정보이다.

도 7a에 나타내는 화상 데이터 751의 예로는, 환경 신호로서 "음성 A"가 검출되었을 경우, "캐릭터 화상 A"와 "연출용 화상 A"가 표시되는 것이 규정된다. 예를 들면, 음성 A가 "안녕"이라고 하는 말일 때, 캐릭터 화상 A로서 캐릭터가 "안녕"이라고 하는 모습이 나타나는 화상이 표시되는 것과 동시에, 연출용 화상 A로서 아침의 상쾌한 연출을 하는 화상이 표시된다. 또한, 연출용 화상 A에는, "안녕"의 문자가 표시되는 말풍선을 포함할 수 있다.

환경 신호로서 "동작 C"가 검출되었을 경우, "캐릭터 화상 C"와 "연출용 화상 C"가 표시된다. 예를 들면, 동작 C가 "유저의 귀가"일 때, 캐릭터 화상 C로서 캐릭터가 "어서 오세요"라고 하는 모습이 나타나는 화상이 표시되는 것과 동시에, 연출용 화상 C로서 귀가를 맞이하는 연출을 하는 화상이 표시된다. 또한, 연출용 화상 C에는, "어서 오세요"의 문자가 표시되는 말풍선을 포함할 수 있다.

"시각 D"의 타이밍에서는, "캐릭터 화상 D"와 "연출용 화상 D"가 표시된다. 예를 들면, 시각 D로서 자명종의 시간으로서 "오전 6시"가 세트 되고 있을 때, 오전 6시가 되면, 캐릭터 화상 D로서 캐릭터가 유저를 깨우는 모습이 나타나는 화상이 표시되는 것과 동시에, 연출용 화상 D로서 깨어나는 화상을 표시할 수 있다. 또한, 연출용 화상 D에는, "아침이에요"의 문자가 표시되는 말풍선을 포함할 수 있다.

"신호 E"를 수신한 타이밍에서는, "캐릭터 화상 E"와 "연출용 화상 E"가 표시된다. 예를 들면, 신호 E가, 유저의 통신 단말로부터 송신되는 "칫솔"의 신호일 때, 이 신호 E를 수신하면, 캐릭터 화상 E로서 캐릭터가 양치질을 하는 모습이 나타나는 화상이 표시되는 것과 동시에, 연출용 화상 E로서 양치질에 어울리는, 기분 상쾌한 화상을 표시할 수 있다. 또한, 연출용 화상 E에는, "이 닦는 중"의 문자를 포함할 수 있다.

또한, 화상 데이터 751로는, 환경 정보와 함께 시각 정보를 포함한 표시 조건이 규정될 수 있다. 예를 들면, 화상 데이터 751은, 환경 정보가 동일해도, 오전과 오후는, 표시되는 캐릭터 화상 및 연출용 화상이 다르도록 규정할 수 있다.

또한, 화상 데이터 751로는, 환경 정보와 함께 수신 신호를 포함하는 표시 조건이 규정될 수도 있다.

음성 데이터 752는, 음성을 출력하는 출력 조건과 해당 조건에 기인하여 출력되는 음성을 특정하는 정보가 연관되는 데이터이다.

도 7b에서 나타내는 음성 데이터 752의 예로는, 환경 신호로서 "음성 A"가 검출되었을 경우, "음성 A"가 출력되는 것이 규정된다. 예를 들면, 음성 A가 "안녕"이라고 하는 말일 때, 음성 A로서 캐릭터의 소리로 "안녕"이라고 출력된다.

환경 신호로서 "동작 C"가 검출되었을 경우, "음성 C"가 출력된다. 예를 들면, 동작 C가 "유저의 귀가"일 때, 음성 C로서 캐릭터의 소리로 "어서 오세요"라고 출력된다.

"시각 D"의 타이밍에서는, 음성 D로서 캐릭터의 소리로, "6시야"라고 출력된다.

"신호 E"를 수신한 타이밍에서는, 음성 E로서 캐릭터가 양치질을 하는 소리나, 양치질을 하는 소리가 출력된다.

또한, 음성 데이터 752로는, 환경 정보와 함께 시각 정보를 포함하는 출력 조건이 규정될 수 있다. 예를 들면, 음성 데이터 752는, 환경 정보가 동일해도, 오전과 오후와는 출력되는 음성이 다르도록 규정할 수 있다.

또한, 음성 데이터 752로는, 환경 정보와 함께 수신 신호를 포함한 출력 조건이 규정될 수도 있다.

신호 데이터 753은, 가전 등의 외부의 전기기기를 조작하는 조작 신호를 출력하는 조건과 해당 조건에 기인하여 송신되는 조작 신호가 연관되는 데이터이다.

도 7c에서 나타내는 신호 데이터 753의 예로는, 환경 신호로서 "음성 F"가 검출되었을 경우, "조작 신호 F"가 출력되는 것이 규정된다. 예를 들면, 음성 F가 "텔레비전 꺼"라고 하는 말일 때, 텔레비전의 전원을 켜는 조작 신호 F가 출력된다.

덧붙여 도 8에서 나타낸 것처럼, 동일한 말이나 행동에 대해서도, 일시에 따라 출력되는 화상이나 음성은 차이가 날 수 있다. 예를 들면, "안녕"의 음성이 검출되었을 경우, 평일아침이면 "안녕 오늘도 노력하자!"라고 하루를 격려하는 음성을 출력하고, 휴일아침이면 "안녕 오늘은 쉴 수 있겠네"라는 평일의 피로를 위로하는 음성을 출력한다. 한편, 밤이면, "무슨 말이야 이제 늦은 시간이야"의 음성을 출력한다. 따라서, 일상생활에 부자연스러운 기계적인 교환을 방지할 수 있다. 이것에 의해, 유저는 캐릭터를 보다 가까이에서 느낄 수 있다.

유저 데이터 754는, 유저의 프로필, 속성, 기호 등의 유저에 관한 여러 가지의 정보를 가진다. 유저 데이터 754에 있어서, 유저의 이름을 가지는 것으로, 화상 표시장치 1은, 예를 들면, 유저의 이름을 음성으로 출력할 수 있다. 이 때, 이름뿐만 아니라 닉네임 등을 등록할 수 있다. 이것에 의해, 캐릭터가 유저의 이름을 부르도록 하는 것이 가능해진다. 따라서, 유저는, 캐릭터에게 친밀감을 느끼고, 또한, 보다 가까이에서 느낄 수 있다.

유저 데이터 754에 있어서, 유저의 주소나 회사의 주소를 입력하는 것으로, 화상 표시장치 1은, 예를 들면, 유저의 행동 범위에 관한 정보를 인터넷 등을 이용해 취득하고, 음성이나 화상으로 출력할 수 있다. 이것에 의해, 캐릭터가, 유저에게 여러가지 정보를 알려 주도록 하는 것이 가능해진다. 따라서, 유저는, 캐릭터에 친밀감을 느끼고, 또한, 보다 가까이에서 느낄 수 있다.

유저 데이터 754에 있어서, 유저의 생년월일을 입력하는 것으로, 화상 표시장치 1은, 예를 들면, 유저의 생일에, 생일을 축하하는 화상이나 음성을 출력할 수 있다. 이것에 의해, 캐릭터가, 유저의 생일을 축하하도록 하는 것이 가능해진다. 이것에 의해, 유저는 캐릭터에 친밀감을 느끼고, 또한, 보다 가까이에서 느낄 수 있다.

유저 데이터 754에 있어서, 유저의 휴대 전화의 전화 번호를 입력하는 것으로, 화상 표시장치 1은, 예를 들면, 유저가 외출중에, 휴대 전화에 전화를 걸도록 할 수 있다. 이것에 의해, 유저는 외출지에서, 집에서 기다리는 캐릭터로부터 전화를 받은 것 같은 상태로 하는 것이 가능해진다. 이것에 의해, 유저는, 캐릭터에 친밀감을 느끼고, 또한, 보다 가까이에서 느낄 수 있다.

그 외에, 유저 데이터 754는, 좋아하는 애니메이션이나 만화, 소설, 게임, 영화, 좋아하는 캐릭터, 취미, 흥미가 있는 것, 체중, 신장, 직업 등의 정보를 가질 수 있다. 화상 표시장치 1은, 이러한 유저에 관한 정보에 기반하여, 유저의 흥미가 있는 화제로부터 화상을 표시하거나 음성을 출력하거나 하는 것이 가능해진다. 또한, 이러한 정보는, 앙케이트 등의 결과나, 유저가 이용하는 SNS(소셜 네트워킹 서비스)의 이력 등으로부터 생성할 수 있다. 여기서 말하는 앙케이트란, 화상 표시장치 1의 캐릭터가 유저에 대해서 "00은 좋아?"라고 쓴 질문을 대화나 채팅을 통해서 실시하는 것일 수도 있고, 또는, 때때로 질문 리스트와 같은 데이터에 유저가 기입하는 것일 수도 있다. 전자의 경우, 질문 내용과 그에 대한 유저로부터의 회답의 문자열을 대응시켜, 유저 데이터 754의 일부로서 기억해 두는 것으로, 이후에 있어서 유저 취향의 화제를 선택할 수 있다.

대화 이력 데이터 755는, 화상 표시장치 1의 캐릭터가 유저와의 사이에서 직접 주고 받은 대화의 내용에 관한 이력 정보이다. 도 9는, 대화 이력 데이터 755의 일 구체적인 예를 나타내는 데이터 개념도이다. 도 9에서 나타낸 것처럼, 대화 이력 데이터 755는, 대화를 실시한 것을 나타내는 정보이며, 캐릭터측의 발화나 유저측의 발화인지를 나타내는 발화자 정보 901와, 발화된 일시를 나타내는 일시 정보 902와, 대화의 구체적 내용을 나타내는 대화 내용 정보 903가 대응해 붙여지는 정보이다. 예를 들면, 도 9의 예에서 말하면, 캐릭터는, "2016년 7월 10일, 18시 30분 10초"에, "오늘, 야구 중계가 있군요"라고 말을 건네고 있는 것에 대해, 유저가, "2016년 7월 10일, 18시 32분 20초"에, "그렇구나? 가르쳐 줘서 고마워"라고 대답하고 있는 것을 알 수 있다. 덧붙여 유저에 대한 대화 내용 정보 903은, 입력된 음성에 대해, 해석부 712가 실행한 음성인식의 결과의 텍스트 데이터가 기억된다. 덧붙여 대화 내용 정보 903은, 대화의 내용 모두를 문자열로 한 정보일 수 있고, 대화의 내용으로부터, 키워드를 픽업한 정보일 수도 있다. 예를 들면, 도 9의 예에서 말하면, "A팀이 좋을까나"라고 하는 대화 내용이면, "A팀, 좋음"라고 하는 조합의 정보를 대화 내용 정보 903으로서 기억해 둘 수 있다. 이 경우, 화상 표시장치 1이 선택하는 키워드는, 대화문 내의 명사를 기준으로 선택하는 것으로 할 수 있고, 유저의 감정을 나타내는 말이 있으면, 그것을 픽업 해 기억하는 것을 할 수 있다. 대화 이력 데이터 755가 기억장치 75에 기억되고 있는 것에 의해, 화상 표시장치 1은, 과거의 대화의 내용을 인식할 수 있는 것과 동시에, 이 후의 대화나 채팅의 화제에 반영할 수 있다. 대화 이력 데이터 755는, 화상 표시장치 1이 표시하는 캐릭터와 유저와의 사이에 대화가 이루어질 때마다, 제어부 71에 의해 추가 갱신된다.

채팅 이력 데이터 756은, 화상 표시장치 1의 캐릭터가, 유저가 보관 유지하는 통신 단말과의 사이에 실행한 채팅의 내용에 관한 이력 정보이다. 도 10은, 채팅 이력 데이터 756의 일 구체적인 이력을 나타내는 데이터 개념도이다. 도 10에서 나타낸 것처럼, 채팅 이력 데이터 756은, 채팅에서 발언을 한 측을 나타내는 정보이며, 유저측의 발언이나 캐릭터측의 발언인지를 나타내는 발언자 정보 1001과, 채팅상에서 그 발언이 된 일시를 나타내는 일시 정보 1002와, 발언한 채팅의 내용을 나타내는 문자열인 채팅 내용 정보 1003이 대응해 붙여지는 정보이다. 예를 들면, 도 10의 예에서 말하면, 캐릭터는, "2016년 7월 2일, 19시 39분 21초"에, "지금, 뭐하고 있어?"라고 채팅으로 질문하고 있는데 대해, 유저가, "2016년 7월 2일, 19시 40분 30초"에, "진구구장에서, 야구의 시합 보고 있어"라고 대답하고 있는 것을 알 수 있다. 덧붙여 채팅 내용 정보 1003은, 채팅의 내용 모두를 문자열로 한 정보일 수 있고, 채팅의 내용으로부터, 키워드를 픽업 한 정보일 수도 있다. 예를 들면, 도 10의 예에서 말하면, "진구구장에서, 야구의 시합 보고 있어"라고 하는 채팅 내용으로부터, "야구"라고 하는 키워드만을 기억해 둘 수 있고, "a선수가 좋을까나"라는 채팅 내용이면, "a선수, 좋음"이라고 하는 조합의 키워드를 채팅 내용 정보 1003으로서 기억해 둘 수 있다. 이 경우, 화상 표시장치 1이 선택하는 키워드는, 채팅문 내의 명사를 기준으로 선택하는 것으로 할 수 있고, 유저의 감정을 나타내는 말이 있으면, 그것을 픽업 해 기억하는 것을 할 수 있다. 채팅 이력 데이터 756이 기억장치 75에 기억되고 있는 것에 의해, 화상 표시장치 1은, 과거의 채팅의 내용을 인식할 수 있는 것과 동시에, 그 후의 채팅이나 대화의 화제에 반영할 수 있다. 채팅 이력 데이터 756은, 화상 표시장치 1이 표시하는 캐릭터와 유저와의 사이에 채팅이 이루어질 때마다, 제어부 71에 의해 추가 갱신된다.

랜덤 대화 데이터 757은, 캐릭터가 랜덤으로 대화 또는 채팅을 실행하는 경우의 화제의 선택과 관련되는 데이터이다. 도 11에서 나타낸 것처럼 랜덤 대화 데이터 757은, 키워드 1101과, 조건 1102와, 대화 또는 채팅 내용 1103이 대응해 붙여지는 정보이다. 키워드 1101은, 대화의 트리거가 되는 워드이며, 제어부 71이 대화 이력 데이터 755 및 채팅 이력 데이터 756에 기록되고 있는 대화 이력 및 채팅 이력 내의 화제와 조합하기 위한 정보이다. 대화 이력과 채팅 이력안에 포함되어 있는 키워드가, 키워드 1101의 어느 쪽인가에 합치하는 경우에, 대화 또는 채팅 내용 1103의 내용이 음성으로 출력, 또는 채팅의 문장으로서 출력된다. 조건 1102는, 대응하는 대화 또는 채팅 내용을 캐릭터가 이야기, 또는 채팅하기 위해서 클리어해 둘 필요가 있는 조건이며, 조건이 없는 경우도 포함한다. 조건으로서는, 특정의 날씨(맑음, 비, 눈, ...)이거나 특정의 음성이 입력되는 것이거나 특정의 정보(예를 들면, 어느 프로그램이 방송되는 것)가 입력된 정보(예를 들면, 텔레비전의 프로그램 정보)에 포함되어 있는 것이거나, 다양하게 된다. 대화 또는 채팅 내용 1103은, 대화 이력 또는 채팅 이력에 포함되는 키워드가 키워드 1101와 일치하고, 또한, 조건 1102가 합치하는 경우에, 실행하는 대화 또는 채팅의 실내용을 나타내는 정보이다. 덧붙여 제어부 71에 의해 복수의 대화 또는 채팅 내용을 검출할 수 있었을 경우에는, 그 중의 어느 것을 랜덤으로 선택하는 것으로 할 수 있고, 선택된 대화 또는 채팅 내용의 대화에 포함되는 키워드의 유저의 기호와의 합치율의 높은 것을 선택하는 것으로 할 수 있고, 그 전의 하나 이상의 대화와의 정합성의 높은 것을 선택하는 것을 할 수 있다. 랜덤 대화 데이터가 기억되고 있는 것에 의해, 제어부 71은, 대화부 또는 채팅부로서 각각의 과거의 이력을 반영한 다음의 대화 또는 채팅을 실시할 수 있다.

통신부 76은, 유선 또는 무선에 의해, 외부의 기기와의 사이에 쌍방향 또는 일방향의 데이터 통신 처리를 실시하는 통신 수단이다. 예를 들면, 인터넷에 접속된 기기와의 사이로, LAN 포트에 접속된 LAN 케이블이나 Wi-Fi(등록상표) 모듈에 근거하는 무선을 개입시켜, 각종 데이터의 송수신이 가능하다. 예를 들면, 통신부 76은, 유저의 통신 단말로부터 송신되는 신호를 수신할 수 있다. 또한, 통신부 76은, 날씨 정보 사이트로부터 수신 가능한 날씨 정보, 캘린더 사이트에 등록한 캘린더 정보 등의 인터넷을 개입시켜 취득 가능한 정보가 있다. 또한, 통신부 76은, 도시하고 있지 않은 네트워크상의 채팅 서버를 개입시켜, 유저의 통신 단말과의 사이에서 채팅 통신을 실행할 수 있다.

제어부 71은, 화상 표시 프로그램 P1에 따라, 취득 처리부 711, 해석부 712, 표시 처리부 713, 음성 출력부 714, 송신 처리부 715, 데이터 관리부 716, 으로서의 제어 동작을 실시할 수 있다.

취득 처리부 711은, 마이크 704, 카메라 722, 사람 감지 센서 702, 광 센서 721, 온습도 센서 611, 진동 센서 612, 소음 센서 613 등의 적어도 어느 것으로부터 검출된 신호를 취득한다.

해석부 712는, 취득 처리부 711이 취득한 환경 정보를 해석한다. 예를 들면, 해석부 712는, 취득 처리부 711이 마이크 704로부터 검출한 환경 신호로부터, 유저가 발한 말을 해석한다. 해석부 712는, 예를 들면, 기억장치 75에 미리 등록되는 언어 모델 및 음성 모델을 이용하여, 마이크 704가 취득한 음성으로부터, 유저가 발한 말을 특정하도록 할 수 있다. 언어 모델이란, 화상 표시장치 1이 사용하는 언어에 대해 사용되는 언어의 단어 정보의 집합이나, 각종의 표현을 등록한 데이터이다. 또한, 음성 모델은, 사용하는 언어의 음성 신호의 모델이며, 예를 들면, 주파수 특성을 나타내는 신호이다. 구체적으로는, "아", "이", ..., "a", "b"라는 한마디 한마디의 음성의 표준적인 모델이다. 이것에 의해, 입력된 유저의 음성을 패턴 매칭에 의해 특정할 수 있다. 또한, 이것에 의해, 화상 표시장치 1은, 유저가 발한 말에 따라 정해지는 화상을 표시하고, 말에 따라 정해지는 음성을 출력할 수 있다. 여기서, 기억장치 75에 있어서, 화상 표시장치 1의 소유자인 유저에 관한 유저 데이터로서 성문 정보를 가지고, 소유자 유저의 소리를 인식할 수 있도록 할 수 있다.

덧붙여 해석부 712가, 유저가 발한 말을 해석할 수 없을 때, 화상 표시장치 1은, "한번 더 말해" 등, 통상의 기계적인 음성을 출력하여 유저에게 반복을 요구하는 것이 아니라, 다른 방법으로 반응한다. 예를 들면, 화상 표시장치 1은, "더 가까이에서 말해", "상냥하게 말해"의 음성을 출력하여 반복하는 것을 유도한다. 또한, 화상 표시장치 1은, "흠", "그래-", "과연-" 등, 적당한 맞장구의 음성을 출력할 수 있고, "음-", "그리고-"와 같은 필러 표현의 음성을 출력할 수 있다.

또한, 해석부 712는, 취득 처리부 711이 카메라 722로부터 검출한 환경 신호로부터, 유저의 위치나 동작을 해석한다. 구체적으로는, 해석부 712는, 화상 해석으로서 화상으로부터 사람의 얼굴을 검출할 수 있다. 또한, 기억장치 75에 있어서, 소유자 유저에 관한 유저 데이터로서 유저의 얼굴 정보를 가지고, 검출한 사람의 얼굴로부터, 소유자 유저의 얼굴을 인식할 수 있도록 할 수 있다.

화상 표시장치 1은, 소유자 유저를 특정하는 것으로, 캐릭터가 소유자 유저에 대해 친밀하게 접하도록 하는 화상을 표시하거나, 음성을 출력하거나 하는 것이 가능해진다. 또한, 반대로, 화상 표시장치 1은, 소유자 이외의 사람에 대해서는, 쌀쌀맞게 접하거나 자기 소개 등의 인사를 하거나 하는 화상을 표시하거나 음성을 출력하거나 할 수 있다. 이것에 의해, 유저는, 화상 표시장치 1에서 표시되는 캐릭터에 대해, 보다 친근감을 기억할 수 있다.

또한, 해석부 712는, 해석된 유저가 발한 말, 유저의 위치나 동작에 더하여 다른 센서 등으로 검출된 다른 환경 정보나 버튼 조작을 합쳐 하나의 환경 정보로 한 결과를 생성할 수 있다. 예를 들면, 음성이나 화상에 더하여 사람 감지 센서의 검출 결과로부터, 후술 하는 외출이나 귀가의 판정을 할 수 있다.

표시 처리부 713은, 기억장치 75로부터 화상 데이터 751을 읽어내어, 이러한 화상 데이터 751으로부터 취득 처리부 711이 취득한 환경 신호에 대응하는 표시 조건과 연관되는 캐릭터 화상 정보 및 연출용 화상 정보를 선택한다. 또한, 표시 처리부 713은, 선택한 캐릭터 화상 정보 및 연출용 화상 정보와 대응하는 화상을, 출력부 73에 출력하여 표시시킨다. 또한, 표시 처리부 713은, 환경 정보 및 시각 정보에 따라, 캐릭터 화상 및 연출용 화상을 표시할 수 있다. 또한, 표시 처리부 713은, 환경 정보 및 수신 신호에 따라, 캐릭터 화상 및 연출용 화상을 표시할 수 있다.

음성 출력부 714는, 기억장치 75로부터 음성 데이터 752를 읽어내어, 이러한 음성 데이터 752로부터 취득 처리부 711이 취득한 환경 신호에 대응하는 출력 조건과 연관되는 음성 정보를 선택한다. 또한, 음성 출력부 714는, 선택한 음성 정보와 대응하는 음성을, 출력부 73에 출력한다. 또한, 음성 출력부 714는, 환경 정보 및 시각 정보에 따라, 음성을 출력할 수 있다. 또한, 음성 출력부 714는, 환경 정보 및 수신 신호에 따라, 음성을 출력할 수 있다.

송신 처리부 715는, 기억장치 75로부터 신호 데이터 753을 읽어내어, 이러한 신호 데이터 753으로부터 취득 처리부 711이 취득한 환경 신호와 대응해 붙여지는 조작 신호를 선택한다. 또한, 송신 처리부 715는, 읽어낸 조작 신호를, 출력부 73에 출력한다.

데이터 관리부 716은, 화상 표시장치 1에 내장되는 시계 또는 외부의 시계로부터, 시각 정보를 취득한다. 시각에 따라 표시하는 화상이나 음성이 정해질 때, 이러한 표시 및 출력 스케줄에 따라, 표시 처리부 713 및 음성 출력부 714에 제어 신호를 출력한다.

또한, 데이터 관리부 716은, 화상 표시장치 1의 기동시에 날씨 정보 사이트에 액세스 하고, 그 날의 날씨 정보를 취득하여 기억장치 75에 기억시킨다. 또한, 데이터 관리부 716은, 유저의 스케줄이 등록되어 있는 캘린더 사이트에 정기적으로 액세스 하고, 이것에 의해 얻을 수 있는 최신의 캘린더 정보를 기억장치 75에 기억시킬 수 있다. 또한, 데이터 관리부 716은, 텔레비전이나 조명 등의 외부 기기의 리모콘으로부터 해당 외부 기기에 관한 리모콘 정보(적외선 정보)를 적외선 수광부 707에 의해 수신시켜 기억장치 75에 기억(학습)시킬 수 있고. 이러한 리모콘 정보에 기반하여, 외부 기기를 조작하기 위한 적외선 정보를 적외선 LED 703로부터 발신시킬 수 있다. 덧붙여 데이터 관리부 716은, 여러가지 네트워크상의 데이터에 액세스하여, 유저와의 대화나 채팅에 이용할 수 있는 여러가지 데이터를 수집할 수도 있다.

〈동작〉

화상 표시장치 1에서는, "슬립 상태", "미소환 상태", "소환 상태" 등의 각 상태에 따라, 화상의 표시나 음성의 출력 등의 처리를 실행한다. 도 12에서 나타낸 것처럼, 화상 표시장치 1은, 콘센트가 미접속 상태(S1)에 있어서, 전원 버튼(도시하지 않음)은 유효하지 않지만, 콘센트가 꽂아져 콘센트가 접속 상태가 되면(S2), 전원 버튼이 유효하게 된다.

<미소환 상태>

콘센트가 접속된 상태(S2)에서 전원 버튼이 압하되면, 제어부 71이 기동한다(S3). 이 기동에 의해, 예를 들면, 기동 화면이 표시되어 "미소환 상태"로 이행한다(S4). "미소환 상태"는, 화상 표시장치 1에 전원은 들어가 있고, 프로젝터 4는 기동하고 있지만, 캐릭터 화상은 표시되지 않고, 미소환 화상이 표시되는 상태이다. 또한, 미소환 상태에서는, 프로젝터 4는 기동하고 있지만, 스피커 705나 카메라 722 등은 기동하고 있지 않고, 환경 신호를 검출할 수 없다. 화상 표시장치 1은, 미소환 상태에서는, 스테이터스 LED 708가 점등하고 있다.

<소환 상태>

미소환 상태(S4)에서 터치 버튼 26이 길게 눌러지면(長押), "소환 상태"로 이행한다(S5). 터치 버튼 26이 길게 눌러진다는 것은, 소정 시간 이상(예를 들면, 3초 이상), 유저에 터치 버튼 26이 접촉하게 되는 것을 말한다. 이러한 소환 상태가, 화상 표시장치 1에 있어서의 특징적인 화상의 표시나 음성의 출력의 처리가 실행되는 상태이다. 소환 상태는, 화상 표시장치 1은, 프로젝터 4가 기동하고 있어 캐릭터 화상이 표시되는 것과 동시에, 스피커 705, 카메라 722 등이 기동하여 환경 신호의 검출이 가능한 상태이다. 또한, "소환 상태"에서는, (a) 커뮤니케이션 모드, (b) 라이프 모드, (c) 케어 모드, (d) 어필 모드, (e) 채팅 모드 등의 모드가 있어, 이러한 모드마다 소정의 처리가 실행된다.

<슬립 상태>

미소환 상태(S4)에서 전원 버튼이 압하되거나, 소정 시간 방치되면, "슬립 상태"로 이행한다(S6). "소정 시간 방치된다"는, 예를 들면, 소정 시간 이상(예를 들면, 20분 이상) 터치 버튼 26이 길게 눌러지는 것이 없는 상태이다. 슬립 상태는, 전력 절약의 대기 모드 상태이며, 프로젝터 4도 기동하고 있지 않고, 스피커 705나, 카메라 722 등이 기동하고 있지 않는 상태이다. 화상 표시장치 1은, 슬립 상태에서는, 스테이터스 LED 708가 점등하고 있다.

화상 표시장치 1은, 슬립 상태에서, 유저에 의해, 전원 버튼이 압하, 또는, 터치 버튼 26이 터치되면, 미소환 상태로 이행한다. "터치 버튼이 터치된다"는, 소정 시간 미만(예를 들면, 3초 미만)의 시간, 유저에 터치 버튼 26이 접촉하게 되는 것을 말한다.

다음으로, 소환 상태에 있어서의, (a) 커뮤니케이션 모드, (b) 라이프 모드, (c) 케어 모드, (d) 어필 모드, (e) 채팅 모드에 대해 설명한다.

(a) 커뮤니케이션 모드

커뮤니케이션 모드는, 캐릭터 화상이 표시되어 캐릭터와 유저가 커뮤니케이션을 취하는 것이 가능한 상태이다. 구체적으로는, 화상 표시장치 1은, 커뮤니케이션 모드에서는, 취득 처리부 711이 취득하는 환경 신호에 따른 캐릭터 화상을 표시한다. 또한, 화상 표시장치 1은, 환경 신호에 따른 연출용 화상을 표시한다. 또한, 화상 표시장치 1은, 환경 신호에 따라 음성을 출력한다.

화상 표시장치 1은, 미소환 상태로부터, 터치 버튼이 길게 눌러져 소환 상태로 이행했을 때, 우선 처음에 커뮤니케이션 모드가 된다. 또한, 화상 표시장치 1은, 커뮤니케이션 모드의 타이밍에서, 소정 시간 이상(예를 들면, 10분 이상) 계속하고, 환경 신호가 취득되지 않고, 또한, 조작 신호 등의 신호를 수신하지 않는 경우, 라이프 모드로 이행한다.

예를 들면, 화상 표시장치 1에서는, 마이크 704에 의해서 환경 신호인 유저가 발한 "오늘의 날씨는?"의 말이 검출되면, 이것에 따라, 데이터 관리부 716에 의해서 기억장치 75에 기억된 날씨 정보에 기반하여, 스피커 705로부터 "오늘은 맑아요" 등의 음성이 출력된다. 또한, 화상 표시장치 1에서는, 투과 필름 3에, 맑음에 대한 기쁨을 나타내는 동작을 하는 캐릭터 화상이 표시된다. 또한, 화상 표시장치 1에서는, 투과 필름 3에, 맑음의 날씨를 연출하는 연출용 화상이 표시된다. 연출용 화상으로서는, 도 13a에서 나타낸 것처럼, 단순한 화상만의 외에, "오늘은 맑아요"의 문자를 말풍선으로 표시하는 등 텍스트 데이터와 조합이 이루어질 수 있다. 이것에 의해, 유저는, 오늘의 날씨를 가르쳐 준, 캐릭터와 사는 것 같은 감각을 기억하여 캐릭터를 보다 가까이에서 느낄 수 있다. 덧붙여 연출용 화상은 필수의 것이 아니고, 랜덤으로 표시, 비표시를 바꾸는 것을 할 수 있다.

또 예를 들면, 화상 표시장치 1에서는, 유저가 화상 표시장치 1에 가까워져, 카메라 722에 의해 유저의 얼굴이 크게 검출되면, 이것에 따라, 스피커 705로부터 "너무 가까워요" 등의 음성이 출력된다. 또한, 화상 표시장치 1에서는, 투과 필름 3에, 유저의 얼굴이 근처에 있는 것을 부끄러워하는 동작을 하는 캐릭터 화상이 표시된다. 또한, 화상 표시장치 1에서는, 캐릭터가 부끄러워하는 감정을 연출하는 연출용 화상이 표시된다. 연출용 화상으로서는, 도 13b에서 나타낸 것처럼, 단순한 화상 외에, "너무 가까워요-"의 문자를 말풍선으로 표시하는 등 텍스트 데이터와 조합될 수도 있다. 이것에 의해, 유저는, 근처에 가면 부끄러워하는 캐릭터와 사는 것 같은 감각을 기억하여 캐릭터를 보다 가까이에서 느낄 수 있다.

이 경우, 예를 들면, 도 13c에서 나타낸 것처럼, 화상 표시장치 1은, 환경 신호를 취득하면(T1), 취득한 환경 신호에 따라 캐릭터의 캐릭터 화상을 표시하는 것과 동시에, 해당 환경 신호에 따라 해당 캐릭터의 감정 표현을 연출하는 연출용 화상을 표시한다(T2). 또한, 화상 표시장치 1은, 취득한 환경 신호에 따른 음성을 출력한다(T3). 덧붙여 단계 T2와 T3와는 동시에 실행되는 것이 바람직하다.

또한, 예를 들면, 화상 표시장치 1에서는, 유저가 터치 버튼 26을 여러 차례 누르는 것으로, 여러 차례 불러서 캐릭터의 행동을 방해 하는 동작을 하면, 이것에 따라, 스피커 705로부터 "그만, 뭐에요-"의 음성이 출력된다. 또한, 화상 표시장치 1에서는, 투과 필름 3에, 유저에게 여러 차례 불러지는 것으로, 방해받는 것 같은 동작을 하는 캐릭터 화상이 표시된다. 또한, 화상 표시장치 1에서는, 투과 필름 3에, 유저의 여러 차례의 호출을 묻는 연출용 화상이 표시된다. 이것에 의해, 유저는, 여러 차례의 부름에 대응하는 캐릭터에 대해 보다 가까이에서 느낄 수 있고 캐릭터와 사는 감각을 기억할 수 있다.

또 예를 들면, 화상 표시장치 1에서는, 유저의 통신 단말로부터, 캐릭터에게 물건을 보내는 신호를 송신하면, 이것에 따라 스피커 705로부터 이것을 기뻐하는 음성이 출력되며, 또한, 투과 필름 3으로 송신된 것을 사용하는 캐릭터가 표시 되거나 한다.

도 14a에서 나타낸 것처럼, 유저의 통신 단말을 조작하여, 화상 표시장치 1의 캐릭터에 "텔레비전"을 송신한다. 그렇다면, 화상 표시장치 1에 있어서, 도 14b에서 나타낸 것처럼, 연출용 화상으로서 텔레비전이 표시된다. 또한, 연출용 화상에는, 예를 들면, "함께 텔레비전 봐요"라고 하는 문자가 말풍선에 포함되어 있을 수 있다. 이 경우, 화상 데이터 751에 있어서, 텔레비전을 송신하는 송신 신호에는, 도 14b에 나타내는 캐릭터 화상 및 연출용 화상이 대응해 붙여질 수 있다.

또한, 화상 표시장치 1에 있어서, "함께 텔레비전 봐요"라고 하는 음성이 출력된다. 이 경우, 음성 데이터 752에 있어서, 텔레비전을 송신하는 송신 신호에는, "함께 텔레비전 봐요"라고 하는 음성이 출력된다.

그리고, 대상의 TV프로가 종료하면, 도 14c에서 나타낸 것처럼, 화상 표시장치 1에는, "재미있었어요"라고 하는 문자를 말풍선에 포함하는 연출용 화상이 표시될 수도 있다. 동시에, 화상 표시장치 1은, "재미있었어요"라고 하는 음성이 출력된다. 이 경우, 화상 데이터 751에 있어서, 텔레비전을 송신하는 송신 신호를 수신한 후 소정 시간이 경과(TV프로가 종료)한 것을 조건으로서 "재미있었다"를 포함하는 연출용 화상이 대응해 붙여질 수 있다. 또한, 음성 데이터 752에 있어서, 텔레비전을 송신하는 송신 신호를 수신한 후 소정 시간이 경과(TV프로가 종료)한 것을 조건으로서 "재미있었다"의 음성이 대응해 붙여질 수 있다. 덧붙여 TV프로의 내용으로서 "재미있음"가 적격이지 않은 경우도 있기 때문에, 그 감상으로서 적격인 감상의 음성을 선택하여 출력하도록 할 수 있다.

또한, 유저가 텔레비전을 시청의 중에, 유저가 웃거나 했을 경우, 화상 표시장치 1은, 유저의 웃음소리를 검출하면, 동시에 캐릭터가 웃는 음성을 출력하도록 할 수 있다. 이러한 캐릭터 화상, 연출용 화상 및 음성을 출력하는 것으로, 유저가 캐릭터와 함께 텔레비전을 시청 하는 감각을 기억할 수 있다.

예를 들면, 유저의 통신 단말의 입력장치가 터치 패널일 때, 송신 조작은, 송신하는 물질의 화상을, 화상 표시장치 1의 방향을 향해, 플릭(flick)하는 것으로, 실행할 수 있다.

도 14d에서 나타낸 것처럼, 유저의 통신 단말을 조작하여, 화상 표시장치 1의 캐릭터에 "커피"를 송신한다. 그렇다면, 화상 표시장치 1에 있어서, 도 14e에서 나타낸 것처럼, 연출용 화상으로서 커피가 표시된다. 또한, 연출용 화상에는, 예를 들면, "커피 브레이크 하자"라고 하는 문자가 말풍선에 포함되어 있을 수 있다. 이 경우, 화상 데이터 751에 있어서, 커피를 송신하는 송신 신호에는, 도 14e에서 나타내는 캐릭터 화상 및 연출용 화상이 대응해 붙여질 수 있다.

또한, 화상 표시장치 1에 있어서, "커피 브레이크 해요"라고 하는 음성이 출력된다. 이 경우, 음성 데이터 752에 있어서, 커피를 송신하는 송신 신호에는, "커피 브레이크 해요"라고 하는 음성이 출력된다.

그리고, 소정 시간(예를 들면, 10분)이 경과하면, 도 14f에서 나타낸 것처럼, 화상 표시장치 1에는, "잘 먹었습니다"라고 하는 문자를 말풍선에 포함하는 연출용 화상이 표시될 수도 있다. 동시에, 화상 표시장치 1은, "잘 먹었습니다"라고 하는 음성이 출력된다. 이 경우, 화상 데이터 751에 있어서, 커피를 송신하는 송신 신호를 수신한 후 소정 시간이 경과한 것을 조건으로서 "잘 먹었습니다"를 포함하는 연출용 화상이 대응해 붙여질 수 있다. 또한, 음성 데이터 752에 있어서, 커피를 송신하는 송신 신호를 수신한 후 소정 시간이 경과한 것을 조건으로서 "잘 먹었습니다"의 음성이 대응해 붙여질 수 있다.

또한, 커피를 마시는 동안, 화상 표시장치 1은, 캐릭터가 커피를 마시는 동영상을 표시하거나 "맛있네" 등의 음성을 출력하거나 하도록 할 수 있다. 이러한 캐릭터 화상, 연출용 화상 및 음성을 출력하는 것으로, 유저가 캐릭터와 함께 커피를 마시는 감각을 기억할 수 있다.

도 14g에서 나타낸 것처럼, 유저의 통신 단말을 조작해, 화상 표시장치 1의 캐릭터에 "음식(도 14g로는, 도너츠)"를 송신한다. 그렇다면, 화상 표시장치 1에 있어서, 도 14h에서 나타낸 것처럼, 연출용 화상으로서 음식이 표시된다. 또한, 연출용 화상에는, 예를 들면, "고마워요"라고 하는 문자가 말풍선에 포함되어 있을 수 있다. 이 경우, 화상 데이터 751에 있어서, 음식을 송신하는 송신 신호에는, 도 14h에 나타내는 캐릭터 화상 및 연출용 화상이 대응해 붙여질 수 있다.

또한, 화상 표시장치 1에 있어서, "고마워요"라고 하는 음성이 출력된다. 이 경우, 음성 데이터 752에 있어서, 음식을 송신하는 송신 신호에는, "고마워요"라고 하는 음성이 출력된다.

그리고, 소정 시간(예를 들면, 10분)이 경과하면, 도 14i에서 나타낸 것처럼, 화상 표시장치 1에는, "맛있었어요"라고 하는 문자를 말풍선에 포함하는 연출용 화상이 표시될 수도 있다. 동시에, 화상 표시장치 1은, "맛있었어요"라고 하는 음성이 출력된다. 이 경우, 화상 데이터 751에 있어서, 음식을 송신하는 송신 신호를 수신한 후 소정 시간이 경과한 것을 조건으로서 "맛있었다"를 포함하는 연출용 화상이 대응해 붙여질 수 있다. 또한, 음성 데이터 752에 있어서, 음식을 송신하는 송신 신호를 수신한 후 소정 시간이 경과한 것을 조건으로서 "맛있었다"의 음성이 대응해 붙여질 수 있다.

여기서, 연출용 화상은, 유저의 통신 단말로부터 화상 표시장치 1에 물질이 날려져 온 것처럼 연출시킬 수도 있다. 이 때, 예를 들면, 전송시에는, 황색 등의 빛으로 빛나고 있어 캐릭터 화상이 이 물질을 가졌을 경우에, 그 빛이 사라지도록 연출할 수도 있다.

또한, 통신 단말로부터 화상 표시장치 1에 물질을 전송 하는 것 외에, 화상 표시장치 1으로부터 유저 단말에 물질을 전송 하도록 연출할 수 있다. 예를 들면, 화상 표시장치 1이 커피 메이커를 조작했을 때에, 캐릭터로부터 통신 단말에 커피 컵을 전송 하도록 연출시킬 수 있다.

도 15a에서 나타낸 것처럼 유저의 통신 단말로 표시되는 복수 종류의 의류나 액세서리 중에서, 도 15b에서 나타낸 것처럼, 어느 것을 선택하고, 선택한 의류 등을 송신하는 조작을 가능하게 할 수 있다. 그렇다면, 화상 표시장치 1에 있어서, 도 15c 에서 나타낸 것처럼, 송신한 의류를 몸에 입은 캐릭터의 캐릭터 화상이 표시된다. 또한, 연출용 화상에는, 예를 들면, "고마워요"라고 하는 문자가 말풍선에 포함되어 있을 수 있다. 또한, 화상 표시장치 1에 있어서, "고마워요"라고 하는 음성이 출력된다.

이 경우, 화상 데이터 751에 있어서, 해당 송신 신호에는, 도 15c 에 나타내는 캐릭터 화상 및 연출용 화상을 연관할 수 있다. 또한, 음성 데이터 752에 있어서, 해당 송신 신호에는, "고마워요"라고 하는 음성을 연관할 수 있다.

이러한 캐릭터 화상, 연출용 화상 및 음성을 출력하는 것으로, 유저가 캐릭터에게 선물을 한 것 같은 감각을 기억할 수 있다. 또한, 유저는, 캐릭터에 선호하는 옷을 입힐 수 있다. 따라서, 유저는 캐릭터를 보다 가까이에서 느낄 수 있다.

그 외에, 유저가 칫솔의 데이터를 송신하면, 화상 표시장치 1은, 캐릭터가 양치질을 하는 모습의 화상을 표시하고, 유저는 캐릭터와 함께 양치질 할 수 있도록 할 수 있다. 또한, 유저가 줄넘기나 덤벨의 데이터를 송신하면, 화상 표시장치 1은, 운동을 하는 모습의 화상을 표시하고, 유저는 캐릭터와 함께 운동할 수 있도록 할 수 있다.

덧붙여 기억장치 75에 있어서, 캐릭터의 기호에 관한 기호 데이터나 과거에 송신한 아이템이나 선물에 관한 이력 데이터를 기억하고 있을 수 있다. 이 경우, 도 14a 내지 도 15c에서 상술한 것 같은 아이템이나 선물을 송신하면, 그 기호나 이력에 의해, 캐릭터의 반응이 다르도록 할 수 있다. 예를 들면, 캐릭터가 좋아하는 아이템을 송신했을 경우, 캐릭터의 기쁨이 큰 화상과 음성으로 표현된다. 이것에 비해, 캐릭터가 특별히 좋아하지 않는 아이템을 송신했을 경우에는, 캐릭터의 기쁨이 작은 화상과 음성으로 표현된다. 또한, 같은 아이템을 계속 송신했을 경우, 기쁨 방향이 작아지도록 할 수 있다. 또한, 음식을 송신하는 빈도가 많아지면, "살쪄버려요-" 등과 화상과 음성으로 표현되도록 할 수 있다. 이와 같이, 캐릭터의 반응이 항상 동일하지 않기 때문에, 유저는, 캐릭터에 의해 친밀감을 가질 수 있다.

또한, 커뮤니케이션 모드에서는, 화상 표시장치 1은, 유저로 하는 대화의 화제를 선택함에 있어서, 취득 처리부 711이 취득하는 환경 신호 이외에, 소정의 확률(미리 정해진 확률로, 과거의 커뮤니케이션에 관련하는 대화를 실시할지 여부를 판정하기 위한 확률. 이러한 확률은, 적당히, 변동하는 것으로 할 수 있음)로, 과거에 있어서 한 대화의 내용 및 후술 하는 채팅 모드에 대해 화상 표시장치 1이 유저의 통신 단말과의 사이에서 실시한 채팅의 내용에 따른 화제에 근거하는 랜덤 대화를 실행한다.

구체적으로는, 제어부 71은, 사람 감지 센서 702가 사람(유저)을 검출하고 있을 때, 랜덤인 타이밍에서, 난수를 생성하는 프로그램에 따라서 생성한 랜덤인 수치(예를 들면, 0~100의 수치)가, 소정의 역치를 넘는지 여부를 판정하고, 이러한 역치를 넘었을 경우에, 제어부 71가, 대화 이력 데이터 755와, 채팅 이력 데이터 256을 기억장치 75로부터 읽어낸다. 그리고, 대화 이력 데이터 755의 대화 내용 정보 903과, 채팅 이력 데이터 256의 채팅 내용 정보 1003에 포함되는 대화의 내용으로부터 키워드를 선택하고, 그 키워드에 따른 화상 데이터 751 및 음성 데이터 752로부터 읽어내고, 키워드와 일치하는 태그를 가지는 화상 데이터와 음성 데이터를 특정하여, 표시 처리부 713이 특정한 화상 데이터를 프로젝터 4로부터 출력하는 것과 동시에, 음성 출력부 714가 특정한 음성 데이터를 스피커 705로부터 출력한다. 랜덤인 대화에 있어서, 화상 표시장치 1이 과거에 실행한 대화의 화제와 관련되는 대화를 실시하므로, 유저는, 화상 표시장치 1에 표시되는 캐릭터에 의한 친근감을 기억한다. 또한, 유저가 자신의 통신 단말으로 한 채팅의 내용에 관한 화제에 근거하는 대화도 실시하므로, 유저는, 보다 한층 더, 캐릭터에 친근감을 기억하여 가까이에서 느낄 수 있다. 또한, 유저가 한 대화에 대해서 음성인식 처리를 실시하는 것으로, 화상 표시장치 1은, 대화의 텍스트 데이터를 얻고, 대화 이력 데이터 755에 대화의 내용을 추가하여, 이후의 대화 및 채팅에 이용할 수 있다. 예를 들면, 채팅에서 유저가 한 "야구 시합을 보고 있어요"라고 하는 채팅 내용을 받고, 캐릭터가 "오늘, 텔레비전에서 야구 중계해요 "라고 하는 발언을 시키는 것으로, 유저에게 캐릭터와의 채팅의 내용을 생각나게 할 수 있는 것과 동시에, 캐릭터가 그것을 기억해 주고 있었던 것에, 유저가 친근감을 느낄 수 있다. 또한, 화상 표시장치 1은, 음성인식 한 결과로부터, 출력 조건에 대응하는 음성을 출력하거나 랜덤 대화의 대응하는 대화의 음성을 출력하거나 할 수 있다.

이하, 이러한 커뮤니케이션 모드를 실현하는 화상 표시장치 1의 범용 동작을 설명한다.

도 16에서 나타낸 것처럼, 취득 처리부 711은, 각종의 환경 신호를 취득한다(S161). 취득 처리부 711이 취득한 각종의 환경 신호는, 해석부 712에 전달되어 해석부 712는 전달된 환경 신호를 해석한다(S162). 해석 결과 및 화상 데이터 751, 음성 데이터 752, 신호 데이터 753 등을 참조하여, 제어부 71은, 캐릭터가 실행해야 할 캐릭터 동작이 규정된 조건이 어느 것에 합치하는지를 판정한다(S163). 판정의 결과, 실행해야 할 캐릭터 동작이 있었을 경우에는(S163: YES), 음성 출력부 714는, 대응하는 음성을 출력하는 것과 동시에, 표시 처리부 713은 대응하는 캐릭터 화상을 프로젝터 4로부터 투영 한다(S164). 해석의 결과, 실행해야 할 캐릭터가 동작이 없는 경우에는(S164: NO), 제어부 71은, 단계 S165의 처리로 이행한다.

단계 S165에 있어서, 제어부 71은, 예를 들면, 0~100의 랜덤치를 생성한다(S165). 덧붙여 랜덤치는 0~100의 범위로 한정되지 않는다. 제어부 71은, 생성한 랜덤치와 이것과 비교하기 위한 역치의 사이에서 대소를 비교한다. 랜덤치가 역치보다 큰 경우에(S166: YES) 단계 S167로 이행하고, 랜덤치가 역치 이하인 경우에(S166: NO)는, 처리를 종료한다.

단계 S167에 있어서, 제어부 71은, 대화 이력 데이터 755 및 채팅 이력 데이터 756을 읽어낸다. 읽어낸 대화 이력 데이터 755의 대화 내용 정보 903와 채팅 이력 데이터 756의 채팅 내용 정보 1003로부터 키워드를 추출한다. 이것은, 예를 들면, 구문 분석 등에 의해 실현될 수 있다. 그리고, 예를 들면, 최근 (예를 들면 1일)의 키워드의 등장 빈도가 높은 키워드를 선택한다. 해당 키워드의 선택은, 랜덤일 수 있고, 그 외의 기준으로 선택하는 것을 할 수 있다.

제어부 71은, 선택한 키워드 및 단계 S161에서 취득한 환경 신호에 합치하는 대화가 있는지 여부를, 랜덤 대화 데이터 757을 참조하여 특정한다(S168). 그리고, 음성 출력부 714는, 특정한 대화의 음성을 스피커 705로부터 출력한다. 또한, 이 때, 표시 처리부 713은, 대응하는 캐릭터 화상이 있으면, 그것을 투영 해(S169), 처리를 끝낸다. 예를 들면, 캐릭터가 하는 대화의 내용이 "야구"에 관한 내용이면, 캐릭터가 야구의 유니폼을 입고 있는 화상을 표시하거나 볼이나 배트 등의 아이템을 갖도록 한 화상을 표시하거나 한다.

도 16의 처리는, 커뮤니케이션 모드에 대해 반복 실행된다. 이와 같이, 랜덤인 대화에 있어서, 캐릭터는, 유저와 과거에 주고 받은 대화 내용이나, 실행한 채팅의 내용에 근거한 대화를 실시하므로, 유저는 캐릭터와의 사이의 역사의 축적을 느끼고, 보다 캐릭터를 가까이에서 느낄 수 있다.

(b) 라이프 모드

라이프 모드는, 캐릭터 화상이 표시되며, 이러한 캐릭터 화상이 환경 신호에 의존하지 않고, 예를 들면, 시각에 따라 변화하는 상태이다. 예를 들면, 화상 표시장치 1에서는, 아침이면, 아침 밥을 만들거나 아침 밥을 먹거나 청소를 하거나 하는 화상이 표시된다. 낮이면, 점심을 만들거나 점심을 먹거나 다리미질을 하거나 하는 화상이 표시된다. 밤이면, 저녁 밥을 만들거나 저녁 밥을 먹거나 스트레칭을 하거나 하는 화상이 표시된다.

그 외에, 캐릭터가 세탁을 하거나 청소를 하거나 양치질을 하거나 샤워를 하거나 하는 화상일 수도 있다. 또한, 단지, 캐릭터가, 의자에 앉아 발을 놀리는 화상이나, 의자에 앉아 스마트 폰 등의 통신 단말을 조작하는 화상, 의자에 앉아 그림을 그리는 화상 등을 표시할 수 있다. 그 외에, 캐릭터가 침대 위에서 만화를 읽는 화상, 침대 위에서 주위를 둘러 보는 화상, 침대 위에서 자고 있는 화상 등을 표시할 수 있다.

또한, 이러한 빈도나 확률을 관리하는 것이 가능하고, 일자에 따라, 다른 동작을 하는 화상을 표시하도록 하는 것도 가능하고, 또한, 동작시간은, 완전하게 동일하지 않을 수 있고, 어느 범위 중에서 랜덤으로 선택된다. 이것에 의해, 또한, 유저가 흥미가 있는 행동에 대해서는, 긴 시간 표시되도록 할 수 있다. 예를 들면, 아침 밥을 만들고 있을 때 유저가 "귀엽네"라고 하는 것이 많은 경우, 아침 밥을 만드는 화상을 표시하는 시간을 길게 할 수 있다.

화상 표시장치 1은, 라이프 모드의 타이밍에서, 터치 버튼 26이 접촉될 있으면, 커뮤니케이션 모드로 이행한다. 또한, 라이프 모드에 있어서, 소정의 타이밍에서, 케어 모드나 어필 모드로 이행한다.

(c) 케어 모드

케어 모드는, 미리 등록된 유저의 스케줄에 따라 소정의 각 타이밍에서, 캐릭터 화상이나 연출용 화상을 표시하고, 타이밍에 따른 음성을 출력한다. 예를 들면, 화상 표시장치 1은, "안녕", "다녀오세요", "안녕", "잘자요" 등의 음성을 출력한다.

예를 들면, 유저는, 통신 단말 등을 이용하여, 사전에 도 17a 에 나타낸 등록 화면 W1를 개입시켜, 각 시각 입력 박스 b11~b14에 시각을 입력하고, 날마다의 행동의 "기상시간", "외출시간", "귀가 시간" 및 "취침시간"을 등록한다.

또한, 이러한 스케줄에서 변경이 생겼을 경우, 재차 이러한 등록 화면 W1를 이용하여 갱신할 수도 있지만, 하루만 예정을 변경하고 싶은 경우, 후술 하는 채팅 모드에 의해, 도 17b에서 나타내는 채팅 화면 W2를 이용하여 변경할 수도 있다. 채팅 화면 W2는, 송신하는 메시지를 입력하는 입력부 b21와 입력한 메시지를 송신하는 송신부 b22와, 메시지예가 표시되는 메시지 표시부 b23와, 송신된 메시지가 표시되는 메시지 표시부 b24를 가진다.

도 18의 차트에서 나타낸 것처럼, 화상 표시장치 1은, "기상 모드"를 실행할 수 있다. 구체적으로는, 등록된 기상시간의 소정 시간전(예를 들면, "1시간전")에, "기상 모드"가 개시된다(S201).

이 상태에서, 해석부 712에 의해 유저의 얼굴이 검출되거나, 또는, 터치 버튼 26이 터치되면, 유저가 기상했다고 판정된다. 또한, 유저가 기상한 것을 조건으로, 표시 처리부 713에 의해 "안녕"의 인사를 하는 캐릭터 화상 및 연출용 화상이 표시되며, 음성 출력부 714에 의해 "안녕"의 인사가 출력된다(S202).

그 외에, 유저의 행동에 따른 말이 출력될 수도 있다. 유저가 등록되는 기상시간보다 빨리 눈을 떴을 경우, "척척 잘 일어 났군요"의 음성을 출력할 수 있다. 유저가 전날에 지각했을 경우, "오늘은 지각하지 말아줘요"의 음성을 출력할 수 있다. 커텐이 닫히고 있는 것이 검출되었을 경우, "커텐 열어요"의 음성을 출력할 수 있다. 유저의 전날의 취침시간이 늦고, 오늘의 기상시간이 늦은 경우, "어제 늦게까지 안자고 있어서네요"의 음성을 출력할 수 있다.

유저의 기상이 판정되면, 송신 처리부 715는 조작 신호를 송신하고, 소정의 가전을 조작한다(S203). 예를 들면, 기상 후에 기동하는 가전으로서 커피 메이커가 세트 되어 있는 경우, 커피 메이커가 기동된다.

또한, 유저의 기상이 판정되면, 아침의 정보 통지의 화상이나 음성을 출력한다(S204). 예를 들면, "일자", "날씨", "기온" 등을 통지하는 화상이나 음성을 출력한다.

가전의 조작이나 아침의 정보 통지에 관한 화상이나 음성의 출력에 대해서 유저가 발한 음성이 검출되면, 이것에 대한 캐릭터의 인사의 음성이 출력된다(S205). 예를 들면, 유저가 발한 "고마워요"가 검출되면, 캐릭터의 음성으로서 "천만에요" 등의 음성이 출력된다. 그 후, 소정 시간이 경과하면, 라이프 모드로 이행한다(S213).

또한, 미소환 상태의 경우에, 기상시간의 소정 시간전(예를 들면, 30초전)까지, 해석부 712에 의해 유저의 얼굴이 검출되지 않거나, 또는, 터치 버튼 26이 터치되어 있지 않을 때, 소환 상태가 된다(S206).

미소환 상태로부터 소환 상태가 되면, 송신 처리부 715는, 조작 신호를 송신하고, 미리 등록되는 가전을 조작한다(S207).

또한, 기상시각까지 해석부 712에 의해서 유저의 얼굴 검출이 되지 않을 때, 표시 처리부 713은 유저를 깨우는 화상을 표시하고, 음성 출력부 714가 유저를 깨우는 음성을 출력하여, 자명종 기능을 개시한다(S208). 예를 들면, 유저를 깨우는 음성으로서는, 캐릭터의 "아침이에요" 등의 음성이다.

해석부 712에 의해 유저의 얼굴이 검출되었을 경우, 또는, 터치 버튼 26이 터치되었을 경우, 단계 S202로 이행한다. 한편, 유저의 얼굴도 검출되지 않고, 터치 버튼 26의 터치도 되지 않을 때, 스누즈 기능으로서 유저를 깨우는 화상과 음성의 출력을 계속한다(S209). 예를 들면, 유저를 깨우는 음성은, 서서히 크게 할 수 있다. 또한, 화상 표시장치 1으로부터 출력되는 빛의 광량을 올릴 수도 있다.

해석부 712에 의해 유저의 얼굴이 검출되었을 경우, 또는, 터치 버튼 26이 터치되었을 경우, 단계 S202로 이행한다. 한편, 유저의 얼굴도 검출되지 않고, 터치 버튼 26의 터치도 되지 않을 때, 송신 처리부 715가 조작 신호를 송신하고, 미리 등록되는 가전을 조작한다(S210).

또한, 유저를 깨우는 화상과 음성을 최종 수단의 화상 및 음성으로 한다(S211). 예를 들면, 표시 처리부 713은, 캐릭터가 프라이팬을 치는 화상을 표시한다. 또한, 예를 들면, 음성 출력부 714는, 캐릭터가 "일어나지 않으면 늦어요-"라고 하면서 프라이팬이 부딪히는 소리를 포함하는 음성을 출력한다.

그 후, 해석부 712에 의해 유저의 얼굴이 검출되었을 경우, 또는, 터치 버튼 26이 터치되었을 경우, 단계 S202로 이행한다. 한편, 해석부 712에 의해 얼굴 검출이 되지 않고, 터치 버튼 26의 검출도 없을 때, 화상 표시장치 1은, 유저 상태를 불명으로 하고(S212), 라이프 모드로 이행한다(S213).

도 19의 차트에서 나타낸 것처럼, 화상 표시장치 1은, "외출 모드"를 실행할 수 있다. 구체적으로는, 등록된 외출시간의 소정 시간전(예를 들면, "5분전")에, "외출 모드"가 개시되어 미소환 상태(S301)로부터 소환 상태로 이행한다(S302).

또한, 출발 시각이 되면, 경보의 화상 및 음성이 출력된다(S303). 예를 들면, 경보는, 유저를 서두르게 하는 캐릭터의 화상과 캐릭터의 "출발이에요"의 음성 등이다.

또한, 송신 처리부 715는 조작 신호를 송신하고, 소정의 가전을 조작한다(S303).

또한, 표시 처리부 713은, 외출 체크의 화상을 표시하고, 음성 출력부 714는, 외출 체크의 음성을 출력한다(S304). 예를 들면, 예정의 확인, 분실물의 확인, 강수 확률이 높은 경우에 우산을 가지도록 재촉하는 확인 등을 통지하는 화상이나 음성을 출력한다.

또한, 출발 시각이 되면, 표시 처리부 713은, 출발을 서두르게 하는 화상을 출력하고, 음성 출력부 714는, 출발을 서두르게 하는 음성을 출력한다(S305). 예를 들면, 캐릭터가 분주하게 움직이는 동영상과 캐릭터의 "이제 출발 시간! 지각이에요" 등의 음성이다.

해석부 712가 유저의 "다녀 오겠습니다"의 음성을 검출했을 때, 표시 처리부 713은, 이것에 따른 화상을 표시하고, 음성 출력부 714는, 이것에 따른 음성을 출력한다(S306). 예를 들면, 표시 처리부 713은, 유저에게 손을 흔드는 캐릭터 화상을 표시한다. 또한, 음성 출력부 714는, "다녀오세요" 등의 음성을 출력한다. 또한, 출력하는 음성은, 등록되는 유저의 스케줄이나 유저의 행동 이력 등에 따라 변경할 수 있다.

그 후, 송신 처리부 715는 조작 신호를 송신하고, 소정의 가전을 조작한다(S307).

단계 S305에서 출발 시각을 통지한 후, 또는, 단계 S307에서 가전을 조작한 후, 라이프 모드로 이행한다(S308, S309). 또한, 소정 시간(예를 들면, 10분) 경과후, 사람 감지 센서 702에 의해서 사람이 검출되지 않는 경우, 슬립 상태로 이행한다(S310).

도 20에서 나타낸 것처럼, 화상 표시장치 1은, 환경 신호에 따라 "외출·귀가 판정"이 가능하고, 이것에 따라 "귀가 모드"를 실행할 수 있다. 구체적으로는, 도 15를 이용하여 상술한 "외출 모드"에 대해 외출이 판정된 후, 화상 표시장치 1이 슬립 상태일 때(S41), 유저의 통신 단말로부터 귀가 예정의 메시지를 수신하면, 귀가 준비로서 소환 상태로 이행한다(S42).

그 후, 송신 처리부 715는 조작 신호를 송신하고, 소정의 가전을 조작한다(S43).

또한, 화상 표시장치 1은, 사람 감지 센서 702로 사람을 검출한 타이밍, 집의 조명의 전원이 온으로 된 타이밍, 도어가 열린 타이밍에서, 귀가를 했다고 예상하는 "귀가 예상"이라고 판정한다(S44). 여기서, 도어의 개폐는, 기압 센서(도시하지 않음)에 의한 기압의 변화의 검출이나, 소음 센서 613에 의한 소리의 검출에 의해서 판정할 수 있다. 또한, 귀가 예상이 판정되면, 음성 출력부 714는, "돌아온 것 같네요-" 등의 음성을 출력할 수 있다.

귀가 예상이 판정되면, 송신 처리부 715는 조작 신호를 송신하고, 소정의 가전을 조작한다(S45).

또한, 화상 표시장치 1은, 해석부 712에 의해 유저의 얼굴이 검출되었을 경우, 또는, 터치 버튼 26이 터치되었을 경우, "귀가"라고 판정된다. 또한, 유저가 귀가한 것을 조건으로, 표시 처리부 713은, 귀가의 인사를 하는 캐릭터 화상 및 연출 화상이 표시되어 음성 출력부 714에 의해 귀가의 인사의 음성이 출력된다(S46). 예를 들면, 귀가의 인사로서는, "어서 오세요"에 한정되지 않고, "오늘도 늦었다니까-", "오늘은 빨리 왔군요", "오늘은 늦었군요", "수고하셨습니다" 등, 날마다의 유저의 행동 이력 등에 기반하여 결정되는 음성을 포함할 수 있다.

유저가 발한 음성이 검출되면, 이것에 대해서 캐릭터의 대답의 음성이 출력된다(S47). 예를 들면, 캐릭터는, 그 날로 한 것으로서 "어제 도너츠를 먹었기 때문에, 오늘은 운동했어" 등의 음성을 출력할 수 있다. 또한, 집에서 일어난 것을 알려줄 수도 있다. 예를 들면, 현관의 차임이 여러 차례 울린 경우, "오늘은 누군가가 왔었어요" 등의 음성을 출력할 수 있다.

한편, 귀가 예상을 판정 후, 소정 시간(예를 들면 30초간), 귀가를 판정할 수 없을 때, 귀가 확인을 한다(S48). 예를 들면, 귀가 확인이란, 음성 출력부 714에 의해서, "돌아왔어요? 얼굴 보여줘요" 등의 음성을 출력한다. 또한, 표시 처리부 713에 의해, 등진 것 같은 캐릭터 화상이나 화난 것 같은 캐릭터 화상과, 연출용 화상을 표시한다.

단계 S47에서 유저의 인사에 대해서 대답한 후, 또는, 단계 S48에서 귀가 확인을 한 후, 라이프 모드로 이행한다(S49).

(d) 어필 모드

어필 모드는, 시각이나 센서 등으로 검출되는 신호 등에 따라 각 조건에 따른 캐릭터 화상이나 연출 화상을 표시하고, 각 조건에 따른 음성을 출력한다. 예를 들면, 화상 표시장치 1은, 시각에 따라, "벌써 8시에요" 등의 음성을 출력할 수 있다. 또한, 화상 표시장치 1은, 온도에 따라, "왠지 덥네요" 등의 음성을 출력할 수 있다. 이것에 의해, 유저는 생각하지 않는 타이밍에 캐릭터로부터 말을 건네 받을 수 있기 때문에, 캐릭터를 보다 가까이에서 느낄 수 있다.

(e) 채팅 모드

채팅 모드는, 유저가 외출 중 등, 화상 표시장치 1에서 멀어진 장소에 있는 경우, 유저가 보관 유지하는 통신 단말과의 사이에서 메시지의 송수신을 실현한다. 유저가 보관 유지하는 통신 단말이란, 예를 들면, 스마트 폰이나 휴대 전화기 등의 휴대 통신 단말이다.

채팅 모드에 있어서의 기본적인 알고리즘은, 유저와의 대화와 같이 실시할 수 있다. 다만, 유저로부터의 음성 입력에 대신하여, 채팅상의 문자열 입력으로서 화상 표시장치 1은, 채팅을 실시한다.

도 21은, 채팅 모드에서 화상 표시장치 1의 동작을 나타내는 플로차트이며, 채팅 모드에서 동작 중인 플로차트이다. 덧붙여 채팅 모드를 실행하는 경우, 유저는, 자신의 통신 단말로 화상 표시장치 1과의 채팅을 수행하기 위한 채팅 어플리케이션을 실행한다. 그러면, 유저의 통신 단말로부터 채팅 어플리케이션의 기동 신호가 네트워크를 개입시켜 화상 표시장치 1에 송신된다. 그러면, 화상 표시장치 1의 제어부 71은, 채팅 모드를 기동하여, 유저의 통신 단말과의 사이의 채팅을, 채팅 서버를 개입시켜 개시한다. 덧붙여 화상 표시장치 1은, 사람 감지 센서를 이용하여 유저가 주위에 없는 것을 검출하고, 소정의 조건의 아래에서, 화상 표시장치 1측으로부터 채팅 모드를 기동하고, 유저의 통신 단말에 채팅 어플리케이션의 기동 신호를 송신하여 채팅을 개시하는 것을 할 수 있다. 해당 채팅 서버는, 화상 표시장치 1을 위한 전용 서버일 수 있고, 범용의 채팅 서버일 수도 있다.

도 21에서 나타낸 것처럼, 우선, 취득 처리부 711은, 각종의 환경 신호를 취득한다(S501). 이 환경 신호는, 채팅상에서 유저가 입력한 최신의 발언을 포함할 수 있다. 취득 처리부 711이 취득한 각종의 환경 신호는, 해석부 712에 전달되어 해석부 712는 전달된 환경 신호를 해석한다(S502). 해석부 712는, 유저의 채팅상의 발언 내용의 문자열에 대해서 구문 분석을 실시하여, 발언 내용을 인식한다. 또한, 해석부 712는, 그 외의 환경 신호, 예를 들면, 날씨 정보 등에서 상황을 판단한다. 제어부 71은, 해석 결과 및 음성 데이터 752, 신호 데이터 753 등을 참조하여, 캐릭터가 실행해야 할 채팅상의 발언이 규정된 조건의 어느 쪽인가에 합치하는지를 판정한다(S503). 덧붙여 음성 데이터 752는, 음성을 규정하는 정보이지만, 대화라고 하는 개념에 있어서는 채팅과 공통되는 것이므로, 채팅에 대해서도 이용할 수 있다. 판정의 결과, 발언해야 할 내용이 있었을 경우에는(S503: YES), 송신 처리부 715는, 특정한 발언 내용의 메시지를 채팅 어플리케이션을 개입시켜, 유저의 통신 단말에 송신한다(S504). 해석의 결과, 실행해야 할 캐릭터 발언이 없는 경우에는(S504: NO), 제어부 71은, 단계 S505의 처리로 이행한다.

단계 S505에 있어서, 제어부 71은, 예를 들면, 0~100의 랜덤치를 생성한다(S505). 덧붙여 랜덤치는 0~100의 범위로 한정되지 않는다. 제어부 71은, 생성한 랜덤치와 이것과 비교하기 위한 역치와의 사이의 대소를 비교한다. 랜덤치가 역치보다 큰 경우에(S506: YES) 단계 S507로 이행하고, 랜덤치가 역치 이하인 경우에(S506: NO), 처리를 종료한다.

단계 S507에 있어서, 제어부 71은, 대화 이력 데이터 755 및 채팅 이력 데이터 756을 읽어낸다. 읽어낸 대화 이력 데이터 755의 대화 내용 정보 903와, 채팅 이력 데이터 756의 채팅 내용 정보 1003로부터 키워드를 추출한다(S507). 이것은, 예를 들면, 구문 분석 등에 의해 실현될 수 있다. 그리고, 예를 들면, 최근(예를 들면 1일)의 키워드의 등장 빈도가 높은 키워드를 선택한다. 해당 키워드의 선택은, 랜덤일 수 있고, 그 외의 기준으로 선택하는 것으로 할 수도 있다.

제어부 71은, 선택한 키워드 및 단계 S501에서 취득한 환경 신호에 합치하는 대화가 있는지 여부를, 랜덤 대화 데이터 757을 참조하여 특정한다(S508). 그리고, 송신 처리부 715는, 특정한 발언의 내용을 나타내는 메시지를, 채팅 어플리케이션을 개입시켜 유저의 통신 단말에 송신한다(S509). 또한, 이 때, 송신 처리부 715는, 대응하는 캐릭터 화상이 있으면, 그 화상을 채팅상에서 표시하기 위한 화상 데이터를 채팅 어플리케이션을 개입시켜 송신하고, 처리를 끝낸다. 예를 들면, 캐릭터가 하는 대화의 내용이 "야구"에 관한 내용이면, 캐릭터가 야구의 유니폼을 입은 화상을 송신하거나 볼이나 배트 등의 아이템을 갖도록 한 화상을 송신한다.

도 21의 처리는, 채팅 모드에 대해 반복 실행된다. 이와 같이, 채팅에 있어서의 랜덤인 대화에 있어서, 캐릭터는, 유저와 과거에 주고 받은 대화 내용이나, 실행한 채팅의 내용에 근거한 발언을 실시하므로, 유저는 캐릭터와의 사이의 역사의 축적을 느끼고, 보다 캐릭터를 가까이에서 느낄 수 있다. 그리고, 화상 표시장치 1은, 도 16의 처리와 도 21의 처리에 의해, 대화의 내용과 채팅의 내용이 서로 연동하는 구성을 실현할 수 있다. 덧붙여 채팅의 내용이 이후의 대화의 내용에 반영되어 대화의 내용이 이후의 채팅의 내용에도 반영되도록 구성되어 있으면, 화상 표시장치 1은, 본 실시의 형태에서 나타낸 알고리즘 이외의 알고리즘에 따라 동작하여, 동일한 구성을 실현할 수 있는 말할 필요도 없다.

상술한 구성에 의해, 예를 들면, 도 22a에서 나타내는 채팅을 실시할 수 있다. 도 22a는, 유저의 통신 단말에 있어서의 채팅 화면의 표의예를 나타내고 있다. 채팅 화면 W3에는, 유저와 캐릭터와의 발언 내용이 표시된다. 유저는, 통신 단말의 터치 패널(도시하지 않음)을 이용하여, 입력부 b21에 메시지를 입력하고, 송신부 b22를 터치하여 메시지를 송신한다.

또한, 이 채팅에 대해서는, 도 22b의 채팅 화면 W4에서 나타낸 것처럼, 통상의 채팅과는 리라, 캐릭터로부터, 질문이 던져질 수도 있고, 그에 대한 회답으로서의 선택사항 b220를 표시할 수도 있다. 이것은, 화상 표시장치 1과의 사이에 전용의 채팅 어플리케이션을 유저의 통신 단말에 인스톨 하는 것으로 실현될 수 있다. 또한, 이 경우, 채팅 서버는, 이러한 제어를 실현하기 위한 화상 표시장치 1으로부터의 커맨드를 유저의 통신 단말에 중계하는 기능을 가진다. 이 커맨드에는, 유저가 선택한 회답의 커맨드도 포함된다. 이러한 구성으로 하는 것으로, 유저에게 캐릭터와의 게임을 하고 있는 감각을 줄 수도 있다. 따라서, 유저는, 캐릭터와 게임 감각으로 채팅을 즐길 수 있다.

덧붙여 본 실시의 형태에 있어서는, 대화 이력 데이터 755 및 채팅 이력 데이터 756을 이용한 대화나 채팅은 랜덤으로 실행하는 것으로 하고 있지만, 이것으로 한정되지 않고, 미리 정해진 조건이 만족된 경우에는, 반드시 실행하도록 할 수 있는 것은 말할 필요도 없다.

<음성에 관한 동작>

예를 들면, 유저가 마이크 704로 향해 캐릭터의 이름을 부르면, 화상 표시장치 1은, 그 이름에 대응하는 캐릭터의 화상을 표시시킬 수 있다. 또한, 유저가, 표시된 캐릭터에 특정의 화제에 대해 말을 건네면, 화상 표시장치 1은, 유저에 대해서 응답한 음성을 출력할 수 있다.

이 때문에, 유저는, 좋아하는 때에, 좋아하는 캐릭터를 호출할 수 있고, 이러한 캐릭터 등을 보다 입체적으로 보이는 것이 가능한 투명한 케이스 2안에 표시시킬 수 있다. 또한, 유저가 캐릭터 등을 향해 말을 건네면, 마치 그 캐릭터 등이, 유저의 말을 건넴에 따른 행동을 하도록 동작시킬 수 있다. 이 때문에, 같은 공간에 있는 캐릭터 등과 함께 생활을 하고 있는 것 같은 감각을 유저에게 줄 수 있다.

또한, 음성 입력에 따라 조명의 점등/소등을 제어할 수도 있다. 예를 들면, "전기 꺼"나 "잘자요"의 음성이 마이크 704로부터 입력되면, 제어부 71은, 미리 이 문자열에 붙어 기억장치 75에 기억되고 있는 조명의 소등에 관한 리모콘 정보를 기억장치 75로부터 꺼내어, 대응하는 적외선 정보를 적외선 LED 703로부터 발신시킨다. 이것에 의해, 실내의 조명을 소등할 수 있다. 또한, 동일하게 "어서 오세요"나 "안녕"에 따라 조명을 점등할 수도 있다. 덧붙여 여기서 이용하는 신호는, 적외선 정보 이외의 것을 이용할 수 있다.

또한, 이러한 음성 입력과 사람 감지 센서 702에 의한 사람의 검지를 조합한 제어 동작도 가능하다. 예를 들면, 유저가 말을 거는 것에 의해 "다녀올게요"의 음성을 마이크 704로부터 입력하면, 제어부 71은, 이러한 음성에 의해 얻을 수 있는 문자열에 대응하는 감시 모드로 이행한다. 덧붙여 캐릭터 등에 의한 "다녀오세요"에 대응하여 감시 모드로 이행할 수도 있다.

감시 모드는, 유저가 실내에 존재하지 않는 상태에 있어서의 모드이다. 이 때문에, 감시 모드는, 유저가 말을 거는 것에 의한 "다녀 왔습니다"의 음성을 입력하여, 이 음성에 의해 얻어지는 문자열을 검출하면 해제할 수 있다. 덧붙여 캐릭터 등에 의한 "어서 오세요"에 대응하여 감시 모드를 해제할 수도 있다.

감시 모드중에, 예를 들면, 사람 감지 센서 702에 의해 사람이 검지되면, 제어부 71은, 이것을 이상이라고 판단하여, 이것을 알릴 수 있다. 구체적으로는, 소정의 경보음이나 경고 메시지를 스피커 705로부터 출력하거나 통신부 76을 개입시켜 미리 등록한 수신지에 소정의 메시지를 송신할 수 있다. 또한, 이 때, 제어부 71은, 카메라 722에 실내를 촬영시키고, 기억장치 75에 화상을 기억하거나 통신부 76을 개입시켜 미리 등록한 수신지에 화상을 송신할 수도 있다.

덧붙여 감시 모드중에 사람 감지 센서 702에 의해 사람이 검지된 후, 곧바로 이상이라고 판단하여 알림을 실시할 수도 있고, 또한, 일정시간내에 감시 모드의 해제가 없는 경우에 이상이라고 판단하고 알림을 실시할 수도 있다.

<적외선 LED 에 관한 제어 동작>

적외선 LED 703를 이용한 제어 동작으로서 이하의 동작을 실시할 수 있다. 구체적으로는, 제어부 71은, 타이머 프로그램에 의해서 미리 세트 된 기상시각이 되면, 그 때 각 정보에 붙여져 있는 행동 정보에 기반하여, 대응하는 기기의 동작을 제어한다.

예를 들면, 기상시(7:00)에 "조명 점등", 취침시(23:00)에 "조명 소등"이라는 타이머 프로그램을 등록한 경우, 제어부 71은, 7:00이 되면, "조명 점등"의 리모콘 정보를 기억장치 75로부터 꺼내어, 대응하는 적외선 정보를 적외선 LED 703로부터 발신시키고, 23:00이 되면, "조명 소등"의 리모콘 정보를 기억장치 75로부터 꺼내, 대응하는 적외선 정보를 적외선 LED 703로부터 발신시킨다. 이와 같이 하면, 소정의 일시에 소정의 기기를 자동적으로 동작시킬 수 있다.

이 외에, 온습도 센서 611에 의해 검지되는 온습도에 따라 에어컨 등의 온/오프 제어를 실시하거나 시간대에 따라 텔레비전의 온/오프 제어를 실시할 수도 있다.

<센서에 관한 제어 동작>

광 센서 721을 이용하여 예를 들면, 낮인 것에도 불구하고, 커텐이 열려 있지 않은 것을 검지하고, 유저에게 커텐을 열도록 재촉할 수 있다.

구체적으로는, 일출의 시각을 캘린더 정보로서 기억장치 75에 기억해 두고, 그 시각을 지나도, 광 센서 721으로부터 입력되는 조도가 소정의 조도에 못미치는 경우, 제어부 71은, 미리 기억장치 75에 기억하고 있는 음성 데이터("커텐 열어요")를, 스피커 705로부터 출력시킨다.

<소음 센서에 관한 제어 동작>

소음 센서 613을 이용하여 예를 들면, 텔레비전이 장시간 켜져 있을 뿐인 것을 유저에게 주의할 수 있다. 구체적으로는, 제어부 71은, 소음 센서 613에 의해 입력된 소리의 음량, 주파수 등에 기반하여, 텔레비전이 켜졌다고 판단하면, 그 판단을 했을 때로부터 계시(計時)를 개시하여, 그 상태의 시간이 소정 시간을 초과했을 경우에, 미리 기억장치 75에 기억하고 있는 음성 데이터("텔레비전 꺼요")를 꺼내어, 스피커 705로부터 출력시킨다. 이것에 의해, 에너지 절약에 공헌하는 것과 동시에, 마치 아내로부터 주의 받고 있는 것 같은 감각을 유저에게 줄 수 있다.

<진동 센서에 관한 제어 동작>

진동 센서 612를 이용하여 지진의 검출이나 그 알림 동작을 실시할 수 있다.

예를 들면, 사람 감지 센서 702에 의해 사람이 있는 것이 검지되어 있지 않은 상태에 있어서, 진동 센서 612에 의해 소정의 크기의 흔들림을 검지했을 경우에는, 지진이 발생한 것이라고 판단하고, 제어부 71은, 소정의 경보음이나 경고 메시지를 스피커 705로부터 출력시키고, 또는, 통신부 76을 개입시켜 미리 등록한 수신지에 소정의 메시지를 송신할 수 있다.

한편, 사람 감지 센서 702에 의해 사람이 있는 것이 검지되고 있는 상태에 있어서, 진동 센서 612에 의해 소정의 크기의 흔들림을 검지했을 경우에는, 유저 등에 의한 인위적인 행위에 의하는 것이라고 판단하여, 알림을 실시하지 않는다. 덧붙여 이 경우, 예를 들면, 음성 메시지("흔들면 안되!")를 스피커 705로부터 출력시킬 수 있다. 이와 같이 하면, 지진과 생활 진동을 정밀도 좋게 구별하면서, 각각 대응한 동작을 실시할 수 있다.

<온습도 센서에 관한 제어 동작>

온습도 센서 611에 대응한 소정의 음성 출력 제어를 실시할 수 있다. 예를 들면, 온습도 센서 611에 의해 검출된 온도가 10도 미만의 경우, 제어부 71은, 소정의 타이밍에 "오늘은 춥네요"라는 음성을 스피커 705로부터 출력시킬 수 있다.

또한, 온습도 센서 611에 의해 검출된 습도가 40% 미만의 경우에는, 소정의 타이밍에 "건조해요! 감기 걸리지 않게"라는 음성을 스피커 705로부터 출력시킬 수 있다.

<화상에 관한 동작>

카메라 722로 촬영된 화상에 대응한 화상 표시 및 음성 출력 제어를 실시할 수 있다. 예를 들면, 카메라 722로 취득한 화상을 이용하여 페이스 트래킹이나 표정 검출을 실행하여 캐릭터의 화상을 변경할 수 있다.

구체적으로는, 유저가 이동하면, 캐릭터가 유저의 쪽을 보는 캐릭터 화상을 표시할 수 있다. 또한, 캐릭터가, 이따금 눈을 외면하여 또한, 유저의 쪽을 보는 캐릭터 화상을 표시할 수 있다. 또한, 유저가 웃으면, 웃음을 돌려주는 캐릭터 화상을 표시할 수 있다. 또한, 유저가 캐릭터와는 다른 방향을 보고 있던 후에 시선이 마주치면, 시선이 마주친 타이밍에 미소짓는 캐릭터 화상을 표시할 수 있다. 또한, 유저가 화상 표시장치 1에 등록을 마친 컵으로 음료를 마시고 있으면, "나도 마실래요"라고 하는 음성을 출력하고, 같은 컵으로 음료를 마시는 캐릭터 화상을 표시할 수 있다. 또한, 유저가 화상 표시장치 1에 등록을 마친 옷을 입고 있으면, "멋져요!"라고 하는 음성을 출력할 수 있다.

이 외에도 여러가지 입출력 제어가 가능하다.

예를 들면, 온습도나 날씨 정보의 입력 정보에 기반하여, "우산 가져가는게 좋을거에요"라는 음성을 출력시키거나 유저로부터의 "뭘 입고 갈까나"라는 음성 입력에 대해, 온습도, 날씨 정보, 캘린더 정보 등에 대응한 추천 양복을 표시시키거나 할 수 있다.

<호감도에 따른 동작>

화상 표시장치 1이 표시하는 캐릭터는, 캐릭터의 유저에 대한 호감도에 따라 동작을 다르게 할 수 있다. 예를 들면, 캐릭터의 설정 정보로서 미리, 좋아하는 말이나 색 등의 선호나, 선호의 동작, 받으면(당하면) 기쁜 것, 등의 캐릭터 정보를 설정하는 것과 동시에, 캐릭터의 유저에 대한 호감도를 설정해 둔다. 그리고, 캐릭터의 선호에 합치하는 대화나 채팅, 행동을 유저가 잡았을 경우에, 캐릭터의 호감도치를 올리고, 합치하지 않는 대화나 채팅, 행동을 유저가 잡았을 경우에는, 캐릭터의 호감도를 내리는 것을 할 수 있다.

그리고, 기억장치 75에 대해서는, 또한, 그 호감도치에 따른 캐릭터의 행동을 규정하는 정보를 기억해 둘 수 있다. 예를 들면, 유저가 캐릭터에 가까운 경우에 있어서, 캐릭터가 "너무 가까워요-"라고 발언할 때에, 호감도가 낮은 경우에는, 화낸 것 같은 음색의 음성을 출력하고, 호감도가 높은 경우에는, 수줍은 것 같은 음색의 음성을 출력하는 것을 할 수 있다. 따라서, 기억장치 75는, 호감도에 따른 동일한 내용의 대사의 음성을 복수 기억해 둘 수 있다. 이와 같이 하는 것으로, 화상 표시장치 1의 캐릭터에 의해 인간미를 갖게 할 수 있어 유저에 의해 친근감을 기억하게 할 수 있다.

또한, 화상 표시장치 1은, 이하와 같은 처리를 실현할 수 있다.

<기상(起床) 판정 시스템>

제어부 71은, 예를 들면, 캘린더 사이트에서 기억장치 75에 등록된 유저의 기상시각을 포함한 캘린더 정보와 데이터 관리부 716이 취득하는 시각을 이용하여, 자명종의 요청을 할 수 있다. 그 후, 예를 들면, 유저가 침대에서 일어나, 해석부 712로 검출하는 얼굴이 일정 이상의 크기가 되면 제어부 71은, 기상으로 판정하여, 유저가 기상 후의 처리를 실행한다. 예를 들면, 유저는, 자신의 통신 단말의 스케줄 정보를, 화상 표시장치 1에 송신하고, 화상 표시장치 1은, 수신한 스케줄 정보에서 나타나는 내용에 따라서, 동작하는 것을 할 수 있다. 예를 들면, 스케줄 정보로, "23일 6시 기상"이 있었을 경우에, 제어부 71은, 23일의 6시에, 캐릭터에 유저를 깨우는 동작을 시키는 것을 할 수 있다.

<외출 판정 시스템>

제어부 71은, 예를 들면, 해석부 712가 검출하는 유저의 "다녀오겠습니다 "의 음성에 더하여 취득 처리부 711이 취득하는 유저의 통신 단말의 위치 정보가, 집의 밖에 있는 경우, 유저가 외출했다고 판정할 수 있다. 또한, 예를 들면, 사람 감지 센서 702로 유저의 존재가 검출되지 않는 것에 더하여, 취득 처리부 711이 취득하는 유저의 통신 단말의 위치 정보가, 집의 밖에 있는 경우, 유저가 외출했다고 판정할 수 있다.

<귀가 판정 시스템>

제어부 71은, 예를 들면, 상술의 외출 판정에 대해 유저가 외출했다고 판정한 후에, 사람 감지 센서 702로 유저의 존재가 검출되었을 경우, 유저가 귀가했다고 판정할 수 있다. 해당 검출로는, 사람 감지 센서 702로 사람을 검출하는 것에 더하여 카메라 722로 촬상한 화상으로부터, 유저의 얼굴을 판정하는 것을 할 수 있다.

<잠듦 판정 시스템>

제어부 71은, 유저가 재택 중에, 예를 들면, 사람 감지 센서 702에 의해, 유저의 움직임이 1시간 검출되지 않고, 또한, 광 센서 721에 의해서 검출되는 조도가, 조명이 꺼지지 않은 정도의 밝기라고 해석부 712에서 해석되면, 유저가 잠들었다고 판정할 수 있다. 여기서 말하는, "잠듦"이란 유저가 텔레비전을 보거나 게임을 하거나 하는 등, 무엇인가의 작업중에, 조명을 끄는 일 없이 잠들어 버리는 것을 말한다. 화상 표시장치 1은, 유저가 잠들었다고 판정했을 경우이고, 방의 조명이 소등되어 있지 않은 경우에, 방의 조명을 소등하도록 조명을 제어하는 것을 할 수 있다.

<기상시각확인 시스템>

제어부 71은, 예를 들면, 내일 아침에 외출시간이, 평상시의 아침보다 빠른 경우, 평상시의 아침의 준비 시간을 확보하기 위해, 이튿날 아침의 자명종 시각을 빨리 하도록 제안할 수 있다. 구체적으로는, 다음날 자명종 시각과 다음날의 외출 예정 시각과의 시간차이가, 평균의 기상시각과 외출시각과의 시간차이로 구할 수 있는 외출 준비 시간보다 짧은 경우, 이튿날 아침의 자명종 시각을 보다 빨리 하도록 제안한다. 예를 들면, 제어부 71은, 음성 데이터 752로부터, "내일은 출발 시각이 빠른것 같은데, 자명종 시각 앞당길까?"의 음성을 선택하고, 출력한다. 또한, 제어부 71은, 유저는 "YES"의 대답이 있는 경우, 기억장치 75에 등록되는 자명종 시각을 변경한다.

또한, 예를 들면, 제어부 71은, 오늘 아침, 지각했을 경우, 이튿날 아침의 자명종 시각을 빨리 하도록 제안할 수 있다. 구체적으로는, 제어부 71은, 오늘 아침의 외출시각이, 외출 예정 시각보다 소정 시간(예를 들면, 10분) 늦었을 경우, 자명종 시간을 그 소정 시각에 앞당기도록 제안할 수 있다. 예를 들면, 제어부 71은, 음성 데이터 752로부터, "오늘 지각했지요! 내일은 10분 일찍 일어나 볼래?"의 음성을 선택하고, 출력한다. 또한, 제어부 71은, 유저는 "YES"의 대답이 있는 경우, 기억장치 75에 등록되는 자명종 시각을 변경한다.

<스쿼트 판정 기능>

제어부 71은, 예를 들면, 해석부 712가 얼굴 인식의 상하 운동을 검출하여, 스쿼트 하고 있는 회수를 세는 시스템을 갖출 수 있다. 또한, 제어부 71은, 팔굽혀펴기 뿐만이 아니고, 복근의 횟수나, 팔굽혀펴기의 회수를 세는 시스템에도 응용할 수도 있다. 이것에 의해, 표시 처리부 713은, 유저의 동작을 응원하는 캐릭터 화상이나 연출용 화상을 표시할 수 있다. 또한, 음성 출력부 714는, 캐릭터가 카운트 하는 음성이나 응원하는 음성을 출력할 수 있다.

<카메라 셀카 시스템>

제어부 71은, 예를 들면, 유저가, 캐릭터와 셀카 촬영할 수 있도록 할 수 있다. 이 때, 유저가 카메라 722로 촬상 가능한 범위로 이동하는 것으로, 카메라 722로 유저의 화상을 촬상하면, 제어부 71은, 촬상 화상에 캐릭터 화상을 합성한다. 또한, 제어부 71은, 캐릭터 화상이 합성된 촬영 화상을, 인터넷 등을 개입시켜 SNS(소셜 네트워킹 서비스) 등의 제공 서버에 업 로드할 수 있다.

<커피 브레이크 타임 시스템>

제어부 71은, 캐릭터가 유저에게 커피 브레이크를 제안하도록 할 수 있다. 예를 들면, 데이터 관리부 716이 관리하는 시각이 소정 시각의 경우에, 송신 처리부 715가, 커피 메이커에, 조작 신호를 송신한다. 또한, 표시 처리부 713은, 유저에게 커피 브레이크를 재촉하는 화상을 선택하여 표시하고, 음성 출력부 714는, 유저에게 커피 브레이크를 재촉하는 음성을 선택하여 출력한다. 또한, 해석부 712가, 화상이나 음성으로부터, 유저가 커피를 다 마시는 것을 검출하면, 제어부 71은, 커피 브레이크를 종료한다. 예를 들면, 제어부 71은, 해석부 712가, 유저의 "맛있었어요"나 "잘 먹었어요"의 음성을 검출하는 것으로써, 종료할 수 있다.

<콜·리스폰스 시스템>

제어부 71은, 유저와 캐릭터와 이름을 서로 부르도록 할 수 있다. 음성 출력부 713이, 유저 데이터 754에 등록되는 이름이나 닉네임을 부르는 캐릭터의 음성을 출력한다. 또한, 해석부 712에 의해서 유저가 발한 캐릭터의 이름이나 닉네임의 음성이 검출되면, 음성 출력부 713은, 유저의 이름이나 닉네임을 부르는 캐릭터의 음성을 출력할 수 있다.

<옷갈아 입기 추천 시스템>

제어부 71은, 유저의 코디네이트를 추천 하도록 할 수 있다. 예를 들면, 해석부 712에 의해서, 카메라 722가 촬상한 화상으로부터 "얼굴 위의 정방형의 모자", "얼굴 아래의 긴 장방형의 넥타이" 등의 유저가 착용하고 있는 것의 형상이나 색을 판정한다. 또한, 제어부 71은, 취득 처리부 711에서 취득하는 환경 정보로부터 해석되는 유저의 표정이나 기분이나, 기억장치 75에 등록되는 유저의 스케줄이나, 날씨 정보, 계절 등을 종합적으로 판단하고, 추천하는 색을 추천할 수 있다.

<조작 의뢰>

제어부 71은, 유저로부터 통신 단말 등의 정보처리 장치를 개입시켜, 기기의 조작이나, 스케줄 관리의 의뢰를 받을 수 있다. 예를 들면, 기기의 조작이 의뢰된 경우, 송신 처리부 715는, 의뢰받은 신호에 따라, 조작 신호를 출력한다. 또한, 스케줄의 등록이나 변경이 의뢰된 경우, 데이터 관리부 716은, 이 신호에 따라, 데이터를 등록 또는 갱신한다. 구체적으로는, 도 13b를 이용하여 상술한 것처럼, 채팅 기능을 이용하거나 메모나 전언판과 같은 것을 이용하여, 제어부 71을 조작하거나 할 수 있다. 유저는, 자신이 캐릭터에게 했으면 하는 캐릭터에 부탁하는 것처럼 느낄 수 있기 때문에, 인간에게 부탁하고 있는 것처럼 느낄 수 있다.

<토라져 눕기 모드>

제어부 71은, 소정의 조건을 만족한 경우에, 화나서 토라져 눕는 캐릭터 화상을 표시시킬 수 있다. 예를 들면, 화상 표시장치 1이 외부의 네트워크에 접속되어 있지 않은 경우, 또는, 화상 표시장치 1이 유저의 통신 단말과의 사이에 네트워크 접속이 되어 있지 않은 경우, 화나서 토라져 눕는 화상을 선택하고, 표시한다. 이것에 의해, 화상 표시장치 1이 유저에게 호소하는 것 같은 캐릭터 화상을 표시하는 것으로, 보다 인간답고, 보다 리얼하게 표현할 수 있다.

<흥미의 변천 알고리즘>

유저 데이터 754에 복수 종류의 흥미나 취미 기호가 등록되어 있을 때, 제어부 71은, 복수중에서 어느 것을 랜덤으로 선택하고, 출력하는 화상이나 음성에 반영시킬 수 있다. 예를 들면, 이 때, 유저 데이터 754에서는, 유저의 기호 정보에 대해 각각 가중치가 설정되어 제어부 71은, 그 가중치를 가미하여, 출력하는 화상이나 음성을 선택할 수 있다. 또한, 이러한 취미 기호의 가중치는, 시간의 경과와 함께 증가시키거나 감쇠시키거나 할 수 있다. 또한, 가중치가 소정의 값 이하가 되면, 다른 기호의 가중치가 커지는 것으로, 다른 취미 기호의 화제를 선택하도록 할 수 있다.

<라이프 모드의 알고리즘>

제어부 71은, 라이프 모드에 있어서, "유저의 기호 정보"나 "캐릭터 내부의 기호 정보"를 기초로, 표시하는 화상이나, 출력하는 음성을 선택할 수 있다. 예를 들면, 유저가 만화를 좋아하면, 제어부 71은, 라이프 모드에 있어서, 만화를 읽는 캐릭터 화상을 표시할 수 있고 이것에 대응하는 음성을 출력할 수 있다. 또한, 유저가 요리를 좋아하면, 제어부 71은, 한가한 때에 요리를 하는 캐릭터 화상을 표시할 수 있으며 이것에 대응하는 음성을 출력할 수 있다.

<흥미 토크>

제어부 71은, 유저와의 인터렉션이 발생한 일정시간 후에, 그 인터렉션에 관련하는 화제의 화상 및 음성을 출력할 수 있다. 제어부 71은, 유저와의 인터렉션이 발생한 시각을 기억해 두고, 거기로부터, 소정 시간이 경과한지 여부를 판정하는 것으로, 해당 제어를 실현한다.

<유저 행동 분석 추정 시스템>

제어부 71에서 유저의 행동을 판정하기 위한 데이터로서는, 미리 교사 데이터로서 주어진 복수 패턴의 데이터를 참조하여, 유도할 수 있다. 구체적으로는, 화상 표시장치 1에 구비된 각종 센서를 이용하여, 유저가 소정의 행동을 했을 때의 센싱 데이터를 취득해 두고, 그 때의 소정의 행동을 나타내는 정보와 대응해 붙여 기억해 두고, 이것을 교사 데이터로서 한다. 그리고, 화상 표시장치 1은, 구비되어 있는 각종의 센서로부터 입력된 데이터를, 교사 데이터와 비교하는 것으로써, 유저의 행동을 분석, 추정할 수 있다. 이것에 의해, 제어부 71은, 유저의 행동에 따른 동작을 캐릭터에게 시킬 수 있다. 또한, 제어부 71은, 순서대로, 이러한 교사 데이터를 유저의 행동에 따라 갱신하는 것을 할 수 있다.

<사람 감정 추종 시스템>

또한, 화상 표시장치 1은, 유저의 감정을 추정하고, 캐릭터에 그 유저 감정에 대응한 동작을 실행시킬 수 있다. 구체적으로는, 이하와 같이 처리를 실행한다.

제어부 71은, 카메라 722로 촬상한 유저의 얼굴 화상으로부터 표정 인식 처리를 실시하여, 유저의 감정을 추정할 수 있다. 이것은, 미리 각종의 감정에 따른 얼굴 화상의 특징량의 정보를 기억장치 75에 기억해 두고, 촬상한 화상과의 패턴 매칭에 의해, 가장 가깝다고 추정되는 얼굴 화상을 특정하고, 대응하는 감정을 특정하는 것이다. 또한, 마이크 704로부터 입력된 성문으로부터 유저의 감정을 추정할 수 있다. 이것도 얼굴 화상의 경우와 같이, 미리 각종의 감정에 따른 소리 정보(예를 들면, 주파수나 음량 등)의 정보를 기억장치 75에 기억해 두고, 입력된 성문과의 특징량에 따라, 유저의 감정을 추정한다. 또한, 혹은, 제어부 71이, 유저와의 사이의 대화나 채팅의 내용으로부터, 유저의 감정을 추정하는 것을 할 수 있다. 예를 들면, 대화중의 "즐거웠다"던가 "화난다"라고 한 감정을 나타내는 말로부터, 유저의 감정을 추정한다.

그리고, 화상 표시장치 1의 제어부 71은, 화상 표시장치 1에 기억, 설정되어 있는 캐릭터의 개성에 따라, 유저에게 동조하거나 격려하거나 하는 행동을 받아들이게 할 수 있다. 예를 들면, 유저의 감정을 판정한 결과, 유저가 외롭다고 느끼고 있다고 추정하면, "그렇군요, 외로웠지요. 하지만, 내가 있지요?"라던가, "그런 일로, 외롭다고 생각하는 필요 따윈 없어요! 괜찮아 괜찮아!"라는 대사의 음성을 음성 출력부 714로부터 출력하거나 할 수 있다. 또한, 예를 들면, 유저가 침체되어 있다고 추정했을 경우에는, "파이트!"라고 격려하거나 할 수 있다. 덧붙여 이러한 캐릭터의 행동은 일례인 것은 말할 필요도 없다.

<감사 학습 시스템>

화상 표시장치 1의 제어부 71은, 유저로부터 대화로 전달된, 혹은, 채팅상에서 전달된, 고마워요 등, 감사의 말을 전해진 내용을 기억한다. 그리고, 그 때의 조건을 기억한다. 즉, 제어부 71(캐릭터)은, 유저가, "언제", "무엇을 한다"면 고마워요라고 말하는지를 기억한다. 즉, 유저로부터 감사받았을 때의, "타이밍"과 "캐릭터의 행동"을 대응해 붙여 기억장치 75에 기억한다. 그리고, 제어부 71은, 그 "언제"라고 하는 타이밍에 있어서, 감사받은 행동을 캐릭터에 재현시키는 것을 할 수 있다.

<얼굴 학습 시스템>

화상 표시장치 1의 제어부 71은, 카메라 722로 촬상한 화상에, 유저와 다른 인물의 얼굴 화상이 포함된다고 판정했을 경우에, 그 얼굴 화상을 채팅에 첨부하고, "이 사람은 누구?"라고 물어 보는 것을 할 수 있다. 이것에 대해서, 유저가 "엄마에요"라고 회답하는 것으로, 화상 표시장치 1은, 그 인물을 촬상하여 얻어지는 얼굴 화상과 "엄마"라고 하는 말을 대응해 붙여 기억한다. 또한, 화상 표시장치 1의 제어부 71은, 유저의 "엄마에요"라고 하는 회답에 대해서, 예를 들면, "엄마군요. 기억했어요"라고 하는 메시지를 돌려줄 수도 있다. 또한, 다른 타이밍에서, 기억한 인물의 얼굴 화상을 촬상하여 얻었을 경우에는, 화상 표시장치 1은, "엄마가 왔어요"라고 하는 메시지를 유저의 통신 단말에 송신하는 것을 할 수 있다. 또한, 그 때에 그 인물의 행동을 추정할 수 있었을 경우에, 그 내용도 포함하여 송신할 수 있다. 또한, 해당 구성은, 화상 표시장치 1이 촬상한 얼굴 화상이 유저에게 있어서 모르는 인물의 얼굴이었을 경우에는 방범에 도움이 될 수 있을 수도 있다.

<걱정성 시스템>

화상 표시장치 1은, 유저가 외출한 것을 검출하고 나서(사람 감지 센서 702가 사람을 검출하지 않는 채 소정 시간이 경과하고 나서), 일정 이상 늦어졌을 경우(예를 들면, 현재 시각이 밤 22시를 경과한 경우)에, 유저에 대해서, 트위터(등록상표), 메일, 채팅, 전화 등의 수단으로 연락을 할 수 있다. 예를 들면, 제어부 71은, "늦었는데, 괜찮아요?"라고 하는 메시지를 송신할 수 있고, 전화를 걸수도 있다. 덧붙여 전화를 거는 경우에는, 화상 표시장치 1에 전화 회선과 접속하기 위한 설정을 해 둘 필요가 있다. 또한, 해당 행동을 취할지의 역치를 정해 두어 랜덤치가 이 역치를 넘을지로, 이러한 유저를 걱정하는 행동을 취할지를 판정할 수 있다. 또한, 화상 표시장치 1은, 이러한 역치를 시간이 늦어지면 질 수록 높아지도록 제어할 수 있다. 또한, 그 날의 아침의 유저의 모습에 따라, 이 역치를 변경하는 것을 할 수 있다. 예를 들면, 유저의 몸이 불편하다고 추정하고 있는 경우에는, 통상보다 역치가 낮아지도록 제어하는 것을 할 수 있다.

<적외선 정보 감시 시스템>

화상 표시장치 1은 적외선 센서를 더 갖추고, 주위의 적외선 정보를 취득하고, 취득한 적외선 정보에 따른 행동을 캐릭터에 받게 하는 것을 할 수 있다. 예를 들면, 유저가 텔레비전의 리모콘을 조작한 것을, 리모콘으로부터 출력된 적외선 정보를 취득하여, 검출하고, 텔레비전을 온 한 시간과 요일과 채널을 기억해 둘 수 있다. 그리고, 다른 날이며, 같은 요일의 같은 시간이 되었을 때에, 화상 표시장치 1이 텔레비전을 조작하고, 같은 채널을 틀도록 제어할 수 있다.

또한, 적외선 센서로부터 유저의 체온이나 방의 온도를 모니터 하고, 온도가 높아진 것을 검출하면, 화상 표시장치 1의 제어부 71은, 캐릭터에, 유저에 대해서, "창문을 열면 어떨까요?"나, "선풍기 켤까?"나, "에어컨 켤까?"라는 제안을 하는 대화를 시키는 것을 할 수 있다.

<시청 프로그램 감시 시스템>

화상 표시장치 1은, 유저가 시청 하고 있는 텔레비전이나 라디오 프로그램에 관한 정보를 취득하고, 기억하는 구성을 구비할 수 있다. 구체적으로는, 네트워크상으로부터 TV프로 정보를 취득하고, 텔레비전으로부터 발하는 음성에 대해서 음성 인기 처리를 실시하여 유저의 시청 하고 있는 프로그램을 추정한다. 혹은, 화상 표시장치 1은, 각종 가전과 접속하여, 텔레비전의 ON/OFF 정보나, 채널 정보를 취득하고, 유저가 시청 한 프로그램을 특정하여, 기억한다. 그리고, 기억한 프로그램에 관한 프로그램표로부터 키워드를 취득하고, 대화의 재료로 할 수 있다.

예를 들면, 클라우드 서버에 있어서, 각 방송국의 프로그램에 대해 어떠한 대화를 하고 있을까에 대해서 음성인식을 통해 각 방송국의 프로그램의 내용을 텍스트화하고, 클라우드 텍스트 정보를 취득한다. 또한, 화상 표시장치 1에 있어서, 유저가 시청 하고 있는 프로그램의 음성 정보를 마이크 704로부터 취득한다. 그리고, 취득한 음성에 대해 음성인식을 통해 유저 텍스트 정보로 변환한다. 그리고, 클라우드 텍스트 정보와 유저 텍스트 정보를 비교, 조합하는 것으로써, 화상 표시장치 1은, 유저가 어느 프로그램을 시청 하고 있는지를 특정할 수 있다. 그리고, 제어부 71은, 유저가 시청 하고 있는 프로그램을 특정하여, 그 프로그램명을 끼워 넣고, 예를 들면, "아침은, A 텔레비전이지요!"라고 추천하고, 텔레비전의 리모콘을 제어하는 것을 할 수 있다.

<분위기 읽기 시스템>

화상 표시장치 1의 제어부 71은, 유저가 바쁜 듯이 하고 있는지 여부를 판정하여, 판정한 상태에 따른 행동, 소위 분위기를 읽은 행동을 취하는 것을 할 수 있다. 화상 표시장치 1의 제어부 71(취득 처리부 711)이 취득한 여러 가지의 환경 신호에 따라 유저의 바쁨을 판정한다. 예를 들면, 유저의 기상시각이 늦고, 사람 감지 센서 702가 검출하는 유저의 위치가 소정 시간내(예를 들면, 5분 이내)에 좌우에 소정 회수 이상(예를 들면, 10회 이상) 움직이는 것을 검출한 경우에, 유저가 바쁘다고 판정하고, 화상 표시장치 1의 제어부 71은, 캐릭터에게 유저에게 말을 건네지 않도록 제어한다. 또한, 유저가 별로 움직이지 않는, 즉, 사람 감지 센서 702가 검출하는 유저 위치가 소정 범위내에 머무르고 있는 경우에, 제어부 71은, 캐릭터에 유저에게 말을 건네게 하도록 제어한다. 이와 같이, 화상 표시장치 1의 제어부 71은, 캐릭터에 유저 상태를 보고, 즉, 분위기를 읽고, 액션을 일으키게 할지 여부를 판정할 수 있다.

<페이스 ＆ 아이 트래킹 시스템>

화상 표시장치 1의 제어부 71은, 카메라 722가 취득하는 유저의 얼굴 화상과 눈의 화상에 기반하여, 유저의 시선을 검출하는 것을 할 수 있다. 예를 들면, 유저의 얼굴 화상이 화상 표시장치 1의 방향을 향하고 있는 것을 검출하여, 눈의 동공이 양쪽 모두 화상 표시장치 1의 방향을 향하고 있는지 여부를 검출한다. 그리고, 제어부 71은, 유저의 시선이 캐릭터의 쪽을 향하고 있는 경우에, 캐릭터에게 부끄러워하게 하거나 유저와 서로 응시하게 하거나 하도록 할 수도 있다.

<버추얼 바람 시스템>

화상 표시장치 1의 제어부 71은, 마이크 704에, 유저가 입김을 내뿜고 있는 것을 검출하고, 화상 표시장치 1 내의 세계에 바람이 불어지는 효과를 발생시킬 수 있다. 예를 들면, 캐릭터의 옷이 팔랑팔랑 흔들리거나 하는 연출을 할 수 있다. 해당 구성은 마이크 704가 아니고, 화상 표시장치 1에 풍압 센서를 마련하는 것으로도 실현될 수 있다.

<컨디션 관리 시스템>

화상 표시장치 1은, 통신부 76을 개입시켜, 유저가 보관 유지하는 체중계나 운동량계 등, 유저 상태를 검출할 수 있는 기기로부터, 유저 상태 정보를 취득하는 것을 할 수 있다. 예를 들면, 체중계로부터 검출한 유저의 체중이, 소정 기간내에 소정 이상 감소하고 있던 것 같은 경우에는, 제어부 71은, "제대로 먹고 있어?"라고 캐릭터에 이야기하게 하거나 유저의 신장에 대한 체중이 평균 체중을 소정 이상 넘는 경우에는, "조금은 운동하지 않으면 안되!"라고 추천 시키거나 하는 것을 할 수 있다. 또한, 유저가 반복하여 운동하는 경우에는, 제어부 71은, 카메라 722로 촬상한 화상을 참조하면서, 캐릭터에게 반복하여 운동의 회수를 세도록 음성을 출력시키는 것을 할 수 있다. 예를 들면, 팔굽혀펴기나 스쿼트의 회수를 세는 것 등을 생각할 수 있다.

<리얼타임 모션 전달 시스템>

화상 표시장치 1의 제어부 71은, 통신부 76을 개입시켜 특수한 신호를 수신하는 것으로 특수한 동작을 하는 것을 할 수 있다. 구체적으로는, 개발 운영측의 인물의 몸에 모션 캡쳐 센서를 장착하고, 인물의 움직임을 전체 유저의 화상 표시장치 1에 전달한다. 화상 표시장치 1은, 전달된 모션과 같은 움직임을 하는 캐릭터를 표시하는 것으로, 프로그램 전송을 실현할 수도 있다. 예를 들면, 특수한 신호로서 지진 속보 등을 수신했을 경우에는, "00에서, 진도 4의 지진이에요. 침착하게 행동해요"라는 음성을 음성 출력부 714가 출력하는 것을 할 수 있다. 또한, 특수한 신호내에, 표시해야 할 화상 데이터가 포함되는 경우에, 그 화상 데이터를 표시할 수 있다. 이 화상 데이터로서는, 예를 들면 실재의 인물일 수도 있고, 예를 들면, 유명인의 회견을 표시하고, 그 음성을 출력하도록 할 수 있다. 이것에 의해, 예를 들면, 홀로그램에 의한 프로그램 전송을 실현할 수도 있다. 또한, 화상 표시장치 1은, 실재의 인물의 화상 데이터를 취득하고, 그 인물의 음성 데이터를 취득하는 것으로, 실재의 인물을 표시하는 캐릭터로서 표시할 수 있다.

<홀로그램 아바타 전화 시스템>

화상 표시장치 1에 전화기가 접속, 또는, 화상 표시장치 1에 전화기능이 갖춰져 있는 경우에, 화상 표시장치 1은, 이하의 기능을 구비할 수도 있다. 화상 표시장치 1은, 이 때, 카메라 722로부터 취득한 화상에 기반하여, 유저의 표정을 특정하고, 특정한 표정과 같은 표정의 아바타 정보를 생성하여, 전화 상대에게 그 아바타 정보를 송신하고, 전화 상대의 표시 화면에 그 아바타 화상을 표시시키는 구성을 구비할 수 있다.

<보고 시스템>

화상 표시장치 1의 제어부 71은, 유저의 귀가를 검출하고, 유저에 대해서, 캐릭터에 캐릭터의 하루를 보고시키는 것을 할 수 있다. 예를 들면, 해석부 712는, 사람 감지 센서 702가, 소정 시간 이상, 유저를 검출하고 있지 않는 상태에서, 새롭게 유저를 검지했을 경우에, 유저가 귀가한 것으로 판정한다. 그러면, 제어부 71은, 캐릭터에 주변에서 일어난 사건(각종 센서로부터 취득할 수 있는 정보에 기반하여, 그 사실과 현상이 일어났다고 추정되는 내용)을, 유저에게 보고시키는 것을 할 수 있다. 예를 들면, 온습도 센서 611이 소정 이상의 온도를, 소정 시간 이상, 검출하고 있었을 경우에, 캐릭터에게 "오늘은 더웠어요~"라고 보고시키거나, 실온도 센서 611이 소정 이상의 온도와 습도를, 소정 시간 이상 검출하고 있었을 경우에, "오늘은 찌는 듯이 더웠지요"라고 보고시키거나, 지진 속보를 수신하고 있었을 경우에는, "오늘, 지진이 있었군요. 그쪽은 괜찮았어요?"라고 보고시키거나, "당신이 없을 때에, 누구누구가 왔어~"라고 보고시키거나 할 수 있다.

<컨디션 불량 연락 전화 시스템>

화상 표시장치 1의 제어부 71은, 화상 표시장치 1에 전화기능이 탑재되고 있는 경우, 유저의 몸이 불편한 경우에, 유저로부터의 지시에 따라서, 유저의 근무처나 통학처 등, 미리 설정되어 있는 전화 번호에, "오늘, 컨디션이 좋지 않기 때문에 휴가를 받겠습니다"라고, 유저 대신에 전화 연락을 시키는 것을 할 수 있다.

<특정 디바이스에 의한 제스처 컨트롤 시스템>

화상 표시장치 1의 제어부 71은, 유저가 장착 또는 보관 유지하는 특정의 아이템으로부터의 신호에 따라서, 캐릭터를 제어하는 것을 할 수 있다. 예를 들면, 특정의 아이템이 반지의 경우이며, 화상 해석에 의해 유저가 반지를 비비고 있는 것을 검출했을 경우에, 캐릭터에게 부끄러운 기분인 동작을 시키는 것을 할 수 있다. 또한, 혹은, 특정의 아이템으로서 유저가 펜 라이트를 가지고 좌우로 흔들고 있었을 경우에는, 제어부 71은, 캐릭터에게 펜 라이트를 갖도록 한 화상을 표시하고, 그 손을 좌우로 흔들리게 하도록 움직이는 영상을 투영 하는 것을 할 수 있다.

<캐릭터 옷갈아 입기 시스템>

화상 표시장치 1의 제어부 71은, 캐릭터에게 입게 하는 복장이나 아이템 등을, 적당히, 변경하는 것을 할 수 있다. 이를 위해, 제어부 71은, 각종의 복장이나 아이템의 표시 데이터를 기억장치 75에 기억, 혹은, 외부의 서버로부터 다운로드하여 취득한다. 그리고, 제어부 71은, 화상 표시장치 1이 탑재하는 계시(計時)부(도시하지 않음. 현재 일시를 검출하는 클락)으로부터의 일시가 포함되는 계절이나, 날씨, 기온, 시간대에 따른 복장을 한 캐릭터를 표시하는 것을 할 수 있다.

<순간 이동 시스템>

상기 실시의 형태와 관련되는 화상 표시장치 1을 유저가 복수대 보관 유지하는 경우, 각 화상 표시장치 1을 연동시키고, 그 중의, 유저가 확인할 수 있는 위치에만 캐릭터를 표시하는 것을 할 수 있다. 그 경우, 제어부 701은, 유저가 이동한 이동지에 있는 화상 표시장치 1에, 캐릭터도 이동해 온 것 같은 연출을 하는 것을 할 수 있다.

<청소 시스템>

화상 표시장치 1의 제어부 71은, 가전으로서 로봇 청소기와 통신을 실시하여, 그 로봇 청소기를 제어하고, 유저의 실내를 청소하는 것을 할 수 있다. 또한, 그 때에, 제어부 71은, 유저가 평상시 청소하고 있는 장소와 청소하고 있지 않는 장소를 특정할 수 있다.

<양치질 응원 시스템>

화상 표시장치 1의 제어부 71은, 화상 해석에 의해 유저가 양치질을 하고 있는 것을 검출하고, 캐릭터에게 유저의 양치질을 응원하는 행동을 받아들이게 할 수 있고, 유저가 약을 마시거나 환부에 약을 바르거나 하는 것을 검출하고, 캐릭터에 그 행동을 응원시키는 것을 할 수 있다.

<스포츠 선수 모션 캡쳐 시스템>

화상 표시장치 1은, 스포츠 중계 등의 영상을 취득하고, 그 스포츠 중계에 등장하는 스포츠 선수의 모션과 같은 모션을 캐릭터에게 실행시키도록 화상을 투영 할 수 있다. 또한, 그 때에, 유저는, 유저의 통신 단말이나, 화상 표시장치 1에 비치되는 조작 패널이나, 음성 등에 의해, 캐릭터가 향하는 방향을 지시하고, 해당 지시에 따른 영상을 화상 표시장치 1이, 표시하는 것을 할 수 있다. 또한, 이 때, 캐릭터가 아니고, 스포츠 선수 그 자체의 영상을 표시하는 것을 할 수도 있다.

<라이브 응원 시스템>

화상 표시장치 1은, 유저가 하등의 아이돌 등의 라이브 등을 시청 하고 있는 경우에, 제어부 71은, 캐릭터에도 그 라이브 영상을 시청 하고 있도록 표시하는 것과 동시에, 그 캐릭터에 라이브에 참가하고 있는 것 같이, 구호를 발하거나 케미컬 라이트를 흔드는 동작을 시킬 수 있다. 또한, 혹은, 제어부 71은, 캐릭터에게 버추얼 싱어로서 아이돌과 같이, 노래를 불러 춤추는 동작을 시키는 경우에, 유저로부터의 손장단이나 응원에 따라, 그 동작을 연동시킬 수 있다. 예를 들면, 유저의 손장단의 타이밍을 검출하고, 그 타이밍에 맞추어 스텝을 밟도록하는 화상을 출력하는 것으로 할 수 있고, 유저로부터의 응원의 성량에 맞추어 행동을 변화시킬 수 있다.

<멀티 에이전트 시스템>

화상 표시장치 1은, 기억장치 75에 복수의 캐릭터에 관한 정보를 기억해 둘 수 있다. 그리고, 제어부 71은, 유저의 상황에 따라 사용하는 캐릭터를 선택하고, 투영 하는 것을 할 수 있다. 또한, 화상 표시장치 1에 멀티 코어를 탑재하고, 하나의 코어로 하나의 캐릭터를 제어하는 경우에, 화상 표시장치 1은, 동시에 복수의 캐릭터를 투영 하는 것을 할 수 있다.

<연령 경과 시스템>

화상 표시장치 1은, 캐릭터를 표시할 때에, 일정시간으로 캐릭터가 나이를 먹도록 화상을 표시하는 것을 할 수 있다. 화상 표시장치 1은, 예를 들면, 캐릭터를 처음으로 소환하는 경우에는, 아기 상태를 표시하는 것으로 하고, 거기로부터, 소정 기간이 경과하는 마다(예를 들면, 1개월 경과하는 마다)에, 캐릭터의 화상을 변화시키도록 하고, 캐릭터가 성장하고 있는 것 같이, 표시하는 것을 할 수 있다.

<각종 언어 대응 시스템 시스템>

화상 표시장치 1은, 음성인식의 알고리즘이나, 대화 시스템을, 각국의 각 말에 따른 모델을 탑재하는 것으로, 각종의 언어에 대응할 수 있다.

<오리지날 캐릭터 시스템>

화상 표시장치 1이 표시하는 캐릭터는, 유저가 오리지날로 작성하는 것을 할 수 있다. 화상 표시장치 1은, 이를 위해, 필요로 하는 각종 데이터의 포맷을 준비하고, 유저가 에디트 할 수 있도록 구성할 수 있고, 에디트 자체는 유저의 PC 등으로 작성한 것을 화상 표시장치 1에 전송 하는 것으로 할 수 있다. 또한, 유저가 작성한 캐릭터 데이터는, 네트워크를 개입시켜 전달하는 것으로 할 수 있다.

<각종 캐릭터 소환 시스템>

화상 표시장치 1이 표시하는 캐릭터로서는, VR(Virtual Reality) 콘텐츠의 캐릭터의 데이터를 이용하는 것을 할 수 있다. 예를 들면, 유저가 HMD(Head Mounted Display)를 이용하여 즐기는 게임 등의 캐릭터를 화상 표시장치 1이 표시하는 캐릭터로서 사용하는 것을 할 수 있다. 또한, VR 콘텐츠에 한정하지 않고, 각종의 게임(예를 들면, 스마트 폰 게임 등)의 캐릭터를 다운로드하여 표시하는 캐릭터로서 사용할 수 있다.

<채팅 기능의 외부 실장>

상기에서는, 화상 표시장치 1이, 채팅 기능을 가지는 것으로 했으나, 채팅 기능은, 외부의 장치가 실행하는 것으로 할 수 있다. 즉, 유저가 통신 단말을 이용하여, 화상 표시장치 1의 캐릭터와 메시지의 교환을 할 때, 실제로는, 외부 서버와 교환을 하고 있는 구성으로 할 수 있다. 그 경우에, 외부의 서버는, 캐릭터로서의 응답 알고리즘을 보관 유지하는 것 외에 화상 표시장치 1으로부터, 유저에 관한 대화 이력 데이터 755, 채팅 이력 데이터 756을 사전에 취득해 둘 필요가 있다. 그 때문에, 유저로부터의 채팅 입력이 있었을 경우에, 외부의 장치는, 화상 표시장치 1에 액세스 하고, 그러한 정보를 취득하는 구성을 갖추고 있을 수 있다. 또한, 외부의 장치가 유저의 통신 단말과의 채팅을 끝낸 후에는, 외부의 장치는, 채팅 이력 데이터 756을 화상 표시장치 1에 송신하고, 화상 표시장치 1은, 수신한 채팅 이력 데이터 756을 기억장치 75에 덮어쓰기하는 것을 할 수 있다. 이러한 실장에 의해, 화상 표시장치 1의 외부에 채팅 기능을 가지는 장치를 마련한 시스템을 실현할 수 있다.

이상과 같이, 본 발명의 제일 실시 형태와 관련되는 화상 표시장치 1에 의하면, 표시 대상인 캐릭터 등을, 같은 공간에 있는 실체물과 같이 표시시킬 수 있다. 또한, 화상 표시장치 1에서는, 유저의 음성 등의 환경 정보로 대응한 행동을, 캐릭터 등 등에 의해 실시하게 하도록 하고 있다. 또한, 화상 표시장치 1에서는, 캐릭터의 심정 등을 표현하는 연출 화상을 캐릭터 화상과 함께 표시시킬 수 있다. 또한, 유저와 간 대화나 채팅의 내용에 대해서, 과거의 내용이 최신의 대화나 채팅에 반영되므로, 유저는 보다 더 캐릭터에 대해서 친근감을 기억하고 애착이 샘솟게 된다.

이것에 의해, 마치 실재하는 캐릭터 등과 같은 공간에 있는 감각을 유저에게 줄 수 있다. 또한, 캐릭터를 보다 가까이에서 느끼도록 할 수 있다.

상술한 실시 형태에 대해서는, 각 처리를, 화상 표시장치 1의 제어부 71이 화상 표시 프로그램, 대화 프로그램, 채팅 프로그램 등을 실행하는 것으로써, 실현되는 것으로서 설명했다. 한편, 화상 표시장치 1에 있어서, CPU에 대신하여, 집적회로(IC(Integrated Circuit) 칩, LSI(Large Scale Integration)), FPGA(Field Programmable gate array), CPLD(Complex Programmable Logic Device) 등에 형성된 논리 회로(하드웨어)나 전용 회로에 의해서 각 처리를 실현할 수 있다. 또한, 이러한 회로는, 하나 또는 복수의 집적회로에 의해 실현될 수 있고, 상기 실시 형태에 나타낸 복수의 기능부의 기능을 1개의 집적회로에 의해 실현되는 것으로 할 수 있다. LSI는, 집적도의 차이에 의해, VLSI, 슈퍼 LSI, 울트라 LSI 등이라고 호칭되기도 한다.

즉, 도 23에서 나타낸 것처럼, 화상 표시장치 1은, 제어 회로 71a, 입력 회로 72a, 출력 회로 73a, 조작 회로 74a, 기억 회로 75a, 통신 회로 76a로부터 구성될 수 있다. 제어 회로 71a가 가지는 취득 제어 회로 711a, 해석 회로 712a, 표시 처리 회로 713a, 음성 출력 회로 714a, 송신 처리 회로 715a 및 데이터 관리 회로 716a는, 화상 표시 프로그램 P1, 대화 프로그램 P2, 채팅 프로그램 P3 등에 의해서 제어된다. 각각의 기능은, 상기 실시 형태에 나타낸 같은 명칭을 가지는 각부와 같다.

또한, 상기 기억장치 75로서는, "일시적이지 않은 유형의 매체", 예를 들면, 테이프, 디스크, 카드, 반도체 메모리, 프로그래머블 논리 회로 등을 이용할 수 있다. 또한, 상기 화상 표시 프로그램 P1, 대화 프로그램 P2, 채팅 프로그램 P3는, 해당 화상 표시 프로그램 P1, 대화 프로그램 P2, 채팅 프로그램 P3를 전송 가능한 임의의 전송 매체(통신 네트워크나 방송파 등)를 개입시켜 상기 프로세서에 공급될 수 있다. 본 발명은, 상기 영상 표시 프로그램이 전자적인 전송에 의해서 구현화된, 반송파에 포함된 데이터 신호의 형태로도 실현될 수 있다. 또한, 이러한 프로그램에 한정하지 않고, 캐릭터에 관한 음성 데이터나 화상 데이터도 그것들을 기억하고 있는 서버로부터 다운로드하여 화상 표시장치 1에서 사용할 수 있을 수 있다. 이렇게 하는 것으로, 여러가지 캐릭터를 화상 표시장치 1에서 즐길 수 있다. 또한, 동일 캐릭터의 새로운 음성 데이터나 화상 데이터도 다운로드하여 사용할 수 있도록 구성될 수도 있다. 또한, 기억장치 75에 기억되고 있는 각종 데이터는, 기억장치 75가 아니고, 화상 표시장치 1이 액세스 가능한 네트워크상의 서버 등의 외부 장치에 기억하는 것을 할 수 있다. 그리고, 화상 표시장치 1의 제어부 71은 통신부 76을 개입시켜, 그때 마다 필요한 타이밍에 외부 서버에 액세스하여 필요한 정보를 취득하는 것을 할 수 있다. 예를 들면, 상기 실시의 형태에 있어서의 언어 모델이나 음성 모델 등의 정보를 네트워크상에 기억해 둘 수 있다.

덧붙여 상기 화상 표시 프로그램 P1, 대화 프로그램 P2, 채팅 프로그램 P＃는, 예를 들면, ActionScript, JavaScript(등록상표), Python, Ruby 등의 스크립트 언어, C언어, C＋＋, C＃, Objective-C, Java(등록상표) 등의 컴파일러 언어, 어셈블리 언어, RTL(Register Transfer Language) 등을 이용하여 실장할 수 있다.

[산업상의 이용 가능성]

본 발명은, 캐릭터 화상을 표시하고, 유저와 실시하게 하는 대화 및 유저의 통신 단말과의 사이에서 교환하는 채팅의 내용을 서로 연동시킬 수 있는 화상 표시장치에 매우 적합하게 이용할 수 있다.

1 화상 표시장치
2 케이스
21 상부 수용부
22 하부 수용부
221 대좌
23 지주
3 투과 필름(평평한 형상의 부재)
4 프로젝터(영상 출력 수단)
5 반사 미러(반사 수단)
51 미러 부착부(조정 수단)
6 주부
71 제어부(출력 제어 수단)
72 입력부(입력 수단)
73 출력부(출력 수단)
706 연출용 LED (발광 수단)

Claims

캐릭터를 표시하는 표시부와,
유저의 음성을 취득하는 마이크와,
상기 마이크에 의해 취득된 상기 유저의 음성에 기반하여 상기 캐릭터에 기반한 소리를 출력하는 제어에 의해, 상기 캐릭터가 상기 유저와 대화를 실행하는 대화부와,
상기 캐릭터가 상기 유저의 단말과 채팅을 실행하는 채팅부를 구비하고,
상기 대화부는, 상기 대화부에 의해 실행된 상기 유저와의 대화의 적어도 일부의 내용과, 상기 채팅부에 의해 실행된 상기 유저의 단말과의 채팅의 적어도 일부의 내용에 기반하여, 상기 유저에 대해 실행할 대화의 내용을 선택하고,
상기 채팅부는, 상기 채팅부에 의해 실행된 상기 유저의 단말과의 채팅의 적어도 일부의 내용과, 상기 대화부에 의해 실행된 상기 유저와의 대화의 적어도 일부의 내용에 기반하여, 상기 유저의 단말에 대해 실행할 채팅의 내용을 선택하고,
상기 표시부는, 상기 대화부에 의한 상기 유저와의 대화의 내용과, 상기 채팅부에 의한 상기 유저의 단말과의 채팅의 내용에 기반하여, 상기 캐릭터의 옷의 화상 또는, 상기 캐릭터에 의해 몸에 입혀지는 아이템의 화상을 표시하는, 영상 표시장치.
제1항에 있어서,
상기 대화부는 상기 유저의 단말과의 채팅의 적어도 일부의 내용과 관련된 대화의 내용을 선택하는 것을 특징으로 하는, 영상 표시장치.
삭제
제1항 또는 제2항에 있어서,
상기 영상 표시장치의 주위를 검출하는 검출부를 더 구비하고,
상기 채팅부는, 상기 검출부에 의한 검출에 기반하여, 통신부를 통해, 상기 유저의 단말에 채팅을 송신하는 것을 특징으로 하는, 영상 표시장치.
제1항 또는 제2항에 있어서,
상기 채팅의 내용은, 상기 유저의 단말의 화면에 메시지로서 표시되고, 상기 메시지는, 상기 캐릭터와 관련된 화상과 연관되어 상기 유저의 단말의 상기 화면에 표시되는 것을 특징으로 하는, 영상 표시장치.
제1항 또는 제2항에 있어서,
상기 채팅의 내용은, 상기 유저의 단말의 화면에 메시지로서 표시되고,
상기 채팅부는 상기 채팅부에 의한 상기 유저의 단말과의 채팅의 적어도 일부의 내용과, 상기 대화부에 의한 상기 유저와의 대화의 적어도 일부의 내용에 기반하여, 상기 유저의 단말의 상기 화면에 표시되는 하나의 메시지를 선택하는 것을 특징으로 하는, 영상 표시장치.
제1항 또는 제2항에 있어서,
상기 대화부는 상기 대화부에 의한 상기 유저와의 대화의 적어도 일부의 내용과, 상기 채팅부에 의한 상기 유저의 단말과의 채팅의 적어도 일부의 내용에 기반하여 추정되는 상기 유저의 감정에 기반한 대화의 내용을 선택하는 것을 특징으로 하는, 영상 표시장치.
제1항 또는 제2항에 있어서,
상기 영상 표시장치는,
유저의 위치, 유저의 동작 및 외부 환경 정보 중 적어도 하나를 포함하는 환경 신호를 취득하는 취득부를 더 구비하고,
상기 대화부는, 상기 취득부에 의해 취득된 상기 환경 신호와 관련된 대화가 있는지 여부를 대화 데이터를 참조하고, 참조하는 상기 대화 데이터에 기반하여 상기 유저에 대해 실행할 대화의 내용을 선택하는 것을 특징으로 하는, 영상 표시장치.
제1항 또는 제2항에 있어서,
상기 영상 표시장치는, 일부 또는 전부가 투광성 부재로 구성되는 케이스와,
상기 케이스의 내부에 마련된 투광성을 가지는 스크린을 더 구비하고,
상기 표시부는, 상기 스크린에 상기 캐릭터를 투영 하여 상기 캐릭터를 표시하는 것을 특징으로 하는, 영상 표시장치.
제1항 또는 제2항에 있어서,
상기 영상 표시장치는, 상기 대화부에 의해 실행된 상기 유저와의 대화에 관한 정보를 기억하는 제1 기억부와,
상기 채팅부에 의해 실행된 상기 채팅에 관한 정보를 기억하는 제2 기억부를 더 구비하고,
상기 대화부는, 상기 제 1 기억부와 상기 제 2 기억부에 기억한 정보에 기반하여, 상기 유저에 대해 실행할 대화의 내용을 선택하는 것을 특징으로 하는, 영상 표시장치.
제10항에 있어서,
상기 채팅부는, 상기 제 1 기억부와 상기 제 2 기억부에 기억한 정보에 기반하여, 상기 유저의 단말에 대해 실행할 상기 채팅의 내용을 선택하는 것을 특징으로 하는, 영상 표시장치.
제1항 또는 제2항에 있어서,
상기 표시부는, 상기 캐릭터와, 상기 대화부에 의한 대화의 내용에 기반한 화상을 더 표시하는 것을 특징으로 하는, 영상 표시장치.
제1항 또는 제2항에 있어서,
상기 영상 표시장치는,
상기 캐릭터에 기반한 소리를 출력하는 스피커를 더 구비하는, 영상 표시장치.
제1항 또는 제2항에 있어서,
상기 대화부는, 상기 유저의 음성을 텍스트 데이터화하고, 상기 텍스트 데이터를 해석하여 얻어지는 명사를, 대화의 내용으로서 상기 제 1 기억부에 기억하는 것을 특징으로 하는, 영상 표시장치.
제1항 또는 제2항에 있어서,
상기 영상 표시장치는, 상기 영상 표시장치 외부의 채팅 서버와 통신하는 통신부를 더 구비하고,
상기 채팅부는, 상기 통신부를 통해, 상기 통신부가 상기 채팅 서버로부터 수신한 상기 유저의 단말로부터의 텍스트 데이터를 해석하여, 상기 유저의 단말에 대해 실행할 상기 채팅의 내용을 선택하고, 선택한 상기 채팅의 내용에 기반한 상기 텍스트 데이터를, 상기 영상 표시장치 외부의 상기 채팅 서버에 송신하는 것을 특징으로 하는, 영상 표시장치.
제10항에 있어서,
상기 채팅부는, 텍스트 데이터를 해석하여 얻어지는 명사를, 상기 채팅의 내용으로서 상기 제 2 기억부에 기억하는 것을 특징으로 하는, 영상 표시장치.
표시부, 마이크, 대화부 및 채팅부를 구비하는 영상 표시장치에 의해 수행되는,
상기 표시부가, 캐릭터를 표시하는 표시 단계와,
상기 마이크가, 유저의 음성을 취득하는 음성 취득 단계와,
상기 대화부가, 상기 마이크에 의해 취득된 상기 유저의 음성에 기반하여 상기 캐릭터에 기반한 소리를 출력하는 제어에 의해, 상기 캐릭터가 상기 유저와 대화를 실행하는 대화 단계와,
상기 채팅부가, 상기 캐릭터가 상기 유저의 단말과 채팅을 실행하는 채팅 단계와,
상기 대화부가, 상기 대화 단계에 있어서의 상기 유저와의 대화의 적어도 일부의 내용과, 상기 채팅 단계에 있어서의 상기 유저의 단말과의 채팅의 적어도 일부의 내용에 기반하여, 상기 유저에 대해 실행할 대화의 내용을 선택하는 단계와,
상기 채팅부가, 상기 채팅 단계에 있어서의 상기 유저의 단말과의 채팅의 적어도 일부의 내용과, 상기 대화 단계에 있어서의 상기 유저와의 대화의 적어도 일부의 내용에 기반하여, 상기 유저의 단말에 대해 실행할 채팅의 내용을 선택하는 단계
를 포함하고,
상기 표시부가, 상기 캐릭터를 표시하는 표시 단계는,
상기 대화부에 의한 상기 유저와의 대화의 내용과, 상기 채팅부에 의한 상기 유저의 단말과의 채팅의 내용에 기반하여, 상기 캐릭터의 옷의 화상 또는, 상기 캐릭터에 의해 몸에 입혀지는 아이템의 화상을 표시하는 단계를 포함하는, 대화 및 채팅 내용 선택 방법.
컴퓨터에서,
캐릭터를 표시하는 표시 기능과,
유저의 음성을 마이크에 의해 취득하는 취득 기능과,
상기 마이크에 의해 취득된 상기 유저의 음성에 기반하여 상기 캐릭터에 기반한 소리를 출력하는 제어에 의해, 상기 캐릭터가 상기 유저와 대화를 실행하는 대화 기능과,
상기 캐릭터가 상기 유저의 단말과 채팅을 실행하는 채팅 기능과,
상기 대화 기능에 있어서의 상기 유저와의 대화의 적어도 일부의 내용과, 상기 채팅 기능에 있어서의 상기 유저의 단말과의 채팅의 적어도 일부의 내용에 기반하여, 상기 유저에 대해 실행할 대화의 내용을 선택하는 기능과,
상기 채팅 기능에 있어서의 상기 유저의 단말과의 채팅의 적어도 일부의 내용과, 상기 대화 기능에 있어서의 상기 유저와의 대화의 적어도 일부의 내용에 기반하여, 상기 유저의 단말에 대해 실행할 채팅의 내용을 선택하는 기능을 실현시키고,
상기 캐릭터를 표시하는 표시 기능은,
상기 대화 기능에 의한 상기 유저와의 대화의 내용과, 상기 채팅 기능에 의한 상기 유저의 단말과의 채팅의 내용에 기반하여, 상기 캐릭터의 옷의 화상 또는, 상기 캐릭터에 의해 몸에 입혀지는 아이템의 화상을 표시하는 표시 기능을 포함하는 컴퓨터 판독 가능한 기록매체에 저장된 대화 및 채팅 내용 선택 프로그램.
삭제
삭제
삭제
삭제