KR20210131324A - 정보 처리 장치 및 정보 처리 방법 - Google Patents

Abstract

본 기술은, 더 최적의 출력 모달로 정보를 출력할 수 있도록 하는 정보 처리 장치 및 정보 처리 방법에 관한 것이다. 전자 기기마다의 출력 모달에 관한 기기 정보를 취득하고, 취득한 기기 정보에 기초하여, 복수의 전자 기기 중에서, 정보를 출력하는 출력 모달을 갖는 전자 기기를 선택하고, 선택한 전자 기기가 갖는 출력 모달로부터 정보를 출력하는 처리를 행하는 처리부를 구비하는 정보 처리 장치가 제공된다. 본 기술은, 예를 들어 정보 기기, 영상 기기, 음향 기기, 또는 가전 기기 등의 전자 기기에 적용할 수 있다.

Description

정보 처리 장치 및 정보 처리 방법

본 기술은, 정보 처리 장치 및 정보 처리 방법에 관한 것으로, 특히, 더 최적의 출력 모달로 정보를 출력할 수 있도록 한 정보 처리 장치 및 정보 처리 방법에 관한다.

유저가 전자 기기를 사용할 때, 전자 기기의 출력 모달을 지정하고 싶은 경우가 있다.

또한, 음성이나 화상으로부터 얻어진 유저 정보와 시스템 상태에 따라, 정보 제공 레벨과 출력 양태를 전환하는 기술이 개시되어 있다(예를 들어, 특허문헌 1 참조).

일본 특허 공개 제2011-253375호 공보

그런데, 전자 기기의 출력 모달을 지정하고 싶은 경우에, 출력 모달이 한정되어 있는 전자 기기도 존재해, 더 최적의 출력 모달로 정보를 출력하기 위한 기술이 요구되고 있다.

본 기술은 이러한 상황을 감안하여 이루어진 것이고, 더 최적의 출력 모달로 정보를 출력할 수 있도록 하는 것이다.

본 기술의 일측면의 정보 처리 장치는, 전자 기기마다의 출력 모달에 관한 기기 정보를 취득하고, 취득한 상기 기기 정보에 기초하여, 복수의 전자 기기 중에서, 정보를 출력하는 출력 모달을 갖는 전자 기기를 선택하고, 선택한 상기 전자 기기가 갖는 출력 모달로부터 상기 정보를 출력하는 처리를 행하는 처리부를 구비하는 정보 처리 장치이다.

본 기술의 일측면의 정보 처리 방법은, 정보 처리 장치가, 전자 기기마다의 출력 모달에 관한 기기 정보를 취득하고, 취득한 상기 기기 정보에 기초하여, 복수의 전자 기기 중에서, 정보를 출력하는 출력 모달을 갖는 전자 기기를 선택하고, 선택한 상기 전자 기기가 갖는 출력 모달로부터 상기 정보를 출력하는 정보 처리 방법이다.

본 기술의 일측면의 정보 처리 장치 및 정보 처리 방법에 있어서는, 전자 기기마다의 출력 모달에 관한 기기 정보가 취득되고, 취득된 상기 기기 정보에 기초하여, 복수의 전자 기기 중에서, 정보를 출력하는 출력 모달을 갖는 전자 기기가 선택되고, 선택된 상기 전자 기기가 갖는 출력 모달로부터 상기 정보가 출력된다.

본 기술의 일측면의 정보 처리 장치는, 유저의 희망 출력 모달을 포함하는 유저 정보 및 전자 기기마다의 출력 모달에 관한 기기 정보에 기초하여, 복수의 전자 기기 중에서, 상기 희망 출력 모달에 대응한 출력 모달을 갖는 전자 기기를 선택하고, 상기 희망 출력 모달에 대응한 출력 모달로부터 정보를 출력하는 출력 명령을 선택한 상기 전자 기기로 송신하는 다른 정보 처리 장치로부터 송신된 상기 출력 명령을, 네트워크를 통해 수신하고, 수신한 상기 출력 명령에 기초하여, 상기 희망 출력 모달에 대응한 출력 모달로부터 상기 정보를 출력하는 처리를 행하는 처리부를 구비하는 정보 처리 장치이다.

본 기술의 일측면의 정보 처리 방법은, 정보 처리 장치가, 유저의 희망 출력 모달을 포함하는 유저 정보 및 전자 기기마다의 출력 모달에 관한 기기 정보에 기초하여, 복수의 전자 기기 중에서, 상기 희망 출력 모달에 대응한 출력 모달을 갖는 전자 기기를 선택하고, 상기 희망 출력 모달에 대응한 출력 모달로부터 정보를 출력하는 출력 명령을 선택한 상기 전자 기기로 송신하는 다른 정보 처리 장치로부터 송신된 상기 출력 명령을, 네트워크를 통해 수신하고, 수신한 상기 출력 명령에 기초하여, 상기 희망 출력 모달에 대응한 출력 모달로부터 상기 정보를 출력하는 정보 처리 방법.

본 기술의 일측면의 정보 처리 장치 및 정보 처리 방법에 있어서는, 유저의 희망 출력 모달을 포함하는 유저 정보 및 전자 기기마다의 출력 모달에 관한 기기 정보에 기초하여, 복수의 전자 기기 중에서, 상기 희망 출력 모달에 대응한 출력 모달을 갖는 전자 기기를 선택하고, 상기 희망 출력 모달에 대응한 출력 모달로부터 정보를 출력하는 출력 명령을 선택한 상기 전자 기기로 송신하는 다른 정보 처리 장치로부터 송신된 상기 출력 명령이, 네트워크를 통해 수신되고, 수신된 상기 출력 명령에 기초하여, 상기 희망 출력 모달에 대응한 출력 모달로부터 상기 정보가 출력된다.

또한, 본 기술의 일측면의 정보 처리 장치는, 독립된 장치여도 되고, 하나의 장치를 구성하고 있는 내부 블록이어도 된다.

도 1은 본 기술을 적용한 전자 기기를 포함하는 시스템의 일 실시 형태의 구성의 예를 나타내는 블록도이다.
도 2는 본 기술을 적용한 전자 기기의 구성의 예를 나타내는 블록도이다.
도 3은 자기기로서 동작하는 전자 기기의 기능적 구성의 예를 나타내는 블록도이다.
도 4는 연계 기기로서 동작하는 전자 기기의 기능적 구성의 예를 나타내는 블록도이다.
도 5는 출력 모달 결정 처리의 흐름을 설명하는 흐름도이다.
도 6은 유저 정보 테이블의 예를 나타내는 도면이다.
도 7은 연계 기기 정보 테이블의 제1 예를 나타내는 도면이다.
도 8은 연계 기기 정보 테이블의 제2 예를 나타내는 도면이다.
도 9는 음성 읽기 가능한 자기기가 출력하는 케이스의 예를 나타내는 도면이다.
도 10은 음성 읽기 가능한 연계 기기에 출력을 의뢰하는 케이스의 예를 나타내는 도면이다.
도 11은 화면 출력 가능한 자기기가 출력하는 케이스의 예를 나타내는 도면이다.
도 12는 화면 출력 가능한 연계 기기에 출력을 의뢰하는 케이스의 예를 나타내는 도면이다.
도 13은 연계 기기 선택 처리의 흐름을 설명하는 흐름도이다.
도 14는 제2 후보 모달 선택 처리의 흐름을 설명하는 흐름도이다.
도 15는 최적 출력 모달 선택 처리의 흐름을 설명하는 흐름도이다.
도 16은 최적 출력 모달 선택 처리의 흐름을 설명하는 흐름도이다.
도 17은 유저 속성·출력 모달 대응 테이블의 예를 나타내는 도면이다.
도 18은 유저 정보 테이블의 다른 예를 나타내는 도면이다.
도 19는 유저 정보 설정 화면의 예를 나타내는 도면이다.
도 20은 기기 연계 시에 있어서의 연계 확인 정보의 예를 나타내는 도면이다.
도 21은 본 기술을 적용한 전자 기기를 포함하는 시스템의 일 실시 형태의 다른 구성의 예를 나타내는 블록도이다.
도 22는 본 기술을 적용한 시스템의 일 실시 형태의 구성의 제1 예를 나타내는 블록도이다.
도 23은 본 기술을 적용한 시스템의 일 실시 형태의 구성의 제2 예를 나타내는 블록도이다.
도 24는 본 기술을 적용한 시스템의 일 실시 형태의 구성의 제3 예를 나타내는 블록도이다.
도 25는 본 기술을 적용한 시스템의 일 실시 형태의 구성의 제4 예를 나타내는 블록도이다.
도 26은 본 기술을 적용한 시스템의 일 실시 형태의 구성의 다른 구체적인 예의 하나로서, 분산형 시스템을 도시하는 도면이다.
도 27은 컴퓨터의 구성예를 도시하는 도면이다.

이하, 도면을 참조하면서 본 기술의 실시 형태에 대하여 설명한다. 또한, 설명은 이하의 순서로 행하는 것으로 한다.

1. 본 기술의 실시 형태

2. 시스템의 구성

3. 컴퓨터의 구성

<1. 본 기술의 실시 형태>

(시스템의 구성)

도 1은, 본 기술을 적용한 전자 기기를 포함하는 시스템의 일 실시 형태의 구성의 예를 나타내고 있다.

도 1에 있어서, 전자 기기(10-1 내지 10-N)(N: 2 이상의 정수)와 라우터(20)는, 홈 네트워크(30)를 통해 서로 접속되어 있다. 이 홈 네트워크(30)는, 예를 들어 무선 LAN(Local Area Network) 등의 네트워크로 구성된다.

전자 기기(10-1)는, 예를 들어 정보 기기, 영상 기기, 음향 기기, 또는 가전 기기 등의 기기로서 구성된다.

또한, 정보 기기로서는, 예를 들어 스마트폰이나 휴대 전화기, 스마트 시계, 태블릿형 단말기, 게임기, 퍼스널 컴퓨터 등을 포함한다. 또한, 영상 기기로서는, 예를 들어 텔레비전 수상기, 프로젝터, 디스플레이 장치 등을 포함한다.

또한, 음향 기기로서는, 예를 들어 스마트 스피커, 스피커, 헤드폰 등을 포함한다. 또한, 가전 기기로서는, 예를 들어 세탁기나 냉장고, 전자 레인지 등의 백색 가전을 포함한다. 또한, 여기에 열거한 기기는 일례이며, 예를 들어 동물형이나 인형의 가정용 로봇이나, 로봇 청소기 등의 로봇 등을 포함해도 된다.

전자 기기(10-1)는, 최적의 출력 모달로 정보를 출력할 수 있다. 여기서, 출력 모달이란, 전자 기기(10-1 내지 10-N) 각각이 갖는 (정보의) 표현 수단이다. 또한, 전자 기기(10-1)는, 홈 네트워크(30)를 통해, 전자 기기(10-2 내지 10-N) 등의 다른 전자 기기(10)와의 사이에서 정보를 주고받기할 수 있다.

전자 기기(10-2 내지 10-N)는, 전자 기기(10-1)와 마찬가지로, 정보 기기 등의 기기로서 각각 구성된다. 전자 기기(10-2 내지 10-N)의 각각은, 최적의 출력 모달로 정보를 출력할 수 있다. 또한, 전자 기기(10-2 내지 10-N)의 각각은, 다른 전자 기기(10)와의 사이에서 정보를 주고받기할 수 있다.

또한, 도 1에 있어서, 라우터(20)는, 인터넷(50)에 접속 가능하고, 전자 기기(10-1 내지 10-N)의 각각은, 인터넷(50)을 통해 서버(40)와 각종 정보를 주고받기할 수 있다.

서버(40)는, 예를 들어 하나 또는 복수의 서버로 구성되어, 데이터 센터 등에 설치된다. 서버(40)는, 유저나 기기에 관한 정보 등을 데이터베이스에 의해 관리하고 있고, 전자 기기(10-1 내지 10-N)의 어느 것으로부터의 요구에 따라, 인터넷(50)을 통해 각종 정보를 제공할 수 있다.

또한, 이하의 설명에서는, 전자 기기(10-1 내지 10-N)를, 특별히 구별할 필요가 없는 경우에는, 단순히 전자 기기(10)라고 기재한다.

또한, 상세는 후술하지만, 전자 기기(10)에는, 그 동작 내용에 따라, 동작의 주체가 되는 자기기와, 자기기와 연계하여 동작하는 연계 기기의 2종류가 존재하기 때문에, 이하의 설명에서는, 자기기로서 동작하는 전자 기기(10)를, 전자 기기(10A)라고도 기재하는 한편, 연계 기기로서 동작하는 전자 기기(10)를, 전자 기기(10B)라고도 기재하여 구별한다.

(전자 기기의 구성)

도 2는, 도 1의 전자 기기(10)의 구성의 예를 나타내고 있다.

도 2에 있어서, 전자 기기(10)는, 처리부(100), 입력부(101), 출력부(102), 센서부(103), 통신부(104) 및 기억부(105)를 포함하여 구성된다.

처리부(100)는, 예를 들어 CPU(Central Processing Unit)나 마이크로컨트롤러 등의 프로세서, FPGA(Field Programmable Gate Array) 등으로 구성된다. 처리부(100)는, 각 부의 동작의 제어나 각종 연산 처리를 행하는 중심적인 처리 장치이다.

입력부(101)는, 유저와의 사이의 입력 인터페이스로서, 예를 들어 마이크로폰(101-1)이나, 버튼(101-2) 등을 포함한다.

마이크로폰(101-1)은, 유저의 음성이나 주위의 소리를 포함하는 외부로부터의 소리를 전기 신호로 변환하고, 그 결과 얻어지는 음성 정보를 처리부(100)에 공급한다. 또한, 버튼(101-2)은, 물리적인 버튼이고, 유저의 조작에 따른 조작 정보를 처리부(100)에 공급한다.

또한, 여기서는, 입력부(101)로서, 마이크로폰(101-1)과 버튼(101-2)을 포함하는 경우를 예시했지만, 예를 들어 후술하는 디스플레이(102-1)와 조합한 터치 패널이나, 키보드, 마우스 등의 다른 입력 수단을 포함해도 된다.

출력부(102)는, 유저와의 사이의 출력 인터페이스로서, 예를 들어 디스플레이(102-1), 스피커(102-2), 전자음 버저(102-3), 진동 소자(102-4), 램프(102-5)를 포함한다.

디스플레이(102-1)는, 예를 들어 액정 디스플레이(LCD: liquid crystal display)이나 OLED(Organic Light Emitting Diode) 디스플레이 등의 표시 장치이다. 디스플레이(102-1)는, 처리부(100)로부터 공급되는 출력 명령에 따른 정보를 표시한다.

스피커(102-2)는, 예를 들어 음성이나 음악 등의 소리를 재생하는 음성 출력 장치이다. 스피커(102-2)는, 처리부(100)로부터 공급되는 출력 명령에 따른 소리를 출력한다. 전자음 버저(102-3)는, 예를 들어 「삐」 등의 전자음을 출력 가능한 발음 장치이다. 전자음 버저(102-3)는, 처리부(100)로부터 공급되는 출력 명령에 따른 전자음을 출력한다.

진동 소자(102-4)는, 처리부(100)로부터 공급되는 출력 명령에 따라 진동함으로써, 유저에 대하여 진동 자극을 부여한다. 램프(102-5)는, 예를 들어 LED(Light Emitting Diode) 등의 광원을 포함하는 발광 장치이다. 램프(102-5)는, 처리부(100)로부터 공급되는 출력 명령에 따라 점등한다.

또한, 여기서는, 출력부(102)로서, 디스플레이(102-1)나 스피커(102-2) 등을 포함하는 경우를 예시했지만, 예를 들어 로봇의 구동 부위(예를 들어, 헤드부나 암 등) 등의 다른 출력 수단을 포함해도 된다.

센서부(103)는, 예를 들어 각종 센서 디바이스 등으로 구성된다. 이 센서 디바이스로서는, 예를 들어 측정 센서(103-1)나, 화상 센서(103-2) 등을 포함한다.

측정 센서(103-1)는, 예를 들어 자장(자계)의 크기나 방향을 검출하는 자기 센서, 가속도를 검출하는 가속도 센서, 각도(자세)나 각속도, 각가속도를 검출하는 자이로 센서, 근접하는 것을 검출하는 근접 센서 등을 포함할 수 있다. 측정 센서(103-1)는, 유저나 그 주변 등의 센싱을 행하고, 그 결과 얻어지는 환경 정보(센싱 정보를 포함함)를 처리부(100)에 공급한다.

화상 센서(103-2)는, 예를 들어 이미지 센서와 신호 처리부를 포함하여 구성된다. 화상 센서(103-2)는, 이미지 센서에 의해 피사체를 촬상하여 얻어지는 촬상 신호에 대하여, 신호 처리부에 의해 각종 신호 처리를 행함으로써 화상 정보를 생성하여, 처리부(100)에 공급한다.

또한, 여기서는, 센서부(103)로서, 측정 센서(103-1)나 화상 센서(103-2) 등을 포함하는 경우를 설명했지만, 예를 들어 온도를 검출하는 온도 센서나, 습도를 검출하는 습도 센서, 주위의 밝기를 검출하는 환경광 센서 등의 주위의 환경을 측정하기 위한 센서나, 호흡이나 맥박, 지문, 홍채 등의 생체 정보를 검출하는 생체 센서 등의 다른 센서 디바이스를 포함해도 된다.

통신부(104)는, 소정의 규격에 준거한 무선 통신 또는 유선 통신에 대응한 통신 모듈 등으로 구성된다. 이 통신 모듈로서는, 예를 들어 무선 LAN이나, 셀룰러 시스템의 통신(예를 들어, LTE-Advanced나 5G) 등의 통신 방식에 대응한 것으로 된다. 통신부(104)는, 처리부(100)로부터의 제어에 따라, 각종 정보를, 다른 전자 기기(10) 또는 서버(40)와의 사이에서 주고받기한다.

기억부(105)는, 예를 들어 반도체 메모리나 HDD(Hard Disk Drive) 등의 기억 장치로 구성된다. 기억부(105)는, 처리부(100)로부터의 제어에 따라, 각종 정보를 기억한다.

또한, 도 2에 나타낸 전자 기기(10)의 구성은 일례이며, 모든 구성 요소를 구비할 필요는 없고, 예를 들어 입력부(101)나 센서부(103) 등의 일부의 구성 요소를 제외한 구성으로 해도 된다. 혹은, 도 2에 나타낸 전자 기기(10)의 구성에 대하여, 다른 구성 요소를 더해도 된다.

(자기기의 기능적 구성)

도 3은, 자기기로서 동작하는 전자 기기(10A)의 기능적 구성의 예를 나타내고 있다.

전자 기기(10A)에 있어서, 처리부(100)는, 유저 식별부(121), 출력 모달 결정부(122) 및 환경 식별부(123)를 포함한다.

유저 식별부(121)는, 정보의 출력처가 되는 유저를 식별하는 기능을 갖는다. 유저 식별부(121)는, 화자 식별부(131), 얼굴 인식부(132) 및 식별 결과 통합부(133)를 포함한다.

화자 식별부(131)는, 마이크로폰(101-1)으로부터 공급되는 음성 정보를 사용한 화자 인식 처리를 행하고, 그 식별 결과를, 식별 결과 통합부(133)에 공급한다. 이 화자 인식 처리에서는, 예를 들어 음성 정보로부터 특징량을 추출하여 모델화하고, 그것을 사용하여 개인의 목소리의 인식을 행하는 화자 인식 알고리즘 등, 공지의 기술을 사용할 수 있다.

얼굴 인식부(132)는, 화상 센서(103-2)로부터 공급되는 화상 정보를 사용한 얼굴 인식 처리를 행하고, 그 식별 결과를, 식별 결과 통합부(133)에 공급한다. 이 얼굴 인식 처리에서는, 예를 들어 화상 정보로부터 두드러지는 특징을 추출하여 일치하는 특징이 있는 화상을 검색하여 개인의 얼굴의 인식을 행하는 얼굴 인식 알고리즘 등, 공지의 기술을 사용할 수 있다.

식별 결과 통합부(133)는, 화자 식별부(131)로부터 공급되는 화자의 식별 결과와, 얼굴 인식부(132)로부터 공급되는 얼굴의 식별 결과를 통합하여, 정보의 출력처가 되는 유저(그 자리에 있는 유저)를 식별하고, 그 유저 식별 결과를, 출력 모달 결정부(122)에 공급한다. 이 유저 식별 결과로서는, 예를 들어 식별한 유저에 할당된 유저 ID를 사용할 수 있다.

출력 모달 결정부(122)는, 미리 등록되어 있는 유저 정보를 참조하여, 식별 결과 통합부(133)로부터 공급되는 유저 식별 결과(유저 ID)에 따른 희망 출력 모달을 취득한다.

또한, 출력 모달 결정부(122)는, 자기기의 출력 모달로서, 식별한 유저의 희망 출력 모달을 갖고 있는 경우, 정보의 출력 명령을, 희망 출력 모달에 대응한 자기기의 출력부(102)에 공급한다. 이에 의해, 자기기로서 동작하는 전자 기기(10A)에 있어서, 희망 출력 모달에 대응한 출력부(102)는, 출력 모달 결정부(122)로부터의 출력 명령에 따른 정보를 출력한다.

한편, 출력 모달 결정부(122)는, 자기기의 출력 모달로서, 식별한 유저의 희망 출력 모달을 갖고 있지 않은 경우, 미리 등록되어 있는 연계 기기 정보를 참조(취득)하여, 식별한 유저의 희망 출력 모달을 갖는 연계 기기를 선택한다.

그리고, 출력 모달 결정부(122)는, 통신부(104)를 제어하여, 정보의 출력 명령을, 홈 네트워크(30)를 통해, 희망 출력 모달에 대응한 출력부(102)를 갖는 연계 기기로 송신한다. 이에 의해, 연계 기기로서 동작하는 전자 기기(10B)에 있어서, 희망 출력 모달에 대응한 출력부(102)는, 자기기로서 동작하는 전자 기기(10A)로부터 송신되어 오는 출력 명령에 따른 정보를 출력한다.

여기서, 식별한 유저가 희망 출력 모달을 설정하고 있지 않은 경우에는, 출력 모달 결정부(122)로부터의 출력 명령에 따른 정보를, 자기기의 출력 모달(출력부(102))로부터 출력하면 된다.

또한, 출력 모달 결정부(122)는, 통신부(104)를 제어하여, 유저 정보와 연계 기기 정보를, 인터넷(50)을 통해 서버(40)로부터 취득할 수 있다.

즉, 서버(40)는, 유저 정보 테이블을 기억한 유저 정보 기억부(401)와, 연계 기기 정보 테이블을 기억한 연계 기기 정보 기억부(402)를 갖고 있고, 전자 기기(10A)로부터의 요구에 따라, 유저 정보 테이블에 저장된 유저 정보, 또는 연계 기기 정보 테이블에 저장된 연계 기기 정보를 제공할 수 있다. 바꾸어 말하면, 유저 정보 테이블과 연계 기기 정보 테이블은, 홈 네트워크(30)에 접속된 복수의 전자 기기(10) 사이에서 공유되어 있는 정보라고 할 수 있다.

또한, 유저 식별부(121)에서는, 화자 식별 및 얼굴 인식 중 적어도 한쪽의 식별이 행해지면 되고, 한쪽의 식별만이 행해지는 경우에는, 식별 결과 통합부(133)에 의한 식별 결과의 통합을 행할 필요가 없고, 한쪽의 식별 결과에 따른 유저 식별 결과(유저 ID)가 출력 모달 결정부(122)에 공급된다.

또한, 전자 기기(10A)가 유저의 식별을 행하는 타이밍은, 예를 들어 다음의 두 패턴이 상정된다. 첫째, 전자 기기(10A)가 유저에게 정보를 통지하고 싶을 때이다. 이 케이스로서는, 예를 들어 전화나 메일의 착신 통지, 알람이나 리마인더, 에러 통지 등이 포함된다.

둘째, 유저가 전자 기기(10A)에 정보를 구했을 때이다. 여기서는, 예를 들어 유저에 의한 리모트 컨트롤러의 조작이나, 마이크로폰에 의한 음성 입력이 행해진 경우가 포함된다. 구체적으로는, 예를 들어 유저가, 음성 AI 어시스턴트 서비스를 이용하는 경우에 있어서의, 「내일의 날씨를 알려주면 좋겠다.」, 「예정을 등록하고 싶다」, 「정보를 검색하고 싶다」 등의 음성 발화가 포함된다.

또한, 자기기로서 동작하는 전자 기기(10A)에 있어서, 유저 식별부(121)에 의한 유저의 식별이 곤란한 경우에는, 홈 네트워크(30)를 통해, 연계 기기로서 동작하는 전자 기기(10B)와 연계하여, 전자 기기(10B)로부터 유저 식별 정보를 취득하고, 이 유저 식별 정보를 사용한 유저의 식별이 행해지도록 해도 된다.

환경 식별부(123)는, 센서부(103)(예를 들어, 측정 센서(103-1) 등) 또는 통신부(104) 등으로부터 공급되는 환경 정보(센싱 정보를 포함함)를 사용한 환경 식별 처리를 행하고, 그 식별 결과를, 출력 모달 결정부(122)에 공급한다.

이 환경 정보로서는, 예를 들어 유저에 관한 정보(예를 들어, 유저의 위치를 나타내는 정보)나, 다른 기기에 관한 정보(예를 들어, 스마트 시계의 활동 정보 등 다른 기기의 정보나, 다른 기기의 사용 상황을 나타내는 정보), 그 주변에 관한 정보 등, 다양한 정보를 포함할 수 있다. 또한, 이 환경 식별 처리에서는, 환경 정보를 사용한 환경 식별 알고리즘이 실행됨으로써, 예를 들어 현재 유저가 어느 방에 있는지, 유저의 근처에 있는 기기는 무엇인지 등의 식별 결과를 얻을 수 있다.

즉, 자기기로서 동작하는 전자 기기(10A)에, 유저 식별을 위한 디바이스(카메라나 마이크로폰)가 구비되어 있지 않은 경우에는, 기기 연계하고 있는 다른 전자 기기(10)로부터의 정보를 사용하여 유저 식별 등의 처리를 행해도 된다.

구체적으로는, 스마트 스피커가 정보를 출력하는 데, 동일한 방에 있는 텔레비전 수상기에 내장된 카메라의 화상 정보를 사용하여 유저 식별을 행하는 케이스가 있다. 또한, 텔레비전 수상기가 정보를 출력하는 데, 유저가 재실하고 있는지 여부를, 스마트폰의 GPS(Global Positioning System) 정보를 사용하여 판단한다는 케이스도 있다.

출력 모달 결정부(122)는, 식별한 유저의 희망 출력 모달에 따른 출력 모달의 결정을 행할 때, 환경 식별부(123)로부터 공급되는 환경의 식별 결과를 가미하여 출력 모달을 결정하고, 자기기의 출력부(102), 또는 연계 기기에 대하여 출력 명령을 통지할 수 있다.

(연계 기기의 기능적 구성)

도 4는, 연계 기기로서 동작하는 전자 기기(10B)의 기능적 구성의 예를 나타내고 있다.

전자 기기(10B)에 있어서, 처리부(100)는, 출력 명령 해석부(141) 및 출력 제어부(142)를 포함한다. 또한, 전자 기기(10B)에 있어서, 통신부(104)는, 자기기로서 동작하는 전자 기기(10A)로부터, 홈 네트워크(30)를 통해 출력 명령을 수신한 경우, 출력 명령을, 출력 명령 해석부(141)에 공급한다.

출력 명령 해석부(141)는, 통신부(104)로부터 공급되는 출력 명령을 해석하고, 그 해석 결과를, 출력 제어부(142)에 공급한다.

출력 제어부(142)는, 출력 명령 해석부(141)로부터의 출력 명령의 해석 결과에 기초하여, 희망 출력 모달에 대응한 출력부(102)에 대하여, 제어 신호를 공급한다. 이에 의해, 연계 기기로서 동작하는 전자 기기(10B)에 있어서, 희망 출력 모달에 대응한 출력부(102)는, 자기기로서 동작하는 전자 기기(10A)로부터 송신되어 오는 출력 명령에 따른 정보를 출력하게 된다.

전자 기기(10)는, 이상과 같이 구성된다.

(출력 모달 결정 처리의 흐름)

이어서, 도 5의 흐름도를 참조하여, 전자 기기(10A)(의 처리부(100))에 의해 실행되는 출력 모달 결정 처리의 흐름을 설명한다.

스텝 S11에 있어서, 출력 모달 결정부(122)는, 유저 정보 테이블을 참조하여, 정보의 출력처는 등록 완료된 유저인지 여부를 판정한다.

여기서, 도 6은, 유저 정보 테이블의 예를 나타내고 있다. 이 유저 정보 테이블에서는, 유저 ID마다, 유저명, 성별, 연령 및 희망 출력 모달이 저장되어 있다.

구체적으로는, "01" 내지 "04"의 유저 ID로서, "히로시", "유키", "유타", "유조"의 4명의 유저가 등록 완료이다.

히로시는 성별이 남성이고, 연령이 38세인 것은 등록 완료이지만, 희망 출력 모달은 미등록이다. 유키는 38세의 여성이고, 희망 출력 모달로서, "항상 화면 출력을 희망"하는 것이 등록되어 있다.

또한, 유타는 10세의 남성인 것은 등록 완료이지만, 희망 출력 모달은 미등록이다. 유조는 75세의 남성이고, 희망 출력 모달로서, "음성 읽기는 말속도를 느리게"하는 것이 등록되어 있다.

또한, 이 유저 정보의 등록은, 예를 들어 전자 기기(10)의 구입 시 등의 타이밍에 행해진다. 예를 들어, 스마트폰이나 텔레비전 수상기 등의 전자 기기(10)에, 설정 화면을 표시하고, 유저가 설정 화면의 항목에 정보를 입력 또는 선택하는 조작 등을 행함으로써, 유저 정보가, 서버(40)의 유저 정보 기억부(401)(의 유저 정보 테이블)에 등록된다.

또한, 이 유저 정보의 등록 시에는, 유저마다, 희망 출력 모달을 설정할 수 있다. 이 설정은, 유저의 어카운트에 결합되어, 모든 전자 기기(10)에 의해 공유된다. 희망 출력 모달의 베리에이션으로서는, 예를 들어 다음의 (a) 내지 (f)에 나타내는 것을 예시할 수 있다.

(a) 모든 통지에서 음성 읽기(전자음의 번역을 포함함)를 설정

(b) 모든 통지에서 화면이나 광에서의 출력을 설정

(c) 음성 읽기할 때의 음량이나 말속도의 설정

(d) 화면 출력할 때의 문자의 색이나 크기의 설정

(e) 진동(바이브레이션)으로 통지할 때의 진폭이나 진동 패턴의 설정

(f) 광으로 통지할 때의 색이나 점등 패턴의 설정

도 5의 설명으로 돌아가, 스텝 S11의 판정 처리에서, 정보의 출력처는 등록 완료된 유저라고 판정된 경우, 처리는 스텝 S12로 진행된다.

스텝 S12에 있어서, 출력 모달 결정부(122)는, 연계 기기 정보 테이블을 참조하여, 희망의 출력 모달이 등록되어 있는지 여부를 판정한다.

여기서, 도 7은, 연계 기기 정보 테이블의 예를 나타내고 있다. 이 연계 기기 정보 테이블에서는, 전자 기기(10)에 할당되는 기기 ID마다, 기기명 및 출력 모달의 항목이 마련되고, 각 항목에 따른 정보가 저장되어 있다.

구체적으로는, "00" 내지 "06"의 기기 ID로서, 텔레비전 수상기, 스마트폰 A, 스마트폰 B, 스마트 스피커, 로봇 청소기, 냉장고, 세탁기가 등록되어 있다. 또한, 여기서는, 출력 모달로서, "화면"은 화면 출력, "음성"은 음성 읽기(예를 들어, TTS(Text To Speech)), "전자음"은 전자음 출력을 각각 의미하고 있다.

텔레비전 수상기, 스마트폰 A 및 스마트폰 B는, 디스플레이(102-1) 및 스피커(102-2)를 출력부(102)에 포함하기 때문에, 출력 모달로서, "화면" 및 "음성"을 포함한다. 스마트 스피커 및 로봇 청소기는, 스피커(102-2)를 출력부(102)에 포함하기 때문에, 출력 모달로서, "음성"을 포함한다. 냉장고 및 세탁기는, 전자음 버저(102-3)를 출력부(102)에 포함하기 때문에, 출력 모달로서, "전자음"을 포함한다.

또한, 이 연계 기기 정보의 등록은, 예를 들어 전자 기기(10)의 구입 시 등의 타이밍에 수동 또는 자동으로 행해진다.

수동으로 등록하는 경우에는, 예를 들어 스마트폰 등의 전자 기기(10)에 설정 화면을 표시하여 유저에 의해 설정의 조작이 행해진다. 또한, 자동으로 등록하는 경우에는, 예를 들어 새로운 전자 기기(10)가 홈 네트워크(30)에 접속했을 때, 기기 ID, 기기명, 출력 모달 등의 정보를 포함하는 설정 정보가, 인터넷(50)을 통해 서버(40)로 송신되어, 연계 기기 정보 테이블에 저장된다.

도 5의 설명으로 돌아가, 스텝 S12의 판정 처리에서, 희망의 출력 모달이 등록되어 있다고 판정된 경우, 처리는 스텝 S13으로 진행된다.

스텝 S13에 있어서, 출력 모달 결정부(122)는, 연계 기기 정보 테이블을 참조하여, 희망의 출력 모달이 자기기에 존재하지 않는지 여부를 판정한다.

스텝 S13의 판정 처리에서, 희망의 출력 모달이 자기기에 존재한다고 판정된 경우, 처리는 스텝 S14로 진행된다.

스텝 S14에 있어서, 출력 모달 결정부(122)는, 유저가 희망하는 출력 모달로 자기기로부터 정보를 출력한다. 이 경우, 자기기로서 동작하는 전자 기기(10A)에서는, 희망 출력 모달에 대응한 출력부(102)가, 출력 모달 결정부(122)로부터의 출력 명령에 따른 정보를 출력한다.

또한, 스텝 S13의 판정 처리에서, 희망의 출력 모달이 자기기에 존재하지 않는다고 판정된 경우, 처리는 스텝 S15로 진행된다.

스텝 S15에 있어서, 출력 모달 결정부(122)는, 연계 기기 정보 테이블을 참조하여, 희망의 출력 모달을 갖는 연계 기기가 존재하는지 여부를 판정한다.

스텝 S15의 판정 처리에서, 희망의 출력 모달을 갖는 연계 기기가 존재한다고 판정된 경우, 처리는 스텝 S16으로 진행된다.

스텝 S16에 있어서, 출력 모달 결정부(122)는, 유저가 희망하는 출력 모달로 연계 기기로부터 정보를 출력한다. 이 경우, 연계 기기로서 동작하는 전자 기기(10B)에서는, 희망 출력 모달에 대응한 출력부(102)가, 자기기로서 동작하는 전자 기기(10A)로부터 송신되어 오는 출력 명령에 따른 정보를 출력한다.

또한, 스텝 S11의 판정 처리에서, 정보의 출력처는 등록 완료된 유저가 아니라고 판정된 경우, 스텝 S12의 판정 처리에서, 희망의 출력 모달이 등록되어 있지 않다고 판정된 경우, 또는 스텝 S15의 판정 처리에서, 희망의 출력 모달을 갖는 연계 기기가 존재하지 않는다고 판정된 경우, 처리는 스텝 S17로 진행된다.

스텝 S17에 있어서, 출력 모달 결정부(122)는, 디폴트의 출력 모달로 자기기로 정보를 출력한다. 이 경우, 자기기로서 동작하는 전자 기기(10A)에서는, 미리 설정된 디폴트의 출력 모달에 대응한 출력부(102)가, 출력 모달 결정부(122)로부터의 출력 명령에 따른 정보를 출력한다.

스텝 S14, S16, 또는 S17의 처리 어느 것이 종료되면, 출력 모달 결정 처리는 종료된다.

이상, 출력 모달 결정 처리의 흐름을 설명했다. 이 출력 모달 결정 처리에서는, 유저 정보와 연계 기기 정보가 취득되고, 취득된 유저 정보와 연계 기기 정보에 기초하여, 복수의 전자 기기(10) 중에서, 정보를 출력하는 출력 모달을 갖는 전자 기기(10)가 선택되고, 선택된 전자 기기가 갖는 출력 모달로부터 정보가 출력된다.

(연계 기기 정보 테이블의 다른 예)

도 8은, 도 5의 스텝 S12, S13, S15의 처리에서 참조되는 연계 기기 정보 테이블의 다른 예를 나타내고 있다.

도 8에 있어서, 연계 기기 정보 테이블은, 기기 ID마다, 기기명, 화면 피드백, 소리 피드백, 광 피드백, 진동 및 동작의 항목이 마련되어, 각 항목에 따른 정보가 저장되어 있다.

또한, 화면 피드백의 항목은, 동화상 출력과 영숫자 출력(예를 들어, 디지털 영숫자만 출력 가능 등)의 항목을 포함하고, 소리 피드백의 항목은, 음성 읽기와 전자음 출력의 항목을 포함하고, 광 피드백의 항목은, 복수색으로 발광과 단색으로 발광의 항목을 포함하고 있다.

또한, 도 8에서는, 도면 중의 백색 원(○)이, 각 항목에서 표현된 출력 모달에 대응 가능한 것을 나타내고 있다. 즉, 도 8의 연계 기기 정보 테이블은, 상술한 도 7의 연계 기기 정보 테이블에 비해, 출력 모달을 세분화하여 나타내고 있다.

텔레비전 수상기는, 디스플레이(102-1) 및 스피커(102-2)를 포함하기 때문에, 출력 모달로서, "동화상 출력" 및 "영숫자 출력", 그리고 "음성 읽기" 및 "전자음 출력"을 포함한다.

스마트폰 A, B는, 디스플레이(102-1), 스피커(102-2), 전자음 버저(102-3), 진동 소자(102-4) 및 램프(102-5)를 포함하기 때문에, 출력 모달로서, "동화상 출력" 및 "영숫자 출력", "음성 읽기" 및 "전자음 출력", "단색으로 발광", 그리고 "진동"을 각각 포함한다.

스마트 스피커는, 스피커(102-2), 전자음 버저(102-3) 및 램프(102-5)를 포함하기 때문에, 출력 모달로서, "음성 읽기", "전자음 출력" 및 "복수색으로 발광"을 포함한다. 로봇 청소기는, 전자음 버저(102-3) 및 구동 부위를 포함하기 때문에, 출력 모달로서, "전자음 출력" 및 "동작"을 포함한다. 즉, 로봇 청소기는, 자기기의 움직임으로 정보의 출력이 가능하게 된다.

냉장고는 및 세탁기는, 디스플레이(102-1), 전자음 버저(102-3) 및 램프(102-5)를 포함하기 때문에, 출력 모달로서, "영숫자 출력", "전자음 출력" 및 "단색으로 발광"을 각각 포함한다. 전자 레인지는, 디스플레이(102-1) 및 전자음 버저(102-3)를 포함하기 때문에, 출력 모달로서, "영숫자 출력" 및 "전자음 출력"을 포함한다.

스마트 시계는, 디스플레이(102-1), 스피커(102-2), 전자음 버저(102-3), 진동 소자(102-4) 및 램프(102-5)를 포함하기 때문에, 출력 모달로서, "동화상 출력" 및 "영숫자 출력", "음성 읽기" 및 "전자음 출력", "복수색으로 발광", 그리고 "진동"을 각각 포함한다.

또한, 도 8의 연계 기기 정보 테이블은 일례이며, 다른 출력 모달을 추가하거나, 혹은 삭제하거나 해도 된다. 또한, 출력 모달을 세분화한 것으로서는, 기타의 정보를 포함해도 된다. 예를 들어, 화면 피드백을, 화면 사이즈나 해상도 등의 기능마다 분류해도 된다.

(출력 모달 결정의 구체예)

이어서, 도 9 내지 도 12를 참조하여, 출력 모달의 선택과 출력 기기의 결정의 예를 설명한다.

이하의 설명에서는, 전자 기기(10-1 내지 10-6)가, 스마트 스피커, 스마트폰, 텔레비전 수상기, 세탁기, 냉장고, 스마트 시계인 경우를 예시하기 위해, 스마트 스피커(10-1), 스마트폰(10-2), 텔레비전 수상기(10-3), 세탁기(10-4), 냉장고(10-5), 스마트 시계(10-6)라고도 기재한다.

(a) 음성 읽기 가능한 자기기가 출력하는 케이스

도 9에 있어서, 스마트 스피커(10-1)와, 스마트폰(10-2)과, 텔레비전 수상기(10-3)는, 출력 모달로서 "음성"을 포함하여, 정보의 음성 읽기가 가능한 기기이다.

예를 들어, 유저가 「이번주의 날씨 알려줘」의 발화를 행한 경우에, 당해 유저가 희망 출력 모달로서, "항상 음성 읽기를 희망"을 등록하고 있던 경우를 상정한다.

이때, 예를 들어 스마트 스피커(10A-1)는, 출력 모달로서 "음성"을 포함하고 있기 때문에, 자기기로서 동작하여, 「주간 날씨입니다. 월요일부터 수요일은 맑고, 금요일과 토요일은 비가 내릴 것입니다 최고 기온은, …」의 텍스트를 음성 읽기하고, 희망 출력 모달에 대응한 스피커(102-2)로부터 출력한다.

이와 같이, 음성 읽기를 희망하는 유저에 대하여, 음성 읽기 가능한 자기기가 대응하는 경우에는, 기기 연계를 행하지 않고, 자기기가 음성 읽기로 정보를 출력하게 된다. 또한, 이 예에서는, 스마트 스피커(10A-1)가 음성 읽기를 행하는 경우를 예시했지만, 예를 들어 환경 정보 등에 따라 스마트폰(10-2) 또는 텔레비전 수상기(10-3)가 음성 읽기를 행해도 된다.

(b) 음성 읽기 가능한 연계 기기에 출력을 의뢰하는 케이스

도 10에 있어서, 세탁기(10-4)와, 냉장고(10-5)는, 출력 모달로서 "전자음"을 포함하지만, "음성"을 포함하고 있지 않아, 정보의 음성 읽기가 가능한 기기는 아니다.

예를 들어, 세탁기(10-4)에서 세탁이 종료된 경우, 이 세탁을 행하고 있는 유저가, 희망 출력 모달로서, "항상 음성 읽기를 희망"을 등록하고 있던 경우를 상정한다.

이때, 세탁기(10A-4)는, 자기기로서 동작하지만, 출력 모달로서 "음성"을 포함하고 있지 않기 때문에, 연계 기기 정보 테이블을 참조하여, 출력 모달로서 "음성"을 포함하는 연계 기기로서, 스마트 스피커(10B-1)를 결정한다. 세탁기(10A-4)는, 세탁이 종료된 취지를 출력하기 위한 출력 명령을, 홈 네트워크(30)를 통해 스마트 스피커(10B-1)로 송신한다.

이에 의해, 스마트 스피커(10B-1)는, 세탁기(10A-4)로부터 송신되어 오는 출력 명령을 수신하여, 「세탁이 종료되었습니다」의 텍스트를 음성 읽기하고, 희망 출력 모달에 대응한 스피커(102-2)로부터 출력한다.

이와 같이, 음성 읽기를 희망하는 유저에 대하여, 음성 읽기를 할 수 없는 자기기가 대응하는 경우에는, 기기 연계를 행하여, 자기기로부터 연계 기기로 출력을 의뢰함으로써, 연계 기기가 음성 읽기로 정보를 출력하게 된다.

(c) 화면 출력 가능한 자기기가 출력하는 케이스

도 11에 있어서, 스마트폰(10-2)과, 텔레비전 수상기(10-3)와, 스마트 시계(10-6)는, 출력 모달로서 "화면"을 포함하여, 정보의 화면 출력이 가능한 기기이다.

예를 들어, 유저가 「이번주의 날씨 가르쳐」의 발화를 행한 경우에, 당해 유저가 희망 출력 모달로서, "항상 화면 출력을 희망"을 등록하고 있던 경우를 상정한다.

이때, 예를 들어 텔레비전 수상기(10A-3)는, 출력 모달로서 "화면"을 포함하고 있기 때문에, 자기기로서 동작하고, 주간 날씨에 관한 정보를, 출력 희망 모달에 대응한 디스플레이(102-1)로부터 출력한다.

이와 같이, 화면 출력을 희망하는 유저에 대하여, 화면 출력 가능한 자기기가 대응하는 경우에는, 기기 연계를 행하지 않고, 자기기가 화면 출력으로 정보를 출력하게 된다. 또한, 이 예에서는, 텔레비전 수상기(10-3)가 화면 출력을 행하는 경우를 예시했지만, 예를 들어 환경 정보 등에 따라 스마트폰(10-2) 또는 스마트 시계(10-6)가 화면 출력을 행해도 된다.

(d) 화면 출력 가능한 연계 기기에 출력을 의뢰하는 케이스

도 12에 있어서, 스마트 스피커(10-1)는, 출력 모달로서 "음성"을 포함하지만, "화면"을 포함하고 있지 않아, 정보의 화면 출력이 가능한 기기가 아니다.

예를 들어, 유저가 「이번주의 날씨 알려줘」의 발화를 행한 경우에, 당해 유저가 희망 출력 모달로서, "항상 화면 출력을 희망"을 등록하고 있던 경우를 상정한다.

이때, 스마트 스피커(10A-1)는, 자기기로서 동작하지만, 출력 모달로서 "화면"을 포함하고 있지 않기 때문에, 연계 기기 정보 테이블을 참조하여, 출력 모달로서 "화면"을 포함하는 연계 기기로서, 텔레비전 수상기(10B-3)를 결정한다. 스마트 스피커(10A-1)는, 주간 날씨에 관한 정보를 출력하기 위한 출력 명령을, 홈 네트워크(30)를 통해 텔레비전 수상기(10B-3)로 송신한다.

이에 의해, 텔레비전 수상기(10B-3)는, 스마트 스피커(10A-1)로부터 송신되어 오는 출력 명령을 수신하고, 주간 날씨에 관한 정보를, 출력 희망 모달에 대응한 디스플레이(102-1)로부터 출력한다.

이와 같이, 화면 출력을 희망하는 유저에 대하여, 화면 출력을 할 수 없는 자기기가 대응하는 경우에는, 기기 연계를 행하여, 자기기로부터 연계 기기로 출력을 의뢰함으로써, 연계 기기가 화면 출력으로 정보를 출력하게 된다.

이상과 같이, 본 기술에서는, 어느 기기(자기기)가, 다른 기기(연계 기기)의 출력 모달을 빌림으로써, 출력 모달이 한정된 기기라도, 기기 연계에 의해, 유저마다 최적의 출력 모달로 정보를 출력할 수 있다.

즉, 아크세시비리티를 고려하거나, 최적의 출력 모달을 선택하거나 하는 것은, 일반적으로 행해지고 있지만, 그 기기 자체에 화면 출력이나 음성 읽기 등의 출력 모달이 구비되어 있는 것이 전제였기 때문에, 특히 가전 기기 등에서는, 출력 모달이 한정되어 있는 경우도 있고, 그 경우에 아크세시비리티의 설정이 곤란했다.

특히, 전자 기기(10)를 사용하는 유저 중에는, 시각이나 청각 등 신체에 장애가 있는 사람이나, 어린이나 노인 등, 아크세시비리티에 대한 배려가 필요한 유저가 존재한다. 이들 유저에 있어서는, 전자 기기(10)의 출력 모달이 한정되어 있으면, 기기로부터의 피드백을 적절하게 수취할 수 없을 가능성이 있다.

예를 들어, 시각에 장애를 갖는 유저가, 출력 모달로서 "화면"만을 갖는 기기에 대하여, 주간 날씨를 문의한 경우에, 주간 날씨에 관한 정보가 화면 출력만으로 출력되면, 당해 유저는, 화면에 표시된 정보를 확인할 수 없다. 그것에 대하여, 본 기술에서는, 출력 모달로서 "화면"만을 갖는 기기(자기기)라도, 다른 기기(연계 기기)의 출력 모달을 빌려, 주간 날씨를 음성으로 출력할 수 있기 때문에, 아크세시비리티에 대한 충분한 배려가 가능하게 된다.

또한, 예를 들어 청각에 장애를 갖는 유저에 대하여, 출력 모달로서 "음성"만을 갖는 기기로부터 메시지가 음성 읽기된 경우, 당해 유저는, 읽혀진 음성을 확인할 수 없다. 그것에 비해, 본 기술에서는, 출력 모달로서 "음성"만을 갖는 기기(자기기)라도, 다른 기기(연계 기기)의 출력 모달을 빌려, 주간 날씨에 관한 정보를 화면 출력할 수 있다.

이어서, 본 기술을 적용한 전자 기기를 사용한 다양한 유스케이스의 예를 설명한다.

(연계 기기 선택 처리의 흐름)

먼저, 도 13의 흐름도를 참조하여, 전자 기기(10A)(의 처리부(100))에 의해 실행되는 연계 기기 선택 처리의 흐름을 설명한다.

이 연계 기기 선택 처리는, 도 5의 스텝 S16에 대응하는 처리이며, 유저가 희망하는 출력 모달을 갖는 연계 기기가 복수 존재하는 경우에, 그것들의 연계 기기 중에서, 출력처의 연계 기기를 선택하는 처리이다.

여기서는, 유저가 희망하는 출력 모달(예를 들어, 화면 출력이나 음성 읽기 등)을 갖는 연계 기기로서, 스마트폰(10B-2)과 텔레비전 수상기(10B-3)의 2개의 기기가 존재하는 경우를 예시한다.

단, 디폴트의 출력처로서 텔레비전 수상기(10B-3)가 설정되어 있기 때문에, 여기서는, 상황에 따라 스마트폰(10B-2)이 출력처로서 선택되게 된다. 또한, 정보를 수취하는 유저를, 유저 A라고 기재하고 있다.

스텝 S31에 있어서, 출력 모달 결정부(122)는, 환경 정보 등의 정보에 기초하여, 텔레비전 수상기(10B-3)와 스마트폰(10B-2) 각각에서, 유저 A와의 거리에 관한 거리 정보를 취득한다.

여기서는, 텔레비전 수상기(10B-3)와 유저 A의 거리 정보 및 스마트폰(10B-2)과 유저 A의 거리 정보가 각각 취득되지만, 이 거리 정보는, 예를 들어 자기기로서의 전자 기기(10A)가 산출되어도 되고, 혹은 다른 전자 기기(10)로부터 취득해도 된다.

스텝 S32에 있어서, 출력 모달 결정부(122)는, 거리 정보에 기초하여, 텔레비전 수상기(10B-3)의 소정의 범위 내(예를 들어, 반경 5m 이내)에 유저 A가 존재하는지 여부를 판정한다. 또한, 반경 5m 이내 등의 소정의 범위는, 설계자나 유저에 의해 적절히 설정 가능하다.

스텝 S32의 판정 처리에서, 텔레비전 수상기(10B-3)의 소정의 범위 내에 유저 A가 존재한다고 판정된 경우, 처리는 스텝 S33으로 진행된다.

스텝 S33에 있어서, 출력 모달 결정부(122)는, 화상 정보나 환경 정보 등의 정보에 기초하여, 텔레비전 수상기(10B-3)의 주변(예를 들어, 전방의 위치)에는 유저 A밖에 없는지 여부를 판정한다.

스텝 S33의 판정 처리에서, 그 주변에는 유저 A밖에 없다고 판정된 경우, 처리는 스텝 S34로 진행된다.

스텝 S34에 있어서, 출력 모달 결정부(122)는, 출력처의 연계 기기로서, 텔레비전 수상기(10B-3)를 선택하여, 홈 네트워크(30)를 통해 출력 명령을 송신함으로써, 텔레비전 수상기(10B-3)로부터 상세 정보를 출력(예를 들어, 화면 출력)한다. 이에 의해, 유저 A는, 예를 들어 텔레비전 수상기(10B-3)에 표시된 상세 정보를 볼 수 있다.

또한, 스텝 S33의 판정 처리에서, 그 주변에 유저 A 이외의 다른 사람이 있다고 판정된 경우, 처리는 스텝 S35, S36으로 진행된다.

즉, 출력 모달 결정부(122)는, 출력 명령을, 홈 네트워크(30)를 통해 텔레비전 수상기(10B-3)로 송신함으로써, 텔레비전 수상기(10B-3)로부터 유저 A에 대하여, 스마트폰(10B-2)을 보도록 재촉한다(S35). 또한, 출력 모달 결정부(122)는, 출력 명령을, 홈 네트워크(30)를 통해 스마트폰(10B-2)으로 송신함으로써, 유저 A가 소지하는 스마트폰(10B-2)으로부터 상세 정보를 출력(화면 출력)한다(S36).

이와 같이, 다른 사람이 있기 전에, 유저 A의 정보를 출력(화면 출력)하는 것을 피하기 위해, 텔레비전 수상기(10B-3)의 출력은 간단한 통지에 그치고, 정보의 상세는, 유저 A가 소지하는 스마트폰(10B-2)으로부터 출력(화면 출력)되도록 하고 있다.

한편, 스텝 S32의 판정 처리에서, 텔레비전 수상기(10B-3)의 소정의 범위 내에 유저 A가 존재하지 않는다고 판정된 경우, 처리는 스텝 S37로 진행된다.

스텝 S37에 있어서, 출력 모달 결정부(122)는, 거리 정보에 기초하여, 스마트폰(10B-2)의 소정의 범위 내(예를 들어, 반경 5m 이내)에 유저 A가 존재하는지 여부를 판정한다. 또한, 반경 5m 이내 등의 소정의 범위는, 설계자나 유저에 의해 적절히 설정 가능하다.

스텝 S37의 판정 처리에서, 스마트폰(10B-2)의 소정의 범위 내에 유저 A가 존재한다고 판정된 경우, 처리는 스텝 S36으로 진행된다.

스텝 S36에 있어서, 출력 모달 결정부(122)는, 출력 명령을, 홈 네트워크(30)를 통해 스마트폰(10B-2)으로 송신함으로써, 유저 A가 소지하는 스마트폰(10B-2)으로부터 상세 정보를 출력(화면 출력)한다.

또한, 스텝 S37의 판정 처리에서, 스마트폰(10B-2)의 소정의 범위 내에 유저 A가 존재하지 않는다고 판정된 경우, 처리는 스텝 S38로 진행된다.

스텝 S38에 있어서, 출력 모달 결정부(122)는, 출력 명령을, 홈 네트워크(30)를 통해 텔레비전 수상기(10B-3)로 송신함으로써, 텔레비전 수상기(10B-3)로부터 개요 정보를 출력(화면 출력)한다.

즉, 이 경우에는, 텔레비전 수상기(10B-3)와 스마트폰(10B-2)의 어느 기기든, 유저 A로부터 먼 위치에 있기 때문에, 디폴트의 출력처로서 설정되어 있는 텔레비전 수상기(10B-3)로부터, 정보의 개요만이 출력되도록 하고 있다.

스텝 S34, S35, S36, 또는 S38의 처리가 종료되면, 연계 기기 선택 처리는 종료된다.

이상, 연계 기기 선택 처리의 흐름을 설명했다. 이 연계 기기 선택 처리에서는, 동일한 출력 모달을 갖는 연계 기기가 복수 존재하는 경우에는, 유저의 주변의 환경을 센싱하여 최적의 연계 기기를 선택할 수 있다.

여기서, 복수의 연계 기기 중에서 최적의 연계 기기를 선택할 때는, 미리 어떤 룰로 기기의 우선 순위를 정해 둘 수 있다.

예를 들어, 상술한 바와 같이, 디폴트의 출력처로서 텔레비전 수상기(10B-3)를 설정해 둠으로써, 유저가 희망하는 출력 모달로서, 화면 출력이나 음성 읽기가 설정되어 있는 경우에는, 먼저, 텔레비전 수상기(10B-3)로부터 정보를 출력하게 된다. 혹은, 예를 들어 유저가 희망하는 출력 모달을 갖는 연계 기기가 복수 존재하는 경우에는, 연계 기기 정보 테이블(도 7)에 저장된 기기 ID의 새로운 순으로 기기를 선택할 수 있다.

또한, 복수의 연계 기기 중에서 최적의 연계 기기를 선택할 때는, 음성 정보, 화상 정보, 환경 정보 등의 각종 정보를 사용할 수 있다.

예를 들어, 유저의 근처에 기기가 존재하는지 여부의 정보를, 연계 기기의 선택 시에 가미하는 경우에는, 예를 들어 화상 정보나 환경 정보(센싱 정보를 포함함) 등의 정보를 사용하여, 유저와 기기의 위치 관계를 산출하면 된다. 또한, 예를 들어 기기를 사용하고 있는 것이 누군가의 정보를 가미하는 경우, 화상 정보나 음성 정보를 사용하여, 얼굴이나 목소리에 의한 유저 인식을 행할 수 있다.

또한, 센싱 정보에 기초하여, 예를 들어 유저의 얼굴 방향이나 시선을 나타내는 정보를 산출함으로써, 유저의 시계에 기기가 들어 있는지, 또는 기기를 주목하고 있는지 등의 정보를, 연계 기기의 선택 시에 가미할 수 있다. 또한, 통지하는 정보(메시지)의 내용을 가미해도 된다. 예를 들어, 개인 정보를 포함하는 정보라면, 다른 유저에게 보이고 싶지 않거나 또는 들리고 싶지 않을 가능성이 있기 때문에, 그것을 고려하여 연계 기기를 선택할 필요가 있다.

또한, 유저가 희망하는 출력 모달을 가미하는 경우, 예를 들어 화면 출력을 희망하고 있으면, 유저의 시계에 디스플레이가 들어 있는 것이 중요하고, 화상 정보나 환경 정보 등의 정보에 기초하여, 유저의 시계에 있는 연계 기기(의 디스플레이)를 우선적으로 선택할 수 있다. 또한, 예를 들어 유저가 음성 읽기를 희망하고 있으면, 연계 기기(의 스피커)로부터 출력되는 음성이, 유저의 귀에 도달하는 거리, 음량인 것이 중요하고, 음성 정보나 화상 정보, 환경 정보 등의 정보에 기초하여, 유저의 근처에 있는 연계 기기(의 스피커)를 우선적으로 선택할 수 있다.

구체적으로는, 유저의 자택에 있어서, 어느 가전 기기(자기기)가, 음성 읽기 가능한 연계 기기로서, 거실에 설치된 텔레비전 수상기(10B-3)와, 침실에 설치된 스마트 스피커(10B-1)에 대하여, 정보의 출력을 의뢰할 수 있는 경우를 상정한다. 이때, 유저는, 희망 출력 모달로서 음성 읽기를 설정하고 있다.

이 경우에 있어서, 유저가 거실에 있을 때는, 텔레비전 수상기(10B-3)에 내장된 화상 센서(103-2)에 의해, 그 모습이 촬영되어, 텔레비전 수상기(10B-3)가 연계 기기로서 선택된다. 이에 의해, 거실 내에서, 유저는, 텔레비전 수상기(10B-3)에 의해 읽혀진 음성의 내용(정보)을 확인할 수 있다.

(제2 후보 모달 선택 처리의 흐름)

이어서, 도 14의 흐름도를 참조하여, 전자 기기(10A)(의 처리부(100))에 의해 실행되는 제2 후보 모달 선택 처리의 흐름을 설명한다.

여기서는, 자기기로서의 스마트 스피커(10A-1)가, 연계 기기로서 텔레비전 수상기(10B-3)를 선택하고, 텔레비전 수상기(10B-3)로부터 정보를 출력(예를 들어, 화면 출력)하고 싶지만, 유저 A가 텔레비전 수상기(10B-3)의 근처에 없는 장면을 상정한다. 단, 이때, 제2 후보의 출력 모달로서 "광"(발광 패턴으로 통지)이 설정되어 있다.

스텝 S51에 있어서, 출력 모달 결정부(122)는, 환경 정보 등의 정보에 기초하여, 텔레비전 수상기(10B-3)와 유저 A의 거리에 관한 거리 정보를 취득한다. 이 거리 정보는, 자기기로서의 스마트 스피커(10A-1)가 산출해도 되고, 혹은 텔레비전 수상기(10B-3) 등의 다른 전자 기기(10)로부터 취득해도 된다.

스텝 S52에 있어서, 출력 모달 결정부(122)는, 거리 정보에 기초하여, 텔레비전 수상기(10B-3)의 소정의 범위 내(예를 들어, 반경 5m 이내)에 유저 A가 존재하는지 여부를 판정한다.

스텝 S52의 판정 처리에서, 텔레비전 수상기(10B-3)의 소정의 범위 내에 유저 A가 존재한다고 판정된 경우, 처리는 스텝 S53으로 진행되고, 텔레비전 수상기(10B-3)로부터 정보를 출력(화면 출력)한다. 이에 의해, 유저 A는, 예를 들어 텔레비전 수상기(10B-3)에 표시된 정보를 볼 수 있다.

한편, 스텝 S52의 판정 처리에서, 텔레비전 수상기(10B-3)의 소정의 범위 내에 유저 A가 존재하지 않는다고 판정된 경우, 처리는 스텝 S54로 진행된다.

스텝 S54에 있어서, 출력 모달 결정부(122)는, 환경 정보 등의 정보로부터 얻어지는 거리 정보에 기초하여, 스마트 스피커(10A-1)의 소정의 범위 내(예를 들어, 반경 5m 이내)에 유저 A가 존재하는지 여부를 판정한다.

여기서는, "광”인 제2 후보의 출력 모달을 갖는 기기로서, 스마트 스피커(10A-1)와 스마트 시계(10-6)가 설정되어 있지만, 자기기로서의 스마트 스피커(10-1A)가, 연계 기기로서의 텔레비전 수상기(10B-3)를 통해 정보를 출력(화면 출력)하려고 하고 있기 때문에, 먼저 스마트 스피커(10A-1)의 LED로 통지 가능한지가 체크된다.

스텝 S54의 판정 처리에서, 스마트 스피커(10A-1)의 소정의 범위 내에 유저 A가 존재한다고 판정된 경우, 처리는 스텝 S55로 진행되고, 스텝 S55, S53의 처리가 행해진다.

즉, 출력 모달 결정부(122)는, 제2 후보의 출력 모달을 갖는 기기로서 자기기를 선택하여, 출력 명령을 램프(102-5)에 공급함으로써, 스마트 스피커(10A-1)의 LED를 점등하고, 유저 A에 대하여, 텔레비전 수상기(10B-3)를 보도록 재촉한다(S55).

또한, 출력 모달 결정부(122)는, 출력 명령을, 홈 네트워크(30)를 통해 텔레비전 수상기(10B-3)로 송신함으로써, 텔레비전 수상기(10B-3)로부터 정보를 출력(화면 출력)한다(S53). 이에 의해, 유저 A는, 예를 들어 스마트 스피커(10A-1)의 LED의 점등을 확인했을 때, 그 점등에 반응하여, 텔레비전 수상기(10B-3)에 표시된 정보를 볼 수 있다.

또한, 스텝 S54의 판정 처리에서, 스마트 스피커(10A-1)의 소정의 범위 내에 유저 A가 존재하지 않는다고 판정된 경우, 처리는 스텝 S56으로 진행된다.

스텝 S56에 있어서, 출력 모달 결정부(122)는, 환경 정보 등의 정보로부터 얻어지는 거리 정보에 기초하여, 스마트 시계(10-6)의 소정의 범위 내(예를 들어, 반경 5m 이내)에 유저 A가 존재하는지 여부를 판정한다.

여기서는, "광"인 제2 후보의 출력 모달을 갖는 기기로서, 먼저 체크된 스마트 스피커(10A-1)에서는 LED에 의한 통지를 할 수 없기 때문에, 계속해서, 스마트 시계(10-6)의 LED로 통지 가능한지가 체크된다.

스텝 S56의 판정 처리에서, 스마트 시계(10-6)의 소정의 범위 내에 유저 A가 존재한다고 판정된 경우, 처리는 스텝 S57로 진행되고, 스텝 S57, S53의 처리가 행해진다.

즉, 출력 모달 결정부(122)는, 제2 후보의 출력 모달을 갖는 출력처의 연계 기기로서, 스마트 시계(10B-6)를 선택하고, 홈 네트워크(30)를 통해 출력 명령을 송신함으로써, 스마트 시계(10B-6)의 LED를 점등하여, 유저 A에 대하여, 텔레비전 수상기(10B-3)를 보도록 재촉한다(S57).

또한, 출력 모달 결정부(122)는, 출력 명령을, 홈 네트워크(30)를 통해 텔레비전 수상기(10B-3)로 송신함으로써, 텔레비전 수상기(10B-3)로부터 정보를 출력(화면 출력)한다(S53). 이에 의해, 유저 A는, 예를 들어 스마트 시계(10B-6)의 LED의 점등을 확인했을 때, 그 점등에 반응하여, 텔레비전 수상기(10B-3)에 표시된 정보를 볼 수 있다.

또한, 스텝 S56의 판정 처리에서, 스마트 시계(10B-6)의 소정의 범위 내에 유저 A가 존재하지 않는다고 판정된 경우, 처리는 스텝 S53으로 진행되고, 텔레비전 수상기(10B-3)로부터 정보를 출력(화면 출력)한다. 즉, 이 경우에는, 제2 후보의 출력 모달에 의해서도, 유저로의 통지가 곤란하기 때문에, 텔레비전 수상기(10B-3)에 의한 화면 출력에 의해서만 출력이 행해진다.

스텝 S53의 처리가 종료되면, 제2 후보 모달 선택 처리는 종료된다.

이상, 제2 후보 모달 선택 처리의 흐름을 설명했다. 이 제2 후보 모달 선택 처리에서는, 유저가 희망 출력 모달을 설정할 때, 제2 후보의 출력 모달을 설정해 둠으로써, 희망 출력 모달을 갖는 연계 기기가 유저의 근처에 존재하지 않는 경우라도, 제2 후보의 출력 모달을 갖는 연계 기기로부터 정보를 출력할 수 있다.

상술한 예에서는, 희망 출력 모달로서 "화면 출력"을 설정한 경우에, 제2 후보의 출력 모달로서, "광"을 설정하고 있지만, 이에 한정되지 않고, 예를 들어 희망 출력 모달로서 "음성 읽기"를 설정한 경우에, 제2 후보의 출력 모달로서, "전자음"(소리의 높이나 패턴으로 통지)을 설정하는 등, 임의의 조합을 사용할 수 있다.

여기서, 제2 후보의 출력 모달을 선택하기 위해 필요한 정보로서는, 예를 들어 다음과 같은 정보를 포함할 수 있다.

즉, 화상 정보나 환경 정보 등의 정보에 기초하여, 유저와, 당해 유저가 희망하는 출력 모달을 갖는 연계 기기의 위치 관계를 나타내는 정보를 가미할 수 있다. 나아가, 유저와, 자기기(정보를 출력하고 싶은 기기)의 위치 관계나, 유저와, 제2 후보의 출력 모달을 갖는 연계 기기의 위치 관계를 나타내는 정보를 가미할 수 있다.

또한, 통지하는 정보의 내용으로서는, 중요도가 높은 경우에는, 유저가 근처에 존재하지 않아도, 당해 통지에 알아차리게 할 필요가 있다.

또한, 유저가 희망하는 출력 모달을 갖는 연계 기기가 모두 유저의 근처에 없는 경우에, 제2 후보의 출력 모달을 설정하고 있지 않을 때라도, 예를 들어 다음과 같은 대응을 취할 수 있다.

즉, 기기가 유저에 대하여 자발적으로 정보를 통지하는 경우에, 유저가 그 기기의 근처에 없을 가능성이 있다. 이 경우에는, 복수의 기기가 연계하여 유저의 관심을 끌어, 유저에 대하여 적극적으로 정보를 취하러 가도록 할 수 있다.

예를 들어, 화면 출력을 희망 출력 모달로서 설정하고 있는 유저가, 스마트폰을 둔 채, 텔레비전 수상기가 설치된 방으로부터 나간 상태에서, 기기가 유저에게 정보를 통지하려고 하고 있는 장면을 상정한다. 즉, 이 장면에서는, 유저의 근처에, 화면을 출력할 수 있는 기기가 존재하고 있지 않다.

이때, 유저의 이동처의 방에는, 스마트 스피커가 설치되어 있고, 이 스마트 스피커가, 예를 들어 LED를 특이한 패턴으로 점등시킴으로써, 유저에 대하여 정보의 통지 존재를 인식시켜, 거실로 되돌아가도록 재촉한다. 이에 의해, 거실로 되돌아간 유저는, 스마트폰 또는 텔레비전 수상기로부터 출력되는 화면 출력을 확인할 수 있다.

또한, 동물형이나 인형의 가정용 로봇이나, 로봇 청소기 등의 자주 가능한 기기와 연계하여, 상기한 바와 같이 정보를 통지하려고 하고 있는 기기의 근처에 유저가 없는 경우에, 예를 들어 개형의 로봇이 유저를 쫓아가 정보의 통지 존재를 인식시키는 등의 것도 가능하다.

(최적 출력 모달 선택 처리의 흐름)

이어서, 도 15 및 도 16의 흐름도를 참조하여, 전자 기기(10A)(의 처리부(100))에 의해 실행되는 최적 출력 모달 선택 처리의 흐름을 설명한다.

또한, 이 최적 출력 모달 선택 처리는, 예를 들어 도 5의 출력 모달 결정 처리에서, 스텝 S11의 판정 처리에서, 정보의 출력처는 등록 완료된 유저가 아니라고 판정된 경우(도 5의 S11의 「아니오」), 또는 스텝 S12의 판정 처리에서, 희망의 출력 모달이 등록되어 있지 않다고 판정된 경우(도 5의 S12의 「아니오」)에 실행된다.

즉, 도 5의 출력 모달 결정 처리에서는, 유저 등록되어 있지 않은 경우나, 희망 출력 모달이 설정되어 있지 않은 경우에는, 스텝 S17의 처리에서, 디폴트의 출력 모달이 선택되어 있었지만, 이것들의 경우에도, 화상 정보나 환경 정보 등의 정보를 사용하여, 최적의 출력 모달이 선택되도록 한다.

여기서는, 먼저, 정보의 출력처가 미등록 유저이거나, 또는 등록 유저라도 희망 출력 모달이 설정되어 있지 않은 경우에, 유저와 그 주변의 상태로부터 최적의 출력 모달을 선택하는 최적 출력 모달 선택 처리의 흐름을, 도 15의 흐름도를 참조하면서 설명한다.

스텝 S71에 있어서, 환경 식별부(123)는, 환경 정보로서 유저와 그 주변의 센싱 정보를 취득한다. 이에 의해, 환경 식별부(123)에서는, 취득한 센싱 정보에 기초하여, 유저와 그 주변의 상태를 식별할 수 있다.

스텝 S72에 있어서, 환경 식별부(123)는, 환경의 식별 결과에 기초하여, 유저가 화면을 볼 수 있는지 판정한다.

스텝 S72의 판정 처리에서, 유저가 화면을 볼 수 있다고 판정된 경우, 처리는 스텝 S73으로 진행된다.

스텝 S73에 있어서, 출력 모달 결정부(122)는, 출력 명령을, 디스플레이(102-1)에 공급하고, 화면 출력으로 정보를 출력한다. 이에 의해, 유저가 화면을 볼 수 있는 상태인 경우에는, 화면 출력으로 정보가 출력된다.

또한, 이때, 자기기에 화면 출력 기능이 없는 경우에는, 기기 연계를 행하여, 홈 네트워크(30)를 통해 출력 명령을 연계 기기로 송신함으로써, 연계 기기로부터 정보를 화면 출력한다.

한편, 스텝 S72의 판정 처리에서, 유저가 화면을 볼 수 없다고 판정된 경우, 처리는 스텝 S74로 진행된다. 즉, 예를 들어 유저가 책에 주목하고 있는 경우에는, 정보를 화면 출력해도, 알아차리지 못하는 것이 상정되기 때문에, 여기서는 음성 읽기가 선택되도록 한다.

스텝 S74에 있어서, 환경 식별부(123)는, 환경의 식별 결과에 기초하여, 유저 주변의 노이즈 레벨이 소정의 역치보다도 높은지 여부를 판정한다.

스텝 S74의 판정 처리에서, 유저 주변의 노이즈 레벨이 역치보다도 높다고 판정된 경우, 처리는 스텝 S75로 진행된다.

스텝 S75에 있어서, 출력 모달 결정부(122)는, 출력 명령을, 디스플레이(102-1)와 스피커(102-2)에 각각 공급하여, 음성 읽기 화면 출력으로 정보를 출력한다. 또한, 이때, 자기기에 음성 읽기와 화면 표시 기능 중 적어도 한쪽의 기능이 없는 경우에는, 기기 연계를 행하여, 출력 명령을 연계 기기로 송신함으로써, 연계 기기로부터 정보를 음성 읽기 또는 화면 출력으로 출력한다.

또한, 스텝 S74의 판정 처리에서, 유저 주변의 노이즈 레벨이 역치보다도 낮다고 판정된 경우, 처리는 스텝 S76으로 진행된다.

스텝 S76에 있어서, 출력 모달 결정부(122)는, 출력 명령을, 스피커(102-2)에 공급하고, 음성 읽기로 정보를 출력한다. 또한, 이때, 자기기에 음성 읽기 기능이 없는 경우에는, 기기 연계를 행하여, 출력 명령을 연계 기기로 송신함으로써, 연계 기기로부터 정보를 음성 읽기로 출력한다.

이에 의해, 주위의 노이즈 레벨이 낮은 경우에는, 유저가 음성을 알아 듣기 쉽기 때문에, 음성 읽기만으로 정보를 출력한다(S76). 한편, 예를 들어 유저가 헤드폰을 하고 있어서 소리를 알아들을 수 없던 경우나, 주위의 노이즈 레벨이 높은 경우에는, 음성 읽기보다도, 화면 출력을 선택하거나 하여, 복수의 출력 모달로 정보를 출력하는 것도 가능하게 된다(S75).

스텝 S73, S75, 또는 S76의 처리의 어느 것이 종료되면, 최적 출력 모달 선택 처리는 종료된다.

이어서, 정보의 출력처가 미등록 유저이거나, 또는 등록 유저라도 희망 출력 모달이 설정되어 있지 않은 경우에, 유저 속성으로부터 최적의 출력 모달을 선택하는 최적 출력 모달 선택 처리의 흐름을, 도 16의 흐름도를 참조하면서 설명한다.

스텝 S91에 있어서, 유저 식별부(121)는, 화상 정보나 음성 정보에 기초하여, 유저의 속성을 추정한다. 이 유저의 속성으로서는, 예를 들어 연령이나 성별 등의 정보를 포함한다.

스텝 S92에 있어서, 출력 모달 결정부(122)는, 유저 속성·출력 모달 대응 테이블을 참조한다. 예를 들어, 이 유저 속성·출력 모달 대응 테이블은, 인터넷(50)을 통해 서버(40)에 의해 제공된다.

스텝 S93에 있어서, 출력 모달 결정부(122)는, 유저 속성·출력 모달 대응 테이블에, 추정한 유저 속성에 대응한 출력 모달의 변경점이 기재되어 있는지 여부를 판정한다.

스텝 S93의 판정 처리에서, 추정한 유저 속성에 대응한 출력 모달의 변경점이 기재되어 있다고 판정된 경우, 처리는 스텝 S94로 진행된다.

스텝 S94에 있어서, 출력 모달 결정부(122)는, 유저 속성·출력 모달 대응 테이블에 기재된 출력 모달의 변경점을 반영하여 정보를 출력한다.

여기서, 도 17은, 유저 속성·출력 모달 대응 테이블의 예를 나타내고 있다. 이 유저 속성·출력 모달 대응 테이블에서는, 연령이나 성별 등의 유저 속성마다, 출력 모달 변경점이 저장되어 있다.

구체적으로는, "추정 연령이 70세 이상"인 유저 속성에 대하여, 출력 모달 변경점으로서, "전자음보다는 음성 읽기로 출력한다"와, "이때, 음량을 1.2배로 한다"가 등록되어 있다. 또한, "추정 연령이 10세 미만"인 유저 속성에 대하여, 출력 모달 변경점으로서, "화면 출력하는 경우는, 한자가 아니라, 히라가나를 사용한다"가 등록되어 있다.

이렇게, 예를 들어 미등록 또는 희망 출력 모달을 설정하고 있지 않은 유저의 속성이, 고령자(예를 들어, 70세 이상)라고 추정(인식)된 경우에, 음성 읽기를 행할 때는, 그 음량을 통상 시의 1.2배로 하여 출력하게 된다. 또한, 음량을 몇배로 할지 등의 설정은, 예를 들어 설계자에 의해 결정된다.

도 16의 설명으로 돌아가, 스텝 S93의 판정 처리에서, 추정한 유저 속성에 대응한 출력 모달의 변경점이 기재되어 있지 않다고 판정된 경우, 처리는 스텝 S95로 진행된다. 스텝 S95에 있어서, 출력 모달 결정부(122)는, 디폴트의 출력 모달로 정보를 출력한다.

스텝 S94, 또는 S95의 처리의 어느 것이 종료되면, 최적 출력 모달 선택 처리는 종료된다.

이상, 최적 출력 모달 선택 처리의 흐름을 설명했다. 이 최적 출력 모달 선택 처리에서는, 미등록 또는 희망 출력 모달을 설정하고 있지 않은 유저에 대하여, 디폴트의 출력 모달 대신에, 더 최적의 출력 모달을 선택할 수 있다.

여기서, 최적의 출력 모달을 선택하기 위해 필요한 정보로서는, 예를 들어 다음과 같은 정보를 포함할 수 있다. 즉, 유저의 행동 이력(예를 들어, 시선이나 얼굴 방향의 트래킹, 물체 인식 등)에 관한 정보나, 연령이나 성별 등의 유저의 속성의 추정 결과의 정보, 주변 환경의 인식(예를 들어, 주변의 잡음 상황 등)에 관한 정보를 포함할 수 있다.

(복수인으로 사용하는 기기의 예)

예를 들어, 거실에 설치된 텔레비전 수상기(10-3) 등, 복수의 출력 모달이 선택 가능하고, 또한 복수인(예를 들어, 가족 등)으로 1대의 전자 기기(10)를 사용하는 경우에는, 유저마다 우선 순위를 붙이고, 그 우선 순위에 따른 희망 출력 모달에 의한 출력을 행할 수 있다.

한편, 전자 메일이나 메시지 등의 통지, 내일의 날씨, 오늘의 예정 등의 일시적인 통지에 관해서는, 연계 기기의 사용 상황에 따라 정보의 출력처를 할당하는 것이 가능하다.

예를 들어, 가족 전원이 텔레비전을 보는 경우의 출력 모달은, 도 18에 나타낸 유저 정보 테이블을 참조하여 선택할 수 있다. 즉, 도 18의 유저 정보 테이블에서는, 유저 ID마다의 항목으로서, 우선도가 추가되어, 유키, 히로시, 유타, 유조의 순으로 우선도가 설정되어 있다.

여기서는, 유저 ID 02인 유키(항상 화면 출력을 희망)의 우선도가 가장 높게 설정되어 있기 때문에, 상시 자막 모드가 온으로 된다. 또한, 거실에 유키가 없는 경우에는, 그 다음으로 우선도가 높은 유저 ID 01인 히로시의 설정이 우선된다.

또한, 예를 들어 유키가 텔레비전을 시청 중인 경우, 유키로의 정보의 통지는, 화면 출력, 예를 들어 화면에 정보가 팝업하여 표시된다. 한편, 유키 이외의 가족이 텔레비전을 시청하고 있는 경우에는, 유키로의 정보의 통지는, 예를 들어 유키가 소지하는 스마트폰(10-2)의 화면 출력으로 행해진다.

(유저 정보 설정 화면의 예)

상술한 바와 같이, 유저 정보는, 전자 기기(10)의 구입 시 등의 타이밍에 등록되지만, 전자 기기(10)에, 설정 화면을 표시시킴으로써 행해진다. 도 19는, 스마트폰(10-2)의 디스플레이(102-1)에 표시된 유저 정보 설정 화면(210)의 예를 나타내고 있다.

도 19에 있어서, 유저 정보 설정 화면(210)에는, 유저 정보 테이블의 항목에 대응하여, 유저명, 성별, 연령, 희망 출력 모달의 항목이 표시되어 있고, 그것들의 항목에 따른 정보를 입력 또는 선택하는 조작 등을 행함으로써, 유저 정보가, 서버(40)의 유저 정보 기억부(401)(의 유저 정보 테이블)에 등록된다.

(연계 확인 정보의 예)

또한, 기기 연계 시에 있어서, 주기기로부터의 의뢰에 따라 연계 기기로부터 정보를 출력하는 경우에는, 유저에 대하여, 연계 기기로부터의 정보의 출력인 것을 확인시키기 위해, 연계 확인 정보를 통지해도 된다. 도 20은, 기기 연계 시에 있어서의 연계 확인 정보의 예를 나타내고 있다.

도 20에 있어서, 예를 들어 텔레비전 수상기(10-3)는, 주기기로부터의 의뢰에 따라 음성 읽기로 정보를 출력하고 있다. 이때, 텔레비전 수상기(10-3)는, 연계 확인 정보(220)로서, 주기기로부터의 의뢰에 따라 음성 읽기를 행하고 있는 것을 통지하기 위한 정보(예를 들어, 귀의 아이콘 등)를 표시한다. 이에 의해, 유저는, 연계 확인 정보(220)를 보고, 텔레비전 수상기(10-3)가 주기기로부터의 의뢰에 따라 음성 읽기를 실시하고 있는 것을 확인할 수 있다.

(시스템의 다른 구성)

도 21은, 본 기술을 적용한 전자 기기를 포함하는 시스템의 일 실시 형태의 다른 구성의 예를 나타내고 있다.

도 21에 있어서, 전자 기기(10-1 내지 10-N)(N: 2 이상의 정수)는, 홈 네트워크(30)를 통해 서로 접속되어 있다.

전자 기기(10-1)는, 정보 기기 등의 기기로서 구성되지만, 유저 정보 기억부(401) 및 연계 기기 정보 기억부(402)를 기억하고 있다. 전자 기기(10-1)는, 전자 기기(10-2 내지 10-N)의 어느 것으로부터의 요구에 따라, 홈 네트워크(30)를 통해, 유저 정보 또는 연계 기기 정보를 송신한다.

전자 기기(10-2 내지 10-N)에서는, 홈 네트워크(30)를 통해 전자 기기(10-1)로부터 수신한 유저 정보 및 연계 기기 정보에 기초하여, 상술한 출력 모달 결정 처리(도 5) 등의 처리를 행할 수 있다.

또한, 전자 기기(10-1)는, 유저 정보 기억부(401) 및 연계 기기 정보 기억부(402)에 기억되어 있는 유저 정보 및 연계 기기 정보를 판독하여, 상술한 출력 모달 결정 처리(도 5) 등의 처리를 행할 수 있다.

또한, 전자 기기(10-1)는, 전자 기기(10-2 내지 10-N) 대신에, 상술한 출력 모달 결정 처리(도 5) 등의 처리를 실행하고, 그 처리 결과를, 전자 기기(10-2 내지 10-N)로 송신해도 된다. 또한, 전자 기기(10-1)는, 데이터베이스로서의 유저 정보 기억부(401) 및 연계 기기 정보 기억부(402)를 관리하는 서버로서 구성되어도 된다.

이와 같이, 전자 기기(10-1 내지 10-N) 중, 소정의 전자 기기(10)를 호스트로 하여, 다른 전자 기기(10)가 호스트에 대하여 문의함으로써, 유저 정보와 연계 기기 정보가 취득되어, 기기 연계가 행해진다.

또한, 상술한 설명에서는, 로컬측의 전자 기기(10A)에 있어서, 처리부(100)가, 유저 식별부(121), 출력 모달 결정부(122) 및 환경 식별부(123)를 갖는 것으로 하여 설명했지만, 유저 식별부(121) 내지 환경 식별부(123)의 기능의 전부 또는 일부가, 클라우드측의 서버(40)에 내장되어도 된다. 즉, 유저 식별부(121) 내지 환경 식별부(123)의 각각은, 로컬측의 전자 기기(10A)와, 클라우드측의 서버(40) 중, 어느 기기에 내장되어도 된다.

또한, 상술한 설명에 있어서, 음성 AI 어시스턴트 서비스란, 유저의 발화의 의도를 이해하여, 그 내용에 따른 적절한 출력을 제공하는 서비스이다. 또한, 스마트 스피커란, 대화형의 음성 조작에 대응한 AI 어시스턴트 기능을 갖는 스피커이다. 스마트 시계란, 소형의 디스플레이와 CPU를 탑재한 다기능의 손목 시계형의 웨어러블 디바이스이다.

<2. 시스템의 구성>

이상, 본 기술의 실시 형태에 대하여 설명했다. 상술한 바와 같이, 본 기술을 적용한 전자 기기(10)는, 처리부(100)와, 입력부(101)와, 출력부(102)를 포함하고, 이들 구성 요소는, 하나 또는 복수의 정보 처리 장치에 의해 실현된다. 이하, 시스템으로서 구성되는 전자 기기(10)를 실현하는 정보 처리 장치의 조합의 예에 대하여, 더 구체적인 예와 함께 설명한다.

(제1 예)

도 22는, 본 기술을 적용한 시스템의 일 실시 형태의 구성의 제1 예를 나타내고 있다.

도 22에 있어서, 시스템(1)은 정보 처리 장치(10)를 포함한다. 처리부(100), 입력부(101) 및 출력부(102)는, 모두 정보 처리 장치(10)에 있어서 실현된다. 정보 처리 장치(10)는, 이하에 설명하는 바와 같이 단말 장치 또는 서버로 할 수 있다.

이 제1 예에 있어서, 정보 처리 장치(10)는, 본 기술의 실시 형태에 관한 기능의 실현을 위해 네트워크를 통해 외부 장치와 통신하지 않는, 스탠드얼론의 장치여도 된다. 또한, 정보 처리 장치(10)는, 다른 기능을 위해 외부 장치와 통신해도 되고, 따라서 반드시 스탠드얼론의 장치가 아니어도 된다.

입력부(101)와 처리부(100) 사이의 인터페이스(150A) 및 처리부(100)와 출력부(102) 사이의 인터페이스(160A)는, 모두 장치 내의 인터페이스로 할 수 있다.

제1 예에 있어서, 정보 처리 장치(10)는, 예를 들어 단말 장치로서 구성된다. 이 경우, 입력부(101)는, 입력 장치, 센서, 외부 서비스로부터 정보를 취득하는 소프트웨어 등을 포함해도 된다. 외부 서비스로부터 정보를 취득하는 소프트웨어는, 예를 들어 단말 장치에서 실행되고 있는 서비스의 어플리케이션 소프트웨어로부터 데이터를 취득한다.

처리부(100)는, 단말 장치가 구비하는 프로세서 또는 처리 회로가 메모리 또는 스토리지 장치에 저장된 프로그램에 따라 동작함으로써 실현된다. 출력부(102)는, 출력 장치, 제어 장치, 외부 서비스에 정보를 제공하는 소프트웨어 등을 포함해도 된다. 외부 서비스에 정보를 제공하는 소프트웨어는, 예를 들어 단말 장치에서 실행되고 있는 서비스의 어플리케이션 소프트웨어에 정보를 제공 가능하다.

혹은, 제1 예에 있어서, 정보 처리 장치(10)는 서버여도 된다. 이 경우, 입력부(101)는, 외부 서비스로부터 정보를 취득하는 소프트웨어를 포함해도 된다. 외부 서비스로부터 정보를 취득하는 소프트웨어는, 예를 들어 외부 서비스의 서버(정보 처리 장치(10) 자신이어도 됨)로부터 데이터를 취득한다.

처리부(100)는, 단말 장치가 구비하는 프로세서가 메모리 또는 스토리지 장치에 저장된 프로그램에 따라 동작함으로써 실현된다. 출력부(102)는, 외부 서비스에 정보를 제공하는 소프트웨어 등을 포함해도 된다. 외부 서비스에 정보를 제공하는 소프트웨어는, 예를 들어 외부 서비스의 서버(정보 처리 장치(10) 자신이어도 됨)에 정보를 제공한다.

(제2 예)

도 23은, 본 기술을 적용한 시스템의 일 실시 형태의 구성의 제2 예를 나타내고 있다.

도 23에 있어서, 시스템(1)은, 정보 처리 장치(10, 11)를 포함한다. 처리부(100)는, 정보 처리 장치(10)에 있어서 실현된다. 한편, 입력부(101) 및 출력부(102)는, 정보 처리 장치(11)에 있어서 실현된다.

정보 처리 장치(10)와 정보 처리 장치(11)는, 본 기술의 실시 형태에 관한 기능을 실현하기 위해, 네트워크를 통해 통신한다. 입력부(101)와 처리부(100) 사이의 인터페이스(150B) 및 처리부(100)와 출력부(102) 사이의 인터페이스(160B)는, 모두 장치 사이의 통신 인터페이스로 할 수 있다.

제2 예에 있어서, 정보 처리 장치(11)는, 예를 들어 단말 장치로서 구성된다. 이 경우, 입력부(101)는, 상기한 제1 예와 마찬가지로, 입력 장치, 센서, 외부 서비스로부터 정보를 취득하는 소프트웨어 등을 포함해도 된다. 출력부(102)도, 상기한 제1 예와 마찬가지로, 출력 장치, 제어 장치, 외부 서비스에 정보를 제공하는 소프트웨어 등을 포함해도 된다.

혹은, 정보 처리 장치(11)는, 외부 서비스와의 사이에서 정보를 주고받기하기 위한 서버여도 된다. 이 경우, 입력부(101)는, 외부 서비스로부터 정보를 취득하는 소프트웨어를 포함해도 된다. 또한, 출력부(102)는, 외부 서비스에 정보를 제공하는 소프트웨어를 포함해도 된다.

또한, 제2 예에 있어서, 정보 처리 장치(10)는, 서버 또는 단말 장치로서 구성된다. 처리부(100)는, 정보 처리 장치(10)가 구비하는 프로세서 또는 처리 회로가 메모리 또는 스토리지 장치에 저장된 프로그램에 따라 동작함으로써 실현된다.

정보 처리 장치(10)는, 예를 들어 서버로서 구성되는 전용의 장치여도 된다. 이 경우, 정보 처리 장치(10)는, 데이터 센터 등에 설치되어도 되고, 가정 내에 설치되어도 된다.

혹은, 정보 처리 장치(10)는, 다른 기능에 대해서는 단말 장치로서 이용 가능하지만, 본 기술의 실시 형태에 관한 기능에 관해서는 입력부(101) 및 출력부(102)를 실현하지 않는 장치여도 된다. 이하의 예에 있어서, 정보 처리 장치(10)는, 상기와 같은 의미에 있어서, 서버여도 되고, 단말 장치여도 된다.

여기서는, 일례로서, 정보 처리 장치(11)가 웨어러블 디바이스이고, 정보 처리 장치(10)가 웨어러블 디바이스에 Bluetooth(등록 상표) 등으로 접속된 모바일 디바이스인 것 경우를 생각한다.

웨어러블 디바이스가 유저에 의한 조작 입력을 접수하고(입력부(101)), 당해 조작 입력에 기초하여 송신된 리퀘스트에 기초하여 모바일 디바이스가 처리를 실행하고(처리부(100)), 처리의 결과를 웨어러블 디바이스로부터 출력하는(출력부(102)) 경우, 웨어러블 디바이스는 상기한 제2 예에 있어서의 정보 처리 장치(11)로서, 모바일 디바이스는 정보 처리 장치(10)로서, 각각 기능하고 있다고 할 수 있다.

(제3 예)

도 24는, 본 기술을 적용한 시스템의 일 실시 형태의 구성의 제3 예를 나타내고 있다.

도 24에 있어서, 시스템(1)은, 정보 처리 장치(10, 11A, 11B)를 포함한다. 처리부(100)는, 정보 처리 장치(10)에 있어서 실현된다. 또한, 입력부(101)는, 정보 처리 장치(11A)에 있어서 실현된다. 출력부(102)는, 정보 처리 장치(11B)에 있어서 실현된다.

정보 처리 장치(10)와 정보 처리 장치(11A, 11B)는, 본 기술의 실시 형태에 관한 기능을 실현하기 위해, 네트워크를 통해 각각 통신한다. 입력부(101)와 처리부(100) 사이의 인터페이스(150B) 및 처리부(100)와 출력부(102) 사이의 인터페이스(160B)는, 모두 장치 사이의 통신 인터페이스로 할 수 있다.

단, 제3 예에서는, 정보 처리 장치(11A)와 정보 처리 장치(11B)가 별개의 장치이기 때문에, 인터페이스(150B, 160B)는, 각각 다른 종류의 인터페이스를 포함해도 된다.

제3 예에 있어서, 정보 처리 장치(11A, 11B)는, 예를 들어 단말 장치로서 구성된다. 이 경우, 입력부(101)는, 상기한 제1 예와 마찬가지로, 입력 장치, 센서, 외부 서비스로부터 정보를 취득하는 소프트웨어 등을 포함해도 된다. 출력부(102)도, 상기한 제1 예와 마찬가지로, 출력 장치, 제어 장치, 외부 서비스에 정보를 제공하는 소프트웨어 등을 포함해도 된다.

혹은, 정보 처리 장치(11A, 11B) 중 한쪽 또는 양쪽은, 외부 서비스로부터의 정보의 취득 및 외부 서비스로의 정보의 제공을 위한 서버여도 된다. 이 경우, 입력부(101)는, 외부 서비스로부터 정보를 취득하는 소프트웨어를 포함해도 된다. 또한, 출력부(102)는, 외부 서비스에 정보를 제공하는 소프트웨어를 포함해도 된다.

또한, 제3 예에 있어서, 정보 처리 장치(10)는, 상기한 제2 예와 마찬가지로, 서버 또는 단말 장치로서 구성된다. 처리부(100)는, 정보 처리 장치(10)가 구비하는 프로세서 또는 처리 회로가 메모리 또는 스토리지 장치에 저장된 프로그램에 따라 동작함으로써 실현된다.

상기한 제3 예에서는, 입력부(101)를 실현하는 정보 처리 장치(11A)와, 출력부(102)를 실현하는 정보 처리 장치(11B)가 별개의 장치이다. 따라서, 예를 들어 제1 유저가 소지 또는 사용하는 단말 장치인 정보 처리 장치(11A)에 의해 취득된 입력에 기초하는 처리의 결과를, 제1 유저와는 다른 제2 유저가 소지 또는 사용하는 단말 장치인 정보 처리 장치(11B)로부터 출력한다는 기능을 실현할 수 있다.

또한, 제1 유저가 소지 또는 사용하는 단말 장치인 정보 처리 장치(11A)에 의해 취득된 입력에 기초하는 처리의 결과를, 그 시점에서는 제1 유저의 수중에 없는(예를 들어, 부재 중인 자택에 설치되어 있음) 단말 장치인 정보 처리 장치(11B)로부터 출력한다고 한다는 기능도 실현할 수 있다.

혹은, 정보 처리 장치(11A)와 정보 처리 장치(11B)는, 모두 동일한 유저에 의해 소지 또는 사용되는 단말 장치여도 된다. 예를 들어, 정보 처리 장치(11A, 11B)가, 유저가 다른 부위에 장착되는 웨어러블 디바이스인 경우나, 웨어러블 디바이스와 모바일 디바이스의 조합인 경우, 이들 디바이스를 연계시킨 기능을 유저에게 제공할 수 있다.

(제4 예)

도 25는, 본 기술을 적용한 시스템의 일 실시 형태의 구성의 제4 예를 나타내고 있다.

도 25에 있어서, 시스템(1)은, 정보 처리 장치(10, 11)를 포함한다. 제4 예에 있어서, 처리부(100)는, 정보 처리 장치(10) 및 정보 처리 장치(11)로 분산하여 실현된다. 한편, 입력부(101) 및 출력부(102)는, 정보 처리 장치(11)에 있어서 실현된다.

정보 처리 장치(10)와 정보 처리 장치(11)는, 본 기술의 실시 형태에 관한 기능을 실현하기 위해, 네트워크를 통해 통신한다.

상기한 바와 같이 이 제4 예에서는, 처리부(100)가, 정보 처리 장치(10)와 정보 처리 장치(11) 사이에서 분산하여 실현된다. 더 구체적으로는, 처리부(100)는, 정보 처리 장치(10)에서 실현되는 처리부(100B)와, 정보 처리 장치(11)에서 실현되는 처리부(100A, 100C)를 포함한다.

처리부(100A)는, 입력부(101)로부터 인터페이스(150A)를 통해 제공되는 정보에 기초하여 처리를 실행하고, 처리의 결과를 처리부(100B)에 제공한다. 이 의미에 있어서, 처리부(100A)는 전처리를 실행한다고도 할 수 있다.

한편, 처리부(100C)는, 처리부(100B)로부터 제공되는 정보에 기초하여 처리를 실행하고, 처리의 결과를, 인터페이스(160A)를 통해 출력부(102)에 제공한다. 이 의미에 있어서, 처리부(100C)는 후처리를 실행한다고도 할 수 있다.

또한, 도시된 예에서는, 전처리를 실행하는 처리부(100A)와 후처리를 실행하는 처리부(100C)가 양쪽에 나타나 있지만, 실제로는 이 중 어느 한쪽만이 존재해도 된다.

즉, 정보 처리 장치(11)는, 전처리를 실행하는 처리부(100A)를 실현하지만, 후처리를 실행하는 처리부(100C)를 실현하지 않고, 처리부(100B)로부터 제공되는 정보는, 그대로 출력부(102)에 제공되어도 된다. 마찬가지로, 정보 처리 장치(11)는, 후처리를 실행하는 처리부(100C)를 실현하지만, 전처리를 실행하는 처리부(100A)를 실현하지 않아도 된다.

처리부(100A)와 처리부(100B) 사이 및 처리부(100B)와 처리부(100C) 사이에는 각각 인터페이스(170B)가 개재된다. 인터페이스(170B)는, 장치간의 통신 인터페이스이다.

한편, 정보 처리 장치(11)가 처리부(100A)를 실현하는 경우, 인터페이스(150A)는, 장치 내의 인터페이스이다. 마찬가지로, 정보 처리 장치(11)가 처리부(100C)를 실현하는 경우, 인터페이스(160A)는 장치 내의 인터페이스이다.

또한, 상술한 제4 예는, 처리부(100A) 또는 처리부(100C) 중 한쪽 또는 양쪽이, 정보 처리 장치(11)가 구비하는 프로세서 또는 처리 회로에 의해 실현되는 점을 제외하고는, 상기한 제2 예와 마찬가지이다. 즉, 정보 처리 장치(11)는, 단말 장치, 또는 외부 서비스와의 사이에서 정보를 주고받기 위한 서버로서 구성된다. 또한, 정보 처리 장치(10)는 서버 또는 단말 장치로서 구성된다.

(분산형 시스템의 예)

이어서, 시스템(1)의 다른 구성예에 대하여, 도 26을 참조하여 설명한다. 도 26은, 본 기술을 적용한 시스템의 일 실시 형태의 구성의 다른 구체적인 예의 하나로서, 분산형 시스템을 나타내고 있다.

도 26에 있어서는, 정보 처리 장치(10)(또는, 정보 처리 장치(11A, 11B))가 노드이며, 이들 정보 처리 장치(10)는, 네트워크를 통해 서로 접속되어 있다.

도 26에 나타낸 분산형 시스템에서는, 장치 상호간에 개별로 연계 동작하거나, 데이터를 분산 관리하거나, 처리를 분산하거나 하는 것이 가능하다. 이에 의해, 처리 부담의 경감, 리얼타임성의 향상(응답 시간이나 처리 속도의 향상), 시큐리티의 담보를 실현하는 것이 가능하게 된다.

또한, 이 분산형 시스템에서는, 분산 협조적으로 기계 학습을 행하는 것도 가능하며, 대량의 데이터를 처리할 수 있다.

또한, 도 26에 나타내는 분산형 시스템에서는, 집중형 시스템에 있어서의 서버를 필요로 하지 않고, 서로 데이터의 감시를 행하여 그 신빙성을 확보하는 것도 가능하다. 구체적으로는, 예를 들어 거래 정보(대장)를 참가자 전원(각 정보 처리 장치(10))이 공유하여 정당성을 엄밀하게 유지할 수 있다(소위 블록 체인).

블록 체인에 있어서는, 참가자 전원의 대장을 모두 고치는 것은 실질적으로 불가능하기 때문에, 더 확실하게 신빙성을 확보 가능하게 된다. 또한, 블록 체인에 있어서, 과거의 블록에 포함되는 데이터를 수정하는 경우, 그 블록 이후의 블록에 포함되는 해시값을 모두 재계산할 필요가 있기 때문에, 처리 부하가 높아 실질적으로 불가능하기 때문에, 더 확실하게 신빙성을 확보 가능하게 된다.

또한, 블록 체인에서는, 참가자 전원이 거래 정보를 공유하고(분산 데이터베이스), 이러한 분산 데이터베이스로의 기입을 특정한 합의 형성에 의해 행하기 때문에, 특정한 참가자에 의한 부정을 방지하여, 공평성이 유지된다.

<3. 컴퓨터의 구성>

상술한 일련의 처리(예를 들어, 도 5의 출력 모달 결정 처리 등)는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 각 장치의 컴퓨터에 인스톨된다. 도 27은, 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어 구성예를 도시하는 블록도이다.

컴퓨터에 있어서, CPU(Central Processing Unit)(1001), ROM(Read Only Memory)(1002), RAM(Random Access Memory)(1003)은, 버스(1004)에 의해 서로 접속되어 있다. 버스(1004)에는, 또한, 입출력 인터페이스(1005)가 접속되어 있다. 입출력 인터페이스(1005)에는, 입력부(1006), 출력부(1007), 기록부(1008), 통신부(1009) 및 드라이브(1010)가 접속되어 있다.

입력부(1006)는, 마이크로폰, 키보드, 마우스 등을 포함한다. 출력부(1007)는, 스피커, 디스플레이 등을 포함한다. 기록부(1008)는, 하드 디스크나 불휘발성의 메모리 등을 포함한다. 통신부(1009)는, 네트워크 인터페이스 등을 포함한다. 드라이브(1010)는, 자기 디스크, 광 디스크, 광자기 디스크, 또는 반도체 메모리 등의 리무버블 기록 매체(1011)를 구동한다.

이상과 같이 구성되는 컴퓨터에서는, CPU(1001)가, ROM(1002)이나 기록부(1008)에 기록되어 있는 프로그램을, 입출력 인터페이스(1005) 및 버스(1004)를 통해, RAM(1003)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다.

컴퓨터(CPU(1001))가 실행하는 프로그램은, 예를 들어 패키지 미디어 등으로서의 리무버블 기록 매체(1011)에 기록하여 제공할 수 있다. 또한, 프로그램은, 로컬 에어리어 네트워크, 인터넷, 디지털 위성 방송 등의, 유선 또는 무선의 전송 매체를 통해 제공할 수 있다.

컴퓨터에서는, 프로그램은, 리무버블 기록 매체(1011)를 드라이브(1010)에 장착함으로써, 입출력 인터페이스(1005)를 통해, 기록부(1008)에 인스톨할 수 있다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 통해, 통신부(1009)에서 수신하여, 기록부(1008)에 인스톨할 수 있다. 기타, 프로그램은, ROM(1002)이나 기록부(1008)에 미리 인스톨해 둘 수 있다.

여기서, 본 명세서에 있어서, 컴퓨터가 프로그램에 따라 행하는 처리는, 반드시 흐름도로서 기재된 순서에 따라 시계열로 행해질 필요는 없다. 즉, 컴퓨터가 프로그램에 따라 행하는 처리는, 병렬적 혹은 개별로 실행되는 처리(예를 들어, 병렬 처리 혹은 오브젝트에 의한 처리)도 포함한다. 또한, 프로그램은, 하나의 컴퓨터(프로세서)에 의해 처리되어도 되고, 복수의 컴퓨터에 의해 분산 처리되어도 된다.

또한, 본 기술의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니고, 본 기술의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.

또한, 상술한 흐름도에 나타낸 처리의 각 스텝은, 하나의 장치에서 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다. 또한, 하나의 스텝에 복수의 처리가 포함되는 경우에는, 그 하나의 스텝에 포함되는 복수의 처리는, 하나의 장치에서 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다.

또한, 본 기술은, 이하와 같은 구성을 취할 수 있다.

(1)

전자 기기마다의 출력 모달에 관한 기기 정보를 취득하고,

취득한 상기 기기 정보에 기초하여, 복수의 전자 기기 중에서, 정보를 출력하는 출력 모달을 갖는 전자 기기를 선택하고,

선택한 상기 전자 기기가 갖는 출력 모달로부터 상기 정보를 출력하는

처리를 행하는 처리부를 구비하는

정보 처리 장치.

(2)

상기 처리부는,

유저에 관한 유저 정보를 더 취득하고,

취득한 상기 유저 정보 및 상기 기기 정보에 기초하여, 상기 복수의 전자 기기 중에서, 상기 유저 정보에 대응한 출력 모달을 갖는 전자 기기를 선택하는

상기 (1)에 기재된 정보 처리 장치.

(3)

상기 유저 정보는, 상기 유저의 희망 출력 모달을 포함하고,

상기 처리부는, 상기 희망 출력 모달에 대응한 출력 모달을 갖는 전자 기기를 선택하는

상기 (2)에 기재된 정보 처리 장치.

(4)

상기 복수의 전자 기기는, 동작의 주체가 되는 자기기와, 상기 자기기와 연계하여 동작하는 연계 기기를 포함하는

상기 (3)에 기재된 정보 처리 장치.

(5)

상기 처리부는, 자기기가 상기 희망 출력 모달에 대응한 출력 모달을 갖고 있지 않은 경우, 상기 희망 출력 모달에 대응한 출력 모달을 갖는 연계 기기를 선택하는

상기 (4)에 기재된 정보 처리 장치.

(6)

상기 처리부는, 상기 희망 출력 모달에 대응한 출력 모달로부터 상기 정보를 출력하는 출력 명령을, 네트워크를 통해, 선택한 상기 연계 기기로 송신하는

상기 (5)에 기재된 정보 처리 장치.

(7)

상기 처리부는,

자기기가 상기 희망 출력 모달에 대응한 출력 모달을 갖는 경우, 상기 자기기를 선택하고,

상기 출력 명령을, 선택한 상기 자기기의 출력 모달에 출력하는

상기 (6)에 기재된 정보 처리 장치.

(8)

상기 처리부는, 상기 희망 출력 모달에 대응한 출력 모달을 갖는 연계 기기가 복수 선택된 경우, 상기 유저의 주변을 센싱하여 얻어지는 센싱 정보에 기초하여, 선택된 복수의 연계 기기 중에서, 최적의 연계 기기를 선택하는

상기 (4) 내지 (7)중 어느 것에 기재된 정보 처리 장치.

(9)

상기 유저 정보는, 상기 유저의 제2 후보의 희망 출력 모달을 더 포함하고,

상기 처리부는, 상기 희망 출력 모달에 대응한 출력 모달을 갖는 전자 기기를 선택할 수 없는 경우에, 상기 제2 후보의 희망 출력 모달에 대응한 출력 모달을 갖는 전자 기기를 선택하는

상기 (3) 내지 (8)중 어느 것에 기재된 정보 처리 장치.

(10)

상기 유저 정보는, 유저마다 우선도를 포함하고,

상기 처리부는, 상기 우선도에 따른 희망 출력 모달에 대응한 출력 모달을 갖는 전자 기기를 선택하는

상기 (3) 내지 (9)중 어느 것에 기재된 정보 처리 장치.

(11)

상기 처리부는,

유저의 속성을 추정하고,

추정한 상기 속성에 따라 출력 모달의 내용을 변경하는

상기 (1) 내지 (10)중 어느 것에 기재된 정보 처리 장치.

(12)

상기 출력 모달은, 화면 피드백, 소리 피드백, 광 피드백, 진동 및 동작 중 적어도 하나를 포함하는

상기 (1) 내지 (11)중 어느 것에 기재된 정보 처리 장치.

(13)

상기 출력 모달 중 적어도 하나는, 더 세분화된 기능을 포함하는

상기 (12)에 기재된 정보 처리 장치.

(14)

상기 처리부는,

상기 유저의 식별 정보에 기초하여, 상기 유저를 식별하고,

식별한 상기 유저의 희망 출력 모달에 대응한 출력 모달을 갖는 전자 기기를 선택하는

상기 (3) 내지 (10)중 어느 것에 기재된 정보 처리 장치.

(15)

상기 복수의 전자 기기에 포함되고,

상기 자기기로서 동작하는

상기 (4) 내지 (10)중 어느 것에 기재된 정보 처리 장치.

(16)

상기 기기 정보 및 상기 유저 정보의 적어도 한쪽의 정보는, 인터넷을 통해 서버로부터 취득되는

상기 (2) 내지 (10)중 어느 것에 기재된 정보 처리 장치.

(17)

정보 처리 장치가,

전자 기기마다의 출력 모달에 관한 기기 정보를 취득하고,

취득한 상기 기기 정보에 기초하여, 복수의 전자 기기 중에서, 정보를 출력하는 출력 모달을 갖는 전자 기기를 선택하고,

선택한 상기 전자 기기가 갖는 출력 모달로부터 상기 정보를 출력하는

정보 처리 방법.

(18)

유저의 희망 출력 모달을 포함하는 유저 정보 및 전자 기기마다의 출력 모달에 관한 기기 정보에 기초하여, 복수의 전자 기기 중에서, 상기 희망 출력 모달에 대응한 출력 모달을 갖는 전자 기기를 선택하고, 상기 희망 출력 모달에 대응한 출력 모달로부터 정보를 출력하는 출력 명령을 선택한 상기 전자 기기로 송신하는 다른 정보 처리 장치로부터 송신된 상기 출력 명령을, 네트워크를 통해 수신하고,

수신한 상기 출력 명령에 기초하여, 상기 희망 출력 모달에 대응한 출력 모달로부터 상기 정보를 출력하는

처리를 행하는 처리부를 구비하는

정보 처리 장치.

(19)

상기 복수의 전자 기기에 포함되고,

동작의 주체가 되는 자기기와 연계하는 연계 기기로서 동작하고,

상기 출력 명령은 상기 자기기로부터 송신되는

상기 (18)에 기재된 정보 처리 장치.

(20)

정보 처리 장치가,

유저의 희망 출력 모달을 포함하는 유저 정보 및 전자 기기마다의 출력 모달에 관한 기기 정보에 기초하여, 복수의 전자 기기 중에서, 상기 희망 출력 모달에 대응한 출력 모달을 갖는 전자 기기를 선택하고, 상기 희망 출력 모달에 대응한 출력 모달로부터 정보를 출력하는 출력 명령을 선택한 상기 전자 기기로 송신하는 다른 정보 처리 장치로부터 송신된 상기 출력 명령을, 네트워크를 통해 수신하고,

수신한 상기 출력 명령에 기초하여, 상기 희망 출력 모달에 대응한 출력 모달로부터 상기 정보를 출력하는

정보 처리 방법.

10, 10-1 내지 10-N: 전자 기기
10A: 자기기
10B: 연계 기기
20: 라우터
30: 홈 네트워크
40: 서버
50: 인터넷
100: 처리부
101: 입력부
101-1: 마이크로폰
101-2: 버튼
102-1: 디스플레이
102-2: 스피커
102-3: 전자음 버저
102-4: 진동 소자
102-5: 램프
102: 출력부
103: 센서부
104: 통신부
105: 기억부
121: 유저 식별부
122: 출력 모달 결정부
123: 환경 식별부
131: 화자 식별부
132: 얼굴 인식부
133: 식별 결과 통합부
141: 출력 명령 해석부
142: 출력 제어부
401: 유저 정보 기억부
402: 연계 기기 정보 기억부
1001: CPU

Claims (20)

1. 전자 기기마다의 출력 모달에 관한 기기 정보를 취득하고,
   취득한 상기 기기 정보에 기초하여, 복수의 전자 기기 중에서, 정보를 출력하는 출력 모달을 갖는 전자 기기를 선택하고,
   선택한 상기 전자 기기가 갖는 출력 모달로부터 상기 정보를 출력하는
   처리를 행하는 처리부를 구비하는
   정보 처리 장치.
2. 제1항에 있어서, 상기 처리부는,
   유저에 관한 유저 정보를 더 취득하고,
   취득한 상기 유저 정보 및 상기 기기 정보에 기초하여, 상기 복수의 전자 기기 중에서, 상기 유저 정보에 대응한 출력 모달을 갖는 전자 기기를 선택하는
   정보 처리 장치.
3. 제2항에 있어서, 상기 유저 정보는, 상기 유저의 희망 출력 모달을 포함하고,
   상기 처리부는, 상기 희망 출력 모달에 대응한 출력 모달을 갖는 전자 기기를 선택하는
   정보 처리 장치.
4. 제3항에 있어서, 상기 복수의 전자 기기는, 동작의 주체가 되는 자기기와, 상기 자기기와 연계하여 동작하는 연계 기기를 포함하는
   정보 처리 장치.
5. 제4항에 있어서, 상기 처리부는, 자기기가 상기 희망 출력 모달에 대응한 출력 모달을 갖고 있지 않은 경우, 상기 희망 출력 모달에 대응한 출력 모달을 갖는 연계 기기를 선택하는
   정보 처리 장치.
6. 제5항에 있어서, 상기 처리부는, 상기 희망 출력 모달에 대응한 출력 모달로부터 상기 정보를 출력하는 출력 명령을, 네트워크를 통해, 선택한 상기 연계 기기로 송신하는
   정보 처리 장치.
7. 제6항에 있어서, 상기 처리부는,
   자기기가 상기 희망 출력 모달에 대응한 출력 모달을 갖는 경우, 상기 자기기를 선택하고,
   상기 출력 명령을, 선택한 상기 자기기의 출력 모달에 출력하는
   정보 처리 장치.
8. 제4항에 있어서, 상기 처리부는, 상기 희망 출력 모달에 대응한 출력 모달을 갖는 연계 기기가 복수 선택된 경우, 상기 유저의 주변을 센싱하여 얻어지는 센싱 정보에 기초하여, 선택된 복수의 연계 기기 중에서, 최적의 연계 기기를 선택하는
   정보 처리 장치.
9. 제3항에 있어서, 상기 유저 정보는, 상기 유저의 제2 후보의 희망 출력 모달을 더 포함하고,
   상기 처리부는, 상기 희망 출력 모달에 대응한 출력 모달을 갖는 전자 기기를 선택할 수 없는 경우에, 상기 제2 후보의 희망 출력 모달에 대응한 출력 모달을 갖는 전자 기기를 선택하는
   정보 처리 장치.
10. 제3항에 있어서, 상기 유저 정보는, 유저마다 우선도를 포함하고,
    상기 처리부는, 상기 우선도에 따른 희망 출력 모달에 대응한 출력 모달을 갖는 전자 기기를 선택하는
    정보 처리 장치.
11. 제1항에 있어서, 상기 처리부는,
    유저의 속성을 추정하고,
    추정한 상기 속성에 따라 출력 모달의 내용을 변경하는
    정보 처리 장치.
12. 제1항에 있어서, 상기 출력 모달은, 화면 피드백, 소리 피드백, 광 피드백, 진동 및 동작 중 적어도 하나를 포함하는
    정보 처리 장치.
13. 제12항에 있어서, 상기 출력 모달 중 적어도 하나는, 더 세분화된 기능을 포함하는
    정보 처리 장치.
14. 제3항에 있어서, 상기 처리부는,
    상기 유저의 식별 정보에 기초하여, 상기 유저를 식별하고,
    식별한 상기 유저의 희망 출력 모달에 대응한 출력 모달을 갖는 전자 기기를 선택하는
    정보 처리 장치.
15. 제4항에 있어서, 상기 복수의 전자 기기에 포함되고,
    상기 자기기로서 동작하는
    정보 처리 장치.
16. 제2항에 있어서, 상기 기기 정보 및 상기 유저 정보의 적어도 한쪽의 정보는, 인터넷을 통해 서버로부터 취득되는
    정보 처리 장치.
17. 정보 처리 장치가,
    전자 기기마다의 출력 모달에 관한 기기 정보를 취득하고,
    취득한 상기 기기 정보에 기초하여, 복수의 전자 기기 중에서, 정보를 출력하는 출력 모달을 갖는 전자 기기를 선택하고,
    선택한 상기 전자 기기가 갖는 출력 모달로부터 상기 정보를 출력하는
    정보 처리 방법.
18. 유저의 희망 출력 모달을 포함하는 유저 정보 및 전자 기기마다의 출력 모달에 관한 기기 정보에 기초하여, 복수의 전자 기기 중에서, 상기 희망 출력 모달에 대응한 출력 모달을 갖는 전자 기기를 선택하고, 상기 희망 출력 모달에 대응한 출력 모달로부터 정보를 출력하는 출력 명령을 선택한 상기 전자 기기로 송신하는 다른 정보 처리 장치로부터 송신된 상기 출력 명령을, 네트워크를 통해 수신하고,
    수신한 상기 출력 명령에 기초하여, 상기 희망 출력 모달에 대응한 출력 모달로부터 상기 정보를 출력하는
    처리를 행하는 처리부를 구비하는
    정보 처리 장치.
19. 제18항에 있어서, 상기 복수의 전자 기기에 포함되고,
    동작의 주체가 되는 자기기와 연계하는 연계 기기로서 동작하고,
    상기 출력 명령은, 상기 자기기로부터 송신되는
    정보 처리 장치.
20. 정보 처리 장치가,
    유저의 희망 출력 모달을 포함하는 유저 정보 및 전자 기기마다의 출력 모달에 관한 기기 정보에 기초하여, 복수의 전자 기기 중에서, 상기 희망 출력 모달에 대응한 출력 모달을 갖는 전자 기기를 선택하고, 상기 희망 출력 모달에 대응한 출력 모달로부터 정보를 출력하는 출력 명령을 선택한 상기 전자 기기로 송신하는 다른 정보 처리 장치로부터 송신된 상기 출력 명령을, 네트워크를 통해 수신하고,
    수신한 상기 출력 명령에 기초하여, 상기 희망 출력 모달에 대응한 출력 모달로부터 상기 정보를 출력하는
    정보 처리 방법.

Images