KR20200094739A - 정보 처리 장치, 정보 처리 방법, 및 기록 매체 - Google Patents

Abstract

실물체에 관련되는 통지에 관하여, 보다 직감적인 제시를 행하는 것이 가능한 정보 처리 장치, 정보 처리 방법, 및 기록 매체를 제공한다. 통지 내용에 관련지어진 통지 조건이 충족되었을 때, 상기 통지 내용에 관련지어진 실물체가 통지 대상자와 동일 공간에 존재하는지 여부를 판단하는 처리와, 상기 실물체가 존재하는지 여부에 따라서, 상기 실물체에 관련되는 위치에 상기 통지 내용을 출력하는 처리를 행하는 제어부를 구비하는 정보 처리 장치.

Description

정보 처리 장치, 정보 처리 방법, 및 기록 매체

본 개시는, 정보 처리 장치, 정보 처리 방법, 및 기록 매체에 관한 것이다.

종래, 태스크 관리나 메시징 등의 정보 관리의 방법으로서, 아날로그라면 부전이나 화이트 보드, 디지털이라면, 요즘 널리 보급되어 있는 스마트폰이나, 스마트 유리의 단말 장치가 이용되고 있다.

또한, 근년, 다양한 유저 인터페이스나 새로운 유저 인터랙션을 실현하는 기술이 제안되어 있다.

예를 들어 하기 특허문헌 1에서는, 방의 천장에 설치한 프로젝터와 조명의 스위치를 연동시킴으로써, 유저가 집에 돌아와 전기를 켠 순간에 발밑에 메시지를 표시시키는 기술이 개시되어 있다.

일본 특허 공개 제2014-21428호 공보

그러나, 상기 특허문헌 1에서는, 정보를 제시하는 타이밍이 조명의 스위치를 온으로 하였을 때로 한정되어 있고, 출력 장소도 조명 아래의 영역으로 한정되어 있었다.

또한, 부전이나 화이트 보드는 그 장소에 고정되어, 정보를 가지고 다닐 수 없어, 필요한 타이밍에 확인할 수 없었다. 또한, 단말 장치를 사용하면 정보를 가지고 다닐 수 있지만, 단말 장치를 휴대하고 있지 않은 타이밍에는 태스크나 메시지의 통지를 알아차릴 수 없다.

또한, 태스크의 소화에 실물체를 사용하는 것도 상정되지만, 종래의 기술에서는, 태스크의 통지 타이밍에 있어서의 실물체의 존재의 유무에 관하여 충분히 고려되어 있지 않았다.

그래서, 본 개시에서는, 실물체에 관련되는 통지에 관해, 보다 직감적인 제시를 행하는 것이 가능한 정보 처리 장치, 정보 처리 방법, 및 기록 매체를 제안한다.

본 개시에 의하면, 통지 내용에 관련지어진 통지 조건이 충족되었을 때, 상기 통지 내용에 관련지어진 실물체가 통지 대상자와 동일 공간에 존재하는지 여부를 판단하는 처리와, 상기 실물체가 존재하는지 여부에 따라서, 상기 실물체에 관련되는 위치에 상기 통지 내용을 출력하는 처리를 행하는 제어부를 구비하는 정보 처리 장치를 제안한다.

본 개시에 의하면, 프로세서가, 통지 내용에 관련지어진 통지 조건이 충족되었을 때, 상기 통지 내용에 관련지어진 실물체가 통지 대상자와 동일 공간에 존재하는지 여부를 판단하는 것과, 상기 실물체가 존재하는지 여부에 따라서, 상기 실물체에 관련되는 위치에 상기 통지 내용을 출력하는 것을 포함하는 정보 처리 방법을 제안한다.

본 개시에 의하면, 컴퓨터를, 통지 내용에 관련지어진 통지 조건이 충족되었을 때, 상기 통지 내용에 관련지어진 실물체가 통지 대상자와 동일 공간에 존재하는지 여부를 판단하는 처리와, 상기 실물체가 존재하는지 여부에 따라서, 상기 실물체에 관련되는 위치에 상기 통지 내용을 출력하는 처리를 행하는 제어부로서 기능시키기 위한 프로그램이 기록된 기록 매체를 제안한다.

이상 설명한 바와 같이 본 개시에 의하면, 실물체에 관련되는 통지에 관해, 보다 직감적인 제시를 행하는 것이 가능해진다.

또한, 상기 효과는 반드시 한정적인 것은 아니고, 상기 효과와 함께, 또는 상기 효과 대신에, 본 명세서에 기재된 어느 효과, 또는 본 명세서로부터 파악될 수 있는 다른 효과가 발휘되어도 된다.

도 1은 본 개시의 일 실시 형태에 의한 정보 처리 시스템의 개요에 대하여 설명하는 도면이다.
도 2는 본 실시 형태에 관한 시스템의 구성의 일례를 도시하는 블록도이다.
도 3은 본 실시 형태에 관한 디지털 펜을 사용한 실물체에 관련되는 태스크의 입력에 대하여 설명하는 도면이다.
도 4는 본 실시 형태에 의한 시스템의 등록 처리의 흐름의 일례를 설명하는 흐름도이다.
도 5는 본 실시 형태에 의한 등록 UI의 화면예를 도시하는 도면이다.
도 6은 본 실시 형태에 의한 태스크의 부가 정보에 포함되는 통지 조건의 등록 처리의 일례를 나타내는 흐름도이다.
도 7은 본 실시 형태에 의한 태스크의 부가 정보에 포함되는 속성 정보의 등록 처리의 일례를 나타내는 흐름도이다.
도 8은 본 실시 형태에 의한 수기 내용에 근거한 중요도 판단의 일례를 도시하는 도면이다.
도 9는 본 실시 형태에 의한 통지 처리의 흐름의 일례를 설명하는 흐름도이다.
도 10은 본 실시 형태에 의한 태스크 중요도의 출력 표현의 일례를 도시하는 도면이다.
도 11은 본 실시 형태에 의한 실물체가 부근에 없는 경우의 태스크 표시의 일례를 도시하는 도면이다.
도 12는 본 실시 형태에 의한 본 실시 형태에 의한 풀 표시의 일례를 도시하는 도면이다.
도 13은 본 실시 형태에 의한 본 실시 형태에 의한 풀 표시의 다른 예를 도시하는 도면이다.
도 14는 본 개시에 관한 정보 처리 장치의 하드웨어 구성을 도시한 설명도이다.

이하에 첨부 도면을 참조하면서, 본 개시의 적합한 실시 형태에 대하여 상세하게 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는, 동일한 번호를 부여함으로써 중복 설명을 생략한다.

또한, 설명은 이하의 순서로 행하는 것으로 한다.

1. 본 개시의 일 실시 형태에 의한 정보 처리 시스템의 개요

2. 구성예

2-1. 입력 장치(200)

2-2. 센서 장치(300)

2-3. 출력 장치(400)

2-4. 정보 처리 장치(100)

3. 동작 처리

3-1. 등록 처리

3-2. 통지 처리

4. 보충

4-1. 풀 표시

4-2. 적용예

4-3. 효과

5. 하드웨어 구성

6. 정리

<<1. 본 개시의 일 실시 형태에 의한 정보 처리 시스템의 개요>>

도 1은 본 개시의 일 실시 형태에 의한 정보 처리 시스템의 개요에 대하여 설명하는 도면이다. 본 실시 형태에 의한 정보 처리 시스템은, 정보 처리 장치(100)(도 1에서는 도시하지 않음), 센서 장치(300)(도 1에서는, 일례로서 카메라를 도시), 및 출력 장치(400)(도 1에서는, 일례로서 프로젝터(410)를 도시)를 포함한다.

센서 장치(300)는, 다양한 정보를 센싱하는 장치이다. 예를 들어, 센서 장치(300)는, 카메라, 뎁스 센서, 및 마이크로폰 등을 포함하고, 유저 및 유저가 있는 공간에 관한 정보를 센싱한다. 예를 들어, 센서 장치(300)는, 유저의 위치, 자세, 움직임, 시선, 방의 형상, 및 가구, 가전, 쓰레기통, 인테리어 용품, 일용품 등의 실물체의 배치 등을 센싱한다. 센서 장치(300)는, 단수여도 되고 복수여도 된다.

출력 장치(400)는, 정보 처리 장치(100)로부터의 다양한 정보를 출력하는 장치이며, 예를 들어 프로젝터(410)를 상정한다. 프로젝터(410)는, 센서 장치(300)가 센싱하는 공간에 포함되는 벽, 바닥, 테이블, 또는 그 밖의 가구 등의 임의의 장소(즉, 영역)를 투영 장소(즉, 투영면 또는 투영 영역)로 하여 정보를 투영하는 것이 가능하다. 또한, 프로젝터(410)는, 공간 내의 어디에라도 투영할 수 있도록, 복수대, 혹은 소위 무빙 프로젝터에 의해 실현되어도 된다. 출력 장치(400)는, 단수여도 되고 복수여도 된다.

(배경)

여기서, 상술한 바와 같이, 종래부터 다양한 유저 인터랙션 기술이 제안되어 있지만, 상기 특허문헌 1에 기재된 기술에서는, 정보를 제시하는 타이밍이 조명의 스위치를 온으로 하였을 때로 한정되어 있고, 출력 장소도 조명 아래의 영역으로 한정되어 있었다.

또한, 부전이나 화이트 보드는 그 장소에 고정되어, 정보를 가지고 다닐 수 없어, 필요한 타이밍에 확인할 수 없었다. 또한, 단말 장치를 사용하면 정보를 가지고 다닐 수 있지만, 단말 장치를 휴대하고 있지 않은 타이밍에는 태스크나 메시지의 통지를 알아차릴 수 없다.

또한, 태스크나 메시지에는, 「아침 9시에 쓰레기를 버린다」, 「편지를 우체통에 넣는다」 등, 실물체에 결부되는 것도 상정되지만, 종래의 기술에서는, 실물체와 관련된 통지 정보의 입력이나 출력에 관하여 충분히 고려되어 있지 않았다.

그래서, 본 개시에서는, 공간 내에 있어서의 실물체에 관련되는 통지에 관해, 보다 직감적인 제시를 행하는 것이 가능한 구조를 제안한다.

예를 들어, 도 1에 도시한 바와 같이, 실물체(10)와 관련지어진 통지 정보를, 소정의 통지 타이밍에 유저에게 통지할 때, 유저의 주변에 실물체(10)가 존재하는 경우에는, 프로젝터(410)에 의해 실물체(10) 상에 통지 정보(20)를 투영함으로써, 실물체에 관련되는 통지를 보다 직감적으로 행하는 것을 가능하게 한다.

<<2. 구성예>>

도 2는 본 실시 형태에 관한 시스템(1)의 구성의 일례를 도시하는 블록도이다. 도 2에 도시한 바와 같이, 시스템(1)은, 정보 처리 장치(100), 입력 장치(200), 센서 장치(300) 및 출력 장치(400)를 포함한다.

<2-1. 입력 장치(200)>

입력 장치(200)는, 디지털 펜(210), 터치 패널(220) 및 키보드(230)를 포함한다.

디지털 펜(210)은, IR(적외선) LED(Light Emitting Diode) 등의 발광부가 탑재된 전자 조작체이다. 발광부는, 디지털 펜(210)에 마련된 버튼 또는 스위치 등의 조작, 펜촉의 접지면에 대한 압박, 펜의 요동 등에 의해 발광한다. 또한, 디지털 펜(210)은, 디지털 펜(210)에 마련된 버튼 또는 스위치의 유저 조작, 또는 펜의 움직임 등에 기초하는 소정의 커맨드를 정보 처리 장치(100)에 송신해도 된다.

터치 패널(220) 및 키보드(230)는, 스마트폰이나 태블릿 단말기, 스마트 시계, 스마트 안경, PC 등의 디바이스에 마련되며, 유저 조작을 검출하여 정보 처리 장치(100)로 송신한다. 또한, 터치 패널(220) 및 키보드(230)는, 주거 내의 벽이나 바닥, 테이블, 도어 등에 마련된 것이어도 된다.

유저는, 입력 장치(200)를 사용하여, 공간 내의 임의의 실물체에 관련되는 태스크를 정보 처리 장치(100)에 입력할 수 있다. 여기서, 도 3에, 디지털 펜(210)을 사용한 실물체에 관련되는 태스크의 입력에 대하여 설명하는 도면을 도시한다. 도 3에 도시한 바와 같이, 유저는, 디지털 펜(210)을 사용하여, 태스크를 소화할 때 사용할 예정인 실물체(10)에 대하여 필기를 행한다. 이 경우, 정보 처리 장치(100)는, 실공간에 마련된 센서 장치(300)에 의해, 펜촉에 마련된 발광부의 휘점을 검출하여 필적 인식을 행함과 함께, 프로젝터(410)에 의해 필적 화상(21)을 투영하는 비주얼 피드백 제어를 행한다. 또한, 정보 처리 장치(100)는, 센서 장치(300)에 의해 실물체(10)를 인식함과 함께 필적 화상(21)을 태스크로서 등록한다. 이와 같이, 유저는, 실공간의 모든 실물체에 대하여 자유롭게 필기를 행할 수 있어, 실물체에 관련된 태스크를 직감적으로 등록하는 것이 가능해진다. 또한, 태스크에 관련되는 실물체가 유저의 부근에 존재하지 않는 경우에는, 실물체의 명칭 등을 디지털 펜(210)으로 필기하여 정보 처리 장치(100)에 태스크로서 등록해도 된다. 또한, 실물체가 아니라 유저 자신에 결부시켜 통지할 필요가 있는 태스크의 경우, 그 자리에서 벽이나 바닥 등에 태스크의 내용을 필기함으로써, 유저 자신에 관련지어진 태스크로서 정보 처리 장치(100)에 등록하는 것도 가능하다.

입력 수단은, 디지털 펜(210) 외에, 손가락 끝이나 음성, 제스처여도 되고, 스마트폰이나 태블릿 단말기, 스마트 시계, 스마트 안경, PC 등의 디바이스를 사용해도 된다. 또한, 입력 장치(200)는, 화상이나 동화상과 같은 미디어 정보를 취득하여 정보 처리 장치(100)에 입력해도 된다.

또한, 입력 장치(200)는, 상술한 구성 요소 이외의 임의의 유저에 의한 정보 입력이 가능한 구성 요소를 포함하고 있어도 된다. 예를 들어, 입력 장치(200)는, 마우스, 버튼, 스위치 및 레버 등을 포함하고 있어도 된다.

<2-2. 센서 장치(300)>

센서 장치(300)는, 인물 감지(인감) 센서(310), 가속도 센서(320), 뎁스 센서(330), 마이크로폰(340), 카메라(350), 자이로 센서(360) 및 지자기 센서(370)를 포함한다.

인감 센서(310)는, 인물의 유무를 검출하는 장치이다. 인감 센서(310)는, 예를 들어 적외선 등의 광 센서이다. 가속도 센서(320), 자이로 센서(360), 및 지자기 센서(370)는, 인물의 움직임을 검출하는 모션 센서이며, 유저가 소유하는 웨어러블 디바이스나 스마트폰 등의 단말 장치에 마련되어 있어도 된다. 뎁스 센서(330)는, 적외선 측거 장치, 초음파 측거 장치, LiDAR(Laser Imaging Detection and Ranging) 또는 스테레오 카메라 등의 심도 정보를 취득하는 장치이다. 마이크로폰(340)은, 주위의 소리를 수음하고, 증폭기 및 ADC(Analog Digital Converter)를 통해 디지털 신호로 변환한 음성 데이터를 출력하는 장치이다. 마이크로폰(340)은, 어레이 마이크여도 된다. 카메라(350)는, RGB 카메라 등의, 렌즈계, 구동계 및 촬상 소자를 갖고, 화상(정지 화상 또는 동화상)을 촬상하는 촬상 장치이다. 카메라(350)는 복수여도 되고, 공간 내의 임의의 방향을 촬영할 수 있는 가동식이어도 된다.

센서 장치(300)는, 정보 처리 장치(100)에 의한 제어에 기초하여 정보를 센싱한다. 예를 들어, 정보 처리 장치(100)는, 카메라(350)의 줌률 및 촬상 방향을 제어할 수 있다.

또한, 센서 장치(300)는, 상술한 구성 요소 이외의 임의의 센싱이 가능한 구성 요소를 포함하고 있어도 된다. 예를 들어, 센서 장치(300)는, 조도 센서, 힘 센서, 초음파 센서, 기압 센서, 가스 센서(Co2), 서모 카메라 등의 각종 센서를 포함할 수 있다.

<2-3. 출력 장치(400)>

출력 장치(400)는, 프로젝터(410), 디스플레이(420), 스피커(430) 및 단일 지향성 스피커(440)를 포함한다. 또한, 시스템(1)은, 출력 장치(400)로서, 이들 중 하나 또는 복수의 조합을 포함해도 되고, 동일 종류의 장치를 복수 포함해도 된다.

프로젝터(410)는, 공간의 임의의 장소에 화상을 투영하는 투영 장치이다. 프로젝터(410)는, 예를 들어 고정형 광각 프로젝터여도 되고, Pan/Tilt 구동형 등의 투영 방향을 변경 가능한 가동부를 구비하는 소위 무빙 프로젝터여도 된다. 디스플레이(420)는, 예를 들어 TV, 태블릿 단말기, 스마트폰, PC 등에 마련될 수 있다. TV는, 텔레비전 방송의 전파를 수신하여, 화상 및 음성을 출력하는 장치이다. 태블릿 단말기는, 전형적으로는 스마트폰보다 큰 화면을 갖는 무선 통신 가능한 모바일 기기이며, 화상, 음성 및 진동 등을 출력 가능하다. 스마트폰은, 전형적으로는 태블릿보다 작은 화면을 갖는 무선 통신 가능한 모바일 기기이며, 화상, 음성 및 진동 등을 출력 가능하다. PC는, 고정형 데스크탑 PC여도 되고, 모바일형 노트북 PC여도 되고, 화상 및 음성 등을 출력 가능하다. 스피커(430)는, DAC(Digital Analog Converter) 및 증폭기를 통해, 음성 데이터를 아날로그 신호로 변환하여, 출력(재생)한다. 단일 지향성 스피커(440)는, 단일의 방향으로 지향성을 형성 가능한 스피커이다.

출력 장치(400)는, 정보 처리 장치(100)에 의한 제어에 기초하여 정보를 출력한다. 정보 처리 장치(100)는, 출력하는 정보의 내용에다가, 출력 방법도 제어 가능하다. 예를 들어, 정보 처리 장치(100)는, 프로젝터(410)의 투영 방향을 제어하거나, 단일 지향성 스피커(440)의 지향성을 제어하거나 할 수 있다.

또한, 출력 장치(400)는, 상술한 구성 요소 이외의 임의의 출력이 가능한 구성 요소를 포함하고 있어도 된다. 예를 들어, 출력 장치(400)는, HMD(Head Mounted Display), AR(Augmented Reality) 안경, 및 시계형 디바이스 등의 웨어러블 디바이스를 포함하고 있어도 된다. 또한, 출력 장치(400)는, 조명 장치, 공조 장치, 음악 재생 장치, 가전 등을 포함하고 있어도 된다.

<2-4. 정보 처리 장치(100)>

정보 처리 장치(100)는, I/F(Interface)부(110), 필적 인식부(120), 제스처 검출부(130), 음성 인식부(131), 맵 관리부(140), 유저 위치 특정부(150), 유저 인식부(160), 제어부(170), 타이머(180), 및 기억부(190)를 포함한다.

·I/F부(110)

I/F부(110)는, 정보 처리 장치(100)와 다른 기기를 접속하기 위한 접속 장치이다. I/F부(110)는, 예를 들어 USB(Universal Serial Bus) 커넥터 등에 의해 실현되며, 입력 장치(200), 센서 장치(300), 및 출력 장치(400)의 각 구성 요소와의 사이에서 정보의 입출력을 행한다. 또한, 예를 들어 I/F부(110)는, 무선/유선 LAN(Local Area Network), DLNA(등록 상표)(Digital Living Network Alliance), Wi-Fi(등록 상표), Bluetooth(등록 상표), 또는 그 밖의 전용선 등에 의해 입력 장치(200), 센서 장치(300) 및 출력 장치(400)와 접속한다. 또한, I/F부(110)는, 인터넷이나 홈 네트워크를 통해 다른 기기를 접속해도 된다.

·필적 인식부(120)

필적 인식부(120)는, 센서 장치(300)에 의해 센싱된 정보에 기초하여, 디지털 펜(210), 또는 손가락 등의 조작체에 의해 실공간 내에 필기된 유저의 필적을 인식하는 기능을 갖는다. 구체적으로는, 필적 인식부(120)는, 카메라(350)로부터 취득한 촬상 화상(프로젝터(410)에 의해 투영된 필적 화상을 촬상한 촬상 화상)을 해석하여, 문자 인식을 행하고, 추출한 문자열의 형태소 해석 및 의미 해석 등을 행한다. 문자 인식에서는, 필적 화상 외에, 필적 시의 동작(필순, 기입 개시 위치, 필기 종료 위치 등)도 참조될 수 있다. 또한, 필적 인식부(120)는, 기계 학습을 사용한 패턴 인식 등에 의해 필자 식별을 행하는 것도 가능하다. 필적 인식부(120)는, 인식 결과를 제어부(170)에 출력한다.

·제스처 검출부(130)

제스처 검출부(130)는, 센서 장치(300)에 의해 센싱된 정보에 기초하여 유저의 제스처를 검출하는 기능을 갖는다. 구체적으로는, 제스처 검출부(130)는, 센서 장치(300)에 포함되는 가속도 센서(320), 뎁스 센서(330), 카메라(350), 자이로 센서(360), 및 지자기 센서(370)를 사용하여, 유저의 자세, 헤드, 손이나 팔의 움직임과 같은 제스처를 검출한다. 제스처 검출부(130)는, 검출 결과를 제어부(170)에 출력한다.

·음성 인식부(131)

음성 인식부(131)는, 센서 장치(300)에 의해 센싱된 정보에 기초하여 유저의 음성을 인식하는 기능을 갖는다. 구체적으로는, 음성 인식부(131)는, 센서 장치(300)에 포함되는 마이크로폰(340)에 의해 집음한 음성 정보로부터 유저의 발화 음성을 추출하여, 음성 인식(텍스트화)을 행하고, 취득한 문자열로부터 형태소 해석 및 의미 해석 등을 행한다. 음성 인식부(131)는, 인식 결과를 제어부(170)에 출력한다.

·맵 관리부(140)

맵 관리부(140)는, 센서 장치(300)에 의해 센싱된 정보에 기초하여 공간 내의 맵 생성, 및 실물체의 인식 등의 소위 공간 인식을 행하는 기능을 갖는다. 구체적으로는, 맵 관리부(140)는, 예를 들어 적외선 측거, 초음파 측거, 또는 스테레오 카메라에 의해 얻어지는 심도 정보에 기초하여, 벽면, 천장, 바닥, 도어, 가구 및 생활용품 등의, 공간을 형성하는 물체의 형상을 나타내는 정보(공간의 형상을 나타내는 정보)를 취득한다. 공간의 형상을 나타내는 정보는, 2차원 정보여도 되고, 포인트 클라우드 등의 3차원 정보여도 된다.

또한, 맵 관리부(140)는, 적외선 측거, 초음파 측거, 촬상 화상 및 심도 정보에 기초하여, 공간 내에 존재하는 실물체의 삼차원 위치 정보를 취득한다.

센서 장치(300)는, 예를 들어 거주 공간의 모든 장소에 마련되고, 맵 관리부(140)는, 거주 공간에 있어서의 현관, 복도, 키친, 리빙룸, 다이닝 룸, 서재, 침실, 목욕탕, 세면소, 베란다 등의 모든 방의 인식이나, 각 방에 있어서의 실물체의 배치를 맵화하는 것이 가능하다.

·유저 위치 특정부(150)

유저 위치 특정부(150)는, 맵 관리부(140)에 의해 인식된 삼차원 공간 내에 있어서의 유저의 위치를 특정하는 기능을 갖는다. 구체적으로는, 유저 위치 특정부(150)는, 유저 인식부(160)에 의해 인식된 유저의 위치가, 맵 관리부(140)에 의해 인식된 삼차원 공간 내의 어디에 상당하는지를 인식(추정)한다. 유저 위치 특정부(150)는, 특정한 공간 내에 있어서의 유저의 위치를 나타내는 정보를 제어부(170)에 출력한다.

·유저 인식부(160)

유저 인식부(160)는, 센서 장치(300)에 의해 센싱된 정보에 기초하여 공간 내에 있어서의 유저를 인식하고, 유저에 관한 정보를 취득하는 기능을 갖는다. 예를 들어, 유저 인식부(160)는, 센서 장치(300)에 포함되는 서모 카메라, RGB 카메라, 스테레오 카메라, 적외선 센서, 또는 초음파 센서 등에 의해 취득된 정보에 기초하여, 인물의 유무, 위치, 시점의 위치나 시선 방향을 포함하는 시선 정보, 자세, 얼굴 인식 등에 의한 개인 식별 등을 행한다. 유저 인식부(160)는, 취득한 유저 정보를 제어부(170)에 출력한다.

이상 설명한 각종 인식이나 검출은, 정기적, 계속적, 또는 단속적으로 행해지고, 인식 결과 및 검출 결과는, 제어부(170)에 의해 기억부(190)에 기억된다.

·제어부(170)

제어부(170)는, 연산 처리 장치 및 제어 장치로서 기능하고, 각종 프로그램에 따라서 정보 처리 장치(100) 내의 동작 전반을 제어한다. 제어부(170)는, 예를 들어 CPU(Central Processing Unit), 마이크로프로세서 등의 전자 회로에 의해 실현된다. 또한, 제어부(170)는, 사용하는 프로그램이나 연산 파라미터 등을 기억하는 ROM(Read Only Memory), 및 적절히 변화하는 파라미터 등을 일시 기억하는 RAM(Random Access Memory)을 포함하고 있어도 된다.

또한, 제어부(170)는, 표시 데이터 생성부(171) 및 태스크 등록부(173)를 포함한다.

표시 데이터 생성부(171)는, 출력 장치(400)에 의해 출력하는 표시 데이터를 생성한다. 구체적으로는, 표시 데이터 생성부(171)는, 먼저, 센서 장치(300)로부터 취득된 센싱 데이터에 기초하여, 디지털 펜(210) 또는 손가락 끝 등으로 그려진 선의 궤적(즉, 디지털 펜(210) 또는 손가락 끝의 이동 위치)을 인식한다. 예를 들어, 표시 데이터 생성부(171)는, 카메라(350)가 취득한 촬상 화상이나 심도 정보 등에 기초하여, 디지털 펜(210)의 펜촉에 마련된 발광부의 휘점이나 유저의 손가락 끝의 이동 궤적을 해석한다. 그리고, 표시 데이터 생성부(171)는, 인식한 궤적을 표시하는 필적 화상(유저의 수기 입력 피드백이 되는 화상이기 때문에, 본 명세서에서는, 궤적을 표시하는 화상을 「필적 화상」이라 칭함)을 생성한다.

또한, 표시 데이터 생성부(171)는, 태스크 등록 시의 등록 UI(유저 인터페이스)를 생성한다. 또한, 표시 데이터 생성부(171)는, 기억부(190)에 등록된 태스크를 통지하는 통지 화상을 생성한다.

태스크 등록부(173)는, 센서 장치(300) 및 입력 장치(200)로부터 입력된 정보에 기초하여, 태스크(통지 정보의 일례)를 기억부(190)에 기억(등록)하는 처리를 행한다. 예를 들어, 태스크 등록부(173)는, 필적 인식부(120)에 의해 인식된 문자열, 또는 카메라(350)에 의해 촬상된 혹은 표시 데이터 생성부(171)에 의해 생성된 필적 화상(문자열, 도표, 일러스트 등)(이들은 모두 통지 내용의 일례임)을, 부가 정보와 함께, 기억부(190)의 통지 리스트(태스크 리스트라 칭해도 됨)에 기억한다. 부가 정보는, 통지 조건(통지 시간, 통지 대상 유저, 통지 장소, 태스크 소화에 사용하는 실물체) 및 속성 정보(중요도, 시큐리티 정보, 반복 설정)를 포함한다. 제어부(170)는, 부가 정보를, 필기된 문자열, 태스크 등록 시에 표시한 등록 UI에 대한 입력 정보, 유저의 제스처, 또는 음성 등으로부터 추출한다. 또한, 태스크 등록부(173)는, 태스크로서 유저 음성을 등록해도 된다.

또한, 제어부(170)는, 출력 장치(400)에 의한 표시 출력이나 음성 출력의 제어를 행한다.

구체적으로는, 본 실시 형태에 의한 제어부(170)는, 기억부(190)에 등록된 태스크의 통지 조건이 충족되었는지 여부를 판단하고, 통지 조건을 충족한 경우에는, 대응하는 통지 내용을 출력 장치(400)로부터 출력하는 제어를 행한다. 예를 들어, 제어부(170)는, 타이머(180)로부터 출력된 타이머 정보, 유저 위치 특정부(150)에 의해 특정된 공간 내에 있어서의 유저의 위치, 및 유저 인식부(160)에 의한 유저의 식별 결과 등에 기초하여, 등록된 통지 조건을 충족하였는지 여부를 판단한다.

또한, 제어부(170)는, 통지할 태스크에 실물체 정보가 등록되어 있는 경우, 통지 대상자인 유저와 동일 공간(예를 들어 동일한 방)에, 소정의 실물체가 존재하는지 여부를 판단한다. 그리고, 제어부(170)는, 실물체가 존재하는 경우, 당해 실물체에 관련되는 위치, 즉 당해 실물체 상 또는 당해 실물체의 주변에, 태스크로서 등록된 문자열 또는 필적 화상 등을 표시(예를 들어 투영)하는 제어를 행한다. 또한, 실물체 자체에 출력 기능(표시부 또는 음성 출력부 등)이 마련되어 있는 경우, 실물체로부터 태스크로서 등록된 문자열 또는 필적 화상 등을 표시하거나, 태스크로서 등록된 음성 또는 소정의 통지음 등을 재생하거나 하는 제어를 행해도 된다. 또한, 실물체가 유저의 사각에 있는 경우(유저(통지 대상자)의 헤드부의 방향이나 시선 정보로부터 유저의 사각을 인식), 제어부(170)는, 실물체 또는 실물체의 근처에 있는 디바이스로부터 소리를 울리거나, 실물체 또는 실물체의 근처에 있는 디바이스의 조명을 점멸시키거나, 프로젝터(410)에 의해 실물체까지 유도하는 표시 화상을 유저의 시선 방향으로 투영하거나 해도 된다. 한편, 실물체가 존재하지 않는 경우, 제어부(170)는, 유저(통지 대상자)와 동일 공간 내에 있어서의 어느 출력 영역(예를 들어, 유저의 시선 방향에 위치하는 벽이나 테이블 등의 투영 영역)에, 실물체를 나타내는 정보(실물체의 명칭 또는 화상 등)와 함께, 태스크로서 등록된 문자열, 또는 필적 화상 등을 표시하는 제어를 행한다. 유저(통지 대상자)와 동일 공간 내에 있어서의 출력 영역에는, 유저가 소유하는 스마트폰, 휴대 전화 단말기, 스마트 시계, 스마트 안경 및 HMD 등의 휴대품도 포함된다.

또한, 제어부(170)는, 태스크를 통지할 때, 등록된 속성 정보에 따라서, 등록된 문자열 또는 필적 화상 등을 가공하여 표시해도 된다.

·타이머(180)

타이머(180)는, 시간의 계측을 행하여, 타이머 정보를 제어부(170)에 출력한다.

·기억부(190)

기억부(190)는, 제어부(170)의 처리에 사용되는 프로그램이나 연산 파라미터 등을 기억하는 ROM(Read Only Memory), 및 적절히 변화되는 파라미터 등을 일시 기억하는 RAM(Random Access Memory)에 의해 실현된다.

기억부(190)에는, 태스크 등록부(173)에 의해, 태스크(통지 정보)가 기억된다.

이상, 본 실시 형태에 의한 시스템(1)의 각 구성에 대하여 구체적으로 설명하였다. 또한 도 2에 도시한 시스템(1)의 구성은 일례이며, 본 실시 형태는 이것에 한정되지 않는다. 예를 들어, 도 2에는 도시하지 않지만, 정보 처리 장치(100)에 다른 장치가 접속되어 있어도 된다.

또한, 정보 처리 장치(100)는, 복수의 장치에 의해 구성되어 있어도 된다. 또한, 정보 처리 장치(100)는, 스마트 홈 단말기, PC, 홈 서버, 에지 서버, 중간 서버, 또는 클라우드 서버에 의해 실현되어도 된다.

<<3. 동작 처리>>

계속해서, 본 실시 형태에 의한 시스템(1)의 동작 처리의 흐름에 대하여, 도면을 사용하여 구체적으로 설명한다.

<3-1. 등록 처리>

먼저, 도 4를 참조하여, 본 실시 형태에 의한 시스템(1)의 등록 처리의 흐름의 일례에 대하여 설명한다. 도 4는 본 실시 형태에 의한 시스템(1)의 등록 처리의 흐름의 일례를 설명하는 흐름도이다.

도 4에 도시한 바와 같이, 먼저, 정보 처리 장치(100)는, 입력 장치(200) 또는 센서 장치(300)로부터 취득한 정보에 기초하여, 유저에 의한 디지털 펜(210)이나 손가락 끝을 사용한 환경물에 대한 입력 조작(제1 입력 조작)을 검출한다(스텝 S103). 환경물이란, 벽, 바닥, 창, 도어, 침대, 책상, 테이블, 의자, 냉장고, 쓰레기통, 패트병 등등 환경을 구성하는 물체이며, 본 실시 형태에 의한 「실물체」를 포함한다. 실물체란, 상술한 바와 같이, 예를 들어 가구, 가전, 쓰레기통, 인테리어 용품, 일용품 등, 실공간 내에 존재하는 물체이며, 태스크 소화에 이용되는 것이 상정되는 모든 물건이다. 또한, 본 실시 형태에 의한 정보 처리 장치(100)는, 센서 장치(300)로부터 취득된 센싱 데이터에 기초하여, 디지털 펜(210)이나 손가락 끝을 사용한 인간의 손의 스트로크(문자나 도표를 그리는 손이나 팔의 움직임), 디지털 펜(210)의 펜촉에 마련된 발광부(IR LED 등)의 휘점을 해석하고, 유저의 입력 조작으로서 환경물에 대한 수기 입력 행위를 검출하는 것이 가능하다. 정보 처리 장치(100)는, 이와 같은 수기 입력 행위의 검출을, 디지털 펜(210)의 스위치가 켜졌을 때, 소정의 커맨드 발화, 또는 소정의 제스처 동작 등이 검출되었을 때 개시하도록 해도 된다.

다음에, 정보 처리 장치(100)는, 검출한 입력 조작의 입력 모드(삭제 조작 모드/필기 조작 모드)를 판단한다(스텝 S106). 입력 모드는, 유저의 손의 스트로크나 디지털 펜(210)의 펜촉의 휘점의 궤적에 기초하여 판단해도 되고, 디지털 펜(210)의 스위치의 전환에 기초하여 판단해도 된다. 예를 들어, 정보 처리 장치(100)는, 디지털 펜(210)의 펜촉의 휘점의 궤적이, 취소선이나 소정의 취소 마크를 형성하고 있는 경우에는, 삭제 조작 모드로 판단한다. 또한, 정보 처리 장치(100)는, 디지털 펜(210)의 펜촉의 휘점의 궤적이, 취소선이나 소정의 취소 마크 이외(예를 들어, 어떠한 도표, 문자, 기호, 단순한 선)를 형성하고 있는 경우에는, 필기 조작 모드로 판단한다.

다음에, 필기 조작 모드의 경우, 정보 처리 장치(100)는, 입력 처리를 행한다(스텝 S109). 구체적으로는, 정보 처리 장치(100)는, 디지털 펜(210) 또는 손가락 끝으로 그려진 선의 궤적(디지털 펜(210) 또는 손가락 끝의 이동 위치를 포함하는 이동 궤적)을 인식하고, 인식한 궤적을 표시하는 화상을 생성하고, 생성한 화상을 인식한 이동 궤적 상에 프로젝터(410)로부터 투영하는 제어를 행한다. 이에 의해, 유저는, 단말 장치의 표시 화면과 같은 영역적인 제약을 받지 않고, 실공간의 모든 환경물에 대하여 수기 입력을 행하는 것이 가능해진다. 본 실시 형태에서는, 수기 입력을 채용함으로써, 일상 생활 중에서, 보다 직감적이면서 간편한 입력을 실현하는 것이 가능해져, 주거 공간에 있어서 발생할 수 있는 태스크의 관리의 편리성이 현저히 향상된다. 또한, 수기 입력한 도표나 일러스트, 문자를, 태스크로서 그대로 등록하고, 후술하는 태스크 통지 시에 표시함으로써, 유저는 태스크의 내용이나 중요성, 긴급성을 직감적으로 파악하고, 또한, 자신이 쓴 문자를 봄으로써, 입력 시의 자기 자신의 감정이나 상황을 상기하는 것이 가능해진다.

한편, 삭제 조작 모드의 경우, 정보 처리 장치(100)는, 삭제 처리를 행한다(스텝 S112). 예를 들어 정보 처리 장치(100)는, 취소선의 입력 조작을 검출한 경우, 취소된 문자나 도표, 일러스트 등을 비표시로 하는 제어를 행한다.

계속해서, 등록 UI 콜이 있는 경우(스텝 S115/"예"), 정보 처리 장치(100)는, 태스크에 관련되는 부가 정보를 등록하기 위한 등록 UI를 유저 주변에 표시한다(스텝 S118). 유저는, 수기 입력한 태스크를 등록하고 싶은 경우, 등록 처리로 이행하는 트리거가 되는 동작(제2 입력 조작, 여기에서는 등록 UI 콜)을 행한다. 등록 UI 콜은, 디지털 펜(210)을 사용하여 특정 마크를 묘화하는 것이어도 되고, 소정의 제스처 동작이나 음성, 디지털 펜(210)의 길게 누름 조작이어도 된다.

여기서, 도 5에, 등록 UI의 화면예를 도시한다. 도 5에 도시한 바와 같이, 등록 UI(25)는, 예를 들어 유저가 디지털 펜(210)으로 수기 입력을 행하고 있는 실물체(10)의 근처에 투영 표시된다. 등록 UI(25)에는, 태스크에 관련하여 등록하는 부가 정보의 입력란(예를 들어 풀 다운식, 수기 입력식 등)이 표시되어 있다. 유저는, 등록 UI(25)로부터, 통지 시간, 물건(태스크 소화에 이용하는 실물체), 유저(태스크를 통지할 통지 대상자. 등록자 자신이어도 되고(즉, 태스크의 등록자와 통지 대상자가 동일한 인물), 가족 등의 다른 인물이어도 된다. 또한, 통지 대상자를 지정하지 않아도 됨), 및 장소(태스크를 소화할 장소, 통지 장소)를 지정할 수 있다. 「물건」(태스크 소화에 이용할 실물체)의 란에는, 시스템측에서 인식한 실물체(10)의 명칭(예를 들어 「쓰레기통」)을 제시하고, 유저에게 확인하도록 해도 된다. 또한, 유저는, 등록 UI(25)에 표시된 부가 정보를 모두 입력하지 않아도 된다. 또한, 등록 UI(25)에 표시하는 항목은 도 5에 도시한 예에 한정되지 않고, 상황에 따라서 최적의 등록 UI를 생성하여 표시하도록 해도 된다. 예를 들어 유저마다 다른 등록 UI를 생성해도 되고, 태스크 등록의 기계 학습에 기초하여 미리 상정되는 부가 정보를 후보로서 제시해도 되고, 리빙룸이나 침실 등의 장소에 따라서 그 장소를 자주 이용하는 인물이나 시간을 추정하여 부가 정보의 후보로서 제시해도 된다.

다음에, 정보 처리 장치(100)는, 태스크의 부가 정보의 입력을 행한다(스텝 S121). 정보 처리 장치(100)는, 센서 장치(300)로부터 취득한 센싱 데이터에 기초하여, 표시한 등록 UI(25)에 유저가 디지털 펜(210)이나 손가락 등으로 입력한 정보를 취득한다. 본 실시 형태에서는 일례로서 등록 UI를 표시하는 경우에 대하여 설명하였지만, 본 실시 형태는 이것에 한정되지 않고, 정보 처리 장치(100)는, 등록 UI를 표시하지 않고, 유저의 음성, 제스처, 또는 필적 내용에 기초하여 부가 정보를 추출해도 된다. 부가 정보에는, 통지 조건(통지 시간, 통지 대상 유저, 장소, 태스크 소화에 사용하는 실물체) 및 속성 정보(중요도, 시큐리티 정보, 반복 설정(스누즈 기능))가 포함된다.

그리고, 정보 처리 장치(100)는, 완료 처리를 행한다(스텝 S124). 구체적으로는, 정보 처리 장치(100)는, 환경물에 쓰여진 문자, 도표 및 일러스트 등을, 부가 정보와 관련지어 기억부(190)에 기억하는 처리(등록 처리)를 행한다. 환경물에 쓰여진 문자, 도표 및 일러스트 등은, 그대로 화상으로서 보존되어도 되고, 아울러 인식한 텍스트(문자열)나 의미 해석 결과 등의 처리 결과도 보존되어도 된다. 태스크의 보존 형식은, 예를 들어 디지털 펜(210)으로, 태스크 내용(통지 내용)을 「쓰레기 배출」이라고 필기하고, 통지 조건 중 시간 조건을 「XX/XX의 아침 9:00」, 실물체를 쓰레기통으로 한 경우, 이하에 나타내는 바와 같이 된다. Object Data는, 실물체의 경우에는 점군 데이터가, 유저의 경우에는 얼굴 인식 데이터 등의 식별 데이터가 들어간다.

보존 데이터예

Tag, Object Data, Drawing, Data, Time

{"쓰레기통"}, {point cloud}, {"hoge.png"}, {YYYY.MM.DD.HH.MM.SS}

또한, 정보 처리 장치(100)는, 태스크 보존을 행하였을 때는, 소리나 영상에 의해, 등록이 완료되었음을 유저에게 피드백해도 된다. 또한, 정보 처리 장치(100)는, 등록 후에, 투영한 필적 화상이나 등록 UI를 비표시로 해도 된다.

완료 처리는, 유저에 의한 등록 완료 동작에 따라서 행해도 된다. 예를 들어, 유저는, 투영된 등록 UI 등, 각종 표시된 GUI 상의 완료 버튼을, 디지털 펜(210), 터치펜, 손가락 끝 등으로 탭해도 된다. 또한, 등록 완료 동작은, 디지털 펜(210) 등으로 특정 마크를 필기하거나, 필기한 태스크를 특정 마크로 둘러싸거나, 밑줄을 긋거나 하는 것이어도 된다. 또한, 등록 완료 동작은, 필기한 태스크를 손으로 털어내는 등의 제스처여도 되고, 음성으로 「등록하세요」 등의 특정 커맨드를 입력하는 것이어도 된다.

한편, 상기 스텝 S115에 나타내는 등록 UI 콜이 없는 경우(스텝 S115/"아니오"), 정보 처리 장치(100)는, 필기 내용은 그 장소에 남아 있는 낙서로 인정한다(스텝 S127). 이 경우, 정보 처리 장치(100)는, 일정 시간 경과 후에, 낙서 인정된 필기 내용을 삭제(비표시)로 하도록 해도 된다. 이에 의해, 유저는, 바닥이나 벽, 책상 등, 어디에나 낙서를 하며 즐길 수 있다.

이상, 본 실시 형태에 의한 등록 처리의 흐름에 대하여 도 4를 참조하여 설명하였다. 또한, 도 4에 도시한 동작 처리는 일례이며, 본 개시는 도 4에 도시한 예에 한정되지 않는다. 예를 들어, 본 개시는, 도 4에 도시한 스텝의 순서에 한정되지 않는다. 적어도 어느 스텝이 병렬로 처리되어도 되고, 역의 순번으로 처리되어도 된다. 예를 들어, 스텝 S103 내지 S109의 처리와, 스텝 S115 내지 S118의 처리는 병렬로 처리되어도 되고, 역의 순번으로 처리되어도 된다. 즉, 먼저 등록 UI 콜을 행하여 등록 UI를 표시시키고 나서, 태스크 내용을 디지털 펜(210) 등으로 환경물(실물체를 포함함)에 입력해도 된다.

또한, 도 4에 도시한 모든 처리가 반드시 실행되고 있지는 않아도 된다. 예를 들어, 스텝 S115 내지 S118에 나타내는 등록 UI 콜의 처리가 없이, 단순히 기재한 태스크를 등록하기 위한 등록 콜로 해도 된다. 유저는, 부가 정보도 기재한 후에 등록 콜을 행하여, 태스크와 부가 정보를 등록하는 것이 가능하다. 또한, 스텝 S112에 나타내는 삭제 처리 후, 스텝 S115에 나타내는 등록 UI 콜로 이어져도 된다. 일부의 문자를 삭제한 후, 나머지의 문자나 일러스트 등을 태스크로서 등록하는 것도 상정되기 때문이다.

또한, 도 7에 도시한 모든 처리가 반드시 단일의 장치에서 행해지지는 않아도 되고, 각 처리가 반드시 시간적으로 순차적으로 행해지지는 않아도 된다.

계속해서, 상기 스텝 S121 내지 S124에 나타내는, 본 실시 형태에 의한 태스크의 부가 정보의 등록에 대하여, 도 6 내지 도 7을 참조하여 구체적으로 설명한다.

도 6은 본 실시 형태에 의한 태스크의 부가 정보에 포함되는 통지 조건의 등록 처리의 일례를 나타내는 흐름도이다. 도 6에 도시한 바와 같이, 먼저, 정보 처리 장치(100)는, 통지 시간을 등록하는 경우(스텝 S133/"예"), 조건 항목에 따라서(스텝 S136), 통지 시각의 설정(스텝 S139), 타이머 설정(스텝 S142), 또는 타이밍 설정(스텝 S145)을 행한다.

통지 시간에 관한 정보는, 등록 UI에 대한 유저 입력으로부터 취득되어도 되고, 필기 내용으로부터 취득되어도 된다. 통지 시각의 설정으로서는, 연월일시분을 설정할 수 있다. 또한, 타이머 설정이 행해진 경우, 정보 처리 장치(100)는, 타이머(180)에 의한 시간 계측을 개시한다. 또한, 타이밍 설정이란, 일몰, 날씨 등에 있어서의 소정의 타이밍, 구체적으로는, 「비가 내리면」 「맑으면」 「더우면」 「저녁이 되면」 「아침에」 등의 다양한 상황을 통지 타이밍으로서 설정할 수 있다. 정보 처리 장치(100)는, 일몰 시각이나 날씨가 바뀐다고 예보되어 있는 시각 등을 클라우드 등으로부터 취득하여 통지 시각으로서 설정해도 된다.

다음에, 태스크의 소화에 이용하는(관련되는) 실물체를 등록하는 경우(스텝 S148/"예"), 정보 처리 장치(100)는, 실물체 정보의 등록을 행한다. 실물체 정보는, 등록 UI에 대한 유저 입력으로부터 취득되어도 되고, 필기 내용으로부터 취득되어도 된다. 예를 들어 디지털 펜(210)을 사용하여 유저가 대상의 실물체를 터치하거나, 대상의 실물체에 특정 마크를 필기하거나, 대상의 실물체를 특정 마크로 둘러싸거나 함으로써 실물체를 지정하고, 등록할 수 있다. 또한, 실물체의 지정은, 손가락 끝으로 실물체를 터치하거나, 제스처로 실물체를 가리키거나 하는 방법이어도 된다. 이와 같이, 태스크 등록 시에 실물체를 사용함으로써, 보다 직감적이면서 간편하게 실물체의 지정을 행하는 것이 가능해진다. 또한, 태스크의 소화에 관련되는 실물체는 무기물에 한하지 않고, 다른 유저나 애완동물 등이어도 된다.

또한, 태스크에 관련되는 실물체가 유저의 부근에 존재하지 않는 경우라도, 태스크가 생각난 경우에는 그 자리에서 태스크 내용의 입력을 개시하는 것도 상정된다. 이 경우, 실물체의 지정은 실물체의 명칭을 필기함으로써 지정해도 된다. 예를 들어, 쓰레기통이 근처에 없는 장소에서, 「내일 아침 9:00 쓰레기통」과 같은 필기로부터, 정보 처리 장치(100)는, 태스크 내용 「내일 아침 9:00」, 실물체 정보 「쓰레기통」을 취득하여 등록한다.

다음에, 통지 대상자의 설정을 행한다(스텝 S154 내지 S160). 구체적으로는, 예를 들어 등록 UI 등으로 유저(등록자)가 자기 자신 이외의 사람(타유저. 단수여도 복수여도 됨)을 지정한 경우(스텝 S154/"예"), 정보 처리 장치(100)는, 지정된 타유저를 통지 대상자로서 설정한다(스텝 S157). 또한, 통지 대상자는 동거하고 있는 가족이면 누구라도 좋다와 같이 불특정인 경우, 유저는, 통지 대상자를 「특정 없음」, 「누구나」라고 설정해도 된다.

한편, 타유저가 지정되지 않은 경우(스텝 S154/"아니오"), 정보 처리 장치(100)는, 태스크의 등록자(유저 자신)를 통지 대상자로 자동 설정한다(스텝 S160).

이와 같이, 태스크의 통지 대상자는, 태스크의 등록자 자신 외에, 주거 공간 내에 동거하는 다른 유저를 지정하거나, 동거 관계는 아니지만 유저가 지정한 유저로 설정하거나 하는 것이 가능하다.

다음에, 통지 장소를 등록하는 경우(스텝 S163/"예"), 정보 처리 장치(100)는, 통지 장소의 설정 처리를 행한다(스텝 S166). 태스크를 통지하는 장소는, 현관, 키친, 리빙룸, 누구누구의 방, 스마트폰, TV, 스마트 시계, 통지 대상자 주변 등, 실물체 이외의 환경물이나 휴대품, 상황을 설정하는 것이 가능하다. 통지 장소를 설정해 둠으로써, 예를 들어 「내일 아침 9:00 쓰레기통」으로 입력한 경우에, 어느 방에 있는 「쓰레기통」인지를 특정하는 것도 가능해진다. 통지 장소의 지정은, 장소의 명칭으로 행해도 되고, 지도(예를 들어 주거 공간의 배치도)를 표시하여 유저가 배치한 핀의 위치를 취득해도 된다.

이상, 본 실시 형태에 의한 부가 정보에 포함되는 통지 조건의 등록 처리에 대하여 구체적으로 설명하였다. 또한, 본 실시 형태에 의한 통지 조건은 상술한 항목에 한정되지 않고, 또 다른 항목을 추가해도 되고, 상술한 모든 항목이 등록되지 않아도 된다. 예를 들어 통지 대상자나 실물체, 또는 통지 장소가 미설정이어도 된다. 주거 공간 내에 동거하는 누구를 대상으로 해도 되는 태스크이거나, 태스크의 소화에 실물체를 사용하지 않는 경우도 상정되기 때문이다.

또한, 이상 설명한 도 6에 도시한 동작 처리는 일례이며, 본 개시는 도 6에 도시한 예에 한정되지 않는다. 예를 들어, 본 개시는, 도 6에 도시한 스텝의 순서에 한정되지 않는다. 적어도 어느 스텝이 병렬로 처리되어도 되고, 역의 순번으로 처리되어도 된다. 예를 들어, 스텝 S133 내지 S145의 처리와, 스텝 S148 내지 S151의 처리와, 스텝 S154 내지 S160의 처리와, 스텝 S163 내지 S166의 처리는 병렬로 처리되어도 되고, 역의 순번으로 처리되어도 된다.

또한, 도 6에 도시한 모든 처리가 반드시 실행되지는 않아도 되고, 모든 처리가 반드시 단일의 장치에서 행해지지는 않아도 된다. 또한, 도 6에 도시한 각 처리가 반드시 시간적으로 순차적으로 행해지지는 않아도 된다.

계속해서, 속성 정보의 등록 처리에 대하여 도 7을 참조하여 설명한다. 도 7은 본 실시 형태에 의한 태스크의 부가 정보에 포함되는 속성 정보의 등록 처리의 일례를 나타내는 흐름도이다.

도 7에 도시한 바와 같이, 먼저, 중요도를 등록하는 경우(스텝 S169/"예"), 정보 처리 장치(100)는, 등록 UI에 대한 유저 입력의 내용이나, 필기 내용(즉 수기 내용)으로부터, 중요도의 설정을 행한다(스텝 S172). 여기서, 도 8에, 수기 내용에 근거한 중요도 판단의 일례를 도시한다.

정보 처리 장치(100)는, 도 8에 도시한 바와 같이, 예를 들어 필기 내용의 문자 인식 결과, 「언젠가 할 것」라는 텍스트가 추출된 경우에는 「중요도: 저」를 설정하고, 「보통」이라는 텍스트가 추출된 경우에는 「중요도: 중」을 설정하고, 「중요함!」이라는 텍스트가 추출된 경우에는 「중요도: 고」로 설정한다.

또한, 정보 처리 장치(100)는, 도 8에 도시한 바와 같은 특정 마크가 묘화된 경우에도, 대응하는 중요도를 설정해도 된다. 유저는, 필기한 태스크나 실물체를, 도 8에 도시한 특정 마크로 둘러쌈으로써 중요도를 설정할 수 있다. 또한, 도 8에 도시한 특정 마크는, 상기 등록 UI 콜 또는 등록 완료 동작과 겸한 것이어도 된다. 유저가, 필기한 태스크나 실물체를, 도 8에 도시한 특정 마크로 둘러쌈으로써, 중요도를 설정함과 함께, 통지 조건 등을 설정하기 위한 등록 UI가 표시되거나, 통지 조건 등도 이미 필기 완료이면, 동시에 등록을 완료시켜도 된다.

또한, 정보 처리 장치(100)는, 수기 입력의 펜의 색(투영된 필적의 색)에 따라서, 도 8에 도시한 바와 같이 중요도를 설정해도 된다. 예를 들어, 청색으로 필기된 경우에는 「중요도: 저」, 황색으로 필기된 경우에는 「중요도: 중」, 적색으로 필기된 경우에는 「중요도: 고」로 해도 된다. 필적의 색은, 유저가 디지털 펜(210)의 스위치의 조작 등을 행함으로써 임의로 선택할 수 있다. 이 경우, 정보 처리 장치(100)는, 표시 데이터 생성부(171)에 의해 필적 화상을 생성할 때, 유저가 선택한 색으로 필적을 표시하는 화상을 생성하고, 프로젝터(410)로부터 투영하는 처리를 행한다.

도 8에 도시한 텍스트, 마크의 형태, 및 색과, 중요도의 대응짓기는 일례이며, 본 실시 형태는 이것에 한정되지 않는다. 또한, 이와 같은 대응짓기는, 미리 시스템측에서 디폴트 설정되어 있어도 되고, 유저가 커스터마이즈 등록할 수 있도록 해도 된다. 또한 「중요도」는, 긴급성이나 우선도와 같은 의미도 포함한다.

이와 같이, 주거 공간 내의 환경물에 대하여 행해진 수기 입력의 내용으로부터 자동적으로 중요도를 설정할 수 있다. 또한, 태스크 입력 시의 유저의 감정(「이 태스크는 소중함」 「중요」와 같은 기분)은, 마크의 형태나 펜의 색에 반영되어 있는 것이 상정된다. 예를 들어, 소중하다고 생각하는 태스크는 적색으로 쓰거나, 몇 겹으로 마크로 둘러싸거나 하는 등의 거동이 상정된다. 본 실시 형태에서는, 수기 입력의 내용으로부터 태스크 등록을 행함으로써, 이와 같은 입력 시의 유저 감 정도 파악하고, 유저는, 보다 직감적으로 입력을 완료시킬 수 있다.

다음에, 시큐리티 레벨을 등록하는 경우(스텝 S175/"예"), 정보 처리 장치(100)는, 등록 UI에 대한 유저 입력의 내용이나 필기 내용으로부터, 시큐리티 레벨을 설정한다(스텝 S178). 태스크의 시큐리티 레벨은, 예를 들어 퍼블릭(예를 들어 동거인 전원이 열람 가능), 프라이빗(예를 들어 등록 유저만 열람 가능), 및 커스터마이즈(예를 들어 등록 유저와 특정 동거인만 열람 가능) 등의 설정이 생각된다.

다음에, 반복 통지를 등록하는 경우(스텝 S181/"예"), 정보 처리 장치(100)는, 등록 UI에 대한 유저 입력의 내용이나 필기 내용으로부터, 반복 통지의 설정을 행한다(스텝 S184). 반복 통지의 설정에서는, 예를 들어 반복의 횟수나 빈도, 구체적으로는, 예를 들어 태스크의 완료 동작이 행해질 때까지 몇 분마다 몇 회 통지를 반복하는 등의 설정이 행해질 수 있다. 또한, 반복 빈도가 높게 설정된 경우, 정보 처리 장치(100)는, 통지 대상자가 외출할 때 확실하게 통과하는 현관에도 반복 통지하도록, 통지 장소의 설정을 자동적으로 행해도 된다. 현관에 대한 통지 설정은, 상술한 중요도가 높은 경우에 설정해도 된다.

이와 같이 반복 통지의 설정을 행함으로써, 통지의 간과를 방지할 수 있다. 또한, 이와 같은 반복 통지의 설정은, 등록 UI 등으로 유저가 매회 설정하도록 해도 되고, 미리 디폴트 또는 커스터마이즈된 내용으로 설정하도록 해도 되고, 중요도가 높은 경우 등, 태스크의 내용에 따라서 자동적으로 설정하도록 해도 된다.

이상, 본 실시 형태에 의한 부가 정보에 포함되는 속성 정보의 등록 처리에 대하여 구체적으로 설명하였다. 또한, 본 실시 형태에 의한 속성 정보는 상술한 항목에 한정되지 않고, 또 다른 항목을 추가해도 되고, 상술한 모든 항목이 등록되지 않아도 된다.

또한, 도 7에 도시한 동작 처리는 일례이며, 본 개시는 도 7에 도시한 예에 한정되지 않는다. 예를 들어, 본 개시는, 도 7에 도시한 스텝의 순서에 한정되지 않는다. 적어도 어느 스텝이 병렬로 처리되어도 되고, 역의 순번으로 처리되어도 된다. 예를 들어, 스텝 S169 내지 S172의 처리와, 스텝 S175 내지 S178의 처리와, 스텝 S181 내지 S184의 처리는, 병렬로 처리되어도 되고, 역의 순번으로 처리되어도 된다.

또한, 도 7에 도시한 모든 처리가 반드시 실행되지 않아도 되고, 모든 처리가 반드시 단일의 장치에서 행해지지는 않아도 된다. 또한, 도 7에 도시한 각 처리가 반드시 시간적으로 순차적으로 행해지지는 않아도 된다.

<3-2. 통지 처리>

도 9는 본 실시 형태에 의한 통지 처리의 흐름의 일례를 설명하는 흐름도이다. 정보 처리 장치(100)는, 센서 장치(300)로부터 취득한 센싱 데이터에 기초하여 공간 내의 상황(인물의 유무 등)을 계속적으로 인식하면서, 기억부(190)에 기억되어 있는 태스크의 부가 정보를 참조하여 통지 제어를 행한다.

도 9에 도시한 바와 같이, 먼저, 정보 처리 장치(100)는, 센서 장치(300)로부터 취득한 센싱 데이터에 기초하여, 공간 내에 존재하는 유저의 인식을 행한다(스텝 S203). 정보 처리 장치(100)는, 공간 내에 존재하는 인물의 존재의 유무까지여도 되고, 또한 얼굴 화상, 음성의 특징, 생체 센서 데이터, ID 등에 의한 개인 식별을 행해도 된다.

다음에, 정보 처리 장치(100)는, 시큐리티 조건(시큐리티 레벨)이 클리어되어 있는지 여부를 판단한다(스텝 S206). 예를 들어 정보 처리 장치(100)는, 공간 내에 인물이 복수 있는지, 및 누가 있는지에 따라, 시큐리티 조건을 클리어하였는지 여부를 판단한다. 또한 시큐리티 조건이 설정되어 있지 않은 태스크에 관해서는, 당해 처리는 스킵된다.

다음에, 정보 처리 장치(100)는, 타이밍 정보의 설정 유무를 확인한다(스텝 S209). 타이밍 정보란, 상술한 통지 조건에 포함되는 통지 시간이다.

다음에, 타이밍 정보가 설정되어 있지 않은 경우(스텝 S209/"예"), 정보 처리 장치(100)는, 태스크에 관련지어진 실물체, 통지 대상자의 부근, 또는 등록된 소정의 통지 장소에, 등록된 태스크 내용을 표시한다(스텝 S227). 이 경우, 정보 처리 장치(100)는, 태스크 내용을 항상 표시하도록 제어해도 된다. 또한, 통지 대상자가 다른 방으로 이동하는 경우, 정보 처리 장치(100)는, 통지 대상자의 이동에 추종하여 주변의 벽이나 바닥, 책상 위 등에 계속해서 투영하도록 해도 된다. 표시하는 태스크 내용은, 예를 들어 입력 시에 보존된 디지털 펜(210)이나 손가락 등에 의한 수기의 필적 화상이다.

다음에, 타이밍 정보가 설정되어 있는 경우(스텝 S209/"예"), 정보 처리 장치(100)는, 타이밍 조건이 성립되었는지 여부를 판단한다(스텝 S212).

다음에, 타이밍 조건이 성립된 경우, 정보 처리 장치(100)는, 태스크에 관련지어진 실물체가 통지 대상자의 부근(통지 대상자와 동일 공간)에 있는지 여부를 검토한다(스텝 S215).

다음에, 실물체가 부근에 있는 경우(스텝 S215/"예"), 정보 처리 장치(100)는, 당해 실물체에 태스크 내용, 통지 조건 및 속성을 표시하는 제어를 행한다(스텝 S218). 태스크 내용이란, 예를 들어 입력 시에 보존된 디지털 펜(210)이나 손가락 등에 의한 수기의 필적 화상이다. 통지 조건이란, 예를 들어 통지 시간, 통지 대상자, 통지 장소이다. 속성을 표시하는 제어란, 예를 들어 중요도에 따른 표시 양태의 변경이다. 예를 들어, 정보 처리 장치(100)는, 태스크 내용을 둘러싸는 마크의 형태, 태스크 내용의 표시색, 점멸, 및 배경색 등의 표시 양태를, 설정된 중요도에 따라서 변경해도 된다. 또한, 정보 처리 장치(100)는, 중요도가 높은 경우에는, 중요도의 높이를 나타내는 텍스트(예를 들어, 「중요!」, 「소중!」 등)을 자동적으로 추가하여 표시해도 된다. 여기서, 도 10에, 태스크 중요도의 출력 표현의 일례를 도시한다. 도 10에 도시한 바와 같이, 중요도에 따른 텍스트, (필적 화상을 둘러싸는) 마크의 형태, 색, 애니메이션, 경고음 등이 상정된다. 이와 같이, 동일 모달 내라도 태스크의 속성에 따라서 출력 표현을 변경함으로써, 태스크의 중요성에 따른 최적의 표현으로 통지를 행할 수 있다.

또한, 태스크 등록 시에 태스크 소화에 관련되는 실물체가 근처에 없어, 어쩔 수 없이 텍스트나 음성으로 실물체를 지정한 후에 주위의 환경물(벽, 도어, 바닥, 또는 테이블 등)에 입력한 경우라도, 관련 정보로서 실물체 정보가 등록되어 있는 경우, 통지 타이밍에 실물체가 통지 대상자의 부근에 있는 경우, 실물체에 태스크 내용을 표시하여 통지하는 것이 가능하다. 예를 들어, 9:00에 쓰레기 배출하는 것을 쓰레기통이 없는 키친에서 생각난 경우, 유저는 키친의 벽에 「쓰레기통, 9:00, 소중!」이라고 디지털 펜(210)으로 기입한다. 다음에, 9시가 되어 타이밍 조건이 성립한 시점에서 유저의 부근에 쓰레기통이 있는 경우, 정보 처리 장치(100)는, 쓰레기통에 태스크 내용을 표시(투영)한다. 이때, 정보 처리 장치(100)는, 당해 태스크 내용은 등록 시에 「소중!」이라고 기재되어 「중요도: 고」로 설정되어 있기 때문에, 「9:00」의 필적 화상을 들쭉날쭉한 특정 마크(도 10 참조)로 둘러싸서 표시하도록 해도 된다.

또한, 도 9에 도시한 스텝 S218에서는, 「실물체에 태스크 내용, 통지 조건, 및 속성을 표시한다」는 취지를 기재하였지만, 본 실시 형태는 이것에 한정되지 않고, 정보 처리 장치(100)는, 예를 들어 태스크 내용만을 실물체에 표시(투영)하도록 해도 되고, 속성에 따라서 최적의 표현으로 변환한 태스크 내용만을 표시하도록 해도 된다.

한편, 실물체가 통지 대상자의 부근에 없는 경우(스텝 S215/"아니오"), 정보 처리 장치(100)는, 실물체를 나타내는 정보를 생성하고(A), 태스크의 속성에 따라서 표시 내용을 최적의 표현으로 변환하는 처리(B)를 행한다(스텝 S221). 실물체를 나타내는 정보란, 텍스트(실물체의 명칭), 촬상 화상(실물체를 촬상한 촬상 화상), 일러스트(실물체의 일러스트 화상. 실물체의 명칭에 기초하여 클라우드로부터 취득해도 되고, 자동 생성해도 됨) 등이다. 태스크의 속성에 따른 태스크 내용의 최적의 표현의 변환은, 상기 스텝 S218에서 설명한 내용과 마찬가지이다. 또한, 이러한 표현의 변환은, 태스크 내용에 한하지 않고, 생성한 「실물체를 나타내는 정보」에 대하여 행해도 된다. 예를 들어 태스크 등록 시에, 들쭉날쭉하게 한 마크로 실물체를 둘러쌈으로써 중요도 「고」가 지정되어 있는 경우, 정보 처리 장치(100)는, 실물체의 화상을 점멸시키는 애니메이션으로 변환하거나, 실물체의 명칭을 나타내는 텍스트를 생성한 경우侃면 텍스트의 색을 빨갛게 변경해도 된다. 중요도에 따른 출력 표현의 베리에이션은, 도 10에 도시한 바와 같다.

다음에, 정보 처리 장치(100)는, 통지 대상자의 부근에, 실물체를 나타내는 정보, 속성에 따라서 최적의 표현으로 변환된 태스크 내용, 및 통지 조건을 표시하는 제어를 행한다(스텝 S224). 단 통지 조건의 표시는 필수는 아니다. 여기서, 도 11에, 본 실시 형태에 의한 실물체가 부근에 없는 경우의 태스크 표시의 일례를 도시한다. 도 11에 도시한 바와 같이, 정보 처리 장치(100)는, 통지 조건을 충족하였을 때 유저의 부근에 소정의 실물체가 없는 경우에는, 실물체를 나타내는 정보와 태스크 내용을 포함하는 통지 정보(22)를, 유저 주변이나 유저의 시선 방향에 표시한다. 도 11에 도시한 예에서는, 등록된 실물체 「쓰레기통」이 없기 때문에, 정보 처리 장치(100)는, 「쓰레기통」이라는 텍스트와 함께, 태스크 내용 「9:00」을 표시한다. 또한, 정보 처리 장치(100)는, 통지 정보(22)에 움직임을 부여하여 유저의 주의를 끌도록 해도 된다.

이와 같이, 태스크 통지 시에 실물체가 통지 대상자의 부근에 없는 경우에, 음성이나 촉각 등의 다른 모달로 변환하여 통지하는 것도 가능하지만, 통지 시각이나 유저의 상황, 태스크의 내용에 따라서는 그것들의 모달이 적합하지 않을 가능성이 있기 때문에, 본 실시 형태에서는, 실물체를 나타내는 정보를 생성하여 태스크 내용과 아울러 표시함으로써, 보다 유연하게 통지 처리를 실행하는 것이 가능해진다.

또한, 본 실시 형태에서는, 표시하는 태스크 내용의 일례로서 수기 입력의 필적 화상을 들었지만, 본 실시 형태는 이것에 한정되지 않는다. 예를 들어 태스크의 등록이 스마트폰이나 태블릿 단말기 등에 의해 텍스트 입력으로 행해진 경우, 정보 처리 장치(100)는, 입력한 유저 고유의 필적의 습관을 도입한 수기풍의 문자로 텍스트를 변환하여 태스크 내용으로서 표시해도 된다. 이에 의해, 태스크 내용에 무기질의 텍스트에는 없는 개성을 부여하는 것이 가능해진다. 또한, 예를 들어 유저 A가 입력하고, 유저 B에 대하여 태스크를 표시하는 경우, 유저 A에 의한 태스크 소화의 의뢰인 것을 명기하지 않더라도, 필적의 습관에 의해 개인의 특정을 행하는 것이 가능해져, 등록 시의 간편화의 일조가 된다.

그리고, 태스크 소화의 완료 동작이 행해지면(스텝 S230/"예"), 정보 처리 장치(100)는, 통지 정보(태스크 내용, 통지 조건, 실물체의 표시, 및 속성 등)의 표시를 종료한다(스텝 S233). 태스크 소화의 완료 동작은, 유저가 태스크의 소화에 착수할 때나 태스크의 소화를 완료시킨 타이밍에 행해질 수 있다. 예를 들어, 유저는 GUI 상의 태스크 완료 버튼을 터치펜이나 손가락 끝으로 눌러도 되고, 통지 정보와 함께 표시(투영)된 태스크 완료 버튼을 손가락 끝으로 터치해도 된다. 또한, 소화 완료 동작은, 통지 정보의 표시 영역에 대하여 유저가 사선이나 × 표시 등의 소정의 마크를 디지털 펜(210)이나 손가락 등으로 묘화함으로써 행해도 되고, 통지 정보의 표시 영역을 손으로 닦아내는 제스처에 의해 행해도 된다. 또한, 음성으로 「태스크 끝」 등의 특정 커맨드를 입력함으로써 행해도 된다. 정보 처리 장치(100)는, 태스크 소화의 완료 동작이 행해지면, 통지 정보의 통지를 종료함과 함께, 기억부(190)로부터 당해 태스크의 정보를 삭제해도 되고, 통지 리스트의 당해 태스크에 완료 플래그를 세워도 된다.

한편, 태스크 소화의 완료 동작이 행해지지 않는 경우(스텝 S230/"아니오"), 정보 처리 장치(100)는, 반복 통지의 설정이 행해졌는지 여부를 판단한다(스텝 S236).

다음에, 반복 통지의 설정이 행해진 경우(스텝 S236/"예"), 정보 처리 장치(100)는, 설정된 반복 조건이 성립하였을 때(스텝 S239), 태스크의 표시(구체적으로는, 태스크 내용, 통지 조건, 실물체를 나타내는 정보, 및 속성 정보)를 다시 행한다(스텝 S242). 반복 통지는, 설정된 빈도로 동일한 장소(실물체가 있는 경우에는 실물체)에서 반복하여 행해진다. 또한, 태스크 소화의 완료 동작이 이루어지지 않은 채로 통지 대상자가 다른 방이나 현관으로 이동한 경우, 정보 처리 장치(100)는, 통지 대상자의 부근에 반복하여 통지하도록 해도 된다.

한편, 반복 설정이 행해지지 않은 경우(스텝 S236/"아니오"), 정보 처리 장치(100)는, 태스크 소화의 완료 동작이 이루어질 때까지 그대로 태스크 표시를 유지한다(스텝 S245).

이상, 본 실시 형태에 의한 통지 처리에 대하여 도 9를 참조하여 구체적으로 설명하였다. 또한, 도 9에 도시한 동작 처리는 일례이며, 본 개시는 도 9에 도시한 예에 한정되지 않는다. 예를 들어, 본 개시는, 도 9에 도시한 스텝의 순서에 한정되지 않는다. 적어도 어느 스텝이 병렬로 처리되어도 되고, 역의 순번으로 처리되어도 된다. 예를 들어, 스텝 S203의 처리와, 스텝 S206의 처리와, 스텝 S209의 처리가, 병렬로 처리되어도 되고, 역의 순번으로 처리되어도 된다.

또한, 도 9에 도시한 모든 처리가 반드시 실행되지는 않아도 된다. 예를 들어, 통지 대상자가 특정되어 있지 않은 경우, 정보 처리 장치(100)는, 스텝 S203에 있어서 인물의 개인 식별을 행하지 않고, 인물의 존재 유무만을 인감 센서나 카메라로부터 검출하도록 해도 된다. 이 경우, 정보 처리 장치(100)는, 예를 들어 타이밍 조건이 성립하였을 때, 공간 내에 인간의 존재를 확인할 수 있으면, 동일 공간 내에 존재하는 태스크 소화에 관련되는 실물체나, 그 인물의 부근에, 통지 정보를 표시하도록 해도 된다. 또한, 통지 대상자가 특정되어 있지 않은 경우에, 정보 처리 장치(100)는, 인간의 존재 유무에 관계없이, 태스크 소화에 관련되는 실물체나 소정의 통지 장소에, 통지 정보를 표시하도록 해도 된다.

또한, 정보 처리 장치(100)는, 실물체의 관련짓기가 행해지지 않은 경우에는, 타이밍 조건이 성립한 경우, 통지 대상자의 부근에(통지 대상자의 헤드의 방향 등을 검출하여 시선 방향을 판단한 경우에는 시선 방향에), 또는 등록된 통지 장소에, 통지 정보를 표시하도록 해도 된다.

또한, 도 9에 도시한 모든 처리가 반드시 단일의 장치에서 행해지지는 않아도 되고, 각 처리가 반드시 시간적으로 순차적으로 행해지지는 않아도 된다.

<<4. 보충>>

계속해서, 본 실시 형태에 대하여 이하 보충한다.

<4-1. 풀 표시>

상술한 실시 형태에서는, 등록한 태스크를 설정한 타이밍에 유저에게 통지하는 경우에 대하여 주로 설명하였지만, 본 실시 형태는 이것에 한정되지 않고, 등록한 태스크를 방의 벽 등의 소정의 장소(이하, 풀 장소라고도 칭함)에 항상 표시해도 된다. 이에 의해, 유저는, 현재 안고 있는 태스크의 양을 보다 직감적으로 이해할 수 있다. 표시되는 태스크의 화상 데이터는, 태스크 내용에 상당하는 필적 화상만이어도 되고, 당해 태스크의 통지 조건이나 속성을 부가해도 된다.

정보 처리 장치(100)는, 태스크의 통지 장소가 예를 들어 「키친」이라고 등록된 경우라도, 소정의 풀 장소에는 항상 당해 태스크를 표시하고, 타이밍 조건이 성립하였을 때, 당해 태스크를 「키친」에 표시하여 통지하는 제어를 행한다.

여기서, 도 12를 참조하여 본 실시 형태에 의한 풀 표시의 일례에 대하여 설명한다. 도 12 좌측에 도시한 바와 같이, 예를 들어 키친이나 화장실에서 태스크가 생각난 경우, 유저는, 디지털 펜(210) 또는 손가락 등으로 벽에 태스크를 필기하여, 등록한다. 그리고, 정보 처리 장치(100)는, 도 12 우측에 도시한 바와 같이, 등록된 태스크를 소정의 풀 장소(30)(예를 들어 방의 벽 등)에 통합하여 표시한다. 이에 의해 유저는 한눈에 현재 자신이 안고 있는 태스크의 양을 파악할 수 있다.

본 실시 형태에 의한 풀 표현은 도 12에 도시한 예에 한정되지 않고, 예를 들어 도 13에 도시한 바와 같이, 주머니형 표시(27)를 사용해도 된다. 정보 처리 장치(100)는, 예를 들어 표시하는 태스크의 수에 따라서 주머니형 표시(27)의 늘어남 상태나 퍼짐을 제어함으로써, 태스크의 중량감을 보다 직감적으로 나타낼 수 있다.

또한, 풀 장소(30)에 표시하는 각 태스크의 화상 데이터에는, 질량, 탄력성, 인력, 사이즈, 또는 색 등의 파라미터를 갖게 해도 된다. 정보 처리 장치(100)는, 풀 장소(30)에 태스크의 화상 데이터를 표시할 때, 이들 파라미터에 따라서 표시 위치, 표시 배치, 표시의 크기, 표시의 색, 또는 움직임(애니메이션) 등을 제어하여, 체류하고 있는 태스크의 상태를 더욱 직감적으로 유저에게 제시하는 것을 가능하게 한다.

「질량」이란, 예를 들어 태스크 소화에 요하는 비용(시간, 인원, 도구 등)에 기초하는 파라미터이며, 정보 처리 장치(100)는, 풀 표시할 때의 태스크 중량감을 표현할 때 사용한다. 구체적으로는, 질량이 많은 태스크(예를 들어 소화에 시간이 걸리는 무거운 태스크)는, 풀 표시할 때 아래쪽에 표시하고, 질량이 적은 태스크(예를 들어 소화에 시간이 걸리지 않는 가벼운 태스크)는, 풀 표시할 때 위쪽에 표시한다. 또한, 정보 처리 장치(100)는, 새롭게 등록된 태스크를 풀 표시에 추가할 때, 질량의 많음에 따라서, 태스크가 바닥에 가라앉아가는 애니메이션이나, 위로 떠오르는 애니메이션을 추가해도 된다.

질량 파라미터는, 유저가 등록 시에 등록 UI 등으로 속성의 1종으로서 입력해도 된다. 예를 들어, 매우 무겁다: 2시간 이상, 무겁다: 1 내지 2시간, 보통: 30분 내지 1시간, 가볍다: 5분 내지 30분, 매우 가볍다: 5분 이하 등이 상정된다. 또한, 시스템측이 자동적으로 태스크 내용에 따라서 미리 설정한 질량 파라미터를 부여해도 된다. 또한, 실제로 태스크 소화에 걸린 시간을 계측하여 경향을 학습하고, 정보 처리 장치(100)가, 자동적으로 적절한 질량 파라미터를 부여하는 것도 가능하다. 태스크 소화에 걸린 시간의 계측은, 예를 들어 태스크 통지 시에 타이머 화면을 표시하고, 유저가 태스크 소화 개시 시에 타이머 화면의 스타트 버튼을 탭 하고, 종료 시에 스톱 버튼을 탭함으로써, 정보 처리 장치(100)는, 실제의 태스크 소화에 걸린 시간을 기록할 수 있다.

「탄력성」이란, 예를 들어 태스크의 신선함, 즐거움, 또는 견고함(오피셜 태스크인지 프라이빗 태스크인지 등)과 같은 태스크의 상태에 기초하는 파라미터이며, 정보 처리 장치(100)는, 풀 표시할 때의 태스크의 유연함을 표현할 때 사용한다. 구체적으로는, 정보 처리 장치(100)는, 탄력성 파라미터가 높은 태스크(예를 들어 최근 등록된 태스크, 즐거운 태스크 등)의 화상 데이터는, 부드러운 색이나 모양, 장식을 실시하여 표시하거나, 튀는 애니메이션을 추가해도 된다. 탄력성 파라미터는, 유저가 등록 시에 등록 UI 등에서 속성의 1종으로서 입력해도 되고, 시스템측이 자동적으로 태스크 내용에 따라서 미리 설정한 파라미터를 부여해도 된다.

「인력」이란, 다른 태스크와의 관련성의 높이를 나타내는 파라미터이다. 관련성이란, 태스크 내용, 또는 통지 조건의 유사성이나 일치도이다. 예를 들어 정보 처리 장치(100)는, 풀 표시를 행할 때, 인력 파라미터가 높은 태스크끼리는 가까이서 표시시키거나, 자력으로 서로 끌어당기는 것처럼 보이는 표시를 행해도 된다. 또한, 정보 처리 장치(100)는, 인력 파라미터가 낮은 태스크끼리는 이격하여 표시시키거나, 자력으로 반발하고 있는 것처럼 보이는 표시를 행해도 된다. 인력 파라미터는, 유저가 등록 시에 등록 UI 등에서 속성의 1종으로서 입력해도 되고(어느 태스크와 관련성이 높다는 등), 시스템측이 자동적으로 태스크 내용이나 통지 조건에 따라서 설정해도 된다.

「사이즈」란, 예를 들어 태스크의 소화 기한(등록된 마감 일시, 또는 통지 시간 등)이나, 소화에 요하는 비용 등에 기초하여 설정되는 파라미터이다. 예를 들어, 정보 처리 장치(100)는, 기한(또는 통지 시간)이 다가오고 있는 태스크의 화상 데이터는, 나머지 일수에 반비례하여 크게 표시함으로써 압박감을 표현하여, 유저에게 태스크의 소화를 촉구하는 것이 가능해진다. 태스크의 마감 일시는, 통지 조건과는 별도로 등록 UI에 있어서 유저가 입력할 수 있도록 해도 된다.

「색」이란, 예를 들어 태스크의 소화 완료/미소화의 상태, 중요도(상기 속성 정보에 포함됨), 소화 장소(통지 장소), 또는 소화 담당 유저(통지 대상자)에 기초하는 파라미터이며, 정보 처리 장치(100)는, 풀 표시할 때의 태스크 표시색을 결정할 때 사용한다. 소화 장소나 소화 담당 유저마다 다른 색으로 표시함으로써, 유저는 직감적으로 어디에서 소화할 태스크가 얼마만큼 있는지, 또한, 누가 소화할 태스크가 얼마만큼 있는지를 한눈에 파악할 수 있다. 또한, 중요도가 높은 태스크의 화상 데이터는 적색 등의 눈에 띄는 색으로 표시함으로써, 유저는 중요한 태스크에 주목할 수 있다. 또한, 미소화 완료된 태스크를 명도가 낮은 색으로 변경하고, 굳이 소멸시키지 않고 풀 장소에 표시를 남겨 둠으로써, 유저는 과거의 태스크 소화를 되돌아볼 수 있음과 함께, 달성감을 맛보는 것이 가능해진다. 정보 처리 장치(100)는, 소화 완료된 태스크를 시간 경과와 함께 서서히 연하게 하고(투과하고), 최종적으로 소멸시켜도 된다.

이상 설명한 각 파라미터는 일례이며, 또 다른 파라미터를 부가해도 되고, 파라미터의 산출에, 상술한 속성 정보나 통지 조건, 태스크 내용, 등록자 등의 정보를 사용해도 된다.

또한, 정보 처리 장치(100)는, 풀 장소(또는 풀 장소에 표시된 주머니나 상자 등의 표시)의 크기를 유저의 태스크 소화 커패시티의 크기라고 가정하고, 유저의 태스크 소화 커패시티를 초과하는 경우에는 풀 장소로부터 태스크가 넘치도록 표시 제어해도 된다. 유저의 태스크 소화 커패시티를 초과하는 경우란, 예를 들어 각 태스크의 소화에 요하는 시간이나 기한까지의 일수, 또는 태스크의 수량 등에 기초하여 판단해도 되고, 유저의 태스크 소화의 실적에 기초하여 판단해도 되고, 유저의 스케줄을 아울러 판단해도 된다. 이에 의해, 유저는 자신이 과잉으로 태스크를 안고 있음을 파악하고, 기한 일시나 통지 시각이 도달하기 전에, 예를 들어 작은 태스크(소화에 요하는 비용이 적기 때문에 작게 표시되어 있는 태스크)부터 소화하는 등, 태스크 소화의 계획을 시각적으로 세우는 것이 용이해진다.

(그루핑)

또한, 정보 처리 장치(100)는, 통지 대상자, 통지 장소, 또는 통지 조건 등이 동일 또는 비슷한 태스크는 그루핑하여 풀 표시해도 된다. 그루핑의 표현은, 색에 의해 나누어도 되고, 덩어리로서 인식되는 포괄선이나 도형으로 둘러쌈으로써 행해도 되고, 동일한 움직임의 애니메이션에 의해 행해도 된다.

이에 의해, 예를 들어 남편이 소유하고 있는 태스크 및 아내가 소유하고 있는 태스크를 나누어 벽 등에 표시함으로써, 각 사람이 현재 어떤 태스크를 어느 정도 갖고 있는지를 서로 직감적으로 파악할 수 있다. 따라서, 예를 들어 가사의 분담을 정할 때도, 서로의 상황을 파악하여 어느 쪽이 소화할지를 유익하게 결정할 수 있다. 또한, 표시 사이즈나 중량감을 상술한 파라미터로 표시 양태에 반영시킴으로써, 예를 들어 남편이 아내용 풀 표시로부터 태스크의 무게 등을 고려하여 자신의 풀 표시로 태스크를 이동시켜 떠맡는 등의 커뮤니케이션도 생각된다. 정보 처리 장치(100)는, 태스크가 아내용 풀 장소로부터 남편용 풀 장소로 이동되었을 때, 태스크의 통지 조건에 포함되는 통지 대상자(태스크 소화자)를 「아내」로부터 「남편」으로 변경한다.

또한, 공유 태스크의 표시 영역을 추가함으로써, 각 사람의 태스크가 가득찬 경우에는, 공유 태스크로 태스크를 이동하여, 둘이서 협력하여 소화하는 것을 시각적으로 계획할 수 있다. 유저는, 벽 등에 기재한 태스크를 제스처 등에 의해 소화 담당자의 풀 표시 영역으로 드래그하여, 직감적인 조작으로 태스크 소화자(통지 담당자)를 지정하는 것도 가능하다.

(자동 배분)

또한, 통지 대상자(태스크 소화자)마다의 태스크를 나누어 표시하고 있을 때, 어느 유저가 소화해도 되는 공유의 태스크(예를 들어 쓰레기 버리기, 청소, 장보기 등의 가사)가 등록된 경우, 정보 처리 장치(100)는, 쌓여 있는 태스크가 적은 유저에게 자동적으로 배정하여, 당해 유저의 풀 장소에 태스크를 추가하는 표시 제어를 행해도 된다.

또한, 정보 처리 장치(100)는, 통지 대상자마다의 태스크와, 공유 태스크를 풀 장소에 그루핑하여 표시하고, 공유 태스크가 많아진 경우에는, 어느 유저에게 자동적으로 배정하도록 해도 된다.

정보 처리 장치(100)는, 자동 배정에 의해 태스크를 어느 유저에게 추가한 경우, 대상자에게 태스크를 자동 배정한 것을 통지해도 된다. 시스템이라는 제3자에 의한 자동 배정인 것을 대상자에게 전달함으로써, 객관적인 판단에 의해 적정하게 배정이 행해졌다고 유저가 이해하고, 흔쾌히 받아들이는 것을 기대할 수 있다.

이상 설명한 풀 표시의 베리에이션은, 모두 임의로 조합하는 것이 가능하다.

<4-2. 적용예>

다음에, 본 실시 형태에 의한 시스템의 적용예에 대하여 설명한다.

(4-2-1. 외출 시에 휴대해야 할 실물체를 절대로 잊지 않기 위한 시책)

예를 들어, 유저 A가 출근 전날 밤에 내일 아침 가장 가까운 곳까지 가는 길에 편지를 우체통에 넣는 태스크가 생각난 경우를 상정한다. 유저 A는, 편지의 필착의 마감이 목전에 다가와 있기 때문에, 자기 방의 책상 위에 편지를 놓고, 디지털 펜(210)으로 편지를 터치한 후(관련되는 실물체의 지정 조작), 편지의 주위를 들쭉날쭉한 마크로 둘러싸고(중요한 태스크임을 나타내는 표현), 「내일 아침 부치기!」라고 기입하여, 태스크의 등록을 행한다.

다음날 아침, 기상한 유저 A가 책상 앞을 지나면, 어제 쓴 마크와 문언이 프로젝터(410)로 투영된다. 유저 A는 투영된 통지 정보를 보고 태스크를 상기하였지만, 조급히 화장실에 가야 했기 때문에 편지를 들지 않고 화장실로 가 버렸다. 그 후, 태스크 완료 동작이 이루어지지 않았기 때문에, 정보 처리 장치(100)는, 반복 설정에 따라서, 태스크 내용을 반복하여 유저에게 통지한다. 구체적으로는, 정보 처리 장치(100)는, 출발의 준비를 행하는 유저 A에 추종하여 주변의 벽이나 테이블에 태스크를 계속해서 표시하지만, 유저 A는 바쁜 나머지 알아차리지 못하는 경우도 있다. 그리고, 마지막으로 유저가 현관으로 이동하였을 때, 정보 처리 장치(100)는, 현관 도어에, 편지의 화상(실물체를 나타내는 표시)과 「내일 아침 부치기!」라는 문언(필적 화상)을 점멸하여 표시하여, 최종 통지에 의해 유저 A에게 편지를 방에 두고 온 것을 알아차리게 할 수 있다.

(4-2-2. 오피스 씬에서 화이트 보드의 대체 수단으로서 이용)

본 실시 형태에 의한 시스템은, 오피스 씬에 적용함으로써, 회의실 내의 벽이나 책상, 또한, 복도의 벽, 개인의 책상 등에 대해서도 디지털 펜(210) 또는 손가락 등으로 언제라도 메모나 태스크를 묘화, 등록하는 것이 가능해진다.

예를 들어 회사의 복도에서 우연히 만난 사원과 디지털 펜(210)이나 손가락 끝으로 자유롭게 문자나 일러스트를 벽에 그리면서 브레인스토밍을 행하고, 거기에서 생각난 중요한 아이디어를 태스크로서 등록할 수 있다. 이때, 브레인스토밍 시에 가지고 있던 자료나 시작품을 디지털 펜(210)으로 둘러싸거나 특정 마크를 부여함으로써 주변에 마련된 카메라(350)에 의해 촬상시키고, 촬상 화상을 벽에 출력하는 것도 가능하다. 이에 의해, 가상과 현실에 속박되지 않는 정보의 개시, 공유가 가능해진다.

등록한 아이디어는 시스템측에 보존되기 때문에, 그 후 자기 자리로 되돌아갔을 때 책상에 표시시키거나, 화상 데이터나 텍스트 데이터로서 PC나 태블릿 단말기 등에 표시시키거나 하는 것도 가능하다.

또한, 생각난 아이디어를, 「그 밖에도 아이디어가 있다면 써 주세요!」라는 문언과 함께, 복도의 벽에 그대로 표시시켜 둠으로써, 지나가는 다른 사원도 나중에 참가하여 기입을 추가하는 등, 아이디어를 브러시 업할 수 있다. 또한, 정보 처리 장치(100)는, 이와 같은 벽에 묘화된 아이디어의 필적 화상을, 벽 앞을 사원이 지나갈 때 표시 출력하도록 제어해도 된다.

(4-2-3. 외출 시에 생각난 태스크를 집에 송신)

본 실시 형태에 의한 시스템에서는, 외출처에서 등록한 태스크를 집 안에서 표시하는 것도 가능하다. 예를 들어, 새롭게 구입한 파운데이션으로 화장을 마치고 외출하였지만, 피부에 위화감을 느낀 유저는, 파운데이션이 피부에 맞지 않음을 알게 되었다. 그래서 스마트폰의 애플리케이션을 기동하여, 태스크 표시시키고 싶은 실물체를 「파운데이션」으로 설정하고, 태스크 내용을 「사용하면 안됨. 새로운 파운데이션 검토」라고 입력하고, 등록한다. 정보 처리 장치(100)는, 등록된 태스크에 기초하여, 그날 유저가 귀가하여, 침실에 들어간 경우에, 침실의 화장대에 놓여 있는 파운데이션의 주위를 특정 마크로 하이라이트하고, 「사용하면 안 됨. 새로운 파운데이션 검토」라는 문언을 표시(투영)한다. 이와 같이, 외출지에서 스마트폰 등에 의해 등록한 태스크도, 집 안에서 관련되는 실물체에 표시할 수 있어, 유저의 태스크 관리의 편리성을 현저하게 향상시킬 수 있다.

<4-3. 효과>

이상, 본 실시 형태에 의한 시스템에 대하여 구체적으로 설명하였다.

본 실시 형태에 따르면, 태스크를 소화해야 할 장소나 태스크의 소화에 이용하는 실물체 상에 태스크 내용이 출력(구체적으로는, 표시 투영)되기 때문에, 유저는 태스크를 직감적으로 파악하고, 바로 작업에 착수할 수 있어, 효율성이 높아진다.

또한, 정보 처리 장치(100)는, 통지 조건을 충족한 태스크를 통지할 때, 동일한 장소에서 소화할 수 있는 다른 태스크(통지 조건을 충족하지 않은 태스크를 포함함)도 동시에 출력해도 된다. 이에 의해, 유저는 하는 김에 다른 태스크도 소화할 수 있어, 더욱 효율성이 높아진다.

또한, 실물체가 유저(통지 대상자)의 부근에 없는 경우라도, 실물체를 나타내는 정보를 통지 내용과 함께 유저 주변에 표시함으로써, 무슨 태스크인지를, 보다 직감적으로 유저에게 파악시킬 수 있다.

또한, 표시할 태스크 내용은, 수기 입력의 필적 화상으로 함으로써, 문자, 도표 및 일러스트 등의 다양한 태스크 내용을 취급할 수 있어, 태스크 관리의 편리성이 향상된다.

또한, 상술한 실시 형태에서는, 통지 정보의 일례로서 「태스크」를 사용하였지만, 본 실시 형태는 이것에 한정되지 않고, 「아이디어」 「메시지」 「메모」 등이어도 된다. 일러스트 등과 함께 메시지를 남기고, 생활 시간대가 다른 가족에 대하여 그것들을 출력하는 가족간 커뮤니케이션도 실현하는 것이 가능하다.

<<5. 하드웨어 구성>>

다음에, 본 개시의 일 실시 형태에 관한 정보 처리 장치(100)의 하드웨어 구성예에 대하여 설명한다. 도 14는 본 개시의 일 실시 형태에 관한 정보 처리 장치(100)의 하드웨어 구성예를 도시하는 블록도이다. 도 14를 참조하면, 정보 처리 장치(100)는, 예를 들어 CPU(871)와, ROM(872)과, RAM(873)과, 호스트 버스(874)와, 브리지(875)와, 외부 버스(876)와, 인터페이스(877)와, 입력 장치(878)와, 출력 장치(879)와, 스토리지(880)와, 드라이브(881)와, 접속 포트(882)와, 통신 장치(883)를 갖는다. 또한, 여기에서 나타내는 하드웨어 구성은 일례이며, 구성 요소의 일부가 생략되어도 된다. 또한, 여기서 나타내어지는 구성 요소 이외의 구성 요소를 더 포함해도 된다.

(CPU(871))

CPU(871)는, 예를 들어 연산 처리 장치 또는 제어 장치로서 기능하고, ROM(872), RAM(873), 스토리지(880), 또는 리무버블 기록 매체(901)에 기록된 각종 프로그램에 기초하여 각 구성 요소의 동작 전반 또는 그 일부를 제어한다.

구체적으로는, CPU(871)는, 정보 처리 장치(100) 내의 필적 인식부(120), 제스처 검출부(130), 맵 관리부(140), 유저 위치 특정부(150), 유저 인식부, 제어부(170)의 동작을 실현한다.

(ROM(872), RAM(873))

ROM(872)은, CPU(871)에 읽어들여지는 프로그램이나 연산에 사용하는 데이터 등을 저장하는 수단이다. RAM(873)에는, 예를 들어 CPU(871)에 읽어들여지는 프로그램이나, 그 프로그램을 실행할 때 적절히 변화되는 각종 파라미터 등이 일시적 또는 영속적으로 저장된다.

(호스트 버스(874), 브리지(875), 외부 버스(876), 인터페이스(877))

CPU(871), ROM(872), RAM(873)은, 예를 들어 고속의 데이터 전송이 가능한 호스트 버스(874)를 통해 서로 접속된다. 한편, 호스트 버스(874)는, 예를 들어 브리지(875)를 통해 비교적 데이터 전송 속도가 저속인 외부 버스(876)에 접속된다. 또한, 외부 버스(876)는, 인터페이스(877)를 통해 다양한 구성 요소와 접속된다.

(입력 장치(878))

입력 장치(878)에는, 예를 들어 마우스, 키보드, 터치 패널, 버튼, 스위치 및 레버 등이 사용된다. 또한, 입력 장치(878)로서는, 적외선이나 그 밖의 전파를 이용하여 제어 신호를 송신하는 것이 가능한 리모트 컨트롤러(이하, 리모컨)가 사용되는 경우도 있다. 또한, 입력 장치(878)에는, 마이크로폰 등의 음성 입력 장치가 포함된다.

(출력 장치(879))

출력 장치(879)는, 예를 들어 CRT(Cathode Ray Tube), LCD, 또는 유기 EL 등의 디스플레이 장치, 스피커, 헤드폰 등의 오디오 출력 장치, 프린터, 휴대 전화, 또는 팩시밀리 등, 취득한 정보를 이용자에 대하여 시각적 또는 청각적으로 통지하는 것이 가능한 장치이다. 또한, 본 개시에 관한 출력 장치(879)는, 촉각 자극을 출력하는 것이 가능한 다양한 진동 디바이스를 포함한다.

(스토리지(880))

스토리지(880)는, 각종 데이터를 저장하기 위한 장치이다. 스토리지(880)로서는, 예를 들어 하드디스크 드라이브(HDD) 등의 자기 기억 디바이스, 반도체 기억 디바이스, 광 기억 디바이스, 또는 광자기 기억 디바이스 등이 사용된다.

(드라이브(881))

드라이브(881)는, 예를 들어 자기 디스크, 광 디스크, 광자기 디스크, 또는 반도체 메모리 등의 리무버블 기록 매체(901)에 기록된 정보를 판독하거나, 또는 리무버블 기록 매체(901)에 정보를 기입하는 장치이다.

(리무버블 기록 매체(901))

리무버블 기록 매체(901)는, 예를 들어 DVD 미디어, Blu-ray(등록 상표) 미디어, HD DVD 미디어, 각종 반도체 기억 미디어 등이다. 물론, 리무버블 기록 매체(901)는, 예를 들어 비접촉형 IC 칩을 탑재한 IC 카드, 또는 전자 기기 등이어도 된다.

(접속 포트(882))

접속 포트(882)는, 예를 들어 USB(Universal Serial Bus) 포트, IEEE1394 포트, SCSI(Small Computer System Interface), RS-232C 포트, 또는 광 오디오 단자 등과 같은 외부 접속 기기(902)를 접속하기 위한 포트이다.

(외부 접속 기기(902))

외부 접속 기기(902)는, 예를 들어 프린터, 워크맨, 디지털 카메라, 디지털 비디오 카메라, 또는 IC 레코더 등이다.

(통신 장치(883))

통신 장치(883)는, 네트워크에 접속하기 위한 통신 디바이스이며, 예를 들어 유선 또는 무선 LAN, Wi-Fi(등록 상표), Bluetooth(등록 상표), 또는 WUSB(Wireless USB)용 통신 카드, 광 통신용 라우터, ADSL(Asymmetric Digital Subscriber Line)용 라우터, 또는 각종 통신용 모뎀 등이다.

<<5. 정리>>

이상, 첨부 도면을 참조하면서 본 개시의 적합한 실시 형태에 대하여 상세하게 설명하였지만, 본 기술은 이러한 예에 한정되지 않는다. 본 개시의 기술분야에 있어서의 통상의 지식을 갖는 자라면, 특허 청구 범위에 기재된 기술적 사상의 범주 내에서, 각종 변경예 또는 수정예에 상도할 수 있는 것은 명백하며, 이들에 대해서도, 당연히 본 개시의 기술적 범위에 속하는 것으로 이해된다.

예를 들어, 상술한 정보 처리 장치(100)에 내장되는 CPU, ROM 및 RAM 등의 하드웨어에, 정보 처리 장치(100)의 기능을 발휘시키기 위한 컴퓨터 프로그램도 작성 가능하다. 또한, 당해 컴퓨터 프로그램을 기억시킨 컴퓨터 판독 가능한 기억 매체도 제공된다.

또한, 본 명세서에 기재된 효과는, 어디까지나 설명적 또는 예시적인 것이며 한정적이지는 않다. 즉, 본 개시에 관한 기술은, 상기 효과와 함께, 또는 상기 효과 대신에, 본 명세서의 기재로부터 당업자에게는 명백한 다른 효과를 발휘할 수 있다.

또한, 본 기술은 이하와 같은 구성도 취할 수 있다.

(1)

통지 내용에 관련지어진 통지 조건이 충족되었을 때, 상기 통지 내용에 관련지어진 실물체가 통지 대상자와 동일 공간에 존재하는지 여부를 판단하는 처리와,

상기 실물체가 존재하는지 여부에 따라서, 상기 실물체에 관련되는 위치에 상기 통지 내용을 출력하는 처리를 행하는 제어부를 구비하는 정보 처리 장치.

(2)

상기 제어부는,

상기 실물체가 존재하는 경우에는, 상기 실물체에 관련되는 위치에 상기 통지 내용을 출력하고,

상기 실물체가 존재하지 않는 경우에는, 상기 통지 대상자와 동일 공간 내에 상기 실물체를 나타내는 정보와 함께 상기 통지 내용을 출력하는, 상기 (1)에 기재된 정보 처리 장치.

(3)

상기 실물체에 관련되는 위치는, 상기 실물체 상 또는 상기 실물체 주변 중 적어도 어느 것인, 상기 (2)에 기재된 정보 처리 장치

(4)

상기 통지 조건은, 통지 시간, 통지 장소, 또는 상기 통지 대상자를 적어도 포함하는, 상기 (2)에 기재된 정보 처리 장치.

(5)

상기 통지 시간은, 소정의 시각, 타이머 설정, 또는 소정의 타이밍인, 상기 (4)에 기재된 정보 처리 장치.

(6)

상기 제어부는,

상기 통지 시간의 조건을 충족한 경우, 상기 통지 장소에 있어서, 상기 실물체에, 상기 통지 내용을 표시하는 제어를 행하는, 상기 (4) 또는 (5)에 기재된 정보 처리 장치.

(7)

상기 제어부는,

공간 내로부터 취득된 센싱 데이터에 기초하여, 상기 통지 대상자를 인식하고,

상기 통지 시간이 되었을 때, 상기 실물체가 존재하는 경우에는, 상기 실물체에 상기 통지 내용을 출력하고, 상기 실물체가 존재하지 않는 경우에는, 상기 실물체를 나타내는 정보와 함께 상기 통지 내용을 상기 통지 대상자의 부근에 출력하는, 상기 (4) 내지 (6) 중 어느 것에 기재된 정보 처리 장치.

(8)

상기 통지 내용에는, 속성 정보가 관련지어지고,

상기 제어부는,

상기 속성 정보에 따라서, 상기 통지 내용의 출력을 제어하는, 상기 (4) 내지 (7) 중 어느 것에 기재된 정보 처리 장치.

(9)

상기 속성 정보는, 중요도를 포함하고,

상기 제어부는,

상기 중요도에 따라서, 상기 통지 내용을 출력할 때의 출력 양태를 변경하는, 상기 (8)에 기재된 정보 처리 장치.

(10)

상기 속성 정보는, 시큐리티 조건을 포함하고,

상기 제어부는,

상기 통지 조건 및 상기 시큐리티 조건이 충족된 경우에, 상기 통지 내용을 출력하는 제어를 행하는, 상기 (8) 또는 (9)에 기재된 정보 처리 장치.

(11)

상기 속성 정보는, 반복 설정을 포함하고,

상기 제어부는,

상기 반복 설정에 따라서, 상기 통지 내용의 출력을 반복하여 출력하는 처리를 행하는, 상기 (8) 내지 (10) 중 어느 것에 기재된 정보 처리 장치.

(12)

상기 제어부는,

공간에 마련된 환경 센서에 의해 취득한 센싱 데이터에 기초하여, 입력자에 의한 상기 통지 내용을 입력하는 제1 입력 조작을 검출하는, 상기 (4) 내지 (11) 중 어느 것에 기재된 정보 처리 장치.

(13)

상기 제어부는,

상기 제1 입력 조작은, 조작체를 사용한 입력 조작이며,

상기 제어부는,

상기 센싱 데이터에 기초하여, 상기 조작체에 의한 궤적을 검출하고,

검출한 상기 궤적을 투영하는 제어를 행하는, 상기 (12)에 기재된 정보 처리 장치.

(14)

상기 제어부는,

상기 센싱 데이터에 기초하여, 상기 입력자에 의한 상기 통지 내용을 등록하는 제2 입력 조작을 검출하고,

상기 제2 입력 조작이 검출되었을 때, 상기 투영한 상기 궤적을 통지 정보로서 기억부에 기억하는 처리를 행하는, 상기 (13)에 기재된 정보 처리 장치.

(15)

상기 제어부는,

상기 제1 입력 조작에 기초하여, 상기 통지 내용과 관련되는 상기 실물체를 인식하고,

상기 인식한 상기 실물체를 나타내는 정보를, 상기 통지 내용과 관련지어 상기 기억부에 기억하는, 상기 (14)에 기재된 정보 처리 장치.

(16)

상기 제어부는,

상기 기억부에 기억된 상기 통지 정보를, 상기 통지 조건을 충족하였는지 여부에 관계없이 공간 내의 소정 영역에 표시하는 제어를 행하는, 상기 (14) 또는 (15)에 기재된 정보 처리 장치.

(17)

상기 제어부는,

상기 통지 정보에 부가된 파라미터에 기초하여, 상기 소정 영역에 있어서의 상기 통지 정보의 표시 양태를 제어하는, 상기 (16)에 기재된 정보 처리 장치.

(18)

상기 제어부는,

상기 통지 정보를, 상기 통지 시간, 상기 통지 대상자, 또는 상기 통지 장소에 따라서 그루핑하여, 상기 소정 영역에 표시하는, 상기 (16) 또는 (17)에 기재된 정보 처리 장치.

(19)

프로세서가,

통지 내용에 관련지어진 통지 조건이 충족되었을 때, 상기 통지 내용에 관련지어진 실물체가 통지 대상자와 동일 공간에 존재하는지 여부를 판단하는 것과,

상기 실물체가 존재하는지 여부에 따라서, 상기 실물체에 관련되는 위치에 상기 통지 내용을 출력하는 것을 포함하는 정보 처리 방법.

(20)

컴퓨터를,

통지 내용에 관련지어진 통지 조건이 충족되었을 때, 상기 통지 내용에 관련지어진 실물체가 통지 대상자와 동일 공간에 존재하는지 여부를 판단하는 처리와,

상기 실물체가 존재하는지 여부에 따라서, 상기 실물체에 관련되는 위치에 상기 통지 내용을 출력하는 처리를 행하는 제어부로서 기능시키기 위한 프로그램이 기록된 기록 매체.

1: 시스템
10: 실물체
20: 통지 정보
21: 필적 화상
22: 통지 정보
100: 정보 처리 장치
110: I/F부
120: 필적 인식부
130: 제스처 검출부
131: 음성 인식부
140: 맵 관리부
150: 유저 위치 특정부
160: 유저 인식부
170: 제어부
171: 표시 데이터 생성부
173: 태스크 등록부
180: 타이머
190: 기억부
200: 입력 장치
210: 디지털 펜
220: 터치 패널
230: 키보드
300: 센서 장치
310: 인감 센서
320: 가속도 센서
330: 뎁스 센서
340: 마이크로폰
350: 카메라
360: 자이로 센서
370: 지자기 센서
400: 출력 장치
410: 프로젝터
420: 디스플레이
430: 스피커
440: 단일 지향성 스피커
874: 호스트 버스
875: 브리지
876: 외부 버스
877: 인터페이스
878: 입력 장치
879: 출력 장치
880: 스토리지
881: 드라이브
882: 접속 포트
883: 통신 장치
901: 리무버블 기록 매체
902: 외부 접속 기기

Claims (20)

1. 통지 내용에 관련지어진 통지 조건이 충족되었을 때, 상기 통지 내용에 관련지어진 실물체가 통지 대상자와 동일 공간에 존재하는지 여부를 판단하는 처리와,
   상기 실물체가 존재하는지 여부에 따라서, 상기 실물체에 관련되는 위치에 상기 통지 내용을 출력하는 처리를 행하는 제어부를 구비하는 정보 처리 장치.
2. 제1항에 있어서,
   상기 제어부는,
   상기 실물체가 존재하는 경우에는, 상기 실물체에 관련되는 위치에 상기 통지 내용을 출력하고,
   상기 실물체가 존재하지 않는 경우에는, 상기 통지 대상자와 동일 공간 내에, 상기 실물체를 나타내는 정보와 함께 상기 통지 내용을 출력하는 정보 처리 장치.
3. 제2항에 있어서,
   상기 실물체에 관련되는 위치는, 상기 실물체 상 또는 상기 실물체 주변 중 적어도 어느 것인 정보 처리 장치.
4. 제2항에 있어서,
   상기 통지 조건은, 통지 시간, 통지 장소, 또는 상기 통지 대상자를 적어도 포함하는 정보 처리 장치.
5. 제4항에 있어서,
   상기 통지 시간은, 소정의 시각, 타이머 설정, 또는 소정의 타이밍인 정보 처리 장치.
6. 제4항에 있어서,
   상기 제어부는,
   상기 통지 시간의 조건을 충족한 경우, 상기 통지 장소에 있어서, 상기 실물체에, 상기 통지 내용을 표시하는 제어를 행하는 정보 처리 장치.
7. 제4항에 있어서,
   상기 제어부는,
   공간 내로부터 취득된 센싱 데이터에 기초하여, 상기 통지 대상자를 인식하고,
   상기 통지 시간이 되었을 때, 상기 실물체가 존재하는 경우에는, 상기 실물체에 상기 통지 내용을 출력하고, 상기 실물체가 존재하지 않는 경우에는, 상기 실물체를 나타내는 정보와 함께 상기 통지 내용을 상기 통지 대상자의 부근에 출력하는 정보 처리 장치.
8. 제4항에 있어서,
   상기 통지 내용에는, 속성 정보가 관련지어지고,
   상기 제어부는,
   상기 속성 정보에 따라서, 상기 통지 내용의 출력을 제어하는 정보 처리 장치.
9. 제8항에 있어서,
   상기 속성 정보는, 중요도를 포함하고,
   상기 제어부는,
   상기 중요도에 따라서, 상기 통지 내용을 출력할 때의 출력 양태를 변경하는 정보 처리 장치.
10. 제8항에 있어서,
    상기 속성 정보는, 시큐리티 조건을 포함하고,
    상기 제어부는,
    상기 통지 조건 및 상기 시큐리티 조건이 충족된 경우에, 상기 통지 내용을 출력하는 제어를 행하는 정보 처리 장치.
11. 제8항에 있어서,
    상기 속성 정보는, 반복 설정을 포함하고,
    상기 제어부는,
    상기 반복 설정에 따라서, 상기 통지 내용의 출력을 반복하여 출력하는 처리를 행하는 정보 처리 장치.
12. 제4항에 있어서,
    상기 제어부는,
    공간에 마련된 환경 센서에 의해 취득한 센싱 데이터에 기초하여, 입력자에 의한 상기 통지 내용을 입력하는 제1 입력 조작을 검출하는 정보 처리 장치.
13. 제12항에 있어서,
    상기 제어부는,
    상기 제1 입력 조작은, 조작체를 사용한 입력 조작이며,
    상기 제어부는,
    상기 센싱 데이터에 기초하여, 상기 조작체에 의한 궤적을 검출하고,
    검출한 상기 궤적을 투영하는 제어를 행하는 정보 처리 장치.
14. 제13항에 있어서,
    상기 제어부는,
    상기 센싱 데이터에 기초하여, 상기 입력자에 의한 상기 통지 내용을 등록하는 제2 입력 조작을 검출하고,
    상기 제2 입력 조작이 검출되었을 때, 상기 투영한 상기 궤적을 통지 정보로서 기억부에 기억하는 처리를 행하는 정보 처리 장치.
15. 제14항에 있어서,
    상기 제어부는,
    상기 제1 입력 조작에 기초하여, 상기 통지 내용과 관련되는 상기 실물체를 인식하고,
    상기 인식한 상기 실물체를 나타내는 정보를, 상기 통지 내용과 관련지어 상기 기억부에 기억하는 정보 처리 장치.
16. 제14항에 있어서,
    상기 제어부는,
    상기 기억부에 기억된 상기 통지 정보를, 상기 통지 조건을 충족하였는지 여부에 관계없이 공간 내의 소정 영역에 표시하는 제어를 행하는 정보 처리 장치.
17. 제16항에 있어서,
    상기 제어부는,
    상기 통지 정보에 부가된 파라미터에 기초하여, 상기 소정 영역에 있어서의 상기 통지 정보의 표시 양태를 제어하는 정보 처리 장치.
18. 제16항에 있어서,
    상기 제어부는,
    상기 통지 정보를, 상기 통지 시간, 상기 통지 대상자, 또는 상기 통지 장소에 따라서 그루핑하여, 상기 소정 영역에 표시하는 정보 처리 장치.
19. 프로세서가,
    통지 내용에 관련지어진 통지 조건이 충족되었을 때, 상기 통지 내용에 관련지어진 실물체가 통지 대상자와 동일 공간에 존재하는지 여부를 판단하는 것과,
    상기 실물체가 존재하는지 여부에 따라서, 상기 실물체에 관련되는 위치에 상기 통지 내용을 출력하는 것
    을 포함하는 정보 처리 방법.
20. 컴퓨터를,
    통지 내용에 관련지어진 통지 조건이 충족되었을 때, 상기 통지 내용에 관련지어진 실물체가 통지 대상자와 동일 공간에 존재하는지 여부를 판단하는 처리와,
    상기 실물체가 존재하는지 여부에 따라서, 상기 실물체에 관련되는 위치에 상기 통지 내용을 출력하는 처리를 행하는 제어부로서 기능시키기 위한 프로그램이 기록된 기록 매체.

Images