KR20170106895A

KR20170106895A - 단말 장치, 데이터 처리 시스템, 컴퓨터 판독 가능한 매체 및 데이터 처리 방법

Info

Publication number: KR20170106895A
Application number: KR1020160102699A
Authority: KR
Inventors: 다이스케 야스오카
Original assignee: 후지제롯쿠스 가부시끼가이샤
Priority date: 2016-03-14
Filing date: 2016-08-12
Publication date: 2017-09-22
Also published as: CN107193513B; US20170264756A1; KR102218994B1; EP3220259A1; US10469673B2; US20180288242A1; CN107193513A; JP6689492B2; US10009484B2; JP2017167611A

Abstract

본 발명은 단말 장치가 제공된다. 화상 취득부는 데이터 처리 장치의 화상이 되는 처리 장치 화상을 취득한다. 표시부는 데이터 처리 장치에 데이터의 처리를 의뢰하는데 사용되는 의뢰 화면을 표시한다. 화상 취득부가 취득한 처리 장치 화상의 적어도 하나와, 처리를 의뢰할 데이터를 나타내는 데이터 화상의 적어도 하나를 의뢰 화면에 표시한다. 의뢰 화면에 있어서, 조작자가 처리 장치 화상의 하나와 데이터 화상의 하나를 지정하는 조작에 따라서, 지정된 데이터 화상이 나타내는 데이터의 처리의 의뢰를 지정된 처리 장치 화상이 나타내는 데이터 처리 장치에 전송한다.

Description

단말 장치, 데이터 처리 시스템, 컴퓨터 판독 가능한 매체 및 데이터 처리 방법{TERMINAL DEVICE, DATA PROCESSING SYSTEM, COMPUTER READABLE MEDIUM AND DATA PROCESSING METHOD}

본 발명은 단말 장치, 데이터 처리 시스템, 컴퓨터 판독 가능한 매체 및 데이터 처리 방법에 관한 것이다.

특허문헌 1에는, 마커(marker) 화상 및 전자 워터마크가 중첩해서 인쇄된 마커로부터 정보를 판독해서, 콘텐츠를 표시하는 콘텐츠 표시 장치로서, 전자 워터마크의 코드와 콘텐츠를 연관지어 기억하는 기억부와, 상기 마커를 촬영하는 촬영부와, 촬영한 상기 마커의 전자 워터마크를 식별해서 코드를 추출하는 코드 추출부와, 추출한 상기 코드에 대응하는 상기 콘텐츠를 취득하는 콘텐츠 취득부와, 촬영한 상기 마커의 마커 화상의 위치를 인식하는 위치 인식부와, 인식한 상기 위치에, 취득한 상기 콘텐츠를 표시하는 표시부를 구비하는 콘텐츠 표시 장치가 기재되어 있다.

특허문헌 2에는, AR 마커가 되는 화상이 인쇄된 카드를 촬영하기 위한 카메라와, 이 카메라로 촬영된 화상을 수취하여 이 화상에 일치하는 화상을 화상 기억 장치에 기록된 화상 중에서 검색해서 이 검색된 화상에 대응하는 가상 삼차원 영상을 결정하는 영상 결정 장치와, 영상 기억 장치로부터 판독된 상기 가상 삼차원 영상을 수취하여 상기 화상에 애너테이션해서 결과 이미지를 표시하는 표시 장치를 포함하는 애너테이션 시스템이 기재되어 있다.

일본 특개2014-219822A호 공보 일본 특개2015-146173A호 공보

단말 장치로부터 데이터 처리 장치에 데이터의 처리를 의뢰할 경우, 데이터 처리 장치의 네트워크 상의 어드레스를 취득해서, 단말 처리 장치와 데이터 처리 장치의 접속의 확립을 요한다. 그러나, 단말 장치와 데이터 처리 장치를 접속하는 조작은 번잡할 경우가 있다.

본 발명은, 단말 장치와 데이터 처리 장치를 접속하는 조작의 번잡함을 저감할 수 있는 단말 장치, 데이터 처리 시스템, 컴퓨터 판독 가능한 매체 및 데이터 처리 방법을 제공하는 것을 목적으로 한다.

[1] 데이터 처리 장치의 화상이 되는 처리 장치 화상을 취득하는 화상 취득부와, 데이터 처리 장치에 데이터의 처리를 의뢰하는데 사용되는 의뢰 화면을 표시하는 표시부를 갖고, 상기 화상 취득부가 취득한 처리 장치 화상의 적어도 하나와, 처리를 의뢰할 데이터를 나타내는 데이터 화상의 적어도 하나를 상기 의뢰 화면에 표시하고, 상기 의뢰 화면에 있어서, 조작자가 처리 장치 화상의 하나와 데이터 화상의 하나를 지정하는 조작에 따라서, 지정된 데이터 화상이 나타내는 데이터의 처리의 의뢰를 지정된 처리 장치 화상이 나타내는 데이터 처리 장치에 전송하는 단말 장치.

[2] 상기 화상 취득부는 촬영 장치를 갖고, 상기 촬영 장치를 통해 데이터 처리 장치를 촬영함에 의해 처리 장치 화상을 취득하는 [1]에 따른 단말 장치.

[3] 상기 화상 취득부는 촬영 장치를 갖고, 상기 촬영 장치가 조작된 시점에 있어서, 상기 촬영 장치를 통해 촬영 가능한 방향으로 배치되어 있는 데이터 처리 장치의 화상을 처리 장치 화상으로서 취득하는 [1]에 따른 단말 장치.

[4] 상기 표시부는, 데이터 처리 장치가 설치된 위치를 나타내고, 데이터의 처리를 의뢰할 데이터 처리 장치를 지정하는데 사용되는 처리 장치 지정 화면을 더 표시하고, 상기 화상 취득부는, 조작자가 상기 처리 장치 지정 화면에서 지정한 데이터 처리 장치의 화상을 취득하는 [1]에 따른 단말 장치.

[5] 데이터 처리 장치에 데이터의 처리를 의뢰하는 데이터 처리 의뢰부와, 상기 화상 취득부가 취득한 처리 장치 화상에 의거해서, 처리 장치 화상이 취득된 데이터 처리 장치의 네트워크 상에 있어서의 어드레스를 취득하는 어드레스 취득부를 더 갖고, 상기 데이터 처리 의뢰부는, 상기 어드레스 취득부가 취득한 데이터 처리 장치의 네트워크 상의 어드레스에 의거해서, 네트워크 상의 어드레스가 취득된 데이터 처리 장치에 데이터의 처리를 의뢰하는 [1] 내지 [4] 중 어느 하나에 따른 단말 장치.

[6] 의뢰 화면에 처리 장치 화상이 표시된 데이터 처리 장치의 위치 정보를 취득하는 위치 정보 취득부를 더 갖고, 상기 어드레스 취득부는, 적어도 데이터 처리 장치의 위치 정보 및 데이터 처리 장치의 네트워크 상에 있어서의 어드레스를 보존하고 있는 데이터베이스를 참조하여, 상기 위치 정보 취득부에 의해 위치 정보가 취득된 데이터 처리 장치의 네트워크 상의 어드레스를 취득하는 [5]에 따른 단말 장치.

[7] 상기 화상 취득부에 의해 취득된 처리 장치 화상에 의거해서, 처리 장치 화상이 취득된 데이터 처리 장치와 통신 가능한 통신 프로토콜을 특정하는 프로토콜 특정부를 더 갖고, 상기 데이터 처리 의뢰부는, 상기 프로토콜 특정부가 특정한 통신 프로토콜을 이용해서 데이터 처리 장치에 데이터의 처리를 의뢰하는 [5] 또는 [6]에 따른 단말 장치.

[8] 상기 표시부는, 처리를 의뢰할 데이터를 지정하는데 사용되는 데이터 지정 화면을 더 표시하고, 상기 데이터 지정 화면에 있어서, 복수의 데이터 화상을 상기 데이터 지정 화면에 대해서 교차하는 방향으로 깊이가 있도록 배치해서 표시하는 [1] 내지 [7] 중 어느 하나에 따른 단말 장치.

[9] 상기 의뢰 화면에 있어서, 조작자가 데이터 화상의 하나를 처리 장치 화상의 하나에 겹침에 의해, 데이터 화상과 처리 장치 화상이 지정되는 [1] 내지 [8] 중 어느 하나에 따른 단말 장치.

[10] 데이터 처리 장치에 데이터의 처리를 의뢰하는데 사용되는 의뢰 화면을 표시하는 표시부를 갖고, 처리 장치의 실제 화상과 동시에 시인(視認)할 수 있도록, 처리를 의뢰할 데이터를 나타내는 데이터 화상의 적어도 하나를 상기 의뢰 화면에 표시하고,상기 의뢰 화면에 있어서, 조작자가 데이터의 처리를 의뢰할 처리 장치의 실제 화상의 하나와 데이터 화상의 하나를 지정하는 조작에 따라서, 지정된 데이터 화상이 나타내는 데이터의 처리의 의뢰를 실제 화상이 지정된 데이터 처리 장치에 전송하는 단말 장치.

[11] 상기 표시부는, 조작자가 이동 중에는 데이터 화상을 표시하지 않는 [10]에 따른 단말 장치.

[12] 상기 표시부는, 데이터 화상을 2색 이하로 표시하는 [10] 또는 [11]에 따른 단말 장치.

[13] 상기 표시부는, 데이터 화상을 투과 가능하게 표시하는 [10] 내지 [12] 중 어느 하나에 따른 단말 장치.

[14] 상기 의뢰 화면에 있어서, 조작자가 데이터 화상의 하나를 처리 장치의 실제 화상의 하나에 겹침에 의해, 데이터 화상과 처리 장치 화상이 지정되는 [10] 내지 [13] 중 어느 하나에 따른 단말 장치.

[15] 화상 취득부 및 표시부를 갖는 단말 장치이며, 상기 화상 취득부가 데이터 처리 장치의 화상이 되는 처리 장치 화상을 취득하고, 상기 표시부가 데이터 처리 장치에 데이터의 처리를 의뢰하는데 사용되는 의뢰 화면을 표시하는 상기 단말 장치와, 상기 단말 장치로부터의 의뢰를 받아서 데이터를 처리하는 데이터 처리 장치를 갖고, 상기 화상 취득부가 취득한 처리 장치 화상의 적어도 하나와, 처리를 의뢰할 데이터를 나타내는 데이터 화상의 적어도 하나를 상기 의뢰 화면에 표시하고, 상기 의뢰 화면에 있어서, 조작자가 처리 장치 화상의 하나와 데이터 화상의 하나를 지정하는 조작에 따라서, 지정된 데이터 화상이 나타내는 데이터의 처리의 의뢰를 지정된 처리 장치 화상이 나타내는 데이터 처리 장치에 전송하는 데이터 처리 시스템.

[16] 복수의 상기 단말 장치를 갖고, 복수의 상기 단말 장치의 하나의 의뢰 화면에서 처리 장치 화상과 데이터 화상을 지정하는 조작이 이루어졌을 경우에, 복수의 상기 단말 장치의 적어도 다른 하나의 의뢰 화면에 상기 조작이 표시되는 [15]에 따른 데이터 처리 시스템.

[17] 데이터 처리 장치에 데이터의 처리를 의뢰하는데 사용되는 의뢰 화면을 표시하는 표시부를 갖는 단말 장치와, 상기 단말 장치로부터의 의뢰를 받아서 데이터를 처리하는 데이터 처리 장치를 갖고, 처리 장치의 실제 화상과 동시에 시인할 수 있도록, 처리를 의뢰할 데이터를 나타내는 데이터 화상의 적어도 하나를 상기 의뢰 화면에 표시하고, 상기 의뢰 화면에 있어서, 조작자가 데이터의 처리를 의뢰할 처리 장치의 실제 화상의 하나와 데이터 화상의 하나를 지정하는 조작에 따라서, 지정된 데이터 화상이 나타내는 데이터의 처리의 의뢰를 실제 화상이 지정된 데이터 처리 장치에 전송하는 데이터 처리 시스템.

[18] 데이터 처리 장치의 화상이 되는 처리 장치 화상을 취득하는 화상 취득 스텝과, 데이터 처리 장치에 데이터의 처리를 의뢰하는데 사용되는 의뢰 화면을 표시하는 표시 스텝을 컴퓨터에 실행시키고, 상기 화상 취득 스텝에서 취득한 처리 장치 화상의 적어도 하나와, 처리를 의뢰할 데이터를 나타내는 데이터 화상의 적어도 하나를 상기 의뢰 화면에 표시하고, 상기 의뢰 화면에 있어서, 조작자가 처리 장치 화상의 하나와 데이터 화상의 하나를 지정하는 조작에 따라서, 지정된 데이터 화상이 나타내는 데이터의 처리의 의뢰를 지정된 처리 장치 화상이 나타내는 데이터 처리 장치에 전송하는 프로그램.

[19] 데이터 처리 장치에 데이터의 처리를 의뢰하는데 사용되는 의뢰 화면을 표시하는 표시 스텝을 컴퓨터에 실행시키고, 처리 장치의 실제 화상과 동시에 시인할 수 있도록, 처리를 의뢰할 데이터를 나타내는 데이터 화상의 적어도 하나를 상기 의뢰 화면에 표시하고, 상기 의뢰 화면에 있어서, 조작자가 데이터의 처리를 의뢰할 처리 장치의 실제 화상의 하나와 데이터 화상의 하나를 지정하는 조작에 따라서, 지정된 데이터 화상이 나타내는 데이터의 처리의 의뢰를 실제 화상이 지정된 데이터 처리 장치에 전송하는 프로그램.

[1]에 따르면, 단지 조작부 등을 조작자가 조작함에 의해서, 단말 장치와 데이터 처리 장치간의 접속을 확립하는 조작에 요하는 기술과 비교해서, 단말 장치와 데이터 처리 장치를 접속하는 조작의 번잡함을 낮게 저감할 수 있는 단말 장치를 제공할 수 있다.

[2]에 따르면, 촬영을 하지 않고 처리 장치 화상의 표시를 하는 기술에서는 데이터베이스 등에 처리 장치 화상을 보존하는 것을 요하는데 반해서, 처리 장치 화상의 보존을 불필요하게 할 수 있다.

[3]에 따르면, 촬영에 의해 처리 장치 화상을 취득하는 기술에서는, 촬영 가능한 위치에 있는 데이터 처리 장치의 처리 장치 화상밖에 취득할 수 없는 것에 반해서, 촬영을 할 수 없는 위치에 있는 데이터 처리 장치의 처리 장치 화상을 취득할 수 있고, 그 데이터 처리 장치에 데이터의 처리를 의뢰할 수 있다.

[4]에 따르면, 예를 들면 조작자에 가장 가까운 위치에 설치되어 있는 데이터 처리 장치를 선택하는 등, 데이터 처리 장치가 설치된 위치를 고려해서 처리 장치 화상을 취득할 수 있고, 그 데이터 처리 장치에 데이터의 처리를 의뢰할 수 있다.

[5]에 따르면, 단말 장치와 데이터 처리 장치를 접속할 때에, 조작자가 데이터 처리 장치의 네트워크 상의 어드레스를 입력하는 조작을 하는 것을 요하는 기술과 비교해서, 단말 장치와 데이터 처리 장치를 접속하는 조작의 번잡함을 낮게 저감할 수 있다.

[6]에 따르면, 위치 정보를 이용하지 않고, 예를 들면 식별자를 촬영하여 데이터 처리 장치를 특정하고, 특정된 데이터 처리 장치의 네트워크 상의 어드레스를 취득하는 기술과 비교해서, 데이터 처리 장치의 네트워크 상의 어드레스를 취득하는 조작을 간단하게 할 수 있다.

[7]에 따르면, 조작부 등을 조작자가 조작함에 의해서, 데이터 처리 장치와의 통신이 가능하도록 프로토콜을 설정하는 기술과 비교해서, 단말 장치와 데이터 처리 장치를 접속하는 조작의 번잡함을 낮게 저감할 수 있다.

[8]에 따르면, 데이터를 단지 평면적으로 배치하는 기술과 비교해서, 처리를 의뢰할 데이터를 선택하기 쉽게 할 수 있다.

[9]에 따르면, 조작자가 데이터 화상의 하나를 처리 장치 화상의 하나에 겹치지 않게 하는 조작으로 데이터 화상과 처리 장치 화상을 지정하는 기술과 비교해서, 조작을 간단하게 할 수 있다.

[10]에 따르면, 단지 조작부 등을 조작자가 조작함에 의해서, 단말 장치와 데이터 처리 장치 사이의 접속을 확립하는 조작을 요하는 기술과 비교해서, 단말 장치와 데이터 처리 장치를 접속하는 조작의 번잡함을 낮게 저감할 수 있는 단말 장치를 제공할 수 있다.

[11]에 따르면, 조작자가 이동 중에 데이터 화상을 표시함으로써 발생할 우려가 있는 조작자의 3D 멀미를 발생하기 어렵게 할 수 있다.

[12]에 따르면, 데이터 화상을 3색 이상으로 표시하는 기술과 비교해서, 조작자가 실제 화상과 데이터 화상의 구별을 하기 쉽게 할 수 있다.

[13]에 따르면, 불투과의 데이터 화상을 표시하는 기술에서 발생하는 실제 화상이 데이터 화상에 가려져서 보기 어렵게 된다는 폐해를 억제할 수 있다.

[14]에 따르면, 조작자가 데이터 화상의 하나를 처리 장치의 화상의 하나에 겹치지 않게 하는 조작으로 데이터 화상과 처리 장치 화상을 지정하는 기술과 비교해서, 조작을 간단하게 할 수 있다.

[15]에 따르면, 단지 조작부 등을 조작자가 조작함에 의해서, 단말 장치와 데이터 처리 장치 사이의 접속을 확립하는 조작에 요하는 기술과 비교해서, 단말 장치와 데이터 처리 장치를 접속하는 조작의 번잡함을 낮게 저감할 수 있는 데이터 처리 시스템을 제공할 수 있다.

[16]에 따르면, 하나의 단말 장치를 이용해서 조작자에 의해 이루어진 조작을, 다른 사람이 다른 단말 장치로 확인할 수 있다.

[17]에 따르면, 단지 조작부 등을 조작자가 조작함에 의해서, 단말 장치와 데이터 처리 장치 사이의 접속을 확립하는 조작에 요하는 기술과 비교해서, 단말 장치와 데이터 처리 장치를 접속하는 조작의 번잡함을 낮게 저감할 수 있는 데이터 처리 시스템을 제공할 수 있다.

[18]에 따르면, 단지 조작부 등을 조작자가 조작함에 의해서, 단말 장치와 데이터 처리 장치 사이의 접속을 확립하는 조작에 요하는 기술과 비교해서, 단말 장치와 데이터 처리 장치를 접속하는 조작의 번잡함을 낮게 저감할 수 있는 프로그램을 제공할 수 있다.

[19]에 따르면, 단지 조작부 등을 조작자가 조작함에 의해서, 단말 장치와 데이터 처리 장치 사이의 접속을 확립하는 조작에 요하는 기술과 비교해서, 단말 장치와 데이터 처리 장치를 접속하는 조작의 번잡함을 낮게 저감할 수 있는 프로그램을 제공할 수 있다.

본 발명의 예시적인 실시예를 다음의 도면에 의거하여 상세히 설명한다.

도 1은 본 발명의 제1 실시형태에 따른 데이터 처리 시스템을 나타내는 도면.
도 2는 도 1에 나타내는 데이터 처리 시스템이 갖는 단말 장치의 구성을 나타내는 블록도.
도 3은 도 2에 나타내는 단말 장치의 일례인 스마트폰을 나타내는 정면도.
도 4는 도 1에 나타내는 데이터 처리 시스템이 갖는 무선 통신 장치의 구성을 나타내는 블록도.
도 5는 도 1에 나타내는 데이터 처리 시스템이 갖는 관리 장치의 구성을 나타내는 블록도.
도 6은 도 1에 나타내는 데이터 처리 시스템이 갖는 정보 처리 장치의 구성을 나타내는 블록도.
도 7a는, 처리 장치 화상을 취득하기 위하여, 단말 장치로 데이터 처리 장치를 촬영하는 모습을 모식적으로 나타내는 도면이고, 도 7b는, 단말 장치의 표시부에 촬영된 데이터 처리 장치의 처리 장치 화상이 표시되어 있는 상태를 나타내는 도면.
도 8a는, 단말 장치의 표시부에 표시되는 의뢰 화면의 제1 예를 나타내는 도면이고, 도 8b는, 단말 장치의 표시부에 표시되는 의뢰 화면의 제2 예를 나타내는 도면.
도 9a는, 의뢰 화면에서 데이터 처리 장치에 데이터의 처리를 의뢰하는 조작의 제1 예를 설명하는 도면이고, 도 9b는, 의뢰 화면에서 데이터 처리 장치에 데이터의 처리를 의뢰하는 조작의 제2 예를 설명하는 도면.
도 10a 및 도 10b는, 의뢰 화면에서 데이터 처리 장치에 데이터의 처리를 의뢰하는 조작의 제3 예를 설명하는 도면.
도 11은 의뢰 화면에 복수의 처리 장치 화상이 표시되어 있는 경우에 있어서의 데이터 처리 장치에 데이터의 처리를 의뢰하는 조작을 설명하는 도면.
도 12a 내지 도 12d는, 단말 장치의 표시부에 표시되는 데이터 선택 화면의 예를 나타내는 도면이고, 도 12e, 도 12f는, 도 12b에 나타나 있는 데이터 선택 화면이 조작된 상태를 각각 나타내는 도면.
도 13a는, 단말 장치의 표시부에 표시되는 데이터 표시 화면의 예를 나타내는 도면이고, 도 13b는 단말 장치의 표시부에 표시되는 의뢰 화면의 제3 예를 나타내는 도면이고, 도 13c는 도 13b에 나타나 있는 의뢰 화면에서 데이터 처리 장치에 데이터의 처리를 의뢰하는 조작을 설명하는 도면.
도 14는 단말 장치로 데이터 처리 장치의 처리 장치 화상을 취득하기 위한 조작을 모식적으로 설명하는 도면.
도 15a 및 도 15b는 단말 장치의 표시부에 표시된 처리 장치 표시 화면의 예를 나타내는 도면이고, 도 15c는, 도 15b가 표시된 후에, 표시부에 표시되는 의뢰 화면을 나타내는 도면.
도 16a는, 단말 장치의 표시부에 표시된 처리 장치 선택 화면의 예를 나타내는 도면이고, 도 16b는, 도 16a에 나타내는 처리 장치 선택 화면을 조작한 후에 표시부에 표시되는 의뢰 화면을 나타내는 도면.
도 17은 단말 장치의 표시부에 표시되는 모드 선택 화면의 예를 나타내는 도면.
도 18은 도 1에 나타내는 단말 장치의 모드의 선택 시에 있어서의 동작을 설명하는 플로차트.
도 19는 도 1에 나타내는 단말 장치의 카메라 선택 모드에 있어서의 동작을 설명하는 플로차트.
도 20은 도 1에 나타내는 단말 장치의 겨냥도 선택 모드에 있어서의 동작을 설명하는 플로차트.
도 21은 도 1에 나타내는 단말 장치의 데이터 선택 모드에 있어서의 동작을 설명하는 플로차트.
도 22는 본 발명의 제 2 실시형태에 따른 데이터 처리 시스템에서 단말 장치로서 이용되고 있는 웨어러블 컴퓨터를 나타내는 사시도.
도 23은 도 22에 나타내는 웨어러블 컴퓨터의 표시부에 표시된 의뢰 화면의 예를 나타내는 도면.
도 24는 본 발명의 제 3 실시형태에 따른 데이터 처리 시스템을 나타내는 도면.

(제1 실시형태)

다음으로, 본 발명을 실시하기 위한 실시형태를 도면을 참조해서 설명한다. 도 1에는, 본 발명의 제1 실시형태에 따른 데이터 처리 시스템(10)이 나타나 있다. 데이터 처리 시스템(10)은, 단말 장치(100)와, 무선 통신 장치(300)와, 예를 들면 3개의 데이터 처리 장치(400A, 400B, 400C)와, 관리 장치(500)를 갖고, 이들이 네트워크(600)에 접속되어 있다.

데이터 처리 장치(400A), 데이터 처리 장치(400B), 데이터 처리 장치(400C)는, 특별히 구별을 할 필요가 있는 경우를 제외하고, 이하, 데이터 처리 장치(400)라 총칭해서 설명을 한다. 또한, 이하, 데이터 처리 시스템(10)이 3개의 데이터 처리 장치(400)를 갖는 경우를 예로서 설명을 하지만, 데이터 처리 시스템(10)은 적어도 하나의 데이터 처리 장치(400)를 가지면 된다.

단말 장치(100)는, 바람직하게는 휴대 가능한 장치이고, 예를 들면, 스마트폰이나 태블릿 장치, 웨어러블 컴퓨터 등을 이용할 수 있다. 또한, 단말 장치(100)는, 무선 통신 장치(300)를 통해 네트워크(600)에 무선으로 접속 가능한 것이 바람직하지만, 네트워크(600)에 유선으로 접속 가능한 것이어도 된다. 이하, 단말 장치(100)로서, 휴대 가능하고, 무선 통신 장치(300)를 통해 네트워크(600)와 접속 가능한 장치인 스마트폰을 이용하는 경우를 예로서 설명을 한다.

도 2는, 단말 장치(100)의 구성을 나타내는 블록도이다. 도 2에 나타내는 바와 같이, 단말 장치(100)는, 조작부(110)를 갖는다. 조작부(110)는, 조작자가 조작함에 의해서 조작자의 지시를 접수하는 입력 장치로서 이용되고 있고, 예를 들면 터치 패널 등을 이용할 수 있다.

단말 장치(100)는, GPS(global positioning system) 수신부(120)를 더 갖는다. GPS 수신부(120)는 GPS 위성(990)으로부터의 전파를 수신한다.

단말 장치(100)는, 무선 통신부(130)를 더 갖는다. 무선 통신부(130)는, 예를 들면 Wi-Fi 등의 무선 네트워크의 통신을 행해서 무선 통신 장치(300)와 무선 통신을 행함에 의해 단말 장치(100)를 네트워크(600)에 접속한다.

단말 장치(100)는, 가속도 센서(140)를 더 갖는다. 가속도 센서(140)는, 단말 장치(100)의 지면에 대하는 자세 및 기울기를 검출한다. 가속도 센서(140)는, 단말 장치(100)의 지면에 대하는 상하 방향이 올바른지의 여부를 더 검출한다.

단말 장치(100)는, 전자 컴퍼스(150)를 더 갖는다. 전자 컴퍼스(150)는, 단말 장치(100)의 방향을 검출한다. 전자 컴퍼스(150)로서는, 예를 들면 지자기(geomagnetic) 센서 등을 이용할 수 있다.

단말 장치(100)는 표시부(160)를 더 갖는다. 표시부(160)로서는, 예를 들면 액정 표시(LCD) 패널을 이용할 수 있다.

단말 장치(100)는, 카메라 장치(170)를 더 갖는다. 카메라 장치(170)는, 화상 취득부로서 이용되고 있음과 함께 촬영 장치로서 이용되고 있고, 예를 들면, 표시부(160)를 파인더로서 이용해서 피사체를 촬영한다.

단말 장치(100)는, 메모리(180)를 더 갖는다. 메모리(180)는, 카메라 장치(170)로 촬영한 화상 데이터 등을 기억한다.

단말 장치(100)는, 제어부(102)를 더 갖는다. 제어부(102)는, 조작부(110)와, GPS 수신부(120)와, 무선 통신부(130)와, 가속도 센서(140)와, 전자 컴퍼스(150)와, 표시부(160)와, 카메라 장치(170)와, 메모리(180)를 프로그램에 따라서 제어한다. 제어부(102)는, 또한 화상 처리를 행한다.

제어부(102)는, 또한, GPS 위성(990)으로부터 발해진 전파로서, GPS 수신부(120)가 수신한 전파에 의거해서, 지구 상에 있어서의 단말 장치(100)의 위치를 연산한다. 이와 같이, 제어부(102)는, 단말 장치(100)의 위도 및 경도 위치 좌표를 구하여, 단말 장치(100)의 위치 정보를 취득한다.

단말 장치(100)의 위치 정보의 취득은, GPS 전파를 취득하는 방법 이외의 방법으로 행해도 된다. 예를 들면, 단말 장치(100)의 위치 정보의 취득을, 무선 LAN을 이용한 Wi-Fi 위치 측정에 의해 행해도 된다. 이 때문에, 단말 장치(100)가 GPS 수신부(120)를 갖지 않는다고 해도, 복수의 무선 LAN 액세스 포인트에 의해서 단말 장치(100)의 위치 정보의 취득이 가능하다.

도 3은, 단말 장치(100)를 정면으로부터 나타내는 도면이다. 도 3에 나타내는 바와 같이, 전술의 표시부(160)는, 단말 장치(100)의 전면측에 배치되어 있어, 단말 장치(100)의 전면측으로부터 표시 내용을 볼 수 있도록 되어 있다. 조작부(110)도 표시부(160)와 마찬가지로 단말 장치(100)의 전면측에 배치되어 있어, 전면측으로부터 조작을 할 수 있도록 되어 있다.

단말 장치(100)는, 전술의 카메라 장치(170)로서, 단말 장치(100)의 전면측의 영역을 촬영하는 카메라 장치(170A)와, 단말 장치(100)의 후측의 영역을 촬영하는 카메라 장치(170B)를 갖는다. 카메라 장치(170A)와 카메라 장치(170B)는, 특별히 구별을 할 필요가 없는 한 카메라 장치(170)라 해서 총칭해서 설명한다.

단말 장치(100)는, 보조 조작부(112)를 더 갖는다. 보조 조작부(112)는, 조작부(110)에 의한 조작을 보조하기 위한 것이고, 예를 들면 단말 장치(100)에 전면측에 배치되어 있다. 보조 조작부(112)로서는, 예를 들면 누름 버튼식의 스위치 장치를 이용할 수 있다.

도 4는, 무선 통신 장치(300)의 구성을 나타내는 블록도이다. 무선 통신 장치(300)는, 무선 통신 액세스 포인트가 되고, 도 4에 나타내는 바와 같이, 무선 통신부(310)와, 통신 인터페이스부(I/F)(320)와, 제어부(302)를 갖고 있다. 무선 통신부(310)는, 단말 장치(100)와 무선 통신을 행한다. 통신 인터페이스부(320)는, 무선 통신 장치(300)를 네트워크(600)에 통신 가능하게 접속한다. 제어부(302)는, 무선 통신부(310)와 통신 인터페이스부(320)를 제어한다.

도 5는, 관리 장치(500)의 구성을 나타내는 블록도이다. 관리 장치(500)는, 네트워크(600)에 접속되어 있는 데이터 처리 장치(400)를 중앙 관리하기 위한 장치이고, 도 5에 나타내는 바와 같이 조작부(510)를 갖는다. 조작부(510)는 관리 장치(500)를 조작하기 위하여 이용되고, 조작부(510)로서는 예를 들면 키보드 등을 이용할 수 있다.

관리 장치(500)는, 통신 인터페이스부(520)를 더 갖는다. 통신 인터페이스부(520)는, 관리 장치(500)를 네트워크(600)에 통신 가능하게 접속한다. 관리 장치(500)는, 기억부(530)와, 모니터 등의 표시부(540)와, 메모리(550)와, 이들을 제어하는 제어부(502)를 더 갖는다.

기억부(530)로서는, 예를 들면 하드 디스크 드라이브(HDD)를 이용할 수 있다. 또한, 기억부(530)는, 그 데이터베이스 내에, 각각의 데이터 처리 장치(400)의 위치 정보, 각각의 데이터 처리 장치(400)의 형상 정보, 각각의 데이터 처리 장치(400)가 통신에 이용할 수 있는 통신 프로토콜, 및 각각의 데이터 처리 장치(400)의 식별 정보를 제어부(502)가 판독할 수 있도록 기억하고 있다. 여기에서, 데이터 처리 장치(400)의 위치 정보로서는, 예를 들면 GPS에 의해 취득할 수 있는 위도 및 경도 위치 좌표나, Wi-Fi의 위치 측정에 의해 얻어진 위치 좌표나, IMES(Indoor MEssaging System) 등에 의해 얻어지는 위치 좌표 등을 들 수 있다.

데이터 처리 장치(400)의 위치 정보로서, 각각의 정보 처리 장치의 설치 시에 측정한 결과를 기억부(530)에 기억시켜 둔다. 또한, 데이터 처리 장치(400)에 위치를 측정하는 기능을 갖게 해서, 데이터 처리 장치(400)가 자신이 측정한 데이터 처리 장치(400)의 위치가, 예를 들면 자동으로 네트워크(600)를 통해 기억부(530)에 기억되도록 해도 된다.

또한, 데이터 처리 장치(400)의 식별 정보로서는, 네트워크(600) 상에 있어서의 어드레스를 사용할 수 있고, 또한, 네트워크(600)에 있어서의 데이터 처리 장치(400)의 ID, IP 어드레스 등을 사용할 수 있다.

도 6은, 데이터 처리 장치(400)의 구성을 나타내는 블록도이다. 데이터 처리 장치(400)는, 단말 장치(100)로부터의 의뢰에 의거해서 데이터를 처리하는 장치이다. 이하의 설명에 있어서는, 단말 장치(100)로부터의 의뢰에 의거해서, 데이터로부터 화상 형성하는 것과 같은 처리를 하는 장치가 되는 화상 형성 장치를, 각각의 데이터 처리 장치(400A, 400B, 400C)로서 이용하는 경우를 예로서 설명을 하지만, 단말 장치(100)로부터의 의뢰에 의거해서 데이터 등의 정보를 처리하는 장치이면, 화상 형성 장치로 제한하지 않고 정보 처리 장치로서 이용할 수 있다.

예를 들면, 단말 장치(100)로부터의 의뢰에 의거해서, 화상 데이터를 출력하는 것과 같은 데이터를 처리하는 장치로서 기능하는 프로젝터, 디스플레이 등을 데이터 처리 장치(400)로서 이용할 수 있다. 또한, 예를 들면, 단말 장치(100)로부터의 의뢰에 의거해서, 화상을 판독하고, 판독된 화상 데이터를, 예를 들면 단말 장치(100) 등에 송신하는 것과 같은 데이터의 처리를 하는 장치로 기능하는 원고 판독 장치(스캐너)를 데이터 처리 장치(400)로서 이용할 수 있다. 또한, 예를 들면, 단말 장치(100)로부터의 의뢰에 의거해서, 예를 들면 단말 장치(100)로부터 전송된 데이터에 다방면의 처리를 행할 수 있는 퍼스널 컴퓨터를 데이터 처리 장치(400)로서 이용할 수 있다.

또한, 이하, 데이터 처리 장치(400A, 400B, 400C)로서, 모두가 같은 처리를 행하는 같은 종류의 장치로서 기능하는 화상 형성 장치인 경우를 예로서 설명을 하지만, 네트워크(600)에 접속되는 복수의 데이터 처리 장치(400)는, 정보에 대해서 서로 다른 처리를 하는 서로 다른 종류의 장치여도 된다. 예를 들면, 데이터 처리 장치(400A)가 화상 형성 장치이고, 데이터 처리 장치(400B)가 프로젝터이고, 데이터 처리 장치(400C)가 퍼스널 컴퓨터여도 된다.

도 6에 나타내는 바와 같이, 데이터 처리 장치(400)는, 통신 인터페이스부(410)를 갖는, 통신 인터페이스부(410)는, 네트워크(600)에 대해서 데이터 처리 장치(400)를 통신 가능하게 접속한다. 데이터 처리 장치(400)는, 기억부(420)를 더 갖는다. 기억부(420)로서는, 예를 들면 하드 디스크 드라이브를 이용할 수 있다.

데이터 처리 장치(400)는, 급지부(440)와, 화상 형성부(430)와, 배지부(450)를 더 갖는다. 급지부(440)는 화상 형성부(430)에 용지를 공급하고, 화상 형성부(430)는 공급된 용지에 화상을 형성하고, 배지부(450)는, 화상이 형성된 용지를 데이터 처리 장치(400)의 외부에 배출한다.

데이터 처리 장치(400)는, 제어부(402)를 더 갖는다. 제어부(402)는, 통신 인터페이스부(410)와, 기억부(420)와, 화상 형성부(430)와, 급지부(440)와, 배지부(450)를 제어한다.

도 7a는, 단말 장치(100)로 데이터 처리 장치(400)의 화상이 되는 처리 장치 화상(400I)을 취득하는 조작의 제1 예를 모식적으로 나타내는 도면이고, 단말 장치(100)로 데이터 처리 장치(400)를 촬영하는 상태를 모식적으로 나타낸 도면이다. 도 7a에 나타내는 바와 같이, 단말 장치(100)를 촬영하는데는, 예를 들면 단말 장치(100)의 조작부(110) 및 표시부(160)와는 반대측에 배치되어 있는 카메라 장치(170B)를 데이터 처리 장치(400)를 향해서, 예를 들면 보조 조작부(112)를 누르는 등의 조작을 한다. 또, 도 7a에 있어서, 데이터 처리 장치(400)가 설치되어 있는 후측의 벽면에는, 시계(922)가 걸려져 있다.

도 7b는, 도 7a에 나타내는 바와 같이 해서, 데이터 처리 장치(400)를 촬영한 사진이 나타나 있다. 사진은, 표시부(160)에 표시되는 것이고, 사진에는, 데이터 처리 장치(400)의 화상이 되는 처리 장치 화상(400I)과, 시계의 화상이 되는 시계 화상(922I)이 나타나 있다. 이상에서 설명을 한 바와 같이, 단말 장치(100)에 있어서는, 카메라 장치(170B)가 촬영 장치로서 이용되고 있음과 함께, 처리 장치 화상(400I)을 취득하기 위한 화상 취득부으로서 이용되고 있다.

이하, 도 7b에 나타내는 바와 같이, 표시부(160)에 있어서의 처리 장치 화상(400I)이 나타나 있는 화면을 "처리 장치 표시 화면(160A)"이라 부른다. 또, 처리 장치 표시 화면(160A)에 표시되는 처리 장치 화상(400I)은, 하나의 데이터 처리 장치(400)를 특정할 수 있는 화상이면 되고, 반드시 카메라 장치(170)로 촬영된 것이 아니어도 된다. 보다 구체적으로는, 처리 장치 화상(400I)은, 예를 들면, 기억부(530)(도 5를 참조)에 설치된 데이터베이스에 보존되어 있는 사전에 촬영된 데이터 처리 장치(400)의 사진이어도 된다. 또한, 처리 장치 화상(400I)은, 사진이 아닌, 하나의 데이터 처리 장치(400)를 특정할 수 있는 아이콘 등이어도 된다.

도 8a에는, 표시부(160)에 표시되는 화면이고, 데이터 처리 장치(400)에 데이터의 처리를 의뢰하기 위해 이용하는 화면이 되는 의뢰 화면(160B)의 제1 예가 나타나 있다. 도 8a에 나타내는 바와 같이, 의뢰 화면(160B)은, 처리 장치 화상(400I)과, 데이터 처리 장치(400)에 처리를 의뢰할 데이터를 나타내는 데이터 화상(960D)을 표시하고 있다. 도 8a에 나타내는 의뢰 화면(160B)에 있어서는, 데이터 화상(960D)은, 표시부(160) 중에 있어서의 미리 정해진 위치인 표시부(160) 중에 있어서의 좌측 상부에 표시되어 있다.

여기에서, 데이터 화상(960D)이 나타내는 데이터의 예로서는, 예를 들면 텍스트 파일, 화상 파일, 예를 들면 문서 처리 소프트 등의 특정의 애플리케이션으로 작성된 데이터 파일 등을 들 수 있다.

도 8b에는, 의뢰 화면(160B)의 제2 예가 나타나 있다. 도 8a에 나타내는 의뢰 화면(160B)의 제1 예에서는, 데이터 화상(960D)은, 표시부(160) 중에 있어서의 미리 정해진 위치에 표시되어 있었다. 이것에 반해서, 이 제2 예에서는, 데이터 화상(960D)은, 적어도 하나가 처리 장치 화상(400I)에 겹치는 위치에 배치되도록 표시되어 있다. 또한, 이 제2 예에서는, 복수의 데이터 화상(960D)이, 표시부(160)의 표면에 대해서 교차하는 방향의 깊이가 있는 바와 같이 배치되어, 표시되어 있다.

도 8a 및 도 8b에 각각 나타내는 예에서는, 의뢰 화면(160B)은, 하나의 처리 장치 화상(400I)과 복수의 데이터 화상(960D)을 표시하고 있지만, 의뢰 화면(160B)은, 처리 장치 화상(400I)의 적어도 하나와 데이터 화상(960D)의 적어도 하나를 표시하는 것이면 된다.

도 9a에는, 의뢰 화면(160B)에 있어서 데이터 처리 장치(400)에 데이터의 처리를 의뢰하기 위한 조작의 제1 예가 설명되어 있다. 도 9a에 나타내는 바와 같이, 이 제1 예에 있어서 데이터의 처리를 데이터 처리 장치(400)에 의뢰하는데는, 터치 패널로서 기능하는 조작부(110) 상에 있어서 조작자가 손가락을 이용해서 처리를 의뢰하고 싶은 데이터를 나타내는 데이터 화상(960D)을 드래그하고, 드래그한 데이터 화상(960D)을 처리를 의뢰하고 싶은 데이터 처리 장치(400)를 나타내는 처리 장치 화상(400I)의 위로 드래그한다.

도 9b에는, 의뢰 화면(160B)에 있어서 데이터 처리 장치(400)에 데이터의 처리를 의뢰하기 위한 조작의 제2 예가 설명되어 있다. 이 제2 예에서는, 조작자가 제스처를 함으로써 데이터의 처리를 데이터 처리 장치(400)에 의뢰한다. 보다 구체적으로는, 조작자는, 데이터 화상(960D)을 끌어오는 바와 같이 공간 상에 있어서 제스처함으로써 데이터 화상(960D)을 선택하고, 데이터 화상(960D)이 선택된 상태에서 공간 상에 있어서 손가락을 회전시키는 바와 같이 제스처함으로써 선택되어 데이터 화상(960D)이 나타내는 데이터의 처리를 데이터 처리 장치(400)에 의뢰한다.

도 9b에서 설명을 한 제2 예에 의해 조작을 하기 위해서는, 예를 들면 반지형이나 손목시계형의 웨어러블 단말(810)을 조작자가 착용하는 것을 요한다. 또한, 도 2에 나타낸 구성에 더해서, 웨어러블 단말(810)의 위치를 검지하고, 검지 결과를 제어부(102)에 입력하기 위한 위치 검지부(도시하지 않음)를 단말 장치(100)가 갖는 것을 요한다. 이와 같은 위치 검지부를 단말 장치(100)가 갖도록 하는 것 대신에, 웨어러블 단말(810)의 위치를 검지하기 위한 위치 검지 장치(820)를 단말 장치(100)에 대해서 장착하도록 해도 된다.

도 10a 및 도 10b에는, 의뢰 화면(160B)에 있어서 데이터 처리 장치(400)에 데이터의 처리를 의뢰하기 위한 조작의 제3 예가 설명되어 있다. 이 제3 예에서는, 조작자는, 전술의 제2 예와 마찬가지로, 조작자에 의한 제스처로, 데이터의 처리를 데이터 처리 장치(400)에 의뢰한다. 보다 구체적으로는, 조작자는, 도 10a에 나타내는 바와 같이 처리를 의뢰하고 싶은 데이터를 나타내는 데이터 화상(960D)을 공간 상에서 가리키는 바와 같이 제스처하고, 또한 데이터 화상(960D)을 쥐는 바와 같이 제스처함으로써 데이터 화상(960D)을 선택한다.

그리고, 데이터 화상(960D)을 쥔 상태에서 손을 공간 상에서 이동시킴에 의해, 도 10b에 나타내는 바와 같이, 쥔 상태에 있는 데이터 화상(960D)을 처리 장치 화상(400I)에 겹치도록 이동시킨다. 그리고, 데이터 화상(960D)이 처리 장치 화상(400I)에 겹쳐진 상태에서, 손가락을 펴는 바와 같이 제스처함으로써 데이터 화상(960D)이 나타내는 데이터의 처리를 데이터 처리 장치(400)에 의뢰한다.

도 10a 및 도 10b에서 설명을 한 제3 예에 의해 조작을 하기 위해서는, 카메라 장치(170A) 또는 카메라 장치(170B)로 조작자의 손을 촬영하고, 촬영된 데이터를 제어부(102)에 입력하고, 제어부(102)로 조작자의 손의 위치를 산출하고, 산출한 손의 위치에 의거해서 제어부(102)에 의해 의뢰 화면(160B)에 손의 화상을 표시시킨다.

이상으로 설명을 한 제3 예에 있어서는, 조작자의 손을 촬영하기 위하여 카메라 장치(170B)를 이용하고 있다. 이 때문에, 전술의 제2 예와 같이 조작자는 웨어러블 단말(810)을 착용하는 것을 요하지 않고, 위치 검지 장치(820)를 단말 장치(100)에 장착하는 것을 요하지 않는다.

도 11에는, 의뢰 화면(160B)의 제3 예가 나타나 있다. 전술의 의뢰 화면(160B)의 제1 예와 제2 예에서는, 의뢰 화면(160B)에 하나의 처리 장치 화상(400I)이 나타나 있다(도 8a 및 도 8b를 참조). 이것에 대해서, 이 제3 예에서는, 의뢰 화면(160B)에 2개의 처리 장치 화상(400I)이 표시되어 있다. 그리고, 이 의뢰 화면(160B)에서는, 표시되는 복수의 처리 장치 화상(400I) 중 나타내는 데이터 처리 장치(400)가 단말 장치(100)로부터 가까운 위치에 있는 것일수록, 의뢰 화면(160B) 상에서 크게 표시되도록 되어 있다.

도 11에 나타내는 의뢰 화면(160B)의 제3 예에서 데이터의 처리를 데이터 처리 장치(400)에 의뢰하기 위해서는, 처리를 의뢰하고 싶은 데이터를 나타내는 데이터 화상(960D)을 의뢰 화면(160B) 상에 있어서 처리를 의뢰하고 싶은 데이터 처리 장치(400)를 나타내는 처리 장치 화상(400I)에 이동시키는 바와 같이 하면 된다. 데이터 화상(960D)을 이동시키는데는, 터치 패널이 구성되고 있는 조작부(110) 상에서, 조작자가 데이터 화상(960D)을 드래그하고, 드롭하는 바와 같이 해도 되고, 조작자가 웨어러블 단말(810)을 착용한 상태에서 공간 상에서 제스처를 하는 바와 같이 해도 되고, 또는 예를 들면 카메라 장치(170B)로 손의 움직임을 검지할 수 있도록 해서, 조작자가 공간 상에서 제스처를 하는 바와 같이 해도 된다.

도 12a 내지 도 12d에는, 표시부(160)에 표시되는 화면으로서, 데이터 처리 장치(400)에 처리를 의뢰할 데이터를 지정하는데 사용되는 화면이 되는 데이터 지정 화면(160C)이 각각 나타나 있다. 이들 데이터 지정 화면(160C)은, 데이터 화상(960D)을 적어도 하나 표시하고, 표시하는 데이터 화상(960D)이 복수인 경우는, 이들 데이터 화상(960D)을, 데이터 지정 화면(160C)에 대해서 교차하는 방향으로 깊이가 있는 바와 같이 표시하고 있다.

즉, 도 12a에 나타내는 예에 있어서는, 데이터 지정 화면(160C)은, 데이터 지정 화면(160C)에 대해서 경사진 하나의 평면 상에 배치된 상태로 되도록 복수의 데이터 화상(960D)을 표시하고 있다. 또한, 도 12b에 나타내는 예에 있어서는, 데이터 지정 화면(160C)은, 하나의 구면 상에 배치되는 상태로 되도록 복수의 데이터 화상(960D)을 표시하고 있다. 또한, 도 12c에 나타내는 예에 있어서는, 데이터 지정 화면(160C)은, 1개의 만곡한 밴드 형상에 배치된 상태로 되도록 복수의 데이터 화상(960D)을 표시하고 있다. 또한, 도 12d에 나타내는 예에 있어서는, 데이터 지정 화면(160C)에 대해서 경사지도록 배치된 서로 평행한 복수의 평면 상에 배치된 상태로 되도록 복수의 데이터 화상(960D)을 표시하고 있다.

도 12e와 도 12f에는, 도 12b에 나타내는 상태에서, 각각 조작된 후에 있어서의 데이터 지정 화면(160C)이 나타나 있다. 보다 구체적으로는, 도 12e는, 도 12b에 나타내는 경우보다도 배치된 복수의 데이터 화상(960D)이 형성하는 구면에 접근한 위치에 시점을 이동시켜서 복수의 데이터 화상(960D)을 본 바와 같이 복수의 데이터 화상(960D)을 표시하고 있다. 또한, 도 12f에는, 복수의 데이터 화상(960D)이 형성하는 구면의 내측에 시점을 이동시켜서 복수의 데이터 화상(960D)을 본 바와 같이 복수의 데이터 화상(960D)을 표시하고 있다.

전술과 같이, 깊이를 갖는 바와 같이 표시된 복수의 데이터 화상(960D)을 보는 시점을 이동시키는 바와 같이 조작함에 의해서, 원하는 데이터 화상(960D)을 찾기 쉽게 할 수 있어, 원하는 데이터 화상(960D)을 지정하기 쉽게 할 수 있다.

도 12a 내지 도 12f에 나타내는 데이터 지정 화면(160C)은, 예를 들면, 터치 패널을 조작자가 조작하도록 해도 되고, 웨어러블 단말(810)(도 9a 및 도 9b를 참조)을 착용한 상태에 있어서의 조작자에 의한 제스처로 조작하도록 해도 되고, 또는 카메라 장치(170B)로 조작자의 손가락의 위치를 검지하면서, 조작자가 제스처함으로써 조작하도록 해도 된다. 보다 구체적으로는, 예를 들면, 공간 상에서 특정의 데이터 화상(960D)을 가리키는 바와 같이 제스처함으로써, 가리켜진 데이터 화상(960D)이 선택되도록 하고, 데이터 화상(960D)이 선택된 상태에서 손가락 끝을 회전시키는 바와 같이 제스처함으로써 선택된 데이터 화상(960D)이 나타내는 데이터를 처리의 대상으로서 지정하도록 할 수 있다.

도 13a에는, 표시부(160)에 표시되는 화면이고, 데이터 화상(960D)을 표시하는 화면이 되는 데이터 표시 화면(160F)의 예가 나타나 있다. 도 13a의 예에서는, 데이터 표시 화면(160F)에, 예를 들면 도 12a 내지 도 12d에 나타내는 데이터 지정 화면(160C)에서 선택된 데이터 화상(960D)이 표시되어 있다. 또한, 이 예에 있어서는, 데이터 표시 화면(160F)에, 데이터의 처리를 의뢰하는 데이터 처리 장치(400)를 선택하는 조작을 촉구하는 표시(160k)로서, 예를 들면, "카메라를 통해 장치를 선택해 주십시오"라는 표시가 이루어져 있다.

도 13b는, 표시(160k)에 촉구되어, 예를 들면 카메라 장치(170)를 통해 데이터 처리 장치(400)를 촬영하고, 데이터 처리 장치(400)를 선택한 후에 표시되는 화면의 예이고, 단말 장치(100)의 표시부에 표시되는 의뢰 화면(160B)의 제4 예를 나타내는 도면이다. 전술의 의뢰 화면(160B)의 제1 예와 제2 예에서는, 의뢰 화면(160B)은, 복수의 데이터 화상(960D)을 나타내고(도 8a 및 도 8b를 참조), 의뢰 화면(160B)에 있어서 복수의 데이터 화상(960D) 중에서 처리를 의뢰할 데이터를 나타내는 하나의 데이터 화상(960D)이 지정되었다. 이에 대해, 이 제4 예에 있어서는, 의뢰 화면(160B)은, 데이터 지정 화면(160C)에서 선택된 하나의 데이터 화상(960D)을 표시한다.

이 제4 예에 있어서 데이터의 처리를 데이터 처리 장치(400)에 의뢰하는데는, 도 13c에 나타내는 바와 같이, 예를 들면, 터치 패널이 되는 조작부(110) 상에 있어서 조작자가 손가락을 이용해서 처리를 의뢰하고 싶은 데이터를 나타내는 데이터 화상(960D)을 드래그하고, 드래그한 데이터 화상(960D)을 처리를 의뢰하고 싶은 데이터 처리 장치(400)를 나타내는 처리 장치 화상(400I) 위로 드래그한다는 조작이 이루어진다.

도 14는, 단말 장치(100)를 통해 데이터 처리 장치(400)의 화상이 되는 처리 장치 화상(400I)을 취득하는 조작의 제2 예를 모식적으로 나타내는 도면이다. 전술의 처리 장치 화상(400I)을 취득하는 조작의 제1 예에서는, 처리 장치 화상(400I)을 취득하기 위하여, 예를 들면 카메라 장치(170B)를 이용해서 데이터 처리 장치(400)의 촬영이 이루어졌다(도 7a를 참조). 이에 대해, 이 제2 예에서는, 처리 장치 화상(400I)을 취득하기 위하여, 예를 들면 카메라 장치(170B)를 특정의 방향으로 향해서, 예를 들면 조작부(110)를 이용해서 카메라 장치(170B)를 조작한다. 결과적으로, 카메라 장치(170B)가 조작된 시점에 있어서, 카메라 장치(170B)로 촬영 가능한 방향으로 배치되어 있는 데이터 처리 장치(400)의 화상이 취득된다.

도 14에 나타내는 예에 있어서는, 데이터 처리 장치(400)는, 예를 들면 캐비닛 등의 장애물(924)에 대해서 카메라 장치(170B)와는 반대측에 위치되어, 카메라 장치(170B)로 데이터 처리 장치(400)를 촬영할 수 없다. 이 때문에, 전술의 제1 예를 이용해서, 카메라 장치(170B)로 데이터 처리 장치(400)를 촬영함에 의해 처리 장치 화상(400I)을 취득할 수는 없다. 그러나, 이 제2 예에 있어서는, 가령 데이터 처리 장치(400)가 카메라 장치(170B)로부터 촬영할 수 없는 위치에 배치되어 있어도, 카메라 장치(170B)로 촬영 가능한 방향에 위치하는 데이터 처리 장치(400)를 나타내는 처리 장치 화상(400I)을 취득할 수 있다.

도 15a에는, 표시부(160)에 표시되는 처리 장치 표시 화면(160A)으로서, 도 14를 참조해서 설명을 한 조작에 의해 취득된 처리 장치 화상(400I)이 표시되는 화면인 처리 장치 표시 화면(160A)의 제2 예가 나타나 있다. 전술의 처리 장치 표시 화면(160A)의 제1 예에서는, 카메라 장치(170B)로 촬영된 데이터 처리 장치(400)의 사진이 처리 장치 화상(400I)으로서 이용되었다(도 7a를 참조). 이에 대해, 이 제2 예에 있어서는, 처리 장치 화상(400I)으로서, 미리 촬영되고, 예를 들면 기억부(530)(도 5를 참조)에 보존되어 있는 데이터 처리 장치(400)의 사진이나, 데이터 처리 장치(400)를 나타내는 아이콘이 처리 장치 화상(400I)으로서 이용된다.

또한, 이 제2 예에 있어서는, 카메라 장치(170B)의 위치 및 카메라 장치(170B)의 방향과, 처리 장치 화상(400I)이 나타내는 데이터 처리 장치(400)와의 위치 관계를 알기 쉽게 하도록, 카메라 장치(170B)가 조작된 시점에서 카메라 장치(170B)가 촬영한 사진 위에 겹치는 바와 같이 해서 처리 장치 화상(400I)이 표시된다. 예를 들면, 도 15a에 나타내는 예에 있어서는, 장애물(924)의 후측에 숨은 위치에 데이터 처리 장치(400)가 위치하는 것을 나타내는 바와 같이, 장애물(924)의 화상이 되는 장애물 화상(924I)에 겹치는 바와 같이 해서 처리 장치 화상(400I)을 표시한다.

도 15b에는, 표시부(160)에 표시되는 처리 장치 표시 화면(160A)의 제3 예로서, 도 15a에 나타낸 처리 장치 표시 화면(160A)의 제2 예가 표시된 후에 표시되는 화면이 나타나 있다. 처리 장치 표시 화면(160A)의 제2 예에서는, 처리 장치 화상(400I)은, 장애물(924) 등과 데이터 처리 장치(400)와의 위치 관계를 알기 쉽도록 처리 장치 표시 화면(160A)에 표시된다. 이에 대해, 이 처리 장치 표시 화면(160A)의 제3 예에서는, 처리 장치 화상(400I)은, 예를 들면 처리 장치 표시 화면(160A)의 오른쪽 아래 등의 처리 장치 표시 화면(160A)의 미리 정해진 위치에 표시된다.

도 15a에 나타내는 처리 장치 표시 화면(160A)으로부터 도 15b에 나타내는 처리 장치 표시 화면(160A)에는, 예를 들면 미리 정해진 소정 시간 경과한 후에 천이하도록 해도 되고, 예를 들면 처리 장치 표시 화면(160A) 상의 처리 장치 화상(400I)을 탭하는 등의 조작자의 조작에 의해 천이하도록 해도 된다.

도 15c에는, 표시부(160)에 표시되는 의뢰 화면(160B)의 제5 예가 나타나 있다. 이 의뢰 화면의 제5 예는, 도 15b에 나타내는 처리 장치 표시 화면(160A)의 제3 예에 표시에 더해서, 예를 들면 복수의 데이터 화상(960D)을 표시한다. 이 화면에서 데이터 처리 장치(400)에 데이터의 처리를 의뢰하는데는, 조작자가 처리를 의뢰하고 싶은 데이터를 나타내는 데이터 화상(960D)을 드래그하고, 처리를 의뢰하고 싶은 데이터 처리 장치(400)를 나타내는 처리 장치 화상(400I) 위에 드래그하는 등의 조작을 하면 된다.

도 16a에는, 표시부(160)에 표시되는 화면으로서, 처리를 의뢰할 데이터 처리 장치(400)를 지정하는데 이용되는 화면이 되는 처리 장치 지정 화면(160D)이 나타나 있다. 처리 장치 지정 화면(160D)에는, 단말 장치(100)가 위치하는 주위의 겨냥도가 표시되고, 또한 겨냥도 상에 있어서의 단말 장치(100)의 위치가 예를 들면 아이콘 등의 마크(100I)로 표시되고, 겨냥도에 표시된 범위 내에 설치되어 있는 데이터 처리 장치(400)와 그 데이터 처리 장치(400)의 겨냥도 상에 있어서의 위치가 예를 들면 아이콘 등의 마크(400M)로 표시된다.

처리 장치 지정 화면(160D)에서 데이터의 처리를 의뢰할 데이터 처리 장치(400)를 지정하는데는, 예를 들면, 단말 장치(100)에 가장 가깝게 위치하는 데이터 처리 장치(400) 등의 처리를 의뢰하고 싶은 데이터 처리 장치(400)를 나타내는 겨냥도 상의 마크를, 예를 들면 탭하는 등의 조작으로 조작자가 지정하면 된다.

도 16b에는, 표시부(160)에 표시되는 의뢰 화면(160B)의 제6 예가 나타나 있다. 이 의뢰 화면의 제6 예는, 도 16a에 나타낸 처리 장치 지정 화면(160D)에서 지정된 데이터 처리 장치(400)를 나타내는 처리 장치 화상(400I)이 예를 들면 오른쪽 아래 부분에 표시되고, 또한, 예를 들면 복수의 데이터 화상(960D)을 표시하고 있다. 이 의뢰 화면(160B)의 제6 예에서 데이터 처리 장치(400)에 데이터의 처리를 의뢰하는데는, 조작자가 처리를 의뢰하고 싶은 데이터를 나타내는 데이터 화상(960D)을 드래그하고, 처리를 의뢰하고 싶은 데이터 처리 장치(400)를 나타내는 처리 장치 화상(400I) 위에 드래그하는 등의 조작을 하면 된다.

도 17에는, 표시부(160)에 표시되는 화면으로서, 애플리케이션을 기동시킨 후에 최초로 표시되는 화면이 되는 모드 선택 화면(160E)이 나타나 있다. 모드 선택 화면(160E)은, 처리를 의뢰할 데이터와 처리를 의뢰할 데이터 처리 장치(400)를 어떤 순서로, 어떤 방법으로 지정하는지의 모드를 선택하기 위하여 이용된다.

모드 선택 화면(160E)에는, 처리를 의뢰할 데이터를 선택하기보다도 앞서서 처리를 의뢰할 데이터 처리 장치(400)를 선택하는 모드로서, 데이터 처리 장치(400)를 선택하기 위하여 카메라 장치(170)를 이용하는 모드인 카메라 선택 모드를 선택하기 위한 모드 선택 버튼(160h)이 표시되어 있다. 또한, 모드 선택 화면(160E)에는, 처리를 의뢰할 데이터를 선택하기보다도 앞서서 처리를 의뢰할 데이터 처리 장치(400)를 선택하는 모드로서, 처리 장치의 선택에 겨냥도(도 16a를 참조)가 사용되는 모드인 겨냥도 모드를 선택하기 위한 모드 선택 버튼(160i)이 표시되어 있다. 또한, 모드 선택 화면(160E)에는, 처리를 의뢰할 데이터 처리 장치(400)를 선택하기보다도 앞서서 처리를 의뢰할 데이터를 선택하는 모드인 데이터 선택 모드를 선택하기 위한 모드 선택 버튼(160i)이 표시되어 있다.

도 18에는, 데이터 처리 시스템(10)의 동작이 설명되어 있다. 예를 들면, 보조 조작부(112)를 조작자가 조작함에 의해 애플리케이션이 기동하여, 일련의 동작이 스타트하면, 스텝(S20)에 있어서, 제어부(102)는 표시부(160)를 제어해서, 표시부(160)에 모드 선택 화면(160E)을 표시시킨다.

스텝(S22)에 있어서, 조작자에 의해서 모드 선택 버튼(160h)이 조작되어, 카메라 선택 모드가 선택된 경우는, 스텝(S100)의 카메라 선택 모드로 진행한다. 또한, 스텝(S24)에 있어서, 조작자에 의해 모드 선택 버튼(160i)이 조작되어, 겨냥도 선택 모드가 선택된 경우는, 스텝(S200)의 겨냥도 선택 모드로 진행한다. 또한, 스텝(S26)에 있어서, 조작자에 의해서 모드 선택 버튼(160j)이 조작되어, 데이터 선택 모드가 선택된 경우는, 스텝(S300)의 데이터 선택 모드로 진행한다.

한편, 예를 들면 미리 정해진 소정 시간 내에, 카메라 선택 모드, 겨냥도 모드 및 데이터 선택 모드의 모두가 선택되지 않았을 경우는, 제어부(102)는 애플리케이션을 종료시킨다.

도 19에는, 카메라 선택 모드에 있어서의 데이터 처리 시스템(10)의 동작이 설명되어 있다. 스텝(S102)에 있어서, 카메라 장치(170)가 조작된 것을 제어부(102)가, 확인하면 다음 스텝(S104)으로 진행한다. 한편, 예를 들면 미리 정해진 소정 시간 내에, 카메라 장치(170)의 조작을 제어부가 확인할 수 없었을 경우, 제어부(102)는 애플리케이션을 종료시킨다.

다음 스텝인 스텝(S104)에서는, 제어부(102)는, 카메라 장치(170)의 조작이 이루어진 시점에 있어서의 단말 장치(100)의 위치 정보를 취득한다. 보다 구체적으로는, 제어부(102)는, GPS 수신부(120)에 GPS 위성으로부터의 전파를 검출시켜, 단말 장치(100)의 위치 정보를 취득시킨다. 이때, 제어부(102)는, 가속도 센서(140)에, 카메라 장치(170)가 조작된 시점에 있어서의 단말 장치(100)의 자세를 검출시킴과 함께, 전자 컴퍼스(150)에, 카메라 장치(170)가 조작된 시점에 있어서의 단말 장치(100)의 방향을 검출시키는 것이 바람직하다.

다음 스텝인 스텝(S106)에 있어서, 제어부(102)는, 관리 장치(500)에 데이터 처리 장치(400)의 추출을 요구한다. 보다 구체적으로는, 제어부(102)는, 무선 통신부(130)를 제어해서, 무선 통신부(130)에 무선 통신 장치(300)와 통신시키고, 또한, 네트워크(600)를 통해 단말 장치(100)의 위치 정보와, 바람직하게는 단말 장치(100)의 자세와 방향의 검출 결과를 관리 장치(500)에 송신하고, 이들 값에 의거해서 기억부(530)에 기억되어 있는 데이터베이스 중으로부터 해당하는 데이터 처리 장치(400)를 추출하는 것을 관리 장치(500)에 요구한다.

다음 스텝(S108)에서는, 제어부(102)는, 스텝(S106)에서 추출시킨 데이터 처리 장치(400)의 네트워크(600) 상의 어드레스를 취득한다. 보다 구체적으로는, 제어부(102)는, 스텝(S106)에서 추출시킨 데이터 처리 장치(400)의 네트워크 상의 어드레스를 기억부(530)에 기억되어 있는 데이터베이스로부터 추출하는 것을 관리 장치(500)에 요구하고, 또한 추출한 네트워크 상의 어드레스를 단말 장치(100)에 송신하는 것을 관리 장치(500)에 요구한다.

다음 스텝(S110)에서는, 제어부(102)는, 표시부(160)에 처리 장치 표시 화면(160A)을 표시시킨다. 이때, 스텝(S106)에서 추출시킨 데이터 처리 장치(400)가, 스텝(S102)에 있어서 카메라 장치(170)를 통해 촬영된 사진에 찍혀있는 것이면, 카메라 장치(170)로 촬영된 사진을 처리 장치 화상(400I)으로서 이용하고, 이 사진 중의 데이터 처리 장치(400)의 화상을, 처리 장치 화상(400I)으로서 이용한다(도 7b에 나타내는 처리 장치 표시 화면(160A)의 제1 예를 참조).

한편, 스텝(S106)에서 추출시킨 데이터 처리 장치(400)가, 예를 들면 장애물에 숨은 위치에 배치되어 있는 등의 이유에서, 스텝(S102)에 있어서 촬영된 사진에 데이터 처리 장치(400)에 나타나 있지 않은 경우, 제어부(102)는, 관리 장치(500)의 기억부(530)에 보존되어 있는 미리 촬영된 데이터 처리 장치(400)의 화상이나, 데이터 처리 장치(400)를 나타내는 아이콘 등을 처리 장치 화상(400I)으로서 이용한다(도 15a에 나타내는 처리 장치 표시 화면(160A)의 제2 예를 참조).

다음 스텝인 스텝(S112)에서는, 제어부(102)는, 표시부(160)에, 의뢰 화면(160B)을 표시시킨다. 즉 스텝(S110)에서 표시시킨 처리 장치 표시 화면(160A)에, 적어도 하나의 데이터 화상(960D)을 중첩하도록 표시시킨 화상을 표시부(160)에 표시시킨다(예를 들면, 도 8a에 나타내는 의뢰 화면(160B)의 제1 예, 도 15c에 나타내는 의뢰 화면(160B)의 제4 예를 참조).

다음 스텝인 스텝(S114)에서, 조작자에 의해 처리할 데이터를 나타내는 데이터 화상(960D)의 지정과 처리를 의뢰할 데이터 처리 장치를 나타내는 처리 장치 화상(400I)의 지정이 이루어졌을 경우, 스텝(S116)에서, 제어부(102)는, 선택된 데이터 화상(960D)이 나타내는 데이터를, 무선 통신 장치(300)와 네트워크(600)를 통해 데이터 처리 장치(400)에 전송시킨다.

스텝(S114)에서, 예를 들면 미리 정해진 소정 시간 내에 데이터 화상(960D) 및 처리 장치 화상(400I)의 선택이 이루어지지 않았을 경우, 제어부(102)는 애플리케이션을 종료시킨다.

도 20에는, 겨냥도 선택 모드에 있어서의 데이터 처리 시스템(10)의 동작이 설명되어 있다. 겨냥도 선택 모드가 선택된 경우, 스텝(S202)에서, 제어부(102)는, 겨냥도 선택 모드가 선택된 시점에 있어서의 단말 장치(100)의 위치 정보를 취득한다. 보다 구체적으로는, 제어부(102)는, GPS 수신부(120)에 GPS 위성으로부터의 전파를 검출시켜, 단말 장치(100)의 위치 정보를 취득시킨다.

다음 스텝인 스텝(S204)에서는, 제어부(102)는, 스텝(S202)에서 취득한 단말 장치(100)의 위치 정보에 의거해서, 표시부(160)에 단말 장치(100)가 위치하는 주위의 겨냥도와, 겨냥도 중에 있어서의 단말 장치(100)의 위치와, 겨냥도 중에 있어서의 데이터 처리 장치(400)의 위치를 나타낸 처리 장치 지정 화면(160D)을 표시시킨다(도 16a에 나타내는 처리 장치 지정 화면(160D)을 참조). 보다 구체적으로는, 제어부(102)는, 스텝(S204)에서 취득된 단말 장치(100)의 위치 정보를 관리 장치(500)에 송신하고, 관리 장치(500)에 처리 장치 지정 화면(160D)의 생성과, 생성한 처리 장치 지정 화면(160D)의 단말 장치(100)에의 전송을 요구하여, 관리 장치(500)로부터 송신된 처리 장치 지정 화면(160D)을 표시부(160)에 표시시킨다.

이때, 관리 장치(500)의 제어부(502)는, 단말 장치(100)로부터 송신되어 온 단말 장치(100)의 위치 데이터와, 기억부(530)에 기억되어 있는 데이터 처리 장치(400)의 위치 데이터와, 기억부(530)에 기억되어 있는 겨냥도에 의거하여 처리 장치 지정 화면(160D)을 생성한다.

다음 스텝인 스텝(S206)에 있어서, 조작자에 의해 처리를 의뢰할 데이터 처리 장치(400)를 나타내는 마크(400M)의 지정이 이루어졌을 경우, 다음 스텝인 스텝(S208)에 있어서, 제어부(102)는, 스텝(S204)에서 마크(400M)가 선택된 데이터 처리 장치(400)의 네트워크(600) 상의 어드레스를 취득한다. 보다 구체적으로는, 제어부(102)는, 관리 장치(500)에 마크(400M)가 선택된 데이터 처리 장치(400)의 네트워크(600) 상의 어드레스를 송신하는 것을 요구한다.

다음 스텝인 스텝(S212)에서, 제어부(102)는, 표시부(160)에, 의뢰 화면(160B)을 표시시킨다(도 16b에 나타내는 의뢰 화면(160B)의 제5 예를 참조). 보다 구체적으로는, 제어부(102)는, 스텝(S210)에서 마크(400M)가 선택된 데이터 처리 장치(400)의 처리 장치 화상(400I)의 전송을 관리 장치(500)에 요구하여, 전송되어 온 처리 장치 화상(400I)을 표시부(160)에 표시시키고, 또한, 데이터 화상(960D)을 표시부(160)에 표시시킨다.

다음 스텝인 스텝(S214)에서, 조작자에 의해 처리할 데이터를 나타내는 데이터 화상(960D)의 지정이 이루어졌을 경우, 스텝(S216)에서, 제어부(102)는, 무선 통신부(130)를 제어해서, 무선 통신 장치(300)와 네트워크(600)를 통해, 선택된 데이터 화상(960D)이 나타내는 데이터를, 스텝(S206)에서 선택된 마크(400M)가 나타내는 데이터 처리 장치(400)에 전송시킨다.

스텝(S214)에서, 예를 들면 미리 정해진 소정 시간 내에 처리 장치 화상(400I)의 선택이 이루어지지 않았을 경우, 제어부(102)는 애플리케이션을 종료시킨다.

도 21에는, 데이터 선택 모드에 있어서의 데이터 처리 시스템(10)의 동작이 설명되어 있다. 데이터 선택 모드가 선택된 경우, 스텝(S302)에서, 제어부(102)는, 표시부에 데이터 지정 화면(160C)을 표시시킨다(도 12a 내지 도 12d를 참조).

다음 스텝(S304)에서, 조작자에 의해 데이터 화상(960D)의 지정이 이루어지면, 다음 스텝인 스텝(S306)에 있어서, 제어부(102)는, 표시부(160)에 데이터 표시 화면(160F)을 표시시키는, 데이터 표시 화면(160F)은, 스텝(S304)에 있어서 선택된 데이터 화상(960D)을, 표시부(160)의 예를 들면 왼쪽 위에 표시하는 화면이다.

다음 스텝인 스텝(S308)에서 카메라 장치(170)의 조작이 이루어졌을 경우는, 스텝(S310)에서, 제어부(102)는 GPS 수신부(120)를 통해 수신시킨 GPS 위성(990)으로부터의 전파에 의거하여 단말 장치(100)의 위치 정보를 취득한다. 한편, 스텝(S308)에서 미리 정해진 소정 시간 동안에 카메라 장치(170)의 조작이 이루어지지 않았을 경우, 제어부(102)는 애플리케이션을 종료시킨다.

다음 스텝인 스텝(S312)에서는, 제어부(102)는, 관리 장치(500)에 데이터 처리 장치(400)의 추출을 요구한다. 보다 구체적으로는, 제어부(102)는, 무선 통신부(130)를 제어해서 무선 통신부(130)에 무선 통신 장치(300)와 통신시키고, 또한, 제어부(102)는, 네트워크(600)를 통해 단말 장치(100)의 위치 정보와, 바람직하게는 단말 장치(100)의 자세와 방향의 검출 결과를 관리 장치(500)에 송신하고, 이들 값에 의거해서 기억부(530)에 기억되어 있는 데이터베이스 중으로부터 해당하는 데이터 처리 장치(400)를 추출하는 것을 관리 장치(500)에 요구한다.

다음 스텝(S314)에서는, 제어부(102)는, 스텝(S312)에서 추출시킨 데이터 처리 장치(400)의 네트워크(600) 상의 어드레스를 취득한다. 보다 구체적으로는, 제어부(102)는, 스텝(S106)에서 추출시킨 데이터 처리 장치(400)의 네트워크 상의 어드레스를 기억부(530)에 기억되어 있는 데이터베이스로부터 추출하는 것을 관리 장치(500)에 요구하고, 또한 추출된 네트워크 상의 어드레스를 단말 장치(100)에 송신하는 것을 관리 장치(500)에 요구한다.

다음 스텝인 스텝(S316)에서는, 제어부(102)는, 표시부(160)에, 의뢰 화면(160B)을 표시시킨다. 즉 스텝(S306)에서 표시시킨 데이터 표시 화면(160F)에, 스텝(S314)에서 네트워크 상의 어드레스가 취득된 데이터 처리 장치(400)를 나타내는 처리 장치 화상(400I)을 중첩하도록 표시시킨 화상을 표시부(160)에 표시시킨다(도 13b에 나타내는 의뢰 화면(160B)의 제3 예를 참조).

다음 스텝인 스텝(S318)에서, 데이터 처리 지시가 주어질 경우, 스텝(S320)에서, 제어부(102)는, 무선 통신부(130)를 제어해서, 무선 통신 장치(300)와 네트워크(600)를 통해 선택된 데이터 화상(960D)이 나타내는 데이터를 데이터 처리 장치(400)에 무선 통신부(130)가 전송시킨다.

스텝(S318)에서, 예를 들면 미리 정해진 소정 시간 내에 처리 장치 화상(400I)의 선택이 이루어지지 않았을 경우, 즉 데이터 처리의 지시가 이루어지지 않았을 경우에는, 제어부(102)는 애플리케이션을 종료시킨다.

(제 2 실시형태)

다음으로 본 발명의 제 2 실시형태를 설명한다. 도 22에는, 본 발명의 제 2 실시형태에서 이용되는 단말 장치(100)가 나타나 있다. 전술의 제1 실시형태에 있어서는, 단말 장치(100)로서, 스마트폰이 이용되고 있었다(도 3을 참조). 이에 대해, 이 제 2 실시형태에서는, 단말 장치(100)로서 안경형의 웨어러블 컴퓨터가 이용되고 있다. 이 웨어러블 컴퓨터는, 예를 들면 3D 홀로그램으로 하여 화상을 형성하고, 예를 들면 3D홀로그램으로 하여 형성한 화상을, 조작자가 보는 실제 화상에 중첩하도록 해서 표시하는 것이다.

도 22에 나타내는 바와 같이, 단말 장치(100)는, 하우징부(104)와, 프레임부(106)와, 렌즈부(108)를 갖는다. 렌즈부(108)는, 통상의 안경과 마찬가지로 프레임부(106)에 장착되어 있다. 또한, 하우징부(104)는, 렌즈부(108)를 통한 조작자의 시계를 가리지 않도록 프레임부(106)에 장착되어 있다.

하우징부(104)에는, 카메라 장치(170)가 장착되어 있다. 또한, 하우징부(104) 내에, 제어부(102), GPS 수신부(120), 무선 통신부(130), 가속도 센서(140), 전자 컴퍼스(150), 및 메모리(180)가 설치되어 있다. GPS 수신부(120), 무선 통신부(130), 가속도 센서(140), 전자 컴퍼스(150) 및 메모리(180)의 구성은, 제1 실시형태에서 이용된 것과 동등하므로 설명을 생략한다.

단말 장치(100)는, 제1 실시형태에 따른 단말 장치(100)가 갖고 있던 예를 들면 터치 패널 등의 조작부(110)를 갖지 않는다. 단말 장치(100)에서는, 예를 들면 카메라 장치(170)를 통해 조작자의 손 등의 움직임 및 위치 정보를 검지하고, 검지된 손 등의 움직임 및 위치 정보를 제어부(102)로 처리함에 의해 조작이 이루어진다.

제1 실시형태에 따른 단말 장치(100)에서는, 표시부(160)로서 액정 표시(LCD) 패널이 이용되고 있었다. 이에 대해, 제 2 실시형태에 있어서는, 표시부(160)로서 하프 미러 부재(162)를 이용하고 있다. 표시부(160)는, 하프 미러 부재(162)와 아울러서, 발광 소자(164)와, 광학계(166)를 갖는다. 발광 소자(164)와 광학계(166)는, 발광 소자(164)로부터 발해진 광을 광학계(166)를 통해 하프 미러 부재(162)에 결상하도록 하우징부(104)에 장착되어 있다.

하프 미러 부재(162)는, 예를 들면 수지나 유리 등의 투명한 소재로부터 형성되어 있다. 발광 소자(164)로서는, 예를 들면 액정 표시(LCD) 소자나 일렉트로 루미네선스 표시 소자 등을 이용할 수 있다. 광학계(166)로서는, 예를 들면 렌즈, 프리즘 등의 광학 소자를 단독으로, 또는 조합해서 이용할 수 있다.

표시부(160)는, 하프 미러 부재(162)에 화상이 표시되지 않는 경우는, 하프 미러 부재(162)가 투명하게 되어, 광을 투과하는 상태로 된다. 이 때문에, 하프 미러 부재(162)에 화상이 표시되어 있지 않은 상태에 있어서, 조작자의 시계를 방해하지 않는다.

도 23에는, 데이터 처리 장치(400)에 데이터의 처리를 의뢰하는 의뢰 화면(162B)이 나타나 있다. 도 23에 나타내는 바와 같이, 의뢰 화면(162B)에 있어서는, 데이터 처리 장치(400)의 실제 화상과 동시에 조작자가 시인할 수 있도록, 처리를 의뢰할 데이터를 나타내는 데이터 화상(960D)이 표시되어 있다. 도 23에 있어서, 데이터 처리 장치(400) 및 시계(922)는, 하프 미러 부재(162) 및 렌즈부(108)를 통해서 조작자가 보고 있는 실제 화상이다. 한편, 데이터 화상(960D)은, 발광 소자(164)가 발한 광을 광학계(166)가 결상함에 의해 형성되어, 표시되어 있는 화상이다.

의뢰 화면(160B)에 있어서 조작자가 데이터 처리 장치(400)에 데이터의 처리를 의뢰하는데는, 제스처에 의해 처리를 의뢰하고 싶은 데이터를 나타내는 데이터 화상(960D)을 데이터 처리 장치(400)의 실제 화상 위로 이동시키면 된다. 조작자의 제스처는, 조작자의 예를 들면 손 등의 움직임과 위치 정보를 카메라 장치(170)로 검지하고, 검지된 손의 움직임 및 위치 정보를 제어부(102)에서 처리함에 의해 인식된다. 카메라 장치(170)로 조작자의 예를 들면 손의 움직임과 위치 정보를 검지하는 것 대신에, 조작자가 웨어러블 단말(810)(도 9a 및 도 9b를 참조)을 착용하고, 웨어러블 단말을 검지함에 의해, 조작자의 손의 움직임과 위치를 검지하도록 해도 된다.

이 제 2 실시형태에서 이용되는 단말 장치(100)에 있어서는, 조작자가 이동 중에는 데이터 화상(960D)을 표시하지 않는 것이 바람직하다. 이것에 의해, 조작자가 이동 중에 있어서도 데이터 화상(960D)을 표시함에 의해 발생할 우려가 있는 조작자의 3D 멀미를 발생하기 어렵게 할 수 있다.

또한, 이 제 2 실시형태에서 이용되는 단말 장치(100)에 있어서는, 데이터 화상(960D)을 2색 이하로 표시하는 것이 바람직하다. 이것에 의해, 데이터 화상(960D)을 3색 이상으로 표시하는 경우와 비교해서, 조작자가 예를 들면 데이터 처리 장치(400)나 시계(922)의 실제 화상과, 데이터 화상(960D)의 구별을 하기 쉽게 할 수 있다.

또한, 이 제 2 실시형태에서 이용되는 단말 장치(100)에 있어서는, 데이터 화상(960D)을 투과 가능하게 표시하는 것이 바람직하다. 이것에 의해, 불투과의 데이터 화상(960D)을 표시하는 경우에 발생하는 데이터 화상(960D)에 가려져, 예를 들면 데이터 처리 장치(400)나 시계(922)에 실제 화상이 보기 어렵게 된다는 폐해를 억제할 수 있다.

제 2 실시형태에 따른 데이터 처리 시스템(10)의 이상에서 설명을 한 구성, 동영상 이외의 구성 및 동작은, 전술의 제1 실시형태에 따른 데이터 처리 시스템(10)과 동등하다. 이 때문에, 제1 실시형태와 동등한 구성, 동작의 설명을 생략한다.

(제 3 실시형태)

다음으로 본 발명의 제 3 실시형태를 설명한다. 도 24에는, 본 발명의 제 3 실시형태에 따른 데이터 처리 시스템(10)이 나타나 있다. 전술의 제1 실시형태에 있어서는, 데이터 처리 시스템(10)은, 단말 장치(100)와, 무선 통신 장치(300)와, 예를 들면 3개의 데이터 처리 장치(400A, 400B, 400C)와, 관리 장치(500)를 갖고, 이들이 네트워크(600)에 접속되어 있었다. 이들 구성에 더해서, 이 제 3 실시형태에 따른 데이터 처리 시스템(10)은, 데이터 보존 장치(840)와, 제스처 배신(delivery) 장치(860)를 갖고, 데이터 보존 장치(840)와 제스처 배신 장치(860)가 네트워크(600)에 접속되어 있다.

또한, 제1 실시형태에 있어서는, 한 대의 단말 장치(100)가 네트워크(600)에 접속되어 있는 경우를 예로서 설명을 했지만, 이 제 3 실시형태에 있어서는, 네트워크(600)에, 3대의 단말 장치(100A, 100B, 100C)가 접속되어 있는 경우를 예로서 설명을 한다. 여기에서, 단말 장치(100A, 100B, 100C)는, 예를 들면 이용되고 있는 플랫폼(오퍼레이터 시스템(OS))이 서로 다른 것으로 한다. 또한, 이 제 3 실시형태에 있어서는, 웨어러블 단말(810)(도 9a 및 도 9b를 참조)을 착용하고 있는 한 명의 조작자가 제스처에 의해 단말 장치(100A)를 조작하고, 단말 장치(100B, 100C)는, 각각 다른 조작자가 조작하는 경우를 예로서 설명한다.

데이터 보존 장치(840)는, 소위 도큐먼트 서버이고, 데이터 처리 장치(400)에 처리를 의뢰할 데이터를 보존하고 있다.

제스처 배신 장치(860)는, 예를 들면 단말 장치(100A) 등의 하나의 단말 장치를 조작하는 조작자의 제스처를, 예를 들면 단말 장치(100B, 100C) 등의 다른 단말 장치에 배신한다. 보다 구체적으로는, 제스처 배신 장치는, 조작자가 착용하고 있는 웨어러블 단말(810)의 움직임과 위치 정보를 검지하는 검지 장치(862)를 갖고, 검지 장치(862)에서 검지한 웨어러블 단말(810)의 움직임과 위치를 네트워크(600)를 통해 다른 단말 장치(100B, 100C)에 배신한다.

이 제3 데이터 처리 시스템(10)에 있어서는, 예를 들면, 단말 장치(100A)에서, 데이터의 처리를 의뢰할 데이터 처리 장치(400)를 나타내는 처리 장치 화상(400I)이 지정되거나, 처리를 의뢰할 데이터 화상(960D)이 선택되거나 하는 등의 조작이 제스처에 의해 이루어졌을 경우에, 그 제스처가 제스처 배신 장치(860)에 의해서 단말 장치(100B, 100C)에 배신되어, 단말 장치(100B, 100C)가 각각 갖는 표시부(160)에, 단말 장치(100A)에 대해서 이루어진 조작을 표시할 수 있도록 되어 있다. 이상의 제3 실시예와 같은 데이터 처리 시스템(10)에 있어서는, 하나의 단말 장치(100)를 이용해서 한 명의 조작자에 의해서 이루어진 조작을, 다른 조작자가 다른 단말 장치(100)에서 확인할 수 있다.

이상에서 설명을 한 바와 같이, 본 발명은, 단말 장치, 데이터 처리 시스템 및 프로그램에 적용할 수 있다.

본 발명의 전술한 예시적인 실시예의 설명은 예시 및 설명을 목적으로 제공되었다. 모든 것을 포함하거나 또는 개시된 특정 형태로 본 발명을 제한하고자 함은 아니다. 분명하게는, 많은 변형 및 변경이 통상의 기술자에게 명확할 것이다. 실시예는, 본 발명의 원리 및 그 실제 적용을 최선으로 설명하기 위해 선택 및 설명된 것이고, 이에 따라 다른 통상의 기술자는 상정되는 특정 사용에 적합하게 다양한 실시예 및 다양한 변경에 대해 본 발명을 이해할 수 있게 된다. 본 발명의 범주는 다음의 청구범위 및 그에 동등한 것에 의해 정의되는 것이다.

10 : 정보 처리 시스템 100 : 단말 장치
160 : 표시부 160A : 처리 장치 표시 화면
160B : 의뢰 화면 160C : 데이터 지정 화면
160D : 처리 장치 지정 화면 160E : 모드 선택 화면
160F : 데이터 표시 화면 162 : 하프 미러 부재
170 : 카메라 장치 300 : 무선 통신 장치
400 : 데이터 처리 장치 400I : 처리 장치 화상
500 : 관리 장치 600 : 네트워크
960D : 데이터 화상

Claims

데이터 처리 장치의 화상이 되는 처리 장치 화상을 취득하는 화상 취득부와,
데이터 처리 장치에 데이터의 처리를 의뢰하는데 사용되는 의뢰 화면을 표시하는 표시부를 갖고,
상기 화상 취득부가 취득한 처리 장치 화상의 적어도 하나와, 처리를 의뢰할 데이터를 나타내는 데이터 화상의 적어도 하나를 상기 의뢰 화면에 표시하고,
상기 의뢰 화면에 있어서, 조작자가 처리 장치 화상의 하나와 데이터 화상의 하나를 지정하는 조작에 따라서, 지정된 데이터 화상이 나타내는 데이터의 처리의 의뢰를 지정된 처리 장치 화상이 나타내는 데이터 처리 장치에 전송하는 단말 장치.
제1항에 있어서,
상기 화상 취득부는 촬영 장치를 갖고, 상기 촬영 장치를 통해 데이터 처리 장치를 촬영함에 의해 처리 장치 화상을 취득하는 단말 장치.
제1항에 있어서,
상기 화상 취득부는 촬영 장치를 갖고, 상기 촬영 장치가 조작된 시점에 있어서, 상기 촬영 장치를 통해 촬영 가능한 방향으로 배치되어 있는 데이터 처리 장치의 화상을 처리 장치 화상으로서 취득하는 단말 장치.
제1항에 있어서,
상기 표시부는, 데이터 처리 장치가 설치된 위치를 나타내고, 데이터의 처리를 의뢰할 데이터 처리 장치를 지정하는데 사용되는 처리 장치 지정 화면을 더 표시하고,
상기 화상 취득부는, 조작자가 상기 처리 장치 지정 화면에서 지정한 데이터 처리 장치의 화상을 취득하는 단말 장치.
제1항 내지 제4항 중 어느 한 항에 있어서,
데이터 처리 장치에 데이터의 처리를 의뢰하는 데이터 처리 의뢰부와,
상기 화상 취득부가 취득한 처리 장치 화상에 의거해서, 처리 장치 화상이 취득된 데이터 처리 장치의 네트워크 상에 있어서의 어드레스를 취득하는 어드레스 취득부를 더 갖고,
상기 데이터 처리 의뢰부는, 상기 어드레스 취득부가 취득한 데이터 처리 장치의 네트워크 상의 어드레스에 의거해서, 네트워크 상의 어드레스가 취득된 데이터 처리 장치에 데이터의 처리를 의뢰하는 단말 장치.
제5항에 있어서,
의뢰 화면에 처리 장치 화상이 표시된 데이터 처리 장치의 위치 정보를 취득하는 위치 정보 취득부를 더 갖고,
상기 어드레스 취득부는, 적어도 데이터 처리 장치의 위치 정보 및 데이터 처리 장치의 네트워크 상에 있어서의 어드레스를 보존하고 있는 데이터베이스를 참조하여, 상기 위치 정보 취득부에 의해 위치 정보가 취득된 데이터 처리 장치의 네트워크 상의 어드레스를 취득하는 단말 장치.
제5항에 있어서,
상기 화상 취득부에 의해 취득된 처리 장치 화상에 의거해서, 처리 장치 화상이 취득된 데이터 처리 장치와 통신 가능한 통신 프로토콜을 특정하는 프로토콜 특정부를 더 갖고,
상기 데이터 처리 의뢰부는, 상기 프로토콜 특정부가 특정한 통신 프로토콜을 이용해서 데이터 처리 장치에 데이터의 처리를 의뢰하는 단말 장치.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 표시부는, 처리를 의뢰할 데이터를 지정하는데 사용되는 데이터 지정 화면을 더 표시하고,
상기 데이터 지정 화면에 있어서, 복수의 데이터 화상을 상기 데이터 지정 화면에 대해서 교차하는 방향으로 깊이가 있도록 배치해서 표시하는 단말 장치.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 의뢰 화면에 있어서, 조작자가 데이터 화상의 하나를 처리 장치 화상의 하나에 겹침에 의해, 데이터 화상과 처리 장치 화상이 지정되는 단말 장치.
데이터 처리 장치에 데이터의 처리를 의뢰하는데 사용되는 의뢰 화면을 표시하는 표시부를 갖고,
처리 장치의 실제 화상과 동시에 시인(視認)할 수 있도록, 처리를 의뢰할 데이터를 나타내는 데이터 화상의 적어도 하나를 상기 의뢰 화면에 표시하고,
상기 의뢰 화면에 있어서, 조작자가 데이터의 처리를 의뢰할 처리 장치의 실제 화상의 하나와 데이터 화상의 하나를 지정하는 조작에 따라서, 지정된 데이터 화상이 나타내는 데이터의 처리의 의뢰를 실제 화상이 지정된 데이터 처리 장치에 전송하는 단말 장치.
제10항에 있어서,
상기 표시부는, 조작자가 이동 중에는 데이터 화상을 표시하지 않는 단말 장치.
제10항 또는 제11항에 있어서,
상기 표시부는, 데이터 화상을 2색 이하로 표시하는 단말 장치.
제10항 또는 제11항에 있어서,
상기 표시부는, 데이터 화상을 투과 가능하게 표시하는 단말 장치.
제10항 또는 제11항에 있어서,
상기 의뢰 화면에 있어서, 조작자가 데이터 화상의 하나를 처리 장치의 실제 화상의 하나에 겹침에 의해, 데이터 화상과 처리 장치 화상이 지정되는 단말 장치.
화상 취득부 및 표시부를 갖는 단말 장치이며, 상기 화상 취득부가 데이터 처리 장치의 화상이 되는 처리 장치 화상을 취득하고, 상기 표시부가 데이터 처리 장치에 데이터의 처리를 의뢰하는데 사용되는 의뢰 화면을 표시하는 상기 단말 장치와,
상기 단말 장치로부터의 의뢰를 받아서 데이터를 처리하는 데이터 처리 장치를 갖고,
상기 화상 취득부가 취득한 처리 장치 화상의 적어도 하나와, 처리를 의뢰할 데이터를 나타내는 데이터 화상의 적어도 하나를 상기 의뢰 화면에 표시하고,
상기 의뢰 화면에 있어서, 조작자가 처리 장치 화상의 하나와 데이터 화상의 하나를 지정하는 조작에 따라서, 지정된 데이터 화상이 나타내는 데이터의 처리의 의뢰를 지정된 처리 장치 화상이 나타내는 데이터 처리 장치에 전송하는 데이터 처리 시스템.
제15항에 있어서,
복수의 상기 단말 장치를 갖고,
복수의 상기 단말 장치의 하나의 의뢰 화면에서 처리 장치 화상과 데이터 화상을 지정하는 조작이 이루어졌을 경우에, 복수의 상기 단말 장치의 적어도 다른 하나의 의뢰 화면에 상기 조작이 표시되는 데이터 처리 시스템.
데이터 처리 장치에 데이터의 처리를 의뢰하는데 사용되는 의뢰 화면을 표시하는 표시부를 갖는 단말 장치와,
상기 단말 장치로부터의 의뢰를 받아서 데이터를 처리하는 데이터 처리 장치를 갖고,
처리 장치의 실제 화상과 동시에 시인할 수 있도록, 처리를 의뢰할 데이터를 나타내는 데이터 화상의 적어도 하나를 상기 의뢰 화면에 표시하고,
상기 의뢰 화면에 있어서, 조작자가 데이터의 처리를 의뢰할 처리 장치의 실제 화상의 하나와 데이터 화상의 하나를 지정하는 조작에 따라서, 지정된 데이터 화상이 나타내는 데이터의 처리의 의뢰를 실제 화상이 지정된 데이터 처리 장치에 전송하는 데이터 처리 시스템.
데이터 처리 장치의 화상이 되는 처리 장치 화상을 취득하는 화상 취득 스텝과,
데이터 처리 장치에 데이터의 처리를 의뢰하는데 사용되는 의뢰 화면을 표시하는 표시 스텝을 컴퓨터에 실행시키고,
상기 화상 취득 스텝에서 취득한 처리 장치 화상의 적어도 하나와, 처리를 의뢰할 데이터를 나타내는 데이터 화상의 적어도 하나를 상기 의뢰 화면에 표시하고,
상기 의뢰 화면에 있어서, 조작자가 처리 장치 화상의 하나와 데이터 화상의 하나를 지정하는 조작에 따라서, 지정된 데이터 화상이 나타내는 데이터의 처리의 의뢰를 지정된 처리 장치 화상이 나타내는 데이터 처리 장치에 전송하는 프로그램을 저장한 컴퓨터 판독 가능한 매체.
데이터 처리 장치에 데이터의 처리를 의뢰하는데 사용되는 의뢰 화면을 표시하는 표시 스텝을 컴퓨터에 실행시키고,
처리 장치의 실제 화상과 동시에 시인할 수 있도록, 처리를 의뢰할 데이터를 나타내는 데이터 화상의 적어도 하나를 상기 의뢰 화면에 표시하고,
상기 의뢰 화면에 있어서, 조작자가 데이터의 처리를 의뢰할 처리 장치의 실제 화상의 하나와 데이터 화상의 하나를 지정하는 조작에 따라서, 지정된 데이터 화상이 나타내는 데이터의 처리의 의뢰를 실제 화상이 지정된 데이터 처리 장치에 전송하는 프로그램을 저장한 컴퓨터 판독 가능한 매체.
데이터 처리 장치의 화상이 되는 처리 장치 화상을 취득하는 스텝과,
데이터 처리 장치에 데이터의 처리를 의뢰하는데 사용되는 의뢰 화면을 표시하는 스텝을 포함하고,
상기 취득하는 스텝에서 취득한 처리 장치 화상의 적어도 하나와, 처리를 의뢰할 데이터를 나타내는 데이터 화상의 적어도 하나를 상기 의뢰 화면에 표시하고,
상기 의뢰 화면에 있어서, 조작자가 처리 장치 화상의 하나와 데이터 화상의 하나를 지정하는 조작에 따라서, 지정된 데이터 화상이 나타내는 데이터의 처리의 의뢰를 지정된 처리 장치 화상이 나타내는 데이터 처리 장치에 전송하는 데이터 처리 방법.
데이터 처리 장치에 데이터의 처리를 의뢰하는데 사용되는 의뢰 화면을 표시하는 스텝을 포함하고,
처리 장치의 실제 화상과 동시에 시인할 수 있도록, 처리를 의뢰할 데이터를 나타내는 데이터 화상의 적어도 하나를 상기 의뢰 화면에 표시하고,
상기 의뢰 화면에 있어서, 조작자가 데이터의 처리를 의뢰할 처리 장치의 실제 화상의 하나와 데이터 화상의 하나를 지정하는 조작에 따라서, 지정된 데이터 화상이 나타내는 데이터의 처리의 의뢰를 실제 화상이 지정된 데이터 처리 장치에 전송하는 데이터 처리 방법.