KR20210015780A - 정보 처리 장치, 정보 처리 방법 및 프로그램 - Google Patents

정보 처리 장치, 정보 처리 방법 및 프로그램 Download PDF

Info

Publication number
KR20210015780A
KR20210015780A KR1020207032697A KR20207032697A KR20210015780A KR 20210015780 A KR20210015780 A KR 20210015780A KR 1020207032697 A KR1020207032697 A KR 1020207032697A KR 20207032697 A KR20207032697 A KR 20207032697A KR 20210015780 A KR20210015780 A KR 20210015780A
Authority
KR
South Korea
Prior art keywords
display
information processing
image
communication partner
user
Prior art date
Application number
KR1020207032697A
Other languages
English (en)
Inventor
류세이 고이케
가에 나가노
고지 사토
고지 후루사와
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20210015780A publication Critical patent/KR20210015780A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G06N3/0481—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

영상을 통한 커뮤니케이션에 있어서 통신 상대가 지시하는 대상을 직감적으로 파악하는 것이 가능한 정보 처리 장치, 정보 처리 방법 및 프로그램을 제공한다.
통신 상대측으로부터 취득한 통신 상대측 공간의 촬상 화상을 표시부에 표시하는 쌍방향 통신을 제어하고, 한쪽 인물이 사용하고 있는 지시체와, 당해 인물이 지시하고 있는 대상을 관련짓는 화상을 표시하도록 제어하는 제어부를 구비하는, 정보 처리 장치.

Description

정보 처리 장치, 정보 처리 방법 및 프로그램
본 개시는, 정보 처리 장치, 정보 처리 방법 및 프로그램에 관한 것이다.
종래부터, 텔레비전 전화를 사용한 회의 시스템 등, 원격지의 상대와의 커뮤니케이션을 지원하는 통신 시스템이 제안되고 있다.
예를 들어 하기 특허문헌 1에서는, 복수의 원격지로부터 동일 콘텐츠의 영상 상의 임의의 위치를 지시하는 유저의 포인터를 표시함으로써, 원격 커뮤니케이션을 지원하는 기술이 개시되어 있다.
일본 특허 공개 제2006-41884호 공보
그러나, 영상을 통한 쌍방향 커뮤니케이션에서 가리키는 대상은, 동일 콘텐츠의 영상에 한정되지 않는다.
그래서, 본 개시에서는, 영상을 통한 커뮤니케이션에 있어서 통신 상대가 지시하는 대상을 직감적으로 파악하는 것이 가능한 정보 처리 장치, 정보 처리 방법 및 프로그램을 제안한다.
본 개시에 의하면, 통신 상대측으로부터 취득한 통신 상대측 공간의 촬상 화상을 표시부에 표시하는 쌍방향 통신을 제어하고, 한쪽 인물이 사용하고 있는 지시체와, 당해 인물이 지시하고 있는 대상을 관련짓는 화상을 표시하도록 제어하는 제어부를 구비하는, 정보 처리 장치를 제안한다.
본 개시에 의하면, 프로세서가, 통신 상대측으로부터 취득한 통신 상대측 공간의 촬상 화상을 표시부에 표시하는 쌍방향 통신을 제어하는 것과, 한쪽 인물이 사용하고 있는 지시체와, 당해 인물이 지시하고 있는 대상을 관련짓는 화상을 표시하도록 제어하는 것을 포함하는, 정보 처리 방법을 제안한다.
본 개시에 의하면, 컴퓨터를, 통신 상대측으로부터 취득한 통신 상대측 공간의 촬상 화상을 표시부에 표시하는 쌍방향 통신을 제어하고, 한쪽 인물이 사용하고 있는 지시체와, 당해 인물이 지시하고 있는 대상을 관련짓는 화상을 표시하도록 제어하는 제어부로서 기능시키기 위한, 프로그램을 제안한다.
이상 설명한 바와 같이 본 개시에 의하면, 영상을 통한 커뮤니케이션에 있어서 통신 상대가 지시하는 대상을 직감적으로 파악하는 것이 가능해진다.
또한, 상기 효과는 반드시 한정적인 것은 아니며, 상기 효과와 함께 또는 상기 효과 대신에, 본 명세서에 개시된 어느 효과, 또는 본 명세서로부터 파악될 수 있는 다른 효과가 발휘되어도 된다.
도 1은 본 개시의 일 실시 형태에 따른 정보 처리 시스템의 개요에 대해 설명하는 도면이다.
도 2는 본 실시 형태에 따른 정보 처리 시스템의 전체 구성의 일례를 도시하는 도면이다.
도 3은 본 실시 형태에 따른 정보 처리 장치의 구성의 일례를 도시하는 블록도이다.
도 4는 본 실시 형태에 따른 유저의 가리키기 동작에 따른 제어 처리의 흐름의 일례를 도시하는 흐름도이다.
도 5a는, 본 실시 형태에 따른 로컬측으로부터 가리키기를 행한 경우에 있어서의 지시 대상의 강조 표시예를 도시하는 도면이다.
도 5b는, 본 실시 형태에 따른 로컬측으로부터 가리키기를 행한 경우에 있어서의 지시 대상의 강조 표시예를 도시하는 도면이다.
도 6은 본 실시 형태에 따른 로컬측에 있어서 로컬측에 존재하는 실물체를 가리킨 경우에 있어서의 지시 대상의 강조 표시예를 도시하는 도면이다.
도 7은 본 실시 형태에 따른 본 실시 형태에 따른 통신 상대측에서 화면 너머로 가리키기 동작이 행해진 경우에 있어서의 표시 처리의 흐름의 일례를 도시하는 흐름도이다.
도 8은 본 실시 형태에 따른 로컬측으로부터 실물체의 이측을 지시하는 표시의 일례를 도시하는 도면이다.
도 9는 본 실시 형태에 따른 통신 상대측(리모트측)으로부터 화면 너머로 실물체의 이측이 지시된 경우의 표시예를 도시하는 도면이다.
도 10은 본 실시 형태에 따른 화면 너머로 음성과 함께 특정 범위를 지시하는 경우에 대해 설명하는 도면이다.
도 11은 본 실시 형태에 따른 테이블 디스플레이의 표시가 공유되는 공유 모드에 대해 설명하는 도면이다.
도 12는 본 실시 형태에 따른 공유 모드 시에 있어서의 지시 대상을 명확히하는 표시 제어에 대해 설명하는 도면이다.
이하에 첨부 도면을 참조하면서, 본 개시의 바람직한 실시 형태에 대해 상세하게 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는, 동일한 번호를 부여함으로써 중복 설명을 생략한다.
또한, 설명은 이하의 순서로 행하기로 한다.
1. 본 개시의 일 실시 형태에 따른 정보 처리 시스템의 개요
2. 구성예
3. 동작 처리
3-1. 유저의 가리키기 동작에 따른 제어 처리
3-2. 통신 상대측의 가리키기 동작에 따른 표시 처리
4. 다른 표시예
4-1. 가리키기 곤란한 장소의 지시
4-2. 음성에 따른 지시 대상의 범위의 조정
4-3. 공유 모드 시에 있어서의 표시 제어
5. 정리
<<1. 본 개시의 일 실시 형태에 따른 정보 처리 시스템의 개요>>
도 1은, 본 개시의 일 실시 형태에 따른 정보 처리 시스템의 개요에 대해 설명하는 도면이다. 본 실시 형태에 따른 정보 처리 시스템에서는, 정보 처리 장치(10)를 사용하여 영상 및 음성을 통한 쌍방향 커뮤니케이션 통신을 제공한다. 정보 처리 장치(10)는, 도 1에 도시하는 바와 같이, 표시부인 윈도우 디스플레이(131)를 구비하고, 통신 상대측의 영상이 실시간으로 표시된다. 이러한 정보 처리 장치(10)는, 각 공간에 배치된다. 예를 들어, 공간 A에 있는 유저 A와 공간 B에 있는 유저 B를 연결하는 경우, 본 실시 형태에 따른 정보 처리 시스템(1)은, 도 2에 도시하는 바와 같이, 공간 A에서 사용되는 정보 처리 장치(10A) 및 공간 B에서 사용되는 정보 처리 장치(10B)를 갖는 시스템 구성으로 된다. 정보 처리 장치(10A) 및 정보 처리 장치(10B)는, 네트워크(3)를 통하여 통신 접속된다.
유저 A측에서 본 경우, 도 1에 도시하는 바와 같이, 정보 처리 장치(10)의 윈도우 디스플레이(131)에, 공간 B의 촬상 화상(유저 B가 비치는 화상)이 표시됨과 함께, 공간 B측에서 집음된 음성 정보가 스피커(135)(도시하지 않음)로부터 출력되어, 대면한 상태에서 대화를 행하는 것이 가능하다.
또한, 유저 A측의 촬상 화상은, 카메라(123)에 의해 촬상되고, 유저 B측의 정보 처리 장치(10B)로 송신된다. 도 1에 도시하는 카메라(123)의 배치는 일례이며, 본 실시 형태는 이에 한정되지 않는다. 또한, 유저 A측의 음성 정보는, 마이크로 폰(이하, 마이크라고 칭함)(125)(도시하지 않음)에 의해 집음되어, 유저 B측의 정보 처리 장치(10B)로 송신된다.
여기서, 이러한 영상을 통한 쌍방향 커뮤니케이션에 있어서, 표시 화면 너머로 원격지의 특정 대상을 향하여 가리키기를 행한 경우, 카메라의 위치에 따라서는, 원격지측에서 바라보았을 때 가리키는 방향이 대상과 어긋나 버리는 경우가 있다. 예를 들어 도 1에 도시하는 예에서는, 유저 B는, 유저 B측의 표시부(유저 A측의 카메라(123)로 촬상된 촬상 화상이 표시되어 있음)에 비치는 유저 A측의 테이블 상의 실물체(20)를 가리키고 있지만, 유저 A측에서 보면, 유저 B의 가리키는 방향이 실물체(20)와 어긋나, 어디를 가리키고 있는지 모르는 경우가 있다.
그래서, 본 실시 형태에서는, 영상을 통한 쌍방향 커뮤니케이션에 있어서, 한쪽 인물이 사용하고 있는 지시체(예를 들어, 손이나 손가락 등의 인체의 부위 또는 펜이나 지시 막대 등의 인공물)와, 당해 인물이 지시하고 있는 대상을 관련짓는 화상을 표시함으로써, 통신 상대가 지시하는 대상이 직감적으로 파악할 수 있도록 하는 것을 가능하게 한다.
구체적으로는, 예를 들어 도 1에 도시하는 바와 같이, 정보 처리 장치(10)는, 윈도우 디스플레이(131)에 비치는 유저 B의 손끝과, 유저 B가 지시하는 유저 A측(즉, 로컬측)의 테이블에 적재된 실물체(20)를 연결하는 선형의 화상(30)을, 윈도우 디스플레이(131)와, 테이블의 천장판 부분에 마련되는 표시부(테이블 디스플레이(133))에 걸쳐 표시하는 제어를 행한다. 이렇게, 가리키는 방향이 달리 보여도, 가리키고 있는 손끝과 대상을 연결하는 화상이 명시됨으로써, 유저 A는, 유저 B가 지시하고 있는 대상(여기서는, 로컬측의 실물체(20))을 직감적으로 파악할 수 있다.
또한, 본 실시 형태에서는 일례로서 테이블 디스플레이(133)를 사용하고 있지만, 본 개시는 이에 한정되지 않고, 예를 들어 프로젝터(도시하지 않음)에 의해 선형의 화상을 투영해도 된다. 예를 들어 정보 처리 장치(10)는, 윈도우 디스플레이(131)에 있어서의 지시체(예를 들어 유저 B의 손끝)와 테이블 상의 실물체(20)를 연결하는 선형의 화상(30) 중, 테이블 상의 선형 화상 부분을, 프로젝터에 의해 투영하여 표시한다.
또한, 본 실시 형태에 있어서, 유저가 지시하는 「대상」이란, 실물체에 한하지 않고, 테이블 디스플레이(133)에 표시되거나, 또는 프로젝터에 의해 투영되는 화상(본 명세서에서는, 「가상 물체」라고 칭함)이나, 테이블 디스플레이(133) 상 등의 일정 범위의 영역도 포함된다.
또한, 도 1 내지 도 2에서는, 일례로서 두 지점간의 커뮤니케이션에 대해 설명하고 있지만, 본 실시 형태는 이에 한정되지 않고, 세 지점 이상을 연결하는 것도 가능하다.
또한, 테이블 디스플레이(133)와 윈도우 디스플레이(131)의 배치 구성(대략 수평 방향의 표시부와 대략 수직 방향의 표시부의 조합)은, 공간 내(옥내 또는 옥외)에 있어서의 바닥, 벽 또는 가구 등의 임의의 장소, 혹은 노트북 PC 등에 있어서 실현하는 것도 가능하다.
이상, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(1)에 대해 설명하였다. 다음에, 본 실시 형태에 따른 정보 처리 시스템(1)에 포함되는 정보 처리 장치(10)의 구체적인 구성에 대해 도면을 참조하여 설명한다.
<<2. 구성예>>
도 3은, 본 실시 형태에 따른 정보 처리 장치(10)의 구성의 일례를 도시하는 블록도이다. 도 3에 도시하는 바와 같이, 정보 처리 장치(10)는, 제어부(100), 통신부(110), 입력부(120), 출력부(130) 및 기억부(140)를 갖는다.
<2-1. 제어부(100)>
제어부(100)는, 연산 처리 장치 및 제어 장치로서 기능하고, 각종 프로그램에 따라 정보 처리 장치(10) 내의 동작 전반을 제어한다. 제어부(100)는, 예를 들어 CPU(Central Processing Unit), 마이크로 프로세서 등의 전자 회로에 의해 실현된다. 또한, 제어부(100)는, 사용하는 프로그램이나 연산 파라미터 등을 기억하는 ROM(Read Only Memory), 및 적절하게 변화되는 파라미터 등을 일시 기억하는 RAM(Random Access Memory)을 포함하고 있어도 된다.
또한, 본 실시 형태에 따른 제어부(100)는, 입력 정보 인식부(101), 지시 대상 인식부(102), 지시 대상 해석부(103), 지시체 인식부(104), 표시 제어부(105) 및 음성 출력 제어부(106)로서도 기능한다.
입력 정보 인식부(101)는, 입력부(120)로부터 취득한 각종 입력 정보를 해석하여, 유저 입력을 인식한다. 예를 들어 입력 정보 인식부(101)는, 마이크(125)로부터 취득한 발화 음성을 해석하여, 유저에 의한 발화 내용의 인식(음성 인식)을 행한다. 또한, 입력 정보 인식부(101)는, 센서부(121) 및 카메라(123)로부터 취득한 정보에 기초하여, 제스처(유저 동작)를 인식한다. 또한, 입력 정보 인식부(101)는, 센서부(121)나 통신부(110)로부터 취득한 정보에 기초하여, 리모트 컨트롤러(예를 들어 IR 리모트 컨트롤러)나 마우스 등의 외부 장치를 사용하여 행해지는 유저 입력을 인식하는 것도 가능하다.
제스처(유저 동작)의 인식에 관해, 보다 구체적으로는, 예를 들어 입력 정보 인식부(101)는, 입력부(120)의 일례인 뎁스 카메라, 서모 카메라, RGB 카메라, 터치 센서, 압력 센서, 근접 센서 또는 초음파 센서 등에 의해 센싱한 정보를 해석한다. 또한, 「제스처(유저 동작)」란, 예를 들어 유저의 손의 움직임, 가리킴, 팔의 움직임, 자세(예를 들어 뼈 정보), 시선, 터치 조작(구체적으로는, 터치, 탭, 더블 탭, 스와이프 또는 드래그) 등의 정보를 포함한다. 예를 들어 입력 정보 인식부(101)는, 촬상 화상이나 뎁스 정보를 해석하여, 테이블 디스플레이(133)의 표시 화면 상에 위치하는 유저의 손이나 손가락의 위치나 심도 정보(바꾸어 말하면, 3차원 정보)를 취득하여, 높이 방향에 있어서의 테이블 디스플레이(133)로의 유저의 손의 접촉 혹은 근접, 및 테이블 디스플레이(133)로부터의 손의 이탈을 검출한다. 여기서는, 유저가 표시 화면에 손 등의 조작체를 접촉 또는 근접시키는 것을, 통합하여 간단히 「접촉」이라고도 칭한다.
입력 정보 인식부(101)는, 테이블 디스플레이(133)에 대한 터치 조작이나, 윈도우 디스플레이(131)에 대한 가리키기 동작 등을, 제스처 정보로서 인식한다.
지시 대상 인식부(102)는, 입력 정보 인식부(101)에 의해, 유저의 가리킴 등의 지시 동작이 인식된 경우에, 유저가 지시하고 있는 대상을 인식한다. 예를 들어 지시 대상 인식부(102)는, 유저가 윈도우 디스플레이(131)에 대해 가리키기 동작을 행하고 있다고 인식된 경우, 윈도우 디스플레이(131)에 대한 가리키는 방향(각도)에 기초하여, 윈도우 디스플레이(131)에 표시되어 있는 통신 상대측의 촬상 화상으로부터, 유저가 가리키고 있는 대상(화상에 비치는 통신 상대측의 실물체, 가상 물체(예를 들어 통신 상대측의 테이블 디스플레이(133)에 표시되어 있는 화상), 또는 일정 범위의 영역)을 지시 대상으로서 인식한다. 예를 들어 지시 대상 인식부(102)는, 가리키는 방향의 연장선과 윈도우 디스플레이(131)에 표시되어 있는 촬상 화상이 교차하는 위치에 표시되어 있는 대상을, 지시 대상으로서 인식한다. 또한, 지시 대상 인식부(102)는, 인식한 지시 대상을 강조 표시하거나 하여 유저에게 피드백해도 된다. 이에 의해 유저는, 자신이 가리키고 있는 대상이 정확하게 인식되었는지를 확인할 수 있다. 다른 대상이 인식되어 있는 경우는, 유저는, 손가락의 각도를 어긋나게 하거나 하여 조정할 수 있다. 또한, 지시 대상 인식부(102)에 의한 인식 결과는, 지시 대상 정보로서, 통신부(110)로부터 통신 상대측의 정보 처리 장치(10)로 송신된다.
지시 대상 해석부(103)는, 통신 상대측으로부터 수신된 정보(지시 대상 정보)에 기초하여, 통신 상대가 지시하고 있는 유저측(로컬측)의 대상을 해석한다. 통신 상대측으로부터 수신된 지시 대상 정보에는, 통신 상대측에서 표시되고 있는, 유저측의 촬상 화상에 대해 통신 상대가 가리킨 동작에 기초하여 인식된 가리키기 대상의 인식 결과(대상의 위치, 형상 등의 정보)가 포함된다. 지시 대상 해석부(103)는, 당해 지시 대상 정보에 기초하여, 윈도우 디스플레이(131)에 비치는 통신 상대가 화면 너머로 가리키고 있는 유저측(로컬측)의 대상(테이블 디스플레이(133) 상에 적재되어 있는 실물체, 테이블 디스플레이(133)에 표시되고 있는 가상 물체 또는 일정 범위의 영역 등)을 해석한다.
지시체 인식부(104)는, 수신된 통신 상대측의 촬상 화상으로부터, 통신 상대가 사용하고 있는 지시체(예를 들어, 손, 손가락, 등)를 인식한다.
표시 제어부(105)는, 입력 정보 인식부(101)에 의해 인식된 유저 조작에 따른 표시 제어나, 통신부(110)에 의해 통신 상대측으로부터 수신된 통신 상대측의 촬상 화상을 표시하는 제어를 행한다. 또한, 표시 제어부(105)는, 지시 대상 인식부(102)에 의한 인식 결과에 기초하여, 유저의 지시 대상을 명시적으로 나타내기 위한 표시 제어를 행하거나, 지시 대상 해석부(103)에 의한 해석 결과에 기초하여, 통신 상대가 화면 너머로 지시하고 있는 로컬측의 지시 대상을 명시적으로 나타내기 위한 표시 제어를 행하거나 한다.
구체적으로는, 표시 제어부(105)는, 가리키기 동작 등에 의해, 어느 대상을 지시하고 있는 인물이 사용하고 있는 지시체(손끝 등)와, 지시 대상(실물체, 가상 물체 또는 특정의 영역)을 관련짓는 화상을 표시하는 제어를 행한다. 예를 들어, 표시 제어부(105)는, 테이블 디스플레이(133) 및 윈도우 디스플레이(131)에 걸쳐, 윈도우 디스플레이(131)에 비치는 통신 상대의 손끝과, 당해 통신 상대가 가리키고 있는 로컬측의 대상(테이블 디스플레이(133) 상에 적재되어 있는 실물체, 또는 테이블 디스플레이(133)에 표시되고 있는 화상 등)을 연결하는 선형의 화상을 표시한다. 이에 의해, 통신 상대가 지시하는 대상을 유저에게 직감적으로 파악시키는 것이 가능해진다.
또한, 표시 제어부(105)는, 지시 대상 인식부(102)의 인식 결과에 따라, 유저가 윈도우 디스플레이(131)에 비치는 통신 상대측의 대상을 지시하고 있을 때는, 윈도우 디스플레이(131)에 비치는 통신 상대측의 촬상 화상 중의 당해 대상을 강조 표시하는 제어를 행한다. 또한, 표시 제어부(105)는, 지시 대상 인식부(102)의 인식 결과에 따라, 유저가 테이블 디스플레이(133) 상에 적재되어 있는 실물체 또는 테이블 디스플레이(133)에 표시되어 있는 화상(가상 물체)을 지시하고 있을 때는, 테이블 디스플레이(133)에 있어서 당해 대상을 강조 표시하는 제어를 행한다.
또한, 여기서는 표시부의 일례로서, 테이블에 마련되어 있는 테이블 디스플레이(133)를 사용하고 있지만, 본 실시 형태는 이에 한정되지 않고, 테이블로의 표시는, 프로젝터에 의해 행해도 된다. 즉, 표시 제어부(105)는, 예를 들어 통신 상대가 화면 너머로 테이블 상에 적재되어 있는 실물체를 지시하고 있는 경우, 프로젝터에 의해, 당해 실물체를 강조 표시함과 함께, 윈도우 디스플레이(131)에 비치는 통신 상대의 손끝과 연결되는 선형의 표시 화상에 연결되는 선형의 투영 화상을 테이블에 투영하도록 제어한다.
음성 출력 제어부(106)는, 스피커(135)로부터의 음성 출력을 제어한다. 예를 들어 음성 출력 제어부(106)는, 통신부(110)에 의해 수신된 통신 상대측의 음성 정보를 출력한다.
<2-2. 통신부(110)>
통신부(110)는, 정보 처리 장치(10)와 다른 기기를 접속하기 위한 접속 장치이다. 통신부(110)는, 예를 들어 유선 또는 무선에 의해 네트워크(3)와 접속하고, 통신처 장치(정보 처리 장치(10))와 데이터의 송수신을 행한다. 통신부(110)는, 예를 들어 유선/무선 LAN(Local Area Network), Wi-Fi(등록 상표), Bluetooth(등록 상표), 휴대 통신망(LTE(Long Term Evolution), 3G(제3 세대의 이동체 통신 방식)) 등에 의해 네트워크(3)와 통신 접속한다.
<2-3. 입력부(120)>
입력부(120)는, 정보 처리 장치(10)로의 입력 정보를 취득한다. 예를 들어 입력부(120)는, 센서부(121), 카메라(123), 마이크(125)를 포함한다. 센서부(121)는, 예를 들어 터치 센서, 압력 센서, 근접 센서, 적외선 수광부, 초음파 센서, 뎁스 카메라, 서모 카메라 또는 RGB 카메라 등을 포함해도 되고, 또한, 버튼, 스위치 및 레버 등 물리적 구성에 의해 형성되는 조작 입력부를 포함해도 된다. 카메라(123)는, 테이블 디스플레이(133)나 윈도우 디스플레이(131)에 대해 조작 입력을 행하고 있는(가리키기 동작을 포함함) 유저를 촬상한다. 마이크(125)는 유저의 발화 음성 등, 음성 정보를 센싱한다.
<2-4. 출력부(130)>
출력부(130)는, 정보 처리 장치(10)로부터의 출력 정보를 유저에게 제시한다. 예를 들어 출력부(130)는, 테이블 디스플레이(133), 윈도우 디스플레이(131), 스피커(135)를 포함한다. 스피커(135)는, 통신처에서 수신된 상대의 발화 음성 등의 음성 정보를 출력한다.
<2-5. 기억부(140)>
기억부(140)는, 제어부(100)의 처리에 사용되는 프로그램이나 연산 파라미터 등을 기억하는 ROM(Read Only Memory) 및 적절하게 변화하는 파라미터 등을 일시 기억하는 RAM(Random Access Memory)에 의해 실현된다.
또한, 기억부(140)는, 입력 정보 인식부(101)에 의한 인식 결과나, 통신부(110)에 의해 통신 상대측으로부터 수신된 통신 상대측의 영상(촬상 화상)이나 음성을 기억해도 된다.
이상, 본 실시 형태에 따른 정보 처리 장치(10)의 구성에 대해 구체적으로 설명하였다. 또한 정보 처리 장치(10)의 구성은, 도 3에 도시하는 예에 한정되지 않는다. 예를 들어, 정보 처리 장치(10)가 복수의 장치에 의해 구성되어 있어도 된다. 또한, 정보 처리 장치(10)의 제어부(100)의 각 기능의 적어도 일부가, 외부 장치(예를 들어, 스마트 폰, 태블릿 단말기, PC, 서버 등)에 의해 실현되어도 된다.
또한, 본 실시 형태에 따른 정보 처리 장치(10)는, 네트워크 상의 서버(도시하지 않음)를 통하여, 통신 상대측과 데이터의 송수신을 행해도 된다.
<<3. 동작 처리>>
다음에, 본 실시 형태에 따른 정보 처리 시스템의 동작 처리에 대해 도면을 사용하여 구체적으로 설명한다.
<3-1. 유저의 가리키기 동작에 따른 제어 처리>
우선, 도 4를 참조하여 유저의(즉 로컬측에서의) 가리키기 동작에 따른 제어 처리에 대해 설명한다. 도 4는, 본 실시 형태에 따른 유저의 가리키기 동작에 따른 제어 처리의 흐름의 일례를 도시하는 흐름도이다.
도 4에 도시하는 바와 같이, 우선, 정보 처리 장치(10)의 입력 정보 인식부(101)는, 카메라(123)에 의한 촬상 화상을 해석하여 유저의 가리키기 동작을 검출하면(스텝 S103), 또한 손끝의 위치나 가리키는 방향을 인식한다(스텝 S106).
다음에, 지시 대상 인식부(102)는, 입력 정보 인식부(101)에 의한 인식 결과와, 윈도우 디스플레이(131)에 표시되어 있는 통신 상대측의 영상, 또는 테이블 디스플레이(133)의 상태(가상 물체의 표시 위치, 또는 테이블 디스플레이(133)에 적재되어 있는 실물체의 위치 등)에 기초하여, 유저가 가리키고 있는 대상(즉, 지시 대상)을 인식한다(스텝 S109).
다음에, 지시 대상 인식부(102)는, 인식한 가리키기 대상의 정보(즉, 지시 대상 정보)를 통신부(110)로부터 통신 상대측으로 송신한다(스텝 S112).
그리고, 표시 제어부(105)는, 유저의 손끝과 가리키는 대상을 연결하는 화상을 표시한다(스텝 S115). 여기서, 로컬측으로부터의 가리키는 동작에 따른 지시 대상의 표시 제어에 대해, 도 5a 및 도 5b를 참조하여 설명한다.
도 5a 및 도 5b는, 본 실시 형태에 따른 로컬측으로부터 가리키기 동작을 행한 경우에 있어서의 지시 대상의 강조 표시예를 도시하는 도면이다. 예를 들어 도 5a에 도시하는 바와 같이, 유저 B가 테이블 디스플레이(133)에 표시된 통신 상대측의 영상(유저 A측의 영상)에 대해 가리키기 동작을 행하고, 화면 너머로 통신 상대측의 테이블에 적재되어 있는 실물체(20a)가 지시 대상으로서 인식된 경우, 정보 처리 장치(10)의 표시 제어부(105)는, 윈도우 디스플레이(131)에 있어서, 지시 대상인 실물체(20a)를 강조시키는 표시(주위의 색을 바꾸는, 점멸시키는 등)를 행한다. 또한, 표시 제어부(105)는, 도 5a에 도시하는 바와 같이, 지시 대상의 실물체(20a)와, 유저 B의 손끝 방향을 연결하는 선형의 화상(30a)을 표시한다. 이에 의해, 유저 B는, 자신이 가리키고 있는 대상이 정확하게 인식되어 있음을 시인할 수 있다. 또한, 도 5b에 도시하는 바와 같이, 유저 B가 테이블 디스플레이(133)에 표시된 통신 상대측의 영상(유저 A측의 영상)에 대해 가리키기 동작을 행하고, 화면 너머로 통신 상대측의 테이블에 적재되어 있는 실물체(20b)가 지시 대상으로서 인식된 경우도 마찬가지이다. 정보 처리 장치(10)의 표시 제어부(105)는, 윈도우 디스플레이(131)에 있어서, 지시 대상인 실물체(20b)를 강조시키는 표시(주위의 색을 바꾸는, 점멸시키는 등)를 행하고, 또한, 지시 대상의 실물체(20b)와, 유저 B의 손끝 방향을 연결하는 선형의 화상(30b)을 표시한다.
또한, 유저가 지시하는 대상은 화면 너머에 한하지 않고, 로컬측에 존재하는 실물체(테이블 디스플레이(133)에 적재된 물체)나 가상 물체(테이블 디스플레이(133)에 표시된 화상)의 경우도 상정된다. 예를 들어 도 6에 도시하는 바와 같이, 유저 B가 테이블 디스플레이(133)에 적재된 실물체(20c)를 가리키고 있는 경우, 정보 처리 장치(10)의 표시 제어부(105)는, 테이블 디스플레이(133)에 있어서, 지시 대상인 실물체(20c)의 주위에, 실물체(20c)를 강조시키는 화상(30c)을 표시해도 된다.
<3-2. 통신 상대측의 가리키기 동작에 따른 표시 처리>
다음에, 통신 상대측(리모트측)으로부터 화면 너머로 가리키기 동작이 행해진 경우에 있어서의 표시 처리에 대해 도 7을 참조하여 설명한다. 도 7은, 본 실시 형태에 따른 통신 상대측(리모트측)으로부터 화면 너머로 가리키기 동작이 행해진 경우에 있어서의 표시 처리의 흐름의 일례를 도시하는 흐름도이다.
도 7에 도시하는 바와 같이, 우선, 정보 처리 장치(10)의 지시 대상 해석부(103)는, 통신 상대측으로부터 수신된 정보(지시 대상 정보)에 기초하여, 윈도우 디스플레이(131)에 비치는 통신 상대가 화면 너머로 가리키고 있는 로컬측의 대상을 해석한다(스텝 S203).
다음에, 정보 처리 장치(10)의 지시체 인식부(104)는, 윈도우 디스플레이(131)에 표시하는 통신 상대측의 영상으로부터, 가리키기 동작에 있어서의 지시체(예를 들어 손끝)를 인식한다(스텝 S206).
그리고, 정보 처리 장치(10)의 표시 제어부(105)는, 인식한 손끝과, 가리키는 대상을 연결하는 화상을, 윈도우 디스플레이(131) 및 테이블 디스플레이(133)에 걸쳐 표시하는 제어를 행한다(스텝 S209). 이러한 리모트측에서의 가리키기 동작에 따른 표시예는, 도 1에 도시하는 바와 같다. 즉, 윈도우 디스플레이(131)에 비치는 통신 상대인 유저 B가 화면(윈도우 디스플레이(131)) 너머에 로컬측의 실물체(20)를 가리키고 있는 경우, 정보 처리 장치(10)의 표시 제어부(105)는, 도 1에 도시하는 바와 같이, 윈도우 디스플레이(131)에 비치는 유저 B의 손끝과, 지시 대상인 로컬측의 (테이블 디스플레이(133)에 적재된) 실물체(20)를 연결하는 화상(30)을, 윈도우 디스플레이(131) 및 테이블 디스플레이(133)에 걸쳐 표시하는 제어를 행한다. 이에 의해, 로컬측에서 보았을 때, 리모트측의 상대가 화면 너머로 가리키는 방향이 로컬측의 대상(실물체(20))과 어긋나 버리는 경우에도, 손끝과 대상을 연결하는 화상(30)을 표시함으로써, 상대가 무엇을 가리키고 있는지를 직감적으로 파악시키는 것이 가능해진다.
<<4. 다른 표시예>>
이상 설명한 바와 같이, 본 실시 형태에서는, 리모트측의 인물의 손끝 등의 지시체와, 지시 대상을 연결하는 화상을 표시함으로써, 리모트측의 인물이 지시하는 대상을 직감적으로 파악시키는 것을 가능하게 한다. 지시 대상을 명시하는 표시예는, 상술한 예에 한정되지 않고, 사각이 되는 장소나 범위를 적절하게 지시하는 것도 가능하다. 이하, 다른 표시예로서 구체적으로 설명한다.
<4-1. 가리키기 곤란한 장소의 지시>
본 실시 형태에서는, 실제로는 가리키는 것이 곤란한 장소, 구체적으로는 예를 들어 실물체의 이측 또는 복수의 대상을 동시에 지시하는 것을 가능하게 한다. 도 8은, 본 실시 형태에 따른 로컬측에서 실물체(20d)의 이측을 지시하는 표시의 일례를 도시하는 도면이다. 도 8에 도시하는 바와 같이, 예를 들어 유저 A가, 윈도우 디스플레이(131)의 화면 너머로, 통신 상대측에 존재하는 실물체(20d)를 가리켰을 경우, 정보 처리 장치(10)는, 실물체(20d)의 반대측이나 하측의 면(숨겨진 면)을 나타내는 화상(210)을 실물체(20d)에 중첩 표시하고, 유저의 가리키는 방향에 따라, 인식한 대상(예를 들어 이측의 측면(211))을 강조 표시한다(예를 들어 색을 바꾸거나, 점멸시키는 등). 또한, 정보 처리 장치(10)의 표시 제어부(105)는, 강조 표시한 측면(211)으로부터, 유저 A의 손끝의 방향으로 신장되는 선형의 화상(30d)을 표시한다.
이에 의해, 실제로는 지시할 수 없는 실물체의 반대측이나 하측 등을 지시하는 것이 가능해진다. 또한 화상(210)은, 정보 처리 장치(10)에 의해, 물체의 형상에 따라 생성될 수 있다. 정보 처리 장치(10)는, 예를 들어 과거 화상으로부터 물체의 이측 촬상 화상을 추출하여 표시해도 되고(실물체(20d)를 유저 B가 움직여 이측이 비치고 있는 경우 등), 외관 형상으로부터 상정되는 숨겨진 선을 나타내도록 해도 된다. 정보 처리 장치(10)는, 이러한 숨겨진 면을 나타내는 화상(210)의 표시 채용 여부를, 유저 지시(특정한 제스처 또는 음성 등)에 따라 판단할 수 있다.
또한, 이러한 실물체(윈도우 디스플레이(131)에 표시되는 통신 상대측에 존재하는 실물체)의 반대측이나 하측 등의 지시는, 가리키기 등에 의한 제스처에만 한정되지 않고, 예를 들어 음성에 의한 지시를 병용해도 된다. 구체적으로는, 예를 들어 정보 처리 장치(10)는, (윈도우 디스플레이(131)에 표시되는) 실물체의 전방면(보이는 측)을 가리킨 상태에서, 「뒷면」 「이것의 뒷면」 등으로 발화함으로써, 지시 대상의 위치의 조정을 행하는 것이 가능하다. 정보 처리 장치(10)는, 제스처와 음성에 기초하여 인식된 지시 대상의 위치(예를 들어, 도 8에 도시하는 측면(211))를 강조 표시하고, 유저에게 피드백한다.
또한, 유저는, 도 8에 도시하는 바와 같이 인식한 측면(211)을 강조 표시하여 피드백함으로써, 지시 대상이 시스템측에 정확하게 인식되어 있는지 여부를 확인할 수 있다. 예를 들어 측면(211)이 아니라 저면을 지시하고 싶은 경우, 유저 A는, 저면이 인식되어 강조 표시되도록, 가리키는 각도를 조정한다.
또한, 정보 처리 장치(10)는, 지시 대상의 인식 결과(예를 들어 실물체(20d)의 측면(211)을 가리키고 있는 것)를 통신 상대측으로 지시 대상 정보로서 송신한다.
다음으로, 상술한 바와 같이 로컬측으로부터 화면 너머로 실물체의 이측을 지시한 경우에 있어서의 상대측으로부터의 보이는 모습에 대해, 도 9를 참조하여 설명한다. 도 9는, 본 실시 형태에 따른 통신 상대측(리모트측)으로부터 화면 너머로 실물체(20d)의 이측이 지시된 경우의 표시예를 도시하는 도면이다.
정보 처리 장치(10)는, 통신 상대측으로부터 수신된 지시 대상 정보에 기초하여 실물체(20d)의 측면(211)을 가리키고 있다고 해석한 경우, 도 9에 도시하는 바와 같이, 윈도우 디스플레이(131)에 비치는 유저 A의 손끝과, 로컬측에 존재하는 실물체(20d)의 측면(211)을 연결하는 선형의 화상(30e)을, 윈도우 디스플레이(131) 및 테이블 디스플레이(133)에 걸쳐 표시하는 제어를 행한다. 선형의 화상(30e)의 루트는 특별히 한정되지 않고, 예를 들어 도 9에 도시하는 바와 같이 실물체(20d)의 주위를 돌아 측면(211)에 도달하도록 해도 된다. 또한, 정보 처리 장치(10)는, 테이블 디스플레이(133) 상에 있어서, 측면(211)의 주위에 강조 표시를 행하도록 해도 된다. 또한, 주위에 프로젝터가 마련되어 있는 경우, 정보 처리 장치(10)는, 프로젝터에 의해 실물체(20d)의 측면(211)에 화상을 투영하거나 하여 지시 대상을 강조하는 표시를 행하도록 해도 된다.
또한, 본 실시 형태에서는, 한번에 복수의 물체에 대해 가리키기를 행하는 것도 가능하다. 예를 들어, 정보 처리 장치(10)는, 유저가 특정한 제스처 또는 음성 등에 의해, 복수의 지시 대상을 인식하는 것이 가능하다. 이 경우, 정보 처리 장치(10)는, 예를 들어 복수의 대상 각각과, 당해 유저의 손끝을 연결시키는 선형의 화상을 표시한다. 또한, 리모트측에서 화면 너머로 복수의 대상이 지시되어 있는 경우에는, 정보 처리 장치(10)는, 윈도우 디스플레이(131) 및 테이블 디스플레이(133)에 걸쳐, 복수의 대상 각각과, 윈도우 디스플레이(131)에 비치는 통신 상대의 손끝을 연결시키는 선형의 화상을 표시하도록 해도 된다.
<4-2. 음성에 따른 지시 대상의 범위의 조정>
본 실시 형태에 따른 정보 처리 장치(10)는, 유저의 발화 음성에 따라, 지시 대상의 범위를 조정하는 것이 가능하다. 상술한 각 실시 형태에서는, 일례로서 실물체(실물체 전체 또는 실물체의 일부)를 가리키고 있는 경우에 대해 설명하였지만, 본 개시는 이에 한정되지 않고, 특정의 범위를 지시하는 것도 가능하다. 이하, 도 10을 참조하여 설명한다.
도 10은, 예를 들어 유저 B가 화면 너머로 음성과 함께 특정 범위를 지시하는 경우에 대해 설명하는 도면이다. 정보 처리 장치(10)는, 윈도우 디스플레이(131)에 대한 유저의 가리키는 제스처 및 발화 음성의 인식에 따라 지시 대상을 인식하고, 윈도우 디스플레이(131)에 있어서 인식 결과를 피드백한다. 예를 들어 도 10에 도시하는 바와 같이, 유저가 「거기」라고 말하여 가리켰을 경우, 정보 처리 장치(10)는, 비교적 좁은 한 점을 지시 대상의 범위로 인식하고, 인식된 범위에 화상(301)을 표시하여 피드백한다. 또한, 정보 처리 장치(10)는, 유저가 「그 근처」라고 말하여 가리켰을 경우, 「거기」보다는 넓은 범위를 지시 대상의 범위로서 인식하고, 인식된 범위에 화상(302)을 표시하여 피드백한다. 또한, 정보 처리 장치(10)는, 유저가 「그 쪽」이라고 말하여 가리켰을 경우, 「그 근처」보다 넓은 범위를 지시 대상의 범위로서 인식하고, 인식된 범위에 화상(303)을 표시하여 피드백한다. 이와 같이, 본 실시 형태에서는, 일례로서 지시어에 따라 지시 대상의 범위의 크기를 조정하는 것이 가능하다.
또한, 도 10에 도시하는 예에서는, 통신 상대측에 존재하는 실물체(20f)의 일부나 그 주변의 범위를, 음성에 의해 조정하고 있지만, 본 실시 형태는 이에 한정되지 않고, 실물체나 가상 물체의 유무에 상관없이, 상대측의 테이블 상의 특정 범위나, 로컬측의 테이블(테이블 디스플레이(133)) 상의 특정 범위 또는 윈도우 디스플레이(131) 상의 특정 범위를 지시하는 것도 가능하다.
또한, 지시어에 따른 지시 대상의 범위의 크기나 지시어는, 유저가 미리 임의로 설정하는 것도 가능하다.
<4-3. 공유 모드 시에 있어서의 표시 제어>
다음으로, 통신 접속되는 양자의 테이블 디스플레이(133)의 표시가 공유되는 공유 모드 시에 있어서의 가리키기 동작에 따른 표시 제어에 대해 설명한다. 공유 모드란, 예를 들어 도 11에 도시하는 바와 같이, 통신 접속되는 양자의 테이블 디스플레이(133(133A, 133B))에 동일 화상(가상 물체(22))이 표시되어(가상 물체(22)의 배치는, 상하 또는 좌우가 반대여도 됨), 한쪽에서 가상 물체(22)의 표시 위치 등을 조작한 경우, 다른 쪽 동일 가상 물체(22)도 (실시간으로)마찬가지로 변화된다(조작이 상대측에 반영된다). 이에 의해, 원격지에 있는 복수 유저가, 테이블 디스플레이(133)를 사용하여, 보다 효율적으로, 공동 작업을 행하는 것이 가능해진다.
또한, 윈도우 디스플레이(131)에는, 통신 상대만이 표시되어, 눈앞의 테이블(즉, 통신 상대측의 테이블 디스플레이(133))이 투영되지 않는 화각으로 함으로써, 마치 하나의 테이블(테이블 디스플레이(133))을 둘러싸고 작업을 행하고 있는 감각을 얻을 수 있다.
이 경우, 서로의 테이블 디스플레이(133)에는 같은 화상(가상 물체)이 표시되고 있기 때문에, 자신의 책상에 있는 것을 가리켰을 경우, 통신 상대측에서 보면, 로컬의 오브젝트를 가리키고 있는 것처럼 보이지 않는 경우가 생긴다. 그래서, 본 실시 형태에서는, 로컬의 오브젝트를 가리키고 있음을 명확히 하는 화상 처리를 행함으로써, 공유 모드의 경우에서도 위화감이 없는 가리키기 동작을 실현한다. 이하, 도 12를 참조하여 구체적으로 설명한다.
도 12는, 본 실시 형태에 따른 공유 모드 시에 있어서의 지시 대상을 명확히하는 표시 제어에 대해 설명하는 도면이다.
도 12의 좌측에 도시하는 바와 같이, 윈도우 디스플레이(131)에 비치는 유저 B가, 자신의 책상(유저 B측의 테이블 디스플레이(133))에 표시되고 있는 가상 물체를 가리키고 있을 때, 눈앞이 화각으로부터 벗어나, 로컬측(유저 A측)의 가상 물체를 가리키고 있는 것처럼 보이지는 않는다. 공유 모드 시, 양자의 테이블 디스플레이(133)에는 같은 가상 물체가 표시되고 있기 때문에, 유저 B가 자신의 책상에 표시되고 있는 가상 물체를 가리키고 있을 때에는, 유저 A측의 책상에 표시되어 있는 동일 가상 물체(예를 들어 가상 물체(22a))를 가리키고 있는 것처럼 보이는 것이 바람직하다.
그래서, 도 12 우측에 도시하는 바와 같이, 정보 처리 장치(10)는, 윈도우 디스플레이(131)의 영상 중에 유저의 손끝(지시체)이 비치지 않기 때문에, 가리키는 화상(310)을 중첩 표시함과 함께, 당해 가리키는 화상(310)과, 지시 대상의 가상 물체(22a)를 연결하는 선형의 화상(30g)을, 윈도우 디스플레이(131)와 테이블 디스플레이(133)에 걸쳐 표시한다. 지시 대상의 정보는, 통신 상대측으로부터 수신하는 지시 대상 정보에 기초하여 판단될 수 있다.
이에 의해, 공유 모드 시에 있어서 눈앞이 표시되고 있지 않은 경우에도, 리모트측(통신 상대측)의 유저가 무엇을 가리키고 있는지를 직감적으로 파악하는 것이 가능해진다.
<<5. 정리>>
상술한 바와 같이, 본 개시의 실시 형태에 따른 정보 처리 시스템에서는, 영상을 통한 커뮤니케이션에 있어서 통신 상대가 지시하는 대상을 직감적으로 파악하는 것이 가능해진다.
또한, 한쪽의 측으로부터 복수 사람이 각각 화면 너머로 가리키고 있는 경우도 마찬가지로, 각 유저의 손끝과, 지시 대상을 각각 연결하는 화상을 표시하도록 해도 된다.
이상, 첨부 도면을 참조하면서 본 개시의 바람직한 실시 형태에 대해 상세하게 설명하였지만, 본 기술은 이러한 예에 한정되지 않는다. 본 개시의 기술 분야에 있어서의 통상의 지식을 갖는 사람이라면, 특허청구의 범위에 기재된 기술적 사상의 범주 내에서, 각종 변경예 또는 수정예에 상도할 수 있는 것은 명백하며, 이들에 대해서도, 당연히 본 개시의 기술적 범위에 속하는 것이라고 이해된다.
예를 들어, 상술한 정보 처리 장치(10)에 내장되는 CPU, ROM 및 RAM 등의 하드웨어에, 정보 처리 장치(10)의 기능을 발휘시키기 위한 컴퓨터 프로그램도 작성 가능하다. 또한, 당해 컴퓨터 프로그램을 기억시킨 컴퓨터 판독 가능한 기억 매체도 제공된다.
또한, 본 명세서에 기재된 효과는, 어디까지나 설명적 또는 예시적인 것이며 한정적이지는 않다. 즉, 본 개시에 관한 기술은, 상기 효과와 함께 또는 상기 효과 대신에, 본 명세서의 기재로부터 당업자에게는 명확한 다른 효과를 발휘할 수 있다.
또한, 본 기술은 이하와 같은 구성도 취할 수 있다.
(1)
통신 상대측으로부터 취득한 통신 상대측 공간의 촬상 화상을 표시부에 표시하는 쌍방향 통신을 제어하고,
한쪽 인물이 사용하고 있는 지시체와, 당해 인물이 지시하고 있는 대상을 관련짓는 화상을 표시하도록 제어하는 제어부를 구비하는, 정보 처리 장치.
(2)
상기 제어부는,
상기 관련짓는 화상으로서, 상기 지시체와 상기 대상을 연결하는 선형의 화상을 표시하는, 상기 (1)에 기재된 정보 처리 장치.
(3)
상기 지시체는, 상기 인물의 손가락인, 상기 (1) 또는 (2)에 기재된 정보 처리 장치.
(4)
상기 제어부는,
상기 촬상 화상을 표시하는 상기 표시부에 비치는 통신 상대가 가리키고 있는 손끝과, 당해 통신 상대가 지시하고 있는 상기 대상을 연결하는 선형의 화상을 표시하는, 상기 (1) 내지 (3) 중 어느 한 항에 기재된 정보 처리 장치.
(5)
상기 대상은, 실물체이며,
상기 제어부는,
상기 실물체가 적재되어 있는 제2 표시부와, 상기 촬상 화상이 표시되는 제1 표시부에 걸쳐, 상기 지시체와 상기 실물체를 연결하는 선형의 화상을 표시하는 제어를 행하는, 상기 (1) 내지 (4) 중 어느 한 항에 기재된 정보 처리 장치.
(6)
상기 대상은, 실물체이며,
상기 제어부는,
상기 촬상 화상이 표시되는 상기 표시부에 있어서의 상기 지시체와 상기 대상을 연결하는 선형의 표시 화상에 연결되는, 상기 실물체가 적재되어 있는 장소를 연결하는 선형의 투영 화상을, 프로젝터에 의해 투영하는 제어를 행하는, 상기 (1) 내지 (4) 중 어느 한 항에 기재된 정보 처리 장치.
(7)
상기 대상은, 가상 물체이며,
상기 제어부는,
상기 가상 물체가 표시되고 있는 제2 표시부와, 상기 촬상 화상이 표시되는 제1 표시부에 걸쳐, 상기 지시체와 상기 가상 물체를 연결하는 선형의 화상을 표시하는 제어를 행하는, 상기 (1) 내지 (4) 중 어느 한 항에 기재된 정보 처리 장치.
(8)
상기 제어부는,
상기 통신 상대측으로부터 수신된 지시 대상 정보에 기초하여, 상기 표시부에 비치는 통신 상대가 지시하고 있는, 로컬측에 존재하는 대상을 특정하는, 상기 (1) 내지 (7) 중 어느 한 항에 기재된 정보 처리 장치.
(9)
상기 제어부는,
상기 통신 상대측으로부터 수신된 지시 대상 정보에 기초하여, 상기 표시부에 비치는 통신 상대가 지시하고 있는, 로컬측에 존재하는 대상을 특정하고,
상기 표시부에 상기 지시체가 비치지 않는 경우, 상기 지시체의 가상 화상을 중첩 표시하고, 당해 가상 화상의 지시체와, 상기 특정의 대상을 연결하는 선형의 화상을 표시하는 제어를 행하는, 상기 (1) 내지 (8) 중 어느 한 항에 기재된 정보 처리 장치.
(10)
상기 제어부는,
상기 표시부에 비치는 상기 통신 상대측의 대상에 대해, 당해 대상의 숨김 면을 나타내는 가상 화상을 중첩 표시하고,
상기 가상 화상에 대한 유저의 지시 동작에 기초하여, 당해 유저가 지시하고 있는 면을 특정하는, 상기 (1) 내지 (9) 중 어느 한 항에 기재된 정보 처리 장치.
(11)
상기 제어부는,
상기 통신 상대측으로부터 수신된 지시 대상 정보에 기초하여, 상기 표시부에 비치는 통신 상대가 지시하고 있는, 로컬측에 존재하는 대상의 면을 특정하고,
상기 표시부에 비치는 상기 통신 상대가 사용하는 상기 지시체와 상기 특정한 상기 대상의 면을 연결하는 선형의 화상을 표시하는, 상기 (1) 내지 (10) 중 어느 한 항에 기재된 정보 처리 장치.
(12)
상기 제어부는,
유저의 지시 동작에 기초하여, 당해 유저가 지시하고 있는 대상을 특정하는, 상기 (1) 내지 (11) 중 어느 한 항에 기재된 정보 처리 장치.
(13)
상기 표시부는,
상기 특정한 대상을 명시하는 표시를 행하는, 상기 (12)에 기재된 정보 처리 장치.
(14)
상기 표시부는,
또한 상기 유저의 음성에 기초하여, 상기 유저가 지시하고 있는 대상의 범위를 특정하는, 상기 (12) 또는 (13)에 기재된 정보 처리 장치.
(15)
프로세서가,
통신 상대측으로부터 취득한 통신 상대측 공간의 촬상 화상을 표시부에 표시하는 쌍방향 통신을 제어하는 것과,
한쪽 인물이 사용하고 있는 지시체와, 당해 인물이 지시하고 있는 대상을 관련짓는 화상을 표시하도록 제어하는 것
을 포함하는, 정보 처리 방법.
(16)
컴퓨터를,
통신 상대측으로부터 취득한 통신 상대측 공간의 촬상 화상을 표시부에 표시하는 쌍방향 통신을 제어하고,
한쪽 인물이 사용하고 있는 지시체와, 당해 인물이 지시하고 있는 대상을 관련짓는 화상을 표시하도록 제어하는 제어부로서 기능시키기 위한, 프로그램.
1: 정보 처리 시스템
3: 네트워크
10: 정보 처리 장치
20: 실물체
22: 가상 물체
100: 제어부
101: 입력 정보 인식부
102: 지시 대상 인식부
103: 지시 대상 해석부
104: 지시체 인식부
105: 표시 제어부
106: 음성 출력 제어부
110: 통신부
120: 입력부
121: 센서부
123: 카메라
125: 마이크로 폰
130: 출력부
131: 윈도우 디스플레이
133: 테이블 디스플레이
135: 스피커
140: 기억부

Claims (16)

  1. 통신 상대측으로부터 취득한 통신 상대측 공간의 촬상 화상을 표시부에 표시하는 쌍방향 통신을 제어하고,
    한쪽 인물이 사용하고 있는 지시체와, 당해 인물이 지시하고 있는 대상을 관련짓는 화상을 표시하도록 제어하는 제어부를 구비하는, 정보 처리 장치.
  2. 제1항에 있어서, 상기 제어부는,
    상기 관련짓는 화상으로서, 상기 지시체와 상기 대상을 연결하는 선형의 화상을 표시하는, 정보 처리 장치.
  3. 제1항에 있어서, 상기 지시체는, 상기 인물의 손가락인, 정보 처리 장치.
  4. 제1항에 있어서, 상기 제어부는,
    상기 촬상 화상을 표시하는 상기 표시부에 비치는 통신 상대가 가리키고 있는 손끝과, 당해 통신 상대가 지시하고 있는 상기 대상을 연결하는 선형의 화상을 표시하는, 정보 처리 장치.
  5. 제1항에 있어서, 상기 대상은, 실물체이며,
    상기 제어부는,
    상기 실물체가 적재되어 있는 제2 표시부와, 상기 촬상 화상이 표시되는 제1 표시부에 걸쳐, 상기 지시체와 상기 실물체를 연결하는 선형의 화상을 표시하는 제어를 행하는, 정보 처리 장치.
  6. 제1항에 있어서, 상기 대상은, 실물체이며,
    상기 제어부는,
    상기 촬상 화상이 표시되는 상기 표시부에 있어서의 상기 지시체와 상기 대상을 연결하는 선형의 표시 화상에 연결되는, 상기 실물체가 적재되어 있는 장소를 연결하는 선형의 투영 화상을, 프로젝터에 의해 투영하는 제어를 행하는, 정보 처리 장치.
  7. 제1항에 있어서, 상기 대상은, 가상 물체이며,
    상기 제어부는,
    상기 가상 물체가 표시되고 있는 제2 표시부와, 상기 촬상 화상이 표시되는 제1 표시부에 걸쳐, 상기 지시체와 상기 가상 물체를 연결하는 선형의 화상을 표시하는 제어를 행하는, 정보 처리 장치.
  8. 제1항에 있어서, 상기 제어부는,
    상기 통신 상대측으로부터 수신된 지시 대상 정보에 기초하여, 상기 표시부에 비치는 통신 상대가 지시하고 있는, 로컬측에 존재하는 대상을 특정하는, 정보 처리 장치.
  9. 제1항에 있어서, 상기 제어부는,
    상기 통신 상대측으로부터 수신된 지시 대상 정보에 기초하여, 상기 표시부에 비치는 통신 상대가 지시하고 있는, 로컬측에 존재하는 대상을 특정하고,
    상기 표시부에 상기 지시체가 비치지 않는 경우, 상기 지시체의 가상 화상을 중첩 표시하고, 당해 가상 화상의 지시체와, 상기 특정의 대상을 연결하는 선형의 화상을 표시하는 제어를 행하는, 정보 처리 장치.
  10. 제1항에 있어서, 상기 제어부는,
    상기 표시부에 비치는 상기 통신 상대측의 대상에 대해, 당해 대상의 숨김 면을 나타내는 가상 화상을 중첩 표시하고,
    상기 가상 화상에 대한 유저의 지시 동작에 기초하여, 당해 유저가 지시하고 있는 면을 특정하는, 정보 처리 장치.
  11. 제1항에 있어서, 상기 제어부는,
    상기 통신 상대측으로부터 수신된 지시 대상 정보에 기초하여, 상기 표시부에 비치는 통신 상대가 지시하고 있는, 로컬측에 존재하는 대상의 면을 특정하고,
    상기 표시부에 비치는 상기 통신 상대가 사용하는 상기 지시체와 상기 특정한 상기 대상의 면을 연결하는 선형의 화상을 표시하는, 정보 처리 장치.
  12. 제1항에 있어서, 상기 제어부는,
    유저의 지시 동작에 기초하여, 당해 유저가 지시하고 있는 대상을 특정하는, 정보 처리 장치.
  13. 제12항에 있어서, 상기 표시부는,
    상기 특정한 대상을 명시하는 표시를 행하는, 정보 처리 장치.
  14. 제12항에 있어서, 상기 표시부는,
    또한 상기 유저의 음성에 기초하여, 상기 유저가 지시하고 있는 대상의 범위를 특정하는, 정보 처리 장치.
  15. 프로세서가,
    통신 상대측으로부터 취득한 통신 상대측 공간의 촬상 화상을 표시부에 표시하는 쌍방향 통신을 제어하는 것과,
    한쪽 인물이 사용하고 있는 지시체와, 당해 인물이 지시하고 있는 대상을 관련짓는 화상을 표시하도록 제어하는 것
    을 포함하는, 정보 처리 방법.
  16. 컴퓨터를,
    통신 상대측으로부터 취득한 통신 상대측 공간의 촬상 화상을 표시부에 표시하는 쌍방향 통신을 제어하고,
    한쪽 인물이 사용하고 있는 지시체와, 당해 인물이 지시하고 있는 대상을 관련짓는 화상을 표시하도록 제어하는 제어부로서 기능시키기 위한, 프로그램.
KR1020207032697A 2018-05-31 2019-03-22 정보 처리 장치, 정보 처리 방법 및 프로그램 KR20210015780A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018104642A JP2021141346A (ja) 2018-05-31 2018-05-31 情報処理装置、情報処理方法、およびプログラム
JPJP-P-2018-104642 2018-05-31
PCT/JP2019/012156 WO2019230155A1 (ja) 2018-05-31 2019-03-22 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
KR20210015780A true KR20210015780A (ko) 2021-02-10

Family

ID=68697441

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207032697A KR20210015780A (ko) 2018-05-31 2019-03-22 정보 처리 장치, 정보 처리 방법 및 프로그램

Country Status (6)

Country Link
US (1) US11307670B2 (ko)
EP (1) EP3806454A4 (ko)
JP (1) JP2021141346A (ko)
KR (1) KR20210015780A (ko)
CN (1) CN112166601B (ko)
WO (1) WO2019230155A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006041884A (ja) 2004-07-27 2006-02-09 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06245207A (ja) * 1993-02-16 1994-09-02 Nippon Telegr & Teleph Corp <Ntt> 投影機能を有するテレビ電話装置
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7474983B2 (en) * 2005-01-05 2009-01-06 Massachusetts Institute Of Technology Method for object identification and sensing in a bounded interaction space
US9946076B2 (en) * 2010-10-04 2018-04-17 Gerard Dirk Smits System and method for 3-D projection and enhancements for interactivity
JP6056178B2 (ja) * 2012-04-11 2017-01-11 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
WO2014076236A1 (en) * 2012-11-15 2014-05-22 Steen Svendstorp Iversen Method of providing a digitally represented visual instruction from a specialist to a user in need of said visual instruction, and a system therefor
JP5877824B2 (ja) 2013-09-20 2016-03-08 ヤフー株式会社 情報処理システム、情報処理方法および情報処理プログラム
JP6318542B2 (ja) * 2013-10-24 2018-05-09 富士通株式会社 表示制御方法、表示制御プログラムおよび情報処理装置
US9883138B2 (en) * 2014-02-26 2018-01-30 Microsoft Technology Licensing, Llc Telepresence experience
EP3163403A4 (en) * 2014-06-25 2018-02-28 Sony Corporation Display control device, display control method, and program
WO2018074262A1 (ja) * 2016-10-20 2018-04-26 ソニー株式会社 通信装置および通信方法、並びにプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006041884A (ja) 2004-07-27 2006-02-09 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム

Also Published As

Publication number Publication date
US11307670B2 (en) 2022-04-19
WO2019230155A1 (ja) 2019-12-05
US20210208687A1 (en) 2021-07-08
CN112166601B (zh) 2023-09-15
JP2021141346A (ja) 2021-09-16
EP3806454A1 (en) 2021-04-14
EP3806454A4 (en) 2021-08-04
CN112166601A (zh) 2021-01-01

Similar Documents

Publication Publication Date Title
US11340756B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US20220229524A1 (en) Methods for interacting with objects in an environment
US10921896B2 (en) Device interaction in augmented reality
US9535516B2 (en) System for projecting content to a display surface having user-controlled size, shape and location/direction and apparatus and methods useful in conjunction therewith
US9152226B2 (en) Input method designed for augmented reality goggles
US7092001B2 (en) Video conferencing system with physical cues
US10254847B2 (en) Device interaction with spatially aware gestures
US20130204408A1 (en) System for controlling home automation system using body movements
US11076125B2 (en) Information processing apparatus and information processing method
CN114391163A (zh) 手势检测系统和方法
US20180032139A1 (en) Interactive system control apparatus and method
JP2017004457A (ja) 仮想現実表示システム、仮想現実表示方法及びコンピュータプログラム
US11366631B2 (en) Information processing device, information processing method, and program
US10437415B2 (en) System, method, and device for controlling a display
KR20210015780A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
US20130187890A1 (en) User interface apparatus and method for 3d space-touch using multiple imaging sensors
EP3745237A1 (en) Rendering an image on a virtual user interface of an augmented or virtual reality device
KR102683868B1 (ko) 증강현실 서비스를 제공하는 스마트 미러 장치 및 그 동작방법
CN112445328A (zh) 映射控制方法及装置
GB2535730A (en) Interactive system control apparatus and method
JP6779715B2 (ja) 情報処理システム
JP2020177534A (ja) 透過型ウェアラブル端末
JP7504839B2 (ja) ユーザインターフェースシステム
WO2023181549A1 (ja) 制御装置、制御方法、プログラム
JP6833319B2 (ja) 情報処理プログラム、情報処理システム、情報処理方法、および情報処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X601 Decision of rejection after re-examination