KR20130115094A - 정보 처리 장치, 정보 처리 시스템 및 정보 처리 방법 - Google Patents

정보 처리 장치, 정보 처리 시스템 및 정보 처리 방법 Download PDF

Info

Publication number
KR20130115094A
KR20130115094A KR1020127032616A KR20127032616A KR20130115094A KR 20130115094 A KR20130115094 A KR 20130115094A KR 1020127032616 A KR1020127032616 A KR 1020127032616A KR 20127032616 A KR20127032616 A KR 20127032616A KR 20130115094 A KR20130115094 A KR 20130115094A
Authority
KR
South Korea
Prior art keywords
image
instruction
user
information
superimposed
Prior art date
Application number
KR1020127032616A
Other languages
English (en)
Other versions
KR101797260B1 (ko
Inventor
유스케 사카이
마사오 콘도
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20130115094A publication Critical patent/KR20130115094A/ko
Application granted granted Critical
Publication of KR101797260B1 publication Critical patent/KR101797260B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명의 정보 처리 장치는 촬영 화상에서의 지시 물체를 검출하는 검출부와, 상기 검출부에 의한 상기 지시 물체의 검출에 의거하여, 상기 촬영 화상에서 유저에 의거하여 설정된 지시 가능 범위를 이용함에 의해 결정된 상기 지시 물체의 위치를 나타내는, 지시 정보를 생성하는 생성부를 포함하고, 상기 지시 정보를 외부 장치에 송신하는 통신부를 포함한다.

Description

정보 처리 장치, 정보 처리 시스템 및 정보 처리 방법{INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING SYSTEM AND INFORMATION PROCESSING METHOD}
본 출원은 2010년 10월 4일에 일본에 출원된 일본 특허출원 번호 2010-224959호를 기초로 우선권을 주장하는 것이고, 그 전체 내용은 참고로 원용된다.
본 발명은, 정보 처리 장치, 정보 처리 시스템 및 정보 처리 방법에 관한 것이다.
종래, 원격에 위치하는 복수의 유저 단말 사이에서 화상이나 음성을 송수신하는 TV 회의 시스템이 알려져 있다. 그런데, TV 회의에서는, 복수의 유저 단말에 표시된 공통의 화상 정보를 참조하면서, 화상이나 음성을 송수신하는 기회가 종종 있다.
유저는, 화상 정보상의 임의의 위치를 다른 유저에 대해 지시하는 경우, 지시 위치에 마커를 표시시키기 위해 유저 단말을 조작하거나, 음성에 의해 지시 위치를 전달하거나 한다. 따라서, 유저는, 화상 정보상의 임의의 위치를 다른 유저에 대해 지시하기 위한 노력을 필요로 하는 경우가 있다.
그래서, 본 발명은, 화상 정보상의 임의의 위치를 다른 유저에 대해 용이하게 지시할 수 있는, 정보 처리 장치, 정보 처리 시스템 및 정보 처리 방법을 제공하려고 하는 것이다.
본 발명의 한 실시예에 따른 정보 처리 장치는, 촬영 화상에서의 지시 물체를 검출하는 검출부와, 상기 검출부에 의한 상기 지시 물체의 검출에 의거하여, 상기 촬영 화상에서 유저에 의거하여 설정된 지시 가능 범위를 이용함에 의해 결정된 상기 지시 물체의 위치를 나타내는, 지시 정보를 생성하는 생성부를 포함하고, 상기 지시 정보를 외부 장치에 송신하는 통신부를 포함한다.
본 발명의 다른 실시예에 따른 정보 처리 장치는, 촬영 화상에서 지시 물체의 정보를 포함하는, 상기 촬영 화상에서 유저에 의거하여 설정된 지시 가능 범위를 이용함에 의해 결정된 상기 지시 물체의 위치를 나타내는, 지시 정보를 외부 장치로부터 수신하는 통신부와, 콘텐츠 화상에 중첩된 상기 지시 정보에 대응하는 지시 화상의 표시 스크린상에 표시를 제어하는 생성부를 포함한다.
본 발명에 의하면, 화상 정보상의 임의의 위치를 다른 유저에 대해 용이하게 지시할 수 있는, 정보 처리 장치, 정보 처리 시스템 및 정보 처리 방법을 제공할 수 있다.
도 1은 본 발명의 한 실시 형태에 관한 TV 회의 시스템의 구성을 도시하는 블록도.
도 2는 표시 시스템의 구성을 도시하는 도면.
도 3은 정보 처리 장치의 하드웨어 구성을 도시하는 블록도.
도 4는 TV 회의 시스템의 기본 동작의 순서를 도시하는 플로도(1/2).
도 5는 TV 회의 시스템의 기본 동작의 순서를 도시하는 플로도(2/2).
도 6a는 유저의 지시 화상을 포함하는 중첩 화상의 생성례를 도시하는 도면.
도 6b는 유저의 지시 화상을 포함하는 중첩 화상의 생성례를 도시하는 도면.
도 6c는 유저의 지시 화상을 포함하는 중첩 화상의 생성례를 도시하는 도면.
도 6d는 유저의 지시 화상을 포함하는 중첩 화상의 생성례를 도시하는 도면.
도 7a는 표시 장치의 전방에서의 유저의 위치와 지시 화상의 중첩 위치와의 관계를 도시하는 도면.
도 7b는 표시 장치의 전방에서의 유저의 위치와 지시 화상의 중첩 위치와의 관계를 도시하는 도면.
도 8은 중첩 화상의 생성례를 도시하는 도면(1/4).
도 9는 중첩 화상의 생성례를 도시하는 도면(2/4).
도 10은 중첩 화상의 생성례를 도시하는 도면(3/4).
도 11은 중첩 화상의 생성례를 도시하는 도면(4/4).
도 12a는 복수의 유저의 지시 화상을 포함하는 중첩 화상의 생성례를 도시하는 도면.
도 12b는 복수의 유저의 지시 화상을 포함하는 중첩 화상의 생성례를 도시하는 도면.
도 12c는 복수의 유저의 지시 화상을 포함하는 중첩 화상의 생성례를 도시하는 도면.
도 13a는 복수의 유저의 지시 화상을 포함하는 중첩 화상의 생성의 변형례를 도시하는 도면.
도 13b는 복수의 유저의 지시 화상을 포함하는 중첩 화상의 생성의 변형례를 도시하는 도면.
도 13c는 복수의 유저의 지시 화상을 포함하는 중첩 화상의 생성의 변형례를 도시하는 도면.
도 14는 지시 가능 범위의 설정례를 도시하는 도면.
도 15a는 지시 가능 범위에 의거한 포인팅 동작의 한 예를 도시하는 도면.
도 15b는 지시 가능 범위에 의거한 포인팅 동작의 한 예를 도시하는 도면.
도 16a는 지시 가능 범위에 의거한 포인팅 동작의 다른 예를 도시하는 도면.
도 16b는 지시 가능 범위에 의거한 포인팅 동작의 다른 예를 도시하는 도면.
도 17은 다른 양태의 지시 화상을 포함하는 중첩 화상의 한 예를 도시하는 도면(1/2).
도 18a는 다른 양태의 지시 화상을 포함하는 중첩 화상의 한 예를 도시하는 도면(2/2).
도 18b는 다른 양태의 지시 화상을 포함하는 중첩 화상의 한 예를 도시하는 도면(2/2).
도 19는 TV 회의 시스템의 다른 구성을 도시하는 블록도.
이하에 첨부 도면을 참조하면서, 본 발명의 양호한 실시의 형태에 관해 상세히 설명한다. 또한, 본 명세서 및 도면에서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 관해서는, 동일한 부호를 붙임에 의해 중복 설명을 생략한다.
도 1은 본 발명의 한 실시 형태에 관한 TV 회의 시스템(정보 처리 시스템)의 구성을 도시하는 블록도이다. 도 1에 도시하는 바와 같이, TV 회의 시스템은, 표시 시스템(100)과, 표시 시스템(100)에 접속된 정보 처리 장치(200)로 이루어지는 복수의 유저 단말을 갖는다. 표시 시스템(100)은, 도 2에 도시하는 바와 같이, 디스플레이, 프로젝터 등의 표시 장치(102), 비디오 카메라, 스틸 카메라 등의 촬상 장치(104), 스피커 및 마이크로폰(도시 않함) 등으로 이루어진다.
예를 들면, 유저(A)에 의해 이용되는 제1의 유저 단말은, 표시 시스템(100)과 정보 처리 장치(200)로 이루어진다. 다른 복수의 유저에 의해 이용되는 제2의 유저 단말은, 표시 시스템(400)과 정보 처리 장치(500)로 이루어진다. 또다른 유저에 의해 이용되는 제3의 유저 단말은, 표시 시스템(600)과 정보 처리 장치(700)로 이루어진다. 복수의 유저 단말은, 통신 서버(300)를 갖는 통신 회선(800)을 통하여 접속되어 있다.
표시 장치(102)는, 콘텐츠 화상(IC)을 표시하고, 촬상 장치(104)는, 표시 장치(102)의 전방에 위치하는 유저를 촬영한다. 콘텐츠 화상(IC)은, 문자, 도형, 기호, 이미지, 및 이들의 조합 등을 포함하는 임의의 화상이고, 표시 장치(102)의 표시 화면상의 임의의 영역에 표시된다. 표시 장치(102)의 전방이란, 표시 장치(102)의 표시 화면의 전방을 의미한다.
정보 처리 장치(200)는, 촬영 화상 입력부(202), 검출부(204), 인식부(206), 경면 화상(mirror image) 생성부(208), 통신부(210), 지시 화상 생성부(212), 중첩 화상 생성부(214), 표시 제어부(216) 및 기억부(218)를 갖는다.
촬영 화상 입력부(202)는, 유저를 촬영한 촬영 화상(I1)이 촬상 장치(104)로부터 입력된다. 촬영 화상 입력부(202)는, 촬영 화상(I1)을 검출부(204), 경면 화상 생성부(208), 통신부(210)에 공급한다. 촬영 화상(I1)은, 표시 장치(102)의 전방의 소정의 범위, 즉 촬상 장치(104)의 화각의 범위에 위치하는 물체를 촬영한 화상이다. 촬영 화상(I1)은, 동화상이지만, 경우에 응하여서는 정지화상이라도 좋다. 유저는, 통상, 표시 장치(102)에 표시되는 콘텐츠 화상(IC)을 보고 있다. 따라서, 촬영 화상(I1)은, 통상, 유저의 얼굴(F)을 거의 정면에서 촬영한 화상을 포함하고 있다.
검출부(204)는, 촬영 화상(I1)으로부터 유저의 얼굴(F)을 검출하고, 검출 결과로부터 촬영 화상(I1)중에서의 얼굴(F)의 위치를 나타내는 위치 정보를 생성한다. 검출부(204)는, 선택적으로, 유저가 임의의 위치를 지시하는 지시 물체(H)를 촬영 화상(I1)으로부터 검출하고, 검출 결과로부터 촬영 화상(I1)중에서의 지시 물체(H)의 위치를 나타내는 위치 정보를 생성한다. 검출부(204)는, 검출 결과를 인식부(206), 통신부(210), 지시 화상 생성부(212)에 공급하고, 위치 정보를 통신부(210), 지시 화상 생성부(212)에 공급한다. 검출부(204)는, 기억부(218) 등에 격납된 특징량 정보에 의거하여, 일반적인 화상 검출 기술을 이용하여, 유저의 얼굴(F)이나 지시 물체(H)를 검출한다. 지시 물체(H)란, 유저의 손가락, 손바닥, 손 등, 지시봉 등, 임의의 위치를 지시하기 위해 통상 이용되는 신체 부위 또는 도구이다.
인식부(206)는, 얼굴(F)의 검출 결과로부터 유저를 인식하고, 선택적으로, 지시 물체(H)의 검출 결과로부터 지시 물체(H)의 형상을 인식한다. 인식부(206)는, 인식 결과를 통신부(210), 지시 화상 생성부(212)에 공급한다. 인식부(206)는, 기억부(218) 등에 격납된 인식 정보에 의거하여, 일반적인 화상 인식 기술을 이용하여, 유저나 지시 물체(H)의 형상을 인식한다. 지시 물체(H)의 형상이란, 유저의 손의 형상, 손 방향 등이고, 상세는 후술하지만, 지시 화상(I3)의 표시 양태를 결정하기 위해 이용된다. 또한, 인식부(206)는, 유저나 지시 물체(H)의 인식을 행하지 않는 경우에는 생략되어도 좋다.
경면 화상 생성부(208)는, 촬영 화상(I1)으로부터 경면 화상(I2)을 생성하고, 지시 화상 생성부(212)에 공급한다. 경면 화상 생성부(208)는, 다른 유저의 촬영 화상(I1)의 경면 화상(I2)도 생성한다. 경면 화상(I2)이란, 촬영 화상(I1)을 좌우 반전시킨 거울면 화상으로서의 화상을 의미한다.
통신부(210)는, 유저의 촬영 화상(I1), 검출 결과, 인식 결과 및 위치 정보를, 통신 회선(800)을 통하여 다른 유저 단말에 송신하는 송신부로서 기능한다. 또한, 통신부(210)는, 다른 유저의 촬영 화상(I1), 검출 결과, 인식 결과 및 위치 정보를, 통신 회선(800)을 통하여 다른 유저 단말로부터 수신하는 수신부로서 기능한다. 통신부(210)는, 촬영 화상 입력부(202)로부터 공급된 촬영 화상(I1)을 인코드하여 송신하고, 수신한 인코드 데이터를 촬영 화상(I1)으로 디코드하여 경면 화상 생성부(208)에 공급한다.
지시 화상 생성부(212)는, 검출 결과, 인식 결과, 위치 정보 및 경면 화상(I2)에 의거하여 지시 화상(I3)을 생성하고, 중첩 화상 생성부(214)에 공급한다. 지시 화상 생성부(212)는, 다른 유저의 촬영 화상(I1)의 지시 화상(I3)도 생성한다. 지시 화상 생성부(212)는, 선택적으로, 기억부(218)에 격납된 유저 식별 정보를 이용하여 지시 화상(I3)을 생성한다.
지시 화상(I3)은, 유저가 지시 물체(H)에 의해 지시하는 지시 위치를 특정 가능한 정보와, 유저를 식별 가능한 정보를 포함하고 있다. 지시 위치를 특정 가능한 정보란, 촬영 화상(I1)에 포함되는 지시 물체(H)의 화상, 지시 물체(H)의 검출 결과로부터 특정된 지시 위치를 나타내는 화상 등이다. 유저를 식별 가능한 정보란, 촬영 화상(I1)에 포함되는 유저의 얼굴(F)의 화상, 유저에게 할당된 식별 정보(유저의 이름, 캐릭터 등) 등이다. 또한, 지시 화상(I3)의 상세에 관해서는 후술한다.
중첩 화상 생성부(214)는, 콘텐츠 화상(IC), 지시 화상(I3) 및 위치 정보에 의거하여 중첩 화상(I4)을 생성하고, 표시 제어부(216)에 공급한다. 중첩 화상 생성부(214)는, 유저와 다른 유저의 지시 화상(I3)을 포함하는 중첩 화상(I4)도 생성하고, 경우에 응하여서는 다른 유저의 지시 화상(I3)만을 포함하는 중첩 화상(I4)을 생성하여도 좋다. 중첩 화상(I4)이란, 표시 장치(102)에 표시되어 있는 콘텐츠 화상(IC)에, 위치 정보에 의거하여 지시 화상(I3)을 중첩시킨 화상이다. 또한, 중첩 화상(I4)의 상세에 관해서는 후술한다.
표시 제어부(216)는, 콘텐츠 화상(IC)을 표시 장치(102)에 표시시킨다. 또한, 콘텐츠 화상(IC)에 지시 화상(I3)을 중첩시킨 중첩 화상(I4)을 표시 장치(102)에 표시시킨다. 기억부(218)는, 유저의 얼굴(F)이나 지시 물체(H)의 검출에 이용되는 특징량 정보를 격납하고 있다. 기억부(218)는, 유저나 지시 물체(H)의 형상의 인식에 이용되는 인식 정보를 격납하고 있다. 기억부(218)는, 지시 화상(I3)의 생성에 이용되는 화상(지시 위치를 나타내는 화상, 유저를 나타내는 캐릭터 등), 문자(유저의 이름 등) 등을 격납하고 있다.
또한, 도 1에 도시하는 구성에서는, 촬영 화상(I1)을 이용하여 화상 검출 및 화상 인식이 행하여지고 있다. 그러나, 촬영 화상(I1)에 대신하여, 경면 화상(I2)을 이용하여 화상 검출 및 화상 인식이 행하여져도 좋다. 이 경우, 화상 검출이나 화상 인식에 이용되는 정보는, 경면 화상(I2)에 대응하도록 준비된다.
또한, 도 1에 도시하는 구성에서는, 촬영 화상(I1)과 함께, 검출 결과, 인식 결과 및 위치 정보가 다른 유저 단말에 송신되고 있다. 그러나, 촬영 화상(I1)(또는 경면 화상(I2))만을 다른 유저 단말에 송신하고, 촬영 화상(I1)을 수신한 유저 단말에 의해, 화상 검출, 화상 인식 및 위치 정보의 생성이 행하여져도 좋다. 또한, 촬영 화상(I1)(또는 경면 화상(I2))만을 통신 서버(300)에 송신하고, 촬영 화상(I1)(또는 경면 화상(I2))을 수신한 통신 서버(300)에 의해, 화상 검출, 화상 인식 및 위치 정보의 생성을 행하고, 처리 결과가 다른 유저 단말에 송신되어도 좋다.
도 3은, 정보 처리 장치(200)의 하드웨어 구성을 도시하는 블록도이다. 도 3에 도시하는 바와 같이, 정보 처리 장치(200)는, MPU(230), ROM(232), RAM(234), 기록 매체(236), 입/출력 인터페이스(238), 조작 입력 디바이스(240), 표시 디바이스(242), 통신 인터페이스(244) 및 버스(246)를 갖는다. 버스(246)는, MPU(230), ROM(232), RAM(234), 기록 매체(236), 입/출력 인터페이스(238), 통신 인터페이스(244)를 접속한다.
MPU(230)는, ROM(232), RAM(234), 기록 매체(236) 등에 격납된 프로그램을 판독하고, RAM(234)상에 전개하여 실행함으로써, 정보 처리 장치(200)의 동작을 제어한다. MPU(230)는, 특히, 검출부(204), 인식부(206), 경면 화상 생성부(208), 지시 화상 생성부(212), 중첩 화상 생성부(214), 표시 제어부(216)로서 기능한다. RAM(234)은, 기억부(218)로서 기능한다.
입/출력 인터페이스(238)는, AV 시스템과의 사이에서 데이터 등을 입출력한다. 입/출력 인터페이스(238)는, 특히, 촬영 화상 입력부(202), 표시 제어부(216)로서 기능한다. 조작 입력 디바이스(240)는, 키보드, 마우스, 터치 패널 등으로 이루어지고, 디바이스를 통하여 입력된 조작 정보를 입/출력 인터페이스(238)를 통하여 MPU(230)에 공급한다. 표시 디바이스(242)는, 예를 들면 시스템의 동작 상태를 나타내는 화상 정보, 문자 정보 등을 표시한다. 통신 인터페이스(244)는, 통신 회선(800)을 통하여 통신 서버(300), 다른 정보 처리 장치(500, 700)와의 사이에서 데이터 등을 송수신한다. 통신 인터페이스(244)는, 특히 통신부(210)로서 기능한다.
도 4 및 도 5는, TV 회의 시스템의 기본 동작의 순서를 도시하는 플로도이다. 도 4 및 도 5는, 복수의 유저 단말에 공통의 콘텐츠 화상(IC)을 표시한 상태에서, 콘텐츠 화상(IC)상의 임의의 위치를 지시하는 순서를 나타내고 있다. 또한, 콘텐츠 화상(IC)상의 임의의 위치를 지시하는 동작을 포인팅 동작이라고도 칭한다. 이하에서는, 유저(A)의 유저 단말(A)이 유저(B)의 유저 단말(B)과의 사이에서 포인팅 동작을 행하는 경우를 상정하여 설명하지만, 3 이상의 유저 단말 사이에서 포인팅 동작을 행하는 경우에 관해서도 마찬가지로 설명된다.
우선, 유저 단말(A)에서는, 유저(A)가 포인팅 모드를 선택하였는지가 판정된다(스텝 S100). 포인팅 모드는, 유저 단말(A)을 조작하여 선택되어도 좋고, 소정의 제스처의 입력에 의해 선택되어도 좋다. 포인팅 모드가 선택되면, 유저 단말(A)에서는, 다른 유저 단말, 이 경우 유저 단말(B)과의 네트워크 접속이 판정된다(스텝 S102). 그리고, 네트워크에 미접속인 경우, 스텝 S108의 처리가 실행되고, 접속 완료인 경우, 스텝 S104의 처리가 실행된다.
우선, 도 6a부터 도 11을 참조하면서, 스텝 S102에서 네트워크에 미접속이라고 판정된 경우의 동작에 관해 설명한다. 도 6a 내지 도 6d는 유저의 지시 화상(I3)을 포함하는 중첩 화상(I4)의 생성례를 도시하는 도면이다. 또한, 후술하는 유저(A)의 지시 화상(Ia3) 등을 포함하는 중첩 화상(I4)을 생성하는 경우에 관해서도 마찬가지로 설명된다.
촬영 화상 입력부(202)는, 유저(A)를 촬영한 촬영 화상(I1)이 촬상 장치(104)로부터 입력된다(스텝 S200). 촬영 화상(I1)은, 표시 장치(102)의 전방의 소정의 범위, 즉 촬상 장치(104)의 화각의 범위에 위치하는 물체를 촬영한 화상이다. 도 6a에는, 지시 물체(H)의 한 예인 손가락과 얼굴(F)을 포함하는 유저의 상반신의 화상을 마주하여 좌측에 포착함과 함께, 배경 화상을 포착한 촬영 화상(I1)의 한 예가 도시되어 있다.
검출부(204)는, 촬영 화상(I1)으로부터 유저(A)의 얼굴(F)을 검출하고, 검출 결과로부터 촬영 화상(I1)상에서의 얼굴(F)의 위치를 나타내는 위치 정보를 생성한다. 선택적으로, 인식부(206)는, 얼굴(F)의 검출 결과로부터 유저(A)를 인식한다. 경면 화상 생성부(208)는, 촬영 화상(I1)으로부터 경면 화상(I2)을 생성한다(스텝 S202). 경면 화상(I2)은, 촬영 화상(I1)을 좌우 반전시킨 경상으로서의 화상이다. 도 6b에는, 도 6a에 도시한 촬영 화상(I1)의 경면 화상(I2)이 도시되어 있다. 경면 화상(I2)에는, 지시 물체(H)와 얼굴(F)을 포함하는 유저의 상반신의 화상이 마주하여 우측에 포함됨과 함께, 배경 화상이 포함되어 있다.
지시 화상 생성부(212)는, 검출 결과, 위치 정보 및 경면 화상(I2)에 의거하여 지시 화상(I3)을 생성한다(스텝 S204). 지시 화상(I3)은, 유저(A)가 지시 물체(H)에 의해 지시하는 지시 위치를 특정 가능한 정보와, 유저(A)를 식별 가능한 정보를 포함하는 화상이다. 도 6c에는, 도 6b에 도시한 경면 화상(I2)으로부터 생성된 지시 화상(I3)의 한 예가 도시되어 있다. 도 6c에 도시하는 지시 화상(I3)은, 얼굴(F)의 위치 정보에 의거하여, 경면 화상(I2)으로부터 유저의 얼굴(F)의 주변 영역을 특정하여 생성되어 있다. 지시 화상(I3)은, 경면 화상(I2)에 의거하여 주변 영역 이외의 화상을 투명하게 하거나, 주변 영역의 화상을 절출(clipping)하여 생성된다.
주변 영역은, 예를 들면, 얼굴(F)의 위치 정보에 의거하여, 얼굴(F)의 위치의 상하 좌우 어느 정도의 거리의 범위의 영역으로서 설정된다. 예를 들면, 주변 영역은, 얼굴(F)의 위치를 기준으로 하여 좌우로 각각 얼굴(F) 2개분의 폭, 상하로 얼굴(F) 2개분의 높이의 범위의 영역으로서 설정되어도 좋다. 주변 영역은, 얼굴(F)의 화상과 함께 지시 물체(H)의 화상을 포함하도록, 유저 단말 또는 유저에 의해 설정된다.
중첩 화상 생성부(214)는, 콘텐츠 화상(IC), 지시 화상(I3) 및 위치 정보에 의거하여 중첩 화상(I4)을 생성한다(스텝 S206). 표시 제어부(216)는, 중첩 화상(I4)을 표시 장치(102)에 표시시킨다(스텝 S208). 도 6d에는, 도 6b에 도시한 지시 화상(I3)을 콘텐츠 화상(IC)에 중첩시킨 중첩 화상(I4)의 한 예가 도시되어 있다. 도 6d에 도시하는 중첩 화상(I4)은, 경면 화상(I2)의 범위를 콘텐츠 화상(IC)의 범위에 대응시켜서, 얼굴(F)의 위치 정보에 의거하여 콘텐츠 화상(IC)에 지시 화상(I3)을 중첩시키고 있다. 또한, 중첩 화상(I4)은, 지시 화상(I3)의 표시 투과도를 높인 다음, 콘텐츠 화상(IC)에 지시 화상(I3)을 중첩시켜도 좋다.
도 7a 및 도 7b는, 표시 장치(102)의 전방에서의 유저의 위치와 지시 화상(I3)의 중첩 위치와의 관계를 도시하는 도면이다. 전술한 바와 같이, 중첩 화상(I4)은, 얼굴(F)의 위치 정보에 의거하여, 경면 화상(I2)으로부터 생성된 지시 화상(I3)을 콘텐츠 화상(IC)에 중첩시켜서 생성된다. 따라서, 도 7a에 도시하는 바와 같이, 유저가 표시 장치(102)의 전방에서 우측으로 이동하면, 콘텐츠 화상(IC)의 우측에 지시 화상(I3)이 중첩된다. 한편, 도 7b에 도시하는 바와 같이, 유저가 표시 장치(102)의 전방에서 좌측으로 이동하면, 콘텐츠 화상(IC)의 좌측에 지시 화상(I3)이 중첩된다.
또한, 중첩 화상(I4)은, 기본적으로, 경면 화상(I2)(또는 촬영 화상(I1))의 범위, 즉 촬상 장치(104)의 화각의 범위를 콘텐츠 화상(IC)의 범위에 대응시켜서 생성된다. 따라서, 도 7a 및 도 7b에 도시하는 바와 같이, 촬상 장치(104)가 표시 장치(102)의 정면 중앙에 배치되고, 촬상 장치(104)의 화각의 범위와, 콘텐츠 화상(IC)의 범위가 일치하는 경우, 유저가 콘텐츠 화상(IC)에 중첩된 지시 화상(I3)의 정면에 위치하게 된다.
한편, 예를 들면, 촬상 장치(104)의 화각의 범위가 콘텐츠 화상(IC)의 범위의 2배인 경우, 유저가 우측으로 거리(x)로 이동하면, 지시 화상(I3)이 우측으로 거리(x/2)로 이동한다. 또한, 촬상 장치(104)의 화각의 범위가 콘텐츠 화상(IC)의 범위의 1/2배인 경우, 유저가 우측으로 거리(x)로 이동하면, 지시 화상(I3)이 우측으로 거리(2x)로 이동한다.
도 8부터 도 11은, 중첩 화상(I4)의 생성례를 도시하는 도면이다. 또한, 도 8부터 도 11에서는, 유저(A)은, 콘텐츠 화상(IC)에 포함되는 소정의 영역(UFO의 이미지가 도시되어 있는 영역)을 지시 물체(H)로서의 유저(A)의 손가락에 의해 지시하고 있다.
도 8에 도시하는 중첩 화상(I4)에서는, 도 6d 및 도 7a, 도 7b에 도시한 중첩 화상(I4)과 마찬가지로, 유저(A)의 얼굴(F)의 주변 영역만을 나타내는 지시 화상(Ia3)이 콘텐츠 화상(IC)에 중첩되어 있다. 여기서, 중첩 화상(I4)에는, 주변 영역에 포함되는 배경 화상도 포함되어 있다.
도 9에 도시하는 중첩 화상(I4)에서는, 경면 화상(Ia2)으로부터 배경 화상을 제거한 지시 화상(Ia3)이 콘텐츠 화상(IC)에 중첩되어 있다. 지시 화상(I3)은, 유저(A)의 얼굴(F)의 검출 결과에 의거하여, 경면 화상(Ia2)에 포함되는 유저(A)의 얼굴(F)과 지시 물체(H)를 포함하는 상반신의 영역을 특정하고, 특정된 영역 이외의 화상을 투명하게 하거나, 특정된 영역의 화상을 절출하거나 하여 생성되어 있다.
도 10에 도시하는 중첩 화상(I4)에서는, 경면 화상(Ia2)으로부터 특정된 유저(A)의 얼굴(F)과 지시 물체(H)의 영역의 화상으로 이루어지는 지시 화상(Ia3)이 콘텐츠 화상(IC)에 중첩되어 있다. 지시 화상(Ia3)은, 특정된 영역 이외의 화상을 투명하게 하거나, 특정된 영역의 화상을 절출하거나 하여 생성되어 있다. 지시 화상(Ia3)을 생성하기 위해, 촬영 화상(Ia1)으로부터 유저(A)의 얼굴(F)과 지시 물체(H)가 검출되고, 유저(A)의 얼굴(F)과 지시 물체(H)의 위치 정보가 각각 생성된다.
도 11에 도시하는 중첩 화상(I4)에서는, 지시 위치를 나타내는 화상과, 유저(A)의 이름을 나타내는 문자로 이루어지는 지시 화상(Ia3)이 콘텐츠 화상(IC)에 중첩되어 있다. 이 경우, 지시 화상(Ia3)에는, 경면 화상(Ia2)에 포함되는 화상이 이용되고 있지 않다. 지시 화상(Ia3)을 생성하기 위해, 촬영 화상(Ia1)으로부터 유저(A)의 얼굴(F)과 함께 지시 물체(H)가 검출되고, 유저(A)의 얼굴(F)과 지시 물체(H)의 위치 정보가 각각 생성된다. 또한, 유저(A)의 얼굴(F)의 검출 결과로부터 유저(A)가 인식되고, 인식된 유저(A)의 이름을 나타내는 문자 「유저(A)」가 기억부(218)로부터 판독된다. 마찬가지로, 지시 물체(H)의 검출 결과로부터 지시 물체(H)의 형상이 인식되고, 인식된 지시 물체(H)의 형상에 응한 화상이 기억부(218)로부터 판독된다.
또한, 지시 화상(Ia3)에는, 유저(A)의 성명을 나타내는 문자에 대신하여, 유저(A)에 할당된 캐릭터(초상화 등)가 포함되어도 좋고, 유저(A)의 얼굴(F)의 영역의 화상이 포함되어도 좋다. 또한, 지시 화상(Ia3)에는, 지시 위치를 나타내는 화상에 대신하여, 지시 물체(H)의 영역의 화상이 포함되어도 좋다.
다음에, 스텝 S102에서 네트워크에 접속 와료로 판정된 경우의 동작에 관해 설명한다. 여기서, 유저 단말(A, B)에는, 공통의 콘텐츠 화상(IC)이 표시되어 있다고 한다. 유저 단말(A)의 통신부(210)는, 유저(A)의 촬영 화상(Ia1), 검출 결과, 인식 결과 및 위치 정보를, 통신 회선(800)을 통하여 유저 단말(B)에 송신한다(스텝 S104). 또한, 유저 단말(A)의 통신부(210)는, 유저(B)의 촬영 화상(Ib1), 검출 결과, 인식 결과 및 위치 정보를, 통신 회선(800)을 통하여 유저 단말(B)로부터 수신한다(스텝 S106). 이에 의해, 유저 단말(A)은, 유저(B)의 촬영 화상(Ib1)을 취득한다(스텝 S200). 또한, 유저 단말(B)에서도 같은 처리가 행하여진다.
그리고, 경면 화상 생성부(208)는, 유저(A)의 촬영 화상(Ia1)과 마찬가지로, 유저(B)의 촬영 화상(Ib1)으로부터 경면 화상(Ib2)을 생성한다(스텝 S202). 지시 화상 생성부(212)는, 유저(A)의 지시 화상(Ia3)과 마찬가지로, 검출 결과, 선택적으로 인식 결과, 위치 정보 및 경면 화상(Ib2)에 의거하여, 유저(B)의 지시 화상(Ib3)을 생성한다(스텝 S204). 중첩 화상 생성부(214)는, 콘텐츠 화상(IC), 유저(A)의 지시 화상(Ia3) 및 위치 정보, 및 유저(B)의 지시 화상(Ib3) 및 위치 정보에 의거하여 중첩 화상(I4)을 생성한다(스텝 S206). 표시 제어부(216)는, 중첩 화상(I4)을 표시 장치(102)에 표시시킨다(스텝 S208). 또한, 유저 단말(B)에서도 같은 처리가 행하여진다.
도 12a 내지 도 12c는, 유저(A, B)의 지시 화상(Ia3, Ib3)을 포함하는 중첩 화상(I4)의 생성례를 도시하는 도면이다. 도 12a에는, 유저(A)의 손가락(H)과 얼굴(F)을 포함하는 상반신의 화상을 마주하여 좌측에 포함함과 함께, 배경 화상을 포함하는 유저(A)의 촬영 화상(Ia1)의 경면 화상(Ia2)이 도시되어 있다. 도 12c에는, 유저(B)의 손가락(H)과 얼굴(F)을 포함하는 상반신의 화상을 마주하여 우측에 포함함과 함께, 배경 화상을 포함하는 유저(B)의 촬영 화상(Ib1)의 경면 화상(Ib2)이 도시되어 있다.
도 12c에는, 유저(A, B)의 지시 화상(Ia3, Ib3)을 콘텐츠 화상(IC)에 중첩시킨 중첩 화상(I4)의 한 예가 도시되어 있다. 유저(A)의 경면 화상(Ia2)에는, 유저(A)의 화상이 마주하여 좌측에 포함되고, 유저(B)의 경면 화상(Ib2)에는, 유저(B)의 화상이 마주하여 우측에 포함되어 있다. 따라서, 중첩 화상(I4)에서는, 콘텐츠 화상(IC)에 대해 유저(A)의 지시 화상(Ia3)이 마주하여 좌측에 중첩되고, 유저(B)의 지시 화상(Ib3)이 마주하여 우측에 중첩되어 있다. 여기서, 유저(A, B)의 지시 화상(Ia3, Ib3)에는, 각 유저를 식별 가능한 정보가 포함되어 있기 때문에, 각 유저의 지시 위치를 용이하게 특정할 수 있다.
또한, 도 12c에 도시하는 중첩 화상(I4)은, 콘텐츠 화상(IC)의 폭과, 유저(A) 및 유저(B)의 경면 화상(Ia2, Ib2)의 폭이 동일한 경우를 상정하고 있다. 또한, 도 12c에 도시하는 중첩 화상(I4)은, 도 8에 도시한 생성례와 마찬가지로 생성되어 있지만, 도 9로부터 도 11에 도시한 생성례와 마찬가지로 생성되어도 좋다.
도 13a 내지 도 13c는, 유저(A, B)의 지시 화상(Ia3, Ib3)을 포함하는 중첩 화상(I4)의 생성의 변형례를 도시하는 도면이다. 변형례는, 유저(A, B)의 지시 화상(Ia3, Ib3)이 콘텐츠 화상(IC)에 서로 겹쳐저서 중첩되는 경우를 상정하고 있다. 도 13a에는, 손가락(H)과 얼굴(F)을 포함하는 상반신의 화상을 중앙부에 포함하는 유저(A)의 경면 화상(Ia2)이 도시되어 있다. 도 13b에는, 손가락(H)과 얼굴(F)을 포함하는 상반신의 화상을 중앙부에 포함하는 유저(B)의 경면 화상(Ib2)이 도시되어 있다.
도 13c에는, 유저(A, B)의 지시 화상(Ia3, Ib3)을 콘텐츠 화상(IC)에 중첩시킨 중첩 화상(I4)의 한 예가 도시되어 있다. 유저(A)의 경면 화상(Ia2)에는, 유저(A)의 화상이 중앙부에 포함되고, 유저(B)의 경면 화상(Ib2)에는, 유저(B)의 화상이 중앙부에 포함되어 있다. 따라서, 도 12c에 도시한 생성례와 마찬가지로 중첩 화상(I4)을 생성하면, 유저(A, B)의 지시 화상(Ia3, Ib3)이 서로 맞겹쳐저서 시인성이 저하되어 버린다. 이 때문에, 도 13c에 도시하는 바와 같이, 유저(A) 및/또는 유저(B)의 지시 화상(Ia3, Ib3)의 표시 투과도를 높임으로써, 서로 겹쳐저서 중첩된 지시 화상(Ia3, Ib3)의 시인성이 저하되는 것을 억제하고 있다.
이상, 촬상 장치(104)의 화각의 범위를 콘텐츠 화상(IC)의 범위에 대응시켜서 중첩 화상(I4)을 생성하는 경우에 관해 설명하였다. 이 경우, 화각의 범위가 콘텐츠 화상(IC)의 범위보다도 상당히 넓거나, 유저의 위치가 촬상 장치(104)로부터 상당히 떨어져 있거나 하면, 유저는, 포인팅 동작을 위해 비교적 큰 이동을 강요당해 버리는 일이 있다. 따라서, 유저가 이동하지 않아도 지시할 수 있는 지시 가능 범위를, 유저의 얼굴(F)의 위치를 기준으로 하여 설정하고, 화각의 범위에 대신하여, 지시 가능 범위를 콘텐츠 화상(IC)의 범위에 대응시켜서 중첩 화상(I4)을 생성하는 것이 제안된다.
도 14는, 지시 가능 범위의 설정례를 도시하는 도면이다. 도 14에 도시하는 지시 가능 범위는, 유저(A)의 얼굴(F)의 위치를 기준으로 하여, 왼쪽의 팔을 좌, 좌상, 좌하로 펴고, 오른쪽 팔을 우, 우상, 우하로 편 상태에서 왼손가락 또는 오른손가락에 의해 지시 가능한 범위로서 설정되어 있다. 예를 들면, 도 14에 도시하는 예에서는, 유저(A)의 얼굴(F)의 위치를 중심으로 하여 폭(L)의 범위로서 설정되어 있다. 지시 가능 범위는, 유저(A)가 지시하고자 하는 범위를 유저(A)에게 실제로 지시시켜서, 범위를 지시한 지시 물체(H)의 영역(Ha)를 검출함으로써, 설정되어도 좋다. 또한, 지시 가능 범위는, 유저(A)의 얼굴(F)의 영역(Fa)의 크기에 의거하여, 예를 들면 좌우에 각각 얼굴(F) 4개분의 폭, 상하로 각각 얼굴(F) 2개분의 폭으로서 설정되어도 좋다.
도 15a 내지 도 15c는, 지시 가능 범위에 의거한 포인팅 동작의 한 예를 도시하는 도면이다. 도 15a에는, 유저(A)와 유저(C)를 포함하는 촬영 화상(I1)의 경면 화상(I2)이 도시되어 있다. 경면 화상(I2)에는, 손가락(H)과 얼굴(F)을 포함하는 상반신을 포착한 유저(A)의 화상이 마주하여 좌측에 포함되고, 손가락(H)과 얼굴(F)을 포함하는 상반신을 포착한 유저(C)의 화상이 마주하여 우측에 포함되어 있다. 여기서, 유저(C)는, 유저(A)보다도 촬상 장치(104)로부터 떨어져서 위치하고 있다.
경면 화상(I2)상에는, 유저(A, C)의 각각에 관해, 얼굴(F)과 지시 물체(H)의 검출 영역(Fa, Ha, Fc, Hc)을 나타내는 사각형 테두리와, 지시 가능 범위(Pa, Pc)가 도시되어 있다. 또한, 검출 영역(Fa, Ha, Fc, Hc)의 사각형 테두리 및 지시 가능 범위(Pa, Pc)는, 경면 화상(I2)의 일부를 이루는 화상이 아니라, 유저 단말의 처리를 나타내기 위해 편의상 나타내고 있다. 여기서, 유저(A)는, 스스로의 지시 가능 범위(Pa) 내이면서 경면 화상(I2)의 범위 내에서 지시 물체(H)를 이동시킴으로써, 포인팅 동작을 행할 수가 있다. 마찬가지로, 유저(C)는, 스스로의 지시 가능 범위(Pc) 내이면서 경면 화상(I2)의 범위 내에서 지시 물체(H)를 이동시킴으로써, 포인팅 동작을 행할 수 있다.
여기서, 유저(A)의 지시 가능 범위(Pa)와 유저(C)의 지시 범위(Pc)는, 콘텐츠 화상(IC)의 범위에 각각에 대응하고 있다. 따라서, 유저(A, C)는, 촬상 장치(104)의 화각의 범위 내에서 이동하지 않아도, 스스로의 지시 가능 범위(Pa, Pc) 내의 임의의 위치에 지시 물체(H)를 이동시킴으로써, 콘텐츠 화상(IC) 내의 임의의 위치를 지시할 수 있다.
도 15b에는, 유저(A, C)의 지시 화상(Ia3, Ic3)을 포함하는 중첩 화상(I4)의 한 예가 도시되어 있다. 도 15a에 도시하는 경면 화상(I2)에서는, 유저(A)가 스스로의 지시 가능 범위(Pa)의 중앙 오른쪽 가까이의 위치를 지시하고, 유저(C)가 스스로의 지시 가능 범위(Pc)의 중앙 왼쪽 가가이의 위치를 지시하고 있다. 따라서, 중첩 화상(I4)에서는, 유저(A)의 지시 화상(Ia3)이 콘텐츠 화상(IC)의 중앙 오른쪽 가까이에 중첩되고, 유저(C)의 지시 화상(IC3)이 콘텐츠 화상(IC)의 중앙 왼쪽 가가이에 중첩되어 있다. 여기서, 유저(A, C)의 지시 화상(Ia3, Ic3)은, 유저(A, C)가 스스로의 지시 가능 범위(Pa, Pc) 내에서 지시하고 있는 위치를 나타내고 있다.
마찬가지로, 유저(A)가 스스로의 지시 가능 범위(Pa)의 우상 구석를 지시하면, 유저(A)의 지시 화상(Ia3)이 콘텐츠 화상(IC)의 우상 구석에 중첩되고, 유저(C)가 스스로의 지시 가능 범위(Pc)의 좌하 구석를 지시하면, 유저(C)의 지시 화상(IC3)이 콘텐츠 화상(IC)의 좌하 구석에 중첩되다. 또한, 도 15b에 도시하는 중첩 화상(I4)은, 도 11에 도시한 생성례와 마찬가지로 생성되어 있지만, 도 10에 도시한 생성례와 마찬가지로 생성되어도 좋다.
도 16a 및 도 16b는, 지시 가능 범위에 의거한 포인팅 동작의 다른 예를 도시하는 도면이다. 도 16a에는, 도 15a와 마찬가지로, 유저(A, C)를 포착한 경면 화상(I2)이 도시되어 있다. 경면 화상(I2)상에는, 유저(A)에 관해, 얼굴(F)과 지시 물체(H)의 검출 영역(Fa, Ha)을 나타내는 사각형 테두리와, 지시 가능 범위(Pa)가 도시되어 있다. 도 16에 도시하는 예에서는, 촬영 화상(I1)으로부터 유저(A, C)의 얼굴(F)을 검출하고, 검출된 얼굴(F)의 영역(Fa, Fc)의 크기를 비교하고, 얼굴(F)의 영역이 큰 유저(A), 즉 촬상 장치(104)로부터 가장 가까운 유저(A)에 관해서만, 포인팅 동작을 가능하게 하고 있다.
도 16b에는, 유저(A)의 지시 화상(Ia3)을 포함하는 중첩 화상(I4)의 한 예가 도시되어 있다. 도 16a에 도시하는 경면 화상(I2)에서는, 유저(A)가 스스로의 지시 가능 범위(Pa)의 중앙 오른쪽 가까이의 위치를 지시하고 있다. 따라서, 중첩 화상(I4)에서는, 유저(A)의 지시 화상(Ia3)이 콘텐츠 화상(IC)의 중앙 오른쪽 가까이에 중첩되어 있다.
또한, 촬상 장치(104)로부터 가장 가까운 유저에 대신하여, 촬상 장치(104)로부터 가장 먼 유저, 또는 촬상 장치(104)로부터 적절한 거리에 위치하고 있는 유저에 관해서만, 포인팅 동작을 가능하게 하여도 좋다. 또한, 복수의 얼굴(F)을 검출한 경우, 검출 촬상 장치(104)로부터 적절한 거리에 위치하고 있는 소정수의 유저에 관해서만, 포인팅 동작을 가능하게 하여도 좋다.
이상, 지시 물체(H)의 위치를 검출하여 중첩 화상(I4)을 생성하는 경우에 관해 설명하였다. 그런데, 유저는, 경우에 응하여 다른 양태의 지시 화상(I3)을 콘텐츠 화상(IC)에 중첩시키고 싶은 경우가 있다. 따라서, 지시 물체(H)의 위치를 검출함과 함께, 지시 물체(H)의 형상을 인식함으로써, 다른 양태의 지시 화상(I3)을 포함하는 중첩 화상(I4)을 생성하는 것이 제안된다. 이에 의해, 지시 화상(I3)의 양태를 변경함으로써, 부가적인 정보를 다른 유저에게 전달하는 등, 포인팅 동작시의 편리성을 향상할 수 있다.
도 17 내지 도 18b는, 다른 양태의 지시 화상(I3)을 포함하는 중첩 화상(I4)의 한 예를 도시하는 도면이다. 도 17에 도시하는 예에서는, 유저는, 엄지손가락과 집게손가락을 구부려서 고리의 상태로 한 다음, 표시 장치(102)의 전방에서 왼쪽부터 오른쪽으로 파도를 치는 것같이 이동시키고 있다. 그러면, 유저 단말은, 지시 물체(H)의 형상을 인식하고, 유저에게 대응하는 캐릭터를, 인식된 형상에 대응하는 양태로 나타내는 지시 화상(I3)을 포함하는 중첩 화상(I4)을 생성하고 있다. 여기서, 지시 화상(I3)은, 캐릭터를 명료하게 인식할 수 있는 양태로 나타내고 있다. 중첩 화상(I4)에서는, 도면중, 점선으로 도시하는 바와 같이, 지시 물체(H)의 이동에 연동하여 콘텐츠 화상(IC)상에서 지시 화상(I3)이 이동한다.
한편, 도 18a 및 도 18b에 도시하는 예에서는, 도 18a에 도시하는 바와 같이, 우선, 유저는, 집게손가락을 ㅂ편 상태에서, 표시 장치(102)의 전방에서 왼쪽부터 오른쪽으로 파도를 치는 것같이 이동시키고 있다. 그러면, 유저 단말은, 지시 물체(H)의 형상을 인식하고, 도 17에 도시한 경우와는 다른 양태로 캐릭터를 나타내는 지시 화상(I3)을 포함하는 중첩 화상(I4)을 생성하고 있다. 여기서, 지시 화상(I3)은, 캐릭터를 명료하게 인식할 수 있는 양태로 나타내고 있다.
그리고, 도 18b에 도시하는 바와 같이, 유저는, 지시 물체(H)를 이동시킨 후에, 엄지손가락과 집게손가락을 구부려서 고리의 상태로 하고 있다. 그러면, 유저 단말은, 지시 물체(H)의 형상의 변화를 인식하고, 도 17에 도시한 경우와 같은 양태로 캐릭터를 나타내는 지시 화상(I3)을 포함하는 중첩 화상(I4)을 생성하고 있다. 또한, 도 17 내지 도 18b에서는, 2개가 다른 형상을 인식하는 경우에 관해 설명하였지만, 3 이상의 다른 형상이 인식되어도 좋다.
이상 설명한 바와 같이, 본 발명의 실시 형태에 관한 TV 회의 시스템에 의하면, 각 유저 단말에서는, 촬영 화상(I1)으로부터 유저의 얼굴(F)이 검출되여 얼굴(F)의 위치를 나타내는 정보가 생성되고, 유저의 지시 위치를 특정 가능한 정보와 유저의 식별 정보를 갖는 지시 화상(I3)이 생성되고, 콘텐츠 화상(IC)에 위치 정보에 의거하여 지시 화상(I3)을 중첩시킨 중첩 화상(I4)이 생성되어 표시된다. 그리고, 다른 유저 단말에 같은 중첩 화상(I4)을 표시시키기 위해, 적어도 촬영 화상(I1)이 다른 유저 단말에 송신된다. 이에 의해, 복수의 유저 단말을 이용하는 유저 사이에서는, 공통되게 표시된 내용 정보상의 임의의 위치를, 번잡한 조작이나 동작을 수반하지 않고서 다른 유저에 대해 용이하게 지시할 수 있다.
이상, 첨부 도면을 참조하면서 본 발명의 알맞는 실시 형태에 관해 상세히 설명하였지만, 본 발명은 이러한 예로 한정되지 않는다. 본 발명이 속하는 기술의 분야에서 통상의 지식을 갖는 자라면, 특허청구의 범위에 기재된 기술적 사상의 범주 내에서, 각종의 변경례 또는 수정례에 상도 할 수 있음은 분명하고, 이들에 대해서도, 당연히 본 발명의 기술적 범위에 속하는 것이라고 이해된다.
예를 들면, 상기 실시 형태의 설명에서는, 유저 단말이 표시 시스템(100)과 정보 처리 장치(200)로 이루어지는 경우에 관해 설명하였다. 그러나, 도 19에 도시하는 바와 같이, 유저 단말은, 표시 시스템(100)의 구성이 조립된 정보 처리 장치(250)로 이루어지도록 하여도 좋다. 이 경우, 정보 처리 장치(250)는, 도 1에 도시한 정보 처리 장치(200)의 구성에 더하여 촬상부(252)(촬상 장치)와 표시부(254)(표시 장치)를 갖게 된다. 또한, TV 회의 시스템에는, 표시 시스템 내장형과, 별체형의 정보 처리 장치가 혼재하여도 좋다.

Claims (13)

  1. 정보 처리 장치에 있어서,
    촬영 화상에서의 지시 물체를 검출하는 검출부와,
    상기 검출부에 의한 상기 지시 물체의 검출에 의거하여, 상기 촬영 화상에서 유저에 의거하여 설정된 지시 가능 범위를 이용함에 의해 결정된 상기 지시 물체의 위치를 나타내는, 지시 정보를 생성하는 생성부를 포함하고,
    상기 지시 정보를 외부 장치에 송신하는 통신부를 포함하는 것을 특징으로 하는 정보 처리 장치.
  2. 제1항에 있어서,
    상기 지시 정보는 검출된 지시 물체에 대응하는 촬영 화상의 일부를 포함하는 것을 특징으로 하는 정보 처리 장차.
  3. 제1항에 있어서,
    상기 지시 정보는 위치 정보를 포함하는 것을 특징으로 하는 정보 처리 장치.
  4. 제1항에 있어서,
    상기 촬영 화상을 촬영하는 화상 촬영부를 더 포함하는 것을 특징으로 하는 정보 처리 장차.
  5. 제1항에 있어서,
    상기 지시 가능 범위는 상기 촬영 화상을 촬영하는 화상 촬영부로부터 떨어져 있는 유저의 위치에 의거하는 것을 특징으로 하는 정보 처리 장치.
  6. 제1항에 있어서,
    상기 검출부는 상기 지시 물체의 형상을 검출하는 것을 특징으로 하는 정보 처리 장치.
  7. 정보 처리 장치에 있어서,
    촬영 화상에서 지시 물체의 정보를 포함하는, 상기 촬영 화상에서 유저에 의거하여 설정된 지시 가능 범위를 이용함에 의해 결정된 상기 지시 물체의 위치를 나타내는, 지시 정보를 외부 장치로부터 수신하는 통신부와,
    콘텐츠 화상에 중첩된 상기 지시 정보에 대응하는 지시 화상의 표시 스크린상에 표시를 제어하는 생성부를 포함하는 것을 특징으로 하는 정보 처리 장치.
  8. 제7항에 있어서,
    상기 지시 정보는 상기 지시 물체에 대응하는, 상기 지시 화상으로서 중첩된, 상기 촬영 화상의 일부를 포함하는 것을 특징으로 하는 정보 처리 장치.
  9. 제7항에 있어서,
    상기 지시 정보는 위치 정보를 포함하고, 상기 지시 물체에 대응하도록 결정된 화상은 상기 위치 정보에 따라 지시 화상으로서 중첩된 것을 특징으로 하는 정보 처리 장치.
  10. 제9항에 있어서,
    상기 결정된 화상은 커서 화상인 것을 특징으로 하는 정보 처리 장치.
  11. 제7항에 있어서,
    상기 지시 정보는 상기 지시 물체의 형상을 나타내는 것을 특징으로 하는 정보 처리 장치.
  12. 제11항에 있어서,
    상기 지시 화상은 상기 지시 물체의 형상에 따른 것을 특징으로 하는 정보 처리 장치.
  13. 제11항에 있어서,
    상기 지시 화상은 상기 지시 물체의 형상에 의거한 상기 지시 물체에 대응하는 유저를 나타내는 것을 특징으로 하는 정보 처리 장치.
KR1020127032616A 2010-10-04 2011-10-03 정보 처리 장치, 정보 처리 시스템 및 정보 처리 방법 KR101797260B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010224959A JP5598232B2 (ja) 2010-10-04 2010-10-04 情報処理装置、情報処理システムおよび情報処理方法
JPJP-P-2010-224959 2010-10-04
PCT/JP2011/005567 WO2012046432A1 (en) 2010-10-04 2011-10-03 Information processing apparatus, information processing system and information processing method

Publications (2)

Publication Number Publication Date
KR20130115094A true KR20130115094A (ko) 2013-10-21
KR101797260B1 KR101797260B1 (ko) 2017-12-12

Family

ID=45927439

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127032616A KR101797260B1 (ko) 2010-10-04 2011-10-03 정보 처리 장치, 정보 처리 시스템 및 정보 처리 방법

Country Status (8)

Country Link
US (2) US9013535B2 (ko)
EP (1) EP2586203A4 (ko)
JP (1) JP5598232B2 (ko)
KR (1) KR101797260B1 (ko)
CN (1) CN103125115A (ko)
BR (1) BR112013007715B1 (ko)
RU (1) RU2598598C2 (ko)
WO (1) WO2012046432A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5598232B2 (ja) * 2010-10-04 2014-10-01 ソニー株式会社 情報処理装置、情報処理システムおよび情報処理方法
US10360706B2 (en) 2012-05-22 2019-07-23 Sony Corporation Device method and program for adjusting a display state of a superimposed image
JP5928757B2 (ja) 2012-11-06 2016-06-01 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
JP6369101B2 (ja) * 2013-06-28 2018-08-08 株式会社リコー 伝送端末、プログラム、画像表示方法、伝送システム
JP2015052895A (ja) * 2013-09-06 2015-03-19 株式会社東芝 情報処理装置及び情報処理方法
CN104301660A (zh) * 2014-10-31 2015-01-21 四川量迅科技有限公司 一种便携式图像通信设备
CN110366849B (zh) * 2017-03-08 2022-02-11 索尼公司 图像处理设备和图像处理方法
US20190004639A1 (en) * 2017-06-29 2019-01-03 Microsoft Technology Licensing, Llc Providing living avatars within virtual meetings
JP6714942B1 (ja) * 2020-03-04 2020-07-01 フォクレット合同会社 コミュニケーションシステム、コンピュータプログラム、及び情報処理方法
FR3139684A1 (fr) * 2023-01-09 2024-03-15 Artean Procédé de gestion d’une présentation et dispositif pour sa mise en œuvre
FR3139685A1 (fr) * 2023-01-09 2024-03-15 Artean Procédé de gestion des interventions de différents intervenants lors d’une présentation visualisée lors d’une visioconférence et dispositif pour sa mise en œuvre

Family Cites Families (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07261920A (ja) * 1994-03-17 1995-10-13 Wacom Co Ltd 光学式位置検出装置および光学式座標入力装置
JPH07271818A (ja) * 1994-03-31 1995-10-20 Toshiba Corp ハイパーメディアシステム
JP3267047B2 (ja) * 1994-04-25 2002-03-18 株式会社日立製作所 音声による情報処理装置
US5675361A (en) * 1995-08-23 1997-10-07 Santilli; Donald S. Computer keyboard pointing device
JP3877188B2 (ja) * 1997-04-10 2007-02-07 株式会社ウェブマネー 電子通貨システム
JP3876942B2 (ja) * 1997-06-13 2007-02-07 株式会社ワコム 光デジタイザ
TW417404B (en) * 1998-02-03 2001-01-01 Seiko Epson Corp Projection display device and method therefor, and an image display device
JPH11345087A (ja) * 1998-03-31 1999-12-14 Seiko Epson Corp プレゼンテ―ションシステム及び位置検出方法
JP3287312B2 (ja) * 1998-08-13 2002-06-04 日本電気株式会社 ポインティング装置
US6265993B1 (en) * 1998-10-01 2001-07-24 Lucent Technologies, Inc. Furlable keyboard
JP2000122767A (ja) * 1998-10-14 2000-04-28 Nippon Telegr & Teleph Corp <Ntt> 同室感を持つ共有空間作成方法及び装置ならびに通信システム
KR100329392B1 (ko) * 1999-01-04 2002-03-22 구자홍 기록 디지털 데이터 스트림의 탐색정보 기록방법 및 이를 이용한 탐색방법
US7454125B2 (en) * 1999-01-04 2008-11-18 Lg Electronics Inc. Method and apparatus for recording search information and searching for recorded digital data streams using the search information
US6791531B1 (en) * 1999-06-07 2004-09-14 Dot On, Inc. Device and method for cursor motion control calibration and object selection
US6577249B1 (en) * 1999-10-19 2003-06-10 Olympus Optical Co., Ltd. Information display member, position detecting method using the same, apparatus and method of presenting related information, and information presenting apparatus and information presenting method
WO2001052230A1 (en) * 2000-01-10 2001-07-19 Ic Tech, Inc. Method and system for interacting with a display
JP2001222375A (ja) * 2000-02-08 2001-08-17 Seiko Epson Corp 指示位置検出システムおよび方法、プレゼンテーションシステム並びに情報記憶媒体
JP3994672B2 (ja) * 2000-03-31 2007-10-24 セイコーエプソン株式会社 画像処理を用いた指示位置の検出
US6947073B1 (en) * 2000-04-14 2005-09-20 The United States Of America As Represented By The Secretary Of The Navy Apparatus and method for detecting a moving target
JP3539553B2 (ja) * 2000-05-30 2004-07-07 シャープ株式会社 アニメーション作成方法及びアニメーション作成装置並びにアニメーション作成プログラムを記録したコンピュータ読み取り可能な記録媒体
US6910778B2 (en) * 2001-09-28 2005-06-28 Fujinon Corporation Presentation system using laser pointer
EP1302891A1 (de) * 2001-10-12 2003-04-16 Siemens Aktiengesellschaft Vorrichtung zum Erfassen und Darstellen von Bewegungen
JP2003209821A (ja) * 2002-01-15 2003-07-25 National Institute Of Advanced Industrial & Technology 指示確認システム
WO2003063067A1 (en) * 2002-01-24 2003-07-31 Chatterbox Systems, Inc. Method and system for locating positions in printed texts and delivering multimedia information
JP2003316510A (ja) * 2002-04-23 2003-11-07 Nippon Hoso Kyokai <Nhk> 表示画面上に指示されたポイントを表示する表示装置、及び表示プログラム。
JP4040046B2 (ja) * 2003-03-14 2008-01-30 富士通株式会社 ポインタ領域検出装置、方法及びプログラム、画像の対応付け装置、方法及びプログラム、並びにコンテンツ配信サーバ、コンテンツ配信方法
JP4103652B2 (ja) 2003-03-27 2008-06-18 日本電気株式会社 情報重畳表示装置、情報重畳表示方法、および、情報重畳表示プログラム
JP2004318793A (ja) * 2003-04-17 2004-11-11 Kenichi Horie 操作者頭部を基準とする情報端末
US7496560B2 (en) * 2003-09-23 2009-02-24 Amazon Technologies, Inc. Personalized searchable library with highlighting capabilities
US7149353B2 (en) * 2003-09-23 2006-12-12 Amazon.Com, Inc. Method and system for suppression of features in digital images of content
EP1671235A4 (en) * 2003-09-23 2007-10-24 Amazon Com Inc CUSTOMIZED RESEARCH BANK WITH HIGH-PERFORMANCE CAPABILITIES FOR ACCESSING ELECTRONIC TEXT IMAGES ON THE BASIS OF MEMBERSHIP OF THE CORRESPONDING PHYSICAL TEXT
JP2005117285A (ja) * 2003-10-07 2005-04-28 Hitachi Ltd 情報入力装置、通信端末及び通信方法
JP2005352580A (ja) * 2004-06-08 2005-12-22 National Univ Corp Shizuoka Univ ポインタ制御信号発生方法及び装置
JP4677245B2 (ja) * 2004-03-03 2011-04-27 キヤノン株式会社 画像表示方法、プログラム、画像表示装置及び画像表示システム
KR100612691B1 (ko) * 2004-04-30 2006-08-16 에스케이 텔레콤주식회사 동영상 화질 평가시스템 및 방법
JP2006105640A (ja) * 2004-10-01 2006-04-20 Hitachi Ltd ナビゲーション装置
JP2006186589A (ja) * 2004-12-27 2006-07-13 Olympus Imaging Corp 表示制御装置及び表示制御方法
US7864159B2 (en) * 2005-01-12 2011-01-04 Thinkoptics, Inc. Handheld vision based absolute pointing system
JP4162015B2 (ja) * 2006-05-18 2008-10-08 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
TW200802036A (en) * 2006-06-01 2008-01-01 Micro Nits Co Ltd Input method of a pointer input system
US20070291108A1 (en) 2006-06-16 2007-12-20 Ericsson, Inc. Conference layout control and control protocol
EP1868347A3 (en) * 2006-06-16 2010-07-14 Ericsson AB Associating independent multimedia sources into a conference call
JP5088321B2 (ja) * 2006-06-29 2012-12-05 株式会社ニコン 再生装置、再生システム、およびテレビジョンセット
JP4689548B2 (ja) * 2006-07-19 2011-05-25 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US8234578B2 (en) * 2006-07-25 2012-07-31 Northrop Grumman Systems Corporatiom Networked gesture collaboration system
JP4757142B2 (ja) * 2006-08-10 2011-08-24 キヤノン株式会社 撮影環境校正方法及び情報処理装置
US20080172627A1 (en) * 2006-12-28 2008-07-17 Sharp Kabushiki Kaisha Information display apparatus, information providing server, information display system, method for controlling information display apparatus, method for controlling information providing server, control program and recording medium
US7924273B2 (en) * 2006-11-06 2011-04-12 Toshiba Matsushita Display Technology Co., Ltd. Display apparatus with optical input function
EP1950957A2 (en) * 2007-01-23 2008-07-30 Funai Electric Co., Ltd. Image display system
JP4826512B2 (ja) * 2007-03-12 2011-11-30 セイコーエプソン株式会社 表示装置及び電子機器
EP2144448B1 (en) * 2007-03-30 2019-01-09 National Institute of Information and Communications Technology Floating Image Interaction Device
JP4867766B2 (ja) * 2007-04-05 2012-02-01 セイコーエプソン株式会社 液晶装置、イメージセンサ、及び電子機器
US20130187854A1 (en) * 2007-05-26 2013-07-25 Moon Key Lee Pointing Device Using Camera and Outputting Mark
JP5380789B2 (ja) * 2007-06-06 2014-01-08 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US8089476B2 (en) * 2007-08-01 2012-01-03 Sony Corporation Liquid crystal device
JP4829855B2 (ja) * 2007-09-04 2011-12-07 キヤノン株式会社 画像投影装置及びその制御方法
JP5294612B2 (ja) * 2007-11-15 2013-09-18 インターナショナル・ビジネス・マシーンズ・コーポレーション 仮想共有空間における参照マークの自動生成方法、装置及びプログラム
JP4462334B2 (ja) * 2007-11-16 2010-05-12 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び情報共有システム
JP4958759B2 (ja) * 2007-12-18 2012-06-20 キヤノン株式会社 表示制御装置、表示制御装置の制御方法、プログラム及び記録媒体
KR100952699B1 (ko) * 2008-03-10 2010-04-13 한국표준과학연구원 촉각센서를 이용한 터치스크린장치의 풀브라우징 표시방법
KR101032632B1 (ko) * 2008-04-01 2011-05-06 한국표준과학연구원 작용힘에 따른 사용자 인터페이스의 제공방법 및 기록매체
US8144241B2 (en) * 2008-04-04 2012-03-27 Sony Corporation Imaging apparatus, image processing apparatus, and exposure control method
JP2011523728A (ja) 2008-04-09 2011-08-18 ヒューレット−パッカード デベロップメント カンパニー エル．ピー． 遠隔制御式ポインティング
GB0808061D0 (en) * 2008-05-02 2008-06-11 Univ Teeside Computer input device
JP2010011364A (ja) * 2008-06-30 2010-01-14 Canon Inc 画像出力システムおよびその制御方法、画像入力装置およびその制御方法、ならびに、画像出力装置およびその制御方法
FI20085794A0 (fi) * 2008-08-26 2008-08-26 Multitouch Oy Vuorovaikutteinen näyttölaite
KR100912109B1 (ko) * 2008-08-27 2009-08-13 왕상주 멀티미디어 컨텐츠를 송신하는 장치, 멀티미디어 컨텐츠를 중계하는 시스템 및 그 방법
JP5310007B2 (ja) * 2008-10-16 2013-10-09 ソニー株式会社 情報処理システム、表示装置、出力装置および情報処理装置
JP2010098542A (ja) * 2008-10-16 2010-04-30 Sony Corp 情報処理装置、表示装置、および情報処理システム
JP4666060B2 (ja) * 2008-11-14 2011-04-06 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
JP5369702B2 (ja) * 2009-01-23 2013-12-18 セイコーエプソン株式会社 共有情報表示装置、共有情報表示方法およびコンピュータプログラム
JP5233708B2 (ja) * 2009-02-04 2013-07-10 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP5113781B2 (ja) * 2009-02-17 2013-01-09 シャープ株式会社 テレビ電話装置
US20100278071A1 (en) * 2009-04-29 2010-11-04 Tomoki Hattori Method and apparatus for discovering a device on a network
JP5361567B2 (ja) * 2009-06-25 2013-12-04 キヤノン株式会社 データ処理装置、データ処理方法およびプログラム
JP2011028560A (ja) * 2009-07-27 2011-02-10 Sony Corp 情報処理装置、表示方法及び表示プログラム
US8264518B2 (en) * 2009-09-28 2012-09-11 Cisco Technology, Inc. Gesture-based actions in a video communication session
CN102148922B (zh) * 2010-02-08 2013-01-16 联想(北京)有限公司 一种电子设备、图像采集装置及图像采集控制方法
EP2502132A4 (en) * 2010-02-09 2014-01-22 Multitouch Oy INTERACTIVE DISPLAY DEVICE
WO2011151965A1 (ja) * 2010-06-03 2011-12-08 株式会社ソニー・コンピュータエンタテインメント 情報処理装置
TWI446218B (zh) * 2010-06-30 2014-07-21 Pixart Imaging Inc A method of switching the range of interactive pointing devices and a handover fetch for interactive pointing devices
US8269750B2 (en) * 2010-08-13 2012-09-18 Omnivision Technologies, Inc. Optical position input system and method
JP5829390B2 (ja) * 2010-09-07 2015-12-09 ソニー株式会社 情報処理装置、および情報処理方法
US20120066640A1 (en) * 2010-09-13 2012-03-15 Ati Technologies Ulc Apparatus for providing multi-mode warping of graphical user interface objects
US20120066624A1 (en) * 2010-09-13 2012-03-15 Ati Technologies Ulc Method and apparatus for controlling movement of graphical user interface objects
JP5740972B2 (ja) * 2010-09-30 2015-07-01 ソニー株式会社 情報処理装置および情報処理方法
JP5598232B2 (ja) * 2010-10-04 2014-10-01 ソニー株式会社 情報処理装置、情報処理システムおよび情報処理方法
JP5817400B2 (ja) * 2011-09-30 2015-11-18 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP5957893B2 (ja) * 2012-01-13 2016-07-27 ソニー株式会社 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
WO2013105443A1 (ja) * 2012-01-13 2013-07-18 ソニー株式会社 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
JP6196017B2 (ja) * 2012-01-13 2017-09-13 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
WO2014083953A1 (ja) * 2012-11-27 2014-06-05 ソニー株式会社 表示装置及び表示方法、並びにコンピューター・プログラム
JP2014217032A (ja) * 2013-04-30 2014-11-17 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
JP6260809B2 (ja) * 2013-07-10 2018-01-17 ソニー株式会社 ディスプレイ装置、情報処理方法、及び、プログラム

Also Published As

Publication number Publication date
BR112013007715A2 (pt) 2016-08-09
EP2586203A1 (en) 2013-05-01
US20130314489A1 (en) 2013-11-28
RU2598598C2 (ru) 2016-09-27
US9860484B2 (en) 2018-01-02
JP5598232B2 (ja) 2014-10-01
EP2586203A4 (en) 2015-11-11
US9013535B2 (en) 2015-04-21
JP2012079167A (ja) 2012-04-19
CN103125115A (zh) 2013-05-29
BR112013007715B1 (pt) 2021-09-21
KR101797260B1 (ko) 2017-12-12
US20150222851A1 (en) 2015-08-06
WO2012046432A1 (en) 2012-04-12
RU2013113749A (ru) 2014-10-10

Similar Documents

Publication Publication Date Title
KR20130115094A (ko) 정보 처리 장치, 정보 처리 시스템 및 정보 처리 방법
EP3107278B1 (en) Mobile terminal and method of controlling the same
EP3013023B1 (en) Mobile terminal and controlling method thereof
JP5523233B2 (ja) 通信端末及びそのデータ伝送方法
CN108184070B (zh) 一种拍摄方法及终端
JP6163899B2 (ja) 情報処理装置、撮像装置、情報処理方法、及びプログラム
KR20180099182A (ko) 헤드 마운티드 디스플레이를 포함하는 시스템 및 그 제어 방법
EP3617851B1 (en) Information processing device, information processing method, and recording medium
JP2012079138A (ja) ジェスチャ認識装置
EP2887648B1 (en) Method of performing previewing and electronic device for implementing the same
CN112286362A (zh) 真实环境画面中虚拟道具的显示方法、系统及存储介质
KR20180028701A (ko) 휴대용 카메라 및 그 제어방법
KR20170011927A (ko) 손 제스처 인식용 초광각 카메라 시스템 및 그가 적용된 TVI(Transport Video Interface) 장치
KR101902418B1 (ko) 휴대단말기의 이미지 편집장치 및 방법
US20200169660A1 (en) Mobile terminal and control method therefor
JP4871226B2 (ja) 認識装置および認識方法
KR20160001229A (ko) 이동단말기 및 그 제어방법
JP5558899B2 (ja) 情報処理装置、その処理方法及びプログラム
JP2016126687A (ja) ヘッドマウントディスプレイ、操作受付方法および操作受付プログラム
KR20090060698A (ko) 가상 멀티 터치 스크린을 이용한 인터페이스 장치 및 그제어 방법
JP2014230087A (ja) 撮像制御端末、撮像端末、撮像システム、撮像方法、及びプログラム
JP2012032961A (ja) 画像表示装置、画像表示方法、及び画像表示プログラム
KR20160049413A (ko) 이동단말기 및 그 제어방법
KR20180108100A (ko) 헤드 마운티드 디스플레이를 포함하는 시스템 및 그 제어 방법
KR20160093890A (ko) 이동단말기 및 그 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant