KR102512855B1 - 정보 처리 장치 및 정보 처리 방법 - Google Patents

정보 처리 장치 및 정보 처리 방법 Download PDF

Info

Publication number
KR102512855B1
KR102512855B1 KR1020187003490A KR20187003490A KR102512855B1 KR 102512855 B1 KR102512855 B1 KR 102512855B1 KR 1020187003490 A KR1020187003490 A KR 1020187003490A KR 20187003490 A KR20187003490 A KR 20187003490A KR 102512855 B1 KR102512855 B1 KR 102512855B1
Authority
KR
South Korea
Prior art keywords
ghost
information processing
image
information
display device
Prior art date
Application number
KR1020187003490A
Other languages
English (en)
Other versions
KR20180063040A (ko
Inventor
슌이치 가사하라
šœ이치 가사하라
준이치 레키모토
준 기무라
다이조 시라이
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20180063040A publication Critical patent/KR20180063040A/ko
Application granted granted Critical
Publication of KR102512855B1 publication Critical patent/KR102512855B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1069—Session establishment or de-establishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1083—In-session procedures
    • H04L65/1089—In-session procedures by adding media; by removing media
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/306—User profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4828—End-user interface for program selection for searching program descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

일인칭 영상을 제공하는 유저와 일인칭 영상을 시청하는 유저간의 매칭을 행한다. 현재 지정한 범위의 지도상에, 각 Body의 현재 위치를 나타내는 아이콘을 표시한다. Ghost는, 원하는 위치의 아이콘을 터치나 클릭 등의 UI 조작에 의해 지정함으로써, JackIn하고 싶은 Body를 선정할 수 있다. 또한, 검색 필드에 행동을 한정하는 키워드 등을 입력하면, 행동에서 추출된 Body만이 표시된다. 선정이 확정되면, Ghost로부터 선정된 Body로, JackIn 리퀘스트가 송신된다.

Description

정보 처리 장치 및 정보 처리 방법
본 명세서에서 개시하는 기술은, 유저간의 매칭을 행하는 정보 처리 장치 및 정보 처리 방법에 관한 것이며, 예를 들어 일인칭 영상을 제공하는 유저와 일인칭 영상을 시청하는 유저간의 매칭을 행하는 정보 처리 장치 및 정보 처리 방법에 관한 것이다.
유저가 자신 이외의 시계 광경(자신 이외의 이동체로부터 보이는 광경)에 액세스하는 기술이 알려져 있다.
예를 들어, 차량 등의 이동체에 탑재된 이동 카메라에 의해 촬상된 화상을 원격적으로 취득하는 이동 카메라·시스템에 대해 제안이 이루어져 있다(예를 들어, 특허문헌 1을 참조). 또한, 촬상 센싱 무선 기기를 배치한 안경을 낀 사람이 취득하는 시각 정보와 마찬가지의 정보를 헤드 마운트 디스플레이의 장착자에게 제공하는 화상 처리 시스템에 대해 제안이 이루어져 있다(예를 들어, 특허문헌 2를 참조). 또한, 이동체의 촬상 화상을 표시하는 표시 장치측으로부터 이동체의 촬상 장치에 대해 촬상하는 시점 위치 및 시선 방향, 또한 촬영 시의 속도를 지정하는 화상 표시 시스템에 대해 제안이 이루어져 있다(예를 들어, 특허문헌 3을 참조).
또한, 원격지의 로봇의 시각 등의 간격을 통해 그 자리에 있는 것과 같은 감각을 전송함과 함께 원격지의 물체를 조작하기 위한 인터페이스를 제공하는 텔레프레전스 기술에 대해서도 제안이 이루어져 있다(예를 들어, 특허문헌 4를 참조).
일본 특허 공개 제2006-186645호 공보 일본 특허 공개 제2004-222254호 공보 일본 특허 공개 제2008-154192호 공보 일본 특허 공표 제2014-522053호 공보 일본 특허 공개 제2014-104185호 공보
본 명세서에서 개시하는 기술의 목적은, 유저간의 매칭을 행할 수 있는, 우수한 정보 처리 장치 및 정보 처리 방법을 제공하는 데 있다.
본 명세서에서 개시하는 기술은, 상기 과제를 참작하여 이루어진 것이며, 그 제1 측면은, 화상을 송신하는 제1 장치와 상기 화상을 수신하는 제2 장치간의 접속을, 상기 제1 장치 또는 상기 제2 장치 중 어느 것이 주도적이 될지에 따라서 제어하는 제어부를 구비하는 정보 처리 장치이다.
본 명세서에서 개시하는 기술의 제2 측면에 따르면, 제1 측면에 관한 정보 처리 장치의 상기 제어부는, 상기 제1 장치가 주도적으로 상기 제2 장치와 접속하는 경우에는, 상기 제2 장치로부터 접속 요구를 수취하면, 대기 상태인 상기 제1 장치에 통지하여, 상기 제1 장치로부터 상기 제2 장치로의 화상 전송을 개시시키도록 구성되어 있다.
본 명세서에서 개시하는 기술의 제3 측면에 따르면, 제1 측면에 관한 정보 처리 장치의 상기 제어부는, 상기 제2 장치가 주도적으로 상기 제1 장치와 접속하는 경우에는, 상기 제2 장치로부터의 접속 요구를 상기 제1 기기에 통지하여, 상기 제1 장치로부터 상기 제2 장치로의 화상 전송을 개시시키도록 구성되어 있다.
본 명세서에서 개시하는 기술의 제4 측면에 따르면, 제1 측면에 관한 정보 처리 장치의 상기 제어부는, 복수의 상기 제2 장치가 주도적으로 상기 제1 장치와 접속하는 경우에는, 복수의 상기 제2 장치로부터의 접속 요구가 소정의 개시 조건을 만족시키는 경우에만 상기 제1 기기에 통지하여, 상기 제1 장치로부터 복수의 상기 제2 장치로의 화상 전송을 개시시키도록 구성되어 있다.
본 명세서에서 개시하는 기술의 제5 측면에 따르면, 제1 측면에 관한 정보 처리 장치의 상기 제어부는, 상기 제1 장치로부터 상기 제2 장치로의 화상 전송의 개시와 함께, 상기 제2 장치로부터 상기 제1 장치로의 개입을 제어하도록 구성되어 있다.
또한, 본 명세서에서 개시하는 기술의 제6 측면은, 화상을 송신하는 제1 장치와 상기 화상을 수신하는 제2 장치간의 접속을, 상기 제1 장치 또는 상기 제2 장치 중 어느 것이 주도적이 될지에 따라서 제어하는 제어 스텝을 갖는 정보 처리 방법이다.
또한, 본 명세서에서 개시하는 기술의 제7 측면은, 제2 장치로 화상을 송신하는 제1 장치를 제1 장치의 위치 정보에 기초하여 선정하는 선정부를 구비하는 정보 처리 장치이다.
본 명세서에서 개시하는 기술의 제8 측면에 따르면, 제7 측면에 관한 정보 처리 장치의 상기 선정부는, 지도상에서 제1 장치의 위치를 나타낸 UI를 제시하도록 구성되어 있다.
본 명세서에서 개시하는 기술의 제9 측면에 따르면, 제7 측면에 관한 정보 처리 장치의 상기 선정부는, 유저의 행동을 또한 고려하여 제1 장치를 선정하도록 구성되어 있다.
본 명세서에서 개시하는 기술의 제10 측면에 따르면, 제8 측면에 관한 정보 처리 장치의 상기 선정부는, 유저의 행동에 기초하여 추출된 제1 장치만을 상기 UI에 의해 제시하도록 구성되어 있다.
본 명세서에서 개시하는 기술의 제11 측면에 따르면, 제8 측면에 관한 정보 처리 장치의 상기 선정부는, 유저의 행동에 기초하여 추출된 제1 장치만을 상기 UI에 의해 제시하도록 구성되어 있다.
본 명세서에서 개시하는 기술의 제12 측면에 따르면, 제8 측면에 관한 정보 처리 장치의 상기 선정부는, 제1 장치에의 개입에 관한 정보를 상기 UI에 의해 제시하도록 구성되어 있다.
또한, 본 명세서에서 개시하는 기술의 제13 측면은, 제2 장치로 화상을 송신하는 제1 장치를 제1 장치의 위치 정보에 기초하여 선정하는 선정 스텝을 갖는 정보 처리 방법이다.
또한, 본 명세서에서 개시하는 기술의 제14 측면은, 제2 장치로 화상을 송신하는 제1 장치를 제1 장치의 유저의 행동에 기초하여 선정하는 선정부를 구비하는 정보 처리 장치이다.
본 명세서에서 개시하는 기술의 제15 측면에 따르면, 제14 측면에 관한 정보 처리 장치의 상기 선정부는, 제1 장치로부터 송신하는 화상에 관한 정보를 나타낸 UI를 제시하도록 구성되어 있다.
본 명세서에서 개시하는 기술의 제16 측면에 따르면, 제15 측면에 관한 정보 처리 장치의 상기 선정부는, 제1 장치 또는 그 유저에 관한 정보를 상기 UI에 의해 제시하도록 구성되어 있다.
본 명세서에서 개시하는 기술의 제17 측면에 따르면, 제15 측면에 관한 정보 처리 장치의 상기 선정부는, 유저의 행동에 기초하여 추출된 제1 장치로부터 송신하는 화상만을 상기 UI에 의해 제시하도록 구성되어 있다.
또한, 본 명세서에서 개시하는 기술의 제18 측면은, 제2 장치로 화상을 송신하는 제1 장치를 제1 장치의 유저의 행동에 기초하여 선정하는 선정 스텝을 갖는 정보 처리 방법이다.
또한, 본 명세서에서 개시하는 기술의 제19 측면은, 제1 장치가 화상을 송신하는 제2 장치를, 제2 장치 또는 그 유저에 관한 정보에 기초하여 선정하는 선정부를 구비하는 정보 처리 장치이다.
본 명세서에서 개시하는 기술의 제20 측면에 따르면, 제19 측면에 관한 정보 처리 장치의 상기 선정부는, 제2 장치 또는 그 유저에 관한 정보를 나타낸 UI를 제시하도록 구성되어 있다.
본 명세서에서 개시하는 기술에 따르면, 유저간의 매칭을 행할 수 있는, 우수한 정보 처리 장치 및 정보 처리 방법을 제공할 수 있다.
또한, 본 명세서에 기재된 효과는, 어디까지나 예시이며, 본 발명의 효과는 이것에 한정되는 것은 아니다. 또한, 본 발명이, 상기한 효과 이외에, 또한 부가적인 효과를 발휘하는 경우도 있다.
본 명세서에서 개시하는 기술의 또 다른 목적, 특징이나 이점은, 후술하는 실시 형태나 첨부하는 도면에 기초하는 더욱 상세한 설명에 의해 밝혀질 것이다.
도 1은 본 명세서에서 개시하는 기술을 적용한 시계 정보 공유 시스템(100)의 개요를 나타낸 도면이다.
도 2는 1대 N의 네트워크 토폴로지를 모식적으로 나타낸 도면이다.
도 3은 N대 1의 네트워크 토폴로지를 모식적으로 나타낸 도면이다.
도 4는 N대 N의 네트워크 토폴로지를 모식적으로 나타낸 도면이다.
도 5는 화상 제공 장치(101)와 화상 표시 장치(102)의 기능적 구성예를 나타낸 도면이다.
도 6은 Body initiative start에 의한 개시 플로우를 개략적으로 나타낸 도면이다.
도 7은 Ghost initiative start에 의한 개시 플로우를 개략적으로 나타낸 도면이다.
도 8은 Body를 선정하기 위한 UI 표시예를 나타낸 도면이다.
도 9는 Body를 선정하기 위한 UI 표시예를 나타낸 도면이다.
도 10은 Body를 선정하기 위한 UI 표시예를 나타낸 도면이다.
도 11은 Body를 선정하기 위한 UI 표시예를 나타낸 도면이다.
도 12는 Body를 선정하기 위한 UI 표시예를 나타낸 도면이다.
도 13은 Body 선정용 UI에 표시하는 태그를 예시한 도이다.
도 14a는 Body를 선정하기 위한 UI 표시예를 나타낸 도면이다.
도 14b는 Body를 선정하기 위한 UI 표시예를 나타낸 도면이다.
도 15는 Body가 Ghost를 선정하는 UI의 일례를 나타낸 도면이다.
이하, 도면을 참조하면서 본 명세서에서 개시하는 기술의 실시 형태에 대해 상세하게 설명한다.
A. 시스템 구성
도 1에는, 본 명세서에서 개시하는 기술을 적용한 시계 정보 공유 시스템(100)의 개요를 나타내고 있다. 도시한 시계 정보 공유 시스템(100)은, 현장을 촬영한 화상을 제공하는 화상 제공 장치(101)와, 화상 제공 장치(101)로부터 제공되는 화상을 표시하는 화상 표시 장치(102)의 조합으로 구성된다.
화상 제공 장치(101)는, 구체적으로는, 실제로 현장에서 활동하는 관찰자(111)가 머리부에 착용하는 카메라가 달린 시스루형 헤드 마운트 디스플레이로 구성된다. 여기서 말하는 「시스루형」헤드 마운트 디스플레이는, 광학 투과형인 것을 기본으로 하지만, 비디오 시스루형이어도 된다. 헤드 마운트 디스플레이에 탑재되는 카메라는, 관찰자(111)의 거의 시선 방향을 촬영하여, 그 일인칭 영상(FPV: First Pereson View)을 제공한다.
한편, 화상 표시 장치(102)는, 현장, 즉 화상 제공 장치(101)로부터 이격되어 배치되고, 화상 제공 장치(101)와 화상 표시 장치(102)는 네트워크 경유로 통신하는 것을 상정하고 있다. 여기서 말하는 「이격」에는, 원격지 외에, 동일한 실내에서 약간(예를 들어, 수 미터 정도) 떨어져 있는 상황도 포함하는 것으로 한다. 또한, 도시하지 않은 서버를 통해 화상 제공 장치(101)와 화상 표시 장치(102) 사이에서 데이터 교환을 행하는 것도 상정된다.
화상 표시 장치(102)는, 예를 들어 현장에는 있지 않은 사람(촬영 화상의 시청자)(112)이 착용하는 헤드 마운트 디스플레이이다. 몰입형 헤드 마운트 디스플레이를 화상 표시 장치(102)에 사용하면, 시청자(112)는, 관찰자(111)와 동일한 광경을 보다 리얼하게 체험할 수 있다. 단, 시스루형 헤드 마운트 디스플레이를 화상 표시 장치(102)에 사용해도 된다.
또한, 화상 표시 장치(102)는, 헤드 마운트 디스플레이에 한정되는 것은 아니며, 예를 들어 손목시계형 디스플레이여도 된다. 혹은, 화상 표시 장치(102)는, 웨어러블 단말기일 필요는 없고, 스마트폰이나 태블릿 등의 다기능 정보 단말, 컴퓨터 스크린이나 텔레비전 수상기 등의 일반적인 모니터 디스플레이, 게임기, 나아가 스크린에 화상을 투영하는 프로젝터 등이어도 된다.
관찰자(111)는, 실제로 현장에 있고, 자신의 신체로 활동하고 있다는 점에서, 화상 제공 장치(101)의 유저인 관찰자(111)(또는, 화상 제공 장치(101))를 이하에서는 「Body」라고도 칭한다. 이에 비해, 시청자(112)는, 현장에서 신체로 활동하는 것은 아니지만, 관찰자(111)의 일인칭 영상을 시청함으로써 현장에 대한 의식을 갖는다는 점에서, 화상 표시 장치(102)의 유저인 시청자(112)(또는, 화상 표시 장치(102))를 이하에서는 「Ghost」라고도 칭한다.
Body는, 자신의 주변 상황을 Ghost에게 전달하고, 또한 상황을 Ghost와 공유한다. 한쪽의 Ghost는, Body와 커뮤니케이션을 취하여 이격된 장소로부터 작업 지원 등의 인터랙션을 실현할 수 있다. 시계 정보 공유 시스템(100)에 있어서, Ghost가 Body의 일인칭 체험에 몰입하여 인터랙션을 행하는 것을, 이하에서는 「JackIn」이라고도 칭한다. JackIn의 개시 플로우는, Body가 주도적으로 행하는 경우(Body initiative start)와, Ghost가 주도적으로 행하는 경우(Ghost initiative start)로 크게 구별된다. JackIn 개시 플로우의 상세에 대해서는 후술하기로 한다.
시계 정보 공유 시스템(100)은, Body로부터 Ghost로 일인칭 영상을 송신하여 Ghost측에서도 시청·체험하는 것과, Body와 Ghost 사이에서 커뮤니케이션을 취하는 것을 기본적인 기능으로 한다. 후자의 커뮤니케이션 기능을 이용하여, Ghost는, Body의 시계에 개입하는 「시계 개입」, Body의 청각에 개입하는 「청각 개입」, Body의 신체 혹은 신체의 일부를 동작시키거나 자극을 부여하거나 하는 「신체 개입」, Ghost가 Body 대신에 현장에서 이야기를 하는 「대체 회화」라고 하는 원격지로부터의 개입에 의해, Body에 대한 인터랙션을 실현할 수 있다. JackIn에서는, 「시계 개입」, 「청각 개입」, 「신체 개입」, 「대체 회화」라고 하는 복수의 커뮤니케이션 채널이 있다고도 할 수 있다. 「시계 개입」, 「청각 개입」, 「신체 개입」, 「대체 회화」 각각의 상세에 대해서는 후술한다.
Ghost는, 「시계 개입」, 「청각 개입」, 「신체 개입」, 「대체 회화」를 통해, Body에 대해 현장에서의 행동을 지시할 수 있다. 예를 들어, 외과 수술 등의 의료 현장이나 토목 작업 등의 건축 현장 등 다양한 산업 분야의 작업 지원, 비행기나 헬리콥터의 조종 지시나 유도, 자동차의 운전자 안내, 스포츠에 있어서의 코칭 혹은 인스트럭션 등의 용도에 시계 정보 공유 시스템(100)을 활용할 수 있다.
예를 들어, Body는, 자신의 시계를 타인과 공유하고 싶은 경우 외에, 시계 개입 등을 통해, 현재 행하고 있는 작업에 대해 타인으로부터 지원이나 지시, 유도, 안내를 받고 싶은(혹은, 받아야 하는) 경우에, 스스로 주도적으로 적당한 Ghost와의 JackIn(Body initiative start)을 실시한다.
또한, Ghost는, 자신이 나가는 일 없이 현장의 영상(타인의 일인칭 영상)을 시청하고 싶은 경우 외에, 타인이 행하고 있는 작업에 대해 지원이나 지시, 유도, 안내를 행하고 싶은(혹은, 행해야 하는) 경우에, 스스로 주도적으로 해당되는 Body와의 JackIn(Ghost initiative start)을 실시한다.
단, Body는, 무제한으로 자신의 시계나 청각, 신체, 회화에 개입되면, 자신의 행동이 Ghost에게 방해되거나, 혹은 자신의 행동에 지장을 초래하여 위험한 경우나, 프라이버시가 침해되는 경우도 있다. 한편, Ghost에게 있어서도, 보고 싶지 않은 영상이 있는 경우나, 요청받아도 Body에 대해 적절한 지원이나 지시, 유도, 안내 등의 서비스를 제공할 수 없는 경우가 있다. 따라서, Ghost의 Body에의 JackIn이나, JackIn한 상태에서의 Ghost로부터 Body에의 개입에 일정한 제한을 부과하도록 해도 된다.
또한, 도 1에서는 간소화를 위해, 화상 제공 장치(101)와 화상 표시 장치(102)를 각각 1대밖에 존재시키지 않은, Body와 Ghost가 1대 1인 네트워크 토폴로지를 그리고 있다. 도 2에 나타낸 바와 같은, 1개의 Body와 복수(N)의 Ghost가 동시에 JackIn하는 1대 N의 네트워크 토폴로지나, 도 3에 나타낸 바와 같은, 복수(N)의 Body와 1개의 Ghost가 동시에 JackIn하는 N대 1의 네트워크 토폴로지, 도 4에 나타낸 바와 같은, 복수(N)의 Body와 복수(N)의 Ghost가 동시에 JackIn하는 N대 N의 네트워크 토폴로지도 상정된다.
또한, 하나의 장치가 Body로부터 Ghost로 전환되거나, 반대로 Ghost로부터 Body로 전환되거나 하는 것이나, 동시에 Body와 Ghost의 역할을 갖는 것도 상정된다. 하나의 장치가 Ghost로서 어느 Body에 JackIn하는 동시에, 다른 Ghost에 대해 Body로서 기능하여, 3대 이상의 장치가 데이지 체인 접속되는 네트워크 토폴로지(도시를 생략)도 상정된다. 어느 네트워크 토폴로지에 있어서도, Body와 Ghost 사이에 서버(도시 생략)가 개재되는 경우도 있다.
B. 기능적 구성
도 5에는, 화상 제공 장치(101)와 화상 표시 장치(102)의 기능적 구성예를 나타내고 있다.
화상 제공 장치(101)는, Body로서의 역할을 하는 유저(관찰자(112))의 이용에 제공되는 장치이다. 도 5에 나타낸 예에서는, 화상 제공 장치(101)는, 촬상부(501)와, 화상 처리부(502)와, 출력부로서의 표시부(503), 제1 음성 출력부(504), 구동부(505) 및 제2 음성 출력부(506)와, 위치 검출부(507)와, 통신부(508)와, 제어부(509)와, 인증부(510)를 구비하고 있다.
촬상부(501)는, Body의 일인칭 영상을 촬영하는 카메라로 구성된다. 촬상부(501)는, 예를 들어 Body, 즉 관찰자(111)의 시선 방향을 촬영하도록 관찰자(111)의 머리부에 설치된다. 혹은, 촬상부(501)에 전천주형 카메라를 사용하여, Body의 주위 360도의 전천주 화상을 제공할 수 있도록 해도 된다. 단, 전천주 화상은 반드시 360도일 필요는 없고, 일부의 시야가 결여되어 있어도 된다. 또한, 전천주 화상은, 정보가 적은 바닥면을 포함하지 않는 반천구 화상이어도 된다(이하, 마찬가지).
화상 처리부(502)는, 촬상부(501)로부터 출력되는 화상 신호의 처리를 행한다. 촬상부(501)에 의해 촬영되는 Body의 일인칭 영상을 그대로 스트리밍하는 경우, Body는 자신의 의사로 주변을 바라보거나 시선 방향을 바꾸거나 하기 때문에, Ghost는 흔들림이 심한 영상을 시청하게 되어, VR(Virtual Reality) 멀미 또는 모션 시크니스를 일으키는 등의 건강 피해가 우려된다. 또한, Body가 착안하지 않은 다른 개소를 Ghost가 시청하고 싶은 경우도 있다. 그래서, 화상 처리부(502)는, 촬상부(501)가 촬영하는 Body의 일인칭 영상의 연속 화상으로부터 주변의 공간을 의사적으로 구축하도록 하고 있다. 구체적으로는, 화상 처리부(502)는, 촬상부(501)가 촬영하는 영상(전천주 화상)에 대해 실시간으로 SLAM(Simultaneous Localization and Mapping) 인식 기술 등에 기초하는 공간 인식을 행하여, 현재의 비디오 프레임과 과거의 비디오 프레임을 공간적으로 연결함으로써, Ghost가 컨트롤하는 가상적인 카메라 시점으로부터의 영상을 렌더링한다. 가상적인 카메라 시점에서 렌더링된 영상은, Body의 일인칭 영상이라고 하기보다 의사적으로 Body의 체외로 이탈한 시점 영상이다. 따라서, Ghost측에서는 Body의 움직임과는 독립적으로 Body의 주위 환경을 관찰할 수 있으므로, 영상의 흔들림을 안정화시켜 VR 멀미를 방지함과 함께, Body가 착안하지 않은 다른 개소를 시청할 수 있다.
표시부(503)는, 화상 표시 장치(102)로부터 보내져 오는 정보를 표시 출력하고, Ghost에 의한 Body의 시계에의 개입을 실현한다. 상술한 바와 같이 화상 제공 장치(101)가 시스루형 헤드 마운트 디스플레이로서 구성되는 경우, 표시부(503)는 Body와 일인칭 체험을 공유하는 Ghost의 의식을 표현한 AR(Augmented Reality) 화상을, 관찰자(111)의 시계(즉, 실세계의 풍경)에 중첩 표시한다. AR 화상은, 예를 들어 Ghost가 지시한 장소를 나타내는 포인터나 어노테이션 등의 화상을 포함한다. 따라서, Ghost는, Body와의 커뮤니케이션을 통해 그 시계에 개입하여, 현장에 있는 Body에 대한 인터랙션을 행할 수 있다.
제1 음성 출력부(504)는, 예를 들어 이어폰이나 헤드폰 등으로 구성되고, 화상 표시 장치(102)로부터 보내져 오는 정보를 Body에 들려줌으로써, Ghost에 의한 Body의 청각에의 개입을 실현한다. 화상 표시 장치(102)로부터는, Body와 일인칭 체험을 공유하는 Ghost의 의식에 관한 정보가 송신된다. 화상 제공 장치(101)측에서는, 수신한 정보를 음성 신호로 변환하여, 제1 음성 출력부(504)로부터 음성 출력하고, Body, 즉 관찰자(111)에게 들려준다. 혹은, 일인칭 체험 중인 Ghost가 발화한 음성 신호가, 그대로 화상 표시 장치(102)로부터 송신된다. 화상 제공 장치(101)측에서는, 수신한 음성 신호를 그대로 제1 음성 출력부(504)로부터 음성 출력하여, Body, 즉 관찰자(111)에게 들려준다. 또한, 제1 음성 출력부(504)로부터 출력하는 음성의 음량이나 음질, 출력 타이밍 등을 적절히 조정하도록 해도 된다. 혹은, 화상 표시 장치(102)로부터 도달하는 화상 정보나 문자 정보를 음성 신호로 변환하여, 제1 음성 출력부(504)로부터 음성 출력하도록 해도 된다. 따라서, Ghost는, Body와의 커뮤니케이션을 통해 그 청각에 개입하여, 현장에 있는 Body에 대한 인터랙션을 행할 수 있다.
구동부(505)는, Body의 신체 혹은 신체의 일부를 동작시키거나 자극을 부여하거나 하여, Ghost에 의한 Body의 신체에의 개입을 실현한다. 구동부(505)는, 예를 들어 관찰자(111)의 신체에 대해 촉각(택타일)이나 (건강에 해가 없을 정도의 경미한) 전기 자극을 인가하는 액추에이터로 구성된다. 혹은, 구동부(505)는, 관찰자(111)가 팔이나 손, 다리 등에 장착하는 파워 슈트나 외골격(exoskeleton)을 구동함으로써 신체의 운동을 보조 또는 구속하는 장치(예를 들어, 특허문헌 5를 참조)로 구성된다. 따라서, Ghost는, Body와의 커뮤니케이션을 통해 그 신체에 개입하여, 현장에 있는 Body에 대한 인터랙션을 행할 수 있다.
제2 음성 출력부(506)는, 예를 들어 Body가 장착하는 웨어러블 스피커 등으로 구성되고, 화상 표시 장치(102)로부터 도달하는 정보 또는 음성 신호를 외부에 음성 출력한다. 제2 음성 출력부(506)로부터 출력되는 음성은, 현장에서는, 마치 Body 본인이 이야기하고 있는 것처럼 들린다. 따라서, Ghost는, Body 대신에, Body가 있는 현장의 사람들과 회화하거나, 음성에 의한 지시를 행하거나 할(대체 회화) 수 있다.
위치 검출부(507)는, 예를 들어 GPS(Global Positioning System) 신호를 사용하여 화상 제공 장치(101)(즉, Body)의 현재 위치 정보를 검출한다. 검출된 위치 정보는, 예를 들어 Ghost가 원하는 장소에 있는 Body를 검색할 때에 이용된다(후술).
통신부(508)는, 네트워크 경유로 화상 표시 장치(102)와 상호 접속하고, 촬영부(501)에 의해 촬영한 일인칭 영상이나 공간 정보의 송신, 화상 표시 장치(102)와의 커뮤니케이션을 행한다. 통신부(508)의 통신 수단은 무선 또는 유선 중 어느 것이어도 되고, 또한 특정 통신 규격에 한정되지 않는다.
인증부(510)는, 네트워크 경유로 상호 접속되는 화상 표시 장치(102)(혹은, 그 유저인 Ghost)의 인증 처리를 행하고, 화상 표시 장치(102)로부터의 정보를 출력하는 출력부를 결정한다. 그리고, 제어부(509)는, 인증부(510)에 의한 인증 결과에 따라서, 출력부로부터의 출력 동작을 제어한다. 제어부(509)는, 예를 들어 CPU(Central Processing Unit)와 GPU(Graphic Processing Unit)에 상당하는 기능을 구비하고 있다.
예를 들어, 인증 처리 결과, 화상 표시 장치(102)에 시계 개입만이 허용되어 있는 경우에는, 제어부(509)는, 표시부(503)로부터의 표시 출력만을 실행한다. 또한, 화상 표시 장치(102)에 시계 개입뿐만 아니라 청각 개입도 허용되어 있는 경우에는, 제어부(509)는, 표시부(503)로부터의 표시 출력과 함께 제1 음성 출력부(504)로부터 음성 출력도 실행한다. Body가 Ghost로부터의 개입을 허용하는 범위는, permission 레벨로서 정의된다. 한편, Ghost가 Body에 대해 개입을 행하는 범위는, mission 레벨로서 정의된다(후술). 단, 인증부(510) 및 제어부(509)에 의한 상기한 처리를, 화상 제공 장치(101)가 아닌, 화상 제공 장치(101)와 화상 표시 장치(102) 사이에 개재되는 서버(도시 생략)에 의해 실행하도록, 시계 정보 공유 시스템(100)을 구성하는 것도 가능하다.
한편, 화상 표시 장치(102)는, Ghost로서의 역할을 하는 유저(시청자(112))의 이용에 제공되는 장치이다. 도 5에 나타낸 예에서는, 화상 표시 장치(102)는, 통신부(511)와, 화상 복호부(512)와, 표시부(513)와, 유저 입력부(514)와, 위치 자세 검출부(515)를 구비하고 있다.
통신부(511)는, 네트워크 경유로 화상 제공 장치(101)와 상호 접속하여, 화상 제공 장치(101)로부터 일인칭 영상의 수신이나, 화상 제공 장치(101)와의 커뮤니케이션을 행한다. 통신부(511)의 통신 수단은 무선 또는 유선 중 어느 것이어도 되고, 특정 통신 규격에 한정되지 않지만, 화상 제공 장치(101)측의 통신부(508)와 정합하고 있는 것으로 한다.
화상 복호부(512)는, 통신부(511)에서 화상 제공 장치(101)로부터 수신한 화상 신호를 복호 처리한다. 표시부(513)는, 화상 복호부(512)에서 복호한 후의 전천주 화상(Body의 일인칭 영상)을 표시 출력한다. 또한, Body의 일인칭 영상으로부터 Body의 체외로 이탈한 시점 영상을 렌더링하는 처리(전술)를 화상 제공 장치(101)측의 화상 처리부(502)가 아닌, 화상 복호부(512)에서 행하도록 해도 된다.
위치 자세 검출부(515)는, 시청자(112)의 머리부의 위치 및 자세를 검출한다. 검출한 위치 및 자세는, Ghost의 현재의 시점 위치 및 시선 방향에 상당한다. Body의 일인칭 영상으로부터 의사적으로 Body의 체외로 이탈한 시점 영상을 만들어낼 때의 가상적인 카메라(전술)의 시점 위치 및 시선 방향을, 위치 자세 검출부(515)에 의해 검출한 시청자(112)의 머리부의 위치 및 자세에 기초하여 컨트롤할 수 있다.
표시부(513)는, 예를 들어 Ghost로서의 시청자(112)가 착용하는 헤드 마운트 디스플레이로 구성된다. 몰입형 헤드 마운트 디스플레이를 표시부(513)에 사용하면, 시청자(112)는, 관찰자(111)와 동일한 광경을 보다 리얼하게 체험할 수 있다. 시청자(112), 즉, Ghost가 시청하는 영상은, Body의 일인칭 영상 자체가 아니라, 일인칭 영상의 연속 화상으로부터 의사적으로 구축된 주변의 공간(의사적으로 Body의 체외로 이탈한 시점 영상)인 것으로 한다(전술). 또한, Ghost의 헤드 트래킹, 즉, 위치 자세 검출부(515)에 의해 검출한 시청자(112)의 시점 위치 및 시선 방향에 추종하도록 가상 카메라를 제어하여, 표시부(513)의 표시 화각을 이동시킬 수 있다.
표시부(513)로서, 몰입형 헤드 마운트 디스플레이 대신에, 시스루형 헤드 마운트 디스플레이나, 손목시계형 디스플레이 등의 웨어러블 단말기를 사용해도 된다. 혹은, 표시부(513)는, 웨어러블 단말기일 필요는 없고, 스마트폰이나 태블릿 등의 다기능 정보 단말기, 컴퓨터 스크린이나 텔레비전 수상기 등의 일반적인 모니터 디스플레이, 게임기, 나아가 스크린에 화상을 투영하는 프로젝터 등이어도 된다.
유저 입력부(514)는, Ghost로서의 시청자(112)가, 표시부(513)에 표시되어 있는 Body의 일인칭 영상을 관찰한 것에 대해, Ghost 자신의 의도나 의식을 입력하기 위한 디바이스이다.
유저 입력부(514)는, 예를 들어 터치 패널이나 마우스, 조이스틱 등의 좌표 입력 장치로 구성된다. Ghost는, Body의 일인칭 영상을 표시하는 화면 내에서, 특히 관심이 있는 장소를, 터치나 마우스의 클릭 조작 등에 의해 직접 지시할 수 있다. Ghost는 시청하고 있는 영상의 화소 좌표 상에 지시를 행하지만, Body측의 촬영 영상은 항상 변화되므로 의미를 갖지 않는다. 그래서, 유저 입력부(514)는, Ghost가 화면의 터치나 클릭 조작 등에 의해 지시한 화소 위치에 대응하는 3차원 공간상의 위치 정보를 화상 해석 등에 의해 특정하고, 그 3차원 공간상의 위치 정보를 화상 제공 장치(101)에 송신한다. 따라서, Ghost는, 화소 좌표가 아닌, 공간에 대해 고정할 수 있는 포인팅을 행할 수 있다.
또한, 유저 입력부(514)는, 카메라에 의한 Ghost의 얼굴의 촬영 화상이나 눈 전위를 사용하여 안구 운동을 포착하여, Ghost가 숙시(gaze)하고 있는 장소를 산출하고, 그 장소를 특정하는 정보를 화상 제공 장치(101)에 송신하도록 해도 된다. 그때도, 유저 입력부(514)는, Ghost가 숙시하는 화소 위치에 대응하는 3차원 공간상의 위치 정보를 화상 해석 등에 의해 특정하고, 그 3차원 공간상의 위치 정보를 화상 제공 장치(101)에 송신한다. 따라서, Ghost는, 화소 좌표가 아닌, 공간에 대해 고정할 수 있는 포인팅을 행할 수 있다.
또한, 유저 입력부(514)는, 키보드 등의 문자 입력 장치로 구성된다. Ghost는, Body와 동일한 일인칭 체험을 하였을 때, Body에게 전달하고 싶은 의도나 품은 의식 등을 문자 정보로서 입력할 수 있다. 유저 입력부(514)는, Ghost가 입력한 문자 정보를 그대로 화상 제공 장치(101)에 송신해도 되고, 음성 신호 등 다른 신호 형식으로 치환하고 나서 화상 제공 장치(101)에 송신하도록 해도 된다.
또한, 유저 입력부(514)는, 마이크 등의 음성 입력 장치로 구성되고, Ghost가 발화한 음성을 입력한다. 유저 입력부(514)는, 입력된 음성을, 음성 신호 그대로, 통신부(511)로부터 화상 제공 장치(101)로 송신해도 된다. 혹은, 유저 입력부(514)는, 입력 음성을 음성 인식하여 문자 정보로 변환하고, 문자 정보로서 화상 제공 장치(101)에 송신하도록 해도 된다.
Ghost는, Body의 일인칭 영상을 시청하면서, 「그」, 「이것」과 같은 지시어를 사용하여 사물을 가리키는 것이 상정된다. 이러한 경우, 유저 입력부(514)는, 지시어가 가리키는 사물의 3차원 공간상의 위치 정보를 언어 해석 및 화상 해석 등에 의해 특정하고, 그 3차원 공간상의 위치 정보를 화상 제공 장치(101)에 송신한다. 따라서, Ghost는, 화소 좌표가 아닌, 공간에 대해 고정할 수 있는 포인팅을 행할 수 있다.
또한, 유저 입력부(514)는, Ghost의 몸짓이나 손짓을 입력하는 제스처 입력 장치여도 된다. 제스처를 포착하는 수단은 특별히 한정되지 않는다. 예를 들어, 유저 입력부(514)는, Ghost의 사지의 움직임을 촬영하는 카메라와 그 촬영 화상을 처리하는 화상 인식 장치를 구비하고 있어도 된다. 또한, 화상 인식을 용이하게 하기 위해, Ghost의 신체에 마커를 부착해도 된다. 유저 입력부(514)는, 입력된 제스처를, 예를 들어 Body의 신체에 개입하는 제어 신호로서, 통신부(411)로부터 화상 제공 장치(101)로 송신해도 된다. 또한, 유저 입력부(514)는, 입력된 제스처를, Body의 시계에 개입하는 화상 정보(좌표 정보나, 중첩 표시하는 AR 화상, 또는 문자 정보 등)나, Body의 청각에 개입하는 음성 신호로 변환하여, 통신부(511)로부터 화상 제공 장치(101)로 송신해도 된다. 또한, 유저 입력부(514)는, Ghost가 제스처에 의해 지시한 화소 위치에 대응하는 3차원 공간상의 위치 정보를 화상 해석 등에 의해 특정하고, 그 3차원 공간상의 위치 정보를 화상 제공 장치(101)에 송신한다. 따라서, Ghost는, 화소 좌표가 아닌, 공간에 대해 고정할 수 있는 포인팅을 행할 수 있다.
시계 정보 공유 시스템(100)에 있어서 전개되는 JackIn이라고 하는 서비스는, AR 화상을 중첩 표시한다고 하는 관점에서는, 일반적인 AR 기술과 유사하다. 단, JackIn에 있어서는, 인간(Ghost)이 다른 인간(Body)을 확장한다고 하는 점에서, 컴퓨터에 의해 부여되는 통상의 AR 기술과는 상이한 것이라고 사료된다.
또한, JackIn은, 텔레프레전스(전술)와 유사한 점도 있다. 단, 통상의 텔레프레전스는, 로봇과 같은 기계의 시점에서 세계를 바라보는 인터페이스인 데 비해, JackIn은 인간(Ghost)이 다른 인간(Body)의 시점에서 바라본다고 하는 상황이라는 점에서 상이하다. 또한, 텔레프레전스에서는, 인간이 마스터이고 기계가 슬레이브가 되어, 슬레이브인 기계는 인간의 움직임을 충실하게 재현하는 것을 전제로 하고 있다. 이에 비해, 인간(Ghost)이 다른 인간(Body)에게 JackIn하는 경우, Body는 반드시 Ghost에 따라서 움직이는 것만은 아니며, 독립성을 허용하는 인터페이스이다.
상기한 시계 정보 공유 시스템(100)에 있어서, 화상 제공 장치(101)로부터 화상 표시 장치(102)에 제공되는 영상은, Body가 현장에서 관찰하고 있는 리얼타임 영상(즉, 촬상부(501)가 촬영하는 라이브 영상)에 한정되는 것은 아니며, 녹화된 과거의 영상이어도 된다. 예를 들어, 화상 제공 장치(101)가 과거의 영상을 녹화한 대용량 기억 장치(도시 생략)를 구비하고, 화상 제공 장치(101)로부터 과거의 영상을 배신하도록 해도 된다. 혹은, Body와 Ghost간의 JackIn을 통제하는 JackIn 서버(가칭), 혹은 그 밖의 기록 서버상에서 화상 제공 장치(101)에 의한 과거의 녹화 영상을 축적해 두고, 이들 서버로부터 Ghost(화상 표시 장치(102))에 과거의 영상을 스트리밍 배신하도록 해도 된다. 단, Ghost는, 과거의 영상을 시청하는 경우에는, 시계, 청각을 포함하는 Body에의 개입이 일절 허용되지 않는다. 왜냐하면, Ghost가 시청하고 있는 영상은 Body가 현재 작업을 행하고 있는 현장의 영상이 아니며, 과거의 영상에 기초하여 개입하면 Body의 현재의 작업에 지장을 초래하기 때문이다.
또한, 2대의 기기 사이에 있어서의 시계 공유의 상세에 대해서는, 예를 들어 본 출원인에게 이미 양도되어 있는 일본 특허 출원 제2013-78893호 명세서도 참조하기 바란다. 또한, 동 시스템(100)에 있어서의 시계 개입(AR 화상의 표시)의 상세에 대해서는, 예를 들어 본 출원인에게 이미 양도된 일본 특허 출원 제2013-78892호 명세서, 일본 특허 출원 제2013-78894호 명세서, 일본 특허 출원 제2013-191464호 명세서도 참조 바란다.
C. Mission-Permission(Body와 Ghost의 매칭)
JackIn에서는, 「시계 개입」, 「청각 개입」, 「신체 개입」, 「대체 회화」라고 하는 복수의 커뮤니케이션 채널이 있다. 따라서, Body는, Ghost와의 JackIn을 개시함으로써, 자신의 시계를 Ghost와 공유할 수 있음과 함께, 시계 개입 등을 통해 현재 행하고 있는 작업에 대해 Ghost로부터 지원이나 지시, 유도, 안내를 받을 수 있다. 또한, Ghost는, Body와의 JackIn을 개시함으로써, 자신은 현장에 나가지 않아도 Body의 일인칭 체험을 할 수 있음과 함께, 시계 개입 등을 통해 Body의 작업에 대해 지원이나 지시, 유도, 안내를 행할 수 있다.
그러나, Body는, Ghost로부터 무제한으로 자신의 시계나 청각, 신체에 개입되거나 대체 회화가 행해지거나 하면, Body 자신의 행동이 Ghost에게 방해되거나, 혹은 행동에 지장을 초래하여 위험에 노출되는 경우나, 프라이버시가 침해되는 경우도 있다. 한편, Ghost에게 있어서도, 보고 싶지 않은 영상이 있는 경우나, Body로부터 요청받아도 적절한 지원이나 지시, 유도, 안내 등의 서비스를 제공할 수 없는 경우가 있다. 즉, Body와 Ghost의 미스 매치가 문제가 된다.
그래서, 본 실시 형태에서는, Body와 Ghost간의 적절한 매칭을 실현하기 위해, 「permission」과 「mission」을 정의한다. Body가 Ghost로부터의 개입을 허용하는 범위를 「permission」으로서 정의하고, Ghost로부터의 개입을 permission으로 규정하는 범위로 한정한다. 한편, Ghost가 Body에 대해 개입하는 조작의 범위를 「mission」으로서 정의하고, Ghost가 Body에 개입하려고 하는 범위를 mission으로 규정하는 범위로 한정한다.
C-1. Permission
먼저, permission에 대해 설명한다. 각 Body는, 이하에 예시하는 바와 같이 개입을 허용하는 레벨의 상이한 permission을, 각각 적절하게 설정할 수 있다.
(레벨 1) 시계 교환(일인칭 영상의 송신)밖에 허용하지 않는다. 이 경우, 화상 제공 장치(101)는, 촬상부(501)의 촬상 화상의 송신만을 행하고, 출력부를 일절 동작시키지 않는다.
(레벨 2) 시계 교환과 시계 개입까지밖에 허용하지 않는다. 이 경우, 화상 제공 장치(101)는, 촬상부(501)의 촬상 화상을 송신함과 함께, 표시부(503)의 표시 출력만을 행한다.
(레벨 3) 또한 청각 개입도 허용한다. 이 경우, 화상 제공 장치(101)는, 촬상부(501)의 촬상 화상을 송신함과 함께, 표시부(503)의 표시 출력 및 제1 음성 출력부(504)로부터의 음성 출력을 행한다.
(레벨 4) 신체 개입 및 대체 회화를 포함하는, 모든 개입을 허용한다. 이 경우, 화상 제공 장치(101)는, 또한 구동부(505)를 구동할 수 있음과 함께, 제2 음성 출력부(506)로부터 음성을 외부 출력할 수 있다.
또한, 각 Body는, 모든 Ghost에 대해 균일한 permission을 부여하는 것이 아니라, Ghost마다 개별 permission을 부여하도록 해도 된다.
예를 들어, Body는, Ghost의 유저 속성에 따른 permission을 설정해도 된다. 여기서 말하는 유저 속성이라 함은, 연령, 성별, Body와의 인간 관계(친척, 친구, 상사와 부하 등), 출신지, 직업, 자격과 같은 개인 정보 외에, 지원 대상이 되는 작업의 스킬의 레이팅 정보, 과거의 Ghost(어시스턴트나 인스트럭터 등)로서의 실적(지금까지 몇 시간 그 작업을 경험하였는지)이나 평가(review), 다른 Body에 의한 평판(투고나 투표 결과 등) 등의 정보를 포함하는 것으로 한다.
또한, Body는, 속성에 따른 permission을 설정하는 것이 아니라, 개인 단위로 permission을 설정해도 된다(A씨용 permission, B씨용 permission, … 등). 바꾸어 말하면, Body와 Ghost의 조합마다 permission을 설정해도 된다. Body는, 자신과의 인간 관계에 기초하여 permission을 설정해도 되고, Body가 개인적으로 파악하고 있는 Ghost 자신의 능력에 기초하여 permission을 설정해도 된다. 또한, Body와 Ghost 사이에서의 1대 1의 협상이나 조정 등에 의해, Ghost에 일시적인 permisson을 부여하는 방법(어느 Ghost에, 소정 기간만큼 고레벨의 permisson을 부여하고, 그 기간이 경과하면 원래의 레벨의 permission으로 되돌림)도 생각할 수 있다. 또한, Body는, 자신에의 JackIn을 금지하는 유저를 설정할 수 있도록 해도 된다.
인간 관계에 기초하는 permission 설정의 간단한 예를 이하에 열거한다.
(예 1) 타인에 대해서는 시계 공유(레벨 1의 permission)밖에 허용하지 않는다.
(예 2) 친구에게는 시계 개입 및 청각 개입(레벨 2 또는 3의 permission)까지 허용한다.
(예 3) 친한 친구나 인증 혹은 자격을 얻은 사람에게는, 특별히 신체 개입(레벨 4의 permission)을 허용한다. 또는, 일시적으로 대체 회화를 허용한다.
permission 설정의 다른 예로서, Body가 JackIn을 유료 서비스화(즉, monetize)하는 경우를 들 수 있다. Ghost는, 지불하는 이용료에 따라서, 상기한 레벨 1 내지 4 중 어느 하나의 permission이 설정되어, Body와 JackIn할 수 있다.
(예 4) 5달러 지불하는 Ghost에 대해서는, 시계 공유(레벨 1의 permission)밖에 허용하지 않는다.
(예 5) 10달러 지불하는 Ghost에게는, 시계 개입 및 청각 개입(레벨 2 또는 3의 permission)까지 허용한다.
(예 6) 100달러 지불하는 Ghost에게는, 신체 개입(레벨 4의 permission)을 허용한다. 또는, 일시적으로 대체 회화를 허용한다.
C-2. Mission
다음으로, mission에 대해 설명한다. 본 실시 형태에서는, Ghost가 Body에 대해 개입하는 조작의 범위를 「mission」으로서 정의하고, Ghost가 Body에 개입할 수 있는 범위를 mission으로 규정하는 범위로 한정한다. Ghost의 mission은, 예를 들어 Ghost 자신이 짊어지고 있는 사명이나 능력의 범위에서 설정된다. mission은, 개개의 Ghost가 스스로 제멋대로 정하는 것이 아니라, 예를 들어 권위가 있는 기관 등에 의해 허가 혹은 인증받는 것이 바람직하다. Ghost에 부과된 사명, 직무, 직업이나, 자격, 개입의 스킬의 레이팅, 과거의 Ghost(어시스턴트나 인스트럭터 등)로서의 실적(Ghost로서의 경험 시간 등)이나 평가(review), Body에 의한 평판(투고나 투표 결과 등) 등에 따라서, 이하에 예시하는 레벨의 상이한 mission을 정의할 수 있다.
(레벨 1) 시계 교환(일인칭 영상의 송신)밖에 행하지 않는다. 이 경우, 화상 표시 장치(102)는, 화상 제공 장치(101)로부터 수신한 화상의 표시만을 행한다.
(레벨 2) 시계 교환과 시계 개입까지 행한다. 이 경우, 화상 표시 장치(102)는 화상 제공 장치(101)로부터 수신한 화상을 표시함과 함께, 화상 제공 장치(101)측에서 표시해야 할 화상(중첩 표시하여, 시계에 개입해야 하는 화상)에 관한 정보를 송신한다.
(레벨 3) 또한 청각 개입도 행한다. 이 경우, 화상 표시 장치(102)는 화상 제공 장치(101)에 의해 출력해야 하는 음성(Body에게 들려주어야 할 음성)에 관한 정보를 또한 송신한다.
(레벨 4) 신체 개입 및 대체 회화를 포함하는, 모든 개입을 행한다. 이 경우, 화상 표시 장치(102)는, 구동부(505)를 동작시키는 정보나, 제2 음성 출력부(506)로부터 외부로 출력해야 하는 음성에 관한 정보를 또한 송신한다.
Body가 Ghost와의 JackIn을 개시할 때에는, Ghost의 개인 정보나 속성 정보에 기초하여 필터링하고, 나아가 Body가 지정하는 permission과 Ghost가 갖는 mission을 대조하여, JackIn의 가부나, JackIn한 상태에서의 개입 가능한 범위를 판정하도록 하면 된다. 예를 들어, 불특정 다수의 Ghost(Large number Ghost)를 대상으로 하여, Body가 주도적으로 JackIn을 개시할 때(Body initiative start), 필터링 처리는 유효하다.
이러한 필터링 처리는, Body측(즉, 화상 제공 장치(101))에서 행하도록 해도 되고, 다수의 Body 및 다수의 Ghost간의 JackIn을 통제하는 JackIn 서버(가칭)가 행하도록 해도 된다.
Body에 permission을 설정함과 함께, Ghost에 mission을 설정함으로써, JackIn을 개시할 때의 Ghost의 선정이나, Ghost가 개입하는 범위를 결정하는 처리를 자동화하기 쉬워진다. 예를 들어, 불특정 다수의 Ghost가 JackIn해 줄 때에는, Body는 각 Ghost에 개입을 허용하는 레벨을 기계적으로 판단할 수 있어 편리하다. 물론, 미리 설정한 permisson 및 mission 등의 정보에 기초하여 기계적으로 판단하는 것이 아니라, Body와 Ghost간의 협상이나 조정 등에 의해, JackIn의 가부나 개입의 레벨을 그 자리에서 결정을 주고받도록 해도 된다.
D. JackIn 개시 플로우
JackIn은, 시계 정보 공유 시스템(100)에 있어서, Ghost가 Body의 일인칭 체험에 몰입하는 상황이며, Ghost는 Body에 대해 인터랙션을 행한다.
상술한 바와 같이, JackIn은, Body가 주도적이 되어 개시되는 경우(Body initiative start)와, Ghost가 주도적이 되어 개시되는 경우(Ghost initiative start)로 크게 구별된다.
또한, Body initiative start와 Ghost initiative start 중 어느 경우에 있어서도, 단일 또는 (특정한) 소수의 Ghost가 JackIn하는 경우(Single(or small number) Ghost)와, (불특정) 다수의 Ghost가 JackIn하는 경우(Large number Ghost)로 분류할 수 있다.
Body가 주도적으로 JackIn을 개시하는 경우로서, 현재 행하고 있는 작업에 대해 지원이나 지시, 유도, 안내를 요구하는 시추에이션이 상정된다. 예를 들어, 차량의 수리 작업을 가르쳐 줄 사람을 구하는 일상적인 시추에이션도 있는가 하면, 외과 수술 등의 의료 현장이나 토목 작업 등의 건축 현장 등에 있어서 비교적 고도의 기술이나 기량을 요하는 작업에 대한 지원이나 지시, 유도, 안내를 요구하는 시추에이션도 있다.
JackIn은, 기본적으로 Ghost가 Body에 들어가는(jack in) 행위에 의해 개시된다. 따라서, Body가 주도적으로 JackIn을 개시하고 싶은 경우, Body는, 원하는(혹은, 소정 인원수의) Ghost가 들어가 줄 것을 리퀘스트한 후, 대기 상태 그대로 작업을 개시한다.
도 6에는, Body initiative start에 의한 개시 플로우를 개략적으로 나타내고 있다. 동 도면에서는 간소화를 위해, Ghost를 한사람밖에 그리지 않았지만, 복수의 Ghost가 존재하는 것이 상정된다.
Body는, 상기한 대기 상태에서는, Ghost를 수리하는 「acceptance」를 open 상태로 하여, 작업을 개시하고 있다.
또한, Body측으로부터의, JackIn해 줄 Ghost를 리퀘스트하는 형태는 임의이다. 예를 들어, Body는, SNS(Social Networking Service)를 이용하여, 「Need Help!」, 「누군가 자동차의 운전 방법을 가르쳐 주세요」, 「○○로 가는 길을 가르쳐 주세요」 등의 코멘트를 게시하여 Ghost를 모집해도 된다. 또한, Ghost가 JackIn하여 Body의 작업에 대해 지원이나 지시, 유도, 안내를 행하는 서비스를 유료화(monetize)해도 된다. Body는, Ghost를 SNS 등에 의해 모집할 때, 지불 가능한 금액을 아울러 제시하도록 해도 된다. 모집에 대해 응모하는 Ghost는, JackIn 리퀘스트를 송신한다.
외부 장치(화상 제공 장치(101)의 유저가 장착하는 웨어러블 단말기 등)는, Body(화상 제공 장치(101)) 대신에, Ghost(화상 표시 장치(102))로부터 JackIn 리퀘스트를 수취하면, Body에 통지한다.
Body는, acceptance를 open으로 하고 있는 동안은, 웨어러블 단말기로부터 통지를 수취하면 Ghost와 접속을 행한다.
Body는, 원하는 Ghost와 JackIn하거나, 또는 접속하는 Ghost가 소정 수에 도달하면, acceptance를 close하여, 웨어러블 단말기로부터의 통지를 받지 않도록 한다. 이후, Body는, JackIn해 온 Ghost와 시계를 공유함과 함께, Ghost로부터 시계 그 밖의 개입을 받으면서 작업을 행하게 된다.
또한, Body는, Ghost와 접속할 때에는, Ghost의 과거의 실적이나 평가 등의 전형 기준에 기초하여, 접속의 가부를 기계적으로 판단하거나, 또는 유저가 직접 판단하는 것으로 한다. 또한, JackIn해 온 Ghost가 복수 존재하는 경우는, 설정되는 permission이나 mission이 Ghost마다 가지각색인 것도 상정된다.
또한, Body가 주도적이 되어, (불특정) 다수의 Ghost와 JackIn하는 경우도, 기본적으로는 도 6과 마찬가지의 시퀀스에 따라서, JackIn이 개시된다. Body가 주도적이 되어, (불특정) 다수의 Ghost와 JackIn하는 경우라 함은, 불특정한 사람에게 조언이나 어시스턴트 정도의 경도의 작업 지원을 요구하는 시추에이션이 상정된다.
Body는, JackIn해 줄 Ghost를 SNS 등에 의해 모집하여, 대기 상태 그대로 작업을 개시한다. 웨어러블 단말기는, Ghost로부터 JackIn 리퀘스트를 수신할 때마다 Body에 통지한다. Body는, Ghost와 접속할 때에는, Ghost의 과거의 실적이나 평가 등의 전형 기준에 기초하여, 접속의 가부를 기계적으로 판단하거나, 또는 유저가 직접 판단하는 것으로 한다. 또한, JackIn해 온 Ghost가 복수 존재하는 경우는, 설정되는 permission이나 mission이 Ghost마다 가지각색인 것도 상정된다.
한편, 단일(혹은, 특정 소수의)의 Ghost가 주도적으로 JackIn을 개시하는 순서는, 기본적으로 Ghost가 Body에 들어가는(jack in) 행위에 의해 실현되고, Ghost로부터 Body에 전화를 건다고 하는 조작과 유사하다.
도 7에는, Ghost initiative start에 의한 개시 플로우를 개략적으로 나타내고 있다. Ghost로부터 Body로 JackIn 리퀘스트가 송신되고, JackIn 상태로 되어, Body로부터 Ghost로 일인칭 영상의 송신이 행해짐과 함께, Ghost에 의한 Body에의 개입이 행해진다.
또한, Body는, Ghost와 접속할 때에는, Ghost의 과거의 실적이나 평가 등의 전형 기준에 기초하여, 접속의 가부를 기계적으로 판단하거나, 또는 유저가 직접 판단하는 것으로 한다. 또한, 그때, Body는, JackIn해 온 Ghost에 대해 permission을 설정하거나, Ghost는 자신의 mission을 설정하거나 하도록 해도 된다. 화상 제공 장치(101)나 화상 표시 장치(102)는 각각, permission 설정용 UI(User Interface)나 mission 설정용 UI를 유저에게 제시하도록 해도 된다.
또한, (불특정) 다수의 Ghost가 주도적이 되어 Body와 JackIn하는 경우, Body는 미리 JackIn의 개시 조건을 설정할 수 있다. 이 경우, 웨어러블 단말기에 대해, Ghost로부터 JackIn 리퀘스트를 수신할 때마다 Body에 통지하는 것이 아니라, 개시 조건이 만족시켜졌을 때만 Body에의 통지를 행하게 하도록 설정한다.
예를 들어, 응모해 온 Ghost의 인원수를 개시 조건으로 설정할 수 있다. 이 경우, 웨어러블 단말기는, JackIn 리퀘스트를 수신한 Ghost가 소정수 이상에 도달하였을 때에 Body에의 통지를 행한다. Ghost가 100명 이상에 도달했을 때만, 현장에 있는 Body로부터 일인칭 영상이 배신된다. 구체예로서, 페스티벌에 참가하고 있는 Body가, 「지금 페스티벌에 와 있습니다」라고 하는 기입을 행하고, 보고 싶은 Ghost가 100명 이상 모이면 영상 배신이 시작된다고 하는 유스 케이스를 들 수 있다.
각 케이스에 있어서의 JackIn의 개시 플로우의 개요를, 이하의 표 1에 정리해 둔다.
Figure 112018012456764-pct00001
E. Ghost에 의한 Body의 선정
Ghost는, Body의 현재 위치나 현재 행하고 있는 행위(작업)에 기초하여, JackIn하고 싶은 Body를 선정 혹은 필터링할 수 있다. Body의 선정 처리는, 개개의 Ghost가 실시해도 되고, Body 및 Ghost간의 JackIn을 통제하는 JackIn 서버(가칭)가 선정 처리에 개재되어도 된다.
위치나 행위에 기초하는 선정 처리를 행하는 전제로서, 각 Body의 위치 및 행위를, Ghost에 통지하거나, 혹은 JackIn 서버에 통지하는 구조가 필요하다. 예를 들어, Body측, 즉 화상 제공 장치(101)는 GPS 등에 기초하여 현재 위치를 측정하거나, 행동(Activity)의 인식에 의해 유저가 현재 행하고 있는 행위를 인식하거나 하여, Ghost 혹은 JackIn 서버에 통지한다. 단, Body의 행동 인식에 관해서는, 자동화하지 않고, Body 자신의 문자 입력(기입)이나 음성 입력에 의지하는 방법이어도 된다. 이하에서는, 각 Body의 위치 및 행위를 특정하는 구조를 한정하지 않고 설명한다.
도 8에는, Ghost가 Body의 위치 정보에 기초하여 선정하는 UI의 일례를 나타내고 있다. 동 도면에서는, 현재 지정한 범위의 지도상에, 각 Body의 현재 위치를 나타내는 아이콘(또는 캐릭터)을 표시하고 있다. 이러한 UI는, 예를 들어 화상 표시 장치(102)의 표시부(514)에 표시되고, 유저, 즉 Ghost는, 원하는 위치의 아이콘을 터치나 클릭 등의 UI 조작에 의해 지정함으로써, JackIn하고 싶은 Body를 선정할 수 있다. 지도 표시하는 영역은, 드래그나 커서 이동 등의 조작에 의해 천이시킬 수 있는 것으로 한다. 또한, 도 8에 나타낸 바와 같은 UI 화면을, 화상 표시 장치(102) 본체의 표시부(514)가 아닌, Ghost가 소지하는 그 밖의 단말기의 화면 상에 표시하도록 해도 된다. 그리고, 선정이 확정되면, Ghost로부터 선정된 Body로, JackIn 리퀘스트가 송신된다.
도 9에는, Ghost가 Body의 위치 정보 외에도 행위에 기초하여 선정하는 UI의 일례를 나타내고 있다. 동 도면은, 검색 필드에 「불꽃놀이를 보고 있는 사람」이 입력되고, JackIn하는 대상을 「불꽃놀이를 보고 있는 사람」으로 한정한 경우의 표시예이다. 예를 들어 Body 및 Ghost 사이의 JackIn을 통제하는 JackIn 서버(가칭)는 검색 필드에 입력된 키워드(여기서는, Body의 행동)에 합치하는 Body를, 지도상에 표시되어 있는 Body군 중에서 검색한다. 그리고, 도 9에 나타낸 UI 화면에는, 「불꽃놀이를 보고 있는」이라고 하는 행동에서 추출된 Body만이 표시된다. 검색 필드에의 입력은, 문자 입력이나 음성 입력에 의해 행할 수 있다. 도 8에서는 표시되어 있던 Body의 아이콘 중, 불꽃놀이를 보고 있지 않은 사람은 사라지므로, Ghost는, 선정 대상이 되는 Body를 좁혀갈 수 있다.
도 10에는, Ghost가 Body의 위치 정보에 기초하여 선정하는 UI의 다른 예를 나타내고 있다. 동 도면은, 도 8에 나타낸 UI의 변형예이며, 각 Body의 아이콘에는, Body의 행동 등을 나타내는 태그가 부여되어 있다. 도 9에 나타낸 경우와 같이 검색 워드로 검색하는 조작을 행하지 않아도, Ghost는 태그의 표시 내용에 기초하여 각 Body가 현재 행하고 있는 행동 등을 식별하여, JackIn하고 싶은 Body를 선별할 수 있다.
또한, 도 10에 나타낸 UI 표시예에 있어서, 모든 아이콘에 상시 태그가 표시되어 있으면, 번잡해져, 지도를 판독하기 어려운 표시로 되어 버리기 때문에, 터치나 클릭, 호버링 등에 의해 가선택된 상태의 아이콘에 대해서만 태그를 표시하는 등, 동시에 표시하는 태그의 수에 제한을 두도록 해도 된다. 또한, 태그에는, Body의 행동에 관한 정보 외에, acceptance를 open으로 하고 있거나(전술), permission에 관한 정보(개입이 허가되어 있는 범위), 요금 정보(시계 공유가 무료 또는 유료인지. 유료인 경우 요금 정보) 등을 나타내도록 해도 된다.
도 13에는, Body의 아이콘에 부여하는 태그의 표시예를 나타내고 있다. 도시한 예에서는, Body가, 시계 개입, 청각 개입, 신체 개입, 대체 회화 등 각 개입 조작을 허가하였는지 여부를 나타내고 있다. Ghost는, 이러한 태그를 참조함으로써, Body에 JackIn하여 그 장소에서 무엇을 할 수 있는지를 용이하게 판단할 수 있다.
도 8 내지 도 10에 나타낸 Body 선정용 UI를 사용하면, Ghost는, 지도 표시상에서 Body의 위치를 찾아내어, 거기에 JackIn한다(즉, 장소에 결부된 Body에 JackIn한다)고 하는, 시각적으로 이해하기 쉬운 조작을 실현할 수 있다. 또한, 도 9에 나타낸 UI를 사용하면, Ghost는, 지정한 행동을 하고 있는 Body에, 원활하게 JackIn할 수 있다.
도 11에는, Ghost가 Body를 선정하는 UI의 또 다른 예를 나타내고 있다. 동 도면은, 지도상에 각 Body의 현재 위치를 나타내는 아이콘을 표시하는 것이 아니라, 각 Body의 일인칭 영상의 섬네일을 리스트 형식으로 상세 표시하고 있다. 각 일인칭 영상의 섬네일은, 리얼타임 영상이어도 되고, 대표 화상(정지 화상)이어도 된다. 또한, 각 일인칭 영상의 섬네일에는, Body의 행동, Body의 현재 위치, acceptance 상황, permission 설정, 요금 정보 등의 태그 정보를 아울러 표시하도록 해도 된다.
도 12에는, Ghost가 Body를 선정하는 UI의 또 다른 예를 나타내고 있다. 동 도면은, 도 11에 나타낸 UI의 변형예이며, 각 Body의 일인칭 영상의 섬네일을, 리스트 형식이 아닌 일람 형식으로 표시한다. 도 11에 나타낸 예와 마찬가지로, 각 일인칭 영상의 섬네일에는, Body의 행동, Body의 현재 위치, acceptance 상황, permission 설정, 요금 정보 등의 태그 정보를 아울러 표시하도록 해도 된다.
여기서, 도 12는 도 9와 마찬가지로, JackIn할 대상의 Body를 「불꽃놀이를 보고 있는 사람」으로 한정한 경우의 표시예인 것으로 한다. 예를 들어 Body 및 Ghost간의 JackIn을 통제하는 JackIn 서버(가칭)는, 검색 필드에 입력된 키워드(여기서는, Body의 행동)에 합치하는 Body를 검색한다. 단, 도 9에 나타낸 예와는 달리, 장소에 결부되지 않고 Body의 검색이 행해지기 때문에, 「불꽃놀이를 보고 있는」이라고 하면, 홋카이도와 오키나와 등, 떨어진 장소에 있는 Body가 검색 결과로서 동시에 표시되는 경우도 있다.
또한, 상술한 바와 같이, Body측으로부터 제공되는 영상은, Body가 현장에서 관찰하고 있는 리얼타임 영상에 한정되는 것은 아니며, 녹화된 과거의 영상인 경우도 있다. Ghost는, 과거의 영상을 시청하는 경우에는, Body에 대해 시계, 청각을 포함하는 일체의 개입이 허용되지 않는다. 따라서, 도 11이나 도 12에 나타내는 UI예 등에서는, Ghost의 오해에 의한 개입을 방지하기 위해, 리얼타임 영상 또는 녹화한 과거의 영상 중 어느 것을 일인칭 영상의 섬네일로 나타내는 것이 바람직하다.
도 11 내지 도 12에 나타낸 Body 선정용 UI를 사용하면, Ghost는, 표시되어 있는 일인칭 영상의 섬네일을 기초로 각 Body가 행하는 행동을 시각적으로 인식하면서 JackIn할 수 있다. 또한, 도 12에 나타낸 UI를 사용하면, Ghost는, 지정한 행동을 하고 있는 Body에, 원활하게 JackIn할 수 있다.
이상을 정리하면, Ghost는, 도 8 내지 도 10에 나타낸 지도 베이스의 Body 선정용 UI를 사용하면, 장소에 결부하여 Body를 효율적으로 선정할 수 있는 한편, 도 11 내지 도 12에 나타낸 일인칭 영상의 섬네일을 리스트 또는 일람 형식으로 표시하는 Body 선정용 UI를 사용하면, 행동(Activity)을 시인하면서 Body를 효율적으로 선정할 수 있다.
예를 들어, 도 14에 나타낸 바와 같이, 이들 2종류의 Body 선정용 UI를 중첩하여, 탭에 의해 UI를 전환하도록 구성해도 된다. 도 14a에 나타낸 바와 같이, 「MAP」탭을 선택하면, 지도 베이스의 Body 선정용 UI가 전방면에 표시되고, Ghost는 장소에 결부하여 JackIn하고 싶은 Body를 선정할 수 있다. 또한, 도 14b에 나타낸 바와 같이, 「Activity」탭을 선택하면, 각 Body의 일인칭 영상의 섬네일을 일람 표시한 Body 선정용 UI가 전방면에 표시되고, Ghost는, 각 Body의 행동을 시인하면서 Body 선정용 UI를 선정할 수 있다.
E. Body에 의한 Ghost의 선정
Body는, 현재 행하고 있는 작업에 대해 타인으로부터 지원이나 지시, 유도, 안내를 받고 싶은(혹은, 받아야 하는) 경우에, 자신에게 JackIn하여, 지원해 줄 Ghost를 모집한다. 예를 들어, Body는, SNS(Social Networking Service)를 이용하여, 「Need Help! 」, 「누군가 자동차의 운전 방법을 가르쳐 주세요」, 「○○로 가는 길을 가르쳐 주세요」 등의 코멘트를 게시하여 Ghost를 모집해도 된다.
또한, Ghost가 JackIn하여 Body의 작업에 대해 지원이나 지시, 유도, 안내를 행하는 서비스를 유료화(monetize)해도 된다. 이러한 경우, Body는, Ghost를 모집할 때, 지불 가능한 금액을 아울러 제시하도록 해도 된다.
응모하려고 하는 Ghost측으로부터는, 예를 들어 도 8 내지 도 12에 나타낸 바와 같은 UI 화면을 통해, 모집하는 Body를 참조할 수 있다. 여기서는, Ghost측의 UI에 대한 설명은 생략한다.
도 15에는, Body가 Ghost를 선정하는 UI의 일례를 나타내고 있다. 도시한 UI는, 선정 대상이 되는 Ghost의 리스트로 이루어지고, 각 Ghost의 정보가 표시된다. 리스트업되는 Ghost는, Body의 모집에 대해 응모해 온 유저이다. 혹은, Body 및 Ghost간의 JackIn을 통제하는 JackIn 서버(가칭)가 Body의 모집 내용에 따라서 선정된 사람이어도 된다. 도시한 UI에 리스트업되는 각 Ghost는, 예를 들어 「불꽃놀이를 보고 있는 사람」 등 행동을 지정하여 Body에의 JackIn에 응모해 온 유저이다.
도시한 Ghost 선정용 UI에 표시되는 Ghost의 정보로서, 연령, 성별, Body와의 인간 관계(친척, 친구, 상사와 부하 등), 출신지, 직업, 자격과 같은 개인 정보 외에, 지원 대상이 되는 작업의 스킬의 레이팅 정보, 과거의 Ghost(어시스턴트나 인스트럭터 등)로서의 실적(지금까지 몇시간 경험하였는지)이나 평가(review), 다른 Body에 의한 평판(투고나 투표 결과 등) 등의 정보를 포함하는 것으로 한다. 또한, Ghost 선정용 UI에 Ghost의 리스트를 표시할 때, permission과 mission의 대응 관계, 과거의 실적이나 평가, 평판 등에 기초하여 Ghost의 표시 순서를 소팅하도록 해도 된다. Body는, 도 15에 나타낸 바와 같은 Ghost 선정용 UI를 통해, 지원이나 지시(스포츠 경기에 있어서의 코칭 등), 유도, 안내 등을 받고 싶은 Ghost를 선택할 수 있다.
이상, 특정한 실시 형태를 참조하면서, 본 명세서에서 개시하는 기술에 대해 상세하게 설명하였다. 그러나, 본 명세서에서 개시하는 기술의 요지를 일탈하지 않는 범위에서 당업자가 당해 실시 형태의 수정이나 대용을 할 수 있는 것은 자명하다.
본 명세서에서 개시하는 기술은, 예를 들어 외과 수술 등의 의료 현장, 토목 작업 등의 건축 현장, 비행기나 헬리콥터의 조종, 자동차의 운전자의 내비게이션, 스포츠의 인스트럭션 등, 다양한 산업 분야의 작업 지원 등의 용도에 활용할 수 있다.
또한, 본 명세서에서는, 신체로써 현장에서 활동하는 Body에 대해, Body의 일인칭 화상을 공유하는 Ghost가 Body의 시계나 청각, 신체 등에 개입하는 시스템에 관한 실시 형태를 중심으로 설명하였지만, 본 명세서에서 개시하는 기술의 요지는 이것에 한정되는 것은 아니다. 어느 인물의 시계에 타인으로부터의 지원이나 지시, 유도, 안내에 관한 정보를 표시하는 다양한 정보 처리 장치에 대해서도, 마찬가지로 본 명세서에서 개시하는 기술을 적용할 수 있다.
요컨대, 예시라고 하는 형태에 의해 본 명세서에서 개시하는 기술에 대해 설명한 것이며, 본 명세서의 기재 내용을 한정적으로 해석해서는 안 된다. 본 명세서에서 개시하는 기술의 요지를 판단하기 위해서는, 청구범위를 참작해야 한다.
또한, 본 명세서의 개시의 기술은, 이하와 같은 구성을 채용하는 것도 가능하다.
(1) 화상을 송신하는 제1 장치와 상기 화상을 수신하는 제2 장치간의 접속을, 상기 제1 장치 또는 상기 제2 장치 중 어느 것이 주도적이 될지에 따라서 제어하는 제어부를 구비하는 정보 처리 장치.
(2) 상기 제어부는, 상기 제1 장치가 주도적으로 상기 제2 장치와 접속하는 경우에는, 상기 제2 장치로부터 접속 요구를 수취하면, 대기 상태인 상기 제1 장치에 통지하여, 상기 제1 장치로부터 상기 제2 장치로의 화상 전송을 개시시키는,
상기 (1)에 기재된 정보 처리 장치.
(3) 상기 제어부는, 상기 제2 장치가 주도적으로 상기 제1 장치와 접속하는 경우에는, 상기 제2 장치로부터의 접속 요구를 상기 제1 기기에 통지하여, 상기 제1 장치로부터 상기 제2 장치로의 화상 전송을 개시시키는,
상기 (1)에 기재된 정보 처리 장치.
(4) 상기 제어부는, 복수의 상기 제2 장치가 주도적으로 상기 제1 장치와 접속하는 경우에는, 복수의 상기 제2 장치로부터의 접속 요구가 소정의 개시 조건을 만족시키는 경우에만 상기 제1 기기에 통지하여, 상기 제1 장치로부터 복수의 상기 제2 장치로의 화상 전송을 개시시키는,
상기 (1)에 기재된 정보 처리 장치.
(5) 상기 제어부는, 상기 제1 장치로부터 상기 제2 장치로의 화상 전송의 개시와 함께, 상기 제2 장치로부터 상기 제1 장치로의 개입을 제어하는,
상기 (1) 내지 (4) 중 어느 하나에 기재된 정보 처리 장치.
(6) 화상을 송신하는 제1 장치와 상기 화상을 수신하는 제2 장치간의 접속을, 상기 제1 장치 또는 상기 제2 장치 중 어느 것이 주도적이 될지에 따라서 제어하는 제어 스텝을 갖는 정보 처리 방법.
(7) 제2 장치로 화상을 송신하는 제1 장치를 제1 장치의 위치 정보에 기초하여 선정하는 선정부를 구비하는 정보 처리 장치.
(8) 상기 선정부는, 지도상에서 제1 장치의 위치를 나타낸 UI를 제시하는,
상기 (7)에 기재된 정보 처리 장치.
(9) 상기 선정부는, 유저의 행동을 또한 고려하여 제1 장치를 선정하는,
상기 (7) 또는 (8) 중 어느 하나에 기재된 정보 처리 장치.
(10) 상기 선정부는, 유저의 행동에 기초하여 추출된 제1 장치만을 상기 UI에 의해 제시하는,
상기 (8)에 기재된 정보 처리 장치.
(11) 상기 선정부는, 제1 장치의 유저의 행동을 상기 UI에 의해 제시하는,
상기 (8)에 기재된 정보 처리 장치.
(12) 상기 선정부는, 제1 장치에의 개입에 관한 정보를 상기 UI에 의해 제시하는,
상기 (8)에 기재된 정보 처리 장치.
(13) 제2 장치로 화상을 송신하는 제1 장치를 제1 장치의 위치 정보에 기초하여 선정하는 선정 스텝을 갖는 정보 처리 방법.
(14) 제2 장치로 화상을 송신하는 제1 장치를 제1 장치의 유저의 행동에 기초하여 선정하는 선정부를 구비하는 정보 처리 장치.
(15) 상기 선정부는, 제1 장치로부터 송신하는 화상에 관한 정보를 나타낸 UI를 제시하는,
상기 (14)에 기재된 정보 처리 장치.
(16) 상기 선정부는, 제1 장치 또는 그 유저에 관한 정보를 상기 UI에 의해 제시하는,
상기 (15)에 기재된 정보 처리 장치.
(17) 상기 선정부는, 유저의 행동에 기초하여 추출된 제1 장치로부터 송신하는 화상만을 상기 UI에 의해 제시하는,
상기 (15)에 기재된 정보 처리 장치.
(18) 제2 장치로 화상을 송신하는 제1 장치를 제1 장치의 유저의 행동에 기초하여 선정하는 선정 스텝을 갖는 정보 처리 방법.
(19) 제1 장치가 화상을 송신하는 제2 장치를, 제2 장치 또는 그 유저에 관한 정보에 기초하여 선정하는 선정부를 구비하는 정보 처리 장치.
(20) 상기 선정부는, 제2 장치 또는 그 유저에 관한 정보를 나타낸 UI를 제시하는,
상기 (19)에 기재된 정보 처리 장치.
(21) 제1 장치로부터 화상을 송신하는 제2 장치를, 상기 제1 장치의 유저의 행동에 기초하여 선정하는 선정 스텝을 갖는 정보 처리 방법.
100 : 시계 정보 공유 시스템
101 : 화상 제공 장치
102 : 화상 표시 장치
501 : 촬상부
502 : 화상 처리부
503 : 표시부
504 : 제1 음성 출력부
505 : 구동부
506 : 제2 음성 출력부
507 : 위치 검출부
508 : 통신부
509 : 제어부
510 : 인증부
511 : 통신부
512 : 화상 복호부
513 : 표시부
514 : 유저 입력부
515 : 위치 자세 검출부

Claims (20)

  1. 정보 처리 장치로서,
    적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는,
    적어도 하나의 이동 장치에 의해 설정된 개시 조건에 기초하여, 서버를 통해 적어도 하나의 표시 장치에 acceptance 정보를 송신하고 - 상기 acceptance 정보는 상기 적어도 하나의 표시 장치로 하여금 상기 적어도 하나의 이동 장치의 촬상부에 의해 촬상되는 화상을 취득하게 함 -;
    상기 acceptance 정보를 수신한 상기 적어도 하나의 표시 장치로부터, 상기 적어도 하나의 이동 장치에 접속하기 위한 애플리케이션을 수신하고,
    상기 수신된 애플리케이션에 기초하여, 상기 표시 장치로의 상기 화상의 배신을 시작하기 위해 상기 적어도 하나의 이동 장치를 제어하고,
    permission 레벨 설정에 기초하여, 상기 표시 장치에서 수행되는 하나 이상의 행위로 하여금 상기 정보 처리 장치에서 구동부를 통하여 상기 정보 처리 장치에서 유저의 신체 일부의 움직임을 제어하게 하도록 구성되는, 정보 처리 장치.
  2. 제1항에 있어서,
    상기 적어도 하나의 표시 장치는 복수의 표시 장치를 포함하고,
    상기 적어도 하나의 프로세서는, 상기 복수의 표시 장치의 개수가 상기 설정된 개시 조건을 만족하는 경우에만 상기 복수의 표시 장치 각각으로의 상기 화상의 배신을 시작하도록 상기 적어도 하나의 이동 장치를 제어하도록 구성되는, 정보 처리 장치.
  3. 제1항에 있어서,
    상기 적어도 하나의 이동 장치는 웨어러블 장치이고,
    상기 acceptance 정보는 또한 상기 적어도 하나의 표시 장치로 하여금 상기 표시 장치로부터의 음성 입력에 기초하여 음성을 출력하도록 상기 웨어러블 장치의 스피커를 제어하게 하는, 정보 처리 장치.
  4. 제3항에 있어서,
    상기 웨어러블 장치는 헤드 마운트 디스플레이고,
    상기 화상은 상기 헤드 마운트 디스플레이의 상기 촬상부에 의해 촬상된 실시간 일인칭 영상 화상이고,
    상기 적어도 하나의 프로세서는, 상기 수신된 애플리케이션에 기초하여, 상기 표시 장치에 상기 실시간 일인칭 영상 화상의 배신을 시작하기 위해 상기 적어도 하나의 이동 장치를 제어하도록 구성되는, 정보 처리 장치.
  5. 정보 처리 방법으로서,
    적어도 하나의 이동 장치에 의해 설정된 개시 조건에 기초하여, 서버를 통해 적어도 하나의 표시 장치에 acceptance 정보를 송신하는 단계 - 상기 acceptance 정보는 상기 적어도 하나의 표시 장치로 하여금 상기 적어도 하나의 이동 장치의 촬상부에 의해 촬상되는 화상을 취득하게 함 -;
    상기 acceptance 정보를 수신한 상기 적어도 하나의 표시 장치로부터, 상기 적어도 하나의 이동 장치에 접속하기 위한 애플리케이션을 수신하는 단계;
    상기 수신된 애플리케이션에 기초하여, 상기 표시 장치로의 상기 화상의 배신을 시작하도록 상기 적어도 하나의 이동 장치를 제어하는 단계; 및
    permission 레벨 설정에 기초하여, 상기 표시 장치에서 수행되는 하나 이상의 행위로 하여금 정보 처리 장치에서 구동부를 이용하여 상기 정보 처리 장치에서 유저의 신체 일부의 움직임을 실행하게 하는 단계를 포함하는, 정보 처리 방법.
  6. 명령어들로 부호화된 적어도 하나의 비일시적 컴퓨터 판독가능 매체로서, 상기 명령어들은, 이동 장치의 적어도 하나의 프로세서에 의해 실행될 때, 상기 이동 장치로 하여금,
    상기 이동 장치에 의해 설정된 개시 조건에 기초하여, 서버를 통해 적어도 하나의 표시 장치에 acceptance 정보를 송신하고 - 상기 acceptance 정보는 상기 적어도 하나의 표시 장치로 하여금 상기 이동 장치의 촬상부에 의해 촬상되는 화상을 취득하게 함 -;
    상기 acceptance 정보를 수신한 상기 적어도 하나의 표시 장치로부터, 상기 이동 장치에 접속하기 위한 애플리케이션을 수신하고,
    상기 수신된 애플리케이션에 기초하여, 상기 표시 장치로의 상기 화상의 배신을 시작하도록 상기 이동 장치를 제어하고,
    permission 레벨 설정에 기초하여, 상기 표시 장치에서 수행되는 하나 이상의 행위로 하여금 정보 처리 장치에서 구동부를 이용하여 상기 정보 처리 장치에서 유저의 신체 일부의 움직임을 실행하게 하는, 적어도 하나의 비일시적 컴퓨터 판독가능 매체.
  7. 제1항에 있어서, 주어진 이동 장치의 위치 정보를 수신하도록 구성되는 상기 적어도 하나의 프로세서를 더 포함하는, 정보 처리 장치.
  8. 제7항에 있어서, 상기 위치 정보는 GPS(Global Positioning System) 신호를 포함하는, 정보 처리 장치.
  9. 제7항에 있어서, 상기 위치 정보를 상기 표시 장치에 송신하도록 구성되는 상기 적어도 하나의 프로세서를 더 포함하는, 정보 처리 장치.
  10. 제1항에 있어서, 상기 구동부는 상기 유저의 신체 일부에 촉각 또는 전기 자극을 인가하기 위한 액추에이터를 포함하는, 정보 처리 장치.
  11. 제1항에 있어서, 상기 구동부는 상기 유저의 신체 일부 상에 파워 유닛 또는 외골격을 구동하는 장치를 포함하는, 정보 처리 장치.
  12. 제1항에 있어서, 상기 하나 이상의 행위는, mission에 기초하여 허용되고, 상기 mission은 상기 정보 처리 장치에 의해 허용된 유저 행동의 범위를 포함하는, 정보 처리 장치.
  13. 제5항에 있어서, 상기 적어도 하나의 이동 장치 중 주어진 이동 장치의 위치 정보를 검출하는 단계를 더 포함하는, 정보 처리 방법.
  14. 제13항에 있어서, 상기 위치 정보를 상기 표시 장치에 송신하는 단계를 더 포함하는, 정보 처리 방법.
  15. 제13항에 있어서, 상기 위치 정보를 이용하여 상기 표시 장치와 통신하기 위한 상기 적어도 하나의 이동 장치 중 상기 주어진 이동 장치를 선택하는 단계를 더 포함하는, 정보 처리 방법.
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020187003490A 2015-09-30 2016-07-11 정보 처리 장치 및 정보 처리 방법 KR102512855B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015195193 2015-09-30
JPJP-P-2015-195193 2015-09-30
PCT/JP2016/070483 WO2017056632A1 (ja) 2015-09-30 2016-07-11 情報処理装置及び情報処理方法

Publications (2)

Publication Number Publication Date
KR20180063040A KR20180063040A (ko) 2018-06-11
KR102512855B1 true KR102512855B1 (ko) 2023-03-23

Family

ID=58427403

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187003490A KR102512855B1 (ko) 2015-09-30 2016-07-11 정보 처리 장치 및 정보 처리 방법

Country Status (6)

Country Link
US (2) US20180278888A1 (ko)
EP (1) EP3358837A4 (ko)
JP (1) JPWO2017056632A1 (ko)
KR (1) KR102512855B1 (ko)
CN (1) CN108141565A (ko)
WO (1) WO2017056632A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114173288A (zh) 2019-04-17 2022-03-11 苹果公司 用于跟踪和查找物品的用户界面
US11823558B2 (en) 2019-04-28 2023-11-21 Apple Inc. Generating tactile output sequences associated with an object
CN110455304A (zh) * 2019-08-05 2019-11-15 深圳市大拿科技有限公司 车辆导航方法、装置及系统
WO2022067316A1 (en) 2020-09-25 2022-03-31 Apple Inc. User interfaces for tracking and finding items
CN112423084B (zh) * 2020-11-11 2022-11-01 北京字跳网络技术有限公司 热点榜单的显示方法、装置、电子设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102188721B1 (ko) 2020-04-27 2020-12-08 현대모비스 주식회사 탑-뷰 영상 생성 장치 및 그 방법

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998038798A1 (en) * 1997-02-26 1998-09-03 Mitsubishi Denki Kabushiki Kaisha Device, system, and method for distributing video data
JP2003345909A (ja) * 2002-05-28 2003-12-05 Tokio Deguchi 学業指導方法および学業指導システム
JP2004222254A (ja) 2002-12-27 2004-08-05 Canon Inc 画像処理システム、方法及びプログラム
US20040254982A1 (en) * 2003-06-12 2004-12-16 Hoffman Robert G. Receiving system for video conferencing system
JP2005222254A (ja) 2004-02-04 2005-08-18 Haisaabu Ueno:Kk キャッシュレジスタ装置
JP4926400B2 (ja) 2004-12-27 2012-05-09 京セラ株式会社 移動カメラシステム
JP5245257B2 (ja) 2006-11-22 2013-07-24 ソニー株式会社 画像表示システム、表示装置、表示方法
US20100097463A1 (en) * 2007-04-17 2010-04-22 Panasonic Corporation Monitoring unit control system
CN101163160B (zh) * 2007-11-05 2011-04-06 中兴通讯股份有限公司 网络电视系统中融合多方网络游戏业务的方法及系统
US10875182B2 (en) * 2008-03-20 2020-12-29 Teladoc Health, Inc. Remote presence system mounted to operating room hardware
US10808882B2 (en) * 2010-05-26 2020-10-20 Intouch Technologies, Inc. Tele-robotic system with a robot face placed on a chair
JP2012133534A (ja) * 2010-12-21 2012-07-12 Mitsubishi Electric Corp 遠隔作業支援システム、遠隔作業支援端末及び遠隔作業支援方法
JP5750935B2 (ja) 2011-02-24 2015-07-22 富士ゼロックス株式会社 情報処理システム、情報処理装置、サーバ装置およびプログラム
JPWO2012127799A1 (ja) * 2011-03-23 2014-07-24 パナソニック株式会社 通信サーバ、通信方法、記録媒体、および、集積回路
US20130027561A1 (en) * 2011-07-29 2013-01-31 Panasonic Corporation System and method for improving site operations by detecting abnormalities
US8761933B2 (en) * 2011-08-02 2014-06-24 Microsoft Corporation Finding a called party
US20130249947A1 (en) * 2011-08-26 2013-09-26 Reincloud Corporation Communication using augmented reality
JP5114807B1 (ja) 2011-10-04 2013-01-09 株式会社新盛インダストリーズ プリンター
JP2013078893A (ja) 2011-10-04 2013-05-02 Canon Inc 記録装置および記録方法
JP5741358B2 (ja) 2011-10-04 2015-07-01 トヨタ自動車株式会社 樹脂成形部品及び製造方法
JP2013191464A (ja) 2012-03-14 2013-09-26 Sharp Corp 有機エレクトロルミネッセンス素子及びその製造方法、液晶表示装置。
JP5334145B1 (ja) * 2012-06-29 2013-11-06 トーヨーカネツソリューションズ株式会社 物品のピッキング作業の支援システム
JP2014104185A (ja) 2012-11-28 2014-06-09 Sony Corp 運動補助装置及び運動補助方法
US20160132046A1 (en) * 2013-03-15 2016-05-12 Fisher-Rosemount Systems, Inc. Method and apparatus for controlling a process plant with wearable mobile control devices
US9699500B2 (en) * 2013-12-13 2017-07-04 Qualcomm Incorporated Session management and control procedures for supporting multiple groups of sink devices in a peer-to-peer wireless display system
KR102159353B1 (ko) * 2014-04-24 2020-09-23 현대모비스 주식회사 어라운드 뷰 시스템의 동작방법
US9818225B2 (en) * 2014-09-30 2017-11-14 Sony Interactive Entertainment Inc. Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space
US10187692B2 (en) * 2014-12-15 2019-01-22 Rovi Guides, Inc. Methods and systems for distributing media guidance among multiple devices
CN104657099B (zh) 2015-01-15 2019-04-12 小米科技有限责任公司 屏幕投射方法、装置及系统
US9690103B2 (en) * 2015-02-16 2017-06-27 Philip Lyren Display an image during a communication
US9298283B1 (en) * 2015-09-10 2016-03-29 Connectivity Labs Inc. Sedentary virtual reality method and systems
KR101844885B1 (ko) * 2016-07-11 2018-05-18 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
US11062243B2 (en) * 2017-07-25 2021-07-13 Bank Of America Corporation Activity integration associated with resource sharing management application

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102188721B1 (ko) 2020-04-27 2020-12-08 현대모비스 주식회사 탑-뷰 영상 생성 장치 및 그 방법

Also Published As

Publication number Publication date
US20180278888A1 (en) 2018-09-27
KR20180063040A (ko) 2018-06-11
JPWO2017056632A1 (ja) 2018-07-19
US10771739B2 (en) 2020-09-08
US20190238793A1 (en) 2019-08-01
EP3358837A1 (en) 2018-08-08
EP3358837A4 (en) 2019-07-31
WO2017056632A1 (ja) 2017-04-06
CN108141565A (zh) 2018-06-08

Similar Documents

Publication Publication Date Title
KR102512855B1 (ko) 정보 처리 장치 및 정보 처리 방법
US20180324229A1 (en) Systems and methods for providing expert assistance from a remote expert to a user operating an augmented reality device
JP6822410B2 (ja) 情報処理システム及び情報処理方法
JP6822413B2 (ja) サーバ装置及び情報処理方法、並びにコンピュータ・プログラム
US20160320833A1 (en) Location-based system for sharing augmented reality content
US20220301270A1 (en) Systems and methods for immersive and collaborative video surveillance
WO2017064926A1 (ja) 情報処理装置及び情報処理方法
KR20170143264A (ko) 가상현실 다중접속 모니터링 시스템 및 방법
US20230351644A1 (en) Method and device for presenting synthesized reality companion content
JP6919568B2 (ja) 情報端末装置及びその制御方法、情報処理装置及びその制御方法、並びにコンピュータ・プログラム
WO2017068928A1 (ja) 情報処理装置及びその制御方法、並びにコンピュータ・プログラム
JP6999538B2 (ja) 情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置
JP2024140478A (ja) プログラム、情報処理装置、及び、情報処理システム
CN117311506A (zh) 增强现实交互方法、装置以及增强现实设备

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right