JPWO2017056632A1 - 情報処理装置及び情報処理方法 - Google Patents

情報処理装置及び情報処理方法 Download PDF

Info

Publication number
JPWO2017056632A1
JPWO2017056632A1 JP2017542951A JP2017542951A JPWO2017056632A1 JP WO2017056632 A1 JPWO2017056632 A1 JP WO2017056632A1 JP 2017542951 A JP2017542951 A JP 2017542951A JP 2017542951 A JP2017542951 A JP 2017542951A JP WO2017056632 A1 JPWO2017056632 A1 JP WO2017056632A1
Authority
JP
Japan
Prior art keywords
ghost
image
information processing
processing apparatus
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2017542951A
Other languages
English (en)
Inventor
俊一 笠原
俊一 笠原
暦本 純一
純一 暦本
木村 淳
淳 木村
白井 太三
太三 白井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017056632A1 publication Critical patent/JPWO2017056632A1/ja
Abandoned legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1069Session establishment or de-establishment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1083In-session procedures
    • H04L65/1089In-session procedures by adding media; by removing media
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/2866Architectures; Arrangements
    • H04L67/30Profiles
    • H04L67/306User profiles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/52Network services specially adapted for the location of the user terminal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27Server based end-user applications
    • H04N21/274Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743Video hosting of uploaded data from client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • H04N21/4828End-user interface for program selection for searching program descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一人称映像を提供するユーザーと一人称映像を視聴するユーザー間のマッチングを行なう。
現在指定した範囲の地図上に、各Bodyの現在位置を示すアイコンを表示する。Ghostは、所望する位置のアイコンをタッチやクリックなどのUI操作で指定することによって、JackInしたいBodyを選定することができる。また、検索フィールドに行動を限定するキーワードなどを入力すると、行動で抽出されたBodyだけが表示される。選定が確定すると、Ghostから選定されたBodyへ、JackInリクエストが送信される。

Description

本明細書で開示する技術は、ユーザー間のマッチングを行なう情報処理装置及び情報処理方法に係り、例えば、一人称映像を提供するユーザーと一人称映像を視聴するユーザー間のマッチングを行なう情報処理装置及び情報処理方法に関する。
ユーザーが自分以外の視界光景(自分以外の移動体から見える光景)にアクセスする技術が知られている。
例えば、車両などの移動体に搭載された移動カメラにより撮像された画像を遠隔的に取得する移動カメラ・システムについて提案がなされている(例えば、特許文献1を参照のこと)。また、撮像センシング無線機器を配置したメガネを掛けた人が取得する視覚情報と同様の情報をヘッド・マウント・ディスプレイの装着者に提供する画像処理システムについて提案がなされている(例えば、特許文献2を参照のこと)。また、移動体の撮像画像を表示する表示装置側から移動体の撮像装置に対して撮像する視点位置及び視線方向、さらに撮影時の速度を指定する画像表示システムについて提案がなされている(例えば、特許文献3を参照のこと)。
さらに、遠隔地のロボットの視覚などの間隔を通じてその場にいるような感覚を伝送するとともに遠隔地の物体を操作するためのインターフェースを提供するテレプレゼンス技術についても提案がなされている(例えば、特許文献4を参照のこと)。
特開2006−186645号公報 特開2004−222254号公報 特開2008−154192号公報 特表2014−522053号公報 特開2014−104185号公報
本明細書で開示する技術の目的は、ユーザー間のマッチングを行なうことができる、優れた情報処理装置及び情報処理方法を提供することにある。
本明細書で開示する技術は、上記課題を参酌してなされたものであり、その第1の側面は、画像を送信する第1の装置と前記画像を受信する第2の装置間の接続を、前記第1の装置又は前記第2の装置のうちいずれが主導的となるかに応じて制御する制御部を具備する情報処理装置である。
本明細書で開示する技術の第2の側面によれば、第1の側面に係る情報処理装置の前記制御部は、前記第1の装置が主導的に前記第2の装置と接続する場合には、前記第2の装置から接続要求を受け取ると、待ち状態の前記第1の装置に通知して、前記第1の装置から前記第2の装置への画像伝送を開始させるように構成されている。
本明細書で開示する技術の第3の側面によれば、第1の側面に係る情報処理装置の前記制御部は、前記第2の装置が主導的に前記第1の装置と接続する場合には、前記第2の装置からの接続要求を前記第1の機器に通知して、前記第1の装置から前記第2の装置への画像伝送を開始させるように構成されている。
本明細書で開示する技術の第4の側面によれば、第1の側面に係る情報処理装置の前記制御部は、複数の前記第2の装置が主導的に前記第1の装置と接続する場合には、複数の前記第2の装置からの接続要求が所定の開始条件を満たす場合にのみ前記第1の機器に通知して、前記第1の装置から複数の前記第2の装置への画像伝送を開始させるように構成されている。
本明細書で開示する技術の第5の側面によれば、第1の側面に係る情報処理装置の前記制御部は、前記第1の装置から前記第2の装置への画像伝送の開始とともに、前記第2の装置から前記第1の装置への介入を制御するように構成されている。
また、本明細書で開示する技術の第6の側面は、画像を送信する第1の装置と前記画像を受信する第2の装置間の接続を、前記第1の装置又は前記第2の装置のうちいずれが主導的となるかに応じて制御する制御ステップを有する情報処理方法である。
また、本明細書で開示する技術の第7の側面は、第2の装置へ画像を送信する第1の装置を第1の装置の位置情報に基づいて選定する選定部を具備する情報処理装置である。
本明細書で開示する技術の第8の側面によれば、第7の側面に係る情報処理装置の前記選定部は、地図上で第1の装置の位置を示したUIを提示するように構成されている。
本明細書で開示する技術の第9の側面によれば、第7の側面に係る情報処理装置の前記選定部は、ユーザーの行動をさらに考慮して、第1の装置を選定するように構成されている。
本明細書で開示する技術の第10の側面によれば、第8の側面に係る情報処理装置の前記選定部は、ユーザーの行動に基づいて抽出された第1の装置だけを前記UIで提示するように構成されている。
本明細書で開示する技術の第11の側面によれば、第8の側面に係る情報処理装置の前記選定部は、ユーザーの行動に基づいて抽出された第1の装置だけを前記UIで提示するように構成されている。
本明細書で開示する技術の第12の側面によれば、第8の側面に係る情報処理装置の前記選定部は、第1の装置への介入に関する情報を前記UIで提示するように構成されている。
また、本明細書で開示する技術の第13の側面は、第2の装置へ画像を送信する第1の装置を第1の装置の位置情報に基づいて選定する選定ステップを有する情報処理方法である。
また、本明細書で開示する技術の第14の側面は、第2の装置へ画像を送信する第1の装置を第1の装置のユーザーの行動に基づいて選定する選定部を具備する情報処理装置である。
本明細書で開示する技術の第15の側面によれば、第14の側面に係る情報処理装置の前記選定部は、第1の装置から送信する画像に関する情報を示したUIを提示するように構成されている。
本明細書で開示する技術の第16の側面によれば、第15の側面に係る情報処理装置の前記選定部は、第1の装置又はそのユーザーに関する情報を前記UIで提示するように構成されている。
本明細書で開示する技術の第17の側面によれば、第15の側面に係る情報処理装置の前記選定部は、ユーザーの行動に基づいて抽出された第1の装置から送信する画像だけを前記UIで提示するように構成されている。
また、本明細書で開示する技術の第18の側面は、第2の装置へ画像を送信する第1の装置を第1の装置のユーザーの行動に基づいて選定する選定ステップを有する情報処理方法である。
また、本明細書で開示する技術の第19の側面は、第1の装置が画像を送信する第2の装置を、第2の装置又はそのユーザーに関する情報に基づいて選定する選定部を具備する情報処理装置である。
本明細書で開示する技術の第20の側面によれば、第19の側面に係る情報処理装置の前記選定部は、第2の装置又はそのユーザーに関する情報を示したUIを提示するように構成されている。
本明細書で開示する技術によれば、ユーザー間のマッチングを行なうことができる、優れた情報処理装置及び情報処理方法を提供することができる。
なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図1は、本明細書で開示する技術を適用した視界情報共有システム100の概要を示した図である。 図2は、1対Nのネットワーク・トポロジーを模式的に示した図である。 図3は、N対1のネットワーク・トポロジーを模式的に示した図である。 図4は、N対Nのネットワーク・トポロジーを模式的に示した図である。 図5は、画像提供装置101と画像表示装置102の機能的構成例を示した図である。 図6は、Body initiative startによる開始フローを概略的に示した図である。 図7は、Ghost initiative startによる開始フローを概略的に示した図である。 図8は、Bodyを選定するためのUI表示例を示した図である。 図9は、Bodyを選定するためのUI表示例を示した図である。 図10は、Bodyを選定するためのUI表示例を示した図である。 図11は、Bodyを選定するためのUI表示例を示した図である。 図12は、Bodyを選定するためのUI表示例を示した図である。 図13は、Body選定用UIに表示するタグを例示した図である。 図14Aは、Bodyを選定するためのUI表示例を示した図である。 図14Bは、Bodyを選定するためのUI表示例を示した図である。 図15は、BodyがGhostを選定するUIの一例を示した図である。
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
A.システム構成
図1には、本明細書で開示する技術を適用した視界情報共有システム100の概要を示している。図示の視界情報共有システム100は、現場を撮影した画像を提供する画像提供装置101と、画像提供装置101から提供される画像を表示する画像表示装置102の組み合わせで構成される。
画像提供装置101は、具体的には、実際に現場に居て活動する観察者111が頭部に着用するカメラ付きシースルー型のヘッド・マウント・ディスプレイで構成される。ここで言う「シースルー型」のヘッド・マウント・ディスプレイは、光学透過型であることを基本とするが、ビデオ・シースルー型であってもよい。ヘッド・マウント・ディスプレイに搭載されるカメラは、観察者111のほぼ視線方向を撮影して、その一人称映像(FPV:First Pereson View)を提供する。
一方、画像表示装置102は、現場すなわち画像提供装置101から離間して配置され、画像提供装置101と画像表示装置102はネットワーク経由で通信することを想定している。ここで言う「離間」には、遠隔地の他、同じ室内でわずかに(例えば、数メートル程度)離れている状況も含むものとする。また、図示しないサーバーを介して画像提供装置101と画像表示装置102の間でデータ交換を行なうことも想定される。
画像表示装置102は、例えば、現場には居ない人(撮影画像の視聴者)112が着用するヘッド・マウント・ディスプレイである。没入型のヘッド・マウント・ディスプレイを画像表示装置102に用いれば、視聴者112は、観察者111と同じ光景をよりリアルに体験することができる。但し、シースルー型のヘッド・マウント・ディスプレイを画像表示装置102に用いてもよい。
また、画像表示装置102は、ヘッド・マウント・ディスプレイには限定されず、例えば腕時計型のディスプレイであってもよい。あるいは、画像表示装置102は、ウェアラブル端末である必要はなく、スマートフォンやタブレットなどの多機能情報端末、コンピューター・スクリーンやテレビジョン受像機などの一般的なモニター・ディスプレイ、ゲーム機、さらにはスクリーンに画像を投影するプロジェクターなどでもよい。
観察者111は、実際に現場に居て、自らの身体を以って活動していることから、画像提供装置101のユーザーである観察者111(又は、画像提供装置101)のことを、以下では「Body」とも呼ぶ。これに対し、視聴者112は、現場で身体を以って活動する訳ではないが、観察者111の一人称映像を視聴することによって現場に対する意識を持つことから、画像表示装置102のユーザーである視聴者112(又は、画像表示装置102)のことを、以下では「Ghost」とも呼ぶ。
Bodyは、自分の周辺状況をGhostに伝達し、さらに状況をGhostと共有する。一方のGhostは、Bodyとコミュニケーションをとって離間した場所から作業支援などのインタラクションを実現することができる。視界情報共有システム100において、GhostがBodyの一人称体験に没入してインタラクションを行なうことを、以下では「JackIn」とも呼ぶ。JackInの開始フローは、Bodyが主導的に行なう場合(Body initiative start)と、Ghostが主導的に行なう場合(Ghost initiative start)に大別される。JackIn開始フローの詳細については、後述に譲る。
視界情報共有システム100は、BodyからGhostへ一人称映像を送信しGhost側でも視聴・体験することと、BodyとGhost間でコミュニケーションをとることを基本的な機能とする。後者のコミュニケーション機能を利用して、Ghostは、Bodyの視界に介入する「視界介入」、Bodyの聴覚に介入する「聴覚介入」、Bodyの身体若しくは身体の一部を動作させたり刺激を与えたりする「身体介入」、GhostがBodyに代わって現場で話をする「代替会話」といった、遠隔地からの介入によって、Bodyに対するインタラクションを実現することができる。JackInでは、「視界介入」、「聴覚介入」、「身体介入」、「代替会話」といった複数のコミュニケーション・チャネルがあるということもできる。「視界介入」、「聴覚介入」、「身体介入」、「代替会話」それぞれの詳細については後述に譲る。
Ghostは、「視界介入」、「聴覚介入」、「身体介入」、「代替会話」を通じて、Bodyに対して現場での行動を指示することができる。例えば、外科手術などの医療現場や土木作業などの建築現場などさまざまな産業分野の作業支援、飛行機やヘリコプターの操縦の指示や誘導、自動車の運転者の案内、スポーツにおけるコーチング若しくはインストラクションなどの用途に視界情報共有システム100を活用することができる。
例えば、Bodyは、自分の視界を他人と共有したい場合の他、視界介入などを通じて、現在行なっている作業に対して他人から支援や指示、誘導、案内を受けたい(若しくは、受けなければならない)場合に、自ら主導的に適当なGhostとのJackIn(Body initiative start)を実施する。
また、Ghostは、自分が出向くことなく現場の映像(他人の一人称映像)を視聴したい場合の他、他人が行なっている作業に対して支援や指示、誘導、案内を行ないたい(若しくは、行なわなければならない)場合に、自ら主導的に該当するBodyとのJackIn(Ghost initiative start)を実施する。
但し、Bodyは、無制限に自分の視界や聴覚、身体、会話に介入されると、自分の行動がGhostに邪魔され、あるいは自分の行動に支障をきたし危険な場合や、プライバシーが侵害されることもある。一方、Ghostにとっても、見たくない映像がある場合や、頼まれてもBodyに対して適切な支援や指示、誘導、案内などのサービスを提供できない場合がある。したがって、GhostのBodyへのJackInや、JackInした状態でのGhostからBodyへの介入に一定の制限を課すようにしてもよい。
なお、図1では簡素化のため、画像提供装置101と画像表示装置102をそれぞれ1台しか存在しない、BodyとGhostが1対1のネットワーク・トポロジーを描いている。図2に示すような、1つのBodyと複数(N)のGhostが同時にJackInする1対Nのネットワーク・トポロジーや、図3に示すような、複数(N)のBodyと1つのGhostが同時にJackInするN対1のネットワーク・トポロジー、図4に示すような、複数(N)のBodyと複数(N)のGhostが同時にJackInするN対Nのネットワーク・トポロジーも想定される。
また、1つの装置がBodyからGhostへ切り替わったり、逆にGhostからBodyへ切り替わったりすることや、同時にBodyとGhostの役割を持つことも想定される。1つの装置がGhostとしてあるBodyにJackInすると同時に、他のGhostに対してBodyとして機能して、3台以上の装置がディジーチェーン接続されるネットワーク・トポロジー(図示を省略)も想定される。いずれのネットワーク・トポロジーにおいても、BodyとGhost間にサーバー(図示しない)が介在することもある。
B.機能的構成
図5には、画像提供装置101と画像表示装置102の機能的構成例を示している。
画像提供装置101は、Bodyとしての役割を果たすユーザー(観察者112)の利用に供される装置である。図5に示す例では、画像提供装置101は、撮像部501と、画像処理部502と、出力部としての表示部503、第1の音声出力部504、駆動部505及び第2の音声出力部506と、位置検出部507と、通信部508と、制御部509と、認証部510を備えている。
撮像部501は、Bodyの一人称映像を撮影するカメラで構成される。撮像部501は、例えばBodyすなわち観察者111の視線方向を撮影するように、観察者111の頭部に取り付けられる。あるいは、撮像部501に全天周型カメラを用いて、Bodyの周囲360度の全天周画像を提供できるようにしてもよい。但し、全天周画像は必ずしも360度である必要はなく、一部の視野が欠けていてもよい。また、全天周画像は、情報の少ない床面を含まない半天球画像であってもよい(以下、同様)。
画像処理部502は、撮像部501から出力される画像信号の処理を行なう。撮像部501で撮影されるBodyの一人称映像をそのままストリーミングする場合、Bodyは自分の意思で周辺を見渡したり視線方向を変えたりするので、Ghostは揺れの激しい映像を視聴することになり、VR(Virtual Reality)酔い若しくはモーション・シックネスを起こすなどの健康被害が懸念される。また、Bodyが着目していない別の個所をGhostが視聴したい場合もある。そこで、画像処理部502は、撮像部501が撮影するBodyの一人称映像の連続画像から周辺の空間を疑似的に構築するようにしている。具体的には、画像処理部502は、撮像部501が撮影する映像(全天周画像)に対してリアルタイムにSLAM(Simultaneous Localization and Mapping)認識技術などに基づく空間認識を行ない、現在のビデオ・フレームと過去のビデオ・フレームを空間的につなぎ合わせることで、Ghostがコントロールする仮想的なカメラ視点からの映像をレンダリングする。仮想的なカメラ視点でレンダリングされた映像は、Bodyの一人称映像というよりも疑似的にBodyの体外に離脱した視点映像である。したがって、Ghost側ではBodyの動きとは独立にBodyの周囲環境を観察できるので、映像の揺れを安定化させてVR酔いを防ぐとともに、Bodyが着目していない別の個所を視聴することができる。
表示部503は、画像表示装置102から送られてくる情報を表示出力して、GhostによるBodyの視界への介入を実現する。上述したように画像提供装置101がシースルー型のヘッド・マウント・ディスプレイとして構成される場合、表示部503は、Bodyと一人称体験を共有するGhostの意識を表現したAR(Augmented Reality)画像を、観察者111の視界(すなわち、実世界の風景)に重畳表示する。AR画像は、例えばGhostが指し示した場所を示すポインターやアノテーションなどの画像からなる。したがって、Ghostは、Bodyとのコミュニケーションを通じてその視界に介入して、現場に居るBodyに対するインタラクションを行なうことができる。
第1の音声出力部504は、例えばイヤホンやヘッドホンなどで構成され、画像表示装置102から送られてくる情報をBodyに聴かせることで、GhostによるBodyの聴覚への介入を実現する。画像表示装置102からは、Bodyと一人称体験を共有するGhostの意識に関する情報が送信される。画像提供装置101側では、受信した情報を音声信号に変換して、第1の音声出力部504から音声出力し、Bodyすなわち観察者111に聴かせる。あるいは、一人称体験中のGhostが発話した音声信号が、そのまま画像表示装置102から送信される。画像提供装置101側では、受信した音声信号をそのまま第1の音声出力部504から音声出力し、Bodyすなわち観察者111に聴かせる。また、第1の音声出力部504から出力する音声の音量や音質、出力タイミングなどを適宜調整するようにしてもよい。あるいは、画像表示装置102から届く画像情報や文字情報を音声信号に変換して、第1の音声出力部504から音声出力するようにしてもよい。したがって、Ghostは、Bodyとのコミュニケーションを通じてその聴覚に介入して、現場に居るBodyに対するインタラクションを行なうことができる。
駆動部505は、Bodyの身体若しくは身体の一部を動作させたり刺激を与えたりして、GhostによるBodyの身体への介入を実現する。駆動部505は、例えば、観察者111の身体に対して、触覚(タクタイル)や(健康に害のない程度の軽微な)電気刺激を印加するアクチュエーターで構成される。あるいは、駆動部505は、観察者111が腕や手、脚などに装着するパワースーツや外骨格(exoskeleton)を駆動することで身体の運動を補助又は拘束する装置(例えば、特許文献5を参照のこと)で構成される。したがって、Ghostは、Bodyとのコミュニケーションを通じてその身体に介入して、現場に居るBodyに対するインタラクションを行なうことができる。
第2の音声出力部506は、例えばBodyが装着するウェアラブル・スピーカーなどで構成され、画像表示装置102から届く情報又は音声信号を外部に音声出力する。第2の音声出力部506から出力される音声は、現場では、あたかもBody本人が話しているように聴こえる。したがって、Ghostは、Bodyに代わって、Bodyが居る現場の人たちと会話したり、音声による指示を行なったりすること(代替会話)ができる。
位置検出部507は、例えばGPS(Global Positioning System)信号を用いて画像提供装置101(すなわちBody)の現在位置情報を検出する。検出された位置情報は、例えばGhostが所望する場所にいるBodyを検索する際に利用される(後述)。
通信部508は、ネットワーク経由で画像表示装置102と相互接続し、撮影部501で撮影した一人称映像や空間情報の送信、画像表示装置102とのコミュニケーションを行なう。通信部508の通信手段は無線又は有線のいずれでもよく、また、特定の通信規格に限定されない。
認証部510は、ネットワーク経由で相互接続される画像表示装置102(若しくは、そのユーザーであるGhost)の認証処理を行ない、画像表示装置102からの情報を出力する出力部を決定する。そして、制御部509は、認証部510による認証結果に応じて、出力部からの出力動作を制御する。制御部509は、例えばCPU(Central Processing Unit)とGPU(Graphic Processing Unit)に相当する機能を備えている。
例えば、認証処理の結果、画像表示装置102に視界介入のみが許容されている場合には、制御部509は、表示部503からの表示出力のみを実行する。また、画像表示装置102に視界介入だけでなく聴覚介入も許容されている場合には、制御部509は、表示部503からの表示出力とともに第1の音声出力部504からに音声出力も実行する。BodyがGhostからの介入を許容する範囲は、permissionレベルとして定義される。一方、GhostがBodyに対して介入を行なう範囲は、missionレベルとして定義される(後述)。但し、認証部510及び制御部509による上記の処理を、画像提供装置101ではなく、画像提供装置101と画像表示装置102の間に介在するサーバー(図示しない)で実行するように、視界情報共有システム100を構成することも可能である。
一方、画像表示装置102は、Ghostとしての役割を果たすユーザー(視聴者112)の利用に供される装置である。図5に示す例では、画像表示装置102は、通信部511と、画像復号部512と、表示部513と、ユーザー入力部514と、位置姿勢検出部515を備えている。
通信部511は、ネットワーク経由で画像提供装置101と相互接続し、画像提供装置101から一人称映像の受信や、画像提供装置101とのコミュニケーションを行なう。通信部511の通信手段は無線又は有線のいずれでもよく、特定の通信規格に限定されないが、画像提供装置101側の通信部508と整合しているものとする。
画像復号部512は、通信部511で画像提供装置101から受信した画像信号を復号処理する。表示部513は、画像復号部512で復号した後の全天周画像(Bodyの一人称映像)を表示出力する。なお、Bodyの一人称映像からBodyの体外に離脱した視点映像をレンダリングする処理(前述)を、画像提供装置101側の画像処理部502ではなく、画像復号部512で行なうようにしてもよい。
位置姿勢検出部515は、視聴者112の頭部の位置及び姿勢を検出する。検出した位置及び姿勢は、Ghostの現在の視点位置及び視線方向に相当する。Bodyの一人称映像から疑似的にBodyの体外に離脱した視点映像を作り出す際の仮想的なカメラ(前述)の視点位置及び視線方向を、位置姿勢検出部515で検出した視聴者112の頭部の位置及び姿勢に基づいてコントロールすることができる。
表示部513は、例えば、Ghostとしての視聴者112が着用するヘッド・マウント・ディスプレイで構成される。没入型のヘッド・マウント・ディスプレイを表示部513に用いれば、視聴者112は、観察者111と同じ光景をよりリアルに体験することができる。視聴者112すなわちGhostが視聴する映像は、Bodyの一人称映像そのものではなく、一人称映像の連続画像から疑似的に構築された周辺の空間(疑似的にBodyの体外に離脱した視点映像)であるとする(前述)。また、Ghostのヘッド・トラッキング、すなわち位置姿勢検出部515で検出した視聴者112の視点位置及び視線方向に追従するように仮想カメラを制御して、表示部513の表示画角を移動させることができる。
表示部513として、没入型のヘッド・マウント・ディスプレイに代えて、シースルー型のヘッド・マウント・ディスプレイや、腕時計型のディスプレイなどのウェアラブル端末を用いてもよい。あるいは、表示部513は、ウェアラブル端末である必要はなく、スマートフォンやタブレットなどの多機能情報端末、コンピューター・スクリーンやテレビジョン受像機などの一般的なモニター・ディスプレイ、ゲーム機、さらにはスクリーンに画像を投影するプロジェクターなどでもよい。
ユーザー入力部514は、Ghostとしての視聴者112が、表示部513に表示されているBodyの一人称映像を観察したことに対して、Ghost自身の意図や意識を入力するためのデバイスである。
ユーザー入力部514は、例えばタッチパネルやマウス、ジョイスティックなどの座標入力装置で構成される。Ghostは、Bodyの一人称映像を表示する画面内で、特に関心のある場所を、タッチやマウスのクリック操作などにより直接指示することができる。Ghostは視聴している映像の画素座標上に指示を行なうが、Body側の撮影映像は常に変化するので意味をなさない。そこで、ユーザー入力部514は、Ghostが画面のタッチやクリック操作などにより指示した画素位置に対応する3次元空間上の位置情報を画像解析などにより特定し、その3次元空間上の位置情報を画像提供装置101に送信する。したがって、Ghostは、画素座標ではなく、空間に対して固定できるポインティングを行なうことができる。
また、ユーザー入力部514は、カメラによるGhostの顔の撮影画像や眼電位を用いて眼球運動を捕捉して、Ghostが熟視(gaze)している場所を割り出し、その場所を特定する情報を画像提供装置101に送信するようにしてもよい。その際も、ユーザー入力部514は、Ghostが熟視する画素位置に対応する3次元空間上の位置情報を画像解析などにより特定し、その3次元空間上の位置情報を画像提供装置101に送信する。したがって、Ghostは、画素座標ではなく、空間に対して固定できるポインティングを行なうことができる。
また、ユーザー入力部514は、キーボードなどの文字入力装置で構成される。Ghostは、Bodyと同じ一人称体験をしたときに、Bodyに伝えたい意図や抱いた意識などを、文字情報として入力することができる。ユーザー入力部514は、Ghostが入力した文字情報をそのまま画像提供装置101に送信してもよいし、音声信号など他の信号形式に置き換えてから画像提供装置101に送信するようにしてもよい。
また、ユーザー入力部514は、マイクなどの音声入力装置で構成され、Ghostが発話した音声を入力する。ユーザー入力部514は、入力された音声を、音声信号のままで、通信部511から画像提供装置101へ送信してもよい。あるいは、ユーザー入力部514は、入力音声を音声認識して文字情報に変換し、文字情報として画像提供装置101に送信するようにしてもよい。
Ghostは、Bodyの一人称映像を視聴しながら、「その」、「これ」といった指示語を使って事物を指し示すことが想定される。このような場合、ユーザー入力部514は、指示語が指し示す事物の3次元空間上の位置情報を言語解析並びに画像解析などにより特定し、その3次元空間上の位置情報を画像提供装置101に送信する。したがって、Ghostは、画素座標ではなく、空間に対して固定できるポインティングを行なうことができる。
また、ユーザー入力部514は、Ghostの身振りや手振りを入力するジェスチャー入力装置でもよい。ジェスチャーを捕捉する手段は特に限定されない。例えば、ユーザー入力部514は、Ghostの四肢の動きを撮影するカメラとその撮影画像を処理する画像認識装置を備えていてもよい。また、画像認識を容易にするために、Ghostの身体にマーカーを取り付けていてもよい。ユーザー入力部514は、入力されたジェスチャーを、例えばBodyの身体に介入する制御信号として、通信部411から画像提供装置101へ送信してもよい。また、ユーザー入力部514は、入力されたジェスチャーを、Bodyの視界に介入する画像情報(座標情報や、重畳表示するAR画像、又は文字情報など)や、Bodyの聴覚に介入する音声信号に変換して、通信部511から画像提供装置101へ送信してもよい。また、ユーザー入力部514は、Ghostがジェスチャーにより指示した画素位置に対応する3次元空間上の位置情報を画像解析などにより特定し、その3次元空間上の位置情報を画像提供装置101に送信する。したがって、Ghostは、画素座標ではなく、空間に対して固定できるポインティングを行なうことができる。
視界情報共有システム100において展開されるJackInというサービスは、AR画像を重畳表示するという観点からは、一般的なAR技術に類似する。但し、JackInにおいては、人間(Ghost)が他の人間(Body)を拡張するという点で、コンピューターにより付与される通常のAR技術とは相違するものと思料する。
また、JackInは、テレプレゼンス(前述)と類似する点もある。但し、通常のテレプレゼンスは、ロボットのような機械の視点から世界を眺めるインターフェースであるのに対し、JackInは人間(Ghost)が他の人間(Body)の視点から眺めるという状況であるという点で相違する。また、テレプレゼンスでは、人間がマスターで機械がスレーブとなり、スレーブである機械は人間の動きを忠実に再現することを前提としている。これに対し、人間(Ghost)が他の人間(Body)にJackInする場合、BodyはGhostに従って動くとは限らず、独立性を許すインターフェースである。
上記の視界情報共有システム100において、画像提供装置101から画像表示装置102に提供される映像は、Bodyが現場で観察しているリアルタイム映像(すなわち、撮像部501が撮影するライブ映像)とは限らず、録画された過去の映像であってもよい。例えば、画像提供装置101が過去の映像を録画する大容量記憶装置(図示しない)を備え、画像提供装置101から過去の映像を配信するようにしてもよい。あるいは、BodyとGhost間のJackInを統制するJackInサーバー(仮称)、あるいはその他の記録サーバー上で画像提供装置101による過去の録画映像を蓄積しておき、これらのサーバーからGhost(画像表示装置102)に過去の映像をストリーミング配信するようにしてもよい。但し、Ghostは、過去の映像を視聴する場合には、視界、聴覚を含むBodyへの介入が一切許されない。何故ならば、Ghostが視聴している映像はBodyが現在作業を行なっている現場の映像ではなく、過去の映像に基づいて介入するとBodyの現在の作業に支障をきたすからである。
なお、2台の機器間における視界共有の詳細については、例えば本出願人に既に譲渡されている特願2013−78893号明細書も参照されたい。また、同システム100における視界介入(AR画像の表示)の詳細については、例えば本出願人に既に譲渡されている特願2013−78892号明細書、特願2013−78894号明細書、特願2013−191464号明細書も参照されたい。
C.Mission−Permission(BodyとGhostのマッチング)
JackInでは、「視界介入」、「聴覚介入」、「身体介入」、「代替会話」といった複数のコミュニケーション・チャネルがある。したがって、Bodyは、GhostとのJackInを開始することによって、自分の視界をGhostと共有できるとともに、視界介入などを通じて、現在行なっている作業に対してGhostから支援や指示、誘導、案内を受けることができる。また、Ghostは、BodyとのJackInを開始することによって、自分は現場に出向かなくてもBodyの一人称体験をすることができるとともに、視界介入などを通じてBodyの作業に対して支援や指示、誘導、案内を行なうことができる。
ところが、Bodyは、Ghostから無制限に自分の視界や聴覚、身体に介入されたり代替会話が行なわれたりすると、Body自身の行動がGhostに邪魔され、あるいは行動に支障をきたし危険にさらされる場合や、プライバシーが侵害されることもある。一方、Ghostにとっても、見たくない映像がある場合や、Bodyから頼まれても適切な支援や指示、誘導、案内などのサービスを提供できない場合がある。すなわち、BodyとGhostのミスマッチが問題となる。
そこで、本実施形態では、BodyとGhost間の適切なマッチングを実現するために、「permission」と「mission」を定義する。BodyがGhostからの介入を許容する範囲を「permission」として定義し、Ghostからの介入をpermissionで規定する範囲に限定する。一方、GhostがBodyに対して介入する操作の範囲を「mission」として定義し、GhostがBodyに介入しようとする範囲をmissionで規定する範囲に限定する。
C−1.Permission
まず、permissionについて説明する。各Bodyは、以下に例示するように介入を許容するレベルの異なるpermissionを、それぞれ適宜設定することができる。
(レベル1)視界交換(一人称映像の送信)しか許容しない。この場合、画像提供装置101は、撮像部501の撮像画像の送信のみを行ない、出力部を一切動作させない。
(レベル2)視界交換と視界介入までしか許容しない。この場合、画像提供装置101は、撮像部501の撮像画像を送信するとともに、表示部503の表示出力のみを行なう。
(レベル3)さらに聴覚介入も許容する。この場合、画像提供装置101は、撮像部501の撮像画像を送信するとともに、表示部503の表示出力並びに第1の音声出力部504からの音声出力を行なう。
(レベル4)身体介入及び代替会話を含む、すべての介入を許容する。この場合、画像提供装置101は、さらに駆動部505を駆動できるとともに、第2の音声出力部506から音声を外部出力することができる。
また、各Bodyは、すべてのGhostに対して一様なpermissionを与えるのではなく、Ghost毎に個別のpermissionを与えるようにしてもよい。
例えば、Bodyは、Ghostのユーザー属性に応じたpermissionを設定してもよい。ここで言うユーザー属性とは、年齢、性別、Bodyとの人間関係(続柄、友人、上司と部下など)、出身地、職業、資格といった個人情報の他、支援対象となる作業のスキルのレーティング情報、過去のGhost(アシスタントやインストラクターなど)としての実績(これまで何時間その作業を経験したか)や評価(review)、他のBodyによる評判(投稿や投票結果など)などの情報を含むものとする。
また、Bodyは、属性に応じたpermissionを設定するのではなく、個人単位でpermissionを設定してもよい(Aさん用のpermission、Bさん用のpermission、…など)。言い換えれば、BodyとGhostの組み合わせ毎にpermissionを設定してもよい。Bodyは、自分との人間関係に基づいてpermissionを設定してもよいし、Bodyが個人的に把握しているGhost自身の能力に基づいてpermissionを設定してもよい。また、BodyとGhost間での一対一のネゴシエーションや調停などにより、Ghostに一時的なpermissonを付与する方法(あるGhostに、所定期間だけ高レベルのpermissonを付与し、その期間が経過すると元のレベルのpermissionに戻す)も考えられる。また、Bodyは、自分へのJackInを禁止するユーザーを設定できるようにしてもよい。
人間関係に基づくpermission設定の簡単な例を以下に挙げておく。
(例1)他人に対しては視界共有(レベル1のpermission)しか許容しない。
(例2)友人には視界介入並びに聴覚介入(レベル2又は3のpermission)まで許容する。
(例3)親しい友人や認証若しくは資格を得ている人には、特別に身体介入(レベル4のpermission)を許容する。又は、一時的に代替会話を許容する。
permission設定の他の例として、BodyがJackInを有料サービス化(すなわちmonetize)する場合を挙げることができる。Ghostは、支払う利用料に応じて、上記のレベル1〜4のいずれかのpermissionが設定され、BodyとJackInすることができる。
(例4)5ドル支払うGhostに対しては、視界共有(レベル1のpermission)しか許容しない。
(例5)10ドル支払うGhostには、視界介入並びに聴覚介入(レベル2又は3のpermission)まで許容する。
(例6)100ドル支払うGhostには、身体介入(レベル4のpermission)を許容する。又は、一時的に代替会話を許容する。
C−2.Mission
次に、missionについて説明する。本実施形態では、GhostがBodyに対して介入する操作の範囲を「mission」として定義し、GhostがBodyに介入できる範囲をmissionで規定する範囲に限定する。Ghostのmissionは、例えば、Ghost自身が背負っている使命や能力の範囲で設定される。missionは、個々のGhostが自分で勝手に決めるものではなく、例えば権威のある機関などによって許可若しくは認証されていることが好ましい。Ghostに課された使命、職務、職業や、資格、介入のスキルのレーティング、過去のGhost(アシスタントやインストラクターなど)としての実績(Ghostとしての経験時間など)や評価(review)、Bodyによる評判(投稿や投票結果など)などに応じて、以下に例示するようなレベルの異なるmissionを定義することができる。
(レベル1)視界交換(一人称映像の送信)しか行なわない。この場合、画像表示装置102は、画像提供装置101から受信した画像の表示のみを行なう。
(レベル2)視界交換と視界介入まで行なう。この場合、画像表示装置102は、画像提供装置101から受信した画像を表示するとともに、画像提供装置101側で表示すべき画像(重畳表示して、視界に介入すべき画像)に関する情報を送信する。
(レベル3)さらに聴覚介入も行なう。この場合、画像表示装置102は、画像提供装置101で出力すべき音声( Bodyに聴かせるべき音声)に関する情報をさらに送信する。
(レベル4)身体介入及び代替会話を含む、すべての介入を行なう。この場合、画像表示装置102は、駆動部505を動作させる情報や、第2の音声出力部506から外部に出力すべき音声に関する情報をさらに送信する。
BodyがGhostとのJackInを開始する際には、Ghostの個人情報や属性情報に基づいてフィルタリングし、さらにはBodyが指定するpermissionとGhostが持つmissionを照合して、JackInの可否や、JackInした状態での介入可能な範囲を判定するようにすればよい。例えば、不特定多数のGhost(Large number Ghost)を対象にして、Bodyが主導的にJackInを開始するとき(Body initiative start)に、フィルタリング処理は有効である。
このようなフィルタリング処理は、Body側(すなわち、画像提供装置101)で行なうようにしてもよいし、多数のBody及び多数のGhost間のJackInを統制するJackInサーバー(仮称)が行なうようにしてもよい。
Bodyにpermissionを設定するとともに、Ghostにmissionを設定することによって、JackInを開始する際のGhostの選定や、Ghostが介入する範囲を決定する処理を自動化し易くなる。例えば、不特定多数のGhostがJackInしてくる際には、Bodyは各Ghostに介入を許容するレベルを機械的に判断することができ、便利である。勿論、あらかじめ設定したpermisson及びmissionなどの情報に基づいて機械的に判断するのではなく、BodyとGhost間のネゴシエーションや調停などにより、JackInの可否や介入のレベルをその場で取り決めを交わすようにしてもよい。
D.JackIn開始フロー
JackInは、視界情報共有システム100において、GhostがBodyの一人称体験に没入する状況であり、GhostはBodyに対してインタラクションを行なう。
上述したように、JackInは、Bodyが主導的となって開始される場合(Body initiative start)と、Ghostが主導的となって開始される場合(Ghost initiative start)に大別される。
また、Body initiative startとGhost initiative startのいずれの場合においても、単一又は(特定の)少数のGhostがJackInする場合(Single (or small number) Ghost)と、(不特定)多数のGhostがJackInする場合(Large number Ghost)に分類することができる。
Bodyが主導的にJackInを開始する場合として、現在行なっている作業に対して支援や指示、誘導、案内を求めるようなシチュエーションが想定される。例えば、車の修理作業を教えてくれる人を求めるような日常的なシチュエーションもあれば、外科手術などの医療現場や土木作業などの建築現場などにおいて比較的高度な技術や技量を要する作業に対する支援や指示、誘導、案内を求めるようなシチュエーションもある。
JackInは、基本的にGhostがBodyに入る(jack in)行為によって開始される。したがって、Bodyが主導的にJackInを開始したい場合、Bodyは、所望する(若しくは、所定人数の)Ghostが入ってくれることをリクエストした後、待ち状態のまま作業を開始する。
図6には、Body initiative startによる開始フローを概略的に示している。同図では簡素化のため、Ghostを一人しか描いていないが、複数のGhostが存在することが想定される。
Bodyは、上記の待ち状態では、Ghostを受理する「acceptance」をopen状態にして、作業を開始している。
なお、Body側からの、JackInしてくれるGhostをリクエストする形態は任意である。例えば、Bodyは、SNS(Social Networking Service)を利用して、「Need Help!」、「誰かクルマの運転の仕方を教えてください」、「○○に行く道を教えてください」などのコメントを掲げて、Ghostを募集してもよい。また、GhostがJackInしてBodyの作業に対して支援や指示、誘導、案内を行なうサービスを有料化(monetize)してもよい。Bodyは、GhostをSNSなどで募集する際に、支払い可能な金額を併せて提示するようにしてもよい。募集に対して応募するGhostは、JackInリクエストを送信する。
外部装置(画像提供装置101のユーザーが装着するウェアラブル端末など)は、Body(画像提供装置101)に代わって、Ghost(画像表示装置102)からJackInリクエストを受け取ると、Bodyに通知する。
Bodyは、acceptanceをopenにしている間は、ウェアラブル端末から通知を受け取ると、Ghostと接続を行なう。
Bodyは、所望するGhostとJackInし、又は、接続するGhostが所定数に到達すると、acceptanceをcloseして、ウェアラブル端末からの通知を受け付けないようにする。以後、Bodyは、JackInしてきたGhostと視界を共有するとともに、Ghostから視界その他の介入を受けながら、作業を行なうことになる。
なお、Bodyは、Ghostと接続する際には、Ghostの過去の実績や評価などの選考基準に基づいて、接続の可否を機械的に判断し、又はユーザーが直接判断するものとする。また、JackInしてきたGhostが複数存在する場合は、設定されるpermissionやmissionがGhost毎にまちまちであることも想定される。
また、Bodyが主導的となって、(不特定)多数のGhostとJackInする場合も、基本的には、図6と同様のシーケンスに従って、JackInが開始される。Bodyが主導的となって、(不特定)多数のGhostとJackInする場合とは、不特定の人に助言やアシスタント程度の軽度の作業支援を求めるようなシチュエーションが想定される。
Bodyは、JackInしてくれるGhostをSNSなどで募集して、待ち状態のまま作業を開始する。ウェアラブル端末は、GhostからJackInリクエストを受信する度に、Bodyへ通知する。Bodyは、Ghostと接続する際には、Ghostの過去の実績や評価などの選考基準に基づいて、接続の可否を機械的に判断し、又はユーザーが直接判断するものとする。また、JackInしてきたGhostが複数存在する場合は、設定されるpermissionやmissionがGhost毎にまちまちであることも想定される。
一方、単一(若しくは、特定少数の)のGhostが主導的にJackInを開始する手順は、基本的にGhostがBodyに入る(jack in)行為によって実現され、GhostからBodyへ電話を掛けるという操作に類似する。
図7には、Ghost initiative startによる開始フローを概略的に示している。GhostからBodyへJackInリクエストが送信され、JackInの状態となり、BodyからGhostへ一人称映像の送信が行なわれるとともに、GhostによるBodyへの介入が行なわれる。
なお、Bodyは、Ghostと接続する際には、Ghostの過去の実績や評価などの選考基準に基づいて、接続の可否を機械的に判断し、又はユーザーが直接判断するものとする。また、その際に、Bodyは、JackInしてきたGhostに対してpermissionを設定したり、Ghostは自分のmissionを設定したりするようにしてもよい。画像提供装置101や画像表示装置102はそれぞれ、permission設定用のUI(User Interface)やmission設定用のUIをユーザーに提示するようにしてもよい。
また、(不特定)多数のGhostが主導的となってBodyとJackInする場合、BodyはあらかじめJackInの開始条件を設定することができる。この場合、ウェアラブル端末に対し、GhostからJackInリクエストを受信する度にBodyに通知するのではなく、開始条件が満たされたときにのみBodyへの通知を行なわせるように設定する。
例えば、応募してきたGhostの人数を開始条件に設定することができる。この場合、ウェアラブル端末は、JackInリクエストを受信したGhostが所定数以上に到達したときにBodyへの通知を行なう。Ghostが100人以上に達したときのみ、現場に居るBodyから一人称映像が配信される。具体例として、フェスティバルに参加しているBodyが、「いまフェスティバルに来ています」といった書き込みを行ない、観たいGhostが100人以上集まったら映像配信が始まる、といったユースケースが挙げられる。
各ケースにおけるJackInの開始フローの概要を、以下の表1にまとめておく。
E.GhostによるBodyの選定
Ghostは、Bodyの現在位置や現在行なっている行為(作業)に基づいて、JackInしたいBodyを選定若しくはフィルタリングすることができる。Bodyの選定処理は、個々のGhostが実施してもよいし、Body及びGhost間のJackInを統制するJackInサーバー(仮称)が選定処理に介在してもよい。
位置や行為に基づく選定処理を行なう前提として、各Bodyの位置及び行為を、Ghostに通知し、若しくはJackInサーバーに通知する仕組みが必要である。例えば、Body側すなわち画像提供装置101は、GPSなどに基づいて現在位置を測定したり、行動(Activity)の認識によりユーザーが現在行なっている行為を認識したりして、Ghost若しくはJackInサーバーに通知する。但し、Bodyの行動認識に関しては、自動化せず、Body自身の文字入力(書き込み)や音声入力に頼る方法でもよい。以下では、各Bodyの位置及び行為を特定する仕組みを限定せずに説明する。
図8には、GhostがBodyの位置情報に基づいて選定するUIの一例を示している。同図では、現在指定した範囲の地図上に、各Bodyの現在位置を示すアイコン(又はキャラクター)を表示している。このようなUIは、例えば画像表示装置102の表示部514に表示され、ユーザーすなわちGhostは、所望する位置のアイコンをタッチやクリックなどのUI操作で指定することによって、JackInしたいBodyを選定することができる。地図表示する領域は、ドラッグやカーソル移動などの操作により遷移させることができるものとする。また、図8に示すようなUI画面を、画像表示装置102本体の表示部514ではなく、Ghostが所持するその他の端末の画面上に表示するようにしてもよい。そして、選定が確定すると、Ghostから選定されたBodyへ、JackInリクエストが送信される。
図9には、GhostがBodyの位置情報に加え行為に基づいて選定するUIの一例を示している。同図は、検索フィールドに「花火を見ている人」が入力され、JackInする対象を「花火を見ている人」に限定した場合の表示例である。例えばBody及びGhost間のJackInを統制するJackInサーバー(仮称)は、検索フィールドに入力されたキーワード(ここでは、Bodyの行動)に合致するBodyを、地図上に表示されているBody群の中から検索する。そして、図9に示すUI画面には、「花火を見ている」という行動で抽出されたBodyだけが表示される。検索フィールドへの入力は、文字入力や音声入力によって行なうことができる。図8では表示されていたBodyのアイコンのうち、花火を見ていない者は消えるので、Ghostは、選定の対象となるBodyを絞り込むことができる。
図10には、GhostがBodyの位置情報に基づいて選定するUIの他の例を示している。同図は、図8に示したUIの変形例であり、各Bodyのアイコンには、Bodyの行動などを示すタグが付されている。図9に示した場合のように検索ワードで検索する操作を行なわなくても、Ghostはタグの表示内容に基づいて各Bodyが現在行なっている行動などを識別して、JackInしたいBodyを選別することができる。
なお、図10に示したUI表示例において、すべてのアイコンに常時タグが表示されていると、煩雑となり、地図を読み取り難い表示になってしまうので、タッチやクリック、ホバーリングなどにより仮選択された状態のアイコンについてのみタグを表示するなど、同時に表示するタグの数に制限を掛けるようにしてもよい。また、タグには、Bodyの行動に関する情報の他に、acceptanceをopenにしているか(前述)、permissionに関する情報(介入が許可されている範囲)、料金情報(視界共有が無料又は有料か。有料の場合の料金情報)などを示すようにしてもよい。
図13には、Bodyのアイコンに付けるタグの表示例を示している。図示の例では、Bodyが、視界介入、聴覚介入、身体介入、代替会話など各介入操作を許可しているか否かを示している。Ghostは、このようなタグを参照することで、BodyにJackInしてその場所で何ができるかを容易に判断することができる。
図8〜図10に示したBody選定用UIを使用すれば、Ghostは、地図表示上でBodyの位置を見つけ出して、そこへJackInする(すなわち、場所に紐付けされたBodyへJackInする)という、視覚的に理解し易い操作を実現することができる。さらに、図9に示したUIを使用すれば、Ghostは、指定した行動をしているBodyへ、円滑にJackInすることができる。
図11には、GhostがBodyを選定するUIのさらに他の例を示している。同図は、地図上に各Bodyの現在位置を示すアイコンを表示するのではなく、各Bodyの一人称映像のサムネイルをリスト形式で詳細表示している。各一人称映像のサムネイルは、リアルタイム映像でも、代表画像(静止画)でもよい。また、各一人称映像のサムネイルには、Bodyの行動、Bodyの現在位置、acceptance状況、permission設定、料金情報などのタグ情報を併せて表示するようにしてもよい。
図12には、GhostがBodyを選定するUIのさらに他の例を示している。同図は、図11に示したUIの変形例であり、各Bodyの一人称映像のサムネイルを、リスト形式ではなく一覧形式で表示する。図11に示した例と同様に、各一人称映像のサムネイルには、Bodyの行動、Bodyの現在位置、acceptance状況、permission設定、料金情報などのタグ情報を併せて表示するようにしてもよい。
ここで、図12は、図9と同様に、JackInする対象のBodyを「花火を見ている人」に限定した場合の表示例であるものとする。例えばBody及びGhost間のJackInを統制するJackInサーバー(仮称)は、検索フィールドに入力されたキーワード(ここでは、Bodyの行動)に合致するBodyを検索する。但し、図9に示した例とは相違して、場所に紐付けされずにBodyの検索が行なわれるので、「花火を見ている」のであれば、北海道と沖縄など、離れた場所に居るBodyが検索結果として同時に表示されることもある。
なお、上述したように、Body側から提供される映像は、Bodyが現場で観察しているリアルタイム映像とは限らず、録画された過去の映像の場合もある。Ghostは、過去の映像を視聴する場合には、Bodyに対して視界、聴覚を含む一切の介入が許されない。したがって、図11や図12に示すUI例などでは、Ghostの誤解による介入を防ぐために、リアルタイム映像又は録画した過去の映像のいずれであるかを一人称映像のサムネイルに示すことが好ましい。
図11〜図12に示したBody選定用UIを使用すれば、Ghostは、表示されている一人称映像のサムネイルを基に各Bodyが行なう行動を視覚的に認識しながらJackInすることができる。さらに、図12に示したUIを使用すれば、Ghostは、指定した行動をしているBodyへ、円滑にJackInすることができる。
以上をまとめると、Ghostは、図8〜図10に示した地図ベースのBody選定用UIを使用すれば、場所に紐付けしてBodyを効率的に選定することができる一方、図11〜図12に示した一人称映像のサムネイルをリスト又は一覧形式で表示するBody選定用UIを使用すれば、行動(Activity)を視認しながらBodyを効率的に選定することができる。
例えば、図14に示すように、これら2種類のBody選定用UIを重畳して、タブでUIを切り換えるように構成してもよい。図14Aに示すように、「MAP」タブを選択すると、地図ベースのBody選定用UIが前面に表示され、Ghostは場所に紐付けしてJackInしたいBodyを選定することができる。また、図14Bに示すように、「Activity」タブを選択すると、各Bodyの一人称映像のサムネイルを一覧表示したBody選定用UIが前面に表示され、Ghostは、各Bodyの行動を視認しながらBody選定用UIを選定することができる。
E.BodyによるGhostの選定
Bodyは、現在行なっている作業に対して他人から支援や指示、誘導、案内を受けたい(若しくは、受けなければならない)場合に、自分にJackInして、支援してくれるGhostを募集する。例えば、Bodyは、SNS(Social Networking Service)を利用して、「Need Help!」、「誰かクルマの運転の仕方を教えてください」、「○○に行く道を教えてください」などのコメントを掲げて、Ghostを募集してもよい。
また、GhostがJackInしてBodyの作業に対して支援や指示、誘導、案内を行なうサービスを有料化(monetize)してもよい。このような場合、Bodyは、Ghostを募集する際に、支払い可能な金額を併せて提示するようにしてもよい。
応募しようとするGhost側からは、例えば図8〜図12に示したようなUI画面を通して、募集するBodyを参照することができる。ここでは、Ghost側のUIについての説明は省略する。
図15には、BodyがGhostを選定するUIの一例を示している。図示のUIは、選定の対象となるGhostのリストからなり、各Ghostの情報が表示される。リストアップされるGhostは、Bodyの募集に対して応募してきたユーザーである。あるいは、Body及びGhost間のJackInを統制するJackInサーバー(仮称)が、Bodyの募集内容に応じて選定された者であってもよい。図示のUIにリストアップされる各Ghostは、例えば「花火を見ている人」など行動を指定してBodyへのJackInに応募してきたユーザーである。
図示のGhost選定用UIに表示されるGhostの情報として、年齢、性別、Bodyとの人間関係(続柄、友人、上司と部下など)、出身地、職業、資格といった個人情報の他、支援対象となる作業のスキルのレーティング情報、過去のGhost(アシスタントやインストラクターなど)としての実績(これまで何時間経験したか)や評価(review)、他のBodyによる評判(投稿や投票結果など)などの情報を含むものとする。また、Ghost選定用UIにGhostのリストを表示する際に、permissionとmissionの対応関係、過去の実績や評価、評判などに基づいてGhostの表示順をソーティングするようにしてもよい。Bodyは、図15に示すようなGhost選定用UIを通して、支援や指示(スポーツ競技におけるコーチングなど)、誘導、案内などを受けたいGhostを選ぶことができる。
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
本明細書で開示する技術は、例えば、外科手術などの医療現場、土木作業などの建築現場、飛行機やヘリコプターの操縦、自動車の運転者のナビゲーション、スポーツのインストラクションなど、さまざまな産業分野の作業支援などの用途に活用することができる。
また、本明細書では、身体を以って現場で活動するBodyに対して、Bodyの一人称画像を共有するGhostがBodyの視界や聴覚、身体などに介入するシステムに関する実施形態を中心に説明してきたが、本明細書で開示する技術の要旨はこれに限定されるものではない。ある人物の視界に他人からの支援や指示、誘導、案内に関する情報を表示するさまざまな情報処理装置に対しても、同様に本明細書で開示する技術を適用することができる。
要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
(1)画像を送信する第1の装置と前記画像を受信する第2の装置間の接続を、前記第1の装置又は前記第2の装置のうちいずれが主導的となるかに応じて制御する制御部を具備する情報処理装置。
(2)前記制御部は、前記第1の装置が主導的に前記第2の装置と接続する場合には、前記第2の装置から接続要求を受け取ると、待ち状態の前記第1の装置に通知して、前記第1の装置から前記第2の装置への画像伝送を開始させる、
上記(1)に記載の情報処理装置。
(3)前記制御部は、前記第2の装置が主導的に前記第1の装置と接続する場合には、前記第2の装置からの接続要求を前記第1の機器に通知して、前記第1の装置から前記第2の装置への画像伝送を開始させる、
上記(1)に記載の情報処理装置。
(4)前記制御部は、複数の前記第2の装置が主導的に前記第1の装置と接続する場合には、複数の前記第2の装置からの接続要求が所定の開始条件を満たす場合にのみ前記第1の機器に通知して、前記第1の装置から複数の前記第2の装置への画像伝送を開始させる、
上記(1)に記載の情報処理装置。
(5)前記制御部は、前記第1の装置から前記第2の装置への画像伝送の開始とともに、前記第2の装置から前記第1の装置への介入を制御する、
上記(1)乃至(4)のいずれかに記載の情報処理装置。
(6)画像を送信する第1の装置と前記画像を受信する第2の装置間の接続を、前記第1の装置又は前記第2の装置のうちいずれが主導的となるかに応じて制御する制御ステップを有する情報処理方法。
(7)第2の装置へ画像を送信する第1の装置を第1の装置の位置情報に基づいて選定する選定部を具備する情報処理装置。
(8)前記選定部は、地図上で第1の装置の位置を示したUIを提示する、
上記(7)に記載の情報処理装置。
(9)前記選定部は、ユーザーの行動をさらに考慮して、第1の装置を選定する、
上記(7)又は(8)のいずれかに記載の情報処理装置。
(10)前記選定部は、ユーザーの行動に基づいて抽出された第1の装置だけを前記UIで提示する、
上記(8)に記載の情報処理装置。
(11)前記選定部は、第1の装置のユーザーの行動を前記UIで提示する、
上記(8)に記載の情報処理装置。
(12)前記選定部は、第1の装置への介入に関する情報を前記UIで提示する、
上記(8)に記載の情報処理装置。
(13)第2の装置へ画像を送信する第1の装置を第1の装置の位置情報に基づいて選定する選定ステップを有する情報処理方法。
(14)第2の装置へ画像を送信する第1の装置を第1の装置のユーザーの行動に基づいて選定する選定部を具備する情報処理装置。
(15)前記選定部は、第1の装置から送信する画像に関する情報を示したUIを提示する、
上記(14)に記載の情報処理装置。
(16)前記選定部は、第1の装置又はそのユーザーに関する情報を前記UIで提示する、
上記(15)に記載の情報処理装置。
(17)前記選定部は、ユーザーの行動に基づいて抽出された第1の装置から送信する画像だけを前記UIで提示する、
上記(15)に記載の情報処理装置。
(18)第2の装置へ画像を送信する第1の装置を第1の装置のユーザーの行動に基づいて選定する選定ステップを有する情報処理方法。
(19) 第1の装置が画像を送信する第2の装置を、第2の装置又はそのユーザーに関する情報に基づいて選定する選定部を具備する情報処理装置。
(20)前記選定部は、第2の装置又はそのユーザーに関する情報を示したUIを提示する、
上記(19)に記載の情報処理装置。
(21)第1の装置から画像を送信する第2の装置を、前記第1の装置のユーザーの行動に基づいて選定する選定ステップを有する情報処理方法。
100…視界情報共有システム
101…画像提供装置、102…画像表示装置
501…撮像部、502…画像処理部、503…表示部
504…第1の音声出力部、505…駆動部
506…第2の音声出力部、507…位置検出部、508…通信部
509…制御部、510…認証部
511…通信部、512…画像復号部、513…表示部
514…ユーザー入力部、515…位置姿勢検出部

Claims (20)

  1. 画像を送信する第1の装置と前記画像を受信する第2の装置間の接続を、前記第1の装置又は前記第2の装置のうちいずれが主導的となるかに応じて制御する制御部を具備する情報処理装置。
  2. 前記制御部は、前記第1の装置が主導的に前記第2の装置と接続する場合には、前記第2の装置から接続要求を受け取ると、待ち状態の前記第1の装置に通知して、前記第1の装置から前記第2の装置への画像伝送を開始させる、
    請求項1に記載の情報処理装置。
  3. 前記制御部は、前記第2の装置が主導的に前記第1の装置と接続する場合には、前記第2の装置からの接続要求を前記第1の機器に通知して、前記第1の装置から前記第2の装置への画像伝送を開始させる、
    請求項1に記載の情報処理装置。
  4. 前記制御部は、複数の前記第2の装置が主導的に前記第1の装置と接続する場合には、複数の前記第2の装置からの接続要求が所定の開始条件を満たす場合にのみ前記第1の機器に通知して、前記第1の装置から複数の前記第2の装置への画像伝送を開始させる、
    請求項1に記載の情報処理装置。
  5. 前記制御部は、前記第1の装置から前記第2の装置への画像伝送の開始とともに、前記第2の装置から前記第1の装置への介入を制御する、
    請求項1に記載の情報処理装置。
  6. 画像を送信する第1の装置と前記画像を受信する第2の装置間の接続を、前記第1の装置又は前記第2の装置のうちいずれが主導的となるかに応じて制御する制御ステップを有する情報処理方法。
  7. 第2の装置へ画像を送信する第1の装置を第1の装置の位置情報に基づいて選定する選定部を具備する情報処理装置。
  8. 前記選定部は、地図上で第1の装置の位置を示したUIを提示する、
    請求項7に記載の情報処理装置。
  9. 前記選定部は、ユーザーの行動をさらに考慮して、第1の装置を選定する、
    請求項7に記載の情報処理装置。
  10. 前記選定部は、ユーザーの行動に基づいて抽出された第1の装置だけを前記UIで提示する、
    請求項8に記載の情報処理装置。
  11. 前記選定部は、第1の装置のユーザーの行動を前記UIで提示する、
    請求項8に記載の情報処理装置。
  12. 前記選定部は、第1の装置への介入に関する情報を前記UIで提示する、
    請求項8に記載の情報処理装置。
  13. 第2の装置へ画像を送信する第1の装置を第1の装置の位置情報に基づいて選定する選定ステップを有する情報処理方法。
  14. 第2の装置へ画像を送信する第1の装置を第1の装置のユーザーの行動に基づいて選定する選定部を具備する情報処理装置。
  15. 前記選定部は、第1の装置から送信する画像に関する情報を示したUIを提示する、
    請求項14に記載の情報処理装置。
  16. 前記選定部は、第1の装置又はそのユーザーに関する情報を前記UIで提示する、
    請求項15に記載の情報処理装置。
  17. 前記選定部は、ユーザーの行動に基づいて抽出された第1の装置から送信する画像だけを前記UIで提示する、
    請求項15に記載の情報処理装置。
  18. 第2の装置へ画像を送信する第1の装置を第1の装置のユーザーの行動に基づいて選定する選定ステップを有する情報処理方法。
  19. 第1の装置が画像を送信する第2の装置を、第2の装置又はそのユーザーに関する情報に基づいて選定する選定部を具備する情報処理装置。
  20. 前記選定部は、第2の装置又はそのユーザーに関する情報を示したUIを提示する、
    請求項19に記載の情報処理装置。
JP2017542951A 2015-09-30 2016-07-11 情報処理装置及び情報処理方法 Abandoned JPWO2017056632A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015195193 2015-09-30
JP2015195193 2015-09-30
PCT/JP2016/070483 WO2017056632A1 (ja) 2015-09-30 2016-07-11 情報処理装置及び情報処理方法

Publications (1)

Publication Number Publication Date
JPWO2017056632A1 true JPWO2017056632A1 (ja) 2018-07-19

Family

ID=58427403

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017542951A Abandoned JPWO2017056632A1 (ja) 2015-09-30 2016-07-11 情報処理装置及び情報処理方法

Country Status (6)

Country Link
US (2) US20180278888A1 (ja)
EP (1) EP3358837A4 (ja)
JP (1) JPWO2017056632A1 (ja)
KR (1) KR102512855B1 (ja)
CN (1) CN108141565A (ja)
WO (1) WO2017056632A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114173288A (zh) * 2019-04-17 2022-03-11 苹果公司 用于跟踪和查找物品的用户界面
CN114637418A (zh) 2019-04-28 2022-06-17 苹果公司 生成与对象相关联的触觉输出序列
CN110455304A (zh) * 2019-08-05 2019-11-15 深圳市大拿科技有限公司 车辆导航方法、装置及系统
CN116261708A (zh) 2020-09-25 2023-06-13 苹果公司 用于跟踪和查找物品的用户界面
CN112423084B (zh) 2020-11-11 2022-11-01 北京字跳网络技术有限公司 热点榜单的显示方法、装置、电子设备和存储介质

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3393143B2 (ja) * 1997-02-26 2003-04-07 三菱電機株式会社 ビデオデータ配信方法、ビデオデータ配信システム、並びに、そのビデオデータ配信方法
JP2003345909A (ja) * 2002-05-28 2003-12-05 Tokio Deguchi 学業指導方法および学業指導システム
JP2004222254A (ja) 2002-12-27 2004-08-05 Canon Inc 画像処理システム、方法及びプログラム
US20040254982A1 (en) * 2003-06-12 2004-12-16 Hoffman Robert G. Receiving system for video conferencing system
JP2005222254A (ja) 2004-02-04 2005-08-18 Haisaabu Ueno:Kk キャッシュレジスタ装置
JP4926400B2 (ja) 2004-12-27 2012-05-09 京セラ株式会社 移動カメラシステム
JP5245257B2 (ja) 2006-11-22 2013-07-24 ソニー株式会社 画像表示システム、表示装置、表示方法
EP2120458A4 (en) * 2007-04-17 2012-06-27 Panasonic Corp CONTROLLER CONTROL SYSTEM
CN101163160B (zh) * 2007-11-05 2011-04-06 中兴通讯股份有限公司 网络电视系统中融合多方网络游戏业务的方法及系统
US10875182B2 (en) * 2008-03-20 2020-12-29 Teladoc Health, Inc. Remote presence system mounted to operating room hardware
US10808882B2 (en) * 2010-05-26 2020-10-20 Intouch Technologies, Inc. Tele-robotic system with a robot face placed on a chair
JP2012133534A (ja) * 2010-12-21 2012-07-12 Mitsubishi Electric Corp 遠隔作業支援システム、遠隔作業支援端末及び遠隔作業支援方法
JP5750935B2 (ja) 2011-02-24 2015-07-22 富士ゼロックス株式会社 情報処理システム、情報処理装置、サーバ装置およびプログラム
WO2012127799A1 (ja) * 2011-03-23 2012-09-27 パナソニック株式会社 通信サーバ、通信方法、記録媒体、および、集積回路
US20130027561A1 (en) * 2011-07-29 2013-01-31 Panasonic Corporation System and method for improving site operations by detecting abnormalities
US8761933B2 (en) 2011-08-02 2014-06-24 Microsoft Corporation Finding a called party
US20130249947A1 (en) * 2011-08-26 2013-09-26 Reincloud Corporation Communication using augmented reality
JP5741358B2 (ja) 2011-10-04 2015-07-01 トヨタ自動車株式会社 樹脂成形部品及び製造方法
JP5114807B1 (ja) 2011-10-04 2013-01-09 株式会社新盛インダストリーズ プリンター
JP2013078893A (ja) 2011-10-04 2013-05-02 Canon Inc 記録装置および記録方法
JP2013191464A (ja) 2012-03-14 2013-09-26 Sharp Corp 有機エレクトロルミネッセンス素子及びその製造方法、液晶表示装置。
JP5334145B1 (ja) * 2012-06-29 2013-11-06 トーヨーカネツソリューションズ株式会社 物品のピッキング作業の支援システム
JP2014104185A (ja) 2012-11-28 2014-06-09 Sony Corp 運動補助装置及び運動補助方法
US20160132046A1 (en) * 2013-03-15 2016-05-12 Fisher-Rosemount Systems, Inc. Method and apparatus for controlling a process plant with wearable mobile control devices
US9699500B2 (en) * 2013-12-13 2017-07-04 Qualcomm Incorporated Session management and control procedures for supporting multiple groups of sink devices in a peer-to-peer wireless display system
KR102159353B1 (ko) * 2014-04-24 2020-09-23 현대모비스 주식회사 어라운드 뷰 시스템의 동작방법
US9818225B2 (en) * 2014-09-30 2017-11-14 Sony Interactive Entertainment Inc. Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space
US10187692B2 (en) * 2014-12-15 2019-01-22 Rovi Guides, Inc. Methods and systems for distributing media guidance among multiple devices
CN104657099B (zh) * 2015-01-15 2019-04-12 小米科技有限责任公司 屏幕投射方法、装置及系统
US9690103B2 (en) * 2015-02-16 2017-06-27 Philip Lyren Display an image during a communication
US9298283B1 (en) * 2015-09-10 2016-03-29 Connectivity Labs Inc. Sedentary virtual reality method and systems
KR101844885B1 (ko) * 2016-07-11 2018-05-18 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
US11062243B2 (en) * 2017-07-25 2021-07-13 Bank Of America Corporation Activity integration associated with resource sharing management application
KR102188721B1 (ko) 2020-04-27 2020-12-08 현대모비스 주식회사 탑-뷰 영상 생성 장치 및 그 방법

Also Published As

Publication number Publication date
KR20180063040A (ko) 2018-06-11
EP3358837A4 (en) 2019-07-31
CN108141565A (zh) 2018-06-08
EP3358837A1 (en) 2018-08-08
US20180278888A1 (en) 2018-09-27
US10771739B2 (en) 2020-09-08
US20190238793A1 (en) 2019-08-01
WO2017056632A1 (ja) 2017-04-06
KR102512855B1 (ko) 2023-03-23

Similar Documents

Publication Publication Date Title
CN110954083B (zh) 移动设备的定位
US10771739B2 (en) Information processing device and information processing method
JP6822413B2 (ja) サーバ装置及び情報処理方法、並びにコンピュータ・プログラム
Kurata et al. Remote collaboration using a shoulder-worn active camera/laser
US20160188585A1 (en) Technologies for shared augmented reality presentations
CN109219955A (zh) 视频按入
JP6822410B2 (ja) 情報処理システム及び情報処理方法
WO2012081194A1 (ja) 医療支援装置、医療支援方法および医療支援システム
TW201708883A (zh) 電子系統、可攜式顯示裝置及導引裝置
US20190377474A1 (en) Systems and methods for a mixed reality user interface
CN108293073B (zh) 沉浸式临场感
WO2017064926A1 (ja) 情報処理装置及び情報処理方法
US20210074014A1 (en) Positional synchronization of virtual and physical cameras
US20230351644A1 (en) Method and device for presenting synthesized reality companion content
JP6919568B2 (ja) 情報端末装置及びその制御方法、情報処理装置及びその制御方法、並びにコンピュータ・プログラム
JP6999538B2 (ja) 情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置
WO2017068928A1 (ja) 情報処理装置及びその制御方法、並びにコンピュータ・プログラム
US20240095877A1 (en) System and method for providing spatiotemporal visual guidance within 360-degree video
US20240078768A1 (en) System and method for learning and recognizing object-centered routines

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190612

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20200525