JP2024039702A - 情報処理システム - Google Patents
情報処理システム Download PDFInfo
- Publication number
- JP2024039702A JP2024039702A JP2022144266A JP2022144266A JP2024039702A JP 2024039702 A JP2024039702 A JP 2024039702A JP 2022144266 A JP2022144266 A JP 2022144266A JP 2022144266 A JP2022144266 A JP 2022144266A JP 2024039702 A JP2024039702 A JP 2024039702A
- Authority
- JP
- Japan
- Prior art keywords
- image
- communication device
- user
- processing system
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 33
- 238000004891 communication Methods 0.000 claims abstract description 88
- 238000001514 detection method Methods 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 description 20
- 230000033001 locomotion Effects 0.000 description 9
- 238000000034 method Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000004807 localization Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
- B60R11/0217—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for loud-speakers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
- B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Mechanical Engineering (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Optics & Photonics (AREA)
- Ophthalmology & Optometry (AREA)
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
【課題】移動体とは異なる場所にいる利用者に対して移動体の外の景色を見え易くすることができる情報処理システムを提供すること。【解決手段】乗員が搭乗する移動体に搭載される第1装置と、移動体とは異なる場所で利用者によって利用される第2装置と、を備える情報処理システムであって、第1装置は、第2装置の第2通信装置と通信する第1通信装置と、移動体の内部および外部を撮像可能なカメラユニットとを有し、第2装置は、第1通信装置と通信する第2通信装置と、画像を表示する表示装置と、カメラユニットが撮像した移動体の所定の内装を含む画像を表示装置に表示させる第1モードと、カメラユニットが撮像した画像における所定の内装の領域を移動体の外部の画像に置き換えた置換画像を表示装置に表示させる第2モードとを、利用者の操作に応じて切り替える第2制御装置とを有する、情報処理システム。【選択図】図1
Description
本発明は、情報処理システムに関する。
従来、車両等の移動体に搭載された装置と、移動体とは別の場所で使用される装置との間で通信を行い、車外風景の画像等を共有することについて研究が進められている(特許文献1)。
従来の技術では、移動体とは異なる場所にいる利用者にとって、移動体に設けられた内装の影響で移動体の外の景色が見え難くなる場合があった。
本発明は、このような事情を考慮してなされたものであり、移動体とは異なる場所にいる利用者に対して移動体の外の景色を見え易くすることができる情報処理システムを提供することを目的の一つとする。
この発明に係る情報処理システムは、以下の構成を採用した。
(1):この発明の一態様に係る情報処理システムは、乗員が搭乗する移動体に搭載される第1装置と、前記移動体とは異なる場所で利用者によって利用される第2装置と、を備える情報処理システムであって、前記第1装置は、前記第2装置の第2通信装置と通信する第1通信装置と、前記移動体の所定の座席上に設けられた室内カメラを少なくとも含み、前記移動体の内部および外部を撮像可能なカメラユニットと、を有し、前記第2装置は、前記第1通信装置と通信する前記第2通信装置と、前記カメラユニットが撮像した画像を表示する表示装置と、前記カメラユニットが撮像した前記移動体の所定の内装を含む画像を前記表示装置に表示させる第1モードと、前記カメラユニットが撮像した画像における前記所定の内装の領域を、前記カメラユニットが撮像した前記移動体の外部の画像に置き換えた置換画像を前記表示装置に表示させる第2モードとを、前記利用者の操作に応じて切り替える第2制御装置と、を有するものである。
(1):この発明の一態様に係る情報処理システムは、乗員が搭乗する移動体に搭載される第1装置と、前記移動体とは異なる場所で利用者によって利用される第2装置と、を備える情報処理システムであって、前記第1装置は、前記第2装置の第2通信装置と通信する第1通信装置と、前記移動体の所定の座席上に設けられた室内カメラを少なくとも含み、前記移動体の内部および外部を撮像可能なカメラユニットと、を有し、前記第2装置は、前記第1通信装置と通信する前記第2通信装置と、前記カメラユニットが撮像した画像を表示する表示装置と、前記カメラユニットが撮像した前記移動体の所定の内装を含む画像を前記表示装置に表示させる第1モードと、前記カメラユニットが撮像した画像における前記所定の内装の領域を、前記カメラユニットが撮像した前記移動体の外部の画像に置き換えた置換画像を前記表示装置に表示させる第2モードとを、前記利用者の操作に応じて切り替える第2制御装置と、を有するものである。
(2):上記(1)の態様において、前記第2制御装置は、前記移動体の走行状態に基づいて、前記第1モードまたは前記第2モードのいずれかを推奨するものである。
(3):上記(2)の態様において、前記第2制御装置は、前記カメラユニットが撮像した前記移動体の外部の風景の画像に基づいて、前記第1モードまたは前記第2モードのいずれかを推奨するものである。
(4):上記(2)の態様において、前記第2制御装置は、前記移動体が車庫入れを行っているか否かに応じて、前記第1モードまたは前記第2モードのいずれかを推奨するものである。
(5):上記(2)の態様において、前記第2制御装置は、前記移動体に他の移動体が近づいているか否かに応じて、前記第1モードまたは前記第2モードのいずれかを推奨するものである。
(6):上記(1)の態様において、前記カメラユニットは、前記移動体の外部に設けられた室外カメラを更に有し、前記表示装置は、前記第2モードにおいて、前記室内カメラが撮像した画像における前記所定の内装の領域を、前記室外カメラが撮像した前記移動体の外部の画像に置き換えた前記置換画像を表示するものである。
(7):上記(1)の態様において、前記第1装置は、前記第1通信装置を介して取得された、前記利用者の発した音声を出力する第1スピーカと、前記乗員の発した音声を収集する第1マイクと、を更に有し、前記第2装置は、前記第2通信装置を介して取得された、前記乗員の発した音声を出力する第2スピーカと、前記利用者の発した音声を収集する第2マイクと、を更に有し、前記第1通信装置は、前記第1マイクが収集した音声を前記第2通信装置に送信し、前記第2通信装置は、前記第2マイクが収集した音声を前記第1通信装置に送信するものである。
(8):上記(1)の態様において、前記第2装置は、前記利用者の指向方向を検知するための検知装置を更に有し、前記表示装置は、前記カメラユニットが撮像した画像のうち、前記所定の座席から見た前記指向方向に対応する画像を表示するものである。
(9):上記(8)の態様において、前記第2通信装置は、前記指向方向の情報を前記第1通信装置に送信し、前記第1装置は、前記カメラユニットが撮像した画像のうち、前記第1通信装置を介して取得される前記指向方向に対応する画像を選択的に前記第2通信装置に送信するように、前記第1通信装置を制御する第1制御装置を更に有し、前記第2装置の前記表示装置は、前記第2通信装置を介して取得される、前記所定の座席から見て前記指向方向に対応する画像を表示するものである。
(10):上記(8)の態様において、前記第1通信装置は、前記カメラユニットが撮像した画像を前記第2通信装置に送信し、前記第2制御装置は、前記カメラユニットが撮像した画像のうち前記指向方向に対応する画像を選択的に前記表示装置に表示させるものである。
(11):上記(8)の態様において、前記表示装置は、VR(Virtual Reality)ゴーグルの表示装置であり、前記検知装置は、前記VRゴーグルに取り付けられた物理センサを含むものである。
(12):上記(1)の態様において、前記移動体は車両であり、前記所定の内装は、前記車両に設けられたピラーまたはルーフであるものである。
(13):上記(1)の態様において、前記表示装置は、前記カメラユニットが撮像した画像のうち前記移動体の室内の所定物品を写した部分を、コンピュータ処理によって描画された画像に置換して表示するものである。
(1)~(13)の態様によれば、移動体とは異なる場所にいる利用者に対して移動体の外の景色を見え易くすることができる。
以下、図面を参照し、本発明の情報処理システムの実施形態について説明する。情報処理システムは、乗員が搭乗する移動体に搭載される第1装置と、移動体とは異なる場所で利用者によって利用される第2装置と、を含む。移動体とは例えば車両であるが、乗員が搭乗可能なものであれば如何なる移動体でも構わない。また乗員は主に移動体の運転者であるが、運転者以外の乗員であっても構わない。
第1装置と第2装置の間では、マイクによって収集された音声が相手側に送信されてスピーカによって再生されることで電話通話を行っているような状態になり、更に、第1装置のカメラユニットにより撮像された画像の一部が第2装置によって表示されることで、第2装置側にMR(Mixed Reality)が提供される。第1装置と第2装置は一対一の関係である必要は無く、複数の第1装置のうち一つと、複数の第2装置とが一対多の関係でマッチングされることで、情報処理システムとして動作してよい。後者の場合、例えば一人の乗員を複数の利用者と同時に、或いは順番にコミュニケートさせることができる。
<基本構成>
図1は、情報処理システム1と管理サーバ300の使用環境等を示す図である。情報処理システム1は、移動体Mに搭載された第1装置(移動体装置)100と、移動体Mとは異なる場所(たまたま近い場所であることは排除されない)で利用者Uによって利用される第2装置(利用者装置)200とを含む。第1装置100、第2装置200、および管理サーバ300のそれぞれは、ネットワークNWを介して互いに通信する。情報処理システム1は、管理サーバ300を含んでもよいし、含まなくてもよい。
図1は、情報処理システム1と管理サーバ300の使用環境等を示す図である。情報処理システム1は、移動体Mに搭載された第1装置(移動体装置)100と、移動体Mとは異なる場所(たまたま近い場所であることは排除されない)で利用者Uによって利用される第2装置(利用者装置)200とを含む。第1装置100、第2装置200、および管理サーバ300のそれぞれは、ネットワークNWを介して互いに通信する。情報処理システム1は、管理サーバ300を含んでもよいし、含まなくてもよい。
管理サーバ300は、例えば、通信装置310、マッチング処理部320、および記憶部350を備える。記憶部350には、ユーザデータ360が格納されている。
通信装置310は、ネットワークNWに接続するための通信インターフェースである。なお、通信装置310と第1装置100の間の通信、および通信装置310と第2装置200の間の通信は、例えばTCP/IP(Transmission Control Protocol / Internet Protocol)に即して行われる。
マッチング処理部320は、例えばCPU(Central Processing Unit)等のプロセッサが、記憶媒体に格納されたプログラム(命令群)を実行することで実現される。記憶部350は、RAM(Random Access Memory)やHDD(Hard Disk Drive)、フラッシュメモリなどである。
図2は、ユーザデータ360の内容の一例を示す図である。ユーザデータ360は、例えば、乗員Pの識別情報である乗員ID、その通信識別情報(IPアドレス等)、およびマッチング対象となる利用者Uの識別情報である利用者IDが互いに対応付けられた乗員リスト360Aと、利用者ID、その通信識別情報(IPアドレス等)、およびマッチング対象となる乗員Pが互いに対応付けられた利用者リスト360Bとを含む。ユーザデータ360は、これらの情報を包含するものであれば、図2に示す態様に限らず如何なる態様で生成されてもよい。
マッチング処理部320は、利用者Uから第2装置200を介して、或いは乗員Pから第1装置100を介してマッチングリクエストを通信装置310が受信した場合、ユーザデータ360を参照してマッチング利用者Uと乗員Pのマッチングを行い、マッチングした利用者Uの第2装置200に乗員Pの第1装置100の通信識別情報を、マッチングした乗員Pの第1装置100に利用者Uの第2装置200の通信識別情報を、通信装置310を用いてそれぞれ送信する。これらを受信した第1装置100と第2装置200の間では、例えばUDP(User Datagram Protocol)に即した、よりリアルタイム性の高い通信が行われる。
図3は、第1装置100の構成図である。第1装置100は、例えば、第1通信装置110と、第1マイク120と、カメラユニット130と、第1スピーカ140と、利用者表示装置150と、HMI(Human machine Interface)160と、第1制御装置170とを含む。第1制御装置170は、移動体Mに搭載された制御対象機器190に接続される。
第1通信装置110は、管理サーバ300の通信装置310、および第2装置200の第2通信装置210のそれぞれとネットワークNWを介して通信するための通信インターフェースである。
第1マイク120は、少なくとも乗員Pの発した音声を収集する。第1マイク120は、移動体Mの室内に設けられ、移動体Mの外部の音声も収集可能な感度を有するものでもよいし、移動体Mの室内に設けられたマイクと移動体Mの外部に設けられたマイクとを含んでもよい。第1マイク120の収集した音声は、例えば、第1制御装置170を経由して、第1通信装置110によって第2通信装置210に送信される。
カメラユニット130は、少なくとも室内カメラ132を含み、室外カメラ134を含んでもよい。第1スピーカ140は、第1通信装置110を介して取得された、利用者Uの発した音声を出力する。カメラユニット130、および第1スピーカ140の配置等の詳細については、後に図4を参照して説明する。
利用者表示装置150は、利用者Uが移動体Mの室内に存在するかのように仮想的に利用者Uを表示する。例えば、利用者表示装置150は、ホログラムを出現させたり、移動体Mのミラーやウインドウに相当する部分に利用者Uを表示する。
HMI160は、タッチパネルや音声応答装置(エージェント装置)等である。HMI160は、第1装置100に対する乗員Pの各種指示を受け付ける。
第1制御装置170は、例えばCPU等のプロセッサと、プロセッサに接続され、プログラム(命令群)を格納した記憶媒体とを含み、プロセッサが命令群を実行することで第1装置100の各部を制御する。
制御対象機器190は、例えば、移動体Mに搭載されたナビゲーション装置、運転支援装置などである。
図4は、移動体Mにおける第1装置100の一部の配置例を示す図である。室内カメラ132は、例えば、アタッチメント132Aを介して助手席S2(「所定の座席」の一例)のネックピローに取り付けられ、助手席S2のバックレストから若干、移動体Mの進行方向側に乖離した位置に設けられる。室内カメラ132は、広角レンズを有し、図中のハッチングされた領域132Bで表される範囲を撮像可能である。室内カメラ132は、移動体Mの室内だけでなく、ウインドウを介して室外も撮影可能である。以下の説明では助手席S2が所定の座席であるものとするが、所定の座席は後部座席などの他の座席であってもよい。
室外カメラ134は、例えば、複数の子室外カメラ134-1~134-4を含む。複数の子室外カメラ134-1~134-4の撮像した画像を合成することで、移動体Mの外部を撮像したパノラマ画像のような画像が得られる。室外カメラ134は、これらに代えて(或いは、加えて)、移動体Mのルーフ上に設けられた広角カメラを含んでもよい。なお室内カメラ132として、助手席S2の後方を撮像可能なカメラが追加されてもよく、後述する移動体画像は、第1制御装置170により、一以上の室内カメラ132の撮像した画像を結合して360度のパノラマ画像として生成されてもよいし、室内カメラ132の撮像した画像と室外カメラ134の撮像した画像を適宜結合して360度のパノラマ画像として生成されてもよい。
第1スピーカ140は、第1通信装置110を介して取得された利用者Uの音声を出力する。第1スピーカ140は、例えば、複数の子第1スピーカ140-1~140-5を含む。例えば、子第1スピーカ140-1はインストルメントパネル中央部に、子第1スピーカ140-2はインストルメントパネル左端部に、子第1スピーカ140-3はインストルメントパネル右端部に、子第1スピーカ140-4は左側ドア下部に、子第1スピーカ140-5は右側ドア下部に、それぞれ配置される。第1制御装置170は、利用者Uの音声を第1スピーカ140に出力させる場合、例えば、子第1スピーカ140-2および子第1スピーカ140-4から同程度のボリュームで音声を出力させ、その他の子第1スピーカをオフにすることで、運転席S1に着座した乗員Pに対して、助手席S2から音声が聞こえるように音像定位させる。また、音像定位の方法はボリュームの調整に限らず、それぞれの子第1スピーカが出力する音の位相をずらすことで行われてもよい。例えば、左側から聞こえるように音像定位させる場合、左側の子第1スピーカから音を出力させるタイミングを、右側の子第1スピーカから同じ音を出力させるタイミングよりもわずかに早くすればよい。
また、第1制御装置170は、利用者Uの音声を第1スピーカ140に出力させる場合、乗員Pに対して、助手席S2上の利用者Uの頭部の高さに応じた高さの位置から音声が聞こえるように音像定位させて、第1スピーカ140に利用者Uの発した音声を出力させてもよい。この場合、第1スピーカ140は高さの異なる複数の子第1スピーカ140-k(kは複数の自然数)を有する必要がある。
図5は、第2装置200の構成図である。第2装置200は、例えば、第2通信装置210と、第2マイク220と、検知装置230と、第2スピーカ240と、移動体画像表示装置250と、HMI260と、第2制御装置270とを含む。検知装置230は、例えば、指向方向検知装置232と、頭部位置検知装置234と、モーションセンサ236とを含む。
第2通信装置210は、管理サーバ300の通信装置310、および第1装置100の第1通信装置110のそれぞれとネットワークNWを介して通信するための通信インターフェースである。
第2マイク220は、利用者Uの発した音声を収集する。第2マイク220の収集した音声は、例えば、第2制御装置270を経由して、第2通信装置210によって第1通信装置110に送信される。
指向方向検知装置232は、指向方向を検知するための装置である。指向方向とは、利用者Uの顔向きまたは視線の向き、或いはそれらの双方に基づく向きである。或いは、利用者Uが使用する端末装置を傾ける動作や画面をスワイプする動作などのように、腕や指の動きによって指し示される向きであってもよい。以下では指向方向は、水平面内での角度、つまり上下方向の成分を有さない角度であるものとするが、指向方向は、上下方向の成分も含む角度であってもよい。指向方向検知装置232は、後述するVR(Virtual Reality)ゴーグルに取り付けられた物理センサ(例えば、加速度センサ、ジャイロセンサなど)を含んでもよいし、利用者Uの頭部の複数の位置を検出する赤外線センサ、或いは利用者Uの頭部を撮像するカメラであってもよい。いずれの場合も第2制御装置270は、指向方向検知装置232から入力された情報に基づいて指向方向を算出する。これについて種々の技術が公知となっているため詳細な説明を省略する。
頭部位置検知装置234は、利用者Uの頭部の位置(高さ)を検知するための装置である。例えば、利用者Uが着座する椅子の周囲に設けられた一以上の赤外線センサ、或いは光学センサが頭部位置検知装置234として用いられる。この場合、第2制御装置270は、一以上の赤外線センサ、或いは光学センサによる検出信号の有無に基づいて利用者Uの頭部の位置を検知する。また、頭部位置検知装置234は、VRゴーグルに取り付けられた加速度センサでもよい。この場合、第2制御装置270は、加速度センサの出力から重力加速度を差し引いたものを積分することで利用者Uの頭部の位置を検知する。このように取得される頭部の位置の情報は、高さ情報として第2制御装置270に提供される。利用者の頭部の位置は、HMI260に対する利用者Uの操作に基づいて取得されてもよい。例えば、利用者Uは身長を数字でHMI260に入力してもよいし、HMI260に含まれるダイヤルスイッチを用いて身長を入力してもよい。これらの場合、身長から頭部の位置すなわち高さ情報が計算される。また、利用者Uは、連続値ではなく体格:大/中/小といった離散値をHMI260に入力してもよい。この場合、体格を示す情報に基づいて高さ情報が取得される。また、利用者の頭部の高さを特段、取得せず、一般的な成人の体格(男女別であってよい)に基づいて簡易的に利用者Uの頭部の高さが取得されてもよい。
モーションセンサ236は、利用者Uが行うジェスチャー操作を認識するための装置である。例えば、利用者Uの上半身を撮像するカメラがモーションセンサ236として用いられる。この場合、第2制御装置270は、カメラが撮像した画像から利用者Uの身体の特徴点(指先、手首、肘など)を抽出し、特徴点の動きに基づいて利用者Uのジェスチャー操作を認識する。
第2スピーカ240は、第2通信装置210を介して取得された、乗員Pの発した音声を出力する。第2スピーカ240は、例えば音声の聞こえる方向を変更する機能を有する。第2制御装置270は、利用者Uに対して、助手席S2からみた乗員Pの位置から音声が聞こえるように、第2スピーカに音声を出力させる。第2スピーカ240は、複数の子第2スピーカ240-n(nは複数の自然数)を含み、第2制御装置270がそれぞれの子第2スピーカ240-nのボリュームを調整することで音像定位がなされてもよいし、VRゴーグルにヘッドホンが付随している場合はヘッドホンの機能を利用して音像定位がなされてもよい。
移動体画像表示装置250は、カメラユニット130が撮像した画像(前述した結合処理が行われた画像であってもよく、以下では移動体画像と称する)のうち、助手席から見た指向方向に対応する画像を表示する。図6は、指向方向に対応する画像について説明するための図である。この図の例では、VRゴーグル255に指向方向検知装置232、頭部位置検知装置234としての物理センサ、および移動体画像表示装置250が含まれている。第2制御装置270は、予めキャリブレーションされた方向を基準方向としてVRゴーグル255の向く方向を指向方向φとして検知する。係る機能については既に種々の手法が公知となっているため詳細な説明を省略する。
移動体画像表示装置250は、移動体画像A1(図では240度程度の角度を有するが、前述したように結合処理によって画角が拡張されてもよい)のうち、指向方向φを中心としたプラスマイナスαの角度範囲の画像A2を利用者Uに向けて表示する。
HMI260は、タッチパネルや音声応答装置(エージェント装置)、或いは上記したスイッチ等である。HMI260は、第2装置200に対する利用者Uの各種指示を受け付ける。
第2制御装置270は、例えば、例えばCPU等のプロセッサと、プロセッサに接続され、プログラム(命令群)を格納した記憶媒体とを含み、プロセッサが命令群を実行することで第2装置200の各部を制御する。
<機能構成>
以下、第1制御装置170と第2制御装置270の機能構成について説明する。
[第1例]
図7は、第1制御装置170と第2制御装置270の機能構成の第1例を示す図である。第1例において、第1制御装置170は、マッチングリクエスト/承諾部171と、音声出力制御部172と、画像送信部173と、搭載機器連携部174とを含む。第2制御装置270は、マッチングリクエスト/承諾部271と、音声出力制御部272と、指向方向検知部273と、頭部位置検知部274と、ジェスチャー入力検知部275と、画像編集部276と、移動体画像表示制御部277とを含む。これらの機能部は、例えば、CPUなどのプロセッサがプログラム(命令群)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)などのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。
以下、第1制御装置170と第2制御装置270の機能構成について説明する。
[第1例]
図7は、第1制御装置170と第2制御装置270の機能構成の第1例を示す図である。第1例において、第1制御装置170は、マッチングリクエスト/承諾部171と、音声出力制御部172と、画像送信部173と、搭載機器連携部174とを含む。第2制御装置270は、マッチングリクエスト/承諾部271と、音声出力制御部272と、指向方向検知部273と、頭部位置検知部274と、ジェスチャー入力検知部275と、画像編集部276と、移動体画像表示制御部277とを含む。これらの機能部は、例えば、CPUなどのプロセッサがプログラム(命令群)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)などのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。
マッチングリクエスト/承諾部171は、HMI160を用いて乗員Pからのマッチングリクエストの入力を受け付け、管理サーバ300に送信したり、HMI160を用いて管理サーバ300から受信したマッチングリクエストに対する承諾の入力を受け付け、管理サーバ300に送信したりする。マッチングリクエスト/承諾部171は、マッチングが成立した利用者Uの第2装置200を通信相手とするように第1通信装置110を制御する。
音声出力制御部172は、前述したように第1スピーカ140を制御する。
画像送信部173は、第1通信装置110を用いて、第2装置200に移動体画像A1を送信する。
搭載機器連携部174は、第2装置200から入力された指示信号に基づいて、制御対象機器190を制御する。
マッチングリクエスト/承諾部271は、HMI260を用いて利用者Uからのマッチングリクエストの入力を受け付け、管理サーバ300に送信したり、HMI260を用いて管理サーバ300から受信したマッチングリクエストに対する承諾の入力を受け付け、管理サーバ300に送信したりする。マッチングリクエスト/承諾部271は、マッチングが成立した乗員Pの第1装置100を通信相手とするように第2通信装置210を制御する。
音声出力制御部272は、前述したように第2スピーカ240を制御する。
指向方向検知部273は、指向方向検知装置232の出力に基づいて、指向方向φを検知する。頭部位置検知部274は、頭部位置検知装置234の出力に基づいて、利用者Uの頭部位置を検知する。頭部位置は、三次元の座標として表されてもよいし、単に頭部の高さが頭部位置として検知されてもよい。ジェスチャー入力検知部275は、モーションセンサ236の出力に基づいて、利用者Uのジェスチャー入力を検知する。
画像編集部276は、移動体画像A1から、助手席から見た指向方向φに対応する画像A2を切り出す処理を行う(図6)。移動体画像表示制御部277は、画像編集部276によって切り出された画像A2を、移動体画像表示装置250に表示させる。このとき、画像編集部276は、利用者Uの頭部の高さ情報が示す高さから見た指向方向φに対応する画像を移動体画像表示装置250に表示させてもよい。
[第2例]
図8は、第1制御装置170と第2制御装置270の機能構成の第2例を示す図である。図7の第1例と比較すると、第1制御装置170が画像編集部175を含み、第2制御装置270が画像編集部276を含まず指向方向送信部278を含む点で相違する。その他の構成要素に関しては基本的に第1例と同じ機能を有するため再度の説明を省略する。
図8は、第1制御装置170と第2制御装置270の機能構成の第2例を示す図である。図7の第1例と比較すると、第1制御装置170が画像編集部175を含み、第2制御装置270が画像編集部276を含まず指向方向送信部278を含む点で相違する。その他の構成要素に関しては基本的に第1例と同じ機能を有するため再度の説明を省略する。
指向方向送信部278は、指向方向検知部273が検知した指向方向φを、第2通信装置210を用いて第1装置100に送信する。
画像編集部175は、移動体画像A1から、助手席から見た指向方向φ(第2装置200から送信されてきたもの)に対応する画像A2を切り出す処理を行う(図6)。このとき、画像編集部175は、利用者Uの頭部の高さ情報を第2装置200から取得しておき、高さ情報が示す高さから見た指向方向φに対応する画像A2を切り出す処理を行ってもよい。
第2例における画像送信部173は、第1通信装置110を用いて、第2装置200に、画像編集部175によって切り出された画像A2を送信する。そして、移動体画像表示制御部277は、第1装置100から送信されてきた画像A2を移動体画像表示装置250に表示させる。
<通常モード>
図9は、通常モードにおける画像A2の一例を示す図である。通常モード(第1モード)は、カメラユニット130が撮影した移動体Mの所定の内装を含む画像A2を表示するモードである。画像A2は、移動体画像表示装置250に表示される。前述したように、画像A2は、移動体画像A1から切り出された画像であって、助手席から見た指向方向φに対応する画像である。
図9は、通常モードにおける画像A2の一例を示す図である。通常モード(第1モード)は、カメラユニット130が撮影した移動体Mの所定の内装を含む画像A2を表示するモードである。画像A2は、移動体画像表示装置250に表示される。前述したように、画像A2は、移動体画像A1から切り出された画像であって、助手席から見た指向方向φに対応する画像である。
図9に示される例では、画像A2には、移動体Mに設けられた所定の内装としてのピラー10の画像が含まれている。ピラー10は、移動体Mのボディとルーフとを繋ぐ柱状の内装である。ここでは、ピラー10の一例として移動体Mの前方に設けられたフロントピラーについて説明するが、ピラー10は移動体Mの後方に設けられたリアピラーであってもよい。
図9に示されるように、ピラー10によって移動体Mの外の景色が遮られてしまうため、利用者Uにとって移動体Mの外の景色が見え難い。そこで、本実施形態においてはピラー10などの移動体Mの内装を透過させて移動体Mの外の景色を見えるようにする透過モードを利用者Uが選択可能となっている。
具体的に、利用者Uは、画像A2に含まれる透過モードアイコン11を選択することで、通常モードから透過モードに切り替えることができる。例えば、第2制御装置270のジェスチャー入力検知部275は、モーションセンサ236の出力に基づいて、利用者Uが透過モードアイコン11を指で選択するジェスチャーを行ったことを検知してよい。第2制御装置270は、透過モードアイコン11が選択されたことをジェスチャー入力検知部275が検知した場合に、通常モードから透過モードに切り替えてよい。
<透過モード>
図10は、透過モードにおける置換画像A3の一例を示す図である。透過モード(第2モード)は、カメラユニット130が撮影した画像A2における所定の内装(例えば、ピラー10)の領域を、カメラユニット130が撮像した移動体Mの外部の画像に置き換えた置換画像A3を表示するモードである。置換画像A3は、移動体画像表示装置250に表示される。
図10は、透過モードにおける置換画像A3の一例を示す図である。透過モード(第2モード)は、カメラユニット130が撮影した画像A2における所定の内装(例えば、ピラー10)の領域を、カメラユニット130が撮像した移動体Mの外部の画像に置き換えた置換画像A3を表示するモードである。置換画像A3は、移動体画像表示装置250に表示される。
図10に示されるように、ピラー10の領域がカメラユニット130によって撮像された移動体Mの外部の画像に置き換えられることで、利用者Uにとって移動体Mの外の景色が見え易くなる。移動体Mの外部の画像は、室外カメラ134によって撮像された画像であってよい。この場合、移動体画像表示装置250は、透過モードにおいて、室内カメラ132が撮像した画像A2におけるピラー10の領域を、室外カメラ134が撮像した移動体Mの外部の画像に置き換えた置換画像A3を表示するようにしてもよい。
例えば、前述の第1例の場合、置換画像A3は画像編集部276によって生成される。具体的に、第1制御装置170の画像送信部173は、第1通信装置110を用いて、移動体画像A1および移動体Mの外部の画像を第2装置200に送信する。第2制御装置270の画像編集部276は、移動体画像A1から、助手席から見た指向方向φに対応する画像A2を切り出す処理を行い、画像A2におけるピラー10の領域を移動体Mの外部の画像に置き換えた置換画像A3を生成する。
一方、前述の第2例の場合、置換画像A3は画像編集部175によって生成される。具体的に、第1制御装置170の画像編集部175は、移動体画像A1から、助手席から見た指向方向φ(第2装置200から送信されてきたもの)に対応する画像A2を切り出す処理を行い、画像A2におけるピラー10の領域を移動体Mの外部の画像に置き換えた置換画像A3を生成する。画像送信部173は、第1通信装置110を用いて、画像編集部175によって生成された置換画像A3を第2装置200に送信する。
なお、移動体Mの所定の内装は、車両に設けられたピラー10であることとしたが、これに限らない。例えば、移動体Mの所定の内装はルーフであってもよい。この場合、移動体画像表示装置250は、透過モードにおいて、室内カメラ132が撮像した画像A2におけるルーフの領域を、ルーフ上に設けられた室外カメラ134が撮像した移動体Mの外部の画像に置き換えた置換画像A3を表示するようにしてもよい。これによって、利用者Uに対して移動体Mの外の景色をより見え易くすることができる。
また、室内カメラ132のみを用いてピラー10の領域における移動体Mの外部の画像を撮像できる場合には、室外カメラ134を用いなくてもよい。例えば、第1制御装置170は、室内カメラ132が連続的に撮影した画像A2を記憶装置に蓄積しておき、蓄積された過去の画像A2を用いてピラー10の領域における移動体Mの外部の画像を生成してもよい。この場合、移動体画像表示装置250は、透過モードにおいて、室内カメラ132が撮像した画像A2におけるピラー10の領域を、第1制御装置170が生成した移動体Mの外部の画像に置き換えた置換画像A3を表示するようにしてもよい。
また、利用者Uが移動体Mの窓から頭を外に出すように頭の位置を移動させた場合、第2制御装置270は、カメラユニット130が撮像した移動体Mの外部の画像を移動体画像表示装置250に表示させてもよい。また、利用者Uが立ち上がることによってルーフよりも上に頭を移動させた場合においても、カメラユニット130が撮像した移動体Mの外部の画像を移動体画像表示装置250に表示させてもよい。これによって、利用者Uに対して移動体Mの外の景色をより見え易くすることができる。
<モードの推奨処理>
次に、モードの推奨処理について説明する。第2制御装置270は、移動体Mの走行状態に基づいて、通常モード(第1モード)または透過モード(第2モード)のいずれかを推奨してもよい。例えば、第2制御装置270は、通常モードまたは透過モードのいずれか一方を推奨するメッセージを移動体画像表示装置250に表示させてもよいし、当該メッセージを第2スピーカ240から出力させてもよい。或いは、透過モードアイコン11をハイライト表示することで透過モードを推奨してもよい。
次に、モードの推奨処理について説明する。第2制御装置270は、移動体Mの走行状態に基づいて、通常モード(第1モード)または透過モード(第2モード)のいずれかを推奨してもよい。例えば、第2制御装置270は、通常モードまたは透過モードのいずれか一方を推奨するメッセージを移動体画像表示装置250に表示させてもよいし、当該メッセージを第2スピーカ240から出力させてもよい。或いは、透過モードアイコン11をハイライト表示することで透過モードを推奨してもよい。
例えば、第2制御装置270は、カメラユニット130が撮像した移動体Mの外部の風景の画像に基づいて、通常モードまたは透過モードのいずれかを推奨してもよい。具体的に、移動体Mが海沿いを走行している場合など、利用者Uが眺めの良い風景を見ることができる場合には、第2制御装置270は透過モードを推奨するようにしてもよい。この場合、第2制御装置270は、移動体Mの外部の風景の画像を入力とし、眺めの良い風景か否かを示す値を出力とする学習済みモデルを用いて、利用者Uが眺めの良い風景を見ることができるか否かを判定してもよい。学習済みモデルは、例えば、教師(正解)データを用いた機械学習(ニューラルネットワーク)や深層学習(ディープラーニング)などのAIによる機能を用いて生成されてよい。これによって、利用者Uに対し、眺めの良い風景を見易くすることができる。
また、例えば、第2制御装置270は、移動体Mが車庫入れを行っているか否かに応じて、通常モードまたは透過モードのいずれかを推奨してもよい。具体的には、第2制御装置270は、移動体Mが車庫入れを行っている場合には、透過モードを推奨するようにしてもよい。例えば、第2制御装置270は、HMI160を介した乗員Pからの指示に応じて移動体Mが車庫入れを行っているか否かを判定してもよいし、カメラユニット130が撮像した移動体Mの外部の画像に基づいて、移動体Mが車庫入れを行っているか否かを判定してもよい。これによって、利用者Uは、移動体Mの車庫入れの状況を容易に把握することができる。
また、例えば、第2制御装置270は、移動体Mに他の移動体が近づいているか否かに応じて、通常モードまたは透過モードのいずれかを推奨してもよい。具体的には、第2制御装置270は、緊急車両(救急車など)や自転車などの他の移動体が移動体Mに近づいている場合には、透過モードを推奨するようにしてもよい。例えば、第2制御装置270は、カメラユニット130が撮像した移動体Mの外部の画像に基づいて、移動体Mに他の移動体が近づいているか否かを判定してもよい。これによって、利用者Uは、移動体Mと他の移動体との位置関係を容易に把握することができる。
<その他>
情報処理システム1において、利用者Uが助手席S2から見た任意の方向を視認できるものとして説明したが、例えばマッチングの際の取り決めによって、利用者Uが視認可能な方向に制限が設けられてもよい。例えば、乗員Pの側で、移動体Mの進行方向の風景、あるいは運転席S1と反対側の風景は提供してもよいが、自身の姿は表示させたくない、といった要望が発生する場合がある。これは、乗員Pと利用者Uが、家族、友人といった関係になく、移動体Mのドライブフィーリングを確認したい、或いは所望の街の風景を視認したいといったニーズに応える場合を想定したものである。この場合、管理サーバ300のマッチング処理部320がマッチング処理を行う際に、そのような制限が設定され、第1制御装置170または第2制御装置270が設定に応じて、視認させない角度範囲をマスクしたり、或いは指向方向φが制限された方向に向かないように補正を行ったりする。また、このような制限に関する情報は、乗員Pのプライバシーに関するものであるため、第1装置100の側で設定されてもよい。
情報処理システム1において、利用者Uが助手席S2から見た任意の方向を視認できるものとして説明したが、例えばマッチングの際の取り決めによって、利用者Uが視認可能な方向に制限が設けられてもよい。例えば、乗員Pの側で、移動体Mの進行方向の風景、あるいは運転席S1と反対側の風景は提供してもよいが、自身の姿は表示させたくない、といった要望が発生する場合がある。これは、乗員Pと利用者Uが、家族、友人といった関係になく、移動体Mのドライブフィーリングを確認したい、或いは所望の街の風景を視認したいといったニーズに応える場合を想定したものである。この場合、管理サーバ300のマッチング処理部320がマッチング処理を行う際に、そのような制限が設定され、第1制御装置170または第2制御装置270が設定に応じて、視認させない角度範囲をマスクしたり、或いは指向方向φが制限された方向に向かないように補正を行ったりする。また、このような制限に関する情報は、乗員Pのプライバシーに関するものであるため、第1装置100の側で設定されてもよい。
また、移動体画像表示装置250は、カメラユニット130が撮像した画像のうち移動体Mの室内の所定物品を写した部分を、コンピュータ処理によって描画された画像(CG画像)に置換して表示してもよい。図11は、置換画像を表示することの一例を示す図である。図中、OBはナビゲーション表示等を行う表示装置であり、「所定物品」の一例である。表示装置の表示画面を撮像した画像をそのまま表示すると画像がボケたり光の反射で視認性が低下する場合がある。このため、移動体画像表示装置250は、係る表示装置の表示画面を構成するためのデータ、或いは移動体Mにおけるコンピュータ処理によって描画された画像データを第1装置から取得し、データからコンピュータ処理によって再描画した画像、或いは取得した画像データを、カメラユニット130が撮像した画像(を編集したもの)に埋め込んで表示してもよい。この場合、第1装置100と第2装置の間で所定物品となる移動体Mの室内の物品の位置について予め共有がされており、移動体画像表示制御部277は、移動体画像表示装置250に表示させる画像に所定物品が含まれるかどうかを例えば指向方向φに基づいて判定し、含まれると判定した場合に上記のように画像の置換を行う。また、「所定物品」は、乗員Pの頭部または顔であってもよい。その場合、乗員Pの表示に応じてアバター等のCG画像が変更されてもよい。
<まとめ>
以上のように構成される情報処理システム1は、乗員Pが搭乗する移動体Mに搭載される第1装置100と、移動体Mとは異なる場所で利用者Uによって利用される第2装置200とを備える。第1装置100は、第2装置200の第2通信装置210と通信する第1通信装置110と、移動体Mの所定の座席上に設けられた室内カメラ132を少なくとも含み、移動体Mの内部および外部を撮像可能なカメラユニット130と、を有する。第2装置200は、第1通信装置110と通信する第2通信装置210と、カメラユニット130が撮像した画像を表示する移動体画像表示装置250と、カメラユニット130が撮像した移動体Mの所定の内装(ピラー10など)を含む画像A2を移動体画像表示装置250に表示させる通常モード(第1モード)と、カメラユニット130が撮像した画像A2における所定の内装の領域を、カメラユニット130が撮像した移動体Mの外部の画像に置き換えた置換画像A3を移動体画像表示装置250に表示させる透過モード(第2モード)とを、利用者の操作に応じて切り替える第2制御装置270と、を有する。これによって、移動体Mとは異なる場所にいる利用者Uに対して移動体Mの外の景色を見え易くすることができる。
以上のように構成される情報処理システム1は、乗員Pが搭乗する移動体Mに搭載される第1装置100と、移動体Mとは異なる場所で利用者Uによって利用される第2装置200とを備える。第1装置100は、第2装置200の第2通信装置210と通信する第1通信装置110と、移動体Mの所定の座席上に設けられた室内カメラ132を少なくとも含み、移動体Mの内部および外部を撮像可能なカメラユニット130と、を有する。第2装置200は、第1通信装置110と通信する第2通信装置210と、カメラユニット130が撮像した画像を表示する移動体画像表示装置250と、カメラユニット130が撮像した移動体Mの所定の内装(ピラー10など)を含む画像A2を移動体画像表示装置250に表示させる通常モード(第1モード)と、カメラユニット130が撮像した画像A2における所定の内装の領域を、カメラユニット130が撮像した移動体Mの外部の画像に置き換えた置換画像A3を移動体画像表示装置250に表示させる透過モード(第2モード)とを、利用者の操作に応じて切り替える第2制御装置270と、を有する。これによって、移動体Mとは異なる場所にいる利用者Uに対して移動体Mの外の景色を見え易くすることができる。
<利用例>
情報処理システム1は、以下のような態様で利用可能である。
情報処理システム1は、以下のような態様で利用可能である。
(A)乗員Pと利用者Uが家族、友人などの関係にあり、バーチャルドライブを利用者Uに提供する態様。利用者Uは、画像を見ながら移動体Mの周囲の風景等について乗員Pと会話することができる。
(B)乗員Pが一般利用者、利用者Uが道案内サービス、運転指導サービスなどの提供者である態様。利用者Uは、移動体Mの周囲の風景を見ながらナビゲーション装置では分かりにくい、或いは地図に載っていないような場所における道案内を行ったり、運転操作の指導を行ったりすることができる。
(C)乗員Pが有名人、利用者Uが一般利用者であり、商業ベースのバーチャルドライブを利用者Uに提供する態様。この場合、一人の乗員Pに対して複数の利用者Uが同時に対応付けられ、例えば利用者Uの側からの音声の転送はオフに設定されてよい。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
1 情報処理システム
10 ピラー
11 透過モードアイコン
100 第1装置
110 第1通信装置
120 第1マイク
130 カメラユニット
132 室内カメラ
134 室外カメラ
140 第1スピーカ
150 利用者表示装置
160 HMI
170 第1制御装置
190 制御対象機器
200 第2装置
210 第2通信装置
220 第2マイク
230 検知装置
232 指向方向検知装置
234 頭部位置検知装置
236 モーションセンサ
240 第2スピーカ
250 移動体画像表示装置
260 HMI
270 第2制御装置
300 管理サーバ
M 移動体
10 ピラー
11 透過モードアイコン
100 第1装置
110 第1通信装置
120 第1マイク
130 カメラユニット
132 室内カメラ
134 室外カメラ
140 第1スピーカ
150 利用者表示装置
160 HMI
170 第1制御装置
190 制御対象機器
200 第2装置
210 第2通信装置
220 第2マイク
230 検知装置
232 指向方向検知装置
234 頭部位置検知装置
236 モーションセンサ
240 第2スピーカ
250 移動体画像表示装置
260 HMI
270 第2制御装置
300 管理サーバ
M 移動体
Claims (13)
- 乗員が搭乗する移動体に搭載される第1装置と、
前記移動体とは異なる場所で利用者によって利用される第2装置と、
を備える情報処理システムであって、
前記第1装置は、
前記第2装置の第2通信装置と通信する第1通信装置と、
前記移動体の所定の座席上に設けられた室内カメラを少なくとも含み、前記移動体の内部および外部を撮像可能なカメラユニットと、
を有し、
前記第2装置は、
前記第1通信装置と通信する前記第2通信装置と、
前記カメラユニットが撮像した画像を表示する表示装置と、
前記カメラユニットが撮像した前記移動体の所定の内装を含む画像を前記表示装置に表示させる第1モードと、前記カメラユニットが撮像した画像における前記所定の内装の領域を、前記カメラユニットが撮像した前記移動体の外部の画像に置き換えた置換画像を前記表示装置に表示させる第2モードとを、前記利用者の操作に応じて切り替える第2制御装置と、
を有する、
情報処理システム。 - 前記第2制御装置は、前記移動体の走行状態に基づいて、前記第1モードまたは前記第2モードのいずれかを推奨する、
請求項1記載の情報処理システム。 - 前記第2制御装置は、前記カメラユニットが撮像した前記移動体の外部の風景の画像に基づいて、前記第1モードまたは前記第2モードのいずれかを推奨する、
請求項2記載の情報処理システム。 - 前記第2制御装置は、前記移動体が車庫入れを行っているか否かに応じて、前記第1モードまたは前記第2モードのいずれかを推奨する、
請求項2記載の情報処理システム。 - 前記第2制御装置は、前記移動体に他の移動体が近づいているか否かに応じて、前記第1モードまたは前記第2モードのいずれかを推奨する、
請求項2記載の情報処理システム。 - 前記カメラユニットは、前記移動体の外部に設けられた室外カメラを更に有し、
前記表示装置は、前記第2モードにおいて、前記室内カメラが撮像した画像における前記所定の内装の領域を、前記室外カメラが撮像した前記移動体の外部の画像に置き換えた前記置換画像を表示する、
請求項1記載の情報処理システム。 - 前記第1装置は、
前記第1通信装置を介して取得された、前記利用者の発した音声を出力する第1スピーカと、
前記乗員の発した音声を収集する第1マイクと、を更に有し、
前記第2装置は、
前記第2通信装置を介して取得された、前記乗員の発した音声を出力する第2スピーカと、
前記利用者の発した音声を収集する第2マイクと、を更に有し、
前記第1通信装置は、前記第1マイクが収集した音声を前記第2通信装置に送信し、
前記第2通信装置は、前記第2マイクが収集した音声を前記第1通信装置に送信する、
請求項1記載の情報処理システム。 - 前記第2装置は、前記利用者の指向方向を検知するための検知装置を更に有し、
前記表示装置は、前記カメラユニットが撮像した画像のうち、前記所定の座席から見た前記指向方向に対応する画像を表示する、
請求項1記載の情報処理システム。 - 前記第2通信装置は、前記指向方向の情報を前記第1通信装置に送信し、
前記第1装置は、前記カメラユニットが撮像した画像のうち、前記第1通信装置を介して取得される前記指向方向に対応する画像を選択的に前記第2通信装置に送信するように、前記第1通信装置を制御する第1制御装置を更に有し、
前記第2装置の前記表示装置は、前記第2通信装置を介して取得される、前記所定の座席から見て前記指向方向に対応する画像を表示する、
請求項8記載の情報処理システム。 - 前記第1通信装置は、前記カメラユニットが撮像した画像を前記第2通信装置に送信し、
前記第2制御装置は、前記カメラユニットが撮像した画像のうち前記指向方向に対応する画像を選択的に前記表示装置に表示させる、
請求項8記載の情報処理システム。 - 前記表示装置は、VR(Virtual Reality)ゴーグルの表示装置であり、
前記検知装置は、前記VRゴーグルに取り付けられた物理センサを含む、
請求項8記載の情報処理システム。 - 前記移動体は車両であり、
前記所定の内装は、前記車両に設けられたピラーまたはルーフである、
請求項1記載の情報処理システム。 - 前記表示装置は、前記カメラユニットが撮像した画像のうち前記移動体の室内の所定物品を写した部分を、コンピュータ処理によって描画された画像に置換して表示する、
請求項1記載の情報処理システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022144266A JP2024039702A (ja) | 2022-09-12 | 2022-09-12 | 情報処理システム |
US18/242,042 US20240087334A1 (en) | 2022-09-12 | 2023-09-05 | Information process system |
CN202311147515.XA CN117692617A (zh) | 2022-09-12 | 2023-09-06 | 信息处理系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022144266A JP2024039702A (ja) | 2022-09-12 | 2022-09-12 | 情報処理システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024039702A true JP2024039702A (ja) | 2024-03-25 |
Family
ID=90127288
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022144266A Pending JP2024039702A (ja) | 2022-09-12 | 2022-09-12 | 情報処理システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240087334A1 (ja) |
JP (1) | JP2024039702A (ja) |
CN (1) | CN117692617A (ja) |
-
2022
- 2022-09-12 JP JP2022144266A patent/JP2024039702A/ja active Pending
-
2023
- 2023-09-05 US US18/242,042 patent/US20240087334A1/en active Pending
- 2023-09-06 CN CN202311147515.XA patent/CN117692617A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
CN117692617A (zh) | 2024-03-12 |
US20240087334A1 (en) | 2024-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102432614B1 (ko) | 차량 탑승자 및 원격 사용자를 위한 공유 환경 | |
JP4512830B2 (ja) | コミュニケーションロボット | |
WO2019124158A1 (ja) | 情報処理装置、情報処理方法、プログラム、表示システム、及び移動体 | |
US11151775B2 (en) | Image processing apparatus, display system, computer readable recoring medium, and image processing method | |
JP2019156298A (ja) | 車両遠隔操作装置及び車両遠隔操作方法 | |
EP3287868B1 (en) | Content discovery | |
JP2024039702A (ja) | 情報処理システム | |
JP2024038605A (ja) | 情報処理システム | |
JP2024041343A (ja) | 情報処理装置、情報処理システム、および情報処理方法 | |
US20240085976A1 (en) | Information processing system | |
JP2024039763A (ja) | 情報処理システム | |
JP2018067157A (ja) | 通信装置およびその制御方法 | |
US20240105052A1 (en) | Information management device, information management method and storage medium | |
JPH08336166A (ja) | 映像視聴装置 | |
JP2024046018A (ja) | 情報管理装置、情報管理方法、およびプログラム | |
US20240104604A1 (en) | Information management device, information management method and storage medium | |
JP2022142517A (ja) | 画像表示制御装置、画像表示制御システム及び画像表示制御方法 | |
CN116405846A (zh) | 用于封闭环境的便携式电子设备的音频集成 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230526 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240521 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240719 |