JP7317271B2 - 遠隔支援装置および遠隔支援方法 - Google Patents
遠隔支援装置および遠隔支援方法 Download PDFInfo
- Publication number
- JP7317271B2 JP7317271B2 JP2023531298A JP2023531298A JP7317271B2 JP 7317271 B2 JP7317271 B2 JP 7317271B2 JP 2023531298 A JP2023531298 A JP 2023531298A JP 2023531298 A JP2023531298 A JP 2023531298A JP 7317271 B2 JP7317271 B2 JP 7317271B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- icon
- unit
- sensory
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Selective Calling Equipment (AREA)
- User Interface Of Digital Computer (AREA)
Description
たとえば、特許文献1のシステムは、触感センサによって、対象物から触感情報を検出し、カメラによって触感センサが触感情報を検出する対象物の画像情報を取得する。このシステムは、画像情報に基づいて対象物の名称を特定し、対象物の名称と、その対象物の触感情報とを関連付けて記憶する。その後、このシステムは、所定の名称の対象物について触感の再現をユーザから要求された場合、触感再現装置によって、所定の名称に関連付けられた触感情報に基づいて触感を再現する。
実施の形態1.
図1は、実施の形態の遠隔支援装置1による遠隔支援の概要を説明するための図である。
遠隔支援装置1は、取得部2と、感覚再現情報記憶部4と、ユーザ入力部5と、制御部6と、表示部7と、感覚再現部8とを備える。
測定データは、感覚が測定された日時(測定日時)と、感覚の測定時間と、感覚の種類と、感覚を測定するセンサの種類と、感覚情報を記録したデータファイルと、感覚が測定された位置(測定位置)と、発生源の方向(発生方向)と、測定位置の基準となる座標系(基準座標系)である。発生方向は、測定位置を基準とした方向角と仰角で表される。
この測定データにおいて、測定日時は「2020/12/02の18:53:30」、測定時間は「30秒」、感覚の種類は「振動」、センサの種類は「振動センサ」、感覚情報を記録したデータファイルのファイル名は「xx1.csv」、測定位置の画素の位置は「30,20,70」、発生方向は「N/A」(該当なし)、基準座標系が画像Aである。
この測定データにおいて、測定日時は「2020/12/02の19:50:40」、測定時間は「20秒」、感覚の種類は「臭覚」、センサの種類は「臭気センサ」、感覚情報を記録したデータファイルのファイル名は「xx3.csv」、部屋Xの基準位置と測定位置との距離は「10cm,30cm,50cm」、発生方向は「50°(仰角),90°(方位角)」、基準座標系が部屋Xである。
この測定データにおいて、測定日時は「2020/12/01の3:21:45」、測定時間は「60秒」、感覚の種類は「音」、センサの種類は「マイク」、感覚情報を記録したデータファイルのファイル名は「xx2.mp3」、部屋Yの基準位置と測定位置との距離は「50cm,40cm,30cm」、発生方向は「40°(仰角),120°(方位角)」、基準座標系が部屋Yである。
感覚再現情報は、測定データと、現場または模擬現場を表わすための背景と、画像データと、画像または実物に表示するアイコンの位置と、感覚情報を再現する感覚再現装置の種類とを含む。現場または模擬現場を表わすための背景は、画像または実物である。現場または撮影現場を表わす画像には、静止画像、動画像、または3次元仮想空間などが含まれる。現場または模擬現場を表わす実物には、実際の設備(実機)、または実際の設備の模型などが含まれる。感覚再現情報は、現場または模擬現場を表わすための背景が画像の場合に、画像データを含む。
ユーザ入力部5は、遠隔の支援者の入力を受け付ける。ユーザ入力部5は、たとえば、マウス、またはキーボードなどである。
感覚再現部8は、感覚情報を再現する。感覚再現部8は、複数の感覚再現装置3-1~3-Nを備える。各々の感覚再現装置3は、対応する種類の感覚情報を再現する。たとえば、感覚再現装置3-1は、音を再現し、感覚再現装置3-2は、臭覚を再現し、感覚再現装置3-3は、振動を再現する。
制御部6は、感覚再現情報に基づいて、現場を表す画像または動画像を表示部7に表示する。画像または動画像には、室内機が含まれる。制御部6は、感覚再現情報に基づいて、触覚の測定位置を表わすためのアイコンA1、A2を画像または動画像に重畳表示する。制御部6は、アイコンA1、A2とともに、感覚再現情報に基づいて、測定日時「17:27」、測定時間「30秒」を表示する。図9に示すように、アイコンA1とは別に、アイコンA1によって選択される位置を示すためのマークM1も表示し、アイコンA2とは別に、アイコンA2によって選択される位置を示すためのマークM2も表示することとしてもよい。
制御部6は、感覚再現情報に基づいて、現場を模擬した模擬現場を表わす3次元仮想空間を表示部7であるヘッドマウントディスプレイ92に表示する。3次元仮想空間には室内機が含まれる。制御部6は、感覚再現情報に基づいて、触覚の測定位置を表わすためのアイコンA1、A2を3次元仮想空間に重畳表示する。制御部6は、アイコンA1、A2とともに、感覚再現情報に基づいて、測定日時「17:27」、測定時間「30秒」を表示する。図10に示すように、アイコンA1とは別に、アイコンA1によって選択される位置を示すためのマークM1も表示し、アイコンA2とは別に、アイコンA2によって選択される位置を示すためのマークM2も表示することとしてもよい。
遠隔の支援者は、表示部7であるヘッドマウントディスプレイ92を通して、現場における設備である室内機と同一種類の室内機の実機または模型を直接視認することができる。制御部6は、感覚再現情報に基づいて、触覚の測定位置を表わすためのアイコンA1、A2を表示部7であるヘッドマウントディスプレイ92に表示する。制御部6は、アイコンA1、A2とともに、感覚再現情報に基づいて、測定日時「17:27」、測定時間「30秒」を表示する。図11に示すように、アイコンA1とは別に、アイコンA1によって選択される位置を示すためのマークM1も表示し、アイコンA2とは別に、アイコンA2によって選択される位置を示すためのマークM2も表示することとしてもよい。
ステップS101において、取得部2は、現場における測定データを取得する。
本実施の形態では、制御部6は、ユーザ入力部5を通じて遠隔の支援者が選択した日時において測定された感覚情報の所在を表わすアイコンを表示部7に表示する。
ステップS201において、取得部2は、現場における測定データを複数個取得する。
本実施の形態では、取得部2は、感覚情報が測定されたときの現場の作業を特定する情報を含む測定データを取得する。現場の作業を特定する情報は、たとえば、作業名である。制御部6は、ユーザ入力部5を通じて遠隔の支援者が選択した現場の作業において測定された感覚情報の所在を表わすアイコンを表示部7に表示する。
感覚再現情報は、作業名を含む。作業名は、感覚情報が測定されたとの現場の作業を特定するための名称である。図15は、作業名の例を表わす図である。作業名とは、たとえば、作業場所と作業内容によって特定される。
ステップS301において、取得部2は、現場における測定データを複数個取得する。
図17は、実施の形態4の遠隔支援装置1Aの構成を表わす図である。
ステップS102において、制御部6は、取得した測定データと、測定データに含まれる感覚情報を再現するためのデータとを含む感覚再現情報を生成して、感覚再現情報記憶部4に記憶する。
Claims (10)
- 現場において測定された感覚情報と、前記感覚情報の測定位置とを取得する取得部と、
支援者の入力を受け付けるユーザ入力部と、
表示部と、
前記感覚情報を再現する感覚再現部と、
前記取得した測定位置に基づいて、前記現場または前記現場を模擬した模擬現場内の感覚情報の測定位置を表わすためのアイコンを前記表示部に表示し、前記ユーザ入力部を通じて前記支援者が前記アイコンを選択したことにより、前記感覚再現部に前記感覚情報を再現させる制御部と、を備え、
前記取得部は、さらに前記感覚情報が測定された日時および測定時間を取得し、
前記制御部は、前記アイコンとともに前記日時および前記測定時間を前記表示部に表示し、
前記制御部は、前記ユーザ入力部を通じて前記支援者が選択した日時において測定された感覚情報の所在を表わすアイコンを前記表示部に表示する、遠隔支援装置。 - 前記制御部は、前記現場を表わす画像に前記アイコンを重畳表示する、請求項1記載の遠隔支援装置。
- 前記制御部は、前記現場を模擬した3次元仮想空間に前記アイコンを重畳表示する、請求項1記載の遠隔支援装置。
- 前記表示部は、ヘッドマウントデバイスであり、
前記制御部は、前記現場における設備と同一の種類の実物または模型を直接視認することが可能なヘッドマウントディスプレイに前記アイコンを表示する、請求項1記載の遠隔支援装置。 - 前記感覚情報は、触覚情報であり、
前記ユーザ入力部および前記感覚再現部は、グローブ型提示装置であって、
前記制御部は、前記支援者が前記グローブ型提示装置を通じて前記アイコンを選択することによって、前記グローブ型提示装置に前記触覚情報を再現させる、請求項4記載の遠隔支援装置。 - 前記取得部は、さらに前記感覚情報の種類を取得し、
前記感覚再現部は、各々が、対応する種類の感覚情報を再現する複数個の感覚再現装置を備え、
前記制御部は、前記選択されたアイコンに対応する感覚情報の種類に応じた前記感覚再現装置に前記感覚情報を再現させる、請求項1~5のいずれか1項に記載の遠隔支援装置。 - 前記取得部は、さらに前記感覚情報が測定されたときの現場の作業を特定する情報を取得し、
前記制御部は、前記ユーザ入力部を通じて前記支援者が選択した現場の作業において測定された感覚情報の所在を表わすアイコンを前記表示部に表示する、請求項1~5のいずれか1項に記載の遠隔支援装置。 - 前記取得部は、さらに前記感覚情報の発生方向を取得し、
前記制御部は、前記感覚情報の発生方向に基づいて、前記感覚再現部を制御する、請求項1~7のいずれか1項に記載の遠隔支援装置。 - 前記支援者の位置および姿勢を検出する検出部と、
前記制御部は、前記支援者の位置または姿勢の変化に応じて、アイコンの表示を変化させる、請求項8記載の遠隔支援装置。 - 前記制御部は、前記感覚再現部に、前記位置および姿勢に基づいて、前記感覚情報を再現させる、請求項9記載の遠隔支援装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2021/024986 WO2023276116A1 (ja) | 2021-07-01 | 2021-07-01 | 遠隔支援装置および遠隔支援方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2023276116A1 JPWO2023276116A1 (ja) | 2023-01-05 |
JP7317271B2 true JP7317271B2 (ja) | 2023-07-28 |
JPWO2023276116A5 JPWO2023276116A5 (ja) | 2023-07-28 |
Family
ID=84692571
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023531298A Active JP7317271B2 (ja) | 2021-07-01 | 2021-07-01 | 遠隔支援装置および遠隔支援方法 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP7317271B2 (ja) |
TW (1) | TW202303352A (ja) |
WO (1) | WO2023276116A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016110383A (ja) | 2014-12-05 | 2016-06-20 | コニカミノルタ株式会社 | 触覚伝達装置 |
WO2018150831A1 (ja) | 2017-02-16 | 2018-08-23 | ソニー株式会社 | 情報処理装置、情報処理方法及び記録媒体 |
JP2019160036A (ja) | 2018-03-15 | 2019-09-19 | 東京瓦斯株式会社 | 触感情報システム、触感情報処理装置およびプログラム |
-
2021
- 2021-07-01 WO PCT/JP2021/024986 patent/WO2023276116A1/ja active Application Filing
- 2021-07-01 JP JP2023531298A patent/JP7317271B2/ja active Active
-
2022
- 2022-06-01 TW TW111120419A patent/TW202303352A/zh unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016110383A (ja) | 2014-12-05 | 2016-06-20 | コニカミノルタ株式会社 | 触覚伝達装置 |
WO2018150831A1 (ja) | 2017-02-16 | 2018-08-23 | ソニー株式会社 | 情報処理装置、情報処理方法及び記録媒体 |
JP2019160036A (ja) | 2018-03-15 | 2019-09-19 | 東京瓦斯株式会社 | 触感情報システム、触感情報処理装置およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2023276116A1 (ja) | 2023-01-05 |
WO2023276116A1 (ja) | 2023-01-05 |
TW202303352A (zh) | 2023-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20190355177A1 (en) | Building system maintenance using mixed reality | |
US9829873B2 (en) | Method and data presenting device for assisting a remote user to provide instructions | |
US7728853B2 (en) | Systems and methods for changing view perspective in 3-D graphical displays of buildings with stepped rotation | |
CN111183401B (zh) | 监视系统及监视方法 | |
JP2018073377A (ja) | 3d情報モデルを基礎とした総合感知位置決め技術の応用システム | |
US20200005540A1 (en) | Systems, methods, and apparatus for managing augmented reality environments | |
JPWO2017169276A1 (ja) | プラント管理システム、プラント管理方法、プラント管理装置、および、プラント管理プログラム | |
US9472119B2 (en) | Computer-implemented operator training system and method of controlling the system | |
JP2013097810A (ja) | 緊急指令システム及びその方法 | |
WO2018194137A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US11282286B1 (en) | Systems and methods for employing augmented reality in appraisal and assessment operations | |
JP5013398B2 (ja) | 複合現実感システムとそのイベント入力方法 | |
JP2019188531A (ja) | ロボットのシミュレーション装置 | |
US20210201273A1 (en) | Ductwork and fire suppression system visualization | |
JP2009194597A (ja) | 送受信システム、送信装置、送信方法、受信装置、受信方法、提示装置、提示方法、プログラム、及び記録媒体 | |
JP7317271B2 (ja) | 遠隔支援装置および遠隔支援方法 | |
JP2004240264A (ja) | 体感型訓練システム | |
WO2023238759A1 (ja) | 情報処理方法、情報処理装置、及び情報処理プログラム | |
JP2021152625A (ja) | 防災設備シミュレーションシステム | |
US20230130815A1 (en) | Image processing apparatus, image processing method, and program | |
WO2023224033A1 (ja) | 情報処理方法、情報処理装置、及び情報処理プログラム | |
JP7489019B2 (ja) | 情報処理装置および情報処理方法 | |
WO2024166580A1 (ja) | 状況把握支援装置、状況把握支援方法、及びコンピュータ読み取り可能な記憶媒体 | |
JP2003159673A (ja) | バーチャル空間提供システム、バーチャル空間提供方法、および、バーチャル空間提供プログラム | |
JP3279627B2 (ja) | 監視情報提示装置および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230606 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230606 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230606 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230620 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230718 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7317271 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |