JPWO2018198318A1 - コンピュータシステム、遠隔操作通知方法及びプログラム - Google Patents
コンピュータシステム、遠隔操作通知方法及びプログラム Download PDFInfo
- Publication number
- JPWO2018198318A1 JPWO2018198318A1 JP2019515024A JP2019515024A JPWO2018198318A1 JP WO2018198318 A1 JPWO2018198318 A1 JP WO2018198318A1 JP 2019515024 A JP2019515024 A JP 2019515024A JP 2019515024 A JP2019515024 A JP 2019515024A JP WO2018198318 A1 JPWO2018198318 A1 JP WO2018198318A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- iot device
- terminal
- computer
- remotely
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/30—Control
- G16Y40/35—Management of things, i.e. controlling in accordance with a policy or in order to achieve specified objectives
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/22—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks comprising specially adapted graphical user interfaces [GUI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Selective Calling Equipment (AREA)
- User Interface Of Digital Computer (AREA)
- Information Transfer Between Computers (AREA)
Abstract
Description
取得した前記画像から、当該画像を視認しているユーザが遠隔操作可能な前記IoT機器を判断する判断手段と、
遠隔操作可能と判断された前記IoT機器が撮像されている前記画像の位置に、遠隔操作が可能であることを拡張現実で表示する通知手段と、
を備えることを特徴とするコンピュータシステムを提供する。
本発明の好適な実施形態の概要について、図1に基づいて説明する。図1は、本発明の好適な実施形態である遠隔操作通知システム1の概要を説明するための図である。遠隔操作通知システム1は、コンピュータ10、指示端末100、被指示端末200から構成され、指示端末100と被指示端末200とが、コンピュータ10を介して画面共有を実行するコンピュータシステムである。
図2に基づいて、本発明の好適な実施形態である遠隔操作通知システム1のシステム構成について説明する。図2は、本発明の好適な実施形態である遠隔操作通知システム1のシステム構成を示す図である。遠隔操作通知システム1は、コンピュータ10、指示端末100、被指示端末200、公衆回線網(インターネット網や、第3、第4世代通信網等)5から構成され、指示端末100と被指示端末200とが、コンピュータ10を介して画面共有を実行するコンピュータシステムである。
図3に基づいて、本発明の好適な実施形態である遠隔操作通知システム1の機能について説明する。図3は、コンピュータ10、指示端末100、被指示端末200の機能ブロック図を示す図である。
図4に基づいて、遠隔操作通知システム1が実行する機器画像データ記憶処理について説明する。図4は、コンピュータ10、被指示端末200が実行する機器画像データ記憶処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
図5及び図6に基づいて、遠隔操作通知システム1が実行する隔操作通知処理について説明する。図5及び図6は、コンピュータ10、指示端末100、被指示端末200が実行する遠隔操作通知処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
上述した遠隔操作通知システム1が実行する機器画像データ記憶処理及び遠隔操作通知処理の変形例について説明する。以下の説明において、上述した構成と同様の構成については、同一の符号を付し、その詳細な説明は省略する。
図7に基づいて、遠隔操作通知システム1が実行する機器画像データ記憶処理の変形例について説明する。図7は、コンピュータ10、被指示端末200が実行する機器画像データ記憶処理の変形例のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
図8及び図9に基づいて、遠隔操作通知システム1が実行する隔操作通知処理の変形例について説明する。図8及び図9は、コンピュータ10、指示端末100、被指示端末200が実行する隔操作通知処理の変形例のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
遠隔操作可能な前記IoT機器の画像を、複数方向から撮像した画像を記憶する記憶手段と、
記憶した複数方向の画像に基づいて、取得した前記画像と比較した画像認識で、どの方向から撮像されたものであるかを判断し、当該判断の結果と、取得した前記画像とから、当該画像を視認しているユーザが遠隔操作可能な前記IoT機器を判断する判断手段と、
遠隔操作可能と判断された前記IoT機器が撮像されている前記画像の位置に、遠隔操作が可能であることを拡張現実で表示する第1通知手段と、
遠隔操作可能な前記IoT機器がないと判断し、前記撮影画像を撮影した地点の近隣に他の遠隔操作可能なIoT機器がある場合、当該他の遠隔操作可能なIoT機器が存在する方向を拡張現実で表示する第2通知手段と、
を備えることを特徴とするコンピュータシステムを提供する。
Claims (5)
- IoT機器を撮像した画像を取得する取得手段と、
取得した前記画像から、当該画像を視認しているユーザが遠隔操作可能な前記IoT機器を判断する判断手段と、
遠隔操作可能と判断された前記IoT機器が撮像されている前記画像の位置に、遠隔操作が可能であることを拡張現実で表示する通知手段と、
を備えることを特徴とするコンピュータシステム。 - 遠隔操作可能な前記IoT機器の画像を予め記憶する記憶手段と、
をさらに備え、
前記判断手段は、予め記憶された前記IoT機器の画像に基づいて、取得した前記画像と比較した画像認識で、遠隔操作可能な当該IoT機器であることを判断する、
ことを特徴とする請求項1に記載のコンピュータシステム。 - 前記通知手段は、遠隔操作が可能であることを拡張現実として、前記IoT機器の画像を囲む枠を表示し、
表示された枠に対して、入力操作を受け付け、入力に応じて、前記IoT機器を遠隔操作するログイン画面を表示する表示手段と、
を備えることを特徴とする請求項1に記載のコンピュータシステム。 - コンピュータシステムが実行する遠隔操作通知方法であって、
IoT機器を撮像した画像を取得するステップと、
取得した前記画像から、当該画像を視認しているユーザが遠隔操作可能な前記IoT機器を判断するステップと、
遠隔操作可能と判断された前記IoT機器が撮像されている前記画像の位置に、遠隔操作が可能であることを拡張現実で表示するステップと、
を備えることを特徴とする遠隔操作通知方法。 - コンピュータシステムに、
IoT機器を撮像した画像を取得するステップ、
取得した前記画像から、当該画像を視認しているユーザが遠隔操作可能な前記IoT機器を判断するステップ、
遠隔操作可能と判断された前記IoT機器が撮像されている前記画像の位置に、遠隔操作が可能であることを拡張現実で表示するステップ、
を実行させるためのプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/016940 WO2018198318A1 (ja) | 2017-04-28 | 2017-04-28 | コンピュータシステム、遠隔操作通知方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018198318A1 true JPWO2018198318A1 (ja) | 2020-04-02 |
JP6764151B2 JP6764151B2 (ja) | 2020-09-30 |
Family
ID=63918099
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019515024A Active JP6764151B2 (ja) | 2017-04-28 | 2017-04-28 | コンピュータシステム、遠隔操作通知方法及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US10887195B2 (ja) |
JP (1) | JP6764151B2 (ja) |
CN (1) | CN110800314B (ja) |
WO (1) | WO2018198318A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190085627A (ko) * | 2018-01-11 | 2019-07-19 | 삼성전자주식회사 | 알림을 제공하기 위한 방법 및 이를 지원하는 전자 장치 |
CN112911190A (zh) * | 2019-12-04 | 2021-06-04 | 华为技术有限公司 | 一种远程协助的方法、电子设备和系统 |
US11954774B2 (en) | 2021-08-29 | 2024-04-09 | Snap Inc. | Building augmented reality experiences with IoT devices |
US11941231B2 (en) | 2021-08-29 | 2024-03-26 | Snap Inc. | Camera interfaces to interact with IoT devices |
WO2024048986A1 (ko) * | 2022-08-29 | 2024-03-07 | 삼성전자주식회사 | 사용자 의도를 고려해서 주변 기기를 제어하기 위한 장치 및 방법 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011097167A (ja) * | 2009-10-27 | 2011-05-12 | Allied Resources Communications:Kk | デバイス発見方法 |
JP2011146796A (ja) * | 2010-01-12 | 2011-07-28 | Sony Corp | 画像処理装置、物体選択方法及びプログラム |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2004106009A1 (ja) * | 2003-06-02 | 2006-07-20 | 松下電器産業株式会社 | 物品取扱いシステムおよび物品取扱いサーバ |
WO2015030786A1 (en) * | 2013-08-30 | 2015-03-05 | Hewlett-Packard Development Company, L.P. | Augmented reality device interfacing |
US9628691B2 (en) * | 2013-11-14 | 2017-04-18 | Qualcomm Incorporated | Method and apparatus for identifying a physical IoT device |
KR102254169B1 (ko) * | 2014-01-16 | 2021-05-20 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
WO2015160515A1 (en) * | 2014-04-16 | 2015-10-22 | Exxonmobil Upstream Research Company | Methods and systems for providing procedures in real-time |
KR102330255B1 (ko) * | 2014-05-28 | 2021-11-23 | 삼성전자주식회사 | 사물 인터넷 기기들을 제어하기 위한 제어 장치 및 방법 |
JP6448223B2 (ja) * | 2014-06-12 | 2019-01-09 | キヤノン株式会社 | 画像認識システム、画像認識装置、画像認識方法、およびコンピュータプログラム |
JP6176233B2 (ja) * | 2014-12-24 | 2017-08-09 | コニカミノルタ株式会社 | 遠隔制御装置、遠隔制御方法および遠隔制御プログラム |
JP6535191B2 (ja) | 2015-03-23 | 2019-06-26 | 株式会社日立ソリューションズ | 遠隔作業支援システム |
WO2016179248A1 (en) * | 2015-05-05 | 2016-11-10 | Ptc Inc. | Augmented reality system |
KR101711822B1 (ko) * | 2015-08-04 | 2017-03-03 | 서울과학기술대학교 산학협력단 | 메타 데이터를 이용한 디바이스 원격 제어 장치 및 방법 |
US10176640B2 (en) * | 2016-08-02 | 2019-01-08 | Qualtrics, Llc | Conducting digital surveys utilizing virtual reality and augmented reality devices |
US10110678B2 (en) * | 2016-08-19 | 2018-10-23 | Sony Corporation | System and method for data communication based on image processing |
US20180095542A1 (en) * | 2016-09-30 | 2018-04-05 | Sony Interactive Entertainment Inc. | Object Holder for Virtual Reality Interaction |
US10437343B2 (en) * | 2017-01-06 | 2019-10-08 | Samsung Electronics Co., Ltd. | Augmented reality control of internet of things devices |
US11132840B2 (en) * | 2017-01-16 | 2021-09-28 | Samsung Electronics Co., Ltd | Method and device for obtaining real time status and controlling of transmitting devices |
-
2017
- 2017-04-28 JP JP2019515024A patent/JP6764151B2/ja active Active
- 2017-04-28 US US16/608,992 patent/US10887195B2/en active Active
- 2017-04-28 WO PCT/JP2017/016940 patent/WO2018198318A1/ja active Application Filing
- 2017-04-28 CN CN201780092596.4A patent/CN110800314B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011097167A (ja) * | 2009-10-27 | 2011-05-12 | Allied Resources Communications:Kk | デバイス発見方法 |
JP2011146796A (ja) * | 2010-01-12 | 2011-07-28 | Sony Corp | 画像処理装置、物体選択方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20200195518A1 (en) | 2020-06-18 |
CN110800314A (zh) | 2020-02-14 |
JP6764151B2 (ja) | 2020-09-30 |
CN110800314B (zh) | 2022-02-11 |
US10887195B2 (en) | 2021-01-05 |
WO2018198318A1 (ja) | 2018-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6764151B2 (ja) | コンピュータシステム、遠隔操作通知方法及びプログラム | |
JP6214828B1 (ja) | ドッキング・システム | |
US20160128124A1 (en) | Method and apparatus for connecting peripheral devices | |
US11445026B2 (en) | Methods, systems, and media for indicating a security status of an internet of things device | |
EP3070625B1 (en) | Image-recognition-based guidance for network device configuration and other enviroments | |
US20210287440A1 (en) | Supporting an augmented-reality software application | |
US20200359217A1 (en) | Electronic apparatus, user terminal, and mehtod for controlling the electronic apparatus and the user terminal | |
US10645297B2 (en) | System, method, and program for adjusting angle of camera | |
JPWO2018135246A1 (ja) | 情報処理システム及び情報処理装置 | |
JP6404529B1 (ja) | コンピュータシステム、api提供方法及びプログラム | |
WO2018033953A1 (ja) | IoT機器ユーザーインターフェース表示システム、IoT機器ユーザーインターフェース表示方法及びプログラム | |
JP7124281B2 (ja) | プログラム、情報処理装置、画像処理システム | |
JP6404526B2 (ja) | 撮像画像共有システム、撮像画像共有方法及びプログラム | |
KR20210122541A (ko) | 데이터의 제공 방법 및 이를 지원하는 전자 장치 | |
JP6310624B1 (ja) | コンピュータシステム、設定方法及びプログラム | |
JP6274742B2 (ja) | 電子機器設定システム、電子機器設定方法、電子機器設定システム用プログラム | |
US20220276822A1 (en) | Information processing apparatus and information processing method | |
US10757242B2 (en) | Computer system, and method and program for setting | |
WO2017163324A1 (ja) | コミュニケーションシステム、コミュニケーション方法及びプログラム | |
US20220383472A1 (en) | Image restriction method, recording medium, information processing apparatus, and support system | |
KR20240054141A (ko) | 디스플레이 장치 및 그 동작 방법 | |
US20200195886A1 (en) | Information processing system, information processing device, and information processing method | |
KR20190088657A (ko) | 3d 객체와 마커를 이용한 mr 콘텐츠 제공 장치 및 그 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191024 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191024 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200623 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200818 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200901 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200902 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6764151 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |