JP7000253B2 - 力覚視覚化装置、ロボットおよび力覚視覚化プログラム - Google Patents
力覚視覚化装置、ロボットおよび力覚視覚化プログラム Download PDFInfo
- Publication number
- JP7000253B2 JP7000253B2 JP2018104785A JP2018104785A JP7000253B2 JP 7000253 B2 JP7000253 B2 JP 7000253B2 JP 2018104785 A JP2018104785 A JP 2018104785A JP 2018104785 A JP2018104785 A JP 2018104785A JP 7000253 B2 JP7000253 B2 JP 7000253B2
- Authority
- JP
- Japan
- Prior art keywords
- force
- image
- force sense
- data
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1689—Teleoperation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40135—Slave force converted to shape display, actuated by fingers, surface is force image
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Automation & Control Theory (AREA)
- Optics & Photonics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Manipulator (AREA)
- User Interface Of Digital Computer (AREA)
Description
Claims (7)
- ロボットの周辺環境を撮像した撮像データおよび前記ロボットが外部から受けた力覚に関する力覚データを取得するデータ取得部と、
前記力覚データを用いて取得された、単位時間当たりの力の変化量を示すパラメータおよび接触対象物の硬さを示すパラメータに基づいて、前記力覚をオノマトペの文字情報に変換する変換部と、
前記撮像データの画像に前記文字情報を重畳して出力する画像出力部と
を備える力覚視覚化装置。 - 前記力覚データは、前記ロボットが前記力覚を受けた位置情報を含み、
前記画像出力部は、前記位置情報に基づいて前記文字情報を重畳する前記画像上の位置を決定する請求項1に記載の力覚視覚化装置。 - 前記変換部は、受けた力の大きさ、単位時間当たりの力の変化量、および接触対象物の硬さの少なくとも何れかの変換情報を前記力覚データから抽出し、前記変換情報に基づいて前記オノマトペを変化させる請求項1または2に記載の力覚視覚化装置。
- 前記データ取得部は、遠隔地で動作する前記ロボットが出力する前記撮像データおよび前記力覚データを、ネットワークを介して取得する請求項1から3のいずれか1項に記載の力覚視覚化装置。
- 前記画像出力部は、ユーザが装着するヘッドマウントディスプレイへ前記文字情報を重畳した前記画像を出力する請求項1から4のいずれか1項に記載の力覚視覚化装置。
- 周辺環境を撮像する撮像部と、
外部から受ける力覚を検出する検出部と、
前記力覚に関する力覚データを用いて取得された、単位時間当たりの力の変化量を示すパラメータおよび接触対象物の硬さを示すパラメータに基づいて、前記力覚をオノマトペの文字情報に変換する変換部と、
前記撮像部が撮像した画像に前記文字情報を重畳して出力する画像出力部と
を備えるロボット。 - ロボットの周辺環境を撮像した撮像データを取得する撮像データ取得ステップと、
前記ロボットが外部から受けた力覚に関する力覚データを取得する力覚データ取得ステップと、
前記力覚データを用いて取得された、単位時間当たりの力の変化量を示すパラメータおよび接触対象物の硬さを示すパラメータに基づいて、前記力覚をオノマトペの文字情報に変換する変換ステップと、
前記撮像データの画像に前記文字情報を重畳して出力する画像出力ステップと
をコンピュータに実行させる力覚視覚化プログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018104785A JP7000253B2 (ja) | 2018-05-31 | 2018-05-31 | 力覚視覚化装置、ロボットおよび力覚視覚化プログラム |
KR1020190062350A KR20190136962A (ko) | 2018-05-31 | 2019-05-28 | 역각 시각화 장치, 로봇 및 역각 시각화 프로그램 |
US16/425,039 US11279037B2 (en) | 2018-05-31 | 2019-05-29 | Force-sense visualization apparatus, robot, and force-sense visualization program |
CN201910456884.4A CN110549353B (zh) | 2018-05-31 | 2019-05-29 | 力觉视觉化装置、机器人以及存储力觉视觉化程序的计算机可读介质 |
KR1020210058903A KR102452924B1 (ko) | 2018-05-31 | 2021-05-07 | 역각 시각화 장치, 로봇 및 역각 시각화 프로그램 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018104785A JP7000253B2 (ja) | 2018-05-31 | 2018-05-31 | 力覚視覚化装置、ロボットおよび力覚視覚化プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019209392A JP2019209392A (ja) | 2019-12-12 |
JP7000253B2 true JP7000253B2 (ja) | 2022-01-19 |
Family
ID=68695000
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018104785A Active JP7000253B2 (ja) | 2018-05-31 | 2018-05-31 | 力覚視覚化装置、ロボットおよび力覚視覚化プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11279037B2 (ja) |
JP (1) | JP7000253B2 (ja) |
KR (2) | KR20190136962A (ja) |
CN (1) | CN110549353B (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6867654B2 (ja) * | 2019-03-15 | 2021-05-12 | リバーフィールド株式会社 | 医用ロボットシステムの力覚表示装置および力覚表示方法 |
JP7342676B2 (ja) * | 2019-12-13 | 2023-09-12 | トヨタ自動車株式会社 | 遠隔操作システム及び遠隔操作方法 |
JP7447670B2 (ja) * | 2020-05-15 | 2024-03-12 | トヨタ自動車株式会社 | 自律移動装置制御システム、その制御方法及びその制御プログラム |
JP2023181567A (ja) * | 2020-11-12 | 2023-12-25 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、情報処理システム、及びデータ生成方法 |
CN114389861B (zh) * | 2021-12-24 | 2023-03-03 | 北京科技大学 | 基于EtherCAT自动化的机械臂安全检测方法及系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015134384A (ja) | 2014-01-16 | 2015-07-27 | 日本電気株式会社 | 遠隔操縦装置、及び遠隔操縦システム |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08132372A (ja) * | 1994-11-08 | 1996-05-28 | Toshiba Corp | ロボットの制御方法 |
JP3539645B2 (ja) * | 1995-02-16 | 2004-07-07 | 株式会社日立製作所 | 遠隔手術支援装置 |
US6126373A (en) * | 1997-12-19 | 2000-10-03 | Fanuc Usa Corporation | Method and apparatus for realtime remote robotics command |
US6785572B2 (en) | 2001-11-21 | 2004-08-31 | Koninklijke Philips Electronics, N.V. | Tactile feedback and display in a CT image guided robotic system for interventional procedures |
US7411576B2 (en) * | 2003-10-30 | 2008-08-12 | Sensable Technologies, Inc. | Force reflecting haptic interface |
JP4595436B2 (ja) * | 2004-03-25 | 2010-12-08 | 日本電気株式会社 | ロボット、その制御方法及び制御用プログラム |
JP4684238B2 (ja) * | 2004-11-30 | 2011-05-18 | パナソニック株式会社 | 場面修飾表現生成装置および場面修飾表現生成方法 |
US8265793B2 (en) * | 2007-03-20 | 2012-09-11 | Irobot Corporation | Mobile robot for telecommunication |
US8073203B2 (en) * | 2008-04-15 | 2011-12-06 | Cyberlink Corp. | Generating effects in a webcam application |
JPWO2011122521A1 (ja) * | 2010-03-30 | 2013-07-08 | 日本電気株式会社 | 情報表示システム、情報表示方法及びプログラム |
US8538687B2 (en) * | 2010-05-04 | 2013-09-17 | Honeywell International Inc. | System for guidance and navigation in a building |
FR2963132A1 (fr) * | 2010-07-23 | 2012-01-27 | Aldebaran Robotics | Robot humanoide dote d'une interface de dialogue naturel, methode d'utilisation et de programmation de ladite interface |
WO2012172721A1 (ja) * | 2011-06-14 | 2012-12-20 | パナソニック株式会社 | ロボット装置、ロボット制御方法、及びロボット制御プログラム |
CN102880180A (zh) * | 2012-10-13 | 2013-01-16 | 北京工业大学 | 一种基于LabVIEW Robotics的视觉化远程机器人 |
JP6112300B2 (ja) | 2013-01-10 | 2017-04-12 | パナソニックIpマネジメント株式会社 | マスタースレーブロボットの制御装置及び制御方法、マスタースレーブロボット、並びに、制御プログラム |
CN103753585A (zh) * | 2014-01-10 | 2014-04-30 | 南通大学 | 一种基于视觉图像分析的机械手及抓紧力智能调节方法 |
US10108639B2 (en) * | 2014-02-14 | 2018-10-23 | Rakuten, Inc. | Display control device, display control device control method, program and information storage medium |
KR101716805B1 (ko) * | 2014-12-26 | 2017-03-16 | 전자부품연구원 | 로봇 제어 시각화 장치 |
ES2903165T3 (es) * | 2015-12-11 | 2022-03-31 | Yamaha Motor Co Ltd | Dispositivo para presentar una onomatopeya referente a resultados de evaluar un entorno circundante y método para presentar una onomatopeya |
KR20180112847A (ko) * | 2016-04-07 | 2018-10-12 | 재팬 사이언스 앤드 테크놀로지 에이전시 | 촉각 정보 변환 장치, 촉각 정보 변환 방법, 및, 촉각 정보 변환 프로그램 |
JP6703688B2 (ja) * | 2016-04-07 | 2020-06-03 | 国立研究開発法人科学技術振興機構 | 触覚情報変換装置、触覚情報変換方法、および、触覚情報変換プログラム、並びに、素子配置構造体 |
EP3487291A1 (en) * | 2016-07-20 | 2019-05-29 | Farm Robotics and Automation SL | Robot assisted surveillance of livestock |
US20190265798A1 (en) * | 2016-12-05 | 2019-08-29 | Sony Corporation | Information processing apparatus, information processing method, program, and information processing system |
WO2018110003A1 (ja) * | 2016-12-12 | 2018-06-21 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
KR20180075176A (ko) * | 2016-12-26 | 2018-07-04 | 엘지전자 주식회사 | 이동 로봇 및 그 제어방법 |
US10319109B2 (en) * | 2017-03-31 | 2019-06-11 | Honda Motor Co., Ltd. | Interaction with physical objects as proxy objects representing virtual objects |
US10430016B2 (en) * | 2017-12-22 | 2019-10-01 | Snap Inc. | Augmented reality user interface control |
US10715976B2 (en) * | 2018-10-30 | 2020-07-14 | Verizon Patent And Licensing Inc. | Method and system for event detection based on vehicular mobile sensors and MEC system |
-
2018
- 2018-05-31 JP JP2018104785A patent/JP7000253B2/ja active Active
-
2019
- 2019-05-28 KR KR1020190062350A patent/KR20190136962A/ko not_active IP Right Cessation
- 2019-05-29 CN CN201910456884.4A patent/CN110549353B/zh active Active
- 2019-05-29 US US16/425,039 patent/US11279037B2/en active Active
-
2021
- 2021-05-07 KR KR1020210058903A patent/KR102452924B1/ko active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015134384A (ja) | 2014-01-16 | 2015-07-27 | 日本電気株式会社 | 遠隔操縦装置、及び遠隔操縦システム |
Also Published As
Publication number | Publication date |
---|---|
JP2019209392A (ja) | 2019-12-12 |
CN110549353B (zh) | 2022-10-14 |
US20190366548A1 (en) | 2019-12-05 |
KR102452924B1 (ko) | 2022-10-11 |
KR20210055650A (ko) | 2021-05-17 |
KR20190136962A (ko) | 2019-12-10 |
CN110549353A (zh) | 2019-12-10 |
US11279037B2 (en) | 2022-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7000253B2 (ja) | 力覚視覚化装置、ロボットおよび力覚視覚化プログラム | |
JP6678832B2 (ja) | 遠隔制御マニピュレータシステムおよび制御装置 | |
JP4850984B2 (ja) | 動作空間提示装置、動作空間提示方法およびプログラム | |
JP5246672B2 (ja) | ロボットシステム | |
US7714895B2 (en) | Interactive and shared augmented reality system and method having local and remote access | |
JP5183398B2 (ja) | 入力装置 | |
JP6445092B2 (ja) | ロボットの教示のための情報を表示するロボットシステム | |
JP2016107379A (ja) | 拡張現実対応ディスプレイを備えたロボットシステム | |
JP2018183845A (ja) | ロボットを操作するための操作装置、ロボットシステム、および操作方法 | |
US11422625B2 (en) | Proxy controller suit with optional dual range kinematics | |
JP3742879B2 (ja) | ロボットアーム・ハンド操作制御方法、ロボットアーム・ハンド操作制御システム | |
JP4997419B2 (ja) | ロボット用動作変換システム | |
JP2008080431A (ja) | ロボットシステム | |
US11926064B2 (en) | Remote control manipulator system and remote control assistance system | |
JPH04210390A (ja) | ロボットハンドの遠隔操作システム | |
JPH1177568A (ja) | 教示支援方法及び装置 | |
JP7535968B2 (ja) | ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラム | |
JP7390891B2 (ja) | クライアント装置、サーバ、プログラム、及び、情報処理方法 | |
WO2022230854A1 (ja) | データ処理装置、データ処理方法及びデータ処理システム | |
KR101378752B1 (ko) | 전시용 로봇 및 그 제어 방법 | |
JP2023027577A (ja) | 画像処理装置、画像処理方法、プログラムおよび画像処理システム | |
JPS6411435B2 (ja) | ||
JP2024135098A (ja) | 遠隔操作制御システム | |
Tachi | Networked Telexistence: Real-time Remote Robotics with a Sensation of Presence | |
CN110815210A (zh) | 一种基于自然人机界面和增强现实的新型远程控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201211 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210818 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210824 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211005 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211223 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7000253 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |