JP6038701B2 - 遠隔視認装置および遠隔視認操作システム - Google Patents
遠隔視認装置および遠隔視認操作システム Download PDFInfo
- Publication number
- JP6038701B2 JP6038701B2 JP2013063815A JP2013063815A JP6038701B2 JP 6038701 B2 JP6038701 B2 JP 6038701B2 JP 2013063815 A JP2013063815 A JP 2013063815A JP 2013063815 A JP2013063815 A JP 2013063815A JP 6038701 B2 JP6038701 B2 JP 6038701B2
- Authority
- JP
- Japan
- Prior art keywords
- operator
- unit
- light
- visual recognition
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims description 52
- 230000007246 mechanism Effects 0.000 claims description 101
- 238000012545 processing Methods 0.000 claims description 48
- 238000005259 measurement Methods 0.000 claims description 23
- 239000011521 glass Substances 0.000 claims description 11
- 238000005286 illumination Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 6
- 230000001360 synchronised effect Effects 0.000 claims description 6
- 239000011165 3D composite Substances 0.000 claims description 4
- 230000005855 radiation Effects 0.000 claims description 4
- 230000033001 locomotion Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000000034 method Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000004567 concrete Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000012857 radioactive material Substances 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 239000002915 spent fuel radioactive waste Substances 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
図1は、本発明の第1の実施形態に係る遠隔視認装置の構成を示す平面図である。また、図2は、本発明の第1の実施形態に係る遠隔視認装置の構成を示す側面図である。
図5は、本発明の第2の実施形態に係る遠隔視認装置の構成を示す平面図である。また、図6は、本発明の第2の実施形態に係る遠隔視認装置の構成を示す側面図である。
図7は、本発明の第3の実施形態に係る遠隔視認装置の構成を示す側面図である。本実施形態は、第1の実施形態あるいは第2の実施形態の変形である。本実施形態では、さらに、対象物20のうちで操作者40からみてMSM3の操作中にスレーブアーム3bに妨げられて見えない部分の外郭と、投光機構部7の発光部7aからの光を受ける照射範囲と光を受けない非照射範囲の境界を、近づけるだけでなく、一致させるように投光機構部7を追従させるものである。
図8は、本発明の第4の実施形態に係る遠隔視認装置のレーザ光投光機構の構成を示す側面図である。本実施形態は、第3の実施形態の変形であり、第3の実施形態における投光機構部7に代えてレーザ光投光機構7bが投光部駆動機構23(図7参照)に支持されて設けられている。
図9は、本発明の第5の実施形態に係る遠隔視認装置のカメラの構成を示す側面図である。本実施形態は、第1ないし第3の実施形態の変形であり、第1ないし第3の実施形態において、投光機構部7に代えてレーザ光投光機構7bが設けられているか、レーザ光投光機構7bがさらに設けられているかによって、レーザ光が発信されている場合の実施形態である。
以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。たとえば、実施形態では、対象物20の中のスレーブアーム3bにより遮られる範囲を映像化して表示することで示したが、対象物20には限定されない。たとえば、映像化する対象は、対象物を取り扱うための機械器具類などを含むものであってもよい。また、各実施形態の特徴を組み合わせてもよい。
Claims (12)
- 対象物が配置される領域と、操作者がいる領域とを分ける壁に固定され、前記操作者に遠隔操作されて前記対象物を取り扱うスレーブアームを有するマニピュレータ装置の操作のための遠隔視認装置であって、
前記操作者の視点情報をリアルタイムで計測する視点計測機構部と、
前記壁の操作者側に取り付けられたシースルー式モニタと、
前記対象物を撮影するカメラと当該カメラを駆動するカメラ駆動部とをそれぞれ有する複数のカメラ機構部と、
前記カメラ機構部からの映像データに基づき前記対象物の3次元的形状を演算し、前記視点計測機構部からの視点情報データおよび前記マニピュレータ装置からの前記スレーブアームの位置情報に基づき前記操作者から見た前記対象物のうち前記スレーブアームで妨げられ見えない範囲を算出し、前記範囲について前記スレーブアームに妨げられなければ操作者が見ることができるはずの仮想的な2次元映像を生成して、前記シースルー式モニタ上の前記見えない部分に相当する範囲に表示するように前記シースルー式モニタに表示信号を出力する制御処理部と、
を備えることを特徴とする遠隔視認装置。 - 前記制御処理部は、
前記視点計測機構部から出力された前記視点情報の信号と前記マニピュレータ装置から出力された前記マニピュレータ装置の各部の位置情報の信号とを入力するための入力部と、
前記カメラからのディジタル映像の信号を取り込む映像取り込み部と、
前記入力部および前記映像取り込み部からの出力を受けて、映像処理計算により合成した前記3次元的形状を演算し、前記2次元映像を生成して出力する映像処理演算部と、
前記映像処理演算部からの前記2次元映像を前記モニタへ出力する2次元映像出力部と、
を有することを特徴とする請求項1に記載の遠隔視認装置。 - 前記カメラは、前記壁の対象物側空間内に互いに所定の間隔で設けられており、
前記映像処理演算部は、
前記対象物の複数個の点を選択点として同定し、各前記選択点について、三角測量の原理により実空間の3次元位置を計算し、計算した点群により作成された3次元空間の曲面上に3次元合成映像をマッピングして前記3次元的形状を出力するマッピング演算部と、
前記3次元合成映像と、前記視点計測機構部から受けた前記操作者の視点情報および前記マニピュレータ装置の各部の位置情報の信号とに基づき、前記操作者の目の位置および視線方向から見た前記2次元映像を作成する2次元映像演算部と、
を有することを特徴とする請求項2に記載の遠隔視認装置。 - 左右のシャッターそれぞれが別個に開閉可能な同期メガネをさらに備えて、
前記視点計測機構部は、前記操作者の左右の目の位置および視線方向を計測し、左目の位置および視線方向の情報からなる左目情報と、右目の位置および視線方向の情報からなる右目情報を前記制御処理部に出力し、
前記2次元映像演算部は、前記左目情報に基づく前記操作者の左目から見た2次元映像と、前記右目情報に基づく前記操作者の右目から見た2次元映像とを作成し、前記モニタに交互に出力し、かつ、前記同期メガネに前記左右のシャッターそれぞれの開閉のための同期信号を出力し、
前記操作者が、前記同期メガネを装着することにより立体的視覚を得ることが可能なことを特徴とする請求項3に記載の遠隔視認装置。 - 前記対象物にグリッド光を投光して前記対象物上で光るグリッド線を生じさせるグリッド光投光機構部をさらに備え、
前記映像処理演算部は前記グリッド線からの情報に基づいて前記対象物の3次元演算を行う、
ことを特徴とする請求項2ないし請求項4のいずれか一項に記載の遠隔視認装置。 - 前記グリッド光は非可視光であり、
前記カメラは、色フィルターおよび分光装置を有し、可視光映像、非可視光映像の2つの映像を分離して取り込み可能であることを特徴とする請求項5に記載の遠隔視認装置。 - 前記対象物に照明光を投光する発光部を有して当該発光部位置を調整可能な投光機構部をさらに備え、
前記制御処理部は、前記対象物の中で前記発光部からの光に照射される照射範囲と照射されない非照射範囲の境界と、前記見えない部分の外郭との差を最小とするように、前記投光機構部に前記発光部位置を前記操作者の目の近傍位置に追従するように指令信号を発する、
ことを特徴とする請求項1または請求項2に記載の遠隔視認装置。 - 前記対象物に照明光を投光する発光部を有して当該発光部位置を調整可能な投光機構部と、
前記照明光を反射し、かつ前記操作者による前記対象物側の視認を可能とするハーフミラーと、
をさらに備えて、
前記発光部は、前記ハーフミラーに向けて配されて前記照明光が前記ハーフミラーで反射され前記壁の対象物側の対象機器を照らすように構成され、
制御処理部は、前記対象物の中で前記発光部からの光に照射される照射範囲と照射されない非照射範囲の境界と、前記見えない部分の外郭との差を最小とするように、前記発光部からの光の原点が前記操作者の目の位置の位置であるように前記投光機構部が追従するよう指令信号を発する、
ことを特徴とする請求項1または請求項2に記載の遠隔視認装置。 - 前記対象物に照明光を投光する発光部を有して当該発光部位置を調整可能な投光機構部をさらに備え、
前記制御処理部は、前記対象物の中で前記発光部からの光に照射される照射範囲と照射されない非照射範囲の境界と、前記見えない部分の外郭との差を最小とするように、前記投光機構部に前記発光部位置を前記操作者の目の近傍位置に追従するように指令信号を発する、
ことを特徴とする請求項3ないし請求項6のいずれか一項に記載の遠隔視認装置。 - 前記対象物に照明光を投光する発光部を有して当該発光部位置を調整可能な投光機構部と、
前記照明光を反射し、かつ前記操作者による前記対象物側の視認を可能とするハーフミラーと、
をさらに備えて、
前記発光部は、前記ハーフミラーに向けて配されて前記照明光が前記ハーフミラーで反射され前記壁の対象物側の対象機器を照らすように構成され、
制御処理部は、前記対象物の中で前記発光部からの光に照射される照射範囲と照射されない非照射範囲の境界と、前記見えない部分の外郭との差を最小とするように、前記発光部からの光の原点が前記操作者の目の位置の位置であるように前記投光機構部が追従するよう指令信号を発する、
ことを特徴とする請求項3ないし請求項6のいずれか一項に記載の遠隔視認装置。 - 前記選択点は、前記対象物の照射範囲と、前記スレーブアームに遮られて前記照明光が当たらない非照射範囲との境界の点であることを特徴とする請求項9または請求項10に記載の遠隔視認装置。
- 放射線に対する遮へい壁を貫通して前記遮へい壁に固定されて対象物を操作者が遠隔で取り扱うマニピュレータ装置と、前記マニピュレータ装置の操作のための遠隔視認装置とを備える遠隔視認操作システムであって、
前記遠隔視認装置は、
前記操作者の目の3次元的な位置と前記操作者の視線方向に関する視点情報をリアルタイムで計測する視点計測機構部と、
前記遮へい壁の操作者側から前記遮へい壁の対象物側を観察するための遮へい窓を覆うようにして取り付けられたモニタと、
前記対象物を撮影するカメラと当該カメラを駆動するカメラ駆動部とをそれぞれ有する複数のカメラ機構部と、
前記カメラ機構部からの映像データに基づき前記対象物の3次元的形状を演算し、前記視点計測機構部からの視点情報データに基づき前記操作者から見た前記対象物のうち前記スレーブアームで妨げられ見えない部分を映像で補完して前記スレーブアームに妨げられなければ前記操作者が見ることのできるはずの仮想的な2次元映像を生成して前記見えない部分に相当する範囲に表示するように前記モニタに表示信号を出力する制御処理部と、
を有することを特徴とする遠隔視認操作システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013063815A JP6038701B2 (ja) | 2013-03-26 | 2013-03-26 | 遠隔視認装置および遠隔視認操作システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013063815A JP6038701B2 (ja) | 2013-03-26 | 2013-03-26 | 遠隔視認装置および遠隔視認操作システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014188600A JP2014188600A (ja) | 2014-10-06 |
JP6038701B2 true JP6038701B2 (ja) | 2016-12-07 |
Family
ID=51835464
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013063815A Active JP6038701B2 (ja) | 2013-03-26 | 2013-03-26 | 遠隔視認装置および遠隔視認操作システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6038701B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7212390B2 (ja) * | 2018-06-29 | 2023-01-25 | 国立研究開発法人科学技術振興機構 | 遠隔操作システム |
JP7055883B2 (ja) * | 2018-08-30 | 2022-04-18 | TechShare株式会社 | ロボット |
CN114332231B (zh) * | 2022-03-04 | 2022-06-14 | 成都创像科技有限公司 | 视觉检测设备中机械手与相机的定位方法、装置及介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS58137575A (ja) * | 1982-02-05 | 1983-08-16 | 株式会社明電舎 | マスタ−スレ−ブ形マニプレ−タ |
JPS60126985A (ja) * | 1983-12-13 | 1985-07-06 | Agency Of Ind Science & Technol | 遠隔操作における作業状況表示装置 |
JP2960733B2 (ja) * | 1989-07-27 | 1999-10-12 | 株式会社日立製作所 | 画像表示方法及び画像表示装置並びに遠隔操作装置 |
JP2001239483A (ja) * | 2000-02-25 | 2001-09-04 | Toshiba Corp | マニピュレータ制御卓 |
JP3984018B2 (ja) * | 2001-10-15 | 2007-09-26 | ペンタックス株式会社 | 3次元画像検出装置及び3次元画像検出用アダプタ |
JP2003131319A (ja) * | 2001-10-25 | 2003-05-09 | Seiko Epson Corp | 光送受装置 |
JP4098535B2 (ja) * | 2002-02-28 | 2008-06-11 | オリンパス株式会社 | 医療用立体表示装置 |
-
2013
- 2013-03-26 JP JP2013063815A patent/JP6038701B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014188600A (ja) | 2014-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11693242B2 (en) | Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking | |
US20240080433A1 (en) | Systems and methods for mediated-reality surgical visualization | |
CN106535806B (zh) | 来自多端口视角的手术场景的定量三维成像 | |
CN100594517C (zh) | 确定与ar-物体光学重叠的方法和装置 | |
US20060176242A1 (en) | Augmented reality device and method | |
TW201843494A (zh) | 具有視訊透視之顯示系統 | |
CN108885342A (zh) | 用于低延迟渲染的宽基线立体 | |
US20190294103A1 (en) | Visualization system and method for generating holographic presentations from optical signals | |
JP6038701B2 (ja) | 遠隔視認装置および遠隔視認操作システム | |
JPWO2011102136A1 (ja) | 立体画像表示システム及び立体視メガネ | |
JP6767481B2 (ja) | ライトフィールド顕微鏡法を用いる眼科手術 | |
WO2021242338A1 (en) | Systems and methods for providing mixed-reality experiences under low light conditions | |
JP7118650B2 (ja) | 表示装置 | |
JP2006201517A (ja) | 立体表示装置及び立体表示方法 | |
JP6608208B2 (ja) | 画像表示装置 | |
JP2830291B2 (ja) | 立体表示装置 | |
JP2006340017A (ja) | 立体映像表示装置及び立体映像表示方法 | |
KR101026686B1 (ko) | 인터랙티브 입체 영상처리 시스템 및 방법, 그리고 인터랙티브 입체 영상처리장치 | |
WO2020137088A1 (ja) | ヘッドマウントディスプレイ、表示方法、及び表示システム | |
JP7446455B2 (ja) | 位置情報取得システム、位置情報取得方法、および位置情報取得装置 | |
KR20180013607A (ko) | 플립영상을 차단하는 무안경 원통형 홀로그램 디스플레이 방법 | |
JP2011250352A (ja) | 3次元画像データ生成方法 | |
JPS6213052Y2 (ja) | ||
JP4806302B2 (ja) | 画像表示システム | |
JPS6350152B2 (ja) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150722 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160531 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160531 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160727 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161004 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161102 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6038701 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |