JPH089423A - 遠隔モニタ装置 - Google Patents
遠隔モニタ装置Info
- Publication number
- JPH089423A JPH089423A JP6137346A JP13734694A JPH089423A JP H089423 A JPH089423 A JP H089423A JP 6137346 A JP6137346 A JP 6137346A JP 13734694 A JP13734694 A JP 13734694A JP H089423 A JPH089423 A JP H089423A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- operator
- sight
- light receiving
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 210000001508 eye Anatomy 0.000 claims abstract description 21
- 241000282414 Homo sapiens Species 0.000 claims abstract description 14
- 210000004087 cornea Anatomy 0.000 abstract description 14
- 210000001747 pupil Anatomy 0.000 abstract description 3
- 208000002193 Pain Diseases 0.000 abstract description 2
- 230000036407 pain Effects 0.000 abstract description 2
- 238000012544 monitoring process Methods 0.000 abstract 1
- 210000005252 bulbus oculi Anatomy 0.000 description 27
- 238000010586 diagram Methods 0.000 description 10
- 238000000034 method Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 210000000744 eyelid Anatomy 0.000 description 4
- 210000003786 sclera Anatomy 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000009429 distress Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Control Of Position Or Direction (AREA)
- Eye Examination Apparatus (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
(57)【要約】
【目的】本発明は、遠隔モニタにおいて、任意の距離の
注視点で立体視が可能であり、観察時間が長時間になっ
ても操作員が苦痛を感じることのない遠隔モニタ装置を
提供することを目的とする。 【構成】本発明装置は、操作員の右眼及び左眼に対応し
て、それぞれ１つの発光素子２３と、眼の角膜の右上、
左上、右下、及び、左下に水平な受光領域を有する４つ
の受光素子２４、２５、２６、２７を持つことにより、
操作員の両眼の視線を検出する視線検出器３２と、操作
員の両眼の直前にそれぞれ１つのモニタ３、４を持つ頭
部装着型表示器３１と、人間の瞳孔間距離にほぼ等しい
間隔だけ離して横方向に並べて遠隔地に設置される２台
のカメラ１、２と、それぞれのカメラを独立して回転さ
せることのできる２台の回転台３４、３５を有すること
を特徴とする。
注視点で立体視が可能であり、観察時間が長時間になっ
ても操作員が苦痛を感じることのない遠隔モニタ装置を
提供することを目的とする。 【構成】本発明装置は、操作員の右眼及び左眼に対応し
て、それぞれ１つの発光素子２３と、眼の角膜の右上、
左上、右下、及び、左下に水平な受光領域を有する４つ
の受光素子２４、２５、２６、２７を持つことにより、
操作員の両眼の視線を検出する視線検出器３２と、操作
員の両眼の直前にそれぞれ１つのモニタ３、４を持つ頭
部装着型表示器３１と、人間の瞳孔間距離にほぼ等しい
間隔だけ離して横方向に並べて遠隔地に設置される２台
のカメラ１、２と、それぞれのカメラを独立して回転さ
せることのできる２台の回転台３４、３５を有すること
を特徴とする。
Description
【０００１】
【産業上の利用分野】本発明は、移動ロボット等の遠隔
操縦装置に適用される遠隔モニタ装置に関する。
操縦装置に適用される遠隔モニタ装置に関する。
【０００２】
【従来の技術】遠隔地にカメラを設置して、遠隔地の環
境の情報を獲得しようとする試みは、遠隔監視装置や、
遠隔操縦装置等で数多く行われている。特に、遠隔操作
型ロボットの遠隔操縦においては、ロボットの現在位置
と周囲の状況、および、ロボットの作業対象物と作業状
態を把握することが必要不可欠である。
境の情報を獲得しようとする試みは、遠隔監視装置や、
遠隔操縦装置等で数多く行われている。特に、遠隔操作
型ロボットの遠隔操縦においては、ロボットの現在位置
と周囲の状況、および、ロボットの作業対象物と作業状
態を把握することが必要不可欠である。
【０００３】このような周囲の状況を把握する場合、視
覚でとらえることが最も有効であることは日頃経験する
ことであり、カメラが使用される。そして、このような
周囲の状況は距離感を有して立体的に把握することが必
要であるから、人間の眼を模擬してカメラが配置されて
いる。
覚でとらえることが最も有効であることは日頃経験する
ことであり、カメラが使用される。そして、このような
周囲の状況は距離感を有して立体的に把握することが必
要であるから、人間の眼を模擬してカメラが配置されて
いる。
【０００４】以上のような背景から、従来、遠隔地に設
置された２台のカメラからの画像を右眼と左眼の前にそ
れぞれ表示し、立体視を行う手法が開発されている。図
８は、従来の視覚情報の遠隔収集法を示す図である。
置された２台のカメラからの画像を右眼と左眼の前にそ
れぞれ表示し、立体視を行う手法が開発されている。図
８は、従来の視覚情報の遠隔収集法を示す図である。
【０００５】遠隔操作型ロボット４１には、右カメラ１
と左カメラ２が搭載されている。右カメラ１と左カメラ
２は、カメラの光軸が平行かつ人間の瞳孔間距離とほぼ
等しい感覚になるように固定されている。
と左カメラ２が搭載されている。右カメラ１と左カメラ
２は、カメラの光軸が平行かつ人間の瞳孔間距離とほぼ
等しい感覚になるように固定されている。
【０００６】右カメラ１と左カメラ２により撮像された
画像は、それぞれ頭部装着型表示器３１内の右モニタ３
と左モニタ４に表示されるが、右モニタ３と左モニタ４
は、操作員の左右の眼の前にそれぞれ固定される。この
ようにして右カメラ１と左カメラ２により撮像された画
像は、右画像７、左画像８に示すように、視差が存在
し、僅かにずれている。この２枚の画像を操作員が平行
視することにより、画像が融合されれ、立体的な像が浮
かび上がり、臨場感のある環境情報が得られることにな
る。
画像は、それぞれ頭部装着型表示器３１内の右モニタ３
と左モニタ４に表示されるが、右モニタ３と左モニタ４
は、操作員の左右の眼の前にそれぞれ固定される。この
ようにして右カメラ１と左カメラ２により撮像された画
像は、右画像７、左画像８に示すように、視差が存在
し、僅かにずれている。この２枚の画像を操作員が平行
視することにより、画像が融合されれ、立体的な像が浮
かび上がり、臨場感のある環境情報が得られることにな
る。
【０００７】
【発明が解決しようとする課題】しかしながら、従来の
技術による立体視の方法では、カメラが固定されている
ため、注視点が遠くにあっても、近くにあっても、画像
は変化しない。一般に人間が左右の眼に与えられる画像
からの立体的な情報を再現するためには、左右の画像の
視差がある一定の融合範囲内にある必要がある。
技術による立体視の方法では、カメラが固定されている
ため、注視点が遠くにあっても、近くにあっても、画像
は変化しない。一般に人間が左右の眼に与えられる画像
からの立体的な情報を再現するためには、左右の画像の
視差がある一定の融合範囲内にある必要がある。
【０００８】注視点がある一定の距離範囲内に存在すれ
ば、左右の画像の視差がある一定の融合範囲内にあり、
人間が自分の目の角度を調節することによって立体視が
可能となる。しかし、目の角度を調節して立体的に見よ
うとすることは大きな苦痛を伴う。しかも、注視点があ
る一定の距離範囲以外に存在すると、人間は目の角度を
調節しきれず、立体視が不可能となり、像がボケてしま
う。
ば、左右の画像の視差がある一定の融合範囲内にあり、
人間が自分の目の角度を調節することによって立体視が
可能となる。しかし、目の角度を調節して立体的に見よ
うとすることは大きな苦痛を伴う。しかも、注視点があ
る一定の距離範囲以外に存在すると、人間は目の角度を
調節しきれず、立体視が不可能となり、像がボケてしま
う。
【０００９】また、画像上の右端や左端の特徴点（画像
上での注視点）を注視するにも、従来の技術では、カメ
ラが固定されているため、同様にボケてしまう。遠隔操
作型ロボットの遠隔操縦においては、注視する注視点の
距離は様々に変化する。そのため、撮像された画像上の
様々な特徴点を注視しようとすると、注視点の距離が変
化するごとに操作員は自分の目の角度を変化させて立体
的に見ようと努力しなければならない。また、立体的に
見えずに像がボケる場合もある。
上での注視点）を注視するにも、従来の技術では、カメ
ラが固定されているため、同様にボケてしまう。遠隔操
作型ロボットの遠隔操縦においては、注視する注視点の
距離は様々に変化する。そのため、撮像された画像上の
様々な特徴点を注視しようとすると、注視点の距離が変
化するごとに操作員は自分の目の角度を変化させて立体
的に見ようと努力しなければならない。また、立体的に
見えずに像がボケる場合もある。
【００１０】このように、常に操作員が自分の目の角度
を変化させて像を注視すると、操作員は非常に苦痛を感
じることになる。また、像がボケたりすると、さらに苦
痛を感じるようになる。その上、観察時間が長時間にわ
たると、これらの苦痛は、非常に大きなものとなる。
を変化させて像を注視すると、操作員は非常に苦痛を感
じることになる。また、像がボケたりすると、さらに苦
痛を感じるようになる。その上、観察時間が長時間にわ
たると、これらの苦痛は、非常に大きなものとなる。
【００１１】以上の結果、従来の技術では、操作員への
身体的負担が増大し、作業効率の低下、操作ミスの増大
等を来たし、重大事故につながる可能性があった。本発
明はこれらの問題を解決することができる遠隔モニタ装
置を提供することを目的とする。
身体的負担が増大し、作業効率の低下、操作ミスの増大
等を来たし、重大事故につながる可能性があった。本発
明はこれらの問題を解決することができる遠隔モニタ装
置を提供することを目的とする。
【００１２】
【課題を解決するための手段】本発明に係る遠隔モニタ
装置は、人間の瞳孔間距離にほぼ等しい間隔をおき、か
つ独立して回転自在に遠隔操作型ロボット上に配置され
た右カメラ及び左カメラと、前記右カメラと左カメラに
それぞれ映像ケーブルを介して連絡した右モニタ及び左
モニタを有する頭部装着型表示器と、操作員の右眼及び
左眼に対応して設けられ、前記頭部装着型表示器に表示
された画像中の特徴点を操作員が注視するときに操作員
の両眼の視線を検出する視線検出器と、前記視線検出器
で検出された操作員の視線から前記カメラの回転角度を
決定するカメラ回転台制御器と、前記カメラ回転台制御
器で決定されたカメラの回転角度を右カメラ回転台と左
カメラ回転台に送信する制御ケーブルとからなることを
特徴とする。
装置は、人間の瞳孔間距離にほぼ等しい間隔をおき、か
つ独立して回転自在に遠隔操作型ロボット上に配置され
た右カメラ及び左カメラと、前記右カメラと左カメラに
それぞれ映像ケーブルを介して連絡した右モニタ及び左
モニタを有する頭部装着型表示器と、操作員の右眼及び
左眼に対応して設けられ、前記頭部装着型表示器に表示
された画像中の特徴点を操作員が注視するときに操作員
の両眼の視線を検出する視線検出器と、前記視線検出器
で検出された操作員の視線から前記カメラの回転角度を
決定するカメラ回転台制御器と、前記カメラ回転台制御
器で決定されたカメラの回転角度を右カメラ回転台と左
カメラ回転台に送信する制御ケーブルとからなることを
特徴とする。
【００１３】
【作用】本発明の遠隔モニタ装置においては、人間の瞳
孔間距離にほぼ等しい間隔で配置され、かつ独立して回
転自在に遠隔操作型ロボット上に配置された右カメラと
左カメラで撮像された画像を、映像ケーブルを通して頭
部装着型表示器の右モニタと左モニタにそれぞれ表示
し、頭部装着型表示器に表示された画像中の特徴点を操
作員が注視する場合の、操作員の視線を、視線検出器で
検出する。
孔間距離にほぼ等しい間隔で配置され、かつ独立して回
転自在に遠隔操作型ロボット上に配置された右カメラと
左カメラで撮像された画像を、映像ケーブルを通して頭
部装着型表示器の右モニタと左モニタにそれぞれ表示
し、頭部装着型表示器に表示された画像中の特徴点を操
作員が注視する場合の、操作員の視線を、視線検出器で
検出する。
【００１４】前記視線検出器で検出された操作員の視線
から、カメラ回転台制御器により、カメラの回転角度を
決定し、カメラ回転台制御器で決定されたカメラの回転
角度を、制御ケーブルを通して右カメラ回転台と左カメ
ラ回転台に送信し、右カメラ回転台と左カメラ回転台を
回転させる。
から、カメラ回転台制御器により、カメラの回転角度を
決定し、カメラ回転台制御器で決定されたカメラの回転
角度を、制御ケーブルを通して右カメラ回転台と左カメ
ラ回転台に送信し、右カメラ回転台と左カメラ回転台を
回転させる。
【００１５】そして右カメラと左カメラを回転させた結
果の画像を、再び映像ケーブルを通して、頭部装着型表
示器のに右モニタと左モニタにそれぞれ表示する。前記
頭部装着型表示器の右モニタと左モニタに表示された画
像を、操作員が平行視することにより、立体視が可能と
なる。このため、任意の距離の注視点において、立体視
が可能となる。
果の画像を、再び映像ケーブルを通して、頭部装着型表
示器のに右モニタと左モニタにそれぞれ表示する。前記
頭部装着型表示器の右モニタと左モニタに表示された画
像を、操作員が平行視することにより、立体視が可能と
なる。このため、任意の距離の注視点において、立体視
が可能となる。
【００１６】
【実施例】本発明の第１実施例を図面用いて詳細に説明
する。図１は、本発明の第１実施例としての遠隔モニタ
装置の構成図である。処理の流れを以下に示す。 （１）右カメラ１と左カメラ２で撮像された画像を、映
像ケーブル３０を通して頭部装着型表示器３１の右モニ
タ３と左モニタ４にそれぞれ表示する。 （２）頭部装着型表示器３１に表示された画像中の特徴
点を操作員が注視する場合の、操作員の視線を、視線検
出器３２で検出する。 （３）視線検出器３２で検出された操作員の視線から、
カメラ回転台制御器３３により、カメラの回転角度を決
定する。 （４）カメラ回転台制御器３３で決定されたカメラの回
転角度を、制御ケーブル２９を通して右カメラ回転台３
４と左カメラ回転台３５に送信し、右カメラ回転台３４
と左カメラ回転台３５を回転させる。 （５）右カメラ１と左カメラ２を回転させた結果の画像
を、再び映像ケーブル３０を通して、頭部装着型表示器
３１のに右モニタ３と左モニタ４にそれぞれ表示する。 （６）頭部装着型表示器３１の右モニタ３と左モニタ４
に表示された画像を、操作員が平行視することにより、
立体視が可能となる。
する。図１は、本発明の第１実施例としての遠隔モニタ
装置の構成図である。処理の流れを以下に示す。 （１）右カメラ１と左カメラ２で撮像された画像を、映
像ケーブル３０を通して頭部装着型表示器３１の右モニ
タ３と左モニタ４にそれぞれ表示する。 （２）頭部装着型表示器３１に表示された画像中の特徴
点を操作員が注視する場合の、操作員の視線を、視線検
出器３２で検出する。 （３）視線検出器３２で検出された操作員の視線から、
カメラ回転台制御器３３により、カメラの回転角度を決
定する。 （４）カメラ回転台制御器３３で決定されたカメラの回
転角度を、制御ケーブル２９を通して右カメラ回転台３
４と左カメラ回転台３５に送信し、右カメラ回転台３４
と左カメラ回転台３５を回転させる。 （５）右カメラ１と左カメラ２を回転させた結果の画像
を、再び映像ケーブル３０を通して、頭部装着型表示器
３１のに右モニタ３と左モニタ４にそれぞれ表示する。 （６）頭部装着型表示器３１の右モニタ３と左モニタ４
に表示された画像を、操作員が平行視することにより、
立体視が可能となる。
【００１７】以上の処理を繰り返すことによって、任意
の距離の注視点において、立体視が可能となる。次に、
構成部分の作動について詳細に説明する。
の距離の注視点において、立体視が可能となる。次に、
構成部分の作動について詳細に説明する。
【００１８】まず初めに、視線検出器３２について述べ
る。発光素子２３を、図２に示すように、眼球全体を均
等に照射するように取付ける。
る。発光素子２３を、図２に示すように、眼球全体を均
等に照射するように取付ける。
【００１９】受光素子２４、２５、２６、２７は、角膜
の左上・右上・左下・右下の受光領域１９、２０、２
１、２２の光量を検出するように取付ける。眼球の動き
に伴う、受光素子２４、２５、２６、２７の出力変化の
一例を、図３に示す。
の左上・右上・左下・右下の受光領域１９、２０、２
１、２２の光量を検出するように取付ける。眼球の動き
に伴う、受光素子２４、２５、２６、２７の出力変化の
一例を、図３に示す。
【００２０】図３（ａ）に示すように、眼球が右側に移
動した場合には、受光領域２０、２２中に占める角膜の
割合が大きくなり、受光領域１９、２１中に占める角膜
の割合が小さくなる。
動した場合には、受光領域２０、２２中に占める角膜の
割合が大きくなり、受光領域１９、２１中に占める角膜
の割合が小さくなる。
【００２１】受光素子２４、２５、２６、２７の出力
は、受光領域の光量に比例するので、受光領域の中で角
膜が占める割合が大きくなれば受光領域が暗くなり、出
力は小さくなる。逆に、受光領域中での角膜が占める割
合が小さくなれば受光領域が明るくなり、出力は大きく
なる。
は、受光領域の光量に比例するので、受光領域の中で角
膜が占める割合が大きくなれば受光領域が暗くなり、出
力は小さくなる。逆に、受光領域中での角膜が占める割
合が小さくなれば受光領域が明るくなり、出力は大きく
なる。
【００２２】したがって、受光素子２５、２７の出力は
小さくなり、受光素子２４、２６の出力は大きくなる。
図３（ｂ）に示すように、眼球が左側に移動した場合に
は、受光領域２５、２７の出力は大きくなり、受光素子
２４、２６の出力は小さくなる。
小さくなり、受光素子２４、２６の出力は大きくなる。
図３（ｂ）に示すように、眼球が左側に移動した場合に
は、受光領域２５、２７の出力は大きくなり、受光素子
２４、２６の出力は小さくなる。
【００２３】図３（ｃ）に示すように、眼球が上側に移
動した場合には、受光領域２４、２５の出力は小さくな
り、受光素子２６、２７の出力は大きくなる。図３
（ｄ）に示すように、眼球が下側に移動した場合には、
受光領域２４、２５の出力は大きくなり、受光素子２
６、２７の出力は小さくなる。
動した場合には、受光領域２４、２５の出力は小さくな
り、受光素子２６、２７の出力は大きくなる。図３
（ｄ）に示すように、眼球が下側に移動した場合には、
受光領域２４、２５の出力は大きくなり、受光素子２
６、２７の出力は小さくなる。
【００２４】以上のことから、受光素子２４、２５、２
６、２７の出力から、眼球の移動量、即ち視線が検出で
きる。受光素子２４、２５、２６、２７の出力は、演算
器２８に入力され、視線を出力する。
６、２７の出力から、眼球の移動量、即ち視線が検出で
きる。受光素子２４、２５、２６、２７の出力は、演算
器２８に入力され、視線を出力する。
【００２５】以下に、視線の検出アルゴリズムについて
述べる。図４に示すように、眼球が正面を向いている時
の瞳孔中心を原点とする座標系をとる。
述べる。図４に示すように、眼球が正面を向いている時
の瞳孔中心を原点とする座標系をとる。
【００２６】ここでは、眼球を正面から見た場合、角膜
を完全な円として考える。角膜半径をｒとし、角膜を円
と考えたときの方程式をＲ、角膜の中心に位置する瞳孔
中心Ｃの座標（ｘｃ，ｙｃ）とする。
を完全な円として考える。角膜半径をｒとし、角膜を円
と考えたときの方程式をＲ、角膜の中心に位置する瞳孔
中心Ｃの座標（ｘｃ，ｙｃ）とする。
【００２７】 Ｒ：（ｘ−ｘｃ）2 ＋（ｙ−ｙｃ）2 ＝ｒ2 受光領域１９、２０、２１、２２を直線と考え、それぞ
れＬ１、Ｌ２、Ｌ３、、Ｌ４とする。Ｌ１の右端の座標
を（−ａ，ｂ）、Ｌ２の左端の座標を（ａ，ｂ）、Ｌ３
の右端の座標を（−ａ，−ｂ）、Ｌ４の左端の座標を
（ａ，−ｂ）とする。
れＬ１、Ｌ２、Ｌ３、、Ｌ４とする。Ｌ１の右端の座標
を（−ａ，ｂ）、Ｌ２の左端の座標を（ａ，ｂ）、Ｌ３
の右端の座標を（−ａ，−ｂ）、Ｌ４の左端の座標を
（ａ，−ｂ）とする。
【００２８】角膜の外周とＬ１、Ｌ２、Ｌ３、Ｌ４の交
点をそれぞれＰ１、Ｐ２、Ｐ３、Ｐ４とする。Ｐ１、Ｐ
２、Ｐ３、Ｐ４において、次式が成立する。
点をそれぞれＰ１、Ｐ２、Ｐ３、Ｐ４とする。Ｐ１、Ｐ
２、Ｐ３、Ｐ４において、次式が成立する。
【００２９】
【数１】
【００３０】
【数２】
【００３１】従って、（７）式と（１０）式から、原点
からの瞳孔中心のずれ（ｘｃ，ｙｃ）が、座標α、β、
κ、ωの関数として、求められる。そこで、次のように
受光素子２４、２５、２６、２７の出力を変換する。
からの瞳孔中心のずれ（ｘｃ，ｙｃ）が、座標α、β、
κ、ωの関数として、求められる。そこで、次のように
受光素子２４、２５、２６、２７の出力を変換する。
【００３２】まず、受光領域１９、２０、２１、２２を
すべて図２に示す強膜４０内に取った場合の受光素子２
４、２５、２６、２７の出力に対する、視線検出時の受
光素子２４、２５、２６、２７の出力の比率を求める。
すべて図２に示す強膜４０内に取った場合の受光素子２
４、２５、２６、２７の出力に対する、視線検出時の受
光素子２４、２５、２６、２７の出力の比率を求める。
【００３３】そして、これに受光領域１９、２０、２
１、２２の横方向の長さを乗じることにより、受光素子
２４、２５、２６、２７の出力を受光領域１９、２０、
２１、２２中の横方向の長さに換算する。最終的には、
この長さに換算された出力ａを加えたものを座標位置と
して考える。
１、２２の横方向の長さを乗じることにより、受光素子
２４、２５、２６、２７の出力を受光領域１９、２０、
２１、２２中の横方向の長さに換算する。最終的には、
この長さに換算された出力ａを加えたものを座標位置と
して考える。
【００３４】つまり、以下のようになる。受光領域１
９、２０、２１、２２の横方向の長さをＪとし、受光領
域１９、２０、２１、２２の内部をすべて強膜４０内に
取った場合の受光素子２４、２５、２６、２７の出力を
それぞれＰＰ１、ＰＰ２、ＰＰ３、ＰＰ４とする。受光
素子２４、２５、２６、２７の出力をそれぞれＰＯ１、
ＰＯ２、ＰＯ３、ＰＯ４とすると、座標α、β、κ、ω
は、次のように求められる。
９、２０、２１、２２の横方向の長さをＪとし、受光領
域１９、２０、２１、２２の内部をすべて強膜４０内に
取った場合の受光素子２４、２５、２６、２７の出力を
それぞれＰＰ１、ＰＰ２、ＰＰ３、ＰＰ４とする。受光
素子２４、２５、２６、２７の出力をそれぞれＰＯ１、
ＰＯ２、ＰＯ３、ＰＯ４とすると、座標α、β、κ、ω
は、次のように求められる。
【００３５】
【数３】
【００３６】従って、（１５）式と（１６）式から、角
膜の上下左右の移動量が検出できる。この検出方法で
は、眼けん（まぶた）が受光領域に含まれないので、垂
直方向の検出が精度よく行える。
膜の上下左右の移動量が検出できる。この検出方法で
は、眼けん（まぶた）が受光領域に含まれないので、垂
直方向の検出が精度よく行える。
【００３７】図５に示すように、眼球中心から角膜まで
の距離をＬｉとすると、眼球の上下方向の角度φと左右
方向の角度θは、視線検出器３２の出力ｘｃとｙｃを用
いて、次の（１７）式で表される。
の距離をＬｉとすると、眼球の上下方向の角度φと左右
方向の角度θは、視線検出器３２の出力ｘｃとｙｃを用
いて、次の（１７）式で表される。
【００３８】
【数４】
【００３９】最終的には、数多くの指標を注視すること
によって眼球に既知の運動をさせ、その際の発光素子の
出力ＰＯ１、ＰＯ２、ＰＯ３、ＰＯ４を計測して、最小
自乗法によって較正する。
によって眼球に既知の運動をさせ、その際の発光素子の
出力ＰＯ１、ＰＯ２、ＰＯ３、ＰＯ４を計測して、最小
自乗法によって較正する。
【００４０】次に、カメラ回転台制御器３３について述
べる。注視点の３次元位置が変化すると、左右の画像上
で視差が変化するため、その注視点を注視しようとする
と、操作員は、眼球の角度を変化させなければならな
い。
べる。注視点の３次元位置が変化すると、左右の画像上
で視差が変化するため、その注視点を注視しようとする
と、操作員は、眼球の角度を変化させなければならな
い。
【００４１】つまり、図６に示すように、注視点３６が
近方にある場合は、眼球角度３７が大きくなり、注視点
３６が遠方にある場合は、眼球角度３７が小さくなる。
したがって、任意の距離の注視点で立体視しようとする
と、左右のカメラの光軸は平行のままではなく、操作員
の眼球の移動角度に等しい角度で２台のカメラを回転さ
せなければならない。
近方にある場合は、眼球角度３７が大きくなり、注視点
３６が遠方にある場合は、眼球角度３７が小さくなる。
したがって、任意の距離の注視点で立体視しようとする
と、左右のカメラの光軸は平行のままではなく、操作員
の眼球の移動角度に等しい角度で２台のカメラを回転さ
せなければならない。
【００４２】そこで、眼球角度３７を、視線検出器３２
の出力から求め、遠隔操作型ロボットに搭載されたカメ
ラを回転させる。最後に、遠隔操作型ロボットに搭載し
たカメラとカメラの回転台について述べる。
の出力から求め、遠隔操作型ロボットに搭載されたカメ
ラを回転させる。最後に、遠隔操作型ロボットに搭載し
たカメラとカメラの回転台について述べる。
【００４３】図７に示すように、右カメラ１と左カメラ
２は、人間の瞳孔間距離に等しい感覚で右カメラ回転台
３４と左カメラ回転台３５に取付けられており、それぞ
れ互いに独立して回転することができる。また、その回
転中心も、人間の眼球の回転中心と等しくしてある。し
たがって、人間の眼球の運動と同じ動きが実現できる。
２は、人間の瞳孔間距離に等しい感覚で右カメラ回転台
３４と左カメラ回転台３５に取付けられており、それぞ
れ互いに独立して回転することができる。また、その回
転中心も、人間の眼球の回転中心と等しくしてある。し
たがって、人間の眼球の運動と同じ動きが実現できる。
【００４４】図７（ａ）〜（ｄ）に、主な動きを示す。
カメラは、人間の眼球運動と同じような動きが可能とな
る。このようにして、右カメラ１と左カメラ２の回転各
を操作員の眼球角度にしたがって変化させることによ
り、右カメラ１と左カメラ２から得られた右モニタ３と
左モニタ４の画像を操作員が平行視すれば、任意の距離
の注視点で立体視が可能となる。
カメラは、人間の眼球運動と同じような動きが可能とな
る。このようにして、右カメラ１と左カメラ２の回転各
を操作員の眼球角度にしたがって変化させることによ
り、右カメラ１と左カメラ２から得られた右モニタ３と
左モニタ４の画像を操作員が平行視すれば、任意の距離
の注視点で立体視が可能となる。
【００４５】
【発明の効果】本発明は前述のように構成されているの
で、以下に記載するような効果を奏する。 （１）２台のカメラは、人間の瞳孔間距離と等しい感覚
になるように設置しているので、視線検出器によって検
出された視線、即ち眼球移動角度に基づいて、それぞれ
対応する２台のカメラを回転させることにより、頭部装
着型表示器に表示される２枚の画像は、操作員が実際に
右目と左目で観測した画像とほぼ一致する。したがっ
て、操作員は、その２枚の画像を平行視することによっ
て、目の角度を調節することなく、常に立体視が可能と
なる。 （２）本発明装置を用いることにより、遠隔モニタにお
いて、任意の距離の注視点で立体視が可能となる。 （３）本発明の装置では、視線の検出において、視線検
出器の受光領域が眼けんを含まないので、眼けんの動き
に左右されず精度良く視線を検出することができる。 （４）また、この視線検出器を用いて、遠隔操作型ロボ
ットに搭載されたカメラを、操作員の眼球角度にしたが
って回転させるため、任意の距離の注視点で立体視が可
能となる。 （５）したがって、本発明を用いることにより、遠隔操
作型ロボットの操作員の立体視に対する負担を軽減する
ことができるため、長時間に及ぶ遠隔操作型ロボットの
操縦における疲労を押さえることができる。 （６）そして、立体視が容易に行えるために、遠隔操作
型ロボットの操縦を容易にすることができる。そのた
め、産業上の利用効果は極めて大きい。
で、以下に記載するような効果を奏する。 （１）２台のカメラは、人間の瞳孔間距離と等しい感覚
になるように設置しているので、視線検出器によって検
出された視線、即ち眼球移動角度に基づいて、それぞれ
対応する２台のカメラを回転させることにより、頭部装
着型表示器に表示される２枚の画像は、操作員が実際に
右目と左目で観測した画像とほぼ一致する。したがっ
て、操作員は、その２枚の画像を平行視することによっ
て、目の角度を調節することなく、常に立体視が可能と
なる。 （２）本発明装置を用いることにより、遠隔モニタにお
いて、任意の距離の注視点で立体視が可能となる。 （３）本発明の装置では、視線の検出において、視線検
出器の受光領域が眼けんを含まないので、眼けんの動き
に左右されず精度良く視線を検出することができる。 （４）また、この視線検出器を用いて、遠隔操作型ロボ
ットに搭載されたカメラを、操作員の眼球角度にしたが
って回転させるため、任意の距離の注視点で立体視が可
能となる。 （５）したがって、本発明を用いることにより、遠隔操
作型ロボットの操作員の立体視に対する負担を軽減する
ことができるため、長時間に及ぶ遠隔操作型ロボットの
操縦における疲労を押さえることができる。 （６）そして、立体視が容易に行えるために、遠隔操作
型ロボットの操縦を容易にすることができる。そのた
め、産業上の利用効果は極めて大きい。
【図１】本発明の第１実施例に係る遠隔モニタ装置の構
成図。
成図。
【図２】第１実施例における視線検出器の構成図。
【図３】第１実施例における視線検出器の原理図。
【図４】第１実施例のアルゴリズムを示す図。
【図５】第１実施例の表示画像に対する眼球の運動を示
す図。
す図。
【図６】第１実施例の注視点の距離によって変化する眼
球角度に対する説明図。
球角度に対する説明図。
【図７】第１実施例のカメラ回転台の運動図。
【図８】従来の遠隔モニタ装置の構成図。
１…右カメラ、２…左カメラ、３…右モニタ、４…左モ
ニタ、５…右眼球、６…左眼球、７…右画像、８…左画
像、１９、２０、２１、２２…受光領域、２３…発光素
子、２４、２５、２６、２７…受光素子、２８…演算
器、２９…制御ケーブル、３０…映像ケーブル、３１…
頭部装着型表示器、３２…視線検出器、３３…カメラ回
転台制御器、３４…右カメラ回転台、３５…左カメラ回
転台、３６…注視点、３７…眼球角度、３８…画像上の
注視点、３９…角膜、４０…強膜、４１…遠隔操作型ロ
ボット、４２…眼球中心。
ニタ、５…右眼球、６…左眼球、７…右画像、８…左画
像、１９、２０、２１、２２…受光領域、２３…発光素
子、２４、２５、２６、２７…受光素子、２８…演算
器、２９…制御ケーブル、３０…映像ケーブル、３１…
頭部装着型表示器、３２…視線検出器、３３…カメラ回
転台制御器、３４…右カメラ回転台、３５…左カメラ回
転台、３６…注視点、３７…眼球角度、３８…画像上の
注視点、３９…角膜、４０…強膜、４１…遠隔操作型ロ
ボット、４２…眼球中心。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０５Ｄ 3/12 Ｋ Ｈ０４Ｎ 5/232 Ｚ
Claims (1)
- 【請求項１】人間の瞳孔間距離にほぼ等しい間隔をお
き、かつ独立して回転自在に遠隔操作型ロボット上に配
置された右カメラ（１）及び左カメラ（２）と、 前記右カメラ（１）と左カメラ（２）にそれぞれ映像ケ
ーブル（３０）を介して連絡した右モニタ（３）及び左
モニタ（４）を有する頭部装着型表示器（３１）と、 操作員の右眼及び左眼に対応して設けられ、前記頭部装
着型表示器（３１）に表示された画像中の特徴点を操作
員が注視するときに操作員の両眼の視線を検出する視線
検出器（３２）と、 前記視線検出器（３２）で検出された操作員の視線から
前記カメラ（１、２）の回転角度を決定するカメラ回転
台制御器（３３）と、 前記カメラ回転台制御器で決定されたカメラの回転角度
を右カメラ回転台（３４）と左カメラ回転台（３５）に
送信する制御ケーブル（２９）とからなることを特徴と
する遠隔モニタ装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6137346A JPH089423A (ja) | 1994-06-20 | 1994-06-20 | 遠隔モニタ装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6137346A JPH089423A (ja) | 1994-06-20 | 1994-06-20 | 遠隔モニタ装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH089423A true JPH089423A (ja) | 1996-01-12 |
Family
ID=15196504
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6137346A Withdrawn JPH089423A (ja) | 1994-06-20 | 1994-06-20 | 遠隔モニタ装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH089423A (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1193220A (ja) * | 1997-09-16 | 1999-04-06 | Ohbayashi Corp | 建設機械用遠隔操作装置 |
| DE19906244A1 (de) * | 1999-02-15 | 2000-08-24 | Alf Holger Tschersich | Vorrichtung zur elektrischen realen Raumbildvermittlung ferngelenkter selbstbeweglicher Vorrichtungen |
| JP2004118469A (ja) * | 2002-09-25 | 2004-04-15 | Matsushita Electric Works Ltd | 自律移動装置 |
| JP2006511305A (ja) * | 2002-12-19 | 2006-04-06 | ボシュ・アンド・ロム・インコーポレイテッド | 球形対象の運動の追跡のためのシステム |
| KR100884895B1 (ko) * | 2007-08-10 | 2009-02-23 | 연세대학교 산학협력단 | 카메라가 장착된 이동장치의 제어 시스템 및 헤드 마운트형 장치 |
| CN103581656A (zh) * | 2013-10-12 | 2014-02-12 | 东莞市凯泰科技有限公司 | 控制双目立体影像的方法 |
| JP2020037145A (ja) * | 2018-09-03 | 2020-03-12 | 川崎重工業株式会社 | ロボットシステム |
| CN111126328A (zh) * | 2019-12-30 | 2020-05-08 | 中祖建设安装工程有限公司 | 一种智慧消防人员姿态监测方法及系统 |
-
1994
- 1994-06-20 JP JP6137346A patent/JPH089423A/ja not_active Withdrawn
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1193220A (ja) * | 1997-09-16 | 1999-04-06 | Ohbayashi Corp | 建設機械用遠隔操作装置 |
| DE19906244A1 (de) * | 1999-02-15 | 2000-08-24 | Alf Holger Tschersich | Vorrichtung zur elektrischen realen Raumbildvermittlung ferngelenkter selbstbeweglicher Vorrichtungen |
| JP2004118469A (ja) * | 2002-09-25 | 2004-04-15 | Matsushita Electric Works Ltd | 自律移動装置 |
| JP2006511305A (ja) * | 2002-12-19 | 2006-04-06 | ボシュ・アンド・ロム・インコーポレイテッド | 球形対象の運動の追跡のためのシステム |
| KR100884895B1 (ko) * | 2007-08-10 | 2009-02-23 | 연세대학교 산학협력단 | 카메라가 장착된 이동장치의 제어 시스템 및 헤드 마운트형 장치 |
| CN103581656A (zh) * | 2013-10-12 | 2014-02-12 | 东莞市凯泰科技有限公司 | 控制双目立体影像的方法 |
| JP2020037145A (ja) * | 2018-09-03 | 2020-03-12 | 川崎重工業株式会社 | ロボットシステム |
| WO2020050179A1 (ja) * | 2018-09-03 | 2020-03-12 | 川崎重工業株式会社 | ロボットシステム |
| EP3848164A4 (en) * | 2018-09-03 | 2022-06-15 | Kawasaki Jukogyo Kabushiki Kaisha | ROBOT SYSTEM |
| US11833698B2 (en) | 2018-09-03 | 2023-12-05 | Kawasaki Jukogyo Kabushiki Kaisha | Vision system for a robot |
| CN111126328A (zh) * | 2019-12-30 | 2020-05-08 | 中祖建设安装工程有限公司 | 一种智慧消防人员姿态监测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240022704A1 (en) | Combining video-based and optic-based augmented reality in a near eye display | |
| US20210022599A1 (en) | Augmented and extended reality glasses for use in surgery visualization and telesurgery | |
| US9330477B2 (en) | Surgical stereo vision systems and methods for microsurgery | |
| CN103323948B (zh) | 头戴式显示器 | |
| US11570426B2 (en) | Computer-readable non-transitory storage medium, web server, and calibration method for interpupillary distance | |
| CN108828779B (zh) | 一种头戴式显示设备 | |
| JPH0759032A (ja) | 画像ディスプレー装置 | |
| US20210335483A1 (en) | Surgery visualization theatre | |
| KR101203921B1 (ko) | 안구 추적과 위치 기반 서비스를 이용한 정보 제공 장치 | |
| CN205195880U (zh) | 观看设备及观看系统 | |
| JP5571390B2 (ja) | 画像化装置及び画像化方法 | |
| JP2019162251A (ja) | 眼球回転検出装置、電子機器及びシステム | |
| JPH089423A (ja) | 遠隔モニタ装置 | |
| JP3482228B2 (ja) | 視線検出によるマニピュレータ制御システム | |
| JP2017191546A (ja) | 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法 | |
| JPH0685590B2 (ja) | 立体表示システム | |
| JPH02291787A (ja) | 広視野表示装置 | |
| JP6479835B2 (ja) | 入出力装置、入出力プログラム、および入出力方法 | |
| US10780015B2 (en) | Method and apparatus for visual training | |
| JP7012983B2 (ja) | 顔画像処理装置 | |
| Schinko et al. | Building a Driving Simulator with Parallax Barrier Displays. | |
| JP7309830B2 (ja) | 電子機器及び表示方法 | |
| WO2023157332A1 (ja) | 情報処理装置および調整画面表示方法 | |
| EP4146115A1 (en) | Surgery visualization theatre | |
| EP4034028A1 (en) | Augmented and extended reality glasses for use in surgery visualization and telesurgery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20010904 |