JPH08223455A - 作業ロボットの映像制御装置 - Google Patents

Abstract

(57)【要約】 【目的】 連続かつ自然な動画像が認識でき、作業ロボ
ットからの映像による特殊環境下での作業を確実かつ効
率的に行う。 【構成】 眼球連動回転装置７ａ，７ｂ及び台座回転装
置１０が、ＨＭＤ３からの視線情報により眼球の動きに
連動して画像の中心と視線が一致するように右眼用カメ
ラ４と左眼用カメラ５を上下左右に回転させると共に、
ＨＭＤ３が装着される頭部の向き、すなわち首の動きに
応じた頭部向き情報により台座６を頭部の向きに応じて
上下左右に回転させることで、ＨＭＤ３を装着者の眼球
及び首の動きに応じた像を撮像する。ミラー部１４は、
オートフォーカス８からの物体距離情報に基づく視度調
整回路１５の制御及び視線検出回路１２が検出した視線
情報により、表示部１１に表示される画像の結像位置を
調整する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、宇宙空間や超高温、深
海、原子炉内部等宇宙空間や超高温、深海、原子炉内部
等の特殊環境下での作業が制御される作業ロボットの映
像制御装置に関する。

【０００２】

【従来の技術】最近、航空機等のパイロット養成には実
際の航空機を用いずに、コンピュータグラフィックス
（以下、ＣＧ）を用いたシミュレーションで各都市の空
港における離着陸訓練や非常時の対処等の訓練が行われ
るようになっている。また、このようなシミュレーショ
ンは、上記訓練のみならず、娯楽用のゲーム機器等にも
応用されており、シミュレーションにおいては、より現
実感をもたらすための、いわゆる仮想現実感を取り入れ
たシミュレーションの研究が盛んに行われている。

【０００３】一方、近年、宇宙空間や超高温、深海、原
子炉内部等、人間が直接作業するには、非常に危険を伴
う現場での作業を行うロボットが開発、研究されてい
る。

【０００４】このようなロボットにおいて、上記のよう
な現場での種々の判断や細かい作業は、多岐に渡る判断
条件等の処理を有するプログラムによりロボット自身で
行わせることが考えられているが、そのようなプログラ
ムの開発には多大なコストがかかるばかりでなく、大規
模プログラムとなるため処理に時間がかかり実作業に影
響が生じたり、実際の予期することのできないトラブル
には対処できないといった問題があった。

【０００５】そこで、ロボット研究においても上記の仮
想現実をロボットからの映像により実現し、ロボットを
遠隔操作し現場での種々の判断や細かい作業を人間がお
こなうことで、上記のような問題を解決することが試み
られている。

【０００６】

【発明が解決しようとする課題】しかしながら、今日の
仮想現実シミュレーションは、ＨＭＤ（Head Mounted D
isplay)を頭部に装着して、眼球や首の動きを検出し、
予め作成されたＣＧをＨＭＤに表示し、データグローブ
等により感触を手に与えることにより仮想現実感を実現
してしているが、ロボットへの仮想現実技術の適用にお
いては、ＨＭＤに表示される画像はロボットからの実際
の映像に基づく画像であるために、眼球や首の動きを検
出しロボットからの映像、すなわちロボットの撮像部、
例えばＴＶカメラを制御する必要がある。

【０００７】このようなロボットの映像制御における現
状は十分ではなく、実際の人間が認識するように像を自
然に撮像することができず、所望の仮想現実感を得るこ
とができないといった欠点がある。

【０００８】本発明は、上記事情に鑑みてなされたもの
であり、連続かつ自然な動画像が認識でき、作業ロボッ
トからの映像による特殊環境下での作業を確実かつ効率
的に行うことのできる作業ロボットの映像制御装置を提
供することを目的としている。

【０００９】

【課題を解決するための手段及び作用】本発明の作業ロ
ボットの映像制御装置は、被写体を撮像する撮像部を有
する撮像手段と、前記撮像手段からの映像を表示する表
示手段と、前記表示手段に表示される映像に基づいて前
記撮像手段を制御する制御手段とを有する作業ロボット
の映像制御装置において、前記制御手段は、前記表示手
段に表示される映像を結像する表示像結像手段と、前記
表示像結像手段が結像した像を観察する視線を検出する
視線検出手段とを備え、前記撮像手段は、前記視線検出
手段が検出した視線に基づき、前記撮像部の撮像方向を
制御する撮像部制御手段と、前記撮像部制御手段により
制御された撮像方向の前記被写体に焦点を合わせると共
に、前記被写体までの距離を算出する被写体距離算出手
段とを備え、前記表示像結像手段は、前記視線検出手段
が検出した視線と、前記被写体距離算出手段が検出した
前記被写体までの距離とに基づき、前記表示手段に表示
される映像の結像位置を変化させることで、連続かつ自
然な動画像が認識でき、作業ロボットからの映像による
特殊環境下での作業を確実かつ効率的に行うことを可能
とする。

【００１０】

【実施例】以下、図面を参照しながら本発明の実施例に
ついて述べる。

【００１１】図１ないし図７は本発明の一実施例に係わ
り、図１は作業ロボットの映像制御装置の構成を示すブ
ロック図、図２は図１の右眼用カメラと左眼用カメラの
外観を示す外観図、図３は図１の右眼用カメラ及び左眼
用カメラの撮像光学系の構成を示す構成図、図４は図１
のＨＭＤにおける視線検出回路及びミラー部の構成を示
す構成図、図５は図１のミラー部の作用を説明する第１
の説明図、図６は図１のミラー部の作用を説明する第２
の説明図、図７は図１のミラー部の変形例の作用を説明
する説明図である。

【００１２】図１に示すように、本実施例の仮想現実に
より特殊環境下での作業が制御される作業ロボットの映
像制御装置１は、宇宙空間や超高温、深海、原子炉内部
等の現場に配置される映像撮像部２（撮像手段）と、人
間の頭部に装着され映像撮像部２が撮像した映像により
仮想現実画像を表示するＨＭＤ３（制御手段）とから構
成される。

【００１３】映像撮像部２では、２台の右眼用カメラ４
と左眼用カメラ５（撮像部）とが台座６に固定されてい
る。また、映像撮像部２は、前記ＨＭＤ３からの後述す
る視線情報により眼球の動きに連動して画像の中心と視
線が一致するように前記の右眼用カメラ４と左眼用カメ
ラ５を回転させ撮像向きを変える眼球連動回転装置７
ａ，７ｂ（撮像部制御手段）と、眼球連動回転装置７
ａ，７ｂにより向けられた視線方向の物体への右眼用カ
メラ４及び左眼用カメラ５のフォーカシングを行うオー
トフォーカス８（被写体距離算出手段）と、右眼用カメ
ラ４及び左眼用カメラ５が撮像する像の明るさに基づき
絞りを制御するオートアイリス９と、ＨＭＤ３からのＨ
ＭＤ３が装着される頭部の向き、すなわち首の動きに応
じた頭部向き情報により台座６を頭部の向きに応じて回
転させる台座回転装置１０とを備えて構成される。

【００１４】ＨＭＤ３は、右眼用カメラ４及び左眼用カ
メラ５からの映像を表示し仮想現実感をもたらす表示部
１１（表示手段）と、表示部１１を見る眼の視線を検出
する視線検出回路１２（視線検出手段）と、オートアイ
リス９からの輝度情報により表示部１１の輝度を調整す
る輝度調整回路１３と、オートフォーカス８からの物体
距離情報に基づき表示部１１に表示される画像をフォー
カシングされている物体の視度に応じた位置に結像調整
するミラー部１４（表示像結像手段）を制御する視度調
整回路１５とを備えており、ミラー部１４は、また、視
線検出回路１２が検出した視線情報により視線方向に表
示部１１に表示される画像が位置するように結像位置を
調整するようになっている。ミラー部１４の詳細な作用
については後述する。

【００１５】また、ＨＭＤ３にはＨＭＤ３が装着される
頭部の向き、すなわち首の動きに応じた頭部向きを検知
する頭部向きセンサ１６と、頭部向きセンサが検知した
信号により頭部向き情報を生成する頭部向き情報回路１
７とを備えていて、生成された頭部向き情報は前記の映
像撮像部２の台座回転装置１０に出力される。

【００１６】このように構成された映像制御装置１の映
像撮像部２では、眼球連動回転装置７ａ，７ｂ及び台座
回転装置１０が、図２に示すように、ＨＭＤ３からの視
線情報により眼球の動きに連動して画像の中心と視線が
一致するように右眼用カメラ４と左眼用カメラ５を上下
左右に回転させると共に、ＨＭＤ３が装着される頭部の
向き、すなわち首の動きに応じた頭部向き情報により台
座６を頭部の向きに応じて上下左右に回転させること
で、ＨＭＤ３を装着者の眼球及び首の動きに応じた像を
撮像する。

【００１７】右眼用カメラ４及び左眼用カメラ５の撮像
光学系は、図３に示すように、物体像を入射する対物レ
ンズ系２１を備え、この対物レンズ系２１は物体像をフ
ィルタ２２を介して固体撮像素子、例えばＣＣＤ２３の
受光面に結像させることで物体像を撮像する。対物レン
ズ系２１は、１２０°以上の広角のノンディストーショ
ンレンズ２４を有すると共に、オートアイリス９により
撮像される画像に応じて絞り２５が調整され、また、オ
ートフォーカス８により画像中心に位置する物体にフォ
ーカシングされる（図１参照）。

【００１８】一方、ＨＭＤ３では、図４に示すように、
視線検出回路１２がＨＭＤ３の装着者３０の眼球をミラ
ー部１４内のハーフミラー３１を介してＣＣＤ３２で撮
像し、撮像した眼球の画像から信号処理部３３で視線を
算出する。なお、眼球画像からの視線算出方法は公知で
あるので説明は省略する。

【００１９】また、ミラー部１４は、前記ハーフミラー
３１の他に偏向ミラー３４及びミラー３５と、複数のレ
ンズ３６から構成されており、視線検出回路１２からの
視線情報により偏向ミラー３４を可動させることで像３
７を含む画面を図中上下方向に移動させ視覚移動させる
と共に、オートフォーカス８からの物体距離情報に基づ
きレンズ３６を可動させることで像３７を含む画面を図
中左右方向に移動させ像３７を遠近移動させる。

【００２０】このようなミラー部１４の作用により、例
えば、ある時、表示部１１が表示する画面に対する装着
者３０の眼４１の視野４２が図５に示すような場合に対
して、図６に示すように、眼４１が移動すると視線も移
動するが、視線検出回路１２によりミラー部１４が制御
され、図４において説明したように偏向ミラー３４を可
動させることで、装着者３０の眼４１には視野４３を中
心とする表示部１１の画面全体が移動することになる。

【００２１】上記の視野４２とは人間が意識的に認識で
きる領域であり、実際の視覚においては、上記視野４２
よりも大きな範囲の像が角膜に入射され、その結果、眼
球の移動による像の変遷を像の連続した空間的移動とし
て違和感なく認識しているが、本実施例の映像制御装置
１においても、上述したように、視線検出回路１２から
の視線情報により偏向ミラー３４を可動させることで、
図４に示した像３７を含む画面全体を移動しているの
で、通常の眼球移動による像の認識と同様に連続かつ自
然な動画像が認識でき、ロボットからの映像による特殊
環境下での作業を確実かつ効率的に行うことができる。

【００２２】なお、図４で説明したように、上記ミラー
部１４において、オートフォーカス８からの物体距離情
報に基づきレンズ３６を可動させることで、像３７を含
む画面を図４中左右方向に移動させ像３７を遠近移動さ
せるとしたが、これに限らず、図７に示すように、ハー
フミラー３１を回転させると供に、ハーフミラー３１の
中心を平行移動させることで、像を含む画面を移動させ
像３７を遠近移動させるようにしてもよい。

【００２３】ところで、上記右眼用カメラ４及び左眼用
カメラ５に用いられるレンズ等は、製造時にその形状を
測定し、所望の形状に形成されているかを検査する必要
があるが、特に図８に示すアナモフィックレンズ５１の
ような任意の面形状のレンズの形状を絶対測定するには
レンズにピン等を接触させて測定する接触式測定しかな
く、このような接触式測定では、レンズにキズをつける
虞があるため実際には行うことができない。そこで、光
干渉計を用いて形状測定が行われているが、この測定で
は面形状の相対測定となり、絶対測定することはむずか
しい。また、レンズ測定においては、面形状のみなら
ず、レンズの偏心を測定する必要があるが、従来は、レ
ンズの両面の形状を光干渉計で測定し、その後に偏心測
定器で面間偏心を測定しなければならず、レンズの検
査、測定に多くの工数がかかるといった問題がある。

【００２４】そこで、ここでレンズ等の光学素子の形
状、偏心及び屈折率を簡単に測定することのできる光学
素子測定装置の実施例について説明する。

【００２５】図９に示すように、光学素子の形状、偏心
及び屈折率を簡単に測定することのできる光学素子測定
装置６１は、例えば被検レンズであるアナモフィックレ
ンズ５１を、所定の距離Ｄ離れた２つのプローブ６２、
６３を、左右及び図面垂直方向に２次元的にスキャンさ
せることで、演算装置６４でプローブ６２、６３とアナ
モフィックレンズ５１のそれぞれの面との距離ｄ１，ｄ
２を測定する。プローブ６２、６３のプローブ間はＤで
あるので、ｄ１，ｄ２を測定することで、演算装置６４
はアナモフィックレンズ５１の両面の位置関係を算出で
き、参照面を必要としないため面形状の絶対測定が行
え、さらに、アナモフィックレンズ５１の両面の位置関
係からレンズの面間偏心、肉厚Ｌも同時に算出できる。

【００２６】なお、演算装置６４によるプローブ６２、
６３を用いた距離ｄ１，ｄ２の測定は、例えば公知のオ
ートフォーカスによる測定により行われるが、原子間力
顕微鏡と同じ方式により測定するようにしてもよい。

【００２７】また、光学素子測定装置６１は、上述の形
状測定の後に、プローブ６２、６３から光ビームをアナ
モフィックレンズ５１に照射し、アナモフィックレンズ
５１を透過した光を２次元光センサ６５、６６により検
出する。２次元光センサ６５、６６の検出信号は、演算
装置６４に出力され、演算装置６４では、アナモフィッ
クレンズ５１の形状が既知となっているために、２次元
光センサ６５、６６の検出信号によりアナモフィックレ
ンズ５１を透過した光の出射方向を算出することで、ア
ナモフィックレンズ５１の屈折率が算出できる。光ＣＴ
と類似の原理で算出することもできるので、この測定は
不均質媒質の測定にも適用可能である。

【００２８】このように光学素子測定装置６１は、アナ
モフィックレンズ５１の形状、偏心及び屈折率を簡単に
測定することができる。なお、一般の球面レンズ、非球
面レンズの測定にも適用できる。

【００２９】ところで、上記の測定に際しては、アナモ
フィックレンズ５１の側面を保持する必要があるが、従
来は、図１０に示すように、ヤトイ７１を用い、例えば
３方からヤトイ７１をアナモフィックレンズ５１の側面
に押し当てることで、アナモフィックレンズ５１を保持
していたが、測定の度にヤトイ７１を調整しアナモフィ
ックレンズ５１を保持しなければならず、測定の工数を
増やすという問題がある。

【００３０】そこで、上記光学素子測定装置６１による
測定対象のアナモフィックレンズ５１は、図１１に示す
ように、レンズ部７２とヤトイ部７３とからなり、ガラ
ス成形レンズとしてレンズ部７２とヤトイ部７３とが一
体化して形成されている。レンズ部７２の中心とヤトイ
部７３の端部との距離は、所定の長さＬになっており、
レンズ部７２の径が異なってもヤトイ部７３を保持する
治具の間隔を一定とすることができるので、調整が不要
となり容易にアナモフィックレンズ５１を保持すること
ができる。

【００３１】なお、ガラス成形レンズに限らず、プラス
チック成形レンズでもよいことはいうまでもない。

【００３２】また、図１２に示すように、複数の径の異
なるレンズ部７５を有し階段状のヤトイ部７６と一体化
して形成したガラス成形レンズ７７とすることもでき
る。この時レンズ中心間隔は、レンズの直径が変わって
も同一の値（Ｄ）なので、レンズ測定の際の保持が容易
である。

【００３３】［付記］ （付記項１）光学素子（図９のアナモフィックレンズ５
１）の表面までの距離を測定する距離測定手段（図９の
プローブ６２、６３）と、前記光学素子の内部を透過し
た光の分布を検出する透過光分布検出手段（図９の２次
元光センサ６５、６６）とを備えたことを特徴とする光
学素子測定装置。

【００３４】付記項１のように構成された光学素子測定
装置では、光学素子の形状、偏心及び屈折率を簡単に測
定することが可能となる。

【００３５】

【発明の効果】以上説明したように本発明の作業ロボッ
トの映像制御装置によれば、表示像結像手段が、視線検
出手段が検出した視線と被写体距離算出手段が検出した
被写体までの距離とに基づき、表示手段に表示される映
像の結像位置を変化させるので、連続かつ自然な動画像
が認識でき、作業ロボットからの映像による特殊環境下
での作業を確実かつ効率的に行うことができるという効
果がある。

【図面の簡単な説明】

【図１】本発明の一実施例に係る作業ロボットの映像制
御装置の構成を示すブロック図

【図２】図１の右眼用カメラと左眼用カメラの外観を示
す外観図

【図３】図１の右眼用カメラ及び左眼用カメラの撮像光
学系の構成を示す構成図

【図４】図１のＨＭＤにおける視線検出回路及びミラー
部の構成を示す構成図

【図５】図１のミラー部の作用を説明する第１の説明図

【図６】図１のミラー部の作用を説明する第２の説明図

【図７】図１のミラー部の変形例の作用を説明する説明
図

【図８】アナモフィックレンズの外観を示す外観図

【図９】図８のアナモフィックレンズ等の光学素子の形
状、偏心及び屈折率を簡単に測定することのできる光学
素子測定装置の構成を示す構成図

【図１０】図８のアナモフィックレンズを保持するヤト
イを説明する説明図

【図１１】レンズ部とヤトイ部とが一体化して形成した
ガラス成形レンズを説明する説明図

【図１２】レンズ部とヤトイ部とが一体化して形成した
ガラス成形レンズの変形例を説明する説明図

【符号の説明】

１…映像制御装置 ２…映像撮像部 ３…ＨＭＤ ４…右眼用カメラ ５…左眼用カメラ ６…台座 ７ａ，７ｂ…眼球連動回転装置 ８…オートフォーカス ９…オートアイリス １０…台座回転装置 １１…表示部 １２…視線検出回路 １３…輝度調整回路 １４…ミラー部 １５…視度調整回路 １６…頭部向きセンサ １７…頭部向き情報回路

───────────────────────────────────────────────────── フロントページの続き (72)発明者 小野 勝也 東京都渋谷区幡ヶ谷２丁目43番２号 オリ ンパス光学工業株式会社内 (72)発明者 浪井 泰志 東京都渋谷区幡ヶ谷２丁目43番２号 オリ ンパス光学工業株式会社内

Claims (1)

【特許請求の範囲】
1. 【請求項１】 被写体を撮像する撮像部を有する撮像手
   段と、前記撮像手段からの映像を表示する表示手段と、
   前記表示手段に表示される映像に基づいて前記撮像手段
   を制御する制御手段とを有する作業ロボットの映像制御
   装置において、 前記制御手段は、 前記表示手段に表示される映像を結像する表示像結像手
   段と、 前記表示像結像手段が結像した像を観察する視線を検出
   する視線検出手段とを備え、 前記撮像手段は、 前記視線検出手段が検出した視線に基づき、前記撮像部
   の撮像方向を制御する撮像部制御手段と、 前記撮像部制御手段により制御された撮像方向の前記被
   写体に焦点を合わせると共に、前記被写体までの距離を
   算出する被写体距離算出手段とを備え、 前記表示像結像手段は、 前記視線検出手段が検出した視線と、前記被写体距離算
   出手段が検出した前記被写体までの距離とに基づき、前
   記表示手段に表示される映像の結像位置を変化させるこ
   とを特徴とする作業ロボットの映像制御装置。