JPWO2014102995A1 - モニタリングシステム、方法およびプログラムを記憶した情報記録媒体 - Google Patents

モニタリングシステム、方法およびプログラムを記憶した情報記録媒体 Download PDF

Info

Publication number
JPWO2014102995A1
JPWO2014102995A1 JP2014553986A JP2014553986A JPWO2014102995A1 JP WO2014102995 A1 JPWO2014102995 A1 JP WO2014102995A1 JP 2014553986 A JP2014553986 A JP 2014553986A JP 2014553986 A JP2014553986 A JP 2014553986A JP WO2014102995 A1 JPWO2014102995 A1 JP WO2014102995A1
Authority
JP
Japan
Prior art keywords
camera
robot
extended
image
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014553986A
Other languages
English (en)
Inventor
洋登 永吉
洋登 永吉
義崇 平松
義崇 平松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of JPWO2014102995A1 publication Critical patent/JPWO2014102995A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

本発明は,移動可能なカメラを備えたロボットを用いて,遠隔モニタリングを行う場合に,環境カメラを用いて視野拡大を図ることを目的としている。そのため,地図を備えた空間情報処理部は,ロボットの位置と方向と前記地図とを参照して,前記ロボットのカメラの注視点位置を推定する。注視点位置に対して所定の相対位置を,環境カメラを用いて撮影し,表示画面にロボットの撮影した画像と並べて表示することで,ロボットの撮影した画像の外側で何が起こっているかをオペレータに提示することができる。

Description

本発明は,ロボットを用いた遠隔モニタリングシステムに関する。
例えばカメラを備えたロボットを用いると,遠く離れた場所からロボットの操作者の要求に応じて,いろいろな場所を撮影し,閲覧することができる。このとき,操作性の向上,閲覧性の向上のために,広い視野角が要求される。
一般的には,広角カメラ,魚眼カメラ,円筒状に全周を撮影できる広視野角カメラを用いることが多い。しかし,当然のことながら広視野角カメラは小さな物体,遠方にある物体を撮影するには不向きであり、視野は狭いが望遠で撮影できるカメラと組み合わせて使うことが好ましい。
特許文献1には、車の視野拡張に関する技術が開示されており、特許文献2には、ロボット操作における、ロボットの経路予測についての方法が開示されている。
特開2008−230558号公報 特開2011−53726号公報
特許文献1では,運転者の視野を拡張するため、バックミラーの両脇にディスプレイを設け、サイドミラー部に設けたカメラからの映像を、ディスプレイに映し出すことが開示されている。しかし駆動部への負荷,格納部のサイズ,デザインの関係から,そもそも躯体に2種類のカメラを設置できない場合には、当該技術ではロボットの視野を拡張することはできない。
上記課題を解決するために、例えば請求の範囲に記載の構成を採用する。本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、ロボットを用いたモニタリング方法であって、遠隔操作可能なロボットが具備する第1のカメラで第1の画像を撮影するステップと、第1の画像から、第1の画像の中心である注視点を算出するステップと、注視点の周囲の拡張注視点を算出するステップと、拡張注視点を撮影する第2のカメラを選択するステップと、ロボットの操作者用の表示装置に、第1の画像と、第2のカメラで撮影された第2の画像とを並べて表示するステップとを有し、拡張注視点は、第2の画像の中心であり、第2のカメラはロボットの移動する空間内に設けられていることを特徴とする。
または、モニタリングシステムであって、遠隔操作可能なロボットが具備する第1のカメラと、第1のカメラで撮影した第1の画像から、第1の画像の中心である注視点と、注視点の周囲の拡張注視点と、を算出する算出部と、拡張注視点を撮影する第2のカメラを選択するカメラ選択部と、第1の画像と、第2のカメラで撮影された第2の画像とを並べて表示する、ロボットを操作する操作者が用いる表示装置とを有し、拡張注視点は、第2の画像の中心であり、第2のカメラは前記ロボットの移動する空間内に設けられていることを特徴とする。
本発明のシステムを用いることで、ロボットの視野を拡張することができ、ロボットの操作性が向上する。
実施例1におけるロボットの周辺環境と装置を示す図である。 実施例1におけるブロック図を示す図である。 3次元地図の例を示す図である。 環境カメラ情報の例を示す図である。 実施例1におけるモニタリング方法のフローを示す図である。 ロボットの注視点,拡張注視点を示す図である。 注視点位置の算出方法を示す図である。 撮影方向ベクトルの回転について示す図である。 経路履歴情報の例を示す図である。 注視点,拡張注視点を示す図である。 ロボット操作者用の表示画面の例を示す図である。 ロボット操作者用の表示画面の例を示す図である。 装置間で渡される情報を示す図である。 装置間で渡される情報を示す図である。 2次元地図の例を示す図である。 装置間での情報の流れを示す図である。 注視点,拡張注視点を示す図である。
図1は,本発明を実施する環境の一例を表した図である。部屋130の中にロボット100,環境カメラ101,設置物140,設置物141が設置されており,空間情報処理部120,遠隔操作処理部121,表示装置121,入力装置122が設置,接続されている。環境カメラ101は複数あることが望ましい。
図2にブロック構成を示す。ロボット100,環境カメラ101,空間情報処理部120,遠隔操作処理部121がネットワーク230により接続されている。表示装置121,入力装置122は,遠隔操作処理部121に接続されており,表示装置121はオペレータに情報を提供し,入力装置122はオペレータからの入力を受け付ける。遠隔操作処理部121は,空間情報処理部120からの指示に従い表示装置121に表示する画像の生成を行ったり,入力装置122からの情報を空間情報処理部120に伝えたりする。
ロボット100は,制御部210,カメラ211,位置方向推定部212,計測部213,駆動部214を備える。ここで計測部213はたとえばレーザレンジファインダ等のセンサであって,周囲の物体までの距離を計測することができる。位置方向推定部212は,計測した上記距離情報を用いて,例えばSLAM(Simultaneous Localization and Mapping)と呼ばれる技術等によって,ロボットの位置と方向を推定することができる。
また、計測部213は駆動部214の駆動状況を計測するセンサであってもよく,その場合,ロボットの駆動状況から位置方向推定部212はロボットの位置と方向を推定できる。
さらに駆動部214はロボット100のカメラ211を駆動させる機構を備えていてもよい。たとえば,ヒト型ロボットであれば,ロボットの頭部にカメラ211を搭載することが多い。その場合,駆動部214は,ロボットの頭部を駆動して,カメラ211の方向を変えることができる。この場合,位置方向推定部212は,駆動部214の駆動状況を計測部213によって計測し,カメラ211の方向も併せて推定する。
さらに位置方向推定部212は,カメラ211の高さに関する情報を持つとよい。たとえば,駆動部214によりロボット100の高さを変えることができ,カメラ211の高さも変わるならば,計測部213はさらにカメラ211の高さを計測するセンサも備えておくとよい。
空間情報処理部120は,空間情報DB(Data Base)221を備える。空間情報DB221は,図3に示すような地図300と,図4に示すような環境カメラ情報400を保持する。地図300は3次元地図であり,壁やデスクの表面といった,光を遮るような面が記録されている。地図情報330は部屋130に,地図情報340は設置物140に,地図情報341は設置物141に,それぞれ対応し,その表面情報が,たとえばポリゴンとして記録されている。
地図300には設計図を用いてもよいし,人手で作成してもよいし,レーザレンジファインダや,距離画像カメラといったデバイスで実際に計測した結果を用いてもよい。
環境カメラ情報400は,カメラごとに割り振られたカメラID410,地図300上のX,Y,Zで表されたカメラ位置411,地図300上のφ,θで表されたカメラ方向412,現在のカメラ画角413,調整可能なカメラ方向の範囲であるカメラ方向調整範囲414,調整可能なカメラ画角の範囲であるカメラ画角範囲415を含む。固定カメラである場合,カメラ方向調整範囲414は,φ,θの調整範囲の幅が0となる。
図5〜図10を用いて,ロボットを用いた遠隔モニタリング用画像取得方法について説明する。この処理は,特に注釈のない限り,空間情報処理部120で処理される。処理が開始される(501)と,空間情報処理部120は,ロボット100の位置方向推定部212からロボット100の位置と方向,カメラ211の高さと方向の情報を取得する(502)。カメラ211の高さの情報が得られない場合は,所定の値を用いる。
ここで図6を用いて,ロボットの注視点601,拡張注視点602について説明する。注視点601は,ロボットのカメラが撮影している画像の中心を示し,拡張注視点602は,注視点601の近傍にあり,環境カメラ101が撮影する画像の中心を示す。これにより,注視点601の周辺画像を取得することができる。なお,注視点を撮影しているロボット100のカメラ211の撮影方向をベクトル610,拡張注視点を撮影している環境カメラ101の撮影方向をベクトル611,として図示している。
次に、図7を用いて,注視点601の位置である注視点位置721の算出方法を説明する。空間情報処理部120は,ロボット100の位置と方向およびカメラ211の高さと方向を取得しているので,地図300上で,カメラ211の位置であるカメラ位置700と,カメラ211の撮影方向である撮影方向ベクトル701がわかっている。カメラ位置700から,撮影方向ベクトル701を伸ばしていき,何らかの面,図7でいえば設置物140に対応した地図情報340にぶつかるまで伸ばす。そのぶつかった点が,注視点位置721となる。ぶつからない場合は,所定の距離に面があったものとして処理をする。このようにして,空間情報処理部120はロボットの注視点601の位置を算出する(503)。
続いて,拡張注視点602の位置である拡張注視点位置722を,次のように算出する(504)。まず,注視点601の位置721上に,撮影方向ベクトル701に垂直な平面710をおく。続いて,撮影方向ベクトル701を回転させたベクトルである拡張注視点ベクトル702を算出する。
撮影方向ベクトル701の回転は,図8に示すように実行する。まず,撮影方向ベクトル701の始点に,基底800と基底801から張られる垂直な平面を仮定する。ただし,基底800はXY平面上にあり,基底801はZ軸に平行である。
回転後のベクトル702は,第一の回転810と,第二の回転811に従って回転されたものである。第一の回転810は,基底800を基準とした,基底800と基底801に張られる平面内の回転である。これは,カメラ位置700から撮影方向ベクトル701の方向をみたとき,左回りの回転となり,拡張注視点を,注視点に対してどの方向に位置させるかを決めるパラメータとなる。拡張注視点を,注視点に対して水平な位置にしたければ,第一の回転810の大きさを0°もしくは180°にすればよい。
第二の回転811は,撮影方向ベクトル701に平行な平面で,基底800を第一の回転810で回転させたベクトルに平行な平面内の回転である。第二の回転811は,拡張注視点を,注視点に対してどれだけ離れた位置に設置するかを決めるパラメータとなる。第二の回転811の大きさは,カメラ211の画角と,拡張注視点602を撮影する環境カメラの画角に応じて決めるとよい。たとえば,ロボット100のカメラ211で撮影した画像と環境カメラ101で撮影した画像との間に,撮影できていない範囲,つまり死角が発生しない値を,第二の回転811の値として設定すればよい。また,環境カメラ101で撮影した画像は,ロボット100のカメラ211で撮影した画像とはなるべく異なる範囲を撮影したほうが,より広い範囲の画像をロボットの操作者に提供できる。よって,上記の値のうち,最小の値を用いることが望ましい。
このようにして求めた拡張注視点ベクトル702を,平面710にぶつかるまで伸ばしていく。ぶつかった点が,拡張注視点位置722となる。ぶつからない場合は,所定の距離に面があったものとして処理をする。
次は予測経路と予測注視点のずれの大きさの判定を行う(505)。予測経路とは,所定の時間経過後のロボット100の位置を予測したもので,ここでは過去に予測した値と,現在のロボット位置との比較を行う。予測が誤っていた場合に,改めて予測経路の算出(506)を行う。予測注視点とは,注視点601の位置を予測したもので,ここでは過去の予測値と,現在の実際の注視点との比較を行う。予測が誤っていた場合に再び予測注視点の算出(507)を行う。なお,初期状態では予測は行っていないが,その場合判定505は,条件は真だったとみなして次の処理へ進む。
次に、予測経路の算出(506)について説明する。ここでは二つの場合が考えられる。第一は,既に目的地が与えられ,目的地までの経路がすでに算出されている場合である。これを計画移動と呼ぶことにする。第二は,ロボット操作者が入力装置122を使って,ロボットをリアルタイムに制御している場合である。これをリアルタイム操作移動と呼ぶことにする。計画移動の場合は,既に経路が算出されているわけであるから,その経路を用いればよい。なお,目的地を与えた場合の経路の算出には,特許文献2に開示されている方法を用いればよい。経路はロボット100の制御部210で算出してもよいし,空間情報処理部120で算出してもよい。ただし,経路自体は制御部210で保持している必要があるので,どちらの場合でも,空間情報処理部120は制御部210から経路を取得すればよいことになる。位置方向推定部211からカメラ211の高さを取得すれば,図10に示すように,地図300上での予測経路は,予測経路1000のように表すことができる。
リアルタイム操作移動の場合,空間情報DB内に,図9に示すような経路情報の履歴である経路履歴900を備える。図9において経路履歴911は,上記第一の場合の経路情報の履歴であり,経路履歴912は第二の場合の経路情報の履歴であり,2次元座標情報群として格納されている。このとき,2次元座標情報は,座標そのものではなく,たとえば50cm×50cmや,1m×1m等のように,離散化されたブロック状の位置を表すものでもよい。この経路履歴912に基づき,将来の移動先予測を行う技術としては,混合マルコフモデルに基づく歩行者動線解析方式,等が知られている。この移動先予測および,特許文献26の技術に基づいてロボット100の経路を改めて求める。これにより求めた経路が予測経路1000となる。
続いて,予測注視点を求める。計画移動については,ロボット100の進行方向に対するカメラ211の相対方向が維持されることを前提に,予測注視点を求める。つまり,図10に示すように,予測経路1000上を所定間隔で予測実行点を設定する。それらの点における予測経路1000の接線ベクトルを,カメラ211の相対方向だけ回転させた予測カメラ方向ベクトル1010を得る。予測カメラ方向ベクトル1010を伸ばし,何らかの面にぶつかった位置それぞれが予測注視点位置1020となる。ぶつからない場合は,所定の距離に面があったものとして処理をする。
図示してはいないが、リアルタイム操作移動の場合は,ロボット100の正面を見る必要がある。そのため,予測経路1000上を所定間隔で予測実行点をうち,その点における予測経路1000の接線ベクトルがそのまま予測カメラ方向ベクトル1010となる。計画移動の場合と同様,それらを伸ばし,何らかの面にぶつかった位置それぞれを予測注視点位置1020とする。ぶつからない場合は,所定の距離に面があったものとして処理をする。
続いての処理は,予測拡張注視点の算出である(508)。図17に図示するように,予測拡張注視点位置1600は前述の予測注視点位置1020に対して,図7における拡張注視点位置722の算出と同様にして行う。
次の処理は環境カメラ選択である(509)。環境カメラ選択の基準として
条件1:該当環境カメラ101は,現在の拡張注視点位置722を,パン・チルトの調整により撮影できること
条件2:該当環境カメラ101は,パン・チルトの調整によって予測拡張注視点1600を撮影できること
条件3:予測拡張注視点位置1600に対応した予測カメラ方向ベクトル1010と,予測拡張注視点位置1600と環境カメラ101を結んだベクトルとの成す角が所定値以下であること
条件4:条件3を満たしている時間が最も長いものであること
という4つの条件を用いる。
まず条件1についてはそもそもこの条件を満たせないと撮影できないので、これを満たしていないカメラを選択する意味がない。条件2〜4については,頻繁にカメラが切り替わると,利用者に混乱を生じる恐れがあるため,それを防ぐ目的がある。
また,条件3の時間は次のように求めることができる。予測拡張注視点位置1600を時系列順に並べる。ある環境カメラ101に対して,パン・チルトの調整によって予測拡張注視点位置1600を撮影でき,かつ,予測拡張注視点位置1600に対応した予測カメラ方向ベクトル1010と,予測拡張注視点位置1600当環境カメラ101を結んだベクトルとの成す角が所定値以下である,という条件を満たすか否かを,各予測拡張注視点位置1600に対して順に判定していく。条件を満たす拡張注視点位置1600の数が,現時点以降連続して最も多いものを,条件4に当てはまる環境カメラ101とすればよい。ここではいずれの環境カメラ101を選択するかという問題であるため,必ずしも絶対時間を求める必要はない。
なお,これらの条件を満たすか否かを判定するに当たり,空間情報処理部120は,環境カメラ101に関しての情報である保持情報400を用いる。また,拡張注視点位置722が複数ある場合は,順番に条件1〜4を判定し,それぞれに対して環境カメラ101のうち一台を割り当てる。なお,ある拡張注視点位置722に割り当てられたカメラは,他の拡張注視点位置722に割り当てるカメラを探す際に,あらかじめ選択肢から除いておく。
また,条件3の角度の違いに関しての所定値は,撮影対象が平面状であれば広めの値,たとえば60°を設定し,撮影対象が複雑な立体形状であるときは,狭めの値,たとえば30°を設定する。割り当てられるカメラがなくなった場合は,カメラ選択はその時点で終了する。
続いて,環境カメラ制御を行う(510)。環境カメラ選択(509)で選択された環境カメラ101に対して,拡張注視点722の方向を向くよう,制御を行う。
ここからは、以上の方法により撮影したカメラ211の画像と,拡張注視点位置722に向けたカメラで撮影した画像とを表示する方法について述べる。画像の作成は,遠隔操作処理部121が行い,表示装置122に表示する。たとえば図11に示すように,表示装置121に,注視点601の画像1100,拡張注視点602の画像1101と1102を並べて表示する。人から見れば,注視点601の周辺の画像も併せて見ることができ,疑似的な視野拡大が可能となる。
図12は別の表示方法について示している。図11では,画像1100,1101,1102は,2次元空間にそのまま張り付けた形式で,表示されていた。しかし,ロボット100,環境カメラ101の位置はそれぞれ異なるので,それぞれの画像は異なる視点から撮影した画像になる。そのため,図6に示すように壁に書いてある文字を写した場合であっても,それぞれの画像は異なる歪み度合いとなる。一方,図12では,画像1200,1201,1202は,三次元コンピュータグラフィクス(CG)として表示されている。それぞれの画像は,カメラの撮影方向,垂直な平面上にあると仮定して,それをロボット100から見た画像として透視変換した画像を表示している。こうすることで,操作者には,画像1201もしくは1202を撮影した環境カメラ101が,もともとどの方向にあるか感覚的に推測できるというメリットがある。また,図6に示すように、平面に書かれた文字を写した場合であれば,それぞれの文字の歪み度合いは同じになる,というメリットも得られる。
遠隔モニタリング用画像生成を実行するときに,各ブロック間で渡される情報について図13,図14に示す。図13には,ロボット100から空間情報処理部120に渡される情報を示した。ロボット100の位置方向推定部212から,ロボット100の位置と方向,およびカメラ211の方向と高さの情報が渡される。図14に示すように,空間情報処理部120からは遠隔操作処理部121に環境カメラで撮影101した画像と,そのカメラの位置と方向についての情報が渡される。遠隔情報処理部121では,その情報に基づき,図11や図12に示したような画面を生成し,その表示画面を表示装置122に渡す。
以上述べた方式における,処理とデータの流れを図16に示す。図16は,主に空間情報処理部120の中で動作するプログラムと,データの流れを示す図である。図16において,注視点算出部1603は注視点算出ステップ503と,拡張注視点算出部1604は拡張注視点算出ステップ504と,予測ずれ判定部1605は予測ずれ判定ステップ505と,予測経路算出部1606は予測経路の算出ステップ506と,予測注視点算出部1607は予測注視点の算出ステップ507と,予測拡張注視点算出部1608は予測拡張注視点の算出ステップ508と,環境カメラ選択部1609は環境カメラ選択ステップ509と,環境カメラ制御部1610は環境カメラ制御ステップ510とそれぞれ対応したプログラムである。
以上を踏まえ、本発明のロボット制御用モニタリングシステムは、遠隔操作可能なロボットが具備する第1のカメラと、第1のカメラで撮影した第1の画像から、第1の画像の中心である注視点と、注視点の周囲の拡張注視点と、を算出する算出部と、拡張注視点を撮影する第2のカメラを選択するカメラ選択部と、第1の画像と、第2のカメラで撮影された第2の画像とを並べて表示する、ロボットを操作する操作者が用いる表示装置とを有し、拡張注視点は、第2の画像の中心であり、第2のカメラはロボットの移動する空間内に設けられていることを特徴とする。
本発明によれば,ロボットの持つカメラの画角以上の視野の画像を,ロボットの操作者に提供することができ,ロボットの操作性が向上する。
実施例1では,3次元地図を保持する場合について説明したが,図15に示すような2次元地図1500であっても同様の処理が可能である。図15では,部屋130,設置物140,141にそれぞれ地図情報1530,1540,1541を示した。このとき,高さ情報がわからないが,各設置物は無限大の高さを持つと仮定することで,3次元地図として扱うことが可能である。
本実施例では、実施例1の効果に加え、3次元地図を保持しなくともよくなるため、情報処理部の負荷を軽減することができる。
実施例1では,ロボット100が1台の構成であったが,ロボット100が複数台であってもよい。この場合,操作対象ではない、カメラを具備するロボット100の方向を制御することで,パン・チルト調整可能な環境カメラ101とみなして,利用することができる。
本実施例では、他のロボットが具備するカメラを環境カメラとして用いることにより、環境カメラが移動可能となったため、条件4で規定されている撮影時間をより長くすることができる。したがって、操作者の視点変更を減らすことができ、実施例1よりも操作性を向上させることができる。
100 ロボット
101 環境カメラ
120 空間情報処理部
121 遠隔操作処理部
122 入力装置
130 部屋
140 設置物
141 設置物
230 ネットワーク
201 ロボットの制御部
211 ロボットのカメラ
212 位置方向推定部
213 ロボットの計測部
214 ロボットの駆動部
221 空間情報DB
300 地図
400 環境カメラ情報
330 地図情報
340 地図情報
601 注視点
602 拡張注視点
700 カメラ位置
701 撮影方向ベクトル
721 注視点位置
722 拡張注視点位置
800 基底
801 基底
810 第一の回転
820 第二の回転
900 経路履歴
1000 予測経路
1010 予測カメラ方向ベクトル
1020 予測注視点位置
1100 注視点の画像
1101 拡張注視点の画像
1102 拡張注視点の画像
1200 3次元表示した注視点の画像
1201 3次元表示した拡張注視点の画像
1202 3次元表示した拡張注視点の画像。

Claims (12)

  1. 遠隔操作可能なロボットが具備する第1のカメラで第1の画像を撮影するステップと、
    前記第1の画像から、前記第1の画像の中心である注視点を算出するステップと、
    前記注視点の周囲の拡張注視点を算出するステップと、
    前記拡張注視点を撮影する第2のカメラを選択するステップと、
    前記ロボットの操作者用の表示装置に、前記第1の画像と、前記第2のカメラで撮影された第2の画像とを並べて表示するステップとを有し、
    前記拡張注視点は、前記第2の画像の中心であり、
    前記第2のカメラは前記ロボットの移動する空間内に設けられていることを特徴とするモニタリング方法。
  2. 請求項1記載のモニタリング方法において、
    さらに、ロボットの移動経路を予測するステップと、
    予測した前記ロボットの移動経路に基づいて、前記注視点の移動経路を予測するステップと、
    予測した前記注視点の移動経路に基づいて、前記拡張注視点の移動経路を予測するステップと、を有することを特徴とするモニタリング方法。
  3. 請求項2記載のモニタリング方法において、
    さらに、前記第2のカメラを選択するステップは、
    算出した移動経路に沿って移動する前記拡張注視点を、最も長い時間撮影可能なカメラを選択することを特徴とするモニタリング方法。
  4. 請求項3記載のモニタリング方法において、
    前記第2のカメラは、前記第1のカメラを具備するロボットとは異なるロボットが具備するカメラであることを特徴とするモニタリング方法。
  5. 遠隔操作可能なロボットが具備する第1のカメラと、
    前記第1のカメラで撮影した第1の画像から、前記第1の画像の中心である注視点と、前記注視点の周囲の拡張注視点と、を算出する算出部と、
    前記拡張注視点を撮影する第2のカメラを選択するカメラ選択部と、
    前記第1の画像と、前記第2のカメラで撮影された第2の画像とを並べて表示する、前記ロボットを操作する操作者が用いる表示装置とを有し、
    前記拡張注視点は、前記第2の画像の中心であり、
    前記第2のカメラは前記ロボットの移動する空間内に設けられていることを特徴とするモニタリングシステム。
  6. 請求項5記載のモニタリングシステムにおいて、
    さらに、ロボットの移動経路を予測する第1の経路予測部と、
    予測した前記ロボットの移動経路に基づいて、前記注視点の移動経路を予測する第2の経路予測部と、
    予測した前記注視点の移動経路に基づいて、前記拡張注視点の移動経路を予測する第3の経路予測部と、を有することを特徴とするモニタリングシステム。
  7. 請求項6記載のモニタリングシステムにおいて、
    さらに、前記カメラ選択部は、
    算出した移動経路に沿って移動する前記拡張注視点を、最も長い時間撮影できるカメラを選択することを特徴とするモニタリングシステム。
  8. 請求項7記載のモニタリングシステムにおいて、
    前記第2のカメラは、前記第1のカメラを具備するロボットとは異なるロボットが具備するカメラであることを特徴とするモニタリングシステム。
  9. 遠隔操作可能なロボットが具備する第1のカメラで第1の画像を撮影するステップと、
    前記第1の画像から、前記第1の画像の中心である注視点を算出するステップと、
    前記注視点の周囲の拡張注視点を算出するステップと、
    前記拡張注視点を撮影する前記第1のカメラとは異なる第2のカメラを選択するステップと、
    前記ロボットの操作者用の表示装置に、前記第1の画像と、前記第2のカメラで撮影された第2の画像とを並べて表示するステップと、をコンピュータに実行させるためのプログラムが記録され、
    前記拡張注視点は、前記第2の画像の中心であることを特徴とするコンピュータ読取可能な情報記録媒体。
  10. 請求項9記載の情報記録媒体において、
    さらに、ロボットの移動経路を予測するステップと、
    予測した前記ロボットの移動経路に基づいて、前記注視点の移動経路を予測するステップと、
    予測した前記注視点の移動経路に基づいて、前記拡張注視点の移動経路を予測するステップと、をコンピュータに実行させるためのプログラムが記録されていることを特徴とする情報記録媒体。
  11. 請求項10記載の情報記録媒体において、
    さらに、前記第2のカメラを選択するステップは、
    算出した移動経路に沿って移動する前記拡張注視点を、最も長い時間撮影可能なカメラを選択することを特徴とする情報記録媒体。
  12. 請求項11記載の情報記録媒体において、
    前記第2のカメラは、前記第1のカメラを具備するロボットとは異なるロボットが具備するカメラであることを特徴とする情報記録媒体。
JP2014553986A 2012-12-28 2012-12-28 モニタリングシステム、方法およびプログラムを記憶した情報記録媒体 Pending JPWO2014102995A1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/084018 WO2014102995A1 (ja) 2012-12-28 2012-12-28 モニタリングシステム、方法およびプログラムを記憶した情報記録媒体

Publications (1)

Publication Number Publication Date
JPWO2014102995A1 true JPWO2014102995A1 (ja) 2017-01-12

Family

ID=51020146

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014553986A Pending JPWO2014102995A1 (ja) 2012-12-28 2012-12-28 モニタリングシステム、方法およびプログラムを記憶した情報記録媒体

Country Status (2)

Country Link
JP (1) JPWO2014102995A1 (ja)
WO (1) WO2014102995A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6445808B2 (ja) * 2014-08-26 2018-12-26 三菱重工業株式会社 画像表示システム
JP2017111790A (ja) * 2015-12-10 2017-06-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 移動制御方法、自律移動ロボット及びプログラム
KR20210004553A (ko) * 2019-07-05 2021-01-13 삼성전자주식회사 전자 장치, 이를 이용한 스테레오 영상 복원 방법 및 컴퓨터로 읽을 수 있는 기록 매체
WO2022180692A1 (ja) * 2021-02-24 2022-09-01 日本電気株式会社 情報処理装置、位置推定方法、及び非一時的なコンピュータ可読媒体

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002132343A (ja) * 2000-10-26 2002-05-10 Kawasaki Heavy Ind Ltd 自律走行体の走行制御方法
JP2006133703A (ja) * 2004-11-09 2006-05-25 Sharp Corp カメラおよびその静止画生成方法
JP2007098567A (ja) * 2006-09-25 2007-04-19 Hitachi Ltd 自律制御型ロボットおよびその制御装置
JP2009118072A (ja) * 2007-11-05 2009-05-28 Ihi Corp 遠隔操作装置及び遠隔操作方法
JP2010131751A (ja) * 2010-03-15 2010-06-17 Toyota Motor Corp 移動型ロボット
JP2010183281A (ja) * 2009-02-04 2010-08-19 Sumitomo Electric Ind Ltd 車載用撮影装置及び車両の安全対策方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5246672B2 (ja) * 2011-02-17 2013-07-24 独立行政法人科学技術振興機構 ロボットシステム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002132343A (ja) * 2000-10-26 2002-05-10 Kawasaki Heavy Ind Ltd 自律走行体の走行制御方法
JP2006133703A (ja) * 2004-11-09 2006-05-25 Sharp Corp カメラおよびその静止画生成方法
JP2007098567A (ja) * 2006-09-25 2007-04-19 Hitachi Ltd 自律制御型ロボットおよびその制御装置
JP2009118072A (ja) * 2007-11-05 2009-05-28 Ihi Corp 遠隔操作装置及び遠隔操作方法
JP2010183281A (ja) * 2009-02-04 2010-08-19 Sumitomo Electric Ind Ltd 車載用撮影装置及び車両の安全対策方法
JP2010131751A (ja) * 2010-03-15 2010-06-17 Toyota Motor Corp 移動型ロボット

Also Published As

Publication number Publication date
WO2014102995A1 (ja) 2014-07-03

Similar Documents

Publication Publication Date Title
US20170094227A1 (en) Three-dimensional spatial-awareness vision system
JP2008254150A (ja) ロボットの教示装置及び教示方法
JP6507268B2 (ja) 撮影支援装置及び撮影支援方法
US9154769B2 (en) Parallel online-offline reconstruction for three-dimensional space measurement
EP2876608A1 (en) Display control program, display control method, and display control device
JP6946087B2 (ja) 情報処理装置及びその制御方法、並びに、プログラム
JP5007863B2 (ja) 3次元物体位置計測装置
JP6723208B2 (ja) 監視カメラの向上した方向制御
WO2014102995A1 (ja) モニタリングシステム、方法およびプログラムを記憶した情報記録媒体
JP2011174799A (ja) 撮影経路計算装置
JP4227037B2 (ja) 撮像システム及び校正方法
JP7138856B2 (ja) 俯瞰映像提示システム
KR101523643B1 (ko) 감시 시스템에서 카메라 제어를 위한 시스템 및 방법
TWI726536B (zh) 影像擷取方法及影像擷取設備
JP7334460B2 (ja) 作業支援装置及び作業支援方法
JP2002074347A (ja) 情報取得システム
JP6214653B2 (ja) 遠隔モニタリングシステムおよびモニタリング方法
JP2015162886A (ja) 障害物監視システム及びプログラム
JP2006033188A (ja) 監視装置および監視方法
WO2018134866A1 (ja) カメラ校正装置
JP6581280B1 (ja) 監視装置、監視システム、監視方法、監視プログラム
JP2005150902A (ja) 撮影システム及び撮影制御情報決定方法
WO2020234912A1 (ja) 携帯装置、位置表示方法、及び位置表示プログラム
JP5045567B2 (ja) 撮像方向決定プログラム
KR20220050722A (ko) 영상관제 시스템에서 카메라 영상내 관제 지점의 지도 매핑 방법

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20161108