JP4857926B2 - Autonomous mobile device - Google Patents
Autonomous mobile device Download PDFInfo
- Publication number
- JP4857926B2 JP4857926B2 JP2006163618A JP2006163618A JP4857926B2 JP 4857926 B2 JP4857926 B2 JP 4857926B2 JP 2006163618 A JP2006163618 A JP 2006163618A JP 2006163618 A JP2006163618 A JP 2006163618A JP 4857926 B2 JP4857926 B2 JP 4857926B2
- Authority
- JP
- Japan
- Prior art keywords
- blind spot
- information
- master
- autonomous mobile
- mobile device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、特定の人のそばについて自律的に移動する自律移動装置に関する。 The present invention relates to an autonomous mobile device that moves autonomously around a specific person.
従来から、搬送物を自動的に目的地まで運搬するための自動搬送ロボットが提案されている(例えば、特許文献1参照)。特許文献1記載の自動搬送ロボットでは、搬送物をロボットの収納部に収納してロック部をロックした状態で指定目的位置に移動させ、指定目的位置へのロボットの到達確認と取扱登録者の確認が行われた場合に、ロック部の解除が行われる。これにより、取扱登録者は、ロボットの収納部内に収納してある搬送物を、指定目的位置で確実に取り出すことができる。
上記の自動搬送ロボットによれば、搬送物を自動的に目的地まで運搬することができる。しかしながら、人に追従して移動し、その人から見て死角となる領域に関する情報を報知するということに関してはなんら考慮されていない。 According to said automatic conveyance robot, a conveyed product can be automatically conveyed to the destination. However, no consideration is given to the movement of the person following the person and notifying the information regarding the area that is a blind spot as viewed from the person.
本発明は、上記問題点を解消する為になされたものであり、特定の人のそばについて自律的に移動する自律移動装置において、特定の人から見て死角となる領域に関する情報を報知することが可能な自律移動装置を提供することを目的とする。 The present invention has been made to solve the above-mentioned problems, and in an autonomous mobile device that moves autonomously around a specific person, information on a region that becomes a blind spot as seen from the specific person is notified. An object of the present invention is to provide an autonomous mobile device capable of performing the above.
本発明に係る自律移動装置は、特定の人のそばについて自律的に移動する自律移動装置において、特定の人にとって死角となる死角領域を検出する死角領域検出手段と、死角領域検出手段により検出された死角領域に関する死角情報を特定の人に報知する報知手段と、を備えることを特徴とする。 An autonomous mobile device according to the present invention is detected by a blind spot area detecting unit that detects a blind spot area that is a blind spot for a specific person, and a blind spot area detecting unit in an autonomous mobile apparatus that moves autonomously near a specific person. Informing means for informing a specific person of blind spot information related to the blind spot area.
本発明に係る自律移動装置によれば、特定の人のそばについて自律的に移動しつつ、死角領域検出手段により検出された死角領域に関する死角情報が、報知手段により特定の人に報知される。この結果、特定の人から見て死角となる領域に関する情報を、この特定の人に対して報知することが可能となる。 According to the autonomous mobile device according to the present invention, the dead zone information related to the blind spot area detected by the blind spot area detection unit is notified to the specific person by the notification unit while autonomously moving near the specific person. As a result, it is possible to notify the specific person of information related to the area that is a blind spot as seen from the specific person.
また、本発明に係る自律移動装置では、特定の人の視覚により得られる視覚情報を取得する視覚取得手段を備え、死角領域検出手段は、視覚取得手段により取得された視覚情報に基づいて、死角領域を検出することが好ましい。 The autonomous mobile device according to the present invention further includes visual acquisition means for acquiring visual information obtained by the vision of a specific person, and the blind spot area detection means is based on the visual information acquired by the visual acquisition means. It is preferable to detect the region.
このようにすれば、視覚取得手段により取得された視覚情報に基づいて、死角領域が死角領域検出手段により検出される。これにより、死角領域をより正確に検出することが可能となる。 In this way, the blind spot area is detected by the blind spot area detecting means based on the visual information acquired by the visual acquisition means. This makes it possible to detect the blind spot area more accurately.
また、本発明に係る自律移動装置では、他の自律移動装置によって検出された死角領域に関する死角情報を受信する情報受信手段を備え、報知手段は、情報受信手段が受信した死角情報を特定の人に報知することが好ましい。 The autonomous mobile device according to the present invention further comprises information receiving means for receiving blind spot information related to a blind spot area detected by another autonomous mobile device, and the notifying means transmits the blind spot information received by the information receiving means to a specific person. It is preferable to notify to.
このようにすれば、他の自律移動装置によって検出された死角領域に関する死角情報が情報受信手段により受信され、情報受信手段により受信された死角情報が報知手段により特定の人に報知される。これにより、自己の自律移動装置によっては検出できない離れた場所にある死角領域であっても、この死角領域が他の自律移動装置によって検出されれば、この死角領域に関する情報をこの特定の人に対して報知することが可能となる。 If it does in this way, the blind spot information regarding the blind spot area detected by the other autonomous mobile device is received by the information receiving means, and the blind spot information received by the information receiving means is notified to a specific person by the notifying means. As a result, even if it is a blind spot area in a distant place that cannot be detected by its own autonomous mobile device, if this blind spot area is detected by another autonomous mobile device, information on this blind spot area is sent to this specific person. It is possible to notify the user.
本発明によれば、特定の人から見て死角となる死角領域を報知することが可能となる。 According to the present invention, it is possible to notify a blind spot area that is a blind spot as seen from a specific person.
以下、添付図面を参照して本発明の好適な実施の形態について詳細に説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の参照番号を附し、重複する説明は省略する。 DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described in detail with reference to the accompanying drawings. In order to facilitate the understanding of the description, the same reference numerals are given to the same components in the drawings as much as possible, and duplicate descriptions are omitted.
まず、図1を用いて、実施形態に係る自律移動装置1の構成について説明する。図1は、自律移動装置1の構成を示すブロック図である。自律移動装置1は、自律移動型のロボットであり、この自律移動装置1を使用する特定の人(以下「主人」という)のそばについて、主人に追従するように、または主人を誘導するように自律的に移動する。また、自律移動装置1は、カメラ10および通信機12などによって取得される情報から、主人の視野を含む主人の視覚により得られる情報(以下「視覚情報」という)を取得するとともに、取得された視覚情報に基づいて死角領域を検出する。死角領域とは、主人にとって死角となる領域のことである。そして、自律移動装置1は、検出された死角領域の位置などに関する死角情報を、地面に投影するなどして主人に報知して、主人の注意を喚起する。
First, the configuration of the autonomous
カメラ10は、主人の視線方向や主人の周囲環境の画像を撮像によって取得して記憶する一対のCCDカメラと、取得した画像を画像処理することによって主人の視野およびその視野内の障害物や道路標識など(周囲環境)を認識して視覚情報を取得する画像処理部とを有している。この画像処理部では、一対のCCDカメラで取得した画像からエッジ抽出やパターン認識処理などによって主人の視野内の障害物や道路標識などを抽出して認識する。また、左右の取得画像中における主人などの対象物位置の違いを基にして三角測量方式により対象物との距離および横変位を求め、前フレームで求めた距離に対する変化量から相対速度を求める。カメラ10と後述する電子制御装置(以下「ECU」という)20とは通信回線で接続されており、カメラ10により取得された情報は、この通信回線を介してECU20に伝送される。
The
通信機12は、送信機13および受信機14を含んで構成され、例えば、自律移動装置1の周囲に位置する他の自律移動装置101、車両、および交差点に設置されている信号機や道路に設置されているカメラ、レーダなどのインフラストラクチャとの間で情報を送受信するものである。他の自律移動装置101は、自律移動装置1と同一または同様の構成であるので、ここでは説明を省略する。送信機13は、例えば、自律移動装置1の位置・移動方向・移動速度などの情報、主人の位置・移動方向・移動速度などの情報や上記の死角情報などを、他の自律移動装置101や周辺を走行する車両などに送信する。なお、上記したような情報は、自律移動装置1により取得された後すぐに、送信機13により、自律移動装置1の周囲に位置する他の自律移動装置101に送信される。
The
一方、受信機14は、例えば、他の自律移動装置101から送信された自律移動装置101の位置・移動方向・移動速度などの情報、他の歩行者の位置・移動方向・移動速度などの情報、周辺を走行する車両から送信された走行車両の位置・移動方向・移動速度・操作状態などの情報、周辺に停車されている車両から送信された停車車両の位置などの情報、および、上述したインフラストラクチャから送信された信号機の点灯状態や交通状態などの情報を受信する。また、受信機14は、他の自律移動装置101から、上記の死角情報を受信する。他の自律移動装置101から受信する死角情報とは、他の自律移動装置101の主人にとって死角となる死角領域に関する情報のことである。すなわち、受信機14は、特許請求の範囲に記載の情報受信手段として機能する。なお、通信機12は、例えば半径約100mの範囲で情報の送受信を行うことが可能に設定されている。
On the other hand, the receiver 14, for example, information such as the position / movement direction / movement speed of the autonomous
通信機12とECU20とは、通信回線で接続されることにより、相互に情報の交換が可能となるように構成されている。ECU20で生成された送信情報はこの通信回線を介してECU20から送信機13に伝送される。一方、受信機14によって受信された各種の周囲環境情報は、この通信回線を介してECU20に伝送される。
The
このように、本実施形態では、カメラ10および通信機12によって、主人の視野やその視野内の環境が認識されて視覚情報が取得される。即ち、主人の視覚により得られる視覚情報は、カメラ10および通信機12によって取得される。より詳細には、例えば、主人の視線方向・位置・移動方向・移動速度、他の歩行者、自転車や自動車などの位置・形状・移動方向・移動速度・操作状態、停車車両、電柱や落下物などの障害物の位置・形状、および、信号機の点灯状態や道路標識などの交通状態などの周囲環境が認識される。また、例えば、物体の種類、重量や材質などに関する属性も認識される。ここで、物体の種類に関する属性としては、例えば、大型車、小型車、二輪車、自転車などの分類が挙げられる。重量に関する属性としては、重いか軽いか、また、材質に関する属性としては、表面が軟らかいか硬いかなどが挙げられる。すなわち、カメラ10および通信機12は特許請求の範囲に記載の視覚取得手段として機能する。
As described above, in this embodiment, the
ここで、主人であるか否かの認識は、例えば、主人−自律移動装置1間通信の通信情報に主人であることを示すID情報を乗せることにより、または、撮像された人物が着ている衣服の形状や模様が予め学習させておいた主人のものと一致するか否かを判断することにより行うことができる。さらに、指紋や虹彩による認証技術などを組み合わせて用いてもよい。
Here, the recognition as to whether or not the person is the master is performed, for example, by putting ID information indicating the master on the communication information of the communication between the master and the autonomous
ECU20は、演算を行うマイクロプロセッサ、マイクロプロセッサに各処理を実行させるためのプログラム等を記憶するROM、演算結果などの各種データを記憶するRAMおよび12Vバッテリによってその記憶内容が保持されるバックアップRAM等により構成されている。そして、上記構成によって、ECU20の内部には、死角領域検出部22、投影指示部24、アクチュエータ制御部26が構築されている。
The
死角領域検出部22は、カメラ10および通信機12により認識された主人の視野などの視覚情報に基づいて、主人にとって死角となる死角領域を検出する。すなわち、ECU20を構成する死角領域検出部22は、特許請求の範囲に記載の死角領域検出手段として機能する。
The blind spot
投影指示部24は、死角領域検出部22により検出された死角領域に関する死角情報を、地面に対して投影して主人に報知するよう、アクチュエータ制御部26に指示する。投影指示部24は、この死角情報を、例えば主人の移動方向前方の地面に向けて投影するよう指示する。これにより、死角情報が主人に報知されるため、主人の注意が喚起される。
The
アクチュエータ制御部26は、投影指示部24により指示された指示内容に基づいて、スピーカ30、バックライト32、電動モータ34、プロジェクタ42やディスプレイ44などを駆動する。スピーカ30はECU20に接続されており、アクチュエータ制御部26から出力される制御信号に応じて、警告音や音声情報などを発することによって主人や主人の周囲や自律移動装置1の周囲などに注意を促す。バックライト32もECU20に接続されており、アクチュエータ制御部26により駆動され、例えば危険度に応じた色の光を上記の死角情報として発することによって、主人や主人の周囲や自律移動装置1の周囲などに注意を促すとともに、主人に死角情報を報知する。また、電動モータ34もECU20に接続されており、アクチュエータ制御部26により駆動され、電動モータ34に取り付けられている車輪36を回転させることによって自律移動装置1を移動させる。
The
さらに、ECU20には、プロジェクタ42やディスプレイ44が接続されており、上記した死角情報や危険情報や主人の存在を報知する存在報知情報などの各種情報を地面に対して投影したり表示したりすることにより、主人や主人の周囲や自律移動装置1の周囲などに注意を促す。死角情報には、主人から見て死角となる領域、即ち主人から認識することができない死角領域がカメラ10によって撮影された映像情報や、この死角領域における危険度の大きさに関する文字情報などが含まれている。すなわち、ECU20を構成する投影指示部24、アクチュエータ制御部26、およびスピーカ30、バックライト32、電動モータ34、プロジェクタ42やディスプレイ44などの各アクチュエータは、特許請求の範囲に記載の報知手段として機能する。
Further, the
次に、図2を併せて参照して、自律移動装置1における投影処理の動作について説明する。図2は、上記の投影を行う投影処理の処理手順を示すフローチャートである。図2のフローチャートに示される投影処理は、主としてECU20によって行われるものであり、自律移動装置1の電源がオンされてからオフされるまでの間、所定のタイミングで繰り返し実行される。
Next, the projection processing operation in the autonomous
まず、ステップS101では、カメラ10および通信機12などによって、主人の視線方向などが認識される。より詳細には、例えば、主人の視線方向・位置・移動方向・移動速度、他の歩行者、自転車や自動車などの位置・形状・移動方向・移動速度・操作状態、停車車両、電柱や落下物などの障害物の位置・形状、および、信号機の点灯状態や道路標識などの交通状態などの周囲環境が認識される。また、例えば、物体の種類、重量や材質などに関する属性も認識される。
First, in step S101, the gaze direction of the master is recognized by the
次のステップS102では、カメラ10および通信機12などによって、ステップS101で認識された視線方向などに基づいて、上記した視覚情報が取得されて、主人の視野およびその視野内の周囲環境が認識される。
In the next step S102, the above-described visual information is acquired by the
次のステップS103では、認識された主人の視野およびその視野内の周囲環境を含む視覚情報が、死角領域検出部22によって総合的に判断され、現在の主人にとって死角となる死角領域の検出が死角領域検出部22によって試行される。
In the next step S103, visual information including the recognized master's field of view and the surrounding environment in the field of view is comprehensively determined by the blind spot
次のステップS104では、検出された死角領域は存在するか否かについての判断が、死角領域検出部22によって行われる。即ち、ステップS103における検出の試行によって死角領域を検出することができたか否かが、判断される。死角領域が検出された場合、即ち検出された死角領域が存在する場合、後述のステップS105に進む。一方、死角領域が検出されなかった場合、即ち検出された死角領域が存在しない場合、後述のステップS115に進む。
In the next step S104, the blind spot
ステップS105では、検出された死角領域およびその周囲環境が認識可能な位置まで、自律移動装置1がアクチュエータ制御部26によって移動される。
In step S105, the autonomous
次のステップS106では、移動された上記の位置に基づいて、死角情報が投影指示部24によって取得される。
In the next step S106, the blind spot information is acquired by the
次のステップS107では、ステップS106で取得された死角情報に基づいて、アクチュエータ制御部26が制御信号を生成し、アクチュエータ制御部26から出力されるこの制御信号に応じて、スピーカ30が、警告音や音声情報などを発する。そして、警告音や音声情報などを発することによって、主人の周囲や自律移動装置1の周囲に主人の存在を報知しつつ注意を促す。
In the next step S107, the
次のステップS108では、ステップS106または後述のステップS115で取得された死角情報に基づいて、アクチュエータ制御部26が制御信号を生成し、アクチュエータ制御部26から出力されるこの制御信号に応じて、プロジェクタ42が、この死角情報などの各種情報を地面に対して投影する。この投影によって、主人に対して死角情報などが報知されて、主人の注意が喚起される。なお、死角情報には、主人から見て死角となる領域、即ち主人から認識することができない領域がカメラ10によって撮影された映像情報や、この死角領域における危険度の大きさに関する文字情報などが含まれている。
In the next step S108, the
次のステップS109では、ステップS106または後述のステップS115で取得された死角情報に基づいて、アクチュエータ制御部26が制御信号を生成し、アクチュエータ制御部26から出力されるこの制御信号に応じて、ディスプレイ44が、この死角情報などの各種情報を表示する。この表示によって、主人に対して死角情報などが報知されて、主人の注意が喚起される。ステップS109の後は、ステップS101に戻る。
In the next step S109, the
ステップS115では、自律移動装置1の周囲に位置する他の自律移動装置101から、死角情報が自律移動装置1により受信されたか否かについての判断が、死角領域検出部22によって行われる。より詳しくは、自律移動装置101の送信機13から、死角情報が自律移動装置1の受信機14により受信できたか否かが判断される。他の装置101から死角情報が受信できた場合、この死角情報を利用するため、上記のステップS108に進む。一方、他の装置101から死角情報が受信できなかった場合、改めて死角情報の取得が試みられるため、上記のステップS101に戻る。
In step S <b> 115, the blind spot
次に、図3を併せて参照して、自律移動装置1がプロジェクタ42やディスプレイ44を駆動して主人の注意が喚起される様子について説明する。図3は、自律移動装置1がプロジェクタ42やディスプレイ44を駆動して、死角情報の投影や表示を行う様子の一例を示す図である。
Next, with reference to FIG. 3, the manner in which the autonomous
図3に示されるように、プロジェクタ42を駆動して死角情報や危険情報などの各種情報を地面上や路面上の投影領域PFに投影することにより、主人の注意が喚起される。また、離れた地点における投影領域PFにこれらの情報を投影することにより、自律移動装置1から離れた地点に位置する主人に対しても情報を表示させることが可能となる。死角情報としては、カメラ10によって撮影された映像情報VDや、この死角領域における交通状況に関する文字情報LRなどが含まれる。ここでは、映像情報VDとして、接近中の乗用車が映像形式で表示されており、文字情報LRとして、乗用車が接近中であることを示す「車が接近中」という文字列が表示されている。また、上記の各種情報をディスプレイ44に表示することにより、主人の注意が喚起される。なお、死角情報が示す危険度の大きさ(高さ)に応じて主人の注意がより喚起されるように、上述した注意を喚起するための動作は単独で、または組み合わされて適用される。
As shown in FIG. 3, the projector 42 is driven to project various information such as blind spot information and danger information onto the projection area PF on the ground or road surface, thereby alerting the master. In addition, by projecting these pieces of information on the projection area PF at a remote point, it is possible to display the information for the master located at a point away from the autonomous
次に、図4〜図6を併せて参照して、実際の交通環境における死角情報の投影方法について説明する。図4〜図6のそれぞれは、実際の交通環境における死角情報の投影方法について説明する説明図である。図4〜図6のそれぞれにおいては、互いに隣接する二車線の車道R1,R2のうち一方の車道R1に乗用車H1,H2が縦列停車しており、他方の車道R2に乗用車H3が白矢印で示される方向に移動しているとして説明する。また、二車線の車道R1,R2は二つの歩道SW1,SW2に挟まれており、車道R1は歩道SW1と接しており、車道R2は歩道SW2と接している。また、歩道SW1は建物BD1と車道R1とに挟まれており、歩道SW2は建物BD2と車道R2とに挟まれている。 Next, a method for projecting blind spot information in an actual traffic environment will be described with reference to FIGS. Each of FIGS. 4 to 6 is an explanatory diagram for explaining a method for projecting blind spot information in an actual traffic environment. In each of FIGS. 4 to 6, passenger cars H1 and H2 stop in tandem on one road R1 of two lanes R1 and R2 adjacent to each other, and passenger car H3 is indicated by a white arrow on the other road R2. It is assumed that it is moving in the direction of The two-lane roadway R1, R2 is sandwiched between two sidewalks SW1, SW2, the roadway R1 is in contact with the sidewalk SW1, and the roadway R2 is in contact with the sidewalk SW2. The sidewalk SW1 is sandwiched between the building BD1 and the roadway R1, and the sidewalk SW2 is sandwiched between the building BD2 and the roadway R2.
まず、図4に示すように、歩道SW1上を黒矢印によって示される方向に移動中の主人B1が、停車中の乗用車H1,H2の間を通って車道R1を横切ろうとする場合を考える。ここで、主人B1にとっては乗用車H1,H2の間の空間がほぼ死角となっており、主人B1は乗用車H1,H2の間の空間の様子も乗用車H1,H2を乗り越えた空間の様子も認識できていない。 First, as shown in FIG. 4, a case where a master B1 moving in the direction indicated by the black arrow on the sidewalk SW1 passes between the stopped passenger cars H1 and H2 and crosses the road R1 is considered. Here, the space between the passenger cars H1 and H2 is almost blind spot for the master B1, and the master B1 can recognize the space between the passenger cars H1 and H2 and the space over the passenger cars H1 and H2. Not.
このとき、主人B1の自律移動装置C1は、主人B1の視線方向を認識し、この視線方向に基づいて主人B1の視野を認識して視覚情報を取得し、この視覚情報に基づいて死角領域VF1の存在を検出する。そして、自律移動装置C1は、図4に示すように、この死角領域VF1が認識可能な位置まで移動し、この死角領域VF1に基づいて死角情報を取得する。この死角情報には、乗用車H3が対向しながら接近していることを示す情報が含まれている。次に、自律移動装置C1は、上記した存在報知情報LTを、死角領域VF1の先端部分近傍の地面に対して投影することにより、死角領域VF1の周囲に主人B1の存在を報知する。存在報知情報LTは、死角領域VF1に向けられた、主人B1の存在をアピールしつつ報知する情報であり、例えば光の点滅などによって表される。更に、自律移動装置C1は、死角情報を地面上の投影領域PF1に投影するとともに、この死角情報をディスプレイ44に表示する。この結果、主人B1から見て死角となる死角領域VF1に関する情報を、主人B1に対して報知して認識させることが可能となる。よって、主人B2は、乗用車H3が対向しながら接近中であることを認識できる。 At this time, the autonomous mobile device C1 of the master B1 recognizes the visual line direction of the master B1, recognizes the visual field of the master B1 based on the visual line direction, acquires visual information, and based on the visual information, the blind spot area VF1 Detect the presence of Then, as shown in FIG. 4, the autonomous mobile device C1 moves to a position where the blind spot area VF1 can be recognized, and acquires blind spot information based on the blind spot area VF1. The blind spot information includes information indicating that the passenger car H3 is approaching while facing the vehicle. Next, the autonomous mobile device C1 notifies the presence of the master B1 around the blind spot area VF1 by projecting the presence notification information LT described above onto the ground near the tip of the blind spot area VF1. The presence notification information LT is information that is directed to the blind spot area VF1 and that notifies the presence of the master B1, and is represented by, for example, blinking light. Further, the autonomous mobile device C1 projects the blind spot information on the projection area PF1 on the ground and displays the blind spot information on the display 44. As a result, it is possible to notify the master B1 of the information related to the blind spot area VF1 that becomes a blind spot as seen from the master B1. Therefore, the master B2 can recognize that the passenger car H3 is approaching while facing.
また、図4に示すように、歩道SW2上を黒矢印によって示される方向に移動中の主人B2が、建物BD2の角で右折しようとしている場合を考える。ここで、主人B2にとっては建物BD2を曲がりきった空間がほぼ死角となっており、主人B2はこの空間の様子を認識できていない。 Further, as shown in FIG. 4, a case is considered in which the master B2 moving in the direction indicated by the black arrow on the sidewalk SW2 is going to turn right at the corner of the building BD2. Here, for the master B2, the space around the building BD2 is almost a blind spot, and the master B2 cannot recognize the state of this space.
このとき、主人B2の自律移動装置C2は、主人B2の視線方向を認識し、主人B2の視野を認識して視覚情報を取得し、死角領域VF2の存在を検出する。そして、自律移動装置C2は、図4に示すように、この死角領域VF2が認識可能な位置まで移動し、死角情報を取得する。この死角情報には、建物BD2を曲がりきった空間の様子に関する情報が含まれている。次に、自律移動装置C2は、死角情報を地面上の投影領域PF2に投影するとともに、この死角情報をディスプレイ44に表示する。この結果、主人B2から見て死角となる死角領域VF2に関する情報を、主人B2に対して報知して認識させることが可能となる。 At this time, the autonomous mobile device C2 of the master B2 recognizes the gaze direction of the master B2, recognizes the visual field of the master B2, acquires visual information, and detects the presence of the blind spot region VF2. Then, as shown in FIG. 4, the autonomous mobile device C2 moves to a position where the blind spot area VF2 can be recognized, and acquires blind spot information. This blind spot information includes information related to the state of the space around the building BD2. Next, the autonomous mobile device C2 projects the blind spot information on the projection area PF2 on the ground and displays the blind spot information on the display 44. As a result, it becomes possible to notify the master B2 of the information related to the blind spot area VF2 that is a blind spot when viewed from the master B2, and recognize it.
次に、図5に示すように、歩道SW2上を黒矢印によって示される方向に移動中の主人B3が、建物BD2の角での右折を予定しているが、現在はこの角の手前で移動中である場合を考える。ここで、主人B3にとっては建物BD2を曲がりきった空間の様子を認識できていない。なお、建物BD2の角近傍には歩道SW2上を黒矢印によって示される方向に主人B4が右折中であり、この角を右折しきった位置近傍には、自律移動装置C4が移動中である。ここで、主人B4にとっては建物BD2を曲がりきった空間がほぼ死角となっており、主人B4はこの空間の様子を認識できていない。 Next, as shown in FIG. 5, the master B3 who is moving on the sidewalk SW2 in the direction indicated by the black arrow is planning to make a right turn at the corner of the building BD2, but currently moves in front of this corner. Consider the case of being inside. Here, the master B3 cannot recognize the state of the space around the building BD2. Note that the master B4 is turning right in the direction indicated by the black arrow on the sidewalk SW2 near the corner of the building BD2, and the autonomous mobile device C4 is moving near the position where the corner is fully turned. Here, the space around the building BD2 is almost a blind spot for the master B4, and the master B4 cannot recognize the state of this space.
このとき、主人B4の自律移動装置C4は、主人B4の視線方向を認識し、主人B4の視野を認識して視覚情報を取得し、死角領域VF4の存在を検出する。そして、自律移動装置C4は、図5に示すように、この死角領域VF4が認識可能な位置まで移動し、死角情報を取得する。次に、自律移動装置C2は、死角情報を地面上の投影領域PF4に投影する。この結果、主人B4から見て死角となる死角領域VF4に関する情報を、主人B4に対して報知して認識させることが可能となる。 At this time, the autonomous mobile device C4 of the master B4 recognizes the visual line direction of the master B4, recognizes the visual field of the master B4, acquires visual information, and detects the presence of the blind spot area VF4. Then, as shown in FIG. 5, the autonomous mobile device C4 moves to a position where the blind spot area VF4 can be recognized, and acquires blind spot information. Next, the autonomous mobile device C2 projects the blind spot information on the projection area PF4 on the ground. As a result, it is possible to notify the master B4 of information related to the blind spot area VF4 that is a blind spot as seen from the master B4.
また、主人B3の自律移動装置C3は、主人B3の視線方向を認識し、主人B3の視野を認識して視覚情報を取得するが、死角領域の存在は検出していない。即ち、検出された死角領域は存在していない。ここで、自律移動装置C3は、周囲の自律移動装置C4から、自律移動装置C4が取得した死角情報を、通信によって受信可能な場所に位置している。このため、自律移動装置C3は、この死角情報と自律移動装置C4の位置に関する情報とを、自律移動装置C4との通信によって取得する。そして、自律移動装置C3は、モザイク技術などを用いて、この死角情報と自律移動装置C3が既に取得した死角情報とを統合する。なお、モザイク技術とは、複数の画像情報の位置合わせを行うことにより、これら複数の画像を結合して新たな画像情報を生成する技術のことである。次に、自律移動装置C3は、統合されたこの死角情報を地面上の投影領域PF3に投影する。この結果、主人B3から見て死角となる死角領域VF4に関する情報を、主人B3に対して報知して認識させることが可能となる。 Further, the autonomous mobile device C3 of the master B3 recognizes the direction of the line of sight of the master B3, recognizes the visual field of the master B3, and acquires visual information, but does not detect the presence of the blind spot area. That is, there is no detected blind spot area. Here, the autonomous mobile device C3 is located at a place where the blind spot information acquired by the autonomous mobile device C4 from the surrounding autonomous mobile device C4 can be received by communication. For this reason, the autonomous mobile device C3 acquires this blind spot information and information related to the position of the autonomous mobile device C4 through communication with the autonomous mobile device C4. Then, the autonomous mobile device C3 integrates the blind spot information with the blind spot information already acquired by the autonomous mobile device C3 using a mosaic technique or the like. The mosaic technique is a technique for generating new image information by combining a plurality of images by aligning a plurality of pieces of image information. Next, the autonomous mobile device C3 projects the integrated blind spot information on the projection area PF3 on the ground. As a result, it is possible to notify the master B3 of the information related to the blind spot area VF4 that is a blind spot as seen from the master B3.
次に、図6に示すように、歩道SW1上を黒矢印によって示される方向に移動中の主人B5が、停車中の乗用車H1,H2の間を通って車道R1を横切ろうとする場合を考える。ここで、主人B5にとっては乗用車H1,H2の間の空間がほぼ死角となっており、主人B1は乗用車H1,H2の間の空間の様子も乗用車H1,H2を乗り越えた空間の様子も認識できていない。 Next, as shown in FIG. 6, a case is considered in which the master B5 moving in the direction indicated by the black arrow on the sidewalk SW1 tries to cross the road R1 between the stopped passenger cars H1 and H2. . Here, the space between the passenger cars H1 and H2 is almost blind spot for the master B5, and the master B1 can recognize the space between the passenger cars H1 and H2 and the space over the passenger cars H1 and H2. Not.
このとき、主人B5の自律移動装置C5は、主人B5の視線方向を認識し、主人B5の視野を認識して視覚情報を取得し、死角領域VF5の存在を検出する。そして、自律移動装置C5は、図6に示すように、この死角領域VF5が認識可能な位置まで移動し、死角情報を取得する。次に、自律移動装置C5は、死角情報によって示される危険度に応じた色の光を点滅させるなどによって、この光を発することにより、主人B5に死角情報を報知する。更に、自律移動装置C5は、この死角情報をディスプレイ44に表示する。この結果、主人B5から見て死角となる死角領域VF5に関する情報を、主人B5に対して報知して認識させることが可能となる。そして、主人B5は、停車中の乗用車H1,H2の間を通って車道R1を安全に横切ることが可能となる。 At this time, the autonomous mobile device C5 of the master B5 recognizes the visual line direction of the master B5, recognizes the visual field of the master B5, acquires visual information, and detects the presence of the blind spot area VF5. Then, as shown in FIG. 6, the autonomous mobile device C5 moves to a position where the blind spot area VF5 can be recognized, and acquires blind spot information. Next, the autonomous mobile device C5 notifies the master B5 of the blind spot information by emitting this light, for example, by blinking the light of the color corresponding to the degree of danger indicated by the blind spot information. Further, the autonomous mobile device C5 displays the blind spot information on the display 44. As a result, it becomes possible to notify the master B5 of the information related to the blind spot area VF5 that becomes a blind spot as seen from the master B5. Then, the master B5 can safely cross the road R1 between the stopped passenger cars H1 and H2.
本実施形態の自律移動装置1によれば、例えば図4に示すように、カメラ10および通信機12により主人B1の視野が総合的に認識されて視覚情報が取得される。そして、この視覚情報に基づいて死角領域VF1が死角領域検出部22により検出される。これにより、死角領域VF1をより正確に検出することができる。そして、検出された死角領域VF1に関する死角情報が、投影指示部24によって取得され、次にこの死角情報が、プロジェクタ42などにより歩道SW1や車道R1上の地面の投影領域PF1に対して投影されて、主人B1に報知される。
According to the autonomous
この結果、主人B1から見て死角となる領域VF1に関する情報を、この主人B1に対して報知することが可能となり、例えば死角となって見えない場所にある移動中の障害物である乗用車H3との衝突が避けられ、主人B1の安全な歩行移動が実現される。また、この死角情報を地面上の投影領域PF1に投影することにより、自律移動装置1から離れた地点においても情報を表示させることができる。更に、自律移動装置C1が存在報知情報LTを地面に対して投影することにより、主人の周囲や自律移動装置C1の周囲に対して、主人B1の存在をアピールして報知することが可能となる。
As a result, it is possible to notify the master B1 of information related to the area VF1 that is a blind spot when viewed from the master B1, for example, a passenger car H3 that is a moving obstacle in a place that cannot be seen as a blind spot. Can be avoided, and a safe walking movement of the master B1 is realized. Further, by projecting this blind spot information onto the projection area PF1 on the ground, the information can be displayed even at a point away from the autonomous
また、図5に示すように、他の自律移動装置C4によって検出された死角領域VF4に関する死角情報が、自律移動装置C3の受信機14により受信され、受信された死角情報がプロジェクタ42などにより歩道SW2上の地面に対して投影されて、自律移動装置C3の主人B3に報知される。これにより、主人B3の自律移動装置C3によっては検出できない離れた場所にある死角領域VF4であっても、この死角領域VF4が他の自律移動装置C4によって検出されれば、この死角領域VF4に関する情報を主人B3に対して報知することが可能となる。 Further, as shown in FIG. 5, blind spot information related to the blind spot area VF4 detected by another autonomous mobile device C4 is received by the receiver 14 of the autonomous mobile device C3, and the received blind spot information is received by the projector 42 or the like on the sidewalk. It is projected onto the ground on SW2 and notified to the master B3 of the autonomous mobile device C3. Thereby, even if it is the blind spot area VF4 in a distant place that cannot be detected by the autonomous mobile device C3 of the master B3, if this blind spot area VF4 is detected by another autonomous mobile device C4, information on this blind spot area VF4 Can be notified to the master B3.
以上、本発明の実施の形態について説明したが、本発明は、上記実施形態に限定されるものではなく種々の変形が可能である。例えば、主人やその周囲環境を認識する手段として、上述したカメラ10や通信機12に加え、レーザレーダやミリ波レーダなどのセンサ類を用いてもよい。
Although the embodiment of the present invention has been described above, the present invention is not limited to the above embodiment, and various modifications can be made. For example, as means for recognizing the master and the surrounding environment, sensors such as laser radar and millimeter wave radar may be used in addition to the
また、上記実施形態では、自律移動装置1の移動手段およびその駆動力源として車輪36と電動モータ34を用いたが、移動手段およびその駆動力源は、車輪36や電動モータ34に限られることなく、例えばキャタピラや小型のエンジンなどを用いることもできる。また、主人の危険度の求め方も、上記実施形態には限られない。
Moreover, in the said embodiment, although the
1,101,C1〜C5…自律移動装置、10…カメラ、12…通信機、20…ECU、22…死角領域検出部、24…投影指示部、26…アクチュエータ制御部、30…スピーカ、32…バックライト、34…電動モータ、36…車輪、42…プロジェクタ、44…ディスプレイ、B1〜B5…主人、BD1,BD2…建物、H1〜H3…乗用車、LR…文字情報、LT…存在報知情報、PF,PF1〜PF4…投影領域、R1,R2…車道、SW1,SW2…歩道、VD…映像情報、VF1,VF2,VF4,VF5…死角領域。
DESCRIPTION OF SYMBOLS 1,101, C1-C5 ... Autonomous mobile device, 10 ... Camera, 12 ... Communication apparatus, 20 ... ECU, 22 ... Blind spot area detection part, 24 ... Projection instruction | indication part, 26 ... Actuator control part, 30 ... Speaker, 32 ... Backlight, 34 ... Electric motor, 36 ... Wheel, 42 ... Projector, 44 ... Display, B1-B5 ... Master, BD1, BD2 ... Building, H1-H3 ... Passenger car, LR ... Text information, LT ... Presence information, PF , PF1 to PF4 ... projection area, R1, R2 ... roadway, SW1, SW2 ... sidewalk, VD ... video information, VF1, VF2, VF4, VF5 ... blind spot area.
Claims (1)
カメラによって取得された前記特定の人の視線方向に基づいて、前記特定の人にとって死角となる死角領域を検出する死角領域検出手段と、
前記死角領域検出手段により検出された死角領域に関する死角情報を前記特定の人に報知する報知手段と、
他の自律移動装置によって検出された死角領域に関する死角情報を受信する情報受信手段と、
を備え、前記報知手段は、前記情報受信手段が受信した死角情報を前記特定の人に報知することを特徴とする自律移動装置。 In an autonomous mobile device that moves autonomously around a specific person,
A blind spot area detecting means for detecting a blind spot area that becomes a blind spot for the specific person based on the line-of-sight direction of the specific person acquired by the camera;
Informing means for informing the specific person of blind spot information regarding the blind spot area detected by the blind spot area detecting means;
Information receiving means for receiving blind spot information relating to a blind spot area detected by another autonomous mobile device;
Wherein the notifying means, the autonomous mobile apparatus characterized that you notify the blind spot information by the information receiving means receives the particular person.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006163618A JP4857926B2 (en) | 2006-06-13 | 2006-06-13 | Autonomous mobile device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006163618A JP4857926B2 (en) | 2006-06-13 | 2006-06-13 | Autonomous mobile device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007331045A JP2007331045A (en) | 2007-12-27 |
JP4857926B2 true JP4857926B2 (en) | 2012-01-18 |
Family
ID=38931016
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006163618A Expired - Fee Related JP4857926B2 (en) | 2006-06-13 | 2006-06-13 | Autonomous mobile device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4857926B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4900253B2 (en) * | 2008-01-10 | 2012-03-21 | 株式会社豊田中央研究所 | Driving assistance device |
US8983662B2 (en) * | 2012-08-03 | 2015-03-17 | Toyota Motor Engineering & Manufacturing North America, Inc. | Robots comprising projectors for projecting images on identified projection surfaces |
JP5900368B2 (en) * | 2013-01-31 | 2016-04-06 | トヨタ自動車株式会社 | Moving body |
CN108628318B (en) * | 2018-06-28 | 2021-10-22 | 广州视源电子科技股份有限公司 | Congestion environment detection method and device, robot and storage medium |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4506016B2 (en) * | 2000-09-19 | 2010-07-21 | トヨタ自動車株式会社 | Mobile body mounting robot and mobile body equipped with the same |
JP2005125828A (en) * | 2003-10-21 | 2005-05-19 | Fujitsu Ten Ltd | Vehicle surrounding visually confirming system provided with vehicle surrounding visually confirming device |
JP2006015436A (en) * | 2004-06-30 | 2006-01-19 | Honda Motor Co Ltd | Monitoring robot |
-
2006
- 2006-06-13 JP JP2006163618A patent/JP4857926B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007331045A (en) | 2007-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230311749A1 (en) | Communication between autonomous vehicle and external observers | |
JP4830438B2 (en) | Autonomous mobile device | |
JP6470346B2 (en) | Danger notification control device for vehicle | |
US10926764B2 (en) | Lane keeping assistance apparatus, vehicle having the same and method for controlling the same | |
JP4371153B2 (en) | Autonomous mobile device | |
US20190135169A1 (en) | Vehicle communication system using projected light | |
JP5146243B2 (en) | Lane departure control device | |
JP2008250503A (en) | Operation support device | |
JP2014109945A (en) | Vehicle driving support control device | |
JP2001195699A (en) | Vehicle circumference monitor device and recording medium for stored with vehicle collision danger judgement processing program | |
KR101800007B1 (en) | Cctv system for protecting pedestrian | |
CN108263376B (en) | Automatic parking system and automatic parking method | |
JP4238428B2 (en) | Intersection information provision device | |
JP4857926B2 (en) | Autonomous mobile device | |
JP5274984B2 (en) | Driving support system | |
US11600181B2 (en) | Saddle-riding type vehicle | |
JP4986070B2 (en) | Ambient monitoring device for vehicles | |
JP2007334500A (en) | Autonomous mobile device | |
JP2003104148A (en) | Control device of vehicle | |
JP5082298B2 (en) | Autonomous mobile device | |
US11417107B2 (en) | Stationary vision system at vehicle roadway | |
KR102188269B1 (en) | A method for controlling a camera zoom magnification | |
JP2009026209A (en) | Autonomous moving device | |
JP4983458B2 (en) | Autonomous mobile device | |
US20220348199A1 (en) | Apparatus and method for assisting driving of vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090609 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101221 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110809 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110905 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111004 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111017 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4857926 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141111 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |