JP6669948B2 - 移動体制御装置及び移動体 - Google Patents
移動体制御装置及び移動体 Download PDFInfo
- Publication number
- JP6669948B2 JP6669948B2 JP2014181853A JP2014181853A JP6669948B2 JP 6669948 B2 JP6669948 B2 JP 6669948B2 JP 2014181853 A JP2014181853 A JP 2014181853A JP 2014181853 A JP2014181853 A JP 2014181853A JP 6669948 B2 JP6669948 B2 JP 6669948B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- representative point
- moving body
- movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 claims description 62
- 230000002123 temporal effect Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 description 60
- 238000012545 processing Methods 0.000 description 33
- 238000001514 detection method Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 14
- 238000006073 displacement reaction Methods 0.000 description 14
- 238000012986 modification Methods 0.000 description 11
- 230000004048 modification Effects 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 210000001364 upper extremity Anatomy 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 210000003414 extremity Anatomy 0.000 description 3
- 210000003141 lower extremity Anatomy 0.000 description 3
- 230000004397 blinking Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
- G01S3/782—Systems for determining direction or deviation from predetermined direction
- G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
- G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
- G01S3/7864—T.V. type tracking systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
Description
例えば、特許文献1に記載の追尾方法は、追尾対象物に第1の位置検出センサと第1の情報通信手段を設け、第1の位置検出センサによる位置検出情報を、時計手段からの時刻情報とともに記憶手段を有する。また、本追尾方法は、追尾装置に第2の位置検出センサと第2の情報通信手段を設け、追尾装置は記憶手段に記憶された情報に基づき、追尾対象物が過去に通過した経路を再現して追尾を行う。
可能な移動体である。
以下、図面を参照しながら本発明の第1の実施形態について説明する。
図1は、本実施形態に係る移動体1の構成を示す概略図である。図1において、X、Y、Zは、それぞれ3次元直交座標系のX軸、Y軸、Z軸を示す。図1(A)、(B)は、それぞれ移動体1の平面図、側面図である。
移動体1は、駆動部13−1、13−2、車輪14−1、14−2、14−3、及び基台15を備える。移動体1は、例えば、無人搬送車である。
駆動部13−1、13−2は、車輪14−1、14−2を回転させる。車輪14−1、14−2及び14−3は、基台15の底面を支持し、回転することにより移動体1の全体を移動させる。車輪14−3は、当該底面の一辺の中点に近い位置に配置されているのに対し、車輪14−1、14−2は、当該一辺に対向する辺に近接し、基台15の両側面に近接した位置に配置されている。軸線Arは、車輪14−1、14−2の回転中心をそれぞれ通る直線である。以下の説明では、車輪14−3から車輪14−1、14−2の中点への方向を前方、車輪14−1、14−2の中点から車輪14−3への方向を後方と呼ぶ。また、前方に向かって左方、右方を、それぞれ単に左方、右方と呼ぶ。
図1に示す例では、撮像部11の光学軸が前方に向けられている。また、撮像部11の光学中心は、軸線Ar上の車輪14−1、14−2の回転中心間の中点に平面視で一致している。以下の説明では、撮像部11の光学中心を基準点Opと呼ぶ。基準点Opは、移動体1の位置を代表する点である。
図2は、画像内座標と深度値の関係を説明するための図である。図2に示す例では、撮像部11の光学軸の方向Ocは、Z方向に向けられている。
撮像面Ieは、撮像部11において基準点Opから前方に所定の焦点距離fだけ離れた位置に設けられている。撮像面Ieの法線方向は、光学軸の方向Ocに向けられている。基準点Opを通る光学軸と撮像面Ieは、撮像面Ieの中心ocと交わる。画像内座標(x,y)は、撮像面Ieに配列された複数の画素のいずれかの位置を示す。画像内座標(x,y)は、中心ocを原点とする2次元座標系で表される。x、yは、それぞれ水平方向の座標値、垂直方向の座標値を示す。
次に、本実施形態に係る移動体制御装置20の構成について説明する。
図3は、本実施形態に係る移動体制御装置20の構成を示すブロック図である。
移動体制御装置20は、画像入力部21、対象特定部22、移動制御部25、姿勢認識部26、及び記憶部27を含んで構成される。移動体制御装置20は、さらに撮像部11を備えてもよい。
対象特定部22は、人体判定部23と、代表点特定部24とを含んで構成される。
人体判定部23は、記憶部27に逐次に記憶された画像データを読み取り、読み取った画像データから人の像を検出する。人体判定部23は、例えば、画像データを参照して互いに近接する座標間の深度値の差に基づいて像の輪郭を抽出する。人体判定部23は、抽出した輪郭と人体モデルとを照合して人の像を検出する。人体判定部23は、抽出した輪郭を示す輪郭データを記憶部27に記憶する。
人体判定部23は、記憶部27から各1つの人体モデルを読み取る。人体判定部23は、抽出した輪郭と読み取った人体モデルとを照合する。照合の際に、人体判定部23は、読み取った人体モデルを形成する各節点の画像内座標(x,y)を、ある変位量(Δx、Δy)だけずらす。人体判定部23は、抽出した輪郭と、ずらした各節点の画像内座標(x+Δx,y+Δy)とのスコアを算出する。スコアは、輪郭が表す形状と人体モデルが表す姿勢との適合度を示す指標値である。人体判定部23は、各1つの人体モデルに対し複数の変位量のそれぞれについてスコアを算出する。そして、人体判定部23は、算出したスコアのうち最大となるスコアを与える人体モデルと変位量を定める。以下の説明では、最大となるスコアを最大スコアと呼ぶ。
人体判定部23は、最大スコアが予め定めたスコアの下限以上である場合、画像に人の像が含まれると判定する。これにより、画像に含まれる人の姿勢と位置が特定される。人体判定部23は、定めた人体モデルの識別番号と変位量を記憶部27に記憶する。
人体判定部23は、最大スコアが予め定めたスコアの下限よりも小さい場合、画像に人の像が含まれないと判定する。
代表点特定部24は、読み取った人体モデルの節点のうち、人体の体幹の位置を示す節点を特定する。すなわち、対象特定部22は、人の体幹の位置を示す節点を代表点に定める。体幹とは、人体のうち四肢と頭部を除いた胴体である。体幹は人の日常動作において四肢及び頭部ほど頻繁に動作しない。従って、体幹の位置の時間変化を取得することによって、歩行に伴う人の全身の並進運動を安定的に検出することができる。なお、体幹は、胸部、肩部、及び腰部を含むが、そのうち腰部のみが用いられてもよい。腰部は、他の部位よりも四肢や頭部の動作の影響を受けにくい。
姿勢認識部26は、輪郭データが示す輪郭と姿勢モデルとを照合して、所定の姿勢を認識できたか否かを判定する。所定の姿勢を認識できたとは、輪郭データの生成に用いられた画像に所定の姿勢の人の像が含まれることを意味する。
次に、移動制御部25が行う移動制御について説明する。
図5は、本実施形態に係る移動制御を説明するための平面図である。実線の四角形は、ある時刻tにおける移動体1を示す。破線の四角形は、移動目標となる移動目標点Op’に移動したときの移動体1を示す。以下の説明では、時刻tにおいて、代表点Ohが定められた場合を例にする。Ocは、時刻tにおける移動体1の方向を示し、撮像部11の光学軸の方向に一致する。Δθは、代表点Ohの水平面内の方向を示す。
移動制御部25は、それぞれ算出した駆動量での駆動を指示する制御信号を生成する。移動制御部25は、生成した制御信号をそれぞれ駆動部13−1、13−2に出力する。駆動部13−1、13−2は、移動制御部25から入力された制御信号が示す駆動量で車輪14−1、14−2を回転させる。
(1)移動量Δdが正である場合、移動制御部25は、前述の進行速度に対して速度減衰率を乗算して車輪14−1、14−2に対する駆動速度を定める。
(2)移動量Δdが0である場合、移動制御部25は、予め設定した旋回上限速度に対して速度減衰率を乗算して車輪14−1、14−2に対する駆動速度を定める。
(3)移動量Δdが負である場合、前述の進行速度も負となる。この場合、移動制御部25は、前述の進行速度に対して速度減衰率を乗算して車輪14−1、14−2に対する駆動速度を定める。
移動制御部25は、定めた駆動速度で車輪14−1、14−2を回転させることを指示する制御信号を生成し、生成した制御信号を駆動部13−1、13−2に出力する。
図6は、本実施形態に係る移動制御の例を示す平面図である。
図6(A)は、移動体1の動きの例を示す。矢印m1は、代表点Ohが移動体1の前方に移動することによって移動体1から遠ざかる場合を示す。この場合には、矢印m1’に示すように、移動体1は前進することによって代表点Ohに近づく。矢印m2は、代表点Ohが移動体1の後方に移動することによって移動体1に近づく場合を示す。この場合には、矢印m2’に示すように、移動体1は後退することによって代表点Ohから遠ざかる。
次に、本実施形態に係る移動体制御処理について説明する。
図7は、本実施形態に係る移動体制御処理を示すフローチャートである。
(ステップS101)画像入力部21には、撮像部11から画像データが入力される。その後、ステップS102の処理に進む。
(ステップS102)姿勢認識部26は、記憶部27に記憶された姿勢モデルデータを参照して、入力された画像データが示す画像において所定の姿勢を認識できたか否かを判定する。姿勢認識部26が認識できたと判定した場合には(ステップS102 YES)、ステップS103の処理に進む。姿勢認識部26が認識できないと判定した場合には(ステップS102 NO)、ステップS101の処理を繰り返す。
(ステップS104)人体判定部23は、記憶部27に記憶された人体モデルデータを参照して、入力された画像データが示す画像から人の像を検出する。その後、ステップS105の処理に進む。
(ステップS105)代表点特定部24は、検出された人の像のうち体幹に係る節点を代表点と定める。その後、ステップS106の処理に進む。
(ステップS107)移動制御部25は、移動体1の基準点から移動目標点までの移動量を算出する。その後、ステップS108の処理に進む。
(ステップS108)移動制御部25は、算出した移動量に基づいて駆動部13−1、13−2を駆動する。その後、ステップS103に進む。
上述では、代表点特定部24が、一時点で取得した画像データを用いて、その時点の代表点を定める場合を例にしたが、代表点特定部24は、撮像部11が時系列に撮像した複数の画像ごとに代表点をそれぞれ定めてもよい。すなわち、代表点特定部24は、撮像部11が時系列に撮像した複数の画像ごとに、代表点をそれぞれ抽出する。そして、移動制御部25は、代表点特定部24が抽出した代表点の位置の時間変化に基づいて、移動体1の移動を制御する。
これにより、抽出した輪郭と人体モデルとの照合において、人体判定部23は、最大スコアを探索するための変位量の探索範囲を制限することができる。言い換えれば、画像に人の像が含まれるか否かを判定し、画像が示す人の像から人体の姿勢と位置を特定する処理が軽減される。すなわち、画像に人の像の全体が含まれる必要がない。また、移動体1の振動による代表点のずれが緩和されるので移動体1の並進運動に精度よく追従することができる。
この構成により、移動体制御装置20は、移動体の移動を制御する際に、撮像された画像から定められた人の体幹の位置を利用することができる。そのため、複雑な人の動きを画像により一元的に把握し、人の並進運動を捉えることができるので、簡素な構成で移動体を人に追従させることができる。
この構成により、代表点の位置の時間変化に基づいて人の動きの傾向を推定することができる。推定した人の動きの傾向を利用することにより処理を軽減することができる。
この構成により、人は移動体制御装置20に接触しなくても、所定の姿勢をとることによって制御の開始を指示することができる。また、移動体制御装置20は、人による制御の開始の指示を受け付けるための構成を必須としないため、部品点数の増加を抑えることができる。
この構成により、人と移動体1との間の距離が、所定の距離を目標として制御される。そのため、人が留意することができる範囲内に移動体1の位置を制御することと、移動体1の人への接触の回避とを両立することができる。
次に、本発明の第2の実施形態について説明する。上述した実施形態と同一の構成については、同一の符号を付して説明を援用する。
本実施形態に係る移動体制御装置20において、代表点特定部24が代表点を定めることができない場合、移動制御部25は移動体1の向きを変える。
(1)人体判定部23が、取得した画像から人の像を検出することができない場合。この場合には、人が撮像部11の視野外に所在するために当該画像に人の像が含まれない場合、移動体1の振動により当該画像に「ぶれ」が生じた場合、などがある。人体判定部23は、上述した最大スコアが所定のスコアの閾値よりも低い場合に、人の像を検出することができない、と判定することができる。
(2)代表点特定部24が、検出した人の像から代表点を定めることができない場合。この場合には、検出した人の像に検出対象の体幹の位置を示す節点が含まれない場合、代表点の画像内座標(x,y)に係る深度値Zが異常である場合(例えば、0以下)、などがある。
図8及び図9は、本実施形態に係る方向変更処理の例を説明するための平面図である。方向変更処理の態様には、次の態様(1)、(2)がある。(1)、(2)のいずれを実行するかを、移動制御部25に予め設定しておいてもよい。
そこで、移動制御部25は移動体1の移動方向を後方に定め、移動体1を所定の移動量Δdだけ後退させる。ここで、移動制御部25は、移動目標点Op’を現在の基準点Opよりも移動量Δdだけ後方に定める。移動制御部25は、定めた移動目標点Op’までの移動量Δdに基づいて上述した移動制御を行う。移動体1を後退させることにより、前方の水平方向に後退前よりも広い範囲に所在する物体が撮像部11の視野Ov内に含まれる。図8に示す例では、視野Ov内に人の像が含まれる。よって、代表点特定部24は、代表点Ohを再度定めることができる。
移動量Δdは、代表点特定部24が代表点Ohを定めることができる距離d’の範囲(例えば、0.5−3.5m)よりも十分に小さくてもよい(例えば、0.3m)。移動量Δdを制限することで、移動体1の後方に所在する物体に移動体1が接触する可能性を低くすることができる。
次に、本実施形態に係る移動体制御処理について説明する。
図10は、本実施形態に係る移動体制御処理を示すフローチャートである。
図10に示す移動体制御処理は、ステップS101−S108の処理と、ステップS201−S205の処理を有する。ステップS101−S108の処理については、上述した説明を援用する。
(ステップS201)人体判定部23は、入力された画像データが示す画像から人の像を検出できたか否かを判定する。人体判定部23が検出できたと判定した場合には(ステップS201 YES)、ステップS105の処理に進む。ステップS105の処理が終了した後、ステップS202の処理に進む。人体判定部23が検出できなかったと判定した場合には(ステップS201 NO)、ステップS203の処理に進む。
(ステップS202)代表点特定部24が、検出した人の像から代表点を定めることができたか否かを判定する。代表点特定部24が定めることができたと判定した場合には(ステップS202 YES)、ステップS106の処理に進む。代表点特定部24が定めることができなかったと判定した場合には(ステップS202 NO)、ステップS203の処理に進む。
代表点特定部24が所定の経過時間以上になったと判定した場合(ステップS203 YES)、図10に示す処理を終了する。代表点特定部24が所定の経過時間の閾値以上になっていないと判定した場合(ステップS203 NO)、ステップS204の処理に戻る。
(ステップS204)移動制御部25は移動体1の向きを変える。ここで、移動制御部25は、上述した方向変更処理を実行する。その後、ステップS103の処理に進む。
なお、移動制御部25が移動体1を後退させるとき、移動目標点Op’が所定の後退範囲を超える場合がある。所定の後退範囲とは、代表点特定部24が代表点を定めることができる距離d’の範囲の下限dmin’から予め定めた限界値δdだけ大きい値dmin’+δdを下限とし、当該範囲の上限dmax’から予め定めた限界値δdだけ小さい値を上限dmax’+δdとする範囲である。その場合、移動制御部25は、上述した移動体制御処理を停止してもよい。これにより、代表点特定部24は、移動体1の移動範囲を、代表点を定めることができる距離d’の範囲内に制限することができる。
次に、本実施形態の変形例について説明する。移動制御部25は、現在までの所定期間内に定められた代表点の画像内座標(x,y)に基づいて移動体1の向きを定めてもよい。前時刻における代表点の画像内座標(x,y)が、画像の水平方向の一端から所定の幅の領域に含まれる場合、移動制御部25は、移動体の向きをその一端の方向に定める。前時刻における代表点の画像内座標(x,y)が、画像の水平方向の他端から所定の幅の領域に含まれる場合、移動制御部25は、移動体1の向きをその他端の方向に定める。前時刻とは、現在処理対象としている画像データの直前に取得された画像データを処理した時刻を意味する。所定の幅は、画像の水平方向の大きさの半分の大きさよりも小さい。それ以外の場合、移動制御部25は、移動体1を後退させると判定する。移動体1の向きを定める処理を、方向決定処理と呼ぶ。
矢印m1、m2、m3は、それぞれ人の動きを示す。◎印は、各時刻tにおける代表点Oh(t)を示す。例えば、代表点Oh(t11)、Oh(t12)、Oh(t13)は、それぞれ、時刻t11、t12、t13における人の位置を示す。
図12(A)は、時刻t12において撮像された画像Im12を示す。画像Im12は、左方から右方に移動する人hを表す。Cmは、代表点の画像内座標(x,y)を示し、画像Im12における人hの位置を代表している。人hの像は、画像Im12の左端よりも右端に近い位置に含まれる。
次に、本変形例に係る方向決定処理について説明する。移動制御部25は、以下に説明する方向決定処理を、ステップS203(図10)において代表点特定部24が所定の経過時間の閾値以上になっていないと判定した場合(ステップS203 NO)に開始する。
図13は、本変形例に係る方向決定処理を示すフローチャートである。
(ステップS211)移動制御部25は、記憶部27から前時刻に係る代表点データを読み取る。その後、ステップS212に進む。
(ステップS212)移動制御部25は、読み取った代表点データに係る代表点の方向を判定する。ここで、代表点データが示す代表点の画像内座標(x,y)が画像の右端から所定の領域内に含まれる場合、移動制御部25は、代表点の方向を右方と判定する。代表点の画像内座標(x,y)が画像の左端から所定の領域内に含まれる場合、移動制御部25は、代表点の方向を左方と判定する。代表点の画像内座標(x,y)が画像の左端から所定の領域内にも、画像の右端から所定の領域内にも含まれない場合は、代表点の方向は判定不能である。その後、ステップS213に進む。
(ステップS215)移動制御部25は、移動体1を後退させるための移動量Δdを設定する。その後、ステップS204の処理に進む。
(ステップS216)移動制御部25は、移動体の向きを右方に向けるための目標方向Δθを設定する。その後、ステップS204(図10)の処理に進む。
また、前時刻において定められた代表点の代表画素が、画像の水平方向の両端のそれぞれから所定の幅の領域に含まれない場合、移動制御部25は、移動体1を後退させると判定する。そして、移動制御部25は、移動体1を後退させる。これにより、移動制御部25は、より広い領域を撮像した画像から人を再認識する手がかりを得ることができる。
これにより、代表点特定部24は、一時的に代表点を定めることができなくなったときでも、過去のいずれかの時点において定められた代表点を利用できる。そのため、移動制御部25が、移動体1の向きを安定して定めることができる。
移動体1には、図14に示すように、さらに物体検出部16が設置されてもよい。
図14は、本変形例に係る移動体1の構成を示す平面図である。物体検出部16は、基台15に設置され、その周囲の検出範囲内に所在する物体を検出する。物体検出部16が物体を検出できる検出範囲Odは、移動体1の後方に向けられている。検出範囲Odは、撮像部11の視野Ovとは互いに逆方向に向けられ、視野Ovと重なる部分を有しない。そのため、物体検出部16は、後方に所在する物体を検出することができる。物体検出部16は、検出した物体の位置を示す物標データを移動体制御装置20に出力する。物体検出部16は、例えば、レーダ装置、赤外線センサ、磁気センサ、等である。なお、物体検出部16は、基台15から着脱可能であってもよい。
検出信号入力部28は、物体検出部16から入力された物標データを逐次に記憶部27に記憶する。検出信号入力部28は、例えば、入出力インタフェースである。検出信号入力部28は、画像入力部21と共用した入出力インタフェースであってもよい。
駆動部13−1、13−2は、移動制御部25から駆動停止信号が入力されたとき、車輪14−1、14−2の回転を停止させる。
これにより、移動制御部25は、撮像部11の視野に含まれない後方の物体の位置を検出できる。また、移動制御部25は、検出した物体に、移動体1を後退させて接近したときに、移動体1の移動を停止させることができる。そのため、移動体制御装置20は、移動体1が検出した物体への接触を回避することができる。
この構成により、撮像部11が撮像した画像に人の像を含む位置もしくは方向に移動体1を移動させることができる。代表点特定部24は代表点を再度定めることができるので、移動制御部25は、移動体1の制御を再開することができる。
次に、本発明の第3の実施形態について説明する。上述した実施形態と同一の構成については、同一の符号を付して説明を援用する。
図16は、本実施形態に係る移動体制御装置20の構成を示すブロック図である。
本実施形態に係る移動体制御装置20は、図3に示す移動体制御装置20に対して、さらに通知情報出力部(制御部)29を含んで構成される。移動体制御装置20は、さらに通知部31を備えてもよい。
通知情報出力部29は、記憶部27に現在までの所定時間内にエラーデータが記憶されたか否かを監視する。通知情報出力部29が、エラーデータが記憶されたことを検出した場合、通知情報データを生成する。通知情報データは、人に対して所定の姿勢をとることを促すことを示す情報を示すデータである。通知情報の形式は、例えば、その旨を表すテキスト、画像、音声、光線の点滅、等である。通知情報出力部29は、生成した通知情報データを通知部31に出力する。
次に、本実施形態に係る移動体制御処理について説明する。
図17は、本実施形態に係る移動体制御処理を示すフローチャートである。
本実施形態に係る移動体制御処理は、ステップS101−S108の処理及びステップS301、S302の処理を有する。ステップS101−S108の処理については、上述した説明を援用する。
(ステップS301)人体判定部23は、入力された画像データが示す画像から人の像を検出できたか否かを判定する。人体判定部23が検出できたと判定した場合には(ステップS301 YES)、ステップS105の処理に進む。人体判定部23が検出できなかったと判定した場合には(ステップS301 NO)、ステップS302の処理に進む。
(ステップS302)通知情報出力部29は、所定の姿勢をとることを促すことを示す通知情報データを生成し、生成した通知情報データを通知部31に出力する。通知部31は、通知情報出力部29から入力された通知情報データが示す通知情報を通知する。その後、ステップS101に戻る。
この構成により、代表点特定部24が代表点を定めることができない場合に、所定の姿勢を促す情報が移動体制御装置20の周囲に所在する人に通知される。そのため、通知された人が撮像部11の視野内において所定の姿勢をとることによって、移動制御部25による移動体1の移動の制御を再開することができる。
例えば、移動制御部25が移動体1を移動させる速度vは、基準点Opから代表点Ohまでの距離d’が大きいほど、高くてもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
Claims (6)
- 移動体に備えられた場合に、当該移動体の周囲の少なくとも一部を撮像して、画像を入手する撮像部と、
前記撮像部が撮像した画像に人の像が含まれる場合に、前記人の像から当該人の体幹を代表点に定める特定部と、
前記特定部が定めた前記代表点の前記画像内における位置に基づいて、前記移動体の移動を制御する制御部と、
前記制御部は、前記人が前記撮像部の視野外に所在することにより、前記特定部が前記人の像から前記代表点を定めることができない場合に、前記移動体を後退する制御をおこなうことを特徴とする移動体制御装置。 - 前記特定部は、
前記撮像部が時系列に撮像した複数の画像ごとに、前記代表点をそれぞれ抽出し、
前記制御部は、
前記特定部が抽出した前記代表点の位置の時間変化に基づいて、前記移動体の移動を制御する
ことを特徴とする請求項1に記載の移動体制御装置。 - 前記制御部は、
前記撮像部が撮像した画像に、前記特定部が、所定の姿勢の人の像が含まれると判定した場合、当該人の前記代表点に基づく前記移動体の移動の制御を開始する
ことを特徴とする請求項1又は請求項2のいずれか一項に記載の移動体制御装置。 - 前記制御部は、前記代表点と前記移動体の基準点との間の距離を、所定の距離を目標として前記移動体の移動を制御する請求項1から請求項3のいずれか一項に記載の移動体制御装置。
- 請求項1から請求項4のいずれか一項に記載の移動体制御装置を備え、
任意の方向に地面に沿って移動可能な移動体。 - 請求項5に記載の移動体は、無人搬送車である移動体。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014181853A JP6669948B2 (ja) | 2014-09-08 | 2014-09-08 | 移動体制御装置及び移動体 |
CN201580048306.7A CN107077138B (zh) | 2014-09-08 | 2015-08-27 | 移动体控制装置和移动体 |
EP15840623.1A EP3193229B1 (en) | 2014-09-08 | 2015-08-27 | Mobile body control device and mobile body |
PCT/JP2015/074210 WO2016039158A1 (ja) | 2014-09-08 | 2015-08-27 | 移動体制御装置及び移動体 |
US15/509,302 US10379541B2 (en) | 2014-09-08 | 2015-08-27 | Mobile unit control device and mobile unit |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014181853A JP6669948B2 (ja) | 2014-09-08 | 2014-09-08 | 移動体制御装置及び移動体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016057720A JP2016057720A (ja) | 2016-04-21 |
JP6669948B2 true JP6669948B2 (ja) | 2020-03-18 |
Family
ID=55458912
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014181853A Expired - Fee Related JP6669948B2 (ja) | 2014-09-08 | 2014-09-08 | 移動体制御装置及び移動体 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10379541B2 (ja) |
EP (1) | EP3193229B1 (ja) |
JP (1) | JP6669948B2 (ja) |
CN (1) | CN107077138B (ja) |
WO (1) | WO2016039158A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115241045A (zh) | 2016-03-22 | 2022-10-25 | 株式会社半导体能源研究所 | 半导体装置以及包括该半导体装置的显示装置 |
DE102017117872B4 (de) * | 2017-08-07 | 2019-11-07 | Motherson Innovations Company Limited | Selbstfahrendes Gepäckstück und Verfahren zum Betreiben eines selbstfahrenden Gepäckstücks |
CN111052025A (zh) * | 2017-09-13 | 2020-04-21 | 日本电产株式会社 | 移动机器人系统 |
JP6894595B2 (ja) * | 2018-03-28 | 2021-06-30 | 株式会社エクォス・リサーチ | 移動体 |
JP2020017206A (ja) * | 2018-07-27 | 2020-01-30 | ソニー株式会社 | 情報処理装置、行動決定方法及びプログラム |
EP3894972B1 (en) * | 2019-04-29 | 2023-11-08 | Google LLC | Motorized computing device that autonomously adjusts device location and/or orientation of interfaces according to automated assistant requests |
CN111353474B (zh) * | 2020-03-30 | 2023-12-19 | 安徽建筑大学 | 一种基于人体姿态不变特征的行人再识别方法 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH036710A (ja) * | 1989-06-05 | 1991-01-14 | Toshiba Corp | 追随移動ロボット制御装置 |
JP2003052039A (ja) * | 2001-08-07 | 2003-02-21 | Suzuki Motor Corp | 作業動作計測システム及び方法並びに作業動作計測用プログラム |
JP3714268B2 (ja) * | 2002-03-18 | 2005-11-09 | ソニー株式会社 | ロボット装置 |
JP4245887B2 (ja) * | 2002-09-30 | 2009-04-02 | セコム株式会社 | 搬送ロボット |
JP2004299025A (ja) * | 2003-04-01 | 2004-10-28 | Honda Motor Co Ltd | 移動ロボット制御装置、移動ロボット制御方法及び移動ロボット制御プログラム |
JP2006155349A (ja) | 2004-11-30 | 2006-06-15 | Sony Corp | 追尾方法、追尾装置、追尾システム及び追尾プログラム |
JP4154430B2 (ja) * | 2006-02-06 | 2008-09-24 | 株式会社トイパッククリエーション | 発信源の位置を検知する方法及び装置 |
JP2007229816A (ja) * | 2006-02-27 | 2007-09-13 | Toyota Motor Corp | 自律移動型ロボット |
US7671725B2 (en) * | 2006-03-24 | 2010-03-02 | Honda Motor Co., Ltd. | Vehicle surroundings monitoring apparatus, vehicle surroundings monitoring method, and vehicle surroundings monitoring program |
JP2007265343A (ja) | 2006-03-30 | 2007-10-11 | Tottori Univ | 移動物体の追従装置及び同装置を備えた電動車椅子 |
US7961667B2 (en) * | 2006-07-21 | 2011-06-14 | International Business Machines Corporation | Ad-hoc groups in SIP/SIMPLE |
JP4802112B2 (ja) * | 2007-02-08 | 2011-10-26 | 株式会社東芝 | トラッキング方法及びトラッキング装置 |
JPWO2009116597A1 (ja) | 2008-03-18 | 2011-07-21 | 株式会社日立製作所 | 姿勢把握装置、姿勢把握プログラム、及び姿勢把握方法 |
JP5084756B2 (ja) * | 2009-01-30 | 2012-11-28 | 国立大学法人埼玉大学 | 自律移動車椅子 |
JP5757063B2 (ja) * | 2010-03-29 | 2015-07-29 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
US20120316680A1 (en) | 2011-06-13 | 2012-12-13 | Microsoft Corporation | Tracking and following of moving objects by a mobile robot |
US9321173B2 (en) * | 2012-06-22 | 2016-04-26 | Microsoft Technology Licensing, Llc | Tracking and following people with a mobile robotic device |
JP6195450B2 (ja) * | 2013-01-31 | 2017-09-13 | セコム株式会社 | 自律飛行ロボット |
DE102013110456A1 (de) | 2013-09-21 | 2015-03-26 | Still Gmbh | Verfahren zur Steuerung eines Kommissionierflurförderzeugs |
WO2015093330A1 (ja) * | 2013-12-17 | 2015-06-25 | シャープ株式会社 | 認識データ伝送装置 |
JP6448223B2 (ja) * | 2014-06-12 | 2019-01-09 | キヤノン株式会社 | 画像認識システム、画像認識装置、画像認識方法、およびコンピュータプログラム |
-
2014
- 2014-09-08 JP JP2014181853A patent/JP6669948B2/ja not_active Expired - Fee Related
-
2015
- 2015-08-27 US US15/509,302 patent/US10379541B2/en not_active Expired - Fee Related
- 2015-08-27 EP EP15840623.1A patent/EP3193229B1/en not_active Revoked
- 2015-08-27 CN CN201580048306.7A patent/CN107077138B/zh not_active Expired - Fee Related
- 2015-08-27 WO PCT/JP2015/074210 patent/WO2016039158A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
CN107077138B (zh) | 2020-12-01 |
JP2016057720A (ja) | 2016-04-21 |
CN107077138A (zh) | 2017-08-18 |
US20180231983A1 (en) | 2018-08-16 |
WO2016039158A1 (ja) | 2016-03-17 |
US10379541B2 (en) | 2019-08-13 |
EP3193229A1 (en) | 2017-07-19 |
EP3193229B1 (en) | 2019-10-02 |
EP3193229A4 (en) | 2018-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6669948B2 (ja) | 移動体制御装置及び移動体 | |
Lee et al. | RGB-D camera based wearable navigation system for the visually impaired | |
Leigh et al. | Person tracking and following with 2d laser scanners | |
US10410328B1 (en) | Visual-inertial positional awareness for autonomous and non-autonomous device | |
US10133278B2 (en) | Apparatus of controlling movement of mobile robot mounted with wide angle camera and method thereof | |
US10366508B1 (en) | Visual-inertial positional awareness for autonomous and non-autonomous device | |
Mancini et al. | Mechatronic system to help visually impaired users during walking and running | |
US9201425B2 (en) | Human-tracking method and robot apparatus for performing the same | |
CN110072673B (zh) | 跟踪人类的机器人及其方法 | |
JP2006221610A (ja) | 人間追跡装置及び方法、その方法を行うためのプログラムが記録された記録媒体とその装置を備えた移動型電子機器 | |
JP2014516816A (ja) | モバイルロボットによる移動対象物のトラッキング及びフォローイング | |
WO2016031105A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2009025898A (ja) | 経路計画装置、経路計画方法及び移動体 | |
KR20150144730A (ko) | ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
JP6187623B1 (ja) | 自律移動装置、自律移動方法及びプログラム | |
JP2008234404A (ja) | 移動ロボット及びロボット移動制御方法 | |
Pundlik et al. | Collision detection for visually impaired from a body-mounted camera | |
WO2016104265A1 (ja) | 移動体 | |
JP2020083140A (ja) | 駐車支援装置 | |
JP7103354B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2023502239A (ja) | 広視野角のステレオカメラ装置およびこれを利用した深度画像処理方法 | |
JP2009178782A (ja) | 移動体、環境地図生成装置、及び環境地図生成方法 | |
JP6206668B2 (ja) | 車両用歩行者検出装置 | |
Sharma et al. | NAVI: Navigation aid for the visually impaired | |
JP6786922B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141010 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141225 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170904 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180605 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180802 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180823 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190325 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190325 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190910 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200107 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20200203 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20200204 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6669948 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |