JP6669948B2 - 移動体制御装置及び移動体 - Google Patents

移動体制御装置及び移動体 Download PDF

Info

Publication number
JP6669948B2
JP6669948B2 JP2014181853A JP2014181853A JP6669948B2 JP 6669948 B2 JP6669948 B2 JP 6669948B2 JP 2014181853 A JP2014181853 A JP 2014181853A JP 2014181853 A JP2014181853 A JP 2014181853A JP 6669948 B2 JP6669948 B2 JP 6669948B2
Authority
JP
Japan
Prior art keywords
unit
image
representative point
moving body
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014181853A
Other languages
English (en)
Other versions
JP2016057720A (ja
Inventor
ウスマン モンゾン サンガレ
ウスマン モンゾン サンガレ
赤松 政弘
政弘 赤松
大谷 正幸
正幸 大谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nidec Corp
Original Assignee
Nidec Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=55458912&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP6669948(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Nidec Corp filed Critical Nidec Corp
Priority to JP2014181853A priority Critical patent/JP6669948B2/ja
Priority to CN201580048306.7A priority patent/CN107077138B/zh
Priority to EP15840623.1A priority patent/EP3193229B1/en
Priority to PCT/JP2015/074210 priority patent/WO2016039158A1/ja
Priority to US15/509,302 priority patent/US10379541B2/en
Publication of JP2016057720A publication Critical patent/JP2016057720A/ja
Application granted granted Critical
Publication of JP6669948B2 publication Critical patent/JP6669948B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782Systems for determining direction or deviation from predetermined direction
    • G01S3/785Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864T.V. type tracking systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours

Description

本発明は、移動体制御装置及び移動体に関する。
従来から、特定の追尾対象物の位置を検出し、その追尾対象物と離間して追尾を行う追尾方法が提案されている。
例えば、特許文献1に記載の追尾方法は、追尾対象物に第1の位置検出センサと第1の情報通信手段を設け、第1の位置検出センサによる位置検出情報を、時計手段からの時刻情報とともに記憶手段を有する。また、本追尾方法は、追尾装置に第2の位置検出センサと第2の情報通信手段を設け、追尾装置は記憶手段に記憶された情報に基づき、追尾対象物が過去に通過した経路を再現して追尾を行う。
特開2006−155349号公報
しかしながら、人は、車両や台車など、車輪の回転により移動する移動体よりも複雑な動作を行う。人の移動を取得するためには、種々のセンサを用い、それぞれのセンサが検出した情報を用いて複雑な演算を実時間で行うことが要求されるので、多くの部品や演算量が要求される。また、特許文献1に記載の追尾方法は、第1の位置検出センサと第1の情報通信手段を追尾対象者に装着させることを要する。
本発明は上記の点に鑑みてなされたものであり、簡素な構成で人に追従することができる移動体制御装置及び移動体を提供する。
(1)本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、移動体に備えられた場合に、当該移動体の周囲の少なくとも一部を撮像して、画像を入手する撮像部と、前記撮像部が撮像した画像に人の像が含まれる場合に、前記人の像から当該人の体幹を代表点に定める特定部と、前記特定部が定めた前記代表点の前記画像内における位置に基づいて、前記移動体の移動を制御する制御部と、前記制御部は、前記人が前記撮像部の視野外に所在することにより、前記特定部が前記人の像から前記代表点を定めることができない場合に、前記移動体を後退する制御をおこなうことを特徴とする移動体制御装置である。
(2)本発明の一態様は、上述の移動体制御装置であって、前記特定部は、前記撮像部が時系列に撮像した複数の画像ごとに、前記代表点をそれぞれ抽出し、前記制御部は、前記特定部が抽出した前記代表点の位置の時間変化に基づいて、前記移動体の移動を制御することを特徴とする。
(3)本発明の一態様は、上述の移動体制御装置であって、前記制御部は、前記撮像部が撮像した画像に、前記特定部が、所定の姿勢の人の像が含まれると判定した場合、当該人の前記代表点に基づく前記移動体の移動の制御を開始することを特徴とする。
(4)本発明の一態様は、上述の移動体制御装置であって、前記制御部は、前記代表点と前記移動体の基準点との間の距離を、所定の距離を目標として前記移動体の移動を制御することを特徴とする。
(5)本発明の一態様は、上述の移動体制御装置を備え、任意の方向に地面に沿って移動
可能な移動体である。
(6)本発明の一態様は、上述の移動体であって、無人搬送車である。
本発明によれば、簡素な構成で人に追従することができる。
第1の実施形態に係る移動体の構成を示す概略図である。 画像データと座標系を説明するための図である。 第1の実施形態に係る移動体制御装置の構成を示すブロック図である。 人体モデルの例を示す図である。 第1の実施形態に係る移動制御を説明するための平面図である。 第1の実施形態に係る移動制御の例を示す平面図である。 第1の実施形態に係る移動体制御処理を示すフローチャートである。 第2の実施形態に係る方向変更処理の一例を説明するための平面図である。 第2の実施形態に係る方向変更処理の他の例を説明するための平面図である。 第2の実施形態に係る移動体制御処理を示すフローチャートである。 第2の実施形態の変形例に係る方向決定処理を説明するための平面図である。 撮像された画像の例を示す図である。 第2の実施形態の変形例に係る方向決定処理を示すフローチャートである。 第2の実施形態の変形例に係る移動体の構成を示す平面図である。 第2の実施形態の変形例に係る移動体制御装置のブロック図である。 第3の実施形態に係る移動体制御装置の構成を示すブロック図である。 第3の実施形態に係る移動体制御処理を示すフローチャートである。 基準点から代表点までの距離に対する速度の目標値の例を示す図である。
(第1の実施形態)
以下、図面を参照しながら本発明の第1の実施形態について説明する。
図1は、本実施形態に係る移動体1の構成を示す概略図である。図1において、X、Y、Zは、それぞれ3次元直交座標系のX軸、Y軸、Z軸を示す。図1(A)、(B)は、それぞれ移動体1の平面図、側面図である。
移動体1は、駆動部13−1、13−2、車輪14−1、14−2、14−3、及び基台15を備える。移動体1は、例えば、無人搬送車である。
駆動部13−1、13−2は、車輪14−1、14−2を回転させる。車輪14−1、14−2及び14−3は、基台15の底面を支持し、回転することにより移動体1の全体を移動させる。車輪14−3は、当該底面の一辺の中点に近い位置に配置されているのに対し、車輪14−1、14−2は、当該一辺に対向する辺に近接し、基台15の両側面に近接した位置に配置されている。軸線Arは、車輪14−1、14−2の回転中心をそれぞれ通る直線である。以下の説明では、車輪14−3から車輪14−1、14−2の中点への方向を前方、車輪14−1、14−2の中点から車輪14−3への方向を後方と呼ぶ。また、前方に向かって左方、右方を、それぞれ単に左方、右方と呼ぶ。
車輪14−1、14−2の車軸(図示せず)には、それぞれ回転センサ(図示せず)が取り付けられている。回転センサは、それぞれ車輪14−1、14−2の回転速度を検出し、検出した回転速度を示す回転信号を駆動部13−1、13−2に出力する。駆動部13−1、13−2は、それぞれ回転センサから受信した回転信号が示す回転速度に基づいて車輪14−1、14−2の回転量を算出する。駆動部13−1、13−2は、それぞれ回転量を制御量、移動体制御装置20から入力された駆動量を制御目標量として車輪14−1、14−2の回転を制御する。駆動部13−1、13−2は、車輪14−1、14−2の回転の制御において、例えば、PID(Proportional−Integral−Derivative)制御を用いる。
基台15には、撮像部11と移動体制御装置20と、が設置されている。撮像部11、移動体制御装置20のいずれか一方又は両方は、基台15から着脱可能であってもよい。
図1に示す例では、撮像部11の光学軸が前方に向けられている。また、撮像部11の光学中心は、軸線Ar上の車輪14−1、14−2の回転中心間の中点に平面視で一致している。以下の説明では、撮像部11の光学中心を基準点Opと呼ぶ。基準点Opは、移動体1の位置を代表する点である。
撮像部11は、光学軸の方向を中心とした所定の視野内の被写体の像を所定時間(例えば、30ms)ごとに撮像する。つまり、撮像部11は、移動体1の周囲の一部を撮像し、画像を入手する。撮像部11は、撮像面Ieに形成された被写体の像を撮像する。撮像部11は、例えば、距離画像センサ、ステレオカメラ、等である。撮像部11が入手する画像を示す画像データは、深度マップである。深度マップは、1フレームの画像の領域に含まれる複数の2次元座標のそれぞれについて深度値を有するデータである。換言すれば、深度マップは、複数の2次元座標の深度値で被写体表面の3次元形状を示すデータである。深度マップは、デプスマップ(depth map)又は距離画像とも呼ばれる。例えば、深度マップは、撮像部11が撮像した画像及び距離画像センサにより生成する。または、深度マップは、ステレオカメラが撮像した2枚の画像により生成されてもよい。撮像部11は、入手した画像を示す画像データを移動体制御装置20に出力する。
次に、画像の領域に含まれる2次元座標と深度値について図2を用いて説明する。以下の説明では、画像の領域に含まれる2次元座標を画像内座標と呼ぶことがある。
図2は、画像内座標と深度値の関係を説明するための図である。図2に示す例では、撮像部11の光学軸の方向Ocは、Z方向に向けられている。
撮像面Ieは、撮像部11において基準点Opから前方に所定の焦点距離fだけ離れた位置に設けられている。撮像面Ieの法線方向は、光学軸の方向Ocに向けられている。基準点Opを通る光学軸と撮像面Ieは、撮像面Ieの中心ocと交わる。画像内座標(x,y)は、撮像面Ieに配列された複数の画素のいずれかの位置を示す。画像内座標(x,y)は、中心ocを原点とする2次元座標系で表される。x、yは、それぞれ水平方向の座標値、垂直方向の座標値を示す。
ここで、ある被写体の代表点Ohの位置を示す3次元座標(X,Y,Z)が与えられている場合を仮定する。基準点Opと代表点Ohとを通過する直線と撮像面Ieとの交点ohに、代表点Ohを表す像が形成される。深度マップは、交点ohの画像内座標(x,y)について代表点OhのZ方向の座標値を深度値Zとして有する。このとき、代表点OhのX方向の座標値Xと、Y方向の座標値Yは、深度値Zと画像内座標(x,y)を用いて、式(1)で表される。従って、深度マップにおいて、画像内座標(x,y)を指定して、代表点Ohの3次元座標(X,Y,Z)が定まる。
X=x・Z/f, Y=y・Z/f … (1)
移動体制御装置20は、撮像部11が出力した画像データが示す人の像を検出する。移動体制御装置20は、検出した人の像から、その人の体幹を代表点に定める。移動体制御装置20は、定めた代表点に基づいて駆動部13−1、13−2による車輪14−1、14−2の回転を制御する。この制御により、移動体1の移動が制御される。
(移動体制御装置の構成)
次に、本実施形態に係る移動体制御装置20の構成について説明する。
図3は、本実施形態に係る移動体制御装置20の構成を示すブロック図である。
移動体制御装置20は、画像入力部21、対象特定部22、移動制御部25、姿勢認識部26、及び記憶部27を含んで構成される。移動体制御装置20は、さらに撮像部11を備えてもよい。
画像入力部21は、撮像部11から入力された画像データを記憶部27に逐次に記憶する。画像入力部21は、例えば、データ入出力インタフェースである。
対象特定部22は、人体判定部23と、代表点特定部24とを含んで構成される。
人体判定部23は、記憶部27に逐次に記憶された画像データを読み取り、読み取った画像データから人の像を検出する。人体判定部23は、例えば、画像データを参照して互いに近接する座標間の深度値の差に基づいて像の輪郭を抽出する。人体判定部23は、抽出した輪郭と人体モデルとを照合して人の像を検出する。人体判定部23は、抽出した輪郭を示す輪郭データを記憶部27に記憶する。
人体モデルは、複数の節点の画像内座標(x,y)と、複数の辺を示すデータである。節点は、人体を構成する各部位の位置または人体を構成する各部位の中間位置を示す点である。節点は、例えば、頭部の位置または上腕と前腕との間を示す点である。また、節点は、ジョイント又はノードとも呼ばれる。辺は、各2個の節点間を接続することを示す情報である。辺によって、部位間の連結の有無が表される。辺は、リンクとも呼ばれる。従って、人体モデルにより、人体の姿勢が表現される。次に、人体モデルの例について説明する。
図4は、人体モデルの例を示す図である。図4に示す人体モデルは、15個の節点jt−1〜jt−15と、14本の辺とを有する。例えば、節点jt−1、jt−2、jt8、jt−9、jt−15は、それぞれ、頭部、胸部、右手部、腰部、右足部の各位置を示す。また、腰部の位置を示す節点jt−9と接続される辺の数は、3本である。3本の辺は、それぞれ胸部の位置を示す節点jt−2、左腰部の位置を示す節点jt−10、右腰部の位置を示す節点jt−11に接続されている。このような人体モデルを用いることで、人体の姿勢モデルが限定されやすい。そのため、人体判定部23における人の像の検出、及び代表点特定部24における代表点を定める際に要する演算量を低減することができる。
図3を用いて、人体判定部23が人の像を検出する処理について説明する。記憶部27には、複数の人体モデルを予め記憶させておく。人体モデルのそれぞれが表す人体の姿勢は、複数の人体モデル間で相互に異なる。また、記憶部27に記憶させた人体モデルのそれぞれを、相互に異なる識別番号と対応付けておく。
人体判定部23は、記憶部27から各1つの人体モデルを読み取る。人体判定部23は、抽出した輪郭と読み取った人体モデルとを照合する。照合の際に、人体判定部23は、読み取った人体モデルを形成する各節点の画像内座標(x,y)を、ある変位量(Δx、Δy)だけずらす。人体判定部23は、抽出した輪郭と、ずらした各節点の画像内座標(x+Δx,y+Δy)とのスコアを算出する。スコアは、輪郭が表す形状と人体モデルが表す姿勢との適合度を示す指標値である。人体判定部23は、各1つの人体モデルに対し複数の変位量のそれぞれについてスコアを算出する。そして、人体判定部23は、算出したスコアのうち最大となるスコアを与える人体モデルと変位量を定める。以下の説明では、最大となるスコアを最大スコアと呼ぶ。
人体判定部23は、最大スコアが予め定めたスコアの下限以上である場合、画像に人の像が含まれると判定する。これにより、画像に含まれる人の姿勢と位置が特定される。人体判定部23は、定めた人体モデルの識別番号と変位量を記憶部27に記憶する。
人体判定部23は、最大スコアが予め定めたスコアの下限よりも小さい場合、画像に人の像が含まれないと判定する。
代表点特定部24は、記憶部27から現在までの所定時間内に記憶された識別番号に対応付けられた人体モデルと変位量とを読み取る。所定時間は、例えば、撮像部11が被写体の像を撮像する時間間隔と等しい。
代表点特定部24は、読み取った人体モデルの節点のうち、人体の体幹の位置を示す節点を特定する。すなわち、対象特定部22は、人の体幹の位置を示す節点を代表点に定める。体幹とは、人体のうち四肢と頭部を除いた胴体である。体幹は人の日常動作において四肢及び頭部ほど頻繁に動作しない。従って、体幹の位置の時間変化を取得することによって、歩行に伴う人の全身の並進運動を安定的に検出することができる。なお、体幹は、胸部、肩部、及び腰部を含むが、そのうち腰部のみが用いられてもよい。腰部は、他の部位よりも四肢や頭部の動作の影響を受けにくい。
代表点特定部24は、特定した節点の画像内座標を読み取った変位量を加算して代表点の画像内座標を定める。代表点特定部24は、定めた画像内座標を示す代表点データを記憶部27に記憶する。上述したように、代表点の画像内座標(x,y)と、画像データを形成する距離値のうち代表点の画像内座標(x,y)で指定される距離値は、代表点の3次元空間内の位置(X,Y,Z)を表す。
移動制御部25は、記憶部27から現在までの所定時間内に記憶された代表点データを読み取る。移動制御部25は、読み取った代表点データに係る代表点からの距離が所定距離(例えば、1.0m)となる移動目標点を定める。移動制御部25は、現在の基準点から移動目標点への移動量を算出する。移動制御部25は、算出した移動量で移動するための駆動量を算出し、算出した駆動量で駆動することを指示する制御信号を生成する。移動制御部25は、生成した制御信号を駆動部13−1、13−2に出力する。駆動部13−1、13−2は、移動制御部25から入力された制御信号が示す駆動量で車輪14−1、14−2を回転させる。これにより、移動制御部25が算出した移動量に基づいて移動体1が移動する。移動制御部25が行う移動制御の例については、後述する。
姿勢認識部26は、記憶部27に現在までの所定時間内に記憶された輪郭データと、予め記憶された姿勢モデルを読み取る。姿勢モデルは、所定の姿勢を表す人体モデルである。所定の姿勢は、例えば、人が撮像部11に対向して直立し、右上腕を水平面に対して平行に右方に向け、左上腕を鉛直方向に向けている状態である。
姿勢認識部26は、輪郭データが示す輪郭と姿勢モデルとを照合して、所定の姿勢を認識できたか否かを判定する。所定の姿勢を認識できたとは、輪郭データの生成に用いられた画像に所定の姿勢の人の像が含まれることを意味する。
抽出した輪郭と姿勢モデルとの照合において、姿勢認識部26は、例えば、抽出した輪郭と、複数の変位量のそれぞれを用いてずらした各節点の画像内座標(x+Δx,y+Δy)とのスコアを算出する。人体判定部23は、算出したスコアのうち最大となる最大スコアと定める。姿勢認識部26は、算出した最大スコアが所定のスコアの下限以上である場合、所定の姿勢を認識できたと判定する。姿勢認識部26は、算出した最大スコアが所定のスコアの下限よりも小さい場合、所定の姿勢の認識に失敗したと判定する。照合に成功した場合、姿勢認識部26は、照合の成功を示す照合データを記憶部27に記憶する。そして、移動体制御装置20は、後述する移動体制御処理を開始する。移動体制御処理には、移動制御部25による移動体1の位置及び向きの制御が含まれる。なお、姿勢認識部26は、代表点特定部24の一部として構成されてもよい。代表点特定部24の機能を共用することで、移動体制御装置20を簡素に構成することができる。
記憶部27は、各種のデータを記憶する記憶媒体を含んで構成される。記憶部27は、例えば、ROM(Read−only memory)、RAM(Random Access Memory)、等を含んで構成される。
(移動制御)
次に、移動制御部25が行う移動制御について説明する。
図5は、本実施形態に係る移動制御を説明するための平面図である。実線の四角形は、ある時刻tにおける移動体1を示す。破線の四角形は、移動目標となる移動目標点Op’に移動したときの移動体1を示す。以下の説明では、時刻tにおいて、代表点Ohが定められた場合を例にする。Ocは、時刻tにおける移動体1の方向を示し、撮像部11の光学軸の方向に一致する。Δθは、代表点Ohの水平面内の方向を示す。
次に、移動制御部25は、代表点Ohからの距離が所定距離dであって、方向Δθである位置を移動目標点Op’と定め、基準点Opから移動目標点Op’への移動量を算出する。具体的には、移動制御部25は、基準点Opにおける接線方向が方向Ocであって移動目標点Op’を通る弧Trを定め、定めた弧Trの道程を平均駆動量として定める。平均駆動量は、車輪14−1に対する駆動量と車輪14−2に対する駆動量の算術平均値である。また、移動制御部25は、定めた弧Trの中心Oaから車輪14−1、14−2までの距離ρ、ρを算出する。移動制御部25は、算出した距離ρ、ρのそれぞれについて、弧の中心から基準点Opまでの距離ρに対する比r、rを算出する。移動制御部25は、定めた平均移動量に比r、rをそれぞれ乗じて車輪14−1、14−2のそれぞれに対する駆動量を算出する。
移動制御部25は、それぞれ算出した駆動量での駆動を指示する制御信号を生成する。移動制御部25は、生成した制御信号をそれぞれ駆動部13−1、13−2に出力する。駆動部13−1、13−2は、移動制御部25から入力された制御信号が示す駆動量で車輪14−1、14−2を回転させる。
移動制御部25が定めた弧Trは、移動体1が基準点Opから移動目標点Op’に向かう軌跡に相当する。距離ρは、弧Trの曲率半径に相当する。曲率半径が車輪14−1、14−2間の間隔に等しい場合には、移動制御部25は、車輪14−1、14−2のいずれかを静止させて移動体1を移動させる。曲率半径が0(ゼロ)である場合には、移動目標点Op’が基準点Opと一致するので、移動制御部25は、車輪14−1、14−2を互いに等速で逆回転させて移動体1を地面に沿って回転させる。この場合には、移動制御部25は、目標方向Δθと、車輪14−1、14−2の中点から車輪14−1、14−2の一方までの距離ρとに基づいて、車輪14−1、14−2の駆動量を定める。
なお、所定の角度の閾値が十分に0に近い値(例えば、1.0°)であって、方向Δθの絶対値が当該閾値よりも小さくなる場合がある。撮像部11の視野は移動体1の前方に向けられ、画像に基づいて定めた移動目標点Op’は基準点Opの前方にあるとみなすことができる。この場合には、移動制御部25は、算出した距離d’から所定距離dの差を基準点Opから移動目標点Op’の移動量と定める。移動制御部25は、定めた移動量を車輪14−1、14−2共通の駆動量と定める。移動制御部25は、定めた駆動量での駆動を指示する制御信号を生成する。移動制御部25は、生成した制御信号をそれぞれ駆動部13−1、13−2に出力する。なお、移動量が正の値である場合には、移動体1が前進し、当該移動量が負の値である場合には、移動体1が後退する。以上、説明したように、移動制御部25は、移動体1を地面上の任意の方向に移動させることができる。
なお、移動制御部25は、算出した距離d’に応じて、予め設定された加減速時間Tに従って移動体1の進行速度を算出してもよい。進行速度には上限がある。例えば、移動開始時点の進行速度が0である場合、その時点から加減速時間Tだけ経過した時点における進行速度は上限になる。他方、進行速度が上限であって、ある時点において制動が開始される場合を仮定すると、その時点から加減速時間Tだけ経過した時点における進行速度は0になる。従って、横軸を時刻、縦軸を速度として表される速度のプロットの形状は、台形となる。但し、距離d’によっては、移動開始時点から加減速時間Tが経過する前に、移動制御部25が移動体1に対する制動を開始することがある。その場合には、速度のプロットの形状は、三角形となる。
また、撮像部11から取得される画像データは、上述の深度マップに限られず、画像内座標(x,y)ごとの距離d’を示す画像データも利用可能である。上述したように水平方向の座標xに基づいてX座標が一意に与えられる。X座標は、基準点Opを原点とした3次元空間内の水平方向の座標値である。移動制御部25は、画像データに基づいて定めた代表点OhのX座標および距離d’から移動体1の目標方向Δθを算出する。
そして、移動制御部25は、算出した目標方向Δθと上述した信号速度に基づいて、車輪14−1、14−2のそれぞれに対する速度減衰率を算出する。速度減衰率は、車輪14−1、14−2間の回転数の比率を示す係数である。例えば、目標方向Δθが10°の場合、車輪14−1の速度減衰率が1である場合に、車輪14−2の速度減衰率は0.9となる。その結果、移動体1は、前進しながら右方もしくは左方に進む。また、距離d’から所定距離dの差分、すなわち移動量Δdが負である場合には、移動体1は、後退しながら右方もしくは左方に進む。
移動制御部25は、以下に説明するように、移動量Δdの値に応じて車輪14−1、14−2に対する駆動速度を定める。
(1)移動量Δdが正である場合、移動制御部25は、前述の進行速度に対して速度減衰率を乗算して車輪14−1、14−2に対する駆動速度を定める。
(2)移動量Δdが0である場合、移動制御部25は、予め設定した旋回上限速度に対して速度減衰率を乗算して車輪14−1、14−2に対する駆動速度を定める。
(3)移動量Δdが負である場合、前述の進行速度も負となる。この場合、移動制御部25は、前述の進行速度に対して速度減衰率を乗算して車輪14−1、14−2に対する駆動速度を定める。
移動制御部25は、定めた駆動速度で車輪14−1、14−2を回転させることを指示する制御信号を生成し、生成した制御信号を駆動部13−1、13−2に出力する。
次に、本実施形態に係る移動制御の例について説明する。
図6は、本実施形態に係る移動制御の例を示す平面図である。
図6(A)は、移動体1の動きの例を示す。矢印m1は、代表点Ohが移動体1の前方に移動することによって移動体1から遠ざかる場合を示す。この場合には、矢印m1’に示すように、移動体1は前進することによって代表点Ohに近づく。矢印m2は、代表点Ohが移動体1の後方に移動することによって移動体1に近づく場合を示す。この場合には、矢印m2’に示すように、移動体1は後退することによって代表点Ohから遠ざかる。
図6(B)は、移動体1の動きの他の例を示す。矢印m3は、代表点Ohが移動体1に対して右方に移動する場合を示す。この場合には、矢印m3’に示すように、移動体1は右方に旋回することによって代表点Ohに向く。矢印m4は、代表点Ohに対して左方に移動する場合を示す。この場合には、矢印m4’に示すように、移動体1は左方に旋回することによって代表点Ohに向く。
以上に説明したように、移動制御部25は、移動体1を地面上の任意の方向に移動する人体に追従させることができる。追従において、基準点から代表点までの距離が所定距離に近づく。例えば、所定距離が1.0mである場合には、平均的な上肢の長さ(日本人男性の場合、約72cm)を有する人が歩行せず上肢を伸ばしても、上肢は移動体1に接触しない。他方、人が歩行しながら上肢を伸ばせば上肢は移動体に接触する。つまり、1.0mは、平均的な寸法を有する人が直ちに接触しないが、上体を傾けるか下肢を動かしながら上肢を伸ばせば直ちに移動体1にアクセスできる距離である。また、1.0mは、人の平均的な歩行速度(約4km/h)で移動中の移動体1の制動距離よりも短くなる距離である。
従って、所定距離の1.0mは、人体に接触せず、人が直ちにアクセス可能な平均的な距離である。所定距離は、厳密に1.0mではなくてもよく、1.0mから所定の範囲、例えば、0.8mから1.2mまでの範囲でもよい。また、接触せず直ちにアクセス可能な距離は、利用者の寸法、歩行速度、移動体の移動速度、等の利用条件に応じて異なるので、かかる利用条件に応じて所定距離を変更してもよい。
(移動体制御処理)
次に、本実施形態に係る移動体制御処理について説明する。
図7は、本実施形態に係る移動体制御処理を示すフローチャートである。
(ステップS101)画像入力部21には、撮像部11から画像データが入力される。その後、ステップS102の処理に進む。
(ステップS102)姿勢認識部26は、記憶部27に記憶された姿勢モデルデータを参照して、入力された画像データが示す画像において所定の姿勢を認識できたか否かを判定する。姿勢認識部26が認識できたと判定した場合には(ステップS102 YES)、ステップS103の処理に進む。姿勢認識部26が認識できないと判定した場合には(ステップS102 NO)、ステップS101の処理を繰り返す。
(ステップS103)画像入力部21には、撮像部11から画像データが入力される。その後、ステップS104の処理に進む。
(ステップS104)人体判定部23は、記憶部27に記憶された人体モデルデータを参照して、入力された画像データが示す画像から人の像を検出する。その後、ステップS105の処理に進む。
(ステップS105)代表点特定部24は、検出された人の像のうち体幹に係る節点を代表点と定める。その後、ステップS106の処理に進む。
(ステップS106)移動制御部25は、代表点からの距離が所定距離となる移動目標点を定める。その後、ステップS107の処理に進む。
(ステップS107)移動制御部25は、移動体1の基準点から移動目標点までの移動量を算出する。その後、ステップS108の処理に進む。
(ステップS108)移動制御部25は、算出した移動量に基づいて駆動部13−1、13−2を駆動する。その後、ステップS103に進む。
(変形例)
上述では、代表点特定部24が、一時点で取得した画像データを用いて、その時点の代表点を定める場合を例にしたが、代表点特定部24は、撮像部11が時系列に撮像した複数の画像ごとに代表点をそれぞれ定めてもよい。すなわち、代表点特定部24は、撮像部11が時系列に撮像した複数の画像ごとに、代表点をそれぞれ抽出する。そして、移動制御部25は、代表点特定部24が抽出した代表点の位置の時間変化に基づいて、移動体1の移動を制御する。
ここで、代表点特定部24は、現在までの予め定めた期間内で取得した代表点を用いて、現在の代表点を追跡する。追跡は、トラッキングとも呼ばれる。追跡において、代表点特定部24は、現在までの予め定めた期間内で取得した代表点を線形予測して現在の代表点を算出する。そして、代表点特定部24は、上述した手法を用いて現在取得された画像データから現在の代表点を定める。但し、人体判定部23は、抽出した輪郭と人体モデルとの照合を行う際、追跡によって定めた代表点に係る画像内座標を与える変位量を予測変位量と定める。そして、人体判定部23は、定めた予測変位量から所定の探索範囲内の複数の変位量のそれぞれについてスコアを算出し、算出したスコアから最大スコアを定める。代表点特定部24は、追跡により定めた代表点と画像データに基づいて定めた代表点との距離を算出する。そして、代表点特定部24は、算出した距離に基づいて、例えば、最小二乗法を用いて線形予測係数を更新する。
これにより、抽出した輪郭と人体モデルとの照合において、人体判定部23は、最大スコアを探索するための変位量の探索範囲を制限することができる。言い換えれば、画像に人の像が含まれるか否かを判定し、画像が示す人の像から人体の姿勢と位置を特定する処理が軽減される。すなわち、画像に人の像の全体が含まれる必要がない。また、移動体1の振動による代表点のずれが緩和されるので移動体1の並進運動に精度よく追従することができる。
なお、上述では、代表点特定部24が、主に人体の体幹の位置を示す節点を代表点に定める場合を例にしたが、他の部位の位置を示す節点を代表点に定めてもよい。その場合、代表点特定部24は、現在の代表点を追跡してもよい。追跡において、当該節点の運動の形態を表す運動モデルを用いて代表点を予測してもよい。例えば、左下肢部の位置を示す節点が用いられる場合には、運動モデルは歩行に伴う左下肢部の前後の動きを示す係数を含む。この運動モデルを用いることによって、歩行に伴う前後の動きによる代表点の変位を抑制し、並進運動に応じた代表点を推定することができる。
以上に説明したように、本実施形態に係る移動体制御装置20は、移動体1に備えられた場合に、移動体1の周囲の少なくとも一部を撮像して、画像を入手する撮像部11を備える。また、移動体制御装置20は、撮像部11が撮像した画像に人の像が含まれる場合に、人の像から人の体幹を代表点に定める代表点特定部24を備える。また、移動体制御装置20は、代表点特定部24が定めた代表点の画像内における位置に基づいて、移動体の移動を制御する移動制御部25を備える。
この構成により、移動体制御装置20は、移動体の移動を制御する際に、撮像された画像から定められた人の体幹の位置を利用することができる。そのため、複雑な人の動きを画像により一元的に把握し、人の並進運動を捉えることができるので、簡素な構成で移動体を人に追従させることができる。
また、本実施形態に係る移動体制御装置20において、代表点特定部24は撮像部11が時系列に撮像した複数の画像ごとに、代表点をそれぞれ抽出する。移動制御部25は、代表点特定部24が抽出した代表点の位置の時間変化に基づいて、移動体の移動を制御することができる。
この構成により、代表点の位置の時間変化に基づいて人の動きの傾向を推定することができる。推定した人の動きの傾向を利用することにより処理を軽減することができる。
また、本実施形態に係る移動体制御装置20において、姿勢認識部26は、撮像部11が撮像した画像に、所定の姿勢の人の像が含まれると判定された場合、移動制御部25に代表点に基づく移動体の移動の制御を開始させる。
この構成により、人は移動体制御装置20に接触しなくても、所定の姿勢をとることによって制御の開始を指示することができる。また、移動体制御装置20は、人による制御の開始の指示を受け付けるための構成を必須としないため、部品点数の増加を抑えることができる。
また、本実施形態に係る移動体制御装置20において移動制御部25は、代表点と移動体1の基準点との間の距離を、所定の距離を目標として移動体1の移動を制御する。
この構成により、人と移動体1との間の距離が、所定の距離を目標として制御される。そのため、人が留意することができる範囲内に移動体1の位置を制御することと、移動体1の人への接触の回避とを両立することができる。
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。上述した実施形態と同一の構成については、同一の符号を付して説明を援用する。
本実施形態に係る移動体制御装置20において、代表点特定部24が代表点を定めることができない場合、移動制御部25は移動体1の向きを変える。
代表点特定部24が代表点を定めることができない場合には、次の場合がある。
(1)人体判定部23が、取得した画像から人の像を検出することができない場合。この場合には、人が撮像部11の視野外に所在するために当該画像に人の像が含まれない場合、移動体1の振動により当該画像に「ぶれ」が生じた場合、などがある。人体判定部23は、上述した最大スコアが所定のスコアの閾値よりも低い場合に、人の像を検出することができない、と判定することができる。
(2)代表点特定部24が、検出した人の像から代表点を定めることができない場合。この場合には、検出した人の像に検出対象の体幹の位置を示す節点が含まれない場合、代表点の画像内座標(x,y)に係る深度値Zが異常である場合(例えば、0以下)、などがある。
次に、移動制御部25が移動体1の向きを変える処理について説明する。移動体1の向きを変える処理を、方向変更処理と呼ぶ。
図8及び図9は、本実施形態に係る方向変更処理の例を説明するための平面図である。方向変更処理の態様には、次の態様(1)、(2)がある。(1)、(2)のいずれを実行するかを、移動制御部25に予め設定しておいてもよい。
(1)移動体1を後退させる。図8に示すように、人の像を検出することができない場合には、代表点Ohの画像内座標が画像の範囲外に所在する場合がある。このことは、代表点Ohが、撮像部11の視野Ovの範囲外に所在することを意味する。
そこで、移動制御部25は移動体1の移動方向を後方に定め、移動体1を所定の移動量Δdだけ後退させる。ここで、移動制御部25は、移動目標点Op’を現在の基準点Opよりも移動量Δdだけ後方に定める。移動制御部25は、定めた移動目標点Op’までの移動量Δdに基づいて上述した移動制御を行う。移動体1を後退させることにより、前方の水平方向に後退前よりも広い範囲に所在する物体が撮像部11の視野Ov内に含まれる。図8に示す例では、視野Ov内に人の像が含まれる。よって、代表点特定部24は、代表点Ohを再度定めることができる。
移動量Δdは、代表点特定部24が代表点Ohを定めることができる距離d’の範囲(例えば、0.5−3.5m)よりも十分に小さくてもよい(例えば、0.3m)。移動量Δdを制限することで、移動体1の後方に所在する物体に移動体1が接触する可能性を低くすることができる。
(2)移動体1の水平方向を変化させる。図9に示す例では、移動制御部25は、移動目標点Op’を基準点Opと同一と定め、目標方向Δθを前方から所定角度だけ右回りに定め、目標方向Δθに基づいて上述した移動制御を行う。移動体1を右方に旋回させることにより、移動前の撮像部11の視野Ovよりも右方に所在する物体が、移動後の視野Ov内に含まれる。図9に示す例では、視野Ov内に人の像が含まれる。よって、代表点特定部24は、代表点Ohを再度定めることができる。なお、目標方向Δθは、右方に限られず、左方でもよい。目標方向Δθを与える所定角度は、撮像部11の視野角よりも小さい角度であってもよい。方向変更処理を繰り返すことにより、移動体制御装置20は、全周にわたり人の像の有無を探索することができる。
(移動体制御処理)
次に、本実施形態に係る移動体制御処理について説明する。
図10は、本実施形態に係る移動体制御処理を示すフローチャートである。
図10に示す移動体制御処理は、ステップS101−S108の処理と、ステップS201−S205の処理を有する。ステップS101−S108の処理については、上述した説明を援用する。
ステップS101−S104の処理が終了した後、ステップS201に進む。
(ステップS201)人体判定部23は、入力された画像データが示す画像から人の像を検出できたか否かを判定する。人体判定部23が検出できたと判定した場合には(ステップS201 YES)、ステップS105の処理に進む。ステップS105の処理が終了した後、ステップS202の処理に進む。人体判定部23が検出できなかったと判定した場合には(ステップS201 NO)、ステップS203の処理に進む。
(ステップS202)代表点特定部24が、検出した人の像から代表点を定めることができたか否かを判定する。代表点特定部24が定めることができたと判定した場合には(ステップS202 YES)、ステップS106の処理に進む。代表点特定部24が定めることができなかったと判定した場合には(ステップS202 NO)、ステップS203の処理に進む。
(ステップS203)代表点特定部24は、代表点を定めることができなくなった時点からの経過時間が所定の経過時間の閾値(例えば、15秒)以上になったか否かを判定する。
代表点特定部24が所定の経過時間以上になったと判定した場合(ステップS203 YES)、図10に示す処理を終了する。代表点特定部24が所定の経過時間の閾値以上になっていないと判定した場合(ステップS203 NO)、ステップS204の処理に戻る。
(ステップS204)移動制御部25は移動体1の向きを変える。ここで、移動制御部25は、上述した方向変更処理を実行する。その後、ステップS103の処理に進む。
図10に示す移動体制御処理により、移動制御部25は、代表点特定部24は、代表点を定めることができるまで移動体1の向きを変える。これにより、移動制御部25は、移動体1を人に追従させる制御を再開することができる。但し、代表点を定めることができなくなった時点から所定の経過時間以上の時間が経過したとき、移動制御部25は、移動体制御処理を停止する。
なお、移動制御部25が移動体1を後退させるとき、移動目標点Op’が所定の後退範囲を超える場合がある。所定の後退範囲とは、代表点特定部24が代表点を定めることができる距離d’の範囲の下限dmin’から予め定めた限界値δdだけ大きい値dmin’+δdを下限とし、当該範囲の上限dmax’から予め定めた限界値δdだけ小さい値を上限dmax’+δdとする範囲である。その場合、移動制御部25は、上述した移動体制御処理を停止してもよい。これにより、代表点特定部24は、移動体1の移動範囲を、代表点を定めることができる距離d’の範囲内に制限することができる。
(変形例)
次に、本実施形態の変形例について説明する。移動制御部25は、現在までの所定期間内に定められた代表点の画像内座標(x,y)に基づいて移動体1の向きを定めてもよい。前時刻における代表点の画像内座標(x,y)が、画像の水平方向の一端から所定の幅の領域に含まれる場合、移動制御部25は、移動体の向きをその一端の方向に定める。前時刻における代表点の画像内座標(x,y)が、画像の水平方向の他端から所定の幅の領域に含まれる場合、移動制御部25は、移動体1の向きをその他端の方向に定める。前時刻とは、現在処理対象としている画像データの直前に取得された画像データを処理した時刻を意味する。所定の幅は、画像の水平方向の大きさの半分の大きさよりも小さい。それ以外の場合、移動制御部25は、移動体1を後退させると判定する。移動体1の向きを定める処理を、方向決定処理と呼ぶ。
図11は、本変形例に係る方向決定処理を説明するための平面図である。
矢印m、m、mは、それぞれ人の動きを示す。◎印は、各時刻tにおける代表点Oh(t)を示す。例えば、代表点Oh(t11)、Oh(t12)、Oh(t13)は、それぞれ、時刻t11、t12、t13における人の位置を示す。
矢印mは、移動体1の前方を人が左方から右方に横切ることを示す。また、時刻t12までは、人が撮像部11の視野Ov内に所在し、その後、人が視野Ovから脱出する。よって、時刻t13において、代表点特定部24は、代表点を定めることができなくなったと判定する。そして、移動制御部25は、記憶部27から前時刻t12に係る代表点データを読み取る。読み取った代表点データが示す代表点の画像内座標(x,y)は、画像の右端から所定の幅の領域内に含まれる。従って、移動制御部25は、移動体1の移動方向を右方と判定する。そして、移動制御部25は、移動体1の向きを目標方向Δθだけ右方に変更する。
矢印mは、移動体1の前方を人が右方から左方に横切ることを示す。また、時刻t22までは、人が撮像部11の視野Ov内に所在し、その後、人が視野Ovから脱出する。従って、時刻t23において、代表点特定部24は、代表点を定めることができなくなったと判定する。そして、移動制御部25は、記憶部27から前時刻t22に係る代表点データを読み取る。読み取った代表点データが示す代表点の画像内座標(x,y)は、画像の左端から所定の幅の領域内に含まれる。従って、移動制御部25は、移動体1の移動方向を左方と判定する。そして、移動制御部25は、移動体1の向きを目標方向Δθだけ左方に変更する。
矢印mは、人が移動体1に接近することを示す。時刻t31において、人は撮像部11の移動体1の正面に所在する。矢印mの終点の×印は、その後、代表点特定部24が代表点を定めることができなくなったことを示す。このとき、移動制御部25は、記憶部27から代表点データを読み取る。代表点データが示す代表点の画像内座標(x,y)は、画像のほぼ中央部に位置するので、画像の左端から所定の幅の領域内にも、画像の右端から所定の幅の領域内にも含まれない。従って、移動制御部25は、移動体1を後退させると判定する。そして、移動制御部25は、移動体1を移動量Δdだけ後退させる。
次に、人の移動が矢印mで示される場合を例にして、撮像部11で撮像された画像の例について説明する。図12は、撮像部11で撮像された画像の例を示す図である。
図12(A)は、時刻t12において撮像された画像Im12を示す。画像Im12は、左方から右方に移動する人hを表す。Cmは、代表点の画像内座標(x,y)を示し、画像Im12における人hの位置を代表している。人hの像は、画像Im12の左端よりも右端に近い位置に含まれる。
図12(B)は、時刻t13において撮像された画像Im13を示す。人hの像は、画像Im13に含まれない。破線は、仮にその部分まで視野が及んでいるとすると、認識される人hの像を示す。人hの像、ひいては、代表点の画像内座標(x,y)は画像Im13に含まれないので、代表点特定部24は、代表点を定めることができなくなったと判定する。そして、移動制御部25は、記憶部27から前時刻t12に係る代表点データを読み取る。読み取った代表点データが示す代表点の画像内座標(x,y)は、画像の右端から所定の幅の領域内に含まれる。従って、移動制御部25は、移動体1の移動方向を右方と判定する。そして、移動制御部25は、移動体1の向きを目標方向Δθだけ右方に変更する。
図12(C)は、時刻t14において、撮像された画像Im14を示す。撮像部11の向きが右方に回転することにより、人が撮像部11の視野Ov内に含まれる。従って、代表点特定部24は、代表点を再度定めることができるようになる。
(方向決定処理)
次に、本変形例に係る方向決定処理について説明する。移動制御部25は、以下に説明する方向決定処理を、ステップS203(図10)において代表点特定部24が所定の経過時間の閾値以上になっていないと判定した場合(ステップS203 NO)に開始する。
図13は、本変形例に係る方向決定処理を示すフローチャートである。
(ステップS211)移動制御部25は、記憶部27から前時刻に係る代表点データを読み取る。その後、ステップS212に進む。
(ステップS212)移動制御部25は、読み取った代表点データに係る代表点の方向を判定する。ここで、代表点データが示す代表点の画像内座標(x,y)が画像の右端から所定の領域内に含まれる場合、移動制御部25は、代表点の方向を右方と判定する。代表点の画像内座標(x,y)が画像の左端から所定の領域内に含まれる場合、移動制御部25は、代表点の方向を左方と判定する。代表点の画像内座標(x,y)が画像の左端から所定の領域内にも、画像の右端から所定の領域内にも含まれない場合は、代表点の方向は判定不能である。その後、ステップS213に進む。
(ステップS213)移動制御部25が判定した代表点の方向が左方である場合には(ステップS213 左)、ステップS214の処理に進む。代表点の方向が判定不能である場合には(ステップS213 判定不能)、ステップS215の処理に進む。移動制御部25が判定した代表点の方向が右方である場合には(ステップS213 右)、ステップS216の処理に進む。
(ステップS214)移動制御部25は、移動体1の向きを左方に向けるための目標方向Δθを設定する。その後、ステップS204(図10)の処理に進む。
(ステップS215)移動制御部25は、移動体1を後退させるための移動量Δdを設定する。その後、ステップS204の処理に進む。
(ステップS216)移動制御部25は、移動体の向きを右方に向けるための目標方向Δθを設定する。その後、ステップS204(図10)の処理に進む。
上述した方向決定処理によれば、前時刻において定められた代表点の画像内座標(x,y)が、画像の水平方向の一端から所定の幅の領域に含まれる場合、移動制御部25は、移動体1の向きをその一端の方向に定める。そして、移動制御部25は、定めた方向に移動体1を移動させる。これにより、人が直近に所在していた方向に移動体1を移動させることで、少ない移動量で人を再認識することができる。
また、前時刻において定められた代表点の代表画素が、画像の水平方向の両端のそれぞれから所定の幅の領域に含まれない場合、移動制御部25は、移動体1を後退させると判定する。そして、移動制御部25は、移動体1を後退させる。これにより、移動制御部25は、より広い領域を撮像した画像から人を再認識する手がかりを得ることができる。
なお、上述では、移動制御部25が前時刻において定められた代表点に基づいて移動体1の向きを定める場合を例にしたが、これには限られない。移動制御部25は、現在から所定時間内(例えば、2秒)の複数時点のそれぞれにおいて定められた代表点に基づいて移動体1の向きを定めてもよい。
これにより、代表点特定部24は、一時的に代表点を定めることができなくなったときでも、過去のいずれかの時点において定められた代表点を利用できる。そのため、移動制御部25が、移動体1の向きを安定して定めることができる。
(物体検出部の設置)
移動体1には、図14に示すように、さらに物体検出部16が設置されてもよい。
図14は、本変形例に係る移動体1の構成を示す平面図である。物体検出部16は、基台15に設置され、その周囲の検出範囲内に所在する物体を検出する。物体検出部16が物体を検出できる検出範囲Odは、移動体1の後方に向けられている。検出範囲Odは、撮像部11の視野Ovとは互いに逆方向に向けられ、視野Ovと重なる部分を有しない。そのため、物体検出部16は、後方に所在する物体を検出することができる。物体検出部16は、検出した物体の位置を示す物標データを移動体制御装置20に出力する。物体検出部16は、例えば、レーダ装置、赤外線センサ、磁気センサ、等である。なお、物体検出部16は、基台15から着脱可能であってもよい。
図15は、本変形例に係る移動体制御装置20のブロック図である。移動体制御装置20は、図3に示す移動体制御装置20に対して、さらに検出信号入力部28を備える。
検出信号入力部28は、物体検出部16から入力された物標データを逐次に記憶部27に記憶する。検出信号入力部28は、例えば、入出力インタフェースである。検出信号入力部28は、画像入力部21と共用した入出力インタフェースであってもよい。
移動制御部25は、記憶部27から物標データを読み取る。そして、代表点特定部24が定めた代表点と読み取った物標データが示す位置との間の距離を算出する。算出した距離が、所定の距離の閾値(例えば、0.5m)以下である場合には、移動制御部25は、駆動の停止を指示する駆動停止信号を駆動部13−1、13−2に出力する。
駆動部13−1、13−2は、移動制御部25から駆動停止信号が入力されたとき、車輪14−1、14−2の回転を停止させる。
これにより、移動制御部25は、撮像部11の視野に含まれない後方の物体の位置を検出できる。また、移動制御部25は、検出した物体に、移動体1を後退させて接近したときに、移動体1の移動を停止させることができる。そのため、移動体制御装置20は、移動体1が検出した物体への接触を回避することができる。
以上に説明したように、本実施形態に係る移動体制御装置20において、制御対象となる移動体1の移動には、移動体1の移動方向が含まれる。また、代表点特定部24が代表点を定めることができない場合、移動制御部25は、移動体1の向きを変える。
この構成により、撮像部11が撮像した画像に人の像を含む位置もしくは方向に移動体1を移動させることができる。代表点特定部24は代表点を再度定めることができるので、移動制御部25は、移動体1の制御を再開することができる。
(第3の実施形態)
次に、本発明の第3の実施形態について説明する。上述した実施形態と同一の構成については、同一の符号を付して説明を援用する。
図16は、本実施形態に係る移動体制御装置20の構成を示すブロック図である。
本実施形態に係る移動体制御装置20は、図3に示す移動体制御装置20に対して、さらに通知情報出力部(制御部)29を含んで構成される。移動体制御装置20は、さらに通知部31を備えてもよい。
代表点特定部24は、代表点を定めることができない場合、代表点を定めることができないことを示すエラーデータを記憶部27に記憶する。
通知情報出力部29は、記憶部27に現在までの所定時間内にエラーデータが記憶されたか否かを監視する。通知情報出力部29が、エラーデータが記憶されたことを検出した場合、通知情報データを生成する。通知情報データは、人に対して所定の姿勢をとることを促すことを示す情報を示すデータである。通知情報の形式は、例えば、その旨を表すテキスト、画像、音声、光線の点滅、等である。通知情報出力部29は、生成した通知情報データを通知部31に出力する。
通知部31は、通知情報出力部29から入力された通知情報データが示す通知情報を通知する。通知部31は、通知情報の形式に応じた構成を有する。例えば、通知情報の形式がテキスト又は画像である場合には、通知部31はディスプレイを備える。通知情報の形式が音声である場合には、通知部31はスピーカを備える。通知情報の形式が光線の点滅である場合には、通知部31はランプを備える。
(移動体制御処理)
次に、本実施形態に係る移動体制御処理について説明する。
図17は、本実施形態に係る移動体制御処理を示すフローチャートである。
本実施形態に係る移動体制御処理は、ステップS101−S108の処理及びステップS301、S302の処理を有する。ステップS101−S108の処理については、上述した説明を援用する。
ステップS101−S104の処理が終了した後、ステップS301の処理に進む。
(ステップS301)人体判定部23は、入力された画像データが示す画像から人の像を検出できたか否かを判定する。人体判定部23が検出できたと判定した場合には(ステップS301 YES)、ステップS105の処理に進む。人体判定部23が検出できなかったと判定した場合には(ステップS301 NO)、ステップS302の処理に進む。
(ステップS302)通知情報出力部29は、所定の姿勢をとることを促すことを示す通知情報データを生成し、生成した通知情報データを通知部31に出力する。通知部31は、通知情報出力部29から入力された通知情報データが示す通知情報を通知する。その後、ステップS101に戻る。
以上に説明したように、本実施形態に係る移動体制御装置20において、代表点特定部24が代表点を定めることができない場合に、通知情報出力部29は、所定の姿勢を促す通知を出力する。
この構成により、代表点特定部24が代表点を定めることができない場合に、所定の姿勢を促す情報が移動体制御装置20の周囲に所在する人に通知される。そのため、通知された人が撮像部11の視野内において所定の姿勢をとることによって、移動制御部25による移動体1の移動の制御を再開することができる。
以上、図面を参照して本発明の実施形態及び変形例について説明してきたが、具体的な構成は上述の実施形態及び変形例に限られることはなく、本発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
例えば、移動制御部25が移動体1を移動させる速度vは、基準点Opから代表点Ohまでの距離d’が大きいほど、高くてもよい。
図18は、距離d’に対する速度vの目標値の例を示す図である。縦軸、横軸は、それぞれ速度vの目標値、距離d’を示す。図18に示す例では、速度vの目標値は、距離d’に比例している。移動制御部25は、距離dに応じて定めた速度vの目標値を示す駆動信号を生成し、生成した駆動信号を駆動部13−1、13−2に出力する。駆動部13−1、13−2は、移動制御部25から入力された駆動信号が示す速度vの目標値に比例した回転速度で車輪14−1、14−2を回転させる。
このように、移動制御部25が、距離d’が大きいほど移動体1を移動させる速度vを高くすることで、移動体1を人に早く追従させることができる。また、移動制御部25が、距離d’が小さいほど移動体1を移動させる速度vを低くすることで、移動体1が人に接触する可能性を低くすることができる。なお、図18に示す例では、速度vの目標値は、下限dminから上限dmaxまでの間で定義されている。dmin、dmaxは、それぞれ距離d’の下限、上限である。距離d’の下限、上限である。vmin、vmaxは、それぞれ速度vの目標値の下限、上限である。距離d’が下限dminよりも小さい場合、又は上限dmaxよりも大きい場合には、移動制御部25は、速度vの目標値を0と定める。その場合には、代表点特定部24は、代表点を定めることができないためである。
なお、上述した実施形態及び変形例に係る移動体制御装置20は、姿勢認識部26に代えて、もしくは姿勢認識部26と併せて操作入力部を備えてもよい。操作入力部が人の操作を検出したとき、移動体制御装置20は、上述した移動体制御処理を開始する。操作入力部は、ボタン、マウス、タッチパネル、等のポインティングデバイスを含んで構成されてもよい。従って、人が操作を行うことにより、所定の姿勢をとらなくとも移動体制御処理の開始を指示することができる。
また、上述した実施形態及び変形例は、任意に組み合わされてもよい。例えば、第2の実施形態に係る移動体制御装置20は、第3の実施形態に係る通知情報出力部29を備え、通知部31から通知情報が通知可能であってもよい。その場合、図10に示す移動体制御処理は、ステップS302(図17)の処理を有してもよい。そして、ステップS203において代表点特定部24が所定の経過時間以上になったと判定した場合(ステップS203 YES)、ステップS302の処理に進んでもよい。
なお、上述した実施形態における移動体制御装置20が備える各部の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、CPU(Central Processing Unit)等の制御装置に限らず、OS(Operating System)や周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
1…移動体,11…撮像部,13−1,13−2…駆動部,14−1,14−2,14−3…車輪,15…基台,16…物体検出部,20…移動体制御装置,21…画像入力部,22…対象特定部,23…人体判定部,24…代表点特定部,25…移動制御部,26…姿勢認識部,27…記憶部,28…検出信号入力部,29…通知情報出力部,31…通知部

Claims (6)

  1. 移動体に備えられた場合に、当該移動体の周囲の少なくとも一部を撮像して、画像を入手する撮像部と、
    前記撮像部が撮像した画像に人の像が含まれる場合に、前記人の像から当該人の体幹を代表点に定める特定部と、
    前記特定部が定めた前記代表点の前記画像内における位置に基づいて、前記移動体の移動を制御する制御部と、
    前記制御部は、前記人が前記撮像部の視野外に所在することにより、前記特定部が前記人の像から前記代表点を定めることができない場合に、前記移動体を後退する制御をおこなうことを特徴とする移動体制御装置。
  2. 前記特定部は、
    前記撮像部が時系列に撮像した複数の画像ごとに、前記代表点をそれぞれ抽出し、
    前記制御部は、
    前記特定部が抽出した前記代表点の位置の時間変化に基づいて、前記移動体の移動を制御する
    ことを特徴とする請求項1に記載の移動体制御装置。
  3. 前記制御部は、
    前記撮像部が撮像した画像に、前記特定部が、所定の姿勢の人の像が含まれると判定した場合、当該人の前記代表点に基づく前記移動体の移動の制御を開始する
    ことを特徴とする請求項1又は請求項2のいずれか一項に記載の移動体制御装置。
  4. 前記制御部は、前記代表点と前記移動体の基準点との間の距離を、所定の距離を目標として前記移動体の移動を制御する請求項1から請求項3のいずれか一項に記載の移動体制御装置。
  5. 請求項1から請求項4のいずれか一項に記載の移動体制御装置を備え、
    任意の方向に地面に沿って移動可能な移動体。
  6. 請求項5に記載の移動体は、無人搬送車である移動体。
JP2014181853A 2014-09-08 2014-09-08 移動体制御装置及び移動体 Expired - Fee Related JP6669948B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2014181853A JP6669948B2 (ja) 2014-09-08 2014-09-08 移動体制御装置及び移動体
CN201580048306.7A CN107077138B (zh) 2014-09-08 2015-08-27 移动体控制装置和移动体
EP15840623.1A EP3193229B1 (en) 2014-09-08 2015-08-27 Mobile body control device and mobile body
PCT/JP2015/074210 WO2016039158A1 (ja) 2014-09-08 2015-08-27 移動体制御装置及び移動体
US15/509,302 US10379541B2 (en) 2014-09-08 2015-08-27 Mobile unit control device and mobile unit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014181853A JP6669948B2 (ja) 2014-09-08 2014-09-08 移動体制御装置及び移動体

Publications (2)

Publication Number Publication Date
JP2016057720A JP2016057720A (ja) 2016-04-21
JP6669948B2 true JP6669948B2 (ja) 2020-03-18

Family

ID=55458912

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014181853A Expired - Fee Related JP6669948B2 (ja) 2014-09-08 2014-09-08 移動体制御装置及び移動体

Country Status (5)

Country Link
US (1) US10379541B2 (ja)
EP (1) EP3193229B1 (ja)
JP (1) JP6669948B2 (ja)
CN (1) CN107077138B (ja)
WO (1) WO2016039158A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115241045A (zh) 2016-03-22 2022-10-25 株式会社半导体能源研究所 半导体装置以及包括该半导体装置的显示装置
DE102017117872B4 (de) * 2017-08-07 2019-11-07 Motherson Innovations Company Limited Selbstfahrendes Gepäckstück und Verfahren zum Betreiben eines selbstfahrenden Gepäckstücks
CN111052025A (zh) * 2017-09-13 2020-04-21 日本电产株式会社 移动机器人系统
JP6894595B2 (ja) * 2018-03-28 2021-06-30 株式会社エクォス・リサーチ 移動体
JP2020017206A (ja) * 2018-07-27 2020-01-30 ソニー株式会社 情報処理装置、行動決定方法及びプログラム
EP3894972B1 (en) * 2019-04-29 2023-11-08 Google LLC Motorized computing device that autonomously adjusts device location and/or orientation of interfaces according to automated assistant requests
CN111353474B (zh) * 2020-03-30 2023-12-19 安徽建筑大学 一种基于人体姿态不变特征的行人再识别方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH036710A (ja) * 1989-06-05 1991-01-14 Toshiba Corp 追随移動ロボット制御装置
JP2003052039A (ja) * 2001-08-07 2003-02-21 Suzuki Motor Corp 作業動作計測システム及び方法並びに作業動作計測用プログラム
JP3714268B2 (ja) * 2002-03-18 2005-11-09 ソニー株式会社 ロボット装置
JP4245887B2 (ja) * 2002-09-30 2009-04-02 セコム株式会社 搬送ロボット
JP2004299025A (ja) * 2003-04-01 2004-10-28 Honda Motor Co Ltd 移動ロボット制御装置、移動ロボット制御方法及び移動ロボット制御プログラム
JP2006155349A (ja) 2004-11-30 2006-06-15 Sony Corp 追尾方法、追尾装置、追尾システム及び追尾プログラム
JP4154430B2 (ja) * 2006-02-06 2008-09-24 株式会社トイパッククリエーション 発信源の位置を検知する方法及び装置
JP2007229816A (ja) * 2006-02-27 2007-09-13 Toyota Motor Corp 自律移動型ロボット
US7671725B2 (en) * 2006-03-24 2010-03-02 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus, vehicle surroundings monitoring method, and vehicle surroundings monitoring program
JP2007265343A (ja) 2006-03-30 2007-10-11 Tottori Univ 移動物体の追従装置及び同装置を備えた電動車椅子
US7961667B2 (en) * 2006-07-21 2011-06-14 International Business Machines Corporation Ad-hoc groups in SIP/SIMPLE
JP4802112B2 (ja) * 2007-02-08 2011-10-26 株式会社東芝 トラッキング方法及びトラッキング装置
JPWO2009116597A1 (ja) 2008-03-18 2011-07-21 株式会社日立製作所 姿勢把握装置、姿勢把握プログラム、及び姿勢把握方法
JP5084756B2 (ja) * 2009-01-30 2012-11-28 国立大学法人埼玉大学 自律移動車椅子
JP5757063B2 (ja) * 2010-03-29 2015-07-29 ソニー株式会社 情報処理装置および方法、並びにプログラム
US20120316680A1 (en) 2011-06-13 2012-12-13 Microsoft Corporation Tracking and following of moving objects by a mobile robot
US9321173B2 (en) * 2012-06-22 2016-04-26 Microsoft Technology Licensing, Llc Tracking and following people with a mobile robotic device
JP6195450B2 (ja) * 2013-01-31 2017-09-13 セコム株式会社 自律飛行ロボット
DE102013110456A1 (de) 2013-09-21 2015-03-26 Still Gmbh Verfahren zur Steuerung eines Kommissionierflurförderzeugs
WO2015093330A1 (ja) * 2013-12-17 2015-06-25 シャープ株式会社 認識データ伝送装置
JP6448223B2 (ja) * 2014-06-12 2019-01-09 キヤノン株式会社 画像認識システム、画像認識装置、画像認識方法、およびコンピュータプログラム

Also Published As

Publication number Publication date
CN107077138B (zh) 2020-12-01
JP2016057720A (ja) 2016-04-21
CN107077138A (zh) 2017-08-18
US20180231983A1 (en) 2018-08-16
WO2016039158A1 (ja) 2016-03-17
US10379541B2 (en) 2019-08-13
EP3193229A1 (en) 2017-07-19
EP3193229B1 (en) 2019-10-02
EP3193229A4 (en) 2018-04-11

Similar Documents

Publication Publication Date Title
JP6669948B2 (ja) 移動体制御装置及び移動体
Lee et al. RGB-D camera based wearable navigation system for the visually impaired
Leigh et al. Person tracking and following with 2d laser scanners
US10410328B1 (en) Visual-inertial positional awareness for autonomous and non-autonomous device
US10133278B2 (en) Apparatus of controlling movement of mobile robot mounted with wide angle camera and method thereof
US10366508B1 (en) Visual-inertial positional awareness for autonomous and non-autonomous device
Mancini et al. Mechatronic system to help visually impaired users during walking and running
US9201425B2 (en) Human-tracking method and robot apparatus for performing the same
CN110072673B (zh) 跟踪人类的机器人及其方法
JP2006221610A (ja) 人間追跡装置及び方法、その方法を行うためのプログラムが記録された記録媒体とその装置を備えた移動型電子機器
JP2014516816A (ja) モバイルロボットによる移動対象物のトラッキング及びフォローイング
WO2016031105A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2009025898A (ja) 経路計画装置、経路計画方法及び移動体
KR20150144730A (ko) ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
JP6187623B1 (ja) 自律移動装置、自律移動方法及びプログラム
JP2008234404A (ja) 移動ロボット及びロボット移動制御方法
Pundlik et al. Collision detection for visually impaired from a body-mounted camera
WO2016104265A1 (ja) 移動体
JP2020083140A (ja) 駐車支援装置
JP7103354B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2023502239A (ja) 広視野角のステレオカメラ装置およびこれを利用した深度画像処理方法
JP2009178782A (ja) 移動体、環境地図生成装置、及び環境地図生成方法
JP6206668B2 (ja) 車両用歩行者検出装置
Sharma et al. NAVI: Navigation aid for the visually impaired
JP6786922B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141225

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190325

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200107

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20200203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200204

R151 Written notification of patent or utility model registration

Ref document number: 6669948

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees