JP4220858B2 - 携帯端末機器を用いた移動ロボットの画像撮影装置 - Google Patents

Description

本発明は、携帯端末機器を用いた移動ロボットの画像撮影装置に関するものである。

従来、予め定められた地点や人物を観測して画像を観測者などに送信するようにしたカメラ付きロボットがあり、また、携帯端末機器によりロボットを遠隔制御するようにしたものもある。

上記携帯端末機器から移動ロボットを操作するものとして、ロボットコントロールサーバと移動ロボット携帯端末機器とをネットワークに接続し、ユーザが携帯端末機器からロボットコントロールサーバを介して移動ロボットに指示を与えるようにしたものがある（例えば、特許文献１参照。）。

特開２００３−６５３２号公報（第２−３頁、図１）

上記した携帯端末機器から移動ロボットを操作可能にしたものにあっては、上記したようにネットワークに接続されたロボットコントロールサーバを介してロボットを制御するものであり、ロボットに対する動作の制御は、サーバ上でサービス業者が操作用プログラムを用意して行うものである。また、ユーザの端末（自宅のパーソナルコンピュータなど）で各移動ロボットを操作する例も記載されているが、この場合にはステージの上方からカメラで全体を撮影し、これをユーザの端末に表示するように構成されている。したがって、移動ロボット自体のカメラが、上記操作で使用される訳ではない。また、上記ロボットにはカメラが付いており、そのカメラにより撮影可能にされているが、その画像は、ユーザがロボットの作業の結果を確認するためのものである。

それに対して、例えば撮影要求者が所持する携帯端末機器から撮影意思を伝えて、ロボットにより撮影してもらう時に、例えばイベント会場などで他の移動ロボットが存在する場合にはそのロボットと共に撮影した画像が得られると、移動ロボットによる撮影の利用範囲が増大する。しかしながら、上記ロボット装置では、ユーザがロボットの移動を指示することができたとしても、ユーザの所まで移動させて一緒に画面に収まるようにすると共に、撮影するロボットに対して撮影を指示することは極めて困難である。

このような課題を解決して、移動ロボットにより撮影する時に他のロボットと一緒に撮影することを容易に行うことを実現するために本発明に於いては、撮影要求者が画像表示可能な携帯端末機器（１４）を操作し、撮像装置（２・３）を備えかつ移動可能な撮影側ロボット（１ａ）と移動可能な被撮影側ロボット（１ｂ）とが、それぞれ人物に近づいて、前記撮影側ロボット（１ａ）が、前記人物と前記被撮影側ロボット（１ｂ）とを撮影しかつ当該撮影された撮影画像を前記携帯端末機器（１４）へ送信する携帯端末機器を用いた移動ロボットの画像撮影装置であって、前記撮影側ロボット（１ａ）が、人物を検出する人物検出手段（２・３・４・６・７）と、人物に近付く制御を行う移動制御手段（１０・１２）と、撮影の可否を判断する撮影可否判断手段（１０・２２）と、前記撮像装置（２・３）により撮影した撮影画像から顔画像を切り出す顔画像切り出し手段（２・３・１０）と、撮影環境を設定する撮影環境設定手段２・３・５・６・１０・１１・１２・１３）と、撮影画像を前記携帯端末機器（１４）で表示可能な画像信号として送信する画像信号送信手段（１３・１５）とを有し、前記被撮影側ロボット（１ｂ）が、人物を検出する人物検出手段（２・３・４・６・７）と、人物に近付く制御を行う移動制御手段（１０・１２）とを有し、前記撮影側ロボット（１ａ）が、前記人物検出手段（２・３・４・６・７）により検出された人物を撮影するべく当該人物に近付き、前記撮影要求者が操作する前記携帯端末機器（１４）からの撮影要求信号を受けて前記撮影可否判断手段（１０・２２）により前記撮影を行うと判断した場合に、前記近づいた人物の顔画像を前記顔画像切り出し手段（２・３・１０）により切り出し、当該顔画像を切り出した人物と前記被撮影側ロボット（１ｂ）との抽出を行って当該人物と前記被撮影側ロボット（１ｂ）とを一緒に撮影し、当該撮影された撮影画像を前記画像信号送信手段（１３・１５）により前記携帯端末機器に送信するるものとした。

特に、前記撮影環境が、前記撮影側ロボット（１ａ）と前記被撮影側ロボット（１ｂ）とが互いに位置合わせのための信号の授受に基づいて設定され、また、前記各ロボット（１ａ・１ｂ）が、発話機能を有する音声発生装置（５・６）をそれぞれ有し、かつ前記撮影環境の設定時に前記撮影対象の人物に対して前記音声発生装置（５・６）から位置修正指示を発話し、また、前記撮影の可否の判断が、予め前記携帯端末機器（１４）をサーバ（２２）に登録すると共に前記撮影可否判断手段（１０・２２）と当該サーバ（２２）との信号授受により前記携帯端末機器（１４）に対応する前記撮影要求者が前記サーバ（２２）に登録されているか否かを判断して行い、また、前記携帯端末機器（１４）に前記撮影画像を表示させると共に前記撮影要求者が当該表示された撮影画像を選択した場合に、前記携帯端末機器（１４）に対して前記撮影に応じた課金信号を送信すると共に課金処理を行う課金手段（１０）をさらに有すると良い。

このように本発明によれば、人物を検出しかつその人物に近付くことができる移動ロボットにおいて撮影側のものと被撮影側のものとを設け、撮影側ロボットが撮影要求信号に対して撮影を行うと判断した場合には、ロボットと人物とを一緒に撮影するための撮影環境を設定して撮影することから、撮影要求者が画面を見ながら細かく調整する手間を省くことができ、移動ロボットによる他のロボットと一緒の撮影を容易に行うことができる。また、撮影画像を携帯端末機器で確認したり、例えばサーバに送信して保存して撮影要求者が後でサーバにアクセスして撮影画像を取得したり、プリントしたりすることを自由に行うことができる。

特に、撮影側ロボットと被撮影側ロボットとが互いに位置合わせのための信号の授受に基づいて撮影環境を設定することにより、ロボット同士で適切なフレーミング処理を行うことができ、撮影要求者はフレーミングにおいて何ら指示や調整をする必要が無く、人物と移動ロボットとの好適な位置関係を実現した撮影を容易に行うことができる。

また、各ロボットが、発話機能を有する音声発生装置をそれぞれ有し、かつ撮影対象の人物に対して位置修正指示を発話することにより、人物側での移動による立ち位置の調整を行うこともでき、より一層好適にフレーミング処理された撮影を行うことができる。

また、予め撮影指示者をサーバに登録し、撮影要求した撮影指示者がサーバに登録されているか否かを判断して撮影の可否の判断を行うことにより、登録した者だけが撮影指示可能になり、不特定多数の者がロボットに対して撮影指示命令を出して、ロボットの動作が煩雑化してしまうことを防止し得る。

さらに、選択画像を決定した場合に携帯端末機器に対して撮影に応じた課金信号を送信すると共に課金処理を行う課金手段を設けることにより、ロボットにより撮影したその場で撮影結果及びそれに伴う課金を確認することができ、特に複数枚選択した場合などの課金状態を容易に知ることができ、取り扱い性が良い。

以下、本発明の実施の形態を、図面を参照しながら説明する。図１は、本発明が適用されたロボットのシステム図である。なお、本図示例における移動ロボット１にあっては二足歩行型として以下に示すが、二足歩行型に限るものではなく、例えばクローラー式や車輪式であっても良い。図に示されるように、本移動ロボット１には、撮像装置として左右一対のカメラ２及びそれらに接続された画像処理部３と、左右一対のマイク４及びスピーカ５と接続された音声処理部６と、センサ７に接続された個人認証部８と、それら画像処理部３・音声処理部６・個人認証部８と障害物センサ９とが接続された制御部１０と、制御部１０と接続されたマップデータベース部１１と、頭や腕や脚を駆動制御するべく制御部１０と接続された駆動部１２と、無線ＬＡＮの送受信用のＬＡＮ送受信部１３と、携帯端末機器１４と送受信を行うための携帯用送受信部１５とが設けられている。ＬＡＮ送受信部１３と携帯用送受信部１５とは画像信号送信手段として設けられている。

カメラ２及び画像処理部３、またマイク４及び音声処理部６とにより人物を検出することができる人物検出手段が構成されている。また、人物検出手段としては、センサ７としてＲＦセンサを用い、撮影要求者に対応する発信器などを渡しておくことで構成しても良い。

ロボットに対する人からの呼びかけがあれば音量の変化として捉えることができるため、音声処理部６で、マイク４で集音された音量の変化を検出すると共に音源の方向を認識する。例えば左右のマイク４間の音量変化の時間差や音圧差で音源方向を求めることができる。次に、例えば音素の分割やテンプレートマッチングで特定の言葉を音声として認識する。言葉の例としては「おーい。」や「来い。」などが考えられる。音量変化時の音素が言葉のいずれにも該当しなかったり、テンプレートで用意されている言葉と一致しなかったりした場合には音声ではないとして良い。

カメラ２は例えばＣＣＤカメラであって良く、フレームグラバにより画像をデジタル化して取り込んだものを画像処理部３に出力する。画像処理部３では移動体抽出を行う。例えば、音声認識処理により認識された音源の方向にカメラ２を向け、または音声が認識されない場合には任意の方向に首振り運動をして、図２に示されるような移動体を認識したらその抽出を行う。図２（ａ）ではカメラ２ａでの画角１６内に人が挨拶として手を振っている状態が撮影された場合であり、図２（ｂ）では手招きしている状態が撮影された場合である。これらの場合には手を動かしている人が移動体として認識される。

ここで、移動体抽出処理の一例を示す。例えば動きのあるエッジ点を最も多く含む部分を対象部分としてステレオ視による距離ｄの検出を行う。この場合、例えば、画像のエッジ情報を用いた動的輪郭抽出により移動体の輪郭を抽出し、連続または任意の間隔の２フレーム間の差分から動いているものを抽出することができる。

次に、画角（図２の１６）内での移動体探索領域を設定する。例えば、距離ｄを基準に処理対象距離範囲（ｄ±Δｄ）を設定し、その処理対象距離範囲内に存在する画素を抽出し、図２（ａ）における縦軸方向の画素数を横軸方向の画素ピッチ毎に計測し、その数が最大となる位置の縦軸方向線を移動体探索領域の中央線Ｃａとする。その中央線Ｃａから距離ｄに応じて左右に人の肩幅程度の広さを算出し、その算出値に基づいて移動体探索領域の左右方向の境界を設定する。これにより、図２（ａ）の破線で示されるような移動体探索領域１７が設定される。

次に、特徴の抽出を行う。この特徴抽出では、パターンマッチングなどを用いて特定のマークや注目点を探索することである。例えば、認識容易な特定のマークを記したワッペンをロボットと対話する人に付けてもらっておき、そのマークを探索することにより対象者に向けての速やかな移動を可能にする。または、人物のロボットを見つけた時の手の動きなどの何種類かのパターンを用意しておき、いずれかのパターンに合うものを探すことにより、人物を認識することができる。

また、輪郭の抽出を行う。なお、画像情報から対象物（移動体）を抽出する手法としては、画素の特徴量のクラスタリングに基づいた領域分割法や、検出されたエッジを連結させる輪郭抽出法や、予め定義したエネルギーを最小化するように閉曲線を変形させる動的輪郭モデル（Snakes）などを用いることができる。そして、例えば背景との輝度差から輪郭を抽出し、抽出された移動体の輪郭上もしくは輪郭内に存在する点の位置から移動体の重心位置を計算し、ロボットの正面に対する移動体の方向（角度）を求める。また、輪郭を抽出された移動体における各画素の距離情報から移動体までの距離を計算し直し、実空間上での移動体の位置を求める。なお、画角１６内に複数人いる場合には、領域の設定を複数人分設定することにより、それぞれに対して上記と同様にして特徴を抽出することができる。

次に、顔画像切り出しの一例を示す。この処理は、カメラ２・画像処理部３・制御部１０で構成されて良い顔画像切り出し手段により行うことができる。例えば移動体の上部の小さな部分を顔部分とし、その顔部分から色情報（肌の色）を抽出し、肌色が抽出されたら顔であるとして、その顔の位置を特定することにより、顔の抽出を行う。この場合のカメラ２により撮影された初期画面の一例を図３（ａ）に示す。

例えば図３（ｂ）に示されるように輪郭１８が抽出されたとすると、その輪郭１８の画面上での最上部となる位置データ（頂部）を頭頂部１８ａとして位置設定する。これを、画像切り出し手段としての画像処理部３により行うようにして良い。その頭頂部１８ａを基準点として探索範囲を設定する。探索範囲は、ロボット１からの距離に応じて予め設定されている顔の大きさに相当するサイズを設定しておくと良く、また奥行きに対しても距離に応じた顔の大きさを考慮した範囲とする。

そして、肌色領域の抽出を行う。肌色領域は、ＨＬＳ（色相、明度、彩度）空間上でしきい値操作により抽出することができる。なお、顔位置を上記探索範囲内にある肌色領域の重心位置として求めることができ、それによる距離に応じて顔の大きさとして推定し得る顔の処理領域を図４に示されるように楕円モデル１９として設定する。

上記したようにして設定された楕円モデル１９内で黒丸（瞳）を円形エッジ抽出フィルタで検出することによる眼の抽出を行う。この眼の抽出にあっては、例えば標準的な人物の頭頂部１８ａから眼までの長さに基づいて所定の広さ（距離に応じた画面上のサイズ）の黒丸探索範囲１９ａを設定し、その黒丸探索範囲１９ａ内に対して行うことにより、容易に瞳を検出することができる。そして、顔画像の切り出しを行う。顔部分の拡大縮小は瞳の位置データから両眼の間隔を求め、その間隔に基づいて行うことができる。

なお、移動体が検出されない場合には、マップデータベース部１１に保存されている地図データの参照を行う。それにより、現在地の特定や、予め入力されている進入禁止領域の確認や画像処理領域を決定する。

次に、移動体探索領域内で、パターンマッチングなどを用いて特定のマークや注目点を探索して特徴の抽出を行う。例えば、撮影要求者に、その登録時に認識容易な特定のマークを記したワッペンを付けてもらっておき、そのマークを探索することにより対象者に向けての速やかな移動が可能になる。または、人物のロボットを見つけた時の手の動きなどの何種類かのパターンを用意しておき、いずれかのパターンに合うものを探すことにより、人物を認識することができる。あるいは、センサ７により検出可能な特定の発信器などを所持してもらうようにしても良い。

上記したように構成された自立移動可能なロボット１に対して、信号の授受を行うためのＬＡＮ送受信機２１がロボット１の上記した移動範囲内の適所に設けられ、そのＬＡＮ送受信機２１が管理サーバ２２と接続されている。

また、携帯端末機器１４とロボット１の携帯送受信部１５との信号の授受を可能にする携帯基地局２３が上記と同様にロボット１の移動範囲内の適所に設けられている。その携帯基地局２３には、送受信機２３ａと制御部２３ｂとが互いに接続されて設けられており、各ユーザがパーソナルコンピュータ２４でアクセス可能なインターネットに制御部２３ｂが接続されている。

また、上記管理サーバ２２とは別個にサーバ２５が設けられており、そのサーバ２５にはコンテンツ用データベース部２５ａと制御部２５ｂとが互いに接続されて設けられている。その制御部２５ｂもインターネットと接続されている。

次に、本発明に基づくロボット１による撮影要領について示す。例えば遊園地やイベント会場において、ロボット１によりカメラ２で撮像した撮影画像をデジタル写真として入園者や入場者に提供する場合を示す。なお、カメラ２はロボット１における目に相当するものであり、それとは別に手持ちの外部カメラで撮影するようにしても良い。その場合には、外部カメラのデータ出力端子をロボット１に接続し、その画像データを画像処理部３で処理するようにすれば良い。

また、ロボット１への撮影指示を携帯端末機器１４で行うものであり、ロボット１に撮影を指示して撮影してもらうことを希望する撮影要求者（ユーザ）は貸与される画像表示機能付き携帯端末機器１４または自身が所有する画像表示機能付き携帯電話のＩＤコードなどを管理サーバ２２に予め登録しておく。ユーザはロボット１の移動可能な範囲（予め特定しておく）に行き、そこで図５に示されるように携帯端末機器１４を用いてロボット１に指示を出す。

なお、図６に専用の携帯端末機器１４の例を示す。この携帯端末機器１４には、ロボット１による撮影画像及び文字を表示するための画面１４ａと、複数の操作用キー１４ｂとが設けられている。キー１４ｂのそれぞれには、ロボット１に対して前方や右前方などの移動指示や、画面１４ａに表示された項目に対して選択するものなどが割り当てられている。なお、携帯端末機器１４に一般の携帯電話を用いる場合には、そのテンキーなどに上記各指示ためのキーの割り当てを決めておく。

図７(ａ)・(ｂ)・(ｃ)は、それぞれ上記ロボット１と同じ構成のもであって良い撮影側ロボット１ａ及び被撮影側ロボット１ｂによる撮影要領を示すフロー図である。まず、撮影側ロボット１ａにあっては、上記した音声処理や画像処理、あるいは登録時に受け取った発信器に対応するＲＦセンサ（７）により人物（ユーザ）の検出を行う（ＳＴ１）。ユーザを検出したら、ステップＳＴ２で、図５の矢印Ａに示されるようにユーザに接近する移動制御を行う。この移動制御にあっては、撮影画像の画角内に常に検出された人物が入っているように方向を変えながら移動するようにする。なお、ユーザまでの接近距離の限度を設定しておき、上記距離検出を行いながら接近することにより、ユーザに所定の距離まで近付いたら待機するようにしても良い。

ユーザは、ロボット１ａが近付いてくることを視認することができ、適当なタイミングで、ユーザの携帯端末機器１４からロボット１ａに対する接続要求（撮影要求信号）を送信する（図７(ａ)のＵ１）。この接続要求信号は、携帯基地局２３を介してロボット１ａの携帯送受信部１５で受信したり、または携帯基地局２３から管理サーバ２２を経由してＬＡＮ送受信機２１を介してロボット１のＬＡＮ送受信部１３で受信したりすることができる。ロボット１ａは、その接続要求信号を携帯送受信部１５またはＬＡＮ送受信部１３で受信したら、その携帯端末機器１４に対応する個人データを照会するべく、ＬＡＮ送受信部１３から個人データ要求信号を送信する（ＳＴ３）。その個人データ要求信号をＬＡＮ送受信機２１を介して管理サーバ２２が受信したら、管理サーバ２２は、例えば携帯端末機器１４からの送信信号のヘッダに含まれるＩＤコードに対応する個人データを、サーバに登録されている個人データベースの中から検索し、その結果を返す。管理サーバ２２からの個人データ検索結果は、ＬＡＮ送受信機２１を介して送信され、ロボット１ａのＬＡＮ送受信部１３により受信されるようになっている。

ロボット１ａでは、上記個人データ検索結果が管理サーバ２２に登録されている個人データであると認識（認証ＯＫ）できるか否かを判別し（ＳＴ２）、認識できた場合には次のステップＳＴ３に進み、不登録個人データであると判断（認識ＮＧ）した場合には本フローを終了し、ステップＳＴＳＴ１に戻る。これら管理サーバ２２とロボット１の制御部１０における認証判断とにより撮影可否判断手段が構成されている。

認証ＯＫの場合には、ロボット１ａからサービス開始の通知を送信する（ＳＴ５）。この送信信号は、携帯端末機器１４で受信可能な信号として送信され、携帯基地局２３を介して携帯端末機器１４で受信することができる。そのサービス開始の通知が携帯端末機器１４の画面上に表示され（Ｕ２）、ユーザは、ロボット１ａに対して撮影指示可能な状態になったことを確認し得る。なお、接続要求（Ｕ１）以降は、携帯端末機器１４を携帯基地局２３と常時接続可能にしておくものとする。また、送受信信号には認証された個人データを例えばヘッダに含める。これにより、認証された関係が維持され、他の者からのアクセスによる誤動作を防止し得る。

ユーザは、ロボット１ａから撮影可能な範囲に自分が位置していると判断したら、携帯端末機器１４の所定のキーを操作して撮影開始の指示を携帯端末機器１４から送信する（Ｕ３）。または、音声による指示も可能である。上記したようにロボット１ａの音声処理部６では、音声を認識する言語処理を行うと共に予め登録された語彙を参照するなどしており、音声指示の際の語彙を決めておくことにより、その音声指示を容易に判断可能である。

ロボット１ａにおける上記ステップＳＴ５の次のステップＳＴ６では撮影開始の指示の有無を判別する。開始指示有りと判断したら次のステップＳＴ７に進み、撮影開始指示無しと判断した場合にはステップＳＴ５に戻り開始指示を待つ。なお、図示していないが、この開始指示待ちに対してタイマを設けて、タイムアップした場合にはステップＳＴ１に戻るようにすると良い。このようなフェイルセーフ処理は以後の処理において適宜設けておいて良いものであり、それぞれにおける説明を省略する。

ステップＳＴ７では、ユーザまたは一緒に写す被撮影側ロボット１ｂのいずれを中央にして撮影するかというフレーミングの選択を行う。これは、ユーザが登録時に希望を入力しておいたり、その時の撮影画面上で判断したりして良い。ロボット１ｂを中央にすることが選択された場合にはステップＳＴ８に進み、そこでロボット１ｂを中央にすると記憶してステップＳＴ９に進む。ステップＳＴ７でユーザを中央にすると選択した場合にはステップＳＴ１０に進み、そこでユーザを中央にすると記憶してステップＳＴ９に進む。

ステップＳＴ９ではユーザの現在位置を取得する。これは、マップデータベース部１１の地図を参照してロボット１ａが自分の位置を把握することができると共に、カメラ２の向きや距離からユーザの位置を計測することにより行うことができる。ユーザの現在位置の取得が終了したら、次のステップＳＴ１１でユーザの現在位置を例えばＬＡＮ送受信部１３から送信する。

ロボット１ｂにおいても、上記と同様にマップデータベース部１１の地図を参照して自分の位置を把握することができ、ロボット１ａから送信されたユーザ現在位置情報をＬＡＮ送受信機２１を介してロボット１ｂが受信したら、その情報及び自身の位置データに基づいて、ロボット１ｂがユーザに近寄り、図５に示されるように自分の方に集まるように発話する（ステップＳＴ４１）。ロボット１ａでも、ステップＳＴ１１の次のステップＳＴ１２で、集合を指示する旨を発話する。これらの発話は、音声処理部６で処理された合成音声でスピーカ５から発せられる。

ステップＳＴ１２の次のステップＳＴ１３では、カメラ２の撮影時に調整する各種パラメータが現在値のままで適当であるか否かを判別する。パラメータとしては、良好な撮影を実現するためのものであり、逆光や輝度レベルなどである。それらの判断は、撮像素子としてのＣＣＤ出力から容易に行うことができる。パラメータが不適当であると判別された場合にはステップＳＴ１４に進み、そこで不適当であると判断されたパラメータの調整を行い、ステップＳＴ１３に戻る。パラメータが適当である判断された場合にはステップＳＴ１５に進む。

ステップＳＴ１５では上記したようにしてユーザの顔の抽出を行い、次のステップＳＴ１６ではロボット１ｂの抽出を行う。ロボット１ｂの抽出にあっては、予めロボット１ｂの外形や色を記憶しておくことにより、容易に確認することができる。

次のステップＳＴ１７ではフレーミングの判別を行う。上記ステップＳＴ８またはＳＴ１０で記憶された情報に基づき、ロボット１ｂ中心かユーザ中心かを判別する。ロボット１ｂが中心であると判別された場合にはステップＳＴ１８に進み、そこでロボット１ｂを中心とする位置関係である旨を送信し、ステップＳＴ１９に進む。

ロボット１ｂでは、ステップＳＴ１８で送信されたロボット１ｂを中心とする位置関係の内容を受信したら、ステップＳＴ４２で自分を中心とする集合の内容を発話する。例えば、「僕を中心に集まって。」と発話する。ロボット１ａからも、ステップＳＴ１９でロボット１ｂを中心とする集合の内容を発話する。例えば、「横にいるロボットを中心に集まって。」と発話する。ユーザはそれに応じて移動する（Ｕ４）。

ステップＳＴ１７でユーザが中心であると判別された場合にはステップＳＴ２０に進み、そこでユーザを中心とする位置関係である旨を送信し、ステップＳＴ２１に進む。ロボット１ｂでは、ステップＳＴ２０で送信されたユーザを中心とする位置関係の内容を受信したら、ステップＳＴ４３でユーザと自分の位置関係に基づいてユーザを中心とする集合の内容を発話する。例えば、「僕の右に集まって。」と発話する。ロボット１ａからも、ステップＳＴ２１でユーザを中心とする集合の内容を発話する。例えば、「側のロボットの左側に集まって。」と発話する。ユーザはそれに応じて移動する（Ｕ５）。

ロボット１ａでは、ステップＳＴ１９またはＳＴ２１の次のステップＳＴ２２で、フレーミングの調整のための移動を行う。このフレーミング調整にあっては、図５の矢印Ｂに示されるようにロボット１ａの立ち位置を前後左右に調整して行う。また、頭の向きを変えるようにしても良い。このフレーミング調整は、例えばユーザに長く待たせないように、１回の移動量で人物が画角内のほぼ中央になるようにする粗調整であって良い。

次のステップＳＴ２３では、上記フレーミング調整の結果に対して人物がフレーミングの範囲外であるか否かを判別する。ステップＳＴ２２でのフレーミング調整では未だにフレーミングの範囲外であると判別した場合にはステップＳＴ２４に進み、そこでユーザに対して「左に寄って下さい。」などのユーザの立ち位置を変える指示を発話により行う。ユーザは、ロボット１からの発話指示により、指示に合わせて移動する（Ｕ６）。

ステップＳＴ２３でフレーミング範囲内であると判別された場合またはステップＳＴ２４の次のステップＳＴ２５では、ユーザに対する撮影する旨の発話と撮影を行うという内容を送信する。ロボット１ｂでも、ロボット１ａから送信された撮影するという情報に基づいて、例えば「撮影しますよ。」と発話し、ユーザにこれから撮影する旨を知らせる。

ロボット１ａは、ステップＳＴ２６で撮影を実行し、ステップＳＴ２７に進む。ステップＳＴ２７では、撮影画像と、予め設定された撮影料金に基づいた課金データとを送信する。この課金処理を行う課金手段は制御部１０内のプログラムとして設けられている。

ユーザの携帯端末機器１４の画面１４ａには選択画像及びそれに伴う課金が表示される（Ｕ７）。ユーザは、それに対して取消／繰返し／終了の最終的な判断を選択してロボット１に指示する（Ｕ８）。なお、「取消。」または「繰返し。」または「終了。」という言葉を発して、音声により指示するようにしても良い。

ロボット１では、ステップＳＴ２８で、取消／繰返し／終了のいずれかが指示されたかを判別する。繰返しが選択された判断した場合には、ステップＳＴ２９に進み、そこで選択画像を保存し、ステップＳＴ１５に戻って撮影を繰り返す。この場合には課金が確定する。取消が選択されたと判断した場合にはステップＳＴ１５に戻り撮影を再開する。この場合には画像の保存は行われず、課金もされない。

そして、終了が選択されたと判断した場合にはステップＳＴ３０に進む。そのステップＳＴ３０では、画像処理部３及び制御部１０により選択画像をユーザが取り扱い可能なファイル形式などに加工し、そのように加工された最終的な画像を管理サーバ２２に送信し、本撮影モードを終了する。この選択画像の決定処理を行う選択画像決定手段は制御部１０内のプログラムとして設けられている。

選択された画像が複数ある場合には、ユーザが携帯端末機器１４から管理サーバ２２にアクセスすることにより、その画面１４ａに連続表示させたり、１画面に多数の画像を表示するサムネール表示させたりすることができる。これにより、ユーザは希望する画像を確認しながら確定して選択可能となる。また、任意の画像を選択してプリントアウトしてもらうことも可能であり、例えばユーザが所定のプリント受け取り所に行って写真を受け取るようにすることができる。

また、最終的な画像は個人データと共に管理サーバ２２に保存しておいたり、管理サーバ２２からインターネットを介してサーバ２５のデータベース２５ａに送信して移しておいたりすることができる。これにより、ユーザは、例えば自宅のパーソナルコンピュータ２４からインターネットを介して管理サーバ２２またはサーバ２３にアクセスすることにより、自分の最終的な画像をダウンロードしてプリントアウトすることができる。また、個人データ情報として事前にメールアドレスが登録されていた場合には、そのメールアドレス宛に画像を送信するようにしても良い。なお、選択画像決定により、ロボット１内での撮影画像の保存は必要なくなり、次の撮影指示に対する連続撮影によるメモリ不足になることを心配することなく対処し得る。

本発明にかかる携帯端末機器を用いた移動ロボットの画像撮影装置は、携帯端末機器を用いて移動ロボットに撮影を要求すると共に他のロボットと一緒に撮影してもらう場合に、ロボット同士の送受信及び発話により適切なフレーミング処理を行うことができ、携帯端末機器と信号の授受を行う移動ロボットにより撮影を行う分野等に有用である。

本発明が適用された全体システム図である。 （ａ）は移動体の動作の一例を示す説明図であり、（ｂ）は他の例を示す（ａ）に対応する図である。 （ａ）は人物を検出した状態を示す撮影画面の例を示す図であり、（ｂ）は（ａ）の画像から人物の輪郭を抽出した状態を示す図である。 顔から瞳を検出する例を示す説明図である。 ロボットとユーザとの位置関係を示す図である。 携帯端末機器を示す図である。 携帯端末機器及びロボットの制御要領を示すフロー図である。 携帯端末機器及びロボットの制御要領を示すフロー図である。 携帯端末機器及びロボットの制御要領を示すフロー図である。

符号の説明

１ａ 撮影側ロボット
１ｂ 被撮影側ロボット
２ カメラ（撮像装置、人物検出手段、撮影環境設定手段）
３ 画像処理部（撮像装置、人物検出手段、撮影環境設定手段）
４ マイク（人物検出手段）
５ スピーカ（音声発生装置、撮影環境設定手段）
６ 音声処理部（音声発生装置、人物検出手段、撮影環境設定手段）
７ センサ（人物検出手段）
１０ 制御部（移動制御手段、撮影可否判断手段、画像信号送信手段、撮影環境設定手段）
１１ マップデータベース部（撮影環境設定手段）
１２ 駆動部（移動制御手段、撮影環境設定手段）
１３ ＬＡＮ送受信部（画像信号送信手段、撮影環境設定手段）
１４ 携帯端末機器
１５ 携帯送受信部（画像信号送信手段）
２２ 管理サーバ（撮影可否判断手段）

Claims (5)

1. 撮影要求者が画像表示可能な携帯端末機器を操作し、
   撮像装置を備えかつ移動可能な撮影側ロボットと移動可能な被撮影側ロボットとが、それぞれ人物に近づいて、前記撮影側ロボットが、前記人物と前記被撮影側ロボットとを撮影しかつ当該撮影された撮影画像を前記携帯端末機器へ送信する携帯端末機器を用いた移動ロボットの画像撮影装置であって、
   前記撮影側ロボットが、人物を検出する人物検出手段と、人物に近付く制御を行う移動制御手段と、撮影の可否を判断する撮影可否判断手段と、前記撮像装置により撮影した撮影画像から顔画像を切り出す顔画像切り出し手段と、撮影環境を設定する撮影環境設定手段と、撮影画像を前記携帯端末機器で表示可能な画像信号として送信する画像信号送信手段とを有し、
   前記被撮影側ロボットが、人物を検出する人物検出手段と、人物に近付く制御を行う移動制御手段とを有し、
   前記撮影側ロボットが、前記人物検出手段により検出された人物を撮影するべく当該人物に近付き、前記撮影要求者が操作する前記携帯端末機器からの撮影要求信号を受けて前記撮影可否判断手段により前記撮影を行うと判断した場合に、前記近づいた人物の顔画像を前記顔画像切り出し手段により切り出し、当該顔画像を切り出した人物と前記被撮影側ロボットとの抽出を行って当該人物と前記被撮影側ロボットとを一緒に撮影し、当該撮影された撮影画像を前記画像信号送信手段により前記携帯端末機器に送信することを特徴とする携帯端末機器を用いた移動ロボットの画像撮影装置
2. 前記撮影環境が、前記撮影側ロボットと前記被撮影側ロボットとが互いに位置合わせのための信号の授受に基づいて設定されることを特徴とする請求項１に記載の携帯端末機器を用いた移動ロボットの画像撮影装置。
3. 前記各ロボットが、発話機能を有する音声発生装置をそれぞれ有し、かつ前記撮影環境の設定時に前記撮影対象の人物に対して前記音声発生装置から位置修正指示を発話することを特徴とする請求項１または請求項２に記載の携帯端末機器を用いた移動ロボットの画像撮影装置。
4. 前記撮影の可否の判断が、予め前記携帯端末機器をサーバに登録すると共に前記撮影可否判断手段と当該サーバとの信号授受により前記携帯端末機器に対応する前記撮影要求者が前記サーバに登録されているか否かを判断して行うものであることを特徴とする請求項１乃至請求項３のいずれかに記載の携帯端末機器を用いた移動ロボットの画像撮影装置。
5. 前記携帯端末機器に前記撮影画像を表示させると共に前記撮影要求者が当該表示された撮影画像を選択した場合に、前記携帯端末機器に対して前記撮影に応じた課金信号を送信すると共に課金処理を行う課金手段をさらに有することを特徴とする請求項１乃至請求項４のいずれかに記載の携帯端末機器を用いた移動ロボットの画像撮影装置。

Images