JP6993802B2 - 画像処理装置 - Google Patents

Description

本発明は、情報を発信する技術に関する。

情報を発信する技術として、特許文献１には、話者から話された会話の始まりを意味する特定の音声を認識し、音源方向推定により話者の方向を検出し、検出した話者方向に移動し、移動後にカメラから入力された画像から人物の顔を検出し、顔が検出された場合に対話処理を行う技術が開示されている。

特開２００６－２５１２６６号公報

例えば駅の改札周辺等の人が大勢通る場所において特定の人に向けて情報発信を行う場合、大勢の人の中から誰を情報発信の相手とするかを決めなければならない。特許文献１の技術では、話しかけてきた相手を情報発信の相手として決定しているが、雑踏の中では相手の声が認識しにくい場合がある。また、単に近くにいる人を情報発信の相手として決定することも考えられるが、それでは近くを通り過ぎるだけの人が情報発信の相手として決定されることが起こり得る。
本発明は、上記の背景に鑑み、情報発信を望んでいる可能性がより高い人物を情報発信の相手として決定することを目的とする。

上述した課題を解決するために、本発明は、撮影した画像に含まれる人物の画像情報を認識し、認識した前記人物の画像情報に基づいて前記人物と自己との距離を人物距離として特定し、前記人物の向きと前記人物から自己に向かう方向との乖離度を第１の向き関係として特定し、自己の向きと自己から前記人物に向かう方向との乖離度を第２の向き関係として特定し、前記人物距離、前記第１の向き関係、及び前記第２の向き関係の値の範囲にそれぞれ対応付けられたポイントの合計値に基づいて前記人物を情報の発信相手とするか否かを決定する画像処理装置を第１の態様として提供する。

第１の態様の画像処理装置によれば、人物と自己との距離、人物の向きと人物から自己に向かう方向との乖離度、自己の向きと自己から人物に向かう方向との乖離度に関係なく発信相手の可否を決定する場合に比べて、自己に近づいてくる人物、自己に注目している人物、自己を正面から見ようとしている人物等、情報発信を望んでいる可能性がより高い人物を情報発信の相手として決定することができる。

上記の第１の態様の画像処理装置において、自己は回転の動き又は首振りの動きが可能であり、前記撮影を継続して行い、前記動きをしつつ音及び光の少なくとも一方を出力し、当該出力の前後における前記画像から前記画像情報を認識した前記人物についての前記向きの関係の変化に基づいて前記人物を情報の発信相手とするか否か決定する、という構成が第２の態様として採用されてもよい。

第２の態様の画像処理装置によれば、自己に気付いた人物を情報発信の相手として決定することができる。

上記の第１又は第２の態様の画像処理装置において、発信相手とした人物の特徴情報を前記画像から取得し、過去に取得した特徴情報に基づき、新たに認識した人物が過去に発信相手とした人物であるか否かを判定し、当該判定の結果に基づいて当該人物を情報の発信相手とするか否か決定する、という構成が第３の態様として採用されてもよい。

第３の態様の画像処理装置によれば、情報発信がまだされていない人物が他の人物に比べて情報発信の相手として決定されやすくすることができる。

上記の第１から第３のいずれか１の態様の画像処理装置において、前記撮影を継続して行い、前記人物が前記画像に写っている時間に基づいて前記人物を情報の発信相手とするか否か決定する、という構成が第４の態様として採用されてもよい。

第４の態様の画像処理装置によれば、人物が画像に写っている時間を用いない場合に比べて、自己から離れた人物でも情報発信の相手として決定されやすいようにすることができる。

上記の第１から第４のいずれか１の態様の画像処理装置において、前記撮影を継続して行い、前記発信相手として決定した人物に前記情報の発信を開始した後、当該人物に関し新たに特定した前記向きの関係に基づき前記情報の発信を終了する、という構成が第５の態様として採用されてもよい。

第５の態様の画像処理装置によれば、情報発信の相手の自己への関心が失われたときに情報発信を終了することができる。

上記の第１から第５のいずれか１の態様の画像処理装置において、前記撮影を継続して行い、前記発信相手として決定した人物に前記情報の発信を開始した後、当該人物の画像情報が認識されなくなった場合に前記情報の発信を終了する、という構成が第６の態様として採用されてもよい。

第６の態様の画像処理装置によれば、情報発信の相手が自己の前からいなくなったときに情報発信を終了することができる。

上記の第１から第６のいずれか１の態様の画像処理装置において、前記発信相手として決定した人物に前記情報の発信を開始した後、収集した音から音声を認識し、認識した音声に基づき前記情報の発信を終了する、という構成が第７の態様として採用されてもよい。

第７の態様の画像処理装置によれば、発信相手が音声で情報発信を終了させることができる。

実施例に係る案内ロボットの外観を表す図 案内ロボットのハードウェア構成を表す図 制御装置が実現する機能構成を表す図 撮影範囲の一例を表す図 撮影された画像の一例を表す図 ３次元座標系で表された人物の向きの一例を表す図 特定された人物方向の一例を表す図 特定された第１の向き関係の例を表す図 特定された第２の向き関係の例を表す図 特定された人物距離の一例を表す図 ポイントテーブルの一例を表す図 制御装置の動作手順の一例を表す図 変形例の制御装置の動作手順の一例を表す図 係数テーブルの一例を表す図

［１］実施例
図１は実施例に係る案内ロボット１の外観を表す。案内ロボット１は、情報を発信したり、目的地まで移動したりすることで、人々を案内するロボットである。本実施例では、案内ロボット１は、駅に設置され、駅の利用客に対して電車のダイヤ、運行状況及び駅の内部の施設等の情報を発信し、また、目的地までの道案内を行う。

案内ロボット１は、頭部２と、胸部３と、腹部４と、座部５とを備える。頭部２は、人間の頭部を模した部分であり、Ｉ／Ｆ部６（Ｉ／Ｆ：Interface）を備える。頭部２は、概ね球体の形をしており、その球体のうちＩ／Ｆ部６が設けられた部分を削り取られた形をしている。Ｉ／Ｆ部６は、実世界との間で情報をやり取りするインターフェースであり、画像の表示、音又は光の出力、画像の撮影及び集音等を行う。

Ｉ／Ｆ部６は、人間の顔のように、頭部２の一方を向いている。そのため、案内ロボット１においては、Ｉ／Ｆ部６が向いている方向が正面方向Ａ１として認識される。正面方向Ａ１は、案内ロボット１の前方を示す方向である。胸部３は、頂点側が切り取られた円錐の形をしており、その切り取られた部分に頭部２が載せられている。頭部２は、胸部３により回転可能に支持されている。

腹部４は、頂点側が斜めに切り取られた（そしてやや丸みを帯びた）円錐の形をしており、その切り取られた部分に胸部３が載せられている。胸部３は、腹部４により回転可能に支持されている。頭部２及び胸部３が回転することで、人間が顔の向きを変えるように、正面方向Ａ１の向きを変えられるようになっている。また、座部５は、モータと、鉛直下方側に露出する車輪とを有しており、車輪を回転させて移動することができる。

図２は案内ロボット１のハードウェア構成を表す。案内ロボット１は、制御装置１１と、記憶装置１２と、通信装置１３と、操作表示装置１４と、撮影装置１５と、距離センサ１６と、音処理装置１７と、発光装置１８と、走行装置１９と、回転装置２０とを備える。制御装置１１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等を有するコンピュータであり、ＲＡＭをワークエリアとしてＲＯＭ等に記憶されたプログラムを実行して、各装置を制御する。

記憶装置１２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）又はフラッシュメモリ等の記憶手段であり、制御装置１１が制御に用いるデータ及びプログラム等を記憶している。通信装置１３は、移動体通信又は無線ＬＡＮ（Local Area Network）通信等の無線通信を行う通信回路を有し、外部装置と無線通信を行う。操作表示装置１４は、表示手段であるディスプレイと、操作手段であるタッチパネル（ディスプレイの表面に設けられている）とを備え、画像を表示すると共に、利用者からの操作を受け付ける。

撮影装置１５は、レンズ及びイメージセンサ等を備え、レンズから入射する光が表す光景を撮影し、撮影した光景を示す画像を生成する。距離センサ１６は、例えば超音波又は電磁波を発信及び受信する素子を有し、発信した超音波又は電磁波が物体で反射して受信されるまでの時間からその物体までの距離を検出する。なお、距離センサ１６は、通常は超音波を発信し、状況により電磁波を発信してもよい。音処理装置１７は、スピーカ及びマイクロフォン等を有し、音を出力したり（音を発したり）、音を収集したりする。

発光装置１８は、ＬＥＤ（Light Emitting Diode）等を有し、制御装置１１からの制御信号に基づいて光を出力する（光を発する）。走行装置１９は、走行用モータ、車輪及び操舵用モータ等を有し、制御装置１１からの制御信号に基づいて車輪を回転させて案内ロボット１を走行させる。走行装置１９は、例えば車輪の回転方向を左右で反対にしたり、舵角を大きくしたりすることで、案内ロボット１を回転させることもできる。これを「回転の動き」という。回転装置２０は、モータ等を有し、頭部２及び胸部３を回転させてＩ／Ｆ部６の向き、すなわち正面方向Ａ１の向きを変化させる。このときの頭部２の動きが首を振っているように見えるので、これを「首振りの動き」という。

制御装置１１がプログラムを実行することで、以下に述べる機能が実現される。
図３は制御装置１１が実現する機能構成を表す。制御装置１１は、音出力部１０１と、光出力部１０２と、撮影部１０３と、人物画像認識部１０４と、向き関係特定部１０５と、距離特定部１０６と、案内相手決定部１０７と、案内済判定部１０８と、案内動作部１１０と、音収集部１２１と、音声認識部１２２と、案内終了判断部１２３とを備える。

音出力部１０１は、定められた音を出力する。音出力部１０１は、例えば、自ロボットが案内を行っていない場合に、一定時間が経過すると、自ロボットに回転の動き及び首振りの動きのいずれか一方又は両方をさせつつ、案内を呼びかける音声（「駅構内の案内はいかがですか」など）を出力する。音出力部１０１は、音を出力する前に、音を出力する旨を撮影部１０３に通知する。

光出力部１０２は、定められた光を出力する。光出力部１０２は、例えば、自ロボットが案内を行っていない場合に、一定時間が経過すると、自ロボットに回転の動き及び首振りの動きのいずれか一方又は両方をさせつつ、ＬＥＤを一定の回数だけ点滅させる。光出力部１０２は、光を出力する前に、光を出力する旨を撮影部１０３に通知する。音出力部１０１による音の出力及び光出力部１０２による光の出力は、自ロボットの存在を周囲の人物に気付いてもらうために行われる。撮影部１０３は、自ロボットの周辺の光景を継続して撮影する。撮影部１０３は、本実施例では、自ロボットの正面方向Ａ１側の定められた範囲（撮影範囲）の光景を撮影する。

図４は撮影範囲の一例を表す。図４では、鉛直上方から見た頭部２が表されている。Ｉ／Ｆ部６には、撮影装置１５が備えるレンズ１５１が設けられている。撮影部１０３は、レンズ１５１から正面方向Ａ１を中心とした画角θ１の範囲を撮影範囲として撮影する。なお、画角の境界に沿った方向のうち、レンズ１５１から見て右側を右境界方向Ａ２といい、左側を左境界方向Ａ３というものとする。撮影部１０３は、例えば決められた時間間隔で継続して撮影を行い、撮影する度に、撮影した光景を示す画像を人物画像認識部１０４に供給する。

人物画像認識部１０４は、撮影部１０３により撮影された画像に含まれる人物の画像情報を認識する。人物の画像情報には、例えば、人物を表す各画素の座標情報と、各画素の色情報及び輝度情報とが含まれる。人物画像認識部１０４は、例えば周知の画像認識技術を用いて、供給された画像から特徴量（ＳＩＦＴ（Scale-Invariant Feature Transform）特徴量及びＨＯＧ（Histograms of Oriented Gradients）特徴量等）を算出し、汎用的な人物のパターン画像の特徴量と比較して、一致したものを人物として認識する。

図５は撮影された画像の一例を表す。図５に表す画像Ｇ１には、人物Ｃ１１～Ｃ１８までの８人の人物が写っている。人物画像認識部１０４は、これら８人の人物の画像情報を認識すると、各人物を識別する識別子として人物ＩＤ（Identification）を発行し、発行した人物ＩＤと共に認識した画像情報を向き関係特定部１０５及び距離特定部１０６に供給する。以降の各機能では、各人物に関する情報がこの人物ＩＤによって誰の情報であるか識別されるものとする。

撮影部１０３による撮影は継続して行われるため、人物画像認識部１０４も、人物の画像情報の認識を継続して行う。その際、人物画像認識部１０４は、時間的に連続して撮影された２つの画像の両方から、算出した特徴量の類似度が閾値以上の人物を認識した場合、その人物は同一人物だとみなして、新たな人物ＩＤは発行せず、発行済みの人物ＩＤを再度用いる。こうして同一人物を別人と認識することを防止している。

向き関係特定部１０５は、人物画像認識部１０４により認識された人物の画像情報に基づいてその人物と自己（案内ロボット１）との向きの関係を特定する。以下ではこの関係を「向き関係」という。向き関係特定部１０５は、本実施例では、視線を検知する周知の技術（例えば基準点（例えば目頭）と動点（例えば虹彩）の位置関係に基づいて視線を検知する技術）を用いて、人物の画像からその人物の視線を検知して、検知した視線の方向をその人物の向きとして特定する。

向き関係特定部１０５は、特定した人物の向きを、例えば鉛直方向をＺ軸、正面方向Ａ１をＹ軸、それらのＹ軸及びＺ軸に直交するＸ軸により定められる３次元座標系の方向ベクトルで表す。
図６は３次元座標系で表された人物の向きの一例を表す。図６では、鉛直上方から見た案内ロボット１及び図５に表す人物Ｃ１１～Ｃ１８と、特定された各人物の向きＤ１１～Ｄ１８とが表されている。本実施例では、人物の向きＤ１１～Ｄ１８は、いずれも水平方向に沿った所定の長さのベクトルであるものとする。

また、向き関係特定部１０５は、画像上での人物の座標（例えば人物を表す全画素の重心の位置の座標）を算出し、算出した座標に基づいて、自ロボットから見てその人物がいる方向（以下「人物方向」という）を特定する。向き関係特定部１０５は、本実施例では、図５に表すように、画像の左上を原点として、右方向をＸ軸正方向、下向きをＹ軸正方向とする座標系における座標を人物の座標として算出する。

向き関係特定部１０５は、例えば人物の座標が画像のＸ軸方向における中心の座標であれば、正面方向Ａ１をその人物についての人物方向として特定する。また、向き関係特定部１０５は、人物の座標が画像のＸ軸方向における右端の座標であれば、図４に表した右境界方向Ａ２をその人物についての人物方向として特定し、人物の座標が画像のＸ軸方向における左端の座標であれば、図４に表した左境界方向Ａ３をその人物についての人物方向として特定する。

また、向き関係特定部１０５は、右境界方向Ａ２及び正面方向Ａ１の間と、正面方向Ａ１及び左境界方向Ａ３の間の人物方向については、例えば人物の重心のＸ座標の値と人物方向とを対応付けた方向テーブルを記憶しておき、算出した人物のＸ座標に対応付けられた人物方向を、その人物についての人物方向として特定する。各人物方向は、例えば正面方向Ａ１に対して成す角度で表される。

図７は特定された人物方向の一例を表す。向き関係特定部１０５は、図７の例では、人物Ｃ１１～Ｃ１８の人物方向として、人物方向Ｅ１１～Ｅ１８を特定している。向き関係特定部１０５は、以上のとおり特定した人物の向き及び人物方向に基づいて、次の２通りの向き関係を特定する。向き関係特定部１０５は、人物の向きとその人物から自己（案内ロボット１）に向かう方向との乖離度を、第１の向き関係として特定する。ここでいう「乖離度」とは、２つの方向（向きを含む）が乖離している度合いを意味する。本実施例では、乖離度は、２つの方向が成す角度の大きさによって表される。

図７に表す人物方向の反対向きの方向は、各人物から案内ロボット１に向かう方向を表している。そこで、向き関係特定部１０５は、或る人物について特定した人物の向きと人物方向とが成す角度（本実施例における乖離度）を、第１の向き関係として特定する。
図８は特定された第１の向き関係の例を表す。向き関係特定部１０５は、人物Ｃ１１については、図８（ａ）に表すように、図６に表す人物の向きＤ１１と図７に表す人物方向Ｅ１１とが成す角度θ１１ｄを第１の向き関係として特定する。

また、向き関係特定部１０５は、人物Ｃ１２については、図８（ｂ）に表すように、図６に表す人物の向きＤ１２と図７に表す人物方向Ｅ１２とが成す角度θ１２ｄを第１の向き関係として特定する。向き関係特定部１０５は、人物Ｃ１３～Ｃ１８についても同様に第１の向き関係を特定する。

また、向き関係特定部１０５は、自己（案内ロボット１）の向きと自己からその人物に向かう方向との乖離度を、第２の向き関係として特定する。図７に表す人物方向は、案内ロボット１から人物に向かう方向を表している。そこで、向き関係特定部１０５は、或る人物について特定した人物方向と正面方向Ａ１とが成す角度（すなわち乖離度）を、第２の向き関係として特定する。

図９は特定された第２の向き関係の例を表す。向き関係特定部１０５は、人物Ｃ１１については、図９（ａ）に表すように、図７に表す人物方向Ｅ１１と正面方向Ａ１とが成す角度θ１１ｅを第２の向き関係として特定する。また、向き関係特定部１０５は、人物Ｃ１２については、図９（ｂ）に表すように、図７に表す人物方向Ｅ１２と正面方向Ａ１とが成す角度θ１２ｅを第２の向き関係として特定する。

向き関係特定部１０５は、人物Ｃ１３～Ｃ１８についても同様に第２の向き関係を特定する。向き関係特定部１０５は、各人物について特定した第１及び第２の向き関係を案内相手決定部１０７に供給する。また、向き関係特定部１０５は、特定した人物方向を距離特定部１０６にも供給する。距離特定部１０６は、撮影された画像から認識された人物と自ロボットとの距離（以下「人物距離」という）を特定する。

距離特定部１０６は、本実施例では、距離センサ１６の超音波を供給された人物方向に向けて発信させた場合に距離センサ１６が検出した距離を、その人物方向にいる人物の人物距離として特定する。
図１０は特定された人物距離の一例を表す。距離特定部１０６は、人物Ｃ１１～Ｃ１８について、それぞれ人物距離Ｆ１１～Ｆ１８を特定している。距離特定部１０６は、特定した人物距離を案内相手決定部１０７に供給する。

案内相手決定部１０７は、向き関係特定部１０５により特定された向き関係（詳細には第１の向き関係及び第２の向き関係）と、距離特定部１０６により特定された人物距離とに基づいて、その向き関係及び人物距離が特定された人物を案内相手（情報発信の相手又は道案内の相手）とするか否かを決定する。第１の向き関係、第２の向き関係及び人物距離は、案内ロボット１に対する各人物の位置及び向きの相対的な関係を示す情報であり、以下では「相関情報」ともいう。

案内相手決定部１０７は、詳細には、供給された各相関情報（第１の向き関係、第２の向き関係及び人物距離）が示す各値に対応するポイントを付与し、その合計値に基づいて決定を行う。案内相手決定部１０７は、各相関情報の値の範囲とポイントとを対応付けたポイントテーブルを用いる。

図１１はポイントテーブルの一例を表す。図１１の例では、第１の向き関係については、「Ｔｈ１１未満」、「Ｔｈ１１以上Ｔｈ１２未満」、「Ｔｈ１２以上」という値の範囲に「１０」、「６」、「３」というポイントが対応付けられている。また、第２の向き関係については、「Ｔｈ２１未満」、「Ｔｈ２１以上Ｔｈ２２未満」、「Ｔｈ２２以上」という値の範囲に「７」、「４」、「２」というポイントが対応付けられ、人物距離については、「Ｔｈ３１未満」、「Ｔｈ３１以上Ｔｈ３２未満」、「Ｔｈ３２以上」という値の範囲に「３」、「２」、「１」というポイントが対応付けられている。

案内相手決定部１０７は、各人物の各相関情報が供給されると、供給された各相関情報にポイントテーブルで対応付けられているポイントを読み出して合計する。図１１の例では、各人物について最小６ポイントから最大２０ポイントが合計値として算出される。案内相手決定部１０７は、算出した合計値が例えば閾値Ｔｈ４０以上の人物を、案内相手の候補として抽出する。

案内相手決定部１０７は、抽出した候補の合計値に対して補正（詳しくは後ほど説明する）を行った後に、補正後の合計値が最大の人物を、案内相手として決定する。案内相手決定部１０７は、案内相手として決定した人物の人物ＩＤを案内済判定部１０８に供給する。また、前述した人物画像認識部１０４も、案内済判定部１０８に、画像情報を認識した人物の特徴量及び人物ＩＤを供給する。

案内済判定部１０８は、人物画像認識部１０４によって新たに認識された人物が過去に案内相手とされた人物であるか否か、つまりその人物に対して案内済みであるか否かを判定する。案内済判定部１０８は、案内相手決定部１０７から供給されたのと同じ人物ＩＤと共に供給された特徴量（ＳＩＦＴ特徴量等）を、案内済みの人物の特徴量として記憶する。

この特徴量は、発信相手とした人物の画像上での特徴を示す情報であり、人物画像認識部１０４によって画像から取得された情報である。特徴量は、本発明の「特徴情報」の一例である。人物画像認識部１０４によって新たに人物の画像情報が認識されると、案内済判定部１０８には、その人物の特徴量が新たに供給される。

その際、案内済判定部１０８は、人物画像認識部１０４によって過去に取得された特徴量に基づき、この新たに認識された人物が過去に案内相手とされた人物であるか否かを判定する。なお、案内済判定部１０８は、記憶した特徴量を、定められた期間（例えば数時間）が経過した場合、定められた時刻（例えば０時）になった場合又は案内ロボット１の電源の切断が行われた場合等に削除する。これにより、例えば何日も前に案内相手とされた人物が案内済みと判定されないようになっている。

人物画像認識部１０４は、人物の同異に関係なく人物ＩＤを発行するので、例えば図５に表す人物Ｃ１１の特徴量が過去に記憶されていたとしても、その特徴量に対応付けられている人物ＩＤは、人物Ｃ１１について新たに取得された特徴量に対応する人物ＩＤとは異なっている。そこで、案内済判定部１０８は、記憶している特徴量のうち、新たに供給された特徴量との類似度が閾値以上となるものがあった場合に、それらの特徴量は同一人物の特徴量であり、すなわち、新たに供給された特徴量が取得された人物は案内済みの人物であると判定する。

案内済判定部１０８は、反対に、類似度が閾値以上となる特徴量がなかった場合には、新たに供給された特徴量が取得された人物は案内済みの人物ではないと判定する。案内済判定部１０８は、その判定結果を案内相手決定部１０７に通知する。案内相手決定部１０７は、新たに認識された人物についての案内済判定部１０８による判定の結果に基づいて、その人物を案内相手とするか否か決定する。

案内相手決定部１０７は、具体的には、案内済みと判定された人物が候補として抽出された場合は、その人物のポイントの合計値を減らす補正（例えば０．５倍する補正）を行う。そして、案内相手決定部１０７は、上記のとおり補正後の合計値が最大の人物を、案内相手として決定する。案内相手決定部１０７は、案内相手を決定すると、案内相手として決定した人物の人物ＩＤを案内動作部１１０に供給する。

案内動作部１１０は、案内相手決定部１０７により案内相手と決定された人物に対して案内動作を実行する。案内動作部１１０は、情報発信部１１１と、向き変更部１１２と、移動部１１３とを備える。情報発信部１１１は、案内相手に対して、音声、映像及び動きを用いて、各種の情報を発信する。情報発信部１１１は、例えば、「何かお困りですか？」又は「お手伝いできることはありますか？」等の声掛けを示す音声情報を発信する。

また、情報発信部１１１は、想定される質問（例えば電車の発車時刻、ホーム、券売機の場所及び駅構内の施設の有無等を尋ねる質問）への回答を予め記憶しておき、Ｉ／Ｆ部６への操作により指定された質問（質問の選択肢から選択された質問又は文字入力で示された質問）への回答を発信する。また、情報発信部１１１への質問は、音声によっても行われる。

音収集部１２１は、案内ロボット１の周囲で発生した音を収集する。音収集部１２１は、収集した音を示す音データを音声認識部１２２に供給する。音声認識部１２２は、音収集部１２１により収集された音から音声を認識する。音声認識部１２２は、認識した音声を示すテキスト情報を案内動作部１１０及び案内終了判断部１２３に供給する。情報発信部１１１は、供給されたテキスト情報が想定される質問を示していた場合、その質問への回答を発信する。

向き変更部１１２は、案内ロボット１の正面方向Ａ１の向き（つまりＩ／Ｆ部６の向き）を変更する。向き変更部１１２は、回転装置２０に頭部２及び胸部３を回転させることで、正面方向Ａ１の向きを変更する。例えば、案内動作部１１０には、向き関係特定部１０５から、特定された向き関係が供給される。向き変更部１１２は、供給された向き関係のうち、案内相手についての第２の向き関係（自己の向きと自己からその人物に向かう方向との乖離度）を小さくする方向に正面方向Ａ１の向きを変更する。

これにより、案内ロボット１は、案内相手に正面方向Ａ１を向けながら案内相手に対して案内動作を実行することができる。移動部１１３は、案内ロボット１を移動させる。移動部１１３は、走行装置１９のモータを回転させることで、目標とする位置に案内ロボット１を移動させる。例えば、案内動作部１１０には、距離特定部１０６から、特定された人物距離が供給される。

移動部１１３は、案内相手についての第２の向き関係を小さくしつつ、人物距離を小さくする方向に案内ロボット１を移動させる。これにより、案内ロボット１は、離れている案内相手まで近寄ってから案内動作を実行することができる。なお、移動部１１３は、案内相手が特定の場所までの案内を希望した場合に、その場所まで移動することで道案内を行うこともできる。

案内終了判断部１２３は、案内相手決定部１０７により案内相手として決定された人物への案内動作部１１０による案内動作（情報発信、向きの変更、移動）が開始された後、その案内動作を終了させるか否かの判断を行う。案内終了判断部１２３は、案内の終了を判断するために定められた案内終了パラメータを用いてその判断を行う。案内終了判断部１２３は、例えば、音声認識部１２２により認識された音声という案内終了パラメータに基づき案内動作の終了を判断する。

案内終了判断部１２３は、例えば、案内動作の終了を指示する語句（「案内終了」、「終わり」及び「ありがとう」等）を記憶しておき、その語句が認識された場合に案内動作の終了を判断する。案内終了判断部１２３は、案内動作の終了を判断すると、案内動作を終了するよう案内動作部１１０に指示する。案内動作部１１０は、この指示を受け取ると、実行中の案内動作を終了する。これにより、案内相手が音声で案内動作を終了させることができる。

また、案内終了判断部１２３には、向き関係特定部１０５から、特定された向き関係が供給される。案内終了判断部１２３は、供給された向き関係のうち、案内相手の人物に関し新たに特定された向き関係という案内終了パラメータに基づき案内動作の終了を判断する。案内終了判断部１２３は、例えば、新たに特定された向き関係が示す値から図１１に表すポイントテーブルを用いて上記と同様にポイントの合計値を算出する。案内終了判断部１２３は、算出した合計値が閾値以下になった場合に、案内動作の終了を判断する。

案内相手は、案内ロボット１が発信する情報に関心を持っている間は、案内ロボット１に対して（Ｉ／Ｆ部６に対して）正対して発信される情報を見聞きするが、必要な情報を得たら、前述した案内動作の終了を指示する語句を発することなく他の方向を向いて案内ロボット１の前から立ち去る場合がある。その場合でも、向き関係に基づく案内動作の終了が判断されることで、案内相手の案内ロボット１への関心が失われたときに案内動作を終了することができる。

また、案内終了判断部１２３には、人物画像認識部１０４から、認識された人物の人物ＩＤが供給される。案内終了判断部１２３は、案内相手決定部１０７により案内相手として決定された人物の人物ＩＤが人物画像認識部１０４から供給されなくなった、すなわち、その人物の画像情報が認識されなくなった場合に、案内動作の終了を判断する。

案内終了判断部１２３は、例えば、新たに特定された向き関係が示す値から図１１に表すポイントテーブルを用いて上記と同様にポイントの合計値を算出する。案内終了判断部１２３は、算出した合計値が閾値以下になった場合に、案内動作の終了を判断する。これにより、案内相手が案内ロボット１の前からいなくなったときに案内動作を終了することができる。

図１２は制御装置１１の動作手順の一例を表す。この動作手順は、例えば案内ロボット１の電源が投入されることを契機に開始される。まず、制御装置１１（撮影部１０３）は、自ロボットの周辺の光景の継続的な撮影を開始する（ステップＳ１１）。次に、制御装置１１（音出力部１０１又は光出力部１０２）は、音又は光の出力処理を行う（ステップＳ１２）。

続いて、制御装置１１（人物画像認識部１０４）は、撮影された画像に含まれる人物の画像情報を認識する（ステップＳ１３）。次に、制御装置１１（向き関係特定部１０５及び距離特定部１０６）は、認識された人物の画像情報に基づいてその人物と自己（案内ロボット１）との向きの関係及びその人物と自己との距離（人物距離）を特定する（ステップＳ１４）。

続いて、制御装置１１（案内相手決定部１０７）は、特定された向き関係及び人物距離に基づいてポイントの合計値を算出し（ステップＳ１５）、合計値が閾値以上の人物が抽出されたか否かを判断する（ステップＳ１６）。制御装置１１（案内相手決定部１０７）は、合計値が閾値以上の人物が抽出されなかった（ＮＯ）と判断した場合は、ステップＳ１２（出力処理）に戻って動作を行う。

制御装置１１（案内相手決定部１０７及び案内済判定部１０８）は、合計値が閾値以上の人物が抽出された（ＹＥＳ）と判断した場合は、抽出した人物の中に案内済みの人物がいればその人物の合計値を補正する（ステップＳ１７）。そして、制御装置１１（案内相手決定部１０７）は、合計値が最大の人物を案内相手として決定する（ステップＳ１８）。制御装置１１（案内動作部１１０）は、案内相手と決定された人物に対して案内動作を実行する（ステップＳ２１）。

次に、制御装置１１（案内終了判断部１２３）は、案内終了パラメータ（認識された音声又は新たに特定された向き関係）を取得する（ステップＳ２２）。続いて、制御装置１１（案内終了判断部１２３）は、案内終了パラメータによる案内終了条件が満たされたか否かを判断し（ステップＳ２３）、案内終了条件が満たされていない（ＮＯ）と判断した場合はステップＳ２１に戻って案内動作を行う。

制御装置１１（案内終了判断部１２３）は、案内終了条件が満たされた（ＹＥＳ）と判断した場合は、案内動作を終了する（ステップＳ２４）。そして、制御装置１１（案内済判定部１０８）は、案内相手として決定された人物の特徴量を記憶して（ステップＳ２５）、この動作手順を終了する。

例えば駅の構内で電車のダイヤや施設などについて案内を望む人物の場合、案内ロボット１に気付いたら、案内ロボット１に関心を示し、例えば案内してもらえるかどうかを判断するため案内ロボット１の方を向くことになりやすい。一方、そのような案内を特に望んでいない人物の場合、案内ロボット１に気付いても、案内ロボット１には関心がないので、案内ロボット１の方を向くことはなく自分の移動方向や探している施設の方向などを向くことになりやすい。

本実施例では、上述した第１の向き関係（人物の向きとその人物から案内ロボット１に向かう方向との乖離度）に基づいて案内相手が決定される。人物が案内ロボット１の方を向くとこの乖離度が小さくなるので、第１の向き関係を用いることで、案内ロボット１に関心を示している人物を案内相手（情報発信の相手でもある）として決定することができる。

また、前述したように案内ロボット１に案内してもらえるかどうかを判断する場合、Ｉ／Ｆ部６がよく見えるように案内ロボット１の正面に移動することになりやすい。本実施例では、上述した第２の向き関係（案内ロボット１の向きと案内ロボット１からその人物に向かう方向との乖離度）に基づいて案内相手が決定されることで、そのように案内ロボット１を正面から見ようとしている人物を案内相手として決定することができる。

以上のとおり、本実施例では、第１の向き関係及び第２の向き関係を用いることで、向き関係に関係なく案内相手の可否を決定する場合に比べて、案内（情報発信を含む）を望んでいる可能性がより高い人物を案内相手（情報発信の相手）として決定することができる。また、案内を望む人物は、案内ロボット１の方に近づいてくるので、案内を望まない人物に比べて人物距離も短くなりやすい。

本実施例では、人物距離にも基づいて案内相手が決定されるので、案内ロボット１に近づいてくる人物（他の人物に比べて案内を望む人物である可能性が高い人物）を他の人物に比べて案内相手として決定しやすくすることができる。また、本実施例では、案内済みの人物についてはポイントの合計値を減らす補正がなされた。これにより、まだ案内をされていない人物を案内済みの人物に比べて案内相手として決定しやすくすることができる。

［２］変形例
上述した実施例は本発明の実施の一例に過ぎず、以下のように変形させてもよい。また、実施例及び各変形例は必要に応じてそれぞれ組み合わせてもよい。

［２－１］出力処理の活用
音出力部１０１及び光出力部１０２による音及び光の出力を、案内相手の決定に活用してもよい。例えば、案内相手決定部１０７は、音出力部１０１による音の出力又は光出力部１０２による光の出力（少なくとも一方の出力。両方の出力であってもよい）の前後において人物画像認識部１０４により画像情報が認識された人物についての向き関係の変化に基づいてその人物を案内相手とするか否か決定する。

図１３は本変形例の制御装置１１の動作手順の一例を表す。以下では図１２の動作手順と異なる点を中心に説明する。まず、制御装置１１は、ステップＳ１１（撮影開始）、Ｓ１３（人物の画像情報の認識）、Ｓ１４（向き関係及び人物距離の特定）に相当する動作をステップＳ３１、Ｓ３２、Ｓ３３で行う。そして、制御装置１１（案内相手決定部１０７）は、特定された向き関係及び人物距離に基づくポイントの合計値を第１合計値として算出する（ステップＳ３４）。

次に、制御装置１１は、ステップＳ１２（出力処理）と同様に音又は光の出力処理を行う（ステップＳ４１）。続いて、制御装置１１は、Ｓ１３（人物の画像情報の認識）、Ｓ１４（向き関係及び人物距離の特定）に相当する動作をステップＳ４２、Ｓ４３で行う。そして、制御装置１１（案内相手決定部１０７）は、特定された向き関係及び人物距離に基づくポイントの合計値を第２合計値として算出する（ステップＳ４４）。

制御装置１１は、ステップＳ４２の人物の画像情報の認識を、ステップＳ４１の出力処理から一定の時間以上経過してから行う。一定の時間としては、出力された音又は光に気付いた人物が向きを変えたり位置を変えたりすることができる時間（例えば１～２秒程度）が定められる。次に、制御装置１１（案内相手決定部１０７）は、算出した第２合計値に、第１合計値及び第２合計値の差分を合算する（ステップＳ５１）。

制御装置１１は、詳細には、第２合計値から第１合計値を減じた値を差分として、第２合計値に合算する。つまり、第１合計値よりも第２合計値の方が大きければ、合算値は第２合計値よりも大きくなるし、第１合計値よりも第２合計値の方が小さければ、合算値は第２合計値よりも小さくなる以降、制御装置１１は、図１２のステップＳ１６（人物の抽出）、Ｓ１７（合計値補正）、Ｓ１８（案内相手の決定）を、合計値を合算値に変えた動作をステップＳ５２、Ｓ５３、Ｓ５４で行う。

案内相手は、案内ロボット１の存在に気付いている人物から決定するのが望ましい。例えば、案内ロボット１の存在に気付いていない第１の人物がたまたま案内ロボット１の正面方向にいて且つ案内ロボット１の方を向いていたとする。その場合、案内ロボット１の存在に気付いた第２の人物が案内をしてもらうため案内ロボット１に近づこうとしているが正面方向から遠い場所にいた場合、その第２の人物は第２の向き関係によるポイントが小さいので、案内相手として決定されないことになる。

本変形例では、出力された音又は光に気付いて案内ロボット１の方を向いたり案内ロボット１の正面に移動したりした人物は差分が大きくなって合算値が大きくなる。そのため、第２の人物が音又は光に気付いて案内ロボット１の方を振り向く動作を行えば、第１の人物よりも合算値が大きくなって案内相手として決定されることが起こり易くなる。このように、本変形例では、案内ロボット１が出力した音又は光に気付いた人物、すなわち案内ロボット１に気付いた人物を案内相手として決定することができる。

言い換えると、音又は光の出力の前後の変化を用いない場合に比べて、案内ロボット１に気付いていない人物が案内相手として決定されにくいようにすることができる。なお、案内相手決定部１０７は、音又は光の出力の前後において画像情報が認識された人物についての人物距離の変化に基づいてその人物を案内相手とするか否か決定してもよい。案内を望む人物が音又は光に気付けば、案内ロボット１の方に近づいてくることになりやすいから、この場合も、案内ロボット１が出力した音又は光に気付いた人物がこれに気付いていない人物に比べて案内相手として決定されやすくなる。

［２－２］音及び光の変化
音出力部１０１が出力する音及び光出力部１０２が出力する光を変化させてもよい。例えば、音出力部１０１は、マイクロフォンが収集する音が大きいほど、出力する音の音量を大きくして出力する。これにより、音量が一律の場合に比べて、周りがうるさい環境では出力された音が周囲の人物に聞こえやすくすることができ、周りが静かな環境では出力された音がうるさく聞こえないようにすることができる。

また、音出力部１０１は、現在時刻に応じた音声を出力する。音出力部１０１は、例えば朝なら「お早うございます」、昼なら「こんにちは」、夜なら「こんばんは」というように挨拶の言葉を変化させたり、通勤時間なら「いってらっしゃい」と言ったりする。これにより、案内ロボットが時刻を認識していることを音声の聞き手に知ってもらうことができる。

また、案内ロボットが明るさの度合い（例えば照度）を検出するセンサを備えている場合に、光出力部１０２は、検出された明るさの度合いが大きい（明るい）ほど、出力する光を強くする。これにより、周囲が明るい環境でも、案内ロボット１の存在に気付いてもらいやすくなる。

また、人物画像認識部１０４により人物画像が認識された人物の数が多いほど、音出力部１０１が出力する音を大きくし、光出力部１０２が出力する光を強くしてもよい。これにより、これにより、周囲に人が多くいる環境でも、案内ロボット１の存在に気付いてもらいやすくなる。

［２－３］動き及び移動
案内ロボット１は、実施例では、自ロボットの存在を周囲の人物に気付いてもらうために音及び光を出力したが、それに代えて又はそれに加えて、向き変更部１１２による向きの変更及び移動部１１３による移動を行ってもよい。例えば、向き変更部１１２が左右に向きを変更させることで案内ロボット１が左右に頭を振るような動作を行ったり、移動部１１３が円を描くように案内ロボット１を移動させたりしてもよい。

その場合に、人物画像認識部１０４により人物画像が認識された人物の数が多いほど、動作を大袈裟にしてもよい。具体的には、動作を大きくしたり、動作を早くしたり、動作の回数を増やしたりしてもよい。これにより、周囲に人が多くいる環境でも、案内ロボット１の存在に気付いてもらいやすくなる。

［２－４］画像に写っている時間
撮影部１０３により撮影された画像に写っている時間の長さを案内相手の決定に活用してもよい。この場合、案内相手決定部１０７は、人物が撮影部１０３により撮影された画像に写っている時間に基づいてその人物を案内相手とするか否か決定する。この時間は、被写体である人物への撮影が継続された時間を表すので、以下では「撮影継続時間」という。

本変形例では、人物画像認識部１０４が、画像情報を認識する度に、認識した人物の人物ＩＤを案内相手決定部１０７に供給する。案内相手決定部１０７は、同じ人物ＩＤが継続して供給されている時間を、その人物ＩＤが発行された人物の撮影継続時間として判断する。案内相手決定部１０７は、例えば、ポイントの合計値を、撮影継続時間に応じた係数を乗じて補正する。この補正は、例えば撮影継続時間と係数とを対応付けた係数テーブルを用いて行われる。

図１４は係数テーブルの一例を表す。図１４の例では、「Ｔｈ５１未満」、「Ｔｈ５１以上Ｔｈ５２未満」、「Ｔｈ５２以上」という撮影継続時間の範囲に「０．７」、「１．０」、「１．３」という係数が対応付けられている。案内相手決定部１０７は、図１２のステップＳ１５において、人物のポイントの合計値を算出する際に、その人物の撮影継続時間に係数テーブルで対応付けられた係数を合計値に乗じた値を、その人物のポイントの合計値として算出する。

案内ロボット１の撮影範囲は、図６に表すように、案内ロボット１から離れるほど、広い範囲になる。そのため、案内ロボット１から見て同じ方向にいる人物でも、人物距離が短い人物はすぐに正面方向Ａ１に移動できるが、人物距離が長くなるほど、正面方向Ａ１に移動する際の距離も長くなる。そのため、人物が案内ロボット１から離れているほど、人物距離によるポイントが小さくなることはもちろん、第２の向き関係によるポイントも小さくなりやすいから、案内相手として決定されにくい。

一方で、人物距離が長くなるほど、撮影範囲が広くなるから、撮影継続時間は長くなりやすい。本変形例では、上記のとおり撮影継続時間が長いほどポイントの合計値を大きくする補正を行っているので、撮影継続時間を用いない場合に比べて、案内ロボット１から離れた人物でも案内相手として決定されやすいようにすることができる。

［２－５］乖離度
実施例では、乖離度は、２つの方向が成す角度の大きさによって表されたが、これに限らない。例えば２つの方向が乖離する度合いを表す「大」、「中」、「小」等の３段階の指標によって表されてもよいし、２段階又は４段階以上の指標によって表されてもよい。それらの場合、図１１に表す値の範囲を指標に置き換えることで、ポイントの合計値が算出されて、案内相手が決定される。

［２－６］相関情報
案内相手決定部１０７は、実施例では、３つの相関情報（第１の向き関係、第２の向き関係及び人物距離）を全て用いて案内相手を決定したが、これに限らず、例えば画像情報が認識された人物が少ない場合や混雑しないと予め分かっている時間帯などは、第１の向き関係だけを用いてもよいし、第２の向き関係だけを用いてもよい。少なくとも、案内相手決定部１０７は、少なくとも１つの向き関係を用いて案内相手を決定すればよい。そうすることで、実施例と同様に、向き関係に関係なく案内相手の可否を決定する場合に比べて、案内を望んでいる可能性がより高い人物を案内相手として決定することができる。

［２－７］案内動作
案内動作部１１０は、実施例とは異なる案内動作を行ってもよい。例えば、案内動作部１１０は、情報発信の際に、音声、映像及び動きのうちの１つ又は２つだけを用いてもよいし、向きの変更及び移動は行わなくてもよい。ただし、案内動作部１１０は、少なくとも何らかの情報を発信する動作を行うことが望ましい。その場合、案内相手決定部１０７は、人物の向き関係及び人物距離に基づいて、その人物を情報発信の相手とするか否かを決定する。

［２－８］案内ロボットの動作
案内ロボットは、実施例では、回転の動作と首振りの動作の両方を行ったが、これに限らない。例えば、案内ロボットは、座部５が移動せずに設置場所に固定される位置固定型であってもよい。その場合は頭部２及び胸部３による首振りの動きだけが行われる。また、案内ロボットは、頭部２及び胸部３が回転せずに固定されている向き固定型であってもよい。その場合は座部５による回転の動きだけが行われる。また、案内ロボットは、首振りの動きも回転の動きも行わない完全固定型であってもよい。いずれの場合も、案内ロボットの正面方向が周囲の人物から認識可能になっていて向き関係が特定できるようになっていればよい。

［２－９］発明の適用対象
本発明の適用対象は、案内ロボットに限らない。例えば、券売機、キオスク端末及びＡＴＭ（Automatic Teller Machine）等に適用されてもよい。これらの装置は、移動及び動作による案内は行わないが、自装置を利用する人物に対して情報発信（使い方の説明など）を行う。

また、これらの装置の場合、例えば装置が有する画面の法線の水平方向成分が正面方向として認識される。このように、いずれの場合も、装置の正面方向が周囲の人物から認識可能になっていて向き関係が特定できるようになっていればよい。いずれの装置（案内ロボットを含む）も、撮影された画像を画像処理して人物の画像情報を認識し、情報発信の相手を決定する本発明の「画像処理装置」の一例である。

１…案内ロボット、２…頭部、３…胸部、４…腹部、５…座部、６…Ｉ／Ｆ部、１１…制御装置、１２…記憶装置、１３…通信装置、１４…操作表示装置、１５…撮影装置、１６…距離センサ、１７…音処理装置、１８…発光装置、１９…走行装置、２０…回転装置、１０１…音出力部、１０２…光出力部、１０３…撮影部、１０４…人物画像認識部、１０５…向き関係特定部、１０６…距離特定部、１０７…案内相手決定部、１０８…案内済判定部、１１０…案内動作部、１１１…情報発信部、１１２…向き変更部、１１３…移動部、１２１…音収集部、１２２…音声認識部、１２３…案内終了判断部。

Claims (7)

1. 撮影した画像に含まれる人物の画像情報を認識し、認識した前記人物の画像情報に基づいて前記人物と自己との距離を人物距離として特定し、前記人物の向きと前記人物から自己に向かう方向との乖離度を第１の向き関係として特定し、自己の向きと自己から前記人物に向かう方向との乖離度を第２の向き関係として特定し、前記人物距離、前記第１の向き関係、及び前記第２の向き関係の値の範囲にそれぞれ対応付けられたポイントの合計値に基づいて前記人物を情報の発信相手とするか否かを決定する画像処理装置。
2. 自己は回転の動き又は首振りの動きが可能であり、前記撮影を継続して行い、前記動きをしつつ音及び光の少なくとも一方を出力し、当該出力の前後における前記画像から前記画像情報を認識した前記人物についての前記向きの関係の変化に基づいて前記人物を情報の発信相手とするか否か決定する
   請求項１に記載の画像処理装置。
3. 発信相手とした人物の特徴情報を前記画像から取得し、過去に取得した特徴情報に基づき、新たに認識した人物が過去に発信相手とした人物であるか否かを判定し、当該判定の結果に基づいて当該人物を情報の発信相手とするか否か決定する
   請求項１又は２に記載の画像処理装置。
4. 前記撮影を継続して行い、前記人物が前記画像に写っている時間に基づいて前記人物を情報の発信相手とするか否か決定する
   請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記撮影を継続して行い、前記発信相手として決定した人物に前記情報の発信を開始した後、当該人物に関し新たに特定した前記向きの関係に基づき前記情報の発信を終了する
   請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記撮影を継続して行い、前記発信相手として決定した人物に前記情報の発信を開始した後、当該人物の画像情報が認識されなくなった場合に前記情報の発信を終了する
   請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記発信相手として決定した人物に前記情報の発信を開始した後、収集した音から音声を認識し、認識した音声に基づき前記情報の発信を終了する
   請求項１から６のいずれか１項に記載の画像処理装置。

Images