JP6850740B2 - 情報出力装置、方法およびプログラム - Google Patents
情報出力装置、方法およびプログラム Download PDFInfo
- Publication number
- JP6850740B2 JP6850740B2 JP2018011940A JP2018011940A JP6850740B2 JP 6850740 B2 JP6850740 B2 JP 6850740B2 JP 2018011940 A JP2018011940 A JP 2018011940A JP 2018011940 A JP2018011940 A JP 2018011940A JP 6850740 B2 JP6850740 B2 JP 6850740B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- passerby
- output device
- output
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 129
- 230000008569 process Effects 0.000 claims description 116
- 238000005259 measurement Methods 0.000 claims description 36
- 230000006870 function Effects 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 53
- 238000010586 diagram Methods 0.000 description 16
- 230000000694 effects Effects 0.000 description 8
- 241000287107 Passer Species 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006698 induction Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Description
前記出力制御部は、前記複数の通行者の各々に対する前記注視判定部および前記近接判定部における判定結果に基づいて、前記複数の通行者の各々に対して前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも1つを出力することによる呼び掛けの成功率を推定する推定部と、前記推定された呼び掛けの成功率が最も高い通行者を、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも1つの出力対象候補となる通行者として選択する対象選択部とを備え、前記出力制御部は、前記選択された通行者に対する前記注視判定部および前記近接判定部における判定結果に基づいて、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも1つを出力するか否かを判定し、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも1つを出力すると判定された場合に、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも1つを出力させるようにしたものである。
さらに、この発明の第1の態様によれば、上記複数の通行者の各々に対する注視判定処理の判定結果と近接判定処理の判定結果とに基づいて、上記複数の通行者の各々に対して画像情報と音声情報と駆動制御情報とのうちの少なくとも1つを出力することによる呼び掛けの成功率が推定され、当該推定された呼び掛けの成功率が最も高い通行者が、画像情報と音声情報と駆動制御情報とのうちの少なくとも1つの出力対象候補となる通行者として選択される。当該選択された通行者に対する注視判定処理の判定結果と近接判定処理の判定結果とに基づいて、画像情報と音声情報と駆動制御情報とのうちの少なくとも1つを出力するか否かが判定され、画像情報と音声情報と駆動制御情報とのうちの少なくとも1つを出力すると判定された場合に、当該画像情報と音声情報と駆動制御情報とのうちの少なくとも1つが出力される。このように、呼び掛けの成功率が最も高いと知られている状態にある通行者を選択して、その状態に対応する情報を出力すれば、例えば、少なくとも予め保証されている成功率の確度で、選択された通行者を呼び止められる可能性があるという利点がある。
[第1の実施形態]
(構成)
図1は、この発明の第1の実施形態に係る、通行者の検出に応じて当該通行者に対して画像情報または音声情報を出力する情報出力装置1の一例を示す図である。
情報出力装置1は、ハードウェアとして、制御ユニット11と、記憶ユニット12と、入出力インタフェースユニット13とを備えている。
次に、以上のように構成された情報出力装置1の動作を説明する。
(1)計測データの具体例
先ず、情報出力装置1において取得される顔向きデータおよび距離データについて説明する。
図3に示されるように、情報出力装置1は距離測定センサ3から、距離データとして、時刻tと、Y軸を中心としてX軸の正の向きから通行者の中心座標の方向までの角度θpと、ディスプレイ4上の距離測定センサ3が設置されている位置と通行者の中心座標との間の距離Rpとを取得する。距離測定センサ3による距離データの計測は、定期的にまたは不定期に継続して実行される。
図4の(a)は、顔認識センサによって撮影可能な画角θcを図示している。図4の(b)は、顔認識センサ2によって撮影される、画像の幅の大きさWと、撮影画像の左上の点を基準とした顔検出枠の左上の座標(x,y)と、顔検出枠の幅の大きさwとを図示している。なお、当該大きさおよび座標は、例えばピクセル単位である。図4の(c)は、通行者の中心座標を通りY軸に平行な直線を中心として、上記X軸の正の向きから通行者の顔の正面方向までの角度θhを図示している。なお、θhは、通行者の顔がディスプレイ4と反対の側を向いている場合に正の値、通行者の顔がディスプレイ4側を向いている場合には負の値とする。
次に、情報出力装置1によって画像情報または音声情報を出力する各動作について説明する。
動作a2は、ディスプレイ4に、手招きをしながら誘導する人の画像情報を出力し、スピーカ5から、「こちらに来てください」という呼び掛けの言葉に対応する音声情報と、通行者の注意を引くための効果音に対応する音声情報とを出力する動作である。なお、効果音に対応する音声情報の音量は、例えば、呼び掛けの言葉に対応する上述した2種類の音声情報の音量よりも大きい。
動作a3は、ディスプレイ4に、待機する人の画像情報を出力する動作である。
以下では、情報出力装置1の動作を、図6、図7、および図8に示すフロー図を用いて、図9から図14に示すログテーブルの例を参照しながら説明する。
先ず、ステップS101において、制御ユニット11は、頭状態ログテーブルHと体状態ログテーブルBをそれぞれ初期化する。
先ず、ステップS201において、制御ユニット11は、対象別ログテーブル生成部113の制御の下、頭状態ログテーブルH記憶部121に記憶される頭状態ログテーブルHを読み出し、読み出された頭状態ログテーブルHにidH列を付与する。当該idH列の付与では、計測値t,m,x,y,w,θhの各パラメータセットに対して、同一の通行者のパラメータセットには同一のidH値が付与され、異なる通行者のパラメータセットには異なるidH値が付与される。
先ず、ステップS301において、制御ユニット11は、注視判定部114の制御の下、対象別ログテーブル記憶部123に記憶される1以上の対象別ログテーブルM1,M2,・・・を読み出し、読み出された1以上の対象別ログテーブルM1,M2,・・・に記憶される顔向きデータに基づいて、idM値に対応する通行者毎に、当該通行者の顔が情報出力装置1を含む所定の範囲を向いている時間が第1の時間以上であるか否かを判定する注視判定処理を実行する。また、制御ユニット11は、近接判定部115の制御の下、対象別ログテーブル記憶部123に記憶される1以上の対象別ログテーブルM1,M2,・・・を読み出し、読み出された1以上の対象別ログテーブルM1,M2,・・・に記憶される距離データに基づいて、idM値に対応する通行者毎に、情報出力装置1から所定の距離内に当該通行者が存在する時間が第2の時間以上であるか否かを判定する近接判定処理を実行する。
上述したように、通行者の状態は、注視判定処理と近接判定処理によって2種類の観点で判定される。すなわち、通行者の状態“sid”は、近接判定処理の判定結果“isNear(Mid)”と、注視判定処理の判定結果“isLooking(Mid)”とにより次式で表される。
上述したように、当該近接判定処理は、距離測定センサ3から取得され通行者別に対象別ログテーブルM1,M2,・・・のいずれかに記憶される距離データに基づいて、idM値に対応する通行者毎に、情報出力装置1から所定の距離内に当該通行者が存在する時間が第2の時間以上であるか否かを判定する処理である。
上述したように、当該注視判定処理は、顔認識センサ2から取得され通行者別に対象別ログテーブルM1,M2,・・・のいずれかに記憶される顔向きデータに基づいて、idM値に対応する通行者毎に、当該通行者の顔が情報出力装置1を含む所定の範囲を向いている時間が第1の時間以上であるか否かを判定する処理である。
図17は、図8のステップS302において実行される出力対象候補選択処理において参照される呼び掛け成功率テーブルの一例を示す図である。
図17に示されているように、呼び掛け成功率テーブルは、通行者に対する近接判定処理の判定結果“isNear(Mid)”と、当該通行者に対する注視判定処理の判定結果“isLooking(Mid)”と、当該近接判定処理の判定結果および当該注視判定処理の判定結果にある通行者に画像情報または音声情報を出力することによる呼びかけの成功率“P(sid)”とを対応付けて記憶している。
図18に示されているように、動作テーブルは、通行者に対する近接判定処理の判定結果“isNear(Mid)”と、当該通行者に対する注視判定処理の判定結果“isLooking(Mid)”と、当該近接判定処理の判定結果および当該注視判定処理の判定結果にある通行者に画像情報または音声情報を出力する動作aとを対応付けて記憶している。図18に示される動作テーブルに記憶される動作a1,a2,a3は、図5で定義した動作a1,a2,a3に一致している。
ここでは、図7のステップS201からステップS204において実行される、頭状態ログテーブルHと体状態ログテーブルBとを通行者情報を追加した上で組み合わせて、統合ログテーブルMを生成させる処理について詳しく説明する。
当該頭状態ログテーブルH´および体状態ログテーブルB´の生成処理は、図19に図示したトラッキング処理によって実行される。
以上詳述したように、この発明の第1の実施形態では、以下のような効果が奏せられる。
なお、この発明は上記第1の実施形態に限定されるものではない。例えば、上記第1の実施形態では、情報出力装置が画像情報または音声情報を出力する装置である例について説明した。しかしながら、情報出力装置は、対象物を駆動するための駆動制御情報または音声情報を出力する装置であってもよい。例えば、情報出力装置は、ヒト型のロボットであり、対象物としての左手部分の可動部を駆動するための駆動制御情報を出力し、それに応じて左手部分を回転させて通行者にジェスチャを提示することが可能な装置であってもよい。なお、上記対象物は複数あってもよく、駆動制御情報は、複数の対象物のうちの任意のものを駆動するための情報であってもよい。
動作a2は、左手部分の可動部を駆動させることにより、手招きをしながら誘導するジェスチャを実行し、スピーカから、「こちらに来てください」という呼び掛けの言葉に対応する音声情報と、通行者の注意を引くための効果音に対応する音声情報とを出力する動作である。なお、効果音に対応する音声情報の音量は、例えば、呼び掛けの言葉に対応する上述した2種類の音声情報の音量よりも大きい。
動作a3は、左手部分の可動部を駆動させずに情報出力装置を待機させる動作である。すなわち、駆動制御情報と音声情報のいずれも出力しない動作である。
Claims (5)
- 通行者の検知に応じて当該通行者に対して、画像情報と、音声情報と、対象物を駆動するための駆動制御情報とのうちの少なくとも1つを出力可能な情報出力装置であって、
顔認識センサから、複数の前記通行者の各々に係る顔向きデータを経時的に取得する顔向きデータ取得部と、
距離測定センサから、前記情報出力装置と前記複数の通行者の各々との間の距離データを経時的に取得する距離データ取得部と、
前記取得される顔向きデータに基づいて、前記複数の通行者の各々の顔に対して、当該通行者の顔が前記情報出力装置を含む所定の範囲を向いている時間が第1の時間以上であるか否かを判定する注視判定部と、
前記取得される距離データに基づいて、前記複数の通行者の各々に対して、当該通行者が前記情報出力装置から所定の距離内に存在する時間が第2の時間以上であるか否かを判定する近接判定部と、
前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも1つを出力させる出力制御部と
を備え、
前記出力制御部は、
前記複数の通行者の各々に対する前記注視判定部および前記近接判定部における判定結果に基づいて、前記複数の通行者の各々に対して前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも1つを出力することによる呼び掛けの成功率を推定する推定部と、
前記推定された呼び掛けの成功率が最も高い通行者を、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも1つの出力対象候補となる通行者として選択する対象選択部と
を備え、
前記出力制御部は、前記選択された通行者に対する前記注視判定部および前記近接判定部における判定結果に基づいて、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも1つを出力するか否かを判定し、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも1つを出力すると判定された場合に、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも1つを出力させる、
情報出力装置。 - 前記出力制御部は、前記選択された通行者の顔が前記情報出力装置を含む所定の範囲を向いている時間が前記第1の時間以上であると判定され、かつ、前記情報出力装置から所定の距離内に前記選択された通行者が存在する時間が前記第2の時間未満であると判定された場合に、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも1つを出力すると判定する、請求項1に記載の情報出力装置。
- 前記出力制御部は、前記情報出力装置から所定の距離内に前記選択された通行者が存在する時間が前記第2の時間未満であると判定される場合には、前記音声情報として、予め設定された第1の音量の音声情報を出力させ、前記情報出力装置から所定の距離内に前記選択された通行者が存在する時間が前記第2の時間以上であると判定される場合には、前記音声情報として、前記第1の音量より小さい第2の音量の音声情報を出力させる、請求項1又は2に記載の情報出力装置。
- ハードウェアプロセッサおよびメモリを備え、通行者の検知に応じて当該通行者に対して、画像情報と、音声情報と、対象物を駆動するための駆動制御情報とのうちの少なくとも1つを出力可能な装置が実行する情報出力方法であって、
顔認識センサから、複数の前記通行者の各々に係る顔向きデータを経時的に取得する過程と、
距離測定センサから、前記装置と前記複数の通行者の各々との間の距離データを経時的に取得する過程と、
前記取得される顔向きデータに基づいて、前記複数の通行者の各々の顔に対して、当該通行者の顔が前記装置を含む所定の範囲を向いている時間が第1の時間以上であるか否かを判定する注視判定過程と、
前記取得される距離データに基づいて、前記複数の通行者の各々に対して、当該通行者が前記装置から所定の距離内に存在する時間が第2の時間以上であるか否かを判定する近接判定過程と、
前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも1つを出力させる過程と
を備え、
前記出力させる過程は、
前記複数の通行者の各々に対する前記注視判定過程および前記近接判定過程における判定結果に基づいて、前記複数の通行者の各々に対して前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも1つを出力することによる呼び掛けの成功率を推定する過程と、
前記推定された呼び掛けの成功率が最も高い通行者を、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも1つの出力対象候補となる通行者として選択する過程と
を備え、
前記出力させる過程は、前記選択された通行者に対する前記注視判定過程および前記近接判定過程における判定結果に基づいて、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも1つを出力するか否かを判定し、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも1つを出力すると判定された場合に、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも1つを出力させる、
情報出力方法。 - 請求項1乃至3のいずれかに記載の情報出力装置が備える各部としてハードウェアプロセッサを機能させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018011940A JP6850740B2 (ja) | 2018-01-26 | 2018-01-26 | 情報出力装置、方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018011940A JP6850740B2 (ja) | 2018-01-26 | 2018-01-26 | 情報出力装置、方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019128910A JP2019128910A (ja) | 2019-08-01 |
JP6850740B2 true JP6850740B2 (ja) | 2021-03-31 |
Family
ID=67472297
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018011940A Active JP6850740B2 (ja) | 2018-01-26 | 2018-01-26 | 情報出力装置、方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6850740B2 (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4859876B2 (ja) * | 2008-05-15 | 2012-01-25 | 日本電信電話株式会社 | 情報処理装置 |
JP2010112979A (ja) * | 2008-11-04 | 2010-05-20 | Advanced Telecommunication Research Institute International | インタラクティブ看板システム |
JP5674300B2 (ja) * | 2009-09-30 | 2015-02-25 | 一般財団法人Nhkサービスセンター | 情報伝達処理装置及び情報伝達処理システム並びにこれらに用いるコンピューター・プログラム |
JP2016115185A (ja) * | 2014-12-16 | 2016-06-23 | 日本電信電話株式会社 | 情報提示先選択方法、装置及びそのプログラム |
JP2016151798A (ja) * | 2015-02-16 | 2016-08-22 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
-
2018
- 2018-01-26 JP JP2018011940A patent/JP6850740B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019128910A (ja) | 2019-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6592183B2 (ja) | モニタリング | |
JP6502491B2 (ja) | 顧客サービスロボットおよび関連するシステムおよび方法 | |
EP3400705B1 (en) | Active speaker location detection | |
JP6950692B2 (ja) | 人流推定装置、人流推定方法およびプログラム | |
KR102032662B1 (ko) | 장면 공간 모니터링을 통한 사람-컴퓨터 상호 작용 | |
US9682482B2 (en) | Autonomous moving device and control method of autonomous moving device | |
JP2006513504A (ja) | プロジェクタによる位置および向きの読み取り | |
JPWO2012117508A1 (ja) | 情報処理装置、方法およびプログラム | |
WO2020031767A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
EP2876608A1 (en) | Display control program, display control method, and display control device | |
CN109465819A (zh) | 人体识别系统及人体识别方法 | |
JP2015079433A5 (ja) | ||
JP2021077255A (ja) | 画像処理装置、画像処理方法及び画像処理システム | |
JP6850740B2 (ja) | 情報出力装置、方法およびプログラム | |
JP5651639B2 (ja) | 情報処理装置、情報表示装置、情報処理方法およびプログラム | |
JP2009217448A (ja) | 画像情報を用いた人物追跡システム | |
CN111385813B (zh) | 用于重复活动序列中的循环持续时间测量的系统和方法 | |
JP5448952B2 (ja) | 同一人判定装置、同一人判定方法および同一人判定プログラム | |
JP6920225B2 (ja) | 情報出力装置、方法およびプログラム | |
JP7041046B2 (ja) | グループ推定装置及びグループ推定方法 | |
JP6827193B2 (ja) | 表示システム、サーバ、表示方法及び装置 | |
JP6885127B2 (ja) | 表示制御装置、表示制御方法およびプログラム | |
JP7354626B2 (ja) | 予測装置、モデル生成装置、予測方法、モデル生成方法、予測プログラム、およびモデル生成プログラム | |
US20210034079A1 (en) | Personal space creation system, personal space creation method, personal space creation program | |
JP7009939B2 (ja) | 制御プログラム、制御方法および制御装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20180208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180416 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200122 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200929 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210302 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210308 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6850740 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |