JP6607310B2 - 出力制御装置、情報出力システム、出力制御方法、およびプログラム - Google Patents

出力制御装置、情報出力システム、出力制御方法、およびプログラム Download PDF

Info

Publication number
JP6607310B2
JP6607310B2 JP2018507276A JP2018507276A JP6607310B2 JP 6607310 B2 JP6607310 B2 JP 6607310B2 JP 2018507276 A JP2018507276 A JP 2018507276A JP 2018507276 A JP2018507276 A JP 2018507276A JP 6607310 B2 JP6607310 B2 JP 6607310B2
Authority
JP
Japan
Prior art keywords
person
output
information
output device
output control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018507276A
Other languages
English (en)
Other versions
JPWO2017164061A1 (ja
Inventor
志傑 斎藤
準 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2017164061A1 publication Critical patent/JPWO2017164061A1/ja
Application granted granted Critical
Publication of JP6607310B2 publication Critical patent/JP6607310B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • G06Q30/0269Targeted advertisements based on user profile or attribute
    • G06Q30/0271Personalized advertisement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0281Customer communication at a business location, e.g. providing product or service information, consulting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • G06V40/173Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0261Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/04Electronic labels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/06Remotely controlled electronic signs other than labels

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Multimedia (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、出力制御装置、情報出力システム、出力制御方法、およびプログラムに関する。
施設内などの空間に設置されるサイネージ装置において、表示内容を電気的に変更することができるデジタルサイネージ装置が知られている。デジタルサイネージ装置において、閲覧している人物に応じて表示内容を変更する技術が知られている(例えば、特許文献1を参照)。特許文献1には、顔認証により特定された対象人物に対して過去に表示実績のないコンテンツを選択してデジタルサイネージ装置に表示する技術が開示されている。
また、デジタルサイネージ装置の他にも、パラメトリック・スピーカーなど、所定の地点に位置する人物に情報を出力する出力装置が知られている。
特開2012−252613号公報
しかしながら、特許文献1に記載の技術によれば、コンテンツが動画像などの経時変化する情報である場合に、コンテンツの再生中に対象人物がデジタルサイネージ装置から離れると、そのコンテンツは、対象人物によって最後まで閲覧されていないにも関わらず、表示対象から除外されてしまう。
本発明の目的は、上述した課題を解決する出力制御装置、情報出力システム、出力制御方法、およびプログラムを提供することにある。
本発明の第1の態様に係る出力制御装置は、監視対象領域において人物を認識するための情報を検出するセンサから得られた検出データに基づいて、前記人物が特定人物か否かを判定する判定部と、前記検出データに基づく追跡処理によって前記人物の位置情報を取得する処理部と、前記判定部により特定人物と判定された前記人物に関する人物情報と前記処理部が取得した前記位置情報とに基づいて、前記人物の近傍に位置する第1出力装置に、前記人物に応じた情報を出力させる出力制御部と、を備え、前記出力制御部が、前記人物が前記第1出力装置の近傍から第2出力装置の近傍に移動した場合に、前記第2出力装置に、前記第1出力装置に出力させた前記情報を、前記第1出力装置が出力した続きから出力させる。
本発明の第2の態様に係る情報出力システムは、複数の出力装置と、監視対象領域において人物を認識するための情報を検出するセンサと、前記複数の出力装置に出力させる情報を制御する出力制御装置とを備え、前記出力制御装置が、前記センサから得られた検出データに基づいて、前記人物が特定人物か否かを判定する判定部と、前記検出データに基づく追跡処理によって前記人物の位置情報取得する処理部と、前記判定部により特定人物と判定された前記人物に関する人物情報と前記処理部が取得した前記位置情報とに基づいて、前記人物の近傍に位置する第1出力装置に、前記人物に応じた情報を出力させる出力制御部と、を備え、前記出力制御部が、前記人物が前記第1出力装置の近傍から第2出力装置の近傍に移動した場合に、前記第2出力装置に、前記第1出力装置に出力させた前記情報を、前記第1出力装置が出力した続きから出力させる。
本発明の第3の態様に係る出力制御方法は、監視対象領域において人物を認識するための情報を検出するセンサから得られた検出データに基づいて、前記人物が特定人物か否かを判定することと、前記検出データに基づく追跡処理によって前記人物の位置情報取得することと、特定人物と判定された前記人物に関する人物情報と取得した前記位置情報とに基づいて、前記人物の近傍に位置する第1出力装置に、前記人物に応じた情報を出力させることと、前記人物が前記第1出力装置の近傍から第2出力装置の近傍に移動した場合に、前記第2出力装置に、前記第1出力装置に出力させた前記情報を、前記第1出力装置が出力した続きから出力させることとを含む。
本発明の第4の態様に係るプログラムは、コンピュータに、監視対象領域において人物を認識するための情報を検出するセンサから得られた検出データに基づいて、前記人物が特定人物か否かを判定することと、前記検出データに基づく追跡処理によって前記人物の位置情報取得することと、特定人物と判定された前記人物に関する人物情報と取得した前記位置情報とに基づいて、前記人物の近傍に位置する第1出力装置に、前記人物に応じた情報を出力させることと、前記人物が前記第1出力装置の近傍から第2出力装置の近傍に移動した場合に、前記第2出力装置に、前記第1出力装置に出力させた前記情報を、前記第1出力装置が出力した続きから出力させることと、を実行させる。
本発明によれば、コンテンツの再生途中で人物が第1出力装置から離れた場合であっても、その人物の近傍にある別の出力装置である第2出力装置にそのコンテンツの続きを再生させることができる。
第1の実施形態に係る情報出力システムの構成を示す概略図である。 第1の実施形態に係る出力制御装置のソフトウェア構成を示す概略ブロック図である。 第1の実施形態に係る出力制御装置の動作を示すフローチャートである。 第1の実施形態に係る情報出力システムの動作例を示す図である。 出力制御装置の基本構成を示す概略ブロック図である。 少なくとも1つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
〈第1の実施形態〉
《構成》
以下、図面を参照しながら実施形態について詳しく説明する。
図1は、第1の実施形態に係る情報出力システムの構成を示す概略図である。
第1の実施形態に係る情報出力システム1は、店舗内に設けられる。情報出力システム1は、店舗内の人物Mのうち特定の人物に対し、その人物Mに応じた内容の宣伝情報を表示させる。特定の人物の例としては、購買可能性の高い客、購買可能性を高めたい客、およびその店舗において会員登録された客が挙げられる。
情報出力システム1は、複数の撮像装置10、複数のデジタルサイネージ装置20、および出力制御装置30を備える。
複数の撮像装置10は、それぞれ店舗内に設けられる。撮像装置10は、店舗内の監視対象となるすべての通路が何れかの撮像装置10の撮像範囲に含まれるように設置される。各撮像装置10が撮像した画像は、出力制御装置30に送信される。
複数のデジタルサイネージ装置20は、出力制御装置30の指示に従って画像を表示する。
出力制御装置30は、撮像装置10が撮像した画像に基づいて、各デジタルサイネージ装置20の表示を制御する。
図2は、第1の実施形態に係る出力制御装置のソフトウェア構成を示す概略ブロック図である。
出力制御装置30は、画像受信部31、人物記憶部32、認識部33、追跡処理部34、宣伝情報記憶部35、出力制御部36、再生位置記憶部37を備える。
画像受信部31は、各撮像装置10から画像を受信する。
人物記憶部32は、宣伝情報の表示対象となる人物M(特定人物)について、人物Mを特定するための人物ID(identification)と、人物Mの顔特徴情報と、嗜好情報とを関連付けて記憶する。
顔特徴情報は、顔認証技術に用いられる情報である。人物IDは、例えばシリアル番号として付与される。顔特徴情報の例としては、複数の顔写真および顔写真から抽出された特徴点が挙げられる。嗜好情報は、人物Mに関する情報である。嗜好情報の例としては、人物Mが興味を持っている商品および商品のジャンルが挙げられる。
認識部33は、画像受信部31が取得した画像と人物記憶部32が記憶する顔特徴情報とを用いて、画像受信部31が取得した画像に写った人物Mの中から、人物記憶部32が記憶する人物Mを認識する。認識部33は、人物が特定人物か否かを判定する判定部の一例である。
追跡処理部34は、画像受信部31が取得した画像を用いて、認識部33が認識した人物Mの位置情報を取得する。具体的には、追跡処理部34は、画像受信部31が取得した画像における人物Mの位置と、この画像を撮像した撮像装置10の設置位置とから、その人物Mの店舗内における位置を特定する。追跡処理部34は、撮像装置10が撮像した連続する画像から、動線解析技術により同一の人物Mを特定する。つまり、追跡処理部34は、ある画像において認識部33が人物Mを認識した場合に連続する画像において同一の人物Mを特定することで、他の画像において人物Mの顔が認識できない場合にも、その人物Mが認識部33によって認識された人物Mであるか否かを判定することができる。追跡処理部34は、認識部33が人物Mを認識したときに、その人物Mの位置情報の取得(追跡処理)を開始する。追跡処理部34は、人物の位置情報取得する処理部の一例である。
宣伝情報記憶部35は、宣伝情報を特定する宣伝IDに関連付けて、その宣伝IDが示す宣伝情報と嗜好情報とを記憶する。宣伝情報は、動画像である。動画像は、経時変化する情報の一例である。
出力制御部36は、複数のデジタルサイネージ装置20のうち、追跡処理部34が取得した位置情報が示す位置からの距離が所定距離以内の位置に設けられたデジタルサイネージ装置20に、人物Mの嗜好情報に基づく宣伝情報を出力させる。出力制御部36は、宣伝情報を出力させたデジタルサイネージ装置20と人物Mとの距離が所定距離以上離れたときに、その宣伝情報の宣伝IDおよび再生位置を再生位置記憶部37に記録する。
再生位置記憶部37は、人物IDと、宣伝IDと、宣伝情報の再生位置とを関連付けて記憶する。
《動作》
出力制御装置30の動作について説明する。
出力制御装置30が起動すると、画像受信部31は、各撮像装置10から一定時間ごと(例えば、5秒ごと)に画像を受信する。画像受信部31が画像を受信すると、認識部33は、受信した画像に、人物記憶部32に記憶される人物Mが写っているか否かを判定する。具体的には、画像受信部31は、受信した画像と人物記憶部32が記憶する顔特徴情報とをマッチングさせ、受信した画像に含まれる顔の特徴情報と、人物記憶部32が記憶する顔特徴情報との類似度が所定閾値以上であるか否かを判定する。受信した画像に、人物記憶部32に記憶される人物Mが写っている場合、追跡処理部34は、この人物Mの位置情報の取得を開始する。
図3は、第1の実施形態に係る出力制御装置の動作を示すフローチャートである。
追跡処理部34が人物Mの位置情報の取得を開始すると、出力制御部36は、追跡処理部34が取得した位置情報が示す位置の近傍にデジタルサイネージ装置20が設置されているか否かを判定する(ステップS1)。具体的には、出力制御部36は、追跡処理部34が取得した位置情報が示す位置と、所定距離の範囲内にデジタルサイネージ装置20が存在するか否かを判定する。追跡処理部34が取得した位置情報が示す位置の近傍にデジタルサイネージ装置20が設置されていない場合(ステップS1:NO)、出力制御装置30は、出力制御処理を終了し、追跡処理部34による新たな位置情報の取得を待機する。
他方、追跡処理部34が取得した位置情報が示す位置の近傍にデジタルサイネージ装置20が設置されている場合(ステップS1:YES)、出力制御部36は、そのデジタルサイネージ装置20のIDを特定する(ステップS2)。次に、出力制御部36は、再生位置記憶部37に、人物Mの人物IDに関連付けられた宣伝IDおよび再生位置が記録されているか否かを判定する(ステップS3)。再生位置記憶部37にその人物Mの人物IDに関連付けられた宣伝IDおよび再生位置が記録されていない場合(ステップS3:NO)、出力制御部36は、人物記憶部32から認識部33によって認識された人物Mの嗜好情報を読み出す(ステップS4)。出力制御部36は、宣伝情報記憶部35から、その嗜好情報に関連付けられた宣伝情報を読み出す(ステップS5)。出力制御部36は、ステップS2で特定したデジタルサイネージ装置20に、読み出した宣伝情報の出力指示を送信する(ステップS6)。これにより、人物Mの近傍に存在するデジタルサイネージ装置20は、その人物Mの嗜好に応じた宣伝情報の再生を開始する。人物Mの嗜好に応じた宣伝情報は、その人物のための情報の一例である。
次に、出力制御部36は、追跡処理部34が取得した位置情報に基づいて、人物Mがデジタルサイネージ装置20から遠ざかったか否かを判定する(ステップS7)。具体的には、出力制御部36は、追跡処理部34が取得した位置情報が示す位置が、デジタルサイネージ装置20が存在する位置と所定距離以上離れたか否かを判定する。人物Mがデジタルサイネージ装置20から遠ざかっていない場合(ステップS7:NO)、出力制御部36は、ステップS7に戻り、人物Mがデジタルサイネージ装置20から遠ざかったか否かの判定を繰り返す。
他方、人物Mがデジタルサイネージ装置20から遠ざかった場合(ステップS7:YES)、出力制御部36は、そのデジタルサイネージ装置20に再生されている宣伝情報の現在の再生位置を特定する(ステップS8)。例えば、出力制御部36は、デジタルサイネージ装置20への出力指示の送信時刻からの経過時間から、宣伝情報の現在の再生位置を特定してもよい。また例えば、出力制御部36は、デジタルサイネージ装置20から現在の再生位置を受信することで、再生位置を特定してもよい。出力制御部36は、認識部33によって認識された人物の人物IDと、ステップS6で出力指示を送信した宣伝情報の宣伝IDと、特定した再生位置とを関連付けて再生位置記憶部37に記録する(ステップS9)。そして、出力制御装置30は、出力制御処理を終了し、追跡処理部34による新たな位置情報の取得を待機する。以降、該当のデジタルサイネージ装置20は、現在の宣伝情報の再生を続けてもよいし、宣伝情報の再生を止め、初期設定の宣伝情報を表示させてもよい。
ステップS3において、宣伝IDおよび再生位置が再生位置記憶部37に記録されている場合(ステップS3:YES)、出力制御部36は、以下の処理を実行する。すなわち出力制御部36は、ステップS2で特定したデジタルサイネージ装置20に、再生位置記憶部37が記憶する宣伝IDに係る宣伝情報を、再生位置記憶部37が記憶する再生位置より所定時間前(例えば、3秒前)の再生位置から再生させる出力指示を送信する(ステップS10)。これにより、人物Mの近傍に存在するデジタルサイネージ装置20は、この人物Mの近傍の他のデジタルサイネージ装置20で前回再生された宣伝情報を、前回の続きから再生開始することができる。そして、次に、出力制御部36は、ステップS7に処理を切り替え、人物Mがデジタルサイネージ装置20から遠ざかったか否かを判定する。
《作用・効果》
このように、第1の実施形態によれば、出力制御装置30は、撮像装置10が撮像した画像に写った人物が特定人物である場合に、その人物の位置情報の取得を開始し、その位置情報に基づいて、その人物の近傍に位置するデジタルサイネージ装置20に、その人物のための情報を出力させる。これにより、出力制御装置30は、デジタルサイネージ装置20を用いて特定の客に向けて情報を提示することができる。
また第1の実施形態によれば、再生位置記憶部37が人物IDに関連付けて宣伝IDを記憶している場合、出力制御装置30は、その宣伝IDに係る宣伝情報を、人物の近傍のデジタルサイネージ装置20に出力させる。つまり、出力制御装置30は、既に情報を出力させたデジタルサイネージ装置20(第1出力装置)と異なるデジタルサイネージ装置20(第2の出力装置)の近傍に人物が移動した場合に、移動先のデジタルサイネージ装置20に対してその人物のための情報を出力する。これにより、特定人物が移動するたびに、移動先においてその人物に向けて情報を提示し続けることができる。
また第1の実施形態によれば、宣伝情報が動画像であって、出力制御装置30は、第2のデジタルサイネージ装置20に、第1のデジタルサイネージ装置20に表示させた宣伝情報を出力させる。このとき、出力制御装置30は、人物Mが第1のデジタルサイネージ装置20から遠ざかったときの再生位置に応じた再生位置から、宣伝情報を出力させる。
これにより、施設内を移動する特定人物に対し、経時変化する宣伝情報を適切に閲覧させることができる。
図4は、第1の実施形態に係る情報出力システムの動作例を示す図である。
図4に示す例は、特定人物である人物M1と人物M2とが施設内を移動する例である。
施設内には、デジタルサイネージ装置20−1とデジタルサイネージ装置20−2とが設けられている。
図4の縦軸は、施設内の位置を示し、横軸は時刻を示す。ラインD1は、デジタルサイネージ装置20−1が設置された位置を示す。ラインD1+は、デジタルサイネージ装置20−1から所定距離の位置、すなわち人物Mがデジタルサイネージ装置20−1の近傍に存在すると判定するための閾値を示す。ラインD2は、デジタルサイネージ装置20−2が設置された位置を示す。ラインD2+は、デジタルサイネージ装置20−2から所定距離の位置、すなわち人物Mがデジタルサイネージ装置20−2の近傍に存在すると判定するための閾値を示す。ライン(破線)M1は、人物M1の位置の推移を示す。ライン(長破線)M2は、人物M2の位置の推移を示す。
人物M2は、時刻T1にデジタルサイネージ装置20−2の近傍に存在し、時刻T2にデジタルサイネージ装置20−2から遠ざかる。人物M2は、時刻T7にデジタルサイネージ装置20−1の近傍に存在し、時刻T8にデジタルサイネージ装置20−1から遠ざかる。人物M2は、時刻T10にデジタルサイネージ装置20−2の近傍に存在する。
人物M1は、時刻T3にデジタルサイネージ装置20−1の近傍に存在し、時刻T4にデジタルサイネージ装置20−1から遠ざかる。人物M1は、時刻T5にデジタルサイネージ装置20−2の近傍に存在し、時刻T6にデジタルサイネージ装置20−2から遠ざかる。人物M1は、時刻T9にデジタルサイネージ装置20−1の近傍に存在する。
このような状況において、出力制御装置30は、以下のように動作する。
出力制御装置30は、時刻T1に、デジタルサイネージ装置20−2に対し、人物M2の嗜好情報に基づく宣伝情報C2の出力を開始させる。出力制御装置30は、時刻T2に、デジタルサイネージ装置20−2における宣伝情報C2の再生位置(T2−T1)を特定する。出力制御装置30は、時刻T3に、デジタルサイネージ装置20−1に対し、人物M1の嗜好情報に基づく宣伝情報C1の出力を開始させる。出力制御装置30は、時刻T4に、デジタルサイネージ装置20−1における宣伝情報C1の再生位置(T4−T3)を特定する。出力制御装置30は、時刻T5に、デジタルサイネージ装置20−2に対し、宣伝情報C1の再生位置(T4−T3)からの出力を開始させる。出力制御装置30は、時刻T6に、デジタルサイネージ装置20−2における宣伝情報C1の再生位置(T4−T3+T6−T5)を特定する。出力制御装置30は、時刻T7に、デジタルサイネージ装置20−1に対し、宣伝情報C2の再生位置(T2−T1)からの出力を開始させる。出力制御装置30は、時刻T8に、デジタルサイネージ装置20−1における宣伝情報C2の再生位置(T2−T1+T8−T7)を特定する。出力制御装置30は、時刻T9に、デジタルサイネージ装置20−1に対し、宣伝情報C1の再生位置(T4−T3+T6−T5)からの出力を開始させる。出力制御装置30は、時刻T10に、デジタルサイネージ装置20−2に対し、宣伝情報C2の再生位置(T2−T1+T8−T7)からの出力を開始させる。
このように、第1の実施形態によれば、出力制御装置30は、特定人物が複数人存在する場合にも、各特定人物に対して適切に情報を提供することができる。
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。
例えば、上述した実施形態では、情報出力システム1が出力装置としてデジタルサイネージ装置20を備えるが、これに限られない。例えば、他の実施形態においては、パラメトリック・スピーカーなど、所定の地点に位置する人物に情報を出力する他の出力装置を備えてもよい。情報出力システム1がパラメトリック・スピーカーを備える場合、宣伝情報としては音声データを用いることができる。
また、上述した実施形態では、宣伝情報が動画像である場合について説明したが、これに限られない。例えば、他の実施形態に係る宣伝情報は、時間に応じて表示内容を異ならせる複数の静止画像からなるコンテンツなど、経時変化する他の情報であってもよい。
また、上述した実施形態では、情報出力システム1が店舗内に設けられる場合について説明したが、これに限られない。例えば、他の実施形態においては、情報出力システム1が病院など他の施設または屋外に設けられてもよい。情報出力システム1が病院に設けられる場合、情報出力システム1は、宣伝情報に代えて患者の案内情報などを表示させてもよい。案内情報は、その患者のための情報である。
また、上述の実施形態では、人物Mが移動するたびに、その近くに存在するデジタルサイネージ装置20に、経時変化する情報を適宜表示させるが、これに限られない。例えば、他の実施形態では、追跡処理部34が取得する位置情報に基づいて人物Mが興味を持った商品等を特定し、移動先のデジタルサイネージ装置20にその商品の宣伝情報、またはその商品に関する他の商品の宣伝情報を表示させてもよい。また例えば、他の実施形態では、複数の静止画像からなるコンテンツの静止画像を1つずつ、人物が移動するたびに移動先のデジタルサイネージ装置20に表示させてもよい。
また、上述の実施形態では、認識部33が撮像装置10による撮像画像に基づいて人物Mが特定人物か否かを判定するが、これに限られない。例えば、他の実施形態では、人物Mが所有する物(例えば、IC(integrated circuit)カードなど)から情報を取得することで、人物Mの認識を行ってもよい。
また、上述の実施形態では、追跡処理部34が撮像装置10による撮像画像に基づいて動線解析を行うが、これに限られない。例えば、他の実施形態では、追跡処理部34が床面に敷かれたセンサから足跡を抽出することで、動線解析を行ってもよい。
また、上述の実施形態では、認識部33は人物Mがデジタルサイネージ装置20から遠ざかったことを検出するが、これに限られない。例えば、他の実施形態では、認識部33は人物Mがデジタルサイネージ装置20から遠ざかったことを検出しなくてもよい。この場合、デジタルサイネージ装置20(第1の出力装置)は、人物が離れたか否かに関わらず宣伝情報の再生を継続する。他方、出力制御装置30は、次にその人物が近づいたデジタルサイネージ装置20(第2の出力装置)に、前回遠ざかったデジタルサイネージ装置20(第1の出力装置)で再生中の宣伝情報の再生位置(または所定時間前の再生位置)から、宣伝情報を再生させる。
《基本構成》
図5は、出力制御装置の基本構成を示す概略ブロック図である。
上述した実施形態では、出力制御装置30の一実施形態として図2に示す構成について説明したが、出力制御装置30の基本構成は、図5に示すとおりである。
すなわち、出力制御装置30は、判定部353、処理部354、および出力制御部36を基本構成とする。
判定部353は、人物Mが特定人物か否かを判定する。
処理部354は、人物Mの位置情報を取得する。
出力制御部36は、判定部353により特定人物と判定された人物Mに関する人物情報と処理部354が取得した位置情報とに基づいて、人物Mの近傍に位置する第1出力装置に、人物Mに応じた情報を出力させる。出力制御部36は、人物Mが第1出力装置の近傍から第2出力装置の近傍に移動した場合に、第2出力装置に、第1出力装置に出力させた情報を、第1出力装置が出力した続きから出力させる。
図6は、少なくとも1つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ900は、CPU(Central Processing Unit)901、主記憶装置902、補助記憶装置903、インタフェース904を備える。
上述の出力制御装置30は、コンピュータ900に実装される。そして、上述した各処理部の動作は、プログラムの形式で補助記憶装置903に記憶されている。CPU901は、プログラムを補助記憶装置903から読み出して主記憶装置902に展開し、そのプログラムに従って上記処理を実行する。また、CPU901は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置902に確保する。
なお、少なくとも1つの実施形態において、補助記憶装置903は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェース904を介して接続される磁気ディスク、光磁気ディスク、CD−ROM(Compact Disc Read Only Memory)、DVD−ROM(Digital Versatile Disc Read Only Memory)、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ900に配信される場合、配信を受けたコンピュータ900がこのプログラムを主記憶装置902に展開し、上記処理を実行してもよい。
また、このプログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、このプログラムは、前述した機能を補助記憶装置903に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル(差分プログラム)であってもよい。
この出願は、2016年3月23日に出願された日本出願特願2016−059185号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
本発明によれば、コンテンツの再生途中で人物が第1出力装置から離れた場合であっても、その人物の近傍にある別の出力装置である第2出力装置にそのコンテンツの続きを再生させることができる。
1 情報出力システム
10 撮像装置
20 デジタルサイネージ装置
30 出力制御装置
31 画像受信部
32 人物記憶部
33 認識部
34 追跡処理部
35 宣伝情報記憶部
36 出力制御部
37 再生位置記憶部

Claims (6)

  1. 監視対象領域において人物を認識するための情報を検出するセンサから得られた検出データに基づいて、前記人物が特定人物か否かを判定する判定部と、
    前記検出データに基づく追跡処理によって前記人物の位置情報を取得する処理部と、
    前記判定部により前記特定人物と判定された前記人物に関する人物情報と前記処理部が取得した前記位置情報とに基づいて、前記人物の近傍に位置する第1出力装置に、前記人物に応じた情報を出力させる出力制御部と、
    を備え、
    前記出力制御部が、前記人物が前記第1出力装置の近傍から第2出力装置の近傍に移動した場合に、前記第2出力装置に、前記第1出力装置に出力させた前記情報を、前記第1出力装置が出力した続きから出力させる
    出力制御装置。
  2. 前記情報が、経時変化する情報であって、
    前記出力制御部が、前記第2出力装置に、前記第1出力装置に出力させた前記情報を、前記人物が前記第1出力装置から離れた時点における再生位置に応じた再生位置から出力させる
    請求項1に記載の出力制御装置。
  3. 前記出力制御部が、前記第2出力装置に、前記第1出力装置に出力させた前記情報を、前記人物が前記第1出力装置から離れた時点における再生位置よりも所定時間前の時点の再生位置から出力させる
    請求項2に記載の出力制御装置。
  4. 複数の出力装置と、
    監視対象領域において人物を認識するための情報を検出するセンサと、
    前記複数の出力装置に出力させる情報を制御する出力制御装置と
    を備え、
    前記出力制御装置が、
    前記センサから得られた検出データに基づいて、前記人物が特定人物か否かを判定する判定部と、
    前記検出データに基づく追跡処理によって前記人物の位置情報取得する処理部と、
    前記判定部により前記特定人物と判定された前記人物に関する人物情報と前記処理部が取得した前記位置情報とに基づいて、前記人物の近傍に位置する第1出力装置に、前記人物に応じた情報を出力させる出力制御部と、
    を備え、
    前記出力制御部が、前記人物が前記第1出力装置の近傍から第2出力装置の近傍に移動した場合に、前記第2出力装置に、前記第1出力装置に出力させた前記情報を、前記第1出力装置が出力した続きから出力させる
    情報出力システム。
  5. 監視対象領域において人物を認識するための情報を検出するセンサから得られた検出データに基づいて、前記人物が特定人物か否かを判定することと、
    前記検出データに基づく追跡処理によって前記人物の位置情報取得することと、
    特定人物と判定された前記人物に関する人物情報と取得した前記位置情報とに基づいて、前記人物の近傍に位置する第1出力装置に、前記人物に応じた情報を出力させることと、
    前記人物が前記第1出力装置の近傍から第2出力装置の近傍に移動した場合に、前記第2出力装置に、前記第1出力装置に出力させた前記情報を、前記第1出力装置が出力した続きから出力させることと
    を含む出力制御方法。
  6. コンピュータに、
    監視対象領域において人物を認識するための情報を検出するセンサから得られた検出データに基づいて、前記人物が特定人物か否かを判定することと、
    前記検出データに基づく追跡処理によって前記人物の位置情報を取得することと、
    前記特定人物と判定された前記人物に関する人物情報と取得した前記位置情報とに基づいて、前記人物の近傍に位置する第1出力装置に、前記人物に応じた情報を出力させることと、
    前記人物が前記第1出力装置の近傍から第2出力装置の近傍に移動した場合に、前記第2出力装置に、前記第1出力装置に出力させた前記情報を、前記第1出力装置が出力した続きから出力させることと
    を実行させるためのプログラム。
JP2018507276A 2016-03-23 2017-03-16 出力制御装置、情報出力システム、出力制御方法、およびプログラム Active JP6607310B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016059185 2016-03-23
JP2016059185 2016-03-23
PCT/JP2017/010666 WO2017164061A1 (ja) 2016-03-23 2017-03-16 出力制御装置、情報出力システム、出力制御方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2017164061A1 JPWO2017164061A1 (ja) 2018-10-18
JP6607310B2 true JP6607310B2 (ja) 2019-11-20

Family

ID=59900396

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018507276A Active JP6607310B2 (ja) 2016-03-23 2017-03-16 出力制御装置、情報出力システム、出力制御方法、およびプログラム

Country Status (3)

Country Link
US (1) US11132812B2 (ja)
JP (1) JP6607310B2 (ja)
WO (1) WO2017164061A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020053792A (ja) * 2018-09-26 2020-04-02 ソニー株式会社 情報処理装置、および情報処理方法、プログラム、情報処理システム
JP6824943B2 (ja) * 2018-11-20 2021-02-03 ヤフー株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4742531B2 (ja) * 2004-07-21 2011-08-10 株式会社日立製作所 情報表示装置
JP5073221B2 (ja) 2005-12-19 2012-11-14 株式会社リコー コンテンツ表示システムおよび情報表示装置
US9495682B2 (en) * 2006-08-31 2016-11-15 Accenture Global Services Limited Converged marketing architecture and related research and targeting methods utilizing such architectures
JP5396769B2 (ja) * 2008-08-04 2014-01-22 セイコーエプソン株式会社 音声出力制御装置、音声出力装置、音声出力制御方法、及び、プログラム
JP5217922B2 (ja) * 2008-11-10 2013-06-19 日本電気株式会社 電子広告システム、電子広告配信装置、及びプログラム
JP2012252613A (ja) 2011-06-04 2012-12-20 Hitachi Solutions Ltd 顧客行動追跡型映像配信システム
US9483110B2 (en) * 2011-11-07 2016-11-01 International Business Machines Corporation Adaptive media file rewind
US20140006152A1 (en) * 2011-12-09 2014-01-02 Alexander D. Wissner-Gross Providing a Proximity Triggered Response in a Video Display
US20130293581A1 (en) * 2012-05-02 2013-11-07 Alexander David Wissner-Gross Back-to-Back Video Displays
KR20150108178A (ko) 2014-03-17 2015-09-25 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
US9519919B2 (en) * 2015-03-10 2016-12-13 Paypal, Inc. In-store advertisement customization
US9825969B2 (en) * 2015-09-14 2017-11-21 D&M Holdings, Inc. System and method for controlling a rendering device based upon detected user proximity

Also Published As

Publication number Publication date
US11132812B2 (en) 2021-09-28
US20190035105A1 (en) 2019-01-31
JPWO2017164061A1 (ja) 2018-10-18
WO2017164061A1 (ja) 2017-09-28

Similar Documents

Publication Publication Date Title
CN101807370B (zh) 信息处理装置和信息处理方法
CN105009034B (zh) 信息处理设备、信息处理方法和程序
CN101631220B (zh) 再现设备
JP4859876B2 (ja) 情報処理装置
TW201119368A (en) Image processing device, image processing method, and computer program
EP3627354A1 (en) Information processing system, method for controlling information processing system, and storage medium
CN102860031A (zh) 用于识别运动图像内容中包含的静止图像的装置和方法
JP6607310B2 (ja) 出力制御装置、情報出力システム、出力制御方法、およびプログラム
US10146870B2 (en) Video playback method and surveillance system using the same
JP2002344946A (ja) 監視装置
JP2009201041A (ja) コンテンツ検索装置およびその表示方法
WO2020018349A4 (en) Systems and methods for generating targeted media content
JP6476678B2 (ja) 情報処理装置及び情報処理プログラム
JP2006079460A (ja) 電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラム
JP6112156B2 (ja) 行動分析装置及び行動分析プログラム
JP6753462B2 (ja) 出力制御装置、出力制御方法、およびプログラム
WO2019176281A1 (ja) 表示制御装置、自動販売機、表示制御方法、及び表示制御プログラム
JP6532600B2 (ja) ドライブレコーダ撮像画像送信システム、ドライブレコーダ撮像画像送信方法及びプログラム
US11790402B2 (en) Output control device, information output system, output control method, and program
JP7566548B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2005227522A (ja) 情報表示装置
JP5542469B2 (ja) 情報提示装置及び方法及びプログラム
JP2020115159A (ja) コンテンツ選択装置、コンテンツ選択方法、コンテンツ選択システム及びプログラム
JP7302261B2 (ja) 案内システム、案内方法及びプログラム
US20170278112A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190507

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191007

R150 Certificate of patent or registration of utility model

Ref document number: 6607310

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150