JP7131587B2 - 情報処理システム、情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理システム、情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP7131587B2
JP7131587B2 JP2020148282A JP2020148282A JP7131587B2 JP 7131587 B2 JP7131587 B2 JP 7131587B2 JP 2020148282 A JP2020148282 A JP 2020148282A JP 2020148282 A JP2020148282 A JP 2020148282A JP 7131587 B2 JP7131587 B2 JP 7131587B2
Authority
JP
Japan
Prior art keywords
person
flow line
information
time
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020148282A
Other languages
English (en)
Other versions
JP2021002840A (ja
Inventor
志傑 斎藤
準 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JP2021002840A publication Critical patent/JP2021002840A/ja
Application granted granted Critical
Publication of JP7131587B2 publication Critical patent/JP7131587B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、情報処理システム、情報処理装置、情報処理方法およびプログラムに関する。
関連技術として、特許文献１には、監視カメラなどの固定カメラにおいて撮影された動画像を用いて人物動線の情報を生成し、顔の向きなどの方向情報を人物動線の情報に付加して表示するシステムが知られている。
特開２０１１－２４８８３６号公報 特開２００７－００３４４８号公報
しかしながら、特許文献１では、人物などの対象の顔向きを動線とともに表示しているだけであった。
本発明の目的は、人物などの対象の向きおよび向きに応じた時間を動線とともに表示することで、より精度の高いマーケティング情報を収集することが可能な情報処理システム、情報処理装置、情報処理方法およびプログラムを提供することである。
本発明の情報処理システムは、画像を撮像する撮像手段と、前記画像から人物を抽出し、前記人物の動線と、前記人物の位置と、当該位置における前記人物の向きと、前記人物が前記位置において前記向きを向いていた時間と、を特定する特定手段と、特定された前記位置、前記向き、および前記時間に応じて記号を、特定された前記人物の動線とともに表示する表示手段と、を備え、前記特定手段は、前記位置において前記人物が複数の向きを向いていた場合、各向きに応じた時間を特定することを特徴とする。
本発明の情報処理装置は、撮影された画像から人物を抽出し、前記人物の動線と、前記人物の位置と、当該位置における前記人物の向きと、前記人物が前記位置において前記向きを向いていた時間と、を特定する特定手段と、特定された前記位置、前記向き、および前記時間に応じて記号を、特定された前記人物の動線とともに表示させる表示制御手段と、を備え、前記特定手段は、特定した前記位置において前記人物が複数の向きを向いていた場合、各向きに応じた時間を特定することを特徴とする。
本発明の情報処理方法は、撮影された画像から人物を抽出し、前記人物の動線と、前記人物の位置と、当該位置における前記人物の向きと、前記人物が前記位置において前記向きを向いていた時間と、を特定し、特定された前記位置、前記向き、および前記時間に応じて記号を、特定された前記人物の動線とともに表示する、処理を実行し、前記特定する処理では、前記位置において前記人物が複数の向きを向いていた場合、各向きに応じた時間を特定することを特徴とする。
本発明のプログラムは、コンピュータに、撮影された画像から人物を抽出し、前記人物の動線と、前記人物の位置と、当該位置における前記人物の向きと、前記人物が前記位置において前記向きを向いていた時間と、を特定し、特定された前記位置、前記向き、および前記時間に応じて記号を、特定された前記人物の動線とともに表示する、処理を実行させ、前記特定する処理では、前記位置において前記人物が複数の向きを向いていた場合、各向きに応じた時間を特定することを特徴とする。
本発明は、人物などの対象の向きおよび向きに応じた時間を動線とともに表示することで、より精度の高いマーケティング情報を収集することができるという効果を有する。
図１は、本発明の第１の実施形態における動線表示システム１を示すブロック図である。 図２は、抽出情報テーブル１２２２を示す図である。 図３は、顔向きと方向を意味する記号（アルファベットＡ～Ｈ）との対応関係を示す図である。 図４は、動線情報テーブル１２２３を示す図である。 図５は、表示部１３の出力例を示す図である。 図６は、サイズテーブル１２２４を示す図である。 図７は、画像処理部１２１の処理フローを示すフローチャートである。 図８は、第１の実施形態の変形例における表示部１３の出力例を示す図である。 図９は、第１の実施形態の変形例における表示部１３の出力例を示す図である。 図１０は、第１の実施形態の変形例における表示部１３の出力例を示す図である。 図１１は、第１の実施形態の変形例における表示部１３の出力例を示す図である。 図１２は、第１の実施形態の変形例における表示部１３の出力例を示す図である。 図１３は、第１の実施形態の変形例における表示部１３の出力例を示す図である。 図１４は、第２の実施形態における動線表示システム１４を示すブロック図である。 図１５は、色テーブル１２２５を示す図である。 図１６は、動線情報テーブル１２２６を示す図である。 図１７は、表示部１３の出力例を示す図である。 図１８は、画像処理部１２１の処理フローを示すフローチャートである。 図１９は、第３の実施形態における抽出情報テーブル１２２７を示す図である。 図２０は、動線情報テーブル１２２８を示す図である。 図２１は、表示部１３の出力例を示す図である。 図２２は、画像処理部１２１の処理フローを示すフローチャートである。 図２３は、第３の実施形態の変形例における表示部１３の出力例を示す図である。 図２４は、第３の実施形態の変形例における表示部１３の出力例を示す図である。 図２５は、第４の実施形態における動線表示システム２５を示すブロック図である。 図２６は、速度情報テーブル１２２９を示す図である。 図２７は、線情報テーブル１２２１０を示す図である。 図２８は、表示部１３の出力例を示す図である。 図２９は、画像処理部１２１の処理フローを示すフローチャートである。
次に、本発明の第１の実施形態について図面を参照して詳細に説明する。
図１は、本発明の第１の実施形態における動線表示システム１のブロック図である。
図１のように、本実施形態の動線表示システム１は、撮像部１１、情報処理装置１２および表示部１３を備える。情報処理装置１２は画像処理部１２１および記憶部１２２を備える。
撮像部１１は、人物などの対象を撮影するカメラである。撮像部１１は動画および静止画を含む画像を撮影する。本実施形態では、撮像部１１は動画を撮影するものとして説明するがこれに限定されるものではない。また、本実施形態では、撮像部１１であるカメラは店舗などに設置され、商品棚の前の通路を含む領域を撮影範囲として撮影するものとして説明するが、これに限定されるものではない。例えば、撮像部１１であるカメラは、店舗の天井や壁、商品棚に設置される。
撮像部１１は撮影範囲の画像を撮影し、画像データを画像が撮影された時間を示す撮影時間情報とともに画像処理部１２１へ送る。本実施形態では、撮像部１１が画像データとともに撮影時間情報を画像処理部１２１へ送るものとして説明するが、これに限定されず、画像データが撮影時間情報を含むようにしても良い。また、本実施形態では、撮像部１１が人物を対象として撮影するものとして説明するが、これに限定されるものではない。
記憶部１２２には、向きを特定するための情報が顔向き判定情報１２２１として予め格納されている。例えば、人物の正面の頭部画像、右向きの頭部画像および左向きの頭部画像などがサンプル画像として登録されている。本実施形態では、向きの一例として、対象の顔向きを特定するものとして説明するが、これに限定されるものではない。
画像処理部１２１は、撮像部１１から受け取った画像データから人物を抽出する。画像処理部１２１は、抽出された人物と記憶部に格納されている顔向き判定情報１２２１とのマッチングを行い、抽出された人物の顔向きを特定する。さらに、画像処理部１２１は、画像データから、抽出された人物が位置する平面上の座標を算出し、抽出情報テーブル１２２２を生成して記憶部１２２に格納する。
図２に、抽出情報テーブル１２２２の具体例を示す。
抽出情報テーブル１２２２は、位置１２２２－１と撮影時間１２２２－２と顔向き１２２２－３とから構成される。
位置１２２２－１は、抽出された人物が位置する平面上の座標（位置情報）を示す。
撮影時間１２２２－２は、画像が撮影された日時（撮影時間情報）を示す。例えば、2016/03/01/9:00:00は２０１６年３月１日９時０分０秒を示す。本実施形態では、画像処理部１２１が画像データから１５秒ごとに人物を検出しているが、これに限定されず、任意の時間間隔に設定可能である。
顔向き１２２２－３は、抽出された人物の顔向き（顔向き情報）を示す。本実施形態では、顔向きと記号とが予め対応付けられており、顔向き１２２２－３には各顔向きに対応する記号が格納されている。本実施形態では、顔向きに対応する記号としてアルファベットＡ～Ｈが設定されているが、これに限定されるものはない。
図３は、商品棚３０および通路３１を上から見た図である。
例えば、図３に示すように、商品棚３０との位置関係で８つの方向が予め設定され、各方向に対してアルファベットＡ～Ｈが予め設定されている。例えば、商品棚３０の前に通路３１があり、通路３１に存在する人物の顔向きが商品棚３０に向いていて、かつ、商品棚３０に対して顔向きが略垂直な場合、対応する顔向きの記号は「Ａ」となる。ただし、アルファベットに対応する顔向きには幅があり、例えば、人物の顔向きがアルファベットＡとＢとの間にあり、かつ、ＢよりもＡに近い場合に、対応する顔向きの記号を「Ａ」とすることができる。
なお、顔向きを特定する方法は一例であり、本実施形態に限定されず、公知の方法を利用することができる。例えば、特開２００１－２９１１０８号公報や特開平１１－２８１６６１号公報に記載の方法が知られている。特開２００１－２９１１０８号公報では、予め複数人の正面顔データを取得して平均顔を作成し、平均顔を３Ｄモデルに貼り合わせて任意の角度回転させた画像を生成して、入力画像と最も相関度の高い角度の画像を決定することで入力画像の顔向きを推定している。また、特開平１１－２８１６６１号公報では、撮像された顔画像から肌色領域を抽出し、肌色領域から両目および口の位置と顔幅とを検出し、それらの位置関係から顔向きを推定している。
なお、本実施形態では、抽出情報テーブル１２２２の３つのエントリが同じ座標(Ｘ３，Ｙ３）であり、(Ｘ３，Ｙ３）の各エントリに対応する顔向きはいずれも同じ（「Ａ」方向）として説明する。
画像処理部１２１は、抽出情報テーブル１２２２から動線情報テーブル１２２３を生成し、記憶部１２２に格納する。動線情報テーブル１２２３は、出力位置１２２３－１と顔向き１２２３－２と出力サイズ１２２３－３とから構成される。
出力位置１２２３－１は、表示部１３に出力する動線の各座標を示す。本実施形態では、出力位置１２２３－１は基本的に位置１２２２－１と同じであるが、抽出情報テーブル１２２２において位置１２２２－１の座標が同じで、かつ、対応する顔向きも同じであるエントリが連続していた場合、動線情報テーブル１２２３では、その連続するエントリは１つに纏められている。
顔向き１２２３－２は出力位置１２２３－１の各座標に対応する顔向きを示す。本実施形態では、詳細は後述するが、顔向きを二等辺三角形の三角マークで表示部１３に表示する。
出力サイズ１２２３－３は、顔向きを示す三角マークの大きさを示す。詳細は後述するが、三角マークの大きさは顔向きに応じた時間を示しており、その顔向きに対象が顔を向けていた時間に応じて大きさが変更される。
画像処理部１２１は、動線情報テーブル１２２３を参照し、出力位置１２２３－１の各座標をつなげることで抽出された人物の動線を生成し、顔向き（顔向き情報）および顔向きに応じた時間（時間情報）を意味する三角マークとともに生成された動線（動線情報）を表示部１３に出力する。なお、顔向き情報は対象の向きを示す向き情報の一例である。
なお、動線の生成は公知の技術を利用することができる。例えば、特開２００６－３５０７１号公報では、カメラで撮影された映像データを画像処理し、画像処理結果から人物を抽出して抽出された人物が位置する平面上の座標を算出し、各座標をつなげることで動線データが生成されている。さらに、複数の人物が撮影されている場合は、各々の人物の位置する座標を算出する。複数の人物は画像処理により、外形、上下の服の色などで識別され、識別された人物のそれぞれにＩＤが付されてその後に撮影された次の画像データの画像処理を同様に行って追跡が行われ、動線データが生成される。
表示部１３は、顔向きおよび顔向きに応じた時間を人物の動線とともに表示する。表示部１３はディスプレイを備えた装置であれば良く、例えば、パーソナルコンピュータやタブレット端末などの携帯端末などが考えられる
次に、表示部１３の出力例について説明する。
図５は、人物の顔向きと顔向きに応じた時間とが動線とともに表示された場合の例である。
顔向きおよび顔向きに応じた時間は二等辺三角形の三角マークで表示され、頂角が人物の顔向きを示す。さらに、人物がその顔向きに顔を向けていた時間に応じて三角マークの大きさが変更され、人物がその顔向きに顔を向けていた時間が長いほど大きく表示される。図５では、人物の顔向きおよび顔向きに応じた時間が動線に重ねて表示されているが、これに限定されず、人物の顔向きおよび顔向きに応じた情報が動線とともに表示されていれば良い。
本実施形態では、図６に示されるように、記憶部１２２が、表示する三角マークの大きさを示すサイズテーブル１２２４を予め格納している。画像処理部１２１はサイズテーブル１２２４を参照して表示する三角マークの大きさを変更し、表示部１３に出力する。
サイズテーブル１２２４はエントリ数１２２４－１とサイズ１２２４－２とから構成される。
エントリ数１２２４－１は、抽出情報テーブル１２２２において人物の位置（位置１２２２－１の座標）と顔向き（顔向き１２２２－３のアルファベット）との両方が一致するエントリが何回連続しているか（エントリの連続数）を示す。また、サイズ１２２４－２はエントリの連続数に対応する三角マークの表示サイズを示す。エントリの連続数が「１」のときの三角マークのサイズを基準とし、ここでは標準サイズと呼ぶ。
エントリの連続数が「１」の場合、三角マークは標準サイズである１．００倍で表示される。また、エントリの連続数が「２」の場合、ある位置での顔向きが１５秒以上継続されていたことを意味し、三角マークのサイズは標準サイズの１．２５倍で表示される。また、エントリの連続数が「３」の場合、ある位置での顔向きが３０秒以上継続されていたことを意味し、三角マークのサイズは標準サイズの１．５倍で表示される。また、エントリの連続数が「４」の場合、ある位置での顔向きが４５秒以上継続されていたことを意味し、三角マークのサイズは標準サイズの１．７５倍で表示される。また、エントリの連続数が「５～８」の場合、ある位置で顔向きが１分以上継続されていたことを意味し、三角マークのサイズは標準サイズの２．００倍で表示される。また、エントリの連続数が「９～１２」の場合、ある位置での顔向きが２分以上継続されていたことを意味し、三角マークのサイズは標準サイズの２．５０倍で表示される。また、エントリの連続数が「１３以上」の場合、ある位置での顔向きが３分以上継続されていたことを意味し、三角マークのサイズは標準サイズの３．０倍で表示される。
本実施形態では、図２の抽出情報テーブル１２２２を参照すると、位置１２２２－１が（Ｘ３，Ｙ３）であり、かつ、対応する顔向き１２２２－３がいずれも「Ａ」であるエントリが３つ連続しているので、動線情報テーブル１２２３の出力位置１２２３－１の（Ｘ３，Ｙ３）に対応するエントリの連続数は「３」となる。画像処理部１２１はサイズテーブル１２２４を参照し、出力位置１２２３－１の（Ｘ３，Ｙ３）に対応する三角マークの表示サイズは標準サイズの１．５０倍と特定する。
位置１２２２－１のその他の各座標はそれぞれ異なるため、出力位置１２２３－１のその他の座標に対応する連続数はそれぞれ「１」となる。画像処理部１２１はサイズテーブル１２２３を参照して、対応する三角マークの表示サイズは標準サイズと特定する。
次に、図５を参照し、表示部１３に表示される動線および三角マークについて詳細に説明する。
動線情報テーブル１２２３における出力位置１２２３－１の（Ｘ１，Ｙ１）が三角マーク３２に対応し、（Ｘ２，Ｙ２）が三角マーク３３に対応し、（Ｘ３，Ｙ３）が三角マーク３４に対応し、（Ｘ４、Ｙ４）が三角マーク３５に対応し、（Ｘ５、Ｙ５）が三角マーク３６に対応する。
動線情報テーブル１２２３における顔向き１２２３－２を参照すると、出力位置１２２３－１の（Ｘ１，Ｙ１）に対応する顔向きは「Ｂ」であり、「Ｂ」の方向が頂角となる二等辺三角形の三角マーク３２が動線とともに表示される。出力サイズ１２２３－３に基づいて三角マーク３２は標準サイズで表示される。
また、出力位置１２２３－１の（Ｘ２，Ｙ２）に対応する顔向きは「Ｂ」であり、「Ｂ」の方向が頂角となる二等辺三角形の三角マーク３３が動線とともに表示される。出力サイズ１２２３－３に基づいて三角マーク３３は標準サイズで表示される。
また、出力位置１２２３－１の（Ｘ３，Ｙ３）に対応する顔向きは「Ａ」であり、「Ａ」の方向が頂角となる二等辺三角形の三角マーク３４が動線とともに表示される。出力サイズ１２２３－３に基づいて三角マーク３４は標準サイズの１．５０倍で表示される。
また、出力位置１２２３－１の（Ｘ４，Ｙ４）に対応する顔向きは「Ｃ」であり、「Ｃ」の方向が頂角となる二等辺三角形の三角マーク３５が動線とともに表示される。出力サイズ１２２３－３に基づいて三角マーク３５は標準サイズで表示される。
また、出力位置１２２３－１の（Ｘ５，Ｙ５）に対応する顔向きは「Ｃ」であり、「Ｃ」の方向が頂角となる二等辺三角形の三角マーク３６が動線とともに表示される。出力サイズ１２２３－３に基づいて三角マーク３６は標準サイズで表示される。
次に、情報処理装置１２の処理フローについて説明する。図７は画像処理部１２１の処理を示すフローチャートである。
まず、画像処理部１２１は撮像部１１であるカメラから画像データを受け取り（ステップＳ７１）、画像データから人物を抽出する（ステップＳ７２）。次に、画像処理部１２１は、記憶部１２２に予め格納されている顔向き判定情報１２２１を参照して、抽出された人物の顔向きを特定する（ステップＳ７３）。次に、画像処理部１２１は、抽出情報テーブル１２２２を生成し、記憶部１２２に格納する（ステップＳ７４）。次に、画像処理部１２１は、エントリの連続数を計算し、予め記憶部に格納されているサイズテーブル１２２４を参照して、動線とともに表示する三角マークの大きさを特定し、動線情報テーブル１２２３を生成する（ステップＳ７５）。次に、画像処理部１２１は動線情報テーブル１２２３を参照して動線を生成し（ステップＳ７６）、三角マークとともに動線を表示部１３に出力する（ステップＳ７７）。
なお、画像処理部１２１は、表示部１３を介してユーザからのリクエストがあった場合に、表示部１３に出力するようにしても良い。
なお、本実施形態では、二等辺三角形の三角マークを用いて顔向きを示す構成にしたが、これに限定されるものではなく、方向を意味するものであれば何でも良い。例えば、矢印などの記号でも良い。また、例えば、図３で示される方向を意味するアルファベットＡ～Ｈを、その顔向きに顔が向けられていた時間に応じて、大きさを変えて動線とともに表示するようにしても良い。
図８～１２に、第１の実施形態の変形例における表示部１３の出力例を示す。
図８は三角マークの代わりに矢印を用いた場合の出力例である。矢印３２－１は図５の三角マーク３２に対応し、矢印３３－１は図５の三角マーク３３に対応し、矢印３４－１は図５の三角マーク３４に対応し、矢印３５－１は図５の三角マーク３５に対応し、矢印３６－１は図５の三角マーク３６に対応する。
図９は三角マークの代わりに方向を意味するアルファベットを用いた場合の出力例である。アルファベット「Ｂ」３２－２は図５の三角マーク３２に対応し、アルファベット「Ｂ」３３－２は図５の三角マーク３３に対応し、アルファベット「Ａ」３４－２は図５の三角マーク３４に対応し、アルファベット「Ｃ」３５－２は図５の三角マーク３５に対応し、アルファベット「Ｃ」３６－２は図５の三角マーク３６に対応する。
また、顔向きに応じて動線を色分けし、顔向きに応じた時間を色分けされた動線とともに表示するようにしても良い。
また、本実施形態では、（Ｘ３，Ｙ３）に対応する位置の顔向き方向が「Ａ」で一定であるものとして説明したが、ある位置における人物の顔向きが一定でない場合も考えられる。このような場合は、一定でないことを示す情報を記号など用いて動線とともに表示するようにしても良いし、複数の方向を示す三角マークを動線ともに表示するようにしても良い。また、人物が顔を向けていた時間が長い顔向きの三角マークを選択して動線とともに表示するようにしても良い。
例えば、抽出情報テーブル１２２２の位置１２２２－１が（Ｘ３，Ｙ３）である３つのエントリに対応する顔向きがそれぞれ異なる場合、図１０のように、図５の三角マーク３４に代えて、顔向きが一定ないことを意味するバツマーク３４－３を表示するようにしても良い。
例えば、抽出情報テーブル１２２２の位置１２２２－１が（Ｘ３，Ｙ３）である３つのエントリに対応する顔向きが時系列で「Ｈ」「Ｂ」「Ａ」となっていた場合、図１１のように、「Ｈ」「Ｂ」「Ａ」の３方向を意味する三角マークを重ねたもの３４－４を表示するようにしても良いし、図１２のように、「Ｈ」「Ｂ」「Ａ」の３方向を意味する三角マークを左から並べたもの３４－５を表示するようにしても良い。例えば、抽出情報テーブル１２２２の位置１２２２－１が（Ｘ３，Ｙ３）である３つのエントリに対応する顔向きが時系列に「Ｈ」「Ｈ」「Ａ」の場合、図１３のように、人物が顔を向けていた時間が最も長い「Ｈ」が意味する方向のみを三角マーク３４－６で表示するようにしても良い。なお、この場合、対応するエントリの連続数は「２」となるので、三角マーク３４－６は標準サイズの１．２５倍で表示される。
また、画像処理部１２１が、商品棚３０の前の通路３１に存在する人物の位置に応じて、顔向きおよび顔向きに応じた時間を動線とともに表示するか否かを判断する構成にしても良い。例えば、人物と商品棚３０との距離が予め設定された所定値以下の場合のみ、表示部１３が顔向きおよび顔向きに応じた時間を動線とともに表示するようにすることができる。また、商品棚３０と人物との距離が予め設定された所定値以下、かつ、人物の顔向きが商品棚３０の方向と推測される場合にのみ、表示部１３が顔向きおよび顔向きに応じた時間を動線とともに表示するようにすることができる。
このように、本実施形態では、人物などの対象の向きおよび向きに応じた時間を動線とともに表示することで、より精度の高いマーケティング情報を収集することができる。
次に、本発明の第２の実施形態について説明する。
第１の実施形態では、人物がその顔向きに顔を向けていた時間に応じて三角マークの大きさを変える構成としたが、第２の実施形態では、人物がその顔向きに顔を向けていた時間に応じて三角マークの色を変更する点が異なる。その他については第１の実施形態と同様であるので、詳細な説明は省略する。
図１４に、本実施形態における動線表示システム１４のブロック図を示す。
動線表示システム１４では、サイズテーブル１２２４に代えて、色テーブル１２２５が記憶部１２２に格納されている。
図１５に色テーブル１２２５を示す。色テーブル１２２５はエントリ数１２２５－１と色１２２５－２とから構成される。エントリ数１２２５－１はエントリの連続数を示す。
色１２２５－２はエントリの連続数に対応する動線の色を示す。
エントリの連続数が「１」の場合、三角マークは黒色で表示される。また、エントリの連続数が「２」の場合、三角マークはグレー色で表示される。また、エントリの連続数が「３」の場合、三角マークは青色で表示される。また、エントリの連続数が「４」の場合、三角マークは黄色で表示される。また、エントリの連続数が「５～８」の場合、三角マークは緑色で表示される。また、エントリの連続数が「９～１２」の場合、三角マークはオレンジ色で表示される。また、エントリの連続数が「１３以上」の場合、三角マークは赤色で表示される。
画像処理部１２１は、抽出情報テーブル１２２２および色テーブル１２２５を参照して動線情報テーブル１２２６を生成し、記憶部１２２に格納する。
図１６に本実施形態における動線情報テーブル１２２６を示す。
動線情報テーブル１２２６は出力位置１２２６－１と顔向き１２２６－２と色１２２６－３とから構成される。出力位置１２２６－１と顔向き１２２６－２は、第１実施形態における動線情報テーブル１２２３の出力位置１２２３－１と顔向き１２２３－２と同様である。本実施形態では、動線情報テーブル１２２３の出力サイズ１２２３－３に代えて色１２２６－３となっており、出力サイズ１２２３－３の「１．０倍」が色１２２６－３の「黒色」に対応し、出力サイズ１２２３－３の「１．５倍」が色１２２６－３の「青色」に対応している。
図１７に表示部１３の出力例を示す。三角マーク３２～３６の大きさは全て同じであるが、人物がその顔向きに顔を向けていた時間に応じて表示される色が変更されている。本実施形態においては、三角マーク３２，３３，３５，３６は黒色で表示されるが、三角マーク３４は青色で表示される。
図１８に、本実施形態における画像処理部１２１の処理フローを示す。
第１の実施形態では、ステップＳ７５において、表示する三角マークの大きさを特定していたのに対し、本実施形態では、色テーブル１２２５に基づいて表示する三角マークの色を特定する（ステップＳ１８０５）。その他のステップについては同様なので、詳細な説明は省略する。
本実施形態では、第１の実施形態と同様、人物などの対象の向きおよび向きに応じた時間を動線とともに表示するため、より精度の高いマーケティング情報を収集することができる。
次に第３の実施形態について説明する。
第１および第２の実施形態では、例えば、顔向きが「Ａ」の場合、人物が商品棚３０を見ていることが分かるが、商品棚３０のどの高さを見ているかまでは分からなかった。本実施形態では、人物が商品棚３０を見ていると推測される場合に、顔向きおよび顔向きに応じた時間に加え、人物の視線の高さを示す視線情報も動線に加えて表示する点が異なる。
画像処理部１２１は、撮像部１１から受け取った画像データから、抽出された人物の視線を検出し、人物の視線の高さを特定する。
本実施形態では、画像処理部１２１が、顔向きが「Ａ」の場合に人物が商品棚３０を見ていると判断するものとして説明するが、これに限定されない。例えば、画像処理部１２１が、顔向きが「Ａ」「Ｂ」「Ｈ」のいずれかの方向の場合に、人物が商品棚３０を見ていると判断するようにしても良い。
また、例えば、顔向きに関わらず、人物が抽出された全ての位置において、人物の視線の高さを特定するようにしても良い。また、商品棚３０と人物との距離が予め設定された所定値以下の場合にのみ視線情報を表示するようにしても良い。また、商品棚３０と人物との距離が予め設定された所定値以下、かつ、人物の顔向きが商品棚３０の方向と推測される場合にのみ視線情報を表示するようにしても良い。
図１９に、本実施形態における抽出情報テーブル１２２７を示す。
第１の実施形態の抽出情報テーブル１２２２と比べると、視線高さ１２２７－１が追加されているが、その他の要素は同様である。
本実施形態では、商品棚３０が３段の棚を備えるものとして説明する。人物が商品棚３０の上段の棚の高さに視線を向けた場合、視線高さ１２２５－１の値を「１」とする。人物が商品棚３０の中段の棚の高さに視線を向けた場合、視線高さ１２２５－１の値を「２」とする。人物が商品棚３０の下段の棚の高さに視線を向けた場合、視線高さ１２２５－１の値を「３」とする。
なお、図示しないが、記憶部１２２は、人物の視線高さと抽出情報テーブル１２２７の視線高さ１２２５－１の値との対応関係を示すテーブルを予め格納しているものとする。
画像処理部１２１は、抽出情報テーブル１２２７を参照し、動線情報テーブル１２２８を生成し、記憶部１２２に格納する。
図２０に動線情報テーブル１２２８を示す。
動線情報テーブル１２２８は、出力位置１２２８－１と顔向き１２２８－２と出力サイズ１２２８－３と視線高さ１２２８－４とから構成される。出力位置１２２８－１と顔向き１２２８－２と出力サイズ１２２８－３は、第１の実施形態の動線情報テーブル１２２３の出力位置１２２３－１と顔向き１２２３－２と出力サイズ１２２３－３と同様である。視線高さ１２２８－４は、出力位置１２２８－１の各座標に対応する対象の視線の高さを示す。
なお、本実施形態では、抽出情報テーブル１２２７の位置１２２７－１と動線情報テーブル１２２８の出力位置１２２８－１は基本的に同じであるが、抽出情報テーブル１２２７において位置１２２７－１の座標が同じで、かつ、対応する顔向きおよび視線高さも同じエントリが連続していた場合、動線情報テーブル１２２８では、その連続するエントリは１つに纏められている。
図２１に本実施形態における表示部１３の出力例を示す。
図２１では、三角マーク３４に視線高さ１２２８－４の値である「１」が重ねて表示されている。その他については、第１の実施形態の出力例を示す図５と同様なので、詳細な説明は省略する。
次に、情報処理装置１２の処理フローを示す。図２２は画像処理部１２１の処理を示すフローチャートである。
まず、画像処理部１２１は撮像部１１であるカメラから画像データを受け取り（ステップＳ２２０１）、画像データから人物を抽出する（ステップＳ２２０２）。次に、画像処理部１２１は、記憶部１２２に予め格納されている顔向き判定情報１２２１を参照して、抽出された人物の顔向きを特定する（ステップＳ２２０３）。次に、画像処理部１２１は人物の顔向きが商品棚３０の方向か否かを判定する（ステップＳ２２０４）。具体的には、顔向き１２２７－３が「Ａ」であるか否かを判定する。人物の顔向きが商品棚３０の方向を向いている場合、人物の視線高さを特定する（ステップＳ２２０５）。次に、画像処理部１２１は、抽出情報テーブル１２２７を生成し、記憶部１２２に格納する（ステップＳ２２０６）。一方、人物の顔向きが商品棚３０の方向を向いていない場合、人物の視線高さは特定せずに、抽出情報テーブル１２２７を生成し、記憶部１２２に格納する（ステップＳ２２０６）。次に、画像処理部１２１は、エントリの連続数を計算し、予め記憶部に格納されているサイズテーブル１２２３を参照して、動線情報ともに表示する三角マークの大きさを特定する（ステップＳ２２０７）。次に、画像処理部１２１は動線情報テーブル１２２８を生成し、記憶部１２２に格納する（ステップＳ２２０８）。次に、画像処理部１２１は動線情報テーブル１２２８を参照して動線を生成し（ステップＳ２２０９）、三角マークと視線情報とともに動線を表示部１３に出力する（ステップＳ２２１０）。
本実施形態では、抽出情報テーブル１２２７の位置１２２７－１の（Ｘ３，Ｙ３）に対応するいずれの視線高さ１２２７－１も「１」であるが、人物が複数の方向に視線を向けていた場合（例えば、位置１２２７－１の３つの（Ｘ３，Ｙ３）に対応する視線高さがそれぞれ異なる場合）、視線高さが特定できないことを示す情報を表示するようにしても良い。また、人物が複数の方向に視線を向けていた場合、視線高さ１２２７－１の値の上位いくつかの値を表示するようにしても良いし、視線高さ１２２７－１の値の平均値を表示するようにしても良い。
図２３および図２４は、第３の実施形態の変形例における表示部１３の出力例を示す。
例えば、抽出情報テーブル１２２７の３つの（Ｘ３，Ｙ３）に対応する視線高さ１２２７－３の値が時系列で「３」「２」「１」と異なる場合、図２３のように、視線が一定しないことを意味するバツマークを三角マークとともに表示しても良いし、図２４のように、視線高さを意味する数字を時系列に左から並べて表示するようにしても良い。
本実施形態によれば、対象の向きおよび向きに応じた時間に加え、人物の視線の高さを示す視線情報も動線とともに表示することで、より精度の高いマーケティング情報を収集することができる。
次に第４の実施形態について説明する。
第１および第２の実施形態では、顔向きおよび顔向きに応じた時間を動線に付加して表示する構成であるが、本実施形態では、さらに抽出された人物の歩行速度の情報を付加して表示する点が異なる。
図２５に本実施形態における動線表示システム２５のブロック図を示す。
画像処理部１２１は、抽出情報テーブル１２２２を参照して速度情報テーブル１２２９を生成し、記憶部１２２に格納する。また、記憶部１２２には線情報テーブル１２２１０が予め格納されている。
図２６に速度情報テーブル１２２９を示す。速度情報テーブル１２２９は区間１２２９－１と速度１２２９－２とから構成される。
第１区間を（Ｘ１，Ｙ１）から（Ｘ２，Ｙ２）までとし、第２区間を（Ｘ２，Ｙ２）から（Ｘ３，Ｙ３）までとし、第３区間を（Ｘ３，Ｙ３）から（Ｘ４，Ｙ４）までとし、第４区間を（Ｘ４，Ｙ４）から（Ｘ５，Ｙ５）までとする。
画像処理部１２１は各区間の歩行速度を計算し、速度情報テーブル１２２９に格納する。
本実施形態では、図２６の速度情報テーブル１２２９に示されるように、第１区間および第２区間の歩行速度は０．６ｍ／ｓであり、第３区間の歩行速度は１．２ｍ／ｓであり、第４区間の歩行速度は１．６ｍ／ｓである。
図２７に線情報テーブル１２２１０を示す。
線情報テーブル１２２１０は速度１２２１０－１と線１２２１０－２とから構成される。歩行速度が０．８ｍ／ｓ未満の場合には実線で表示され、歩行速度が０．８ｍ／ｓ以上１．６ｍ／ｓ未満の場合には破線で表示され、歩行速度が１．６ｍ／ｓ以上の場合には点線で表示されることが示されている。なお、表示される線の種類はこれに限定されるものではなく、太線や二重線などで良い。
図２８に本実施形態における表示部１３の出力例を示す。
三角マーク３２から３３までが第１区間に相当し、歩行速度は０．６ｍ／ｓなので実線で表示されている。また、三角マーク３３から３４までが第２区間に相当し、歩行速度は０．６ｍ／ｓなので実線で表示されている。また、三角マーク３４から３５までが第３区間に相当し、歩行速度が１．２ｍ／ｓなので、破線で表示されている。また、三角マーク３５から３６までが第４区間に相当し、１．６ｍ／ｓなので、点線で表示されている。
次に、本実施形態における情報処理装置１２の処理フローについて説明する。図２９は画像処理部１２１の処理を示すフローチャートである。
まず、画像処理部１２１は撮像部１１であるカメラから画像データを受け取り（ステップＳ２９０１）、画像データから人物を抽出する（ステップＳ２９０２）。次に、画像処理部１２１は、記憶部１２２に予め格納されている顔向き判定情報１２２１を参照して、抽出された人物の顔向きを特定する（ステップＳ２９０３）。次に、画像処理部１２１は、抽出情報テーブル１２２２を生成し、記憶部１２２に格納する（ステップＳ２９０４）。次に、画像処理部１２１は、エントリの連続数を計算し、予め記憶部１２２に格納されているサイズテーブル１２２３を参照して、動線情報とともに表示する三角マークの大きさを特定する（ステップＳ２９０５）。次に、画像処理部１２１は、各区間おける人物の歩行速度を計算し（ステップＳ２９０６）、速度情報テーブル１２２９を生成して記憶部１２２に格納する（ステップＳ２９０７）。
次に、画像処理部１２１は、線情報テーブル１２２１０を参照し、各区間における動線の種類を特定し（ステップＳ２９０８）、ステップＳ２９０８で特定された種類の動線を生成する（ステップＳ２９０９）。次に、画像処理部１２１は三角マークとともに動線を表示部１３に出力する（ステップＳ２９１０）。
本実施形態では、対象の向きおよび向きに応じた時間に加えて人物の歩行速度の情報も付加して動線を表示するため、より精度の高いマーケティング情報を収集することができる。
次に第５の実施形態について説明する。
本実施形態では、第１～４の実施形態で用いられた情報が記憶部１２２に格納されており、ユーザからのリクエストに応じて、表示部１３における出力を変更できる点が第１の実施形態と異なる。その他の構成については、第１の実施形態と同様であるため、詳細な説明は省略する。
本実施形態では、記憶部１２２は第１～４の実施形態で格納されていたテーブルを全て備えている。表示部１３を介してユーザが表示部１３における表示方法を指示すると、画像処理部１２１が記憶部１２２を参照し、ユーザのリクエストに応じた動線に関する情報を生成して表示部１３に出力する。例えば、顔向きを三角マークで表示し、かつ、その顔向きに顔を向けていた時間に応じて三角マークの大きさを変えて表示したい旨のリクエストを出力部１３から受け取ると、画像処理部１２１は、第１の実施形態における図５のような情報を表示部１３に出力する。
本実施形態では、ユーザのリクエストに応じて出力情報が変更されるため、ユーザはより適切なマーケティング情報を収集することができる。
なお、第１および第２の実施形態では、顔向きおよび顔向きに応じた時間を動線に付加して表示する構成であったが、顔向きに応じた時間は表示せずに、顔向きに応じて動線の色分けをして表示するようにしても良い。例えば、顔向きと動線の色情報との対応テーブルが記憶部１２２に予め格納されており、その対応テーブル（顔向きと動線の色情報との対応テーブル）を参照して、顔向きに応じて、動線を色分けして表示する。
また、顔向きおよび顔向きに応じた時間は表示せずに、人物の歩行速度に応じて動線の種類を変えて表示するようにしても良い。また、人物の歩行速度に応じて動線の種類を変えて表示し、その動線に顔向きのみ付加して表示するようにしても良い。また、顔向きに応じた時間は表示せずに、顔向きおよび視線の高さを示す視線情報のみを動線に付加して表示するようにしても良い。
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
［付記］
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
画像を撮影する撮像部と、
前記画像から対象を抽出し、前記対象の動線と前記対象の向きと当該向きに応じた時間とを特定する情報処置装置と、
前記対象の向きおよび前記向きに応じた時間を前記対象の動線とともに表示する表示部と、
を備えることを特徴とする動線表示システム。
（付記２）
前記情報処理装置は、
前記画像から対象を抽出し、前記対象の位置と前記画像の撮影時間と前記対象の向きとを特定する画像処理部と、
前記対象の位置を示す位置情報と前記撮影時間を示す撮影時間情報と前記対象の向きを示す向き情報とを対応付けて格納する記憶部と、
を備え、
前記画像処理部は、前記位置情報と前記撮影時間情報と前記向き情報とに基づいて前記対象の動線情報と前記向きに応じた時間を示す時間情報とを特定し、前記向き情報および前記時間情報を前記対象の動線情報とともに表示させることを特徴とする付記１に記載の動線表示システム。
（付記３）
前記向き情報は、前記対象が顔を向けていた時間を示すことを特徴とする付記２に記載の動線表示システム。
（付記４）
前記表示部は、前記向き情報を記号で表示し、前記時間情報に基づいて前記記号の表示を変更する付記２または３に記載の動線表示システム。
（付記５）
前記表示部は、前記向き情報に基づいて、前記記号の大きさまたは色を変更することを特徴とする付記４に記載の動線表示システム。
（付記６）
前記表示部は、前記向き情報および前記時間情報を前記対象の動線情報に重ねて表示することを特徴とする付記２ないし５のいずれかに記載の動線表示システム。
（付記７）
前記情報処理装置は、前記対象の画像から前記対象の視線の高さを示す視線情報を生成し、
前記表示部は、前記向き情報と前記時間情報と前記視線情報とを前記対象の動線情報とともに表示することを特徴とする付記２ないし６のいずれかに記載の動線表示システム。
（付記８）
前記情報処理装置は、前記対象の画像から前記対象の歩行速度を示す速度情報を生成し、
前記表示部は、前記向き情報と前記時間情報と前記速度情報とを前記対象の動線情報とともに表示することを特徴とする付記２ないし７のいずれかに記載の動線表示システム。
（付記９）
前記表示部は、前記速度情報に基づいて、前記動線情報の線の種類を変更して表示することを特徴とする付記８記載の動線表示システム。
（付記１０）
前記表示部は、前記向き情報に応じて前記対象の動線情報を色分けして表示することを特徴とする付記１ないし３のいずれかに記載の動線表示システム。
（付記１１）
撮影された画像から対象を抽出することと、
前記対象の動線と前記対象の向きと当該向きに応じた時間とを特定することと、
前記対象の向きおよび前記向きに応じた時間を前記対象の動線とともに表示することと、
を備えることを特徴とする動線表示方法。
（付記１２）
前記特定することは、前記対象の位置を示す位置情報と前記対象の撮影時間を示す撮影時間情報と前記対象の向きを示す向き情報とに基づいて、前記対象の動線情報と前記向きに応じた時間を示す時間情報とを特定し、
前記表示することは、前記向き情報および前記時間情報を前記対象の動線情報とともに表示することを特徴とする付記１１に記載の動線表示方法。
（付記１３）
前記向き情報は、前記対象が顔を向けていた時間を示すことを特徴とする付記１２に記載の動線表示方法。
（付記１４）
コンピュータに
撮影された画像から対象を抽出する抽出ステップと、
前記対象の動線と前記対象の向きと当該向きに応じた時間とを特定する特定ステップと、
前記対象の向きおよび前記向きに応じた時間を前記対象の動線とともに表示する表示ステップと、
を実行させるためのプログラムを記録したコンピュータ読取可能なプログラム記録媒体。
（付記１５）
前記特定ステップは、前記対象の位置を示す位置情報と前記対象の撮影時間を示す撮影時間情報と前記対象の向きを示す向き情報とに基づいて、前記対象の動線情報と前記向きに応じた時間を示す時間情報とを特定し、
前記表示ステップは、前記向き情報および前記時間情報を前記対象の動線情報とともに表示することを特徴とする付記１４に記載のプログラム記録媒体。
（付記１６）
前記向き情報は、前記対象が顔を向けていた時間を示すことを特徴とする付記１５に記載のプログラム記録媒体。
この出願は、２０１６年３月３１日に出願された日本出願特願２０１６－０６９９２５を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１ 動線表示システム
１１ 撮像部
１２ 情報処理装置
１３ 表示部
１４ 動線表示システム
１２１ 画像処理部
１２２ 記憶部
１２２１ 顔向き判定情報
１２２２ 抽出情報テーブル
１２２３ 動線情報テーブル
１２２４ サイズテーブル
１２２５ 色テーブル
１２２６ 動線情報テーブル
１２２７ 抽出情報テーブル
１２２８ 動線情報テーブル
１２２９ 速度情報テーブル
１２２１０ 線情報テーブル
１２２２－１ 位置
１２２２－２ 撮影時間
１２２２－３ 顔向き
１２２３－１ 出力位置
１２２３－２ 顔向き
１２２３－３ 出力サイズ
１２２４－１ エントリ数
１２２４－２ サイズ
１２２５－１ エントリ数
１２２５－２ 色
１２２６－１ 出力位置
１２２６－２ 顔向き
１２２６－３ 色
１２２７－１ 位置
１２２７－２ 撮影時間
１２２７－３ 顔向き
１２２７－４ 視線高さ
１２２８－１ 出力位置
１２２８－２ 顔向き
１２２８－３ 出力サイズ
１２２８－４ 視線高さ
１２２９－１ 区間
１２２９－２ 速度
１２２１０－１ 速度
１２２１０－２ 線
２５ 動線表示システム
３０ 商品棚
３１ 通路
３２～３５ 三角マーク
３２－１～３６－１ 矢印
３２－２～３６－２ 方向を意味するアルファベット
３４－１ 矢印
３４－２ 方向を意味するアルファベット
３４－３ 顔向きが一定ないことを意味するバツマーク
３４－４ 矢印
３４－５ 矢印
３４－６ 矢印

Claims (4)

  1. 画像を撮像する撮像手段と、
    前記画像から人物を抽出し、前記人物の動線と、前記人物の位置と、当該位置における前記人物の向きと、前記人物が前記位置において前記向きを向いていた時間と、を特定する特定手段と、
    特定された前記位置、前記向き、および前記時間に応じた記号を、特定された前記人物の動線とともに表示する表示手段と、
    を備え、
    前記特定手段は、前記位置において前記人物が複数の向きを向いていた場合、各向きに応じた時間を特定し、
    前記表示手段は、前記位置において前記複数の向きのそれぞれについて特定された前記時間のうち最も長い時間である向きに応じた記号を、前記人物の動線とともに表示する、
    情報処理システム。
  2. 撮影された画像から人物を抽出し、前記人物の動線と、前記人物の位置と、当該位置における前記人物の向きと、前記人物が前記位置において前記向きを向いていた時間と、を特定する特定手段と、
    特定された前記位置、前記向き、および前記時間に応じた記号を、特定された前記人物の動線とともに表示手段に表示させる表示制御手段と、
    を備え、
    前記特定手段は、特定した前記位置において前記人物が複数の向きを向いていた場合、各向きに応じた時間を特定し、
    前記表示手段は、前記位置において前記複数の向きのそれぞれについて特定された前記時間のうち最も長い時間である向きに応じた記号を、前記人物の動線とともに表示する、
    情報処理装置。
  3. 撮影された画像から人物を抽出し、
    前記人物の動線と、前記人物の位置と、当該位置における前記人物の向きと、前記人物が前記位置において前記向きを向いていた時間と、を特定し、
    特定された前記位置、前記向き、および前記時間に応じた記号を、特定された前記人物の動線とともに表示する、
    処理を実行し、
    前記特定する処理では、前記位置において前記人物が複数の向きを向いていた場合、各向きに応じた時間を特定し、
    前記表示する処理では、前記位置において前記複数の向きのそれぞれについて特定された前記時間のうち最も長い時間である向きに応じた記号を、前記人物の動線とともに表示する、
    情報処理方法。
  4. コンピュータに、
    撮影された画像から人物を抽出し、
    前記人物の動線と、前記人物の位置と、当該位置における前記人物の向きと、前記人物が前記位置において前記向きを向いていた時間と、を特定し、
    特定された前記位置、前記向き、および前記時間に応じた記号を、特定された前記人物の動線とともに表示する、
    処理を実行させ、
    前記特定する処理では、前記位置において前記人物が複数の向きを向いていた場合、各向きに応じた時間を特定し、
    前記表示する処理では、前記位置において前記複数の向きのそれぞれについて特定された前記時間のうち最も長い時間である向きに応じた記号を、前記人物の動線とともに表示する、
    プログラム。
JP2020148282A 2016-03-31 2020-09-03 情報処理システム、情報処理装置、情報処理方法およびプログラム Active JP7131587B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016069925 2016-03-31
JP2016069925 2016-03-31

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018509151A Division JP6798549B2 (ja) 2016-03-31 2017-03-23 動線表示システム、動線表示方法および動線表示プログラム

Publications (2)

Publication Number Publication Date
JP2021002840A JP2021002840A (ja) 2021-01-07
JP7131587B2 true JP7131587B2 (ja) 2022-09-06

Family

ID=59964405

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018509151A Active JP6798549B2 (ja) 2016-03-31 2017-03-23 動線表示システム、動線表示方法および動線表示プログラム
JP2020148282A Active JP7131587B2 (ja) 2016-03-31 2020-09-03 情報処理システム、情報処理装置、情報処理方法およびプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018509151A Active JP6798549B2 (ja) 2016-03-31 2017-03-23 動線表示システム、動線表示方法および動線表示プログラム

Country Status (3)

Country Link
US (2) US10740934B2 (ja)
JP (2) JP6798549B2 (ja)
WO (1) WO2017170084A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017170084A1 (ja) * 2016-03-31 2017-10-05 日本電気株式会社 動線表示システム、動線表示方法およびプログラム記録媒体
WO2019162988A1 (ja) 2018-02-20 2019-08-29 株式会社ソシオネクスト 表示制御装置、表示制御システム、表示制御方法、及びプログラム
JP7004116B2 (ja) 2019-07-19 2022-01-21 三菱電機株式会社 表示処理装置、表示処理方法及びプログラム
JP6996669B2 (ja) * 2019-10-03 2022-02-04 三菱電機株式会社 表示処理装置、表示処理方法及びプログラム
JP2023155637A (ja) * 2022-04-11 2023-10-23 株式会社日立製作所 軌跡表示装置および方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010268158A (ja) 2009-05-13 2010-11-25 Fujifilm Corp 画像処理システム、画像処理方法およびプログラム
JP2011248548A (ja) 2010-05-25 2011-12-08 Fujitsu Ltd コンテンツ決定プログラムおよびコンテンツ決定装置
JP2011248836A (ja) 2010-05-31 2011-12-08 Nomura Research Institute Ltd 滞留検出システム及びプログラム
WO2015129210A1 (ja) 2014-02-25 2015-09-03 日本電気株式会社 情報処理装置、データ分析方法、及び、記録媒体
WO2017170084A1 (ja) 2016-03-31 2017-10-05 日本電気株式会社 動線表示システム、動線表示方法およびプログラム記録媒体

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3800257B2 (ja) 1996-08-02 2006-07-26 オムロン株式会社 注目情報計測方法及び装置並びにそれを用いた各種システム
JPH1185956A (ja) * 1997-09-10 1999-03-30 Toshiba Corp 軌跡表示装置
JPH11281661A (ja) 1998-02-02 1999-10-15 Sanyo Electric Co Ltd 顔向き検出方法及びその装置
JP4476424B2 (ja) 2000-04-05 2010-06-09 本田技研工業株式会社 画像処理装置およびその方法ならびにプログラム記録媒体
US7933797B2 (en) * 2001-05-15 2011-04-26 Shopper Scientist, Llc Purchase selection behavior analysis system and method
US7349799B2 (en) * 2004-04-23 2008-03-25 Lg Electronics Inc. Apparatus and method for processing traffic information
JP2006035071A (ja) 2004-07-26 2006-02-09 Takumi Giken:Kk 所定長さ物品選別装置
US8289390B2 (en) * 2004-07-28 2012-10-16 Sri International Method and apparatus for total situational awareness and monitoring
US20060067562A1 (en) * 2004-09-30 2006-03-30 The Regents Of The University Of California Detection of moving objects in a video
JP2006221329A (ja) * 2005-02-09 2006-08-24 Toshiba Corp 行動予測装置、行動予測方法および行動予測プログラム
JP2007003448A (ja) * 2005-06-27 2007-01-11 Nippon Telegr & Teleph Corp <Ntt> 移動情報生成装置、移動情報生成方法、プログラムおよび記憶媒体
WO2008134562A2 (en) * 2007-04-27 2008-11-06 Nielsen Media Research, Inc. Methods and apparatus to monitor in-store media and consumer traffic related to retail environments
US7908237B2 (en) * 2007-06-29 2011-03-15 International Business Machines Corporation Method and apparatus for identifying unexpected behavior of a customer in a retail environment using detected location data, temperature, humidity, lighting conditions, music, and odors
US7734513B2 (en) * 2007-07-13 2010-06-08 Sunrise R&D Holdings, Llc System of tracking the real time location of shoppers, associates, managers and vendors through a communication multi-network within a store
JP4967949B2 (ja) * 2007-09-18 2012-07-04 トヨタ自動車株式会社 燃料電池車両
US8077915B2 (en) * 2007-10-12 2011-12-13 Sony Ericsson Mobile Communications Ab Obtaining information by tracking a user
JP4585580B2 (ja) * 2008-04-24 2010-11-24 東芝テック株式会社 人物動線追跡システム
JP2010002997A (ja) * 2008-06-18 2010-01-07 Toshiba Tec Corp 人物行動分析装置及び人物行動分析プログラム
JP5634266B2 (ja) * 2008-10-17 2014-12-03 パナソニック株式会社 動線作成システム、動線作成装置及び動線作成方法
US8570376B1 (en) * 2008-11-19 2013-10-29 Videomining Corporation Method and system for efficient sampling of videos using spatiotemporal constraints for statistical behavior analysis
US8239277B2 (en) * 2009-03-31 2012-08-07 The Nielsen Company (Us), Llc Method, medium, and system to monitor shoppers in a retail or commercial establishment
US8812344B1 (en) * 2009-06-29 2014-08-19 Videomining Corporation Method and system for determining the impact of crowding on retail performance
CN102395994B (zh) * 2010-03-18 2015-06-10 松下电器产业株式会社 全景图像处理装置及全景图像处理方法
JP2012038106A (ja) * 2010-08-06 2012-02-23 Canon Inc 情報処理装置、情報処理方法、およびプログラム
AU2010257454B2 (en) * 2010-12-24 2014-03-06 Canon Kabushiki Kaisha Summary view of video objects sharing common attributes
US9633328B2 (en) * 2011-11-23 2017-04-25 Shopper Scientist Llc Imputed probabilistic product location based on shopper path and transaction log data
FI20125277L (fi) * 2012-03-14 2013-09-15 Mirasys Business Analytics Oy Menetelmä, järjestely ja tietokoneohjelmatuote videoinformaation koordinoimiseksi muun mittaustiedon kanssa
US9536219B2 (en) * 2012-04-20 2017-01-03 Hand Held Products, Inc. System and method for calibration and mapping of real-time location data
JP5921329B2 (ja) * 2012-05-17 2016-05-24 キヤノン株式会社 映像処理装置、追尾物体の管理方法、および、プログラム
US9306660B2 (en) * 2012-10-22 2016-04-05 Qualcomm Technologies International, Ltd. Dynamic interactive zone driven proximity awareness system
JP2014093204A (ja) * 2012-11-05 2014-05-19 Sony Corp 音響照明装置およびプログラム
US9996221B2 (en) * 2013-12-01 2018-06-12 Upskill, Inc. Systems and methods for look-initiated communication
US20150154675A1 (en) * 2013-12-02 2015-06-04 Ebay Inc. Customer shopping help system
JP5597781B1 (ja) * 2014-03-26 2014-10-01 パナソニック株式会社 滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法
US10176683B2 (en) * 2014-09-18 2019-01-08 Honeywell International Inc. Virtual panoramic thumbnail to summarize and visualize video content in video surveillance and in connected home business
JP5915960B1 (ja) * 2015-04-17 2016-05-11 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線分析方法
US10217120B1 (en) * 2015-04-21 2019-02-26 Videomining Corporation Method and system for in-store shopper behavior analysis with multi-modal sensor fusion
JP6444813B2 (ja) * 2015-06-11 2018-12-26 株式会社日立製作所 分析システム、及び、分析方法
US20170049406A1 (en) * 2015-08-18 2017-02-23 Covidien Lp Simultaneous display of user location and physiological data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010268158A (ja) 2009-05-13 2010-11-25 Fujifilm Corp 画像処理システム、画像処理方法およびプログラム
JP2011248548A (ja) 2010-05-25 2011-12-08 Fujitsu Ltd コンテンツ決定プログラムおよびコンテンツ決定装置
JP2011248836A (ja) 2010-05-31 2011-12-08 Nomura Research Institute Ltd 滞留検出システム及びプログラム
WO2015129210A1 (ja) 2014-02-25 2015-09-03 日本電気株式会社 情報処理装置、データ分析方法、及び、記録媒体
WO2017170084A1 (ja) 2016-03-31 2017-10-05 日本電気株式会社 動線表示システム、動線表示方法およびプログラム記録媒体

Also Published As

Publication number Publication date
US10740934B2 (en) 2020-08-11
US20190073810A1 (en) 2019-03-07
WO2017170084A1 (ja) 2017-10-05
JP2021002840A (ja) 2021-01-07
US11276210B2 (en) 2022-03-15
US20200402278A1 (en) 2020-12-24
JPWO2017170084A1 (ja) 2019-01-10
JP6798549B2 (ja) 2020-12-09

Similar Documents

Publication Publication Date Title
JP7131587B2 (ja) 情報処理システム、情報処理装置、情報処理方法およびプログラム
JP7151814B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6176388B2 (ja) 画像識別装置、画像センサ、画像識別方法
US10489640B2 (en) Determination device and determination method of persons included in imaging data
CN102959585A (zh) 属性确定方法、属性确定装置、程序、记录介质及属性确定系统
CN110222616B (zh) 行人异常行为检测方法、图像处理装置及存储装置
CN104615997B (zh) 一种基于多摄像机的人脸防伪方法
JP2017059945A (ja) 画像解析装置及び画像解析方法
JP6503079B2 (ja) 特定人物検知システム、特定人物検知方法および検知装置
JP7268725B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP4367010B2 (ja) システム、プログラムおよび方法
KR20200076267A (ko) 골격의 길이 정보를 이용한 제스쳐 인식 방법 및 처리 시스템
CN107231519B (zh) 视频处理装置及控制方法
JP2019029747A (ja) 画像監視システム
JP4659722B2 (ja) 人体特定領域抽出・判定装置、人体特定領域抽出・判定方法、人体特定領域抽出・判定プログラム
KR102250712B1 (ko) 전자 장치 및 제어 방법
JP6301759B2 (ja) 顔識別装置及びプログラム
JP5448952B2 (ja) 同一人判定装置、同一人判定方法および同一人判定プログラム
WO2012153868A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP7211495B2 (ja) 教師データ生成装置
JP7152651B2 (ja) プログラム、情報処理装置、及び情報処理方法
WO2021100214A1 (ja) 情報処理方法、情報処理装置、及び制御プログラム
JP2016162103A (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
JP7211496B2 (ja) 教師データ生成装置
JP6287527B2 (ja) 情報処理装置、方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200903

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210914

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20211022

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220726

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220808

R151 Written notification of patent or utility model registration

Ref document number: 7131587

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151