JP5679086B1 - 情報処理装置及び情報処理プログラム - Google Patents

情報処理装置及び情報処理プログラム Download PDF

Info

Publication number
JP5679086B1
JP5679086B1 JP2014206171A JP2014206171A JP5679086B1 JP 5679086 B1 JP5679086 B1 JP 5679086B1 JP 2014206171 A JP2014206171 A JP 2014206171A JP 2014206171 A JP2014206171 A JP 2014206171A JP 5679086 B1 JP5679086 B1 JP 5679086B1
Authority
JP
Japan
Prior art keywords
person
module
type
information processing
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014206171A
Other languages
English (en)
Other versions
JP2016076091A (ja
Inventor
竜示 狩野
竜示 狩野
大西　健司
健司 大西
加藤　典司
典司 加藤
啓一 根本
啓一 根本
尾崎　良太
良太 尾崎
大輔 池田
大輔 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2014206171A priority Critical patent/JP5679086B1/ja
Application granted granted Critical
Publication of JP5679086B1 publication Critical patent/JP5679086B1/ja
Priority to US14/699,430 priority patent/US9785829B2/en
Publication of JP2016076091A publication Critical patent/JP2016076091A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】構造物内の撮影装置によって撮影された画像内の人物に対して、その構造物内の通信装置と通信を行うことができる携帯端末を所持している第１の種類の人物を特定するようにした情報処理装置を提供する。【解決手段】情報処理装置の設定手段は、構造物内の通信装置と、第１の種類の人物が所持する携帯端末とが通信を行った場合、該第１の種類の人物の位置を、該通信装置から予め定められた距離内の領域に設定し、抽出手段は、前記構造物内の撮影装置によって撮影された画像から人物を抽出し、対応付手段は、前記領域と前記抽出された人物の位置の関係が、予め定められた条件に適合する場合は、該人物と前記第１の種類の人物を示す情報を対応付ける。【選択図】図１

Description

本発明は、情報処理装置及び情報処理プログラムに関する。
特許文献１には、ユニホーム等の着用等が不要で撮像画像中の店員を顧客と確実に分離して顧客集計精度を向上する店員顧客分離集計装置を提供することを課題とし、店員顧客分離集計装置は、監視エリアを上方から撮像するカメラにより順次撮像された撮像画像から人を認識する人認識部と、人認識部により認識された人を撮像画像内で個別に追跡する追跡部と、撮像画像内に店員判定のための立ち位置エリアを設定し、立ち位置エリア内での人の静止時間を設定する設定部と、追跡部により追跡している人が撮像画像内に設定された立ち位置エリア内に一定時間静止していた場合、その人を店員であると判定する店員判定部とを備えることが開示されている。
特開２０１１−０８６０４５号公報
本発明は、構造物内の撮影装置によって撮影された画像内の人物に対して、その構造物内の通信装置と通信を行うことができる携帯端末を所持している第１の種類の人物を特定するようにした情報処理装置及び情報処理プログラムを提供することを目的としている。
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、構造物内の通信装置と、第１の種類の人物が所持する携帯端末とが通信を行った場合、該第１の種類の人物の位置を、該通信装置から予め定められた距離内の領域に設定する設定手段と、前記構造物内の撮影装置によって撮影された画像から人物を抽出する抽出手段と、前記領域と前記抽出された人物の位置の関係が、予め定められた条件に適合する場合は、該人物と前記第１の種類の人物を示す情報を対応付ける対応付手段を有する情報処理装置である。
請求項２の発明は、構造物内の通信装置と、第１の種類の人物が所持する携帯端末とが通信を行った場合、該第１の種類の人物の位置を、該通信装置の位置に設定する設定手段と、前記構造物内の撮影装置によって撮影された画像から人物を抽出する抽出手段と、前記位置と前記抽出された人物の位置の関係が、予め定められた条件に適合する場合は、該人物と前記第１の種類の人物を示す情報を対応付ける対応付手段を有する情報処理装置である。
請求項３の発明は、構造物内の複数の通信装置と、第１の種類の人物が所持する携帯端末との間の通信強度に応じて、該人物の位置を設定する設定手段と、前記構造物内の撮影装置によって撮影された画像から人物を抽出する抽出手段と、前記位置と前記抽出された人物の位置の関係が、予め定められた条件に適合する場合は、該人物と前記第１の種類の人物を示す情報を対応付ける対応付手段を有する情報処理装置である。
請求項４の発明は、前記対応付手段は、前記第１の種類の人物を示す情報を対応付けた以外の人物に第２の種類の人物を示す情報を対応付ける、請求項１から３のいずれか一項に記載の情報処理装置である。
請求項５の発明は、コンピュータを、構造物内の通信装置と、第１の種類の人物が所持する携帯端末とが通信を行った場合、該第１の種類の人物の位置を、該通信装置から予め定められた距離内の領域に設定する設定手段と、前記構造物内の撮影装置によって撮影された画像から人物を抽出する抽出手段と、前記領域と前記抽出された人物の位置の関係が、予め定められた条件に適合する場合は、該人物と前記第１の種類の人物を示す情報を対応付ける対応付手段として機能させるための情報処理プログラムである。
請求項６の発明は、コンピュータを、構造物内の通信装置と、第１の種類の人物が所持する携帯端末とが通信を行った場合、該第１の種類の人物の位置を、該通信装置の位置に設定する設定手段と、前記構造物内の撮影装置によって撮影された画像から人物を抽出する抽出手段と、前記位置と前記抽出された人物の位置の関係が、予め定められた条件に適合する場合は、該人物と前記第１の種類の人物を示す情報を対応付ける対応付手段として機能させるための情報処理プログラムである。
請求項７の発明は、コンピュータを、構造物内の複数の通信装置と、第１の種類の人物が所持する携帯端末との間の通信強度に応じて、該人物の位置を設定する設定手段と、前記構造物内の撮影装置によって撮影された画像から人物を抽出する抽出手段と、前記位置と前記抽出された人物の位置の関係が、予め定められた条件に適合する場合は、該人物と前記第１の種類の人物を示す情報を対応付ける対応付手段として機能させるための情報処理プログラムである。
請求項１の情報処理装置によれば、構造物内の撮影装置によって撮影された画像内の人物に対して、その構造物内の通信装置と通信を行うことができる携帯端末を所持する第１の種類の人物を特定することができる。
請求項２の情報処理装置によれば、構造物内の撮影装置によって撮影された画像内の人物に対して、その構造物内の通信装置と通信を行うことができる携帯端末を所持する第１の種類の人物を特定することができる。
請求項３の情報処理装置によれば、構造物内の撮影装置によって撮影された画像内の人物に対して、その構造物内の複数の通信装置と通信を行うことができる携帯端末を所持する第１の種類の人物を特定することができる。
請求項４の情報処理装置によれば、第２の種類の人物を特定することができる。
請求項５の情報処理プログラムによれば、構造物内の撮影装置によって撮影された画像内の人物に対して、その構造物内の通信装置と通信を行うことができる携帯端末を所持する第１の種類の人物を特定することができる。
請求項６の情報処理プログラムによれば、構造物内の撮影装置によって撮影された画像内の人物に対して、その構造物内の通信装置と通信を行うことができる携帯端末を所持する第１の種類の人物を特定することができる。
請求項７の情報処理プログラムによれば、構造物内の撮影装置によって撮影された画像内の人物に対して、その構造物内の複数の通信装置と通信を行うことができる携帯端末を所持する第１の種類の人物を特定することができる。
第１の実施の形態の構成例についての概念的なモジュール構成図である。 本実施の形態を利用したシステム構成例を示す説明図である。 第１の実施の形態による処理例を示す説明図である。 第１の実施の形態による処理例を示す説明図である。 人物属性テーブルのデータ構造例を示す説明図である。 店員テーブルのデータ構造例を示す説明図である。 第１の実施の形態による処理例を示すフローチャートである。 第２の実施の形態の構成例についての概念的なモジュール構成図である。 第２の実施の形態による処理例を示す説明図である。 第２の実施の形態による処理例を示すフローチャートである。 第３の実施の形態の構成例についての概念的なモジュール構成図である。 第３の実施の形態による処理例を示す説明図である。 第３の実施の形態による処理例を示すフローチャートである。 第３の実施の形態による処理例を示す説明図である。 第３の実施の形態による処理例を示す説明図である。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。
以下、図面に基づき本発明を実現するにあたっての好適な各種の実施の形態の例を説明する。
図１は、第１の実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム（コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム）、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係等）の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、２以上の値（もちろんのことながら、全ての値も含む）が同じであってもよい。また、「Ａである場合、Ｂをする」という意味を有する記載は、「Ａであるか否かを判断し、Ａであると判断した場合はＢをする」の意味で用いる。ただし、Ａであるか否かの判断が不要である場合を除く。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（社会システム）にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）内のレジスタ等を含んでいてもよい。
第１の実施の形態である情報処理装置１００は、第１の種類の人物と第１の種類ではない人物（以下、第２の種類の人物という）とを区別するものであって、図１の例に示すように、第１の位置属性計算モジュール１０５、第２の位置属性計算モジュール１２０、照合モジュール１２５、属性判定モジュール１３０、解析結果蓄積モジュール１３５、情報表示モジュール１４０を有している。情報処理装置１００は、第１の位置情報抽出モジュール１８０、第２の位置情報抽出モジュール１９０と接続されている。第１の位置情報抽出モジュール１８０、第２の位置情報抽出モジュール１９０は、構造物内に設置されている。ここで構造物とは、例えば、店舗、学校、教室、講堂、ビル、駅、空港、アミューズメント施設、船舶等がある。そして、第１の種類の人物と第２の種類の人物が混在して、これらの構造物内で行動しており、情報処理装置１００は、第２の種類の人物の動線（人物が移動した軌跡）を検出する場合に用いる。店舗である場合は、第１の種類の人物として店員、第２の種類の人物として顧客等となる。また、学校、教室等の場合は、第１の種類の人物として教師、第２の種類の人物として学生等となる。また、駅の場合は、第１の種類の人物として駅員、第２の種類の人物として乗客等となる。なお、これらは例示であって、第１の種類の人物と第２の種類の人物は、逆であってもよい。以下、主に構造物として店舗、第１の種類の人物として店員、第２の種類の人物として顧客を例示して説明する。なお、第１の種類の人物は、第１の位置情報抽出モジュール１８０と通信可能な携帯端末を所持している。所持には、装着しているという状態を含めてもよい。したがって、携帯端末の位置とその携帯端末を所持している人物の位置とは同義である。
情報処理装置１００は、例えば、店舗内の人物を画像から検出して動線を取得する。店員は携帯端末を所持し、携帯端末を所持している人物の動線を、画像から取得した動線から差し引くことで、来店した顧客の動線を得る。
なお、以下、人物という場合は、その文脈において、人物を示す情報を含む。
第１の位置情報抽出モジュール１８０、第２の位置情報抽出モジュール１９０は、構造物の空間内の複数の人物位置を取得するものである。
第１の位置情報抽出モジュール１８０は、位置センシングモジュール１８２、位置信号蓄積モジュール１８４を有している。位置センシングモジュール１８２は構造物内に少なくとも１つ以上設置されている。第１の位置情報抽出モジュール１８０は、無線通信により人物が所持している携帯端末の位置を取得する。携帯端末には、携帯電話（スマートフォンを含む）、センサ等を含む。第１の位置情報抽出モジュール１８０は、基地局としての機能を有する。
位置センシングモジュール１８２は、位置信号蓄積モジュール１８４と接続されている。位置センシングモジュール１８２は、無線通信により人物が所持している携帯端末と通信を行う。ここでの通信は、一方（位置センシングモジュール１８２又は携帯端末）が他方（携帯端末又は位置センシングモジュール１８２）を検知することができる程度でよい。無線通信として、例えば、近距離無線通信を行うブルートゥース（登録商標）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）等を用いてもよい。
位置信号蓄積モジュール１８４は、位置センシングモジュール１８２、情報処理装置１００の第１の位置属性計算モジュール１０５と接続されている。位置信号蓄積モジュール１８４は、位置センシングモジュール１８２によって通信が行われたことを示す情報を記憶している。そして、その情報を情報処理装置１００の信号送受信モジュール１１０へ送信する。例えば、通信を行った日時（年、月、日、時、分、秒、秒以下、又はこれらの組み合わせであってもよい。以下、同様）、通信を行った携帯端末の識別情報（又はその携帯端末を所持している人物の識別情報（以下、店員ＩＤ（ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）ともいう））、通信強度、位置センシングモジュール１８２の識別情報等を記憶している。なお、識別情報という場合は、本実施の形態において、対象（店員等）を一意に識別するための情報をいう。
なお、第１の位置情報抽出モジュール１８０は、人物が所持している携帯端末であってもよい。この場合、構造物内に設置された通信装置（例えば、基地局）と通信が行われたときに、携帯端末である第１の位置情報抽出モジュール１８０は、その通信が行われたことを示す情報を記憶し、情報処理装置１００の信号送受信モジュール１１０へ送信する。以下、主に第１の位置情報抽出モジュール１８０は構造物内に設置された基地局の場合を例示して説明する。
第２の位置情報抽出モジュール１９０は、撮像モジュール１９２、映像蓄積モジュール１９４を有している。撮像モジュール１９２は構造物内に少なくとも１つ以上設置されている。第２の位置情報抽出モジュール１９０は、構造物内の画像を撮影する。
撮像モジュール１９２は、映像蓄積モジュール１９４と接続されている。撮像モジュール１９２は、構造物内の人物を撮影する。いわゆるカメラであって、一般的な２Ｄカメラであってもよいし、全方位カメラであってもよいし、３Ｄカメラであってもよい。また、動画であってもよい。ここで「動画」とは、時系列に沿って撮像された複数フレーム（静止画）の集合であり、当該複数フレームは時系列に沿って再生される。静止画であってもよい。なお、静止画である場合は、予め定められた間隔毎に撮影してもよいし、位置センシングモジュール１８２が携帯端末と通信を行った際に、位置センシングモジュール１８２からの指示にしたがって撮影するようにしてもよい。また、撮像モジュール１９２の撮影方向、角度を固定にしたものの他、撮影方向、角度を自律的に変更可能としてもよい。例えば、人物がいる位置に合わせて、方向、角度を制御するようにしてもよい。
映像蓄積モジュール１９４は、撮像モジュール１９２、情報処理装置１００の第２の位置属性計算モジュール１２０、情報表示モジュール１４０と接続されている。映像蓄積モジュール１９４は、撮像モジュール１９２によって撮影された画像を記憶する。そして、その画像を情報処理装置１００の第２の位置属性計算モジュール１２０へ送信する。例えば、撮影した日時、撮影条件（撮像モジュール１９２の撮影方向、角度等）、撮像モジュール１９２の識別情報等を記憶している。
第１の位置属性計算モジュール１０５は、信号送受信モジュール１１０、人物位置座標範囲導出モジュール１１５を有しており、第１の位置情報抽出モジュール１８０の位置信号蓄積モジュール１８４と接続されている。第１の位置属性計算モジュール１０５は、位置センシングモジュール１８２と携帯端末とが通信を行ったことにより、構造物の空間内の携帯端末の位置を算出する。
信号送受信モジュール１１０は、人物位置座標範囲導出モジュール１１５と接続されている。信号送受信モジュール１１０は、第１の位置情報抽出モジュール１８０（構造物内に設置されている基地局等又は携帯端末のいずれか一方）から、通信が行われたことを示す情報を受け取り、人物位置座標範囲導出モジュール１１５へ渡す。
人物位置座標範囲導出モジュール１１５は、信号送受信モジュール１１０、照合モジュール１２５と接続されている。人物位置座標範囲導出モジュール１１５は、構造物内に設置された位置センシングモジュール１８２と、第１の種類の人物が所持している携帯端末とが通信を行った場合、その第１の種類の人物が所持している携帯端末の位置を、その位置センシングモジュール１８２が設置された位置から予め定められた距離内の領域に設定する。つまり、通信が行われた日時に、構造物内に設置された位置センシングモジュール１８２内の近辺に第１の種類の人物がいることを示している。ここでの領域をＬ１（ｔ）とする。なお、ｔは、通信が行われた日時を示している。例えば、位置センシングモジュール１８２と携帯端末間で信号の送受信が行われた際、最も信号の強くなる位置センシングモジュール１８２（基地局）の周囲半径ｒ（ｒは予め定められた距離）以内を、携帯端末の位置座標範囲Ｌ１（ｔ）として導出するようにしてもよい。もちろんのことながら、位置センシングモジュール１８２（基地局）の位置は、予め定められている。例えば、位置センシングモジュール１８２と位置（例えば、構造物内の位置を示すＸ座標、Ｙ座標）を対応させて記憶しているテーブルを用いて、Ｌ１（ｔ）を設定してもよい。
第２の位置属性計算モジュール１２０は、照合モジュール１２５、第２の位置情報抽出モジュール１９０の映像蓄積モジュール１９４と接続されている。第２の位置属性計算モジュール１２０は、構造物内に設置された撮像モジュール１９２によって撮影された画像から人物を抽出する。人物を抽出することによって、その人物の位置を抽出することができる。また、その位置を時系列に取得することによって、動線を抽出することができる。なお、画像から人物を抽出する技術は、既存の技術を用いればよい。例えば、人体認識技術、顔認識技術等を用いてもよい。例えば、第２の位置属性計算モジュール１２０は、取得した画像から人物Ｐｋを抽出し、画像上の人物Ｐｋの位置から店舗内の人物の位置座標Ｃ１ ｋ（ｔ）（ｋは人の番号、ｔは日時）を導出するようにしてもよい。もちろんのことながら、画像内に複数の人物が撮影されている場合は、それぞれの人物を抽出する。
第２の位置属性計算モジュール１２０が用いる画像は、位置センシングモジュール１８２と携帯端末とが通信を行った時（その時の前、後、又は前後の予め定められた期間内を含めてもよい）に撮影された画像を少なくとも含む。
また、第２の位置属性計算モジュール１２０は、Ｐｋを同一人物として追跡し続ける機能を有していてもよい。つまり、Ｃ１ ｋ（ｔ’）を連続的に取得し続けられる期間において、Ｐｋを同一人物として追跡し続けるようにしてもよい。
第２の位置属性計算モジュール１２０による処理結果を、例えば人物属性テーブル５００として記憶する。図５は、人物属性テーブル５００のデータ構造例を示す説明図である。人物属性テーブル５００は、撮影日時欄５１０、ｘ座標欄５２０、ｙ座標欄５３０、画像特徴欄５４０、店員・顧客フラグ欄５５０、店員ＩＤ欄５６０を有している。撮影日時欄５１０は、対象となっている画像の撮影日時を記憶している。ｘ座標欄５２０は、その画像内の人物の位置のｘ座標を記憶している。ｙ座標欄５３０は、その画像内の人物の位置のｙ座標を記憶している。画像特徴欄５４０は、その人物の画像特徴を記憶している。店員・顧客フラグ欄５５０は、店員（第１の種類の人物）であるか顧客（第２の種類の人物）であるかを示すフラグを記憶している。店員ＩＤ欄５６０は、その人物が店員である場合に、その店員の店員ＩＤを記憶している。このうち、第２の位置属性計算モジュール１２０では、撮影日時欄５１０、ｘ座標欄５２０、ｙ座標欄５３０、画像特徴欄５４０にそれぞれの値を記憶させる。
図３は、第１の実施の形態（第２の位置属性計算モジュール１２０）による処理例を示す説明図である。
図３（Ａ１）に示すカメラ撮像画像３００Ａは、一般的なカメラである撮像モジュール１９２によって撮影された画像である。カメラ撮像画像３００Ａ内には、人物３１０Ａが撮影されている。第２の位置属性計算モジュール１２０は、カメラ撮像画像３００Ａから図３（Ａ２）の例に示す平面図的な店舗図３２０Ａを生成するようにしてもよいし、又は、店舗図３２０Ａを予め作成しておいてもよい。第２の位置属性計算モジュール１２０は、カメラ撮像画像３００Ａから人物３１０Ａを抽出し、カメラ撮像画像３００Ａ内の人物３１０Ａの位置から、店舗図３２０Ａでの位置に変換する。例えば、アフィン変換を用いればよい。
図３（Ｂ１）に示す全方位カメラ撮像画像３００Ｂは、全方位カメラである撮像モジュール１９２によって撮影された画像である。全方位カメラ撮像画像３００Ｂ内には、人物３１０Ｂが撮影されている。第２の位置属性計算モジュール１２０は、全方位カメラ撮像画像３００Ｂから図３（Ｂ２）の例に示す平面図的な店舗図３２０Ｂを生成するようにしてもよいし、又は、店舗図３２０Ｂを予め作成しておいてもよい。第２の位置属性計算モジュール１２０は、全方位カメラ撮像画像３００Ｂから人物３１０Ｂを抽出し、全方位カメラ撮像画像３００Ｂ内の人物３１０Ｂの位置から、店舗図３２０Ｂでの位置に変換する。例えば、全方位カメラ撮像画像３００Ｂと平面画像である店舗図３２０Ｂの両者の対応点を予めサンプリングして対応点における各変換式を生成しておき、その変換式を用いて、店舗図３２０Ｂにおける人物３３０Ｂの位置を算出すればよい。
照合モジュール１２５は、人物位置座標範囲導出モジュール１１５、第２の位置属性計算モジュール１２０、属性判定モジュール１３０と接続されている。属性判定モジュール１３０は、照合モジュール１２５、解析結果蓄積モジュール１３５と接続されている。
照合モジュール１２５、属性判定モジュール１３０は、第１の位置属性計算モジュール１０５によって設定された領域と、第２の位置属性計算モジュール１２０によって抽出された人物の位置の関係が、予め定められた条件に適合する場合は、その人物と第１の種類の人物であることを示す情報を対応付ける。ここで対応付ける技術として、例えば、人物に第１の種類の人物であるか否かを示す情報を属性として付与するようにしてもよいし、第１の種類の人物であるテーブルを用意し、そのテーブルに人物を示す情報を格納するようにしてもよい。
また、ここでの「予め定められた条件」として、例えば、第２の位置属性計算モジュール１２０によって抽出された人物のうち、人物位置座標範囲導出モジュール１１５によって設定された領域内に人物が１人であることを条件としてもよい。この条件に適合する場合、つまり、その領域内に第２の位置属性計算モジュール１２０によって抽出された人物が１人いる場合、その人物に第１の種類の人物であることを示す属性を付与する。
照合モジュール１２５は、２つの位置属性の対応処理を行う。つまり、人物位置座標範囲導出モジュール１１５、第２の位置属性計算モジュール１２０の処理結果を比較する。例えば、位置座標範囲Ｌ１（ｔ）の範囲内にある位置座標Ｃ１ ｋ（ｔ）が１つであった場合、携帯端末から得られた信号と位置センシングモジュール１８２から得られた人物が同一人物であると判定する。そして、同一人物であるとされたＬ１（ｔ）とＣ１ ｋ（ｔ）を人物Ｐｋに対応付ける。ある時刻ｔ’において、対応付けがなされたＬ１（ｔ’）とＣ１ ｋ（ｔ’）を、他の任意の時刻ｔにおいても対応を行う。
属性判定モジュール１３０は、照合モジュール１２５による比較結果に基づいて、カメラ画像内の位置座標を第１の種類の人物（例えば、店員）か、第２の種類の人物（例えば、顧客）かに判別する。具体的には、Ｌ１（ｔ）と同一人物と判定できるＣ１ ｋ（ｔ）に、第１の種類の人物を示す属性を付与する。
また、属性判定モジュール１３０は、第１の種類の人物であることを示す情報を対応付けた以外の人物に第２の種類の人物であることを示す情報を対応付けるようにしてもよい。具体的には、第１の種類の人物であることを示す情報を対応付けされなかったＣ１ ｋ（ｔ）に、第２の種類の人物を示す属性を付与する。
解析結果蓄積モジュール１３５は、属性判定モジュール１３０、情報表示モジュール１４０と接続されている。解析結果蓄積モジュール１３５は、属性判定モジュール１３０によって対応付けが行われた情報を記憶する。例えば、前述の人物属性テーブル５００を記憶する。店員・顧客フラグ欄５５０、店員ＩＤ欄５６０は、属性判定モジュール１３０によって値が記憶される。
情報表示モジュール１４０は、解析結果蓄積モジュール１３５、第２の位置情報抽出モジュール１９０の映像蓄積モジュール１９４と接続されている。情報表示モジュール１４０は、属性判定モジュール１３０によって第２の種類の人物であることを示す情報が対応付けられた人物の動線を提示する。構造物内の人物の行動様式を分析しやすくするための提示を行う。例えば、店員と顧客の移動軌跡（動線）を判別可能な状態で出力する。例えば、店員と顧客に、それぞれ視覚的に異なる目印を付与して出力する。より具体的には、店員と顧客に異なる色属性や、属性名を付与して表示するようにしてもよい。例えば、予め店員テーブル６００を用意しておき、動線に店員ＩＤに相当する名前等を表示するようにしてもよい。図６は、店員テーブル６００のデータ構造例を示す説明図である。店員テーブル６００は、店員ＩＤ欄６１０、名前欄６２０、画像特徴欄６３０を有している。店員ＩＤ欄６１０は、店員ＩＤを記憶している。名前欄６２０は、その店員ＩＤの店員の名前を記憶している。画像特徴欄６３０は、その店員の画像特徴を記憶している。また、店員テーブル６００の画像特徴欄６３０内の値と、人物属性テーブル５００の画像特徴欄５４０内の値とを比較して、店員ＩＤを特定するようにしてもよい。
図２は、本実施の形態を利用したシステム構成例を示す説明図である。
図２（Ａ）に示すシステム構成例では、構造物２００内に、情報処理装置１００、第１の位置情報抽出モジュール１８０−１、第１の位置情報抽出モジュール１８０−２、第１の位置情報抽出モジュール１８０−３、第１の位置情報抽出モジュール１８０−４、第２の位置情報抽出モジュール１９０を設置している。第１の位置情報抽出モジュール１８０を４つ、第２の位置情報抽出モジュール１９０を１つの例を示したが、これ以外の数であってもよい。
図２（Ｂ）に示すシステム構成例では、情報処理装置１００をクラウドサービスとして利用するものであり、構造物２００Ａ内に、第１の位置情報抽出モジュール１８０Ａ−１、第１の位置情報抽出モジュール１８０Ａ−２、第１の位置情報抽出モジュール１８０Ａ−３、第２の位置情報抽出モジュール１９０Ａ、通信装置２８０Ａを設置し、構造物２００Ｂ内に、第１の位置情報抽出モジュール１８０Ｂ−１、第１の位置情報抽出モジュール１８０Ｂ−２、第１の位置情報抽出モジュール１８０Ｂ−３、第２の位置情報抽出モジュール１９０Ｂ、通信装置２８０Ｂを設置し、構造物２００Ｃ内に、第１の位置情報抽出モジュール１８０Ｃ−１、第１の位置情報抽出モジュール１８０Ｃ−２、第２の位置情報抽出モジュール１９０Ｃ、通信装置２８０Ｃを設置している。つまり、各店舗内に情報処理装置１００は設置せず、第１の位置情報抽出モジュール１８０、第２の位置情報抽出モジュール１９０を設置して、通信装置２８０、通信回線２９０を介して情報処理装置１００に送信し、情報処理装置１００での処理結果を各店舗の担当者が利用する情報処理装置に送信するようにしてもよい。
図４は、第１の実施の形態（人物位置座標範囲導出モジュール１１５）による処理例を示す説明図である。
図４（Ａ）の例では、店舗図４２０内に設置された第１の位置情報抽出モジュール１８０−１、１８０−２、１８０−３、１８０−４が携帯端末からの信号を受信する。図４（Ｂ）のグラフ例は、第１の位置情報抽出モジュール１８０−１が検知した信号波形を示している。図４（Ｃ）のグラフ例は、第１の位置情報抽出モジュール１８０−２が検知した信号波形を示している。ここでは、第１の位置情報抽出モジュール１８０−２が検知した信号波形よりも、第１の位置情報抽出モジュール１８０−１が検知した信号波形が強いので、第１の位置情報抽出モジュール１８０−１の位置を中心として、半径ｒの領域４５０を位置座標範囲Ｌ１（ｔ）として設定する。
そして、第２の位置属性計算モジュール１２０が抽出した人物が、領域４５０内で１人の場合に、その人物に店員を示す属性を付与する。
図７は、第１の実施の形態による処理例を示すフローチャートである。
ステップＳ７０２では、信号送受信モジュール１１０は、第１の位置情報抽出モジュール１８０の位置信号蓄積モジュール１８４から位置信号を受け付ける。
ステップＳ７０４では、第２の位置属性計算モジュール１２０は、第２の位置情報抽出モジュール１９０の映像蓄積モジュール１９４から画像を受け付ける。
ステップＳ７０６では、人物位置座標範囲導出モジュール１１５は、位置信号内に店員の電波があるか否かを判断し、ある場合（通信が行われた場合）はステップＳ７０８へ進み、それ以外の場合はステップＳ７０２に戻る。
ステップＳ７０８では、人物位置座標範囲導出モジュール１１５は、その電波を検知した基地局の位置からの半径ｒを位置座標範囲Ｌ１（ｔ）とする。
ステップＳ７１０では、第２の位置属性計算モジュール１２０は、画像内から人物を抽出し、時系列に並べた各人の位置から動線を生成する。
ステップＳ７１２では、照合モジュール１２５は、位置座標範囲Ｌ１（ｔ）内に、ステップＳ７１０で抽出した人物は１人か否かを判断し、１人の場合はステップＳ７１４へ進み、それ以外の場合はステップＳ７０２に戻る。
ステップＳ７１４では、属性判定モジュール１３０は、その人物を店員と判断する、又は、その他の人物を顧客と判断する。
ステップＳ７１６では、解析結果蓄積モジュール１３５は、動線情報を属性（店員又は顧客）とともに蓄積する。
ステップＳ７１８では、情報表示モジュール１４０は、属性に応じた動線を表示する。
＜第２の実施の形態＞
図８は、第２の実施の形態の構成例についての概念的なモジュール構成図である。
情報処理装置８００は、第１の位置属性計算モジュール８０５、第２の位置属性計算モジュール１２０、照合モジュール１２５、属性判定モジュール１３０、解析結果蓄積モジュール１３５、情報表示モジュール１４０を有している。なお、前述の実施の形態と同種の部位には同一符号を付し重複した説明を省略する（以下、同様）。
位置信号蓄積モジュール１８４は、位置センシングモジュール１８２、情報処理装置８００の第１の位置属性計算モジュール８０５と接続されている。
映像蓄積モジュール１９４は、撮像モジュール１９２、情報処理装置８００の第２の位置属性計算モジュール１２０、情報表示モジュール１４０と接続されている。
第１の位置属性計算モジュール８０５は、信号送受信モジュール１１０、人物位置座標導出モジュール８１５を有しており、第１の位置情報抽出モジュール１８０の位置信号蓄積モジュール１８４と接続されている。
信号送受信モジュール１１０は、人物位置座標導出モジュール８１５と接続されている。
人物位置座標導出モジュール８１５は、信号送受信モジュール１１０、照合モジュール１２５と接続されている。人物位置座標導出モジュール８１５は、構造物内に設置された位置センシングモジュール１８２と、第１の種類の人物が所持している携帯端末とが通信を行った場合、その第１の種類の人物が所持している携帯端末の位置を、その位置センシングモジュール１８２の位置に設定する。ここでの位置をＬ２（ｔ）とする。なお、ｔは、通信が行われた日時を示している。例えば、位置センシングモジュール１８２と携帯端末間で信号の送受信が行われた際、最も信号の強くなる位置センシングモジュール１８２（基地局）の位置を、携帯端末の位置座標Ｌ２（ｔ）として導出するようにしてもよい。
なお、第２の実施の形態における第２の位置属性計算モジュール１２０は、取得した画像から人物Ｐｋを抽出し、画像上の人物Ｐｋの位置に最も近い位置センシングモジュール１８２の位置を人物Ｐｋの位置座標Ｃ２ ｋ（ｔ）（ｋは人の番号、ｔは時刻）として導出するようにしてもよい。
照合モジュール１２５は、人物位置座標導出モジュール８１５、第２の位置属性計算モジュール１２０、属性判定モジュール１３０と接続されている。属性判定モジュール１３０は、照合モジュール１２５、解析結果蓄積モジュール１３５と接続されている。
第２の実施の形態における照合モジュール１２５、属性判定モジュール１３０は、人物位置座標導出モジュール８１５によって設定された位置と、第２の位置属性計算モジュール１２０によって抽出された人物の位置の関係が、予め定められた条件に適合する場合は、その人物と第１の種類の人物であることを示す情報を対応付ける。
ここで「予め定められた条件」として、例えば、第２の位置属性計算モジュール１２０によって抽出された人物のうち、人物位置座標導出モジュール８１５によって設定された位置に最も近い人物であることを条件としてもよい。この条件に適合する場合、つまり、人物位置座標導出モジュール８１５によって設定された位置に最も近い人物に第１の種類の人物であることを示す属性を付与する。
例えば、照合モジュール１２５は、位置座標Ｌ２（ｔ）にある位置座標Ｃ２ ｋ（ｔ）が１つであった場合、携帯端末から得られた信号と第２の位置属性計算モジュール１２０から得られた人物が同一人物であると判定する。そして、同一人物であるとされたＬ２（ｔ）とＣ２ ｋ（ｔ）を人物Ｐｋに対応付ける。ある時刻ｔ’において、対応付けがなされたＬ２（ｔ’）とＣ２ ｋ（ｔ’）を、他の任意の時刻ｔにおいても対応を行う。
属性判定モジュール１３０は、照合モジュール１２５による比較結果に基づいて、カメラ画像内の位置座標を第１の種類の人物（例えば、店員）か、第２の種類の人物（例えば、顧客）かに判別する。具体的には、Ｌ２（ｔ）と同一人物と判定できるＣ２ ｋ（ｔ）に、第１の種類の人物を示す属性を付与する。
また、属性判定モジュール１３０は、第１の種類の人物であることを示す情報を対応付けた以外の人物に第２の種類の人物であることを示す情報を対応付けるようにしてもよい。具体的には、第１の種類の人物であることを示す情報を対応付けされなかったＣ２ ｋ（ｔ）に、第２の種類の人物を示す属性を付与する。
図９は、第２の実施の形態（人物位置座標導出モジュール８１５）による処理例を示す説明図である。
図９（Ａ）の例では、店舗図９２０内に設置された第１の位置情報抽出モジュール１８０−１、１８０−２、１８０−３、１８０−４が携帯端末からの信号を受信する。図９（Ｂ）のグラフ例は、第１の位置情報抽出モジュール１８０−１が検知した信号波形を示している。図９（Ｃ）のグラフ例は、第１の位置情報抽出モジュール１８０−２が検知した信号波形を示している。ここでは、第１の位置情報抽出モジュール１８０−２が検知した信号波形よりも、第１の位置情報抽出モジュール１８０−１が検知した信号波形が強いので、第１の位置情報抽出モジュール１８０−１の位置を位置座標Ｌ２（ｔ）として設定する。つまり、第１の位置情報抽出モジュール１８０−１の位置に携帯端末を所持している人物がいるとみなしている。
そして、第２の位置属性計算モジュール１２０が抽出した人物のうち、Ｌ２（ｔ）に最も近い人物に店員を示す属性を付与する。
図１０は、第２の実施の形態による処理例を示すフローチャートである。
ステップＳ１００２では、信号送受信モジュール１１０は、第１の位置情報抽出モジュール１８０の位置信号蓄積モジュール１８４から位置信号を受け付ける。
ステップＳ１００４では、第２の位置属性計算モジュール１２０は、第２の位置情報抽出モジュール１９０の映像蓄積モジュール１９４から画像を受け付ける。
ステップＳ１００６では、人物位置座標導出モジュール８１５は、位置信号内に店員の電波があるか否かを判断し、ある場合（通信が行われた場合）はステップＳ１００８へ進み、それ以外の場合はステップＳ１００２に戻る。
ステップＳ１００８では、人物位置座標導出モジュール８１５は、その電波を検知した基地局の位置を位置座標Ｌ２（ｔ）とする。
ステップＳ１０１０では、第２の位置属性計算モジュール１２０は、画像内から人物を抽出し、時系列に並べた各人の位置から動線を生成する。
ステップＳ１０１２では、照合モジュール１２５は、位置座標Ｌ２（ｔ）に最も近い位置にいるステップＳ１０１０で抽出した人物を抽出する。
ステップＳ１０１４では、属性判定モジュール１３０は、その人物を店員と判断する、又は、その他の人物を顧客と判断する。
ステップＳ１０１６では、解析結果蓄積モジュール１３５は、動線情報を属性（店員又は顧客）とともに蓄積する。
ステップＳ１０１８では、情報表示モジュール１４０は、属性に応じた動線を表示する。
なお、ステップＳ１０１２で、両者の距離が予め定められた値以下であることを条件としてもよい。さらに、その条件に合致する人物が１人であることを条件としてもよい。
＜第３の実施の形態＞
図１１は、第３の実施の形態の構成例についての概念的なモジュール構成図である。
情報処理装置１１００は、第１の位置属性計算モジュール１１０５、第２の位置属性計算モジュール１２０、照合モジュール１１２５、属性判定モジュール１３０、解析結果蓄積モジュール１３５、情報表示モジュール１４０を有している。また、構造物内において、位置センシングモジュール１８２は複数設置されている。
位置信号蓄積モジュール１８４は、位置センシングモジュール１８２、情報処理装置１１００の第１の位置属性計算モジュール１１０５と接続されている。
映像蓄積モジュール１９４は、撮像モジュール１９２、情報処理装置１１００の第２の位置属性計算モジュール１２０、情報表示モジュール１４０と接続されている。
第１の位置属性計算モジュール１１０５は、信号送受信モジュール１１０、人物位置座標導出モジュール１１１５を有しており、第１の位置情報抽出モジュール１８０の位置信号蓄積モジュール１８４と接続されている。
信号送受信モジュール１１０は、人物位置座標導出モジュール１１１５と接続されている。
人物位置座標導出モジュール１１１５は、信号送受信モジュール１１０、照合モジュール１１２５と接続されている。人物位置座標導出モジュール１１１５は、構造物内に設置された複数の位置センシングモジュール１８２と、第１の種類の人物が所持している携帯端末との間の通信強度に応じて、その人物の位置を設定する。ここでの領域をＬ３（ｔ）とする。なお、ｔは、通信が行われた日時を示している。また、通信強度が強いほど、位置センシングモジュール１８２からの距離は短い。例えば、複数の位置センシングモジュール１８２が受け取った、又は携帯端末に受け取られた複数の信号の強度に基づいて、携帯端末の構造物内の位置座標範囲Ｌ３（ｔ）を導出するようにしてもよい。なお、位置座標範囲Ｌ３（ｔ）は、１点である位置座標又は面積を有する領域である場合がある。
第３の実施の形態の第２の位置属性計算モジュール１２０は、第１の実施の形態の第２の位置属性計算モジュール１２０と同等のものである。つまり、第２の位置属性計算モジュール１２０は、照合モジュール１１２５、第２の位置情報抽出モジュール１９０の映像蓄積モジュール１９４と接続されている。第２の位置属性計算モジュール１２０は、構造物内に設置された撮像モジュール１９２によって撮影された画像から人物を抽出する。人物を抽出することによって、その人物の位置を抽出することができる。また、その位置を時系列に取得することによって、動線を抽出することができる。なお、画像から人物を抽出する技術は、既存の技術を用いればよい。例えば、人体認識技術、顔認識技術等を用いてもよい。例えば、第２の位置属性計算モジュール１２０は、取得した画像から人物Ｐｋを抽出し、画像上の人物Ｐｋの位置から店舗内の人物の位置座標Ｃ１ ｋ（ｔ）（ｋは人の番号、ｔは日時）を導出するようにしてもよい。もちろんのことながら、画像内に複数の人物が撮影されている場合は、それぞれの人物を抽出する。
照合モジュール１１２５は、誤差計算モジュール１１２７、位置属性対応付モジュール１１２９を有しており、人物位置座標導出モジュール１１１５、第２の位置属性計算モジュール１２０と接続されている。属性判定モジュール１３０は、位置属性対応付モジュール１１２９、解析結果蓄積モジュール１３５と接続されている。
照合モジュール１１２５、属性判定モジュール１３０は、人物位置座標導出モジュール１１１５によって設定された位置と、第２の位置属性計算モジュール１２０によって抽出された人物の位置の関係が、予め定められた条件に適合する場合は、その人物と第１の種類の人物であることを示す情報を対応付ける。
また、ここでの「予め定められた条件」として、例えば、複数の位置センシングモジュール１８２の位置から通信強度に応じた半径によって定まる領域が重複する位置に最も近い人物であることを条件としてもよい。この条件に適合する場合、つまり、人物位置座標導出モジュール１１１５によって設定された位置に最も近い人物に第１の種類の人物であることを示す属性を付与する。
誤差計算モジュール１１２７は、位置属性対応付モジュール１１２９と接続されている。誤差計算モジュール１１２７は、位置座標範囲Ｌ３（ｔ）と位置座標Ｃ１ ｋ（ｔ）の誤差を計算する。例えば、位置座標範囲Ｌ３（ｔ）と位置座標Ｃ１ ｋ（ｔ）のユークリッド距離を誤差として計算する。位置座標範囲Ｌ３（ｔ）については、点と領域である場合の２種類あるが、点については図１４を用いて後述し、領域については図１５を用いて後述する。
位置属性対応付モジュール１１２９は、誤差計算モジュール１１２７、属性判定モジュール１３０と接続されている。位置属性対応付モジュール１１２９は、誤差計算モジュール１１２７によって計算された位置座標範囲Ｌ３（ｔ）との誤差が最も少ないＣ１ ｋ（ｔ）を同一人物であると判定する。そして、同一人物であるとされたＬ３（ｔ）とＣ１ ｋ（ｔ）を人物Ｐｋに対応付ける。ある時刻ｔ’において、対応付けがなされたＬ３（ｔ’）とＣ１ ｋ（ｔ’）を、他の任意の時刻ｔにおいても対応を行う。
属性判定モジュール１３０は、位置属性対応付モジュール１１２９、解析結果蓄積モジュール１３５と接続されている。属性判定モジュール１３０は、位置属性対応付モジュール１１２９による比較結果に基づいて、カメラ画像内の位置座標を第１の種類の人物（例えば、店員）か、第２の種類の人物（例えば、顧客）かに判別する。具体的には、Ｌ３（ｔ）と同一人物と判定できるＣ１ ｋ（ｔ）に、第１の種類の人物を示す属性を付与する。
また、属性判定モジュール１３０は、第１の種類の人物であることを示す情報を対応付けた以外の人物に第２の種類の人物であることを示す情報を対応付けるようにしてもよい。具体的には、第１の種類の人物であることを示す情報を対応付けされなかったＣ１ ｋ（ｔ）に、第２の種類の人物を示す属性を付与する。
図１２は、第３の実施の形態（人物位置座標導出モジュール１１１５）による処理例を示す説明図である。
図１２（Ａ）の例では、店舗図１２２０内に設置された第１の位置情報抽出モジュール１８０−１、１８０−２、１８０−３、１８０−４が携帯端末からの信号を受信する。図１２（Ｂ）のグラフ例は、第１の位置情報抽出モジュール１８０−１が検知した信号波形を示している。図１２（Ｃ）のグラフ例は、第１の位置情報抽出モジュール１８０−２が検知した信号波形を示している。ここでは、第１の位置情報抽出モジュール１８０−１、第１の位置情報抽出モジュール１８０−２、第１の位置情報抽出モジュール１８０−３が検知した信号の信号強度に応じた距離（それぞれｒ１、ｒ２、ｒ３）で定まる領域１２５０を位置座標範囲Ｌ３（ｔ）として設定する。
そして、第２の位置属性計算モジュール１２０が抽出した人物のうち、Ｌ３（ｔ）に最も近い人物に店員を示す属性を付与する。
図１３は、第３の実施の形態による処理例を示すフローチャートである。
ステップＳ１３０２では、信号送受信モジュール１１０は、第１の位置情報抽出モジュール１８０の位置信号蓄積モジュール１８４から位置信号を受け付ける。
ステップＳ１３０４では、第２の位置属性計算モジュール１２０は、第２の位置情報抽出モジュール１９０の映像蓄積モジュール１９４から画像を受け付ける。
ステップＳ１３０６では、人物位置座標導出モジュール１１１５は、位置信号内に店員の電波があるか否かを判断し、ある場合（通信が行われた場合）はステップＳ１３０８へ進み、それ以外の場合はステップＳ１３０２に戻る。
ステップＳ１３０８では、人物位置座標導出モジュール１１１５は、その電波を検知した各基地局の電波強度に応じて半径ｒを決定する。
ステップＳ１３１０では、人物位置座標導出モジュール１１１５は、各基地局の位置から半径ｒの円の交点の位置をＬ３（ｔ）とする。
ステップＳ１３１２では、第２の位置属性計算モジュール１２０は、画像内から人物を抽出し、時系列に並べた各人の位置から動線を生成する。
ステップＳ１３１４では、誤差計算モジュール１１２７は、位置座標範囲Ｌ３（ｔ）とステップＳ１３１２で抽出した各人物の位置との距離を算出する。
ステップＳ１３１６では、位置属性対応付モジュール１１２９は、ステップＳ１３１４で算出した距離の最も少ない人物を抽出する。
ステップＳ１３１８では、属性判定モジュール１３０は、その人物を店員と判断する、又は、その他の人物を顧客と判断する。
ステップＳ１３２０では、解析結果蓄積モジュール１３５は、動線情報を属性（店員又は顧客）とともに蓄積する。
ステップＳ１３２２では、情報表示モジュール１４０は、属性に応じた動線を表示する。
図１４は、第３の実施の形態による処理例を示す説明図である。第１の位置情報抽出モジュール１８０−１、第１の位置情報抽出モジュール１８０−２、第１の位置情報抽出モジュール１８０−３における信号強度に応じて、それぞれ半径ｒ１、ｒ２、ｒ３の領域を生成し、それらの領域が交点１４１０（１点）で交わっている。この場合、交点１４１０と第２の位置属性計算モジュール１２０が抽出した人物の位置との距離が最も短い人物を店員と判断することになる。
図１５は、第３の実施の形態による処理例を示す説明図である。第１の位置情報抽出モジュール１８０−１、第１の位置情報抽出モジュール１８０−２、第１の位置情報抽出モジュール１８０−３における信号強度に応じて、それぞれ半径ｒ４、ｒ５、ｒ６の領域を生成し、それらの領域の交わっている箇所が領域１５１０である。つまり、信号強度に応じた領域の重複する部分が領域である場合（面積がある領域である場合）は、領域１５１０の中心と第２の位置属性計算モジュール１２０が抽出した人物の位置との距離が最も短い人物を店員と判断するようにしてもよいし、領域１５１０内にいる人物が１人である場合に、その人物を店員と判断するようにしてもよい。
図１６を参照して、本実施の形態の情報処理装置のハードウェア構成例について説明する。図１６に示す構成は、例えばパーソナルコンピュータ（ＰＣ）等によって構成されるものであり、スキャナ等のデータ読み取り部１６１７と、プリンタ等のデータ出力部１６１８を備えたハードウェア構成例を示している。
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１６０１は、前述の実施の形態において説明した各種のモジュール、すなわち、第１の位置属性計算モジュール１０５、信号送受信モジュール１１０、人物位置座標範囲導出モジュール１１５、第２の位置属性計算モジュール１２０、照合モジュール１２５、属性判定モジュール１３０、解析結果蓄積モジュール１３５、情報表示モジュール１４０、第１の位置属性計算モジュール８０５、人物位置座標導出モジュール８１５、第１の位置属性計算モジュール１１０５、人物位置座標導出モジュール１１１５、照合モジュール１１２５、誤差計算モジュール１１２７、位置属性対応付モジュール１１２９等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。
ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１６０２は、ＣＰＵ１６０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１６０３は、ＣＰＵ１６０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバス等から構成されるホストバス１６０４により相互に接続されている。
ホストバス１６０４は、ブリッジ１６０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バス等の外部バス１６０６に接続されている。
キーボード１６０８、マウス等のポインティングデバイス１６０９は、操作者により操作される入力デバイスである。ディスプレイ１６１０は、液晶表示装置又はＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）等があり、各種情報をテキストやイメージ情報として表示する。
ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１６１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ１６０１によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、位置信号、画像、動線等が格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。
ドライブ１６１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体１６１３に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース１６０７、外部バス１６０６、ブリッジ１６０５、及びホストバス１６０４を介して接続されているＲＡＭ１６０３に供給する。リムーバブル記録媒体１６１３も、ハードディスクと同様のデータ記録領域として利用可能である。
接続ポート１６１４は、外部接続機器１６１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート１６１４は、インタフェース１６０７、及び外部バス１６０６、ブリッジ１６０５、ホストバス１６０４等を介してＣＰＵ１６０１等に接続されている。通信部１６１６は、通信回線に接続され、外部とのデータ通信処理を実行する。データ読み取り部１６１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部１６１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。
なお、図１６に示す情報処理装置のハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図１６に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図１６に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）等に組み込まれていてもよい。
第１の実施の形態、第２の実施の形態、第３の実施の形態の２つ以上を組み合わせてもよい。例えば、３つを組み合わせて、第１の種類の人物であることを示す情報を多数決で対応付けるようにしてもよい。また、スイッチ（ハードウェア的なスイッチ、ソフトウェア的なスイッチの両方を含む）を用いて、第１の実施の形態、第２の実施の形態、第３の実施の形態のいずれかを利用できるようにしてもよい。また、構造物内に設置されている位置センシングモジュール１８２の密度、配置等に応じて、第１の実施の形態、第２の実施の形態、第３の実施の形態のいずれかを選択するようにしてもよい。例えば、予め定められた密度以上である場合は第２の実施の形態を選択し、正三角形を形成するように配置されている場合は第３の実施の形態を選択し、それ以外の場合は第１の実施の形態を選択するようにしてもよい。
なお、前述の実施の形態において、ある位置センシングモジュール１８２（基地局等）の近傍にいる人物を、撮像モジュール１９２が撮影し、ある画像特徴を持つ人物が、その位置センシングモジュール１８２（基地局等）に近接するタイミングと、位置センシングモジュール１８２（基地局等又は携帯端末）が信号を受信するタイミングが、時間軸上で一致する場合に、その画像特徴を持つ人物を店員として判定するようにしてもよい。なお、ここでの一致には、完全一致の他に、両者の差分が予め定められた閾値内である場合を含む。
また、前述の実施の形態の説明において、予め定められた値との比較において、「以上」、「以下」、「より大きい」、「より小さい（未満）」としたものは、その組み合わせに矛盾が生じない限り、それぞれ「より大きい」、「より小さい（未満）」、「以上」、「以下」としてもよい。
なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリーカード等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。
１００…情報処理装置
１０５…第１の位置属性計算モジュール
１１０…信号送受信モジュール
１１５…人物位置座標範囲導出モジュール
１２０…第２の位置属性計算モジュール
１２５…照合モジュール
１３０…属性判定モジュール
１３５…解析結果蓄積モジュール
１４０…情報表示モジュール
１８０…第１の位置情報抽出モジュール
１８２…位置センシングモジュール
１８４…位置信号蓄積モジュール
１９０…第２の位置情報抽出モジュール
１９２…撮像モジュール
１９４…映像蓄積モジュール
２００…構造物
２８０…通信装置
２９０…通信回線
８００…情報処理装置
８０５…第１の位置属性計算モジュール
８１５…人物位置座標導出モジュール
１１００…情報処理装置
１１０５…第１の位置属性計算モジュール
１１１５…人物位置座標導出モジュール
１１２５…照合モジュール
１１２７…誤差計算モジュール
１１２９…位置属性対応付モジュール

Claims (7)

  1. 構造物内の通信装置と、第１の種類の人物が所持する携帯端末とが通信を行った場合、該第１の種類の人物の位置を、該通信装置から予め定められた距離内の領域に設定する設定手段と、
    前記構造物内の撮影装置によって撮影された画像から人物を抽出する抽出手段と、
    前記領域と前記抽出された人物の位置の関係が、予め定められた条件に適合する場合は、該人物と前記第１の種類の人物を示す情報を対応付ける対応付手段
    を有する情報処理装置。
  2. 構造物内の通信装置と、第１の種類の人物が所持する携帯端末とが通信を行った場合、該第１の種類の人物の位置を、該通信装置の位置に設定する設定手段と、
    前記構造物内の撮影装置によって撮影された画像から人物を抽出する抽出手段と、
    前記位置と前記抽出された人物の位置の関係が、予め定められた条件に適合する場合は、該人物と前記第１の種類の人物を示す情報を対応付ける対応付手段
    を有する情報処理装置。
  3. 構造物内の複数の通信装置と、第１の種類の人物が所持する携帯端末との間の通信強度に応じて、該人物の位置を設定する設定手段と、
    前記構造物内の撮影装置によって撮影された画像から人物を抽出する抽出手段と、
    前記位置と前記抽出された人物の位置の関係が、予め定められた条件に適合する場合は、該人物と前記第１の種類の人物を示す情報を対応付ける対応付手段
    を有する情報処理装置。
  4. 前記対応付手段は、前記第１の種類の人物を示す情報を対応付けた以外の人物に第２の種類の人物を示す情報を対応付ける、
    請求項１から３のいずれか一項に記載の情報処理装置。
  5. コンピュータを、
    構造物内の通信装置と、第１の種類の人物が所持する携帯端末とが通信を行った場合、該第１の種類の人物の位置を、該通信装置から予め定められた距離内の領域に設定する設定手段と、
    前記構造物内の撮影装置によって撮影された画像から人物を抽出する抽出手段と、
    前記領域と前記抽出された人物の位置の関係が、予め定められた条件に適合する場合は、該人物と前記第１の種類の人物を示す情報を対応付ける対応付手段
    として機能させるための情報処理プログラム。
  6. コンピュータを、
    構造物内の通信装置と、第１の種類の人物が所持する携帯端末とが通信を行った場合、該第１の種類の人物の位置を、該通信装置の位置に設定する設定手段と、
    前記構造物内の撮影装置によって撮影された画像から人物を抽出する抽出手段と、
    前記位置と前記抽出された人物の位置の関係が、予め定められた条件に適合する場合は、該人物と前記第１の種類の人物を示す情報を対応付ける対応付手段
    として機能させるための情報処理プログラム。
  7. コンピュータを、
    構造物内の複数の通信装置と、第１の種類の人物が所持する携帯端末との間の通信強度に応じて、該人物の位置を設定する設定手段と、
    前記構造物内の撮影装置によって撮影された画像から人物を抽出する抽出手段と、
    前記位置と前記抽出された人物の位置の関係が、予め定められた条件に適合する場合は、該人物と前記第１の種類の人物を示す情報を対応付ける対応付手段
    として機能させるための情報処理プログラム。
JP2014206171A 2014-10-07 2014-10-07 情報処理装置及び情報処理プログラム Active JP5679086B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014206171A JP5679086B1 (ja) 2014-10-07 2014-10-07 情報処理装置及び情報処理プログラム
US14/699,430 US9785829B2 (en) 2014-10-07 2015-04-29 Information processing apparatus, information processing method, and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014206171A JP5679086B1 (ja) 2014-10-07 2014-10-07 情報処理装置及び情報処理プログラム

Publications (2)

Publication Number Publication Date
JP5679086B1 true JP5679086B1 (ja) 2015-03-04
JP2016076091A JP2016076091A (ja) 2016-05-12

Family

ID=52684765

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014206171A Active JP5679086B1 (ja) 2014-10-07 2014-10-07 情報処理装置及び情報処理プログラム

Country Status (2)

Country Link
US (1) US9785829B2 (ja)
JP (1) JP5679086B1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017164272A1 (ja) * 2016-03-23 2017-09-28 日本電気株式会社 動線判定装置、動線判定システム、動線判定方法及びプログラム
US12033167B2 (en) 2016-03-23 2024-07-09 Nec Corporation Traffic flow determination device, traffic flow determination system, traffic flow determination method, and program

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109697583A (zh) * 2017-10-23 2019-04-30 北京京东尚科信息技术有限公司 信息生成方法及装置
JP6894864B2 (ja) * 2018-03-20 2021-06-30 Kddi株式会社 動線管理装置、動線管理システム及び動線管理方法
US10547980B1 (en) 2018-10-26 2020-01-28 Hewlett Packard Enterprise Development Lp Device movement correlations

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010140515A (ja) * 2010-03-23 2010-06-24 Toshiba Tec Corp 動線認識システム
JP2011039959A (ja) * 2009-08-18 2011-02-24 Hitachi Kokusai Electric Inc 監視システム
JP2011086087A (ja) * 2009-10-15 2011-04-28 Seiko Epson Corp 情報処理装置、情報処理装置の制御方法およびプログラム
JP2011086088A (ja) * 2009-10-15 2011-04-28 Seiko Epson Corp 情報処理装置、情報処理装置の制御方法およびプログラム
JP2011086045A (ja) * 2009-10-14 2011-04-28 Giken Torasutemu Kk 店員顧客分離集計装置
JP2012118838A (ja) * 2010-12-02 2012-06-21 Hitachi Ltd 監視対象者の行動を監視する装置及び方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7317388B2 (en) * 2004-03-31 2008-01-08 Honda Motor Co., Ltd. Position detection system for mobile object
US7702420B2 (en) * 2004-07-07 2010-04-20 Panasonic Corporation Method for making mobile unit accompany objective person
JP4456560B2 (ja) * 2005-12-12 2010-04-28 本田技研工業株式会社 脚式移動ロボット制御装置および脚式移動ロボット、並びに、脚式移動ロボット制御方法
WO2009039288A1 (en) * 2007-09-19 2009-03-26 Panasonic Corporation System and method for identifying objects in an image using positional information
US8170581B2 (en) * 2008-04-08 2012-05-01 Sungkyunkwan University Foundation For Corporate Collaboration Systems for tracking kidnapped hostage tracking systems, transmitters used in the same, sensor network gateways used in the same, and methods of tracking kidnapped hostage
US20090268030A1 (en) * 2008-04-29 2009-10-29 Honeywell International Inc. Integrated video surveillance and cell phone tracking system
EP2254086A1 (en) * 2009-05-22 2010-11-24 Merlin Inc. Method and system for recognizing customer by using his mobile phone
US8489112B2 (en) * 2009-07-29 2013-07-16 Shopkick, Inc. Method and system for location-triggered rewards
US9082278B2 (en) * 2010-03-19 2015-07-14 University-Industry Cooperation Group Of Kyung Hee University Surveillance system
US9762865B2 (en) * 2013-03-15 2017-09-12 James Carey Video identification and analytical recognition system
US9801517B2 (en) * 2015-03-06 2017-10-31 Wal-Mart Stores, Inc. Shopping facility assistance object detection systems, devices and methods

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011039959A (ja) * 2009-08-18 2011-02-24 Hitachi Kokusai Electric Inc 監視システム
JP2011086045A (ja) * 2009-10-14 2011-04-28 Giken Torasutemu Kk 店員顧客分離集計装置
JP2011086087A (ja) * 2009-10-15 2011-04-28 Seiko Epson Corp 情報処理装置、情報処理装置の制御方法およびプログラム
JP2011086088A (ja) * 2009-10-15 2011-04-28 Seiko Epson Corp 情報処理装置、情報処理装置の制御方法およびプログラム
JP2010140515A (ja) * 2010-03-23 2010-06-24 Toshiba Tec Corp 動線認識システム
JP2012118838A (ja) * 2010-12-02 2012-06-21 Hitachi Ltd 監視対象者の行動を監視する装置及び方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017164272A1 (ja) * 2016-03-23 2017-09-28 日本電気株式会社 動線判定装置、動線判定システム、動線判定方法及びプログラム
JP2017174135A (ja) * 2016-03-23 2017-09-28 日本電気株式会社 動線判定装置、動線判定システム、動線判定方法及びプログラム
JP7160430B2 (ja) 2016-03-23 2022-10-25 日本電気株式会社 動線判定装置、動線判定システム、動線判定方法及びプログラム
US12033167B2 (en) 2016-03-23 2024-07-09 Nec Corporation Traffic flow determination device, traffic flow determination system, traffic flow determination method, and program

Also Published As

Publication number Publication date
US20160098827A1 (en) 2016-04-07
US9785829B2 (en) 2017-10-10
JP2016076091A (ja) 2016-05-12

Similar Documents

Publication Publication Date Title
JP5679086B1 (ja) 情報処理装置及び情報処理プログラム
CN106295638A (zh) 证件图像倾斜校正方法和装置
US9485416B2 (en) Method and a guided imaging unit for guiding a user to capture an image
JP6818002B2 (ja) 読取支援システム、移動体、読取支援方法、プログラム、及び記憶媒体
TWI589839B (zh) 辨別車輛當前位於高架道路或平面道路的方法
CN110443098A (zh) 身份验证系统、方法、装置和计算机可读存储介质
EP2423850B1 (en) Object recognition system and method
CN107851129B (zh) 信息处理装置、信息处理方法和程序
JP6828333B2 (ja) 画像処理装置及び画像処理プログラム
CN211087230U (zh) 眼球追踪解锁系统
JP2017005395A (ja) 撮像装置、撮像制御方法及びプログラム
CN106169057B (zh) 信息处理装置及方法
CN113643708B (zh) 参会人声纹识别方法、装置、电子设备及存储介质
EP2919450A2 (en) A method and a guided imaging unit for guiding a user to capture an image
US20090097386A1 (en) Recording medium, data use limitating method, and program
KR102442783B1 (ko) 모션 기반의 학습서비스장치 및 그 장치의 구동방법
JP2006323560A (ja) 画像管理システムおよび撮影装置
WO2022091165A1 (ja) 情報処理装置、情報処理方法、情報処理システム、及びコンピュータ読み取り可能な記憶媒体
JP7017034B2 (ja) 画像処理装置及び画像処理プログラム
JP2016162409A (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
JP6977291B2 (ja) 個体識別装置、情報処理システム、個体識別装置の制御方法及びプログラム
KR20160116377A (ko) 영상 콘텐츠 내 장소 식별 방법 및 영상 콘텐츠 내 장소 식별 장치
KR20190020887A (ko) 오프라인 체험학습 운영 방법
KR102541625B1 (ko) 통신 셀의 커버리지를 판정하는 판정 시스템 장치 및 그 동작 방법
JP7173597B2 (ja) 通信システム、検索装置および検索方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141222

R150 Certificate of patent or registration of utility model

Ref document number: 5679086

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350