JP6435640B2 - 混雑度推定システム - Google Patents
混雑度推定システム Download PDFInfo
- Publication number
- JP6435640B2 JP6435640B2 JP2014104623A JP2014104623A JP6435640B2 JP 6435640 B2 JP6435640 B2 JP 6435640B2 JP 2014104623 A JP2014104623 A JP 2014104623A JP 2014104623 A JP2014104623 A JP 2014104623A JP 6435640 B2 JP6435640 B2 JP 6435640B2
- Authority
- JP
- Japan
- Prior art keywords
- congestion degree
- image
- server
- congestion
- degree estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、混雑度推定システムに関する。
ネットワークに接続された複数の監視カメラにより撮影して得られた画像を解析し、混雑状況を把握するシステムが、たとえば特許文献１に開示されている。
特許文献１に記載の発明では、監視カメラが設置されていない場所の混雑状況を把握することができない。
請求項１に記載の混雑度推定システムは、複数のウエアラブル端末とサーバとからなる混雑度推定システムであって、ウエアラブル端末は、被写体を撮影する撮影部と、現在位置を算出する位置検出部と、撮影部により撮影して得られた画像、および位置検出部により算出された現在位置をサーバに送信する端末通信部と、を備え、サーバは、複数のウエアラブル端末と通信するサーバ通信部と、複数のウエアラブル端末から送信されてサーバ通信部が受信する画像および現在位置が関連付けられて保存される記憶部と、記憶部に保存された画像を解析して人数と歩道の面積を算出し、算出された人数と歩道の面積とから歩道上の歩行者の混雑度を算出し、算出した混雑度および現在位置を関連付けてサーバ通信部により送信するサーバ制御部とを備える。
本発明によれば、監視カメラが設置されていない場所の混雑状況を把握することができる。
（第１の実施の形態）
以下、図１〜９を参照して、混雑度推定システムの第１の実施の形態を説明する。本明細書において、混雑度とは１ｍ２あたりに存在する人の数をいい、混雑度が高いほど混雑している状態を示す。
図１は、混雑度推定システム１の構成を示すブロック図である。混雑度推定システム１は、混雑度推定サーバ１０と、複数のウエアラブル端末２０とから構成され、これらはネットワーク回線Ｘにより接続される。
混雑度推定サーバ１０は、サーバ制御部１１と、サーバ記憶部１２と、サーバ通信部１３と、地図データベース１４と、顔画像データベース１５とを備える。
サーバ制御部１１は、不図示のＣＰＵ、ＲＯＭ、およびＲＡＭを備え、後述するプログラムをＲＯＭに保存し、そのプログラムをＲＡＭに展開して実行する。ＲＡＭは、後述するプログラムの実行において、計算結果の一時的な保存にも使用される。
以下、図１〜９を参照して、混雑度推定システムの第１の実施の形態を説明する。本明細書において、混雑度とは１ｍ２あたりに存在する人の数をいい、混雑度が高いほど混雑している状態を示す。
図１は、混雑度推定システム１の構成を示すブロック図である。混雑度推定システム１は、混雑度推定サーバ１０と、複数のウエアラブル端末２０とから構成され、これらはネットワーク回線Ｘにより接続される。
混雑度推定サーバ１０は、サーバ制御部１１と、サーバ記憶部１２と、サーバ通信部１３と、地図データベース１４と、顔画像データベース１５とを備える。
サーバ制御部１１は、不図示のＣＰＵ、ＲＯＭ、およびＲＡＭを備え、後述するプログラムをＲＯＭに保存し、そのプログラムをＲＡＭに展開して実行する。ＲＡＭは、後述するプログラムの実行において、計算結果の一時的な保存にも使用される。
サーバ記憶部１２は、不図示の磁気ディスクから構成され、サーバ記憶部１２には、撮影画像１２ａと、画像情報１２ｂと、混雑度表１２ｃと、点群混雑度地図１２ｄと、エリア混雑度地図１２ｅと、処理対象条件とが保存されている。
撮影画像１２ａは、ウエアラブル端末２０により撮影され、サーバ通信部１３がウエアラブル端末２０から受信した画像である。画像情報１２ｂは、ウエアラブル端末２０により撮影画像１２ａに関する各種情報であり、撮影画像１２ａとともにウエアラブル端末２０から送信される。画像情報１２ｂは、たとえば撮影位置、撮影時刻、撮影時にウエアラブル端末２０の撮影部２４が向いていた方向（以下、「撮影方向」と呼ぶ）、撮影画像１２ａを送信したウエアラブル端末２０のネットワーク回線Ｘにおける識別情報、すなわちＩＰアドレスなどである。
撮影画像１２ａは、ウエアラブル端末２０により撮影され、サーバ通信部１３がウエアラブル端末２０から受信した画像である。画像情報１２ｂは、ウエアラブル端末２０により撮影画像１２ａに関する各種情報であり、撮影画像１２ａとともにウエアラブル端末２０から送信される。画像情報１２ｂは、たとえば撮影位置、撮影時刻、撮影時にウエアラブル端末２０の撮影部２４が向いていた方向（以下、「撮影方向」と呼ぶ）、撮影画像１２ａを送信したウエアラブル端末２０のネットワーク回線Ｘにおける識別情報、すなわちＩＰアドレスなどである。
混雑度表１２ｃは、ある撮影画像１２ａが撮影された位置、その撮影画像１２ａをサーバ制御部１１が画像解析して得られた混雑度、および性別ごと、年齢層ごとの混雑度を保存しており、たとえば図２に示すものである。
図２は混雑度表１２ｃの一例を示しており、左から順に、ある撮影画像１２ａが撮影された緯度および経度、ある撮影画像１２ａから算出された性別および年齢層を問わない合計の混雑度、２０歳未満の男性の混雑度、２０歳〜６０歳の男性の混雑度、６０歳以上の男性の混雑度、２０歳未満の女性の混雑度、２０歳〜６０歳の女性の混雑度、６０歳以上の女性の混雑度、年齢及び性別が不明な者の混雑度、を示している。１つの撮影画像１２ａから図２の１行分の情報が得られる。
図２は混雑度表１２ｃの一例を示しており、左から順に、ある撮影画像１２ａが撮影された緯度および経度、ある撮影画像１２ａから算出された性別および年齢層を問わない合計の混雑度、２０歳未満の男性の混雑度、２０歳〜６０歳の男性の混雑度、６０歳以上の男性の混雑度、２０歳未満の女性の混雑度、２０歳〜６０歳の女性の混雑度、６０歳以上の女性の混雑度、年齢及び性別が不明な者の混雑度、を示している。１つの撮影画像１２ａから図２の１行分の情報が得られる。
点群混雑度地図１２ｄは、混雑度表１２ｃに記載されている混雑度の情報を、地図データベース１４に保存されている地図上に点として表示した画像であり、たとえば混雑度の高低を点の濃淡、大きさ、輝度により表現する。また、性別および年齢層ごとに分類して表示する場合には、色により複数に分類された混雑度を一覧性よく表示できる。
エリア混雑度地図１２ｅは、地図データベース１４に保存されている地図を所定のエリアに分割し、混雑度表１２ｃから算出したエリアごとの平均混雑度を視覚的に表示する、たとえば図３に示す画像である。
図３は、エリア混雑度地図１２ｅの一例を示しており、メッシュ状にエリアを分割し、東西方向に西から１、２、３、・・、南北方向に北からＡ、Ｂ、Ｃ、・・と名称を付して、各エリアはその組み合わせによりＡ１やＣ５と呼ぶ。図３では棒グラフの高さにより混雑度の高さを表しており、その内訳を性別および年齢層別の種別ごとに異なる態様により表示している。
処理対象条件は、サーバ制御部１１が後述するプログラムにより定期的に処理する対象となる撮影画像１２ａの条件であり、たとえば撮影時刻が現在から１５分以内で、かつ緯度および経度が○○県△△市の範囲内であることである。
エリア混雑度地図１２ｅは、地図データベース１４に保存されている地図を所定のエリアに分割し、混雑度表１２ｃから算出したエリアごとの平均混雑度を視覚的に表示する、たとえば図３に示す画像である。
図３は、エリア混雑度地図１２ｅの一例を示しており、メッシュ状にエリアを分割し、東西方向に西から１、２、３、・・、南北方向に北からＡ、Ｂ、Ｃ、・・と名称を付して、各エリアはその組み合わせによりＡ１やＣ５と呼ぶ。図３では棒グラフの高さにより混雑度の高さを表しており、その内訳を性別および年齢層別の種別ごとに異なる態様により表示している。
処理対象条件は、サーバ制御部１１が後述するプログラムにより定期的に処理する対象となる撮影画像１２ａの条件であり、たとえば撮影時刻が現在から１５分以内で、かつ緯度および経度が○○県△△市の範囲内であることである。
図１に戻って説明を継続する。
サーバ通信部１３は、ネットワーク回線Ｘを介して複数のウエアラブル端末２０と通信を行う。サーバ通信部１３は常に外部からの通信を待ち受けており、通信を受信するとサーバ制御部１１に通知する。
地図データベース１４は、不図示の磁気ディスクから構成され、地図データベース１４には、少なくとも建物の位置、地形、主要な駅のデータを含む地図が保存される。そのため、地図データベース１４を参照することにより、ある緯度と経度で表現される位置について屋内外の判断、すなわち建物の内部か否かを判断することができる。また、ユーザは地形及び駅により位置を把握できる。地図データベース１４にはさらに、一般的な外側線の幅やガードレースの支柱の間隔の情報が保存されている。
サーバ通信部１３は、ネットワーク回線Ｘを介して複数のウエアラブル端末２０と通信を行う。サーバ通信部１３は常に外部からの通信を待ち受けており、通信を受信するとサーバ制御部１１に通知する。
地図データベース１４は、不図示の磁気ディスクから構成され、地図データベース１４には、少なくとも建物の位置、地形、主要な駅のデータを含む地図が保存される。そのため、地図データベース１４を参照することにより、ある緯度と経度で表現される位置について屋内外の判断、すなわち建物の内部か否かを判断することができる。また、ユーザは地形及び駅により位置を把握できる。地図データベース１４にはさらに、一般的な外側線の幅やガードレースの支柱の間隔の情報が保存されている。
顔画像データベース１５は、不図示の磁気ディスクから構成され、顔画像データベース１５には、性別および年齢層ごとに分類された顔の特徴量のサンプルが保存される。このサンプルは、性別および年齢層別が明らかな、膨大な数の顔画像から作成される。そのため、性別および年齢層が未知の顔画像があった場合に、その顔画像から特徴量を算出し、顔画像データベース１５に保存されている特徴量のサンプルと比較することにより、その性別と年齢層を判別することができる。
ウエアラブル端末２０は、端末制御部２１と、端末通信部２２と、表示部２３と、撮影部２４と、端末記憶部２５と、視線検出部２６と、ＧＰＳ受信機２７と、電子コンパス２８とを備え、たとえばメガネの形態を有する。
ウエアラブル端末２０は、端末制御部２１と、端末通信部２２と、表示部２３と、撮影部２４と、端末記憶部２５と、視線検出部２６と、ＧＰＳ受信機２７と、電子コンパス２８とを備え、たとえばメガネの形態を有する。
端末制御部２１は、不図示のＣＰＵ、ＲＯＭ、およびＲＡＭを備え、後述するプログラムをＲＯＭに保存し、そのプログラムをＲＡＭに展開して実行する。また端末制御部２１は、一定時間ごと、たとえば５分ごとに撮影部２４に撮影の指令、ＧＰＳ受信機２７に現在位置算出の指令、電子コンパス２８に撮影方向取得の指令を送る。そして、撮影部２４から出力された画像、ＧＰＳ受信機２７から出力された現在位置、および電子コンパス２８から出力された撮影部２４の撮影方向を、現在時刻とともに混雑度推定サーバ１０へ送信する。
端末通信部２２は、ネットワーク回線Ｘを介して混雑度推定サーバ１０と通信を行う。端末通信部２２は常に外部からの通信を待ち受けており、通信を受信すると端末制御部２１に通知する。
端末通信部２２は、ネットワーク回線Ｘを介して混雑度推定サーバ１０と通信を行う。端末通信部２２は常に外部からの通信を待ち受けており、通信を受信すると端末制御部２１に通知する。
表示部２３は、不図示のヘッドマウントディスプレイから構成され、端末制御部２１から入力されたデータおよび動作設定用アイコンを表示する。たとえば、端末制御部２１からエリア混雑度地図１２ｅが入力されると、表示部２３は図４に示す表示を行う。図４は、表示部２３に表示されるエリア混雑度地図１２ｅ、動作設定用アイコンＶ、およびエリア混雑度地図１２ｅの凡例Ｌの一例を示している。図４に示す動作設定用アイコンＶをウエアラブル端末２０のユーザが注視すると、その注視が視線検出部２６により検出されて、端末制御部２１が後述するプログラムを実行することにより表示部２３の表示が変化する。たとえば、視線検出部２６がユーザによる凡例Ｌのいずれかの項目の注視を検出すると、端末制御部２１に注視した項目が出力される。そして、端末制御部２１は選択された項目だけを表示部２３に表示させる。図５は、表示部２３にエリア混雑度地図１２ｅの選択された項目だけを表示した一例を示している。図４の例では男性の全ての年齢層を表示していたが、図５の例では選択された６０歳以上の年齢層のみが表示されている。
撮影部２４は、不図示のカメラを備える。撮影部２４は、端末制御部２１からの指令により被写体を撮影し、撮影して得られた画像を端末制御部２１に出力する。本明細書では、画像とは静止画像および連続的に撮影された一連の静止画像、すなわち動画像の両方を含む概念である。撮影部２４は、端末制御部２１からリアルタイム動画像の出力の指令を受けると、出力停止の指令を受けるまで連続的に撮影を行い、得られた画像であるリアルタイム動画像を端末制御部２１に出力する。
端末記憶部２５は、不図示のフラッシュメモリにより構成され、この端末記憶部２５はには、混雑度推定サーバ１０から受信したデータ、たとえば混雑度表１２ｃ、点群混雑度地図１２ｄ、またはエリア混雑度地図１２ｅが保存される。
端末記憶部２５は、不図示のフラッシュメモリにより構成され、この端末記憶部２５はには、混雑度推定サーバ１０から受信したデータ、たとえば混雑度表１２ｃ、点群混雑度地図１２ｄ、またはエリア混雑度地図１２ｅが保存される。
視線検出部２６は、不図示の赤外線カメラを備え、ユーザが注視している表示部２３の座標を端末制御部２１に出力する。視線検出部２６は、赤外線カメラでユーザの眼球を撮影し、既知の視線検出手法によりユーザの視線の方向、およびウインクを検出する。視線の検出方法は例えば、瞳孔の中心と角膜曲率中心位置から視線を検出する手法が知られている。視線検出部２６は、赤外線カメラによりユーザの目を撮影しているので、赤外線カメラにより撮影して得られた画像から黒目部分が消失したことにより、目を閉じたことを検出できる。無意識に行う瞬きと、意識的に行うウインクとを判別するために目を閉じている時間を利用し、たとえば目を閉じている時間が０．５秒〜２．０秒の場合をウインクと判断する。そして、目を閉じている時間が０．５秒未満の場合を瞬きと判断する。
視線検出部２６は、一定時間にわたってユーザの視線の方向が一定であり、なおかつ瞬きをしていない場合には、ユーザがある点を注視していると判断する。そして、既知である表示部２３の位置とユーザの視線の方向とから、ユーザが表示部２３を注視していると判断する場合は、視線検出部２６は、端末制御部２１にユーザが注視している表示部２３の座標を出力する。また、注視を検出した後にユーザによるウインクを検出した場合には、視線検出部２６は表示部２３の座標に続けてウインクの検出を端末制御部２１に出力する。
ＧＰＳ受信機２７は、複数の衛星から電波を受信して現在地を算出し、端末制御部２１からの要求に応じて現在地を端末制御部２１に出力する。電子コンパス２８は、３軸の地磁気センサを備え、端末制御部２１からの要求に応じて、撮影部２４の撮影方向の向きを端末制御部２１に出力する。
地図データベース２９は、混雑度推定サーバ１０の地図データベース１４と同様である。
ＧＰＳ受信機２７は、複数の衛星から電波を受信して現在地を算出し、端末制御部２１からの要求に応じて現在地を端末制御部２１に出力する。電子コンパス２８は、３軸の地磁気センサを備え、端末制御部２１からの要求に応じて、撮影部２４の撮影方向の向きを端末制御部２１に出力する。
地図データベース２９は、混雑度推定サーバ１０の地図データベース１４と同様である。
第１の実施の形態の動作を説明する。
（１）サーバの定期的な動作
混雑度推定サーバ１０のサーバ制御部１１は、一定の時間間隔ごと、たとえば１０分ごとに図６のフローチャートで動作が表されるプログラムを実行し、混雑度表１２ｃ、点群混雑度地図１２ｄ、およびエリア混雑度地図１２ｅを新たに作成する。
ステップＳ１０２では、サーバ制御部１１は、サーバ記憶部１２に保存されている混雑度表１２ｃ、点群混雑度地図１２ｄ、およびエリア混雑度地図１２ｅを削除してステップＳ１０４に進む。
（１）サーバの定期的な動作
混雑度推定サーバ１０のサーバ制御部１１は、一定の時間間隔ごと、たとえば１０分ごとに図６のフローチャートで動作が表されるプログラムを実行し、混雑度表１２ｃ、点群混雑度地図１２ｄ、およびエリア混雑度地図１２ｅを新たに作成する。
ステップＳ１０２では、サーバ制御部１１は、サーバ記憶部１２に保存されている混雑度表１２ｃ、点群混雑度地図１２ｄ、およびエリア混雑度地図１２ｅを削除してステップＳ１０４に進む。
ステップＳ１０４では、サーバ制御部１１は、サーバ記憶部１２に保存されている全ての画像情報１２ｂを参照して、サーバ記憶部１２に保存されている処理対象条件に該当する撮影画像１２ａを抽出する。そして、抽出した撮影画像１２ａの一覧を処理対象リストとして作成し、サーバ制御部１１のＲＡＭに保存してステップＳ１０６に進む。処理対象条件とは、たとえば撮影時刻が現在から１５分以内で、かつ緯度および経度が○○県△△市の範囲内であることである。
ステップＳ１０６では、サーバ制御部１１は、処理対象リストの先頭に記載されている撮影画像１２ａを処理対象に設定してステップＳ１０８に進む。後述するように、処理対象リストに記載された撮影画像１２ａは、リストの先頭から順番に処理対象となる。
ステップＳ１０６では、サーバ制御部１１は、処理対象リストの先頭に記載されている撮影画像１２ａを処理対象に設定してステップＳ１０８に進む。後述するように、処理対象リストに記載された撮影画像１２ａは、リストの先頭から順番に処理対象となる。
ステップＳ１０８では、サーバ制御部１１は、処理対象である撮影画像１２ａが撮影された撮影位置が含まれる画像情報１２ｂ、および地図データベース１４を参照し、その撮影位置が屋外か否かを判断する。撮影位置が屋外であると判断する場合はステップＳ１１０に進み、撮影位置が屋外ではないと判断する場合はステップＳ１２４に進む。歩道の混雑度を算出することを目的としているからである。
ステップＳ１１０では、サーバ制御部１１は、処理対象である撮影画像１２ａに画像処理を行い、認識した人物の足の付近が歩道であること、歩道の色はおおよそ均一であること、壁と歩道の色は明確なコントラストを有すること、などから歩道のエリアを抽出する。そして、撮影画像１２ａに撮影されている既知の大きさ、または既知の長さを有する物体を、たとえば地図データベース１４に保存されている外側線の幅やガードレールの支柱の間隔の情報を利用して歩道の面積を算出し、ＲＡＭに保存してステップＳ１１２に進む。
ステップＳ１１０では、サーバ制御部１１は、処理対象である撮影画像１２ａに画像処理を行い、認識した人物の足の付近が歩道であること、歩道の色はおおよそ均一であること、壁と歩道の色は明確なコントラストを有すること、などから歩道のエリアを抽出する。そして、撮影画像１２ａに撮影されている既知の大きさ、または既知の長さを有する物体を、たとえば地図データベース１４に保存されている外側線の幅やガードレールの支柱の間隔の情報を利用して歩道の面積を算出し、ＲＡＭに保存してステップＳ１１２に進む。
ステップＳ１１２では、サーバ制御部１１は、処理対象の撮影画像１２ａに画像処理を行い、顔画像データベース１５を利用して撮影画像１２ａに撮影されている全ての人物について性別および年齢層を推定してステップＳ１１４に進む。顔画像データベース１５には、性別および年齢が明らかな膨大な数の顔画像から作成した「顔の特徴量のサンプル」が保存されている。そのため、撮影画像１２ａに含まれている顔の特徴量を算出し、顔画像データベース１５に保存されているサンプルと相関を比較することにより、性別および年齢層を推定できる。ただし、後ろを向いている場合や下を向いている場合など、処理対象の撮影画像１２ａから顔を認識できない場合にはステップＳ１１２では性別および年齢層を推定できない。
ステップＳ１１４では、サーバ制御部１１は、ステップＳ１１２における画像処理により、処理対象の撮影画像１２ａに撮影されている全ての人の性別および年齢層が推定できたか否かを判断する。全て判断できたと判断する場合はステップＳ１２２に進み、１人でも推定できなかった人がいると判断する場合はステップＳ１１６に進む。
ステップＳ１１４では、サーバ制御部１１は、ステップＳ１１２における画像処理により、処理対象の撮影画像１２ａに撮影されている全ての人の性別および年齢層が推定できたか否かを判断する。全て判断できたと判断する場合はステップＳ１２２に進み、１人でも推定できなかった人がいると判断する場合はステップＳ１１６に進む。
ステップＳ１１６では、サーバ制御部１１は、処理対象の撮影画像１２ａが撮影された位置から所定の範囲内位置で撮影された他の撮影画像１２ａ（以後、参照画像と呼ぶ）を用いて、ステップＳ１１２では性別および年齢層が推定できなかった人物（以下、判別対象者と呼ぶ）の性別および年齢層を推定する。参照画像は、処理対象の撮影画像１２ａを撮影したウエアラブル端末２０、または他のウエアラブル端末２０により撮影されて得られた撮影画像１２ａであって、画像情報１２ｂに保存されている撮影位置、撮影時刻、および撮影方向によりサーバ記憶部１２から抽出される。抽出した参照画像から判別対象者を認識するために、撮影位置、撮影時刻、撮影方向に加えて、処理対象の撮影画像１２ａにおける判別対象者の服装を利用する。そして、参照画像における判別対象者の画像を対象として、顔画像データベース１５から判別対象者の性別および年齢層を推定する。ただし、複数の参照画像において判別対象者を抽出できた場合には、それら複数の参照画像における判別対象者の画像を対象として性別および年齢層を推定する。その後、ステップＳ１１８に進む。
ステップＳ１１８では、サーバ制御部１１は、ステップＳ１１６における処理により、全ての判別対象者の性別および年齢層が推定できたか否かを判断する。全ての判別対象者の性別および年齢層が推定できたと判断する場合はステップＳ１２２に進み、いずれかの判別対象者の性別および年齢層が推定できなかったと判断する場合はステップＳ１２０に進む。
ステップＳ１２０では、サーバ制御部１１は、処理対象の撮影画像１２ａおよび参照画像を用いて、判別対象者と並んで歩行している者を特定し、判別対象者の性別および年齢層は、判別対象者と並んで歩行している者と同一であると推定し、ステップＳ１２２に進む。性別および年齢層が近い友人同士が並んで歩くことが多いからである。なお、ステップＳ１２０においても性別および年齢層が不明の場合には、性別および年齢を不明として扱う。
ステップＳ１２０では、サーバ制御部１１は、処理対象の撮影画像１２ａおよび参照画像を用いて、判別対象者と並んで歩行している者を特定し、判別対象者の性別および年齢層は、判別対象者と並んで歩行している者と同一であると推定し、ステップＳ１２２に進む。性別および年齢層が近い友人同士が並んで歩くことが多いからである。なお、ステップＳ１２０においても性別および年齢層が不明の場合には、性別および年齢を不明として扱う。
ステップＳ１２２では、サーバ制御部１１は、ステップＳ１１２において検出した人数、すなわち処理対象の撮影画像１２ａに撮影されていた人数を、ステップＳ１０８において算出した歩道の面積で除算して、単位面積当たりの人数、すなわち混雑度を算出する。また、ステップＳ１１２〜Ｓ１２０において推定した性別および年齢層別の人数を、ステップＳ１０８において算出した歩道の面積で除算して、性別および年齢層別の混雑度も算出する。サーバ制御部１１は、処理対象の撮影画像１２ａの画像情報１２ｂから撮影画像１２ａが撮影された緯度および経度を取得し、算出した混雑度とともに混雑度表１２ｃに記録し、ステップＳ１２４に進む。図２に示す例においては、ステップＳ１２２が実行されるたびに、混雑度表１２ｃが１行ずつ増える。なお、全ての処理対象である撮影画像１２ａについて処理が完了すると、混雑度表１２ｃが完成する。
ステップＳ１２４では、サーバ制御部１１は、現在の処理対象の撮影画像１２ａが、ステップＳ１０４において作成した処理対象リストに記載されている最後の画像であるか否かを判断する。最後の画像であると判断する場合はステップＳ１２６に進み、最後の画像ではないと判断する場合は処理対象リストに記載されている次の画像を処理対象に設定し、ステップＳ１０８に戻る。
ステップＳ１２６では、サーバ制御部１１は、エリア混雑度地図１２ｅを作成する準備として、混雑度表１２ｃに記載された混雑度について所定のエリアごとの平均値を算出してステップＳ１２８に進む。所定のエリアとは、たとえば東西方向、南北方向に沿って切り分けたメッシュ状の５０ｍ四方のエリアであり、混雑度表１２ｃに記載の緯度と経度からいずれのエリアに属するかを判断する。たとえば、あるエリアに図２に示した３つの地点のみが含まれる場合は、それぞれの合計混雑度が３．２、２．１、２．２なので、そのエリアの合計混雑度は平均値である２．５である。なお前述のように、すでに全ての処理対象である撮影画像１２ａについて処理が完了しているので、ステップＳ１２６の処理が開始された時には混雑度表１２ｃは完成されている。
ステップＳ１２６では、サーバ制御部１１は、エリア混雑度地図１２ｅを作成する準備として、混雑度表１２ｃに記載された混雑度について所定のエリアごとの平均値を算出してステップＳ１２８に進む。所定のエリアとは、たとえば東西方向、南北方向に沿って切り分けたメッシュ状の５０ｍ四方のエリアであり、混雑度表１２ｃに記載の緯度と経度からいずれのエリアに属するかを判断する。たとえば、あるエリアに図２に示した３つの地点のみが含まれる場合は、それぞれの合計混雑度が３．２、２．１、２．２なので、そのエリアの合計混雑度は平均値である２．５である。なお前述のように、すでに全ての処理対象である撮影画像１２ａについて処理が完了しているので、ステップＳ１２６の処理が開始された時には混雑度表１２ｃは完成されている。
ステップＳ１２８では、サーバ制御部１１は、混雑度表１２ｃに記載されている情報を地図データベース１４に保存されている地図の対応する位置に点データとして書込み、点群混雑度地図１２ｄを作成してサーバ記憶部１２に保存する。また、ステップＳ１２６において算出したエリアごとの混雑度の平均値を用いてエリア混雑度地図１２ｅを作成し、サーバ記憶部１２に保存する。その後、図６のフローチャートを終了する。点群混雑度地図１２ｄでは、混雑度の大小を点の輝度により表現してもよいし、点の大きさにより表現してもよい。また、性別および年齢層ごとに表示する色を異ならせて区別してもよいし、性別および年齢層ごとに異なる点群混雑度地図１２ｄを作成してもよい。エリア混雑度地図１２ｅは、色の濃淡によりエリアごとの混雑度を表現してもよいし、性別および年齢層ごとに表示する色を異ならせて区別してもよい。さらに、性別および年齢層別の種別ごとに識別可能に表示した積み上げ棒グラフにより表示してもよい。
（２）ウエアラブル端末からの要求によるサーバの動作
混雑度推定サーバ１０は、ウエアラブル端末２０から、混雑度に関する情報または撮影画像１２ａのダウンロード要求、リアルタイム動画像の配信要求、および撮影した画像などのアップロード要求の通信を受ける。サーバ通信部１３は常に外部からの通信を待ち受けており、通信を受信するとサーバ制御部１１に受信したデータを出力する。サーバ制御部１１は、サーバ通信部１３からデータの出力を受けると、以下のようにサーバ通信部１３が受信したデータを参照して処理を決定する。
混雑度推定サーバ１０は、ウエアラブル端末２０から、混雑度に関する情報または撮影画像１２ａのダウンロード要求、リアルタイム動画像の配信要求、および撮影した画像などのアップロード要求の通信を受ける。サーバ通信部１３は常に外部からの通信を待ち受けており、通信を受信するとサーバ制御部１１に受信したデータを出力する。サーバ制御部１１は、サーバ通信部１３からデータの出力を受けると、以下のようにサーバ通信部１３が受信したデータを参照して処理を決定する。
図７は、混雑度推定サーバ１０が、ウエアラブル端末２０から通信を受けるとサーバ制御部１１が実行するプログラムの動作を表すフローチャートである。本フローチャートの説明において、本フローチャートにより動作が表されるプログラムを実行するきっかけとなった通信を行ったウエアラブル端末２０を「処理要求端末」と呼ぶ。
ステップＳ２０２では、サーバ制御部１１は、受信したデータに画像データが含まれるか否かにより、当該通信がアップロード要求であるか否かを判断する。受信したデータが画像データを含むと判断する場合はステップＳ２０４に進み、受信したデータが画像データを含まないと判断する場合はステップＳ２０６に進む。
ステップＳ２０２では、サーバ制御部１１は、受信したデータに画像データが含まれるか否かにより、当該通信がアップロード要求であるか否かを判断する。受信したデータが画像データを含むと判断する場合はステップＳ２０４に進み、受信したデータが画像データを含まないと判断する場合はステップＳ２０６に進む。
ステップＳ２０４では、サーバ制御部１１は、受信したデータに含まれる画像データを撮影画像１２ａとしてサーバ記憶部１２に保存する。また、受信したデータの画像データ以外のデータ、すなわち撮影位置、撮影時刻、撮影方向および、データを送信したウエアラブル端末２０のネットワーク回線Ｘにおける識別情報を画像情報１２ｂとして、同時に受信した撮影画像１２ａと関連付けてサーバ記憶部１２に保存し、図７のフローチャートを終了する。
ステップＳ２０６では、サーバ制御部１１は、受信したデータが撮影画像１２ａやリアルタイム動画像の要求であるか、混雑度に関する情報の要求であるかを判断する。これは、受信したデータに位置を指定する情報、たとえば緯度と経度、またはエリアの名称が含まれるか否かにより判断する。受信したデータに位置を指定する情報が含まれる場合には、撮影画像１２ａやリアルタイム動画像の要求であるとしてステップＳ２０８に進む。受信したデータに位置を指定する情報が含まれない場合には、混雑度に関する情報の要求であるとしてステップＳ２０７に進む。なお、以下では受信したデータに含まれていた位置を指定する情報により指定される位置を「指定位置」と呼ぶ。
ステップＳ２０７では、サーバ制御部１１は、受信したデータは、混雑度表１２ｃ、点群混雑度地図１２ｄ、エリア混雑度地図１２ｅのいずれかの要求なので、要求に応じたデータをサーバ記憶部１２から読み出して処理要求端末に送信し、図７のフローチャートを終了する。
ステップＳ２０８では、サーバ制御部１１は、受信したデータにリアルタイム動画像の指定が付加されているか否かを判断する。リアルタイム動画像の指定が付加されていると判断する場合はステップＳ２１０に進み、リアルタイム動画像の指定が付加されていないと判断する場合はステップＳ２２０に進む。
ステップＳ２１０では、サーバ制御部１１は、サーバ記憶部１２に保存されている画像情報１２ｂを参照して、「指定位置に最も近い撮影位置」を有するウエアラブル端末２０（以下、「リアルタイム動画像配信端末」と呼ぶ）のネットワーク回線Ｘにおける識別情報を検索し、ステップＳ２１２に進む。たとえば、リアルタイム動画像配信端末のＩＰアドレスを取得して、ステップＳ２１２に進む。
ステップＳ２０８では、サーバ制御部１１は、受信したデータにリアルタイム動画像の指定が付加されているか否かを判断する。リアルタイム動画像の指定が付加されていると判断する場合はステップＳ２１０に進み、リアルタイム動画像の指定が付加されていないと判断する場合はステップＳ２２０に進む。
ステップＳ２１０では、サーバ制御部１１は、サーバ記憶部１２に保存されている画像情報１２ｂを参照して、「指定位置に最も近い撮影位置」を有するウエアラブル端末２０（以下、「リアルタイム動画像配信端末」と呼ぶ）のネットワーク回線Ｘにおける識別情報を検索し、ステップＳ２１２に進む。たとえば、リアルタイム動画像配信端末のＩＰアドレスを取得して、ステップＳ２１２に進む。
ステップＳ２１２では、サーバ制御部１１は、ステップＳ２１０において検索したリアルタイム動画像配信端末の識別情報を利用して、リアルタイム動画像配信端末にリアルタイム動画像を要求しステップＳ２１４に進む。
ステップＳ２１４では、サーバ制御部１１は、リアルタイム動画像配信端末から受信すると処理要求端末へのリアルタイム動画像の送信処理を開始し、ステップＳ２１６に進む。なお、これ以後はステップＳ２１８において送信を停止するまで、リアルタイム動画像配信端末から受信した動画像の処理要求端末への送信は継続されている。
ステップＳ２１４では、サーバ制御部１１は、リアルタイム動画像配信端末から受信すると処理要求端末へのリアルタイム動画像の送信処理を開始し、ステップＳ２１６に進む。なお、これ以後はステップＳ２１８において送信を停止するまで、リアルタイム動画像配信端末から受信した動画像の処理要求端末への送信は継続されている。
ステップＳ２１６では、サーバ制御部１１は、所定時間だけ待機してステップＳ２１８に進む。前述のとおり、このステップＳ２１６における待機時間中にも、リアルタイム動画像配信端末から受信したリアルタイム動画像の処理要求端末への送信は継続している。
ステップＳ２１８では、サーバ制御部１１は、リアルタイム動画像配信端末からのリアルタイム動画像の受信、および処理要求端末へのリアルタイム動画像の送信を終了し、図７のフローチャートを終了する。
ステップＳ２２０では、サーバ制御部１１は、画像情報１２ｂを参照して、撮影位置が指定位置から所定距離内で、かつ現在時刻から所定時間以内に撮影された撮影画像１２ａを選択し、ステップＳ２２２に進む。
ステップＳ２１８では、サーバ制御部１１は、リアルタイム動画像配信端末からのリアルタイム動画像の受信、および処理要求端末へのリアルタイム動画像の送信を終了し、図７のフローチャートを終了する。
ステップＳ２２０では、サーバ制御部１１は、画像情報１２ｂを参照して、撮影位置が指定位置から所定距離内で、かつ現在時刻から所定時間以内に撮影された撮影画像１２ａを選択し、ステップＳ２２２に進む。
ステップＳ２２２では、サーバ制御部１１は、ステップＳ２２０において選択した撮影画像１２ａを処理要求端末へ送信し、図７のフローチャートを終了する。
（３）ウエアラブル端末の動作
ウエアラブル端末２０の視線検出部２６は常にユーザの視線の動きを検出している。視線検出部２６は、表示部２３に図４のように混雑度データが表示されている際に、ユーザが表示部２３の地図または動作設定アイコンＶを注視したことを検出すると、端末制御部２１にユーザが注視していた表示部２３の座標および注視後のウインクの有無を出力する。
ウエアラブル端末２０の視線検出部２６は常にユーザの視線の動きを検出している。視線検出部２６は、表示部２３に図４のように混雑度データが表示されている際に、ユーザが表示部２３の地図または動作設定アイコンＶを注視したことを検出すると、端末制御部２１にユーザが注視していた表示部２３の座標および注視後のウインクの有無を出力する。
図８は、端末制御部２１が視線検出部２６から入力を受けると実行するプログラムの動作を表すフローチャートである。
ステップＳ３０２では、端末制御部２１は、視線検出部２６から入力されたユーザの注視座標と、表示部２３に表示されているデータを使用して、ユーザが注視していたのは地図上の点であるか否かを判断する。地図上の点であると判断する場合はステップＳ３０４に進み、地図上の点ではないと判断する場合はステップＳ３１４に進む。
ステップＳ３０４では、端末制御部２１は、視線検出部２６からユーザがウインクをしたという情報が入力されたか否かを判断する。ウインクをしたという情報が入力されたと判断する場合はステップＳ３０６に進み、ウインクをしたという情報が入力されていないと判断する場合はステップＳ３０８に進む。
ステップＳ３０２では、端末制御部２１は、視線検出部２６から入力されたユーザの注視座標と、表示部２３に表示されているデータを使用して、ユーザが注視していたのは地図上の点であるか否かを判断する。地図上の点であると判断する場合はステップＳ３０４に進み、地図上の点ではないと判断する場合はステップＳ３１４に進む。
ステップＳ３０４では、端末制御部２１は、視線検出部２６からユーザがウインクをしたという情報が入力されたか否かを判断する。ウインクをしたという情報が入力されたと判断する場合はステップＳ３０６に進み、ウインクをしたという情報が入力されていないと判断する場合はステップＳ３０８に進む。
ステップＳ３０６では、端末制御部２１は、リアルタイム動画像の指定とともに、ユーザが注視していた位置を混雑度推定サーバ１０に送信し、ステップＳ３１０に進む。端末制御部２１は、ユーザの注視していた地理的な位置を、表示部２３の表示およびユーザの注視していた表示画面上の座標から、緯度と経度、またはエリアの名称として特定する。
ステップＳ３０８では、端末制御部２１は、ユーザが注視していた地理的な位置を混雑度推定サーバ１０に送信し、ステップＳ３１０に進む。ただし、ステップＳ３０６とは異なり、リアルタイム動画像の指定を行わない。ユーザが注視していた位置は、表示部２３の表示およびユーザの注視していた表示画面上の座標から、緯度と経度、またはエリアの名称として特定する。
ステップＳ３０８では、端末制御部２１は、ユーザが注視していた地理的な位置を混雑度推定サーバ１０に送信し、ステップＳ３１０に進む。ただし、ステップＳ３０６とは異なり、リアルタイム動画像の指定を行わない。ユーザが注視していた位置は、表示部２３の表示およびユーザの注視していた表示画面上の座標から、緯度と経度、またはエリアの名称として特定する。
ステップＳ３１０では、端末制御部２１は、混雑度推定サーバ１０からリアルタイム動画像、撮影画像１２ａ、点群混雑度地図１２ｄまたはエリア混雑度地図１２ｅを受信してステップＳ３１２に進む。
ステップＳ３１２では、端末制御部２１は、混雑度推定サーバ１０から受信したデータを表示部２３に表示して図８のフローチャートを終了する。
ステップＳ３１４では、端末制御部２１は、ユーザの注視していた座標からユーザが注視していた動作設定アイコンＶがＶ１〜Ｖ４のいずれかを特定し、注視していたアイコンにマーカＭをセットして表示部２３の表示を更新してステップＳ３１６に進む。ただし、アイコンＶ１かアイコンＶ２に１つのマーカＭが、アイコンＶ３かアイコンＶ４に１つのマーカＭがセットされる。
ステップＳ３１２では、端末制御部２１は、混雑度推定サーバ１０から受信したデータを表示部２３に表示して図８のフローチャートを終了する。
ステップＳ３１４では、端末制御部２１は、ユーザの注視していた座標からユーザが注視していた動作設定アイコンＶがＶ１〜Ｖ４のいずれかを特定し、注視していたアイコンにマーカＭをセットして表示部２３の表示を更新してステップＳ３１６に進む。ただし、アイコンＶ１かアイコンＶ２に１つのマーカＭが、アイコンＶ３かアイコンＶ４に１つのマーカＭがセットされる。
ステップＳ３１６では、端末制御部２１は、ステップＳ３１４による表示部２３の表示更新後の表示において、受信設定のアイコンである地図Ｖ１と表Ｖ２のいずれが選択されているか、すなわちどちらにマーカＭがセットされているかを判断する。地図Ｖ１が選択されていると判断する場合はステップ３１８に進み、表Ｖ２が選択されていると判断する場合はステップＳ３２４に進む。
ステップＳ３１８では、端末制御部２１は、ステップＳ３１４による表示部２３の表示更新後の表示において、表示設定のアイコンであるドットＶ３とエリアＶ４のいずれが選択されているか、すなわちどちらにマーカＭがセットされているかを判断する。ドットＶ３が選択されていると判断する場合はステップ３２２に進み、エリアＶ４が選択されていると判断する場合はステップ３２０に進む。
ステップＳ３１８では、端末制御部２１は、ステップＳ３１４による表示部２３の表示更新後の表示において、表示設定のアイコンであるドットＶ３とエリアＶ４のいずれが選択されているか、すなわちどちらにマーカＭがセットされているかを判断する。ドットＶ３が選択されていると判断する場合はステップ３２２に進み、エリアＶ４が選択されていると判断する場合はステップ３２０に進む。
ステップＳ３２０では、端末制御部２１は、混雑度推定サーバ１０にエリア表示のマッピングデータであるエリア混雑度地図１２ｅの要求を送信し、ステップＳ３１０に進む。
ステップＳ３２２では、端末制御部２１は、混雑度推定サーバ１０に点表示のマッピングデータである点群混雑度地図１２ｄの要求を送信し、ステップＳ３１０に進む。
ステップＳ３２４では、端末制御部２１は、混雑度推定サーバ１０に混雑度表１２ｃの要求を送信し、ステップＳ３２６に進む。
ステップＳ３２６では、端末制御部２１は、混雑度推定サーバ１０から混雑度表１２ｃを受信してステップＳ３２８に進む。
ステップＳ３２２では、端末制御部２１は、混雑度推定サーバ１０に点表示のマッピングデータである点群混雑度地図１２ｄの要求を送信し、ステップＳ３１０に進む。
ステップＳ３２４では、端末制御部２１は、混雑度推定サーバ１０に混雑度表１２ｃの要求を送信し、ステップＳ３２６に進む。
ステップＳ３２６では、端末制御部２１は、混雑度推定サーバ１０から混雑度表１２ｃを受信してステップＳ３２８に進む。
ステップＳ３２８では、端末制御部２１は、表示設定のアイコンであるドットＶ３とエリアＶ４のいずれが選択されているか、すなわちどちらにマーカＭがセットされているかを判断する。ドットＶ３が選択されていると判断する場合はステップ３３４に進み、表Ｖ２が選択されていると判断する場合はステップＳ３３０に進む。
ステップＳ３３０では、端末制御部２１は、図６のステップＳ１２６と同様に、エリア混雑度地図１２ｅを作成する準備として、混雑度表１２ｃに記載された混雑度について所定のエリアごとの平均値を算出してステップＳ３３２に進む。所定のエリアとは、たとえば東西方向、南北方向に沿って切り分けたメッシュ状の５０ｍ四方のエリアであり、混雑度表１２ｃに記載の緯度と経度からいずれのエリアに属するかを判断する。
ステップＳ３３０では、端末制御部２１は、図６のステップＳ１２６と同様に、エリア混雑度地図１２ｅを作成する準備として、混雑度表１２ｃに記載された混雑度について所定のエリアごとの平均値を算出してステップＳ３３２に進む。所定のエリアとは、たとえば東西方向、南北方向に沿って切り分けたメッシュ状の５０ｍ四方のエリアであり、混雑度表１２ｃに記載の緯度と経度からいずれのエリアに属するかを判断する。
ステップＳ３３２では、端末制御部２１は、混雑度推定サーバ１０から受信した混雑度表１２ｃに記載されている情報を、地図データベース２９に保存されている地図の対応する位置に点データとして書込み、点群混雑度地図１２ｄを作成する。そして、表示部２３に表示させ、図８のフローチャートを終了する。
ステップＳ３３４では、端末制御部２１は、ステップＳ３３０において作成したデータにより、エリア混雑度地図１２ｅを作成して表示部２３に表示し、図８のフローチャートを終了する。
ステップＳ３３４では、端末制御部２１は、ステップＳ３３０において作成したデータにより、エリア混雑度地図１２ｅを作成して表示部２３に表示し、図８のフローチャートを終了する。
ウエアラブル端末２０の端末通信部２２は、常に外部からの通信を待ち受けており、リアルタイム動画像の要求を受信すると端末制御部２１に伝達する。
図９は、端末通信部２２から通信の受信を伝達されると端末制御部２１が実行するプログラムの動作を示すフローチャートである。
ステップＳ４０２では、端末制御部２１は、撮影部２４による撮影を開始し、撮影したリアルタイムの動画像を要求を送信した混雑度推定サーバ１０へ端末通信部２２から送信してステップＳ４０４に進む。ステップＳ４０２の実行以後は、ステップＳ４０６において接続が切断されるまでは、撮影部２４により撮影した動画像は混雑度推定サーバ１０へ継続的に送信される。
図９は、端末通信部２２から通信の受信を伝達されると端末制御部２１が実行するプログラムの動作を示すフローチャートである。
ステップＳ４０２では、端末制御部２１は、撮影部２４による撮影を開始し、撮影したリアルタイムの動画像を要求を送信した混雑度推定サーバ１０へ端末通信部２２から送信してステップＳ４０４に進む。ステップＳ４０２の実行以後は、ステップＳ４０６において接続が切断されるまでは、撮影部２４により撮影した動画像は混雑度推定サーバ１０へ継続的に送信される。
ステップＳ４０４では、端末制御部２１は、所定の時間、たとえば１０秒間待機してステップＳ４０６に進む。ただし、所定の時間の間であっても当該ウエアラブル端末２０のユーザによる、視線検出部２６からの明示の入力によりステップＳ４０６に進んでもよい。
ステップＳ４０６では、端末制御部２１は、混雑度推定サーバ１０への動画像の送信および撮影部２４による撮影を終了し、図９のフローチャートを終了する。
ステップＳ４０６では、端末制御部２１は、混雑度推定サーバ１０への動画像の送信および撮影部２４による撮影を終了し、図９のフローチャートを終了する。
（動作の要約）
第１の実施の形態において、混雑度推定サーバ１０およびウエアラブル端末２０は以下の動作を行う。
ウエアラブル端末２０は、一定時間間隔ごとに撮影部２４により撮影して得られた撮影画像１２ａを、撮影位置の情報などとともに混雑度推定サーバ１０に送信する。
複数のウエアラブル端末２０から撮影画像１２ａおよび画像情報１２ｂを受信する混雑度推定サーバ１０は、画像解析により撮影画像１２ａから人数および歩道の面積を算出して混雑度を算出し、その撮影画像１２ａが撮影された位置とともに混雑度表１２ｃに記録する。そして、混雑度表１２ｃに記録された混雑度を地図データベース１４の地図にマッピングし、点群混雑度地図１２ｄおよびエリア混雑度地図１２ｅを作成する。混雑度推定サーバ１０は、要求に応じて混雑度表１２ｃ、点群混雑度地図１２ｄ、またはエリア混雑度地図１２ｅを送信する。
第１の実施の形態において、混雑度推定サーバ１０およびウエアラブル端末２０は以下の動作を行う。
ウエアラブル端末２０は、一定時間間隔ごとに撮影部２４により撮影して得られた撮影画像１２ａを、撮影位置の情報などとともに混雑度推定サーバ１０に送信する。
複数のウエアラブル端末２０から撮影画像１２ａおよび画像情報１２ｂを受信する混雑度推定サーバ１０は、画像解析により撮影画像１２ａから人数および歩道の面積を算出して混雑度を算出し、その撮影画像１２ａが撮影された位置とともに混雑度表１２ｃに記録する。そして、混雑度表１２ｃに記録された混雑度を地図データベース１４の地図にマッピングし、点群混雑度地図１２ｄおよびエリア混雑度地図１２ｅを作成する。混雑度推定サーバ１０は、要求に応じて混雑度表１２ｃ、点群混雑度地図１２ｄ、またはエリア混雑度地図１２ｅを送信する。
ウエアラブル端末２０は、動作設定アイコンＶの設定に従い、混雑度推定サーバ１０から混雑度表１２ｃを受信して、点群混雑度地図１２ｄまたはエリア混雑度地図１２ｅを作成して表示部２３に表示する。もしくは、混雑度推定サーバ１０から点群混雑度地図１２ｄまたはエリア混雑度地図１２ｅを受信して表示部２３に表示する。
混雑度推定サーバ１０は、外部からの要求に応じて、作成された混雑度表１２ｃ、点群混雑度地図１２ｄ、またはエリア混雑度地図１２ｅを送信する。さらに、位置を指定した要求を受けると、指定された位置付近で撮影された撮影画像１２ａ、または指定された位置付近のウエアラブル端末２０からのリアルタイム動画像を送信する。
混雑度推定サーバ１０は、外部からの要求に応じて、作成された混雑度表１２ｃ、点群混雑度地図１２ｄ、またはエリア混雑度地図１２ｅを送信する。さらに、位置を指定した要求を受けると、指定された位置付近で撮影された撮影画像１２ａ、または指定された位置付近のウエアラブル端末２０からのリアルタイム動画像を送信する。
ウエアラブル端末２０は視線検出部２６を備え、ウエアラブル端末２０のユーザが表示部２３上の点を注視していることを検出すると、視線検出部２６は端末制御部２１に注視位置の情報を伝達する。端末制御部２１は、ユーザが地図上の点を注視していたと判断する場合は、混雑度推定サーバ１０に位置情報を送信し、指定した位置付近で撮影された撮影画像１２ａまたはリアルタイム動画像を混雑度推定サーバ１０から受信する。端末制御部２１は、ユーザが動作設定アイコンＶを注視していたと判断する場合は、注視されていたアイコンＶにマーカＭをセットし、混雑度推定サーバ１０に情報を要求して受信したデータに基づき、点群混雑度地図１２ｄまたはエリア混雑度地図１２ｅを表示部２３に表示する。
以上説明した第１の実施の形態において、混雑度推定システム１は以下の作用効果を奏する。
（１）混雑度推定システム１は、複数のウエアラブル端末２０と混雑度推定サーバ１０とから構成される。ウエアラブル端末２０は、被写体を撮影する撮影部２４と、現在位置を算出するＧＰＳ受信機２７と、撮影部２４により撮影して得られた画像、およびＧＰＳ受信機２７により算出した現在位置をサーバに送信する端末通信部２２と、を備える。混雑度推定サーバ１０は、複数のウエアラブル端末２０と通信するサーバ通信部１３と、複数のウエアラブル端末２０から送信されてサーバ通信部１３が受信する撮影画像１２ａおよび現在位置が関連付けられて保存されるサーバ記憶部１２と、サーバ記憶部１２に保存された撮影画像１２ａを解析して人数と面積とから算出される混雑度を算出し、算出した混雑度および現在位置をサーバ通信部１３により送信するサーバ制御部１１とを備える。
（１）混雑度推定システム１は、複数のウエアラブル端末２０と混雑度推定サーバ１０とから構成される。ウエアラブル端末２０は、被写体を撮影する撮影部２４と、現在位置を算出するＧＰＳ受信機２７と、撮影部２４により撮影して得られた画像、およびＧＰＳ受信機２７により算出した現在位置をサーバに送信する端末通信部２２と、を備える。混雑度推定サーバ１０は、複数のウエアラブル端末２０と通信するサーバ通信部１３と、複数のウエアラブル端末２０から送信されてサーバ通信部１３が受信する撮影画像１２ａおよび現在位置が関連付けられて保存されるサーバ記憶部１２と、サーバ記憶部１２に保存された撮影画像１２ａを解析して人数と面積とから算出される混雑度を算出し、算出した混雑度および現在位置をサーバ通信部１３により送信するサーバ制御部１１とを備える。
ウエアラブル端末２０を装着してユーザが移動することにより、監視カメラが設置されていない場所の混雑状況を、混雑度推定システム１を利用している他のユーザが把握することができる。また、混雑度が高い場所ほどウエアラブル端末２０を装着しているユーザがいる可能性が高いため、混雑度が高い場所ほど多くの撮影画像１２ａを得ることができ、混雑度の算出精度が向上する。
（２）混雑度推定サーバ１０は、地図を保存する地図データベース１４をさらに備える。サーバ制御部１１は、地図データベース１４に保存されている地図上の、その混雑度の算出に使用した撮影画像１２ａが撮影された位置に算出した混雑度をマッピングし、算出した混雑度がマッピングされた地図をサーバ通信部１３により送信する。
そのため、ウエアラブル端末２０は地図データベース１４を備える必要がなく、少ない記憶領域で足りる。また、算出した混雑度を地図上にマッピングする処理が不要なので、ウエアラブル端末２０の計算量を削減することができる。
そのため、ウエアラブル端末２０は地図データベース１４を備える必要がなく、少ない記憶領域で足りる。また、算出した混雑度を地図上にマッピングする処理が不要なので、ウエアラブル端末２０の計算量を削減することができる。
（３）混雑度推定サーバ１０のサーバ制御部１１は、ウエアラブル端末２０から位置を指定した情報の送信要求を受信すると、サーバ記憶部１２に保存されている撮影画像１２ａの中から指定された位置に最も近い、または指定された位置から所定距離範囲内の現在位置を有する撮影画像１２ａを、送信要求を送信したウエアラブル端末２０に送信する。
ウエアラブル端末２０は、位置を指定した情報の送信要求を混雑度推定サーバ１０に送信することにより、指定した位置付近で撮影された撮影画像１２ａを受信できるので、指定した位置の様子を具体的に知ることができる。
ウエアラブル端末２０は、位置を指定した情報の送信要求を混雑度推定サーバ１０に送信することにより、指定した位置付近で撮影された撮影画像１２ａを受信できるので、指定した位置の様子を具体的に知ることができる。
（４）混雑度推定サーバ１０のサーバ制御部１１は、ウエアラブル端末２０から位置を指定した情報の送信要求を受信すると、受信した位置に最も近い、または指定された位置から所定距離範囲内の現在位置を有するウエアラブル端末２０にリアルタイム動画像の送信を要求する。そして、当該ウエアラブル端末２０から受信したリアルタイム動画像を送信要求を送信したウエアラブル端末２０に送信する。
ウエアラブル端末２０は、地図上の位置を混雑度推定サーバ１０に送信することにより、指定した位置付近で撮影されたリアルタイム動画像を受信できるので、指定した位置の現在の様子を詳しく知ることができる。
ウエアラブル端末２０は、地図上の位置を混雑度推定サーバ１０に送信することにより、指定した位置付近で撮影されたリアルタイム動画像を受信できるので、指定した位置の現在の様子を詳しく知ることができる。
（５）ウエアラブル端末２０は、ユーザの目による入力を検出し、目の動きにより位置の情報を入力する視線検出部２６を備える。視線検出部２６が、ユーザによる表示部２３に表示されている地図上の点の注視を検出すると、注視している位置を指定して情報の送信要求を混雑度推定サーバ１０へ送信するサーバ制御部１１とをさらに備える。
そのため、ウエアラブル端末２０のユーザは、手を使わずに目の動きのみで容易に地図上の位置を混雑度推定サーバ１０へ送信し、指定した位置の画像を受信して閲覧することができる。
そのため、ウエアラブル端末２０のユーザは、手を使わずに目の動きのみで容易に地図上の位置を混雑度推定サーバ１０へ送信し、指定した位置の画像を受信して閲覧することができる。
（６）サーバ制御部１１は、顔画像データベース１５を利用して撮影画像１２ａに撮影されている全ての人物について性別および年齢層を推定して、性別および年齢層ごとに混雑度を算出する。
そのため、ウエアラブル端末２０のユーザは、市場調査または宣伝広告の対象となる性別および年齢層を特定し、対象者の混雑度が高くかつ対象者以外の混雑度が低いエリアを対象エリアとすることで、市場調査や宣伝広告の効率を向上させることができる。
そのため、ウエアラブル端末２０のユーザは、市場調査または宣伝広告の対象となる性別および年齢層を特定し、対象者の混雑度が高くかつ対象者以外の混雑度が低いエリアを対象エリアとすることで、市場調査や宣伝広告の効率を向上させることができる。
（７）ウエアラブル端末２０は、撮影部２４の撮影方向を検出する電子コンパス２８をさらに備える。ウエアラブル端末２０の端末通信部２２は、撮影部２４により撮影して得られた撮影画像１２ａ、ＧＰＳ受信機２７により検出した現在位置、および電子コンパス２８により検出した撮影部２４の撮影方向を混雑度推定サーバ１０に送信する。混雑度推定サーバ１０のサーバ制御部１１は、混雑度算出処理において、複数のウエアラブル端末２０から受信した、撮影画像１２ａ、現在位置、撮影方向を組み合わせて、複数の撮影画像１２ａに撮影された同一人物を識別し、受信した複数のうち１以上の撮影画像１２ａを用いて人物の性別および年齢層を推定する。
そのため、ある撮影画像１２ａでは後ろ姿しか撮影されておらず、性別および年齢層の判別が不可能であっても、撮影位置、時刻、向き、服装などを利用して他の撮影画像１２ａから同一人物を識別し、性別および年齢層を判別することにより、システム全体として性別および年齢層が不明な人の数を減らすことができる。また、複数の角度から撮影された撮影画像１２ａを用いることにより、性別および年齢層の推定精度を向上させることができる。
そのため、ある撮影画像１２ａでは後ろ姿しか撮影されておらず、性別および年齢層の判別が不可能であっても、撮影位置、時刻、向き、服装などを利用して他の撮影画像１２ａから同一人物を識別し、性別および年齢層を判別することにより、システム全体として性別および年齢層が不明な人の数を減らすことができる。また、複数の角度から撮影された撮影画像１２ａを用いることにより、性別および年齢層の推定精度を向上させることができる。
（変形例１）
第１の実施の形態においては、ウエアラブル端末２０のみが混雑度推定サーバ１０と通信を行ったが、ネットワーク回線Ｘに接続されている他の通信機器が混雑度推定サーバ１０と通信を行ってもよい。
他の通信機器は、混雑度推定サーバ１０に撮影画像１２ａを送信しないが、汎用的な入力デバイス、たとえばマウスとキーボードによりある位置を指定して混雑度推定サーバ１０に情報送信の要求を送信し、その位置付近の撮影画像１２ａまたはリアルタイム動画像を受信してもよい。また、混雑度表１２ｃ、点群混雑度地図１２ｄ、またはエリア混雑度地図１２ｅを混雑度推定サーバ１０に要求して受信してもよい。
この変形例１によれば、ウエアラブル端末２０が撮影し、混雑度推定サーバ１０が加工または中継する情報を多様な情報通信機器から利用することができる。
第１の実施の形態においては、ウエアラブル端末２０のみが混雑度推定サーバ１０と通信を行ったが、ネットワーク回線Ｘに接続されている他の通信機器が混雑度推定サーバ１０と通信を行ってもよい。
他の通信機器は、混雑度推定サーバ１０に撮影画像１２ａを送信しないが、汎用的な入力デバイス、たとえばマウスとキーボードによりある位置を指定して混雑度推定サーバ１０に情報送信の要求を送信し、その位置付近の撮影画像１２ａまたはリアルタイム動画像を受信してもよい。また、混雑度表１２ｃ、点群混雑度地図１２ｄ、またはエリア混雑度地図１２ｅを混雑度推定サーバ１０に要求して受信してもよい。
この変形例１によれば、ウエアラブル端末２０が撮影し、混雑度推定サーバ１０が加工または中継する情報を多様な情報通信機器から利用することができる。
（変形例２）
第１の実施の形態においてウエアラブル端末２０は、定期的に撮影を行い撮影画像１２ａ、すなわち静止画像を混雑度推定サーバ１０に送信したが、静止画像ではなく動画像を撮影して混雑度推定サーバ１０に送信してもよい。また、ウエアラブル端末２０はリアルタイム動画像の要求を受けた際に新たに撮影を行い、撮影して得られた撮影画像１２ａを混雑度推定サーバ１０に送信してもよい。
第１の実施の形態においてウエアラブル端末２０は、定期的に撮影を行い撮影画像１２ａ、すなわち静止画像を混雑度推定サーバ１０に送信したが、静止画像ではなく動画像を撮影して混雑度推定サーバ１０に送信してもよい。また、ウエアラブル端末２０はリアルタイム動画像の要求を受けた際に新たに撮影を行い、撮影して得られた撮影画像１２ａを混雑度推定サーバ１０に送信してもよい。
（変形例３）
第１の実施の形態において混雑度推定サーバ１０は、位置の指定およびリアルタイムの指定を受けると、ある１台のウエアラブル端末２０に対してのみリアルタイム動画像を要求したが、要求対象はこれに限定されない。混雑度推定サーバ１０は、指定された位置に最も近い、または指定された位置から所定範囲内、たとえば１０メートル以内に撮影位置を有する複数のウエアラブル端末２０に対してリアルタイム動画像を要求してもよい。そして、複数のウエアラブル端末２０から受信したリアルタイム動画像を縮小し、複数のリアルタイム動画像を同時に処理要求端末へ送信してもよい。たとえば、４台のウエアラブル端末２０から受信した４つのリアルタイム動画像を縮小し、１画面にその４つのリアルタイム動画像を収めて、処理要求端末へ送信してもよい。また、受信した複数のリアルタイム動画像を順次切り替えながら処理要求端末へ送信してもよい。また、順次切り替える場合には１台のウエアラブル端末２０からリアルタイム動画像を受信する時間は短くてもよい。
この変形例３によれば、処理要求端末は複数のウエアラブル端末２０により撮影されたリアルタイム動画像を受信できるので、指定した位置の情報をより詳しく知ることができる。また、１台のウエアラブル端末２０から配信される動画像の時間を短くすることにより、動画像を配信しているウエアラブル端末２０の特定、およびウエアラブル端末２０により撮影されている者の特定を難しくし、プライバシーを保護することができる。
第１の実施の形態において混雑度推定サーバ１０は、位置の指定およびリアルタイムの指定を受けると、ある１台のウエアラブル端末２０に対してのみリアルタイム動画像を要求したが、要求対象はこれに限定されない。混雑度推定サーバ１０は、指定された位置に最も近い、または指定された位置から所定範囲内、たとえば１０メートル以内に撮影位置を有する複数のウエアラブル端末２０に対してリアルタイム動画像を要求してもよい。そして、複数のウエアラブル端末２０から受信したリアルタイム動画像を縮小し、複数のリアルタイム動画像を同時に処理要求端末へ送信してもよい。たとえば、４台のウエアラブル端末２０から受信した４つのリアルタイム動画像を縮小し、１画面にその４つのリアルタイム動画像を収めて、処理要求端末へ送信してもよい。また、受信した複数のリアルタイム動画像を順次切り替えながら処理要求端末へ送信してもよい。また、順次切り替える場合には１台のウエアラブル端末２０からリアルタイム動画像を受信する時間は短くてもよい。
この変形例３によれば、処理要求端末は複数のウエアラブル端末２０により撮影されたリアルタイム動画像を受信できるので、指定した位置の情報をより詳しく知ることができる。また、１台のウエアラブル端末２０から配信される動画像の時間を短くすることにより、動画像を配信しているウエアラブル端末２０の特定、およびウエアラブル端末２０により撮影されている者の特定を難しくし、プライバシーを保護することができる。
（変形例４）
第１の実施の形態においてウエアラブル端末２０は、ウエアラブル端末２０のユーザからの入力は視線検出部２６のみが受けたが、ユーザからの情報入力手段はこれに限定されない。ウエアラブル端末２０がタッチセンサまたはボタンを備え、端末制御部２１は、図８に動作を示したプログラムの実行の際に、ユーザによるタッチセンサまたはボタンを用いた表示画面上の座標の入力を、視線検出部２６による視線の検出と同様に扱ってもよい。
この変形例４によれば、ウエアラブル端末２０のユーザは多彩な方法で位置情報の入力を行うことができる。
第１の実施の形態においてウエアラブル端末２０は、ウエアラブル端末２０のユーザからの入力は視線検出部２６のみが受けたが、ユーザからの情報入力手段はこれに限定されない。ウエアラブル端末２０がタッチセンサまたはボタンを備え、端末制御部２１は、図８に動作を示したプログラムの実行の際に、ユーザによるタッチセンサまたはボタンを用いた表示画面上の座標の入力を、視線検出部２６による視線の検出と同様に扱ってもよい。
この変形例４によれば、ウエアラブル端末２０のユーザは多彩な方法で位置情報の入力を行うことができる。
（変形例５）
第１の実施の形態において、年齢層は３区分に分かれているが、年齢層の区分はこれに限定されない。年齢層の区分は、第１の実施の形態よりも少ない２区分でもよいし、第１の実施の形態よりも多い４区分以上でもよいし、１歳ごとの区分すなわち年齢の区分でもよい。また、年齢層の区分をなくして性別のみの区分でもよい。
第１の実施の形態において、図３に示したエリア混雑度地図１２ｅの一例では、棒グラフの高さにより混雑度の高低を表現したが、表現方法はこれに限定されず、色の濃淡により表現してもよい。また、図３では男性の混雑度を表示しているが、女性の混雑度も併せて表示してもよいし、特定の性別および年齢層のみを表示してもよい。
第１の実施の形態において、年齢層は３区分に分かれているが、年齢層の区分はこれに限定されない。年齢層の区分は、第１の実施の形態よりも少ない２区分でもよいし、第１の実施の形態よりも多い４区分以上でもよいし、１歳ごとの区分すなわち年齢の区分でもよい。また、年齢層の区分をなくして性別のみの区分でもよい。
第１の実施の形態において、図３に示したエリア混雑度地図１２ｅの一例では、棒グラフの高さにより混雑度の高低を表現したが、表現方法はこれに限定されず、色の濃淡により表現してもよい。また、図３では男性の混雑度を表示しているが、女性の混雑度も併せて表示してもよいし、特定の性別および年齢層のみを表示してもよい。
また、図３に示すエリア混雑度地図１２ｅでは、棒グラフの幅が太いため、地形や鉄道線路、行政区分の境界線などが描かれる地表部が一切表示されていないが、棒グラフの幅を補足する、もしくは半透明の表示にして地表部を表示してもよい。
第１の実施の形態において、混雑度推定サーバ１０がウエアラブル端末２０から受信するデータに撮影時刻が含まれることを前提としていた。しかし、受信したデータに撮影時刻が含まれていない場合は、混雑度推定サーバ１０がデータを受信した時刻を撮影時刻とし、その時刻を画像情報１２ｂとして保存してもよい。
第１の実施の形態において、処理対象条件は混雑度推定サーバ１０のサーバ記憶部１２に保存されていたが、これは外部から書き変え可能であってもよい。たとえば、ウエアラブル端末２０から通信により書き換え可能であってもよい。
第１の実施の形態において、混雑度推定サーバ１０がウエアラブル端末２０から受信するデータに撮影時刻が含まれることを前提としていた。しかし、受信したデータに撮影時刻が含まれていない場合は、混雑度推定サーバ１０がデータを受信した時刻を撮影時刻とし、その時刻を画像情報１２ｂとして保存してもよい。
第１の実施の形態において、処理対象条件は混雑度推定サーバ１０のサーバ記憶部１２に保存されていたが、これは外部から書き変え可能であってもよい。たとえば、ウエアラブル端末２０から通信により書き換え可能であってもよい。
（第２の実施の形態）
図１０〜１１を参照して、本発明による混雑度推定システムの第２の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、第１の実施の形態における動作に加えて、ウエアラブル端末が撮影して得られた画像を利用した探索を行う点で、第１の実施の形態と異なる。
探索する対象は、画像により特定される、人物、ユーザの所有物、ペットなどであり、その画像はウエアラブル端末２０から探索対象画像１２ｆとして混雑度推定サーバ１０に送信される。混雑度推定サーバ１０が探索対象画像１２ｆの被写体を被写体として含む撮影画像１２ａを探索し、その撮影画像１２ａの画像情報１２ｂをウエアラブル端末２０に送信することで、ウエアラブル端末２０のユーザは探索対象にたどり着くことができる。
図１０〜１１を参照して、本発明による混雑度推定システムの第２の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、第１の実施の形態における動作に加えて、ウエアラブル端末が撮影して得られた画像を利用した探索を行う点で、第１の実施の形態と異なる。
探索する対象は、画像により特定される、人物、ユーザの所有物、ペットなどであり、その画像はウエアラブル端末２０から探索対象画像１２ｆとして混雑度推定サーバ１０に送信される。混雑度推定サーバ１０が探索対象画像１２ｆの被写体を被写体として含む撮影画像１２ａを探索し、その撮影画像１２ａの画像情報１２ｂをウエアラブル端末２０に送信することで、ウエアラブル端末２０のユーザは探索対象にたどり着くことができる。
図１０は、第２の実施の形態における混雑度推定システム１のブロック図である。第２の実施の形態における、混雑度推定システム１の構成の第１の実施の形態との主な違いは、サーバ記憶部１２には探索対象画像１２ｆおよび探索結果連絡先１２ｇがさらに保存される点である。
検索対象画像１２ｆは、混雑度推定サーバ１０がウエアラブル端末２０から受信する画像である。撮影画像１２ａも検索対象画像１２ｆと同様にウエアラブル端末２０から受信するが、撮影画像１２ａは撮影位置、撮影時刻、等とともに送信されるのに対して、検索対象画像１２ｆは画像のみが送信されるため、混雑度推定サーバ１０はどちらの画像として扱うかを判断できる。後述するように混雑度推定サーバ１０は、検索対象画像１２ｆとして保存されている画像に撮影されている被写体が撮影されている撮影画像１２ａを探索する。
検索対象画像１２ｆは、混雑度推定サーバ１０がウエアラブル端末２０から受信する画像である。撮影画像１２ａも検索対象画像１２ｆと同様にウエアラブル端末２０から受信するが、撮影画像１２ａは撮影位置、撮影時刻、等とともに送信されるのに対して、検索対象画像１２ｆは画像のみが送信されるため、混雑度推定サーバ１０はどちらの画像として扱うかを判断できる。後述するように混雑度推定サーバ１０は、検索対象画像１２ｆとして保存されている画像に撮影されている被写体が撮影されている撮影画像１２ａを探索する。
探索結果連絡先１２ｇには、検索対象画像１２ｆを送信したウエアラブル端末２０のネットワーク上の識別子、たとえばＩＰアドレスが、その探索対象画像１２ｆと関連付けて保存されている。混雑度推定サーバ１０は、検索対象画像１２ｆを受信しても必ずしもすぐには検索対象画像１２ｆを含む撮影画像１２ａを発見できないため、将来発見した際に情報を送信する目的で、その情報の送信先を探索結果連絡先１２ｇとして保存する。
第２の実施の形態における動作を説明する。
図１１のフローチャートに示すプログラムは、第１の実施の形態における図７のフローチャートに示すプログラムに代わって、第２の実施の形態においてサーバ制御部１１がサーバ通信部１３からデータの出力を受けると実行する処理手順を示すものである。
図１１のフローチャートに示すプログラムは、第１の実施の形態における図７のフローチャートに示すプログラムに代わって、第２の実施の形態においてサーバ制御部１１がサーバ通信部１３からデータの出力を受けると実行する処理手順を示すものである。
ステップＳ５０２では、サーバ制御部１１は、受信した画像が探索対象画像１２ｆであるか否かを判断する。探索対象画像１２ｆは撮影画像１２ａと同様に画像であるが、撮影画像１２ａとは異なり撮影位置などの付帯する情報がないので、撮影画像１２ａと区別することができる。サーバ制御部１１は、探索対象画像１２ｆを受信したと判断する場合はステップＳ５０４に進み、探索対象画像１２ｆを受信していないと判断する場合はステップＳ２０２Ａに進む。なお、ステップＳ２０２Ａ以下の処理も、図７とは一部異なるので後に説明する。
ステップＳ５０４では、サーバ制御部１１は、サーバ記憶部１２に保存されている全ての撮影画像１２ａを対象として、受信した探索対象画像１２ｆの被写体が被写体として含まれる画像を検索し、ステップＳ５０６に進む。
ステップＳ５０４では、サーバ制御部１１は、サーバ記憶部１２に保存されている全ての撮影画像１２ａを対象として、受信した探索対象画像１２ｆの被写体が被写体として含まれる画像を検索し、ステップＳ５０６に進む。
ステップＳ５０６では、サーバ制御部１１は、ステップＳ５０４における検索により、サーバ記憶部１２に保存されているいずれかの撮影画像１２ａに探索対象画像１２ｆが含まれていたか否かを判断する。いずれかの撮影画像１２ａに探索対象画像１２ｆが含まれていたと判断する場合はステップＳ５０８に進み、いずれの撮影画像１２ａにも探索対象画像１２ｆが含まれていなかったと判断する場合はステップＳ５１０に進む。
ステップＳ５０８では、サーバ制御部１１は、ステップＳ５０４における検索により探索対象画像１２ｆを含むと判断した撮影画像１２ａの画像情報１２ｂ、および探索対象画像１２ｆを、探索対象画像１２ｆを送信したウエアラブル端末２０に送信し、ステップＳ５１０に進む。
ステップＳ５０８では、サーバ制御部１１は、ステップＳ５０４における検索により探索対象画像１２ｆを含むと判断した撮影画像１２ａの画像情報１２ｂ、および探索対象画像１２ｆを、探索対象画像１２ｆを送信したウエアラブル端末２０に送信し、ステップＳ５１０に進む。
ステップＳ５１０では、サーバ制御部１１は、受信した探索対象画像１２ｆをサーバ記憶部１２に保存する。また、その探索対象画像１２ｆを送信したウエアラブル端末２０のネットワーク上の識別子、たとえばＩＰアドレスを、その探索対象画像１２ｆと関連付けて探索結果連絡先１２ｇに保存し、図１１のフローチャートを終了する。
ステップＳ２０２Ａでは、サーバ制御部１１は、受信したデータに画像データが含まれるか否かにより、当該通信がアップロード要求であるか否かを判断する。受信したデータは画像データを含むと判断する場合はステップＳ５１４に進み、受信したデータは画像データを含まないと判断する場合はステップＳ５１２に進む。
ステップＳ５１２では、サーバ制御部１１は、図７におけるステップＳ２０６以下の処理を行い、図１１のフローチャートを終了する。
ステップＳ２０２Ａでは、サーバ制御部１１は、受信したデータに画像データが含まれるか否かにより、当該通信がアップロード要求であるか否かを判断する。受信したデータは画像データを含むと判断する場合はステップＳ５１４に進み、受信したデータは画像データを含まないと判断する場合はステップＳ５１２に進む。
ステップＳ５１２では、サーバ制御部１１は、図７におけるステップＳ２０６以下の処理を行い、図１１のフローチャートを終了する。
ステップＳ５１４では、サーバ制御部１１は、サーバ記憶部１２に保存している探索対象画像１２ｆから、受信したデータに含まれる画像データの一部と一致する探索対象画像１２ｆを検索し、ステップＳ５１６に進む。
ステップＳ５１６では、サーバ制御部１１は、ステップＳ５１４における処理の結果から、受信したデータに含まれる画像データが、サーバ記憶部１２に保存しているいずれかの探索対象画像１２ｆの被写体を含むか否かを判断する。いずれかの探索対象画像１２ｆを含むと判断する場合はステップＳ５１８に進み、いずれの探索対象画像１２ｆも含まないと判断する場合はステップＳ２０４Ａに進む。
ステップＳ５１６では、サーバ制御部１１は、ステップＳ５１４における処理の結果から、受信したデータに含まれる画像データが、サーバ記憶部１２に保存しているいずれかの探索対象画像１２ｆの被写体を含むか否かを判断する。いずれかの探索対象画像１２ｆを含むと判断する場合はステップＳ５１８に進み、いずれの探索対象画像１２ｆも含まないと判断する場合はステップＳ２０４Ａに進む。
ステップＳ５１８では、サーバ制御部１１は、ステップＳ５０４における検索により探索対象画像１２ｆを含むと判断した撮影画像１２ａの画像情報１２ｂ、および当該探索対象画像１２ｆを、当該探索対象画像１２ｆに関連付けられた探索結果連絡先１２ｇに記載のウエアラブル端末２０へ送信し、ステップＳ２０４Ａに進む。
ステップＳ２０４Ａでは、サーバ制御部１１は、受信したデータに含まれる画像データを撮影画像１２ａとしてサーバ記憶部１２に保存し、受信したデータの画像データ以外を画像情報１２ｂとしてサーバ記憶部１２に保存して図７のフローチャートを終了する。
混雑度推定サーバ１０のサーバ制御部１１が、一定の時間間隔ごとに図６のフローチャートで動作が表されるプログラムを実行し、混雑度表１２ｃ、点群混雑度地図１２ｄ、およびエリア混雑度地図１２ｅを新たに作成する点は、第１の実施の形態と同様である。
ステップＳ２０４Ａでは、サーバ制御部１１は、受信したデータに含まれる画像データを撮影画像１２ａとしてサーバ記憶部１２に保存し、受信したデータの画像データ以外を画像情報１２ｂとしてサーバ記憶部１２に保存して図７のフローチャートを終了する。
混雑度推定サーバ１０のサーバ制御部１１が、一定の時間間隔ごとに図６のフローチャートで動作が表されるプログラムを実行し、混雑度表１２ｃ、点群混雑度地図１２ｄ、およびエリア混雑度地図１２ｅを新たに作成する点は、第１の実施の形態と同様である。
ウエアラブル端末２０の動作を説明する。
ウエアラブル端末２０の視線検出部２６は、ユーザのウインクを検出すると端末制御部２１にウインクの検出を出力し、それを受けた端末制御部２１は、撮影部２４により被写体を撮影し、撮影して得られた画像を端末記憶部２５に保存する。端末制御部２１は、ユーザによる不図示のボタン操作により、端末記憶部２５に保存しているいずれかの画像の全体、またはある一部分を混雑度推定サーバ１０に送信することができる。この画像は、混雑度推定サーバ１０では探索対象画像１２ｆとして扱われる。
混雑度推定サーバ１０により、探索対象画像１２ｆを含む撮影画像１２ａが発見されると、ウエアラブル端末２０は、その撮影画像１２ａの画像情報１２ｂ、すなわちその撮影画像１２ａが撮影された位置、時刻、撮影方向および探索対象画像１２ｆを受信する。
ウエアラブル端末２０の視線検出部２６は、ユーザのウインクを検出すると端末制御部２１にウインクの検出を出力し、それを受けた端末制御部２１は、撮影部２４により被写体を撮影し、撮影して得られた画像を端末記憶部２５に保存する。端末制御部２１は、ユーザによる不図示のボタン操作により、端末記憶部２５に保存しているいずれかの画像の全体、またはある一部分を混雑度推定サーバ１０に送信することができる。この画像は、混雑度推定サーバ１０では探索対象画像１２ｆとして扱われる。
混雑度推定サーバ１０により、探索対象画像１２ｆを含む撮影画像１２ａが発見されると、ウエアラブル端末２０は、その撮影画像１２ａの画像情報１２ｂ、すなわちその撮影画像１２ａが撮影された位置、時刻、撮影方向および探索対象画像１２ｆを受信する。
第２の実施の形態において、混雑度推定システム１は第１の実施の形態の他に以下の動作を行う。
混雑度推定サーバ１０は、探索対象画像１２ｆを受信すると、サーバ記憶部１２に保存している全ての撮影画像１２ａを検索し、探索対象画像１２ｆを含む撮影画像１２ａの画像情報１２ｂを、探索対象画像１２ｆを送信したウエアラブル端末２０に送信する。また、探索対象画像１２ｆを受信した後に新たに撮影画像１２ａを受信すると、その撮影画像１２ａが探索対象画像１２ｆを含むか否かを判断し、含む場合はその撮影画像１２ａの画像情報１２ｂを探索対象画像１２ｆを送信したウエアラブル端末２０に送信する。
混雑度推定サーバ１０は、探索対象画像１２ｆを受信すると、サーバ記憶部１２に保存している全ての撮影画像１２ａを検索し、探索対象画像１２ｆを含む撮影画像１２ａの画像情報１２ｂを、探索対象画像１２ｆを送信したウエアラブル端末２０に送信する。また、探索対象画像１２ｆを受信した後に新たに撮影画像１２ａを受信すると、その撮影画像１２ａが探索対象画像１２ｆを含むか否かを判断し、含む場合はその撮影画像１２ａの画像情報１２ｂを探索対象画像１２ｆを送信したウエアラブル端末２０に送信する。
以上説明した第２の実施の形態において、混雑度推定システム１は以下の作用効果を奏する。
（１）混雑度推定サーバ１０のサーバ制御部１１は、探索対象画像１２ｆを含む撮影画像１２ａを検索し、探索対象画像１２ｆを含む撮影画像１２ａの画像情報１２ｂを探索対象画像１２ｆの送信元に送信する。
そのため、混雑度推定システム１のユーザは、子供の写真や遺失物の写真を探索対象画像１２ｆとして送信することにより、迷子の子供や遺失物の所在地を容易に知ることができる。
（２）混雑度推定サーバ１０のサーバ制御部１１は、探索対象画像１２ｆを受信すると、サーバ記憶部１２に保存されている全ての撮影画像１２ａを検索し、探索対象画像１２ｆを含む撮影画像１２ａの画像情報１２ｂを探索対象画像１２ｆの送信元に送信する。
そのため、混雑度推定システム１のユーザは、得られた情報から探索対象の過去の移動軌跡を知ることができる。さらに、得られた移動軌跡を用いて、今後の移動予測をすることができる。
（１）混雑度推定サーバ１０のサーバ制御部１１は、探索対象画像１２ｆを含む撮影画像１２ａを検索し、探索対象画像１２ｆを含む撮影画像１２ａの画像情報１２ｂを探索対象画像１２ｆの送信元に送信する。
そのため、混雑度推定システム１のユーザは、子供の写真や遺失物の写真を探索対象画像１２ｆとして送信することにより、迷子の子供や遺失物の所在地を容易に知ることができる。
（２）混雑度推定サーバ１０のサーバ制御部１１は、探索対象画像１２ｆを受信すると、サーバ記憶部１２に保存されている全ての撮影画像１２ａを検索し、探索対象画像１２ｆを含む撮影画像１２ａの画像情報１２ｂを探索対象画像１２ｆの送信元に送信する。
そのため、混雑度推定システム１のユーザは、得られた情報から探索対象の過去の移動軌跡を知ることができる。さらに、得られた移動軌跡を用いて、今後の移動予測をすることができる。
（３）混雑度推定サーバ１０のサーバ制御部１１は、探索対象画像１２ｆの受信後に、新たに撮影画像１２ａを受信すると、その撮影画像１２ａに含まれる探索対象画像１２ｆを特定し、その探索対象画像１２ｆの送信元に受信した撮影画像１２ａの画像情報１２ｂを送信する。
そのため、混雑度推定サーバ１０において、探索対象画像１２ｆの検索が可能な限り早期に行い、探索対象画像１２ｆの送信元に最新の情報を伝達できる。
そのため、混雑度推定サーバ１０において、探索対象画像１２ｆの検索が可能な限り早期に行い、探索対象画像１２ｆの送信元に最新の情報を伝達できる。
（変形例６）
第２の実施の形態において、探索対象画像１２ｆを含む撮影画像１２ａが特定された場合に、その撮影画像１２ａの画像情報１２ｂおよびその探索対象画像１２ｆを送信したが、送信するデータはこれに限定されない。
撮影画像１２ａの画像情報１２ｂから緯度および経度を抽出して、その位置を撮影画像１２ａの撮影位置として地図データベース１４に保存されている地図にマッピングし、その地図もあわせて送信してもよい。さらに、地図を所定の大きさのエリアに分割し、探索対象画像１２ｆを含む撮影画像１２ａの撮影位置が各エリアに含まれる数の多少により識別可能に表示してもよい。たとえば、探索対象画像１２ｆを含む撮影画像１２ａが多く撮影されたエリアほど、明るく表示してもよい。
この変形例６によれば、探索対象の所在を容易に把握することができる。特に、ペットが探索対象の場合には、一箇所には留まらず移動を繰り返していることが多いので、撮影された頻度の高いエリアを把握することにより、発見が容易になる。
第２の実施の形態において、探索対象画像１２ｆを含む撮影画像１２ａが特定された場合に、その撮影画像１２ａの画像情報１２ｂおよびその探索対象画像１２ｆを送信したが、送信するデータはこれに限定されない。
撮影画像１２ａの画像情報１２ｂから緯度および経度を抽出して、その位置を撮影画像１２ａの撮影位置として地図データベース１４に保存されている地図にマッピングし、その地図もあわせて送信してもよい。さらに、地図を所定の大きさのエリアに分割し、探索対象画像１２ｆを含む撮影画像１２ａの撮影位置が各エリアに含まれる数の多少により識別可能に表示してもよい。たとえば、探索対象画像１２ｆを含む撮影画像１２ａが多く撮影されたエリアほど、明るく表示してもよい。
この変形例６によれば、探索対象の所在を容易に把握することができる。特に、ペットが探索対象の場合には、一箇所には留まらず移動を繰り返していることが多いので、撮影された頻度の高いエリアを把握することにより、発見が容易になる。
上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
１ … 混雑度推定システム
１０ … 混雑度推定サーバ
１１ … サーバ制御部
１２ … サーバ記憶部
１２ａ … 撮影画像
１２ｂ … 画像情報
１２ｃ … 混雑度表
１２ｄ … 点群混雑度地図
１２ｅ … エリア混雑度地図
１２ｆ … 探索対象画像
１２ｇ … 探索結果連絡先
１３ … サーバ通信部
１４ … 地図データベース
１５ … 顔画像データベース
２０ … ウエアラブル端末
２１ … 端末制御部
２２ … 端末通信部
２３ … 表示部
２４ … 撮影部
２５ … 端末記憶部
２６ … 視線検出部
２７ … ＧＰＳ受信機
２８ … 電子コンパス
２９ … 地図データベース
１０ … 混雑度推定サーバ
１１ … サーバ制御部
１２ … サーバ記憶部
１２ａ … 撮影画像
１２ｂ … 画像情報
１２ｃ … 混雑度表
１２ｄ … 点群混雑度地図
１２ｅ … エリア混雑度地図
１２ｆ … 探索対象画像
１２ｇ … 探索結果連絡先
１３ … サーバ通信部
１４ … 地図データベース
１５ … 顔画像データベース
２０ … ウエアラブル端末
２１ … 端末制御部
２２ … 端末通信部
２３ … 表示部
２４ … 撮影部
２５ … 端末記憶部
２６ … 視線検出部
２７ … ＧＰＳ受信機
２８ … 電子コンパス
２９ … 地図データベース
Claims (10)
- 複数のウエアラブル端末とサーバとからなる混雑度推定システムであって、
前記ウエアラブル端末は、
被写体を撮影する撮影部と、
現在位置を算出する位置検出部と、
前記撮影部により撮影して得られた画像、および前記位置検出部により算出された前記現在位置を前記サーバに送信する端末通信部と、を備え、
前記サーバは、
前記複数のウエアラブル端末と通信するサーバ通信部と、
前記複数のウエアラブル端末から送信されて前記サーバ通信部が受信する前記画像および前記現在位置が関連付けられて保存される記憶部と、
前記記憶部に保存された前記画像を解析して人数と歩道の面積を算出し、算出された前記人数と前記歩道の面積とから前記歩道上の歩行者の混雑度を算出し、前記算出した混雑度および前記現在位置を関連付けて前記サーバ通信部により送信するサーバ制御部とを備える混雑度推定システム。 - 請求項１に記載の混雑度推定システムにおいて、
前記サーバは、地図情報を保存する地図データベースをさらに備え、
前記サーバ制御部は、前記画像を解析して前記歩道のエリアを抽出し、地図データベースに保存されている前記地図情報を参照して前記歩道の面積を算出する混雑度推定システム。 - 請求項１に記載の混雑度推定システムにおいて、
前記サーバは、地図情報を保存する地図データベースをさらに備え、
前記サーバ制御部は、前記現在位置を参照して、前記算出した前記歩道上の歩行者の混雑度を前記地図データベースに保存されている前記地図情報にマッピングし、前記算出した混雑度がマッピングされた地図情報を前記サーバ通信部により送信する混雑度推定システム。 - 請求項１乃至３のいずれか１項に記載の混雑度推定システムにおいて、
前記サーバ制御部は、
前記ウエアラブル端末から位置を指定した情報の送信要求を受信すると、前記記憶部に保存されている前記画像の中から前記指定された位置に最も近い、または前記指定された位置から所定距離範囲内の現在位置を有する画像を、前記送信要求した前記ウエアラブル端末に送信する混雑度推定システム。 - 請求項１乃至３のいずれか１項に記載の混雑度推定システムにおいて、
前記サーバ制御部は、
前記ウエアラブル端末から位置を指定した情報の送信要求を受信すると、前記指定された位置に最も近い、または前記指定された位置から所定距離範囲内の現在位置を有するウエアラブル端末に画像を要求し、当該ウエアラブル端末から受信した画像を前記送信要求した前記ウエアラブル端末に送信する混雑度推定システム。 - 請求項４または５に記載の混雑度推定システムにおいて、
前記ウエアラブル端末は、
ユーザの入力を検出する入力部と、
前記入力部により位置の情報が入力されると、当該位置を指定する前記情報の送信要求を端末通信部からサーバへ送信する制御部とをさらに備える混雑度推定システム。 - 請求項６に記載の混雑度推定システムにおいて、
前記入力部は、ユーザの目の動きを検出し、目の動きにより位置の情報を入力する混雑度推定システム。 - 請求項１乃至７のいずれか１項に記載の混雑度推定システムにおいて、
前記サーバ制御部は、前記画像の解析において前記歩道上の歩行者の性別および年齢層を推定し、性別および年齢層ごとに前記歩道上の歩行者の混雑度を算出する混雑度推定システム。 - 請求項８に記載の混雑度推定システムにおいて、
前記サーバ制御部は、性別および年齢層ごとの前記歩道上の歩行者の混雑度を所定のエリアごとの値に分割し、分割した前記所定のエリアごとの前記混雑度の値に基づいて前記性別および前記年齢層が識別可能なグラフを作成する混雑度推定システム。 - 請求項８または請求項９に記載の混雑度推定システムにおいて、
前記ウエアラブル端末は、
前記撮影部の撮影方向を検出する方向検出部をさらに備え、
前記端末通信部は、前記撮影部により撮影して得られた画像、前記位置検出部により検出した位置、および前記方向検出部により検出した向きを前記サーバに送信し、
前記サーバ制御部は、前記複数のウエアラブル端末から受信した前記画像、前記位置、および前記向きを組み合わせて、複数の前記撮影部により撮影して得られた画像に撮影された同一人物を識別し、前記複数の撮影部の少なくとも１以上の撮影部により撮影して得られた画像を用いて前記歩道上の歩行者の性別および年齢層を推定する混雑度推定システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014104623A JP6435640B2 (ja) | 2014-05-20 | 2014-05-20 | 混雑度推定システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014104623A JP6435640B2 (ja) | 2014-05-20 | 2014-05-20 | 混雑度推定システム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018214820A Division JP2019023939A (ja) | 2018-11-15 | 2018-11-15 | ウェアラブル端末 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015219833A JP2015219833A (ja) | 2015-12-07 |
| JP6435640B2 true JP6435640B2 (ja) | 2018-12-12 |
Family
ID=54779123
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014104623A Active JP6435640B2 (ja) | 2014-05-20 | 2014-05-20 | 混雑度推定システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6435640B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6674791B2 (ja) | 2016-02-17 | 2020-04-01 | 株式会社Ｓｃｒｅｅｎホールディングス | 混雑度推定方法、人数推定方法、混雑度推定プログラム、人数推定プログラム、および人数推定システム |
| KR102191663B1 (ko) * | 2019-02-21 | 2020-12-16 | 주식회사 고양이뿔 | 성폭력 예방을 위한 커뮤니티 매핑 방법 |
| CN115546826A (zh) * | 2022-09-13 | 2022-12-30 | 西北大学 | 公交车拥挤度检测方法、装置及系统 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002260162A (ja) * | 2001-03-02 | 2002-09-13 | Mitsubishi Heavy Ind Ltd | 交通情報提供システム |
| JP2007201556A (ja) * | 2006-01-23 | 2007-08-09 | Fujifilm Corp | 混雑情報提供システム及び方法 |
| JP5245257B2 (ja) * | 2006-11-22 | 2013-07-24 | ソニー株式会社 | 画像表示システム、表示装置、表示方法 |
| JP5034701B2 (ja) * | 2007-06-14 | 2012-09-26 | 日本電気株式会社 | 観光客の誘導方法、そのシステム及びそのプログラム |
| JP2012238104A (ja) * | 2011-05-10 | 2012-12-06 | Nec Commun Syst Ltd | 混雑情報収集表示装置、混雑情報管理サーバ、混雑情報表示システム、方法およびプログラム |
| JP2014049086A (ja) * | 2012-09-04 | 2014-03-17 | Toshiba Tec Corp | 情報処理装置およびプログラム |
| JP5888205B2 (ja) * | 2012-11-02 | 2016-03-16 | ソニー株式会社 | 画像表示装置並びに情報入力装置 |
| JP5438859B1 (ja) * | 2013-05-30 | 2014-03-12 | パナソニック株式会社 | 客層分析装置、客層分析システムおよび客層分析方法 |
-
2014
- 2014-05-20 JP JP2014104623A patent/JP6435640B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015219833A (ja) | 2015-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7184148B2 (ja) | 監視システム、管理装置および監視方法 | |
| US10972864B2 (en) | Information recommendation method, apparatus, device and computer readable storage medium | |
| JP6573346B1 (ja) | 人物検索システムおよび人物検索方法 | |
| JP5994397B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| EP3340177B1 (en) | Method and system for creating virtual message onto a moving object and searching the same | |
| JP6099833B1 (ja) | 画像処理装置、画像処理システム及び画像処理方法 | |
| JP6089157B1 (ja) | 服装情報提供システム、服装情報提供方法、およびプログラム | |
| JP6126759B1 (ja) | 情報提供システム | |
| JPWO2009038149A1 (ja) | 映像提供システム、および映像提供方法 | |
| WO2021068553A1 (zh) | 一种监控方法、装置和设备 | |
| JP6435640B2 (ja) | 混雑度推定システム | |
| CN111310524B (zh) | 多视频关联方法及装置 | |
| JP2014164374A (ja) | 情報表示システム、情報端末、サーバ装置、情報端末の制御方法、サーバ装置の制御方法、及びプログラム | |
| KR20230008483A (ko) | 보행량 측정 장치 및 방법 | |
| JP2015215766A (ja) | 避難経路提供システム、避難経路提供方法、及び避難経路提供プログラム | |
| JP2019023939A (ja) | ウェアラブル端末 | |
| JP6796000B2 (ja) | 監視支援装置及び監視システム | |
| JP2016195323A (ja) | 情報処理装置、情報処理方法、プログラム | |
| US11216969B2 (en) | System, method, and computer-readable medium for managing position of target | |
| US20150379040A1 (en) | Generating automated tours of geographic-location related features | |
| JP2020047259A (ja) | 人物検索システムおよび人物検索方法 | |
| JP5885480B2 (ja) | 情報処理装置、情報処理装置の制御方法、プログラム | |
| JP2017181353A (ja) | 経路提示システム | |
| KR101844588B1 (ko) | 실내 측위를 이용한 영상 제공 장치 및 방법 | |
| JP2016139957A (ja) | 撮像装置、撮像方法及び撮像プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170516 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180529 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180531 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20180713 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180927 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20180927 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181016 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181029 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6435640 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |