JP6492890B2 - 情報収集プログラム、情報収集方法、および情報収集装置 - Google Patents

情報収集プログラム、情報収集方法、および情報収集装置 Download PDF

Info

Publication number
JP6492890B2
JP6492890B2 JP2015074333A JP2015074333A JP6492890B2 JP 6492890 B2 JP6492890 B2 JP 6492890B2 JP 2015074333 A JP2015074333 A JP 2015074333A JP 2015074333 A JP2015074333 A JP 2015074333A JP 6492890 B2 JP6492890 B2 JP 6492890B2
Authority
JP
Japan
Prior art keywords
terminal device
information
display screen
captured image
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015074333A
Other languages
English (en)
Other versions
JP2016194809A (ja
Inventor
秀 森本
秀 森本
田中 博幸
博幸 田中
悠香 谷口
悠香 谷口
聡美 真鍋
聡美 真鍋
青木 達也
達也 青木
森 隆司
隆司 森
孝 三木
孝 三木
雅代 畠中
雅代 畠中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2015074333A priority Critical patent/JP6492890B2/ja
Publication of JP2016194809A publication Critical patent/JP2016194809A/ja
Application granted granted Critical
Publication of JP6492890B2 publication Critical patent/JP6492890B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Telephonic Communication Services (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、情報収集プログラム、情報収集方法、および情報収集装置に関する。
近年、スマートフォンの普及にともなって、駅の構内などの公共の場で歩きながらスマートフォンを使う、いわゆる、歩きスマホが増えている。歩きスマホは、画面を注視しながらの歩行となるため、駅のホームから転落したり、人とぶつかったりするなどの事故を招く危険性がある。先行技術としては、例えば、駅構内での安全な行動を促すための技術がある。
特開2003−32732号公報
しかしながら、従来技術では、駅の構内などで歩きスマホをしているユーザを特定することが難しい。歩きスマホをしているユーザを特定することができないと、例えば、そのユーザに対して何らかの罰則を与えて歩きスマホを抑止するといった対策をとることができない。
一つの側面では、本発明は、表示画面が表示された状態で移動した端末装置を特定する情報収集プログラム、情報収集方法、および情報収集装置を提供することを目的とする。
本発明の一態様によれば、それぞれ異なる領域を撮像範囲とする複数の撮像装置により撮像された撮像画像と、当該撮像画像の撮像タイミングと、を取得し、取得した前記撮像画像に含まれる、端末装置の表示画面を検出し、検出した前記表示画面の表示態様に基づいて、検出した前記表示画面に対応する端末装置を特定し、特定した前記端末装置の表示画面を撮像範囲に含む撮像画像についての、当該撮像画像を撮像した撮像装置の情報と、当該撮像画像の撮像タイミングと、に基づいて、表示画面が表示された状態で移動したと判定される、特定した前記端末装置の識別情報を記憶部に記憶する情報収集プログラム、情報収集方法、および情報収集装置が提案される。
本発明の一側面によれば、表示画面が表示された状態で移動した端末装置を特定することができるという効果を奏する。
図1は、実施の形態1にかかる情報収集方法の一実施例を示す説明図である。 図2は、実施の形態2にかかる情報収集システム200のシステム構成例を示す説明図である。 図3は、情報収集装置101のハードウェア構成例を示すブロック図である。 図4は、端末装置Tjのハードウェア構成例を示すブロック図である。 図5は、個体識別情報DB220の記憶内容の一例を示す説明図である。 図6は、カメラ情報DB230の記憶内容の一例を示す説明図である。 図7は、監視カメラCiの設置例を示す説明図である。 図8は、端末装置Tjのディスプレイ406の表示態様例を示す説明図(その1)である。 図9は、端末装置Tjのディスプレイ406の表示態様例を示す説明図(その2)である。 図10は、実施の形態2にかかる情報収集装置101の機能的構成例を示すブロック図である。 図11は、情報収集システム200の動作例を示すシーケンス図である。 図12は、個体識別情報DB220の記憶内容の変遷例を示す説明図である。 図13は、歩きスマホ通知の具体例を示す説明図である。 図14は、警告メールの具体例を示す説明図である。 図15は、実施の形態2にかかる情報収集装置101の情報収集処理手順の一例を示すフローチャート(その1)である。 図16は、実施の形態2にかかる情報収集装置101の情報収集処理手順の一例を示すフローチャート(その2)である。 図17は、個体識別処理の具体的処理手順を示すフローチャートである。
以下に図面を参照して、本発明にかかる情報収集プログラム、情報収集方法、および情報収集装置の実施の形態を詳細に説明する。
(実施の形態1)
図1は、実施の形態1にかかる情報収集方法の一実施例を示す説明図である。図1において、情報収集装置101は、歩きながらスマートフォンやタブレット端末などを使ったユーザを特定可能な情報を収集するコンピュータである。端末装置102は、表示画面を有するコンピュータであり、例えば、スマートフォン、タブレット端末などである。
以下の説明では、歩きながらスマートフォンやタブレット端末を使うことを「歩きスマホ」と表記する場合がある。
撮像装置103,104は、それぞれ異なる領域を撮像範囲とする撮像装置である。撮像装置103,104は、例えば、歩きスマホ禁止エリアに設置される。歩きスマホ禁止エリアは、歩きスマホを禁止すべきエリアであり、例えば、駅構内、商業施設、市街地などの人が集まる場所に設けられる。
図1の例では、撮像装置103,104は、駅のホームに設けられた歩きスマホ禁止エリア110を通行する人を俯瞰する位置に設置され、それぞれの撮像範囲111,112に存在する人を上から撮影可能である。また、撮像装置103,104は、例えば、所定の時間間隔(例えば、1[フレーム/秒])で撮像した撮像画像を画像I/F(不図示)を介して、情報収集装置101に出力する。
具体的には、例えば、撮像装置103,104は、所定の時間間隔で撮像した撮像画像を情報収集装置101に順次出力することにしてもよい。また、撮像装置103,104は、一定時間ごとに、その間に所定の時間間隔で撮像した一連の撮像画像を動画像として情報収集装置101に出力することにしてもよい。
ここで、歩きスマホは、スマートフォンなどの端末装置102を使いながら歩くことであり、表示画面を注視しながらの歩行となるため、駅のホームから転落したり、人とぶつかったりするなどの事故を招く危険性がある。また、駅構内などに歩きスマホの注意喚起ポスター等を掲示する対策がとられていることもあるが、歩きスマホを抑止する有効な手立てとなっていないのが現状である。
そこで、実施の形態1では、駅構内、商業施設、市街地などの人が集まる場所で歩きスマホをしたユーザを特定可能な情報を収集する情報収集方法について説明する。以下、情報収集装置101の情報収集処理例について説明する。
(1)情報収集装置101は、撮像装置103,104により撮像された撮像画像と、当該撮像画像の撮像タイミングと、を取得する。撮像タイミングは、撮像画像が撮像された時点を特定する情報である。例えば、撮像タイミングは、各撮像装置103,104により撮像画像が撮像された日時であってもよく、また、情報収集装置101が各撮像装置103,104から撮像画像を取得した日時であってもよい。
図1の例では、情報収集装置101が、撮像装置103により撮像された撮像画像120と、撮像装置104により撮像された撮像画像130とを取得した場合を想定する。また、撮像画像120の撮像タイミングを、撮像装置103により撮像画像120が撮像された日時「2015年2月6日21時05分00秒」とする。また、撮像画像130の撮像タイミングを、撮像装置104により撮像画像130が撮像された日時「2015年2月6日21時05分10秒」とする。ただし、撮像装置103,104間で時刻は同期しているものとする。
(2)情報収集装置101は、取得した撮像画像に含まれる、端末装置の表示画面を検出する。具体的には、例えば、情報収集装置101は、既存のパターンマッチング等の技術により、画面検出用の学習データを用いて、取得した撮像画像を解析して端末装置の表示画面を検出する。画面検出用の学習データは、例えば、端末装置を様々な角度から撮影した画像の集合である。
図1の例では、撮像画像120,130のそれぞれについて、撮像画像120,130に含まれる端末装置の表示画面が検出された場合を想定する。
つぎに、情報収集装置101は、検出した表示画面の表示態様に基づいて、検出した表示画面に対応する端末装置を特定する。ここで、端末装置102の表示画面が起動されると、表示画面内の予め決められた1以上の領域に端末装置102を識別可能な画像が表示される。端末装置102を識別可能な画像とは、例えば、端末装置102に固有の色情報の画像である。
色情報は、例えば、画素についてのR(赤)、G(緑)、B(青)の各色の階調を示す情報である。RGBの各色の階調は、例えば、256階調で表現される。このため、例えば、各領域の画素についてのRGBの各色の階調を示す数字の組み合わせを、端末装置102を識別する識別情報として用いることにしてもよい。
この場合、情報収集装置101は、例えば、検出した表示画面内の予め決められた領域の画像を解析して得られる色情報に基づいて、検出した表示画面に対応する端末装置を特定する。これにより、端末装置の表示画面内の予め決められた領域にどのような色の画像が表示されているかという表示態様をもとに、端末装置を特定することができる。
図1の例では、撮像画像120に含まれる表示画面の表示態様に基づいて、端末装置102が特定された場合を想定する。また、撮像画像130に含まれる表示画面の表示態様に基づいて、端末装置102が特定された場合を想定する。
なお、端末装置102を識別可能な画像は、端末装置102を識別可能な数字列、文字列等を表示した画像であってもよい。この場合、情報収集装置101は、例えば、検出した表示画面内の予め決められた領域の画像を解析して得られる数字列や文字列に基づいて、検出した表示画面に対応する端末装置を特定する。
(3)情報収集装置101は、特定した端末装置の表示画面を撮像範囲に含む撮像画像についての、当該撮像画像を撮像した撮像装置の情報と、当該撮像画像の撮像タイミングとに基づいて、特定した端末装置が、表示画面が表示された状態で移動したかを判定する。撮像装置の情報とは、撮像画像を撮像した撮像装置を特定する情報である。
そして、情報収集装置101は、特定した端末装置が、表示画面が表示された状態で移動したと判定した場合、当該端末装置の識別情報を記憶部140に記憶する。ここで、表示画面が表示された状態で移動したと判定される端末装置は、歩きスマホをした可能性が高いユーザの端末装置であるといえる。
すなわち、表示画面が表示された状態で移動したと判定される端末装置の識別情報を記憶部140に記憶することにより、歩きスマホ禁止エリアにおいて歩きスマホをしたユーザを特定可能な情報を収集することができる。
図1の例では、撮像画像120,130は、撮像装置103,104によりそれぞれ撮像された撮像画像であり、端末装置102の表示画面を撮像範囲に含む。ここで、一般的な人の歩行速度を1.33[m/s]とする。また、歩きスマホ禁止エリア110に設置された撮像装置103の設置位置と撮像装置104の設置位置との設置間隔を10[m]とする。
この場合、歩行速度に個人差があることを考慮すると、撮像装置103の撮像範囲111から撮像装置104の撮像範囲112まで歩いて移動するには、おおよそ6〜15秒程度の時間がかかる。換言すれば、6〜15秒程度で撮像範囲111から撮像範囲112まで移動した人は、撮像範囲111から撮像範囲112まで歩いて移動したといえる。
このため、情報収集装置101は、例えば、撮像画像120の撮像タイミングと撮像画像130の撮像タイミングとの時間間隔が6〜15秒の範囲内であれば、表示画面が表示された状態で端末装置102が移動したと判定する。ここでは、撮像画像120の撮像タイミングと撮像画像130の撮像タイミングとの時間間隔は、10秒である。
このため、表示画面が表示された状態で端末装置102が移動したと判定され、端末装置102の識別情報が記憶部140に記憶される。端末装置102の識別情報は、例えば、上記(2)において端末装置102の表示画面内の領域に表示された画像を解析して得られる情報であってもよく、また、当該情報に対応するユーザの情報(例えば、氏名、メールアドレスなど)であってもよい。
以上説明したように、実施の形態1にかかる情報収集装置101によれば、撮像装置103,104から取得した撮像画像に含まれる表示画面を検出し、検出した表示画面の表示態様に基づいて、検出した表示画面に対応する端末装置を特定することができる。これにより、歩きスマホ禁止エリアにおいて表示画面が表示された状態となっている端末装置を特定することができる。
また、情報収集装置101によれば、特定した端末装置の表示画面を含む撮像画像を撮像した撮像装置の情報と、当該撮像画像の撮像タイミングとに基づいて、特定した端末装置が、表示画面が表示された状態で移動したかを判定することができる。これにより、歩きスマホ禁止エリアにおいて歩きスマホをしている可能性が高いユーザの端末装置を特定することができる。
これらのことから、情報収集装置101によれば、駅構内などの人が集まる場所で歩きスマホをしたユーザを特定して何らかの罰則を与えることが可能となり、駅のホームなどでの歩きスマホを抑止して転落事故や衝突事故を防ぐことができる。
(実施の形態2)
つぎに、実施の形態2にかかる情報収集システム200について説明する。実施の形態2では、実施の形態1で説明した情報収集装置101を情報収集システム200に適用した場合について説明する。
図2は、実施の形態2にかかる情報収集システム200のシステム構成例を示す説明図である。図2において、情報収集システム200は、情報収集装置101と、監視カメラC1〜Cnと、端末装置T1〜Tmと、外部サーバ201と、を含む。情報収集システム200において、情報収集装置101、監視カメラC1〜Cn、端末装置T1〜Tmおよび外部サーバ201は、有線または無線のネットワーク210を介して接続される。ネットワーク210は、例えば、LAN(Local Area Network)、WAN(Wide Area Network)、インターネットなどである。
以下の説明では、監視カメラC1〜Cnのうちの任意の監視カメラを「監視カメラCi」と表記する場合がある(i=1,2,…,n)。また、端末装置T1〜Tmのうちの任意の端末装置を「端末装置Tj」と表記する場合がある(j=1,2,…,m)。
ここで、情報収集装置101は、個体識別情報DB220およびカメラ情報DB230を有し、歩きスマホ禁止エリアAにおいて歩きスマホをしたユーザを特定可能な情報を収集する。個体識別情報DB220およびカメラ情報DB230の記憶内容については、図5および図6を用いて後述する。情報収集装置101は、例えば、サーバである。
監視カメラC1〜Cnは、それぞれ異なる領域を撮像範囲とする撮像装置である。各監視カメラCiは、監視対象となるいずれかの歩きスマホ禁止エリアAを通行する人を俯瞰する位置に設置され、それぞれの撮像範囲内に存在する人を上から撮影可能である。監視カメラC1〜Cnは、例えば、図1に示した撮像装置103,104に相当する。
具体的には、例えば、監視カメラCiは、所定の時間間隔で撮像した撮像画像と、当該撮像画像の撮像タイミングと、監視カメラCiのカメラIDと、を含む画像情報を、一定時間ごとに情報収集装置101に送信する。一定時間は、例えば、5〜10秒程度の時間である。一例として、所定の時間間隔を「1秒」とし、一定時間を「10秒」とすると、監視カメラCiは、10秒ごとに、10フレーム分の撮像画像を含む画像情報を情報収集装置101に送信する。
端末装置T1〜Tmは、表示画面(例えば、後述の図4に示すディスプレイ406)を有するコンピュータであり、例えば、スマートフォン、タブレット端末などである。端末装置Tjは、例えば、図1に示した端末装置102に相当する。外部サーバ201は、例えば、端末装置Tjのユーザに電話やデータ通信のサービスを提供するキャリア(電気通信事業者)のサーバや、警察のサーバなどである。
(情報収集装置101のハードウェア構成例)
図3は、情報収集装置101のハードウェア構成例を示すブロック図である。図3において、情報収集装置101は、CPU(Central Processing Unit)301と、メモリ302と、I/F(Interface)303と、ディスクドライブ304と、ディスク305と、を有する。また、各構成部は、バス300によってそれぞれ接続される。
ここで、CPU301は、情報収集装置101の全体の制御を司る。メモリ302は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)およびフラッシュROMなどを有する。具体的には、例えば、フラッシュROMやROMが各種プログラムを記憶し、RAMがCPU301のワークエリアとして使用される。メモリ302に記憶されるプログラムは、CPU301にロードされることで、コーディングされている処理をCPU301に実行させる。
I/F303は、通信回線を通じてネットワーク210に接続され、ネットワーク210を介して他の装置(例えば、図2に示した監視カメラCi、端末装置Tj、外部サーバ201)に接続される。そして、I/F303は、ネットワーク210と内部のインターフェースを司り、他の装置からのデータの入出力を制御する。I/F303には、例えば、モデムやLANアダプタなどを採用することができる。
ディスクドライブ304は、CPU301の制御に従ってディスク305に対するデータのリード/ライトを制御する。ディスク305は、ディスクドライブ304の制御で書き込まれたデータを記憶する。ディスク305としては、例えば、磁気ディスク、光ディスクなどが挙げられる。
なお、情報収集装置101は、上述した構成部のほか、例えば、SSD(Solid State Drive)、キーボード、マウス、ディスプレイなどを有することにしてもよい。また、図2に示した監視カメラC1〜Cnおよび外部サーバ201についても、情報収集装置101と同様のハードウェア構成により実現することができる。
(端末装置Tjのハードウェア構成例)
図4は、端末装置Tjのハードウェア構成例を示すブロック図である。図4において、端末装置Tjは、CPU401と、メモリ402と、ディスクドライブ403と、ディスク404と、I/F405と、ディスプレイ406と、入力装置407と、を有する。また、各構成部はバス400によってそれぞれ接続される。
ここで、CPU401は、端末装置Tjの全体の制御を司る。メモリ402は、例えば、ROM、RAMおよびフラッシュROMなどを有する。具体的には、例えば、フラッシュROMやROMが各種プログラムを記憶し、RAMがCPU401のワークエリアとして使用される。メモリ402に記憶されるプログラムは、CPU401にロードされることで、コーディングされている処理をCPU401に実行させる。
ディスクドライブ403は、CPU401の制御に従ってディスク404に対するデータのリード/ライトを制御する。ディスク404は、ディスクドライブ403の制御で書き込まれたデータを記憶する。ディスク404としては、例えば、磁気ディスク、光ディスクなどが挙げられる。
I/F405は、通信回線を通じてネットワーク210に接続され、ネットワーク210を介して他の装置(例えば、図2に示した情報収集装置101、外部サーバ201)に接続される。そして、I/F405は、ネットワーク210と内部のインターフェースを司り、他の装置からのデータの入出力を制御する。
ディスプレイ406は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する。ディスプレイ406は、例えば、液晶ディスプレイ、有機EL(Electroluminescence)ディスプレイ、CRT(Cathode Ray Tube)などを採用することができる。
入力装置407は、文字、数字、各種指示などの入力のためのキーを有し、データの入力を行う。入力装置407は、キーボードやマウスなどであってもよく、また、タッチパネル式の入力パッドやテンキーなどであってもよい。なお、端末装置Tjは、上述した構成部のうち、例えば、ディスクドライブ403、ディスク404などを有さないことにしてもよい。
(各種DB220,230の記憶内容)
つぎに、図5および図6を用いて各種DB220,230の記憶内容について説明する。各種DB220,230は、例えば、図3に示した情報収集装置101のメモリ302、ディスク305などの記憶装置により実現される。
図5は、個体識別情報DB220の記憶内容の一例を示す説明図である。図5において、個体識別情報DB220は、MAC(Media Access Control)アドレス、カメラID、検出日時およびペナルティカウントのフィールドを有し、各フィールドに情報を設定することで、個体識別情報(例えば、個体識別情報500−1,500−2)をレコードとして記憶する。
ここで、MACアドレスは、端末装置Tjを一意に識別する識別子である。MACアドレスは、例えば、16進数を用いた12桁で表される。カメラIDは、端末装置Tjのディスプレイ406が検出された撮像画像を撮像した監視カメラCiを一意に識別する識別子である。検出日時は、端末装置Tjのユーザが歩きスマホをしていることが検出された日時である。ペナルティカウントは、端末装置Tjのユーザが歩きスマホをした回数を示す。
なお、個体識別情報DB220は、例えば、図1に示した記憶部140に相当する。つぎに、カメラ情報DB230の記憶内容について説明する。
図6は、カメラ情報DB230の記憶内容の一例を示す説明図である。図6において、カメラ情報DB230は、エリアID、カメラID、同一エリアカメラIDおよび距離(単位:m)のフィールドを有し、各フィールドに情報を設定することで、カメラ情報(例えば、カメラ情報600−1〜600−4)をレコードとして記憶する。
ここで、エリアIDは、歩きスマホ禁止エリアAを一意に識別する識別子である。カメラIDは、エリアIDにより識別される歩きスマホ禁止エリアAに設置された監視カメラCiを識別する識別子である。同一エリアカメラIDは、カメラIDにより識別される監視カメラCiと同じ歩きスマホ禁止エリアAに設置された他の監視カメラを識別する識別子である。距離(単位:m)は、歩きスマホ禁止エリアAに設置された監視カメラ間の距離(設置間隔)である。
例えば、カメラ情報600−1によれば、歩きスマホ禁止エリアA1に監視カメラC1が設置されており、歩きスマホ禁止エリアA1に設置された他の監視カメラC2と監視カメラC1との距離が10[m]であることを特定することができる。
(監視カメラCiの設置例)
つぎに、監視カメラCiの設置例について説明する。ここでは、歩きスマホ禁止エリアA1を例に挙げて、歩きスマホ禁止エリアA1に設置された監視カメラC1〜C4の設置例について説明する。
図7は、監視カメラCiの設置例を示す説明図である。図7において、監視カメラC1〜C4は、丁字路に設けられた歩きスマホ禁止エリアA1を通行する人を俯瞰する位置に設置され、それぞれの撮像範囲701〜704に存在する人を上から撮影可能である。
例えば、監視カメラC1と監視カメラC2との距離(設置間隔)は、10[m]である。また、監視カメラC1と監視カメラC3との距離は、25[m]である。また、監視カメラC1と監視カメラC4との距離は、15[m]である。ただし、この距離は、監視カメラC1から監視カメラC2を経由して監視カメラC4にたどり着くまでの距離である。
(端末装置Tjのディスプレイ406の表示態様例)
つぎに、図8および図9を用いて、端末装置Tjのディスプレイ406の表示態様例について説明する。ここでは、端末装置T1を例に挙げて説明する。
図8は、端末装置Tjのディスプレイ406の表示態様例を示す説明図(その1)である。図8において、端末装置T1のディスプレイ406が表示された状態の表示態様が示されている。
具体的には、ディスプレイ406上の各領域R0〜R4に画像P0〜P4がそれぞれ表示されている。各画像P0〜P4は、ディスプレイ406が起動されると各領域R0〜R4に表示され、例えば、ディスプレイ406の画面が遷移した後も各領域R0〜R4に表示される。
ディスプレイ406上での各領域R0〜R4の配置位置は予め決められている。図8の例では、ディスプレイ406の上端中央に領域R0が配置され、領域R0を基準にして時計回りにディスプレイ406の各四隅に領域R1〜R4が順に配置される。なお、図8では、ディスプレイ406内の領域R0〜R4以外の領域を空白で表しているが、実際は何らかの画像が表示されている。
ここで、画像P0は、特定の色情報の画像である。特定の色情報は、領域R0内の各画素についてのRGBの各色の階調を示す情報である。例えば、特定の色情報は、RGB全ての中間色の階調「(R:G:B=128:128:128)」を示す情報である。すなわち、画像P0は、灰色の画像となる。
ただし、どの色の階調を示す情報を特定の色情報とするかは任意に設定可能である。例えば、画像P0は、白色「(R:G:B=255:255:255)」の画像であってもよく、黒色「(R:G:B=0:0:0)」の画像であってもよい。
以下の説明では、特定の色情報として、RGB全ての中間色の階調「(R:G:B=128:128:128)」を示す情報を例に挙げて説明する。
また、画像P1〜P4は、端末装置T1を識別する複数桁の数値を所定の桁位置で区切って分割した各値を変換して得られる色情報の画像である。端末装置T1を識別する複数桁の数値としては、例えば、端末装置T1のMACアドレスや製造番号などを用いることができる。
以下の説明では、端末装置Tjを識別する複数桁の数値として、端末装置TjのMACアドレスを用いる場合を例に挙げて説明する。
図8の例では、画像P1〜P4は、端末装置T1のMACアドレスを所定の桁位置で区切って分割した各値を変換して得られる色情報の画像である。ここでは、画像P1〜P4は、12桁のMACアドレスを3桁ごとに区切って分割した各値を10進数に変換し、変換した各数値を下記式(1)に代入することにより得られる色情報の画像である。
RGBの各色の階調=(数値)×16+8 ・・・(1)
例えば、端末装置T1のMACアドレスを「BC:52:B7:42:FF:37」とする。この場合、MACアドレス「BC:52:B7:42:FF:37」は、3桁ごとに区切られて4つのグループG1〜G4に分割される。
グループG1は、MACアドレスの先頭3桁の値「BC5」である。グループG2は、MACアドレスの4〜6桁目の値「2B7」である。グループG3は、MACアドレスの7〜9桁目の値「42F」である。グループG4は、MACアドレスの10〜12桁目の値「F37」である。各グループG1〜G4の3桁の値は、1桁ごとRGBの各色に割り当てられる。
例えば、グループG1の3桁の値「BC5」は、1桁ごとRGBの各色に割り当てられる(R(赤)=B、G(緑)=C、B(青)=5)。また、RGBの各色に割り当てられた値を10進数に変換すると、「R=11、G=12、B=5」となる。このため、グループG1のRGBの各色の階調は、上記式(1)から「(R:G:B)=(184:200:88)」となる。すなわち、画像P1は、色が「(R:G:B)=(184:200:88)」の画素の集合となる。
同様に、グループG2のRGBの各色の階調は、上記式(1)から「(R:G:B)=(40:184:120)」となる。すなわち、画像P2は、色が「(R:G:B)=(40:184:120)」の画素の集合となる。また、グループG3のRGBの各色の階調は、上記式(1)から「(R:G:B)=(72:40:248)」となる。すなわち、画像P3は、色が「(R:G:B)=(72:40:248)」の画素の集合となる。また、グループG4のRGBの各色の階調は、上記式(1)から「(R:G:B)=(248:56:120)」となる。すなわち、画像P4は、色が「(R:G:B)=(248:56:120)」の画素の集合となる。
以下の説明では、端末装置Tjのディスプレイ406内の領域R0に表示される画像(例えば、画像P0)の色を「基準色」と表記する場合がある。また、端末装置Tjのディスプレイ406内の領域R1〜R4に表示される画像(例えば、画像P1〜P4)の色を「グループG1〜G4の基本色」と表記する場合がある。
なお、図8では説明の都合上、ディスプレイ406のサイズに対して各領域R0〜R4を大きく表示したが、各領域R0〜R4の縦横の実際の大きさは、例えば、5[mm]×5[mm]程度である。
図9は、端末装置Tjのディスプレイ406の表示態様例を示す説明図(その2)である。図8で説明したように、端末装置T1のディスプレイ406内の領域R0〜R4には、画像P0〜P4がそれぞれ表示されることになる。このため、領域R0〜R4には、本来表示されるべき画像とは異なる画像が表示されることがあり、ユーザに違和感を与える可能性がある。
そこで、ユーザにできるだけ違和感を与えないように、端末装置T1のディスプレイ406内の各領域R0〜R4の周囲の画像の色情報を調整することにしてもよい。ここでは、ディスプレイ406内の領域R4を例に挙げて、領域R4の周囲の画像の色情報の調整例について説明する。
ディスプレイ406において、領域R4を囲うように領域901〜904が区切られている。ここで、各領域901〜904の色情報は、領域R4から離れるにしたがって徐々にグループG4の基本色の割合が弱くなるように調整される。
例えば、領域901の色情報は、グループG4の基本色と本来の色との割合が「10:0」となるように調整される。また、領域902の色情報は、グループG4の基本色と本来の色との割合が「7:3」となるように調整される。また、領域903の色情報は、グループG4の基本色と本来の色との割合が「3:7」となるように調整される。また、領域904の色情報は、グループG4の基本色と本来の色との割合が「0:10」となるように調整される。
これにより、領域R4に表示される画像P4と領域R4の周囲の画像との境界を目立ちにくくすることができる。このように、各領域R0〜R4の周囲の画像の色情報を調整することにより、ユーザにできるだけ違和感を与えないように、各領域R0〜R4に画像P0〜P4を表示させることができる。
(情報収集装置101の機能的構成例)
図10は、実施の形態2にかかる情報収集装置101の機能的構成例を示すブロック図である。図10において、情報収集装置101は、取得部1001と、検出部1002と、特定部1003と、判定部1004と、出力部1005と、を含む構成である。取得部1001〜出力部1005は制御部となる機能であり、具体的には、例えば、図3に示したメモリ302、ディスク305などの記憶装置に記憶されたプログラムをCPU301に実行させることにより、または、I/F303により、その機能を実現する。各機能部の処理結果は、例えば、メモリ302、ディスク305などの記憶装置に記憶される。
取得部1001は、監視カメラC1〜Cnにより撮像された撮像画像と、当該撮像画像の撮像タイミングと、を取得する。ここで、監視カメラC1〜Cnは、上述したように、それぞれ異なる領域を撮像範囲とする複数の撮像装置である。また、撮像タイミングは、撮像画像が撮像された時点を特定する情報である。
具体的には、例えば、取得部1001は、一定時間ごとに、監視カメラCiから画像情報を取得する。画像情報は、例えば、監視カメラCiにより所定の時間間隔で撮像された撮像画像と、当該撮像画像の撮像タイミングと、監視カメラCiのカメラIDとを含む情報である。以下の説明では、撮像タイミングは、監視カメラCiにより撮像画像が撮像された日時とする。ただし、監視カメラ間で時刻は同期しているものとする。
検出部1002は、取得された撮像画像に含まれる、端末装置Tjの表示画面を検出する。ここで、端末装置Tjの表示画面は、例えば、図4に示したディスプレイ406である。具体的には、例えば、検出部1002は、既存のパターンマッチング等の技術により、画面検出用の学習データを用いて、取得された画像情報に含まれる撮像画像を解析して端末装置Tjのディスプレイ406を検出する。画面検出用の学習データは、例えば、端末装置Tjを様々な角度から撮影した画像の集合である。
特定部1003は、検出された表示画面の表示態様に基づいて、検出された表示画面に対応する端末装置Tjの識別情報を特定する。ここで、端末装置Tjのディスプレイ406が起動されると、図8に示したように、ディスプレイ406の予め決められた領域R0〜R4には、所定の画像(例えば、画像P0〜P4)が表示される。
例えば、特定部1003は、撮像画像に含まれるディスプレイ406の領域R0〜R4の画像の色情報に基づいて、検出されたディスプレイ406に対応する端末装置TjのMACアドレスを特定する。具体的には、例えば、まず、特定部1003は、撮像画像に含まれるディスプレイ406の領域R0の画像を解析することにより、基準色の色情報を特定する。
ここで、領域R0は、ディスプレイ406の上端中央に配置される。ただし、図8に示した例では、ディスプレイ406の形状は長方形である。このため、撮像画像からディスプレイ406の長手方向と短手方向とを区別できても、いずれの短辺が上端であるか区別できない場合がある。
そこで、特定部1003は、ディスプレイ406の短手方向の画面両端の中央の領域(例えば、5[mm]×5[mm]の正方領域)の画像をそれぞれ抽出する。つぎに、特定部1003は、抽出した画像をそれぞれ解析して色情報を取得する。そして、特定部1003は、取得した各画像の色情報と特定の色情報とを比較し、特定の色情報に近いほうの色情報の領域を領域R0として特定する。
特定の色情報は、例えば、RGB全ての中間色の階調「(R:G:B=128:128:128)」を示す情報である。また、画像を解析して得られる色情報は、例えば、画像に含まれる各画素についてのRGBの各色の階調の平均値を示す。これにより、RGBの各色の階調が中間色の階調により近い領域を領域R0として特定でき、領域R0の画像の色情報、すなわち、基準色の色情報を特定することができる。
つぎに、特定部1003は、撮像画像に含まれるディスプレイ406の領域R0を基準にして、時計回りにディスプレイ406の各四隅に配置された領域R1〜R4の画像を抽出し、抽出した画像をそれぞれ解析して色情報を取得する。これにより、ディスプレイ406内の領域R1〜R4の画像の色情報、すなわち、グループG1〜G4の基本色の色情報を特定することができる。
そして、特定部1003は、グループG1〜G4の基本色の色情報が示すRGBの各色の階調を下記式(2)に代入して得られる数値を16進数に変換し、変換後の数値を連結することにより、端末装置TjのMACアドレスを特定する。なお、RGBの各色についての256段階の色を16段階に区切っているため、下記式(2)を用いたMACアドレスへの逆変換時には、−8〜+7の誤差が許容される。
[(RGBの各色の階調)÷16]余り切り捨て ・・・(2)
ここで、監視カメラCiにより撮像された撮像画像に映る色は、撮像時の光の加減などにより実際の色と異なる場合がある。また、各領域R0〜R4の画像の撮像時の条件はほぼ同じである。換言すると、領域R1〜R4の画像には、領域R0の画像に含まれる誤差と同様の誤差が含まれるといえる。
このため、特定部1003は、領域R0の画像を解析して得られる色情報と、特定の色情報との誤差に基づいて、各領域R1〜R4の画像を解析して得られる色情報を補正することにしてもよい。例えば、領域R0の画像を解析して得られる基準色の色情報を「(R:G:B=130:126:128)」とする。また、特定の色情報を、RGB全ての中間色の階調「(R:G:B=128:128:128)」とする。
この場合、まず、特定部1003は、基準色の色情報「(R:G:B=130:126:128)」と特定の色情報「(R:G:B=128:128:128)」との誤差「R=2、G=−2、B=0」を算出する。そして、特定部1003は、グループG1〜G4の基本色の色情報について、Rの数値から「2」を減算し、Gの数値に「2」を加算することにより、グループG1〜G4の基本色の色情報を補正する。
例えば、領域R1の画像を解析して得られたグループG1の基本色の色情報を「(R:G:B)=(186:198:88)」とする。この場合、特定部1003は、Rの数値から「2」を減算し、Gの数値に「2」を加算することにより、グループG1の基本色の補正後の色情報「(R:G:B)=(184:200:88)」を得ることができる。
ここで、図8に示した画像P1〜P4の色情報を例に挙げて、MACアドレスの特定例について説明する。ここでは、画像P1〜P4を解析して得られる色情報、すなわち、グループG1〜G4の基本色の色情報が以下であった場合を想定する。また、領域R0の画像P0を解析して得られた基準色の色情報を「(R:G:B=128:128:128)」として、基本色の色情報の補正が必要ない場合を想定する。
グループG1の基本色 ⇒ 「(R:G:B)=(184:200:88)」
グループG2の基本色 ⇒ 「(R:G:B)=(40:184:120)」
グループG3の基本色 ⇒ 「(R:G:B)=(72:40:248)」
グループG4の基本色 ⇒ 「(R:G:B)=(248:56:120)」
この場合、特定部1003は、グループG1の基本色のR(赤)の階調を上記式(2)に代入することにより、数値「11(=[184÷16]余り切り捨て)」を求める。また、特定部1003は、グループG1の基本色のG(緑)の階調を上記式(2)に代入することにより、数値「12(=[200÷16]余り切り捨て)」を求める。また、特定部1003は、グループG1の基本色のB(青)の階調を上記式(2)に代入することにより、数値「(5=[88÷16]余り切り捨て)」を求める。そして、特定部1003は、各数値「11,12,5」を16進数に変換することにより、MACアドレスの1〜3桁目の数値「B,C,5」を求める。
同様に、特定部1003は、グループG2の基本色のRGBの各色の階調を上記式(2)に代入することにより、各数値「2(=[40÷16]余り切り捨て),11(=[184÷16]余り切り捨て),7(=[120÷16]余り切り捨て)」を求める。そして、特定部1003は、各数値「2,11,7」を16進数に変換することにより、MACアドレスの4〜6桁目の数値「2,B,7」を求める。
同様に、特定部1003は、グループG3の基本色のRGBの各色の階調を上記式(2)に代入することにより、各数値「4(=[72÷16]余り切り捨て),2(=[40÷16]余り切り捨て),15(=[248÷16]余り切り捨て)」を求める。そして、特定部1003は、各数値「4,2,15」を16進数に変換することにより、MACアドレスの7〜9桁目の数値「4,2,F」を求める。
同様に、特定部1003は、グループG4の基本色のRGBの各色の階調を上記式(2)に代入することにより、各数値「15(=[248÷16]余り切り捨て),3(=[56÷16]余り切り捨て),7(=[120÷16]余り切り捨て)」を求める。そして、特定部1003は、各数値「15,3,7」を16進数に変換することにより、MACアドレスの10〜12桁目の数値「F,3,7」を求める。
そして、特定部1003は、求めた各数値を連結することにより、端末装置TjのMACアドレス「BC:52:B7:42:FF:37」を特定する。これにより、歩きスマホ禁止エリアAでディスプレイ406が表示された状態となっている端末装置Tj、すなわち、歩きスマホをしている可能性があるユーザの端末装置TjのMACアドレスを特定することができる。
判定部1004は、特定された識別情報により識別される端末装置Tjが、歩きスマホ禁止エリアAにおいてディスプレイ406が表示された状態で移動したか否かを判定する。具体的には、例えば、まず、判定部1004は、個体識別情報DB220を参照して、特定された端末装置TjのMACアドレスが登録済みであるか否かを判定する。
ここで、MACアドレスが未登録の場合、判定部1004は、特定された端末装置TjのMACアドレスと対応付けて、今回のカメラIDと今回の検出日時とを個体識別情報DB220に登録する。また、判定部1004は、特定された端末装置TjのMACアドレスに対応するペナルティカウントに「1」を設定する。
今回のカメラIDは、端末装置Tjのディスプレイ406が検出された撮像画像を撮像した監視カメラCiのカメラIDである。今回の検出日時は、端末装置Tjのディスプレイ406が検出された撮像画像の撮像タイミングである。今回のカメラIDおよび検出日時は、例えば、当該撮像画像を含む画像情報から特定される。
これにより、歩きスマホ禁止エリアAでディスプレイ406が表示された状態となっている端末装置Tjの個体識別情報が個体識別情報DB220に新規登録される。ただし、この時点では、歩きスマホ禁止エリアAでユーザが立ち止まって端末装置Tjを使用している可能性がある。このため、判定部1004は、ディスプレイ406が表示された状態で端末装置Tjが移動したとは判定しない。
一方、MACアドレスが登録済みの場合、判定部1004は、当該MACアドレスと対応付けて個体識別情報DB220に登録されている前回のカメラIDが、今回のカメラIDと同一であるか否かを判定する。ここで、カメラIDが同一の場合、監視カメラCiの撮像範囲でユーザが立ち止まって端末装置Tjを使用している可能性がある。
このため、判定部1004は、今回のカメラIDと前回のカメラIDとが同一の場合には、ディスプレイ406が表示された状態で端末装置Tjが移動したとは判定しない。ただし、判定部1004は、個体識別情報DB220内の前回の検出日時を今回の検出日時に更新する。
一方、カメラIDが異なる場合、判定部1004は、今回の検出日時と前回の検出日時との検出日時間隔を算出する。そして、判定部1004は、算出した検出日時間隔が、下記式(3)の判定式を満たすか否かを判定する。ただし、tは、検出日時間隔である。Cxは、前回のカメラIDにより識別される監視カメラと今回のカメラIDにより識別される監視カメラとの間の距離であり、例えば、カメラ情報DB230(図6参照)から特定される。
また、Vmaxは、歩きスマホをしているユーザの歩行速度の最大値であり、例えば、一般的な歩行速度の1.2倍程度の速度に設定される。Vminは、歩きスマホをしているユーザの歩行速度の最小値であり、例えば、一般的な歩行速度の0.5倍程度の速度に設定される。例えば、一般的な歩行速度を「1.33[m/s]」とすると、Vmaxは「1.6[m/s]」となり、Vminは「0.67[m/s]」となる。
Cx/Vmax≦t≦Cx/Vmin ・・・(3)
検出日時間隔tが上記式(3)の判定式を満たす場合、端末装置Tjのディスプレイ406を起動した状態で、監視カメラ間をユーザが歩いて移動したと判断することができる。このため、判定部1004は、算出した検出日時間隔が、上記式(3)の判定式を満たす場合に、歩きスマホ禁止エリアAでディスプレイ406が表示された状態で端末装置Tjが移動したと判定する。そして、判定部1004は、個体識別情報DB220内の前回のカメラIDと検出日時を今回のカメラIDと検出日時に更新するとともに、ペナルティカウントをインクリメントする。
これにより、歩きスマホ禁止エリアAにおいて歩きスマホをしている可能性が高いユーザの端末装置TjのMACアドレスを特定することができる。歩きスマホ禁止エリアAにおいてディスプレイ406が表示された状態で端末装置Tjが移動したか否かの判定例については、図11を用いて後述する。
なお、カメラIDが異なる場合であっても、前回の監視カメラと今回の監視カメラとが異なる歩きスマホ禁止エリアAに設置されている場合がある。この場合は、判定部1004は、歩きスマホ禁止エリアAでディスプレイ406が表示された状態で端末装置Tjが移動したと判定しない。そして、判定部1004は、個体識別情報DB220内から対応する個体識別情報を削除して、新たな個体識別情報を登録しなおす。
出力部1005は、歩きスマホ禁止エリアAにおいてディスプレイ406が表示された状態で移動したと判定された端末装置Tjの識別情報を出力する。出力部1005の出力形式としては、例えば、メモリ302、ディスク305などの記憶装置への記憶、I/F303による外部装置への送信、不図示のディスプレイへの表示などがある。
具体的には、例えば、出力部1005は、個体識別情報DB220に登録されたMACアドレスについて、ペナルティカウントが閾値α以上となった場合に、当該MACアドレスを含む歩きスマホ通知を外部サーバ201に送信することにしてもよい。閾値αは、任意に設定可能であり、例えば、3〜10程度の値に設定される。
これにより、歩きスマホ禁止エリアAにおいて歩きスマホをしたユーザの端末装置TjのMACアドレスを外部サーバ201に通知することができる。この結果、キャリアや警察などにおいて、歩きスマホをしているユーザを特定することができ、そのユーザに対して何らかの罰則を与えて歩きスマホを抑止することが可能となる。
また、情報収集装置101は、月単位や週単位などの期間ごとに、個体識別情報DB220に登録されたMACアドレスについて、ペナルティカウントが閾値α以上となった回数を管理することにしてもよい。そして、出力部1005は、当該回数が所定回数以上(例えば、3回)となったMACアドレスをリスト化して外部サーバ201に送信することにしてもよい。これにより、歩きスマホ禁止エリアAにおいて複数回歩きスマホをしたユーザの端末装置TjのMACアドレスを外部サーバ201に通知することができる。
ユーザに与える罰則としては、例えば、キャリアにおいてデータ通信サービスの提供を一定期間停止させたり、警察において罰金を与えたりするなどが考えられる。より具体的には、例えば、キャリアの基地局などにおいて、パケットを監視し、歩きスマホをしたユーザのアドレスが送信元アドレスに設定されたパケットを数分間破棄することにより、データ通信サービスの利用を一定期間停止させることができる。また、パケットに対して設定される優先度を低下させることにより、データ通信サービスの品質を一定期間低下させることができる。
また、外部サーバ201は、歩きスマホをしたユーザの端末装置Tjに対して、歩きスマホをしないように促す警告メールを送信することにしてもよい。なお、外部サーバ201に送信される歩きスマホ通知の具体例については、図13を用いて後述する。また、端末装置Tjに送信される警告メールの具体例については、図14を用いて後述する。
なお、上述した説明では、情報収集装置101において、撮像画像から検出された表示画面に対応する端末装置Tjの識別情報(MACアドレス)を特定することにしたが、これに限らない。例えば、監視カメラCiにおいて、撮像した撮像画像から表示画面を検出し、検出した表示画面に対応する端末装置Tjの識別情報を特定することにしてもよい。この場合、監視カメラCiは、特定した端末装置Tjの識別情報を情報収集装置101に送信する。
(情報収集システム200の動作例)
つぎに、図11および図12を用いて、情報収集システム200の動作例について説明する。ここでは、歩きスマホ禁止エリアA1において、端末装置T1のユーザが、監視カメラC1の撮像範囲701から、監視カメラC2の撮像範囲702を経由して、監視カメラC3の撮像範囲703まで移動しながら歩きスマホをしている場合を想定する(図7参照)。
図11は、情報収集システム200の動作例を示すシーケンス図である。図12は、個体識別情報DB220の記憶内容の変遷例を示す説明図である。
図11において、(11−1)監視カメラC1は、撮像範囲701を撮像した撮像画像を含む画像情報1101を情報収集装置101に送信する。ここで、画像情報1101は、端末装置T1のディスプレイ406を含む撮像画像Aと、撮像画像Aの撮像タイミングt1と、を含む。
(11−2)情報収集装置101は、画像情報1101を受信すると、画像情報1101に含まれる撮像画像Aから端末装置T1のディスプレイ406を検出して、端末装置T1のMACアドレス「BC:52:B7:42:FF:37」を特定する。そして、情報収集装置101は、個体識別情報DB220に個体識別情報500−1を新規登録する(図12中、(12−1)参照)。ただし、撮像画像Aの撮像タイミングt1を「2015年2月27日17時00分00秒」とする。
(11−3)監視カメラC2は、撮像範囲702を撮像した撮像画像を含む画像情報1102を情報収集装置101に送信する。ここで、画像情報1102は、端末装置T1のディスプレイ406を含む撮像画像Bと、撮像画像Bの撮像タイミングt2と、を含む。
(11−4)情報収集装置101は、画像情報1102を受信すると、画像情報1102に含まれる撮像画像Bから端末装置T1のディスプレイ406を検出して、端末装置T1のMACアドレス「BC:52:B7:42:FF:37」を特定する。
ここで、上記式(3)の判定式に含まれるVmaxを「1.6[m/s]」とし、Vminを「0.67[m/s]」とする。また、撮像タイミングt2を「2015年2月27日17時00分10秒」とすると、検出日時間隔tは「10秒」となる。また、監視カメラC1,C2間の距離は、10[m]である(図6参照)。
この場合、上記式(3)は「6.25≦t≦14.93」となり、検出日時間隔tは、上記式(3)の判定式を満たす。このため、情報収集装置101は、歩きスマホ禁止エリアA1でディスプレイ406が表示された状態で端末装置T1が移動したと判定し、個体識別情報DB220の個体識別情報500−1を更新する(図12中、(12−2)参照)。
(11−5)監視カメラC3は、撮像範囲703を撮像した撮像画像を含む画像情報1103を情報収集装置101に送信する。ここで、画像情報1103は、端末装置T1のディスプレイ406を含む撮像画像Cと、撮像画像Cの撮像タイミングt3と、を含む。
(11−6)情報収集装置101は、画像情報1103を受信すると、画像情報1103に含まれる撮像画像Cから端末装置T1のディスプレイ406を検出して、端末装置T1のMACアドレス「BC:52:B7:42:FF:37」を特定する。
ここで、撮像タイミングt3を「2015年2月27日17時00分23秒」とすると、検出日時間隔tは「13秒」となる。また、監視カメラC2,C3間の距離は、15[m]である(図7参照)。この場合、上記式(3)は「9.38≦t≦22.39」となり、検出日時間隔tは、上記式(3)の判定式を満たす。
このため、情報収集装置101は、歩きスマホ禁止エリアA1でディスプレイ406が表示された状態で端末装置T1が移動したと判定し、個体識別情報DB220の個体識別情報500−1を更新する(図12中、(12−3)参照)。
ここで、上記閾値αを「α=2」とする。この場合、個体識別情報DB220に登録されたMACアドレス「BC:52:B7:42:FF:37」について、ペナルティカウント「3」が閾値α以上となる。
(11−7)情報収集装置101は、MACアドレス「BC:52:B7:42:FF:37」について、ペナルティカウント「3」が閾値α以上となったため、例えば、図13に示すような歩きスマホ通知1300を外部サーバ201に送信する。
(11−8)外部サーバ201は、歩きスマホ通知1300を受信した場合、例えば、図14に示すような警告メール1400を端末装置T1に送信する。
(歩きスマホ通知の具体例)
図13は、歩きスマホ通知の具体例を示す説明図である。図13において、歩きスマホ通知1300は、MACアドレスと、検出日時と、場所と、を含む情報である。ここで、MACアドレスは、歩きスマホ禁止エリアAにおいて歩きスマホをしたユーザの端末装置TjのMACアドレスである。
検出日時は、歩きスマホをしていることが検出された日時である。この検出日時は、歩きスマホをしたユーザの端末装置TjのMACアドレスが特定された撮像画像の撮像タイミングに対応する。場所は、歩きスマホをしていることが検出された場所である。この場所は、歩きスマホをしたユーザの端末装置TjのMACアドレスが特定された撮像画像を撮像した監視カメラCiの設置位置に対応する。
なお、情報収集装置101は、監視カメラCiの設置位置に対応する場所の情報は、例えば、監視カメラCiのカメラIDと対応付けて、メモリ302、ディスク305などの記憶装置に記憶している。
歩きスマホ通知1300によれば、場所「○×駅△番ホーム」において、検出日時「2015年2月27日17時00分頃」に、MACアドレス「BC:52:B7:42:FF:37」により識別される端末装置T1のユーザが歩きスマホをしたことをキャリアや警察に通知することができる。
(警告メールの具体例)
図14は、警告メールの具体例を示す説明図である。図14において、警告メール1400は、歩きスマホ禁止エリアAにおいて歩きスマホをしたユーザに対して、歩きスマホをしないように促すものである。
警告メール1400によれば、ユーザは、場所「○×駅△番ホーム」において、検出日時「2015年2月27日17時00分頃」に、自分が歩きスマホをしていることが検出されたことがわかる。また、ユーザは、再度歩きスマホをしていることが検出されると、データ通信サービスを利用できなくなる可能性があることを知ることができる。
この結果、歩きスマホ禁止エリアAにおけるユーザの歩きスマホを抑止することができ、駅のホームから転落したり、人とぶつかったりするなどの事故を防ぐことができる。なお、上述した説明では、外部サーバ201から端末装置Tjに警告メールを送信することにしたが、これに限らない。例えば、情報収集装置101が端末装置Tjのメールアドレス等を記憶していれば、情報収集装置101から端末装置Tjに警告メールを送信することにしてもよい。
(情報収集装置101の情報収集処理手順)
つぎに、情報収集装置101の情報収集処理手順について説明する。
図15および図16は、実施の形態2にかかる情報収集装置101の情報収集処理手順の一例を示すフローチャートである。図15のフローチャートにおいて、まず、情報収集装置101は、監視カメラCiから画像情報を取得したか否かを判断する(ステップS1501)。
ここで、情報収集装置101は、監視カメラCiから画像情報を取得するのを待つ(ステップS1501:No)。そして、情報収集装置101は、監視カメラCiから画像情報を取得した場合(ステップS1501:Yes)、取得した画像情報に含まれる撮像画像を解析して端末装置Tjのディスプレイ406を検出する(ステップS1502)。
つぎに、情報収集装置101は、画像情報に含まれる撮像画像から端末装置Tjのディスプレイ406が検出されたか否かを判断する(ステップS1503)。ここで、端末装置Tjのディスプレイ406が検出されなかった場合(ステップS1503:No)、情報収集装置101は、本フローチャートによる一連の処理を終了する。
一方、端末装置Tjのディスプレイ406が検出された場合(ステップS1503:Yes)、情報収集装置101は、個体識別処理を実行する(ステップS1504)。なお、個体識別処理の具体的な処理手順については、図17を用いて後述する。
つぎに、情報収集装置101は、個体識別処理により特定されたMACアドレスが個体識別情報DB220に登録済みであるか否かを判断する(ステップS1505)。
ここで、MACアドレスが未登録の場合(ステップS1505:No)、情報収集装置101は、特定されたMACアドレスについての個体識別情報を個体識別情報DB220に新規登録する(ステップS1506)。そして、情報収集装置101は、新規登録した個体識別情報のペナルティカウントに「1」を設定して(ステップS1507)、本フローチャートによる一連の処理を終了する。
また、ステップS1505において、MACアドレスが登録済みの場合(ステップS1505:Yes)、情報収集装置101は、当該MACアドレスと対応付けて登録されている前回のカメラIDが、今回のカメラIDと同一であるか否かを判定する(ステップS1508)。
ここで、カメラIDが同一の場合(ステップS1508:Yes)、情報収集装置101は、当該MACアドレスと対応付けて登録されている前回の検出日時を今回の検出日時に更新して(ステップS1509)、本フローチャートによる一連の処理を終了する。一方、カメラIDが異なる場合(ステップS1508:No)、情報収集装置101は、図16に示すステップS1601に移行する。
図16のフローチャートにおいて、まず、情報収集装置101は、カメラ情報DB230を参照して、前回の監視カメラと今回の監視カメラとが同一エリア(歩きスマホ禁止エリアA)に設置されているか否かを判断する(ステップS1601)。
ここで、同一エリアに設置されている場合(ステップS1601:Yes)、情報収集装置101は、今回の検出日時と前回の検出日時との検出日時間隔を算出する(ステップS1602)。そして、情報収集装置101は、算出した検出日時間隔が、上記式(3)の判定式を満たすか否かを判断する(ステップS1603)。
ここで、上記式(3)の判定式を満たさない場合(ステップS1603:No)、情報収集装置101は、ステップS1609に移行する。
一方、上記式(3)の判定式を満たす場合(ステップS1603:Yes)、情報収集装置101は、個体識別情報DB220内の前回のカメラIDと検出日時を今回のカメラIDと検出日時に更新する(ステップS1604)。そして、情報収集装置101は、個体識別情報DB220内のペナルティカウントをインクリメントする(ステップS1605)。
つぎに、情報収集装置101は、ペナルティカウントが閾値α以上となったか否かを判断する(ステップS1606)。ここで、ペナルティカウントが閾値α未満の場合(ステップS1606:No)、情報収集装置101は、本フローチャートによる一連の処理を終了する。
一方、ペナルティカウントが閾値α以上の場合(ステップS1606:Yes)、情報収集装置101は、該当MACアドレスを含む歩きスマホ通知を作成する(ステップS1607)。そして、情報収集装置101は、作成した歩きスマホ通知を外部サーバ201に送信して(ステップS1608)、本フローチャートによる一連の処理を終了する。
なお、情報収集装置101は、外部サーバ201に歩きスマホ通知を送信した場合、該当MACアドレスを含む個体識別情報を個体識別情報DB220から削除することにしてもよい。
また、ステップS1601において、同一エリアに設置されていない場合(ステップS1601:No)、情報収集装置101は、該当MACアドレスを含む個体識別情報を個体識別情報DB220から削除する(ステップS1609)。
つぎに、情報収集装置101は、該当MACアドレスについての個体識別情報を個体識別情報DB220に新規登録する(ステップS1610)。そして、情報収集装置101は、新規登録した個体識別情報のペナルティカウントに「1」を設定して(ステップS1611)、本フローチャートによる一連の処理を終了する。
これにより、歩きスマホ禁止エリアAにおいて複数回歩きスマホをしたユーザの端末装置TjのMACアドレスを外部サーバ201に通知することができる。
つぎに、図15に示したステップS1504の個体識別処理の具体的な処理手順について説明する。
図17は、個体識別処理の具体的処理手順を示すフローチャートである。図17のフローチャートにおいて、まず、情報収集装置101は、撮像画像に含まれるディスプレイ406の領域R0の画像を解析することにより、基準色の色情報を特定する(ステップS1701)。
そして、情報収集装置101は、特定した基準色の色情報と特定の色情報との誤差を算出する(ステップS1702)。つぎに、情報収集装置101は、撮像画像に含まれるディスプレイ406の領域R1〜R4の画像を解析することにより、グループG1〜G4の基本色の色情報を特定する(ステップS1703)。
そして、情報収集装置101は、算出した基準色の色情報と特定の色情報との誤差に基づいて、特定したグループG1〜G4の基本色の色情報を補正する(ステップS1704)。つぎに、情報収集装置101は、補正したグループG1〜G4の基本色の色情報が示すRGBの各色の階調を上記式(2)に代入して得られる数値を16進数に変換し、変換後の数値を連結することにより、端末装置TjのMACアドレスを特定して(ステップS1705)、個体識別処理を呼び出したステップに戻る。
これにより、歩きスマホ禁止エリアAでディスプレイ406が表示された状態となっている端末装置TjのMACアドレスを特定することができる。
以上説明したように、実施の形態2にかかる端末装置Tjによれば、ディスプレイ406内の予め決められた領域R0に、特定の色情報の画像を表示することができる。また、端末装置Tjによれば、ディスプレイ406内の予め決められた各領域R1〜R4に、端末装置TjのMACアドレスを3桁ごとに区切って分割した各値を10進数に変換して得られる色情報の画像をそれぞれ表示することができる。
これにより、端末装置Tjを識別可能な画像をディスプレイ406上に表示することができる。また、MACアドレスを色情報に変換することにより、ディスプレイ406に個体識別情報を表示させていることをユーザに意識させないようにしつつ、人の目でMACアドレスが特定されることを防ぐことができる。
また、実施の形態2にかかる情報収集装置101によれば、監視カメラCiにより撮像された撮像画像に含まれる端末装置Tjのディスプレイ406を検出し、検出したディスプレイ406の表示態様に基づいて、端末装置TjのMACアドレスを特定することができる。具体的には、例えば、情報収集装置101は、ディスプレイ406内の予め決められた各領域R1〜R4の画像を解析して得られるグループG1〜G4の基本色の色情報に基づいて、端末装置TjのMACアドレスを特定することができる。
これにより、歩きスマホ禁止エリアAでディスプレイ406が表示された状態となっている端末装置TjのMACアドレスを特定することができる。
また、情報収集装置101によれば、ディスプレイ406内の予め決められた領域R0の画像を解析して得られる色情報と特定の色情報との誤差に基づいて、各領域R1〜R4の画像を解析して得られる色情報を補正することができる。これにより、撮像時の光の加減などにより生じる実際の色との誤差を補正することができ、より正確に端末装置TjのMACアドレスを特定することができる。
また、情報収集装置101によれば、特定したMACアドレスにより識別される端末装置Tjが、歩きスマホ禁止エリアAにおいてディスプレイ406が表示された状態で移動したか否かを判定することができる。具体的には、例えば、情報収集装置101は、端末装置Tjのディスプレイ406を含む撮像画像についての、当該撮像画像を撮像した監視カメラCiのカメラ情報と、当該撮像画像の撮像タイミングとに基づいて、ディスプレイ406が表示された状態で移動したか否かを判定することができる。
これにより、歩きスマホ禁止エリアAにおいて歩きスマホをしている可能性が高いユーザの端末装置TjのMACアドレスを特定することができる。
また、情報収集装置101によれば、ディスプレイ406が表示された状態で移動したと判定した回数(ペナルティカウント)が閾値α以上となった場合に、特定したMACアドレスを含む歩きスマホ通知を外部サーバ201に送信することができる。
これにより、歩きスマホ禁止エリアAにおいて歩きスマホをした可能性が高いユーザの端末装置TjのMACアドレスを外部サーバ201に通知することができる。
これらのことから、実施の形態2にかかる情報収集システム200によれば、駅構内などの人が集まる場所で歩きスマホをしたユーザを特定することが可能となる。また、キャリア(電気通信事業者)や警察などが、そのユーザに対して何らかの罰則を与えることで歩きスマホを抑止することが可能となり、駅のホームでの転落事故や衝突事故を防ぐことができる。
なお、本実施の形態で説明した情報収集方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本情報収集プログラムは、ハードディスク、フレキシブルディスク、CD−ROM、MO、DVD等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、本情報収集プログラムは、インターネット等のネットワークを介して配布してもよい。
上述した実施の形態に関し、さらに以下の付記を開示する。
(付記1)コンピュータに、
それぞれ異なる領域を撮像範囲とする複数の撮像装置により撮像された撮像画像と、当該撮像画像の撮像タイミングと、を取得し、
取得した前記撮像画像に含まれる、端末装置の表示画面を検出し、
検出した前記表示画面の表示態様に基づいて、検出した前記表示画面に対応する端末装置を特定し、
特定した前記端末装置の表示画面を撮像範囲に含む撮像画像についての、当該撮像画像を撮像した撮像装置の情報と、当該撮像画像の撮像タイミングと、に基づいて、表示画面が表示された状態で移動したと判定される、特定した前記端末装置の識別情報を記憶部に記憶する、
処理を実行させることを特徴とする情報収集プログラム。
(付記2)端末装置の表示画面が表示された状態となると、当該端末装置を識別する複数桁の数値を所定の桁位置で区切って分割した各値を変換して得られる色情報の画像が、前記端末装置の表示画面内のそれぞれ対応する領域に表示され、
前記特定する処理は、
検出した前記表示画面内の予め決められた各領域の画像を解析して得られる色情報に基づいて、検出した前記表示画面に対応する端末装置を特定することを特徴とする付記1に記載の情報収集プログラム。
(付記3)端末装置の表示画面が表示された状態となると、さらに、当該端末装置の表示画面内の特定の領域に特定の色情報の画像が表示され、
前記コンピュータに、
検出した前記表示画面内の特定の領域の画像を解析して得られる色情報と前記特定の色情報との誤差に基づいて、前記各領域の画像を解析して得られる色情報を補正する、処理を実行させ、
前記特定する処理は、
補正した前記各領域の色情報に基づいて、検出した前記表示画面に対応する端末装置を特定することを特徴とする付記2に記載の情報収集プログラム。
(付記4)前記コンピュータに、
特定した前記端末装置の表示画面を撮像範囲に含む2つの撮像画像を撮像した撮像装置が異なり、かつ、前記2つの撮像画像の撮像タイミングの時間間隔が所定範囲内であれば、特定した前記端末装置が、表示画面が表示された状態で移動したと判定する、処理を実行させることを特徴とする付記1〜3のいずれか一つに記載の情報収集プログラム。
(付記5)前記コンピュータに、
特定した前記端末装置が移動したと判定した回数が所定回数以上となった場合に、特定した前記端末装置の識別情報を外部装置に通知する、処理を実行させることを特徴とする付記4に記載の情報収集プログラム。
(付記6)コンピュータが、
それぞれ異なる領域を撮像範囲とする複数の撮像装置により撮像された撮像画像と、当該撮像画像の撮像タイミングと、を取得し、
取得した前記撮像画像に含まれる、端末装置の表示画面を検出し、
検出した前記表示画面の表示態様に基づいて、検出した前記表示画面に対応する端末装置を特定し、
特定した前記端末装置の表示画面を撮像範囲に含む撮像画像についての、当該撮像画像を撮像した撮像装置の情報と、当該撮像画像の撮像タイミングと、に基づいて、表示画面が表示された状態で移動したと判定される、特定した前記端末装置の識別情報を記憶部に記憶する、
処理を実行することを特徴とする情報収集方法。
(付記7)それぞれ異なる領域を撮像範囲とする複数の撮像装置により撮像された撮像画像と、当該撮像画像の撮像タイミングと、を取得し、
取得した前記撮像画像に含まれる、端末装置の表示画面を検出し、
検出した前記表示画面の表示態様に基づいて、検出した前記表示画面に対応する端末装置を特定し、
特定した前記端末装置の表示画面を撮像範囲に含む撮像画像についての、当該撮像画像を撮像した撮像装置の情報と、当該撮像画像の撮像タイミングと、に基づいて、表示画面が表示された状態で移動したと判定される、特定した前記端末装置の識別情報を記憶部に記憶する、
制御部を有することを特徴とする情報収集装置。
101 情報収集装置
102,T1〜Tm,Tj 端末装置
103,104 撮像装置
140 記憶部
200 情報収集システム
201 外部サーバ
220 個体識別情報DB
230 カメラ情報DB
1001 取得部
1002 検出部
1003 特定部
1004 判定部
1005 出力部
1300 歩きスマホ通知
1400 警告メール
C1〜Cn,Ci 監視カメラ

Claims (6)

  1. コンピュータに、
    それぞれ異なる領域を撮像範囲とする複数の撮像装置により撮像された撮像画像と、当該撮像画像の撮像タイミングと、を取得し、
    取得した前記撮像画像に含まれる、端末装置の表示画面を検出し、
    検出した前記表示画面の表示態様に基づいて、検出した前記表示画面に対応する端末装置を特定し、
    特定した前記端末装置の表示画面を撮像範囲に含む撮像画像についての、当該撮像画像を撮像した撮像装置の情報と、当該撮像画像の撮像タイミングと、に基づいて、表示画面が表示された状態で移動したと判定される、特定した前記端末装置の識別情報を記憶部に記憶する、
    処理を実行させることを特徴とする情報収集プログラム。
  2. 端末装置の表示画面が表示された状態となると、当該端末装置を識別する複数桁の数値を所定の桁位置で区切って分割した各値を変換して得られる色情報の画像が、前記端末装置の表示画面内のそれぞれ対応する領域に表示され、
    前記特定する処理は、
    検出した前記表示画面内の予め決められた各領域の画像を解析して得られる色情報に基づいて、検出した前記表示画面に対応する端末装置を特定することを特徴とする請求項1に記載の情報収集プログラム。
  3. 端末装置の表示画面が表示された状態となると、さらに、当該端末装置の表示画面内の特定の領域に特定の色情報の画像が表示され、
    前記コンピュータに、
    検出した前記表示画面内の特定の領域の画像を解析して得られる色情報と前記特定の色情報との誤差に基づいて、前記各領域の画像を解析して得られる色情報を補正する、処理を実行させ、
    前記特定する処理は、
    補正した前記各領域の色情報に基づいて、検出した前記表示画面に対応する端末装置を特定することを特徴とする請求項2に記載の情報収集プログラム。
  4. 前記コンピュータに、
    特定した前記端末装置の表示画面を撮像範囲に含む2つの撮像画像を撮像した撮像装置が異なり、かつ、前記2つの撮像画像の撮像タイミングの時間間隔が所定範囲内であれば、特定した前記端末装置が、表示画面が表示された状態で移動したと判定する、処理を実行させることを特徴とする請求項1〜3のいずれか一つに記載の情報収集プログラム。
  5. コンピュータが、
    それぞれ異なる領域を撮像範囲とする複数の撮像装置により撮像された撮像画像と、当該撮像画像の撮像タイミングと、を取得し、
    取得した前記撮像画像に含まれる、端末装置の表示画面を検出し、
    検出した前記表示画面の表示態様に基づいて、検出した前記表示画面に対応する端末装置を特定し、
    特定した前記端末装置の表示画面を撮像範囲に含む撮像画像についての、当該撮像画像を撮像した撮像装置の情報と、当該撮像画像の撮像タイミングと、に基づいて、表示画面が表示された状態で移動したと判定される、特定した前記端末装置の識別情報を記憶部に記憶する、
    処理を実行することを特徴とする情報収集方法。
  6. それぞれ異なる領域を撮像範囲とする複数の撮像装置により撮像された撮像画像と、当該撮像画像の撮像タイミングと、を取得し、
    取得した前記撮像画像に含まれる、端末装置の表示画面を検出し、
    検出した前記表示画面の表示態様に基づいて、検出した前記表示画面に対応する端末装置を特定し、
    特定した前記端末装置の表示画面を撮像範囲に含む撮像画像についての、当該撮像画像を撮像した撮像装置の情報と、当該撮像画像の撮像タイミングと、に基づいて、表示画面が表示された状態で移動したと判定される、特定した前記端末装置の識別情報を記憶部に記憶する、
    制御部を有することを特徴とする情報収集装置。
JP2015074333A 2015-03-31 2015-03-31 情報収集プログラム、情報収集方法、および情報収集装置 Active JP6492890B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015074333A JP6492890B2 (ja) 2015-03-31 2015-03-31 情報収集プログラム、情報収集方法、および情報収集装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015074333A JP6492890B2 (ja) 2015-03-31 2015-03-31 情報収集プログラム、情報収集方法、および情報収集装置

Publications (2)

Publication Number Publication Date
JP2016194809A JP2016194809A (ja) 2016-11-17
JP6492890B2 true JP6492890B2 (ja) 2019-04-03

Family

ID=57323744

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015074333A Active JP6492890B2 (ja) 2015-03-31 2015-03-31 情報収集プログラム、情報収集方法、および情報収集装置

Country Status (1)

Country Link
JP (1) JP6492890B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7240182B2 (ja) * 2019-01-16 2023-03-15 株式会社京三製作所 交差点警告システム
CN113853158B (zh) * 2019-07-22 2024-05-14 松下知识产权经营株式会社 步行功能评价装置、步行功能评价系统、步行功能评价方法、记录介质及认知功能评价装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003006077A (ja) * 2001-06-06 2003-01-10 Colorzip Media Inc コードイメージを用いたネットワークサービスシステム及びその方法
JP2002369024A (ja) * 2001-06-11 2002-12-20 Hitachi Ltd 画像作成システム及び画像配信方法
JP4937016B2 (ja) * 2007-07-09 2012-05-23 三菱電機株式会社 監視装置及び監視方法及びプログラム
JP5457985B2 (ja) * 2010-09-17 2014-04-02 株式会社日立製作所 カメラ管理装置、ネットワークカメラシステム、ネットワークカメラ制御方法、ネットワーク機器制御方法
JP5933498B2 (ja) * 2013-09-17 2016-06-08 ソフトバンク株式会社 端末、制御方法及び制御プログラム
JP2015228131A (ja) * 2014-05-30 2015-12-17 東芝テック株式会社 情報処理装置および報知システム

Also Published As

Publication number Publication date
JP2016194809A (ja) 2016-11-17

Similar Documents

Publication Publication Date Title
US20090303329A1 (en) Object image displaying system
US20030231787A1 (en) Monitoring system and monitoring method
JP5851261B2 (ja) 画像センサシステム、情報処理装置、情報処理方法及びプログラム
CN111104610B (zh) 一种社区人口大数据的可视化管理系统和方法
JP6492890B2 (ja) 情報収集プログラム、情報収集方法、および情報収集装置
CN111489342A (zh) 一种基于视频的火焰检测方法、系统及可读存储介质
US20150341569A1 (en) Image switching apparatus, image switching system, and image switching method
KR20170001223A (ko) 정보 추출 시스템, 정보 추출 장치, 그의 정보 추출 방법 및 비일시적 컴퓨터 판독가능 기록매체
CN107547839A (zh) 基于图像分析的远程控制平台
CN105933676B (zh) 基于图像分析的远程控制平台
WO2018097384A1 (ko) 밀집도 알림 장치 및 방법
CN108419045B (zh) 一种基于红外热成像技术的监控方法及装置
CN113853158B (zh) 步行功能评价装置、步行功能评价系统、步行功能评价方法、记录介质及认知功能评价装置
CN110505438A (zh) 一种排队数据的获取方法和摄像机
CN108362382A (zh) 一种热成像监控方法及其监控系统
CN105095824B (zh) 一种信息码的识别控制方法及装置
JP5142416B2 (ja) 物体検出装置
CN110717941B (zh) 图像物件追踪系统及方法
CN106454509A (zh) 一种广告图像的检测方法及装置
CN105905727A (zh) 一种多功能电梯安全控制方法
WO2018105181A1 (ja) 画像処理プログラム、色ラベル、検知装置、画像処理装置、画像処理方法および画像処理システム
CN106998464B (zh) 检测视频图像中刺状噪声的方法及装置
KR20190028016A (ko) 댁내를 모니터링하는 장치, 방법 및 컴퓨터 프로그램
KR102588413B1 (ko) 히트맵을 생성하는 장치 및 방법
CN110796826A (zh) 一种用于识别烟雾火焰的报警方法及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190218

R150 Certificate of patent or registration of utility model

Ref document number: 6492890

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150