JP6572218B2 - 危険検出装置、危険検出方法、及び危険検出プログラム - Google Patents

危険検出装置、危険検出方法、及び危険検出プログラム Download PDF

Info

Publication number
JP6572218B2
JP6572218B2 JP2016539837A JP2016539837A JP6572218B2 JP 6572218 B2 JP6572218 B2 JP 6572218B2 JP 2016539837 A JP2016539837 A JP 2016539837A JP 2016539837 A JP2016539837 A JP 2016539837A JP 6572218 B2 JP6572218 B2 JP 6572218B2
Authority
JP
Japan
Prior art keywords
danger
risk
record
term
category
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016539837A
Other languages
English (en)
Other versions
JPWO2016021160A1 (ja
Inventor
雅史 西谷
雅史 西谷
敦 古畠
敦 古畠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
A'S CHILD INC.
Original Assignee
A'S CHILD INC.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by A'S CHILD INC. filed Critical A'S CHILD INC.
Publication of JPWO2016021160A1 publication Critical patent/JPWO2016021160A1/ja
Application granted granted Critical
Publication of JP6572218B2 publication Critical patent/JP6572218B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01Social networking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Operations Research (AREA)
  • Information Transfer Between Computers (AREA)

Description

本発明は、危険検出装置、危険検出方法、及び危険検出プログラムに関し、より詳細には、登録者のインターネット上での危険を検出するための危険検出装置、危険検出方法、及び危険検出プログラムに関する。
近年、モバイル端末などの情報機器の普及が情報通信網の発展とともに急速に進み、インターネットの利用が大幅に広がっている。このような状況の中、インターネットの利用は、子供にも広く普及している。
他方で、情報リテラシーの高くない人々、特に若年の子供が、インターネット上でトラブルに巻き込まれる事例も目立つようになり、子供が用いる情報機器に対し、フィルタリング、アクセス制限等の機能制限を課す家庭も少なくない。トラブルの例としては、たとえば、掲示板への誹謗中傷等の書き込み、出会い系サイトにおける被害等が挙げられる。
特許文献1は、アクセス制限の例であり、子供にも通信端末を使用することは認めたいが、それにより有害なコンテンツが子供の目に触れるようなことは防ぎたいという要望を背景に発明された、ネットワーク上のリソースに対するアクセスを簡易な構成で適切に規制することのできる携帯電話機が記載されている。
図1を参照して説明すると、携帯電話機40は、移動パケット通信網30およびインターネット20を介してコンテンツサーバ10A、10Bとパケット通信を行う機能を有しており、さらに、ペアレントロック機能を有する。ペアレントロック機能は、インターネット20上のコンテンツサーバ10A、10B等が提供するサイトに対する携帯電話機40のアクセスを制限する機能であって、携帯電話機40の使用者が未成年者・子供等である場合に、親等の保護者が予め携帯電話機40のメモリに登録しておいたサイトにしか携帯電話機40がアクセスできないようにする機能である。
特開2003−186842号公報
しかしながら、現在、子供にとっても、インターネットの利用は社会生活を営む上で必須とも言えるものになりつつあり、機能制限を課すことは、長期的には現実的な解ではない。今後、インターネット利用が進む傾向が逆行することも考えにくいため、仮に、ある家庭において子供のインターネット利用を制限しても、その子供の周囲での利用までも制限できるものではなく、掲示板への悪意のある書き込み、いじめ等のトラブルに巻き込まれるおそれが依然としてある。
たとえば、いじめは、その対象となってしまった子供は親に言うことができず、親の知らないところで苦しんでいる場合も少なくなく、早期の発見が重要である。
本発明は、このような問題点に鑑みてなされたものであり、その目的は、子供等へのインターネット利用を許容しつつ、インターネット利用に伴い危険に晒されることを抑制することのできる危険検出装置、危険検出方法及び危険検出プログラムを提供することにある。
ここで、本明細書において「危険」とは、危害または損失が生じるおそれがある状況を意味し、危害または損失が現に生じている状況も、さらなる危害または損失が生じるおそれがある状況にあるという意味で、「危険」に包含される。
このような目的を達成するために、本発明の第1の態様は、登録者のインターネット上での危険を検出するための危険検出装置であって、危険を示す用語を記憶した危険用語辞書に含まれる危険用語に基づいて、前記登録者の生活に伴い発生する電子データである生活データをレコードごとに記憶した生活データ・データベース内のレコードを特定する特定部と、前記特定部により特定されたレコードの内容を代替する代替情報を判定する判定部と、判定された前記代替情報を通知する通知部とを含むことを特徴とする。
また、本発明の第2の態様は、第1の態様において、前記通知は、特定された前記レコードの内容をそのまま通知することなく行うことを特徴とする。
また、本発明の第3の態様は、第1又は第2の態様において、前記特定部は、前記生活データ・データベース内のレコードの1又は複数の形態素をキーとして、前記危険用語辞書に含まれる危険用語が識別される場合に、前記レコードを特定することを特徴とする。
また、本発明の第4の態様は、第1又は第2の態様において、前記特定部は、前記危険用語辞書に含まれる1又は複数の危険用語をキーとして、前記生活データ・データベースに含まれるレコードが識別される場合に、前記レコードを特定することを特徴とする。
また、本発明の第5の態様は、第3又は第4の態様において、前記危険用語辞書は、各危険用語の危険度を表すスコアを含むことを特徴とする。
また、本発明の第6の態様は、第5の態様において、前記特定部は、前記生活データ・データベース内のレコードに含まれる1又は複数の危険用語のそれぞれが有するスコアの合計値が所定値以上である場合に、前記レコードを特定することを特徴とする。
また、本発明の第7の態様は、第1から第6のいずれかの態様において、前記登録者は子供であることを特徴とする。
また、本発明の第8の態様は、第7の態様において、前記通知は、前記登録者の保護者に対して通知することを含むことを特徴とする。
また、本発明の第9の態様は、第1から第8のいずれかの態様において、前記生活データは、SNSへの投稿、掲示板への書き込み、及びダイレクトメッセージのいずれかであることを特徴とする。
また、本発明の第10の態様は、第1から第9の態様において、前記代替情報は、特定された前記レコードの内容に対応する、前記レコードが表す可能性のある危険の区分であるカテゴリーを含むことを特徴とする。
また、本発明の第11の態様は、第10の態様において、前記危険用語辞書は、各危険用語がカテゴリー毎に分類されており、前記判定部は、特定された前記レコードに含まれる危険用語のカテゴリーを前記代替情報として割り当てることを特徴とする。
また、本発明の第12の態様は、第10の態様において、前記危険用語辞書は、各危険用語が複数のカテゴリーに分類されており、かつ、カテゴリーに応じてスコアが与えられており、前記判定部は、特定された前記レコードに含まれる1又は複数の危険用語のそれぞれが有するスコアの合計値が大きい方のカテゴリーを前記代替情報として割り当てることを特徴とする。
また、本発明の第13の態様は、第10の態様において、前記判定部は、特定された前記レコードから、主体、客体、及び行為を抽出し、抽出された前記主体、前記客体、及び前記行為に基づいて、前記レコードに対応する前記カテゴリーを前記代替情報として割り当てることを特徴とする。
また、本発明の第14の態様は、第13の態様において、前記割り当ては、主体、客体及び行為を入力、カテゴリーを出力とする、予め定義された割当関数により行うことを特徴とする。
また、本発明の第15の態様は、第13又は第14の態様において、前記抽出は、形態素解析により行うことを特徴とする。
また、本発明の第16の態様は、第1から第15のいずれかの態様において、前記代替情報は、特定された前記レコードに含まれる危険用語を含む例文を含むことを特徴とする。
また、本発明の第17の態様は、第16の態様において、前記特定部は、特定された前記レコードに含まれる1又は複数の危険用語を前記判定部に提供し、前記判定部は、前記1又は複数の危険用語のそれぞれが有するスコアの合計値に基づいて、複数用意された例文のうちの1つの例文を選択することを特徴とする。
また、本発明の第18の態様は、第16の態様において、前記危険用語辞書は、各危険用語が複数のカテゴリーに分類されており、かつ、カテゴリーに応じてスコアが与えられており、前記特定部は、特定された前記レコードに含まれる1又は複数の危険用語を前記判定部に提供し、前記判定部は、前記1又は複数の危険用語のそれぞれが有するスコアの合計値のうち大きい方の合計値に基づいて、複数用意された例文のうちの1つの例文を選択することを特徴とする。
また、本発明の第19の態様は、第16から第18のいずれかの態様において、前記代替情報は、特定された前記レコードに含まれる危険用語に関連づけられた参考事例を含むことを特徴とする。
また、本発明の第20の態様は、第1から第19のいずれかの態様において、前記通知は、前記代替情報に加えて、特定された前記レコードに含まれる危険用語、生活データの取得元、及び生活データが発生した日時のうちの少なくとも1つを通知することを特徴とする。
また、本発明の第21の態様は、第1から第20のいずれかの態様において、前記レコードは、ダイレクトメッセージであり、前記通知は、前記ダイレクトメッセージの相手方を通知することを特徴とする。
また、本発明の第22の態様は、第1から第21のいずれかの態様において、危険用語のスコアに応じて、前記代替情報の表示態様を変更することを特徴とする。
また、本発明の第23の態様は、第1から第22のいずれかの態様において、前記登録者は、前記代替情報の通知を受けることができることを特徴とする。
また、本発明の第24の態様は、登録者のインターネット上での危険を検出するための危険検出方法であって、危険を示す用語を記憶した危険用語辞書に含まれる危険用語に基づいて、前記登録者の生活に伴い発生する電子データである生活データをレコードごとに記憶した生活データ・データベース内のレコードを特定するステップと、前記特定部により特定されたレコードの内容を代替する代替情報を判定するステップと、判定された前記代替情報を通知するステップとを含むことを特徴とする。
また、本発明の第25の態様は、コンピュータに、登録者のインターネット上での危険を検出するための危険検出方法を実行させるための危険検出プログラムであって、前記危険検出方法は、危険を示す用語を記憶した危険用語辞書に含まれる危険用語に基づいて、前記登録者の生活に伴い発生する電子データである生活データをレコードごとに記憶した生活データ・データベース内のレコードを特定するステップと、前記特定部により特定されたレコードの内容を代替する代替情報を判定するステップと、判定された前記代替情報を通知するステップとを含むことを特徴とする。
本発明によれば、登録者のインターネット上での危険を検出するための危険検出装置において、危険を示す用語を記憶した危険用語辞書に含まれる危険用語に基づいて生活データのレコードを特定し、特定されたレコードの内容を代替する代替情報によって、登録者に関する危険の存在を通知することによって、登録者のプライバシーに配慮し、登録者の抵抗感を大幅に下げつつ、早期に危険検出を行うことができる。
アクセス制限機能を有する従来の携帯電話機を説明するための図である。 本発明の第1の実施形態にかかる危険検出装置を示す図である。 本発明の第1の実施形態にかかるウェブブラウザへの表示の一例である。 本発明の第4の実施形態にかかる生活データに基づくレーダーチャートを示す図である。
以下、図面を参照して本発明の実施形態を詳細に説明する。
(第1の実施形態)
図2に、本発明の第1の実施形態にかかる危険検出装置を示す。危険検出装置200は、保護者により登録された子供等の予め登録された登録者のインターネット上での危険を検出するための装置であり、危険を示す用語を記憶した危険用語辞書201に含まれる危険用語をキーとして、登録者の生活に伴い発生する電子データである生活データをレコードごとに記憶した生活データ・データベース(DB)202に含まれるレコードを識別して特定する特定部210と、特定された生活データ・データベース202内のレコードの内容を代替する代替情報を判定する判定部220と、判定された代替情報を通知する通知部230とを備える。
登録者の登録は、たとえば、危険検出装置200上で動作するウェブサイトにインターネットを介してアクセスして、行うことができる。
危険用語辞書201は、危険の区分であるカテゴリー毎に分類することができる。カテゴリーとしては、いじめ、青少年系犯罪(あるいは少年の福祉を害する犯罪(福祉犯))等が挙げられる。いじめカテゴリーには、暴力・悪口・不当な要求・無視・いやがらせ等のサブカテゴリーを作成してもよい。また、青少年系犯罪には、出会い系・薬物・わいせつ・未成年禁止行為・犯罪行為等のサブカテゴリーを作成してもよい。各用語には、当該用語が表す危険の危険度を示すパラメータ(スコア)を与えてもよく、このスコアは、同一用語であっても、その用語が属するカテゴリーないしサブカテゴリーに応じて異なっていてもよい。
生活データは「ライフログ」とも呼ぶことができる。生活データDB202は、たとえば、SNSから提供されているAPIを用いて、当該SNSへの投稿、当該SNS上でのダイレクトメッセージ等を生活データとして取得し、それぞれを1レコードとして格納することができる。生活データは、SNSに限らず、たとえばゲームプラットフォームから取得してもよい。さらに、生活データは、インターネット上の掲示板への書き込み、登録者が用いるモバイル端末等の情報機器上でローカルに存在する電子メール等のメッセージ等を含むことができる。インターネット上への書き込みは、登録者に関連する情報(名前、所属、位置情報、他サービスのアカウント名、特定キーワード等)、登録者に関連する人物(SNS、ウェブサービス上等で交流のある人物)の情報等を手掛かりに、掲示板上から該当する投稿データを探していくことができる。また、生活データは、スマートフォン等のOSが提供するAPIを用いて、スマホアプリがOSに通知するテキスト、画像、数値データ等を取得してもよい。OSに通知されるテキスト等の具体例としては、1対多、多対多のLINE(登録商標)等のチャットアプリにおけるグループメッセージが挙げられる。
生活データとしては、文字データのほか、ビジュアル・データ、オーディオ・データを含むことができる。ビジュアル・データには、動画及び画像が含まれる。
本実施形態にかかる危険検出装置は、特定されたレコードの内容をそのまま当該装置の利用者に通知してしまうのではなく、代替情報に代替して通知することによって、登録者のプライバシーに配慮し、登録者の抵抗感を大幅に下げることができる。子供を登録者、親等の保護者を利用者として考えた場合、子供の生活に伴い危険が生じている可能性があることを検出することができても、それに関連する投稿、会話、写真等を直接保護者に見せてしまうことは、子供のプライバシーを著しく損なう可能性がある。そこで、子供にも安心して保護者による本装置の利用を許容してもらうために、代替情報によって危険を示す。
また、一方的な保護者からの監視は、子供の反発を招くため、保護者だけが危険の検出結果を参照するのではなく、子供もまったく同じ情報を得ることを可能にしてもよい。このようにすることで、子供の納得感を高めることができる。
なお、特定部210は、危険用語辞書201に含まれる危険用語をキーとして識別を行うほか、生活データDB202内のレコードの1又は複数の形態素をキーとして、危険用語辞書201に含まれる危険用語が識別される場合に、当該レコードを特定することもでき、これらの態様のように、危険用語に基づいて、レコードを特定すればよい。
また、特定部210は、生活データDB202内のレコードに含まれる1又は複数の危険用語のそれぞれが有するスコアの合計値が所定値以上である場合に、当該レコードを特定してもよい。
判定部の詳細
判定部220は、特定部210において特定されたレコードが表す可能性のある危険の区分であるカテゴリーを、代替情報として判定することができる。
危険用語辞書201が、カテゴリー毎に分類されている場合には、判定部220は、特定されたレコードに含まれる危険用語が属するカテゴリー又はサブカテゴリーを代替情報として割り当てることができる。
各危険用語が複数のカテゴリーに分類されており、また、カテゴリーに応じてスコアが与えられている場合には、判定部220は、特定されたレコードに含まれる1又は複数の危険用語のそれぞれが有するスコアの合計値が大きい方のカテゴリーを代替情報として割り当てることができる。
あるいは、判定部220は、特定されたレコードから、主体、客体、及び行為を抽出し、抽出された主体、客体、及び行為に基づいて、当該レコードに対応するカテゴリーを代替情報として割り当てるができる。より具体的には、抽出された主体、客体、及び行為とその関係性から、文が表現する事象を要約し、あらかじめ構築されたカテゴリー情報を付与した要約文リストと比較することで、当該レコードに対応するカテゴリーを代替情報として割り当てるができる。この際、主体、客体、及び行為の抽出に関しては形態素解析を行い、関係性については係り受け分析を行うことができる。文章が長い場合などで、主体、客体、及び行為の要素が複数となる場合は危険用語辞書と比較し、係り受けの関係性を踏まえた上で注目すべき要素を優先して抽出することができる。主体等の抽出は、形態素解析により行うことができる。
生活データが画像データの場合には、危険用語辞書201を用いるのではなく、たとえば以下のように代替情報の判定を行うことができる。
まず、画像データに付与されているメタ情報(投稿ユーザ/タイトル/コメント/付加された位置情報等)から推定されるシチュエーション(集合写真/海水浴/自室等)を特定する。
また、顔認識処理を実施し、画像内の人物が分析対象の本人か否かを判断し、タグ情報として追加する。
次に、シチュエーションごとにカスタマイズされた分析ロジックにより、画像に含まれる要素((若い)女性、水着、浜辺、夕方等)を特定し、当該要素の普通名詞等をタグ情報として追加する。
ここで、シチュエーションごとのカスタマイズとは、たとえば、海水浴であれば青、肌色、白等に強い重み付けを与えることなど、ロジックの判定に使用する値、場合によってはロジックそのものをカスタマイズすることをいう。
最後に、事前に危険状況を示す文章(「若い女性が浜辺で水着を着て自画撮りをしている」等)と、その文章に対して危険度の基準スコアを用意しておき、追加されたタグ情報と、当該危険状況を示す文章の一致度で、画像の示す可能性のある危険状況を判断する。たとえば、危険状況を示す文章に含まれる形態素とタグ情報との一致の数に基づいて、一致度を算定してもよい。その際、危険度の基準スコアを利用し、危険度の高低を判断する。文字データと同様に、危険度が所定値以上である場合に通知をしてもよいし、危険状況を示す文章が複数用意されている場合には危険度の高い方の文章を代替情報としてもよい。
動画解析の場合は、動画中の音声データに関し、既存のテキスト化技術を利用してテキスト化して前記メタ情報に加えることができる。動画に対し、画像分析を連続して行うことで動画分析を実現することができる。
通知部の詳細
通知部230は、代替情報を本装置の利用者に通知するが、たとえば、利用者が本装置上或は本装置に関連して動作するウェブサイトにアクセスした際に、ウェブブラウザに表示することにより通知を行うことができる。
図3に、本実施形態にかかるウェブブラウザへの表示の一例を示す。ウェブブラウザ300には、アラートリストとして、検出された危険を一覧表示することができる。注目単語として、レコードに含まれる危険単語、カテゴリーとして、判定した代替情報、日時として、生活データの発生日時、やりとり対象として、生活データがダイレクトメッセージ、チャットアプリのグループメッセージなどである場合には相手方等を表示することができる。Twitter(登録商標)、Facebook(登録商標)等の生活データの取得元も表示することができる。
交通機関系カードの利用データも取得しておくことで、危険が発生した際の付加情報として、たとえば生活データの発生日時に最も近い日時における利用データに基づいて、利用交通手段で移動経路、場所等を通知することもできる。
危険用語辞書201内の用語に危険度を示すスコアが与えられている場合には、危険度に応じて、各アラート(レコード)の表示態様を変更することもできる。
(第2の実施形態)
本発明の第2の実施形態は、判定部220において判定される代替情報を除いて、第1の実施形態と同一である。
本実施形態では、判定部220において、特定部210にて特定されたレコードに含まれる危険用語を含む例文を代替情報として判定する。子供には子供の感性があり、親にはなかなか理解できない点で思い悩むことも少なくない。そこで、本実施形態では、危険を表す可能性のあるキーワード(単語)を含む、具体的な危険性を想起させるような例文を提示する。このようにすることにより、保護者に対し、早期に、かつ、子供の抵抗感を下げつつ危険の存在を通知するとともに、その危険の内容を確実に伝えることができる。
特定部210は、特定されたレコードに含まれる1又は複数の危険用語を判定部220に提供し、判定部220は、当該1又は複数の危険用語のそれぞれが有するスコアの合計値に基づいて、複数用意された例文のうちの1つの例文を選択することができる。
たとえば、危険用語「バカ」及び「消える」が、特定レコードに含まれる場合、「お前みたいなバカは今すぐこの世から消えろ。」(例文1)、「バカだ!今すぐ消えたい(^▽^;)」(例文2)等の複数の例文を予め用意しておき、スコアが所定値以上であれば、より高い危険を示す例文1、所定の値未満であれば、軽度の危険を示す例文2を示すようにすることができる。
例文は、すべての危険用語に対して用意しても、所定値以上のスコアを有する危険用語に対してのみ用意してもよい。上記の例では、「バカ」及び「消える」に対して例文が複数用意されており、レコードに含まれる「バカ」及び「消える」以外の危険用語の有無及びスコアの値に応じて、スコアの合計値が変動し、選択される例文が例文1となるか、例文2となるかが決定される。
特定部210における識別の際には、レコードに含まれる「消えろ」、「消えたい」は、終止形に変換してから比較を行うことができ、このようにすれば、危険用語辞書201には「消える」のみを記憶しておけばよい。
また、危険用語辞書201において、各危険用語が複数のカテゴリーに分類されており、かつ、カテゴリーに応じてスコアが与えられている場合には、判定部220は、特定部210から提供された1又は複数の危険用語のそれぞれが有するスコアの合計値のうち大きい方の合計値に基づいて、複数用意された例文のうちの1つの例文を選択してもよい合計値が同一の値のときは、デフォルトで決めてもよいし、危険用語数の多い方としてもよい。
さらに、当該キーワードに関連づけられた過去の参考事例、対処方法の例等の追加情報をあわせて表示することによって、一層確実な内容伝達が可能となる。たとえば、危険検出装置200を提供する会社の自社コンテンツ(ブログなど)の提示、ネット上の関連コンテンツ(ニュース記事、動画、他社ブログ等)のリンクの提示等を行うことができる。
(第3の実施形態)
本発明の第3の実施形態は、判定部220における判定対象となるレコードが複数の危険用語を含む場合の判定処理の詳細に関する。
本実施形態では、判定部220において、特定部210にて特定されたレコードに含まれる複数の危険用語に基づいてカテゴリーを判定する。この場合、危険用語辞書201は、各組の危険用語が、レコードが表す可能性のある危険の区分であるカテゴリー毎に分類されることになる。たとえば、「学校」及び「来る」が特定されたレコードに含まれる場合、必ずしもこのレコードが表す危険は分からないが、さらに「迷惑」が含まれていると、「迷惑だから学校くるな!」といったいじめの危険性を精度良く判定することが可能となる。
レコードがチャットアプリなどにおける対話形式のメッセージの場合、1メッセージのみでは十分な情報が得られないこともある。こうした対話は短いやりとりが続く傾向にあり、一連のメッセージをみないと文脈が分からないのである。そこで、数分間等、所定の期間内の複数のメッセージを1つの話題、一連の会話(以下「トークセット」ともいう。)として扱うことによって、判定精度を高めることができる。
危険用語辞書201に記憶される各組の危険用語には、複数の危険用語を含むメッセージ(以下「サンプルメッセージ」ともいう。)、トークセット(以下「サンプルトークセット」ともいう。)などを事前に分析して、対応するカテゴリーを割り当てておけばよい。トークセットについては、その中に含まれる危険用語に加えて、その会話構造の特徴も記憶しておくことができる。たとえば、「A 学校来ないで。」「B なんで?」「A 迷惑だから。」という会話構造の特徴も「学校」、「来る」(終止形)、「迷惑」に加えて記憶しておくことができる。判定対象のレコードとサンプルメッセージ又はサンプルトークとの一致度を一致する危険用語の数、会話構造等に依拠して決定し、一致度の高いものに与えられたカテゴリーを代替情報とすることができる。
画像や動画の投稿も1つのメッセージのまとまりとして扱い、一連の会話と画像・動画を組み合わせて分析を行うこともできる。
(第4の実施形態)
第1乃至第3の実施形態では日本語を例に説明してきたが、本発明は、レコードの内容がその他の言語によって記述されていても適用可能である。その際、文字データの記載内容、画像データのメタ情報の記載内容等に基づいて言語を推測して、危険用語辞書201を、日本語等の第1の言語用のものからその他の第2の言語用のものに切り換えることができる。言語の推測は、スマートフォン、タブレットなどのユーザー端末の表示言語設定、キーボード・音声等の入力言語設定、画像のEXIF情報等のメタ情報から判断される位置情報等を用いて行うこともできる。
同様に、同一言語内の方言に応じた切り換えも行うことができる。各方言の特徴を表す用語を記憶した方言辞書を設け、当該方言辞書に含まれる危険用語に基づいて方言を推測して、危険用語辞書201を、日本語の標準語等の第1の方言用のものから大阪弁等の第2の方言用のものに切り換えることができる。たとえば「アホ」の意味合いが関東と関西では異なることが知られており、同一のスコアリングを用いることは必ずしも適切ではない。
(第5の実施形態)
子供を抱える学校は、生徒のスマートフォン、SNSなどの利用実態を把握することを望んでいる。本実施形態にかかる危険検出装置200は、判定部220の一部として、あるいは別の機能として登録部(図示せず)を有し、判定された代替情報を生活データDB202に対応するレコードと関連づけて登録する。このようにして蓄積された分析済みの生活データは、さまざまな学校向けのレポーティングに活用することが可能である。
たとえば、各生徒を危険検出装置200に登録しておき、複数の生徒の利用実態を匿名化して、分析済みの生活データからサマリーデータを生成することができる。カテゴリー毎の発生件数、学年別の発生件数、学期・年度等の期間別の発生件数等のデータを生成することができる。
カテゴリー(サブカテゴリー)別の発生件数は、たとえば図4に示すようにレーダーチャートとしてユーザー端末のウェブブラウザなどに表示させることができる。レーダーチャートには、他校のデータ、特定の地域の平均データなどもあわせて表示することができる。発生件数は、図示のように3段階、5段階等に段階的に頻度を表してもよい。
レーダ―チャート上の各カテゴリーはクリッカブルとすることができ、ユーザーがクリック又はタップしたことに応じて、各カテゴリーに関連づけられた過去の参考事例、対処方法の例等の追加情報を表示することができる。たとえば、炎上については、「弁護士に連絡して予防策、対策を打ちましょう。」といった助言を表示し、また、相談可能な連絡先を提示することが挙げられる。
また、時間的な推移を知るために、時系列データとして表示させることも可能である。このようにすることで、従来の単発のアンケートとは異なり、利用実態を継続的に把握することが容易になる。
その他のデータとしては、各生徒の1日のメッセージング回数、1日のアクティブ回数、SNSの友達数等も生活データ内のレコードを分析することが算出が可能であり、あわせて表示することができる。
ここでは、学校向けのレポーティングについて説明したが、スマートフォンの利用実態をマーケティングに活用したい事業会社向けに行う場合にも同様である。
(第6の実施形態)
主に生活データをレコードごとに記憶した生活データDB202を用いる例で説明をするが、SNS、ゲームプラットフォーム、掲示板サイトなどの生活データを受け取る事業者自体のコンピュータを危険検出装置として機能させることもできる。この場合には、受け取った生活データを一度生活データDB202に格納して、そこからレコードを特定部210によって特定してもよいが、生活データを危険検出装置が受信部(図示せず)により受け取ることをもって判定対象のレコードの内容を決定することもできる。
SNSを提供するサーバに、危険検出方法を実行させるためのプログラムを追加して危険検出を行う場合には、ユーザー間のコミュニケーション・ツール上のダイレクトメッセージ又はグループメッセージをレコードとして分析を行い、対応するカテゴリーを付与する。ここで、言うまでもないが、サーバは、複数の分散されたサーバとしてもよく、危険検出を行うためのプログラムも、複数のプログラムにより構成されたものとしてもよいことを付言する。付与されたカテゴリーは、判定部220の一部あるいは別の機能である登録部(図示せず)によりレコードに関連づけて登録を行う。このようにして蓄積された分析済みの生活データは、SNSの提供会社が当該SNSの利用実態を把握し、必要に応じてその改善を図るためのアクションを可能とする。提供会社としては、サービスの想定される利用実態と現実の利用実態が乖離しないよう、モニタリングをできることが望ましい。
たとえば、第5の実施形態にて説明したサマリーデータの表示のほか、発生日時、カテゴリー及びユーザーIDの一覧を表示させることができる。さらに、各レコードへのリンクを一覧に含め、提供会社が問題のある可能性があるレコードの内容を直接目視で確認することができる。レコードの内容をそのまま通知することとなるが、提供会社の管理用途であるため許容される。さらに、当該カテゴリーが付与されたレコードの同一ユーザーIDによる発生回数又は発生インターバル、メッセージの相手方のユーザーID、メッセージに関連づけられたグループID、コミュニケーション・ツール名等のデータも一覧データに含ませることが可能である。カテゴリーが付与されたレコードの内容、発生回数等に基づいて、当該レコードのメッセージを送信したユーザーのユーザーIDを自動的に又指定を受けて利用停止又は削除することもできる。
本実施形態にかかる危険検出装置は、SNS以外のコミュニケーション・サービスについても当然適用ができるところ、各サービスによって、検出が必要となる危険の区分であるカテゴリーが異なってくることがある。そのような場合には、危険用語辞書201内で用いるカテゴリーをサービス毎に変更することができる。ユーザー端末からサービス名を取得して、危険用語辞書201を、第1のサービス用のものからその他の第2のサービス用のものに自動切り替え可能としてもよい。また、危険用語辞書201自体を切り換えるのではなく、危険用語辞書201内で用いられるカテゴリーを各サービスに適したカテゴリーにマッピングするマッピングテーブルを参照して、各サービスに適したカテゴリーを判定していくようにしてもよい。
200 危険検出装置
201 危険用語辞書
202 生活データ・データベース
210 特定部
220 判定部
230 通知部

Claims (4)

  1. 登録者のインターネット上での危険を検出するための危険検出装置であって、
    危険を示す用語を記憶した危険用語辞書に含まれる危険用語に基づいて、前記登録者の生活に伴い発生する電子データである生活データをレコードごとに記憶した生活データ・データベース内のレコードを特定する特定部と、
    前記特定部により特定されたレコードの内容を代替する代替情報を判定する判定部と、
    判定された前記代替情報を通知する通知部と
    を含み、
    前記危険用語辞書は、各危険用語が1又は複数のカテゴリーに分類されており、
    前記判定部は、特定された前記レコードに含まれる危険用語のカテゴリーを前記代替情報として割り当てることを特徴とする危険検出装置。
  2. 前記危険用語辞書は、各危険用語が複数のカテゴリーに分類されており、かつ、カテゴリーに応じてスコアが与えられており、
    前記判定部は、特定された前記レコードに含まれる1又は複数の危険用語のそれぞれが有するスコアの合計値が大きい方のカテゴリーを前記代替情報として割り当てることを特徴とする請求項1に記載の危険検出装置。
  3. 登録者のインターネット上での危険を検出するための危険検出方法であって、
    危険を示す用語を記憶した危険用語辞書に含まれる危険用語に基づいて、前記登録者の生活に伴い発生する電子データである生活データをレコードごとに記憶した生活データ・データベース内のレコードを特定するステップと
    定されたレコードの内容を代替する代替情報を判定するステップと、
    判定された前記代替情報を通知するステップと
    を含み、
    前記危険用語辞書は、各危険用語が1又は複数のカテゴリーに分類されており、
    前記判定部は、特定された前記レコードに含まれる危険用語のカテゴリーを前記代替情報として割り当てることを特徴とする危険検出方法。
  4. コンピュータに、登録者のインターネット上での危険を検出するための危険検出方法を実行させるための危険検出プログラムであって、前記危険検出方法は、
    危険を示す用語を記憶した危険用語辞書に含まれる危険用語に基づいて、前記登録者の生活に伴い発生する電子データである生活データをレコードごとに記憶した生活データ・データベース内のレコードを特定するステップと
    定されたレコードの内容を代替する代替情報を判定するステップと、
    判定された前記代替情報を通知するステップと
    を含み、
    前記危険用語辞書は、各危険用語が1又は複数のカテゴリーに分類されており、
    前記判定部は、特定された前記レコードに含まれる危険用語のカテゴリーを前記代替情報として割り当てることを特徴とする危険検出プログラム。
JP2016539837A 2014-08-04 2015-07-30 危険検出装置、危険検出方法、及び危険検出プログラム Active JP6572218B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014159020 2014-08-04
JP2014159020 2014-08-04
PCT/JP2015/003842 WO2016021160A1 (ja) 2014-08-04 2015-07-30 危険検出装置、危険検出方法、及び危険検出プログラム

Publications (2)

Publication Number Publication Date
JPWO2016021160A1 JPWO2016021160A1 (ja) 2017-07-13
JP6572218B2 true JP6572218B2 (ja) 2019-09-04

Family

ID=55263456

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016539837A Active JP6572218B2 (ja) 2014-08-04 2015-07-30 危険検出装置、危険検出方法、及び危険検出プログラム

Country Status (3)

Country Link
JP (1) JP6572218B2 (ja)
KR (1) KR102480293B1 (ja)
WO (1) WO2016021160A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11670286B2 (en) * 2019-12-31 2023-06-06 Beijing Didi Infinity Technology And Development Co., Ltd. Training mechanism of verbal harassment detection systems
US11620987B2 (en) 2019-12-31 2023-04-04 Beijing Didi Infinity Technology And Development Co., Ltd. Generation of training data for verbal harassment detection
US11664043B2 (en) 2019-12-31 2023-05-30 Beijing Didi Infinity Technology And Development Co., Ltd. Real-time verbal harassment detection system
CN116709339B (zh) * 2022-10-09 2024-07-12 荣耀终端有限公司 一种应用通知消息的检测方法及电子设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003067304A (ja) * 2001-08-27 2003-03-07 Kddi Corp 電子メールフィルタリングシステム、電子メールフィルタリング方法、電子メールフィルタリングプログラム及びそれを記録した記録媒体
JP2003186842A (ja) 2001-12-13 2003-07-04 Ntt Docomo Inc 通信端末、通信システムおよび通信制御方法
JP2007139864A (ja) * 2005-11-15 2007-06-07 Nec Corp 不審会話検出装置、方法及びそれを用いた通信装置
KR100764174B1 (ko) * 2006-03-03 2007-10-08 삼성전자주식회사 음성 대화 서비스 장치 및 방법
KR20100067200A (ko) * 2008-12-11 2010-06-21 주식회사 리코시스 메시지 모니터링 방법 및 이를 수행하는 장치
KR20120047632A (ko) * 2010-11-04 2012-05-14 한국전자통신연구원 상황 인지 장치 및 방법

Also Published As

Publication number Publication date
JPWO2016021160A1 (ja) 2017-07-13
KR20170058885A (ko) 2017-05-29
WO2016021160A1 (ja) 2016-02-11
KR102480293B1 (ko) 2022-12-23

Similar Documents

Publication Publication Date Title
Rubin et al. Deception detection for news: three types of fakes
Chiang et al. Deceptive identity performance: Offender moves and multiple identities in online child abuse conversations
Calvin et al. # bully: Uses of hashtags in posts about bullying on Twitter
US9195777B2 (en) System, method and computer program product for normalizing data obtained from a plurality of social networks
EP2753024B1 (en) System and method for continuously monitoring and searching social networking media
US11501068B2 (en) Message sentiment analyzer and feedback
US10621181B2 (en) System and method for screening social media content
JP6572218B2 (ja) 危険検出装置、危険検出方法、及び危険検出プログラム
CN110287405B (zh) 情感分析的方法、装置和存储介质
Zhang et al. Cyberbullying definitions and measurements in children and adolescents: summarizing 20 years of global efforts
Smith et al. The Instagram/Facebook ban on graphic self‐harm imagery: A sentiment analysis and topic modeling approach
Guidry et al. Pinning despair and distress–Suicide-related content on visual social media platform Pinterest
JP5316310B2 (ja) 問題又は不満データ処理装置及び方法
Rogers Parents who wait: Acknowledging the support needs and vulnerabilities of approved adopters during their wait to become adoptive parents
Kelling et al. Analysing community reaction to refugees through text analysis of social media data
Singhal et al. Factorization of fact-checks for low resource indian languages
US10803247B2 (en) Intelligent content detection
Vizcaíno-Cuenca et al. Making visible the myths about cyber-sexual violence against women: an analysis of social reactions toward victims on Twitter
Hope Unsocial media: school surveillance of student internet use
LaPoe et al. Politics, power and a pandemic: Searching for information and accountability during a Twitter infodemic
Clarke Linguistic variation across Twitter and Twitter trolling
Nigatu et al. “I Searched for a Religious Song in Amharic and Got Sexual Content Instead’’: Investigating Online Harm in Low-Resourced Languages on YouTube.
AT&T Pannus: Towards Enabling Users to Protect their Privacy on Online Social Networks
Batool et al. Expanding Concepts of Non-Consensual Image-Disclosure Abuse: A Study of NCIDA in Pakistan
Yusuf Gender-Sensitive Reporting Principles: A Content Analysis of Violence Against Women and Girls in Indonesian Mainstream Newspaper Coverage

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170203

AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20170410

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180723

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190603

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190809

R150 Certificate of patent or registration of utility model

Ref document number: 6572218

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250