JP6745541B2 - 情報処理装置、情報処理方法、プログラム及び画像情報表示システム - Google Patents

情報処理装置、情報処理方法、プログラム及び画像情報表示システム Download PDF

Info

Publication number
JP6745541B2
JP6745541B2 JP2019046775A JP2019046775A JP6745541B2 JP 6745541 B2 JP6745541 B2 JP 6745541B2 JP 2019046775 A JP2019046775 A JP 2019046775A JP 2019046775 A JP2019046775 A JP 2019046775A JP 6745541 B2 JP6745541 B2 JP 6745541B2
Authority
JP
Japan
Prior art keywords
image
posted
case
images
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019046775A
Other languages
English (en)
Other versions
JP2019164788A (ja
Inventor
清彦 岩井
清彦 岩井
建治郎 村上
建治郎 村上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spectee Inc
Original Assignee
Spectee Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spectee Inc filed Critical Spectee Inc
Publication of JP2019164788A publication Critical patent/JP2019164788A/ja
Application granted granted Critical
Publication of JP6745541B2 publication Critical patent/JP6745541B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、インターネット上から収集した画像などの情報を分類して表示装置に表示させる情報処理装置、情報処理方法、プログラム及び画像情報表示システムに関する。
インターネット上には、日々、数多くの文章や画像が投稿されている。特に、ソーシャル・ネットワーキング・サービス(social networking service:SNS)は、手軽にコメントや写真を投稿できるため、事件、事故及び災害などに関する情報がリアルタイムで投稿されることがあり、投稿写真や投稿動画などがニュース・報道で利用され始めている。
従来、インターネット上の情報を見やすく表示するための技術も提案されている(特許文献1〜3参照)。例えば、特許文献1に記載の情報表示装置は、1又は複数の二次元的なメイン表示領域を有し、そのメイン表示領域の一辺を時間軸に対応させると共に、ユーザ操作に合わせてスクロール可能にしている。また、特許文献2に記載の電子機器では、複数のコンテンツを分かりやすい形式でユーザに提供するために、特定の期間ごとにまとめて時系列で表示している。更に、特許文献3に記載の検索・情報表示システムでは、キーワードにより検索した結果を、ソーシャルメディア毎に時系列で表示している。
特開2011−197851号公報 特開2014−052915号公報 特開2014−26614号公報
しかしながら、前述した従来の技術には、以下に示す問題点がある。特許文献1,2に記載の技術は、複数の画像を時系列で表示することができるが、インターネット上から収集した多種多様の画像に対してこれらの方法を適用することは困難である。一方、特許文献3に記載の技術は、インターネット上に投稿された記事を収集して表示しているが、投稿画像の収集にキーワード検索を用いているため、テキストデータが付されていない画像は抽出することができない。
また、例えばインターネット上に投稿された事件、事故及び災害などの各種事象に関する画像をキーワード検索によって収集すると、異なる場所や異なる日時に発生した複数の事案に関する画像が抽出されたり、実際には発生していない架空の事案や実際の事案とは関係のない画像が抽出されたりすることがある。このため、キーワード検索で特定の事案に関する画像のみを精度良く抽出するためには、キーワードを細かく設定したり、ユーザが1つずつ画像を確認したりする必要があり、手間と時間がかかる。
そこで、本発明は、インターネット上から各種事象の画像を精度良く抽出し、ユーザがその内容及び状況を容易に把握できる形式で提示することが可能な情報処理装置、情報処理方法、プログラム及び画像情報表示システムを提供することを目的とする。
本発明に係る情報処理装置は、機械学習法を用いてインターネット上から自動収集された任意の事案に関する投稿画像について、写っている事象の種類、発生場所及び発生日時を特定する画像解析部と、前記画像解析部で特定された事項から前記投稿画像を分類して事案毎に特定の番号を付与する画像分類部と、前記画像分類部で付与された番号に基づき前記投稿画像を事案毎にグループ分けして表示する表示画面を生成する表示画面生成部とを有し、前記画像分類部では、写っている事象の種類、発生場所及び発生日時並びに画像の類似度から、その投稿画像が既に分類されている投稿画像と同じ事案を撮影したものか否かを判定し、既に分類されている画像の事案と同一の事案と判定された場合は、既事案と同じ番号を付し、既に分類されている画像の中に同一の事案がない場合は、新たな事案として、既事案とは異なる番号を付するものである。
前記画像解析部では、前記投稿画像及び/又は該投稿画像に付随するテキストデータを解析することにより、前記投稿画像に写っている事象の種類を特定してもよい。
また、前記画像解析部では、前記投稿画像中に含まれる文字情報、前記投稿画像に付随するテキストデータや撮影場所情報、前記投稿画像の投稿者に関する情報のうち1種又は2種以上の情報から地名に関する情報を抽出することにより、前記投稿画像に写っている事象の発生場所を特定することもできる。
前記表示画面は、前記投稿画像が事案毎にまとめられ、最新の投稿画像が最上位になるよう時系列に配置されていてもよい。
本発明に係る情報処理方法は、情報処理装置により、機械学習法を用いてインターネット上から自動収集した任意の事案に関する投稿画像について、写っている事象の種類、発生場所及び発生日時を特定する画像解析工程と、前記画像解析工程で特定された事項から前記投稿画像を分類して事案毎に特定の番号を付与する画像分類工程と、前記画像分類工程で付与された番号に基づき前記投稿画像を事案毎にグループ分けして表示する表示画面を生成する表示画面生成工程とを行い、前記画像分類工程では、写っている事象の種類、発生場所及び発生日時並びに画像の類似度から、その投稿画像が既に分類されている投稿画像と同じ事案を撮影したものか否かを判定し、既に分類されている画像の事案と同一の事案と判定された場合は、既事案と同じ番号を付し、既に分類されている画像の中に同一の事案がない場合は、新たな事案として、既事案とは異なる番号を付する。
前記画像解析工程は、前記投稿画像及び/又は該投稿画像に付随するテキストデータを解析することにより、前記投稿画像に写っている事象の種類を特定することができる。
また、前記画像解析工程は、前記投稿画像中に含まれる文字情報、前記投稿画像に付随するテキストデータや撮影場所情報、前記投稿画像の投稿者に関する情報のうち1種又は2種以上の情報から地名に関する情報を抽出することにより、前記投稿画像に写っている事象の発生場所を特定してもよい。
前記表示画面生成工程は、前記投稿画像が事案毎にまとめられ、最新の投稿画像が最上位になるよう時系列に配置された表示画面を生成することができる。
本発明に係るプログラムは、機械学習法を用いてインターネット上から自動収集した任意の事案に関する投稿画像について、写っている事象の種類、発生場所及び発生日時を特定する画像解析機能と、前記画像解析機能で特定された前記投稿画像に写っている事象の種類、発生場所及び発生日時並びに画像の類似度から、その投稿画像が既に分類されている投稿画像と同じ事案を撮影したものか否かを判定し、既に分類されている画像の事案と同一の事案と判定された場合は、既事案と同じ番号を付し、既に分類されている画像の中に同一の事案がない場合は、新たな事案として、既事案とは異なる番号を付する画像分類機能と、前記画像分類機能で付与された番号に基づき前記投稿画像を事案毎にグループ分けして表示する表示画面を生成する表示画面生成機能とをコンピュータに実行させるものである。
本発明に係る画像情報表示システムは、前述した情報処理装置と、インターネットを介して前記情報処理装置と接続され、前記情報処理装置で生成された表示画面を表示する1又は複数の表示装置とを有する。
本発明における「事案」には、事件、事故及び災害などの他、SNSなどで話題になっている様々な出来事(事象)が含まれ、その発生位置は国内に限られず、海外も含む。
本発明によれば、機械学習法を用いて自動収集した各種事象の画像について、事象の種類、発生位置及び発生日時などを特定し、同一の事案毎にグループ分けして表示するため、テキストデータの有無にかかわらず各種事象の画像を精度よく抽出することができ、ユーザは各事案の内容及び状況を容易に把握することができる。
本発明の実施形態の画像情報表示システムの全体構成を示す概念図である。 図1に示す情報処理装置1の構成例を示すブロック図である。 図2に示す情報処理装置1を用いた情報処理方法を示すフローチャートである。 同一事案と判定される画像の撮影状況を示す図である。 図1に示す表示装置3a〜3cにおける表示画面の一例を示す図である。
以下、本発明を実施するための形態について、添付の図面を参照して、詳細に説明する。なお、本発明は、以下に説明する実施形態に限定されるものではない。
(画像情報表示システムの全体構成)
図1は本発明の実施形態に係る画像情報表示システムの全体構成を示す概念図である。図1に示すように、本実施形態の画像情報表示システムは、インターネット2上から収集された各種事象に関する複数の投稿画像を、同一事案毎にまとめて表示装置3a〜3cに表示させるものであり、収集された投稿画像を解析して分類する情報処理装置1を備える。ここでいう「同一事案」とは、同じ場所・同じ時間帯に発生している一の事象を指し、例え事象が同じであっても、異なる場所や異なる時間帯に発生していた場合は「異なる事案」とする。
[投稿画像]
情報処理装置1で処理される投稿画像は、例えばSNS、ブログ、電子掲示板(Bulletin Board System:BBS)などに投稿され、インターネットを介して収集された事件、事故、災害、その他SNSなどで話題になっている(話題になりそうな)出来事(以下、これらをまとめて事象という)に関する動画や静止画である。
インターネットに接続された各種サーバ上に存在する様々な投稿画像の中から、特定の事象に関する画像を抽出する方法としては、例えば機械学習法を用いて自動収集する方法がある。また、本出願人は、特願2016−199732において、深層学習(ディープラーニング)を用いて、インターネット上から特定の事象に関する投稿情報を精度良く抽出する方法を提案している。
具体的には、特願2016−199732に記載の方法では、1又は複数の情報抽出装置を用いて下記工程を行うことにより、特定の投稿情報を抽出している。
(1)情報抽出装置により、インターネットを介して、複数種のデータで構成される任意の投稿情報を収集する投稿情報収集工程。
(2)収集された投稿情報の各データを、画像データと、文字データと、付随データに仕分けるデータ仕分工程。
(3a)投稿情報に画像データが含まれる場合は、学習データに基づいて画像データを処理し、複数区分に対する画像データの類似度を算出する画像データ処理工程。
(3b)投稿情報に文字データが含まれる場合は、その文字データを、学習データに基づいて処理又は自然言語処理し、複数区分に対する前記文字データの類似度を算出する文字データ処理工程。
(3c)投稿情報に付随データが含まれる場合は、その付随データを数値化する付随データ処理工程。
(4)複数区分に対する画像データの類似度、複数区分に対する文字データの類似度及び付随データに対応する数値のうち2種以上を統合し、抽出対象情報との類似性を示す値を算出する統合処理工程。
このように、テキストデータだけでなく、画像データや投稿者情報などの付随データなどの投稿情報に関する全てのデータを用いて、その情報を抽出するか否かを総合的に判断することにより、抽出対象の画像を正確に抽出することができる。なお、投稿画像を収集する際には、画像と共に、それに付随する投稿文やコメントなどのテキストデータ及びプロフィールなどの投稿者に関する情報などを収集してもよい。
[情報処理装置1]
図2は情報処理装置1の構成例を示すブロック図である。図2に示すように、情報処理装置1は、機械学習法を用いてインターネット上から自動収集された各種事象に関する投稿画像を処理して、ユーザに提供される表示データを作成するものであり、画像解析部11、画像分類部12及び表示画面生成部13などが設けられている。
<画像解析部11>
画像解析部11は、入力された投稿画像に写っている事象の種類、発生場所及び発生日時を特定するものである。ここで、事象の種類の特定は、投稿画像やそれに付随するテキストデータを解析して、例えば「火災」、「豪雨」、「地震」及び「交通事故」などのように、写っている事象がどのような事件、事故、災害又は出来事であるのか具体的な内容を特定する。
発生場所の特定は、投稿画像中に含まれる文字情報、投稿画像に付随するテキストデータや撮影場所情報、プロフィールなどの投稿者に関する情報などを利用して、事案の発生場所を、都道府県レベル、できれば市町村レベルまで特定する。発生日時の特定は、例えば投稿日時、画像データのメタデータに含まれる撮影日時、投稿画像中に含まれる時計などの時間情報を利用して行うことができる。なお、発生日時は時分まで特定する必要はなく、例えば「今日の何時頃」程度の特定でもよい。
<画像分類部12>
画像分類部12は、画像解析部11で処理された投稿画像を事案毎にグループ分けして番号を付与するものである。この画像分類部12では、投稿画像に写っている事象の種類、発生場所、発生日時及び画像の類似度から、その投稿画像が既に分類されている投稿画像と同じ事案を撮影したものか否かを判定し、その結果に基づき事案毎に番号を付与する。具体的には、既に分類されている画像の事案と同一の事案と判定された場合は、既事案と同じ番号を付し、既に分類されている画像の中に同一の事案がない場合は、新たな事案として、既事案とは異なる番号を付する。
<表示画面生成部13>
表示画面生成部13は、画像分類部12で各投稿画像に付与された番号や各投稿画像の撮影日時・投稿日時などを利用して、ユーザに提示する表示画面を生成するものである。この表示画面生成部13では、画像分類部12で付与された番号に基づき各投稿画像を事案毎にグループ分けし、例えば撮影時間順又は投稿時間順に配置する。その際、各事案グループに属する投稿画像を、撮影時間又は投稿時間が最も早い画像から順に、第1報、第2報、第3報・・・とする。
また、例えば、事案Aのグループに既に3つの投稿画像が分類されていた場合は、次に事案Aと分類された投稿画像は第4報として配置する。これにより、事案毎に区分され、区分毎に最新の投稿画像が最上位になるよう投稿画像が時系列に配置された表示画面が生成される。なお、表示画面において、各事案に分類された投稿画像の配置は時系列に限定されるものではなく、例えば撮影場所が事象発生位置への近さ、画像(静止画・動画)の派手さや重要さなど時間以外のパラメータを用いて並び変えることもできる。
ここで、表示画面は、投稿画像が直接貼り付けられている必要はなく、投稿画像へのリンクに相当するものを配置してもよい。また、その投稿画像に写っている事案の詳細(事象の種類・発生場所・発生日時など)をリンクへのタグとして書き込んでもよい。表示画面生成部13で生成した表示画面は、インターネット2を介して各表示装置3に送信される。
表示画面の提供は、ユーザから要求があった事案のみを送信することもできるが、ユーザの要求の有無にかかわらず表示画面を送信し、一定期間毎に表示画面を更新するようにしてもよい。これにより、ユーザは事件、事故、災害などの発生をリアルタイムで知ることができる。
<その他の構成>
情報処理装置1には、表示画面生成部13で生成した表示画面を記憶する記憶部14や、表示画面を表示する表示部15が設けられていてもよい。
[表示装置]
表示装置3a〜3cは、情報処理装置1で生成された表示画面を表示するものであり、インターネット2を介して情報処理装置1と接続されている。これらの表示装置3a〜3cは、例えばパーソナルコンピュータ、スマートフォン及びタブレット端末などインターネットに接続可能なものであればよい。
[動作]
次に、本実施形態の画像情報表示システムの動作、即ち、機械学習法を用いてインターネット上から自動収集した投稿画像などを、情報処理装置1で処理して表示装置3a〜3cに表示させる方法について説明する。
図3は情報処理装置1を用いた情報処理方法を示すフローチャートである。図3に示すように、本実施形態の情報処理方法では、先ず、機械学習法により自動収集した各種事象に関する投稿画像について、写っている事象の種類、発生場所及び発生日時を特定する(画像解析工程)。事象の種類の特定は、投稿画像やそれに付随するテキストデータを解析することにより実施することができる。また、発生場所の特定は、投稿画像中に含まれる文字情報、投稿画像に付随するテキストデータや撮影場所情報、プロフィールなどの投稿者に関する情報から、地名に関する情報を抽出することにより実施することができる。
投稿画像に写っている事象の種類及び発生場所を特定する方法は、特に限定されるものではないが、本出願人による特願2016−55422や特願2017−090831に記載された機械学習法を適用することができる。例えば、事象の種類の特定は、複数の画像判定部を備え、これら画像判定部が木構造(ツリー状)に配置され、各画像判定部においてそれぞれ異なる区分に属する画像データを用いて構築された学習データに基づいて対象画像の区分を判定する画像分類装置を用いることができる。
また、事象の発生場所の特定は、投稿データの投稿者情報から地名を抽出する投稿者情報解析部と、投稿データの投稿者による過去の投稿データから地名を抽出する過去投稿解析部と、投稿データ及びそれに付随するデータから事案の発生位置を特定する発生位置特定部とを備え、発生位置特定部において、投稿者情報解析部及び/又は過去投稿解析部での解析結果を利用して事案の発生位置を特定するデータ処理装置を用いることができる。これらの技術を適用することで、短時間で高精度に、画像に写っている事案がどのような事象であるか(事象の種類)やどこで発生した事案か(発生場所)を特定することができる。
一方、発生日時の特定は、投稿日時、画像データのメタデータに含まれる撮影日時などを利用して行うことができる。発生日時の特定においては、撮影から時間をおいて投稿されるものものあるため、撮影日時と投稿日時に差がある場合は、メタデータに含まれる撮影日時を優先的に採用する。
なお、画像解析工程において、「現実に発生した事象ではない」又は「対象期間よりも前の古い事象である」などの解析結果が出た画像については、この段階で処理を終了し、表示対象外としてもよい。
次に、前述した画像解析工程で処理された投稿画像を事案毎に分類して番号を付与する(画像分類工程)。具体的には、投稿画像に写っている事象の種類、発生場所、発生日時及び画像の類似度から、その投稿画像が既に分類されている画像と同じ事案を撮影したものか否かを判定し、既事案であると判定された投稿画像には既事案と同一の番号を付し、既事案ではないと判定された投稿画像には新たな番号を付す。
その際、分類対象の投稿画像が既事案と同一事案か否かは、例えば「(1)特定された発生場所が一致するか」、「(2)特定された発生場所の付近で同種の事象が発生していないか」、「(3)既事案に分類された投稿画像と同時刻又は同じ時間帯に撮影又は投稿されているか」などを基準として判定することができる。
例えば、分類対象の投稿画像が「交通事故」を撮影した画像であり、発生場所が「東京都新宿区」、撮影時間又は投稿時間が5分前であった場合、既に分類されている事案の中に「2時間前から現在までの間に、新宿区及びその周辺で発生した交通事故」がないか確認する。そして、既事案の中に該当するものがなかった場合は、この投稿画像は新事案として、既事案とは異なる新たな番号を付する。
一方、既事案の中に該当するものがあった場合でも、同一地域において同時刻又は時間差で同種の事象が複数発生することがあるため、その事案に分類されている投稿画像の特徴量と分類対象の投稿画像の特徴量とを比較し、両者の類似度を求め、その値により同一事案か否かを判定する。
図4は同一事案と判定される画像の撮影状況を示す図である。また、図4に示すように、同一事案であっても、投稿者の位置によって異なる画像が撮影される。そのような場合でも、例えば交通事故であれば、同じ車(事故車)が写っていたり、背景に写っている建物が同じであったりするため、各画像の特徴量を比較することにより、同一事案か異なる事案かを判定することが可能である。図4に示す事案の場合、投稿者A〜D,F,Gが投稿した画像は類似度が高くなり同一事案と判定されるが、投稿者Eが投稿した画像は、同じ時間帯に撮影又は投稿されたものであっても、類似度が低くなり異なる事案と判定される。
次に、前述した画像分類工程で各投稿画像に付与された番号や各投稿画像の撮影日時・投稿日時などの情報を利用して、ユーザに提示する表示画面を生成する(表示画像生成工程)。表示画像生成工程で生成される表示画面では、画像分類工程で付与された番号に基づき各投稿画像を事案毎にグループ分けして表示し、更に、事案グループ毎に投稿画像を発生時間(撮影時間・投稿時間)順などのユーザが求める順番で配置して表示する。
このとき、追加表示する投稿画像が既事案に関するもので、その事案グループには既にn個の画像が分類されている場合は、この投稿画像は第n+1報として表示する。一方、追加表示する投稿画像がまだ表示されていない新たな事案に関するものである場合は、この投稿画像は新事案の第1報として表示する。
図5は図1に示す表示装置3a〜3cにおける表示画面の一例を示す図である。表示画面のレイアウトは、特に限定されるものではないが、例えば、図5に示すように、事案毎に区分された小ウィンドウの中に、最新のものが最上位になるように投稿画像を時系列に配置することができる。図5に示す表示画面は、発生から時間が経過している事案や投稿数が多い事案では、全ての投稿画像を表示することができない。この場合、画面全体をスクロールしてもよいが、小ウィンドウ毎にスクロール可能とすることで、他の事案では最新の投稿画像を表示させた状態で、特定の事案のみ下位の画像を確認することができる。
また、小ウィンドウの中の投稿画像は、特定の操作により拡大表示するようにしてもよい。なお、本実施形態の画像情報表示システムにおける表示画面は、図5に示す構成やレイアウトに限定されるものではなく、目的や用途などに応じて、適宜設定することができる。前述した表示画像生成工程で生成された表示画面のデータは、インターネット2を介して各表示装置3a〜3cに送信され、表示装置3a〜3cに表示される。
[プログラム]
前述した各工程は、情報処理装置の各機能を実現するためのコンピュータプログラムを作成し、1又は2以上のコンピュータに実装することにより実施することができる。
即ち、本実施形態の情報処理方法は、
(1)機械学習法を用いてインターネット上から自動収集した各種事象に関する複数の投稿画像について、写っている事象の種類、発生場所及び発生日時(撮影日時・投稿日時)などを特定する画像解析機能と、
(2)画像解析機能で特定された事項から、投稿画像を事案毎にグループ分けして特定の番号を付与する画像分類機能と、
(3)画像分類機能で各投稿画像に付与された番号や各投稿画像の撮影日時・投稿日時などを利用して、ユーザに提示する表示画面を生成する表示画面生成機能と
をコンピュータに実行させるプログラムにより実施することができる。
なお、前述した各機能は、一のプログラムに搭載されている必要はなく、機能毎にプログラムを作成し、それらを連動させることにより実行してもよい。その場合、各プログラムを2台以上のコンピュータ又は装置に分割して実装し、動作させることもできる。
以上詳述したように、本実施形態の画像情報表示システムは、機械学習法を用いて各種事象の画像を自動収集しているため、画像にテキストデータが付されているか否かにかかわらず、各種事象の投稿画像をリアルタイムで、漏れなく、精度よく抽出することができる。また、本実施形態の画像情報表示システムでは、事象の種類、発生位置及び発生日時などを特定し、同一の事案毎にまとめた表示画面をユーザに提示するため、ユーザは表示画面から各事案の内容及び状況を容易に把握することができる。その結果、本実施形態の画像情報表示システムによれば、事件、事故、災害などの各種事象の発生を容易に、かつ、早急に察知し、報道機関などにいち早く提供することが可能となる。
1 情報処理装置
2 インターネット
3a〜3c 表示装置
11 画像解析部
12 画像分類部
13 表示画面生成部
14 記憶部
15 表示部

Claims (10)

  1. 機械学習法を用いてインターネット上から自動収集された任意の事案に関する投稿画像について、写っている事象の種類、発生場所及び発生日時を特定する画像解析部と、
    前記画像解析部で特定された事項から前記投稿画像を分類して事案毎に特定の番号を付与する画像分類部と、
    前記画像分類部で付与された番号に基づき前記投稿画像を事案毎にグループ分けして表示する表示画面を生成する表示画面生成部と、を有し、
    前記画像分類部では、写っている事象の種類、発生場所及び発生日時並びに画像の類似度から、その投稿画像が既に分類されている投稿画像と同じ事案を撮影したものか否かを判定し、既に分類されている画像の事案と同一の事案と判定された場合は、既事案と同じ番号を付し、既に分類されている画像の中に同一の事案がない場合は、新たな事案として、既事案とは異なる番号を付する情報処理装置。
  2. 前記画像解析部では、前記投稿画像及び/又は該投稿画像に付随するテキストデータを解析することにより、前記投稿画像に写っている事象の種類を特定する請求項に記載の情報処理装置。
  3. 前記画像解析部では、前記投稿画像中に含まれる文字情報、前記投稿画像に付随するテキストデータや撮影場所情報、前記投稿画像の投稿者に関する情報のうち1種又は2種以上の情報から地名に関する情報を抽出することにより、前記投稿画像に写っている事象の発生場所を特定する請求項1又は2に記載の情報処理装置。
  4. 前記表示画面は、前記投稿画像が事案毎にまとめられ、最新の投稿画像が最上位になるよう時系列に配置されている請求項1〜のいずれか1項に記載の情報処理装置。
    情報処理装置。
  5. 情報処理装置により、
    機械学習法を用いてインターネット上から自動収集した任意の事案に関する投稿画像について、写っている事象の種類、発生場所及び発生日時を特定する画像解析工程と、
    前記画像解析工程で特定された事項から前記投稿画像を分類して事案毎に特定の番号を付与する画像分類工程と、
    前記画像分類工程で付与された番号に基づき前記投稿画像を事案毎にグループ分けして表示する表示画面を生成する表示画面生成工程と、を行い、
    前記画像分類工程では、写っている事象の種類、発生場所及び発生日時並びに画像の類似度から、その投稿画像が既に分類されている投稿画像と同じ事案を撮影したものか否かを判定し、既に分類されている画像の事案と同一の事案と判定された場合は、既事案と同じ番号を付し、既に分類されている画像の中に同一の事案がない場合は、新たな事案として、既事案とは異なる番号を付する情報処理方法。
  6. 前記画像解析工程は、前記投稿画像及び/又は該投稿画像に付随するテキストデータを解析することにより、前記投稿画像に写っている事象の種類を特定する請求項に記載の情報処理方法。
  7. 前記画像解析工程は、前記投稿画像中に含まれる文字情報、前記投稿画像に付随するテキストデータや撮影場所情報、前記投稿画像の投稿者に関する情報のうち1種又は2種以上の情報から地名に関する情報を抽出することにより、前記投稿画像に写っている事象の発生場所を特定する請求項5又は6に記載の情報処理方法。
  8. 前記表示画面生成工程は、前記投稿画像が事案毎にまとめられ、最新の投稿画像が最上位になるよう時系列に配置された表示画面を生成する請求項のいずれか1項に記載の情報処理方法。
  9. 機械学習法を用いてインターネット上から自動収集した任意の事案に関する投稿画像について、写っている事象の種類、発生場所及び発生日時を特定する画像解析機能と、
    前記画像解析機能で特定された前記投稿画像に写っている事象の種類、発生場所及び発生日時並びに画像の類似度から、その投稿画像が既に分類されている投稿画像と同じ事案を撮影したものか否かを判定し、既に分類されている画像の事案と同一の事案と判定された場合は、既事案と同じ番号を付し、既に分類されている画像の中に同一の事案がない場合は、新たな事案として、既事案とは異なる番号を付する画像分類機能と、
    前記画像分類機能で付与された番号に基づき前記投稿画像を事案毎にグループ分けして表示する表示画面を生成する表示画面生成機能と
    をコンピュータに実行させるプログラム。
  10. 請求項1〜のいずれか1項に記載の情報処理装置と、
    インターネットを介して前記情報処理装置と接続され、前記情報処理装置で生成された表示画面を表示する1又は複数の表示装置と
    を有する画像情報表示システム。
JP2019046775A 2018-03-14 2019-03-14 情報処理装置、情報処理方法、プログラム及び画像情報表示システム Active JP6745541B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018046300 2018-03-14
JP2018046300 2018-03-14

Publications (2)

Publication Number Publication Date
JP2019164788A JP2019164788A (ja) 2019-09-26
JP6745541B2 true JP6745541B2 (ja) 2020-08-26

Family

ID=68065763

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019046775A Active JP6745541B2 (ja) 2018-03-14 2019-03-14 情報処理装置、情報処理方法、プログラム及び画像情報表示システム

Country Status (1)

Country Link
JP (1) JP6745541B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102141777B1 (ko) * 2019-10-28 2020-08-05 이화여자대학교 산학협력단 합성곱 신경망을 활용한 sns 이미지 데이터의 관광 목적 분류 및 관광객별 선호도 분석 방법, 이를 수행하기 위한 기록 매체 및 장치
JP7215815B1 (ja) 2022-04-28 2023-01-31 株式会社Jx通信社 情報処理装置、プログラムおよび情報処理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4614130B2 (ja) * 2005-08-26 2011-01-19 富士フイルム株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP5512810B2 (ja) * 2010-05-31 2014-06-04 パナソニック株式会社 コンテンツ分類システム、コンテンツ生成分類装置、コンテンツ分類装置、分類方法及びプログラム
JP2014026614A (ja) * 2012-07-30 2014-02-06 Kadokawa Digix Inc 検索・情報表示システム
US8990194B2 (en) * 2012-11-02 2015-03-24 Google Inc. Adjusting content delivery based on user submissions of photographs
JP2016095669A (ja) * 2014-11-14 2016-05-26 株式会社toor 画像分析方法及び画像分析装置
JP6779641B2 (ja) * 2016-03-18 2020-11-04 株式会社Spectee 画像分類装置、画像分類システム及び画像分類方法

Also Published As

Publication number Publication date
JP2019164788A (ja) 2019-09-26

Similar Documents

Publication Publication Date Title
CN109271512B (zh) 舆情评论信息的情感分析方法、装置及存储介质
Imran et al. Practical extraction of disaster-relevant information from social media
US9720912B2 (en) Document management system, document management method, and document management program
CN109145216A (zh) 网络舆情监控方法、装置及存储介质
CN102207857B (zh) Gui元素识别方法、装置及系统
JP6745541B2 (ja) 情報処理装置、情報処理方法、プログラム及び画像情報表示システム
KR102124935B1 (ko) 크라우드 소싱을 활용한 재난 모니터링 시스템, 재난 모니터링 방법 및 이를 수행하기 위한 컴퓨터 프로그램
WO2017087548A1 (en) Identifying social business characteristic user
KR20150059208A (ko) 소셜 웹 미디어의 이벤트 시공간 연관성 분석 장치 및 그 방법
CN106202126A (zh) 一种用于物流监控的数据分析方法和装置
CN113886204A (zh) 用户行为数据收集方法、装置、电子设备及可读存储介质
US20170316421A1 (en) Emerging defect and safety surveillance system
US20150193529A1 (en) Opinion analyzing system and method
US11830286B2 (en) Data processing apparatus, data processing method, and non-transitory storage medium
JP5040718B2 (ja) スパム・イベント検出装置及び方法並びにプログラム
KR101850853B1 (ko) 빅데이터를 이용한 검색 방법 및 장치
EP3408797B1 (en) Image-based quality control
US11704362B2 (en) Assigning case identifiers to video streams
US11710313B2 (en) Generating event logs from video streams
JP7207537B2 (ja) 分類装置、分類方法及び分類プログラム
JP6496952B2 (ja) データ処理装置、データ処理システム、データ処理方法及びプログラム
US20160178590A1 (en) System and method for predicting harmful materials
Hales et al. Investigating visualisation techniques for rapid triage of digital forensic evidence
JP7061328B1 (ja) 情報処理装置、情報処理システムおよびプログラム
KR20210086833A (ko) Sns 데이터를 이용한 재난 정보 제공 시스템 및 그 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191001

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20191001

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20191009

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200728

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200729

R150 Certificate of patent or registration of utility model

Ref document number: 6745541

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250