JP5760131B1 - 画像照合システム、画像照合装置、画像照合方法、およびコンピュータプログラム - Google Patents

画像照合システム、画像照合装置、画像照合方法、およびコンピュータプログラム Download PDF

Info

Publication number
JP5760131B1
JP5760131B1 JP2014175706A JP2014175706A JP5760131B1 JP 5760131 B1 JP5760131 B1 JP 5760131B1 JP 2014175706 A JP2014175706 A JP 2014175706A JP 2014175706 A JP2014175706 A JP 2014175706A JP 5760131 B1 JP5760131 B1 JP 5760131B1
Authority
JP
Japan
Prior art keywords
image
terminal
search
event
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014175706A
Other languages
English (en)
Other versions
JP2016051293A (ja
Inventor
仁幸 小林
仁幸 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gimme Five
Original Assignee
Gimme Five
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gimme Five filed Critical Gimme Five
Priority to JP2014175706A priority Critical patent/JP5760131B1/ja
Application granted granted Critical
Publication of JP5760131B1 publication Critical patent/JP5760131B1/ja
Publication of JP2016051293A publication Critical patent/JP2016051293A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】捜索対象の関連情報に対する閲覧アクセスを抑制しつつ、捜索対象の発見につながる問合せ画像を有効に収集してその画像照合を行うこと。【解決手段】画像照合システムおよび画像照合装置10は、捜索事象に係るユーザの端末を選出端末として選出する端末選出部110と、捜索事象の関連情報に対する端末からの閲覧アクセスを制御する関連情報閲覧制御部111と、選出端末から問合せ画像が送り込まれた場合に画像照合処理を行う照合処理制御部112を備えている。【選択図】図3

Description

本発明は、画像照合システム、画像照合装置、画像照合方法、およびコンピュータプログラムに関する。
高齢化、認知症患者の増大に伴い、認知症患者や高齢者が徘徊してそのまま行方不明になってしまうといったケースが増えている。また、行方不明者の捜索願が出されたとしても、何年もの間行方不明のままとなってしまうことが多い。
近年では特に、認知症が原因で徘徊する高齢者が行方不明となったり、死亡したり、警察に保護されたりするケースが増加している。また、徘徊高齢者が踏切事故で死亡し、残された家族に鉄道会社から賠償金の支払いを求められるというケースも生じており、老人徘徊問題は家族にとっては経済的リスクとなっている。
更には、認知症行方不明者の数と同様に、ひとり暮らしの高齢者の数もますます増えており、このため、徘徊そのものを抑止することは困難であるといえる。
また、行方不明となった認知症患者を捜索するための写真公開については、家族・親族などが認知症患者の個人情報開示に踏み切れず、また、自治体や公的機関が行方不明者の捜索を行う場合には、失踪者の捜索のために個人情報や捜索対象者の顔写真や個人情報を開示しなくてはならず、家族や近親者には心理的なハードルが高く、個人情報への配慮から積極的に行われないケースも多い。
これには、認知症患者とその家族にとって、身内に徘徊高齢者がいることを身内以外の第三者に知られるのが恥ずかしいといった羞恥心がある場合もあり、このため、写真や名前、住所等が公開されず、認知症行方不明者の発見をより困難ものとしている。
更には、子供やペットが行方不明になった場合でも、自治体や市民の協力を得られるシステムにはなっておらず、警察への捜索依頼や、ポスター作成、専門業者への捜索依頼などを行ってもあまり効果が上がらない、という不都合がある。
また、認知症高齢者、子供、犬などペットに通信タグなどの情報端末を持たせたり、通信タグを身体に埋め込んだりすることにより、失踪、迷子となった捜索対象者を見つけるシステムが開示されている。
しかしながら、このようなシステムでは、通信タグや端末を身体に装着したり、常時身に着けていたりしなければならないため、特に認知症高齢者に適用することは困難である。また、発信用のタグを体に埋め込むといったことも心理的にハードルが大きい。
これらの課題に対する関連技術として、携帯電話のカメラなどで撮影された位置情報付きの画像データから迷子になった捜索対象(ペット、子供、老人)が徘徊する老人を捜索するためのシステムが開示されている(特許文献1)。
また、この関連技術として、迷子や失踪者を探す人は検索対象に対して画像を指定することによって、情報データベースの検索を行い、一致の度合いが高い画像が存在している場合は、その画像が撮影された位置を地図上に表示するシステムが開示されている(特許文献2)。
特開2011−239442号公報 特開2011−180893号公報
しかしながら、上記特許文献1に記載の関連技術では、徘徊高齢者の多くはうつむきがちに歩いているため、定点カメラを用いたシステムでは、画像照合に適用可能な撮影画像や映像を取得することが困難であり、適切な精度で画像照合を行うことが困難であるといった不都合がある。
また、上記特許文献2に記載の関連技術では、捜索対象者である徘徊者や失踪者(失踪した犬などのペット)の写真を完全に公開しなくてはならず、例えば、スマートフォンのアプリケーションを利用して問合せ画像を収集した場合、不特定多数の第三者が送り込んできた失踪者とは無関係の写真が大量に送り込まれるといった不都合が生じ得る。更に、この場合、画像検索に係る処理負荷が無駄に増大してしまうといった不都合が生じ得る。
更には、この関連技術において、失踪者の写真を公開する場合、ある程度の関わりのある人たちに限定して公開するということができないため、失踪者とは無関係の写真が大量に送られて来ることで捜索の妨げになってしまったり、失踪者の写真や公開された個人情報が第三者にいたずらに閲覧されてしまったりといった不都合が生じ得る。
[発明の目的]
本発明は、上記の課題に鑑みなされたものであり、捜索対象の関連情報に対する閲覧アクセスを抑制しつつ、捜索対象の発見につながる問合せ画像を有効に収集してその画像照合を行う画像照合システム、画像照合装置、およびコンピュータプログラムを提供するものである。
上記目的を達成するために、本発明の画像照合システムは、ネットワークを介して端末から送り込まれた画像データである問合せ画像と予め保存された画像データである蓄積画像との画像照合処理を行う画像照合装置と、前記画像照合処理が必要な捜索事象それぞれに対応した事象関連情報を保持する関連情報記憶部とを有する画像照合システムであって、前記画像照合装置は、端末から参加要求を受信する通信部と、前記捜索事象それぞれに係るユーザに対応する一部の端末を選出端末として選出し、前記捜索事象の捜索対象または捜索要求者に関連するユーザに対応する一部の端末を一部アクセス許可端末として選出し、前記通信部に対して前記参加要求を送信した前記端末を捜索協力端末として選出する端末選出部と、前記選出端末による前記事象関連情報に対する閲覧アクセスを許容し、予め設定された一部の前記事象関連情報を示す一部開示情報を前記一部アクセス許可端末に対して閲覧アクセス可能な状態に設定し、前記事象関連情報および前記一部開示情報を前記捜索協力端末に対して閲覧アクセスが禁止された状態に設定する制御を行う関連情報閲覧制御部と、前記選出端末、前記一部アクセス許可端末および前記捜索協力端末から前記問合せ画像が送り込まれた場合に前記画像照合処理をそれぞれ実行する照合処理制御部と、を備え、前記端末選出部が、前記照合処理制御部による前記画像照合処理により前記蓄積画像と照合成功した前記問合せ画像を送り込んだ前記捜索協力端末を、前記一部アクセス許可端末に設定することを特徴とする
本発明の画像照合装置は、画像照合処理が必要な各捜索事象に対応する事象関連情報を保持する関連情報記憶部を有し、ネットワークを介して端末から送り込まれた画像データである問合せ画像と予め保存された画像データとの画像照合処理を行う画像照合装置であって、端末から参加要求を受信する通信部と、前記各捜索事象に係るユーザに対応する一部の端末を選出端末として選出し、前記捜索事象の捜索対象または捜索要求者に関連するユーザに対応する一部の端末を一部アクセス許可端末として選出し、前記通信部に対して前記参加要求を送信した前記端末を捜索協力端末として選出する端末選出部と、前記選出端末による前記事象関連情報に対する閲覧アクセスを許容し、予め設定された一部の前記事象関連情報を示す一部開示情報を前記一部アクセス許可端末に対して閲覧アクセス可能な状態に設定し、前記事象関連情報および前記一部開示情報を前記捜索協力端末に対して閲覧アクセスが禁止された状態に設定する制御を行う関連情報閲覧制御部と、前記選出端末、前記一部アクセス許可端末および前記捜索協力端末から前記問合せ画像が送り込まれた場合に前記画像照合処理をそれぞれ実行する制御を行う照合処理制御手段とを備え、前記端末選出部が、前記照合処理制御部による前記画像照合処理により前記蓄積画像と照合成功した前記問合せ画像を送り込んだ前記捜索協力端末を、前記一部アクセス許可端末に設定することを特徴する
また、本発明の画像照合方法は、画像照合処理が必要な各捜索事象に対応する事象関連情報を保持し、ネットワークを介して端末から送り込まれた画像データである問合せ画像と予め保存された画像データとの画像照合処理を行うための画像照合方法であって、前記各捜索事象に係るユーザに対応する一部の端末を選出端末として選出し、前記捜索事象の捜索対象または捜索要求者に関連するユーザに対応する一部の端末を一部アクセス許可端末として選出し、前記通信部に対して前記参加要求を送信した前記端末を捜索協力端末として選出し、前記選出端末による前記事象関連情報に対する閲覧アクセスを許容し、予め設定された一部の前記事象関連情報を示す一部開示情報を前記一部アクセス許可端末に対して閲覧アクセス可能な状態に設定し、前記事象関連情報および前記一部開示情報を前記捜索協力端末に対して閲覧アクセスが禁止された状態に設定する制御を行い、前記選出端末、前記一部アクセス許可端末および前記捜索協力端末から前記問合せ画像が送り込まれた場合に前記画像照合処理をそれぞれ実行する制御を行い、前記画像照合処理により前記蓄積画像と照合成功した前記問合せ画像を送り込んだ前記捜索協力端末を、前記一部アクセス許可端末に設定することを特徴とする。
また、本発明では、画像照合処理が必要な各捜索事象に対応する事象関連情報を保持し、ネットワークを介して送り込まれた画像データである問合せ画像と予め保存された画像データとの画像照合を行う画像照合装置が有するコンピュータに実行させるためのコンピュータプログラムであって、前記各捜索事象に係るユーザに対応する一部の端末を選出端末として選出し、前記捜索事象の捜索対象または捜索要求者に関連するユーザに対応する一部の端末を一部アクセス許可端末として選出し、前記通信部に対して前記参加要求を送信した前記端末を捜索協力端末として選出する選出端末決定処理と、前記選出端末による前記事象関連情報の閲覧を許容し、予め設定された一部の前記事象関連情報を示す一部開示情報を前記一部アクセス許可端末に対して閲覧アクセス可能な状態に設定し、前記事象関連情報および前記一部開示情報を前記捜索協力端末に対して閲覧アクセスが禁止された状態に設定する制御を行う関連情報閲覧制御処理と、前記選出端末、前記一部アクセス許可端末および前記捜索協力端末から前記問合せ画像が送り込まれた場合に前記画像照合処理をそれぞれ実行する照合処理制御処理と、前記画像照合処理により前記蓄積画像と照合成功した前記問合せ画像を送り込んだ前記捜索協力端末を、前記一部アクセス許可端末に設定する処理と、前記コンピュータに実行させるコンピュータプログラムが提供される。
本発明によれば、捜索対象者の情報がいたずらに第三者に閲覧されることを抑制しつつ、捜索対象の発見に有力となり得る問合せ画像を画像照合用に収集することを可能とした画像照合システム、画像照合装置、画像照合方法、およびコンピュータプログラムを提供することができる。
実施形態1に係る画像照合システムの一例を示す概略図である。 実施形態1の画像照合装置の内部構成を示す概略図である。 実施形態1の画像照合装置の機能ブロック構成を示す概略図である。 実施形態1における端末の許容動作の一例を示すテーブル図である。 実施形態1の変形例としての画像照合システムの一例を示す概略図である。 実施形態1における端末の設定種別の一例を示すテーブル図である。 図1に開示した画像照合システムにおける端末に係る動作処理ステップを示すフローチャートである。 図1に開示した画像照合システムにおける全体の動作処理ステップを示すフローチャートである。 実施形態1における端末の設定種別の一例を示すテーブル図である。 実施形態2における顔画像を対象とした画像照合処理の説明図である。 実施形態2に係る画像照合システムにおける画像照合処理手順の一例を示す説明図である。
以下、本発明の実施形態について、その基本構成内容を説明する。なお、すべての図面において、同様の構成要素には同一の符号を付し、適宜に説明を省略する。
[実施形態1]
図1は、画像照合システム100全体の簡略図である。
画像照合システム100は、図1に示すように、異なる複数の通信端末(以下「端末」という)99a、99b、99c、および99dにネットワーク1を介して接続した画像照合装置10と、画像照合処理が必要な捜索事象に対応して予め設定された捜索事象関連情報を保持する関連情報記憶部12とを備えた構成を有する。
また、画像照合装置10は、各捜索事象に係るユーザに対応する一部の端末を選出端末として選出する端末選出部110と、選出端末として選出された端末(ここでは「99a」とする)による事象関連情報に対する閲覧アクセスを許容する制御を行う関連情報閲覧制御部111と、端末99aから送り込まれた画像データである問合せ画像と予め保存された画像データである蓄積画像との画像照合処理を行う照合処理制御部112を有する。
尚、本実施形態における、捜索事象としては、例えば、認知症の徘徊高齢者が失踪して行方不明となったことを示すものとする。このため、事象関連情報としては、捜索対象者である失踪した徘徊高齢者の顔写真の他、氏名、年齢、住所、性別、身長などの個人情報や、捜索要求を行った人や家族の氏名、住所、電話番号などを含む。また、捜索事象が発生した、すなわち、失踪したとされる場所を示す情報や、捜索に必要な情報全般を示すものとする。
また、照合処理制御部112は、端末99a、99b、99c、および99dそれぞれから送り込まれた画像データである問合せ画像と、蓄積画像記憶部13内に予め保存された画像データとしての蓄積画像との画像照合処理を行う。
端末選出部110は、捜索対象(捜索対象者)の知り合い、家族、関係者などの予め設定された関係者(捜索対象関係者)に対応する端末である端末99a(一部の端末に対応)を選出する。
また、端末選出部110は、捜索事象が発生した場合に、画像照合装置10に対して捜索要求者から送り込まれた捜索要求メッセージを受信し、事象内容などの情報を事象関連情報(捜索事象関連情報)として格納する。
尚、端末選出部110は、各捜索事象の内容に基づいて選出端末として決定するものであり、例えば、捜索事象の捜索対象がペットの犬である場合には、選出端末として、犬の飼い主、その家族、ペット捜索ボランティアなどの予め登録設定された関係者の携帯端末を示すものとする。
また、関連情報閲覧制御部111は、捜索対象の関連情報に対する閲覧アクセスを制御するので、本実施形態1では、選出端末である端末99aから捜索対象である行方不明となった高齢者の関連情報に対する閲覧アクセスがあった場合に、この閲覧アクセスを許容する制御を行う。
これにより、端末99aのユーザは、行方不明となった高齢者本人の情報や今回の失踪に関わる情報(捜索事象情報)を端末99aを利用して閲覧することができる。
このように、本実施形態1では、発生した捜索事象の関連情報(捜索対象情報)に対する閲覧を、この捜索対象に関係する、家族、親戚などの関係者(捜索対象関係者)や捜索に関わる警察やボランティアなどの捜索関係者に限定して許可する。このため、捜索対象情報がいたずらに閲覧されることを抑制しつつ、捜索対象の発見つながる可能性の高い問合せ画像を有効に収集し、その画像照合を行うことが可能となる。
また、選出端末に設定された端末99aから問合せ画像が送り込まれた場合に、照合処理制御部112は、この問合せ画像を照合対象(登録画像)として蓄積画像記憶部13に記憶された異なる照合画像それぞれとの類似度を示す照合スコアを算出する画像照合処理を行う。
この照合スコアが一定値を超える場合を照合成功として、照合処理制御部112は、蓄積画像から問い合わせ画像に対して照合成功した画像を抽出する。
尚、ネットワーク1は、インターネットやLAN(Local Area Network)などの種々のコンピュータネットワークまたはそれらの組み合わせで構成される。また、ネットワーク1に対して端末99a〜d(総称としては以下「端末99」という)、および画像照合装置10はそれぞれ有線、または無線通信により接続しているものとする。
また、本実施形態における画像照合装置10は、図2に示すように、コンピュータプログラムやデジタルデータを記憶保持するハードディスク・ドライブなどの2次記憶部としての記憶部23と、CPU(Central Processing Unit)を含み構成され記憶部23に格納されたコンピュータプログラムに基づく処理を行う主制御部、およびネットワーク1に対する画像照合装置10の通信インターフェイスを含む構成されたネットワーク1とのデータ通信の制御を行う通信部22を有するコンピュータであって、このコンピュータにおける機能動作により、図3に示す画像照合装置10における各機能ブロックにおける各種機能を実現する。
以下、画像照合装置10における各機能ブロックの機能動作について、図3を用いて詳説する。
画像照合装置10の関連情報閲覧制御部111は、発生した捜索事象に対応する事象関連情報のうち予め設定された一部の事象関連情報(以下「一部開示情報」という)を閲覧可能状態に設定する機能(一部開示設定機能)を備えている。
具体的には、関連情報閲覧制御部111は捜索事象関連情報である捜索対象者の属性情報のうち、性別、年齢、身長、顔写真など予め設定された一部の事象関連情報を示す一部開示情報を閲覧可能状態に設定するものとする。
また、端末選出部110は、捜索事象の要求者(捜索要求者)および捜索対象との関連がある対象関連者それぞれの端末を、一部開示情報に対する閲覧が許容された端末(以下「一部アクセス許可端末」という)として選出する(一部アクセス端末選出機能)。
また、端末選出部110は、捜索事象の要求者および捜索対象と関連がある対象関連者それぞれの端末(ここでは、端末99bとする)を、一部開示情報に対する閲覧が許容された一部アクセス許可端末として選出する(一部アクセス端末選出手段)。
このとき、照合処理制御部112は、一部アクセス許可端末に設定された端末99bから送り込まれた問合せ画像に対して画像照合処理を実行する。
尚、一部開示情報の内容は、捜索事象の要求者等により予め選択指定されているものとする。また、照合処理制御部112は、一部アクセス許可端末に設定された端末(ここでは、「99b」とする)から送り込まれた問合せ画像について、この問合せ画像の送信元の端末が一部アクセス許可端末として設定されている場合に限り、画像照合処理を実行するものとする。
また、上記一部アクセス端末選出機能で、捜索事象の要求者(捜索要求者)および捜索対象との関連があると判定される対象関連者としては、失踪した捜索対象者の捜索の要求を行った捜索要求者、捜索対象者のサークル仲間やSNS(ソーシャル・ネットワーク・サービス)を介してつながりのある端末ユーザなど、予め捜索対象者との交流関係がある、予め登録された者(捜索対象関連者)を示す。
ここでは、捜索対象関連者それぞれに対応付けられた端末99bを、一部開示情報に対する閲覧アクセスが許容された一部アクセス許可端末として選出するものする。
これにより、端末99bは、関連情報記憶部12に記憶された捜索対象者の関連情報(捜索事象関連情報)のうち予め設定された一部開示情報に対して閲覧アクセスを行うことが可能となる。
ここで、一部開示情報としては、捜索事象関連情報の一部である、性別、年齢、身長、顔写真、住所といった捜索対象者の属性情報、または、これらの情報の組み合わせが設定可能である。
これにより、画像照合装置10では、捜索対象者の個人情報(個人名など)を関係者以外の第三者に晒すことなく、画像照合用の捜索用の画像情報(問合せ画像)の収集を行うことが可能となる。
更に、画像照合装置10は、問合せ画像の撮影位置および撮影日時を示す情報を含むメタ情報を問合せ画像から収集するメタ情報収集部113を有する。
また、端末選出部110は、収集したメタ情報に基づいて設定した一定領域内で問合せ画像の撮影を行った端末(ここでは、端末99cとする。)があった場合には、この端末99cを捜索協力端末として選出する。
このとき、照合処理制御部112は、捜索協力端末である端末99cから送り込まれた問合せ画像に対して画像照合処理を実行する制御を行うものとする。
また、端末選出部110は、捜索協力端末に選出される前の状態(「一般端末」という)の端末99cから画像照合装置10に対して、発生した捜索事象に対する参加要求が送られた場合に、この端末99cを捜索協力端末として登録する設定であってもよい(捜索協力端末登録手段)。
これにより、端末選出部110は、図4に示すように、ネットワークを介して接続した各端末の種別を、選出端末、一部アクセス許可端末、捜索協力端末、および一般端末に分類する。
尚、図4は、選出端末は対応する捜索事象の捜索事象関連情報全てに対する閲覧アクセスが許可されており、一部アクセス許可端末は対応する捜索事象の一部の捜索事象関連情報である一部開示情報に対する閲覧アクセス許可されていることを示している。また、捜索協力端末および一般端末には、捜索事象関連情報への閲覧は許可されていないことが示されている。
また、図4では、問合せ画像の画像照合処理については、選出端末、一部アクセス許可端末、捜索協力端末に設定された端末から送られた問合せ画像に対してのみ、照合処理制御部112による画像照合処理が行われることが示されている。
尚、端末99a〜dそれぞれの種別設定は、図6に示すように、端末選出部110が有するテーブル情報で管理されているものとする。
また、図6では、特定の捜索事象に対応して、端末99aが選出端末に、端末99bは一部アクセス許可端末に、端末99cは捜索協力端末に、端末99dは問合せ画像送信用アプリが導入されていない一般端末にそれぞれ設定されていることが示されている。
端末選出部110は、端末識別番号(МACアドレスなど)を利用して、端末種別管理テーブル(図6)を生成し端末種別設定を管理する。これにより、端末選出部110は、端末種別数の変動、台数などを記録・管理する設定であってもよい。
尚、各端末99a〜dは、一般端末として設定されている状態下では、捜索用の問合せ画像撮影/送信用アプリを自己にインストールする際に、捜索事象に対する参加要求を画像照合装置10に対して送信するものとする。
これにより、端末99は、問合せ画像送信用アプリを自己にインストールすることで、一般端末から捜索協力端末に分類設定の変更が為される。
また、画像照合装置10は、捜索協力端末に設定された端末99cが撮影を行った地点から一定距離内で捜索事象が発生した場合に、当該捜索事象が発生したことを示す事象発生情報を、端末99cを含む捜索協力端末に設定された端末それぞれに通知する事象情報通知部114を備えている。
また、事象情報通知部114は、予め一部アクセス許可端末に設定された端末それぞれに対して、一部開示情報に対する閲覧アクセスが許可されたことを示す閲覧許可情報を通知してもよい。
これにより、事象情報通知部114は、選出端末および一部アクセス許可端末のユーザに対して、捜索が必要とされる捜索事象が近くの地域で発生したこと、そして、この捜索事象の捜索対象者の関連情報の一部が公開されていることを報知することができる。
また、端末選出部110は、捜索協力端末に設定された端末(例えば99c)から送られた問合せ画像の画像照合処理が成功した回数が予め設定された一定回数を上回った場合に、端末99cの設定状態である捜索協力端末を一部アクセス許可端末に設定してもよい。
更に、端末選出部110は、画像照合に成功した問合せ画像の撮影位置に基づいて、この撮影位置から一定距離内の領域に問合せ画像を撮影した捜索協力端末があった場合には、この捜索協力端末を一部アクセス許可端末として設定してもよい。
ここで、一定範囲内でかつ一定の時間幅で問合せ画像の撮影を行った端末が異なる複数台検知された場合は、全ての端末それぞれを一部アクセス許可端末に設定する。
端末選出部110は、捜索協力端末に設定された端末(ここでは99cとする)から送り込まれた問合せ画像の画像照合が成功した場合に、端末99cを一部アクセス許可端末として選出設定してもよい。
これにより、本実施形態の画像照合システムに対するコミットメントの高い端末(捜索協力端末)に対して捜索対象者情報の一部を開示することができる。このため、この捜索協力端末ユーザが捜索対象者の発見につながるような画像を撮影する可能性を有効に高めることができる。
また、関連情報閲覧制御部111は、一部アクセス許可端末として設定された端末(例えば99b)が一部開示情報を閲覧する際に必要なパスワードを生成する設定であってもよい。
このとき、事象情報通知部114が、端末99bに対して一部開示情報に対する閲覧アクセスが許可されたことを示す閲覧許可情報を通知するものとする。ここで通知される閲覧許可情報は、例えば、URL(Uniform Resource Locator)の形式であり、端末99bの表示画面上に表示される。
このとき、リンク情報としての閲覧許可情報を端末99bのユーザがタップ入力する(または、クリック入力する)ことで、閲覧アクセス要求が送信され、これにより、端末99bから関連情報閲覧制御部111に対して、対応する一部開示情報への閲覧アクセスが行われる設定であってもよい。
このとき、関連情報閲覧制御部111は、送り込まれた閲覧アクセス要求に含まれる要求種別情報に基づいて、その閲覧アクセス要求が閲覧許可情報がタップされたことによって送信されたものであるか否かを判別できるものとする。
ここで、関連情報閲覧制御部111は、閲覧アクセス要求が閲覧許可情報による入力操作(タップ入力)により送信されたものである場合には、予め設定されたパスワード認証が成功したものと判定する。
これにより、一部アクセス許可端末のユーザは、端末の表示画面上に表示されたリンク情報をタップ入力(クリック入力)するという簡易な操作により、一部開示情報に対して閲覧アクセスを行うことが可能となる。
また、関連情報閲覧制御部111では、送り込まれた閲覧アクセスがリンク情報に対する入力操作(タップ、クリック)により送信されたものであることが検知された場合、設定されたパスワード認証処理が成功したものと判定し、閲覧アクセスを許容する制御を行うものとする。
これにより、一部アクセス許可端末のユーザは、誤入力が起こりやすい、端末に対するパスワード入力を行うことなく、一部開示情報への閲覧アクセスを行うことができる。
尚、ここで設定されるパスワードは、一定時間ごとに無効になるワンタイムパスワードであってもよい。
また、これにより、問合せ画像送信用の専用アプリがインストールされていない端末(一般端末)に対しても、閲覧許可情報やパスワード付きの一部開示情報などを送ることができる。このため、一時開示情報を見て欲しいが専用アプリをインストールできない端末を利用している端末に対しても捜索事象に関する情報を提供することが可能となる。
また、閲覧アクセス用パスワード生成部117は、アクセス可能な一部開示情報毎にパスワードを生成する設定であってもよい。
これにより、例えば、一部アクセス許可端末e、fそれぞれで閲覧アクセス可能な一部開示情報が異なる場合でも異なる一部開示情報に紐付いたパスワードそれぞれを、異なる端末(例えば、99c、d)に送信することで、端末99c、dはそれぞれ異なる組み合わせとして設定された一部開示情報に対して閲覧アクセスを行うことが可能となる。
以上のように、本実施形態1では、捜索対象者である徘徊高齢者や失踪者(失踪した犬などのペット)の写真を公開する対象を限定し、失踪者の写真をある程度の関わりのある人たちに限定して公開することができる。
また、失踪者の写真や公開された個人情報が第三者にいたずらに閲覧されてしまうといったことを有効に抑制しつつも、失踪者の発見につながる可能性の高い問合せ画像を捜索協力者の端末(スマートフォンのアプリ)を利用することで収集することが可能となる。
[実施形態1の動作説明]
次に、実施形態1の動作内容について、その概略を説明する。
まず、端末選出部110が、各捜索事象に係るユーザに対応する一部の端末を選出端末とし(選出端末決定機能)、次いで関連情報閲覧制御部111が選出端末に選出された端末99aによる事象関連情報に対する閲覧アクセスを許容する制御を行い(関連情報閲覧制御機能)、次に、選出端末に選出された端末99aから問合せ画像が送り込まれた場合に、照合処理制御部112がこの問合せ画像に対する画像照合処理を実行する(照合処理制御機能)。
ここで、上記選出端末決定機能、関連情報閲覧制御機能、および照合処理制御機能については、その実行内容をプログラム化し、コンピュータに実行させるように構成してもよい。
次に、本実施形態である画像照合システム100の動作内容について、図7、図8のフローチャートに基づき説明する。
尚、図7はネットワーク1に接続した各端末99の設定を決定する際の動作を示す。ここでは、発生した捜索事象に対応する関連情報捜索事象関連情報としては、関連情報記憶部12に事象関連情報格納されているものとする。
ここで、端末99aが選出端末に選出される動作について説明する(S151〜S152)。
まず、捜索事象が発生する。次いで、端末選出部110が、発生した捜索事象における捜索対象に対応して、予め設定された関係者(対象関係者)の端末を選出端末として登録する(S151)。ここでは、端末99aが選出端末として登録される。
次に、関連情報閲覧制御部111が、端末99aに対して捜索事象が発生したこと、及び端末99aのユーザが捜索対象の関係者であることを通知する(S152)。
このとき、関連情報閲覧制御部111は、捜索事象関連情報に対する閲覧アクセスが許可されたことを示す閲覧許可情報を生成し、端末99aに通知してもよい。
また、この閲覧許可情報は閲覧許可情報への閲覧アクセス先を示すURLであってもよい。
これにより、端末99aでは、表示画面に出力されたこの閲覧許可情報の一部としてのURL(リンク情報)をタップ入力(またはクリック入力)することにより捜索事象開示情報への閲覧アクセスが行われる。
尚、捜索事象関連情報に対するアクセスには認証パスワードが設定されていてもよい。
この場合、端末99aが、通知された閲覧許可情報を介して捜索事象開示情報への閲覧アクセスを行った場合、すなわち、端末99aユーザが表示画面上のリンク情報に対してタップ入力することにより閲覧アクセスが行われた場合、関連情報閲覧制御部111は、パスワード認証処理が成功したものと判定し、端末99aからの閲覧アクセスを許容する制御を行う。
これにより、画像照合装置10は、問合せ画像が送り込まれるのを待機している状態に設定される。ここで、端末99aからネットワーク1を介して問合せ画像が送り込まれた場合、照合処理制御部112は、異なる複数の端末99それぞれから送り込まれた問合せ画像それぞれに対する画像照合処理を行う。
これにより、端末99aは捜索事象の捜索対象者に関わる全ての捜索事象関係情報に対して閲覧アクセスを行うことが可能となる。
このため、捜索事象関連情報(捜索対象の関連情報)に対する選出端末(例えば、端末99a)からの閲覧アクセスがあった場合に、これを許容する制御を行う
次いで、図9に示すように、予め捜索協力端末に設定された端末99bが、一部アクセス許可端末に設定されるまでの動作内容について説明する。
まず、画像照合が必要な捜索事象が発生した場合に、この捜索事象の事象内容などが画像照合装置10に通知される。
ここで、端末選出部110は、捜索対象の家族や関係者などの、予め設定されたユーザの端末を選出端末に設定する(S151)。
次に、事象情報通知部114が、当該捜索事象に対応して設定された選出端末である端末99aに対して、対応する捜索事象が発生したことを通知する(S152:捜索事象が発生したことを通知)。
また、捜索事象の事象内容などが通知されたときに、画像照合装置10の関連情報閲覧制御部111は、発生した捜索事象に対応する事象関連情報のうち予め設定された一部開示情報を閲覧可能状態に設定する(S161:一部開示情報を閲覧可能状態に設定)。
ここで、端末選出部110が、捜索対象と関連がある対象関連者としての端末99bを、一部アクセス許可端末として選出する(S162:一部アクセス許可端末を選出)。
これにより、端末選出部110では、一部開示情報に対する閲覧が許容された一部アクセス許可端末として端末99bが登録される。
次に、事象情報通知部114が、設定された一部アクセス許可端末である端末99bに対して、対応する捜索事象が発生したこと、および一部開示情報に対する閲覧アクセスが許可されたことを示す閲覧許可情報を通知する(S163:一部開示情報が閲覧可能であることを通知)。
このとき、関連情報閲覧制御部111は、一部開示情報に対する閲覧アクセスが許可されたことを示す閲覧許可情報を生成し、端末99bに通知する設定であってもよい。
更に、この閲覧許可情報は一部開示情報の閲覧アクセス先を示すURL等であってもよい。
これにより、端末99bでは、表示画面に出力されたこの閲覧許可情報の一部としてのURL(リンク情報)をユーザがタップ入力(クリック入力)することにより一部開示情報への閲覧アクセスが行われる。
尚、一部開示情報に対する閲覧アクセスには、予め認証パスワードが設定されていてもよい。
この場合、端末99bが、通知された閲覧許可情報を介して捜索事象開示情報への閲覧アクセスを行うことが可能となる。すなわち、端末99bユーザが端末99b表示画面上のリンク情報としての閲覧許可情報に対してタップ入力することにより、閲覧アクセスが行われる。
このとき、関連情報閲覧制御部111は、パスワード認証処理が成功したものと判定し、端末99bからの一部開示情報に対する閲覧アクセスを許容する制御を行う。
このとき、照合処理制御部112は、一部アクセス許可端末に設定された端末99bから問合せ画像が送り込まれるのを待機している状態になる(S180)。
次に、画像照合装置10の端末選出部110が、端末99cを捜索協力端末に設定する動作について説明する。
まず、端末99cユーザが問合せ画像の撮影/送信用のアプリ(以下「捜索画像問合せ用アプリ」という)を端末99cにインストールする(S171:端末アプリインストール)。
端末99cが捜索画像問合せ用アプリをインストールする過程で、捜索事象に対する捜索協力への参加要求を示す情報(以下「参加要求」という)が端末99cから画像照合装置10に対して送られる(S172:捜索参加要求)。
次いで、端末選出部110は、端末99cから送り込まれた参加要求に対応して端末99cを捜索協力端末として登録する(S173:捜索協力端末に登録)。これにより、一般端末と捜索協力端末とは区分される。
ここで、捜索協力端末として登録が完了したことを、捜索協力端末としての端末99cに通知する設定であってもよい。この場合、捜索協力端末に設定された端末99cから画像照合装置10に送り込まれた問合せ画像ついては、照合処理制御部112による画像照合処理が行われる。
ここで、画像照合装置10は、問合せ画像がネットワーク1を介して送り込まれるのを待っている状態(問合せ画像待ち状態)に設定される(S180)。
次いで、端末99それぞれから画像照合装置10へと問合せ画像が送られて画像照合処理が行われる動作について、図8のフローチャートに基づき説明する。
ここで、選出端末に設定された端末99a、一部アクセス許可端末に設定された端末99b、および捜索協力端末に設定された端末99cそれぞれのユーザが、端末a、b、およびcを利用して、捜索対象と思われる高齢者の写真を撮影し、その撮影画像である問合せ画像を画像照合用に画像照合装置10に送信する(S181:問合せ画像の撮影/送信)。
ここで、メタ情報収集部116は、端末99a、端末99b、および端末99cそれぞれから送り込まれた各問合せ画像における撮影位置、撮影時間を含むメタ情報を収集する(S182:メタ情報取得)。
ここで、メタ情報収集部116は、端末99cから送り込まれたメタ情報の解析を行い、この問合せ画像の送信元端末が選出端末、一部アクセス許可端末、または捜索協力端末のいずれかであるか否かの判別を行う(S183:送信元端末種別判別)。ここでは、送信元は捜索協力端末99cであったものとする。
ここで、送信元の端末が選出端末、一部アクセス許可端末、または捜索協力端末の何れかであることが確認された場合に、照合処理制御部112は、この問合せ画像に対する画像照合処理を実行する(S184:画像照合処理)。
ここで、照合処理制御部112は、問合せ画像に写った人物は捜索対象者である可能性が高いということ(「照合成功」という)を問合せ画像の送信元端末(ここでは、端末99c)に対して通知する(S185:照合成功を通知する)。
ここで、照合成功とは、具体的には、問合せ画像と捜索対象の顔写真との一致度合いが予め既定値を上回った場合に、照合成功と判定する(照合成功)。これにより、問合せ画像に写った人物は、捜索対象者である可能性が高いと判定されたことになる。
このとき、端末選出部110は、照合成功した問合せ画像を撮影した端末99cを一部アクセス許可端末に設定する(S186:一部アクセス許可端末に設定)。
これにより、端末99cは、一部アクセス許可端末として設定されたので、S163と同様に、事象情報通知部114が、一部アクセス許可端末である端末99cに対して、対応する捜索事象が発生したこと、および、一部開示情報に対する閲覧アクセスが許可されたことを示す閲覧許可情報を通知する(一部開示情報が閲覧可能であることを通知)。
これにより、端末99cユーザに一時開示情報が閲覧可能であることが報知される。このため、端末99cユーザはより確実性をもって捜索対象者と思われる人物の撮影を行うことが可能となる。
尚、端末99cは、一部開示情報の閲覧を行うことができる。
一部アクセス許可端末に設定された端末99cは、通知された閲覧許可情報を介して一部開示情報への閲覧アクセスを行う。
ここで、関連情報閲覧制御部111は、端末99cから送り込まれた閲覧アクセス要求が要求種別情報に対するタップ入力によって送信されたものであることを検知する。
このため、関連情報閲覧制御部111は、一部開示情報に設定されたパスワード認証が成功したものと判定し、端末99cからの閲覧アクセスを許容する。
次いで、閲覧可能となった一部開示情報が、例えば、性別と年齢(性別:男性、年齢:88歳)、そして顔写真であったものとする。これにより、端末99cのユーザは、閲覧した一部開示情報を手がかりとして、捜索対象と思われる人物の撮影を行うことが可能となる(S181へ)。
以上のように、本実施形態1では、発生した捜索事象に関連情報(捜索対象情報)に対する閲覧アクセスを、この捜索事象に関連する関連者(捜索関連者)に限定して許可する構成としたので、捜索対象情報がいたずらに閲覧されることを抑制しつつ、捜索対象の発見つながる可能性の高い問合せ画像を有効に収集し、画像照合を行うことが可能となる。
[実施形態1の変形例の構成]
次に、本実施形態1の変形例として、図5に示すように、ネットワークに接続して設置され、近距離無線通信により端末を無線検知する近距離無線通信装置50を設けた画像照合システム200について説明する。
画像照合システム200は、実施形態1のネットワーク1に対して近距離無線通信装置50を有線接続して設けた構成を有する。本変形例では、図5に示すように、近距離無線通信装置50が有線接続したネットワークをネットワーク2とする。
近距離無線通信装置50は、ネットワーク2に有線接続して設置され、その設定位置から一定距離内に位置する端末(例えば99d)を無線検知する。
ここで、一定距離内に位置する端末99dが一部アクセス許可端末であった場合には、事象情報通知部114が、近距離無線通信装置50を介してこれを検知し、端末99dに対して閲覧許可情報を通知する。
尚、近距離無線通信装置50は、例えば、コンビニエンスストアなどに設置され動作するものとする。これにより、近距離無線通信装置50は、自己を中心とする半径数mの円内に位置する端末(99a〜d)を近距離用無線通信により検知する。
また、近距離無線通信装置50は、コンビニエンスストアなどの商業施設や公共施設などに設置され、BLE(Bluetooth(登録商標) Low Energy)を利用した無線通信を行う。具体的にはBLEを使って特定のアプリが動作しているスマートフォンと通信を行う。
また、近距離無線通信装置50は、インターネット(ネットワーク2)に接続した状態で例えば店舗や役所等の公共の場所に設置されているものとする。ここで、近距離無線通信装置50は、端末(例えば、99a〜d)を近距離用無線通信により検知する。
また、近距離無線通信装置50は、自己の設置箇所から一定距離(「近距離無線領域」という)内に位置する一部アクセス許可端末または捜索協力端末を検知するものとする。
尚、近距離無線通信装置50は、自己と端末99との位置関係(距離)を測定することが可能であるため、測定された位置関係に応じて端末99に対して異なる通知、データなどを送信することができる。
また、近距離無線通信装置50の端末検知距離より長い事象領域距離内で捜索事象が発生した場合に、捜索協力端末(端末99d)を無線検知した近距離無線通信装置50が、事象情報通知部114から通知された捜索事象が事象領域距離内で発生したことを示す情報を捜索協力端末に対して通知する設定であってもよい。
尚、事象領域距離とは、近距離無線通信装置50の設置地点から、例えば、数kmを示すものとする。
また、近距離無線通信装置50は、自己から数メートルの距離領域に端末99dが位置する場合には、これを検知して、一部開示情報へのパスワードなどの情報をプッシュ通知を行う設定であってもよい。
[実施形態2]
次に、実施形態1の画像照合装置10に対して、他のサーバコンピュータシステムに保存された画像データを蓄積画像および問合せ画像として収集する構成を備えた実施形態2について、説明する。
本実施形態2の画像照合装置10は、画像データ内に含まれる人、犬、猫などの顔領域を含む顔画像(照合用顔画像)を抽出し収集する顔画像データ収集部120と、予め設定された捜索対象の正面顔画像を基準登録画像として、この基準登録画像と収集された照合用顔画像とを照合し、照合用顔画像それぞれにおける基準登録画像に対しての部分類似度としての照合スコアを算出する部分類似度算出部121と、照合スコアが一定値を上回る顔画像を蓄積画像として保存する部分類似画像判定部123を備えている。
ここで、部分類似画像判定部123は、照合用顔画像と基準登録画像について算出された顔領域における部分類似度が予め設定された一定割合を上回る場合に、この顔領域を含む顔画像を蓄積画像記憶部13に対して格納保存する。
すなわち、本実施形態2の画像照合装置10は、図3に示す実施形態1の画像照合装置10の内部構成に付して、上記顔画像データ収集部120、部分類似度算出部121、部分類似画像判定部123、問合せ顔画像収集部124、および関連ユーザ顔画像収集部125を備えた点が実施形態1と相違する。
以下、本実施形態2の画像照合装置10における内部構成について詳説する。
顔画像データ収集部120は、インターネット上のウェブサイトやブログなどを巡回検索することにより、人間、犬、猫などの顔領域を含む顔画像としての照合画像を収集する。
顔画像データ収集部120は、各画像に対する顔検出処理を行い、顔領域が検出された場合には画像中における顔領域を決定する。また、顔画像データ収集部120は、各顔画像中の顔領域における目、鼻、口端などの顔の特徴点を求める機能(顔特徴点検出機能)を備えていてもよい。
これにより、得られた特徴点位置に基づき照合処理用に顔領域の位置、大きさを正規化することができるため、部分類似度算出部121における照合処理の精度を有効に向上させることができる。
尚、部分類似度算出部121には、予め登録された捜索対象の正面顔画像が基準登録画像(マスター画像(M))として保存されているものとする。
部分類似度算出部121は、このマスター画像(M)に基づき、異なる複数の照合画像それぞれにおける顔領域の部分類似度を算出する。
ところで、照合画像として収集された顔画像には照明変動や部分遮蔽によって顔特徴点が欠落していたり、正面を向いていない姿勢変動画像が含まれる。
これらの照合画像は基準登録画像と比べると姿勢、照明の変化、表情や経年変化を伴っている場合があり、この場合、照合性能が低下してしまう。
このため、部分類似度算出部121には、顔画像中の顔領域の3次元形状を推定してレンダリングしたり、照明条件の異なる画像を生成して、これに基づき各顔画像における照合スコアを算出する。また、顔画像の顔領域から局所的な特徴を抽出し、この特徴を定量化することにより、照合スコアを算出してもよい。
尚、対象が犬や猫である場合には、基準登録画像における鼻紋における特徴に基づき照合スコアが算出されるものとする。また、この場合、捜索対象の色彩や大きさを画像内に写り込んだ物体の大きさに基づき推定することで、犬種や猫種を検出する設定であってもよい。
ここで、部分類似度とは、登録画像および照合画像における顔領域内の特徴的な部分における類似度の照合スコアを示すものとする。
部分類似画像判定部123は、照合スコアの値が一定値より高い場合に基準登録画像および照合画像における顔領域の人物は同一人物、すなわち照合画像の人物は登録画像の本人であると判定する。このとき、部分類似画像判定部123は、照合画像を蓄積画像として蓄積画像記憶部13に格納する。
これにより、本実施形態2の画像照合装置10は、姿勢変動や照明変動のある顔画像に対しても高精度な顔照合を行えるので、捜索対象者の顔画像として様々なアングルからの顔写真(顔画像)を蓄積画像として収集・保存することができ、更には、照合処理制御部112で実行される画像照合処理における照合精度を有効に向上させることが可能となる。
また、本実施形態2の画像照合装置10は、ウェブ上に保存された顔領域を含む画像データである顔画像を収集すると共に、当該顔画像におけるメタ情報に基づき捜索事象の発生の後にウェブに公開された顔画像を選出して取得する問合せ顔画像収集部124を備えている。
ここで、照合処理制御部112は、取得された顔画像を問合せ画像とする画像照合処理を行うものとする。
また、問合せ顔画像収集部124は、顔画像データ収集部120と同様に、取得した各画像に対する顔検出処理を行い、顔領域が検出された場合には画像中における顔領域を決定する設定であってもよい。また、各顔領域における目、鼻、口端などの顔の特徴点を求めると共に、得られた特徴点位置に基づき照合処理用に顔領域の位置、大きさを正規化する機能を備えていてもよい。
これにより、問合せ顔画像収集部124は、正規化した顔画像を問合わせ画像として部分類似度算出部121に送り込むことができ、このため、部分類似度算出部121における照合処理の精度を有効に向上させることができる。
更に、画像照合装置10は、捜索対象に関連するユーザアカウントに紐付けられたSNS(ソーシャル・ネットワーク・サービス)などのウェブアプリケーションサイトを対象として顔画像の収集を行う関連ユーザ顔画像収集部125を備えた構成としてもよい。
ここで、対象関係者としては、失踪した捜索対象の捜索の要求を行った捜索要求者や、捜索対象がペットである場合はその買主のサークル仲間やSNS(ソーシャル・ネットワーク・サービス)を介してつながりのある端末ユーザなどを含む。
また、顔画像の検索・収集を行う対象としては、捜索対象関連者が利用するウェブアプリケーション上で関連があることが検出されたユーザであり、そのユーザの利用するウェブアプリケーション上のウェブページや画像データベースなどを含む。
このため、関連ユーザ顔画像収集部125は、ユーザに紐付けられたソーシャルネットワークサービスやインターネット上のいわゆるクラウドに設定された画像データベースをユーザアカウントをクエリとして巡回検索する。
これにより、将来的に捜索対象者となり得る登録者や捜索対象に関連する顔画像や、登録者や捜索対象者が偶有的に写り込んだ顔画像を取得する可能性を有効に高めることが可能となる。
[実施形態2の動作説明]
捜索対象者の顔写真を含む画像データとしての顔画像を収集する顔画像データ収集部を備えた実施形態2の画像照合装置10の動作内容について説明する。
この実施形態2の画像照合装置10は、図10に示すように、予め設定された捜索対象者の正面顔画像を基準登録画像(マスター画像(M))として、このマスター画像(M)と顔画像データ収集部120が収集した1または異なる複数の画像データ(「照合画像」という)、例えばA〜Dそれぞれにおける顔領域の部分類似度を算出する。
また、画像照合装置10の部分類似画像判定部123が、算出された部分類似度が一定割合、または、予め設定されたしきい値を上回る場合には、照合画像はマスター画像の本人、下回る場合には他人と判定し、本人の画像であると判定した顔画像を蓄積画像として蓄積画像記憶部に格納する。
これにより、本実施形態2では、顔画像データ収集部120により収集された顔画像から、予め登録されたマスター画像に対してある程度幅をもった部分類似度を有する顔画像(図10のA、B、C、D)を抽出して蓄積画像として保存することが可能となる。
尚、顔画像データ収集部120により収集される顔画像は、捜索要求者等のような捜索対象の関係者や関連者によって供給されるたものを採用する設定としてもよい。
この場合、登録蓄積される画像には捜索対象が写っている可能性が高いため、本人一致のための照合しきい値を低く設定した場合でも、捜索対象とは異なる別人の顔画像が選ばれる可能性が抑制できる。
また、これにより、単体で個人特定ができない顔画像であっても、問合せ画像を対象とした画像照合を行う際に、その顔画像が有効となり得る写真を取得しやすくなる。
このため捜索用の画像照合に比べて緩やかな合致判定をして捜索対象(老人など)の多くの画像を蓄積画像として採用することで、捜索対象の様々な顔アングルを有することとなり、一人の捜索対象に対応して様々なアングルの他画像(照合用画像)を蓄積された、照合の精度の極めて高い画像照合装置(システム)が実現できる。
すなわち、蓄積画像記憶部13には、例えば、捜索対象者の様々な異なるアングル、明るさの顔写真が蓄積画像として保存されるので、照合処理制御部112で行われる画像照合処理の照合精度を有効に向上させることが可能となる。
尚、部分類似画像判定部123による類似度判定は、照合処理制御部112で行われる画像照合処理の判定に比べて、照合しきい値が低い、粗い判定が成されるものとする。これにより、蓄積画像として保存される画像には撮像対象とは異なる人物、犬、猫などが含まれることが考えられる。
しかしながら、照合処理制御部112で行われる画像照合処理の際には、問合せ画像として様々なアングルの顔画像が送り込まれるため、このような問合せ画像を照合の対象(登録画像)とした場合には、ある程度マスター画像との部分類似度が低い画像が照合画像(蓄積画像)に含まれていることにより画像照合の精度をより高めることが可能となる。
また、この実施形態2における画像照合装置10は、捜索事象発生後にウェブサーバ上に保存された顔写真を含む画像データである顔画像の収集を行う問合せ顔画像収集部を備えた構成であってもよい。
このとき、照合処理制御部112は、問合せ顔画像収集部により収集された顔画像を問合せ画像とする画像照合処理を行う。
以上のように、本実施形態2では、SNS(ソーシャル・ネットワーク・サービス)にアップされている顔写真や捜索対象者とは関連のない第三者の撮影した画像情報をも照合対象として利用する。このため、問合せ画像として多くの、多様なアングルの写真を照合することができるので、画像照合(顔認識)の精度を有効に高めることが可能となる。
また、この実施形態2では、捜索対象者とは無関係にSNSなどの他ウェブサイトやウェブアプリケーションのサイトをランダムに巡回検索する。このため、捜索事象に関連する画像、記事、関連情報を偶有的に取得することができ得る。
また、ここでは、この巡回検索によりランダムに取得された画像データを問合せ画像とする画像照合処理が実行される。このため、捜索対象者とは関連のないユーザによって撮影された画像内に偶然写り込んだ捜索対象者を検出することが可能となる。
本実施形態は以下の技術思想を包含する。
(1)ネットワークを介して端末から送り込まれた画像データである問合せ画像と予め保存された画像データである蓄積画像との画像照合処理を行う画像照合装置と、前記画像照合処理が必要な捜索事象それぞれに対応した事象関連情報を保持する関連情報記憶部とを有する画像照合システムであって、
前記画像照合装置は、
前記捜索事象それぞれに係るユーザに対応する一部の端末を選出端末として選出する端末選出部と、
前記選出端末による前記事象関連情報に対する閲覧アクセスを許容する制御を行う関連情報閲覧制御部と、
前記選出端末それぞれから前記問合せ画像が送り込まれた場合に前記画像照合処理を実行する照合処理制御部とを備えた画像照合システム。
(2)前記関連情報閲覧制御部は、前記捜索事象に対応する前記事象関連情報のうち予め設定された一部の事象関連情報を示す一部開示情報を閲覧アクセス可能な状態に設定し、
前記端末選出部は、前記捜索事象の捜索対象または捜索要求者に関連するユーザに対応する前記端末を前記一部開示情報に対しての閲覧アクセスが許容された一部アクセス許可端末として選出し、
前記照合処理制御部は、前記一部アクセス許可端末から送り込まれた前記問合せ画像に対して前記画像照合処理を実行する制御を行う(1)に記載の画像照合システム。
(3)前記画像照合装置は、前記問合せ画像の撮影位置および撮影日時を示す情報を含むメタ情報を前記問合せ画像から収集するメタ情報収集部を有し、
前記端末選出部は、前記メタ情報に基づき設定された一定領域内で前記問合せ画像の撮影を行った前記端末を捜索協力端末として選出し、
前記照合処理制御部は、前記捜索協力端末から送り込まれた前記問合せ画像に対して前記画像照合処理を実行する制御を行う(2)に記載の画像照合システム。
(4)前記捜索協力端末が撮影を行った地点から一定距離内で捜索事象が発生した場合に、前記捜索事象が発生したことを示す事象発生情報を前記捜索協力端末に通知する事象情報通知部を備えた(3)に記載の画像照合システム。
(5)前記事象情報通知部が前記一部アクセス許可端末に対して前記一部開示情報に対する前記閲覧アクセスが許可されたことを示す閲覧許可情報を通知する(4)に記載の画像照合システム。
(6)前記端末選出部は、前記捜索協力端末から送られた問合せ画像の前記画像照合処理が成功した回数が予め設定された一定回数を上回った場合に前記捜索協力端末を一部アクセス許可端末として選出する(4)または(5)に記載の画像照合システム。
(7)前記端末選出部は、前記画像照合に成功した問合せ画像の撮影位置に基づき当該撮影位置から一定距離内の領域で問合せ画像を撮影した前記捜索協力端末を一部アクセス許可端末として設定する(4)に記載の画像照合システム。
(8)前記端末選出部は、前記捜索協力端末から送り込まれた問合せ画像の画像照合が成功した場合に当該捜索協力端末を一部アクセス許可端末として設定する(4)から(7)のいずれか一項に記載の画像照合システム。
(9)前記ネットワークに接続して設置され当該設定位置から一定距離内に位置する前記端末を無線検知する近距離無線通信装置を有し、
前記一定距離内に位置する前記一部アクセス許可端末が検知された場合に、前記事象情報通知部が、前記一部アクセス許可端末に対して前記事象情報通知部が前記一部アクセス許可端末に対して前記一部開示情報に対する前記閲覧アクセスが許可されたことを示す閲覧許可情報を通知する(4)から(8)のいずれか一項に記載の画像照合システム。
(10)前記ネットワークに接続して設置され当該設置位置からの一定距離を示す検知距離内に位置する前記捜索協力端末を無線検知した近距離無線通信装置が、前記検知距離より長い一定距離を示す事象領域距離内で前記捜索事象が発生した場合に、前記事象情報通知部から通知された前記捜索事象が前記事象領域距離内で発生を示す情報を前記捜索協力端末に対して通知する(4)から(9)のいずれか一項に記載の画像照合システム。
(11)前記画像照合装置が、
ネットワークを介して取得した画像データから顔領域を検知することにより顔画像を抽出する顔画像収集部と、
予め設定された捜索対象者の正面顔画像を基準登録画像として前記顔画像それぞれにおける部分類似度を算出する部分類似度算出部と、
当該部分類似度が予め設定された一定値を上回る顔画像を前記蓄積画像として保存する部分類似画像判定部とを備えた(2)から(10)のいずれか一項に記載の画像照合システム。
(12)ウェブに公開された顔画像を収集すると共に、当該顔画像におけるメタ情報に基づき前記捜索事象の発生後に前記ウェブに公開された顔画像を前記照合処理制御部に対しての問合せ画像として選出収集する問合せ顔画像収集部を備えた(2)から(11)のいずれか一項に記載の画像照合システム。
(13)前記捜索対象に関連する捜索対象関連者のウェブ上におけるアカウントに紐付けられたウェブアプリケーションサイトを対象として前記顔画像の収集を行う関連ユーザ顔画像収集部を備えたことを特徴とする(12)に記載の画像照合システム。
(14)画像照合処理が必要な各捜索事象に対応する事象関連情報を保持する関連情報記憶部を有し、ネットワークを介して端末から送り込まれた画像データである問合せ画像と予め保存された画像データとの画像照合処理を行う画像照合装置であって、
前記各捜索事象に係るユーザに対応する一部の端末を選出端末として選出する端末選出部と、
前記選出端末による前記事象関連情報に対する閲覧アクセスを許容する制御を行う関連情報閲覧制御部と、
前記各選出端末から前記問合せ画像が送り込まれた場合に前記画像照合処理を実行する制御を行う照合処理制御手段とを備えたことを特徴する画像照合装置。
(15)画像照合処理が必要な各捜索事象に対応する事象関連情報を保持し、ネットワークを介して端末から送り込まれた画像データである問合せ画像と予め保存された画像データとの画像照合処理を行うための画像照合方法であって、
前記各捜索事象に係るユーザに対応する一部の端末を選出端末として選出し、前記選出端末に選出された前記端末による前記事象関連情報に対する閲覧アクセスを許容する制御を行い、前記各選出端末から前記問合せ画像が送り込まれた場合に前記画像照合処理を実行させることを特徴とする画像照合方法。
(16)画像照合処理が必要な各捜索事象に対応する事象関連情報を保持し、ネットワークを介して送り込まれた画像データである問合せ画像と予め保存された画像データとの画像照合を行う画像照合装置が有するコンピュータに実行させるためのコンピュータプログラムであって、
前記各捜索事象に係るユーザに対応する一部の端末を選出端末として選出する選出端末決定機能と、
前記選出端末による前記事象関連情報の閲覧を許容する制御を行う関連情報閲覧制御機能と、
前記各選出端末に選出された前記端末から前記問合せ画像が送り込まれた場合に前記画像照合処理を実行させる照合処理制御機能を含むコンピュータプログラム。
本発明は、高齢者の捜索の他、子供やペットの迷子捜索システムに対して有用に適用することができる。
100、200 画像照合システム
1、2 ネットワーク
10 画像照合装置
12 捜索関連情報記憶部
13 蓄積画像記憶部
21 主制御部
22 通信部
23 記憶部
50 近距離無線通信装置
99a、99b、99c、99d 端末
110 端末選出部
111 関連情報閲覧制御部
112 照合処理制御部
113 メタ情報収集部
114 事象情報通知部
120 顔画像データ収集部
121 部分類似度算出部
123 部分類似画像判定部
124 問合せ顔画像収集部
125 関連ユーザ顔画像収集部

Claims (16)

  1. ネットワークを介して端末から送り込まれた画像データである問合せ画像と予め保存された画像データである蓄積画像との画像照合処理を行う画像照合装置と、前記画像照合処理が必要な捜索事象それぞれに対応した事象関連情報を保持する関連情報記憶部とを有する画像照合システムであって、
    前記画像照合装置は、
    端末から参加要求を受信する通信部と、
    前記捜索事象それぞれに係るユーザに対応する一部の端末を選出端末として選出し、前記捜索事象の捜索対象または捜索要求者に関連するユーザに対応する一部の端末を一部アクセス許可端末として選出し、前記通信部に対して前記参加要求を送信した前記端末を捜索協力端末として選出する端末選出部と、
    前記選出端末による前記事象関連情報に対する閲覧アクセスを許容し、予め設定された一部の前記事象関連情報を示す一部開示情報を前記一部アクセス許可端末に対して閲覧アクセス可能な状態に設定し、前記事象関連情報および前記一部開示情報を前記捜索協力端末に対して閲覧アクセスが禁止された状態に設定する制御を行う関連情報閲覧制御部と、
    前記選出端末、前記一部アクセス許可端末および前記捜索協力端末から前記問合せ画像が送り込まれた場合に前記画像照合処理をそれぞれ実行する照合処理制御部と、を備え
    前記端末選出部が、前記照合処理制御部による前記画像照合処理により前記蓄積画像と照合成功した前記問合せ画像を送り込んだ前記捜索協力端末を、前記一部アクセス許可端末に設定することを特徴とする画像照合システム。
  2. 前記画像照合装置は、前記問合せ画像の撮影位置および撮影日時を示す情報を含むメタ情報を前記問合せ画像から収集するメタ情報収集部を有し、
    前記端末選出部は、前記メタ情報に基づき設定された一定領域内で前記問合せ画像の撮影を行った前記端末を前記捜索協力端末として選出し、
    前記照合処理制御部は、前記捜索協力端末から送り込まれた前記問合せ画像に対して前記画像照合処理を実行する制御を行う請求項1に記載の画像照合システム。
  3. 前記捜索協力端末が撮影を行った地点から一定距離内で捜索事象が発生した場合に、前記捜索事象が発生したことを示す事象発生情報を前記捜索協力端末に通知する事象情報通知部を備えた請求項2に記載の画像照合システム。
  4. 前記事象情報通知部が前記一部アクセス許可端末に対して前記一部開示情報に対する前記閲覧アクセスが許可されたことを示す閲覧許可情報を通知する請求項3に記載の画像照合システム。
  5. 前記端末選出部は、前記捜索協力端末から送られた問合せ画像の前記画像照合処理が成功した回数が予め設定された一定回数を上回った場合に前記捜索協力端末を一部アクセス許可端末として選出する請求項3または4に記載の画像照合システム。
  6. 前記端末選出部は、前記画像照合に成功した問合せ画像の撮影位置に基づき当該撮影位置から一定距離内の領域で問合せ画像を撮影した前記捜索協力端末を一部アクセス許可端末として設定する請求項5に記載の画像照合システム。
  7. 前記端末選出部は、前記捜索協力端末から送り込まれた問合せ画像の画像照合が成功した場合に当該捜索協力端末を一部アクセス許可端末として設定する請求項3から6のいずれか一項に記載の画像照合システム。
  8. 前記ネットワークに接続して設置され当該設定位置から一定距離内に位置する前記端末を無線検知する近距離無線通信装置を有し、
    前記一定距離内に位置する前記一部アクセス許可端末が検知された場合に、前記事象情報通知部が、前記一部アクセス許可端末に対して、前記事象情報通知部が前記一部アクセス許可端末に対して前記一部開示情報に対する前記閲覧アクセスが許可されたことを示す閲覧許可情報を通知する請求項3から7のいずれか一項に記載の画像照合システム。
  9. 前記ネットワークに接続して設置され当該設置位置からの一定距離を示す検知距離内に位置する前記捜索協力端末を無線検知した近距離無線通信装置が、前記検知距離より長い一定距離を示す事象領域距離内で前記捜索事象が発生した場合に、前記事象情報通知部から通知された前記捜索事象が前記事象領域距離内で発生を示す情報を前記捜索協力端末に対して通知する請求項3から8のいずれか一項に記載の画像照合システム。
  10. 前記画像照合装置が、
    前記蓄積画像を保存する蓄積画像記憶部と、
    ネットワークを介して取得した画像データから顔領域を検知することにより顔画像を抽出する顔画像収集部と、
    前記捜索事象にかかる捜索対象者が写り込んだ正面顔画像を基準登録画像として前記顔画像それぞれにおける部分類似度を算出する部分類似度算出部と、
    当該部分類似度が予め設定された一定値を上回る顔画像を前記蓄積画像として前記蓄積画像記憶部に保存する部分類似画像判定部とを備えた請求項1から9のいずれか一項に記載の画像照合システム。
  11. 前記部分類似画像判定部は、前記一定値である第一の照合しきい値を上回る前記顔画像を前記蓄積画像として前記蓄積画像記憶部に保存し、
    前記照合処理制御部は、送り込まれた前記問合せ画像と前記蓄積画像記憶部に保存された複数の前記蓄積画像との部分類似度を算出し、当該部分類似度が前記第一の照合しきい値よりも高い第二の照合しきい値を上回る場合に照合成功と判定する請求項10に記載の画像照合システム。
  12. ウェブに公開された顔画像を収集すると共に、当該顔画像におけるメタ情報に基づき前記捜索事象の発生後に前記ウェブに公開された顔画像を前記照合処理制御部に対しての問合せ画像として選出収集する問合せ顔画像収集部を備えた請求項1から11のいずれか一項に記載の画像照合システム。
  13. 前記捜索対象に関連する捜索対象関連者のウェブ上におけるアカウントに紐付けられたウェブアプリケーションサイトを対象として前記顔画像の収集を行う関連ユーザ顔画像収集部を備えたことを特徴とする請求項12に記載の画像照合システム。
  14. 画像照合処理が必要な各捜索事象に対応する事象関連情報を保持する関連情報記憶部を有し、ネットワークを介して端末から送り込まれた画像データである問合せ画像と予め保存された画像データとの画像照合処理を行う画像照合装置であって、
    端末から参加要求を受信する通信部と、
    前記各捜索事象に係るユーザに対応する一部の端末を選出端末として選出し、前記捜索事象の捜索対象または捜索要求者に関連するユーザに対応する一部の端末を一部アクセス許可端末として選出し、前記通信部に対して前記参加要求を送信した前記端末を捜索協力端末として選出する端末選出部と、
    前記選出端末による前記事象関連情報に対する閲覧アクセスを許容し、予め設定された一部の前記事象関連情報を示す一部開示情報を前記一部アクセス許可端末に対して閲覧アクセス可能な状態に設定し、前記事象関連情報および前記一部開示情報を前記捜索協力端末に対して閲覧アクセスが禁止された状態に設定する制御を行う関連情報閲覧制御部と、
    前記選出端末、前記一部アクセス許可端末および前記捜索協力端末から前記問合せ画像が送り込まれた場合に前記画像照合処理をそれぞれ実行する制御を行う照合処理制御手段とを備え、
    前記端末選出部が、前記照合処理制御部による前記画像照合処理により前記蓄積画像と照合成功した前記問合せ画像を送り込んだ前記捜索協力端末を、前記一部アクセス許可端末に設定することを特徴する画像照合装置。
  15. 画像照合処理が必要な各捜索事象に対応する事象関連情報を保持し、ネットワークを介して端末から送り込まれた画像データである問合せ画像と予め保存された画像データとの画像照合処理を行うための画像照合方法であって、
    前記各捜索事象に係るユーザに対応する一部の端末を選出端末として選出し、前記捜索事象の捜索対象または捜索要求者に関連するユーザに対応する一部の端末を一部アクセス許可端末として選出し、前記通信部に対して前記参加要求を送信した前記端末を捜索協力端末として選出し、
    前記選出端末による前記事象関連情報に対する閲覧アクセスを許容し、予め設定された一部の前記事象関連情報を示す一部開示情報を前記一部アクセス許可端末に対して閲覧アクセス可能な状態に設定し、前記事象関連情報および前記一部開示情報を前記捜索協力端末に対して閲覧アクセスが禁止された状態に設定する制御を行い、
    前記選出端末、前記一部アクセス許可端末および前記捜索協力端末から前記問合せ画像が送り込まれた場合に前記画像照合処理をそれぞれ実行する制御を行い、
    前記画像照合処理により前記蓄積画像と照合成功した前記問合せ画像を送り込んだ前記捜索協力端末を、前記一部アクセス許可端末に設定することを特徴とする画像照合方法。
  16. 画像照合処理が必要な各捜索事象に対応する事象関連情報を保持し、ネットワークを介して送り込まれた画像データである問合せ画像と予め保存された画像データとの画像照合を行う画像照合装置が有するコンピュータに実行させるためのコンピュータプログラムであって、
    前記各捜索事象に係るユーザに対応する一部の端末を選出端末として選出し、前記捜索事象の捜索対象または捜索要求者に関連するユーザに対応する一部の端末を一部アクセス許可端末として選出し、前記通信部に対して前記参加要求を送信した前記端末を捜索協力端末として選出する選出端末決定処理と、
    前記選出端末による前記事象関連情報の閲覧を許容し、予め設定された一部の前記事象関連情報を示す一部開示情報を前記一部アクセス許可端末に対して閲覧アクセス可能な状態に設定し、前記事象関連情報および前記一部開示情報を前記捜索協力端末に対して閲覧アクセスが禁止された状態に設定する制御を行う関連情報閲覧制御処理と、
    前記選出端末、前記一部アクセス許可端末および前記捜索協力端末から前記問合せ画像が送り込まれた場合に前記画像照合処理をそれぞれ実行する照合処理制御処理と、
    前記画像照合処理により前記蓄積画像と照合成功した前記問合せ画像を送り込んだ前記捜索協力端末を、前記一部アクセス許可端末に設定する処理と、
    前記コンピュータに実行させるコンピュータプログラム。
JP2014175706A 2014-08-29 2014-08-29 画像照合システム、画像照合装置、画像照合方法、およびコンピュータプログラム Active JP5760131B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014175706A JP5760131B1 (ja) 2014-08-29 2014-08-29 画像照合システム、画像照合装置、画像照合方法、およびコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014175706A JP5760131B1 (ja) 2014-08-29 2014-08-29 画像照合システム、画像照合装置、画像照合方法、およびコンピュータプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015115985A Division JP2016051466A (ja) 2015-06-08 2015-06-08 画像照合システム

Publications (2)

Publication Number Publication Date
JP5760131B1 true JP5760131B1 (ja) 2015-08-05
JP2016051293A JP2016051293A (ja) 2016-04-11

Family

ID=53887610

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014175706A Active JP5760131B1 (ja) 2014-08-29 2014-08-29 画像照合システム、画像照合装置、画像照合方法、およびコンピュータプログラム

Country Status (1)

Country Link
JP (1) JP5760131B1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017068506A (ja) * 2015-09-29 2017-04-06 日本電気株式会社 情報処理装置、情報処理システム、制御方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004062616A (ja) * 2002-07-30 2004-02-26 Fuji Photo Film Co Ltd 探索システムおよびカメラ付き無線端末
JP2007133595A (ja) * 2005-11-09 2007-05-31 Omron Corp 照会システム
JP2010250529A (ja) * 2009-04-15 2010-11-04 Yahoo Japan Corp 画像検索装置、画像検索方法及びプログラム
JP2010256964A (ja) * 2009-04-21 2010-11-11 Nec Biglobe Ltd 行方不明通知システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004062616A (ja) * 2002-07-30 2004-02-26 Fuji Photo Film Co Ltd 探索システムおよびカメラ付き無線端末
JP2007133595A (ja) * 2005-11-09 2007-05-31 Omron Corp 照会システム
JP2010250529A (ja) * 2009-04-15 2010-11-04 Yahoo Japan Corp 画像検索装置、画像検索方法及びプログラム
JP2010256964A (ja) * 2009-04-21 2010-11-11 Nec Biglobe Ltd 行方不明通知システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017068506A (ja) * 2015-09-29 2017-04-06 日本電気株式会社 情報処理装置、情報処理システム、制御方法、及びプログラム

Also Published As

Publication number Publication date
JP2016051293A (ja) 2016-04-11

Similar Documents

Publication Publication Date Title
US20190258849A1 (en) Facial recognition pet identifying system
AU2012219277B2 (en) Facial recognition
US20080288523A1 (en) Event-based digital content record organization
WO2015186447A1 (ja) 情報処理装置、撮影装置、画像共有システム、情報処理方法およびプログラム
JP2011054009A (ja) 迷子札システム
JP7243413B2 (ja) 見守りシステム、通知装置および通知方法
US20160294960A1 (en) Systems, Devices And Methods For Person And Object Tracking And Data Exchange
WO2016199662A1 (ja) 画像情報処理システム
JP4823758B2 (ja) 画像管理サーバ
US20140201369A1 (en) Information management device, information management program, and information management method
JP2022021938A (ja) 入退場管理装置、入退場管理方法、入退場管理プログラム、および入退場管理システム
JP6776700B2 (ja) 災害用情報管理システム、および、災害用情報管理方法
WO2016088401A1 (ja) 防犯システム
JP2016122300A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2019153920A (ja) 情報処理装置、情報処理装置の制御方法、被写体検出システム、及び、プログラム
WO2015016262A1 (ja) 情報処理装置、認証システム、認証方法、及びプログラム
US11418496B2 (en) Image capture system and application control method
JP2022059626A (ja) チケット発券システム、検札装置、およびプログラム
JP5760131B1 (ja) 画像照合システム、画像照合装置、画像照合方法、およびコンピュータプログラム
JP2024040203A (ja) 人物検出装置、人物追跡装置、人物追跡システム、人物検出方法、人物追跡方法、人物検出プログラム及び人物追跡プログラム
JP2016051466A (ja) 画像照合システム
JP7210163B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2015072633A (ja) 画像処理装置及びプログラム
WO2022176342A1 (ja) 情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体
US20210286978A1 (en) Face detection method and server

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150519

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150608

R150 Certificate of patent or registration of utility model

Ref document number: 5760131

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350