JP6193739B2 - 顔認証会議システム - Google Patents

顔認証会議システム Download PDF

Info

Publication number
JP6193739B2
JP6193739B2 JP2013239831A JP2013239831A JP6193739B2 JP 6193739 B2 JP6193739 B2 JP 6193739B2 JP 2013239831 A JP2013239831 A JP 2013239831A JP 2013239831 A JP2013239831 A JP 2013239831A JP 6193739 B2 JP6193739 B2 JP 6193739B2
Authority
JP
Japan
Prior art keywords
attendance
face
meeting
conference
attendees
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013239831A
Other languages
English (en)
Other versions
JP2015099537A (ja
Inventor
孝浩 斉藤
孝浩 斉藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Priority to JP2013239831A priority Critical patent/JP6193739B2/ja
Publication of JP2015099537A publication Critical patent/JP2015099537A/ja
Application granted granted Critical
Publication of JP6193739B2 publication Critical patent/JP6193739B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明の実施形態は、顔認証会議システムに関する。
機密情報を扱う会議に関係者以外の者が出席することはセキュリティー上問題がある。従来は、身分証明書等によって人間が目視確認を行うことによって第三者の会議への出席を阻止してきた。
しかし、出席者が互いに見知らぬ者である場合、第三者が会議の場に入り込む可能性は依然としてある。
この点に関し、出席者の顔を顔認識アルゴリズムによって判定し、出席者の人数を計数して配布資料の印刷部数を決定するシステムが提案されている。
しかし、このシステムによっても第三者が会議に入り込むことを阻止できない。
特開2010−74683号公報
本発明の実施形態が解決しようとする課題は、会議への第三者の出席を効率的に発見できる顔認証会議システムを提供することである。
本実施形態の顔認証会議システムは、会議の出席者の顔を撮像する撮像部と、議出席者予定の顔写真データと会議への出欠を示す出欠フラグを含む会議出席予定者情報を格納する出席簿ファイルを格納する記憶部と、出席確認指示が入力された場合に、前記撮像部によって出席者を撮像し、前記撮像部によって撮像した会議出席者の顔に該当する顔写真から抽出した特徴量と前記出席簿ファイルが格納する会議出席予定者の顔写真から抽出した特徴量とを比較し、前記会議出席予定者のうち、会議に出席した者、欠席した者および会議出席予定者でない第三者を判定し、この判定結果から前記出欠フラグを更新し、前記第三者を判定した場合、アラームを発報する制御部と、を有する。
撮像部を有する電子黒板の外観斜視図である。 図1におけるAA線断面図である。 第1の実施形態の顔認証会議システムの構成を示すブロック図である。 出席簿ファイルのデータ構成を示す図である。 パソコンが出力する会議出席記録の例を示す図である。 第1の実施形態の顔認証会議システムの動作を示すフローチャートである。 第2の実施形態の顔認証会議システムの構成を示すブロック図である。 パソコンの指示により電子黒板が出力する会議出席記録の例を示す図である。
以下、顔認証会議システムの一実施形態について、図面を用いて詳細に説明する。
本実施形態の顔認証会議システムは、会議の出席者の顔を撮像する撮像部と、少なくとも顔写真データを格納するサーバから読み出した会議出席者予定の顔写真データのファイル名を含む会議出席予定者情報を格納する出席簿ファイル、及び撮像部によって撮像した会議出席者の顔に該当する顔写真が、出席簿ファイルが格納するファイル名の顔写真データにないと判定した場合、アラームを発報する制御部を備えるパソコンと、を備える。
図1は、顔認証会議システムに用いられる撮像部101を有する電子黒板1の外観斜視図である。図1に示すように、電子黒板1は、筆記した画像を担持する筆記面11と、電源スイッチ12と、タッチパネル、各種スイッチなどの情報を入出力する装置である入出力部13と、外部機器との通信を行う通信ポート14と、記録媒体に画像形成するプリンタ15と、会議への出席者の顔を撮像する撮像部101と、を備える。
筆記面11は、シート状でも板状でもよい。板状の場合、撮像部27は筆記面11を移動しながら撮像する。以下、筆記面11がシート状の場合を例に説明する。
入出力部13は、タッチパネルであることが操作性の面で優れているが、スイッチ類をもちいて構成してもよい。以下、入出力部13がタッチパネルである場合を例に説明する。
通信ポート14は、例えばUSB(Universal Serial Bus)を採用することができるが、これに限られるものではない。
撮像部101は、カメラと、通信を行う通信部と、を備え、電子黒板1の出席者に面する部位、例えば筆記面11の上端部に設置される。撮像部101は、電子黒板1と一体に形成されていても、着脱可能な別体として形成されていてもよい。
図2は、図1におけるAA線断面図である。図2に示すように、電子黒板1は、無端状のシートにより形成される筆記面11と、筆記面11を回転させる駆動ローラ21及び従動ローラ22と、筆記面11に光を照射するライト24と、筆記面11が反射したライト24により照射された光を反射するミラー25と、反射した光を集光するレンズ26と、集光された光を電気信号に変換するCCD(Charge Coupled Device)センサなどの撮像センサ27と、を備える。撮像部27は、モノクロセンサであってもカラーセンサであってもよい。
電子黒板1は、入出力部13から印刷指示がなされると、ライト24を点灯し、駆動ローラ21を駆動させて筆記面11を回転させる。
電子黒板1は集光された反射光を順次電気信号に変え、2値化して筆記面画像データを生成する。
(第1の実施形態)
図3は、本実施形態の顔認証会議システムの構成を示すブロック図である。図3に示すように、顔認証会議システムは、撮像部101と、顔認証を行うコンピュータであるパソコン2と、従業員情報を格納するサーバ3と、を備える。従業員情報は、従業員及び会議出席予定者の顔を含む。
パソコン2は、演算装置であるCPU(Central Processing uit)を含む制御部201と、メモリ、ハードディスクドライブなどの記憶装置を含む記憶部202と、通信を行う通信部203と、を備える。
パソコン2はさらに、キーボード、ディスプレイ、マウス等の入出力部を備える。
記憶部202は、顔写真を含む会議への出席者に関する情報を格納する出席簿ファイル202Aを格納する。
通信部203は、撮像部101及びサーバ3と通信を行う。
サーバ3は、演算装置であるCPUを含む制御部301と、メモリ、ハードディスクドライブなどの記憶装置を含む記憶部302と、通信を行う通信部303と、を備える。
記憶部302は、従業員及び会議出席予定者に関する情報を格納する従業員マスタ302Aを格納する。従業員及び会議出席予定者に関する情報は、顔写真、従業員に固有に割り当てられるID No.、氏名、所属などを含む。
なお、従業員以外の会議出席予定者の情報は、サーバ3の従業員マスタ302Aに登録しても、直接にパソコン2の出席簿ファイルに202Aに登録してもよい。
図4は、出席簿ファイル202Aのデータ構成を示す図である。図4に示すように、出席簿ファイル202Aは、従業員に固有に割り当てられる「ID No.」と、会議出席予定の者の「氏名」と、会議出席予定の者の「所属」と、会議出席予定の者の顔写真データへのファイル名を示す「顔写真」と、会議への出欠を示す「出欠」と、を格納する。
具体的なデータの例は、ID No.が「10123」、氏名が「○山△男」、所属が「開発1課」、顔写真が「10123.jpg」、出欠が「出」である。
パソコン2は、まず会議への出席予定者の氏名、所属乃至ID No.を入出力部から入力する。
パソコン2は、サーバ3の従業員マスタ302Aを従業員の氏名、所属乃至ID No.に基づいて検索し、会議への出席予定者の顔写真のデータファイルを読み出し、読み出したデータファイルを記憶部202に格納する。パソコン2は、読み出した顔写真のデータファイルのファイル名を出席簿ファイル202Aの顔写真に格納する。
なお、出欠のデータは、当初全て「欠」となっている。
図5は、パソコン2がパソコン2に接続されるプリンタから出力する会議出席記録の例を示す図である。図5に示すように、パソコン2は、会議に出席した者及び欠席した者をそれぞれまとめて出力する。
会議への出欠の確認は、撮像部101が撮像した出席者の顔の画像と、出席簿ファイル202Aにファイル名が格納されている顔写真とを比較して顔認識アルゴリズムによって判定する。顔認識アルゴリズムは、公知の物を適宜選択して使用できる。
図6は、顔認証会議システムの動作を示すフローチャートである。ユーザーは、会議への出席予定者の氏名、所属乃至ID No.をパソコン2の入出力部から入力する。
パソコン2から会議への出席予定者の氏名、所属乃至ID No.が入力されると、ステップ601において、パソコン2の制御部201は、サーバ3の従業員マスタ302Aを従業員の氏名、所属乃至ID No.に基づいて検索し、会議への出席予定者の顔写真のデータファイルを抽出して読み出す。
ステップ602において、パソコン2の制御部201は、入力した会議出席予定者に関する情報及び読み出した顔写真データを記憶部202に格納する。パソコン2は、読み出した顔写真のデータファイルのファイル名を出席簿ファイル202Aの顔写真に格納する。
ステップ603において、パソコン2の制御部201は出席確認の指示が入力されたかを判定する。パソコン2は、出席確認の指示が入力されたと判定した場合ステップ604に進み、入力されたと判定しない場合、ステップ603に戻る。
ステップ604において、パソコン2の制御部201は撮像部101によって会議出席者の顔を撮像し、記憶部202に一時的に格納する。
ステップ605において、パソコン2の制御部201は、撮像した出席者の顔を一人ずつ顔認識する。すなわち、パソコン2の制御部201は撮像した出席者の顔の特徴量を一人ずつ抽出する。
ステップ606において、パソコン2の制御部201は出席予定者の顔写真から抽出した特徴量と、撮像した出席者の顔の特徴量とを比較する。
ステップ607において、パソコン2の制御部201は、撮像した出席者の顔と特徴量の差が閾値以下の該当者があるかを判定する。パソコン2の制御部201は、出席簿ファイル202Aに該当者があると判定した場合、ステップ608に進み、該当者がいないと判定した場合ステップ611に進む。
ステップ608において、パソコン2の制御部201は出欠フラグに「出」を格納する。
ステップ609において、パソコン2の制御部201は出席記録のプリント指示があるかを判定する。パソコン2の制御部201は、出席記録のプリント指示があると判定した場合、ステップ610に進み、プリント指示がないと判定した場合、ステップ603に戻る。
ステップ610において、パソコン2の制御部201は出席記録をプリンタから出力する。
ステップ611において、パソコン2の制御部201はアラームを発報する。
以上述べたように、本実施形態の顔認証会議システムは、会議の出席者の顔を撮像する撮像部101と、従業員及び会議出席予定者の顔を含む従業員情報を格納するサーバ3と、サーバ3から読み出した会議出席者予定の顔写真データのファイル名を含む会議出席予定者情報を格納する出席簿ファイル202A、及び撮像部101によって撮像した会議出席者の顔に該当する顔写真が、出席簿ファイル202Aが格納するファイル名の顔写真データにないと判定した場合、アラームを発報する制御部201を備えるパソコン2と、を備える。
従って、互いに見知らぬ者が会議に出席する場合でも、第三者がまぎれ込むことを阻止することができるという効果がある。
(第2の実施形態)
図7は、顔認証会議システムの構成を示すブロック図である。図7に示すように、顔認証会議システムは、撮像部101を備える電子黒板1と、顔認証を行うコンピュータであるパソコン2と、従業員及び会議出席予定者の顔を含む従業員情報を格納するサーバ3と、を備える。
電子黒板1は、演算装置であるCPUを含む制御部110と、メモリ、ハードディスクドライブなどの記憶装置を含む記憶部102と、通信を行う通信部103と、記録媒体に画像形成する画像形成部104と、ライト24を駆動させる照明駆動部105と、筆記面11を回転させる筆記部駆動部106と、会議の出席者の顔を撮像する撮像部101と、を備える。
パソコン2は、演算装置であるCPUを含む制御部201と、メモリ、ハードディスクドライブなどの記憶装置を含む記憶部202と、通信を行う通信部203と、を備える。
パソコン2はさらに、キーボード、ディスプレイ、マウス等の入出力部を備える。
記憶部202は、顔写真を含む会議への出席者に関する情報を格納する出席簿ファイル202Aを格納する。
通信部203は、撮像部101及びサーバ3と通信を行う。
サーバ3は、演算装置であるCPUを含む制御部301と、メモリ、ハードディスクドライブなどの記憶装置を含む記憶部302と、通信を行う通信部303と、を備える。
記憶部302は、顔写真、従業員に固有に割り当てられるID No.、氏名、所属などを含む従業員及び会議出席予定者に関する情報を格納する従業員マスタ302Aを格納する。
なお、従業員以外の会議出席予定者の情報は、サーバ3の従業員マスタ302Aに登録しても、直接にパソコン2の出席簿ファイルに202Aに登録してもよい。
出席簿ファイル202Aのデータ構成は第1の実施形態の出席簿ファイル202Aのデータ構成と同様である。
ユーザーは、会議への出席予定者の氏名、所属乃至ID No.をパソコン2の入出力部から入力する。
パソコン2の制御部201は、サーバ3の従業員マスタ302Aを従業員の氏名、所属乃至ID No.に基づいて検索し、会議への出席予定者の顔写真のデータファイルを読み出し、記憶部202に格納する。パソコン2の制御部201は、読み出した顔写真のデータファイルのファイル名を出席簿ファイル202Aの顔写真に格納する。
なお、出欠のデータは、当初全て「欠」となっている。
図8は、パソコン2の制御部201の指示により電子黒板1が出力する会議出席記録の例を示す図である。図8に示すように、電子黒板1は、パソコン2の制御部201の指示に基づいて会議に出席した者及び欠席した者をそれぞれまとめて、筆記面11に筆記された文字又は図とともに出力する。
会議への出欠の確認は、撮像部101が撮像した出席者の顔の画像と、出席簿ファイル202Aにファイル名が格納されている顔写真とを比較して顔認識アルゴリズムによって判定する。顔認識アルゴリズムは、公知の物を適宜選択して使用できる。
顔認証会議システムの動作を示すフローチャートは図6と同様であるため、図6を用いて説明する。
図6に示すように、ユーザーは、会議への出席予定者の氏名、所属乃至ID No.をパソコン2の入出力部から入力する。
パソコン2から会議への出席予定者の氏名、所属乃至ID No.が入力されると、ステップ601において、パソコン2の制御部201は、サーバ3の従業員マスタ302Aを従業員の氏名、所属乃至ID No.に基づいて検索し、会議への出席予定者の顔写真のデータファイルを抽出して読み出す。
ステップ602において、パソコン2の制御部201は、入力した会議出席予定者に関する情報及び読み出した顔写真データを記憶部202に格納する。パソコン2は、読み出した顔写真のデータファイルのファイル名を出席簿ファイル202Aの顔写真に格納する。
ステップ603において、パソコン2の制御部201は出席確認の指示が入力されたかを判定する。パソコン2は、出席確認の指示が入力されたと判定した場合ステップ604に進み、入力されたと判定しない場合、ステップ603に戻る。
ステップ604において、パソコン2の制御部201は電子黒板1が備える撮像部101によって会議出席者の顔を撮像し、記憶部202に一時的に格納する。
ステップ605において、パソコン2の制御部201は、撮像した出席者の顔を一人ずつ顔認識する。すなわち、パソコン2の制御部201は撮像した出席者の顔の特徴量を一人ずつ抽出する。
ステップ606において、パソコン2の制御部201は出席予定者の顔写真から抽出した特徴量と、撮像した出席者の顔の特徴量とを比較する。
ステップ607において、パソコン2の制御部201は、撮像した出席者の顔と特徴量の差が閾値以下の該当者があるかを判定する。パソコン2の制御部201は、出席簿ファイル202Aに該当者があると判定した場合、ステップ608に進み、該当者がいないと判定した場合ステップ611に進む。
ステップ608において、パソコン2の制御部201は出欠フラグに「出」を格納する。
ステップ609において、パソコン2の制御部201は出席記録のプリント指示があるかを判定する。パソコン2の制御部201は、出席記録のプリント指示があると判定した場合、ステップ610に進み、プリント指示がないと判定した場合、ステップ603に戻る。
ステップ610において、パソコン2の制御部201は電子黒板1に出席記録を出力するように指示する。電子黒板1は、この指示を受けて出席記録を筆記面11の記載された文字及び図とともにプリンタから出力する。
ステップ611において、パソコン2はアラームを発報する。
以上述べたように、本実施形態の顔認証会議システムは、会議の出席者の顔を撮像する撮像部101を備える電子黒板1と、従業員及び会議出席予定者の顔を含む従業員情報を格納するサーバ3と、サーバ3から読み出した会議出席者予定の顔写真データのファイル名を含む会議出席予定者情報を格納する出席簿ファイル202A、及び撮像部101によって撮像した会議出席者の顔に該当する顔写真が、出席簿ファイル202Aが格納するファイル名の顔写真データにないと判定した場合、アラームを発報し、出席記録を出力するように指示された場合、電子黒板1に会議出席者に関する情報及び筆記面11に筆記された文字または図をプリントさせる制御部201を備えるパソコン2と、を備える。
従って、互いに見知らぬ者が会議に出席する場合でも、第三者がまぎれ込むことを阻止することができるとともに、筆記面11の文字または図とともに出席記録を出力できるという効果がある。
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1:電子黒板
2:パソコン
3:サーバ
11:筆記面
13:入出力部
14:通信ポート
15:プリンタ
101:撮像部

Claims (6)

  1. 会議の出席者の顔を撮像する撮像部と、
    議出席者予定の顔写真データと会議への出欠を示す出欠フラグを含む会議出席予定者情報を格納する出席簿ファイルを格納する記憶部と、
    出席確認指示が入力された場合に、前記撮像部によって出席者を撮像し、前記撮像部によって撮像した会議出席者の顔に該当する顔写真から抽出した特徴量と前記出席簿ファイルが格納する会議出席予定者の顔写真から抽出した特徴量とを比較し、前記会議出席予定者のうち、会議に出席した者、欠席した者および会議出席予定者でない第三者を判定し、この判定結果から前記出欠フラグを更新し、前記第三者を判定した場合、アラームを発報する制御部と、
    を有する顔認証会議システム。
  2. 前記制御部は、前記撮像部によって撮像した会議出席者の顔に該当する顔写真が、前記出席簿ファイルが格納するファイル名の顔写真データにないかどうかを顔認識アルゴリズムによって判定する請求項1記載の顔認証会議システム。
  3. 前記制御部は、出席記録のプリント指示が入力された場合、前記出欠フラグに基づいて、会議に出席した者及び欠席した者を出力するプリント指示部をさらに有する請求項記載の顔認証会議システム。
  4. 会議の出席者の顔を撮像する撮像部を備える電子黒板と、
    議出席者予定の顔写真データと会議への出欠を示す出欠フラグを含む会議出席予定者情報を格納する出席簿ファイルを格納する記憶部と、
    出席確認指示が入力された場合に、前記撮像部によって出席者を撮像し、前記撮像部によって撮像した会議出席者の顔に該当する顔写真から抽出した特徴量と前記出席簿ファイルが格納する会議出席予定者の顔写真から抽出した特徴量とを比較し、前記会議出席予定者のうち、会議に出席した者、欠席した者および会議出席予定者でない第三者を判定し、この判定結果から前記出欠フラグを更新し、前記第三者を判定した場合、アラームを発報する制御部と、
    を有する顔認証会議システム。
  5. 前記制御部は、前記出欠フラグに基づいて、会議に出席した者及び欠席した者を出力するプリント指示部をさらに有する請求項4記載の顔認証会議システム。
  6. 前記電子黒板は、前記プリント指示部から出席記録を出力するように指示された場合、前記電子黒板に会議出席者に関する情報及び筆記面に筆記された文字または図をプリントる請求項5記載の顔認証会議システム。
JP2013239831A 2013-11-20 2013-11-20 顔認証会議システム Active JP6193739B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013239831A JP6193739B2 (ja) 2013-11-20 2013-11-20 顔認証会議システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013239831A JP6193739B2 (ja) 2013-11-20 2013-11-20 顔認証会議システム

Publications (2)

Publication Number Publication Date
JP2015099537A JP2015099537A (ja) 2015-05-28
JP6193739B2 true JP6193739B2 (ja) 2017-09-06

Family

ID=53376099

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013239831A Active JP6193739B2 (ja) 2013-11-20 2013-11-20 顔認証会議システム

Country Status (1)

Country Link
JP (1) JP6193739B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7255149B2 (ja) * 2018-11-29 2023-04-11 株式会社リコー ネットワークシステム、ネットワークの認証方法およびアクセスポイント

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007213511A (ja) * 2006-02-13 2007-08-23 Fuji Xerox Co Ltd 会議支援システム
JP2009070166A (ja) * 2007-09-13 2009-04-02 Sharp Corp 電子会議システム
JP2010141770A (ja) * 2008-12-15 2010-06-24 Brother Ind Ltd サーバ装置、同サーバ装置のプログラム、テレビ会議支援方法、テレビ会議端末装置、及びテレビ会議システム

Also Published As

Publication number Publication date
JP2015099537A (ja) 2015-05-28

Similar Documents

Publication Publication Date Title
JP4997991B2 (ja) 画像管理プログラム、および画像管理装置
JP2011054078A (ja) 電子写真立て、その制御方法及びプログラム
JP2009533761A (ja) カメラへのユーザ入力に基づく画像値インデックス
EP3255871B1 (en) Recording of sound information and document annotations during a meeting.
JP2014128002A (ja) 被写体領域追跡装置、その制御方法及びプログラム
CN108877001A (zh) 访客信息的处理方法、装置和电子设备
JP2017014806A (ja) 笑顔連動制御システム
JP6193739B2 (ja) 顔認証会議システム
JP4265798B2 (ja) 画像データ管理方法、画像データ管理装置、画像データ管理システム、プログラム、及び記録媒体
JP2019118021A (ja) 撮影制御システム、撮影制御方法、プログラムおよび記録媒体
JP2005234686A (ja) 表情認識装置、表情認識方法、およびプログラム
US20150100577A1 (en) Image processing apparatus and method, and non-transitory computer readable medium
KR20100076793A (ko) 디지털 이미지 처리 장치 및 방법, 컴퓨터 판독가능 저장매체, 및 전자 장치 및 그 제어 방법
JP4962312B2 (ja) 撮像装置及びプログラム
JP2009010576A (ja) イベント会場向け配布用写真作成装置
JP2022119397A (ja) 選考支援システム、写真撮影装置、サーバ、リモート面接方法、及びプログラム
JP2006172146A (ja) データ管理機能を有する機器、及び、データ管理プログラム
JP5477025B2 (ja) 画像表示装置、及びプログラム
JP5550222B2 (ja) 画像処理装置及びその制御方法
JP2004104426A (ja) 撮像装置
JP2004310350A (ja) 動態管理システム
JP2006318352A (ja) 画像処理装置
JP6235417B2 (ja) 撮影システム、撮影装置、情報処理方法、及びプログラム
JP7346708B2 (ja) 情報管理システム、情報管理方法、及びプログラム
JP7356627B2 (ja) 情報処理装置、予定管理具、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160114

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161220

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170725

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170810

R150 Certificate of patent or registration of utility model

Ref document number: 6193739

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150