JP6731598B2 - 観賞魚用コミュニケーション装置、観賞魚用コミュニケーションシステム、および観賞魚とのコミュニケーション方法 - Google Patents

観賞魚用コミュニケーション装置、観賞魚用コミュニケーションシステム、および観賞魚とのコミュニケーション方法 Download PDF

Info

Publication number
JP6731598B2
JP6731598B2 JP2016170205A JP2016170205A JP6731598B2 JP 6731598 B2 JP6731598 B2 JP 6731598B2 JP 2016170205 A JP2016170205 A JP 2016170205A JP 2016170205 A JP2016170205 A JP 2016170205A JP 6731598 B2 JP6731598 B2 JP 6731598B2
Authority
JP
Japan
Prior art keywords
ornamental fish
pronunciation
data
unit
message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016170205A
Other languages
English (en)
Other versions
JP2018033379A (ja
Inventor
文▲広▼ 岡本
文▲広▼ 岡本
益俊 姜
益俊 姜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyushu University NUC
Original Assignee
Kyushu University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyushu University NUC filed Critical Kyushu University NUC
Priority to JP2016170205A priority Critical patent/JP6731598B2/ja
Publication of JP2018033379A publication Critical patent/JP2018033379A/ja
Application granted granted Critical
Publication of JP6731598B2 publication Critical patent/JP6731598B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Farming Of Fish And Shellfish (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)

Description

本発明は、観賞魚用コミュニケーション装置、観賞魚用コミュニケーションシステム、サーバ、および観賞魚とのコミュニケーション方法に関する。詳しくは、観測された観賞魚が発する音(以下「発音」という)に基づいて表現されたメッセージによって、観賞魚の状況をユーザーが知ることができ、ユーザーと観賞魚とのコミュニケーションを補助することができるものに関する。
ペットを飼育する者にとって、ペットとの意思疎通を図ることができることは一つの夢である。このようなペットとの意思疎通を目的とした器具の一例として、下記非特許文献1に記載されているようなものが挙げられる。非特許文献1に記載された器具は、犬や猫の鳴き声を、登録された声紋データと照合し、その感情に対応する言葉を文字や図形等で表示することができるものである。
バウリンガル(登録商標) 日本音響研究所 インターネット<URL:http://www.onkyo-lab.com/bow.html>
しかしながら、従来のこれらの機器は、鳴き声から推察される感情や表現のデータが研究によって蓄積された一部の動物(犬や猫等)だけが対象であり、その他の種類の動物の飼い主は、このようなコミュニケーションを楽しむことができなかった。
ところで、近年、バイオモニタリングの研究過程において、ある種の魚類が音(パルス音)を発していることが判明した。本発明者は、この知見に基づき、特定の状況下において魚類も一定の音を発するのではないか、そして、特定の状況下において発する音の種類が判明すれば、観賞魚とも何らかのコミュニケーションが取れるのではないか、との仮定に基づき、実験と観察を重ね、本発明に想到するに至った。
本発明は、以上の点に鑑みて創案されたものであり、観測された観賞魚の発音に基づいて表現されたメッセージによって、観賞魚の状況をユーザーが知ることができ、ユーザーと観賞魚とのコミュニケーションを補助することができる観賞魚用コミュニケーション装置、観賞魚用コミュニケーションシステム、サーバ、および観賞魚とのコミュニケーション方法を提供することを目的とするものである。
上記の目的を達成するために本発明の観賞魚用コミュニケーション装置は、対象となる観賞魚の発音を集音可能なマイクと、該マイクで集音された前記発音を含む音の信号を受信する音信号受信部と、前記音の信号から前記発音の信号を抽出する発音信号抽出部と、抽出された前記発音の信号をデータ化して発音データを生成する発音データ生成部と、特定の状況下における観賞魚の発音の基本データが記憶された基本データ記憶部と、前記基本データと前記発音データとを比較照合する照合部と、該照合部により得られた結果に基づいて、前記観賞魚が前記基本データと紐付けられた特定の状況下にあるとする判定結果データを生成する判定部と、前記判定結果データに基づくメッセージを生成するメッセージ生成部とを有する本体部と、該本体部で生成された前記メッセージ画像を表示可能な表示部とを備える。
ここで、観賞魚用コミュニケーション装置は、マイクを備えることにより、対象となる観賞魚が出す発音を集音することができる。なお、マイクは、後述する水中マイクのみならず、観賞魚の発音を集音できるものであれば、特に種類を限定するものではない。また、対象となる観賞魚とは、特定の状況下において、歯、骨あるいは鰭の棘等を摺り合わせた摩擦音、摩擦音を浮き袋で共鳴させた共鳴音、筋肉や浮き袋の壁を激しく振動させる振動音を出す魚であり、その種類を特に限定するものではない。
本体部は、音信号受信部を有することによって、マイクで集音された観賞魚の発音を含む音である音の信号を受信することができる。この「音」には、観賞魚の発音のほか、水中ポンプの作動音等の雑音(ノイズ)が含まれている。
本体部は、発音信号抽出部を有することによって、受信した音の信号から観賞魚の発音の信号を抽出することができる。なお、発音の信号を抽出するにあたっては、例えば、ノイズリダクションあるいはノイズキャンセラー等のソフトウェアまたは機器を利用し、受信した音の信号からノイズ信号を除去あるいは低減させることにより、結果として、観賞魚の発音の信号を抽出することができる。本体部は、発音データ生成部を有することによって、抽出された発音の信号をデータ化して、発音データを生成することができる。
本体部は、基本データ記憶部を有することによって、観賞魚が特定の状況下で発する発音パターンの基本データを記憶することができる。この「基本データ」は、例えば、音声波形データが挙げられ、観賞魚がどのような状況下でその音声波形データの発音を行うかについてのデータも紐付けてある。
本体部は、照合部を有することによって、基本データと発音データとを比較照合することができる。そして、本体部は、判定部を有することによって、照合部により得られた結果に基づいて、発音した観賞魚が基本データと紐付けられた特定の状況下にあるとする判定結果データを生成することができる。
本体部は、メッセージ生成部を有することによって、判定結果データに基づくメッセージを生成することができる。この「メッセージ」とは、文字、画像あるいは音、またはこれらを組み合わせた情報をいい、本明細書および本特許請求の範囲において同様の意味で使用される。そして、観賞魚用コミュニケーション装置は、表示部を有することによって、本体部で生成されたメッセージを、ユーザー等に視認できるように表示することができる。
また、前記本体部内に設けられるか、あるいは同本体部と接続され、前記メッセージを機外に送信可能なメッセージ送信部を備える場合は、観賞魚用コミュニケーション装置から離れた場所にいるユーザーは、例えば、所持する携帯情報端末を通じて、送信されたメッセージを受信し、観賞魚の状況を知ることができる。
また、前記メッセージ送信部を介して送信された観賞魚に関するメッセージを、ユーザーが所持する携帯情報端末を介して受信したか、あるいは直接受信したときに、同ユーザーの五感のいずれかを刺激して同ユーザーに新着情報の着信を知らせる受信機を備える場合は、ユーザーが受信機を着用あるいは身近に置いておくことで、五感のいずれかを通じて観賞魚に関するメッセージが届いたことを知ることができる。そして、ユーザーが所持する携帯情報端末や受信機を通じて、観賞魚に関するメッセージを確認することができる。ここで「五感」とは視覚、聴覚、嗅覚、味覚、触覚であり、例えば、受信機の一部が発光あるいは点滅する、受信機が音を発する、受信機が振動する等が挙げられる。
また、前記マイク、前記本体部および前記表示部と組み合わせて使用される水槽を備える場合は、マイク、本体部、表示部および水槽を備えた観賞魚用コミュニケーション装置を提供することができ、すぐに観賞魚の飼育を開始することができる。また、水槽は、例えば、水槽にマイクや表示部の取付器具を設け、観賞魚用コミュニケーション装置専用に設計することによって、マイクや表示部の位置を用途に最適な位置にすることができる。
また、前記マイクが水中マイクである場合は、水面より上で生じたノイズを拾いにくく、観賞魚が発する発音の検出精度を向上させることができる。
また、前記観賞魚がメダカ(Oryzias latipes)である場合は、従来から愛好家の多い観賞魚であるメダカとのコミュニケーションを行うことができる。なお、メダカは実験動物としても知られており、特定の状況下で発する発音に関する研究データが多く採取されているため、様々な状況を表すメッセージ画像を作成することができる。
上記の目的を達成するために本発明の観賞魚用コミュニケーション装置は、対象となる観賞魚の発音を集音可能なマイクと、該マイクで集音された前記発音を含む音の信号を受信する音信号受信部と、前記音の信号を機外へ送信可能な音信号送信部と、該音信号送信部から送信された音の信号をもとに機外で生成された観賞魚の状況を示すメッセージを受信可能なメッセージデータ受信部とを有する本体部と、該本体部が受信した前記メッセージを表示可能な表示部とを備える。
ここで、観賞魚用コミュニケーション装置は、マイクを備えることにより、対象となる観賞魚が出す発音を集音することができる。
本体部は、音信号受信部を有することによって、マイクで集音された観賞魚の発音を含む音である音の信号を受信することができる。そして、本体部は、音信号送信部を有することによって、前述の音の信号を機外へ送信することができる。送信先としては、例えば、後述するサーバや、パーソナルコンピューター(以下「PC」という)等の機外の電子計算機が挙げられる。
本体部は、メッセージデータ受信部を有することによって、機外で生成された観賞魚の状況を示すメッセージのデータを受信することができる。そして、観賞魚用コミュニケーション装置は、表示部を有することによって、メッセージデータ受信部で受信したメッセージを、ユーザー等に視認できるように表示することができる。
なお、この観賞魚用コミュニケーション装置は、受信した音の信号から観賞魚の発音の信号を抽出する工程、前述の発音の信号をデータ化して発音データを生成する工程、特定の状況下における観賞魚の発音の基本データと発音データとを比較照合する工程、比較照合により得られた結果に基づいて、発音した観賞魚が基本データと紐付けられた特定の状況下にあるとする判定結果データを生成する工程、判定結果データに基づくメッセージを生成する工程、生成されたメッセージを送信する工程については、サーバやPC等の機外の電子計算機により処理させるものであり、これにより、観賞魚用コミュニケーション装置の構成を簡略なものとすることができる。
上記の目的を達成するために本発明の観賞魚用コミュニケーションシステムは、携帯情報端末と、対象となる観賞魚の発音を集音可能なマイクと、該マイクで集音された前記発音を含む音の信号を受信する音信号受信部と、前記音の信号から前記発音の信号を抽出する発音信号抽出部と、抽出された前記発音の信号をデータ化して発音データを生成する発音データ生成部と、特定の状況下における観賞魚の発音の基本データが記憶された基本データ記憶部と、前記基本データと前記発音データとを比較照合する照合部と、該照合部により得られた結果に基づいて、前記観賞魚が前記基本データと紐付けられた特定の状況下にあるとする判定結果データを生成する判定部と、前記判定結果データに基づくメッセージを生成するメッセージ生成部と、前記メッセージを携帯情報端末へ送信するメッセージ送信部とを含む本体部と、該本体部で生成された前記メッセージを表示可能な表示部とを有する観賞魚用コミュニケーション装置とを備える。
ここで、携帯情報端末は、観賞魚用コミュニケーション装置から送信されたメッセージを受信することができるので、ユーザーが観賞魚用コミュニケーション装置から離れた所に居る場合であっても、携帯情報端末を介してメッセージを確認することができる。
観賞魚用コミュニケーション装置は、マイクを備えることにより、対象となる観賞魚が出す発音を集音することができる。本体部は、音信号受信部を有することによって、マイクで集音された観賞魚の発音を含む音である音の信号を受信することができる。そして、本体部は、発音信号抽出部を有することによって、受信した音の信号から観賞魚の発音の信号を抽出することができる。
本体部は、発音データ生成部を有することによって、抽出された発音の信号をデータ化して、発音データを生成することができる。本体部は、基本データ記憶部を有することによって、観賞魚が特定の状況下で発する発音パターンの基本データを記憶することができる。
本体部は、照合部を含むことによって、基本データと発音データとを比較照合することができる。そして、本体部は、判定部を含むことによって、照合部により得られた結果に基づいて、発音した観賞魚が基本データと紐付けられた特定の状況下にあるとする判定結果データを生成することができる。本体部は、画像情報生成部を含むことによって、判定結果データに基づくメッセージを生成することができる。
本体部は、メッセージ送信部を含むことによって、観賞魚用コミュニケーション装置から離れた場所にいるユーザーは、例えば、所持する携帯情報端末を通じて、送信されたメッセージを受信し、観賞魚の状況を知ることができる。
観賞魚用コミュニケーション装置は、表示部を有することによって、本体部で生成されたメッセージを、ユーザー等に視認できるように表示することができる。
上記の目的を達成するために本発明のサーバは、機外から受信した、観賞魚の発音を含む音の信号を受信する音信号受信部と、前記音の信号から前記発音の信号を抽出する発音信号抽出部と、抽出された前記発音の信号をデータ化して発音データを生成する発音データ生成部と、特定の状況下における観賞魚の発音の基本データが記憶された基本データ記憶部と、前記基本データと前記発音データとを比較照合する照合部と、該照合部により得られた結果に基づいて、前記観賞魚が前記基本データと紐付けられた特定の状況下にあるとする判定結果データを生成する判定部と、前記判定結果データに基づくメッセージを生成するメッセージ生成部と、前記メッセージを機外へ送信可能なメッセージ送信部とを備える。
ここで、サーバは、音信号受信部を有することによって、機外から観賞魚の発音を含む音である音の信号を受信することができる。そして、サーバは、発音信号抽出部を有することによって、受信した音の信号から観賞魚の発音の信号を抽出することができる。
サーバは、発音データ生成部を有することによって、抽出された発音の信号をデータ化して、発音データを生成することができる。そして、サーバは、基本データ記憶部を有することによって、観賞魚が特定の状況下で発する発音パターンの基本データを記憶させることができる。更に、サーバは、照合部を有することによって、基本データと発音データとを比較照合することができる。
サーバは、判定部を有することによって、照合部により得られた結果に基づいて、発音した観賞魚が基本データと紐付けられた特定の状況下にあるとする判定結果データを生成することができる。そして、サーバは、メッセージ生成部を有することによって、判定結果データに基づくメッセージを生成することができる。更に、サーバは、メッセージ送信部を有することによって、生成されたメッセージを機外へ送信することができる。
上記の目的を達成するために本発明の観賞魚とのコミュニケーション方法は、観賞魚の発音をマイクで集音するステップと、前記マイクが集音した前記発音を含む音の信号を受信するステップと、前記音の信号から前記発音の信号を抽出するステップと、抽出された前記発音の信号をデータ化して発音データを生成するステップと、特定の状況下における観賞魚の発音の基本データと前記発音データとを比較照合するステップと、比較照合により得られた結果に基づいて、前記観賞魚が前記基本データと紐付けられた特定の状況下にあるとする判定結果データを生成するステップと、前記判定結果データに基づくメッセージを生成するステップと、ユーザーが携帯情報端末またはディスプレーの画面を通じて前記メッセージを確認するステップとを備える。
ここで、観賞魚とのコミュニケーション方法によれば、受信した観賞魚の発音に基づいて観賞魚の状況を示すメッセージ画像を作成し、このメッセージ画像をユーザーが確認することで、観賞魚の状況をユーザーが知ることができ、ユーザーと観賞魚とのコミュニケーションを補助することができる。
本発明の観賞魚用コミュニケーション装置によれば、観測された観賞魚の発音に基づいて表現されたメッセージによって、観賞魚の状況をユーザーが知ることができ、ユーザーと観賞魚とのコミュニケーションを補助することができる。
また、本発明の観賞魚用コミュニケーションシステムによれば、観測された観賞魚の発音に基づいて表現されたメッセージによって、観賞魚の状況をユーザーが知ることができ、ユーザーと観賞魚とのコミュニケーションを補助することができる。
更に、本発明のサーバによれば、観測された観賞魚の発音に基づいて表現されたメッセージの情報によって、観賞魚の状況をユーザーが知ることができ、ユーザーと観賞魚とのコミュニケーションを補助することができる。
更にまた、本発明の観賞魚とのコミュニケーション方法によれば、観測された観賞魚の発音に基づいて表現されたメッセージの情報によって、観賞魚の状況をユーザーが知ることができ、ユーザーと観賞魚とのコミュニケーションを補助することができる。
本発明の観賞魚用コミュニケーションシステムの第1実施形態を示す概略説明図である。 図1に示す観賞魚用コミュニケーション装置の本体部の構成の概略を示す説明図である。 図1に示す観賞魚用コミュニケーションシステムの処理手順を示すシーケンス図である。 基本データと発音データとの判断手法1を示す説明図である。 基本データと発音データとの判断手法2を示す説明図である。 通常時にメダカが発する発音の波形パターンを例示した説明図である。 水質悪化時にメダカが発する発音の波形パターンを例示した説明図である。 給餌時にメダカが発する発音の波形パターンを例示した説明図である。 図1に示す観賞魚用コミュニケーションシステムにおいて表示される観賞魚の状況を示すメッセージの一例を示しており、(a)は観賞魚用コミュニケーション装置の表示部に表れた表示画面の説明図、(b)はユーザーの携帯情報端末の表示部に表れた表示画面の説明図である。 本発明の観賞魚用コミュニケーションシステムの第2実施形態を示す概略説明図である。 図10に示す観賞魚用コミュニケーション装置の本体部の構成の概略を示す説明図である。 図10に示す観賞魚用コミュニケーションシステムの処理手順を示すシーケンス図である。 受信機による新着情報確認の概略を示す説明図である。 観賞魚用コミュニケーション装置の他の用途を示す説明図である。
図1ないし図14を参照して、本発明の実施の形態を更に詳細に説明する。なお、各図における符号は、煩雑さを軽減し理解を容易にする範囲内で付しており、また、同一符号が付される複数の同等物についてはその一部にのみ符号を付す場合がある。
〔第1実施形態〕
(観賞魚用コミュニケーションシステム1a)
図1に示す観賞魚用コミュニケーションシステム1aは、ユーザーU1が使用する携帯情報端末3と、観賞魚用コミュニケーション装置2aを備えている。なお、携帯情報端末3と観賞魚用コミュニケーション装置2aは、インターネット回線Wを通じて接続されているが、これに限定するものではなく、例えば、交信可能な距離であれば、Bluetooth(登録商標)、ZigBeeのような無線通信であってもよい。
本実施の形態において、ユーザーU1としては、例えば観賞魚の飼い主が挙げられるが、これに限定するものではなく、例えば、留守中の観賞魚の管理を委託された者等であってもよい。また、本実施の形態において、観賞魚Fはメダカであるが、前述の通り、他の観賞魚であってもよいし、食用魚等に使用することを除外するものではない。
<携帯情報端末3>
携帯情報端末3は、ユーザーU1が所持するスマートフォンやタブレット端末、PC等であり、観賞魚用コミュニケーション装置2aから送信されたメッセージを受信することができるものである。メッセージの受信にあたっては、専用のアプリケーションをインストールする態様であってもよいし、一般的なウェブブラウザを介して画像を受信する態様であってもよい。なお、携帯情報端末3は、前述の通り汎用の端末を使用するほか、観賞魚用コミュニケーション装置2aのために設計された専用端末であってもよい。
<観賞魚用コミュニケーション装置2a>
観賞魚用コミュニケーション装置2aは、水槽21と、水中マイク22と、本体部23aと、表示部28を有する。各部材の構成および作用については図1ないし図9を参照して、以下詳述する。
(水槽21)
水槽21は、ガラスまたはアクリル樹脂等の合成樹脂により水密に形成された透明な筺体である(図1参照)。なお、水槽21には、水中マイク22、本体部23aおよび表示部28を好適な位置に取り付けるためのステーやアタッチメントを設けてもよい。また、水槽は市販のものを利用し、水中マイク22、本体部23aおよび表示部28を取り付ける態様であってもよい。
(水中マイク22)
水中マイク22は、観賞魚Fの発音を集音可能な性能を有しており、本体部23aに有線接続されている(図1参照)。なお、本実施の形態では、水中マイク22を採用しているが、前述の通り、観賞魚が発する発音を集音できるものであれば、他の種類のマイクに置換することもできる。また、水中マイク22は、本体部23aと無線接続されるものであってもよい。
(本体部23a)
本体部23aは、内部に、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、メモリ等を有する電子計算機と、観賞魚用コミュニケーション装置2aが設置された空間で繋がる有線または無線LAN(Local Area Network)、Wi−Fi(Wireless Fidelity:登録商標)等のネットワーク環境に接続可能な通信装置が組み込まれている。
この電子計算機は、観賞魚とのコミュニケーション方法を実現するためのプログラムがインストールされており、少なくとも、音信号受信部251とメッセージ送信部252を含む通信部25と、発音信号抽出部261、発音データ生成部262、照合部263、判定部264およびメッセージ生成部265を含む演算処理部26と、基本データ記憶部271を含む記憶部27と、を有している(図2参照)。
音声受信部251は、水中マイク22で集音された前記発音を含む音の信号を受信する機能を有する。メッセージ送信部252は、生成されたメッセージを、携帯情報端末3と表示部28に送信する機能を有する。
発音信号抽出部261は、水中マイク22で集音された音の信号からノイズの信号を除去あるいは低減(以下「除去等」と表す)させ、観賞魚Fが出した発音の信号を抽出する機能を有する。発音データ生成部262は、抽出された前述の発音の信号(ノイズが除去等された後の前述の発音の信号)をデータ化して発音データを生成する機能を有する。
なお、この発音データは、観賞魚用コミュニケーション装置2aの製造元等に送信されるように設定しても良い。製造元は、受信した観賞魚の発音データを蓄積して研究材料とし、観賞魚が発する未知の発音を発見して新たな基本データとして反映させることができ、これにより、メダカ等の観賞魚の新たな生態が解明され、生成されるメッセージのバリエーションを増加できる等のソフトウェアの機能向上が可能になる等の利点が期待できる。
照合部263は、基本データと発音データとを比較照合する機能を有する。判定部264は、照合部263により得られた結果に基づいて、発音した観賞魚Fが基本データと紐付けられた特定の状況下にあるとする判定結果データを生成する機能を有する。メッセージ生成部265は、判定結果データに基づくメッセージを生成する機能を有する。
基本データ記憶部271は、観賞魚Fが特定の状況下で発する発音パターンの基本データを記憶する機能を有する。「基本データ」は、例えば、後述する音声波形データであり、観賞魚がどのような状況下でその音声波形データの発音を行うかについてのデータも紐付けてある。また、基本データには、発音パターン毎にある程度の範囲(誤差許容範囲)を持たせるようにしてもよく、この場合、基本データと発音データとを比較照合するときに、発音パターンが同一でなくとも近似値の範囲内であれば特定の状況と判断できるので、装置の処理速度の向上が期待できる。
(表示部28)
表示部28は、水槽21の側面に取り付けられた薄型の液晶モニターであり、受信したメッセージを、そばに居るユーザー等が視認できるように表示する機能を有する。なお、本実施形態では、表示部28として薄型の液晶モニターを採用しているが、これに限定するものではなく、例えば、水槽21の側面を構成する部材の一部または全部として透明モニターを採用してもよい。また、表示部28は、通常の液晶モニターのほか、タッチパネル式画面であってもよく、この場合、本体部23aの操作部も兼ねると共に、通常時は画面に観賞魚のアニメーション画像が表示されるようにしておき、この画面の観賞魚の画像を指等で触ると、画像の観賞魚が喜んだり、驚いたりする等のゲーム性を持たせることもできる。
(作 用)
図1ないし図9(特に図3)を参照して、観賞魚用コミュニケーションシステム1aの作用を説明する。
水槽21内で飼育される観賞魚Fが発音すると、水槽21内に設置された水中マイク22がその発音を拾って(集音して)マイクの機能により信号化し、その信号を音信号受信部251へ送信する。このとき送られる音の信号には、前述の発音の信号のほか、水中ポンプの動作音等のノイズの信号も含まれている。
前述の音の信号(ノイズを含む)は、音信号受信部251で受信された後に発音信号抽出部261へ送られる。発音信号抽出部261では、音の信号からノイズの信号を除去等する処理が行われ、観賞魚Fの発音の信号のみが抽出される。このとき、ノイズの信号を除去等する処理は、記憶部27に記憶されたノイズパターン等のデータ参照や、ノイズリダクション、ノイズキャンセリングのソフトウェアの機能によるもの等、処理方法は特に限定されるものではない。
抽出された前述の発音の信号は、発音データ生成部262によりデータ化され、発音データが生成される。生成される発音データの態様としては、例えば、後述する音声波形等が挙げられるが、これに限定するものではない。
前述の発音データは、照合部263により基本データと比較照合される。基本データは、基本データ記憶部271に記憶されており、記憶部27の基本データ記憶部271への要求に基づき照合部263へ提供される。なお、基本データには、音声波形と、その音声波形が生じる状況の情報とが紐付けしてある。
前述の発音データと基本データと比較照合された結果、音声波形のパターンが合致するか、近似している場合は、得られた結果を判定部264に送る。なお、音声波形のパターンが合致あるいは近似しなかった場合は、基本データ記憶部271へ他の基本データを要求し、提供された同他の基本データと前述の発音データとを再度比較照合する。
本体部23aで行われる発音データと基本データとの判断手法について、図4ないし図8を参照して、以下の通り詳述する。
(a)判断手法1
(a−1)フィルタリング処理(ノイズ除去等)
水中マイク22が採取した音のデータ(生データ)について、本体部23aでフィルタリング処理を行い、観賞魚の発音の周波数成分を除く環境音(ノイズ)成分を除去する。ここで、生データとは、観賞魚の発音と環境音を含む音のデータのことをいう。
(a−2)観賞魚の発音の検出(抽出)
観賞魚の発音の周波数特徴量(もしくはその他の時系列特徴量)より、発音かその他の音かを判定し、この判定結果を受けて、フィルタリング後の音声データから、観賞魚の発音以外のノイズ成分が除去等される。そして、発音が検出された場合は、発音の部分のデータを抜き取り、保存する。
(a−3)正常または異常(特定状況下にある場合の意味)の判定
保存された発音データと、基本データ記憶部271に記憶されている基本データを比較照合し、発音データが正常または異常の判定がなされる。更に、異常の場合には、どのような特定状況下におけるパターンに該当または近似するかを判定する。
(b)判断手法2
(b−1)フィルタリング処理(ノイズ除去)
「判断手法1」の(a−1)と同様であるため、説明を省略する。
(b−2)観賞魚の発音の検出(抽出)
観賞魚の発音の周波数特徴量(もしくはその他の時系列特徴量)より、発音かその他の音かを判定し、この判定結果を受けて、フィルタリング後の音声データから、観賞魚の発音以外のノイズ成分が除去等される。
(b−3)正常または異常(特定状況下にある場合の意味)の判定
発明者のこれまでの知見(正常時と異常時で発音の間隔が異なる)に基づき、正常であるか異常であるかを判定する。例えば、正常時における観賞魚の発音の間隔は、例えばメダカの場合、0.020〜0.025秒であるが、異常時における発音の間隔は0.015秒以下もしくは0.03秒以上であるため、この差分を利用して、正常または異常の判定がなされる。更に、異常の場合には、どのような特定状況下におけるパターンに該当または近似するかを判定する。
なお、本実施の形態における比較照合の手法として、前述の判断手法1と判断手法2を例示しているが、これに限定するものではなく、他の判断手法であっても、基本データと発音データとを比較照合可能な手法であれば、これを除外するものではない。
判定部264は、照合部により得られた結果に基づいて、発音した観賞魚が基本データと紐付けられた特定の状況下にあるとする判定結果データを生成し、メッセージ生成部265が同判定結果データに基づくメッセージを生成する。このメッセージは、メッセージ送信部252により携帯情報端末3と表示部28に送信される。
図9(a)および(b)には、表示部28と携帯情報端末3に表示されるメッセージ例を表している。図9(a)に示す表示部28に表示されたメッセージは、観賞魚のイラスト(画像)と台詞(文字)を組み合わせたものであって、給餌時のものであり、観賞魚が「ごはんおいしいよ〜」と喜ぶ画像が表示され、水槽21のそばに居るユーザー等はこれを視認することで、観賞魚とのコミュニケーションを楽しむことができる。なお、この画像が表示されるためには、前述の通り、観測された観賞魚Fの発音と給餌時に発せられる基本データの音声波形が合致あるいは近似していることが前提となる。
図9(b)に示す携帯情報端末3に表示されたメッセージは、水質悪化時(例えば、機械故障による水中酸素量の減少、水槽への異物混入等)のものであり、観賞魚が「くるしいよ〜」と悲しむ(苦しむ)イラストと台詞が表示され、離れた場所に居るユーザー等は携帯情報端末3を介してこれを視認できる。なお、この画像が表示されるためには、前述の通り、観測された観賞魚Fの発音と水質悪化時に発せられる基本データの音声波形が合致あるいは近似していることが前提となる。
なお、基本データは、例示のものに限定するものではなく、今後の研究および検証によって、より多様な種類となることが予想されている。また、基本データは、出荷時に基本データ記憶部271に記憶させておくほか、新たな基本データが得られた場合には、ソフトウェアアップデート等としてインターネットを通じて基本データ記憶部271内のデータベースを更新するか、あるいはサービス提供者のホームページ等から更新データをダウンロードできるようにしてもよい。メッセージのパターンも同様である。
〔第2実施形態〕
<観賞魚用コミュニケーションシステム1b>
図10に示す観賞魚用コミュニケーションシステム1bは、ユーザーU1が使用する携帯情報端末3と、観賞魚用コミュニケーション装置2bと、サーバ4を備えている。なお、携帯情報端末3と観賞魚用コミュニケーション装置2bとサーバ4は、インターネット回線Wを通じて接続されているが、前述のように無線通信であってもよい。また、サーバ4は、観賞魚用コミュニケーション装置2bと有線または無線で接続されたPCと置換することもできる。携帯情報端末3は、前述のものと同じであるため、説明を省略する。
<観賞魚用コミュニケーション装置2b>
観賞魚用コミュニケーション装置2bは、水槽21と、水中マイク22と、本体部23bと、表示部28を有する(図10参照)。各部材の構成および作用については図10ないし図12を参照して、以下詳述する。なお、水槽21、水中マイク22および表示部28については、観賞魚用コミュニケーション装置2aと同じものであるため、構造および作用の説明を省略する。
(本体部23b)
本体部23bは、内部に、CPU等を有する電子計算機と、観賞魚用コミュニケーション装置2bが設置された空間で繋がる有線または無線LAN等のネットワーク環境に接続可能な通信装置が組み込まれている。この電子計算機は、音信号受信部251と、メッセージ送信部252と、サーバ用送受信部253を含む通信部25とを有している(図11参照)。音信号受信部251の機能は前述の通りであるため、説明は省略する。
サーバ用送受信部253は、水中マイク22で受信した観賞魚Fの発音を含む音の信号を、サーバ4に送信する機能を有すると共に、後述するサーバ4の機能に基づいて生成されたメッセージをサーバ4から受信する機能を有する。メッセージ送信部252は、受信したメッセージを表示部28に送信する機能を有する。
観賞魚用コミュニケーション装置2bは、サーバ4に発音に関する各種処理を行わせているので、本体部23bの構成を簡略化することができ、製造コストの抑制が期待できる。
<サーバ4>
図10に示すサーバ4は、内部に、CPU等を有する電子計算機と、サーバ4が設置された空間で繋がる有線または無線LAN等のネットワーク環境に接続可能な通信装置が組み込まれている。なお、以下で説明するサーバ4の構成については、図示を省略する。サーバ4の電子計算機は、観賞魚とのコミュニケーション方法を実現するためのプログラムがインストールされており、少なくとも、音信号受信部とメッセージ送信部を含む通信部と、発音信号抽出部、発音データ生成部、照合部、判定部およびメッセージ生成部を含む演算処理部と、基本データ記憶部を含む記憶部と、を有している。
音信号受信部は、機外(即ち、観賞魚用コミュニケーション装置2b)から受信した、観賞魚Fの発音を含む音の信号を受信する機能を有する。メッセージ送信部は、生成されたメッセージを機外(即ち、携帯情報端末3と、観賞魚用コミュニケーション装置2bの表示部28)に送信する機能を有する。
発音信号抽出部は、受信した音の信号からノイズを除去等して、観賞魚Fが出した発音を抽出する機能を有する。発音データ生成部は、ノイズが除去等された前述の発音の信号をデータ化して発音データを生成する機能を有する。なお、この発音データについても、前述の通り、観賞魚用コミュニケーション装置2bあるいはサーバ4の製造元、観賞魚用コミュニケーションシステム1bのサービス提供者に送信されるように設定しても良い。
照合部は、基本データと発音データとを比較照合する機能を有する。判定部は、照合部により得られた結果に基づいて、発音した観賞魚Fが基本データと紐付けられた特定の状況下にあるとする判定結果データを生成する機能を有する。メッセージ生成部は、判定結果データに基づくメッセージを生成する機能を有する。
基本データ記憶部は、観賞魚Fが特定の状況下で発する発音パターンの基本データを記憶する機能を有する。なお、基本データには、音声波形と、その音声波形が生じる状況の情報と、が紐付けしてある。
(作 用)
図10ないし図12(特に図12)を参照して、観賞魚用コミュニケーションシステム1bの作用を説明する。なお、観賞魚用コミュニケーションシステム1aと共通する作用については、その説明を省略する。
水中マイク22が拾った(集音された)観賞魚Fの発音を含む音は、マイクの機能により信号化され、観賞魚用コミュニケーション装置2bの本体部23bの音信号受信部251へ送信される。この音は、音信号受信部251で受信された後に、インターネット回線Wを通じて、サーバ4に送信される。
前述の音は、サーバ4の音信号受信部で受信された後に発音信号抽出部へ送られる。そして、受信した音の信号からノイズを除去等して、観賞魚Fの発音の信号が抽出される。抽出された前述の発音の信号は、発音データ生成部によりデータ化して発音データが生成される。生成された発音データは、照合部により基本データと比較照合される。基本データは、基本データ記憶部への要求に基づき照合部へ提供される。
前述の発音データと基本データと比較照合された結果、音声波形のパターンが合致あるいは近似する場合は得られた結果を判定部に送る。なお、音声波形のパターンが合致あるいは近似しなかった場合は、基本データ記憶部へ他の基本データを要求し、提供された同他の基本データと前述の発音データとを再度比較照合する。
サーバ4で行われる発音データと基本データとの判断手法については、図12に記載された通りであり、サーバ4で生成されたメッセージを本体部23bと携帯情報端末3に送信する以外は、前述の本体部23aにおける判断手法と概ね同様であるため、説明を省略する。
判定部は、照合部により得られた結果に基づいて、発音した観賞魚Fが基本データと紐付けられた特定の状況下にあるとする判定結果データを生成し、メッセージ生成部が同判定結果データに基づくメッセージを生成する。このメッセージは、メッセージ送信部により携帯情報端末3と本体部23bに送信される。
観賞魚用コミュニケーションシステム1bによれば、装置の販売者またはシステムの提供者がサーバ4の管理をする手間が生じるものの、前述の判定機能等を改良したアプリケーションの更新をユーザー側で行う必要がない(装置の販売者等側で行う)、受信した観賞魚の発音データを蓄積して研究材料とし、観賞魚が発する未知の発音を発見して新たな基本データとして反映させることができる、等の利点が期待できる。
<受信機5>
図13に示す受信機5は、観賞魚に関するメッセージを受信した際に発光し、着用者にメッセージの着信を通知するペンダント型のものである。例えば、前述の本体部23aのメッセージ送信部252あるいはサーバ4のメッセージ送信部から観賞魚Fに関する新規メッセージが送信されると、ユーザーU1が所持する携帯情報端末3を介して信号を受信し、受信機5が発光するので、ユーザーU1は新着情報の着信を知ることができる。そして、ユーザーU1は、携帯情報端末3を起動させ、そのウェブブラウザによって、メッセージを確認することができる。
受信機5は、観賞魚用コミュニケーションシステム1aまたは1bのいずれにも適用することができる。本実施の形態においては、受信機5はペンダント型であるが、これに限定するものではなく、例えば、キーホルダー型や、携帯情報端末に取り付けるストラップアクセサリー型等であってもよい。また、受信機5は、携帯情報端末3を介することなく、公衆無線LAN等を通じて信号を直接受信する構造のものであってもよい。なお、受信機5は、発光により着信を知らせるものであるが、これに限定するものではなく、例えば、音(着信音)、振動(バイブレーション)、匂い、またはこれらの組み合わせ等であって、ユーザーの五感に作用するものであってもよい。
<観賞魚用コミュニケーション装置1a(1b)の他の用途>
図14を用いて、観賞魚用コミュニケーション装置1a(1b)の他の用途について説明する。図14に示すユーザーU2は独居老人であり、ユーザーU3はユーザーU2と離れて暮らす家族である。
ユーザーU2が観賞魚に給餌することによって観賞魚が発音し、観賞魚用コミュニケーション装置1a(1b)およびユーザーU3の携帯情報端末3(図面ではタブレット端末)を通じて、ユーザーU3は観賞魚が給餌されたこと(つまり、ユーザーU2が観賞魚への給餌という日常的行動をできる程度に元気であること)を知ることができる。
更に、観賞魚用コミュニケーション装置1a(1b)は、記憶部27等にユーザーU2の音声パターンを記憶させ、水中マイク22で採取した音がユーザーU2の音声パターンに該当する場合は、ユーザーU2の音声をノイズとして除去等せずに、ユーザーU2の音声データをユーザーU3に転送するか、あるいはユーザーU2の音声データが採取された旨についてもメッセージ画像としてユーザーU3に送信するように設定してもよい。
前述の説明では、ユーザーU2を独居老人として説明したが、これに限定するものではなく、例えば、留守番をする児童や、単身居住者の安否確認に適用してもよい。
本実施の形態において、本体部23a内の電子計算機または機外(サーバ4)の電子計算機にインストールされたプログラムが、少なくとも、
(イ)マイクが受信した観賞魚の発音を含む音の信号を受信する音信号受信機能と、
(ロ)音の信号から発音の信号を抽出する発音信号抽出機能と、
(ハ)抽出された発音の信号をデータ化して発音データを生成する発音データ生成機能と、
(ニ)特定の状況下における観賞魚の発音の基本データを記憶させる基本データ記憶機能と、
(ホ)基本データと生成された発音データとを比較照合する照合機能と、
(ヘ)照合機能により得られた結果に基づいて、発音した観賞魚が基本データと紐付けられた特定の状況下にあるとする判定結果データを生成する判定機能と、
(ト)生成された判定結果データに基づくメッセージを生成するメッセージ生成機能と、
を本体部内の電子計算機または機外の電子計算機へ付与するものである。
ここで、プログラムは、本体部内の電子計算機またはサーバ等の機外の電子計算機にインストールされることにより、マイクが受信した観賞魚の発音に基づいて観賞魚の状況を示すメッセージを作成し、機外へ送信することができる機能を、同電子計算機に付与するものであり、これによって、ユーザーと観賞魚とのコミュニケーションを補助することができる。
なお、本体部内の電子計算機にインストールされた場合は、装置の販売者またはシステムの提供者がサーバ等を置く必要が無く、管理の手間が省ける。
他方、サーバ等の機外の電子計算機にインストールされた場合は、観賞魚用コミュニケーション装置の構成を簡略化することができ、製造コストの抑制が期待でき、また、装置の販売者またはシステムの提供者がサーバ等の管理をする手間が生じるものの、前述の判定機能等を改良したアプリケーションの更新をユーザー側で行う必要がない(装置の販売者等側で行う)、受信した観賞魚の発音データを蓄積して研究材料とし、観賞魚が発する未知の発音を発見して新たな基本データとして反映させることができる、等の利点が期待できる。
本明細書および特許請求の範囲で使用している用語と表現は、あくまでも説明上のものであって、なんら限定的なものではなく、本明細書および特許請求の範囲に記述された特徴およびその一部と等価の用語や表現を除外する意図はない。また、本発明の技術思想の範囲内で、種々の変形態様が可能であるということは言うまでもない。
1a、1b 観賞魚用コミュニケーションシステム
2a、2b 観賞魚用コミュニケーション装置
21 水槽
22 水中マイク
23a、23b 本体部
25 通信部
251 音信号受信部
252 メッセージ送信部
253 サーバ用送受信部
26 演算処理部
261 発音信号抽出部
262 発音データ生成部
263 照合部
264 判定部
265 メッセージ生成部
27 記憶部
271 基本データ記憶部
28 表示部
3 携帯情報端末
4 サーバ
5 受信機
W インターネット回線
F 観賞魚
U1、U2、U3 ユーザー

Claims (7)

  1. 対象となる観賞魚の発音を集音可能なマイクと、
    該マイクで集音された前記発音を含む音の信号を受信する音信号受信部と、前記音の信号から前記発音の信号を抽出する発音信号抽出部と、抽出された前記発音の信号をデータ化して発音データを生成する発音データ生成部と、特定の状況下における観賞魚の発音の基本データが記憶された基本データ記憶部と、前記基本データと前記発音データとを比較照合する照合部と、該照合部により得られた結果に基づいて、前記観賞魚が前記基本データと紐付けられた特定の状況下にあるとする判定結果データを生成する判定部と、前記判定結果データに基づくメッセージを生成するメッセージ生成部とを有する本体部と、
    該本体部で生成された前記メッセージ画像を表示可能な表示部と
    前記本体部内に設けられるか、あるいは同本体部と接続され、前記メッセージを機外に送信可能なメッセージ送信部と、
    該メッセージ送信部を介して送信された観賞魚に関するメッセージを、ユーザーが所持する携帯情報端末を介して受信したか、あるいは直接受信したときに、同ユーザーの五感のいずれかを刺激して同ユーザーに新着情報の着信を知らせる受信機とを備える
    観賞魚用コミュニケーション装置。
  2. 前記受信機が、ペンダント型、キーホルダー型、または、携帯情報端末に取り付けるストラップアクセサリー型のいずれかである
    請求項1に記載の観賞魚用コミュニケーション装置。
  3. 前記マイク、前記本体部および前記表示部と組み合わせて使用される水槽を備える
    請求項1に記載の観賞魚用コミュニケーション装置。
  4. 前記マイクが、水中マイクである
    請求項1に記載の観賞魚用コミュニケーション装置。
  5. 前記観賞魚がメダカ(Oryzias latipes)である
    請求項1に記載の観賞魚用コミュニケーション装置。
  6. 携帯情報端末と、
    対象となる観賞魚の発音を集音可能なマイクと、該マイクで集音された前記発音を含む音の信号を受信する音信号受信部と、前記音の信号から前記発音の信号を抽出する発音信号抽出部と、抽出された前記発音の信号をデータ化して発音データを生成する発音データ生成部と、特定の状況下における観賞魚の発音の基本データが記憶された基本データ記憶部と、前記基本データと前記発音データとを比較照合する照合部と、該照合部により得られた結果に基づいて、前記観賞魚が前記基本データと紐付けられた特定の状況下にあるとする判定結果データを生成する判定部と、前記判定結果データに基づくメッセージを生成するメッセージ生成部と、前記メッセージを携帯情報端末へ送信するメッセージ送信部とを含む本体部と、該本体部で生成された前記メッセージを表示可能な表示部と、前記本体部内に設けられるか、あるいは同本体部と接続され、前記メッセージを機外に送信可能なメッセージ送信部と、該メッセージ送信部を介して送信された観賞魚に関するメッセージを、ユーザーが所持する携帯情報端末を介して受信したか、あるいは直接受信したときに、同ユーザーの五感のいずれかを刺激して同ユーザーに新着情報の着信を知らせる受信機とを有する観賞魚用コミュニケーション装置とを備える
    観賞魚用コミュニケーションシステム。
  7. 観賞魚の発音をマイクで集音するステップと、
    前記マイクが集音した前記発音を含む音の信号を受信するステップと、
    前記音の信号から前記発音の信号を抽出するステップと、
    抽出された前記発音の信号をデータ化して発音データを生成するステップと、
    特定の状況下における観賞魚の発音の基本データと前記発音データとを比較照合するステップと、
    比較照合により得られた結果に基づいて、前記観賞魚が前記基本データと紐付けられた特定の状況下にあるとする判定結果データを生成するステップと、
    前記判定結果データに基づくメッセージを生成し、該生成されたメッセージを機外に送信するステップと、
    該メッセージを、ユーザーが所持する携帯情報端末を介して受信したか、あるいは直接受信したときに、同ユーザーの五感のいずれかを刺激して同ユーザーに新着情報の着信を知らせる受信機を使用し、該受信機を介して前記新着情報の受信を知覚したユーザーが、携帯情報端末またはディスプレーの画面を通じて前記メッセージを確認するステップとを備える
    観賞魚とのコミュニケーション方法。
JP2016170205A 2016-08-31 2016-08-31 観賞魚用コミュニケーション装置、観賞魚用コミュニケーションシステム、および観賞魚とのコミュニケーション方法 Active JP6731598B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016170205A JP6731598B2 (ja) 2016-08-31 2016-08-31 観賞魚用コミュニケーション装置、観賞魚用コミュニケーションシステム、および観賞魚とのコミュニケーション方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016170205A JP6731598B2 (ja) 2016-08-31 2016-08-31 観賞魚用コミュニケーション装置、観賞魚用コミュニケーションシステム、および観賞魚とのコミュニケーション方法

Publications (2)

Publication Number Publication Date
JP2018033379A JP2018033379A (ja) 2018-03-08
JP6731598B2 true JP6731598B2 (ja) 2020-07-29

Family

ID=61564560

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016170205A Active JP6731598B2 (ja) 2016-08-31 2016-08-31 観賞魚用コミュニケーション装置、観賞魚用コミュニケーションシステム、および観賞魚とのコミュニケーション方法

Country Status (1)

Country Link
JP (1) JP6731598B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019175432A (ja) * 2018-03-26 2019-10-10 カシオ計算機株式会社 対話制御装置、対話システム、対話制御方法及びプログラム

Also Published As

Publication number Publication date
JP2018033379A (ja) 2018-03-08

Similar Documents

Publication Publication Date Title
Moynihan Communication in the titi monkey, Callicebus
CN1761265A (zh) 移动设备上的多传感语音增强方法和装置
JP2009140051A5 (ja)
US11937573B2 (en) Music providing system for non-human animal
US20220000404A1 (en) System and method for detecting emotional state of pet
NO20005721L (no) System og fremgangsmåte for overvåking av dyr
US6782847B1 (en) Automated surveillance monitor of non-humans in real time
US20100238042A1 (en) Dental fixture with anti-lost system
JP6731598B2 (ja) 観賞魚用コミュニケーション装置、観賞魚用コミュニケーションシステム、および観賞魚とのコミュニケーション方法
KR20150114310A (ko) 동물움직임을 이용한 동물 통역 시스템
JP7197846B2 (ja) コウモリの展示観覧システムおよびその方法
KR20160014438A (ko) 동물소음 감소장치
JP2018088030A (ja) ジビエ用システム、ジビエ用トレーサビリティ情報管理装置、プログラム、ユーザ端末及びアプリケーションプログラム
KR20230016233A (ko) 층간소음 분쟁을 예방하기 위한 인공지능 기반의 이웃간 데이터 처리 장치 및 이를 이용한 데이터 처리 방법
CN110364164B (zh) 对话控制装置、对话系统、对话控制方法以及存储介质
WO2021157516A1 (ja) 音提供システム
Clark Harmonic hopping, and both punctuated and gradual evolution of acoustic characters in Selasphorus hummingbird tail-feathers
KR20200088684A (ko) 반려견 분리불안 감소 또는 해소를 위한 음향발생장치
KR20140094045A (ko) 낚시용 루어
JP2015173857A (ja) 電子機器及び情報処理方法
Burnham Animal calling behaviours and what this can tell us about the effects of changing soundscapes
KR20120132746A (ko) 애완동물 호출 및 훈련장치
JP2006212451A (ja) 仮想ペット装置及びその制御プログラム記録媒体
KR101712383B1 (ko) 칭찬 메시지를 이용한 동물 훈련장치
CN110246491B (zh) 与用户交流的装置及其方法、机器人及计算机程序产品

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20161104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20161104

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190326

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20191001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20191001

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200526

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200612

R150 Certificate of patent or registration of utility model

Ref document number: 6731598

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250