JP6190251B2 - 情報処理装置及び方法 - Google Patents

情報処理装置及び方法 Download PDF

Info

Publication number
JP6190251B2
JP6190251B2 JP2013237408A JP2013237408A JP6190251B2 JP 6190251 B2 JP6190251 B2 JP 6190251B2 JP 2013237408 A JP2013237408 A JP 2013237408A JP 2013237408 A JP2013237408 A JP 2013237408A JP 6190251 B2 JP6190251 B2 JP 6190251B2
Authority
JP
Japan
Prior art keywords
station
departure
candidates
route
arrival
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013237408A
Other languages
English (en)
Other versions
JP2015096923A (ja
Inventor
美晴 永田
美晴 永田
吉克 舩坂
吉克 舩坂
良昇 石井
良昇 石井
友美 一柳
友美 一柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yahoo Japan Corp
Original Assignee
Yahoo Japan Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yahoo Japan Corp filed Critical Yahoo Japan Corp
Priority to JP2013237408A priority Critical patent/JP6190251B2/ja
Publication of JP2015096923A publication Critical patent/JP2015096923A/ja
Application granted granted Critical
Publication of JP6190251B2 publication Critical patent/JP6190251B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Navigation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、音声認識に関する。
与えられた出発地から目的地へ、鉄道、バスなどの公共交通機関で行く経路を探索及び出力する、経路探索サービスが知られている。経路の端である出発地又は目的地を音声認識で入力する場合、与えられた発話に基づく候補が複数存在する場合があり得る。複数の候補があり得る場合として、駅名の全体または一部分が共通の駅が複数存在する場合、発音が不明瞭な場合などがある。
複数の候補から駅を選ぶ場合、ユーザと関わりある地域の駅を優先し(例えば、特許文献1参照)、予め定めたデフォルトの駅もしくは端末の現在地に近い駅を優先し、または、複数の候補をユーザに示して選択を求めることも考えられる。
特開2010−067153号
しかし、ユーザと関わりある地域に近い駅、デフォルトの駅または端末に最も近い駅が、個別の経路探索にとって適切とは限らなかった。候補からの選択も、煩雑であった。文字入力の途中で候補が表示される例はあるが、音声認識では入力途中での候補表示は困難なうえ、文章を発話する一連の流れとの親和性にも問題があった。
本発明の目的は、音声認識による経路探索においてより適切な結果をユーザに返すことである。
本発明の一態様である情報処理装置は、一端の駅(「駅」は、鉄道の駅に限らず、バスの停留所、航空機の空港、船舶の港、その他公共交通機関の乗降または乗換の施設を意味するものとする。本出願において同じ)と、他端の駅と、で定義される経路探索の対象区間における前記一端の駅の候補を、与えられた発話に基づいて音声認識により抽出する抽出部と、前記抽出部により前記候補が複数抽出された場合、抽出された前記候補ごとにその候補を一端とし、前記他端との間の経路を探索する探索部と、前記探索部により探索された前記経路に基づいて、複数抽出された前記候補から前記一端の駅を決定する決定部と、を備えたことを特徴とする。
本発明によれば、音声認識による経路探索においてより適切な結果をユーザに返すことができる。
本発明の実施形態について構成を示す機能ブロック図。 本発明の実施形態における情報の例を示す概念図。 本発明の実施形態における処理手順を示すフローチャート。 本発明の実施形態における情報の例を示す概念図。 本発明の実施形態における鉄道路線網を示す概念図。 本発明の実施形態における情報の例を示す概念図。
次に、本発明を実施するための形態(「実施形態」と呼ぶ)について図に沿って例示する。なお、背景技術または課題に関連して既に述べた内容と共通の前提事項は適宜省略する。
〔1.構成〕
図1は、本実施形態における情報処理装置(「本装置1」とも呼ぶ)の構成を示す。本装置1は、通信ネットワークN(インターネット、携帯電話網その他)を介した通信により端末Tに対し、音声認識で指定を受け付けた駅間を鉄道で移動するための経路を探索し出力するサーバ装置である。端末Tは、スマートデバイス(例えば、スマートフォン、タブレットPCその他)その他の情報端末であり、図1では一つを例示するが、実際には多数存在してもよい。
本装置1は、コンピュータの構成すなわち、CPUなどの演算制御部6と、主メモリや補助記憶装置等の記憶装置7と、通信ネットワークNとの通信装置8(通信機器や通信アダプタなど)と、を備える。端末Tも、仕様は異なるが同様にコンピュータの構成を有するほか、マイクロホン、受話用のマイクロホンやスピーカーその他、モバイル端末としての構成を有する(図示省略)。
本装置1では、記憶装置7に記憶されている図示しないコンピュータプログラムを演算制御部6が実行することで、図1に示す各要素を実現する。図1に示す円筒の図形は、図形内に表示したデータの記憶部である。
データの記憶部は、本装置1内のいわゆるローカル記憶に限らず、ネットワーク・コンピューティング(クラウド)などによるリモート記憶でもよい。また、本出願に示す記憶部は、説明の便宜に合わせた単位、かつ主なものである。実際の記憶部は、情報の記憶に付随する入出力や管理などの機能を含んでもよいし、構成の単位を分割または一体化してもよいし、ワークエリアなど他の記憶部を適宜用いてもよい。
記憶部に記憶されるデータのうち、対照データ25は、駅と、その駅の名称を表す文字列と、を対応付けたデータである(例えば、図2)。図2の例では、駅を表す駅コードに対し、音声認識用の名称と、画面表示用の名称と、が対応付けられている。
探索用データ35は、駅間の経路を探索するのに用いるデータであり、例えば、駅を表すノード間を、駅間の鉄道路線区間を表すエッジ(アーク)で表すデータ構造、または他の任意のデータ構造を用いることができる。探索用データ35としては、任意の公知技術を用いることができる(図示省略)。
なお、図1及びその他の図中の矢印は、データ又は制御その他の流れの主な方向の例示で、他の流れの否定も方向の限定も意味しない。また、記憶手段以外の各手段は、以下に述べる情報処理の機能又は作用を実現又は実行する処理手段であるが、これら機能又は作用は、専ら説明のための単位で、実際のハードウェア及びソフトウェアの要素を限定するものではない。
〔2.作用〕
本装置1の動作を、図3のフローチャートを参照して説明する。例として、経路探索の機能を持つアプリ(「経路探索アプリ」と呼ぶこととする)に対し、ユーザが、一端の駅と、他端の駅と、で定義される経路探索の対象区間を、音声認識で指定する場合を考える。例えば、「〇〇」駅(一端の駅)から「××」駅(他端の駅)までの経路を探索する場合、アプリが発話を受け付ける所定の待受け状態において、ユーザは、「〇〇から××まで」のように発話する。
この場合、前記アプリは、稼働している端末Tに対して発話された音声を、デジタル波形データとして通信ネットワークNを介し、本装置1へ送信する。本装置1では、音声受付部10が、前記音声を受け付け(ステップS11)、抽出部20は、一端の駅と、他端の駅と、で定義される経路探索の対象区間における一端の駅の候補を、与えられた発話に基づいて音声認識により抽出する(ステップS12)。
例えば、抽出部20が、音声認識処理により、「から」「まで」という定型部分と他の部分を区別する。区別された部分のうち、「〇〇」駅の部分の音声波形に対応する駅の候補と、「××」駅の部分の音声波形に対応する駅の候補が抽出される。この抽出は、例えば、対照データに含まれる駅ごとの音声認識用の名称(図2)を構成する各文字の音素と、発話された音声から検出される周波数成分スペクトルなど音響的特徴に対応する音素との比較照合に基づく。
音声認識は、公知の技術(例えば、統計的手法、動的時間伸縮法、隠れマルコフモデルその他)による。ここでは、目的地となる「××」駅に対応する駅の候補は一意に抽出され(例えば駅X)、出発地となる「〇〇」駅に対応する駅の候補は複数抽出される場合を考える。
この複数の候補の抽出において、抽出部20は、駅の候補を、その候補に対応する確信度と対応付けて抽出する(ステップS12)。例えば、図4は、発話のある部分から出発地として、駅Aから駅Dの4つの候補が、それぞれ確信度0.73から0.45と対応付けて抽出されたことを示す。
発話と、駅との対応関係を予め表しておくデータ構造やアルゴリズムは既知の任意の技術を用いることができる。例えば、抽出部20は、対照データ25を参照することにより、発話と適合する部分文字列を名称の全体または一部分に含む駅の候補を複数抽出する。
その例は、同じ町に位置する互いに異なる鉄道路線の駅が、その町の名称を用いている結果同じ駅名である場合や、その町の町名〇〇に因む「〇〇駅」と「新〇〇駅」もしくは「西〇〇駅」である場合、さらには、相互に遠く離れた地域の駅名が偶然同じである場合などである。
探索部30は、抽出部20により候補が複数抽出された場合(ステップS13:「YES」)、抽出された候補のうち対応する確信度が所定以上である候補を選択する(ステップS14)。例えば、図4に例示した候補である駅Aから駅Dのうち、確信度が0.5以上である駅A、B及びCが選択される。確信度が所定以上とは、確信度が予め定めた絶対的な閾値以上である場合に限らず、確信度が上位所定割合である場合も含む。
その後、探索部30は、選択された候補ごとに(ステップS15:「YES」)、その候補を一端として他端との間の経路を探索する(ステップS16)。探索用データ35および経路探索アルゴリズムを用いる。
例えば、図5は、駅間を結ぶ鉄道路線網の概念的な一例を示す。経路の他端となる終点(目的地)が駅Xで、経路の一端となる始点(出発地)の候補として、駅A、B及びCが選択された場合、駅Aから駅X、駅Bから駅X及び駅Cから駅Xという三種の経路(例えば、図6参照)が探索される。
決定部40は、探索部30により探索された経路に基づいて、複数抽出された候補から一端の駅を決定する(ステップS17)。経路に基づいて駅を決定する基準の一例は、乗換回数の少なさである。この場合、決定部40は、探索部30により探索された経路に含まれる乗換回数が少ない候補ほど優先して一端の駅として決定する。
この基準によれば、例えば、図6に示した三種の経路から、乗換回数が最少の0回である経路3の始点である駅Cが、一端の駅として決定される。すなわち、駅Cと駅Xは、同一路線上の駅同士であるため、駅Cと駅Xの間の経路における乗換回数は最少の0回である。
経路に基づいて駅を決定する基準の他の例は、所要時間の短さである。この場合、決定部40は、探索部30により探索された経路の移動所要時間が短い候補ほど優先して一端の駅として決定する。この基準によれば、例えば、図6に示した三種の経路から、所要時間が最少の24分である経路1の始点である駅Aが、一端の駅として決定される。
駅を決定する基準は、乗換回数の少なさ、所要時間の短さに限らず、運賃の安さ、乗換駅での乗換所要時間、その他の基準でもよい。複数の基準を、係数などで重み付けし組み合わせて用いてもよい。
出力部50は、決定された一端の駅と他端の駅との間の経路をデータとして端末Tへ送信し、端末T内の前記アプリがこのデータを基に経路を画面表示により出力する(図示省略)。経路の出力には、対照データに含まれる駅ごとの画面表示用の名称(図2)である文字列を用いることができる。
決定された一端の駅と他端の駅との間の経路は、改めて探索する必要はなく、探索部30により探索済の経路を一時記憶しておき、そのなかから、決定された一端の駅に対応する経路を端末Tへ送信してよい。
〔3.効果〕
(1)以上のように、本実施形態では、経路探索の一端となる駅名を音声認識の候補から絞り込む際、経路探索の他端となる駅との経路探索結果を絞り込みにフィードバックさせることにより(例えば図3)、より適切な経路探索効果をユーザに返すことができる。
(2)また、本実施形態では、確信度が高い候補を選択的に経路探索の対象とする(例えば、図3、図4、図6)。これにより、確信度が低い候補に関する経路探索の負担が回避できる。
(3)また、本実施形態では、経路に含まれる乗換回数が少ない候補を優先する(例えば図6)。これにより、乗換回数の少なさという経路上の合理性に優れた適切な結果をユーザに返すことができる。
(4)また、本実施形態では、経路の移動所要時間が短い候補を優先する(例えば図6)。これにより、移動時間の短さという経路上の合理性に優れた適切な結果をユーザに返すことができる。
(5)また、本実施形態では、名称の全体または一部分が共通する異なる駅同士についても、経路探索結果のフィードバックで絞り込む。これにより、同じ地域に異なる鉄道路線の似通った名称の駅が存在する場合のように、与えられた発話が不明瞭でない場合についても、より適切な経路探索結果をユーザに返すことができる。
〔4.他の実施形態〕
なお、上記実施形態や図の内容は例示に過ぎず、各要素の有無や配置、処理の順序や内容などは適宜変更可能である。このため、本発明は、以下に例示する変形例やそれ以外の他の実施形態も含むものである。例えば、上記実施形態では、鉄道を例に挙げたが、バス、スーパーシャトルなどの乗合自動車、船舶、航空機その他の公共交通機関にも本発明を適用可能である。また、上記実施形態では、一端の駅の候補が複数抽出され、他端の駅は一意に決定される場合を例示したが、両端の駅の候補が複数抽出された場合に本発明を適用することもできる。
この場合の情報処理装置は、経路探索の対象区間を定義する両端の駅の候補を、与えられた発話に基づいて音声認識により抽出する抽出部と、前記抽出部により前記両端の駅の候補がそれぞれ複数抽出された場合、抽出された一端の駅の候補と他端の駅の候補のペアごとに経路を探索する探索部と、前記探索部により探索された前記経路に基づいて、望ましい前記ペアを決定する決定部、を備えたことを特徴とする。
また、本発明の各態様は、明記しない他のカテゴリ(方法、プログラム、端末を含むシステムなど)としても把握できる。方法やプログラムのカテゴリでは、装置のカテゴリで示した「手段」を「処理」や「ステップ」のように適宜読み替えるものとする。また、「手段」の全部又は任意の一部を「部」(ユニット、セクション、モジュール等)と読み替えることができる。
また、実施形態に示した処理やステップについても、順序を変更したり、いくつかをまとめて実行しもしくは一部分ずつ分けて実行するなど変更可能である。また、個々の手段、処理やステップを実現、実行するハードウェア要素などは共通でもよいし、手段、処理やステップごとにもしくはタイミングごとに異なってもよい。
また、一又は二以上の処理部ごとに、サーバなどの装置で実現してもよい。例えば、抽出部20及び対照データ25は音声認識サーバとして実現可能である。探索部30及び探索用データ35は経路探索サーバとして実現可能である。
また、処理部は、外部のサーバが提供している機能をAPI(アプリケーションプログラムインタフェース)やネットワーク・コンピューティング(いわゆるクラウドなど)で呼び出して実現してもよい。さらに、処理部などの要素は、コンピュータに限らず、現在のまたは将来登場する他の情報処理機構で実現してもよい。
1 本装置
6 演算制御部
7 記憶装置
8 通信装置
10 音声受付部
20 抽出部
25 対照データ
30 探索部
35 探索用データ
40 決定部
50 出力部
A〜F、X 駅
N 通信ネットワーク
T 端末

Claims (8)

  1. 出発地の駅と、到着地の駅と、で定義される経路探索の対象区間における当該出発地の駅と当該到着地の駅と定型部分とを含む発話から当該定型部分を区別し、区別した当該定型部分以外の部分に基づいて当該出発地の駅の候補と当該到着地の駅の候補とを抽出する抽出部と、
    前記抽出部により前記出発地の駅の候補が複数抽出された場合、抽出された前記出発地の駅の候補ごとにその候補を出発地の駅とし、前記到着地の駅の候補との間の経路を探索する探索部と、
    前記探索部により探索された前記経路の乗換所要時間に基づいて、複数抽出された前記出発地の駅の候補から前記出発地の駅を決定する決定部と、
    を備えたことを特徴とする情報処理装置。
  2. 前記決定部は、前記経路の乗換所要時間に加えて、前記探索部により探索された前記経路に含まれる乗換回数の少なさ、または、前記探索部により探索された前記経路の移動所要時間の短さの少なくともいずれか一方を前記出発地の駅を決定する基準とし、各基準に対する重みづけを考慮して、前記出発地の駅を決定する
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 出発地の駅と、到着地の駅と、で定義される経路探索の対象区間における当該出発地の駅と当該到着地の駅と定型部分とを含む発話から当該定型部分を区別し、区別した当該定型部分以外の部分に基づいて当該出発地の駅の候補と当該到着地の駅の候補とを抽出する抽出部と、
    前記抽出部により前記出発地の駅の候補が複数抽出された場合、抽出された前記出発地の駅の候補ごとにその候補を出発地の駅とし、前記到着地の駅の候補との間の経路を探索する探索部と、
    前記探索部により探索された前記経路の乗換回数に基づいて、複数抽出された前記出発地の駅の候補から前記出発地の駅を決定する決定部と、
    を備えたことを特徴とする情報処理装置。
  4. 前記決定部は、前記経路の乗換回数に加えて、前記探索部により探索された前記経路の乗換所要時間、または、前記探索部により探索された前記経路の移動所要時間の短さの少なくともいずれか一方を前記出発地の駅を決定する基準とし、各基準に対する重みづけを考慮して、前記出発地の駅を決定する
    ことを特徴とする請求項3に記載の情報処理装置。
  5. 前記抽出部は、前記出発地の駅の候補を、その候補に対応する確信度と対応付けて抽出し、
    前記探索部は、前記出発地の駅の候補のうち対応する前記確信度が所定以上である候補を選択して、前記到着地の駅との間の経路を探索する
    ことを特徴とする請求項1〜4のいずれか1つに記載の情報処理装置。
  6. 駅と、その駅の名称を表す文字列と、を対応付けた対照データを備え、
    前記抽出部は、前記対照データを参照することにより、前記発話と適合する部分文字列
    を前記名称の全体または一部分に含む駅の候補を複数抽出する
    ことを特徴とする請求項1〜のいずれか1つに記載の情報処理装置。
  7. 出発地の駅と、到着地の駅と、で定義される経路探索の対象区間における当該出発地の駅と当該到着地の駅と定型部分とを含む発話から当該定型部分を区別し、区別した当該定型部分以外の部分に基づいて当該出発地の駅の候補と当該到着地の駅の候補とを抽出する抽出部と、
    前記抽出部により前記出発地の駅の候補と前記到着地の駅の候補とがそれぞれ複数抽出された場合、抽出された前記出発地の駅の候補と前記到着地の駅の候補のペアごとに経路を探索する探索部と、
    前記探索部により探索された前記経路の乗換所要時間に基づいて、望ましい前記ペアを決定する決定部と、
    を備えたことを特徴とする情報処理装置。
  8. 出発地の駅と、到着地の駅と、で定義される経路探索の対象区間における当該出発地の駅と当該到着地の駅と定型部分とを含む発話から当該定型部分を区別し、区別した当該定型部分以外の部分に基づいて当該出発地の駅の候補と当該到着地の駅の候補とを抽出する処理と、
    前記抽出する処理により前記出発地の駅の候補が複数抽出された場合、抽出された前記出発地の駅の候補ごとにその候補を出発地の駅とし、前記到着地の駅の候補との間の経路を探索する処理と、
    前記探索する処理により探索された前記経路の乗換所要時間に基づいて、複数抽出された前記出発地の駅の候補から前記出発地の駅を決定する処理と、
    をコンピュータが実行することを特徴とする情報処理方法。
JP2013237408A 2013-11-15 2013-11-15 情報処理装置及び方法 Active JP6190251B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013237408A JP6190251B2 (ja) 2013-11-15 2013-11-15 情報処理装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013237408A JP6190251B2 (ja) 2013-11-15 2013-11-15 情報処理装置及び方法

Publications (2)

Publication Number Publication Date
JP2015096923A JP2015096923A (ja) 2015-05-21
JP6190251B2 true JP6190251B2 (ja) 2017-08-30

Family

ID=53374241

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013237408A Active JP6190251B2 (ja) 2013-11-15 2013-11-15 情報処理装置及び方法

Country Status (1)

Country Link
JP (1) JP6190251B2 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002215670A (ja) * 2001-01-15 2002-08-02 Omron Corp 音声応答装置、音声応答方法、音声応答プログラム、音声応答プログラムを記録した記録媒体および予約システム
JP2004117063A (ja) * 2002-09-24 2004-04-15 Seiko Epson Corp ナビゲーション装置
JP4634889B2 (ja) * 2005-08-15 2011-02-16 日本電信電話株式会社 音声対話シナリオ作成方法、装置、音声対話シナリオ作成プログラム、記録媒体
JP5132995B2 (ja) * 2007-06-08 2013-01-30 ヤフー株式会社 情報処理装置、プログラム及び情報処理方法
JP5315873B2 (ja) * 2008-09-12 2013-10-16 カシオ計算機株式会社 検索装置およびプログラム

Also Published As

Publication number Publication date
JP2015096923A (ja) 2015-05-21

Similar Documents

Publication Publication Date Title
US10719507B2 (en) System and method for natural language processing
US9865264B2 (en) Selective speech recognition for chat and digital personal assistant systems
EP3039531B1 (en) Display apparatus and controlling method thereof
CN107112008A (zh) 基于预测的序列识别
JP2022531987A (ja) 音声インタラクション方法、装置、機器、及びコンピュータ記憶媒体
CN113947147B (zh) 目标地图模型的训练方法、定位方法及相关装置
CN110956955B (zh) 一种语音交互的方法和装置
JP2014106523A (ja) 音声入力対応装置及び音声入力対応プログラム
CN110136715A (zh) 语音识别方法和装置
WO2019035373A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2018045639A (ja) 対話ログ分析装置、対話ログ分析方法およびプログラム
WO2012004955A1 (ja) テキスト補正方法及び認識方法
US20190214013A1 (en) Speech-to-text conversion based on user interface state awareness
CN112242143B (zh) 一种语音交互方法、装置、终端设备及存储介质
KR20190074508A (ko) 챗봇을 위한 대화 모델의 데이터 크라우드소싱 방법
JP2019015838A (ja) 音声認識システム、端末装置、及び辞書管理方法
US11482211B2 (en) Method and apparatus for outputting analysis abnormality information in spoken language understanding
JP6322125B2 (ja) 音声認識装置、音声認識方法および音声認識プログラム
JP6190251B2 (ja) 情報処理装置及び方法
CN113836917B (zh) 文本分词处理方法及其装置、设备与介质
CN115035890A (zh) 语音识别模型的训练方法、装置、电子设备及存储介质
JP5705274B2 (ja) 情報処理装置及び方法
CN112820294A (zh) 语音识别方法、装置、存储介质及电子设备
JP2010033340A (ja) 音声認識サーバ、通信システムおよび音声認識方法
WO2016136208A1 (ja) 音声対話装置、音声対話システム、および、音声対話装置の制御方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150811

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20150831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151007

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160701

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20160711

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20160902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170804

R150 Certificate of patent or registration of utility model

Ref document number: 6190251

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250