JP7197272B2 - 音声出力システム、音声出力方法、及びプログラム - Google Patents

音声出力システム、音声出力方法、及びプログラム Download PDF

Info

Publication number
JP7197272B2
JP7197272B2 JP2018002758A JP2018002758A JP7197272B2 JP 7197272 B2 JP7197272 B2 JP 7197272B2 JP 2018002758 A JP2018002758 A JP 2018002758A JP 2018002758 A JP2018002758 A JP 2018002758A JP 7197272 B2 JP7197272 B2 JP 7197272B2
Authority
JP
Japan
Prior art keywords
unit
audio output
utterance
vehicle
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018002758A
Other languages
English (en)
Other versions
JP2019120903A (ja
Inventor
英樹 小林
明泰 六車
侑紀也 杉山
昭太 東原
莉歩 松尾
直樹 山室
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2018002758A priority Critical patent/JP7197272B2/ja
Priority to CN201910013690.7A priority patent/CN110027571B/zh
Priority to US16/242,351 priority patent/US10984792B2/en
Publication of JP2019120903A publication Critical patent/JP2019120903A/ja
Application granted granted Critical
Publication of JP7197272B2 publication Critical patent/JP7197272B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3605Destination input or retrieval
    • G01C21/3608Destination input or retrieval using speech input, e.g. using speech recognition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3605Destination input or retrieval
    • G01C21/3617Destination input or retrieval using user history, behaviour, conditions or preferences, e.g. predicted or inferred from previous use or current movement
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3629Guidance using speech or audio output, e.g. text-to-speech
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3697Output of additional, non-guidance related information, e.g. low fuel level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/22Platooning, i.e. convoy of communicating vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/46Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/148Instrument input by voice
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/65Data transmitted between vehicles
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • General Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Social Psychology (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、音声出力システム、音声出力方法、及びプログラムに関する。
従来、車載装置に対して過度な処理負荷をかけることなく車載装置を音声作動させる音声動作システムが知られている(例えば、特許文献1を参照)。この音声作動システムは、携帯端末が音声を認識し、その認識結果を車載装置へ向けて送信し、車載装置は送信された認識結果に基づいて自装置を作動制御するように構成されている。
特開2009‐300537号公報
しかし、上記特許文献1では、複数の車両間で情報を共有する場合については考慮されていない。例えば、複数の車両が同一の行先へ向かう際には、行先の途中における訪問場所等に関する提案情報について、複数の車両間で共有されることが好ましい。
本発明は、上記事実を考慮し、行先が対応している複数の車両間において、複数の車両に乗車している乗員に対する提案情報を適切に共有することができる音声出力システム、音声出力方法、及びプログラムを提供することを目的とする。
請求項1に記載の音声出力システムは、ネットワークを介して接続された複数の音声出力装置を備える音声出力システムであって、複数の前記音声出力装置の各々は異なる車両に搭載され、複数の前記音声出力装置の各々は、前記車両に乗車している乗員の発話を取得する発話取得部と、前記発話取得部によって取得された前記発話と、前記車両の現在の行先情報及び前記車両の過去の行先情報の少なくとも一方とに基づいて、複数の前記車両に乗車している前記乗員の各々に対する提案を表す発話である提案情報を生成する生成部と、前記生成部によって生成された前記提案情報を出力する第1出力部と、前記生成部によって生成された前記提案情報を、現在の行先情報が対応する車両に搭載された他の前記音声出力装置へ送信する送信部と、他の前記音声出力装置から送信された前記提案情報を受信する受信部と、前記受信部によって受信された前記提案情報を出力する第2出力部と、を含む。
請求項1に記載の音声出力システムでは、複数の音声出力装置の各々は異なる車両に搭載され、乗員の発話と、車両の現在の行先情報及び車両の過去の行先情報の少なくとも一方とに基づいて、複数の車両に乗車している乗員に対する提案を表す発話である提案情報を生成する。また、生成された提案情報は、現在の行先情報が対応する車両に搭載された他の音声出力装置へ送信される。これにより、行先が対応している複数の車両間において、複数の車両に乗車している乗員に対する提案情報を適切に共有することができる。
請求項2に記載の音声出力システムでは、前記車両とは異なる箇所に設置される前記音声出力装置を更に備え、該音声出力装置の前記発話取得部は、該音声出力装置の周辺のユーザの発話を取得する。
請求項2に記載の音声出力システムでは、車両とは異なる箇所に設置される音声出力装置を更に備え、当該音声出力装置の発話取得部は、当該音声出力装置の周辺のユーザの発話を取得する。そして、生成された提案情報は複数の音声出力装置から出力される。これにより、遠隔地のユーザと車両内の乗員との間で適切に情報を共有することができる。
請求項3に記載のプログラムは、異なる車両に搭載された複数の音声出力装置の各々において実行されるプログラムであって、コンピュータを、車両に乗車している乗員の発話を取得する発話取得部、前記発話取得部によって取得された前記発話と、前記車両の現在の行先情報及び前記車両の過去の行先情報の少なくとも一方とに基づいて、複数の前記車両に乗車している前記乗員の各々に対する提案を表す発話である提案情報を生成する生成部、前記生成部によって生成された前記提案情報を出力する第1出力部、前記生成部によって生成された前記提案情報を、現在の行先情報が対応する車両に搭載された他の前記音声出力装置へ送信する送信部、他の前記音声出力装置から送信された前記提案情報を受信する受信部、及び前記受信部によって受信された前記提案情報を出力する第2出力部として機能させるためのプログラムである。
請求項4に記載の音声出力方法は、異なる車両に搭載された複数の音声出力装置の各々において実行される音声出力方法であって、発話取得部が、車両に乗車している乗員の発話を取得し、生成部が、前記発話取得部によって取得された前記発話と、前記車両の現在の行先情報及び前記車両の過去の行先情報の少なくとも一方とに基づいて、複数の前記車両に乗車している前記乗員の各々に対する提案を表す発話である提案情報を生成し、第1出力部が、前記生成部によって生成された前記提案情報を出力し、送信部が、前記生成部によって生成された前記提案情報を、現在の行先情報が対応する車両に搭載された他の前記音声出力装置へ送信し、受信部が、他の前記音声出力装置から送信された前記提案情報を受信し、第2出力部が、前記受信部によって受信された前記提案情報を出力する、処理をコンピュータに実行させる音声出力方法である。
以上説明したように本発明によれば、行先が対応している複数の車両間において、複数の車両に乗車している乗員に対する提案情報を適切に共有することができる、という効果がある。
第1の実施形態に係る音声出力システムの概略ブロック図である。 第1の実施形態の概要を説明するための説明図である。 ナビゲーション装置の概略ブロック図である。 対話装置の概略ブロック図である。 各装置のコンピュータの構成例を示す図である。 実施形態に係る対話装置で行われる処理の一例を示すフローチャートである。 実施形態に係る対話装置で行われる処理の一例を示すフローチャートである。 第2の実施形態に係る音声出力システムの概略ブロック図である。 第2の実施形態の概要を説明するための説明図である。
<第1の実施形態>
以下、図面を用いて第1の実施形態に係る音声出力システムについて説明する。
<音声出力システム>
図1は、第1の実施形態に係る音声出力システム1の構成の一例を示すブロック図である。音声出力システム1は、図1に示されるように、第1のナビゲーション装置5X、第2のナビゲーション装置5Y、及び第3のナビゲーション装置5Zと、第1の対話装置10X、第2の対話装置10Y、及び第3の対話装置10Zと、サーバ12とを備える。第1の対話装置10X、第2の対話装置10Y、及び第3の対話装置10Zと、サーバ12とは所定のネットワーク14を介して接続されている。第1の対話装置10X、第2の対話装置10Y、及び第3の対話装置10Zは、複数の音声出力装置の一例である。
図2に示されるように、第1の対話装置10Xは車両V1内に設置され、第2の対話装置10Yは車両V2内に設置され、及び第3の対話装置10Zは車両V3内に設置される。車両V1には、乗員A1、乗員B1、乗員C1、及び乗員D1が乗車している。また、車両V2には、乗員A2、乗員B2、乗員C2、及び乗員D2が乗車している。また、車両V3には、乗員A3、乗員B3、乗員C3、及び乗員D3が乗車している。
車両V1~V3は、現在の行先が同一である複数の車両である。例えば、複数人で旅行等に出かける際、1台の車両に複数人が乗り切れない場合には、複数人が車両V1~V3に分かれて乗車する必要がある。この場合、行先へ向かう途中で、立ち寄る場所等があるときには、車両V1~V3間で情報の共有がなされることが好ましい。例えば、食事を取る際に、どこで食事を取るか等の情報共有が車両V1~V3間で行われると、異なる車両に乗車する乗員の間において、携帯端末等により連絡を取る必要がなくなる。
また、現在の行先及び過去の行先に応じて、立ち寄る場所の提案等がなされると好ましい。例えば、現在の行先へ向かう途中の経路において、評判の良い店が存在し、かつ車両の乗員から「食事の取れる店を探して」といった発話が発せられた場合、その店を提案することが考えられる。また、現在の行先へ向かう途中の経路において、過去に訪問した行先が存在する場合には、過去の行先に応じた提案がなされることが考えられる。
そこで、本実施形態の対話装置は、現在の行先及び過去の行先に応じて、車両の乗員に対する提案を表す発話である提案情報を生成する。例えば、図2に示されるように、車両V1の乗員D1から発話「XXX」が発せられた場合、第1の対話装置10Xは、提案情報「YYY」を生成し、その提案情報を車両V1の乗員A1~D1に対して出力する。そして、第1の対話装置10Xは、サーバ12を介して提案情報「YYY」を第2の対話装置10Y及び第3の対話装置10Zへ送信する。第2の対話装置10Yは、提案情報「YYY」を車両V2の乗員A2~D2に対して出力する。また、第3の対話装置10Zは、提案情報「YYY」を車両V3の乗員A3~D3に対して出力する。これにより、複数の車両で同一の行先へ向かう場合に、複数の車両間で提案情報の共有が行われる。以下、具体的に説明する。
<サーバ>
サーバ12は、CPU(Central Processing Unit)、各処理ルーチンを実現するためのプログラム等を記憶したROM(Read Only Memory)、データを一時的に記憶するRAM(Random Access Memory)、記憶手段としてのメモリ、ネットワークインタフェース等を含んで構成されている。
サーバ12は、車両V1に搭載された第1の対話装置10X、車両V2に搭載された第2の対話装置10Y、及び車両V3に搭載された第3の対話装置10Zに対してグループを設定する。例えば、サーバ12は、第1の対話装置10X、第2の対話装置10Y、及び第3の対話装置10Zから送信された制御信号を受信し、制御信号に応じて第1の対話装置10X、第2の対話装置10Y、及び第3の対話装置10Zをグルーピングする。
また、サーバ12は、第1の対話装置10X、第2の対話装置10Y、及び第3の対話装置10Zの間での情報の送受信を仲介する。
<ナビゲーション装置>
第1のナビゲーション装置5Xは車両V1に搭載され、第2のナビゲーション装置5Yは車両V2に搭載され、第3のナビゲーション装置5Zは車両V3に搭載される。第1のナビゲーション装置5X、第2のナビゲーション装置5Y、及び第3のナビゲーション装置5Zは、同様の構成であるため、ここでは、第1のナビゲーション装置5Xの構成について説明する。
第1のナビゲーション装置5Xは、CPU、各処理ルーチンを実現するためのプログラム等を記憶したROM、データを一時的に記憶するRAM、記憶手段としてのメモリ、ネットワークインタフェース等を含むコンピュータによって構成されている。図3に示されるように、第1のナビゲーション装置5Xは、機能的には、行先情報設定部6Xと、履歴情報記憶部7Xと、情報出力部8Xとを備える。
行先情報設定部6Xは、車両V1の乗員A1~D1の操作情報を受け付け、現在の行先を表す行先情報を生成する。行先情報設定部6Xによって設定された行先情報に応じて、車両V1は目的地へ向かう。
履歴情報記憶部7Xには、車両V1の過去の行先情報の各々が格納されている。
情報出力部8Xは、行先情報設定部6Xによって設定された現在の行先情報と、履歴情報記憶部7Xに格納されている過去の行先情報とを、第1の対話装置10Xへ出力する。
<対話装置>
第1の対話装置10Xは車両V1に搭載され、第2の対話装置10Yは車両V2に搭載され、第3の対話装置10Zは車両V3に搭載される。第1の対話装置10X、第2の対話装置10Y、及び第3の対話装置10Zは、同様の構成であるため、ここでは、第1の対話装置10Xの構成について説明する。
第1の対話装置10Xは、車両V1の乗員A1~D1との間で対話を行う。例えば、第1の対話装置10Xは、乗員から発せられた「音楽をかけて」との発話に応じて、音楽を流す。
図4に示されるように、第1の対話装置10Xは、音声マイク30Xと、コンピュータ32Xと、スピーカ38Xとを備える。
音声マイク30Xは、第1の対話装置10Xの周辺に存在する乗員の発話を検出する。そして、音声マイク30Xは、検出した乗員の発話を、後述するコンピュータ32Xに対して出力する。
コンピュータ32Xは、CPU、各処理ルーチンを実現するためのプログラム等を記憶したROM、データを一時的に記憶するRAM、記憶手段としてのメモリ、ネットワークインタフェース等を含んで構成されている。コンピュータ32Xは、機能的には、発話取得部33Xと、情報取得部34Xと、提案情報生成部35Xと、出力部36Xと、通信部37Xとを備える。出力部36Xは、第1出力部及び第2出力部の一例であり、通信部37Xは、送信部及び受信部の一例である。また、提案情報生成部35Xは、生成部の一例である。
発話取得部33Xは、音声マイク30Xによって検出された乗員の発話を逐次取得する。
情報取得部34Xは、第1のナビゲーション装置5Xから出力された、現在の行先情報及び過去の行先情報を取得する。
提案情報生成部35Xは、発話取得部33Xによって取得された発話と、情報取得部34Xによって取得された現在の行先情報及び過去の行先情報に基づいて、車両の乗員に対する提案を表す発話である提案情報を生成する。
例えば、車両V1の乗員A1、乗員B1、乗員C1、及び乗員D1の間で、「お昼どうしようか?」、「うどんが食べたい」、「いいね」、「この近くか、行先付近で、いいうどん屋ないかな」という会話がなされた場合、発話取得部33Xによって、これらの発話が取得される。
提案情報生成部35Xは、例えば、発話取得部33Xによって取得された発話のうちの、「うどん」「食べたい」「いい」「うどん屋」といった単語の組み合わせに基づいて、うどん屋を提案すべきと認識する。また、提案情報生成部35Xは、例えば、発話取得部33Xによって取得された発話のうちの、「この近く」「行先付近」といった単語の組み合わせに基づいて、現在の行先又は現在の行先の経路の近くに存在するうどん屋を提案すべきと認識する。
提案情報生成部35Xは、例えば、後述する通信部37Xを介して、所定のデータベース(図示省略)から、情報取得部34Xによって取得された現在の行先又は現在の行先の経路の近くに存在するうどん屋の情報を取得する。そして、提案情報生成部35Xは、取得したうどん屋に関する情報を含む発話を生成する。例えば、提案情報生成部35Xは、「行先であるX付近に、うどん屋Yがあります。このうどん屋の一般的な評価はZです。」といった発話を提案情報として生成する。
また、車両V1の乗員A1、乗員B1、乗員C1、及び乗員D1の間で、「お昼どうしようか?」「うどんが食べたい」「いいね」「前にこの近くで、おいしいうどん屋に行ったよね」という会話がなされた場合、発話取得部33Xによって、これらの発話が取得される。
この場合、提案情報生成部35Xは、例えば、発話取得部33Xによって取得された発話のうちの、「うどん」「食べたい」「いい」「うどん屋」といった単語の組み合わせに基づいて、うどん屋を提案すべきと認識する。また、提案情報生成部35Xは、例えば、発話取得部33Xによって取得された発話のうちの、「前に」「この近く」「うどん屋」といった単語の組み合わせに基づいて、過去に訪問したうどん屋を提案すべきと認識する。
提案情報生成部35Xは、情報取得部34Xによって取得された過去の行先情報に基づいて、例えば、後述する通信部37Xを介して、所定のデータベース(図示省略)から、過去に訪問したうどん屋の情報を取得する。そして、提案情報生成部35Xは、過去に訪問したうどん屋に関する情報を含む発話を生成する。例えば、提案情報生成部35Xは、「前に行ったうどん屋Yがこの近くにあります。このうどん屋の一般的な評価はZです。」といった発話を提案情報として生成する。
出力部36Xは、提案情報生成部35Xによって生成された提案情報を、スピーカ38Xに対して出力する。また、出力部36Xは、提案情報生成部35Xによって生成された提案情報を、通信部37Xに対して出力する。
通信部37Xは、提案情報生成部35Xによって生成された提案情報を、サーバ12を介して、同じグループに属する他の対話装置である、第2の対話装置10Y及び第3の対話装置10Zへ送信する。
スピーカ38Xは、出力部36Xによって出力された提案情報を音声によって出力する。
第2の対話装置10Yの通信部37X及び第3の対話装置10Zの通信部37Xは、第1の対話装置10Xから送信された提案情報を受信する。そして、第2の対話装置10Yの出力部36X及び第3の対話装置10Zの出力部36Xは、スピーカ38X,38Yに対して提案情報を出力する。そして、スピーカ38X,38Yから提案情報が音声によって出力され、複数の車両で同一の行先へ向かう場合に、複数の車両間で提案情報の共有が行われる。
なお、第2の対話装置10Yにおいて提案情報が生成された場合には、当該提案情報は第1の対話装置10X及び第3の対話装置10Zに送信され、第2の対話装置10Yによって生成された提案情報が共有される。また、第3の対話装置10Zにおいて提案情報が生成された場合には、当該提案情報は第1の対話装置10X及び第2の対話装置10Yに送信され、第3の対話装置10Zによって生成された提案情報が共有される。
サーバ12、第1のナビゲーション装置5X、第2のナビゲーション装置5Y、第3のナビゲーション装置5Z、第1の対話装置10Xのコンピュータ32X、第2の対話装置10Yのコンピュータ32Y、及び第3の対話装置10Zのコンピュータ32Zは、例えば、図5に示すような構成によって実現することができる。図5に示すコンピュータはCPU51、一時記憶領域としてのメモリ52、及び不揮発性の記憶部53を備える。また、コンピュータは、入出力装置等(図示省略)が接続される入出力interface(I/F)54、及び記録媒体59に対するデータの読み込み及び書き込みを制御するread/write(R/W)部55を備える。また、コンピュータは、インターネット等のネットワークに接続されるネットワークI/F56を備える。CPU51、メモリ52、記憶部53、入出力I/F54、R/W部55、及びネットワークI/F56は、バス57を介して互いに接続される。
記憶部53は、Hard Disk Drive(HDD)、solid state drive(SSD)、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部53には、コンピュータを機能させるためのプログラムが記憶されている。CPU51は、プログラムを記憶部53から読み出してメモリ52に展開し、プログラムが有するプロセスを順次実行する。
次に、本実施形態の作用及び効果について説明する。
サーバ12は、第1の対話装置10X、第2の対話装置10Y、及び第3の対話装置10Zから送信された制御信号を受信し、制御信号に応じて第1の対話装置10X、第2の対話装置10Y、及び第3の対話装置10Zをグルーピングする。
次に、第1のナビゲーション装置5X、第2のナビゲーション装置5Y、及び第3のナビゲーション装置5Zに対して、現在の行先情報が入力される。
そして、車両V1,V2,V3の走行が開始され、第1の対話装置10X、第2の対話装置10Y、及び第3の対話装置10Zが起動すると、図6に示す提案処理ルーチンを実行する。なお、以下では、第1の対話装置10Xによって実行される提案処理ルーチンを例に説明する。
ステップS100において、発話取得部33Xは、音声マイク30Xによって検出された乗員の発話を取得する。
ステップS101において、発話取得部33Xは、上記ステップS100で取得された発話が所定の発話であるか否かを判定する。上記ステップS100で取得された発話が所定の発話である場合には、ステップS102へ進む。一方、上記ステップS100で取得された発話が所定の発話でない場合には、ステップS100へ戻る。所定の発話としては、例えば、「食べたい」「食事」「お昼」といった発話が予め登録される。この処理により、乗員から発話が発せられる毎に提案情報が生成されることを抑制することができる。
ステップS102において、情報取得部34Xは、第1のナビゲーション装置5Xから、現在の行先情報及び過去の行先情報を取得する。
ステップS104において、提案情報生成部35Xは、上記ステップS100で取得された発話と、上記ステップS102で取得された、現在の行先情報及び過去の行先情報に基づいて、提案情報を生成する。
ステップS106において、出力部36Xは、上記ステップS104で生成された提案情報を、スピーカ38Xに対して出力する。スピーカ38Xは、出力部36Xによって出力された提案情報を音声によって出力する。
ステップS108において、通信部37Xは、上記ステップS106で生成された提案情報を、サーバ12を介して、第2の対話装置10Y及び第3の対話装置10Zへ送信する。
第1の対話装置10Xから提案情報が送信され、第2の対話装置10Yの通信部37X及び第3の対話装置10Zの通信部37Xが、第1の対話装置10Xから送信された提案情報を受信すると、第2の対話装置10Y及び第3の対話装置10Zは図7に示す処理ルーチンを実行する。なお、以下では、第2の対話装置10Yによって実行される処理ルーチンを例に説明する。
ステップS200において、出力部36Yは、通信部37Yによって受信された提案情報を取得する。
ステップS202において、出力部36Yは、上記ステップS200で取得された提案情報を、スピーカ38Yに対して出力する。スピーカ38Yは、出力部36Yによって出力された提案情報を音声によって出力する。
なお、図7に示す処理ルーチンは、第3の対話装置10Zにおいても同様に実行される。
以上説明したように、第1の実施形態に係る音声出力システムは、ネットワークを介して接続された複数の対話装置を備え、各対話装置は、車両の乗員の発話と現在の行先情報及び過去の行先情報とに基づいて、車両の乗員に対する提案を表す発話である提案情報を生成する。そして、各対話装置は提案情報を自己の車両内で出力すると共に、提案情報を他の対話装置へ送信する。そして、他の対話装置は、受信された提案情報を自己の車両内で出力する。これにより、現在の行先が対応している複数の車両間において、複数の車両に乗車している乗員に対する提案情報を適切に共有することができる。
また、第1の実施形態に係る音声出力システムでは、現在の行先が対応している複数の車両の各々に搭載された対話装置のグループがサーバ12によって定められる。そして、特定の対話装置において生成された提案情報が同じグループに属する他の対話装置へ送信される。これにより、同じグループに属する対話装置から出力される提案情報によって、適切に情報を共有することができる。また、提案情報に応じた目的地の情報及び車内の情報が適切に共有される。
<第2の実施形態>
次に、第2の実施形態に係る音声出力システムについて説明する。なお、第1の実施形態と同様の構成となる部分については、同一符号を付して説明を省略する。
第2の実施形態の音声出力システムは、車両とは異なる箇所に設置された対話装置を含む点が、第1の実施形態と異なる。
音声出力システム2は、図8に示されるように、第1のナビゲーション装置5X、第2のナビゲーション装置5Y、及び第3のナビゲーション装置5Zと、第1の対話装置10X、第2の対話装置10Y、第3の対話装置10Z、及び第4の対話装置210と、サーバ12とを備える。
図9に示されるように、第4の対話装置210は、車両とは異なる箇所に設置される。第4の対話装置210の詳細な構成は、第1の対話装置10X、第2の対話装置10Y、及び第3の対話装置10Zと同様である。
図9に示されるように、例えば、複数人で旅行等に出かける際には車両V1~V3によって行先へ向かうことになる。これに対し、ユーザE,Fは旅行に参加していないユーザである。しかし、ユーザE,Fも旅行に参加している気分を味わいたい場合がある。
そこで、本実施形態では、車両とは異なる箇所に設置された第4の対話装置210を用いて、車両V1~V3の乗員と、車両に乗車していないユーザE,Fとの間で情報共有を行う。
例えば、ユーザEから「そういえば、昔、その近くのTという場所へ行ったよ。」という発話が発せられた場合には、第4の対話装置210は、その発話を取得する。そして、第4の対話装置210は、ユーザEから発せられた発話に応じた提案情報を生成する。そして、第4の対話装置210によって生成された提案情報は、サーバ12を介して、第1の対話装置10X、第2の対話装置10Y、及び第3の対話装置10Zへ送信され、車両V1~V3内において、その提案情報が出力される。
これにより、車両とは異なる箇所に設置された対話装置を用いて、遠隔地のユーザと車両内の乗員との間で適切に情報を共有することができる。
なお、第2の実施形態に係る第4の対話装置210の他の構成及び作用については、第1の実施形態と同様であるため、説明を省略する。
以上説明したように、第2の実施形態に係る音声出力システムでは、複数の対話装置の各々は、車両及び車両とは異なる箇所に設置される。これにより、遠隔地のユーザと車両内の乗員との間で適切に情報を共有することができる。また、遠隔地のユーザと車両内の乗員との間で、過去に訪問した場所等の情報が共有される。
なお、上記の実施形態における対話装置で行われる処理は、プログラムを実行することにより行われるソフトウエア処理として説明したが、ハードウエアで行う処理としてもよい。或いは、ソフトウエア及びハードウエアの双方を組み合わせた処理としてもよい。また、ROMに記憶されるプログラムは、各種記憶媒体に記憶して流通させるようにしてもよい。
さらに、本発明は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。
例えば、上記実施形態における対話装置は、携帯端末等によって実現されてもよい。
1,2 音声出力システム
5X 第1のナビゲーション装置
5Y 第2のナビゲーション装置
5Z 第3のナビゲーション装置
6X,6Y,6Z 行先情報設定部
7X,7Y,7Z 履歴情報記憶部
8X,8Y,8Z 情報出力部
10X 第1の対話装置(音声出力装置)
10Y 第2の対話装置(音声出力装置)
10Z 第3の対話装置(音声出力装置)
12 サーバ
14 ネットワーク
30X,30Y,30Z 音声マイク
32X,32Y,32Z コンピュータ
33X,33Y,33Z 発話取得部
34X,34Y,34Z 情報取得部
35X,35Y,35Z 提案情報生成部(生成部)
36X,36Y,36Z 出力部(第1出力部、第2出力部)
37X,37Y,37Z 通信部(送信部、受信部)
38X,38Y,38Z スピーカ
210 第4の対話装置(音声出力装置)

Claims (5)

  1. ネットワークを介して接続された複数の音声出力装置を備える音声出力システムであって、
    複数の前記音声出力装置の各々は異なる車両に搭載され、
    複数の前記音声出力装置の各々は、
    前記車両に乗車している乗員の複数の発話を取得し、取得した複数の発話の中に所定の発話が含まれているか否かを判定する発話取得部と、
    前記発話取得部により取得された複数の発話の中に所定の発話が含まれている場合に、前記発話取得部によって取得された複数の発話と、前記車両の現在の行先情報及び前記車両の過去の行先情報の少なくとも一方とに基づいて、複数の前記車両に乗車している前記乗員の各々に対する提案を表す発話である提案情報であって、かつ前記行先情報を表す発話を含む提案情報を生成する生成部と、
    前記生成部によって生成された前記提案情報を出力する第1出力部と、
    前記生成部によって生成された前記提案情報を、現在の行先情報が対応する車両に搭載された他の前記音声出力装置へ送信する送信部と、
    他の前記音声出力装置から送信された前記提案情報を受信する受信部と、
    前記受信部によって受信された前記提案情報を出力する第2出力部と、を含む、
    音声出力システム。
  2. 前記車両とは異なる箇所に設置される前記音声出力装置を更に備え、該音声出力装置の前記発話取得部は、該音声出力装置の周辺のユーザの発話を取得する、
    請求項1に記載の音声出力システム。
  3. 前記生成部は、前記提案情報を生成する際に、前記発話取得部によって取得された前記発話内に予め登録された単語が存在する場合に、前記提案情報を生成する、
    請求項1又は請求項2に記載の音声出力システム。
  4. 異なる車両に搭載された複数の音声出力装置の各々において実行されるプログラムであって、
    コンピュータを、
    車両に乗車している乗員の複数の発話を取得し、取得した複数の発話の中に所定の発話が含まれているか否かを判定する発話取得部、
    前記発話取得部により取得された複数の発話の中に所定の発話が含まれている場合に、前記発話取得部によって取得された複数の発話と、前記車両の現在の行先情報及び前記車両の過去の行先情報の少なくとも一方とに基づいて、複数の前記車両に乗車している前記乗員の各々に対する提案を表す発話である提案情報であって、かつ前記行先情報を表す発話を含む提案情報を生成する生成部、
    前記生成部によって生成された前記提案情報を出力する第1出力部、
    前記生成部によって生成された前記提案情報を、現在の行先情報が対応する車両に搭載された他の前記音声出力装置へ送信する送信部、
    他の前記音声出力装置から送信された前記提案情報を受信する受信部、及び
    前記受信部によって受信された前記提案情報を出力する第2出力部
    として機能させるためのプログラム。
  5. 異なる車両に搭載された複数の音声出力装置の各々において実行される音声出力方法であって、
    発話取得部が、車両に乗車している乗員の複数の発話を取得し、取得した複数の発話の中に所定の発話が含まれているか否かを判定し
    生成部が、前記発話取得部により取得された複数の発話の中に所定の発話が含まれている場合に、前記発話取得部によって取得された複数の発話と、前記車両の現在の行先情報及び前記車両の過去の行先情報の少なくとも一方とに基づいて、複数の前記車両に乗車している前記乗員の各々に対する提案を表す発話である提案情報であって、かつ前記行先情報を表す発話を含む提案情報を生成し、
    第1出力部が、前記生成部によって生成された前記提案情報を出力し、
    送信部が、前記生成部によって生成された前記提案情報を、現在の行先情報が対応する車両に搭載された他の前記音声出力装置へ送信し、
    受信部が、他の前記音声出力装置から送信された前記提案情報を受信し、
    第2出力部が、前記受信部によって受信された前記提案情報を出力する、
    処理をコンピュータに実行させる音声出力方法。
JP2018002758A 2018-01-11 2018-01-11 音声出力システム、音声出力方法、及びプログラム Active JP7197272B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018002758A JP7197272B2 (ja) 2018-01-11 2018-01-11 音声出力システム、音声出力方法、及びプログラム
CN201910013690.7A CN110027571B (zh) 2018-01-11 2019-01-08 语音输出系统、语音输出方法和程序存储介质
US16/242,351 US10984792B2 (en) 2018-01-11 2019-01-08 Voice output system, voice output method, and program storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018002758A JP7197272B2 (ja) 2018-01-11 2018-01-11 音声出力システム、音声出力方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2019120903A JP2019120903A (ja) 2019-07-22
JP7197272B2 true JP7197272B2 (ja) 2022-12-27

Family

ID=67140876

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018002758A Active JP7197272B2 (ja) 2018-01-11 2018-01-11 音声出力システム、音声出力方法、及びプログラム

Country Status (3)

Country Link
US (1) US10984792B2 (ja)
JP (1) JP7197272B2 (ja)
CN (1) CN110027571B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7197272B2 (ja) 2018-01-11 2022-12-27 トヨタ自動車株式会社 音声出力システム、音声出力方法、及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008233036A (ja) 2007-03-23 2008-10-02 Navitime Japan Co Ltd 立ち寄りスポット決定システム及び端末装置ならびにサーバ装置
JP2010204831A (ja) 2009-03-02 2010-09-16 Aisin Aw Co Ltd 施設案内装置、施設案内方法及びコンピュータプログラム
WO2014141676A1 (ja) 2013-03-12 2014-09-18 パナソニック株式会社 情報通信端末、対話提供方法
WO2016002406A1 (ja) 2014-07-04 2016-01-07 クラリオン株式会社 車載対話型システム、及び車載情報機器
JP2016133338A (ja) 2015-01-16 2016-07-25 クラリオン株式会社 Poi情報提供サーバ、poi情報提供装置、poi情報提供システムおよびプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001289661A (ja) * 2000-04-07 2001-10-19 Alpine Electronics Inc ナビゲーション装置
WO2004075137A1 (ja) * 2003-02-19 2004-09-02 Matsushita Electric Industrial Co., Ltd. 情報提供装置
JP4114509B2 (ja) 2003-03-05 2008-07-09 セイコーエプソン株式会社 情報提示方法および情報提示システムならびに情報提示処理プログラム
JP2009300537A (ja) 2008-06-10 2009-12-24 Fujitsu Ten Ltd 音声作動システム、音声作動方法および車載装置
JP2010217318A (ja) 2009-03-13 2010-09-30 Equos Research Co Ltd 同乗者検索装置および同乗者検索プログラム
KR101578737B1 (ko) 2009-07-15 2015-12-21 엘지전자 주식회사 이동 단말기의 음성 처리 장치 및 그 방법
US20120173245A1 (en) * 2009-12-24 2012-07-05 Mitsubishi Electric Corporation Navigation system
CA2742271C (en) * 2010-06-07 2019-02-12 Intelligent Mechatronic Systems Inc. On the road groups
JP2012133530A (ja) 2010-12-21 2012-07-12 Denso Corp 車載装置
TWI503038B (zh) 2010-12-29 2015-10-01 Hon Hai Prec Ind Co Ltd 手機及其獲取資訊的方法
CN103096246B (zh) * 2011-11-04 2016-04-20 上海博泰悦臻网络技术服务有限公司 车辆的对讲装置、对讲服务器、行车位置显示方法和系统
CN104424809B (zh) * 2013-08-19 2017-04-12 深圳市赛格导航科技股份有限公司 一种车队导游系统和方法
JP6432177B2 (ja) 2014-06-20 2018-12-05 カシオ計算機株式会社 対話型通信システム、端末装置およびプログラム
US9551588B2 (en) 2014-08-29 2017-01-24 The Nielsen Company, LLC Methods and systems to determine consumer locations based on navigational voice cues
US9552816B2 (en) 2014-12-19 2017-01-24 Amazon Technologies, Inc. Application focus in speech-based systems
US9875081B2 (en) 2015-09-21 2018-01-23 Amazon Technologies, Inc. Device selection for providing a response
EP3437342B1 (en) * 2016-05-06 2020-12-02 Klante, Wolfgang Michael Methods involving guided tour audio communication systems having optical reader programming
JP6604267B2 (ja) * 2016-05-26 2019-11-13 トヨタ自動車株式会社 音声処理システムおよび音声処理方法
JP7197272B2 (ja) 2018-01-11 2022-12-27 トヨタ自動車株式会社 音声出力システム、音声出力方法、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008233036A (ja) 2007-03-23 2008-10-02 Navitime Japan Co Ltd 立ち寄りスポット決定システム及び端末装置ならびにサーバ装置
JP2010204831A (ja) 2009-03-02 2010-09-16 Aisin Aw Co Ltd 施設案内装置、施設案内方法及びコンピュータプログラム
WO2014141676A1 (ja) 2013-03-12 2014-09-18 パナソニック株式会社 情報通信端末、対話提供方法
WO2016002406A1 (ja) 2014-07-04 2016-01-07 クラリオン株式会社 車載対話型システム、及び車載情報機器
JP2016133338A (ja) 2015-01-16 2016-07-25 クラリオン株式会社 Poi情報提供サーバ、poi情報提供装置、poi情報提供システムおよびプログラム

Also Published As

Publication number Publication date
CN110027571B (zh) 2022-03-01
JP2019120903A (ja) 2019-07-22
US20190214007A1 (en) 2019-07-11
CN110027571A (zh) 2019-07-19
US10984792B2 (en) 2021-04-20

Similar Documents

Publication Publication Date Title
US20050216271A1 (en) Speech dialogue system for controlling an electronic device
JP5821639B2 (ja) 音声認識装置
JP5233989B2 (ja) 音声認識システム、音声認識方法、および音声認識処理プログラム
CN109545219A (zh) 车载语音交互方法、系统、设备及计算机可读存储介质
JP6846617B2 (ja) 情報提供方法、サーバ、情報端末装置、システム及び音声対話システム
JP2009530666A (ja) 外部ユーザの自動音声認識、口述、録音および再生を提供する方法
JP4667085B2 (ja) 音声対話システム、コンピュータプログラム、対話制御装置及び音声対話方法
JP2009300537A (ja) 音声作動システム、音声作動方法および車載装置
JP2010130223A (ja) 音声操作システムおよび音声操作方法
JP7197272B2 (ja) 音声出力システム、音声出力方法、及びプログラム
JP6984420B2 (ja) 対話装置
JP2014219617A (ja) 音声案内システム及び音声案内方法
JP6604267B2 (ja) 音声処理システムおよび音声処理方法
Tashev et al. Commute UX: Voice enabled in-car infotainment system
Abut et al. DSP for in-vehicle and mobile systems
JP5376072B1 (ja) 車載情報システムおよび音声認識適応方法
JP2003316385A (ja) 音声対話システム及び音声対話方法
Tchankue et al. Are mobile in-car communication systems feasible? a usability study
CN110880319A (zh) 语音交互装置、语音交互装置的控制方法以及存储程序的非暂时性记录介质
JP2019159559A (ja) 情報提供装置
WO2014141574A1 (ja) 音声制御システム、音声制御方法、音声制御用プログラムおよび耐雑音音声出力用プログラム
JP7347324B2 (ja) エージェント連携装置
JP2020154527A (ja) 車載装置、車載装置の制御方法、およびプログラム
WO2024009465A1 (ja) 音声認識装置、プログラム、音声認識方法、及び音声認識システム
JP2019212168A (ja) 音声認識システムおよび情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200728

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210623

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220203

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220203

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220216

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220222

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20220311

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20220315

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220621

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20220809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221004

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20221018

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20221025

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20221122

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20221122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221215

R151 Written notification of patent or utility model registration

Ref document number: 7197272

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151