JP7252029B2 - SERVER DEVICE, INFORMATION PROVISION METHOD, AND PROGRAM - Google Patents
SERVER DEVICE, INFORMATION PROVISION METHOD, AND PROGRAM Download PDFInfo
- Publication number
- JP7252029B2 JP7252029B2 JP2019058590A JP2019058590A JP7252029B2 JP 7252029 B2 JP7252029 B2 JP 7252029B2 JP 2019058590 A JP2019058590 A JP 2019058590A JP 2019058590 A JP2019058590 A JP 2019058590A JP 7252029 B2 JP7252029 B2 JP 7252029B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- vehicle
- agent
- information
- manufacturing process
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 16
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 238000004519 manufacturing process Methods 0.000 claims description 94
- 238000012545 processing Methods 0.000 claims description 48
- 230000004044 response Effects 0.000 claims description 42
- 230000008569 process Effects 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000010422 painting Methods 0.000 claims description 6
- 238000012394 real-time manufacturing Methods 0.000 claims description 3
- 239000003795 chemical substances by application Substances 0.000 description 246
- 238000004891 communication Methods 0.000 description 76
- 230000006870 function Effects 0.000 description 58
- 238000003860 storage Methods 0.000 description 50
- 238000010586 diagram Methods 0.000 description 35
- 238000007726 management method Methods 0.000 description 19
- 238000012544 monitoring process Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 238000003058 natural language processing Methods 0.000 description 8
- 239000008186 active pharmaceutical agent Substances 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 235000019640 taste Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/4185—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the network communication
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/33—Director till display
- G05B2219/33139—Design of industrial communication system with expert system
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Information Transfer Between Computers (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、サーバ装置、エージェント装置、情報提供方法、およびプログラムに関する。 The present invention relates to a server device, an agent device, an information providing method, and a program.
従来、カメラを用いて自動車における欠陥個所の画像を記録し、この記録画像を製造過程期間中に少なくとも1つの中央デバイスに伝送する製造関連データの供給方法が知られている(例えば、特許文献1参照)。 It is known in the prior art to provide production-related data in which a camera is used to record an image of a defect in a motor vehicle and to transmit this recorded image to at least one central device during the manufacturing process (e.g. US Pat. reference).
しかしながら、上記の従来技術は、車両の製造元に対する情報の提供であり、車両の納入先の利用者に対する情報の提供は考慮されていない。 However, the conventional technology described above is intended to provide information to vehicle manufacturers, and does not consider providing information to users of vehicle delivery destinations.
本発明は、このような事情を考慮してなされたものであり、有用な情報を利用者に提供することができるサーバ装置、エージェント装置、情報提供方法、およびプログラムを提供することを目的の一つとする。 SUMMARY OF THE INVENTION It is an object of the present invention to provide a server device, an agent device, an information providing method, and a program capable of providing useful information to users. one.
この発明に係るサーバ装置、エージェント装置、情報提供方法、およびプログラムは、以下の構成を採用した。 A server device, an agent device, an information providing method, and a program according to the present invention employ the following configurations.
(1):この発明の一態様に係るサーバ装置は、車両の納車先である利用者に対応付けられた車両の製造過程を取得する取得部と、前記取得部により取得された前記製造過程を示す情報を前記利用者の端末装置に送信する送信部とを備えるサーバ装置である。 (1): A server device according to an aspect of the present invention includes an acquisition unit that acquires a manufacturing process of a vehicle associated with a user who is a delivery destination of the vehicle, and acquires the manufacturing process acquired by the acquisition unit. and a transmission unit configured to transmit the information to the terminal device of the user.
(2):上記(1)の態様において、前記製造過程は、前記車両に対応付けられる名称を付与する付与過程を含み、前記利用者のリクエストに応じて、前記名称を前記車両に設定する設定部を更に備えるものである。 (2): In the aspect of (1) above, the manufacturing process includes an assigning process of assigning a name associated with the vehicle, and setting the name to the vehicle in response to a request from the user. It further comprises a part.
(3):上記(2)の態様において、前記製造過程は、前記車両に搭載される、音声に応じて音声による応答を含むサービスを提供するエージェント装置に対して前記名称を付与する工程を含み、前記設定部は、前記利用者のリクエストに応じて、前記名称を前記エージェント装置に設定するものである。 (3): In the aspect of (2) above, the manufacturing process includes the step of giving the name to an agent device that is mounted on the vehicle and provides services including voice responses in response to voices. and the setting unit sets the name to the agent device in response to a request from the user.
(4):上記(3)の態様において、前記エージェント装置は、前記名称が音声によって入力されると起動するものである。
ものである。
(4): In the above aspect (3), the agent device is activated when the name is input by voice.
It is.
(5):上記(1)から(4)のいずれかの態様において、前記取得部は、前記利用者の投稿を取得し、前記送信部は、前記取得部が取得部した投稿に応じて、音声に応じて音声による応答を含むサービスを提供するエージェント装置または前記車両に対応付けて前記製造過程を前記利用者の端末装置に送信するものである。 (5): In any one of the above aspects (1) to (4), the acquisition unit acquires the user's post, and the transmission unit responds to the post acquired by the acquisition unit, The manufacturing process is transmitted to the terminal device of the user in association with an agent device that provides a service including a response by voice in response to the voice or the vehicle.
(6):上記(1)から(5)のいずれかの態様において、前記製造過程は、前記車両の組み立てが開始、前記車両の組み立てが終了、前記車両の塗装が開始、または前記車両の塗装が終了する工程を含み、前記送信部は、前記製造過程に応じたアイコン、画像、またはデフォルメ画像を前記利用者の端末装置に送信するものである。 (6): In any one of the above aspects (1) to (5), the manufacturing process includes starting assembly of the vehicle, finishing assembly of the vehicle, starting painting the vehicle, or painting the vehicle. and the transmission unit transmits an icon, an image, or a deformed image corresponding to the manufacturing process to the terminal device of the user.
(7):上記(1)から(6)のいずれかの態様において、前記送信部は、前記製造過程を示す情報を、前記車両のリアルタイムの製造過程に応じて前記利用者の端末装置に送信するものである。 (7): In any one of the aspects (1) to (6) above, the transmitting unit transmits the information indicating the manufacturing process to the terminal device of the user according to the real-time manufacturing process of the vehicle. It is something to do.
(8):この発明の一態様に係るサーバ装置は、利用者からエージェント装置のウエイクアップワードのリクエストを取得する取得部と、前記取得部により取得されたウエイクアップワードをエージェント装置に設定する設定部と、を備え、前記エージェント装置は、利用者の発話が、予め設定されたウエイクアップワードと合致する場合に起動し、前記利用者の発話に応じて、音声による応答を含むサービスを提供するための処理を行い、前記設定部は、前記エージェント装置の製造過程、前記エージェント装置が前記利用者に納品されるまでの間、前記エージェント装置が搭載される対象の製造過程、前記エージェント装置が搭載された対象が前記利用者に納品されるまでの間における、前記利用者のリクエストに応じて前記ウエイクアップワードを設定するサーバ装置である。 (8): A server device according to an aspect of the present invention includes an acquisition unit that acquires a request for a wake-up word for an agent device from a user, and a setting that sets the wake-up word acquired by the acquisition unit in the agent device. and the agent device is activated when the user's utterance matches a preset wake-up word, and provides a service including a voice response in response to the user's utterance. The setting unit performs processing for manufacturing the agent device, until the agent device is delivered to the user, during the manufacturing process of the target on which the agent device is installed, and during the period until the agent device is delivered to the user. The server device sets the wake-up word in response to a request from the user until the target is delivered to the user.
(9):この発明の一態様に係るエージェント装置は、車両の利用者の発話を取得する取得部と、前記取得部により取得された利用者の発話が、予め設定されたウエイクアップワードと合致する場合に起動し、前記取得部により取得された利用者の発話に応じて、音声による応答を含むサービスを提供するための処理を行う、エージェント機能部と、を備えたエージェント装置であって、前記ウエイクアップワードは、前記エージェント装置の製造過程、前記エージェント装置が前記利用者に納品されるまでの間、前記エージェント装置が搭載される対象の製造過程、前記エージェント装置が搭載された対象が前記利用者に納品されるまでの間において前記エージェント装置を利用する前記利用者によって設定されるエージェント装置である。 (9): An agent device according to an aspect of the present invention includes an acquisition unit that acquires an utterance of a vehicle user, and the user's utterance acquired by the acquisition unit matches a preset wake-up word. and an agent function unit that is activated when the user speaks and performs processing for providing a service including a voice response in response to the user's utterance acquired by the acquisition unit, The wake-up word includes a manufacturing process of the agent device, a period until the agent device is delivered to the user, a manufacturing process of the target on which the agent device is mounted, and a target on which the agent device is mounted. The agent device is set by the user who uses the agent device until it is delivered to the user.
(10):この発明の一態様に係る情報提供方法は、コンピュータが、車両の納車先である利用者に対応付けられた車両の製造過程を取得し、前記取得した前記製造過程を示す情報を前記利用者の端末装置に送信する情報提供方法である。 (10): An information providing method according to an aspect of the present invention is such that a computer acquires a manufacturing process of a vehicle associated with a user to whom the vehicle is delivered, and transmits information indicating the acquired manufacturing process. It is an information providing method for transmitting to the terminal device of the user.
(11):この発明の一態様に係るプログラムは、コンピュータに、車両の納車先である利用者に対応付けられた車両の製造過程を取得させ、前記取得した前記製造過程を示す情報を前記利用者の端末装置に送信させるプログラムである。 (11): A program according to an aspect of the present invention causes a computer to acquire a manufacturing process of a vehicle associated with a user who is a delivery destination of the vehicle, and uses the acquired information indicating the manufacturing process. It is a program for transmitting to the terminal device of the person.
(1)、(5)~(7)、(10)、(11)によれば、サーバ装置が製造過程を示す情報を利用者に提供することにより、有用な情報を利用者に提供することができる。 According to (1), (5) to (7), (10), and (11), the server device provides useful information to the user by providing the user with information indicating the manufacturing process. can be done.
(2)~(4)によれば、設定部が、名称を車両に設定することにより、利用者の利便性が向上したり、利用者の車両に対する愛着度合が向上したりする。 According to (2) to (4), by setting the name to the vehicle by the setting unit, the user's convenience is improved, and the user's attachment to the vehicle is improved.
(8)によれば、設定部が、利用者のリクエストに応じてウエイクアップワードを設定することにより利用者の利便性が向上したり、利用者の車両に対する愛着度合が向上したりする。 According to (8), the setting unit sets the wake-up word in response to the user's request, thereby improving the user's convenience and increasing the user's attachment to the vehicle.
(9)によれば、エージェント装置が、事前に設定されたウエイクアップワードに応じて起動するので、利用者の利便性が向上したり、利用者の車両に対する愛着度合が向上したりする。 According to (9), the agent device is activated in response to a wake-up word set in advance, so that the user's convenience is improved and the user's attachment to the vehicle is improved.
以下、図面を参照し、本発明のサーバ装置、エージェント装置、情報提供方法、およびプログラムの実施形態について説明する。 Hereinafter, embodiments of a server device, an agent device, an information providing method, and a program according to the present invention will be described with reference to the drawings.
<第1実施形態> <First Embodiment>
エージェント装置は、エージェントシステムの一部または全部を実現する装置である。以下では、エージェント装置の一例として、車両(以下、車両M)に搭載され、複数種類のエージェント機能を備えたエージェント装置について説明する。エージェント機能とは、例えば、車両Mの利用者と対話をしながら、利用者の発話の中に含まれる要求(コマンド)に基づく各種の情報提供を行ったり、ネットワークサービスを仲介したりする機能である。複数種類のエージェントはそれぞれに果たす機能、処理手順、制御、出力態様・内容がそれぞれ異なってもよい。また、エージェント機能の中には、車両内の機器(例えば運転制御や車体制御に関わる機器)の制御等を行う機能を有するものがあってよい。 An agent device is a device that implements part or all of the agent system. As an example of the agent device, an agent device installed in a vehicle (hereinafter referred to as vehicle M) and having multiple types of agent functions will be described below. The agent function is, for example, a function of providing various types of information based on requests (commands) contained in the user's utterances while interacting with the user of the vehicle M, and mediating network services. be. A plurality of types of agents may have different functions, processing procedures, controls, and output modes/contents. In addition, the agent function may include a function of controlling devices in the vehicle (for example, devices related to operation control and vehicle body control).
エージェント機能は、例えば、利用者の音声を認識する音声認識機能(音声をテキスト化する機能)に加え、自然言語処理機能(テキストの構造や意味を理解する機能)、対話管理機能、ネットワークを介して他装置を検索し、或いは自装置が保有する所定のデータベースを検索するネットワーク検索機能等を統合的に利用して実現される。これらの機能の一部または全部は、AI(Artificial Intelligence)技術によって実現されてよい。また、これらの機能を行うための構成の一部(特に、音声認識機能や自然言語処理解釈機能)は、車両Mの車載通信装置または車両Mに持ち込まれた汎用通信装置と通信可能なエージェントサーバ(外部装置)に搭載されてもよい。以下の説明では、構成の一部がエージェントサーバに搭載されており、エージェント装置とエージェントサーバが協働してエージェントシステムを実現することを前提とする。 Agent functions include, for example, a voice recognition function that recognizes the user's voice (a function that converts voice into text), a natural language processing function (a function that understands the structure and meaning of text), a dialogue management function, and a network It is realized by comprehensively using a network search function or the like for searching for other devices using the device or for searching a predetermined database held by the device itself. Some or all of these functions may be realized by AI (Artificial Intelligence) technology. Also, part of the configuration for performing these functions (in particular, the voice recognition function and the natural language processing and interpretation function) is an agent server capable of communicating with an in-vehicle communication device of the vehicle M or a general-purpose communication device brought into the vehicle M. It may be mounted on (an external device). The following description assumes that part of the configuration is installed in the agent server, and that the agent device and the agent server work together to realize the agent system.
<全体構成>
図1は、エージェント装置100を含むエージェントシステム1の構成図である。エージェントシステム1は、例えば、汎用通信装置70と、エージェント装置100-1、100-2と、複数のエージェントサーバ200-1、200-2、200-3、…と、情報提供装置300と、工場端末装置400と、販売店端末装置450とを備える。エージェント装置100-1と、100-2とを区別しない場合は、単にエージェント装置100と称する場合がある。エージェントサーバ200の符号の末尾のハイフン以下の数字は、エージェントを区別するための識別子であるものとする。いずれのエージェントサーバであるかを区別しない場合、単にエージェントサーバ200と称する場合がある。図1では3つのエージェントサーバ200を示しているが、エージェントサーバ200の数は2つであってもよいし、4つ以上であってもよい。それぞれのエージェントサーバ200は、互いに異なるエージェントシステムの提供者が運営するものである。従って、本発明におけるエージェントは、互いに異なる提供者により実現されるエージェントである。提供者としては、例えば、自動車メーカー、ネットワークサービス事業者、電子商取引事業者、携帯端末の販売者などが挙げられ、任意の主体(法人、団体、個人等)がエージェントシステムの提供者となり得る。
<Overall composition>
FIG. 1 is a configuration diagram of an
エージェント装置100は、ネットワークNWを介してエージェントサーバ200と通信する。ネットワークNWは、例えば、インターネット、セルラー網、Wi-Fi網、WAN(Wide Area Network)、LAN(Local Area Network)、公衆回線、電話回線、無線基地局などのうち一部または全部を含む。ネットワークNWには、各種ウェブサーバ500が接続されており、エージェントサーバ200またはエージェント装置100は、ネットワークNWを介して各種ウェブサーバ500からウェブページを取得することができる。
エージェント装置100は、車両Mの利用者と対話を行い、利用者からの音声をエージェントサーバ200に送信し、エージェントサーバ200から得られた回答を、音声出力や画像表示の形で利用者に提示する。
The
[汎用通信装置]
図2は、汎用通信装置70の機能構成の一例を示す図である。汎用通信装置70は、スマートフォンやタブレット端末などの可搬型または携帯型の装置である。汎用通信装置70は、例えば、表示部71と、スピーカ72と、マイク73と、通信部74と、ペアリング実行部75と、音響処理部76と、制御部77と、記憶部78とを備える。記憶部78には、製造見守りアプリケーションプログラム(製造見守りアプリ79)が記憶されている。製造見守りアプリ79は、例えば、不図示のアプリ提供サーバにより提供されたものである。
[General-purpose communication device]
FIG. 2 is a diagram showing an example of the functional configuration of the general-
製造見守りアプリ79は、利用者が汎用通信装置70に対して行った操作に基づいて、汎用通信装置70が取得した情報をエージェント装置100に送信したり、エージェント装置100により送信された情報を利用者に提供したりする。
The
表示部71は、LCD(Liquid Crystal Display)や有機EL(Electroluminescence)ディスプレイなどの表示装置を含む。表示部71は、制御部77の制御に基づいて画像を表示する。スピーカ72は、制御部77の制御に基づいて音声を出力する。マイク73は、利用者により入力された音声を収集する。
The
通信部74は、エージェント装置100と通信するための通信インタフェースである。
ペアリング実行部75は、例えば、Bluetooth(登録商標)等の無線通信を用いてエージェント装置100とのペアリングを実行する。音響処理部76は、入力された音に対して音響処理を行う。
The
The
制御部77は、CPU(Central Processing Unit)などのプロセッサが製造見守りアプリ79(ソフトウェア)を実行することで実現される。制御部77は、汎用通信装置70の各部(例えば表示部71やスピーカ72等)を制御する。制御部77は、自装置に入力させた情報を管理したり、エージェント装置100によりされた情報を管理したりする。また、制御部77は、利用者の操作に応じて、情報提供装置300が提供するチャットサービスに参加する処理を行う。
The
[車両]
図3は、第1実施形態に係るエージェント装置100の構成と、車両Mに搭載された機器とを示す図である。車両Mには、例えば、一以上のマイク10と、表示・操作装置20と、スピーカユニット30と、ナビゲーション装置40と、車両機器50と、車載通信装置60と、乗員認識装置80と、エージェント装置100と、記憶部130とが搭載される。また、汎用通信装置70が車室内に持ち込まれ、通信装置として使用される場合がある。これらの装置は、CAN(Controller Area Network)通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図2に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。
[vehicle]
FIG. 3 is a diagram showing the configuration of the
マイク10は、車室内で発せられた音声を収集する収音部である。表示・操作装置20は、画像を表示すると共に、入力操作を受付可能な装置(或いは装置群)である。表示・操作装置20は、例えば、タッチパネルとして構成されたディスプレイ装置を含む。表示・操作装置20は、更に、HUD(Head Up Display)や機械式の入力装置を含んでもよい。スピーカユニット30は、例えば、車室内の互いに異なる位置に配設された複数のスピーカ(音出力部)を含む。表示・操作装置20は、エージェント装置100とナビゲーション装置40とで共用されてもよい。これらの詳細については後述する。
The
ナビゲーション装置40は、ナビHMI(Human machine Interface)と、GPS(Global Positioning System)などの位置測位装置と、地図情報を記憶した記憶装置と、経路探索などを行う制御装置(ナビゲーションコントローラ)とを備える。マイク10、表示・操作装置20、およびスピーカユニット30のうち一部または全部がナビHMIとして用いられてもよい。ナビゲーション装置40は、位置測位装置によって特定された車両Mの位置から、利用者によって入力された目的地まで移動するための経路(ナビ経路)を探索し、経路に沿って車両Mが走行できるように、ナビHMIを用いて案内情報を出力する。経路探索機能は、ネットワークNWを介してアクセス可能なナビゲーションサーバにあってもよい。この場合、ナビゲーション装置40は、ナビゲーションサーバから経路を取得して案内情報を出力する。なお、エージェント装置100は、ナビゲーションコントローラを基盤として構築されてもよく、その場合、ナビゲーションコントローラとエージェント装置100は、ハードウェア上は一体に構成される。
The
車両機器50は、例えば、エンジンや走行用モータなどの駆動力出力装置、エンジンの始動モータ、ドアロック装置、ドア開閉装置、窓、窓の開閉装置及び窓の開閉制御装置、シート、シート位置の制御装置、ルームミラー及びその角度位置制御装置、車両内外の照明装置及びその制御装置、ワイパーやデフォッガー及びそれぞれの制御装置、方向指示灯及びその制御装置、空調装置、走行距離やタイヤの空気圧の情報や燃料の残量情報などの車両情報装置などを含む。
The
車載通信装置60は、例えば、セルラー網やWi-Fi網を利用してネットワークNWにアクセス可能な無線通信装置である。
The vehicle-mounted
乗員認識装置80は、例えば、着座センサ、車室内カメラ、画像認識装置などを含む。着座センサは座席の下部に設けられた圧力センサ、シートベルトに取り付けられた張力センサなどを含む。車室内カメラは、車室内に設けられたCCD(Charge Coupled Device)カメラやCMOS(Complementary Metal Oxide Semiconductor)カメラである。画像認識装置は、車室内カメラの画像を解析し、座席ごとの利用者の有無、顔向きなどを認識する。本実施形態において、乗員認識装置80は、着座位置認識部の一例である。
The
図4は、表示・操作装置20の配置例を示す図である。表示・操作装置20は、例えば、第1ディスプレイ22と、第2ディスプレイ24と、操作スイッチASSY26とを含む。表示・操作装置20は、更に、HUD28を含んでもよい。
FIG. 4 is a diagram showing an arrangement example of the display/
車両Mには、例えば、ステアリングホイールSWが設けられた運転席DSと、運転席DSに対して車幅方向(図中Y方向)に設けられた助手席ASとが存在する。第1ディスプレイ22は、インストルメントパネルにおける運転席DSと助手席ASとの中間辺りから、助手席ASの左端部に対向する位置まで延在する横長形状のディスプレイ装置である。第2ディスプレイ24は、運転席DSと助手席ASとの車幅方向に関する中間あたり、且つ第1ディスプレイ22の下方に設置されている。例えば、第1ディスプレイ22と第2ディスプレイ24は、共にタッチパネルとして構成され、表示部としてLCD(Liquid Crystal Display)や有機EL(Electroluminescence)、プラズマディスプレイなどを備えるものである。操作スイッチASSY26は、ダイヤルスイッチやボタン式スイッチなどが集積されたものである。表示・操作装置20は、利用者によってなされた操作の内容をエージェント装置100に出力する。第1ディスプレイ22または第2ディスプレイ24が表示する内容は、エージェント装置100によって決定されてよい。
The vehicle M has, for example, a driver's seat DS provided with a steering wheel SW and a passenger's seat AS provided in the vehicle width direction (Y direction in the figure) with respect to the driver's seat DS. The
図5は、スピーカユニット30の配置例を示す図である。スピーカユニット30は、例えば、スピーカ30A~30Hを含む。スピーカ30Aは、運転席DS側の窓柱(いわゆるAピラー)に設置されている。スピーカ30Bは、運転席DSに近いドアの下部に設置されている。スピーカ30Cは、助手席AS側の窓柱に設置されている。スピーカ30Dは、助手席ASに近いドアの下部に設置されている。スピーカ30Eは、右側後部座席BS1側に近いドアの下部に設置されている。スピーカ30Fは、左側後部座席BS2側に近いドアの下部に設置されている。スピーカ30Gは、第2ディスプレイ24の近傍に設置されている。スピーカ30Hは、車室の天井(ルーフ)に設置されている。
FIG. 5 is a diagram showing an arrangement example of the
係る配置において、例えば、専らスピーカ30Aおよび30Bに音を出力させた場合、音像は運転席DS付近に定位することになる。また、専らスピーカ30Cおよび30Dに音を出力させた場合、音像は助手席AS付近に定位することになる。また、専らスピーカ30Eに音を出力させた場合、音像は右側後部座席BS1付近に定位することになる。また、専らスピーカ30Fに音を出力させた場合、音像は左側後部座席BS2付近に定位することになる。また、専らスピーカ30Gに音を出力させた場合、音像は車室の前方付近に定位することになり、専らスピーカ30Hに音を出力させた場合、音像は車室の上方付近に定位することになる。これに限らず、スピーカユニット30は、ミキサーやアンプを用いて各スピーカの出力する音の配分を調整することで、車室内の任意の位置に音像を定位させることができる。
In such an arrangement, for example, if the
[エージェント装置]
図3に戻り、エージェント装置100は、管理部110と、エージェント機能部150-1、150-2、150-3と、ペアリングアプリ実行部152とを備える。管理部110は、例えば、音響処理部112と、エージェントごとWU(Wake Up)判定部114と、表示制御部116と、音声制御部118とを備える。いずれのエージェント機能部であるかを区別しない場合、単にエージェント機能部150と称する。3つのエージェント機能部150を示しているのは、図1におけるエージェントサーバ200の数に対応させた一例に過ぎず、エージェント機能部150の数は、2つであってもよいし、4つ以上であってもよい。図3に示すソフトウェア配置は説明のために簡易に示しており、実際には、例えば、エージェント機能部150と車載通信装置60の間に管理部110が介在してもよいし、任意に改変することができる。
[Agent device]
Returning to FIG. 3,
エージェント装置100の各構成要素は、例えば、CPUなどのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)などのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDD(Hard Disk Drive)やフラッシュメモリなどの記憶装置(非一過性の記憶媒体を備える記憶装置)に格納されていてもよいし、DVDやCD-ROMなどの着脱可能な記憶媒体(非一過性の記憶媒体)に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。
Each component of the
管理部110は、OS(Operating System)やミドルウェアなどのプログラムが実行されることで機能する。
The
管理部110の音響処理部112は、エージェントごとに予め設定されているウエイクアップワードを認識するのに適した状態になるように、入力された音に対して音響処理を行う。
The
エージェントごとWU判定部114は、エージェント機能部150-1、150-2、150-3のそれぞれに対応して存在し、エージェントごとに予め定められているウエイクアップワードを認識する。エージェントごとWU判定部114は、音響処理が行われた音声(音声ストリーム)から音声の意味を認識する。まず、エージェントごとWU判定部114は、音声ストリームにおける音声波形の振幅と零交差に基づいて音声区間を検出する。エージェントごとWU判定部114は、混合ガウス分布モデル(GMM;Gaussian mixture model)に基づくフレーム単位の音声識別および非音声識別に基づく区間検出を行ってもよい。
次に、エージェントごとWU判定部114は、検出した音声区間における音声をテキスト化し、文字情報とする。そして、エージェントごとWU判定部114は、テキスト化した文字情報がウエイクアップワードに該当するか否かを判定する。ウエイクアップワードであると判定した場合、エージェントごとWU判定部114は、対応するエージェント機能部150を起動させる。なお、エージェントごとWU判定部114に相当する機能がエージェントサーバ200に搭載されてもよい。この場合、管理部110は、音響処理部112によって音響処理が行われた音声ストリームをエージェントサーバ200に送信し、エージェントサーバ200がウエイクアップワードであると判定した場合、エージェントサーバ200からの指示に従ってエージェント機能部150が起動する。なお、各エージェント機能部150は、常時起動しており且つウエイクアップワードの判定を自ら行うものであってよい。この場合、管理部110がエージェントごとWU判定部114を備える必要はない。
Next, the
記憶部130は、例えば、予め設定されたウエイクアップワード132が記憶されている。このウエイクアップワード132は、予めデフォルトで設定されたウエイクアップワードであってもよいし、後述する処理により車両Mの製造過程において利用者により設定されたウエイクアップワード(例えば「アンディ」などの名称)であってもよい。利用者とは、例えば、製造された車の納車先の利用者である。
The
エージェント機能部150は、対応するエージェントサーバ200と協働してエージェントを出現させ、車両Mの利用者の発話に応じて、音声による応答を含むサービスを提供する。エージェント機能部150には、車両機器50を制御する権限が付与されたものが含まれてよい。また、エージェント機能部150には、ペアリングアプリ実行部152を介して汎用通信装置70と連携し、エージェントサーバ200と通信するものであってよい。例えば、エージェント機能部150-1には、車両機器50を制御する権限が付与されている。エージェント機能部150-1は、車載通信装置60を介してエージェントサーバ200-1と通信する。エージェント機能部150-2は、車載通信装置60を介してエージェントサーバ200-2と通信する。エージェント機能部150-3は、ペアリングアプリ実行部152を介して汎用通信装置70と連携し、エージェントサーバ200-3と通信する。
The
ペアリングアプリ実行部152は、例えば、汎用通信装置70とペアリングを行い、エージェント機能部150-3と汎用通信装置70とを接続させる。なお、エージェント機能部150-3は、USB(Universal Serial Bus)などを利用した有線通信によって汎用通信装置70に接続されるようにしてもよい。
The pairing
表示制御部116は、エージェント機能部150による指示に応じて第1ディスプレイ22または第2ディスプレイ24に画像を表示させる。以下では、第1ディスプレイ22を使用するものとする。表示制御部116は、一部のエージェント機能部150の制御により、例えば、車室内で利用者とのコミュニケーションを行う擬人化されたエージェントの画像(以下、エージェント画像と称する)を生成し、生成したエージェント画像を第1ディスプレイ22に表示させる。エージェント画像は、例えば、利用者に対して話しかける態様の画像である。エージェント画像は、例えば、少なくとも観者(利用者)によって表情や顔向きが認識される程度の顔画像を含んでよい。例えば、エージェント画像は、顔領域の中に目や鼻に擬したパーツが表されており、顔領域の中のパーツの位置に基づいて表情や顔向きが認識されるものであってよい。また、エージェント画像は、観者によって、立体的に感じられ、三次元空間における頭部画像を含むことでエージェントの顔向きが認識される画像である。エージェント画像は、エージェントの動作や振る舞い、姿勢等が認識され本体(胴体や手足)の画像を含むものであってもよい。また、エージェント画像は、アニメーション画像であってもよい。
The
音声制御部118は、エージェント機能部150による指示に応じて、スピーカユニット30に含まれるスピーカのうち一部または全部に音声を出力させる。音声制御部118は、複数のスピーカユニット30を用いて、エージェント画像の表示位置に対応する位置にエージェント音声の音像を定位させる制御を行ってもよい。エージェント画像の表示位置に対応する位置とは、例えば、エージェント画像がエージェント音声を喋っていると利用者が感じると予測される位置であり、具体的には、エージェント画像の表示位置付近(例えば、2~3[cm]以内)の位置である。また、音像が定位するとは、例えば、利用者の左右の耳に伝達される音の大きさが調節されることにより、利用者が感じる音源の空間的な位置が定められることである。
The
[エージェントサーバ]
図6は、エージェントサーバ200の構成と、エージェント装置100の構成の一部とを示す図である。以下、エージェントサーバ200の構成と共にエージェント機能部150等の動作について説明する。ここでは、エージェント装置100からネットワークNWまでの物理的な通信についての説明を省略する。
[Agent server]
FIG. 6 is a diagram showing the configuration of the
エージェントサーバ200は、通信部210を備える。通信部210は、例えばNIC(Network Interface Card)などのネットワークインターフェースである。更に、エージェントサーバ200は、例えば、音声認識部220と、自然言語処理部222と、対話管理部224と、ネットワーク検索部226と、応答文生成部228とを備える。これらの構成要素は、例えば、CPUなどのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSIやASIC、FPGA、GPUなどのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDDやフラッシュメモリなどの記憶装置(非一過性の記憶媒体を備える記憶装置)に格納されていてもよいし、DVDやCD-ROMなどの着脱可能な記憶媒体(非一過性の記憶媒体)に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。
The
エージェントサーバ200は、第1記憶部250を備える。第1記憶部250は、上記の各種記憶装置により実現される。第1記憶部250には、パーソナルプロファイル252、辞書DB(データベース)254、知識ベースDB256、応答規則DB258などのデータやプログラムが格納される。
The
エージェント装置100において、エージェント機能部150は、音声ストリーム、或いは圧縮や符号化などの処理を行った音声ストリームを、エージェントサーバ200に送信する。エージェント機能部150は、ローカル処理(エージェントサーバ200を介さない処理)が可能な音声コマンドを認識した場合は、音声コマンドで要求された処理を行ってよい。ローカル処理が可能な音声コマンドとは、エージェント装置100が備える記憶部(不図示)を参照することで回答可能な音声コマンドであったり、エージェント機能部150-1の場合は車両機器50を制御する音声コマンド(例えば、空調装置をオンにするコマンドなど)であったりする。従って、エージェント機能部150は、エージェントサーバ200が備える機能の一部を有してもよい。
In the
エージェント装置100は、音声ストリームを取得すると、音声認識部220が音声認識を行ってテキスト化された文字情報を出力し、自然言語処理部222が文字情報に対して辞書DB254を参照しながら意味解釈を行う。辞書DB254は、文字情報に対して抽象化された意味情報が対応付けられたものである。辞書DB254は、同義語や類義語の一覧情報を含んでもよい。音声認識部220の処理と、自然言語処理部222の処理は、段階が明確に分かれるものではなく、自然言語処理部222の処理結果を受けて音声認識部220が認識結果を修正するなど、相互に影響し合って行われてよい。
When the
自然言語処理部222は、例えば、認識結果として、「今日の天気は」、「天気はどうですか」等の意味が認識された場合、標準文字情報「今日の天気」に置き換えたコマンドを生成する。これにより、リクエストの音声に文字揺らぎがあった場合にも要求にあった対話をし易くすることができる。また、自然言語処理部222は、例えば、確率を利用した機械学習処理等の人工知能処理を用いて文字情報の意味を認識したり、認識結果に基づくコマンドを生成したりしてもよい。
For example, when a meaning such as "today's weather" or "how is the weather?" As a result, even when the voice of the request has character fluctuations, it is possible to facilitate dialogue that meets the request. Also, the natural
対話管理部224は、自然言語処理部222の処理結果(コマンド)に基づいて、パーソナルプロファイル252や知識ベースDB256、応答規則DB258を参照しながら車両Mの利用者に対する発話の内容を決定する。パーソナルプロファイル252は、利用者ごとに保存されている利用者の個人情報、趣味嗜好、過去の対話の履歴などを含む。知識ベースDB256は、物事の関係性を規定した情報である。応答規則DB258は、コマンドに対してエージェントが行うべき動作(回答や機器制御の内容など)を規定した情報である。
Based on the processing result (command) of the natural
また、対話管理部224は、音声ストリームから得られる特徴情報を用いて、パーソナルプロファイル252と照合を行うことで、利用者を特定してもよい。この場合、パーソナルプロファイル252には、例えば、音声の特徴情報に、個人情報が対応付けられている。音声の特徴情報とは、例えば、声の高さ、イントネーション、リズム(音の高低のパターン)等の喋り方の特徴や、メル周波数ケプストラム係数(Mel Frequency Cepstrum Coefficients)等による特徴量に関する情報である。音声の特徴情報は、例えば、利用者の初期登録時に所定の単語や文章等を利用者に発声させ、発声させた音声を認識することで得られる情報である。
Further, the
対話管理部224は、コマンドが、ネットワークNWを介して検索可能な情報を要求するものである場合、ネットワーク検索部226に検索を行わせる。ネットワーク検索部226は、ネットワークNWを介して各種ウェブサーバ500にアクセスし、所望の情報を取得する。「ネットワークNWを介して検索可能な情報」とは、例えば、車両Mの周辺にあるレストランの一般ユーザによる評価結果であったり、その日の車両Mの位置に応じた天気予報であったりする。
If the command requests information that can be searched via the network NW, the
応答文生成部228は、対話管理部224により決定された発話の内容が車両Mの利用者に伝わるように、応答文を生成し、生成した応答文をエージェント装置100に送信する。応答文生成部228は、利用者がパーソナルプロファイルに登録された利用者であることが特定されている場合に、利用者の名前を呼んだり、利用者の話し方に似せた話し方にした応答文を生成したりしてもよい。
The response
エージェント機能部150は、応答文を取得すると、音声合成を行って音声を出力するように音声制御部118に指示する。また、エージェント機能部150は、音声出力に合わせてエージェントの画像を表示するように表示制御部116に指示する。このようにして、仮想的に出現したエージェントが車両Mの利用者に応答するエージェント機能が実現される。
Upon acquiring the response sentence, the
図7は、情報提供装置300(サーバ装置)の機能構成の一例を示す図である。情報提供装置300は、例えば、通信部310と、情報管理部312と、情報解析部314と、情報提供部316と、設定部318と、記憶部320とを備える。
FIG. 7 is a diagram showing an example of the functional configuration of the information providing device 300 (server device). The
情報管理部312、情報解析部314、情報提供部316、および設定部318は、例えば、CPUなどのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSIやASIC、FPGA、GPUなどのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDDやフラッシュメモリなどの記憶装置(非一過性の記憶媒体を備える記憶装置)に格納されていてもよいし、DVDやCD-ROMなどの着脱可能な記憶媒体(非一過性の記憶媒体)に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。
The
通信部310は、汎用通信装置70や、自動車工場に設置された工場端末装置400、販売店端末装置450等と通信する通信インタフェースである。
The
情報管理部312(取得部)は、他の装置により送信された情報を管理する。例えば、情報管理部312は、例えば、車両情報324を生成する。情報管理部312は、車両の納車先である利用者に対応付けられた車両の製造過程を取得する。
The information management unit 312 (acquisition unit) manages information transmitted by other devices. For example, the
情報解析部314は、汎用通信装置70により送信されたテキストを解析して、テキストの意味を解析する。情報解析部314は、記憶部320に記憶されたデータベース322を参照して、テキストの意味を解析してもよい。
The
情報提供部316(送信部)は、製造過程を示す情報を利用者の汎用通信装置70に送信する。情報提供部316は、例えば、情報解析部314の解析結果に基づいて、製造過程を示す情報を利用者の汎用通信装置70に送信する。すなわち、情報提供部316は、利用者が取得を意図している情報、または利用者にとって有用な情報を利用者に送信する。
The information providing unit 316 (transmitting unit) transmits information indicating the manufacturing process to the general-
設定部318は、利用者のリクエストに応じて、車両またはエージェント装置100に対応付けられる名称を車両またはエージェント装置100に設定する。例えば、設定部318は、利用者のリクエストに基づく名称を車両またはエージェント装置100に設定することを指示する指示情報を工場端末装置400に送信することで、名称を車両またはエージェント装置100に設定する。
The
記憶部320には、例えば、データベース322と、車両情報324とが記憶されている。データベース322には、文字情報に対して抽象化された意味情報が対応付けられた情報や、物事の関係性を規定した情報、利用者に送信された情報に対する回答に関する情報等である。車両情報324の詳細については後述する。
The
[シーケンス(その1)]
図8は、エージェントシステム1により実行される処理の流れの一例を示すシーケンス図である。例えば、利用者が、販売店に訪れて、車両を購入する契約を行ったものとする。この場合、まず、販売店端末装置450が、利用者により提供された汎用通信装置70の識別情報や、車両の注文番号、車両の注文内容等を情報提供装置300に送信する(ステップS100)。情報提供装置300は、ステップS100で送信された情報を取得し、取得した情報を記憶部320に記憶させる(ステップS102)。
[Sequence (Part 1)]
FIG. 8 is a sequence diagram showing an example of the flow of processing executed by the
次に、販売店端末装置450は、車両の注文番号や、車両の注文内容等を工場端末装置400に送信する(ステップS104)。工場端末装置400は、ステップS104で送信された情報を取得し、取得した情報を記憶装置に記憶させる(ステップS106)。そして、工場端末装置400は、注文内容に応じて車両の製造予定を生成し、生成した製造予定に基づいて、注文された車両が生成されるように各種端末装置に情報を提供したり、作業員の作業予定を生成したりする。
Next, the
次に、工場端末装置400は、ステップS106の処理が完了した後(例えば注文を受け付けた後)に、受付完了情報を情報提供装置300に送信する(ステップS108)。情報提供装置300は、受付完了情報を取得すると、取得した受付完了情報を記憶部320に記憶させる(ステップS110)。ステップS102およびS110で記憶部320に記憶された情報は、例えば車両情報324に含まれる情報である。
Next, the
次に、情報提供装置300は、受付完了情報に応じた情報を生成し、生成した生成情報を汎用通信装置70に送信する(ステップS112)。生成情報は、汎用通信装置70の製造見守りアプリ79が、表示部71に受付画像を表示させるための情報である。受付画像とは、注文が工場において受け付けられたことを示す画像である。
Next, the
次に、汎用通信装置70は、生成情報を取得すると、取得したい生成情報に基づいて、受付画像を表示部71に表示させる(ステップS114)。図9は、表示部71に表示された受付画像IM1の一例を示す図である。図示する例では、受付画像IMは、車の製造が受け付けられ、製造の準備がされていることを示す画像(例えば卵を示す画像)である。
Next, after obtaining the generation information, the general-
次に、工場端末装置400は、製造過程を示す情報を情報提供装置300に送信する(ステップS116)。製造過程を示す情報とは、車両の注文を受けてから、車両が注文者に納車されるまでの間に生じるイベントを示す情報である。製造過程を示す情報とは、例えば、所定の製造過程の開始を示す情報や、所定の製造過程の終了を示す情報などを含む。工場端末装置400は、所定の製造過程の開始を示す情報や、所定の製造過程の終了を示す情報をオペレータの入力操作によって取得してもよいし、他の端末装置から取得してもよい。
Next, the
情報提供装置300は、製造過程を示す情報を取得し、取得した情報に基づいて、車両情報324を生成する(ステップS118)。図10は、車両情報324の内容の一例を示す図である。車両情報324には、例えば、車両の識別情報や、注文者の識別情報、注文者の汎用通信装置70の識別情報、注文内容、製造過程を示す情報等が対応付けられて記憶された情報である。図示する例では、所定の製造過程の開始を示す情報に対して、その製造過程の開始日時、所定の製造過程の情報が利用者に提供されたか否かを示す情報が対応付けられている。ステップS118の後、情報提供装置300は、工場において所定の製造過程が開始されるタイミングや、所定の製造過程が終了するタイミングで、製造過程を示す情報を工場端末装置400から取得する。
The
なお、情報提供装置300は、工場端末装置400に製造過程を示す情報の送信を依頼してもよい。この場合、工場端末装置400は、依頼に応じて製造過程を示す情報を情報提供装置300に送信する。
The
このように、情報提供装置300は、製造過程を示す情報を管理することができる。
Thus, the
[シーケンス(その2)]
図11は、エージェントシステム1により実行される処理の流れの一例を示すシーケンス図である。まず、利用者が製造見守りアプリ79を起動させた後(ステップS200)、利用者がテキストを入力すると、製造見守りアプリ79は、入力されたテキストを情報提供装置300に送信する(ステップS202)。次に、情報提供装置300が、送信されたテキストを取得すると、送信されたテキストの意味を解析し(ステップS204)、解析結果に応じた情報を汎用通信装置70に送信する(ステップS206)。汎用通信装置70は、ステップS206で送信された情報を取得すると、取得した情報を表示部71に表示させる(ステップS208)。
[Sequence (Part 2)]
FIG. 11 is a sequence diagram showing an example of the flow of processing executed by the
図12は、ステップS200~S208の処理により表示部71に表示させる画像の一例を示す図である。情報提供部316は、取得した投稿に応じて、音声に応じて音声による応答を含むサービスを提供するエージェント装置100(図中、UG(M))または車両Mに対応付けて製造過程を利用者の端末装置に送信する。例えば、利用者がテキスト「今の状況を教えて」と、汎用通信装置70の操作部に入力すると、情報提供装置300の情報解析部314は、入力されたテキストの意味を解析する。そして、情報提供部316は、解析された意味に基づいて、車両情報324から製造過程を示す情報「今、組み立て中だよ」を汎用通信装置70に送信する。更に、情報提供部316は、注文された車両(またはエージェント装置100)を示す画像IM2を汎用通信装置70に送信する。車両を示す画像は、実際に製造されている車両が撮像された画像であってもよいし、製造過程に応じたアイコンや製造されている車両の画像がデフォルメされた画像であってもよい。
FIG. 12 is a diagram showing an example of an image displayed on the
図11の説明に戻る。情報提供装置300は、工場端末装置400から所定の製造過程を示す情報を受信すると、情報提供装置300は、受信した情報を記憶部320に記憶させると共に(ステップS210)、受信した情報を汎用通信装置70に送信する(ステップS212)。汎用通信装置70は、ステップS212により送信された情報を受信すると、受信した情報を表示部71に表示させる(ステップS214)。
Returning to the description of FIG. When the
図13は、ステップS210~S214の処理により表示部71に表示される画像の一例を示す図である。例えば、情報提供装置300が、車両の組み立てが所定時間後に完成することを示す情報を受信した場合、この情報を汎用通信装置70に送信する。すなわち、製造過程を示す情報が、車両のリアルタイムの製造過程に応じて利用者の汎用通信装置70に送信される。そして、汎用通信装置70は、表示部71にテキスト「もうすぐ組み立てが完成します」と表示させる。
FIG. 13 is a diagram showing an example of an image displayed on the
また、情報提供装置300が、車両の組み立てが完成したことを示す情報を受信した場合、この情報を汎用通信装置70に送信する。汎用通信装置70は、表示部71にテキスト「組み立てが完成しました」、および車両を示すアイコンを示す画像IM3を表示させる。更に、情報提供装置300が、車両が塗装中であることを示す情報を受信した場合、この情報を汎用通信装置70に送信する。汎用通信装置70は、表示部71にテキスト「塗装中です」、および塗装中である車両を示すアイコンを示す画像IM4を表示させる。
Further, when the
なお、車両の組み立ての開始や終了、塗装の開始や終了などの他に、他の製造過程を示す情報が利用者に提供されてもよい。また、例えば、画像IM3またはIM4は、実際の車両の画像であってもよいし、この画像がデフォルメされた画像であってもよいし、仮想的な車両を示すアイコンであってもよい。表示部71には、製造過程を示す情報が時系列に従って表示される。
In addition to the start and end of assembly of the vehicle and the start and end of painting, information indicating other manufacturing processes may be provided to the user. Further, for example, the image IM3 or IM4 may be an image of an actual vehicle, an image obtained by deforming this image, or an icon representing a virtual vehicle. Information indicating the manufacturing process is displayed on the
図11の説明に戻る。情報提供装置300は、工場端末装置400からエージェント装置100(または車両)に名称を付与する製造過程を示す情報を受信すると、情報提供装置300は、受信した情報を記憶部320に記憶させると共に(ステップS216)、受信した情報、および利用者に名称の付与を問い合わせることを示す情報を汎用通信装置70に送信する(ステップS218)。汎用通信装置70は、ステップS218により送信された情報を受信すると、受信した情報を表示部71に表示させる(ステップS220)。利用者が、汎用通信装置70に対する操作を行って名称を入力すると、汎用通信装置70は、入力された名称を情報提供装置300に送信する(ステップS222)。情報提供装置300は、ステップS222で送信された名称を利用者が注文した車両に対応付けて記憶部320に記憶させる(ステップS224)。
Returning to the description of FIG. When the
次に、情報提供装置300の設定部318は、ステップS222で受信した名称を工場端末装置400に送信する(ステップS226)。工場端末装置400は、ステップS266で受信した名称を記憶装置に記憶させる。そして、工場端末装置400は、受信した名称を利用者が注文している車両のエージェント装置100の名称に設定するための設定処理を行う(ステップS228)。例えば、設定される名称は、ウエイクアップワードに相当する。
Next, the
図14は、ステップS216~S224の処理により表示部71に表示される画像の一例を示す図である。例えば、情報提供装置300が、エージェント装置100に対応付けられる名称を付与する製造過程を示す情報を受信した場合、この情報を汎用通信装置70に送信する。汎用通信装置70は、表示部71にテキスト「名前は?」と表示させる。汎用通信装置70は、表示部71に利用者が入力した名称の情報を表示させ、入力した名称を情報提供装置300に送信する。そして、情報提供装置300は、名称を受け付けたことを示す情報を汎用通信装置70に送信する。汎用通信装置70は、表示部71に名称を受け付けたことを示す情報を表示させる。
FIG. 14 is a diagram showing an example of an image displayed on the
上記のステップS216~S224のように、情報提供装置300は、製造過程を示す情報を管理したり、車両の名称を管理したりする。図15は、情報提供装置300が、生成する車両情報324の内容の一例を示す図である。車両情報324には、上述した処理が行われることにより、利用者により設定されたエージェント装置100の名称(例えばウエイクアップワードに相当する「アンディ」)や、各製造過程に関する情報が記憶される。
As in steps S216 to S224 described above, the
そして、情報提供装置300は、車両情報324を参照して、各製造過程に関する情報を利用者に提供したり、エージェント装置100の名称を設定する機会を利用者に提供したりする。この結果、情報提供装置300は、利用者に有用な情報を提供することができる。
The
[フローチャート]
図16は、エージェント装置100により実行される処理の流れの一例を示すフローチャートである。本処理は、例えば、上記処理により製造された車両が利用者に納車され、利用者が車両に乗車した後に行われる処理である。
[flowchart]
FIG. 16 is a flow chart showing an example of the flow of processing executed by the
まず、エージェント装置100が、製造過程で設定されたウエイクアップワードを取得したか否かを判定する(ステップS300)。製造過程で設定されたウエイクアップワードを取得すると、エージェント装置100は、エージェント機能部150を起動させる(ステップS302)。これにより、本フローチャートの処理が終了する。
First, the
図17は、製造過程で設定されたウエイクアップワードでエージェント装置100が起動する様子の一例を示す図である。例えば、利用者が、製造過程で設定したウエイクアップワード「アンディ」と発話すると、エージェント装置100が発話に応じて起動する。
FIG. 17 is a diagram showing an example of how the
このように、利用者は、納車直後から、自身が命名した名称でエージェント装置100を起動させることができるため、利用者の利便性が向上する。また、利用者が、製造過程の情報を汎用通信装置70で見守ったり、製造過程においてエージェント装置100に命名したりすることができるため、より車両やエージェントに対する愛着を持つことが期待され、車両の購入に対する利用者の満足度が向上する。更に、情報提供装置300が、製造過程を示す情報を利用者に提供するため、車両の製造過程における利用者に対するエンターテインメント性が向上する。
In this way, the user can activate the
なお、上述した例では、テキストまたは画像を用いて情報が提供されたり、情報が入力されたりするものとして説明したが、これに代えて(加えて)、音声により情報が提供されたり、音声により情報が入力されてもよい。この場合、情報提供装置300は、利用者から取得した音声の解析を行ってテキスト化する音声認識部を備える。
In the above example, information is provided or input using text or images, but instead (in addition), information is provided by voice, or information is input by voice. Information may be entered. In this case, the
以上説明した第1実施形態によれば、情報提供装置300が、車両の納車先である利用者に対応付けられた車両の製造過程を取得し、取得した製造過程を示す情報を利用者の汎用通信装置70に送信することにより、利用者に有用な情報を提供することができる。
According to the first embodiment described above, the
<第2実施形態>
以下、第2実施形態のエージェントシステム1Aについて説明する。第2実施形態では、エージェント装置100に代えて、エージェントサーバ200Aが、エージェントごとWU判定部230を備える。以下、第1実施形態との相違点を中心に説明する。
<Second embodiment>
The agent system 1A of the second embodiment will be described below. In the second embodiment, instead of the
図18は、第2実施形態のエージェントサーバ200Aの機能構成の一例を示す図である。第2実施形態のエージェントサーバ200Aは、第1実施形態のエージェントサーバ200の機能構成に加え、更にエージェントごとWU判定部230を備える。エージェント装置100において、エージェントごとWU判定部230は省略される。エージェントサーバ200Aは、記憶部250に代えて、記憶部250Aを備える。記憶部250Aには、記憶部250に記憶された情報に加え、更にウエイクアップワード情報260が記憶されている。ウエイクアップワード情報260は、車両の識別情報とウエイクアップワード情報とが互いに対応付けられた情報である。
FIG. 18 is a diagram showing an example of the functional configuration of the
エージェントごとWU判定部230は、対応するエージェントに対して設定されているウエイクアップワードを認識する。エージェントごとWU判定部230は、エージェント装置100から取得した音声ストリームに基づく情報が、設定されたウエイクアップワードであるか否かを判定する。エージェントごとWU判定部230は、音声ストリームに基づく情報がウエイクアップワードであると判定した場合、対応するエージェント機能部150を起動させることを指示する指示情報をエージェント装置100に送信する。エージェント装置100は、指示情報を取得した場合、エージェント機能部150を起動させる。
The
[シーケンス]
図19は、第2実施形態のエージェントシステム1により実行される処理の流れの一例を示すシーケンス図である。図19では、ステップS200~S214の処理は、図11の同様の番号の処理と同様であるため、図示を省略する。また、図19のステップS216~S224の処理は、図11の同様の番号の処理と同様であるため、説明を省略する。
[sequence]
FIG. 19 is a sequence diagram showing an example of the flow of processing executed by the
ステップS224で情報提供装置300は、汎用通信装置70により送信された名称を利用者が注文した車両に対応付けて記憶部320に記憶させると、車両の識別情報と名称とを対応付けた情報をエージェントサーバ200Aに送信する(ステップS227)。エージェントサーバ200Aは、車両の識別情報と名称とを対応付けられた情報をウエイクアップワード情報260として記憶部250Aに記憶させる(ステップS229)。
In step S224, the
その後、車両が完成し、利用者に納車された後、利用者が車両に乗車し、ステップS229で記憶部250Aに記憶されたウエイクアップワードをマイク10に入力したものとする(ステップS231)。エージェント装置100は、マイク10に入力された音声に対応する音声ストリームをエージェントサーバ200Aに送信する(ステップS233)。
Then, after the vehicle is completed and delivered to the user, the user gets into the vehicle and inputs the wake-up word stored in the
エージェントサーバ200Aは、ステップS233で送信された音声ストリームに基づく情報が、設定されたウエイクアップワードであるか否かを判定する(ステップS235)。エージェントサーバ200Aは、ステップS235の判定結果をエージェント装置100に送信する(ステップS237)。そして、エージェント装置100は、ステップS237で取得した判定結果が、入力されたウエイクアップワードであるという判定結果である場合、エージェント機能部150を起動させる(ステップS239)。
The
以上説明した第2実施形態によれば、エージェントサーバ200Aが、製造過程において設定されたウエイクアップワードが入力されたか否を判定することにより、第1実施形態の効果と同様の効果を奏すると共に、エージェント装置100の処理負荷が軽減する。
According to the second embodiment described above, the
なお、上述した例では、エージェント装置100が車両Mに搭載されるものとして説明したが、これに代えて(或いは加えて)、エージェント装置100は他の対象に搭載されてもよい。この場合、対象の製造過程を示す情報が利用者の汎用通信装置70に送信される。また、利用者のリクエストに応じて、対象(またはエージェント装置100)に対応付けられる名称が、その対象(またはエージェント装置100)に対して設定される。そして、利用者は、その対象が納品された直後から名称を入力することで対象のエージェント装置100を起動させることができる。
In the above example, the
また、上述した例では、車両M(または対象)の製造過程において、名称が設定されるものとして説明したが、これに代えて(或いは加えて)、エージェント装置100が利用者に納品されるまでの間(例えば注文してから納品されるまでの間)、エージェント装置100が搭載される対象の製造過程、エージェント装置100が搭載された対象が利用者に納品されるまでの間において、利用者のリクエストに応じて名称(ウエイクアップワード)が設定されてもよい。
In the above example, the name is set during the manufacturing process of the vehicle M (or object). (for example, the period from ordering to delivery), the manufacturing process of the target on which the
また、名称を設定することに代えて(或いは加えて)、車両のディスプレイに表示されるエージェントのアイコンが、納車前に、利用者によって設定されたり、生成されたりしてもよい。 Also, instead of (or in addition to) setting the name, the agent's icon displayed on the vehicle's display may be set or generated by the user before the vehicle is delivered.
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。 As described above, the mode for carrying out the present invention has been described using the embodiments, but the present invention is not limited to such embodiments at all, and various modifications and replacements can be made without departing from the scope of the present invention. can be added.
1‥エージェントシステム、20‥表示・操作装置、30‥スピーカユニット、70‥汎用通信装置、71‥表示部、79‥製造見守りアプリ、100、100A、100B‥エージェント装置、110‥管理部、114‥エージェントごとUW判定部、116‥表示制御部、118‥音声制御部、130‥記憶部、132‥ウエイクアップワード、150‥エージェント機能部、200‥エージェントサーバ、300‥情報提供装置、312‥情報管理部、314‥情報解析部、316‥情報提供部、318‥設定部、320‥記憶部、324‥車両情報
1...
Claims (6)
前記取得部により取得された前記製造過程を示す情報を前記利用者の端末装置に送信する送信部と、を備え、
前記取得部は、前記利用者の投稿を取得し、
前記送信部は、前記取得部が取得した投稿に応じて、音声に応じて音声による応答を含むサービスを提供するエージェント装置または前記車両に対応付けて前記製造過程を前記利用者の端末装置に送信する、
サーバ装置。 an acquisition unit that acquires the manufacturing process of the vehicle associated with the user who is the delivery destination of the vehicle;
a transmission unit configured to transmit information indicating the manufacturing process acquired by the acquisition unit to the terminal device of the user;
The acquisition unit acquires the post of the user,
The transmission unit transmits the manufacturing process to the terminal device of the user in association with the vehicle or an agent device that provides a service including a voice response according to the voice in response to the post acquired by the acquisition unit. do,
Server device.
前記送信部は、前記製造過程に応じたアイコン、画像、またはデフォルメ画像を前記利用者の端末装置に送信する、
請求項1に記載のサーバ装置。 The manufacturing process includes a step in which assembly of the vehicle begins, assembly of the vehicle ends, painting of the vehicle begins, or painting of the vehicle finishes;
The transmission unit transmits an icon, image, or deformed image according to the manufacturing process to the terminal device of the user.
The server device according to claim 1 .
請求項1または2に記載のサーバ装置。 The transmission unit transmits information indicating the manufacturing process to the terminal device of the user according to the real-time manufacturing process of the vehicle.
3. The server device according to claim 1 or 2 .
前記エージェント装置の製造過程、前記エージェント装置が前記利用者に納品されるまでの間、前記エージェント装置が搭載される対象の製造過程、前記エージェント装置が搭載された対象が前記利用者に納品されるまでの間における、前記利用者のリクエストに応じて前記キーワードを設定する設定部を備える、
請求項1から3のうちいずれか1項に記載のサーバ装置。 The agent device is activated when the user's utterance matches a preset keyword, and performs processing for providing a service including a voice response in response to the user's utterance,
A manufacturing process of the agent device, until the agent device is delivered to the user, a manufacturing process of an object on which the agent device is installed, and an object on which the agent device is installed is delivered to the user A setting unit that sets the keyword according to the request of the user until
The server device according to any one of claims 1 to 3 .
車両の納車先である利用者に対応付けられた車両の製造過程を取得し、
取得された前記製造過程を示す情報を前記利用者の端末装置に送信し、
前記利用者の投稿を取得し、
取得した投稿に応じて、音声に応じて音声による応答を含むサービスを提供するエージェント装置または前記車両に対応付けて前記製造過程を前記利用者の端末装置に送信する、
情報提供方法。 the computer
Acquire the manufacturing process of the vehicle associated with the user who is the delivery destination of the vehicle,
transmitting the acquired information indicating the manufacturing process to the terminal device of the user;
Obtaining posts by said user;
Sending the manufacturing process to the terminal device of the user in association with an agent device that provides a service including a response by voice according to the voice in response to the acquired post or the vehicle;
How to provide information.
車両の納車先である利用者に対応付けられた車両の製造過程を取得させ、
取得された前記製造過程を示す情報を前記利用者の端末装置に送信させ、
前記利用者の投稿を取得させ、
取得した投稿に応じて、音声に応じて音声による応答を含むサービスを提供するエージェント装置または前記車両に対応付けて前記製造過程を前記利用者の端末装置に送信させる、
プログラム。 to the computer,
Get the manufacturing process of the vehicle associated with the user who is the delivery destination of the vehicle,
causing the terminal device of the user to transmit the acquired information indicating the manufacturing process;
Acquire the user's post,
Sending the manufacturing process to the terminal device of the user in association with an agent device that provides a service including a voice response according to the voice in response to the acquired post or the vehicle;
program.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019058590A JP7252029B2 (en) | 2019-03-26 | 2019-03-26 | SERVER DEVICE, INFORMATION PROVISION METHOD, AND PROGRAM |
CN202010215425.XA CN111752235A (en) | 2019-03-26 | 2020-03-24 | Server device, agent device, information providing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019058590A JP7252029B2 (en) | 2019-03-26 | 2019-03-26 | SERVER DEVICE, INFORMATION PROVISION METHOD, AND PROGRAM |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020160719A JP2020160719A (en) | 2020-10-01 |
JP7252029B2 true JP7252029B2 (en) | 2023-04-04 |
Family
ID=72643448
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019058590A Active JP7252029B2 (en) | 2019-03-26 | 2019-03-26 | SERVER DEVICE, INFORMATION PROVISION METHOD, AND PROGRAM |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7252029B2 (en) |
CN (1) | CN111752235A (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115004491A (en) | 2020-01-20 | 2022-09-02 | 浜松光子学株式会社 | Light source module |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002032111A (en) | 2000-07-14 | 2002-01-31 | Toyota Motor Corp | Production system and method, and production information processor |
JP2002269401A (en) | 2001-03-12 | 2002-09-20 | Toyota Central Res & Dev Lab Inc | Automobile order giving/receiving device and automobile order giving/receiving system |
JP2003108833A (en) | 2001-09-28 | 2003-04-11 | Mazda Motor Corp | Information processing method, information processing device, information processing program, and recording medium recording the same information processing program |
JP2009282704A (en) | 2008-05-21 | 2009-12-03 | Denso Corp | Information provision system for vehicle |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002297954A (en) * | 2001-01-23 | 2002-10-11 | Mazda Motor Corp | Vehicle information providing device, vehicle information providing system, vehicle information providing method, computer program and computer readable storage medium |
JP2005251041A (en) * | 2004-03-05 | 2005-09-15 | Miki Denshi:Kk | Manufacturing work support system |
JP2007188373A (en) * | 2006-01-16 | 2007-07-26 | Hitachi Ltd | Process progress management system |
JP5604405B2 (en) * | 2011-11-07 | 2014-10-08 | 株式会社ゼンリンデータコム | Price comparison support system, price comparison support server, and price comparison support program |
WO2016157816A1 (en) * | 2015-04-03 | 2016-10-06 | 株式会社デンソー | Information presentation device and information presentation method |
US20190033836A1 (en) * | 2017-07-27 | 2019-01-31 | GM Global Technology Operations LLC | Systems and methods for vehicle manufacturing |
-
2019
- 2019-03-26 JP JP2019058590A patent/JP7252029B2/en active Active
-
2020
- 2020-03-24 CN CN202010215425.XA patent/CN111752235A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002032111A (en) | 2000-07-14 | 2002-01-31 | Toyota Motor Corp | Production system and method, and production information processor |
JP2002269401A (en) | 2001-03-12 | 2002-09-20 | Toyota Central Res & Dev Lab Inc | Automobile order giving/receiving device and automobile order giving/receiving system |
JP2003108833A (en) | 2001-09-28 | 2003-04-11 | Mazda Motor Corp | Information processing method, information processing device, information processing program, and recording medium recording the same information processing program |
JP2009282704A (en) | 2008-05-21 | 2009-12-03 | Denso Corp | Information provision system for vehicle |
Also Published As
Publication number | Publication date |
---|---|
JP2020160719A (en) | 2020-10-01 |
CN111752235A (en) | 2020-10-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11211033B2 (en) | Agent device, method of controlling agent device, and storage medium for providing service based on vehicle occupant speech | |
US11532303B2 (en) | Agent apparatus, agent system, and server device | |
CN111667824A (en) | Agent device, control method for agent device, and storage medium | |
US11518398B2 (en) | Agent system, agent server, method of controlling agent server, and storage medium | |
CN111746435B (en) | Information providing apparatus, information providing method, and storage medium | |
CN111559328B (en) | Agent device, method for controlling agent device, and storage medium | |
US20200317055A1 (en) | Agent device, agent device control method, and storage medium | |
JP7252029B2 (en) | SERVER DEVICE, INFORMATION PROVISION METHOD, AND PROGRAM | |
JP7340943B2 (en) | Agent device, agent device control method, and program | |
JP7245695B2 (en) | Server device, information providing system, and information providing method | |
US20200320997A1 (en) | Agent apparatus, agent apparatus control method, and storage medium | |
US11797261B2 (en) | On-vehicle device, method of controlling on-vehicle device, and storage medium | |
US11437035B2 (en) | Agent device, method for controlling agent device, and storage medium | |
CN111667823B (en) | Agent device, method for controlling agent device, and storage medium | |
JP2020152298A (en) | Agent device, control method of agent device, and program | |
JP7297483B2 (en) | AGENT SYSTEM, SERVER DEVICE, CONTROL METHOD OF AGENT SYSTEM, AND PROGRAM | |
CN111559317B (en) | Agent device, method for controlling agent device, and storage medium | |
JP7280074B2 (en) | AGENT DEVICE, CONTROL METHOD OF AGENT DEVICE, AND PROGRAM | |
JP7274901B2 (en) | AGENT DEVICE, CONTROL METHOD OF AGENT DEVICE, AND PROGRAM | |
JP7217209B2 (en) | VOICE DIALOGUE DEVICE, VOICE DIALOGUE METHOD, AND PROGRAM |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211126 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221006 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221018 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221223 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230314 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230323 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7252029 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |