JP6974058B2 - Charging stand, communication system, methods and programs - Google Patents

Charging stand, communication system, methods and programs Download PDF

Info

Publication number
JP6974058B2
JP6974058B2 JP2017142958A JP2017142958A JP6974058B2 JP 6974058 B2 JP6974058 B2 JP 6974058B2 JP 2017142958 A JP2017142958 A JP 2017142958A JP 2017142958 A JP2017142958 A JP 2017142958A JP 6974058 B2 JP6974058 B2 JP 6974058B2
Authority
JP
Japan
Prior art keywords
mobile terminal
charging stand
user
processing
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017142958A
Other languages
Japanese (ja)
Other versions
JP2019024173A (en
Inventor
譲二 吉川
雄紀 山田
浩 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2017142958A priority Critical patent/JP6974058B2/en
Priority to US16/634,120 priority patent/US11380319B2/en
Priority to PCT/JP2018/025391 priority patent/WO2019021771A1/en
Publication of JP2019024173A publication Critical patent/JP2019024173A/en
Application granted granted Critical
Publication of JP6974058B2 publication Critical patent/JP6974058B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、充電台、携帯端末、コミュニケーションシステム、方法、およびプログラムに関するものである。 The present invention relates to a charging stand, a mobile terminal, a communication system, a method, and a program.

スマートホン、タブレット、ノートパソコンなどの携帯端末が普及している。携帯端末は内蔵するバッテリに充電された電力を用いて駆動する。携帯端末のバッテリは、載置した携帯端末に給電を行う充電台により充電される。 Mobile terminals such as smart phones, tablets, and laptop computers are widespread. The mobile terminal is driven by the electric power charged in the built-in battery. The battery of the mobile terminal is charged by a charging stand that supplies power to the mounted mobile terminal.

充電台に関しては、充電に関する機能の改善(特許文献1参照)、小型化(特許文献2参照)、および構成の簡潔化(特許文献3参照)などが提案されている。 Regarding the charging stand, improvements in functions related to charging (see Patent Document 1), miniaturization (see Patent Document 2), and simplification of the configuration (see Patent Document 3) have been proposed.

特開2014−217116号公報Japanese Unexamined Patent Publication No. 2014-217116 特開2015−109764号公報Japanese Unexamined Patent Publication No. 2015-109746 特開2014−079088号公報Japanese Unexamined Patent Publication No. 2014-079088

しかし、充電台の機能には改善の余地があった。 However, there was room for improvement in the function of the charging stand.

本開示は、機能を向上した充電台、携帯端末、コミュニケーションシステム、方法、およびプログラムを提供する。 The present disclosure provides enhanced charging stands, mobile terminals, communication systems, methods, and programs.

本開示の第1の観点に係る充電台は、
携帯端末が載置されている場合、前記携帯端末に発話処理および音声認識処理の少なくとも一方を実行させる制御部を、備える。
The charging stand according to the first aspect of the present disclosure is
When a mobile terminal is mounted, the mobile terminal is provided with a control unit that causes the mobile terminal to execute at least one of an utterance process and a voice recognition process.

本開示の第2の観点に係る充電台は、
携帯端末が載置されている場合、発話処理および音声認識処理の少なくとも一方を実行する制御部を、備える。
The charging stand according to the second aspect of the present disclosure is
When a mobile terminal is mounted, it includes a control unit that executes at least one of utterance processing and voice recognition processing.

本開示の第3の観点に係る携帯端末は、
充電台に載置されている場合、前記充電台に発話処理および音声認識処理の少なくとも一方を実行させる制御部を、備える。
The mobile terminal according to the third aspect of the present disclosure is
When mounted on the charging stand, the charging stand is provided with a control unit for executing at least one of the utterance processing and the voice recognition processing.

本開示の第4の観点に係る携帯端末は、
充電台に載置されている場合、発話処理および音声認識処理の少なくとも一方を実行する制御部を、備える。
The mobile terminal according to the fourth aspect of the present disclosure is
When mounted on the charging stand, it includes a control unit that executes at least one of utterance processing and voice recognition processing.

本開示の第5の観点に係るコミュニケーションシステムは、
携帯端末と、
前記携帯端末を載置可能な充電台と、を備え、
前記携帯端末を前記充電台に載置している場合、前記携帯端末および前記充電台のいずれかにおいて、発話処理および音声認識処理の少なくとも一方を実行する。
The communication system according to the fifth aspect of the present disclosure is
With mobile terminals
It is equipped with a charging stand on which the mobile terminal can be placed.
When the mobile terminal is placed on the charging stand, at least one of the utterance processing and the voice recognition processing is executed in either the mobile terminal or the charging stand.

上述したように本開示の解決手段を装置、及びシステムとして説明してきたが、本開示は、これらを含む態様としても実現し得るものであり、また、これらに実質的に相当する方法、プログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本開示の範囲にはこれらも包含されるものと理解されたい。 As described above, the solutions of the present disclosure have been described as an apparatus and a system, but the present disclosure can also be realized as an embodiment including these, and a method, a program, and a method substantially corresponding thereto. It can also be realized as a storage medium on which a program is recorded, and it should be understood that these are also included in the scope of the present disclosure.

本開示の第6の観点に係る方法は、
携帯端末が充電台に載置されていることを判断するステップと、
前記携帯端末が充電台に載置されている場合に、前記携帯端末および前記充電台のいずれかに、発話処理および音声認識処理の少なくとも一方を実行させるステップと、を備える。
The method according to the sixth aspect of the present disclosure is
Steps to determine that the mobile device is mounted on the charging stand,
When the mobile terminal is mounted on a charging stand, the mobile terminal and the charging stand are provided with a step of causing at least one of an utterance process and a voice recognition process.

本開示の第7の観点に係るプログラムは、
携帯端末が載置されている場合、前記携帯端末に発話処理および音声認識処理の少なくとも一方を実行させるように充電台を機能させる。
The program according to the seventh aspect of the present disclosure is
When a mobile terminal is mounted, the charging stand is made to function so that the mobile terminal performs at least one of utterance processing and voice recognition processing.

本開示の第8の観点に係るプログラムは、
携帯端末が載置されている場合、発話処理および音声認識処理の少なくとも一方を充電台に実行させる。
The program according to the eighth aspect of the present disclosure is
When the mobile terminal is mounted, the charging stand is made to perform at least one of the speech processing and the voice recognition processing.

本開示の第9の観点に係るプログラムは、
充電台に載置されている場合、前記充電台に発話処理および音声認識処理の少なくとも一方を実行させるように携帯端末を機能させる。
The program according to the ninth aspect of the present disclosure is
When mounted on a charging stand, the mobile terminal is made to function so that the charging stand performs at least one of utterance processing and voice recognition processing.

本開示の第10の観点に係るプログラムは、
充電台に載置されている場合、発話処理および音声認識処理の少なくとも一方を携帯端末に実行させる。
The program according to the tenth aspect of the present disclosure is
When mounted on the charging stand, the mobile terminal is made to perform at least one of the speech processing and the voice recognition processing.

本開示に係る充電台、携帯端末、コミュニケーションシステム、方法、およびプログラムによれば、携帯端末とともになって充電台の機能を向上し得る。 According to the charging stand, mobile terminal, communication system, method, and program according to the present disclosure, the function of the charging stand can be improved together with the mobile terminal.

一実施形態に係る充電台を含むコミュニケーションシステムの外観を示す正面図である。It is a front view which shows the appearance of the communication system including the charging stand which concerns on one Embodiment. 図1のコミュニケーションシステムの側面図である。It is a side view of the communication system of FIG. 図1の携帯端末および充電台の内部構成を概略的に示す機能ブロック図である。FIG. 3 is a functional block diagram schematically showing the internal configurations of the mobile terminal and the charging stand of FIG. 1. 図3における携帯端末の制御部が実行する初期設定処理を説明するためのフローチャートである。FIG. 3 is a flowchart for explaining the initial setting process executed by the control unit of the mobile terminal in FIG. 図3における充電台の制御部が実行する発話等実行判別処理を説明するためのフローチャートである。FIG. 3 is a flowchart for explaining an execution determination process such as an utterance executed by the control unit of the charging stand in FIG.

以下、本開示の実施形態について、図面を参照して説明する。 Hereinafter, embodiments of the present disclosure will be described with reference to the drawings.

図1、2に示すように、本開示の充電台12を含むコミュニケーションシステム10は、携帯端末11および充電台12を含んでいる。携帯端末11を充電台12に載置している間、充電台12は携帯端末11の内臓のバッテリを充電する。また、携帯端末11を充電台12に載置する場合、コミュニケーションシステム10はユーザと対話し得る。 As shown in FIGS. 1 and 2, the communication system 10 including the charging stand 12 of the present disclosure includes the mobile terminal 11 and the charging stand 12. While the mobile terminal 11 is placed on the charging stand 12, the charging stand 12 charges the built-in battery of the mobile terminal 11. Further, when the mobile terminal 11 is placed on the charging stand 12, the communication system 10 can interact with the user.

図3に示すように、携帯端末11は、通信部13、受電部14、バッテリ15、マイク16、スピーカ17、カメラ18、ディスプレイ19、入力部20、記憶部21、および制御部22などを含んでいる。 As shown in FIG. 3, the mobile terminal 11 includes a communication unit 13, a power receiving unit 14, a battery 15, a microphone 16, a speaker 17, a camera 18, a display 19, an input unit 20, a storage unit 21, a control unit 22, and the like. I'm out.

通信部13は、音声、文字、および画像などを通信可能な通信インタフェースを含む。本開示における「通信インタフェース」は、例えば物理コネクタ、および無線通信機を含んでよい。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、および電磁波による伝送に対応した電磁コネクタを含んでよい。電気コネクタは、IEC60603に準拠するコネクタ、USB規格に準拠するコネクタ、RCA端子に対応するコネクタ、EIAJ CP−1211Aに規定されるS端子に対応するコネクタ、EIAJ RC−5237に規定されるD端子に対応するコネクタ、HDMI(登録商標)規格に準拠するコネクタ、およびBNC(British Naval Connector、またはBaby‐series N Connectorなど)を含む同軸ケーブルに対応するコネクタを含んでよい。光コネクタは、IEC 61754に準拠する種々のコネクタを含んでよい。無線通信機は、Bluetooth(登録商標)、およびIEEE802.11を含む各規格に準拠する無線通信機を含んでよい。無線通信機は、少なくとも1つのアンテナを含む。 The communication unit 13 includes a communication interface capable of communicating voice, characters, images, and the like. The "communication interface" in the present disclosure may include, for example, a physical connector and a wireless communication device. The physical connector may include an electric connector corresponding to transmission by an electric signal, an optical connector corresponding to transmission by an optical signal, and an electromagnetic connector corresponding to transmission by an electromagnetic wave. The electric connector is a connector compliant with IEC60603, a connector compliant with the USB standard, a connector corresponding to the RCA terminal, a connector corresponding to the S terminal specified in EIAJ CP-1211A, and a D terminal specified in EIAJ RC-5237. It may include a corresponding connector, a connector conforming to the HDMI® standard, and a connector corresponding to a coaxial cable including a BNC (British Naval Connector, or Baby-series N Connector, etc.). Optical connectors may include various connectors according to IEC 61754. The wireless communication device may include a wireless communication device conforming to each standard including Bluetooth (registered trademark) and 802.11. The wireless communication device includes at least one antenna.

通信部13は、自身の携帯端末11の外部機器、例えば充電台12と通信する。通信部13は、有線通信または無線通信により、外部機器と通信する。なお、通信部13は、充電台12と有線通信をする構成においては、携帯端末11を充電台12の正規の位置及び姿勢で載置することにより、充電台12の通信部23に接続され、通信し得る。また、通信部13は、無線通信により、直接的に、または、例えば、基地局、およびインターネット回線または電話回線を介して間接的に、外部機器と通信してよい。 The communication unit 13 communicates with an external device of its own mobile terminal 11, for example, a charging stand 12. The communication unit 13 communicates with an external device by wired communication or wireless communication. In the configuration of wire communication with the charging stand 12, the communication unit 13 is connected to the communication unit 23 of the charging stand 12 by mounting the mobile terminal 11 in the regular position and posture of the charging stand 12. Can communicate. Further, the communication unit 13 may communicate with an external device directly or indirectly via, for example, a base station and an Internet line or a telephone line by wireless communication.

受電部14は、充電台12から供給する電力を受電する。受電部14は、例えば、コネクタを有し、有線を介して充電台12から電力を受電する。または、受電部14は、例えば、コイルなどを有し、電磁誘導方式および磁界共振方式などの無線給電方法により充電台12から電力を受電する。受電部14は、受電した電力をバッテリ15に蓄電する。 The power receiving unit 14 receives the electric power supplied from the charging stand 12. The power receiving unit 14 has, for example, a connector and receives power from the charging stand 12 via a wire. Alternatively, the power receiving unit 14 has, for example, a coil or the like, and receives power from the charging stand 12 by a wireless power feeding method such as an electromagnetic induction method or a magnetic field resonance method. The power receiving unit 14 stores the received power in the battery 15.

バッテリ15は、受電部14から供給される電力を蓄電する。バッテリ15は、蓄電した電力を放電することにより、携帯端末11の各構成要素に、当該構成要素を機能させるために必要な電力を供給する。 The battery 15 stores the electric power supplied from the power receiving unit 14. By discharging the stored electric power, the battery 15 supplies each component of the mobile terminal 11 with the power necessary for the component to function.

マイク16は、携帯端末11の周囲で発生する音声を検出して、電気信号に変換する。マイク16は、検出した音声を制御部22に出力する。 The microphone 16 detects the voice generated around the mobile terminal 11 and converts it into an electric signal. The microphone 16 outputs the detected voice to the control unit 22.

スピーカ17は、制御部22の制御に基づいて、音声を発する。スピーカ17は、例えば、後述する発話機能を実行している場合、制御部22が発話を決定した言葉を発する。また、スピーカ17は、例えば、他の携帯端末との通話を実行している場合、当該携帯端末から取得する音声を発する。 The speaker 17 emits voice based on the control of the control unit 22. For example, when the speaker 17 is executing the utterance function described later, the control unit 22 emits a word for which the utterance is determined. Further, for example, when the speaker 17 is executing a call with another mobile terminal, the speaker 17 emits a voice acquired from the mobile terminal.

カメラ18は、撮像範囲内の被写体を撮像する。カメラ18は、静止画像および動画像のいずれも撮像可能である。カメラ18は、動画像の撮像時に、例えば60fpsで、被写体を連続的に撮像する。カメラ18は、撮像した画像を制御部22に出力する。 The camera 18 captures a subject within the imaging range. The camera 18 can capture both still images and moving images. The camera 18 continuously captures a subject at, for example, 60 fps when capturing a moving image. The camera 18 outputs the captured image to the control unit 22.

ディスプレイ19は、例えば液晶ディスプレイ(LCD(Liquid Crystal Display))、または、有機若しくは無機ELディスプレイである。ディスプレイ19は、制御部22の制御に基づいて、画像を表示する。 The display 19 is, for example, a liquid crystal display (LCD (Liquid Crystal Display)) or an organic or inorganic EL display. The display 19 displays an image under the control of the control unit 22.

入力部20は、例えば、ディスプレイ19と一体化したタッチパネルである。入力部20は、ユーザによる携帯端末11に関する多様な要求または情報の入力を検出する。入力部20は、検出した入力を制御部22に出力する。 The input unit 20 is, for example, a touch panel integrated with the display 19. The input unit 20 detects input of various requests or information regarding the mobile terminal 11 by the user. The input unit 20 outputs the detected input to the control unit 22.

記憶部21は、例えば、半導体メモリ、磁気メモリ、および光メモリなどを用いて構成されてよい。記憶部21は、例えば、後述する、登録処理、発話処理、音声認識処理、見守り処理、データ通信処理、および通話処理などを実行するための多様な情報を記憶する。 The storage unit 21 may be configured by using, for example, a semiconductor memory, a magnetic memory, an optical memory, or the like. The storage unit 21 stores various information for executing, for example, registration processing, utterance processing, voice recognition processing, watching processing, data communication processing, call processing, and the like, which will be described later.

制御部22は、1又は複数のプロセッサを含む。制御部22は、種々の処理のためのプログラム及び演算中の情報を記憶する1又は複数のメモリを含んでよい。メモリは、揮発性メモリ及び不揮発性メモリが含まれる。メモリは、プロセッサから独立しているメモリ、及びプロセッサの内蔵メモリが含まれる。プロセッサには、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、特定の処理に特化した専用のプロセッサが含まれる。専用のプロセッサには、特定用途向けIC(ASIC; Application Specific Integrated Circuit)が含まれる。プロセッサには、プログラマブルロジックデバイス(PLD; Programmable Logic Device)が含まれる。PLDには、FPGA(Field−Programmable Gate Array)が含まれる。制御部22は、一つ又は複数のプロセッサが協働するSoC(System on a Chip)、及びSiP(System In a Package)のいずれかであってよい。 The control unit 22 includes one or more processors. The control unit 22 may include one or more memories for storing programs for various processes and information during calculation. The memory includes a volatile memory and a non-volatile memory. The memory includes a memory independent of the processor and a built-in memory of the processor. Processors include general-purpose processors that load specific programs to perform specific functions, and dedicated processors that specialize in specific processing. Dedicated processors include application specific integrated circuits (ASICs). Processors include programmable logic devices (PLDs). The PLD includes an FPGA (Field-Programmable Gate Array). The control unit 22 may be either a SoC (System on a Chip) in which one or a plurality of processors cooperate, or a SiP (System In a Package).

制御部22は、例えば、後述するように充電台12からコミュニケーションモードへの移行指令を取得すると、コミュニケーションモードにおける多様な機能を実行するために、携帯端末11の各構成要素を制御する。なお、コミュニケーションモードとは、携帯端末11を充電台12とともにコミュニケーションシステム10として、特定のユーザとの対話、特定ユーザの観察、および当該ユーザへのメッセージ発信などを実行させるモードである。 For example, when the control unit 22 acquires a transition command from the charging stand 12 to the communication mode as described later, the control unit 22 controls each component of the mobile terminal 11 in order to execute various functions in the communication mode. The communication mode is a mode in which the mobile terminal 11 is used as a communication system 10 together with the charging stand 12 to perform dialogue with a specific user, observation of the specific user, transmission of a message to the user, and the like.

制御部22は、コミュニケーションモードを実行するユーザの登録のための登録処理を実行する。制御部22は、例えば、入力部20へのユーザ登録を要求する入力の検出などにより、登録処理を開始する。 The control unit 22 executes a registration process for registering a user who executes the communication mode. The control unit 22 starts the registration process, for example, by detecting an input requesting user registration to the input unit 20.

例えば、制御部22は、登録処理において、ユーザにカメラ18のレンズを見るようにメッセージを発し、カメラ18を駆動することによりユーザの顔を撮像する。さらに、制御部22は、撮像した画像を、ユーザの名称および属性などのユーザ情報と関連付けて記憶する。属性とは、例えば、携帯端末11の所有者および当該所有者に対する続柄、性別、年齢層、身長、体重などである。制御部22は、ユーザ情報を、入力部20へのユーザによる入力により取得する。 For example, in the registration process, the control unit 22 issues a message to the user to look at the lens of the camera 18, and drives the camera 18 to image the user's face. Further, the control unit 22 stores the captured image in association with user information such as a user's name and attributes. The attributes are, for example, the owner of the mobile terminal 11 and the relationship to the owner, gender, age group, height, weight, and the like. The control unit 22 acquires user information by inputting the user information to the input unit 20 by the user.

制御部22は、登録処理において、さらに、登録された画像を関連付けたユーザ情報とともに充電台12に転送する。充電台12に付与するために、制御部22は、携帯端末11と通信可能であるかを判別する。 In the registration process, the control unit 22 further transfers the registered image to the charging stand 12 together with the associated user information. The control unit 22 determines whether or not communication with the mobile terminal 11 is possible in order to provide the charging base 12.

制御部22は、充電台12と通信できない場合に、通信可能とさせるメッセージをディスプレイ19に表示させる。例えば、携帯端末11が充電台12と有線通信を行う構成において携帯端末11と充電台12とが接続されていない場合、制御部22は接続を要求するメッセージをディスプレイ19に表示させる。また、携帯端末11が充電台12と無線通信を行う構成において携帯端末11と充電台12とが通信できない程度に離れている場合、制御部22は充電台12に近付くことを要求するメッセージをディスプレイ19に表示させる。 When the control unit 22 cannot communicate with the charging stand 12, the control unit 22 displays a message for enabling communication on the display 19. For example, in a configuration in which the mobile terminal 11 communicates with the charging stand 12 by wire, when the mobile terminal 11 and the charging stand 12 are not connected, the control unit 22 displays a message requesting connection on the display 19. Further, in a configuration in which the mobile terminal 11 wirelessly communicates with the charging stand 12, when the mobile terminal 11 and the charging stand 12 are separated to such an extent that they cannot communicate with each other, the control unit 22 displays a message requesting that the mobile terminal 11 approach the charging stand 12. Display at 19.

制御部22は、携帯端末11および充電台12が通信可能である場合、登録された画像およびユーザ情報を充電台12に向けて転送させ、転送中であることをディスプレイ19に表示させる。さらに、制御部22は、転送の完了の通知を充電台12から取得する場合、初期設定完了のメッセージをディスプレイ19に表示させる。 When the mobile terminal 11 and the charging stand 12 are communicable, the control unit 22 transfers the registered image and the user information to the charging stand 12, and causes the display 19 to indicate that the transfer is in progress. Further, when the control unit 22 obtains the notification of the completion of the transfer from the charging stand 12, the control unit 22 displays a message of the completion of the initial setting on the display 19.

制御部22は、コミュニケーションモードに移行している間、発話処理および音声認識処理の少なくとも一方を実行することにより、コミュニケーションシステム10を特定のユーザと対話させる。 The control unit 22 causes the communication system 10 to interact with a specific user by executing at least one of the utterance processing and the voice recognition processing while shifting to the communication mode.

制御部22は、発話処理において、現在時刻、充電台12の設置された場所、後述するように充電台12に特定された対話対象のユーザ、携帯端末11が受信したメールおよび電話、携帯端末11に登録されたメモおよびスケジュール、当該ユーザの発した音声、ならびに当該ユーザの過去の会話内容に基づいて、発話する言葉を決定する。制御部22は、決定した言葉を発するように、スピーカ17を駆動する。 In the utterance process, the control unit 22 includes the current time, the location where the charging stand 12 is installed, the user to be dialogued with the charging stand 12 as described later, the mail and telephone received by the mobile terminal 11, and the mobile terminal 11. The words to be spoken are determined based on the memo and schedule registered in the user, the voice uttered by the user, and the past conversation contents of the user. The control unit 22 drives the speaker 17 so as to emit a determined word.

また、制御部22は、音声認識処理において、マイク16が検出する音声の形態素解析を行い、ユーザの発話内容を認識する。制御部22は、認識した発話内容に基づいて、所定の処理を実行する。所定の処理は、例えば、前述のように認識した発話内容に対する発話処理、ならびに所望の情報の探索、所望の画像の表示、および所望の相手への電話およびメールの発信を実行するための処理である。 Further, the control unit 22 performs morphological analysis of the voice detected by the microphone 16 in the voice recognition process, and recognizes the utterance content of the user. The control unit 22 executes a predetermined process based on the recognized utterance content. The predetermined process is, for example, an utterance process for the utterance content recognized as described above, a process for searching for desired information, a desired image display, and a process for executing a telephone call and an e-mail transmission to a desired party. be.

また、制御部22は、コミュニケーションモードに移行している間、連続的に実行した、上述の発話処理および音声認識処理を記憶部21に記憶させ、特定された対話対象のユーザに対する会話内容を学習する。制御部22は、学習した会話内容に基づいて、以後の発話処理において発話する言葉の決定に活用する。また、制御部22は、学習した会話内容を、充電台12に転送してよい。 Further, the control unit 22 stores the above-mentioned utterance processing and voice recognition processing continuously executed while shifting to the communication mode in the storage unit 21, and learns the conversation content for the specified dialogue target user. do. The control unit 22 is used to determine the words to be spoken in the subsequent utterance processing based on the learned conversation content. Further, the control unit 22 may transfer the learned conversation content to the charging stand 12.

また、制御部22は、コミュニケーションモードに移行している間、特定された対話対象のユーザに対する会話内容および当該ユーザとの対話時にカメラ18に撮像させる画像などから、当該ユーザの生活習慣などを学習する。制御部22は、学習した生活習慣に基づいて、当該ユーザに対するアドバイスなどを報知する。アドバイスの報知は、スピーカ17による音声の発話でも、ディスプレイ19への画像の表示であってもよい。なお、アドバイスは、例えば、薬を飲むべき時の通知、当該ユーザの好みの食事の提案、当該ユーザの健康のための食事内容の提案、および当該ユーザが継続可能かつ効果的な運動の提案などである。 Further, while the control unit 22 is in the communication mode, the control unit 22 learns the lifestyle of the user from the conversation content with the specified dialogue target user and the image captured by the camera 18 at the time of dialogue with the user. do. The control unit 22 notifies the user of advice or the like based on the learned lifestyle. The notification of the advice may be a voice utterance by the speaker 17 or an image may be displayed on the display 19. The advice includes, for example, notification when the drug should be taken, suggestion of the user's favorite diet, suggestion of dietary content for the user's health, and suggestion of sustainable and effective exercise for the user. Is.

また、制御部22は、コミュニケーションモードに移行している間、携帯端末11の現在位置を検出する。現在位置の検出は、例えば、通信中の基地局の設置位置または携帯端末11が備え得るGPSに基づく。制御部22は、検出した現在位置に関連付けられた地域情報をユーザに報知する。地域情報の報知は、スピーカ17による音声の発話でも、ディスプレイ19への画像の表示であってもよい。なお、地域情報は、例えば、近隣店舗の特売情報などである。 Further, the control unit 22 detects the current position of the mobile terminal 11 while shifting to the communication mode. The detection of the current position is based on, for example, the installation position of the base station being communicated or the GPS that the mobile terminal 11 may have. The control unit 22 notifies the user of the area information associated with the detected current position. The notification of the area information may be an utterance of voice by the speaker 17 or an image may be displayed on the display 19. The regional information is, for example, special sale information of neighboring stores.

また、制御部22は、コミュニケーションモードに移行している間に特定の対象に対する見守り処理の開始要求を入力部20が検出する場合、当該開始要求を充電台12に通知する。特定の対象とは、例えば、登録された特定のユーザ、および充電台12が設置された部屋などである。 Further, when the input unit 20 detects a request to start the watching process for a specific target while shifting to the communication mode, the control unit 22 notifies the charging stand 12 of the start request. The specific target is, for example, a registered specific user, a room in which the charging stand 12 is installed, and the like.

見守り処理は携帯端末11の載置の有無に関わらず、充電台12により実行される。制御部22は、見守り処理を実行させている充電台12から特定の対象が異常状態である通知を取得する場合、その旨をユーザに報知する。ユーザへの報知は、スピーカ17による音声の発信でも、ディスプレイ19への警告画像の表示であってもよい。 The watching process is executed by the charging stand 12 regardless of whether or not the mobile terminal 11 is placed. When the control unit 22 acquires a notification that a specific target is in an abnormal state from the charging stand 12 that is executing the watching process, the control unit 22 notifies the user to that effect. The notification to the user may be the transmission of voice by the speaker 17 or the display of a warning image on the display 19.

また、制御部22は、コミュニケーションモードへの移行の有無に関わらず、入力部20への入力に基づいて、メールの送受信およびブラウザを用いた画像表示などのデータ通信処理、ならびに他の電話との通話処理を実行する。 Further, the control unit 22 performs data communication processing such as sending / receiving mail and displaying an image using a browser based on the input to the input unit 20, regardless of whether or not the mode is switched to the communication mode, and with another telephone. Perform call processing.

充電台12は、通信部23、給電部24、変動機構25、マイク26、スピーカ27、カメラ28、人感センサ29、載置センサ30、記憶部31、および制御部32などを含んでいる。 The charging stand 12 includes a communication unit 23, a power feeding unit 24, a variable mechanism 25, a microphone 26, a speaker 27, a camera 28, a motion sensor 29, a mounting sensor 30, a storage unit 31, a control unit 32, and the like.

通信部23は、携帯端末11の通信部13と同様に、音声、文字、および画像などを通信可能な通信インタフェースを含む。通信部23は、有線通信または無線通信により、携帯端末11と通信する。通信部23は、有線通信または無線通信により、外部機器と通信してもよい。 The communication unit 23 includes a communication interface capable of communicating voice, characters, images, and the like, like the communication unit 13 of the mobile terminal 11. The communication unit 23 communicates with the mobile terminal 11 by wire communication or wireless communication. The communication unit 23 may communicate with an external device by wired communication or wireless communication.

給電部24は、充電台12に載置された携帯端末11の受電部14に電力を供給する。給電部24は、上述のように、有線または無線により受電部14に電力を供給する。 The power feeding unit 24 supplies electric power to the power receiving unit 14 of the mobile terminal 11 mounted on the charging stand 12. As described above, the power feeding unit 24 supplies electric power to the power receiving unit 14 by wire or wirelessly.

変動機構25は、充電台12に載置される携帯端末11の向きを変動させる。変動機構25は、充電台12に対して定められる下底面bs(図1、2参照)に対して定められる上下方向および左右方向の少なくとも一方に沿って、携帯端末11の向きを変動可能である。変動機構25はモータを内蔵しており、モータの駆動により携帯端末11の向きを変動させる。 The fluctuation mechanism 25 changes the orientation of the mobile terminal 11 mounted on the charging stand 12. The variable mechanism 25 can change the orientation of the mobile terminal 11 along at least one of the vertical direction and the horizontal direction defined for the lower bottom surface bs (see FIGS. 1 and 2) defined for the charging stand 12. .. The fluctuation mechanism 25 has a built-in motor, and the direction of the mobile terminal 11 is changed by driving the motor.

マイク26は、充電台12の周囲で発生する音声を検出して、電気信号に変換する。マイク26は、検出した音声を制御部32に出力する。 The microphone 26 detects the voice generated around the charging stand 12 and converts it into an electric signal. The microphone 26 outputs the detected voice to the control unit 32.

スピーカ27は、制御部32の制御に基づいて、音声を発する。 The speaker 27 emits voice based on the control of the control unit 32.

カメラ28は、撮像範囲内の被写体を撮像する。カメラ28は、静止画像および動画像のいずれも撮像可能である。カメラ28は、動画像の撮像時に、例えば60fpsで、被写体を連続的に撮像する。カメラ28は、撮像した画像を制御部32に出力する。 The camera 28 captures a subject within the imaging range. The camera 28 can capture both still images and moving images. The camera 28 continuously captures a subject at, for example, 60 fps when capturing a moving image. The camera 28 outputs the captured image to the control unit 32.

人感センサ29は、例えば、赤外線センサであり、熱の変化を検出することにより、充電台12の周囲における人の存在を検出する。人感センサ29は、人の存在を検出する場合、その旨を制御部32に通知する。なお、人感センサ29は、赤外線センサ以外のセンサであってよく、例えば、超音波センサであってもよい。または、人感センサ29は、連続的に撮像される画像の変化に基づいて人の存在を検出するようにカメラ28を機能させる構成であってよい。 The motion sensor 29 is, for example, an infrared sensor, and detects the presence of a person around the charging stand 12 by detecting a change in heat. When the motion sensor 29 detects the presence of a person, the motion sensor 29 notifies the control unit 32 to that effect. The motion sensor 29 may be a sensor other than an infrared sensor, and may be, for example, an ultrasonic sensor. Alternatively, the motion sensor 29 may be configured to function the camera 28 so as to detect the presence of a person based on changes in continuously captured images.

載置センサ30は、充電台12において、例えば、携帯端末11の載置面に設けられており、携帯端末11の載置の有無を検出する。載置センサ30は、例えば圧電素子などにより構成されている。載置センサ30は、携帯端末11が載置されるとき、その旨を制御部32に通知する。 The mounting sensor 30 is provided on the mounting surface of the mobile terminal 11, for example, on the charging stand 12, and detects the presence or absence of mounting of the mobile terminal 11. The mounting sensor 30 is composed of, for example, a piezoelectric element or the like. When the mobile terminal 11 is mounted, the mounting sensor 30 notifies the control unit 32 to that effect.

記憶部31は、例えば、半導体メモリ、磁気メモリ、および光メモリなどを用いて構成されてよい。記憶部31は、例えば、携帯端末11から取得するユーザの登録に係る画像およびユーザ情報を、携帯端末11毎および登録したユーザ毎に記憶する。また、記憶部31は、例えば、携帯端末11から取得する会話内容をユーザ毎に記憶する。また、記憶部31は、例えば、後述するように、カメラ28による撮像結果に基づく変動機構25の駆動のための情報を記憶する。 The storage unit 31 may be configured by using, for example, a semiconductor memory, a magnetic memory, an optical memory, or the like. The storage unit 31 stores, for example, an image and user information related to user registration acquired from the mobile terminal 11 for each mobile terminal 11 and each registered user. Further, the storage unit 31 stores, for example, the conversation content acquired from the mobile terminal 11 for each user. Further, the storage unit 31 stores, for example, information for driving the fluctuation mechanism 25 based on the image pickup result by the camera 28, as will be described later.

制御部32は、携帯端末11の制御部22と同様に、1又は複数のプロセッサを含む。制御部32は、携帯端末11の制御部22と同様に、種々の処理のためのプログラム及び演算中の情報を記憶する1又は複数のメモリを含んでよい。 The control unit 32 includes one or a plurality of processors, similarly to the control unit 22 of the mobile terminal 11. The control unit 32 may include one or a plurality of memories for storing programs for various processes and information being calculated, similarly to the control unit 22 of the mobile terminal 11.

制御部32は、載置センサ30が携帯端末11の載置を検出してから離脱を検出するまでの間、言い換えると、充電台12に携帯端末11が載置されている場合、コミュニケーションシステム10をコミュニケーションモードに維持させる。したがって、制御部32は、充電台12に携帯端末11が載置されている場合、携帯端末11に発話処理および音声認識処理の少なくとも一方を実行させ得る。 From the time when the mounting sensor 30 detects the mounting of the mobile terminal 11 to the time when the mounting sensor 30 detects the detachment, the control unit 32, in other words, when the mobile terminal 11 is mounted on the charging stand 12, the communication system 10 To be maintained in communication mode. Therefore, when the mobile terminal 11 is mounted on the charging stand 12, the control unit 32 may cause the mobile terminal 11 to execute at least one of the utterance processing and the voice recognition processing.

制御部32は、充電台12に携帯端末11が載置されている間 、カメラ28を起動して、周囲の画像を撮像させる。制御部32は、撮像した画像中の人の顔を検出する。制御部32は、検出した人の顔の画像を、記憶部31に記憶させた顔の画像と比較することにより、撮像されたユーザを特定する。制御部32は、特定したユーザを携帯端末11に通知する。 The control unit 32 activates the camera 28 while the mobile terminal 11 is mounted on the charging stand 12 to capture an image of the surroundings. The control unit 32 detects a human face in the captured image. The control unit 32 identifies the captured user by comparing the detected image of the human face with the image of the face stored in the storage unit 31. The control unit 32 notifies the mobile terminal 11 of the specified user.

制御部32は、撮像されたユーザの認識後、カメラ28による撮像を継続させ、当該ユーザの顔を画像毎に探索する。制御部32は、画像の中で探索された顔の位置に基づいて、携帯端末11のディスプレイ19が当該ユーザの方向を向くように、変動機構25を駆動する。 After recognizing the captured user, the control unit 32 continues imaging by the camera 28 and searches for the user's face for each image. The control unit 32 drives the fluctuation mechanism 25 so that the display 19 of the mobile terminal 11 faces the user based on the position of the face searched for in the image.

制御部32は、載置センサ30が携帯端末11の載置を検出する時、コミュニケーションシステム10のコミュニケーションモードへの移行を開始させる。したがって、制御部32は、充電台12に携帯端末11が載置される時、携帯端末11に発話処理および音声認識処理の少なくとも一方の実行を開始させる。 When the mounting sensor 30 detects the mounting of the mobile terminal 11, the control unit 32 starts the transition of the communication system 10 to the communication mode. Therefore, when the mobile terminal 11 is placed on the charging stand 12, the control unit 32 causes the mobile terminal 11 to start executing at least one of the utterance processing and the voice recognition processing.

制御部32は、発話処理および音声認識処理の少なくとも一方の開始指示の条件に、人感センサ29による人の検知を付加してよい。例えば、制御部32は、携帯端末11の載置の認識後に、人感センサ29が人を検出する場合に、発話処理などを開始させてもよい。 The control unit 32 may add the detection of a person by the motion sensor 29 to the condition of at least one of the start instruction of the utterance processing and the voice recognition processing. For example, the control unit 32 may start the utterance processing or the like when the motion sensor 29 detects a person after recognizing the placement of the mobile terminal 11.

また、制御部32は、載置センサ30が携帯端末11の離脱を検出する時、コミュニケーションシステム10におけるコミュニケーションモードを終了させる。したがって、制御部32は、充電台12から携帯端末11が離脱する時、携帯端末11に発話処理および音声認識処理の少なくとも一方の実行を終了させる。 Further, the control unit 32 terminates the communication mode in the communication system 10 when the mounting sensor 30 detects the detachment of the mobile terminal 11. Therefore, when the mobile terminal 11 is detached from the charging stand 12, the control unit 32 causes the mobile terminal 11 to end the execution of at least one of the utterance processing and the voice recognition processing.

また、制御部32は、携帯端末11からユーザ毎の会話内容を取得する場合、当該会話内容を携帯端末11毎に記憶部31に記憶させる。制御部32は、必要に応じて、充電台12と直接または間接的に通信する異なる携帯端末11間において記憶した会話内容を共有させる。なお、充電台12と間接的に通信するとは、充電台12が電話回線に繋がれており、当該電話回線を介して通信すること、および充電台12に載置された携帯端末11を介して通信することの少なくとも一方を含む。 Further, when the control unit 32 acquires the conversation content for each user from the mobile terminal 11, the control unit 32 stores the conversation content in the storage unit 31 for each mobile terminal 11. The control unit 32 shares the stored conversation content between different mobile terminals 11 that directly or indirectly communicate with the charging stand 12, as needed. Indirect communication with the charging stand 12 means that the charging stand 12 is connected to a telephone line and communicates via the telephone line, and via a mobile terminal 11 mounted on the charging stand 12. Includes at least one of communicating.

また、制御部32は、携帯端末11から見守り処理を実行する指令を取得する場合、見守り処理を実行する。制御部32は、見守り処理において、カメラ28を起動して、特定の対象の連続的な撮像を実行する。制御部32は、カメラ28が撮像した画像の中で特定の対象を抽出する。制御部32は、抽出した特定の対象の状態を、画像認識などに基づいて、判断する。特定の対象の状態とは、例えば、特定のユーザが倒れたままなどの異常状態、留守中の部屋における動体の検出状態である。制御部32は、特定の対象が異常状態であると判断する場合、見守り処理の実行を指令した携帯端末11に、特定の対象が異常状態であることを通知する。 Further, when the control unit 32 acquires a command to execute the watching process from the mobile terminal 11, the control unit 32 executes the watching process. In the watching process, the control unit 32 activates the camera 28 to perform continuous imaging of a specific target. The control unit 32 extracts a specific target from the image captured by the camera 28. The control unit 32 determines the state of the extracted specific target based on image recognition or the like. The specific target state is, for example, an abnormal state such as a specific user lying down, or a state in which a moving object is detected in a room while the user is away. When the control unit 32 determines that the specific target is in the abnormal state, the control unit 32 notifies the mobile terminal 11 instructing the execution of the watching process that the specific target is in the abnormal state.

次に、本開示において携帯端末11の制御部22が実行する、初期設定処理について、図4のフローチャートを用いて説明する。初期設定処理は、ユーザによる初期設定を開始する入力を入力部20が検出する場合に開始する。 Next, the initial setting process executed by the control unit 22 of the mobile terminal 11 in the present disclosure will be described with reference to the flowchart of FIG. The initial setting process starts when the input unit 20 detects an input for starting the initial setting by the user.

ステップS100において、制御部22は、携帯端末11のカメラ18に顔を合わせるように要求するメッセージをディスプレイ19に表示させる。ディスプレイ19への表示後に、プロセスはステップS101に進む。 In step S100, the control unit 22 causes the display 19 to display a message requesting the camera 18 of the mobile terminal 11 to meet the face. After displaying on the display 19, the process proceeds to step S101.

ステップS101では、制御部22は、カメラ18に撮像を実行させる。撮像後、プロセスはステップS102に進む。 In step S101, the control unit 22 causes the camera 18 to perform imaging. After imaging, the process proceeds to step S102.

ステップS102では、制御部22は、ユーザの名称および属性を尋ねる質問をディスプレイ19に表示させる。質問の表示後、プロセスはステップS103に進む。 In step S102, the control unit 22 causes the display 19 to display a question asking for the user's name and attributes. After displaying the question, the process proceeds to step S103.

ステップS103では、制御部22は、ステップS102における質問に対する回答の有無を判別する。回答が無い時、プロセスはステップS103を繰返す。回答がある時、プロセスはステップS104に進む。 In step S103, the control unit 22 determines whether or not there is an answer to the question in step S102. If there is no answer, the process repeats step S103. When there is an answer, the process proceeds to step S104.

ステップS104では、制御部22は、ステップS101において撮像した顔の画像を、ステップS103において検出された質問に対する回答をユーザ情報として関連付けて、記憶部21に記憶させる。記憶後、プロセスはステップS105に進む。 In step S104, the control unit 22 stores the face image captured in step S101 in the storage unit 21 in association with the answer to the question detected in step S103 as user information. After storage, the process proceeds to step S105.

ステップS105では、制御部22は、充電台12と通信可能であるか否かを判別する。通信不可能である時、プロセスはステップS106に進む。通信可能である時、プロセスはステップS107に進む。 In step S105, the control unit 22 determines whether or not communication with the charging stand 12 is possible. When communication is not possible, the process proceeds to step S106. When communicable, the process proceeds to step S107.

ステップS106では、制御部22は、ディスプレイ19に充電台12との通信を可能にさせる行動を要求するメッセージをディスプレイ19に表示させる。通信を可能にさせる行動を要求するメッセージは、携帯端末11が充電台12と有線通信を行う構成において、例えば、“充電台に載置してください”である。また、通信を可能にさせる行動を要求するメッセージは、携帯端末11が充電台12と無線通信を行う構成において、例えば、“充電台12に近付けてください”である。メッセージの表示後、プロセスはステップS105に戻る。 In step S106, the control unit 22 causes the display 19 to display a message requesting an action that enables the display 19 to communicate with the charging stand 12. The message requesting an action that enables communication is, for example, "Please place it on the charging stand" in the configuration in which the mobile terminal 11 performs wired communication with the charging stand 12. Further, the message requesting an action that enables communication is, for example, "Please approach the charging stand 12" in the configuration in which the mobile terminal 11 wirelessly communicates with the charging stand 12. After displaying the message, the process returns to step S105.

ステップS107では、制御部22は、ステップS104において記憶した顔の画像、およびユーザ情報を充電台12に転送する。また、制御部22は、転送中であることを示すメッセージをディスプレイ19に表示させる。転送の開始後にプロセスはステップS108に進む。 In step S107, the control unit 22 transfers the face image and user information stored in step S104 to the charging stand 12. Further, the control unit 22 causes the display 19 to display a message indicating that the transfer is in progress. After starting the transfer, the process proceeds to step S108.

ステップS108では、制御部22は、充電台12から転送完了の通知を取得したか否かを判別する。取得していない時、プロセスはステップS108を繰返す。取得している時、プロセスはステップS109に進む。 In step S108, the control unit 22 determines whether or not the transfer completion notification has been obtained from the charging stand 12. If not, the process repeats step S108. At the time of acquisition, the process proceeds to step S109.

ステップS109では、制御部22は、初期設定の完了を示すメッセージをディスプレイ19に表示させる。表示後、初期設定処理は終了する。 In step S109, the control unit 22 causes the display 19 to display a message indicating the completion of the initial setting. After the display, the initial setting process ends.

次に、本開示において充電台12の制御部32が実行する、発話等実行判別処理について、図5のフローチャートを用いて説明する。発話等実行判別処理は、周期的に開始する。 Next, the execution determination process such as utterance, which is executed by the control unit 32 of the charging stand 12 in the present disclosure, will be described with reference to the flowchart of FIG. Execution determination processing such as utterance starts periodically.

ステップS200において、制御部32は、携帯端末11の載置を載置センサ30が検出しているか否かを判別する。検出している時、プロセスはステップS201に進む。検出していない時、発話等実行判別処理は終了する。 In step S200, the control unit 32 determines whether or not the mounting sensor 30 has detected the mounting of the mobile terminal 11. When detecting, the process proceeds to step S201. When it is not detected, the execution determination process such as utterance ends.

ステップS201では、制御部32は、変動機構25および人感センサ29を駆動して、充電台12の周囲に人がいるか否かの検出を行う。変動機構25および人感センサ29を駆動させた後、プロセスはステップS202に進む。 In step S201, the control unit 32 drives the fluctuation mechanism 25 and the motion sensor 29 to detect whether or not there is a person around the charging stand 12. After driving the variation mechanism 25 and the motion sensor 29, the process proceeds to step S202.

ステップS202では、充電台12の周囲の人を人感センサ29が検出しているか否かを判別する。周囲の人を検出する時、プロセスはステップS203に進む。周囲の人を検出しない時、発話等実行判別処理は終了する。 In step S202, it is determined whether or not the motion sensor 29 has detected a person around the charging stand 12. When detecting a person around, the process proceeds to step S203. When the surrounding people are not detected, the execution determination process such as utterance ends.

ステップS203では、制御部32は、カメラ28に周辺光景を撮像させる。撮像後、プロセスはステップS204に進む。 In step S203, the control unit 32 causes the camera 28 to take an image of the peripheral scene. After imaging, the process proceeds to step S204.

ステップS204では、制御部32は、ステップS203において撮像により取得した画像内に含まれる人の顔を探索する。顔の探索後、プロセスはステップS205に進む。 In step S204, the control unit 32 searches for a human face included in the image acquired by imaging in step S203. After searching for the face, the process proceeds to step S205.

ステップS205では、制御部32は、ステップS204において探索した顔を、記憶部31に記憶した登録済みの顔の画像と比較することにより、撮像されたユーザを特定する。特定後、プロセスはステップS206に進む。 In step S205, the control unit 32 identifies the captured user by comparing the face searched in step S204 with the registered face image stored in the storage unit 31. After identification, the process proceeds to step S206.

ステップS206では、制御部32は、ステップS204において探索した顔の位置に基づいて、携帯端末11のディスプレイ19がステップS203において撮像されたユーザの顔の方向を向くように、変動機構25を駆動させる。変動機構25の駆動後、プロセスはステップS207に進む。 In step S206, the control unit 32 drives the fluctuation mechanism 25 so that the display 19 of the mobile terminal 11 faces the direction of the user's face imaged in step S203 based on the position of the face searched in step S204. .. After driving the variable mechanism 25, the process proceeds to step S207.

ステップS207では、制御部32は、発話処理および音声認識処理の少なくとも一方を開始させる指令を携帯端末11に通知する。携帯端末11に通知後、プロセスはステップS208に進む。 In step S207, the control unit 32 notifies the mobile terminal 11 of a command to start at least one of the utterance processing and the voice recognition processing. After notifying the mobile terminal 11, the process proceeds to step S208.

ステップS208では、制御部32は、ステップS205において特定したユーザを携帯端末11に通知する。通知後、プロセスはステップS209に進む。 In step S208, the control unit 32 notifies the mobile terminal 11 of the user specified in step S205. After the notification, the process proceeds to step S209.

ステップS209では、制御部32は、携帯端末11の離脱を載置センサ30が検出しているか否かを判別する。検出していない時、プロセスはステップS203に戻る。検出している時、プロセスはステップS210に進む。 In step S209, the control unit 32 determines whether or not the mounting sensor 30 has detected the detachment of the mobile terminal 11. If not detected, the process returns to step S203. If so, the process proceeds to step S210.

ステップS210では、制御部32は、発話処理および音声認識処理の少なくとも一方を終了させる指令を携帯端末11に通知する。携帯端末11に通知後、発話等実行判別処理は終了する。 In step S210, the control unit 32 notifies the mobile terminal 11 of a command to end at least one of the utterance processing and the voice recognition processing. After notifying the mobile terminal 11, the execution determination process such as utterance ends.

以上のような構成の本実施形態に係る充電台12は、携帯端末11が載置されている場合、携帯端末11に発話処理および音声認識処理の少なくとも一方を実行させている。このような構成により、充電台12は、単体で所定の機能を実行する携帯端末11とともにユーザとの対話相手になり得る。したがって、充電台12は、例えば、一人暮らしの高齢者の食事中の対話相手となり、高齢者の孤食を防ぎ得る。このように、充電台12は、従来の充電台に比べて、機能が改善されている。 When the mobile terminal 11 is mounted on the charging stand 12 according to the present embodiment having the above configuration, the mobile terminal 11 is made to execute at least one of the utterance processing and the voice recognition processing. With such a configuration, the charging stand 12 can be a dialogue partner with the user together with the mobile terminal 11 that performs a predetermined function by itself. Therefore, the charging stand 12 can be a dialogue partner during meals of the elderly living alone, and can prevent the elderly from eating alone. As described above, the charging stand 12 has improved functions as compared with the conventional charging stand.

また、本実施形態に係る充電台12は、携帯端末11が載置される時、携帯端末11に発話処理および音声認識処理の少なくとも一方の実行を開始させている。したがって、充電台12は、携帯端末11の載置により、煩雑な入力などを必要とすること無く、ユーザとの対話などを開始させ得る。 Further, the charging stand 12 according to the present embodiment causes the mobile terminal 11 to start executing at least one of the utterance processing and the voice recognition processing when the mobile terminal 11 is placed. Therefore, the charging stand 12 can start a dialogue with the user by mounting the mobile terminal 11 without requiring complicated input or the like.

また、本実施形態に係る充電台12は、携帯端末11が離脱する時、携帯端末11に発話処理及び音声認識処理の少なくとも一方の実行を終了させている。したがって、充電台12は、携帯端末11の離脱のみにより、煩雑な入力などを必要とすること無く、ユーザとの対話などを終了させ得る。 Further, the charging stand 12 according to the present embodiment ends the execution of at least one of the utterance processing and the voice recognition processing on the mobile terminal 11 when the mobile terminal 11 is detached. Therefore, the charging stand 12 can end the dialogue with the user by simply disconnecting the mobile terminal 11 without requiring complicated input or the like.

また、本実施形態に係る充電台12は、携帯端末11のディスプレイ19が発話処理および音声認識処理の少なくとも一方の実行対象のユーザの方向を向くように変動機構25を駆動する。したがって、充電台12は、ユーザとの対話時に、コミュニケーションシステム10を、実際に会話をする人のように、当該ユーザに認識させ得る。 Further, the charging stand 12 according to the present embodiment drives the variable mechanism 25 so that the display 19 of the mobile terminal 11 faces the user to be executed at least one of the utterance processing and the voice recognition processing. Therefore, the charging stand 12 can make the user recognize the communication system 10 at the time of dialogue with the user, like a person who actually has a conversation.

また、本実施形態に係る充電台12は、ユーザとの会話内容を、充電台12と通信する異なる携帯端末11間において共有させ得る。このような構成により、充電台12は、特定のユーザの会話内容を他のユーザに把握させ得る。したがって、充電台12は、会話内容を遠隔地にいる家族などと共有させ得、家族間のコミュニケーションを円滑化し得る。 Further, the charging stand 12 according to the present embodiment can share the content of the conversation with the user between different mobile terminals 11 that communicate with the charging stand 12. With such a configuration, the charging stand 12 can make another user grasp the conversation content of a specific user. Therefore, the charging stand 12 can share the conversation content with a family member in a remote place and facilitate communication between the family members.

また、本実施形態に係る充電台12は、特定の対象の状態を判断して異常状態である場合に携帯端末11のユーザに報知する。したがって、充電台12は、特定の対象を見守りし得る。 Further, the charging stand 12 according to the present embodiment determines the state of a specific target and notifies the user of the mobile terminal 11 when it is in an abnormal state. Therefore, the charging stand 12 can watch over a specific object.

また、本実施形態に係るコミュニケーションシステム10は、対話対象のユーザに対して、過去の会話内容、発した音声、および充電台12の設置された場所などに基づいて、発する言葉を決める。このような構成により、コミュニケーションシステム10は、対話中のユーザの現在の会話内容および過去の会話内容ならびに設置場所に合わせた会話を行い得る。 Further, the communication system 10 according to the present embodiment determines the words to be spoken to the user to be dialogued based on the past conversation contents, the voices emitted, the place where the charging stand 12 is installed, and the like. With such a configuration, the communication system 10 can have a conversation according to the current conversation content, the past conversation content, and the installation location of the user during the dialogue.

また、本実施形態に係るコミュニケーションシステム10は、特定のユーザの生活習慣などを学習して、ユーザへのアドバイスを出力する。このような構成により、コミュニケーションシステム10は、薬を飲むべき時の通知、当該ユーザの好みの食事の提案、当該ユーザの健康のための食事内容の提案、および当該ユーザが継続可能かつ効果的な運動の提案を行うことにより、ユーザの忘却し易いこと、ユーザに未知のことを認識させ得る。 Further, the communication system 10 according to the present embodiment learns the lifestyle of a specific user and outputs advice to the user. With such a configuration, the communication system 10 notifies the user when he / she should take a medicine, proposes a favorite meal of the user, proposes a meal content for the health of the user, and is sustainable and effective for the user. By proposing an exercise, it is possible to make the user aware that it is easy for the user to forget and that the user is unknown.

また、本実施形態に係るコミュニケーションシステム10は、現在位置に関連付けられた情報を報知する。このような構成により、コミュニケーションシステム10は、ユーザの居住地近辺に特化した地域情報をユーザに教示し得る。 Further, the communication system 10 according to the present embodiment notifies the information associated with the current position. With such a configuration, the communication system 10 can teach the user regional information specialized in the vicinity of the user's place of residence.

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。 Although the present invention has been described with reference to the drawings and examples, it should be noted that those skilled in the art can easily make various modifications and modifications based on the present disclosure. Therefore, it should be noted that these modifications and modifications are included in the scope of the present invention.

例えば、本実施形態において、携帯端末11の制御部22が、発話処理、音声認識処理、会話内容の学習、生活習慣の学習および当該生活習慣の学習に基づくアドバイス、ならびに現在位置に関連付けられた情報の報知を実行するが、これらを充電台12の制御部32が実行してもよい。充電台12の制御部32が実行する構成においては、ユーザとの対話において充電台12のマイク26、スピーカ27、およびカメラ28を駆動してもよいし、携帯端末11のマイク16、スピーカ17、およびカメラ18を通信部23、13を介して駆動してもよい。 For example, in the present embodiment, the control unit 22 of the mobile terminal 11 performs speech processing, voice recognition processing, learning of conversation content, learning of lifestyle habits, advice based on learning of the lifestyle habits, and information associated with the current position. However, the control unit 32 of the charging stand 12 may execute these notifications. In the configuration executed by the control unit 32 of the charging stand 12, the microphone 26, the speaker 27, and the camera 28 of the charging stand 12 may be driven in the dialogue with the user, or the microphone 16 and the speaker 17 of the mobile terminal 11 may be driven. And the camera 18 may be driven via the communication units 23 and 13.

また、本実施形態において、充電台12の制御部32が、発話処理および音声認識処理の少なくとも一方の実行の可否を判別するが、判別を携帯端末11の制御部22に実行させてもよい。 Further, in the present embodiment, the control unit 32 of the charging stand 12 determines whether or not at least one of the utterance processing and the voice recognition processing can be executed, but the control unit 22 of the mobile terminal 11 may execute the determination.

また、本実施形態において、上記変形例を組合わせて、充電台12の制御部32が発話処理、音声認識処理、会話内容の学習、生活習慣の学習および当該生活習慣の学習に基づくアドバイス、ならびに現在位置に関連付けられた情報の報知を実行し、かつ携帯端末11の制御部22が発話処理および音声認識処理の少なくとも一方の実行の可否を判別してもよい。 Further, in the present embodiment, in combination with the above modified example, the control unit 32 of the charging stand 12 provides utterance processing, voice recognition processing, conversation content learning, lifestyle learning, and advice based on the lifestyle learning. The information associated with the current position may be notified, and the control unit 22 of the mobile terminal 11 may determine whether or not at least one of the utterance processing and the voice recognition processing can be executed.

また、本実施形態において、携帯端末11の制御部22が、登録処理を実行するが、充電台12の制御部32が実行してもよい。 Further, in the present embodiment, the control unit 22 of the mobile terminal 11 executes the registration process, but the control unit 32 of the charging stand 12 may execute the registration process.

10 コミュニケーションシステム
11 携帯端末
12 充電台
13 通信部
14 受電部
15 バッテリ
16 マイク
17 スピーカ
18 カメラ
19 ディスプレイ
20 入力部
21 記憶部
22 制御部
23 通信部
24 給電部
25 変動機構
26 マイク
27 スピーカ
28 カメラ
29 人感センサ
30 載置センサ
31 記憶部
32 制御部
10 Communication system 11 Mobile terminal 12 Charging stand 13 Communication unit 14 Power receiving unit 15 Battery 16 Microphone 17 Speaker 18 Camera 19 Display 20 Input unit 21 Storage unit 22 Control unit 23 Communication unit 24 Power supply unit 25 Fluctuation mechanism 26 Microphone 27 Speaker 28 Camera 29 Motion sensor 30 Mounted sensor 31 Storage unit 32 Control unit

Claims (10)

携帯端末が載置されている場合、前記携帯端末が初期設定処理で取得したユーザ情報及び画像を取得して、前記携帯端末に発話処理および音声認識処理の少なくとも一方を実行させる制御部と、前記携帯端末の向きを変動させる変動機構と、を備え
前記制御部は、充電台の周囲に人がいることを検出する場合に、前記画像と前記充電台が撮像により取得した画像とを比較することにより、前記発話処理および前記音声認識処理の少なくとも一方の実行対象のユーザと前記ユーザの方向を特定し、
前記携帯端末に前記発話処理および前記音声認識処理の少なくとも一方を実行させる前に、前記携帯端末が有するディスプレイが、前記ユーザの方向を向くように、前記変動機構を駆動し、
前記携帯端末に前記発話処理および前記音声認識処理の少なくとも一方を実行させる、充電台。
When the mobile terminal is mounted, the control unit that acquires the user information and the image acquired by the mobile terminal in the initial setting process and causes the mobile terminal to execute at least one of the utterance process and the voice recognition process, and the above. Equipped with a variable mechanism that changes the orientation of the mobile terminal ,
When the control unit detects that there is a person around the charging stand, the control unit compares the image with the image acquired by the charging stand by imaging, and thereby at least one of the utterance processing and the voice recognition processing. Specify the user to be executed and the direction of the user,
Before causing the mobile terminal to perform at least one of the utterance processing and the voice recognition processing, the variable mechanism is driven so that the display of the mobile terminal faces the user.
A charging stand that causes the mobile terminal to perform at least one of the utterance processing and the voice recognition processing.
請求項1に記載の充電台において、
前記制御部は、前記携帯端末が載置される時、前記携帯端末に前記発話処理および前記音声認識処理の少なくとも一方の実行を開始させる
充電台。
In the charging stand according to claim 1,
The control unit is a charging stand that causes the mobile terminal to start executing at least one of the utterance processing and the voice recognition processing when the mobile terminal is mounted.
請求項1または2に記載の充電台において、
前記制御部は、前記携帯端末が離脱する時、前記携帯端末に前記発話処理および前記音声認識処理の少なくとも一方の実行を終了させる
充電台。
In the charging stand according to claim 1 or 2.
The control unit is a charging stand that causes the mobile terminal to terminate at least one of the utterance processing and the voice recognition processing when the mobile terminal is detached.
携帯端末が載置されている場合、前記携帯端末が初期設定処理で取得したユーザ情報及び画像を取得して、発話処理および音声認識処理の少なくとも一方を実行する制御部と、前記携帯端末の向きを変動させる変動機構と、を備え
前記制御部は、充電台の周囲に人がいることを検出する場合に、前記画像と前記充電台が撮像により取得した画像とを比較することにより、前記発話処理および前記音声認識処理の少なくとも一方の実行対象のユーザと前記ユーザの方向を特定し、
前記発話処理および前記音声認識処理の少なくとも一方を実行する前に、前記携帯端末が有するディスプレイが、前記ユーザの方向を向くように、前記変動機構を駆動し、
前記発話処理および前記音声認識処理の少なくとも一方を実行する、充電台。
When the mobile terminal is mounted, the orientation of the mobile terminal and the control unit that acquires the user information and the image acquired by the mobile terminal in the initial setting process and executes at least one of the utterance process and the voice recognition process. With a variable mechanism that fluctuates ,
When the control unit detects that there is a person around the charging stand, the control unit compares the image with the image acquired by the charging stand by imaging, and thereby at least one of the utterance processing and the voice recognition processing. Specify the user to be executed and the direction of the user,
Before executing at least one of the utterance processing and the voice recognition processing, the variable mechanism is driven so that the display of the mobile terminal faces the user.
A charging stand that executes at least one of the utterance processing and the voice recognition processing.
請求項4に記載の充電台において、
前記制御部は、前記携帯端末が載置される時、前記発話処理および前記音声認識処理の少なくとも一方の実行を開始する
充電台。
In the charging stand according to claim 4,
The control unit is a charging stand that starts executing at least one of the utterance processing and the voice recognition processing when the mobile terminal is mounted.
請求項4または5に記載の充電台において、
前記制御部は、前記携帯端末が離脱する時、前記発話処理および前記音声認識処理の少なくとも一方の実行を終了する
充電台。
In the charging stand according to claim 4 or 5.
The control unit is a charging stand that ends execution of at least one of the utterance processing and the voice recognition processing when the mobile terminal is detached.
携帯端末と、前記携帯端末を載置可能な充電台と、を備え、前記携帯端末を前記充電台に載置している場合、前記携帯端末が初期設定処理で取得したユーザ情報及び画像を前記充電台が取得して、
前記充電台の周囲に人がいることを検出する場合に、前記画像と前記充電台が撮像により取得した画像とを比較することにより、発話処理および音声認識処理の少なくとも一方の実行対象のユーザと前記ユーザの方向を特定し、
前記携帯端末および前記充電台のいずれかにおいて、前記発話処理および前記音声認識処理の少なくとも一方を実行する前に、前記携帯端末が有するディスプレイが、前記ユーザの方向を向くように、前記充電台の変動機構を駆動し、
前記携帯端末および前記充電台のいずれかにおいて、前記発話処理および前記音声認識処理の少なくとも一方を実行するコミュニケーションシステム。
When the mobile terminal is provided with a mobile terminal and a charging stand on which the mobile terminal can be mounted, and the mobile terminal is mounted on the charging stand, the user information and images acquired by the mobile terminal in the initial setting process are used. The charging stand gets,
When it is detected that there is a person around the charging stand, the image is compared with the image acquired by the charging stand to be used with a user to be executed at least one of the speech processing and the voice recognition processing. Identify the direction of the user and
Before performing at least one of the utterance processing and the voice recognition processing in either the mobile terminal or the charging stand, the charging stand has a display so that the display of the mobile terminal faces the user. Drive the fluctuation mechanism,
Wherein in either the mobile terminal and the charger, a communication system for performing at least one of the speech processing and the speech recognition process.
携帯端末が充電台に載置されていることを判断するステップと、前記携帯端末が充電台に載置されている場合に、前記携帯端末が初期設定処理で取得したユーザ情報及び画像を前記充電台が取得するステップと、
前記充電台の周囲に人がいることを検出する場合に、前記画像と前記充電台が撮像により取得した画像とを比較することにより、発話処理および音声認識処理の少なくとも一方の実行対象のユーザと前記ユーザの方向を特定するステップと、
前記携帯端末および前記充電台のいずれかにおいて、前記発話処理および前記音声認識処理の少なくとも一方を実行する前に、前記携帯端末が有するディスプレイが、前記ユーザの方向を向くように、変動機構を駆動するステップと、
前記携帯端末および前記充電台のいずれかに、前記発話処理および前記音声認識処理の少なくとも一方を実行させるステップと、を備える方法。
The step of determining that the mobile terminal is mounted on the charging stand, and when the mobile terminal is mounted on the charging stand, the user information and the image acquired by the mobile terminal in the initial setting process are charged. The steps that the platform gets and
When it is detected that there is a person around the charging stand, the image is compared with the image acquired by the charging stand to be used with a user to be executed at least one of the speech processing and the voice recognition processing. The step of specifying the direction of the user and
Before executing at least one of the utterance processing and the voice recognition processing in either the mobile terminal or the charging stand, the variable mechanism is driven so that the display of the mobile terminal faces the user. Steps to do and
Wherein any mobile terminal and the charger, the method comprising the steps of executing at least one of the speech processing and the speech recognition process.
携帯端末が載置されている場合、前記携帯端末が初期設定処理で取得したユーザ情報及び画像を取得する処理と、充電台の周囲に人がいることを検出する場合に、前記画像と前記充電台が撮像により取得した画像とを比較することにより、発話処理および音声認識処理の少なくとも一方の実行対象のユーザと前記ユーザの方向を特定する処理と、
前記携帯端末に前記発話処理および前記音声認識処理の少なくとも一方を実行させる前に、前記携帯端末が有するディスプレイが、前記ユーザの方向を向くように、変動機構を駆動する処理と、前記携帯端末に前記発話処理および前記音声認識処理の少なくとも一方を実行させるように充電台を機能させるプログラム。
When the mobile terminal is mounted, the image and the charging are performed when the mobile terminal acquires the user information and the image acquired in the initial setting process and when it detects that there is a person around the charging stand. A process of specifying the direction of the user to be executed at least one of the utterance process and the voice recognition process and the user by comparing with the image acquired by the table by imaging, and the process of specifying the direction of the user.
Before causing the mobile terminal to perform at least one of the utterance processing and the voice recognition processing, a process of driving a fluctuation mechanism so that the display of the mobile terminal faces the user, and a process of driving the mobile terminal to the mobile terminal. a program that causes a charging stand so as to perform at least one of the speech processing and the speech recognition process.
携帯端末が載置されている場合、前記携帯端末が初期設定処理で取得したユーザ情報及び画像を取得する処理と、充電台の周囲に人がいることを検出する場合に、前記画像と前記充電台が撮像により取得した画像とを比較することにより、発話処理および音声認識処理の少なくとも一方の実行対象のユーザと前記ユーザの方向を特定する処理と、前記充電台に前記発話処理および前記音声認識処理の少なくとも一方を実行させる前に、前記携帯端末が有するディスプレイが、前記ユーザの方向を向くように、変動機構を駆動する処理と、前記発話処理および前記音声認識処理の少なくとも一方を充電台に実行させるプログラム。 When the mobile terminal is mounted, the image and the charging are performed when the mobile terminal acquires the user information and the image acquired in the initial setting process and when it detects that there is a person around the charging stand. A process of specifying the direction of the user and the user to be executed at least one of the utterance processing and the voice recognition processing by comparing with the image acquired by the table, and the utterance processing and the voice recognition on the charging stand. prior to performing at least one of the processing, display the mobile terminal has is, to face the direction of the user, the process drives the variation mechanism, the charging stand at least one of the speech processing and the speech recognition process The program to be executed.
JP2017142958A 2017-07-24 2017-07-24 Charging stand, communication system, methods and programs Active JP6974058B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017142958A JP6974058B2 (en) 2017-07-24 2017-07-24 Charging stand, communication system, methods and programs
US16/634,120 US11380319B2 (en) 2017-07-24 2018-07-04 Charging stand, mobile terminal, communication system, method, and program
PCT/JP2018/025391 WO2019021771A1 (en) 2017-07-24 2018-07-04 Charging stand, mobile terminal, communication system, method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017142958A JP6974058B2 (en) 2017-07-24 2017-07-24 Charging stand, communication system, methods and programs

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020206110A Division JP2021064947A (en) 2020-12-11 2020-12-11 Portable terminal and program

Publications (2)

Publication Number Publication Date
JP2019024173A JP2019024173A (en) 2019-02-14
JP6974058B2 true JP6974058B2 (en) 2021-12-01

Family

ID=65368638

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017142958A Active JP6974058B2 (en) 2017-07-24 2017-07-24 Charging stand, communication system, methods and programs

Country Status (1)

Country Link
JP (1) JP6974058B2 (en)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3884902B2 (en) * 2000-08-09 2007-02-21 株式会社日立製作所 Mobile terminal device
JP2002368858A (en) * 2001-06-05 2002-12-20 Matsushita Electric Ind Co Ltd Charger for mobile phones
JP4353021B2 (en) * 2004-07-23 2009-10-28 日本電気株式会社 Charging stand and event occurrence notification method
JP2006340175A (en) * 2005-06-03 2006-12-14 Yamaha Corp Mobile phone, mobile phone program, and semiconductor device
JP4633555B2 (en) * 2005-06-27 2011-02-16 シャープ株式会社 Security system, control program, computer-readable recording medium, electronic device, cradle
JP4313792B2 (en) * 2005-08-11 2009-08-12 株式会社カシオ日立モバイルコミュニケーションズ Mobile communication terminal and program
JP2007069302A (en) * 2005-09-07 2007-03-22 Hitachi Ltd Action expressing device
JP2007110335A (en) * 2005-10-12 2007-04-26 Advanced Telecommunication Research Institute International Robot system
JP5949372B2 (en) * 2012-09-19 2016-07-06 株式会社ナカヨ Information input device and portable terminal
JP2014164438A (en) * 2013-02-22 2014-09-08 Elecom Co Ltd Content reproduction program
JP2015191448A (en) * 2014-03-28 2015-11-02 パナソニックIpマネジメント株式会社 Terminal apparatus and voice operation control method in terminal apparatus
JP2016110654A (en) * 2014-12-08 2016-06-20 日本圧着端子製造株式会社 Charger for portable apparatus, and portable apparatus

Also Published As

Publication number Publication date
JP2019024173A (en) 2019-02-14

Similar Documents

Publication Publication Date Title
JP7103769B2 (en) Electronic devices, mobile terminals, communication systems, watching methods, and programs
CN110826358B (en) Animal emotion recognition method and device and storage medium
CN104333654B (en) Dangerous based reminding method and device and portable electric appts
KR20180136776A (en) Mobile terminal and method for controlling the same
IL260885B (en) Apparatus and method for sending reminders to a user
CN104685960A (en) System for and method of transmitting communication information
US11380319B2 (en) Charging stand, mobile terminal, communication system, method, and program
WO2019035359A1 (en) Interactive electronic apparatus, communication system, method, and program
WO2020221024A1 (en) Information reminding method, mobile terminal and computer readable storage medium
TW201521415A (en) Communication device and incoming call management method thereof
US9813546B2 (en) Electronic apparatus and method for controlling electronic apparatus
JP6974058B2 (en) Charging stand, communication system, methods and programs
JP2010226541A (en) Reception apparatus, visitor reception method, and visitor reception control program
JP2021064947A (en) Portable terminal and program
JP6974073B2 (en) Electronics, charging stands, communication systems, methods, and programs
JP6971088B2 (en) Interactive electronics, communication systems, methods, and programs
US11561760B2 (en) Electronic device and method of controlling thereof
JP6942557B2 (en) Interactive electronics, communication systems, methods, and programs
JP6883485B2 (en) Mobile devices and programs
KR20170096499A (en) Mobile terminal and method for controlling the same
JP6883487B2 (en) Charging stand, communication system and program
KR101298482B1 (en) Context-aware video phone service robot
JP2019140655A (en) Doorbell
JP2021061636A (en) Portable terminal and method
JP2012085072A (en) Intercom device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200312

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201013

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210119

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210317

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210413

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210709

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210709

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210720

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210727

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211012

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211104

R150 Certificate of patent or registration of utility model

Ref document number: 6974058

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150