JP7073640B2 - 電子機器、感情情報取得システム、プログラム及び感情情報取得方法 - Google Patents

電子機器、感情情報取得システム、プログラム及び感情情報取得方法 Download PDF

Info

Publication number
JP7073640B2
JP7073640B2 JP2017123200A JP2017123200A JP7073640B2 JP 7073640 B2 JP7073640 B2 JP 7073640B2 JP 2017123200 A JP2017123200 A JP 2017123200A JP 2017123200 A JP2017123200 A JP 2017123200A JP 7073640 B2 JP7073640 B2 JP 7073640B2
Authority
JP
Japan
Prior art keywords
information
user
voice
acquired
acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017123200A
Other languages
English (en)
Other versions
JP2019008113A5 (ja
JP2019008113A (ja
Inventor
敬一 野村
智也 櫻井
英男 鈴木
剛 南
修平 内田
繁樹 北村
公靖 水野
尚史 末永
宗隆 瀬尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2017123200A priority Critical patent/JP7073640B2/ja
Priority to US16/015,016 priority patent/US10580433B2/en
Priority to CN201810649657.9A priority patent/CN109147824A/zh
Publication of JP2019008113A publication Critical patent/JP2019008113A/ja
Publication of JP2019008113A5 publication Critical patent/JP2019008113A5/ja
Application granted granted Critical
Publication of JP7073640B2 publication Critical patent/JP7073640B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72433—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for voice messaging, e.g. dictaphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72451—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to schedules, e.g. using calendar applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops

Description

本発明は、電子機器、感情情報取得システム、プログラム及び感情情報取得方法に関する。
従来、ユーザにより入力された音声を解析して当該ユーザの感情を認識し、認識された感情を活用する種々の製品、サービス等が提供されている。
例えば、音声入力手段を介して入力された音声情報等に基づいて、インターネットを経由して提供されるサービスに満足しているか否かや、ユーザが厳しい性格なのか温和な性格なのか等を示す感情情報を取得する技術が提供されている（例えば、特許文献１参照）。
特開平９－２９２９６４号公報
ところで、音声入力手段から入力されて取得された音声情報には、感情情報の取得に適さない音声が含まれる場合があり、取得された全ての音声情報から感情情報を取得すると、その感情情報は必ずしもユーザの感情を正確に示していない場合があった。
そこで、本発明は、より正確な感情情報を取得できる電子機器、感情情報取得システム、プログラム及び感情情報取得方法を提供することを目的としている。
以上の課題を解決するため、請求項１に記載の発明の電子機器は、ユーザの音声を入力して音声情報に変換する音声入力手段と、前記音声入力手段により変換された音声情報に基づき感情情報を取得する第１取得手段と、所定期間ごとにユーザに関する情報を取得する第２取得手段と、を備え、前記第１取得手段は、前記第２取得手段により取得されたユーザに関する情報が、過去に取得されたユーザに関する情報と異なると判定された場合に、前記感情情報を新たに取得することを特徴とする。
請求項４に記載の発明の電子機器は、ユーザの音声を入力して音声情報に変換する音声入力手段と、前記音声入力手段により変換された音声情報に基づき感情情報を取得する第１取得手段と、ユーザに関する情報又は環境情報を取得する第２取得手段と、を備え、前記第１取得手段は、前記第２取得手段により取得されたユーザに関する情報又は環境情報に基づき決定される所定のタイミング、当該タイミングよりも所定時間前、及び当該タイミングよりも所定時間後の各音声情報からそれぞれ感情情報を取得し、取得された各感情情報に基づき総合的な感情情報を取得することを特徴とする。
本発明によれば、より正確な感情情報を取得できる電子機器、感情情報取得システム、プログラム及び感情情報取得方法を提供することができる。
本実施形態の感情情報取得システムを示す概略構成図である。 スマートウォッチの機能構成を示すブロック図である。 スマートフォンの機能構成を示すブロック図である。 本実施形態に係る感情情報取得処理の一例を示すフローチャートである。 変形例に係る感情情報取得処理の一例を示すフローチャートである。
以下に、本発明を実施するための形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、発明の範囲を以下の実施形態及び図示例に限定するものではない。
《感情情報取得システム１００の構成》
まず、図１を参照して、本実施形態の構成を説明する。図１は、本実施形態の感情情報取得システム１００の概略構成図である。
本実施形態の感情情報取得システム１００は、ユーザに関する情報又は環境情報に基づき決定される所定のタイミングの音声情報から感情情報を取得するシステムである。
図１に示すように、感情情報取得システム１００は、スマートウォッチ（電子機器）１と、スマートフォン２と、を備えて構成され、各装置が通信接続される。なお、本実施形態においては、スマートフォン２を備えて構成されているものとしたがこれに限られるものではない。すなわち、スマートフォン２に代えて、又はスマートフォン２に加えて、例えばタブレット端末、ナビゲーション端末、ＰＣ（personal computer）等の端末装置や、サーバ装置等を備えて構成されているものとしても良いし、スマートフォン２を備えていなくても良い。
《スマートウォッチ１の構成》
次いで、スマートウォッチ１の内部構成を説明する。図２に、スマートウォッチ１の内部構成を示す。
図２に示すように、スマートウォッチ１は、ＣＰＵ（Central Processing Unit）１０１と、操作入力部１０２と、ＲＡＭ（Random Access Memory）１０３と、表示部１０４と、記憶部１０５と、通信部１０６と、計時部１０７と、衛星電波受信モジュール１０８と、出力部１０９と、音声入力部（音声入力手段）１１０と、計測部１１１と、を備えて構成され、各部がバス１１２を介して接続されている。
ＣＰＵ１０１は、記憶部１０５に記憶されているシステムプログラムを読み出し、ＲＡＭ１０３のワークエリアに展開し、当該システムプログラムに従って各部を制御する。また、ＣＰＵ１０１は、記憶部１０５に記憶されている処理プログラムを読み出してワークエリアに展開し、後述する感情情報取得処理を始めとする各種処理を実行し、第１取得手段、第２取得手段、音声入力制御手段及び報知手段として機能する。また、ＣＰＵ１０１は、ユーザによるランニング、サイクリング、スイミング、トレッキング、フィッシング、スキー・スノーボード、サーフィン等のアクティビティ時や日常生活における各種のデータを記録して分析するためのアプリケーションを実行可能に構成されている。
操作入力部１０２は、押しボタンスイッチ１０２ａ～１０２ｃや、表示部１０４上に設けられるタッチセンサ等を有して構成され、ユーザの入力操作を受け付けて、操作内容を電気信号に変換してＣＰＵ１０１に出力する。
ＲＡＭ１０３は、揮発性のメモリーである。また、ＲＡＭ１０３は、実行される各種プログラムやこれら各種プログラムに係るデータ等を格納するワークエリアを有する。
表示部１０４は、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）等で構成され、ＣＰＵ１０１からの表示制御信号に従って画面表示を行う。上記したように、表示部１０４の表示画面上にはタッチセンサが設けられている。
記憶部１０５は、磁気記録媒体を有するＨＤＤ（Hard Disk Drive）等により構成される。記憶部１０５には、ＣＰＵ１０１で実行されるシステムプログラムや処理プログラム、Ｗｅｂサーバプログラム等のアプリケーションプログラム、これらのプログラムの実行に必要なデータ等が記憶されている。処理プログラムには、後述する感情情報取得処理を始めとする各種処理を実行するためのプログラムが含まれる。
これらのプログラムは、コンピュータ読み取り可能なプログラムコードの形態で記憶部１０５に格納されている。ＣＰＵ１０１は、当該プログラムコードに従った動作を逐次実行する。
また、記憶部１０５は、ユーザにより入力される各種データや、スマートフォン２から送信される各種データを記憶する。例えば、記憶部１０５は、取得された音声情報や感情情報等を記憶することが可能に構成されている。
通信部１０６は、所定の無線通信回線（例えば、Bluetooth（登録商標）等の無線ＰＡＮ（Personal Area Network））を介して接続されたスマートフォン等の携帯装置や、ＰＣ等の外部機器との情報の通信制御を行う。そして、通信部１０６は、例えば、あらかじめペアリングと呼ばれる通信設定処理を行うことで、互いのデバイス情報や認証鍵のデータを無線信号により通信相手と交換する。これにより、その後、通信設定処理を毎回行わなくとも、例えば、スマートウォッチ１とスマートフォン２とが電波が届かない範囲に離れれば通信接続が解除される一方で、電波が届く範囲に近づけば自動的に通信接続される。
計時部１０７は、例えば、タイマや計時回路等を備えて構成され、現在の時刻を計時して時刻情報を取得する。そして、計時部１０７は、取得した時刻情報をＣＰＵ１０１に出力する。
衛星電波受信モジュール１０８は、図示略のアンテナを有し、ＧＰＳ（Global Positioning System）を始めとする測位システムに係る測位衛星からの電波を捕捉、受信して復調し、取得した現在位置情報や時刻情報をＣＰＵ１０１に出力する。衛星電波受信モジュール１０８は、スマートウォッチ１全体の電源操作とは別に、ユーザの操作に基づき個別に電源供給をオンオフする制御が可能となっている。
出力部１０９は、振動を発する振動モータやスピーカ等を有して構成され、ＣＰＵ１１から送られる信号に基づいて振動や音声を出力する。
音声入力部１１０は、マイク等により構成され、ユーザにより入力された音声を電気信号からなる音声情報に変換してＣＰＵ１０１に出力する。
計測部１１１は、各種センサを有し、所定の計測結果を得る。計測部１１１としては、特には限られないが、例えば、各種センサから出力された信号をＣＰＵ１０１に出力することで、例えば、気温、湿度、気圧、高度、方位、歩数、脈拍数等を取得することができる。また、計測部１１１は、スマートウォッチ１に対して瞬間的に生じる加速度等を検出して、これをＣＰＵ１０１に出力することで、ユーザに強い衝撃があったことを検出するものとしても良い。
《スマートフォン２の構成》
次いで、スマートフォン２の内部構成を説明する。図３に、スマートフォン２の内部構成を示す。
図３に示すように、スマートフォン２は、ＣＰＵ２０１と、操作入力部２０２と、ＲＡＭ２０３と、表示部２０４と、記憶部２０５と、通信部２０６と、計時部２０７と、衛星電波受信モジュール２０８と、出力部２０９と、を備えて構成され、各部がバス２１０を介して接続されている。
ＣＰＵ２０１、操作入力部２０２、ＲＡＭ２０３、表示部２０４、記憶部２０５、通信部２０６、計時部２０７、衛星電波受信モジュール２０８及び出力部２０９は、それぞれ、スマートウォッチ１のＣＰＵ１０１、操作入力部１０２、ＲＡＭ１０３、表示部１０４、記憶部１０５、通信部１０６、計時部１０７、衛星電波受信モジュール１０８及び出力部１０９の構成と同様であり、異なる部分を主として説明する。
ＣＰＵ２０１は、記憶部２０５に記憶されているシステムプログラムを読み出し、ＲＡＭ２０３のワークエリアに展開し、当該システムプログラムに従って各部を制御する。また、ＣＰＵ２０１は、記憶部２０５に記憶されている処理プログラムを読み出してワークエリアに展開し、各種処理を実行する。
記憶部２０５は、磁気記録媒体を有するＨＤＤ等により構成される。記憶部２０５には、ＣＰＵ２０１で実行されるシステムプログラムや処理プログラム、Ｗｅｂブラウザ等のアプリケーションプログラム、これらのプログラムの実行に必要なデータ等が記憶されている。当該処理プログラムには、各種処理を実行するためのプログラムが含まれる。
通信部２０６は、ペアリングされたスマートウォッチ１や、通信ネットワーク上のサーバ装置（図示略）等の外部機器と通信を行い、データを送受信する。
《スマートウォッチ１の動作》
本実施形態のスマートウォッチ１により行われる感情情報取得処理について、図４を参照して説明する。図４は、本実施形態に係る感情情報取得処理の一例を示すフローチャートである。
本実施形態の感情情報取得処理が行われるタイミングは、特に限定されるものではないが、例えば、アクティビティ時の各種データを記録及び分析するアクティビティ用アプリケーションの実行中に併せて行われ、当該アクティビティ用アプリケーションの終了とともに終了する。
図４に示すように、まず、ＣＰＵ１０１は、衛星電波受信モジュール１０８又は計測部１１１により取得される情報に基づき、ユーザに関する情報及び環境情報を取得する（ステップＳ１０１）。ここで、ユーザに関する情報としては、ユーザごとに異なる情報であって、例えば、移動距離、移動速度、歩数、脈拍数、経過時間、衝撃の有無、あらかじめユーザにより入力された情報、これらに基づき導出される各種情報等が含まれる。導出される各種情報としては、例えばカロリー消費量等が挙げられ、カロリー消費量は、ユーザによりあらかじめ入力された自身の体重、ユーザにより選択された運動の種類、当該運動の開始時からの経過時間等に基づいて算出される。また、環境情報としては、ユーザごとに異なることのない外部環境に基づく情報であって、例えば、現在時刻、気温、湿度、気圧、高度、方位、潮汐、これらに基づき導出される各種情報等が含まれる。
次に、ＣＰＵ１０１は、ステップＳ１０１の処理にて取得された環境情報が、あらかじめ設定された条件を満たすか否かを判定する（ステップＳ１０２）。当該所定の条件は、実行中の上記アクティビティ用アプリケーションの種類に応じてあらかじめ設定され、例えば、気温、湿度又は気圧があらかじめ設定された値以上であること、あらかじめ設定された特定の状態へ移行したこと、等が挙げられる。特定の状態への移行としては、例えば、フィッシングにおいて潮汐等の情報に基づき導出される釣れ時に移行したこと、当該釣れ時が終了したこと、等が挙げられる。
環境情報が所定の条件を満たすと判定されると（ステップＳ１０２：ＹＥＳ）、ＣＰＵ１０１は、後述するステップＳ１０４の処理を行う。
環境情報が所定の条件を満たさないと判定されると（ステップＳ１０２；ＮＯ）、ＣＰＵ１０１は、ステップＳ１０１の処理にて取得されたユーザに関する情報が、あらかじめ設定された目標を達成したか否かを判定する（ステップＳ１０３）。当該目標は、実行中の上記アクティビティ用アプリケーションの種類に応じてあらかじめ設定され、例えば、ユーザの移動距離があらかじめ設定された距離以上であること、ユーザの歩数があらかじめ設定された歩数以上であること、ユーザのカロリー消費量があらかじめ設定された値以上であること、経過時間があらかじめ設定された時間以上であること、ユーザの現在位置があらかじめ設定された地点に到達したこと、ユーザの現在位置があらかじめ設定された地点を中心として所定距離範囲内に進入したこと、あらかじめ設定された特定の行動が終了したこと、あらかじめ設定された特定の状態へ移行したこと、等が挙げられる。特定の行動の終了としては、例えば、あらかじめ設定された競技、レース又はトレーニングの終了、スキー・スノーボードにおける滑走終了、等が挙げられる。また、特定の状態への移行としては、例えば、あらかじめ設定された競技、レース又はトレーニングの開始、フィッシングにおいてあらかじめ設定された釣果の達成、スキー・スノーボードにおける滑走開始、等が挙げられる。上記目標は、あらかじめユーザの操作入力により設定されたものであっても良いし、ＣＰＵ１０１により設定されたものであっても良い。
ユーザに関する情報が目標を達成したと判定されると（ステップＳ１０３；ＹＥＳ）、ＣＰＵ１０１は、ユーザに対して音声入力部１１０への音声入力を促す報知を行うとともに、音声入力部１１０をオンに設定する（ステップＳ１０４）。例えば、ＣＰＵ１０１は、音声入力を促す画面を表示部１０４に表示させたり、音声入力を促す振動や音声を出力部１０９に出力させたりすることにより報知を行う。表示部１０４に表示させる画面としては、ユーザが話しかけたくなるような画像やアイコンが表示されていても良く、例えば、ユーザが好むキャラクターや動物、ユーザの家族の画像等が表示されていても良い。また、ＣＰＵ１０１は、音声入力部１１０をオンに設定することで、音声情報の取得を開始するので、ユーザに関する情報又は環境情報が所定の条件を満たしたと判定されたタイミングに応じて音声情報を取得することができる。これにより、ユーザの感情の変化が起きやすいタイミングで音声情報を取得することができ、より正確な感情情報を取得することができる。また、取得される音声情報に、感情情報の取得に適さない音声が含まれることを抑制できるので、音声情報の解析負荷を低減することができる。
次に、ＣＰＵ１０１は、所定時間が経過したか否かを判定する（ステップＳ１０５）。具体的には、ＣＰＵ１０１は、ステップＳ１０４の処理にてユーザへの報知を行った時からの経過時間を計時部１０７によりカウントし、当該経過時間があらかじめ設定された所定時間を超えたか否かを判定する。
所定時間が経過していないと判定されると（ステップＳ１０５；ＮＯ）、ＣＰＵ１０１は、再びステップＳ１０５の処理を行う。
所定時間が経過したと判定されると（ステップＳ１０５；ＹＥＳ）、ＣＰＵ１０１は、音声入力部１１０をオフに設定する（ステップＳ１０６）。これにより、ＣＰＵ１０１は、音声入力部１１０をオンに設定した時からオフに設定した時までの音声情報を取得する。
次に、ＣＰＵ１０１は、ユーザによる音声入力があったか否かを判定する（ステップＳ１０７）。具体的には、ＣＰＵ１０１は、取得された音声情報を解析し、ユーザの音声が含まれているか否かを判定する。
音声入力があったと判定されると（ステップＳ１０７；ＹＥＳ）、ＣＰＵ１０１は、音声情報から感情情報を取得する（ステップＳ１０８）。感情情報の取得方法としては従来公知の技術を採用することができ、これによりＣＰＵ１０１は、ユーザにより入力された音声に基づく音声情報を解析して、当該ユーザの感情を示す感情情報を取得する。本実施形態では、感情情報は、音声を入力したユーザの感情が、「苦しみ・怒り」、「不安」、「安定」及び「喜び」のいずれかの状態であること示す。ＣＰＵ１０１は、取得された感情情報を記憶部１０５に記憶させた後、再び上記ステップＳ１０１の処理を行う。
音声入力がないと判定されると（ステップＳ１０７；ＮＯ）、ＣＰＵ１０１は、再び上記ステップＳ１０１の処理を行う。
ここで、上記ステップＳ１０３の処理にて、ユーザに関する情報が目標を達成していないと判定されると（ステップＳ１０３；ＮＯ）、ＣＰＵ１０１は、ステップＳ１０１の処理にて取得されたユーザに関する情報に基づき、ユーザに異常が発生したか否かを判定する（ステップＳ１０９）。例えば、計測部１１１によりユーザに強い衝撃があったことが検出された場合に、ＣＰＵ１０１はユーザに異常が発生したと判定する。
ユーザに異常が発生していないと判定されると（ステップＳ１０９；ＮＯ）、ＣＰＵ１０１は、再びステップＳ１０１の処理を行う。
ユーザに異常が発生したと判定されたと判定されると（ステップＳ１０９；ＹＥＳ）、ＣＰＵ１０１は、ステップＳ１１０～Ｓ１１３の処理を行う。ステップＳ１１０～Ｓ１１３の処理は、上記ステップＳ１０４～Ｓ１０７の処理と同様であるため、その説明を省略する。
ステップＳ１１３の処理にて、音声入力があったと判定されると（ステップＳ１１３；ＹＥＳ）、ＣＰＵ１０１は、上記ステップＳ１０８の処理を行う。
ステップＳ１１３の処理にて、音声入力がないと判定されると、ＣＰＵ１０１は、ユーザに関する情報に基づく所定情報を外部装置へ送信する（ステップＳ１１４）。これは、ユーザに異常が発生したと判定された場合であって音声入力がない場合には、ユーザに発生した異常が声を発することができない程度であることが予想されるため、ＣＰＵ１０１が上記所定情報としてユーザの現在位置や移動ルート、脈拍数等を外部装置へ送信することで、外部へユーザの救助や助けを求めることができる。所定情報送信先の外部装置としては、例えば、あらかじめ設定された、他のユーザのスマートフォン２等が挙げられる。所定情報を外部装置へ送信後、ＣＰＵ１０１は、感情情報取得処理を終了する。
以上のようにして、感情情報取得処理を行う。
なお、上記感情情報取得処理は、アクティビティ用アプリケーションの実行中に行われるものとしたが、これに限られるものではなく、スマートウォッチ１が通常使用される際に行われても良い。この場合には、例えばＣＰＵ１０１は、１日ごとに、ユーザに関する情報として、ユーザの通勤や通学の経路等を示す情報を取得し、上記ステップＳ１０２の処理にて、取得された情報が、過去に取得された情報と異なるか否かを判定するものとしても良い。すなわち、ユーザの通勤や通学の経路等を示す情報が、過去に取得された情報と異なる場合には、ユーザの感情も異なる可能性が高いため、上記ステップＳ１０２の処理にて条件を満たしたと判定し、感情情報を取得するようにしても良い。
また、上記ステップＳ１０４の処理では、環境情報が所定の条件を満たしたと判定された場合、及びユーザに関する情報が目標を達成したと判定された場合のいずれであっても、同様の報知を行うものとしたが、これに限られるものではない。例えば、環境情報が所定の条件を満たしたと判定された場合と、ユーザに関する情報が目標を達成したと判定された場合とで異なる報知を行うものとしても良い。また、例えば、環境情報が満たした条件やユーザに関する情報が達成した目標の内容に応じて、異なる報知を行うものとしても良い。
また、同様に、上記ステップＳ１０５の処理にて判定する時間の長さを、環境情報が満たした条件やユーザに関する情報が達成した目標に応じて、変化させるものとしても良い。
また、上記ステップＳ１０８の処理では、音声情報から感情情報を取得するものとしたが、これに限られるものではない。例えば、ステップＳ１０９の処理にてユーザに異常が発生したと判定されている場合には、音声情報から感情情報を取得するのみならず、異常発生に対する対応策をユーザに通知するものとしても良い。また、当該対応策を、取得された感情情報に応じて変化させるものとしても良い。
また、上記ステップＳ１０９の処理では、計測部１１１によりユーザに強い衝撃があったことが検出された場合に、ＣＰＵ１０１がユーザに異常が発生したと判定するものとしたが、これに限られるものではない。例えば、ユーザの移動速度がゼロ、すなわちユーザが移動していない状態が所定時間以上継続した場合や、ユーザの現在位置があらかじめ設定されたルートを外れて所定時間以上経過した場合、検出されたユーザの脈拍数が正常値の範囲から外れている場合等に、ユーザに異常が発生したと判定するものとしても良い。
また、上記ステップＳ１１０～Ｓ１１３の処理では、上記ステップＳ１０４～Ｓ１０７の処理と同様の処理を行うものとしたが、これに限られるものではない。例えば、上記ステップＳ１１０の処理にて行う報知と、上記ステップＳ１０４の処理にて行う報知とを異ならせるものとしても良いし、上記ステップＳ１１１の処理にて判定する時間の長さと、上記ステップＳ１０５の処理にて判定する時間の長さとを異ならせるものとしても良い。
また、上記ステップＳ１１３の処理にて音声入力がないと判定された場合に、ＣＰＵ１０１が、ステップＳ１１４の処理を行い、感情情報取得処理を終了するものとしたが、これに限られるものではない。すなわち、ＣＰＵ１０１は、音声入力がないと判定された場合にはステップＳ１１４の処理を行わず、再びステップＳ１０１の処理を行うものとしても良い。
また、上記ステップＳ１１４の処理では、あらかじめ設定された、他のユーザのスマートフォン２に所定情報を送信するものとしたが、これに限られるものではない。例えば、他のユーザのスマートウォッチ１、ＰＣ又はタブレット端末等に所定情報を送信するものとしても良いし、警備会社、警察、消防署等の端末に所定情報を送信するものとしても良い。
《本実施形態の技術的効果》
本実施形態によれば、スマートウォッチ１が、ユーザの音声を入力して音声情報に変換する音声入力部１１０と、音声入力部１１０により変換された音声情報に基づき感情情報を取得し、ユーザに関する情報又は環境情報を取得するＣＰＵ１０１とを備え、ＣＰＵ１０１が、取得されたユーザに関する情報又は環境情報に基づき決定される所定のタイミングの音声情報から感情情報を取得するので、ユーザの感情が変化する可能性の高いタイミングで感情情報を取得できるため、より正確な感情情報を取得することができる。
また、ＣＰＵ１０１が、取得されたユーザに関する情報又は環境情報に基づき音声入力部１１０をオン又はオフに設定するので、取得される音声情報に、感情情報の取得に適さない音声が含まれることを抑制することができ、より正確な感情情報を取得することができる。また、取得される音声情報を制限できるので、音声情報を解析して感情情報を取得する際の解析負荷を低減することができる。
また、ＣＰＵ１０１が、取得されたユーザに関する情報又は環境情報に基づき、あらかじめ設定された条件を満たしたと判定されたタイミングに応じて音声情報から感情情報を取得するので、ユーザの感情が変化する可能性のより高いタイミングで感情情報を取得することができる。
また、ＣＰＵ１０１が、所定期間ごとにユーザに関する情報を取得し、取得されたユーザに関する情報が、過去に取得されたユーザに関する情報と異なると判定されたタイミングに応じて音声情報から感情情報を取得するので、ユーザの感情が変化する可能性のより高いタイミングで感情情報を取得することができる。
また、ＣＰＵ１０１が、取得されたユーザに関する情報又は環境情報に基づき、ユーザに対して音声入力部１１０への音声入力を促す報知を行い、報知が行われたタイミングに応じて音声情報から感情情報を取得するので、ユーザの感情情報の取得に適した音声が含まれる音声情報をより確実に取得することができる。
《変形例》
上記した実施形態の感情情報取得システム１００の変形例について説明する。以下に説明する以外の点は、上記実施形態の感情情報取得システム１００と同様に構成されているものとする。
変形例に係る感情情報取得システムは、上記実施形態の感情情報取得システム１００と次の点で異なる。すなわち、変形例に係る感情情報取得システムは、図５に示すようにして感情情報取得処理を行う。図５は、変形例に係る感情情報取得処理の一例を示すフローチャートである。
まず、ＣＰＵ１０１は、音声入力部１１０をオンに設定する（ステップＳ２０１）。これにより、ＣＰＵ１０１は音声情報の取得を開始する。
次に、ＣＰＵ１０１は、衛星電波受信モジュール１０８又は計測部１１１により取得される情報に基づき、ユーザに関する情報及び環境情報を取得する（ステップＳ２０２）。
次に、ＣＰＵ１０１は、ステップＳ２０２で取得された環境情報が、あらかじめ設定された所定の条件を満たすか否かを判定する（ステップＳ２０３）。
環境情報が所定の条件を満たすと判定されると（ステップＳ２０３；ＹＥＳ）、ＣＰＵ１０１は、後述するステップＳ２０５の処理を行う。
環境情報が所定の条件を満たさないと判定されると（ステップＳ２０３；ＮＯ）、ＣＰＵ１０１は、ステップＳ２０２の処理で取得されたユーザに関する情報が、あらかじめ設定された目標を達成したか否かを判定する（ステップＳ２０４）。
ユーザに関する情報があらかじめ設定された目標を達成していないと判定されると（ステップＳ２０４；ＮＯ）、ＣＰＵ１０１は、後述するステップＳ２０５～Ｓ２１１の処理を省略し、ステップＳ２１２の処理を行う。
ユーザに関する情報があらかじめ設定された目標を達成したと判定されると（ステップＳ２０４；ＹＥＳ）、ＣＰＵ１０１は、所定時間が経過したか否かを判定する（ステップＳ２０５）。具体的には、ＣＰＵ１０１は、ステップＳ２０３の処理にて環境情報が所定の条件を満たすと判定された時、又はステップＳ２０４の処理にてユーザに関する情報が目標を達成したと判定された時からの経過時間を計時部１０７によりカウントし、当該経過時間があらかじめ設定された所定時間を超えたか否かを判定する。
所定時間が経過していないと判定されると（ステップＳ２０５；ＮＯ）、ＣＰＵ１０１は、再びステップＳ２０５の処理を行う。
所定時間が経過したと判定されると（ステップＳ２０５；ＹＥＳ）、ＣＰＵ１０１は、ユーザによる音声入力があったか否かを判定する（ステップＳ２０６）。具体的には、ＣＰＵ１０１は、取得される音声情報をリアルタイムで解析し、ユーザの音声が含まれているか否かを判定する。
音声入力があったと判定されると（ステップＳ２０６；ＹＥＳ）、ＣＰＵ１０１は、ステップＳ２０３の処理にて環境情報が所定の条件を満たすと判定された時、又はステップＳ２０４の処理にてユーザに関する情報が目標を達成したと判定された時からステップＳ２０５の処理で所定時間が経過したと判定された時までの音声情報から感情情報を取得する（ステップＳ２０７）。また、ＣＰＵ１０１は、取得された感情情報を記憶部１０５に記憶させ、後述するステップＳ２１２の処理を行う。
音声入力がないと判定されると（ステップＳ２０６；ＮＯ）、ＣＰＵ１０１は、ユーザに対して音声入力部１１０への音声入力を促す報知を行う（ステップＳ２０８）。
次に、ＣＰＵ１０１は、所定時間が経過したか否かを判定する（ステップＳ２０９）。具体的には、ＣＰＵ１０１は、ステップＳ２０８の処理にてユーザへ報知を行った時からの経過時間を計時部１０７によりカウントし、当該経過時間があらかじめ設定された所定時間を超えたか否かを判定する。
所定時間が経過していないと判定されると（ステップＳ２０９；ＮＯ）、ＣＰＵ１０１は、再びステップＳ２０９の処理を行う。
所定時間が経過したと判定されると（ステップＳ２０９；ＹＥＳ）、ＣＰＵ１０１は、ユーザによる音声入力があったか否かを判定する（ステップＳ２１０）。具体的には、ＣＰＵ１０１は、取得される音声情報をリアルタイムで解析し、ユーザの音声が含まれているか否かを判定する。
音声入力があったと判定されると（ステップＳ２１０；ＹＥＳ）、ＣＰＵ１０１は、ステップＳ２０８の処理でユーザへ報知を行った時からステップＳ２０９の処理で所定時間が経過したと判定された時までの音声情報から感情情報を取得する（ステップＳ２１１）。また、ＣＰＵ１０１は、取得された感情情報を記憶部１０５に記憶させ、後述するステップＳ２１２の処理を行う。
音声入力がないと判定されると（ステップＳ２１０；ＮＯ）、ＣＰＵ１０１は、上記ステップＳ２１１の処理を省略し、後述するステップＳ２１２の処理を行う。
次に、ＣＰＵ１０１は、ユーザにより終了操作が入力されたか否かを判定する（ステップＳ２１２）。具体的には、例えば、ＣＰＵ１０１は、音声入力部１１０をオフに設定する操作が入力された場合や、アクティビティ用アプリケーションを終了する操作が入力された場合に、終了操作が入力されたと判定する。
終了操作が入力されないと判定されると（ステップＳ２１２；ＮＯ）、ＣＰＵ１０１は、再びステップＳ２０２の処理を行う。
終了操作が入力されたと判定されると（ステップＳ２１２；ＹＥＳ）、ＣＰＵ１０１は、音声入力部１１０をオフに設定し（ステップＳ２１３）、感情情報取得処理を終了する。
以上のようにして感情情報取得処理を行う。
なお、上記変形例に係る感情情報取得処理においては、ユーザに異常が発生したか否かを判定しないものとしたが、これに限られるものではない。すなわち、ＣＰＵ１０１は、上記実施形態の感情情報取得処理のステップＳ１０９と同様にして、ユーザに異常が発生したか否かを判定するものとしても良い。この場合、ユーザに異常が発生していると判定され、かつユーザによる音声入力が所定時間ない場合に、上記実施形態の感情情報取得処理のステップＳ１１４と同様にして、所定情報を外部装置へ送信するものとしても良い。
また、上記変形例に係る感情情報取得処理においては、ステップＳ２０１の処理で音声情報の取得を開始し、ステップＳ２０７の処理でユーザに関する情報又は環境情報が所定の条件を満たしたと判定された時から所定時間が経過したと判定された時までの音声情報から感情情報を取得し、ステップＳ２１１の処理でユーザへ報知を行った時から所定時間が経過したと判定された時までの音声情報から感情情報を取得するものとしたが、これに限られるものではない。例えば、ステップＳ２０１の処理にて、ＣＰＵ１０１は、音声情報の取得を開始するとともに、取得される音声情報の解析を開始することで、音声情報の取得と併行して感情情報の取得を行うものとしても良い。この場合、ステップＳ２０６の処理を行わないものとしても良い。また、ステップＳ２０７の処理にて、ＣＰＵ１０１は、取得される感情情報から、ユーザに関する情報又は環境情報が所定の条件を満たしたと判定された時から所定時間が経過したと判定された時までの感情情報を抽出し、抽出された感情情報を取得するものとしても良い。また、ステップＳ２０６の処理を行う場合には、ステップＳ２１１の処理にて、ＣＰＵ１０１は、取得される感情情報から、ユーザへ報知を行った時から所定時間が経過したと判定された時までの感情情報を抽出し、抽出された感情情報を取得するものとしても良い。
また、上記変形例に係る感情情報取得処理においては、ステップＳ２０１からステップＳ２１３までの音声情報の取得中に、ステップＳ２０７又はＳ２１１にて感情情報を取得するものとしたが、これに限られるものではない。例えば、ステップＳ２０５の処理で所定時間が経過したと判定された後、ＣＰＵ１０１は、ユーザに関する情報又は環境情報が所定の条件を満たしたと判定された時から所定時間が経過したと判定された時までの期間を示す情報を記憶部１０５に記憶させ、ステップＳ２０６～Ｓ２１１の処理を行わないものとしても良い。そして、ステップＳ２１３の処理よりも後の任意のタイミングで、ＣＰＵ１０１は、当該期間を示す情報に基づき、ユーザに関する情報又は環境情報が所定の条件を満たしたと判定された時から所定時間が経過したと判定された時までの音声情報を解析して感情情報を取得するものとしても良い。
また、上記ステップＳ２０６の処理にて音声入力がないと判定された場合に、ＣＰＵ１０１が、ステップＳ２０８～Ｓ２１１の処理を行うものとしたが、これに限られるものではない。すなわち、ＣＰＵ１０１は、音声入力がないと判定された場合にはステップＳ２０８～Ｓ２１１の処理を行わず、ステップＳ２１２の処理を行うものとしても良い。
また、上記ステップＳ２０７の処理では、ユーザに関する情報又は環境情報に基づき決定される所定のタイミング、すなわち、ユーザに関する情報又は環境情報が所定の条件を満たしたと判定された時から所定時間が経過したと判定された時までの音声情報から感情情報を取得するものとしたが、これに限られるものではない。例えば、上記変形例に係る感情情報取得処理においては、あらかじめ音声情報の取得を開始しているため、ＣＰＵ１０１は、ユーザに関する情報又は環境情報に基づき決定される所定のタイミングのみならず、当該タイミングよりも所定時間前、及び当該タイミングよりも所定時間後の各音声情報からそれぞれ感情情報を取得するものとしても良い。これにより、時間経過に伴うユーザの感情情報の推移を確認することができる。さらに、ＣＰＵ１０１は、それらの各音声情報から取得された各感情情報に基づき、総合的な感情情報を取得するものとしても良い。
（変形例の技術的効果）
以上、変形例によれば、ＣＰＵ１０１が、あらかじめ音声情報の取得を開始しておき、ユーザに関する情報又は環境情報が所定の条件を満たしたと判定された時の音声情報から感情情報を取得するので、上記実施形態において得られる技術的効果のみならず、感情情報の取得に適した音声情報をより確実に取得することができる。
さらに、変形例によれば、ユーザに対する報知を行うことなく感情情報を取得した場合には、当該報知がなされることによってユーザの感情が僅かに変化してしまうことを防止でき、より正確な感情情報を取得することができる。
また、ＣＰＵ１０１が、取得されたユーザに関する情報又は環境情報に基づき決定される所定のタイミング、当該タイミングよりも所定時間前、及び当該タイミングよりも所定時間後の各音声情報からそれぞれ感情情報を取得し、取得された各感情情報に基づき総合的な感情情報を取得する場合には、当該タイミングの前後一定期間における総合的なユーザの感情を確認することができる。また、この場合には、当該タイミングの音声情報のみから感情情報を取得する場合と比較して、ユーザの感情をより正確に示す感情情報を取得することができる。
《その他》
なお、上記実施形態及び変形例における記述は、本発明に係る好適な感情情報取得システムの一例であり、これに限定されるものではない。
例えば、上記した実施形態及び変形例では、感情情報取得システム１００を構成するスマートウォッチ１が上記感情情報取得処理を行うものとしたが、これに限られるものではない。例えば、スマートフォン２等の他の端末装置が上記感情情報取得処理を行うものとしても良く、この場合には、例えば、スマートフォン２等の他の端末装置が音声入力部や計測部を備えているものとしても良い。また、例えば、スマートウォッチ１とスマートフォン２等、端末装置同士で協働して上記感情情報取得処理を行うものとしても良い。また、例えば、スマートウォッチ１やスマートフォン２等の端末装置が、ネットワークを介して接続されるサーバ装置（図示略）と協働して上記感情情報取得処理を行うものとしても良く、この場合には、例えば、端末装置が、取得された音声情報をサーバ装置へ出力し、サーバ装置が、入力された音声情報から感情情報を取得してこれを端末装置に出力するものとしても良い。このように、端末装置同士、又は端末装置及びサーバ装置からなるシステムとした場合に、ユーザの音声を入力して音声情報に変換する音声入力手段、音声入力手段により変換された音声情報に基づき感情情報を取得する第１取得手段、ユーザに関する情報又は環境情報を取得する第２取得手段等の各手段を、いずれの装置に備えさせるかは、感情情報取得システムの構成に応じて任意に選択することが可能である。
また、自動車等の移動手段に搭載される電子機器が上記感情情報取得処理を行うものとしても良い。この場合には、例えば、取得された感情情報に基づいて、ユーザに対して安全運転を促す通知等を行うものとしても良い。
また、上記した実施形態及び変形例では、スマートウォッチ１のＣＰＵ１０１が衛星電波受信モジュール１０８により取得される情報に基づき、ユーザに関する情報、特にユーザの現在位置情報を取得するものとしたが、これに限られるものではない。例えば、インドアロケーション技術など、ネットワーク位置情報を利用することで現在位置情報を取得するものとしても良い。
また、上記した実施形態及び変形例では、ユーザに関する情報又は環境情報が所定の条件を満たしたときにユーザに対して音声入力を促す画面を表示部１０４に表示させたり、音声入力を促す振動や音声を出力部１０９に出力させたりすることにより報知を行うものとしたが、これに限られるものではない。例えば、ＣＰＵ１０１は、スマートウォッチ１以外の外部機器、例えば、スマートフォン２、図示しない音楽再生プレイヤー、ヘッドマウントディスプレイ、プリンタ等に音声、映像、紙媒体等を出力させることで報知を行うものとしても良い。
また、上記した実施形態及び変形例では、感情情報が「苦しみ・怒り」、「不安」、「安定」及び「喜び」の４分類でユーザの感情を示すものとしたが、これに限られるものではない。例えば、感情情報は、２つ又は３つの分類でユーザの感情を示すものとしても良いし、５つ以上の分類でユーザの感情を示すものとしても良い。また、例えば、感情情報は、複数種類の分類でユーザの感情を示すとともに、その感情の強度を示すものとしても良い。
また、上記した実施形態では、本発明に係るプログラムのコンピュータ読み取り可能な媒体としてハードディスクや半導体の不揮発性メモリー等を使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、ＣＤ－ＲＯＭ等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウェーブ（搬送波）も適用される。
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
ユーザの音声を入力して音声情報に変換する音声入力手段と、
前記音声入力手段により変換された音声情報に基づき感情情報を取得する第１取得手段と、
ユーザに関する情報又は環境情報を取得する第２取得手段と、
を備え、
前記第１取得手段は、前記第２取得手段により取得されたユーザに関する情報又は環境情報に基づき決定される所定のタイミングの音声情報から感情情報を取得することを特徴とする電子機器。
＜請求項２＞
前記第２取得手段により取得されたユーザに関する情報又は環境情報に基づき前記音声入力手段をオン又はオフに設定する音声入力制御手段を備えることを特徴とする請求項１に記載の電子機器。
＜請求項３＞
前記第１取得手段は、前記第２取得手段により取得されたユーザに関する情報又は環境情報に基づき、あらかじめ設定された条件を満たしたと判定されたタイミングに応じて音声情報から感情情報を取得することを特徴とする請求項１又は２に記載の電子機器。
＜請求項４＞
前記第２取得手段は、所定期間ごとにユーザに関する情報を取得し、
前記第１取得手段は、前記第２取得手段により取得されたユーザに関する情報が、過去に取得されたユーザに関する情報と異なると判定されたタイミングに応じて音声情報から感情情報を取得することを特徴とする請求項１から３のいずれか一項に記載の電子機器。
＜請求項５＞
前記第２取得手段により取得されたユーザに関する情報又は環境情報に基づき、ユーザに対して前記音声入力手段への音声入力を促す報知を行う報知手段を備え、
前記第１取得手段は、前記報知手段により報知が行われたタイミングに応じて音声情報から感情情報を取得することを特徴とする請求項１から３のいずれか一項に記載の電子機器。
＜請求項６＞
前記第１取得手段は、前記第２取得手段により取得されたユーザに関する情報又は環境情報に基づき決定される所定のタイミング、当該タイミングよりも所定時間前、及び当該タイミングよりも所定時間後の各音声情報からそれぞれ感情情報を取得し、取得された各感情情報に基づき総合的な感情情報を取得することを特徴とする請求項１から５のいずれか一項に記載の電子機器。
＜請求項７＞
端末装置とネットワークを介して前記端末装置と接続されるサーバ装置からなる感情情報取得システムであって、
ユーザの音声を入力して音声情報に変換する音声入力手段と、
前記音声入力手段により変換された音声情報に基づき感情情報を取得する第１取得手段と、
ユーザに関する情報又は環境情報を取得する第２取得手段と、
を備え、
前記第１取得手段は、前記第２取得手段により取得されたユーザに関する情報又は環境情報に基づき決定される所定のタイミングの音声情報から感情情報を取得することを特徴とする感情情報取得システム。
＜請求項８＞
コンピュータを、
ユーザの音声を入力して音声情報に変換する音声入力手段、
前記音声入力手段により変換された音声情報に基づき感情情報を取得する第１取得手段、
ユーザに関する情報又は環境情報を取得する第２取得手段、
として機能させるためのプログラムであって、
前記第１取得手段は、前記第２取得手段により取得されたユーザに関する情報又は環境情報に基づき決定される所定のタイミングの音声情報から感情情報を取得することを特徴とするプログラム。
＜請求項９＞
ユーザの音声を入力して音声情報に変換する音声入力工程と、
変換された音声情報に基づき感情情報を取得する第１取得工程と、
ユーザに関する情報又は環境情報を取得する第２取得工程と、
を有し、
前記第１取得工程において、前記第２取得工程で取得されたユーザに関する情報又は環境情報に基づき決定される所定のタイミングの音声情報から感情情報を取得することを特徴とする感情情報取得方法。
１ スマートウォッチ（電子機器）
１００ 感情情報取得システム
１０１ ＣＰＵ（第１取得手段、第２取得手段、音声入力制御手段、報知手段）
１０８ 音声入力部（音声入力手段）

Claims (16)

  1. ユーザの音声を入力して音声情報に変換する音声入力手段と、
    前記音声入力手段により変換された音声情報に基づき感情情報を取得する第１取得手段と、
    所定期間ごとにユーザに関する情報を取得する第２取得手段と、
    を備え、
    前記第１取得手段は、前記第２取得手段により取得されたユーザに関する情報が、過去に取得されたユーザに関する情報と異なると判定された場合に、前記感情情報を新たに取得することを特徴とする電子機器。
  2. 前記第１取得手段は、前記第２取得手段により取得されたユーザに関する情報が、過去に取得されたユーザに関する情報と異なると判定された場合に、前記音声情報を新たに取得し、取得された音声情報から前記感情情報を取得することを特徴とする請求項１に記載の電子機器。
  3. 前記第２取得手段により取得されたユーザに関する情報に基づき前記音声入力手段をオン又はオフに設定する音声入力制御手段を備えることを特徴とする請求項１又は２に記載の電子機器。
  4. ユーザの音声を入力して音声情報に変換する音声入力手段と、
    前記音声入力手段により変換された音声情報に基づき感情情報を取得する第１取得手段と、
    ユーザに関する情報又は環境情報を取得する第２取得手段と、
    を備え、
    前記第１取得手段は、前記第２取得手段により取得されたユーザに関する情報又は環境情報に基づき、決定される所定のタイミング、当該タイミングよりも所定時間前、及び当該タイミングよりも所定時間後の各音声情報からそれぞれ感情情報を取得し、取得された各感情情報に基づき総合的な感情情報を取得することを特徴とする電子機器。
  5. 前記第２取得手段により取得されたユーザに関する情報又は環境情報に基づき、決定される所定のタイミング、当該タイミングよりも所定時間前、及び当該タイミングよりも所定時間後の各音声情報からそれぞれ感情情報を取得する場合は、あらかじめ前記音声入力手段をオンに設定し、終了操作が入力された場合に前記音声入力手段をオフに設定する音声入力制御手段を備えることを特徴とする請求項４に記載の電子機器。
  6. 前記第１取得手段は、前記第２取得手段により取得されたユーザに関する情報又は環境情報に基づき、あらかじめ設定された条件を満たしたと判定されたタイミングに応じて音声情報から感情情報を取得することを特徴とする請求項５に記載の電子機器。
  7. 前記第２取得手段は、所定期間ごとにユーザに関する情報を取得し、
    前記第１取得手段は、前記第２取得手段により取得されたユーザに関する情報が、過去に取得されたユーザに関する情報と異なると判定されたタイミングに応じて音声情報から感情情報を取得することを特徴とする請求項５又は６に記載の電子機器。
  8. 前記第２取得手段により取得されたユーザに関する情報又は環境情報に基づき、ユーザに対して前記音声入力手段への音声入力を促す報知を行う報知手段を備え、
    前記第１取得手段は、前記報知手段により報知が行われたタイミングに応じて音声情報から感情情報を取得することを特徴とする請求項５から７のいずれか一項に記載の電子機器。
  9. 前記ユーザに関する情報は、ユーザごとに異なる情報であり、移動距離、移動速度などの情報を含み、
    前記第２取得手段は、外部環境に基づく情報である環境情報を更に取得し、
    前記環境情報は、現在時刻、気温、湿度、気圧、高度、方位、潮汐、これらに基づき導出される各種情報の何れかを含むことを特徴とする請求項１から８のいずれか一項に記載の電子機器。
  10. 前記第２取得手段は、ユーザに関する情報及び環境情報を取得することを特徴とする請求項１又は４に記載の電子機器。
  11. 端末装置とネットワークを介して前記端末装置と接続されるサーバ装置からなる感情情報取得システムであって、
    ユーザの音声を入力して音声情報に変換する音声入力手段と、
    前記音声入力手段により変換された音声情報に基づき感情情報を取得する第１取得手段と、
    所定期間ごとにユーザに関する情報を取得する第２取得手段と、
    を備え、
    前記第１取得手段は、前記第２取得手段により取得されたユーザに関する情報が、過去に取得されたユーザに関する情報と異なると判定された場合に、前記感情情報を新たに取得することを特徴とする感情情報取得システム。
  12. 端末装置とネットワークを介して前記端末装置と接続されるサーバ装置からなる感情情報取得システムであって、
    ユーザの音声を入力して音声情報に変換する音声入力手段と、
    前記音声入力手段により変換された音声情報に基づき感情情報を取得する第１取得手段と、
    ユーザに関する情報又は環境情報を取得する第２取得手段と、
    を備え、
    前記第１取得手段は、前記第２取得手段により取得されたユーザに関する情報又は環境情報に基づき決定される所定のタイミング、当該タイミングよりも所定時間前、及び当該タイミングよりも所定時間後の各音声情報からそれぞれ感情情報を取得し、取得された各感情情報に基づき総合的な感情情報を取得することを特徴とする感情情報取得システム。
  13. コンピュータを、
    ユーザの音声を入力して音声情報に変換する音声入力手段、
    前記音声入力手段により変換された音声情報に基づき感情情報を取得する第１取得手段、
    所定期間ごとにユーザに関する情報を取得する第２取得手段、
    として機能させるためのプログラムであって、
    前記第１取得手段は、前記第２取得手段により取得されたユーザに関する情報が、過去に取得されたユーザに関する情報と異なると判定された場合に、前記感情情報を新たに取得することを特徴とするプログラム。
  14. コンピュータを、
    ユーザの音声を入力して音声情報に変換する音声入力手段、
    前記音声入力手段により変換された音声情報に基づき感情情報を取得する第１取得手段
    、
    ユーザに関する情報又は環境情報を取得する第２取得手段、
    として機能させるためのプログラムであって、
    前記第１取得手段は、前記第１取得手段は、前記第２取得手段により取得されたユーザに関する情報又は環境情報に基づき決定される所定のタイミング、当該タイミングよりも所定時間前、及び当該タイミングよりも所定時間後の各音声情報からそれぞれ感情情報を取得し、取得された各感情情報に基づき総合的な感情情報を取得することを特徴とするプログラム。
  15. ユーザの音声を入力して音声情報に変換する音声入力工程と、
    変換された音声情報に基づき感情情報を取得する第１取得工程と、
    所定期間ごとにユーザに関する情報を取得する第２取得工程と、
    を有し、
    前記第１取得工程は、前記第２取得工程により取得されたユーザに関する情報が、過去に取得されたユーザに関する情報と異なると判定された場合に、前記感情情報を新たに取得することを特徴とする感情情報取得方法。
  16. ユーザの音声を入力して音声情報に変換する音声入力工程と、
    変換された音声情報に基づき感情情報を取得する第１取得工程と、
    ユーザに関する情報又は環境情報を取得する第２取得工程と、
    を有し、
    前記第１取得工程において、前記第２取得工程により取得されたユーザに関する情報又は環境情報に基づき決定される所定のタイミング、当該タイミングよりも所定時間前、及び当該タイミングよりも所定時間後の各音声情報からそれぞれ感情情報を取得し、取得された各感情情報に基づき総合的な感情情報を取得することを特徴とする感情情報取得方法。
JP2017123200A 2017-06-23 2017-06-23 電子機器、感情情報取得システム、プログラム及び感情情報取得方法 Active JP7073640B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017123200A JP7073640B2 (ja) 2017-06-23 2017-06-23 電子機器、感情情報取得システム、プログラム及び感情情報取得方法
US16/015,016 US10580433B2 (en) 2017-06-23 2018-06-21 Electronic device, emotion information obtaining system, storage medium, and emotion information obtaining method
CN201810649657.9A CN109147824A (zh) 2017-06-23 2018-06-22 电子设备、情绪信息取得系统及取得方法、以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017123200A JP7073640B2 (ja) 2017-06-23 2017-06-23 電子機器、感情情報取得システム、プログラム及び感情情報取得方法

Publications (3)

Publication Number Publication Date
JP2019008113A JP2019008113A (ja) 2019-01-17
JP2019008113A5 JP2019008113A5 (ja) 2020-07-02
JP7073640B2 true JP7073640B2 (ja) 2022-05-24

Family

ID=64692733

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017123200A Active JP7073640B2 (ja) 2017-06-23 2017-06-23 電子機器、感情情報取得システム、プログラム及び感情情報取得方法

Country Status (3)

Country Link
US (1) US10580433B2 (ja)
JP (1) JP7073640B2 (ja)
CN (1) CN109147824A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7073640B2 (ja) * 2017-06-23 2022-05-24 カシオ計算機株式会社 電子機器、感情情報取得システム、プログラム及び感情情報取得方法
KR102348693B1 (ko) * 2017-10-24 2022-01-10 삼성전자주식회사 어플리케이션 프로그램을 제어하는 전자 장치 및 그 제어 방법
US10839201B2 (en) 2018-11-09 2020-11-17 Akili Interactive Labs, Inc. Facial expression detection for screening and treatment of affective disorders

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005185630A (ja) 2003-12-26 2005-07-14 Casio Comput Co Ltd 養育補助装置、感情緩和制御装置及びプログラム
JP2007525897A (ja) 2004-02-17 2007-09-06 ボイス シグナル テクノロジーズ インコーポレイテッド マルチモーダル埋め込み型インタフェースの交換可能なカスタマイズ用の方法及び装置
JP2009042671A (ja) 2007-08-10 2009-02-26 Kao Corp 感情を判定するための方法
JP2014123239A (ja) 2012-12-21 2014-07-03 Hitachi Ltd 渋滞情報配信システム、サーバ、車載端末、及びプログラム
JP2014219594A (ja) 2013-05-09 2014-11-20 ソフトバンクモバイル株式会社 会話処理システム及びプログラム
JP2016012341A (ja) 2014-06-05 2016-01-21 ソフトバンク株式会社 行動制御システム、システム及びプログラム
JP2018147452A (ja) 2017-03-09 2018-09-20 岩崎通信機株式会社 ドアシステム、およびドアシステムを用いた監視方法

Family Cites Families (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5765134A (en) * 1995-02-15 1998-06-09 Kehoe; Thomas David Method to electronically alter a speaker's emotional state and improve the performance of public speaking
JPH09292964A (ja) 1996-04-24 1997-11-11 Sanyo Electric Co Ltd オンライン情報システム
JP2003110703A (ja) 2001-10-02 2003-04-11 Sony Corp 情報通信システム、および情報通信方法、並びにコンピュータ・プログラム
EP1300831B1 (en) * 2001-10-05 2005-12-07 Sony Deutschland GmbH Method for detecting emotions involving subspace specialists
US6959080B2 (en) * 2002-09-27 2005-10-25 Rockwell Electronic Commerce Technologies, Llc Method selecting actions or phases for an agent by analyzing conversation content and emotional inflection
JP3984207B2 (ja) * 2003-09-04 2007-10-03 株式会社東芝 音声認識評価装置、音声認識評価方法、及び音声認識評価プログラム
US8214214B2 (en) * 2004-12-03 2012-07-03 Phoenix Solutions, Inc. Emotion detection device and method for use in distributed systems
US7912720B1 (en) * 2005-07-20 2011-03-22 At&T Intellectual Property Ii, L.P. System and method for building emotional machines
JP2007041988A (ja) * 2005-08-05 2007-02-15 Sony Corp 情報処理装置および方法、並びにプログラム
US8150692B2 (en) * 2006-05-18 2012-04-03 Nuance Communications, Inc. Method and apparatus for recognizing a user personality trait based on a number of compound words used by the user
US7893342B2 (en) * 2006-09-08 2011-02-22 Panasonic Corporation Information processing terminal and music information generating program
US8571853B2 (en) * 2007-02-11 2013-10-29 Nice Systems Ltd. Method and system for laughter detection
US8965762B2 (en) * 2007-02-16 2015-02-24 Industrial Technology Research Institute Bimodal emotion recognition method and system utilizing a support vector machine
SG151123A1 (en) * 2007-09-13 2009-04-30 St Electronics Training & Simu A decision analysis system
JP2009265852A (ja) 2008-04-23 2009-11-12 Sharp Corp 回答記憶携帯端末及び回答記憶方法
US20100041958A1 (en) * 2008-04-24 2010-02-18 Searete Llc Computational system and method for memory modification
US8259992B2 (en) * 2008-06-13 2012-09-04 International Business Machines Corporation Multiple audio/video data stream simulation method and system
JP4900739B2 (ja) * 2009-09-04 2012-03-21 カシオ計算機株式会社 電子写真立て、その制御方法及びプログラム
US8417524B2 (en) * 2010-02-11 2013-04-09 International Business Machines Corporation Analysis of the temporal evolution of emotions in an audio interaction in a service delivery environment
US20110282662A1 (en) * 2010-05-11 2011-11-17 Seiko Epson Corporation Customer Service Data Recording Device, Customer Service Data Recording Method, and Recording Medium
WO2012003523A1 (en) * 2010-07-06 2012-01-12 Rmit University Emotional and/or psychiatric state detection
WO2012089906A1 (en) * 2010-12-30 2012-07-05 Nokia Corporation Method, apparatus and computer program product for emotion detection
US20120209606A1 (en) * 2011-02-14 2012-08-16 Nice Systems Ltd. Method and apparatus for information extraction from interactions
WO2012120656A1 (ja) * 2011-03-08 2012-09-13 富士通株式会社 通話支援装置、通話支援方法
US9728189B2 (en) * 2011-04-26 2017-08-08 Nec Corporation Input auxiliary apparatus, input auxiliary method, and program
US9418661B2 (en) * 2011-05-12 2016-08-16 Johnson Controls Technology Company Vehicle voice recognition systems and methods
CN102332263B (zh) * 2011-09-23 2012-11-07 浙江大学 一种基于近邻原则合成情感模型的说话人识别方法
JP5772448B2 (ja) * 2011-09-27 2015-09-02 富士ゼロックス株式会社 音声解析システムおよび音声解析装置
KR101850026B1 (ko) * 2011-11-07 2018-04-24 한국전자통신연구원 음성 인식 단문 메시지 서비스 기반의 사용자 맞춤 광고 장치, 및 음성 인식 단문 메시지 서비스 기반의 사용자 맞춤 광고 노출 방법
CN103543979A (zh) * 2012-07-17 2014-01-29 联想(北京)有限公司 一种输出语音的方法、语音交互的方法及电子设备
US9031293B2 (en) * 2012-10-19 2015-05-12 Sony Computer Entertainment Inc. Multi-modal sensor based emotion recognition and emotional interface
US9020822B2 (en) * 2012-10-19 2015-04-28 Sony Computer Entertainment Inc. Emotion recognition using auditory attention cues extracted from users voice
TWI489451B (zh) * 2012-12-13 2015-06-21 Univ Nat Chiao Tung 基於語音情感辨識之音樂播放系統及其方法
KR102050897B1 (ko) * 2013-02-07 2019-12-02 삼성전자주식회사 음성 대화 기능을 구비한 휴대 단말기 및 이의 음성 대화 방법
US9472207B2 (en) * 2013-06-20 2016-10-18 Suhas Gondi Portable assistive device for combating autism spectrum disorders
US20150154002A1 (en) * 2013-12-04 2015-06-04 Google Inc. User interface customization based on speaker characteristics
US20150287403A1 (en) * 2014-04-07 2015-10-08 Neta Holzer Zaslansky Device, system, and method of automatically generating an animated content-item
US9412393B2 (en) * 2014-04-24 2016-08-09 International Business Machines Corporation Speech effectiveness rating
US9685174B2 (en) * 2014-05-02 2017-06-20 The Regents Of The University Of Michigan Mood monitoring of bipolar disorder using speech analysis
EP3147798A4 (en) * 2014-05-22 2018-01-17 Sony Corporation Information processing device, information processing method, and program
US9652678B2 (en) * 2014-05-23 2017-05-16 Samsung Electronics Co., Ltd. Method and device for reproducing content
CN105615902A (zh) * 2014-11-06 2016-06-01 北京三星通信技术研究有限公司 情绪监控方法和装置
US9533687B2 (en) * 2014-12-30 2017-01-03 Tk Holdings Inc. Occupant monitoring systems and methods
US9916846B2 (en) * 2015-02-10 2018-03-13 Nice Ltd. Method and system for speech detection
EP3259754B1 (en) * 2015-02-16 2022-06-15 Samsung Electronics Co., Ltd. Method and device for providing information
CN106161990B (zh) * 2015-04-28 2019-11-12 腾讯科技（北京）有限公司 一种图像处理方法和装置
WO2016195474A1 (en) * 2015-05-29 2016-12-08 Charles Vincent Albert Method for analysing comprehensive state of a subject
KR102344063B1 (ko) * 2015-06-29 2021-12-28 엘지전자 주식회사 이동 단말기
KR20170027999A (ko) * 2015-09-03 2017-03-13 삼성전자주식회사 사용자 단말 장치, 시스템 및 그 제어 방법
WO2017064891A1 (ja) * 2015-10-13 2017-04-20 ソニー株式会社 情報処理システム、情報処理方法、および記憶媒体
KR102453603B1 (ko) * 2015-11-10 2022-10-12 삼성전자주식회사 전자 장치 및 그 제어 방법
US10755704B2 (en) * 2015-11-17 2020-08-25 Sony Interactive Entertainment Inc. Information processing apparatus
CN105334743B (zh) * 2015-11-18 2018-10-26 深圳创维－Rgb电子有限公司 一种基于情感识别的智能家居控制方法及其系统
CN105726045A (zh) * 2016-01-28 2016-07-06 惠州Tcl移动通信有限公司 一种情绪监控方法及其移动终端
US9711056B1 (en) * 2016-03-14 2017-07-18 Fuvi Cognitive Network Corp. Apparatus, method, and system of building and processing personal emotion-based computer readable cognitive sensory memory and cognitive insights for enhancing memorization and decision making skills
US9836055B1 (en) * 2016-06-03 2017-12-05 Internaitonal Business Machines Corporation Mobile audio input device controller
US20170351330A1 (en) * 2016-06-06 2017-12-07 John C. Gordon Communicating Information Via A Computer-Implemented Agent
US10726836B2 (en) * 2016-08-12 2020-07-28 Kt Corporation Providing audio and video feedback with character based on voice command
US10074368B2 (en) * 2016-08-17 2018-09-11 International Business Machines Corporation Personalized situation awareness using human emotions and incident properties
CN106528859A (zh) * 2016-11-30 2017-03-22 英华达（南京）科技有限公司 一种数据推送系统及方法
US11086391B2 (en) * 2016-11-30 2021-08-10 At&T Intellectual Property I, L.P. Methods, and devices for generating a user experience based on the stored user information
CN106843458B (zh) * 2016-12-12 2021-05-25 北京光年无限科技有限公司 一种用于智能机器人的人机交互方法及装置
US11291796B2 (en) * 2016-12-29 2022-04-05 Huawei Technologies Co., Ltd Method and apparatus for adjusting user emotion
CN107053191B (zh) * 2016-12-31 2020-05-08 华为技术有限公司 一种机器人，服务器及人机互动方法
JP6922284B2 (ja) * 2017-03-15 2021-08-18 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
KR102363794B1 (ko) * 2017-03-31 2022-02-16 삼성전자주식회사 정보 제공 방법 및 이를 지원하는 전자 장치
JP7073640B2 (ja) * 2017-06-23 2022-05-24 カシオ計算機株式会社 電子機器、感情情報取得システム、プログラム及び感情情報取得方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005185630A (ja) 2003-12-26 2005-07-14 Casio Comput Co Ltd 養育補助装置、感情緩和制御装置及びプログラム
JP2007525897A (ja) 2004-02-17 2007-09-06 ボイス シグナル テクノロジーズ インコーポレイテッド マルチモーダル埋め込み型インタフェースの交換可能なカスタマイズ用の方法及び装置
JP2009042671A (ja) 2007-08-10 2009-02-26 Kao Corp 感情を判定するための方法
JP2014123239A (ja) 2012-12-21 2014-07-03 Hitachi Ltd 渋滞情報配信システム、サーバ、車載端末、及びプログラム
JP2014219594A (ja) 2013-05-09 2014-11-20 ソフトバンクモバイル株式会社 会話処理システム及びプログラム
JP2016012341A (ja) 2014-06-05 2016-01-21 ソフトバンク株式会社 行動制御システム、システム及びプログラム
JP2018147452A (ja) 2017-03-09 2018-09-20 岩崎通信機株式会社 ドアシステム、およびドアシステムを用いた監視方法

Also Published As

Publication number Publication date
US20180374498A1 (en) 2018-12-27
CN109147824A (zh) 2019-01-04
US10580433B2 (en) 2020-03-03
JP2019008113A (ja) 2019-01-17

Similar Documents

Publication Publication Date Title
CN108595275B (zh) 一种提示信息推送的方法及终端
JP7073640B2 (ja) 電子機器、感情情報取得システム、プログラム及び感情情報取得方法
US8949745B2 (en) Device and method for selection of options by motion gestures
US20160321901A1 (en) Wristband and application to allow one person to monitor another
US10408629B2 (en) Navigation system, client terminal device, control method, and storage medium
US20170097816A1 (en) Context-based applications for mobile devices
US9445230B1 (en) Automated arrival notifications
CN107846518B (zh) 一种导航状态切换方法、移动终端及计算机可读存储介质
CN107608855B (zh) 提醒方法及移动终端
CN108051010B (zh) 确定到达目的地的时间的方法及移动终端
CN105336107A (zh) 震动报警方法及装置
US20160011662A1 (en) Electronic device, method, and computer program product
EP3382343B1 (en) Electronic apparatus, position specifying system, position specifying method, and program
JP5915803B2 (ja) 情報処理装置、混雑度マップ生成装置、情報処理方法、プログラム、及び記録媒体
JP2015122609A (ja) 電子機器
US20210182781A1 (en) Information processing apparatus, information processing method, and program
JP5853088B2 (ja) 情報処理装置、プログラム及び方法
EP3163928A1 (en) Communication apparatus, communication method and program
JP2009230250A (ja) 監視装置、監視方法及びコンピュータプログラム
KR101564347B1 (ko) 긴급 구조 요청 단말 및 긴급 구조 요청 방법
US9143893B2 (en) Communication apparatus and control method therefor
CN109086448B (zh) 一种基于性别特征信息的语音搜题方法及家教设备
JP6565132B2 (ja) 情報処理装置、情報処理方法及びプログラム
EP2999298B1 (en) Mobile information processing device, information processing system, and information processing method
CN112435441B (zh) 睡眠检测方法和可穿戴电子设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200520

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200520

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210506

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210913

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220207

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220207

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220216

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220425

R150 Certificate of patent or registration of utility model

Ref document number: 7073640

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150