JP7279612B2

JP7279612B2 - 記録装置

Info

Publication number: JP7279612B2
Application number: JP2019195882A
Authority: JP
Inventors: 多加志井村; 清幸鍵井; 誠大江; 健良加納
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2019-10-29
Filing date: 2019-10-29
Publication date: 2023-05-23
Anticipated expiration: 2039-10-29
Also published as: JP2021071498A

Description

特許法第３０条第２項適用平成３１年２月１５日、名城大学ナゴヤドーム前キャンパスにおいて開催された集会「ＮＡＧＯＹＡＢＯＯＳＴＤＡＹ」で資料を公開

特許法第３０条第２項適用令和元年６月２８日、ＷｅＷｏｒｋグローバルゲート名古屋において開催された集会「未来のテクノロジー体験×交流会」で資料を公開

特許法第３０条第２項適用令和元年８月３日、東京ビッグサイトにおいて開催された集会「ＭａｒｋｅｒＦａｉｒｅＴｏｋｙｏ２０１９」で資料を公開

特許法第３０条第２項適用令和元年８月４日、東京ビッグサイトにおいて開催された集会「ＭａｒｋｅｒＦａｉｒｅＴｏｋｙｏ２０１９」で資料を公開

特許法第３０条第２項適用令和元年８月８日、ＮＡＧＯＹＡＩＮＮＯＶＡＴＯＲ’ＳＧＡＲＡＧＥにおいて開催された集会「ＮＡＧＯＹＡＢＯＯＳＴＤＡＹＳｕｍｍｅｒ」で資料を公開

特許法第３０条第２項適用令和元年８月８日、ＷｅＷｏｒｋグローバルゲート名古屋において開催された集会「Ｌｅｔ’ｓＭａｋｅｉｔＨａｐｐｅｎ１ｓｔｒｏｕｎｄ」で資料を公開

特許法第３０条第２項適用令和元年８月２８日、ＷｅＷｏｒｋグローバルゲート名古屋において開催された集会「未来のテクノロジー体験×交流会ｖｏｌ．２」で資料を公開

特許法第３０条第２項適用令和元年９月９日、ＷｅＷｏｒｋＩｃｅｂｅｒｇにおいて開催された集会「Ｌｅｔ’ｓＭａｋｅｉｔＨａｐｐｅｎ２ｎｄｒｏｕｎｄ」で資料を公開

特許法第３０条第２項適用令和元年１０月５日、ＷｅＷｏｒｋＩｃｅｂｅｒｇにおいて開催された集会「Ｌｅｔ’ｓＭａｋｅｉｔＨａｐｐｅｎＦｉｎａｌｒｏｕｎｄ」で資料を公開

特許法第３０条第２項適用令和元年１０月９日、愛知県産業労働センターウインクあいちにおいて開催された集会「Ｃｌｏｕｄ・ＩＴｂｕｓｉｎｅｓｓＭｅｓｓｅ２０１９ｉｎＮａｇｏｙａ」で資料を公開

特許法第３０条第２項適用令和元年１０月１８日、デロイトトーマツベンチャーサポートにおいて開催された集会「ＶｅｎｔｕｒｅＭｅｅｔｕｐＤＸ」で資料を公開

特許法第３０条第２項適用令和元年８月２９日、デンソー技術会会報，ＳａｎｄｐｉｔＮｏ．２７６（２０１９年８月号），第１１～１２頁で発明した記録装置を公開

特許法第３０条第２項適用令和元年７月３１日、ウェブサイト（ｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｗａｔｃｈ？ｖ＝ｚｕｖｕＲｏｔｂＶＡｏ）で発明した記録装置を公開

本発明は、音声や映像の記録装置に関するものである。

従来、例えば特許文献１に開示される記録装置は、ユーザの操作によって会話などの音声の録音を開始するようになっている。

特開２０１０－８９３８号公報

上記のような記録装置では、ユーザの操作によって録音が開始されるため、ユーザが記録しておきたい価値のある音声を確実に録音することが難しい。上記のような記録装置を用いて、記録しておきたい音声を確実に録音するためには、日常生活において常時録音しておけばよいが、それは記憶容量などの関係で現実的ではない。また、大容量の記憶媒体を用いて長時間の連続的な録音が可能な場合であっても、長時間の録音データには、ユーザにとって記録する必要のない部分が多くを占めることとなるため、記憶容量の無駄遣いであり、また、ユーザが録音データから確認したい部分を探し出すことが困難となる。

本発明は、上記課題を解決するためになされたものであって、その目的は、記憶容量を無駄なく使用しつつも、価値のあるデータを確実に記録することを可能にした記録装置を提供することにある。

上記課題を解決する記録装置は、映像及び音声の少なくとも一方を取得するセンサ（１１）と、前記センサから出力された信号から得られた取得データ（Ｄ）に基づいて、感情の高まりを検知する感情検知部（１７）と、前記取得データを常時記録するとともに、記憶領域が満杯になると古いデータから順に上書きするようなループ状の記録を行うメモリ（２１）と、前記感情検知部による感情の高まりの検知に基づいて、当該感情の高まりが検知された時点の前後に亘る期間の前記取得データを、記録装置内または記録装置外の記憶媒体（１４）に出力する出力部（１８）と、を備える。

この構成によれば、長時間の連続的なデータの記録をしなくても、感情が高まったときのユーザにとって価値のある映像データまたは音声データを確実に保存することが可能となる。

実施形態の記録装置を含むシステムの概略構成図。同形態におけるデータ保存処理を説明するための説明図。同形態における制御装置の制御態様を説明するための説明図。同形態における制御装置の制御態様を説明するためのフロー図。

以下、記録装置の一実施形態について説明する。
図１に示すように、本実施形態の記録装置１０は、例えば、家のリビングなどの家族が集まる場所で用いられて、家族団らんの様子を音声で記録することを想定した音声レコーダである。

記録装置１０は、記録装置１０の周囲の音を集音するマイクなどの集音部１１と、制御部１２と、通信部１３と、記憶媒体１４と、を備えている。記憶媒体１４には、制御部１２による音声データＤの読み取り及び書き込みが可能である媒体が用いられる。記憶媒体１４には、フラッシュメモリなどの不揮発性メモリを用いることが好ましい。

制御部１２は、コンピュータプログラム（ソフトウェア）に従って各種処理を実行する１つ以上のプロセッサ、または、各種処理のうち少なくとも一部の処理を実行する、特定用途向け集積回路（ＡＳＩＣ）などの１つ以上の専用のハードウェア回路、または、それらの組み合わせ、を含む回路（circuitry）として構成し得る。プロセッサは、ＣＰＵ並びに、ＲＡＭ及びＲＯＭなどのメモリを含み、メモリは、処理をＣＰＵに実行させるように構成されたプログラムコードまたは指令を格納している。メモリすなわちコンピュータ可読媒体は、汎用または専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。

制御部１２は、変換部１５と、分析部１６と、感情検知部１７と、出力部１８と、報知信号出力部１９と、予測部２０と、ＲＡＭ及びＲＯＭなどのメモリ２１と、を備えている。

変換部１５は、集音部１１で集音された音のアナログ波形信号を音声データＤに変換する。当該音声データＤは制御部１２のメモリ２１に記憶される。また、音声データＤは、集音部１１から出力された信号から得られた取得データに該当する。

音声データＤをメモリ２１に記憶させる処理では、メモリ２１の指定アドレスに音声データＤを順次記録し、指定アドレスがメモリ２１の最終アドレスに達したときに、指定アドレスをメモリ２１の初期アドレスに戻す。これにより、音声データＤがメモリ２１に常時記録されるとともに、メモリ２１の記憶領域が満杯になったときに、再び初期アドレスから上書きするループ状の記録がメモリ２１に対して行われる。

分析部１６は、変換部１５で得られた音声データＤの周波数分析を行う。具体的には、分析部１６は、ケプストラム分析によって人の声道の特性を表すスペクトル包絡を抽出するための周波数分析を、所定時間（例えば数秒）毎に行う。

感情検知部１７は、分析部１６による周波数分析の結果に基づき、感情の高まりを検知する。
詳しくは、感情検知部１７は、周波数分析の結果から、予め設定された複数の感情の種類毎に、感情を定量化した値である感情レベルＥを算出する。例えば、前記複数の感情の種類は喜怒哀楽を含み、感情検知部１７は、喜びの感情レベル、怒りの感情レベル、哀しみの感情レベル、楽しさの感情レベルを、周波数分析の結果からそれぞれ算出する。なお、周波数分析の結果から感情を定量化する手法としては、機械学習による典型的な手法を用いることができる。

そして、感情検知部１７は、周波数分析の結果から得られた感情レベルＥと、制御部１２のメモリ２１に予め記憶された感情しきい値Ｅｔとを比較し、感情レベルＥが感情しきい値Ｅｔ以上であるとき、感情の高まりがあったと判定する。この感情検知部１７による感情の高まりの検知は、前記所定時間毎の周波数分析の都度行われる。なお、感情しきい値Ｅｔは、複数の感情の種類毎に区別されない統一の値であってもよい。また、前記複数の感情の種類のそれぞれに応じた複数の感情しきい値Ｅｔを用意し、複数の感情の種類のそれぞれについて、各感情しきい値Ｅｔに基づく感情の高まりの検知を行ってもよい。

出力部１８は、感情検知部１７による感情の高まりの検知に基づいて、データ保存処理を行う。
図２に示すように、出力部１８によるデータ保存処理では、感情の高まりが検知された時点の前後に亘る期間の音声データＤを、記録装置１０内の記憶媒体１４に出力し、記憶媒体１４に記憶させる。詳しくは、感情の高まりが検知された時点から遡及時間ｔ１だけ遡及した時点を保存開始点Ｐ１とし、感情の高まりが検知された時点から経過時間ｔ２だけ経過した時点を保存終了点Ｐ２として、保存開始点Ｐ１から保存終了点Ｐ２までに亘る音声データＤを記憶媒体１４に保存する。なお、上記の遡及時間ｔ１と経過時間ｔ２は予め設定された時間である。

報知信号出力部１９は、上記データ保存処理によって保存された音声データＤに関する情報を、ネットワーク３０を介してスマートフォンなどの外部端末４０に送信する。なお、外部端末４０に送信される音声データＤに関する情報としては、例えば、音声データＤが保存された日時や、音声データ名や、どの種類の感情に基づく音声データＤであるか、などの情報が挙げられる。なお、報知信号出力部１９から外部端末４０に送信される音声データＤに関する情報は報知信号に該当する。

本実施形態のシステムでは、上記データ保存処理にて記憶媒体１４に保存した音声データＤを、外部端末４０にて再生可能となっている。
例えば、ユーザの外部端末４０の操作により外部端末４０から出力された音声データＤの再生要求の信号を、通信部１３を介して制御部１２が受けると、制御部１２は、上記データ保存処理にて保存した音声データＤを記憶媒体１４から読み取り、当該音声データＤを通信部１３の近距離無線通信によって外部端末４０に直接送信する。これにより、記憶媒体１４に保存された音声データＤが外部端末４０にて再生されるようになっている。また、このように、ネットワーク３０を介さずに、音声データＤを記録装置１０から外部端末４０に直接送信することで、音声データＤの外部漏洩のおそれを排除でき、ユーザのプライバシーが確保される。

また、本実施形態のシステムでは、外部端末４０の操作によって、ユーザによる感情しきい値Ｅｔの大きさの設定が可能となっている。ユーザの外部端末４０の操作により外部端末４０から出力されたしきい値設定情報を、ネットワーク３０及び通信部１３を介して制御部１２が受けると、制御部１２は、そのしきい値設定情報に基づいて、感情検知部１７にて感情の高まりの検知に用いる感情しきい値Ｅｔを設定する。

図３に示すように、感情検知部１７は、過去の所定時間Ｔ分（例えば前日分や過去１週間分など）の感情レベルＥの大きさをメモリ２１に記憶させる。制御部１２の予測部２０は、過去の所定時間Ｔ分の感情レベルＥに基づいて、感情しきい値Ｅｔの大きさに応じた、一定時間当たり（例えば１日当たり）の感情の高まりが検知される回数を予測する。その予測部２０にて予測された予測値のデータは、通信部１３を介して外部端末４０に送信される。

そして、ユーザが外部端末４０の操作によって感情しきい値Ｅｔを設定する際、予測値が外部端末４０の設定画面に表示されるようになっている。例えば、ユーザが感情しきい値Ｅｔとしてある値を外部端末４０に入力したとき、その値を感情しきい値Ｅｔに設定した場合に感情の高まりが１日で何回検知されるか（すなわち、音声データＤを１日で何件録れるか）を、外部端末４０の設定画面に表示させる。これにより、ユーザの環境に応じた好適な感情しきい値Ｅｔの設定が可能となっている。

次に、上記の記録装置１０における制御部１２の制御態様について、図４のフロー図に従って説明する。
図４に示すように、ステップＳ１では、集音部１１から出力された信号から得られた音声データＤをメモリ２１に記憶させる。

次ぐステップＳ２では、音声データＤから算出された感情レベルＥが感情しきい値Ｅｔ以上であるか否かを判定する。ここで、感情レベルＥが感情しきい値Ｅｔ未満である場合、ステップＳ１に戻る。一方、感情レベルＥが感情しきい値Ｅｔ以上である場合、ステップＳ３に移行する。

ステップＳ３では、感情レベルＥが感情しきい値Ｅｔ以上であると判定された時点の前後に亘る期間の音声データＤを、記憶媒体１４に記憶させる。これにより、感情の高まりが検知された時点の前後に亘る期間の音声データＤが記憶媒体１４に保存される。

本実施形態の効果について説明する。
（１）出力部１８は、感情検知部１７による感情の高まりの検知に基づいて、当該感情の高まりが検知された時点の前後に亘る期間の音声データＤを、記録装置１０内の記憶媒体１４に出力する。この構成によれば、長時間の連続的なデータの記録をしなくても、感情が高まったときのユーザにとって価値のある音声データを確実に保存することが可能となる。また、感情が高まったときに記録装置１０が自動的に音声データＤを保存するため、感情が高まったときのユーザが録音しておこうとも思っていなかった音声データＤを残しておくことが可能となる。従って、本実施形態の記録装置１０の用途においては、例えば、感情が高まったときの親子の喜ばしい会話などをユーザが聞き返すことが可能となり、それにより、育児の心理的負担の軽減に寄与できる。また、上記構成によれば、記憶媒体１４を無駄なく効率的に使用できるため、記憶媒体１４に、価値のあるデータをより多く保存することができる。

（２）感情検知部１７は、音声データＤから、感情を定量化した値である感情レベルＥを算出し、予め設定された感情しきい値Ｅｔと感情レベルＥとの比較によって感情の高まりを検知する。これにより、音声データＤから感情の高まりの検知が可能となる。

（３）記録装置１０は、ユーザ操作に基づいて感情しきい値Ｅｔが設定可能に構成されている。これにより、ユーザの使用環境に応じて適切な感情しきい値Ｅｔを設定することが可能となる。従って、ユーザにとって価値のある音声データＤをより適切に保存することが可能となる。

（４）予測部２０は、感情検知部１７にて算出された過去の所定時間Ｔ分の感情レベルＥに基づいて、感情しきい値Ｅｔの大きさに応じた、一定時間当たりの感情の高まりが検知される回数を予測する。従って、感情しきい値Ｅｔの設定の際に予測部２０による予測値を用いることで、感情しきい値Ｅｔを適切な値に設定することが容易となる。

（５）報知信号出力部１９は、出力部１８による音声データＤの出力が行われた旨を示す報知信号を、報知部としての外部端末４０に出力する。これにより、感情が高まったときの価値のある音声データＤが録音された旨をユーザが容易に把握できる。また、本実施形態では、報知信号として、音声データＤが保存された日時や、音声データ名や、どの種類の感情に基づく音声データＤであるか、などの情報が外部端末４０に送信される。これにより、聞き返したい音声データＤをユーザが容易に確認することが可能となる。

本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・記憶媒体１４に保存された音声データＤを再生するためのスピーカを記録装置１０に備えてもよい。

・ユーザが一定時間当たり（例えば１日当たり）に取得したい音声データＤの数を設定可能とし、そのユーザの所望の設定数と予測部２０による前記予測値に基づいて、感情しきい値Ｅｔが自動設定される構成としてもよい。

また、感情検知部１７にて算出された過去の感情レベルＥのデータに基づいて、感情レベルＥの周期性（ある曜日で感情レベルＥが高くなりやすいなど）を検出し、その感情レベルＥの周期性に基づいて感情しきい値Ｅｔを適正値に自動調整する構成としてもよい。

・記録装置１０本体に感情しきい値Ｅｔを変更するための操作部を備え、その操作部の操作によって感情しきい値Ｅｔを変更可能に構成してもよい。この場合、感情しきい値Ｅｔを表示するための表示モニタを記録装置１０本体に設けてもよい。

・記録装置１０本体に報知部を備え、報知信号出力部１９が、出力部１８による音声データＤの出力が行われた旨を示す報知信号を、記録装置１０本体の報知部に出力してもよい。この報知部としては、ＬＥＤなどの表示灯やスピーカなどが挙げられる。報知部は、報知信号出力部１９からの報知信号に基づいて、出力部１８による音声データＤの出力が行われた旨、すなわち記憶媒体１４への音声データＤの保存がなされた旨を報知する。これにより、感情が高まったときの価値のある音声データＤが録音された旨をユーザが容易に把握できる。また、この場合、高まった感情の種類に応じて、報知部による報知の種類を変化させてもよい。

・出力部１８は、感情検知部１７による感情の高まりの検知に基づいて、当該感情の高まりが検知された時点の前後に亘る期間の音声データＤを、外部サーバなどの記憶媒体に出力してもよい。この場合、記録装置１０内に設けられる記憶媒体１４を省略してもよい。

・音声データＤが記憶媒体１４に保存される度に、当該音声データＤが外部端末４０に送信されるように構成してもよいし、予め設定された設定時刻までに記憶媒体１４に保存された音声データＤが、当該設定時刻にまとめて外部端末４０に送信されるように構成してもよい。

・本実施形態は、音声を録音する音声レコーダへの適用例を示したが、これ以外に例えば、映像及び音声を記録、または、映像のみを記録する記録装置に適用することも可能である。すなわち、映像及び音声を記録するドライブレコーダなどに適用することも可能である。

例として、映像及び音声を記録する記録装置の場合、集音部１１に加えて画像を撮像する画像センサを備える。感情検知部１７は、音声データＤ及び画像センサからの信号から得られた映像データの少なくとも一方に基づいて、感情の高まりを検知する。なお、映像データからの感情検知の一例としては、映像内の人物の表情や行動などから感情を検知することが考えられる。そして、出力部１８は、感情検知部１７による感情の高まりの検知に基づいて、当該感情の高まりが検知された時点の前後に亘る期間の音声データＤ及び映像データを、記憶媒体１４に出力する。このような構成によれば、長時間の連続的なデータの記録をしなくても、感情が高まったときのユーザにとって価値のある音声データＤ及び映像データを確実に保存することが可能となる。

１０…記録装置、１１…集音部（センサ）、１４…記憶媒体、１７…感情検知部、１８…出力部、１９…報知信号出力部、２０…予測部、４０…外部端末（報知部）、Ｄ…音声データ（取得データ）、Ｅ…感情レベル、Ｅｔ…感情しきい値。

Claims

映像及び音声の少なくとも一方を取得するセンサ（１１）と、
前記センサから出力された信号から得られた取得データ（Ｄ）に基づいて、感情の高まりを検知する感情検知部（１７）と、
前記取得データを常時記録するとともに、記憶領域が満杯になると古いデータから順に上書きするようなループ状の記録を行うメモリ（２１）と、
前記感情検知部による感情の高まりの検知に基づいて、当該感情の高まりが検知された時点の前後に亘る期間の前記取得データを、記録装置内または記録装置外の記憶媒体（１４）に出力する出力部（１８）と、を備えた記録装置。
前記感情検知部は、前記取得データから、感情を定量化した値である感情レベル（Ｅ）を算出し、予め設定された感情しきい値（Ｅｔ）と前記感情レベルとの比較によって感情の高まりを検知する、請求項１に記載の記録装置。
ユーザ操作に基づいて前記感情しきい値が設定可能に構成された、請求項２に記載の記録装置。
前記感情検知部にて算出された前記感情レベルに基づいて、前記感情しきい値の大きさに応じた、一定時間当たりの感情の高まりが検知される回数を予測する予測部（２０）を備えた、請求項２又は請求項３に記載の記録装置。
前記出力部による前記取得データの出力が行われた旨を示す報知信号を、記録装置内または記録装置外の報知部（４０）に出力する報知信号出力部（１９）を備えた、請求項１から請求項４のいずれか１項に記載の記録装置。