JP7204283B2 - 雰囲気推測装置およびコンテンツの提示方法 - Google Patents
雰囲気推測装置およびコンテンツの提示方法 Download PDFInfo
- Publication number
- JP7204283B2 JP7204283B2 JP2018070978A JP2018070978A JP7204283B2 JP 7204283 B2 JP7204283 B2 JP 7204283B2 JP 2018070978 A JP2018070978 A JP 2018070978A JP 2018070978 A JP2018070978 A JP 2018070978A JP 7204283 B2 JP7204283 B2 JP 7204283B2
- Authority
- JP
- Japan
- Prior art keywords
- atmosphere
- unit
- content
- authenticated
- place
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、複数の人間によって醸成される場の雰囲気を推測する雰囲気推測装置に関する。
近年のＩＴ技術の進歩に伴って、コンピュータが各人を認識したり、各人が抱いている感情を推測することが行われるようになっている。これにより、従来は手作業で行っていたことがコンピュータで代替されるようになっている。
特許文献１には、推定した感情に基づいて、よりユーザに適した情報を提示する発明が記載されている。特許文献１の要約の解決手段には、「情報提示装置の制御方法は、センサにより取得した物理量に基づいてユーザが抱いている感情を推定し（Ｓ１０２）、センサにより取得した物理量、又は、情報提示装置が備える提示部によりユーザに提示した情報に基づいて、ユーザに、推定した感情を引き起こした対象を特定する特定情報を生成し（Ｓ１０４）、推定した感情と、生成した特定情報とを用いた所定の処理を実行することで取得した情報を用いて、情報提示装置による提示を制御する（Ｓ１０５）。」と記載されている。
特許文献１に記載されている発明は、一人の人間に適した情報を提示するには有効である。しかし、車両内や家庭内に複数の人間が居るときに、これら複数の人間によって醸成される場の雰囲気を推測したり、この場の雰囲気に応じた情報を提示することはできない。
そこで、本発明は、複数の人間によって醸成される場の雰囲気を推測することを課題とする。
本発明は、上記目的を達成するため、複数の構成員を含んだ場を撮影するカメラと、
前記場の音声を収録するマイクと、前記カメラで撮影した画像と前記マイクで収録した音声から、各構成員の行動と感情を分析する分析部と、一の構成員の行動後に他の構成員の不快度が上がった場合、および、前記複数の構成員の相互関係が希薄な場合に、前記場の雰囲気が悪いと推測する推測部と、前記推測部が推測した前記場の雰囲気が悪い場合には、当該場の雰囲気の悪さを解消するための推奨項目を提示する推奨部と、を備えることを特徴とする雰囲気推測装置である。
前記場の音声を収録するマイクと、前記カメラで撮影した画像と前記マイクで収録した音声から、各構成員の行動と感情を分析する分析部と、一の構成員の行動後に他の構成員の不快度が上がった場合、および、前記複数の構成員の相互関係が希薄な場合に、前記場の雰囲気が悪いと推測する推測部と、前記推測部が推測した前記場の雰囲気が悪い場合には、当該場の雰囲気の悪さを解消するための推奨項目を提示する推奨部と、を備えることを特徴とする雰囲気推測装置である。
本発明によれば、複数の人間によって醸成される場の雰囲気を推測することが可能となる。
以降、本発明を実施するための形態を、各図を参照して詳細に説明する。
図１は、本実施形態におけるシステムの概略を示す構成図である。
このシステムは、車両３と自宅２に設置された各種機器が、クラウドサーバ１と相互に通信可能に接続されて構成される。
図１は、本実施形態におけるシステムの概略を示す構成図である。
このシステムは、車両３と自宅２に設置された各種機器が、クラウドサーバ１と相互に通信可能に接続されて構成される。
車両３は、ナビゲーション装置３０が設置され、この車両３のエンジンなどを制御する電子制御ユニット４３とＣＡＮ（Controller Area Network）を介して接続されている。ナビゲーション装置３０は、スマートフォン５を介してネットワークＮ上のクラウドサーバ１と相互に通信可能である。このナビゲーション装置３０には、マイク３１、カメラ３２、ディスプレイモニタ３３、スピーカ３４が接続されている。
なお、ナビゲーション装置３０自体がネットワーク通信機能を持ち、ネットワークＮ上のクラウドサーバ１と相互に通信可能であってもよく、限定されない。
なお、ナビゲーション装置３０自体がネットワーク通信機能を持ち、ネットワークＮ上のクラウドサーバ１と相互に通信可能であってもよく、限定されない。
マイク３１は、音声を収録するものである。カメラ３２は、この車両３の各乗員を撮影するものである。ディスプレイモニタ３３には、視覚情報の表示手段であり、文字や図形や写真や映像などが表示される。スピーカ３４は、聴覚情報の報知手段であり、音声や音楽などが報知される。
車両３の各シートには、シート調整機構４１が設けられ、ナビゲーション装置３０により任意のシートポジションにセット可能である。各シートには更に心拍センサ３７１と体温センサ３７２が設けられ、各乗員のライフログとしての生体情報をセンシング可能である。車両３には、人感センサ３６１、温湿度センサ３６２、照度センサ３６３が設けられており、この車両３の内部環境をセンシングすることができる。車両３には、空調機４２が設けられており、車両３内部の温度と湿度を調和可能である。
この車両３において、ナビゲーション装置３０は、複数の人間によって醸成される場の雰囲気を推測する機能を有する。
この車両３において、ナビゲーション装置３０は、複数の人間によって醸成される場の雰囲気を推測する機能を有する。
自宅２にはゲートウェイ２０、テレビ２１、カメラ２２、スマートスピーカ２３が設置されている。自宅２には更に、空調機２４、人感センサ２６１、温湿度センサ２６２、照度センサ２６３が設置されている。テレビ２１やスマートスピーカ２３は、ゲートウェイ２０を介してクラウドサーバ１と相互に通信可能に接続される。この自宅２において、スマートスピーカ２３は、ナビゲーション装置３０と同様に、複数の人間によって醸成される場の雰囲気を推測する機能を有する。
以下、ナビゲーション装置３０を例に、雰囲気推測装置としての構成と動作を説明するが、自宅２におけるスマートスピーカ２３も同様に、雰囲気推測装置として動作可能である。
以下、ナビゲーション装置３０を例に、雰囲気推測装置としての構成と動作を説明するが、自宅２におけるスマートスピーカ２３も同様に、雰囲気推測装置として動作可能である。
図２は、ルームミラー付近に設置されたカメラ３２で撮影された車両３の内部画像の一例を示す図である。
この内部画像には２名の乗員が撮影されている。これら２名の乗員は、それぞれ前部シート４に着座している。なお、図の左側の乗員は運転者である。このように、カメラ３２によれば、各前部シート４に着座している乗員を撮影することができる。しかし、これに限られず、カメラ３２は、後部シート４Ｂに着座する乗員も撮影可能である。
各前部シート４には、図１に示すシート調整機構４１が組み込まれている。更に前部シート４と後部シート４Ｂには、心拍センサ３７１と体温センサ３７２が設置されており、各乗員の生体情報をリアルタイムにセンシング可能である。
この内部画像には２名の乗員が撮影されている。これら２名の乗員は、それぞれ前部シート４に着座している。なお、図の左側の乗員は運転者である。このように、カメラ３２によれば、各前部シート４に着座している乗員を撮影することができる。しかし、これに限られず、カメラ３２は、後部シート４Ｂに着座する乗員も撮影可能である。
各前部シート４には、図１に示すシート調整機構４１が組み込まれている。更に前部シート４と後部シート４Ｂには、心拍センサ３７１と体温センサ３７２が設置されており、各乗員の生体情報をリアルタイムにセンシング可能である。
図３は、車両３に設置されたカメラ３２とディスプレイモニタ３３の外観図である。
車両３のダッシュボードには、ナビゲーション装置３０が装着されており、その前面にディスプレイモニタ３３が張り出すように設置されている。
車両３のダッシュボードには、ナビゲーション装置３０が装着されており、その前面にディスプレイモニタ３３が張り出すように設置されている。
図４は、ルームミラー付近に設置されたカメラ３２を示す図である。
ルームミラー３５は、車内の中心上部に設置されている。ルームミラー３５の中央下部には、カメラ３２が設置されている。このように、ルームミラー３５の付近にカメラ３２が設置されているので、ナビゲーション装置３０は、前部シート４と後部シート４Ｂに着座している乗員を容易に検知可能である。
ルームミラー３５は、車内の中心上部に設置されている。ルームミラー３５の中央下部には、カメラ３２が設置されている。このように、ルームミラー３５の付近にカメラ３２が設置されているので、ナビゲーション装置３０は、前部シート４と後部シート４Ｂに着座している乗員を容易に検知可能である。
図５は、ナビゲーション装置３０の構成と動作を示す図である。
ナビゲーション装置３０は、マイク３１とカメラ３２、心拍センサ３７１と体温センサ３７２、人感センサ３６１と温湿度センサ３６２と照度センサ３６３に電気的に接続されている。
このナビゲーション装置３０は、各種センサ情報を取得して各乗員を個人認証し、この乗員の感情と行動とから雰囲気を推測する。更にナビゲーション装置３０は、場の雰囲気を推測して、推測した場の雰囲気が悪いときには、それを解消するような推奨情報を各乗員に提示する。
ナビゲーション装置３０は、マイク３１とカメラ３２、心拍センサ３７１と体温センサ３７２、人感センサ３６１と温湿度センサ３６２と照度センサ３６３に電気的に接続されている。
このナビゲーション装置３０は、各種センサ情報を取得して各乗員を個人認証し、この乗員の感情と行動とから雰囲気を推測する。更にナビゲーション装置３０は、場の雰囲気を推測して、推測した場の雰囲気が悪いときには、それを解消するような推奨情報を各乗員に提示する。
ナビゲーション装置３０は、個人音声検出部６１１、音声特徴量算出部６１２、画像処理部６２１、画像特徴量算出部６２２、生体情報パターン算出部６９１、運転パターン算出部６９２を備えている。更にナビゲーション装置３０は、個人認証部６３、感情分析部６４、行動分析部６５、雰囲気推測部６６、推奨部６７、通信部６８、コンテンツ評価データベース６７１を備えている。
個人音声検出部６１１は、マイク３１が集音した音声データを取得して、この音声データに対してスペクトログラム（Spectrogram）の信号処理を行って声紋を得る。処理結果である声紋は、音声特徴量算出部６１２、個人認証部６３、感情分析部６４、行動分析部６５に出力される。音声特徴量算出部６１２は、声紋を機械学習して、この音声データに係る特徴量を算出する。この特徴量は、個人認証部６３と感情分析部６４に出力される。個人音声検出部６１１の処理結果である声紋の例を、後記する図９に示す。
画像処理部６２１は、カメラ３２が撮像した画像データを取得して、顔領域を検出する処理や、顔のうち両目、鼻、口の両端などの三次元座標を検出する処理を行い、画像データの処理結果を画像特徴量算出部６２２、個人認証部６３に出力する。画像特徴量算出部６２２は、処理結果である各部の三次元座標を機械学習して、この画像データに係る特徴量を算出し、この特徴量を個人認証部６３、感情分析部６４、行動分析部６５に出力する。画像処理部６２１の処理結果である各部の三次元座標の例を、後記する図１０に示す。画像処理部６２１は、顔領域を検出する機能だけではなく、視線を検出する機能や、顔の向きを検出する機能も有している。これにより、誰が誰に話し掛けたのかを容易に判定可能であり、場の雰囲気の推定に役立てることができる。
生体情報パターン算出部６９１は、心拍センサ３７１がセンシングした心拍データ（生体情報の一例）と、体温センサ３７２がセンシングした体温データ（生体情報の一例）を取得して、これら生体情報のパターンを分析する。分析した生体情報パターンは、個人認証部６３と行動分析部６５と個人認証部６３に出力される。
運転パターン算出部６９２は、電子制御ユニット４３から出力されるＣＡＮデータから運転パターンを算出する。ＣＡＮデータは、例えば車速、ブレーキ、アクセル開度、ハンドル切れ角、ドア開閉などの操作情報を含んでいる。運転パターン算出部６９２が算出した運転パターンにより、運転手である乗員の行動や感情を知ることができる。
感情分析部６４は、声紋およびこの声紋から算出した特徴量、顔の三次元像およびこの顔の三次元像から算出した特徴量、並びに生体情報パターンおよび運転パターンに基づいて、各乗員の感情を分析する。感情分析部６４は更に、温湿度センサ３６２や照度センサ３６３がセンシングした環境情報による感情の傾向を加味する。これにより、単一のセンサでセンシングしたデータから感情を分析するよりも次元数が多くなるので、感情の分析精度を向上させることができる。感情分析部６４は、分析した感情空間の座標値を雰囲気推測部６６に出力する。
行動分析部６５は、声紋およびこの声紋から算出した特徴量、顔の三次元像およびこの顔の三次元像から算出した特徴量、並びに生体情報パターンおよび運転パターンに基づいて、各乗員の行動を分析する。これにより、単一のセンサでセンシングしたデータから感情を分析するよりも次元数が多くなるので、行動の分析精度を向上させることができる。行動分析部６５は、分析結果として例えば「発声」、「ジェスチャ」、「急ブレーキ」などの行動を雰囲気推測部６６に出力する。
個人認証部６３は、音声データの処理結果、画像データの処理結果、生体情報パターン、分析した運転パターンをどのように組み合わせられるか判定し、この判定に基づいて音声の特徴量、画像の特徴量、生体データの特徴量、運転パターンを組み合わせる。個人認証部６３は更に、組み合わせた複数の特徴量を、不図示の記憶部に格納された各個人の特徴点と比較して、各センサによって捉えられた乗員が誰であるかを認証する。このように、乗員が誰であるかを認証する処理を、個人認証という。
雰囲気推測部６６は、個人認証部６３が判定した乗員と、感情分析部６４が分析した複数の乗員の感情によって形成される「場の雰囲気」を推測する。
推奨部６７は、場の雰囲気が悪い場合には、それを解消して場の雰囲気を良くするためにコンテンツを推奨する。
ナビゲーション装置３０は更に、通信部６８、コンテンツ評価データベース６７１を備えている。
推奨部６７は、場の雰囲気が悪い場合には、それを解消して場の雰囲気を良くするためにコンテンツを推奨する。
ナビゲーション装置３０は更に、通信部６８、コンテンツ評価データベース６７１を備えている。
コンテンツ評価データベース６７１には、推奨部６７が推奨したコンテンツの選択結果を、このコンテンツの評価として格納するデータベースである。これにより推奨部６７は、より適切なコンテンツを推奨できるようになる。
推奨部６７は、例えば、ディスプレイモニタ３３やスピーカ３４により、推奨する音楽コンテンツや映像コンテンツのタイトルなどを報知したり、これら音楽／映像コンテンツの再生を開始したりする。推奨部６７は、シート調整機構４１を適宜調整するというコンテンツを推奨して、該当する乗員をリラックスさせる。また推奨部６７は、空調機４２を適宜運転させて、この車両３の乗員の快適度を向上させる。
推奨部６７は、例えば、ディスプレイモニタ３３やスピーカ３４により、推奨する音楽コンテンツや映像コンテンツのタイトルなどを報知したり、これら音楽／映像コンテンツの再生を開始したりする。推奨部６７は、シート調整機構４１を適宜調整するというコンテンツを推奨して、該当する乗員をリラックスさせる。また推奨部６７は、空調機４２を適宜運転させて、この車両３の乗員の快適度を向上させる。
通信部６８は、例えばWi-Fi方式で外部と通信するネットワーク・インタフェースであり、運転者である乗員が有するスマートフォン５との間で、相互に情報を通信するためのものである。通信部６８およびスマートフォン５上で実行されるアプリケーションにより、コンテンツ評価データベース６７１の内容をクラウドサーバ１と同期させることができる。
なお、これに限られず通信部６８は、例えばBluetooth（登録商標）など、任意の通信方式で通信してもよい。通信部６８は、例えば通信キャリアとの間で直接に通信を行い、コンテンツ評価データベース６７１の内容をクラウドサーバ１と同期させてもよい。
なお、これに限られず通信部６８は、例えばBluetooth（登録商標）など、任意の通信方式で通信してもよい。通信部６８は、例えば通信キャリアとの間で直接に通信を行い、コンテンツ評価データベース６７１の内容をクラウドサーバ１と同期させてもよい。
図６は、ナビゲーション装置３０による場の雰囲気の推測処理を示すフローチャートである。
ナビゲーション装置３０において、個人認証部６３は、カメラ３２で撮影した顔画像と、マイク３１で収録した音声の音紋に基づいて乗員であるメンバを認証する（ステップＳ１０）。ここで個人認証部６３は、顔画像の口の動きと音声の有無とを関連づけて、どの乗員が発話した音声であるかを検知する。
ナビゲーション装置３０において、個人認証部６３は、カメラ３２で撮影した顔画像と、マイク３１で収録した音声の音紋に基づいて乗員であるメンバを認証する（ステップＳ１０）。ここで個人認証部６３は、顔画像の口の動きと音声の有無とを関連づけて、どの乗員が発話した音声であるかを検知する。
次に感情分析部６４は、画像と音声に基づいて運転者と同乗者の感情を分析し、ＣＡＮデータに基づいて運転者の感情を分析する（ステップＳ１１）。運転者の感情分析のため、運転パターン算出部６９２は、この車両３の電子制御ユニット４３からＣＡＮデータを取得し、ＣＡＮデータに含まれる車速・ブレーキ・アクセル開度・ハンドル切れ角などから運転パターンを算出する。運転パターン算出部６９２が特に算出すべき運転パターンは、急ブレーキと急ハンドルである。これにより、他の乗員の不快度が増し、よって場の雰囲気が悪化することが考えられるためである。
雰囲気推測部６６は、メンバの動作に対する他のメンバの感情変化により、メンバ相互の関係性を推測する（ステップＳ１２）。ここでメンバ相互の関係性とは、例えば後記する図１９から図２１に示したものである。
雰囲気推測部６６は、メンバの動作に対する他のメンバの感情変化により、メンバ相互の関係性を推測する（ステップＳ１２）。ここでメンバ相互の関係性とは、例えば後記する図１９から図２１に示したものである。
雰囲気推測部６６は、メンバ相互の関係性から場の雰囲気を推測する。
ステップＳ１４において、推奨部６７は、場の雰囲気が良好であれば（Ｙｅｓ）、再生中のコンテンツにメンバと紐付けした正の評価値を付与したのち（ステップＳ１５）、ステップＳ１０の処理に戻る。推奨部６７は、場の雰囲気が良好でなければ（ステップＳ１４→Ｎｏ）、ステップＳ１６の処理に進む。
ステップＳ１４において、推奨部６７は、場の雰囲気が良好であれば（Ｙｅｓ）、再生中のコンテンツにメンバと紐付けした正の評価値を付与したのち（ステップＳ１５）、ステップＳ１０の処理に戻る。推奨部６７は、場の雰囲気が良好でなければ（ステップＳ１４→Ｎｏ）、ステップＳ１６の処理に進む。
ステップＳ１６において、推奨部６７は、コンテンツが中断されたならば（Ｎｏ）、中断したメンバとコンテンツを紐付けした負の評価値を付与し（ステップＳ１７）、ステップＳ１０の処理に戻る。推奨部６７は、コンテンツが中断されていないならば（ステップＳ１６→Ｎｏ）、ステップＳ１８の処理に進む。
推奨部６７は、場の雰囲気が悪くないならば（ステップＳ１８→Ｎｏ）、ステップＳ１０の処理に戻る。推奨部６７は、場の雰囲気が悪いならば（ステップＳ１８→Ｙｅｓ）、ステップＳ１９の処理に進む。
ステップＳ１９において、推奨部６７は、ディスプレイモニタ３３への視線を検知していないならば（Ｎｏ）、ステップＳ１０の処理に戻る。推奨部６７は、ディスプレイモニタ３３への視線を検知したならば（Ｙｅｓ）、ステップＳ２０の処理に進む。つまり推奨部６７は、場の雰囲気が悪く（ステップＳ１８→Ｙｅｓ）、かつディスプレイモニタ３３への視線を検知したならば（ステップＳ１９→Ｙｅｓ）、ステップＳ２０の処理に進む。
ステップＳ２０において、推奨部６７は、場の雰囲気が悪いことの主要因が、特定者の雰囲気が悪いことによるのか否かを判定する。
推奨部６７は、特定者の雰囲気が悪いならば（ステップＳ２０→Ｙｅｓ）、この特定者が好むコンテンツを推奨するか、またはこの特定者が好むシートポジションを推奨し（ステップＳ２２）、ステップＳ２３の処理に進む。推奨部６７は、コンテンツ評価データベース６７１を参照して、この特定者が好むコンテンツを特定する。
推奨部６７は、特定者の雰囲気が悪いならば（ステップＳ２０→Ｙｅｓ）、この特定者が好むコンテンツを推奨するか、またはこの特定者が好むシートポジションを推奨し（ステップＳ２２）、ステップＳ２３の処理に進む。推奨部６７は、コンテンツ評価データベース６７１を参照して、この特定者が好むコンテンツを特定する。
推奨部６７は、特定者の雰囲気が悪いのではなかったならば（ステップＳ２０→Ｎｏ）、メンバ全体が好むコンテンツを推奨するか、またはメンバ全体に対して好みのシートポジションを推奨し（ステップＳ２１）、ステップＳ２３の処理に進む。推奨部６７は、コンテンツ評価データベース６７１を参照して、メンバ全体が好むコンテンツを特定する。なお、推奨部６７は、メンバ全体が好むコンテンツに限られず、メンバのいずれもが負の評価をしていないコンテンツを特定してもよく、限定されない。
ステップＳ２３において、推奨部６７は、選択または非選択の結果に応じた評価値をコンテンツに付与し、ステップＳ１０の処理に戻る。ここで推奨部６７は、コンテンツ評価データベース６７１の評価値を、選択または非選択の結果に応じた評価値に書き換える。
図７は、コンテンツ評価データベース６７１の一例を示す図である。
コンテンツ評価データベース６７１は、コンテンツ名欄と、メンバ欄と、評価値欄を含んでいる。コンテンツ評価データベース６７１が管理するコンテンツは、ここでは音楽と映画である。なお、コンテンツは音楽と映画に限定されず、静止画やテキスト情報などであってもよい。
コンテンツ評価データベース６７１は、コンテンツ名欄と、メンバ欄と、評価値欄を含んでいる。コンテンツ評価データベース６７１が管理するコンテンツは、ここでは音楽と映画である。なお、コンテンツは音楽と映画に限定されず、静止画やテキスト情報などであってもよい。
コンテンツ名欄は、このコンテンツの名称を格納する欄である。メンバ欄は、このコンテンツを評価したメンバ情報を格納する欄である。評価値欄は、このコンテンツをこのメンバがどのように評価したかを示す欄である。
このコンテンツ評価データベース６７１によれば、音楽「Ｇ線上のアリア」は、ＡさんとＢさんが肯定的な評価をしている。Ｃさんの評価は存在しない。このとき推奨部６７は、ＡさんとＢさんとＣさんからなるグループに対して、このコンテンツを推奨する。
これに対して音楽「新世界より」は、Ａさんが否定的な評価をしているため、メンバ全体が好むコンテンツとはならない。このとき推奨部６７は、ＡさんとＢさんとＣさんからなるグループに対して、このコンテンツを推奨しない。
これに対して音楽「新世界より」は、Ａさんが否定的な評価をしているため、メンバ全体が好むコンテンツとはならない。このとき推奨部６７は、ＡさんとＢさんとＣさんからなるグループに対して、このコンテンツを推奨しない。
また、映画「ローマの休日」は、ＡさんとＢさんが肯定的な評価をしている。Ｃさんの評価は存在しない。このとき推奨部６７は、ＡさんとＢさんとＣさんからなるグループに対して、このコンテンツを推奨する。
これに対して、映画「風と共に去りぬ」は、Ｂさんが否定的な評価をしているため、メンバ全体が好むコンテンツとはならない。このとき推奨部６７は、ＡさんとＢさんとＣさんからなるグループに対して、このコンテンツを推奨しない。
これに対して、映画「風と共に去りぬ」は、Ｂさんが否定的な評価をしているため、メンバ全体が好むコンテンツとはならない。このとき推奨部６７は、ＡさんとＢさんとＣさんからなるグループに対して、このコンテンツを推奨しない。
このように、コンテンツ評価データベース６７１には、各コンテンツに対して、どのメンバがどのような評価をしているかが格納されているので、場を構成するメンバに好適なコンテンツを容易に選択可能である。
図８は、ナビゲーション装置３０が声紋特徴量と顔特徴量と運転パターンとを算出するためのフローチャートである。この処理は、図６に示したステップＳ１０の処理を詳細に説明したものである。
以下の個人認証処理において、ステップＳ３０～Ｓ３４の音声に係る処理と、ステップＳ４０～Ｓ４５の画像に係る処理とは、並行に行われる。
以下の個人認証処理において、ステップＳ３０～Ｓ３４の音声に係る処理と、ステップＳ４０～Ｓ４５の画像に係る処理とは、並行に行われる。
《音声処理》
最初、個人音声検出部６１１は、マイク３１が集音した音声を取得する（ステップＳ３０）。個人音声検出部６１１は、カメラ３２が撮像した画像からメンバの口が動いていないときの音声を無音化する（ステップＳ３１）。カメラ３２が撮像した画像からメンバの口の動きを検出する処理は、後記する画像処理のステップＳ４３において行われる。次いで、個人音声検出部６１１は、音声信号にスペクトログラム信号処理を行い、声紋を算出する（ステップＳ３２）。
最初、個人音声検出部６１１は、マイク３１が集音した音声を取得する（ステップＳ３０）。個人音声検出部６１１は、カメラ３２が撮像した画像からメンバの口が動いていないときの音声を無音化する（ステップＳ３１）。カメラ３２が撮像した画像からメンバの口の動きを検出する処理は、後記する画像処理のステップＳ４３において行われる。次いで、個人音声検出部６１１は、音声信号にスペクトログラム信号処理を行い、声紋を算出する（ステップＳ３２）。
次いで、個人音声検出部６１１は、声紋が人の声を含むか否かを判定する（ステップＳ３３）。声紋が人の声を含むか否かは、例えば声の大きさなどで判定できる。個人音声検出部６１１が声を検出できたならば、音声特徴量算出部６１２は、この声紋から特徴量を算出する（ステップＳ３４）。これにより、人の声ではない雑音から特徴量を算出してしまうことを抑止可能である。
音声特徴量算出部６１２が算出する特徴量とは、例えば各声の連続時間、各周波数における相対強度など、複数の次元によって構成される。
《画像処理》
最初、画像処理部６２１は、カメラ３２が撮像した画像を取得する（ステップＳ４０）。カメラ３２は１秒間６０フレームで撮像する。画像処理部６２１は、これら撮影された各フレームの画像を１／６０秒ごとに取得する。
画像処理部６２１は、取得した画像が顔画像を含むか否かを判定し（ステップＳ４１）、顔画像を検出する。次いで画像処理部６２１（画像特定手段）は、顔を構成する各部位の三次元相対座標を算出し（ステップＳ４２）、更に時間的に連続した画像から、口周辺の三次元相対座標の動きを算出し、よって口の動きを検出する（ステップＳ４３）。口の動きの情報は、個人音声検出部６１１に出力されると共に、後記する顔画像と声との対応づけに用いられる。更に画像処理部６２１は、皮膚のしわやしみの三次元相対座標を算出する（ステップＳ４４）。これにより画像処理部６２１は、特徴量の次元を増やして、個人を特定しやすくしている。
最初、画像処理部６２１は、カメラ３２が撮像した画像を取得する（ステップＳ４０）。カメラ３２は１秒間６０フレームで撮像する。画像処理部６２１は、これら撮影された各フレームの画像を１／６０秒ごとに取得する。
画像処理部６２１は、取得した画像が顔画像を含むか否かを判定し（ステップＳ４１）、顔画像を検出する。次いで画像処理部６２１（画像特定手段）は、顔を構成する各部位の三次元相対座標を算出し（ステップＳ４２）、更に時間的に連続した画像から、口周辺の三次元相対座標の動きを算出し、よって口の動きを検出する（ステップＳ４３）。口の動きの情報は、個人音声検出部６１１に出力されると共に、後記する顔画像と声との対応づけに用いられる。更に画像処理部６２１は、皮膚のしわやしみの三次元相対座標を算出する（ステップＳ４４）。これにより画像処理部６２１は、特徴量の次元を増やして、個人を特定しやすくしている。
画像処理部６２１が顔画像を検出したならば、画像特徴量算出部６２２は、これら各部位の三次元相対座標で構成される顔の三次元像から、メンバの顔の特徴量を算出する（ステップＳ４５）。これにより、人の顔が撮影されていない画像から、顔の特徴量を算出してしまうことを抑止可能である。
顔の特徴量は、例えば顔に対する目や鼻の大きさ、顔に対する目や鼻や口の高さなど、複数の次元によって構成される。
図９は、音声による個人認証動作の詳細を示す図である。
図９には、音声波形領域７１と声紋領域７２とが表示されている。音声波形領域７１には、マイク３１が集音した音声の波形が表示される。音声波形領域７１の横軸は時間を示し、縦軸は信号の大きさを示す。
声紋領域７２には、音声波形領域７１に示された音声と同時刻における声紋が表示される。この声紋は、音声信号をハミング・ウインドウに通して周波数スペクトルを計算した結果である。声紋領域７２の横軸は時間を示し、縦軸は周波数を示している。各点の明るさや色は、その時点のその周波数における強さを示している。
図９には、音声波形領域７１と声紋領域７２とが表示されている。音声波形領域７１には、マイク３１が集音した音声の波形が表示される。音声波形領域７１の横軸は時間を示し、縦軸は信号の大きさを示す。
声紋領域７２には、音声波形領域７１に示された音声と同時刻における声紋が表示される。この声紋は、音声信号をハミング・ウインドウに通して周波数スペクトルを計算した結果である。声紋領域７２の横軸は時間を示し、縦軸は周波数を示している。各点の明るさや色は、その時点のその周波数における強さを示している。
人ごとの声の違いは、発声器官（口腔、鼻孔、声帯）や口唇、舌などの違いから生じる。特に声の音色に関しては、口腔や鼻孔の容積および構造によって規定される。声帯から口腔、鼻孔までの形や大きさも人それぞれの特徴を持つ。この特徴は、声紋に現れる。
更に、人の身長は、その人の声の高低と密接に関係している。一般的に身長の高い人ほど体の各部位も大きく、声帯も大きいことが多い。よって、身長が高い人ほど、声が低くなる。声の高低も、声紋に現れる。個人認証部６３は、声紋の機械学習により、音声に係る特徴量を算出でき、声紋の特徴量と各個人の特徴点とを比較することで、個人を認証できる。
更に、人の身長は、その人の声の高低と密接に関係している。一般的に身長の高い人ほど体の各部位も大きく、声帯も大きいことが多い。よって、身長が高い人ほど、声が低くなる。声の高低も、声紋に現れる。個人認証部６３は、声紋の機械学習により、音声に係る特徴量を算出でき、声紋の特徴量と各個人の特徴点とを比較することで、個人を認証できる。
図１０は、画像による個人認証動作の詳細を示す図である。
三次元像７３は、顔画像を各部位の三次元座標と、これら各部位（例えば目尻、口端、鼻の上端と下端、顎の下端など）を結ぶ三次元ワイヤーフレームで構成されている。
三次元像７３は、カメラ３２によって二次元で撮像された画像から顔領域を検出して、この顔領域を三次元像７３に変換することで求められる。
三次元像７３は、顔画像を各部位の三次元座標と、これら各部位（例えば目尻、口端、鼻の上端と下端、顎の下端など）を結ぶ三次元ワイヤーフレームで構成されている。
三次元像７３は、カメラ３２によって二次元で撮像された画像から顔領域を検出して、この顔領域を三次元像７３に変換することで求められる。
顔領域の検出には、主成分分析、線形判別分析、弾性パンチグラフマッチング、隠れマルコフモデル、ニューロン動機付けによるダイナミックリンク照合などを用いることができる。ここで顔の特徴量とは、例えば顔を構成する各部位の相対的な位置関係であり、各部位の三次元座標から求められる。個人認証部６３は、これら各部位の相対的な位置関係と時間的変化を機械学習して各個人の特徴点と幾何学的に比較することで、個人を認証する。
図１１は、個人認証処理のフローチャートである。
この個人認証処理は、図６に示したステップＳ１０の処理を詳細に説明したものである。
以下のステップＳ６０～Ｓ６６の処理は、個人特定識別処理である。この個人特定識別処理は、所定周期（例えば３秒）ごとに繰り返し行われる。
個人認証部６３は、当該周期に画像処理部６２１が検出した顔についてステップＳ６０～Ｓ６６の処理を繰り返す。
この個人認証処理は、図６に示したステップＳ１０の処理を詳細に説明したものである。
以下のステップＳ６０～Ｓ６６の処理は、個人特定識別処理である。この個人特定識別処理は、所定周期（例えば３秒）ごとに繰り返し行われる。
個人認証部６３は、当該周期に画像処理部６２１が検出した顔についてステップＳ６０～Ｓ６６の処理を繰り返す。
ステップＳ６１において、個人認証部６３は、この顔画像に声が対応しているか否かを判定する。個人認証部６３は、この顔画像に対応した声が有るならば（ステップＳ６１→Ｙｅｓ）、ステップＳ６２の処理に進み、顔と声紋による個人特定識別処理を行う。ここで個人認証部６３は、顔の特徴量、声紋の特徴量、生体情報パターンを組み合わせた多次元の特徴量を生成し、対応する次元である個人の特徴点（ラベル）と照合することにより、個人を特定して識別する。個人認証部６３は、特定した個人に対して、顔の特徴量、声紋の特徴量、および生体情報パターンを紐付けたのち（ステップＳ６３）、ステップＳ６６の処理に進む。
個人認証部６３は、この顔画像に対応した声がなかったならば（ステップＳ６１→Ｎｏ）、ステップＳ６４の処理に進み、顔と生体情報による個人特定識別処理を行う。ここで個人認証部６３は、顔の特徴量、生体情報パターンを組み合わせた多次元の特徴量を生成し、対応する次元である個人の特徴点（ラベル）と照合することにより、個人を特定して識別する。個人認証部６３は、特定した個人に対して、顔の特徴量と生体情報パターンを紐付けたのち（ステップＳ６５）、ステップＳ６６の処理に進む。
個人認証部６３は、撮影された顔画像の口の動きと各時刻の音量とを対応づけることによって、対象者の顔画像と、対象者が発している声の時刻とを対応づける。なお、指向性マイクにより、各時刻において声を発した者の位置を検知し、撮影された各個人の位置と対応づけてもよい。
顔画像と生体情報との対応は、例えば心拍センサ３７１や体温センサ３７２が設置された位置（例えば、運転席）と、撮影された各個人の位置（運転席か助手席か）とを対応づけることで行われる。
単一のセンサから算出した特徴量と、このセンサに関する個人の特徴点（ラベル）とを照合するよりも、更に多次元の空間において照合しているので、個人認証の正解率を上げることができる。この処理が終了すると、ステップＳ６４の処理に進む。
単一のセンサから算出した特徴量と、このセンサに関する個人の特徴点（ラベル）とを照合するよりも、更に多次元の空間において照合しているので、個人認証の正解率を上げることができる。この処理が終了すると、ステップＳ６４の処理に進む。
ステップＳ６６において、個人認証部６３は、当該周期に検出した全ての顔について処理を繰り返したか否かを判断する。
個人認証部６３は、顔画像に対応した声が無いときには声紋の特徴量を組み合わせない。このように、センシングデータが無効である場合には、このセンシングデータから算出した特徴量を組み合わせないようにしたので、個人認証部６３は、無効なセンシングデータによる認証の誤りを防ぐことができる。
個人認証部６３は、顔画像に対応した声が無いときには、ミュートした音声信号と組み合わせてもよい。これによっても個人認証部６３は、無効なセンシングデータによる認証の誤りを防ぐことができる。
ステップＳ６７において、個人認証部６３は、運転パターン算出部６９２によって算出した運転パターンを、運転者であるメンバに紐付け、図１１の個人認証処理を終了する。
個人認証部６３は、顔画像に対応した声が無いときには、ミュートした音声信号と組み合わせてもよい。これによっても個人認証部６３は、無効なセンシングデータによる認証の誤りを防ぐことができる。
ステップＳ６７において、個人認証部６３は、運転パターン算出部６９２によって算出した運転パターンを、運転者であるメンバに紐付け、図１１の個人認証処理を終了する。
図１２は、疲労感、覚醒感、快適感の３軸からなる感情の多次元空間を示す概念図である。
本実施形態の多次元の感情特徴量空間８１は、３軸で構成されている。感情分析部６４は、顔の特徴量や声紋の特徴量や心拍パターンの特徴量や気温情報から感情特徴量を算出する。感情特徴量は、この多次元の感情特徴量空間８１のうち、この人の感情がどの座標に位置するかを示すものである。この感情特徴量の算出にあたり、例えば階層化ニューラルネットワークなどが用いられる。
本実施形態の多次元の感情特徴量空間８１は、３軸で構成されている。感情分析部６４は、顔の特徴量や声紋の特徴量や心拍パターンの特徴量や気温情報から感情特徴量を算出する。感情特徴量は、この多次元の感情特徴量空間８１のうち、この人の感情がどの座標に位置するかを示すものである。この感情特徴量の算出にあたり、例えば階層化ニューラルネットワークなどが用いられる。
図１３は、覚醒感と快適感の２軸における感情空間を示す概念図である。
この感情特徴量平面８２は、図１１に示した感情特徴量空間８１のうち、疲労感の値が所定値に設定された場合の切平面を示している。
感情特徴量平面８２の縦軸は覚醒感であり、上方向は興奮を示しており、下方向は沈静を示している。感情特徴量平面８２の横軸は快適感であり、右方向は快適を示しており、左方向は不快を示している。
この感情特徴量平面８２は、図１１に示した感情特徴量空間８１のうち、疲労感の値が所定値に設定された場合の切平面を示している。
感情特徴量平面８２の縦軸は覚醒感であり、上方向は興奮を示しており、下方向は沈静を示している。感情特徴量平面８２の横軸は快適感であり、右方向は快適を示しており、左方向は不快を示している。
感情特徴量平面８２の第１象限はリフレッシュの感情を示しており、興奮、驚喜、喜び、幸福がラベリングされている。第２象限はイライラの感情を示しており、警戒、恐れ、怒り、緊張、不満、不愉快、抑圧がラベリングされている。第３象限は退屈の感情を示しており、悲しみ、悩み、退屈、憂鬱がラベリングされている。第４象限はリラックスの感情を示しており、眠気、平穏、くつろぎ、安心、満足がラベリングされている。
感情分析部６４が算出した感情特徴量と、上記の感情ラベルとを照合することにより、人の感情を分析することができる。
感情分析部６４が算出した感情特徴量と、上記の感情ラベルとを照合することにより、人の感情を分析することができる。
図１４は、個人認証処理を行う階層型ニューラルネットワーク９を示す説明図である。
個人認証部６３を構成する階層型ニューラルネットワーク９は、複数のノード９８が、入力層９１、第１中間層９２、第２中間層９３、出力層９４の４層で階層化されている。各層のノード９８は、それぞれエッジ９９で接続されている。
入力層９１のノード９８は、それぞれ顔の特徴量、声紋の特徴量、生体情報の特徴量が入力される。出力層９４からは、個人認証した結果が出力される。
個人認証部６３を構成する階層型ニューラルネットワーク９は、複数のノード９８が、入力層９１、第１中間層９２、第２中間層９３、出力層９４の４層で階層化されている。各層のノード９８は、それぞれエッジ９９で接続されている。
入力層９１のノード９８は、それぞれ顔の特徴量、声紋の特徴量、生体情報の特徴量が入力される。出力層９４からは、個人認証した結果が出力される。
なお、本実施形態では、顔の特徴量と声紋の特徴量を組み合わせて学習した階層型ニューラルネットワーク、顔の特徴量と生体情報の特徴量を組み合わせて学習した階層型ニューラルネットワーク、顔の特徴量のみで学習した階層型ニューラルネットワークが、それぞれ用意されている。
図１５は、層間のインデックスとエッジ重みの一例を示す説明図である。
個人認証部６３を構成する階層型ニューラルネットワーク９は、複数のノード９８が、入力層９１、第１中間層９２、第２中間層９３、出力層９４の４層で階層化されている。各層のノード９８は、それぞれエッジ９９で接続されている。
入力層９１のノード９８は、それぞれ顔の特徴量、声紋の特徴量、心拍の特徴量が入力される。出力層９４からは、個人認証した結果が出力される。
個人認証部６３を構成する階層型ニューラルネットワーク９は、複数のノード９８が、入力層９１、第１中間層９２、第２中間層９３、出力層９４の４層で階層化されている。各層のノード９８は、それぞれエッジ９９で接続されている。
入力層９１のノード９８は、それぞれ顔の特徴量、声紋の特徴量、心拍の特徴量が入力される。出力層９４からは、個人認証した結果が出力される。
なお、本実施形態では、顔の特徴量と声紋の特徴量を組み合わせて学習した階層型ニューラルネットワーク、顔の特徴量と生体情報の特徴量を組み合わせて学習した階層型ニューラルネットワーク、顔の特徴量のみで学習した階層型ニューラルネットワークが、それぞれ用意されている。
図１６は、場の雰囲気を推測する処理のフローチャートである。
以下のステップＳ７０～Ｓ７８の処理は、場の雰囲気を推測する処理である。この処理は、図６のステップＳ１２，Ｓ１３を詳細に説明したものであり、所定周期（例えば３秒）ごとに繰り返し行われる。
以下のステップＳ７０～Ｓ７８の処理は、場の雰囲気を推測する処理である。この処理は、図６のステップＳ１２，Ｓ１３を詳細に説明したものであり、所定周期（例えば３秒）ごとに繰り返し行われる。
最初、行動分析部６５は、いずれかのメンバの動作を検知したか否かを判定する（ステップＳ７０）。メンバの動作とは、例えば発声やジェスチャや、運転パターンのブレーキやハンドル操作などであり、他者が認知可能なものである。
そしてステップＳ７１～Ｓ７３について、動作後、所定期間が経過するまで処理を繰り返す。そして、以下のステップＳ７２ａ，Ｓ７２ｂなどを並行して実行する。
ステップＳ７２ａにおいて、感情分析部６４は、動作主体のメンバとは異なる他のメンバ（例えばＡさん）に紐付けられた各種情報に基づき、このメンバの感情を多次元量で分析する。
ステップＳ７２ｂにおいて、感情分析部６４は、動作主体のメンバとは異なる他のメンバ（例えばＢさん）に紐付けられた各種情報に基づき、このメンバの感情を多次元量で分析する。このように、動作主体のメンバ以外の感情分析を並行して実行する。以下、感情分析部６４は、動作主体のメンバとは異なる他のメンバ全てについて、このメンバの感情を分析する。
ステップＳ７２ａにおいて、感情分析部６４は、動作主体のメンバとは異なる他のメンバ（例えばＡさん）に紐付けられた各種情報に基づき、このメンバの感情を多次元量で分析する。
ステップＳ７２ｂにおいて、感情分析部６４は、動作主体のメンバとは異なる他のメンバ（例えばＢさん）に紐付けられた各種情報に基づき、このメンバの感情を多次元量で分析する。このように、動作主体のメンバ以外の感情分析を並行して実行する。以下、感情分析部６４は、動作主体のメンバとは異なる他のメンバ全てについて、このメンバの感情を分析する。
そしてステップＳ７３において、感情分析部６４は、動作検知時から所定期間が経過していないならば、ステップＳ７１に戻って処理を繰り返す。感情分析部６４は、動作検知時から所定期間が経過したならば、ステップＳ７４に進む。
雰囲気推測部６６は、他の各メンバの感情変化から、他のメンバの動作主体メンバへの関係性を算出する（ステップＳ７４）。他のメンバの、動作主体メンバへの関係性とは、例えば動作主体メンバの動作により、他のメンバの快／不快の感情がどのように変化したかをいう。この快／不快の感情変化の例を、後記する図１７や図１８に示す。
雰囲気推測部６６は、メンバ相互の関係性を全て評価する（ステップＳ７５）。これにより場の雰囲気を推測することができる。
雰囲気推測部６６は、メンバ相互の関係性を全て評価する（ステップＳ７５）。これにより場の雰囲気を推測することができる。
雰囲気推測部６６は、メンバ相互の関係性が全体として希薄でないならば（ステップＳ７６→Ｎｏ）、メンバ相互の関係性のうち最も悪いものを場の雰囲気として推測し（ステップＳ７７）、図１６の処理を終了する。
雰囲気推測部６６は、メンバ相互の関係性が全体として希薄ならば（ステップＳ７６→Ｙｅｓ）、場の雰囲気が悪いと推測し（ステップＳ７８）、図１６の処理を終了する。
雰囲気推測部６６は、メンバ相互の関係性が全体として希薄ならば（ステップＳ７６→Ｙｅｓ）、場の雰囲気が悪いと推測し（ステップＳ７８）、図１６の処理を終了する。
図１７は、Ａさんの発声に伴う他の構成員の感情変化を示すタイムチャートである。
第１段目のグラフは、Ａさんの行動を示している。第２段目のグラフは、Ｂさんの快／不快の感情を示している。第３段目のグラフは、Ｃさんの快／不快の感情を示している。なお、ここでは車両３にＡさんとＢさんとＣさんの３名が乗っていることが前提である。
第１段目のグラフは、Ａさんの行動を示している。第２段目のグラフは、Ｂさんの快／不快の感情を示している。第３段目のグラフは、Ｃさんの快／不快の感情を示している。なお、ここでは車両３にＡさんとＢさんとＣさんの３名が乗っていることが前提である。
時刻ｔ0において、Ａさんが発声する。これに伴い、ＢさんとＣさんの感情が快の方向に変化する。
時刻ｔ1は、時刻ｔ0から時間Ｔが経過した後である。時刻ｔ1におけるＢさんの感情は、時刻ｔ0における感情よりも好転している。これによりＢさんにとってのＡさんへの関係性は、良好であることが判る。
時刻ｔ1におけるＣさんの感情も、時刻ｔ0における感情よりも好転している。これによりＣさんにとってのＡさんへの関係性は、良好であることが判る。
時刻ｔ1は、時刻ｔ0から時間Ｔが経過した後である。時刻ｔ1におけるＢさんの感情は、時刻ｔ0における感情よりも好転している。これによりＢさんにとってのＡさんへの関係性は、良好であることが判る。
時刻ｔ1におけるＣさんの感情も、時刻ｔ0における感情よりも好転している。これによりＣさんにとってのＡさんへの関係性は、良好であることが判る。
図１８は、Ｂさんのブレーキ操作に伴う他の構成員の感情変化を示すタイムチャートである。
第１段目のグラフは、Ｂさんの行動を示している。第２段目のグラフは、Ａさんの快／不快の感情を示している。第３段目のグラフは、Ｃさんの快／不快の感情を示している。なお、ここでは車両３にＡさんとＢさんとＣさんの３名が乗っており、かつＢさんが運転していることが前提である。
第１段目のグラフは、Ｂさんの行動を示している。第２段目のグラフは、Ａさんの快／不快の感情を示している。第３段目のグラフは、Ｃさんの快／不快の感情を示している。なお、ここでは車両３にＡさんとＢさんとＣさんの３名が乗っており、かつＢさんが運転していることが前提である。
時刻ｔ10において、Ｂさんがブレーキを掛ける。これに伴い、ＡさんとＣさんの感情が不快の方向に変化する。
時刻ｔ11は、時刻ｔ10から時間Ｔが経過した後である。時刻ｔ11におけるＡさんの感情は、時刻ｔ10における感情より悪化している。これによりＢさんにとってのＡさんへの関係性は、良くないことが判る。
時刻ｔ1におけるＣさんの感情も、時刻ｔ0におけるＣさんの感情よりも悪化している。これによりＣさんにとってのＡさんへの関係性は、良くないことが判る。
時刻ｔ11は、時刻ｔ10から時間Ｔが経過した後である。時刻ｔ11におけるＡさんの感情は、時刻ｔ10における感情より悪化している。これによりＢさんにとってのＡさんへの関係性は、良くないことが判る。
時刻ｔ1におけるＣさんの感情も、時刻ｔ0におけるＣさんの感情よりも悪化している。これによりＣさんにとってのＡさんへの関係性は、良くないことが判る。
以下に示す図１９から図２１は、メンバ相互の関係性を説明する図である。ここでは車両３にＡさんとＢさんとＣさんの３名が乗っていることと、Ｂさんが運転手であることが前提である。
図１９は、場の雰囲気が悪くない場合の一例を示す図である。
ＢさんからＡさんへの矢印は、ＢさんにとってのＡさんへの関係性を示しており、その関係性の値は“＋１０”であり、良好である。ＡさんからＢさんへの矢印は、ＡさんにとってのＢさんへの関係性を示しており、その関係性の値は“±０”である。
ＢさんからＣさんへの矢印は、ＢさんにとってのＣさんへの関係性を示しており、その関係性の値は“±０”である。ＣさんからＢさんへの矢印は、ＣさんにとってのＢさんへの関係性を示しており、その関係性の値は“±０”である。
ＡさんからＣさんへの矢印は、ＡさんにとってのＣさんへの関係性を示しており、その関係性の値は“±０”である。ＣさんからＡさんへの矢印は、ＣさんにとってのＡさんへの関係性を示しており、その関係性の値は“＋２０”であり、良好である。
場の雰囲気は、メンバ相互の最小の関係性によって推測可能である。この場における関係性の最小値は“±０”なので、場の雰囲気が悪くないことが推測可能である。
図１９は、場の雰囲気が悪くない場合の一例を示す図である。
ＢさんからＡさんへの矢印は、ＢさんにとってのＡさんへの関係性を示しており、その関係性の値は“＋１０”であり、良好である。ＡさんからＢさんへの矢印は、ＡさんにとってのＢさんへの関係性を示しており、その関係性の値は“±０”である。
ＢさんからＣさんへの矢印は、ＢさんにとってのＣさんへの関係性を示しており、その関係性の値は“±０”である。ＣさんからＢさんへの矢印は、ＣさんにとってのＢさんへの関係性を示しており、その関係性の値は“±０”である。
ＡさんからＣさんへの矢印は、ＡさんにとってのＣさんへの関係性を示しており、その関係性の値は“±０”である。ＣさんからＡさんへの矢印は、ＣさんにとってのＡさんへの関係性を示しており、その関係性の値は“＋２０”であり、良好である。
場の雰囲気は、メンバ相互の最小の関係性によって推測可能である。この場における関係性の最小値は“±０”なので、場の雰囲気が悪くないことが推測可能である。
図２０は、不快な感情により場の雰囲気が悪い場合の一例を示す図である。
ＢさんからＡさんへの矢印は、ＢさんにとってのＡさんへの関係性を示しており、その関係性の値は“－１０”であり悪い。ＡさんからＢさんへの矢印は、ＡさんにとってのＢさんへの関係性を示しており、その関係性の値は“－５”であり悪い。
ＢさんからＡさんへの矢印は、ＢさんにとってのＡさんへの関係性を示しており、その関係性の値は“－１０”であり悪い。ＡさんからＢさんへの矢印は、ＡさんにとってのＢさんへの関係性を示しており、その関係性の値は“－５”であり悪い。
ＢさんからＣさんへの矢印は、ＢさんにとってのＣさんへの関係性を示しており、その関係性の値は“－１０”であり悪い。ＣさんからＢさんへの矢印は、ＣさんにとってのＢさんへの関係性を示しており、その関係性の値は“－２０”であり悪い。
ＡさんからＣさんへの矢印は、ＡさんにとってのＣさんへの関係性を示しており、その関係性の値は“－２０”であり悪い。ＣさんからＡさんへの矢印は、ＣさんにとってのＡさんへの関係性を示しており、その関係性の値は“－１５”であり悪い。
場の雰囲気は、メンバ相互の最小の関係性によって推測可能である。この場における関係性の最小値は“－２０”なので、場の雰囲気が悪くないことが推測可能である。
場の雰囲気は、メンバ相互の最小の関係性によって推測可能である。この場における関係性の最小値は“－２０”なので、場の雰囲気が悪くないことが推測可能である。
図２１は、相互に無関心なため場の雰囲気が悪い場合の一例を示す図である。
ＢさんからＡさんへの破線矢印は、ＢさんにとってのＡさんへの関係性が無いことを示している。つまり、Ａさんは、所定期間において何ら発声などの行動をしていないことを示している。ＡさんからＢさんへの矢印は、ＡさんにとってのＢさんへの関係性を示しており、その関係性の値は“０”である。
ＢさんからＡさんへの破線矢印は、ＢさんにとってのＡさんへの関係性が無いことを示している。つまり、Ａさんは、所定期間において何ら発声などの行動をしていないことを示している。ＡさんからＢさんへの矢印は、ＡさんにとってのＢさんへの関係性を示しており、その関係性の値は“０”である。
ＢさんからＣさんへの破線矢印は、ＢさんにとってのＣさんへの関係性が無いことを示している。つまり、Ｃさんは、所定期間において何ら発声などの行動をしていないことを示している。ＣさんからＢさんへの矢印は、ＣさんにとってのＢさんへの関係性を示しており、その関係性の値は“－５”であり悪い。
ＡさんからＣさんへの破線矢印は、ＡさんにとってのＣさんへの関係性が無いことを示している。つまり、Ｃさんは、所定期間において何ら発声などの行動をしていないことを示している。ＣさんからＡさんへの破線矢印は、ＣさんにとってのＡさんへの関係性が無いことを示している。つまり、Ａさんは、所定期間において何ら発声などの行動をしていないことを示している。
この場合、メンバ相互の関係性として有り得る６通りの組合せのうち、２通りしか関係性が存在していないため、関係性が希薄である。このように、メンバ相互の関係性が希薄であるとき、場の雰囲気が悪いと推測される。
この場合、メンバ相互の関係性として有り得る６通りの組合せのうち、２通りしか関係性が存在していないため、関係性が希薄である。このように、メンバ相互の関係性が希薄であるとき、場の雰囲気が悪いと推測される。
このように、ナビゲーション装置３０は、メンバ相互の関係性が予め定められたパターンに該当するか否かを判定することにより、複数の人間によって醸成される場の雰囲気を推測することができる。
なお、メンバ相互の関係性を把握する上で、或るメンバの会話に伴う顔の向きや視線によって会話相手を特定して、その会話相手の感情変化から各人の関係性を算出してもよい。これにより、会話相手が限定されている呼び掛けについて、会話相手以外の感情変化の影響を排除して、より正確な場の雰囲気を推測可能である。
なお、メンバ相互の関係性を把握する上で、或るメンバの会話に伴う顔の向きや視線によって会話相手を特定して、その会話相手の感情変化から各人の関係性を算出してもよい。これにより、会話相手が限定されている呼び掛けについて、会話相手以外の感情変化の影響を排除して、より正確な場の雰囲気を推測可能である。
（変形例）
本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で、変更実施が可能であり、例えば、次の（ａ）～（ｆ）のようなものがある。
（ａ） メンバ相互の関係性は、快／不快の感情変化に限られず、覚醒感の感情変化や疲労感の感情変化に基づいて推測してもよい。
（ｂ） メンバ相互の関係性の有無は、一方のメンバの行動の有無に限られず、一方のメンバの行動の結果として他方のメンバが何ら感情変化していないとき、他方のメンバにとっての一方のメンバへの関係性が無いと推測してもよい。
（ｃ） 場の雰囲気を推測するのは、ナビゲーション装置に限定されない。例えばスマートスピーカとカメラの組合せによって、場の雰囲気を推測してもよい。
（ｄ） 各メンバの生体情報をセンシングするセンサは、心拍センサと体温センサに限定されず、血圧センサや血糖値センサや活動量センサ、姿勢センサなどであってもよい。
（ｅ） 環境情報をセンシングするセンサは、温湿度センサと照度センサに限定されず、気圧センサや紫外線センサや赤外線センサなどであってもよい。
（ｆ） メンバ相互の関係性は、各メンバの顔の向きや視線によっても推測することができる。例えばＡさんが、Ｃさんに頻繁に顔を向けたり、Ｃさんに頻繁に視線を向けたならば、ＡさんからＣさんへの関係性が高いことを示している。更に、その際のＡさんの感情の変化により、ＡさんにとってのＣさんへの関係性が良いか悪いかを、推測することができる。
上記には、複数の構成員を含んだ場を撮影するカメラと、前記場の音声を収録するマイクと、前記カメラで撮影した画像と前記マイクで収録した音声から、各構成員の行動と感情を分析する分析部と、一の構成員の行動後に他の構成員の不快度が上がった場合、および、前記複数の構成員の相互関係が希薄な場合に、前記場の雰囲気が悪いと推測する推測部と、前記推測部が推測した前記場の雰囲気が悪い場合には、当該場の雰囲気の悪さを解消するための推奨項目を提示する推奨部と、を備えることを特徴とする雰囲気推測装置が開示されている。雰囲気推測装置は、車両の操作情報から運転パターンを算出する算出部を更に備え、前記推測部は更に、前記運転パターンがブレーキ操作またはハンドル操作であった後に、同乗者が不快になった場合、前記場の雰囲気が悪いと推測してもよい。前記推奨部は、各構成員が嗜好する項目リストと、各前記構成員の嗜好から外れた項目リストとを参照して、前記推奨項目を決定してもよい。前記推奨部は、前記推奨項目を構成員のいずれかが選択した結果を、各項目の評価値に反映してもよい。雰囲気推測装置は、情報を表示する表示部を更に備え、前記推奨部は、いずれかの構成員が前記表示部を所定時間に亘って目視すると、前記場の雰囲気に応じた推奨項目を前記表示部に提示してもよい。
本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で、変更実施が可能であり、例えば、次の（ａ）～（ｆ）のようなものがある。
（ａ） メンバ相互の関係性は、快／不快の感情変化に限られず、覚醒感の感情変化や疲労感の感情変化に基づいて推測してもよい。
（ｂ） メンバ相互の関係性の有無は、一方のメンバの行動の有無に限られず、一方のメンバの行動の結果として他方のメンバが何ら感情変化していないとき、他方のメンバにとっての一方のメンバへの関係性が無いと推測してもよい。
（ｃ） 場の雰囲気を推測するのは、ナビゲーション装置に限定されない。例えばスマートスピーカとカメラの組合せによって、場の雰囲気を推測してもよい。
（ｄ） 各メンバの生体情報をセンシングするセンサは、心拍センサと体温センサに限定されず、血圧センサや血糖値センサや活動量センサ、姿勢センサなどであってもよい。
（ｅ） 環境情報をセンシングするセンサは、温湿度センサと照度センサに限定されず、気圧センサや紫外線センサや赤外線センサなどであってもよい。
（ｆ） メンバ相互の関係性は、各メンバの顔の向きや視線によっても推測することができる。例えばＡさんが、Ｃさんに頻繁に顔を向けたり、Ｃさんに頻繁に視線を向けたならば、ＡさんからＣさんへの関係性が高いことを示している。更に、その際のＡさんの感情の変化により、ＡさんにとってのＣさんへの関係性が良いか悪いかを、推測することができる。
上記には、複数の構成員を含んだ場を撮影するカメラと、前記場の音声を収録するマイクと、前記カメラで撮影した画像と前記マイクで収録した音声から、各構成員の行動と感情を分析する分析部と、一の構成員の行動後に他の構成員の不快度が上がった場合、および、前記複数の構成員の相互関係が希薄な場合に、前記場の雰囲気が悪いと推測する推測部と、前記推測部が推測した前記場の雰囲気が悪い場合には、当該場の雰囲気の悪さを解消するための推奨項目を提示する推奨部と、を備えることを特徴とする雰囲気推測装置が開示されている。雰囲気推測装置は、車両の操作情報から運転パターンを算出する算出部を更に備え、前記推測部は更に、前記運転パターンがブレーキ操作またはハンドル操作であった後に、同乗者が不快になった場合、前記場の雰囲気が悪いと推測してもよい。前記推奨部は、各構成員が嗜好する項目リストと、各前記構成員の嗜好から外れた項目リストとを参照して、前記推奨項目を決定してもよい。前記推奨部は、前記推奨項目を構成員のいずれかが選択した結果を、各項目の評価値に反映してもよい。雰囲気推測装置は、情報を表示する表示部を更に備え、前記推奨部は、いずれかの構成員が前記表示部を所定時間に亘って目視すると、前記場の雰囲気に応じた推奨項目を前記表示部に提示してもよい。
１ クラウドサーバ
２ 自宅
２０ ゲートウェイ
２１ テレビ
２２ カメラ
２３ スマートスピーカ （雰囲気推測装置）
２４ 空調機
２６１ 人感センサ
２６２ 温湿度センサ
２６３ 照度センサ
３ 車両
３０ ナビゲーション装置 （雰囲気推測装置）
３１ マイク
３２ カメラ
３３ ディスプレイモニタ
３４ スピーカ
３６１ 人感センサ
３６２ 温湿度センサ
３６３ 照度センサ
３７１ 心拍センサ
３７２ 体温センサ
４ 前部シート
４Ｂ 後部シート
４１ シート調整機構
４２ 空調機
４３ 電子制御ユニット
６１１ 個人音声検出部
６１２ 音声特徴量算出部
６２１ 画像処理部
６２２ 画像特徴量算出部
６３ 個人認証部
６４ 感情分析部 （分析部）
６５ 行動分析部 （分析部）
６６ 雰囲気推測部 （推測部）
６７ 推奨部
６７１ コンテンツ評価データベース
６８ 通信部
６９１ 生体情報パターン算出部
６９２ 運転パターン算出部
７１ 音声波形領域
７２ 声紋領域
７３ 三次元像
８１ 感情特徴量空間
８２ 感情特徴量平面
９ 階層型ニューラルネットワーク
９１ 入力層
９２ 第１中間層
９３ 第２中間層
９４ 出力層
９８ ノード
９９ エッジ
Ｎ ネットワーク
２ 自宅
２０ ゲートウェイ
２１ テレビ
２２ カメラ
２３ スマートスピーカ （雰囲気推測装置）
２４ 空調機
２６１ 人感センサ
２６２ 温湿度センサ
２６３ 照度センサ
３ 車両
３０ ナビゲーション装置 （雰囲気推測装置）
３１ マイク
３２ カメラ
３３ ディスプレイモニタ
３４ スピーカ
３６１ 人感センサ
３６２ 温湿度センサ
３６３ 照度センサ
３７１ 心拍センサ
３７２ 体温センサ
４ 前部シート
４Ｂ 後部シート
４１ シート調整機構
４２ 空調機
４３ 電子制御ユニット
６１１ 個人音声検出部
６１２ 音声特徴量算出部
６２１ 画像処理部
６２２ 画像特徴量算出部
６３ 個人認証部
６４ 感情分析部 （分析部）
６５ 行動分析部 （分析部）
６６ 雰囲気推測部 （推測部）
６７ 推奨部
６７１ コンテンツ評価データベース
６８ 通信部
６９１ 生体情報パターン算出部
６９２ 運転パターン算出部
７１ 音声波形領域
７２ 声紋領域
７３ 三次元像
８１ 感情特徴量空間
８２ 感情特徴量平面
９ 階層型ニューラルネットワーク
９１ 入力層
９２ 第１中間層
９３ 第２中間層
９４ 出力層
９８ ノード
９９ エッジ
Ｎ ネットワーク
Claims (6)
- 各種センサ情報を取得して各メンバを個人認証する個人認証部と、
前記個人認証部により認証されたメンバの行動を前記各種センサ情報に基づいて分析する行動分析部と、
前記個人認証部により認証されたメンバの感情を前記各種センサ情報に基づいて分析する感情分析部と、
前記認証されたメンバの行動および感情に基づいて、前記認証されたメンバの属する場の雰囲気を推測する雰囲気推測部と、
前記雰囲気推測部により推測された前記認証されたメンバの属する場の雰囲気を解消するコンテンツを提示する推奨部と、
前記推奨部が提示した前記コンテンツの前記認証されたメンバにより中断されたことを負の評価とする選択結果を、前記認証されたメンバの前記コンテンツに対する評価として前記認証されたメンバに関連させて格納するコンテンツ評価データベースとを有し、
前記推奨部は、前記認証されたメンバと前記推測された場の雰囲気と前記コンテンツ評価データベースの前記評価とに基づき前記認証されたメンバに対して提示する前記コンテンツを選択する、雰囲気推測装置。 - 請求項１において、
前記各種センサ情報は、生体特徴量を算出するためのセンサ情報、音声特徴量を算出するためのセンサ情報、および画像特徴量を算出するためのセンサ情報の少なくともいずれかを含む、雰囲気推測装置。 - 請求項１または２において、
前記推奨部は、前記推測された場の雰囲気が悪いことの主要因が、前記認証されたメンバの特定者の雰囲気が悪いことによるのか否かを判定し、前記特定者の雰囲気が悪いならば、前記特定者が好む前記コンテンツを推奨する、雰囲気推測装置。 - 請求項１ないし３のいずれかにおいて、
前記コンテンツ評価データベースの内容をクラウドサーバと同期させるための通信部をさらに有する、雰囲気推測装置。 - 請求項１ないし４のいずれかにおいて、
前記推奨部は、空調機を運転させて、前記認証されたメンバの属する場の快適度を向上させる機能を含む、雰囲気推測装置。 - 雰囲気推測装置によるコンテンツの提示方法であって、
前記雰囲気推測装置は、各種センサ情報を取得して各メンバを個人認証する個人認証部と、
前記個人認証部により認証されたメンバの行動を前記各種センサ情報に基づいて分析する行動分析部と、
前記個人認証部により認証されたメンバの感情を前記各種センサ情報に基づいて分析する感情分析部と、
前記認証されたメンバの行動および感情に基づいて、前記認証されたメンバの属する場の雰囲気を推測する雰囲気推測部と、
前記雰囲気推測部により推測された前記認証されたメンバの属する場の雰囲気を解消するコンテンツを提示する推奨部と、
前記推奨部が提示した前記コンテンツの前記認証されたメンバによる選択結果を、前記認証されたメンバの前記コンテンツに対する評価として前記認証されたメンバに関連させて格納するコンテンツ評価データベースとを有し、
当該提示方法は、
前記推奨部が提示した前記コンテンツの前記認証されたメンバにより中断されたことを負の評価として前記コンテンツ評価データベースに格納することと、
前記推奨部が、前記認証されたメンバと前記推測された場の雰囲気と前記コンテンツ評価データベースの前記評価とに基づき前記認証されたメンバに対して提示する前記コンテンツを選択することとを含む、提示方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018070978A JP7204283B2 (ja) | 2018-04-02 | 2018-04-02 | 雰囲気推測装置およびコンテンツの提示方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018070978A JP7204283B2 (ja) | 2018-04-02 | 2018-04-02 | 雰囲気推測装置およびコンテンツの提示方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019185117A JP2019185117A (ja) | 2019-10-24 |
| JP7204283B2 true JP7204283B2 (ja) | 2023-01-16 |
Family
ID=68341121
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018070978A Active JP7204283B2 (ja) | 2018-04-02 | 2018-04-02 | 雰囲気推測装置およびコンテンツの提示方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7204283B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7364348B2 (ja) * | 2019-03-22 | 2023-10-18 | 本田技研工業株式会社 | サービス提供装置、サービス提供システム、および、サービス提供方法 |
| JP7543082B2 (ja) | 2020-10-22 | 2024-09-02 | パイオニア株式会社 | 情報提示装置、情報提示方法及び情報提示プログラム |
| KR102418194B1 (ko) * | 2021-02-25 | 2022-07-07 | 이화여자대학교 산학협력단 | 스트레처블 디스플레이를 사용하여 자동차에서 씨어터 모드를 구현하는 방법, 이를 수행하기 위한 기록 매체 및 장치 |
| JP7015408B1 (ja) | 2021-10-07 | 2022-02-02 | 真旭 徳山 | 端末装置、情報処理方法、及びプログラム |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012532366A (ja) | 2009-06-30 | 2012-12-13 | イーストマン コダック カンパニー | 閲覧者の要因および反応に応じた画像表示制御を行う方法および装置 |
| JP2017201479A (ja) | 2016-05-06 | 2017-11-09 | 日本ユニシス株式会社 | コミュニケーション支援システム |
| JP2018014991A (ja) | 2016-07-13 | 2018-02-01 | ソニー株式会社 | 情報処理装置、情報処理方法及び情報処理システム |
-
2018
- 2018-04-02 JP JP2018070978A patent/JP7204283B2/ja active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012532366A (ja) | 2009-06-30 | 2012-12-13 | イーストマン コダック カンパニー | 閲覧者の要因および反応に応じた画像表示制御を行う方法および装置 |
| JP2017201479A (ja) | 2016-05-06 | 2017-11-09 | 日本ユニシス株式会社 | コミュニケーション支援システム |
| JP2018014991A (ja) | 2016-07-13 | 2018-02-01 | ソニー株式会社 | 情報処理装置、情報処理方法及び情報処理システム |
Non-Patent Citations (1)
| Title |
|---|
| 佐藤 直希 Naoki Sato，雰囲気推定を用いたロボットによる自発的行動を促す目配せ表出，第７９回（平成２９年）全国大会講演論文集（３） ネットワーク セキュリティ，一般社団法人 情報処理学会，2017年03月16日，第５０９－５１０頁 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019185117A (ja) | 2019-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7204283B2 (ja) | 雰囲気推測装置およびコンテンツの提示方法 | |
| US11937929B2 (en) | Systems and methods for using mobile and wearable video capture and feedback plat-forms for therapy of mental disorders | |
| JP4481682B2 (ja) | 情報処理装置及びその制御方法 | |
| JP2004310034A (ja) | 対話エージェントシステム | |
| US10614203B2 (en) | Robot-human interactive device which performs control for authenticating a user, robot, interaction method, and recording medium storing program | |
| WO2018180134A1 (ja) | 感情認識装置および感情認識プログラム | |
| JP7192222B2 (ja) | 発話システム | |
| JP2004112518A (ja) | 情報提供装置 | |
| Bagheri et al. | An autonomous cognitive empathy model responsive to users’ facial emotion expressions | |
| JP2006034576A (ja) | 乗り物酔い対策装置および乗り物酔い対策方法 | |
| KR20210116309A (ko) | 운전자 모니터링 시스템에서 미디어 유도 정서로부터 운전 정서를 분리하는 기술 | |
| Wargnier et al. | Towards attention monitoring of older adults with cognitive impairment during interaction with an embodied conversational agent | |
| JP2019101472A (ja) | 感情推定装置 | |
| CN111736700A (zh) | 基于数字人的车舱交互方法、装置及车辆 | |
| JP7443908B2 (ja) | 制御装置、情報処理システム、および制御方法 | |
| CN111866382A (zh) | 用于采集图像的方法、电子设备及计算机可读存储介质 | |
| WO2021196751A1 (zh) | 基于数字人的车舱交互方法、装置及车辆 | |
| JP2020160598A (ja) | 情報処理装置、制御システム、情報処理装置の制御方法 | |
| JP2004280673A (ja) | 情報提供装置 | |
| WO2022024355A1 (ja) | 感情解析システム | |
| KR102689884B1 (ko) | 차량 및 그 제어방법 | |
| JP7322374B2 (ja) | ロボットの制御装置、ロボット、ロボットの制御方法およびプログラム | |
| Held et al. | Bimodal recognition of cognitive load based on speech and physiological changes | |
| WO2021214841A1 (ja) | 感情認識装置、事象認識装置、及び感情認識方法 | |
| WO2023017745A1 (ja) | コミュニケーションロボット、コミュニケーションロボット制御方法、およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20190416 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210308 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220119 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220125 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220325 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220711 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220906 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221223 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221226 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7204283 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |