JP6963632B2 - 記憶装置及び興奮抑制装置 - Google Patents

記憶装置及び興奮抑制装置 Download PDF

Info

Publication number
JP6963632B2
JP6963632B2 JP2019561633A JP2019561633A JP6963632B2 JP 6963632 B2 JP6963632 B2 JP 6963632B2 JP 2019561633 A JP2019561633 A JP 2019561633A JP 2019561633 A JP2019561633 A JP 2019561633A JP 6963632 B2 JP6963632 B2 JP 6963632B2
Authority
JP
Japan
Prior art keywords
excitement
feature amount
degree
excitement degree
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019561633A
Other languages
English (en)
Other versions
JPWO2019131485A1 (ja
Inventor
靖之 野田
博司 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp filed Critical Pioneer Corp
Publication of JPWO2019131485A1 publication Critical patent/JPWO2019131485A1/ja
Application granted granted Critical
Publication of JP6963632B2 publication Critical patent/JP6963632B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893Cars
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20Workers
    • A61B2503/22Motor vehicles operators, e.g. drivers, pilots, captains
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872Driver physiology
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54Audio sensitive means, e.g. ultrasound
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/223Posture, e.g. hand, foot, or seat position, turned or inclined
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Description

本発明は、記憶装置に関し、例えば、ユーザの興奮度に関する情報を記憶可能な記憶装置及びこれを用いた興奮抑制装置に関する。
従来、楽曲のビート情報とユーザの動作の検出結果とを比較して、ユーザが楽曲に合わせて身体を動かしているか否かを判定し、当該楽曲の情報と当該身体を動かしているか否かの判定結果を示す情報とを関連付けて記憶する端末装置が提案されている。(特許文献1)。
特許第6055659号公報
例えば、自動車等の移動体においては、当該移動体を操縦する責任を持つ運転者が、過度な興奮状態でないことが望ましい。そのため、当該運転者の興奮状態を判定可能であることが好ましい。しかし、上記特許文献1に記載されている端末装置においては、楽曲の再生時にユーザが楽曲に合わせて動いているか否かを判定し、その結果を記憶しているのみである。従って、特許文献1に記載されている端末装置及びこれによって取得される情報によっては、ユーザが現在興奮状態であるか否かを正確に判定することは困難であることが問題の一例として挙げられる。
本発明は、上述の点に鑑みてなされたものであり、例えば、移動体の運転者が興奮状態を効果的に調整することで運転者の運転を支援する記憶装置及び興奮度抑制装置を提供することを目的とする。
請求項1に記載の発明は、移動体の乗員の行動に関する特徴量を検出する特徴量検出部と、前記特徴量を検出した際の前記乗員の興奮度を示す興奮度情報を取得する興奮度取得部と、前記特徴量及び前記興奮度情報に基づいて、前記興奮度のうちの第1興奮度に対応する特徴量である第1対応特徴量を算出し、前記第1対応特徴量を、前記第1興奮度と関連付けて記憶する特徴量記憶部と、を備えることを特徴とする記憶装置である。
また、請求項4に記載の発明は、移動体の乗員の行動に関する特徴量を検出する特徴量検出部と、前記特徴量を検出した際の前記乗員の興奮度を示す興奮度情報を取得する興奮度取得部と、前記特徴量及び前記興奮度情報に基づいて、前記興奮度のうちの第1興奮度に対応する特徴量である第1対応特徴量を算出し、前記第1対応特徴量を、前記第1興奮度と関連付けて記憶する特徴量記憶部と、所定時間帯において前記特徴量検出部が検出した特徴量及び前記特徴量記憶部に記憶された第1特徴量に基づいて、前記所定時間帯の前記運転者の興奮度を判定し、当該判定された興奮度が所定の閾値を超えたと判定されると、前記運転者の興奮度を抑制する抑制動作を行う興奮抑制部と、を有することを特徴とする興奮抑制装置である。
本発明の実施例1である興奮度調整装置を搭載した自動車の前席部分の斜視図である。 本発明の実施例1である興奮度調整装置の構成の一例を示すブロック図である。 本発明の実施例1である興奮度調整装置の動作ルーチンのフロー図である 興奮度データテーブルの一例を示す図である。 基準値テーブルの一例である。 基準値テーブルの一例である。 本発明の実施例1である興奮度調整装置の動作ルーチンのフロー図である。 本発明の実施例1である興奮度調整装置の動作ルーチンのフロー図である。 本発明の実施例1である興奮度調整装置の動作ルーチンのフロー図である。 本発明の実施例1である興奮度調整装置の動作ルーチンのフロー図である。 本発明の実施例1である興奮度調整装置の動作ルーチンのフロー図である。 本発明の実施例1である興奮度調整装置の動作ルーチンのフロー図である。
以下においては、本発明の好適な実施例について説明する。しかし、これらを適宜改変し、組み合わせてもよい。また、以下の説明及び添付図面において、実質的に同一又は等価な部分には同一の参照符を付して説明する。また、以下の説明において、映像とは動画及び静止画を含むものとして説明する。
以下に、本発明の実施例1である興奮度抑制装置10について、添付の図面を参照して説明する。実施例1おいては、興奮度調整装置10を自動車Mに搭載する際を例に説明する。
図1は、興奮度調整装置10が取り付けられた移動体としての自動車Mの前席部分の一例を示す図である。図1では、取り付け例として、自動車Mの前席のセンターコンソール部分に興奮度調整装置10が取り付けられている場合を示す。
搭乗者撮影部としての上半身カメラ11は、自動車Mの搭乗者の上半身を撮影可能なカメラである。上半身カメラ11は、例えば、ダッシュボードDB上に設けられており、運転席にいる運転者を撮影可能に配向されている。なお、上半身カメラ11は、搭乗者の上半身の動作等の状況が撮影できる位置に配されていればよい。例えば、上半身カメラ11は、ルームミラーRMに設けられているかまたはフロントガラスFGの上端または当該上端付近の天井部に設けられていてもよい。
上半身カメラ11は、興奮度調整装置10と通信可能に接続されており、撮影した映像の信号を興奮度調整装置10に送信することが可能である。
下半身カメラ13は、自動車の搭乗者の下半身、例えば足部を撮影可能なカメラである。下半身カメラは、例えば、ダッシュボードDBの表面でかつハンドルHの側方に設けられ、運転者の足下を撮影可能に配向されている。下半身カメラ13は、興奮度調整装置10と通信可能に接続されており、撮影した映像の信号を興奮度調整装置10に送信することが可能である。
マイク15は、車内の音を受音するマイク装置であり、例えば、ダッシュボードDB上に配されている。マイク15は、車内の音を受音可能であれば、ルームミラーRMまたはハンドル等、どこに設けられていてもよい。マイク15は、興奮度調整装置10と通信可能に接続されており、当該収集した音の信号を興奮度調整装置10に送信することが可能である。
なお、上半身カメラ11、下半身カメラ13、及びマイク15を、搭乗者の行動に関する特徴量を検出するための特徴量検出部とする。
GPS受信機17は、GPS(Global Positioning System)衛星からの信号(GPS信号)を受信する装置である。GPS受信機17は、例えば、ダッシュボードDB上に配されている。なお、GPS受信機17は、GPS信号が受信できればどこに配されていてもよい。GPS受信機17は、興奮度調整装置10と通信可能に接続されており、受信したGPS信号を興奮度調整装置10に送信することが可能である。
タッチパネル19は、例えば、映像を表示可能な液晶ディスプレイ等のディスプレイ19Aとタッチパッド19Bとが組み合わされたタッチパネルモニターである。タッチパネル19は、例えば、ダッシュボードDB上に配されている。タッチパネル19は、運転者から視認できかつ運転者の手が届く場所に配されていればよい。例えば、タッチパネル19は、ダッシュボードDB内のセンターコンソールCCに取り付けられていてもよい。
ディスプレイ19Aは、興奮度調整装置10と通信可能に接続されており、興奮度調整装置10の制御に基づいて画面表示を行うことが可能である。また、タッチパネル19Bは、ユーザからの受け付けたタッチパネル19Bへの入力操作を表す信号を興奮度調整装置10に送信することが可能である。
スピーカー21は、例えば、AピラーPまたはドアDRの室内側に設けられている。スピーカー21は、興奮度調整10と通信可能に接続されており、興奮度調整装置10の制御に基づいて音楽や音声等の音を発することが可能である。
[1.システムの構成及び動作]
図2に興奮度調整装置10の構成を示す。例えば、興奮度調整装置10は、システムバス31を介して、大容量記憶装置33と、制御部35と、入力部37と、出力部39と、データ通信部41と、コンテンツ読込部43とが協働する装置である。
大容量記憶装置33は、例えば、ハードディスク装置、SSD(solid state drive)、フラッシュメモリ等により構成されており、オペレーティングシステムや、端末用のソフトウェア等の各種プログラムを記憶する。
なお、各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。すなわち、大容量記憶装置33に記憶される各種プログラム(後述する興奮度調整装置10における処理を実行するためのプログラムを含む)は、ネットワークを介して伝送可能であるし、また、コンピュータ読み取り可能な記録媒体に記録して譲渡することが可能である。
制御部35は、CPU(Central Processing Unit)35A、ROM(Read Only Memory)35B、RAM(Random Access Memory)35C等により構成され、コンピュータとして機能する。そして、CPU35Aが、ROM35Bや大容量記憶装置33に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。
入力部37は、興奮度調整装置10とタッチパッド19Bとを通信可能に接続するインタフェース部である。興奮度調整装置10は、入力部37を介して、タッチパッド19Bへの入力操作を示す信号を受信することが可能である。また、入力部37は、興奮度調整装置10とマイク15とを通信可能に接続するインタフェース部ともなり得る。この場合、興奮度調整装置10は、入力部37を介して、マイク15から、ユーザの音声入力操作に関する音声入力信号を受信することが可能である。
出力部39は、ディスプレイ19A及びスピーカー21と通信可能に接続されており、ディスプレイ19Aに映像または画像信号を送信して表示をさせたり、スピーカー21に音声信号を送信して、音を出力させたりすることが可能である。
データ収集部41は、興奮度調整装置10と、上半身カメラ11、下半身カメラ13及びマイク15と、を通信可能に接続するインタフェース部である。興奮度調整装置10は、データ収集部41を介して、上半身カメラ11及び下半身カメラ13から、映像信号を受信する。
また、興奮度調整装置10は、データ収集部41を介してマイク15から音声信号を受信する。制御部35は、このデータ収集部41を介して受信した映像信号及び音声信号から、興奮度調整装置10が搭載された自動車の運転者の動作における当該運転者の身体の各部の移動量等の動作特徴量を算出可能である。
例えば、制御部35は、上半身カメラ11、下半身カメラ13からの映像信号に基づいて、自動車Mの搭乗者の動作の大小に基づいた動作特徴量を算出可能である。この動作特徴量は、例えば、予め設定された身体の各部の最大移動量を1として、検出された当該身体の各部の移動量を0から1の間の値となるように正規化したものである。なお、本実施例では、一例として、画像処理を行って、自動車Mの運転者の頭部、手部及び足部の移動量のみを用いて動作特徴量を算出するものとする。
例えば、制御部35は、マイク15からの音声入力に基づいて、自動車Mの搭乗者の音声の大小等に基づいた音声特徴量を算出可能である。この音声特徴量は、例えば、予め設定された最大音声を1として、入力された音声を0から1の間の値となるように正規化したものである。なお、本実施例では、一例として、自動車Mの運転者の音声のみを抽出したものを入力された音声として用いて、音声特徴量を算出するものとする。
当該算出された音声特徴量及び動作特徴量は、大容量記憶装置33内にある興奮度データベース(興奮度記憶DB)33Aに保存される。
また、データ収集部41は、興奮度調整装置10と興奮度調整装置10が搭載されている自動車Mの走行制御装置VCとを通信可能に接続するインタフェースにもなっている。走行制御装置VCは、自動車Mの走行制御を司る装置である。走行制御装置VCは、本実施例においては、自動車Mを手動運転制御するか、レベル1乃至5の何れかのレベルで自動運転制御するかを決定する。
また、本実施例において、走行制御装置VCは、現在自動車Mが手動運転制御によって走行しているか、レベル1乃至5の何れかの自動運転レベルで自動運転制御されているかの制御情報を、データ収集部41を介して興奮度調整装置10に送信可能である。なお、手動運転制御の状態を、自動運転レベル0とする。
また、走行制御装置VCは、自動車Mの運転制御モードを変更する予定がある場合に、当該予定を、データ収集部41を介して興奮度調整装置10に送信可能である。
コンテンツ読込部43は、例えば、CD(Compact Disc)、DVDまたはBD(Blu-ray Disc)等の光ディスクの読込装置(光ディスクドライブ等)自体でも良いし、またはこれらと通信可能に接続されていてもよい。また、例えば、USB端子、またはWi-Fi通信装置もしくはブルートゥース通信装置等の無線通信装置等、デジタルメディアとのインタフェースであってもよい。すなわち、興奮度調整装置10は、コンテンツ読込部43を介して外部からコンテンツデータを取得することが可能である。
制御部35は、コンテンツ読込部を介して外部から読み込まれたコンテンツデータを再生し、出力部39を介してディスプレイ19Aに当該コンテンツの映像または画像(以下、単に映像と称する)を表示させることが可能である。また、制御部35は、コンテンツ読込部を介して外部から読み込まれたコンテンツデータを再生し、スピーカー21に当該コンテンツの音声及び音響を含む音を生成させることが可能である。
[興奮度記憶装置としての動作]
以下、興奮度調整装置10が興奮度記憶装置として機能する際の動作について説明する。興奮度記憶装置として機能する際の興奮度調整装置10は、コンテンツを再生して当該コンテンツの再生中における自動車Mの運転者の興奮度の当該運転者による評価である評価興奮度の入力を受け付けてこれを取得する。以下の説明において、運転者(以下、ユーザともいう)による評価興奮度及び運転者の実際の興奮度である実際興奮度は、1から3の3つのレベルとする。また、以下の説明における自動運転レベルは、例えば、日本政府または米国運輸省道路交通安全局(NHTSA)によって定義されている自動運転レベルである。
興奮度記憶装置として機能する際の興奮度調整装置10は、コンテンツの再生中の運転者の行動特徴量及び当該行動特徴量が検出された際の運転者の評価興奮度を取得する。興奮度調整装置10は、検出された運転者の行動特徴量を当該行動特徴量が検出された際の評価興奮度のレベル毎に集計する。そして、興奮度調整装置10は、当該評価興奮度のレベル毎に集計された特徴値から、興奮度のレベルの各々における行動特徴量の平均値等、興奮度のレベルの各々に対応する特徴量としての基準値を算出する。興奮度調整装置10は、興奮度のレベルの各々と当該興奮度のレベルの各々に対応する特徴量を関連付けて記憶する。
自動車Mの運転者の行動特徴量から当該運転者の実際の興奮度の実際興奮度のレベルを判定する場合、予め決められた基準値を用いて判定することも可能である。しかし、自動車Mの運転者の評価興奮度のレベル毎に行動特徴量を集計して算出された基準値を用いることで、自動車Mの運転者の行動の個人的な特徴を加味した運転者の実際興奮度のレベルを推定または判定することが可能となる。すなわち、当該算出された基準値を用いることで、自動車Mの運転者の行動特徴量から、より正確に当該運転者の興奮度のレベルを判定することが可能となる。
興奮度調整装置10は、運転者の興奮度のレベルの正確な判定に資する特徴量の基準値を提供可能である。
[興奮度記憶装置としての動作のための動作ルーチンの一例]
以下に、興奮度記憶装置として機能する際の興奮度調整装置10の動作ルーチンの一例について説明する。
図3は、動作ルーチンの一例としての興奮度記憶ルーチンR1を示す図である。興奮度記憶ルーチンR1は、例えば、興奮度調整装置10の電源が入ると繰り返し実行される。
興奮度記憶ルーチンR1が開始されると、制御部35は、まずコンテンツの再生が開始されたか否かを判定する(ステップS1)。ステップS1において、コンテンツの再生が開始されていないと判定される(ステップS1:NO)と、ルーチンR1は終了する。
例えばコンテンツの再生は、運転者等がタッチパッド19Bを介して、コンテンツの再生操作を行うと、制御部35によって開始される。なお、コンテンツの再生においては、コンテンツ読込部43から読み込まれたコンテンツを再生しても良いし、大容量記憶装置33に保存されているコンテンツを再生してもよい。
ステップS1において、コンテンツの再生が開始されたと判定されると(ステップS1:YES)、制御部35は、運転者の動作特徴量及び音声特徴量を含む行動特徴量を取得する(ステップS2)。例えば、制御部35は、上半身カメラ11及び下半身カメラ13から得られた映像及びマイク15から得られた音声から、運転者の行動特徴量を検出して取得する。このステップS1において、制御部35は、特徴量検出部として機能する。
この行動特徴量の取得において、上記説明した運転者の動作に関する動作特徴量は、例えば、上半身カメラ11及び下半身カメラ13から得られた映像から、運転者の身体の各部の動作をモーションキャプチャすることで算出して取得されてもよい。
ステップS2が終了すると、制御部35は、自動運転レベルを取得する(ステップS3)。この自動運転レベルは、上述したように、走行制御装置VCからデータ収集部41を介して取得可能である。
ステップS3が終了すると、制御部35は、コンテンツの再生が終了したか否かを判定する(ステップS4)。ステップS4において、コンテンツの再生が終了していないと判定される(ステップS4:NO)と、制御部35は、繰り返しステップS4を実行する。
ステップS4において、コンテンツの再生が終了していると判定される(ステップS4:YES)と、制御部35は、運転者からの評価興奮度の入力を待機する(ステップS5)。この評価興奮度の入力の待機においては、ディスプレイ19Aに、評価興奮度のレベルの選択肢を表示して、タッチパッド19Bへの評価興奮度の入力を運転者に促してもよい。このステップS5において、制御部35は、興奮度取得部として機能する。
ステップS5を実行した後、制御部35は、評価興奮度が入力されたか否かを判定する(ステップS6)。この判定は、タッチパッド19Bを介して、評価興奮度のレベルの選択が行われたか否かによってなされ得る。ステップS6において評価興奮度が入力されていないと判定される(ステップS6:NO)と、制御部35は再度ステップS5を実行して評価興奮度の入力を待機する。
ステップS6において、評価興奮度が入力されたと判定される(ステップS6:YES)と、制御部35は、再生されていたコンテンツ並びに取得された評価興奮度、自動運転レベル及び行動特徴量を、興奮度データとして興奮度データベース33Aに蓄積する(ステップS7)。このステップS7において、制御部35は、特徴量記憶部として機能する。
図4に、興奮度データベース33Aに蓄積された興奮度データの一例である興奮度データテーブルT1を示す。図4に示された興奮度データテーブルT1では、一例として、各興奮度データにデータIDが付され、コンテンツ並びに当該コンテンツが再生されている際の自動運転レベル、評価興奮度及び各特徴量がこの順に左から配列されている。なお、興奮度データテーブルT1においては、自動運転レベル3以上は区別していない。これは、例えば、自動運転レベル3以上では、運転者の身体の自由度が変わらず、行動特徴量に傾向の差が出ないと考えられるからである。
ステップS7が終了すると、制御部35は、ステップS6において興奮度データが追加された後の興奮度データベース33Aに保存されている興奮度データを集計する。そして、上記した実際興奮度の判断基準とすることができる特徴量の基準値を算出し、これを興奮度データベース33Aに保存する(ステップS8)。
実際興奮度の判断基準とし得る基準値は、同一の評価興奮度に紐付けられた行動特徴量の部位毎の平均値としてもよい。例えば、評価興奮度のレベル1に対応する基準値は、図4に示す興奮度データテーブルT1において、同一の評価興奮度を持つデータであるデータID1、ID3、ID7・・・に紐付けられた各特徴量の平均値を算出することで求められてもよい。
図5に、興奮度データベース33Aに保存された基準値データの一例である基準値テーブルT2を示す。基準値テーブルT2に示すように、興奮度のレベルの各々に対応して、すなわち興奮度のレベルの各々に紐付けられて、身体の各部の特徴量の基準値及び声の特徴量の基準値が保存されている。
このように、上記した興奮度記憶装置としての機能する興奮度調整装置10においては、興奮度のレベル毎に、運転者が当該興奮度の各々の何れかであるという判定の基準となる各特徴量の基準値を記憶する。このような基準値を用いることで、運転者の行動の癖を考慮して、当該運転者特徴量から実際の興奮度を正確に判定すること容易となる。すなわち、上記説明した興奮度記憶装置として機能する興奮度調整装置10は、運転者の行動の癖を考慮して実際の興奮度を正確に判定することに資する基準値を提供することが可能である。
これらの基準値を使って、興奮度を判定する場合、例えば、上半身カメラ11及び下半身カメラ13から得られた映像信号及びマイク15から得られた音声信号から算出された運転者の各特徴量と最も近似する基準特徴量のセットを決定する。そして、当該運転者の実際の興奮度のレベルが、当該基準特徴量のセットに紐付けられた興奮度のレベルであると判定してもよい。
上記説明においては、興奮度のレベルのみで区分して、興奮度のレベル毎に各特徴量の基準値を算出することとした。しかし、自動運転レベルによって、運転者の身体の自由度が異なる場合がある。
例えば、自動運転レベル0の際には、運転者は手動で自動車の走行に関わる全ての操作をしなければならないため、運転者はハンドルから手を離すことが余りできず、かつアクセル及びブレーキ付近から足を離すこともできない。その一方、自動運転レベルが3以上の際には、操舵及び加減速が自動化されているため、運転者は比較的自由に手を動かすことができる。
このような自動運転レベルの違いによる身体の自由度を加味した特徴量の基準値を算出するために、同一の興奮度のレベルかつ同一の自動運転レベルである状況毎に特徴量を集計して各特徴量の基準値を算出して保存することとしてもよい。
図6に、興奮度データベース33Aに保存された基準値データの一例である基準値テーブルT3を示す。基準値テーブルT3に示すように、興奮度レベル及び自動運転レベルの組み合わせ毎に紐付けて基準特徴量が保存されることとしてもよい。
このように、興奮度の判断基準となる基準値を自動運転レベルによってさらに細分化することで、さらに正確な判定に資する基準値を提供することが可能である。
なお、興奮度調整装置10は、上記基準値を用いて興奮度を判定し、当該興奮度が所定の閾値と超えたと判定すると、運転者の興奮度を抑制する抑制動作を行う興奮抑制装置として機能してもよい。この際、興奮度調整装置10は、運転者の所定時間帯における行動特徴量を取得して、その行動特徴量と上記基準値とに基づいて、運転者の興奮度を判定し得る。
[興奮度判定装置としての動作]
以下、興奮度調整装置10が興奮度判定装置として機能する際の動作について説明する。以下の説明においては、行動特徴量が大きければ大きいほど興奮度が高いとして説明する。興奮度判定装置として機能する際の興奮度調整装置10は、自動車Mの運転者の身体の各部の行動特徴量及び当該行動特徴量が取得された際の自動車Mの運転制御情報を取得する。運転制御情報には、自動運転レベルを含む。そして、当該取得された行動特徴量及び運転制御情報に基づいて運転者の興奮度のレベルを判定する。
自動運転レベルは、そのレベルによって自動車Mの走行制御の運転者に対する依存度が変わる。そのため、自動運転レベルは、自動車Mの走行制御の運転者に対する依存度に関する依存度情報ともいえる。
運転者は、自動運転のレベルによって身体の動作の自由度が異なることが予測される。そのため、行動特徴量による興奮度の判定に自動運転レベルを加味することで、運転者の興奮度を正確に判定することが可能となり得る。
興奮度調整装置10は、興奮度のレベルを判定する際に、自動運転レベルに基づいて行動特徴量を補正して当該補正後の値を用いて興奮度レベルを判定してもよい。すなわち、行動特徴量に対する補正係数は、自動運転レベル毎に個別に設定されていてもよい。
また、この行動特徴量の補正は、運転者の身体の各部の行動特徴量毎に個別になされてもよい。すなわち、行動特徴量に対する補正係数は、運転者の身体の各部の行動特徴量毎に個別に設定されていてもよい。
運転者の身体の各部の動きの自由度は、自動運転の状況によって異なる。例えば、操舵を手動で行わないと行けない場合には、上半身の動きの自由度は低い。また、例えば、加減速を手動で行わなければならないときは、下半身の動きの自由度が低い。よって、自動運転レベルに基づいた行動特徴量の補正を運転者の身体の各部毎に行うことで、運転者の身体の各部の自由度を加味して、興奮度のレベルの判定を行うことが可能となり得る。
なお、興奮度調整装置10は、行動特徴量を補正せずに、興奮度のレベルの判定に用いる基準値である興奮度判定用基準値を自動運転レベルに基づいて変化させてもよい。
また、興奮度調整装置10は、自動運転レベルが高くなるほど興奮度のレベルを低く判定するようにしてもよい。例えば、興奮度調整装置10は、興奮度のレベルの判定の際に、自動運転レベルが高くなるほど、行動特徴量の補正後の値が小さくなるようにしてもよい。また、興奮度調整装置10は、興奮度のレベルの判定の際に、自動運転レベルが高くなるほど、興奮度のレベルの判定に用いる基準値を大きくすることとしてもよい。
通常は、自動運転レベルが高くなるほど運転者の身体の動作の自由度が上がる。従って、自動運転レベルが低くなるほど、すなわち運転者に対する依存度が高くなるほど興奮度のレベルが高く判定されやすくすることで、興奮度のレベルを適切に判定可能となり得る。
[興奮度判定装置としての動作のための動作ルーチンの一例]
以下に、興奮度判定装置として機能する際の興奮度調整装置10の動作ルーチンの一例について説明する。
図7は、動作ルーチンの一例としての興奮度判定ルーチンR2を示す図である。興奮度判定ルーチンR2は、例えば、興奮度調整装置10の電源が入ると繰り返し実行される。
興奮度記憶ルーチンR2が開始されると、制御部35は、まず、運転者の動作特徴量及び音声特徴量を含む行動特徴量を検出して取得する(ステップS1)。このステップS1において、制御部35は、特徴量検出部として機能する。
例えば、制御部35は、上半身カメラ11及び下半身カメラ13から得られた映像及びマイク15から得られた音声から、運転者の行動特徴量を取得する。この行動特徴量の取得において、上記説明した運転者の動作に関する動作特徴量は、例えば、上半身カメラ11及び下半身カメラ13から得られた映像から、運転者の身体の各部の動作をモーションキャプチャすることで算出して取得されてもよい。
ステップS1が終了すると、制御部35は、自動運転レベルを取得する(ステップS2)。この自動運転レベルは、上述したように、走行制御装置VCからデータ収集部41を介して取得可能である。このステップS2において、制御部35は、走行制御情報取得部として機能する。
ステップS2が終了すると、制御部35は、自動運転レベルに基づいてステップS1において取得した行動特徴量の各々を補正する(ステップS3)。例えば、この補正は、自動運転レベルが高くなるほど大きな係数を行動特徴量の各々にかけることで行われてもよい。言い換えれば、自動車Mの走行のために運転者が行う操作が多いほど、すなわち、自動車Mの走行制御のうち運転者に依存する度合いが高いほど大きな係数を行動特徴量の各々にかけることとしてもよい。
上述のように、行動特徴量の各々に異なる補正値が設定されていてもよい。例えば、自動運転レベルが1または2である場合、操舵が自動化されている際には手の行動特徴量に補正値として0.7をかけて他の行動特徴量は補正せず、加減速が自動化されている場合には、足に補正値として0.8をかけて他の行動特徴量は補正しないこととしてもよい。また、自動運転レベルが3以上の場合には、全ての動作特徴量に補正値として0.5をかけて、音声特徴量は補正しないこととしてもよい。
ステップS3が終了すると、制御部35は、ステップS3において取得された補正値を用いて運転者の興奮度を判定する(ステップS4)。このステップS4において、制御部35は、興奮度判定部として機能する。この興奮度の判定は、予め設定されている基準値に基づいてなされてもよい。また、この興奮度の判定は、上記した興奮度記憶装置としての機能によって興奮度調整装置10によって算出されて保存される行動特徴量の基準値に基づいて行われてもよい。
このように、上記した興奮度判定装置として機能する興奮度調整装置10によれば、自動化レベルの差異を加味して、興奮度の判定を行うことができる。具体的には、例えば、行動特徴量に基づく運転者の興奮度の判定を、自動化レベルによって異なる運転者の身体的自由度を加味して行うことができる。このため、運転者の興奮度を精度よく判定することが可能となる。
なお、上述の興奮度判定ルーチンR2の説明においては、ステップS3において、行動特徴量の各々を補正することとしたが、行動特徴量の各々を補正しなくともよい。この場合、興奮度のレベルの判定のために予め設定されている基準値を、自動車Mの自動運転レベル、または加減速自動制御もしくは操舵自動制御等の自動運転制御の態様によって補正してもよい。
[興奮度抑制装置としての動作(パターン1)]
以下に、興奮度抑制装置として機能する際の興奮度調整装置10の動作の一例について説明する。以下の説明においては、行動特徴量が大きければ大きいほど興奮度が高いとして説明する。興奮度抑制装置として機能する際の興奮度調整装置10は、自動車Mの運転者の身体の各部の行動特徴量及び当該行動特徴量が取得された際の自動車Mの自動運転レベルを取得する。
興奮度調整装置10は、当該取得された行動特徴量に基づいて運転者の興奮度を判定する。そして、興奮度調整装置10は、判定された興奮度が、現在の自動車Mの自動運転レベルに基づいて定められる興奮度閾値を超えるか否かを判定し、当該興奮度閾値を超えると判定すると、運転者の興奮度を抑制する動作を実行する。
この興奮度を抑制する動作は、例えば、ディスプレイ19Aまたはスピーカー21を介して、運転者の興奮度が下がる、すなわち運転者が落ち着く映像コンテンツまたは音声もしくは音響コンテンツを再生する動作であってもよい。
興奮度調整装置10は、自動運転レベルが低いほど、すなわち自動車Mの走行制御の運転者への依存度が高いほど、興奮度閾値を低く設定することとしてもよい。また、興奮度閾値を超えたか否かの判定は、運転者の行動特徴量の平均値が所定の閾値を超えたか否か、または個々の行動特徴量の1または複数が個々の行動特徴量ごとに設定された閾値を超えたか否かでなされてもよい。
上記した興奮度抑制装置として機能する興奮度調整装置10によれば、自動運転レベルに応じて、すなわち自動車Mの走行制御の運転者への依存度に応じて適切に運転者の興奮度をコントロールすることで、運転者を操縦に適切な状態に至らしめることが可能である。
[興奮度抑制装置としての動作(パターン1)のための動作ルーチンの一例]
以下に、興奮度抑制装置として機能する際の興奮度調整装置10の動作ルーチンの一例について説明する。図8は、動作ルーチンの一例としての興奮度抑制ルーチンR3を示す図である。興奮度抑制ルーチンR3は、例えば、興奮度調整装置10の電源が入ると繰り返し実行される。
興奮度抑制ルーチンR3が開始されると、制御部35は、まず、興奮度として、運転者の動作特徴量及び音声特徴量を含む行動特徴量を取得する(ステップS1)。例えば、制御部35は、上半身カメラ11及び下半身カメラ13から得られた映像及びマイク15から得られた音声から、運転者の行動特徴量を取得する。ステップS1において、制御部35は、興奮度取得部として機能する。
この行動特徴量の取得において、上記説明した運転者の動作に関する動作特徴量は、例えば、上半身カメラ11及び下半身カメラ13から得られた映像から、運転者の身体の各部の動作をモーションキャプチャすることで算出して取得されてもよい。
ステップS1が終了すると、制御部35は、自動運転レベルを取得する(ステップS2)。この自動運転レベルは、上述したように、走行制御装置VCからデータ収集部41を介して取得可能である。このステップS2において、制御部35は、走行制御情報取得部として機能する。
ステップS2が終了すると、制御部35は、ステップS1において取得された興奮度が、自動運転レベル対応して定められた興奮度閾値を超えるか否かを判定する(ステップS3)。このステップS3において、制御部35は、興奮度判定部として機能する。この判定においては、ステップS1において取得された身体の各部の行動特徴量の平均が、自動運転レベルに対応して定められる特徴量閾値を超えた場合に、興奮度が興奮度閾値を超えたと判断しても良い。
また、この判定においては、ステップS1において取得された身体の各部の行動特徴量の1または複数が、自動運転レベルに対応して身体の各部の行動特徴量の各々に対して定められる特徴量閾値を超えた場合に、興奮度が興奮度閾値を超えたと判断してもよい。
ステップS3において、興奮度が閾値を超えていないと判定される(ステップS3:NO)その後ルーチンは終了する。ステップS3において、興奮度が閾値を超えたと判定される(ステップS3:YES)と、制御部35は、運転者の興奮度を抑制する興奮度抑制動作を実行する(ステップS4)。このステップS4において、制御部35は、興奮抑制部として機能する。この興奮度抑制動作は、上述したように、例えば、ディスプレイ19Aまたはスピーカー21を介して、運転者の興奮度を下げる、すなわち運転者を落ち着かせるコンテンツを再生する動作であってもよいし、興奮度記憶装置に記憶されている興奮度の低いコンテンツを再生する動作であってもよい。
上述の興奮度抑制ルーチンR3の説明においては、ステップS3において、自動運転レベルによって定められる特徴量閾値を用いて興奮度が興奮度閾値を超えたか否かを判定することとした。
しかし、自動運転レベルのみならず、自動運転制御の態様によって特徴量閾値が定められていてもよい。例えば、操縦制御が自動になっている場合は、運転者はハンドル操作をする必要が無く手の動作の自由度が高いので、手の動作に関する特徴量に対する閾値を高くするかまたは無くしてもよい。また、例えば、加減速制御が自動になっている場合には、運転者はアクセルまたはブレーキの操作をする必要が無く足の動作の自由度が高いので、足の動作に関する特徴量に対する閾値を高くするかまたは無くしてもよい。
[興奮度抑制装置としての動作(パターン2)]
以下に、興奮度抑制装置として機能する際の興奮度調整装置10の動作の一例について説明する。以下の説明においては、行動特徴量が大きければ大きいほど興奮度が高いとして説明する。
興奮度抑制装置として機能する際の興奮度調整装置10は、運転者への依存度の異なる走行制御モードの移行、例えば自動運転レベルの移行がある場合に走行制御装置VCから発せられる走行制御モード移行情報(以下、単にモード移行情報とも称する)を取得する。モード移行情報は、例えば、現在の走行制御モード及び移行後の走行制御モードの情報を含む。すなわち、モード移行情報は、走行制御モードの移行に関する情報である。
興奮度調整装置10は、モード移行情報を受信、すなわち取得すると、移行後の走行制御モードが移行前の走行制御モードよりも運転者への依存度が高いか否かを判定する。具体的には、例えば、移行後の自動運転レベルが移行前の自動運転レベルよりも低いレベルか否かを判定する。
興奮度調整装置10は、移行後の走行制御モードが移行前の走行制御モードよりも運転者への依存度が高いと判定すると、運転者の興奮度を抑制する動作を実行する。この興奮度を抑制する動作は、例えば、ディスプレイ19Aまたはスピーカー21を介して、運転者の興奮度が下がる、すなわち運転者が落ち着く映像コンテンツまたは音声もしくは音響コンテンツを再生する動作であってもよい。
興奮度調整装置10は、運転者の現在の興奮度を取得して、移行後の運転制御モード、例えば自動運転レベルに基づいて定められる興奮度閾値を超えるか否かを判定し、当該興奮度閾値を超えると判定すると、運転者の興奮度を抑制する動作を実行することとしてもよい。運転者の興奮度は、運転者の行動特徴量に基づいて算出されてもよい。
また、興奮度調整装置10は、取得された運転者の興奮度が上記興奮度閾値を超えている際に、当該興奮度と興奮度閾値との差が大きいほど、興奮度の抑制効果が大きい動作を行うこととしてもよい。また、興奮度調整装置10は、走行制御モードの移行までの時間が短いほど、興奮度の抑制効果が大きい動作を行うこととしてもよい。
興奮度の抑制効果は、再生する楽曲の曲調が穏やかなほど、具体的には、再生する楽曲のピッチが遅いほど大きいとしてもよい。
上記した興奮度抑制装置として機能する興奮度調整装置10によれば、走行制御モードが運転者への依存度がより高いモードに移行する際に、運転者の興奮度をコントロールすることで、運転者を操縦に適切な状態に至らしめることが可能である。
[興奮度抑制装置としての動作(パターン2)のための動作ルーチンの一例]
以下に、興奮度抑制装置として機能する際の興奮度調整装置10の動作ルーチンの一例について説明する。図9は、動作ルーチンの一例としての興奮度抑制ルーチンR4を示す図である。興奮度抑制ルーチンR4は、例えば、興奮度調整装置10の電源が入ると繰り返し実行される。
興奮度抑制ルーチンR4が開始されると、制御部35は、まず、モード移行情報の到来を待機する(ステップS1)。モード移行情報は、走行制御モードが移行すると走行制御装置VCが判定すると、走行制御装置VCから発せられる。この判定は、例えば、走行制御装置VCがGPS受信機17から位置情報を取得し、現在の地点と近々到達する地点とで許容される自動運転レベルが異なるか否かでなされても良い。
ステップS1が終了すると、制御部35は、モード移行情報が到来して受信したか否かを判定する(ステップS2)。このステップS1及びS2において、制御部35は、モード移行情報取得部として機能する。ステップS2において、モード移行情報が未だに受信されていないと判定される(ステップS2:NO)と、制御部35は、ステップS1を継続して実行し、モード移行情報の到来を待機する。
ステップS2において、モード移行情報が受信されたと判定される(ステップS2:YES)と、制御部35は、運転者への依存度が高いモードに走行制御モードが移行するか否かを判定する(ステップS3)。この判定においては、例えば、移行後の自動運転レベルが移行前の現在の運転レベルよりも低いことをして、走行制御モードが運転者への依存度が高いモードに移行することとしてもよい。
ステップS3において、運転者への依存度が高い走行制御モードに移行しないと判定される(ステップS3:NO)、すなわち現在の制御モードと運転者への依存度が変わらないかまたは運転者への依存度が低くなると判定されると、ルーチンR4は終了する。
ステップS3において、運転者への依存度が高い走行制御モードに移行すると判定される(ステップS3:YES)と、制御部35は、現在の興奮度が当該移行後の走行制御モードによって定まる興奮度閾値を超えているか否かを判定する(ステップS4)。
ステップS4においては、例えば、制御部35は上半身カメラ11、下半身カメラ13またはマイク15からの情報に基づいて身体の各部の行動特徴量を取得する。そして、当該取得した各部の行動特徴量の平均が、走行制御モード、例えば自動運転レベルに対応して定められる特徴量閾値を超えている場合に、興奮度が興奮度閾値を超えていると判断しても良い。
また、ステップS4においては、上記取得された身体の各部の行動特徴量の1または複数が、走行制御モード、例えば自動運転レベルに対応して身体の各部の行動特徴量の各々に対して定められる特徴量閾値を超えている場合に、興奮度が興奮度閾値を超えていると判断してもよい。
ステップS4において、興奮度が閾値を超えると判定される(ステップS4:YES)と、制御部35は、運転者の興奮度を抑制する興奮度抑制動作を実行する(ステップS5)。このステップS3乃至5において、制御部35は、興奮抑制部として機能する。この興奮度抑制動作は、上述したように、例えば、ディスプレイ19Aまたはスピーカー21を介して、運転者の興奮度を下げるコンテンツを再生する動作であってもよい。
ステップS5が終了するかまたはステップS4において、興奮度が閾値を超えていると判定される(ステップS4:NO)と、制御部35は、運転制御モードの移行のタイミングが到来したか否かを判定する(ステップS6)。この判定は、例えば、制御部35が走行制御装置VCに運転制御モードの移行のタイミングを問い合わせることで行われもよい。
ステップS6において、制御モード移行のタイミングが到来したと判定される(ステップS6:NO)と、制御部35は、興奮度抑制動作を終了して、ルーチンが終了する。ステップS6において、制御モード移行のタイミングがまだ到来していないと判定される(ステップS6:NO)と、制御部35は、再度ステップS4を実行して、興奮度が未だ閾値を超えている場合には、興奮度抑制動作を継続する。
上記興奮度抑制ルーチンR4においては、当該興奮度と興奮度閾値との差または走行制御モードの移行までの時間を考慮していないが、これらを考慮することしてもよい。
図10は、当該興奮度と興奮度閾値との差または走行制御モードの移行までの時間を考慮した場合の興奮度抑制ルーチンR5を示している。興奮度抑制ルーチンR5は、興奮度抑制ルーチンR4と処理が一部異なるのみであるので、異なる部分についてのみ説明する。
興奮度抑制ルーチンR5においては、ステップS4において興奮度が閾値と超えていると判定される(ステップS4:YES)と、制御部35が走行制御モードの移行までの時間が所定時間未満かを判定する(ステップS4−1)。
ステップS4−1において、走行制御モードの移行まで所定時間以上であると判定される(ステップS4−1:YES)と、制御部35は、運転者の現在の興奮度と移行後の走行制御モードによって定まる興奮度閾値との差が所定値以上か否かを判定する(ステップS4−2)。
ステップS4−2において、現在の興奮度と興奮度閾値との差が所定値以下であると判定される(ステップS4−2:NO)と、制御部35は通常の興奮度抑制動作を実行する(ステップS5−1)される。ステップS4−1において、走行制御モードの移行までの時間が所定時間未満であると判定される(ステップS4−1:YES)かまたはステップS4−2において現在の興奮度と興奮度閾値との差が所定値以上であると判定される(ステップS4−2:YES)と、制御部35は、特別の興奮度抑制動作を実行する(ステップS5−2)。
この特別の興奮度抑制動作は、通常の興奮度抑制動作よりも運転者の興奮度を抑制させる(低下させる)効果の高い動作である。例えば、特別の興奮度抑制動作においては、通常の興奮度抑制動作よりもさらに穏やかな曲調の音楽を再生することとしてもよい。
[コンテンツ選択装置としての動作]
以下に、コンテンツ選択装置として機能する際の興奮度調整装置10の動作の一例について説明する。
コンテンツ選択装置として機能する際の興奮度調整装置10は、映像または音声等のコンテンツを再生し、当該コンテンツの再生中の運転者の行動特徴量を取得して、これを当該コンテンツの情報であるコンテンツ情報と紐付けて保存して蓄積する。
コンテンツ選択装置として機能する際の興奮度調整装置10は、上記保存されたコンテンツ情報及びこれに紐付けられた行動特徴量に基づいて、1のコンテンツを再生した際に当該1のコンテンツの次に再生するコンテンツである次コンテンツを選択する。
例えば、このコンテンツの選択は、当該再生している1のコンテンツとユーザのノリ方、興奮の仕方(以下、単に興奮度の仕方という)に近い興奮の仕方のコンテンツを選択することで行う。以下の説明においては、1のコンテンツと他のコンテンツとでユーザの行動特徴量の一致度が高い場合に、当該1のコンテンツと他のコンテンツとでユーザの興奮の仕方が近いと判断することとする。
従って、興奮度抑制装置10は、現在再生している1のコンテンツに紐付けられている行動特徴量と他のコンテンツに紐付けられている行動特徴量との比較に基づいて、他のコンテンツの中から選択する。例えば、興奮度抑制装置10は、当該再生している1のコンテンツに紐付けられている行動特徴量と他のコンテンツに紐付けられている行動特徴量との比較に基づいて、他のコンテンツの中から選択する。具体的には、例えば、他のコンテンツの中から当該再生している1のコンテンツに紐付けられた行動特徴量と一致度の高い行動特徴量に紐付けられたコンテンツを選択することで行う。
この行動特徴量の一致度の評価は、1のコンテンツと他のコンテンツとで、紐付けられている行動特徴量を身体の部位毎に比較して、特徴量の差の合計が少ない場合に一致度が高いと評価することで行われてもよい。
また、この行動特徴量の一致度の評価は、1のコンテンツに紐付けられた身体の部位毎の行動特徴量(例えば、頭の特徴量:手の特徴量:足の特徴量)の比を、他のコンテンツに紐付けられた身体の部位毎の行動特徴量と比較して、当該比の値の近似度が高い場合に一致度が高いとして評価することで行われてもよい。
このように、上述したコンテンツ選択装置として機能する興奮度抑制装置10によれば、現在再生しているコンテンツの次に再生するコンテンツを、現在再生しているコンテンツとユーザの興奮の仕方の近いコンテンツにすることで、ユーザの興奮を損ねることなく、コンテンツの再生を行うことが可能である。また、興奮度を抑制させるためのコンテンツが再生中である場合には、続けて興奮度を抑制させるためのコンテンツを再生することが可能である。
[コンテンツ選択装置としての動作のための動作ルーチンの一例]
以下に、興奮度記憶装置として機能する際の興奮度調整装置10の動作ルーチンの一例について説明する。
図11は、ユーザの興奮の仕方を蓄積するための動作ルーチンの一例としての興奮度蓄積ルーチンR6を示す図である。興奮度蓄積ルーチンR6は、例えば、興奮度調整装置10の電源が入ると繰り返し実行される。
興奮度蓄積ルーチンR6が開始されると、制御部35は、まずコンテンツの再生が開始されたか否かを判定する(ステップS1)。ステップS1において、コンテンツの再生が開始されていないと判定される(ステップS1:NO)と、ルーチンR6は終了する。
ステップS1において、コンテンツの再生が開始されたと判定されると(ステップS1:YES)、制御部35は、運転者の動作特徴量及び音声特徴量を含む行動特徴量を検出して取得する(ステップS2)。このステップS2において、制御部35は、特徴量検出部として機能する。例えば、制御部35は、上半身カメラ11及び下半身カメラ13から得られた映像及びマイク15から得られた音声から、運転者の行動特徴量を取得する。
この行動特徴量の取得において、上記説明した運転者の動作に関する動作特徴量は、例えば、上半身カメラ11及び下半身カメラ13から得られた映像から、運転者の身体の各部の動作をモーションキャプチャすることで算出して取得されてもよい。
ステップS2が終了すると、制御部35は、コンテンツの再生が終了したか否かを判定する(ステップS3)。ステップS3において、コンテンツの再生が終了していないと判定される(ステップS3:NO)と、制御部35は、繰り返しステップS3を実行する。
ステップS3において、コンテンツの再生が終了していると判定される(ステップS4:YES)と、制御部35は、再生されていたコンテンツ並びに行動特徴量を、興奮度データとして興奮度データベース33Aに蓄積する(ステップS4)。このステップS4において、制御部35は、記憶部として機能する。
ここで、興奮度データベース33Aに蓄積されるデータは、例えば、上述の説明において図4に示した興奮度データテーブルT1のうちの自動運転レベルと評価興奮度を除いたものであってもよい。
このように、興奮度蓄積ルーチンR6によって、コンテンツと当該コンテンツに紐付けられた行動特徴量を含む情報が蓄積される。
図12は、ユーザが再生中のコンテンツと同様の興奮の仕方をするコンテンツを次コンテンツとして選択しつつ再生するコンテンツ再生ルーチンR7を示す図である。コンテンツ再生ルーチンR7は、例えば、タッチパッド19B等を通してユーザからコンテンツの再生操作を受け付けた際に開始することとしてもよい。
コンテンツ再生ルーチンが開始されると、まず、制御部35は、コンテンツの再生を開始する(ステップS1)。このステップS1において、制御部35は、コンテンツ再生部として機能する。ステップS1が終了すると、制御部35は、ユーザの興奮の仕方が再生中のコンテンツに近い興奮の仕方のコンテンツを選択する(ステップS2)。このステップS2において、制御部35は、コンテンツ選択部として機能する。
例えば、この選択において、制御部35は、まず、上記した興奮度蓄積ルーチンR6によって興奮度データベース33A内に保存されたデータを参照し、再生中のコンテンツに紐付けられた行動特徴量を読み出す。そして、当該読み出された行動特徴量と最も一致度が高い行動特徴量に紐付けられているコンテンツを次に再生する次再生コンテンツとして選択する。
ステップS2の終了後、制御部35は、ユーザから再生終了操作を受け付けたかを判定する(ステップS3)。この判定は、例えば、タッチパッド19B等を通してユーザからコンテンツの再生終了操作を受け付けたか否かで判定してもよい。
ステップS3において、再生終了操作を受け付けたと判定される(ステップS3:YES)と、ルーチンR7は終了する。
ステップS3において、再生終了操作が受け付けられていない判定される(ステップS3:NO)と、制御部35は、現在再生されているコンテンツが終了したかを判定する(ステップS4)。ステップS4において、現在再生されているコンテンツが終了していないと判定される(ステップS4:NO)と、制御部35はステップS4を再度実行する。
ステップS4において、現在再生されているコンテンツが終了したと判定される(ステップS4:YES)と、制御部35は、ステップS2において選択された次コンテンツを再生する(ステップS5)。ステップS5の終了後、制御部35は、再度ステップS2を実行する。
上記実施例1で説明した興奮度調整装置10によれば、運転者の興奮度を効果的に調整することが可能となり、それによって運転者の運転を支援することが可能である。
上述した実施例における興奮度調整装置10の構成、ルーチン、またはデータの形式等は、例示に過ぎず、用途等に応じて、適宜選択または変更することができる。
10 興奮度調整装置
31 システムバス
33 大容量記憶装置
35 制御部

Claims (3)

  1. 移動体の乗員の行動に関する特徴量を検出する特徴量検出部と、
    前記特徴量を検出した際の前記乗員の興奮度を示す興奮度情報を取得する興奮度取得部と、
    前記特徴量及び前記興奮度情報に基づいて、前記興奮度のうちの第1興奮度に対応する特徴量である第1対応特徴量を算出し、前記第1対応特徴量を、前記第1興奮度と関連付けて記憶する特徴量記憶部と、を備え、
    前記特徴量検出部は、所定の楽曲コンテンツの再生中の前記特徴量を検出することを特徴とする記憶装置。
  2. 前記特徴量が検出された際の移動体の自動運転レベルを示す自動運転レベル情報を取得する自動運転レベル取得部を有し、前記特徴量記憶部は、前記特徴量、前記興奮度情報及び前記自動運転レベル情報に基づいて、前記第1興奮度及び前記自動運転レベルのうちの第1自動運転レベルに対応する特徴量である第2対応特徴量を算出し、前記第2対応特徴量を、前記第1興奮度及び前記第1自動運転レベルと関連付けて記憶することを特徴とする請求項1に記載の記憶装置。
  3. 移動体の乗員の行動に関する特徴量を検出する特徴量検出部と、
    前記特徴量を検出した際の前記乗員の興奮度を示す興奮度情報を取得する興奮度取得部と、
    前記特徴量及び前記興奮度情報に基づいて、前記興奮度のうちの第1興奮度に対応する特徴量である第1対応特徴量を算出し、前記第1対応特徴量を、前記第1興奮度と関連付けて記憶する特徴量記憶部と、
    所定時間帯において前記特徴量検出部が検出した前記特徴量及び前記特徴量記憶部に記憶された前記第1対応特徴量に基づいて、前記所定時間帯の前記乗員前記興奮度を判定し、当該判定された興奮度が所定の閾値を超えたと判定されると、前記乗員の興奮を抑制する抑制動作を行う興奮抑制部と、を備え、
    前記第1対応特徴量の算出時において、前記特徴量検出部は、所定の楽曲コンテンツの再生中の前記特徴量を検出することを特徴とする興奮抑制装置。
JP2019561633A 2017-12-27 2018-12-21 記憶装置及び興奮抑制装置 Active JP6963632B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017251698 2017-12-27
JP2017251698 2017-12-27
PCT/JP2018/047182 WO2019131485A1 (ja) 2017-12-27 2018-12-21 記憶装置及び興奮抑制装置

Publications (2)

Publication Number Publication Date
JPWO2019131485A1 JPWO2019131485A1 (ja) 2021-01-28
JP6963632B2 true JP6963632B2 (ja) 2021-11-10

Family

ID=67067296

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019561633A Active JP6963632B2 (ja) 2017-12-27 2018-12-21 記憶装置及び興奮抑制装置

Country Status (4)

Country Link
US (1) US11430230B2 (ja)
EP (1) EP3716013A4 (ja)
JP (1) JP6963632B2 (ja)
WO (1) WO2019131485A1 (ja)

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6055659B2 (ja) 1978-03-24 1985-12-06 三菱レイヨン株式会社 折板屋根用採光部材の取付け構造
DE10152852A1 (de) 2001-10-25 2003-05-22 Daimler Chrysler Ag System zur Bestimmung und Beeinflussung der emotionalen Verfassung des Fahrers eines Kraftfahrzeugs
JP2009018047A (ja) * 2007-07-12 2009-01-29 Toyota Motor Corp 心理状態推定装置
JP5244627B2 (ja) * 2009-01-21 2013-07-24 Kddi株式会社 感情推定方法および装置
JP5408201B2 (ja) * 2011-08-10 2014-02-05 株式会社デンソー 車両制御装置、および車両制御プログラム
US8823530B2 (en) * 2011-11-17 2014-09-02 GM Global Technology Operations LLC System and method for auto-correcting an autonomous driving system
US9149236B2 (en) * 2013-02-04 2015-10-06 Intel Corporation Assessment and management of emotional state of a vehicle operator
JP6213282B2 (ja) * 2014-02-12 2017-10-18 株式会社デンソー 運転支援装置
JP6497158B2 (ja) * 2014-05-16 2019-04-10 株式会社リコー 表示装置、移動体
JP6149824B2 (ja) 2014-08-22 2017-06-21 トヨタ自動車株式会社 車載装置、車載装置の制御方法及び車載装置の制御プログラム
US10137902B2 (en) 2015-02-12 2018-11-27 Harman International Industries, Incorporated Adaptive interactive voice system
DE102016207447A1 (de) * 2016-04-29 2017-11-02 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Insassenassistenz für ein Fahrzeug und Vorrichtung hierfür
JP6911841B2 (ja) * 2016-05-11 2021-07-28 ソニーグループ株式会社 画像処理装置及び画像処理方法、並びに移動体
US20180053102A1 (en) * 2016-08-16 2018-02-22 Toyota Jidosha Kabushiki Kaisha Individualized Adaptation of Driver Action Prediction Models
US10611379B2 (en) * 2016-08-16 2020-04-07 Toyota Jidosha Kabushiki Kaisha Integrative cognition of driver behavior
JP6612707B2 (ja) * 2016-09-30 2019-11-27 本田技研工業株式会社 情報提供装置
EP3837137A4 (en) * 2018-06-26 2022-07-13 Itay Katz CONTEXT DRIVER MONITORING SYSTEM

Also Published As

Publication number Publication date
WO2019131485A1 (ja) 2019-07-04
US11430230B2 (en) 2022-08-30
EP3716013A1 (en) 2020-09-30
EP3716013A4 (en) 2021-09-29
JPWO2019131485A1 (ja) 2021-01-28
US20210064895A1 (en) 2021-03-04

Similar Documents

Publication Publication Date Title
US10133917B2 (en) Lifelog recording system
US7505839B2 (en) Vehicular data recording device
JP2007011907A (ja) ドライビングレコーダ
JP2009208739A (ja) 眠気覚醒装置
US20120053796A1 (en) Method and system for adjusting a pedal map
US9305534B2 (en) Audio system for a motor vehicle
JP2000181500A (ja) 音声認識装置及びエ―ジェント装置
JP6963632B2 (ja) 記憶装置及び興奮抑制装置
JP2019132928A (ja) 車両用楽曲提供装置
JP2011091667A (ja) ドライブレコーダ、記録方法、データ処理装置、データ処理方法及びプログラム
JP2024037779A (ja) 興奮度判定装置
JP6794710B2 (ja) 音環境調整装置および音環境調整方法
JP2019116215A (ja) 興奮抑制装置
JP2019116216A (ja) 興奮抑制装置
JP2019117545A (ja) コンテンツ選択装置
JP2006201853A (ja) コンテンツ再生装置
US11668578B2 (en) Interaction device, interaction method, and storage medium storing program
JP2010245950A (ja) 車載用画像制御装置
JP5452768B2 (ja) 車載情報制御装置及びナビゲーション装置
JP4829184B2 (ja) 車載装置および音声認識方法
US20170330595A1 (en) Audio information correction system, audio information correction method, and audio information correction program
JP4042535B2 (ja) 車載情報提供装置
JP7340481B2 (ja) コンテンツ再生システムおよびコンテンツ選択方法
JP2012181884A (ja) 楽曲再生装置、楽曲再生方法、楽曲再生プログラムおよび楽曲再生方法を格納した記録媒体
JP2017220093A (ja) 運転者状態維持装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210928

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211015

R150 Certificate of patent or registration of utility model

Ref document number: 6963632

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150