JP5958303B2 - テキスト読み上げ装置 - Google Patents

テキスト読み上げ装置 Download PDF

Info

Publication number
JP5958303B2
JP5958303B2 JP2012258497A JP2012258497A JP5958303B2 JP 5958303 B2 JP5958303 B2 JP 5958303B2 JP 2012258497 A JP2012258497 A JP 2012258497A JP 2012258497 A JP2012258497 A JP 2012258497A JP 5958303 B2 JP5958303 B2 JP 5958303B2
Authority
JP
Japan
Prior art keywords
driver
text
gaze
display surface
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012258497A
Other languages
English (en)
Other versions
JP2014106329A (ja
Inventor
鈴木 健介
健介 鈴木
雄司 新貝
雄司 新貝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2012258497A priority Critical patent/JP5958303B2/ja
Priority to DE112013006353.0T priority patent/DE112013006353T5/de
Priority to US14/647,417 priority patent/US9886237B2/en
Priority to PCT/JP2013/005866 priority patent/WO2014083738A1/ja
Publication of JP2014106329A publication Critical patent/JP2014106329A/ja
Application granted granted Critical
Publication of JP5958303B2 publication Critical patent/JP5958303B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • B60K35/10
    • B60K35/28
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • G10L13/027Concept to speech synthesisers; Generation of natural phrases from machine-based concepts
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04Details of speech synthesis systems, e.g. synthesiser structure or memory management
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • B60K2360/148
    • B60K2360/149
    • B60K2360/161
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/08Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination

Description

本発明は、運転者に対しテキスト情報を読み上げるテキスト読み上げ装置に関する。
カーナビゲーション装置には、運転者に対し目的地までの経路を音声案内することに加え、音声合成によりテキスト情報(メール、SNS(social networking service)等)を運転者に読み上げる機能を備えたものが知られている(特許文献1参照)。この装置は、テキスト情報の内容またはテキスト情報の入力源に応じて自動的に音声読み上げモードを設定し、その音声読み上げモードに対応する音声合成制御パラメータの組み合わせを特定して音声合成を行う。この装置によれば、メールの容量が大きい場合には、読み上げ速度が速くなり、読み通す時間の短縮が図られる。また、経路案内情報や交通情報を読み上げる際に距離や地名の読み上げ速度が遅くなり、聞き取り易くなる。
特開2006−98695号公報
上記装置は、テキスト情報の内容またはテキスト情報の入力源(アプリケーションプログラムの種類)に応じて音声読み上げモードを設定する。このため、運転者の安全を配慮した上で、運転者が望むタイミングで読み上げる構成となっていない。すなわち、運転者が自らテキスト情報を読むことができる車両の停止状態では、自動読み上げは必ずしも必要ではない。むしろ、自らテキスト情報を読んでいる運転者にとって、読み上げは非常に煩わしい。一方、運転者がテキスト情報を読むことができない車両の走行中は、安全のために自動読み上げが必要になる。
本発明は上記事情に鑑みてなされたもので、その目的は、運転者がテキスト情報の読み上げを必要としている状況において適切にテキスト情報の読み上げを行うテキスト読み上げ装置を提供することにある。
請求項1に記載したテキスト読み上げ装置は、視線方向検出手段、記憶手段、注視判定手段、音声変換手段および読み上げ制御手段を備えている。視線方向検出手段は、運転者の視線方向を検出する。記憶手段には、運転者が車室内に配置されたディスプレイ装置の表示面を見ているときの運転者の視線方向が記憶されている。注視判定手段は、視線方向検出手段により検出された視線方向と記憶手段に記憶された視線方向とが一致した状態が所定の注視判定時間以上継続している場合に、運転者がディスプレイ装置の表示面を注視中であると判定する。
読み上げ制御手段は、ディスプレイ装置にテキスト情報が表示されているときに車両が動き始めた時、注視判定手段がディスプレイ装置の表示面を注視中と判定していることを条件として、音声変換手段に対し読み上げ開始指令を与える。音声変換手段は、読み上げ開始指令が与えられると、ディスプレイ装置の表示対象とされているテキスト情報を音声信号に変換して出力する。
この構成によれば、車両に乗り込んでから車両を発進させるまでの間、信号待ちにより車両を一時的に停止させている間などに、運転者がディスプレイ装置の表示面を注視していると、注視判定手段が注視中と判定する。テキスト情報がディスプレイ装置に表示されているときに車両が動き始めた時、注視判定手段が注視中と判定していれば、運転者がそのテキスト情報を読んでいる途中で車両を発進させた可能性が高いと考えられる。そこで、表示対象とされているテキスト情報の読み上げを開始する。
これにより、車両を発進させるためにディスプレイ装置から視線を外した運転者に対し、音声により継続してテキスト情報を提供できる。また、アプリケーションプログラムが起動するたびにテキスト情報を読み上げる従来構成と異なり、安全を確保するために運転者がテキスト情報の読み上げを必要としている状況においてテキスト情報の読み上げを行うことができる。
第1の実施形態に係るテキスト読み上げ装置を含むシステム構成図 カメラによる顔画像の撮影範囲と運転者の視線方向を示す説明図 画面注視フラグ設定プログラムのフローチャート 読み上げプログラムのフローチャート 第2の実施形態に係る表示面を示す図
各実施形態において実質的に同一部分には同一符号を付して説明を省略する。
(第1の実施形態)
以下、本発明の第1の実施形態について図1ないし図4を参照しながら説明する。図1に示すテキスト読み上げ装置1は、運転者が車両を発進させるため、ディスプレイ装置2に表示されているテキスト情報を自ら読み続けることができなくなったときに、代わってそのテキスト情報を読み上げて音声出力する装置である。このテキスト読み上げ装置1は、視線方向検出装置3と、ECU(Electronic Control Unit)である車載機4とから構成されている。
ディスプレイ装置2は、例えばダッシュボードにおいて運転席と助手席との中間位置に確保されたスペースに配置されている。ディスプレイ装置2は、単独で設けられるものに限らず、例えばカーナビゲーション装置に組み込まれたディスプレイ装置であってもよい。車載機4が出力した表示信号(映像信号、テキスト信号など)は、ディスプレイ装置2に送られて表示され、車載機4が出力した音声信号は、オーディオアンプ5を介して車室内に設置されたスピーカ6から出力される。
視線方向検出装置3は、運転者の視線方向を検出する視線方向検出手段であり、カメラ7とカメラECU8とから構成されている。カメラ7は、図2に示すように、運転席9に着座している乗員(運転者)の顔を撮影できる位置、例えばインストルメントパネル内の計器盤内に配置されている。カメラ7は、例えば近赤外線カメラであって、夜間でも顔画像を撮影することが可能である。この場合、補助光源からの近赤外光を運転者の顔に照射し、運転者の顔画像を撮影するようにしてもよい。
カメラECU8は、カメラ7から入力された運転者の顔画像から運転者の視線方向を検出する。この視線検出方法としては、種々のものを使用できる。例えば、顔画像から瞳の位置を特定し、瞳孔位置と眼頭位置との相対距離から視線方向を特定することができる。また、顔画像と視線方向とを対応づけたフィルタ情報(視線検出用モデル)を用いて、顔画像から視線方向を検出することもできる。また、角膜反射法を用いることもできる。カメラECU8は、CANなどの車載LAN10を介して車載機4に対し、カメラ7と瞳とを結ぶ直線を基準とする視線の左右方向の角度θ1および視線の上下方向の角度θ2(仰角・俯角)を送信する。
車載LAN10には、種々のECUが接続されている。ボデーECU11は、運転席9の前後方向の設定位置を車載機4に送信する。通信ECU12は、移動体通信網を介してインターネットとの接続を可能とする。この通信機能により、車載機4その他の車載ECUは、メールサーバやWEBサイトへのアクセスが可能となり、SNSも利用可能となる。車載LAN10には、その他の表示信号を出力する装置、音声信号を出力する装置、車速を検出するエンジンECUなどが接続されている。
車載機4は、自らメーラーやSNSなどのアプリケーションプログラムを実行可能である。車載機4は、これらのアプリケーションプログラムの実行によりディスプレイ装置2に表示するテキスト信号と、他の車載ECUから出力される表示信号とを統合して重ね合わせ、ディスプレイ装置2に出力する。また、車載機4は、カメラ7をはじめとする各種車載カメラで撮影された画像データ、地図描画データ、DVDを再生した映像データなどを直接入力して、ディスプレイ装置2に出力する。
車載機4は、制御部13、RAM14、外部メモリ15などを備えている。制御部13は、CPU、ROM、通信回路、タイマ、I/Oポート、D/A変換器などを備えており、CPUがROMまたは外部メモリ15に記憶されたプログラムを実行することにより注視判定手段16、音声変換手段17および読み上げ制御手段18として機能する。車載機4は、ディスプレイ装置2に表示信号を出力するとともに、ディスプレイ装置2がタッチ操作機能を備えている場合には操作信号を入力する。操作スイッチ群19からも操作信号を入力可能である。また、D/A変換器を介してオーディオアンプ5に音声信号を出力する。
外部メモリ15は、フラッシュメモリ、HDD、SDメモリカードなどからなる。外部メモリ15には、運転者の座高・身長データと注視判定用データとが記憶されている。座高・身長データは、運転者の座高または身長のデータであり、本実施形態では座高のデータを用いている。注視判定用データは、運転者の座高L1と運転席9の前後方向の設定位置L2との各組み合わせに対し、運転者がディスプレイ装置2の表示面2a(中央付近)を見ているときの運転者の標準的な視線方向(左右方向の角度θ1r、上下方向の角度θ2r)を示すデータである。以下の説明では、この視線方向を表示面視線方向と言う。
次に、本実施形態の作用について図3および図4を参照しながら説明する。制御部13は、車両のAccスイッチがオンされると、注視判定手段16として図3に示す画面注視フラグ設定プログラムの実行を開始し、Accスイッチがオフされると終了する。Accスイッチのオン/オフに替えて、IGスイッチのオン/オフにより開始/終了してもよい。
制御部13は、ステップS1で視線監視処理を起動する。初期化処理において、画面注視フラグをリセットし、画面注視タイマと注視解除タイマの値をゼロに設定する。そして、外部メモリ15から運転者の座高・身長データを読み出し、ボデーECU11から運転席9の前後方向の設定位置L2を入力する。さらに、外部メモリ15から、座高L1と設定位置L2との組み合わせに対応する表示面視線方向(角度θ1r、θ2r)を読み出す。このとき、カメラECU8から瞳の位置を入力し、その瞳の位置が座高L1と設定位置L2とに基づいて演算した瞳の存在範囲外となっている場合には、運転者に対し座高・身長データの入力を促す処理を加えてもよい。
制御部13は、ステップS2で、カメラECU8から視線方向(角度θ1、θ2)を入力する。この視線方向(角度θ1、θ2)が表示面視線方向(角度θ1r、θ2r)と一致する場合には、運転者がディスプレイ装置2の表示面2a(画面)を見ている(YES)と判断し、ステップS3で画面注視タイマを始動する。表示面2aを見ていない(NO)と判断した場合には、注視するまでステップS2の判断処理を繰り返す。なお、表示面視線方向(角度θ1r、θ2r)は、運転者が表示面2aの中央付近を見ているときの標準的な視線方向であるため、運転者が表示面2aの隅部を見ているときの視線方向とは若干のずれが生じる。従って、上記視線方向の一致判定の際には、当該ずれに応じた範囲内の差は一致と見なしている。
制御部13は、画面注視タイマを始動後、ステップS4においてステップS2と同様の処理により表示面2aを見ているか否かを判断する。ここで見ている(YES)と判断すると、ステップS5に移行して画面注視タイマの値が注視判定時間Tset(例えば5秒)以上になったか否かを判断する。表示面2aを見始めてから注視判定時間Tsetが経過した場合には、YESと判断してステップS6に移行し、RAM14に記憶される画面注視フラグをセットする。注視判定時間Tsetが経過していない場合には、NOと判断してステップS4に戻る。
ステップS4、S5を繰り返し実行して注視判定時間Tsetの経過を待つ間に、運転者がディスプレイ装置2の表示面2aから視線を外すと、ステップS4で表示面2aを見ていない(NO)と判断する。この場合には、ステップS12に移行して画面注視タイマを停止しリセットした後、ステップS2に戻る。すなわち、制御部13は、視線方向検出装置3により検出された視線方向と外部メモリ15から読み出した表示面視線方向とが一致した状態が注視判定時間Tset以上継続している場合に、運転者がディスプレイ装置2の表示面2aを注視中であるとして画面注視フラグをセットする。
制御部13は、画面注視フラグをセットすると、ステップS7で注視解除タイマを始動する。ステップS8においてステップS2と同様の処理により表示面2aを見ているか否かを判断する。ここで見ている(YES)と判断すると、ステップS11に移行して注視解除タイマをリセットする。一方、見ていない(NO)と判断すると、ステップS9に移行して注視解除タイマが解除判定時間Tres(例えば2秒)以上になったか否かを判断する。
視線を外してから解除判定時間Tresが経過していなければ、ステップS9でNOと判断してステップS8に戻る。これに対し、視線を外した状態のまま解除判定時間Tresが経過すると、ステップS9でYESと判断してステップS10に移行し、画面注視フラグをリセットする。その後、ステップS12の画面注視タイマの停止、リセット処理を経てステップS2に戻る。
すなわち、制御部13は、ディスプレイ装置2の表示面2aを注視中と判定して画面注視フラグをセットした後、運転者が表示面2aを見ていない状態が解除判定時間Tres以上継続している場合に、運転者が表示面2aを注視していないと判定して画面注視フラグをリセットする。
例えば、信号待ちとなって車両を停止させたとき、運転者が表示面2a(画面)の表示内容を注視判定時間Tset以上読み続けると、画面注視フラグがセットされる。運転者は、信号表示の切り替わりを確認するため、表示面2aから一時的に視線を外す場合がある。この場合でも、運転者は、まだ停止信号であることを確認すると、未読の内容を読み続けるために、解除判定時間Tres(2秒)よりも短い時間で視線を再び表示面2aに戻す。このような場合、制御部13は、画面注視フラグをセットしたままに維持する。一方、運転者が、表示内容を注視判定時間Tset以上かけて読み終えると、視線を表示面2aから外す。このような場合、運転者は、解除判定時間Tres(2秒)が経過しても視線を表示面2aに戻さないので、制御部13は、画面注視フラグをリセットする。
車載機4は、自らメーラーやSNSなどのアプリケーションプログラムを実行すると、受信したメール内容、メッセージ内容、文字情報などのテキスト情報をディスプレイ装置2に表示する。車載機4は、他のECUから文字による交通情報などのテキスト情報を受信したときも、自ら表示するテキスト情報と統合してディスプレイ装置2に表示する。
制御部13は、テキスト情報を表示するアプリケーションプログラムの実行を開始すると、音声変換手段17および読み上げ制御手段18として図4に示す読み上げプログラムの実行を開始する。このプログラム中、音声変換手段17としての制御部13は、テキスト情報を音声信号に変換して出力する処理を実行し、読み上げ制御手段18としての制御部13は、その他の処理を実行する。制御部13は、ステップS21で、表示の対象となるテキストをディスプレイ装置2の表示面2aに表示する。ここで、表示の対象となるテキストとは、1画面に表示されるテキストだけでなく、表示対象となっているテキストコンテンツの全体を言う。
読み上げ制御手段18としての制御部13は、ステップS22でアプリケーションプログラムの実行が終了したか否かを判断する。終了した場合には、YESと判断して読み上げプログラムの実行を終了する。終了していない場合には、NOと判断してステップS23に移行し、車両が発進したか否かを判断する。この判断は、車速が規定値Scよりも速いか否かを判定することにより行う。規定値Scは、運転者が表示面2aに視線を向けながら車両を進行させることが安全上好ましくない速度、例えば5〜7km/h程度に設定されている。勿論、0km/hに設定してもよい。
制御部13は、ステップS23で車速が規定値Sc以下(NO)と判断すると、表示されたテキストを運転者が自ら読むことが可能であるため、ステップS22に戻りテキストの読み上げは行わない。一方、車速が規定値Scを超えた(YES)と判断すると、ステップS24で画面注視フラグがセットされているか否かを判断する。画面注視フラグがセットされていない場合には、運転者が車両を発進させる前に表示面2aを注視していなかった(つまりテキストを読んでいなかった)ので、ステップS22に戻りテキストの読み上げは行わない。
これに対し、画面注視フラグがセットされていると、ステップS25に移行して表示の対象となっているテキストの読み上げを開始する。このとき、読み上げ制御手段18の処理ルーチンが音声変換手段17の処理ルーチンに対し読み上げ開始指令を与える。音声変換手段17としての制御部13は、表示対象とされているテキストを音声信号に変換し、D/A変換器を介してオーディオアンプ5に出力する。この場合、運転者が既に読み終えた内容を重複して読み上げることがないように、表示面2aに表示されているテキスト部分から読み上げる。また、文章の途中から読み上げを開始すると不自然なため、表示面2aの最初に表示されているテキスト文章の文頭まで遡って読み上げることが好ましい。
制御部13は、読み上げを開始すると、ステップS26でアプリケーションプログラムの実行が終了したか否かを判断する。終了した場合には、YESと判断して読み上げプログラムの実行を終了する。終了していない場合には、NOと判断してステップS27に移行し、表示対象テキストの読み上げが完了したか(全て読み終えたか)を判断する。
読み上げが完了していない場合にはNOと判断してステップS30に移行し、表示対象テキストが切り替わったか否かを判断する。切り替わっていなければステップS26に戻り、表示対象テキストの読み上げを継続する。表示対象テキストが切り替わった場合にはステップS21に戻り、新たに表示対象となったテキストについて読み上げ処理を実行する。
一方、ステップS27で読み上げが完了したと判断した場合には、ステップS28で表示対象テキストの読み上げを終了する。その後、ステップS29に移行して表示対象テキストの切り替わりを待ち、表示対象テキストが切り替わると、ステップS21に戻り新たに表示対象となったテキストについて読み上げ処理を実行する。
以上説明したように、本実施形態のテキスト読み上げ装置1は、ディスプレイ装置2にテキスト情報が表示されているときに車両が動き始めた時、運転者がディスプレイ装置2の表示面2aを注視中であることを条件として、表示対象テキストを読み上げる。信号待ち等により受信メールやSNSのメッセージを読んでいる運転者は、信号の切り替わり等により未読部分を残したまま車両を発進させたとき、継続して音声によるテキスト内容の提供を受けることができる。
本装置は、アプリケーションプログラムが起動するたびにテキスト情報を読み上げるのではなく、表示テキストを読んでいる途中で車両の発進により安全に読むことができなくなったときにのみテキストの読み上げを行う。従って、運転者にとって煩わしい不必要な読み上げを防止できる。
テキスト読み上げ装置1は、運転者がディスプレイ装置2の表示面2aを注視判定時間Tset以上継続して見ている場合に、表示面2aを注視中であると判定する。注視判定時間Tsetを適当な時間(本実施形態では5秒)に設定すれば、運転者が画面表示されたテキストを読んでいる状態か否かを正しく判定できる。また、注視中と判定した後、運転者が表示面2aから解除判定時間Tres以上継続して視線を外している場合に、表示面2aを注視中でないと判定する。解除判定時間Tresを適当な時間(本実施形態では2秒)に設定すれば、運転者が画面表示されたテキストを読み終わった状態か否かを正しく判定できる。
テキスト読み上げ装置1は、運転者が既に読み終えた内容を重複して読み上げることがないので、運転者は短時間で効率良くテキスト情報を得ることができる。また、文章の区切り(文頭)から読み上げを開始するので、読み上げ開始部分で内容が理解しにくくなることもない。
(第2の実施形態)
次に、第2の実施形態について図5を参照しながら説明する。ディスプレイ装置2の表示面2aは、図5に示すように複数の領域に区分されている。ここでは、表示面2aの縦方向を3つの領域A、B、Cに区分し、表示面2aの横方向を3つの領域1、2、3に区分している。その結果、表示面2aは、A1、A2、A3、B1、B2、B3、C1、C2、C3の9領域に区分される。図中に記載されている破線は、説明のために加えた境界線であり、実際に表示されるものではない。
外部メモリ15(図1参照)に記憶された注視判定用データは、運転者の座高L1(または身長)と運転席9の前後方向の設定位置L2との各組み合わせに対し、運転者がディスプレイ装置2の表示面2aの各領域A1〜C3を見ているときの運転者の標準的な視線方向を当該各領域A1〜C3と対応付けたデータである。以下の説明では、この視線方向を領域視線方向と言う。
制御部13は、図3に示した画面注視フラグ設定プログラムのステップS2、S4において、表示面2a(領域A1〜C3の何れか)を見ているか否かを判断する。これに対し、制御部13は、ステップS6で画面注視フラグをセットするとき、およびステップS8で表示面2aを見ているか否かを判断するとき、視線方向検出装置3により検出された視線方向と各領域の領域視線方向とに基づいて、運転者が見ている表示面2aの領域を特定してRAM14に記憶する。この特定した領域は、運転者が表示面2aから視線を外したときに最後に注視していた領域である。
制御部13は、図4に示した読み上げプログラムにおいて、表示対象テキストの読み上げ開始の条件が成立すると(ステップS24;YES)、RAM14に記憶された領域を読み出して、その領域に表示されているテキスト部分から読み上げを開始する(ステップS25)。この場合も、文章の途中から読み上げを開始すると不自然なため、当該領域の最初に表示されているテキスト文章の文頭まで遡って読み上げることが好ましい。例えば図5において注視領域がB2であった場合、当該領域B2の最初に表示されているテキスト文章の文頭である領域B1の"Avoid"まで遡って読み上げを開始する。
本実施形態のテキスト読み上げ装置1は、表示面2aを複数の領域に区分して運転者の視線方向をより細かく特定するので、読み上げ時の重複を一層低減することができる。その他、第1の実施形態と同様の作用および効果が得られる。
(その他の実施形態)
以上、本発明の好適な実施形態について説明したが、本発明は上述した実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲内で種々の変形、拡張を行うことができる。
図3に示した画面注視フラグ設定プログラムにおいて、ステップS7〜S9、S11を省略してもよい。この場合、例えば表示面2aへのテキスト表示から所定時間が経過したときに、ステップS10で画面注視フラグをリセットするようにしてもよい。
運転者の座高・身長データと注視判定用データは、制御部13の内部メモリ(記憶手段)に記憶されていてもよい。座高・身長データを記憶することに替えて、座高・身長データを運転者に入力させるように構成してもよい。車載機4は、運転者がディスプレイ装置2の表示面2aまたは表示面2aの各領域A1〜C3を見ている時の視線方向を検出し、それを標準的な表示面視線方向または領域視線方向として記憶してもよい。
図面中、1はテキスト読み上げ装置、2はディスプレイ装置、2aは表示面、3は視線方向検出装置(視線方向検出手段)、15は外部メモリ(記憶手段)、16は注視判定手段、17は音声変換手段、18は読み上げ制御手段である。

Claims (5)

  1. 運転者の視線方向を検出する視線方向検出手段(3)と、
    前記運転者が車室内に配置されたディスプレイ装置(2)の表示面(2a)を見ているときの前記運転者の視線方向を記憶する記憶手段(15)と、
    前記視線方向検出手段により検出された視線方向と前記記憶手段に記憶された視線方向とが一致した状態が所定の注視判定時間以上継続している場合に、前記運転者が前記ディスプレイ装置の表示面を注視中であると判定する注視判定手段(16)と、
    読み上げ開始指令が与えられると、前記ディスプレイ装置の表示対象とされているテキスト情報を音声信号に変換して出力する音声変換手段(17)と、
    前記ディスプレイ装置にテキスト情報が表示されているときに車両が動き始めた時、前記注視判定手段が前記ディスプレイ装置の表示面を注視中であると判定していることを条件として、前記音声変換手段に対し前記読み上げ開始指令を与える読み上げ制御手段(18)とを備えていることを特徴とするテキスト読み上げ装置。
  2. 前記注視判定手段は、前記ディスプレイ装置の表示面を注視中と判定した後、前記視線方向検出手段により検出された視線方向と前記記憶手段に記憶された視線方向とが不一致となる状態が所定の解除判定時間以上継続している場合に、前記運転者が前記ディスプレイ装置の表示面を注視していないと判定することを特徴とする請求項1記載のテキスト読み上げ装置。
  3. 前記ディスプレイ装置の表示面は複数の領域に区分されており、
    前記記憶手段は、前記運転者が前記区分された各領域を見ているときの前記運転者の視線方向を当該各領域と対応付けて記憶し、
    前記読み上げ制御手段は、前記読み上げ開始の条件が成立すると、前記音声変換手段に対し、前記運転者が最後に注視していた前記ディスプレイ装置の表示面の領域に表示されたテキスト部分からテキスト情報を読み上げるように前記読み上げ開始指令を与えることを特徴とする請求項1または2記載のテキスト読み上げ装置。
  4. 前記読み上げ制御手段は、前記読み上げ開始の条件が成立すると、前記音声変換手段に対し、前記ディスプレイ装置の表示面の最初に表示されているテキスト文章の文頭からテキスト情報を読み上げるように前記読み上げ開始指令を与えることを特徴とする請求項1または2記載のテキスト読み上げ装置。
  5. 前記読み上げ制御手段は、前記運転者が最後に注視していた表示面の領域の最初に表示されているテキスト文章の文頭からテキスト情報を読み上げるように前記読み上げ開始指令を与えることを特徴とする請求項3記載のテキスト読み上げ装置。
JP2012258497A 2012-11-27 2012-11-27 テキスト読み上げ装置 Expired - Fee Related JP5958303B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012258497A JP5958303B2 (ja) 2012-11-27 2012-11-27 テキスト読み上げ装置
DE112013006353.0T DE112013006353T5 (de) 2012-11-27 2013-10-02 Textlesevorrichtung und Textleseverfahren
US14/647,417 US9886237B2 (en) 2012-11-27 2013-10-02 Text-reading device and text-reading method
PCT/JP2013/005866 WO2014083738A1 (ja) 2012-11-27 2013-10-02 テキスト読み上げ装置およびその方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012258497A JP5958303B2 (ja) 2012-11-27 2012-11-27 テキスト読み上げ装置

Publications (2)

Publication Number Publication Date
JP2014106329A JP2014106329A (ja) 2014-06-09
JP5958303B2 true JP5958303B2 (ja) 2016-07-27

Family

ID=50827404

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012258497A Expired - Fee Related JP5958303B2 (ja) 2012-11-27 2012-11-27 テキスト読み上げ装置

Country Status (4)

Country Link
US (1) US9886237B2 (ja)
JP (1) JP5958303B2 (ja)
DE (1) DE112013006353T5 (ja)
WO (1) WO2014083738A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10131042B2 (en) 2013-10-21 2018-11-20 Milwaukee Electric Tool Corporation Adapter for power tool devices
JP6261451B2 (ja) * 2014-06-10 2018-01-17 株式会社Nttドコモ 音声出力装置及び音声出力方法
US9607609B2 (en) * 2014-09-25 2017-03-28 Intel Corporation Method and apparatus to synthesize voice based on facial structures
US11277558B2 (en) * 2016-02-01 2022-03-15 Magna Electronics Inc. Vehicle vision system with master-slave camera configuration
JP6625467B2 (ja) * 2016-03-28 2019-12-25 株式会社バンダイナムコエンターテインメント シミュレーション制御装置及びシミュレーション制御プログラム
JP6200023B1 (ja) 2016-03-28 2017-09-20 株式会社バンダイナムコエンターテインメント シミュレーション制御装置及びシミュレーション制御プログラム
JP6630607B2 (ja) * 2016-03-28 2020-01-15 株式会社バンダイナムコエンターテインメント シミュレーション制御装置及びシミュレーション制御プログラム
US9912800B2 (en) 2016-05-27 2018-03-06 International Business Machines Corporation Confidentiality-smart voice delivery of text-based incoming messages
US10224058B2 (en) 2016-09-07 2019-03-05 Google Llc Enhanced multi-channel acoustic models
US10140980B2 (en) 2016-12-21 2018-11-27 Google LCC Complex linear projection for acoustic modeling
US10529320B2 (en) 2016-12-21 2020-01-07 Google Llc Complex evolution recurrent neural networks
US10708725B2 (en) * 2017-02-03 2020-07-07 T-Mobile Usa, Inc. Automated text-to-speech conversion, such as driving mode voice memo
WO2019021601A1 (ja) * 2017-07-27 2019-01-31 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
GB2567164A (en) * 2017-10-04 2019-04-10 Continental Automotive Gmbh Display system in a vehicle
EP3534362A1 (en) * 2018-02-28 2019-09-04 Vestel Elektronik Sanayi ve Ticaret A.S. Methods and apparatus for outputting audio
US11144052B2 (en) 2018-12-07 2021-10-12 Toyota Research Institute, Inc. Readiness and identification by gaze and/or gesture pattern detection
CN114935971A (zh) * 2021-02-05 2022-08-23 京东方科技集团股份有限公司 显示驱动芯片、显示装置和显示驱动方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06321030A (ja) * 1993-05-11 1994-11-22 Yazaki Corp 車両用音声出力装置
JPH09329458A (ja) * 1996-06-12 1997-12-22 Toyota Central Res & Dev Lab Inc 車載用情報音読装置
JPH10320109A (ja) * 1997-05-19 1998-12-04 Canon Inc 表示装置、拡大表示支援方法、および音声化支援方法
US6152563A (en) * 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
US20080122799A1 (en) * 2001-02-22 2008-05-29 Pryor Timothy R Human interfaces for vehicles, homes, and other applications
JP3620443B2 (ja) * 2000-12-05 2005-02-16 日産自動車株式会社 自動車用表示装置
JP3899883B2 (ja) * 2001-10-03 2007-03-28 日産自動車株式会社 車両用テキスト音声合成装置
JP2003177771A (ja) * 2001-12-11 2003-06-27 Nissan Motor Co Ltd 車載音声提示装置
JP4684609B2 (ja) 2004-09-29 2011-05-18 クラリオン株式会社 音声合成装置、制御方法、制御プログラム及び記録媒体
JP2006293909A (ja) 2005-04-14 2006-10-26 Denso Corp 運転者の視線方向検出装置

Also Published As

Publication number Publication date
US20150293745A1 (en) 2015-10-15
JP2014106329A (ja) 2014-06-09
US9886237B2 (en) 2018-02-06
WO2014083738A1 (ja) 2014-06-05
DE112013006353T5 (de) 2015-09-17

Similar Documents

Publication Publication Date Title
JP5958303B2 (ja) テキスト読み上げ装置
JP6515764B2 (ja) 対話装置及び対話方法
JP6665819B2 (ja) 車載表示装置
JP5082834B2 (ja) 脇見検出装置および方法、並びに、プログラム
JP2018062308A (ja) 運転モード切替制御装置、方法およびプログラム
JP6565408B2 (ja) 車両制御装置及び車両制御方法
JP2016021653A (ja) 周辺監視装置、及びプログラム
US20200017123A1 (en) Drive mode switch controller, method, and program
US20160097928A1 (en) Vehicle information presentation device
JP2011230549A (ja) 駐車支援装置
JP2014096632A (ja) 撮像システム
JP2014196009A (ja) 駐車支援装置、これに用いられる携帯端末、および、プログラム
JP2015128915A (ja) 後席乗員モニタシステム及び後席乗員モニタ方法
JP2019209784A (ja) 状態判定装置、運転支援装置、状態判定方法、及び、運転支援方法
JP2018194976A (ja) メッセージ表示用プログラム、メッセージ表示装置、及びメッセージ表示方法
JP2021152888A (ja) 情報提示制御装置及び機能制御装置
JP6856086B2 (ja) 報知管理装置及び報知管理プログラム
JP2018149822A (ja) 運転モード切替制御装置、方法及びプログラム
JP2018151684A (ja) 運転モード切替制御装置、方法およびプログラム
JP6648722B2 (ja) 故障判定装置、方法およびプログラム
JP2017068359A (ja) 対話装置及び対話制御方法
JP7263992B2 (ja) 車両制御装置
US11220181B2 (en) Operation control device, operation control method, and storage medium
JP2009196528A (ja) 音響制御装置及び音響制御プログラム
JP2004177315A (ja) 視線方向判定装置及びそれを利用した対話システムならびに運転支援システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160606

R151 Written notification of patent or utility model registration

Ref document number: 5958303

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees