JP7336862B2 - 車両用ナビゲーション装置 - Google Patents

Description

本発明は、車両用ナビゲーション装置に関する。

従来、手話を用いたコミュニケーションを支援するものとして、音声を認識する手段と、音声信号と手話画像との対応表を参照して、認識した音声を手話画像に変換する手段と、変換した手話画像を表示する手段とを備え、また、画像を撮影する手段と、撮影した画像から手話情報を認識する手段と、手話情報と音声信号との対応表を参照して、認識した手話情報を音声に変換する手段と、変換した音声を出力する手段とを備える情報端末（例えば特許文献１）がある。

また、手話画像を認識する手話画像認識装置と、前記手話画像認識装置が認識した手話画像を自然言語に翻訳する手話画像翻訳装置と、を含み、前記手話画像翻訳装置は、機械学習により予め機械学習された手話画像データとのマッチングを行うことにより、手話を音声に変換する手話会話支援システム（例えば特許文献２）がある。

特開２００６－１３９１３８号公報 特開２０１７－２０４０６７号公報

上記特許文献１の情報端末では、音声と手話画像との変換が可能になるため、聴覚障害者と聴覚健常者との間でリアルタイムの会話を実現することができる。

また、上記特許文献２の手話会話支援システムでは、手話を音声に変換することができる。

ところで、車両の助手席や後部座席などで手話をした場合、運転者は運転中にその手話を見ることができないため、手話によりコミュニケーションを取ることができない。また、前後部の座席に座った乗員同士も、手話を見るには前部座席の乗員が無理な姿勢で後を向く必要があるため、手話でコミュニケーションを取ることは困難である。

このような課題に対して、特許文献１の技術を用いたとしても、運転者は運転中に情報端末を使用することができず、また、特許文献２の技術を用いたとしても、運転中の運転者の話を手話者に伝えることができず、両者間でコミュニケーションを取ることができない。

そこで、本発明は上記した問題点に鑑み、車両乗員である手話者と他の車両乗員である発話者とが、円滑にコミュニケーションを取ることができる車両用ナビゲーション装置を提供することを目的とする。

上記目的を達成するために、請求項１に係る発明は、車両に設けた撮影手段により撮影された、車両乗員のうち手話者による手話画像を認識する手話画像認識手段と、前記手話画像を音声言語に変換する手話画像変換手段と、運転席と助手席の前方に配置した表示部とを備え、前記手話画像変換手段により変換された音声言語を出力すると共に、他の車両乗員の音声言語を変換した文字言語を、前記表示部の助手席側に表示し、前記手話画像変換手段により変換された音声言語を文字言語として前記表示部の運転席側に表示することを特徴とする。

また、請求項２に係る発明は、前記音声言語の出力とナビゲーション音声とは、それぞれ異なる声色を用いることを特徴とする。

請求項１の構成によれば、車両乗員である手話者と他の車両乗員である発話者とが、円滑にコミュニケーションを取ることができる。

請求項１の構成によれば、手話者が自身の手話内容が正しく表示されているか否かを視認できる。

請求項２の構成によれば、ナビゲーション音声と手話内容とを区別することができる。

本発明の参考例を示す車両用ナビゲーションシステムのブロック図である。 同上、車両のフロントウインド周辺の外観図である。 同上、手話変換制御手段のブロック図である。 同上、音声出力処理のフローチャート図である。 同上、パネルディスプレイの正面図である。 同上、パネルディスプレイの正面図であり、通常表示モードの表示の一例を示す。 同上、パネルディスプレイの正面図であり、通常表示モードの表示の他の例を示す。 同上、ナビゲーション画面縮小表示モードのパネルディスプレイの正面図である。 同上、割込み表示モードのパネルディスプレイの正面図である。 同上、時系列表示モードのパネルディスプレイの正面図である。 本発明の実施例１を示すパネルディスプレイの正面図である。 同上、時系列表示モードのパネルディスプレイの正面図である。 同上、マークを表示したパネルディスプレイの正面図である。 本発明の実施例２を示す車両用ナビゲーションシステムのブロック図である。 同上、パネルディスプレイの正面図である。 本発明の実施例３を示す車両の側面説明図である。 同上、フロントウインドに設けた表示部の正面図である。 同上、パネルディスプレイの正面図である。 本発明の実施例４を示す車内の平面説明図である。 本発明の実施例５を示す車内の平面説明図である。

以下、図面を参照して、本発明の車両用ナビゲーション装置の実施例について説明する。
［参考例］
図１～図１０は本発明の参考例を示し、同図に示すように、車両用ナビゲーションシステム１は、自走式の車両２に搭載されて目的地に到達するための情報（方向、地図、経路など）を運転者に伝達するナビゲーション装置３と、車両２に搭載された撮像手段たるカメラ４とを備える。前記ナビゲーション装置３は、車両２のインストルメントパネル５に固定或いは内蔵されると共に、車両２の車載電源（図示せず）から動作電源が供給される。

前記ナビゲーション装置３は、車両２のインストルメントパネル５やインストルメントコンソールなどの車両内装部材に取り付けられるメインユニット１０と、このメインユニット１０の正面部に設けられたパネルディスプレイ１１とを有する。このパネルディスプレイ１１は、その前面に各種データを表示する表示部たるディスプレイ部１２が設けられ、このディスプレイ部１２は液晶パネルなどからなり、表示機能とタッチ操作による入力機能を有する。

前記車両用ナビゲーションシステム１は、車載の音声入力部１３と音声出力部１４を備える。また、前記パネルディスプレイ１１には、ナビゲーション装置３を操作する複数のスイッチ１５が配置され、前記パネルディスプレイ１１の正面に複数のスイッチ１５が配置されている。また、音声出力部１４としては、車載スピーカなどが用いられ、前記車両２内に音声やその他の音を出力し、それら音声入力部１３及び音声出力部１４は前記ナビゲーション装置３に電気的に接続されている。

また、前記ナビゲーション装置３は、図２の鎖線に示すように、インストルメントパネル５の上部にブラケットなどにより固定する後付けタイプのものでもよい。

前記ナビゲーション装置３は、前記車両用ナビゲーションシステム１を制御するシステム制御手段６を備え、このシステム制御手段６はマイクロコンピュータなどからなる。前記システム制御手段６は、カーナビゲーションを制御するナビ制御手段７と、手話変換制御手段８とを備える。そして、システム制御手段６は前記メインユニット１０に内蔵される。尚、システム制御手段６の機能の一部を、インターネットを使用したクラウドコンピューティングなどにより構成してもよい。

前記ナビ制御手段７により、前記ディスプレイ部１２には、車両２が目的地に到達するための情報を示すナビゲーション画面１７が表示されると共に、車両２が目的地に到達するための情報を示すナビゲーション音声が前記音声出力部１４から車両２内に出力される。

また、前記ナビゲーション装置３は、ラジオ，ＣＤ等のオーディオ機能と、ＤＶＤやテレビジョンのような音と画像の出力機能を有し、前記音は前記音声出力部１４から出力され、前記画像は前記ディスプレイ部１２に表示される。

前記音声入力部１３としてはマイクなどが用いられる。前記音声入力部１３は車両乗員の話す音声言語を検出して音声言語の電気信号である音声言語データとして出力し、前記システム制御手段６の制御により、前記音声言語データに基づいた音声言語が前記音声出力部１４から出力される。

また、音声入力部１３が出力する音声言語データは、前記システム制御手段６の制御により文字言語に変換され、音声言語が文字言語として前記ディスプレイ部１２に表示される。尚、前記音声出力部１４を前記ナビゲーション装置３に設けてもよい。

前記手話変換制御手段８は、手話を変換して前記音声出力部１４から音声言語として出力（発話）し、前記ディスプレイ部１２に手話を文字情報（言語）として出力するように制御する。

このため一例として、前記手話変換制御手段８は、図３に示すように、手話画像認識手段２１，手話画像変換手段２２，音声言語データ生成手段２３，音声言語データ解析手段２４，音声言語較正手段２５，手話画像学習手段２６，手話画像記憶手段２７，標準手話画像データ記憶手段２８及び学習手話画像データ記憶手段２９を備える手話画像データ記憶手段３０，音声言語辞書記憶手段３１を備える。尚、前記カメラ４とナビゲーション装置３は有線又は無線により電気的に接続されている。

前記カメラ４は、撮像した手話画像を前記手話画像認識手段２１に出力し、この手話画像認識手段２１は受信した手話画像を手話画像記憶手段２７に記憶させる。前記手話画像認識手段２１は手話画像の特徴的部分を抽出する。例えば、手話画像認識手段２１は、手話者の頭部と手の相対的な位置を認識し、手話をする手の形態を認識するために手話者の手の輪郭部分を抽出し輪郭線を生成する。このように手話画像認識手段２１は、形態画像処理を行う。前記手話画像認識手段２１は手話者の映像と、形態画像処理された画像データを一組とする手話画像データとして生成する。または、手話画像認識手段２１は、形態画像処理された画像データを手話画像データとして生成してもよい。

前記手話画像認識手段２１に手話画像が入力されると、手話画像は映像処理され、「手」及び「顔」にその形態を認識した線ないし画像を重ね合わせる。手話画像の認識や機械学習をするときに、この形態映像処理を施された手話画像に基づいて行われる。これにより、手話動作を単純化及び明確化することができ、画像処理における手話画像の認識精度を向上させることができる。また機械学習においても学習精度及び習熟度の向上を図ることができる。尚、このような画像処理は必須ではなく、画像処理を行わないで学習及びリアルタイム処理が行われてもよい。

前記手話画像認識手段２１は、生成された手話画像データを手話画像変換手段２２に出力する。手話画像記憶手段２７は、手話画像データ記憶手段３０の標準手話画像データ記憶手段２８に記憶されている標準手話画像データを参照し、標準手話画像データの中から手話画像データと一致するものがあるか否かを調べる。また、手話画像変換手段２２は、学習手話画像データ記憶手段２９に記憶されている学習手話画像データを参照し、学習手話画像データの中から手話画像データと一致するものがあるか否かを調べる。手話画像変換手段２２は、手話画像データと標準手話画像データ及び／又は学習手話画像データとの関連付けを行う。

手話画像変換手段２２によって、標準手話画像データ及び／又は学習手話画像データと関連付けられた手話画像データは、音声言語データ生成手段２３において、音声言語データに変換される。

前記音声言語データ生成手段２３で生成された音声言語データは音声言語データ解析手段２４に出力される。この音声言語データ解析手段２４は、音声言語データを解析し、音声言語辞書記憶手段３１を参照して、文法的な誤りや語彙を自然な日本語に修正する。

前記音声言語データ解析手段２４で修正された音声言語データは、音声言語較正手段２５に出力される。この音声言語較正手段２５は、較正の対象となった手話画像データを特定し、手話画像学習手段２６にその情報を出力する。手話画像学習手段２６は、手話画像記憶手段２７から該当する手話画像を読み出し、修正された音声言語と関連付けて学習手話画像データ記憶手段２９のデータに追加する。これにより、学習手話画像データ記憶手段２９には手話画像データが蓄積される。

前記システム制御手段６は、前記手話変換制御手段８の前記音声言語データ解析手段２４で生成された音声言語データを音声言語として前記音声出力部１４から出力させると共に、前記ディスプレイ部１２に文字言語として出力させる。

また、前記システム制御手段６は、前記カメラ４により得られた手話画像データから、手話の開始を検出するトリガー信号制御手段３５を備える。このトリガー信号制御手段３５は、前記撮像データから手の動きを抽出し、手の動きを認識して手話の開始を検出し、トリガー信号を出力する。この場合、手話者の手が動くだけでなく、前記手話画像変換手段２２により手話の一語を変換した後、トリガー信号を出力することが好ましい。

図２は車両２の車内前方を示し、左右の運転席４１と助手席４２の間の前方に、前記ナビゲーション装置３のディスプレイ部１２が配置されており、前記カメラ４は助手席４２の車両乗員を撮像する。このため車両２のフロントウインド１６の上部内面に、ブラケット４４を取り付け、このブラケット４４に前記カメラ４を取り付けている。この場合、車両２の前方を撮像するドライブレコーダ用のカメラ（図示せず）のブラケットに、前記カメラ４を取り付けてもよい。また、前記ディスプレイ部１２は運転席４１と助手席４２の間の前方に位置する。また、運転席４１の前方にはハンドル１８が配置されている。

次に、前記システム制御手段６による車両用ナビゲーションシステム１の制御について説明する。

運転席４１の発話者である運転者と助手席４２の手話者とがコミュニケーションを取る場合、手話者が手話を開始すると、カメラ４の撮像データから前記トリガー信号制御手段３５が手話の開始を検出し、前記手話画像認識手段２１により手話画像を認識し、この手話画像データを前記手話画像変換手段２２が音声言語データに変換する。そして、この音声言語データが前記音声出力部１４から音声言語として出力（発話）され、これを運転者が聞き、手話の内容を理解することができる。

図４のフローチャート図に示すように、前記手話画像変換手段２２による手話画像の音声言語データへの変換が完了（ステップ１０１）し、その音声言語データに基づいて音声言語を出力する前に、目的地に到達するための情報を運転者に伝達するナビゲーション音声の出力中か否かを判断（ステップ１０２）する。ナビゲーション音声の出力中（ステップ１０２にて「ＹＥＳ」）であれば、ナビゲーション音声が終了（ステップ１０３にて「ＹＥＳ」）してから所定時間が経過した後（ステップ１０４にて「ＹＥＳ」）に、ステップ１０２の前に戻る。

このようにナビゲーション音声の出力後、所定時間が経過する間にナビゲーション音声の出力が無ければ（ステップ１０２にて「ＮＯ」）、後述するステップ１０５を経て、音声言語を前記音声出力部１４から出力（ステップ１０７）する。こうすることにより、ナビゲーション出力が終了（ステップ１０３にて「ＹＥＳ」）し、この終了後、所定時間が経過する前にナビゲーション音声の出力が開始された場合（ステップ１０２にて「ＹＥＳ」）、再び、ナビゲーション音声の出力が終了する（ステップ１０３にて「ＹＥＳ」）まで、音声言語は出力されない。

尚、前記所定時間は１～２秒程度であり、任意に設定することができる。前記所定時間を２秒に設定した場合、ナビゲーション音声の出力が終了（ステップ１０３にて「ＹＥＳ」）し、２秒経過（ステップ１０４にて「ＹＥＳ」）する前に、再びナビゲーション音声の出力が有った場合（ステップ１０２にて「ＹＥＳ」）、再度ステップ１０３へと移行し、このようにナビゲーション音声の出力を、手話に基づく音声言語の出力より優先する。

また、フローチャート図に図示しないが、前記システム制御手段６は、音声言語を出力（ステップ１０７）中に、ナビゲーション音声の出力が有る場合は、音声言語の出力を中断し、中断後所定時間が経過した後、音声言語の出力を初めから行うように制御する。このようにナビゲーション音声の出力を、手話に基づく音声言語の出力よりも優先する。尚、前記中断後の所定時間も１～２秒程度である。

一方、音声言語データへの変換が完了（ステップ１０１）し、ナビゲーション音声の出力がなければ（ステップ１０２にて「ＮＯ」）、音声出力部１４がラジオ，ＣＤ，ＤＶＤやテレビジョンなどのナビゲーション音声以外の音を出力中か否かを判断（ステップ１０５）し、ナビゲーション音声以外の音の出力中（ステップ１０５にて「ＹＥＳ」）であれば、手話に基づく言語音声の出力の間、ナビゲーション音声以外の音の現在の音量を下げるか、音量をゼロにするように音量を調整（ステップ１０６）する制御が行われる。尚、ステップ１０６の変形例として、ナビゲーション音声以外の音の現在の音量が所定音量以下の場合には、ナビゲーション音声以外の音の現在の音量を変更せず、ナビゲーション音声以外の音の現在の音量が所定音量を超える場合には、現在の音量を前記所定音量に下げるか現在の音量をゼロにするように制御してもよい。

尚、ステップ１０６を経て音声言語を出力（ステップ１０７）した場合、音声言語の出力が完了すると、ナビゲーション音声以外の音の出力を元に戻す。また、図示しないが、後述する実施例のように、前記手話画像データを変換した音声言語データに基づいて、文字言語を前記ディスプレイ部１２に表示する場合、この表示を前記音声言語の出力（ステップ１０７）と同時に開始することが好ましい。

この場合、前記トリガー信号制御手段３５により手話の開始を検出したら、手話に基づく音声言語の出力（ステップ１０７）前に、ナビゲーション音声以外の音を出力中の場合（ステップ１０５にて「ＹＥＳ」）は、その音量を下げるか、その音量をゼロにするように制御してもよい。或いは、ナビゲーション音声以外の音の現在の音量が所定音量以下の場合には、上述したステップ１０６の変形例のように制御してもよい。

こうすれば手話者の手話を行っている動作に、運転者が気付かなくても、音量が変わることにより、次に、手話に基づく音声言語の出力（ステップ１０７）があることに運転者が気付く。

前記システム制御手段６は、声色選択手段３６を備え、この声色選択手段３６により前記ナビゲーション音声と異なる声色で音声言語を出力することができる。この場合、前記声色選択手段３６は、前記カメラ４により撮像した手話者の撮像データに基づき、このカメラ４で撮影された画像から該手話者の年齢層及び／又は性別を判別する年齢層・性別判別手段とを備え、この年齢層・性別判別手段により検出した手話者の年齢層・性別に基づいて声色を選択する。

例えば、検出結果が女性であれば、女性の声色を選択し、検出結果が男性であれば男性の声色を選択して前記音声出力部１４から出力する。尚、声色選択手段３６を用いずに、手話に基づく言語音声とナビゲーション音声とを異なる声色に設定してもよい。

このようにして音声を聴取することにより手話の内容を理解した運転者は、手話に基づく音声言語に対して発話することにより、会話のようにしてコミュニケーションを取ることができる。この運転者の話す音声言語は、システム制御手段６の音声文字変換手段３７により文字言語に変換される。

具体的には、前記音声入力部１３が、運転者の話す音声言語を検出して音声言語の電気信号である音声言語データとして出力し、この音声言語データを前記音声文字変換手段３７が文字言語データに変換し、この文字データに基づいて運転者の話した音声言語が文字言語としてディスプレイ部１２に表示される。

また、前記音声文字変換手段３７は、運転者が発する音声言語と手話に基づく音声言語などから、運転者が発する音声言語を抽出して音声言語データを生成する。

前記システム制御手段６は、発話又は／及び手話に基づき前記ディスプレイ部１２に文字言語を表示する文字表示制御手段３８を備える。この文字表示制御手段３８は、発話又は／及び手話から生成した音声言語データに基づき、音声言語の内容を文字言語として前記ディスプレイ部１２に表示する。

文字言語の表示モードは前記スイッチ１５やディスプレイ部１２のタッチ操作による入力機能により選択することができ、通常表示モード，ナビゲーション画面縮小表示モード，割込み表示モードや時系列表示モードが選択可能である。尚、この例では、文字表示制御手段３８は、運転者の発話に基づき前記ディスプレイ部１２に文字言語を表示する。

前記通常表示モードを選択した場合、前記文字表示制御手段３８は、ナビゲーション画面１７が表示されたディスプレイ部１２の下部に、運転者の音声言語を変換した文字言語を表示する。尚、一度に表示する文字言語は１～２行程度が好ましく、図５に示すように、前記ナビゲーション画面１７に重ね合わせて表示される。また、一度に表示する文字言語の設定行数は任意に選択することができる。１回の運転者の音声言語による文字言語の行数が設定行数よりも多い場合は、１行の文字言語を読むために必要な既読所定時間が経過した後、文字言語の行が上方に移動し、最上部の行が消え、次の行の文字言語が追加表示される。このように既読所定時間の経過により文字言語表示を切り替えるため、手話者がボタンを押すなどの操作が不要となる。尚、文字言語の行は、文字言語が横に並んだものであるが、文字言語が縦に並んだ列で表示されてもよい。

図５～図７に前記通常表示モードの一例を示す。尚、この例では、１度に表示する文字言語は１行に設定している。手話者が手話をすると、この手話を変換（翻訳）した音声言語「今日は晴天ですね。」が、音声出力部１４から出力される。これを聞いた運転者が音声言語「ドライブ日和です。」と発話すると、この音声言語を変換した文字言語がディスプレイ部１２の下部に表示（図５）され、表示された文字言語を手話者が読むことができる。

前記「ドライブ日和です。」に応答して手話者が手話を行い、この手話を変換した音声言語「運転よろしくお願いします。」が音声出力部１４から出力され、これに応答して運転者が音声言語「これから○○に行きます。約××時間で着く予定です。」と発話すると、この音声言語を変換した文字言語がディスプレイ部１２の下部に表示（図６）される。

文字言語が１行に収まらない場合、先頭から１行に収まる文字言語「これから○○に行きます。」を初めに表示（図６（Ａ））した後、この初めの表示を消して次の文字言語の行「約××時間で着く予定です。」を表示（図６（Ｂ））する。尚、１行の文字言語を読むために必要な必要既読時間が経過したら、初めの文字言語の行「これから○○に行きます。」を消して次の文字言語の行「約××時間で着く予定です。」を表示する。そして、必要既読時間は１～３秒程度とすることができる。

或は、図７に示すように、文字言語「これから○○に行きます。約××時間で着く予定です。」が右側から左側に移動するように表示してもよく、この場合、文字言語が１字ずつ左側に移動すると共に、右から文字言語が１字ずつ新たに表れ、左端に達した文字言語が１字ずつ消えていく。また、繰り返し表示するには、左端に達して消えた文字言語が１字ずつ右端から再表示されるようにしてもよい。

前記ナビゲーション画面縮小表示モードを選択した場合、図８に示すように、ディスプレイ部１２において、表示されていたナビゲーション画面１７（図５参照）を縮小して上方左右一側に移動表示し、この縮小移動によりディスプレイ部１２の下部にナビゲーション画面１７の非表示範囲５２が設けられ、この非表示範囲５２に前記通常表示モードと同様に運転者の音声言語による文字言語を表示する。

前記割込み表示モードを選択した場合、図９に示すように、ディスプレイ部１２において、表示されていたナビゲーション画面１７の下部を消して非表示にした割込み表示範囲５３を設け、この割込み表示範囲５３に前記通常表示モードと同様に運転者の話による文字言語を表示する。

前記時系列表示モードを選択した場合、文字言語の行が手話の順番にしたがって１行ずつ上に移動する。また、手話者が見易いように、文字言語はディスプレイ部１２の左側に表示される。

時系列表示モードの一例を図１０に示す。尚、コミュニケーションの内容は前記通常表示モードの一例と同じである。同図に示すように、手話を変換した文字言語「今日は晴天ですね。」の音声出力の後、運転者の初めの話が、文字言語「ドライブ日和です。」としてディスプレイ部１２の下部に表示される。これに対して手話を変換した文字言語「運転よろしくお願いします。」が音声出力され、運転者の次の話を変換した文字言語「これから○○に行きます。約××時間で着く予定です。」が、２行に渡ってディスプレイ部１２の下部に表示され、初めの文字言語「ドライブ日和です。」が上に移動する。

尚、文字言語「これから○○に行きます。約××時間で着く予定です。」の２行を同時に表示してもよいし、この表示を前後に分けて、前段の文字言語「これから○○に行きます。」の１行を表示し、この１行が上に移動した後、残りの後段の文字言語「約××時間で着く予定です。」の１行を表示してもよい。また、文字言語が３行以上でも、同様に、全行を同時に表示してもよいし、１行ずつ表示してもよい。

このようにディスプレイ部１２に表示された文字言語を、助手席４２の手話者が読むことにより、運転者の話を理解することができ、運転者は手話の内容を音声言語として聞くことができ、運転者と手話者で円滑にコミュニケーションを取ることができる。

また、運転者にとっても、停車中に、ディスプレイ部１２に表示された文字言語を読むことにより、自分が話した内容が正確に文字言語に変換されたかどうかを確認することができる。

このように本参考例では、請求項１の一部に対応して、車両２に設けた撮影手段たるカメラ４により撮影された、車両乗員のうち手話者による手話画像を認識する手話画像認識手段２１と、手話画像を音声言語に変換する手話画像変換手段２２と、運転席４１と助手席４２の前方に配置した表示部たるディスプレイ部１２とを備え、手話画像変換手段２２により変換された音声言語を出力すると共に、他の車両乗員の音声言語を変換した文字言語を、ディスプレイ部１２の助手席側に表示するから、車両乗員である手話者と他の車両乗員である発話者とが、円滑にコミュニケーションを取ることができる。

このように本参考例では、表示部たるディスプレイ部１２には手話画像変換手段２２により変換された音声言語が文字言語として表示されるから、手話者が自身の手話内容が正しく表示されているか否かを視認できる。

このように本参考例では、請求項２に対応して、前記音声言語の出力とナビゲーション音声とは、それぞれ異なる声色を用いるから、ナビゲーション音声と手話内容とを区別することができる。

以下、参考例上の効果として、手話に基づく音声言語の出力より、ナビゲーション音声の出力を優先するから、運転者と手話者のコミュニケーションがカーナビゲーションの邪魔にならない。また、手話に基づく音声言語の出力の間、ナビゲーション音声以外の音の現在の音量を下げるか、音量をゼロにするように音量を調整するから、音声言語が聞き取り易くなる。或いは、手話に基づく音声言語の出力の間、ナビゲーション音声以外の音の現在の音量が所定音量以下の場合には、ナビゲーション音声以外の音の現在の音量を変更せず、ナビゲーション音声以外の音の現在の音量が所定音量を超える場合には、現在の音量を前記所定音量に下げるか現在の音量をゼロにするから、音声言語が聞き取り易くなる。

前記システム制御手段６は、声色選択手段３６を備えるから、この声色選択手段３６により前記ナビゲーション音声と異なる声色で音声言語を出力するから、ナビゲーション音声と手話に基づく音声言語との違いが判り易くなる。さらに、運転者が発する音声言語と手話に基づく音声言語の声色が異なることにより、音声文字変換手段３７において、音声入力部１３に入力した音声言語から運転者が発する音声言語のみを抽出し易くなる。また、声色選択手段３６の年齢層・性別判別手段により検出した手話者の年齢層・性別に基づいて声色を選択するから、あたかも手話者が話しているようにコミュニケーションを取ることができる。

また、前記文字表示制御手段３８により、文字表示に、通常表示モード，ナビゲーション画面縮小表示モード，割込み表示モードや時系列表示モードなどの複数のモードを選択可能であるから、好みのモードを選択することができる。さらに、ナビゲーション画面縮小表示モードを選択した場合、ディスプレイ部１２において、表示されていたナビゲーション画面１７を縮小し、この縮小によりディスプレイ部１２の下部にナビゲーション画面１７の非表示範囲５２が設けられ、この非表示範囲５２に前記通常表示モードと同様に運転者の話による文字言語を表示するから、ナビゲーション画面１７の一部を非表示にすることなく、言語音声の内容を文字言語で表示することができる。

また、時系列表示モードでは、文字言語の行が手話の順番にしたがって１行ずつ上に移動するから、自身の手話の内容を時系列で確認することができる。

図１１～図１３は本発明の実施例１を示し、上記参考例と同一部分に同一符号を付し、その説明を省略して詳述する。同図に示すように、この例では、前記手話変換制御手段８により、手話を音声言語データに変換し、前記文字表示制御手段３８により、前記手話を変換した音声言語データに基づき、文字言語を前記ディスプレイ部１２に表示する。

この場合、前記文字表示制御手段３８は、前記通常モード，ナビゲーション画面縮小表示モード，割込み表示モードの場合は、運転者の話を変換した文字言語と手話者の手話を変換した文字言語を、それら運転者の話と手話者の手話の順番に基づいてディスプレイ部１２の下部に交互に表示する。

以下、文字表示制御手段３８による時系列モードの場合の制御について説明する。図１１に示すように、運転者の話を変換した文字言語は、助手席側であるディスプレイ部１２の左側寄りに表示され、手話者の手話を変換した文字言語は、運転席側であるディスプレイ部１２の右側寄りに表示される。この場合、左ハンドルの場合は、文字言語の表示位置が左右逆になる。

こうすると左右の位置により、運転者と手話者のどちらに対応する文字言語であるかが容易に判り、また、助手席側の手話者からは運転者の話を変換した文字言語が近い位置にあるため、読み易くなる。

時系列表示モードの一例を図１１～図１３に示す。尚、コミュニケーションの内容は前記実施例１の通常表示モードの一例と略同じである。手話を変換した文字言語「今日は晴天ですね。」が音声出力されると共に、ディスプレイ部１２の下部に表示される。前記音声出力を聞いた運転者の初めの音声言語が文字言語「ドライブ日和です。」として、ディスプレイ部１２の下部に表示されると共に、前記文字言語「今日は晴天ですね。」が１行上に移動して表示される（図１１（Ａ））。

この場合、手話者は、自身の手話を変換した文字言語「今日は晴天ですね。」が、ディスプレイ部１２に表示されるため、自分の手話が正しく変換されたかどうかを確認でき、異なる場合は訂正する手話を行うことができる。

前記文字言語「ドライブ日和です。」に対して手話者が手話で応答し、この手話を変換した文字言語「運転よろしくお願いします。」が音声出力されると共に、ディスプレイ部１２の下部に表示され（図１１（Ｂ））、これ以前に表示されていた文字言語の行はそれぞれ１行ずつ上に移動する。上記手話に対して、運転者の次の話を変換した新しい２行の文字言語「これから○○に行きます。約××時間で着く予定です。」が、その行数である２行に渡ってディスプレイ部１２の下部に表示され、この前に表示されていた文字言語の行は、それぞれ２行ずつ上に移動する。このように新しく表示される文字言語の行数だけ、前に表示された文字言語の行が上に移動する。尚、文字言語「これから○○に行きます。約××時間で着く予定です。」の２行を同時に表示してもよいし、文字言語「これから○○に行きます。」の１行を表示し、この１行が上に移動した後、残りの文字言語「約××時間で着く予定です。」の１行を表示してもよい。

これに手話者が手話で応答し、この手話を変換した文字言語「着いたら、△△が見たいです。」が音声出力されると共に、ディスプレイ部１２の下部に表示され（図１２）、この前に表示されていた文字言語の行はそれぞれ１行ずつ上に移動する。

前記時系列表示モードでは、運転者の話と手話者の手話の順番で時系列的に文字言語表示され、新しい文字言語の行が表示されると、その新しい文字言語の行数だけ、ディスプレイ部１２の下部から上方に向かって文字言語の行が移動する。従って、下から上に向かって文字言語の行の表示が古くなる。

このように運転者の音声言語に基づく文字言語表示に加えて、手話に基づく文字言語表示を行うことにより、その手話に基づく文字言語表示を手話者が読むことにより、手話が正しく変換されたかどうか確認することができる。このため手話変換制御手段８は実施例で示したものより簡易な構成のものを用いることもできる。

また、図１３に示すように、運転者の話に基づく文字言語には、運転者を示す運転者マーク４１Ｍを近接して表示し、手話に基づく文字言語には、手話者を示す手話者マーク４２Ｍを近接して表示してもよい。一例として、同図では、運転者マーク４１Ｍはハンドル１８を図案化し、手話者マーク４２Ｍは手を図案化したものを示し、マーク４１Ｍ，４２Ｍは運転者，手話者を連想するものが好ましい。

こうすることにより、文字言語表示が運転者の話の内容か手話の内容かを簡単に識別することができる。

また、図１３では、ナビゲーション画面１７に重ねて文字言語を表示しているが、ナビゲーションが不要な場合は、ナビゲーション画面１７を非表示にして、運転者の話及び手話者の手話に基づく文字言語及びマーク４１Ｍ，４２Ｍのみを表示してもよい。

また、運転者にとっても、音声言語出力の内容が判らなかったり、確認したりしたい場合は、停車中に、手話に基づく文字言語表示を読んで確認することもできる。

このように本実施例では、手話画像変換手段２２により翻訳された音声言語を出力すると共に、他の車両乗員たる運転者の音声言語を変換した文字言語を、ディスプレイ部１２の助手席側に表示するから、上記参考例と同様な作用・効果を奏する。

また、このように本実施例では、請求項１に対応して、手話画像変換手段２２により変換された音声言語が文字言語としてディスプレイ部１２の運転席側に表示されるから、運転者の音声言語に基づく文字言語表示に加えて、手話に基づく文字言語表示を行うことにより、その手話に基づく文字言語表示を手話者が読むことにより、手話者は自分の手話が正しく変換されたかどうか確認することができる。さらに、運転者の話を変換した文字言語を、ディスプレイ部１２の左右一側である左側寄りに表示し、手話者の手話を変換した文字言語を、ディスプレイ部１２の左右他側である右側寄りに表示することにより、運転者と手話者のどちらに対応する文字言語であるかが判り易くなる。

図１４～図１５は本発明の実施例２を示し、上記参考例及び各実施例と同一部分に同一符号を付し、その説明を省略して詳述する。同図は、助手席４２以外で、後部座席４３に手話者が乗車するタクシーなどの車両２の例を示す。

前記カメラ４は、タクシーなどの車両２の後部座席４３に乗車した手話者を撮像する位置に配置され、車両２のルーフや助手席４２に設ける防護板（図示せず）などに取り付けられる。また、前記ナビゲーション装置３は手話者側表示装置６０を備える。そして、助手席４２の背凭れ部（図示せず）の後面に、表示部たるディスプレイ部１２Ａを備えた前記手話者側表示装置６０が配置されている。

前記手話者側表示装置６０のディスプレイ部１２Ａは、車両２のルーフの下面に設けたリア席モニタでもよく、ディスプレイ部１２Ａは後部座席４３に座った手話者が見える位置にあればよい。

また、前記手話者側表示装置６０は前記ナビゲーション装置３と有線又は無線により電気的に接続されており、そのディスプレイ部１２Ａには、前記システム制御手段６の制御により、前記ナビゲーション装置３のディスプレイ部１２と同じ表示を同時に行うことができる。

この場合、前記ディスプレイ部１２Ａには、前記ナビゲーション装置３のディスプレイ部１２と同じ表示を行う以外にも、前記ナビゲーション画面１７を除いた表示を行うように制御すれば、手話者にとってディスプレイ部１２Ａが見易いものとなる。

図１５は時系列表示モードによるディスプレイ部１２Ａの表示を示し、ディスプレイ部１２Ａはナビゲーション画面１７を表示しない。尚、図示しないが運転者の前方のディスプレイ部１２にはナビゲーション画面１７を表示している。

尚、手話者マーク４２Ｍが付された文字言語は、表示と同時に音声出力部１４から音声出力される。

このように本実施例では、車両乗員のうち後部座席４３の手話者による手話画像を認識する手話画像認識手段２１を備え、手話画像変換手段２２により変換された音声言語を出力すると共に、他の車両乗員たる運転者の言語を変換した文字言語を、表示部たるディスプレイ部１２，１２Ａの助手席側に表示するから、上記各実施例と同様な作用・効果を奏する。

また、この例では、運転者と手話者のコミュニケーションを正しく取ることができ、手話者の希望する行先や経路の間違いを防止することができる。

図１６～図１８は本発明の実施例３を示し、上記参考例及び各実施例と同一部分に同一符号を付し、その説明を省略して詳述する。同図は、前記車両用ナビゲーション装置３に、ヘッドアップディスプレイ装置６１を付加した例を示し、前記ヘッドアップディスプレイ装置６１は車両２に搭載され、ヘッドアップディスプレイ装置本体（以下、ＨＵＤ本体という。）６２と、前記フロントウインド１６の内側に設けられた表示部たるコンバイナ６３とを備える。この場合、前記ディスプレイ部１２に加えて、コンバイナ６３を備える。

前記ＨＵＤ本体６２は車両２の前記インストルメントパネル５内にケース６４を配置し、このケース６４内に、表示器ユニット６５，第１ミラー６６及び第２ミラー６７が配置されている。前記表示器ユニット６５は、ブラケット６８に、画像制御ＥＣＵ６９，光源７０及び表示器７１が取り付けられており、前記表示器ユニット６５は、アクチュエータ（図示せず）により車両２の左右方向（幅方向）に移動可能に構成されている。尚、第１ミラー６６を平面鏡にし、第２ミラー６７を凹面鏡にしてもよい。

そして、前記光源７０からの光が液晶表示デバイス（ＬＣＤ）等の前記表示器７１を透過することで画像情報を有する光（情報画像ともいう。）に変換され、情報画像が第１ミラー６６で反射され、さらに第２ミラー６７により反射され、インストルメントパネル５の前部上方に設けられた透光部７２を介してコンバイナ６３により反射され、運転者７３又は／及び助手席４２の手話者７４の注視位置（注視方向）を通じて視認される。

前記システム制御手段６の前記文字表示制御手段３８は、前記表示器７１を制御し、運転者７３の話す音声言語を前記コンバイナ６３に文字言語として表示し、手話者の手話に基づき前記コンバイナ６３に文字言語を表示する。

また、前記ナビ制御手段７により前記表示器７１を制御して前記コンバイナ６３にナビゲーション画面１７Ａを表示することができる。

前記ヘッドアップディスプレイ装置６１は、前記コンバイナ６３の表示を、助手席４２の手話者７４が視認可能、運転席４１の運転者７３が視認可能、前記手話者７４と運転者７３の両者が視認可能なものなどを用いることができる。

助手席４２の手話者７４がコンバイナ６３を視認可能な場合、コンバイナ６３にナビゲーション画面１７Ａを表示する。このナビゲーション画面１７Ａは、直進，右折及び左折の針路方向を示す矢印表示７５や、右折，左折までの距離表示などを表示してもよい。尚、コンバイナ６３のナビゲーション画面１７Ａは、前記ディスプレイ部１２のナビゲーション画面１７とナビゲーションに関する表示は異なってもよく、例えば、地図は必ずしも表示しなくてよい。

こうすると手話者７４がコンバイナ６３の表示を視認でき、例えば目的地に対してナビゲーション装置３が右折を選択し、図１７に示すように、右折を示す矢印表示７５とその右折箇所迄の距離「７００ｍ」がコンバイナ６３に表示され、これに対して、手話者７４が異なる経路を希望する場合、「次は直進し、その先の信号で右折してください」の手話を行い、これを言語音声として音声出力部１４が出力することにより、手話者７４の希望を運転者７３に伝えることができる。

このように本実施例では、手話画像変換手段２２により変換された音声言語を出力すると共に、他の車両乗員たる運転者７３の音声言語を変換した文字言語を、表示部たるコンバイナ６３の助手席側に表示するから、上記各実施例と同様な作用・効果を奏する。

また、この例では、ヘッドアップディスプレイ装置６１のコンバイナ６３に文字言語表示を行うから、前方を見た状態で文字言語表示が見易いものとなる。また、助手席４２の手話者７４が見るコンバイナ６３には、簡略化したナビゲーション画面１７Ａを表示したり、ナビゲーション画面を非表示にしたりできるから、文字言語表示が一層見易くなる。

図１９は本発明の実施例４を示し、上記参考例及び各実施例と同一部分に同一符号を付し、その説明を省略して詳述する。同図に示すように、この例の車両用ナビゲーション装置３は振動手段８１を備え、手話者７４が座る助手席４２又は／及び後部座席４３に前記振動手段８１を設け、この振動手段８１を前記システム制御手段６に電気的に接続している。尚、前記振動手段８１はナビゲーション装置３の一部を構成する。

そして、この例では、前記システム制御手段６は、運転者７３の話を変換した文字言語をディスプレイ部１２，コンバイナ６３に表示すると共に、この表示と同時に助手席４２又は／及び後部座席４３を微振動させて文字言語が表示されたことを手話者７４に知らせるように制御する。

このように振動手段８１は、文字言語が表示されたことを報知する報知手段であるから、振動により手話者７４は運転者７３が発話したことが判り、ディスプレイ部１２，コンバイナ６３の文字言語をすぐに読むことができ、コミュニケーションの際、表示部を常時見る必要がなくなる。

このように本実施例では、手話画像変換手段２２により変換された音声言語を出力すると共に、他の車両乗員たる運転者７３の音声言語を変換した文字言語を、表示部たるディスプレイ部１２，１２Ａ又はコンバイナ６３の助手席側に表示するから、上記各実施例と同様な作用・効果を奏する。

また、この例では、報知手段たる振動手段８１を備えるから、コミュニケーションの最初が運転者７３の話から始まる場合でも、話の始まりを振動により手話者７４に知らせることができるから、運転者７３の発言に手話者７４が気付かないことが無く、円滑にコミュニケーションを取ることができる。

図２０は本発明の実施例５を示し、上記参考例及び各実施例と同一部分に同一符号を付し、その説明を省略して詳述する。同図は、運転席４１又はハンドル１８に振動手段８１を設け、この振動手段８１を前記システム制御手段６に電気的に接続している。

そして、この例では、前記システム制御手段６は、手話の内容を音声出力部１４から出力すると共に、手話を変換した文字言語をディスプレイ部１２に表示し、これら出力及び表示と同時に運転席４１又はハンドル１８を微振動させ、手話を運転者７３に知らせるように制御する。

このように振動手段８１は、文字言語が表示されたことを報知する報知手段であるから、振動により運転者７３はディスプレイ部１２に文字言語が表示されたことが判り、コミュニケーションの際、音声出力を省略しても、ディスプレイを常時見る必要がなく、文字言語の読み取りも短時間で済むから、停車中に文字言語を読むことにより、請求項に対応しないが、手話に基づく音声出力を省略することもできる。

このように本実施例では、手話画像変換手段２２により変換された音声言語を出力すると共に、他の車両乗員たる運転者７３の音声言語を変換した文字言語を、表示部たるディスプレイ部１２，１２Ａ又はコンバイナ６３の助手席側に表示するから、各実施例と同様な作用・効果を奏する。

また、実施例上の効果として、助手席４２又は後部座席４３の手話者７４による手話に基づく文字言語表示を行うから、運転者７３も手話者の場合、助手席４２又は後部座席４３の手話を見なくても、停車中にディスプレイ部１２を見ることにより、手話の内容を認識することができる。尚、各実施例において、表示部として、コンバイナ６３を用い、このコンバイナ６３に、手話の内容及び／又は運転者７３の音声言語に基づく文字言語を表示する場合、それら表示を運転中に運転者７３が見ることができる。

尚、本発明は、上記実施例に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。例えば、手話画像変換手段は実施例に限定されず、各種のものを用いることができる。また、音声入力部は、ナビゲーション装置に組み込んだタイプや、運転者が装備するタイプのものなど、運転者の音声を入力できれば、各種のものを用いることができる。また、時系列モードでは、文字言語が横に並んだ横書きにおいて、文字言語が下から上に移動するように表示したが、文字言語が上から下に移動するように表示してもよいし、文字言語が縦に並んだ縦書きなら、右から左に移動又は左から右に文字言語が移動するように表示してもよい。また、他のモードでは、表示部の下側に文字言語を表示したが、その表示位置は表示部の上側や他の位置でもよい。さらに、参考例として、手話に換えてジェスチャーを翻訳してもよく、撮像手段により撮像されたジェスチャー画像をジェスチャー画像認識手段により認識し、このジェスチャー画像をジェスチャー画像変換手段により音声言語に変換してもよい。また、実施例で示した各種の設定時間は、実施例に限定されず、適宜選定可能である。

２ 車両
３ ナビゲーション装置
４ カメラ（撮像装置）
６ システム制御手段
１２，１２Ａ ディスプレイ部（表示部）
１３ 音声入力部
１４ 音声出力部
２１ 手話画像認識手段
２２ 手話画像変換手段
４１ 運転席
４２ 助手席
６３ コンバイナ（表示部）
７３ 運転者（他の車両乗員）

Claims (2)

1. 車両に設けた撮影手段により撮影された、車両乗員のうち手話者による手話画像を認識する手話画像認識手段と、
   前記手話画像を音声言語に変換する手話画像変換手段と、
   運転席と助手席の前方に配置した表示部とを備え、
   前記手話画像変換手段により変換された音声言語を出力すると共に、他の車両乗員の音声言語を変換した文字言語を、前記表示部の助手席側に表示し、
   前記手話画像変換手段により変換された音声言語を文字言語として前記表示部の運転席側に表示することを特徴とする車両用ナビゲーション装置。
2. 前記音声言語の出力とナビゲーション音声とは、それぞれ異なる声色を用いることを特徴とする請求項１記載の車両用ナビゲーション装置。

Images