WO2006093073A1

WO2006093073A1 - クルージング支援車載情報システム

Info

Publication number: WO2006093073A1
Application number: PCT/JP2006/303554
Authority: WO
Inventors: Yoichi Takebayashi; Yutaka Sakane; Takahiro Sugiyama; Akichika Shiomi; Nobuyuki Tamori; Tomohiro Haraikawa
Original assignee: Shizuoka University NUC
Current assignee: Shizuoka University NUC
Priority date: 2005-03-01
Filing date: 2006-02-27
Publication date: 2006-09-08
Anticipated expiration: 2007-09-01
Also published as: JP2006240383A

Abstract

　車外、車内、走行の情報を逐次または選択的に取得し、それを加工して、運転者等に提示できるクルージング支援車載情報システムを提供する。　複数の超広角カメラ１ａ～１ｄで車外の像を獲得する。記録再生装置は、各超広角カメラの出力を超広角映像のまま記録再生可能である。ゆがみ補正装置は、超広角映像の一部を切り出し実時間でゆがみを補正する。状況検出手段は、車速または走行モードまたは運転者の挙動を検出する。表示帯は、運転者の周囲に配した単一のもしくは同じ高さに表示領域を有する２つ以上の表示装置で構成されている。提示制御手段は、前記状況検出手段の判断出力に基づいて前記各カメラに接続された補正装置の出力を選択的にまたは合成して前記表示装置への提示を制御する。

Description

明細書

クルージング支援車載情報システム技術分野

[0001] 本発明は、運転者の視界を拡張するクルージング支援車載情報システムに関する

。さらに詳しく言えば、複数のカメラ等と映像記録再生装置を有し、走行や運転者の状態に応じて映像情報を編集加工し、運転者の所望する情報を複数のディスプレイ上に提示することにより、運転環境の把握能力に関わる「サラウンデイング感覚」を提供して、安心で豊かなクルージング (楽しみのための走行）という雰囲気を実現するクルージング支援車載情報システムに関する。

背景技術

[0002] 運転の安全性向上や車載情報機器の高度化が運転者により多くの情報、例えば視界の拡張等、を提供している。車両後方やサイドミラーの下などにカメラが取り付けられ、運転者の安全運転支援や視覚的な認知能力の拡大や、所定の動作操作の際にナビゲーシヨン装置のディスプレイにカメラ画像を映し出すような車載情報システムが開発されている。また、自動車のインテリジェント化と多機能化が進み、運転者の居眠り検知ゃ車両周囲状況の認識の技術が進歩し、安全な運転の実現に向けた車載情報システムが開発されるようになってきた。特許文献 1記載の発明は、警報装置、振動体を有する運転席、警報装置を車両に掲載した移動体に係るものであり、運転者の覚醒等を目的としている。特許文献 2記載の発明は、情報提供装置に係り、移動体と障害物との相対位置関係に関する情報、音を用いて提供している。

特許文献 1 :特開 2001— 199296

特許文献 2：特開 2004 - 251769

発明の開示

発明が解決しょうとする課題

[0003] 自動車は様々な電子化やカーナビゲーシヨンシステム等の高機能化と、車載機器の個々の要素技術やセンシング機能の開発が進められている。最近ではカメラゃデイスプレイを用いた車載機器の高機能化が進められている。しかしながら、車載機器の操作中や携帯電話の通話中の事故が増加の一途をたどっているのが現状であり、人間の認知や感情の仕組みに基づく広く融合的観点からの研究開発は十分になされていない。本発明では、人間にとって安全で自由かつ楽しく様々な場所へ移動できる手段として捉え、個々のドライビングを支援する「個々のシステム」の実現ではなく、人間の認知 ·情動機能と合致したクルージング (快適な走行)を支援する車載情報システムの実現へと課題を変更してとらえることとした。

本発明の目的は、車外、車内、走行の情報を逐次または選択的に取得し、それを加工して、運転者等に提示できるクルージング支援車載情報システムを提供することにある。

課題を解決するための手段

[0004] 前記目的を達成するために、本発明によるクルージング支援車載情報システムは、例えば、車体の前後左右を撮像する複数の超広角カメラ (魚眼レンズなどの超広角レンズまたは曲面ミラーを備えたカメラ）と、超広角カメラの出力を超広角カメラ映像として記録再生する手段と、超広角映像の一部を切り出して実時間でゆがみ補正する手段と、車速 Z走行モード Z運転者の挙動を検出する手段と、運転者の周囲に配置した複数のディスプレイにより構成されて、る。

一つのカメラの出力をそのまままたは 2つ以上の超広角レンズカメラの出力をゆがみ補正によって切り出し合成し、低速走行時には切り出し対象領域を下方にして俯角の大きい車外映像を、高速走行時には上方にとり俯角の小さい車外映像を提示することを特徴としている。また、撫でることを検出するセンサを円状または棒状に配置し、超広角映像の提示内容等を意図的に制御できることも実現できる。

[0005] 本発明による請求項 1記載のクルージング支援車載情報システムは、車外の像を獲得する複数の超広角カメラと、各超広角カメラの出力を超広角映像のまま記録再生可能な記録再生装置と、超広角映像の一部を切り出して実時間でゆがみを補正するゆがみ補正装置と、車速または走行モードまたは運転者の挙動を検出する状況検出手段と、運転者の周囲に配した単一のもしくは同じ高さに表示領域を有する 2つ以上の表示装置で構成した帯状の表示領域をもつ表示帯と、前記状況検出手段の判断出力に基づいて前記各カメラに接続された補正装置の出力を選択的にまたは合成して前記表示装置への提示を制御する提示制御手段と、から構成することを特徴とするちのである。

本発明による請求項 2記載のクルージング支援車載情報システムは、請求項 1記載のシステムにおいて、 2つ以上の超広角カメラの出力を前記ゆがみ補正装置により切り出して合成し、前記表示帯に提示することを特徴とするものである。

本発明による請求項 3記載のクルージング支援車載情報システムは、請求項 2記載のシステムにおいて、さら〖こ、車速、方向指示器、走行モード、周辺環境などを得て画角を決定する画角決定部を備え、状況によって俯角の異なる車外映像を表示帯に提示することを特徴とするものである。

[0006] 本発明による請求項 4記載のクルージング支援車載情報システムは、請求項 1記載のシステムにおいて、車外の像を獲得する撮像方向が可変である方向可変カメラを設けて前記方向可変カメラの出力もそのまま記録再生可能とする前記記録再生装置に接続し、さらに、前記状況検出手段の判断出力に基づいて前記記録再生装置の出力を選択的にまたは合成して前記表示装置への提示を制御する提示制御手段から構成することを特徴とするものである。

本発明による請求項 5記載のクルージング支援車載情報システムは、請求項 1記載のシステムにおいて、前記複数の超広角カメラの内の特定のカメラを任意の車輪を視野に含むように配置し、前記状況検出手段の判断出力に基づ!/、て前記提示制御手段が特定の車輪を提示させるように構成することを特徴とするものである。

[0007] 本発明による請求項 6記載のクルージング支援車載情報システムは、請求項 3、 4 または 5記載のシステムにおいて、前記提示制御手段は、常に車体の一部を提示させて、同時に提示される他の車外物体との距離感覚を付与することを特徴とするものである。

本発明による請求項 7記載のクルージング支援車載情報システムは、請求項 3、 4 または 5記載のシステムにおいて、ハンドル上の位置を運転者の視角と対応させ、運転者がふれたことと撫でたことを検出できるセンサを円状に配置したハンドルを設け、前記状況検出手段は、さらに、前記ハンドル上の位置を運転者の視角と対応させ、運転者がふれたことと撫でたことを検出し、記録再生装置に記録した各超広角カメラの映像を前記ゆがみ補正装置により切り出して合成する際に切り出す領域をノヽンドルを用いて指示することで、記録映像の視線を変化させて前記提示手段に提示することを特徴とするものである。

本発明による請求項 8記載のクルージング支援車載情報システムは、請求項 3、 4 または 5記載のシステムにおいて、さらに、触れたことと撫でたことを検出できるセンサを棒状に配置した棒状センサを運転者の右または Zかつ左側に進行方向と平行に配置して運転者の操作手段とすることを特徴とするものである。

[0008] 本発明による請求項 9記載のクルージング支援車載情報システムは、請求項 8記載のシステムにおいて、前記棒状センサの位置を時刻に対応させ、記録再生装置に記録した各超広角カメラの映像を前記ゆがみ補正装置により切り出して合成する際に切り出すフレームの時間を前記棒状センサで指示するように構成することを特徴とするものである。

本発明による請求項 10記載のクルージング支援車載情報システムは、請求項 9記載のシステムにお、て、実時間および記録された超広角映像の時刻と対応させて、音声認識装置を用いて、音声コメントと音声認識結果とを時間的に対応させて付加して記録し、音声コメント付き映像コンテンツとして記憶する手段を有し、前記音声コメント付き映像コンテンツを再生して提示する手段を有することを特徴とするものである本発明による請求項 11記載のクルージング支援車載情報システムは、請求項 8記載のシステムにお、て、前記システムの前記記録再生装置またはゆがみ補正装置の出力をカーナビゲーシヨンシステムと連動し記録可能にし、目的地までのルート設定を終えた後、前記棒状センサを前後に操作することによってカーソルを出発地から目的地までルートに沿って前後させ、カーソルの位置に関連する記録映像を提示可能とすることを特徴とするものである。

[0009] 本発明による請求項 12記載のクルージング支援車載情報システムは、請求項 3、 4 または 5記載のシステムにおいて、さらに、車外の車体の前後左右の何れかの方向に向けて配置された複数の距離センサを備え、前記距離センサに対応する発音体を運転者の周囲に配し、それらの発音体力基準音を鳴らし、前記距離センサによる検出物体用の音は、距離センサで検出した物体までの距離に応じて遅延した基準音を鳴らすように構成することを特徴とするものである。

本発明による請求項 13記載のクルージング支援車載情報システムは、請求項 12 記載のシステムにおいて、前記複数の発音体から出る音を距離センサによる検出物体の概略方向から聞こえるように構成することを特徴とするものである。

本発明による請求項 14記載のクルージング支援車載情報システムは、請求項 13 記載のシステムにおいて、音声や映像の提示装置を運転者に対して対称に置き、車体に対して対称な情報を提示することを特徴とするものである。

発明の効果

[0010] 運転者の視覚的な認知能力を拡張させ「サラウンデイング感覚」を付与することが可能となり、運転者や同乗者が所望する映像を提示可能である。また、広角映像を、記録再生加工することにより、運転者と同乗者の間で、映像コンテンツの制作'発信 · 共有が可能となり、安全重視の運転支援にとどまらず、自動車を走らせたり、移動することを楽しむと、う意味で、人間の認知と感情の仕組みと合致したクルージング支接が可能な車載情報システムが実現できる。

また、本発明の効果は、車両にカメラやディスプレイを利用する情報システムで安全性を高めるだけではなく、人間の認知 ·情動 ·記憶 *行動のメカニズムを中心に考え、「楽しさ、心地良さ、快適さ、満足感」を満たすように、車両 (クルマ）自体を、複数の広角カメラ、複数のディスプレイ、記憶再生装置、各種入出力デバイスと、各種センサ情報加工技術を用いて、空間的 ·時間的 ·美的 '機能的な観点で包括的にデザィン (設計)する点にある。

車両走行中の運転者や同乗者にとっての快適性や楽しさなどの魅力を向上させるにとどまらず、記録された映像や音の情報コンテンツは、クルージング（自動車旅行）の素晴らしい景色や危険な場所、偶然発見したものなど、小旅行や人生の思い出として、また、同乗者や友人 '知人との会話を楽しむためのデジタルコンテンツとしても新、価値を創出できると、う効果も大き、。

図面の簡単な説明

[0011] [図 1]本発明によるクルージング支援車載情報システムにおけるカメラの配置の例を示す平面図および側面図である。

[図 2]前記クルージング支援車載情報システムで用いる表示帯の配置例を示す。

[図 3]本発明によるクルージング支援車載情報システムの概念を説明するためのプロック図である。

[図 4]ゆがみ補正と画像間の座標の関連を説明するための図である。

[図 5]単一の可動カメラと車速等を利用してクルージングを支援する態様の説明図である。

[図 6]単一の広角カメラと車速等を利用してクルージングを支援する態様の説明図である。

[図 7]撫でるセンサと関連する他の主要構成との関連を説明するためのブロック図である。

[図 8]撫でるセンサを利用する場合の車内のセンサとディスプレイ等の配置を示す略図である。

[図 9]処理のフローチャートを示す。

[図 10]カーナビゲーシヨンとの連携した実施の態様を参照して説明する。

[図 11]複数の距離センサの配置例を示す略図である。

[図 12]スピーカの配置例を示す略図である。

[図 13]音声ガイドを付加したシステムの回路ブロック図である。

[図 14]車庫入れ等、近接する障害物に対する運転を支援する実施態様を示す説明図である。

符号の説明

[0012] 1 超広角カメラ

2a- - 2d (201) ディスプレイ

発明を実施するための最良の形態

[0013] 以下図面等を参照して本発明による装置の実施の形態を説明する。本発明によるシステムは、支援のための実施態様が多岐にわたり、カメラの配置も種々ことなる。

[0014] (複数の広角カメラを用いる実施形態におけるカメラの配置例）

図 1は、本発明によるクルージング支援車載情報システムにおける広角カメラの配置の例を示す平面図および側面図である。この形態は、車体 101の前後左右を撮像するための複数の超広角カメラ (魚眼レンズなどの超広角レンズもしくは曲面ミラーを備えたカメラを呼ぶ） la〜： Ldを配置してある。後述する録再生装置は、各超広角カメラ la〜： Ldの出力を超広角映像のまま記録再生可能である。ゆがみ補正する装置は超広角映像の一部を切り出し実時間でゆがみ補正する。運転状況検出手段は、車速または走行モードまたは運転者の挙動を検出する。図 2にクルージング支援車載情報システムにおける車内の表示帯の配置例を示す。運転者の周囲に配した単一のもしくは同じ高さに表示領域を有する 2つ以上の表示装置 2a〜2d (図 2参照)で構成した帯状の表示領域をもつ表示帯に表示される。

[0015] 図 3は、前記配列のクルージング支援車載情報システムの概念を説明するためのブロック図である。この形態では、車外に車を囲むように配置された広角カメラ群 501 の出力が分配器 502の入力に接続されて!、る。分配器 502の出力の片方が記録再生装置 503の入力、分配器 502の他方と記録再生装置 503の出力がセレクタ 504の入力（上下）にそれぞれ接続されている。セレクタ 504の出力はゆがみ補正装置 505 を通じて画面合成装置に接続され、セレクタ 504を上側に切り換えるとカメラ映像力下側に切り換えると記録再生装置 503の再生映像がゆがみ補正装置 505に接続される。超広角影像は魚眼レンズのような画像で、そのままでは使えない。どこを見たいか中心点を決めてゆがみ補正することにする。ゆがみ補正装置 505に入力される中心座標により超広角映像力も通常画角の映像が切り出される。切り出した複数の映像は画像合成装置 506により合成され、ディスプレイ群 507に表示される。

[0016] セレクタ 504の入力を上に設定すると、カメラ群 501で撮像された映像は分配器 50 2を通じて記録再生装置 503に常時記録される。そして、セレクタ 504を通じてゆがみ補正装置 505に送られる。ゆがみ補正装置 505に送られた超広角映像は視点計算装置力指示される中心点に基づいて通常画角の画像に切り離され、画像合成装置 506に送られる。画像合成装置内部で張り合わされた画像は各ディスプレイ群 5 07〖こ送られる。

[0017] 図 4は、ゆがみ補正を説明するための説明図である。各種座標の決定方法を例示する。ここでは、座標決定装置は、車速、方向指示器、走行モード、周辺環境を得て、各超広角カメラの映像をゆがみ補正して得られる画像の中心座標（x , y ) (x , y a a z z )を決定し、また、ゆがみ補正後の各映像の貼り合わせに使用するグローバル座標

(X , Y；)〜 (X , Y )ならびにスケールファクタ（拡大率） s 〜s を決定する。ゆがみ補正のなされた画像は画像合成装置内で貼り合わされ、貼り合わせた画像を切り出して各ディスプレイに表示する。この実施例では、ゆがみ補正による切り出し対象領域を低速走行時には下方、高速走行時には上方にとることで、低速走行時には俯角の大きヽ車外映像、高速走行時には俯角の小さヽ車外映像を表示帯に提示するようにしている。

[0018] (可動カメラを付加した車速を利用するさらに他の実施形態）

図 5は、単一の可動カメラをさらに付加して、車速等を利用してクルージングを支援する態様の説明図である。この単一の可動カメラは、図 3の回路図中のカメラ群 501 の任意のカメラに対応する。図 5において、 1台の可動カメラ 200は電動雲台 201に取り付けられ、車体の左前よりに設置され、サーボシステムで角度 (俯角）の制御が成される。カメラ 200の本体は画像出力は表示装置 203に接続されている。車速を車速センサ 205から得て、画角決定装置 204が保持する表を引き電動雲台 201の俯角をサーボを制御する。なお、方位角と俯角は予め数表として定義しておいても数式により決定されてもよいし、この例は前者による。車速の変化だけでなぐシフトレバーなど他の要因の変化による画角も考慮した多次元の表として定義してぉ、てもよ、。画角決定装置 204の出力により、電動雲台 201を上下左右に制御し、車速に応じた角度にカメラを向ける。この数表に、自車の車体の一部が映る角度を登録しておくことで、常に自車と車外物体が同時に映るようにできる。例えば、車速の小さいときは俯角を大きぐ車速の大きいときは俯角を小さく取ることで、走り出しは足元を、高速走行時は前方の拡大画像等を提示することができる。

[0019] (広角カメラを付加した車速を利用するさらに他の実施形態）

図 6は、単一の広角カメラと車速等を利用してクルージングを支援する態様の説明図である。この単一の広角カメラは、図 3の回路図中のカメラ群 501の任意のカメラに対応する。図 6において、超広角カメラ 300の前述の形態と同様な位置に配置されている。画角決定装置 301、ゆがみ補正装置 302、表示装置 303を備えている力この例ではカメラが超広角データを取得して、るから、どの部分を取りだすかが問題である。

超広角カメラ 300の映像出力はゆがみ補正装置 302を介して表示装置 303に接続されている。画角決定装置 301は車速等を得て、対応する画角を決定する。画角はゆがみ補正装置 302に送られ、画角に対応する超広角画像の中心点を中心に通常の画像に変換される。この実施形態はリアルタイムで再生する状態を示しており、一端記録して再生すると、う形態によらな、。超広角レンズを用いた場合の超広角カメラ 300から撮影した映像が表示装置 303に表れており、車輪が映っている。左側の映像は玄関のドアスコープから見たようにゆがんでいる力これを前述のゆがみ補正装置 302を通じて表示装置 303で運転者に提示する。

[0020] (同乗者の編集娯楽等を支援する実施形態）

クルージング支援車載情報システムの最大の特徴は、複数のカメラとディスプレイと記録再生機能を活用し、運転者のみならず、同乗者も含めた車両の乗員が、心地良く楽しい走行を実現し、新たな価値を生み出すことにある。

図 7は撫でるセンサと関連する他の主要構成との関連を説明するためのブロック図、図 8は前記センサを利用する場合の車内のセンサとディスプレイ配置を示す略図である。図 7に示す本実施形態の概略構成図にあるように、走行中の車外のカメラ映像と、人間の意図を伝達する、なでる形式の棒状撫でるセンサで時間軸方向の操作をし、車内での人間の音声との相乗効果で映像と音声コメントとテキストとを走行中に関連付け、コンテンツ DBに蓄えられることが特徴である。

[0021] 図 8に、運転者と同乗者の撫でるセンサ（棒状センサ）の取り付け位置と、車外の複数のカメラで撮った映像を表示する複数または単数のディスプレイの取り付け位置の例を示す。ドア側に取り付けた、撫でる形式の棒状センサ 701, 701による、時間軸の操作は、走行方向と整合が良ぐ分かりやすい。車外のカメラ映像は常時録画されており、録画しながら再生するという状態になっている。撫でる棒状センサを操作すると時刻変数 videoTimeが増減し、ディスプレイ 704に時刻変数 videoTimeの映像が表示される。棒状センサを操作していなければ、時刻変数 videoTimeは現在の時刻である。 [0022] 走行中の運転手は事故を起こさないように周囲の状況に注意をはらい、美しい景色や珍しい情景や事物について、同乗者のように楽しむ余裕はない。カーナビゲーシヨンシステムがない時代は、同乗者は地図をみながら、運転者を補助し共同で走行 (クルージング)をしていたと言える。し力しながら、現状は同乗者は暇であり、例えば観光やレジャーでクルージングしてヽる際に、思い出の映像アルバムの作成を主導することができる。

[0023] 走行しながら車外の複数のカメラで取得した映像に対して、美、情景や、動植物、あるいは、珍しいものや面白い出来事に遭遇した場合、通り過ぎた所で残したい映像があったら、棒状センサを撫でることで、映像を時間的に戻し、そこで、同乗者は、その時刻の調整をした映像に対して、車内のマイクを ONにして、音声コメント付けをし、音声認識も活用することにより、映像 +音声コメント +テキストを対応付けることができ、思い出が残り、さらに、音声認識で入力したテキストで検索が容易になる。具体的には、複数のカメラ映像は前方のディスプレイに表示された映像を、運転席と助手席や、さらには後部座席のドア側に設置した棒状センサで進行方向と時間軸とを対応させて、相対的な時間軸方向の制御が可能である。撫でながら映像を時間的に制御し、適切なタイミングで音声コメント入力を行う。この時の、撫でるセンサへの特定の入力方法か、音声コマンド認識か、あるいは、ディスプレイ上のタツチパネルへの入力で音声コメントを録音する。音声認識は不完全であるが、テキストイ匕することで、後での編集や映像の検索が容易になる。

[0024] もう一つの音声コメント入力形式力走行中の窓の外を見ながらも、社内での運転者や同乗者との会話も生の実時間映像と音声会話や発話とを対応付けながら記録可能である。また、同時に音声認識を働かせて、テキスト化もできる。音声からテキスト化の誤りはあっても、後編集で修正可能である。車内では簡便な対応が重要である。本実施例装置のような棒状センサと音声信号入力と音声認識テキスト入力、さらには、音声コマンド認識との併用の例は斬新な組み合わせのアイデアであり、マルチモ一ダルな映像コンテンツ DBの充実ィ匕が可能である。

[0025] 図 9は、処理のフローチャートを示す。撫でるセンサ（棒状センサ）への入力があるとデータが 0以外となり、コンテンツ制作開始とみなす。そのデータを変数 Datalに代入し、もう一度撫でるセンサ (棒状センサ）力もデータを読み出しそのデータを変数 D ata2に代入する。 Data 1が Data2よりも大きければ車の進行方向に向けて撫でられたことであるため、時刻変数 videoTimeをカ卩算する。逆に、 Datalが Data2よりも小さければ車の逆進行方向に向けて撫でられたことであるため、時刻変数 videoTime を減算する。そして、時刻変数 videoTimeの映像をディスプレイへ表示する。特定の操作をすることで音声コメントの録音開始となるため、その特定操作があるまで時刻の調整を続けることになる。特定の操作がくると、音声認識を開始する。ここでは、音声認識をしながらその音声を録音し、音声コメント入力が終了したら、撫でるセンサ操作で得られた時刻変数 videoTimeに音声認識結果のテキストと録音した音声データをタグ付けし、コンテンツ DBに保存する。

[0026] (カーナビゲーシヨンとの連携した実施形態）

カーナビゲーシヨンとの連携した実施の形態を図 10を参照して説明する。本実施例では、運転者は進行方向と平行に設置されることを特徴とする棒状センサを前後方向に撫でることによって、出発地から現在地までの映像や、現在地から目的地までの映像を参照することができる。このシステムの動作原理は以下のとおりである。経路が決定したあと、道路上の縦横の移動は、経路に沿った前後の移動に単純ィ匕することができる。運転者がカーナビゲーシヨン上で目的地を設定すると、カーナビゲーシヨンは出発地から目的地までの経路を決定し、現在地をカーソルで表示する。力一ソルは棒状センサを前後方向に撫でることにより経路に沿って前後に移動させることができ、カーナビゲーシヨンはカーソルに対応する緯度経度の位置情報をもとにコンテンッデータベース 503を検索し、位置情報に対応するコンテンツが存在すれば再生を開始する。ゆがみ補正装置を経由するかどうかは、コンテンツが超広角映像かそうでないかにより選択される。ゆがみ補正装置を経由する場合は、時間の切り出しではなく映像の範囲を切り出す。切り出し領域は運転者の挙動センサおよびノヽンドルに設置された撫でるセンサにより移動可能である。運転者はカーナビゲーシヨン上で出発地から目的地までの経路設定を行った後、棒状センサを前後に撫でることによってカーソルを経路に沿って移動することができる。

[0027] (過去のクルージング記録を再生する実施形態）図 3において、セレクタ 4の入力を下側に設定すると、記録再生装置 3からの超広角再生映像がゆがみ補正装置 5に導かれる。本実施例では、運転者は進行方向と平行に設置されることを特徴とする棒状センサを前後方向に撫でることによって、出発地力も現在地までに撮りためた映像を前後して見ることができる。

また、棒状センサの前端および後端をそれぞれ現在地、出発地に対応させて、棒上をボンと触れることによって、記録映像の頭出しをする。このとき、棒上を触れることは、出発地力も現在地までの割合を指示することになる。たとえば棒の中央を触れれば、出発地力現在地まで取りためた記録映像の中央を頭出しし参照することができる。中央は時間の中央であるように設計してある。距離の中央であるように設計することちでさる。

または、棒状センサの前端および後端をそれぞれ現在地、目的地に対応させて設計することもできる。このとき、棒上のある点 (現在地)より前端までの映像は当然記録されていないが、この実施形態によって得られる現在地から目的地までの予定経路に従、、触れた部分に対応する経度緯度に関連する情報をコンテンツデータベース 503より検索し参照できる。

さらに、棒状センサに表示装置を設け、時刻や距離の目盛りや現在の車の位置を表示して、触れる操作をやりやすくすることができる。カーナビゲーシヨンでコンビニェンスストアを検索したとき、棒状センサ上に目的地までのコンビ-エンスストアがずらつと点灯表示されると、どのあたりでコンビ-エンスストアに寄るか見当をつけることもできる。ガソリンスタンドの検索では、ガソリンの残量などと連動させることもできる。触れることを距離や時間などの絶対指定、撫でることを相対指定、に対応させ、目盛りなどを表示することにより、操作を容易にできる。映像は超広角映像で記録されているため、画角は再生時に任意の方向に変えることができる。これは、図示しないハンドルを使って行う。超広角で撮り続けていることが特徴で、あとから任意時刻、任意方向の映像を取り出すことができる。

(クルージング支援車載情報システムに音声ガイドを与える実施形態）

複数の距離センサを車外の車体の前後左右の何れかの方向に向けて配置する。そして、前記距離センサに対応する発音体であるスピーカを運転者の周囲に配する。それらのスピーカから基準音を鳴らし、前記距離センサによる検出物体用の音は、距離センサで検出した物体までの距離に応じて遅延した基準音を鳴らすように構成する。前記クルージング支援車載情報システムで、前記複数のスピーカから出る音を距離センサによる検出物体の概略方向から聞こえるように配置することによりクルージング支援をする。

[0029] 図 11はスピーカ 901〜904の配置例を示す略図であり、図 12は複数の距離センサ 981〜986の配置例を示す略図である。図 13は、音声ガイドを付加した実施形態の回路ブロック図である。

[0030] 距離センサ 981から 986の距離情報をコントロールユニット 1001に入力する。コントロールユニット 1001では基準音発生部 1003で基準音を発生し、距離情報を演算処理部 1102で距離情報力も時間情報に変換した情報を用いて遅延時間制御部 10 04において基準音を遅延させる。概略音源方向演算処理部 1105では演算処理部 1102で処理された検出物体概略方向情報を用いて遅延時間制御部 1004で遅延された基準音を検出物体の概略方向に音源があるかのような演算処理を施し、基準音とカロ算器 1111〜： L 114でカロ算後、増幅器 1121〜1124で音を増幅し、スピーカ 991 〜994で音を出すように構成されて、る。

[0031] 前記クルージング支援車載情報システムで、前記複数のスピーカから出る音を距離センサによる検出物体の概略方向から聞こえるように配置することによりクルージング支援は、前述の図 13の概略音源方向演算処理部 1105での処理を実施しない（遅延時間制御部 1004の出力をそのまま出力する）ように構成すれば実現できる。請求項 13の変形例として、前述の図 13のスピーカの一部を振動板スピーカまたは振動板とすることができる。配置例として、座席の背もたれ部や脚部にしても良い。

[0032] (近接障害物に対するクルージング支援の実施形態）

クルージンクの開始終了の時点の支援も、快適なクルージンクを支援するためには必要である。図 14は、車庫入れ等、近接する障害物に対する運転を支援する実施形態を示す説明図である。車庫入れに関連して構成を動作とともに説明する。車両には、運転者に対して対称に配置された音響提示装置 (スピーカ） 1204aおよび 12 04bが配置されている。まず、同時に基準音を鳴らし、距離センサ 1203aおよび 1203bで測定した車の外壁から車外物体までの距離をもとに、遅延誇張装置 1205 (配置は車内の任意の位置）は測定した左右の距離に応じた時間の遅延を誇張し、その遅れを挟んで確認音を鳴らす。確認音の遅延は車の外壁力もの距離で決まる。仮に左右の障害物が車の外壁から等距離にあれば、基準音が左右同時に鳴った後、少しの遅延時間をおいて左右の確認音が同時に鳴る。運転席が車の右側にある場合、運転席から左の障害物までの距離が実際は長、わけだが、本方式によれば車体力左右の障害物までの距離が同じであれば確認音が同時に鳴るため、車庫入れ時などに重要となる車の左右から障害物までの状態を把握することができる。この実施態様によれば、運転席が左右どちらかに配置されていても、運転者に車の中央に座してしているかのような聴覚的補助感覚を与えることができる。

図 14は、さらに運転席の左右に対象に配置された映像提示装置 1202aから 1202 dに、外壁に取り付けたカメラ 120 laから 1201dで撮像した映像をそれぞれ提示する例である。外壁の映像が運転者の左右に対して対称に提示されるため、運転者に車の中央に座して、るかのような視覚的補助感覚を与えることができる。

産業上の利用可能性

本発明に関わるクルージング支援車載情報システムは、カーナビゲーシヨンシステムゃ画像機器システムの高機能と低価格化に伴って、その重要性は増すことは確実である。各種自動車は単なる移動の手段から、運転や走行、さらにはコミュニケーションを楽しむための「移動空間」へと進化しており、そこで求められているのは、運転の安全性向上にとどまらず、人間の認知や情動や行動に基づく「楽しさ、豊かさ、快適さ、満足感」の追求である。本発明による、複数のカメラとディスプレイを活用した「クルージング (快適走行)支援」ある、は「快走支援」の開発が産業的にも重視されることは確実である。本発明による情報システムが産業的に重要な技術分野へと発展し、広く利用される可能性が極めて高、。

Claims

請求の範囲

[1] 車外の像を獲得する複数の超広角カメラと、

各超広角カメラの出力を超広角映像のまま記録再生可能な記録再生装置と、超広角映像の一部を切り出して実時間でゆがみを補正するゆがみ補正装置と、車速または走行モードまたは運転者の挙動を検出する状況検出手段と、運転者の周囲に配した単一のもしくは同じ高さに表示領域を有する 2つ以上の表示装置で構成した帯状の表示領域をもつ表示帯と、

前記状況検出手段の判断出力に基づいて前記各カメラに接続された補正装置の出力を選択的にまたは合成して前記表示装置への提示を制御する提示制御手段と力も構成することを特徴とするクルージング支援車載情報システム。

[2] 請求項 1記載のシステムにおいて、

2つ以上の超広角カメラの出力を前記ゆがみ補正装置により切り出して合成し、前記表示帯に提示することを特徴とするクルージング支援車載情報システム。

[3] 請求項 2記載のシステムにおいて、

さらに、車速、方向指示器、走行モード、周辺環境などを得て画角を決定する画角決定部を備え、状況によって俯角の異なる車外映像を表示帯に提示することを特徴とするクルージング支援車載情報システム。

[4] 請求項 1記載のシステムにおいて、

車外の像を獲得する撮像方向が可変である方向可変カメラを設けて前記方向可変カメラの出力もそのまま記録再生可能とする前記記録再生装置に接続し、

さらに、前記状況検出手段の判断出力に基づいて前記記録再生装置の出力を選択的にまたは合成して前記表示装置への提示を制御する提示制御手段力構成することを特徴とするクルージング支援車載情報システム。

[5] 請求項 1記載のシステムにおいて、

前記複数の超広角カメラの内の特定のカメラを任意の車輪を視野に含むように配置し、前記状況検出手段の判断出力に基づいて前記提示制御手段が特定の車輪を提示させるように構成することを特徴とするクルージング支援車載情報システム。

[6] 請求項 3、 4または 5記載のシステムにおいて、

前記提示制御手段は、常に車体の一部を提示させて、同時に提示される他の車外物体との距離感覚を付与することを特徴とするクルージング支援車載情報システム。

[7] 請求項 3、 4または 5記載のシステムにおいて、

ハンドル上の位置を運転者の視角と対応させ、運転者がふれたことと撫でたことを検出できるセンサを円状に配置したハンドルを設け、

前記状況検出手段は、さらに、前記ハンドル上の位置を運転者の視角と対応させ、運転者がふれたことと撫でたことを検出し、記録再生装置に記録した各超広角カメラの映像を前記ゆがみ補正装置により切り出して合成する際に切り出す領域をノヽンドルを用いて指示することで、記録映像の視線を変化させて前記提示手段に提示することを特徴とするクルージング支援車載情報システム。

[8] 請求項 3、 4または 5記載のシステムにおいて、

さらに、触れたことと撫でたことを検出できるセンサを棒状に配置した棒状センサを運転者の右または Zかつ左側に進行方向と平行に配置して運転者の操作手段とすることを特徴とするクルージング支援車載情報システム。

[9] 請求項 8記載のシステムにおいて、

前記棒状センサの位置を時刻に対応させ、記録再生装置に記録した各超広角カメラの映像を前記ゆがみ補正装置により切り出して合成する際に切り出すフレームの時間を前記棒状センサで指示するように構成することを特徴とするクルージング支援車載情報システム。

[10] 請求項 9記載のシステムにおいて、

実時間および記録された超広角映像の時刻と対応させて、音声認識装置を用いて、音声コメントと音声認識結果とを時間的に対応させて付加して記録し、音声コメント付き映像コンテンツとして記憶する手段を有し、前記音声コメント付き映像コンテンツを再生して提示する手段を有することを特徴とするクルージング支援車載情報システム。

[11] 請求項 8記載のシステムにおいて、

前記システムの前記記録再生装置またはゆがみ補正装置の出力をカーナビゲーシヨンシステムと連動し記録可能にし、目的地までのルート設定を終えた後、前記棒状センサを前後に操作することによってカーソルを出発地から目的地までルートに沿つて前後させ、カーソルの位置に関連する記録映像を提示可能とすることを特徴とするクルージング支援車載情報システム。

[12] 請求項 3、 4または 5記載のシステムにおいて、

さら〖こ、車外の車体の前後左右の何れかの方向に向けて配置された複数の距離センサを備え、前記距離センサに対応する発音体を運転者の周囲に配し、それらの発音体力基準音を鳴らし、前記距離センサによる検出物体用の音は、距離センサで検出した物体までの距離に応じて遅延した基準音を鳴らすように構成することを特徴とするクルージング支援車載情報システム。

[13] 請求項 12記載のシステムにおいて、

前記複数の発音体力出る音を距離センサによる検出物体の概略方向から聞こえるように構成することを特徴とするクルージング支援車載情報システム。

[14] 請求項 13記載のシステムにおいて、

音声や映像の提示装置を運転者に対して対称に置き、車体に対して対称な情報を提示することを特徴とするクルージング支援車載情報システム。