WO2006046715A1

WO2006046715A1 - エンタテインメントシステム

Info

Publication number: WO2006046715A1
Application number: PCT/JP2005/019929
Authority: WO
Inventors: Toshiaki Mori; Yuji Mizuguchi
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2004-10-29
Filing date: 2005-10-28
Publication date: 2006-05-04
Also published as: CN101052547B; DE602005027596D1; CN101052547A; EP1813477A4; EP1813477A1; JPWO2006046715A1; EP1813477B1; US20090138919A1

Abstract

　移動体内に居る視聴者が安全な体勢をいち早くとることができるエンタテインシステムを提供することである。　エンタテインメントシステム６００は、車両の進行方向の風景を撮影して風景画像を生成する撮像部１２と、風景画像から、車両の進行方向上の位置を検出する進行方向位置検出部１７と、画像情報を含むコンテンツ情報を出力する映像コンテンツ再生部１１と、風景画像から車両の進行方向上の位置を検出する進行方向位置検出部１７と、映像コンテンツ再生部１１により出力されたコンテンツ情報からコンテンツ画像を生成し、さらに、風景画像において、検出された位置の周辺にコンテンツ画像が配置されるように、コンテンツ画像と風景画像とを合成して合成画像を生成する合成画像生成部１４と、合成画像生成部１４により合成された合成画像を表示する表示部１５とを備える。

Description

技術分野

[0001] 本発明は、エンタテインメントシステムに関し、移動体内に居る視聴者にコンテンツを提供するエンタテインメントシステムに関する。

背景技術

[0002] 上記のようなエンタテインメントシステムは、移動体の一例としての車両に設置され、例えば、前部座席周辺又は後部座席周辺に取り付けられたモニタを通じて、映画、ニュース又はテレビに代表されるコンテンツを表すエンタテイメント情報を、車両内の乗員 (視聴者）に提供する。しかしながら、このような提供方式では、車両が曲がったり、減速したりするときに、視聴者は、車両の挙動を予め知ることができないので、安全な体勢をとることができず、その結果、エンタテインメントシステムは、視聴者に乗り物酔、を誘発する可能性があると、う問題点があった。

[0003] この問題点を解決するため、ハンドル、ブレーキ又はウィンカー力も得た操作情報を用いて、車両が曲がるとき又は減速することを音声出力又はモニタ表示したり、後部座席用モニタに車載カメラが撮影した進行方向の風景映像を表示したりすることで、車両の挙動を乗員に通知し、それによつて、乗り物酔いの誘発を抑えようとするェンタティンメントシステム（以下、従来のエンタテインメントシステムと称する）が提案されて、る（例えば、特開 2003— 154900号公報を参照）。

[0004] ここで、図 11は、従来のエンタテインメントシステムの構成を示すブロック図である。

図 11において、従来のエンタテインメントシステムは、ノヽンドル 52、ブレーキ 53及びウィンカー 54からの操作情報を受けて操作状態を音声で提示するための音声合成回路 51と、該操作状態を映像で提示するための OSD装置 55、進行方向の風景を撮影するビデオカメラ 62、 DVD再生装置 57、リアモニタ 61、車両の運転を支援するナビゲーシヨン装置 58、音声合成回路 51の音声出力と DVD再生装置 57の音声信号とナビゲーシヨン装置 58の音声信号とを合成するミキサ 56、合成された音声信号を赤外線信号に変換する IR回路 59、及び、該 IR回路 59からの赤外線信号を受信し音声に変換するヘッドホン 60を備えて、る。

発明の開示

発明が解決しょうとする課題

[0005] し力しながら、従来のエンタテインメントシステムでは、例えば、ウィンカー 54を操作する必要の無いカーブを車両が走行する場合、その旨がヘッドホン 60に音声出力されないし、リアモニタ 61にも何も表示されなし、さらに言えば、進行方向の風景映像力 Sリアモニタ 61に表示されない。従って、車両がカーブを曲がるとき、又は車両がある程度の挙動変化を示したとき、そのような挙動が起こることを乗員は知ることができないので、従来のエンタテインメントシステムでは、乗員が安全な体勢を事前にとらせたり、乗り物酔!、の誘発を抑えたりすることが十分に行えな、と、う問題点があった。

[0006] それ故に、本発明の目的は、移動体内に居る視聴者が安全な体勢をいち早くとることができるェンタティンシステムを提供することである。

課題を解決するための手段

[0007] 上記目的を達成するために、本発明のエンタテインメントシステムは、車両の進行方向の風景を撮影して風景画像を生成する撮像部と、画像情報を含むコンテンツ情報を出力するコンテンツ情報出力部と、撮像部により生成された風景画像から、車両の進行方向上の位置を検出する進行方向位置検出部と、コンテンッ情報出力部により出力されたコンテンツ情報力もコンテンツ画像を生成し、さらに、風景画像において、検出された位置の周辺にコンテンツ画像が配置されるように、コンテンツ画像と風景画像とを合成して合成画像を生成する第 1の合成画像生成部と、第 1の合成画像生成部により合成された合成画像を表示する表示部とを備える。

[0008] エンタテインメントシステムにおいて、第 1の合成画像生成部は、コンテンツ画像により中間画像において、検出された位置が覆われないように、コンテンツ画像と中間画像とを合成して合成画像を生成するものである。

[0009] 第 1の合成画像生成部はさらに、撮像部により生成された風景画像に、進行方向位置検出部により検出された位置に所定形状の図形を表す図形情報を合成した中間画像を生成し、中間画像中の図形情報の周辺にコンテンツ画像が配置されるように、コンテンツ画像と中間画像とを合成して合成画像を生成する。 [0010] エンタテインメントシステムは、撮像部により生成された風景画像の中から路面に描かれている白線を検出する白線検出部を更に備える。進行方向位置検出部は、白線検出部により検出された白線の交点である消失点を車両の進行方向上の位置として検出する。

[0011] また、エンタテインメントシステムは好ましくは、車両の曲がる方向を示す操作情報を出力する操作情報出力部と、操作情報出力部により操作情報が与えられると、撮像部により生成された風景画像に、進行方向位置検出部により検出された位置を示す位置情報を合成した中間画像と、コンテンツ情報出力部により出力されたコンテンッ情報力コンテンツ画像とを生成し、操作情報で示された車両の曲がる方向の反対側の位置で、かつ、中間画像中の位置情報の周辺にコンテンツ画像が配置されるように、コンテンツ画像と中間画像とを合成した合成画像を生成する第 2の画像合成生成部とを更に備える。表示部は、第 2の画像合成部により生成された合成画像を更に表示する。

[0012] また、エンタテインメントシステムは好ましくは、進行方向位置検出部により検出された位置が、表示部に表示される合成画像の下力も所定の高さより下にあるか上にあるかを判定する位置判定部と、位置判定部により、位置が所定の高さより下にあると判定されると、表示部の表示画像の中に表示される位置を、所定の高さ以上に移動させる量だけ、撮像部により撮影された風景画像の上部部分を排除する排除部と、排除部により排除されて残った風景画像に、進行方向位置検出部により検出された位置を示す位置情報を合成した中間画像と、コンテンツ情報出力部により出力されたコンテンツ情報からコンテンツ画像とを生成し、中間画像中の位置情報の周辺にコンテンッ画像が配置されるように、中間画像とコンテンツ画像とを合成して合成画像を生成する第 3の合成画像生成部とを更に備える。表示部は、第 3の合成画像生成部により生成された合成画像を表示する。

[0013] エンタテインメントシステムは、撮像部の撮影方向を変更させる駆動部と、進行方向位置検出部により検出された位置力表示部に表示される合成画像の下力所定の高さより下にあるか上にあるかを判定する位置判定部と、位置判定部により、位置が所定の高さより下にあると判定されると、表示部の表示画像の中に表示される位置を、所定の高さ以上に移動させる制御情報を駆動部に出力する制御情報出力部とを更に備える。駆動部は、制御情報出力部により出力された制御情報に基づき撮像部の撮影方向を変更させる。

[0014] また、本発明の第 2の局面は、エンタテインメント提供方法に向けられる。ェンタティンメント提供方法は、車両の進行方向の風景を撮影して風景画像を生成し、画像情報を含むコンテンツ情報を出力し、撮影した風景画像から、車両の進行方向上の位置を検出し、出力されたコンテンツ情報力コンテンツ画像を生成し、さらに、風景画像において、検出された位置の周辺にコンテンツ画像が配置されるように、コンテンッ画像と風景画像とを合成して合成画像を生成し、合成された合成画像を表示する

発明の効果

[0015] 本発明によれば、コンテンツ画像により風景画像中の車両の進行方向上の位置が覆われな、ように、画像合成部 14がコンテンツ画像と風景画像とを画像合成するので、ウィンカーを使用しない場合にあっても、車両が曲がるとき、そのことを同乗者に予知可能ならしめ、安全な体勢を視聴者が事前にとったり、乗り物酔いの誘発を抑えたりすることができる。

[0016] 本発明の上記及びその他の目的、特徴、局面及び利点は、以下に述べる本発明の詳細な説明を添付の図面とともに理解したとき、より明らかになる。

図面の簡単な説明

[0017] [図 1]図 1は、本発明の実施形態に係るエンタテインメントシステム 600の構成を示すブロック図である。

[図 2]図 2は、図 1に示す撮像部 12により撮影された画像 100を例示する模式図である。

[図 3]図 3 (a)は、図 1に示す白線検出部 16により生成される空間高周波信号が表すエッジ画像を例示する模式図であり、図 3 (b)は、図 1に示す白線検出部 16により生成される抽出エッジ画像 120を例示する模式図である。

[図 4]図 4 (a)は、図 1に示す白線検出部 16により生成される路面画像 130を例示する模式図であり、図 4 (b)は、図 1に示す白線検出部 16により生成される領域画像 14 0を例示する模式図である。

[図 5]図 5は、図 1に示すエンタテインメントシステム 600について、画像を表示するまでの処理手順を示すフ口一チャートである。

[図 6]図 6 (a)は、図 1に示す撮像部 12により撮影される風景を例示する模式図であり、図 6 (b)は、図 5に示すステップ S150の処理を説明するための模式図であり、図 6 ( c)は、ステップ S160の処理を説明するための模式図であり、図 6 (d)は、ステップ S 1 70の処理を説明するための模式図である。

[図 7]図 7 (a)〜（c)は、図 5に示すステップ S180の処理を説明するための模式図である。

[図 8]図 8は、図 1に示す画像合成部 14の処理を説明するための模式図である。

[図 9]図 9は、図 1に示すエンタテインメントシステム 600について、撮像部 12の撮像方向を制御する際の動作手順を示すフローチヤ一トである。

[図 10]図 10 (a)は、撮像部 12が撮像方向変更前に生成する風景画像 510を例示する模式図であり、図 10 (b)は、撮像部 12が撮像方向変更後に生成する風景画像 52· 0を例示する模式図であり、図 10 (c)は、コンテンツ画像 540を例示する模式図であり、図 10 (d)は、合成画像 550を例示する模式図である。

[図 11]図 11は、従来のエンタテインメントシステムの構成を示すブロック図である。符号の説明

映像コンテンツ再生部

12 撮像部

13 ウィン力一部

14 画像合成部

15 表示部

16 白線検出部

17 進行方向位置検出部

18 撮像方向制御部

19 駆動部

エンタテインメントシステム

差替え用紙（規則 26)

発明を実施するための最良の形態

以下、本発明の実施の形態を、図面を参照して説明する。図 1は、本発明の実施形態に係るエンタテインメントシステム 600の構成を示すブロック図である。

差替え用紙（規則 26) [0020] 図 1にお!/、て、エンタテインメントシステム 600は、移動体の一例としての車両に搭載され、映像コンテンツ再生部 11と、撮像部 12と、ウィンカー部 13と、画像合成部 1 4と、表示部 15と、白線検出部 16と、進行方向位置検出部 17と、撮像方向制御部 1 8と、駆動部 19とを備えている。

[0021] 映像コンテンツ再生部 11は、 CD— ROMドライブ又は DVD— ROMドライブに装着された CD— ROM又は DVD— ROMに記憶されている映像コンテンツ情報を再生する。また、映像コンテンツ再生部 11は、通信回線を介してテレビジョン放送等の映像コンテンツ情報を再生する。映像コンテンツ再生部 11は、画像情報を含むコンテンッ情報を出力するコンテンツ情報出力部を構成する。

[0022] 撮像部 12は、レンズ及び CCDを備えたカメラであって、典型的には車両の前部又は上部に取り付けられ、車両の進行方向の風景を撮影した映像信号 lhを出力する。

[0023] ウィンカー部 13は、車両が右折又は左折する際の操作信号 2hを出力する。ウィンカー部 13は車両の曲がる方向を示す操作情報を出力する操作情報出力部を構成する。ただし、このような操作情報出力部は、ウィンカー部 13のみならず、車両の操作に連動した他の機械的構成部分からも構成され得る。また、本実施形態では、便宜上、ウィンカー部 13は、エンタテインメントシステム 600の構成として説明するが、ウィンカー部 13は一般的には車両の構成である。つまり、ウィンカー部 13は、ェンタティンメントシステム 600の本質的構成ではな!/、。

[0024] 画像合成部 14は、撮像部 12から与えられた映像信号 lhと、ウィンカー部 13から与えられる操作信号 2hと、映像コンテンツ再生部 11から与えられたコンテンツ情報 3h と、進行方向位置検出部 17から与えられ、消失点 (詳細は後述)の位置を示す消失点位置情報 4hの中から必要なものを用い、下記のような画像を表す合成画像信号 5 hを生成し出力する。画像合成部 14は、合成画像の生成方法に応じて、第 1の画像合成部、第 2の画像合成部、第 3の画像合成部のいずれかとして機能する。

[0025] (1)撮像部 12により撮像された風景画像を表示しない場合には、コンテンツ情報 3h に基づく画像信号 5h

(2)コンテンツ情報 3hを表示しない場合には、撮像部 12により撮像された映像信号 lhに基づく画像信号 5h (3)図 7に示すように、映像信号 lhが表す風景画像に、消失点の位置及びその周辺を覆わなヽようにコンテンツ画像が合成された画像を表す画像信号 5h

[0026] 表示部 15は、例えば TFT方式のカラー液晶モニタが使用され、画像合成部 14から入力された画像信号 5hを基にした映像を表示する。

[0027] 白線検出部 16は、撮像部 12により撮影された画像 100 (図 2を参照）を表す映像信号 lhから高周波成分を抽出して、図 3 (a)に示すような車線 Rl、 R2及び R3を含むエッジ画像 110を表す空間高周波信号を生成する。白線検出部 16はさらに、車線 Rl、 R2及び R3の輪郭部分を効率的に抽出するための閾値に基づき、エッジ画像 1 10を走査し、図 3 (b)に示すような、車線 Rl、 R2及び R3を細線化したエッジ rl、 r2 及び r3を含む抽出エッジ画像 120を生成する。

[0028] また、白線検出部 16は、撮像部 12より撮影された画像 100 (図 2を参照）を表す画像信号 lhから低周波数成分を抽出して、図 4 (a)のような路面 131を含む路面画像 1 30を生成する。このように生成した路面画像 130から、白線検出部 16はさらに、路面 131の各外縁から内側及び外側それぞれに幅 wを持つ領域 AR1及び AR2を有する領域画像 140 (図 4 (b)を参照）を生成する。

[0029] さらに、白線検出部 16は、抽出エッジ画像 120 (図 3 (b)を参照）に含まれるエッジ r 1及び r3のそれぞれが領域 AR1及び AR2 (図 4 (b)を参照）に収まるカゝ否かを判定し、収まると判定したならば、車線 R1及び R3が白線であるとみなし、エッジ rl及び r3を示す抽出エッジ信号 6hを出力する。なお、白線検出の詳細な内容は、例えば、特開 2001— 273504号公報又は特開 2003— 154900号公報に記載されている。

[0030] 進行方向位置検出部 17は、白線検出部 16で生成された抽出エッジ信号 6hを受け取ると、エッジ rl及び r3そのものを表す直線、又はエッジ rl及び r3が曲線の場合にはそれぞれを近似した直線を、最小 2乗法又はハフ変換を用いて導き出し、これら直線 rl及び r3の交叉点からなる消失点の位置 P (X, Y)を算出する。この算出した消失点の位置 P (X、 Y)を示す消失点信号 4hを、進行方向位置検出部 17は画像合成部 14と撮像方向制御部 18とに与える。

[0031] 撮像方向制御部 18は、進行方向位置検出部 17から受け取った消失点信号 4hに基づき、消失点の位置 Pが、表示部 15に表示される合成画像の底辺から所定の高さより下にある力否かを判定し、位置 Pが所定の高さより下にあると判定された場合には、位置 Pを少なくとも所定の高さ以上に移動させるための位置制御情報 7hを駆動部 1 9に与える。なお、このような撮像方向制御部 18は位置判定部と制御情報出力部とを構成する。

[0032] 駆動部 19は、撮像部 12の撮像方向を変更するサーボモータを含み、撮像方向制御部 18により与えられた位置制御情報 7hで示された量だけ正方向又は逆方向にサーボモータを回転させ、これによつて、位置 Pを所定の高さ以上に変えるように撮像部 12の撮像方向を変更する。

[0033] 次に、以上のエンタテインメントシステム 600について、図 5のフローチャートを参照して、画像を表示部 15に表示するまでの動作を説明する。

[0034] 撮像部 12により、車両の進行方向の風景（図 6 (a)を参照）が撮影され、その結果得られる映像信号 lhを白線検出部 16及び画像合成部 14は受け取る (ステップ S11 0)。

[0035] 白線検出部 16は、前述したように、映像信号 lhからエッジ rl及び r3を示す抽出ェッジ信号 6hを生成して、進行方向位置検出部 17に与える (ステップ S 120)。

[0036] 進行方向位置検出部 17は、白線検出部 16から抽出エッジ信号 6hを受け取ると、前述したように、受け取った抽出エッジ信号 6hに基づいて、エッジ rl及び r3との交差する消失点の位置 P (X、 Y)を算出する。算出した消失点 P (X、 Y)を示す消失点信号 4hを、進行方向位置検出部 17は画像合成部 14及び撮像方向制御部 18に与える（ステップ S 130)。

[0037] 画像合成部 14は、進行方向位置検出部 17からの消失点信号 4hで示される消失点の位置 Pを取得する。その後、画像合成部 14は、表示部 15の表示画面の底辺から高さ HIよりも下に、消失点の位置 Pが位置する力否かを判定する (ステップ S140) 。ここで、高さ HIは、表示画面の底辺から、後述のコンテンツ画像 220の上辺までの距離である。ステップ S 140で Yesと判定された場合、画像合成部 14は、図 6 (a)に示す風景画像 210において消失点の位置 Pに相当する箇所に、消失点を所定形状の図形で表す消失点位置情報 213 (図では〇で囲まれている。）を合成し、風景画像 2 10から、高さ HIより下の部分 212を取り出し、図 6 (b)に示す中間合成画像 215を生成する (ステップ S150)。言い換えれば、画像合成部 14は、風景画像 210から、空の部分 211を切り取る。なお、このような画像構成部 14は、位置判定部と排除部とを構成する。

[0038] 次に、画像合成部 14は、映像コンテンツ再生部 11により与えられたコンテンツ情報 3hを使って、図 6 (c)に例示するようなコンテンツ画像 220を生成する（ステップ S 160 )。その後、画像合成部 14は、中間合成画像 215の中に合成された消失点位置情報 213がコンテンツ画像 220で隠れないように、コンテンツ画像 220と中間合成画像 215とが合成された画像（図 6 (d)を参照）を表す合成画像信号 5hを生成する (ステツプ S 170)。このような合成画像信号 5hは表示部 15に与えられる。

[0039] 画像合成部 14は、ステップ S 140で Noと判定した場合、進行方向位置検出部 17 力も受け取った消失点信号 4hが示す消失点の位置 Pを示すために、中間合成画像 215において位置 Pに相当する箇所に消失点位置情報が合成された中間合成画像 310 (図 7 (a)を参照）を生成する (ステップ S 180)。

[0040] 次に、画像合成部 14は、映像コンテンツ再生部 11から得られたコンテンツ情報 3h カもコンテンッ画像 320 (図 7を参照）を生成し (ステップ S 190)、コンテンッ画像 320 により風景画像 310の中の消失点位置情報 311が覆われな、ように、コンテンツ画像 320と風景画像 310とを合成した、図 7に例示する合成画像 330を生成し (ステツプ S200)、合成画像 330を表す合成画像信号 5hの一例として表示部 15に出力する

[0041] 表示部 15は、画像合成部 14により合成画像信号 5hが与えられると、入力信号 5h に基づいた画像を表示し (ステップ S210)、処理を終了する。

[0042] 次に、エンタテインメントシステム 600について、ウィンカー部より車両の進行方向を示す操作信号 2hが与えられた場合の画像の表示動作を説明する。

[0043] ウィンカー部 13が例えば車両の進行方向を右に取るという操作信号 2hを画像合成部 14に与えると、画像合成部 14は、図 8に例示する合成画像 410中の右下部に配されたコンテンツ画像 430を、図 8に例示するように、合成画像 410の左下部でかつ消失点位置情報 420を覆わな、位置に配置した合成画像 440を生成する。この操作により、消失点位置情報 420及び車両の進行すべき右折道路の双方が、表示部 15に表示されることとなる。

[0044] 次に、図 9に示すフローチャートを参照して、エンタテインメントシステム 600について、撮像部 12の撮像方向の制御を行う動作を説明する。

[0045] 撮像方向制御部 18は、進行方向位置検出部 17により、消失点の位置 Pを示す消失点信号 4hが与えられると、消失点の位置 Pが、画面の底辺から高さ H2よりも下に位置するか否かを判定する（ステップ S310)。ここで、高さ H2は、表示画面の底辺から、後述のコンテンツ画像 220の上辺までの距離である。

[0046] 撮像方向制御部 18は、消失点の位置 Pが高さ H2よりも上に位置するものと判定した場合には (ステップ S310 ;NO)、位置 Pが高さ H2より下になるまでこの処理を継続し続ける。一方、撮像方向制御部 18は、位置 Pが画面上の高さ H2より下にある場合には、（ステップ S310 ;YES)、高さ H2から位置 Pの高さ Yを差し引きた値 (H2— Y) に、少しゆとりを持たせるための値 Lを加算した T(T=H2— Y+L)を算出する (ステップ S320)。

[0047] その後、撮像方向制御部 18は、消失点の位置 Pが高さ H2より上になるような方向で、かつ、値 Tに基づいて算出したカメラ方向を制御する位置制御信号 7hを駆動部 19に出力する（ステップ S330)。

[0048] 駆動部 19は、撮像方向制御部 18から与えられた位置制御信号 7hに従った方向に所定回転数だけ回転し、撮像部 11の撮像方向を変更させる (ステップ S 340)。すると、撮像部 12は、変更前の図 10 (a)に例示する風景映像 510から、消失点の位置 P の位置が (H2+L)に移動させた図 10 (b)に例示する風景映像 520の映像信号 lh を画像合成部 14に出力する。

[0049] 画像合成部 14は、進行方向位置検出部 17により与えられた消失点信号 4hから消失点の位置 Pを求め、風景映像 510の中の消失点の位置 Pの箇所に消失点の位置を示す消失点位置情報を表示する、図 10 (b)に例示する風景画像 530を生成する（ステップ S350)。次に、画像合成部 14は、映像コンテンツ再生部 11から与えられたコンテンツ情報 3hを使って、図 10 (c)に例示するようなコンテンツ画像 540を生成する（ステップ S 360)。

[0050] その後、画像合成部 14は、風景画像 530の中の消失点位置情報 531がコンテンツ画像 540により覆われないように、コンテンツ画像 540と風景画像 530とを画像合成した、図 10 (d)に例示する合成画像 550を生成し (ステップ S370)、合成画像 550を表す合成画像信号 5hを表示部 15に与える。表示部 15は、受け取った合成画像 55 0を表示し (ステップ S380)、処理を終了する。

[0051] この実施形態に係るエンタテインメントシステム 600によれば、撮像部 12により撮影された風景画像に、進行方向位置検出部 17により検出された車両の進行方向上の位置を表示した風景画像を生成するとともに、コンテンツ情報再生部 11により出力されたコンテンッ情報からコンテンッ画像を生成し、コンテンッ画像により風景画像中の車両の進行方向上の位置が覆われないように、画像合成部 14がコンテンツ画像と風景画像とを画像合成するので、ウィンカーを使用しない場合にあっても、車両が曲がるとき、そのことを同乗者に予知可能ならしめ、安全な体勢を視聴者が事前にとつたり、乗り物酔いの誘発を抑えることができる。

[0052] 上述の実施形態にお!、ては、好ま、例として、消失点位置情報 213が風景画像 210に合成され、合成された消失点位置情報 213がコンテンツ画像 220で隠れないように、コンテンツ画像 220と中間合成画像 215とが合成されるとして説明した。しかし、これに限らず、消失点位置情報 213は風景画像 210に合成されず、単に、ステツプ S 170にお、て、消失点位置情報 213で特定される位置の周辺にコンテンッ画像 220が合成されるだけでかまわない。言い換えれば、コンテンツ画像により風景画像中の車両の進行方向上の位置が覆われないように、画像合成部 14がコンテンツ画像と風景画像とを画像合成するだけでも力まわない。ここで、「コンテンツ画像により風景画像中の車両の進行方向上の位置が覆われな、」とは、「車両の進行方向上の位置 (位置情報)の周辺にコンテンツ画像が配置される」状態をさす。「車両の進行方向上の位置 (位置情報）の周辺にコンテンツ画像が配置される」という状態は、車両の進行方向上の位置の表示が表示部 15上で維持されつつ、コンテンツ画像も表示部 15上に配置された一般的な状態をいう。従って、「位置情報の周辺にコンテンツ画像が配置される」とは、コンテンツ画像が車両進行方向上の位置に近接して配置されている場合のみには限定されず、コンテンツ画像が当該位置から多少離れて配置された状態をも含む。 [0053] また、このエンタテインメントシステム 600によれば、操作情報に示された車両の曲がる方向の反対側の位置情報で、かつ、風景画像中の車両の進行方向上の位置が覆われないように、コンテンツ画像と風景画像とを画像合成するので、同乗者に車両の曲がる方向を知らせることができる。

[0054] また、このエンタテインメントシステム 600によれば、撮影した風景中の上部の所定部分または下部の所定部分を排除し、排除して残った風景を用いて画像合成部 14 により合成画像が生成されるので、表示部に表示される合成画像のうち風景画像をシフトすることができる。

[0055] また、このエンタテインメントシステム 600によれば、進行方向位置検出部 17により検出された車の進行方向上の位置を、画像合成部 14により生成された合成画像に表示するように、撮像部 12の撮影方向を変更させる制御情報を撮像方向制御部 18 が部駆動部 12に出力するので、表示される合成画像のうちの風景画像に車両の進行方向上の位置が常に表示することができる。

[0056] また、このエンタテインメントシステム 600によれば、進行方向位置検出部 17が白線検出部 16により検出された路面に描かれた白線の交点である消失点を車両の進行方向上の位置として検出するので、車両の進行方向上の位置を簡単に特定することができる。

[0057] 尚、エンタテインメントシステム 600が、 2列目以降の後部座席に設けられた場合は、リアシートエンタテインメントシステムを実現することが可能となる。この場合、表示部 15を構成するモニタは、例えば、後部座席の前に設置されるシート後部等に設けられる。後部座席に着座する乗員は特に進行方向がわ力もないことが多いため、本発明はリアシートエンタテインメントシステムの実現に特に有効である。

[0058] 尚、道路の曲がり情報、交差点の右左折道路の情報を、車両に設けられたナビゲーシヨン装置より取得し、予め設定された目的地までのルートと考慮して、走行する道路の画像を、表示部 15に常に表示するようシステムを制御することもできる。

[0059] 更に本発明は、エンタテインメント提供方法をも含むものであり、当該方法は、 (1) 車両の進行方向の風景を撮影して風景画像を生成し、 (2)画像情報を含むコンテンッ情報を出力し、（3)撮影した風景画像力車両の進行方向上の位置を検出し、（4 )出力したコンテンツ情報力もコンテンツ画像を生成し、さらに、風景画像において、検出された位置の周辺にコンテンツ画像が配置されるように、コンテンツ画像と風景画像とを合成して合成画像を生成し、 (5)合成された合成画像を表示するものである

[0060] また、上述の各ステップをコンピュータに実行させるためのプログラムも本発明に含まれる。このプログラムは種々の形式でシステム内又はシステム外に組み込まれる。例えばシステム内の所定のメモリにプログラムを記録することができる。また、ハードディスクのような情報記録装置や、 CD—ROM DVD—ROM、メモリカードのような情報記録媒体にプログラムを記録してもよ、。

[0061] 上述の実施形態では、車両の進行方向上の位置力路面上の白線により求められた道路の消失点である。し力しながら、消失点の求め方は白線検出による方法のみならず、平行直線の画像上での収束点を求める総ての方法が使用可能である。例えば建築物の壁により構成される直線群により消失点を求めることも可能である。さらに、車両の進行方向上の位置を消失点ではなぐ他の情報力も求めることもできる。

[0062] また、図 9において、消失点の位置 Pが高さ H2よりも下になつたときに、カメラ方向を制御している力 H2よりも上になったときにも消失点の位置 Pを高さ H2のところになるように、カメラ方向を制御するようにしてもよい。

[0063] また、本発明におけるコンテンツ情報は、風景画像と合成可能な画像情報を含むものであればその種類は限定されな!、。

[0064] 以上、本発明の各種実施形態を説明したが、本発明は前記実施形態において示された事項に限定されず、明細書の記載、並びに周知の技術に基づいて、当業者がその変更 ·応用することも本発明の予定するところであり、保護を求める範囲に含まれる。

[0065] 本出願は、 2004年 10月 29日出願の日本特許出願 (特願 2004— 316462)に基づくものであり、その内容はここに参照として取り込まれる。

産業上の利用可能性

[0066] 本発明に係るエンタテインメントシステムは、車両が曲がるとき等、車両がある程度極端な挙動をしたときにおいて、そのことを同乗者に予知可能ならしめ、視聴者が安全な体勢を事前にとったり、乗り物酔いの誘発を抑えたりすることが可能なリアシートエンタテインメントシステム等に提供可能である。

Claims

請求の範囲

[1] 車両の進行方向の風景を撮影して風景画像を生成する撮像部と、

画像情報を含むコンテンツ情報を出力するコンテンツ情報出力部と、

前記撮像部により生成された風景画像から、車両の進行方向上の位置を検出する進行方向位置検出部と、

前記コンテンツ情報出力部により出力された前記コンテンツ情報力コンテンツ画像を生成し、さらに、前記風景画像において、前記検出された位置の周辺に前記コンテンッ画像が配置されるように、前記コンテンツ画像と前記風景画像とを合成して合成画像を生成する第 1の合成画像生成部と、

前記第 1の合成画像生成部により合成された合成画像を表示する表示部とを備える、エンタテインメントシステム。

[2] 前記第 1の合成画像生成部は、前記コンテンツ画像により前記中間画像において、前記検出された位置が覆われないように、前記コンテンツ画像と前記中間画像とを合成して合成画像を生成する、請求項 1に記載のエンタテインメントシステム。

[3] 前記第 1の合成画像生成部はさらに、前記撮像部により生成された風景画像に、前記進行方向位置検出部により検出された位置に所定形状の図形を表す図形情報を合成した中間画像を生成し、前記中間画像中の前記図形情報の周辺に前記コンテンッ画像が配置されるように、前記コンテンツ画像と前記中間画像とを合成して合成画像を生成する、請求項 1に記載のエンタテインメントシステム。

[4] 前記エンタテインメントシステムは、前記撮像部により生成された風景画像の中から路面に描かれている白線を検出する白線検出部を更に備え、

前記進行方向位置検出部は、前記白線検出部により検出された前記白線の交点である消失点を車両の進行方向上の位置として検出する、請求項 1に記載のェンタティンメントシステム。

[5] 前記エンタテインメントシステムは、

前記車両の曲がる方向を示す操作情報を出力する操作情報出力部と、前記操作情報出力部により前記操作情報が与えられると、前記撮像部により生成された前記風景画像に、前記進行方向位置検出部により検出された前記位置を示す位置情報を合成した中間画像と、前記コンテンツ情報出力部により出力されたコンテンッ情報カゝらコンテンツ画像とを生成し、前記操作情報で示された車両の曲がる方向の反対側の位置で、かつ、前記中間画像中の前記位置情報の周辺に前記コンテンッ画像が配置されるように、前記コンテンツ画像と前記中間画像とを合成した合成画像を生成する第 2の画像合成生成部とを更に備え、

前記表示部は、前記第 2の画像合成部により生成された合成画像を更に表示する、請求項 4に記載のエンタテインメントシステム。

[6] 前記エンタテインメントシステムは、

前記進行方向位置検出部により検出された前記位置が、前記表示部に表示される合成画像の下力所定の高さより下にあるか上にあるかを判定する位置判定部と、前記位置判定部により、前記位置が前記所定の高さより下にあると判定されると、前記表示部の表示画像の中に表示される前記位置を、前記所定の高さ以上に移動させる量だけ、前記撮像部により撮影された前記風景画像の上部部分を排除する排除部と、

前記排除部により排除されて残った風景画像に、前記進行方向位置検出部により検出された前記位置を示す位置情報を合成した中間画像と、前記コンテンツ情報出力部により出力されたコンテンツ情報力もコンテンツ画像とを生成し、前記中間画像中の前記位置情報の周辺に前記コンテンツ画像が配置されるように、前記中間画像と前記コンテンツ画像とを合成して合成画像を生成する第 3の合成画像生成部とを更に備え、

前記表示部は、前記第 3の合成画像生成部により生成された合成画像を表示する、請求項 4に記載のエンタテインメントシステム。

[7] エンタテインメントシステムは、

前記撮像部の撮影方向を変更させる駆動部と、

前記進行方向位置検出部により検出された前記位置が、前記表示部に表示される合成画像の下力所定の高さより下にあるか上にあるかを判定する位置判定部と、前記位置判定部により、前記位置が前記所定の高さより下にあると判定されると、前記表示部の表示画像の中に表示される前記位置を、前記所定の高さ以上に移動させる制御情報を前記駆動部に出力する制御情報出力部とを更に備え、前記駆動部は、前記制御情報出力部により出力された前記制御情報に基づき前記撮像部の撮影方向を変更させる、請求項 4に記載のエンタテインメントシステム。車両の進行方向の風景を撮影して風景画像を生成し、

画像情報を含むコンテンツ情報を出力し、

撮影した前記風景画像から車両の進行方向上の位置を検出し、

出力された前記コンテンツ情報力コンテンツ画像を生成し、さらに、前記風景画像において、前記検出された位置の周辺に前記コンテンツ画像が配置されるように、前記コンテンツ画像と前記風景画像とを合成して合成画像を生成し、

合成された合成画像を表示する、エンタテインメント提供方法。