JP5360004B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、移動体の搭乗者が視聴する画像を処理する画像処理装置及び画像処理方法に関するものである。

近年、車両などの移動体内に搭載した画像処理装置で、助手席や後部座席の人が、ＤＶＤ等の映像を視聴している。しかし、振動や揺れがある移動体内で、ＤＶＤ等を視聴すると、視線が固定され、動揺病（乗り物酔い）が発生するとされている。
このような動揺病に対して、視覚情報と乗り物の動きによる前庭情報及び体性感覚情報を一致させることで、視聴者の乗り物酔いの負担を軽減することができる映像表示装置がある。（例えば、特許文献１）
この映像表示装置では、移動体の加速度に基づいて背景映像を生成し、その背景映像とＤＶＤ等の映像を合成する。そして、この合成した映像が、助手席や後部座席の視聴者に対して、視覚的に自分の体が動いている感覚（視覚誘導自己運動感覚）を与えることにより、視覚情報と乗り物の動きによる前庭情報及び体性感覚情報を一致させて、乗り物酔いの発生を減少させることができる。

特開２００８−２４２２５１号公報

従来の技術は、加速度に応じた背景映像を生成し、ＤＶＤ等のコンテンツの背景として合成して表示するものである。しかし、移動体の前方に搭載したカメラ等で撮像した画像を表示すると、移動体の窓から見える実景よりも、最低１回の描画に要する時間分、画像処理による遅延が乗じる。
そのため、前方カメラによる画像と、窓から見える実景が不連続に見えてしまい、前庭情報と体性感覚情報が一致せずに酔いの原因になるという課題があった。

この発明は、前記のような課題を解決するためになされたものであり、移動体内で移動体の外の画像を表示する場合に、画像を表示することによる遅延で、表示された移動体の外の画像と移動体の外の実景が不連続であるために起こる酔いが生じないように、表示された移動体の外の画像によって移動体の動きが自然に認識でき、変位に体を合わせることが容易な画像処理装置を得ることを目的としている。

この発明に係る画像処理装置は、移動体の外を撮影した画像を入力する画像入力部と、前記移動体の物理的状態を検出するセンサーで検出された物理状態に基づいて、前記画像を撮影した時点から所定時間後の前記移動体の変位を予測する変位予測部と、前記移動体でコンテンツの画像を視聴する視聴者の視点を撮影した画像から、視聴者の視点位置を検出する視点検出部と、該視点検出部で検出された視点位置と前記変位予測部で予測された変位とに基づいて、前記画像入力部から入力された画像の表示を前記移動体の外の実景と同期させる同期情報を算出する同期情報算出部と、該同期情報算出部で算出された同期情報に基づいて移動体の外を撮影するカメラの画角が制御され撮影された、前記画像入力部から入力される画像を、前記同期情報に基づいて切り出す画像切り出し部と、該画像切り出し部で切り出された画像を前記同期情報算出部で算出される同期情報に基づいて画像処理し、前記コンテンツの画像と共に表示画像を生成する画像処理部とを備えたものである。

この発明は、コンテンツの画像を視聴する視聴者の視点位置と予測した移動体の変位に基づいて、移動体の外を撮影した画像の表示と移動体の外の実景と同期させる同期情報を算出し、この同期情報に基づいて移動体の外を撮影するカメラの画角が制御され撮影された画像を切り出し、切り出した画像を同期情報に基づいて処理してコンテンツの画像と共に表示するので、移動体の外を撮影した画像が実景と連続して見えことで、視覚誘導自己運動感覚を与えて移動体による酔いを軽減することができる。

この発明の実施の形態１を示す画像処理装置１のシステム構成図である。 この発明の実施の形態１を示す画像処理装置１の動作を示すフロー図である。である。 この発明の実施の形態１における同期情報の算出方法を示す図である。 この発明の実施の形態１において、車両内のディスプレイ６に画像が表示されている例を示す図である。 この発明の実施の形態１において、車両が高速走行中に前方カメラ９で撮影した画像の例を示す図である。 この発明の実施の形態１において、車両が低速走行中に前方カメラ９で撮影した画像の例を示す図である。 この発明の実施の形態１におけるコンテンツ画像の表示例を示す図である。 この発明の実施の形態１において、車両が左カーブ走行中の表示例を示す図である。 この発明の実施の形態１におけるコンテンツ画像と前方カメラ９で撮影された車外の画像の画像処理を示す図である。 この発明の実施の形態１における直線走行中の移動体の内部を示す概略図である。 この発明の実施の形態１における左カーブ走行中の移動体の内部を示す概略図である。

実施の形態１．
図１は、この発明の実施の形態１における画像処理装置１を示すシステム構成図である。
図１において画像処理装置１は、センサー（以下、傾き振動センサー）２で車両の傾き、振動、速度、加速度、回転等の物理的状態が検出され、検出された情報は、センサー情報入力部３によって変位予測部４に入力される。
また、外部システム通信部５によって、全地球測位システム（ＧＰＳ：Global Positioning System）やカーナビから車両の位置情報や走行予定の道路に関する情報、地図情報等の位置関連情報が変位予測部４に入力される。

そして、センサー情報入力部３から入力された傾き、振動、速度、加速度及び回転等の物理的状態の情報から、変位予測部４が所定時間後の車両の変位を予測する。
一方、車両内（車内）にディスプレイ６が設置され、このディスプレイ６に表示されるＤＶＤ等のコンテンツを車両の後部座席の搭乗者が視聴する。そして、コンテンツを視聴する視聴者の視点を車内カメラ７によって撮影し、撮影された画像から、視点検出部８が視聴者の視点位置を検出する。

また、車両の前方に設置された前方カメラ９で車両の外（車外）を撮影し、撮影された画像が、画像入力部（以下、カメラ画像入力部）１０によって画像水平検出部（以下、カメラ画像水平検出部）１１を経由して画像切り出し部（以下、カメラ画像切り出し部）１２に入力される。
カメラ画像水平検出部１１では、車外の画像が水平面からどれくらい傾いているか（水平面に対する傾き）が検出される。

そして、変位予測部４で予測された変位と視点検出部８で検出された視点位置に基づいて、同期情報算出部１３が同期情報を算出する。
同期情報算出部１３で算出される同期情報は、視聴者が見る車外の実景とディスプレイ６に表示される前方カメラ９で撮影した車外の画像を同期させるため（連続して見えるようにするため）の情報である。
同期情報算出部１３で算出される同期情報の算出の詳細については後述する。

次に、カメラ画像切り出し部１２は、同期情報算出部１３の同期情報に基づいて、前方カメラ９の画像を１／３０秒先の画像に切り出して補正し、画像処理部１５に送る。
又、カメラ画角制御部１４は、同期情報算出部１３の同期情報に基づいて、前方カメラ９の画角を制御する。
カメラ画像切り出し部１２とカメラ画角制御部１４の詳細については後述する。

そして、画像処理部１５で、同期情報に基づいて切り出し補正された車外の画像を射影変換する。更に、コンテンツ入力部１６から入力されるコンテンツの画像（コンテンツ画像）を同期情報に基づいて回転移動する画像処理を行う。
この時、カメラ画像水平検出部１１で検出された水平面に対する傾きに基づいて、車外の画像とコンテンツ画像が常に水平面と平行になるように回転移動することもできる。
この様に、回転移動したコンテンツ画像の周辺部に、射影変換した車外の画像を３次元（３Ｄ）で奥行きのある画像に合成し、ディスプレイ６に表示する。

また、画像処理部１５は、画像処理した車外の画像の代わりに、記録部１７に記録されている過去の車外の画像（同期情報に基づいて画像処理済みの車外の画像）を取得して、コンテンツ画像と共に表示することもできる。記録部１７には、変位予測部４で予測された変位と外部システム通信部５から取得する現在位置と共に、同期情報に基づき画像処理済みの車外の画像が記録されていて、外部システム通信部５から得られる現在位置に基づいて、記録された画像処理済みの車外の画像が取得される。
また、付加情報生成部１８が、外部システム通信部５から現在位置と地図情報を取得し、車外の画像の付加情報（例えば、ビルや山、川の名前等）を文字情報として生成する。
画像処理部１５は、その文字情報を車外の画像に合わせてディスプレイ６に表示することもできる。

次に画像処理装置１の動作について図２のフロー図に基づいて説明する。
車両の走行中には、振動や傾き、速度、加速度、回転等の物理的状態の変位が生じている。
まず、傾き振動センサー２によって、これらの車両の物理的状態を検出する（ステップ（以下Ｓ）１）。
そして、センサー情報入力部３が、傾き振動センサー２で検出された車両の物理的状態の情報を変位予測部４に入力する。（Ｓ２）

次に、変位予測部４は、傾き振動センサー２によってリアルタイムに測定される車両の物理的状態に基づいて、例えば１／３０秒先の変位を予測する（Ｓ３）。
１／３０秒は、ディスプレイ６のフレームレートが３０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）である場合の予測時間である。１秒間に３０回描画が行われる場合、即ち１回の描画に要する１／３０秒は、車両の外の実景とディスプレイ６に表示される車外を撮影した画像を同期させる（連続して見えるようにする）ための時間である。
そこで、変位の予測として、例えば１／３０秒で移動する距離と方向を算出する。

一方、視点検出部８では、車内カメラ７等により、車両に乗車してＤＶＤ等のコンテンツ映像を視聴する視聴者の視点を撮影し、視点位置を検出する。複数の視聴者がいる場合には、複数の視聴者の中央を視点位置とする。
そして、同期情報算出部１３が、変位予測部４で予測した変位と視点検出部８で検出された視点位置に基づいて、同期情報を算出する（Ｓ４）。

ここで、同期情報算出部１３の同期情報の算出方法について、図３を用いて詳細に説明する。
同期情報の算出は、傾き振動センサー２で検出される車両の傾きや振動、速度、加速度、回転等の物理的状態の変位とコンテンツの視聴者の視点位置の変化に基づいて算出されるが、ここでは、速度ｖが検出された時に予測される１／３０秒後の変位の距離ｈと、カメラ画角制御部１４が制御する前方カメラ９の１／２の画角θが同期情報として算出される例について述べる。

以下の式（２）が成り立つ。
図３において、
ディスプレイ６の１／２幅をｗ、
視点とディスプレイ６の距離をｄ、
視点と前方カメラ９の距離をｌ、
撮影画像の同期対象距離（車両の外の実景と撮影した画像の同期を取る範囲の距離）をＤ、
撮像範囲の横幅の１／２をＷ、とする。

この時、以下の式（１）が成り立つ。
Ｗ＝Ｄ×ｗ／ｄ （１）
ｈ＝ｖ×（１／３０） （２）
上記式（２）において、
時速２０ｋｍの時は、ｈ＝１９ｃｍ、
時速６０ｋｍの時は、ｈ＝５６ｃｍ、
時速１００ｋｍの時は、ｈ＝９３ｃｍ、となる。

又、同期情報に基づいてカメラ画角制御部１４が制御する前方カメラ９の画角の１／２をθとすると、以下の式（３）が成り立つ。
θ＝Ａｒｃｔａｎ（Ｗ／（Ｄ−ｌ＋ｈ） （３）
ここで、Ｗに上記式（１）を当てはめると以下の式（４）が成り立つ。
θ＝Ａｒｃｔａｎ（（Ｄ×ｗ／ｄ）／（Ｄ−ｌ＋ｈ）） （４）
このθの値に基づいて、画角を調整することにより、１／３０秒後の撮像範囲を前方カメラ９で撮影することができる。
また、撮影画像の同期対象距離Ｄについては、市街地で５ｍ〜２０ｍ、郊外で２０ｍ〜５０ｍと考えられる。市街地は視野が狭く、車両の速度が遅いためである。

図２のフロー図に戻り、以上のように同期情報算出部１３で算出された同期情報に基づいて、カメラ画角制御部１４が前方カメラ９の画角を制御する（Ｓ５）。
カメラ画角制御部１４は、同期情報算出部１３の同期情報に基づいて、車両の変位が大きい(速度が速い)場合や視聴者の視点が前方に移動した場合には望遠側に、車両の変位が小さい（速度が遅い）場合や視聴者の視点が後方に移動した場合には広角側に前方カメラ９の画角を制御する。
この様に、車両の変位や視聴者の視点位置の移動に基づいて、カメラ画角制御部１４が前方カメラ９の画角を制御する角度の１／２が、前述した値θである。

一方、カメラ画像入力部１０が、カメラ画角制御部１４で画角を制御された前方カメラ９によって撮影した車外の画像データを画像処理装置１に入力し、カメラ画像水平検出部１１に送信する（Ｓ６）。
そして、カメラ画像水平検出部１１では、カメラ画像入力部１０によって入力された車外の画像データから道路の水平部、ビルや壁の垂直部のエッジを検出する。そして、前方カメラ９で撮影された車外の画像が、水平面からどれくらい傾いているかを検出する（Ｓ７）。

カメラ画像水平検出部１１で傾きが検出された車外の画像は、カメラ画像切り出し部１２に送られる（Ｓ８）。
カメラ画像水平検出部１１で検出される水平面からの傾きは、同期情報の傾き情報の代わりに利用される情報であり、同期情報だけでも処理を行うことはできる。そのため、カメラ画像入力部１０によって入力された車外の画像データは、カメラ画像切り出し部１２に直接送ってもよい。

次に、カメラ画像切り出し部１２では、同期情報算出部１３の同期情報である車両の変位と視聴者の視点位置の変化に基づいて、前方カメラ９の車外の画像を切り出し、補正を行う（Ｓ９）。
例えば、車両が上方向に変位し、視聴者の視点が右の方に移動した場合には、同期情報の右上方向への変位に基づき、前方カメラの車外の画像から左下の方を切り出す補正を行う。また、車両が前方にある速度で進んでいる時、１／３０秒後に移動する距離の分だけ先の画像となる様に、撮影した時の車外の画像から中心に向かって周囲の画像を除いて画像を切り出す。

同期情報は、変位予測部４で予測された変位だけに基づいてもよく、また、視点検出部８で検出された視点位置だけに基づいてもよい。
また、カメラ画像水平検出部１１で検出された水平面からの傾きと視点検出部８の視点位置に基づいて、車外の画像を切り出すこともできる。
ここで、カメラ画像切り出し部１２が、画角を制御された前方カメラ９で撮影した車外の画像をどのように切り出すかについて、図４〜６を用いて説明する。

図４は、車両の後部座席の視聴者のために、ＤＶＤ等のコンテンツ画像を映すディスプレイ６が設置されている例である。２０は、ディスプレイ６の中央に表示されたコンテンツ画像である。２１は、前方カメラ９で撮影された車外の画像である。
コンテンツ画像２０を見る視聴者は、コンテンツ画像２０を見ながら、前方カメラ９で撮影された車外の画像２１を実景と連続してみることにより、車両の変位を感じながらコンテンツを楽しむことができる。

図５は、車両が高速走行中に、カメラ画角制御部１４で前方カメラ９の画角を望遠側の画角に制御し、撮影された画像である。望遠側に制御された前方カメラ９で車外を撮影すると、遠くの景色まで撮影することができる。
カメラ画像切り出し部１２は、このように遠くの景色まで撮影された車外の画像２１をコンテンツ画像２０の領域だけ除いて切り出し、画像処理部１５に送信する。

図６は、車両が低速走行中に、カメラ画像制御部１４で前方カメラ９の画角を広角側の画角に制御し、撮影された画像である。広角側に制御された前方カメラ９で車外を撮影すると、近くの景色をより詳細に捉えることができる。
カメラ画像切り出し部１２は、このように近くの景色がより詳細に撮影された車外の画像２１をコンテンツ画像２０の領域だけ除いて切り出し、画像処理部１５に送信する。
ここで述べた望遠側又は広角側に制御する画角の１／２が、前述した同期情報算出手段１３で算出される角度θである。

カメラ画角制御部１０による画角の制御を行わない場合には、カメラ画像切り出し部１２が切り出し範囲を変更することによって、同期情報に基づく補正を行う。１／３０秒後の画像として、画角θを考慮した撮像範囲からコンテンツ画像２０の領域を除いて切り出す。詳細は、後述する。

そして、画像処理部１５は、コンテンツ入力部１６から入力されたＤＶＤ等のコンテンツ画像を同期情報に基づいてコンテンツ画像が水平になるように保ち、変位や視点位置の移動に基づき回転移動する画像処理を行う。
例えば、車両が左カーブで変位が右に移動し、時計回りのロールが生じる場合には、コンテンツ画像を左に移動し、コンテンツ画像が水平面に対して平行に保つように反時計回りに回転させる画像処理を行う。

カメラ画像水平検出部１１によって検出された水平面からの傾きと視点検出部８によって検出された視点位置に基づいて、コンテンツ画像を回転移動することもできる。
そして、回転移動されたコンテンツ画像を画面中央部に配置する。
次に、回転移動したコンテンツ画像の周辺に、実景と同期するように切り出して補正した車外の画像を射影変換し、３Ｄ効果で奥行きを表現するように画像処理して配置し、ディスプレイ６に表示する（Ｓ１０）。

ここで、画像処理部１５で行われる画像処理について、図７と図８を用いて詳細に説明する。
まず、コンテンツ画像の画像処理について説明する。
図７は、ディスプレイ６に表示されるコンテンツ画像の表示例を示す図である。
図７において、ディスプレイ６は、図１のディスプレイ６と同じものであり、２０は、ディスプレイ６の中央に表示されているコンテンツ映像（コンテンツ画像）である。

画像処理部１５では、同期情報に基づいて、コンテンツ画像２０を上下左右に移動し、コンテンツ画像２０が常に水平面に対して平行を保つように回転させる画像処理をする。
この時、カメラ画像水平検出部１１によって検出された水平面からの傾きと視点検出部８によって検出された視点位置に基づいて、コンテンツ画像２０を回転移動することもできる。
また、コンテンツ画像２０を上下左右に移動、又は回転させた画像を表示しても表示内容の欠損が起きないように、コンテンツ画像２０をディプレイ７の表示範囲よりも縮小する処理を行っている。

次に、コンテンツ画像と車外の画像を画像処理して表示する表示例について説明する。
図８は、車両が左カーブ走行中の表示例を示す図である。
図８において、１９はコンテンツ画像を視聴している視聴者の頭部、２０はディスプレイ６の中央に表示されたコンテンツ画像であり、２１は前方カメラ９で撮影された車外の画像である。
左カーブでは、車両が進行方向に向かって時計方向にロールし、ディスプレイ６も時計方向に傾いている。

前方カメラ９で撮影される車外の画像２１は、同期情報に基づいて画角が調整される前方カメラ９で撮影された画像であり、カメラ画像切り出し部１２で切り出される画像である。前方カメラ９の画角が調整されない時は、同期情報に基づく角度の撮像範囲で切り出して補正される。
また、車外の画像２１は、水平面に対して平行を保つように、ディスプレイ６の中では、時計方向と逆に回転した画像処理をして表示される。

一方、コンテンツ画像２０は、画像処理をしなければ、ディスプレイ６と共に傾いて表示される。しかし、画像処理部１５は、コンテンツ画像２０を水平面に対して平行に保つように回転させて表示する。この場合では、時計方向と逆に回転するように画像処理を行い、前方カメラ９で撮影した車外の画像２１と同様に、水平面に対し平行を保つ。
そして、補正された車外の画像２１が、回転などで水平面と平行に保たれたコンテンツ画像２０の周辺部に配置され、ディスプレイ６に表示される。

ディスプレイ６の視聴者は、画面中央に表示されるコンテンツ画像２０が、常に水平面に対して平行となるように回転しているのを見ることで、視覚誘導自己運動感覚が得られる。さらに、コンテンツ画像２０の周囲に補正された車外の画像２１によって、変位に連動して、窓から見える実景と連続して見えるので、視覚誘導自己運動感覚がより得られやすくなる。

この時に得られる視覚誘導自己運動感覚は、運転手が前方の景色を見て自然に行っている遠心力への抵抗と同じ動作が自然に行われることによるものである。
このように、視覚と平衡感覚への刺激のずれを少なくすることで、視覚誘導自己運動感覚の効果が大きくなり、車酔いをより軽減させることができる。

次に、画像処理部１５でどのように画像を処理して表示するかについて、図９を用いて詳細に説明する。
図９は、コンテンツ画像２０と前方カメラ９で撮影された車外の画像２１をディスプレイ６に表示する画像処理を示した図である。
まず、同期情報算出部１３の同期情報から得られる予測された車両の変位から、コンテンツ画像２０の表示位置と回転角度を決定する。車両の変位の方向（例えば、図８の様な場合、カーブの出口方向である左側）にコンテンツ画像２０の表示位置をシフトし、決定した回転角度にコンテンツ画像２０を回転する。

次に、前方カメラ９で撮影した車外の画像２１を射影変換し、３Ｄで奥行きを持たせてコンテンツ画像２０の周囲に重畳表示する。
ここでいう射影変換とは、３次元の絵を平面の写真に写す時や、光源を固定して物体の影を対応させる時などに使われる変換のことである。
射影変換して４枚に分割した車外の画像に、それぞれ、奥側（コンテンツ画面２０の辺）に向かって暗くするグラデーションを焼きこむ。

そして、これらをコンテンツ画像２０の周囲画像として配置することによって、３Ｄで奥行きを持たせてディスプレイ６に表示することができる。
このようにして、視聴者が視聴しているコンテンツ画像２０が変位に合わせて回転移動し、水平面に対して常に平行を保って表示され、その周囲の車外の画像２１が車外の実景と遅延なく、３Ｄで奥行きを持って表示されることにより、視聴者は、画像に合わせて頭部を自然に傾けやすくなり、視覚と平衡感覚への刺激のずれを少なくすることができる。

次に、画像処理装置１の付加機能で利用される記録部１７と付加情報生成部１８について説明する。
まず、カメラ画像切り出し部１２で同期情報に基づいて切り出して補正され、画像処理部１５で画像処理された車外の画像が、外部システム通信部５から得られる現在位置と変位予測部４で予測される変位と共に、記録部１７に記録されている。
そして、画像処理部１５は、外部システム通信部５から得た車両の現在位置に基づいて、記録部１７から画像処理済みの車外の画像を取り出し、コンテンツ画像の周辺画像としてディスプレイ６に表示する。
記録部１７で記録された画像処理済みの画像は、雨天の時など、前方カメラ９で撮影される画像では、車両の動きが体感されにくい時に利用される。

また、付加情報生成部１８は、外部システム通信部５から得た車両の位置情報やカーナビの地図情報から、画像処理部１５で画像処理された車外の画像に何が写っているかという情報を文字情報として生成する。例えば、ビルや山、川の名前などの付加情報を生成し、画像処理部１５に送る。
そして、画像処理部１５は、付加情報生成部１８で生成された文字情報をビルや山、川の位置に重ねてディスプレイ６に表示する。

最後に、画像処理部１５で処理された画像例の図１０と図１１を用いて、本発明によって車酔いを軽減する効果について説明する。
図１０は、直線走行中の移動体の内部を表す概念図である。
図１０において、ディスプレイ６は図１のディスプレイ６と同じものである。１９は、視聴者の頭部である。ディスプレイ６は、直線走行中の移動体の変位に影響を受けて水平になっている。視聴者の頭部１９は、垂直であり、傾いてない。

これに対し、図１１は左カーブ走行中の移動体の内部を表す概念図である。
図１１において、ディスプレイ６は、カーブ走行中の車両の変位に影響を受けて、ロール（車両が前後を軸として回転すること）が生じている。この様な状況のディスプレイ６に、図８と同じ構成の画像、即ちコンテンツの周辺部に、同期情報に基づいて補正したことにより車外の実景と連続して見える車外の画像を配置して表示する。
視聴者は、車両に対して垂直に座っているため、遠心力によって頭部をカーブ外側に振られていると車酔いが生じる。

しかし、図１１の様な状況で、ディスプレイ６に図８の様な画像が表示され、視聴者が視聴すると、運転手が前方の景色を見て自然に行っている遠心力への抵抗と同じ動作が自然に行われる。
運転手の無意識の行動と同じように、遠心力に対向して頭部を積極的にカーブの内側に傾けることで、視覚誘導自己運動感覚（映像などによる視覚への作用で自己が運動していると錯覚する感覚）が得られ、車酔いになりにくい効果がある。
運転手以外の視聴者は、前方の景色が見えにくい問題がある。そのため、本発明では、車外の実景と連続して見えるように補正した車外の画像２１をコンテンツ画像２０と共に表示して、視聴者が視聴するので、車酔いを軽減することができる。

実施の形態１では、車両を例にして説明したが、列車や船、飛行機、エレベー等、振動、速度、加速度、傾き、回転といった物理的状態の変位が生じる他の移動体であってもよい。

１ 画像処理装置、２ 傾き振動センサー、３ センサー情報入力部、４ 変位予測部、５ 外部システム通信部、６ ディスプレイ、７ 車内カメラ、８ 視点検出部、９ 前方カメラ、１０ カメラ画像入力部、１１ カメラ画像水平検出部、１２ カメラ画像切り出し部、１３ 同期情報算出部、１４ カメラ画角制御部、１５ 画像処理部、１６ コンテンツ入力部、１７ 記録部、１８ 付加情報生成部。

Claims (6)

1. 移動体の外を撮影した画像を入力する画像入力部と、
   前記移動体の物理的状態を検出するセンサーで検出された物理状態に基づいて、前記画像を撮影した時点から所定時間後の前記移動体の変位を予測する変位予測部と、
   前記移動体でコンテンツの画像を視聴する視聴者の視点を撮影した画像から、視聴者の視点位置を検出する視点検出部と、
   該視点検出部で検出された視点位置と前記変位予測部で予測された変位とに基づいて、前記画像入力部から入力された画像の表示を前記移動体の外の実景と同期させる同期情報を算出する同期情報算出部と、
   該同期情報算出部で算出された同期情報に基づいて移動体の外を撮影するカメラの画角が制御され撮影された、前記画像入力部から入力される画像を、前記同期情報に基づいて切り出す画像切り出し部と、
   該画像切り出し部で切り出された画像を前記同期情報算出部で算出される同期情報に基づいて画像処理し、前記コンテンツの画像と共に表示画像を生成する画像処理部と
   を備えたことを特徴とする画像処理装置。
2. 前記画像処理部は、前記画像切り出し部で切り出された画像を前記同期情報算出部の同期情報に基づいて射影変換することを特徴とする請求項１記載の画像処理装置。
3. 前記画像処理部は、前記同期情報に基づいて回転移動されるコンテンツの画像で表示画像を生成することを特徴とする請求項１または請求項２記載の画像処理装置。
4. 前記画像処理部は、前記画像切り出し部で切り出された画像をコンテンツの画像の周囲画像とすることを特徴とする請求項１〜３のいずれかに記載の画像処理装置。
5. 移動体の位置関連情報を入手する外部システム通信部と、
   前記外部システム通信部で入手する位置関連情報と、前記変位予測部で予測される変位
   と、前記画像処理部から出力される画像とを記録する記録部を更に備え、
   前記画像処理部は、前記外部システム通信部から入手した移動体の位置関連情報と一致
   する前記記録部に記録された画像をコンテンツの画像と共に表示画像を生成することを特
   徴とする請求項１〜４のいずれかに記載の画像処理装置。
6. 移動体の外を撮影した画像を画像処理して表示画像を生成する画像処理装置の画像処理方法において、
   移動体の外を撮影した画像を入力する画像入力ステップと、
   前記移動体の物理的状態を検出するセンサーで検出された物理状態に基づいて、前記画像を撮影した時点から所定時間後の前記移動体の変位を予測する変位予測ステップと、
   前記移動体でコンテンツの画像を視聴する視聴者の視点を撮影した画像から、視聴者の視点位置を検出する視点検出ステップと、
   該視点検出ステップで検出された視点位置と前記変位予測ステップで予測された変位とに基づいて、前記画像入力ステップで入力された画像の表示を前記移動体の外の実景と同期させる同期情報を算出する同期情報算出ステップと、
   該同期情報算出ステップで算出された同期情報に基づいて移動体の外を撮影するカメラの画角が制御され撮影された、前記画像入力ステップで入力される画像を、前記同期情報に基づいて切り出す画像切り出しステップと、
   該画像切り出しステップで切り出された画像を前記同期情報算出部で算出される同期情報に基づいて画像処理し、前記コンテンツの画像と共に表示画像を生成する画像処理ステップと
   を備えたことを特徴とする画像処理方法。

Images