JP5757757B2 - 映像処理装置、映像表示装置、及び映像表示システム - Google Patents

Description

本発明は、広画角に撮影した映像を処理する映像処理装置、映像を再生し、処理して、投影する映像表示装置、及び映像表示装置の投影するスクリーンを含む映像表示システムに関する。

従来、特許文献１のように、予め設定された人間の視覚心理特性に基づく画像処理情報を有し、光学的に取得したデジタル画像情報を該画像処理情報に基づく画像情報に変形し、人間がその被写体を見た時の印象に近づけた画像を生成する画像処理方法が開示されている。

特開２００３−１０１６９０号公報

図１４は、撮像装置Ｖによる撮影風景を示す図である。一般に、図１４に示すような風景及び人物を撮像装置Ｖで動画撮影する場合、撮影者は、広画角の映像からその場の状況を認識して、その後注視させたい花にズームして拡大することが多い。または、撮影者は、注視させたい花のアップからズームアウトして、周囲の状況及び雰囲気を伝える。

しかしながら、観察者が、ズームした花の映像をディスプレイで鑑賞すると、撮影時の画角と観察時の画角が変化しているので、撮影者が花に近づいているように認知してしまう。したがって、撮影者が実際に撮影した場所で見た状況と異なるため、観察者は臨場感が得られない場合があった。

本発明は、広画角に撮影した映像を撮影者の撮影した状況と似た状況に処理する映像処理装置を提供する。また、映像を再生し、処理して、投影する映像表示装置、及び映像表示装置の投影するスクリーンを含む映像表示システムを提供する。

本発明の映像処理装置は、
映像を入力する映像入力部と、
前記観察画角を入力する観察画角入力部と、
前記映像入力部から受け取った映像を、前記観察画角入力部から受け取った観察画角に基づいて変倍する映像調整部と、
前記映像調整部から受け取った映像を出力する映像出力部と、
を備え、
前記映像入力部は、撮影時に拡大ズームした際のズーム前とズーム後の映像を受け取り、
前記映像調整部は、前記ズーム後の映像を変倍して、前記ズーム前の画像中においてズーム後の画像が表示されていた位置に移動させる
ことを特徴とする。

また、前記映像入力部は、撮影時にズームした際のズーム前とズーム後の映像を受け取り、前記映像調整部は、前記ズーム後の映像を変倍して、前記ズーム前の位置に移動させることを特徴とする。

また、前記映像調整部は、変倍した映像をスクリーンの中心付近に移動させることを特徴とする。

さらに、本発明の映像表示装置は、映像を再生して前記映像処理装置に出力する映像再生装置と、前記映像処理装置と、前記映像処理装置から受け取った映像を表示する表示素子及び前記表示素子の表示した映像を前記スクリーンに投影する投影光学系を有する投影装置と、を備えることを特徴とする。

また、前記映像再生装置は、前記映像入力部に映像を送り、前記観察画角入力部に観察画角を送ることを特徴とする。

また、前記映像調整部は、前記表示素子に表示する映像の領域を縮小することを特徴とする。

また、前記映像調整部は、前記投影光学系の焦点距離を調整することを特徴とする。

さらに、本発明の映像表示システムは、前記映像表示装置と、前記スクリーンと、を備えることを特徴とする。

また、前記映像再生装置に映像を送る撮像装置を備え、前記撮像装置は、撮影した映像の画角を観察画角として前記映像再生装置に送ることを特徴とする。

本発明によれば、撮影した映像を撮影者の撮影した状況と似た状況に処理する映像処理装置を提供することが可能となる。また、映像を再生し、処理して、投影する映像表示装置、及び映像表示装置の投影するスクリーンを含む映像表示システムを提供することが可能となる。

実施形態の映像表示システムを示す図である。 実施形態の映像表示装置のシステム図である。 実施形態の映像表示装置の第２の例のシステム図である。 本実施形態の投影光学系の一実施例を示す図である。 図４の平面図である。 図１４の風景を撮影した映像を示す図である。 ズームする花を示す図である。 図７の花にズームした映像を示す図である。 図７の調整後の映像を示す図である。 ズームする人を示す図である。 図１０の調整後の映像を示す図である。 撮影画角と投影画角の関係を示すグラフである。 実施形態のフローチャートを示す図である。 撮像装置による撮影風景を示す図である。

以下、実施例に基づいて本発明の映像表示システム１について説明する。

図１は、実施形態の映像表示システム１を示す図である。

映像表示システム１は、図１に示すように、映像表示装置２と、映像表示装置２の前方に配置されて映像表示装置２の映像を反射する反射鏡６と、反射鏡６で反射された映像を映す球面のスクリーン７と、を備える。また、映像表示装置２は、映像を再生する映像再生装置３と、映像再生装置３再生された映像を処理する映像処理装置４と、映像処理装置４で処理された映像を受け取ってスクリーン７に投影する投影装置としてのプロジェクタ６と、を含む。なお、映像表示システム１として図１４に示した撮像装置Ｖを含めてもよい。

通常、プロジェクタ４から反射鏡５で反射されてスクリーン７へ向かう光束の中心主光線ＲＣは、スクリーン７の投影中心Ｏｓに投影される。なお、中心主光線ＲＣとスクリーン７との交点は、変更することも可能である。反射鏡５は、プロジェクタ４に凸面を向けた球面で形成され、スクリーン７は、反射鏡５に凹面を向けた球面で形成されている。観察者は、球面のスクリーン７の凹面側から観察する。

図２は映像表示装置２のシステム図、図３は映像表示装置２の第２の例のシステム図である。映像表示装置２は、映像再生装置３と、映像処理装置４と、プロジェクタ５と、を含む。

映像再生装置３は、ディスクもしくはテープ等の記憶媒体に記憶される映像、テレビもしくはインターネット等の通信手段から取得される映像、又は撮像装置で撮影された映像等を再生する。映像は、動画及び静止画のどちらも再生可能である。

映像処理装置４は、映像再生装置３が再生した映像を入力する映像入力部４１と、観察者が観察する観察画角を入力する観察画角入力部４２と、映像入力部４１から受け取った映像を、観察画角入力部４２から受け取った観察画角に変倍する映像調整部４３と、映像調整部４４から受け取った映像を出力する映像出力部４４と、を備える。

映像入力部４１は、映像再生装置３が再生した映像を入力する。

観察画角入力部４２は、観察者が観察する観察画角を入力する。観察画角の入力は、撮影時の撮影画角をキーボード等から入力すればよい。入力された画角はハードディスク等の記憶部に記憶しておくと、再度入力する必要がなくなり、好ましい。

なお、撮影時に、図１４に示した撮像装置Ｖが映像と共に撮影画角を同期させて記憶しておき、図３に示すように、映像再生装置３から映像入力部４１に映像を入力すると共に撮影時の画角を観察画角入力部４２に入力してもよい。この場合、観察画角入力部４２からキーボード等で画角を入力する必要はないが、観察画角入力部４２によって映像再生装置３から入力された画角を上書きすることは可能である。

撮影時の画角は、例えば、撮像装置のズームレンズのズーム機構の回転角を計測して信号を取り出して画角に変換して求めると好ましい。

映像調整部４３は、映像を電子的に瞬時に調整させるものであって、映像入力部４１から受け取った映像を、観察画角入力部４２から受け取った観察画角に変倍する。また、動画撮影時にズームで撮影した際のズーム前とズーム後の映像情報を映像入力部４１が受け取った場合、映像調整部４３は、変倍した映像をズーム前の位置と同じ位置に移動させてもよい。さらに、映像調整部４３は、変倍した映像をスクリーンの中心付近に移動させてもよい。

また、映像調整部４３は、撮影時の画角を、撮影された映像から計算処理によって求めてもよい。例えば、撮影された映像から特徴点を抽出して、３次元再構成を行い、撮影画角を推定する方法がある。映像調整部４３は、この推定された撮影時の画角を用いて映像を調整してもよい。

さらに、映像の画面全体に対して、ピントのあっている領域が多い場合、すなわち、映像の画面全体の空間周波数の高い領域が多い場合、広画角で撮影されたと推定することも可能である。広画角の焦点距離の短い撮像光学系は被写界深度が深く、画角の狭い望遠光学系では被写界深度が浅くなり、ピントのあっている領域以外のボケが大きくなるからである。

また、一般に映画及びＴＶ映像、例えばハイビジョン映像の場合は、観察画角が水平３５°を推奨観察画角として作成されている。そこで、映画及びＴＶ映像の場合は、観察画角３５°で表示して、広画角の撮影映像になった場合を検出して、観察画角１８０°の映像を表示するとよい。

映像出力部４４は、映像調整部４３から受け取った映像をプロジェクタ５に出力する。

プロジェクタ５は、映像出力部４４から受け取った映像を表示する図示しない表示素子及び表示素子の表示した映像をスクリーン７に投影する図示しない投影光学系を有する。

映像調整部４３は、プロジェクタ５の表示素子に表示する映像の領域を縮小することで映像を変倍させるとよい。

また、プロジェクタ５の投影光学系をズームレンズで構成した場合、映像調整部４３は、このズームレンズの焦点距離を調整することによって映像を変倍してもよい。ズームレンズによって映像を変倍した場合、画素密度があがるので、表示画素数を有効に使用することが可能となる。

なお、本実施形態は、映像再生装置３と、映像処理装置４と、プロジェクタ５と、を別体としたが、映像再生装置３、映像処理装置４、及びプロジェクタ５を一体に形成してもよい。また、それぞれ２つずつに組み合わせて一体に形成してもよい。例えば、映像再生装置３と映像処理装置４を一体に形成したり、映像処理装置４とプロジェクタ５を一体に形成したり、映像再生装置３とプロジェクタ５を一体に形成してもよい。

プロジェクタ５とスクリーン７との光路上に凸面鏡６を入れて、プロジェクタ５が投影する映像を凸面鏡６で反射させてスクリーン７に投影することが好ましい。この場合、プロジェクタ５の投影する方向に凸面鏡６を配置して、凸面鏡６と対向する位置にスクリーン７を配置する。したがって、凸面鏡６の凸面は、プロジェクタ５と、スクリーン７の凹面と、に対向する。観察者は、球面のスクリーン７の凹面側から観察する。

図４は本実施形態の投影光学系の一実施例を示す図、図５は図４の平面図である。

図４及び図５に示す例の投影光学系の場合、１８０°の観察画角のプロジェクタ５の投影光学系の焦点距離は、１７ｍｍである。１８０°から３０°へ６倍にズームして花のクローズアップの映像を撮影した場合は、映像調整部４３は、その変倍率の情報を受け取り、プロジェクタ５の投影光学系の変倍部に、焦点距離を１０２ｍｍに変換するように、変倍情報を送る。投影光学系の変倍部は、この情報に基づき変倍機構を制御する。投影光学系は、映像信号を投影映像に変換させた光情報を、所定の投影倍率で出力する。

なお、図４及び図５において、５は投影光学系を含むプロジェクタ、５ａは映像表示素子、５ｂは理想レンズ、Ｓは絞り、５ｃは円筒レンズ、６は凸面鏡、６ａは凸面鏡の回転中心線、７はスクリーン、Ｏはスクリーンの中心、ＲＣは中心主光線、Ｏ_Rは凸面鏡と中心主光線の交点、Ｏ_Sはスクリーンと中心主光線の交点である。

ここで、映像調整部４３の第１実施形態の映像の調整について説明する。

図６は図１４の風景を撮影した映像を示す図、図７はズームする花を示す図、図８は図７の花にズームした映像を示す図、図９は図７の調整後の映像を示す図である。

図１４に示すように、撮影者が撮像装置によって風景及び人物を１８０°の広画角で動画撮影した場合、図６に示すような映像Ｐ１となる。この映像Ｐ１から撮影者が図７の点線に示す花Ｆ_Lをズームして撮影すると、図８に示すように、画角３０°となり、ＣＣＤの撮像素子には花が広がっている映像Ｐ２が撮影される。

しかしながら、この映像Ｐ２では、観察者は、撮影者が撮影時に花に近づいているように認知してしまい、実際に撮影した場所で見ている状況と異なるため、臨場感が得られない。

そこで、映像調整部４３によって、映像Ｐ２を調整する。まず、画面全体の画角を１８０°として、映像Ｐ２を撮影時の画角３０°で投影されるように１／６に変倍する。このように、映像Ｐ２の画角を変倍することで、観察者は、花の見かけの大きさは変わらずに、画素密度が６倍になった高精細な映像を見ることが可能となる。

また、図９に示すように、花の映像ＦＬの位置を、図７に示したズーム前の位置と変わらないように調整することが好ましい。

撮影時に、広画角の１８０°から３０°のアップにズームする際、撮影者は、必ずしも中心に向かってズームするわけではないので、撮像装置の向きをパン及びティルトする場合がある。例えば、図７に示した映像Ｐ１の花Ｆ_Lにズームした場合には、パン及びティルトをする。

パン及びティルトしてズームした場合に、映像をズーム前の位置と変わらない位置に調整することで、観察者は、観察位置が変わらず、観察対象物の高精細な映像Ｐ３を観察することができ、撮影者と同じ場所から対象物を注視して観察しているように感じる。したがって、観察者は自分が移動しているようには感じないため、高い臨場感を得ることが可能となる。

次に、映像調整部４３の第２実施形態の映像の調整について説明する。

図１０はズームする人を示す図、図１１は図１０の調整後の映像を示す図である。

図１４に示すように、撮影者が撮像装置Ｖによって風景及び人物を１８０°の広画角で動画撮影した場合、図６に示すような映像Ｐ１となる。この映像Ｐ１から撮影者が図１０に示す人の顔Ｆｃにズームした場合、映像調整部４３は、まず、図１０に示す映像Ｐ１を、ズーム前の顔の位置と変わらない位置に変倍して、図１１に示す映像Ｐ４の第１の顔の映像Ｆ_C1のように調整する。

ここで、第２実施形態では、図１１に示す映像Ｐ４の第１の顔の映像Ｆ_C1を中央に移動させて第２の顔の映像Ｆ_C2とする。

第１実施形態のように、対象物の映像をズーム前の位置と変わらない位置に調整した場合、短時間の表示であれば顔の位置が理解されやすく好ましいが、スクリーンに投影した時に観察しにくい場所に投影されることがある。そこで、第２実施形態では、ズームされた対象物の映像を、映像調整部４３が変倍した後、図１１の人の顔の映像Ｆ_C2のように、中心付近に移動させる。ズーム状態が長時間続く場合には、映像を中心付近に移動することで、観察者は映像が見やすくなり、疲れなくなる。なお、映像を移動させる際は、ゆっくり動かすと観察者の疲れが低減するので、好ましい。

図１２は、撮影画角と投影画角の関係を示すグラフである。

人間の目の分解能である視力１．０、つまり１分の分解能を元に水平方向の画素数を１９２０とすると、視力１．０の場合は水平１６°が視力の限界で決まる飽和画角となる。視力０．５の人の場合は水平画角３２°が飽和画角になる。そこで、例えば、図１２に示すように、観察画角を３０°や１６°以下にならないように設定することが望ましい。

次に、映像処理装置４の作動フローについて説明する。

図１３は、実施形態のフローチャートを示す図である。

まず、ステップ１で、映像入力部４１から映像を入力する（ＳＴ１）。

次に、ステップ２で、観察画角入力部４２が、映像入力部４１が受け取った映像に同期した観察画角を入力する（ＳＴ２）。

次に、ステップ３で、映像調整部４３が、映像入力部４１から受け取った映像と、観察画角入力部４２から受け取った観察画角から、映像を調整する。（ＳＴ３）。

次に、ステップ４で、映像調整部４３が調整した映像を映像出力部からプロジェクタ５に出力する（ＳＴ４）。

このように、本実施形態によって、観察者は、撮影者が撮影した画角と同程度に調整された画角の映像を観察することができるので、臨場感を得ることが可能となる。したがって、動画撮影した映像を撮影者の撮影した状況と似た状況に処理する映像処理装置を提供することが可能となる。また、映像を再生し、処理して、投影する映像表示装置、及び映像表示装置の投影するスクリーンを含む映像表示システムを提供することが可能となる。

以上、種々の実施形態について説明したが、本実施例はこれらの実施形態のみに限られるものではなく、それぞれの実施形態の構成を適宜組み合わせて構成した実施形態も本発明の範疇となるものである。

１…映像表示システム
２…映像表示装置
３…映像再生装置
４…映像処理装置
４１…映像入力部
４２…観察画角入力部
４３…映像調整部
４４…映像出力部
５…プロジェクタ（投影装置）
６…凸面鏡
７…スクリーン

Claims (7)

1. 映像を入力する映像入力部と、
   前記観察画角を入力する観察画角入力部と、
   前記映像入力部から受け取った映像を、前記観察画角入力部から受け取った観察画角に基づいて変倍する映像調整部と、
   前記映像調整部から受け取った映像を出力する映像出力部と、
   を備え、
   前記映像入力部は、撮影時に拡大ズームした際のズーム前とズーム後の映像を受け取り、
   前記映像調整部は、前記ズーム後の映像を変倍して、前記ズーム前の画像中においてズーム後の画像が表示されていた位置に移動させる
   ことを特徴とする映像処理装置。
2. 映像を再生して前記映像処理装置に出力する映像再生装置と、
   請求項１に記載の映像処理装置と、
   前記映像処理装置から受け取った映像を表示する表示素子及び前記表示素子の表示した映像をスクリーンに投影する投影光学系を有する投影装置と、
   を備える
   ことを特徴とする映像表示装置。
3. 前記映像再生装置は、前記映像入力部に映像を送り、前記観察画角入力部に観察画角を送る
   ことを特徴とする請求項２に記載の映像表示装置。
4. 前記映像調整部は、前記表示素子に表示する映像の領域を縮小する
   ことを特徴とする請求項２又は請求項３に記載の映像表示装置。
5. 前記映像調整部は、前記投影光学系の焦点距離を調整する
   ことを特徴とする請求項２又は請求項３に記載の映像表示装置。
6. 請求項２乃至請求項５のいずれか１項に記載の映像表示装置と、
   前記スクリーンと、
   を備える
   ことを特徴とする映像表示システム。
7. 前記映像再生装置に映像を送る撮像装置を備え、
   前記撮像装置は、撮影した映像の画角を観察画角として前記映像再生装置に送る
   ことを特徴とする請求項６に記載の映像表示システム。

Images